JP2020060500A

JP2020060500A - Information processing device

Info

Publication number: JP2020060500A
Application number: JP2018193083A
Authority: JP
Inventors: 真武下平; Masatake Shimodaira; 令司松本; Reiji Matsumoto; 宏平伊藤; Kohei Ito; 裕貴玉田; Hiroki Tamada; 稔樹藤原; Toshiki Fujiwara; 卓也塚田; Takuya Tsukada
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2018-10-12
Filing date: 2018-10-12
Publication date: 2020-04-16
Also published as: JP2023138605A

Abstract

To provide an information processing device capable of improving the reliability of point group data after integration.SOLUTION: An information acquisition part 2 acquires travel condition information about a travel condition of a movable body 10 when being imaged. The degree of contribution of respective individual point group data can be determined on the basis of the travel condition information or reliability information and the reliability of total point group data can be improved in the case of collecting and integrating the individual point group data by adding the travel condition information or the reliability information based on the travel condition information to the point group data.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置に関する。 The present invention relates to an information processing device.

従来、移動体において自己位置推定と環境地図作成を同時に実行する方法（ＳＬＡＭ；Simultaneous Localization and Mapping）が知られている。このようなＳＬＡＭの一種として、レーザ装置に代えてビデオカメラを用いる方法（ＶＳＬＡＭ；Visual SLAM）が提案されている（例えば、特許文献１参照）。特許文献１に記載されたようなＶＳＬＡＭでは、ビデオカメラを用いることによりコスト低減を図っている。 Conventionally, a method (SLAM; Simultaneous Localization and Mapping) of simultaneously performing self-position estimation and environment map creation in a moving body is known. As a kind of such SLAM, a method using a video camera instead of a laser device (VSLAM; Visual SLAM) has been proposed (for example, refer to Patent Document 1). In the VSLAM described in Patent Document 1, the cost is reduced by using a video camera.

特開２０１４−２２２５５０号公報JP, 2014-222550, A

特許文献１に記載されたようなＶＳＬＡＭにおいては、ビデオカメラによって撮像された各画像（フレーム）において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このような環境地図に含まれる点群データを、外部サーバ等の装置が収集するとともに統合し、統合された点群データが自己位置推定等に活用されることがある。 In the VSLAM described in Patent Document 1, feature points are extracted from each image (frame) captured by a video camera, and self-position estimation and environment map creation are performed based on the change of the feature points between the images. To do. The point cloud data included in such an environment map may be collected and integrated by a device such as an external server, and the integrated point cloud data may be utilized for self-position estimation or the like.

しかしながら、生成される点群データは、常に精度の高いものであるとは限らない。従って、統合される複数の点群データに、信頼度が低い点群データが含まれていると、統合後の点群データの信頼度が低下してしまう可能性がある。統合後の点群データの信頼度が低いと、自己位置推定等に活用しにくくなってしまう。 However, the generated point cloud data is not always highly accurate. Therefore, if the plurality of integrated point cloud data includes point cloud data with low reliability, the reliability of the integrated point cloud data may decrease. If the reliability of the point cloud data after integration is low, it will be difficult to utilize it for self-position estimation and the like.

したがって、本発明の課題は、統合後の点群データの信頼度を向上させることができる情報処理装置を提供することが一例として挙げられる。 Therefore, an object of the present invention is to provide, as an example, an information processing apparatus capable of improving the reliability of integrated point cloud data.

前述した課題を解決し目的を達成するために、請求項１に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像時の前記移動体の走行条件に関する走行条件情報を取得する走行条件取得部と、前記撮像情報に基づいて点群データを生成する生成部と、前記点群データに前記走行条件情報を付与する情報付与部と、を備えることを特徴としている。 In order to solve the above-mentioned problems and to achieve the object, an information processing apparatus according to the present invention according to claim 1 includes an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body, and A traveling condition acquisition unit that acquires traveling condition information related to traveling conditions of the mobile body, a generation unit that generates point cloud data based on the imaging information, and an information addition unit that adds the traveling condition information to the point cloud data. And are provided.

請求項２に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像時の前記移動体の走行条件に関する走行条件情報を取得する走行条件取得部と、前記撮像情報に基づいて点群データを生成する生成部と、前記点群データに対して前記走行条件情報に基づく信頼度情報を付与する情報付与部と、を備えることを特徴としている。 The information processing apparatus of the present invention according to claim 2 acquires an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body, and travel condition information regarding traveling conditions of the moving body at the time of imaging. A driving condition acquisition unit; a generation unit that generates point cloud data based on the imaging information; and an information addition unit that adds reliability information based on the driving condition information to the point cloud data. It has a feature.

請求項５に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像時の前記移動体の走行条件に関する走行条件情報を取得する走行条件取得工程と、前記撮像情報に基づいて点群データを生成する生成工程と、前記点群データに前記走行条件情報を付与する情報付与工程と、を含むことを特徴としている。 The information processing method of the present invention according to claim 5 acquires an image capturing information acquisition step of acquiring image capturing information from an image capturing section mounted on a moving body, and travel condition information regarding a traveling condition of the moving body at the time of image capturing. It is characterized by including a traveling condition acquisition step, a generation step of generating point cloud data based on the imaging information, and an information adding step of adding the running condition information to the point cloud data.

請求項６に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像時の前記移動体の走行条件に関する走行条件情報を取得する走行条件取得工程と、前記撮像情報に基づいて点群データを生成する生成工程と、前記点群データに対して前記走行条件情報に基づく信頼度情報を付与する情報付与工程と、を含むことを特徴としている。 The information processing method of the present invention according to claim 6 acquires an imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body, and travel condition information regarding a traveling condition of the moving body at the time of imaging. A driving condition acquisition step; a generation step of generating point cloud data based on the imaging information; and an information adding step of adding reliability information based on the running condition information to the point cloud data. It has a feature.

本発明の実施例に係る情報処理装置の概略を示すブロック図である。It is a block diagram which shows the outline of the information processing apparatus which concerns on the Example of this invention. 前記情報処理装置が取得する撮像情報のフレームの一例を示す平面図である。It is a top view showing an example of a frame of imaging information which the information processor acquires. 前記情報処理装置が取得する撮像情報のフレームの他の一例を示す平面図である。It is a top view showing another example of a frame of image pick-up information which the information processor acquires.

以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像時の移動体の走行条件に関する走行条件情報を取得する走行条件取得部と、撮像情報に基づいて点群データを生成する生成部と、点群データに走行条件情報を付与する情報付与部と、を備える。 Embodiments of the present invention will be described below. An information processing apparatus according to an embodiment of the present invention includes an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body, and a traveling condition acquisition that acquires traveling condition information regarding traveling conditions of the moving body at the time of imaging. A unit, a generation unit that generates point cloud data based on imaging information, and an information addition unit that adds travel condition information to the point cloud data.

このような本実施形態の情報処理装置によれば、点群データに走行条件情報を付与することで、点群データを収集して統合する際に、走行条件情報に基づいてそれぞれの点群データの寄与度を決定することができる。信頼度の高い点群データが得られるような走行条件であれば、この点群データの寄与度を高くし、信頼度の低い点群データしか得られないような走行条件であれば、この点群データの寄与度を低くすることができる。従って、複数の点群データを統合する際、走行条件情報に基づいてそれぞれの点群データの寄与度を決定することにより、統合後の点群データの信頼度を向上させることができる。 According to the information processing apparatus of the present embodiment as described above, by adding the running condition information to the point cloud data, when the point cloud data is collected and integrated, each point cloud data is based on the running condition information. The contribution of can be determined. If the driving condition is such that highly reliable point cloud data is obtained, the contribution of this point cloud data is increased, and if the driving condition is such that only low reliability point cloud data is obtained, this point The contribution of group data can be reduced. Therefore, when a plurality of point cloud data are integrated, the reliability of the integrated point cloud data can be improved by determining the contribution of each point cloud data based on the traveling condition information.

尚、撮像情報取得部と走行条件取得部と生成部と情報付与部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。 The imaging information acquisition unit, the traveling condition acquisition unit, the generation unit, and the information addition unit do not have to be mounted on the same target, and may be mounted on different devices or apparatuses. That is, each component of the information processing device may span a plurality of physically separated devices.

本発明の他の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像時の移動体の走行条件に関する走行条件情報を取得する走行条件取得部と、撮像情報に基づいて点群データを生成する生成部と、点群データに対して走行条件情報に基づく信頼度情報を付与する情報付与部と、を備える。 An information processing apparatus according to another embodiment of the present invention includes an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body, and traveling that acquires traveling condition information regarding traveling conditions of the moving body at the time of imaging. A condition acquisition unit, a generation unit that generates point cloud data based on imaging information, and an information addition unit that adds reliability information based on running condition information to the point cloud data.

このような本実施形態の情報処理装置によれば、走行条件情報に基づく信頼度情報を点群データに付与することで、点群データを収集して統合する際に、信頼度情報に基づいてそれぞれの点群データの寄与度を決定することができ、統合後の点群データの信頼度を向上させることができる。 According to the information processing apparatus of the present embodiment as described above, the reliability information based on the traveling condition information is added to the point cloud data, so that when the point cloud data is collected and integrated, based on the reliability information The contribution of each point cloud data can be determined, and the reliability of the integrated point cloud data can be improved.

走行条件取得部は、走行条件情報として、移動体の状態又は挙動に関する自己情報と、移動体の周囲の環境に関する外部情報と、のうち少なくとも一方を取得することが好ましい。自己情報には、例えば走行安定度が含まれる。移動体の速度が低く、加速度（加減速）が小さく、ふらつきが少ないほど走行安定度が高い。走行安定度が高いほど信頼度の高い点群データを生成しやすい。 It is preferable that the traveling condition acquisition unit acquires, as the traveling condition information, at least one of self information regarding a state or behavior of the moving body and external information regarding an environment around the moving body. The self-information includes, for example, running stability. The lower the speed of the moving body, the smaller the acceleration (acceleration / deceleration), and the less the fluctuation, the higher the running stability. The higher the traveling stability, the easier it is to generate highly reliable point cloud data.

外部情報には、例えば撮像難易度や走行阻害度が含まれる。移動体の周囲が暗い場合や雨天時には撮像が困難になったり、鮮明な撮像情報が得られなかったりし、撮像難易度が高くなる。渋滞時や、前方移動体との距離が近い場合、前方移動体が大型である場合には、移動体周囲の地物等が他の移動体の陰に隠れてしまい、撮像難易度が高くなる。また、移動体の周囲が暗い場合や雨天時には走行の安定性が低下してしまうことがあり、走行阻害度が高くなる。撮像難易度が高い場合や走行阻害度が高い場合、生成する点群データの信頼度が低下しやすい。 The external information includes, for example, the imaging difficulty level and the travel impediment level. When the surroundings of the moving body are dark or in rainy weather, it becomes difficult to capture an image, or clear image capturing information cannot be obtained, and the image capturing difficulty increases. When traffic is congested, when the distance to the front moving body is short, or when the front moving body is large, features around the moving body are hidden behind other moving bodies, which increases the difficulty of imaging. . Further, when the surroundings of the moving body are dark or in the case of rain, the traveling stability may be deteriorated, and the degree of travel impediment is increased. When the degree of difficulty in imaging is high or the degree of travel inhibition is high, the reliability of the generated point cloud data is likely to decrease.

尚、走行条件取得部は、走行条件情報を直接的に取得してもよいし、他のパラメータを取得することで算出したり推定したりしてもよい。例えば、移動体の周囲の明るさは、センサによって検知してもよいし、時刻情報および日付情報に基づいて推定してもよい。また、走行する道路に街灯が存在するか否かについての情報も考慮してもよい。また、天候についての情報は、センサによって雨を検知してもよいし、ネットワーク等を介して移動体の外部から取得してもよい。 The traveling condition acquisition unit may directly acquire the traveling condition information or may calculate or estimate by acquiring other parameters. For example, the ambient brightness of the moving body may be detected by a sensor, or may be estimated based on time information and date information. Information regarding whether or not street lights are present on the road on which the vehicle is traveling may also be taken into consideration. The information about the weather may be detected by a sensor, or may be acquired from the outside of the moving body via a network or the like.

前記いずれの実施形態の情報処理装置においても、点群データを出力する出力部をさらに備えることが好ましい。これにより、出力先において点群データを活用することができる。 It is preferable that the information processing apparatus of any of the above embodiments further includes an output unit that outputs the point cloud data. Thereby, the point cloud data can be utilized at the output destination.

本発明の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像時の移動体の走行条件に関する走行条件情報を取得する走行条件取得工程と、撮像情報に基づいて点群データを生成する生成工程と、点群データに走行条件情報を付与する情報付与工程と、を含む。このような情報処理方法によれば、走行条件情報を点群データに付与することで、統合後の点群データの信頼度を向上させることができる。 An information processing method according to an embodiment of the present invention includes an imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body, and a traveling condition acquisition for acquiring traveling condition information regarding traveling conditions of the moving body at the time of imaging. The process includes a process, a generation process for generating point cloud data based on the imaging information, and an information adding process for adding running condition information to the point cloud data. According to such an information processing method, the reliability of the integrated point cloud data can be improved by adding the running condition information to the point cloud data.

本発明の他の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像時の移動体の走行条件に関する走行条件情報を取得する走行条件取得工程と、撮像情報に基づいて点群データを生成する生成工程と、点群データに対して走行条件情報に基づく信頼度情報を付与する情報付与工程と、を含む。このような情報処理方法によれば、走行条件情報に基づく信頼度情報を点群データに付与することで、統合後の点群データの信頼度を向上させることができる。 An information processing method according to another embodiment of the present invention includes an imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body, and traveling for acquiring traveling condition information regarding traveling conditions of the moving body at the time of imaging. It includes a condition acquisition step, a generation step of generating point cloud data based on imaging information, and an information addition step of adding reliability information based on running condition information to the point cloud data. According to such an information processing method, the reliability of the point cloud data after the integration can be improved by adding the reliability information based on the traveling condition information to the point cloud data.

また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、統合後の点群データの信頼度を向上させることができる。 Further, it may be an information processing program that causes a computer to execute the above-described information processing method. By doing so, the reliability of the integrated point cloud data can be improved using a computer.

また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。 Further, the above-mentioned information processing program may be stored in a computer-readable recording medium. By doing so, the program can be distributed as a single unit in addition to being installed in the device, and the version can be easily upgraded.

以下、本発明の実施例について具体的に説明する。本実施例の情報処理ユニット１は、図１に示すように、移動体１０に搭載されたＶＳＬＡＭ装置である第１の情報処理装置１Ａと、外部サーバ１００に搭載された第２の情報処理装置１Ｂと、によって構成されている。第１の情報処理装置１Ａは、情報取得部２と、生成部３と、出力部４と、を備える。移動体１０は例えば車両であって、撮像部２０と、地図情報記憶部３０と、自己位置推定部４０と、走行情報センサ５０と、日時情報管理部６０と、が搭載されている。 Hereinafter, examples of the present invention will be specifically described. As shown in FIG. 1, the information processing unit 1 of the present embodiment includes a first information processing apparatus 1A, which is a VSLAM apparatus mounted on the moving body 10, and a second information processing apparatus mounted on the external server 100. 1B and. The first information processing apparatus 1A includes an information acquisition unit 2, a generation unit 3, and an output unit 4. The moving body 10 is, for example, a vehicle, and is equipped with an imaging unit 20, a map information storage unit 30, a self-position estimation unit 40, a travel information sensor 50, and a date / time information management unit 60.

第２の情報処理装置１Ｂは、収集部１１と、生成部１２と、を備える。外部サーバ１００には、通信部１０１と、記憶部本体１０２と、が搭載されている。尚、外部サーバ１００は複数の第１の情報処理装置１Ａと通信するように構成されている。 The second information processing device 1B includes a collection unit 11 and a generation unit 12. A communication unit 101 and a storage unit main body 102 are mounted on the external server 100. The external server 100 is configured to communicate with the plurality of first information processing apparatuses 1A.

撮像部２０は、例えばビデオカメラであって、移動体１０の進行方向前方側を撮像するように配置されている。撮像部２０が撮像した動画は、複数の撮像情報（フレーム）によって構成されており、情報取得部２に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。 The imaging unit 20 is, for example, a video camera, and is arranged so as to image the front side of the moving body 10 in the traveling direction. The moving image captured by the image capturing unit 20 is composed of a plurality of image capturing information (frames) and is transmitted to the information acquisition unit 2. The image capturing section may be capable of continuously capturing still images at predetermined time intervals.

地図情報記憶部３０は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部３０に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別（住宅と商業施設との区別や、商業施設の業種等）についての情報も含むものとする。 The map information storage unit 30 is composed of, for example, a hard disk or a non-volatile memory, and stores existing map information. The map information stored in the map information storage unit 30 may include at least information about the feature. Note that information about a feature is not only information about the position and size of the feature, but also information about the attribute and type of the feature (such as the distinction between residential and commercial facilities and the type of commercial facility). Shall be included.

自己位置推定部４０は、移動体１０の現在位置（絶対位置）を推定するものであって、例えば複数のＧＰＳ（Global Positioning System）衛星から発信される電波を受信するＧＰＳ受信部であればよい。自己位置推定部４０が推定した現在位置は、撮像部２０による撮像情報の撮像位置を示す位置情報として、情報取得部２に送信される。 The self-position estimating unit 40 estimates the current position (absolute position) of the moving body 10, and may be, for example, a GPS receiving unit that receives radio waves transmitted from a plurality of GPS (Global Positioning System) satellites. . The current position estimated by the self-position estimation unit 40 is transmitted to the information acquisition unit 2 as position information indicating the image pickup position of the image pickup information by the image pickup unit 20.

走行情報センサ５０は、移動体１０の変位量を測定するためのセンサであって、例えば、移動体１０の車速パルスを取得する車速パルス取得部と、移動体１０の方位変位量を測定するためのジャイロセンサと、移動体１０の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ５０が取得した変位量によって、移動体１０の進行方向が推定される。移動体１０の進行方向と、移動体１０における撮像部２０の取り付け方向と、によって、撮像時における撮像部２０の向きに関する撮像方位情報が決定される。撮像部２０が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ５０から情報取得部２に撮像方位情報が送信される。尚、走行情報センサ５０は、少なくとも移動体１０の進行方向を推定可能なものであればよい。 The travel information sensor 50 is a sensor for measuring the displacement amount of the moving body 10, and for example, for measuring the azimuth displacement amount of the moving body 10 and the vehicle speed pulse acquisition unit that acquires the vehicle speed pulse of the moving body 10. The gyro sensor and the acceleration sensor for acquiring the acceleration of the moving body 10. The traveling direction of the moving body 10 is estimated based on the displacement amount acquired by the travel information sensor 50. The moving direction of the moving body 10 and the mounting direction of the image capturing unit 20 on the moving body 10 determine the image capturing direction information regarding the orientation of the image capturing unit 20 during image capturing. When the imaging unit 20 is directed to the front of the moving body, the traveling direction and the imaging azimuth substantially match. Therefore, the traveling direction sensor 50 transmits the imaging direction information to the information acquisition unit 2. The travel information sensor 50 may be at least capable of estimating the traveling direction of the moving body 10.

日時情報管理部６０は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部６０から情報取得部２に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部２は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。 The date / time information management unit 60 has a calendar function and a clock function. The timepiece function is preferably a radio timepiece function that receives standard radio waves and automatically corrects errors. The date and time information is transmitted from the date and time information management unit 60 to the information acquisition unit 2. The sun altitude information and the sun direction information can be specified based on the date information and the time information. Therefore, the information acquisition unit 2 that acquires the date information and the time information can be regarded as acquiring the sun altitude information and the sun azimuth information.

情報取得部２は、上記のように撮像部２０から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部４０から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部３０から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ５０から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部６０から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。情報取得部２は、例えばインターネットや公衆回線等のネットワークを介して、データセンタ等から他の情報を取得してもよい。 The information acquisition unit 2 functions as an imaging information acquisition unit by acquiring the imaging information from the imaging unit 20 as described above, and the position information acquisition unit by acquiring the position information from the self-position estimation unit 40 as described above. Functions as a map information acquisition unit by acquiring map information from the map information storage unit 30 and functions as an imaging direction information acquisition unit by acquiring imaging direction information from the travel information sensor 50 as described above. However, by acquiring the sun altitude information and the sun direction information from the date / time information management unit 60 as described above, the sun information processing unit 60 functions as a sun information acquisition unit. The information acquisition unit 2 may acquire other information from a data center or the like via a network such as the Internet or a public line.

生成部３は、情報取得部２が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部３が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばＯＲＢ（Oriented fast and Rotated Brief）アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。 The generation unit 3 extracts a feature point from the imaging information acquired by the information acquisition unit 2 to generate a two-dimensional feature point group, and further generates point group data based on the plurality of feature point groups. The point cloud data generated by the generation unit 3 may be, for example, three-dimensional point cloud data. It should be noted that the extraction of the feature points may use, for example, an ORB (Oriented fast and Rotated Brief) algorithm or another algorithm.

出力部４は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ１００の通信部１０１と通信することにより、生成部３が生成した情報（点群データ）を送信する。これにより、外部サーバ１００の記憶部本体１０２に情報が記憶されるようになっている。 The output unit 4 includes a circuit for communicating with a network such as the Internet and a public line, an antenna, and the like, and communicates with the communication unit 101 of the external server 100 to generate information (point cloud data) generated by the generation unit 3. To send. As a result, information is stored in the storage unit main body 102 of the external server 100.

第２の情報処理装置１Ｂの収集部１１は、通信部１０１を介し、第１の情報処理装置１Ａが生成した点群データ（個別点群データ）を取得する。収集部１１は、複数の移動体から個別点群データを取得したり、１つの移動体から個別点群データを複数回取得したりすることにより、個別点群データを収集する。 The collection unit 11 of the second information processing apparatus 1B acquires the point cloud data (individual point cloud data) generated by the first information processing apparatus 1A via the communication unit 101. The collection unit 11 collects individual point cloud data by acquiring individual point cloud data from a plurality of moving bodies or acquiring individual point cloud data from one moving body a plurality of times.

生成部１２は、収集部１１が収集した複数の個別点群データに基づいて、総合点群データを生成する。総合点群データは、複数の個別点群データを重ね合わせたものであってもよいし、複数の個別点群データの構成点の位置平均を示すものであってもよい。 The generation unit 12 generates comprehensive point cloud data based on the plurality of individual point cloud data collected by the collection unit 11. The total point cloud data may be data obtained by superposing a plurality of individual point cloud data, or may be data indicating an average position of constituent points of the plurality of individual point cloud data.

このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ（いわゆるLIDAR; Laser Imaging Detection and Ranging）によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。 The comprehensive point cloud data generated in this way is used, for example, for estimating the self-position of the moving body. That is, when a feature is detected by an optical sensor (so-called LIDAR; Laser Imaging Detection and Ranging) mounted on the moving body, the self-position of the moving body may be estimated by collating with the comprehensive point cloud data.

［走行条件情報の取得］
情報取得部２は、撮像時の移動体１０の走行条件に関する走行条件情報を取得し、走行条件取得部として機能する。尚、情報取得部２が走行条件情報を取得するタイミングは任意であり、例えば、撮像情報と走行条件情報とを同時に取得してもよいし、撮像情報を取得して点群データを生成した後に走行条件情報を取得してもよい。 [Acquisition of driving condition information]
The information acquisition unit 2 acquires traveling condition information regarding traveling conditions of the moving body 10 at the time of image capturing, and functions as a traveling condition acquisition unit. The timing at which the information acquisition unit 2 acquires the traveling condition information is arbitrary. For example, the imaging information and the traveling condition information may be acquired at the same time, or after the imaging information is acquired and the point cloud data is generated. The traveling condition information may be acquired.

走行条件情報は、移動体１０の状態又は挙動に関する自己情報と、移動体１０の周囲の環境に関する外部情報と、を含む。尚、走行条件情報は、自己情報と外部情報とのうちいずれか一方のみを含んでいてもよい。 The traveling condition information includes self-information about the state or behavior of the moving body 10 and external information about the environment around the moving body 10. The traveling condition information may include only one of self information and external information.

自己情報には、例えば走行安定度が含まれる。移動体１０の速度が低く、加速度が小さく（加減速が少なく）、ふらつきが少ないほど走行安定度が高い。走行安定度が高いほど信頼度の高い点群データを生成しやすい。走行安定度は、撮像時における速度や加速度、ふらつきに基づいて算出されてもよいし、過去の走行履歴に基づいて算出されてもよい。即ち、過去の走行時に安定度が高い場合には、撮像時にも走行安定度が高いと推定することができる。また、移動体の過去の走行履歴に基づいて走行安定度を算出してもよいし、運転者の過去の走行履歴に基づいて走行安定度を算出してもよい。 The self-information includes, for example, running stability. The traveling speed is higher as the speed of the moving body 10 is low, the acceleration is low (the acceleration / deceleration is small), and the fluctuation is small. The higher the traveling stability, the easier it is to generate highly reliable point cloud data. The traveling stability may be calculated based on the speed, acceleration, and wobbling at the time of image capturing, or may be calculated based on the past traveling history. That is, when the stability is high during the past travel, it can be estimated that the travel stability is high even during the imaging. Further, the traveling stability may be calculated based on the past traveling history of the moving body, or the traveling stability may be calculated based on the past traveling history of the driver.

また、自己情報には、移動体１０の性能や整備状態についての情報が含まれていてもよい。例えば、移動体１０の加速性能や制動性能が高い場合には、大きな加減速が生じる可能性がある。また、パワーステアリングの設定によっては、ふらつきの生じやすさが変化する。即ち、移動体１０の性能や整備状態によって、運転者の操作に対する移動体の反応しやすさが変化し、走行安定度に影響を及ぼすことがある。 In addition, the self-information may include information about the performance or maintenance state of the mobile body 10. For example, when the acceleration performance and the braking performance of the moving body 10 are high, large acceleration / deceleration may occur. Further, the easiness of wobbling changes depending on the setting of the power steering. That is, the responsiveness of the moving body to the driver's operation may change depending on the performance and maintenance condition of the moving body 10, which may affect the running stability.

外部情報には、例えば撮像難易度や走行阻害度が含まれる。移動体１０の周囲が暗い場合や雨天時には撮像部２０による撮像が困難になったり、鮮明な撮像情報が得られなかったりし、撮像難易度が高くなる。渋滞時や、前方移動体との距離が近い場合、前方移動体が大型である場合には、移動体周囲の地物等が他の移動体によって隠れてしまい、撮像難易度が高くなる。 The external information includes, for example, the imaging difficulty level and the travel impediment level. When the surroundings of the moving body 10 are dark or in the case of rain, it becomes difficult for the image pickup unit 20 to take an image, or clear image pickup information cannot be obtained, and the image pickup difficulty increases. When traffic is congested, when the distance to the front moving body is short, or when the front moving body is large, the features around the moving body are hidden by other moving bodies, and the imaging difficulty level becomes high.

例えば、図２に示すように前方においてトラック等の大型車Ｃが走行していると、図３に示すように道路Ｒの前方左手に位置する建物Ｂの一部又は全部が、大型車Ｃの陰に隠れてしまい、建物Ｂの特徴点を抽出することができなくなってしまう。 For example, when a large vehicle C such as a truck is traveling in the front as shown in FIG. 2, a part or all of the building B located on the left front side of the road R as shown in FIG. It will be hidden behind and it will be impossible to extract the feature points of the building B.

また、移動体１０の周囲が暗い場合や雨天時には走行の安定性が低下してしまうことがあり、走行阻害度が高くなる。撮像難易度が高い場合や走行阻害度が高い場合、生成する点群データの信頼度が低下しやすい。 In addition, when the surroundings of the moving body 10 are dark or when it is raining, the traveling stability may be deteriorated, and the traveling impediment degree is increased. When the degree of difficulty in imaging is high or the degree of travel inhibition is high, the reliability of the generated point cloud data is likely to decrease.

尚、走行条件情報は、直接的に取得してもよいし、他のパラメータを取得することで算出したり推定したりしてもよい。例えば、移動体１０の周囲の明るさは、センサによって検知してもよいし、日時情報管理部６０から時刻情報および日付情報を取得することで推定してもよい。また、地図情報記憶部３０から地図情報を取得することで、走行する道路に街灯が存在するか否かについても考慮し、明るさを推定してもよい。また、天候についての情報は、雨をセンサによって検知してもよいし、情報取得部２によってネットワーク等を介して移動体１０の外部から取得してもよい。 The traveling condition information may be directly acquired, or may be calculated or estimated by acquiring other parameters. For example, the ambient brightness of the moving body 10 may be detected by a sensor, or may be estimated by acquiring time information and date information from the date / time information management unit 60. In addition, by acquiring map information from the map information storage unit 30, it may be possible to estimate the brightness by also considering whether or not a streetlight is present on the road on which the vehicle travels. The information about the weather may be detected by a sensor, or the information acquisition unit 2 may acquire the information from outside the mobile body 10 via a network or the like.

［点群データに対する情報の付与］
生成部３は、生成した点群データに対し、上記のように取得した走行条件情報を付与し、情報付与部として機能する。即ち、出力部４は、走行条件情報が付与された点群データを出力する。 [Adding information to point cloud data]
The generation unit 3 adds the traveling condition information acquired as described above to the generated point cloud data, and functions as an information addition unit. That is, the output unit 4 outputs the point cloud data to which the traveling condition information is added.

尚、生成部３は、点群データに対し、走行条件情報に代えて信頼度情報を付与することで情報付与部として機能してもよい。即ち、走行条件情報に基づいて信頼度を決定し、この信頼度についての情報を点群データに付与してもよい。 The generating unit 3 may function as an information adding unit by adding reliability information to the point cloud data instead of the traveling condition information. That is, the reliability may be determined based on the traveling condition information, and the information on the reliability may be added to the point cloud data.

［情報が付与された個別点群データの統合］
上記のように、第２の情報処理装置１Ｂにおいて、収集部１１が、個別点群データを収集し、生成部１２が、複数の個別点群データに基づいて総合点群データを生成する。このとき、個別点群データに走行条件情報が付与されていれば、生成部１２は、走行条件情報に基づいてその個別点群データの寄与度を決定し、総合点群データを生成する。 [Integration of individual point cloud data with information]
As described above, in the second information processing device 1B, the collection unit 11 collects the individual point cloud data, and the generation unit 12 generates the comprehensive point cloud data based on the plurality of individual point cloud data. At this time, if the traveling condition information is added to the individual point cloud data, the generation unit 12 determines the contribution degree of the individual point cloud data based on the traveling condition information, and generates the total point cloud data.

このとき、上記のように走行条件によって個別点群データの信頼度が変化することから、走行条件情報に基づき、信頼度の高い個別点群データの寄与度を高くすればよい。尚、寄与度は０も含んでおり、寄与度を０とすればその個別点群データを除去することができる。また、個別点群データに対して走行条件情報ではなく信頼度情報が付与されている場合には、生成部１２は、信頼度情報に基づいてその点群データの寄与度を決定すればよい。 At this time, since the reliability of the individual point group data changes depending on the traveling conditions as described above, the contribution degree of the individual point group data having high reliability may be increased based on the traveling condition information. Note that the contribution includes 0, and if the contribution is 0, the individual point cloud data can be removed. In addition, when the reliability information instead of the traveling condition information is added to the individual point cloud data, the generation unit 12 may determine the contribution degree of the point cloud data based on the reliability information.

また、生成部１２は、走行条件毎に、個別点群データに基づいて総合点群データを生成してもよい。例えば、個別点群データを天候に応じて分類し、晴天時の総合点群データと、曇天時の総合点群データと、雨天時の総合点群データと、をそれぞれ生成してもよい。また、運転者や車種毎に総合点群データを生成してもよいし、走行速度毎に総合点群データを生成してもよい。 Further, the generation unit 12 may generate the total point cloud data based on the individual point cloud data for each traveling condition. For example, the individual point cloud data may be classified according to the weather, and the total point cloud data during fine weather, the total point cloud data during cloudy weather, and the total point cloud data during rainy weather may be generated. Further, total point cloud data may be generated for each driver or vehicle type, or total point cloud data may be generated for each traveling speed.

上記のように、走行条件毎に総合点群データを生成すれば、総合点群データの信頼度を向上させることができる。即ち、総合点群データを活用する際に、そのときの条件に応じた総合点群データを選択することで、点群データ生成時の条件と活用時の条件との乖離を小さくすることができる。上記の例の場合、総合点群データの利用時に雨天である場合には、雨天時の個別点群データに基づいて生成された総合点群データを利用すればよい。 As described above, if the comprehensive point cloud data is generated for each traveling condition, the reliability of the comprehensive point cloud data can be improved. That is, when utilizing the comprehensive point cloud data, by selecting the comprehensive point cloud data according to the condition at that time, it is possible to reduce the difference between the condition at the time of generating the point cloud data and the condition at the time of utilization. . In the case of the above example, when it is raining when the comprehensive point cloud data is used, the comprehensive point cloud data generated based on the individual point cloud data at the time of rainy weather may be used.

［第２の情報処理装置における走行条件情報の取得］
上記の例では、第１の情報処理装置１Ａにおいて走行条件情報を取得し、個別点群データに情報を付与するものとしたが、第２の情報処理装置１Ｂの収集部１１が、情報が付与されていない個別点群データと、走行条件情報と、を取得してもよい。即ち、収集部１１が走行条件取得部として機能してもよい。このとき、収集部１１が取得する走行条件情報は、上記の例と同様に、例えば自己情報と外部情報とのうち少なくとも一方を含むものであればよい。 [Acquisition of Running Condition Information in Second Information Processing Device]
In the above example, the driving condition information is acquired by the first information processing apparatus 1A and the information is added to the individual point cloud data, but the collecting unit 11 of the second information processing apparatus 1B adds the information. The individual point cloud data that has not been recorded and the traveling condition information may be acquired. That is, the collection unit 11 may function as the traveling condition acquisition unit. At this time, the traveling condition information acquired by the collection unit 11 may include, for example, at least one of self information and external information, as in the above example.

生成部１２は、走行条件情報に基づいてその個別点群データの寄与度を決定し、総合点群データを生成する。このとき、走行条件情報に基づき、信頼度の高い個別点群データの寄与度を高くすればよい。また、生成部１２は、上記と同様に、走行条件毎に個別点群データに基づいて総合点群データを生成してもよい。 The generation unit 12 determines the degree of contribution of the individual point cloud data based on the traveling condition information, and generates total point cloud data. At this time, the contribution of the individual point group data having high reliability may be increased based on the traveling condition information. In addition, the generation unit 12 may generate the total point cloud data based on the individual point cloud data for each traveling condition, as in the above.

上記の構成により、点群データに走行条件情報又は信頼度情報を付与することで、個別点群データを収集して統合する際に、走行条件情報又は信頼度情報に基づいてそれぞれの個別点群データの寄与度を決定することができ、総合点群データの信頼度を向上させることができる。 With the above configuration, by adding the running condition information or the reliability information to the point cloud data, when collecting and integrating the individual point cloud data, each individual point group is based on the running condition information or the reliability information. The degree of contribution of data can be determined, and the reliability of the total point cloud data can be improved.

また、出力部４によって点群データを外部サーバ１００に出力することで、出力先の外部サーバ１００において点群データを活用することができる。 Moreover, by outputting the point cloud data to the external server 100 by the output unit 4, the point cloud data can be utilized in the external server 100 that is the output destination.

また、第２の情報処理装置１Ｂの収集部１１が、情報が付与されていない個別点群データと、走行条件情報と、を取得する場合であっても、個別点群データを収集して統合する際に、走行条件情報に基づいてそれぞれの個別点群データの寄与度を決定することができ、総合点群データの信頼度を向上させることができる。 Even when the collecting unit 11 of the second information processing apparatus 1B acquires the individual point cloud data to which no information is given and the traveling condition information, the individual point cloud data is collected and integrated. In doing so, the degree of contribution of each individual point cloud data can be determined based on the traveling condition information, and the reliability of the total point cloud data can be improved.

なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。 The present invention is not limited to the above-described embodiments, but includes other configurations and the like that can achieve the object of the present invention, and the following modifications and the like are also included in the present invention.

例えば、前記実施例では、情報取得部２と生成部３とが移動体に１０に搭載されているものとしたが、第１の情報処理装置を構成する撮像情報取得部と走行条件取得部と生成部と情報付与部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。 For example, in the above-described embodiment, the information acquisition unit 2 and the generation unit 3 are installed in the moving body 10; however, the imaging information acquisition unit and the traveling condition acquisition unit that form the first information processing apparatus The generation unit and the information addition unit may not be mounted on the moving body and may be mounted on different devices or apparatuses. That is, each component of the information processing device may span a plurality of physically separated devices.

また、前記実施例では、収集部１１と生成部１２とが外部サーバ１００に搭載されているものとしたが、第２の情報処理装置を構成する収集部と生成部と走行条件取得部とは、外部サーバに搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。 Further, in the above-described embodiment, the collection unit 11 and the generation unit 12 are installed in the external server 100, but the collection unit, the generation unit, and the running condition acquisition unit that form the second information processing apparatus are different from each other. The external server does not have to be installed, and the devices and apparatuses different from each other may be installed. That is, each component of the information processing device may span a plurality of physically separated devices.

その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。 Besides, the best configuration, method, and the like for carrying out the present invention have been disclosed in the above description, but the present invention is not limited thereto. That is, the present invention is mainly illustrated and described mainly with respect to a specific embodiment, but without departing from the technical idea and the scope of the object of the present invention, the shape with respect to the embodiment described above Those skilled in the art can make various modifications in terms of material, quantity, and other detailed configurations. Therefore, the description limiting the shapes and materials disclosed above is described as an example for facilitating the understanding of the present invention, and does not limit the present invention. The description with the names of members excluding some or all of the above limitations is included in the present invention.

１Ａ第１の情報処理装置
２情報取得部（撮像情報取得部、走行条件取得部）
３生成部（情報付与部）
４出力部
１０移動体
２０撮像部
１Ｂ第２の情報処理装置
１１収集部（走行条件取得部）
１２生成部 1A First information processing device 2 Information acquisition unit (imaging information acquisition unit, traveling condition acquisition unit)
3 Generation unit (information provision unit)
4 Output unit 10 Mobile 20 Imaging unit 1B Second information processing device 11 Collection unit (running condition acquisition unit)
12 Generator

Claims

An imaging information acquisition unit that acquires imaging information from the imaging unit mounted on the moving body;
A traveling condition acquisition unit that acquires traveling condition information regarding traveling conditions of the moving body at the time of image capturing;
A generation unit that generates point cloud data based on the imaging information;
An information processing device, comprising: an information adding unit that adds the traveling condition information to the point cloud data.

An imaging information acquisition unit that acquires imaging information from the imaging unit mounted on the moving body;
A traveling condition acquisition unit that acquires traveling condition information regarding traveling conditions of the moving body at the time of image capturing;
A generation unit that generates point cloud data based on the imaging information;
An information processing device, comprising: an information adding unit that adds reliability information based on the traveling condition information to the point cloud data.

The traveling condition acquisition unit acquires, as the traveling condition information, at least one of self information regarding a state or behavior of the moving body and external information regarding an environment around the moving body. The information processing device according to item 1 or 2.

The information processing apparatus according to claim 1, further comprising an output unit that outputs the point cloud data.

An imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body,
A travel condition acquisition step of acquiring travel condition information relating to travel conditions of the moving body at the time of image capturing;
A generation step of generating point cloud data based on the imaging information,
An information adding step of adding the running condition information to the point cloud data.

An imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body,
A travel condition acquisition step of acquiring travel condition information relating to travel conditions of the moving body at the time of image capturing;
A generation step of generating point cloud data based on the imaging information,
An information providing step of providing reliability information based on the traveling condition information to the point cloud data.

An information processing program for causing a computer to execute the information processing method according to claim 5 or 6.

A computer-readable recording medium storing the information processing program according to claim 7.