JP2020060501A - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP2020060501A JP2020060501A JP2018193086A JP2018193086A JP2020060501A JP 2020060501 A JP2020060501 A JP 2020060501A JP 2018193086 A JP2018193086 A JP 2018193086A JP 2018193086 A JP2018193086 A JP 2018193086A JP 2020060501 A JP2020060501 A JP 2020060501A
- Authority
- JP
- Japan
- Prior art keywords
- information
- point cloud
- cloud data
- constituent points
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 42
- 239000000470 constituent Substances 0.000 claims abstract description 114
- 238000003384 imaging method Methods 0.000 claims description 39
- 238000003672 processing method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229930014626 natural product Natural products 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、情報処理装置に関する。 The present invention relates to an information processing device.
従来、移動体において自己位置推定と環境地図作成を同時に実行する方法(SLAM;Simultaneous Localization and Mapping)が知られている。このようなSLAMの一種として、レーザ装置に代えてビデオカメラを用いる方法(VSLAM;Visual SLAM)が提案されている(例えば、特許文献1参照)。特許文献1に記載されたようなVSLAMでは、ビデオカメラを用いることによりコスト低減を図っている。
Conventionally, a method (SLAM; Simultaneous Localization and Mapping) of simultaneously performing self-position estimation and environment map creation in a moving body is known. As a kind of such SLAM, a method using a video camera instead of a laser device (VSLAM; Visual SLAM) has been proposed (for example, refer to Patent Document 1). In the VSLAM described in
特許文献1に記載されたようなVSLAMにおいては、ビデオカメラによって撮像された各画像(フレーム)において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このように作成された環境地図に含まれる点群データは、自己位置推定等に活用されることがある。
In the VSLAM described in
点群データを構成する複数の構成点には、例えば日時や天候によって変化する構成点が含まれている場合がある。このような場合、点群データの生成タイミングと自己位置推定のタイミングとが異なるため、点群データを構成する構成点と、自己位置推定時に検出される地物と、に齟齬が生じてしまい、点群データを活用しにくくなってしまう。 The plurality of constituent points forming the point cloud data may include constituent points that change depending on, for example, date and time or weather. In such a case, since the generation timing of the point cloud data and the timing of self-position estimation are different, there is a discrepancy between the constituent points forming the point cloud data and the features detected during self-position estimation, It becomes difficult to utilize point cloud data.
したがって、本発明の課題は、活用しやすい点群データを生成することができる情報処理装置を提供することが一例として挙げられる。 Therefore, an object of the present invention is to provide, as an example, an information processing apparatus capable of generating point cloud data that is easy to utilize.
前述した課題を解決し目的を達成するために、請求項1に記載の本発明の情報処理装置は、撮像情報に基づいて生成された個別点群データを収集する収集部と、複数の前記個別点群データに基づいて総合点群データを生成する生成部と、を備え、前記収集部は、前記個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得し、前記生成部は、前記付与情報に基づいて前記構成点の寄与度を決定して前記総合点群データを生成することを特徴としている。
In order to solve the above-mentioned problems and achieve the object, an information processing apparatus according to the present invention according to
請求項4に記載の本発明の情報処理方法は、撮像情報に基づいて生成された個別点群データを収集する収集工程と、複数の前記個別点群データに基づいて総合点群データを生成する生成工程と、を含み、前記収集工程において、前記個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得し、前記生成工程において、前記付与情報に基づいて前記構成点の寄与度を決定して前記総合点群データを生成することを特徴としている。
The information processing method of the present invention according to
以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、撮像情報に基づいて生成された個別点群データを収集する収集部と、複数の個別点群データに基づいて総合点群データを生成する生成部と、を備える。収集部は、個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得する。生成部は、付与情報に基づいて構成点の寄与度を決定して総合点群データを生成する。 Embodiments of the present invention will be described below. An information processing apparatus according to an embodiment of the present invention includes a collection unit that collects individual point cloud data generated based on imaging information, and a generation unit that generates total point cloud data based on a plurality of individual point cloud data. , Is provided. The collection unit acquires the additional information attached to the constituent points corresponding to the shadows among the constituent points forming the individual point cloud data. The generation unit determines the degree of contribution of the constituent points based on the added information and generates total point cloud data.
このような本実施形態の情報処理装置によれば、影に対応する構成点に付与された付与情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。 According to the information processing apparatus of the present embodiment as described above, the degree of contribution of the constituent points is determined based on the addition information given to the constituent points corresponding to the shadow, and the total point cloud is determined based on the plurality of individual point cloud data. By generating the data, it is possible to prevent the constituent points corresponding to the shadow from being used in the total point cloud data, or to reduce the degree of use. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to easily utilize the comprehensive point cloud data.
尚、構成点が影に対応するか否かは、個別点群データの生成段階やその後段階において、適宜な判定方法によって判定されればよい。また、付与情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。また、収集部と生成部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。 Whether or not the constituent points correspond to the shadows may be determined by an appropriate determination method at the stage of generating the individual point cloud data or at the subsequent stage. Further, the additional information may be, for example, information that it is a shadow, information that there is a possibility of a shadow, or that the reliability of the constituent point is reduced (it may be set to 0). (Including) information may be included. Further, the collection unit and the generation unit may not be mounted on the same target, and may be mounted on different devices or apparatuses. That is, each component of the information processing device may span a plurality of physically separated devices.
生成部は、付与情報が付与された構成点を除去して総合点群データを生成することが好ましい。これにより、総合点群データにおいて、影に対応する構成点を利用しないようにすることができる。 It is preferable that the generation unit removes the constituent points to which the additional information is added to generate the total point cloud data. This makes it possible to prevent the constituent points corresponding to the shadows from being used in the total point cloud data.
生成部は、撮像条件の異なる複数の個別点群データにおいて、同一位置の構成点に付与情報が付与されている場合、これらの構成点の寄与度を低下させずに総合点群データを生成してもよい。例えば、昼間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、夜間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、が同一位置に存在する場合、これらの構成点は影ではない可能性がある。従って、ある構成点について影であると誤判定して付与情報を付与してしまった場合に、この構成点の寄与度を低下させないようにすることができる。 When the additional information is given to the constituent points at the same position in the plurality of individual point cloud data with different imaging conditions, the generating unit generates the total point cloud data without reducing the contribution of these constituent points. May be. For example, a component point determined to be a shadow in the individual point cloud data generated based on the daytime imaging information, and a component point determined to be a shadow in the individual point cloud data generated based on the nighttime imaging information If the constituent points and are in the same position, these constituent points may not be shadows. Therefore, when a certain constituent point is erroneously determined to be a shadow and additional information is added, it is possible to prevent the degree of contribution of this constituent point from decreasing.
本発明の実施形態に係る情報処理方法は、撮像情報に基づいて生成された個別点群データを収集する収集工程と、複数の個別点群データに基づいて総合点群データを生成する生成工程と、を含む。収集工程において、個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得する。生成工程において、付与情報に基づいて構成点の寄与度を決定して総合点群データを生成する。このような情報処理方法によれば、影に対応する構成点に付与された付与情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データを活用しやすくすることができる。 An information processing method according to an embodiment of the present invention includes a collecting step of collecting individual point cloud data generated based on imaging information, and a generating step of generating total point cloud data based on a plurality of individual point cloud data. ,including. In the collecting step, the assignment information given to the component points corresponding to the shadow among the component points forming the individual point cloud data is acquired. In the generation step, the degree of contribution of the constituent points is determined based on the added information, and the total point cloud data is generated. According to such an information processing method, the degree of contribution of the constituent points is determined based on the addition information given to the constituent points corresponding to the shadow, and the total point cloud data is generated based on the plurality of individual point cloud data. By doing so, it is possible to make it easier to utilize the comprehensive point cloud data.
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、活用しやすい総合点群データを生成することができる。 Further, it may be an information processing program that causes a computer to execute the above-described information processing method. By doing so, it is possible to generate comprehensive point cloud data that is easy to use by using a computer.
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。 Further, the above-mentioned information processing program may be stored in a computer-readable recording medium. By doing so, the program can be distributed as a single unit in addition to being installed in the device, and the version can be easily upgraded.
以下、本発明の実施例について具体的に説明する。本実施例の情報処理ユニット1は、図1に示すように、移動体10に搭載されたVSLAM装置である第1の情報処理装置1Aと、外部サーバ100に搭載された第2の情報処理装置1Bと、によって構成されている。第1の情報処理装置1Aは、情報取得部2と、生成部3と、出力部4と、を備える。移動体10は例えば車両であって、撮像部20と、地図情報記憶部30と、自己位置推定部40と、走行情報センサ50と、日時情報管理部60と、が搭載されている。
Hereinafter, examples of the present invention will be specifically described. As shown in FIG. 1, the
第2の情報処理装置1Bは、収集部11と、生成部12と、を備える。外部サーバ100には、通信部101と、記憶部本体102と、が搭載されている。尚、外部サーバ100は複数の第1の情報処理装置1Aと通信するように構成されている。
The second
撮像部20は、例えばビデオカメラであって、移動体10の進行方向前方側を撮像するように配置されている。撮像部20が撮像した動画は、複数の撮像情報(フレーム)によって構成されており、情報取得部2に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。
The
地図情報記憶部30は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部30に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別(住宅と商業施設との区別や、商業施設の業種等)についての情報も含むものとする。
The map
自己位置推定部40は、移動体10の現在位置(絶対位置)を推定するものであって、例えば複数のGPS(Global Positioning System)衛星から発信される電波を受信するGPS受信部であればよい。自己位置推定部40が推定した現在位置は、撮像部20による撮像情報の撮像位置を示す位置情報として、情報取得部2に送信される。
The self-
走行情報センサ50は、移動体10の変位量を測定するためのセンサであって、例えば、移動体10の車速パルスを取得する車速パルス取得部と、移動体10の方位変位量を測定するためのジャイロセンサと、移動体10の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ50が取得した変位量によって、移動体10の進行方向が推定される。移動体10の進行方向と、移動体10における撮像部20の取り付け方向と、によって、撮像時における撮像部20の向きに関する撮像方位情報が決定される。撮像部20が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ50から情報取得部2に撮像方位情報が送信される。尚、走行情報センサ50は、少なくとも移動体10の進行方向を推定可能なものであればよい。
The travel information sensor 50 is a sensor for measuring the displacement amount of the moving
日時情報管理部60は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部60から情報取得部2に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部2は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。
The date / time information management unit 60 has a calendar function and a clock function. The timepiece function is preferably a radio timepiece function that receives standard radio waves and automatically corrects errors. The date and time information is transmitted from the date and time information management unit 60 to the
情報取得部2は、上記のように撮像部20から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部40から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部30から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ50から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部60から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。
The
生成部3は、情報取得部2が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部3が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばORB(Oriented fast and Rotated Brief)アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。
The generation unit 3 extracts a feature point from the imaging information acquired by the
出力部4は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ100の通信部101と通信することにより、生成部3が生成した情報(点群データ)を送信する。これにより、外部サーバ100の記憶部本体102に情報が記憶されるようになっている。
The
第2の情報処理装置1Bの収集部11は、通信部101を介し、第1の情報処理装置1Aが生成した点群データ(個別点群データ)を取得する。収集部11は、複数の移動体から個別点群データを取得したり、1つの移動体から個別点群データを複数回取得したりすることにより、個別点群データを収集する。
The
生成部12は、収集部11が収集した複数の個別点群データに基づいて、総合点群データを生成する。総合点群データは、複数の個別点群データを重ね合わせたものであってもよいし、複数の個別点群データの構成点の位置平均を示すものであってもよい。
The
このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ(いわゆるLIDAR; Laser Imaging Detection and Ranging)によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。 The comprehensive point cloud data generated in this way is used, for example, for estimating the self-position of the moving body. That is, when a feature is detected by an optical sensor (so-called LIDAR; Laser Imaging Detection and Ranging) mounted on the moving body, the self-position of the moving body may be estimated by collating with the comprehensive point cloud data.
[第1の情報処理装置における影の特定]
生成部3は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出してもよい(即ち、抽出部として機能してもよい)。このときの詳細な手順の一例を以下に説明する。まず、生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部20の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向(影生成方向)を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。
[Identification of Shadow in First Information Processing Device]
When generating the point cloud data, the generation unit 3 may specify and extract a constituent point corresponding to a shadow among the constituent points that form the point cloud data (that is, may function as an extraction unit). . An example of the detailed procedure at this time will be described below. First, the generation unit 3 specifies the shadow generation direction based on the sun altitude information, the sun azimuth information, and the imaging azimuth information. That is, if the position of the sun and the orientation of the
尚、影生成方向に並んだ構成点が影に対応するものであるか否かは、例えば、並んだ構成点の個数や、複数の構成点によって形成される直線の長さ等に基づいて判断すればよい。即ち、影生成方向に並んだ構成点の個数が少ない場合や、複数の構成点によって構成される直線の長さが短い場合、これらの構成点は偶然影生成方向に並んでいるだけであり、影に対応したものでない可能性が高い。 Whether or not the constituent points arranged in the shadow generation direction correspond to the shadow is determined based on, for example, the number of constituent points arranged in a line or the length of a straight line formed by a plurality of constituent points. do it. That is, when the number of constituent points arranged in the shadow generation direction is small, or when the length of a straight line formed by a plurality of constituent points is short, these constituent points are accidentally arranged in the shadow generation direction, There is a high possibility that it does not correspond to the shadow.
生成部3は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去する。 When the generating unit 3 extracts the constituent points arranged in the shadow generation direction and determines that these constituent points correspond to the shadow, these constituent points are removed from the point cloud data.
ここで、影生成方向に並んだ構成点を抽出する方法の具体例について図2、3を参照しつつ説明する。尚、図2、3では、対象とする道路及び地物以外は適宜省略して示している。 Here, a specific example of a method of extracting constituent points arranged in the shadow generation direction will be described with reference to FIGS. 2 and 3, the roads and features other than the target are omitted as appropriate.
図2に示すように、道路R沿いに建物Bが存在している場合、この建物Bによって、太陽の位置及び撮像部の向きに応じた影Sが地面に形成される。建物Bは、鉛直方向に沿って延びる縁部B1を有しており、影Sは縁部B1に対応した直線状の境界線S1を有する。図2のフレームにおいて境界線S1上の特徴点が抽出され、さらにこの前後のフレームにおいても境界線S1上の特徴点が抽出される。従って、図3に示すように生成部3が点群データを生成した際、点群データには、建物Bに対応した構成点PBと、境界線S1に対応した構成点P1〜P4と、が含まれる。 As shown in FIG. 2, when a building B exists along the road R, the building B forms a shadow S on the ground according to the position of the sun and the orientation of the imaging unit. The building B has an edge B1 extending along the vertical direction, and the shadow S has a linear boundary line S1 corresponding to the edge B1. The feature points on the boundary line S1 are extracted in the frame of FIG. 2, and the feature points on the boundary line S1 are also extracted in the frames before and after this. Therefore, when the generation unit 3 generates the point cloud data as shown in FIG. 3, the point cloud data includes the constituent points PB corresponding to the building B and the constituent points P1 to P4 corresponding to the boundary line S1. included.
生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向L1を特定する。図示の例では、太陽は南西に位置し、撮像部20は北北西を向いている。生成部3は、影生成方向L1を特定することで、この方向に並んだ構成点P1〜P4を抽出することができる。
The generation unit 3 specifies the shadow generation direction L1 based on the sun altitude information, the sun direction information, and the imaging direction information. In the illustrated example, the sun is located in the southwest, and the
尚、生成部3は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去せずに、所定の情報をフラグとして付与してもよい。構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。 When the generating unit 3 extracts the constituent points arranged in the shadow generation direction and determines that these constituent points correspond to the shadow, the generating unit 3 does not remove the constituent points in the point cloud data and determines the predetermined points. Information may be added as a flag. The predetermined information given to the constituent point may be, for example, information that it is a shadow or information that there is a possibility of a shadow, and may reduce the reliability of the constituent point (0 Information (including the case of setting).
また、生成部3は、上記のように影生成方向に並んだ構成点を抽出する際、自己位置推定部40から取得した位置情報と、地図情報記憶部30から取得した地図情報と、に基づき、撮像範囲に含まれる地物の影の形状を推定してもよい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決定される。例えば、道路沿いの地物が天然物である場合や複雑な形状の建物である場合、鉛直方向に沿って延びる縁部によって直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、この地物の影に対応した構成点ではないと判定することができる。
Further, when extracting the component points arranged in the shadow generation direction as described above, the generation unit 3 is based on the position information acquired from the self-
また、生成部3は、地図情報に地物の高さ情報が含まれている場合、この高さ情報を利用してもよい。即ち、高さ情報と太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向だけでなく、影の境界線の長さを推定することができる。従って、構成点が影生成方向に沿って並んでいても、境界線の長さを超えた領域については、影に対応したものでないと判断することができる。 Further, when the map information includes the height information of the feature, the generation unit 3 may use this height information. That is, not only the shadow generation direction but also the length of the boundary line of the shadow can be estimated based on the height information, the sun altitude information, the sun direction information, and the imaging direction information. Therefore, even if the constituent points are arranged along the shadow generation direction, it is possible to determine that the region exceeding the length of the boundary does not correspond to the shadow.
上記の例では、地物のうち鉛直方向に沿って延びる縁部の影に対応した構成点を抽出するものとしたが、他の影に対応した構成点を抽出してもよい。例えば、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。このような方法として、フラクタル次元を概算することにより、植生の葉によって形成される影を特定する方法が例示される。 In the above example, the constituent points corresponding to the shadow of the edge of the feature extending along the vertical direction are extracted, but the constituent points corresponding to other shadows may be extracted. For example, the constituent points corresponding to the shadow may be extracted based on the complexity of the shape represented by the plurality of constituent points. As such a method, a method of estimating a fractal dimension to identify a shadow formed by vegetation leaves is exemplified.
また、生成部3は、VSLAMによって点群データを生成するよりも前に、撮像情報の各フレームの特徴点から、影に対応する特徴点を抽出してもよい。このとき、生成部3は、影に対応する特徴点を除去して点群データを生成すればよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。 Further, the generation unit 3 may extract a feature point corresponding to a shadow from the feature points of each frame of the imaging information before generating the point cloud data by VSLAM. At this time, the generation unit 3 may generate the point cloud data by removing the characteristic points corresponding to the shadow. Further, information indicating that feature points have been removed may be added to the point cloud data.
[点群データのデータ構造]
上記のように生成部3が、影に対応する構成点に所定の情報をフラグとして付与した場合、この点群データは以下に詳述するようなデータ構造を有する。構成点に付与される所定の情報は、上記のように、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。
[Data structure of point cloud data]
When the generation unit 3 adds predetermined information as a flag to the constituent points corresponding to the shadow as described above, this point cloud data has a data structure as described in detail below. The predetermined information given to the constituent point may be the information that it is a shadow as described above, the information that there is a possibility of a shadow, or the reliability of the constituent point. It may be information that the value is lowered (including setting it to 0).
第2の情報処理装置1Bの生成部(処理部)12は、収集部11が収集した複数の個別点群データに基づいて総合点群データを生成する際、情報が付与された(即ち影に対応する)構成点の寄与度を下げて処理することができる。例えば、複数の個別点群データを重ね合わせて総合点群データを生成する際、ある点群データ含まれるフラグ付きの構成点の位置に、他の点群データに含まれる構成点が位置しない場合、この位置の構成点はないものとして処理することができる。
When generating the total point cloud data based on the plurality of individual point cloud data collected by the
また、構成点に付与される情報は、構成点が対応する影を生成する地物についての情報(例えば、当該構成点が、建物が生成した影に対応したものであるという情報や、植生が生成した影に対応したものであるという情報)を含んでいてもよい。このような点群データのデータ構造の一例を、表1に示す。 In addition, the information given to the constituent points is information about the features that generate shadows corresponding to the constituent points (for example, information that the constituent points correspond to the shadows generated by the building and vegetation information). (Information that corresponds to the generated shadow) may be included. Table 1 shows an example of the data structure of such point cloud data.
即ち、各構成点にはIDが割り振られており、各構成点に、位置情報と、影フラグ情報(即ち情報が付与されているか否か)と、構成点が対応する影を生成する地物についての情報と、が付与されている。表1の例では、位置情報が二次元的な座標情報であるものとしたが、位置情報は三次元的な(xyz空間における)座標情報であってもよい。 That is, an ID is assigned to each constituent point, and position information, shadow flag information (that is, whether or not information is added), and a feature that generates a shadow corresponding to each constituent point are assigned to each constituent point. And information is added. Although the position information is two-dimensional coordinate information in the example of Table 1, the position information may be three-dimensional (in the xyz space) coordinate information.
影フラグ情報は、「0」の場合に情報が付与されていないことを示し、「1」の場合に情報が付与されていることを示す。構成点が対応する影を生成する地物についての情報は、影フラグ情報が0の場合にはブランクとなり、1の場合には、その地物の属性等を特定する情報となる。表1の例では、ID=2の構成点とID=3の構成点とは、異なるビルによって生成される影に対応している。尚、構成点が影に対応することは特定できているものの、その影を生成する地物が特定できていない場合には、地物についての情報をブランクとしてもよい。 The shadow flag information indicates that the information is not attached when it is “0”, and indicates that the information is attached when it is “1”. When the shadow flag information is 0, the information about a feature that generates a shadow corresponding to a constituent point is blank, and when the shadow flag information is 1, it is information specifying the attribute of the feature. In the example of Table 1, the constituent points with ID = 2 and the constituent points with ID = 3 correspond to shadows generated by different buildings. It should be noted that although it has been specified that the constituent points correspond to the shadow, but if the feature generating the shadow has not been specified, the information about the feature may be blank.
[総合点群データの生成]
上記のように、第2の情報処理装置1Bにおいて、収集部11が、個別点群データを収集し、生成部12が、複数の個別点群データに基づいて総合点群データを生成する。このとき、収集部11は、個別点群データだけでなく、この個別点群データを各構成点のうち影に対応する構成点に付与された付与情報(上記の影フラグ情報、及び、構成点が対応する影を生成する地物についての情報)を取得する。
[Generation of comprehensive point cloud data]
As described above, in the second
生成部12は、取得した付与情報に基づいてその構成点の寄与度を決定し、総合点群データを生成する。寄与度は、例えば、総合点群データの生成時に複数の個別点群データを重ね合わせたり位置平均を求めたりする際に、重みづけに用いられる値であればよい。
The
生成部12は、影フラグ情報を取得した場合、その構成点の寄与度を0とし、即ちこの構成点を除去して総合点群データを生成してもよい。
When the shadow flag information is acquired, the
また、生成部12は、撮像条件の異なる複数の個別点群データにおいて、同一位置の構成点にフラグ情報が付与されている場合、これらの構成点の寄与度を低下させずに総合点群データを生成してもよい。昼間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、夜間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、が同一位置に存在する場合、これらの構成点は影ではない可能性がある。従って、ある構成点について影であると誤判定して付与情報を付与してしまった場合に、この構成点の寄与度を低下させないようにすることができる。
In addition, when the flag information is added to the constituent points at the same position in the plurality of individual point group data with different imaging conditions, the
また、生成部12は、構成点の寄与度を決定する際、影フラグ情報だけでなく、影を生成する地物についての情報も参照してもよい。地物の形状が明確であるほど、構成点が影に対応しているか否かを正確に判断しやすい。即ち、影フラグ情報が付与された構成点であっても、影を生成する地物によって判定精度が異なる。そこで、例えば影を生成する地物の形状が明確であるほど構成点の寄与度を低下させるという処理を行うことにより、影の判定精度も考慮して総合点群データを生成することができる。
Further, when determining the degree of contribution of the constituent points, the
上記の構成により、点群データを構成する構成点のうち影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。 With the above configuration, by assigning predetermined information to the constituent points corresponding to the shadow among the constituent points forming the point cloud data, the constituent points corresponding to the shadow are used when the point cloud data is used for self-position estimation or the like. You can choose not to use or reduce the usage. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to make the point cloud data easier to use.
また、撮像情報において影に対応する特徴点を抽出するとともに除去して点群データを生成すれば、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。 Further, by extracting and removing the characteristic points corresponding to the shadow in the imaging information to generate the point cloud data, it is possible to prevent the influence of the shadow when the point cloud data is used for self-position estimation or the like. it can. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to make the point cloud data easier to use.
また、出力部4によって点群データを外部サーバ100に出力することで、出力先の外部サーバ100において点群データを活用することができる。
Moreover, by outputting the point cloud data to the
また、点群データのデータ構造において、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データ(総合点群データ)を自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。 Further, in the data structure of the point cloud data, predetermined information is given to the constituent points corresponding to the shadows, and the constituent points corresponding to the shadows can be processed with a reduced degree of contribution. When using the point cloud data (combined point cloud data) for self-position estimation or the like, it is possible not to use the constituent points corresponding to the shadow or to reduce the degree of use. Since the constituent points corresponding to the shadows may change depending on the date and time and the weather, it is possible to easily utilize the processed point cloud data.
また、影に対応する構成点に付与されたフラグ情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。 In addition, by determining the degree of contribution of the constituent points based on the flag information given to the constituent points corresponding to the shadow, and generating the total point cloud data based on the plurality of individual point cloud data, , It is possible not to use the constituent points corresponding to the shadow, or to reduce the usage. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to easily utilize the comprehensive point cloud data.
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。 The present invention is not limited to the above-described embodiments, but includes other configurations and the like that can achieve the object of the present invention, and the following modifications and the like are also included in the present invention.
例えば、前記実施例では、情報取得部2と生成部3とが移動体に10に搭載されているものとしたが、第1の情報処理装置を構成する撮像情報取得部と生成部と抽出部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
For example, in the above-described embodiment, the
また、前記実施例では、収集部11と生成部12とが外部サーバ100に搭載されているものとしたが、第2の情報処理装置を構成する収集部と生成部は、外部サーバに搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
Further, in the above-described embodiment, the
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。 Besides, the best configuration, method, and the like for carrying out the present invention have been disclosed in the above description, but the present invention is not limited thereto. That is, the present invention is mainly illustrated and described mainly with respect to a specific embodiment, but without departing from the technical idea and the scope of the object of the present invention, the shape with respect to the embodiment described above Those skilled in the art can make various modifications in terms of material, quantity, and other detailed configurations. Therefore, the description limiting the shapes and materials disclosed above is described as an example for facilitating the understanding of the present invention, and does not limit the present invention. The description with the names of members excluding some or all of the above limitations is included in the present invention.
1A 第1の情報処理装置
2 情報取得部(撮像情報取得部)
3 生成部(抽出部)
4 出力部
10 移動体
20 撮像部
1B 第2の情報処理装置
11 収集部
12 生成部
1A First
3 Generator (extractor)
4
Claims (6)
複数の前記個別点群データに基づいて総合点群データを生成する生成部と、を備え、
前記収集部は、前記個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得し、
前記生成部は、前記付与情報に基づいて前記構成点の寄与度を決定して前記総合点群データを生成することを特徴とする情報処理装置。 A collection unit that collects individual point cloud data generated based on imaging information,
A generating unit that generates total point cloud data based on the plurality of individual point cloud data,
The collecting unit acquires the addition information given to the constituent points corresponding to the shadow among the constituent points forming the individual point cloud data,
The information processing apparatus, wherein the generation unit determines the degree of contribution of the constituent points based on the addition information and generates the total point cloud data.
複数の前記個別点群データに基づいて総合点群データを生成する生成工程と、を含み、
前記収集工程において、前記個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得し、
前記生成工程において、前記付与情報に基づいて前記構成点の寄与度を決定して前記総合点群データを生成することを特徴とする情報処理方法。 A collection step of collecting individual point cloud data generated based on imaging information,
A generation step of generating total point cloud data based on the plurality of individual point cloud data,
In the collecting step, acquiring the addition information given to the constituent points corresponding to the shadow among the constituent points forming the individual point cloud data,
The information processing method, wherein, in the generating step, the degree of contribution of the constituent points is determined on the basis of the addition information to generate the total point cloud data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193086A JP2020060501A (en) | 2018-10-12 | 2018-10-12 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193086A JP2020060501A (en) | 2018-10-12 | 2018-10-12 | Information processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020060501A true JP2020060501A (en) | 2020-04-16 |
Family
ID=70220152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193086A Ceased JP2020060501A (en) | 2018-10-12 | 2018-10-12 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020060501A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724440A (en) * | 2020-05-27 | 2020-09-29 | 杭州数梦工场科技有限公司 | Orientation information determining method and device of monitoring equipment and electronic equipment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215972A (en) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | Image processing system and position measurement system |
JP2012159373A (en) * | 2011-01-31 | 2012-08-23 | Aisin Aw Co Ltd | Data management system, data management method and data management program |
JP2013032953A (en) * | 2011-08-01 | 2013-02-14 | Aisin Aw Co Ltd | Position determination device and navigation device, position determination method, and program |
JP2014035561A (en) * | 2012-08-07 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle travel support device and vehicle travel support method |
JP2015102449A (en) * | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | Vehicle self position estimation apparatus and vehicle self position estimation method |
-
2018
- 2018-10-12 JP JP2018193086A patent/JP2020060501A/en not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215972A (en) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | Image processing system and position measurement system |
JP2012159373A (en) * | 2011-01-31 | 2012-08-23 | Aisin Aw Co Ltd | Data management system, data management method and data management program |
JP2013032953A (en) * | 2011-08-01 | 2013-02-14 | Aisin Aw Co Ltd | Position determination device and navigation device, position determination method, and program |
JP2014035561A (en) * | 2012-08-07 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle travel support device and vehicle travel support method |
JP2015102449A (en) * | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | Vehicle self position estimation apparatus and vehicle self position estimation method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724440A (en) * | 2020-05-27 | 2020-09-29 | 杭州数梦工场科技有限公司 | Orientation information determining method and device of monitoring equipment and electronic equipment |
CN111724440B (en) * | 2020-05-27 | 2024-02-02 | 杭州数梦工场科技有限公司 | Method and device for determining azimuth information of monitoring equipment and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Seymour et al. | Deploying fixed wing Unoccupied Aerial Systems (UAS) for coastal morphology assessment and management | |
Piermattei et al. | Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes | |
KR101984259B1 (en) | Method and device for making a topographic map | |
KR101493418B1 (en) | Method for eliminating shadow of aerial photograph and apparatus thereof | |
JP6950832B2 (en) | Position coordinate estimation device, position coordinate estimation method and program | |
JP2007219231A (en) | Aerial image processing device and aerial image processing method | |
KR20090064679A (en) | Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors | |
EP3529978B1 (en) | An image synthesis system | |
JP2023174728A (en) | Information processing device | |
Balenović et al. | Digital photogrammetry–State of the art and potential for application in forest management in Croatia | |
KR100904078B1 (en) | A system and a method for generating 3-dimensional spatial information using aerial photographs of image matching | |
JP6278790B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
JP2008090808A (en) | Image correction apparatus, image correction method and program | |
Iizuka et al. | Improving the 3D model accuracy with a post-processing kinematic (PPK) method for UAS surveys | |
Zingoni et al. | Real-time 3D reconstruction from images taken from an UAV | |
JP2020060501A (en) | Information processing device | |
JP2023111921A (en) | Information processing device | |
Sreedhar et al. | Automatic conversion of DSM to DTM by classification techniques using multi-date stereo data from cartosat-1 | |
JP2020061049A (en) | Point group data structure | |
JP3914256B1 (en) | Image correction apparatus, image correction method, and program | |
JP7257770B2 (en) | Information processing equipment | |
CN107808160B (en) | Three-dimensional building extraction method and device | |
CN116051980A (en) | Building identification method, system, electronic equipment and medium based on oblique photography | |
JP2020060496A (en) | Information processing device | |
CN111881233A (en) | Distributed point cloud map construction method and device, server and computer readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221107 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20230725 |