JP2020017200A - 情報処理装置 - Google Patents

Abstract

【課題】信頼度の高い総合三次元点群データを生成することができる情報処理装置を提供する。【解決手段】情報処理装置は、個別三次元点群データを収集し、収集した複数の個別三次元点群データに基づいて総合三次元点群データを生成する。道路上に位置する点群数に基づきこの個別三次元点群データの利用について判定することで、精度の低い個別三次元点群データを利用せず、信頼度の高い総合三次元点群データを生成することができる。【選択図】図３

Description

本発明は、情報処理装置に関する。

従来、移動体において自己位置推定と環境地図作成を同時に実行する方法（ＳＬＡＭ；Simultaneous Localization and Mapping）が知られている。このようなＳＬＡＭの一種として、レーザ装置に代えてビデオカメラを用いる方法（ＶＳＬＡＭ；Visual SLAM）が提案されている（例えば、特許文献１参照）。特許文献１に記載されたようなＶＳＬＡＭでは、ビデオカメラを用いることによりコスト低減を図っている。

特開２０１４−２２２５５０号公報

特許文献１に記載されたようなＶＳＬＡＭにおいては、ビデオカメラによって撮像された画像（フレーム）において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。しかしながら、ビデオカメラ等の撮像部を用いる方法では、レーザ装置を用いて三次元点群データを生成する方法と比較して、得られるデータの精度が低くなってしまうことがあった。従って、例えば複数の移動体において個別に三次元点群データを生成し、個別のデータを収集して総合的なデータを生成する際に、精度の低い個別のデータが含まれていると、総合的なデータの信頼度が低下してしまう可能性があった。

したがって、本発明の課題は、信頼度の高い総合三次元点群データを生成することができる情報処理装置を提供することが一例として挙げられる。

前述した課題を解決し目的を達成するために、請求項１に記載の本発明の情報処理装置は、画像情報に基づいて生成された個別三次元点群データを収集する収集部と、複数の前記個別三次元点群データに基づいて総合三次元点群データを生成する生成部と、既存の地図情報を取得する地図情報取得部と、を備え、前記生成部は、前記個別三次元点群データにおける、前記地図情報に基づいて定まる道路上に位置する点群数に基づき当該個別三次元点群データの寄与度を決定して前記総合三次元点群データを生成することを特徴としている。

請求項５に記載の本発明の情報出力装置は、画像情報に基づいて個別三次元点群データを生成する生成部と、前記個別三次元点群データを出力するための出力制御部と、地図情報を取得する地図情報取得部と、を備え、前記出力制御部は、前記個別三次元点群データにおける、前記地図情報に基づいて定まる道路上に位置する点群数に基づき、当該個別三次元点群データの出力の有無と、当該個別三次元点群データに対するフラグの付与の有無と、のうち少なくとも一方を決定することを特徴としている。

請求項６に記載の本発明の情報処理方法は、画像情報に基づいて生成された個別三次元点群データを収集する収集工程と、複数の前記個別三次元点群データに基づいて総合三次元点群データを生成する生成工程と、地図情報を取得する地図情報取得工程と、を含み、前記生成工程において、前記個別三次元点群データにおける、前記地図情報に基づいて定まる道路上に位置する点群数に基づき当該個別三次元点群データの寄与度を決定して前記総合三次元点群データを生成することを特徴としている。

本発明の第１実施例に係る情報処理装置の概略を示すブロック図である。 前記情報処理装置が収集する個別三次元点群データが区間分割された様子を示す平面図である。 前記情報処理装置の生成部が実行する利用判定処理の一例を示すフローチャートである。 前記個別三次元点群データの一例を示す平面図である。 本発明の第２実施例に係る情報出力装置の概略を示すブロック図である。

以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、画像情報に基づいて生成された個別三次元点群データを収集する収集部と、複数の個別三次元点群データに基づいて総合三次元点群データを生成する生成部と、地図情報を取得する地図情報取得部と、を備える。生成部は、個別三次元点群データにおける、地図情報に基づいて定まる道路上に位置する点群数に基づきこの個別三次元点群データの寄与度を決定して総合三次元点群データを生成する。

このような本実施形態の情報処理装置によれば、道路上に位置する点群数に基づき個別三次元点群データの寄与度を決定することにより、道路上に位置する点群数が多い場合に寄与度を低くすることができる。道路上に位置する点群は、他の移動体や歩行者等、動作している可能性のある物体によるものである可能性が高い。画像情報に基づいて個別三次元点群データを生成する際、動作する物体から特徴点を抽出してしまうと、データの精度が低くなってしまうことがある。即ち、個別三次元点群データにおいて、道路上に位置する点群数が多い場合、この個別三次元点群データの精度が低い可能性がある。

そこで、道路上に位置する点群数が多い場合に、この個別三次元点群データの寄与度を低くすることで、精度の低い個別三次元点群データの寄与度を低くし、信頼度の高い総合三次元点群データを生成することができる。尚、寄与度を低くするとは、寄与度を０にする（即ちこの個別三次元点群データを利用しない）ことも含む。尚、収集部と生成部と地図情報取得部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。

生成部は、個別三次元点群データにおいて、道路を含む所定範囲の総点群数に対する道路上に位置する点群数の割合が所定値以上である場合に、この個別三次元点群データを用いずに総合三次元点群データを生成することが好ましい。これにより、総合三次元点群データの生成時に精度の低い個別三次元点群データを用いないことから、信頼度の高い総合三次元点群データを生成することができる。

生成部は、道路を複数の区間に分割し、区間ごとに寄与度を決定することが好ましい。ある区間において精度が低い個別三次元点群データであっても、他の区間においては精度が高い場合がある。区間ごとに寄与度を決定することで、個別三次元点群データのうち精度が高い部分について寄与度を高くして総合三次元点群データの生成に利用することができる。

生成部は、地図情報に基づく道路形状に応じて、区間の長さを設定することが好ましい。即ち、個別三次元点群データにおいて精度が低くなりやすい区間（例えば交差点やカーブ等）を短く設定し、高い精度が得られやすい区間（例えば直線部）を長く設定することが好ましい。これにより、個別三次元点群データにおいて局所的に精度が低くなっている場合に、寄与度を低くする区間の長さを短くすることができる。

本発明の実施形態に係る情報出力装置は、画像情報に基づいて個別三次元点群データを生成する生成部と、個別三次元点群データを出力するための出力制御部と、地図情報を取得する地図情報取得部と、を備える。出力制御部は、個別三次元点群データにおける、地図情報に基づいて定まる道路上に位置する点群数に基づき、この個別三次元点群データの出力の有無と、この個別三次元点群データに対するフラグの付与の有無と、のうち少なくとも一方を決定する。

このような本実施形態の情報出力装置によれば、道路上に位置する点群数が多い場合に、この個別三次元点群データを出力しなかったり、精度が低いことを示す情報をフラグとして付与した上でこの個別三次元点群データを出力したりすることができる。これにより、個別三次元点群データを収集して総合三次元点群データを生成する装置において、精度の低い個別三次元点群データについて、そもそも用いなかったり、寄与度を低くして利用したりすることができる。従って、信頼度の高い総合三次元点群データを生成することができる。

本発明の実施形態に係る情報処理方法は、画像情報に基づいて生成された個別三次元点群データを収集する収集工程と、複数の個別三次元点群データに基づいて総合三次元点群データを生成する生成工程と、地図情報を取得する地図情報取得工程と、を含む。生成工程において、個別三次元点群データにおける、地図情報に基づいて定まる道路上に位置する点群数に基づきこの個別三次元点群データの寄与度を決定して総合三次元点群データを生成する。このような情報処理方法によれば、上記のように、精度の低い個別三次元点群データの寄与度を低くし、信頼度の高い総合三次元点群データを生成することができる。

また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、信頼度の高い総合三次元点群データを生成することができる。

また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

［第１実施例］
以下、本発明の第１実施例について具体的に説明する。本実施例の情報処理装置１は、図１に示すように、例えば移動体１０と通信する外部サーバ２０に搭載され、収集部２と、生成部３と、地図情報取得部４と、を備える。移動体１０は例えば車両であって、撮像部１１と、個別データ生成部１２と、通信部１３と、が搭載されている。尚、図１には１台の移動体１０のみを示しているが、外部サーバ２０は複数の移動体と通信可能なものであってもよい。

撮像部１１は、例えばビデオカメラであって、移動体１０の進行方向前方側を撮像するように配置されている。撮像部１１が撮像した動画は、複数の画像情報（フレーム）によって構成されており、個別データ生成部１２に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。

個別データ生成部１２は、撮像部１１から画像情報を取得し、ＶＳＬＡＭによって個別三次元点群データを生成する。即ち、個別データ生成部１２は、画像情報において特徴点を抽出し、特徴点の変化に基づいて三次元点群データを生成する。ＶＳＬＡＭでは、三次元的な点群データを生成すると同時に自己位置の推定も可能であり、個別三次元点群データには、移動体１０の走行軌跡（推定した自己位置情報の集合）の情報も含まれているものとする。尚、抽出する特徴点は、物体の角部等、他の物体と区別可能であるとともに追跡可能なものであればよく、特徴点の抽出には、例えばＯＲＢ（Oriented fast and Rotated Brief）アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。

また、個別データ生成部１２が個別三次元点群データを生成する際、画像情報以外の情報も併せて利用してもよく、例えば、ＧＰＳ（Global Positioning System）受信部等の自己位置推定部によって得られる現在位置情報を利用してもよいし、車速パルス取得部やジャイロセンサ、加速度センサ等の車載センサによって得られる変位量情報を利用してもよい。

通信部１３は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ２０の通信部２１と通信することにより、個別データ生成部１２が生成した情報（個別三次元点群データ）を送信する。

情報処理装置１の収集部２は、通信部２１を介し、個別データ生成部１２が生成した個別三次元点群データを取得する。収集部２は、複数の移動体から個別三次元点群データを取得したり、１つの移動体から個別三次元点群データを複数回取得したりすることにより、個別三次元点群データを収集する。

生成部３は、収集部２が収集した複数の個別三次元点群データに基づいて、総合三次元点群データを生成する。総合三次元点群データは、複数の個別三次元点群データを重ね合わせたものであってもよいし、複数の個別三次元点群データに含まれる点群の位置平均を示すものであってもよい。

地図情報取得部４は、外部サーバ２０に設けられた地図情報記憶部２２から地図情報を取得する。地図情報記憶部２２は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報には、少なくとも、道路形状（道路の曲率や道路の交差角度等）を示す情報が含まれている。

生成部３は、上記のように総合三次元点群データを生成する際、図２に示すように道路を複数の区間Ｚ１〜Ｚ５に分割し、各区間において独立に、個別三次元点群データを利用するか否かを判定する。尚、図２におけるＴ０は個別三次元点群データを生成した際の移動体１０の走行軌跡を示している。このとき、地図情報取得部４が取得した地図情報に応じて区間の長さが設定され、個別三次元点群データにおいて精度が低くなりやすい区間（例えば交差点やカーブ等）が短く設定され、高い精度が得られやすい区間（例えば直線部）が長く設定される。

生成部３は、上記のような区間Ｚ１〜Ｚ５のそれぞれにおいて、個別三次元点群データを利用するか否かを判定する利用判定処理を実行する。利用判定処理の一例について、図３のフローチャートを参照して説明する。

まず、生成部３は、地図情報取得部４が取得した地図情報に基づき、判定区間における道路形状を特定する（ステップＳ１）。尚、道路形状とは、例えば道路の曲率や、交差点における道路の交差角度であればよい。次に、生成部３は、収集部２が取得した個別三次元点群データに基づき、判定区間における道路形状を特定する（ステップＳ２）。このとき、個別三次元点群データによって表される建物の位置や、区画線（白線）の形状に基づいて道路形状を特定してもよいし、個別三次元点群データに含まれる走行軌跡の情報に基づいて道路形状を特定してもよい。

生成部３は、個別三次元点群データによって得られる道路形状と、地図情報に基づく道路形状と、の一致度Ｘを算出し（ステップＳ３）、一致度Ｘが所定値Ｘ０以下となるか否かを判定する（ステップＳ４）。一致度Ｘが所定値Ｘ０以下となる場合（ステップＳ４でＹ）、生成部３はこの判定区間においてこの個別三次元点群データを利用しない（ステップＳ５）。

一方、一致度Ｘが所定値Ｘ０よりも大きくなる場合（ステップＳ４でＮ）、生成部３は、判定区間における道路領域と敷地領域とを特定し（ステップＳ６）、総点群数と、道路上に位置する点群数と、をカウントする（ステップＳ７）。次に、生成部３は、総点群数に対する道路上の点群数の割合Ｙを算出し（ステップＳ８）、割合Ｙが所定値Ｙ０以上となるか否かを判定する（ステップＳ９）。

割合Ｙが所定値Ｙ０以上となる場合（ステップＳ９でＹ）、ステップＳ５に進み、生成部３はこの判定区間においてこの個別三次元点群データを利用しない。一方、割合Ｙが所定値Ｙ０よりも小さくなる場合（ステップＳ９でＮ）、生成部３はこの判定区間においてこの個別三次元点群データを利用する（ステップＳ１０）。ステップＳ５、Ｓ１０の後に生成部３は利用判定処理を終了する。

道路形状に基づく判定（ステップＳ１〜Ｓ４）の具体例について説明する。地図情報に基づく道路形状は、区間Ｚ３〜５において曲線状となっている。このとき、曲線状の区間Ｚ３〜５において、個別三次元点群データによって得られる道路形状が直線状となっている場合や、曲線状であるものの曲率半径が大きすぎる（又は小さすぎる）場合、一致度Ｘが低くなる。

また、地図情報に基づく道路形状は、区間Ｚ２において交差点を有しており、地図情報に基づく道路の交差角度と、個別三次元点群データに基づく道路の交差角度と、の差が大きい（又は比率が１からずれる）ほど、一致度Ｘが低くなる。

点群数に基づく判定（ステップＳ６〜Ｓ９）の具体例について説明する。まず、判定区間において、図４に示すように、点群数カウントエリアＡ０が設定される。点群数カウントエリアの長さは、判定区間の長さに略等しく、幅は適宜に設定されればよい。次に、点群数カウントエリアＡ０において道路Ｒを特定することにより、道路領域Ａ１と敷地領域Ａ２、Ａ３とが区別される。道路Ｒを特定する際、少なくとも地図情報を利用すればよく、地図情報に含まれる道路情報（道路形状や幅）に基づいて道路Ｒを特定してもよいし、道路情報に加え、個別三次元点群データによって表される建物の位置や、区画線（白線）の形状、個別三次元点群データに含まれる走行軌跡を利用して道路Ｒを特定してもよい。

領域Ａ１〜Ａ２、Ａ３が区別されたら、点群数カウントエリアＡ０全体の点群数（総点群数、図示の例では２５）と、道路領域Ａ１における点群数（道路Ｒ上に位置する点群数、図示の例では１２）と、がカウントされる。道路Ｒ上には、対向車両等の移動体が位置し、交通量が多い場合や、敷地領域Ａ２、Ａ３において地物が少ない場合に、割合Ｙが高くなる。画像情報に基づいて個別三次元点群データを生成する際、動作する物体から特徴点を抽出してしまうと、データの精度が低くなってしまうことがある。即ち、個別三次元点群データにおいて、道路Ｒ上に位置する点群数が多い（即ち割合Ｙが高い）場合、この個別三次元点群データの精度が低い可能性がある。

上記の構成により、個別三次元点群データによって得られる道路形状と、地図情報に基づく道路形状と、に基づきこの個別三次元点群データの利用について判定することで、精度の低い個別三次元点群データを利用せず、信頼度の高い総合三次元点群データを生成することができる。

また、道路上に位置する点群数に基づきこの個別三次元点群データの利用について判定することで、精度の低い個別三次元点群データを利用せず、信頼度の高い総合三次元点群データを生成することができる。

また、道路を複数の区間に分割し、区間ごとに個別三次元点群データの利用について判定することで、ある区間において精度が低く他の区間においては精度が高い個別三次元点群データを、精度が高い部分についてのみ総合三次元点群データの生成に利用することができる。

また、地図情報に基づく道路形状に応じて、個別三次元点群データにおいて精度が低くなりやすい区間を短くし、高い精度が得られやすい区間を長くすることで、個別三次元点群データにおいて局所的に精度が低くなっている場合に、利用しない区間の長さを短くするとともに、他の区間において利用することができる。

［第２実施例］
以下、本発明の第２実施例について具体的に説明する。本実施例の情報出力装置１Ｂは、図５に示すように、例えば移動体１０に搭載され、個別データ生成部１２と、地図情報取得部４と、通信部１３と、出力制御部１４と、を備え、外部サーバ等の外部装置と通信可能となっている。

出力制御部１４は、個別三次元点群データを出力するか否かを判定し、通信部１３を制御するものである。即ち、出力制御部１４は、前記第１実施例の利用判定処理と同様の処理を実行し、各判定区間において、道路形状の一致度Ｘが所定値Ｘ０以下となるか否かを判定するとともに、点群数の割合Ｙが所定値Ｙ０以上となるか否かを判定する。道路形状の一致度Ｘが所定値Ｘ０以下となるか、又は、点群数の割合Ｙが所定値Ｙ０以上となる場合、出力制御部１４は、この判定区間における個別三次元点群データを、通信部１３によって出力させない。また、道路形状の一致度Ｘが所定値Ｘ０よりも大きく、且つ、点群数の割合Ｙが所定値Ｙ０よりも小さい場合、出力制御部１４は、この判定区間における個別三次元点群データを、通信部１３によって出力させる。

尚、出力制御部１４は、道路形状の一致度Ｘが所定値Ｘ０以下となるか、又は、点群数の割合Ｙが所定値Ｙ０以上となる場合、個別三次元点群データに対してフラグを付与し、通信部１３によって出力させてもよい。このとき付与されるフラグは、この判定区間において個別三次元点群データの信頼度や精度が低いことを示すものであればよい。また、信頼度や精度を数値化した情報を含むフラグを付与してもよい。外部装置が、フラグ付きの個別三次元点群データを取得した場合、この個別三次元点群データを利用しなくてもよいし、寄与度を低くして利用してもよい。

上記の構成により、個別三次元点群データによって得られる道路形状と、地図情報に基づく道路形状と、が乖離している場合に、この個別三次元点群データを出力しなかったり、精度が低いことを示す情報をフラグとして付与した上でこの個別三次元点群データを出力したりすることができる。これにより、個別三次元点群データを収集して総合三次元点群データを生成する装置において、精度の低い個別三次元点群データについて、そもそも用いなかったり、寄与度を低くして利用したりすることができる。従って、信頼度の高い総合三次元点群データを生成することができる。

なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。

例えば、前記実施例では、利用判定処理が、道路形状に基づく判定と、点群数に基づく判定と、の両方を含み、個別三次元点群データを利用するか否かを判定するものとしたが、利用判定処理は、道路形状に基づく判定と、点群数に基づく判定と、のうち少なくとも一方を含んでいればよい。

また、前記実施例では、道路形状に基づく判定と、点群数に基づく判定と、を同じ区間において実行するものとしたが、これらの判定を実行する区間が互いにずれていたり、長さが互いに異なっていたりしてもよい。

また、前記実施例では、道路形状同士の一致度Ｘ及び点群数の割合Ｙに基づいて個別三次元点群データを利用するか否かを判定するものとしたが、個別三次元点群データによって得られる道路形状と、地図情報に基づく道路形状と、に基づき個別三次元点群データの寄与度を決定したり、個別三次元点群データにおける道路上に位置する点群数に基づき個別三次元点群データの寄与度を決定したりしてもよい。即ち、道路形状同士が乖離しているほど寄与度を低くしたり、道路上に位置する点群数が多いほど寄与度を低くしたりしてもよい。

また、前記実施例では、道路形状に応じて道路を複数の区間に分割し、区間ごとに利用判定処理を実行するものとしたが、道路形状に関係なく等しい長さの区間に分割してもよい。また、道路を区間しなくてもよく、例えば、移動体が走行を開始してから停止するまでの間に得られた個別三次元点群データ全体について、利用判定処理を実行してもよい。

また、情報処理装置の各構成は、一部が移動体に設けられていてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。また、情報出力装置の各構成も、物理的に分離した複数の装置に跨っていてもよい。

その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。

１ 情報処理装置
２ 収集部
３ 生成部
４ 地図情報取得部
１Ｂ 情報出力装置
１４ 出力制御部

Claims (8)

1. 画像情報に基づいて生成された個別三次元点群データを収集する収集部と、
   複数の前記個別三次元点群データに基づいて総合三次元点群データを生成する生成部と、
   既存の地図情報を取得する地図情報取得部と、を備え、
   前記生成部は、前記個別三次元点群データにおける、前記地図情報に基づいて定まる道路上に位置する点群数に基づき当該個別三次元点群データの寄与度を決定して前記総合三次元点群データを生成することを特徴とする情報処理装置。
2. 前記生成部は、前記個別三次元点群データにおいて、前記道路を含む所定範囲の総点群数に対する前記道路上に位置する点群数の割合が所定値以上である場合に、当該個別三次元点群データを用いずに前記総合三次元点群データを生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記生成部は、道路を複数の区間に分割し、区間ごとに前記寄与度を決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記生成部は、前記地図情報に基づく道路形状に応じて、前記区間の長さを設定することを特徴とする請求項３に記載の情報処理装置。
5. 画像情報に基づいて個別三次元点群データを生成する生成部と、
   前記個別三次元点群データを出力するための出力制御部と、
   地図情報を取得する地図情報取得部と、を備え、
   前記出力制御部は、前記個別三次元点群データにおける、前記地図情報に基づいて定まる道路上に位置する点群数に基づき、当該個別三次元点群データの出力の有無と、当該個別三次元点群データに対するフラグの付与の有無と、のうち少なくとも一方を決定することを特徴とする情報出力処置。
6. 画像情報に基づいて生成された個別三次元点群データを収集する収集工程と、
   複数の前記個別三次元点群データに基づいて総合三次元点群データを生成する生成工程と、
   地図情報を取得する地図情報取得工程と、を含み、
   前記生成工程において、前記個別三次元点群データにおける、前記地図情報に基づいて定まる道路上に位置する点群数に基づき当該個別三次元点群データの寄与度を決定して前記総合三次元点群データを生成することを特徴とする情報処理方法。
7. 請求項６に記載の情報処理方法を、コンピュータにより実行させることを特徴とする情報処理プログラム。
8. 請求項７に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images