JP2021012037A - システム及び方法 - Google Patents

Abstract

【課題】カーブミラー等の反射部材の傾斜角度を精度よく推定できる。【解決手段】システムは、受信された電磁波のうち、送信された電磁波が反射部材の第１点で反射されて受信された第１の１次反射電磁波と、反射部材の第２点で反射されて受信された第２の１次反射電磁波とに基づいて、反射部材の第１点と第２点の位置情報を検出する検出部と、第１点と第２点の位置情報に基づいて、反射部材の基準面に対する傾斜角度を推定する推定部と、を備える。【選択図】図１

Description

本発明の実施形態は、システム及び方法に関する。

対象物までの距離に応じて色分けした距離画像を生成する技術が提案されている。距離画像を生成するには、車両からレーザ光を投光する方向を変化させながら、その反射光を受光し、投光タイミングから受光タイミングまでの時間によって距離を計測する機能が必要となる。

ここで、レーザ光は、ミラー（鏡）等の反射部材により反射される性質を有する。そのため、このミラーに距離計測用のレーザ光が照射された場合、照射されたレーザ光はミラーで反射されて対象物の方向に進行し、対象物で反射された後に、そのミラーで再度反射されて、受光されることがありえる。この場合に受光されたレーザ光に基づいて距離画像を生成すると、ミラーの奥側に対象物が存在しているかのような虚像を含む距離画像が得られる。実際には、ミラーよりも手前側に対象物が存在するが、レーザ光を用いた距離計測では、レーザ光の光路長により距離を計測するため、対象物で反射されたレーザ光がミラーで反射されたか否かを把握できないのが実情である。

距離画像に写し込まれた、ミラーの奥側に視認される虚像は、ミラーの傾斜角度が分かれば、数値計算によって実像に変換することができる。このため、ミラーの傾斜角度を精度よく算出する技術が必要となる。

国際公開ＷＯ／２０１９００８７１６Ａ１

本発明の一態様は、ミラー等の反射部材の傾斜角度を精度よく推定することが可能なシステム及び方法を提供するものである。

本実施形態によれば、受信された電磁波のうち、送信された電磁波が反射部材の第１点で反射されて受信された第１の１次反射電磁波と、前記反射部材の第２点で反射されて受信された第２の１次反射電磁波とに基づいて、前記反射部材の前記第１点と前記第２点の位置情報を検出する検出部と、
前記第１点と前記第２点の位置情報に基づいて、前記反射部材の基準面に対する傾斜角度を推定する推定部と、を備えるシステムが提供される。

第１の実施形態によるシステムの概略構成を示すブロック図。 平板状の反射部材を上方から見た平面図。 第１の実施形態によるシステムの処理動作を示すフローチャート。 第２の実施形態によるシステムの概略構成を示すブロック図。 受光部で受光されるレーザ光の波形を模式的に示す図。 対象物から反射された２次反射レーザ光を示す図。 第２の実施形態によるシステムの処理動作を示すフローチャート。 第３の実施形態によるシステムの概略構成を示すブロック図。 第３の実施形態によるシステムの処理動作を示すフローチャート。 散乱反射を増やすことが可能な反射部材の第１例を示す図。 散乱反射を増やすことが可能な反射部材の第２例を示す図。 認識部による認識率を高くすることが可能な反射部材の一例を示す図。 第１〜第４の実施形態のいずれかによるシステムを有するシステムの概略構成を示すブロック図。 実像変換部の処理動作を説明する図。

以下、図面を参照して、システム及び方法の実施形態について説明する。以下では、システムの主要な構成部分を中心に説明するが、システムには、図示又は説明されていない構成部分や機能が存在しうる。

（第１の実施形態）
図１は第１の実施形態によるシステム１の概略構成を示すブロック図である。システム１は、ミラー等の反射部材４の傾斜角度を精度よく推定する。ミラー等の反射部材４は、電磁波を反射可能な部材であればどのようなものでも良く、例えば、道路を走行する車両から見えない場所を運転手が視認できるように設置されたカーブミラーや、商品の販売、買い取り等を行う店舗において防犯のために設置されたミラー、その他、距離計測部５等のセンサの測定可能な範囲を拡大し死角を削減するために設定されたミラー等であってもよい。なお、反射部材４は平面構造を有する例が図示されているが、曲面構造を有してもよく、その場合にはより細やかな領域ごとに傾斜角度が推定されてもよい。この場合、ミラー等の反射部材４を複数の領域に分割し、当該領域ごとに傾斜角度を推定してもよい。なお、以下では、自動運転等を実現するにあたって、車両の周囲に存在する対象物までの距離を、平面のカーブミラーを介して、測定する例、特に、道路を走行する車両から見えない場所にある対象物までの距離を測定する例を用いて、説明を行うがこれに限られない。

図１のシステム１は、位置検出部（検出部）２と、角度推定部（推定部）３とを備えている。位置検出部２と角度推定部３は、一つの装置内に配置されてもよいし、別々の装置内に配置されてもよい。また、位置検出部２と角度推定部３の少なくとも一方は、クラウドネットワークに接続されたサーバ等の内部に配置されてもよい。

位置検出部２は、受信された電磁波のうち、送信された電磁波が反射部材４の第１点ｐ１で反射されて受信された第１の１次反射電磁波と、反射部材４の第２点ｐ２で反射されて受信された第２の１次反射電磁波とに基づいて、反射部材４の第１点ｐ１と第２点ｐ２の位置情報を検出する。ここで、反射部材４とは、送信された電磁波が届く範囲内に設置されるカーブミラー等である。反射部材４を設けることで、システム１から直接見えない死角になる場所に存在する対象物１０を反射部材４に写し出すことができる。

電磁波とは、典型的にはレーザ光やミリ波であるが、使用する電磁波の周波数帯域には特に制限はない。１次反射電磁波とは、反射部材４で反射された電磁波が、再反射されることなく、システム１に受信されることを意味する。すなわち、１次反射電磁波とは、反射部材４で反射された電磁波が直接、システム１で受信されることを意味し、直接反射電磁波とも呼ぶことができる。上述した第１の１次反射電磁波とは、送信された電磁波が反射部材４の第１点ｐ１で反射され、さらに他の物体に１回以上反射された後に反射部材４で反射されて受信された反射電磁波を含まない趣旨である。同様に、第２の１次反射電磁波とは、送信された電磁波が反射部材４の第２点ｐ２で反射され、さらに他の物体に１回以上反射された後に反射部材４で反射されて受信された反射電磁波を含まない趣旨である。

位置検出部２が検出する反射部材４の第１点ｐ１と第２点ｐ２の位置情報は、反射部材４における第１の１次反射電磁波と第２の１次反射電磁波の反射位置を示す情報である。このように、位置検出部２は、反射部材４の互いに異なる２箇所以上で反射されて直接受信装置で受信される場合に、その２箇所以上の位置情報を検出する。反射部材４における少なくとも２点の座標がわかれば、反射部材４の基準面４ａに対する傾斜角度を算出することができる。このため、位置検出部２は、反射部材４の傾斜角度を算出するのに必要となる少なくとも２点（第１点ｐ１と第２点ｐ２）の位置情報を検出する。システム１で受信された電磁波が、反射部材４で反射された第１の１次反射電磁波と第２の１次反射電磁波であるか否かの判断手法は、後述する。

角度推定部３は、検出された第１点ｐ１と第２点ｐ２を含む２点以上の位置情報に基づいて、反射部材４の基準面４ａに対する傾斜角度を推定する。基準面４ａとは、例えば、システム１から送信される電磁波の出射面であるが、基準面４ａをどこに設定するかは任意である。角度推定部３が反射部材４の傾斜角度を推定するのは、後述するように、距離画像に含まれる対象物１０の虚像を実像に変換する際に用いるためである。

図１のシステム１は、距離計測部（計測部）５を備えていてもよい。距離計測部５は、送信された電磁波の送信タイミングと受信された電磁波の受信タイミングとの時間差に基づいて、受信された電磁波が反射された点までの距離を計測する。距離計測部５は、電磁波としてレーザ光を用いる場合には、以下の式（１）に基づいて、距離を計測する。
距離＝光速×（反射光の受光タイミング−投光タイミング）／２ …（１）

図１のシステム１は、電磁波としてレーザ光を用いる場合には、受光部６を備えていてもよい。受光部６は、より詳細には、不図示の光検出器、増幅器、受光センサ、及びＡ／Ｄ変換器などを有する。光検出器は、投光されるレーザ光の一部を受光して電気信号に変換する。増幅器は、光検出器から出力された電気信号を増幅する。受光センサは、受光されたレーザ光を電気信号に変換する。Ａ／Ｄ変換器は、受光センサから出力された電気信号をデジタル信号に変換する。

図１のシステム１は、電磁波としてレーザ光を用いる場合には、投光部７を備えていてもよい。投光部７は、例えば所定の周波数帯域のレーザ光を投光する。レーザ光とは、位相及び周波数が揃ったコヒーレントな光である。投光部７は、パルス状のレーザ光を所定の周期で間欠的に投光する。投光部７がレーザ光を投光する周期は、レーザ光の各パルスごとに距離計測装置で距離を計測するのに要する時間以上の時間間隔である。

図１の投光部７、受光部６及び距離計測部５をモジュール化したLiDAR (Light Detection and Ranging）装置８を一つの部品として図１のシステム１に組み込んでもよい。以下では、電磁波としてレーザ光を用い、図１のシステム１内に投光部７と受光部６が存在する例を主に説明する。上述した１次反射電磁波を以下では１次反射レーザ光と呼ぶ。

反射部材４で反射されてシステム１で受信される１次反射レーザ光は、主には反射部材４で散乱反射されたレーザ光である。カーブミラー等の反射部材４に入射されたレーザ光は、通常は正反射（順反射又は鏡面反射とも呼ぶ）するが、反射部材４の鏡面に傷や汚れがある場合には、正反射だけでなく、散乱反射（乱反射とも呼ぶ）が生じる。反射部材４で散乱反射したレーザ光は種々の方向に進行し、その一部は１次反射レーザ光として受光部６で受光される。反射部材４の表面の汚れ度合いは、設置環境に依存する。また、反射部材４の製造ばらつきによって、表面に凹凸が生じ、それが原因で乱反射することも考えられる。さらに、経年劣化により、反射部材４の表面の傷や埃も増えるため、散乱反射の頻度が高くなる。また、反射部材４の縁部は反射率の低い樹脂や金属部材であることが多く、この縁部でも散乱反射が生じることがある。

次に、角度推定部３が反射部材４の基準面４ａに対する傾斜角度を推定する手法を説明する。図２は平板状の反射部材４を上方から見た平面図である。図２では、LiDAR装置８の出射面を水平面とし、この水平面を基準面４ａとして、基準面４ａからの反射部材４の傾斜角度をθmirrorとしている。図２では、基準面４ａの方向をＸ軸、水平面の法線方向をＹ軸としている。

図２では、位置検出部２で検出された反射部材４上の第１点ｐ１と第２点ｐ２の座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）としている。このとき、反射部材４の傾斜角度θmirrorは、以下の式（２）で表される。
θmirror＝arctan［（ｙ２−ｙ１）／（ｘ２−ｘ１））］ …（２）

このように、反射部材４上の少なくとも２点の座標がわかれば、容易に反射部材４の傾斜角度θmirrorを算出できる。なお、反射部材４が所定の基準面４ａに対して傾斜しているだけでなく、基準面４ａに直交する別の基準面に対しても傾斜している場合には、この別の基準面に対する反射部材４上の２点の座標を検出し、上述した式（２）から同様に別の基準面に対する傾斜角度を算出できる。これにより、三次元空間内で任意の方向に傾斜している反射部材４の傾斜角度を算出できる。

反射部材４上の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報は、上述したように位置検出部２が検出するが、位置検出部２は例えばフィルタ９を用いて２点以上の位置情報を検出することができる。フィルタ９は、反射部材４で反射され受信された２次以降の反射電磁波に対応する信号を除外して、第１の１次反射電磁波と第２の１次反射電磁波に対応する信号を抽出する。フィルタ９は、反射部材４の位置及び形状を予め学習させ、その学習結果に基づいて生成されたニューラルネットワークを用いて、信号の抽出を行ってもよい。あるいは、フィルタ９は、反射部材４の外形形状を予め撮影しておき、その撮影画像とのパターンマッチングにより信号の抽出を行ってもよい。このように、フィルタ９は、任意の信号処理によって信号の抽出を行うことができる。

位置検出部２は、フィルタ９で抽出された第１の１次反射電磁波と第２の１次反射電磁波に対応する信号に基づいて、第１点ｐ１と第２点ｐ２の位置情報を検出する。フィルタ９は、位置検出部２の内部に設けてもよいし、位置検出部２とは別個に設けてもよい。

図３は第１の実施形態によるシステム１の処理動作を示すフローチャートである。このフローチャートは、投光部７がレーザ光を投光する際に行われる。投光部７がレーザ光を投光すると（ステップＳ１）、受光部６にてレーザ光を受光する（ステップＳ２）。投光部７は、所定の周期で繰り返しレーザ光を投光するため、受光部６は繰り返しレーザ光を受光する。距離計測部５は、投光部７がレーザ光を投光したタイミングと、受光部６がレーザ光を受光したタイミングとの時間差に基づいて、受光部６が受光したレーザ光が反射された位置までの距離を計測する（ステップＳ３）。このステップＳ３の処理は、受光部６がレーザ光を受光するたびに行われる。投光部７は、レーザ光の投光方向を変化させながら、所定の周期で繰り返しレーザ光を投光する。これにより、距離計測部５は、種々の方向に存在する複数の対象物１０までの距離を計測することができる。

次に、距離計測部５は、ステップＳ３の距離計測結果に基づいて、距離画像を生成する（ステップＳ４）。距離計測部５は、例えば、距離に応じて異なる色で対象物１０を表した距離画像を生成する。距離画像は、距離計測部５で計測された個々の距離計測値を点群として表した画像である。

次に、位置検出部２内のフィルタ９は、距離画像の中から、反射部材４の第１点ｐ１と第２点ｐ２で反射された第１の１次反射レーザ光と第２の１次反射レーザ光を含む反射部材４の２点以上で反射された１次反射レーザ光に基づく距離計測値の点群を抽出して、それ以外の点群を除去する（ステップＳ５）。ステップＳ５の処理は、予め反射部材４の外形形状を学習させて、学習結果を利用して、該当する点群を抽出する手法やパターンマッチングの手法などで行われる。

次に、位置検出部２は、フィルタ９で抽出された１次反射レーザ光に基づく距離計測値より、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する（ステップＳ６）。より具体的には、位置検出部２は、予め定めた二次元座標軸における第１点ｐ１と第２点ｐ２を含む２点以上の座標位置を検出する。

次に、角度推定部３は、第１点ｐ１と第２点ｐ２を含む２点以上の位置情報に基づいて、反射部材４の基準面４ａに対する傾斜角度を推定する。ここでは、例えば上述した式（２）に基づいて傾斜角度を算出する（ステップＳ７）。

このように、第１の実施形態では、反射部材４で反射された１次反射レーザ光を受信して、受信された１次反射レーザ光を反射した反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する。これら２点以上の位置情報により、反射部材４の基準面４ａに対する傾斜角度を推定できる。

（第２の実施形態）
第２の実施形態は、受光部６で受光されたレーザ光の光強度に基づいて１次反射レーザ光を抽出するものである。

図４は第２の実施形態によるシステム１の概略構成を示すブロック図である。図４のシステム１内のフィルタ９には、距離画像ではなく、受光部６で受光されたレーザ光の情報が入力される。第２の実施形態によるフィルタ９は、受光部６で受光されたレーザ光の振幅（光強度）に基づいて、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置で反射された１次反射レーザ光を抽出する。

図５Ａは受光部６で受光されるレーザ光の波形を模式的に示す図である。図示のように、受光部６には、反射部材４からの１次反射レーザ光が受光された後に、対象物１０で反射されて、さらに反射部材４で再反射されたレーザ光（２次反射レーザ光）が入光される。２つのレーザ光の光強度を比べると、対象物１０で反射された２次反射レーザ光の方が大きい。このため、フィルタ９は、受光された２つのレーザ光のうち、先に受光されて、かつ後に受光されるレーザ光よりも光強度が小さいレーザ光を抽出する。なお、投光部７がレーザ光を投光する範囲内に反射部材４が存在しない場合は、受光部６が１次反射レーザ光を受光することはないため、受光部６が受光するレーザ光は、図５Ｂのように、対象物１０から反射された２次反射レーザ光のみとなる。

なお、図５Ａと図５Ｂでは、受光部６で受光される環境光等のノイズ光は考慮していない。これは、一般には、ノイズ光の光強度は、対象物１０で反射されたレーザ光や１次反射レーザ光の光強度に比べて、はるかに小さくて無視できるためである。ノイズ光が多い環境下では、光強度や受光波形の形状、受光波形の振幅などに基づいて、ノイズ光と１次反射レーザ光を識別する必要がある。

位置検出部２は、フィルタ９で抽出された１次反射レーザ光に基づいて、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する。

図６は第２の実施形態によるシステム１の処理動作を示すフローチャートである。ステップＳ１１〜Ｓ１３の処理は、図３のステップＳ１〜Ｓ３の処理と同様である。ステップＳ１３の処理に前後して、フィルタ９は、振幅の小さいレーザ光が受光された後に、振幅の大きいレーザ光が受光されたか否かを判定する（ステップＳ１４）。ステップＳ１４でＹＥＳと判定されると、振幅の小さいレーザ光を反射部材４で反射された１次反射レーザ光と判断して抽出する（ステップＳ１５）。ステップＳ１５の処理にあたっては、予め１次反射レーザ光の振幅や１次反射レーザ光と２次反射レーザ光の振幅の比率等を学習させておき、その学習結果に基づいて１次反射レーザ光を抽出してもよい。

位置検出部２は、抽出された１次反射レーザ光に基づいて、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する（ステップＳ１６）。角度推定部３は、第１点ｐ１と第２点ｐ２を含む２点以上の位置情報に基づいて、反射部材４の基準面４ａに対する傾斜角度を推定する（ステップＳ１７）。

このように、第２の実施形態では、受光部６で受光されたレーザ光の光強度と受光タイミングから、反射部材４で反射された１次反射レーザ光を抽出するため、第１の実施形態よりも簡易かつ迅速に１次反射レーザ光を抽出でき、反射部材４の傾斜角度を迅速に推定できる。

（第３の実施形態）
第３の実施形態は、撮影部にて反射部材４を認識して、認識結果に基づいて受光部６で受光されたレーザ光をフィルタリングするものである。

図７は第３の実施形態によるシステム１の概略構成を示すブロック図である。図７のシステム１は、撮影部１１と認識部１２を備えている。撮影部１１は、システム１の周囲を撮影する。撮影部１１は、静止画像を撮影するカメラでもよいし、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）等のイメージセンサでもよい。また、撮影部１１の代わりに、あるいは撮影部１１に加えて、ミリ波を受信する受信部１３を設けてもよい。

認識部１２は、撮影部１１の撮影画像から反射部材４の位置を認識する。認識部１２は、パターンマッチング等の手法を用いて、撮影画像に含まれる反射部材４の位置及び形状を特定する。認識部１２は、受信部１３で受信されたミリ波に基づいて反射部材４を認識してもよい。また、認識部１２は、撮影部１１の撮影画像と受信部１３で受信されたミリ波の両方に基づいて反射部材４を認識してもよい。

位置検出部２内のフィルタ９は、認識部１２で認識された反射部材４の方向からの距離計測値を抽出する。フィルタ９で抽出された距離計測値は、反射部材４で反射された１次反射レーザ光に基づく距離計測値であり、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出できる。

図８は第３の実施形態によるシステム１の処理動作を示すフローチャートである。まず、距離計測を開始する前に、撮影部１１にて反射部材４の周囲を撮影し、撮影画像に含まれる反射部材４の位置座標を取得する（ステップＳ２１）。この時、例えばカメラの画像を使用するならばパターンマッチングなどの手法を使い反射部材４の外形形状を認識すれば良い。ここで得た反射部材４の位置情報は、例えば後述するステップＳ２５で生成された距離画像において大まかにどの座標に反射部材４が存在するか補助的な情報として使用される。

次に、図３のステップＳ１〜Ｓ４と同様の処理を行って、距離画像を生成する（ステップＳ２２〜Ｓ２５）。次に、ステップＳ２５では、例えばカメラの認識結果を用いて反射部材４の存在する位置座標のみを切り出す。そして、切り出した反射部材４の位置座標に基づいて、反射部材の点群を抽出する（ステップＳ２６）。反射部材４が含まれないその他の距離画像は必要ないため、例えばステップＳ２５にて反射部材４が存在する箇所のみ切り出してから、ステップＳ２６の処理を行うことで、ステップＳ２６の抽出精度を向上できる。

次に、位置検出部２は、ステップＳ２６で抽出された点群から、反射部材４で反射された１次反射レーザ光に基づく第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する（ステップＳ２７）。角度推定部３は、検出された２点以上の位置情報に基づいて、反射部材４の基準面４ａに対する傾斜角度を推定する（ステップＳ２８）。

このように、第３の実施形態では、撮影部１１での撮影画像等から反射部材４を認識し、認識された反射部材４の方向からの距離計測値を抽出して、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する。これにより、反射部材４の位置情報を簡易かつ精度よく検出できる。

（第４の実施形態）
第１〜第３の実施形態では、カーブミラー等の反射部材４からの１次反射レーザ光を受光部６で受光することで、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を検出する。このため、第１〜第３の実施形態では、反射部材４からの１次反射レーザ光を受光部６で受光することが前提となる。受光部６で受光される１次反射レーザ光は、システム１から投光されたレーザ光が反射部材４で散乱反射した光の一部である。受光部６で１次反射レーザ光が確実に受光できるようにするには、反射部材４で散乱反射するレーザ光の量をできるだけ増やす必要がある。

カーブミラー等の反射部材４は、路上等に設置されるものであり、正反射（順反射）を行う鏡面を有することが多い。理想的な鏡面は、レーザ光の入射方向に応じた方向にレーザ光を反射するため、投光されたレーザ光が鏡面の法線方向を進行する場合のみ１次反射レーザ光が受光部６で受光されることになる。受光部６は、投光するレーザ光の方向を所定の範囲内で走査させるため、受光部６で受光される１次反射レーザ光を増やすことはできない。

図９Ａは散乱反射を増やすことが可能な反射部材４の第１例を示す図である。図９Ａの反射部材４は、反射面の少なくとも一部に散乱部材４ｂを配置することで、散乱反射されるレーザ光を増やすものである。散乱部材４ｂで散乱反射されたレーザ光は、種々の方向に進行するため、その一部は１次反射レーザ光となって受光部６で受光される。反射部材４の反射面における散乱部材４ｂの面積を広げるほど、受光部６で受光される１次反射レーザ光の光量は増えるが、その分、反射部材４で正反射されるレーザ光の光量が減ってしまう。よって、反射部材４にて、散乱反射される光量と正反射される光量とのトレードオフにて、反射部材４上の散乱部材４ｂの位置、形状及び面積を決めるのが望ましい。

図９Ｂは散乱反射を増やすことが可能な反射部材４の第２例を示す図である。図９Ｂの反射部材４は、反射部材４の周縁部に部分的な出っ張り部４ｃを設けるとともに、出っ張り部４ｃの表面の少なくとも一部に散乱部材４ｂを配置するものである。図９Ｂによれば、反射部材４における正反射する面積を減らすことなく、散乱反射する光量を増やすことができ、図９Ａの欠点を補うことができる。

図９Ｃは認識部１２による認識率を高くすることが可能な反射部材４の一例を示す図である。図９Ｃの反射部材４は、反射部材４の少なくとも一部４ｄに、反射部材４を認識するための特殊加工が施されている。特殊加工の一例としては、例えば蛍光塗料を塗布して、夜間でも光るようにして、撮影部１１で撮影したときに、反射部材４の位置を認識しやすくすることが考えられる。図９Ｃの例では、反射部材４の２箇所に特殊加工を施しているが、例えば、反射部材４の周縁部全体に蛍光塗料を塗布して、夜間等でも反射部材４の外形形状を認識できるようにしてもよい。

このように、第４の実施形態では、反射部材４で散乱反射が起きやすくしたり、反射部材４を認識しやすくするため、受光部６で受光されたレーザ光が、反射部材４で反射された１次反射レーザ光であるか否かを識別しやすくなり、反射部材４の第１点ｐ１と第２点ｐ２を含む２点以上の位置情報を簡易かつ精度よく検出することができる。

（第５の実施形態）
第５の実施形態は、第１〜第４の実施形態によるシステム１を用いて反射部材４の基準面４ａに対する傾斜角度を推定した後、距離画像に含まれる虚像を実像に変換するものである。

図１０は第１〜第４の実施形態のいずれかによるシステム１に、虚像特定部２１と、実像変換部２２とを追加したシステム１ａの概略構成を示すブロック図である。

虚像特定部２１は、距離画像に含まれる虚像を特定する。虚像特定部２１は、距離画像に含まれる反射部材４の画像範囲内で、かつ反射部材４までの距離計測値よりも大きい距離計測値の画像を虚像と特定する。

実像変換部２２は、虚像特定部２１で特定された虚像と、角度推定部３で推定された反射部材４の基準面４ａに対する傾斜角度とに基づいて、虚像の位置を実像の位置に変換して、新たな距離画像を生成する。

図１１は実像変換部２２の処理動作を説明する図である。図１１は、基準面４ａを投光部７のレーザ光の出射面に平行な面としており、反射部材４の反射面が基準面４ａからθmirrorだけ傾斜している例を示している。図１１の例では、受光部６と虚像１０ａとを結ぶ線と反射面との為す角度θrefは以下の式（１）で算出される。
θref＝１８０°−θmirror …（１）

実像１０ｂは、反射面を対称軸として、虚像１０ａの反対側にあるため、受光部６と虚像１０ａとを結ぶ線と反射面との交点から実像１０ｂまでを結ぶ線と、受光部６と虚像１０ａとを結ぶ線との為す角度はθrotは、以下の式（２）で算出される。
θrot＝（１８０−２×θmirror） …（２）

このように、角度推定部３にて反射部材４の反射角度θmirrorが求まると、虚像位置を（２）式に基づいて実像位置に変換することができる。

実際には、距離画像中の虚像の位置に応じて、虚像を実像に変換するための反射面上の基準点を調整する必要がある。位置変更を容易にするために、反射面上の特定位置、例えば位置検出部２で検出された第１点ｐ１と第２点ｐ２を含む２点以上の位置の平均位置を基準点として虚像を実像に変換してもよい。

ところで、実像変換部２２で虚像を実像に変換して得られる距離画像は、変換前の距離画像よりもサイズが大きくなる可能性がある。これは、反射部材４の傾斜角度によっては、反射面を対称軸として虚像を実像に変換した位置が、受光部６が受光する範囲からはるかに外れた位置に存在する場合があるためである。このため、虚像を実像に変換した距離画像を例えば表示装置に表示する際には、虚像を表示するのに適した画面サイズの表示装置よりも、画面サイズの大きな表示装置を用意する必要がありうる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、１ａ システム、２ 位置検出部、３ 角度推定部、４ 反射部材、４ａ 基準面、５ 距離計測部、６ 受光部、７ 投光部、８ LiDAR装置、９ フィルタ、１０ 対象物、１１ 撮影部、１２ 認識部、１３ 受信部、２１ 虚像特定部、２２ 実像変換部

Claims (16)

1. 受信された電磁波のうち、送信された電磁波が反射部材の第１点で反射されて受信された第１の１次反射電磁波と、前記反射部材の第２点で反射されて受信された第２の１次反射電磁波とに基づいて、前記反射部材の前記第１点と前記第２点の位置情報を検出する検出部と、
   前記第１点と前記第２点の位置情報に基づいて、前記反射部材の基準面に対する傾斜角度を推定する推定部と、を備えるシステム。
2. 前記送信された電磁波の送信タイミングと前記受信された電磁波の受信タイミングとの時間差に基づいて、前記受信された電磁波が反射された点までの距離を計測する計測部を備え、
   前記検出部は、前記計測部で計測された距離計測値に基づいて、前記第１点と前記第２点の位置情報を検出する、請求項１に記載のシステム。
3. 前記第１の１次反射電磁波と前記第２の１次反射電磁波を含む電磁波を受信する受信部を備え、
   前記計測部は、前記送信された電磁波の送信タイミングと、前記受信部が電磁波を受信した受信タイミングとの時間差に基づいて、前記受信された電磁波が反射された点までの距離を計測する、請求項２に記載のシステム。
4. 電磁波を送信する送信部を備え、
   前記受信部は、前記送信部が電磁波を送信した後に電磁波を受信する、請求項３に記載のシステム。
5. 前記第１の１次反射電磁波とは、前記送信された電磁波が前記反射部材の前記第１点で反射され、さらに他の物体に１回以上反射された後に前記反射部材で反射されて受信された反射電磁波を含まず、
   前記第２の１次反射電磁波とは、前記送信された電磁波が前記反射部材の前記第２点で反射され、さらに前記他の物体に１回以上反射された後に前記反射部材で反射されて受信された反射電磁波を含まない、請求項１乃至４のいずれか１項に記載のシステム。
6. 前記反射部材で反射され受信された２次以降の反射電磁波に対応する信号を除外して、前記第１の１次反射電磁波と前記第２の１次反射電磁波に対応する信号を抽出するフィルタを備え、
   前記検出部は、前記フィルタで抽出された前記第１の１次反射電磁波と前記第２の１次反射電磁波に対応する信号に基づいて、前記第１点と前記第２点の位置情報を検出する、請求項１乃至請求項５のいずれか１項に記載のシステム。
7. 前記反射部材の位置を認識する認識部を備え、
   前記フィルタは、前記認識された反射部材の位置にて、前記反射部材で反射され受信された前記２次以降の反射電磁波に対応する信号を除外して、前記第１の１次反射電磁波と前記第２の１次反射電磁波に対応する信号を抽出する、請求項６に記載のシステム。
8. 前記反射部材を含む範囲を撮影する撮影部と、前記反射部材で反射された電波を受信する受信部との少なくとも一方を備え、
   前記認識部は、前記撮影部で撮影された画像及び前記受信部で受信された電波強度の少なくとも一方に基づいて前記反射部材の位置を認識する、請求項７に記載のシステム。
9. 前記反射部材の外形形状を学習する学習部を備え、
   前記認識部は、前記撮影部で撮影された画像及び前記受信部で受信された電波強度の少なくとも一方と、前記学習部による学習結果と、に基づいて前記反射部材の位置を認識する、請求項８に記載のシステム。
10. 前記受信された電磁波の振幅に基づいて、前記反射部材の前記第１点で反射されて受信された前記第１の１次反射電磁波と、前記第２点で反射されて受信された前記第２の１次反射電磁波とを抽出するフィルタを備え、
    前記検出部は、前記フィルタで抽出された前記第１の１次反射電磁波と前記第２の１次反射電磁波に基づいて、前記第１点と前記第２点の位置情報を検出する、請求項１乃至５のいずれか１項に記載のシステム。
11. 前記フィルタは、対象物で反射されて受信される２次反射電磁波の振幅よりも振幅が小さく、かつ前記２次反射電磁波よりも先に受信される電磁波を前記第１の１次反射電磁波と前記第２の１次反射電磁波として抽出する、請求項１０に記載のシステム。
12. 前記基準面は、前記送信された電磁波の出射面である、請求項１乃至１１のいずれか一項に記載のシステム。
13. 送信された電磁波の送信タイミングと、受信された電磁波の受信タイミングと、の時間差に基づいて、前記受信された電磁波が反射された点までの距離を計測し、前記計測された距離に基づいて距離画像を生成する計測部と、
    受信された電磁波のうち、送信された電磁波が反射部材の第１点で反射されて受信された第１の１次反射電磁波と、前記反射部材の第２点で反射されて受信された第２の１次反射電磁波とに基づいて、前記反射部材の前記第１点と前記第２点の位置情報を検出する検出部と、
    前記第１点と前記第２点の位置情報に基づいて、前記反射部材の基準面に対する傾斜角度を推定する角度推定部と、
    前記距離画像に含まれる虚像を特定する虚像特定部と、
    前記特定された虚像と、前記角度推定部で推定された前記反射部材の基準面に対する傾斜角度とに基づいて、前記虚像の位置を実像の位置に変換して、新たな距離画像を生成する実像変換部と、を備える、システム。
14. 電磁波を送信した後に受信された電磁波のうち、送信された電磁波が反射部材の第１点で反射されて受信された第１の１次反射電磁波と、前記反射部材の第２点で反射されて受信された第２の１次反射電磁波とに基づいて、前記反射部材の前記第１点と前記第２点の位置情報を検出し、
    前記第１点と前記第２点の位置情報に基づいて、前記反射部材の基準面に対する傾斜角度を推定する方法。
15. 前記反射部材の少なくとも一部に、前記送信された電磁波を散乱させる散乱部材が設けられる、請求項１４に記載の方法。
16. 前記反射部材の少なくとも一部に、前記反射部材を認識するための特殊加工が施される、請求項１４に記載の方法。