JP2017181488A

JP2017181488A - 距離画像生成装置、距離画像生成方法及びプログラム

Info

Publication number: JP2017181488A
Application number: JP2016227198A
Authority: JP
Inventors: 修平松井; Shuhei Matsui
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-03-23
Filing date: 2016-11-22
Publication date: 2017-10-05

Abstract

【課題】距離精度が安定した距離画像を生成する距離画像生成装置等を提供する。
【解決手段】距離画像生成装置は、異なる撮像条件で取得した複数の距離画像間において、距離画像内の各画素に対応付けられた受光強度に基づいて、より大きい受光強度を示す画素を抽出し、抽出した画素を複数の距離画像の合成距離画像に用いる。
【選択図】図１

Description

本開示は、距離画像生成装置、距離画像生成方法及びプログラムに関する。

３次元の対象物までの距離を表わす距離画像を生成する技術が提案されている。例えば、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式の測距装置を用いて距離画像を生成する技術がある。ＴＯＦ方式の測距装置は、赤外光等の光源を用いて、光源発光時の位相と、対象物からの反射光の位相とのずれを利用して、光源から対象物までの距離を測定する。例えば、特許文献１には、複数の露出設定で取得した複数の距離画像に関して、同一の画素位置に対応する各画素の距離情報の重み付き平均値を、各画素の距離情報とする技術が開示されている。

特開２０１２−２２５８０７号公報

本開示は、距離精度が安定した距離画像を生成する距離画像生成装置、距離画像生成方法及びプログラムを提供する。

本開示の一態様に係る距離画像生成装置は、撮影画角内に存在する対象物に対して、発光量及び露光時間の少なくとも一方が互いに異なる第１の光及び第２の光を、異なるタイミングで発する発光部と、前記第１の光が前記対象物に反射した第１の反射光と、前記第２の光が前記対象物に反射した第２の反射光とを受光する受光センサと、演算部とを備え、前記演算部は、前記第１の光と前記第１の反射光との位相差を算出して、前記距離画像生成装置から前記対象物までの距離を表す第１の距離画像を生成し、前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、前記第２の光と前記第２の反射光との位相差を算出して、前記距離画像生成装置から前記対象物までの距離を表す第２の距離画像を生成し、前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる。

本開示の一態様に係る距離画像生成方法は、対象物との距離を表す距離画像を生成する距離画像生成方法であって、（ａ１）撮影画角内に存在する対象物に対して、発光量及び露光時間の少なくとも一方が互いに異なる第１の光及び第２の光を、異なるタイミングで発し、（ａ２）前記第１の光が前記対象物に反射した第１の反射光と、前記第２の光が前記対象物に反射した第２の反射光とを受光し、（ａ３）前記第１の光と前記第１の反射光との位相差を算出して、前記対象物までの距離を表す第１の距離画像を生成し、（ａ４）前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、（ａ５）前記第２の光と前記第２の反射光との位相差を算出して、前記対象物までの距離を表す第２の距離画像を生成し、（ａ６）前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、（ａ７）前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する前記距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる。

本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ｂ１）撮影画角内に存在する対象物に対して、異なるタイミングで発せられる第１の光及び第２の光の情報を取得し、ここで、前記第１の光及び前記第２の光は、発光量及び露光時間の少なくとも一方が互いに異なっており、（ｂ２）前記第１の光が前記対象物に反射した第１の反射光の受光情報と、前記第２の光が前記対象物に反射した第２の反射光の受光情報とを取得し、（ｂ３）前記第１の光と前記第１の反射光との位相差を算出して、前記対象物までの距離を表す第１の距離画像を生成し、（ｂ４）前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、（ｂ５）前記第２の光と前記第２の反射光との位相差を算出して、前記対象物までの距離を表す第２の距離画像を生成し、（ｂ６）前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、（ｂ７）前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる。

なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の距離画像生成装置等により、距離精度が安定した距離画像の生成が可能になる。

図１は、実施の形態に係る距離画像生成装置の構成を示すブロック図である。図２は、実施の形態に係る距離画像生成装置による距離画像生成処理のフローチャートである。図３は、図２の距離画像生成処理における画像取得処理の詳細を示すフローチャートである。図４は、図２の距離画像生成処理における距離値の有効判定処理の詳細を示すフローチャートである。図５は、図２の距離画像生成処理における距離値の選択処理の詳細を示すフローチャートである。図６は、実施の形態に係る距離画像生成装置によって取得される距離画像及び強度画像の一例を示す概略図である。図７は、撮像フレーム毎に発光量又は露光時間が変化しつつ撮影された距離画像の距離値の有効領域の一例を表す概略図である。図８は、実施の形態に係る距離画像生成装置によって取得される距離画像のデータ構造の一例を示す図である。図９は、実施の形態に係る距離画像生成装置によって取得される強度画像のデータ構造の一例を示す図である。図１０は、実施の形態に係る距離画像生成装置によって取得される距離画像及び強度画像のデータ構造の一例を示す図である。図１１は、実施の形態に係る距離画像生成装置によって生成される合成距離画像のデータ構造の一例を示す図である。

（本開示の基礎となった知見）
ＴＯＦ方式を採用した測距装置は、光源による投射光と、投射光が対象物に反射して受光された反射光との間の位相のずれを利用して、光源から対象物までの距離を測定する。例えば、投射光の光量が充分に大きい場合、光源から遠距離にある対象物までの距離を高精度に測距できるが、光源から近距離にある対象物については、反射光の受光量が飽和してしまい、正確に距離を測定することが困難である。一方で、投射光の光量を減少すれば、光源から近距離にある対象物までの距離を測定できるようになるが、遠距離にある対象物については、反射光から測距に充分な光量が得られず、算出された距離値は精度の悪いものとなる。また、反射光を受光できない程度に光源の光量が小さければ、測距は不可能となる。このように、光源の光量によって、光源から対象物までの距離を測定可能な範囲が限定されるため、光源から遠距離にある対象物までの距離と、光源から近距離にある対象物までの距離とを、それぞれ精度よく測距することが検討されている。

例えば、特許文献１に開示される距離画像カメラは、露出設定を変更しつつ、赤外光を投射し、赤外光の反射光をイメージセンサで受光することにより距離画像を撮影する。距離画像カメラは、各露出設定の距離画像について、距離画像の画素毎の距離データ及び受光レベルデータを保存する。距離画像カメラでは、各露出設定の距離画像の各画素について、対象とする画素位置を順次移動させながら走査し、重み付け係数が算出される。さらに、算出された重み付け係数を用いて、各画素について距離データが加重加算される。そのため、全ての画素位置について、重み付き平均値を各画素の距離データとする距離画像が得られる。これによって、距離画像カメラは、距離画像のほぼ全体にわたる距離測定結果を得る。

特許文献１に開示される技術は、複数のタイミングで取得された距離画像について、各画素に重み付き平均処理をすることによって、撮影画角内に存在する対象物までの距離測定精度の安定化を図り、それにより、撮影画角内の広範囲にわたって距離値を取得する。しかしながら、複数のタイミング間でイメージセンサの位置が変化した場合、及び、撮影画角内に存在する対象物が移動する場合等において、特許文献１に開示される技術は、ぶれを含む距離画像を出力するという課題を有している。そこで、本開示に関わる発明者は、距離画像生成機能の向上のために、以下の改善策を検討した。

上記態様によると、発光量及び露光時間の少なくとも一方が異なる第1及び第２の距離画像から、距離画像における画素毎の受光強度の値に基づいて、より受光強度が大きい画素が抽出され、抽出された画素を用いて合成距離画像が生成される。例えば、距離画像内に移動物体が存在する場合、又は距離画像生成装置自身が移動しながら距離画像を取得した場合に、第1及び第２の距離画像間で対象物の位置が移動する。しかしながら、より受光強度が大きい画素では、画素の距離値の精度が高くなるため、第1及び第２の距離画像の対応する画素のうちでより受光強度が大きい距離画像の画素を用いて合成された合成距離画像に、ぶれ等の不鮮明な部分が含まれることが抑制できる。よって、合成距離画像において、安定した距離精度が得られる。

例えば、前記演算部は、前記第１の受光強度画像及び前記第２の受光強度画像における所定の範囲内の受光強度を示す画素に対応する有効画素を、前記第１の距離画像及び前記第２の距離画像から抽出し、前記より大きい受光強度を示す画素に対応する前記有効画素を前記合成距離画像に用いてもよい。上記態様によると、有効画素は、所定範囲内の受光強度の画素に対応する。これにより、反射光の受光強度が、距離画像の距離値の算出に不適当である画素を用いた合成距離画像の生成が、抑えられる。

例えば、前記演算部は、前記第１の距離画像及び前記第２の距離画像の間の対応する画素の組み合わせに、１つの前記有効画素しか含まれない場合、受光強度に関係なく、前記１つの有効画素を前記合成距離画像に用いてもよい。上記態様によると、第１及び第２の距離画像の間で１つの有効画素しかないため、受光強度の比較ができない。この場合、有効画素を合成距離画像に適用しなければ、合成距離画像における画素の欠損が多くなる可能性がある。当該１つの有効画素を合成距離画像に用いることによって、画素の欠損に起因して合成距離画像が不鮮明になることが抑えられる。

例えば、前記所定の範囲は、第１の閾値以上の受光強度の範囲であってもよい。上記態様によると、有効画素は、下限値である第１の閾値以上の受光強度の画素に対応する。下限値を、例えば距離値を安定して取得できないような小さい受光強度等に設定することによって、合成距離画像の画素が不正確な距離を有することが抑えられる。

例えば、前記所定の範囲は、第２の閾値以下の受光強度の範囲であってもよい。上記態様によると、有効画素は、上限値である第２の閾値以下の受光強度の画素に対応する。上限値を、例えば反射光が白とびするような飽和した受光強度等に設定することによって、合成距離画像の画素が不正確な距離を有することが抑えられる。

例えば、前記所定の範囲は、第１の閾値以上第２の閾値以下の受光強度の範囲であってもよい。本態様によれば、有効画素は、下限値である第１の閾値以上且つ上限値である第２の閾値以下の受光強度の画素に対応する。これにより、合成距離画像の画素が不正確な距離を有することが抑えられる。

以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、並びにステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図１を参照して、本開示の実施の形態に係る距離画像生成装置１１０の構成を説明する。図１は、実施の形態に係る距離画像生成装置１１０の構成を示すブロック図である。距離画像生成装置１１０は、撮影画角内の対象物までの距離を計測し、その計測結果を反映した距離画像を生成する。本実施の形態では、距離画像生成装置１１０は、例えば、移動体１００に搭載される。距離画像生成装置１１０は、独立した装置として移動体１００に搭載され、インターフェース等を介して移動体１００に接続されてもよく、移動体１００の一部を構成してもよい。移動体１００は、ロボット等の自立的に動作する装置であってもよく、操作者による操縦、操作などに依存して動作する車両等の装置であってもよい。

移動体１００は、距離画像生成装置１１０、移動体制御部１０１及び駆動部１０２を備える。距離画像生成装置１１０は、発光部１１１、受光センサ１１２、演算部１１３、メモリ１１４及び制御部１１５を備える。本実施の形態では、距離画像生成装置１１０は、移動体１００に組み込まれるＴＯＦカメラモジュールを構成する。なお、ＴＯＦカメラモジュールは、発光部１１１、受光センサ１１２、演算部１１３、メモリ１１４及び制御部１１５の全てによって構成されてもよく、一部によって構成されてもよい。

移動体１００の移動体制御部１０１は、駆動部１０２を制御することによって、移動量、移動速度及び移動方向等の移動体１の移動を制御する。移動体制御部１０１は、移動体１００の移動量、移動速度及び移動方向等に関する移動情報を、距離画像生成装置１１０の制御部１１５に送る。移動体制御部１０１は、距離画像生成装置１１０から距離画像を受け取るように構成されている。移動体制御部１０１は、受け取った距離画像に基づき、移動体１００の移動を制御してよく、例えば、距離画像と移動体１００の移動情報とに基づき、周囲の物体への移動体１００の接近を検知し、移動体１００と物体との衝突を回避してもよい。移動体１００の移動情報は、駆動部１０２を制御するために移動体制御部１０１が算出した情報であってもよく、移動体１００に配置された図示しない検知器によって検出された情報であってもよい。

駆動部１０２は、移動体制御部１０１から受信した移動量、移動速度及び移動方向等の指示に基づいて、移動体１００を移動させる。例えば、移動体１００が車輪を備える場合、駆動部１０２は、指示された移動量、移動速度及び移動方向等に合わせて車輪を回転駆動し、移動体１００を移動する。駆動部１０２は、例えば、電動モータ又は電動アクチュエータ等の動力装置を備えてもよい。

距離画像生成装置１１０の発光部１１１は、自身の発光により投射光を撮像対象空間へ照射する光源である。発光部１１１は、例えば、パルス光等の位相を伴った光を投射する。発光部１１１としては、例えば、赤外線を発光する発光ダイオード（ＬＥＤ：ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）、レーザーダイオード（ＬＤ：ＬａｓｅｒＤｉｏｄｅ）等が採用可能であるが、これらに限らず、可視光線、紫外線等の光を発するものであれば何が用いられてもよい。距離画像の撮影範囲を確保するために、発光部１１１が生成する光は、拡散性があってもよい。発光部１１１は、制御部１１５による制御に従って動作する。

受光センサ１１２は、発光部１１１の発光のタイミングに合わせて受光を行う。受光センサ１１２は、受光時には、受光センサ１１２が有する受光素子が検知した受光強度に基づいて強度画像を生成し、併せて強度画像を画素単位で算出する。受光センサ１１２は、例えば、イメージセンサであってもよい。イメージセンサの例は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。受光センサ１１２は、制御部１１５による制御に従って動作する。

演算部１１３は、発光部１１１による投射光の情報と、受光センサ１１２の受光結果とから、画素単位で距離値を算出し、距離画像を生成する。演算部１１３は、受光センサ１１２の受光結果から、強度画像も生成する。演算部１１３は、投射光の情報を、発光部１１１又は制御部１１５等から取得し、受光結果を受光センサ１１２から取得してもよい。また、演算部１１３は、距離画像と強度画像との複数のペアを用いて、合成距離画像の合成処理をおこなう。合成距離画像は、複数の距離画像間で対応する画素の複数の距離値を合成した距離値を、合成距離画像の画素の距離とする。演算部１１３は、制御部１１５による制御に従って動作してもよい。

メモリ１１４は、受光センサ１１２で算出した距離画像と強度画像との複数のペアを指定フレーム分記憶し、保管する。メモリ１１４内に保管された距離画像と強度画像との複数のペアは、演算部１１３がおこなう合成距離画像の合成処理にて使用される。メモリ１１４は、発光部１１１、受光センサ１１２、演算部１１３、制御部１１５等から情報を受け取って記憶し、記憶している情報が演算部１１３、制御部１１５等によって引き出されるように構成される。メモリ１１４は、例えば半導体メモリ又はハードディスクドライブ等によって実現されてよい。メモリ１１４は、揮発性メモリであって不揮発性メモリであってもよい。

制御部１１５は、距離画像生成装置１１０全体の動作を制御する。制御部１１５は、発光部１１１の発光量及び受光センサ１１２の露光時間の制御を行う他、発光部１１１及び受光センサ１１２による発光及び受光のタイミングの制御を行う。例えば、制御部１１５は、移動体制御部１０１から受け取る移動体１００の移動情報に基づき、発光部１１１の発光量、受光センサ１１２の露光時間、並びに、発光及び受光のタイミングを制御してもよい。制御部１１５は、演算部１１３が生成した合成距離画像を移動体制御部１０１に送ってもよい。また、制御部１１５は、合成距離画像と移動体１００の移動情報とに基づき、移動体１００の周囲の物体への接近を検知し、検知情報を移動体制御部１０１に送ってもよい。制御部１１５は、本実施の形態では、移動体制御部１０１と別個に設けられているが、移動体制御部１０１が制御部１１５の機能を兼ねてもよい。

移動体制御部１０１、演算部１１３及び制御部１１５等の構成要素は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等からなるコンピュータシステム（図示せず）により構成されてよい。各構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

次に、図１及び図２を参照して、実施の形態に係る距離画像生成装置１１０の動作を説明する。図２は、実施の形態に係る距離画像生成装置１１０による距離画像生成処理のフローを示すフローチャートである。

距離画像生成装置１１０の制御部１１５は、撮像フレーム毎に変化させる撮影条件に合わせて、発光部１１１及び受光センサ１１２を制御して、画像取得処理をする（Ｓ２０１）。制御部１１５は、複数の撮像フレームにわたって画像取得処理をする。撮影条件は、発光部１１１の発光量、受光センサ１１２の露光時間、並びに、移動体１００の駆動部１０２の移動量、移動速度及び移動方向などの移動情報等で構成される。制御部１１５は、駆動部１０２の移動情報等に基づき、発光部１１１の発光量及び受光センサ１１２の露光時間を設定する。この場合、制御部１１５は、撮影条件に合わせて、発光部１１１の発光量及び受光センサ１１２の露光時間の少なくとも一方を変更する。

距離画像生成装置１１０は、画像取得処理を通じて、複数の撮像フレーム分の距離画像と強度画像とのペアを取得する。距離画像及び強度画像のペアの数量は、撮像フレームの数量に対応する。ここで、距離画像は、距離画像生成装置１１０から距離画像生成装置１１０の撮影画角内に存在する対象物までの距離の情報が、画素毎に記録された画像を示す。撮影画角は、例えば、発光部１１１による光の投射範囲である。また、強度画像は、前記距離画像の各画素に対応して、強度画像の各画素に、受光された反射光の強度情報が記録された画像である。強度画像は、距離画像算出時に用いられる。そのため、強度画像は、距離画像と同一の画素数及び画素配置を有することが望ましい。ステップＳ２０１での処理の詳細は後述する。

距離画像生成装置１１０は、取得した複数の距離画像の各々について、処理対象とする１つの対象画素を選択する（Ｓ２０２）。具体的には、距離画像上における対象画素の座標が選択される。複数の距離画像から選択される対象画素は、複数の距離画像間で対応する画素である。例えば、複数の距離画像の対応する対象画素は、同一の座標を有してもよい。又は、移動体１００が移動している場合、距離画像間での移動体１００の移動量を考慮して、対応する各対象画素が、各距離画像において同等の対象を示すように、当該移動量の分だけ距離画像間で座標がずらされた対象画素が選択されてよい。ステップＳ２０２での処理の詳細は、後述する。なお、ステップＳ２０２及び後述するステップＳ２０３〜Ｓ２０７での処理は、演算部１１３によって行われ得る。

距離画像生成装置１１０は、各距離画像に対応する各強度画像において、対象画素の座標と同一の座標を有する画素が示す光の強度値を参照して、各距離画像の対象画素が示す距離値が有効か否かを判定する。つまり、距離画像生成装置１１０は、各対象画素の距離値の有効判定処理をする（Ｓ２０３）。

距離値の有効判定処理では、反射光が飽和している可能性の判断、反射光の強度判断、反射光のＳ／Ｎの閾値判定等に基づき、対象画素の距離値の有効性が判定される。距離値が有効でない、つまり無効である場合、対象画素に無効値が設定される。距離値が有効である場合、当該対象画素の距離値は、有効距離値である決定される。なお、反射光のＳ／Ｎは、反射光における信号（Ｓ）とノイズ（Ｎ）との割合を示す。例えば、対象画素において、反射光が飽和している可能性がある、反射光の強度が強度閾値以下で弱すぎる、又は、反射光のＳ／Ｎが閾値以下ありノイズが多すぎる場合、対象画素の距離値が無効であると判定される。

距離画像生成装置１１０は、複数の対象画素に対する距離値の有効判定処理にて、複数の有効距離値が得られたか否かを判定する（Ｓ２０４）。複数の有効距離値が得られた場合（Ｓ２０４のＹＥＳ）では、距離画像生成装置１１０は、複数の有効距離値の中から最適な距離値を選択する、距離値選択処理（Ｓ２０５）をする。そして、距離画像生成装置１１０は、選択した最適な距離値を、合成距離画像の対象画素の距離値に適用する。距離値選択処理の詳細は、後述する。

一方で、複数の有効距離値が得られなかった場合（Ｓ２０４のＮＯ）、すなわち、複数の距離画像の中の１つの距離画像からのみ対象画素の有効距離値が得られた場合、又は、複数の距離画像の全てで対象画素の距離値が無効である場合、距離画像生成装置１１０は、対象画素の距離値を一意に確定する（Ｓ２０６）。具体的には、複数の距離画像の中の１つの距離画像からのみ対象画素の有効距離値が得られた場合は、距離画像生成装置１１０は、当該有効距離値を対象画像の距離値に決定する。決定された対象画像の距離値は、後述する距離画像及び強度画像を用いた画像合成によって出力される合成距離画像における対象画素の距離値に、適用される。また、複数の距離画像のいずれからも対象画素の有効距離値が得られず、全て無効値であった場合には、距離画像生成装置１１０は、対象画素の距離値を無効値に決定する。決定された対象画素の無効値は、合成距離画像の対象画素の距離値に、無効値として適用される。

ステップＳ２０２からＳ２０５／Ｓ２０６までの一連の処理は、複数の距離画像における全ての画素を対象に実行される。このため、ステップＳ２０５及びＳ２０６に続くステップＳ２０７では、距離画像生成装置１１０は、複数の距離画像における全ての画素に対して、ステップＳ２０２からＳ２０５／Ｓ２０６までの処理を行ったか否かを判定する。全ての画素に対して上記処理が完了していれば（Ｓ２０７でＹＥＳ）、距離画像生成装置１１０は、距離画像生成処理を終了する。上記処理がされていない画素がある場合（Ｓ２０７でＮＯ）、距離画像生成装置１１０は、ステップＳ２０２に進み、未処理の画素に対して、ステップＳ２０２からＳ２０５／Ｓ２０６までの処理を行う。このように、距離画像生成装置１１０は、複数の距離画像の全ての画素に対して一連の処理が完了するまで、対象画素を順番に変更し、上述の一連の処理を繰り返し実行する。そして、複数の距離画像の全ての画素に対する一連の処理が完了して得られる各画素の距離値が、合成距離画像の各画素の距離値に適用され、その結果、合成距離画像の全ての画素が形成される。

さらに、図３を参照して、図２の距離画像生成処理における画像取得処理（Ｓ２０１）の詳細を説明する。図３は、図２の距離画像生成処理における画像取得処理の詳細なフローを示すフローチャートである。まず、距離画像生成装置１１０の制御部１１５は、既に設定されている距離画像の撮影条件を変更する（Ｓ３０１）。ここで、撮影条件とは、発光部１１１の発光量、受光センサ１１２の露光時間等である。例えば、制御部１１５は、移動体１００の駆動部１０２の移動情報、移動体１００の周囲の明るさ等に基づき、撮影条件を変更し得る。

次に、距離画像生成装置１１０の演算部１１３は、発光部１１１の発光によって生じる投射光の位相の情報と、投射光が対象物に反射して受光センサ１１２によって受光された反射光の位相の情報とを取得し、取得した投射光及び反射光の位相差を用いて、距離画像を算出する（Ｓ３０２）。つまり、演算部１１３は、ＴＯＦ方式により距離画像を測定する。本例では、演算部１１３は、投射光の位相の情報を、発光部１１１から受け取り、反射光の位相の情報を受光センサ１１２から受け取る。

さらに、演算部１１３は、算出された距離画像と、距離画像と同時取得された強度画像とをメモリ１１４に格納する（Ｓ３０３）。距離画像と同時取得された強度画像は、強度画像の各画素での受光量の強度を示し、各画素の受光量の強度は、距離画像の算出に位相を使用した反射光の強度である。

次いで、制御部１１５は、予め設定されたフレーム数、つまり予め設定された枚数分の距離画像を取得したか否かを判定する（Ｓ３０４）。制御部１１５は、予め設定された枚数分の距離画像の撮影が完了していなければ（Ｓ３０４のＮＯ）、ステップＳ３０１に進み、次の撮影条件に撮影条件を変更し、距離画像及び強度画像を取得する。制御部１１５は、予め設定された枚数分の距離画像の撮影が完了していれば（Ｓ３０４のＹＥＳ）、ステップＳ２０２に進む。このように、制御部１１５は、距離画像及び強度画像の数量が予め設定された枚数に到達するまで、繰り返し距離画像を測定する。

次いで、図４を参照して、図２の距離画像生成処理における距離値の有効判定処理（Ｓ２０３）の詳細を説明する。図４は、図２の距離画像生成処理における距離値の有効判定処理（Ｓ２０３）の詳細なフローを示すフローチャートである。

距離画像生成装置１１０の演算部１１３は、メモリ１１４に格納された距離画像及び強度画像のペアのうちから一つを選出し、ステップＳ２０２において選択された対象画素における距離値及び強度値を読み込む（Ｓ４０１）。ここで、強度画像の画素が示す強度値が一定の値よりも大きい場合、受光量が飽和している可能性がある。すなわち、当該画素に対応する距離画像の画素の示す距離値は信頼できない値である可能性がある。また、強度画像の画素が示す強度値が一定の値よりも小さい場合、低すぎる受光量の光を使用して取得された距離値は、不安定である可能性がある。

そのため、演算部１１３は、強度画像の対象画素の示す強度値が所定範囲内の値であるか否かを判定する（Ｓ４０２）。対象画素の強度値が所定範囲内の値でない場合（Ｓ４０２のＮＯ）、演算部１１３は、距離画像において対応する対象画素の距離値を有効でないと決定し、当該距離値を無効値に置き換え（Ｓ４０４）、ステップＳ４０５に進む。対象画素の強度値が所定範囲内の値である場合（Ｓ４０２のＹＥＳ）、演算部１１３は、対象画素の距離値が有効であると決定し（Ｓ４０３）、ステップＳ４０５に進む。そして、演算部１１３は、予め設定された枚数分の距離画像及び強度画像に対して、ステップＳ４０１からＳ４０４の処理を完了したか否かを判定する（Ｓ４０５）。演算部１１３は、距離画像及び強度画像のそれぞれに対する処理が完了していれば（Ｓ４０５のＹＥＳ）、ステップＳ２０４に進み、完了していない場合（Ｓ４０５のＮＯ）、ステップＳ４０１に進む。そして、演算部１１３は、未処理の距離画像及び強度画像に対して、ステップＳ４０１からＳ４０４の処理をする。このように、演算部１１３は、対象画素に対する上述の一連の処理を、撮影の設定枚数分の距離画像及び強度画像に対して実行するまで繰り返す。

次いで、図５を参照して、図２の距離画像生成処理における距離値の選択処理（Ｓ２０５）の詳細を説明する。図５は、図２の距離画像生成処理における距離値の選択処理（Ｓ２０５）の詳細なフローを示すフローチャートである。距離画像生成装置１１０の演算部１１３は、ステップＳ２０２にて選択された対象画素において、前述の有効判定処理（Ｓ２０３）にて複数の距離画像から有効距離値が得られた場合、後述の処理を実行する。

まず、演算部１１３は、距離画像と強度画像との複数のペアの中から、１つ目のペアを選択する（Ｓ５０１）。次いで、演算部１１３は、選択した距離画像からは対象画素における距離値Ｄ_Ｎ１を読み込み、選択した強度画像からは対象画素に対応する画素の強度値Ｉ_Ｎ１を読み込む（Ｓ５０２）。さらに、演算部１１３は、これらの読み込んだ距離値Ｄ_Ｎ１と強度値Ｉ_Ｎ１とを用いて、距離値Ｄ_Ｎ１が有効値であるか否かを判定する（Ｓ５０３）。演算部１１３は、距離値が有効値である場合に（Ｓ５０３のＹＥＳ）、ステップＳ５０４に進み、距離値が有効値でない場合に（Ｓ５０３のＮＯ）、ステップＳ５０１に進み、別の距離画像及び強度画像のペアを選択する。

次いで、演算部１１３は、距離値Ｄ_Ｎ１と強度値Ｉ_Ｎ１とを用いて、出力距離値Ｄ及び最大強度値Ｉｍａｘの初期化を行う（Ｓ５０４）。つまり、演算部１１３は、読み込んだ距離値Ｄ_Ｎ１及び強度値Ｉ_Ｎ１をそれぞれ、出力距離値Ｄ及び最大強度値Ｉｍａｘの初期値に決定する。

次に、演算部１１３は、距離画像及び強度画像の他のペアを選択する（Ｓ５０５）。さらに、演算部１１３は、選択した距離画像からは対象画素における距離値Ｄ_Ｎｋを読み込み、強度画像からは対応する画素の強度値Ｉ_Ｎｋを読み込む（Ｓ５０６）。

さらに、演算部１１３は、読み込んだ距離値Ｄ_Ｎｋが有効値であるか否かを判定する（Ｓ５０７）。演算部１１３は、距離値Ｄ_Ｎｋが有効値である場合に（Ｓ５０７のＹＥＳ）、ステップＳ５０８に進み、距離値Ｄ_Ｎｋが有効値でない場合に（Ｓ５０７のＮＯ）、ステップＳ５１０に進む。

ステップＳ５０８において、演算部１１３は、現在設定されている最大強度値Ｉｍａｘと、新たに取得した強度値Ｉ_Ｎｋとを比較する。強度値Ｉ_Ｎｋの方が最大強度値Ｉｍａｘよりも大きい場合（Ｓ５０８のＹＥＳ）、演算部１１３は、出力距離値Ｄ及び最大強度値Ｉｍａｘをそれぞれ、新たに取得した距離値Ｄ_Ｎｋ及び強度値Ｉ_Ｎｋに更新する（Ｓ５０９）。強度値Ｉ_Ｎｋが最大強度値Ｉｍａｘ以下の場合（Ｓ５０８のＮＯ）、演算部１１３は、ステップＳ５１０に進む。

ステップＳ５１０では、演算部１１３は、予め設定された枚数分の距離画像及び強度画像に対して、ステップＳ５０５からＳ５０９の処理を完了したか否かを判定する（Ｓ５１０）。演算部１１３は、距離画像及び強度画像のそれぞれに対する処理が完了していれば（Ｓ５１０のＹＥＳ）、ステップＳ５１１に進み、現在設定されている出力距離値Ｄを、対象画素の最適な距離値に設定する（Ｓ５１１）。演算部１１３は、距離画像及び強度画像のそれぞれに対する完了していない場合（Ｓ５１０のＮＯ）、ステップＳ５０５に進み、未処理の距離画像及び強度画像に対して、ステップＳ５０５からＳ５０９の処理を行う。演算部１１３は、上述のような対象画素に対する一連の処理を、設定枚数分の距離画像及び強度画像に対して実行するまで繰り返す。そして、設定枚数分の処理が完了した後、演算部１１３は、ステップＳ５１１のように、出力する距離画像の対象画素における最適な距離値として、現在設定されている出力距離値Ｄを出力する。

次に、実施の形態に係る距離画像生成装置１１０が取得する距離画像、強度画像及び合成距離画像の例、並びに、距離画像生成装置１１０が距離画像及び強度画像から合成距離画像を取得する例を、説明する。図６は、実施の形態に係る距離画像生成装置１１０によって取得される距離画像及び強度画像の一例を示す概略図である。

図６の（ａ−１）は、発光部の発光量又は受光センサの露光時間が所定の値より小さい撮影条件にて測定した距離画像の一例である。本例では、対象物が受光センサから離れるほど、明度の低い色で表現される。図６の（ａ−２）は、発光部の発光量又は受光センサの露光時間が所定の値より小さい撮影条件にて測定した強度画像の一例である。本例では、受光量つまり強度が大きい場所ほど、明度の高い色で表現される。図６の（ａ−３）は、図６の（ａ−１）及び（ａ−２）の画像を撮影により取得する際の撮影環境の俯瞰図を示す。図中の黒丸は受光センサの位置を示し、受光センサから広がる扇形領域は受光センサの撮影画角を示し、扇形領域内に存在する四角形領域は対象物を示している。また、撮影画角を示す扇形領域内の無色領域は、有効値となる距離値が得られる有効領域を示しており、扇形領域内の着色領域は、距離値が無効値となる無効領域を示している。

図６の（ｂ−１）は、発光部の発光量又は受光センサの露光時間が所定の値より大きい撮影条件にて測定した距離画像の一例である。本例では、対象物が受光センサから離れるほど、明度の低い色で表現される。図６の（ｂ−２）は、発光部の発光量又は受光センサの露光時間が所定の値より大きい撮影条件にて測定した強度画像の一例である。本例では、受光量が大きい場所ほど、明度の高い色で表現される。図６の（ｂ−３）は、図６の（ｂ−１）及び（ｂ−２）の画像を撮影により取得する際の撮影環境の俯瞰図を示す。図中の黒丸は受光センサの位置を示し、受光センサから広がる扇形領域は受光センサの撮影画角を示し、扇形領域内に存在する四角形領域は対象物を示している。また、撮影画角を示す扇形領域内の無色領域は、距離値の有効領域を示しており、着色領域は、距離値の無効領域を示している。

図６に示されるように、発光部の発光量の違いにより、距離画像において、距離値の有効値を取得可能な領域が変化する。

図７は、撮像フレーム毎に発光部の発光量又は受光センサの露光時間を変化しつつ撮影された距離画像について、距離値の有効領域の変化を、図６の（ａ−３）及び（ｂ−３）と同様に表す概略図である。

発光量又は露光時間等の撮影条件が撮像フレーム毎に変化することにより、距離画像から距離値の有効値を得られる領域が変化する。本例は、撮像フレーム毎に発光部の発光量又は受光センサの露光時間のいずれかの撮影条件を変えて撮影することを前提としている。本例は、撮影条件を変えたフレームＡ及びフレームＢの計２回の撮影により、距離測定をするケースを示す。なお、本例では、簡単のために撮像フレーム数を２つとして説明するが、撮像フレーム数は２つに限らず、任意の数量に設定され得る。また、図７に示す例は、フレームＡ及びフレームＢにおける撮影条件の組み合わせに関して、３つのタイプの組み合わせ（ａ）、（ｂ）及び（ｃ）を示す。

図７に示す各図は、図６の（ａ−３）及び（ｂ−３）に示す図と同様の図であり、黒丸、扇形領域及び扇形領域内の四角形領域はそれぞれ、受光センサ、撮影画角及び対象物を示している。扇形領域内部の無色領域は、距離値の有効領域を示しており、着色領域は距離値の無効領域を示している。また、扇形領域内部の無色領域と着色領域との境界の破線は、距離値の有効領域と無効領域との境界を示している。

図７の（ａ）は、フレームＡとフレームＢとで距離値の有効領域及び無効領域の境界が一致している場合を表す図である。このとき、フレームＡとフレームＢとにおける各画素において、有効値を持つ画素は一方のフレームにしか存在しないため、距離値を合成した合成距離画像の各画素の距離値は、有効値を持つフレームが示す距離値で一意に決定される。

図７の（ｂ）は、フレームＡとフレームＢとの間で、重複する距離値の有効領域はないが、重複する距離値の無効領域が存在する場合を表す図である。重複する無効領域は、フレームＡにおける有効領域及び無効領域の境界線と、フレームＢにおける有効領域及び無効領域の境界線との間に存在する。いずれかのフレームで距離値の有効値を有する画素は、合成距離画像においても有効値を有するが、いずれのフレームでも距離値が無効値となる画素は、合成距離画像においても無効値を有する。

図７の（ｃ）では、フレームＡとフレームＢとの間で、重複する距離値の有効領域がある場合を表す図である。いずれか一方のフレームにおける距離値が無効値となる画素に関しては、合成距離画像では、有効値を持つフレームの距離値が適用される。どちらのフレームにおいても有効値を有する画素に関しては、合成距離画像では、距離値が合成される。具体的には、各フレームの強度画像における対応する画素のうちの強度値が高い方の画素が選択され、選択された画素に対応する距離画像の画素の距離値が適用される。

図８は、実施の形態に係る距離画像生成装置１１０によって取得される距離画像のデータ構造の一例を示す図である。本例は、撮像フレーム毎に発光部の発光量又は受光センサの露光時間のいずれかの撮影条件を変えて撮影することを前提としている。本例は、撮影条件を変えたフレームＡ及びフレームＢの計２回の撮影により、距離測定をするケースを示す。フレームＡでは発光量が所定の値より大きい状態で撮影され、フレームＢでは発光量が所定の値より小さい状態で撮影されている。

図８の（ａ−１）は、フレームＡでの距離画像例を示し、図８の（ｂ−１）は、フレームＢでの距離画像例を示す。図８の（ａ−２）及び（ｂ−２）はそれぞれ、フレームＡ及びＢの距離画像において互いに対応する同画素領域を、各距離画像から切り出し、拡大して示す図である。切り出された画素領域は、距離画像の画素に設定され且つ画素数に基づくｘｙ座標系において、座標（ｘ，ｙ）が（Ｍ，Ｎ）から（Ｍ＋４，Ｎ＋３）までである画素領域に相当する。なお、ｘ座標及びｙ座標は、整数である。

図８の（ａ−３）及び（ｂ−３）はそれぞれ、図８の（ａ−２）及び（ｂ−２）の画素領域内の各画素に含まれる距離値を示す表である。なお、距離値の単位はメートルである。さらに、表中の距離値「ＮａＮ」は、画素の距離値が無効値であることを示している。

図８の（ａ−４）及び（ｂ−４）はそれぞれ、図８の（ａ−３）及び（ｂ−３）の各画素に含まれる距離値のメモリ図を示す。これらメモリ図に示されるように、画素の座標値と、各座標に格納されている距離値とは、対となすように組み合わされ、例えば、図１に示す距離画像生成装置のメモリに格納される。

図９は、実施の形態に係る距離画像生成装置１１０によって取得される強度画像のデータ構造の一例を示す図である。本例は、撮像フレーム毎に発光部の発光量又は受光センサの露光時間のいずれかの撮影条件を変えて撮影することを前提としている。本例は、撮影条件を変えたフレームＡ及びフレームＢとの計２回の撮影により、距離測定をするケースを示す。フレームＡでは発光量が所定の値より大きい状態で撮影され、フレームＢでは発光量が所定の値より小さい状態で撮影されているとする。

図９の（ａ−１）は、フレームＡでの強度画像例を示し、図９の（ｂ−１）は、フレームＢでの強度画像例を示す。また、これらの強度画像は、図８の距離画像を取得する際に同時に得られる。

図９の（ａ−２）及び（ｂ−２）はそれぞれ、フレームＡ及びＢの強度画像において互いに対応する同画素領域を、各強度画像から切り出し、拡大して示す図である。切り出された画素領域は、強度画像中の画素に設定され且つ画素数に基づくｘｙ座標系において、座標（ｘ、ｙ）が（Ｍ，Ｎ）から（Ｍ＋４，Ｎ＋３）までである画素領域に相当する。なお、強度画像の座標系は、距離画像の座標系と同一であり、強度画像のｘ座標及びｙ座標も、整数である。

図９の（ａ−３）及び（ｂ−３）はそれぞれ、図９の（ａ−２）及び（ｂ−２）の画素領域内の各画素に含まれる強度値を示す表である。なお、強度値の単位はパーセントであり、強度値は、投射光に対する受光された反射光の割合を示し、反射強度値でもある。

図９の（ａ−４）及び（ｂ−４）はそれぞれ、図９の（ａ−３）及び（ｂ−３）の各画素に含まれる強度値のメモリ図を示す。これらメモリ図に示されるように、画素の座標値と、各座標に格納されている強度値とは、対となすように組み合わされ、例えば、図１に示す距離画像生成装置のメモリに格納される。

図１０は、実施の形態に係る距離画像生成装置１１０によって取得される距離画像及び強度画像のデータ構造を示すメモリ図である。図１０は、図８の結果及び図９の結果をまとめたものである。これらメモリ図に示されるように、撮像フレーム毎に、距離画像及び強度画像の各画素に含まれる値は、組み合わされ、例えば、図１に示す距離画像生成装置のメモリに格納される。各フレームの各画素は、その距離値及び反射強度値の２つの値と対応付けられている。例えば、距離画像生成装置１１０は、合成距離画像を生成するためのフレームＡとフレームＢとの合成の際に、メモリに対して、２つのフレーム間で対応する画素毎に距離値及び反射強度値を照会する。

図１１は、実施の形態に係る距離画像生成装置１１０によって取得される合成距離画像のデータ構造を示すメモリ図である。本例は、図１０におけるフレームＡ及びフレームＢの距離画像を合成した結果のメモリ図を示す。このメモリ図に示されるように、画素の座標値と、当該画素におけるフレームＡ及びフレームＢの距離値の合成距離値とが、組み合わされ、例えば、図１に示す距離画像生成装置のメモリに格納される。合成距離画像生成時には、図１０に示されるフレームＡ及びフレームＢの間での各画素の反射強度値の強弱から、いずれのフレームの距離値を合成距離画像の各画素に反映するかが選択される。例えば、本例に示す座標（Ｍ＋２，Ｎ＋２）の画素では、フレームＡ及びフレームＢの間で距離値が異なる。この場合は、反射強度の強いフレームＡの距離値が採用され、合成距離画像の合成距離値に反映される。また、座標（Ｍ＋３，Ｎ＋３）の画素では、フレームＡの反射強度値が１００％であり飽和した状態を示し、距離値が「ＮａＮ」として無効値に設定されている。このため、フレームＢの距離値が採用され、合成距離画像の合成距離値に反映される。このように、合成距離画像を生成する際は、撮像した複数のフレーム間で、各画素の反射強度の値を手掛かりとし、距離値を単一のフレームの距離画像から選択される。撮像したフレームの全画素について、前記手順を行うことで合成距離画像が得られる。

以上のように、実施の形態に係る距離画像生成装置１１０によれば、発光量及び露光時間の少なくとも一方が異なる複数の距離画像から、距離画像における画素毎の受光強度の値に基づいて、より受光強度が大きい画素が抽出され、抽出された画素を用いて合成距離画像が生成される。例えば、距離画像内に移動物体が存在する場合、又は距離画像生成装置１１０自身が移動しながら距離画像を取得した場合に、複数の距離画像間で対象物の位置が移動する。しかしながら、より受光強度が大きい画素では、画素の距離値の精度が高くなるため、複数の距離画像の対応する画素のうちでより受光強度が大きい距離画像の画素を用いて合成された合成距離画像では、ぶれ等の不鮮明な部分の生成が抑制される。よって、距離画像生成装置１１０が生成する合成距離画像では、安定した距離精度が得られる。

また、実施の形態に係る距離画像生成装置１１０によれば、距離画像の画素の中から、受光強度に基づいた有効画素が抽出され、抽出された有効画素が、合成距離画像の生成に使用される。そして、有効画素は、所定範囲内の受光強度の画素に対応する。例えば、所定の範囲は、第１の閾値以上の受光強度の範囲であってもよく、第２の閾値以下の受光強度の範囲であってもよく、第１の閾値以上第２の閾値以下の受光強度の範囲であってもよい。これにより、反射光の受光強度が、距離画像の距離値の算出に不適当である画素を用いた合成距離画像の生成が、抑えられる。例えば、第１の閾値を、距離値を安定して取得できないような小さい受光強度等に設定することによって、合成距離画像の画素が不正確な距離を有することが抑えられる。第２の閾値を、例えば反射光が白とびするような飽和した受光強度等に設定することによって、合成距離画像の画素が不正確な距離を有することが抑えられる。

また、実施の形態に係る距離画像生成装置１１０によれば、複数の距離画像の間の対応する画素の組み合わせに、１つの有効画素しか含まれない場合、受光強度に関係なく、当該１つの有効画素が合成距離画像に用いられる。例えば、複数の距離画像の間で１つの有効画素しかない場合に、受光強度の比較ができないことを理由に、有効画素を合成距離画像に適用しなければ、合成距離画像における画素の欠損が多くなる可能性がある。しかしながら、当該１つの有効画素を合成距離画像に用いることによって、画素の欠損に起因して合成距離画像が不鮮明になることが抑えられる。

（他の実施の形態）
以上、１つ又は複数の態様に係る距離画像生成装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。

本開示の包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

例えば、本開示に係る距離画像生成装置の各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。

また、距離画像生成装置の各構成要素は、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。

システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。

また、距離画像生成装置の各構成要素の一部又は全部は、脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

また、本開示に係る距離画像生成方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。ここで、上記距離画像生成方法は、以下のとおりである。

すまわち、距離画像生成方法は、対象物との距離を表す距離画像を生成する距離画像生成方法であって、（ａ１）撮影画角内に存在する対象物に対して、発光量及び露光時間の少なくとも一方が互いに異なる第１の光及び第２の光を、異なるタイミングで発し、（ａ２）前記第１の光が前記対象物に反射した第１の反射光と、前記第２の光が前記対象物に反射した第２の反射光とを受光し、（ａ３）前記第１の光と前記第１の反射光との位相差を算出して、前記対象物までの距離を表す第１の距離画像を生成し、（ａ４）前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、（ａ５）前記第２の光と前記第２の反射光との位相差を算出して、前記対象物までの距離を表す第２の距離画像を生成し、（ａ６）前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、（ａ７）前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する前記距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる。

また、本開示に係る距離画像生成装置及び距離画像生成方法での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。ここで、上記ソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに実行させるプログラムであって、（ｂ１）撮影画角内に存在する対象物に対して、異なるタイミングで発せられる第１の光及び第２の光の情報を取得し、ここで、前記第１の光及び前記第２の光は、発光量及び露光時間の少なくとも一方が互いに異なっており、（ｂ２）前記第１の光が前記対象物に反射した第１の反射光の受光情報と、前記第２の光が前記対象物に反射した第２の反射光の受光情報とを取得し、（ｂ３）前記第１の光と前記第１の反射光との位相差を算出して、前記対象物までの距離を表す第１の距離画像を生成し、（ｂ４）前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、（ｂ５）前記第２の光と前記第２の反射光との位相差を算出して、前記対象物までの距離を表す第２の距離画像を生成し、（ｂ６）前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、（ｂ７）前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる。

１００移動体
１０１移動体制御部
１０２駆動部
１１０距離画像生成装置
１１１発光部
１１２受光センサ
１１３演算部
１１４メモリ
１１５制御部

Claims

距離画像生成装置であって、
撮影画角内に存在する対象物に対して、発光量及び露光時間の少なくとも一方が互いに異なる第１の光及び第２の光を、異なるタイミングで発する発光部と、
前記第１の光が前記対象物に反射した第１の反射光と、前記第２の光が前記対象物に反射した第２の反射光とを受光する受光センサと、
演算部とを備え、
前記演算部は、
前記第１の光と前記第１の反射光との位相差を算出して、前記距離画像生成装置から前記対象物までの距離を表す第１の距離画像を生成し、
前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、
前記第２の光と前記第２の反射光との位相差を算出して、前記距離画像生成装置から前記対象物までの距離を表す第２の距離画像を生成し、
前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、
前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、
前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる
距離画像生成装置。
前記演算部は、
前記第１の受光強度画像及び前記第２の受光強度画像における所定の範囲内の受光強度を示す画素に対応する有効画素を、前記第１の距離画像及び前記第２の距離画像から抽出し、
前記より大きい受光強度を示す画素に対応する前記有効画素を前記合成距離画像に用いる
請求項１に記載の距離画像生成装置。
前記演算部は、
前記第１の距離画像及び前記第２の距離画像の間の対応する画素の組み合わせに、１つの前記有効画素しか含まれない場合、受光強度に関係なく、前記１つの有効画素を前記合成距離画像に用いる
請求項２に記載の距離画像生成装置。
前記所定の範囲は、第１の閾値以上の受光強度の範囲である
請求項１〜３のいずれか一項に記載の距離画像生成装置。
前記所定の範囲は、第２の閾値以下の受光強度の範囲である
請求項１〜３のいずれか一項に記載の距離画像生成装置。
前記所定の範囲は、第１の閾値以上第２の閾値以下の受光強度の範囲である
請求項１〜３のいずれか一項に記載の距離画像生成装置。
対象物との距離を表す距離画像を生成する距離画像生成方法であって、
（ａ１）撮影画角内に存在する対象物に対して、発光量及び露光時間の少なくとも一方が互いに異なる第１の光及び第２の光を、異なるタイミングで発し、
（ａ２）前記第１の光が前記対象物に反射した第１の反射光と、前記第２の光が前記対象物に反射した第２の反射光とを受光し、
（ａ３）前記第１の光と前記第１の反射光との位相差を算出して、前記対象物までの距離を表す第１の距離画像を生成し、
（ａ４）前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、
（ａ５）前記第２の光と前記第２の反射光との位相差を算出して、前記対象物までの距離を表す第２の距離画像を生成し、
（ａ６）前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、
（ａ７）前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、
前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する前記距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる
距離画像生成方法。
コンピュータに実行させるプログラムであって、
（ｂ１）撮影画角内に存在する対象物に対して、異なるタイミングで発せられる第１の光及び第２の光の情報を取得し、ここで、前記第１の光及び前記第２の光は、発光量及び露光時間の少なくとも一方が互いに異なっており、
（ｂ２）前記第１の光が前記対象物に反射した第１の反射光の受光情報と、前記第２の光が前記対象物に反射した第２の反射光の受光情報とを取得し、
（ｂ３）前記第１の光と前記第１の反射光との位相差を算出して、前記対象物までの距離を表す第１の距離画像を生成し、
（ｂ４）前記第１の距離画像の画素毎に前記第１の反射光の受光強度を表す第１の受光強度画像を生成し、
（ｂ５）前記第２の光と前記第２の反射光との位相差を算出して、前記対象物までの距離を表す第２の距離画像を生成し、
（ｂ６）前記第２の距離画像の画素毎に前記第２の反射光の受光強度を表す第２の受光強度画像を生成し、
（ｂ７）前記第１の受光強度画像及び前記第２の受光強度画像を用いて、前記第１の距離画像と前記第２の距離画像とを合成して、合成距離画像を生成し、
前記合成距離画像の生成では、前記第１の受光強度画像及び前記第２の受光強度画像の間の対応する画素において、より大きい受光強度を示す画素に対応する距離画像の画素を、前記第１の距離画像及び前記第２の距離画像のうちから抽出し、抽出した画素を前記合成距離画像に用いる
プログラム。