JP2022143955A - 距離推定装置及び距離推定方法 - Google Patents

Abstract

【課題】広範囲の物標の距離を短時間に推定することができる距離推定装置及び距離推定方法を提供することである。【解決手段】実施形態によれば、距離推定装置は、第１距離推定部と、第１距離推定部とは異なる推定方式の第２距離推定部を具備する。第２距離推定部は、第１距離推定部の推定結果に応じて、推定処理の一部を変更する。【選択図】図２

Description

本発明の実施形態は、物標のデプス（以下、距離と称される）を推定する距離推定装置及び距離推定方法に関する。

距離推定装置の従来例は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）方式や収差マップ方式を用いる装置がある。

国際公開第２０１８／２１６３４１号 特開２０１８－１３９０８４号公報 国際公開第２０２０／１５８６４６号

いずれの方式でも、広範囲の物標の距離を推定するためには、処理時間が増大する。

本発明の目的は、広範囲の物標の距離を短時間に推定することができる距離推定装置及び距離推定方法を提供することである。

実施形態によれば、距離推定装置は、第１距離推定部と、第１距離推定部とは異なる推定方式の第２距離推定部を具備する。第２距離推定部は、第１距離推定部の推定結果に応じて、推定処理の一部を変更する。

第１実施形態による距離推定装置の一例を示すブロック図。 図１に示される距離推定部の一例を示す機能ブロック図。 図２に示される距離推定部の動作の一例を示すタイミングチャート。 図２に示される収差マップ領域選択部の一例を示す機能ブロック図。 図４に示される矩形リストの一例を示す図。 図２に示される点群生成領域選択部の一例を示す機能ブロック図。 図６に示される矩形リストの一例を示す図。 図６に示される矩形生成部の処理の一例を示すフローチャート。 図６に示される矩形リストの他の例を示す図。 図６に示される点群フィルタの処理の一例を示すフローチャートである。 図２に示される収差マップ演算部の処理の一例を示すフローチャートである。 図２に示される点群生成部の処理の一例を示すフローチャートである。 第1実施形態による処理時間削減の一例を説明する図。 第1実施形態による測定精度向上の一例を説明する図。 第２実施形態による収差マップ領域選択部の一例を示す機能ブロック図。 図１５に示される矩形統合部の処理の一例を説明する図。 第３実施形態による収差マップ処理部の一例を示す機能ブロック図。 図１７に示される密度計測部の処理の一例を示すフローチャート。 第４実施形態による距離推定部の一例を示す機能ブロック図。 図１９に示される収差マップ領域選択部の一例を示す機能ブロック図。 第５実施形態による収差マップ演算部がエゴモーションを推定する動作の一例を示すタイミングチャート。

以下、図面を参照して、実施形態を説明する。以下の説明は、実施形態の技術的思想を具体化するための装置や方法を例示するものであって、実施形態の技術的思想は、以下に説明する構成要素の構造、配置等に限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、複数の図面において、対応する要素には同じ参照数字を付して重複する説明を省略する場合もある。いくつかの要素に複数の呼称を付す場合があるが、これら呼称の例はあくまで例示であり、これらの要素に他の呼称を付すことを否定するものではない。また、複数の呼称が付されていない要素についても、他の呼称を付すことを否定するものではない。なお、以下の説明において、「接続」は直接接続のみならず、他の要素を介して接続されることも意味する。

以下、図面を参照しながら本実施の形態について詳細に説明する。

［第１実施形態］
図１は、第１実施形態による距離推定装置の一例を示すブロック図である。距離推定装置は、物標の画像から画像の各画素の距離を推定するものであるが、第１実施形態では、距離推定装置は、推定した各画素の距離から各画素の３次元位置（３次元座標とも称される）も推定するとする。各画素の３次元座標を推定することは点を推定すると称される。ただし、距離推定装置は必ずしも点を推定する必要はなく、距離を推定るすだけでもよい。物標を構成する点の集合は点群と称される。

距離推定装置の応用例は、自動車、ドローン、自走式のロボット等に搭載され、周囲の障害物の位置を推定し、障害物への衝突を防止する自動運転装置が考えられる。

距離推定装置は、複数の推定方式により点群を推定し、複数の推定方式により推定された点群を結合する（マージとも称される）。各推定方式は、信頼度が高い点群を推定することができる画像の種類や、画像内の領域が異なる。そのため、或る領域について１つの推定方式により点群を推定し、他の領域について他の推定方式により点群を推定し、両者の点群を結合すると、広い領域について信頼度の高い点群を推定することができる。

第１実施形態では、複数の距離推定方式として、ＳＬＡＭ方式と収差マップ方式が用いられる。しかし、これらの方式は一例であり、他の方式が用いられてもよい。また、用いられる方式の数は２つに限らず、３つ以上でもよい。

距離推定装置は、カメラ１２と、ＣＰＵ１４と、メモリ１６と、ディスプレイ１８を含む。ＳＬＡＭ方式では、ステレオカメラや単眼カメラが用いられる。収差マップ法では、単眼カメラが用いられる。１つのカメラをＳＬＡＭ方式にも収差マップ方式にも使う場合、カメラ１２としては単眼カメラが用いられる。ＳＬＡＭ方式では、三角測量に基づき物標位置が推定される。そのため、単眼カメラを用いるＳＬＡＭ方式では、単眼カメラは、移動機能に取り付けられ、２つの異なるアングルで物標を撮影する。しかし、１つのカメラをＳＬＡＭ方式にも収差マップ方式にも使うのではなく、ＳＬＡＭ方式用のステレオカメラと収差マップ方式用の単眼カメラがそれぞれ設けられてもよい。第１実施形態では、単一の単眼カメラがカメラ１２として用いられる。

メモリ１６は、演算途中のデータを格納するとともに、ＣＰＵ１４が実行するプログラムを格納する。プログラムは距離推定プログラムを含む。

ＣＰＵ１４は、メモリ１６に記憶されている距離推定プログラムを実行することにより、距離推定部２２として機能する。距離推定部２２は、物標の各点までの距離を推定し、推定結果に基づいて点群を推定する。

ディスプレイ１８は推定された点群を表示する。点群の表示の例は、２次元画像の各画素が距離情報に応じて着色される距離画像である。表示は出力形態の一例である。出力形態は表示に限らず、他の装置へ出力結果を送信する形態でもよい。その場合、ディスプレイ１８の代わりに送信機が用いられる。

距離推定部２２は、ＳＬＡＭ処理部２４と、収差マップ処理部２６と、マージ部２８を含む。

ＳＬＡＭ処理部２４は、カメラ１２から出力される異なるアングルで撮影された２枚の画像の特徴点を求め、特徴点の幾何学関係を利用して三角測量により物標の各点までの距離を推定し、距離の推定結果に基づいて点群を推定する。

収差マップ処理部２６は、カメラ１２から出力された１枚の画像から被写体の距離や画像の位置で異なるレンズ収差による画像のぼけ情報（収差マップと称される）を計算し、収差マップに基づいて距離を推定し、距離の推定結果に基づいて点群を推定する。収差マップ処理部２６は、被写体の距離や画像の位置と収差マップとの対応関係を、例えば深層ニューラルネットワークにより解析し、物標の各点までの距離を推定する。収差の特徴の解析には、点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＦＳ）が用いられる。ＰＳＦは、被写体から生じる１点からの光（点光源）がカメラレンズを通過した後にどのような広がりを持って結像するか（ぼけの形や色づき）を表す関数である。ＰＳＦは、カメラレンズに対する被写体の距離や面内位置によって異なる。このＰＳＦの、距離や面内位置との対応関係が収差マップである。

マージ部２８は、ＳＬＡＭ処理部２４により推定された点群と収差マップ処理部２６により推定された点群を結合する。

なお、ソフトウェアにより距離推定部２２を実現するのではなく、ハードウェアにより距離推定部２２を実現してもよい。

図２は、図１に示される距離推定部２２の一例を示す機能ブロック図である。ＳＬＡＭ処理部２４は、エゴモーション推定部３２、点群生成領域選択部３６、点群生成部３８、及び点群フィルタ４２を含む。収差マップ処理部２６は、収差マップ領域選択部５２、収差マップ演算部５４、及び点群フィルタ５８を含む。

カメラ１２は、移動機構に取り付けられ、２つの異なるアングルで（例えば、左右にずれた位置から）物標を周期的に撮影する。例えば、ある時刻Ｔでは、２つの時刻Ｔ－１と時刻Ｔで撮影された異なるアングルの２フレームの画像がＳＬＡＭ処理部２４に供給される。時刻Ｔ－１は時系列において時刻Ｔより１つ前の時刻である。ある時刻Ｔでは、収差マップ処理部２６には、時刻Ｔで撮影された１フレームの画像のみが供給される。ＳＬＡＭ処理部２４では、画像はエゴモーション推定部３２と点群生成部３８に入力される。収差マップ処理部２６では、画像は収差マップ演算部５４に入力される。

エゴモーション推定部３２は、２枚の画像から距離推定装置、すなわちカメラ１２の移動量や姿勢の変化を推定し、推定結果をエゴモーション３４として出力する。エゴモーション推定部３２は、点群生成部３８と収差マップ処理部２６内の収差マップ領域選択部５２にエゴモーション３４を供給する。

点群生成領域選択部３６は、収差マップ処理部２６から出力される信頼度付き点群５６（後述）に基づいて、画像の中のＳＬＡＭ処理部２４により点群を推定したい領域（点群生成領域）を選択する。点群生成領域選択部３６は、点群生成領域を示す情報（矩形リストと称される）を点群生成部３８に供給する。

点群生成部３８は、点群生成領域内の２枚の画像から三角測量により物標の各点の距離を推定し、カメラの光学パラメータと距離から点群生成領域内の点群４０を推定する。点群生成部３８による距離推定の精度（以下、信頼度と称される）は、画像の種類や点（画素）の位置に応じる。そのため、点群生成部３８は、推定した距離の信頼度を求め、点群４０として信頼度付き点群を推定する。一般に、２枚の画像間で視差が大きい程、三角測量の精度が高いとされる。したがって、信頼度として、例えば視差が利用できる。点群生成部３８は、点群フィルタ４２と収差マップ処理部２６内の収差マップ領域選択部５２に信頼度付き点群４０を供給する。

点群フィルタ４２は、点群４０を信頼度に基づき選択し、閾値未満の信頼度の点群を出力せず、閾値以上の信頼度の点群のみを点群４４として出力する。

収差マップ処理部２６では、収差マップ領域選択部５２は、エゴモーション３４と、信頼度付き点群４０と、収差マップ演算部５４から出力される信頼度付き点群５６（後述）とに基づいて、画像の中の収差マップ演算により点群を推定したい領域（収差マップ領域）を選択する。収差マップ領域選択部５２は、収差マップ領域を示す情報（矩形リスト）を収差マップ演算部５４に供給する。

収差マップ演算部５４は、収差マップ領域について画像の収差マップを計算し、深層ニューラルネットワークを用いて収差マップから距離を推定し、カメラの光学パラメータと距離から収差マップ領域について点群５６を推定する。点群生成部３８による距離推定と同様に、収差マップ演算部５４による距離推定の信頼度も、画像の種類や点（画素）の位置に応じる。そのため、収差マップ演算部５４は、推定した距離の信頼度を求め、点群５６として信頼度付き点群を推定する。収差マップ演算部５４は、収差マップ領域についての信頼度付き点群５６を点群フィルタ５８と、収差マップ領域選択部５２と、ＳＬＡＭ処理部２４の点群生成領域選択部３６に供給する。

点群フィルタ５８は、点群５６を信頼度に基づき選択し、閾値未満の信頼度の点群を出力せず、閾値以上の信頼度の点群のみを点群６０として出力する。

点群フィルタ４２、５８の閾値は同じでもよいし、互いに異なっていてもよい。

マージ部２８は、ＳＬＡＭ処理部２４により推定された点群と収差マップ処理部２６により推定された点群を結合する。ＳＬＡＭ処理部２４により点群４４が推定された領域と収差マップ処理部２６により点群６０が推定された領域が異なる場合、マージ部２８は、２つの点群４４、６０を単純に結合して点群６２を出力する。ＳＬＡＭ処理部２４により点群４４が推定された領域と収差マップ処理部２６により点群６０が推定された領域が重複する領域を含む場合、マージ部２８は、重複領域では信頼度の高い点群を選択する。このためには、点群を生成する基になった矩形情報をマージ部２８に入力する必要がある。これにより、広範囲にわたって信頼度の高い点群６２が推定される。

図３は、図２に示される距離推定部２２のＳＬＡＭ処理部２４と収差マップ処理部２６との間の時系列の入出力の一例を示すタイミングチャートである。

時刻Ｔ－２で撮影されたフレーム（ｎ―２）の画像と時刻Ｔ－１で撮影されたフレーム（ｎ－１）の２枚の画像が点群生成部３８に入力されると、点群生成部３８は、点群生成領域内の２枚の画像からフレーム（ｎ－１）の信頼度付き点群４０を推定し、信頼度付き点群４０を収差マップ領域選択部５２に供給する。

フレーム（ｎ－１）とフレームｎの２枚の画像が点群生成部３８に入力されると、エゴモーション推定部３２はフレームｎのエゴモーション３４を生成し、エゴモーション３４を収差マップ領域選択部５２に供給する。

収差マップ領域選択部５２は、フレーム（ｎ－１）の信頼度付き点群（ＳＬＡＭ点群）４０とフレームｎのエゴモーション３４に基づいてフレームｎの収差マップ領域を選択する。収差マップ演算部５４は、収差マップ領域内の画像についてフレームｎの信頼度付き点群５６を推定し、信頼度付き点群５６を点群生成領域選択部３６に供給する。

点群生成領域選択部３６は、フレームｎの信頼度付き点群（収差マップ点群）５６に基づいて点群生成領域を選択する。点群生成部３８は、点群生成領域内の画像についてフレームｎの信頼度付き点群４０を推定し、信頼度付き点群４０を収差マップ領域選択部５２に供給する。

収差マップ領域選択部５２は、収差マップ演算部５４で点群生成された１フレーム前の画像に対する現フレームの予測矩形に基づく領域を選択する。しかし、物標がカメラ１２の撮影対象範囲から外れると、収差マップ演算を処理する領域が無くなる。これを回避するために、ＳＬＡＭ処理部２４で生成された点群４０が収差マップ領域選択部５２に入力されている。ＳＬＡＭ処理部２４と収差マップ処理部２６は、ともに画像のエッジ付近で距離を推定しやすい。そのため、ＳＬＡＭ処理部２４で点群生成できた領域は、将来、収差マップ処理部２６でも点群生成できる可能性があり、ＳＬＡＭ処理部２４で点群生成できた領域は、収差マップ演算を処理する領域を新規に追加することに利用される。

点群生成領域選択部３６は、収差マップ演算部５４により推定された点群５６に基づき点群生成領域を選択する。これにより、収差マップ演算部５４により点群が推定されない領域の点群をＳＬＡＭ処理部２４の処理結果で補い、推定することができる。具体的には、後述するように、ＳＬＡＭ処理部２４で生成した点群を画像に投影し、収差マップ処理部２６で新規に追加する領域として利用される。

図４は、図２に示される収差マップ領域選択部５２の一例を示す機能ブロック図である。収差マップ領域選択部５２は、点群位置予測部１０２と、画像再投影部１０６と、矩形生成部１１０を含む。現フレームのエゴモーション３４と、前フレームの信頼度付き点群（収差マップ点群）５６ａと、前フレームの信頼度付き点群（ＳＬＡＭ点群）４０ａが点群位置予測部１０２に入力される。

エゴモーション３４は、現フレームの点群の位置と前フレームの点群の位置のズレを示す。そのため、エゴモーションと前フレームの点群から現フレームの点群を推定することができる。また、或るフレームで収差マップ演算により点群が推定された物標は、次フレームでも点群が推定される可能性が高い。また、収差マップ演算もＳＬＡＭ演算も、画像のエッジ付近で高精度の点群が推定される可能性が高い。そのため、或るフレームでＳＬＡＭ演算により点群が推定された領域は、次フレームで収差マップ演算により点群が推定される可能性が高い。そのため、点群位置予測部１０２は、現フレームのエゴモーション３４と、前フレームの信頼度付き点群（収差マップ点群）５６ａと、前フレームの信頼度付き点群（ＳＬＡＭ点群）４０ａとに基づいて現フレームの物標の位置を示す点群の位置を予測し、現フレーム予測点群（収差マップ点群）１０４を生成する。点群位置予測部１０２は、現フレーム予測点群１０４を画像再投影部１０６に供給する。

画像再投影部１０６は、現フレームの画像中の全画素について、物標が存在する、すなわち点が推定される可能性の高い画素の画素値を１とし、物標が存在しない、すなわち点が推定されない可能性の高い画素の画素値を０とする２値画像１０８を生成し、２値画像１０８を矩形生成部１１０に供給する。２値画像は物標の有無を予測する。

矩形生成部１１０は、画素値が１である画素を含む最小の四角形（以下、四角形は矩形と称される）を表す矩形リスト１１２を出力する。矩形は、現フレームで物標が存在する可能性の高い、すなわち収差マップ演算により点が推定される可能性が高い領域を示す。

図５は、矩形リスト１１２の一例を示す。矩形リスト１１２は、矩形１１０ａ、１１０ｂの四隅の画素の座標を示す。図５では、矩形１１０ａ、１１０ｂは正方形であるが、矩形１１０ａ、１１０ｂの縦、横の長さは異なっていてもよい。なお、矩形が所定サイズの正方形に限られている場合は、矩形リスト１１２は、矩形の特定の隅、例えば左上の隅の画素の座標を示す。

矩形リスト１１２は、収差マップ演算部５４に供給される。収差マップ演算部５４は、画像全体ではなく矩形リスト１１２により示された矩形について収差マップ演算を行う。このため、収差マップ演算時間が短縮される。

図６は、図２に示される点群生成領域選択部３６の一例を示す機能ブロック図である。点群生成領域選択部３６は、点群フィルタ１２２と、画像再投影部１２６と、矩形生成部１３０を含む。現フレームの信頼度付き点群（収差マップ点群）５６が点群フィルタ１２２に入力される。点群フィルタ１２２は、点群５６を信頼度に基づき選択し、閾値未満の信頼度の点群を出力せず、閾値以上の信頼度の点群のみを点群１２４として出力する。点群フィルタ１２２が信頼度の低い点群を除去するのは、収差マップ演算部５４で点群が生成されていた場合でも、信頼度が低い点群は除去し、ＳＬＡＭ処理部２４により点群生成するためである。

点群フィルタ１２２から出力された点群１２４は、画像再投影部１２６に供給される。

画像再投影部１２６は、画像再投影部１０６と同様に、現フレームの画像中の全画素について、物標が存在する、すなわち点が推定される可能性の高い画素の画素値を１とし、物標が存在しない、すなわち点が推定されない可能性の高い画素の画素値を０とする２値画像１２８を生成し、２値画像１２８を矩形生成部１３０に供給する。

矩形生成部１３０は、矩形生成部１１０とは反対に、画素値が０である画素のみからなる一定サイズ以上の矩形を表す矩形リスト１３２を出力する。矩形は、収差マップ演算により点が推定されない領域を示す。

図７は、一定サイズを５画素×５画素とした矩形リスト１３２の一例を示す。図７の矩形リスト１３２は、５画素×５画素以上のサイズの矩形１３０ａ、１３０ｂの四隅の位置を示す。

図８は、矩形生成部１３０の処理の一例を示すフローチャートである。

矩形生成部１３０は、ステップ３０２で、一番上の５行分の画像を１画素（水平方向）×５画素（垂直方向）の画素列毎にスキャンし、全ての画素値が０である画素列を検出する。

ステップ３０４で、矩形生成部１３０は、ステップ３０２で検出した画素列が水平方向に５列以上連続するか否かを判定する。検出した画素列が水平方向に５列以上連続する場合（ステップ３０４のＹＥＳ）、矩形生成部１３０は、ステップ３０６で、水平方向に５列以上連続する画素列を結合した矩形の矩形リストをメモリ１６に蓄積する。矩形生成部１３０は、ステップ３０６の処理を終了すると、ステップ３０８の処理を実行する。

５行分の画像から検出した画素列が水平方向に５列以上連続しない場合（ステップ３０４のＮＯ）、矩形生成部１３０は、その５行分の画像についての処理を終了し、ステップ３０８の処理を実行する。

矩形生成部１３０は、ステップ３０８で、ステップ３０２でスキャンした画像が最も下の５行であるか否かを判定する。スキャンした画像が最も下の５行ではない場合（ステップ３０８のＮＯ）、矩形生成部１３０は、ステップ３１０で、次の５行分の画像を１画素（水平方向）×５画素（垂直方向）の画素列毎にスキャンし、全ての画素値が０である画素列を検出する。矩形生成部１３０は、ステップ３１０の処理を終了すると、ステップ３０４の処理を実行する。

スキャンした画像が最も下の５行である場合（ステップ３０８のＹＥＳ）、矩形生成部１３０は、ステップ３１２で、メモリ１６に蓄積した矩形リストを矩形リスト１３２として出力する。このようにして、図７に示すような矩形リスト１３２が生成される。

矩形リスト１３２は、点群生成部３８に供給される。点群生成部３８は、矩形リスト１３２により示された矩形について点群生成を行う。

図９は、一定サイズを４画素×４画素とした矩形リスト１３２の他の例を示す。図９の矩形リスト１３２は、４画素×４画素以上のサイズの矩形１３０ｃ、１３０ｄ、１３０ｅの四隅の位置を示す。図９の矩形リストは、図８のフローチャートにおいて、１×５の画素列の代わりに１×４の画素列とすることにより、同様に生成される。

図１０は、図６に示される点群フィルタ１２２の処理の一例を示すフローチャートである。

点群フィルタ１２２は、ステップ１４２で、信頼度付き点群５６を入力する。点群フィルタ１２２は、ステップ１４４で、点群５６の中の１点を選択する。点群フィルタ１２２は、ステップ１４６で、選択した点の信頼度が閾値以上であるか否かを判定する。

選択した点の信頼度が閾値以上である場合（ステップ１４６のＹＥＳ）、点群フィルタ１２２は、ステップ１４８で、選択した点、すなわち３次元座標をメモリ１６に蓄積する。点群フィルタ１２２は、ステップ１４８の処理が終わると、ステップ１５０の処理を実行する。選択した点の信頼度が閾値未満である場合（ステップ１４６のＮＯ）、点群フィルタ１２２は、ステップ１５０の処理を実行する。

点群フィルタ１２２は、ステップ１５０で、点群の全ての点が処理されたか、すなわち未選択の点があるか否かを判定する。

未選択の点がある場合（ステップ１５０のＹＥＳ）、点群フィルタ１２２は、ステップ１４４で、点群５６の中の次の１点を選択する。未選択の点がない場合（ステップ１５０のＮＯ）、点群フィルタ１２２は、ステップ１５２で、蓄積した点を点群１２４として出力し、処理を終了する。

これにより、点群フィルタ１２２は、入力した点群５６の中の閾値以上の信頼度の点からなる高信頼度の点群１２４を出力することができ、低い信頼度の点を除去することができる。このため、推定された点群は信頼性の高い点群である。

図２に示される点群フィルタ４２、５８の処理も図１０と同様である。なお、点群フィルタ５８、１２２は、ともに収差マップ点群を除去するが、除去する信頼度について異なる閾値を設定可能である。例えば、信頼度の範囲を１～１０と仮定し、点群フィルタ５８の閾値を５、点群フィルタ１２２の閾値を８と設定すると、ＳＬＡＭ処理部２４により点群生成できなかったとしても、信頼度が５以上の点群を残すことができる。しかし、点群フィルタ５８、１２２の閾値を高い信頼度とすると、ＳＬＡＭ処理部２４によい点群生成できなかった場合に、過度に点群が除去されてしまう可能性がある。

図１１は、図２に示される収差マップ演算部５４の処理の一例を示すフローチャートである。

収差マップ演算部５４は、ステップ１６２で、矩形リスト１１２を入力する。収差マップ演算部５４は、ステップ１６４で、矩形リスト１１２の中の１つの矩形（例えば、図５の矩形１１０ａ）を選択する。収差マップ演算部５４は、ステップ１６６で、選択した矩形について画像の収差マップを求め、収差マップに基づき信頼度付き点群を推定する。収差マップ演算部５４は、ステップ１６８で、全ての矩形が処理されたか、すなわち未選択の矩形があるか否かを判定する。

未選択の矩形がある場合（ステップ１６８のＹＥＳ）、収差マップ演算部５４は、ステップ１７０で、信頼度付き点群をメモリ１６に蓄積した後、ステップ１６４で、矩形リスト１１２の中の次の矩形を選択する。未選択の矩形がない場合（ステップ１６８のＮＯ）、収差マップ演算部５４は、ステップ１７２で、蓄積した信頼度付き点群を信頼度付き点群５６として出力し、処理を終了する。

このように、収差マップ演算部５４は、矩形リスト１１２で示される現フレームで物票が存在する可能性の高い、すなわち収差マップ演算により点が推定される可能性が高い領域について点群を推定する。このため、収差マップ演算に要する時間が短縮される。

図１２は、図２に示される点群生成部３８の処理の一例を示すフローチャートである。

点群生成部３８は、ステップ１８２で、矩形リスト１３２を入力する。点群生成部３８は、ステップ１８４で、矩形リスト１３２の中の１つの矩形（例えば、図７の矩形１３０ａ）を選択する。点群生成部３８は、ステップ１８６で、選択した矩形について画像の点群生成を行い、信頼度付き点群を推定する。点群生成部３８は、ステップ１８８で、全ての矩形が処理されたか、すなわち未選択の矩形があるか否かを判定する。

未選択の矩形がある場合（ステップ１８８のＹＥＳ）、点群生成部３８は、ステップ１７０で、信頼度付き点群をメモリ１６に蓄積した後、ステップ１８４で、矩形リスト１３２の中の次の矩形を選択する。未選択の矩形がない場合（ステップ１８８のＮＯ）、点群生成部３８は、ステップ１９２で、蓄積した信頼度付き点群を信頼度付き点群４０として出力し、処理を終了する。

矩形リスト１３２は収差マップ領域を指定する矩形リスト１１２に含まれない領域を含むので、点群生成部３８は、収差マップ演算により点群が推定されない領域、もしくは収差マップ演算により点群は推定されたが信頼度が低かった領域について補完的に点群を推定することができる。

実施形態では、現フレームで点群が推定される可能性の高い領域が収差マップ領域として選択され、選択領域についてのみ収差マップ演算が行われる。そのため、実施形態では、図１３の（ａ）に示すように、画像全体について収差マップ演算を行う比較例に対して収差マップ領域選択時間が追加されるが、比較例に比べて収差マップ演算時間が短縮されるので、トータルの処理時間は、比較例より短縮される。

実施形態では、収差マップ演算により点群が推定されない領域が点群生成領域として選択され、選択領域についてのみ点群生成が行われる。そのため、収差マップ演算により点群が推定されない領域についても点群が推定される。実施形態では、図１３の（ｂ）に示すように、エゴモーション推定時間は比較例と変わらない。実施形態では、画像全体に対して点群生成を行う比較例に対して、点群生成領域選択時間が追加されるが、比較例に比べて点群生成時間が短縮されるので、トータルの処理時間は、比較例より短縮される。

図１４は、点群フィルタ４２、５８による測定精度向上の一例を説明する図である。ＳＬＡＭ処理部２４により推定された点群４０が点群フィルタ４２を介してマージ部２８に入力され、収差マップ処理部２６により推定された点群５６が点群フィルタ５８を介してマージ部２８に入力される。図１４に示すように、点群フィルタ４２、５８は信頼度が閾値以上である点のみを出力し、信頼度が閾値未満である点を除去する。このため、マージ部２８から出力される点群６２は信頼度の高い点群となる。

以下、他の実施形態を説明する。

［第２実施形態］
図１５は、第２実施形態による距離推定装置の収差マップ領域選択部５２ａの一例を示す機能ブロック図である。第２実施形態による距離推定装置は図２に示された構成と大部分同じである。第２実施形態では、図２の収差マップ領域選択部５２が収差マップ領域選択部５２ａに変更される。

収差マップ領域選択部５２ａは、図２の収差マップ領域選択部５２に対して、矩形統合部２０４が追加されている。矩形生成部１１０は、生成した矩形リスト１１２を矩形統合部２０４に供給する。矩形統合部２０４には、第２の矩形リスト２０２も入力される。第２の矩形リスト２０２は、矩形生成部１１０以外の生成部で作成されたリストであり、収差マップ演算により点群を推定したい矩形を示す。第２矩形リストは、例えばカメラ１２からの画像が入力される他の装置により作成されても良いし、本距離推定装置においてキーボード等によりユーザにより指定されてもよい。

点群生成では画像のエピポール付近では点群が生成されにくいことが知られている。そのため、収差マップ領域として画像のエピポール付近の領域を選択するように、第２の矩形リスト２０２はエピポールを含む矩形を示してもよい。また、第２の矩形リスト２０２は、エゴモーションだけでは位置予測できない移動体を含む矩形を示してもよい。

矩形統合部２０４は、第１実施形態の矩形リスト１１２と第２の矩形リスト２０２を統合して、矩形リスト２０６を生成する。

図１６は、図１５に示される矩形統合部２０４の処理の一例を説明する図である。矩形統合部２０４は、矩形リスト１１２と第２の矩形リスト２０２を含む最小の矩形を矩形リスト２０６として出力する。

第２実施形態によれば、現フレームのエゴモーションと前フレームの収差マップ点群と前フレームのＳＬＡＭ点群とから予測した現フレーム予測点群１０４から生成された矩形リスト１１２には含まれない領域についても収差マップを演算することができる。このため、収差マップ演算により点群を推定する領域を必要最小限に拡大することができ、点群が推定される可能性が向上する。

［第３実施形態］
図１７は、第３実施形態による距離推定装置の収差マップ処理部２６ｂの一例を示す機能ブロック図である。

収差マップ処理部２６ｂは、収差マップ領域選択部５２ｂと、密度計測部２４８と、収差マップ演算部５４と、点群フィルタ５８と、点群除去部２４４を含む。

収差マップ領域選択部５２ｂは、図４の収差マップ領域選択部５２と同じ構成である。ただし、第３実施形態では、画像再投影部１０６は、２値画像１０８に加えて画像座標付きの現フレーム予測点群２４２を生成する。画像座標付きの現フレーム予測点群２４２は、再投影した時に各点の３次元座標がどの画素に対応するかを判別できる情報である。画像再投影部１０６は、画像座標付きの現フレーム予測点群２４２を点群除去部２４４に供給する。現フレーム予測点群１０４は、画像座標を含まない。例えば、現フレーム予測点群１０４に含まれる１つの点の３次元座標が(１０，２０，３０)とする。この点が、画像再投影部１０６で（３０，５０）という画像座標に投影されると、現フレーム予測点群(画像座標付き)２４２は、（１０，２０，３０）と（３０，５０）という情報を持つ。

収差マップ領域選択部５２ｂは、矩形リスト１１２を密度計測部２４８に供給する。密度計測部２４８は、矩形リスト１１２により示される矩形毎に、物標が存在する画素の密度を計測し、密度が閾値より大きい矩形を除外して、密度が閾値以下である矩形を示す矩形リスト２５０を生成する。

一般に、同一物標について推定された点群６２の密度が密な程、誤差を含みばらつきのある点群を統計処理、例えば平均化を適用すると、精度を向上することができる。例えば、ばらつきが正規分布に従っていれば、密なより多くの点群で平均化することにより、精度向上が期待できる。しかし、精度を向上できる密度には上限があり、密度が上限を越えると信頼度は飽和する。そのため、密度計測部２４８は、２値画像１０８内で点群の密度が閾値より大きい領域に対しては、収差マップ演算を行わないような矩形リスト２５０を生成する。すなわち、矩形リスト２５０は、矩形リスト１１２から点群の密度が閾値より大きい矩形が除去され、矩形リスト１１２の中の点群の密度が閾値以下である矩形のみを含む。

密度計測部２４８は、矩形リスト２５０を収差マップ演算部５４と点群除去部２４４に供給する。

収差マップ演算部５４は、矩形リストで示される矩形について収差マップ演算により点群を推定する。すなわち、収差マップ演算部５４は、点群の密度が閾値以下である領域について信頼度付き点群５６を推定する。信頼度付き点群５６は、点群フィルタ５８を介して点群（収差マップ点群）６０としてマージ部２８に供給される。

点群除去部２４４は、現フレーム予測点群２４２の中の矩形リスト２５０で示される矩形の点群を除去する。すなわち、点群除去部２４４は、点群の密度が閾値より大きい領域の現フレーム予測点群（画像座標付き）２４６を出力する。上記の例では、点群除去部２４４は、（３０，５０）が矩形リストに包含されていれば、（１０，２０，３０）の３次元座標を持つ点を除去する。点群２４６もマージ部２８に供給される。点群除去部２４４で除去した点群を包含する矩形領域に対しては、現フレームの処理として、収差マップ演算部５４で点群が生成される。前フレームで密な点群が生成された矩形領域に対しては、現フレームで点群は生成されない。代わりに、前フレームの点群から予測した現フレーム予測点群が出力される。一方、前フレームで疎な点群が生成された矩形領域に対しては、予測点群が除去され、現フレームで新規に点群が生成し直される。

すなわち、２値画像１０８内で閾値以下の密度で点群が存在する領域については、収差マップ演算部５４により推定された点群５６が使われ、２値画像１０８内で閾値より大きい密度で点群が存在する領域については、現フレーム予測点群２４２が使われる。

図１８は、図１７に示される密度計測部２４８の処理の一例を示すフローチャートである。

密度計測部２４８は、ステップ２６２で、矩形リスト１１２を入力する。密度計測部２４８は、ステップ２６４で、矩形リスト１３２の中の１つの矩形（例えば、図５の矩形１１０ａ）を選択する。密度計測部２４８は、ステップ２６６で、選択した矩形内の画素値が１である画素の個数を計測する。密度計測部２４８は、ステップ２６８で、矩形のサイズに対する個数の割合が閾値以下であるか否かを判定する。

矩形サイズに対する個数の割合が閾値以下ではない場合（ステップ２７０のＮＯ）、密度計測部２４８は、ステップ２７０で、選択した矩形を示す矩形リストをメモリ１６に蓄積した後、ステップ２７２の処理を実行する。矩形サイズに対する個数の割合が閾値以下である場合（ステップ２７０のＹＥＳ）、密度計測部２４８は、ステップ２７２の処理を実行する。

密度計測部２４８は、ステップ２７２で、全ての矩形が処理されたか、すなわち未選択の矩形があるか否かを判定する。

未選択の矩形がある場合（ステップ２７２のＹＥＳ）、密度計測部２４８は、ステップ２６４で、矩形リスト１１２の中の次の矩形を選択する。未選択の矩形がない場合（ステップ２７２のＮＯ）、密度計測部２４８は、ステップ２７４で、蓄積された矩形リストを矩形リスト２５０として出力し、処理を終了する。

これにより、密度計測部２４８は、矩形リスト１１２から点群の密度が閾値より大きい矩形が除去され、矩形リスト１１２の中の点群の密度が閾値以下である矩形のみを含む矩形リスト２５０を出力する。

［第４実施形態］
上述の実施形態は、収差マップ処理部２６が主として点群を推定し、収差マップ処理部２６が点群を推定しにくい領域について、ＳＬＡＭ処理部２４が補完的に点群を推定する。次に、上述の実施形態とは反対に、ＳＬＡＭ処理部２４が主として点群を推定し、ＳＬＡＭ処理部２４が点群を推定しにくい領域について、収差マップ処理部２６が補完的に点群を推定する第４実施形態を説明する。

図１９は、第４実施形態による距離推定装置の距離推定部の一例を示す機能ブロック図である。第４実施形態による距離推定装置は、ＳＬＡＭ処理部２４ｃと、収差マップ処理部２６ｃと、マージ部２８を含む。

ＳＬＡＭ処理部２４ｃは、図２のＳＬＡＭ処理部２４から点群生成領域選択部３６が削除されたものである。

ＳＬＡＭ処理部２４ｃは、信頼度付き点群４０を生成し、信頼度付き点群４０を点群フィルタ４２と収差マップ領域選択部５２ｃに供給する。点群フィルタ４２は点群４４をマージ部２８に供給する。

収差マップ処理部２６ｃは、図２の収差マップ処理部２６の収差マップ領域選択部５２が収差マップ領域選択部５２ｃに変更されたものである。収差マップ領域選択部５２ｃは、ＳＬＡＭ処理部２４ｃで推定されたエゴモーションが入力されない点が図２の収差マップ領域選択部５２と異なる。

収差マップ処理部２６ｃは、信頼度付き点群５６を生成し、信頼度付き点群５６を点群フィルタ５８に供給する。点群フィルタ５８は点群６０をマージ部２８に供給する。

図２０は、図１９に示される収差マップ領域選択部５２ｃの一例を示す機能ブロック図である。収差マップ領域選択部５２ｃは、点群フィルタ２８２と、画像再投影部２８６と、矩形生成部２９０を含む。信頼度付き点群（ＳＬＡＭ点群）４０が点群フィルタ２８２に入力される。点群フィルタ２８２は、点群４０を信頼度に基づき選択し、信頼度の低い点群を出力せず、信頼度の高い点群のみを点群２８４として出力する。点群フィルタ２８２が信頼度の低い点群を除去するのは、ＳＬＡＭ処理部２４で点群が生成されていた場合でも、信頼度が低い点群は除去し、収差マップ処理部２６により点群生成するためである。

点群フィルタ２８２は、点群２８４を画像再投影部２８６に供給する。

画像再投影部２８６は、第１実施形態の画像再投影部１０６と同様に、画像中の全画素について、物標が存在する画素の画素値を１とし、物標が存在しない画素の画素値を０とする２値画像２８８を生成し、２値画像２８８を矩形生成部２９０に供給する。

矩形生成部２９０は、第１実施形態の点群生成領域選択部３６内の矩形生成部１３０と同様に、画素値が０である画素のみからなる一定サイズ以上の矩形を表す矩形リスト２９２を出力する。

矩形リスト２９２は、収差マップ演算部５４に供給される。収差マップ演算部５４は、矩形リスト２９２により示された矩形について収差マップ演算を行い、信頼度付き点群５６を生成する。

第４実施形態によれば、点群生成部３８は、画像の全体に対して点群生成を行い、信頼度付き点群４０を推定する。収差マップ演算部５４は、点群生成により点群（ＳＬＡＭ）４０が推定されなかった領域、もしくは点群生成により点群（ＳＬＡＭ）４０が推定されたが信頼度が低かった領域について補完的に点群を推定する。

［第５実施形態］
上述の実施形態では、ＳＬＡＭ処理部がカメラ１２からの画像からエゴモーションを推定する。次に、収差マップ処理部がエゴモーションを推定する第５実施形態を説明する。

図２１は、第５実施形態の収差マップ処理部の動作の一例を示すタイミングチャートである。第５実施形態の収差マップ処理部は、上述した実施形態の収差マップ処理部に対してエゴモーション推定部３４２が追加される。収差マップ演算部５４の出力である信頼度付き点群５６がエゴモーション推定部３４２に供給される。エゴモーション推定部３４２の出力であるエゴモーション３４４が収差マップ領域選択部５２に供給される。

フレーム（ｎ－２）の画像が収差マップ演算部５４に入力されると、収差マップ演算部５４はフレーム（ｎ－２）の画像についての信頼度付き点群５６を生成し、信頼度付き点群５６をエゴモーション推定部３４２に供給する。

フレーム（ｎ－１）の画像が収差マップ演算部５４に入力されると、収差マップ演算部５４はフレーム（ｎ－１）の画像についての信頼度付き点群５６を生成し、信頼度付き点群５６をエゴモーション推定部３４２に供給する。

エゴモーション推定部３２は、フレーム（ｎ－２）とフレーム（ｎ－１）の２枚の信頼度付き点群５６からフレーム（ｎ－１）のエゴモーション３４４を生成し、エゴモーション３４４を収差マップ領域選択部５２に供給する。エゴモーション推定部３２は、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法等の点群同士の位置合わせ技術を利用してエゴモーションを推定することができる。

収差マップ領域選択部５２は、フレーム（ｎ－１）のエゴモーション３４４に基づいてフレームｎの収差マップ領域を選択する。なお、領域が選択されるフレーム（フレームｎ）とエゴモーションのフレーム（フレーム（ｎ－１））が異なり、エゴモーションも２つのフレームの画像から推定されるが、連続するフレーム間でエゴモーションは類似しているので、フレーム（ｎ－１）のエゴモーション３４４に基づいてフレームｎの収差マップ領域を選択できる。

収差マップ演算部５４は、収差マップ領域についてフレームｎの信頼度付き点群５６を生成する。

図２１では図示省略されているが、各フレームで収差マップ演算部５４は信頼度付き点群５６を生成し、各フレームでエゴモーション推定部３４２は当該フレームと一つ前のフレームの２つの信頼度付き点群から当該フレームのエゴモーションを推定する。各フレームで収差マップ領域選択部５２も当該フレームの一つ前のフレームのエゴモーションに基づいて収差マップ領域を選択する。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を生成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

２４…ＳＬＡＭ処理部，２６…収差マップ処理部，２８…マージ部、３２…エゴモーション推定部，３６…点群生成領域選択部，３８…点群生成部，４２…点群フィルタ，５２…収差マップ領域選択部，５４…収差マップ演算部，５８…点群フィルタ

Claims (9)

1. 第１推定方式に基づく第１距離推定部と、
   前記第１推定方式とは異なる第２推定方式に基づく第２距離推定部と、を具備し、
   前記第２距離推定部は、前記第１距離推定部の出力に応じて、前記第２推定方式の一部を変更する距離推定装置。
2. 前記第１距離推定部は、物標の第１の複数の点の距離と該距離の信頼度とを推定し、第１信頼度以上の距離を出力し、
   前記第２距離推定部は、前記物標の第２の複数の点の距離と該距離の信頼度とを推定し、第２信頼度以上の距離を出力する、請求項１記載の距離推定装置。
3. 前記第１距離推定部と前記第２距離推定部は、物標の画像に基づいて画素毎の距離を推定し、
   前記第１距離推定部は、異なるアングルで撮影された２枚の画像に基づいて距離測定装置のエゴモーションを推定し、前記画像の少なくとも一部の第１領域の画素毎の距離を推定し、
   前記第２距離推定部は、前記エゴモーションと前記第１距離推定部による画像の推定結果と前記第２距離推定部による画像の推定結果とに基づいて前記画像の少なくとも一部の第２領域を決定し、前記第２領域の画素毎の距離を推定する、請求項１または請求項２記載の距離推定装置。
4. 前記第１距離推定部は、第１時刻で撮影された第１画像と、時系列において前記第１時刻より前の第２時刻で撮影された第２画像と、に基づいて前記エゴモーションと前記画像の少なくとも一部の第１領域の画素毎の距離を推定し、
   前記第２距離推定部は、前記エゴモーションと前記第１距離推定部による前記第２時刻で撮影された画像の推定結果と前記第２距離推定部による前記第２時刻で撮影された画像の推定結果とに基づいて前記画像の少なくとも一部の第２領域を決定し、前記第２領域の画素毎の距離を推定する、請求項３記載の距離推定装置。
5. 前記第１領域の形状と前記第２領域の形状は矩形である、請求項３記載の距離推定装置。
6. 前記第２距離推定部は、領域指定信号を受信し、前記エゴモーションと前記第１距離推定部による画像の推定結果と前記第２距離推定部による画像の推定結果と前記領域指定信号とに基づいて前記第２領域を決定する、請求項３記載の距離推定装置。
7. 前記第２領域は、複数の部分領域を含み、
   前記第２距離推定部は、前記エゴモーションと前記第１距離推定部による画像の推定結果と前記第２距離推定部による画像の推定結果とに基づいて画像の推定結果において複数の部分領域毎に全画素数に対する距離が推定された画素数の割合を計算し、前記割合が第１割合より大きい部分領域については距離を推定せず、前記割合が第１割合以下の部分領域について距離を推定する、請求項３記載の距離推定装置。
8. 前記第１距離推定部は、前記第２距離推定部による推定結果において距離が推定されない画素を含む前記第１領域を決定する、請求項３記載の距離推定装置。
9. 第１距離推定部により第１推定方式で物標の点毎の距離を推定し、
   第２距離推定部により第２推定方式で前記物標の点毎の距離を推定し、
   前記第１推定方式で推定された点毎の距離に応じて前記第２推定方式の推定処理の一部を変更する距離推定方法。

Images