JP2021536071A - 障害物検出方法、知的運転制御方法、装置、媒体、及び機器 - Google Patents

Abstract

本開示の実施モードは、障害物検出方法及び装置、知的運転制御方法及び装置、電子機器、コンピュータ可読記憶媒体、並びにコンピュータプログラムを開示する。障害物検出方法は、環境画像の第一の視差マップが得られ、環境画像は知的機器が移動している空間環境の情報を表す画像であることと、複数の障害物ピクセル領域が第一の視差マップ中で特定され、複数の障害物ピクセル領域がクラスタリングされて少なくとも１つのクラスクラスタが得られることと、同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果が特定されることと、を含む。【選択図】図１

Description

関連出願の相互参照
本開示は、２０１９年６月２７日に中国国家知識産権局に提出された、“Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｄｒｉｖｉｎｇ Ｃｏｎｔｒｏｌ Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ，Ｍｅｄｉｕｍ，ａｎｄ Ｄｅｖｉｃｅ”と題する中国特許出願第２０１９１０５６６４１６．２号の優先権を主張するものであり、同出願の開示の全体を参照によって本願に援用する。

本開示は、コンピュータビジョン技術に関し、特に障害物検出方法、障害物検出装置、知的運転制御方法、知的運転制御装置、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラムに関する。

コンピュータビジョン技術の分野において、認識技術は通常、外的障害物を認識するために使用される。すなわち、認識技術は障害物検出を含む。

認識技術の認識結果は通常、決定レイヤに提供され、決定レイヤは認識結果に基づいて決定を下す。例えば、知的運転システムでは、認識レイヤは車両が存在している道路の認識情報及びその車両の周囲の障害物の情報を決定レイヤに提供し、決定レイヤは障害物を回避し、車両の安全な運転を確保するための運転決定を下すことができる。関連技術では、障害物の種類は一般に事前に定義され、例えば歩行者、車両、非自動車両、並びに固有の形状、テクスチャ及び色を有するその他の障害物であり、その種類が事前に定義されている障害物が関連する検出アルゴリズムを使って検出される。

本開示の実施モードは、障害物検出及び知的運転制御のための技術的解決策を提供する。

本開示の実施モードの第一の態様によれば、障害物検出方法が提供され、これには、環境画像の第一の視差マップが得られることが含まれていてよく、環境画像は知的機器が移動している空間環境の情報を表す画像である。環境画像の第一の視差マップの中で、複数の障害物ピクセル領域が特定される。複数の障害物ピクセル領域がクラスタリングされて、少なくとも１つのクラスクラスタが得られる。同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果が特定される。

本開示の実施モードの第二の態様によれば、知的運転制御方法が提供され、これには、移動中の知的機器の環境画像が知的機器に搭載された画像取得装置を介して得られることが含まれていてよい。障害物検出は、得られた環境画像について行われ、障害物検出結果は、障害物検出方法を使用することによって特定される。障害物検出結果に応じて制御命令が生成され、出力される。本開示の実施モードの第三の態様によれば、障害物検出装置が提供され、これは、取得モジュールと、第一の特定モジュールと、クラスタリングモジュールと、第二の特定モジュールと、を含んでいてよい。取得モジュールは、環境画像の第一の視差マップを取得するように構成され、環境画像は、知的機器が移動している空間環境の情報を表す画像である。第一の特定モジュールは、環境画像の第一の視差マップの中で複数の障害物ピクセル領域を特定するように構成される。クラスタリングモジュールは、複数の障害物ピクセル領域をクラスタリングして、少なくとも１つのクラスクラスタを取得するように構成される。第二の特定モジュールは、同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果を特定するように構成される。

本開示の実施モードの第四の態様によれば、知的運転制御装置が提供され、これは、取得モジュールと制御モジュールを含んでいてよい。取得モジュールは、移動中の知的機器の環境画像を、知的機器上に提供された画像取得装置を通じて取得し、得られた環境画像に対する障害物検出を行って、障害物検出装置を使用することによって障害物検出結果を特定するように構成される。制御モジュールは、障害物検出結果に応じて制御命令を生成し、出力するように構成される。

本開示の実施モードの第五の態様によれば、電子機器が提供され、これは、コンピュータプログラムを記憶するように構成されたメモリと、メモリに記憶されたコンピュータプログラムを実行するように構成されたプロセッサと、を含んでいてよい。コンピュータプログラムは、実行されると、本開示の何れかの方法実施モードを実施する。

本開示の実施モードの第六の態様によれば、コンピュータ可読記憶媒体が提供され、これはコンピュータプログラムを記憶する。コンピュータプログラムは、プロセッサにより実行されると、本開示の何れかの方法実施モードを実施する。

本開示の実施モードの第七の態様によれば、コンピュータプログラムが提供され、これはコンピュータ命令を含む。コンピュータ命令は、機器のプロセッサにより実行されると、本開示の何れかの方法実施モードを実施する。

本開示により提供される障害物検出方法及び装置、知的運転制御方法及び装置、電子機器、コンピュータ可読記憶媒体、並びにコンピュータプログラムに基づき、本開示は、環境画像の第一の視差マップから複数の障害物ピクセル領域を特定し、複数の障害物ピクセル領域をクラスタリングすることによって障害物検出結果を取得してよい。本開示の中で採用される検出方法は、検出されることになる障害物を事前に定義する必要がなく、テクスチャ、色、形状、及びカテゴリといった障害物の事前定義情報を一切使用することなく、障害物領域をクラスタリングすることによって障害物を直接検出でき、検出される障害物は事前定義された幾つかの障害物に限定されない。検出方法は、周囲環境中の知的機器の移動プロセスを妨害するおそれのある様々な障害物（本開示では、包括的障害物と呼ぶことができる）を検出してよい。

関連技術における事前定義された種類の障害物を検出する方法と比較して、本開示において提供される技術的解決手段はより包括的な障害物検出の解決手段であり、これは包括的障害物の検出に適用でき、実際の環境における様々な種類の障害物の検出に対処するのに寄与する。さらに、知的機器に関して、本開示により提供される技術的解決手段を通じて、運転プロセス中に出現することがある各種のランダムな障害物の検出を実施し、検出結果に基づいて運転プロセス中の制御命令を出力することができる。それゆえ、自動車の知的運転の安全性を高めることは有利である。本開示の技術的解決手段をさらに、図面及び実施モードを通じて以下に詳しく説明する。

明細書の一部を形成する図面は、本開示の実施モードを表しており、説明文と共に本開示の原理を説明するようになされている。

図面を参照すれば、本開示は後述の詳細な説明に従ってより明瞭に理解されるであろう。

本開示による障害物検出方法の実施モードのフローチャートである。 本開示による環境画像の実施モードの概略図である。 図２に示される第一の視差マップの実施モードの概略図である。 本開示による第一の視差マップの実施モードの概略図である。 本開示によるコンボリューションニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の実施モードの概略図である。 本開示による第一の視差マップの第一の重量配分マップの実施モードの概略図である。 本開示による第一の視差マップの第一の重量配分マップの他の実施モードの概略図である。 本開示による第一の視差マップの第二の重量配分マップの実施モードの第略図である。 本開示による第二の反転画像の実施モードの概略図である。 図９に示される第二の反転画像の第二の重量配分マップの実施モードの概略図である。 本開示による単眼画像の視差マップを最適化し、調整するための実施モードの概略図である。 本開示による環境画像の第一の視差マップ内の障害物エッジ情報の実施モードの概略図である。 本開示による統計的視差マップの実施モードの概略図である。 本開示による統計的視差マップを作製するための実施モードの概略図である。 本開示による線形フィッティングの実施モードの概略図である。 本開示による地面領域と非地面領域の概略図である。 本開示において確立される座標系の実施モードの概略図である。 本開示における地面より上の第一の領域に含まれる２つの領域の概略図である。 本開示による障害物ピクセルコラム領域を形成するための実施モードの概略図である。 本開示による障害物ピクセルコラム領域をクラスタリングするための実施モードの概略図である。 本開示による障害物バウンディングボックスを形成するための実施モードの概略図である。 本開示によるＣＮＮ訓練モデルの実施モードのフローチャートである。 本開示による知的運転制御方法の実施モードのフローチャートである。 本開示による障害物検出装置の実施モードの構造的概略図である。 本開示による知的運転制御装置の実施モードのフローチャートである。 本開示の実施モードを実施する例示的機器のブロック図である。

ここで、本開示の各例示的実施形態を、図面を参照しながら詳しく説明する。これらの実施形態において詳述されている構成要素及びステップの相対的配置、数による表現、並びに数値は、特に別段の明確なことわりがないかぎり、本開示の範囲を限定しない点に留意されたい。

さらに、説明の便宜上、図中に示される各部の大きさは現実的な比率関係に従って描かれていないと理解されたい。少なくとも１つの例示的実施形態の下記の説明は実際には事例にすぎず、本開示及びその応用又使用に対するいかなる限定も形成するものではない。当業者の間で知られている技術、方法、及び機器は詳しく説明されないこともあるが、これらの技術、方法、及び機器は必要に応じて本明細書の一部と考えるべきである。以下の図中では同様の参照符号及び文字は同様の用語を表しており、それゆえ、特定の用語は、図中で一度定義されれば、後続の図でさらに論じる必要はない。

本開示の実施形態は、他の多くの汎用又は専用コンピューティングシステム環境又は構成と共に操作されてよい、端末機器、コンピュータシステム、及びサーバ等の電子機器に適用されてよい。端末機器、コンピュータシステム、及びサーバ等の電子機器との併用に適した周知の端末機器コンピューティングシステム、環境及び／又は構成の例としては、パーソナルコンピュータ（ＰＣ）システム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラム可能民生用電子製品、ネットワークＰＣ、マイクロコンピュータシステム、大規模コンピュータシステム、上記のシステムの何れかを含む分散型クラウドコンピューティング技術環境、及びその他が含まれるが、これらに限定されない。

端末機器、コンピュータシステム、及びサーバ等の電子機器は、コンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的文脈で記載され得る。通常の条件下では、プログラムモジュールにはルーチン、プログラム、ターゲットプログラム、コンポーネント、ロジック、データ構造、及びその他が含まれていてよく、これらは具体的なタスクを実行するか、具体的な抽象データタイプを実装する。コンピュータシステム／サーバは、分散型クラウドコンピューティング環境で実装されてよく、分散型クラウトコンピューティング環境では、タスクは通信ネットワークを通じて接続されるリモート処理機器により実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、記憶デバイスを含むローカル又はリモートコンピュータシステムの記憶媒体の中にあってよい。

図１は、本開示による障害物検出方法の実施形態のフローチャートである。図１に示されるように、この実施形態の方法はＳ１００、Ｓ１１０、Ｓ１２０、及びＳ１３０を含む。各ステップを以下に詳しく説明する。

Ｓ１００において、環境画像の第一の視差マップが得られる。環境画像は、知的機器が移動している空間環境の情報を表す画像である。

例として、知的機器は例えば、知的運転機器（自動運転車等）、知的飛行機器（ドローン等）、知的ロボット等である。環境画像は例えば、知的運転機器若しくは知的ロボットが移動している道路空間環境の情報又は知的飛行機器が飛行している空間環境の情報を表す画像である。もちろん、本開示における知的機器及び環境画像は、上記の例に限定されず、本開示によっても限定されない。

本開示では環境画像中の障害物が検出される。知的機器が存在している周囲環境中の移動プロセスを妨害するおそれがあるあらゆる物体は、障害物検出範囲に含まれ、障害物検出対象としてみなされてよい。例えば、知的機器の運転プロセスにおいて、石、動物、落下物等の物体が路面上に出現することがある。これらの物体には具体的な形状、テクスチャ、色、又は分類がなく、相互に大きく異なり、そのため、これらはすべて障害物とみなすことができる。本開示において、移動プロセス中の妨害を生じさせ得る上記の物体の何れも、包括的種類の障害物と呼ばれる。

任意選択による例において、本開示の第一の視差マップが環境画像の視差を説明するために使用される。視差とは、標的物体の、ある距離だけ離れた２つの位置から同じ標的物体が観察されたときの位置の差と考えられてよい。環境画像の例が図２に示されている。図２に示される環境画像の第一の視差マップの例が図３に示されている。任意選択により、本開示の環境画像の第一の視差マップはまた、図４に示される形態で表現されてもよい。図４の番号（０、１、３、３、４、及び５等）はそれぞれ、環境画像中の位置（ｘ，ｙ）におけるピクセルの視差を表す。特に、図４は完全な視差マップを示していないことに留意されたい。

任意選択的な実施形態において、本開示における環境画像は単眼画像又は両眼画像であってよい。単眼画像は通常、単眼カメラ機器を使って得られる画像である。両眼画像は通常、両眼カメラ機器を使って得られる画像である。任意選択により、本開示において単眼画像と両眼画像の何れも、写真若しくは映像等又はビデオのビデオフレームであってよい。環境画像が単眼画像である場合、本開示により、両眼カメラ機器を設定する必要のない障害物検出が実現されてよく、それゆえ、障害物検出のコスト削減に役立つ。

任意選択的な実施モードにおいて、環境画像が単眼画像である場合、本開示では事前に訓練を終えたＣＮＮを使って単眼画像の第一の視差マップを取得してよい。例えば、単眼画像はＣＮＮに入力され、すると、ＣＮＮは単眼画像に対して視差分析を実行し、視差分析結果を出力する。このようにして、本開示では単眼画像の第一の視差マップを視差分析結果に基づいて取得してよい。ＣＮＮを使って単眼画像の第一の視差マップを取得することにより、ピクセルごとの視差を計算するために２つの画像を使用することなく、またカメラ機器を較正することなく、第一の視差マップが得られ得る。このように、これは第一の視差マップ取得の便利さとリアルタイム性能を改善するのに有益である。

任意選択的な例において、本開示のＣＮＮには通常、複数のコンボリューション（畳み込み）レイヤ（Ｃｏｎｖ）及び複数のデコンボリューションレイヤ（Ｄｅｃｏｎｖ）が含まれるが、これらに限定されない。本開示のＣＮＮは、２つの部分、すなわち符号化部と復号部に分けられてよい。ＣＮＮに入力された単眼画像（図２に示されるような単眼画像）は符号化部により符号化される（すなわち、特徴抽出）。符号化部の符号化結果は復号部に提供され、復号部は符号化結果を復号し、復号結果を出力する。本開示では、ＣＮＮにより出力された復号結果に応じて単眼画像の第一の視差マップ（図３に示される第一の視差マップ）が取得されてよい。任意選択により、ＣＮＮの中の符号化部には、直列に接続された複数のコンボリューションレイヤが含まれるが、これらに限定されない。ＣＮＮの中の復号部には、複数のコンボリューションレイヤ及び複数のデコンボリューションレイヤが含まれるが、これらに限定されない。複数のコンボリューションレイヤ及び複数のデコンボリューションレイヤは、相互に離間されて直列に接続される。

本開示におけるＣＮＮの任意選択的な例が図５に示されている。図５では、左から１番目の長方形はＣＮＮに入力された単眼画像を表し、右から１番目の長方形はＣＮＮから出力された視差マップを表す。左から２番目の長方形から１５番目の長方形までの各長方形はコンボリューションレイヤを表し、左から１６番目の長方形から右から２番目の長方形までの長方形はすべて、相互に離間されたデコンボリューションレイヤとコンボリューションレイヤを表す。例えば、左から１６番目の長方形はデコンボリューションレイヤを表し、左から１７番目の長方形はコンボリューションレイヤを表し、左から１８番目の長方形はデコンボリューションレイヤを表し、左から１９番目の長方形はコンボリューションレイヤを表し、右から２番目の長方形までこれが繰り返され、右から２番目の長方形はデコンボリューションレイヤを表す。

任意選択的な例において、本開示におけるＣＮＮは、ＣＮＮの中の低レベル情報と高レベル情報をスキップコネクトによって融合してよい。例えば、符号化部における少なくとも１つのコンボリューションレイヤの出力は、スキップコネクトによって復号部の中の少なくとも１つのデコンボリューションレイヤに提供される。任意選択により、ＣＮＮの中のすべてのコンボリューションレイヤの入力には通常、前のレイヤ（例えば、コンボリューションレイヤ又はデコンボリューションレイヤ）の出力が含まれる。ＣＮＮの中の少なくとも１つのデコンボリューションレイヤ（例えば、デコンボリューションレイヤ又はすべてのデコンボリューションレイヤ）の入力には、前のコンボリューションレイヤにより出力されたアップサンプル結果及びデコンボリューションレイヤとのスキップコネクションにおける符号化部のコンボリューションレイヤの出力が含まれる。例えば、図５の右側のコンボリューションレイヤの下の実線の矢印が指し示す内容はコンボリューションレイヤの出力を表し、図５中の破線の矢印はデコンボリューションレイヤに提供されるアップサンプル結果を表し、図５の左側のコンボリューションレイヤの上の実線の矢印は、デコンボリューションレイヤとのスキップコネクションにおけるコンボリューションレイヤの出力を表す。本開示は、ＣＮＮのスキップコネクションの数とネットワーク構造を限定しない。ＣＮＮの中の低レベル情報と高レベル情報を融合することによって、本開示はＣＮＮにより生成される視差マップの精度を向上させるのに寄与する。任意選択により、本開示におけるＣＮＮは両眼画像サンプルで訓練される。ＣＮＮの訓練プロセスは、以下の実施モードの中で説明され得る。ここではそれについて詳述しない。

任意選択的な実施モードにおいて、本開示はまた、ＣＮＮを使用することによって得られた環境画像の第一の視差マップを最適化し、調整して、より正確な第一の視差マップを取得してよい。任意選択により、環境画像が単眼画像であるとき、本開示では、単眼画像の反転画像の視差マップを使って単眼画像の第一の視差マップを最適化し、調整してよく、それによって、第一の視差マップの中で、視差調整された複数の障害物ピクセル領域が特定されてよい。説明の便宜上、単眼画像の反転画像は第一の反転画像と呼ばれ、第一の反転画像の視差マップは第二の視差マップと呼ばれる。例として、環境画像の単眼画像が反転されると、第一の反転画像が得られてよく、第一の反転画像の視差マップが得られてよく、その後、第一の反転画像の視差マップに応じて、単眼画像の第一の視差マップの視差が調整されて、視差調整された第一の視差マップが得られる。その後、第一の視差マップの中で視差調整された複数の障害物ピクセル領域が識別されてよい。第一の視差マップの最適化と調整の具体的な例を以下に示す。

ステップＡで、単眼画像の第一の反転画像の第二の視差マップが得られ、第二の視差マップの反転画像が得られる。

任意選択により、本開示における単眼画像の第一の反転画像は、単眼画像を水平反転させる（例えば、左反転又は右反転）ことによって形成される反転画像であってよい。本開示における第二の視差マップの反転画像は、第二の視差マップを水平反転させる（例えば、左反転又は右反転）させることによって形成される反転画像であってよい。第二の視差マップの反転画像は依然として視差マップである。本開示において、単眼画像はまず、左又は右に反転されてよく（左反転の結果は右反転の結果と同じであるため、単眼画像は本開示においては左右何れに反転されてもよい）、単眼画像の第一の反転画像（左反転画像又は右反転画像）が得られ、その後、単眼画像の第一の反転画像の視差マップが得られて、第二の視差マップが得られ、最後に、第二の視差マップが左又は右に反転され（第二の視差マップの左反転の結果は右反転の結果と同じであるため、第二の視差マップは本開示においては左右何れに反転されてもよい）、第二の視差マップの反転画像（左反転画像又は右反転画像）が得られる。第二の視差マップの反転画像は依然として視差マップである。説明の便宜上、第二の視差マップの反転画像を以下、第二の反転画像と呼ぶ。

上記の説明から、本開示において単眼画像が反転されると、単眼画像が左眼画像として反転されるか、右眼画像として反転されるかを考慮する必要がないことがわかる。すなわち、単眼画像が左眼画像とみなされるか右眼画像とみなされるかを問わず、本開示では単眼画像を左又は右に反転させて第一の反転画像を得てよい。同様に、本開示において第二の視差マップが反転されるときも、第二の視差マップが左に反転されるか右に反転されるかを考慮する必要がない。単眼画像の視差マップを生成するためにＣＮＮを訓練するプロセスにおいて、両眼画像サンプルの左眼画像サンプルが訓練のためにＣＮＮへの入力として提供される場合、訓練を終えたＣＮＮは入力単眼画像を試験及び実践応用において入力された単眼画像を左眼画像とみなす。両眼画像サンプルの右眼画像サンプルが訓練のためにＣＮＮへの入力として提供される場合、訓練を終えたＣＮＮは、入力された単眼画像を試験及び実践応用において右眼画像とみなす。

任意選択により、本開示ではまた、ＣＮＮを使って第二の視差マップも得てよい。例えば、第一の反転画像はＣＮＮに入力され、その後、ＣＮＮは第一の視差画像に対して視差分析を行い、視差分析結果を出力する。このように、本開示では出力された視差分析結果に基づいて第二の視差マップが得られてよい。

ステップＢで、単眼画像の第一の視差マップの重量配分マップ及び第二の反転画像の重量配分マップが得られる。

例示的な例において、第一の視差マップの重量配分マップは、それぞれ第一の視差マップ中の複数の視差値（例えば、すべての視差値）に対応する重量値を表すために使用される。第一の視差マップの重量配分マップには、第一の視差マップの第一の重量配分マップと第一の視差マップの第二の重量配分マップが含まれていてよいが、これらに限定されない。任意選択により、第一の視差マップの第一の重量配分マップは、複数の異なる単眼画像の視差マップのために一律に設定された重量配分マップであり、すなわち、第一の視差マップの第一の重量配分マップは、複数の異なる単眼画像の第一の視差マップに向けられてよく、さらに、異なる単眼画像の第一の視差マップは同じ第一の重量配分マップを使用し、したがって、本開示では、第一の視差マップの第一の重量配分マップは第一の視差マップの全体的重量配分マップと呼ばれてよい。第一の視差マップの全体的重量配分マップは、それぞれ第一の視差マップの中の複数の視差値（例えば、すべての視差値）に対応する全体的な重量値を説明するために使用される。任意選択により、第一の視差マップの第二の重量配分マップは、１つの単眼画像の第一の視差マップのために設定された重量配分マップであり、すなわち、第一の視差マップの第二の重量配分マップは１つの単眼画像の第一の視差マップに向けられ、さらに、異なる単眼画像の第一の視差マップは異なる第二の重量配分マップを使用し、そのため、本開示では第一の視差マップの第二の重量配分マップは第一の視差マップの局所的重量配分マップと呼ばれてよい。第一の視差マップの局所的重量配分マップは、それぞれ第一の視差マップ中の複数の視差値（例えば、すべての視差値）に対応する局所的重量値を説明するために使用される。

任意選択的な例において、第二の反転画像の重量配分マップは、それぞれ第二の反転画像の中の複数の視差値に対応する重量値を説明するために使用される。第二の反転画像の重量配分マップには、第二の反転画像の第一の重量配分マップと第二の反転画像の第二の重量配分マップが含まれてよいが、これらに限定されない。任意選択により、第二の反転画像の第一の重量配分マップは、複数の異なる単眼画像の第二の反転画像のために一律に設定された重量配分マップであり、すなわち、第二の反転画像の第一の重量配分マップは、複数の異なる単眼画像の第二の反転画像に向けられてよく、さらに、異なる単眼画像の第二の反転画像は同じ第一の重量配分マップを使用し、したがって、本開示では、第二の反転画像の第一の重量配分マップは第二の反転画像の全体的重量配分マップと呼ばれてよい。第二の反転画像の全体的重量配分マップは、それぞれ第二の反転画像の中の複数の視差値（例えば、すべての視差値）に対応する全体的な重量値を説明するために使用される。任意選択により、第二の反転画像の第二の重量配分マップは、１つの単眼画像の第二の反転画像のために設定された重量配分マップであり、すなわち、第二の反転画像の第二の重量配分マップは１つの単眼画像の第二の反転画像に向けられ、さらに、異なる単眼画像の第二の反転画像は異なる第二の重量配分マップを使用し、そのため、本開示では第二の反転画像の第二の重量配分マップは第二の反転画像の局所的重量配分マップと呼ばれてよい。第二の反転画像の局所的重量配分マップは、それぞれ第二の反転画像中の複数の視差値（例えば、すべての視差値）に対応する局所的重量値を説明するために使用される。

任意選択的な例において、第一の視差マップの第一の重量配分マップには、左右に分離された少なくとも２つの領域が含まれ、異なる領域は異なる重量値を有する。任意選択により、左の領域の重量値と右の領域の重量値の関係は通常、その単眼画像が左眼画像とみなされるか右眼画像とみなされるかに関係する。

例えば、単眼画像が左眼画像とみなされる場合、第一の視差マップの第一の重量配分マップの中の何れの２つの領域についても、右の領域の重量値は左の領域の重量値より小さくない。図６は、図３に示される第一の視差マップの第一の重量配分マップである。図６において、第一の重量配分マップは５つの領域、すなわち領域１、領域２、領域３、領域４、及び領域５に分けられる。領域５の重量値は領域４の重量値より小さくなく、領域４の重量値は領域３の重量値より小さくなく、領域３の重量値は領域２の重量値より小さくなく、領域２の重量値は領域１の重量値より小さくない。それに加えて、第一の視差マップの第一の重量配分マップの中の何れの領域も、同じ重量値を有していても、異なる重量値を有していてもよい。第一の視差マップの第一の重量配分マップの中のある領域が異なる重量値を有する場合、その領域の左部分の重量値は通常、その領域の右部分の重量値より小さいか、それと等しい。任意選択により、図６の領域１の重量値は０であってよく、すなわち、第一の視差マップにおいて、領域１に対応する視差は完全に信頼できない。領域２の重量値は、左から右へ０〜０．５へと徐々に増加し得る。領域３の重量値は０．５である。領域４の重量値は、左から右へ０．５より大きい値から１付近に徐々に増大し得る。領域５の重量値は１であり、すなわち、第一の視差マップにおいて、領域５に対応する視差は完全に信頼できる。

他の例として、単眼画像が右眼画像とみなされる場合、第一の視差マップの第一の重量配分マップの中の何れの２つの領域についても、左の領域の重量値は右の領域の重量値より小さくない。図７は、処理されるべき右眼画像としての視差マップの第一の重量配分マップを示す。図７において、第一の重量配分マップは５つの領域、すなわち領域１、領域２、領域３、領域４、及び領域５に分けられる。領域１の重量値は領域２の重量値より小さくなく、領域２の重量値は領域３の重量値より小さくなく、領域３の重量値は領域４の重量値より小さくなく、領域４の重量値は領域５の重量値より小さくない。それに加えて、第一の視差マップの第一の重量配分マップの中の何れの領域も、同じ重量値を有していても、異なる重量値を有していてもよい。第一の視差マップの第一の重量配分マップの中のある領域が異なる重量値を有する場合、その領域の右部分の重量値は通常、その領域の左部分の重量値より大きくない。任意選択により、図７の領域１の重量値は０であってよく、すなわち、第一の視差マップにおいて、領域５に対応する視差は完全に信頼できない。領域４の重量値は、右から左へ０〜０．５へと徐々に増加し得る。領域３の重量値は０．５である。領域２の重量値は、右から左へ０．５より大きい値から１付近に徐々に増大し得る。領域１の重量値は１であり、すなわち、第一の視差マップにおいて、領域１に対応する視差は完全に信頼できる。

任意選択により、第二の反転画像の第一の重量配分マップは左右に分離される少なくとも２つの領域を含み、異なる領域は異なる重量値を有する。任意選択により、左の領域の重量値と右の領域の重量値との関係は通常、単眼画像が左眼画像とみなされるか右眼か画像とみなされるかに関係する。

例えば、単眼画像左眼画像とみなされる場合、第二の反転画像の第一の重量配分マップ中の何れの２つの領域についても、右の領域の重量値は左の領域の重量値より小さくない。それに加えて、第二の反転画像の第一の重量配分マップの中の何れの領域も、同じ重量値を有していても異なる重量値を有していてもよい。第二の反転画像の第一の重量配分マップ内のある領域が異なる重量値を有する場合、領域の左部分の重量値は通常、その領域の右部分の重量値より大きくない。

他の例として、単眼画像が右眼画像とみなされる場合、第二の反転画像の第一の重量配分マップ中の何れの２つの領域についても、左の領域の重量値は右の領域の重量値より小さくない。それに加えて、第二の反転画像の第一の重量配分マップの中の何れの領域も、同じ重量値を有していても異なる重量値を有していてもよい。第二の反転画像の第一の重量配分マップ内のある領域が異なる重量値を有する場合、領域の右部分の重量値は通常、その領域の左部分の重量値より大きくない。

任意選択により、第一の視差マップの第二の重量配分マップの設定モードには以下のステップが含まれていてよい。

まず、第一の視差マップが左／右に反転されて、反転視差マップが形成される。

次に、第一の視差マップの第二の重量配分マップの重量値が、反転視差マップの視差値に応じて設定される。

任意選択により、反転視差マップ中の何れの位置におけるピクセルについても、その位置のそのピクセルの視差値が第一の所定の条件を満たせば、第一の視差マップの第二の重量配分マップ中のその位置のそのピクセルの重量値は第一の値として設定され、そのピクセルの視差値が第一の所定の条件を満たさなければ、第一の視差マップの第二の重量配分マップ中のその位置のそのピクセルの重量値は第二の値として設定される。例えば、反転視差マップ内の何れかの位置のピクセルについて、その位置のそのピクセルの視差値がその位置のそのピクセルに対応する第一の参照値より大きければ、第一の視差マップの第二の重量配分マップ中のその位置のそのピクセルの重量値は第一の値として設定され、それ以外では、重量値は第二の値として設定される。本開示において、第一の値は第二の値より大きい。例えば、第一の値は１であり、第二の値は０である。任意選択により、第一の視差マップの第二の重量配分マップの例は図８に示される。図８の白い領域の重量値はすべて１であり、その位置の視差値が完全に信頼できることを示す。図８の黒い領域の重量値は０であり、その位置の視差値が完全に信頼できないことを示す。

任意選択により、本開示において、何れの位置のピクセルに対応する第一の参照値も、第一の視差マップ中のその位置のピクセルの視差値とゼロより大きい一定値に応じて設定されてよい。例えば、第一の視差マップ中のその位置のピクセル点の視差値とゼロより大きい一定値との積が、反転視差マップ中のその位置のピクセル点に対応する第一の参照値とみなされる。

任意選択により、第一の視差マップの第二の重量配分マップは、次式（１）により表されてよい：

。

式（１）中、Ｌ_ｌは第一の視差マップの第二の重量配分マップを表し、

は反転視差マップの中の対応する位置におけるピクセルの視差値を表し、ｄ^ｌは第一の視差マップの中の対応する位置におけるピクセルの視差値を表し、ｔｈｒｅｓｈ１は０より大きい一定値であり、ｔｈｒｅｓｈ１の数値範囲は１．１〜１．５、例えばｔｈｒｅｓｈ１＝１．２又はｔｈｒｅｓｈ１＝１．２５であってよい。

任意選択的な例において、第二の反転画像の第二の重量配分マップの設定モードは以下のとおりであってよい：第一の視差マップの視差値に応じて、第二の反転画像の第二の重量配分マップの中の重量値が設定される。任意選択により、第二の反転画像の何れの位置のピクセルについても、第一の視差マップの中のその位置のそのピクセルの視差値が第二の所定の条件を満たせば、第二の反転画像の第二の重量配分マップの中のその位置のピクセルの重量値は第三の値として設定される。第一の視差マップの中のその位置におけるそのヒクセルの視差値が第二の所定の条件を満たさなければ、第二の反転画像の第二の重量配分マップの中のその位置のピクセルの重量値は第四の値として設定される。第三の値は第四の値より大きい。例えば、第一の視差マップの中の何れの位置のピクセルについても、第一の視差マップの中のその位置におけるピクセルの視差値がその位置におけるそのピクセルに対応する第二の参照値より大きければ、第二の反転画像の第二の重量配分マップの中のその位置におけるピクセルの重量値は第三の値として設定され、それ以外では、重量値は第四の値として設定される。任意選択により、本開示において第三の値は第四の値より大きい。例えば、第三の値は１であり、第四の値は０である。

任意選択により、本開示において、ピクセルに対応する第二の参照値は、反転視差マップの中の対応する位置におけるピクセルの視差値とゼロより大きい一定値に応じて設定されてよい。例えば、まず、第一の視差マップが左／右に反転されて反転視差マップが形成され、その後、反転視差マップの対応する位置におけるピクセルの視差値とゼロより大きい一定値の積が、第一の視差マップの中の対応する位置におけるピクセルに対応する第二の参照値とみなされる。

任意選択により、図２の環境画像に基づいて、形成された第二の反転画像の例が図９に示されている。図９の第二の反転画像の第二の重量配分マップの例は図１０に示されている。図１０の白い領域の重量値はすべて１であり、その位置における視差値が完全に信頼できることを示している。図１０の黒い領域の重量値は０であり、その位置における視差値が完全に信頼できないことを示している。

任意選択により、第二の反転画像の第二の重量配分マップは、次式（２）により表されてよい：

。

式（１）中、Ｌ_ｌ’は第二反転画像の第二の重量配分マップを表し、

は反転視差マップの中の対応する位置におけるピクセルの視差値を表し、ｄ^ｌは第一の視差マップの中の対応する位置におけるピクセルの視差値を表し、ｔｈｒｅｓｈ２は０より大きい一定値を表し、ｔｈｒｅｓｈ２の数値範囲は１．１〜１．５、例えばｔｈｒｅｓｈ２＝１．２又はｔｈｒｅｓｈ２＝１．２５であってよい。

ステップＣで、単眼画像の第一の視差マップは、単眼画像の第一の視差マップの重量配分マップと第二の反転画像の重量配分マップに応じて最適化、調整され、最適化及び調整された視差マップは単眼画像の最終的な第一の視差マップである。

任意選択的な例において、本開示では第一の視差マップの第一の重量配分マップと第二の重量配分マップを使って第一の視差マップの中の複数の視差値を調整してよく、それによって調整された第一の視差マップが得られ、また、第二の反転画像の第一の重量配分マップと第二の重量配分マップを使って第二の反転画像の中の複数の視差値を調整してよく、それによって調整された第二の反転画像が得られ、その後、調整された第一視差マップと調整された第二の反転画像が融合されて、単眼画像の最適化及び調整された第一の視差マップが得られる。

任意選択により、単眼画像の最適化及び調整された第一の視差マップを取得する例を以下に示す。

まず、第一の視差マップの第一の重量配分マップと第一の視差マップの第二の重量配分マップが融合されて、第三の重量配分マップが得られる。第三の重量配分マップは次式（３）により表されてよい：
Ｗ_ｌ＝Ｍ_ｌ＋Ｌ_ｌ・０．５ （３）。

式（３）中、Ｗ_ｌは第三の重量配分マップを表し、Ｍ_ｌは第一の視差マップの第一の重量配分マップを表し、Ｌ_ｌは第一の視差マップの第二の重量配分マップを表し、０．５は他の一定値に変換されてもよい。

２番目に、第二の反転画像の第一の重量配分マップと第二の反転画像の第二の重量配分マップが融合されて、第四の重量配分マップが得られる。第四の重量配分マップは次式（４）により表されてよい：
Ｗ_ｌ’＝Ｍ_ｌ’＋Ｌ_ｌ’・０．５ （４）。

式（４）中、Ｗ_ｌ’は第四の重量配分マップを表し、Ｍ_ｌ’は第二の反転画像の第一の重量配分マップを表し、Ｌ_ｌ’は第二の反転画像の第二の重量配分マップを表し、０．５は他の一定値に変換されてもよい。

３番目に、第一の視差マップの中の複数の視差値が第三の重量配分マップに応じて調整され、調整された第一の視差マップが得られる。例えば、第一の視差マップの中の何れの位置のピクセルの視差値についても、その位置のそのピクセルの視差値はその位置におけるピクセルの視差値と第三の重量配分マップの中の対応する位置におけるピクセルの重量値の積に置き換えられる。第一の視差マップの中のすべてのピクセルが置き換えられた後、調整された第一の視差マップが得られる。

そして、第二の反転画像の中の複数の視差値が第四の重量配分マップに応じて調整され、調整された第二の反転画像が得られる。例えば、第二の反転画像の中の何れの位置のピクセルの視差値についても、その位置におけるそのピクセルの視差値はその位置におけるピクセルの視差値と第四の重量配分マップの中の対応する位置におけるピクセルの重量値の積と置き換えられる。第二の反転画像におけるすべてのピクセルが置き換えられた後、調整された第二の反転画像が得られる。

最後に、調整された第一の視差マップと調整された第二の反転画像が融合されて、単眼画像の第一の視差マップが最終的に得られる。最終的に得られた単眼画像の第一の視差マップは、次式（５）により表されてよい：

。

式（５）中、ｄ_{ｆｉｎａｌ}は単眼画像の最終的に得られた第一の視差マップ（図１１の右から１番目の図に示される）を表し、Ｗ_ｌは第三の重量配分マップ（図１１の上段左から１番目の図に示される）を表し、Ｗ_ｌ’は第四の重量配分マップ（図１１の下段左から１番目の図に示される）を表し、ｄ_ｌは第一の視差マップ（図１１の上段左から２番目の図に示される）を表し、

は第二の反転画像（図１１の下段左から２番目の図に示される）を表す。

本開示は第一の重量配分マップと第二の重量配分マップを融合する２つのステップを実行する順序に限定されない。例えば、２つの融合ステップは同時にも連続的にも実行されてよい。それに加えて、本開示は第一の視差マップの中の視差値が調整され、第二の反転画像の視差値が調整される順序を限定しない。例えば、２つのステップは同時にも連続的にも行われてよい。

単眼画像が左眼画像とみなされる場合、通常、左側において物体の左エッジの視差損失及び遮蔽があり、それが単眼画像の第一の視差マップの対応領域の不正確な視差値につながる。同様に、単眼画像が右眼画像とみなされる場合、通常、右側において物体の右エッジの視差損失及び遮蔽があり、それが単眼画像の第一の視差マップにおける対応領域の不正確な視差値につながる。本開示において、単眼画像を反転させ、第二の視差マップを反転させ、その後、反転視差画像（すなわち、第二の反転画像）を使って単眼画像の第一の視差マップを最適化し、調整することにより、単眼画像の第一の視差マップにおける対応領域の視差値の不正確さを低減させ、障害物検出の精度を高めることは有利である。

任意選択的な例において、環境画像が両眼画像である利用シナリオにおいて、本開示における両眼画像の第一の視差マップを取得する方法は、両眼画像の第一の視差マップがストレオマッチングによって得られることを含むが、これに限定されない。例えば、両眼画像の第一の視差マップは、ストレオマッチングアルゴリズム、例えばブロックマッチング（ＢＭ）アルゴリズム、セミグローバルブロックマッチング（ＳＧＢＭ）アルゴリズム、又はグラフカット（ＧＣ）アルゴリズムを使って得られる。他の例として、視差処理は、両眼画像の視差マップを得るためのＣＮＮを使用することによって両眼画像上で実行され、両眼画像の第一の視差マップが得られる。

Ｓ１１０で、環境画像の第一の視差マップの中で複数の障害物ピクセルが特定される。

例として、障害物ピクセル領域は、第一の視差マップの中の少なくとも２つの連続するピクセルを含むピクセル領域であってよい。ある実施モードにおいて、障害物ピクセル領域は障害物ピクセルコラム領域であってよい。例えば、本開示における障害物ピクセルコラム領域は縞状領域であり、その幅は少なくとも１ピクセルコラム分であり、その高さは少なくとも２ピクセルロー分である。縞状領域は障害物の基本単位とみなされてよいため、縞状領域は本開示において障害物ピクセルコラム領域と呼ばれる。

任意選択的な例において、本開示では、上記のステップによって得られた環境画像の第一の視差マップ上で第一のエッジ検出が行われて、障害物エッジ情報が得られ、その後、環境画像の第一の視差マップの障害物領域が特定され、最後に、障害物エッジ情報に応じて、障害物領域の中で複数の障害物ピクセルコラム領域が特定される。障害物領域を分割することにより、本開示は、領域内の関心対象の値が低い障害物ピクセルコラム領域を回避するのに寄与し、障害物ピクセルコラム領域の形成しやすさを改善するのに寄与する。実際の空間内の異なる障害物は、カメラ機器からの距離の違いにより、異なる視差を生じさせることになり、それゆえ、障害物の視差エッジの存在を形成する。障害物エッジ情報を検出することによって、本開示は、視差マップ中の障害物を分離してよい。したがって、障害物エッジ情報を探すことによって、本開示は好都合に、障害物ピクセルコラム領域を形成してよく、これは障害物ピクセルコラム領域の形成しやすさの改善に寄与する。

任意選択的な例において、本開示での環境画像の第一の視差マップの中の障害物エッジ情報を取得する方法には、環境画像の第一の視差マップの障害物エッジ情報がエッジ抽出のためのＣＮＮを使用することによって得られることと、環境画像の第一の視差マップの障害物エッジ情報がエッジ検出アルゴリズムを使用することによって得られることが含まれるが、これらに限定されない。任意選択により、本開示におけるエッジ検出アルゴリズムを使って環境画像の第一の視差マップの障害物エッジ情報を取得する実施モードが図１２に示されている。

図１２において、Ｓ１で、環境画像の第一の視差マップに対してヒストグラム均等化が行われる。環境画像の第一の視差マップは、図１２の左上隅の画像である。第一の視差マップは、前述のＳ１００によって、図２に示される環境画像の第一の視差マップを最終的に取得してよい。ヒストグラム均等化の結果は、図１２の左上から２番目の図に示される。

Ｓ２で、ヒストグラム均等化の結果に平均値フィルタリングが行われる。フィルタリングの結果は、図１２の左上から３番目の図に示されている。Ｓ１及びＳ２は、環境画像の第一の視差マップの前処理である。Ｓ１及びＳ２は、環境画像の第一の視差マップの処理の例にすぎない。本開示は前処理の特定の実施モードを限定しない。

Ｓ３で、フィルタリングの結果に対し、エッジ検出アルゴリズムを使用することによってエッジ検出が行われ、エッジ情報が得られる。このステップで得られたエッジ情報は、図１２の左上から４番目の図に示されている。本開示におけるエッジ検出アルゴリズムには、キャニエッジ検出アルゴリズム、ソーベルエッジ検出アルゴリズム、又はラプラシアンエッジ検出アルゴリズム等が含まれるが、これらに限定されない。

Ｓ４で、得られたエッジ情報に対してモルフォロジ膨張演算が行われる。膨張演算の結果は、図１２の左上から５番目の図に示される。このステップは、エッジ検出アルゴリズムの検出結果のための後処理モードである。本開示は、後処理の特定の実施モードを限定しない。

Ｓ５で、膨張演算の結果に対して逆算が行われ、環境画像の第一の視差マップのエッジマスクが取得される。環境画像の第一の視差マップのエッジマスクは、図１２の左下の図に示される。

Ｓ６で、環境画像の第一の視差マップのエッジマスクと環境画像の第一の視差マップに対してＡＮＤ演算が行われて、環境画像の第一の視差マップの中の障害物エッジ情報が得られる。図１２の右側に、環境画像の第一の視差マップの中の障害物エッジ情報が示されている。例えば、環境画像の第一の視差マップの中の障害物のエッジの視差値が０として設定される。障害物エッジ情報は、図１２で黒いエッジラインとして示されている。

任意選択的な例において、本開示の第一の視差マップの障害物領域を特定する例には以下のステップが含まれる。

ステップａで、第一の視差マップの中の各ピクセルローの視差値に対して統計的分析が行われ、各ピクセルローの視差値の統計的情報が得られ、各ピクセルローの視差値の統計的情報に基づいて統計的視差マップが特定される。

任意選択により、本開示では、環境画像の第一の視差マップに対して横断統計（ロー方向統計）が実行されて、Ｖ−ｄｉｓｐａｒｉｔｙマップが得られてよく、これは統計的視差マップとみなされてよい。すなわち、環境画像の第一の視差マップの各ローについて、そのロー内の視差値の数がカウントされ、統計結果がＶ−ｄｉｓｐａｒｉｔｙマップの対応コラム上にセットされる。Ｖ−ｄｉｓｐａｒｉｔｙマップの幅（すなわち、コラムの数）は視差値の数値範囲に関係する。例えば、視差値の数値範囲が０〜２５４である場合、Ｖ−ｄｉｓｐａｒｉｔｙマップの幅は２５５である。Ｖ−ｄｉｓｐａｒｉｔｙマップの高さは、環境画像の第一の視差マップの高さと同じであり、すなわち、何れも同じ数のローを含む。任意選択により、図４に示される環境画像の第一の視差マップに関して、本開示により形成された統計的視差マップは図１３に示されている。図１３において、一番上のローは視差値０〜５を表す。第二のローで第一のコラムの値は１であり、図４の第一のローの視差値０の数が１であることを示す。第二のローの第二のコラムの値は６であり、図４の第一のローの視差値１の数が６であることを示す。第五のローで第五のコラムの値は５であり、図４の第五のローの中の視差値５の数が５であることを示す。図１３の他の値はここでは個別に記載しない。

任意選択により、図１４の左側の図に示される環境画像の第一の視差マップについて、環境画像の第一の視差が処理され、得られたＶ−ｄｉｓｐａｒｉｔｙが図１４の右の図に示されている。

ステップｂで、統計的視差マップ（本開示ではＶ−ｄｉｓｐａｒｉｔｙマップとも呼ばれる）上で第一の線形フィッティングが行われ、第一の線形フィッティングの結果に応じて地面領域と非地面領域が特定される。

まず、本開示において、Ｖ−ｄｉｓｐａｒｉｔｙマップが前処理されてよい。Ｖ−ｄｉｓｐａｒｉｔｙマップに対する前処理にはノイズ除去が含まれていてよいが、これに限定されない。例えば、Ｖ−ｄｉｓｐａｒｉｔｙマップに対して閾値フィルタリング（閾値）が行われて、Ｖ−ｄｉｓｐａｒｉｔｙマップ中のノイズがフィルタ処理される。Ｖ−ｄｉｓｐａｒｉｔｙマップが図１５の左から１番目の図に示されているとすると、ノイズ除去後のＶ−ｄｉｓｐａｒｉｔｙマップは図１５の左から２番目の図に示される。

２番目に、ノイズ除去後のＶ−ｄｉｓｐａｒｉｔｙマップについて第一の線形フィッティング（フィットライン）が行われ、第一の線型方程式ｖ＝Ａｄ＋Ｂが得られる。ｖはＶ−ｄｉｓｐａｒｉｔｙマップ内のロー座標を表し、ｄは視差値を表す。

例えば、図１３の対角線はフィッティングされた第一の線形方程式を表す。他の例として、図１５の右から１番目の図の白い斜線はフィッティングされた第一の線形方程式を表す。第一の線形フィッティングモードには、ＲＡＮＳＡＣ線形フィッティングモードが含まれるが、これに限定されない。

任意選択により、フィッティングにより得られる第一の線形方程式は、地面領域の視差値とＶ−ｄｉｓｐａｒｉｔｙマップのロー座標との間の関係を表してよい。すなわち、Ｖ−ｄｉｓｐａｒｉｔｙマップ中の何れのローについても、地面領域の視差値ｄは特定されたｖの場合に特定された値であるべきである。地面領域の視差値は、以下の式（６）の形態で表現されてよい：

。

式（６）中、ｄ_ｒｏａｄは地面領域の視差値を表し、Ａ及びＢは、第一の線形フィッティングを通じてかられた値等の既知の値である。

第三に、本開示では、式（６）を使って環境画像の第一の視差マップをセグメント化してよく、それによって地面領域Ｉ_ｒｏａｄと非地面領域Ｉ_{ｎｏｔｒｏａｄ}が得られる。

任意選択により、本開示では次式（７）を使って地面領域と非地面領域が特定されてもよい。

。

式（７）中、Ｉ（^＊）はピクセル群を表し、環境画像の第一の視差マップ中のあるピクセルの視差値が｜ｄ−ｄ_ｒｏａｄ｜≦ｔｈｒｅｓｈ３を満たせば、このピクセルは地面領域Ｉ_ｒｏａｄに属し、環境画像の第一の視差モップの中のあるピクセルの視差値が｜ｄ−ｄ_ｒｏａｄ｜＞ｔｈｒｅｓｈ３を満たせば、このピクセルは非地面領域に属し、ｔｈｒｅｓｈ３は閾値を表し、これは既知の値である。閾値は、実際の状況に応じて設定されてよい。

任意選択により、地面領域Ｉ_ｒｏａｄは図１６の右上の図に示されていてよい。非地面領域Ｉ_{ｎｏｔｒｏａｄ}は図１６の右下の図に示されていてよい。閾値を設定することにより、本開示は領域特定に対する環境画像の第一の視差マップのノイズの影響を排除するのに寄与し、それゆえ、地面及び非地面領域のより正確な特定が容易となる。

最後に、障害物領域が非地面領域に応じて特定される。

任意選択により、本開示における非地面領域Ｉ_{ｎｏｔｒｏａｄ}には、地面より上の第一の領域Ｉ_ｈｉｇｈ及び地面より下の第二の領域Ｉ_ｌｏｗのうちの少なくとも一方が含まれていてよい。本開示では、非地面領域Ｉ_{ｎｏｔｒｏａｄ}の中の、その地面から上の高さが所定の高さ値より小さい地面より上の領域を障害物領域とみなしてよい。地面より下の領域Ｉ_ｌｏｗは穴、くぼみ、又は谷等であり得るため、本開示では、非地面領域Ｉ_{ｎｏｔｒｏａｄ}の中の、その地面より下の高さが所定の高さ値より大きい地面より下の領域を障害物領域とみなしてよい。

本開示において、地面より上の第一の領域Ｉ_ｈｉｇｈ及び地面より下の第二の領域Ｉ_ｌｏｗは、次式（８）で表されてよい：

。

式（８）中、Ｉ_{ｎｏｔｒｏａｄ}（^＊）はピクセル群を表し、環境画像の第一の視差マップ内のピクセルの視差値がｄ−ｄ_ｒｏａｄ＞ｔｈｒｅｓｈ４を満たせば、そのピクセルは地面より上の第一の領域Ｉ_ｈｉｇｈに属し、環境画像の第一の視差マップ内のピクセルの視差値がｄ_ｒｏａｄ−ｄ＞ｔｈｒｅｓｈ４を満たせば、そのピクセルは地面より下の第二の領域Ｉ_ｌｏｗに属し、ｔｈｒｅｓｈ４は閾値を表し、これは既知の値である。閾値は、実際の状況に応じて設定されてよい。

任意選択により、地面より上の第一の領域Ｉ_ｈｉｇｈには多くの場合、注意を払う必要のない障害物、例えば信号機、歩道橋、及びその他の標的物体が含まれる。これらは自動車の運転に影響を与えないため、これらの標的物体はその車両にとって注意を払う必要のない障害物である。注意を払う必要のないこれらの障害物は多くの場合、高い位置にあり、これは自動車の運転や歩行者の歩行に影響を与えない。本開示では、地面より上の第一の領域Ｉ_ｈｉｇｈからより高い位置の領域を排除し、例えばその地面より上の高さが第一の所定の高さ値より大きいか、それと等しい領域を排除して、障害物領域Ｉ_{ｏｂｓｔａｃｌｅ}が形成されてよい。

任意選択により、本開示では、Ｖ−ｄｉｓｐａｒｉｔｙマップに応じて第二の線形フィッティングを行い、非地面領域（すなわち、その地面より上の高さが第一の所定の高さ値より大きいか、それと等しい領域）の中で排除する必要のある、より高い位置にある領域を特定してよく、それによって非地面領域の中の障害物領域Ｉ_{ｏｂｓｔａｃｌｅ}が得られる。第二の線形フィッティングモードには、ＲＡＮＳＡＣ線形フィッティングモードが含まれるが、これに限定されない。任意選択により、非地面領域の中に地面より下の第二の領域がある場合、第二の領域の中の、その地面より下の高さが第二の所定の高さ値より大きい第二の標的領域が特定される。第二の標的領域は障害物領域である。本開示では、Ｖ−ｄｉｓｐａｒｉｔｙマップに第二の線形フィッティングを行うため、得られた第二の線形演算はｖ＝Ｃｄ＋Ｄとして表現されてよく、式中、ｖはＶ−ｄｉｓｐａｒｉｔｙマップのロー座標を表し、ｄは視差値を表す。導出と計算を通じて、Ｃ及びＤは

として表現されてよく、そのため、本開示における第二の線形フィッティングは

として表現されてよく、式中、Ｈは既知の一定値であり、Ｈは実際のニーズに応じて設定されてよい。例えば、自動車の知的制御技術では、Ｈは２．５メートルに設定されてよい。

任意選択により、図１８の中央の画像は上下の白い斜線を含み、上の白い斜線はフィッティングされた第二の線形方程式を表す。

任意選択により、フィッティングにより得られた第二の線形方程式は、障害物領域の視差値とＶ−ｄｉｓｐａｒｉｔｙマップのロー座標との間の関係を表していてよい。すなわち、Ｖ−ｄｉｓｐａｒｉｔｙマップの中の何れのローについても、障害物領域の視差値ｄは、特定されたＶの場合の特定された値であるべきである。

任意選択により、本開示では、地面より上の第一の領域Ｉ_ｈｉｇｈを次式（９）において表現される形態に分割してよい：

。

上式（９）において、Ｉ_ｈｉｇｈ（^＊）はピクセル群を表し、環境画像の第一の視差マップの中のあるピクセルの視差値ｄがｄ＜ｄ_Ｈを満たせば、そのピクセルは、地面より上であるが地面より上の高さＨより低い領域Ｉ_＜Ｈに属し、本開示ではＩ_＜Ｈを障害物領域Ｉ_{ｏｂｓｔａｃｌｅ}とみなしてよく、環境画像の第一の視差マップの中のあるピクセルの視差値ｄがｄ＞ｄ_Ｈを満たせば、そのピクセルは、地面より上であり、且つ地面の上の高さＨより上の領域Ｉ_＞Ｈに属し、ｄ_Ｈは地面より上の高さＨにあるピクセルの視差値を表し、Ｉ_＞Ｈは図１８の右上の図に示されていてよい。Ｉ_＜Ｈは、図１８の右下の図に示されていてよい。上式（９）において、

である。

任意選択的な例において、本開示で障害物エッジ情報に応じて障害物領域Ｉ_{ｏｂｓｔａｃｌｅ}の中のピクセルコラム領域を特定する方法は、まず、第一の視差マップの中の非障害物領域のピクセルの視差値と障害物エッジ情報におけるピクセルの視差値が所定の値として設定され、２番目に、第一の視差マップのコラム方向にＮ個のピクセルを横方向単位とみなして、各ローのＮ個のピクセルの視差値が第一の視差マップの設定されたローから調べられ、ピクセルの視差値が所定の値と所定以外の値との間で飛んでいる標的ローが特定され、最後に、コラム方向にＮ個のピクセルをコラム幅とみなし、特定された標的ローをロー方向への障害物ピクセルコラム領域の境界とみなすことによって、障害物領域の中の障害物ピクセルコラムが特定される、というものであってよい。例えば、本開示における障害物エッジ情報に応じて障害物領域Ｉ_{ｏｂｓｔａｃｌｅ}内のピクセルコラム領域を特定する方法は、まず、視差マップ中の障害物のエッジ位置における視差値がすべて、検出された障害物エッジ情報に応じて所定の値（例えば、０）として設定され、視差マップ内の障害物領域を除く領域の視差もまた所定の値（例えば、０）として設定され、その後、所定のコラム幅（少なくとも１ピクセルコラムの幅、例えば６ピクセルコラムの幅）に応じて、視差マップの一番下から上方探索が開始され、所定のコラム幅の中の何れかのピクセルコラムの視差値が所定の値から所定以外の値に飛んでいることが探し当てられると、その位置（視差マップのそのロー）がピクセルコラム領域の底部として特定されて、ピクセルコラム領域の形成が開始され、すなわち、ピクセルコラム領域の上方への拡張が開始される、というものであってよい。例えば、視差マップ内の所定以外の値から所定の値への飛びを探索することが続けられ、所定のコラム幅の中の何れかのピクセルコラムの視差値が所定以外の値から所定の値に飛んだことが探し当てられると、ピクセルコラム領域の上方への拡張が停止され、その位置（視差マップのそのロー）が、ピクセルコラム領域の最上部として特定され、このようにして障害物ピクセルコラム領域が形成される。

本開示では、視差マップの左下隅から視差マップの右下隅まで、障害物ピクセルコラム領域を特定するプロセスを開始することができる点に特に留意されたい。例えば、障害物ピクセルコラム領域を特定するプロセスは、視差マップの最も左側の６つのコラムから開始され、その後、障害物ピクセルコラム領域を特定するプロセスが視差マップの左から７番目から開始されて、１２番目のコラムへと、最終的に視差マップの最も右側のコラムに至る。本開示ではまた、視差マップの右下隅から視差マップの左下隅まで、障害物ピクセルコラム領域を特定するプロセスが開始されてよい。それに加えて、視差マップの下側部分の中央から両側に広げて、障害物ピクセルコラム領域を形成することも完全に実現可能である。

任意選択的な例において、本開示での障害物エッジ情報に応じて障害物領域Ｉ_{ｏｂｓｔａｃｌｅ}の中のピクセルコラム領域を形成する方法は、まず、視差マップの中の障害物のエッジ位置における視差値はすべて、検出された障害物エッジ情報に応じて所定の値（例えば、０）に設定され、視差マップの中の障害物領域以外の領域の視差マップもまた、所定の値（例えば、０）に設定され、その後、所定のコラム幅（少なくとも１ピクセルコラムの幅、例えば６ピクセルコラムの幅）に応じて視差マップの一番上から下方探索が開始され、所定のコラム幅における何れかのピクセルコラムの視差値が所定の値から所定以外の値に飛んだことが探し当てられると、その位置（視差マップのそのロー）はピクセルコラムの最上部として特定されて、ピクセルコラム領域の形成が開始され、すなわち、ピクセルコラム領域の下方への拡張が開始される。例えば、視差マップの中の所定以外の値から所定の値への飛びの探索が継続され、所定のコラム幅の中の何れかのピクセルコラムの視差値が所定以外の値から所定の値へと飛んだことが探し当てられると、ピクセルコラム領域の下方への拡張が停止され、その位置（視差マップのそのロー）がピクセルコラム領域の底部として特定され、このようにして障害物ピクセルコラム領域が形成される、というものであってよい。本開示では、視差マップの左上隅から視差マップの右上隅まで、障害物ピクセルコラム領域を特定するプロセスを開始することができる点に特に留意されたい。例えば、障害物ピクセルコラム領域を特定するプロセスは、視差マップの最上部の最も左側の６つのコラムから開始され、その後、障害物ピクセルコラム領域を特定するプロセスが視差マップの最上部の左から７番目から開始されて、１２番目のコラムへと、最終的に視差マップの最も右側のコラムに至る。本開示ではまた、視差マップの右上隅から視差マップの左上隅まで、障害物ピクセルコラム領域を特定するプロセスが開始されてよい。それに加えて、視差マップの最も上の部分の中央から両側に広げて、障害物ピクセルコラム領域を形成することも完全に実現可能である。

任意選択により、図２の環境画像のために形成される障害物ピクセルコラム領域は、図１９の右の図に示されている。図１９の右の図の各障害物ピクセルコラム領域の幅は、６ピクセルコラムの幅である。障害物ピクセルコラム領域の幅は、実際の必要性に応じて設定されてよい。障害物ピクセルコラム領域が広く設定されるほど、より粗い障害物ピクセルコラム領域が形成され、障害物ピクセルコラム領域を形成するのに費やされる時間がより短くなる。

任意選択的な例において、障害物ピクセルコラム領域が形成された後、障害物ピクセルコラム領域の属性情報が特定されるべきである。障害物ピクセルコラム領域の属性情報には、障害物ピクセルコラム領域の空間位置情報、障害物ピクセルコラム領域の底部情報（ｂｏｔｔｏｍ）、障害物ピクセルコラム領域の視差値（ｄｉｓｐ）、障害物ピクセルコラム領域の最上部情報（ｔｏｐ）、及び障害物ピクセルコラム領域のコラム情報（ｃｏｌ）が含まれるが、これらに限定されない。

任意選択により、障害物ピクセルコラム領域の空間位置情報には、水平座標軸（Ｘ軸）上の障害物ピクセルコラム領域の座標、奥行き座標軸（Ｚ軸）上の障害物ピクセルコラム領域の座標、縦座標軸（Ｙ軸）上の障害物ピクセルコラム領域の最高点座標、及び垂直座標軸（Ｙ軸）上の障害物ピクセルコラム領域の最低点座標が含まれていてよい。すなわち、障害物ピクセルコラム領域の空間位置情報には、障害物ピクセルコラム領域のＸ座標、Ｚ座標、最大Ｙ座標、及び最小Ｙ座標が含まれる。Ｘ軸、Ｙ軸、及びＺ軸の例が図１７に示されている。

任意選択により、障害物ピクセルコラム領域の底部情報は、障害物ピクセルコラム領域の底部におけるロー番号であってよい。所定の値が０であるとき、障害物ピクセルコラム領域の視差値は視差値がゼロから非ゼロに飛ぶときの比ゼロ位置におけるピクセル視差値であってよい。障害物ピクセルコラム領域の最上部情報は、視差値が非ゼロからゼロに飛ぶときのゼロ位置でのピクセルのロー番号であってよい。障害物ピクセルコラム領域のコラム情報は、装置のピクセルに含まれる全コラムのうちの何れの１つのコラム番号であってもよく、例えばピクセルコラム領域の中央にあるコラムのコラム番号である。

任意選択により、各障害物ピクセルコラム領域について、本開示では、障害物ピクセルコラム領域の空間位置情報は、次式（１０）、すなわち、障害物ピクセルコラム領域のＸ軸、Ｚ軸、最大Ｙ軸、及び最小Ｙ軸を使用することによって計算される：

。

上式（１０）中、ｂは両眼カメラ機器間の間隔を表し、ｆはカメラ機器の焦点距離を表し、Ｄｉｓｐは障害物ピクセルコラム領域の視差値を表し、Ｃｏｌは障害物ピクセルコラム領域のコラム情報を表し、ｃ_ｘはカメラ機器の主要点のＸ座標値を表す。

任意選択により、障害物ピクセルコラム領域内の各ピクセルのＹ座標は、次式（１１）によって表現されてよい：

。

上式（１１）中、Ｙ_ｉは障害物ピクセルコラム領域内のｉ番目のピクセルのＹ座標を表し、ｒｏｗ_ｉは障害物ピクセルコラム領域内のｉ番目のピクセルのロー番号を表し、Ｃ_ｙはカメラ機器の主要点のＹ座標を表し、Ｚは障害物ピクセルコラム領域のＺ座標を表し、ｆはカメラ機器の焦点距離を表す。

障害物ピクセルコラム領域内の全ピクセルのＹ座標が得られた後、最大Ｙ座標と最小Ｙ座標が得られてよい。最大Ｙ座標と最小Ｙ座標は、次式（１２）により表現されてよい：
Ｙ_ｍｉｎ＝ｍｉｎ（Ｙ_ｉ）
Ｙ_ｍａｘ＝ｍａｘ（Ｙ_ｉ） （１２）。

上式（１２）中、Ｙ_ｍｉｎは障害物ピクセルコラム領域の最小Ｙ座標を表し、Ｙ_ｍａｘは障害物ピクセルコラム領域の最大Ｙ座標を表し、ｍｉｎ（Ｙ_ｉ）は計算された全Ｙ_ｉのうちの最小値を表し、ｍａｘ（Ｙ_ｉ）は計算された全Ｙ_ｉのうちの最大値を表す。

Ｓ１２０で、複数の障害物ピクセル領域がクラスタリングされて、少なくとも１つのクラスクラスタが得られる。

任意選択的な例において、本開示では、複数の障害物ピクセルコラム領域をクラスタリングして、少なくとも１つのクラスクラスタを得てよい。本開示では、すべての障害物ピクセルコラム領域を障害物ピクセルコラム領域の空間位置情報に応じてクラスタリングしてよい。クラスクラスタは障害物の例に対応する。本開示では、対応するクラスタリングアルゴリズムを使用することによって障害物ピクセルコラム領域をクラスタリングしてよい。

任意選択により、複数の障害物ピクセルコラム領域がクラスタリングされる前に、障害物ピクセルコラム領域のＸ座標とＺ座標が正規化されてよい（すなわち、正規化）。

例えば、本開示では、ｍｉｎ−ｍａｘ正規化方式を使って障害物ピクセルコラム領域のＸ座標とＺ座標をマッピングしてよく、それによって障害物ピクセルコラム領域のＸ座標とＺ座標が［０−１］の数値範囲にマッピングされる。正規化方法の一例は次式（１３）により表現される：

。

上式（１３）中、Ｘ’は正規化後のＸ座標を表し、Ｚ’は正規化後のＺ座標を表し、Ｘは障害物ピクセルコラム領域のＸ座標を表し、Ｚは障害物ピクセルコラム領域のＺ座標を表し、Ｘ_ｍｉｎはすべての障害物ピクセルコラム領域のＸ座標のうちの最小値を表し、Ｘ_ｍａｘはすべての障害物ピクセルコラム領域のＸ座標のうちの最大値を表し、Ｚ_ｍｉｎはすべての障害物ピクセルコラム領域のＸ座標のうちの最小値を表し、Ｚ_ｍａｘはすべての障害物ピクセルコラム領域のＺ座標のうちの最大値を表す。

他の例として、本開示ではまた、Ｚスコア正規化方式を使って障害物ピクセルコラム領域のＸ座標及びＺ座標の正規化を行ってもよい。正規化方法の一例は次式（１４）により表現される：

。

上式（１４）中、Ｘ’は正規化後のＸ座標を表し、Ｚ’は正規化後のＺ座標を表し、Ｘは障害物ピクセルコラム領域のＸ座標を表し、Ｚは障害物ピクセルコラム領域のＺ座標を表し、μ_Ｘはすべての障害物ピクセルコラム領域のＸ座標について計算された平均値を表し、ρ_Ｘはすべての障害物ピクセルコラム領域のＸ座標について計算された標準偏差を表し、μ_Ｚはすべての障害物ピクセルコラム領域のＺ座標について計算された平均値を表し、ρ_Ｚはすべての障害物ピクセルコラム領域のＸ座標について計算された標準偏差を表す。本開示の処理後のすべての障害物ピクセルコラム領域のＸ^＊とＺ^＊はどちらも標準正規分布に適合し、すなわち、平均値は０であり、標準偏差は１である。

任意選択により、本開示では、Ｄｅｎｓｉｔｙ−Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ（ＤＢＳＣＡＮ）アルゴリズムを使って、正規化後の障害物ピクセルコラム領域すべての空間位置情報に応じて障害物ピクセルコラム領域のクラスタリングを行い、そのようにして少なくとも１つのクラスクラスタを形成してよい。各クラスクラスタは障害物の例である。本開示はクラスタリングアルゴリズムを限定しない。クラスタリング結果の例が図２０の右の図に示されている。

Ｓ１３０で、同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果が特定される。

例示的に、障害物検出結果には例えば、障害物バウンディングボックス及び障害物の空間位置情報の少なくとも一方が含まれていてよいが、これらに限定されない。

任意選択的な例において、本開示では、同じクラスクラスタに属する障害物ピクセルコラム領域の空間位置情報に応じて、環境画像の中の障害物バウンディングボックスを特定してよい。例えば、あるクラスクラスタについて、本開示では、クラスクラスタ中のすべての障害物ピクセルコラム領域の、環境画像における最大コラム座標ｕ_ｍａｘと最小コラム座標ｕ_ｍｉｎを計算し、そのクラスクラスタの中のすべての障害物ピクセルコラム領域の最大底部（すなわち、ｖ_ｍａｘ）と最小底部（すなわち、ｖ_ｍｉｎ）を計算してよい。本開示により得られる環境画像内の障害物バウンディングボックスの座標は、（ｕ_ｍｉｎ，ｖ_ｍｉｎ，ｕ_ｍａｘ，ｖ_ｍａｘ）として表現されてよい。任意選択により、本開示において特定された障害物バウンディングボックスの例が図２１の右の図に示されている。図２１の右の図の中の複数の長方形のボックスはすべて、本開示により得られた障害物バウンディングボックスである。

本開示において、障害物は、複数の障害物ピクセルコラム領域をクラスタリングすることによって得られ、検出対象の障害物を事前に決定する必要はなく、障害物は、障害物の所定の情報、例えばテクスチャ、色、形状、及びカテゴリ等を一切使用せずに、障害物領域をクラスタリングすることによって直接検出でき、検出される障害物は幾つかの所定の障害物に限定されない。本開示では、周囲環境中の知的機器の移動プロセスを妨害するおそれがある様々な障害物が検出されてよく、それによって包括的障害物の検出が実現される。

任意選択的な例において、本開示ではまた、同じクラスクラスタに属する複数の障害物ピクセルコラム領域の空間位置情報に応じてその障害物の空間位置情報を特定してよい。障害物の空間位置情報には、水平座標軸（Ｘ軸）上の障害物の座標、奥行き座標軸（Ｚ軸）上の障害物の座標、及び縦方向における障害物の高さ（すなわち、障害物の高さ）等が含まれていてよいが、これらに限定されない。任意選択により、本開示ではまず、そのクラスクラスタ内の複数の障害物ピクセルコラム領域と環境画像を生成するカメラ機器との間の距離を、同じクラスクラスタに属する複数の障害物ピクセルコラム領域の空間位置情報に応じて特定し、その後、カメラ機器に最も近い障害物ピクセルコラム領域の空間位置情報に応じてその障害物の空間位置情報を特定してよい。

任意選択により、本開示では、次式（１５）を使って、あるクラスクラスタ内の複数の障害物ピクセルコラム領域とカメラ機器との間の距離を計算し、最小距離を選択してよい。

。

上式（１５）中、ｄ_ｍｉｎは最小距離を表し、Ｘ_ｉはあるクラスクラスタ中のｉ番目の障害物ピクセルコラム領域のＸ座標を表し、Ｚ_ｉはあるクラスクラスタ中のｉ番目の障害物ピクセルコラム領域のＺ座標を表す。

最小距離が特定された後、最小距離の障害物ピクセルコラム領域のＸ座標とＺ座標が障害物の空間位置情報とみなされてよく、これは、次式（１６）に示される：
Ｏ_Ｘ＝Ｘ_{ｃｌｏｓｅ}
Ｏ_Ｚ＝Ｚ_{ｃｌｏｓｅ} （１６）。

上式（１６）中、Ｏ_Ｘは水平座標軸上の障害物の座標、すなわち障害物のＸ座標を表し、Ｏ_Ｚは奥行き座標軸（Ｚ軸）上の障害物の座標、すなわち障害物のＺ座標を表し、Ｘ_{ｃｌｏｓｅ}は計算された最小距離の障害物ピクセルコラム領域のＸ座標を表し、Ｚ_{ｃｌｏｓｅ}は計算された最小距離の障害物ピクセルコラム領域のＺ座標を表す。

任意選択により、本開示では次式（１７）を使って障害物の高さを計算してよい：
Ｏ_Ｈ＝Ｙ_ｍａｘ＝Ｙ_ｍｉｎ （１７）。

上式（１７）中、Ｏ_Ｈは障害物の高さを表し、Ｙ_ｍａｘはあるクラスクラスタ中の障害物ピクセルコラム領域すべてのうちの最大Ｙ座標を表し、Ｙ_ｍｉｎはあるクラスクラスタ中の障害物ピクセルコラム領域すべてのうちの最小Ｙ座標を表す。

ＣＮＮを訓練する実施モードのプロセスが図２２に示されている。

Ｓ２２００で、両眼画像サンプルの１つの（例えば左／右）画像サンプルが訓練対象のＣＮＮに入力される。

任意選択により、本開示において、ＣＮＮに入力される画像サンプルは常に、両眼画像サンプルの左眼画像サンプルでも両眼画像サンプルの右眼画像サンプルでもよい。ＣＮＮに入力される画像サンプルが常に両眼画像サンプルの左眼画像サンプルである場合、訓練が終了したＣＮＮは、試験又は実際の利用シナリオにおいて、入力された環境画像を左眼画像とみなすことになる。ＣＮＮに入力される画像サンプルが常に両眼画像サンプルの右眼画像サンプルである場合、訓練を終了したＣＮＮは、試験又は実際の利用シナリオにおいて、入力された環境画像を右眼画像とみなすことになる。

Ｓ２２１０で、ＣＮＮは視差分析を行い、左眼画像サンプルの視差マップと右眼画像サンプルの視差マップがＣＮＮの出力に基づいて得られる。

Ｓ２２２０で、右眼画像が左眼画像サンプルと右眼画像サンプルの視差マップに応じて再構成される。

任意選択により、本開示では、右眼画像サンプルを再構成する方法には、再投影計算が右眼画像サンプルの視差マップと左眼画像サンプルについて実行されて、再構成された右眼画像が取得されることが含まれるが、これに限定されない。

Ｓ２２３０で、左眼画像が右眼画像サンプルと左眼画像サンプルの視差マップに応じて再構成される。

任意選択により、本開示では、左眼画像サンプルを再構成する方法には、再投影計算が左眼画像サンプルの視差マップと右眼画像サンプルについて実行されて、再構成された左眼画像が取得されることが含まれるが、これに限定されない。

Ｓ２２４０で、再構成された左眼画像と左眼画像サンプルとの差及び再構成された右眼画像と右眼画像サンプルとの差に応じてＣＮＮのネットワークパラメータが調整される。

任意選択により、本開示では、差が特定される場合に使用される損失関数には、Ｌ１損失関数、スムーズな損失関数、及びＩｒ一貫性損失関数等が含まれるが、これらに限定されない。それに加えて、本開示において計算された損失が逆伝搬されてＣＮＮのネットワークパラメータ（畳み込みカーネルの重量値等）が調整される場合、損失はＣＮＮの連鎖導出によって計算される勾配に基づいて逆伝搬されてよく、これはＣＮＮの訓練効率を高めるのに寄与する。

任意選択的な例において、ＣＮＮの訓練が所定の反復条件を達成すれば、訓練プロセスが完了する。本願での所定の反復条件には、ＣＮＮにより出力された視差マップに基づいて再構成された左眼画像と左眼画像サンプルとの差、及びＣＮＮにより出力された視差マップに基づいて再構成された右眼画像と右眼画像サンプルとの差が、差に関する所定の要求事項を満たすことが含まれていてよい。差が要求事項を満たすと、ＣＮＮはこの時点で訓練を正常に終える。本願での所定の反復条件にはまた、ＣＮＮの訓練に使用される両眼画像サンプルの数が数に関する所定の要求事項を満たすことが含まれていてもよい。使用される両眼画像サンプルの数が数に関する所定の要求事項を満たすが、ＣＮＮにより出力された視差マップに基づいて再構成された左眼画像と左眼画像サンプルとの差、及びＣＮＮにより出力された視差マップに基づいて再構成された右眼画像と右眼画像サンプルとの差が差に関する所定の要求事項を満たさない場合、ＣＮＮはこの時点で訓練を終えられない。

図２３は、本開示による知的運転制御方法のある実施形態のフローチャートである。本願の知的訓練制御方法は、自動運転（完全無支援自動運転）環境又は支援運転環境に適用されてよいが、これらに限定されない。

Ｓ２３００で、移動中の知的機器の環境画像が、知的機器に搭載された画像取得装置を介して得られる。画像取得装置には、ＲＧＢに基づくカメラ機器等が含まれるが、これに限定されない。

Ｓ２３１０で、得られた環境画像について障害物検出が行われ、障害物検出結果が特定される。前述の方法実施形態における図１に関する説明は、このステップの詳細な実施プロセスのための参考とみなされてよく、それについてはここでは詳しく説明しない。

Ｓ２３２０で、障害物検出結果に応じて制御命令が生成され、出力される。

任意選択により、本開示において生成される制御命令には、速度維持制御命令、速度調整制御命令（例えば、減速命令及び加速命令）、方向維持制御命令、方向調整制御命令（例えば、左折命令、右折命令、左車線合流命令、又は右斜線合流命令）、クラクション命令、警告プロンプト制御命令、又は運転モード切替制御命令（例えば、自動走行モードに切り替える命令）が含まれるが、これらに限定されない。

本開示の障害物検出技術はまた、知的運転制御の分野に応用されることに加えて、他の分野に応用されてもよいことに特に留意されたい。例えば、工業生産における障害物検出、スーパーマーケット等の屋内現場での障害物検出、セキュリティ分野での障害物検出等が実現されてよく、本開示の障害物検出技術の利用可能シナリオは限定されない。

図２４は、本開示による障害物検出装置の実施形態の構造的概略図である。図２４の装置は、取得モジュール２４００、第一の特定モジュール２４１０、クラスタリングモジュール２４２０、第二の特定モジュール２４３０、及び訓練モジュール２４４０を含んでいてよい。

取得モジュール２４００は、環境画像の第一の視差マップを取得するように構成される。環境画像は、知的機器が移動している空間環境の情報を表す画像である。任意選択により、環境画像は単眼画像を含む。取得モジュール２４００は、第一のサブモジュール、第二のサブモジュール、及び第三のサブモジュールを含んでいてよい。第一のサブモジュールは、ＣＮＮを使って単眼画像に視差分析を行い、ＣＮＮの出力に基づいて単眼画像の第一の視差マップを得るように構成される。ＣＮＮは、両眼画像サンプルで訓練される。第二のサブモジュールは、環境画像内の単眼画像を反転させることによって第一の反転画像を取得し、第一の反転画像の視差マップを取得するように構成される。第三のサブモジュールは、第一の反転画像の視差マップに応じて、単眼画像の第一の視差マップについて視差調整を行い、視差調整された第一の視差マップを取得するように構成される。第三のサブモジュールは、第一のユニットと第二のユニットを含んでいてよい。第一のユニットは、第一の反転画像の視差マップを反転させることによって、第二の反転画像を取得するように構成される。第二のユニットは、第一の視差マップの重量配分マップと第二の反転画像の重量配分マップに応じて、第一の視差マップに視差調整を行い、視差調整された第一の視差マップを取得するように構成される。第一の視差マップの重量配分マップは、それぞれ第一の視差マップ中の複数の視差値に対応する重量値を含んでいてよく、第二の反転画像の重量配分マップは、それぞれ第二の反転画像中の複数の視差値に対応する重量を含む。

任意選択により、本開示における重量配分マップは、第一の重量配分マップと第二の重量配分マップの少なくとも１つを含む。第一の重量配分マップは、複数の環境画像について一律に設定された重量配分マップである。第二の重量配分マップは、それぞれ異なる環境画像について設定される重量配分マップである。第一の重量配分マップは、左右に分離される少なくとも２つの領域を含み、異なる領域は異なる重量値を有する。

任意選択により、単眼画像が左眼画像である場合、第一の視差マップの第一の重量配分マップの中の何れの２つの領域についても、右の領域の重量値は左の領域の重量値より小さくなく、第二の反転画像の第一の重量配分マップの中の何れの２つの領域についても、右の領域の重量値は左の領域の重量値より小さくない。第一の視差マップの第一の重量配分マップの中の少なくとも１つの領域について、その領域の左部分の重量値はその領域の右部分の重量値より大きくない。第二の反転画像の第一の重量配分マップの中の少なくとも１つの領域について、その領域の左部分の重量値はその領域の右部分の重量値より大きくない。

任意選択により、単眼画像が右眼画像である場合、第一の視差マップの第一の重量配分マップの中の何れの２つの領域についても、左の領域の重量値は右の領域の重量値より小さくなく、第二の反転画像の第一の重量配分マップの中の何れの２つの領域についても、左の領域の重量値は右の領域の重量値より小さくない。

任意選択により、第一の視差マップの第一の重量配分マップの中の少なくとも１つの領域について、その領域の右部分の重量値はその領域の左部分の重量値より大きくない。第二の反転画像の第一の重量配分マップの中の少なくとも１つの領域について、その領域の右部分の重量値はその領域の左部分の重量値より大きくない。

任意選択により、第三のサブモジュールはまた、第三のユニットも含んでいてよく、これは第一の視差マップの第二の重量配分マップを設定するように構成される。具体的には、第三のユニットは、第一の視差マップを反転させて反転視差マップを形成し、第一の視差マップの反転視差マップの中の視差値に応じて第一の視差マップの第二の重量配分マップ内の重量値を設定する。例えば、反転視差マップ内の何れの位置のピクセルについても、その位置のそのピクセルの視差値が第一の所定の条件を満たせば、第三のユニットは第一の視差マップの第二の重量配分マップの中のその位置におけるピクセルの重量値を第一の値に設定する。そのピクセルの視差値が第一の所定の条件を満たさなければ、第三のユニットは、第一の視差マップの第二の重量配分マップの中のその位置におけるピクセルの重量値を第二の値に設定してよい。第一の値は第二の値より大きい。第一の所定の条件には、その位置におけるそのピクセルの視差値がその位置におけるピクセルの第一の参照値より大きいことが含まれていてよい。その位置におけるピクセルの第一の参照値は、第一の視差マップの中のその位置におけるピクセルの視差値及びゼロより大きい一定値に応じて設定される。

任意選択により、第三のサブモジュールはまた、第四のユニットも含んでいてよい。第四のユニットは、第二の反転画像の第二の重量配分マップを設定するように構成される。例えば、第四のユニットは、第一の視差マップの中の視差値に応じて第二の反転画像の第二の重量配分マップの中の重量値を設定する。より具体的には、第二の反転画像の中の何れの位置のピクセルについても、第一の視差マップの中のその位置におけるピクセルの視差値が第二の所定の条件を満たせば、第四のユニットは、第二の反転画像の第二の重量配分マップの中のその位置におけるピクセルの重量値を第三の値として設定する。第一の視差マップの中のその位置におけるピクセルの視差値が第二の所定の条件を満たさなければ、第四のユニットは、第二の反転画像の第二の重量配分マップの中のその位置におけるピクセルの重量値を第四の値として設定する。第三の値は第四の値より大きい。第二の所定の条件には、第一の視差マップの中のその位置におけるピクセルの視差値がその位置におけるピクセルの第二の参照値より大きいことが含まれる。その位置におけるピクセルの第二の参照値は、第一の視差マップの反転視差マップの中のその位置におけるピクセルの視差値及びゼロより大きい一定値に応じて設定される。

任意選択により、第二のユニットは、第一の視差マップの第一の重量配分マップ及び第二の重量配分マップに応じて第一の視差マップの中の視差値を調整し、第二の反転画像の第一の重量配分マップと第二の重量配分マップに応じて第二の反転画像の中の視差値を調整してよい。第二のユニットは、視差調整された第一の視差マップと視差値調整された第二の反転画像を組み合わせて視差調整された第一の視差マップを最終的に取得する。

前述の方法実施形態におけるＳ１００の説明は、取得モジュール２４００の中に含まれる各部分により実行される具体的な動作に関する参考とみなされてよく、これについてはここでは詳しく説明しない。

第一の特定モジュール２４１０は、環境画像の第一の視差マップにおける複数の障害物ピクセル領域を特定するように構成される。第一の特定モジュール２４１０は、第四のサブモジュール、第五のサブモジュール、及び第六のサブモジュールを含んでいてよい。第四のサブモジュールは、環境画像の第一の視差マップに対してエッジ検出を実行し、障害物エッジ情報を取得するように構成される。第五のサブモジュールは、環境画像の第一の視差マップにおける障害物領域を特定するように構成される。第六のサブモジュールは、障害物エッジ情報に応じて第一の視差マップの障害物領域の中の複数の障害物ピクセルコラム領域を特定するように構成される。第五のサブモジュールは、第五のユニット、第六のユニット、第七のユニット、及び第八のユニットを含んでいてよい。第五のユニットは、第一の視差マップの中の各ピクセルローの視差値について統計的分析を行い、各ピクセルローの視差値の統計的情報を取得するように構成される。第六のユニットは、各ピクセルローの視差値の統計的情報に基づいて、統計的視差マップを特定するように構成される。第七のユニットは、統計的視差マップに第一の線形フィッティングを実行し、第一の線形フィッティングの結果に応じて地面領域と非地面領域を特定するように構成される。第八のユニットは、非地面領域に応じて障害物領域を特定するように構成される。非地面領域には、地面より上の第一の領域を含む。非地面領域には、地面より上の第一の領域と地面より下の第二の領域が含まれる。第八のユニットは、統計的視差マップに第二の線形フィッティングを実行し、第二の線形フィッティングの結果に応じて、第一の領域の中で、その地面より上の高さが第一の所定の高さ値より小さい第一の標的領域を特定してよい。第一の標的領域は障害物領域である。非地面領域の中の地面より下の第二の領域がある場合、第八のユニットは、第二の領域の中で、その地面より下の高さが第二の所定の高さ値より大きい第二の標的領域を特定する。第二の標的領域は障害物領域である。

任意選択により、第六のサブモジュールは、第一の視差マップの非障害物領域のピクセルの視差値と障害物エッジ情報のピクセルの視差値を所定の値として設定してよい。第六のサブモジュールは、第一の視差マップのコラム方向にＮ個のピクセルを横方向単位とみなし、第一の視差マップの設定されたローから各ローのＮ個のピクセルの視差値を調べ、ピクセルの視差値が所定の値と所定以外の値との間で飛んでいる標的ローを特定する。第六のサブモジュールは、コラム方向にＮ個のピクセルをコラム幅とみなし、特定された標的ローをロー方向への障害物ピクセルコラム領域の境界とみなすことによって、障害物領域内の障害物ピクセルコラム領域を特定するように構成される。

前述の方法実施形態のＳ１１０の説明は、第一の特定モジュール２４１０の中に含まれる各部分により実行される具体的な動作に関する参考とみなされてよく、ここではそれについて詳しく説明しない。

クラスタリングモジュール２４２０は、複数の障害物ピクセル領域をクラスタリングして、少なくとも１つのクラスクラスタを取得するように構成される。例えば、クラスタリングモジュール２４２０は、複数の障害物ピクセルコラム領域をクラスタリングしてよい。クラスタリングモジュール２４２０は、第七のサブモジュールと第八のサブモジュールを含んでいてよい。第七のサブモジュールは、複数の障害物ピクセルコラム領域の空間位置情報を特定するように構成される。第八のサブモジュールは、複数の障害物ピクセルコラム領域の空間位置情報に応じて複数の障害物ピクセルコラム領域をクラスタリングするように構成される。例えば、何れの障害物ピクセルコラム領域についても、第八のサブモジュールは、障害物ピクセルコラム領域に含まれるピクセルに応じて障害物ピクセルコラム領域の属性情報を特定し、障害物ピクセルコラム領域の属性情報に応じて障害物ピクセルコラム領域の空間位置情報を特定する。障害物画ピクセルコラム領域の属性情報には、ピクセルコラム領域の底部情報、ピクセルコラム領域の最上部情報、ピクセルコラム領域の視差値、及びピクセルコラム領域のコラム情報のうちの少なくとも１つが含まれていてよい。障害物ピクセルコラム領域の空間位置情報には、水平座標軸上の障害物ピクセルコラム領域の座標と奥行き座標軸上の障害物ピクセルコラム領域の座標が含まれていてよい。障害物ピクセルコラム領域の空間位置情報には、縦座標軸上の障害物ピクセルコラム領域の最高点座標と縦座標軸上の障害物ピクセルコラム領域の最低点座標が含まれていてよい。最高点座標と最低点座標は、障害物の高さを特定するために使用される。前述の方法実施形態の中のＳ１２０の説明は、クラスタリングモジュール２４２０の中に含まれる各部分により実行される具体的な動作の参考とみなされてよく、ここではそれについて詳しく説明しない。

第二の特定モジュール２４３０は、同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果を特定するように構成される。第二の特定モジュールは、第九のサブモジュールと第十のサブモジュールのうちの少なくとも１つを含んでいてよい。第九のサブモジュールは、同じクラスクラスタに属する障害物ピクセルコラム領域の空間位置情報に応じて環境画像の中の障害物バウンディングボックスを特定するように構成される。第十のサブモジュールは、同じクラスクラスタに属する障害物ピクセルコラム領域の空間位置情報に応じて、障害物の空間位置情報を特定するように構成される。例えば、第十のサブモジュールは、複数の障害物ピクセルコラム領域と環境画像を生成するカメラ機器との間の距離を、同じクラスクラスタに属する複数の障害物ピクセルコラム領域の空間位置情報に応じて特定し、カメラ機器に最も近い障害物ピクセルコラム領域の空間位置情報に応じて障害物の空間位置情報を特定してよい。前述の方法実施形態のＳ１３０に関する説明は、第二の特定モジュール２４３０に含まれる各部分により実行される具体的な動作の参考とみなされてよく、ここではそれについて詳しく説明しない。

訓練モジュール２４４０は、ＣＮＮを訓練するように構成される。例えば、訓練モジュール２４４０は、両眼画像サンプルのうちの１つを訓練対象のＣＮＮに入力し、ＣＮＮが視差分析を行った後、ＣＮＮの出力に基づいて左眼画像サンプルの視差マップ及び右眼画像サンプルの視差マップを得る。訓練モジュール２４４０は、左眼画像サンプルと右眼画像サンプルの視差マップに応じて右眼画像を再構成する。訓練モジュール２４４０は、右眼画像サンプルと左眼画像サンプルの視差マップに応じて左眼画像を再構成する。訓練モジュール２４４０は、再構成された左眼画像と左眼画像サンプルとの間の差及び再構成された右眼画像と右眼画像サンプルとの差に応じて、ＣＮＮのネットワークパラメータを調整する。図２２に関する前述の説明は、訓練モジュール２４４０により実行される具体的な動作の参考とみなされてよく、ここではそれについて詳しく説明しない。

図２５は、本開示による知的運転制御装置の実施形態の構造的概略図である。図２５の装置は、取得モジュール２５００、障害物検出装置２５１０、及び制御モジュール２５２０を含んでいてよい。

取得モジュール２５００は、知的機器に提供された画像取得装置を通じて、移動中の知的機器の環境画像を取得するように構成される。障害物検出装置２５１０は、環境画像に対して障害物検出を実行し、障害物検出結果を特定するように構成される。制御モジュール２５２０は、障害物検出結果に応じて制御命令を生成し、出力するように構成される。

例示的機器
図２６は、本開示を実施するのに適した例示的な機器２６００を示している。機器２６００は、自動車、移動端末（例えば、スマートモバイルフォン）、ＰＣ（例えば、デスクトップコンピュータ又はノートブックコンピュータ）、タブレットコンピュータ及びサーバ等において構成される制御システム／電子システムであってよい。図２６において、機器２６００は、１つ又は複数のプロセッサ、通信ユニット及びその他を含む。１つ又は複数のプロセッサは、１つ又は複数の中央処理ユニット（ＣＰＵ）２６０１及び／又は、ニューラルネットワーク等を使ってビジュアルトラッキングを実行するように構成された１つ又は複数のグラフィクス処理ユニット（ＧＰＵ）２６１３であってよい。プロセッサは、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２６０２に保存された実行可能命令又は記憶部２６０８からＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２６０３にロードされる実行可能命令に応じた各種の適切な動作及び処理を実行してよい。通信ユニット２６１２には、ネットワークカードが含まれていてよいがこれに限定されず、ネットワークカードにはＩｎｆｉｎｉｂａｎｄ（ＩＢ）ネットワークカードが含まれていてよいがこれに限定されない。プロセッサは、ＲＯＭ ２６０２及び／又はＲＡＭ ２６０３と通信して実行可能命令を実行してよく、バス２６０４を通じて通信ユニット２６１２と接続され、通信ユニット２６１２を通じて他の標的機器と通信し、それによって本開示における対応のステップを完了する。

各命令に応じて実行される動作については、方法実施形態の中の関係する説明を参照してよく、ここでは詳しく説明されない。それに加えて、装置の動作により必要とされる様々なプログラム及びデータがさらにＲＡＭ ２６０３の中に保存されてよい。ＣＰＵ ２６０１、ＲＯＭ ２６０２、及びＲＡＭ ２６０３は、バス２６０４を通じて相互に接続される。ＲＡＭ ２６０３が存在する状況では、ＲＯＭ ２６０２は任意選択的モジュールである。ＲＡＭ ２６０３は実行可能命令を保存し、又は実行可能命令は、実行中にＲＯＭ ２６０２の中に書き込まれ、実行可能命令を通じて、ＣＰＵ ２６０１は標的物体方位特定方法又は知的運転制御方法のステップを実行する。入力／出力（Ｉ／Ｏ）インタフェース２６０５もまた、バス２６０４に接続される。通信ユニット２６１２は統合されてよく、それぞれバスで接続される複数のサブモジュール（例えば、複数のＩＢネットワークカード）を含むように配置されてもよい。以下の構成要素がＩ／Ｏインタフェース２６０５に接続される：キーボード、マウス、及びその他を含む２６０６、陰極管（ＣＲＴ）、液晶表示体（ＬＣＤ）、スピーカ、及びその他を含む出力部２６０７、ハードディスク及びその他を含む記憶部２６０８、並びにモデム及びその他のローカル領域ネットワーク（ＬＡＮ）カード及びネットワークインタフェースカードを含む通信部２６０９。通信部２６０９は、インタネット等のネットワークを通じた通信処理を実行する。ドライバ２６１０もまた、必要に応じてＩ／Ｏインタフェース２６０５に接続される。リムーバブルメディア２６１１、例えば磁気ディスク、光ディスク、磁気光ディスク、及び半導体メモリは、必要に応じてドライバ２６１０に取り付けられ、それによってそこから読み出されるコンピュータプログラムが必要に応じて記憶部２６０８にインストールされる。

図２６に示されるアーキテクチャは任意選択的な実形モードにすぎず、図２６の中の構成要素の数と種類は、特定の実践的プロセスにおける実際の要求事項に応じて選択、削除、追加、又は置換されてよいことに特に留意されたい。異なる機能的構成要素の配置の点で、分離された配置又は統合的配置等の実施形態もまた採用されてよい。例えば、ＧＰＵ ２６１３及びＣＰＵ ２６０１は分離して配置されてよい。他の例として、ＧＰＵ ２６１３はＣＰＵ ２６０１に統合されてよく、通信ユニットは分離して配置されてよく、またＣＰＵ ２６０１又はＧＰＵ ２６１３に統合されてもよい。これらの代替的な実施モードはすべて本開示において開示される保護範囲に含まれる。

特に、本開示の実施モードによれば、フローチャートに関して後述するプロセスは、コンピュータソフトウェアプログラムとして実装されてもよい。例えば、本開示の実施モードは、コンピュータプログラム製品を含み、これは機械可読媒体中に物理的に含められるコンピュータプログラムを含み、コンピュータプログラムは、フローチャートに示されるステップを実行するように構成されたプログラムコードを含み、プログラムコードは、本開示において提供される方法の中のステップに対応する命令を含んでいてよい。この実施モードにおいて、コンピュータプログラムは、通信部２６０９を通じてネットワークからダウンロードされてインストールされ、及び／又はリムーバブルメディア２６１１からインストールされてもよい。コンピュータプログラムは、ＣＰＵ ２６０１によって実行されて、本開示における対応するステップを実施するための命令が実行される。１つ又は複数の任意選択的な実施モードにおいて、本開示の実施形態はまた、コンピュータ可読命令を記憶するためのコンピュータプログラム製品も提供する。命令は、実行されると、コンピュータが前述の何れかの実施形態における障害物検出方法又は知的運転制御方法を実行できるようにする。

コンピュータプログラム製品は、特にハードウェア、ソフトウェア、又はその組合せによって実現されてよい。任意選択的な例において、コンピュータプログラム製品は、特にコンピュータ記憶媒体として実施され、他の任意選択的な例において、コンピュータプログラム製品は特にソフトウェア製品、例えばＳｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ（ＳＤＫ）として実施される。１つ又は複数の任意選択的な実施モードにおいて、本開示の実施形態はまた、他の障害物検出方法及び知的運転制御方法並びにそれに対応する装置及び電子機器、コンピュータ記憶媒体、コンピュータプログラム、及びコンピュータプログラム製品も提供する。方法には、第一の装置が障害物検出命令又は知的運転制御命令を第二の装置に送信し、命令は第二の装置に考え得る何れかの実施形態の障害物検出方法又は知的運転制御方法を実行させ、第一の装置が第二の装置により送信された障害物検出結果又は知的運転制御結果を受信することが含まれる。

幾つかの実施形態において、障害物検出命令又は知的運転制御命令は特にコール命令であってよい。第一の装置は、第二の装置に、障害物検出動作又は知的運転制御動作を実行するようにコール方式で命令してよい。それに対応して、第二の装置は、コール命令を受信したことに応答して、障害物検出方法又は知的運転制御方法の何れかの実施形態の中のステップ及び／又はフローを実行してよい。本開示の実施形態における「第一の」、「第二の」等の用語は区別のために使用されているにすぎないと理解されたく、本開示の実施形態への限定と理解されるべきではない。また、本開示において、「複数の」とは２又は２を超えることを指していてよく、「少なくとも１つの」とは、１、２又は２を超えることを指してよいと理解されたい。また、本開示における何れの構成要素、データ、又は構造についても、その数は、具体的な限界がなく、文脈の中でこれに反する明記が提示されていないかぎり、１つ又は複数と理解できると理解されたい。また、本開示において、各実施形態に関する説明は、各実施形態間の違いを強調して行われており、同じ又は同様の部分は相互に参照されてよく、簡潔にするために詳しく記載されていないことも理解されたい。本開示の方法、装置、電子機器、及びコンピュータ可読記憶媒体は、様々な方法で実装されてよい。例えば、本開示の方法、装置、電子機器、及びコンピュータ可読記憶媒体は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、及びファームウェアの何れかの組合せを通じて実装されてよい。方法のステップの順序は説明のためにすぎず、本開示の方法のステップは、他に別段の明示がないかぎり、具体的な前述の順序に限定されない。それに加えて、幾つかの実施モードにおいて、本開示はまた、記録媒体内に記録されるプログラムとして実装されてもよく、プログラムは本開示による方法を実施するように構成された機械可読命令を含む。したがって、本開示はさらに、本開示による方法を実行するように構成されたプログラムを記憶する記録媒体もカバーする。本開示の説明は例示と説明のために行われており、すべてを網羅しているのではなく、本開示を開示された形態に限定されることも意図されていない。多くの改良や変更が当業者にとって明らかである。実施モードは、本開示の原理及び実践的利用をよりよく説明し、当業者が本開示の実施形態を理解でき、特定の目的に適した、各種の改良を含む様々な実施モードをさらに設計できるようにするために選択され、記載されている。

Claims (69)

1. 障害物検出方法において、
   環境画像の第一の視差マップを取得するステップであって、前記環境画像は知的機器が移動している空間環境の情報を表す画像であるステップと、
   前記環境画像の前記第一の視差マップの中で、複数の障害物ピクセル領域を特定するステップと、
   前記複数の障害物ピクセル領域をクラスタリングして、少なくとも１つのクラスクラスタを取得するステップと、
   同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果を特定するステップと、
   を含む方法。
2. 前記環境画像は単眼画像を含み、
   前記環境画像の前記第一の視差マップを取得した後に、前記方法は、
   前記単眼画像を反転させることによって第一の反転画像を取得し、前記第一の反転画像の視差マップを取得するステップと、
   前記第一の反転画像の前記視差マップに応じて前記単眼画像の前記第一の視差マップに視差調整を行い、視差調整を行った前記第一の視差マップを取得するステップと、
   をさらに含み、
   前記環境画像の前記第一の視差マップの中の前記複数の障害物ピクセル領域を特定するステップは、
   前記第一の視差マップの中の、視差調整が行われた前記複数の障害物ピクセル領域を特定するステップを含む
   請求項１に記載の方法。
3. 前記第一の反転画像の前記視差マップに応じて前記単眼画像の前記第一の視差マップに視差調整を行い、視差調整が行われた前記第一の視差マップを取得するステップは、
   前記第一の反転画像の前記視差マップを反転させることによって第二の反転画像を取得するステップと、
   前記第一の視差マップの重量配分マップと前記第二の反転画像の重量配分マップに応じて前記第一の視差マップに視差調整を行い、視差調整が行われた第一の視差マップを取得するステップと、
   をさらに含み、
   前記第一の視差マップの前記重量配分マップは、それぞれ前記第一の視差マップ内の複数の視差値に対応する重量値を含み、前記第二の反転画像の前記重量配分マップは、それぞれ前記第二の反転画像内の前記複数の視差値に対応する重量を含む、
   請求項２に記載の方法。
4. 前記重量配分マップは、第一の重量配分マップ又は第二の重量配分マップの少なくとも一方を含み、
   前記第一の重量配分マップは、複数の環境画像について一律に設定された重量配分マップであり、
   前記第二の重量配分マップは、異なる環境画像についてそれぞれ設定された重量配分マップである、
   請求項３に記載の方法。
5. 前記第一の重量配分マップは、左右に分離された少なくとも２つの領域を含み、異なる領域は異なる重量値を有する、請求項４に記載の方法。
6. 前記単眼画像が左眼画像であるとき、
   前記第一の視差マップの前記第一の重量配分マップの中の何れの２つの領域についても、右の前記領域の前記重量値は左の前記領域の前記重量値より小さくなく、
   前記第二の反転画像の前記第一の重量配分マップの中の何れの２つの領域についても、右の前記領域の前記重量値は左の前記領域の前記重量値より小さくない、
   請求項５に記載の方法。
7. 前記第一の視差マップの前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の左部分の前記重量値は前記領域の右部分の前記重量値より大きくなく、
   前記第二の反転画像の前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の左部分の前記重量値は前記領域の右部分の前記重量値より大きくない、
   請求項６に記載の方法。
8. 前記単眼画像が右眼画像であるとき、
   前記第一の視差マップの前記第一の重量配分マップの中の何れの２つの領域についても、左の前記領域の前記重量値は右の前記領域の前記重量値より小さくなく、
   前記第二の反転画像の前記第一の重量配分マップの中の何れの２つの領域についても、左の前記領域の前記重量値は右の前記領域の前記重量値より小さくない、
   請求項５に記載の方法。
9. 前記第一の視差マップの前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の前記右部分の前記重量値は前記領域の前記左部分の前記重量値より大きくなく、
   前記第二の反転画像の前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の前記右部分の前記重量値は前記領域の前記左部分の前記重量値より大きくない、
   請求項８に記載の方法。
10. 前記第一の視差マップの前記第二の重量配分マップの設定モードは、
    前記第一の視差マップを反転させて反転視差マップを形成するステップと、
    前記第一の視差マップの前記反転視差マップの中の視差値に応じて、前記第一の視差マップの前記第二の重量配分マップの中の前記重量値を、前記第一の視差マップの前記反転視差マップの中の視差値に応じて設定するステップと、
    を含む、請求項４〜９の何れか１項に記載の方法。
11. 前記第一の視差マップの前記第二の重量配分マップの中の前記重量値を、前記第一の視差マップの前記反転視差マップの中の前記視差値に応じて設定するステップは、
    前記反転視差マップの中の何れの位置のピクセルについても、前記位置における前記ピクセルの前記視差値が第一の所定の条件を満たせば、前記第一の視差マップの前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第一の値として設定するステップを含む、
    請求項１０に記載の方法。
12. 前記位置における前記ピクセルの前記視差値が前記第一の所定の条件を満たさなければ、前記第一の視差マップの前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第二の値として設定するステップをさらに含み、前記第一の値は前記第二の値より大きい、
    請求項１１に記載の方法。
13. 前記第一の所定の条件は、前記位置における前記ピクセルの前記視差値が前記位置における前記ピクセルの第一の参照値より大きいことを含み、前記位置における前記ピクセルの前記第一の参照値は、前記第一の視差マップの前記位置における前記ピクセルの前記視差値及びゼロより大きい一定値に応じて設定される、
    請求項１１又は１２に記載の方法。
14. 前記第二の反転画像の前記第二の重量配分マップの設定モードは、
    前記第二の反転画像の前記第二の重量配分マップの前記重量値を前記第一の視差マップの中の前記視差値に応じて設定するステップを含む、
    請求項４〜１３の何れか１項に記載の方法。
15. 前記第二の反転画像の前記第二の重量配分マップの前記重量値を前記第一の視差マップの中の前記視差値に応じて設定するステップは、
    前記第二の反転画像の中の何れの位置における前記ピクセルについても、
    前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値が第二の所定の条件を満たせば、前記第二の反転画像の前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第三の値として設定するステップを含む、
    請求項１４に記載の方法。
16. 前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値が前記第二の所定の条件を満たさなければ、前記第二の反転画像の前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第四の値として設定するステップをさらに含み、前記第三の値は前記第四の値より大きい、
    請求項１５に記載の方法。
17. 前記第二の所定の条件は、前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値は、前記位置における前記ピクセルの第二の参照値より大きいことを含み、前記位置における前記ピクセルの前記第二の参照値は、前記第一の視差マップの前記反転視差マップの中の前記位置における前記ピクセルの前記視差値及びゼロより大きい一定値に応じて設定される、
    請求項１５又は１６に記載の方法。
18. 前記第一の視差マップの前記重量配分マップと前記第二の反転画像の前記重量配分マップに応じて前記第一の視差マップに視差調整を行い、視差調整が行われた前記第一の視差マップを取得するステップは、
    前記第一の視差マップの前記第一の重量配分マップ及び前記第二の重量配分マップに応じて前記第一の視差マップの中の視差値を調整するステップと、
    前記第二の反転画像の前記第一の重量配分マップ及び前記第二の重量配分マップに応じて前記第二の反転画像の中の視差値を調整するステップと、
    視差調整された前記第一の視差マップと視差値が調整された前記第二の反転画像を組み合わせて、視差調整が行われた前記第一の視差マップを最終的に取得するステップと、
    を含む、
    請求項４〜１７の何れか１項に記載の方法。
19. 前記環境画像は単眼画像を含み、
    前記環境画像の前記第一の視差マップを取得するステップは、
    前記単眼画像についてコンボリューションニューラルネットワーク（ＣＮＮ）で視差分析を実行し、前記ＣＮＮの出力に基づいて前記単眼画像の第一の視差マップを取得するステップを含み、
    前記ＣＮＮは両眼画像サンプルで訓練される、
    請求項１に記載の方法。
20. 前記ＣＮＮの訓練プロセスは、
    前記両眼画像サンプルの１つを訓練対象のＣＮＮに入力して視差分析を行い、前記ＣＮＮの前記出力に基づいて、左眼画像サンプルの前記視差マップ及び右眼画像サンプルの前記視差マップを取得するステップと、
    前記左眼画像サンプルと前記右眼画像サンプルの前記視差マップに応じて前記右眼画像を再構成するステップと、
    前記右眼画像サンプルと前記左眼画像サンプルの前記視差マップに応じて前記左眼画像を再構成するステップと、
    前記再構成された左眼画像と前記左眼画像サンプルとの差及び前記再構成された右眼画像と前記右眼画像サンプルとの差に応じて、前記ＣＮＮのネットワークパラメータを調整するステップと、
    を含む、
    請求項１９に記載の方法。
21. 前記環境画像の前記第一の視差マップの中の複数の障害物ピクセル領域を特定するステップは、
    前記環境画像の前記第一の視差マップにエッジ検出を行って、障害物エッジ情報を取得するステップと、
    前記環境画像の前記第一の視差マップにおける障害物領域を特定するステップと、
    前記障害物領域の中の複数の障害物ピクセルコラム領域を前記障害物エッジ情報に応じて特定するステップと、
    を含む、
    請求項１〜２０の何れか１項に記載の方法。
22. 前記環境画像の前記第一の視差マップの中の前記障害物領域を特定するステップは、
    前記第一の視差マップの中の各ピクセルローの視差値に統計的分析を行って各ピクセルローの前記視差値の統計的情報を取得するステップと、
    各ピクセルローの前記視差値の前記統計的情報に基づいて、統計的視差マップを特定するステップと、
    前記統計的視差マップに第一の線形フィッティングを行い、前記第一の線形フィッティングの結果に応じて地面領域と非地面領域を特定するステップと、
    前記非地面領域に応じて前記障害物領域を特定するステップと、
    を含む、請求項２１に記載の方法。
23. 前記非地面領域は、前記地面より上の第一の領域又は、前記地面より上の第一の領域及び前記地面より下の第二の領域のうちの一方を含む、請求項２２に記載の方法。
24. 前記非地面領域に応じて前記障害物領域を特定するステップは、
    前記統計的視差マップに第二の線形フィッティングを行い、前記第二の線形フィッティングの結果に応じて、前記第一の領域の中で、その地面より上の高さが第一の所定の高さ値より小さい第一の標的領域を特定するステップであって、前記第一の標的領域は前記障害物領域であるステップと、
    前記非地面領域の中に前記地面より下の第二の領域がある場合、前記第二の領域の中で、その前記地面より下の高さが第二の所定の高さ値より大きい第二の標的領域を特定するステップであって、前記第二の標的領域は前記障害物領域であるステップと、
    を含む、
    請求項２３に記載の方法。
25. 前記第一の視差マップの前記障害物領域内の前記複数の障害物ピクセルコラム領域を前記障害物エッジ情報に応じて特定するステップは、
    前記第一の視差マップ内の非障害物領域のピクセルの視差値及び前記障害物エッジ情報のピクセルの視差値を所定の値として設定し、
    前記第一の視差マップのコラム方向にＮ個のピクセルを横方向単位とみなし、前記第一の視差マップの設定されたローから各ローのＮ個のピクセルの前記視差値を調べて、前記ピクセルの前記視差値が前記所定の値と所定以外の値との間で飛ぶ標的ローを特定するステップであって、Ｎは正の整数であるステップと、
    前記コラム方向へのＮ個のピクセルをコラム幅とみなすことによって前記障害物領域内の前記障害物ピクセルコラム領域を特定し、前記特定された標的ローを前記ロー方向への前記障害物ピクセルコラム領域の境界とみなすステップと、
    を含む、
    請求項２１〜２４の何れか１項に記載の方法。
26. 前記障害物ピクセル領域は前記障害物ピクセルコラム領域を含み、
    前記複数の障害物ピクセル領域をクラスタリングするステップは、
    前記複数の障害物ピクセルコラム領域の空間位置情報を特定するステップと、
    前記複数の障害物ピクセルコラム領域の前記空間位置情報に応じて前記複数の障害物ピクセルコラム領域をクラスタリングするステップと、
    を含む、
    請求項１〜２５の何れか１項に記載の方法。
27. 前記複数の障害物ピクセルコラム領域の前記空間位置情報を特定するステップは、
    何れの障害物ピクセルコラム領域についても、前記障害物ピクセルコラム領域に含まれるピクセルに応じて前記障害物ピクセルコラム領域の属性情報を特定し、前記障害物ピクセルコラム領域の前記属性情報に応じて前記障害物ピクセルコラム領域の前記空間位置情報を特定するステップを含む、
    請求項２６に記載の方法。
28. 前記障害物ピクセルコラム領域の前記属性情報は、前記ピクセルコラム領域の底部情報、前記ピクセルコラム領域の最上部情報、前記ピクセルコラム領域の視差値、及び前記ピクセルコラム領域のコラム情報のうちの少なくとも１つを含む、請求項２７に記載の方法。
29. 前記障害物ピクセルコラム領域の前記空間位置情報は、水平座標軸上の前記障害物ピクセルコラム領域の座標及び奥行き座標軸上の障害物ピクセルコラム領域の座標を含む、請求項２６〜２８の何れか１項に記載の方法。
30. 前記障害物ピクセルコラム領域の前記空間位置情報は、縦座標軸上の前記障害物ピクセルコラム領域の最高点座標及び前記縦座標軸上の前記障害物ピクセルコラム領域の最低点座標をさらに含み、
    前記最高点座標及び前記最低点座標は、前記障害物の高さを特定するために使用される、
    請求項２９に記載の方法。
31. 前記障害物ピクセル領域は前記障害物ピクセルコラム領域を含み、
    前記同じクラスクラスタに属する障害物ピクセル領域に応じて障害物検出結果を特定するステップは、
    前記同じクラスクラスタに属する前記障害物ピクセルコラム領域の前記空間位置情報に応じて前記環境画像内の障害物バウンディングボックスを特定するステップ及び／又は
    前記同じクラスクラスタに属する前記障害物ピクセルコラム領域の前記空間位置情報に応じて前記障害物の前記空間位置情報を特定するステップ
    を含む、
    請求項１〜３０の何れか１項に記載の方法。
32. 前記同じクラスクラスタに属する前記障害物ピクセルコラム領域の前記空間位置情報に応じて前記障害物の前記空間位置情報を特定するステップは、
    複数の障害物ピクセルコラム領域と前記環境画像を生成するカメラ機器との間の距離を、前記同じクラスクラスタに属する前記複数の障害物ピクセルコラム領域の前記空間位置情報に応じて特定するステップと、
    前記カメラ機器に最も近い前記障害物ピクセルコラム領域の前記空間位置情報に応じて、前記障害物の前記空間位置情報を特定するステップと、
    を含む、請求項３１に記載の方法。
33. 知的運転制御方法において、
    移動中の知的機器の環境画像を前記知的機器に搭載された画像取得装置を介して取得するステップと、
    前記取得された環境画像に障害物検出を行って、請求項１〜３２の何れか１項に記載の前記方法を使って障害物検出結果を特定するステップと、
    前記障害物検出結果に応じて制御命令を生成し、出力するステップと、
    を含む方法。
34. 障害物検出装置において、
    環境画像の第一の視差マップを取得するように構成された取得モジュールであって、前記環境画像は、知的機器が移動している空間環境の情報を表す画像である取得モジュールと、
    前記環境画像の前記第一の視差マップの中で複数の障害物ピクセル領域を特定するように構成された第一の特定モジュールと、
    前記複数の障害物ピクセル領域をクラスタリングして、少なくとも１つのクラスクラスタを取得するように構成されたクラスタリングモジュールと、
    同じクラスクラスタに属する前記障害物ピクセル領域に応じて障害物検出結果を特定するように構成された第二の特定モジュールと、
    を含む障害物検出装置。
35. 前記取得モジュールは、
    前記環境画像の前記単眼画像を反転させることによって第一の反転画像を取得し、前記第一の反転画像の視差マップを取得するように構成された第二のサブモジュールと、
    前記第一の反転画像の前記視差マップに応じて前記単眼画像の前記第一の視差マップに視差調整を行い、視差調整が行われた前記第一の視差マップを取得するように構成された第三のサブモジュールと、
    をさらに含み、
    前記第一の特定モジュールはさらに、
    視差調整された前記第一の視差マップの中の前記複数の複数の障害物ピクセル領域を特定するように構成される、
    請求項３４に記載の装置。
36. 前記第三のサブモジュールは、
    前記第一の反転画像の前記視差マップを反転させることによって第二の反転画像を取得するように構成された第一のユニットと、
    前記第一の視差マップの重量配分マップ及び前記第二の反転画像の重量配分マップに応じて、前記第一の視差マップに視差調整を行い、視差調整が行われた前記第一の視差マップを取得するように構成された第二のユニットと、
    を含み、
    前記第一の視差マップの前記重量配分マップは、それぞれ前記第一の視差マップの複数の視差値に対応する重量値を含み、前記第二の反転画像の前記重量配分マップは、それぞれ前記第二の反転画像の中の前記複数の視差値に対応する重量を含む、
    請求項３５に記載の装置。
37. 前記重量配分マップは、第一の重量配分マップ及び／又は第二の重量配分マップを含み、
    前記第一の重量配分マップは、複数の前記環境画像のために一律に設定された重量配分マップであり、
    前記第二の重量配分マップは、異なる環境画像のためにそれぞれ設定された重量配分マップである、
    請求項３６に記載の装置。
38. 前記第一の重量配分マップは左右に分離された少なくとも２つの領域を含み、異なる領域は異なる重量値を有する、請求項３７に記載の装置。
39. 前記単眼画像が左眼画像である場合、
    前記第一の視差マップの前記第一の重量配分マップの中の何れの２つの領域についても、右の前記領域の前記重量値は左の前記領域の前記重量値より小さくなく、
    前記第二の反転画像の前記第一の重量配分マップの中の何れの２つの領域についても、右の前記領域の前記重量値は左の前記領域の前記重量値より小さくない、
    請求項３８に記載の装置。
40. 前記第一の視差マップの前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の左部分の前記重量値は前記領域の右部分の前記重量値より大きくなく、
    前記第二の反転画像の前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の左部分の前記重量値は前記領域の右部分の前記重量値より大きくない、
    請求項３９に記載の装置。
41. 前記単眼画像が右眼画像である場合、
    前記第一の視差マップの前記第一の重量配分マップの中の何れの２つの領域についても、左の前記領域の前記重量値は右の前記領域の前記重量値より小さくなく、
    前記第二の反転画像の前記第一の重量配分マップの中の何れの２つの領域についても、左の前記領域の前記重量値は右の前記領域の前記重量値より小さくない、
    請求項３８に記載の装置。
42. 前記第一の視差マップの前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の右部分の前記重量値は前記領域の左部分の前記重量値より大きくなく、
    前記第二の反転画像の前記第一の重量配分マップの中の少なくとも１つの領域について、前記領域の右部分の前記重量値は前記領域の左部分の前記重量値より大きくない、
    請求項４１に記載の装置。
43. 前記第三のサブモジュールは、前記第一の視差マップの前記第二の重量配分マップを設定するように構成された第三のユニットをさらに含み、
    前記第三のユニットは、前記第一の視差マップを反転させて反転視差マップを形成し、前記第一の視差マップの前記反転視差マップの中の前記視差値に応じて前記第一の視差マップの前記第二の重量配分マップの中の前記重量値を設定する、
    請求項３７〜４２の何れか１項に記載の装置。
44. 前記第三のユニットはさらに、前記反転視差マップの中の何れの位置におけるピクセルについても、前記位置における前記ピクセルの前記視差値が第一の所定の条件を満たせば、前記第一の視差マップの前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第一の値として設定するように構成される、請求項４３に記載の装置。
45. 前記第三のユニットはさらに、前記位置における前記ピクセルの前記視差値が前記第一の所定の条件を満たさなければ、前記第一の視差マップの前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第二の値として設定するように構成され、前記第一の値は前記第二の値より大きい、請求項４４に記載の装置。
46. 前記第一の所定の条件は、前記位置における前記ピクセルの前記視差値が前記位置における前記ピクセルの第一の参照値より大きいことを含み、
    前記位置における前記ピクセルの前記第一の参照値は、前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値及びゼロより大きい一定値に応じて設定される、
    請求項４４又は４５に記載の装置。
47. 前記第三のサブモジュールは、前記第二の反転画像の前記第二の重量配分マップを設定するように構成された第四のユニットをさらに含み、
    前記第四のユニットは、前記第一の視差マップの中の前記視差値に応じて前記第二の反転画像の前記第二重量配分マップの中の前記重量値を設定する、
    請求項３７〜４６の何れか１項に記載の装置。
48. 前記第四のユニットはさらに、前記第二の反転画像の中の何れの位置におけるピクセルについても、前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値が第二の所定の条件を満たせば、前記第二の反転画像の前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第三の値として設定するように構成される、請求項４７に記載の装置。
49. 前記第四のユニットはさらに、前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値が前記第二の所定の条件を満たさなければ、前記第二の反転画像の前記第二の重量配分マップの中の前記位置における前記ピクセルの前記重量値を第四の値として設定するように構成され、前記第三の値は前記第四の値より大きい、請求項４８に記載の装置。
50. 前記第二の所定の条件は、前記第一の視差マップの中の前記位置における前記ピクセルの前記視差値が前記位置における前記ピクセルの第二の参照値より大きいことを含み、
    前記位置における前記ピクセルの前記第二の参照値は、前記第一の視差マップの前記反転視差マップの中の前記位置における前記ピクセルの前記視差値及びゼロより大きい一定値に応じて設定される、
    請求項４８又は４９に記載の装置。
51. 前記第二のユニットはさらに、
    前記第一の視差マップの前記第一の重量配分マップ及び前記第二の重量配分マップに応じて前記第一の視差マップの中の前記視差値を調整し、
    前記第二の反転画像の前記第一の重量配分マップ及び前記第二の重量配分マップに応じて前記第二の反転画像の中の前記視差値を調整し、
    視差調整が行われた前記第一の視差マップと視差値調整が行われた前記第二の反転画像を組み合わせて、視差調整が行われた前記第一の視差マップを最終的に取得する
    ように構成される、請求項３７〜５０の何れか１項に記載の装置。
52. 前記環境画像は前記単眼画像を含み、
    前記取得モジュールは、
    前記単眼画像にコンボリューションニューラルネットワーク（ＣＮＮ）で視差分析を行い、前記ＣＮＮの出力に基づいて前記単眼画像の前記第一の視差マップを取得するように構成された第一のサブモジュールを含み、
    前記ＣＮＮは両眼画像サンプルで訓練される、
    請求項３４に記載の装置。
53. 前記ＣＮＮを訓練するように構成された訓練モジュールをさらに含み、前記訓練モジュールはさらに、
    前記両眼画像サンプルの１つを訓練対象のＣＮＮに入力し、視差分析を行い、前記ＣＮＮの出力に基づいて左眼画像サンプルの前記視差マップと右眼画像サンプルの前記視差マップを取得し、
    前記左眼画像サンプルと前記右眼画像サンプルの前記視差マップに応じて前記右眼画像を再構成し、
    前記右眼画像サンプルと前記左眼画像サンプルの前記視差マップに応じて前記左眼画像を再構成し、
    前記再構成された左眼画像と前記左眼画像サンプルとの間の差及び前記再構成された右眼画像と前記右眼画像サンプルとの差に応じて前記ＣＮＮのネットワークパラメータを調整する
    ように構成される、請求項５２に記載の装置。
54. 前記第一の特定モジュールは、
    前記環境画像の前記第一の視差マップにエッジ検出を行い、障害物エッジ情報を取得するように構成された第四のサブモジュールと、
    前記環境画像の前記第一の視差マップの中の障害物領域を特定するように構成された第五のサブモジュールと、
    前記障害物エッジ情報に応じて前記障害物領域の中の複数の障害物ピクセルコラム領域を特定するように構成された第六のサブモジュールと、
    を含む、請求項３４〜５３の何れか１項に記載の装置。
55. 前記第五のサブモジュールは、
    前記第一の視差マップの各ピクセルローの前記視差値に統計的分析を行い、各ピクセルローの前記視差値の統計的情報を取得するように構成された第五のユニットと、
    各ピクセルローの前記視差値の前記統計的情報に基づいて統計的視差マップを特定するように構成された第六のユニットと、
    前記統計的視差マップに第一の線形フィッティングを行い、前記第一の線形フィッティングの結果に応じて地面領域及び非地面領域を特定するように構成された第七のユニットと、
    前記非地面領域に応じて前記障害物領域を特定するように構成された第八のユニットと、
    を含む、請求項５４に記載の装置。
56. 前記非地面領域は前記地面より上の第一の領域を含み、又は前記非地面領域は、前記地面より上の第一の領域と前記地面より下の第二の領域を含む、請求項５５に記載の装置。
57. 前記第八のユニットはさらに、
    前記統計的視差マップに第二の線形フィッティングを行い、前記第二の線形フィッティングの結果に応じて、前記第一の領域の中で、その前記地面より上の高さが第一の所定の高さ値より小さい前記第一の標的領域を特定し、前記第一の標的領域は前記障害物領域であり、
    前記非地面領域の中に前記地面より下の第二の領域がある場合、前記第二の領域の中で、その前記地面より下の高さが第二の所定の高さ値より大きい第二の標的領域を特定し、前記第二の標的領域は前記障害物領域である、
    ように構成される、請求項５６に記載の装置。
58. 前記第六のサブモジュールはさらに、
    前記第一の視差マップの中の非障害物領域の前記ピクセルの前記視差値及び前記障害物エッジ情報の前記ピクセルの前記視差値を所定の値に設定し、
    前記第一の視差マップの前記コラム方向にＮ個のピクセルを横方向単位とみなし、前記第一の視差マップの前記設定されたローから各ローの中のＮ個のピクセルの前記視差値を調べて、前記ピクセルの前記視差値が前記所定の値と所定以外の値との間で飛ぶ標的ローを特定し、前記Ｎは正の整数であり、
    前記コラム方向にＮ個のピクセルをコラム幅とみなし、前記特定された標的ローを前記ロー方向への前記障害物ピクセルコラム領域の境界とみなすことによって、前記障害物領域の中の前記障害物ピクセルコラム領域を特定する
    ように構成される、請求項５４〜５７の何れか１項に記載の装置。
59. 前記障害物ピクセル領域は、前記障害物ピクセルコラム領域を含み、前記クラスタリングモジュールは、
    前記複数の障害物ピクセルコラム領域の空間位置情報を特定するように構成された第七のサブモジュールと、
    前記複数の障害物ピクセルコラム領域の前記空間位置情報に応じて、前記複数の障害物ピクセルコラム領域をクラスタリングするように構成される第八のサブモジュールと、
    を含む、請求項３４〜５８の何れか１項に記載の装置。
60. 前記第八のサブモジュールはさらに、
    何れの障害物ピクセルコラム領域についても、前記障害物ピクセルコラム領域に含まれる前記ピクセルに応じて、前記障害物ピクセルコラム領域の属性情報を特定し、前記障害物ピクセルコラム領域の前記属性情報に応じて前記障害物ピクセルコラム領域の前記空間位置情報を特定する
    ように構成される、請求項５９に記載の装置。
61. 前記障害物ピクセルコラム領域の前記属性情報は、前記ピクセルコラム領域の底部情報、前記ピクセルコラム領域の最上部情報、前記ピクセルコラム領域の視差値、及び前記ピクセルコラム領域のコラム情報のうちの少なくとも１つを含む、請求項６０に記載の装置。
62. 前記障害物ピクセルコラム領域の前記空間位置情報は、水平座標軸上の前記障害物ピクセルコラム領域の座標と奥行き座標軸上の前記障害物ピクセルコラム領域の座標を含む、請求項５９〜６１の何れか１項に記載の装置。
63. 前記障害物ピクセルコラム領域の前記空間位置情報は、縦座標軸上の前記障害物ピクセルコラム領域の最高点座標と前記縦座標軸上の前記障害物ピクセルコラム領域の最低点座標をさらに含み、
    前記最高点座標及び前記最低点座標は、前記障害物の高さを特定するために使用される、
    請求項６２に記載の装置。
64. 前記障害物ピクセル領域は、前記障害物ピクセルコラム領域を含み、前記第二の特定モジュールは、
    前記同じクラスクラスタに属する前記障害物ピクセルコラム領域の前記空間位置情報に応じて、前記環境画像の中の障害物バウンディングボックスを特定するように構成された第九のサブモジュール及び／又は
    前記同じクラスクラスタに属する前記障害物ピクセルコラム領域の前記空間位置情報に応じて、前記障害物の前記空間位置情報を特定するように構成される第十のサブモジュール
    を含む、請求項３４〜６３の何れか１項に記載の装置。
65. 前記第十のサブモジュールはさらに、
    前記同じクラスクラスタに属する前記複数の障害物ピクセルコラム領域の前記空間位置情報に応じて、前記複数の障害物ピクセルコラム領域と前記環境画像を生成するカメラ機器との間の距離を特定し、
    前記カメラ機器に最も近い前記障害物ピクセルコラム領域の前記空間位置情報に応じて、前記障害物の前記空間位置情報を特定する
    ように構成される、請求項６４に記載の装置。
66. 知的運転制御装置において、
    移動中の知的機器の環境画像を、前記知的機器上に提供された画像取得装置を通じて取得し、
    前記得られた環境画像に対する障害物検出を行って、請求項３４〜６５の何れか１項に記載の前記装置を使用することによって障害物検出結果を特定するように構成された取得モジュールと、
    前記障害物検出結果に応じて制御命令を生成し、出力するように構成された制御モジュールと、
    を含む知的運転制御装置。
67. 電子機器において、
    コンピュータプログラムを記憶するように構成されたメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行するように構成されたプロセッサであって、前記コンピュータプログラムは、実行されると、請求項１〜３３の何れか１項に記載の方法を実施するプロセッサと、
    を含む電子機器。
68. コンピュータプログラムを記憶するコンピュータ可読記憶媒体において、前記コンピュータプログラムは、プロセッサにより実行されると、請求項１〜３３の何れか１項に記載の方法を実施するコンピュータ可読記憶媒体。
69. コンピュータ命令を含むコンピュータプログラムにおいて、機器のプロセッサの中での実行中に、前記コンピュータ命令は、請求項１〜３３の何れか１項に記載の方法を実施するコンピュータプログラム。

Images