JP2020087476A - 車両の全方位の障害物回避方法 - Google Patents

Abstract

【課題】車両周辺の障害物回避方法に関し、特に、車両の全方位の障害物回避方法を提供する。【解決手段】方法は、車両の深度カメラ装置の周辺画像に基づき周辺深度情報を取得し、周辺画像を全方位の周辺画像に統合して車両の一つの面を検知領域に分割し、検知領域により周辺深度情報および全方位の周辺画像を操作して障害物の加速度ベクトル情報および距離情報を算定し、障害物の加速度ベクトル情報および距離情報に基づき障害物の移動経路を推定し、推定した障害物の移動経路に応じたアラーム情報を生成する。【選択図】図１

Description

本発明は一般に、障害物回避方法に関し、特に、車両の全方位の障害物回避方法に関する。

現在、車両上に記録装置、検出装置および処理装置を導入することにより、例えば画像の正確さを較正するための距離パラメータを用いた３Ｄ自動車パノラマ画像システムなどの画像記録装置を車両に取り付けることは、かなり成熟した技術である。記録装置は、自動車を取り囲む全方位の空中画像を記録し、送信するために使用される。検出装置は、複数の距離信号を生成し、送信することにより、自動車と周囲の物体との間の距離を検出するために、使用される。処理装置は、較正モジュールと、スティッチモジュールと、操作モジュールとを含む。処理モジュールは、記録装置によって送信された空中画像と、検出装置によって送信された距離信号とを受信する。較正モジュールは、距離信号により空中画像の座標系を較正する。次に、操作装置は、３Ｄ自動車パノラマ画像を与えるために、アルゴリズムならびに挿入およびパッチ技術を使用する。記録装置は、自動車を取り囲む複数の全方位の空中画像を記録し、送信するために使用される。検出装置は、自動車と自動車を取り囲む１つもしくは複数の物体との間の距離を検出し、複数の距離信号を生成し、送信するために使用される。それにもかかわらず、超音波センサは、距離が近く、検出精度が高い場合でなければ、完全な距離情報を得ることができないため、移動する自動車の障害物の検出に適用できない。

検出精度を改善するために、従来技術によれば、複数のカメラレンズによって形成されたカメラレンズセットがある。カメラレンズは複数の外部画像を撮影して出力するために、自動車の周囲の異なる位置に配置される。画像を受信するために使用される３次元画像処理モジュールは、パノラマ投影画像を用いて３次元画像を与え、運転者の視野角に対応する運転者の視野に応じた部分的な３次元パノラマ投影画像を記録し、部分的な３次元の外部画像を出力するために、合成する。残念ながら、移動中の他の角度の画像を同時に観察することはできない。また、車両周辺の障害物の距離情報をリアルタイムに取得することができない。

その後、監視のために車両周辺の障害物を検出する際に改善がなされるが、他の車両に加えて、車両の動きに影響を及ぼす可能性のある物体がさらに多く存在する。例えば、歩行者、動物、および移動物体は、車両の障害物とみなすことができる。それらは、移動中の車両に緊急状態を引き起こす可能性がある。この影響は、都市の混雑した道路で最も深刻である。

上記課題を解決するために、本発明は、車両用の全方位の障害物回避方法を提供する。全方位の画像および全方位の深度情報を取得することにより、車両周辺の障害物情報を与えられる。そして、より危険性の高い障害物を回避するように車両を制御し、全方位の障害物回避の目的を達成する。

本発明の目的は、全方位の障害物を検出し、回避するためのアラームするための深度情報と共に統合した全方位の画像を提供することにより、車両の全方位の障害物回避方法を提供することである。

本発明の別の目的は、全方位の障害物回避のためのアラームを提供し、更に障害物を回避するために車両を操作することにより、車両の全方位の障害物回避の方法を提供することである。

本発明は、車両の全方位の障害物回避方法であって、車両の複数の深度カメラ装置を用いて複数の周辺画像を記録し、周辺深度情報の複数の部分を、検出アルゴリズムにより、取得するステップであり、前記複数の周辺画像は、一つまたは複数の障害物を含んでおり、前記一つまたは複数の障害物は、前記車両の一つの面に位置する；前記複数の周辺画像を、統合アルゴリズムにより、複数の全方位の周囲画像に統合し、前記車両の前記面から複数の検出領域に分割するステップ；前記複数の部分の周辺深度情報および前記複数の全方位の周囲画像を、前記複数の検出領域により、加速度ベクトル情報および距離情報を与えるように、操作するステップ；前記一つまたは複数の障害物の移動経路を、前記一つまたは複数の障害物の前記加速度ベクトル情報および前記距離情報により、算出するステップ；アラーム情報を、前記一つまたは複数の障害物の前記移動経路により、生成するステップ；を含む、方法を開示している。これにより、本発明は、車両の全方位の周囲における障害物に対する回避のアラームを提供することができるため、車両の運転者は周辺の障害物に起因する危険を防止することができる。

本発明の一実施形態によれば、車両の複数の深度カメラ装置を用いて検出アルゴリズムにより複数の周辺の深度情報を取得するステップでは、複数の周辺の３次元の深度情報は、複数の深度カメラ装置の検出結果および検出アルゴリズムにより、与えられる。

本発明の一実施形態によれば、複数の周辺画像を複数の全方位の周囲画像に統合するステップでは、統合アルゴリズムにより複数の周辺画像の複数の重複領域を除去し、複数の全方位の周囲画像に統合する。

本発明の一実施形態によれば、統合アルゴリズムは、複数の重複領域を与え、除去するために、画像記録モジュールの複数の検出範囲により複数の周辺画像の縁をさらに検出する。

本発明の一実施形態によれば、加速度ベクトル情報および１つ以上の障害物の距離情報に基づいて１つまたは複数の障害物の移動経路を算出するステップでは、１つまたは複数の障害物の移動速度および移動距離をさらに算出する。

本発明の一実施形態によれば、１つまたは複数の障害物の加速度ベクトル情報および距離情報により、１つまたは複数の障害物の移動経路を算出するステップでは、画像差分法を用いて複数のオプティカルフローベクトルを与えるように計算し、複数のオプティカルフローベクトルにより、１つまたは複数の障害物の加速度ベクトル情報、距離情報、移動速度、および移動距離を算出する。

本発明の一実施形態によれば、１つまたは複数の障害物の移動経路に従ってアラーム情報を生成するステップにおいて、さらに１つまたは複数の障害物を回避するように車両を制御する。

本発明の一実施形態によれば、１つまたは複数の障害物の移動経路によりアラーム情報を生成するステップの前に、さらに１つまたは複数の障害物を分類し、１つまたは複数の障害物にラベル付けする。

本発明の一実施形態によれば、アラーム情報は、障害物のアラーム情報及び回避情報を含む。

本発明の一実施形態によるフローチャートを示す。 本発明の一実施形態による深度検出モジュールの概略図を示す。 本発明の一実施形態による深度情報を統合する概略図を示す。 本発明の一実施形態による重複領域の概略図を示す。 本発明の一実施形態による画像統合の概略図を示す。 本発明の一実施形態による障害物検出の概略図を示す。 本発明の別の実施形態による障害物検出の概略図を示す。

本発明の構造および特性ならびに有効性を、さらに理解および認識させるために、本発明の詳細な説明は、実施形態および添付の図面とともに以下に提供される。

本発明の一実施形態によるフローチャートを示す図１を参照されたい。図に示すように、本発明による全方位の障害物の回避方法は、以下のステップを含む。

ステップＳ１０：車両の深度カメラ装置を用いて周辺画像を記録し、検出アルゴリズムにより周辺深度情報を取得するステップ。

ステップＳ２０：統合アルゴリズムにより周辺画像を全方位の周囲画像に統合し、車両の一つの面を検出領域に分割するステップ。

ステップＳ３０：検出領域により周辺深度情報および全方位の周囲画像を操作して、障害物の加速度ベクトル情報および距離情報を与えるステップ。

ステップＳ４０：障害物の加速度ベクトル情報および距離情報により、障害物の移動経路を算出するステップ。

ステップＳ５０：障害物の移動経路に応じたアラーム情報を生成するステップ。

ステップＳ１０において、図２Ａに示すように、車両１０は深度検出モジュール２０内の複数の深度カメラ装置２２を用いて周辺画像を撮影する。自動車制御チップ１２の演算処理部１２２を用いて、図２Ｂに示すように、複数の周辺深度情報、ＩＮＦＯを取得する。自動車制御チップ１２の画像処理部１２４を用いて、図２Ｂに示すように、複数の周辺画像Ｉ１を取得する。本実施形態では、複数の深度カメラ装置２２が車両１０の周囲にそれぞれ配置され、車両１０の周囲の複数の周辺画像を一度に撮像する。さらに、本実施形態によれば、深度検出モジュール２０は、半径１５メートル以内の深度画像を取得するための複数の高解像度深度カメラ装置２２を含む。複数の深度カメラ装置２２は、複数の周辺深度情報Ｉｎｆｏを取得する。

自動車制御チップ１２は、複数の深度カメラ装置に接続され、全方位の深度画像を取得する深度検出モジュール２０を形成する。演算処理部１２２および画像処理部１２４の動作および処理の後、複数の周辺深度情報Ｉｎｆｏ１および複数の周辺画像Ｉ１が与えられる。複数の深度カメラ装置２２は、赤外線または超音波方法を使用してさらに検出することができる。また、図２Ｂに示すように、本実施形態によれば、複数の深度カメラ装置２２の検出結果は、複数の周辺深度情報ＩＮＦＯを生成する検出アルゴリズムに従って演算処理部１２２によって演算され、演算処理部１２２によって統合された、複数の全方位の方向深度情報ＤＩＮＦＯが形成される。

演算処理部１２２によって実行される検出アルゴリズムを、以下のように説明する。

〔ソーベルエッジ検出〕
画像内の各画素およびその近傍の画素は、３×３マトリックスにより表し、方程式１においてＰ１、Ｐ２、Ｐ３、Ｐ４、、、Ｐ９により表す：

画像は、ワールド座標に対応する２つの深度センサ間の角度αによって形成される。ワールド座標は、Ｏｗ−ＸｗＹｗＺｗとして定義され、ここで、Ｘｃ＝Ｘｗ、Ｙｃ＝−Ｙｗ、Ｚｃ＝Ｌ−Ｚｗ、およびＡは画像Ａ’である。そして：

これにより、ワールド座標によって方程式８が書き換えられる。前の平面方程式は、周辺の環境に対する検出結果を推定するためにワールド座標により表され、次式が与えられる：

ステップＳ２０において、図２Ｄに示すように、複数の周辺画像Ｉ１を全方位の周囲画像Ｉ２に統合する。本実施形態によれば、統合アルゴリズムは、ｆ（ｘ，ｙ）を採用し、ｆ（ｘ，ｙ）は、方程式１８の中に示す。ｘまたはｙがある事実を満たす場合、特性関数は１となる。

観測値に対応する隠されたステータスは、コンテキスト（観測、ステータス）によって決定される。特性関数を使用することによって、環境特性（観測または状態の組み合わせ）を選択することができる。すなわち、隠れマルコフモデル（ＨＭＭ）モデルにおけるナイーブベイズの独立観測の仮定によって課される制約を回避するために、観測の代わりに特性（観測組み合わせ）を用いる。

サイズＴを用いたトレーニングデータ

によれば、経験的期待値は方程式（１９）により表され、モデル期待値は方程式（２０）により表される。最大エントロピーモデルの学習は、制約最適化と等価である。

経験的期待値がモデル期待値と同一であると仮定すると、以下の方程式２１により表される、任意の特性関数Ｆｉの条件付き確率分布に関連する制約を満たしている複数の集合Ｃが存在する：

最大エントロピー理論によって、不完全な情報（制限されたトレーニングデータなど）から妥当な確率分布のみを推定するためには、その情報により課される制約が満たされると、エントロピーは最大にすべきである。すなわち、最大エントロピーの分布は、限られた状態の確率集合が与えられると、最適化された分布である。これにより、最大エントロピーモデルは、凸関数に対する制約最適化問題となる。

ラグランジュ二重性は一般に、極値を解くために、方程式を制約のない方程式に変換するために採用される：

ｐについてＬａｎｇｒａｇｅ関数の偏導関数を計算し、それを０に等しくする。方程式を解く。いくつかのステップを省略することによって、以下の方程式が導出される：

〔最大エントロピーマルコフモデル（ＭＥＭＭ）〕

ＨＭＭの２つの条件付き確率分布を置き換えるには、

分布を使用する。前の状態と現在の観測値によって、現在の状態の確率を計算することを意味する。このような分布関数

の各々は、最大エントロピーに準拠するインデックスモデルである。

点

の離散確率分布の点および最大情報エントロピーが発見され、発見される確率分布が

と発見された場合、最大エントロピー方程式は以下の通りである：

各点

における確率分布

の合計は、１でなければならない：

ラグランジュ乗数を用いることによって、最大エントロピーの角度を推定することができ、

は、

の離散確率分布のすべての

をカバーする：

以下を行うための

方程式の系が与えられ、ここで

である：

これらの

方程式を拡張することにより、次式が得られる：

λのみに依存するため、全ての

が等しいことを意味する。以下の制約を使用する：

は以下を与える：

これにより、均一な分布は最大エントロピーの分布となる。

方程式３７を用いることによって、最大エントロピー分布を推定することができる。図２Ｃに示すように、画像統合のプロセス中に、画像重複領域Ｏが除去され、図２Ｄに示すように、全方位の周囲画像Ｉ２が生成される。すなわち、方程式３７により与えられる最大エントロピー分布を用いて、全ての周辺画像Ｉ１を統合し、重複領域Ｏを除去し、全方位の周囲画像Ｉ２を生成する。

また、図２Ａおよび図２Ｂに示すように、ステップＳ２０において、複数の全方位の周囲画像Ｉ２および複数の全方位の深度情報ＤＩＮＦＯによって、車両１０の周辺領域を複数の検出領域Ａに分割する。

ステップＳ３０において、図２Ａおよび図２Ｂを参照し、複数の検出領域ＡおよびＬｕｃａｓ−Ｋａｎａｄｅオプティカルフローアルゴリズムを用いて、障害物が算出される。始めに、画像差分法を用いて、画像制約方程式にテイラー方程式を適用し、次式を得る：

Ｈ．Ｏ．Ｔ．は、高次の項を表し、これは、移動が十分に小さい場合には無視することができる。この方程式によれば、次のように求めることができる：

あるいは

から、以下が与えられる：

Ｖ_ｘ、Ｖ_ｙ、およびＶ_ｚは、それぞれｘ、ｙ、およびｚ方向におけるＩ（ｘ，ｙ，ｚ，ｔ）のオプティカルフローベクトル成分である。

および

は、画像内の点（ｘ，ｙ，ｚ，ｔ）の対応する方向の差である。これにより、方程式４２は次の方程式に変換することができる：

方程式４２は、以下のようにさらに書き換えることができる：

方程式４１には３つの未知数（Ｖｘ，Ｖｙ，Ｖｚ）があるため、後続のアルゴリズムを使用して未知数を推定する。

始めに、オプティカルフロー（Ｖ_ｘ，Ｖ_ｙ，Ｖ_ｚ）が、ｍ^＊ｍ^＊ｍ（ｍ＞１）の小さなウィンドウにおいて、一定であると仮定する。次に、プリミティブ１からｎ、°n=m^°3°に従って、以下の一セットの方程式が与えられる：

上記の複数の方程式はすべて、３つの未知数を含み、方程式の集合を形成する。方程式の集合は重複決定された方程式の集合であり、次のように表すことができる：

これは、方程式４６として示される。

この重複決定された問題を解決するために、方程式４６は、最小二乗法を用いて、導き出す：

または

から、以下が与えられる

方程式４９の結果を方程式４１に代入し、１つまたは複数の障害物の加速度ベクトル情報および距離情報を算出する。

ステップＳ４０において、図２Ｅに示すように、前のステップＳ３０により与えられた加速度ベクトル情報および距離情報を用いて、車両の周辺の１つまたは複数の障害物の移動方向を推定し、そして１つまたは複数の障害物ＯＢの移動経路Ｐ１を算出することができる。また、本実施形態に係る車両１０は、自動車制御チップ１２の演算処理部１２２をさらに用いて、第１の障害物ＯＢ１の移動速度Ｖ１および移動距離Ｄ１をさらに算出することができる。本実施形態に係る第１の障害物ＯＢ１は、車両１０の前方を通過し、そして車両１０は、第１の障害物ＯＢ１の移動経路Ｐ１を横断する。

ステップＳ５０において、車両１０の自動車制御チップ１２は、１つまたは複数の障害物の移動経路に応じたアラーム情報を生成する。本実施形態によれば、自動車制御チップ１２は、車両１０と第１の障害物ＯＢ１との間の第１のアラーム距離ＤＡ１が第１の閾値内に到達したと判断し、一般の障害物としてのアラーム情報を送信する。例えば、アラーム情報は、ヘッドアップディスプレイ（ＨＵＤ）上に表示される。第１のアラーム距離ＤＡ１が第２の閾値に入ると、自動車制御チップ１２は、単一のアラーム音を出力し、アラーム情報を表示するようにＨＵＤを制御する。第１のアラーム距離ＤＡ１が第３の閾値に入ると、自動車制御チップ１２は間欠的なアラーム音を出力し、ＨＵＤ（図示せず）を制御してアラーム情報を表示する。第１のアラーム距離ＤＡ１が第４の閾値に入ると、自動車制御チップ１２は連続アラーム音を出力し、ＨＵＤ（図示せず）を制御してアラーム情報を表示する。第４の閾値は、障害物ＯＢが車両１０に非常に近いことを意味するため、自動車制御チップ１２はアラームを表現するために緊急の方法を使用する。

図２Ｆに示すように、本発明の別の実施例が示されている。本発明に係る車両の全方位の障害物回避方法を用いることにより、第２の障害物ＯＢ２が検出され、第２の障害物ＯＢ２の移動経路Ｐ２が算出される。自動車制御チップ１２は、車両が第２の障害物ＯＢ２の移動経路Ｐ２を横断しないと判断する。また、判定後、第２の障害物ＯＢ２の移動距離Ｄ２及び移動速度Ｖ２は変化しない。これにより、車両１０と第２の障害物ＯＢ２との距離が第２のアラーム距離ＤＡ２であり、第２のアラーム距離ＤＡ１が第１、または第４の閾値以内にある場合のみ、自動車制御チップ１２は、アラーム情報を表示するようにＨＵＤを制御する。上述のＨＵＤは、車両用の成熟した技術である。本発明は、ＨＵＤに重点を置いていないため、それは、表示方法を説明するために用いられる。本発明によれば、車両１０のダッシュボード上のディスプレイ、例えば、カーオーディオ及びビデオディスプレイに、アラーム情報を更に表示することができる。

また、本発明によれば、ステップＳ５０の前に、自動車制御チップ１２は、障害物を分類してラベル付けすることができる。例えば、第１の障害物ＯＢ１を危険な障害物とし、第２の障害物ＯＢ２を危険ではない障害物とする。それらは、全方位の周囲画像Ｉ２においてラベル付けされ、ＨＵＤ上に表示されるか、又はカーオーディオ及びビデオディスプレイ上に表示される。

要約すると、本発明は、車両が予防的な回避を達成するための、全方位の障害物回避方法を提供する。センサが提供する、障害物の距離、位置、速度、加速度に応じて、移動方向などの複数種類の情報を算出することができる。この情報により、運転リスクを評価し、運転者に参考として提供することができる。また、移動中に危険に遭遇した車両の障害物情報は、参照データとして提供され、予防・判断のための重要なデータとして影響を与える。これにより、事前に高リスク行動を回避し、効果的にリスクを低減し、以下の効果を奏することができる。

１．全方位の回避技術は、逆転レーダを用いて、車を逆進させるなど、様々な環境に適用することができる。また、より詳細な距離情報及びより広い識別範囲を取得することに加えて、事故を防止するために、車両の移動方向を予めアラームすることができる。これにより、より良好なアラーム効果を得ることができる。

２．サイドブラインドスポットリマインダは、運転手がドアを開き、車から降りる前において、歩行者に気を付けることを運転手に認識させるために、アラームを提供することができる。本発明は、旋回および車線変更に適用することができる。現在の方法と比較して、本発明は、運転者の判断に役立つより多くの運転情報を、提供することができる。現在、自動車事故は、主に運転者の注意散漫によって引き起こされる。本発明は、注意散漫な運転によって引き起こされる運転リスクを抑制することができる。

したがって、前述の説明は、本発明の実施形態に過ぎず、本発明の範囲および幅を限定するために用いられるものではない。本発明の特許請求の範囲に記載された形状、構造、特徴、または技術的思想に従ってなされた同等の変更または修正は、本発明の特許請求の範囲に含まれる。

Claims (8)

1. 車両用の全方位の障害物回避方法であって、
   車両の複数の深度カメラ装置を用いて複数の周辺画像を記録し、周辺深度情報の複数の部分を、検出アルゴリズムにより、取得するステップであり、前記複数の周辺画像は、一つまたは複数の障害物を含んでおり、前記一つまたは複数の障害物は、前記車両の一つの面に位置する；
   前記複数の周辺画像を、統合アルゴリズムにより、複数の全方位の周囲画像に統合し、前記車両の前記面から複数の検出領域に分割するステップ；
   前記複数の部分の周辺深度情報および前記複数の全方位の周囲画像を、前記複数の検出領域により、加速度ベクトル情報および距離情報を与えるように、操作するステップ；
   前記一つまたは複数の障害物の移動経路を、前記一つまたは複数の障害物の前記加速度ベクトル情報および前記距離情報により、算出するステップ；
   アラーム情報を、前記一つまたは複数の障害物の前記移動経路により、生成するステップ；を含む、方法。
2. 車両の複数の深度カメラ装置を用いて複数の周辺画像を記録し、周辺深度情報の複数の部分を、検出アルゴリズムにより、取得する前記ステップでは、前記周辺深度情報は、前記複数の深度カメラ装置および前記検出アルゴリズムの検出結果により、推定される、請求項１に記載の方法。
3. 前記複数の周辺画像を、統合アルゴリズムにより、複数の全方位の周囲画像に統合し、前記車両の前記面から複数の検出領域に分割する前記ステップは、前記統合アルゴリズムにより、前記複数の周辺画像の重複領域を除去し、前記全方位の周囲画像に統合するステップを含む、請求項１に記載の方法。
4. 前記複数の部分の周辺深度情報および前記複数の全方位の周囲画像を、前記複数の検出領域により、操作する前記ステップは、前記複数の部分の周辺深度情報および前記複数の全方位の周囲画像により計算する画像差分法を使用して、複数のオプティカルフローベクトルを与えるステップと、さらに、前記複数のオプティカルフローベクトルにより、前記加速度ベクトル情報および前記距離情報を与えるステップを含む、請求項１に記載の方法。
5. 前記一つまたは複数の障害物の移動経路を、前記一つまたは複数の障害物の前記加速度ベクトル情報および前記距離情報により、算出する前記ステップは、前記一つまたは複数の障害物の移動速度および移動距離を算出するステップをさらに含む、請求項１に記載の方法。
6. アラーム情報を、前記一つまたは複数の障害物の前記移動経路により、生成する前記ステップは、前記一つまたは複数の障害物を避けるように、前記車両を操作するステップをさらに含む、請求項１に記載の方法。
7. アラーム情報を、前記一つまたは複数の障害物の前記移動経路により、生成する前記ステップの前に、前記一つまたは複数の障害物を分類し、ラベル付けするステップをさらに含む、請求項１に記載の方法。
8. 前記アラーム情報は、障害物アラーム情報および回避情報を含む、請求項１に記載の方法。