JP2020504847A - 自動車用ビジョンシステム及び方法 - Google Patents

Abstract

自動車用のビジョンシステム（１０）は、自動車の周囲から画像を取り込むように適合された撮像装置（１１）と、当該撮像装置（１１）によって取り込まれた画像を処理することによって自動車の周囲内の物体を検出するように、かつ、それぞれの被検出物体について、自車に対するその長手方向距離を計算するため、物体検出コード（１５）を実行するように適合された処理デバイス（１４）と、を備える。ビジョンシステムは、当該物体検出コード（１５）より高い機能安全レベルを有するゲートキーパーコードモジュール（３３）を備える。ゲートキーパーコードモジュール（３３）は、当該物体検出コード（１５）によって検出された物体（３２）を入力として取り、また、奥行き又はディスパリティ画像（３５）が、被検出物体（３２）を覆うエリアの少なくとも一部において、当該物体検出コード（１５）によって与えられた被検出物体（３２）の長手方向距離と所定の許容誤差内で一致するかどうかを評価する。【選択図】図２

Description

本発明は、自動車の周囲から画像を取り込むように適合された撮像装置と、当該撮像機器によって取り込まれた画像を処理して自動車の周囲の物体を検出するための物体検出コードを実行するように適合された処理デバイスと、を含む自動車用ビジョンシステムに関する。本発明はまた、対応するビジョン方法に関する。

かかるビジョンシステムは一般に知られている。例えば、欧州特許第２ ２１９ １３３（Ａ１）号を参照されたい。

ステレオビジョンカメラシステムでは、他の車両や歩行者等の物体は、例えば、モノ画像、ディスパリティ画像又はオプティカルフロー物体セグメンテーションでの分類、特徴点追跡等を含む、多くの異なる方法で検出され得る。かかる先進概念は、典型的に、大量のソフトウェアコードをもたらす。自動緊急ブレーキ又はステアリングアシスト等の安全上重要な高レベルアプリケーションでの被検出物体の使用を可能にするため、物体検出は、Ａｕｔｏｍｏｔｉｖｅ Ｓａｆｅｔｙ Ｉｎｔｅｇｒｉｔｙ Ｌｅｖｅｌ Ｂ（ＡＳＩＬ−Ｂ）等のより高い機能安全レベルに高めることが必要である。

しかし、より高い機能安全レベルで完全な物体検出コードを書く必要があるということは、多くの人的資源を要し、そのため、非常に費用がかかる。

欧州特許第２２１９１３３（Ａ１）号

本発明の目的は、物体検出によって検出される物体を、自動緊急ブレーキ又はステアリングアシスト等の安全上重要な高レベルアプリケーションで使用できる、費用効果の高いビジョンシステム及び方法を提供することである。

本発明は、独立請求項の特徴を用いてこの目的を解決する。本発明の観念は、より高い機能安全レベル品質を有する完全な物体検出コードを書く必要性を回避することである。代わりに、物体検出コードより有意に小さいサイズを有し、かつより高い安全レベル品質を有する、小さいゲートキーパーコードモジュールが、品質管理（ＱＭ）レベルのような重要でない安全レベルを有し得る物体検出コードの後に、すなわちダウンストリームに置かれる。これにより、より高い機能安全レベル品質を有しなければならないコードの量は、完全な物体検出コードがより高い機能安全性レベルを有する必要がある場合よりも、有意に、例えば少なくとも１桁分小さくなる。このことは、人的資源及び費用における膨大な削減に寄与する。

ゲートキーパーモジュールは、それぞれの被検出物体を入力として取る。他の車両、歩行者、一般的な物体等、物体のタイプにかかわらず、ゲートキーパーモジュールは、奥行き画像、又は代替的にディスパリティ画像が、被検出物体を覆うエリアの少なくとも一部において、物体検出コードによって与えられる被検出物体の長手方向距離と所定の許容誤差内で一致するか否かを評価する。換言すれば、被検出物体の世界位置に対応する画像位置における、又はその周辺の奥行き又はディスパリティ画像が、物体検出コードにより与えられる被検出物体の距離と類似した距離にある何らかの構造体を含むか否かを評価する。これに当てはまる場合、物体は、安全上重要な高レベルアプリケーションで使用するのに安全と見なされる。

ゲートキーパーコードモジュールは、当該物体検出コードによって得られた奥行き又はディスパリティ画像より高い機能安全レベルを有することが検証されている、検証済み奥行き又はディスパリティ画像を使用し得る。また、撮像装置の固有のヨー角較正は、当該ゲートキーパーコードモジュール及び／又は当該検証済み奥行き若しくはディスパリティ画像と少なくとも同じ機能安全レベルを有することが、好ましくは検証される。上記の有利な手段は、ゲートキーパーモジュールを通過した被検出物体の機能安全レベルの向上に寄与する。

好ましくは、ゲートキーパーコードモジュールを専用の処理デバイス、すなわち、物体検出コードを実行する電子処理デバイスとは異なる別個の電子処理デバイスで実行される。これにより、物体検出コードの処理デバイスにおけるハードウェアの電気的誤差は、ゲートキーパーコードモジュールの機能を損なわない。

以下では、添付の図面を参照して、好ましい実施形態に基づいて本発明を例解する。
本発明による、ビジョンシステムの概略図を示す。 ビジョンシステム内の動作を例示するための概略的フローチャートを示す。 ゲートキーパーコードモジュールの動作を例示するための取り込み画像を示す。

ビジョンシステム１０は、自動車に取り付けられ、自動車を取り囲む領域、例えば、自動車の前方領域の画像を取り込むための撮像装置１１を備える。好ましくは、撮像装置１１は、特定のカメラ内の、好ましくは可視及び／又は赤外波長域内で動作する、１つ以上の光学撮像デバイス１２を備え、赤外線は、５マイクロメートル未満の波長を有する近赤外線及び／又は５マイクロメートルを超える波長を有する遠赤外線を含める。いくつかの実施形態では、撮像装置１１は、特にステレオ撮像装置１１を形成する複数の撮像デバイス１２を備える。他の実施形態では、モノ撮像機器１１を形成する１つの撮像デバイス１２のみを使用することができる。

撮像装置１１は、撮像装置１１から受信した画像データを処理するように適合されたデータ処理デバイス１４に接続される。データ処理デバイス１４は、撮像装置１１による画像の取り込みを制御し、撮像装置１１から画像情報を含む電気信号を受信し、左右一対の画像を整列するように修正若しくはワープさせ、かつ／又はディスパリティ若しくは奥行き画像を生成するように適合された、事前処理セクション１３を備えてもよく、それ自体、当該技術分野において既知である。画像前処理セクション１３は、専用のハードウェア回路、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）によって実現されてもよい。あるいは、前処理セクション１３、又はその機能の一部は、マイクロプロセッサ、又は例えば、ＦＰＧＡ、ＤＳＰ、ＡＲＭ、及び／若しくはマイクロプロセッサ機能を含むシステムオンチップ（ＳｏＣ）デバイス内のソフトウェアによって実現され得る。１つのカメラ１２のみを使用するビジョンシステム１０の場合、前処理セクション１３は必要とされない場合がある。

物体検出コード１５によって処理デバイス１４で実行される更なる画像及びデータ処理は、歩行者、他の車両、自転車乗用者、及び／又は大型動物等、自動車前方の潜在的な物体を識別し、好ましくは分類することと、取り込んだ画像内で識別される物体候補の位置を経時的に追跡することと、追跡された物体に関して実行される推定、例えば、推定される衝突確率に応じて、少なくとも１つの運転補助デバイス１８を起動させる又は制御することと、を含む。

物体検出コード１５は、被検出物体の世界座標を決定し、それぞれの被検出物体に割り当てる。世界座標は、例えばメートル単位の、特に長手方向距離、横方向距離、及び／又は被検出物体の地面からの高さを含む、車両に対する物体の位置である。世界座標は、被検出物体の画像位置及びカメラの推定角度（画像から外界への投影）を使用することにより、物体検出コード１５によって計算される。世界座標の計算に影響を及ぼし得る要因は、高さの仮定、尺度変化、平坦地の仮定、経時的フィルタリング等である。ステレオ撮像装置１１の場合、奥行き画像を使用して、特にくぼみ及び陥没のある道路、すなわち非平坦路に対するより正確な座標を得ることができる。

運転補助デバイス１８は、特に、被検出物体に関する情報を表示するための表示デバイスを備えてもよい。しかし、本発明は、表示デバイスに限定されない。運転補助デバイス１８は、好適な光学的、音響的、及び／若しくは触覚的な警告信号によって、運転者に衝突警告を提供するように適合された警告デバイス、乗員用エアバッグ若しくは安全ベルト引張機、歩行者用エアバッグ、フードリフター等の１つ以上の拘束システム、並びに／又はブレーキ若しくはステアリング制御デバイス等の動的な車両制御システムを追加的又は代替的に備えてもよい。

データ処理デバイス１４は、好ましくは、プログラムされた、又はプログラム可能なデジタルデバイスであり、好ましくは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、又はシステムオンチップ（ＳｏＣ）デバイスを備え、好ましくは、メモリデバイス２５へのアクセスを有するか又はそれを備える。データ処理デバイス１４、１９、前処理セクション１３、及びメモリデバイス２５は、好ましくは、車載電子制御ユニット（ＥＣＵ）内に設けられ、別個のケーブル又は車両データバスを介して撮像装置１１に接続され得る。別の実施形態では、ＥＣＵ及び撮像装置１２のうちの１つ以上を、単一のユニットに統合することができ、ＥＣＵ及びすべての撮像装置１２を含むワンボックスソリューションが好ましい場合がある。撮像、画像前処理、画像処理から、運転補助デバイス１８の考えられる起動又は制御までのすべてのステップは、運転中にリアルタイムで自動的かつ連続的に実行される。

以下では、図２及び図３に基づいて本発明を説明する。ここでステレオ撮像装置である撮像装置１１からの左右の画像３０を用いて、重要でない機能安全レベルに対応するＱＭ品質を有するディスパリティ画像計算コード３７により、ディスパリティ画像３１を計算する。ディスパリティ画像計算コード３７は、例えば、上述のように前処理セクション１３で、又は処理デバイス１４で、実行されてもよい。ＱＭディスパリティ画像３１は、上述のように、自動車の周囲にある物体３２を検出するため、ＱＭ物体検出コード１５によって使用される。物体検出コード１５は、処理デバイス１４によって実行される。本発明なしでは、被検出物体３２は、運転補助デバイス１８の起動を評価し、決定するために使用される。

前述のように、安全上重要なアプリケーションでは、ＱＭ安全レベルを有する被検出物体に頼るだけでは十分でない場合がある。したがって、本発明により、ゲートキーパーコードモジュール３３、略してゲートキーパーモジュール３３が、処理デバイス１９に提供される。ゲートキーパーコードモジュール３３は、物体検出コード１５より高い機能安全レベル、例えば、ＡＳＩＬ−Ｂレベルを有する。

概ね、ゲートキーパーモジュール３３は、物体検出コード１５によって提供される、より高い機能安全レベルを満たす被検出物体３２のみを通過させる。換言すれば、ゲートキーパーモジュール３３は、それ自身で新規の被検出物体を生成せず、物体検出コード１５によって検出された物体のチェックのみを行い、ゲートキーパーモジュール３３のより高い機能安全標準を満たしていない物体を拒否する。これは、ゲートキーパーコードモジュール３３によって検証された検証済み被検出物体３４の数が、未検証の被検出物体１５の数以下であることを暗に示している。

ゲートキーパーコードモジュール３３は、より高い機能安全レベル品質で再書き込みされる、物体検出コード１５のサブセットからなり得る。すなわち、物体検出コード１５によって実行されるものとまったく同じ物体検出をゲートキーパーコードモジュール３３で再使用することができるが、必要な構成要素はわずかである。これは、機能安全モジュール３３の目的が、ＱＭコード内のバグと、処理ハードウェア内の電子的誤差と、を探すことのみであるためであり、それらのいずれも、被検出物体に関する非常に大きな誤差として現れるため、容易に検出される。上の方法により、ゲートキーパーコードモジュール３３を製造する労力は、著しく削減され得る。ゲートキーパーコードモジュール３３は、物体検出コード１５よりも有意に小さく、例えば、物体検出コード１５の３分の１等、半分未満であり得る。

ゲートキーパーモジュール３３は、検証済みディスパリティ画像３５を使用して、被検出物体３２を有利に評価する。検証済みディスパリティ画像３５をもたらすディスパリティ画像３１の検証３６は、未検証のディスパリティ計算コード３７より高い機能安全レベル、例えば、ＡＳＩＬ−Ｂを有する検証コードを使用する。

検証３６は、異なる方法で行われてもよい。好ましい実施形態では、ディスパリティデータは、画像の複数の行に対して、例えば、１列おきに、又はｎ番目の列ごとに、又は列の任意の他の真のサブセットに対して再計算される。再計算されたディスパリティデータが、対応する元のディスパリティデータ３１と特定の許容誤差内で一致する場合、元のディスパリティ画像３１の全体は、より高い機能安全レベル（ＡＳＩＬ−Ｂ等）の下に安全であると見なされ得、「安全」を示す安全フラグと共に検証済みディスパリティ画像３５として出力される。再計算されたディスパリティデータが、対応する元のディスパリティデータ３１と特定の許容誤差内で一致しない場合、安全フラグは、「安全でない」を示すように設定される。したがって、安全フラグは、好ましくはバイナリフラグである。

また、再計算されたディスパリティデータを用いて元のディスパリティ画像３１を補正すること、また、補正したディスパリティ画像を検証済み画像３５として、「安全」を示すフラグと共に出力することが可能であり得る。元のディスパリティ画像３１の行以外の他のサブセットを、検証３６を実行するために再計算することもできる。代替的に、元のディスパリティ画像３１全体を検証３６で再計算することもできる。この場合、便宜上、再計算されたディスパリティ画像全体が、検証済みディスパリティ画像３５として出力される。

好ましくは、ゲートキーパーコードモジュール３３は、専用のハードウェアデバイス１９、すなわち、物体検出コード１５を実行する処理デバイス１４とは異なる別個の電子処理デバイス１９上で実行される。専用の機能安全処理デバイス１９は、処理デバイス１４に関した上述したタイプのものであってもよい。好ましくは、処理デバイス１４と比べて小さく、低費用な専用の機能安全処理デバイス１９、すなわち、処理能力の低いデバイスでも、ゲートキーパーコードモジュール３３を実行するのに十分であり得る。検証コード３６は、同様の理由からゲートキーパーコードモジュール３３と同じ処理デバイス１９上で好ましくは実行され得る。

好ましい実施形態におけるゲートキーパーモジュール３３の動作を、撮像装置１１によって取り込まれた画像を示す図３に基づいて例示する。トラック４０は、自車の前方の道路上に存在している。トラック４０は、ＱＭ物体検出コード１５によって検出され、物体境界ボックス４１を生成したものと想定され得る。ゲートキーパーモジュール３３は、ＱＭ物体検出コード１５によって提供される物体境界ボックス４１の領域内の検証済み奥行き画像３５（図示せず）を考慮する。換言すれば、被検出物体３２の世界座標は、検証済みディスパリティ画像３５上に投影され、その結果、対応する境界ボックス４１が生成される。

具体的には、ゲートキーパーモジュール３３は、当該境界ボックス４１内の、又は当該境界ボックス４１を覆う、又は当該境界ボックス４１内の当該物体４０を覆うグリッド４２を画定する。グリッド４２は、ｎｘｍグリッドであり得、ｎ＞１及びｍ＞１は整数であり、ｎ列４３、ｍ行、及びｎｘｍボックス４４を画定する。例えば、図３では、ｎ＝１０である。列４３は、請求項の文言にあるサブエリアを形成する。それぞれのボックス４４には、被検出物体を安全と見なすための最大許容位置誤差に対応する寸法、特に幅及び高さが割り当てられる。

ゲートキーパーモジュール３３は、１つの列４３、例えば左端の列４３の一端、例えば下端での検証を開始する。すなわち、左端の列の最下ボックス４４が、ボックス４４に対応する被検出物体の一部の長手方向距離世界座標と比較される。物体検出コード１５によって計算されるように、ボックス４４内の被検出物体の長手方向距離が、検証済み奥行き画像３５内のボックス４４の奥行きと既定の許容誤差内で一致する場合、対応する列４３全体（ここでは左端の列４３）は安全であると考えられる。一致しない場合、ゲートキーパーは、同じ列４３、ここでは左端の列４３内の１つ上のボックスに移動し、そのボックスに対して再度同じ比較を行う、等となる。概ね、特定のサブエリア（ここでは左端の列４３）内のボックスの第１の一致は、特定のサブエリア４３全体に対して一致条件が満たされていると見なすのに十分であると考えられる。したがって、第１の一致時に、ゲートキーパーモジュール３３は、次の列４３、ここでは左から２番目の列４３に進み、左から２番目の列４３の最下ボックス４４から始め、同じプロセスを繰り返す。

結局、それぞれの列４３内の少なくとも１つのボックス４４が一致条件を満たしている場合、被検出物体４０は、ＡＳＩＬ−Ｂ等のより高い機能安全レベルにおいて安全であると見なされる。ゲートキーパー３３は、安全な物体３４を通過させ、それに基づいた能動ブレーキ又はステアリングアシスト等の安全上重要な決定を行わせ得る。

更に、１つの列４３のみ等、ごくわずかな列４３のみが一致条件を満たしていない（すなわち、列４３のすべてのボックスが一致条件を満たしているわけではない）場合、被検出物体４０は、なお、ＡＳＩＬ−Ｂ等のより高い機能安全レベルにおいて安全であると見なされ得る。

一方、一致条件を満たしていない列４３の数が、２つ以上の失敗列４３等、既定の数を超える場合、被検出物体４０は、ＡＳＩＬ−Ｂ等のより高い機能安全レベルにおいて安全でないと見なされる。ゲートキーパー３３は、安全でない物体３２、すなわち合格できない物体を拒否又は廃棄して、能動ブレーキ又はステアリング支援等の安全上重要な決定をそれに基づかせないようにする。

概して上の手順では、検証済み奥行き画像３５の考慮時にボックス４４内の十分な数のディスパリティピクセルが、ボックス４４に対応する被検出物体の一部において被検出物体３２が有する距離と十分類似する長手方向距離を有する場合に、一致条件は満たされていると見なされる。

Claims (15)

1. 自動車用ビジョンシステム（１０）であって、前記自動車の周囲から画像を取り込むように適合された撮像装置（１１）と、前記撮像装置（１１）によって取り込まれた画像を処理することによって前記自動車の前記周囲内の物体を検出するため、かつ被検出物体それぞれについて、前記自車に対するその長手方向距離を計算するため、物体検出コード（１５）を実行するように適合された処理デバイス（１４）と、を含み、前記ビジョンシステムが前記物体検出コード（１５）より高い機能安全レベルを有するゲートキーパーコードモジュール（３３）を備えることを特徴とし、前記ゲートキーパーコードモジュール（３３）は、前記物体検出コード（１５）によって検出される物体（３２）を入力として取り、また、奥行き又はディスパリティ画像（３５）が、前記被検出物体（３２）を覆うエリアの少なくとも一部において、前記物体検出コード（１５）によって与えられる前記被検出物体（３２）の前記長手方向距離と所定の許容誤差内で一致するかどうかを評価するように適合されている、ビジョンシステム。
2. 前記ゲートキーパーコードモジュール（３３）が、前記物体検出コード（１５）より高い機能安全レベルを有する検証コード（３６）によって検証されている、検証済み奥行き又はディスパリティ画像（３５）を使用することを特徴とする、請求項１に記載のビジョンシステム。
3. 前記検証済み奥行き又はディスパリティ画像（３５）が、前記ゲートキーパーコードモジュール（３３）より低い機能安全レベルと、前記検証コード（３６）によって提供される「安全」又は「安全でない」を示す安全フラグと、を有する、奥行き又はディスパリティ画像計算コード（３７）によって計算された奥行き又はディスパリティ画像（３１）であることを特徴とする、請求項２に記載のビジョンシステム。
4. 前記検証済み奥行き又はディスパリティ画像（３５）が、画像全体のサブセットに対する前記奥行き又はディスパリティ画像計算機（３７）からの奥行き又はディスパリティデータ（３１）を再計算することによって、前記再計算された奥行き又はディスパリティデータを前記元の奥行き又はディスパリティデータ（３１）と比較するために得られることを特徴とする、請求項１〜３のいずれか一項に記載のビジョンシステム。
5. 前記撮像装置（１１）の前記固有の較正、特に前記固有のヨー角較正が、前記ゲートキーパーコードモジュール（３３）及び／又は前記検証コード（３６）と少なくとも同じ機能安全レベルを有することが検証されていることを特徴とする、請求項１〜４のいずれか一項に記載のビジョンシステム。
6. 前記ゲートキーパーコードモジュール（３３）が、前記被検出物体（４０）を覆うエリアをサブエリア（４３）に分割するように、かつ、前記サブエリア（４３）の少なくとも一部で前記一致評価を行うように適合されていることを特徴とする、請求項１〜５のいずれか一項に記載のビジョンシステム。
7. 前記一致条件が既定数の前記サブエリア（４３）に対して満たされていない場合、被検出物体が廃棄されることを特徴とする、請求項６に記載のビジョンシステム。
8. 前記サブエリア（４３）がグリッドの列であることを特徴とする、請求項６又は７に記載のビジョンシステム。
9. 前記ゲートキーパーコードモジュール（３３）が、前記サブエリア（４３）をボックス（４４）に分割するように、かつ、前記ボックス（４４）の少なくとも一部で前記一致評価を行うように適合されていることを特徴とする、請求項６〜８のいずれか一項に記載のビジョンシステム。
10. 前記ボックス（４４）が、前記グリッドの行（４３）及び列によって画定されることを特徴とする、請求項９に記載のビジョンシステム。
11. それぞれのボックス（４４）が、前記被検出物体（４０）を安全と見なすための最大許容位置誤差に対応する寸法を有することを特徴とする、請求項９又は１０に記載のビジョンシステム。
12. 特定のサブエリア（４３）内のボックス（４４）の前記第１の一致が、その特定のサブエリア（４３）に対して前記一致条件が満たされていると見なすのに十分であると考えられることを特徴とする、請求項９〜１１のいずれか一項に記載のビジョンシステム。
13. 前記検証済み奥行き画像（３５）の考慮時に、前記ボックス（４４）内の十分な数のディスパリティピクセルが、前記被検出物体（３２）がボックス（４４）に対応する前記被検出物体の前記一部において有する距離と十分に類似する長手方向距離を有する場合に、一致条件は満たされていると見なされることを特徴とする、請求項１〜１２のいずれか一項に記載のビジョンシステム。
14. 前記ゲートキーパーコードモジュール（３３）と、好ましくは更に前記検証コード（３６）と、が、専用の電子処理デバイス（１９）上で実行されることを特徴とする、請求項１〜１３のいずれか一項に記載のビジョンシステム。
15. 自動車用のビジョン方法であって、前記自動車の周囲から画像を取り込むことと、取り込んだ画像を処理することによって前記自動車の前記周囲内の物体を検出するため、かつ、それぞれの被検出物体に対して、前記自車に対するその長手方向距離を計算するため、物体検出コード（１５）を実行することと、を含み、前記物体検出コード（１５）より高い機能安全レベルを有するゲートキーパーコードモジュール（３３）を実行することによって特徴付けられ、前記ゲートキーパーコードモジュール（３３）は、前記物体検出コード（１５）によって検出された物体（３２）を入力として取り、また、奥行き又はディスパリティ画像（３５）が、前記被検出物体（３２）を覆うエリアの少なくとも一部において、前記物体検出コード（１５）によって与えられる前記被検出物体（３２）の前記長手方向距離と所定許容誤差内で一致するかどうかを評価する、ビジョン方法。

Images