JP2016530640A - 画像情報の中の物体を認識する方法および制御装置 - Google Patents

Abstract

本発明は、画像情報（１０４）の中の物体を認識する方法に関するものであり、画像情報（１０４）は１つの状況の最中におけるカメラ（１０６）の検出領域内のシーン（１０８）を表している。この方法は、読込みのステップと、選択のステップ（４０４）と、探索のステップとを有している。読込みのステップで、画像情報（１０４）と、状況を表す少なくとも１つのパラメータ（１１０）とが読み込まれる。選択のステップで、その状況で予期可能に認識可能な物体の物体クラスの指標組合せがパラメータ（１１０）を利用したうえで選択される。探索のステップで、画像情報（１０４）の中で指標組合せが探索されて、物体を認識する。【選択図】 図１

Description

本発明は、画像情報の中の物体を認識する方法、これに対応する制御装置、ならびにこれに対応するコンピュータプログラム製品に関する。

運転者アシストシステムは、車両の周辺区域で認識された物体に基づいて、車両への介入ならびに車両の運転者のための推奨を行うことができる。物体はカメラで検出することができ、カメラの画像情報として存在し得る。

特許文献１は、輪郭点を用いてリアルタイムでセグメント化する方法および画像処理装置を記載している。データの縮小が、迅速な処理を可能にする。

ドイツ特許第１０２００６０４４５９５８４号明細書

以上を背景としたうえで本発明により、画像情報の中の物体を認識する方法、さらにはこの方法を適用する制御装置、ならびに最後にこれに対応するコンピュータプログラム製品が、それぞれ主請求項に基づいて提供される。好ましい実施形態は、それぞれの従属請求項および以下の説明から明らかとなる。

たとえば変化する明るさ、変化する視界、あるいは変化する光入射角などの変化する条件のもとで、物体がカメラにより画像情報の中で非常に異なる形で結像される可能性がある。画像情報の中の物体を確実に認識するために、現在支配的な条件に応じて適合化された基準によって物体を探索することができる。さまざまな基準は、さまざまな指標記述で表現されていてよい。指標記述は、条件に応じて、多様な指標記述から選択して適用することができる。

ここで提案される取組みは、単純な例として、視線誘導標を考えれば明確にすることができる。視線誘導標は黒色に浮き出る連結部を備える白色の本体、ならびにリフレクタを見る者に示す。昼間光のとき、視線誘導標はその黒色の連結部と白色の背景色との間のコントラストに基づいて画像情報の中で認識することができ、それに対して、リフレクタはさほど視覚的な刺激をもたらさない。しかし暗闇のとき、視線誘導標は主としてリフレクタではね返される光に基づいて画像情報の中で認識することができ、それに対して、黒白のコントラストは実際には最小の距離になるまで目立たない。したがって、昼間光のもとでは黒白のコントラストに基づき、画像情報の中で視線誘導標の探索を実行することができる。暗闇では、リフレクタを特徴づける発光パターンに基づいて探索を実行することができる。それにより、昼間光のときでも暗闇のときでも、視線誘導標を確実に認識することができる。

同様にして、その他の物体クラスについての認識の基準を状況に応じて適合化することができる。

画像情報の中の物体を認識する方法が提案され、画像情報は１つの状況の最中におけるカメラの検出領域内のシーンを表しており、本方法は次の各ステップを有している：
画像情報と、状況を表す少なくとも１つのパラメータとが読み込まれ；
その状況で予期可能に認識可能な物体の物体クラスの指標組合せがパラメータを利用したうえで選択され；
画像情報の中で指標組合せが探索されて、物体を認識する。

画像情報とは電子画像データであると理解することができる。画像情報は、網目状に配置された多数の画点の強度情報から構成することができる。画像情報は現実のシーンの結像を表すことができる。ここでのシーンは、現実の周囲の一断片の斜視図像であってよい。この断片は、カメラの検出領域の少なくとも１つの部分領域であってよい。物体は、画像情報の中で少なくとも部分的に認識可能に表された対象物であってよい。状況は、画像情報が検出される枠組条件を特徴づけることができる。物体クラスは、類似する物体についての上位概念ないし集合概念であってよい。物体クラスの物体の主要な指標は、許容範囲内で一致することができる。指標組合せは、物体クラスを特徴づける複数の指標を含むことができる。そのつどの状況について、適合化された指標組合せが準備されていてよい。それぞれ異なる状況についての２つの指標組合せは、少なくとも１つの指標に関して相互に相違していてよい。物体クラスは状況関連で選択することができる。複数のサイクルで、異なる物体クラスの物体を画像情報の中で探索することができる。

読込みのステップでは、積分画像を画像情報として読み込むことができる。積分画像は、シーンのカメラ画像の画点の明度値の行および／または列ごとの積分を表すことができる。積分画像では１つの画点から隣接する画点へと、１つの方向では増加していく明度値だけが得られ、これと反対の方向では減少していく明度値だけが得られる。それにより、探索のステップで簡素化された処理規則を適用することができ、それによって探索のための時間を節約することができる。

探索のステップでは、第１の探索ステップで、指標組合せに属する第１の指標をチェックのために適用することができる。次いで、少なくとも１つの別の探索ステップで、指標組合せに属する少なくとも１つの別の指標をチェックのために適用することができる。個々の指標の探索は、簡素化された処理規則によって実行することができ、それによって探索のための時間を節約することができる。

チェックをするための別の指標は、別の探索ステップで、先行する探索ステップの結果を利用したうえで指標組合せから選択することができる。複数の指標を相互に関連づけて選択することができる。たとえば、ある特定の指標は別の指標を排除していることがあり得るので、したがって、この他の指標はもはやチェックする必要がなくなる。それによって探索のための時間を節約することができる。

物体の認識確率を提供することができる。この場合、画像情報の中で指標組合せの指標を多く認識可能であるほど、いっそう高い認識確率を提供することができる。認識確率により、不完全にしか認識可能でない物体に対しても反応することができる。たとえばそのようにして部分的に隠れている物体を、指標組合せの全部の指標を認識することができなくでも、認識することができる。複数の物体クラスが物体に該当する可能性もあり、考えられる物体クラスに選択を限定することができる。

指標組合せの最低数の指標が画点で認識されるときに、画像情報の画点を物体として識別することができる。これらの画点を、高い確率で認識された物体としてマーキングすることができる。高い確率で認識された物体を、以後の画像情報の中であらためて探索することができる。それにより、詳細な探索を画像情報の部分領域だけに限定することができる。

本方法は状況を認識するステップを有することができ、状況は画像情報の中のシーンおよび／または車両データおよび／または環境条件を利用したうえで認識される。画像情報の中で状況が認識されることで、その状況について独自のセンサがなくても本方法を実施することができる。

さらに、認識されるべき物体クラスのクラス情報を読み込むことができる。選択のステップでは、クラス情報を利用したうえで、複数の異なる指標組合せから、その物体クラスを表す指標組合せを選択することができる。他の物体クラスが関心の対象とならなければ、物体探索を少なくとも１つの物体クラスだけに的確に限定することができる。それによって本方法を迅速化することができる。

指標組合せは、認識されるべき物体の少なくとも１つの面積和に関する情報を含むことができる。それにより、本方法を迅速かつ確実に実施することができる。

画像情報の中の物体を認識するための制御装置が提案され、画像情報は１つの状況の最中におけるカメラの検出領域内のシーンを表しており、この制御装置は次の各構成要件を有している：
画像情報と、状況を表す少なくとも１つのパラメータとを読み込むためのインターフェース；
その状況で予期可能に認識可能な物体の物体クラスの指標組合せをパラメータを利用したうえで選択する装置；および
画像情報の中で指標組合せを探索して物体を認識する装置。

制御装置の形態の本発明のこの変形実施形態によっても、本発明に課せられた課題を迅速かつ効率的に解決することができる。

制御装置とは、本件においては、センサ新号を処理し、それに依存して制御信号および／またはデータ信号を出力する電気機器であると理解することができる。制御装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成では、インターフェースは、たとえば制御装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独自の集積回路であるか、または、少なくとも部分的に離散したデバイスから成り立っていることも可能である。ソフトウェアとしての構成では、インターフェースは、たとえばマイクロコントローラに他のソフトウェアモジュールと並んで存在するソフトウェアモジュールであってよい。

半導体メモリ、ハードディスクメモリ、または光学メモリのような機械式に読取り可能な媒体に保存されていてよく、プログラム製品がコンピュータまたは装置で実行されるときに、上に説明したいずれかの実施形態に基づいて本方法を実施するために利用されるプログラムコードを有するコンピュータプログラム製品も好ましい。

次に、添付の図面を参照しながら本発明を一例として詳しく説明する。図面は次のものを示している：

本発明の１つの実施例に基づく画像情報の中の物体を認識するための制御装置を備えた車両を示す図である。 本発明の１つの実施例に基づく画像情報の中の物体を認識するための方法手順を示すグラフィックな図である。 本発明の１つの実施例に基づく画像情報の中の物体を認識するための制御装置のブロック図である。 本発明の１つの実施例に基づく画像情報の中の物体を認識する方法のフローチャートである。

本発明の好都合な実施例についての以下の説明では、異なる図面に示されていて類似の作用をする部材には同一または類似の符号が使われており、これらの部材について繰返し説明することはしない。

図１は、本発明の１つの実施例に基づく画像情報１０４の中の物体を認識するための制御装置１０２を備えた車両１００の図面を示している。画像情報１０４は、ここでは車両１００に取り付けられていて車両１００の前方の検出領域に向けられたカメラ１０６によって生成される。カメラ１０６は、検出領域内のシーン１０８を画像情報１０４として結像するように構成されている。制御装置１０２は、画像情報１０４のためのインターフェースと、少なくとも１つのパラメータ１１０のためのインターフェースとを有している。パラメータ１１０は、カメラ１０６がシーン１０８を検出している状況を表す。

１つの実施例では、パラメータ１１０は車両速度である。

１つの実施例では、パラメータ１１０は照明強度である。

１つの実施例では、パラメータ１１０は気象状況である。

制御装置１０２は、パラメータ１１０を利用したうえで物体を認識するように構成されている。そのために制御装置１０２は、認識されるべき物体クラスの一連の異なる指標組合せから、パラメータ１１０にもっとも良く適合する指標組合せを選択する。それにより、たとえば暗闇のときには昼間光のときとは別の指標を物体認識のために援用することができる。同様に、降雨のときには晴天のときとは別の外観を物体が有することがある。そのつどもっとも良く適した指標に集中することで、確実な物体認識が可能となる。シーン１０８で認識された物体の位置が、以後の利用のために他の車両制御装置１１２へと転送される。

１つの実施例では、制御装置１０２は車両１００の車内コンピュータに実装されている。

１つの実施例では、制御装置１０２は車両１００のカメラ制御装置に実装されている。

１つの実施例では、制御装置１０２は車両１００のナビゲーション制御装置に実装されている。

カメラシステム１０６の前の物体を含むシーン１０８の画像情報１０４は、データインターフェースを介して読み込まれる。インターフェースを介して、車両１００の速度のような車両データやシステムデータもパラメータ１１０として読み込まれる。

換言すると１つの実施例に基づく図１は、ビデオ画像の中の物体認識のためにＦＰＧＡ（フィールドプログラマブルゲートアレイ）に基づいて重みづけされた面積和の利用を示している。

カメラ映像の中の物体は、面積の和とその線形演算との組合せから認識することができる。このような物体認識は、低い誤警告率で良好な認識率を達成するために、学習方法を用いてトレーニングすることができる。ここで提案される取組みは、このような方法の計算の複雑さを低減し、リアルタイム運転者アシストシステム（ＦＡＳ）での採用にとっての適性を向上させ、高い処理速度ならびに現実世界の物体に対する素早い反応を可能にする。

ここで提案される取組みは、リアルタイムでの物体認識の役割をすることができ、そのようにして自動車のＦＡＳ環境での採用を初めて可能にする、ＦＰＧＡ１０２についての方法を提案するものである。

そのためにここでは特殊化された面積和・特徴と、このような特徴についてのＦＰＧＡベースの処理ユニット１０２とが提案され、これらがリアルタイム物体認識を可能にする。提案される解決法の大きな利点は作動期間中のリロード可能性にあり、このことは、たとえば気象状況や照明状況が変わったときの切換など、状況依存的な物体の認識を可能にする。

カメラシステム１０６は車両１００に取り付けられており、車両１００の前方の最新のシーン１０８を撮影する。ここではカメラシステム１０６は、１つまたは複数のカメラセンサを有することができる。有線式または無線式に施工されていてよいインターフェースを介して、システムはその画像データ１０４をＦＰＧＡが内蔵された１つまたは複数の計算ユニット１０２へ伝送する。たとえばＦＰＧＡは車内コンピュータ１１２、インストルメントクラスタ１１２、カメラ制御装置１１２、および／またはナビゲーションシステム１１２にも組み込まれていてよい。

図２は、本発明の１つの実施例に基づく、画像情報１０４の中の物体を認識するための方法手順２００のグラフィックな図面を示している。方法手順２００は、図１に示すような制御装置１０２で実行することができる。本発明の１つの実施例に基づく方法では、ここでは入力画像２０２から積分画像発生２０４によって画像情報１０４が前処理される。特徴記述ないし指標記述２０６が、制御装置１０２の記憶装置２０８に保存される。ここでは記憶装置２０８は、ＦＰＧＡ内部の記憶装置２０８である。特徴計算ないし指標計算２１０のために、画像情報１０４および指標記述２０６に対して記憶装置２０８からアクセスがなされる。カスケード化と論理演算２１２を通じて指標計算２１０の結果がチェックされ、チェック２１２が成功したときには結果２１４として出力される。

１つの実施例では、データ処理は図２にブロック図として示すようにＦＰＧＡ１０２で行われる。面積和・特徴の記述２０６が、ＦＰＧＡ１０２の内部記憶装置２０８へロードされる。カメラシステムの入力画像２０２が、ＦＰＧＡ１０２へ読み込まれる。行・列・加算画像（積分画像）１０４が生起２０４される。特徴計算２１０のために、ＦＰＧＡ１０２に保存されている特徴記述２０６が加算画像１０４のデータに適用される。特徴計算２１０の結果が論理演算され、引き続いてカスケード化２１２される。このようにして各々の画像位置について、物体が存在しているか否かの応答２１４を供給することができる。分析の結果２１４が以後の処理のために出力される。

１つの実施例では、特徴記述２０６は画像１０４の処理よりも前にＦＰＧＡ内部の記憶装置２０８へ書き込まれる。特徴記述２０６は、ＦＰＧＡ１０２で利用される以前に、特定の物体に合わせてトレーニングされている。連続する画像１０４で異なる物体クラスを検知できるようにするために、新たな画像１０４の前ごとに、特徴記述２０６を同じくＦＰＧＡ内部の記憶装置２０８へ新たに書き込むことが可能である。

１つの実施例では、行・列・加算画像（積分画像）１０４は入力画像２０２に基づいて計算され、その特性に基づいて、次の処理２１０で簡素化された計算基礎を可能にする。

１つの実施例では、特徴計算２１０はＦＰＧＡ内部の記憶装置２０８に保存されている特徴記述２０６を分析し、行・列・加算画像（積分画像）１０４から特徴的な特徴を抽出する。

１つの実施例では、あらかじめ計算された特徴の論理演算２１２は、ＦＰＧＡ内部の記憶装置２０８の中の特徴記述２０６によって規定される。特徴の論理演算２１２により、段階ごとにまとめられてカスケード化されたツリー構造が形成される。各々の段階の後ごとに、そのカスケードが続行されるか中止されるかが決定される。カスケードのすべての段階が成功裏に通過されたとき、最新の位置に、可能性のある物体が存在している。ハードウェア分類が入力画像の各々のピクセル位置について計算され、そのようにして各々のピクセル位置について、可能性のある物体が存在しているか否かが決定される。フィルタマトリクスによる分解能損失が考慮される。

１つの実施例では特徴記述２０６とは、イメージ的に表現すると、分類についてそれぞれ異なる指標を区別するための連続番号を第１の列に有する表であると理解することができる。そしてこれに続く列に、この表は、画像１０４の中での部分的または全面的な物体の認識を可能にする、指標比較のための値を有している。そして最後の列は、以後の処理のための指図を有している。この指図はたとえば列の新しい行であってよく、あるいは結果の出力であってもよい。

１つの実施例では積分画像１０４とは、カメラで撮影された画像２０２をベースとして算出される画像であると解される。その際には積分画像１０４のピクセル値が、その上およびその左に位置するすべてのピクセル値に依存して形成される。その結果として、右下のピクセルのピクセル値は、画像のすべてのピクセル値を通じての平均となる。さらにその結果として、左上のピクセルのピクセル値は、当初の画像２０２のピクセル値に相当する。

ここで提案される取組みにおいて特徴記述２０６と呼ばれている要素は、ＰＧＡの動作期間中に入れ替えることができる。このことは、同じくたとえば気象状況／または照明状況といった外部のパラメータに依存して行うことができるのが好ましい。

図３は、本発明の１つの実施例に基づく画像情報の中の物体を認識するための制御装置１０２のブロック図を示している。制御装置１０２は、読込みのためのインターフェース３００と、選択をする装置３０２と、探索をする装置３０４とを有している。ここで画像情報は、１つの状況の最中におけるカメラの検出領域内のシーンを表している。インターフェース３００は、画像情報を、および状況を表す少なくとも１つのパラメータを読み込むために構成されている。選択をする装置３０２は、その状況の中で予期可能に認識可能な物体の物体クラスの指標組合せをパラメータを利用して選択するために構成されている。探索をする装置３０４は、その指標組合せを画像情報の中で探索して物体を認識するために構成されている。

特に制御装置１０２は、図１に掲げるような車両で使用するために構成されている。

図４は、本発明の１つの実施例に基づく画像情報の中の物体を認識する方法４００のフローチャートを示している。方法４００は、読込みのステップ４０２と、選択のステップ４０４と、探索のステップ４０６とを有している。画像情報は、１つの状況の最中におけるカメラの検出領域内のシーンを表している。読込みのステップ４０２では、画像情報と、状況を表す少なくとも１つのパラメータとが読み込まれる。選択のステップ４０４では、その状況の中で予期可能に認識可能な物体の物体クラスの指標組合せがパラメータを利用して選択される。探索のステップ４０６では、その指標組合せが画像情報の中で探索されて、物体を認識する。

１つの実施例では、読込みのステップ４０２では積分画像が画像情報として読み込まれる。このとき積分画像は、シーンのカメラ画像の画点の明度値の行および／または列ごとの積分を表している。

１つの実施例では、探索のステップ４０６では第１の探索ステップで、指標組合せに属する第１の指標がチェックのために利用される。次いで、少なくとも１つの別の探索ステップで、指標組合せに属する少なくとも１つの別の指標がチェックのために利用される。

１つの実施例では、別の探索ステップでのチェックのための別の指標は、先行する探索ステップの結果を利用したうえで指標組合せから選択される。

１つの実施例では、探索のステップ４０６では物体についての認識確率が提供される。その際には、画像情報の中で指標組合せの指標を多く認識可能であるほど、いっそう高い認識確率が提供される。

１つの実施例では、探索のステップ４０６では、指標組合せの最低数の指標が画点に認識されたときに、画像情報の画点が物体として識別される。

１つの実施例では、本方法は状況の認識のステップを有している。このとき状況は、画像情報の中のシーンおよび／または車両データおよび／または環境条件を利用したうえで認識される。

１つの実施例では、読込みのステップ４０２では、認識されるべき物体クラスのクラス情報がさらに読み込まれる。選択のステップ４０４で、それぞれ異なる複数の指標組合せから、クラス情報を利用したうえで、その物体クラスを表している指標組合せが選択される。

１つの実施例では、指標組合せは認識されるべき物体の少なくとも１つの面積和に関する情報を含んでいる。

図面に示して上述した各実施例は、一例として選ばれたものにすぎない。異なる実施例を全面的に、または個々の構成要件に関して、互いに組み合わせることができる。１つ実施例を別の実施例の構成要件によって補完することもできる。

さらに、本発明に基づく方法ステップを反復することができ、また上記とは異なる順序で実行することができる。

１つの実施例が、第１の構成要件と第２の構成要件との間に「および／または」の連結を含んでいるとき、このことは、その実施例が１つの実施形態では第１の構成要件と第２の構成要件を両方とも有しており、別の実施形態では、第１の構成要件か第２の構成要件のいずれかだけを有していると読まれるべきである。

１０２ 制御装置
１０４ 画像情報
１０６ カメラ
１０８ シーン
１１０ パラメータ
２０４ カメラ画像
４００ 方法
４０２ 読込み
４０４ 選択
４０６ 探索

Claims (11)

1. 画像情報（１０４）の中の物体を認識する方法（４００）において、
   画像情報（１０４）は１つの状況の最中におけるカメラ（１０６）の検出領域内のシーン（１０８）を表しており、前記方法（４００）は次の各ステップを有しており、すなわち、
   画像情報（１０４）と、状況を表す少なくとも１つのパラメータ（１１０）とが読み込まれ（４０２）、
   その状況で予期可能に認識可能な物体の物体クラスの指標組合せが前記パラメータ（１１０）を利用したうえで選択され（４０４）、
   画像情報（１０４）の中で指標組合せが探索されて（４０６）、物体を認識する方法。
2. 読込みのステップ（４０２）で積分画像（１０４）が画像情報（１０４）として読み込まれ、前記積分画像（１０４）はシーン（１０８）のカメラ画像（２０４）の画点の明度値の行および／または列ごとの積分を表している、請求項１に記載の方法（４００）。
3. 探索のステップ（４０６）では第１の探索ステップで指標組合せに属する第１の指標がチェックのために適用され、次いで少なくとも１つの別の探索ステップで指標組合せに属する少なくとも１つの別の指標がチェックのために適用される、先行請求項のいずれか１項に記載の方法（４００）。
4. 前記別の探索ステップでチェックをするための前記別の指標は先行する探索ステップの結果を利用したうえで指標組合せから選択される、請求項３に記載の方法（４００）。
5. 探索のステップ（４０６）で物体の認識確率が提供され、画像情報（１０４）の中で指標組合せの指標を多く認識可能であるほど、いっそう高い認識確率が提供される、先行請求項のいずれか１項に記載の方法（４００）。
6. 探索のステップ（４０６）で、指標組合せの最低数の指標が画点で認識されるときに、画像情報（１０４）の画点が物体として識別される、先行請求項のいずれか１項に記載の方法（４００）。
7. 状況を認識するステップを有しており、状況は画像情報（１０４）の中のシーン（１０８）および／または車両データ（１１０）および／または環境条件（１１０）を利用したうえで認識される、先行請求項のいずれか１項に記載の方法（４００）。
8. 読込みのステップ（４０２）で認識されるべき物体クラスのクラス情報がさらに読み込まれ、選択のステップ（４０４）でクラス情報を利用したうえで複数の異なる指標組合せから当該物体クラスを表す指標組合せが選択される、先行請求項のいずれか１項に記載の方法（４００）。
9. 指標組合せは認識されるべき物体の少なくとも１つの面積和に関する情報を含んでいる、先行請求項のいずれか１項に記載の方法（４００）。
10. 画像情報（１０４）の中の物体を認識するための制御装置（１０２）において、画像情報（１０４）は１つの状況の最中におけるカメラ（１０６）の検出領域内のシーン（１０８）を表しており、前記制御装置（１０２）は次の各構成要件を有しており、すなわち、
    画像情報（１０４）と、状況を表す少なくとも１つのパラメータ（１１０）とを読み込むためのインターフェース（３００）と、
    その状況で予期可能に認識可能な物体の物体クラスの指標組合せを前記パラメータ（１１０）を利用したうえで選択する装置（３０２）と、
    画像情報（１０４）の中で前記指標組合せを探索して物体を認識する装置（３０４）とを有している制御装置。
11. プログラム製品が装置で実行されるときに請求項１から９のいずれか１項に記載の方法を実施するためのプログラムコードを有しているコンピュータプログラム製品。

Images