JP2013515418A - Ｈｄｒカメラを用いた相対運動の決定方法 - Google Patents

Abstract

画像センサを含む画像記録システム（ＨＤＲカメラ）により対象物の運動を検出するための方法および装置であって、画像センサの露光中に第１のリセットと第２のリセットを時間間隔をおいて実行し（ＨＤＲでの原理制限）、対象物の結像から明度が一定の領域の広がりを測定し、当該広がりと、第１と第２のリセットの時間間隔との比から、前記対象物の運動（方向、速度および場合により加速度）を求める。この運動決定はただ１つの画像によって可能となる。

Description

本発明は、独立請求項の上位概念による方法から出発する。

画像記録システムを自動車で使用し、車両周囲の画像を獲得し、運転者支援システムと関連して車両の操縦を容易にすることはすでに公知である。この種の画像記録システムは、少なくとも１つの画像センサと、この画像センサに割り当てられた光学システムとを有し、光学システムは車両周囲の記録野を画像センサに結像する。この種の画像記録システムで使用される画像センサは、照明強度の異なる広い領域を処理できなければならない。これは一方では太陽の照りつけの下でも、他方では照明の不十分なトンネルでも使用可能な出力信号を送出できるようにするためである。従来の画像センサでは、露光感度が固定的に調整された線形特性曲線または対数特性曲線にしたがうのがしばしばであるが、特性曲線を個々の線形区間で個別に調整することのできる画像センサがすでに提案されている（特許文献１および特許文献２）。この種の特性曲線は、対象物から得られた画像中で対象物の絶対的明度とグレー値を関連付ける。

非特許文献１から、地面上の車両の速度を測定し、速度計の機能性を検査することが公知である。このために車両固定された画像センサが、車両の走行する道路部分の画像を捕捉し、捕捉された画像が前もって記録された画像と比較される。速度に依存する画像のスミアから速度情報が導出される。

ドイツ特許公開公報第１０３０１８９８号 ドイツ特許公開公報第２００６０２７１２１号

「Velocity measurement based on Image blur」、M.CelestionoとO.Horikawa、ABCM Symposium Series in Mechatronics, Vol. 3, pp. 633-642, 2008

本発明は、独立請求項の上位概念による方法および装置から出発する。

とりわけ車両の走行空間内にある対象物を検出するための改善された方法（および装置）が提案される。この方法により、画像中の対象物の相対運動（相対速度及び／または相対運動方向）が、（たとえば自車と走行空間内にある対象物との間にある）カメラの運動を基準にして従来よりもさらに高速に確定される。なぜならすでに画像（フレーム）から運動を検出することができ、もはや少なくとも２以上の画像を必要としないからである。

（たとえば車両の）運動とは、その速度および方向を意味する。したがってこれらは運動パラメータである。同じように、運動変化は、方向変化および／または速度変化から生じる。もちろん運動パラメータまたはその導関数（運動パラメータの変化）も値ゼロを有することができる。この場合、運動（運動変化）は、速度（変化）または方向（変化）だけにより記述することができることになる。

相対運動を高速に検出するための適用事例として、対象物の位置と相対速度に基づき、たとえば衝突のおそれを排除することができないため、事故の危険性が存在するか否かをできるだけ高速に判断しなければならない場合がある。これにより危険性を緩和するために対抗措置を適時に開始することができる。

本発明の方法は非常に正確である。なぜなら画像中で鋭く制限されたエッジ（後で説明する）を使用するにより、不鮮明な運動により動作する方法よりも対象物の位置決定を明白に行うことができるからである。

さらなる利点は、従属請求項、明細書および図面から明らかとなる。

本発明を、添付図面に基づいて詳細に説明する。

走行空間から検出された対象物の画像である。 検出された対象物の部分領域の拡大図である。 画像記録システムの画像センサの特性曲線を示す図である。 カメラにより記録された画像(図４ａ)および車両の前照灯の拡大図（図４ｂ）である。

画像記録システムの画像を運動分析するために、これまでは複数の画像からなる画像シーケンスが観察され、そこから車両野からの対象物の運動、とりわけその相対速度が決定されている。ここでは、観察された画像シーケンス中の運動を画像座標（ピクセル）において決めるいわゆる運動ベクトルが検出される。フレーム速度が時定数として既知であれば、そこから複数の画像にわたり相対速度を推定することができる。ここで相対速度を決定することのできる精度は、ピクセル解像度（粒度）に依存している。

画像センサが区間ごとに線形の特性曲線構造を有し、この特性曲線構造が対物特性曲線に近似するＨＤＲカメラ（ＨＤＲ＝High Dynamic Range）からの画像を用いると、ただ１つの画像記録によって相対運動を推定するために、ここに説明する新規の方法を使用することができる。本発明によれば、カメラの特性曲線が少なくとも１つまたは複数の屈曲点（すなわち微分不能な箇所）を有することが重要である。

ＨＤＲカメラはたとえば次のように機能する。露光時間中（「積分開始」から（ピクセル値（明度）の）「読み出し」読み出しまで）に種々異なるリセット時点がセットされる。リセットが発生すると、所定の規定明度値を上回ったすべての感光性エレメント（ピクセル）（すなわちピクセルの電位が飽和（露出オーバー）するおそれがある）が所定の一定の値にリセットされる。リセットの数（図３では４つの区間）に依存して、リセットされる一定の値は異なっており（上昇順）、ローマ数字ＩからＩＶに相当する。

前記全露光時間中の光作用（光量）が変化せずに同じであり、リセット時点の間でも変化しないことを前提にすれば、電位の異なるピクセルが同じ値にリセットされるにもかかわらず、特性曲線に対応する異なる強度が得られる。なぜなら最後のリセットの後に、種々の光作用がさらに作用することができ、最終的な読み出しの際には顕著になるからである。露光中にピクセルの電位井戸が満たされるか、または逆に空になるかは本発明にとって重要でない。

しかし、露光時間中に画像中の運動によって、均等な光作用の前記記録がもはや有効でなくなることが識別されると、本発明により利用することのできる以下の効果が発生する。

相対的に運動する対象物（ここでは前照灯１．１の例で）が、露光開始からリセット１までの間の時間で位置１．１ａにあるカメラのピクセルを照射する。前照灯の高い光強度により、ピクセルの第１のリセットの時点でレベルＢＰ１に低下する。次のリセットまでの時間で前照灯は位置１．１ｂにあるピクセルを照射する。第２のリセットにより、ピクセル値がレベルＢＰ２に低下する。このレベルＢＰ２はより高く、したがって画像中の領域１．１ｂは領域１．１ａより明るくなる。同じことが第３のリセットにも当てはまり、この第３のリセットはさらに明るい領域１．１ｃを生じさせる。なぜならこのリセットで低下されたレベルＢＰ３はさらに高いからである。効果として図２に見られるエッジまたは階段が、（場合により一定の）同じ明度を有する領域（１．１ａ、ｂ、ｃ）間に発生する。最後の領域（１．１ｃ）は、この領域が最後のリセット後に（読み出しの直前）照射されると、領域１．１ｂより大きな明度となるが、一定の明度は存在していない（なおもこの領域が露光オーバーされる場合を除いて）。このことは光源が均質な場合には必ずしも当てはまらない。なぜなら露出オーバーが存在しなければ同じグレー値が１つの領域内に存在することがあるからである。

この方法が機能するためには、少なくとも１つの時点でピクセルの明度値が少なくとも１つのリセット時にリセットが行われる程度（すなわち明度閾値ＢＰ１より上になる）の大きさとなるぐらい対象物の明度が明るくなければならない。自己発光性の対象物の場合はほとんどがそうである。自動車環境ではたとえば他車の前照灯である。他車の運動は多くの適用で、他のたとえばさほど危険でない（衝突の危険性のない）対象物または定置の対象物よりも優先して決定すべきである。

明度が一定の領域（１．１ａ、ｂ、ｃ）の広がりを画像中でそれぞれの明度レベルＢＰｘで測定または公式化できれば、明度変化部の間隔（エッジ）、この例では間隔ｄ０、ｄ１、ｄ２が得られる。間隔の比は、リセット時点の時間間隔の比に対応する。したがって２つのリセット時点の間（たとえば「積分開始」からリセット１まで）に走行した距離（たとえばｄ１）は既知であるから、公知の式ｖ＝（ｄ／Δｔ_{ｒｅｓｅｔ}）を用いて対象物の速度を決定することができる。ここで対象物が線形かつ単調に運動することが前提とされるが、このことは通常の短い露光時間では十分達せられる。

特性曲線の形態が既知であることにより、画像センサの画像内で時点ＢＰ１、ＢＰ２、ＢＰ３、ＢＰ４が得られる。これらの時点は、特性曲線の屈曲点のリセットパルスの時点に対応する。屈曲点（ブレークポイント、ニーポイント）の数に応じて、相対速度の決定された値の検証または妥当性検査を行うことができる。ここではリセット時点の数に対応して前記の方法を実行し、速度を計算することができる。光学的効果または他の対象物／光源がノイズの原因とならない場合には、運動が単調であれば結果は一致しなければならない。

特性曲線の原点は、すなわち露光開始（完全リセット）は屈曲点として有効である。すなわち本発明の方法は露光開始と第１のリセットとの間の時間的な差によっても実行できる。

明度が一定の領域の広がりは、画像面中のすべての方向の広がりに関連する。本方法を適用するために、通例は優先方向が決定され、この方向で、明度が一定の領域の間隔が決定される。優先方向とは、対象物のすべての結像部分をまとめた全体的広がりの間隔（すなわち１．１ａ＋１．１ｂ＋１．１ｃの上位集合）が最も大きい方向である。これは対象物が画像面内で運動する方向である。この方向は、図２に示される間隔に対しても選択される。

もちろん評価は別の方向でも行うことができ、また評価は複数の方向で行うことができる。たとえばｘ方向とｙ方向で評価すれば、ｘ方向成分とｙ方向成分への割当てが直ちに得られる。

本発明の拡張として、複数の間隔比（ｄ１、．．．ｄｎ）が画像に存在する場合（ｄ０からは出発しない、ｄ０は光源自体の大きさだからである）、妥当性検査の代わりに対象物の運動変化の識別を実行することができる（場合よりカメラの運動の運動変化を考慮して）。

以下の図面の説明は、車両に対する適用例に関連する。しかし適用可能性はこれに制限されるものではなく多岐にわたり、次の例が考えられる。人物運動識別、人物監視システム、ベルトコンベヤの運動の識別。必要なカメラは車載で使用することができるが、定置システムでも使用することができる。画像評価の場所はカメラの位置に対応しなくても良く、空間的に別個の計算機で行うことができる。

図１は、図示しない自車の車載画像記録システムにより記録された自車の走行野の１シーンである。暗闇で記録された画像は、画像記録システムにより検出された自車の走行野からの対象物を示す。すなわち自車に対して相対的に運動する他車であり、その輪郭は運動がはっきりしないためぼやけている。他車は走行灯をオンにして走行している。以下では自車の画像記録システムにより検出された他車の前照灯１．１についてのみ考察する。

画像記録システムの画像センサにより検出されたこの前照灯１．１の画像が図２に拡大して示されている。区間ｄ０は軸Ａに沿ったこの光源の広がりを表す。第１の時点ｔ１で、光源として検出された前照灯１．１は位置１．１ａにあった。第２の時点ｔ２で前照灯は位置１．１ｂにあった。第３の時点ｔ３で前照灯１．１は位置１．１ｃにあった。時間間隔ｔ１〜ｔ２で前照灯１．１の結像は距離ｄ１だけ移動した。時間間隔ｔ２〜ｔ３で前照灯１．１の結像は距離ｄ２だけ移動した。通常、画像記録システムは自車の車両周囲をたとえば毎秒２５画像の画像連続周波数で検出するから、１つの画像の記録は約４０ｍｓで行われる。距離ｄ１の長さと、この距離ｄ１を進むための持続時間から、前照灯１．１を担持する他車の速度が導出される。同じような導出が距離ｄ２の評価によっても可能である。これにより、車両の運動に対して最初に検出された測定値の妥当性検査を行うことができる。この考察では、他車が１つの画像を形成する時間の間、すなわち約４０ｍｓではその運動を格段には変化していないことが前提とされる。

相対運動を効率的に決定するためには、搭載された画像記録システムの画像センサにより車両周囲から検出された対象物が明るい画像構造を有することが必要である。この明るい画像構造が、特性曲線の屈曲点において対象物の広がりに沿って計算することを可能にする。

別のさらなる適用として、運動不鮮明さ（運動のぼやけ）の決定がある。それぞれ使用される特性曲線の公知の構造により、運動不鮮明さの決定を検証することができる。とりわけ運動方向は運動不鮮明さの主たる方向から導き出すことができる。

対象物の運動を本発明の方法によって決定することにより、画像中に場合により運動不鮮明さを引き起こす方向、速度および／または程度（強度）を決定することができる。この知識は、たとえば不鮮明さを低減する（画像データへの）フィルタに使用することができる。このフィルタには、本発明の結果からの適切なパラメータを供給することができ、これにより改善された結果を送出する。

図３は、画像記録システムの画像センサの制御と、そこから生じる特性曲線の形態との関係を示す。図面の左領域には画像センサの時間制御がプロットされている。５つの記録インターバルが図示されており、これらはそれぞれのリセット時点、すなわちフルリセット、リセット１、リセット２、リセット３、リセット４により互いに分離されている。図面の中央領域には、記録インターバルで検出されたグレー値がヒストグラムとしてプロットされている。図面の右領域には、画像記録センサの特性曲線がプロットされており、横軸は元の（光学的）グレー値（線形化されたグレー値）を示し、縦軸は圧縮されたグレー値（圧縮グレー値）、すなわち画像センサから読み出された（デジタル化された）グレー値を示す。

この特性曲線は、対象物の（真の）絶対明度を、対象物から得られた画像中のグレー値に関連付ける。特性曲線が区間ごとに勾配の異なる区間からなることにより、対応する対象物明度に対して異なる露光時間が発生する。特性曲線中の付加的な各屈曲点により、結像における元のグレー値からデジタル化されたグレー値への圧縮率が上昇する。

この図３における屈曲点／リセットの数は、図２に示した対象物の結像に対応する数より多い。後者に対してはフルリセット、リセット１、リセット２および読み出しが必要なだけである。この図に対応して、リセット１とリセット２のとの間の時間間隔はフルリセットとリセット１との間の時間間隔よりも小さい。なぜならｄ２の所属の広がりはｄ１の広がりよりも小さいからである。このことは単調の運動が仮定された場合に当てはまる。

この画像（図２）が時間的に同じリセット間隔で記録されることになると、記録／露光中に対象物が大きく減速したことを指示することとなる。なぜなら第２の時間間隔で走行した距離（ｄ２）は、第１の時間間隔で走行した距離（ｄ１）より小さいからである。

図４には、カメラにより記録された画像（図４ａ）が示されており、カメラは車両を撮影し、その前照灯が図４ｂに拡大して示されている。この画像はイラストに用いられ、熟練した観察者は階調と明度の同じ領域を識別する。これらが本発明の方法を可能にする。図２には図４の階調の輪郭が示されており、同じ明度の領域の運動方向と大きさ（ｄ０、ｄ１、ｄ２）が決定される。

さらに以下のテーマが開示される。

画像センサを含む画像記録システムによる対象物の検出では、画像センサが制御可能な特性曲線を有しており、画像センサは、画像形成中に画像センサの特性曲線の異なる区間で作用するように制御される。ここで対象物は、第１の時点では画像センサの特性曲線の第１の区間により、第２の時点では画像センサの特性曲線第２の区間により検出される。

別の構成では、第１の時点における対象物の画像中の位置が検出され、第２の時点における対象物の画像中の位置が検出され、対象物の画像位置の間隔から対象物の相対運動が導出される。

別の構成では、少なくとも１つの別の第３の時点における対象物の画像中の位置が検出され、対象物の画像位置の少なくとも１つ別の間隔から対象物の相対運動の変化が導出される。

別の構成では、第１の時点で検出された測定値と第２の時点で検出された測定値とを比較することにより、検出された測定値または測定値から導出されたパラメータの妥当性検査が可能である。

Claims (10)

1. 画像センサを含む画像記録システムにより対象物の運動を検出するための方法であって、画像センサの露光中に第１のリセット（フルリセット）と第２のリセット（リセット１）とを、時間間隔をおいて実行する方法において、
   前記対象物（１．１）の結像から、明度が一定の領域の広がり（ｄ１）を測定し、当該広がり（ｄ１）と、前記第１のリセットと前記第２のリセットとの間の前記時間間隔との比から前記対象物の運動を求める、ことを特徴とする方法。
2. 前記対象物の運動はただ１つの画像から求められる、ことを特徴とする請求項１に記載の方法。
3. 前記画像センサの露光中（積分スタート〜読み出し）に、別の時間間隔を置いて少なくとも１つの第３のリセット（リセット２）を実行し、
   明度が一定の少なくとも１つの第２の領域の少なくとも１つの第２の広がり（ｄ２）を測定し、
   前記少なくとも１つの第２の広がり（ｄ２）と、少なくとも１つの前記第２のリセットと前記第３のリセットとの間の前記別の時間間隔との比から、別の時点での前記対象物（１．１）の運動を求め、そこから前記対象物の運動の変化を導出する、ことを特徴とする請求項１または２に記載の方法。
4. 前記画像センサの露光中に、別の時間間隔を置いて少なくとも１つの第３のリセットを実行し、
   明度が一定の少なくとも１つの第２の領域の少なくとも１つの第２の広がりを測定し、
   前記少なくとも１つの第２の広がりと、少なくとも１つの前記第２のリセットと前記第３のリセットとの間の前記別の時間間隔との比から、別の時点での前記対象物の運動を求め、
   前記対象物の運動が線形かつ単調であることを前提に当該対象物の運動を検証する、ことを特徴とする請求項１または２に記載の方法。
5. 請求項３または請求項４の方法を、リセット点の数に対応する頻度で実行する、ことを特徴とする請求項３または４に記載の方法。
6. 運動不鮮明さの主たる方向を導出する、ことを特徴とする請求項１から５までのいずれか一項に記載の方法。
7. 前記対象物は車両の前照灯である、ことを特徴とする請求項１から６までのいずれか一項に記載の方法。
8. 少なくとも１つの画像センサを含む画像記録システムにより対象物の運動を検出するための装置であって、
   前記画像センサは、屈曲点を備える特性曲線を有する装置において、
   前記対象物（１．１）の結像から、明度が一定の領域の広がり（ｄ１）を測定し、当該広がり（ｄ１）と、前記屈曲点の時間間隔との比から前記対象物の運動を求める手段が設けられている、ことを特徴とする方法。
9. 前記特性曲線は少なくとも２つの屈曲点を有する、ことを特徴とする請求項８に記載の装置。
10. 前記画像記録システムはＨＤＲ（高ダイナミックレンジ）カメラを有する、ことを特徴とする請求項８または９に記載の装置。

Images