JP2008140395A - 車両の周囲の画像を処理するための装置および方法 - Google Patents

Abstract

【課題】車両の周囲の画像を処理するための装置および方法を提供すること。
【解決手段】本発明によって提供される車両の周囲の画像を処理するための装置は、画像を生成するように構成された画像生成器と、画像を処理するために画像の第１の部分および第２の部分を処理するように構成された画像プロセッサとを備えている。画像は、少なくとも第１の部分および第２の部分を有しており、第１の部分および第２の部分は、互いに異なっており、画像の第１の部分は、画像の第２の部分よりも早く、さらなる処理のために生成される。画像プロセッサは、画像の第２の部分が画像プロセッサに対してまだ利用可能ではない間に、画像の第１の部分を処理するようにさらに構成されている。
【選択図】図３

Description

本発明は、画像処理システムに関する。特に、本発明は、車両の周囲の画像を処理し、処理された画像をドライバーに表示するための装置および方法に関する。

現代の車両は、これらの車両のドライバーに対し、高度な機能を提供している。最近では、ドライバーが、車両の運転席の小型ディスプレイに、車両の周囲の画像を提供されるシステムが、議論されている。これは、例えば、車両内でのドライバーの位置により、全ての関連情報を視覚的に集めることができない場合に、特に役に立つ。例えば、駐車場への駐車が、そのような状況の例である。駐車場への駐車においては、車両の後方にカメラを配置し、カメラの画像を運転席のディスプレイに提供することは、ドライバーが、駐車場に素早く駐車することを、強力に補助し得る。別の例は、霧によって視界が不明瞭な場合に、車両の前方の道路の画像をキャプチャすること、または接近してくる車両について、後方の道路を監視することであり得る。その後に、そのような画像を表示する前に、霧の中の対象の認識を向上させるために、画像データが、処理される。その後に、そのようなピクチャを、車両の運転席のディスプレイに表示することは、道路上の障害を素早く認識できるという利点を提供するので、例えば、正しいタイミングでの車両の速度の適応が実行され得る。しかしながら、そのようなピクチャを処理および／または表示することは、通常、画像のアナログデジタル変換（または、画像を直接的にデジタル形式でキャプチャすることさえも）を必要とする。さらに、そのような画像の転送および表示は、長い待ち時間を有する。なぜならば、従来のシステムは、全体ビデオ画像アプローチ（ｗｈｏｌｅ ｖｉｄｅｏ ｉｍａｇｅ ａｐｐｒｏａｃｈ）で機能するからである。これは、完全なビデオ画像のみが、センサによって連続的にキャプチャされ、完全な画像として処理または転送されるということを意味している。

全体画像を処理するためのそのような従来のアプローチは、図６に見ることができる。図６の縦座標には、異なるパイプラインステージ、例えば、画像生成（ステージ１）、画像転送（ステージ２）、画像処理（ステージ３）、画像表示（ステージｎ）等が示されている。図６の横座標には、持続時間が示されている。図６からわかるように、第１の画像（画像１）が、ステージ１において生成される。これは、第１の位置６００に配置されている画像１から判断され得る。しかしながら、第１の位置６００において画像１を生成することは、時間ｔ_ｐを要する。これは、図６の横座標から判断され得る。続いて画像１は、ステージ２に転送される。その後、ステージ２は、後の時刻において、画像１を処理する（図６における位置６０２を参照）。ステージ１は、ここでは画像２として示されている新しい画像を生成する（図６における位置６０４を参照）。ステージ２が画像１の処理を終了すると、画像１は、ステージ３に転送され、画像２は、ステージ１からステージ２に転送される。さらに、新しい画像（すなわち、画像３）が、ステージ１において生成される。画像の処理（または生成）が、いくつかのステージを含んでいる場合、画像が処理される待ち時間が、公式ｔ_{ｔｏｔａｌ}＝ｔ_ｐ×ｎによって計算され得るということは明らかである。この全待ち時間ｔ_{ｔｏｔａｌ}は、図６の横座標に示されている。

より具体的には、キャプチャ周波数ｆが与えられた場合、完全な画像を得るためには、時間１／ｆを要する。処理または表示のステップが、はるかに素早く行われ得る場合でさえも、イメージレート（ｉｍａｇｅ ｒａｔｅ）を増加させることは、不可能である。なぜならば、センサは、イメージレート１／ｆで画像を提供することしかできないからである。従来のセンサ（例えば、カメラ）の典型的なイメージレートは、イメージレートｆ＝２５／ｓで画像を提供するので、結果として、４０ｍｓの画像待ち時間につながる。従来のシステムの待ち時間は、表示または処理のための待ち時間も考慮されたときには、容易に８０ｍｓ以上に上昇し得る。対照的に、人間の視覚系は、はるかに短い待ち時間を有しているので、８０ｍｓ以上の待ち時間で運転席のディスプレイに画像を表示することは、車両のドライバーをいらいらさせる結果につながり得るということに、留意されたい。これは、言い換えると、ドライバーの注意を交通状況から逸らすことになるので、車両の安全性を低減させる。

したがって、当該技術分野においては、車両内で画像を処理するための改善された方法を提供することが必要とされており、特に、車両の周囲の画像を処理するための改善された装置および方法を提供することが必要とされている。

（発明の概要）
本発明にしたがうと、この必要性は、項目１に記載の装置および項目２４に記載の方法によって対処される。独立項目は、本発明の好適または有利な実施形態を規定している。

本発明の一局面にしたがうと、車両の周囲の画像を処理するための装置は、
画像を生成するように構成された画像生成器であって、画像は、少なくとも第１の部分および第２の部分を有しており、第１の部分および第２の部分は、互いに異なっており、画像の第１の部分は、画像の第２の部分よりも早く、さらなる処理のために生成される、画像生成器と、
画像を処理するために、画像の第１の部分および第２の部分を処理するように構成された画像プロセッサであって、画像プロセッサは、画像の第２の部分が画像プロセッサに対してまだ利用可能ではない間に、画像の第１の部分を処理するようにさらに構成されている、画像プロセッサと
を備えている。

この文脈において、画像生成器は、カメラ等であり得、画像プロセッサは、例えば、マイクロコントローラおよび／または表示ユニットを含み得るということに留意されたい。したがって、「画像プロセッサ」という用語は、マイクロコンピュータまたはマイクロコントローラのみには限定されず、表示することが受信されたデータを処理することの一形態であるような、あらゆる種類のディスプレイをも含んでいる。

本発明は、最初に完全な画像が生成（またはキャプチャ）されて、その後にこの完全な画像のデータが処理される場合にではなく、画像のパーツのみが生成されて、その後にそれらが画像プロセッサに転送されるように、画像の生成が分割される場合に、画像の生成および処理の待ち時間が、大幅に低減され得るという発見に基づいている。その後、画像プロセッサは、画像生成器がまだ画像のさらなる異なるパーツ（部分）を取得するように動作している間に、画像の最初に受信されたパーツを処理することが可能である。続いて、画像生成器は、画像のさらなる異なるパーツを画像プロセッサに転送する。画像プロセッサは、画像の第１のパーツの処理を既に完了していること、例えば、画像の第１のパーツの処理されたバージョンを、さらなるステージに転送している可能性があり得る。このようにして、全体としてではなく、パーツごとに画像を処理することが可能であるので、画像の各パーツに対する処理時間が、その画像のそのパーツの生成よりも短いと仮定すると、待ち時間の大幅な低減が、実現され得る。この待ち時間の低減は、多くの処理ステージが用いられるほど、大きくなる。より詳細な説明は、以下で与えられる。

本発明の特定の実施形態において、画像プロセッサは、第１の部分および第２の部分を表示するように構成されており、画像プロセッサは、画像の第２の部分が、画像生成器によって、画像プロセッサにまだ提供されてはいない間に、画像の第１の部分を表示するようにさらに構成されている。画像プロセッサのそのような実装は、画像のキャプチャおよび表示の間の長い待ち時間に起因する多大ないらいらが回避され得るように、車両のドライバーがディスプレイの画像をタイムリーに認識することができるという利点を有している。加えて、人間の認識系は、表示された画像から表示される情報を瞬時に予想することはできないが、表示された画像から関連情報を段階的に選択することができるので、ドライバーの視覚系は、適切にアドレス（ａｄｄｒｅｓｓ）され得る。したがって、画像を全体として表示する必要はなく、画像の複数の部分を繰り返し表示することで、完全に間に合う。

本発明の別の実施形態にしたがうと、画像生成器は、画像の第１の部分または第２の部分として、画像の水平方向のスライスを生成するように構成されている。人間の目は、画像の水平部分を生成する水平線の情報をキャプチャするように用いられるので、このことは、ドライバーが、ディスプレイから関連情報を素早く取得することを可能にし得る。加えて、従来のカメラは、画像を行ごとにキャプチャするので、画像の水平方向のスライスは、低コストの画像キャプチャシステムによって実現され得、画像生成器内には、画像の複数の部分の難しい整形は、必要とされない。

さらに、画像生成器は、画像の第１の部分または第２の部分として、画像のスライスを提供するように構成され得、画像の第１の部分は、画像の第２の部分によって表されている領域の上で画像内に位置している画像の領域を表している。異なる連続する部分から画像を生成する際のそのようなトップダウン式のアプローチは、ディスプレイ上の異なる画像領域の間を行き来するように、ドライバーの目に強いることなしに、画像の異なる部分の処理（特に、表示）が、連続的に実行され得るという利点を提供する。したがって、そのようなトップダウン式のアプローチは、ドライバーの多くの注意をディスプレイに引き付けなくてもよくする代わりに、交通状況を注意深く観察するための十分な時間をドライバーに与えることに役立つ。

本発明のさらなる実施形態において、第１の部分および第２の部分はまた、画像の隣接する領域を表し得る。そのような状況においては、通常、画像の個々の部分のキャプチャ（または生成）は、画像生成器が、それらの部分のデータを直線ごとに提供するように、単純化され得る。その結果、第１の直線群のデータのみが、画像の第１の部分として提供され、そのすぐ下の直線群が、第２の部分としてグループ化される。加えて、画像処理は単純化され得る。例えば、画像処理は、対象が画像の第１の部分から第２の部分にまで及んでおり、第１の部分によってカバーされた領域に隣接する画像領域を表していない第３の外れた部分が画像プロセッサに提供される場合に、はるかに速く実行され得る。

本発明の別の実施形態において、第１の部分および第２の部分は、画像の共通の領域をカバーしている。このことは、画像プロセッサが、第１の部分および第２の部分の境界と交差している対象を、より容易に検出することができるという利点を提供する。これは、対象が、第１の部分および第２の部分の重複領域における同一のパターンと、第１の部分および第２の部分におけるそれぞれのパターン（それらは、重複領域における同一のパターンと直接的につながっている）とによって、識別され得るという事実による。したがって、画像プロセッサは、隣接する部分にまで及んでいない対象と、第１の部分および第２の部分の境界と交差している対象とを、明確に区別することができる。

しかしながら、本発明の代替的な実施形態においては、第１の部分および第２の部分は、画像の共通の領域を全く含んでいない。本発明のそのような構成は、画像プロセッサが画像データを２回処理しなくても済むという利点を提供するので、結果として、処理時間の低減につながる。

画像の第１の部分および第２の部分が実質的に等しいサイズを有している場合は、さらに有利である。離散フーリエ変換の代わりに高速フーリエ変換（ＦＦＴ）を用いることと同様に、そのような場合に、画像プロセッサは、例えば、等しいサイズのデータパッケージの処理に対して最適化され得、これもまた、特別に構成されたアルゴリズムの使用による処理時間の低減につながる。

本発明のさらなる実施形態にしたがうと、画像生成器は、画像の互いに異なるｎ個の部分を生成するように構成され得る。ここで、ｎは自然数である。画像のｎ個の部分は、互いの後に連続的に生成され、画像プロセッサは、画像の第（ｎ−１）の部分を処理した後に、画像の第ｎの部分を処理するように構成されている。そのような構成は、画像生成器が、完全な画像の高速処理が部分ごとに実行され得るように、画像を連続する複数の部分に分割することができるという利点を提供する。完全な画像を処理するために必要な時間は、画像が分割される部分の個数に比例するので、単に第１の部分および第２の部分を処理するだけではなく、完全な画像を複数の部分に分割することは、処理時間を追加的に増加させる。

しかしながら、それは、画像生成器が８個以下の部分に画像を生成するように構成されている場合に、有利であり得る。これは、画像生成器が８個以上の部分に画像を分割した場合に、これらの部分の各々を識別するための信号伝達の重複が増加するという事実に基づく。言い換えると、信号伝達の重複の増加は、多量のデータの送信と、フレーム構造から画像データを解凍するためのさらなる努力とを必要とするので、長い処理時間または長い待ち時間につながる。

本発明の別の実施形態にしたがうと、画像プロセッサは、画像の第１の部分または第２の部分に含まれている対象から、対象の情報を抽出するように構成されている。本発明のそのような実施形態は、画像処理の様々な機能（例えば、キャプチャされた画像を単に部分ごとに素早く表示すること）と、安全に関連する機能（例えば、走行している自動車の前方の障害を識別すること）とを、有利にも組み合わせる。したがって、本発明のそのように構成された実施形態は、単に車両の周囲がドライバーに表示されるだけではなく、潜在的に危険な交通状況がそのドライバーに提供され得るという、追加的な利点を有している。

加えて、本発明の一実施形態において、画像プロセッサはまた、抽出された情報を用いることにより、画像の第１の部分または第２の部分に対し、さらなる対象を追加するように構成され得る。このことは、特に、追加された対象の形状が、車両の周囲において予想され得る通常の形状とは明確に異なるときに、ドライバーの注意が検出された対象に向けられ得るという利点を提供する。

より具体的には、画像プロセッサは、画像の第１の部分または第２の部分において検出された対象のまわりに、さらなる対象として、円、三角形、または長方形を追加するように構成され得る。検出された対象のまわりに追加された対象として、長方形、円、または三角形を選択することにより、ドライバーの注意は、これらの検出された対象に特に引き付けられ得る。このことは、第１には、そのような幾何学的形状が、車両の周囲の通常の画像においては、非常に不自然であるという事実に起因し、第２には、これらの幾何学的形状が、通常ドライバーが十分な注意を払う交通標識に極めて類似しているという事実に起因する。

本発明のさらなる実施形態において、画像プロセッサは、画像の第１の部分または第２の部分において検出された対象とは異なる色のさらなる対象を追加するように構成されている。このことは、検出された対象の知覚を追加的に増加させる。なぜならば、ドライバーの注意は、追加された対象と検出された対象との間の色のコントラストによって、検出された対象に誘導されるからである。

加えて、画像プロセッサは、画像の第１の部分および第２の部分に含まれている対象の情報を抽出するように構成されており、第１の部分および第２の部分は、画像の隣接する部分である。このことは、２つの部分に及んでいる大きな対象もまた、容易に検出され得るという利点を提供する。したがって、画像を部分ごとに素早く生成（または処理）するという局面は、処理速度を増加させるために、画像が多数の部分に分割される場合でさえも、大きな対象を認識するための高い能力と組み合わされ得る。

本発明のさらなる実施形態にしたがうと、画像生成器は、画像の第１の部分が、画像生成器によって生成されたときに、その第１の部分が、遅延なしに、画像プロセッサによって処理されるような方法で、画像プロセッサと同期化され得る。そのような構成は、車両の周囲の画像を処理するための待ち時間が、さらに低減され得るという利点を有している。このことは、例えば、画像プロセッサが、画像の最も上のスライスを提供し、画像プロセッサのディスプレイが、前の画像の最も下のスライスを表示しており、まだビジー状態にある場合に、画像の最も上の生成されたスライスが、その合間に格納されるという事実に起因する。そのような格納は、追加的な待ち時間につながるが、この追加的な待ち時間は、例えば、画像の最も上のスライスが生成されたときに、それが画像プロセッサ（またはディスプレイ）によって直ちに処理（または表示）されるような方法で、画像生成器が画像プロセッサと同期化される場合に、回避され得る。

さらに、画像生成器はまた、画像の第２の部分が、画像生成器によって生成されたときに、その第２の部分が、遅延なしに、画像プロセッサによって処理されるような方法で、画像プロセッサと同期化され得る。この同期化は、許可された部分のみが直ちに表示されるだけではなく、それに続く部分も同じように直ちに表示されることを保証することにより、画像生成器と画像プロセッサとの間の完全な同期化を保証する。

画像プロセッサはさらに、画像生成器が画像の第１の部分を提供した後の２０〜４０ｍｓの遅延時間の後に、画像の第１の部分の処理されたバージョンが提供されるように、画像の第１の部分を処理するように構成されている。このことは、待ち時間が人間の目によって認識できなくなる（言い換えると、ディスプレイ内の画像の構成を観察し、それを実際の画像と比較するために、ドライバーの多大な注意を獲得する）程度にまで、長くならないようにすることを保証する。

さらに、画像生成器は、ＣＭＯＳ画像センサであり得る。そのような画像生成器を用いることは、非常に低価格であって信頼性の高いセンサが用いられ得、それが本発明のこの実施形態のコストの全体を低減させるという利点を提供する。

また、画像プロセッサは、画像の第１の部分および第２の部分を表示するためのＬＣＤディスプレイを含み得る。このこともまた、構成されるシステムのコストの全体を低減させるために、低価格であって信頼性の高いコンポーネントが用いられ得るという利点を提供する。

さらなる実施形態において、画像生成器は、画像の第１の部分および第２の部分をそれらのデジタル表現に変換し、画像の第１の部分および第２の部分のデジタル表現を画像プロセッサに転送するように構成されている。このことは、転送の間の損失に対してより耐久性がある、画像の複数の部分のデジタルバージョンが転送されるという利点を提供する。加えて、アナログデジタル変換が実行され得る。言い換えると、これは、画像プロセッサの負担を軽減させ、それにより、画像プロセッサが、自らの本来の仕事を素早く実行することを可能にする。

さらに、画像生成器はまた、車両の光学シリアルバスを介することにより、画像の第１の部分および第２の部分のデジタル表現を画像プロセッサに転送するようにも構成され得る。画像生成器と画像プロセッサとの間にデータを転送するためのそのような手段は、それらが軽量、低価格であり、高い転送容量を有しているので、車両のような大量生産品における実装に非常に向いているという利点を有している。

本発明の特別な実施形態において、画像プロセッサは、車両のリアビューを提供するリアビューカメラである。画像生成器のそのような構成は、例えば、ドライバーが、高速で接近している自動車を、タイムリーに識別することを可能にする。さらに、そのような画像生成器としてのリアビューカメラはまた、ドライバーが狭い駐車場に駐車したいと思っているときに、ドライバーを補助し得る。

上述の装置の他に、本発明はまた、車両の周囲の画像を処理するための方法をも含んでいる。この方法は、
少なくとも第１の部分および第２の部分を有している画像を生成するステップであって、第１の部分および第２の部分は、互いに異なっており、画像の第１の部分は、画像の第２の部分よりも早く提供される、ステップと、
画像を処理するために、画像の第１の部分および第２の部分を処理するステップであって、画像プロセッサは、画像の第２の部分が画像プロセッサに対してまだ利用可能ではない間に、画像の第１の部分を処理するようにさらに構成されている、ステップと
を包含する。

そのような方法によって実現される利点は、それぞれの装置によって取得され得る利点と同じものである。

本発明の主な用途は、車両の周囲の画像化である。しかしながら、本発明はまた、様々な画像処理の技術分野にも応用され得る。

本発明は、さらに以下の手段を提供する。

（項目１）
車両（１０）の周囲の画像を処理する装置（１２）であって、
画像を生成するように構成された画像生成器（１４ａ、１４ｂ）であって、該画像は、少なくとも第１の部分（２００）および第２の部分（２０２）を有しており、該第１の部分（２００）および該第２の部分（２０２）は、互いに異なっており、該画像の該第１の部分（２００）は、該画像の該第２の部分（２０２）よりも早く、さらなる処理のために生成される、画像生成器（１４ａ、１４ｂ）と、
該画像を処理するために、該画像の該第１の部分（２００）および該第２の部分（２０２）を処理するように構成された画像プロセッサ（１６）であって、該画像プロセッサ（１６）は、該画像の該第２の部分（２０２）が該画像プロセッサ（１６）に対してまだ利用可能ではない間に、該画像の該第１の部分（２００）を処理するようにさらに構成されている、画像プロセッサ（１６）と
を備えている、装置（１２）。

（項目２）
上記画像プロセッサ（１６）は、上記第１の部分（２００）および上記第２の部分（２０２）を表示するように構成されており、該画像プロセッサ（１６）は、該画像の該第２の部分（２０２）が、上記画像生成器（１４ａ、１４ｂ）によって、該画像プロセッサ（１６）にまだ提供されてはいない間に、該画像の該第１の部分（２００）を表示するようにさらに構成されていること
を特徴とする、項目１に記載の装置（１２）。

（項目３）
上記画像生成器（１４ａ、１４ｂ）は、上記画像の上記第１の部分（２００）または上記第２の部分（２０２）として、該画像の水平方向のスライスを生成するように構成されていること
を特徴とする、項目１または項目２に記載の装置（１２）。

（項目４）
上記画像生成器（１４ａ、１４ｂ）は、上記画像の上記第１の部分（２００）および上記第２の部分（２０２）として、該画像の水平方向のスライスを生成し、該画像の該第１の部分（２００）は、該画像の該第２の部分（２０２）によって表されている領域の上の該画像内に位置している該画像の領域を表していること
を特徴とする、項目３に記載の装置（１２）。

（項目５）
上記第１の部分（２００）および上記第２の部分（２０２）は、上記画像の隣接する領域を表していること
を特徴とする、項目４に記載の装置（１２）。

（項目６）
第１の部分（４００）および第２の部分（４０２）は、上記画像の共通の領域をカバーしていること
を特徴とする、項目４に記載の装置（１２）。

（項目７）
上記第１の部分（２００）および上記第２の部分（２０２）は、上記画像の共通の領域を全く含んでいないこと
を特徴とする、項目４または項目５に記載の装置（１２）。

（項目８）
上記画像の上記第１の部分（２００）および上記第２の部分（２０２）は、実質的に等しい大きさを有していること
を特徴とする、項目１〜項目７のいずれか一項に記載の装置（１２）。

（項目９）
上記画像生成器（１４ａ、１４ｂ）は、上記画像の互いに異なるｎ個の部分を生成するように構成されており、ｎは自然数であり、該画像の該ｎ個の部分は、互いの後に連続的に生成され、上記画像プロセッサ（１６）は、該画像の第（ｎ−１）の部分を処理した後に、該画像の第ｎの部分を処理するように構成されていること
を特徴とする、項目１〜項目８のいずれか一項に記載の装置（１２）。

（項目１０）
上記画像生成器（１４ａ、１４ｂ）は、上記画像に対し、８個以下の部分を生成するように構成されていること
を特徴とする、項目１〜項目９のいずれか一項に記載の装置（１２）。

（項目１１）
上記画像プロセッサ（１６）は、上記画像の上記第１の部分（２００）または上記第２の部分（２０２）に含まれている対象から、対象の情報を抽出するように構成されていること
を特徴とする、項目１〜項目１０のいずれか一項に記載の装置（１２）。

（項目１２）
上記画像プロセッサ（１６）は、上記抽出された対象の情報を用いることにより、上記画像の上記第１の部分（２００）または上記第２の部分（２０２）に対して、さらなる対象を追加するように構成されていること
を特徴とする、項目１１に記載の装置（１２）。

（項目１３）
上記画像プロセッサ（１６）は、上記画像の上記第１の部分（２００）または上記第２の部分（２０２）において検出された対象のまわりに、さらなる対象として、円、三角形、または長方形を追加するように構成されていること
を特徴とする、項目１２に記載の装置（１２）。

（項目１４）
上記画像プロセッサ（１６）は、上記画像の上記第１の部分（２００）または上記第２の部分（２０２）において検出された上記対象とは異なる色のさらなる対象を追加するように構成されていること
を特徴とする、項目１２または項目１３に記載の装置（１２）。

（項目１５）
上記画像プロセッサ（１６）は、上記画像の上記第１の部分（２００）および上記第２の部分（２０２）に含まれている対象の情報を抽出するように構成されており、該第１の部分（２００）および該第２の部分（２０２）は、該画像の隣接する部分であること
を特徴とする、項目１１〜項目１４のいずれか一項に記載の装置（１２）。

（項目１６）
上記画像生成器（１４ａ、１４ｂ）は、上記画像の上記第１の部分（２００）が、該画像生成器（１４ａ、１４ｂ）によって生成されたときに、該第１の部分（２００）が、遅延なしに、上記画像プロセッサ（１６）によって処理されるような方法で、該画像プロセッサ（１６）と同期化されること
を特徴とする、項目１〜項目１５のいずれか一項に記載の装置（１２）。

（項目１７）
上記画像生成器（１４ａ，１４ｂ）は、上記画像の上記第２の部分（２０２）が、該画像生成器（１４ａ、１４ｂ）によって提供されたときに、該第２の部分（２０２）が、遅延なしに、上記画像プロセッサ（１６）によって処理されるような方法で、該画像プロセッサ（１６）とさらに同期化されること
を特徴とする、項目１６に記載の装置（１２）。

（項目１８）
上記画像プロセッサ（１６）は、上記画像生成器（１４ａ、１４ｂ）が上記画像の上記第１の部分（２００）を既に提供した後の２０〜４０ｍｓの遅延時間の後に、該画像の該第１の部分（２００）の処理されたバージョンが提供されるように、該画像の該第１の部分（２００）を処理するように構成されていること
を特徴とする、項目１５または項目１７に記載の装置（１２）。

（項目１９）
上記画像生成器（１４ａ、１４ｂ）は、ＣＭＯＳ画像センサであること
を特徴とする、項目１〜項目１８のいずれか一項に記載の装置（１２）。

（項目２０）
上記画像プロセッサ（１６）は、上記画像の上記第１の部分（２００）および上記第２の部分（２０２）を表示するＬＣＤディスプレイを含んでいること
を特徴とする、項目１〜項目１９のいずれか一項に記載の装置（１２）。

（項目２１）
上記画像生成器（１４ａ、１４ｂ）は、上記画像の上記第１の部分（２００）および上記第２の部分（２０２）をそれらのデジタル表現に変換し、該画像の該第１の部分（２００）および該第２の部分（２０２）の該デジタル表現を上記画像プロセッサ（１６）に転送するように構成されていること
を特徴とする、項目１〜項目２０のいずれか一項に記載の装置（１２）。

（項目２２）
上記画像生成器（１４ａ、１４ｂ）は、上記車両（１０）の光学シリアルバスを介して、上記画像の上記第１の部分（２００）および上記第２の部分（２０２）のデジタル表現を上記画像プロセッサ（１６）に転送するように構成されていること
を特徴としている、項目２０に記載の装置（１２）。

（項目２３）
上記画像プロセッサ（１４ａ）は、上記車両（１０）のリアビューを提供するリアビューカメラであること
を特徴とする、項目１〜項目２２のいずれか一項に記載の装置（１２）。

（項目２４）
車両（１０）の周囲の画像を生成する方法であって、
少なくとも第１の部分（２００）および第２の部分（２０２）を有している画像を生成するステップ（５０２）であって、該第１の部分（２００）および該第２の部分（２０２）は、互いに異なっており、該画像の該第１の部分（２００）は、該画像の該第２の部分（２０２）よりも早く提供される、ステップと、
該画像を処理するために、該画像の該第１の部分（２００）および該第２の部分（２０２）を処理するステップ（５０４）であって、画像プロセッサは、該画像の該第２の部分（２０２）が該画像プロセッサにまだ利用可能ではない間に、該画像の該第１の部分（２００）を処理するようにさらに構成されている、ステップと
を包含する、方法。

（摘要）
車両（１０）の周囲の画像を処理するための装置（１２）および方法が提供される。装置は、画像生成器（１４ａ、１４ｂ）を備えており、画像生成器は、画像を生成するように構成されている。その画像は、少なくとも第１の部分（２００）および第２の部分（２０２）を有している。第１の部分（２００）および第２の部分（２０２）は、互いに異なっており、画像の第１の部分（２００）は、画像の第２の部分（２０２）よりも早く、さらなる処理のために生成される。加えて、装置は、画像プロセッサ（１６）を備えており、画像プロセッサは、画像を処理するために、画像の第１の部分（２００）および第２の部分（２０２）を処理するように構成されている。さらに、画像プロセッサ（１６）は、上記画像の第２の部分（２０２）が画像プロセッサ（１６）に対してまだ利用可能ではない間に、上記画像の第１の部分（２００）を処理するように構成されている。

本発明の追加的な特徴および利点は、図面を参照することにより、好適または有利な実施形態に関する以下の詳細な説明から、より容易に理解される。

（実施形態の詳細な説明）
図１は、本発明の実施形態が車両１０（例えば、自動車）に実施され得る方法に関する概略図を開示している。装置１２は、少なくとも１つの画像生成器１４ａまたは１４ｂを備えている。図１に示されている本発明の実施形態は、２つの画像生成器１４、例えば、リアビューカメラ１４ａおよびフロントビューカメラ１４ｂを有している。しかしながら、唯１つの画像生成器、例えば、リアビューカメラ１４ａのみを用いることが可能である。加えて、図１に開示されている装置１２は、画像プロセッサ１６と、車両１０のドライバー２０に画像を表示するように構成されているディスプレイ１８を備えている。装置１２の要素、すなわちリアビューカメラ１４ａ、フロントビューカメラ１４ｂ、画像プロセッサ１６、およびディスプレイ１８は、連続的に符号化されたデータを送信するために、バス２２（例えば、光ファイバー）によって互いに接続されている。さらに、車両１０のドライバー２０は、ディスプレイにおけるスイッチをひねることにより、リアビューカメラ１４ａによって生成された画像またはフロントビューカメラ１４ｂによって生成された画像をディスプレイ１８に表示させることが可能であり得る。

装置１２の機能は、以下で記載される。リアビューカメラ１４ａが画像を生成するときに、この画像は、バス２２を介して画像プロセッサ１６に、全体の画像としては転送されない。むしろ、生成された画像は、この画像の水平方向のスライスに分割される。このアプローチは、画像センサが、画像を全体としてではなく、セグメントごとに（例えば、行ごとに）キャプチャする機能を必要とする。図２は、リアビューカメラ１４ａのそのような画像の例を開示している。この画像は、５７６ピクセルの高さ、７２０ピクセルの幅を有している。このピクチャをキャプチャすると、リアビューカメラ１４ａは、直ぐにこのピクチャを６個のスライスに分割し得る。そのスライスの各々は、９６ピクセルの高さを有している。この文脈において、画像の水平方向のスライスは、単に例示を目的としたものであり、本発明は、画像の水平方向のスライスに限定されないということに、留意されたい。第１の（上方の）画像のスライス２００のデータが完全にキャプチャされると、第１の画像のスライス２００のデータは、バス２２を介して画像プロセッサ１６に送信される。その後、リアビューカメラ１４ａが、画像の第２のスライス２０２のデータをキャプチャし得る間に、画像プロセッサ１６は、第１の画像のスライス２００の処理を開始し得る。リアビューカメラ１４ａによって、画像の第２のスライス２０２のデータが完全にキャプチャされると、その後、第２のスライス２０２のデータもまた、バス２２を介して、画像プロセッサ１６に転送される。その後、画像プロセッサ１６は、画像の第１のスライス２００の処理を完了し、その結果、画像の第１のスライス２００は、バス２２を介してディスプレイ１８に送信され得る。続いて、リアビューカメラ１４ａが、画像の第３のスライス２０４のデータをキャプチャする間に、画像プロセッサ１６は、画像の第２のスライス２０２をさらに処理し得る。そのような処理は、画像が完成され、全ての画像のスライスのそれぞれが、画像プロセッサ１６によって処理されるまで、繰り返され得る。

図３は、本発明のアプローチを、図６に類似した図で示している。図６の図とは対照的に、図３からは、本発明の全待ち時間ｔ_{ｔｏｔａｌ}が、従来のアプローチの全待ち時間ｔ_{ｔｏｔａｌ}よりもはるかに短いということが、明確に認識され得る。これは、ステージ１において画像１の第２のスライス２０２がまだ生成されている間に、ステージ２において画像１の第１のスライス２００が既に処理されているという、大いに改良された並列化処理構成による。したがって、本発明のアプローチは、多数の画像のスライスが用いられているときに、最も良く機能する。本発明のアプローチにしたがう全待ち時間ｔ_{ｔｏｔａｌ}は、公式ｔ_{ｔｏｔａｌ}＝（ｎ−１）×ｔ_ｓ＋ｔ_ｐにしたがって計算され得る。ここで、ｔ_ｓは、画像のスライスをキャプチャ（または処理）するための時間であり、ｔ_ｐは、全体画像を処理するための時間である。些細なことに過ぎないが、本発明における考えは、画像のスライスをキャプチャするための時間が、この画像のスライスを処理するための時間とほぼ等しいという仮定に基づいているということに留意されたい。しかしながら、この仮定は、本発明を実施するための前提条件ではなく、単に説明を目的として用いられている。したがって、待ち時間の改善は、因子（ｎ−１）×ｔ_ｓによって表され得るので、画像内に多くのスライスを有することが望ましいことが、理解できる。しかしながら、画像のスライスは、６〜８個しかないことがあり得る。なぜならば、そうでない場合には、これらのスライスの各々を認識するための信号伝達の重複が非常に大きくなり得、今度はそれが、処理速度を低減させ得るからである。

スライス２００、２０２、および２０４への分割は、図４により明確に見ることができる。スライスは、それらが画像の共通の領域をカバーしないように選択され得るか（すなわち、それらがスライス２００、２０２、および２０４のような重複しないセクションを有するように選択されるか）、またはそれらがスライス４００および４０２のような重複するセクションを有するように選択され得る。重複しないスライスの選択は、２回処理されるデータが存在しないので、ピクチャがより速くキャプチャまたは処理され得るという利点を有している。一方で、プロセッサが、検出のために、スライスの境界領域における対象の輪郭線を用いてスライスを互いに調整することができるとき、プロセッサは、画像データを処理すること、例えば、スライスの画像データから対象の情報を抽出することを、はるかに容易に行うことができる。画像プロセッサは、このような方法で、２つ以上のスライスにわたって広がっている大きな対象を、はるかに容易に検出することができる。例示を目的として、図４においては、例えば、柱４０４が示されている。画像のスライスが重複する場合には、画像領域４０６が存在する。画像領域４０６は、スライスの位置を調整するために用いられ、その結果、柱４０４は、１つのスライス内の対象として解釈されるだけではなく、実際に全体が検出され得る。さらに、画像は、必ずしも重複しないスライスまたは重複するスライスに一意的に分割される必要はない。むしろ、本発明はまた、重複するスライスおよび重複しないスライスが用いられる、さらなる実施形態にしたがって実施され得る。特に、画像の中央部分においては、重複するスライスを中央部分（通常は、ピクチャの最も重要な部分である）として用いることにより、この部分（重複するスライスを用いて実現され得る）に高い検出精度を提供することが、有益であり得る。通常、画像のその他の部分は、画像の中央部分ほど多くの関連情報を含んではいないので、これらの部分に対しては、重複するスライスを用いた構造（重複しないスライスが用いられているならば、多大のデータ処理を必要とし得る）を実装することは、通常は必要ではない。

加えて、スライスが重複しない場合でさえも、スライスの境界にわたるより複雑な対象（例えば、自動車４０８）が、検出され得る。しかしながら、そのような対象を検出することは、より複雑である。なぜならば、対象がスライスの境界で終端し、新しい異なる対象が反対のスライスに位置しているかどうかに関して、画像プロセッサは、一切の情報を受け取らないので、スライスの境界は、単なる仮想的な境界であるだけではなく、２つの異なる対象の物理的な境界でもあり得るからである。その後、２つ以上のスライスを介する完全な対象の輪郭線が認識され得る場合に限り、例えば、検出される輪郭線をメモリ内に格納されている既知の輪郭線と照合することによって、対象の検出が、実行され得る。図４に示されている本発明の実施形態の追加的な特徴として、画像プロセッサ１６は、スライスの中に、車両の安全にとって重要であると認識された検出対象のまわりに、追加的な対象４１０（例えば、長方形、円、または三角形）を描くことができる。追加的な対象は、例えば、車両のドライバーの注意を引き付けるために、様々な色で描かれ得る。図４に示されている実施形態では、他の特徴として、車両１０の前方に位置している自動車４０８は、例えば、自動車４０８までの距離が画像プロセッサによって計算され得るように、検出される。そのような処理に対しては、輪郭線から自動車４０８のタイプを検出し、検出された自動車４０８の実際の大きさに関する情報をメモリから提供することが、有益であり得る。続いて、車両１０と車両の前方の自動車４０８との間の距離が、認識された自動車のタイプに基づいて、計算され得る。これは、上記のように構成された本発明の実施形態が、例えば、車両１０が走行しているときに、距離警告器（ｄｉｓｔａｎｃｅ ｗａｒｎｅｒ）としても用いられ得るという追加的な利点を提供する。さらに、本発明の中心的な局面は、このシナリオで、本発明は非常に短い待ち時間を有しているので、潜在的に危険な状況が発生する前に、ドライバーに十分早く警告が提供され得るという事実により、再認識され得る。

図５は、方法として実施されたときの、本発明の実施形態の流れ図を示している。そのような方法は、第１のステップ５０２として、少なくとも第１の部分および第２の部分を有している画像を生成するステップを含んでいる。これらの部分は、例えば、重複しないスライス２００、２０２、２０４、あるいは重複するスライス４００または４０２であり得る。それに続く方法ステップ５０４において、短い待ち時間で画像が表示され得るように、または異なるスライスの画像またはデータから対象が検出され得るように、画像の第１の部分および第２の部分の処理が実行される。生成するステップ５０２または処理するステップ５０４は、既に記載された利点を実現するために、上述のように実施され得る。

本発明を要約すると、個々の処理ステップが、実時間よりもかなり早く実行される（処理に要する時間＜＜１／ｆ）場合でさえも、全ピクチャアプローチ（ｃｏｍｐｌｅｔｅ ｐｉｃｔｕｔｅ ａｐｐｒｏａｃｈ）を用いると、待ち時間を１／ｆ未満に低減させることができないということに、留意されたい。本発明は、その実施形態にしたがって、待ち時間が実際の処理速度のみによって制限され、全体画像が利用可能になるまでに必要な時間によって制限されないようにするために、ｎ個のサブ画像（部分）を処理することにより、待ち時間の処理が低減され得る方法を記載している。画像がｎ個のサブ画像に分割される場合、この結果は、因子ｎに依存する待ち時間の低減をもたらし得る。本発明の一局面として、全ビデオ処理パイプラインは、完全なピクチャに対しては機能しないが、画像のサブセット（例えば、画像は、数本の直線からなる画像のみを含んだ一群の分散物（ｓｃａｔｔｅｒ）に分割される）に対して、機能する。画像の分割は、キャプチャシステムに依存する。画像は、分散物が全体画像よりも早く利用可能になるように分割され得る。上述の例において、キャプチャシステムは、最も上から最も下に向けてビデオ画像をキャプチャし得るので、画像の第１の直線群は、下の直線群よりもかなり早く利用される。

第１の分散物が利用可能になるとすぐに、画像の残りを待つ必要なしに、処理が開始され得る。これは、ビデオパイプラインの第２のステージが、第１のステージ（例えば、キャプチャプロセス）がまだ完了していない場合でさえも、開始することを可能にする。

図１は、本発明の実施形態にしたがう、車両の周囲の画像を処理するための装置に関する概略的なブロック図を示している。 図２は、画像生成器によって生成された画像の例を示しており、この画像は、いくつかの部分を含んでいる。 図３は、本発明の実施形態にしたがう、画像の様々な部分が様々な処理または生成ステージにおいて処理される方法に関する概略図を示している。 図４は、画像生成器によって生成された画像の概略図を示しており、この画像は、重複する部分および重複しない部分を有している。生成された画像の部分に基づいて、対象の検出が実行され得る。 図５は、本発明の実施形態にしたがう、車両の周囲の画像を処理するための方法を表す流れ図を示している。 図６は、従来の画像処理アプローチにしたがう、様々な画像が様々な処理または生成ステージにおいて処理される方法に関する概略図を示している。

符号の説明

１０ 車両
１２ 車両の周囲の画像を処理する装置
１４ａ、１４ｂ 画像生成器
１６ 画像プロセッサ
２００ 画像の第１の部分
２０２ 画像の第２の部分

Claims (24)

1. 車両（１０）の周囲の画像を処理する装置（１２）であって、
   画像を生成するように構成された画像生成器（１４ａ、１４ｂ）であって、該画像は、少なくとも第１の部分（２００）および第２の部分（２０２）を有しており、該第１の部分（２００）および該第２の部分（２０２）は、互いに異なっており、該画像の該第１の部分（２００）は、該画像の該第２の部分（２０２）よりも早く、さらなる処理のために生成される、画像生成器（１４ａ、１４ｂ）と、
   該画像を処理するために、該画像の該第１の部分（２００）および該第２の部分（２０２）を処理するように構成された画像プロセッサ（１６）であって、該画像プロセッサ（１６）は、該画像の該第２の部分（２０２）が該画像プロセッサ（１６）に対してまだ利用可能ではない間に、該画像の該第１の部分（２００）を処理するようにさらに構成されている、画像プロセッサ（１６）と
   を備えている、装置（１２）。
2. 前記画像プロセッサ（１６）は、前記第１の部分（２００）および前記第２の部分（２０２）を表示するように構成されており、該画像プロセッサ（１６）は、該画像の該第２の部分（２０２）が、前記画像生成器（１４ａ、１４ｂ）によって、該画像プロセッサ（１６）にまだ提供されてはいない間に、該画像の該第１の部分（２００）を表示するようにさらに構成されていること
   を特徴とする、請求項１に記載の装置（１２）。
3. 前記画像生成器（１４ａ、１４ｂ）は、前記画像の前記第１の部分（２００）または前記第２の部分（２０２）として、該画像の水平方向のスライスを生成するように構成されていること
   を特徴とする、請求項１または請求項２に記載の装置（１２）。
4. 前記画像生成器（１４ａ、１４ｂ）は、前記画像の前記第１の部分（２００）および前記第２の部分（２０２）として、該画像の水平方向のスライスを生成し、該画像の該第１の部分（２００）は、該画像の該第２の部分（２０２）によって表されている領域の上の該画像内に位置している該画像の領域を表していること
   を特徴とする、請求項３に記載の装置（１２）。
5. 前記第１の部分（２００）および前記第２の部分（２０２）は、前記画像の隣接する領域を表していること
   を特徴とする、請求項４に記載の装置（１２）。
6. 第１の部分（４００）および第２の部分（４０２）は、前記画像の共通の領域をカバーしていること
   を特徴とする、請求項４に記載の装置（１２）。
7. 前記第１の部分（２００）および前記第２の部分（２０２）は、前記画像の共通の領域を全く含んでいないこと
   を特徴とする、請求項４または請求項５に記載の装置（１２）。
8. 前記画像の前記第１の部分（２００）および前記第２の部分（２０２）は、実質的に等しい大きさを有していること
   を特徴とする、請求項１〜請求項７のいずれか一項に記載の装置（１２）。
9. 前記画像生成器（１４ａ、１４ｂ）は、前記画像の互いに異なるｎ個の部分を生成するように構成されており、ｎは自然数であり、該画像の該ｎ個の部分は、互いの後に連続的に生成され、前記画像プロセッサ（１６）は、該画像の第（ｎ−１）の部分を処理した後に、該画像の第ｎの部分を処理するように構成されていること
   を特徴とする、請求項１〜請求項８のいずれか一項に記載の装置（１２）。
10. 前記画像生成器（１４ａ、１４ｂ）は、前記画像に対し、８個以下の部分を生成するように構成されていること
    を特徴とする、請求項１〜請求項９のいずれか一項に記載の装置（１２）。
11. 前記画像プロセッサ（１６）は、前記画像の前記第１の部分（２００）または前記第２の部分（２０２）に含まれている対象から、対象の情報を抽出するように構成されていること
    を特徴とする、請求項１〜請求項１０のいずれか一項に記載の装置（１２）。
12. 前記画像プロセッサ（１６）は、前記抽出された対象の情報を用いることにより、前記画像の前記第１の部分（２００）または前記第２の部分（２０２）に対して、さらなる対象を追加するように構成されていること
    を特徴とする、請求項１１に記載の装置（１２）。
13. 前記画像プロセッサ（１６）は、前記画像の前記第１の部分（２００）または前記第２の部分（２０２）において検出された対象のまわりに、さらなる対象として、円、三角形、または長方形を追加するように構成されていること
    を特徴とする、請求項１２に記載の装置（１２）。
14. 前記画像プロセッサ（１６）は、前記画像の前記第１の部分（２００）または前記第２の部分（２０２）において検出された前記対象とは異なる色のさらなる対象を追加するように構成されていること
    を特徴とする、請求項１２または請求項１３に記載の装置（１２）。
15. 前記画像プロセッサ（１６）は、前記画像の前記第１の部分（２００）および前記第２の部分（２０２）に含まれている対象の情報を抽出するように構成されており、該第１の部分（２００）および該第２の部分（２０２）は、該画像の隣接する部分であること
    を特徴とする、請求項１１〜請求項１４のいずれか一項に記載の装置（１２）。
16. 前記画像生成器（１４ａ、１４ｂ）は、前記画像の前記第１の部分（２００）が、該画像生成器（１４ａ、１４ｂ）によって生成されたときに、該第１の部分（２００）が、遅延なしに、前記画像プロセッサ（１６）によって処理されるような方法で、該画像プロセッサ（１６）と同期化されること
    を特徴とする、請求項１〜請求項１５のいずれか一項に記載の装置（１２）。
17. 前記画像生成器（１４ａ，１４ｂ）は、前記画像の前記第２の部分（２０２）が、該画像生成器（１４ａ、１４ｂ）によって提供されたときに、該第２の部分（２０２）が、遅延なしに、前記画像プロセッサ（１６）によって処理されるような方法で、該画像プロセッサ（１６）とさらに同期化されること
    を特徴とする、請求項１６に記載の装置（１２）。
18. 前記画像プロセッサ（１６）は、前記画像生成器（１４ａ、１４ｂ）が前記画像の前記第１の部分（２００）を既に提供した後の２０〜４０ｍｓの遅延時間の後に、該画像の該第１の部分（２００）の処理されたバージョンが提供されるように、該画像の該第１の部分（２００）を処理するように構成されていること
    を特徴とする、請求項１５または請求項１７に記載の装置（１２）。
19. 前記画像生成器（１４ａ、１４ｂ）は、ＣＭＯＳ画像センサであること
    を特徴とする、請求項１〜請求項１８のいずれか一項に記載の装置（１２）。
20. 前記画像プロセッサ（１６）は、前記画像の前記第１の部分（２００）および前記第２の部分（２０２）を表示するＬＣＤディスプレイを含んでいること
    を特徴とする、請求項１〜請求項１９のいずれか一項に記載の装置（１２）。
21. 前記画像生成器（１４ａ、１４ｂ）は、前記画像の前記第１の部分（２００）および前記第２の部分（２０２）をそれらのデジタル表現に変換し、該画像の該第１の部分（２００）および該第２の部分（２０２）の該デジタル表現を前記画像プロセッサ（１６）に転送するように構成されていること
    を特徴とする、請求項１〜請求項２０のいずれか一項に記載の装置（１２）。
22. 前記画像生成器（１４ａ、１４ｂ）は、前記車両（１０）の光学シリアルバスを介して、前記画像の前記第１の部分（２００）および前記第２の部分（２０２）のデジタル表現を前記画像プロセッサ（１６）に転送するように構成されていること
    を特徴としている、請求項２０に記載の装置（１２）。
23. 前記画像プロセッサ（１４ａ）は、前記車両（１０）のリアビューを提供するリアビューカメラであること
    を特徴とする、請求項１〜請求項２２のいずれか一項に記載の装置（１２）。
24. 車両（１０）の周囲の画像を生成する方法であって、
    少なくとも第１の部分（２００）および第２の部分（２０２）を有している画像を生成するステップ（５０２）であって、該第１の部分（２００）および該第２の部分（２０２）は、互いに異なっており、該画像の該第１の部分（２００）は、該画像の該第２の部分（２０２）よりも早く提供される、ステップと、
    該画像を処理するために、該画像の該第１の部分（２００）および該第２の部分（２０２）を処理するステップ（５０４）であって、画像プロセッサは、該画像の該第２の部分（２０２）が該画像プロセッサにまだ利用可能ではない間に、該画像の該第１の部分（２００）を処理するようにさらに構成されている、ステップと
    を包含する、方法。

Images