JP2006512866A - 対象または人間を検出するための方法および装置 - Google Patents

Abstract

本発明は、例えば自動車（１）の内部空間における対象または人間（２）を検出するための方法に関する。検出すべき画像領域（５）を照明するための光パルス（４）を送出する少なくとも１つの照明ユニット（３）と、画像領域内の対象または人間から反射された光パルスを受け取り、対象（２）の画像情報を検出する少なくとも１つの画像センサ（７）を有する画像検出ユニット（６）とを備え、少なくとも１つの照明ユニット（３）は画像検出ユニット（６）と空間的に離れて自動車（１）にないし自動車（２）の中に配置されており、この離れて配置されている照明ユニット（３）と画像検出ユニット（６）のうち、一方はユニット（３；６）を同期ないし制御する制御光パルス（１０）を送出する光波送信器（８）を有するユニット（６ないし３）であり、−他方は、前記制御光パルスを受信する光波受信器（９）を有するユニット（３ないし６）である。

Description

本発明は、例えば自動車の内部空間における対象または人間を検出するための方法および装置に関する。

画像データを処理するための公知の装置は少なくとも１つの画像センサを備えた画像検出ユニットを有し、この画像センサは画像を例えば行毎に撮影して、この行毎に取得した画像データを即座に画像データバスを介して画像制御ユニットに伝送する。そのような画像センサは「ローリングシャッタ」とも称される。画像制御ユニットはたいてい画像センサデータをリアルタイムで処理し、中間メモリ（例えばＤＲＡＭ）に３２ビットバスを介して中間記憶するＡＳＩＣまたはＦＰＧＡから構成されている。マイクロコントローラはＡＳＩＣおよび画像データ処理システムにおけるデータ伝送を制御する。マイクロコントローラはさらに中間メモリに保持された画像データを評価する。例えば乗員保護システムのための電子制御ユニット（ＥＣＵ）の部分としてのマイクロコントローラは最終的に、受信した画像データを評価するためのアルゴリズムを実施する。

移動性の画像では画像センサによる行毎の画像の撮影を例にすると、撮影には限定された期間しか使用することができない。何故ならばさもないと撮影された画像は「ぼやける」からである。したがって全ての画像データも限定された期間内に伝送することが必要とされ、このことは大容量のデータを発生させることになる。

さらには画像データに関して膨大なメモリを要求しなければならない。この問題を解決するために、例えばＷＯ ０２／４１０３１からは有利には２つの画像センサを有する画像データ処理装置が公知であり、これら２つの画像センサはそれぞれいわゆるサンプル＆ホールド装置を使用する。このような画像センサを画像検出のために所定の画像検出時間にわたり能動的に投入接続することができる。画像が検出されると、検出された画像の個々のピクセルから構成されている画像データを直接的に画像センサチップにおいてメモリ、例えばコンデンサに所定の記憶時間にわたり中間記憶することができる。画像はいわば画像センサにおいて「固定」される。このように構成されている画像センサは有利にはＣＭＯＳ技術を基礎としており、「同期シャッタ」画像センサとも称される。

画像センサに記憶されている固定された画像データは制御装置によって読み出される。画像センサからの画像データの読み出しレートを制御装置におけるマイクロコントローラの処理速度に適合させることができる。

自動車の内部または外部における複数の画像または画像シーケンスの供給は、いくつもの制限ないし条件によって困難なものとされる。例えば１つまたは複数の画像検出ユニットがあらゆる光条件下で確実に動作する必要がある。このために、画像検出ユニットの他に付加的に照明ユニットを設けることが公知であり、この照明ユニットは検出すべき画像領域を照明するために例えば近赤外線領域にある波長（＞８００ｎｍ）を有する非常に集中的で短い（ＩＲ＝赤外線の）光パルスを送出し、これによりドライバおよび同乗者の気はそらされることはない、または妨げにはならない。このことは例えば画像センサが能動的に投入接続されている間に行われる。周辺光によって付加的に惹起される、例えば強い太陽光による光成分の負の影響は、画像検出時間が光パルスの持続時間と等しい、またはその持続時間のオーダであれば低減することができる。現在のところ良好にくまなく照明するためには多数のＩＲ−ＬＥＤが必要とされる。必要に応じて対物レンズまたは別個に考量された光学系がＬＥＤの手前に配置される。

例えば５０μｓから最大で２ｍｓの範囲にある可能な限り短い照明時間によって、対象が移動する画像も精確に検出することができる。検出すべき画像領域における対象の画像を依然として精確に検出することができる最大許容速度は、光パルスの最大持続時間および光パルス相互の時間間隔に依存する。有利には各光パルスが画像を照明する。したがって照明は間断なく行われるのではなく、画像検出ユニットの撮影と同期され、また有利には外部からの光が十分でない場合にのみ行われる。すなわちＬＥＤは必要なとき、かつ画像検出ユニットがまさに画像を撮影するときにのみ、ＩＲフラッシュとも称される光パルスを送出する。これらのＬＥＤは同時にＩＲパスも実現することができる。

さらには関心のある光景を、構造空間が狭いにもかかわらず、また場合によっては好適ではない空間的な配置構成もかかわらず良好にくまなく照明することが必要とされ、付加的な照明によって発生する損失電力ないし熱が全システムの電子機器に不利に作用することは許されない。しかしながら照明ユニットが画像検出ユニットと同じケーシング内に画像センサおよび評価電子機構と一緒に収容されている場合には、電子コンポーネントは相互に過熱し、したがってシステムの比較的低い使用温度しか達成することができない。熱問題においては優れてはいるがたいていは費用のかかる冷却措置、例えばアルミニウムボード上のＬＥＤ（アルミニウムベースのＦＲ４、アルミニウムベースのＦｌｅｘなど）によって、また僅かな損失電力および高い使用温度を有する適切な構成素子によってこの問題を克服しようと試みている。

最後に、画像検出ユニットと同じ配向を有する照明ユニットは、特に縁の構造の評価について最適化されている画像処理方法には適していない。何故ならばこの場合影付け（Schattenwurf）は行われないからである。

本発明の課題は、前述の欠点を本質的に回避する、例えば自動車の内部空間における対象または人間を検出するための改善された装置ならびに方法を提供することである。

この課題は独立請求項の特徴によって解決される。単独または相互に組み合わせて使用することができる有利な実施形態および発展形態は従属請求項の対象である。

本発明は、例えば自動車の内部空間における対象または人間を検出するために、検出すべき画像領域を照明する光パルスを送出する少なくとも１つの照明ユニットと、画像領域における対象または人間から反射された光パルスを受け取り、対象の画像情報を検出する少なくとも１つの画像センサを有する画像検出ユニットとを備え、ここで少なくとも１つの照明ユニットは画像検出ユニットと空間的に離れて自動車にまたは自動車の中に配置され、離れて配置されている照明ユニットと画像検出ユニットのうち、一方のユニットはユニットの同期ないし制御のために制御光パルスを送出する光波送信器であり、他方のユニットは制御光パルスを受信する光波受信器を有することを特徴とする。有利には熱技術的に好適な個所も、関心のあるシーンを照明するための個所も選択することができる。

有利には光波送信器と光波受信器との間に制御光パルスを伝送するための光導波体が配置されている。

したがって時に相当に煩雑である固定ケーブルの敷設を回避すべき限りにおいては、これに択一的に光波送信器および光受信器に制御光パルスを無線伝送するための伝送手段が設けられている。

本発明によれば有利には、光波送信器が画像検出ユニットの構成部分である。このことは、照明は間断なく行われるのではなく、画像検出ユニットの撮影と同期させて、殊に画像検出ユニットがまさに画像を撮影するときに関して行うことができる。

外光光源および照明の誤動作に対する高度の安全性を達成するために、制御光パルスが信号を用いて変調される、ないし適切な変調方法を用いて符号化されて伝送される場合には有利である。

本発明によれば有利には、制御光パルスは近赤外線領域にある波長を有する。このことは、自動車内のドライバまたは同乗者または他の乗員または自動車外部の道路使用者の気はそらされない、または妨げにはならないという利点を有する。

影付けを改善するために、本発明による照明ユニットは有利には関心のある人間ないし関心のある対象に配向されており、画像検出ユニットとの関係において角度α以下に配置されており、この角度は例えば乗員の顔における過度に大きな暗い面を回避するために、有利には０°から４５°および／または（複数の照明ユニットを使用できる場合でも）１３５°から１８０°であり、後者の角度領域は有利には逆光効果を利用することができる。もちろん累積的にも使用することができるこれらの配置変形は殊に照明が改善されるという利点を有する。有利には照明ユニットの電流供給は画像検出ユニットの電流供給とは別に自立的であり、その結果損失電力も完全に画像検出ユニットによって除去されており、このことは有利には冒頭で述べたような熱問題を最小化する。
最後に照明時点と画像記録時点と間に場合によっては生じる時間のずれは制御光パルスを時間的に先行させて送出することによって補償調整することが提案される。

本発明を用いて有利には、自動車への適用にとっては典型的であるような小さいスペース比をより簡単に解消することができる。それに加え、本発明は照明ユニットの影付けによって、自動車の内部空間および／または外部空間における構造体および対象の縁をより良好に検出することができる。最後に種々の「カーライン」または自動車タイプへのより簡単な適応が可能である。したがって本発明は殊に現在の自動車の乗員保護システムにのみ適しているのではなく、能動的なＩＲ照明を備えた自動車に関連する全てのビデオシステムに適している。

本発明のさらなる詳細および別の利点を以下では添付の図面と関連させて有利な実施例に基づき説明する。

ここで概略的に、
図１は自動車の内部の対象または人間を検出するための本発明による装置を示し、
図２は図１に基づく本発明による装置の拡大された細部を示す。

図１は例えば自動車１の内部空間の対象または人間２を検出するための本発明による装置を示す。装置には少なくとも１つの画像検出ユニット６が属しており、この画像検出ユニット６は例えば運転席１２と助手席１３との間で自動車１のヘッドライナに配置されている。画像検出ユニット６は照明ユニット３と作用接続されており、この照明ユニット３は本発明によれば自動車１において画像検出ユニット６とは空間的に離れて配置されており、例えばＡピラー近傍のヘッドライナまたはＡピラーにまたはフロントガラスの近傍の車内バックミラーのような他の適切な場所（図示せず）に設けられている。影付けを改善するために、照明ユニット３は人間ないし対象２に配向されており、また画像検出ユニット６との関係において角度α以下に配置されており、この角度は逆光作用を利用して有利には１３５°から１８０°とすることができ、図１においては例として１４０°に選定された。目的に適う限りさらなる照明ユニット（図示せず）を設けることもできる。照明ユニット３の電流供給は有利には画像検出ユニット６とは別に自立的に行われる。

ユニット３および６の同期ないし制御のために、画像検出ユニット６と照明ユニット３との間には例えば光導波体１１が配置されている（図１の左側半分に示されている）。これに択一的にまた殊に有利には、制御光パルス１０を伝送するための適切な手段８および９を用いてユニット３と６との間の同期が無線で行われる（図１の右側半分に示されている）。

画像検出ユニット６は少なくとも１つの画像センサ７を有する（図１の右側半分に示されている）。しかしながら有利には画像検出ユニット６に２つの画像センサ７が設けられている（図１の左側半分に示されている）。このような画像検出ユニット６はステレオカメラとも称される。ステレオカメラ６の画像センサ７の光学軸が所定の間隔を有することによって、例えば移動する対象２の立体画像ないし３Ｄ画像が撮影されて、マイクロコントローラ（図示せず）におけるさらなるデータ処理のために評価部へと伝送される。アルゴリズムを用いることにより引き続き対象ないし人間２と画像センサ７との距離を求めることができる。

図２は、図１に基づく本発明による装置の拡大された細部を示す。影付けを改善するために、照明ユニット３は人間ないし対象２に配向されており、画像検出ユニット６との関係においてやはり角度α以下で配置されており、この角度は図１に択一的または累積的に有利には０°から４５°とすることができ、図２においては例として４０°が選定された。有利には照明ユニット３のみが検出すべき画像領域５を照明するために光パルス４を送出することができる。しかしながら、画像検出ユニット６と照明ユニット３との本発明による配置構成は公知の画像検出装置との組み合わせも排除するものではなく、殊に車両タイプまたは特別な用途に応じて、自動車１にないし自動車１の中および／または画像検出ユニット６にまたは画像検出ユニット６の近傍にさらなる照明ユニット（図示せず）を設けることは目的に適ったものとなりうることを言及しておく。さらには本発明を車両に関連するいわゆる外部空間アプリケーションにも目的に適うよう適用できることを強調しておく。

さらには図２からは、本発明によれば画像検出ユニット６が光波送信器８を有し、この光波送信器８は制御光パルス１０をユニット３と６の同期ないし制御のために送出することが明瞭に見て取れる。これに応じて照明ユニット３は制御光パルス１０を受信する光波受信器９を有する。制御光パルス１０の無線伝送は光波送信器８ないし光波受信器９を介して行われ、ここで有利には制御光パルス１０は近赤外線領域（ＩＲ）にある波長（＞８００ｎｍ）を有し、この波長は、照明ユニット３の外部赤外線源、解錠ないし施錠システムの外部赤外線源のような外部赤外線光源に対する保護または誤動作の回避のために有利には変調および／または符号化されて伝送される。画像撮影と照明との間で場合によっては生じる伝播時間のずれを補償調整すべき場合には、この補償調整を制御光パルスを時間的に先行させて送出することによって行うことができる。

本発明を用いることにより、有利には自動車１の中または自動車１における小さいスペース比をより簡単に解消することができる。さらには本発明は照明装置３の影付けによって自動車１の内部空間および外部空間における構造体および対象２の縁をより良好に検出することができる。最後に、種々の「カーライン」または自動車タイプに容易に適用することができる。したがって本発明は例えば現在の自動車１の乗員保護システムにのみ適しているのではなく、能動的なＩＲ照明を有する、自動車に関する全てのビデオシステムに適している。

自動車の内部の対象または人間を検出するための本発明による装置を示す。 図１に基づく本発明による装置の拡大された細部を示す。

Claims (14)

1. 例えば自動車（１）の内部空間における対象または人間（２）を検出するための装置であって、
   −検出すべき画像領域（５）を照明するために光パルス（４）を送出する、少なくとも１つの照明ユニット（３）と、
   −前記画像領域（５）における対象または人間（２）から反射される前記光パルスを受け取り、該対象ないし人間（２）の画像情報を検出する少なくとも１つの画像センサ（７）を有する画像検出ユニット（６）とを備え、
   −少なくとも１つの照明ユニット（３）は前記画像検出ユニット（６）とは空間的に離れて前記自動車（１）にまたは前記自動車（１）の中に配置されている、対象または人間（２）を検出するための装置において、
   離れて配置されている前記照明ユニット（３）および前記画像検出ユニット（６）のうち、
   −一方は、ユニット（３；６）を同期ないし制御する制御光パルス（１０）を送出する光波送信器（８）を有するユニット（６ないし３）であり、
   −他方は、前記制御光パルスを受信する光波受信器（９）を有するユニット（３ないし６）であることを特徴とする対象または人間（２）を検出するための装置。
2. 前記光波送信器（８）と前記光波受信器（９）との間には、制御光パルスを伝送する光導波体（１１）が設けられている、請求項１記載の装置。
3. 前記光波送信器（８）と前記光波受信器（９）には前記制御光パルス（１０）を無線で伝送する伝送手段が設けられている、請求項１または２記載の装置。
4. 前記光波送信器（８）は前記画像検出ユニット（６）の構成要素である、請求項１から３までのいずれか１項記載の装置。
5. 前記制御光パルス（１０）を変調および／または符号化して伝送する、請求項１から４までのいずれか１項記載の装置。
6. 前記制御光パルス（１０）は近赤外線領域（ＩＲ）にある波長を有する、請求項１から５までのいずれか１項記載の装置。
7. 前記照明ユニット（３）は前記人間ないし対象（２）に配向されており、前記画像検出ユニット（６）との関係において角度α以下に配置されており、該角度は有利には０°から４５°および／または１３５°から１８０°である、請求項１から６までのいずれか１項記載の装置。
8. 前記照明ユニット（３）の電流供給は前記画像検出ユニット（６）に対する電流供給とは別に自立的である、請求項１から７までのいずれか１項記載の装置。
9. 例えば自動車（１）の内部空間における対象または人間（２）を検出するための方法であって、
   −検出すべき画像領域（５）を照明する光パルス（４）を送出する少なくとも１つの照明ユニット（３）を使用し、
   −前記画像領域（５）における対象または人間（２）から反射された光パルスを受け取り、該対象ないし人間（２）の画像情報を検出する少なくとも１つの画像センサ（７）を有する画像検出ユニット（６）を使用し、
   少なくとも１つの照明ユニット（３）と画像検出ユニット（６）は空間的に相互に離れて前記自動車（１）にまたは前記自動車（１）の中に配置されている、対象または人間（２）を検出するための方法において、
   分離されて配置されている照明ユニット（３）および画像検出ユニット（６）のうち、
   −一方は、制御光パルス（１０）をユニット（３；６）の同期ないし制御のために光波送信器（８）を介して送出するユニット（６ないし３）であり、
   −他方は、光波受信器（９）を介して前記制御光パルス（１０）を受信するユニット（３ないし６）であることを特徴とする、対象または人間（２）を検出するための方法。
10. 前記制御光パルスを前記光波送信器（８）と前記光波受信器（９）との間に配置されている光導波体（１１）を介して伝送する、請求項９記載の方法。
11. 前記制御光パルス（１０）を無線で伝送する、請求項９または１０記載の方法。
12. 前記制御光パルス（１０）を変調および／または符号化して伝送する、請求項９から１１までのいずれか１項記載の方法。
13. 前記制御光パルス（１０）の波長は近赤外線領域（ＩＲ）にある、請求項９から１２までのいずれか１項記載の方法。
14. 場合により生じる時間のずれを、前記制御光パルス（１０）を時間的に先行させて送出して補償調整する、請求項９から１３までのいずれか１項記載の方法。

Images