JP2005506625A - 自動車の座席占有状態を検出するためのシステムおよび方法 - Google Patents

Abstract

本発明は、画像データを処理するためのシステムに関する。該システムは第１のデータ処理装置（１０）および第２のデータ処理装置（１６）を有し、前記第１のデータ処理装置（１０）は少なくとも２つのカメラ（１２，１４）からの画像データを処理して、後続処理すべきデータを形成し、前記第２のデータ処理装置（１６）は、前記後続処理すべきデータを後続処理する。前記第１のデータ処理装置（１０）の機能は実質的に、該機能のために特別に構築されたハードウェアを基礎としており、前記第２のデータ処理装置（１６）の機能は実質的に、該機能のために特別に構築されたソフトウェアを基礎としている。

Description

【技術分野】
【０００１】
本発明は、少なくとも２つのカメラからの画像データを処理して、後続処理すべきデータを形成するための第１のデータ処理装置と、前記後続処理すべきデータを後続処理するための第２のデータ処理装置とを有する画像データを処理するためのシステムおよび方法に関する。ここでは、前記第１のデータ処理装置の機能は実質的に、該機能のために特別に構築されたハードウェアを基礎とし、前記第２のデータ処理装置の機能は実質的に、該機能のために特別に構築されたソフトウェアを基礎とする。
【０００２】
上位概念によるシステムおよび上位概念による方法は、とりわけ自動車において乗員保護システムとともに使用される。ここではたとえば、相互に間隔をもって配置された２つのカメラからの画像データが処理されることにより、３次元の画像情報が得られる。この画像情報を基礎として、たとえば座席の占有状態、とりわけ同乗者座席の占有状態が分類される。これを基礎として、たとえばエアバッグの点火特性が調整される。別の適用は、たとえば自動車の操縦中に運転者を、たとえば走行路識別を介して支援することである。
【０００３】
画像データの処理は、少なくとも部分的に計算が非常に面倒である。他方では、高い処理速度を達成することが必要である。というのも、それだけが確実な画像情報を形成できる唯一の手段であり、走行安全性にかかわる適用の多くが、時間的に非常にクリティカルであるからだ。
【０００４】
所望の高い処理速度を達成するため、本願出願前の特許出願においてすでに、画像データ処理部をハードウェアで構成することが提案されている。こうするためには、たとえばＦＰＧＡ（「Field Programmable Gate Array」）ないしはＡＳＩＣ（「Application Specific Integrated Circuit」）が使用される。これらのデータ処理装置は、デジタル同期論理設計によって極めて並行して動作する。このようにして、格段に高い処理速度が達成され、部分的に格段に小さなシステムクロックによって処理することができる。
【０００５】
それゆえ、画像データ処理をハードウェアによって実現することにより、確かにシステムの処理速度は格段に向上され、この処理速度に関連する問題は解消されるが、ハードウェアの具現化によってフレキシビリティが失われてしまう。しかしこのようなフレキシビリティは、システムの異なる適用に対して、ないしはシステムを具体的な状況に適合するためには、画像データ処理システムの最適化およびそれに関連する方法に関して非常に重要である。
【０００６】
これと関連して、たとえばＤＥ３４２５９４６には、光学的なセンサ回路装置の対を有する距離計が開示されている。この距離計では、第１のデータ処理装置の機能は実質的に、該機能のために特別に構築されたハードウェアを基礎とし、第２のデータ処理装置の機能は実質的に、該機能のために特別に構築されたソフトウェアを基礎とする。特に、第１のデータ処理装置では最も一致する値が求められ、第２のデータ処理へ後続処理のために伝送される。その際には、たとえば評価関数のクリティカルでないピーク値を、有利にはフレキシブルに消去することはできない。このことは、ハードウェア回路で構成された場合に実現するのがほぼ不可能であるか、または実現するための手間が非常に大きく、通常は非経済的である場合がある。
【０００７】
本発明の課題は、従来技術の欠点を排除することと、とりわけ、画像データを処理するためのシステムおよび方法において、高いデータ処理速度と同時に高いフレキシビリティも得られるシステムおよび方法を提供することである。
【０００８】
前記課題は、独立請求項の構成によって解決される。
【０００９】
本発明の有利な実施形態は、従属請求項に記載されている。
【００１０】
本発明は、上位概念によるシステムを基礎として、次のように構成されている。すなわち、第１のデータ処理装置の機能は、後続処理すべきデータとして相関曲線を形成することを含み、第２のデータ処理装置の機能は、第１のデータ処理装置によって形成された相関曲線を評価することを含むように構成されている。このようにして、ハードウェアの特別な構成することにより、計算時間が長い処理ステップを実現し、同時に、プロセッサないしはコントローラにおいて実行される、高度のフレキシビリティを必要とするステップが消費する計算時間を短縮することができる。異なるカメラからのデータ間の比較結果に基づいて相関曲線を形成する計算時間は、非常に長い。しかし原則的に、この相関曲線の計算は、多数のシステムにおいて同一に行われる。それゆえ、この計算を特別なハードウェアによって実行することが提案される。これに対して、相関曲線の後続処理の計算時間、たとえば相関曲線において極値を求めて３次元画像の奥行き情報を供給する時間は、特に長いわけではない。しかし、ここでは特に、システムを異なる適用に適合できるようにするために、十分にフレキシブルであることが特に望ましい。このことは、ソフトウェア処理を基礎として達成される。
【００１１】
本発明によるシステムは特に有利には、第１のデータ処理装置の機能が、前処理すべきデータの画像データを前処理することを含み、前処理されたこのデータから相関曲線が形成されるように構成することによって発展される。このような前処理は、たとえば計算時間が長いセンサス変換であり、このセンサス変換により、前処理時にすでに、処理速度が高いという利点が得られる。前処理されたデータをさらに処理して相関曲線を得ることも長い計算時間を必要とするので、この機能も第１のデータ処理装置が引き継がなければならない。
【００１２】
さらに有利には本発明の枠内では、第１のデータ処理装置が、共にステレオカメラを形成する２つのカメラからデータを受け取り、各カメラのデータは複数の画像領域に下位分割され、第１のカメラの画像領域のデータは第２のカメラの隣接する画像領域のデータと比較されることにより、第１のカメラの比較された各画像領域に対して相関曲線が形成されるように構成されている。たとえば、第１のカメラが左方のカメラであるとすると、前処理された左方の画像の各領域は、前処理された右方の画像の直接隣接する複数の画像領域、たとえば２４個の画像領域と比較される。前記右方の画像は、すなわち第２のカメラの画像である。各個別の比較によって、相応する画像領域の一致を表す値が得られる。左方の画像の各領域に対して、複数の比較結果、すなわちこの例では２４個の比較結果が得られる。この比較結果のシーケンスは、相関曲線ないしは相関関数として使用される。したがって、左方の画像の各画像領域に対して相関曲線が形成される。ここでは例として、第１のカメラを左方のカメラとして割り当て、第２のカメラを右方のカメラとして割り当てられているのが記載されており、この割り当ては「左右相関」と称される。
【００１３】
また本発明の枠内では有利には、第１のデータ処理装置が、共にステレオカメラを形成する２つのカメラからデータを受け取り、各カメラのデータは複数の画像領域に下位分割され、第２のカメラの画像領域のデータが第１のカメラの隣接する画像領域のデータと比較されることにより、第２のカメラの比較された各画像領域に対して相関曲線が形成されるように構成することもできる。第１のカメラがここでも左方のカメラであり、第２のカメラがここでも右方のカメラである場合、前記の手法は「右左相関」と称される。この相関は「左右相関」の代わりに実行されるか、またはこの左右相関とともに付加的に実行される。両相関を実行すると、２つの相関曲線を比較評価することにより、３次元画像の品質が格段に改善される。この比較評価もまた、有利にはフレキシブルに、第２のデータ処理装置によって実行される。この第２のデータ処理装置はすなわち、有利にはコントローラである。
【００１４】
さらに本発明によるシステムは有利には、第１のデータ処理装置によって形成された相関曲線の第２のデータ処理装置による評価は、３次元画像の形成も含むように構成されている。このような３次元画像の評価により、自動車における異なった過程が表示、トリガまたは調整される。
【００１５】
また特に有利には、相関曲線の評価に基づいて、自動車における座席占有状態の分類も行われる。このことは、とりわけ同乗者エアバッグの点火特性に関して有利である。
【００１６】
同様に、相関曲線の評価に基づいて、運転者が自動車の操縦時に支援されることも有利である。ここでは、走行路識別、事故防止、ストップ・アンド・ゴー等の機能が支援される。
【００１７】
本発明は、上位概念による方法を基礎として、次のように構成されている。すなわち、第１のデータ処理装置の機能は、後続処理すべきデータとして相関曲線を形成することを含み、第２のデータ処理装置の機能は、第１のデータ処理装置によって形成された相関曲線を評価することを含むように構成されている。このようにして、本発明によるシステムの構成および利点が本発明の枠内でも実現される。このことは、本発明の方法の下記の有利な実施形態にも当てはまる。
【００１８】
本方法の特に有利な発展形態では、第１のデータ処理装置の機能は、前処理すべきデータの画像データを前処理することを含み、前処理された前記データから相関曲線が形成されるように構成されている。
【００１９】
また有利には、第１のデータ処理装置は、共にステレオカメラを形成する２つのカメラからデータを受け取り、各カメラのデータは複数の画像領域に下位分割され、第１のカメラの画像領域のデータが第２のカメラの隣接する画像領域のデータと比較されることにより、第１のカメラの比較された各画像領域に対して相関曲線が形成されるようにも構成されている。
【００２０】
同様に、本発明による方法の枠内では有利には、第１のデータ処理装置は、共にステレオカメラを形成する２つのカメラからデータを受け取り、各カメラのデータは複数の画像領域に下位分割され、第２のカメラの画像領域のデータは第１のカメラの隣接する画像領域のデータと比較されることにより、第２のカメラの比較された各画像領域から相関曲線が形成されるように構成することもできる。
【００２１】
さらに、本発明による方法は有利には、第１のデータ処理装置によって形成された相関曲線の第２のデータ処理装置による評価は、３次元画像の形成を含むように構成されている。
【００２２】
また、本方法では有利には、相関曲線の評価に基づいて、自動車における座席占有状態の分類も行われる。
【００２３】
さらに本方法は、相関曲線の評価に基づいて、自動車の操縦中に運転者が支援されるようにすると有利である。
【００２４】
本発明は、計算時間が長いアルゴリズムと計算時間が短いアルゴリズムとを分離して、異なるデータ処理装置によって実行することにより、多大な利点が得られるという認識に基づいている。従来の技術のシステムでは、すべての画像形成アルゴリズムは完全にコントローラで実行されるか、または完全にＡＳＩＣないしはＦＰＧＡで実行されていた。本発明に基づくと、フレキシビリティを提供する必要がない、計算時間が長いアルゴリズムは、ハードウェアによってＡＳＩＣないしはＦＰＧＡで実現される。それに対して有利にはフレキシブルに構成すべき、計算時間が比較的短いアルゴリズムは、コントローラによって実行される。
【００２５】
本発明を、添付された図面と関連して、有利な実施形態に基づいて例解する。
【００２６】
図面
図１ 本発明によるシステムの概略的なブロック図である。
【００２７】
図２ 本発明による方法を説明するためのフローチャートである。
【００２８】
図１は、本発明によるシステムの概略的なブロック図である。ここでは、２つのカメラ１２，１４ないしは２つのカメラ装置が設けられており、データ通信のために第１のデータ処理装置１０と接続されている。第１のデータ処理装置１０は、別の通信のために第２のデータ処理装置１６と接続されている。この第２のデータ処理装置１６は、たとえば自動車のＣＡＮバス１８と通信する。
【００２９】
したがって、このシステムは２つのデータ処理装置１０，１６に分割されており、各処理機能は該処理に関する計算時間に相応して、データ処理装置１０，１６に割り当てられている。データ処理装置１０は、データ処理装置１６よりも格段に高い処理速度を提供するので、このデータ処理装置１０では、計算時間が長いアルゴリズムが処理される。それに対して、データ処理装置１６では計算時間が比較的短いアルゴリズムが実行される。さらに、データ処理装置１０では、通常は特定の適用にフレキシブルに適合しなくてもよいアルゴリズムが実行され、データ装置１６では、場合によっては非常に多いパラメータを適用に最適に適合しなければならないアルゴリズムが実行されることにも特に留意されたい。このようにして、本発明によるシステムに基づいて２つの問題が同時に解決される。一方では高い処理速度が得られる。というのも、面倒なアルゴリズムは「高速の」データ処理装置１０において実行されるからである。このデータ処理装置１０は、ハードウェア具現化に基づいている。それに対して、比較的計算時間が短いアルゴリズムは「低速の」データ処理装置１６において実行され、ソフトウェアの具現化によって高いフレキシビリティが得られる。
【００３０】
第1のデータ処理装置１０はここでは、特に有利にはＡＳＩＣないしはＦＰＧＡとして構成されている。ＡＳＩＣは、計算時間が長い相関曲線の計算に関して最適化されるので、極めて高い処理速度が達成される。異なる各適用に対して異なるＡＳＩＣを構想する必要はない。というのも、フレキシブルな適合はその後、第２のデータ処理装置１６によって引き継がれるからである。
【００３１】
比較可能であるようにするため、特に有利には、第１のデータ処理装置１０はＦＰＧＡである。ＦＰＧＡの再プログラミングもまた、面倒である。しかし、ＦＰＧＡをもっぱら相関曲線の計算に使用することにより、異なる適用が希望される場合にこのような再プログラミングを行う必要がなくなる。同時に、ＦＰＧＡによって実現することにより、高い処理速度が達成される。
【００３２】
これと関連して特に有利には、第２のデータ処理装置１６はプロセッサないしはコントローラとして構成されている。したがって、全システムのフレキシビリティが、たとえば任意に再プログラミング可能なコントローラを第２のデータ処理装置１６として使用することによって得られる。このようなコントローラの計算速度は、たとえば相関曲線の極値を求めたり、または相関曲線の異なるセットを相互に比較する等、相関曲線を評価するのに十分である。
【００３３】
具体的には、データ処理装置１０によってまず、共にステレオカメラ１２，１４を形成するカメラ１２，１４から送出された画像データが前処理される。ここではたとえば、計算時間が長いセンサス変換が実行される。続いて、データ処理装置１０において各カメラの画像データが相関付けられる。これはたとえば、左方のカメラ１２の画像の各画像領域を、右方のカメラ１４の画像の直接隣接する複数の画像領域と比較することによって実行される。前記複数の画像領域は、たとえば２４個である。各個別の比較によって、相応する結果の一致を表す値が得られる。したがって、左方の画像の各領域に対して複数の比較結果が得られる。前記複数の比較結果は、たとえば２４個である。この比較結果のシーケンスは、相関曲線ないしは相関関数と称される。したがって、左方の画像の各領域に対して相関曲線が形成される。このように実施される方法は「左右相関」と称される。同様にこれに相応して、「右左相関」を実施することも可能である。これは、「左右相関」とともに付加的に実施されるか、または「左右相関」の代わりに実施される。
【００３４】
その後、第２のデータ処理装置１６で相関曲線の極値が求められる。相関曲線の複数のセットが存在する場合、たとえば「左右相関」および「右左相関」が実施される場合、これらのセットを比較することによって、データ処理装置１６によって形成された３次元画像の品質が格段に改善される。
【００３５】
図２には、本発明による方法を説明するためのフローチャートが示されている。
【００３６】
ステップＳ０１では、画像データ情報がステレオカメラによって供給される。
【００３７】
この画像データ情報はステップＳ０２において、相関曲線を形成するためにＡＳＩＣないしはＦＰＧＡで後続処理される。
【００３８】
ステップＳ０３では、相関曲線が評価される。計算時間が特に長くないこの評価は、コントローラで実行される。
【００３９】
ステップＳ０４では、３次元画像がコントローラで形成される。
【００４０】
その後、この画像ないしは該画像から取り出された情報が、車両のＣＡＮバス（ＣＡＮバス１８、図１参照）を介して、たとえば自動車の中央制御ユニットへ伝送される。
【００４１】
以上の説明、図面および請求項にて開示された本発明の構成は、個別にも任意に組み合わせても、本発明を実現するために重要である。本発明はとりわけ、自動車における座席占有状態を分類するのに適しており、および／または自動車の操縦時に運転者を支援するのに適している。
【図面の簡単な説明】
【００４２】
【図１】本発明によるシステムの概略的なブロック図である。
【図２】本発明による方法を説明するためのフローチャートである。

Claims (14)

1. 画像データを処理するためのシステムであって、
   第１のデータ処理装置（１０）および第２のデータ処理装置（１６）が設けられており、
   前記第１のデータ処理装置（１０）は、少なくとも２つのカメラ（１２，１４）からの画像データを処理して、後続処理すべきデータを形成し、
   前記第２のデータ処理装置（１６）は、前記後続処理すべきデータを後続処理し、
   前記第１のデータ処理装置（１０）の機能は実質的に、該機能のために特別に構築されたハードウェアを基礎としており、
   前記第２のデータ処理装置（１６）の機能は実質的に、該機能のために特別に構築されたソフトウェアを基礎としている形式のものにおいて、
   前記第１のデータ処理装置（１０）の機能は、後続処理すべきデータとして相関曲線を形成することを含み、
   前記第２のデータ処理装置（１６）の機能は、前記第１のデータ処理装置（１０）によって形成された相関曲線の評価を含むことを特徴とするシステム。
2. 前記第１のデータ処理装置（１０）の機能は、画像データを前処理して、前処理すべきデータを形成することを含み、
   前処理された前記データから相関曲線が形成される、請求項１記載のシステム。
3. 前記第１のデータ処理装置（１０）は２つのカメラ（１２，１４）からデータを受け取り、
   前記２つのカメラ（１２，１４）は、共にステレオカメラを形成し、
   各カメラ（１２，１４）のデータは、複数の画像領域に下位分割され、
   第１のカメラ（１２）の画像領域のデータは、第２のカメラ（１４）の隣接する画像領域のデータと比較され、第１のカメラ（１２）の比較された各画像領域に対して相関曲線が形成される、請求項１または２記載のシステム。
4. 第１のデータ処理装置（１０）は、共にステレオカメラを形成する２つのカメラ（１２，１４）からデータを受け取り、
   各カメラ（１２，１４）の前記データは、複数の画像領域に下位分割され、
   第２のカメラ（１４）の画像領域のデータが、第１のカメラ（１２）の隣接する画像領域のデータと比較されることにより、該第２のカメラ（１４）の比較された各画像領域に対して相関曲線が形成される、請求項１から３までのいずれか１項記載のシステム。
5. 第１のデータ処理装置（１０）によって形成された相関曲線の第２のデータ処理装置（１２）による評価は、３次元画像の形成を含む、請求項１から４までのいずれか１項記載のシステム。
6. 前記相関曲線の評価に基づいて、自動車における座席占有状態が分類される、請求項１から５までのいずれか１項記載のシステム。
7. 前記相関曲線の評価に基づいて、自動車の操縦中に運転者が支援される、請求項１から６までのいずれか１項記載のシステム。
8. 画像データを処理するための方法であって、
   第１のデータ処理装置（１０）によって、少なくとも２つのカメラ（１２，１４）からの画像データを処理して、後続処理すべきデータを形成し、
   第２のデータ処理装置（１６）によって、前記後続処理すべきデータを後続処理し、
   前記第１のデータ処理装置（１０）の機能は実質的に、該機能のために特別に構築されたハードウェアを基礎としており、
   前記第２のデータ処理装置（１６）の機能は実質的に、該機能のために特別に構築されたソフトウェアを基礎としている形式の方法において、
   前記第１のデータ処理装置（１０）の機能は、後続処理すべきデータとして相関曲線を形成することを含み、
   前記第２のデータ処理装置（１６）の機能は、前記第１のデータ処理装置（１０）によって形成された相関曲線を評価することを含むことを特徴とする方法。
9. 前記第１のデータ処理装置（１０）の機能は、前処理すべきデータの画像データを前処理しすることを含み、
   前処理された前記データから、相関曲線を形成する、請求項８記載の方法。
10. 前記第１のデータ処理装置（１０）によって、共にステレオカメラを形成する２つのカメラ（１２，１４）からデータを受け取り、
    各カメラ（１２，１４）のデータを、複数の画像領域に下位分割し、
    第１のカメラ（１２）の画像領域のデータを、第２のカメラ（１４）の隣接する画像領域と比較することにより、前記第１のカメラ（１２）の比較された各画像領域に対して相関曲線を形成する、請求項８または９記載の方法。
11. 前記第１のデータ処理装置（１０）によって、共にステレオカメラを形成する２つのカメラ（１２，１４）からデータを受け取り、
    各カメラ（１２，１４）のデータを、複数の画像領域に下位分割し、
    第２のカメラ（１４）の画像領域のデータを、第１のカメラ（１２）の隣接する画像領域のデータと比較することにより、第２のカメラ（１４）の比較された各画像領域に対して相関曲線を形成する、請求項８から１０までのいずれか１項記載の方法。
12. 前記第１のデータ処理装置（１０）によって形成された相関曲線の第２のデータ処理装置（１６）による評価は、３次元画像の形成を含む、請求項８から１１までのいずれか１項記載の方法。
13. 相関曲線の評価に基づいて、自動車における座席占有状態を分類する、請求項８から１２までのいずれか１項記載の方法。
14. 相関曲線の評価に基づいて、自動車の操縦中に運転者を支援する、請求項８から１３までのいずれか１項記載の方法。

Images