JP2018503899A - 発光ユニットの同期作動によって自動車の乗員のジェスチャおよび／または視線方向を認識するための取込装置、操作装置、自動車、ならびに方法 - Google Patents

Abstract

本発明は、自動車（１）の乗員（１３）のジェスチャおよび／または視線方向を認識するための取込装置（３）に関し、第１のセンサデバイス（５）と、少なくとも１つの第２のセンサデバイス（６）と、を備え、センサデバイス（５、６）の各々が、光を放射する（１１）ための発光ユニット（７）と、乗員（１３）によって反射された光（１２）を受光するための受光ユニット（８）と、発光ユニット（７）を作動させるため、ならびに反射光（１２）に基づいてジェスチャおよび／または視線方向を認識するためのコンピュータユニット（９）と、をそれぞれ有し、センサデバイス（５、６）のコンピュータユニット（９）が、発光ユニット（７）を同期信号に応じて同期して作動させる。

Description

本発明は、自動車の乗員のジェスチャおよび／または視線方向を認識するための取込装置であって、第１のセンサデバイスを備え、かつ少なくとも１つの第２のセンサデバイスを備え、センサデバイスの各々が、光を放射するための発光ユニットと、乗員によって反射された光を受光するための受光ユニットと、発光ユニットを作動させるため、ならびに反射光に基づいてジェスチャおよび／または視線方向を認識するためのコンピュータユニットとをそれぞれ有する、取込装置に関する。本発明はさらに、操作装置および自動車に関する。最後に、本発明は、自動車の乗員のジェスチャおよび／または視線方向を認識するための方法に関する。

最新の自動車には多様な取込装置が設置され、それを用いて、例えば、車両乗員の操作動作が認識され得る。例として、そのような取込装置を使用した車両乗員のジェスチャの検出が知られている。この場合、取込装置は、例えば、センサデバイスをカメラの形で備え、それを用いて乗員の操作ジェスチャが取り込まれ得、対応するコンピュータユニットを用いて評価され得る。次いで、操作信号が取り込まれたジェスチャに応じて生成され得、前記操作信号を使用して自動車の機能デバイスを作動させることができる。

さらには、先行技術が、運転者の視線方向が取り込まれ得る取込装置を開示している。故に、例えば、運転者が視線を道路に向けているかどうかを認識することが可能である。さらに、運転者の視線方向に基づいて、例えば、運転者によって視線が向けられる自動車の機能デバイスを識別することが可能である。

車両乗員のジェスチャおよび／または視線方向を認識するためのそのような取込装置は、通常、アクティブな発光ユニットを有する光学センサを有する。特に、取込装置は、可視波長範囲内または赤外波長範囲内の光を放射する発光ユニットを有するカメラとして具現化される。カメラを使用して、例えば、乗員の部分、例えば手の画像を記録することが可能である。さらに、いわゆる３Ｄカメラが知られており、それを用いて距離の図形表現を提供することが可能である。これに関連して、例えば、発光ユニットで光を放射し、受光ユニットを用いて乗員によって反射された光を取り込むいわゆるＴＯＦ（ＴＯＦ−飛行時間）カメラが知られている。また、光の飛行時間に基づいて、取込装置と乗員の少なくとも部分との間の距離を推測することが可能である。

このため、ＤＥ１０２００８ ０４８３２５ Ａ１は、画像記録デバイスを備える作動入力ユニットについて記載する。さらに、作動入力ユニットは、画像記録デバイスによって記録された動きの画像において人の手の領域を検出する手領域検出デバイスを備える。さらに、検出された手領域の形および動きから手による作動を決定する手作動決定装置を提供する。最後に、決定された作動に基づいて選択されたメニューについて使用者に通知するメニュー選択表現デバイスが提供される。ここでは、多様な画像記録装置を備える作動入力機器も提供され得る。

さらに、ＤＥ１０２０１２１１０ ４６０ Ａ１は、自動車の構成部品に対する制御コマンドを入力するための方法について記載する。ここでは、使用者によって導かれた入力対象の画像シーケンスが、撮像デバイスを用いて既定の取込領域において生成される。さらには、入力対象の配向の変化が、画像シーケンスに基づいて識別され、制御コマンドが、認識された配向の変化に基づいて自動車の構成部品に対して出力される。ここでは、撮像デバイスは、少なくとも１つの赤外線感知カメラを備え得る。

さらに、ＷＯ２０１４／０３２８２２ Ａ２は、車両機能を制御するための装置について記載する。この装置は、少なくとも１つのインターフェースを備え、使用者は静的および／または動的な使用者ジェスチャによってそのインターフェースと相互作用する。さらに、静的および動的な使用者ジェスチャを取り込む検出ユニットが提供される。さらに、使用者ジェスチャは制御ユニットを用いて取り込まれ、対応する車両機能が作動される。ここでは、検出ユニットは、特に、ＴＯＦカメラとして具現化される、１つ以上のカメラを備え得る。これらを使用して、好ましくは、頭部の一部の動き、特に目または鼻の動きを識別することが可能である。さらに、検出ユニットは、使用者の並行したジェスチャおよび／または複数の人のジェスチャを同時および／または連続した様式で認識するように構成される。

本発明の目的は、最初に記載された種類の取込装置が、自動車の乗員のジェスチャおよび／または視線方向を取り込むために、どのようにしてより確実に操作され得るかについての解決策を提供することである。

この目的は、それぞれの独立特許請求項による機能を有する取込装置、操作装置、自動車、および方法によって達成される。本発明の有利な実施形態は、従属請求項、明細書、および図面の主題である。

本発明に係る取込装置は、自動車の乗員のジェスチャおよび／または視線方向を認識する働きをする。取込装置は、第１のセンサデバイスと、少なくとも１つの第２のセンサデバイスと、を備える。センサデバイスの各々は、光を放射するための発光ユニットをそれぞれ有する。さらに、センサデバイスの各々は、乗員によって反射された光を受光するための受光ユニットを備える。さらには、センサデバイスの各々は、発光ユニットを作動させるため、ならびに反射光に基づいてジェスチャおよび／または視線方向を認識するためのコンピュータユニットを備える。ここでは、センサデバイスのコンピュータユニットは、発光ユニットを同期信号に応じて同期して作動させる。

取込装置は、自動車において使用され得る。取込装置を使用して、自動車の乗員のジェスチャおよび／または自動車の乗員の視線方向を取り込むことが可能である。取込装置は、例えば、自動車の内部に分散して配置され得る少なくとも２つのセンサデバイスを備える。センサデバイスは、光学センサまたはカメラを備えてもよい。センサデバイスの各々は発光ユニットを備える。この発光ユニットは、コンピュータユニットを用いて作動されてもよい。故に、発光時間、即ち、光がそれぞれの発光ユニットによって放射される持続時間を制御することが可能である。したがって、センサデバイスはアクティブな照光を有する。それぞれの発光ユニットによって放射された光は、乗員の一部、例えば、身体部位に衝突し、それによって反射されると、次いでそれぞれのセンサデバイスの受光ユニットに達する。反射光に応じて、次いでコンピュータユニットは、乗員のジェスチャおよび／または視線方向を識別することができる。

本発明は、アクティブな照光を有する少なくとも２つのセンサデバイスが使用される場合に、センサデバイス同士の影響が存在し得るという発見に基づく。例として、発光ユニットによって放射されたそれぞれの光の結果として、干渉が発生し得る。本ケースでは、それぞれのセンサデバイスのコンピュータユニットが、発光ユニットを同期信号に応じて同期して作動させることができる。したがって、例として、少なくとも２つのセンサデバイスの発光ユニットは、特定の順序で同時に作動され得る。センサデバイスのそれぞれの発光ユニットの同期操作の結果、センサデバイスの発光ユニットによってセンサデバイスの相互干渉を回避することが可能である。さらには、これにより、センサデバイスのそれぞれの検出領域の理想的な照光をさらに促進することができる。

好ましくは、第１のセンサデバイスのコンピュータユニットは、同期信号を提供し、その同期信号を第２のセンサデバイスのコンピュータユニットに送信する。故に、第１のセンサデバイスのコンピュータユニットは、マスタとして機能し、第２のセンサデバイスのコンピュータユニットは、スレーブとして機能する。第１のセンサデバイスのコンピュータユニットは、対応する同期信号を提供する。第１のセンサデバイスのコンピュータユニットのこの同期信号に応じて、第１のセンサデバイスの発光ユニットを作動させることが可能である。さらに、この同期信号は、第２のセンサデバイスの発光ユニットがいつ作動されるべきかに関する情報を含み得る。次いでこの同期信号は、第１のセンサデバイスのコンピュータユニットから送信される。第１のセンサデバイスのコンピュータユニットから第２のセンサデバイスのコンピュータユニットへの送信中に生じる時間遅延もまた、同期信号において考慮され得る。故に、同期信号は、センサデバイス自体のうちの１つのコンピュータユニットを使用して提供され得る。

さらに、第１のセンサデバイスおよび少なくとも１つの第２のセンサデバイスのコンピュータユニットは、同期信号を送信するためのデータ線を介して連結されると好適である。データ線によって、例えば、２つのセンサデバイスのコンピュータユニット間に直接的なデータリンクを提供することが可能である。故に、センサデバイス間の同期信号の確実な送信を確保することが可能である。さらに、同期信号の送信中の時間遅延は、直接的なリンクによって回避され得るか、または低減され得る。

好ましくは、データ線は、自動車のデータバス、特に、ＣＡＮバスである。故に、同期信号の送信は、自動車の既存のデータバスによってもたらされ得る。同期信号、それに応じてセンサデバイスの各々のそれぞれの発光ユニットが作動される、の送信によって、センサデバイス同士の妨害を確実に回避することが可能である。ここで考慮されるのは、データバスを介して送信されるデータフレームを処理するための持続時間が、発光ユニットが作動されている間の発光持続時間よりも著しく長いということである。故に、取込装置の確実な操作が促進され得る。

さらなる実施形態において、第１のセンサデバイスおよび／または少なくとも１つの第２のセンサデバイスは、放射光および反射光の飛行時間に基づいて、乗員の少なくとも一部までの距離を決定する。異なる表現をすると、第１のセンサデバイスおよび／または第２のセンサデバイスは、いわゆる３ＤカメラまたはＴＯＦカメラとして具現化される。故に、乗員の一部、例えば、乗員の手を空間的に取り込むことが可能である。このようにして、車両乗員の対応するジェスチャを認識し、コンピュータユニットを用いて、これらを評価することが可能である。その過程で、例えばコンピュータユニットに保存された、既定のジェスチャとの比較が存在し得る。取り込まれたジェスチャに応じて、次いで、対応する操作信号を自動車の機能デバイスに送信することが可能である。

さらなる実施形態において、第１のセンサデバイスおよび／または少なくとも１つの第２のセンサデバイスは、反射光に基づいて、乗員の少なくとも一部の画像を取り込むように構成される。異なる表現をすると、第１のセンサデバイスおよび／または少なくとも１つの第２のセンサデバイスは、カメラとして具現化され、それを用いて乗員の身体部位の画像を取り込むことが可能である。特に、第１のセンサデバイスおよび／または第２のセンサデバイスは、取り込まれた画像に基づいて乗員の視線方向を認識するように設計される。故に、例えば、運転者または乗員が視線を道路に向けているかどうかを認識することが可能である。さらには、例えば、運転者が目を開けているか、または閉じているかを識別することがさらに可能である。自動車のどの機能デバイスが、視線方向に基づいて乗員によって操作されることが意図されるかの識別も提供される。対応する操作信号は、取り込まれた視線方向に基づいて出力され得る。

さらには、第１のセンサデバイスのコンピュータユニットおよび少なくとも１つの第２のセンサデバイスのコンピュータユニットが、第１のセンサデバイスおよび少なくとも１つの第２のセンサデバイスでジェスチャを取り込むときに、発光ユニットを交互に作動させると好適である。異なる表現をすると、２つのセンサデバイスは、ジェスチャを取り込む目的のために交互に操作される。このようにして、ジェスチャを取り込むときのセンサデバイスの相互影響を防ぐことが可能である。

さらなる構成において、第１のセンサデバイスのコンピュータユニットおよび少なくとも１つの第２のセンサデバイスのコンピュータユニットは、第１のセンサデバイスおよび少なくとも１つの第２のセンサデバイスを用いて視線方向を取り込むときに、発光ユニットを同時に作動させる。乗員の視線方向が識別される必要がある場合、両方の発光ユニットが同時に有効であるように発光ユニットの同期が実行され得る。このようにして、それぞれのセンサデバイスの検出領域の理想的な照光を促進することが可能である。故に、乗員の視線方向を確実に取り込むことが可能である。

本発明に係る自動車用の操作装置は、本発明に係る取込装置を備える。さらに、操作装置は、取込装置によって認識されたジェスチャおよび／または視線方向に応じて作動可能である機能デバイスを備える。乗員のジェスチャおよび／または視線方向が取込装置で認識される場合、適切な操作信号を出力し、その操作信号を機能デバイスに送信することが可能である。次いで、機能デバイスはこの操作信号に応じて作動され得る。例として、自動車の機能デバイスは、インフォテインメントシステム、ナビゲーションシステムなどであり得る。ウィンドウリフト、外部ミラーを調整するためのアクチュエータなどである機能デバイスも提供され得る。操作装置はまた、例えば、操縦および／または制動システムにおいて介入を行う自動車の運転者支援システムの部分であり得る。これは特に、運転者の視線が道路から逸れて危険の恐れがあることを取込装置が識別する場合に有利である。

本発明に係る自動車は、本発明に係る操作装置を備える。特に、自動車は乗用自動車として具現化される。

本発明に係る方法は、自動車の乗員のジェスチャおよび／または視線方向を認識する働きをする。ここでは、第１のセンサデバイスと、少なくとも１つの第２のセンサデバイスと、が提供される。ここでは、センサデバイス１つ１つにおいて、光を放射するための発光ユニットがコンピュータユニットを用いて作動され、乗員によって反射された光が受光ユニットを用いて受光され、ジェスチャおよび／または視線方向が、反射光に基づいて、コンピュータユニットを用いて認識される。発光ユニットは、同期信号に応じて、センサデバイスのコンピュータユニットを用いて同期して作動する。

本明細書に係る取込装置に関して提示される好ましい実施形態およびそれらの利点は、本発明に係る操作装置、本発明に係る自動車、および本発明に係る方法について準用する。

さらなる機能および発明は、特許請求の範囲、図面、および図面の説明から明らかになる。上述された機能および機能の組み合わせ、ならびに以下の図面の説明で述べられるおよび／または図面でのみ示される機能および機能の組み合わせは、それぞれに明記された組み合わせだけでなく、本発明の範囲から逸脱することなく、他の組み合わせまたはそれら単独でも使用され得る。故に、図面においては明確に示されることも説明されることもないが、別個の機能の組み合わせによって説明された実施形態から明らかになり、かつ生産可能である実施形態もまた、したがって本発明に含まれ、本発明により開示されると見なされるものとする。したがって元々記載された独立請求項の全ての機能を有しない、機能の組み合わせに関する実施形態もまた、開示されると見なされるものとする。

本発明は、好ましい例示的な実施形態に基づいて、添付の図面を参照して、より詳細に説明される。

本発明の一実施形態に係る自動車の概略図を示す。 乗員のジェスチャおよび／または視線方向が取り込まれる、自動車の取込装置を示す。 第１のセンサデバイスおよび第２のセンサデバイスを備える、図２に係る取込装置を示す。

図中、等価または機能的に等価の要素は、同じ符号で表される。

図１は、本発明の一実施形態に係る自動車１の概略図を示す。本ケースでは、自動車１は乗用自動車として具現化される。自動車１は操作装置２を備える。次いで、操作装置２が取込装置３を備える。取込装置３を使用すると、以下により詳しく説明されるように、自動車１の乗員１３のジェスチャおよび／または視線方向を取り込むことが可能である。取り込まれたジェスチャおよび／または取り込まれた視線方向に応じて、対応する操作信号を取込装置３から自動車１の機能デバイス４に送信することが可能である。

例として、自動車１の機能デバイス４は、ナビゲーションシステム、インフォテインメントシステム、空調ユニットなどであり得る。機能デバイス４はまた、窓を開閉するための適切なアクチュエータ、外部ミラーを調整するためのアクチュエータ、スライディングルーフまたはソフトトップを開閉するためのアクチュエータ、座席を調整するためのアクチュエータなどであり得る。機能デバイスはまた、自動車１の運転者支援システムの部分であり得る。

図２は、取込装置３の実施形態の概略図を示す。この例示的な実施形態において、取込装置３は、第１のセンサデバイス５および第２のセンサデバイス６を備える。また、２つのセンサデバイス５、６よりも多いセンサデバイスを備える取込装置３が提供され得る。センサデバイス５、６は、自動車１の内部に分散して配置され得る。センサデバイス５、６の各々が発光ユニット７を備え、それを用いて光を放射することが可能である。例として、発光ユニット７は、可視波長範囲内の光または赤外波長範囲内の光を放射するように具現化され得る。放射光１１は、乗員１３の一部によって反射される。反射光１２は、それぞれのセンサデバイス５、６の受光ユニット８に達する。

センサデバイス５、６のうちの１つまたは両方は、反射光１２に応じて、乗員１３の少なくとも一部の画像を取り込み得るカメラとして具現化され得る。センサデバイス５、６のうちの１つまたは両方は、いわゆる３ＤカメラまたはＴＯＦカメラとして具現化され得る。これらを使用すると、反射光１２に基づいて乗員１３の一部の空間的配向を認識することが可能である。故に、例えば、乗員１３の手１５によって行われるジェスチャを認識することが可能である。さらには、例えば、乗員１３の頭部１４の配向、傾きおよび／または回転を識別することが可能である。センサデバイス５、６はまた、例えば、乗員１３の目の位置に基づいて、乗員１３の視線方向を認識するように構成され得る。この場合、これは、矢印１６により例示的に描写される。

センサデバイス５、６の各々がコンピュータユニット９を備える。例として、それは、適切なプロセッサ、集積回路、またはいわゆるＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって形成され得る。それぞれのコンピュータユニット９は、センサデバイス５、６の発光ユニット７を作動させる働きをする。それぞれの発光ユニット７が作動されると、それらは光１１を放射する。さらに、コンピュータユニット９は、反射光１２に基づいて乗員１３のジェスチャまたは視線方向を認識するように設計される。この目的のため、例えば、どのジェスチャおよび／または視線方向が識別されるかに基づいて、適切な画像処理を行うことが可能である。

センサデバイス５、６は、データ送信用のデータ線１０によって連結される。特に、それぞれのセンサデバイス５、６のコンピュータユニット９が、データ線１０によって連結される。例として、データ線１０は、自動車１のデータバス、例えば、ＣＡＮバスによって形成され得る。データバスによって、対応する同期信号を送信することが可能であり、それぞれのコンピュータユニット９が、その同期信号に応じて、発光ユニット７を同期して作動させる。

図３は、さらなる実施形態の取込装置３を示す。ここでは、センサデバイス５、６の各々が対応するセンサボード１７を有し、その上にコンピュータユニット９が配置されるということを認識することができる。さらに、対応するプロセッサ１８が提供される。さらには、センサデバイス５、６の各々は、通信インターフェース１９を有し、前記通信インターフェースはデータ線１０で連結されている。さらには、データ線２０によって通信インターフェースとコンピュータユニット９との間に直接的なリンクが提供される。取込装置３が起動すると、データ線、特にＣＡＮバスを介して、対応するデータフレームを送信することが可能である。ここでは、例えば、第１のセンサデバイスのコンピュータユニット９をマスタと規定することが可能である。第２のセンサデバイス６のコンピュータユニット９はスレーブと規定され得る。

次いで、対応する同期信号が、第１のセンサデバイス５のコンピュータユニット９によって提供され得る。この同期信号は、データ線１０を介して送信される任意のデータフレームによって提供され得る。送信された同期信号に応じて、コンピュータユニット９は、次いで、それぞれの発光ユニット７を作動させることができる。例として、発光ユニット７は、同時に、または時間オフセットで作動され得る。発光ユニット７の同期操作の結果として、特に、センサデバイス５、６同士の影響を回避することが可能である。

Claims (11)

1. 自動車（１）の乗員（１３）のジェスチャおよび／または視線方向を認識するための取込装置（３）であって、第１のセンサデバイス（５）と、少なくとも１つの第２のセンサデバイス（６）と、を備え、前記センサデバイス（５、６）の各々が、光を放射する（１１）ための発光ユニット（７）と、前記乗員（１３）によって反射された前記光（１２）を受光するための受光ユニット（８）と、前記発光ユニット（７）を作動させるため、ならびに前記反射光（１２）に基づいて前記ジェスチャおよび／または前記視線方向を認識するためのコンピュータユニット（９）と、をそれぞれ有する取込装置（３）において、
   前記センサデバイス（５、６）の前記コンピュータユニット（９）が、前記発光ユニット（７）を同期信号に応じて同期して作動させることを特徴とする、取込装置（３）。
2. 前記第１のセンサデバイス（５）の前記コンピュータユニット（９）が、前記同期信号を提供し、かつ前記同期信号を前記第２のセンサデバイス（６）の前記コンピュータユニット（９）に送信することを特徴とする、請求項１に記載の取込装置（３）。
3. 前記第１のセンサデバイス（５）および前記少なくとも１つの第２のセンサデバイス（６）の前記コンピュータユニット（９）が、前記同期信号を送信するためのデータ線（１０）を介して連結されることを特徴とする、請求項１または２に記載の取込装置（３）。
4. 前記データ線（１０）が、前記自動車（１）のデータバス、特に、ＣＡＮバスであることを特徴とする、請求項３に記載の取込装置（３）。
5. 前記第１のセンサデバイス（５）および／または前記少なくとも１つの第２のセンサデバイス（６）が、前記放射光（１１）および前記反射光（１２）の飛行時間に基づいて、前記乗員（１３）の少なくとも一部までの距離を決定することを特徴とする、請求項１から４のいずれかに記載の取込装置（３）。
6. 前記第１のセンサデバイス（５）および／または前記少なくとも１つの第２のセンサデバイス（６）が、前記反射光（１２）に基づいて、前記乗員（１３）の少なくとも一部の画像を取り込むように構成されることを特徴とする、請求項１から５のいずれかに記載の取込装置（３）。
7. 前記第１のセンサデバイス（５）および前記少なくとも１つの第２のセンサデバイス（６）を用いて前記ジェスチャを取り込むときに、前記第１のセンサデバイス（５）の前記コンピュータユニット（９）および前記少なくとも１つの第２のセンサデバイス（６）の前記コンピュータユニット（９）が、前記発光ユニット（７）を交互に作動させることを特徴とする、請求項１から６のいずれかに記載の取込装置（３）。
8. 前記第１のセンサデバイス（５）および前記少なくとも１つの第２のセンサデバイス（６）で前記視線方向を取り込むときに、前記第１のセンサデバイス（５）の前記コンピュータユニット（９）および前記少なくとも１つの第２のセンサデバイス（６）の前記コンピュータユニット（９）が、発光ユニット（７）を同時に作動させることを特徴とする、請求項１から７のいずれかに記載の取込装置（３）。
9. 請求項１から８のいずれかに記載の取込装置（３）を備え、かつ前記取込装置（３）によって認識される前記ジェスチャおよび／または視線方向に応じて作動可能である機能デバイス（４）を備える、自動車（１）用の操作装置（２）。
10. 請求項９に記載の操作装置（２）を備える自動車（１）。
11. 自動車（１）の乗員（１３）のジェスチャおよび／または視線方向を認識するための方法であって、第１のセンサデバイス（５）および少なくとも１つの第２のセンサデバイス（６）が提供され、前記センサデバイス（５、６）の各々において、光を放射する（１１）ための発光ユニット（７）がコンピュータユニット（９）を用いて作動され、前記乗員（１３）によって反射された前記光（１２）が受光ユニット（８）を用いて受光され、前記ジェスチャおよび／または前記視線方向が、前記反射光（１２）に基づいて、前記コンピュータユニット（９）を用いて認識される方法において、
    前記発光ユニット（７）が、同期信号に応じて、前記センサデバイス（５、６）の前記コンピュータユニット（９）を用いて同期して作動することを特徴とする、方法。

Images