JP2022549694A - 画像センサーと対象領域との間の距離決定 - Google Patents

Abstract

画像センサーと車両の運転者の対象領域との間の距離Ｄ_sensorを決定する方法であって、当該方法は、車両内の構造が少なくとも時折、対象領域中に影を投じるように、点光源を画像センサーに対して既知の幾何学的関係になるように配置することと、画像センサーによって取得される影を含む対象領域の画像、および、点光源とステアリングホイールとの間の幾何学的関係（例えば、距離）に基づいて、点光源と構造との間の距離Ｄ_{light source}を決定することと、距離Ｄ_{light source}、および、点光源と画像センサーとの間の既知の幾何学的関係に基づいて、距離Ｄ_sensorを決定することを含む。このアプローチによって、単一の画像センサーを用いる、対象領域までの信頼できる距離の決定を提供することができる。

Description

本発明は、特に視線追跡システムにおいて、単一の画像センサーと対象領域との間の距離を決定することに関する。

伝統的に、車両の乗員識別装置のような車両の監視システム、あるいは視線追跡システムにおいて、センサーデバイスと車両の乗員との間の距離を決定する技術は、例えば運転者の頭部または顔のような、車両の乗員の体の部位の位置を識別することに注力してきた。

大部分の頭部または目の追跡システムでは、ユーザーの顔は中心波長が可視スペクトル外の光源によって照らされ、１つまたは複数の画像センサーによって顔の画像が取得される。２つの画像センサー（「ステレオイメージング」）の場合、顔までの距離は三角測量によって決定することができる。しかしながら、単一のカメラのシステムでは、顔までの距離を決定することは困難になり得る。

１つのアプローチは、（画像中の）瞳孔間距離または他の類似のパラメータを測定し、パラメータの期待値に基づいて距離を推定することである。この距離決定アプローチにおける１つの主要な問題は、測定されたパラメータの天性の分布に起因する推定の不確かさであり、これは約１０％の距離推定誤差をもたらす。虹彩のサイズまたは角膜の曲率のようなパラメータの別の選択は、測定の不確かさを最小限にし得るが、例えば眼鏡をかけることによって運転者の目が覆われるとすぐに、これらの特徴量の測定は光の反射の影響を受け、信頼できないものとなる。

したがって、運転者の顔と単一の画像センサーとの間の改善された距離決定が必要である。

本発明の目的は、上記の問題を克服し、車両内における単一の画像センサーと対象領域との間の距離を満足のいくように決定する実現可能な方法を提供することである。

本発明の第１の態様によれば、この目的および他の目的は、画像センサーと車両の運転者の対象領域との間の距離Ｄ_sensorを決定する方法によって達成される。当該方法は、車両のステアリングホイールが少なくとも時折、対象領域中に影を投じるように、点光源を画像センサーに対して既知の幾何学的関係になるように配置することと、画像センサーによって取得される影を含む対象領域の画像、および、点光源とステアリングホイールとの間の幾何学的関係（例えば、距離）に基づいて、点光源と対象領域との間の距離Ｄ_{light source}を決定することと、距離Ｄ_{light source}、および、点光源と画像センサーとの間の既知の幾何学的関係に基づいて、距離Ｄ_sensorを決定することとを含む。

本発明の第２の態様によれば、この目的および他の目的は、画像センサーと車両の運転者の対象領域との間の距離Ｄ_sensorを決定する装置によって達成される。当該装置は、車両のステアリングホイールが少なくとも時折、対象領域中に影を投じるように、画像センサーに対して既知の幾何学的関係になるように配置される点光源と、処理回路であって、画像センサーによって取得される影を含む対象領域の画像、および、光源とステアリングホイールとの間の幾何学的関係に基づいて、光源と対象領域との間の距離Ｄ_{light source}を決定し、距離Ｄ_{light source}、および、光源と画像センサーとの間の既知の幾何学的関係に基づいて、距離Ｄ_sensorを決定するように構成される処理回路とを備える。

本発明は、光源（複数可）と対象領域との間に配置されるステアリングホイールが影を投じるという認識に基づいており、１）光源（複数可）とステアリングホイールとの間、および２）光源（複数可）と画像センサーとの間における幾何学的関係が既知である場合には、上記の認識を光源と対象領域との間の距離を決定するのに用いることができる。

このアプローチにより、単一の画像センサーを用いて、対象領域までの距離の信頼できる決定が提供され得る。

原理的には、光源とステアリングホイールとの間の既知の幾何学的関係（例えば、距離）は、影の位置および／またはサイズに基づいて、光源（複数可）と対象領域との間の第１の距離を決定することを可能にする。一方、光源と画像センサーとの間の幾何学的関係は、この第１の距離を必要な距離Ｄ_sensorに変換することを可能にする。（もちろん、第１の距離の明示的な計算は必要でない場合もある。）

説明のための以下の記載においては、光源とステアリングホイールとの間の「既知の幾何学的関係」は、「距離」とも呼ばれることに注意されたい。多くの場合、これは正確な記載でもある。しかしながら、いくつかの場合には、ステアリングホイールが対象領域（例えば、顔）とは同一平面にない場合もあり、単一の「距離」が存在しないため、これは単純化である。そのような場合には、幾何学的な関係は、スカラー距離よりも複雑になり得る。

いくつかの態様では、距離Ｄ_sensorは、画像中からステアリングホイールの特定の部分の影の幅を検出し、距離Ｄ_{light source}をｄ×Ｒ／ｒとして計算することができる。ここで、ｄは光源とステアリングホイールとの間の距離、ｒは上記の部分の既知の幅、Ｒは検出された幅である。

他の態様では、距離Ｄ_{light source}は、画像中からステアリングホイールの特定の輪郭の影の位置Ｐを検出し、距離Ｄ_{light source}をｄ×Ｐ／ｐとして計算することができる。ここで、ｄは光源とステアリングホイールとの間の距離、ｐは光源の光軸に関して決定される輪郭の位置、Ｐは検出された位置であり、位置ｐおよび検出された位置Ｐはともに、光源の光軸に関して決定される。

リムおよびスポークを有する典型的なステアリングホイールのデザイン、および運転中におけるその回転運動は、本発明の目的に非常に適している。

部分または輪郭は、ステアリングホイールのスポークの部分であってもよい。スポークを用いることの有利な点は、ステアリングホイールは、通常は横方向に調整できないことである。したがって、放射状に延びるスポークの水平成分は、ステアリングホイールの上／下の調整による影響を受けない。

スポークと画像センサーとの間の距離は、事前に知られていてもよいし、あるいは適切な較正手続きの間に決定されてもよい。例えば、ステアリングホイールには、既知の間隔を有する反射マーカーを設けることができ、これは、画像センサーによって取得される画像から、画像センサーとステアリングホイールとの間の距離の検出を可能にする。代替的には、画像センサーとステアリングホイールとの間の距離は、画像センサーによって取得される画像中で識別される幾何学的パラメータの値、および、既知の距離における同じ幾何学的パラメータの事前に識別された値に基づいて、決定することができる。

幾つかの態様では、ステアリングホイールの形状（例えば、スポークの幅）は、距離の決定を容易にするために望ましい。そのような形状は、例えば、車両のステアリングホイールに関するＣＡＤ情報から知ることができる。代替的に、そのような情報を利用できない状況では、ステアリングホイールの形状は、画像センサーによって取得される画像から、画像センサーとステアリングホイールとの間の既知の距離に基づいて、決定することができる。

幾つかの態様では、距離の決定を容易にするために、ステアリングホイールの角度位置が検出される。ステアリングホイールの形状とその角度位置が既知である場合には、スポークの側辺の角度が既知であり、これはスポークの影の識別を容易にする。また、スポークの位置は既知であり、そのため、ステアリングホイールの画像を取得できることは重要ではない。これは画像センサーがステアリングホイールを「見る」ことができない実装を許容する。

代替的に、いくつかの態様では、影のパターン、ステアリングホイールの形状、ステアリングホイールと画像センサーとの間の距離、またはステアリングホイールの角度位置は、時間の関数としての測定値（例えば、取得された画像中で識別される幾何学的パラメータ）の適切な出力を、ステアリングホイールの様々な幾何学的寸法および位置について訓練された人工ニューラルネットワークに提供することにより、決定することができる。

本発明は、発明の好ましい実施形態を示す添付の図面を参照して、より詳細に説明される。

本発明の実施形態に係る視線追跡システムの説明図である。 図１の視線追跡システムの側面図である。 図２ａの幾何学的関係の説明図である。 図１の視線追跡システムの別の説明図である。 図３ａの幾何学的関係の説明図である。 本発明の実施形態に係る方法のフローチャートである。

以降の詳細な説明では、本発明のいくつかの実施形態が説明される。しかしながら、特に明記されない限り、種々の実施形態の特徴は、実施形態の間で交換可能であり、また種々の方法で組み合わせることができることを理解されたい。以降の説明では、本発明のより完全な理解を提供するために、多数の具体的な詳細が示されるが、これらの具体的な詳細がなくても本発明を実施できることは、当業者にとっては明らかである。

エレクトロニクス、センサーシステム、画像解析、信号処理、データ通信システム、画像取得システム、および本発明を実施するためのその他の構成要素の基礎および従来技術は、当業者にとっては容易に理解可能であると考えられる。したがって、簡潔にするために、さらなる説明および詳細は、この説明では省略される。

他の例では、本発明を曖昧にしないように、周知の構成または機能は、詳細には説明されない。

図１、２ａ、３ａは、ユーザーの目を検出する視線追跡システム１を示している。システムは、光源２と、画像センサー３と、処理回路４とを備えている。画像センサー３は、対象領域、ここではユーザー６の顔５の画像を取得するように構成されている。処理回路は、ユーザー６の目７を識別して検出するように構成されている。

図１、２ａ、３ａでは、単一の光源が描かれているが、１つよりも多くの光源を設けることも可能である。代替的には、例えば、反射を低減／除去する目的で、対象領域を少なくとも２つの光源で照らすことが有利となり得る。光源２は、種々の波長領域で動作し、好ましくは光スペクトルの赤外（ＩＲ）または近赤外に中心波長を有する発光ダイオード（ＬＥＤ）、発散レンズを有するアイセーフレーザー、またはそれに類する、しかしこれらに限定されない、任意の適切な種類の光源であってよい。この好ましい実施形態では、光源２はＩＲ ＬＥＤである。周囲光からの干渉を除去または最小化するために、光源は、パスバンドの中心がＩＲ波長の中心付近であるバンドパスフィルターと組み合わせて用いられる。中心波長は、近ＩＲ領域、例えば８４０ｎｍまたは９４０ｎｍにあってもよい。フィルターは、光源から放出される大部分の光を捉えることができると同時に、大部分の周囲光をブロックする、パスバンドを有する。

画像センサー３は、カメラ、または、半導体イメージセンサー、光検出器、熱検出器、ＰＩＮダイオード、またはアバランチェダイオードのような、光検出器であってもよい。カメラ３はさらに、電荷結合デバイス（ＣＣＤ）センサーアレイ、または相補型金属酸化膜半導体（ＣＭＯＳ）センサーアレイ、またはそれに類するものであってもよい。上述したＩＲ ＬＥＤのような狭帯域の光源の場合には、画像センサー３は、光源２のスペクトルに対応するパスバンドを有するバンドパスフィルター（図示せず）と共に設けられてもよい。

さらに、光源２および画像センサー３は、送信された信号が同期的に復調されて、周囲のＩＲノイズが除去されるように構成されてもよく、これにより、低強度のＩＲ ＬＥＤであっても、キャプチャされた画像の質が向上する。ＬＥＤから送信されるＩＲ光は、所定の期間にわたる連続波であってもよく、所定の周波数のパルス光であってもよい。記録された画像が、画像処理のような更なるデータ処理、またはマシンビジョンアルゴリズムへの入力として用いられるのに適するように、画像センサー３の感度および解像度を選択することができる。

光源２および画像センサー３は、時間同期するように構成されてもよい。処理回路４は、画像センサー３から取得された画像を処理および解析するコンピュータビジョンシステムおよび画像処理アルゴリズムを動作させるように構成されてもよい。

さらに、処理回路４は、例えば、運転者が彼または彼女の頭部を動かした時に、ユーザーの頭部の位置を決定する等の他の機能を実行するように構成されてもよい。処理回路４は、位置情報を用いて、頭部の動く方向を検出し、対象領域５と画像センサー３との間の距離の変化を計算するように構成されてもよい。処理回路４はまた、車両の異なる構成要素あるいは遠隔のデータセンターとの間で、データを送信、および／または受信するように構成されてもよい。さらに、処理回路４は、この場合には、ＩＲ画像センサー３および他の構成要素に有線接続される。しかしながら、遠隔の構成要素にアクセスするのに、有線接続に代えて無線接続を用いることは、容易に想到することができる。

ステアリングホイール８は、光源と顔５との間に配置され、これにより、ステアリングホイールが顔５の上に影９を投じる。

処理回路はまた、処理を容易にするために、様々なセンサー入力を受信するように構成されうる。例えば、現在のステアリングホイールの角度についての情報が処理回路に提供されてもよい。

この例では、光源２、画像センサー３、および処理回路４は、別個の構成要素として描かれているが、別の例では、そうである場合もあるし、そうでない場合もあることを認識されたい。光源２または処理回路４を画像センサー３と統合するように、あるいは画像センサー３からデータを無線で受信するように構成される等の他の組み合わせは、当業者にとって容易に想到することができる。したがって、これらの構成要素のいくつか、またはすべては、別の例では、単一のユニットの一部として形成することもできる。

図２を参照すると、特定の部分、ここではステアリングホイール８のリム２１が、距離Ｄ_{light source}を決定するために用いられる。この例では、特定の部分２１は、既知の幅「ｒ」を有しており、ＬＥＤ２とステアリングホイール８との間の距離は「ｄ」である。光源２によって照らされると、リム２１は、対象領域７上に幅「Ｒ」の対応する影部分２２を生成する。

この実施形態では、処理回路４は、取得された画像中から、投じられた影部分２２のサイズを検出して識別するように構成されている。ＬＥＤ２からリム２１に投じられる入射光と、対応する影２２とは、図２ｂに示されるような２つの相似の三角形△ａｂｃ～△ａｄｅを作り出す。三角形の比例の定理（Triangle Proportionality Theorem）を用いることにより、２つの相似の三角形の対応する高さおよび辺は互いに比例していると判定され、この例では、処理回路４は、距離Ｄ_{light source}を、距離Ｄ_{light source}＝ｄ×Ｒ／ｒとして決定する。

図３ａの例では、特定の輪郭の位置ｐ、ここではステアリングホイール８のスポーク３２のエッジ３１が、ＬＥＤ２の光軸Ａに関して決定される。位置ｐに対応する影９の部分３４の位置「Ｐ」が、取得された画像中から処理回路４によって検出される。図２ａと同様に、ＬＥＤ２とステアリングホイール８との間の距離は、ｄとラベル付けられている。

再び図３ｂを参照して、２つの相似の三角形△ａｐｃ～△ａＰｅが形成され、ここで、ｃおよびｅは光軸Ａ上に位置している。位置ｐおよびＰが光軸Ａまでの垂直の距離として表されている場合には、距離Ｄ_{light source}は、距離Ｄ_{light source}＝ｄ×Ｐ／ｐとして決定することができる。距離Ｄ_{light source}の決定は、他の相似の三角形を選ぶことによっても、容易に考えられることを認識されたい。

以降では、図４のフローチャートを参照して、図１、２ａ、３ａのシステム１の動作が説明される。

ステップＳ１において、ステアリングホイール８の影がユーザー６の顔５に投じられるように、光源２が配置される。いくつかの構成では、ステアリングホイール８の部分は常に、光源２と顔５との間に配置される。他の構成では、ステアリングホイールのいくつかの位置においてのみ、影を見ることができる。

ステップＳ２において、画像センサー３は、顔５と共にステアリングホイール８の影９を含む、１つまたは複数の画像を取得する。取得された画像（複数可）は、適切な画像処理のために、処理回路４に提供される。

ステップＳ３－Ｓ５において、処理回路４は、上述した関係に基づいて、画像センサー３と顔５との間の距離を決定する。はじめに、ステップＳ３において、処理回路４は、影９の幅ｄ、および／または位置ｐを取り出す。例えば、キャプチャされたステアリングホイールの影を画像処理アルゴリズムに入力として提供することにより、キャプチャされた画像から対応する画素情報を取り出すことができる。取り出された画素情報は、画素の輝度または色、画素の解像度、または対象領域上の画素の位置を含むことができ、次にこれらを用いて、影のサイズまたは位置を計算することができる。現在のステアリングホイールの角度についての情報は、影の輪郭、例えばスポークのエッジの識別を容易にすることができ、これはステアリングホイールの角度に相関性のある傾きを有することになる。

次にステップＳ４において、Ｓ３からの情報が用いられて、光源２と対象領域７との間の距離Ｄ_{light source}が決定される。最後に、光源２と画像センサー３との間の既知の幾何学的関係を用いて、画像センサー３と対象領域７との間の距離Ｄ_sensorが、ステップＳ５において計算される。

図４の処理は通常、各運転セッションについて、１回だけ実行される必要があることに注意されたい。最初の距離Ｄ_sensorの決定の後では、何らかの不変のパラメータ（例えば、虹彩のサイズ）を用いて、連続的な距離の測定を行うことができる。最初に決定された距離でこのパラメータを測定することにより、このパラメータを監視して距離の任意の変化を検出することができる。

当業者は、本発明が上述した好ましい実施形態に決して限定されるものではないことを理解する。それどころか、多数の変形およびバリエーションが添付のクレームの範囲内で可能である。例えば、ここで開示された視線検出システムの詳細は、本発明の動作にとって重要ではない。

Claims (9)

1. 画像センサーと車両の運転者の対象領域との間の距離Ｄ_sensorを決定する方法であって、
   前記車両のステアリングホイールが少なくとも時折、前記対象領域中に影を投じるように、点光源を前記画像センサーに対して既知の幾何学的関係になるように配置することと、
   前記画像センサーによって取得される前記影を含む前記対象領域の画像、および、前記点光源と前記ステアリングホイールとの間の幾何学的関係に基づいて、前記点光源と前記対象領域との間の距離Ｄ_{light source}を決定することと、
   前記距離Ｄ_{light source}、および、前記点光源と前記画像センサーとの間の前記既知の幾何学的関係に基づいて、前記距離Ｄ_sensorを決定することと
   を含み、
   前記距離Ｄ_{light source}は、
   －前記画像中から前記ステアリングホイールの特定の部分の影の幅（Ｒ）を検出することと、
   －前記距離Ｄ_{light source}を、該距離Ｄ_{light source}＝ｄ×Ｒ／ｒとして計算することであって、ｄは前記点光源と前記ステアリングホイールとの間の既知の距離、ｒは前記部分の既知の幅、Ｒは検出された前記幅である、
   によって決定されるか、あるいは、
   －前記画像中から前記ステアリングホイールの部分の特定の輪郭の影の位置Ｐを検出することと、
   － 前記距離Ｄ_{light source}を、該距離Ｄ_{light source}＝ｄ×Ｐ／ｐとして計算することであって、ｄは前記点光源と前記ステアリングホイールとの間の既知の距離、ｐは前記輪郭の既知の位置、Ｐは検出された前記位置であり、
   前記位置ｐおよび検出された前記位置Ｐはともに、前記点光源の光軸に関して決定される、
   によって決定されるかのいずれかである、方法。
2. 前記部分は、前記ステアリングホイールのリムまたはスポークである、請求項１に記載の方法。
3. 前記画像センサーと前記ステアリングホイールとの間の距離を決定することと、
   前記画像センサーと前記ステアリングホイールとの間の前記距離、および、前記点光源と前記画像センサーとの間の前記既知の幾何学的関係に基づいて、前記点光源と前記ステアリングホイールとの間の距離ｄを決定することと
   をさらに含む、請求項１または２に記載の方法。
4. 前記画像センサーと前記ステアリングホイールとの間の前記距離は、前記画像センサーによって取得される画像中で識別される幾何学的パラメータの値、および、既知の距離における前記幾何学的パラメータの事前に識別された値に基づいて、決定される、請求項３に記載の方法。
5. 前記画像センサーと前記ステアリングホイールとの間の前記距離は、前記画像センサーによって取得される画像中におけるマーカーのセットの位置に基づいて決定され、前記マーカーは、前記構造の所定の位置に配置される、請求項３に記載の方法。
6. 前記画像センサーによって取得される画像から、前記画像センサーと前記構造との間の前記距離に基づいて、前記ステアリングホイールの形状を決定することをさらに含む、請求項１～５のいずれか一項に記載の方法。
7. 前記ステアリングホイールの角度位置を検出することをさらに含む、請求項１～６のいずれか一項に記載の方法。
8. 画像センサーと車両の運転者の対象領域との間の距離Ｄ_sensorを決定する装置であって、
   前記車両のステアリングホイールが少なくとも時折、前記対象領域中に影を投じるように、前記画像センサーに対して既知の幾何学的関係になるように配置される点光源と、
   処理回路であって、
   前記画像センサーによって取得される前記影を含む前記対象領域の画像、および、前記点光源と前記ステアリングホイールとの間の幾何学的関係に基づいて、前記光源と前記対象領域との間の距離Ｄ_{light source}を決定し、
   前記距離Ｄ_{light source}、および、前記点光源と前記画像センサーとの間の前記既知の幾何学的関係に基づいて、前記距離Ｄ_sensorを決定する
   ように構成される処理回路と
   を備え、
   前記距離Ｄ_{light source}は、
   －前記画像中から前記ステアリングホイールの特定の部分の影の幅（Ｒ）を検出することと、
   －前記距離Ｄ_{light source}を、該距離Ｄ_{light source} ＝ｄ×Ｒ／ｒとして計算することであって、ｄは前記点光源と前記ステアリングホイールとの間の既知の距離、ｒは前記部分の既知の幅、Ｒは検出された前記幅である、
   によって決定されるか、あるいは、
   －前記画像中から前記ステアリングホイールの部分の特定の輪郭の影の位置Ｐを検出することと、
   － 前記距離Ｄ_{light source}を、該距離Ｄ_{light source}＝ｄ×Ｐ／ｐとして計算することであって、ｄは前記点光源と前記ステアリングホイールとの間の既知の距離、ｐは前記輪郭の既知の位置、Ｐは検出された前記位置であり、
   前記位置ｐおよび検出された前記位置Ｐはともに、前記点光源の光軸に関して決定される、
   によって決定されるかのいずれかである、装置。
9. 前記ステアリングホイールの角度位置を検出するための角度センサーをさらに備える、請求項８に記載の装置。

Images