JP2005266868A - 瞳孔と鼻孔を用いた頭部の方向を検出する方法 - Google Patents

Abstract

【課題】瞳孔と鼻孔を検出することにより、頭部の方向を検出する方法を提供する。
【解決手段】カメラ準備ステップは、一対のカメラ１，２を、被検者の頭部１０に対して既知の基線長Ｄを保って配置する。照明手段準備ステップでは、照明手段である光源５，６が前記各カメラ１，２と被検者の頭部１０との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される。各瞳孔と少なくとも何れかの鼻孔の像を明孔照明および暗孔照明で獲得する像獲得ステップでは、前記カメラ１，２と前記照明手段である光源５，６を連動動作させ、被検者の頭部を撮影する。孔座標演算ステップでは、前記像獲得ステップ得た前記像を差分演算処理して各孔の中心座標を演算する。方向平面演算ステップでは、前記中心座標で決まる顔の方向平面を演算する。
【選択図】図１

Description

本発明は、ステレオ測定により、瞳孔と鼻孔の座標位置を特定し、それらに基づいて、頭部の位置と方向を検出する方法に関する。

顔のおよその向きを検出することは、乗り物の運転手の顔の向きを監視するなどの目的で重要な意味を持ち、視線を監視するのと同様に大切である。
顔の向きの検出方法として代表的なものとしては、２台のカメラ（ステレオカメラ配置）のそれぞれにより捉えた顔の目尻，目頭，鼻先，唇の両端など、多くの特徴点を画像処理の一種であるテンプレートマッチング法によるもので、テンプレートと類似した部分として顔画像より検出しその座標を求め、さらに、両カメラでの各特徴点の座標をマッチングさせ、各特徴点の３次元座標を求める方法がある。
しかし、テンプレートマッチングを使用した画像処理法の場合、あらかじめ、テンプレート画像を用意する必要があるため、カメラの前に座ってすぐには使用できない。また、テンプレートマッチング法では、画像処理に時間がかかるため、高価な画像処理ボードを使用する必要があるなどの問題がある。このような方法で、周囲の明るい環境では照明は必要ないが、暗いところでは不可視光を顔に照射する必要がある。

一方で、目の瞳孔は、一般に、照明を用いないと画像処理によって検出しづらい。
しかし、照明を当てると突然容易になり、画像処理コストは減少する。たとえば、カメラのレンズの開口部の中もしくは近傍から照明器により光を顔に対して照射し、それをカメラで写すと、瞳孔が他の部分よりも明るく写る（明瞳孔）傾向が生じる。この現象が起こる理由は、照明器の光源からの光が瞳孔を通り網膜に達し、そこで乱反射をした光が瞳孔を通り戻ってくる際に、水晶体、角膜を通るため、強い指向性を持って光源の方へ戻る性質があるからである。よって光源がカメラの開口の近くにあると、一部の光が開口部に入射し、瞳孔部が明るくうつる。

それに対して、顔に当たった光は、乱反射をし、カメラの開口以外の方向にも戻る傾向があるために、相対的に瞳孔に比べて暗く写る。しかしながら、このような現象があったとしても、額やそのほか、瞳孔よりも明るく写る部分は多々生じ、現実には、周囲の暗い環境下などでなければ瞳孔検出は簡単ではない。一方で、カメラの開口部から離れた位置から照明する方法があるが、その場合も瞳孔から戻る光は光源の方に戻るため、カメラ開口部には入射しにくいため、瞳孔は周囲よりも暗く写る傾向が生じる（暗瞳孔）。この場合も、まつげなどが瞳孔と区別しにくく、安定した瞳孔検出は困難である。そのためカメラの開口部の近くと遠くに光源を設置し、それらをビデオのフィールドもしくはフレームに同期させ、交互に点灯させ、それによって得られる明瞳孔画像と暗瞳孔画像を画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔だけが浮き彫りになるという効果が得られる。しかし、この効果は、明瞳孔現象を強く生じさせるほど大きくなり、瞳孔検出が容易になるので、カメラの開口部のできるだけ近くに光源を配置することが重要である。特許文献１はカメラの開口部の中央に置く方法を提案している。
特開平１１−５６７８２号公報

頭部全体を写す必要があるため、広角のカメラレンズを使用しなければならない。広角のカメラレンズの場合は、光源が画像の中央に黒い影として写り込んでしまい、開口部の中央に設置する方法は用いることができない。その対処法として特許文献２記載の発明はカメラの開口部の周辺に光源を並べる方法を提案している。
本件出願人も視線検出方法および視線検出装置を特許文献３により提案している。この提案は、２つのカメラにより、瞳孔の座標点を求め、瞳孔と角膜反射の関係から視線を導くものである。
特開平２−１３４１３０号公報（登録第２７３９３３１号） 特願２００３−４２９３４４号

前述のように、顔のおよその向きを検出することは、乗り物の運転手の顔の向きを監視するなどの目的で重要な意味を持つ。
顔の位置を固定したり、移動の範囲を制限したりすることなく顔の向きを検出したいという強い要請がある。
本発明の目的は瞳孔と鼻孔を検出することにより、頭部の方向を検出する方法を提供することにある。

前記目的を達成するための、本発明による請求項１記載の頭部の方向を検出する方法を図面等を参照して説明する。図１は、本発明による方法を実施するための装置と被検者の位置関係を示す平面図である。
カメラ準備ステップでは、一対のカメラ１，２は、被検者の頭部１０に対して既知の基線長Ｄを保って配置する。
照明手段準備ステップでは、照明手段である光源５，６が前記各カメラ１，２と被検者の頭部１０との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される。
なお本願において、明孔照明とは明瞳孔照明と明鼻孔照明を含む意味で用い、暗孔照明とは暗瞳孔照明と暗鼻孔照明を含む意味で用いている。
各瞳孔と少なくとも何れかの鼻孔の像を明孔照明および暗孔照明で獲得する像獲得ステップでは、前記カメラ１，２と前記照明手段である光源５，６を連動動作させ、被検者の頭部を撮影する。
孔座標演算ステップでは、前記像獲得ステップ得た前記像を差分演算処理して各孔の中心座標を演算する。方向平面演算ステップでは、前記中心座標で決まる顔の方向平面を演算する。

請求項２記載の方法は、請求項１記載の方法において、前記方向平面は瞳孔の中心と鼻孔の重心を含む３角平面であり、前記３角平面の重心の法線を頭部の方向とするものである。
請求項３記載の方法は、請求項１記載の頭部の方向を検出する方法において、鼻孔と瞳孔のデータの同時取得の際に、鼻孔のデータの取得を容易にするために、前記一対のカメラとそれらの照明光源が、被検者の頭部を前方下方から照明し撮影する配置としてある。

請求項４記載の方法は、請求項１記載の頭部の方向を検出する方法において、前記照明手段は各カメラの光軸に近接する近接光源であり、当該カメラの明孔照明光源として利用され、他方のカメラの暗孔照明光源として利用されるものである。
請求項５記載の方法は、請求項１記載の頭部の方向を検出する方法において、前記照明手段は各カメラ光軸に近接して設けられた近接光源であり当該カメラの明孔照明光源として利用され、他方の光源は光軸から所定の距離離れた離隔光源であり、当該カメラの暗孔照明光源として利用されるものである。
請求項６記載の方法は、請求項５記載の頭部の方向を検出する方法において、前記近接光源は、カメラ開口に隣接する領域またはカメラ開口に近接する円環内に設けられた発光素子群を含み、前記離隔光源はカメラの開口から離れた領域または円環内に設けられた発光素子群を含むものである。

本発明による請求項７記載の方法は、鼻孔の検出に変形を施したものであって、
カメラ一対を既知の基線長を保って配置するカメラ準備ステップと、
前記各カメラと被検者の頭部との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される照明手段を準備する照明手段準備ステップと、
前記カメラと前記照明手段を連動動作させ、被検者の頭部を撮影して、各瞳孔の像を明孔照明および暗孔照明で、前記鼻孔の像を明孔照明または暗孔照明で獲得する像獲得ステップと、
前記瞳孔像を差分演算処理して前記各瞳孔の中心座標を演算する瞳孔像座標演算ステップと、
前記鼻孔の像を処理して鼻孔の座標を演算する鼻孔像座標演算ステップと、
前記中心座標で決まる顔の方向平面を演算する方向平面演算ステップと、
から構成されている。鼻孔の座標の演算の前に２値化処理演算などをすることができる。

前記構成によれば、簡単な方法で確実に頭部の方向を検出することができる。

以下図面等を参照して本発明による装置の実施の形態を説明する。
本発明では瞳孔と鼻孔の像を得るために、カメラの開口部の近くの光源（近接光源）と遠くの光源（離隔光源）を用いる。それらをビデオのフィールドもしくはフレームに同期させ、交互に点灯させ、それによって得られる明瞳孔（鼻孔）画像と暗瞳孔（鼻孔）画像を画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔と鼻孔を浮き彫りにする。

図２に示すように奇数フィールドでは光源５を点灯し、光源６を消灯し、同期してカメラ１，２を動作させる。瞳孔と鼻孔については、全く同じ明暗の関係が生じるから、瞳孔のみについて、説明する。
光源５はカメラ１については近接光源であり、カメラ２については離隔光源であるから、カメラ１に写る瞳孔は明瞳孔であり、カメラ２に写る瞳孔は暗瞳孔となる。
偶数フィールドでは光源５を消灯し、光源６を点灯し、これに同期してカメラ１，２を動作させる。光源６はカメラ１については離隔光源であり、カメラ２については近接光源であるから、カメラ２に写る瞳孔は明瞳孔であり、カメラ１に写る瞳孔は暗瞳孔となる。
隣接する奇数と偶数のフレームの画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔と鼻孔を浮き彫りにすることができるのである。

図３は、近接光源と離隔光源の概念を説明するための斜視図である。
なお、カメラの開口部３（または４）から離れたほうの光源（離隔光源）７（または８）の設置法については、できるだけ離れているほうが、暗瞳孔の現象が強くでるため、差分の効果が生じやすく、差分画像における瞳孔がより明るくなる傾向がある。
しかし、一方で、開口部に近い光源、近接光源５（または６）と遠い光源、離隔光源７（または８）による顔画像の輝度値が、瞳孔以外の部分でも生じてくるため、画像差分したときに瞳孔以外のところに明るい部分が残りやすくなる。

図４は近接光源と離隔光源の配置の第１の例を示す。近接光源５Ａ（６Ａ）は、カメラ開口３（４）に近接する円環内に設けられた発光素子（ＬＥＤ）群からなり離隔光源７Ａ（８Ａ）はカメラの開口から離れた円環内に設けられた発光素子（ＬＥＤ）群から形成されている。

図５は近接光源と離隔光源の配置の第２の例を示す。近接光源５Ａ（６Ａ）は、カメラ開口３（４）に近接する円環内に設けられた発光素子（ＬＥＤ）群からなり、離隔光源７Ｂ（８Ｂ）はカメラの開口から離れた領域に設けられた発光素子群を含むものである。

鼻孔は、瞳孔とある意味で類似している点がある。すなわち、もし、カメラのレンズの開口内あるいは開口近くに光源を取り付けて同カメラで撮影すれば、鼻孔の奥深くまで光源によって明るく照らされ明るく写る。これは、同軸落射に類似しており、鼻孔の中においてカメラの撮影しているところに光が当たる傾向があるからである。それに対して、カメラレンズの開口から離れたところに光源を設けると、鼻孔の奥深くには光が届かず、相対的に暗く写る。つまり、鼻孔中においてカメラが撮影しているところには光が届かない傾向があるからである。両者の光源を交互に点灯させ、画像差分を行うことにより、瞳孔とほぼ同様に鼻孔が容易に検出できる。ただし、通常、顔の正面からでは、鼻孔は写りにくいので、斜め下にカメラと光源を設置する必要がある。

本発明方法では、２つの瞳孔と２つの鼻孔は同一のシステムで検出する。２台のカメラ、カメラ１または２によって撮影し、各カメラにおいて写るこれら４個の孔を検出し、ステレオマッチング法により、各孔の３次元座標を求める。
図６は、１台のカメラを顔の正面よりやや下から撮影したときに検出できる瞳孔（各図において上の互いに離れた２点）と鼻孔（各図において下の近接した２点）の画像中の座標を表している。この図からも、矢印で示したように、およその顔の方向は類推できる。
図６に６通り方向を例示してある。

ステレオカメラの原理で瞳孔と鼻孔の３次元座標を検出すれば、さらに正確に顔の方向が推定できる。簡単のために、２つの鼻孔の３次元座標の平均を取り、その座標（S₀）と２つの瞳孔の座標（S₁, S₂とする）の３個の座標を用いて、三角形を構成する。この三角形を含む平面が顔の方向平面である。
S₀, S₁, S₂の各座標を(l, m, n), (p, q, r), (s, t, u) とすると，S₀, S₁, S₂を含む平顔の方向平面の法線ベクトルn=（ n_x, n_y, n_z ）は次式で与えられる。
n_x = (q-m)(u-n)-(t-m)(r-n)
n_y = (s-l)(r-n)-(p-l)(u-n)
n_z = (p-l)(t-m)-(s-l)(q-m)

S₀, S₁, S₂の重心Ｇを頭部の位置とし、n を頭部の方向とする。また、重心Ｇを通り、n と同じ方向ベクトルを持つベクトルを、頭部ベクトルと呼ぶことにする。このように、頭部の位置と頭部の方向を同時に検出することができる。頭部が動かなくとも眼球が回転すると、多少頭部の位置や方向に影響を与えるが、この回転によって主に変化するのは、頭部ベクトル周りの回転成分であり、頭部ベクトルの方向にはあまり影響しない。
また、特にカメラの方向に顔も視線も向けられている状態では、頭部ベクトル周りの回転角度も、S₀, S₁, S₂の重心ＧとS₀, S₁, S₂のうちのどれかの座標を利用して精度良く検出できる。頭部ベクトルは、頭の動きや回転によって、パソコンのカーソルをジョイスティックやマウスのようなポインティングシステムとして使用することもできる。

各カメラにおける瞳孔検出は、１組の光源と画像差分によりできるが、鼻孔の検出は被検者によっては難しい場合がある。その場合には、次のように対処する。差分を行う前の原画像（例では、明瞳孔画像（奇数フィールド））を２値化すると、図７のように、鼻孔は黒い楕円に近い形状で現れる。図７には左側のカメラ（左）と右側のカメラ（右）の像を示してある。例えば、鼻孔が存在すると範囲を、２つの瞳孔の中間位置から一定距離下方の点を中心とする長方形内であると仮定し、その長方形内部のみをラベリングし、ラベリングされた領域の縦横比や大きさから、鼻孔部を示す領域、２つを決定し、各領域の重心を、各鼻孔の中心とする。その他の構成は前述した実施態様および実施例と異ならない。

本発明による頭部の方向を検出できるから、運転者等の姿勢監視等に広く利用できる。

本発明による方法を実施するための装置と被検者の位置関係を示す平面図である。 光源動作と像の関係を説明するための図表である。 近接光源と離隔光源の概念を説明するための斜視図である。 近接光源と離隔光源の配置の第１の例を示す図である。 近接光源と離隔光源の配置の第２の例を示す図である。 顔の方向平面を説明するための略図である。 鼻孔検出の変形例を説明するための略図である。

符号の説明

１ 第１のカメラ
２ 第２のカメラ
３，４ カメラの開口
５，６ カメラの近接光源
７，８ カメラの離隔光源
１０ 頭部

Claims (7)

1. カメラ一対を既知の基線長を保って配置するカメラ準備ステップと、
   前記各カメラと被検者の頭部との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される照明手段を準備する照明手段準備ステップと、
   前記カメラと前記照明手段を連動動作させ、被検者の頭部を撮影して、各瞳孔と少なくとも何れかの鼻孔の像を明孔照明および暗孔照明で獲得する像獲得ステップと、
   前記像を差分演算処理して各孔の中心座標を演算する孔座標演算ステップと、
   前記中心座標で決まる顔の方向平面を演算する方向平面演算ステップと、
   から構成した頭部の方向を検出する方法。
2. 前記方向平面は瞳孔の中心と鼻孔の重心を含む３角平面であり、前記３角平面の重心の法線を頭部の方向とするものである請求項１記載の頭部の方向を検出する方法。
3. 前記一対のカメラとそれらの照明光源が、被検者の頭部を前方下方から照明し撮影する配置である請求項１記載の頭部の方向を検出する方法。
4. 前記照明手段は各カメラの光軸に近接する近接光源であり、当該カメラの明孔照明光源として利用され、他方のカメラの暗孔照明光源として利用されるものである請求項１記載の頭部の方向を検出する方法。
5. 前記照明手段は各カメラ光軸に近接して設けられた近接光源であり当該カメラの明孔照明光源として利用され、他方の光源は光軸から所定の距離離れた離隔光源であり、当該カメラの暗孔照明光源として利用されるものである請求項１記載の頭部の方向を検出する方法。
6. 請求項５記載の頭部の方向を検出する方法において、
   前記近接光源は、カメラ開口に隣接する領域またはカメラ開口に近接する円環内に設けられた発光素子群を含み、前記離隔光源はカメラの開口から離れた領域または円環内に設けられた発光素子群を含むものである頭部の方向を検出する方法。
7. カメラ一対を既知の基線長を保って配置するカメラ準備ステップと、
   前記各カメラと被検者の頭部との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される照明手段を準備する照明手段準備ステップと、
   前記カメラと前記照明手段を連動動作させ、被検者の頭部を撮影して、各瞳孔の像を明孔照明および暗孔照明で、前記鼻孔の像を明孔照明または暗孔照明で獲得する像獲得ステップと、
   前記瞳孔像を差分演算処理して前記各瞳孔の中心座標を演算する瞳孔像座標演算ステップと、
   前記鼻孔の像を処理して鼻孔の座標を演算する鼻孔像座標演算ステップと、
   前記中心座標で決まる顔の方向平面を演算する方向平面演算ステップと、
   から構成した頭部の方向を検出する方法。

Images