JP2019514302A - 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法 - Google Patents

Abstract

運転者の目位置の検出装置及び方法が提供される。目位置の検出装置は、外部に予め指定された波長の光を照射する光照射部と；外部の映像を撮影して、映像情報を生成するカメラ部と；上記映像情報から顔領域、目領域及び瞳孔の中心位置についての結果情報を生成する映像解釈部と、を含む。

Description

本発明は、運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法に関する。

車運行による交通事故死者数をできるだけ減らすために様々な技術が開発されており、一例として、運転者の顔映像を撮影して、居眠り運転をしているか否かを判別し、居眠り運転であると検知された場合、音響を出力するか、又は振動を発生させ、運転者に対して注意を喚起する発明も開発されている。

特に、韓国公開特許第１０−２００７−００３１５５８号公報において、運転者の前方に取り付けられたカメラを用いて運転者の顔の部分を撮影し、撮影された画像から顔と目の位置を検出し、居眠り運転をしているか否かを判断する技術的思想が開示されている。

しかしながら、このような従来技術は、運転者が眼鏡をかけている場合、眼鏡の反射光が、実際に監視したい対象の信号と混ぜて、目や瞳孔の位置及び状態を検知し難いという問題があった。

特に、図１の（ａ）に示されているように、眼鏡ガラス面で鏡面反射（ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｉｏｎ）が起こる場合には、鏡面反射してカメラに流入された光が検知対象による信号よりもむしろ大きな値を有するという問題もあった。この場合、眼鏡ガラスの表面から鏡面反射する光の大きさとガラスの内部から乱反射する信号の大きさとの差によって眼鏡の内部が見えたり（図１の（ｂ）を参照）、見えなくなったりするミラー効果（図１の（ｃ）を参照）が発生する。

しかしながら、運転者が着用した眼鏡により運転者の目の位置及び状態が判断できない場合は、眠気状態の運転者に対しアラームを行えなくなり、車両の運行事故を防ぐことができないという問題があった。

また、韓国公開特許第１０-２０１５−０１３６７４６号公報に開示されているように、撮像装置は、意図的に光を照射して被写体に対する撮影を行うときに、周辺の雑光に比べて相対的に強い光をセンサーの露光時間の全範囲にかけて被写体に照射する。しかしながら、周辺の雑光に比べて強い光を所定の時間の間照明として照射する際に大量の電力が消費される。

従来のグローバルシャッター（ｇｌｏｂａｌ ｓｈｕｔｔｅｒ）方式のイメージセンサーが使用される場合は、全体の映像の画素が同じ露光タイミングを持っているので、照明をセンサーの露光時間の間点灯して、照明による電力消費量を減らすことが難しくなかった。

しかしながら、ローリングシャッター方式のイメージセンサーは、画像の各ラインごとに順次的な露光タイミングを持っているので、グローバルシャッターと同じ方式では照明による電力消費量を減らすことができないという制限があった。

つまり、図８に示されているように、ＶＧＡセンサーの場合、４８０ラインの露光タイミングが全フレーム周期にわたって存在しているので、イメージセンサーの露光時間の間照明が点灯している状態を保持する必要があり、連続した映像撮影の場合であれば、照明が常時点灯している状態を保持する必要があるという問題があった。

韓国公開特許第１０−２００７−００３１５５８号公報 韓国公開特許第１０−２０１５−０１３６７４６号公報

本発明の目的は、眼鏡着用者の場合にも運転者の目及び瞳孔の位置を正確に検出することができ、これにより居眠り運転をしているか否かを正確に判断できるようにする、運転者の目位置の検出装置と方法を提供することにある。

本発明の他の目的は、連続した各フレームで関心領域を追跡し、検出して、照明点灯区間を調節することにより、照明による電力消費量を減らすことのできるローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法を提供することにある。

本発明の以外の目的は、以下の説明に基づいて容易に理解できるはずである。

本発明の一側面によると、太陽光によって眼鏡ガラスの表面から鏡面反射した映像による影響を低減する目位置の検出装置において、外部に予め指定された波長の光を照射する光照射部と；外部の映像を撮影し、映像情報を生成するカメラ部と；上記映像情報から顔領域、目領域及び瞳孔の中心位置についての結果情報を生成する映像解析部と、を含み、上記予め指定された波長の光は、９１０nmから９９０nmの波長帯域の光を含み、上記カメラ部は、上記照射された光の９１０nmから９９０nmの波長帯域のうち予め指定された波長帯域のみを選択的に通過させる帯域通過フィルターを備え、上記照射された光に対応する上記映像情報を生成することを特徴とする、目位置の検出装置が提供される。

上記予め指定された波長の光は、ピーク波長が９５０nmであり、セントロイド（ｃｅｎｔｒｏｉｄ）波長は、９４０nmの光であることもある。

上記カメラ部は、光が流入されるレンズと；上記レンズの後段に位置した上記帯域通過フィルターを通過した光を受光して、対応する映像信号を出力するイメージセンサーと；上記映像信号に対応する映像情報を生成する信号処理部と、を含むことができる。

上記カメラ部は、被写体に該当するユーザーが着用した眼鏡により上記光照射部が照射した光が鏡面反射して流入される位置以外の位置に設置位置が指定されることができる。

本発明の他の側面によると、撮像装置において、被写体に光を照射する照明部と；ローリングシャッター（ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ）駆動方式のイメージセンサーを有し、動画モードで被写体を撮影して生成した映像情報をリアルタイムに出力するカメラ部と；上記カメラ部から提供された映像情報で構成した映像フレームから予め指定された関心物体を検出し、予め指定された方式により検出された関心物体を中心とする関心領域を設定して、これに対応する関心領域情報を生成する分析部と；カメラ制御値を設定して、上記カメラ部の動作を制御し、上記カメラ部が後続の映像フレームに対応する撮影時に、上記関心領域情報に対応する時間範囲のみで照明が点灯するように上記照明部の動作を制御する制御部と、を含むローリングシャッター駆動方式のイメージセンサーを備えた撮像装置が提供される。

上記制御部は、上記カメラ部からフレーム同期化（Ｖｓｙｎｃ）信号及びライン同期化（Ｈｓｙｎｃ）信号を入力され、入力されるライン同期化信号をカウントして、上記関心領域情報を満足する開始時点で上記照明部が光を点灯するように制御し、上記関心領域情報を満足する終了時点で上記照明部が照明を消灯するように制御することができる。

上記カメラ制御値は、上記映像フレームが予め指定された平均の明るさを持つように設定された上記イメージセンサーの露光値及びゲイン値であることもある。

上記照明部が予め指定された波長の赤外光を照射する場合、上記カメラ部は、上記予め指定された波長の赤外光のみを選択的に通過させる帯域通過フィルターを備え、上記帯域通過フィルターを通過した赤外光による映像情報を生成することができる。

本発明の更に他の側面によると、ローリングシャッター駆動方式のイメージセンサーが備えられた撮像装置の照明制御方法において、（ａ）制御部がカメラ制御値を提供して、ローリングシャッター駆動方式に被写体に対する動画撮影を実施するカメラ部の動作を制御する段階と；（ｂ）上記制御部が上記カメラ部からフレーム同期化信号及びライン同期化信号を入力され、入力されるライン同期化信号をカウントして、予め設定された照明制御値に符合するライン同期化信号が入力される間のみ照明部が点灯するように制御する段階と；（ｃ）分析部が、上記カメラ部から提供された映像情報によって生成された現在のフレームから予め指定された関心物体を検出し、上記関心物体を中心とする関心領域を設定して、これに対応する関心領域情報を生成する段階と；（ｄ）上記段階（ｃ）で生成された関心領域情報が、先行のフレームに対する関心領域情報と異なる場合、上記制御部は、後続のフレームに対する撮影時に適用される上記カメラ制御値及び上記照明制御値のいずれか一つ以上を変更する段階と、を含む、照明制御方法が提供される。

上記段階（ａ）から上記段階（ｄ）は、上記カメラ部による撮影動作が続く間繰り返されることができる。

上記照明部は、予め指定された波長の赤外光を被写体に向けて照射し、上記映像情報は、上記カメラ部に備えられた上記予め指定された波長の赤外光のみを選択的に通過させる帯域通過フィルターを通過した赤外光によって生成されることができる。

前述以外の他の側面、特徴、利点は、以下の図面、特許請求の範囲及び発明の詳細な説明から明らかになるだろう。

本発明の実施例によると、眼鏡着用者の場合にも運転者の目及び瞳孔の位置を正確に検出することができ、これにより居眠り運転をしているか否かを正確に判断できるようにする効果がある。

また、連続した各フレームで関心領域（例えば、運転者の眠気検知のための目領域など）を追跡し、検出して、照明点灯区間を調節することにより、照明による電力消費量を減らすことができるという効果がある。

眼鏡による鏡面反射を説明するための図。 本発明の一実施例による目位置の検出装置のブロック構成図。 本発明の一実施例によるカメラ部のブロック構成図。 本発明の一実施例による映像解析部のブロック構成図。 太陽光のスペクトルを示す図。 本発明の一実施例による光照射部の照射光の帯域幅（ｂａｎｄｗｉｄｔｈ）と帯域通過フィルターの半値幅との関係を説明するための図。 本発明の一実施例による目位置の検出方法を示すフローチャート。 従来技術によるローリングシャッター駆動方式のイメージセンサーを備えた撮像装置の照明点灯区間を説明するための図。 本発明の一実施例によるローリングシャッター駆動方式のイメージセンサーを備えた撮像装置の構成の概略を示すブロック図。 本発明の一実施例による撮像装置の関心領域の指定過程を説明するための図。 本発明の一実施例による撮像装置の照明点灯区間による撮影映像を示す図。 本発明の一実施例による撮像装置の照明制御方法を示すフローチャート。 本発明の一実施例による関心領域の変動に伴う照明点灯区間の変動方法を説明するための図。

本発明は、様々な変換を加えることができ、複数の実施例を有することができるので、特定の実施例を図面に例示し、詳細な説明において詳細に説明しようとする。しかしながら、これは、本発明を特定の実施例について限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物ないし代替物を含むものと理解されるべきである。

ある構成要素が他の構成要素に“連結されて”いるとか、“接続されて”いると言及されている場合は、その他の構成要素に直接的に連結されているか、又は、接続されていることも出来るが、中間に他の構成要素が存在することもできると理解されるべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いるとか、“直接接続されて”いると言及されている場合は、中間に他の構成要素が存在していないと理解されるべきである。

本明細書で使用した用語は、単に特定の実施例を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なる意味でない限り、複数の表現を含む。本明細書において、“含む”又は“持つ”などの用語は、明細書上に記載されている特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在していることを指定しようとするだけであり、一つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたものなどの存在又は付加可能性を予め排除するわけではないと理解されるべきである。

第１、第２などの用語は、多様な構成要素を説明するのに使用され得るが、当該構成要素は、当該用語により限定されるべきではない。当該用語は、一つの構成要素を他の構成要素から区別する目的のみに使用される。

また、明細書に記載された“…部”、“…ユニット”、“…モジュール”などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェア、あるいは、ハードウェアとソフトウェアとの組み合わせで具現することができる。

また、各図面を参照して説明する実施例の構成要素は、当該実施例のみに限定的に適用されるものではなく、本発明の技術的思想が維持される範囲内で他の実施例に含まれるように具現することができ、また、別の説明が省略されても、複数の実施例が纏められた一つの実施例で再具現できることも当然なことである。

また、添付の図面を参照して説明するに際して、図面符号に関係なく、同じ構成要素は、同じか関連する参照符号を付し、これに関する重複する説明は、省略することにする。本発明を説明するに際して、関連する公知技術に関する具体的な説明が、本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。

図２は、本発明の一実施例による目位置の検出装置のブロック構成図であり、図３は、本発明の一実施例によるカメラ部のブロック構成図である。図４は、本発明の一実施例による映像解析部のブロック構成図であり、図５は、太陽光のスペクトルを示す図である。

図２を参照すると、目位置の検出装置２００は、光照射部２１０と、カメラ部２２０と、映像解析部２３０と、制御部２４０と、を含むことができる。目位置の検出装置２００は、運転者の顔映像を効果的に確保できるように車の内部の適切な位置（例えば、ルームミラー周りの位置、ダッシュボードの一方など）に装着されることがある。

光照射部２１０は、予め指定された波長帯域の光を外部に照射する。光照射部２１０が照射する予め指定された波長帯域の光は、図６の（ａ）に示されているように、波長の範囲が９１０nmから９９０nm以内の波長帯域の光が含まれることがあり、ピーク波長は、９５０nmであり、セントロイド波長（即ち、グラフの幅を半分に分ける重心に該当する波長）は、９４０nmと指定されている光であってもよい。

但し、本実施例では、便宜上、光照射部２１０から照射される光を９４０nm光と呼び、後述する帯域通過フィルター２２４（図３を参照）が選択的に通過させる特定の波長帯域を９４０nm帯域と呼ぶことにする。

図５に示されているように、太陽光スペクトルのうち９４０nm帯域の光スペクトルは、大気中のＨ_２Ｏによって多くの吸収が行われ、太陽光による９４０nm帯域の光信号の大きさが相対的に少ないことが分かる。

従って、本実施例による目位置の検出装置２００は、９４０nm光を照射する光照射部２１０を備えることにより、太陽光及び太陽光（周辺光など）によって生成された被写体のイメージが眼鏡ガラスの表面から鏡面反射してカメラ部２２０に入力されても、カメラ部２２０に備えられた帯域通過フィルター２２４によって９４０nm帯域の光以外の光が除去されることにより、反射光の信号による影響が最小化するという特徴がある。

カメラ部２２０は、ユーザーの顔を含む領域の映像情報を生成する。カメラ部２２０の設置位置は、照射部２１０から照射された光が眼鏡などによって鏡面反射する反射角の位置以外の位置に指定することができる。

図３を参照すると、カメラ部２２０は、レンズ２２２と、帯域通過フィルター２２４と、イメージセンサー２２６と、信号処理部２２８と、を含むことができる。

つまり、カメラ部２２０は、レンズ２２２から流入される光が帯域通過フィルター２２４を通した後、イメージセンサー２２６の各画素に電荷量として蓄積され、イメージセンサー２２６から出力される映像信号は、信号処理部２２８によって映像情報として処理され、信号処理部２２８によって処理された映像情報は、映像解析部２３０に提供される。信号処理部２２８は、例えば、イメージシグナルプロセッサ（ＩＳＰ、Ｉｍａｇｅ ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよい。

図６の（ａ）には、本実施例による光照射部２１０の照射光の波長（λ）による相対的な光の強さ（Ｉ_ｒｅｌ）に関するグラフが示されている。本実施例において、９４０nm光と呼ばれる光照射部２１０の照射光は、波長範囲が９１０nmから９９０nm以内の波長帯域の光を含み、ピーク波長は、９５０nmであり、セントロイド波長は、９４０nmの光であってもよい。

これは、太陽光による９４０nm帯域の光信号の大きさが相対的に小さいので、該当帯域の光を照射する光照射部２１０を活用することで、太陽光によって眼鏡ガラスの表面から鏡面反射した映像による影響を十分に低減できるためである。

このために、ピーク波長である９５０nmの光の強さの５０％に該当する帯域幅をＡと定義すると、図６の（ｂ）に示されているように、帯域通過フィルター２２４の半値幅（ＦＷＨＭ、Ｆｕｌｌ Ｗｉｄｔｈ Ｈａｌｆ Ｍａｘｉｍｕｍ）Ｂは、Ａと実質的に同じ大きさを持つように設定することができる。

もし、ＢがＡに比べて大きすぎると、９４０nm帯域以外の光もイメージセンサー２２６に流入されるので、太陽光量が最も少ない９４０nm帯域を選択した意味がなくなる。また、ＢがＡに比べて小さすぎると、適切な波長帯域の光が流入されることはできるが、流入される光の量が小さすぎて、イメージセンサー２２６が好適に動作しなくなる。従って、ＡとＢは、実質的に同じ大きさ、即ち、同じ大きさであるか、予め指定された誤差範囲内の違いを持つ大きさに各々指定される必要がある。

また、図３を参照すると、カメラ部２２０は、流入される光をフィルタリングするために帯域通過フィルター２２４が備えられているとの相違点の他には、既存のレンズ、イメージセンサー及び信号処理部を備えるカメラ部の構成と同じなので、これについての具体的な説明は省略する。

図４を参照すると、映像解析部２３０は、顔検出部２３２と、目領域検出部２３４と、瞳孔検出部２３６と、を含むことができる。

顔検出部２３２は、カメラ部２２０から入力される映像情報から顔領域を検出する。顔領域を検出するために、例えば、複数のＨａｒｒ分類器を組み合わせて使用するエイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムが使用されてもよい。他の例として、肌の色に予め指定された色の範囲の領域を顔領域として検出することもできる。もちろん、この以外にも映像情報から顔領域を検出するための様々な検出技法が更に利用できることは当然なことである。

目領域検出部２３４は、顔検出部２３２から検出された顔領域内で目領域を検出する。顔検出部２３２から検出された顔領域で目が位置する目領域の範囲は、例えば、車の内部において着席している運転者の顔位置とカメラ部２２０の設置角度とを考慮して、例えば、検出された顔領域の上部３０％領域などと予め指定することもできる。また、目領域検出部２３４は、既存の処理時に、瞳孔検出部２３６により瞳孔が存在している領域と主に認識される領域についての学習結果に基づいて目領域を指定することもできる。

瞳孔検出部２３６は、検出された目領域で瞳孔の中心を検出する。瞳孔の中心は、例えば、瞳孔領域の灰色レベルが周囲の領域よりも低いという特徴を利用する適応的閾値の推定方法を用いて、目領域内で瞳孔の中心を検出することができる。他の例として、階層的ＫＬＴ特徴追跡アルゴリズムを用いて、動きベクトルを検索し、検索された動きベクトルを用いて、瞳孔の正確な中心座標を抽出する方法なども用いることができる。

前述の過程を通じて、カメラ部２２０によって撮影された運転者の顔の様子が正面であるか、又は、正面以外の状況であっても、顔領域、目領域及び瞳孔の存在と位置を正確に検出することができる。

映像解析部２３０は、顔領域情報、目領域情報、及び瞳孔の中心位置情報のうち１つ以上を検出結果として制御部２４０に提供する。

制御部２４０は、瞳孔の中心位置情報が予め指定された時間（例えば、０．５秒）以上継続的に映像解析部２３０から入力されない場合（例えば、目を閉じて、瞳孔が検出されない状態が続く場合）は、運転者が居眠り状態であると認識することができる。運転者が居眠り状態であると認識されると、制御部２４０は、スピーカー（図示せず）を通じて音響を出力するように制御したり、運転者が持っているハンドルに振動を発生させるように制御するなどの方法で運転者の注意を喚起することができる。

また、制御部２４０は、光照射部２１０、カメラ部２２０及び映像解析部２３０の動作を制御することができる。

前述のように、本実施例による目位置の検出装置２００は、乱反射する検知対象の表面の信号が外部から入射され、ガラス面で鏡面反射する光の大きさよりも大きく具現することができ、眼鏡などのガラス媒質によって鏡面反射して入射される光に関わらず、検知対象の位置及び状態を効果的に確認できるようにするという特徴がある。

図７は、本発明の一実施例による目位置の検出方法を示すフローチャートである。

図７を参照すると、段階５１０において、光照射部２１０は、運転者に向かって９４０nm光を照射する。光照射部２１０が予め指定された光の照射周期によりオン／オフするように制御部２４０によって制御することができる。

段階５２０において、帯域通過フィルター２２４を備えたカメラ部２２０は、レンズ２２２から流入される光信号のうち帯域通過フィルター２２４によってフィルタリングされた光信号による映像情報を生成する。

また、映像解析部２３０は、カメラ部２２０によって生成された映像情報から顔領域、目領域及び瞳孔を検出し、顔領域情報、目領域情報及瞳孔の中心位置情報を各々生成する。

段階５３０において、制御部２４０は、段階５２０で生成された瞳孔の中心位置情報が、例えば、予め指定された時間（例えば、０．５秒）以上継続的に映像解析部２３０から入力されていないかどうかなどによって、運転者が居眠り状態であるか否かを判断する。

もし、運転者が居眠り状態であると判断されると、制御部２４０は、段階５４０において運転者の注意を換気するために予め指定されたアラーム処理を行う。アラーム処理は、例えば、スピーカー（図示せず）を通じて音響を出力するか、運転者が持っているハンドルに振動を発生させるなどの処置であってもよい。

今まで車に搭乗した運転者を対象として運転者の目領域及び瞳孔を検出して眠気運転防止を行う実施例を中心として説明したが、本発明による目位置の検出装置及び方法は、虹彩認識などのように瞳孔の位置を検出する必要のある様々な分野に制限なく適用できることは当然なことである。

図９は、本発明の一実施例によるローリングシャッター駆動方式のイメージセンサーを備えた撮像装置の構成の概略を示すブロック図であり、図１０は、本発明の一実施例による撮像装置の関心領域の指定過程を説明するための図であり、図１１は、本発明の一実施例による撮像装置の照明点灯区間による撮影映像を示した図である。

図９を参照すると、撮像装置９００は、カメラ部９１０と、分析部９２０と、制御部９３０と、照明部９４０と、を含む。分析部９２０が制御部９３０の一構成として含まれることもあるが、便宜上、本実施例では、独立した構成として説明する。ここで、分析部９２０、照明部９４０、カメラ部９１０及び制御部９３０の各々は、前述の映像解析部２３０、光照射部２１０、カメラ部２２０及び制御部２４０の各々と同じ構成要素であるか、又は、追加に備えられる構成要素であってもよい。

撮像装置９００がカメラ部９１０によって撮像された映像を処理してディスプレイ装置（図示せず）を通じて出力したり、映像を解釈して、予め指定された目的に応じた判断（例えば、運転者の顔の部分を撮影し、目領域を検出して、居眠り運転をしているか否かを判断など）を行う場合は、図示のように、映像処理部９５０などが更に含まれることもある。

カメラ部９１０は、ローリングシャッター駆動方式のイメージセンサーとイメージシグナルプロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とを含む。カメラ部９１０は、制御部９３０から提供されるカメラ制御値（即ち、イメージセンサーの露光値及び／又はゲイン値）に対応するように被写体を撮影し、撮影された映像に対応するフレーム同期化信号（Ｖｓｙｎｃ ｓｉｇｎａｌ）及びライン同期化信号（Ｈｓｙｎｃ ｓｉｇｎａｌ）を制御部９３０に提供する。また、カメラ部９１０は、カメラ制御値に応じて撮影した映像に対応する映像情報を関心領域の決定のために分析部９２０に提供する。

分析部９２０は、カメラ部９１０から提供された映像情報、即ち、特定のフレームに該当する映像情報を用いて関心領域情報（例えば、１つのフレーム内で指定した座標区間情報など）を生成し、生成した関心領域情報を制御部９３０に提供する。

図１０に示されているように、関心領域１０３０を規定するための関心領域情報は、例えば、予め指定された関心物体１０２０の形態、大きさ及び位置のうち１つ以上に対応するように生成することができる。関心物体１０２０の形態、大きさ及び位置のうち１つ以上についての情報は、格納部（図示せず）に予め格納することができる。

例えば、ｎ番目のフレームで適用される関心領域情報は、格納部（図示せず）に予め格納されている関心物体１０２０の形態、大きさ及び位置のうち１つ以上に基づき、ｎ−２番目のフレームの関心物体１０２０の位置に基づいて、ｎ−１番目のフレームに対し、カルマンフィルター、パーティクルフィルターなどのトラッキング（ｔｒａｃｋｉｎｇ）アルゴリズムを適用したり、関心物体１０２０の検出のためのエッジ検出（ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ）を実施するなどの方法で、ｎ−１番目のフレームで検出した関心物体１０２０の位置を基に設定することができる（図１０の（ａ）及び（ｃ）を参照）。また、例えば、関心物体１０２０の検出のために、ブースティング（ｂｏｏｓｔｉｎｇ）、ＳＶＭ、人工神経ネットワークなどの機械学習アルゴリズムを用いることができ、本実施例による撮像装置９００が、居眠り運転を判断するために運転者の瞳孔を確認する目的で使用される場合、エイダブーストアルゴリズムなどを更に用いることができる。

関心領域１０３０は、図１０の（ｂ）に示されているように、関心物体１０２０を基準として、例えば、所定の長さの垂直ライン（図１０の（ｂ１）を参照）により指定されるか、関心物体１０２０の中心点を基準にした所定の半径の円の領域（図１０の（ｂ２）を参照）などにより指定することができる。このように、後続のフレームで適用される関心領域情報は、先行及び／又は現在のフレームに対する関心物体１０２０の検出処理を行う分析部９２０によって継続的に更新することができる。

もちろん、関心物体１０２０の位置分析及び関心領域１０３０の設定のために所定の時間がかかる場合は、技術的又は製品的限界から、ｎ−３番目のフレームの分析によって設定された関心領域情報が、ｎ番目のフレームに対して適用されるなど、時間的遅れが存在することもある。しかし、このような技術的制限が、連続するフレームにおいて、先行のフレームの分析を通じて指定された関心領域情報が、後続のフレームの撮影時に照明の制御のための情報として用いられる本発明の技術的思想を制限したり、阻害しないことは当然のことである。

前述のように、更新された関心領域情報は、照明区間限定による電力消費量の節減及び映像処理速度の向上に寄与することができる。

つまり、後述する映像処理部９５０が、予め指定された判断を行うに際して、関心領域情報により指定された関心領域以外の領域に対しては、別の映像処理や判断が行われないので、フレームごとに映像処理速度が向上できるという利点がある。例えば、本実施例による撮像装置９００が、居眠り運転をしているか否かを判断するために運転者の顔映像を撮影すると、運転者の目領域や瞳孔の関心物体１０２０を中心に関心領域１０３０が指定されることにより、映像処理部９５０による映像処理の負荷が最小化し、従って、映像処理の速度及び居眠り運転をしているか否かの判断に要する時間を最小化することができる。

また、新たに生成された関心領域情報は、制御部９３０に提供され、後続のフレームの撮影のための照明部９４０の照明区間の制御のための基礎情報として活用することができ、このことから、照明による電力消費量を減らすことができる。これは、関心領域１０３０以外の領域の撮影時には照明が照射される必要がないので、照明が点灯する区間を最小化できるためである。

ここで、もし、必要な映像のフレームレートよりも相対的に高速のフレームレートで出力が可能なカメラ部９１０が使用される場合には、入力された映像フレームの一部はスキップするように照明を点灯することにより、より大幅な電力削減効果を得ることもできる。

制御部９３０は、分析部９２０から提供された関心領域情報を参照して、カメラ部９１０に対するカメラ制御値（即ち、平均の明るさを有する映像を取得するために設定されるイメージセンサーの露光値、ゲイン値）を維持又は変更し、関心領域１０３０に対応する照明点灯区間に対応する照明制御値（即ち、Ｈｓｙｎｃのカウント値）を設定する。

つまり、制御部９３０は、カメラ制御値に対応して撮影された現在のフレームの映像情報を基に分析部９２０が分析した関心領域情報に基づいて、後続のフレームに対する照明制御値を設定する。以来、カメラ部９１０から入力されるフレーム同期化信号によって後続のフレームの始まりを認知し、カメラ部９１０から入力されるライン同期化信号をカウントして、照明制御値に対応する、即ち、関心領域に該当するラインの露光タイミングと判断されると、照明部９４０に照明点灯トリガー信号を入力し、関心領域に該当するラインの露光タイミングが終了したと判断されると、照明部９４０に照明消灯トリガー信号を入力する。

また、制御部９３０は、連続する映像フレームでの関心物体１０２０の位置変動に対応するように更新された関心領域情報に応じて露光時間を調整したり、照明点灯を調整するなど、駆動設定値（即ち、カメラ制御値、照明制御値）を更新して設定することができる。

照明部９４０は、被写体に光を照射し、制御部９３０の照明点灯／消灯トリガー信号に対応して照明を点灯又は消灯する。

照明部９４０は、例えば、予め指定された波長帯域を含む赤外光を被写体に照射するように構成することができる。この場合、カメラ部９１０には、予め指定された波長の赤外光だけを選択的に通す帯域通過フィルタが備えられるようにすることで、例えば、撮影映像に対する関心物体検出、運転者が居眠り状態であるかの判断などによって太陽光による影響を最小化することができる。

図１１には、制御部９３０の制御により、照明部９４０が照明の点灯及び消灯を施し、このような状況で、カメラ部９１０が撮影した映像が例示されている。図示のように、（１）区間に比べて（２）区間が相対的に明るく処理されるように、１つのフレームで各区間（例えば、ライン）の露光時間の間流入された光の量に応じて映像の鮮明度が異なるので、制御部９３０は、関心領域１０３０として指定された区間に対しては、露光時間全体にかけて光の露光が行われるように照明部９４０の動作を制御することができる。参考までに、同じ照明制御値が適用される場合、イメージセンサーの露光時間が長くなると、（１）の区間が減少し、（２）の区間が増加するはずである。また、同じカメラ制御値が適用される場合は、点灯区間が長くなると、（３）の区間が増加し、（１）及び（２）の区間が減少するはずである。

このように、カメラ部９１０にローリングシャッター駆動方式のイメージセンサーが備えられており、一つのフレームの関心領域１０３０に対してのみ制限的に照明の点灯処理がなされるようにすることで、一つのフレーム全体に対して照明の点灯処理が要求された従来の構造に比べて、相対的に電力消費量が減るという利点がある。

また、例えば、撮像装置９００が車の内部に設置され、居眠り運転をしているか否かを判断するために運転者の顔映像を撮影するなどの目的で活用される場合、運転者の目領域又は瞳孔以外の領域は処理や判断が不要な領域なので、関心領域１０３０に集中して照明制御及び映像処理を行うことができ、最小限の電力消費のみで高速の映像処理及び判断をすることができるようになる。

図１２は、本発明の一実施例による撮像装置の照明制御方法を示すフローチャートであり、図１３は、本発明の一実施例による関心領域の変動に伴う照明点灯区間の変動方法を説明するための図である。

図１２を参照すると、段階１２１０において、制御部９３０は、現在設定されている関心領域情報に対応する駆動設定値を指定する。駆動設定値は、例えば、イメージセンサーの露光値及びゲイン値のいずれか一つ以上としてカメラ部９１０に提供されるカメラ制御値及び照明点灯／消灯区間を指定するために照明部９４０の動作を制御する照明制御値であることができる。

段階１２２０において、制御部９３０は、新規映像フレームデータの入力が開始しているかどうかを判断する。制御部９３０は、例えば、カメラ部９１０から入力されるフレーム同期化信号によって新規映像フレームデータの開始を認めることができる。

新規映像フレームデータの入力が開始していないと、段階１２２０で待機する。しかし、新規映像フレームデータが入力されると、段階１２３０において、制御部９３０は、指定された照明制御値を参照し、カメラ部９１０から入力されるライン同期化信号をカウントして、関心領域１０３０に該当するラインの露光タイミングと判断されると、照明部９４０が照明を点灯するように制御し、関心領域１０３０に該当するラインの露光タイミングが終了していると判断されると、照明部９４０が照明を消灯するように制御する。

段階１２４０において、分析部９２０は、カメラ部９１０から一つのフレームに該当する映像情報の全てが提供されているか判断する。もし、一つのフレームに該当する映像情報の全てが提供されていない状態であれば、一つのフレームに該当する映像情報の全てが入力されるまで待機する。

しかし、もし一つのフレームに該当する映像情報が入力されていると、段階１２５０において、分析部９２０は、入力された一つのフレームから関心物体１０２０を検出し、検出された関心物体１０２０の位置を基に、予め指定された方式により関心領域１０３０を設定し、設定した関心領域情報（例えば、座標情報）を制御部９３０に入力する。もし、関心領域情報が以前と同じ状態に維持される場合は、制御部９３０への関心領域情報の入力は省略することができる。

図１０を参照して、既述のように、現在のフレームでの関心領域は、格納部（図示せず）に予め格納されている関心物体１０２０の形態、大きさ及び位置のうち一つ以上に基づいて、先行（即ち、直前又はそれ以前）のフレームでの関心物体１０２０の位置トラッキング技法及び撮影された物体に対するエッジ検出などのいずれか一つ以上の方法によって検出された関心物体１０２０の位置を基に、予め指定された大きさ及び形状に設定することができる。

そして、前述のように、先行のフレームと現在のフレームで撮影された関心物体１０２０の位置及び／又は大きさの変更に伴って、関心領域１０３０は継続的に更新することができる。

例えば、図１３の（ａ）に示しているように、分析部９２０が、関心物体１０２０が上方又は下方に移動したと分析した場合、分析部９２０は、関心領域１０３０が上方又は下方に移動した旨の関心領域情報を生成して制御部９３０に提供することができる。これに対応するように、制御部９３０は、照明部９４０の点灯区間の制御のための照明制御値を調節して点灯区間を繰り上げたり、繰り下げるなどの方式により調整することができる。

その他に、関心物体１０２０の大きさが小さくなり、関心領域が相対的に狭くなった場合、図１１の（２）の区間で例示されているように、制御部９３０は、イメージセンサーの露光値を増やし（即ち、露光時間を増やし）、ゲインを減らすようにカメラ制御値を更新するか、点灯区間が短くなるように照明制御値を更新することができる。この場合、ゲイン値が減少すると、画質が改善され得るという利点がある。

また、関心物体１０２０の大きさが大きくなり、関心領域が相対的に広くなる場合、短い点灯区間でも鮮明な画質を得ることができるようにするために、露光時間を減少するようにカメラ制御値を更新するか、点灯区間が長くなるように照明制御値を更新することもできる。

また、図１２を参照すると、段階１２６０において、制御部９３０は、関心領域情報が変更されているかどうかを判断する。もし、関心領域情報が変更されていないと、段階１２２０に進み、制御部９３０は、既に適用されている駆動設定値を用いて前述の処理が進むようにする。

しかし、もし関心領域情報が変更されていると、制御部９３０は、段階１２７０で変更されている関心領域情報に対応するように駆動設定値を更新し、段階１２２０に進み、更新された駆動設定値に応じて前述の処理が進行されるようにする。

前述の目位置の検出方法及び／又は照明制御方法は、デジタル処理装置に組み込まれているソフトウェアプログラム等によって、時系列的な順序による自動化されたプロセスで行えることは当然なことである。上記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータ・プログラマーによって容易に推論することができる。また、上記プログラムは、コンピューターが読み取り可能なデータ格納媒体（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）に格納され、コンピューターによって読み取られ、実行されることにより、上記方法を具現することができる。上記情報格納媒体は、磁気記録媒体、光記録媒体及びキャリアウェーブ媒体などを含むことができる。

上記では、本発明の実施例を参照して述べたが、当該技術分野において通常の知識を有する者であれば、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を多様に修正及び変更できることが理解できるだろう。

２００…目位置の検出装置
２１０…光照射部門
２２０、９１０…カメラ部
２２２…レンズ
２２４…帯域通過フィルター
２２６…イメージセンサー
２２８…信号処理部
２３０…映像解析部
２３２…顔検出部
２３４…目領域検出部
２３６…瞳孔検出部
２４０、９３０…制御部
９００…撮像装置
９２０…分析部
９４０…照明部
９５０…映像処理部
１０２０…関心物体
１０３０…関心領域

Claims (12)

1. 太陽光によって眼鏡ガラスの表面から鏡面反射した映像による影響を低減する目位置の検出装置において、
   外部に予め指定された波長の光を照射する光照射部と；
   外部の映像を撮影し、映像情報を生成するカメラ部と；
   上記映像情報から顔領域、目領域及び瞳孔の中心位置についての結果情報を生成する映像解析部と、を含み、
   上記予め指定された波長の光は、９１０nmから９９０nmの波長帯域の光を含み、
   上記カメラ部は、上記照射された光の９１０nmから９９０nmの波長帯域のうち予め指定された波長帯域のみを選択的に通過させる帯域通過フィルターを備え、上記照射された光に対応する上記映像情報を生成することを特徴とする、目位置の検出装置。
2. 上記予め指定された波長の光は、９５０nmのセントロイド波長を有することを特徴とする、請求項１に記載の目位置の検出装置。
3. 上記カメラ部は、
   光が流入されるレンズと；
   上記レンズの後段に位置した上記帯域通過フィルターを通過した光を受光して、対応する映像信号を出力するイメージセンサーと；
   上記映像信号に対応する映像情報を生成する信号処理部と、を含むことを特徴とする、請求項１に記載の目位置の検出装置。
4. 上記カメラ部は、被写体に該当するユーザーが着用した眼鏡により上記光照射部が照射した光が鏡面反射して流入される位置以外の位置に設置位置が指定されることを特徴とする、請求項１に記載の目位置の検出装置。
5. 撮像装置において、
   被写体に光を照射する照明部と；
   ローリングシャッター駆動方式のイメージセンサーを有し、動画モードで被写体を撮影して生成した映像情報をリアルタイムに出力するカメラ部と；
   上記カメラ部から提供された映像情報で構成した映像フレームから予め指定された関心物体を検出し、予め指定された方式により検出された関心物体を中心とする関心領域を設定して、これに対応する関心領域情報を生成する分析部と；
   カメラ制御値を設定して、上記カメラ部の動作を制御し、上記カメラ部が後続の映像フレームに対応する撮影時に、上記関心領域情報に対応する時間範囲のみで照明が点灯するように上記照明部の動作を制御する制御部と、を含むローリングシャッター駆動方式のイメージセンサーを備えた撮像装置。
6. 上記制御部は、上記カメラ部からフレーム同期化信号及びライン同期化信号を入力され、入力されるライン同期化信号をカウントして、上記関心領域情報を満足する開始時点で上記照明部が光を点灯するように制御し、上記関心領域情報を満足する終了時点で上記照明部が照明を消灯するように制御することを特徴とする、請求項５に記載のローリングシャッター駆動方式のイメージセンサーを備えた撮像装置。
7. 上記カメラ制御値は、上記映像フレームが予め指定された平均の明るさを持つように設定された上記イメージセンサーの露光値及びゲイン値であることを特徴とする、請求項５に記載のローリングシャッター駆動方式のイメージセンサーを備えた撮像装置。
8. 上記照明部が予め指定された波長の赤外光を照射する場合、
   上記カメラ部は、上記予め指定された波長の赤外光のみを選択的に通過させる帯域通過フィルターを備え、上記帯域通過フィルターを通過した赤外光による映像情報を生成することを特徴とする、請求項５に記載のローリングシャッター駆動方式のイメージセンサーを備えた撮像装置。
9. ローリングシャッター駆動方式のイメージセンサーが備えられた撮像装置の照明制御方法において、
   （ａ）制御部がカメラ制御値を提供して、ローリングシャッター駆動方式に被写体に対する動画撮影を実施するカメラ部の動作を制御する段階と；
   （ｂ）上記制御部が上記カメラ部からフレーム同期化信号及びライン同期化信号を入力され、入力されるライン同期化信号をカウントして、予め設定された照明制御値に符合するライン同期化信号が入力される間のみ照明部が点灯するように制御する段階と；
   （ｃ）分析部が、上記カメラ部から提供された映像情報によって生成された現在のフレームから予め指定された関心物体を検出し、上記関心物体を中心とする関心領域を設定して、これに対応する関心領域情報を生成する段階と；
   （ｄ）上記段階（ｃ）で生成された関心領域情報が、先行のフレームに対する関心領域情報と異なる場合、上記制御部は、後続のフレームに対する撮影時に適用される上記カメラ制御値及び上記照明制御値のいずれか一つ以上を変更する段階と、を含む照明制御方法。
10. 上記の段階（ａ）から上記段階（ｄ）は、上記カメラ部による撮影動作が続く間繰り返されることを特徴とする、請求項９に記載の照明制御方法。
11. 上記照明部は、予め指定された波長の赤外光を被写体に向けて照射し、
    上記映像情報は、上記カメラ部に備えられた上記予め指定された波長の赤外光のみを選択的に通過させる帯域通過フィルターを通過した赤外光によって生成されることを特徴とする、請求項９に記載の照明制御方法。
12. 請求項９又は請求項１０に記載の照明制御方法を行う記録媒体に格納されているコンピュータプログラム。

Images