JP2017068385A - 撮像装置、および監視システム - Google Patents

Abstract

【課題】撮像画像上の瞳孔の検出精度を向上させる撮像装置、および監視システムを提供する。
【解決手段】撮像装置１２は、撮像光学系２２と、撮像光学系２２を介して対象者１６の眼を撮像した撮像画像を生成する撮像素子２３と、撮像画像上の対象者１６の瞳孔を検出する画像処理部２５と、を備える。撮像光学系２２は、光を光軸に垂直な特定方向に分散させる機能を有する。
【選択図】図１

Description

本発明は、車両の運転者などの対象者の状態を監視するための撮像装置、および監視システムに関する。

従来、車両の運転者などの対象者を赤外帯域の光で照射し、赤外線カメラで撮像した撮像画像を用いて当該対象者の状態を監視し、例えば居眠り運転を防止するための警報を発生する監視システムが知られている。例えば、特許文献１には、運転者の顔の撮像画像を用いて運転者の瞳孔の位置を検出する装置において、例えば直射日光またはヘッドライトなどの比較的強い外光が運転者の顔に照射された場合など、瞳孔検出に好適な撮像画像が得られない場合に、エラーまたは誤判断の可能性があることを運転者に通知する構成が開示されている。

特開２００９−１８３３２５号公報

かかる監視システムにおいて、運転者の様々な体格および運転姿勢に対応して運転者の監視を行うために、撮像装置の画角を一定程度に広く確保して、体格または運転姿勢によらず運転者が撮像装置の撮像可能範囲内に収まるように構成することが要求される。しかしながら、画角を広く確保すると、生成される撮像画像上の瞳孔の大きさが非常に小さくなり、必ずしも十分な瞳孔の検出精度を確保できない場合がある。したがって、対象者の瞳孔の検出精度について改善の余地があった。

本発明の目的は、撮像画像上の瞳孔の検出精度を向上させる撮像装置、および監視システムを提供することにある。

本発明に係る撮像装置は、
撮像光学系と、
前記撮像光学系を介して対象者の眼を撮像した撮像画像を生成する撮像素子と、
前記撮像画像上の前記対象者の瞳孔を検出する画像処理部と、を備え、
前記撮像光学系は、光を光軸に垂直な特定方向に分散させる機能を有する。

また、本発明に係る監視システムは、
撮像光学系と、前記撮像光学系を介して対象者の眼を撮像した撮像画像を生成する撮像素子と、前記撮像画像上の前記対象者の瞳孔を検出する画像処理部と、前記対象者の瞳孔が検出されない場合に警告信号を出力する通信部と、を有する撮像装置と、
前記警告信号を取得すると、前記対象者に対して警告を行う警告装置と、を備える。

本発明に係る撮像装置、および監視システムによれば、撮像画像上の瞳孔の検出精度が向上する。

本発明の一実施形態に係る監視システムの概略構成を示すブロック図である。 図１の監視システムを備える車両を示す図である。 撮像光学系および撮像素子の位置関係を示す図である。 照明装置からの照射光のうち、中心波長の光によって結像された対象者の眼を示す図である。 分光素子の分散方向が上下方向である構成における、撮像画像上の対象者の眼を示す図である。 分光素子の分散方向が左右方向である構成における、撮像画像上の対象者の眼を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

はじめに、図１を参照して、本発明の一実施形態に係る監視システム１０について説明する。

図１に示すように、監視システム１０は、照明装置１１と、撮像装置１２と、警告装置１３と、を備える。監視システム１０の各構成要素は、無線、有線、またはＣＡＮなどのネットワーク１４を介して情報を送受信可能である。

ここで図２を参照して、監視システム１０が備えられる車両１５における照明装置１１および撮像装置１２の位置関係について説明する。照明装置１１は、運転者などの対象者１６の顔に光を照射可能となるように、例えば車両１５のダッシュボード１７に配置される。また撮像装置１２は、照明装置１１からの光が照射された対象者１６の顔を撮像可能となるように、例えば車両１５のダッシュボード１７に配置される。ここで撮像装置１２の画角は比較的広く設定されており、例えば運転席に着座した対象者１６の姿勢が一定程度変化した場合であっても、対象者１６の顔を撮像可能である。本実施形態において、照明装置１１および撮像装置１２は、互いに近接して配置されており、撮像装置１２は、画像上の対象者１６の眼の瞳孔が明るい撮像画像（明瞳孔画像）を生成する。

次に、監視システム１０の各構成要素について説明する。

はじめに、照明装置１１について説明する。照明装置１１は（図１参照）、１以上の光源１８と、照明光学系１９と、照明装置通信部２０と、照明装置制御部２１と、を備える。

光源１８は、例えばＬＥＤなどであって、所定の波長帯域の光を発する。本実施形態において、光源１８は赤外帯域の拡散光を発する赤外ＬＥＤであるが、発せられる光の波長帯域および指向性は任意のものを採用可能である。一例において、光源１８が発する光は、９４０ｎｍを中心波長とし、所定のスペクトル幅を有する赤外光であるが、中心波長はこれに限られない。また赤外光は、中心波長の光の強度が最も大きく、中心波長から離れるほど光の強度が小さい。

照明光学系１９は、例えば画角が調整されたレンズを含んで構成され、照明光学系１９を透過する光を照射する。本実施形態において、照明光学系１９を透過した光源１８からの光は、対象者１６の顔全体に照射される。

照明装置通信部２０は、ネットワーク１４を介して情報の入力（取得）および出力を行うインターフェースである。

照明装置制御部２１は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵである。照明装置制御部２１は、照明装置１１の各構成要素の動作を制御する。例えば、照明装置制御部２１は、照明装置通信部２０を介して撮像装置１２から取得する同期信号に応じて周期的に、光源１８に赤外帯域の光を所定の発光時間パルス発光させる。

次に、撮像装置１２について説明する。撮像装置１２は、撮像光学系２２と、撮像素子２３と、ＡＦＥ２４と、画像処理部２５と、通信部２６と、カメラ制御部２７とを備える。

撮像光学系２２は、絞り、１以上のレンズ、および分光素子を含んで構成される。分光素子は、例えばプリズムまたはグリズムを含んで構成される。分光素子の物体側の面には、所定の波長帯域の光、本実施形態では赤外帯域の光のみを通過させるフィルタ層が形成される。フィルタ層は、例えば蒸着またはスピンコートなどによって形成可能である。あるいは、撮像光学系２２は、赤外帯域の光のみを通過させるフィルタを、分光素子とは別体として含んでもよい。

また撮像光学系２２は、分光素子によって分散された光を撮像素子２３の受光面上に結像させる。撮像光学系２２に入射した光が結像するまでの過程については後述する。また撮像光学系２２は、照明装置１１からの光の照射先からの反射光を取込可能となるように、撮像装置１２の筐体に配置される。本実施形態において、撮像光学系２２は、照明装置１１からの光が照射された対象者１６の顔を含む被写体の像を結像可能である。また撮像光学系２２は、照明装置１１の照明光学系１９の近傍に設けられる。

撮像素子２３は、例えばＣＣＤ撮像素子またはＣＭＯＳ撮像素子であって、撮像光学系２２によって結像される被写体像を撮像して撮像画像を生成する。ここで、撮像素子２３がＣＭＯＳ撮像素子である場合には、ＡＦＥ２４の各機能を撮像素子２３に包含させた構成であってもよい。

ここで図３を参照して、撮像光学系２２と撮像素子２３との位置関係、および光の結像について説明する。以下、撮像光学系２２は、第１レンズ２８と、分光素子２９と、第２レンズ３０と、を含むものとして説明するが、撮像光学系２２の構成はこれに限られない。本実施形態において、物体側から順に、撮像光学系２２に含まれる第１レンズ２８、分光素子２９、および第２レンズ３０と、撮像素子２３と、が並んで配置される。

撮像光学系２２に対して物体側から入射する光は、第１レンズ２８を通過し、分光素子２９の物体側表面に到達する。続いて分光素子２９の物体側表面に到達した光は、物体側表面に形成されたフィルタ層で可視光帯域がカットされ、所定のスペクトル幅を有する赤外光となる。分光素子２９を通過する赤外光は、分散方向（図３においては、上下方向）に沿って分散し、第２レンズ３０に入射する。

第２レンズ３０に入射した光は、波長に応じて、撮像素子２３の受光面上で分散方向に沿った異なる位置に結像する。したがって、中心波長の光による被写体像が受光面の基準位置に結像されるとともに、中心波長と異なる光による被写体像が、当該光の波長が中心波長から離れるほど、受光面の基準位置から分散方向に離れた位置に結像される。結果として、撮像画像上の被写体像が、分散方向に沿って広がる（伸びる）ように撮像される。例えば点像が、分散方向に広がった略楕円形状に撮像される。

好適には、撮像光学系２２を備える撮像装置１２は、撮像装置１２と対象者１６とが所定の相対位置関係を有する状態で、後述するように撮像光学系２２の分散方向が対象者１６の眼の開閉方向と略垂直な方向となるように、車両１５に設置される。所定の相対位置関係は、例えば車両１５に設置された撮像装置１２と、車両１５の運転席で通常の運転姿勢をとった対象者１６と、の相対位置関係である。かかる場合には、対象者１６の眼の開閉方向は上下方向である。したがって、撮像光学系２２の分散方向が略左右方向となるように、撮像装置１２が車両１５に設置される。

ＡＦＥ２４は（図２参照）、例えばＣＤＳ、ＡＧＣ、およびＡＤＣを含んで構成される。ＡＦＥ２４は、撮像素子２３によって生成されたアナログの第１撮像画像に対し、ＣＤＳ、ゲイン調整（ＡＧＣ）、およびＡ／Ｄ変換（ＡＤＣ）等の所定の前段画像処理を施す。

画像処理部２５は、例えばＤＳＰなどの画像処理専用のプロセッサを含む。画像処理部２５は、ＡＦＥ２４によって前段画像処理が施された第１撮像画像に対して、露出調整処理などの所定の後段画像処理を施す。

また画像処理部２５は、撮像画像上の対象者１６の眼および瞳孔を検出する。眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の特徴点を抽出する手法など、任意の手法が採用可能である。また瞳孔の検出には、検出された眼全体を含む所定の領域のうち、例えば輝度が所定の閾値よりも大きい領域が検出された場合に瞳孔が検出されたと判定する手法、またはパターンマッチングを用いる手法など、任意の手法が採用可能である。

またカメラ制御部２７は、撮像画像上の対象者１６の眼または瞳孔の検出結果に応じて、警告装置１３に警告を行わせる信号（警告信号）を生成する。例えば、撮像画像上の対象者１６の眼または瞳孔が所定時間連続して（例えば、連続する複数フレームに亘って）検出されない場合には、対象者１６がよそ見運転または居眠り運転をしている蓋然性が高い。かかる場合には、画像処理部２５は、警告装置１３に警告を行わせる警告信号を生成する。

通信部２６は、ネットワーク１４を介して情報の入力（取得）および出力を行うインターフェースである。例えば通信部２６は、後述するように、カメラ制御部２７の制御によって、警告信号を警告装置１３へ出力する。

カメラ制御部２７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵである。カメラ制御部２７は、撮像装置１２全体の動作を制御する。例えば、カメラ制御部２７は、撮像のタイミングを示す同期信号を生成し、通信部２６の動作を制御して当該同期信号を照明装置１１へ出力させる。また、カメラ制御部２７は、同期信号が出力されると、撮像素子２３の動作を制御して、被写体を撮像させる。

またカメラ制御部２７は、画像処理部２５が警告信号を生成すると、通信部２６を介して当該警告信号を警告装置１３へ出力する。

次に、警告装置１３について説明する。警告装置１３は、撮像装置１２から警告信号を取得すると、対象者１６に対する警告を行う。具体的には、警告装置１３は、スピーカおよびバイブレータなどを含んで構成され、音および振動などの発生によって対象者１６に対する警告を行う。また警告装置１３は、例えば液晶ディスプレイまたは有機ＥＬディスプレイなどの表示装置をさらに含んで構成され、所定の警告画像の表示を行ってもよい。

次に、図４乃至図６を参照して、撮像画像上の対象者１６の眼および瞳孔について説明する。図４乃至図６において破線で示される各領域は、撮像素子２３の１画素に対応する。

例えば図４において、照明装置１１からの照射光のうち、中心波長の光によって結像された対象者１６の瞳孔３１は、１画素に対応する大きさである。

ここで、分光素子２９の分散方向が対象者１６の眼の開閉方向（例えば、上下方向）と略一致するように、撮像装置１２が車両１５に設置された場合について説明する。かかる場合には、例えば図５に示すように、中心波長とは異なる波長の光による被写体像が分散方向（上下方向）にずれて結像され、対象者１６の眼の像が上下方向に重複して撮像される。このため、撮像画像上の対象者１６の瞳孔３２の見かけ上の大きさは、中心波長の光による瞳孔３１（図４参照）の大きさよりも大きい。例えば図５では、対象者１６の瞳孔３２は、見かけ上で上下方向３画素に対応する大きさである。

かかる構成によって、例えば撮像光学系２２に分光素子２９が含まれない構成における撮像画像上の瞳孔の大きさ（例えば、１画素）と比較して、撮像画像上の瞳孔３２の見かけ上の大きさが大きくなる（例えば、３画素）ので、瞳孔の検出精度が向上する。また、例えば被写体像を拡大するレンズまたはシリンダーレンズなどが撮像光学系２２に含まれる構成と比較して、画角を広く設定可能であるので、例えば運転席に着座した対象者１６の姿勢が一定程度変化した場合であっても、対象者１６の顔を撮像可能である。

好適には、分光素子２９の分散方向が対象者１６の眼の開閉方向（例えば、上下方向）と略垂直な方向（例えば、左右方向）となるように、撮像装置１２が車両１５に設置される。かかる場合には、例えば図６に示すように、中心波長とは異なる波長の光による被写体像が分散方向（左右方向）にずれて結像され、対象者１６の眼の像が左右方向に重複して撮像される。このため、撮像画像上の対象者１６の瞳孔３３の見かけ上の大きさは、中心波長の光による瞳孔３１（図４参照）の大きさよりも大きい。例えば図６では、対象者１６の瞳孔は、見かけ上で左右方向３画素に対応する大きさである。

かかる構成によって、例えば撮像光学系２２に分光素子２９が含まれない構成における撮像画像上の瞳孔の大きさと比較して、撮像画像上の瞳孔の見かけ上の大きさが大きくなるので、瞳孔の検出精度が向上する。また、例えば被写体像を拡大するレンズまたはシリンダーレンズなどが撮像光学系２２に含まれる構成と比較して、画角を広く設定可能であるので、例えば運転席に着座した対象者１６の姿勢が一定程度変化した場合であっても、対象者１６の顔を撮像可能である。

また、かかる構成において、上述したように対象者１６の眼の像が眼の開閉方向（例えば、上下方向）と略垂直な方向（例えば、左右方向）に重複して撮像されるので、上下方向に延びる線像と比較して、左右方向に延びる線像は鮮明に撮像される。ここで、撮像画像上の対象者１６の眼（および眼の開閉状態）の検出には、例えば眼球と瞼との境界線など、主として左右方向の線像の検出が用いられる手法が採用される。したがって、分光素子２９の分散方向が眼の開閉方向（例えば、上下方向）と略一致する構成と比較して、眼の検出精度が向上する。

以上述べたように、本実施形態に係る監視システム１０の撮像装置１２が備える撮像光学系２２は、光を光軸に垂直な特定方向（分散方向）に分散させる機能を有する。かかる構成によって、例えば撮像光学系が光の分散機能を有さない構成における撮像画像上の瞳孔の大きさと比較して、撮像画像上の瞳孔の見かけ上の大きさが大きくなるので、瞳孔の検出精度が向上する。また、例えば撮像光学系に被写体像を拡大するレンズまたはシリンダーレンズなどが含まれる構成と比較して、画角を広く設定可能であるので、例えば運転席に着座した対象者１６の姿勢が一定程度変化した場合であっても、対象者１６の顔を撮像可能である。

また、分光素子２９の分散方向は、撮像装置１２と対象者１６とが所定の相対位置関係を有する状態で、対象者１６の眼が開閉する方向と略垂直な方向、例えば左右方向に定められる。かかる構成によって、撮像画像上の対象者１６の眼の検出に主として用いられる左右方向に延びる線像が鮮明に撮像されるので、眼の検出精度が向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、撮像装置１２の画像処理部２５が実行する処理の一部を、カメラ制御部２７または撮像装置１２とは異なる画像処理装置が実行する構成であってもよい。

また、上述の実施形態に係る監視システム１０の構成要素の一部は、車両１５に対して着脱可能に設けられてもよく、あるいは車両１５の外部に設けられてもよい。例えば、照明装置１１、撮像装置１２、および警告装置１３などは、携帯電話などの通信機器として実現され、監視システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 監視システム
１１ 照明装置
１２ 撮像装置
１３ 警告装置
１４ ネットワーク
１５ 車両
１６ 対象者
１７ ダッシュボード
１８ 光源
１９ 照明光学系
２０ 照明装置通信部
２１ 照明装置制御部
２２ 撮像光学系
２３ 撮像素子
２４ ＡＦＥ
２５ 画像処理部
２６ 通信部
２７ カメラ制御部
２８ 第１レンズ
２９ 分光素子
３０ 第２レンズ
３１ 瞳孔
３２ 瞳孔
３３ 瞳孔

Claims (5)

1. 撮像光学系と、
   前記撮像光学系を介して対象者の眼を撮像した撮像画像を生成する撮像素子と、
   前記撮像画像上の前記対象者の瞳孔を検出する画像処理部と、を備え、
   前記撮像光学系は、光を光軸に垂直な特定方向に分散させる機能を有する、撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像光学系は、分光素子を含み、
   前記分光素子は、光を前記特定方向に分散させる、撮像装置。
3. 請求項１又は２に記載の撮像装置であって、
   前記特定方向は、前記撮像装置と前記対象者とが所定の相対位置関係を有する状態で、前記対象者の眼が開閉する方向と略垂直な方向に定められる、撮像装置。
4. 請求項１乃至３の何れか一項に記載の撮像装置であって、
   前記対象者の瞳孔が検出されない場合に警告信号を出力する通信部を更に備える、撮像装置。
5. 撮像光学系と、前記撮像光学系を介して対象者の眼を撮像した撮像画像を生成する撮像素子と、前記撮像画像上の前記対象者の瞳孔を検出する画像処理部と、前記対象者の瞳孔が検出されない場合に警告信号を出力する通信部と、を有する撮像装置と、
   前記警告信号を取得すると、前記対象者に対して警告を行う警告装置と、
   を備える、監視システム。

Images