JP2018074447A - 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法 - Google Patents

Abstract

【課題】車両の運転者などの対象者の状態を監視するための撮像装置、撮像システム、対象者監視システム及び制御方法を提供する。【解決手段】撮像システム１３において、撮像装置１２は、撮像素子２３と、制御部２５と、を備える。撮像素子２３は、２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される。制御部２５は、複数のフレームに亘る撮像画像を撮像素子２３から取得し、撮像画像が取得される度に撮像素子２３の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された１以上のラインに基づいて、検出対象に対して照射する照明光を制御するための制御情報を生成する。【選択図】図１

Description

本開示は、車両の運転者などの対象者の状態を監視するための撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法に関する。

従来、車両の運転者などの対象者を赤外帯域の光で照射し、赤外線カメラで撮像した撮像画像を用いて当該対象者の状態を監視し、例えば居眠り運転を防止するための警報を発生する装置が知られている。例えば、特許文献１には、運転者を撮像する撮像装置において、運転者に光を照射する照明手段を車両のステアリングホイールに設置して運転者を撮像する技術が開示されている。

特開２００９−２００７１８号公報

従来、対象者の状態を監視するための技術について改善の余地があった。

本開示は、利便性を向上させた撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法に関する。

本開示の一実施形態に係る撮像装置は、撮像素子と、制御部と、を備える。撮像素子は、２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される。制御部は、複数のフレームに亘る撮像画像を撮像素子から取得し、撮像画像が取得される度に撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された１以上のラインに基づいて、検出対象に対して照射する照明光を制御するための制御情報を生成する。

本開示の一実施形態に係る撮像システムは、１以上の光源と、撮像素子と、制御部と、を備える。１以上の光源は、照明光を発する。撮像素子は、２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される。制御部は、複数のフレームに亘る撮像画像を撮像素子から取得し、撮像画像が取得される度に撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された１以上のラインに基づいて、検出対象に対して照射する照明光を制御するための制御情報を生成する。

本開示の一実施形態に係る対象者監視システムは、１以上の光源と、撮像素子と、制御部と、警告部と、を備える。１以上の光源は、照明光を発する。撮像素子は、２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される。制御部は、複数のフレームに亘る撮像画像を撮像素子から取得し、撮像画像が取得される度に撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された１以上のラインに基づいて、検出対象に対して照射する照明光を制御するための制御情報を生成し、撮像素子から取得する撮像画像に基づいて対象者の状態を判定する。警告部は、対象者が特定状態であると判定された場合に、対象者に対する警告を行う。

本開示の一実施形態に係る撮像装置の制御方法は、２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される撮像素子を備える撮像装置の制御方法である。撮像装置の制御方法は、複数のフレームに亘る撮像画像を撮像素子から取得し、撮像画像が取得される度に撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された１以上のラインに基づいて、検出対象に対して照射する照明光を制御するための制御情報を生成する。

本開示の一実施形態によれば、利便性を向上させた撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法が実現される。

本開示の一実施形態に係る対象者監視システムの概略構成を示すブロック図である。 図１の対象者監視システムを備える車両を示す概略図である。 撮像素子における各ラインの電荷蓄積期間を示す図である。 照明装置の第１動作中に撮像された撮像画像の例を示す図である。 照明装置の第２動作中に撮像された撮像画像の例を示す図である。 図５の撮像画像から切り出された領域の例を示す図である。 撮像装置の動作を説明するフローチャートである。 複数のフレームの電荷蓄積期間を示す図である。

以下、本開示の実施形態について、図面を参照して説明する。

図１を参照して、本開示の一実施形態に係る対象者監視システム１０について説明する。対象者監視システム１０は、照明装置１１および撮像装置１２を含む撮像システム１３と、警告装置１４と、を備える。対象者監視システム１０の各構成要素は、ネットワーク１５を介して情報を送受信可能である。ネットワーク１５は、例えば無線ネットワーク、有線ネットワーク、またはＣＡＮ（Controller Area Network）などを含んでよい。対象者監視システム１０の構成要素の一部または全部が、１つの装置として一体的に構成されてよい。例えば、撮像装置１２に照明装置１１および警告装置１４の少なくとも一方を内蔵させる構成を含む。

照明装置１１は、対象者１６の顔に光を照射可能な任意の位置にある。対象者１６は、例えば車両１７の運転者を含んでよい。照明装置１１は、例えば車両１７内に位置する。例えば図２に示すように、照明装置１１は、車両１７内のダッシュボード上に位置する。照明装置１１は、車両１７内において撮像装置１２の撮像範囲全体に光を照射可能であってよい。以下、照明装置１１から出る光を、照明光ともいう。照明光は、連続発光されてもよく、パルス発光されてもよい。照明光は、指向性を有してもよく、有さなくてもよい。

撮像装置１２は、対象者１６の顔を撮像可能な任意の位置にある。撮像装置１２は、例えば車両１７内に位置する。例えば図２に示すように、撮像装置１２は、車両１７のダッシュボード上に位置する。撮像装置１２の撮像範囲内に、車両１７内で対象者１６の顔が存在し得る領域が含まれてよい。

警告装置１４は、対象者１６に対する警告を行う。警告装置１４は、例えば対象者１６がよそ見運転または居眠り運転をしている蓋然性が高い場合に、当該警告を行ってよい。例えば、音によって警告が行われる場合には、警告装置１４は、車両１７内の任意の位置に配置されてよい。例えば、振動によって警告が行われる場合には、警告装置１４は、振動が対象者１６に伝わるような任意の位置に配置されてよい。例えば、警告装置１４は、車両１７内の運転者用座席、ステアリングホイール、シフトノブ、またはフットレスト等に配置される。

対象者監視システム１０の各構成について説明する。

撮像装置１２について説明する。図１に示すように、撮像装置１２は、撮像光学系２２と、撮像素子２３と、撮像装置通信部２４と、撮像装置制御部２５とを備える。

撮像光学系２２は、被写体像を結像させる。例えば、撮像光学系２２は、絞りおよび複数のレンズを含んでよい。撮像光学系２２は、少なくとも所定の波長帯域の光を通過させる。所定の波長帯域は、照明装置１１から出る光の波長を含んでよい。例えば、照明装置１１から出る光が赤外光を含む場合、所定の波長帯域は、当該赤外光の波長が含まれる帯域であってよい。撮像光学系２２は、例えば当該所定の波長帯域の光を通過させるフィルタをさらに含んでよい。撮像光学系２２は、照明装置１１からの照明光の照射先からの反射光を取込可能となる任意の位置にある。撮像光学系２２は、照明光が照射された対象者１６の顔を含む被写体の像を結像する。

撮像素子２３は、２次元配列された複数の画素を有する。撮像素子２３は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。複数の画素における電荷の蓄積および読み出しが、ライン単位で制御される。例えば撮像装置制御部２５によって、複数の画素における電荷の蓄積および読み出しが制御されてよい。電荷の蓄積および読み出しの制御の詳細については後述する。撮像素子２３は、撮像光学系２２によって結像される被写体像を撮像して撮像画像を生成する。撮像素子２３は、車両１７内の対象者１６を撮像した撮像画像を生成する。

撮像素子２３は、生成された撮像画像に対し、所定の前段画像処理を施してよい。所定の前段画像処理には、例えば相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、自動利得制御（ＡＧＣ：Automatic Gain Control）、およびＡ／Ｄ変換（ＡＤＣ：Analog Digital Conversion）などが含まれてよい。

撮像装置通信部２４は、ネットワーク１５を介して情報の入力および出力を行うインターフェースを含んでよい。以下、情報の入力を、情報の取得または受信ともいう。情報の出力を、情報の送信ともいう。

撮像装置制御部２５は、１以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。照明装置制御部２１は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

撮像装置制御部２５は、撮像装置１２全体の動作を制御する。

撮像装置制御部２５は、撮像素子２３の２次元配列された複数の画素における電荷の蓄積および読み出しを、ライン単位で制御する。例えば図３に示すように、電荷の蓄積が行われる期間の開始タイミングおよび終了タイミングが、ライン毎に異なる。以下、電荷の蓄積が行われる期間を、電荷蓄積期間ともいう。電荷蓄積期間が終了すると、対応するラインの電荷の読み出しが行われる。１つのフレームにおいて、各ラインの電荷蓄積期間の長さは等しくてよい。各フレームにおける、各ラインの電荷蓄積期間の開始タイミングおよび終了タイミングは、図３に示す例に限られない。

撮像装置制御部２５は、任意のフレームレートで、撮像素子２３に撮像画像を生成させてよい。撮像素子２３が有するラインの数をＮ個とすると、１番目からＮ番目までの各ラインについて１回ずつ読み出された電荷に基づいて、１つのフレームの撮像画像が生成される。したがって、各ラインにおいて電荷の読み出しが実行されるタイミングは、フレームレートに応じて定まる。例えば、フレームレートが６０ｆｐｓである場合、１番目からＮ番目までの各ラインにおいて、電荷の読み出しが１秒あたり６０回行われる。以下、あるフレームの撮像画像を、単にフレームともいう。

例えば図８に示すように、各ラインにおいて、電荷の読み出しが終了してから所定の時間ｄが経過した後に、次の電荷蓄積期間が開始されてよい。時間ｄは、撮像装置制御部２５が実行する露光制御において動的に決定されてよい。時間ｄが長くなるほど、電荷蓄積期間の長さが短くなる。撮像装置制御部２５は、時間ｄをゼロに定めてよい。かかる場合、各ラインにおいて、電荷の読み出しが終了した直後に、次のフレームの電荷蓄積期間が開始される。

上述のように複数の画素における電荷の蓄積および読み出しがライン単位で制御される方式には、いわゆるローリングシャッタ方式が含まれてよい。

撮像装置制御部２５は、照明装置１１による照明光を制御するための第１制御情報を生成する。第１制御情報には、照明装置１１に照明光を発光させる指示が含まれてよい。撮像装置制御部２５は、第１制御情報を照明装置１１へ送信する。後述するように、第１制御情報を受信した照明装置１１は、照明光を照射する。例えば図８に示すように、フレームＰにおける１番目のラインの電荷蓄積期間の開始タイミングからＮ番目のラインの電荷蓄積期間の終了タイミングまでの期間Ａに亘って、照明光が照射される。かかる場合、フレームＰの撮像画像は、例えば図４に示すように、全てのラインで略均一な明るさとなる。図４は、各ラインが対象者１６に対して略左右方向に並ぶように撮像装置１２が車両１７内に配置された場合の撮像画像の例を示す。あるいは、各ラインが対象者１６に対して略上下方向に並ぶように、撮像装置１２が車両１７内に配置されてよい。

撮像装置制御部２５は、生成された撮像画像を撮像素子２３から取得する。撮像装置制御部２５は、撮像画像に対して、所定の後段画像処理を施してよい。後段画像処理には、例えば露出調整処理および切出処理などが含まれてよい。切出処理については後述する。

撮像装置制御部２５は、撮像画像を用いて被写体検出処理を実行する。被写体検出処理によって、所定の検出対象が検出され得る。検出対象には、対象者１６の眼または瞳孔が含まれる。検出対象には、例えば対象者１６の顔、鼻、および口などがさらに含まれてよい。被写体検出処理には、任意の手法が採用可能である。例えば、パターンマッチングを用いる手法、または撮像画像上の特徴点を抽出する手法が採用可能である。撮像装置制御部２５は、被写体検出処理を任意の数のフレーム毎に実行してよい。例えば、撮像装置制御部２５は、被写体検出処理を毎フレーム実行してよく、あるいは複数のフレーム毎に実行してよい。

被写体検出処理によって検出対象が検出された場合、撮像装置制御部２５は、検出された検出対象が少なくとも含まれる撮像画像上の領域に対応する、撮像素子２３の１以上のラインを識別する。上述したように、検出対象には、対象者１６の眼または瞳孔が含まれる。撮像装置制御部２５は、対象者１６の眼または瞳孔が少なくとも含まれる撮像画像上の領域に対応する、撮像素子２３の１以上のラインを識別する。対象者１６の顔が検出対象にさらに含まれる場合、撮像装置制御部２５は、検出された対象者１６の顔と、眼もしくは瞳孔と、が含まれる撮像画像上の領域に対応するラインを識別する。例えば、撮像装置制御部２５は、図４に示すフレームＰの撮像画像を用いて、検出対象である対象者１６の顔と、眼もしくは瞳孔と、を検出した場合、検出対象が含まれるｎ番目からｎ＋ｍ番目のラインを識別してよい。

撮像装置制御部２５は、識別された１以上のラインに基づいて、照明装置１１による照明光を制御するための第２制御情報を生成する。第２制御情報には、識別された１以上のラインに基づいて決定される特定期間を示す情報が含まれてよい。

特定期間および第２制御情報について具体的に説明する。例えば、撮像装置制御部２５は、上述したフレームＰの撮像画像を用いてｎ番目からｎ＋ｍ番目のラインを識別する。撮像装置制御部２５は、被写体検出処理に用いられた撮像画像のフレームよりも後のフレームにおける、第１タイミングから第２タイミングまでの期間の少なくとも一部を、特定期間に決定してよい。第１タイミングは、識別された１以上のラインのうち、電荷蓄積期間の開始タイミングが最も遅いラインの当該開始タイミングである。第２タイミングは、識別された１以上のラインのうち、電荷蓄積期間の終了タイミングが最も早いラインの当該終了タイミングである。例えば図８に示す例では、撮像装置制御部２５は、フレームＰよりも後の各フレームにおける、ｎ＋ｍ番目のラインの電荷蓄積期間の開始タイミングＳからｎ番目のラインの電荷蓄積期間の終了タイミングＥまでの期間Ｂのうち少なくとも一部を、特定期間に決定する。

撮像装置制御部２５は、決定された特定期間を示す情報を含む第２制御情報を生成する。第２制御情報は、特定期間内において照明光を発光させる指示を含んでよい。第２制御情報は、特定期間外において照明光の発光を停止させる指示を含んでよい。特定期間内において照明光が照射されることによって、少なくともｎ番目のラインからｎ＋ｍ番目のラインに対応する撮像画像上の領域が、略均一な明るさとなる。第２制御情報は、フレームＰよりも後の各フレームにおける特定期間内において発光させる照明光の明るさを制御する情報を含んでよい。例えば、撮像装置制御部２５は、ｎ番目のラインからｎ＋ｍ番目のラインに対応する撮像画像上の領域が被写体検出処理による検出対象の検出に十分な明るさとなるように、照明光の明るさを決定してよい。照明光の明るさを制御する情報には、例えば照明装置１１の駆動信号のパルス幅と当該駆動信号の周波数との積であるデューティー比、照明装置１１の駆動電流値、および発光させる光源１８の数などのパラメータが含まれてよい。

撮像装置制御部２５は、上述のように生成された第２制御情報を、照明装置１１へ送信する。第２制御情報を受信した照明装置１１によって、例えば図８に示すフレームＰより後のフレームＱ、Ｒ、Ｓそれぞれにおける特定期間内において照明光が照射される。当該特定期間外において照明光の発光が停止される。例えば、フレームＲの撮像画像において、図５に示すように、少なくともｎ番目のラインからｎ＋ｍ番目のラインに対応する撮像画像上の領域が、略均一に明るくなる。ｎ番目のラインからｎ＋ｍ番目のラインに対応する撮像画像上の領域は、フレームＰにおいて検出対象である対象者１６の顔が含まれていたため、フレームＰより後のフレームにおいても対象者１６の顔が含まれている蓋然性が高い領域である。１番目のラインからｎ−１番目のラインまでのうち、一部のラインに対応する撮像画像上の領域が暗くなってよい。ｎ＋ｍ＋１番目のラインからＮ番目のラインまでのうち、一部のラインに対応する撮像画像上の領域が暗くなってよい。

撮像装置制御部２５は、フレームＰよりも後のフレームの撮像画像を用いて、上述した後段画像処理および被写体検出処理を実行してよい。撮像装置制御部２５は、後段画像処理に含まれる切出処理によって、例えば図６に示すように、ｎ番目のラインからｎ＋ｍ番目のラインに対応する撮像画像上の領域を切り出してよい。撮像装置制御部２５は、切り出された領域を用いて被写体検出処理を実行してよい。あるいは、撮像装置制御部２５は、切出処理を実行することなく、フレームＰよりも後のフレームの撮像画像上の、ｎ番目のラインからｎ＋ｍ番目のラインに対応する領域のみを用いて、被写体検出処理を実行してよい。

例えば、対象者１６の姿勢が変化すると、上述のように検出された１以上のラインに対応する撮像画像上の領域内に、対象者１６の眼または瞳孔が含まれなくなる場合がある。かかる場合、撮像装置制御部２５は、撮像画像上の対象者１６の眼または瞳孔を、連続する複数のフレームに亘って検出できない場合がある。撮像装置制御部２５は、連続する第１基準数のフレームに亘って撮像画像上の対象者１６の眼または瞳孔が検出されない場合、上述した第１制御情報を生成し、照明装置１１へ送信してよい。第１基準数は、任意に定められてよい。

例えば、対象者１６がよそ見運転または居眠り運転をしていると、撮像装置制御部２５は、撮像画像上の対象者１６の眼または瞳孔を、連続する複数のフレームに亘って検出できない場合がある。対象者１６がよそ見運転または居眠り運転をしている状態を、特定状態ともいう。撮像装置制御部２５は、連続する第２基準数のフレームに亘って撮像画像上の対象者１６の眼または瞳孔が検出されない場合、対象者１６が特定状態であると判定してよい。撮像装置制御部２５は、警告装置１４に警告を行わせるための警告情報を生成し、警告装置１４へ送信してよい。第２基準数は、第１基準数よりも大きい任意の値であってよい。警告情報を受信した警告装置１４の動作については後述する。

図１に示すように、照明装置１１は、１以上の光源１８と、照明光学系１９と、照明装置通信部２０と、照明装置制御部２１と、を備える。

光源１８は、任意の波長帯域の光を発する。例えば、光源１８は、赤外帯域の光を発してよい。光源１８は、指向性を有してよい。あるいは、光源１８は、指向性を有さなくてよい。一実施形態において、光源１８は、ＬＥＤ（Light Emitting Diode）であってよい。

照明光学系１９は、光源１８から発せられ照明光学系１９を透過した照明光を照射する。例えば、照明光学系１９は、画角が調整されたレンズを含んでよい。一実施形態において、照明光は、撮像装置１２の撮像範囲全体に照射されてよい。

照明装置通信部２０は、ネットワーク１５を介して情報の入力および出力を行うインターフェースである。

照明装置制御部２１は、１以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ＡＳＩＣが含まれてよい。プロセッサには、ＰＬＤが含まれてよい。ＰＬＤには、ＦＰＧＡが含まれてよい。照明装置制御部２１は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。

照明装置制御部２１は、照明装置１１全体の動作を制御する。例えば、照明装置制御部２１は、光源１８の動作制御を行う。以下、照明装置制御部２１が実行する、光源１８の第１動作制御および第２動作制御について具体的に説明する。

照明装置制御部２１は、撮像装置１２から第１制御情報を受信すると、第１動作を開始する。第１動作において、照明装置制御部２１は、撮像装置１２から第２制御情報を受信するまで、光源１８を発光させる。照明装置制御部２１は、光源１８を連続発光またはパルス発光させてよい。光源１８から出る光は、撮像装置１２が被写体検出処理によって撮像画像上の検出対象を検出するのに十分な明るさであってよい。

照明装置制御部２１は、撮像装置１２から第２制御情報を受信すると、上述した第１動作を終了して第２動作を開始する。第２動作において、照明装置制御部２１は、撮像装置１２から第１制御信号を受信するまで、第２制御信号に示される特定期間内において光源１８を発光させる。照明装置制御部２１は、撮像装置１２から第１制御信号を受信するまで、当該特定期間外において光源１８の発光を停止させる。照明装置制御部２１の第２動作時には、各フレームの特定期間においてのみ照明光が照射される。このため、撮像装置１２による被写体検出処理の実行に十分な明るさの照明光が常時照射される第１動作時と比較して、光源１８の消費電力が低減される。各ラインにおいて電荷の読み出しが終了してから次の電荷蓄積期間が開始されるまでの時間ｄが長いほど、第１動作時と比較して第２動作時における光源１８の消費電力が大きく低減される。

図１に示す警告装置１４は、例えばスピーカおよびバイブレータなどを備えてよい。警告装置１４は、撮像装置１２から警告情報を取得すると、対象者１６に対して警告を行う。警告は、例えば音および振動の少なくとも一方によって行われてよい。以下、警告装置１４を、警告部ともいう。

図７のフローチャートを参照して、撮像装置１２の動作について説明する。本動作は、例えば車両１７が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行されてよい。

ステップＳ１００：撮像装置制御部２５は、第１制御情報を生成して照明装置１１へ送信する。第１制御情報を受信した照明装置１１は、第１動作を開始する。

ステップＳ１０１：撮像装置制御部２５は、撮像素子２３の動作を制御して、被写体を撮像した撮像画像を生成させる。撮像素子２３は、生成した撮像画像に対して所定の前段画像処理を施してよい。

ステップＳ１０２：撮像装置制御部２５は、前段画像処理が施された撮像画像に対して、所定の後段画像処理を施す。

ステップＳ１０３：続いて撮像装置制御部２５は、後段画像処理が施された撮像画像を用いて被写体検出処理を実行し、検出対象を検出する。検出対象には、対象者１６の眼または瞳孔が含まれる。検出対象が検出された場合には（ステップＳ１０３−Ｙｅｓ）、ステップＳ１０４に進む。検出対象が検出できなかった場合には（ステップＳ１０３−Ｎｏ）、ステップＳ１０６に進む。

ステップＳ１０４：ステップＳ１０３において検出対象が検出された場合には（ステップＳ１０３−Ｙｅｓ）、撮像装置制御部２５は、検出された検出対象が少なくとも含まれる撮像画像上の領域に対応する、撮像素子２３の１以上のラインを識別する。

ステップＳ１０５：撮像装置制御部２５は、識別された１以上のラインに基づいて、第２制御情報を生成し、照明装置１１へ出力する。第２制御情報を受信した照明装置１１は、第２動作を開始する。その後、ステップＳ１０１に戻る。

ステップＳ１０６：ステップＳ１０３において検出対象が検出できなかった場合には（ステップＳ１０３−Ｎｏ）、撮像装置制御部２５は、検出対象が検出できなかったフレームが第２基準数だけ連続したか否かを判定する。検出対象が検出できなかったフレームが第２基準数だけ連続したと判定された場合には（ステップＳ１０６−Ｙｅｓ）、ステップＳ１０７に進む。検出対象が検出できなかったフレームが第２基準数だけ連続していないと判定された場合には（ステップＳ１０６−Ｎｏ）、ステップＳ１０８に進む。

ステップＳ１０７：ステップＳ１０６において検出対象が検出できなかったフレームが第２基準数だけ連続したと判定された場合には（ステップＳ１０６−Ｙｅｓ）、撮像装置制御部２５は、警告情報を生成して警告装置１４へ出力する。その後、ステップＳ１０１に戻る。

ステップＳ１０８：ステップＳ１０６において検出対象が検出できなかったフレームが第２基準数だけ連続していないと判定された場合には（ステップＳ１０６−Ｎｏ）、撮像装置制御部２５は、検出対象が検出できなかったフレームが第１基準数だけ連続したか否かを判定する。上述したように、第１基準数は、第２基準数よりも小さい値である。検出対象が検出できなかったフレームが第１基準数だけ連続したと判定された場合には（ステップＳ１０８−Ｙｅｓ）、ステップＳ１００に戻る。検出対象が検出できなかったフレームが第１基準数だけ連続していないと判定された場合には（ステップＳ１０８−Ｎｏ）、ステップＳ１０１に戻る。

以上述べたように、本実施形態に係る撮像装置１２は、２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される撮像素子２３を備える。撮像装置１２は、撮像素子２３の複数のラインのうちから１以上のラインを識別し、識別された１以上のラインに基づいて、照明光を制御するための第２制御情報を生成する撮像装置制御部２５を備える。かかる構成によって、撮像素子２３の複数のラインのうち、所望のラインに応じた照明光の制御が可能となる。このため、光源１８の消費電力が低減され得る。撮像装置１２の利便性が向上する。

撮像装置制御部２５は、撮像画像上の検出対象を検出し、検出された検出対象が含まれる撮像画像上の領域に対応する撮像素子２３の１以上のラインに基づいて、第１制御情報を生成してよい。かかる構成によって、撮像画像上で検出対象が含まれる蓋然性が高い領域に対応するラインに応じた照明光の制御が可能となる。撮像装置１２の利便性がさらに向上する。

第２制御情報は、識別された１以上のラインに基づいて決定される特定期間外において照明光の発光を停止させる指示を含んでよい。かかる構成によって、特定期間外において照明光の照射が停止される。このため、例えば照明光が常時照射される構成と比較して、光源１８の消費電力が低減される。撮像装置１２の利便性がさらに向上する。

撮像装置制御部２５は、被写体検出処理に用いられた撮像画像のフレームよりも後のフレームにおける第１タイミングから第２タイミングまでの期間のうち少なくとも一部を、特定期間に決定してよい。第１タイミングは、識別された１以上のラインのうち、電荷の蓄積の開始タイミングが最も遅いラインの当該開始タイミングである。第２タイミングは、識別された１以上のラインのうち、電荷の蓄積の終了タイミングが最も早いラインの当該終了タイミングである。かかる構成によって、識別された１以上のラインそれぞれの電荷蓄積期間に共通して含まれる期間が、特定期間に決定される。特定期間外において照明光の発光が停止されるので、撮像画像上の領域のうち、少なくとも識別された１以上のラインに対応する撮像画像上の領域が、略均一な明るさとなる。撮像装置１２の利便性がさらに向上する。

撮像装置制御部２５は、連続する第１基準数のフレームに亘って撮像画像上の検出対象が検出されない場合に、第１制御情報を生成してよい。第１制御情報によって、特定期間内および特定期間外に照明光が発光される。換言すると、第１制御情報によって、照明光が常時発光される。かかる構成によって、１フレームの全期間に亘って照明光が照射されるため、撮像画像上の全領域が略均一な明るさになる。このため、検出対象の撮像画像上の位置が変化した場合であっても、検出対象が検出される蓋然性が向上する。撮像装置１２の利便性がさらに向上する。

撮像装置１２は、第２制御情報を生成した後に撮像素子２３から取得した撮像画像上の、識別された１以上のラインに対応する領域を用いて被写体検出処理を実行する。上述したように、識別された１以上のラインに対応する撮像画像上の領域は、検出対象が含まれている蓋然性が高い領域である。このため、当該領域を用いて被写体検出処理が実行される上述の構成によれば、例えば撮像画像上の全領域を用いて被写体検出処理が実行される構成と比較して、被写体検出処理の処理負担が軽減される。撮像装置１２の利便性がさらに向上する。

撮像装置１２は、撮像画像上の対象者１６の検出結果に基づいて、対象者１６に対する警告を行うための警告情報を生成する。かかる構成によって、例えば対象者１６がよそ見運転または居眠り運転をしている蓋然性が高い場合に警告を行うことができ、対象者１６による車両１７の運転の安全性が向上する。撮像装置１２の利便性がさらに向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

上述の実施形態に係る対象者監視システム１０の構成要素の一部は、車両１７内に一時的に配置されてもよい。例えば、照明装置１１、撮像装置１２、および警告装置１４などは、携帯電話などの通信機器として実現され、対象者監視システム１０の他の構成要素と有線または無線によって接続されてもよい。

上述した実施形態において、対象者監視システム１０を車両１７に搭載する構成について説明した。しかしながら、車両１７に限られず、多様な移動体に対象者監視システム１０が搭載されてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

上述した実施形態において、撮像装置制御部２５が、撮像画像上の、識別された１以上のラインに対応する領域のみを用いて、被写体検出処理を実行する構成について説明した。しかしながら、撮像装置制御部２５は、識別された１以上のラインに対応する領域を少なくとも含む、撮像画像上の一部または全部の領域を用いて、被写体検出処理を実行してよい。具体的には、撮像装置制御部２５は、照明光が照射された検出対象の撮像画像を、複数のフレームに亘って撮像素子２３から取得する。撮像装置制御部２５は、撮像画像が取得される度に、被写体検出処理によって当該撮像画像上の検出対象を検出する。撮像装置制御部２５は、撮像画像が取得される度に、当該撮像画像上で検出された検出対象が含まれる撮像画像上の領域に対応する１以上のラインを識別する。かかる構成によれば、例えば対象者の姿勢の変化に応じて、識別される１以上のラインが動的に変化し得る。

１０ 対象者監視システム
１１ 照明装置
１２ 撮像装置
１３ 撮像システム
１４ 警告装置
１５ ネットワーク
１６ 対象者
１７ 車両
１８ 光源
１９ 照明光学系
２０ 照明装置通信部
２１ 照明装置制御部
２２ 撮像光学系
２３ 撮像素子
２４ 撮像装置通信部
２５ 撮像装置制御部

Claims (9)

1. ２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される撮像素子と、
   複数のフレームに亘る撮像画像を前記撮像素子から取得し、前記撮像画像が取得される度に前記撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された前記１以上のラインに基づいて、前記検出対象に対して照射する照明光を制御するための制御情報を生成する制御部と、
   を備える、撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記制御部は、前記フレームが取得される度に、前記フレーム上の前記検出対象を検出し、
   前記１以上のラインは、前記フレーム上で前記検出対象が含まれる前記フレーム上の領域に対応するラインである、撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記制御情報は、前記１以上のラインに基づいて決定される特定期間外において前記照明光の発光を停止させる指示を含む、撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記制御部は、前記検出対象が検出された前記フレームより後のフレームにおける第１タイミングから第２タイミングまでの期間のうち少なくとも一部を、前記特定期間に決定し、
   前記第１タイミングは、前記１以上のラインのうち、電荷の蓄積の開始タイミングが最も遅いラインの前記開始タイミングであり、
   前記第２タイミングは、前記１以上のラインのうち電荷の蓄積の終了タイミングが最も早いラインの前記終了タイミングである、撮像装置。
5. 請求項３または４に記載の撮像装置であって、
   前記制御部は、前記制御情報を生成した後に連続する基準数のフレームに亘って撮像画像上に前記検出対象が検出されない場合に、前記特定期間内および前記特定期間外に前記照明光を発光させるための他の制御情報を生成する、撮像装置。
6. 請求項２乃至５の何れか一項に記載の撮像装置であって、
   前記制御部は、前記撮像画像上の前記検出対象の検出結果に基づいて、警告を行うための警告情報を生成する、撮像装置。
7. 照明光を発する１以上の光源と、
   ２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される撮像素子と、
   複数のフレームに亘る撮像画像を前記撮像素子から取得し、前記撮像画像が取得される度に前記撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された前記１以上のラインに基づいて、前記検出対象に対して照射する前記照明光を制御するための制御情報を生成する制御部と、
   を備える、撮像システム。
8. 照明光を発する１以上の光源と、
   ２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される撮像素子と、
   複数のフレームに亘る撮像画像を前記撮像素子から取得し、前記撮像画像が取得される度に前記撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、識別された前記１以上のラインに基づいて、前記検出対象に対して照射する前記照明光を制御するための制御情報を生成し、前記撮像素子から取得する撮像画像に基づいて対象者の状態を判定する制御部と、
   前記対象者が特定状態であると判定された場合に、前記対象者に対する警告を行う警告部と、
   を備える、対象者監視システム。
9. ２次元配列された複数の画素における電荷の蓄積および読み出しがライン単位で制御される撮像素子を備える撮像装置の制御方法であって、
   複数のフレームに亘る撮像画像を前記撮像素子から取得し、
   前記撮像画像が取得される度に前記撮像素子の複数のラインのうちから検出対象を含む１以上のラインを識別し、
   識別された前記１以上のラインに基づいて、前記検出対象に対して照射する照明光を制御するための制御情報を生成する、撮像装置の制御方法。

Images