JP2018185766A - 制御装置、方法、およびプログラム - Google Patents

Abstract

【課題】ユーザの視線を検出する技術の利便性を向上させる制御装置、方法、およびプログラムを提供する。【解決手段】制御装置３０は、制御部３３を備える。制御部３３は、第１撮像装置１０によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出し、第２撮像装置２０によって撮像された所定の被写体を含む第２画像に基づいて、被写体の少なくとも一部を含む第２画像上の被写体領域６０を特定し、視線方向に応じた第２画像上の視点位置６１と被写体領域６０とに基づいて、ユーザに対する警告を実行させる。【選択図】図１

Description

本発明は、ユーザに対する警告を実行させる制御装置、方法、およびプログラムに関する。

従来、例えば車両の運転者等のユーザの視線を検出する技術が知られている。例えば特許文献１には、車両の運転者の顔を撮影した画像に基づいて運転者の視線を検出する技術が開示されている。

特開２００５−２９６３８２号公報

従来、ユーザの視線を検出する技術の利便性の向上が望まれている。

本開示は、ユーザの視線を検出する技術の利便性を向上させる制御装置、方法、およびプログラムに関する。

本開示の一実施形態に係る制御装置は、制御部を備える。制御部は、第１撮像装置によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出し、第２撮像装置によって撮像された所定の被写体を含む第２画像に基づいて、前記被写体の少なくとも一部を含む前記第２画像上の被写体領域を特定し、前記視線方向に応じた前記第２画像上の視点位置と前記被写体領域とに基づいて、前記ユーザに対する警告を実行させる。

開示の一実施形態に係る方法は、制御装置が実行する方法であって、第１撮像装置によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出し、第２撮像装置によって撮像された所定の被写体を含む第２画像に基づいて、前記被写体の少なくとも一部を含む前記第２画像上の被写体領域を特定し、前記視線方向に応じた前記第２画像上の視点位置と前記被写体領域とに基づいて、前記ユーザに対する警告を実行させる。

開示の一実施形態に係るプログラムは、制御装置に、第１撮像装置によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出するステップと、第２撮像装置によって撮像された所定の被写体を含む第２画像に基づいて、前記被写体の少なくとも一部を含む前記第２画像上の被写体領域を特定するステップと、前記視線方向に応じた前記第２画像上の視点位置と前記被写体領域とに基づいて、前記ユーザに対する警告を実行させるステップと、を実行させる。

本開示の一実施形態に係る制御装置、方法、およびプログラムによれば、ユーザの視線を検出する技術の利便性が向上する。

本開示の一実施形態に係る監視システムの概略構成を示すブロック図である。 移動体における第１撮像装置および第２撮像装置の配置の例を示す図である。 ワールド座標系、第１カメラ座標系、および第２カメラ座標系を示す図である。 第２画像上の被写体領域および視点位置の例を示す図である。 制御装置の第１動作を示すフローチャートである。 制御装置の第２動作を示すフローチャートである。

以下、本開示の実施形態について、図面を参照して説明する。

図１を参照して、本開示の一実施形態に係る監視システム１について説明する。

監視システム１は、例えば移動体に備えられる。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでもよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでもよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでもよい。産業車両は、例えば農業および建設向けの産業車両等を含んでもよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでもよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでもよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでもよい。車両は、人力で走行するものを含んでもよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでもよい。複数の分類に同じ車両が含まれてもよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでもよい。航空機は、例えば固定翼機および回転翼機等を含んでもよい。

監視システム１は、第１撮像装置１０と、第２撮像装置２０と、制御装置３０と、警告装置４０と、を備える。第１撮像装置１０、第２撮像装置２０、制御装置３０、および警告装置４０は、通信経路５０を介して通信可能に接続される。通信経路５０は、例えば無線、有線、およびＣＡＮ（Controller Area Network）等、１つ以上の任意の通信経路を含んでもよい。

図２を参照して、移動体５１における第１撮像装置１０および第２撮像装置２０の配置について説明する。第１撮像装置１０は、例えば移動体５１の運転者であるユーザの顔を撮像可能となるように、移動体５１の任意の位置に配置される。例えば、第１撮像装置１０は、撮像方向が運転席を向くように配置されてもよい。第２撮像装置２０は、移動体５１の外部の被写体を撮像可能となるように、移動体５１の任意の位置に配置される。例えば、第２撮像装置２０は、撮像方向が移動体５１の前方を向くように配置されてもよい。

監視システム１の概略について説明する。監視システム１は、第１撮像装置１０による画像に基づいて、ユーザの視線を検出する。監視システム１は、第２撮像装置２０による画像上の所定の被写体に、ユーザの視線が向けられているか否かを判定する。監視システム１は、ユーザの視線が所定の被写体に向けられていないとの判定に基づいて、ユーザに対する警告を行う。かかる構成によれば、例えば、移動体５１の運転中に注視すべき対象にユーザが視線を向けていない場合等に警告が行われ得る。したがって、例えばわき見運転等の危険運転の発生が低減され得る。監視システム１の詳細については後述する。

図１を参照して、監視システム１の各構成要素について、詳細に説明する。

第１撮像装置１０は、撮像光学系１１と、撮像素子１２と、通信部１３と、制御部１４と、を備える。

撮像光学系１１は、被写体像を結像させる。例えば、撮像光学系１１は、絞りおよび１つ以上のレンズを含んでもよい。

撮像素子１２は、２次元配列された複数の画素を有する。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでもよい。撮像素子１２は、撮像光学系１１によって結像される被写体像を撮像して、撮像画像を生成可能である。撮像素子１２は、例えば任意のフレームレートで、被写体を連続的に撮像可能である。以下、連続的な撮像を、連続撮像ともいう。本実施形態では、撮像素子１２は、例えば運転席に座ったユーザの顔を撮像して撮像画像を生成し得る。

撮像光学系１１および撮像素子１２の少なくとも一方は、所定の波長帯域の光を通過させるフィルタを備えてもよい。所定の波長帯域は、例えば赤外帯域であってもよい。かかる場合、第１撮像装置１０は、赤外線カメラとして機能する。

通信部１３は、外部装置と通信可能な通信インタフェースを含む。通信部１３は、通信経路５０を介して情報の送受信が可能であってもよい。外部装置は、例えば制御装置３０を含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでもよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでもよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでもよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでもよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでもよい。無線通信機は、少なくとも１つのアンテナを含む。

制御部１４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでもよい。専用のプロセッサは、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでもよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでもよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでもよい。制御部１４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。

制御部１４は、第１撮像装置１０全体の動作を制御する。例えば、制御部１４は、任意のフレームレートで撮像素子１２に連続撮像を実行させてもよい。制御部１４は、自装置における撮像タイミングを、第２撮像装置２０の撮像タイミングと同期させてもよい。制御部１４は、撮像素子１２によって生成された撮像画像に対して、任意の画像処理を施してもよい。当該画像処理は、例えばゲイン調整処理および輝度調整処理等を含んでもよい。制御部１４は、生成された撮像画像を制御装置３０へ送信する。

第２撮像装置２０は、撮像光学系２１と、撮像素子２２と、通信部２３と、制御部２４と、を備える。

撮像光学系２１は、被写体像を結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでもよい。撮像光学系２１は、例えば比較的画角の広いレンズを有してもよい。かかる場合、第２撮像装置２０は、広角撮影が可能である。

撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ撮像素子またはＣＭＯＳ撮像素子を含んでもよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。撮像素子２２は、例えば任意のフレームレートで連続撮影が可能である。本実施形態では、撮像素子２２は、例えば移動体５１の前方に位置する被写体を撮像して撮像画像を生成し得る。

通信部２３は、外部装置と通信可能な通信インタフェースを含む。通信部２３は、通信経路５０を介して情報の送受信が可能であってもよい。外部装置は、例えば制御装置３０を含む。

制御部２４は、１つ以上のプロセッサを含む。制御部２４は、第２撮像装置２０全体の動作を制御する。例えば、制御部２４は、任意のフレームレートで撮像素子２２に連続撮像を実行させてもよい。制御部２４は、自装置における撮像タイミングを、第１撮像装置１０の撮像タイミングと同期させてもよい。制御部２４は、撮像素子２２によって生成された撮像画像に対して、任意の画像処理を施してもよい。当該画像処理は、例えばホワイトバランス処理、色調整処理、ゲイン調整処理、および輝度調整処理等を含んでもよい。制御部２４は、生成された撮像画像を制御装置３０へ送信する。

制御装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。

通信部３１は、外部装置と通信可能な通信インタフェースを含む。通信部３１は、通信経路５０を介して情報の送受信が可能であってもよい。外部装置は、例えば第１撮像装置１０、第２撮像装置２０、および警告装置４０を含む。

記憶部３２は、一次記憶装置および二次記憶装置を含んでもよい。記憶部３２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてもよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでもよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでもよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray（登録商標） Disc）等を含んでもよい。

記憶部３２は、制御装置３０の動作に用いられる種々の情報およびプログラムを記憶する。例えば、記憶部３２は、第１撮像装置１０に関する情報および第２撮像装置２０に関する情報を予め記憶する。当該情報は、例えばカメラの内部パラメータおよび外部パラメータを含んでもよい。

制御部３３は、１つ以上のプロセッサを含む。制御部３３は、制御装置３０全体の動作を制御する。

例えば、制御部３３は、第１撮像装置１０から撮像画像を取得する。制御部３３は、第１撮像装置１０による撮像画像に基づいて、ユーザの顔を検出する。本開示において、ユーザの「顔」は、例えば顔の輪郭および大きさ、眼、瞳孔、口、ならびに鼻等、任意の特徴点を含んでもよい。ユーザの顔の検出には、任意のアルゴリズムが採用可能である。

制御部３３は、当該撮像画像に基づいて、ユーザの顔の位置を検出する。例えば、制御部３３は、ユーザの眼の位置を、ユーザの顔の位置として検出してもよい。ユーザの顔の位置は、例えばワールド座標系で示されてもよい。本実施形態において、ワールド座標系は、移動体５１に対して定められた座標系である。ユーザの顔の位置の検出には、任意のアルゴリズムが採用可能である。例えば、制御部３３は、撮像画像上のユーザの顔の位置および大きさ等に基づいて、ユーザの顔の位置を検出してもよい。

制御部３３は、検出されたユーザの顔の位置および記憶部３２に記憶された第１撮像装置１０に関する情報に基づいて、第１画像を生成する。第１画像は、ユーザの顔を移動体５１の前方から眺めた様子を示す画像であってもよい。例えば、制御部３３は、第１撮像装置１０から取得された撮像画像に対し視点変換を行うことによって、第１画像を生成してもよい。第１画像を生成する制御部３３の動作の詳細については後述する。

制御部３３は、第１画像に基づいてユーザの視線方向を検出する。視線方向は、例えばユーザの顔の位置を始点とする方向ベクトルで示されてもよい。視線方向の検出には、任意のアルゴリズムが採用可能である。例えば、制御部３３は、角膜反射法を用いてユーザの視線方向を検出してもよい。

制御部３３は、第２撮像装置から撮像画像を取得する。制御部３３は、検出されたユーザの顔の位置および記憶部３２に記憶された第２撮像装置２０に関する情報に基づいて、第２画像を生成する。第２画像は、ユーザの視界の少なくとも一部に対応する画像であってもよい。具体的には、第２画像は、ユーザの視線が移動体５１の前方に向けられたときの視界に含まれ得る、移動体５１の前方の風景の画像であってもよい。例えば、制御部３３は、第２撮像装置２０から取得された撮像画像に対し視点変換を行うことによって、第２画像を生成してもよい。第２画像を生成する制御部３３の動作の詳細については後述する。

制御部３３は、第２画像に基づいて、所定の被写体の少なくとも一部を含む第２画像上の被写体領域を特定する。所定の被写体は、例えば移動体５１の運転中に、運転者が注視すべき対象を含んでもよい。具体的には、所定の被写体は、人間、移動体、道路、信号機、および道路標識のうち、少なくとも１つを含んでもよい。被写体領域の特定には、任意のアルゴリズムが採用可能である。例えば、制御部３３は、第２画像に対して、例えばパターンマッチングによる被写体認識を実行してもよい。例えば、制御部３３は、第２画像が区分されたブロック単位で被写体領域を特定してもよい。制御部３３は、第２画像のピクセル単位で被写体領域を特定してもよい。被写体領域は、第２画像上の対応する被写体の一部または全部を包含してもよい。被写体領域は、第２画像上の対応する被写体の輪郭から外側にはみ出てもよい。

制御部３３は、検出されたユーザの視線方向に応じた第２画像上の視点位置を特定する。視点位置の詳細については後述する。制御部３３は、第２画像上の視点位置と被写体領域とに基づいて、ユーザに対する警告を警告装置４０に実行させる。

具体的には、制御部３３は、第２画像において特定された視点位置が被写体領域に含まれるか否かを判定する。視点位置が被写体領域に含まれると判定された場合、制御部３３は、被写体領域に対応する被写体にユーザの視線が向けられていると判定してもよい。一方、視点位置が被写体領域に含まれないと判定された場合、制御部３３は、被写体領域に対応する被写体にユーザの視線が向けられていないと判定してもよい。以下、被写体領域に対応する被写体にユーザの視線が向けられていないと判定された状態を、特定状態ともいう。制御部３３は、特定状態が所定の基準時間継続したか否かを判定する。基準時間の単位は、例えば秒でもよいしフレームでもよい。特定状態が基準時間継続したと判定された場合、制御部３３は、ユーザに対する警告を実行させてもよい。例えば、制御部３３は、所定の制御情報を警告装置４０へ送信することによって、警告を警告装置４０に実行させてもよい。

警告装置４０は、制御装置３０による制御に基づいて、ユーザに対する警告を実行する。警告は、任意の態様で行われてもよい。例えば、音、画像、および振動等を介して、警告が実行されてもよい。例えば、警告装置４０は、スピーカ、ディスプレイ、およびバイブレータ等を備えてもよい。

図３を参照して、第１画像の生成、第２画像の生成、および視点位置の特定に関する制御部３３の動作について説明する。

図３において、Ｘｗ軸、Ｙｗ軸、およびＺｗ軸を有するワールド座標系が示されている。Ｚｗ軸正方向が、移動体５１の前方に略一致する。第１カメラ座標系は、第１撮像装置１０の位置Ｃ１を原点とし、Ｘｃ１軸、Ｙｃ１軸、およびＺｃ１軸を有する。Ｚｃ１軸は、第１撮像装置１０の光軸である。Ｚｃ１軸正方向が、第１撮像装置１０の撮影方向である。第２カメラ座標系は、第２撮像装置２０の位置Ｃ２を原点とし、Ｘｃ２軸、Ｙｃ２軸、およびＺｃ２軸を有する。Ｚｃ２軸は、第２撮像装置２０の光軸である。Ｚｃ２軸正方向が、第２撮像装置２０の撮影方向である。

上述したように、制御部３３は、ユーザの顔の位置Ａを検出する。図３において、点Ａから延びる二点鎖線は、Ｚｗ軸に平行である。制御部３３は、第１撮像装置１０による撮像画像に対して、視点変換を行う。具体的には、制御部３３は、第１撮像装置１０に関する情報を用いて、第１撮像装置１０を回転および並進させる。回転および並進させた第１撮像装置１０の位置Ｃ１０は、ユーザの顔の位置ＡからＺｗ軸正方向に離れた任意の位置である。点Ａと点Ｃ１０との間の距離は、予め定められてもよい。点Ｃ１０を原点とする第１カメラ座標系は、Ｘｃ１０軸、Ｙｃ１０軸、およびＺｃ１０軸を有する。Ｘｃ１０軸、Ｙｃ１０軸、およびＺｃ１０軸は、位置Ｃ１を原点とする第１カメラ座標系のＸｃ１軸、Ｙｃ１軸、およびＺｃ１軸にそれぞれ対応する。例えば、Ｚｃ１０軸正方向は、Ｚｗ軸負方向に一致する。制御部３３は、点Ｃ１を視点とする第１撮像装置１０の撮像画像を、点Ｃ１０を視点とする第１画像に変換する。

点Ａと点Ｃ１０との間における、Ｚｗ軸に垂直な任意の仮想平面Ｐ１を考える。仮想平面Ｐ１には、ｘ軸およびｙ軸を有する座標系が設定されている。当該座標系の原点は、点ＡからＸｗ軸正方向に離れて位置する。点Ａから平面Ｐ１までの距離は予め定められてもよい。制御部３３は、ユーザの視線が交わる仮想平面Ｐ１上の位置座標（ｘ，ｙ）を検出する。

制御部３３は、第２撮像装置２０による撮像画像に対して、視点変換を行う。具体的には、制御部３３は、第２撮像装置２０に関する情報を用いて、第２撮像装置２０を回転および並進させる。回転および並進させた第２撮像装置２０の位置Ｃ２０は、ユーザの顔の位置ＡからＺｗ軸正方向に離れた任意の位置である。例えば、点Ｃ２０は、点ＡからＺｗ軸正方向に、点Ｃ１０よりも離れていてもよい。点Ａと点Ｃ１０との間の距離は、予め定められてもよい。点Ｃ２０を原点とする第２カメラ座標系は、Ｘｃ２０軸、Ｙｃ２０軸、およびＺｃ２０軸を有する。Ｘｃ２０軸、Ｙｃ２０軸、およびＺｃ２０軸は、位置Ｃ２を原点とする第２カメラ座標系のＸｃ２軸、Ｙｃ２軸、およびＺｃ２軸にそれぞれ対応する。例えば、Ｚｃ２０軸正方向は、Ｚｗ軸正方向に一致する。制御部３３は、点Ｃ２を視点とする第２撮像装置２０の撮像画像を、点Ｃ２０を視点とする第２画像に変換する。

点Ｃ２０からＺｗ軸正方向に離れた、Ｚｗ軸に垂直な仮想投影面Ｐ２を考える。仮想投影面Ｐ２の位置および大きさは、第２撮像装置２０に関する情報に基づいて定められる。仮想投影面Ｐ２に投影された像が、第２画像に相当する。仮想投影面Ｐ２には、ｕ軸およびｖ軸を有するピクセル座標系が設定されている。制御部３３は、上述したようにユーザの視線が交わる仮想平面Ｐ１上の位置座標（ｘ，ｙ）を、仮想投影面Ｐ２上のピクセル位置座標（ｕ，ｖ）に変換する。換言すると、制御部３３は、ユーザの視線が交わる仮想投影面Ｐ２上のピクセル位置座標（ｕ，ｖ）を検出する。検出された座標（ｕ，ｖ）が、上述した第２画像上の視点位置に相当する。

図４を参照して、仮想投影面Ｐ２上の、すなわち第２画像上の被写体領域６０および視点位置６１の例について説明する。図４においては、３つの被写体領域６０（６０Ａ乃至６０Ｃ）が示されている。被写体領域６０Ａおよび６０Ｂは、移動体に対応する。被写体領域６０Ｃは、人間に対応する。図４においては、例えば道路、信号機、および道路標識等に対応する被写体領域６０の図示は省略している。

図４においては、視点位置６１は、被写体領域６０Ａ内に位置している。このことは、ユーザの視線が被写体領域６０Ａに対応する移動体に向けられていることを示唆する。視点位置６１は、ユーザの視線方向の変化に応じて動的に変化する。

図５を参照して、制御装置３０の第１動作について説明する。第１動作は、例えば第１撮像装置１０および第２撮像装置２０が撮像画像を生成するフレーム毎に行われてもよい。

ステップＳ１００：制御部３３は、第１撮像装置１０から撮像画像を取得する。

ステップＳ１０１：制御部３３は、ステップＳ１００の撮像画像に基づいて、ユーザの顔の位置を検出する。

ステップＳ１０２：制御部３３は、ステップＳ１０１で検出されたユーザの顔の位置および記憶部３２に記憶された第１撮像装置１０に関する情報に基づいて、第１画像を生成する。例えば、第１画像は、ユーザの顔を移動体５１の前方から眺めた様子を示す画像であってもよい。第１画像は、ステップＳ１００の撮像画像に対する視点変換によって生成されてもよい。

ステップＳ１０３：制御部３３は、ステップＳ１０２の第１画像に基づいて、ユーザの視線方向を検出する。

ステップＳ１０４：制御部３３は、第２撮像装置２０から撮像画像を取得する。

ステップＳ１０５：制御部３３は、ステップＳ１０１で検出されたユーザの顔の位置および記憶部３２に記憶された第２撮像装置２０に関する情報に基づいて、第２画像を生成する。例えば、第２画像は、ユーザの視界の少なくとも一部に対応する画像であってもよい。第２画像は、ステップＳ１０４の撮像画像に対する視点変換によって生成されてもよい。

ステップＳ１０６：制御部３３は、ステップＳ１０５の第２画像に対して被写体認識を実行する。

ステップＳ１０７：制御部３３は、所定の被写体の少なくとも一部を含む第２画像上の被写体領域を特定する。

ステップＳ１０８：制御部３３は、ステップＳ１０３で検出されたユーザの視線方向に応じた、第２画像上の視点位置を特定する。

ステップＳ１０９：制御部３３は、第２画像において特定された視点位置が被写体領域に含まれるか否かを判定する。視点位置が被写体領域に含まれると判定された場合（ステップＳ１０９−Ｙｅｓ）、プロセスはステップＳ１１０に進む。一方、視点位置が被写体領域に含まれないと判定された場合（ステップＳ１０９−Ｎｏ）、プロセスはステップＳ１１１に進む。

ステップＳ１００：制御部３３は、被写体領域に対応する被写体にユーザの視線が向けられていると判定する。

ステップＳ１１１：制御部３３は、被写体領域に対応する被写体にユーザの視線が向けられていないと判定する。

図６を参照して、制御装置３０の第２動作について説明する。第２動作は、上述した第１動作と並行して実行される。

ステップＳ２００：制御部３３は、所定の被写体にユーザの視線が向けられていない特定状態が、基準時間継続したか否かを判定する。特定状態が基準時間継続したと判定された場合（ステップＳ２００−Ｙｅｓ）、プロセスはステップＳ２０１に進む。一方、特定状態が基準時間継続していないと判定された場合（ステップＳ２００−Ｎｏ）、プロセスはステップＳ２００を繰り返す。

ステップＳ２０１：制御部３３は、ユーザに対する警告を警告装置４０に実行させる。

以上述べたように、本開示の一実施形態に係る監視システム１において、制御装置３０は、ユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出する。制御装置３０は、所定の被写体を含む第２画像に基づいて、当該被写体の少なくとも一部を含む第２画像上の被写体領域を特定する。制御装置３０は、視線方向に応じた第２画像上の視点位置と、被写体領域と、に基づいて、ユーザに対する警告を実行させる。かかる構成によれば、当該被写体にユーザの視線が向けられているか否かを考慮して警告が実行可能となる。例えば、移動体５１の走行中に、ユーザの視線が移動体５１の進行方向に向けられていない状況が存在し得る。かかる状況であっても、ユーザの視線が例えば移動体５１の周辺に存在する人間に向けられている場合には、危険運転ではない蓋然性が高い。ユーザに対する警告は、危険運転である蓋然性が高い場合に実行されることが望ましい。本開示の一実施形態によれば、危険運転である蓋然性が高い場合に警告が実行されるので、ユーザの視線を検出する技術の利便性が向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態に係る監視システム１の構成および機能は、再配置可能であってもよい。例えば、制御装置３０の構成または機能の一部または全部が、第１撮像装置１０、第２撮像装置２０、または他の追加の装置に包含されてもよい。

上述した実施形態に係る監視システム１の構成要素の一部は、移動体５１に固定されていなくてもよい。例えば、第１撮像装置１０、第２撮像装置２０、制御装置３０、および警告装置４０それぞれは、携帯電話またはスマートフォン等の通信機器として実現され、監視システム１の他の構成要素と通信経路５０を介して通信可能に接続されてもよい。

上述した実施形態において、ユーザの視線が所定の被写体に向けられていない特定状態が基準時間継続した場合に警告が実行される構成について説明した。移動体５１の周囲環境に応じて、当該基準時間が動的に変化してもよい。

例えば、制御部３３は、移動体５１の進行方向に位置する他の移動体までの距離が所定値以上になった場合、当該基準時間を長くしてもよい。他の移動体までの距離は、任意の手段で検出されてもよい。例えば、当該距離は、第２撮像装置２０による撮像画像を用いたモーションステレオ法によって検出されてもよい。当該距離は、移動体５１に備えられた距離センサによって検出されてもよい。制御部３３は、当該距離が所定値未満になった場合、当該基準時間を短くしてもよい。

例えば、制御部３３は、移動体５１の進行方向の道路構造が交差点である場合、当該基準時間を短くしてもよい。移動体５１の進行方向の道路構造は、任意の手段で検出されてもよい。例えば、当該道路構造は、第２撮像装置２０による撮像画像に基づいて検出されてもよい。当該道路構造は、例えば地図情報および移動体５１の位置情報に基づいて検出されてもよい。

移動体５１の周囲環境は、他の移動体までの距離、および道路構造に限られない。例えば、当該周囲環境は、一般道路、高速道路、市街地、時間帯、明るさ、天候、路面状態、および渋滞等を含んでもよい。当該周囲環境は、任意の手段で検出されてもよい。例えば、当該周囲環境は、移動体５１に備えられたセンサ群、ＧＰＳ（Global Positioning System）装置、およびナビゲーション装置、ならびにネットワーク機器等から取得される情報に基づいて検出されてもよい。

移動体５１の状態に応じて、当該基準時間が動的に変化してもよい。例えば、制御部３３は、移動体５１の速度が所定の基準値以上である場合、当該基準時間を短くしてもよい。制御部３３は、移動体５１の速度が所定の基準値未満である場合、当該基準時間を長くしてもよい。

移動体５１の状態は、速度に限られない。例えば、当該状態は、アクセル開度、シフトレバー位置、ステアリング舵角、および各種ランプの点灯状態等を含んでもよい。当該状態は、任意の手段で検出されてもよい。例えば、当該状態は、移動体５１の制御情報に基づいて検出されてもよい。当該制御情報は、例えばＣＡＮを介して取得可能であってもよい。

上述した実施形態において、移動体５１の状態に基づいて、警告の実行が停止されてもよい。例えば、制御部３３は、移動体５１の速度が所定の基準値未満である場合、警告の実行を停止してもよい。かかる構成によれば、ユーザの視線が所定の被写体に向けられていない特定状態が基準時間継続した場合であっても、移動体５１が例えば徐行または停止している間は警告が実行されない。したがって、ユーザの視線を検出する技術の利便性が更に向上する。

上述した実施形態において、移動体５１の周囲環境に基づいて、警告の実行が停止されてもよい。例えば、制御部３３は、移動体５１の周囲環境に応じて、所定の警告実行条件を決定または変化させてもよい。制御部３３は、警告実行条件が満たされない場合、警告の実行を停止してもよい。

警告実行条件は、任意の条件を含んでもよい。例えば、警告実行条件は、上述した特定状態が基準時間継続したとの条件を含んでもよい。かかる場合、制御部３３は、当該基準時間を変化させることによって、警告実行条件を変化させてもよい。例えば、警告実行条件は、移動体５１の速度が所定の基準値以上であるとの条件を含んでもよい。かかる場合、制御部３３は、当該基準値を変化させることによって、警告実行条件を変化させてもよい。

１ 監視システム
１０ 第１撮像装置
１１ 撮像光学系
１２ 撮像素子
１３ 通信部
１４ 制御部
２０ 第２撮像装置
２１ 撮像光学系
２２ 撮像素子
２３ 通信部
２４ 制御部
３０ 制御装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ 警告装置
５０ 通信経路
５１ 移動体
６０ 被写体領域
６１ 視点位置

Claims (9)

1. 第１撮像装置によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出し、
   第２撮像装置によって撮像された所定の被写体を含む第２画像に基づいて、前記被写体の少なくとも一部を含む前記第２画像上の被写体領域を特定し、
   前記視線方向に応じた前記第２画像上の視点位置と前記被写体領域とに基づいて、前記ユーザに対する警告を実行させる、制御部
   を備える、制御装置。
2. 請求項１に記載の制御装置であって、
   前記被写体は、人間、移動体、道路、信号機、および道路標識のうち、少なくとも１つを含む、制御装置。
3. 請求項１または２に記載の制御装置であって、
   前記第２画像は、前記ユーザの視界の少なくとも一部に対応する画像であり、
   前記視点位置は、前記第２画像に相当する仮想投影面と前記視線方向との交点であり、
   前記制御部は、
   前記視点位置が前記被写体領域に含まれない場合、前記被写体に前記ユーザの視線が向けられていないと判定し、
   前記被写体に前記ユーザの視線が向けられていないとの判定に基づいて、前記警告を実行させる、制御装置。
4. 請求項３に記載の制御装置であって、
   前記制御部は、
   前記被写体に前記ユーザの視線が向けられていないと判定された状態が所定の基準時間継続した場合、前記警告を実行させる、制御装置。
5. 請求項４に記載の制御装置であって、
   前記第１撮像装置および前記第２撮像装置は、移動体に設けられており、
   前記制御部は、
   前記移動体の進行方向に位置する他の移動体までの距離が所定値以上になった場合、前記基準時間を長くし、
   前記他の移動体までの距離が所定値未満になった場合、前記基準時間を短くする、制御装置。
6. 請求項１乃至５の何れか一項に記載の制御装置であって、
   前記第１撮像装置および前記第２撮像装置は、移動体に設けられており、
   前記制御部は、前記移動体の速度が基準値未満である場合、前記警告の実行を停止する、制御装置。
7. 請求項１乃至６の何れか一項に記載の制御装置であって、
   前記第１撮像装置および前記第２撮像装置は、移動体に設けられており、
   前記制御部は、
   前記移動体の周囲環境に応じて警告実行条件を変化させ、
   前記警告実行条件が満たされない場合、前記警告の実行を停止する、制御装置。
8. 制御装置が実行する方法であって、
   第１撮像装置によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出し、
   第２撮像装置によって撮像された所定の被写体を含む第２画像に基づいて、前記被写体の少なくとも一部を含む前記第２画像上の被写体領域を特定し、
   前記視線方向に応じた前記第２画像上の視点位置と前記被写体領域とに基づいて、前記ユーザに対する警告を実行させる、方法。
9. 制御装置に、
   第１撮像装置によって撮像されたユーザの顔を含む第１画像に基づいて、ユーザの視線方向を検出するステップと、
   第２撮像装置によって撮像された所定の被写体を含む第２画像に基づいて、前記被写体の少なくとも一部を含む前記第２画像上の被写体領域を特定するステップと、
   前記視線方向に応じた前記第２画像上の視点位置と前記被写体領域とに基づいて、前記ユーザに対する警告を実行させるステップと、
   を実行させる、プログラム。

Images