JP2011049773A - 出力制御装置、出力制御方法 - Google Patents

Abstract

【課題】車両やユーザが移動を開始する前に、移動のきっかけとなる情報を自動的に検知して、車両やユーザが停止中に、ユーザ操作等により、表示画面やスピーカなどへ新たな出力がされているとき、その出力を停止もしくは変更する出力制御装置を提供する。
【解決手段】移動検出部１０１は車両やユーザの停止前の減速状態を検出し、映像入力部１０２はその減速状態におけるユーザ前方の映像を取得し、視線検出部１０３はその減速状態におけるユーザの視線方向を取得する。そして、監視対象変化検出部１０４は、映像と視線方向をもとに、停止する原因となった対象を検出し、停止時点の映像から監視領域を決定する。さらに、監視対象変化検出部１０４は監視領域の映像から対象の変化を検出し、出力制御部１０５は表示画面やスピーカなどへの出力を停止させる、もしくは出力内容を変更させる。
【選択図】図１

Description

本発明は、モニタや、ヘッドマウントディスプレイ等の拡張現実に用いられる表示装置或いはスピーカなどに、情報等を出力するのを制御する出力制御装置、出力制御方法に関するものである。

ユーザの利便性向上、危険回避などのために、ユーザの状況又はユーザの周辺状況を収集し、ユーザが視聴する表示装置に対して状況にあった情報を出力する技術が開発されてきている。そのような技術の１つとして、例えば特許文献１にユーザの動作又は身体の状況を取得し、取得した状況に基づいて情報の出力の制御を行う表示装置が開示されている。

特開２００８−６５１６９公報

しかしながら、従来の技術では、ユーザの安全や利便性の観点から鑑みると、ユーザにとって弊害が生じる場合がある。例えば、シースルーヘッドマウントディスプレイを装着したユーザが停止中にメールなどの情報を提示する場合を例に挙げる。従来の技術では、ユーザが歩行又は走行を開始したと判定された後に、シースルーヘッドマウントディスプレイに対する画面表示のオン、オフが切り替えられる。したがって、歩行又は走行を開始してから画面が消えるまでの間、ユーザは周辺を見づらくなり、危険である。また、信号待ちをしているユーザの操作により、カーナビゲーションのディスプレイが車の走行時とは別の情報を表示している場合に、従来の技術を適用すると、発車するまでディスプレイは情報を表示し続ける。情報を表示している間はユーザ（運転者）はそれに気をとられてしまうため、信号が青になり周辺の車が移動し始めても運転者が気づかず、周辺の車に迷惑をかける弊害が生じる。したがって、車などが停止した後でユーザの操作により情報が出力されているとき、移動を開始してから情報の出力を停止させるのでは遅い問題があった。

それ故に、本発明の目的は、車などが停止した後でユーザの操作により表示画面やスピーカなどへ情報等が出力されているとき、移動のきっかけとなる情報を自動的に検知して、前述した出力を移動開始前に停止させる出力制御装置を提供することである。

上記目的を達成するために、本発明の出力制御装置は、情報等のユーザへの出力を制御する出力制御装置であって、ユーザの移動、停止を検出する移動検出部と、ユーザの視線方向の映像を撮影する撮影部と、ユーザが注視する点を検出する注視点検出部と、移動検出部においてユーザが停止したことを検出すると、撮影部で撮影された映像から前記注視点を含む監視領域を特定する監視領域特定部と、前記監視領域の映像に変化があったことを検出する監視領域変化検出部と、前記監視領域変化検出部が前記監視領域の映像に変化があったことを検出すると、出力を制御する出力制御部を備える。

上記構成により、本発明は、ユーザが移動を停止する判断をするきっかけとなった視覚情報（監視対象）の変化を自動的に検知し、変化があった場合にはユーザに対する情報等の出力を停止させる、もしくは出力内容を変更させる制御を行うことができる。

本発明の第１の実施形態における出力制御装置の構成例のブロック図 本発明の第１の実施形態における視線検出方法に関する説明図 減速時の速度変化を示す図 本発明の第１の実施形態における監視領域決定処理のフローを示す図 本発明における注視点抽出処理の説明図 本発明の第１の実施形態における監視領域決定処理の説明図 本発明の第１、第２の実施形態における監視領域設定後の監視対象変化検出部１０４、１０４ａと出力制御部１０５の処理のフローを示す図 本発明における映像解析用データベース１２１のデータ例を示す図 本発明の第１の実施形態における出力制御装置の変形例のブロック図 本発明の第２の実施形態における出力制御装置の構成のブロック図 本発明の第２の実施形態における監視領域決定処理のフローを示す図 本発明の第２の実施形態における監視領域設定処理の説明図 本発明の第３の実施形態における出力制御装置の構成のブロック図 本発明の第３の実施形態における視線検出方法に関する説明図 本発明の第３の実施形態における監視領域設定後の監視対象変化検出部１０４ｂ、出力制御部１０５ａと映像合成部２０２の処理のフローを示す図 本発明の第３の実施形態における表示画面例の図 本発明の第３の実施形態における表示画面例の図 本発明の第３の実施形態における表示画面例の図 本発明の第３の実施形態における表示画面例の図

（第１の実施形態）
図１は、第１の実施形態に係る出力制御装置１００に関するブロック図である。図１の出力制御装置１００は、車に搭載される装置であり、モニタ或いはスピーカなどの出力装置が情報を出力するのを制御する出力制御装置である。出力制御装置１００は、移動検出部１０１、映像入力部１０２、視線検出部１０３、監視対象変化検出部１０４、および出力制御部１０５を備える。さらに、視線検出部１０３は方向取得部１１１を備える。

移動検出部１０１は、車速、もしくはユーザのアクセル、ブレーキ操作を車載センサから取得することにより、加速度の大きさ、速度の大きさなど、車の移動に関するデータを検出する。移動検出部１０１は、監視対象変化検出部１０４にこれらのデータを通知する。

映像入力部１０２は、カメラ等の撮影装置を指し、車の前方映像を撮影し、監視対象変化検出部１０４に送信する。

視線検出部１０３は、既存方法を用いて、ユーザの視線方向を検出し、視線方向を監視対象変化検出部１０４に送信する。既存方法としては、例えば、カメラでユーザの瞳孔の動きを撮影し解析する手法等がある。また、視線検出部１０３は、ユーザの顔の方向とカメラの光軸方向とのなす角を取得する方向取得部１１１を含む。ユーザの顔の方向は、既存の方法を用いて取得する。例えば、視線検出部１０３がユーザの頭部に設置される場合には、視線検出部１０３にジャイロセンサ或いは方位センサを組み込むことで、ユーザの顔の方向を検出することができる。そして、カメラの光軸方向とユーザの顔の方向との差分から、カメラの視線方向とのなす角を取得する。視線検出部１０３の動作の詳細は後述する。

監視対象変化検出部１０４は、移動検出部１０１から得られる移動状態、カメラ映像入力部１０２から得られる車の前方の映像、視線検出部１０３から得られる視線方向を受け続け、保持している。そして、車が停止する前のユーザの視線方向から、ユーザが停止すると判断したきっかけとなった視覚情報（監視対象）を含むカメラ映像中の監視領域を決定する。そして、監視対象変化検出部１０４は、監視領域の映像を監視し、監視対象に動きベクトルの変化や輝度等の映像変化があった場合に後述する出力制御部１０５に通知する。監視対象変化検出部１０４の動作の詳細は後述する。

出力制御部１０５は、監視対象変化検出部１０４からの通知を受け、カーナビゲーションなどの情報生成装置（図示せず）が停車後のユーザ操作などによりモニタ或いはスピーカなどの各種出力装置（図示せず）に対して情報等を出力するのを、停止させる。或いは、出力制御部１０５は、監視対象変化検出部１０４からの通知を受け、情報生成装置に出力内容を変更させる。

つぎに、視線検出部１０３の動作を、図２を用いて詳細に説明する。図２は、視線検出装置と顔の向きを検出するセンサがユーザの頭に装着され、ユーザの頭と別の場所に車の前方に向けてカメラが設置されていることを想定する。図２のＸＹ座標系は、カメラの焦点を含み、かつカメラの撮像面に対し垂直で撮像面の横方向に平行な平面を基準とした２次元のグローバル座標系である。通常の態様ではカメラは水平に向けて設置されているので、水平面上の２次元座標系と考えてよい。点Ｐ_o、点Ｐ_c、点Ｐ_pはそれぞれユーザの注視対象、カメラ位置、ユーザ位置を指す。また、カメラの光軸方向が事前に求められているものとし、顔の向きを検出するセンサ出力から、カメラの光軸方向とユーザの顔の向きとのなす角φ_cpが算出されるとする。さらに、ユーザに装着された視線検出装置により検出される視線方向をＸＹ平面上に投影し、その向きをθ_pとする。通常の使用態様では、Ｐ_cＰ_o間の距離Ｄ_oはＰ_cＰ_p間の距離Ｄ_pに比べて十分長いので、直線Ｐ_cＰ_oと直線Ｐ_cＰ_pは平行とみなすことができる。したがって、カメラ位置Ｐ_cから見た注視対象Ｐ_oへの向きとカメラの光軸とのなす角θ_hは以下の式により求められる。
θ_h＝θ_p＋φ_cp（式１）

なお、カメラの焦点を含み、かつカメラの撮像面に対し垂直で撮像面の縦方向に平行な平面を基準とした２次元のグローバル座標系において、カメラ位置Ｐ_cから見た注視対象Ｐ_oへの向きθ_vを求める際も同じ方法が適用可能である。以上のように得られた（θ_h，θ_v）を視線検出部１０３は監視対象変化検出部１０４に送信する。

つぎに、監視対象変化検出部１０４の詳細な動作について説明する。監視対象変化検出部１０４は、まず、車が停止する前のユーザの視線方向から監視対象を特定する。そこで、どのタイミングの視線方向から監視対象を特定するかについて説明する。ここで、車が減速する場合に監視対象を特定するタイミングを、図３を利用して説明する。図３は一定速度で走行している状況から、停止の要因となる視覚情報を得てユーザの意思により減速している状況を示す速度の時間変化のグラフである。

車の走行において、ユーザが一定の速度で走行していると判断していても、実際の速度は下り坂や上り坂になっているなどの路面の状況やユーザの操作に影響し、ばらつきが生じる。時刻Ｔ１〜時刻Ｔ３の期間はユーザが一定速度で走行しようと、アクセルを踏んだり離したりしている期間を示している。

時刻Ｔ３の時に、ユーザが赤信号を見てアクセルから足を離す。これにより、エンジンブレーキやタイヤの回転する際の摩擦抵抗などで車は減速を開始する。このような自然な減速の後、時刻Ｔ４で停止位置が近づいたことを受け、ユーザはブレーキ操作を行う。これにより車の速度が急激に下がる。

最後に時刻Ｔ５から時刻Ｔ６にかけてブレーキを弱めて止まりたい位置まで緩やかに減速し車は停止する。このようにユーザが停止動作を行った場合、最後にブレーキを操作し加速度が変化した地点は、時刻Ｔ６である。しかしながら、ユーザが停止すると判断したきっかけとなる視覚情報は、時刻Ｔ３の時にユーザが注視している可能性が高い。

したがって、監視対象変化検出部１０４は、車の加速度が正から負に変化した時点の数秒前から停止するまでの映像と視線方向に関する情報をメモリ上に保持する。ただし、静止する前に、車の加速度が負から正に変化した場合は、監視対象変化検出部１０４は、メモリ上に保持していた映像と視線方向に関する情報をリセットする。ここで、車の加速度が正から負に変化した時点の数秒前からとしたのは、直前数秒間の情報を利用することによって、車の加速度が正から負に変化した時点のユーザの注視対象を精度よく求めることができるからである。

そして、車の加速度が正から負に変化してから完全に停止した時点で、監視対象変化検出部１０４は、メモリ上に保持されている映像と視線方向を解析し、車の加速度が正から負に変化した時点から最初に注視した注視対象を監視対象として決定する。

つぎに、車の加速度が正から負に変化した時点から停止するまでの映像と視線方向の情報から、監視対象を含むカメラ映像中の監視領域を決定する処理について説明する。図４がこの処理におけるフローチャートである。

まず、監視対象変化検出部１０４は、メモリに保持されている映像の各フレームにおいて注視点を抽出する（ステップＳ４０１）。この注視点は、映像入力部により入力された映像の中でユーザが注視している点を意味し、ユーザの視線方向をもとに算出される。図５は、撮像面におけるｕ_iｖ_i座標系において、注視点Ｑの座標（ｕ_Q，ｖ_Q）と視線検出部１０３から得られた（θ_h，θ_v）との関係を説明するための図である。このｕ_iｖ_i座標系は１画素の長さが１となるように設定される。点Ｅは仮想的な目の位置である。点Ｑは撮像面のユーザの注視画素を示し、点Ｅから点Ｑに向かう方向が視線方向を示す。そして、点Ｅから撮像面に垂線を下ろし、その垂線の足を点Ｒとする。この点Ｒのｕ_iｖ_i座標系での座標（ｕ_R，ｖ_R）は予めキャリブレーションにより定めておく。ここで、ｕ_iｖ_i座標系で（ｕ_Q，ｖ_R）なる点を点Ｓとすると、θ_hは線分ＥＲ、線分ＥＳとのなす角となり、θ_vは線分ＥＱ、線分ＥＳとのなす角となる。

つぎに、ＥＲ間の距離を焦点距離ｆとし、撮像素子の１画素の横幅をδ_u、縦幅をδ_vとすれば、点Ｒの座標（ｕ_R，ｖ_R）をもとに、ｕ_Q、ｖ_Qは以下の式により求まる。
ｕ_Q＝ｕ_R＋ｆ/δ_u・tanθ_h（式２）
ｖ_Q＝ｖ_R＋ｆ/δ_v・tanθ_v（式３）

ところが、視線方向（θ_h，θ_v）は誤差を含んでおり、上式で得られる注視点Ｑが注視対象を必ずしも指しているとは限らない。したがって、注視点Ｑを含むある程度の大きさの領域を注視領域として抽出する（ステップＳ４０２）。例えば、画像全体をいくつかの矩形領域に分け、注視点を含む矩形領域を注視領域としてもよい。或いは、注視点を中心として特定半径の円系領域を注視領域としてもよい。

つぎに、フレーム毎に注視領域を求めた後、監視対象を抽出する（ステップＳ４０３）。このとき、加速度が正から負に変化した時点から最初に注視した領域を監視対象として抽出する。最後に、抽出した監視対象について、静止時の監視領域を決定する（ステップＳ４０４）。ステップＳ４０３とＳ４０４の詳細な動作を、図３と図６を用いて説明する。

図６は、ユーザが信号を見て停止に至るまでの速度の変化点において、映像入力部１０２が撮影した車の前方映像の例である。図６の（ア）と（イ）は図３の時刻Ｔ３に対応し、図６の（ウ）は図３の時刻Ｔ６に対応する。図６の（イ）は画像処理を行う単位であるグリッド６０５を表している。グリッド６０５は全画面を１６分割した領域であり、事前に設定されているものとする。

このとき、ステップＳ４０３において、監視対象変化検出部１０４は、時刻Ｔ３になる直前数秒間の注視点が含まれるグリッドを保持する。そして、監視対象変化検出部１０４は、それらのグリッドを統合した領域を、加速度が正から負に変化した時点から最初に注視した領域、すなわち監視対象として抽出する。図６の（イ）において、時刻Ｔ３になる直前数秒間で注視点が含まれるグリッドは領域６０３を構成する２つのグリッドであるとすると、監視対象変化検出部１０４は監視対象として領域６０３を抽出する。

この後さらに減速し、時刻Ｔ６において停止した場合、図６の（ウ）のように撮影される。時刻Ｔ３と時刻Ｔ６では、撮影されている映像が図６の（ア）から（ウ）へ変化する。したがって、ステップＳ４０４において、監視対象変化検出部１０４は、図６の（イ）の領域６０３内でエッジ抽出を行い、それぞれのエッジを含む画像をテンプレートとして、時間経過後の画像とマッチングをとる。これにより、監視対象変化検出部１０４は、時間経過後の画像においてもエッジのある領域を追従させることができる。監視対象変化検出部１０４は、この追従を監視対象に含まれる全てのエッジに対して行うことによって、監視対象を含む領域を領域６０４へ拡大する。なお、テンプレートによるマッチングによる手法により説明したが、他の追従方法を用いてもよい。このように追従した結果、監視対象変化検出部１０４は領域６０４を静止時点の監視領域として抽出する。

つぎに、ユーザが静止し、出発するまでの監視対象変化検出部１０４と出力制御部１０５の動作について説明する。図７がこの処理におけるフローチャートである。まず、監視対象変化検出部１０４は、車が停止した後にユーザの操作等により、表示装置、音出力装置等に対し現在情報等を出力しているか否かを出力制御部１０５から取得する（ステップＳ７０１）。出力していない場合（ステップＳ７０１でＮｏ）はそのまま終了する。出力している場合（ステップＳ７０１でＹｅｓ）、監視対象変化検出部１０４は移動検出部１０１から得られる移動変化により車が停止中かどうか判定する（ステップＳ７０２）。車は停止中でない、すなわち車が移動している場合（ステップＳ７０２でＮｏ）、監視対象変化検出部１０４は車が移動していることを出力制御部１０５に通知し、出力制御部１０５は出力を停止し（ステップＳ７０４）、終了する。

一方、車が停止中の場合（ステップＳ７０２でＹｅｓ）、監視対象変化検出部１０４は、図４による処理で設定された監視領域に変化があったかどうか判定する（ステップＳ７０３）。この判定においては、監視対象変化検出部１０４は、映像解析用データベース１２１に登録されている変化の判定条件に従って変化の有無を検出する。

映像解析用データベース１２１は、例えば、図８の右列の（１）〜（５）に示す変化の判定条件を保持している。図８の（ア）（イ）は、本発明で想定する監視対象の一例を示している。

図８の（ア）は信号機８１０である。信号機のランプ部分８１１に相当するだけの大きさの領域において、（１）明るさの変化があった場合、（２）色彩に変化があった場合に、監視対象変化検出部１０４は監視対象が変化したと判定する。

図８の（イ）は自動車８２０である。自動車の後部ランプ８２１、および室内灯８２２に相当するだけの大きさの領域において、（３）明るさが変化した場合、（４）色彩に変化があった場合に、監視対象変化検出部１０４は監視対象が変化したと判定する。さらに、（５）ナンバープレート８２３内の文字の大きさが変化した場合に、監視対象変化検出部１０４は監視対象が変化したと判定する。

以上に示した監視領域の変化の抽出処理において、（５）を除いて、監視対象変化検出部１０４は、監視対象の物体を画像処理により識別する処理は行わない。ただし、（５）については、監視対象変化検出部１０４は、実用化されているナンバープレート認識技術を用いてナンバープレート８２３を識別した後、（５）の処理を行うこととする。（１）〜（４）に挙げた処理については、ユーザの利用形態に合わせて、信号機のランプ部分８１１、自動車の後部ランプ８２１、室内灯８２２に相当する最小の大きさを、事前に監視対象変化検出部１０４に設定する。そして、監視対象変化検出部１０４は、その大きさ以上の領域において、明るさ、もしくは色彩の変化があった場合に全て監視対象が変化したとして判定する。なお、将来的に信号機や車の物体認識が画像処理により実現されるようになった場合は、監視対象変化検出部１０４は、信号機のランプ部分１０１１、後部ランプ１０２１、室内灯１０２２それぞれを識別した上で、（１）〜（４）までの変化があったかどうか個別に判定するのでもよい。このように、監視対象変化検出部１０４は、監視領域の変化判定方法を持ち、変化判定をすることで、判定精度を上げることができる。

以上の処理により、監視領域に変化があったと判定した場合（図７のステップＳ７０３でＹｅｓ）、監視対象変化検出部１０４は監視領域に変化があったことを出力制御部１０５に通知し、出力制御部１０５は出力装置に対する出力を停止させ（ステップＳ７０４）、終了する。監視領域に変化がないと判定した場合（ステップＳ７０３でＮｏ）、監視対象変化検出部１０４は出力制御部１０５に何も通知せず、出力制御部１０５は出力装置に対する出力を継続させ（ステップＳ７０５）、ステップＳ７０１の処理に戻る。

本第１の実施形態によれば、ユーザが移動を停止する判断をするきっかけとなった視覚情報（監視対象）の変化を自動的に検知し、変化があった場合には、出力装置がユーザに対し情報等を出力するのを停止させるなどの制御を行う。これにより、停止中に新たに表示や出力がされた情報にユーザが気をとられてしまうことに伴う弊害を防止することができる。

なお、移動検出部１０１、映像入力部１０２、視線検出部１０３、監視対象変化検出部１０４、出力制御部１０５は、以下に述べる構成、動作であってもよい。

移動検出部１０１は、車速、もしくはユーザのアクセル、ブレーキ操作以外に、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により位置を取得し、気圧や電波を利用した高度計から高度を取得し、機械式、光学式、半導体式などの加速度センサから加速度を取得し、車の移動に関するデータを検出してもよい。また、車の移動に関するデータを監視対象変化検出部１０４に通知する条件を保持可能とし、例えば加速度の変化が閾値以上あった場合にのみ、移動検出部１０１は監視対象変化検出部１０４に通知するようにしてもよい。

監視対象変化検出部１０４は、移動状態、映像、視線方向を受け続けるのではなく、車が停止した時に、車が減速する数秒前から停止するまでの間の映像、視線方向を映像入力部１０２、視線検出部からそれぞれ受信するのでもよい。このとき、映像入力部１０２、視線検出部１０３は、それぞれ映像データ、視線方向を一時的に蓄えるメモリ領域を用意する。さらに、メモリ領域の特定は、映像入力部１０２及び視線検出部１０３から視線検出部１０４へメモリ領域の指定アドレスを予め送信しておくことで実現可能である。また、図８に示した監視対象の変化の判定条件は、ユーザの使用態様に応じて、自由に設定可能である。さらに、映像入力部１０２を車の後方にも配置し、視線検出部１０３がルームミラーを通して車の後方をユーザが停止前に注視していることを検出する場合においては、監視対象変化検出部１０４は、後続車のヘッドライトの明るさもしくは色彩の変化を検出すると、監視対象が変化したと判定してもよい。

出力制御部１０５は、モニタなどの表示装置、スピーカなどの音出力装置以外に、車載マッサージ機のような圧力出力装置に対する出力を制御してもよい。さらに、出力制御部１０５は、監視対象変化検出部１０４からの通知を受け、情報生成装置に出力内容を変更させる制御を行ってもよい。ここでの出力内容の変更とは、例えば、監視領域が変化したことを映像又は音などでユーザに数秒間通知させた後、出力装置に対する出力を停止させる処理を情報生成装置に行わせることなどが挙げられる。その場合、図７のステップＳ７０４の処理において、出力制御部１０５は、出力内容を変更させる処理を行う。

また、前述した出力制御装置１００は、自動車の車載装置ばかりでなく、自転車、自動二輪に搭載され、ハンドル部分に設置された表示装置等に対する出力を制御する出力制御装置にも適用できる。この場合、移動検出部１０１は、速度計ばかりではなく、ペダルの回転をセンサから取得して、自転車の移動状態を検出してもよい。映像入力部１０２は自転車、自動二輪の前方を撮影するように設置される。他の視線検出部１０３、監視対象変化検出部１０４、出力制御部１０５の内部構成、動作は前述のとおりでよい。

なお、出力制御装置１００は、変形例として、図９に示すように移動制御部１０６を有する構成としてもよい。移動制御部１０６は、移動検出部１０１と出力制御部１０５から、車が停止中に、ユーザの操作等により、出力装置に出力を行っていることの通知を受けた場合には、車が移動できないように制御する機能を有する。例えば、ブレーキが解除できないようにブレーキの制御を行うことで実現する。以上の構成により、ユーザが前方を見ていない状況下で移動し始めることによる衝突事故を防ぐことができる。

（第２の実施形態）
第１の実施形態では、加速度が正から負に変化した時点から最初に注視した領域を監視対象としていた。しかし、加速度が正から負に変化した時点から停止するまでにユーザが注視した領域は１つとは限らない。そこで、第２の実施形態では、加速度が正から負に変化した時点から停止するまでにユーザが注視した領域全てを監視対象として、監視対象の１つでも変化があった場合に、出力を停止する。

図１０は、第２の実施形態の出力制御装置１００ａに関するブロック図である。図１０において、監視対象変化検出部１０４ａ以外は、第１の実施形態と同じ動作なので、同一の符号を付しており、説明を省略する。

監視対象変化検出部１０４ａは、加速度が正から負に変化した時点から停止するまでにユーザが注視した領域全てを監視対象として、監視対象の１つでも変化があった場合に、出力制御部１０５に通知する。

監視対象変化検出部１０４ａは、第１の実施形態と監視対象の決定の動作のみが異なるので、その動作を図１１のフローチャートを用いて説明する。図１１では、図４に比べてステップＳ１１０１を含むことのみ異なるので、異なる部分を中心に説明する。監視対象変化検出部１０４は、ステップＳ４０１で得られるフレーム毎の注視点について、フレーム間の注視点の移動距離を測定し、その移動距離が予め定めた閾値を超えた場合、別の対象を注視していると推定する。そして、監視対象変化検出部１０４は、同じ対象を注視しているとみなされたフレーム群を抽出する（ステップＳ１１０１）。そしてフレーム群毎に、ステップＳ４０２〜Ｓ４０４の処理を実行することによって、複数の監視対象を抽出する。フレーム群を抽出するための閾値は、固定値であってもよいが、ユーザ毎に設定可能としてもよい。

ここで、図１１における監視対象変化検出部１０４の処理の具体例を、図３と図１２を用いて説明する。図１２は信号を見て停止に至るまでの速度の変化点における使用者の前方映像の例である。図１２では、信号機６０１と前方を走る車１２０１が映し出されている。図１２の（ア）と（イ）は映像入力部１０２により撮影された画像であり、図３の時刻Ｔ４に対応する。また、図１２の（ウ）は図３の時刻Ｔ６に対応する。

図３の時刻Ｔ４において、表示領域が図１２の（ア）のように表示されている。ユーザは、時刻Ｔ３の数秒前から時刻Ｔ４の数秒前まで信号機６０１を注視し、それからユーザは前方の車１２０１に視線を移すことによってフレーム間の注視点の移動距離が閾値以上となり、それ以降停止するまで前方の車１２０１を注視していたとする。このとき、監視対象変化検出部１０４は、ステップＳ４０１において、時刻Ｔ３の数秒前から時刻Ｔ４の数秒前までのフレーム群と、時刻Ｔ４の数秒前から停止するまでの２つのフレーム群を検出する。そして、ステップＳ４０２、ステップＳ４０３の処理によって、監視対象変化検出部１０４は、信号機６０１を含む領域６０３と前方の車１２０１を含む領域１２０２の両方を監視対象として抽出する。以降は、ステップＳ４０４の処理によって、監視対象変化検出部１０４は、領域６０３と１２０２双方でエッジ検出を行い、前述した追従によって、静止時点の監視領域１２０３、１２０４を得る。以上の処理により、監視領域を決定する。

本第２の実施形態によれば、加速度が正から負に変化した時点から停止するまでに注視した複数の監視対象の変化を検出し、第１の実施形態のように出力装置に対し情報等の出力を停止させるなどの制御をすることができる。

（第３の実施形態）
つぎに、第３の実施形態について説明する。第３の実施形態は、監視対象が変化すると、ユーザに提示する出力映像を変える応用例であり、主にビデオシースルー型ヘッドマウントディスプレイなどの表示装置に適用される。第１、第２の実施形態は、出力制御装置１００、１００ａとして、自動車等の車載装置を想定していた。その場合、映像入力部１０２は、進行方向前方に向けて設置されるので、監視領域決定後、監視領域を継続して撮影することが可能である。しかし、出力制御装置１００、１００ａをビデオシースルーヘッドマウントディスプレイなどの表示装置への出力を制御する出力制御装置に適用する場合、映像入力部１０２を常に進行方向前方に向けて配置することは現実的でない。そこで、第３の実施形態では、監視対象変化検出部１０４ｂが監視領域を設定した後、監視領域を継続的に監視できるよう、映像入力部１０２ａが自らの姿勢、ズームの制御を行う。

図１３は、第３の実施形態の出力制御装置を含む表示装置に係るブロック図である。図１３では、表示装置２００はビデオシースルーヘッドマウントディスプレイなどの表示装置を指し、出力制御装置１００ｂ、情報出力部２０１、映像合成部２０２、表示部２０３から構成される。出力制御装置１００ｂは、移動検出部１０１ａ、映像入力部１０２ａ、視線検出部１０３ａ、監視対象部１０４ｂと出力制御部１０５ａを有する。出力制御装置１００ｂの構成要素は全て第１、第２の実施形態と一部動作が異なるので異なる符号を付している。そして、映像入力部１０２ａは第１の撮影部１３１、第２の撮影部１３２とカメラ制御部１１２を有する。視線検出部１０３ａは方向取得部１１１ａを有する。方向取得部１１１ａは第１、第２の実施形態と一部動作が異なるので異なる符号を付している。

情報出力部２０１は、外部の映像出力装置から得られた画像、出力装置で保有する機能、設定画面、メールなど、ユーザが静止時に閲覧する情報を出力する。また、後述する第１の撮影部１３１で撮影された画像から画像認識により人物顔等を検出し、人物に関連する情報などの補足情報を出力する。

映像合成部２０２は、後述する出力制御部１０５ａからの通知に基づいて、後述する第１の撮影部１３１で撮影された映像と情報出力部２０１が出力した情報を合成した映像を生成する。或いは、何も合成せずに、第１の撮影部１３１の映像を出力する。表示部２０３は、映像合成部２０２から出力された映像を表示する。

移動検出部１０１ａは、ユーザに装着したＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により位置を取得し、ユーザに装着した気圧や電波を利用した高度計から高度を取得し、ユーザに装着した機械式、光学式、半導体式などの加速度センサから加速度を取得する。そして、位置、高度の時間変化、加速度の時間変化から歩行、走行、停止などのユーザの移動に関するデータを検出する。このように複数のセンサを利用する場合、センサ毎に誤差が異なるため、移動状態を監視対象変化検出部１０４に通知する条件を設定する場合は、移動検出部１０１において閾値をセンサ毎に設定できるようにするとよい。

映像入力部１０２ａの第１の撮影部１３１は、ユーザの前方映像を常に撮影するカメラ等の撮影装置である。第２の撮影部１３２は、図４の処理により監視領域が決定された後、その監視領域を常に撮影するカメラ等の撮影装置である。カメラ制御部１１２は、第１の撮影部１３１と第２の撮影部１３２の姿勢とズームを制御する。カメラ制御部１１２は、姿勢制御で角度を取得するためにジャイロセンサ或いは方位センサを含んでおり、後述する方向取得部１１１ａに対して、空間中の特定の方向を基準としたカメラの光軸方向の向きφ_cを出力する。

視線検出部１０３ａは、ユーザの視線方向を検出する。ただし、ビデオシースルー型ヘッドマウントディスプレイに第１の撮影部１３１で撮影された映像を表示し、ユーザはそれを見ながら停止のきっかけとなる視覚情報を注視することになるので、第１の実施形態に比べて、視線検出方法を以下のように簡略化することができる。

図１４は、ヘッドマウントディスプレイの表示画面と視線方向との関係を示した図である。図中の表示画面はヘッドマウントディスプレイの表示画面を指し、この表示画面を図のようにｕｖ座標系で表すとする。また、点Ｅ'は眼球位置、点Ｑ'は表示画面中のユーザの注視点を示し、点Ｅ'から点Ｑ'に向かう方向が視線方向を示す。そして、点Ｅ'からヘッドマウントディスプレイの表示画面に垂線を下ろし、その垂線の足を点Ｒ'とする。点Ｒ'のｕｖ座標系での座標（ｕ'_R，ｖ'_R）は予めキャリブレーションにより求めておく。さらに、点Ｑ'のｕｖ座標系での座標を（ｕ'_Q，ｖ'_Q）とし、ｕｖ座標系で（ｕ'_Q，ｖ'_R）なる点を点Ｓ'とする。ここで、線分Ｅ'Ｒ'、線分Ｅ'Ｓ'とのなす角θ_hと、線分Ｅ'Ｑ'、線分Ｅ'Ｓ'とのなす角θ_vとしたとき、視線方向は（θ_h，θ_v）と表される。図１４の場合では、ヘッドマウントディスプレイに装着されている視線検出装置は、直接（θ_h，θ_v）を検出することができる。また、この場合の通常の使用態様では、映像入力部１０２はユーザの頭に装着されており、カメラの光軸方向が顔の向きと同じに設定される。したがって、視線検出装置から得られた（θ_h，θ_v）から注視領域を決定できるので、（θ_h，θ_v）を監視対象変化検出部１０４ｂに送信すればよい。

また、視線検出部１０３ａ内の方向取得部１１１ａは、第１の実施形態の方向取得部１１１に比べて、カメラ制御部１１２に顔の向きを送信することのみが異なる。

監視対象変化検出部１０４ｂは、監視領域の変化がカメラの移動による変化か、監視対象の移動による変化かを区別するため、カメラ制御部１１２が有するジャイロセンサを用いてカメラの動きを算出し、映像の座標系を絶対座標系に変換することで監視領域の移動変化量を補正する。或いは、映像全体に対する監視領域の相対的な動きベクトルの変化を検出することで、監視対象変化検出部１０４が監視領域に変化があったと判定してもよい。

出力制御部１０５ａは、監視対象変化検出部１０４ｂからの通知に基づいて、第１の撮影部１３１で撮影された映像をそのまま出力するか、第１の撮影部１３１で撮影された映像と情報出力部２０１が出力した情報を合成した映像を出力するかを決定し、どの出力形態にするかを映像合成部２０２に通知する。

第３の実施の形態においては、図４に示した監視対象変化検出部１０４ｂの監視領域の決定処理は同じであるので省略する。そして、ユーザが静止し、出発するまでの監視対象変化検出部１０４ｂ、出力制御部１０５ａ、映像合成部２０２の動作を図１５のフローチャートを用いて説明する。

まず、監視対象変化検出部１０４ｂは、現在ユーザの指示により合成画像を表示中か否かを出力制御部１０５ａから取得する（ステップＳ１５０１）。この判定のため、出力制御部１０５ａが合成表示状態を保持していてもよい。もし、合成画像を表示中でない場合、すなわち第１の撮影部１３１で撮影された画像をそのまま出力している場合（ステップＳ１５０１でＮｏ）、監視対象変化検出部１０４ｂは何も動作せず、出力制御部１０５ａは映像合成部２０２に何も通知を行わない。したがって、映像合成部２０２はこれまでの表示形態を変えずに描画処理する（ステップＳ１５０６）。

合成画像を表示中である場合、すなわち第１の撮影部１３１で撮影された画像を情報出力部２０１が出力した情報を合成した映像を出力している場合（ステップＳ１５０１でＹｅｓ）、監視対象変化検出部１０４ｂは現在ユーザが停止しているか否かを判定する（ステップＳ１５０２）。ユーザが停止していないと判定した場合（ステップＳ１５０２でＮｏ）、監視対象変化検出部１０４ｂは出力制御部１０５ａにユーザが移動していることを通知し、出力制御部１０５ａは合成を解除することを決定し（ステップＳ１５０４）、第１の撮影部１３１の映像のみ表示するよう映像合成部２０２に通知することで合成が解除される。そして、映像合成部２０２が第１の撮影部１３１の映像を表示部２０３に出力する（ステップＳ１５０６）。

ユーザが停止していると判定した（ステップＳ１５０２でＹｅｓ）場合、監視対象変化検出部１０４ｂは監視領域に変化があったかを判定する（ステップＳ１５０３）。監視領域に変化がなかった場合（ステップＳ１５０３でＮｏ）、監視対象変化検出部１０４ｂは出力制御部１０５ａに監視領域に変化がないことを通知し、出力制御部１０５ａは合成を継続することを決定する（ステップＳ１５０５）。そして、映像合成部２０２はこれまでの表示形態を変えずに描画処理する（ステップＳ１５０６）。監視領域に変化があった場合（ステップＳ１５０３でＹｅｓ）には、監視対象変化検出部１０４ｂはその旨出力制御部１０５ａに通知する。そして、出力制御部１０５ａは、合成を解除することを決定し（ステップＳ１５０４）、第１の撮影部１３１の映像のみ表示するよう映像合成部２０２に通知することで合成が解除される。そして、映像合成部２０２が第１の撮影部１３１の映像を表示部２０３に出力する（ステップＳ１５０６）。

描画処理（ステップＳ１５０６）を終了すると、ユーザによる終了指示があるかどうか判定する（ステップＳ１５０７）。もし、終了指示がある場合（ステップＳ１５０７でＹｅｓ）、そのまま終了する。終了指示がなければ（ステップＳ１５０７でＮｏ）、ステップＳ１５０１に戻り、上記の処理を繰り返す。

つぎに、本実施形態の画面合成例を説明する。図１６は表示部２０３に表示される映像を表している。まず、ユーザが信号１６０２のランプ部分を見て停止し、監視領域１６０３が設定されている。このとき、ユーザには、図１６の（ア）のような第１の撮影部１３１から入力された映像が表示されている。図１６の（イ）は、ユーザが外部の機器を操作するなどし、情報出力部２０１がメールの受信一覧１６０４の情報を生成し、映像合成部２０２が第１の撮影部１３１から入力された映像と合成した場合における表示部２０３の出力画像である。このとき、監視領域１６０３の信号が変わるなど変化があった場合には、監視対象変化検出部１０４ｂが変化の検知を行い、出力制御部１０５ａに通知する。出力制御部１０５ａは、監視対象変化検出部１０４ｂから通知を受けると映像合成部２０２に対して合成表示の解除を通知する。映像合成部２０２は出力制御部１０５ａからの通知を受け、図１６の（ウ）のように合成表示を解除し、第１の撮影部１３１からの映像のみを表示する。

つぎに、監視領域設定後、ユーザが監視領域とは別の方向を見ていて、ユーザの視野には監視領域がない場合に、第２の撮影部１３２が継続して監視領域を監視する動作、もしくはカメラ制御部１１２が第１の撮影部１３１の姿勢とズームを制御することによって、監視領域を継続して監視する動作について説明する。

まず、図１７の（ア）のように、信号機１７０２が第１の撮影部１３１により撮影され、ユーザに表示されているとする。このとき、領域１７０３が監視領域として設定されているものとする。この状態から、ユーザが頭を動かして人物１７０６に目を向けたとすると、第１の撮影部１３１で撮影された映像のみユーザに表示した場合、図１７の（イ）の領域１７０５のように表示される。

ここで、第２の撮影部１３２は、領域１７０３を継続的に監視するために、領域１７０１を撮影し続けるようにカメラ制御部１１２が第２の撮影部１３２の姿勢とズームを調整する。つまり、図４の処理によって監視領域が設定された後は第２の撮影部１３２がその監視領域を継続的に撮影できるよう、カメラ制御部１１２が第２の撮影部１３２の姿勢とズームを調整する。

つぎに、カメラ制御部１１２が第１の撮影部１３１の姿勢とズームを制御することによって、監視領域を継続して監視する動作について説明する。この動作は、第２の撮影部１３２を有しない構成であっても実現可能である。カメラ制御部１１２は、方向取得部１１１ａからユーザの顔の向きを取得し、その向きの変化から、ユーザの表示領域が領域１７０１から領域１７０５に変化することを算出する。つぎに、監視領域１７０３と領域１７０５が含まれる領域１７０４を算出し、領域１７０１の中心１７０７から領域１７０４の中心１７０８に、第１の撮影部１３１の方向を変化させる。同時にカメラ制御部１１２はズームアウトし、撮影領域を領域１７０４に変更する。なお、この動作によりユーザが意図していない視界の映像を取得するため、ユーザの視界である領域１７０５を拡大してユーザに表示してもよい。この処理により、ズーム動作を行ったとしても、ズームの影響を受けていない映像をユーザに表示することができる。

つぎに、図１７の動作を行っているときに、第１の撮影部１３１の映像に表示されている対象物の補足情報を表示した例を図１８に示す。ユーザが首を振るなどして第１の撮影部１３１の撮影領域が１７０１から１７０５に移動した場合、図１８の（ア）から（イ）のように表示領域が変更する。また、第２の撮影部１３２が領域１５０３を継続的に監視できるよう、カメラ制御部１１２が第２の撮影部１３２の姿勢とズームを調整する。このとき、情報出力部２０１は、第１の撮影部１３１で撮影された画像内の人物顔を画像処理により解析し、画像内の人物１７０６の補足情報１８０１を生成し、映像合成部２０２に送信する。映像合成部２０２は、第１の撮影部１３１の映像と情報出力部２０１が出力した補足情報１８０１と映像内の人物表示位置から合成画像１７０５を生成し、表示部２０３がその合成画像を表示する。

このとき、信号１７０２が変わるなど変化があった場合には、監視対象変化検出部１０４ｂは、第２の撮影部１３２が撮影した映像中の監視領域１７０３の変化を検出し、出力制御部１０５ａに通知する。出力制御部１０５ａは、監視対象変化検出部１０４ｂから通知を受けると、映像合成部２０２に対して、合成表示の解除を通知する。映像合成部２０２は、図１８の（ウ）のように表示領域１７０５に対する補足情報１８０１の合成表示を解除して第１の撮影部１３１の映像を表示部２０３に出力する。

なお、第３の実施形態においては、第１の撮影部１３１で撮影された映像に対し、監視領域を強調する画像を生成し、ユーザに表示する態様であってもよい。この場合、出力制御部１０５ａは、図１５のステップＳ１５０１において合成画像を表示中でない場合に、監視対象変化検出部１０４ｂから監視領域の変化が通知されると、第１の撮影部１３１で撮影された映像に対し、管理領域を強調する画像を出力すると決定し、映像合成部２０２に通知する。そして、映像合成部２０２は、出力制御部１０５ａからの通知を受け、第１の撮影部１３１で撮影された映像に対し、監視領域を強調する画像を生成する。

監視領域を強調した画像の生成方法としては、監視領域の周りに点灯もしくは点滅するマーク、或いは点滅する枠を表示した画像を生成する方法がある。或いは、監視領域の輝度を上げた画像を生成する方法であってもよい。または、他の領域の色調をグレーで目立たなく変化させた画像を生成する方法であってもよい。

また、第３の実施形態においては、出力制御部１０５ａは第１の撮影部１３１と第２の撮影部１３２で撮影された映像を合成した映像を出力するかについても決定し、映像合成部２０２は、第１の撮影部１３１と第２の撮影部１３２で撮影された映像を合成してもよい。或いは、監視領域の変化があったときに、情報出力部２０１が新たな情報を生成し、出力制御部１０５ａは第１の撮影部１３１で撮影された映像と情報出力部２０１が生成した情報を合成した映像を出力するかについて決定し、映像合成部２０２は、第１の撮影部１３１で撮影された映像と情報出力部２０１が生成した情報を合成してもよい。これらの表示に関して、図１９を用いて説明する。

まず、図１７の動作を行っているときに、第２の撮影部１３２が撮影した映像を子画面として合成する場合の表示を、図１９の（ア）に示す。図１９の（ア）において、第１の撮影部１３１で撮影された領域が１７０５であり、ユーザに対する表示画面には、領域１７０５が表示されている。また、第２の撮影部１３２の撮影領域が１７０１であり、監視対象である信号機が１７０２である。このとき領域１７０３が監視領域として設定されている。

出力制御部１０５ａは、監視対象変化検出部１０４ｂから監視領域１７０３に変化があった通知を受けると、表示画面の領域１７０５の一部の領域１９０１で監視領域の映像を重ね合わせて表示するよう決定し、映像合成部２０２はこのような合成画像を生成する。これにより、図１８のような補足情報の消去がなくてもユーザは停止動作のきっかけとなった監視領域が変化したことを確認することができる。なお、視線検出部１０３ａから現在のユーザの視線方向を取得することで、出力制御部１０５ａは、表示画面の領域１７０５の中で監視領域に最も近い場所に、或いは監視領域から遠い場所に、子画面領域１９０１を表示するよう決定し、映像合成部２０２はこのような合成画像を生成してもよい。

さらに、図１９の（イ）を用いて、監視領域がユーザの視界内にない、もしくは監視領域の向きとユーザの視線方向が大きく異なる場合に、ユーザの視線を誘導する表示を行う場合の表示例を説明する。図１９の（ア）と同じ構成要素については同じ符号を用い、説明を省略する。現在のユーザの視線が指す領域を１９０３とすると、領域１９０３から領域１７０３の方向に向け誘導するための矢印１９０２などを表示するよう、出力制御部１０５ａは決定する。この表示はユーザの視界の妨げにならないよう、半透過表示又は点滅させてもよい。こうすることにより、ユーザの視界を妨げることなく、注視領域の変化をユーザに伝えることができる。

なお、図１６、１９に挙げた動作は、ビデオシースルー型ヘッドマウントディスプレイだけではなく、光学シースルー型ヘッドマウントディスプレイでも実現することが可能である。この場合、第１の撮影部１３１は不要となり、ユーザがハーフミラーを通して見る外界が図１６の１６０１、図１９の１７０５に該当する。

このとき、視線検出部１０３ａの方向取得部１１１ａは、前述したカメラの光軸方向の向きφ_cをカメラ制御部１１２から取得する。つぎに、方向取得部１１１ａは、空間中の特定の方向を基準としたユーザの顔の方向φ_pを求める。そして、方向取得部１１１ａは（式１）におけるユーザの顔の方向とカメラの光軸方向とのなす角φ_cpを以下の式により算出する。
φ_cp＝φ_p−φ_c（式４）
視線検出部１０３ａの他の動作は第１の実施形態と同じである。

さらに、映像合成部２０２は、単に情報出力部２０１が出力した情報をディスプレイに表示するか、第２の撮影部が監視している監視領域を切り出してディスプレイに表示する動作を行う。出力制御部１０５ａは、情報出力部２０１が出力した情報をディスプレイに表示するかどうか、または第２の撮影部が監視している監視領域を切り出してディスプレイに表示するかどうかを決定し、映像合成部２０２に通知する。

本第３の実施形態によれば、ユーザが移動を停止する判断をするきっかけとなった視覚情報（監視対象）がユーザ停止後にユーザの視界から外れても、監視対象を含む領域である監視領域の映像を継続的に取得し、監視対象変化検出部１０４ｂが監視領域の変化を検出することができる。これにより、映像入力部１０２ａを常に進行方向前方に向けて配置することは現実的でない場合であっても、監視領域を設定した後、映像入力部１０２ａが監視領域を継続的に撮影し、監視対象の変化を検出することができる。

本発明に係る出力装置は、自動者や歩行者向けナビゲーション、各種車載装置などに適用可能である。特に、移動を開始したユーザに対して、これらの装置への出力を停止すると、ユーザの安全性や利便性が向上する場合に有用である。

１００、１００ａ、１００ｂ 出力制御装置
１０１、１０１ａ 移動検出部
１０２、１０２ａ 映像入力部
１０３、１０３ａ 視線検出部
１０４、１０４ａ、１０４ｂ 監視対象変化検出部
１０５、１０５ａ 出力制御部
１０６ 移動制御部
１１１、１１１ａ 方向取得部
１１２ カメラ制御部
１２１ 映像解析用データベース
１３１ 第１の撮影部
１３２ 第２の撮影部
２００ 表示装置
２０１ 情報出力部
２０２ 映像合成部
２０３ 表示部
８１０ 信号機
８１１ 信号機のランプ
８２０ 自動車
８２１ 自動車の後部ランプ
８２２ 自動車の室内灯
８２３ 自動車のナンバープレート
１６０１、１７０１、１７０５ 表示部に表示される画面領域
１６０２、１７０２ 信号機
１６０３、１７０３ 監視領域
１６０４ 合成画像としての外部入力映像のメール受信画面
１７０４ 第１の撮影部によりズームアウトして撮影された領域
１７０６ 第１の撮影部により撮影された人物
１７０７ 領域１７０１の中心点
１７０８ 領域１７０４の中心点
１８０１ 合成画像としての対象１７０６の補足情報
１９０１ 子画面表示領域
１９０２ ユーザの視線を誘導する表示
１９０３ 現在の注視領域

Claims (16)

1. ユーザに対して情報を出力する出力装置に接続され、前記出力装置の出力を制御する出力制御装置であって、
   ユーザの移動、停止を検出する移動検出部と、
   ユーザの視線方向の映像を撮影する撮影部と、
   ユーザが注視する注視点を検出する注視点検出部と、
   前記移動検出部においてユーザが停止したことを検出すると、前記撮影部で撮影されたユーザ停止時点の映像から前記注視点を含む領域を抽出して監視領域として特定する監視領域特定部と、
   前記監視領域の映像に変化があったことを検出する監視領域変化検出部と、
   前記監視領域変化検出部が前記監視領域の映像に変化があったことを検出すると、前記出力装置の出力を制御する出力制御部を備えることを特徴とする出力制御装置。
2. 前記監視領域特定部は、ユーザが停止に至る減速を開始した時点での前記撮影部で撮影された映像からユーザの注視点を含む領域を抽出して監視候補領域として特定し、ユーザが停止した時点まで監視候補領域を追従することによって、監視領域を特定することを特徴とする
   請求項１の出力制御装置。
3. 前記監視領域特定部は、ユーザが停止に至る減速を開始した時点から停止した時点までの前記撮影部で撮影された映像からユーザの注視点を含む複数の領域を抽出して複数の監視候補領域として特定し、前記複数の監視候補領域をユーザが停止した時点まで監視候補領域を追従することによって複数の監視領域を特定し、
   前記監視領域変化検出部は、前記複数の監視領域のいずれか１つにおいて変化があったことを検出し、
   前記出力制御部は、前記監視領域変化検出部が前記複数の監視領域のいずれか１つにおいて変化があったことを検出すると、前記出力装置の出力を制御することを特徴とする
   請求項１の出力制御装置。
4. ユーザの視線方向に向けて撮影した映像を解析し、映像に合成すべき付加情報の画像信号を生成し、ユーザの視界方向の映像に合成する合成画像生成部と、
   ユーザに対し、前記合成画像生成部で合成された映像を表示する表示部とをさらに備え、
   前記出力制御部は、前記監視領域変化検出部が監視領域の映像に変化があったことを検出すると、前記合成画像生成部が合成した画像を前記表示部に出力することを停止し、ユーザの視界方向の映像のみを前記表示部に出力することを特徴とする請求項１〜３のいずれか１つに記載の出力制御装置。
5. 前記監視領域変化検出部は、前記監視領域において輝度、色彩などの変化を判断するための条件を保持する前記映像解析用のデータベースを有し、前記条件に基づき、監視領域の変化を検出することを特徴とする請求項１〜４のいずれか１つに記載の出力制御装置。
6. 前記監視領域変化検出部は、前記視覚情報の候補となる対象物の映像中の大きさを前記映像解析用のデータベースに保持し、前記視覚情報の候補の中で最小となる映像中の大きさよりも大きな領域において、輝度、色彩などの変化を検出した場合、監視領域の変化として検出することを特徴とする請求項５に記載の出力制御装置。
7. 前記監視領域変化検出部は、前記監視領域内にナンバープレートが存在することを認識した場合には、ナンバープレートに記載された文字の大きさが変化したことで監視領域の変化を検出することを特徴とする請求項５に記載の出力制御装置。
8. 前記出力装置が、ユーザの停止中の操作により、新たな情報を出力しているときに、
   前記出力制御部は、前記監視領域変化検出部が前記監視領域に変化があったことを検出すると、前記出力装置に対し前記新たな情報の出力を停止させることを特徴とする
   請求項１〜４のいずれか１つに記載の出力制御装置。
9. 前記監視領域変化検出部が前記監視領域の変化を検出していない場合は、ユーザが移動できないように制御するための移動制御部を有することを特徴とする請求項８に記載の出力制御装置。
10. 前記映像入力部は、カメラの姿勢やズームを制御するカメラ制御部をさらに有し、
    ユーザの視界が変化した場合に、撮影範囲にユーザの視線方向と監視領域の両方がはいるようにカメラ制御部がズーム操作とカメラの姿勢制御を行うことを特徴とする請求項４に記載の出力制御装置。
11. 前記映像入力部は、ユーザの視線方向を撮影した映像を入力するための第１の撮影部と、前記監視領域の映像を撮影し続ける第２の撮影部を有することを特徴とする請求項４に記載の出力制御装置。
12. 前記出力制御部は、前記監視領域変化検出部が監視領域の変化があったことを検出すると、監視領域の変化があったことをユーザに伝達する情報を前記出力装置に出力させることを特徴とする
    請求項１〜４のいずれか１つに記載の出力制御装置。
13. 前記合成画像生成部は、前記監視領域変化検出部が監視領域の変化があったことを検出すると、第２の撮影部の映像から得た前記監視領域の映像を子画面で表示する合成画像を生成することを特徴とする請求項１２に記載の出力制御装置。
14. 前記合成画像生成部は、前記監視領域変化検出部が監視領域の向きと現在の視線方向が大きく異なる場合に、ユーザの視線を誘導するための合成画像を生成することを特徴とする請求項１２に記載の出力制御装置。
15. 前記出力制御部は、前記監視領域変化検出部が監視領域の変化を検出した際に、前記合成画像生成部が合成表示していないと判断した場合には、前記出力装置に対し、監視領域に変化があったことを通知する表示を行わせることを特徴とする請求項１２に記載の出力制御装置。
16. ユーザに対して情報を出力する出力装置に接続され、前記出力装置の出力を制御する出力制御方法であって、
    ユーザの移動、停止を検出するステップと、
    ユーザの視線方向の映像を撮影するステップと、
    ユーザが注視する注視点を検出するステップと、
    ユーザが停止したことを検出すると、撮影されたユーザ停止時点の映像から前記注視点を含む領域を抽出し、監視領域として特定するステップと、
    前記監視領域の映像に変化があったことを検出するステップと、
    前記監視領域の映像に変化があったことを検出すると、前記出力装置の出力を制御するステップを含むことを特徴とする出力制御方法。

Images