JP2020155827A - 視認装置および視認方法 - Google Patents

Abstract

【課題】提示画像のデザインへの制約を最小にしつつ、かつ視覚に過度に影響を与えることによって想定外の事象に対する臨機応変の行動を制約してしまうことを回避しつつ、必要な場所に利用者の注意を誘導することができる視認装置および視認方法を提供することを目的とする。【解決手段】視認装置は、左眼と右眼に対して所定の画像を表示させることにより、利用者に所定の画像に含まれる注目させる部分の画像を認識させる視認装置であって、注目させる部分について左眼に対応する画像および右眼に対応する画像の少なくとも１つに対して加工する画像処理部と、加工された画像を含む所定の画像を表示する表示部と、を備える。【選択図】図１

Description

本発明は、視認装置および視認方法に関する。

人は、常に莫大な情報に囲まれている。人は、その全てを同時に認識することはできないため、必要な情報を適宜取捨選択している。視覚系にはシーンの中の「重要な」情報に情報処理を振り分ける視覚的注意と呼ばれる仕組みがある。人は、この情報の選択を効率的に行っていると考えられる。情報を提供する側は、この注意の性質を利用して伝えたい情報がうまく伝わるように様々な工夫をしている。例えば、コンピュータのディスプレイのような動的な表示が可能なデバイス上では、不要な情報にフィルタをかけてぼかすことによって空間の領域を目立たせる手法等が提案されている（例えば非特許文献１参照）。

例えば、特許文献１に記載の技術では、ステレオカメラで撮影された画像を用いて三次元のＣＧ（コンピュータグラフィック）画像を生成する。そして、特許文献１に記載の技術では、特定の対象に注意を向けさせたいという目的に対して、撮影空間中の被写体画像に生成した三次元ＣＧ画像を重畳し、撮影された画像あるいは三次元ＣＧ画像、又はその両方に色相、彩度、シェーディング、ライティング方向の少なくとも一つの要素に付いて画像処理を施すか、あるいは透過マピング、陰線消去ワイヤーフレーム表示、点滅表示などの表示手法でオーバーレイし三次元デジタル拡大鏡に表示される施術対象となる物体あるいは生体の画像情報に対して差異を設け視覚的認知性を向上させる。また、特許文献１に記載の技術では、デジタル高拡大率で使用する場合に、患者解剖学的特定部位の三次元コンピュータグラフィクスボリュームモデルの三次元デジタル拡大鏡モニター表示範囲外の対象物あるいは患者解剖学的の目的部位が存在する方向を、画像表示装置の辺縁を点滅するか、矢印で方向指示を表示する、あるいは分画表示画面に縮小全体表示した全体画像中に表示部位の画角部位を枠で囲んで表示する。特許文献１に記載の技術では、このような画像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）グラスに表示させる。

再公表ＷＯ２００９／１１６６６３号公報

R. Bailey., A. Mcnamara, N. Sudarsanam, et al.: "Subtle gaze direction," ACM Transactions on Graphics,2009,Vol. 28, No. 4, pp. 17 -25,

しかしながら、従来技術のように点滅のような視覚的修飾によって目立たせる手法では、対象の見た目が変化してしまう。特にその手法による強調が同時に複数存在すると、雑然とした見た目となってしまい、表示させる画像のデザインにも制約が生じる。また自動車の運転などでは、従来技術によって特定の個所に（たとえば車道上の自転車に）意識が集中させられてしまったがゆえに、想定外の事象（たとえば死角から歩行者が現れるなど）が起きた時に、むしろ臨機応変の対応が取れずに危険を招くようなこともある。

本発明は、上記の問題点に鑑みてなされたものであって、提示画像のデザインへの制約を最小にしつつ、かつ視覚に過度に影響を与えることによって想定外の事象に対する臨機応変の行動を制約してしまうことを回避しつつ、必要な場所に利用者の注意を誘導することができる視認装置および視認方法を提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係る視認装置（１，１Ａ）は、左眼と右眼に対して所定の画像を表示させることにより、利用者に前記所定の画像に含まれる注目させる部分の画像を認識させる視認装置であって、前記注目させる部分について前記左眼に対応する画像および前記右眼に対応する画像の少なくとも１つに対して加工する画像処理部（１２，１２Ａ）と、前記加工された画像を含む前記所定の画像を表示する表示部（１８）と、を備える。

（２）また、本発明の一態様に係る視認装置において、前記注目させる部分の画像は、他の画像の表示形態とは異なるように形成された画像であるようにしてもよい。

（３）また、本発明の一態様に係る視認装置において、前記画像処理部は、前記所定の画像から、エキスパートの視線の動きに基づいて、前記注目させる部分の画像を抽出するようにしてもよい。

（４）また、本発明の一態様に係る視認装置において、前記画像処理部は、前記注目させる部分について前記左眼に対応する画像および前記右眼に対応する画像の少なくとも１つに対して強調加工を行うか曖昧化加工を行うようにしてもよい。

（５）上記目的を達成するため、本発明の一態様に係る視認方法は、左眼と右眼に対して所定の画像を表示させることにより、利用者に前記所定の画像に含まれる注目させる部分の画像を認識させる視認装置の視認方法であって、画像処理部が、前記注目させる部分について前記左眼に対応する画像および前記右眼に対応する画像の少なくとも１つに対して加工する画像処理手順と、表示部が、前記加工された画像を含む前記所定の画像を表示する表示手順と、を含む。

上述した（１）または（５）によれば、人間が目（裸眼）で見ているのとほとんど相違ない（ストレスのない）状態で、特定の対象に意識を向けさせることができる。これにより、上述した（１）または（５）によれば、利用者が作業する上で邪魔になったり不快感を与えることが無く、また突発的な事象にも人間に対応能力を担保することが可能になる。また、上述した（１）または（５）によれば、デザインへの制約を最小にしつつ必要な場所にユーザ(または閲覧者)の注意を誘導することが可能になる。上述した（１）または（５）によれば、デザインや広告、安全表示の自由度を高めつつ、効果的に必要な情報を伝えることが可能になる。脳の視認特性を利用して、注目させたい画像を認識させやすくすることができる。

また、上述した（２）または（４）によれば、二つの画像の平均が知覚されるため、ほぼ元画像と同じ見た目が再現されるが、強調部分について左右眼に異なる情報が与えられているため、その部分に注意が誘導される。
また、上述した（３）によれば、熟練者が注目する注目点を学ぶことができる。

実施形態に係る視認装置の構成例を示すブロック図である。 実施形態に係る視認装置の外観例を示す斜視図である。 実験で使用した左眼への刺激例と、右眼への刺激例を示す図である。 実施形態に係る視認装置が行う処理手順例のフローチャートである。 取得された画像例を示す図である。 注目点分析部によって抽出された注目点の例を示す図である。 表示注目点生成部によって生成された画像例を示す図である。 第１表示部と第２表示部それぞれに表示される画像例を示す図である。 実施形態に係る視認装置の他の構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

まず、車両の運転または、車両の運転の訓練に視認装置１を適用する例を説明する。
図１は、本実施形態に係る視認装置１の構成例を示すブロック図である。図１に示すように、視認装置１は、通信部１０、センサ１１、画像処理部１２、外部環境モデル格納部１３、エキスパートモデル格納部１４、効果的表示モデル格納部１６、および表示部１８を備える。
画像処理部１２は、外部環境認識部１２１、注目点分析部１２２、および表示注目点生成部１２３を備える。
センサ１１は、第１撮影部１１１および第２撮影部１１２を備える。
表示部１８は、第１表示部１８１および第２表示部１８２を備える。

通信部１０は、外部装置と通信を行って情報の送信と受信を行う。外部装置は、例えば基地局、サーバー等である。視認装置１と外部装置とは、無線回線または有線回線で接続されている。通信部１０は、受信した位置情報を含む情報を外部環境認識部１２１に出力する。外部環境モデル格納部１３がネットワーク上にある場合、通信部１０は、外部環境認識部１２１の指示に応じて、ネットワーク上の外部環境モデル格納部１３を参照して取得した情報を外部環境認識部１２１に出力する。エキスパートモデル格納部１４がネットワーク上にある場合、通信部１０は、注目点分析部１２２の指示に応じて、ネットワーク上のエキスパートモデル格納部１４を参照して取得した情報を注目点分析部１２２に出力する。効果的表示モデル格納部１６がネットワーク上にある場合、通信部１０は、表示注目点生成部１２３の指示に応じて、ネットワーク上の効果的表示モデル格納部１６を参照して取得した情報を表示注目点生成部１２３に出力する。

センサ１１は、外部環境を認識する際に必要な情報を検出するセンサである。なお、センサ１１は、他にジャイロセンサ、加速度センサ等を備えていてもよい。

第１撮影部１１１および第２撮影部１１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ撮影装置、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ撮影装置等である。第１撮影部１１１は、例えば利用者の右眼側に取り付けられている。第２撮影部１１２は、例えば利用者の左眼側に取り付けられている。第１撮影部１１１および第２撮影部１１２は、撮影した画像を外部環境認識部１２１に出力する。なお、第１撮影部１１１が撮影した画像には、第１撮影部１１１が撮影したことを示す識別情報が含まれている。第２撮影部１１２が撮影した画像には、第２撮影部１１２が撮影したことを示す識別情報が含まれている。

画像処理部１２は、画像を取得し、取得された画像から注目すべき注目点の画像を抽出する。画像処理部１２は、抽出した注目点の画像に対して左眼用の画像と右眼用の画像に異なる画像処理を行う。画像処理部１２は、注目点の領域に画像処理した画像を表示部１８に表示させる。

外部環境認識部１２１は、第１撮影部１１１が撮影した第１画像および第２撮影部１１２が撮影した第２画像を取得する。外部環境認識部１２１は、周知の手法で画像認識処理（二値化処理、輪郭抽出処理、クラスタリング処理、特徴量抽出処理等）を行うことで、取得した画像（第１画像、第２画像）に対して人や物などの注目すべき対象物の画像を認識する。外部環境認識部１２１は、認識結果と取得した画像を、注目点分析部１２２に出力する。なお、外部環境認識部１２１は、抽出する対象物の画像の位置を、周知の手法で追跡する。外部環境認識部１２１は、取得した画像を表示注目点生成部１２３に出力する。なお、撮影装置が１つであり、撮影された画像が１つの場合、外部環境認識部１２１は、１つの画像を右眼用の画像と左眼用の画像に分割し、分割した画像（第１画像、第２画像）を表示注目点生成部１２３に出力する。

外部環境モデル格納部１３は、予め構築された画像認識に使用される画像認識モデルを格納する。なお、外部環境モデル格納部１３はネットワーク上に設けられていてもよい。なお、画像認識モデルとは、例えば、視認装置１が使用される用途に応じた検出する対象際に、例えばパターンマッチングや特徴量の比較に用いられるモデルである。視認装置１が例えば車両の運転訓練等に使用される場合、画像認識モデルは、例えば、大人、子供、犬、猫、自転車、自動二輪車、車線、ガードレール等の識別を可能にするモデル（画像または特徴量）である。

エキスパートモデル格納部１４は、予め構築されたエキスパートモデルを格納する。なお、格納するエキスパートモデルの種類は、視認装置１の用途に応じたものであればよく、例えば無事故運転手、ドライビングスクールの講師、レーシングドライバ等の注目点の情報である。なお、エキスパートモデル格納部１４はネットワーク上に設けられていてもよい。なお、エキスパートモデルとは、運転時の熟練者の視線の動きを学習して構築したモデルである。エキスパートモデル格納部１４は、例えば、エキスパートの視線を視線追跡によって取得し、視線の順序や範囲、保持時間をデータとして蓄積することでモデルを構築する。

注目点分析部１２２は、外部環境認識部１２１が出力する認識結果と画像を取得する。注目点分析部１２２は、取得した認識結果と画像に基づいて、外部環境モデル格納部１３とエキスパートモデル格納部１４を参照して、注目点を分析する。具体的には、注目点分析部１２２は、注目点の座標と範囲を設定する。注目点分析部１２２は、分析した分析結果を表示注目点生成部１２３に出力する。

効果的表示モデル格納部１６は、注目点の種類に応じて、画像を強調加工するモデルと、画像を曖昧化加工するモデルを格納する。なお、効果的表示モデル格納部１６はネットワーク上に設けられていてもよい。

表示注目点生成部１２３は、外部環境認識部１２１が出力する画像を取得し、注目点分析部１２２が出力する分析結果を取得する。表示注目点生成部１２３は、取得した画像と分析結果に基づいて、効果的表示モデル格納部１６を参照して画像に対して処理を行う。具体的には、表示注目点生成部１２３は、第１画像に対して画像上の注目点を強調加工の処理を行う。表示注目点生成部１２３は、強調加工した画像を第１表示部１８１に出力する。表示注目点生成部１２３は、第２画像に対して画像上の注目点を曖昧化加工の処理を行う。表示注目点生成部１２３は、曖昧化加工した画像を第２表示部１８２に出力する。なお、注目点の画像の加工方法については後述する。

表示部１８は、例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；仮想現実）グラスまたはＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）グラス、またはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）グラスである。
第１表示部１８１は、表示注目点生成部１２３が出力する強調加工された画像を表示する。
第２表示部１８２は、表示注目点生成部１２３が出力する曖昧化加工された画像を表示する。

次に、視認装置１の外観例を説明する。
図２は、本実施形態に係る視認装置１の外観例を示す斜視図である。図２に示す例は、視認装置１をＶＲグラスに適用した例である。
図２に示す例では、第１撮影部１１１が右側前面に取り付けられ、第２撮影部１１２が左側前面に取り付けられている。また、例えばテンプルに、センサ１１、外部環境認識部１２１、外部環境モデル格納部１３、エキスパートモデル格納部１４、注目点分析部１２２、効果的表示モデル格納部１６、および表示注目点生成部１２３が格納されている。
なお、図２に示した構成や外観は一例であり、これに限らない。

次に、注意誘導の原理とメカニズムについて説明する（参考文献１参照）。
本実施形態では、注目点の画像に対して、両眼間の明るさ混合現象を利用し、見えの明るさを変えずに視覚的注意を誘引するように加工する。

左眼と右眼に輝度の異なる刺激を入力した時に、それが融合して中間の輝度で知覚されることを利用して、見えの明るさを変えることなく、視覚的注意を誘導する視覚パターンの可能性を検証した。
両眼輝度差刺激を用いた暗黙的な注意の誘引を可能にするためには、左眼と右眼に呈示する輝度の差がなるべく大きくなるようにしながら、同時にそれらが安定して一つの明るさとして知覚される必要がある。図３は、実験で使用した左眼への刺激例と、右眼への刺激例を示す図である。符号ｇ１が示す画像は左眼への刺激であり、符号ｇ２が示す画像は右眼への刺激である。この例では、中央に十字で示した固視点に対して、左視野が標準刺激であり、右視野が比較刺激である。標準刺激では左右眼に同じ輝度が呈示されており、比較刺激では異なる輝度が呈示されている。刺激の輝度を０（黒）から１００（白）とし、標準刺激の各眼への輝度は常に５０とし、比較刺激の右眼及び左眼への輝度をそれぞれは、１０〜９０の範囲を１０刻みにした９段階の値とした。組み合わせは、９段階×９段階の８１通りである。

これらの刺激を用いて実験を行った結果、安定した両眼の明るさ混合を得るには、横軸に左眼に呈示した比較刺激の輝度値、縦軸に右眼に呈示した比較刺激の輝度値として測定値をプロットしたグラフにおいて中央付近のＬｉｎｅａｒ Ｓｕｍｍａｔｉｏｎ（線形加算）で説明できる範囲である必要があることが分かった。この解釈に基づき、実験結果からＬｉｎｅａｒ Ｓｕｍｍａｔｉｏｎ方式で、両眼間の輝度差がなるべく大きくなる組み合わせを設定する必要であることが分かった。

このように設定した輝度の組み合わせを用いて作成した両眼輝度差刺激が、注意を誘引することができるかどうかを逐次探索が生じる視覚探索課題の探索時間に注目して検証した。この検証により、逐次探索が生じる視覚探索課題を行い、背景パターンに両眼輝度差刺激を適用することによって目標刺激の表示領域の手がかりを与えた場合と与えない場合を比較したところ、適用した場合に目標刺激の探索時間が短縮される傾向が確認できた。

（参考文献１）「無意識の注意誘導のための両眼加算を用いた情報表示手法の検証」、田中裕也、仁科繁明、菅野重樹、映像情報メディア学会、２０１５、映像情報メディア学会技術報告 Ｖｏｌ．３９，Ｎｏ．４６，ｐ３９−４４

以上の実験・検証結果に基づき、本実施形態では、左眼と右眼に提示する様々な輝度の組み合わせに対して安定して明るさの混合が起き、かつ両眼間の輝度差が最大となる組み合わせを表示注目点生成部１２３が選択する。そして、表示注目点生成部１２３が、選択した結果に基づいて、第１画像に対して強調加工を行い、第２画像に対して曖昧化加工を行う。

これにより、本実施形態によれば、色や明るさや動きを用いた明示的な方法と異なる、視覚的な煩雑さをともなわずに注意を喚起する情報表示とすることができる。この結果、本実施形態によれば、人間が目（裸眼）で見ているのとほとんど相違ない（ストレスのない）状態で、特定の対象に意識を向けさせることができる。

次に、視認装置１が行う処理手順例と画像例を、図４〜図８を用いて説明する。
図４は、本実施形態に係る視認装置１が行う処理手順例のフローチャートである。図５は、取得された画像例を示す図である。図６は、注目点分析部１２２によって抽出された注目点の例を示す図である。図７は、表示注目点生成部１２３によって生成された画像例を示す図である。図８は、第１表示部１８１と第２表示部１８２それぞれに表示される画像例を示す図である。

（ステップＳ１）第１撮影部１１１と第２撮影部１１２は、静止画または連続した静止画または動画の撮影を行う。続けて、外部環境認識部１２１は、撮影された画像（図５）を取得する。なお、訓練の場合、外部環境認識部１２１は、撮影済みの静止画または連続した静止画または動画を取得するようにしてもよい。

（ステップＳ２）外部環境認識部１２１は、取得した画像を第１画像と第２画像に分割する。なお、外部環境認識部１２１は、第１撮影部１１１が撮影した画像を第１画像とし、第２撮影部１１２が撮影した画像を第２画像とするようにしてもよい。続けて、外部環境認識部１２１は、周知の手法で画像認識処理を行うことで、取得した画像（第１画像、第２画像）に対して人や物などの対象物の画像を認識する。

（ステップＳ３）注目点分析部１２２は、外部環境認識部１２１によって認識された認識結果と取得された画像に基づいて、外部環境モデル格納部１３とエキスパートモデル格納部１４を参照して、注目点を分析する。図６において、符号ｇ１１で囲んだ領域が注目点の領域である。なお、画像は、ｘｙ座標系で表され、画像上の位置や領域はｘｙの値によって表される。なお、注目点の領域は１つに限られず、２つ以上であってもよい。

（ステップＳ４）表示注目点生成部１２３は、分析結果に基づいて、効果的表示モデル格納部１６を参照して、第１画像に対して画像上の注目点を強調加工の処理を行う。図７の符号ｇ２１の画像は、注目点の画像に対して強調加工の処理を行った画像である。

（ステップＳ５）表示注目点生成部１２３は、分析結果に基づいて、効果的表示モデル格納部１６を参照して、第２画像に対して画像上の注目点を曖昧化加工の処理を行う。図７の符号ｇ２２の画像は、注目点の画像に対して曖昧化加工の処理を行った画像である。

（ステップＳ６）第１表示部１８１は、表示注目点生成部１２３によって強調加工された画像を表示する。図８の符号ｇ３１が示す画像は、取得された画像のうち注目点が強調加工された画像である。
（ステップＳ７）第２表示部１８２は、表示注目点生成部１２３によって曖昧化加工された画像を表示する。図８の符号ｇ３２が示す画像は、取得された画像のうち注目点が強調加工された画像である。

本実施形態によれば、このように注目点が強調加工された画像を第１表示部１８１に表示させ、注目点が曖昧化加工された画像を第２表示部１８２に表示させることで、視覚的注意を利用者に誘引することができる。なお、上述したように、本実施形態では、第１表示部１８１および第２表示部１８２それぞれに表示される画像は、注目点の画像が、他の画像表示形態と異なる（強調されている、または曖昧化されている）ように形成されている。また、本実施形態では、第１表示部１８１に表示させる注目点への加工と、第２表示部１８２に表示させる注目点への加工とが異なっている。このように、本実施形態では、視覚パターンとして、元画像に対して、強調したい部分の輝度を少し上げた画像と下げた画像を作成し、それらを上記ディスプレイを用いて左右眼に個別に表示するようにした。

なお、上述した例では、第１画像の注目点に対して強調加工を行い、第２画像の注目点に対して曖昧化加工を行う例を説明したが、これに限らない。第２画像の注目点に対して強調加工を行い、第１画像の注目点に対して曖昧化加工を行うようにしてもよい。

以上のように、本実施形態では、両眼への視覚情報に差異がある時に注意が向けられるという視覚の特性を使って注意誘導を行うようにした。
また、本実施形態では、両眼への差異が小さければその平均の像が知覚されることを利用して、一見なんら強調表示がされていないように見せながら、注意を誘導する視覚表示を行うようにした。

また、本実施形態では、表示部１８に、両眼に別々の画像を表示することができるディスプレイを使用するようにした。なお、表示部１８は、シャッターあるいは偏光フィルタをディスプレイ側あるいはメガネに用いて左右眼への像を表示し分けるタイプのディスプレイや、ヘッドマウントディスプレイのように両眼それぞれに二つの表示部（第１表示部１８１、第２表示部１８２）で表示するものなど、三次元表示ＴＶ（テレビ）等であってもよい。

これにより、本実施形態によれば、二つの画像の平均が知覚されるため、ほぼ元画像と同じ見た目が再現されるが、強調部分について左右眼に異なる情報が与えられているため、その部分に注意が誘導される。
また、本実施形態によれば、画像に含まれる注目点に対して強調加工と曖昧化加工して呈示するため、脳の視認特性を利用して、注目させたい画像を認識させやすくすることができる。本実施形態によれば、特に、人間が目（裸眼）で見ているのとほとんど相違ない（ストレスのない）状態で、特定の対象に意識を向けさせることができる。この結果、本実施形態によれば、利用者が作業する上で邪魔になったり利用者に不快感を与えることが無く、また突発的な事象にも人間に対応能力を担保することが可能になる。

また、本実施形態によれば、注目点に対して従来のように矢印や枠などを表示させないため、デザインへの制約を最小にしつつ必要な場所に利用者（または閲覧者）の注意を誘導することが可能になる。この結果、デザインや広告、安全表示の自由度を高めつつ、効果的に必要な情報を伝えることが可能になる。

なお、上述した例では、第１画像に含まれる注目点の画像と、第２画像に含まれる注目点の画像との両方を加工する例を説明したが、加工するのはどちらか１つであってもよい。

＜実施例＞
上述した実施形態では、視認装置１を、車両の運転、車両の運転の訓練に適用する例を説明したが、他にも適用可能である。

図９は、本実施形態に係る視認装置の他の構成例を示すブロック図である。図９に示すように、視認装置１Ａは、通信部１０、センサ１１Ａ、画像処理部１２Ａ、外部環境モデル格納部１３Ａ、エキスパートモデル格納部１４Ａ、効果的表示モデル格納部１６Ａ、および表示部１８を備える。
画像処理部１２Ａは、外部環境認識部１２１Ａ、注目点分析部１２２Ａ、および表示注目点生成部１２３Ａを備える。
センサ１１Ａは、第１撮影部１１１、第２撮影部１１２、第１収音部１１３、第２収音部１１４、生体センサ１１５、視線センサ１１６、…を備える。
表示部１８は、第１表示部１８１および第２表示部１８２を備える。
なお、視認装置１が備える機能部と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。また、視認装置１Ａは、操作部１９を備えていてもよい。

操作部１９は、利用者が操作した操作結果を検出し、検出した操作結果を画像処理部１２Ａに出力する。操作結果には、例えば訓練の種類（外科手術、運転、囲碁、将棋、かるた、コンピュータゲーム、装置の操作、格闘技等）を示す情報が含まれている。

第１收音部１１３および第２收音部１１４は、音響信号を收音し、収音した音響信号を外部環境認識部１２１Ａに出力する。なお、第１収音部１１３が出力する音響信号には、第１収音部１１３を示す情報が付加されている。第２収音部１１４が出力する音響信号には、第２収音部１１４を示す情報が付加されている。

生体センサ１１５は、生体情報を検出するセンサであり、例えば心拍センサ、脳波センサ、表面筋電位センサ等である。生体センサ１１５は、検出した生体信号を外部環境認識部１２１Ａに出力する。なお、生体センサ１１５が出力する生体信号には、生体センサ１１５を示す情報が付加されている。

視線センサ１１６は、利用者の視線を検出するセンサであり、例えば撮影部と受光部と画像処理部によって構成されている。視線センサ１１６は、検出した検出結果を外部環境認識部１２１Ａに出力する。なお、視線センサ１１６が出力する検出結果には、視線センサ１１６を示す情報が付加されている。

外部環境認識部１２１Ａは、第１撮影部１１１が撮影した第１画像、第２撮影部１１２が撮影した第２画像を取得する。外部環境認識部１２１Ａは、第１収音部１１３が収音した音響信号、第２収音部１１４が収音した音響信号、生体センサ１１５が検出した生体信号、および視線センサ１１６が検出した視線検出結果のうち少なくとも１つを取得するようにしてもよい。
外部環境認識部１２１Ａは、取得された画像に対して周知の手法で画像認識処理を行うことで、取得した画像（第１画像、第２画像）に対して人や物などの注目すべき対象物の画像を認識する。外部環境認識部１２１は、画像を認識した画像認識結果と取得した画像を、注目点分析部１２２に出力する。なお、外部環境認識部１２１は、抽出する対象物の画像の位置を、周知の手法で追跡する。外部環境認識部１２１は、取得した画像を表示注目点生成部１２３に出力する。
外部環境認識部１２１Ａは、取得された音響信号に対して周知の手法で音声認識処理（雑音抑圧処理、音源方位同定処理、音源同定処理等）を行う。外部環境認識部１２１Ａは、認識した音声認識結果を注目点分析部１２２と表示注目点生成部１２３に出力する。
外部環境認識部１２１Ａは、取得された生体信号に対して周知の手法で信号処理を行って、心拍、脳波、表面筋電位等の生体情報を算出する。外部環境認識部１２１Ａは、算出した生体情報を注目点分析部１２２と表示注目点生成部１２３に出力する。
外部環境認識部１２１Ａは、視線センサ１１６から取得された検出結果に対して周知の手法で信号処理を行って、利用者の視線位置を決定する。外部環境認識部１２１Ａは、決定した視線位置を注目点分析部１２２と表示注目点生成部１２３に出力する。
外部環境認識部１２１Ａは、操作部１９が出力する操作結果に応じて、外部環境モデル格納部１３Ａ、エキスパートモデル格納部１４Ａ、および効果的表示モデル格納部１６Ａそれぞれが格納するモデルを選択する。外部環境認識部１２１Ａは、操作部１９が出力する操作結果に応じて、外部環境認識部１２１Ａ、注目点分析部１２２Ａ、および表示注目点生成部１２３Ａの動作モード（外科手術、運転、囲碁、将棋、かるた、コンピュータゲーム、装置の操作、格闘技等）を切り替える。

外部環境モデル格納部１３Ａは、予め構築された画像認識に使用される画像認識モデルを格納する。なお、外部環境モデル格納部１３はネットワーク上に設けられていてもよい。なお、画像認識モデルとは、例えば、視認装置１が使用される用途に応じた検出する対象際に、例えばパターンマッチングや特徴量の比較に用いられるモデルである。視認装置１が例えば車両の運転訓練等に使用される場合、画像認識モデルは、例えば外科医の訓練用のモデル、将棋の対局のモデル、囲碁の対局のモデル、工場の設備の操作のモデル、プロフェッショナルゲーマー（Ｐｒｏｆｅｓｓｉｏｎａｌ Ｇａｍｅｒ）のモデル、かるたの対局のモデル等である。例えば、工場の設備の操作のモデルの場合は、装置の各操作ボタン、動作するロボットアーム、取り付ける部品、取り付けるネジ等を画像認識するためのモデルである。また、将棋の対局のモデルの場合は、各駒の画像、盤面を画像認識するためのモデルである。プロフェッショナルゲーマーのモデルの場合は、ゲームに登場するキャラクターや装備や背景を画像認識するためのモデルである。

エキスパートモデル格納部１４Ａは、予め構築されたエキスパートモデルを格納する。なお、格納するエキスパートモデルの種類は、視認装置１の用途に応じたものであればよく、例えば無事故運転手、ドライビングスクールの講師、レーシングドライバ等の注目点の情報である。なお、エキスパートモデル格納部１４Ａはネットワーク上に設けられていてもよい。エキスパートモデル格納部１４Ａは、例えば、エキスパートの視線を視線追跡によって取得し、視線の順序や範囲、保持時間をデータとして蓄積することでモデルを構築する。

注目点分析部１２２Ａは、外部環境認識部１２１Ａが出力する画像認識結果と画像と音声認識結果と生体情報と視線位置を取得する。注目点分析部１２２Ａは、取得した画像認識結果と画像と音声認識結果と生体情報と視線位置に基づいて、外部環境モデル格納部１３Ａとエキスパートモデル格納部１４Ａを参照して、注目点を分析する。具体的には、注目点分析部１２２Ａは、注目点の座標と範囲を設定する。注目点分析部１２２Ａは、分析した分析結果を表示注目点生成部１２３Ａに出力する。

効果的表示モデル格納部１６Ａは、用途に応じた注目点の種類に応じて、画像を強調加工するモデルと、画像を曖昧化加工するモデルを格納する。なお、効果的表示モデル格納部１６Ａはネットワーク上に設けられていてもよい。

表示注目点生成部１２３Ａは、外部環境認識部１２１Ａが出力する画像を取得し、注目点分析部１２２Ａが出力する分析結果を取得する。表示注目点生成部１２３Ａは、取得した画像と分析結果に基づいて、効果的表示モデル格納部１６Ａを参照して画像に対して処理を行う。表示注目点生成部１２３Ａは、強調加工した画像を第１表示部１８１に出力する。表示注目点生成部１２３は、曖昧化加工した画像を第２表示部１８２に出力する。

次に、視認装置１Ａを、外科医の訓練へ適用する例を説明する。
この場合、外部環境モデル格納部１３Ａは、外科手術等の際に使用する画像（患部、処置を行う部位、怪我や病気の箇所等）を認識するための画像モデルを格納する。エキスパートモデル格納部１４Ａは、外科手術における熟練の外科医の視線の動きを格納する。効果的表示モデル格納部１６Ａは、外科手術に適した画像を強調加工するモデルと、画像を曖昧化加工するモデルを格納する。また、生体センサ１１５は、治療対象の患者に装着されていてもよい。また、生体信号は、患者に装着されていると想定し、治療の進行に合わせて取得または生成した信号であってもよい。注目点分析部１２２Ａは、例えば、取得した画像認識結果と画像と（患者の音声、計器の動作音等に対する）音声認識結果と生体情報に基づいて、外部環境モデル格納部１３Ａとエキスパートモデル格納部１４Ａを参照して、注目点を分析する。表示注目点生成部１２３Ａは、取得した画像と分析結果に基づいて、効果的表示モデル格納部１６Ａを参照して画像に対して処理を行う。

これにより、本実施形態によれば、視認装置１Ａを用いて外科手術の訓練を行う際に、両眼への視覚情報に差異がある時に注意が向けられるという視覚の特性を使って注意誘導を行うことができる。

次に、視認装置１Ａを、格闘技の訓練へ適用する例を説明する。
この場合、外部環境モデル格納部１３Ａは、格闘技の際に使用する画像（攻撃ポイント、弱点の位置等）を認識するための画像モデルを格納する。エキスパートモデル格納部１４Ａは、格闘技における熟練の選手の視線の動きを格納する。効果的表示モデル格納部１６Ａは、格闘技に適した画像を強調加工するモデルと、画像を曖昧化加工するモデルを格納する。注目点分析部１２２Ａは、例えば、取得した画像認識結果と画像と（対戦相手の音声信号に対する）音声認識結果に基づいて、外部環境モデル格納部１３Ａとエキスパートモデル格納部１４Ａを参照して、注目点を分析する。表示注目点生成部１２３Ａは、取得した画像と分析結果に基づいて、効果的表示モデル格納部１６Ａを参照して画像に対して処理を行う。

これにより、本実施形態によれば、視認装置１Ａを用いて格闘技の訓練を行う際に、両眼への視覚情報に差異がある時に注意が向けられるという視覚の特性を使って注意誘導を行うことができる。

なお、本発明における視認装置１（または１Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視認装置１（または１Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１，１Ａ…視認装置、１０…通信部、１１…センサ、１２，１２Ａ…画像処理部、１３，１３Ａ…外部環境モデル格納部、１４，１４Ａ…エキスパートモデル格納部、１６，１６Ａ…効果的表示モデル格納部、１８…表示部、１１１…第１撮影部、１１２…第２撮影部、１２１，１２１Ａ…外部環境認識部、１２２，１２２Ａ…注目点分析部、１２３，１２３Ａ…表示注目点生成部、１１３…第１收音部、１１４…第２收音部、１１５…生体センサ、１１６…視線センサ、１８１…第１表示部、１８２…第２表示部

Claims (5)

1. 左眼と右眼に対して所定の画像を表示させることにより、利用者に前記所定の画像に含まれる注目させる部分の画像を認識させる視認装置であって、
   前記注目させる部分について前記左眼に対応する画像および前記右眼に対応する画像の少なくとも１つに対して加工する画像処理部と、
   前記加工された画像を含む前記所定の画像を表示する表示部と、
   を備える視認装置。
2. 前記注目させる部分の画像は、他の画像の表示形態とは異なるように形成された画像である、請求項１に記載の視認装置。
3. 前記画像処理部は、
   前記所定の画像から、エキスパートの視線の動きに基づいて、前記注目させる部分の画像を抽出する、請求項１または請求項２に記載の視認装置。
4. 前記画像処理部は、
   前記注目させる部分について前記左眼に対応する画像および前記右眼に対応する画像の少なくとも１つに対して強調加工を行うか曖昧化加工を行う、請求項１から請求項３のいずれか１項に記載の視認装置。
5. 左眼と右眼に対して所定の画像を表示させることにより、利用者に前記所定の画像に含まれる注目させる部分の画像を認識させる視認装置の視認方法であって、
   画像処理部が、前記注目させる部分について前記左眼に対応する画像および前記右眼に対応する画像の少なくとも１つに対して加工する画像処理手順と、
   表示部が、前記加工された画像を含む前記所定の画像を表示する表示手順と、
   を含む視認方法。