JP2015149552A - ウェアラブル型電子機器 - Google Patents

Abstract

【課題】手を使わずに画角を変更すること。【解決手段】ウェアラブル型電子機器１０は、被写体を撮像する撮像部１４と、情報を表示する透過型の表示部１５と、表示部１５を透過して被写体を観察するユーザーの表示部１５上における視線位置を検出する視線検出部２２と、視線検出部２２によって検出される視線位置に基づいて撮像部１４による画角制御を行う撮像制御部と、ユーザーの体に装着するための装着部１２と、を備える。【選択図】図１

Description

本発明は、ウェアラブル型電子機器に関する。

メガネ型のフレームにカメラ、ディスプレイ、マイク等を備えたウェアラブルデバイスが知られている（特許文献１参照）。従来の技術では、ユーザーの両手の指で作られる枠に基づいて、画像の切り出し範囲が設定される。

日本国特許第４４４９０８２号公報

従来技術では、画像上の範囲を設定するために両手を動かす必要があり、手がふさがっている場合の設定が困難であった。

本発明によるウェアラブル型電子機器は、被写体を撮像する撮像部と、情報を表示する透過型の表示部と、表示部を透過して被写体を観察するユーザーの表示部上における視線位置を検出する視線検出部と、視線検出部によって検出される視線位置に基づいて撮像部による画角制御を行う撮像制御部と、ユーザーの体に装着するための装着部と、を備える。

本発明によるウェアラブル型電子機器では、手を使わずに画角を変更できる。

本発明の第一の実施形態による撮像装置が搭載されたメガネタイプのデバイスの斜視図である。 デバイスのブロック構成を例示する図である。 撮像方向の設定を説明する図である。 画角の変更を説明する図である。 画角の変更を説明する図である。 画角の変更を説明する図である。 コメント入力を説明する図である。 コメント入力を説明する図である。 画角変更後に撮像された画像に相当する図である。 第二の実施形態による画角の変更を説明する図である。 第二の実施形態による画角の変更を説明する図である。 第二の実施形態による画角の変更を説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態によるメガネタイプのデバイス１０の斜視図である。デバイス１０は、ユーザーの身体（例えば耳と鼻）で保持される形状に構成されている。デバイス１０の中央下部１０Ａに設けられた不図示のパッド（鼻あて）がユーザーの鼻に当接し、デバイス１０の左右の蔓１２の先端の湾曲部１２Ａがユーザーの耳にかけられることで、デバイス１０がユーザーの頭部に装着される。

ユーザーがデバイス１０を装着すると、アイグラスディスプレイ１５がユーザーの視野を覆う。アイグラスディスプレイ１５は画像表示素子５２（図２）を内蔵し、この画像表示素子５２がユーザーの眼の方向に画像を表示する。画像表示素子５２の表示は、フレーム１０Ｂの内部に設けられた表示制御部５４（図２）によって制御される。

アイグラスディスプレイ１５は、外界からの光を透過するように構成される。このため、ユーザーは、アイグラスディスプレイ１５を通して外界の被写体像を観察できる。ユーザーはさらに、外界の被写体像に重ねて、上記画像表示素子５２によって表示された表示像を観察できる。フレーム１０Ｂにおいてユーザーの顔と対向する側には、ユーザーの視線方向を検知する視線方向検知装置２２が設けられている。なお、視線方向検知装置２２はユーザーの目の瞬きも検知可能に構成される。

右耳にかけられる蔓１２の基端部、すなわちデバイス１０の右端に、カメラ部１４が設けられている。カメラ部１４は撮像ユニット６２（図２）を内蔵する。撮像ユニット６２は、ユーザーの前方（矢印Ａ方向）に位置する被写体の像を、撮像光学系１３を通して撮像する。

左耳にかけられる蔓１２の基端部、すなわちデバイス１０の左端には、音声認識装置１６が設けられている。音声認識装置１６からアーム１８がユーザーの口もとまで延設され、そのアーム１８の先端にマイクロホン２０が設置される。また、左右の蔓１２には不図示のスピーカが内蔵されている。スピーカは、音声情報を再生する。

デバイス１０は、電源がオンされると、カメラ部１４に内蔵された撮像ユニット６２によって被写体像を所定のフレームレート（例えば３０フレーム／秒）で繰り返し撮像する。デバイス１０は、シャッターレリーズの指示を受けると、該シャッターレリーズの指示に応じて撮像ユニット６２が撮像した画像のデータをメモリ６８（図２）に記録する。

音声認識装置１６は、前記マイクロホン２０を介してユーザーの発する言葉（音声）を取り込む。取り込まれた音声の信号はＣＰＵ７０（図２）へ送出される。ＣＰＵ７０は、音声信号に基づいて認識した言葉の内容に応じて撮像ユニット６２（図２）へ所定のコマンドを送る。例えば、「レリーズ」という言葉を認識するとカメラ部１４にシャッターレリーズのコマンドを送る。カメラ部１４は、コマンドに応じて撮像ユニット６２で撮像された画像をメモリ６８（図２）に記録する。

図２は、デバイス１０のブロック構成を例示する図である。デバイス１０は、上述したようにカメラ部１４、音声認識装置１６、視線方向検知装置２２、および表示部５０を備える。カメラ部１４は、撮像光学系１３と、撮像ユニット６２と、画像処理部６４と、範囲設定部６６と、メモリ６８と、ＣＰＵ７０と、アクチュエータ７２と、を含む。

撮像光学系１３はフォーカス光学系やズーム光学系を含み、上述したようにユーザーの前方の被写体像を撮像ユニット６２の撮像面上に結像させる。各光学系は、ＣＰＵ７０からの制御信号を受けたアクチュエータ７２によって駆動される。撮像ユニット６２はＣＭＯＳセンサなどの撮像素子を有し、被写体像を光電変換する。撮像ユニット６２はさらに、光電変換後の画像信号をＡ／Ｄ変換して画像処理部６４へ送出する。

画像処理部６４は、画像信号に対してホワイトバランス調整やガンマ補正等の所定の画像処理を行う。範囲設定部６６は、ＣＰＵ７０からの指示に応じて範囲設定を行う。範囲設定の詳細については後述する。

メモリ６８には、撮像された画像のデータやトリミング後の画像のデータが記録される。また、メモリ６８は制御プログラムを格納する。ＣＰＵ７０は、メモリ６８に記録されている制御プログラムに基づいてデバイス１０の各部に対する制御を行う。視線方向検知装置２２は、ＣＰＵ７０からの指示に応じて、デバイス１０を装着したユーザーの瞳孔を解析することにより視線方向を検知する。

音声認識装置１６は、主としてマイクロホン２０とＡ／Ｄ変換部８０とを含む。Ａ／Ｄ変換部８０は、マイクロホン２０によって取得した音声信号をデジタル音声信号に変換してＣＰＵ７０へ送出する。

アイグラスディスプレイ１５（図１）に内蔵される画像表示素子５２と、フレーム１０Ｂ（図１）に内蔵される表示制御部５４とによって表示部５０が構成される。画像表示素子５２は、例えば透過型液晶表示素子によって構成される。画像表示素子５２は、アイグラスディスプレイ１５を透過した外界からの光で照明される。このため、ユーザーは、外界の被写体像に重ねて画像表示素子５２による表示を観察できる。画像表示素子５２は、上記撮像ユニット６２によって撮像された画像、メニュー設定画面、デバイス１０の設定状態、バッテリー残量等の各種情報や、範囲設定部６６による設定範囲を示す枠等を表示する。

＜撮像方向の設定＞
デバイス１０は、電源オン操作後にカメラ部１４により撮像を開始させる場合に、視線方向検知装置２２によってユーザーの視線方向を検知し、撮像ユニット６２の撮像方向をユーザーの視線方向に合わせるようにカメラ部１４をアクチュエータ７２で駆動してパン／チルト動作を行う。このためにＣＰＵ７０は、表示制御部５４へ指示を送って撮像ユニット６２による撮像範囲を示す枠３１（図３）を画像表示素子５２に表示させる。ユーザーは、図３に示すように、前方の被写体像に重ねてアイグラスディスプレイ１５（図１）に表示される枠３１を観察できる。枠３０は、画像表示素子５２による表示可能範囲を示す。

図２の画像表示素子５２に表示させる枠３１の位置は、視線方向検知装置２２によって検知されたユーザーの視線方向を中心とする位置とする。視線方向検知装置２２は、ユーザーの視線方向、すなわち画像表示素子５２の表示領域上のユーザーの視線位置を周知の技術で検知するものであり、枠３１の中心位置は、検知されたユーザーの視線位置に対応する。また、画像表示素子５２に表示させる枠３１の大きさは、撮像ユニット６２によって撮像される範囲と略一致するように構成する。ＣＰＵ７０は表示制御部５４へ指示を送り、視線方向検知装置２２によって検知された視線位置が枠３１の中心位置となるように枠３１の表示位置を制御するとともに、視線方向検知装置２２によって検知された視線位置にカメラ部１４の撮像方向を合わせるように、すなわち、撮像ユニット６２の光軸をユーザーの視線位置に対応させるように、カメラ部１４をアクチュエータ７２で駆動する。

これにより、ユーザーが視線位置を変えると、画像表示素子５２によって表示される枠３１が視線位置に移動するとともに、その視線位置に撮像方向を合わせるようにカメラ部１４がパン／チルト駆動される。このようにして、ユーザーがアイグラスディスプレイ１５（図１）越しに見ている方向の被写体像が、撮像ユニット６２の撮像範囲に収められる。

＜画角の変更＞
また、デバイス１０は、カメラ部１４により撮像を行う場合に、視線方向検知装置２２によって検知されたユーザーの視線位置に基づいて範囲を設定し、この設定範囲に撮像ユニット６２の撮像画角を対応させるように撮像光学系１３のズーム光学系をアクチュエータ７２で駆動してズーム調節を行う。図４は、ユーザーによって観察される前方の被写体像と、アイグラスディスプレイ１５（図１）に表示された撮像ユニット６２による撮像範囲を示す枠３１と、を例示する図である。図４では、枠３１の外側の被写体像を省略し、枠３１の内側のみを図示している。

図２のＣＰＵ７０は、例えば、音声認識装置１６を介して「ズーム」という言葉が取り込まれると、上述した撮像方向の設定処理を終了し、表示制御部５４へ指示を送って枠３１の内側の所定のデフォルト位置（例えば中心より左上）にマーク４１を点滅表示させる。

ＣＰＵ７０は、視線方向検知装置２２によって検知された視線位置にマーク４１の位置を合わせるように、画像表示素子５２によるマーク４１の表示位置を制御する。具体的には、画像表示素子５２にマーク４１の点滅表示を開始させた以降に視線方向検知装置２２によってユーザーの視線がマーク４１に所定時間（例えば１秒）以上重ねられたことが検知された場合に、その後のユーザーの視線位置の変化に伴うマーク４１の表示位置の移動を開始させる。

そして、マーク４１の移動が停止中（同じ位置に表示中）に視線方向検知装置２２によってユーザーの瞬きが検知された場合、またはマーク４１の移動が停止中（同じ位置に表示中）に所定時間（例えば２秒）以上留まった場合に、ＣＰＵ７０は、画像表示素子５２によるマーク４１の表示を点灯表示に切り替える。ＣＰＵ７０はさらに、図５に例示するように、枠３１の内側の所定のデフォルト位置（例えば中心より右下）にマーク４２を表示して点滅させるとともに、マーク４１およびマーク４２を対角とする矩形の枠３２を表示させる。

ＣＰＵ７０は、視線方向検知装置２２によって検知された枠３１内の視線位置にマーク４２の位置を合わせるように、画像表示素子５２によるマーク４２の表示位置を制御する。具体的には、画像表示素子５２にマーク４２の点滅表示を開始させた以降に視線方向検知装置２２によってユーザーの視線がマーク４２に所定時間（例えば１秒）以上重ねられたことが検知された場合に、ユーザーの視線位置の変化に伴うマーク４２の表示位置の移動を開始させる。

そして、マーク４２の移動が停止中（同じ位置に表示中）に視線方向検知装置２２によってユーザーの瞬きが検知された場合、またはマーク４２の移動が停止中（同じ位置に表示中）に所定時間（例えば２秒）以上留まった場合に、ＣＰＵ７０は、画像表示素子５２によるマーク４２の表示を点灯表示に切り替える。ＣＰＵ７０はさらに、図６に例示するように、枠３１の内側において枠３２の外側の領域３３をグレー表示させる。グレー表示は、例えば青色など他の色でもよい。また、グレー表示中においてユーザーがアイグラスディスプレイ１５越しに被写体像を観察し得るように、透過性を持たせてグレー表示を行うとよい。

ＣＰＵ７０は、撮像ユニット６２による撮像画角を枠３２で囲まれる範囲に対応させるように、撮像光学系１３のズーム光学系をアクチュエータ７２で駆動する。範囲設定部６６は、設定された枠３１および枠３２を示す情報を記憶する。

なお、ユーザーの視線指示により位置が決定された２つのマーク４１、４２の位置に基づいて矩形の枠３２を生成する代わりに、ユーザーが視線でなぞった四角形を枠３２としてもよいし、ユーザーが視線で縦横になぞったＬ字に基づいて枠３２を生成するように構成してもよい。

上述したように、撮像光学系１３のズーム光学系をアクチュエータ７２で駆動することにより、撮像ユニット６２で撮像される画角を枠３２で囲まれる範囲に対応させる。また、画角の変更時にアイグラスディスプレイ１５の画像表示素子５２に枠３１を表示させておくので、ユーザーは、実際の撮像画角とワイド端における画角とがわかる。ここで、デバイス１０の電源オン時の撮像画角はワイド端にデフォルト設定されている。なお、図６の例ではマーク４１およびマーク４２の表示を省略しているが、両マークは表示させたままであってもよい。

ＣＰＵ７０は、図６に例示した状態で、音声認識装置１６を介して「右」、「左」、「上」、「下」という言葉が取り込まれると、取り込まれた言葉の示す方向へ枠３１内における枠３２の表示位置を移動するように表示制御部５４へ指示を送るとともに、上記言葉の示す方向へカメラ部１４の撮像方向を合わせるようにカメラ部１４をアクチュエータ７２で駆動する。この場合の範囲設定部６６は、移動後の枠３１および枠３２を示す情報を記憶する。

以上により、ユーザーの視線位置に基づいて、画像表示素子５２によって表示される枠３２で囲まれる範囲が設定されるとともに、その設定範囲に画角を合わせるように撮像光学系１３のズーム光学系が駆動される。このようにして、ユーザーがアイグラスディスプレイ１５（図１）越しに被写体像を見ながら、視線移動によって設定した範囲に対応させて撮像ユニット６２の撮像画角を設定変更できる。図９は、画角変更後に撮像された画像に相当する図である。

＜トリミング設定＞
デバイス１０は、メモリ６８に記録されている画像のデータに基づいて画像表示素子５２に画像を再生表示する場合に、視線方向検知装置２２によって検知されたユーザーの視線位置に基づいて範囲を設定し、この設定範囲に対応する領域のデータを画像のデータから切り出し、改めてメモリ６８に記録する。

図４を、アイグラスディスプレイ１５の画像表示素子５２に表示された再生画像とみなして説明する。この場合、枠３１で囲まれる範囲を再生画像とする。ＣＰＵ７０は、再生画像を画像表示素子５２に表示させると、枠３１の内側の所定のデフォルト位置（例えば中心より左上）にマーク４１を点滅表示させる。

ＣＰＵ７０は、視線方向検知装置２２によって検知された視線位置にマーク４１の位置を合わせるように、画像表示素子５２によるマーク４１の表示位置を制御する。具体的には、画像表示素子５２にマーク４１の点滅表示を開始させた以降に視線方向検知装置２２によってユーザーの視線がマーク４１に所定時間（例えば１秒）以上重ねられたことが検知された場合に、ユーザーの視線位置の変化に伴うマーク４１の表示位置の移動を開始させる。

そして、マーク４１の移動が停止中（同じ位置に表示中）に視線方向検知装置２２によってユーザーの瞬きが検知された場合、またはマーク４１の移動が停止中（同じ位置に表示中）に所定時間（例えば２秒）以上留まった場合に、ＣＰＵ７０は、画像表示素子５２によるマーク４１の表示を点灯表示に切り替える。ＣＰＵ７０はさらに、図５に例示するように、枠３１の内側の所定のデフォルト位置（例えば中心より右下）にマーク４２を表示して点滅させるとともに、マーク４１およびマーク４２を対角とする矩形の枠３２を表示させる。

ＣＰＵ７０は、トリミングによって残す画像範囲を枠３２で囲まれる範囲に対応させる。ＣＰＵ７０は、視線方向検知装置２２によって検知された視線位置にマーク４２の位置を合わせるように、画像表示素子５２によるマーク４２の表示位置を制御する。具体的には、画像表示素子５２にマーク４２の点滅表示を開始させた以降に視線方向検知装置２２によってユーザーの視線がマーク４２に所定時間（例えば１秒）以上重ねられたことが検知された場合に、ユーザーの視線位置の変化に伴うマーク４２の表示位置の移動を開始させる。

そして、マーク４２の移動が停止中（同じ位置に表示中）に視線方向検知装置２２によってユーザーの瞬きが検知された場合、またはマーク４２の移動が停止中（同じ位置に表示中）に所定時間（例えば２秒）以上留まった場合に、ＣＰＵ７０は、画像表示素子５２によるマーク４２の表示を点灯表示に切り替えさせる。ＣＰＵ７０はさらに、図６に例示するように、枠３１の内側において枠３２の外側の領域３３をグレー表示させる。範囲設定部６６は、上述したように設定された枠３１および枠３２を示す情報を記憶する。

ＣＰＵ７０は、範囲設定部６６に記憶された情報に基づいて、メモリ６８に記録されている画像のデータから枠３２で囲まれる範囲のデータを切り出し、枠３２の範囲から外れるデータを除外する。そして、切り出したデータに電子ズームの処理を施して所定の大きさの画像信号に変換し、この電子ズーム処理後の画像のデータをメモリ６８に記憶させる。この場合には、図９がトリミング加工後の画像に相当する。

このように、ユーザーは、アイグラスディスプレイ１５に表示させた再生画像を見ながら視線移動によって設定した範囲に対応させて、トリミング範囲を設定できるように構成されている。

＜コメント入力＞
ＣＰＵ７０は、図６に例示した状態で、音声認識装置１６を介して「コメント」という言葉が取り込まれると、画像に関連付けて記録する文字情報の入力を受け付ける。ＣＰＵ７０は、表示制御部５４へ指示を送って枠３１の内側の所定位置（例えば中心より左上）にマーク８１を点滅表示させる。ユーザーは、図７に示すように、アイグラスディスプレイ１５（図１）に表示される枠３１、および枠３１の内側のマーク８１を観察できる。

ＣＰＵ７０は、視線方向検知装置２２によって検知された視線位置にマーク８１の位置を合わせるように、画像表示素子５２によるマーク８１の表示位置を制御する。具体的には、画像表示素子５２にマーク８１の点滅表示を開始させた以降に視線方向検知装置２２によってユーザーの視線がマーク８１に所定時間（例えば１秒）以上重ねられたことが検知された場合に、ユーザーの視線位置の変化に伴うマーク８１の表示位置の移動を開始させるとともに、図７に示すように、マーク８１の軌跡８２を表示させる。

ＣＰＵ７０は、マーク８１の移動が停止中（同じ位置に表示中）に視線方向検知装置２２によってユーザーの瞬きが検知された場合、またはマーク４１の移動が停止中（同じ位置に表示中）に所定時間（例えば２秒）以上留まった場合に、ＣＰＵ７０は、その時点以降における軌跡８２の新たな表示を一旦停止させる。なお、ユーザーの視線位置の変化に伴うマーク８１の表示位置の移動は継続させる。マーク８１をペン先と仮定すると、マーク８１の軌跡８２はペン先で引かれた線に相当し、軌跡８２の新たな表示を一旦停止することは、ペン先を離すことに相当する。

ＣＰＵ７０は、軌跡８２の新たな表示を一旦停止中（ペン先を離している）に視線方向検知装置２２によってユーザーの視線がマーク８１に所定時間（例えば１秒）以上重ねられたことが検知された場合に、マーク８１の軌跡８２の表示を再開させる（離したペン先を戻す）。以降同様に、視線方向検知装置２２によってユーザーの瞬きが検知された場合、またはマーク４１が停止中（同じ位置に表示中）に所定時間（例えば２秒）以上留まった場合に、ＣＰＵ７０は、その時点以降における軌跡８２の新たな表示を一旦停止させる。

ＣＰＵ７０は、マーク８１の移動が停止中（同じ位置に表示中）に視線方向検知装置２２によってユーザーの瞬きが続けて複数回検知された場合（例えば０．５秒以内に２回以上）、その時点における軌跡８２によって構成される文字を確定する。ＣＰＵ７０は、いわゆる手書き文字認識と同様の処理によって文字を確定し、図８に示すように、確定した文字８３をグレー表示している領域３３（すなわち枠３２の外側）に表示させる。文字を確定して領域３３に表示させた場合、ＣＰＵ７０は、枠３１の内側の軌跡８２を消去した上で、所定位置（例えば中心より左上）にマーク８１を点滅表示させる。なお、枠３１の大きさと枠３２の大きさとが略同じで領域３３が狭い場合は、確定した文字を枠３１の外側に表示させてよい。

ＣＰＵ７０は、図８に例示した状態で、音声認識装置１６を介して「ＯＫ」という言葉が取り込まれると、その時点において領域３３に表示されている文字列８３をテキスト情報として、画像に関連付けてメモリ６８に記録する。

上述した「撮像方向の設定」、「画角の変更」、および「コメント入力」の説明において、音声認識装置１６を介して「もどる」という言葉が取り込まれると、ＣＰＵ７０は、１つ前の図に例示した状態に戻すように構成される。すなわち、「もどる」という言葉が取り込まれる度に、図８の状態から図７の状態へ、図７の状態から図６の状態へ、図６の状態から図５の状態へ、図５の状態から図４の状態へ、図４の状態から図３の状態へ、それぞれ戻す。

上述した「トリミング設定」、および「コメント入力」の説明において、音声認識装置１６を介して「もどる」という言葉が取り込まれると、ＣＰＵ７０は、１つ前の図に例示した状態に戻すように構成される。すなわち、「もどる」という言葉が取り込まれる度に、図８の状態から図７の状態へ、図７の状態から図６の状態へ、図６の状態から図５の状態へ、図５の状態から図４の状態へ、それぞれ戻す。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）ウェアラブル型のデバイス１０は、被写体を撮像する撮像ユニット６２と、情報を表示する透過型の表示部５０と、表示部５０を透過して被写体を観察するユーザーの表示部５０上における視線位置を検出する視線方向検知装置２２と、視線方向検知装置２２によって検出される視線位置に基づいて撮像ユニット６２による画角制御を行うＣＰＵ７０と、ユーザーの体に装着するための蔓１２を備える。これにより、ユーザーは、手を使わなくても画角を変更できる。

（２）表示部５０は、視線方向検知装置２２で検出された視線位置に基づいて枠３２を表示し、ＣＰＵ７０は、表示部７０に表示された枠３２で囲まれた範囲に対応する被写体の領域を撮像するように画角制御を行うようにしたので、ユーザーは、表示部５０であるアイグラスディスプレイ１５（図１）越しに被写体像および枠３２を見ながら、視線移動だけで画角の変更操作を行える。

（３）表示部５０は、視線方向検知装置２２で検出されて表示された２点のマーク４１、４２の位置に基づく矩形の枠３２を表示するようにしたので、枠３２の位置および大きさを視線移動だけで簡単に設定できる。

（４）表示部５０は、画像データに基づく再生画像を表示し、視線方向検知装置２２は、表示部５０に表示された再生画像を観察するユーザーの表示部５０上における視線位置を検出し、視線方向検知装置２２によって検出される視線位置に基づいて画像データを加工するＣＰＵ７０を備える。これにより、ユーザーは、手を使わなくてもトリミング範囲を設定できる。

（５）表示部５０は、視線方向検知装置２２で検出された視線位置に基づいて枠３２を表示し、ＣＰＵ７０は、表示部５０に表示された枠３２で囲まれた範囲から外れる再生画像の領域を除くようにトリミングを行うようにした。これにより、ユーザーは、表示部５０であるアイグラスディスプレイ１５（図１）で再生画像および枠３２を見ながら、視線移動だけでトリミング操作を行える。

（６）表示部５０は、枠３２の外側をグレー表示するので、ユーザーにとって枠３２の内外の区別が容易になる。

（７）デバイス１０は、視線方向検知装置２２で検出された視線位置に基づいてコメントを入力するＣＰＵ７０を備え、表示部５０は、ＣＰＵ７０で入力されたコメントを枠３２の外側に表示するようにしたので、枠３２内の画像に重ねて表示する場合に比べて、ユーザーにとって見やすく表示できる。

（第ニの実施形態）
第一の実施形態では、２つのマーク４１および４２を対角とする矩形の枠３２で囲まれる範囲を設定する例を説明した。第二の実施形態では、１つのマーク４１を中心とし、音声認識装置１６を介して取り込まれる言葉が示す図形で囲まれる範囲を設定する。

＜画角の変更＞
第二の実施形態によるデバイス１０は、カメラ部１４により撮像を行う場合に、視線方向検知装置２２によって検知されたユーザーの視線位置に基づいて範囲を設定し、この設定範囲をズームアップした画像をカメラ部１４に撮像させる。そして、図１のアイグラスディスプレイ１５（図２の画像表示素子５２）に表示させている枠３１の中において、カメラ部１４で撮像されたズームアップ画像を表示させる。

図１０は、ユーザーによって観察される前方の被写体像に重畳して、アイグラスディスプレイ１５に表示された撮像ユニット６２による撮像範囲を示す枠３１と、を例示する図である。図１０では、枠３１の外側の被写体像を省略し、枠３１の内側のみを図示している。

図２のＣＰＵ７０は、例えば、音声認識装置１６を介して「ズーム」という言葉が取り込まれると、表示制御部５４へ指示を送って枠３１の内側の所定位置（例えば中心）にマーク４１（図１０）を点滅表示させる。

ＣＰＵ７０は、視線方向検知装置２２によって検知された視線位置にマーク４１の位置を合わせるように、画像表示素子５２によるマーク４１の表示位置を制御する。制御手順は第一の実施形態と同様である。

ＣＰＵ７０は、図１０のようにマーク４１を表示した状態で、音声認識装置１６を介して「まる」という言葉が取り込まれると、図１１に例示するように、マーク４１を略中央にしてマーク４１を囲む領域３２Ｂを画像表示素子５２に表示させる。これによってユーザーは、前方の被写体像に重ねてアイグラスディスプレイ１５（図１）に表示される領域３２Ｂを観察できる。また、ＣＰＵ７０は、音声認識装置１６を介して「大きく」、「小さく」という言葉が取り込まれると、取り込まれた言葉の示す方向へ領域３２Ｂの大きさを微調整させる。
ここで、領域３２Ｂの形状は円に限らず、三角でも四角でも星形でもよい。その場合のユーザーは、「まる」の代わりに「さんかく」、「しかく」、または「ほしがた」と発音する。

次にＣＰＵ７０は、領域３２Ｂで囲まれる範囲を光学的に拡大するように撮像光学系１３のズーム光学系をアクチュエータ７２で駆動し、撮像ユニット６２による撮像画角を調節する。

ＣＰＵ７０はさらに、図１２に示すように、撮像ユニット６２で撮像されたズームアップ画像のうち、領域３２Ｂで囲まれる範囲の画像を切り出して画像表示素子５２に表示させる。これによってユーザーは、前方の被写体像に重ねてアイグラスディスプレイ１５（図１）の領域３２Ｃに表示されるズームアップ画像を観察できる。

ＣＰＵ７０はさらに、図１２に例示するように、領域３２Ｃの外側の領域３３をグレー表示させる。範囲設定部６６は、上述したように設定された枠３１および領域３２Ｂを示す情報を記憶する。

ＣＰＵ７０は、図１２のように領域３２Ｃのズームアップ画像を表示した状態で、音声認識装置１６を介して「右」、「左」、「上」、「下」という言葉が取り込まれると、取り込まれた言葉の示す方向へ撮像ユニット６２による撮像方向を微調整させる。この場合の範囲設定部６６は、枠３１および移動後の領域３２Ｃを示す情報を記憶する。

第二の実施形態では、ズームアップ前に設定された領域３２Ｂで囲まれる範囲をズームアップ表示するように、撮像光学系１３のズーム光学系をアクチュエータ７２で駆動するので、撮像ユニット６２が領域３２Ｃを内包する範囲を撮像するように撮像ユニット６２に撮像画角が調節される。また、ズーム倍率変更時にアイグラスディスプレイ１５（画像表示素子５２）に枠３１を表示させておくので、ユーザーは、前方の被写体像のどの辺りをズームアップしているかがわかる。

以上により、ユーザーの視線位置に基づいて、画像表示素子５２によって領域３２Ｂで囲まれる範囲が設定されるとともに、その設定範囲をズームアップするように撮像光学系１３のズーム光学系が駆動される。ズームアップ画像のうち、領域３２Ｂで囲まれる範囲の画像が、領域３２Ｃ内に画像表示素子５２に表示される。このようにして、ユーザーがアイグラスディスプレイ１５（図１）越しに被写体像を見ながら視線移動によって設定した範囲に対応させて、撮像ユニット６２のズーム倍率を設定変更できる。ユーザーは、アイグラスディスプレイ１５（図１）越しの被写体像に重ねて、被写体像の一部をズームアップした画像を観察できる。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）ウェアラブル型デバイス１０は、被写体を撮像する撮像ユニット６２と、情報を表示する表示部５０と、表示部５０を透過して被写体を観察するユーザーの表示部５０上における視線位置を検出する視線方向検知装置と、視線方向検知装置２２によって検出される視線位置に基づいて撮像ユニット６２による画角制御を行うＣＰＵ７０と、ユーザーの体に装着するための蔓１２を備えるので、ユーザーは、手を使わなくても画角を変更できる。

（２）表示部５０は、視線方向検知装置２２で検出された視線位置に基づいて枠３２Ｂを表示し、ＣＰＵ７０は、表示部７０に表示された枠３２Ｂで囲まれた範囲に対応する被写体の領域を撮像するように画角制御を行うようにした。これにより、ユーザーは、表示部５０であるアイグラスディスプレイ１５（図１）越しに被写体像および枠３２Ｂを見ながら、視線移動と形状を表す音声入力とを行うだけで画角の変更操作を行える。

（３）表示部５０は、視線方向検知装置２２で検出された視線位置に、入力音声が示す形状の枠３２Ｃを表示するので、任意の形状のズームアップ画像を表示させることが可能である。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
電子機器として、カメラ部１４および表示部５０が搭載されたメガネタイプのデバイス１０を例にあげて説明したが、メガネタイプ以外の他のウェアラブルデバイスを用いて構成してもよい。例えば帽子装着タイプ、肩装着タイプのデバイスでもよい。

（変形例２）
上述した第二の実施形態では、風景を背景とする人物を被写体として説明したが、観察像は風景に限らなくてもよい。例えば、手元の作業対象をユーザーがアイグラスディスプレイ１５（図１）越しに見ながら、視線移動によって設定した範囲に対応させて、ＣＰＵ７０が撮像ユニット６２のズーム倍率を設定変更する。これにより、ユーザーは、アイグラスディスプレイ１５越しの作業対象に重ねて、作業対象の一部をズームアップした画像を観察できるので、細かい作業を行う場合等の作業性の向上に好適である。

（変形例３）
領域３２Ｃに表示させる画像は、色を元の被写体色と異ならせたり、輪郭などを強調したりして表示させてもよい。ＣＰＵ７０は、例えば、手元の作業対象をわかりやすく観察し得るように色を変えたり、見やすく表示するように強調処理を行ったりして、画像表示素子５２による表示を制御する。これにより、アイグラスディスプレイ１５越しの作業対象に重ねて表示される作業対象の一部がユーザーにとってわかりやすく表示されるので、作業性の向上に役立つ。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０…デバイス
１０Ｂ…フレーム
１２…蔓
１３…撮像光学系
１４…カメラ部
１５…アイグラスディスプレイ
１６…音声認識装置
２２…視線方向検知装置
５０…表示部
５２…画像表示素子
５４…表示制御部
６２…撮像ユニット
６６…範囲設定部
６８…メモリ
７０…ＣＰＵ

Claims (8)

1. 被写体を撮像する撮像部と、
   情報を表示する透過型の表示部と、
   前記表示部を透過して前記被写体を観察するユーザーの前記表示部上における視線位置を検出する視線検出部と、
   前記視線検出部によって検出される前記視線位置に基づいて前記撮像部による画角制御を行う撮像制御部と、
   前記ユーザーの体に装着するための装着部と、
   を備えるウェアラブル型電子機器。
2. 請求項１に記載のウェアラブル型電子機器において、
   前記表示部は、前記視線検出部で検出された前記視線位置に基づいて枠を表示し、
   前記撮像制御部は、前記表示部に表示された前記枠で囲まれた範囲に対応する前記被写体の領域を撮像するように前記画角制御を行うウェアラブル型電子機器。
3. 請求項２に記載のウェアラブル型電子機器において、
   前記表示部は、前記視線検出部で検出された複数の前記視線位置に基づく形状の枠を表示するウェアラブル型電子機器。
4. 請求項２に記載のウェアラブル型電子機器において、
   前記表示部は、前記視線検出部で検出された前記視線位置に、入力音声が示す形状の枠を表示するウェアラブル型電子機器。
5. 請求項１〜４のいずれか一項に記載のウェアラブル型電子機器において、
   前記表示部は、画像データに基づく再生画像を表示し、
   前記視線検出部は、前記表示部に表示された前記再生画像を観察するユーザーの前記表示部上における視線位置を検出し、
   前記視線検出部によって検出される前記視線位置に基づいて前記画像データを加工する画像加工部を備えるウェアラブル型電子機器。
6. 請求項５に記載のウェアラブル型電子機器において、
   前記表示部は、前記視線検出部で検出された前記視線位置に基づいて枠を表示し、
   前記画像加工部は、前記表示部に表示された前記枠で囲まれた範囲から外れる前記再生画像の領域を除くように前記加工を行うウェアラブル型電子機器。
7. 請求項２〜４、６のいずれか一項に記載のウェアラブル型電子機器において、
   前記表示部は、前記枠の外側を所定色で表示するウェアラブル型電子機器。
8. 請求項７に記載のウェアラブル型電子機器において、
   前記視線検出部で検出された前記視線位置に基づいて文字情報を入力する文字情報入力部を備え、
   前記表示部は、前記文字情報入力部で入力された前記文字情報を前記枠の外側に表示するウェアラブル型電子機器。
   

Images