JP2017091190A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2017091190A
JP2017091190A JP2015220082A JP2015220082A JP2017091190A JP 2017091190 A JP2017091190 A JP 2017091190A JP 2015220082 A JP2015220082 A JP 2015220082A JP 2015220082 A JP2015220082 A JP 2015220082A JP 2017091190 A JP2017091190 A JP 2017091190A
Authority
JP
Japan
Prior art keywords
display
eyeball
target object
information
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015220082A
Other languages
English (en)
Inventor
浩尚 後藤
Hironao Goto
浩尚 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015220082A priority Critical patent/JP2017091190A/ja
Priority to PCT/JP2016/075878 priority patent/WO2017081915A1/ja
Publication of JP2017091190A publication Critical patent/JP2017091190A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

【課題】虚像表示装置を装着している眼球と、装置の表示部との関係を考慮して、視認性を向上させる画像処理装置、処理方法及びプログラムを提供する。【解決手段】画像処理装置１００は、視界情報取得部１２０と、眼球情報取得部１５０と、表示制御部１６０とを具備する。視界情報取得部１５０は、画像処理装置１００が装着されている人物の視界に含まれる像に関する視界情報を取得するものである。眼球情報取得部１５０は、人物の眼球に関する眼球情報を取得するものである。表示制御部１６０は、人物の視界に含まれる像に表示対象オブジェクトを重ねて表示させる制御を行うものである。また、表示制御部１５０は、視界情報と眼球情報とに基づいて、人物の視界に含まれる像における表示対象オブジェクトの表示態様を変更する制御を行う。【選択図】図２

Description

本技術は、画像処理装置に関する。詳しくは、表示対象となる画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、ユーザの身体の一部に装着された状態でユーザに画像を提供する画像処理装置が存在する。例えば、外部オブジェクトに表示対象オブジェクトを重ねて表示することが可能なメガネタイプのウェアラブル機器が存在する。
また、例えば、表示対象オブジェクトを外部オブジェクトに対して固定された座標上に表示するための技術が提案されている。例えば、装着者の頭部の姿勢の変化を検出し、その検出結果に基づいて、虚像による画像の画面位置を、装着者の姿勢が変化する方向と逆方向に変化させるように調整する虚像表示装置が提案されている（例えば、特許文献１参照。）。
特開２０１３−２２５０４２号公報
上述の従来技術では、装着者の姿勢が変化する方向と逆方向に変化させるように調整することにより、虚像表示装置の装着者の姿勢の変化に応じて、虚像による画像を調整することができる。
ここで、虚像表示装置を装着している装着者の眼球と、虚像表示装置の表示部との関係が変化することも想定される。この場合には、装着者の眼球と、虚像表示装置の表示部との関係も考慮して視認性を向上させることが好ましい。
本技術はこのような状況に鑑みて生み出されたものであり、視認性を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得部と、上記人物の眼球に関する眼球情報を取得する眼球情報取得部と、上記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、上記視界情報と上記眼球情報とに基づいて、上記視界に含まれる像における上記表示対象オブジェクトの表示態様を変更する制御を行う表示制御部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、視界情報と眼球情報とに基づいて、視界に含まれる像における表示対象オブジェクトの表示態様を変更するという作用をもたらす。
また、この第１の側面において、上記眼球情報取得部は、上記人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、上記人物の眼球の位置および上記眼球の視線方向を検出することにより上記眼球情報を取得するようにしてもよい。これにより、人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、人物の眼球の位置および眼球の視線方向を検出することにより眼球情報を取得するという作用をもたらす。
また、この第１の側面において、上記人物の視界に含まれる像を上記人物の眼に提供する表示部をさらに具備し、上記複数の撮像部は、上記表示対象オブジェクトを表示する上記表示部の表示面における端部に設けられるようにしてもよい。これにより、表示対象オブジェクトを表示する表示部の表示面における端部に設けられる複数の撮像部を用いるという作用をもたらす。
また、この第１の側面において、上記視界情報取得部は、上記人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、上記視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、上記視界に含まれる物体の深度を検出する深度検出処理とを行うことにより、上記視界に含まれる物体の位置に関する情報を上記視界情報として取得するようにしてもよい。これにより、人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、特徴点抽出処理および深度検出処理を行うことにより、視界に含まれる物体の位置に関する情報を視界情報として取得するという作用をもたらす。
また、この第１の側面において、上記人物の視界に含まれる像を上記人物の眼に提供する表示部をさらに具備し、上記表示制御部は、上記表示部の位置に関する位置情報と、上記視界情報と、上記眼球情報とに基づいて、上記表示態様を変更する制御を行うようにしてもよい。これにより、表示部の位置に関する位置情報と、視界情報と、眼球情報とに基づいて、表示態様を変更するという作用をもたらす。
また、この第１の側面において、上記表示部は、上記人物の視界に含まれる像を透過する表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて上記表示面に上記表示対象オブジェクトを表示する屈折式表示部であり、上記表示制御部は、上記表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、上記視界情報と、上記眼球情報とに基づいて、上記表示態様を変更する制御を行うようにしてもよい。これにより、表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、視界情報と、眼球情報とに基づいて、表示態様を変更するという作用をもたらす。
また、この第１の側面において、上記表示制御部は、上記表示対象オブジェクトの上記表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより上記表示態様を変更するようにしてもよい。これにより、表示対象オブジェクトの表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより表示態様を変更するという作用をもたらす。
また、この第１の側面において、上記表示制御部は、上記視界情報と上記眼球情報とに基づいて、上記表示対象オブジェクトの鮮鋭度を制御するようにしてもよい。これにより、視界情報と眼球情報とに基づいて、表示対象オブジェクトの鮮鋭度を制御するという作用をもたらす。
また、この第１の側面において、上記表示制御部は、上記表示対象オブジェクトを表示すべき上記視界における３次元上の位置に基づいて、上記表示対象オブジェクトの鮮鋭度を制御するようにしてもよい。これにより、表示対象オブジェクトを表示すべき視界における３次元上の位置に基づいて、表示対象オブジェクトの鮮鋭度を制御するという作用をもたらす。
また、この第１の側面において、上記表示制御部は、上記表示対象オブジェクトに対するボケ処理を行うことにより上記鮮鋭度を制御するようにしてもよい。これにより、表示対象オブジェクトに対するボケ処理を行うことにより鮮鋭度を制御するという作用をもたらす。
また、この第１の側面において、上記画像処理装置の姿勢の変化に関する姿勢情報を取得する姿勢情報取得部をさらに具備し、上記表示制御部は、上記視界情報と、上記眼球情報と、上記姿勢の変化に関する姿勢情報とに基づいて、上記表示態様を変更する制御を行うようにしてもよい。これにより、視界情報と眼球情報と姿勢情報とに基づいて、表示態様を変更するという作用をもたらす。
本技術によれば、視認性を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における画像処理装置１００の外観構成の一例を示す上面図である。 本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトのローカル座標系をグラスの表示座標系に変換する場合の手順の一例を示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。 本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。 本技術の第１の実施の形態における画像処理装置１００によるスタビライザ処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における画像処理装置１００によるボケ処理の一例を模式的に示す図である。 本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施した場合の表示例を示す図である。 本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施する前の表示例（比較例）を示す図である。 本技術の第２の実施の形態における画像処理装置１００によるボケ処理の処理手順の一例を示すフローチャートである。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（視界情報および眼球情報に基づいて、表示対象オブジェクトの表示態様を補正する例）
２．第２の実施の形態（視界情報および眼球情報に基づいて、表示対象オブジェクトの鮮鋭度を制御する例）
＜１．第１の実施の形態＞
［画像処理装置の外観構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の外観構成の一例を示す上面図である。図１では、画像処理装置１００を人物の顔に装着した場合の眼球（右目）１１および眼球（左目）１２との関係を簡略化して示す。
画像処理装置１００は、外向き撮像部（Ｒ）１０１と、外向き撮像部（Ｌ）１０２と、内向き撮像部（Ｒ）１０３と、内向き撮像部（Ｌ）１０４と、表示部（Ｒ）１８１と、表示部（Ｌ）１８２と、赤外線発光装置１８３乃至１８６と、ブリッジ１９０とを備える。
画像処理装置１００は、例えば、ホログラム導光板方式光学技術を用いた透過式メガネ型の電子機器（例えば、メガネタイプのウェアラブル機器）とすることができる。また、例えば、画像処理装置１００は、イメージセンサ、加速度センサ、ジャイロスコープ、電子コンパス、照度センサ、マイク等の各種のセンシング機能を備えることができる。イメージセンサは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device Image Sensor）イメージセンサである。また、画像処理装置１００は、ＧＰＳ（Global Positioning System）による位置情報等を活用して、ユーザの状況に応じた情報を提供することができる。
赤外線発光装置１８３乃至１８６は、赤外線を発光する赤外線発光装置である。例えば、赤外線発光装置１８３、１８４を、表示部（Ｒ）１８１の表示面における両端部に設け、赤外線発光装置１８５、１８６を、表示部（Ｌ）１８２の表示面における両端部に設けることができる。ただし、各赤外線発光装置については、撮像動作を適切に行うことができる他の位置に配置するようにしてもよい。また、左右における各赤外線発光装置の設置数については、３以上とするようにしてもよい。
外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２は、画像処理装置１００を装着した人物の視界に含まれる被写体を撮像する撮像部である。すなわち、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２は、人物の視線方向に設けられている複数の撮像部である。
内向き撮像部（Ｒ）１０３と、内向き撮像部（Ｌ）１０４と、赤外線発光装置１８３乃至１８６とは、画像処理装置１００を装着した人物の目（例えば、眼球およびその周辺）を撮像する撮像部を構成するものである。すなわち、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４は、人物の眼球方向に設けられている複数の撮像部である。また、赤外線発光装置１８３、１８４が発光した赤外線が眼球に反射した光を、内向き撮像部（Ｒ）１０３が受像することにより、眼球（右目）１１の位置、視線の方向等を算出可能となる。同様に、赤外線発光装置１８５、１８６が発光した赤外線が眼球に反射した光を、内向き撮像部（Ｌ）１０４が受像することにより、眼球（左目）１２の位置、視線の方向等を算出可能となる。また、例えば、内向き撮像部（Ｒ）１０３は、表示部（Ｒ）１８１の表示面における端部に設け、内向き撮像部（Ｌ）１０４は、表示部（Ｌ）１８２の表示面における端部に設けることができる。
表示部（Ｒ）１８１および表示部（Ｌ）１８２は、画像処理装置１００を装着した人物に各種の画像を提供するためのグラス表示部である。例えば、ホログラム光学技術を採用する場合には、視野を遮るハーフミラーを使わず、高い透過性を有するホログラム光学素子を表示部（Ｒ）１８１、表示部（Ｌ）１８２とすることができる。
また、表示部（Ｒ）１８１、表示部（Ｌ）１８２として、ホログラム素子型の表示部以外に、ハーフミラー型の表示部、ビデオ透過型の表示部（例えば、シースルーではなく、外部カメラで外界を表示する表示部）、網膜投影型の表示部を用いるようにしてもよい。
ここで、ホログラム光学素子（表示部（Ｒ）１８１、表示部（Ｌ）１８２）は、ホログラム導光板技術により、光学エンジンから出射した映像光を表示させるための光学素子である。ここで、ホログラム導光板技術は、例えば、ガラス板の両端にホログラム光学素子を組み込むことにより、光学エンジンから出射した映像光を、非常に薄いガラス板の中を伝搬して、目まで届ける技術である。
このように、表示部（Ｒ）１８１、表示部（Ｌ）１８２は、人物の視界に含まれる像を透過する表示面を備え、人物の視界に含まれる像を人物の眼に提供する。また、画像処理装置１００を透過型メガネとする場合には、表示部（Ｒ）１８１、表示部（Ｌ）１８２のグラス部（表示面）の縁に配置されている光学エンジンからの屈折映像出力により、そのグラス部に像が結ばれる。すなわち、表示部（Ｒ）１８１、表示部（Ｌ）１８２を屈折式表示部とする場合には、表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて、表示面に表示対象オブジェクトを表示する。
ブリッジ１９０は、表示部（Ｒ）１８１、表示部（Ｌ）１８２をつなぐ部材である。ブリッジ１９０は、例えば、メガネのブリッジに相当する。
なお、図１では、説明の容易のため、外向き撮像部（Ｒ）１０１、外向き撮像部（Ｌ）１０２、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４のそれぞれを表示部（Ｒ）１８１、表示部（Ｌ）１８２の外側に配置する例を示す。ただし、これらの各撮像部については、撮像範囲（撮像方向（光軸方向）を含む）を適切に設定することができる他の位置に配置するようにしてもよい。
［画像処理装置の構成例］
図２は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
画像処理装置１００は、外向き撮像部（Ｒ）１０１と、外向き撮像部（Ｌ）１０２と、内向き撮像部（Ｒ）１０３と、内向き撮像部（Ｌ）１０４と、画像処理部１１１乃至１１４と、視界情報取得部１２０と、空間モデル作成部１３０と、ＤＢ（データベース）１４０と、眼球情報取得部１５０と、表示制御部１６０と、表示処理部１７０と、表示部（Ｒ）１８１と、表示部（Ｌ）１８２と、姿勢情報取得部１９５とを備える。
外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２は、ＳＬＡＭ（Simultaneous Localization and Mapping）に用いられる視野側を向いた複数のカメラである。なお、図２では、２つの外向き撮像部を設ける例を示すが、３以上の外向き撮像部を設けるようにしてもよい。
内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４は、画像処理装置１００を装着した人物の眼球の位置、動き、視線等を検出する際に用いる画像を生成するための複数の内向きカメラである。なお、図２では、２つの内向き撮像部を設ける例を示すが、３以上の内向き撮像部を設けるようにしてもよい。また、図２では、図示を省略するが、眼球の動きを撮影するための機器（例えば、赤外線発光装置（例えば、各撮像部に４個））は、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４のシステムに含まれるものとする。
画像処理部１１１は、外向き撮像部（Ｒ）１０１により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを視界情報取得部１２０に出力する。
画像処理部１１２は、外向き撮像部（Ｌ）１０２により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを視界情報取得部１２０に出力する。
画像処理部１１３は、内向き撮像部（Ｒ）１０３により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを眼球情報取得部１５０に出力する。
画像処理部１１４は、内向き撮像部（Ｌ）１０４により生成された画像データについて各種画像処理（例えば、ＰＯＳＴ処理）を施すものであり、画像処理が施された画像データを眼球情報取得部１５０に出力する。
視界情報取得部１２０は、画像処理部１１１、１１２から出力された画像データを用いて、視界情報（外向き撮像部（Ｒ）１０１、外向き撮像部（Ｌ）１０２の撮像範囲に含まれる物体に関する情報）を抽出するものである。そして、視界情報取得部１２０は、抽出された視界情報（例えば、物体の特徴点、物体の深度）を空間モデル作成部１３０に出力する。
例えば、視界情報取得部１２０は、周囲特徴点抽出処理により物体の特徴点を抽出する。なお、物体の特徴点は、例えば、物体の頂点とすることができる。
例えば、視界情報取得部１２０は、画像処理部１１１、１１２から出力された画像データに対応する画像（フレーム）全体から特徴点を抽出することができる。例えば、視界情報取得部１２０は、画像処理部１１１、１１２から出力された画像データに対応する画像（フレーム）のうち、最初の画像については、画像全体から特徴点を抽出する。また、最初の画像以外の画像（フレーム）については、直前の画像（フレーム）に対応する画像と比較して新しく撮像された領域部分から特徴点を抽出する。なお、特徴点として、例えば、縦方向および横方向にエッジの勾配が強い点を抽出することができる。この特徴点は、オプティカルフローの計算に強い特徴点であり、エッジ検出を用いて求めることができる。なお、ここでは、最初の画像については画像全体から特徴点を抽出し、最初の画像以外の画像については直前の画像と比較して新しく撮像された領域部分から特徴点を抽出する例を示す。しかしながら、処理能力等に応じて、最初の画像以外の各画像についても、画像全体から特徴点を抽出するようにしてもよい。
また、例えば、視界情報取得部１２０は、深度検出処理により物体の深度を検出する。なお、物体の深度は、例えば、奥行方向（視線方向）における距離である。
例えば、視界情報取得部１２０は、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２により生成された画像およびこの画像の生成時における各情報（例えば、レンズの位置および合焦位置）に基づいて、その画像に関する被写体距離を算出する。例えば、奥行マップ（デプスマップ（Depth Map））を生成し、この奥行マップに基づいて各領域に係る被写体距離を求めることができる。ここで、奥行マップは、被写体距離を表すデータにより構成されるマップである。この奥行マップの生成方法として、例えば、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等の方法を用いることができる。例えば、ＴＯＦ方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。
また、例えば、各撮像部の撮像素子として、例えば、射出瞳が異なる部分を透過した透過光を受光して位相差検出方式の焦点検出（位相差ＡＦ（Auto Focus））を行う撮像素子を用いることができる。この位相差ＡＦを行う撮像素子からは、画像信号（アナログ信号）とともに、位相差検出信号が出力される。このため、視界情報取得部１２０は、各撮像素子から出力された位相差検出信号に基づいて、各撮像素子から出力された画像信号に対応する画像における各領域の被写体距離を算出することができる。
また、例えば、視界情報取得部１２０は、ＳＬＡＭ技術により画像処理装置１００の位置推定と環境マップの作成とを同時に行うことができる。
このように、視界情報取得部１２０は、画像処理装置１００が装着されている人物の視界に含まれる像に関する視界情報（外部情報）を取得する。例えば、視界情報取得部１２０は、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２により生成された画像に基づいて、視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、視界に含まれる物体の深度を検出する深度検出処理とを行う。そして、視界情報取得部１２０は、その視界に含まれる物体の位置に関する情報を視界情報として取得する。なお、視界情報取得部１２０は、特許請求の範囲に記載の視線情報取得部の一例である。
ＤＢ（データベース）１４０は、表示部（Ｒ）１８１、表示部（Ｌ）１８２に仮想的なオブジェクト（空間モデル）を表示させるための情報（空間モデル情報）を記憶するデータベースであり、記憶されている空間モデル情報を空間モデル作成部１３０に供給する。また、過去に作成された空間モデル（例えば、特徴点および深度により特定されるオブジェクト）をＤＢ１４０に記憶しておき、この空間モデルと、これ以降に作成される空間モデルとを比較するようにしてもよい。
空間モデル作成部１３０は、視界情報取得部１２０から出力された視界情報と、ＤＢ１４０から供給された空間モデル情報とに基づいて、表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示させる物体に関する情報（空間モデル表示情報）を作成するものである。そして、空間モデル作成部１３０は、その作成した空間モデル表示情報を表示制御部１６０に供給する。
眼球情報取得部１５０は、画像処理部１１３、１１４から出力された画像データを用いて、眼球情報を検出するものであり、検出された眼球情報を表示制御部１６０に出力する。ここで、眼球情報は、例えば、眼球の位置、視線、眼球における虹彩の位置（例えば、虹彩中心）およびサイズ、眼球における瞳孔の位置およびサイズ、眼軸角度である。なお、虹彩は、眼球の色がついている部分である。また、瞳孔は、虹彩の真ん中に存在する部分（「黒目」と呼ばれている部分）である。また、眼球の位置として、例えば、眼球における位置、３次元上の位置、表示部（Ｒ）１８１、表示部（Ｌ）１８２の表示面からの距離等を求めることができる。
例えば、眼球情報取得部１５０は、画像認識技術を用いて、眼球情報（例えば、眼球の位置、眼球における虹彩の位置およびサイズ、眼球における瞳孔の位置およびサイズ）を検出することができる。また、例えば、眼球情報取得部１５０は、検出された眼球情報（例えば、眼球の位置、眼球における虹彩の位置、眼球における瞳孔の位置の各移動）を用いて、視線を検出することができる。
眼球検出方法として、例えば、眼球の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる眼球の色の部分や眼球の特徴量等に基づいた検出方法等を用いることができる。
また、他の眼球検出方法を用いるようにしてもよい。例えば、画像処理部１１３、１１４から出力された画像データを２値化し、１画面における２値化データに基づいて黒目を検出するようにしてもよい。例えば、画像処理部１１３、１１４から出力された画像データを２値化して、水平方向（左右方向）における各ラインの黒画素および白画素を判定する。そして、水平方向において、所定範囲内の数の白画素が連続した後に所定範囲内の数の黒画素が連続し、かつ、その連続する黒画素の後に所定範囲内の数の白画素が連続するラインを、黒目領域の候補ラインとして抽出する。そして、垂直方向（上下方向）において、その抽出された候補ラインとして、所定範囲内の数のラインが連続している領域を抽出して、その領域を黒目領域として検出することができる。
また、眼球運動の計測装置を用いて、黒目を検出するようにしてもよい。例えば、赤外ＬＥＤ（Light Emitting Diode）からの赤外光を眼球に当て、反射してきた光を受光器で検出することにより、黒目部分の位置を特定することができる。
また、例えば、他の赤外線発光装置を用いて眼球を検出することができる。例えば、瞳孔検出処理および輝点検出処理により視線認識を実現する場合に、外光の影響を受けないためと、角膜からの鏡面反射を防ぐために、赤外線を使用することができる。
また、視線検出の精度を上げる手段として、角膜曲率中心を求める場合には、最大４点の赤外光源の反射（輝点、赤円）を検出することができる。
なお、これらの眼球情報の検出方法（例えば、視線検出）は、一例であり、これら以外にも複数の技術を応用することにより、高精度の視線検出を実現することができる。
このように、眼球情報取得部１５０は、人物の眼球に関する眼球情報を取得する。例えば、眼球情報取得部１５０は、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４により生成された画像に基づいて、人物の眼球の位置および眼球の視線方向を検出することにより、眼球情報を取得する。
表示制御部１６０は、各画像（例えば、表示対象オブジェクト）を表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示させるための制御を行うものである。例えば、表示制御部１６０は、空間モデル作成部１３０から出力された空間モデル表示情報と、眼球情報取得部１５０から出力された眼球情報とに基づいて、表示位置算出処理、画像効果処理、画像重畳処理等を行う。
表示制御部１６０は、例えば、ホストＣＰＵ（Central Processing Unit）により実現される。なお、上述した各部のうちの一部をホストＣＰＵにより実現することができる。
表示処理部１７０は、表示制御部１６０の制御に基づいて、表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示させる画像について各種画像処理を行うものである。例えば、表示制御部１６０は、視界情報と、眼球情報と、姿勢の変化に関する姿勢情報とに基づいて、表示対象オブジェクトの表示態様を変更する制御を行う。
姿勢情報取得部１９５は、画像処理装置１００の加速度、動き、傾き等を検出することにより画像処理装置１００の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢情報を表示制御部１６０に出力する。なお、姿勢情報取得部１９５として、例えば、ジャイロセンサ、加速度センサ等の各種センサを用いることができる。
また、画像処理装置１００は、表示オブジェクトに対する２つの機能（スタビライザ、深度補正）を備える。
ここで、スタビライザは、表示オブジェクトを、外部座標における所望の位置に表示する機能である。言い換えると、スタビライザは、表示オブジェクトを、外部座標の期待した位置に見えるようにする機能である。このスタビライザによる表示例を図３に示す。
［スタビライザによる表示例］
図３は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
図３では、画像処理装置１００と、外部オブジェクトＡ（２０１）、Ｂ（２０２）と、表示対象オブジェクトＸ（２０３）との関係を上から見た場合の例を示す。なお、画像処理装置１００の上面図については、図１に示す例と同様である。ただし、図３では、眼球（右目）１１および眼球（左目）１２が、表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示される表示対象オブジェクトＸ（２０３）を見る方向に移動している場合の例を示す。
外部オブジェクトＡ（２０１）、Ｂ（２０２）は、実際に存在する物体である。なお、図３では、説明の容易のため、外部オブジェクトＡ（２０１）、Ｂ（２０２）を矩形状の物体２０１、２０２として示す。
表示対象オブジェクトＸ（２０３）は、スタビライザにより表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示される物体を仮想的に示すものである。図３では、外部オブジェクトＡ（２０１）およびＢ（２０２）の間に、表示対象オブジェクトＸ（２０３）を表示する場合の例を示す。
ここで、上述したように、透過型メガネは、グラス部の縁に配置されている光学エンジンの屈折映像出力により、表示部（Ｒ）１８１、表示部（Ｌ）１８２のグラス部に像が結ばれる。このため、図３では、表示部（Ｒ）１８１、表示部（Ｌ）１８２の実際の表示位置に相当するものを仮想表示画面位置２１１、２１２として示す。
仮想表示画面位置２１１、２１２は、スタビライザにより表示対象オブジェクトＸ（２０３）を表示部（Ｒ）１８１、表示部（Ｌ）１８２に表示する場合に、表示対象オブジェクトＸ（２０３）を表示する仮想的な表示位置である。
また、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０３）の表示位置を表示位置２１３で示す。また、仮想表示画面位置２１２における表示対象オブジェクトＸ（２０３）の表示位置を表示位置２１４で示す。
［画像処理装置が移動した場合の補正前の表示例（比較例）］
図４は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
図４では、図３に示すように、表示対象オブジェクトＸが表示されている場合に、何らかの要因で、眼球および画像処理装置１００の位置が移動した場合の例（補正前の表示例）を示す。この例は、図５の比較例として示す。
図４では、移動前の画像処理装置１００、眼球（右目）１１、眼球（左目）１２を点線で示す。この点線で示す画像処理装置１００、眼球（右目）１１、眼球（左目）１２の各位置は、図３に示す位置に対応する。また、移動後の画像処理装置１００、眼球（右目）１１、眼球（左目）１２を実線で示す。
また、図４では、移動前の仮想表示画面位置２１１、２１２を通常の点線で示す。この通常の点線で示す仮想表示画面位置２１１、２１２の各位置は、図３に示す位置に対応する。また、移動後の仮想表示画面位置２１１、２１２を太い点線で示す。
図４に示すように、画像処理装置１００の位置の変化に応じて、仮想表示画面位置２１１、２１２が変化する。また、眼球（右目）１１、眼球（左目）１２の位置も変化する。このため、表示対象オブジェクトＸ（２０５）は、意図しない位置（物体２０２と同じ位置）に表示されることがある。
そこで、本技術の第１の実施の形態では、画像処理装置１００の位置や眼球の位置が変化したような場合であっても、表示対象オブジェクトＸの位置を適切に表示させる例を示す。
［画像処理装置が移動した場合の補正後の表示例］
図５は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。
図６は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトのローカル座標系をグラスの表示座標系に変換する場合の手順の一例を示す図である。
図５では、図４に示す例において、表示対象オブジェクトＸの表示位置を移動させることにより、表示対象オブジェクトＸの位置を適切に表示させる例を示す。
例えば、表示部（Ｒ）１８１および表示部（Ｌ）１８２の表示面に対して垂直（または、略垂直）となる方向（視線方向）に延びる線分であって、表示対象オブジェクトＸ（２０４）を配置すべき位置から延びる線分を線分３０で示す。
また、水平方向における線分３０と眼球（右目）１１（虹彩中心）との距離をＷ１とし、水平方向における表示部（Ｒ）１８１の表示面と眼球（右目）１１との距離（線分３０上の距離）をＬ１とする。また、水平方向における表示部（Ｒ）１８１の表示面と表示対象オブジェクトＸ（２０４）との距離（線分３０上の距離）をＬ２とする。また、水平方向における表示部（Ｒ）１８１の表示面と仮想表示画面位置２１１との距離（線分３０上の距離）をＬ３とする。
なお、距離Ｌ１およびＷ１は、眼球情報取得部１５０から出力される眼球情報に基づいて求めることができる。また、距離Ｌ２およびＬ３は、表示対象オブジェクトＸに基づいて取得することができる。
この場合には、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０４）の水平方向における表示位置２２１は、次の式により求めることができる。
Ｗ２＝{（Ｌ２−Ｌ３）／（Ｌ２＋Ｌ１）}Ｗ１
ここで、Ｗ２は、仮想表示画面位置２１１と線分３０との交点から表示位置２２１までの距離である。
このように、三角関数の公式により、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０４）の水平方向における表示位置２２１（Ｗ２）を求めることができる。また、仮想表示画面位置２１１における表示対象オブジェクトＸ（２０４）の垂直方向における表示位置２２１についても、同様に求めることができる。また、仮想表示画面位置２１２における表示対象オブジェクトＸ（２０４）の水平方向および垂直方向における表示位置２２２についても、同様に求めることができる。
また、視線方向を回転軸として眼球と画像処理装置１００との関係が回転した場合には、その回転に応じて、仮想表示画面位置における表示対象オブジェクトＸ（２０４）の表示態様を変更するようにする。例えば、その回転方向の反対方向に表示対象オブジェクトＸを回転させて表示するようにする。
また、距離Ｌ１の変化に応じて、仮想表示画面位置における表示対象オブジェクトＸ（２０４）の表示サイズを変更するようにする。
これらの各処理は行列式によって算出される。この手順の一例（ステップＳ７０１乃至Ｓ７０５）を、図６に示す。例えば、眼球の移動により、ビュー座標系が変化する。この場合に、その移動に対応する眼球の移動ベクトルを移動行列としてビュー変換行列Ｖに乗算して算出された行列をＶ'とすると、ビュー変換行列がＶ→Ｖ'に変化する。また、ビューポイントの変化により、プロジェクション変換行列Ｐ、スクリーン変換行列Ｓを算出するためのパラメータにも変化がある。このため、眼球の移動により、プロジェクション変換行列がＰ→Ｐ'となり、スクリーン変換行列がＳ→Ｓ'となる。また、これらの各値に基づいて最終的にグラスの表示座標を算出することができる。
このように、補正処理を実施することにより、表示対象オブジェクトＸの位置を、移動前の位置に留まるようにすることができる。
［人物の視線が移動した場合の補正例］
図７は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を模式的に示す図である。図７では、画像処理装置１００を装着した人物の視線の動きに対するスタビライザ例を示す。
図７では、最初に、仮想表示画面位置３００における表示位置３０１に表示されている表示対象オブジェクト３０３を、眼球２０が見ている場合（視線３０５）の例を示す。この場合に、眼球２０が左側に移動して視線が移動した場合を想定する。このように、眼球２０が移動した場合には、仮想表示画面位置３００における表示位置３０１に表示されている表示対象オブジェクトを眼球２０が見ると、表示対象オブジェクト３０４が見えるようになる（線分３０６）。
そこで、眼球２０が左側に移動して視線が移動した場合には、上述した補正処理を行うことにより、仮想表示画面位置３００における表示位置３０１を表示位置３０２に移動するようにする。これにより、眼球２０が移動した場合でも、仮想表示画面位置３００における表示位置３０２に表示されている表示対象オブジェクト３０３を眼球２０が見ることができる（線分３０７）。
このように、画像処理装置１００を装着した人物が、左右に視線を移動したような場合には、上述した補正処理を行うことにより表示対象オブジェクトを適切に表示することができる。
［座標変換例］
ここで、表示対象オブジェクトをスクリーン上（表示部（Ｒ）１８１、表示部（Ｌ）１８２の表示画面上）に表示するための座標変換処理について説明する。
表示対象オブジェクトの情報は、ローカル座標であるため、スクリーン上に表示するためには、座標変換処理をする必要がある。
例えば、３Ｄのオブジェクトデータを２Ｄのスクリーン（例えば、透過型メガネ）に表示するために必要な一般的な処理について説明する。例えば、ローカル座標→ワールド座標変換処理、ワールド座標→ビュー座標変換処理、ビュー座標→プロジェクション座標変換処理、プロジェクション座標→スクリーン座標変換処理が一般的な処理となる。
ここで、ローカル座標→ワールド座標変換処理は、各オブジェクトが外界の何処に配置されているかを変換する処理である。
また、ワールド座標→ビュー座標変換処理は、カメラ（画像処理装置１００）が外界の何処に配置されているかを変換するための処理である。
また、ビュー座標→プロジェクション座標変換処理は、スクリーン（表示部（Ｒ）１８１、表示部（Ｌ）１８２の表示画面上）が何処に配置されているかを変換するための処理である。
また、プロジェクション座標→スクリーン座標変換処理は、表示対象オブジェクトをスクリーン上の何処に表示するかを変換するための処理である。
ただし、実際には、射影変換（前後関係により、他のオブジェクトの影に入れる処理）、テクスチャマッピング、ライティング等の処理も必要となる。ただし、ここでは、説明の容易のため、座標系に限定した処理についてのみ示す。
例えば、画像処理装置１００を装着した人物の目の位置（カメラ位置）が、グラス（表示部（Ｒ）１８１、表示部（Ｌ）１８２）に対して固定されている場合において、目の位置がグラスに対して移動する場合を想定する。この場合には、内向きカメラ（内向き撮像部（Ｒ）１０３、内向き撮像部（Ｌ）１０４）により生成された画像に基づいて眼球位置を算出し、グラスに対する目の位置の移動を把握することができる。このため、上述したワールド座標→ビュー座標変換処理において、グラスに対する目の位置の移動に基づいて、固定されていた目の位置（カメラ位置）と、グラス（表示部（Ｒ）１８１、表示部（Ｌ）１８２）の位置との関係を補正する。
また、上述したビュー座標→プロジェクション座標変換処理と、プロジェクション座標→スクリーン座標変換処理とにおいて、画像処理装置１００を装着した人物の目の位置およびスクリーン位置を考慮した座標変換を行う。
ここで、ビュー座標変換では、表示対象オブジェクトのワールド座標、目のワールド座標、グラスの上方向座標の各座標情報に基づいて変換行列を求めることができる。
［表示対象オブジェクトの表示例］
図８乃至図１０は、本技術の第１の実施の形態における画像処理装置１００による表示対象オブジェクトの表示例を示す図である。なお、図８乃至図１０では、画像処理装置１００およびその周辺の一部のみを矩形内に示す。
図８には、画像処理装置１００の表示部（Ｌ）１８２を保持するフレーム４０１と、表示部（Ｌ）１８２に表示される矢印（表示対象オブジェクト）４０２との関係を示す。図８に示すように、画像処理装置１００の表示部（Ｌ）１８２のレンズを通して、実際に存在するものを見ることができる。なお、図８では、説明の容易のため、実際に存在するものの一例としてマス目を示す。
また、画像処理装置１００の表示部（Ｌ）１８２には、矢印（表示対象オブジェクト）４０２を表示させることができる。
図９には、画像処理装置１００が傾いた場合の表示例を示す。図９のａには、画像処理装置１００の傾きに応じて矢印（表示対象オブジェクト）４０２を補正した場合の表示例を示す。図９のｂには、画像処理装置１００の傾きに応じた補正を行わない場合の表示例を示す。
図９のｂに示すように、補正処理を行わない場合には、画像処理装置１００の傾きに応じて矢印（表示対象オブジェクト）４０２が傾く。
一方、図９のａに示すように、補正処理を行う場合には、画像処理装置１００の傾きに応じて矢印（表示対象オブジェクト）４０２を補正するため、矢印（表示対象オブジェクト）４０２が傾かない。
図１０には、画像処理装置１００が水平に移動した場合の表示例を示す。図１０のａには、画像処理装置１００の水平への移動に応じて矢印（表示対象オブジェクト）４０２を補正した場合の表示例を示す。図１０のｂには、画像処理装置１００の水平への移動に応じた補正を行わない場合の表示例を示す。
図１０のｂに示すように、補正処理を行わない場合には、画像処理装置１００の水平への移動に応じて矢印（表示対象オブジェクト）４０２が移動する。
一方、図１０のａに示すように、補正処理を行う場合には、画像処理装置１００の水平への移動に応じて矢印（表示対象オブジェクト）４０２を補正するため、矢印（表示対象オブジェクト）４０２が移動しない。
このように、補正処理を行うことにより、外部オブジェクトに対して、矢印（表示対象オブジェクト）４０２が固定しているように見せることができる。
［画像処理装置の動作例（スタビライザ処理例）］
図１１は、本技術の第１の実施の形態における画像処理装置１００によるスタビライザ処理の処理手順の一例を示すフローチャートである。
最初に、視界情報取得部１２０は、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２のそれぞれにより生成された画像を用いて、視界情報を抽出する（ステップＳ８０１）。例えば、視界情報取得部１２０は、外部特異点および加速度センサ値を視界情報として取得する（ステップＳ８０１）。なお、この例では、外向き撮像部（Ｒ）１０１および外向き撮像部（Ｌ）１０２のそれぞれにより生成された画像を用いて視界情報を取得する例を示すが、他の方法により視界情報を取得するようにしてもよい。例えば、姿勢情報取得部１９５（例えば、加速度センサ）から加速度センサ値を取得するようにしてもよい。なお、ステップＳ８０１は、特許請求の範囲に記載の視界情報取得手順の一例である。
続いて、空間モデル作成部１３０は、視界情報取得部１２０により抽出された視界情報に基づいて、外部オブジェクトの絶対座標を算出する（ステップＳ８０２）。また、空間モデル作成部１３０は、視界情報取得部１２０により抽出された視界情報と、ＤＢ１４０に記憶されている表示対象オブジェクト情報とに基づいて、絶対座標上での表示対象オブジェクトＸの表示座標を確定する（ステップＳ８０２）。
このように、複数の外向きカメラによるマルチＳＬＡＭにより、外部オブジェクトの絶対座標を算出し、絶対座標上での表示対象オブジェクトＸの表示座標を確定する。
続いて、眼球情報取得部１５０は、内向き撮像部（Ｒ）１０３および内向き撮像部（Ｌ）１０４のそれぞれにより生成された画像を用いて、眼球情報を抽出する（ステップＳ８０３）。例えば、眼球情報取得部１５０は、眼球における虹彩中心点の絶対座標と、眼球の視線ベクトルとを眼球情報として求める（ステップＳ８０３）。なお、ステップＳ８０３は、特許請求の範囲に記載の眼球情報取得手順の一例である。
続いて、表示制御部１６０は、取得された各情報に基づいて、仮想表示画面位置２１１、２１２における表示対象オブジェクトＸの表示位置、表示サイズ、表示方向を決定する（ステップＳ８０４）。例えば、表示制御部１６０は、虹彩中心点の絶対座標と、表示対象オブジェクトＸの表示座標と、仮想表示画面位置２１１、２１２の絶対座標とに基づいて、仮想表示画面位置２１１、２１２における表示対象オブジェクトＸの表示位置、表示サイズ、表示方向を決定する。
続いて、表示制御部１６０は、決定された内容（仮想表示画面位置２１１、２１２における表示対象オブジェクトＸの表示位置、表示サイズ、表示方向）に基づいて、表示対象オブジェクトＸの補正処理を行う（ステップＳ８０５）。なお、ステップＳ８０４、Ｓ８０５は、特許請求の範囲に記載の制御手順の一例である。
続いて、表示対象オブジェクトの表示を終了するか否かが判断される（ステップＳ８０６）。表示対象オブジェクトの表示を終了する場合には（ステップＳ８０６）、スタビライザ処理の動作を終了する。一方、表示対象オブジェクトの表示を終了しない場合には（ステップＳ８０６）、ステップＳ８０１に戻る。
このように、表示制御部１６０は、人物の視界に含まれる像に表示対象オブジェクトを重ねて表示させることができる。また、表示制御部１６０は、視界情報と眼球情報とに基づいて、人物の視界に含まれる像における表示対象オブジェクトの表示態様を変更する制御を行うことができる。例えば、表示制御部１６０は、表示対象オブジェクトの表示部（Ｒ）１８１および表示部（Ｌ）１８２の表示面における表示位置と、表示角度と、表示サイズとのうちの少なくとも１つを変更することにより、表示態様を変更することができる。
例えば、表示制御部１６０は、表示部（Ｒ）１８１および表示部（Ｌ）１８２の位置に関する位置情報と、視界情報と、眼球情報とに基づいて、表示対象オブジェクトの表示態様を変更する制御を行うことができる。また、例えば、表示制御部１６０は、表示対象オブジェクトを仮想的に表示する表示位置（例えば、仮想表示画面位置）に関する位置情報と、視界情報と、眼球情報とに基づいて、表示対象オブジェクトの表示態様を変更する制御を行うことができる。例えば、これらの各情報により特定される各位置の相対関係に基づいて、表示対象オブジェクトの表示態様を変更することができる。
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、視界情報および眼球情報に基づいて、表示対象オブジェクトの表示態様を補正する例を示した。
本技術の第２の実施の形態では、視界情報および眼球情報に基づいて、表示対象オブジェクトの鮮鋭度を制御する例を示す。すなわち、人物の視線検出に基づいて、奥行き方向のボケ処理（ピント処理、深度補正処理）を行う例を示す。なお、本技術の第２の実施の形態では、ボケ処理を行う例のみを示すが、スタビライズおよびボケ処理を同時に行うようにしてもよい。
なお、本技術の第２の実施の形態における画像処理装置の構成については、図１および図２等に示す画像処理装置１００と略同一である。このため、本技術の第１の実施の形態と共通する部分については、本技術の第１の実施の形態と同一の符号を付してこれらの説明の一部を省略する。
［視線検出に基づくボケ処理例］
図１２は、本技術の第２の実施の形態における画像処理装置１００によるボケ処理の一例を模式的に示す図である。
図１２では、画像処理装置１００を装着した人物のピントが表示対象オブジェクトＸに合ってない場合には、表示対象オブジェクトＸにボケ処理を施す例（視線検出に基づくボケ処理例）を示す。具体的には、画像処理装置１００を装着した人物が遠くを見た場合と、近くを見た場合とを、その人物の視線によって検出する。そして、表示対象オブジェクトＸにピントが合ってない場合には、表示対象オブジェクトＸに深度に合わせたボケ処理を施す例（視線検出に基づくボケ処理例）を示す。
ここで、被写体深度と視線とのボケ処理の関係について説明する。本技術の第２の実施の形態では、以下を考慮してボケ処理を行う例を示す。
［視力に応じたボケ処理例（視線に関わらずかける処理）］
本技術の第２の実施の形態では、視力に応じたボケ処理を、焦点距離に関わらず、常に処理する例を示す。この視力に応じたボケ処理を行う場合には、グラス（画像処理装置１００）をかけている人物の視力を予め入力（または、調整）する必要がある。
例えば、視力１．０の人物に関するボケ処理を行う場合を想定する。この場合には、視力１．０の人物に対して、１０ｍ先の対象オブジェクトで３０ｍｍのＧａｕｓｓｉａｎ Ｂｌｕｒのボケ処理をかけるようにする。ここで、Ｇａｕｓｓｉａｎ Ｂｌｕｒ（ガウシアンぼかし）は、ボケ処理を行う画像処理の一例である。
例えば、視力１．０の人物は、１０ｍ先の１５ｃｍのランドルト環（「Ｃ」のマーク）を認識することができると定義されている。例えば、１５ｃｍのランドルト環を認識することができる分解能を３０ｍｍのＧａｕｓｓｉａｎ ｂｌｕｒをかけたレベルとする場合には、視力係数と同じ計算式で表現すると、Ｋｇ＝１００００／３０＝３３３となる。
そこで、表示対象オブジェクトＸまでの距離をＸ１ｃｍとすると、視力１．０で必要とされるＧａｕｓｓｉａｎ ｂｌｕｒの直径は、ｘ／３３３となる。なお、この例では、説明の容易のため、比較的簡単な計算例を示したが、実際には、人間の視力により近いＧａｕｓｓｉａｎ ｂｌｕｒを使用することが好ましい。
［表示対象オブジェクトＸまでの距離Ｘ１と焦点位置Ｘ１'によるボケ処理例（視線によって変化する処理）］
例えば、人間の目の性能を、カメラ（例えば、デジタルスチルカメラ）の指標で表すと、人間の目のＦ値は、約１．０であると言われている。また、人間の目は、状況によって焦点距離が２８ｍｍ乃至１３０ｍｍぐらいの範囲で変化すると言われている。
そこで、焦点距離５０ｍｍ、Ｆ値１．０に基づいて「焦点距離５０ｍｍ／Ｆ値１．０＝有効径５０」を標準有効径とし、視線検出によって焦点距離に合ったボケ処理を行うことができる。
例えば、表示対象オブジェクトＸまでの距離Ｘ１によって次のように定義する。
例えば、Ｘ１≦Ａ１（例えば、Ａ１は約１０ｃｍ）の場合には、調整不可処理を行う。この調整不可処理では、例えば、視線検出結果に関わらず、ｔｅｌｅボケ処理を実施する。この場合には、０に近づく程、ボケ処理を大きくする。
また、例えば、Ａ１＜Ｘ１≦Ａ２（例えば、Ａ２は２０乃至５０ｃｍ）の場合には、マクロ処理を行う。このマクロ処理では、上述した調整不可処理の追加処理として、次の視線検出によるボケ処理を実施する。
（１）焦点距離が表示対象オブジェクトＸに合っている場合には、ボケ処理を実施しない。ただし、上述した視力に応じたボケ処理は実施する。
（２）焦点距離が表示対象オブジェクトＸよりも近い場合には、有効径５０乃至８５相当のボケ処理を実施する。すなわち、ボケ処理を大目に実施する。
（３）焦点距離が表示対象オブジェクトＸよりも遠い場合には、有効径２８乃至５０相当のボケ処理を実施する。すなわち、ボケ処理を少な目に実施する。
また、Ａ２＜Ｘ１の場合には、標準処理を行う。この標準処理では、例えば、上述した調整不可処理の追加処理として、有効径５０相当のボケ処理を実施する。
ここで、画像処理装置１００を装着している人物は、片目を瞑る、または、手で片目を隠す等により、片目で見ていることも想定される。この場合には、片目で見ている場合のボケ処理（片目用ボケ処理）を実施する。
片目用ボケ処理では、例えば、上述したマクロ処理および標準処理を、有効径３５相当のボケ処理で実施する。
このように、ボケ処理を実施することにより、例えば、表示対象オブジェクトしか視界に存在しないような場合（例えば、暗闇）でも、表示対象オブジェクトまでの距離を正しく認識することができる。このため、表示対象オブジェクトの大きさを正しく認識することができる。
［ボケ処理を実施した場合の比較例］
ここでは、図１３および図１４を参照して、上述したボケ処理による効果の概要を示す。
図１３は、本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施した場合の表示例を示す図である。
図１４は、本技術の第２の実施の形態における画像処理装置１００によりボケ処理を実施する前の表示例（比較例）を示す図である。
図１３および図１４には、表示部（Ｒ）１８１、表示部（Ｌ）１８２の何れかに表示される画像（人物の目に入射する像）の一例（画像６００、６１０）を示す。画像６００、６１０に対応する撮像範囲には、人物から比較的近い位置（手側前の位置）に配置されている物体（円錐）６０１と、人物から比較的離れている位置（奥側の位置）に配置されている物体（円柱）６０２とが含まれているものとする。また、人物の視線は、物体（円錐）６０１にピントが合っているが、物体（円柱）６０２はピントが合わずにボケて見えるものとする。
このような場合に、表示対象オブジェクト（球）を物体（円柱）６０２とほぼ同じ位置（奥側の位置）に配置して表示させる場合を想定する。
例えば、図１４に示すように、ボケ処理を行わずに、表示対象オブジェクト（球）６１１を表示させる場合を想定する。この場合には、物体（円柱）６０２はピントが合わずにボケて見えるにも関わらず、表示対象オブジェクト（球）６１１はピントが合って見える。このように、ほぼ同じ位置（奥側の位置）に配置されている一方の物体（物体（円柱）６０２）はボケて見え、他方の物体（表示対象オブジェクト（球）６１１）はピントが合って見えると、これらを見ている人物に違和感を与えることになる。
そこで、図１３に示すように、上述したボケ処理を実施して表示対象オブジェクト（球）６０３を表示させる場合を想定する。この場合には、物体（円柱）６０２および表示対象オブジェクト（球）６１１はピントが合わずにボケて見える。このように、ほぼ同じ位置（奥側の位置）に配置されている２つの物体（物体（円柱）６０２および表示対象オブジェクト（球）６１１）が同じようにボケて見えるため、これらを見ている人物に違和感を与えない。
［画像処理装置の動作例（ボケ処理例）］
図１５は、本技術の第２の実施の形態における画像処理装置１００によるボケ処理の処理手順の一例を示すフローチャートである。
最初に、表示制御部１６０は、眼球情報取得部１５０からの眼球情報に基づいて、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２を両目で見ているか否かを判断する（ステップＳ８１１）。すなわち、表示制御部１６０は、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２の双方を見ているか否かを判断する（ステップＳ８１１）。
画像処理装置１００を装着している人物が両目で見ていない場合には（ステップＳ８１１）、表示制御部１６０は、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２を片目で見ているか否かを判断する（ステップＳ８１２）。すなわち、表示制御部１６０は、画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２のうちの何れか一方を見ているか否かを判断する（ステップＳ８１２）。画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２を片目で見ていない場合（すなわち、表示部（Ｒ）１８１および表示部（Ｌ）１８２の双方を見ていない場合）には（ステップＳ８１２）、ボケ処理等を行う必要がない。このため、ボケ処理の動作を終了する。
画像処理装置１００を装着している人物が、表示部（Ｒ）１８１および表示部（Ｌ）１８２のうちの何れか一方を見ている場合には（ステップＳ８１２）、表示制御部１６０は、片目用ボケ処理を実施する（ステップＳ８１３）。例えば、上述したマクロ処理および標準処理を、有効径３５相当のボケ処理で実施する。
画像処理装置１００を装着している人物が両目で見ている場合には（ステップＳ８１１）、表示制御部１６０は、表示対象オブジェクトＸまでの距離Ｘ１がＡ１以下であるか否かを判断する（ステップＳ８１４）。表示対象オブジェクトＸまでの距離Ｘ１がＡ１以下である場合には（ステップＳ８１４）、表示制御部１６０は、調整不可処理を行う（ステップＳ８１５）。この調整不可処理では、例えば、視線検出結果に関わらず、ｔｅｌｅボケ処理を実施する（ステップＳ８１５）。
表示対象オブジェクトＸまでの距離Ｘ１がＡ１よりも長い場合には（ステップＳ８１４）、表示制御部１６０は、表示対象オブジェクトＸまでの距離Ｘ１がＡ２以下であるか否かを判断する（ステップＳ８１６）。表示対象オブジェクトＸまでの距離Ｘ１がＡ２よりも長い場合には（ステップＳ８１６）、表示制御部１６０は、標準処理を行う（ステップＳ８１７）。この標準処理では、例えば、上述した調整不可処理の追加処理として、有効径５０相当のボケ処理を実施する。
表示対象オブジェクトＸまでの距離Ｘ１がＡ２以下である場合には（ステップＳ８１６）、表示制御部１６０は、焦点距離が表示対象オブジェクトＸに合っているか否かを判断する（ステップＳ８１８）。焦点距離が表示対象オブジェクトＸに合っている場合には（ステップＳ８１８）、表示制御部１６０は、視力に応じたボケ処理を実施する（ステップＳ８１９）。
焦点距離が表示対象オブジェクトＸに合っていない場合には（ステップＳ８１８）、表示制御部１６０は、焦点距離が表示対象オブジェクトＸよりも近いか否かを判断する（ステップＳ８２０）。焦点距離が表示対象オブジェクトＸよりも近い場合には（ステップＳ８２０）、表示制御部１６０は、有効径５０乃至８５相当のボケ処理を実施する（ステップＳ８２２）。すなわち、ボケ処理を大目に実施する。
焦点距離が表示対象オブジェクトＸよりも近くない場合（焦点距離が表示対象オブジェクトＸよりも遠い場合）には（ステップＳ８２０）、表示制御部１６０は、有効径２８乃至５０相当のボケ処理を実施する（ステップＳ８２１）。すなわち、ボケ処理を少な目に実施する。
このように、表示制御部１６０は、視界情報および眼球情報に基づいて、表示対象オブジェクトの鮮鋭度を制御することができる。例えば、表示制御部１６０は、表示対象オブジェクトを表示すべき視界における３次元上の位置（例えば、被写体までの距離）に基づいて、表示対象オブジェクトの鮮鋭度を制御することができる。例えば、表示制御部１６０は、表示対象オブジェクトに対するボケ処理を行うことにより、その鮮鋭度を制御することができる。
ここで、例えば、表示対象オブジェクトを外部オブジェクトに対して固定された座標上に表示する場合を想定する。例えば、加速度センサを用いて、表示対象オブジェクトの表示位置を、画像処理装置の動作方向とは逆方向に移動させることにより表示する方法（第１方法）が考えられる。また、例えば、ＳＬＡＭを用いて表示部の絶対位置を算出することにより、表示対象オブジェクトの座標軸を算出して表示する方法（第２方法）が考えられる。
しかしながら、第１方法では、少し顔を動かすだけで表示対象オブジェクトが振動して見えるおそれがある。また、第１方法では、加速度センサの精度が低いことも想定される。この場合には、表示対象オブジェクトを適切な表示位置とすることができないおそれがある。また、仮に、加速度センサの精度として１００％の精度が得られたとしても、外部オブジェクトに対する精度は表示部に対してのみ有効となる。この場合にも、少し顔を動かすだけで表示対象オブジェクトが振動して見えるおそれがある。
このため、第１方法では、表示対象オブジェクトが見難い、表示対象オブジェクトを見ていると酔う等の症状が出るおそれがある。
また、第２方法では、表示された画像のピントが常に合っており、かつ、外部に起点となる対象物が無い場合（例えば、暗闇）には、表示対象オブジェクトが目の前（例えば、仮想表示部の位置）に表示されている錯覚に陥ってしまうおそれがある。また、第２方法では、外部オブジェクトの位置測定として、正確なカメラ位置出しを行えるＳＬＡＭは有効な手段であるが、精度は表示部に対してのみ有効となる。この場合にも、少し顔を動かすだけで表示対象オブジェクトが振動して見えるおそれがある。
このため、第２方法では、表示対象オブジェクトが見難い、表示対象オブジェクトを見ていると酔う等の症状が出るおそれがある。
ここで、例えば、画像処理装置を装着している人物が歩いている場合に、その歩く振動により表示部も振動してしまうことがある。この場合には、視認部の位置（例えば、左右の眼球位置）に対して表示部が変化することが想定される。また、例えば、画像処理装置を装着している人物が眉毛を動かす場合、近くを見た後に遠くを見る場合（または、その逆の場合）、左右に視線を移す場合等には、眼球位置が動く。この場合には、表示部に対して視認部の位置（例えば、左右の眼球位置）が変化することが想定される。
しかしながら、第１方法および第２方法では、視認部の位置と表示部との関係が変化することについて考慮されていない。そこで、視認部の位置と表示部との関係が変化することを考慮して、表示対象オブジェクトを、外部オブジェクトに対して固定された座標軸上に正確に表示することが重要となる。
そこで、本技術の第１の実施の形態では、複数の外向きカメラと、複数の内向きカメラとを用いて、外界の対象物、画像処理装置、眼球に関する各情報（例えば、位置情報）を検出して使用し、表示画像について適切な補正を行う。これにより、表示画像のブレを軽減することができる。また、仮想画面の位置を適切に制御することができる。
これにより、表示対象オブジェクトの揺れを防止することができる。また、視認性を飛躍的に向上させることができる。また、より強い現実感を得ることができる。また、表示に対して、脳が受ける違和感を少なくすることができる。これにより、長時間視聴の疲労を緩和することができ、酔い止めを防止することができる。これらにより、透過型ウェアラブルグラスの快適なアプリケーションを実現することができる。
言い換えると、表示対象オブジェクトを、外界に違和感なく溶け込んだ状態で表示することができる。また、視認性を向上させることができ、３Ｄ酔いを防止し、長時間視聴時の疲労を緩和することができる。
言い換えると、視覚上、表示対象オブジェクトを、より安定、かつ、自然に、外部オブジェクトに対して固定された座標上に表示することができる。
また、本技術の第２の実施の形態によれば、表示対象オブジェクトの目的とする深度に基づいて、表示対象オブジェクトの鮮鋭度を適切に制御することができる。
このように、本技術の実施の形態によれば、視認性を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得部と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得部と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御を行う表示制御部と
を具備する画像処理装置。
（２）
前記眼球情報取得部は、前記人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、前記人物の眼球の位置および前記眼球の視線方向を検出することにより前記眼球情報を取得する前記（１）に記載の画像処理装置。
（３）
前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
前記複数の撮像部は、前記表示対象オブジェクトを表示する前記表示部の表示面における端部に設けられる
前記（２）に記載の画像処理装置。
（４）
前記視界情報取得部は、前記人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、前記視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、前記視界に含まれる物体の深度を検出する深度検出処理とを行うことにより、前記視界に含まれる物体の位置に関する情報を前記視界情報として取得する前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
前記表示制御部は、前記表示部の位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記表示部は、前記人物の視界に含まれる像を透過する表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて前記表示面に前記表示対象オブジェクトを表示する屈折式表示部であり、
前記表示制御部は、前記表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
前記（５）に記載の画像処理装置。
（７）
前記表示制御部は、前記表示対象オブジェクトの前記表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより前記表示態様を変更する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記表示制御部は、前記視界情報と前記眼球情報とに基づいて、前記表示対象オブジェクトの鮮鋭度を制御する前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
前記表示制御部は、前記表示対象オブジェクトを表示すべき前記視界における３次元上の位置に基づいて、前記表示対象オブジェクトの鮮鋭度を制御する前記（８）に記載の画像処理装置。
（１０）
前記表示制御部は、前記表示対象オブジェクトに対するボケ処理を行うことにより前記鮮鋭度を制御する前記（８）または（９）に記載の画像処理装置。
（１１）
前記画像処理装置の姿勢の変化に関する姿勢情報を取得する姿勢情報取得部をさらに具備し、
前記表示制御部は、前記視界情報と、前記眼球情報と、前記姿勢の変化に関する姿勢情報とに基づいて、前記表示態様を変更する制御を行う
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
を具備する画像処理方法。
（１３）
画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
をコンピュータに実行させるプログラム。
１００ 画像処理装置
１０１ 外向き撮像部（Ｒ）
１０２ 外向き撮像部（Ｌ）
１０３ 内向き撮像部（Ｒ）
１０４ 内向き撮像部（Ｌ）
１１１〜１１４ 画像処理部
１２０ 視界情報取得部
１３０ 空間モデル作成部
１４０ ＤＢ（データベース）
１５０ 眼球情報取得部
１６０ 表示制御部
１７０ 表示処理部
１８１ 表示部（Ｒ）
１８２ 表示部（Ｌ）
１８３〜１８６ 赤外線発光装置
１９０ ブリッジ
１９５ 姿勢情報取得部

Claims (13)

  1. 画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得部と、
    前記人物の眼球に関する眼球情報を取得する眼球情報取得部と、
    前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御を行う表示制御部と
    を具備する画像処理装置。
  2. 前記眼球情報取得部は、前記人物の眼球方向に設けられている複数の撮像部により生成された画像に基づいて、前記人物の眼球の位置および前記眼球の視線方向を検出することにより前記眼球情報を取得する請求項１記載の画像処理装置。
  3. 前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
    前記複数の撮像部は、前記表示対象オブジェクトを表示する前記表示部の表示面における端部に設けられる
    請求項２記載の画像処理装置。
  4. 前記視界情報取得部は、前記人物の視線方向に設けられている複数の撮像部により生成された画像に基づいて、前記視界に含まれる物体の特徴点を抽出する特徴点抽出処理と、前記視界に含まれる物体の深度を検出する深度検出処理とを行うことにより、前記視界に含まれる物体の位置に関する情報を前記視界情報として取得する請求項１記載の画像処理装置。
  5. 前記人物の視界に含まれる像を前記人物の眼に提供する表示部をさらに具備し、
    前記表示制御部は、前記表示部の位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
    請求項１記載の画像処理装置。
  6. 前記表示部は、前記人物の視界に含まれる像を透過する表示面の縁に配置されている画像出力部から出力される屈折画像に基づいて前記表示面に前記表示対象オブジェクトを表示する屈折式表示部であり、
    前記表示制御部は、前記表示対象オブジェクトを仮想的に表示する表示位置に関する位置情報と、前記視界情報と、前記眼球情報とに基づいて、前記表示態様を変更する制御を行う
    請求項５記載の画像処理装置。
  7. 前記表示制御部は、前記表示対象オブジェクトの前記表示部の表示面における表示位置と表示角度と表示サイズとのうちの少なくとも１つを変更することにより前記表示態様を変更する請求項１記載の画像処理装置。
  8. 前記表示制御部は、前記視界情報と前記眼球情報とに基づいて、前記表示対象オブジェクトの鮮鋭度を制御する請求項１記載の画像処理装置。
  9. 前記表示制御部は、前記表示対象オブジェクトを表示すべき前記視界における３次元上の位置に基づいて、前記表示対象オブジェクトの鮮鋭度を制御する請求項８記載の画像処理装置。
  10. 前記表示制御部は、前記表示対象オブジェクトに対するボケ処理を行うことにより前記鮮鋭度を制御する請求項８記載の画像処理装置。
  11. 前記画像処理装置の姿勢の変化に関する姿勢情報を取得する姿勢情報取得部をさらに具備し、
    前記表示制御部は、前記視界情報と、前記眼球情報と、前記姿勢の変化に関する姿勢情報とに基づいて、前記表示態様を変更する制御を行う
    請求項１記載の画像処理装置。
  12. 画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
    前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
    前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
    を具備する画像処理方法。
  13. 画像処理装置が装着されている人物の視界に含まれる像に関する視界情報を取得する視界情報取得手順と、
    前記人物の眼球に関する眼球情報を取得する眼球情報取得手順と、
    前記視界に含まれる像に表示対象オブジェクトを重ねて表示させ、前記視界情報と前記眼球情報とに基づいて、前記視界に含まれる像における前記表示対象オブジェクトの表示態様を変更する制御手順と
    をコンピュータに実行させるプログラム。
JP2015220082A 2015-11-10 2015-11-10 画像処理装置、画像処理方法およびプログラム Pending JP2017091190A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015220082A JP2017091190A (ja) 2015-11-10 2015-11-10 画像処理装置、画像処理方法およびプログラム
PCT/JP2016/075878 WO2017081915A1 (ja) 2015-11-10 2016-09-02 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015220082A JP2017091190A (ja) 2015-11-10 2015-11-10 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2017091190A true JP2017091190A (ja) 2017-05-25

Family

ID=58695160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015220082A Pending JP2017091190A (ja) 2015-11-10 2015-11-10 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2017091190A (ja)
WO (1) WO2017081915A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150668A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US11579688B2 (en) 2019-06-28 2023-02-14 Canon Kabushiki Kaisha Imaging display device and wearable device
US11972045B2 (en) 2019-06-28 2024-04-30 Canon Kabushiki Kaisha Imaging display device and wearable device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044383A1 (ja) * 2008-10-17 2010-04-22 Hoya株式会社 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
EP3109854A4 (en) * 2014-02-20 2017-07-26 Sony Corporation Display control device, display control method, and computer program
JP2015170175A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、および情報処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150668A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN111656776A (zh) * 2018-01-30 2020-09-11 索尼公司 图像处理器、图像处理方法和程序
US11386527B2 (en) 2018-01-30 2022-07-12 Sony Corporation Image processor and imaging processing method
CN111656776B (zh) * 2018-01-30 2022-08-09 索尼公司 图像处理器、图像处理方法和计算机可读记录介质
US11579688B2 (en) 2019-06-28 2023-02-14 Canon Kabushiki Kaisha Imaging display device and wearable device
US11972045B2 (en) 2019-06-28 2024-04-30 Canon Kabushiki Kaisha Imaging display device and wearable device

Also Published As

Publication number Publication date
WO2017081915A1 (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
JP7177213B2 (ja) 視線追跡情報に基づく画像領域内の適応パラメータ
US11762462B2 (en) Eye-tracking using images having different exposure times
JP6717377B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11675432B2 (en) Systems and techniques for estimating eye pose
US10048750B2 (en) Content projection system and content projection method
US20140152558A1 (en) Direct hologram manipulation using imu
US20190018236A1 (en) Varifocal aberration compensation for near-eye displays
JP7388349B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
US10819898B1 (en) Imaging device with field-of-view shift control
CN111886564A (zh) 信息处理装置、信息处理方法和程序
WO2019142560A1 (ja) 視線を誘導する情報処理装置
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US11743447B2 (en) Gaze tracking apparatus and systems
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
WO2017081915A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
US20230379594A1 (en) Image blending
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法