JP2015149634A - 画像表示装置および方法 - Google Patents

画像表示装置および方法 Download PDF

Info

Publication number
JP2015149634A
JP2015149634A JP2014021834A JP2014021834A JP2015149634A JP 2015149634 A JP2015149634 A JP 2015149634A JP 2014021834 A JP2014021834 A JP 2014021834A JP 2014021834 A JP2014021834 A JP 2014021834A JP 2015149634 A JP2015149634 A JP 2015149634A
Authority
JP
Japan
Prior art keywords
display
image
unit
user
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014021834A
Other languages
English (en)
Inventor
翼 塚原
Tsubasa Tsukahara
翼 塚原
俊一 笠原
Shunichi Kasahara
俊一 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014021834A priority Critical patent/JP2015149634A/ja
Priority to US14/609,667 priority patent/US9710132B2/en
Publication of JP2015149634A publication Critical patent/JP2015149634A/ja
Priority to US15/634,364 priority patent/US9927948B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Digital Computer Display Output (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

【課題】操作性を向上させることができるようにする。
【解決手段】本技術の一側面の画像表示装置は、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部と、複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、前記表示部に表示させる表示制御部とを備える。本開示は、例えば、画像表示装置に適用することができる。
【選択図】図６

Description

本開示は画像表示装置および方法に関し、特に、操作性を向上させることができるようにした画像表示装置および方法に関する。
近年、透過型HMD（Head Mounted Display）の開発が行われるようになってきた。例えば、両眼視差や輻輳を調整することで奥行きを表現する透過型HMDが考えられた（例えば、特許文献１参照）。例えば、このような方法を用いて、現実空間の景色にメニューアイコン等の表示オブジェクトを重畳させて表示させることが考えられた。
特開２０１２−４２６５４号公報
しかしながら、近年、このような透過型HMDは、より多機能化しており、それに伴い、表示すべきメニューアイコン等の表示オブジェクトの数も増大している。そのため、単純に表示すべき全ての表示オブジェクトを表示するだけだと、例えば、各表示オブジェクトが小さくなったり、多数の表示オブジェクトの中から所望のアイコンを探さなければならなくなったり、多数の表示オブジェクトが手前に重畳されることにより現実空間が視えづらくなったりして、操作性が悪化するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、このような表示オブジェクトの操作性を向上させることができるようにするものである。
本技術の一側面の画像表示装置は、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部と、複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、前記表示部に表示させる表示制御部とを備える画像表示装置である。
前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の大きさを制御することができる。
前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の明度、彩度、およびコントラストのうち少なくともいずれか１つを制御することができる。
前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、各列における前記立体視画像同士の間隔を制御することができる。
前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記列同士の奥行き方向の間隔を制御することができる。
前記表示制御部は、ユーザから視て奥側の列に配置された前記立体視画像の少なくとも一部が、前記ユーザから視て手前側の列に配置された前記立体視画像によって隠れるように各立体視画像の表示位置を制御することができる。
前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の色相を制御することができる。
前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の合焦度を制御することができる。
前記表示制御部は、前記立体視画像が有する役割に応じて、前記立体視画像を配置する列を制御することができる。
前記表示部の位置や向きの変化を検出する検出部をさらに備え、前記表示制御部は、前記検出部により前記表示部の位置や向きの変化が検出された場合、その変化に応じて前記立体視画像を移動させることができる。
前記表示制御部は、前記検出部により前記表示部の位置や向きの変化の開始が検出されると、前記立体視画像の表示位置を、前記表示部の位置や向きが変化していない状態の位置から、前記表示部の位置や向きが変化した方向と逆方向に移動させ、前記検出部により前記表示部の位置や向きの変化の終了が検出されると、前記立体視画像の表示位置を、前記表示部の位置や向きが変化していない状態の位置に戻すことができる。
前記表示制御部は、ユーザから視てより手前側の列に配置された前記立体視画像を、前記ユーザから視て奥側の列に配置された前記立体視画像よりも大きく移動させることができる。
前記表示制御部は、ユーザから視てより手前側の列に配置された前記立体視画像を、前記ユーザから視て奥側の列に配置された前記立体視画像よりも早く移動させることができる。
本技術の一側面の画像表示方法は、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部に、複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示させる画像表示方法である。
本技術においては、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部に、複数の立体視画像が、現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示される。
本技術によれば、被写体を撮像することができる。また、本技術によれば、操作性を向上させることができる。
立体視画像における虚像表示位置の例を示す図である。 透過型HMDの外観の例を示す図である。 透過型HMDの主な構成例を示すブロック図である。 表示オブジェクトの表示例を示す図である。 表示オブジェクトの階層構造の例を示す図である。 表示制御処理の流れの例を示すフローチャートである。 両眼視差と輻輳角について説明する図である。 表示オブジェクトの表示例を示す図である。 表示オブジェクトの表示例を示す図である。 表示オブジェクトの表示例を示す図である。 表示オブジェクトの表示例を示す図である。 表示オブジェクトの表示例を示す図である。 表示オブジェクトの水平方向の移動例を示す図である。 表示オブジェクトの垂直方向の移動例を示す図である。 パラメータの例を示す図である。 表示制御処理の流れの例を示すフローチャートである。 表示オブジェクトの回転方向の移動例を示す図である。 パラメータの例を示す図である。 表示制御処理の流れの例を示すフローチャートである。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像表示装置）
２．第２の実施の形態（透過型HMD）
＜１．第１の実施の形態＞
＜立体視画像の表示＞
近年、透過型HMD（Head Mounted Display）の開発が行われるようになってきた。透過型HMDでは、背面側からの光を透過し、その背面側の現実空間を視ることができる表示部（透過型ディスプレイ）が用いられる。これにより、透過型HMDのユーザは、その透過型ディスプレイに表示される画像を、その透過型ディスプレイの背面側の現実空間の景色に重畳した状態で視ることができる。
このような透過型ディスプレイに、例えば透過型HMDにおけるメニューアイコン等のGUI（Graphical User Interface）のような、所定の画像（表示オブジェクト）を表示させることが考えられた。しかしながら、このような表示方法であっても、その表示オブジェクトの奥行き感が乏しいと、視覚的に不自然な、ユーザにとって違和感の生じる画像となり、その操作性が悪化してしまうおそれがあった。
ところで特許文献１には、透過型ディスプレイに画像を表示する方法の１つとして、画像の両眼視差や輻輳を調整することで奥行きを表現する方法が開示されている。しかしながら、このような表示方法を表示オブジェクトに適用する場合も、現実空間の景色に対して表示オブジェクトの奥行き感が十分でないため、やはり、視覚的に不自然な、ユーザにとって違和感の生じる画像となり、その操作性が悪化してしまうおそれがあった。
例えば、図１に示されるように、円柱１１乃至円柱１３は、現実空間の景色１に重畳される非現実の画像である。これらが存在するように視える位置（虚像位置とも称する）は、互いに異なる奥行き方向の位置に設定されているが、その奥行き感が乏しいため、現実空間の景色の遠近感と整合せず、視覚的に不自然な、ユーザにとって違和感の生じる画像となっている。
また、近年、このような透過型HMDは、より多機能化しており、それに伴い、メニューアイコン等として表示すべき表示オブジェクトの数も増大している。そのため、単純に表示すべき全ての表示オブジェクトを表示するだけだと、例えば、各表示オブジェクトが小さくなったり、多数の表示オブジェクトの中から所望のアイコンを探さなければならなくなったり、多数の表示オブジェクトが手前に重畳されることにより現実空間が視えづらくなったりして、操作性が悪化するおそれがあった。
＜画像表示装置＞
そこで、画像表示装置が、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部と、複数の立体視画像を、現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、表示部に表示させる表示制御部とを備えるようにする。
すなわち、画像表示装置が、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部に、複数の立体視画像を、現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示させるようにする。
つまり、メニューアイコン等の表示オブジェクトを、立体視画像として表示部１１２に表示させ、奥行き方向の位置が互いに異なる複数の列に分けて表示するようにする。このようにすることにより、各列の表示オブジェクトの数が低減されるので、例えば、表示オブジェクトをより大きく表示させることができ、かつ、ユーザは、より少数の表示オブジェクト（1列の表示オブジェクト）の中から所望のメニューアイコンの表示オブジェクトを選択することができる。したがって、操作性を向上させることができる。
また、表示制御部が、立体視画像である表示オブジェクトを配置する列の奥行き方向の位置に応じて、その表示オブジェクトの大きさを制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
さらに、表示制御部が、表示オブジェクトを配置する列の奥行き方向の位置に応じて、表示オブジェクトの明度、彩度、およびコントラストのうち少なくともいずれか１つを制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
また、表示制御部が、表示オブジェクトを配置する列の奥行き方向の位置に応じて、各列における表示オブジェクト同士の間隔を制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
さらに、表示制御部が、表示オブジェクトを配置する列の奥行き方向の位置に応じて、列同士の奥行き方向の間隔を制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
また、表示制御部が、ユーザから視て奥側の列に配置された表示オブジェクトの少なくとも一部が、ユーザから視て手前側の列に配置された表示オブジェクトによって隠れるように各表示オブジェクトの表示位置を制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
さらに、表示制御部が、表示オブジェクトを配置する列の奥行き方向の位置に応じて、表示オブジェクトの色相を制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
また、表示制御部が、表示オブジェクトを配置する列の奥行き方向の位置に応じて、表示オブジェクトの合焦度を制御するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
さらに、表示制御部が、表示オブジェクトが有する役割に応じて、表示オブジェクトを配置する列を制御するようにしてもよい。このようにすることにより、ユーザが、表示オブジェクトの表示位置（奥行き方向の位置）に基づいて、例えばメニューアイコンの種類等、その表示オブジェクトが有する役割を容易に識別することができるようになる。つまり、ユーザが所望の表示オブジェクトをより見つけることができるようになり、操作性を向上させることができる。
また、表示部の位置や向きの変化を検出する検出部をさらに備え、検出部により表示部の位置や向きの変化が検出された場合、表示制御部が、その変化に応じて表示オブジェクトを移動させるようにしてもよい。このようにすることにより、表示オブジェクトと現実空間の物体との識別を容易にすることができ、操作性を向上させることができる。
さらに、表示制御部が、検出部により表示部の位置や向きの変化の開始が検出されると、表示オブジェクトの表示位置を、表示部の位置や向きが変化していない状態の位置から、表示部の位置や向きが変化した方向と逆方向に移動させ、検出部により表示部の位置や向きの変化の終了が検出されると、表示オブジェクトの表示位置を、表示部の位置や向きが変化していない状態の位置に戻すようにしてもよい。このようにすることにより、表示オブジェクトと現実空間の物体との識別を容易にすることができ、操作性を向上させることができる。
また、表示制御部が、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから見て奥側の列に配置された表示オブジェクトよりも大きく移動させるようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
さらに、表示制御部が、ユーザから見てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも早く移動させるようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感を増大させることができ、操作性を向上させることができる。
また、表示制御部が、上述した各種処理のうち、任意の処理を複数組み合わせて行うようにしてもよい。
なお、上述した表示オブジェクトは、光を透過しない非透過型の表示部に表示されるようにしてもよい。例えば、非透過型の表示部に、複数視点の画像からなる立体視画像（例えばメニューアイコン等の表示オブジェクト）が、撮像部において得られる撮り込み画像（スルー画とも称する）に重畳され表示されるようにしてもよい。その場合も、表示オブジェクトを上述した透過型の表示部に表示させる場合と同様に、表示オブジェクトが、現実空間の景色より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、その表示オブジェクトの左眼用画像と右眼用画像とを生成して表示部に表示させるようにすればよい。
つまり、上述した「現実空間を透過的に視る」ことには、透過型のディスプレイのように、「そのディスプレイを介して、そのディスプレイの背面側の現実空間の景色を視ること」だけでなく、上述した非透過型のディスプレイのように、「そのディスプレイに表示された、撮像部において得られるスルー画を視ること」も含まれる。
＜２．第２の実施の形態＞
＜透過型HMDの外観＞
本技術は、画像表示装置以外にも適用することができる。例えば、透過型HMDに本技術を適用するようにしてもよい。図２は、本技術を適用した画像表示装置の一態様である、透過型HMDの外観の例を示す図である。例えば図２Ａに示されるように、透過型HMD１００の筐体１１１は、所謂眼鏡型の形状を有しており、眼鏡と同様に、筐体１１１の端部がユーザの耳にかけられるような姿勢でユーザの顔に装着されて使用される。
眼鏡のレンズに相当する部分が表示部１１２（右眼用表示部１１２Ａと左眼用表示部１１２Ｂ）となっている。ユーザが透過型HMD１００を装着すると、右眼用表示部１１２Ａがユーザの右眼前方の近傍に位置し、左眼用表示部１１２Ｂがユーザの左眼前方の近傍に位置する。
表示部１１２は、光を透過する透過型ディスプレイである。したがって、ユーザの右眼は、右眼用表示部１１２Ａを介して、その背面側、すなわち、右眼用表示部１１２Ａより前方の現実空間の景色（透過映像）を視ることができる。同様に、ユーザの左眼は、左眼用表示部１１２Ｂを介して、その背面側、すなわち、左眼用表示部１１２Ｂより前方の現実空間の景色（透過映像）を視ることができる。したがって、ユーザには、表示部１１２に表示される画像が、この表示部１１２より前方の現実空間の景色の手前側に重畳された状態で視える。
右眼用表示部１１２Ａは、ユーザの右眼に視せるための画像（右眼用画像）を表示し、左眼用表示部１１２Ｂは、ユーザの左眼に視せるための画像（左眼用画像）を表示する。つまり、表示部１１２は、右眼用表示部１１２Ａおよび左眼用表示部１１２Ｂのそれぞれに、互いに異なる画像を表示することができ、例えば、立体視画像を表示させることができる。
立体視画像は、互いに両眼視差と輻輳角を有する右眼用画像と左眼用画像からなり、その両眼視差と輻輳角を制御することにより、ユーザに、ユーザから遠くに位置するように視えるようにしたり、近くに位置するように視えるようにしたりすることができる画像である。つまり、立体視画像は、奥行き位置（画像の実際の表示位置ではなく、ユーザにとってあたかもそこに存在するように視える仮想的な位置（虚像位置とも称する））を制御することができる画像である。
つまり、表示部１１２は、ユーザにとって、この表示部１１２より前方の現実空間内に位置するように視えるように、画像（立体視画像）を表示することができる。
また、図２に示されるように、筐体１１１の表示部１１２近傍には、ホール（穴）１１３が設けられている。そのホール１１３付近の筐体１１１の内部には、被写体を撮像する撮像部が設けられている。その撮像部は、そのホール１１３を介して、透過型HMD１００の前方（透過型HMD１００を装着したユーザにとって、その透過型HMD１００よりも前方）の現実空間の被写体を撮像する。より具体的には、撮像部は、ユーザから視て表示部１１２（右眼用表示部１１２Ａおよび左眼用表示部１１２Ｂ）の表示領域内に位置する現実空間の被写体を撮像する。これにより撮像画像の画像データが生成される。生成された画像データは、例えば、所定の記憶媒体に記憶されたり、他のデバイスに伝送されたりする。
なお、このホール１１３（すなわち撮像部）の位置は、任意であり、図２Ａに示される例以外の位置に設けられるようにしてもよい。また、このホール１１３の数（すなわち撮像部）の数は任意であり、図２Ａのように１つであってもよいし、複数であってもよい。
また、ユーザの顔（頭部）に、右眼用表示部１１２Ａがユーザの右眼前方の近傍に位置し、左眼用表示部１１２Ｂがユーザの左眼前方の近傍に位置するように、装着することができる限り、筐体１１１の形状は任意である。例えば、透過型HMD１００が図２Ｂのような形状であってもよい。
図２Ｂの例の場合、透過型HMD１００の筐体１３１は、ユーザの頭部を後方から挟むように固定するような形状に形成されている。この場合の表示部１３２も、表示部１１２と同様の透過型のディスプレイである。すなわち、表示部１３２も、右眼用表示部１３２Ａと左眼用表示部１３２Ｂを有しており、ユーザが透過型HMD１００を装着すると、右眼用表示部１３２Ａがユーザの右眼前方の近傍に位置し、左眼用表示部１３２Ｂがユーザの左眼前方の近傍に位置する。
そして、右眼用表示部１３２Ａは、右眼用表示部１１２Ａと同様の表示部であり、左眼用表示部１３２Ｂは、左眼用表示部１１２Ｂと同様の表示部である。つまり、表示部１３２も表示部１１２と同様に立体視画像を表示することができる。
また、図２Ｂの場合も、図２Ａの場合と同様に、筐体１３１の表示部１３２近傍には、ホール（穴）１１３と同様のホール（穴）１３３が設けられ、そのホール１３３付近の筐体１３１の内部には、被写体を撮像する撮像部が設けられている。その撮像部は、図２Ａの場合と同様に、そのホール１３３を介して、透過型HMD１００の前方（透過型HMD１００を装着したユーザにとって、その透過型HMD１００よりも前方）の現実空間の被写体を撮像する。
当然、このホール１３３（すなわち撮像部）の位置は、図２Ａの場合と同様に任意であり、図２Ｂに示される例以外の位置に設けられるようにしてもよい。また、このホール１３３の数（すなわち撮像部）の数も、図２Ａの場合と同様に任意である。
また、図２Ｃに示される例のように、図２Ａの例の透過型HMDの構成の一部が、筐体１１１とは別体として構成されるようにしてもよい。図２Ｃの例の場合、筐体１１１は、ケーブル１５１を介して、コントロールボックス１５２と接続されている。
ケーブル１５１は、所定の有線通信の通信路であり、筐体１１１内部の回路と、コントロールボックス１５２内部の回路とを電気的に接続する。コントロールボックス１５２は、図２Ａの例の場合の、筐体１１１内部の構成（回路等）の一部を有する。例えば、コントロールボックス１５２が制御部や画像データを記憶する記憶部等を有し、筐体１１１内部の回路とコントロールボックス１５２内部の回路とで通信を行い、筐体１１１内部の撮像部がコントロールボックス１５２の制御部の制御に従って撮像を行い、その撮像により得られた撮像画像の画像データがコントロールボックス１５２に供給され、その記憶部に記憶されるようにしてもよい。
コントロールボックス１５２は、例えば、ユーザの服のポケット等に格納することができる。このような構成とすることにより、透過型HMD１００の筐体１１１を、図２Ａの場合よりも小型化することができる。
なお、筐体１１１内部の回路とコントロールボックス１５２内部の回路とが行う通信は、有線通信であってもよいし、無線通信で合ってもよい。無線通信の場合、ケーブル１５１は、省略することができる。
＜内部の構成例＞
図３は、透過型HMD１００の内部の構成例を示すブロック図である。図３に示されるように、透過型HMD１００は、システムコントローラ２１１を有する。
システムコントローラ２１１は、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、不揮発性メモリ部、インタフェース部等を備えたマイクロコンピュータにより構成され、透過型HMD１００の各部を制御する制御部である。このシステムコントローラ２１１は内部の動作プログラムに基づいて各部の制御を行う。例えば、システムコントローラ２１１は、各部を制御し、表示部１１２に表示させる画像の表示制御を行う。
また、透過型HMD１００は、センサ部２２１、センサ制御部２２２、およびセンサ信号処理部２２３を有する。
センサ部２２１は、例えば、表示部１１２の近辺に搭載された加速度センサ、ジャイロセンサ、磁気センサ、気圧センサ等任意のセンサを有し、ユーザの動きに応じた信号として、例えばユーザの頭部の動き、首の動き、透過型HMD１００の動きなどを検出する。また、センサ部２２１は、静電容量センサやボタン、GPS（Global Positioning System）等を有し、ユーザが透過型HMD１００を操作するために使うセンサ系の信号もこの部位で処理されるようにしてもよい。
つまり、センサ部２２１は、任意の入力デバイスを有し、その入力デバイスを介して入力される情報を受け付ける。このような入力デバイスの位置は任意であり、表示部１１２近傍に限らない。
また、センサ部２２１は、ユーザの視線等を検出するセンサを有するようにしてもよい。例えば、センサ部２２１は、そのようなセンサとして、表示部１１２の近傍に配置され、ユーザの眼部を撮像する撮像部（視線撮像部）を有するようにしてもよい。この場合、例えば、システムコントローラ２１１が、その視線撮像部が撮像したユーザの眼部の画像について画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出するようにしてもよい。また、センサ部２２１が、そのような視線撮像部の代わりに、表示部１１２の近傍に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光して光電変換し、電気信号（受光信号）として出力する受光部とを有するようにしてもよい。その場合、システムコントローラ２１１が、その受光部において得られた受光信号に基づいて、視線方向等を検出するようにしてもよい。また、例えば、システムコントローラ２１１が、受光部が受光した反射光を電気信号に変換した受光信号からユーザの水晶体の厚みを検知するようにしてもよい。つまり、センサ部２２１が、ユーザの視線の方向を検出する視線検出部を有するようにしてもよい。そして、その検出方法は任意である。
センサ制御部２２２は、システムコントローラ２１１からの指示に基づいて、どのタイミングでどのセンサを駆動するか、若しくは、どういった駆動方法で検出を行うかなどのセンサ制御を行う。また、センサ信号処理部２２３は、センサ部２２１において検出されたセンサ信号について、システムコントローラ２１１側に送る前処理として、平均や分散などの各種数値処理を行う。
透過型HMD１００では、電源オン／オフ、各種情報画像の表示開始、終了、画像内容の変更、輝度レベルや色合い等の表示調整、表示画面上の表示領域の変更等のために、ユーザの操作が必要になる場合がある。例えばセンサ部２２１として、それらの操作（処理動作のトリガ検出）のためには、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構を設け、システムコントローラ２１１がユーザの操作を検知することができるようにしてもよい。
そのような操作子を設ける代わりに、センサ部２２１の各センサで検出されるユーザの状況（例えば眼の動きや身体の挙動や状態等）に基づいて、システムコントローラ２１１がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、センサ部２２１が、その他の外界情報（例えば透過型HMD１００の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知する構成を有するようにし、システムコントローラ２１１が、センサ部２２１により検出された外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。
また、透過型HMD１００は、画像生成部２３１、表示画像処理部２３２、表示駆動部２３３、および表示制御部２３４を有する。
画像生成部２３１は、システムコントローラ２１１の制御に基づいて、画像信号を生成する。システムコントローラ２１１は、各部から得られる内容や数値に応じて、画像生成部２３１にユーザに提示するための画像となる画像信号を生成させ、イメージ画像、グラフ画像、文字表示画像、或いはユーザに対する警告提示の為の画像としての画像信号を生成する。
表示画像処理部２３２は、いわゆるビデオプロセッサを有し、供給された画像信号に対して各種表示のための処理を実行する。例えば、表示画像処理部２３２は、撮像信号処理部２５２から供給される撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行う。また、表示画像処理部２３２が、画面上での表示位置の設定も行うようにしてもよい。さらに、表示画像処理部２３２が、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うようにしてもよい。表示画像処理部２３２は、信号処理を行った画像信号を表示駆動部２３３に供給する。
なお、表示画像処理部２３２が、このような処理を、表示制御部２３４から供給される指示や、センサ信号処理部２２３から供給されるセンサ信号に応じて行うようにしてもよい。また、表示画像処理部２３２が、表示制御部２３４から供給される画像に対しても同様の処理を行うようにしてもよい。例えば、表示画像処理部２３２には画像生成部２３１で生成された画像信号が供給されるが、この画像信号に対しても、表示のための所要の信号処理を行って表示駆動部２３３に供給するようにしてもよい。
表示駆動部２３３は、表示画像処理部２３２から供給される画像信号を、表示部１１２において表示させるための画素駆動回路で構成されている。即ち、表示駆動部２３３は、表示部１１２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部２３３は、表示部１１２の各画素の輝度を制御して、画面全体及び一部をスルー状態とすることもできる。
表示制御部２３４は、システムコントローラ２１１の指示に基づいて、表示画像処理部２３２の処理動作や表示駆動部の動作、左右それぞれの表示部に表示する画像を制御し、表示画像処理部２３２に対する信号処理の指示を行う。また表示駆動部２３３に対してはスルー状態、画像表示状態、片眼表示状態の切り換え等が行われるように制御する。
また、透過型HMD１００は、音声生成部２４１、音声出力部２４２、音声入力部２４３、および音声信号処理部２４４を有する。
音声生成部２４１は、システムコントローラ２１１の指示に基づいて、音声合成処理を行ってメッセージ音声等の音声信号を生成したり、電子音その他のユーザに提示する音声信号を生成したりする。
音声出力部２４２は、例えば透過型HMD１００に搭載されたスピーカまたはイヤホンスピーカと、そのスピーカに対するアンプ回路を有する。音声生成部２４１で生成された音声信号が音声出力部２４２に供給されることにより、ユーザはメッセージ音声や電子音等を聞くことができる。なお音声出力部２４２は、いわゆる骨伝導スピーカとして構成されてもよい。
音声入力部２４３は、マイクロホンで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
音声信号処理部２４４は、例えばデジタルシグナルプロセッサ、D/A変換器などからなる。この音声信号処理部２４４には、音声入力部２４３で得られた音声データや、音声生成部２４１で生成された音声データが供給される。音声信号処理部２４４は、供給された音声データに対して、システムコントローラ２１１の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして、音声信号処理部２４４は、処理した音声データをアナログ信号に変換して音声出力部２４２に供給する。なお、音声信号処理部２４４は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うようにしてもよい。
音声信号処理部２４４から出力された音声信号は、音声出力部２４２のイヤホンスピーカから音声として出力される。このような構成により、ユーザは、音声入力部２４３で集音された外部音声を聞いたり、音声生成部２４１で生成された音声を聞いたりすることができる。
また、透過型HMD１００は、撮像部２５１、撮像信号処理部２５２、および撮像制御部２５３を有する。
撮像部２５１は、撮像レンズや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD（Charge Coupled Device）センサアレイや、CMOS（Complementary Metal Oxide Semiconductor）センサアレイ等よりなる。
撮像部２５１は、例えばホール１１３を介して、ユーザの前方の光景（ユーザの前方の現実空間の被写体）を撮像する。もちろん撮像部２５１によってユーザの後方等、他の方向の光景が撮像されるようにしてもよい。
撮像信号処理部２５２は、撮像部２５１の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータ等を有し、デジタルデータとしての撮像信号を得る。また、撮像信号処理部２５２が、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行うようにしてもよい。
撮像制御部２５３は、システムコントローラ２１１からの指示に基づいて、撮像部２５１および撮像信号処理部２５２の動作を制御する。例えば撮像部２５１，撮像信号処理部２５２の動作のオン／オフを制御する。また撮像制御部２５３は撮像部２５１に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行う。
なお、撮像レンズによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部２５３はシステムコントローラ２１１の指示に基づいて、可動機構の動作を制御して撮像部２５１における撮像レンズの方向を変化させる。
また撮像制御部２５３は、タイミングジェネレータを備え、撮像部２５１の固体撮像素子、並びに、撮像信号処理部２５２のサンプルホールド／AGC回路、およびビデオA/Dコンバータに対して、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに、撮像制御部２５３が、撮像部２５１の固体撮像素子や撮像信号処理部２５２における撮像感度や信号処理の制御を行うようにしてもよい。例えば、撮像制御部２５３が、撮像感度制御として撮像部２５１の固体撮像素子から読み出される信号のゲイン制御、黒レベル設定制御、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御等を行うようにしてもよい。
また、撮像制御部２５３が、波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）等の制御を行うようにしてもよい。例えば、波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により行うことができる。これらの場合、撮像制御部２５３は、波長フィルタの挿入制御や、フィルタ演算係数の指定等を行うことにより、感度制御を行うことができる。
例えば、撮像部２５１および撮像信号処理部２５２によって得られる撮像画像信号が、画像生成部２３１で生成される情報画像信号とともに表示画像処理部２３２に供給される。表示画像処理部２３２は、各画像信号について上述した各種信号処理を実行し、また２つの画像信号について、同時に表示部１１２に表示させるための画面分割としての信号処理（画像合成処理）を行う。
表示画像処理部２３２で合成処理された画像信号が、表示駆動部２３３に供給されて表示部１１２で表示されることで、表示部１１２では、撮像画像とその他の画像が、同時表示されることになる。言い換えれば、ユーザは、撮像画像を視ている状態においても、種々の画像を視ることができる。
撮像動作の開始、終了、ズーム動作、フォーカス動作、撮像画像調整などのためにユーザの操作が必要になる場合がある。もちろん、電源オン／オフ、各種情報画像の表示開始、終了、画像内容の変更、輝度レベルや色合い等の表示調整、表示画面上の表示領域の変更等のために、ユーザの操作が必要になる場合もある。例えば、それらの操作（動作のトリガ）のために操作キー等の操作子を、センサ部２２１に設けるようにしても良いが、センサ部２２１の各種センサで検出されるユーザの状況（例えば眼の動きや身体の挙動や状態等）からシステムコントローラ２１１がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、外界情報（透過型HMD１００）の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成とし、システムコントローラ２１１がその外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。
また、透過型HMD１００は、記憶部２６１、通信部２６２、およびドライブ２６３を有する。
記憶部２６１は、HDD（Hard Disk Drive）、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリ等、任意の記憶媒体を有し、その記憶媒体についてデータの記録再生を行う。
例えば、撮像部２５１により撮像され、撮像信号処理部２５２により処理された撮像信号としての画像データや、通信部２６２により受信された画像データ、さらには画像生成部２３１により生成された各種情報画像信号が、この記憶部２６１に記憶されるようにしてもよい。また音声入力部２４３において得られた音声データや、通信部２６２により受信した音声データ、さらには音声生成部２４１により生成された音声データも、この記憶部２６１に記憶されるようにしてもよい。
記憶部２６１は、システムコントローラ２１１の制御に従って、供給された画像データや音声データに対して、その記憶媒体への記録のためのエンコード処理を行い、エンコードされたデータ（符号化データ）を記憶媒体に記憶する。また記憶部２６１は、システムコントローラ２１１の制御に従って、記憶媒体より画像データや音声データを再生し、他の処理部へ出力する。
記憶部２６１で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
通信部２６２は、透過型HMD１００の外部の装置（外部機器とも称する）とデータの送受信を行う。外部機器としては、例えば通信機能を備えたビデオカメラ、デジタルスチルカメラ等の撮像装置、コンピュータ装置、スッマートフォン、スマートウォッチ、ビデオストレージ機器やテレビジョン受像器等のAV機器、ネットワークサーバ装置などが想定される。
また、無線LAN（Local Area Network）やブルートゥース（Bluetooth（登録商標））などの所定の方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
外部機器から透過型HMD１００に送信されるデータとしては、外部機器が撮像装置である場合は、その撮像装置で撮像された画像データであったり、外部機器がコンテンツソース機器となる機器であったりする場合は、映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
また、音声入力部２４３で得られた音声データ、ストレージ部で再生された音声データ、通信部２６２で受信された音声データは、システムコントローラ２１１の指示によって音声信号処理部に供給される。
従ってユーザは、デバイスを装着した状態で、撮像画像と撮像時の外部音声を視聴したり、ストレージ部で再生された画像や音声を視聴したり、通信部で受信した画像や音声を視聴することができる。
そして特に、画像生成部２３１での画像が、これらの撮像画像、又は再生画像、又は受信画像とともに表示画像処理部に供給されることで、撮像画像、又は再生画像、又は受信画像とともにさまざまな情報画像が表示される。
また音声生成部２４１で音声データが生成されたタイミングでは、その生成された音声データを音声信号処理部２４４に供給することで、例えば外部音声、再生音声、受信音声を聞いている際に、音声生成部２４１で生成されたメッセージ音声や警告音等を聞くことができる。
表示系の動作や撮像機能にかかる動作に加え、記憶部２６１での再生、頭出し、早送り／早戻し、一時停止、記録などのための動作制御や、通信部２６２での送受信に関する動作制御のトリガを、システムコントローラが判断しなければならないが、この場合も、ユーザが操作する操作キー等の操作子を、例えばセンサ部２２１等に設け、操作に応じた処理を実行するようにしてもよい。また、センサ部２２１で検出されるユーザの状況（例えば眼の動きや身体の挙動や状態等）からシステムコントローラ２１１がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、センサ部２２１が、透過型HMD１００の外界情報（表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成を有し、システムコントローラ２１１がその外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。
ドライブ２６３には、光ディスクや半導体メモリなどよりなるリムーバブルメディア２６４が適宜装着される。ドライブ２６３によりリムーバブルメディア２６４から読み出されたコンピュータプログラムやデータは、システムコントローラ２１１に供給され、記憶部２６１に記憶されたり、インストールされたりする。
以上のような構成の透過型HMD１００において、上述したように表示部１１２は、表示部１１２の背面側（ユーザからみて表示部１１２よりも前方）からの光を透過し、その背面側の現実空間の景色に重畳して、複数視点の画像からなる立体視画像（表示オブジェクト）を表示する。
また、画像生成部２３１は、その表示部１１２に表示させる、左眼用画像と右眼用画像とからなる立体視画像（表示オブジェクト）を生成する。
また、表示制御部２３４は、画像生成部２３１により生成された複数の立体視画像（表示オブジェクト）を、現実空間の景色より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、表示部１１２に表示させる。
例えば、表示制御部２３４は、各表示オブジェクトの虚像位置を、ユーザから視て現実空間の景色よりも手前の所望の位置に設定する。つまり、表示制御部２３４は、それらの表示オブジェクトの虚像位置が、ユーザから視て現実空間の景色より手前に、奥行き方向の位置が互いに異なる複数の列を形成するように設定する。
次に、表示制御部２３４は、表示画像処理部２３２を制御し、画像生成部２３１により生成された各表示オブジェクトにその設定を反映（適用）させる。つまり、表示画像処理部２３２により、各表示オブジェクトに、表示制御部２３４が設定した虚像位置が付与される。
そして、表示制御部２３４は、表示駆動部２３３を介して表示部１１２を制御し、表示画像処理部２３２により虚像位置が付与された表示オブジェクトを表示させる。
このような表示オブジェクトの虚像位置を設定するために、表示制御部２３４は、表示オブジェクトの両眼視差および輻輳角を設定するようにしてもよい。その両眼視差および輻輳角の調整（設定）方法は任意である。例えば特開平０８−３２２００４号公報には、視度に対する輻輳角が実時間で略一致するように、電気的に表示面上に表示する映像を水平方向にシフトする手段を備える立体視ディスプレイ装置が開示されている。また、特開平０８−２１１３３２号公報には、両眼視差を利用して立体映像を得るものであり、再生映像を視るときの輻輳角を設定するために輻輳角選択手段と、選択された輻輳角に関する情報に基づいて左右の映像の相対的再生位置を制御する制御手段とを具備する立体映像再生装置が開示されている。例えば、表示制御部２３４が、これらに記載の方法を利用して表示オブジェクトの視差および輻輳角を設定するようにしてもよい。
なお、表示オブジェクトに対して、その奥行き感を強調するように、その虚像位置（奥行き方向の位置）に応じた所定の表示制御処理が行われるようにしてもよい。例えば、表示オブジェクトの虚像位置（奥行き方向の位置）に応じて、その表示オブジェクトの大きさが変えられたり、その表示オブジェクトの明度、彩度、およびコントラストが変えられたり、各列における表示オブジェクト同士の間隔が変えられたり、奥行き方向に前後に並ぶ表示オブジェクト同士の重なりが表現されるようにしたり、表示オブジェクトの色相が変えられたり、表示オブジェクトの合焦度が変えられたりするようにしてもよい。もちろん、これらの例以外の表示制御処理が行われるようにしてもよいし、複数種類の処理が行われるようにしてもよい。
その場合、表示制御部２３４は、表示オブジェクトの虚像位置に応じて、その表示オブジェクトに対して行う表示制御処理内容についての設定を行う。例えば、この表示制御処理として表示オブジェクトの大きさを制御する処理を行う場合、表示制御部２３４は、表示オブジェクトの虚像位置に基づいて、その表示オブジェクトの大きさを設定する。そして、表示制御部２３４が、表示画像処理部２３２を制御して、画像生成部２３１が生成した表示オブジェクトに、その設定を反映させる（適用させる）。つまり、表示画像処理部２３２は、画像生成部２３１が生成した表示オブジェクトの大きさを、表示制御部２３４が設定した大きさにする。
このように、表示オブジェクトに対して奥行き感を強調するような所定の表示制御処理が行われるようにすることにより、表示オブジェクトの奥行き感を現実空間の遠近感と整合させることができ、表示部１１２の表示領域においてユーザに見視える画像が視覚的に自然な状態となるようにすることができ、ユーザにとっての違和感を低減させることができる。また、ユーザが表示オブジェクトの各列の位置の違いをより容易に把握することができるようになる。これにより、透過型HMD１００の操作性をさらに向上させることができる。
以上の各部の処理は、システムコントローラ２１１の制御に基づいて行われる。つまり、システムコントローラ２１１は、第１の実施の形態において説明した画像表示装置の場合と同様に、現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部１１２に、複数の表示オブジェクトを、現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示させる。
＜表示オブジェクトの表示例＞
以上のようにして表示される表示オブジェクトの表示例を図４に示す。図４に示される四角枠３００は、表示部１１２の表示領域内の、撮像部２５１による撮像の画角を示している。この四角枠３００は、表示部１１２に表示されるようにしてもよいし、表示されないようにしてもよい。
図４に示される物体３１１および物体３１２は、ユーザから視て表示部１１２の奥側に存在する現実空間の物体である。図４に示されるように、表示部１１２には、これらの物体を含む現実空間の景色に重畳して、メニューアイコン等の画像である表示オブジェクト（表示オブジェクト３２１乃至表示オブジェクト３２７、並びに、表示オブジェクト３３１乃至表示オブジェクト３３５）が表示される。
各表示オブジェクトには、互いに異なる役割（機能）が割り当てられている。例えば、ユーザが選択することにより、アプリケーションを起動する等、予め割り当てられた所定の処理が実行されるGUIの機能を有する表示オブジェクトを含むようにしてもよい。また、例えば、メールを着信したことを通知する表示オブジェクトや無線通信の電波受信状況を通知する通知機能を有する表示オブジェクトを含むようにしてもよい。
また、これらの表示オブジェクトは、立体視画像であり、両眼視差や輻輳角を有する右眼用画像と左眼用画像からなる。つまり、これらの表示オブジェクトは、奥行き方向の虚像位置を有する（奥行き方向の所定の位置に存在しているように視えるように表示される）。換言するに、例えば両眼視差や輻輳角の設定によって、これらの表示オブジェクトに所望の虚像位置を与える（表示オブジェクトを奥行き方向の所望の位置に存在しているようにユーザに視えるように表示させる）ことができる。
図４の例において、これらの表示オブジェクト（表示オブジェクト３２１乃至表示オブジェクト３２７、並びに、表示オブジェクト３３１乃至表示オブジェクト３３５）は、現実空間よりもユーザから視て手前側に存在するように視えるように表示される。つまり、各表示オブジェクトの虚像位置が現実空間よりもユーザから視て手前側に設定されている。
また、表示オブジェクト３２１乃至表示オブジェクト３２７の各虚像位置（奥行き方向の位置）は、互いに同一となるように設定されている。同様に、表示オブジェクト３３１乃至表示オブジェクト３３５の各虚像位置（奥行き方向の位置）は、互いに同一となるように設定されている。したがって、図４に示されるように、表示オブジェクト３２１乃至表示オブジェクト３２７は、横一列に並べられているようにユーザに視えるように表示される。同様に、表示オブジェクト３３１乃至表示オブジェクト３３５も、横一列に並べられているようにユーザに視えるように表示される。
これに対して、表示オブジェクト３２１乃至表示オブジェクト３２７の虚像位置は、表示オブジェクト３３１乃至表示オブジェクト３３５の虚像位置よりもユーザから視て手前側に設定されている。換言するに、表示オブジェクト３３１乃至表示オブジェクト３３５の虚像位置は、表示オブジェクト３２１乃至表示オブジェクト３２７の虚像位置よりもユーザから視て奥側に設定されている。つまり、図４に示されるように、複数の表示オブジェクトが、奥行き方向の位置が互いに異なる複数の列に配置されているようにユーザに視えるように表示される。
このような虚像位置の位置関係の例を図５に示す。つまり、図５の例に示されるように、透過型HMD１００のユーザ３５０には、ユーザ３５０の前方の現実空間３５３よりもユーザ３５０から視て手前側の所定の位置の層３５２に表示オブジェクト３３１乃至表示オブジェクト３３５が横一列に表示され、さらにその層３５２よりも手前側の所定の位置の層３５１に表示オブジェクト３２１乃至表示オブジェクト３２７が横一列に表示されているように視える。
このように複数のオブジェクトを、現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示させることにより、ユーザは、その複数の表示オブジェクトを列毎に整理された状態で視ることができ、より容易に所望のオブジェクトを検索したり、選択したりすることができる。したがって、透過型HMD１００は、その操作性を向上させることができる。
なお、表示オブジェクトの層数は、任意であり、３層以上であってもよい。また、各層の表示オブジェクトは、互いの虚像位置（奥行き方向の位置）が同一であれば、その並べ方は任意であり、横方向に限らず、縦方向や斜め方向等、任意の方向に並べられてもよい。また、円状、放射状、行列等、任意の並べ方で並べられてもよい。
また、図４の例の場合、現実空間の物体３１１には、マーカが付されており、そのマーカの表示オブジェクト３４１が表示されている。この表示オブジェクト３４１は、現実空間の物体３１１に付されているものであるので、図５の例の場合、現実空間３５３（物体３１１と略同位置）に存在するように視えるように表示される。つまり、この表示オブジェクト３４１は、上述した表示オブジェクト３２１乃至表示オブジェクト３２７、並びに、表示オブジェクト３３１乃至表示オブジェクト３３５よりもユーザから視て奥側に位置するように表示される。
表示オブジェクト３２１乃至表示オブジェクト３２７、並びに、表示オブジェクト３３１乃至表示オブジェクト３３５は、ユーザ３５０（透過型HMD１００）（ローカル座標）に紐付けられている。そのため、透過型HMD１００（表示部１１２）のグローバル座標が変化する（移動する）と、これらの表示オブジェクトのグローバル座標も追従して変化する。ただし、透過型HMD１００（表示部１１２）に対するこれらの表示オブジェクトの相対座標（ローカル座標）は変化しない（移動後も表示部１１２の同じ位置に表示される）。
これに対して、表示オブジェクト３４１は、現実空間３５３の物体３１１（グローバル座標）に紐付けられている。そのため、透過型HMD１００（表示部１１２）のグローバル座標が変化しても（移動しても）、表示オブジェクト３４１のグローバル座標は変化しない（移動前と同じ物体３１１近傍に表示される）。ただし、透過型HMD１００（表示部１１２）に対するこれらの表示オブジェクト３４１の相対座標（ローカル座標）は変化するため、移動後に表示部１１２に表示オブジェクト３４１が表示されているとは限らない（物体３１１が表示されていればその近傍に表示オブジェクト３４１が表示される）。
なお、図４の例のように、表示オブジェクト３２１乃至表示オブジェクト３２７は、撮像範囲（四角枠３００）よりも広範囲に表示されるようにしてもよい。また、以上においては、ユーザから視て手前側の列に表示オブジェクトが７つ表示され、ユーザから視て奥側の列に表示オブジェクトが５つ表示されるように説明したが、各列の表示オブジェクトの数は任意である。
また、表示オブジェクト画像が有する役割（機能）に応じて、その表示オブジェクトを配置する列（層）を制御するようにしてもよい。例えば、図４の場合、ユーザから視て手前側の列（層３５１）には、ユーザがコントロールできる（選択することができる）アイコン群（例えば、電話をかける、メールを視るなどの処理の実行を指示するアイコン群）の表示オブジェクトを配置し、ユーザから視て奥側の列（層３５２）にはユーザに関係のある割り込みアイコン群を（例えばSNSがアップされたり、新着メールが入ったなどを通知するアイコン群）の表示オブジェクトを配置し、現実空間３５３には、ナビゲーションアイコンや現実空間の物体（物体３１１等）に紐付けされたマーカの表示オブジェクトを配置するようにしてもよい。
このように、奥行き方向の位置によって、表示オブジェクトの種類を分類することにより、ユーザは、より容易に所望のオブジェクトを検索したり、選択したりすることができる。したがって、透過型HMD１００は、その操作性を向上させることができる。
＜表示制御処理の流れ＞
透過型HMD１００のシステムコントローラ２１１は、表示制御処理を実行することにより、このような表示オブジェクトの表示を制御する。図６のフローチャートを参照して、この表示制御処理の流れの例を説明する。
表示制御処理が開始されると、システムコントローラ２１１は、ステップＳ１０１において、メニューを表示するか否かを判定する。例えば、ユーザ等からの指示を受け付けたり、所定の条件を満たしたりして、メニューを表示すると判定された場合、システムコントローラ２１１は、処理をステップＳ１０２に進める。
ステップＳ１０２において、システムコントローラ２１１は、表示制御部２３４を制御して、現実空間よりも手前に位置するように、メニューの表示オブジェクトの虚像位置を設定させる。例えば、表示制御部２３４は、システムコントローラ２１１に制御され、各表示オブジェクトの両眼視差および輻輳角を設定することにより、その虚像位置を設定する。
ここで一般的な輻輳角の演算方法を説明する。例えば図７Ａに示されるように、ユーザ（透過型HMD）から表示オブジェクトの虚像位置までの距離（虚像距離とも称する）をaとしたときの輻輳角をαとし、図７Ｂに示されるように、その表示オブジェクトが虚像距離aからbだけ近づいた場合の輻輳角をβとし、図７Ｃに示されるように、その表示オブジェクトが虚像距離aからcだけ遠ざかった場合の輻輳角をγとし、左右の瞳間距離をDとする。
仮に、D＝61.5mm，a＝4000mmとすると、α＝53分となる。ここで表示部１１２における１画素分を３分とすると画像表示位置を所定の位置から水平方向に１画素分、内側にずらしたとすると、β＝56分となり、b＝225mmとなる。
これに対して、表示部１１２における画像表示位置を所定の位置から水平方向に１画素分、外側にずらしたとすると、γ＝50分，c＝228mmとなる。このように、画像表示位置を変化させることで輻輳角が変わることから、表示オブジェクトの虚像距離（すなわち、虚像位置）を任意の位置に替えることができる。
表示制御部２３４は、例えば、このような方法を用いて、表示オブジェクトの両眼視差および輻輳角を設定する。もちろん、表示オブジェクトの両眼視差および輻輳角の設定方法は任意であり、上述した例以外の方法であってもよい。
ステップＳ１０３において、システムコントローラ２１１は、表示制御部２３４を制御し、表示オブジェクトに対して行う、その奥行き感を強調するような、その奥行き方向の位置に応じた所定の表示制御処理についての設定を行わせる。なお、この表示制御処理の詳細については、後述する。
ステップＳ１０４において、システムコントローラ２１１は、表示制御部２３４を介して画像生成部２３１や表示画像処理部２３２を制御し、ステップＳ１０２およびステップＳ１０３において設定した各種設定に応じて、表示オブジェクト（立体視画像）を生成させる。
ステップＳ１０５において、システムコントローラ２１１は、表示制御部２３４を介して表示駆動部２３３および表示部１１２を制御し、ステップＳ１０４において生成した表示オブジェクトを表示部１１２に表示させる。
ステップＳ１０５の処理が終了すると、処理はステップＳ１０６に進む。また、ステップＳ１０１において、例えば、ユーザ等からの指示を受け付けていなかったり、所定の条件を満たしていなかったりして、メニューを表示しないと判定された場合、処理はステップＳ１０６に進む。
ステップＳ１０６において、システムコントローラ２１１は、マーカを表示するか否かを判定する。例えば、マーカが付された現実空間の物体が表示部１１２の表示領域内に位置する等して、マーカを表示すると判定された場合、システムコントローラ２１１は、処理をステップＳ１０７に進める。
ステップＳ１０７において、システムコントローラ２１１は、表示制御部２３４を制御して、マーカが付された物体の現実空間における位置に応じて、ステップＳ１０２の処理と同様に、そのマーカの表示オブジェクトの虚像位置を設定させる。例えば、表示制御部２３４は、システムコントローラ２１１に制御され、そのマーカの表示オブジェクトの両眼視差および輻輳角を設定することにより、その虚像位置を設定する。
ステップＳ１０８において、システムコントローラ２１１は、ステップＳ１０３と同様に、表示制御部２３４を制御し、表示オブジェクトに対して行う、その奥行き感を強調するような、その奥行き方向の位置に応じた所定の表示制御処理についての設定を行わせる。
ステップＳ１０９において、システムコントローラ２１１は、ステップＳ１０４の場合と同様に、表示制御部２３４を介して画像生成部２３１や表示画像処理部２３２を制御し、ステップＳ１０７およびステップＳ１０８において設定した各種設定に応じて、表示オブジェクト（立体視画像）を生成させる。
ステップＳ１１０において、システムコントローラ２１１は、表示制御部２３４を介して表示駆動部２３３および表示部１１２を制御し、ステップＳ１０５と同様に、ステップＳ１０９において生成した表示オブジェクトを表示部１１２に表示させる。
ステップＳ１１０の処理が終了すると、処理はステップＳ１１１に進む。また、ステップＳ１０６において、例えば、マーカが付された現実空間の物体が表示部１１２の表示領域外に位置する等して、マーカを表示しないと判定された場合、処理はステップＳ１１１に進む。
ステップＳ１１１において、システムコントローラ２１１は、表示制御処理を終了するか否かを判定する。表示制御処理を終了しないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理を繰り返す。また、ステップＳ１１１において、表示制御処理を終了すると判定された場合、表示制御処理が終了される。
以上のようにして表示制御処理を実行することにより、システムコントローラ２１１は、透過型HMD１００の操作性を向上させることができる。また、ステップＳ１０３やステップＳ１０８の処理により、例えば、表示オブジェクトの奥行き感を現実空間の遠近感と整合させることができ、表示部１１２の表示領域においてユーザに視える画像が視覚的に自然な状態となるようにすることができ、ユーザにとっての違和感を低減させることができる。また、ユーザが表示オブジェクトの各列の位置の違いをより容易に把握することができるようになる。これにより、透過型HMD１００の操作性をさらに向上させることができる。
＜大きさ＞
次に、上述した表示制御処理のステップＳ１０３やステップＳ１０８において行われる表示オブジェクトに対する表示制御処理の例について説明する。
この表示制御処理として、例えば、表示オブジェクトの大きさが、その表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じて制御されるようにしてもよい。例えば、虚像位置がユーザから視てより手前側に位置する表示オブジェクト程、より大きく表示されるようにしてもよい。換言するに、虚像位置がユーザから視てより奥側に位置する表示オブジェクト程、より小さく表示されるようにしてもよい。
図８にその例を示す。図８の例の場合、表示部１１２に、表示オブジェクト３２４、表示オブジェクト３３３、および表示オブジェクト３４１が表示されている。両矢印３６１Ａ乃至両矢印３６１Ｃ、並びに、両矢印３６２Ａ乃至両矢印３６２Ｃに示されるように、虚像位置がユーザから視て最も手前に位置する表示オブジェクト３２４が最も大きく表示され、虚像位置がユーザから視て２番目に手前に位置する表示オブジェクト３３３がその次に大きく表示され、虚像位置がユーザから視て最も奥側に位置する表示オブジェクト３４１が最も小さく表示されている。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトの大きさを、その虚像位置に応じて設定し、表示画像処理部２３２が、画像生成部２３１により生成された表示オブジェクトの大きさを、その表示制御部２３４により設定された大きさに設定する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このようにすることにより、表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
なお、この表示オブジェクトの大きさの違いは、透過型HMD１００から虚像位置までの距離（虚像距離）に比例するようにしてもよいし、虚像距離に応じて変化するようにしてもよい。例えば、虚像距離が近づくほどより、表示オブジェクトの大きさがより大きく変化する（大きくなる度合いが増す）ようにしてもよい。
＜空気透視＞
また、この表示制御処理として、例えば、表示オブジェクトの明度、彩度、およびコントラストのうち少なくともいずれか１つが、その表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じて制御されるようにしてもよい。つまり、空気透視表現により、表示オブジェクトの奥行き感が強調されるようにしてもよい。
図９にその例を示す。この場合、図９に示されるように、虚像位置がユーザから視て手前側に位置する表示オブジェクト程、よりはっきりと視えるように、表示オブジェクトの明度、彩度、およびコントラストのうち少なくともいずれか１つが制御される。換言するに、虚像位置がユーザから視て奥側に位置する表示オブジェクト程、より霞んで視えるように、表示オブジェクトの明度、彩度、およびコントラストのうち少なくともいずれか１つが制御される。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトの明度、彩度、およびコントラストのうち少なくともいずれか１つを、その虚像位置に応じて設定し、表示画像処理部２３２が、画像生成部２３１により生成された表示オブジェクトの明度、彩度、およびコントラストのうち少なくともいずれか１つを、その表示制御部２３４により設定された値に設定する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このようにすることにより、表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
なお、この各列の表示オブジェクトの明度、彩度、およびコントラストの違いは、透過型HMD１００から虚像位置までの距離（虚像距離）に比例するようにしてもよいし、虚像距離に応じて変化するようにしてもよい。
＜線遠近法＞
また、この表示制御処理として、例えば、その表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じて、各列における表示オブジェクト同士の間隔が制御されるようにしてもよい。
図１０にその例を示す。図１０において、両矢印３７１Ａおよび両矢印３７１Ｂ並びに両矢印３７２Ａおよび両矢印３７２Ｂに示されるように、ユーザから視て手前側の列程、表示オブジェクト同士の間隔が広く設定されている。換言するに、ユーザから視て奥側の列程、表示オブジェクト同士の間隔が狭く設定されている。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、各列における表示オブジェクト同士の間隔を、その虚像位置に応じて設定し、表示画像処理部２３２が、各列における、画像生成部２３１により生成された表示オブジェクト同士の間隔を、その表示制御部２３４により設定された値に設定する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このようにすることにより、表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
なお、この各列の表示オブジェクト同士の間隔の違いは、透過型HMD１００から虚像位置までの距離（虚像距離）に比例するようにしてもよいし、虚像距離に応じて変化するようにしてもよい。
＜きめの勾配＞
また、この表示制御処理として、例えば、表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じて、その列同士の奥行き方向の間隔が制御されるようにしてもよい。
図１１にその例を示す。図１１においては、表示オブジェクト３２４、表示オブジェクト３３３、および表示オブジェクト３９１が、ユーザから視て手前からこの順に位置するように視えるように表示されている。この場合、両矢印３８１および両矢印３８２に示されるように、ユーザから視て手前側の列程、列同士（表示オブジェクト同士の上下方向）の間隔が広く設定されている。換言するに、ユーザから視て奥側の列程、列同士（表示オブジェクト同士の上下方向）の間隔が狭く設定されている。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトの列同士の奥行き方向の間隔を、各列の表示オブジェクトの虚像位置に応じて設定し、表示画像処理部２３２が、画像生成部２３１により生成された表示オブジェクトの列同士の間隔を、その表示制御部２３４により設定された値に設定する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このようにすることにより、表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
＜陰影＞
また、この表示制御処理として、例えば、表示オブジェクトに対して、その表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じた影を付すようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトに付す影を、その虚像位置に応じて設定し、表示画像処理部２３２が、画像生成部２３１により生成された表示オブジェクトに対して、その表示制御部２３４により設定された影を付す（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
＜重なり合い＞
また、ユーザから視て奥側の列に配置された表示オブジェクトの少なくとも一部が、ユーザから見て手前側の列に配置された表示オブジェクトによって隠れるように各表示オブジェクトの表示位置が制御されるようにしてもよい。
図１２にその例を示す。図１２においては、ユーザから視て手前側の列に配置された（虚像位置がユーザから視て手前側の）表示オブジェクト３２４によって、ユーザから視て奥側の列に配置された（虚像位置がユーザから視て奥側の）表示オブジェクト３３３の一部が隠れるように、表示オブジェクト３２４および表示オブジェクト３３３の表示位置が制御されている。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトの虚像位置に応じて、奥行き方向に前後する表示オブジェクト同士の少なくとも一部が重なるように、各表示オブジェクトの表示位置を設定し、表示画像処理部２３２が、その表示制御部２３４により設定された重なりを表現するように、画像生成部２３１により生成された表示オブジェクトを加工する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このように、奥行き方向に並ぶ表示オブジェクト同士を重ねて表示することにより、その位置関係によって表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
＜色相＞
また、この表示制御処理として、表示オブジェクトの色相が、その表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じて制御されるようにしてもよい。例えば、より暖色の表示オブジェクトがユーザから視てより手前側の列に配置されるようにし、より寒色の表示オブジェクトがユーザから視てより奥側の列に配置されるようにしてもよい。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトの色相を、その虚像位置に応じて設定し、表示画像処理部２３２が、画像生成部２３１により生成された表示オブジェクトの色相を、その表示制御部２３４により設定された色相に設定する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このようにすることにより、表示オブジェクトの色相によって表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
＜焦点＞
また、この表示制御処理として、例えば、表示オブジェクトの合焦度が、その表示オブジェクトの虚像位置（例えば、表示オブジェクトを配置する列の奥行き方向の位置でもよい）に応じて制御されるようにしてもよい。例えば、ユーザから視て最も手前側の列に配置される表示オブジェクトに合焦する（合焦度が最大となる）ようにし、ユーザから視てより奥側の列に配置される表示オブジェクト程、よりボケる（ピントがずれる、すなわち、合焦度が低減する）ようにしてもよい。
このような表示制御を実現するためには、例えば、システムコントローラ２１１の制御の下、表示制御部２３４が、表示オブジェクトの合焦度（画像のボケ具合、例えば、シャープネス等）をその虚像位置に応じて設定し、表示画像処理部２３２が、画像生成部２３１により生成された表示オブジェクトの合焦度を、その表示制御部２３４により設定された値に設定する（つまり、表示制御部２３４による設定を、画像生成部２３１により生成された表示オブジェクトに反映させる（適用する））ようにすればよい。
このようにすることにより、表示オブジェクトのボケ具合（ピントのずれ具合）によって表示オブジェクトの奥行き感が強調され、透過型HMD１００の操作性をさらに向上させることができる。
なお、上述した例を複数組み合わせて適用するようにしてもよい。このようにすることにより、表示オブジェクトの奥行き感がさらに強調され、透過型HMD１００の操作性をさらに向上させることができる。
＜移動＞
また、例えば、センサ部２２１が、表示部１１２の位置や向きの変化を検出する検出センサを備えるようにし、その検出センサにより表示部１１２の位置や向きの変化が検出された場合、表示制御部２３４が表示画像処理部２３２や表示駆動部２３３等を制御し、その変化に応じて、表示部１１２における表示オブジェクトの表示位置を移動させるようにしてもよい。
例えば、検出センサにより表示部１１２の位置や向きの変化の開始が検出されると、表示制御部２３４が、ローカル座標に紐付けされた表示オブジェクトの表示位置を、表示部１１２の位置や向きが変化していない状態の位置から、表示部１１２の位置や向きが変化した方向と逆方向に移動させ、検出センサにより表示部１１２の位置や向きの変化の終了が検出されると、その表示オブジェクトの表示位置を、表示部１１２の位置や向きが変化していない状態の位置に戻させるようにしてもよい。
＜水平方向（ヨー（Yaw）方向）＞
例えば、ローカル座標に紐付けされた表示オブジェクト３２３乃至表示オブジェクト３２５、表示オブジェクト３３３、および表示オブジェクト３３４、並びに、グローバル座標に紐付けされた表示オブジェクト３４１が表示部１１２の表示領域に図１３Ａのように表示されているとする。透過型HMD１００を装着したユーザが、図１３Ａのような状態から図１３Ｂのように、頭部（顔）を水平方向（ヨー（Yaw）方向）に動かすと、ローカル座標に紐付けされた表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、図１３Ｂの矢印４０１Ａや矢印４０２Ａのように、透過型HMD１００の移動の向きと逆向きに移動する。図１３の場合、ユーザは、右方向に頭部（顔）を動かしている。そのため、表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、図１３Ｂに示されるように表示領域の左方向に移動する。
そして、図１３Ｃのように、ユーザが頭部（顔）を動かすのを止めると、表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、矢印４０１Ｂや矢印４０２Ｂのように、表示領域の右方向に移動し、図１３Ａの状態の表示位置と同じ位置に戻る。
このようにすることにより、あたかも、表示面に表示されている表示オブジェクトがユーザの動きに追従してくる感覚を、当該ユーザに対して与えることが可能となる。
また、図１３Ｂに示されるように、ユーザの頭部（顔）の移動に応じて物体３１１も右方向に移動する。それに伴って、グローバル座標に紐付けされた表示オブジェクト３４１も矢印４０３のように右方向に移動する。ただし、この移動は、表示部１１２の表示領域内に含まれる現実空間の範囲が変化するためのものである。したがって、物体３１１やそのマーカである表示オブジェクト３４１の移動は、上述した、ローカル座標に紐付けされた表示オブジェクトの動きとは独立して行われる。したがって、図１３Ｃのように、ユーザが頭部（顔）を動かすのを止めると、物体３１１や表示オブジェクト３４１の動きも止まり、ローカル座標に紐付けされた他の表示オブジェクトのように元の位置に戻らない。
このように、ローカル座標に紐付けされた表示オブジェクトを、表示部１１２の動きに応じて移動させることにより、ローカル座標に紐付けされた表示オブジェクトの、現実空間の画像に対する浮遊感を強調することができる。また、ローカル座標に紐付けされた表示オブジェクトが、グローバル座標に紐付けされた表示オブジェクトや現実空間の物体とは異なる動きをするようにすることにより、ローカル座標に紐付けされた表示オブジェクトが、透過型HMD１００に関する画像（透過型HMD１００の情報を示す画像）であることを強調することもできる。
また、その際、表示制御部２３４は、例えば、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも大きく移動させるようにしてもよい。
例えば、図１３の場合、矢印４０１Ａおよび矢印４０２Ａ、並びに、矢印４０１Ｂおよび矢印４０２Ｂに示されるように、ユーザから視てより手前側の列に配置される表示オブジェクト程、その移動量が大きくなされている。このようにすることにより、表示オブジェクトの奥行き感（各列の表示オブジェクトの奥行き方向の位置の違い）を強調することができる。
また、その際、表示制御部２３４は、例えば、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも早く移動させるようにしてもよい。
例えば、図１３の場合、ユーザから視てより手前側の列に配置される表示オブジェクト３２３乃至表示オブジェクト３２５の方が、表示オブジェクト３３３および表示オブジェクト３３４よりも早いタイミングにおいて移動するようにする。このようにすることにより、表示オブジェクトの奥行き感（各列の表示オブジェクトの奥行き方向の位置の違い）を強調することができる。
＜垂直方向（ピッチ（Pitch）方向）＞
縦方向（Pitch方向）の移動の場合も同様である。例えば、ローカル座標に紐付けされた表示オブジェクト３２３乃至表示オブジェクト３２５、表示オブジェクト３３３、および表示オブジェクト３３４、並びに、グローバル座標に紐付けされた表示オブジェクト３４１が表示部１１２の表示領域に図１４Ａのように表示されているとする。透過型HMD１００を装着したユーザが、図１４Ａのような状態から図１４Ｂのように、頭部（顔）を垂直方向（ピッチ（Pitch）方向）に動かすと、ローカル座標に紐付けされた表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、図１４Ｂの矢印４１１Ａや矢印４１２Ａのように、透過型HMD１００の移動の向きと逆向きに移動する。図１４の場合、ユーザは、下方向に頭部（顔）を動かしている。そのため、表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、図１４Ｂに示されるように表示領域の上方向に移動する。
そして、図１４Ｃのように、ユーザが頭部（顔）を動かすのを止めると、表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、矢印４１１Ｂや矢印４１２Ｂのように、表示領域の下方向に移動し、図１４Ａの状態の表示位置と同じ位置に戻る。
このようにすることにより、あたかも、表示面に表示されている表示オブジェクトがユーザの動きに追従してくる感覚を、当該ユーザに対して与えることが可能となる。
また、図１４Ｂに示されるように、ユーザの頭部（顔）の移動に応じて物体３１１も上方向に移動する。それに伴って、グローバル座標に紐付けされた表示オブジェクト３４１も矢印４１３のように上方向に移動する。ただし、この移動は、表示部１１２の表示領域内に含まれる現実空間の範囲が変化するためのものである。したがって、物体３１１やそのマーカである表示オブジェクト３４１の移動は、上述した、ローカル座標に紐付けされた表示オブジェクトの動きとは独立して行われる。したがって、図１４Ｃのように、ユーザが頭部（顔）を動かすのを止めると、物体３１１や表示オブジェクト３４１の動きも止まり、ローカル座標に紐付けされた他の表示オブジェクトのように元の位置に戻らない。
このように、ローカル座標に紐付けされた表示オブジェクトを、表示部１１２の動きに応じて移動させることにより、ローカル座標に紐付けされた表示オブジェクトの、現実空間の画像に対する浮遊感を強調することができる。また、ローカル座標に紐付けされた表示オブジェクトが、グローバル座標に紐付けされた表示オブジェクトや現実空間の物体とは異なる動きをするようにすることにより、ローカル座標に紐付けされた表示オブジェクトが、透過型HMD１００に関する画像（透過型HMD１００の情報を示す画像）であることを強調することもできる。
また、その際、表示制御部２３４は、例えば、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも大きく移動させるようにしてもよい。
例えば、図１４の場合、矢印４１１Ａおよび矢印４１２Ａ、並びに、矢印４１１Ｂおよび矢印４１２Ｂに示されるように、ユーザから視てより手前側の列に配置される表示オブジェクト程、その移動量が大きくなされている。このようにすることにより、表示オブジェクトの奥行き感（各列の表示オブジェクトの奥行き方向の位置の違い）を強調することができる。
また、その際、表示制御部２３４は、例えば、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも早く移動させるようにしてもよい。
例えば、図１４の場合、ユーザから視てより手前側の列に配置される表示オブジェクト３２３乃至表示オブジェクト３２５の方が、表示オブジェクト３３３および表示オブジェクト３３４よりも早いタイミングにおいて移動するようにする。このようにすることにより、表示オブジェクトの奥行き感（各列の表示オブジェクトの奥行き方向の位置の違い）を強調することができる。
以上の各部の処理は、システムコントローラ２１１の制御に基づいて行われる。
＜表示制御処理＞
図１５Ａは、検出された本実施形態に係る透過型HMD１００の動きに基づく動き方向と動き量との求め方の一例を示している。また、図１５Ｂは、本実施形態に係る基準位置の一例と、表示面に設定される座標軸の一例を示している。図１５Ｂでは、水平方向に対応するＸ軸と、垂直方向に対応するＹ軸とが、表示面に設定されている例を示している。なお、本実施形態に係る基準位置は、図１５Ｂに示すような１点に限られず、例えば、複数の座標を含む領域であってもよい。
例えば、センサ部２２１に設けられた、動きを検出することが可能なセンサから取得される検出データに基づき特定される透過型HMD１００の角度をθとする。システムコントローラ２１１は、例えば、図１５Ａに示される、第１の時点における角度θ0と、第２の時点（第１の時点よりも後の時点）における角度θ１とに基づいて、下記の式（１）により、検出された動きによる動き方向と動き量とを算出する。ここで、式（１）に示されるΔθの正負の符号が動き方向を示し、Δθの絶対値が動き量を示す。なお、図１５に示す例では、図１５Ａの矢印で示す回転方向を正の方向としている。
Δθ＝θ１−θ０ ・・・（１）
次に、このようなパラメータを用いて、上述したように表示オブジェクトを移動させる場合の表示制御処理の流れの例を、図１６のフローチャートを参照して説明する。
表示制御処理が開始されると、システムコントローラ２１１は、ステップＳ２０１において、算出されたΔθの絶対値（すなわち、本実施形態に係る動き量）が、設定されている所定の閾値以上であるか否かを判定する。この所定の閾値は、予め設定されている固定値であってもよいし、ユーザ操作などによって適宜設定することが可能な可変値であってもよい。
なお、例えば、このステップＳ２０１において、システムコントローラ２１１が、算出されたΔθの絶対値が、設定されている所定の閾値より大きいか否かを判定するようにしてもよい。
算出されたΔθの絶対値が設定されている所定の閾値以上であると判定された場合、処理は、ステップＳ２０２に進む。ステップＳ２０２において、システムコントローラ２１１は、算出されたΔθの符号が負であるか否かを判定する。
算出されたΔθの符号が負であると判定された場合、処理は、ステップＳ２０３に進む。ステップＳ２０３において、システムコントローラ２１１は、表示制御部２３４を介して表示画像処理部２３２や表示駆動部２３３を制御し、表示オブジェクトを、表示面におけるＸ軸の正の方向（X>0方向）に移動させる。ステップＳ２０３の処理が終了すると、表示制御処理が終了する。
また、ステップＳ２０２において、算出されたΔθの符号が正であると判定された場合、処理はステップＳ２０４に進む。ステップＳ２０４において、システムコントローラ２１１は、表示制御部２３４を介して表示画像処理部２３２や表示駆動部２３３を制御し、表示オブジェクトを、表示面におけるＸ軸の負の方向（X<0方向）に移動させる。ステップＳ２０３の処理が終了すると、表示制御処理が終了する。
また、ステップＳ２０１において、算出されたΔθの絶対値が設定されている所定の閾値以上であると判定されなかった場合、処理はステップＳ２０５に進む。ステップＳ２０５において、システムコントローラ２１１は、表示制御部２３４を介して表示画像処理部２３２や表示駆動部２３３を制御し、表示オブジェクトが基準位置に位置するか否かを判定する。表示オブジェクトの現在の座標と、基準位置に対応する座標とが同一であると判定された場合、表示オブジェクトが基準位置に位置すると判定され、表示制御処理が終了する。
また、ステップＳ２０５において、表示オブジェクトが基準位置に位置しないと判定された場合、処理はステップＳ２０６に進む。ステップＳ２０６において、システムコントローラ２１１は、表示制御部２３４を介して表示画像処理部２３２や表示駆動部２３３を制御し、表示オブジェクトを基準位置に向かって動かす。ステップＳ２０６の処理が終了すると、処理は、ステップＳ２０１に戻り、それ以降の処理を繰り返す。
このように表示制御処理を実行することにより、あたかも、表示面に表示されている表示オブジェクトがユーザの動きに追従してくる感覚を、当該ユーザに対して与えることが可能となる。
なお、上述したように、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも大きく移動させるためには、システムコントローラ２１１（表示制御部２３４）が、ステップＳ２０３、ステップＳ２０４、およびステップＳ２０６の各処理において、各列の表示オブジェクトよりもそのように（手前の列程大きく）移動させるように各部を制御すればよい。
また、上述したように、ユーザから視てより手前側の列に配置された表示オブジェクトを、ユーザから視て奥側の列に配置された表示オブジェクトよりも早く移動させるためには、システムコントローラ２１１（表示制御部２３４）が、ステップＳ２０３、ステップＳ２０４、およびステップＳ２０６の各処理において、各列の表示オブジェクトよりもそのように（手前の列程早く）移動させるように各部を制御すればよい。
＜回転方向（ロール（Roll）方向）＞
なお、回転方向（Roll方向）の移動の場合、ローカル座標に紐付けされた表示オブジェクトも、グローバル座標に紐付けされた表示オブジェクトも、同様に、ユーザが頭部（顔）を傾けた角度に応じた角度で逆向きに回転する。すなわち、現実空間の水平方向（若しくは垂直方向）と表示オブジェクトの水平方向（若しくは垂直方向）が一致した状態を保つように各表示オブジェクトの表示が制御される。
例えば、透過型HMD１００を装着したユーザが、図１７Ａのような状態から図１７Ｂのように、頭部（顔）を回転方向（ロール（Roll）方向）の左向きに動かすと、表示部１１２の表示領域に図１７Ａのように表示されていた表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、図１７Ｂのように、表示領域において回転方向の右向きに、透過型HMD１００の回転角度と同角度分回転する。
また、例えば、透過型HMD１００を装着したユーザが、図１７Ａのような状態から図１７Ｃのように、頭部（顔）を回転方向（ロール（Roll）方向）の右向きに動かすと、表示部１１２の表示領域に図１７Ａのように表示されていた表示オブジェクト３２３乃至表示オブジェクト３２５、並びに、表示オブジェクト３３３および表示オブジェクト３３４は、図１７Ｃのように、表示領域において回転方向の左向きに、透過型HMD１００の回転角度と同角度分回転する。
なお、図１７Ｂや図１７Ｃに示されるように、この場合、物体３１１やグローバル座標に紐付けされた表示オブジェクト３４１も、ローカル座標に紐付けされた表示オブジェクトと同様に回転する。
＜表示制御処理＞
以下において、図１８Ａや図１８Ｂにおいて矢印で示す回転方向を正の方向とする。上述したように表示オブジェクトを回転させる場合の表示制御処理の流れの例を、図１９のフローチャートを参照して説明する。
表示制御処理が開始されると、システムコントローラ２１１は、ステップＳ３０１において、表示装置（透過型HMD１００）の傾きθを算出する。システムコントローラ２１１は、例えば、センサ部２２１に設けられた、透過型HMD１００の動きを検出するセンサから取得される検出データに基づいて、傾きθを算出する。ここで、傾きθの正負の符号が、傾き方向を示し、傾きθの絶対値が、傾き量を示す。
傾きθ（すなわち、検出された動きによる、傾き方向と傾き量）が算出されると、ステップＳ３０２において、システムコントローラ２１１は、表示制御部２３４を介して表示画像処理部２３２や表示駆動部２３３を制御し、表示オブジェクトを、傾きθの符号が示す方向（すなわち、傾き方向）とは反対の方向に、傾きθの絶対値分（すなわち、傾き量分）表示オブジェクトを回転されることによって、表示オブジェクトを移動させる。
ステップＳ３０２の処理が終了すると、表示制御処理が終了する。このように表示制御処理を実行することにより、表示部１１２に表示されている表示オブジェクトの水平方向（垂直方向）が、表示部１１２の傾きに関わらず、その表示オブジェクトの重畳される現実空間の水平方向（垂直方向）と常に一致するようにすることができる。したがって、ユーザに視える画像が視覚的に自然な状態となるようにすることができ、ユーザにとっての違和感を低減させることができる。これにより、透過型HMD１００の操作性をさらに向上させることができる。
以上においては、表示部１１２が光を透過する透過型ディスプレイであるように説明したが、この表示部１１２は、光を透過しない非透過型のディスプレイであってもよい。例えば、表示部１１２（非透過型ディスプレイ）には、複数視点の画像からなる立体視画像（例えばメニューアイコン等の表示オブジェクト）が、撮像部２５１において得られる撮り込み画像（スルー画とも称する）に重畳され表示されるようにしてもよい。その場合も、上述した透過型ディスプレイの場合と同様に、表示オブジェクトを、現実空間の景色より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、表示部１１２に表示させるようにすればよい。つまり、本技術は、例えば、透過型HMD１００だけでなく非透過型のHMDにも適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２６４により構成される。このリムーバブルメディア２６４には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
その場合、プログラムは、それらのリムーバブルメディアをドライブに装着することにより、記憶部２６１にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、各装置の通信部２６２で受信し、記憶部２６１にインストールすることができる。
その他、このプログラムは、システムコントローラ２１１のROMや記憶部２６１に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部と、
複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、前記表示部に表示させる表示制御部と
を備える画像表示装置。
（２） 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の大きさを制御する
（１）、（３）乃至（１３）のいずれかに記載の画像表示装置。
（３） 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の明度、彩度、およびコントラストのうち少なくともいずれか１つを制御する
（１）、（２）、（４）乃至（１３）のいずれかに記載の画像表示装置。
（４） 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、各列における前記立体視画像同士の間隔を制御する
（１）乃至（３）、（５）乃至（１３）のいずれかに記載の画像表示装置。
（５） 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記列同士の奥行き方向の間隔を制御する
（１）乃至（４）、（６）乃至（１３）のいずれかに記載の画像表示装置。
（６） 前記表示制御部は、ユーザから視て奥側の列に配置された前記立体視画像の少なくとも一部が、前記ユーザから視て手前側の列に配置された前記立体視画像によって隠れるように各立体視画像の表示位置を制御する
（１）乃至（５）、（７）乃至（１３）のいずれかに記載の画像表示装置。
（７） 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の色相を制御する
（１）乃至（６）、（８）乃至（１３）のいずれかに記載の画像表示装置。
（８） 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の合焦度を制御する
（１）乃至（７）、（９）乃至（１３）のいずれかに記載の画像表示装置。
（９） 前記表示制御部は、前記立体視画像が有する役割に応じて、前記立体視画像を配置する列を制御する
（１）乃至（８）、（１０）乃至（１３）のいずれかに記載の画像表示装置。
（１０） 前記表示部の位置や向きの変化を検出する検出部をさらに備え、
前記表示制御部は、前記検出部により前記表示部の位置や向きの変化が検出された場合、その変化に応じて前記立体視画像を移動させる
（１）乃至（９）、（１１）乃至（１３）のいずれかに記載の画像表示装置。
（１１） 前記表示制御部は、前記検出部により前記表示部の位置や向きの変化の開始が検出されると、前記立体視画像の表示位置を、前記表示部の位置や向きが変化していない状態の位置から、前記表示部の位置や向きが変化した方向と逆方向に移動させ、前記検出部により前記表示部の位置や向きの変化の終了が検出されると、前記立体視画像の表示位置を、前記表示部の位置や向きが変化していない状態の位置に戻す
（１）乃至（１０）、（１２）、（１３）のいずれかに記載の画像表示装置。
（１２） 前記表示制御部は、ユーザから視てより手前側の列に配置された前記立体視画像を、前記ユーザから視て奥側の列に配置された前記立体視画像よりも大きく移動させる
（１）乃至（１１）、（１３）のいずれかに記載の画像表示装置。
（１３） 前記表示制御部は、ユーザから視てより手前側の列に配置された前記立体視画像を、前記ユーザから視て奥側の列に配置された前記立体視画像よりも早く移動させる
（１）乃至（１２）のいずれかに記載の画像表示装置。
（１４） 現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部に、複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示させる
画像表示方法。
１００ 透過型HMD， １１１ 筐体， １１２ 表示部， １１３ ホール， １３１ 筐体， １３２ 表示部， １３３ ホール， １５１ ケーブル， １５２ コントロールボックス， ２１１ システムコントローラ， ２２１ センサ部， ２２２ センサ制御部， ２２３ センサ信号処理部， ２３１ 画像生成部， ２３２ 表示画像処理部， ２３３ 表示駆動部， ２３４ 表示制御部， ２４１ 音声生成部， ２４２ 音声出力部， ２４３ 音声入力部， ２４４ 音声信号処理部， ２５１ 撮像部， ２５２ 撮像信号処理部， ２５３ 撮像制御部， ２６１ 記憶部， ２６２ 通信部， ２６３ ドライブ， ２６４ リムーバブルメディア

Claims (14)

  1. 現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部と、
    複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように、前記表示部に表示させる表示制御部と
    を備える画像表示装置。
  2. 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の大きさを制御する
    請求項１に記載の画像表示装置。
  3. 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の明度、彩度、およびコントラストのうち少なくともいずれか１つを制御する
    請求項１に記載の画像表示装置。
  4. 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、各列における前記立体視画像同士の間隔を制御する
    請求項１に記載の画像表示装置。
  5. 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記列同士の奥行き方向の間隔を制御する
    請求項１に記載の画像表示装置。
  6. 前記表示制御部は、ユーザから視て奥側の列に配置された前記立体視画像の少なくとも一部が、前記ユーザから視て手前側の列に配置された前記立体視画像によって隠れるように各立体視画像の表示位置を制御する
    請求項１に記載の画像表示装置。
  7. 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の色相を制御する
    請求項１に記載の画像表示装置。
  8. 前記表示制御部は、前記立体視画像を配置する列の奥行き方向の位置に応じて、前記立体視画像の合焦度を制御する
    請求項１に記載の画像表示装置。
  9. 前記表示制御部は、前記立体視画像が有する役割に応じて、前記立体視画像を配置する列を制御する
    請求項１に記載の画像表示装置。
  10. 前記表示部の位置や向きの変化を検出する検出部をさらに備え、
    前記表示制御部は、前記検出部により前記表示部の位置や向きの変化が検出された場合、その変化に応じて前記立体視画像を移動させる
    請求項１に記載の画像表示装置。
  11. 前記表示制御部は、前記検出部により前記表示部の位置や向きの変化の開始が検出されると、前記立体視画像の表示位置を、前記表示部の位置や向きが変化していない状態の位置から、前記表示部の位置や向きが変化した方向と逆方向に移動させ、前記検出部により前記表示部の位置や向きの変化の終了が検出されると、前記立体視画像の表示位置を、前記表示部の位置や向きが変化していない状態の位置に戻す
    請求項１０に記載の画像表示装置。
  12. 前記表示制御部は、ユーザから視てより手前側の列に配置された前記立体視画像を、前記ユーザから視て奥側の列に配置された前記立体視画像よりも大きく移動させる
    請求項１１に記載の画像表示装置。
  13. 前記表示制御部は、ユーザから視てより手前側の列に配置された前記立体視画像を、前記ユーザから視て奥側の列に配置された前記立体視画像よりも早く移動させる
    請求項１１に記載の画像表示装置。
  14. 現実空間を透過的に視ることができ且つ、立体視画像を表示する表示部に、複数の立体視画像を、前記現実空間より手前に、奥行き方向の位置が互いに異なる複数の列に配置された状態で視えるように表示させる
    画像表示方法。
JP2014021834A 2014-02-07 2014-02-07 画像表示装置および方法 Pending JP2015149634A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014021834A JP2015149634A (ja) 2014-02-07 2014-02-07 画像表示装置および方法
US14/609,667 US9710132B2 (en) 2014-02-07 2015-01-30 Image display apparatus and image display method
US15/634,364 US9927948B2 (en) 2014-02-07 2017-06-27 Image display apparatus and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014021834A JP2015149634A (ja) 2014-02-07 2014-02-07 画像表示装置および方法

Publications (1)

Publication Number Publication Date
JP2015149634A true JP2015149634A (ja) 2015-08-20

Family

ID=53775383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014021834A Pending JP2015149634A (ja) 2014-02-07 2014-02-07 画像表示装置および方法

Country Status (2)

Country Link
US (2) US9710132B2 (ja)
JP (1) JP2015149634A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046065A (ja) * 2015-08-24 2017-03-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2017110632A1 (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP2017199085A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018092299A (ja) * 2016-12-01 2018-06-14 Kddi株式会社 操作支援装置
JP2018156239A (ja) * 2017-03-16 2018-10-04 Kddi株式会社 操作支援装置
WO2019131160A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2020149594A (ja) * 2019-03-15 2020-09-17 Ｄｙｎａｂｏｏｋ株式会社 電子装置および表示制御方法
JP2021018759A (ja) * 2019-07-24 2021-02-15 株式会社電通グループ 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254043A1 (en) * 2014-03-04 2015-09-10 Sung Jae Hwang Display property determination
US10664975B2 (en) * 2014-11-18 2020-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target
USD788167S1 (en) * 2015-02-27 2017-05-30 Zynga Inc. Display screen or portion thereof with a transitional graphical user interface
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
JP6367166B2 (ja) 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
CN105511632B (zh) * 2016-01-25 2020-04-28 京东方科技集团股份有限公司 信号采集装置、虚拟现实设备及其控制方法
WO2018039941A1 (zh) * 2016-08-30 2018-03-08 北京小米移动软件有限公司 Vr控制的方法、装置及电子设备
CN106526867B (zh) * 2017-01-22 2018-10-30 网易（杭州）网络有限公司 影像画面的显示控制方法、装置及头戴式显示设备
US11508257B2 (en) * 2017-03-07 2022-11-22 8259402 Canada Inc. Method to control a virtual image in a display
US11086396B2 (en) * 2017-03-31 2021-08-10 Sony Interactive Entertainment LLC Depth-keying of web content
US10712837B1 (en) * 2018-07-30 2020-07-14 David Douglas Using geo-registered tools to manipulate three-dimensional medical images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414805A (en) * 1992-11-06 1995-05-09 International Business Machines Corporation Visual display transition effects using sorted table of display cells
CN100407118C (zh) * 2004-10-12 2008-07-30 日本电信电话株式会社 三维指示方法和三维指示装置
JP4463215B2 (ja) * 2006-01-30 2010-05-19 日本電気株式会社 立体化処理装置及び立体情報端末
US8249315B2 (en) * 2006-05-22 2012-08-21 Upmc System and method for improved viewing and navigation of digital images
US8656311B1 (en) * 2007-01-07 2014-02-18 Apple Inc. Method and apparatus for compositing various types of content
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
GB2502957B (en) * 2012-06-08 2014-09-24 Samsung Electronics Co Ltd Portable apparatus with a GUI
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046065A (ja) * 2015-08-24 2017-03-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2017110632A1 (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP2017117008A (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP2017199085A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018092299A (ja) * 2016-12-01 2018-06-14 Kddi株式会社 操作支援装置
JP2018156239A (ja) * 2017-03-16 2018-10-04 Kddi株式会社 操作支援装置
WO2019131160A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US11039124B2 (en) 2017-12-27 2021-06-15 Sony Corporation Information processing apparatus, information processing method, and recording medium
JP2020149594A (ja) * 2019-03-15 2020-09-17 Ｄｙｎａｂｏｏｋ株式会社 電子装置および表示制御方法
JP7286357B2 (ja) 2019-03-15 2023-06-05 Ｄｙｎａｂｏｏｋ株式会社 電子装置および表示制御方法
JP2021018759A (ja) * 2019-07-24 2021-02-15 株式会社電通グループ 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム

Also Published As

Publication number Publication date
US9927948B2 (en) 2018-03-27
US9710132B2 (en) 2017-07-18
US20170308266A1 (en) 2017-10-26
US20150228121A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
JP2015149634A (ja) 画像表示装置および方法
JP6252849B2 (ja) 撮像装置および方法
JP6094190B2 (ja) 情報処理装置および記録媒体
US10009542B2 (en) Systems and methods for environment content sharing
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
US8762846B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
US20160306173A1 (en) Display control device, display control method, and computer program
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP2017097122A (ja) 情報処理装置および画像生成方法
JP7371264B2 (ja) 画像処理方法、電子機器及びコンピュータ可読記憶媒体
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
JP2019040610A (ja) 情報処理装置
CN116325771A (zh) 用于提供图像平移、倾斜和变焦功能的多传感器摄像系统、设备和方法
KR20220128585A (ko) 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체
CN111432201A (zh) 显示系统及其控制方法、信息处理装置和记录介质
WO2020059327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2014141653A1 (ja) 画像生成装置、撮像装置および画像生成方法
KR101378407B1 (ko) 광시야각이 가능한 입체 영상 디스플레이 장치 및 그 입체영상 디스플레이 장치에서의 표시부 위치 조절 방법
US11386527B2 (en) Image processor and imaging processing method
US20130016094A1 (en) Vergence control method for stereo-scopic image control and portable device supporting the same
JP6921204B2 (ja) 情報処理装置および画像出力方法
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
WO2022220305A1 (ja) 映像表示システム、情報処理方法、及び、プログラム
JP2014155126A (ja) 表示装置、表示方法およびプログラム