JP2019114236A - Display system, electronic apparatus, and display method - Google Patents
Display system, electronic apparatus, and display method Download PDFInfo
- Publication number
- JP2019114236A JP2019114236A JP2018172773A JP2018172773A JP2019114236A JP 2019114236 A JP2019114236 A JP 2019114236A JP 2018172773 A JP2018172773 A JP 2018172773A JP 2018172773 A JP2018172773 A JP 2018172773A JP 2019114236 A JP2019114236 A JP 2019114236A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- display unit
- unit
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示システム、電子機器、及び、表示方法に関する。 The present invention relates to a display system, an electronic device, and a display method.
従来、表示装置において、外部装置の表示画像を受信して表示するものが知られている(例えば、特許文献1参照)。特許文献1には、頭部装着型表示装置(Head Mounted Display:HMD)が、複数の装置の表示画面を統合するため、外部装置が送信する表示画像を受信して、表示部に表示する例が記載されている。
2. Description of the Related Art Conventionally, in a display device, one that receives and displays a display image of an external device is known (for example, see Patent Document 1). In
特許文献1に開示された構成は、HMDにより全てを表示することを前提として、外部装置の表示画像をHMDの表示において統合することを可能としている。これに対し、表示装置の表示を、表示装置とは異なる外部装置に合わせて制御する手法について、従来、提案された例はない。
本発明は上記事情に鑑みてなされたものであり、表示装置による表示を外部装置に合わせて制御することを目的とする。
The configuration disclosed in
The present invention has been made in view of the above circumstances, and it is an object of the present invention to control display on a display device in accordance with an external device.
上記課題を解決するため、本発明の表示システムは、第1表示部を有する電子機器と、前記電子機器に接続される頭部装着型の表示装置と、を備え、前記電子機器は、画像を出力する出力部を備え、前記表示装置は、前記電子機器が出力する前記画像を取得する取得部と、前記表示装置が装着された状態で視認される外景に重ねて画像を表示する第2表示部と、前記取得部により取得された前記画像を前記第2表示部により表示させる表示制御部と、を備え、前記表示制御部は、外景として視認される前記電子機器の位置に対応させて前記画像を前記第2表示部に表示する。
本発明によれば、電子機器が出力する画像を頭部装着型の表示装置により表示する場合に、外景としての電子機器の位置に対応するように表示する。例えば、外景として見える第1表示部の位置に合わせて、表示装置により、画像を表示できる。このように、外景に重ねて画像を表示する表示装置により、外景として視認される電子機器の位置に合わせた表示を行うことができる。
In order to solve the above-mentioned subject, a display system of the present invention is provided with electronic equipment which has the 1st indicator, and a head mount type display connected to the electronic equipment, and the electronic equipment carries out the picture The display device includes an output unit for outputting, and a second display for displaying an image superimposed on an acquisition unit for acquiring the image output from the electronic device, and an outside scene viewed in a state where the display device is mounted. And a display control unit for causing the second display unit to display the image acquired by the acquisition unit, the display control unit corresponding to the position of the electronic device visually recognized as an outside view An image is displayed on the second display unit.
According to the present invention, when an image output by the electronic device is displayed by the head-mounted display device, the image is displayed to correspond to the position of the electronic device as the outside view. For example, the image can be displayed by the display device in accordance with the position of the first display unit that can be seen as an outside scene. As described above, the display device which displays an image superimposed on the outside scene can perform display in accordance with the position of the electronic device visually recognized as the outside scene.
また、本発明は、前記電子機器は、前記第1表示部よりも広い仮想表示領域に対応する画像を生成し、生成した前記画像の一部を前記第1表示部に表示させ、生成した前記画像の少なくとも一部を前記出力部により出力させる電子機器制御部を備え、前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の少なくとも一部を、前記電子機器の位置に合わせて前記第2表示部に表示する。
この構成によれば、表示装置の第2表示部に、電子機器の第1表示部よりも広い仮想表示領域に対応する表示を行うことができる。このため、第1表示部より大きい表示領域を、電子機器の位置に合わせて表示でき、表示装置によって、第1表示部を仮想的に拡大できる。
Further, according to the present invention, the electronic device generates an image corresponding to a virtual display area wider than the first display unit, displays a part of the generated image on the first display unit, and generates the image. The display control unit includes an electronic device control unit that causes at least a portion of the image to be output by the output unit, and the display control unit included in the display device sets at least a portion of the image output by the electronic device At the same time, it is displayed on the second display unit.
According to this configuration, it is possible to perform display corresponding to a virtual display area wider than the first display unit of the electronic device on the second display unit of the display device. Therefore, a display area larger than the first display unit can be displayed in alignment with the position of the electronic device, and the display unit can virtually enlarge the first display unit.
また、本発明は、前記電子機器制御部は、前記仮想表示領域に対応させて生成した前記画像のうち、前記第1表示部に表示させた部分を除く前記画像を、前記出力部により出力させ、前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像を前記第2表示部に表示する。
この構成によれば、表示装置が、電子機器の第1表示部よりも広い仮想表示領域に対応する表示を行う場合に、第1表示部に画像の一部が表示され、第2表示部には、第1表示部に表示される部分を除いた部分が表示される。このため、電子機器の表示と、表示装置の表示とを組み合わせた表示を実現できる。例えば、表示装置により、電子機器の周囲に、第2表示部によって画像を表示し、第1表示部を仮想的に拡張する表示態様を実現できる。
Further, according to the present invention, the electronic device control unit causes the output unit to output the image excluding the portion displayed on the first display unit among the images generated corresponding to the virtual display area. The display control unit included in the display device displays an image output by the electronic device on the second display unit.
According to this configuration, when the display device performs display corresponding to a virtual display area wider than the first display unit of the electronic device, a part of the image is displayed on the first display unit, and the second display unit Is a portion excluding the portion displayed on the first display unit. Therefore, it is possible to realize display combining the display of the electronic device and the display of the display device. For example, an image can be displayed by the second display unit around the electronic device by the display device, and a display mode in which the first display unit is virtually expanded can be realized.
また、本発明は、前記表示装置が備える前記表示制御部は、前記電子機器により出力された前記画像を、外景として視認される前記第1表示部の周囲に表示する。
この構成によれば、表示装置の第2表示部により、電子機器の第1表示部の周囲に画像を表示することにより、第1表示部を仮想的に拡張した表示態様を実現できる。
Further, in the present invention, the display control unit included in the display device displays the image output by the electronic device around the first display unit visually recognized as an outside scene.
According to this configuration, by displaying an image around the first display unit of the electronic device by the second display unit of the display device, it is possible to realize a display mode in which the first display unit is virtually expanded.
また、本発明は、前記電子機器制御部は、前記第2表示部に対する前記第1表示部の相対位置に基づいて、前記仮想表示領域に対応させて生成した前記画像の一部を前記第1表示部に表示し、前記第1表示部に表示させた部分を除く前記画像を前記出力部により出力させる。
この構成によれば、電子機器が、第2表示部に対する第1表示部の相対位置に対応するように、表示装置が表示する画像を出力する。このため、表示装置によって電子機器の第1表示部の位置に対応した表示を行う動作を、容易に実現できる。
Further, according to the present invention, the electronic device control unit may control the first part of the image generated in correspondence with the virtual display area based on a relative position of the first display unit to the second display unit. The image displayed on the display unit is output by the output unit except the portion displayed on the first display unit.
According to this configuration, the electronic device outputs the image displayed by the display device so as to correspond to the relative position of the first display unit with respect to the second display unit. Therefore, the operation of performing display corresponding to the position of the first display portion of the electronic device by the display device can be easily realized.
また、本発明は、前記電子機器制御部は、前記第2表示部に対する前記第1表示部の相対位置に基づいて、前記仮想表示領域に対応させて生成した前記画像のうち前記第1表示部に表示させた部分をマスクした画像を前記出力部により出力させる。
この構成によれば、第2表示部に、電子機器の第1表示部に表示される部分が表示されないため、電子機器が表示する画像と、表示装置が表示する画像とを協調させることができる。
Further, according to the present invention, the electronic device control unit controls the first display unit among the images generated corresponding to the virtual display area based on the relative position of the first display unit with respect to the second display unit. The image output unit is configured to output an image obtained by masking the displayed portion.
According to this configuration, since the portion displayed on the first display unit of the electronic device is not displayed on the second display unit, the image displayed by the electronic device can be coordinated with the image displayed by the display device. .
また、本発明は、前記電子機器制御部は、前記仮想表示領域に対応させて生成した前記画像を前記出力部により出力させ、前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の一部を切り出した画像を前記第2表示部に表示する。
この構成によれば、表示装置の処理により、電子機器が表示する画像の一部を第2表示部に拡大して表示できる。
Further, in the present invention, the electronic device control unit causes the output unit to output the image generated in association with the virtual display area, and the display control unit included in the display device is output by the electronic device. An image obtained by cutting out a part of the image is displayed on the second display unit.
According to this configuration, by the processing of the display device, a part of the image displayed by the electronic device can be enlarged and displayed on the second display unit.
また、本発明は、前記表示制御部は、前記第2表示部に対する前記第1表示部の相対位置に基づいて、前記取得部により取得された前記画像の一部を抽出して前記第2表示部に表示させる。
この構成によれば、表示装置が、表示部に対する第1表示部の相対位置を求めて、この相対位置に対応するように表示用の画像を生成するので、電子機器の負荷を増大させることなく、第1表示部の位置に対応した表示を実現できる。
Further, according to the present invention, the display control unit extracts a part of the image acquired by the acquiring unit based on a relative position of the first display unit with respect to the second display unit and performs the second display. Display on the department.
According to this configuration, the display device determines the relative position of the first display unit with respect to the display unit, and generates an image for display corresponding to the relative position, so that the load on the electronic device is not increased. The display corresponding to the position of the first display unit can be realized.
また、本発明は、前記表示制御部は、前記第2表示部に対する前記第1表示部の相対位置に基づいて、前記取得部により取得された前記画像のうち前記第1表示部に重なる部分をマスクした画像を前記第2表示部に表示させる。
この構成によれば、表示装置の処理により、第2表示部に表示される画像において、第1表示部に表示される部分がマスクされるため、電子機器の負荷を増大させることなく、電子機器が表示する画像と表示装置が表示する画像とを協調させることができる。
Further, according to the present invention, the display control unit determines a portion overlapping the first display unit in the image acquired by the acquisition unit based on the relative position of the first display unit with respect to the second display unit. The masked image is displayed on the second display unit.
According to this configuration, in the image displayed on the second display unit by the processing of the display device, the portion displayed on the first display unit is masked, so the electronic device can be operated without increasing the load on the electronic device. It is possible to coordinate the image displayed by the image with the image displayed by the display device.
また、本発明は、前記電子機器制御部は、実空間における前記電子機器の位置に基づき前記仮想表示領域の位置を決定し、前記仮想表示領域と前記第2表示部との相対位置に基づいて、前記第2表示部の表示態様を調整する。
この構成によれば、表示装置によって、実空間における電子機器の位置に合わせて画像を表示できる。この画像により、電子機器の第1表示部が表示する画像を補完したり、拡張したりする効果を得ることができる。
Further, according to the present invention, the electronic device control unit determines the position of the virtual display area based on the position of the electronic device in the real space, and based on the relative position between the virtual display area and the second display unit. Adjusting a display mode of the second display unit.
According to this configuration, the display device can display the image in accordance with the position of the electronic device in the real space. With this image, it is possible to obtain an effect of complementing or expanding the image displayed by the first display unit of the electronic device.
また、本発明は、前記電子機器制御部は、前記第1表示部が前記第2表示部を透過して視認される範囲に含まれることを検出した場合に、前記第1表示部の位置を基準として、前記画像の表示態様を初期化する。
この構成によれば、表示装置において電子機器の第1表示部が外景として視認できるか否かに対応して、表示態様を調整できる。
Further, in the present invention, when the electronic device control unit detects that the first display unit is included in a range viewed through the second display unit, the position of the first display unit is determined. As a reference, the display mode of the image is initialized.
According to this configuration, it is possible to adjust the display mode in accordance with whether or not the first display unit of the electronic device can be viewed as an outside scene in the display device.
また、本発明は、前記第2表示部は、前記表示装置を装着した使用者の左眼に向けて画像光を発する左眼用表示部、及び、前記使用者の右眼に向けて画像光を発する右眼用表示部を備え、前記第2表示部により外景として視認される前記第1表示部の位置に対応して、前記左眼用表示部による表示位置、及び前記右眼用表示部による表示位置が制御され、前記第2表示部に表示される画像の輻輳角が調整される。
この構成によれば、表示装置が表示する画像の輻輳角を調整することによって、表示装置の表示画像が視認される距離を、電子機器の第1表示部の位置に対応させることができる。これにより、表示装置による表示と電子機器の表示とを、より適切に協調させることができる。
Further, according to the present invention, the second display unit is a display unit for the left eye that emits image light toward the left eye of the user wearing the display device, and an image light directed to the right eye of the user And a display position by the left-eye display unit and a display position for the right-eye display, corresponding to the position of the first display unit viewed as an outside scene by the second display unit. The display position is controlled, and the convergence angle of the image displayed on the second display unit is adjusted.
According to this configuration, by adjusting the convergence angle of the image displayed by the display device, the distance in which the display image of the display device is viewed can be made to correspond to the position of the first display portion of the electronic device. Thus, the display by the display device and the display of the electronic device can be coordinated more appropriately.
また、本発明は、前記第2表示部は、前記第2表示部により表示される画像を前記使用者が知覚する視認距離を調整可能な光学系を有し、前記第2表示部に表示される画像の輻輳角に対応して前記光学系が制御される。
この構成によれば、表示装置の表示画像が視認される距離を、電子機器の第1表示部の位置に対応させるので、表示装置による表示と電子機器の表示とを、より適切に協調させることができる。
Further, according to the present invention, the second display unit includes an optical system capable of adjusting a visible distance at which the user perceives an image displayed by the second display unit, and the second display unit is displayed on the second display unit. The optical system is controlled according to the convergence angle of the image.
According to this configuration, since the distance in which the display image of the display device is viewed corresponds to the position of the first display unit of the electronic device, the display by the display device and the display of the electronic device can be coordinated more appropriately. Can.
また、上記課題を解決するため、本発明の電子機器は、外景に重ねて画像を表示する頭部装着型の表示装置に接続される電子機器であって、第1表示部と、前記表示装置に画像を出力する出力部と、前記表示装置が有する第2表示部に対する前記第1表示部の相対位置に基づいて、前記表示装置によって外景として視認される前記第1表示部の位置に対応する画像を前記第2表示部に表示するための画像を、前記出力部により出力させる制御部と、を備える。
この構成によれば、表示装置に接続される電子機器が、表示装置に画像を出力することによって、表示装置が、外景としての電子機器の第1表示部の位置に対応するように表示を行うことができる。
Further, in order to solve the above problems, an electronic device according to the present invention is an electronic device connected to a head-mounted display device that displays an image superimposed on an outside scene, comprising: a first display unit; Corresponding to the position of the first display portion that is viewed as an outside scene by the display device based on the relative position of the first display portion to the second display portion of the display device and an output unit that outputs an image to the display device. And a control unit that causes the output unit to output an image for displaying the image on the second display unit.
According to this configuration, when the electronic device connected to the display device outputs an image to the display device, the display device performs display such that it corresponds to the position of the first display portion of the electronic device as the outside scene. be able to.
また、上記課題を解決するため、本発明の表示方法は、第1表示部を有する電子機器と、外景に重ねて画像を表示する第2表示部を有する頭部装着型の表示装置と、による表示方法であって、前記電子機器により画像を出力し、前記表示装置により、前記電子機器が出力する前記画像を取得し、取得した画像を前記第2表示部により表示させ、前記第2表示部において外景として視認される前記電子機器の位置に対応させて、前記第2表示部に前記画像を表示する。
本発明によれば、電子機器が出力する画像を表示装置により表示する場合に、外景としての電子機器の位置に対応するように表示する。例えば、外景として見える電子機器の位置に合わせて、表示装置により画像を表示できるので、表示装置によって、電子機器の表示に合わせた表示を行うことができる。
Further, in order to solve the above problems, the display method of the present invention includes an electronic device having a first display portion and a head-mounted display device having a second display portion that displays an image superimposed on an outside scene. A display method, comprising: outputting an image by the electronic device; acquiring the image output by the electronic device by the display device; displaying the acquired image by the second display unit; The image is displayed on the second display unit in correspondence with the position of the electronic device that is visually recognized as the outside scene in the image.
According to the present invention, when the image output by the electronic device is displayed by the display device, the image is displayed to correspond to the position of the electronic device as the outside scene. For example, since the image can be displayed by the display device in accordance with the position of the electronic device viewed as the outside scene, the display device can perform display in accordance with the display of the electronic device.
本発明は、上述した表示システム、電子機器、及び、表示方法以外の種々の形態で実現することも可能である。例えば、上記の表示方法をコンピューターにより実行するためのプログラム、上記プログラムを記録した記録媒体、上記プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。 The present invention can also be realized in various forms other than the above-described display system, electronic device, and display method. For example, a program for executing the above display method by a computer, a recording medium recording the above program, a server device for distributing the above program, a transmission medium for transmitting the above program, a data signal embodying the above program in a carrier wave It can be realized in the form of
[1.第1実施形態]
[1−1.表示システムの構成]
図1は、本発明を適用した第1実施形態に係る表示システム1の構成を示す図である。
表示システム1は、HMD(Head Mounted Display:頭部装着型表示装置)100と、HMD100の外部装置としてのPC(Personal Computer)300と、を備える。
[1. First embodiment]
[1-1. Display system configuration]
FIG. 1 is a view showing a configuration of a
The
HMD100は、使用者(ユーザー)の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(第2表示部)と、画像表示部20を制御する接続装置10と、を備える表示装置である。接続装置10は、箱形のケース(筐体、あるいは本体ともいえる)に、複数のコネクター11を備える。画像表示部20と接続装置10とは、接続ケーブル40により接続される。
The
図1の例で、接続装置10は3つのコネクター11A、11B、11Cを備える。以下の説明において、コネクター11A、11B、11Cを区別しない場合はコネクター11と総称する。コネクター11は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置10は外部の装置と接続される。コネクター11A、11B、11Cは、例えば、公知の通信インターフェイス規格に準拠するコネクターであり、同一形状のコネクターであってもよく、異なる種類のコネクターであってもよい。本実施形態では、一例として、コネクター11Aを、HDMI(登録商標)(High Definition Multimedia Interface)規格に準拠したコネクターとする。また、コネクター11Bを、USB(Universal Serial Bus)−TypeCコネクターとする。また、コネクター11Cを、MicroUSBコネクターとする。
In the example of FIG. 1, the
図1の例では、接続装置10とPC300とがケーブル2により接続される。ケーブル2は、PC300とコネクター11Aとを接続するHDMIケーブル2A、及び、PC300とコネクター11Bとを接続するUSBケーブル2Bで構成される。この例では、PC300は、映像伝送用のHDMIインターフェイス、及び、データ通信用のUSBインターフェイスにより、接続装置10に接続される。
In the example of FIG. 1, the
PC300は、画像を表示する表示部330を備えるコンピューターであり、本発明の電子機器に相当する。PC300は、好ましくは可搬型のコンピューターであり、タブレット型コンピューター、ノート型コンピューター、スマートフォン等が挙げられる。図1のPC300は、平板状の本体の表面に、第1表示部としての表示部330を備える。表示部330は、液晶表示パネル、有機EL(Electro Luminescent)表示パネル等の表示パネル331(図5)を備え、表示パネル331の表面に、ユーザーの接触操作を検出するタッチセンサー332(図5)が設けられる。
PC300は、HMD100に対しては外部機器として機能する。外部機器は、表示画面を備え、表示画面に画像を表示する機能を有する電子デバイスであればよく、本実施形態ではあくまで一例としてPC300を示す。
The
The
画像表示部20は、使用者の頭部に装着される装着体であり、いわゆる頭部装着型ディスプレイ(HMD)である。つまり、HMD100は、HMD本体としての画像表示部20に、PC300等の外部装置を接続するための接続装置10を繋げた構成である。画像表示部20は、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22(右眼用表示部)、左表示ユニット24(左眼用表示部)、右導光板26、及び左導光板28を備える。
The
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
The
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
The right
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
The
右表示ユニット22及び左表示ユニット24は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示ユニット22は、右導光板26による画像の表示に係るユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示に係るユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット22及び左表示ユニット24を総称して単に「表示駆動部」とも呼ぶ。
The
The
右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、右表示ユニット22及び左表示ユニット24が出力する画像光を、使用者の眼に導く。右導光板26及び左導光板28は、例えばプリズムである。
The right
右導光板26及び左導光板28の表面に、調光板(図示略)を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側とは反対の側である前部フレーム27の表側を覆うように配置される。この調光板の光学特性を適宜選択することによって、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26及び左導光板28に入射し、右導光板26及び左導光板28を透過する外光の光量を調整できる。
A light control plate (not shown) may be provided on the surfaces of the right
画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板26及び左導光板28を保護し、右導光板26及び左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、或いは、右導光板26及び左導光板28のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。
The
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、接続装置10に接続される。HMD100では、左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが接続装置10に接続される。
The
カメラ61は、画像表示部20の前部フレーム27に配設される。カメラ61は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61が前部フレーム27の端部ER側に配置される。カメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。
The
カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。外景は、実空間と言い換えることができる。
The
別の表現では、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像する。カメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ61の撮像範囲が設定される。
In another expression, the
HMD100は、距離センサー64を備える。距離センサー64は、右光学像表示部26と左光学像表示部28との境目部分に配置される。使用者が画像表示部20を装着した状態で、距離センサー64の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー64は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態の距離センサー64の測定方向は、HMD100の表側方向であり、カメラ61の撮像方向と重複する。
The
The
図2は、HMD100の光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221を備える。また、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251を備える。画像光Lは、右光学系251により右導光板26に導かれる。
FIG. 2 is a plan view of relevant parts showing the configuration of the optical system of the
As shown in FIG. 2, the
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。
The
OLED駆動回路225は、接続装置10から入力される画像データに基づき、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー217が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
The
The
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
The right
また、使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
In addition, as a configuration for causing the left eye LE of the user to visually recognize an image, the
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、接続装置10から入力される画像データに基づき、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。
The
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
The left
HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部と呼ぶこともできる。
The
なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
The left
図3は、画像表示部20を使用者の頭部側から見た要部斜視図であり、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び、左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
FIG. 3 is a perspective view of the main part when the
In FIG. 3, the
図4は、HMD100の画像表示部20と撮像範囲との対応を示す説明図である。
カメラ61は、上記のように画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。
FIG. 4 is an explanatory view showing the correspondence between the
The
図4には、カメラ61の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す図である。カメラ61の画角(撮像範囲)をCで示す。なお、図4には水平方向の画角Cを示すが、カメラ61の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
FIG. 4 is a view schematically showing the position of the
カメラ61の光軸は、右眼REの視線方向RD及び左眼LEの視線方向LDを含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば図4に示すように、使用者が両眼で対象物OBを注視すると、使用者の視線RD、LDは対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることが、より多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ61の光軸、及び画角は、通常使用時における対象物OBまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物OBが画角に含まれるように、設定されることが好ましい。
The optical axis of the
また、一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。この場合、注視点が、図4の対象物OBであるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が画像表示部20を透過して右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図1及び図2に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
Generally, the viewing angle of human beings is approximately 200 degrees in the horizontal direction and approximately 125 degrees in the vertical direction, and of these, the effective field of view excellent in information acceptance ability is approximately 30 degrees in the horizontal direction and approximately 20 degrees in the vertical direction. Furthermore, a stable fixation field in which a fixation point at which a person gazes is seen quickly and stably appears to be 60 to 90 degrees in the horizontal direction and 45 degrees to 70 degrees in the vertical direction. In this case, when the fixation point is the object OB of FIG. 4, the effective visual field is approximately 30 degrees in the horizontal direction and approximately 20 degrees in the vertical direction around the sight lines RD and LD. Further, a stable fixation field of about 60 to 90 degrees in the horizontal direction and 45 to 70 degrees in the vertical direction is a stable fixation field, and a viewing angle is about 200 degrees in the horizontal direction and about 125 degrees in the vertical direction. Furthermore, an actual visual field that a user passes through the
カメラ61の画角Cは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Cが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Cが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Cが、使用者の安定注視野よりも広く、最も好ましくは、画角Cが使用者の両眼の視野角よりも広い。
The angle of view C of the
カメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。
The
また、上述のように、本実施形態のカメラ61は、画像表示部20の前部フレーム27において端部ER側に配置されるが、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。この場合、カメラ61の左右方向における位置は図4の位置とは異なり、画角Cは、カメラ61の位置に応じて適宜に設定される。具体的には、カメラ61が端部EL側にある場合、画角Cは図4中の右斜め前を向く。まや、例えばカメラ61が右導光板26と左導光板28との連結部に配置される場合、画角Cは画像表示部20の正面を向く。
Further, as described above, the
使用者が右眼RE及び左眼LEで物体を見る場合、右眼REの視線方向と左眼LEの視線方向とがなす角度により、物体までの距離を知覚し、認識する。この角度は輻輳角と呼ばれ、例えば図4に示す対象物OBを見る場合の輻輳角はPAである。
使用者がハーフミラー261、281に表示される画像を見る場合の輻輳角は、右眼REでハーフミラー261の画像を見る場合の視線方向と、左眼LEでハーフミラー281の画像を見る場合の視線方向との角度である。この場合の輻輳角の大きさは、ハーフミラー261、281における画像の表示位置により決まる。従って、右表示ユニット22及び左表示ユニット24が画像を表示する表示位置を調整することによって、輻輳角を制御して、使用者が視覚により認識する距離感を制御できる。例えば、右表示ユニット22及び左表示ユニット24により表示される画像について、使用者が認識する距離感(視認距離)を調整できる。
When the user looks at an object with the right eye RE and the left eye LE, the distance to the object is perceived and recognized by the angle formed by the direction of the right eye RE and the direction of the left eye LE. This angle is called the convergence angle, and the convergence angle is PA, for example, when looking at the object OB shown in FIG.
The convergence angle when the user looks at the image displayed on the
また、距離センサー64は、右光学像表示部26と左光学像表示部28との中央において、前方を向いて配置される。
Further, the
[1−2.表示システムの制御系]
図5は、表示システム1を構成するHMD100及びPC300の構成を示すブロック図である。
上述のように、HMD100は、接続装置10と、画像表示部20とを接続ケーブル40により接続して構成される。
[1-2. Control system of display system]
FIG. 5 is a block diagram showing the configurations of the
As described above, the
画像表示部20は、上述したように右表示ユニット22及び左表示ユニット24を備える。右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、接続ケーブル40に接続される接続部211、接続部211を介して接続装置10から入力されるデータを受信する受信部(Rx)213、及び、EEPROM215(記憶部)が実装される。
接続部211は、受信部213、EEPROM215、温度センサー217、カメラ61、距離センサー64、照度センサー65、及びLEDインジケーター67を、接続装置10に接続する。
The
The
EEPROM(Electrically Erasable Programmable Read−Only Memory)215は、各種のデータを不揮発的に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。EEPROM215が記憶するデータは、制御部120により読取り可能である。
An EEPROM (Electrically Erasable Programmable Read-Only Memory) 215 stores various data in a nonvolatile manner. The
カメラ61は、接続部211を介して入力される信号に従って撮像を実行し、撮像画像データを、接続部211に出力する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
The
As shown in FIG. 1, the
The
温度センサー217は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。
The
距離センサー64は、距離検出を実行し、検出結果を示す信号を、接続部211を介して接続装置10に出力する。距離センサー64は、例えば、赤外線式深度(Depth)センサー、超音波式距離センサー、TOF(Time Of Flight)式距離センサー、画像検出と音声検出とを組み合わせた距離検出ユニット等を用いることができる。また、ステレオカメラや単眼カメラによるステレオ撮影で得られる画像を処理して距離を検出する構成であってもよい。
図5には1つの距離センサー64を図示するが、図4に示す一対の距離センサー64、64が同時に動作してもよい。また、一対の距離センサー64、64のそれぞれが、接続部211に接続され、独立して動作する構成であってもよい。
The
Although one
受信部213は、接続部211を介して接続装置10から伝送される表示用の画像データを受信し、OLEDユニット221に出力する。
The receiving
左表示ユニット24は、表示ユニット基板210を有する。表示ユニット基板210には、接続ケーブル40に接続される接続部231、接続部231を介して接続装置10から入力されるデータを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235、及び、磁気センサー237が実装される。
接続部231は、受信部233、6軸センサー235、磁気センサー237、及び温度センサー239を、接続装置10に接続する。
The
The
6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。
The six-
温度センサー239は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。
また、温度センサー239が、OLEDパネル243或いはOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
The
Also, the
画像表示部20の各部は、接続ケーブル40により接続装置10から供給される電力により動作する。画像表示部20は、接続ケーブル40により供給される電力の電圧変換や分配をするための電源回路(図示略)を備えてもよい。
Each part of the
接続装置10は、I/F(インターフェイス)部110、制御部120、表示制御部122、センサー制御部124、電源制御部126、不揮発性記憶部130、操作部140、及び、接続部145を備える。取得部としてのI/F部110は、コネクター11A、11B、11Cを備える。また、I/F部110は、コネクター11A、11B、11Cに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路(図示略)を備えてもよい。また、I/F部110は、コネクター11A、11B、11Cを介して給電を受ける構成であってもよい。
The
I/F部110は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、I/F部110を無線通信インターフェイスで構成してもよい。I/F部110は、例えば、コネクター11A、11B、11C及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置10の制御部120や表示制御部122、センサー制御部124、電源制御部126が接続装置メイン基板(図示略)に実装される構成としてもよい。この場合、接続装置メイン基板にI/F部110のコネクター11A、11B、11C及びインターフェイス回路を実装してもよい。
The I /
制御部120は、接続装置10の各部を制御する。制御部120は、CPU(Central Processing Unit)やマイコン等のプロセッサー(図示略)を備える。制御部120は、プロセッサーによりプログラムを実行することによって、ソフトウェアとハードウェアとの協働によりHMD100の各部を制御する。また、制御部120は、プログラムされたハードウェアにより構成されてもよい。制御部120は、プロセッサーとともに、ワークエリアを形成するRAM(Random Access Memory)、制御プログラムを記憶するROM(Read Only Memory)を備えてもよい。また、プロセッサー、RAM、及びROMを統合した半導体デバイスであってもよい。
制御部120には、不揮発性記憶部130、操作部140、及び、接続部145が接続される。
The
The
表示制御部122は、I/F部110に入力される画像データや映像データに基づく画像を画像表示部20により表示するための各種処理を実行する。例えば、表示制御部122は、フレームの切り出し、解像度変換(スケーリング)、中間フレーム生成、フレームレート変換等の各種処理を実行する。表示制御部122は、右表示ユニット22のOLEDユニット221、及び、左表示ユニット24のOLEDユニット241の各々に対応する画像データを接続部145に出力する。接続部145に入力された画像データは、接続ケーブル40を介して接続部211、231に伝送される。
フレームの「切り出し」の具体的な例で、表示制御部122は、画像表示部20が画像を表示する表示領域のサイズよりも大きな画像全体をワークエリアに展開する。表示領域は、例えば、OLEDユニット221、241において画像が形成される領域である。また、画像のサイズは、画素数または解像度で示される。表示制御部122は、展開した画像のうち、切り出す領域のデータだけを右表示ユニット22及び左表示ユニット24に転送する。
The
In a specific example of “cutout” of a frame, the
また、表示制御部122は、画像表示部20の表示領域よりも大きな画像データを取得し、取得した画像データから、画像表示部20により表示するサイズの画像データだけを抜き出した画像データを生成して、右表示ユニット22及び左表示ユニット24に転送してもよい。
In addition, the
表示制御部122は、例えば、I/F部110に入力された映像データが3D(立体)映像データである場合に、3D映像デコードを実行する。3D映像デコードの処理において、表示制御部122は、3D映像データから右眼用のフレームと左眼用のフレームとを生成する。I/F部110に入力される3D映像データの形式は、例えば、サイドバイサイド形式、トップアンドボトム形式、フレームパッキング形式等が挙げられるが、3Dモデルデータであってもよい。
The
表示制御部122は、I/F部110が備えるコネクター11A、及び、コネクター11Bに接続される。表示制御部122は、コネクター11Aに入力される映像データ、及び、コネクター11Bに入力される映像データを対象として、処理を実行する。また、表示制御部122は、コネクター11A、またはコネクター11Bに接続された装置との間で、映像データの伝送に関する各種制御データを送受信する機能を有していてもよい。
The
センサー制御部124は、カメラ61、距離センサー64、照度センサー65、温度センサー217、6軸センサー235、磁気センサー237、及び、温度センサー239を制御する。具体的には、センサー制御部124は、制御部120の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。
The
また、センサー制御部124は、I/F部110のコネクター11Bに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター11Bに出力する。これにより、コネクター11Bに接続された装置は、HMD100の各センサーの検出値や、カメラ61の撮像画像データを取得できる。センサー制御部124が出力するデータは、検出値を含むデジタルデータであってもよい。また、センサー制御部124は、各センサーの検出値をもとに演算処理した結果のデータを出力してもよい。例えば、センサー制御部124は、複数のセンサーの検出値を統合的に処理し、いわゆるセンサーフュージョン処理部として機能する。センサーフュージョンを実行することにより、センサー制御部124は、センサーの検出値から求めたデータ、例えば、画像表示部20の動きの軌跡データや、画像表示部20の相対座標データ等を出力する。センサー制御部124は、コネクター11Bに接続された装置との間で、データの伝送に関する各種制御データを送受信する機能を有していてもよい。
Further, the
表示制御部122、及び/またはセンサー制御部124は、CPU等のプロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、表示制御部122及びセンサー制御部124は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、表示制御部122及びセンサー制御部124は、制御部120を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、制御部120、表示制御部122、及びセンサー制御部124として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。
The
また、表示制御部122、及び、センサー制御部124は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等、プログラムされたハードウェアにより構成されてもよい。また、表示制御部122及びセンサー制御部124を統合して、SoC(System−on−a−Chip)−FPGAとして構成してもよい。
In addition, the
電源制御部126は、I/F部110が備えるコネクター11B及びコネクター11Cに接続される。電源制御部126は、コネクター11B、11Cから供給される電力に基づき、接続装置10の各部および画像表示部20に対する電源供給を行う。また、電源制御部126は、電圧変換回路(図示略)を内蔵し、異なる電圧を接続装置10及び画像表示部20の各部に供給可能な構成であってもよい。電源制御部126は、ロジック回路や、FPGA等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御部126を表示制御部122、及び/またはセンサー制御部124と共通のハードウェア(プロセッサーを含む)で構成してもよい。
表示制御部122、センサー制御部124及び電源制御部126は、データ処理を行うためのワークメモリーを具備してもよく、制御部120が備えるRAM(図示略)のワークエリアを利用して処理を行ってもよい。
The
The
制御部120は、右表示ユニット22が備えるEEPROM215からデータを読み出し、読み出したデータに基づいて、表示制御部122及びセンサー制御部124の動作を設定する。また、制御部120は、操作部140における操作に従って、表示制御部122、センサー制御部124、及び、電源制御部126を含む各部を動作させる。また、制御部120は、表示制御部122、センサー制御部124及び電源制御部126がI/F部110を介して接続された装置を識別し、各装置に適した動作を実行するように、表示制御部122、センサー制御部124及び電源制御部126を制御する。
The
また、制御部120は、LEDインジケーター67への通電開始及び停止を制御する。例えば、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯または点滅させる。
Further, the
不揮発性記憶部130は、制御部120が処理するデータ等を不揮発的に記憶する記憶装置である。不揮発性記憶部130は、例えば、HDD(Hard Disk Drive)等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。
The
また、接続装置10は充電可能なバッテリー(図示略)を備え、このバッテリーから接続装置10及び画像表示部20の各部に電力を供給する構成であってもよい。
Further, the
PC300は、制御部310、不揮発性記憶部320、表示部330、I/F(インターフェイス)部341、及び、通信部345を備える。制御部310(電子機器制御部)は、CPUやマイコン等のプロセッサー(図示略)を備え、このプロセッサーによりプログラムを実行することにより、PC300の各部を制御する。制御部310は、プロセッサー(いわゆるコンピューター)が実行する制御プログラムを不揮発的に記憶するROM、及び、プロセッサーのワークエリアを構成するRAMを備えてもよい。
The
不揮発性記憶部320は、制御部310により実行されるプログラムや、制御部310が処理するデータを不揮発的に記憶する。不揮発性記憶部130は、例えば、HDD等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。
The
不揮発性記憶部320は、例えば、映像を含むコンテンツのコンテンツデータ321を記憶する。コンテンツデータ321は、制御部310により処理可能なフォーマットのファイルであり、映像データを含み、音声データを含んでもよい。
また、不揮発性記憶部320は、制御部310が実行する基本制御プログラムとしてのオペレーティングシステム(OS)、OSをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部320は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。
The
Further, the
表示部330が備える表示パネル331、及び、タッチセンサー332は、制御部310に接続される。表示パネル331は、制御部310の制御に基づき各種画像を表示する。タッチセンサー332は、タッチ操作を検出し、検出した操作を示すデータを制御部310に出力する。タッチセンサー332が出力するデータは、タッチセンサー332における操作位置を示す座標データ等である。
The
I/F部341は、外部の装置に接続されるインターフェイスであり、本発明の出力部に相当する。I/F部341は、例えば、HDMIインターフェイス、USBインターフェイス等の規格に準拠した通信を実行する。I/F部341は、ケーブル(例えば、ケーブル2)を接続するコネクター(図示略)、及び、コネクターを伝送される信号を処理するインターフェイス回路(図示略)を備える。I/F部341は、コネクター及びインターフェイス回路を有するインターフェイス基板であり、制御部310のプロセッサー等が実装されるメイン基板に接続される。或いは、I/F部341を構成するコネクター及びインターフェイス回路が、PC300のメイン基板に実装される。本実施形態で、I/F部341は、HDMIインターフェイス、及び、USBインターフェイスを備え、HDMIケーブル2A及びUSBケーブル2Bにより、コネクター11A、11Bに接続される。制御部310は、例えば、HDMIケーブル2Aにより映像データを出力し、USBケーブル2Bにより接続装置10からセンサーの出力値に関するデータ等を受信する。I/F部341は、HDMIケーブル2Aによる通信とUSBケーブル2Bによる通信とを独立して実行できる。また、I/F部341は、無線通信インターフェイスであってもよい。この場合、I/F部341は、RF部を含む通信回路を実装したインターフェイス基板、或いは、メイン基板に実装される回路とすることができる。
The I /
通信部345は、外部の装置とデータ通信を実行する通信インターフェイスである。通信部345は、ケーブルを接続可能な有線通信インターフェイスであってもよいし、無線通信インターフェイスであってもよい。例えば、Ethernet(登録商標)に対応する有線LANインターフェイスや、IEEE802.11規格に対応する無線LANインターフェイスであってもよい。
The
制御部310は、上記のようにプログラムを実行することにより、入出力制御部311、検出値取得部312、位置検出部313、及び、画像調整部315として機能する。
入出力制御部311は、タッチセンサー332から入力されるデータに基づき、ユーザーによる入力を検出する。また、入出力制御部311は、I/F部341及び通信部345によるデータの入出力を制御する。
The
The input /
検出値取得部312は、I/F部341により接続された接続装置10から、HMD100が備える各センサーの検出値に関するデータを取得する。検出値取得部312は、カメラ61の撮像画像データや、距離センサー64、照度センサー65、EEPROM215、6軸センサー235、磁気センサー237、温度センサー239等の検出値に関するデータを、接続装置10から取得する。検出値取得部312が取得するデータは、センサー制御部124により処理されたデータであり、各センサーの検出値を含むデータや、センサー制御部124により統計的に処理されたデータであってもよい。
The detection
位置検出部313は、検出値取得部312により取得されたデータに基づき、HMD100の位置を検出する。より詳細には、位置検出部313は、PC300と画像表示部20との相対位置を検出する。ここで、位置検出部313が検出する相対位置は、画像表示部20とPC300が存在する空間における位置であってもよいし、画像表示部20と表示部330の相対的な向きを含んでもよい。例えば、画像表示部20を基準とした場合の表示部330の位置および/または方向を示す情報であってもよい。また、例えば、PC300を基準とした場合の画像表示部20の位置および/または方向を示す情報であってもよい。また、例えば、画像表示部20及びPC300が存在する空間に設定された三次元座標系における座標を含んでいてもよい。
位置検出部313による位置検出については後述する。
The
The position detection by the
PC300が接続装置10に出力する映像データは、コンテンツデータ321を再生した映像データのほか、PC300が表示部330により表示している画面の映像データとすることができる。この場合、接続装置10は、表示部330と同じ画面を表示し、いわゆるミラーリング表示を行う。
The video data output from the
また、画像調整部315は、表示部330に、接続装置10が表示している画像およびPC300に表示されていない画像を含む、より大きな画像を表示する構成であってもよい。また、例えば、接続装置10が、PC300が表示する画像の一部を拡大して表示する構成であってもよい。PC300における表示態様については後述する。
Further, the
[1−3.表示システムの動作]
図6は、画像表示部20に対するPC300の相対位置を求める処理を示す説明図であり、特に、キャリブレーション処理を示す。図7は、表示システム1の動作を示すフローチャートであり、特に、キャリブレーション処理におけるPC300の動作を示す。
[1-3. Display System Behavior]
FIG. 6 is an explanatory view showing a process of obtaining the relative position of the
図6において、画像表示部20を透過して使用者が視認する視野を符号VRで示し、カメラ61の撮像範囲を符号VCで示す。この例では、撮像範囲VCは視野VRと重複するが、一致していない。撮像範囲VCと視野VRとは、一致してもよいし、撮像範囲VCが視野VRに含まれてもよい。
In FIG. 6, a visual field which the user visually recognizes by passing through the
表示システム1を使用して、図6に示すように、カメラ61の撮像範囲VCにPC300が存在する状態で、キャリブレーションが実行される。
本実施形態では、表示部330に基準点P1が設定され、画像表示部20に基準位置P2が設定される。基準点P1は、使用者が視覚的にまたは認識可能な表示であり、いわゆるマーカーである。PC300は、カメラ61の撮像画像データから基準点P1を画像処理により検出できる。基準位置P2は、画像表示部20において位置の基準として設定され、仮想的な位置であってもよく、基準位置P2を示す表示や物体がなくてもよい。
基準点P1は、明示的に視認される物体や位置であればよく、基準点P1となる表示や物を新たに設ける必要はない。例えば、表示部330の4隅のうちの1点を基準点P1とするなど、表示部330の模様や形状の特定位置を基準点P1としてもよい。
Using the
In the present embodiment, the reference point P1 is set in the
The reference point P1 may be an object or a position explicitly recognized, and there is no need to newly provide a display or an object to be the reference point P1. For example, the specific position of the pattern or shape of the
図7は、表示システム1の動作を示すフローチャートであり、キャリブレーションを行うPC300の動作を示す。
キャリブレーションでは、使用者の視野VRにおいて予め設定された位置に基準点P1が位置するように、使用者が、頭部または画像表示部20を動かす(ステップS11)。視野VRにおける設定された位置と基準点P1とが重なったときに、使用者は、位置を確定させるための操作を、画像表示部20またはPC300に対して行う(ステップS12)。例えば、使用者は、画像表示部20の前部フレーム27を叩く操作を行う。この操作は、6軸センサー235により加速度として検出できる。また、画像表示部20がノックセンサー(図示略)を搭載している場合、当該操作をノックセンサーの検出値に基づき検出できる。ステップS12の操作は、タッチセンサー332で検出される操作であってもよい。また、ステップS12では、音声による操作をPC300が検出してもよい。すなわち、PC300がマイクを搭載し、マイクにより集音された音声を制御部310が処理可能な構成において、制御部310は、音声をテキストに変換する音声認識処理、或いは、予め登録されたパターンの音声を検出する音声コマンド検出処理を実行できる。この構成で、制御部310は、ステップS12で、使用者が発する音声を入力操作として検出してもよい。
FIG. 7 is a flowchart showing the operation of the
In the calibration, the user moves the head or the
制御部310は、ステップS12の操作を検出したときのカメラ61の撮像画像データを取得して、カメラ61の撮像画像データにおける基準点P1の位置を求める(ステップS13)。これにより、カメラ61の撮像画像データにおける位置と、画像表示部20を装着した使用者の視野VRにおける位置とが、対応付けられる。従って、カメラ61の撮像画像データにPC300が写っている場合に、この撮像画像データから、視野VRに対するPC300の相対位置を特定できる。
The
制御部310は、6軸センサー235および磁気センサー237の出力値に関するデータを取得する(ステップS14)。ステップS14で取得されるセンサーの出力値は、基準点P1が視野VRの設定位置に重なる状態における画像表示部20の基準の位置を示す。例えば、6軸センサー235の出力値を積算することにより、画像表示部20が、基準の位置から移動した方向および移動量を求めることができる。また、磁気センサー237の出力値に基づき、画像表示部20の基準の位置に対する画像表示部20の相対的な方向を求めることができる。従って、画像表示部20とPC300との相対位置を求めることができる。
The
制御部310は、ステップS14で取得した出力値を含むキャリブレーションデータを生成し、不揮発性記憶部320に記憶し(ステップS15)、本処理を終了する。
例えば、ステップS13及びS15は位置検出部313が実行し、ステップS14は検出値取得部312が実行する。
The
For example, the
図7に示すキャリブレーションの処理では、PC300の基準点P1と視野VRにおける設定された位置とを合わせて、画像表示部の基準の位置に対する画像表示部の相対的な位置関係を対応づける。この処理で生成されるキャリブレーションデータは、例えば、基準点P1と視野VRとの相対的な位置の基準を示すデータである。このキャリブレーションで、視野VRにおける所定位置と基準点P1とを重ねるだけでなく、ステップS11で、PC300を、画像表示部20から予め設定された距離に配置する手法を採用してもよい。例えば、ステップS11で、PC300を画像表示部20から所定距離だけ離れた位置に置くことをガイドする画像を、画像表示部20により表示してもよい。この画像は、所定距離だけ離れた位置のPC300が視認されるサイズを示す直線、矩形、点などのマーカーとすることができる。使用者は、画像表示部20のマーカーにPC300が重なって見えるようにPC300を自分との相対位置を調整し、その後、基準点P1を所定位置に合わせて、ステップS12の操作を行えばよい。
In the calibration process shown in FIG. 7, the reference point P1 of the
図8、図9、及び図10は、それぞれ、本実施形態における表示システム1の表示態様の例を示す図である。図8、図9及び図10には、画像表示部20を装着する使用者が画像表示部20を透過して視認できる視野を視野VRで示す。また、これらの図に示す例では、画像表示部20が、使用者が視認可能なように画像を表示する表示領域は、視野VRと同じ大きさ及び位置であり、重複する。本発明は、画像表示部20の表示領域が視野VRより小さい構成にも適用可能である。
FIG. 8, FIG. 9, and FIG. 10 are diagrams showing examples of display modes of the
図8には、PC300が生成する仮想画像VDを示す。仮想画像VDは、PC300が表示部330に表示する画像と同じ画像を含む領域VD1と、領域VD1に隣接する領域VD2、VD3、VD4とを含む。つまり、仮想画像VDは、表示部330に表示される画像よりサイズが大きい画像である。
PC300は、表示パネル331の表示領域よりも大きい仮想の表示領域を設定し、この表示領域に表示される画像として仮想画像VDを生成する。仮想の表示領域と仮想画像VDとは、解像度やサイズが異なっていてもよいが、本実施形態では一致するものとして説明する。
FIG. 8 shows a virtual image VD generated by the
The
以下の説明では、表示部330が表示する画像、仮想画像VD、及び、領域VD1、VD2、VD3、VD4のサイズを、表示解像度で示す。例えば、表示部330の表示解像度を横1920ドット×縦1080ドット、仮想画像VDおよび仮想の表示領域の解像度を、3840ドット×2160ドットとすれば、仮想画像VDのサイズは表示部330の表示画像の4倍となる。
In the following description, the sizes of the image displayed by the
表示部330が表示する画像と仮想画像VDのアスペクト比は、異なっていてもよいが、アスペクト比が一致している場合、表示部330の表示画像を含む仮想画像VDを生成する際の処理が速やかに実行できるという利点がある。また、使用者が、表示部330の表示画像と仮想画像VDとの両方を視認した場合に、違和感がないという利点があるため、好ましい。同様の理由から、仮想画像VDを構成する領域VD1〜VD4のそれぞれのアスペクト比や解像度は、表示部330と一致していなくてもよいが、一致していることが好ましい。また、仮想画像VDの解像度が、表示部330の表示解像度の整数倍でなくてもよいが、整数倍であることが好ましい。
The aspect ratio of the image displayed by the
仮想画像VDのサイズは、画像表示部20が表示可能な画像と同じか、それより大きいことが好ましい。すなわち、仮想画像VDの解像度は、画像表示部20の表示領域の表示解像度以上であることが好ましい。一例として、表示部330の表示解像度が横1920ドット×縦1080ドットであり、画像表示部20の表示解像度が3840ドット×1080ドットであり、仮想画像VDの解像度を3840ドット×2160ドットとする構成が挙げられる。また、仮想画像VDと画像表示部20の表示領域のアスペクト比が異なっていてもよいし、領域VD1〜VD4のそれぞれのアスペクト比や解像度が、画像表示部20の表示領域と一致していなくてもよい。また、仮想画像VDの解像度が、画像表示部20の表示領域の解像度の整数倍でなくてもよい。
The size of the virtual image VD is preferably the same as or larger than the image that can be displayed by the
仮想画像VDは、PC300が、表示部330に表示する画像を拡張した拡張表示領域ということができる。例えば、PC300が実行するオペレーティングシステムやアプリケーションプログラムのユーザーインターフェイスとして、表示部330に操作用の画面を表示する場合、制御部310は、表示部330の表示解像度に合わせて操作用の画面を構成する。仮想画像VDを利用する場合、制御部310は、仮想画像VDの解像度に合わせてユーザーインターフェイスとしての画面を構成し、その一部を表示部330に表示させる。PC300がコンテンツデータ321を再生する場合や、その他の画像等を表示する場合も同様である。このように、仮想画像VDは、表示部330に表示される画像を含み、換言すれば、表示部330は仮想画像VDの一部を表示する。
The virtual image VD can be referred to as an expanded display area in which the image displayed on the
また、仮想画像VD、表示部330の表示画像、及び、画像表示部20が表示する画像のサイズを、画像表示部20を装着する使用者が視認する大きさとして定義してもよい。
画像の大きさは、画素の大きさと、解像度とによって決まる。表示部330の画素の大きさは、使用者が表示部330を画像表示部20越しに視認する場合の画素として考えることが適切である。また、仮想画像VDは、画像表示部20が表示しない限り視認されないので、仮想画像VDの画素の大きさは、画像表示部20が表示する画像の画素を使用者が視認する場合の大きさとして考えることが適切である。そして、画像表示部20を装着した使用者が視認するサイズを基準として、仮想画像VDは、表示部330より大きければよい。この場合、仮想画像VDの解像度は、表示部330の表示解像度以下であってもよい。さらに、仮想画像VDから切り出されて画像表示部20に出力される映像データの解像度が、表示部330の表示解像度以下の解像度であってもよい。制御部310は、表示部330の表示画像を含む仮想画像VDを生成する処理で、表示部330の表示画像を、より低解像度の画像に変換する解像度変換を行い、変換後の画像の周囲に別の画像を付加して仮想画像VDを生成する。
The size of the virtual image VD, the display image of the
The size of the image is determined by the size of the pixel and the resolution. It is appropriate to consider the size of the pixel of the
図11は、表示システム1の表示に係る動作を示すフローチャートであり、特に、PC300の動作を示す。本実施形態で、HMD100は、PC300がHDMIケーブル2Aを経由して出力する映像データに基づき画像を表示し、画像表示部20とPC300との相対位置に基づく表示制御をPC300が行う。
以下、図8〜図10とともに図11を参照して、表示システム1の動作を説明する。
FIG. 11 is a flowchart showing an operation related to the display of the
Hereinafter, the operation of the
図11に示す動作は、制御部310が仮想画像VDを利用した表示を行う動作である。制御部310は、タッチセンサー332で検出した操作によって、HMD100への映像出力の開始が指示され、仮想画像VDを使用する表示モードが指定された場合に、図11の動作を実行する。
The operation illustrated in FIG. 11 is an operation in which the
以下の説明で、画像表示部20の視界に表示部330が含まれる場合とは、HMD100を装着する使用者が、画像表示部20を透過して、外景としてPC300の表示部330を視認可能である場合を指す。画像表示部20を透過する右眼RE及び左眼LEの視野、すなわち使用者に見える外景の範囲は、画像表示部20の方向から求めることができる。また、図4に示したように、カメラ61の画角と、画像表示部20を透過して外景を見る場合の右眼RE及び左眼LEの視野との関係が既知である場合、制御部310は、カメラ61の撮像画像データから、表示部330が視野に入っているか否かを判定できる。
In the following description, when the
制御部310は、USBケーブル2Bを介して接続装置10からカメラ61の撮像画像データおよび各センサーの出力値を取得する(ステップS21)。ステップS21で、制御部310は、少なくとも、撮像画像データと、距離センサー64の出力値を取得する。ステップS21は、例えば検出値取得部312が実行する。
制御部310は、カメラ61の撮像画像データに表示部330が含まれるか否かを判定する(ステップS22)。ステップS22で、制御部310は、例えば、撮像画像データからパターンマッチングにより表示部330の画像を検出する。
表示部330が撮像画像データに含まれないと判定した場合(ステップS22;NO)、制御部310はステップS21に戻る。
The
The
When it is determined that the
表示部330が撮像画像データに含まれると判定した場合(ステップS22;YES)、制御部310は、ステップS21で取得したセンサーの出力値に基づいて、表示部330の位置および姿勢を検出する(ステップS23)。ステップS23で、制御部310は、例えば、SLAM(Simultaneous Localization and Mapping)の実行や、距離センサー64の検出値に基づき、画像表示部20と表示部330との相対的な位置を求める。また、制御部310は、撮像画像データで表示部330の基準点P1を検出し、検出した基準点P1の位置から、画像表示部20に対する表示部330の相対位置を求めてもよい。
When it is determined that the
制御部310は、ステップS23で求めた位置および姿勢に従って、3次元空間における表示部330の位置と姿勢をマッピングする(ステップS24)。表示部330の位置および姿勢は、基準位置P2を原点または基準点とする3次元座標で表される。
The
制御部310は、表示部330の位置および方向に合わせて仮想画像VDを3次元空間に配置する(ステップS25)。仮想画像VDのサイズは、予め設定されている。例えば、不揮発性記憶部320に、設定データ(図示略)として、仮想画像VDの解像度や表示部330に対して設定すべき仮想画像VDの位置を規定するデータが記憶される。
The
制御部310は、仮想画像VDを、表示部330と平行で、表示部330と重なる面となるように、配置する。換言すれば、仮想画像VDは表示部330を含み、表示部330よりも大きい仮想の平面である。制御部310は、仮想画像VDの四隅の位置や中心の位置など、仮想画像VDの位置を特定可能な基準位置について、基準位置P2を原点または基準点とする3次元座標を求める。
The
制御部310は、仮想画像VDの画像データを生成する(ステップS26)。仮想画像VDは、上述したように表示部330を仮想的に拡大した画面であり、例えば、オペレーティングシステムのユーザーインターフェイスを構成する画面である。
制御部310は、仮想画像VDにおいて、画像表示部20によって表示する範囲を決定する(ステップS27)。図8に示すように、画像表示部20は仮想画像VDの一部を表示する。制御部310は、仮想画像VDにおいて画像表示部20が表示する範囲を、画像表示部20の向きと、仮想画像VDとの相対的な位置により求める。
制御部310は、画像表示部20が画像を表示する範囲における表示部330の位置を特定する(ステップS28)。画像表示部20は、ハーフミラー261、281に画像を表示し、画像が視認される範囲は、図8〜図10の例では視野VRと重なる。制御部310は、画像表示部20を装着する使用者の視野VRにおいて、画像表示部20を透過して表示部330が視認される場合に、視野VRにおいて表示部330が見える位置を特定する。この位置は、ステップS23で特定されたPC300の位置および姿勢から求めることができる。
制御部310は、仮想画像VDから、画像表示部20に表示する範囲の画像を切り出し、あるいは抽出する処理を行い(ステップS29)、切り出した画像にマスク処理を施す(ステップS30)。ステップS30でマスク処理を施す範囲は、画像表示部20が表示する画像に表示部330が重なる範囲、または、表示部330に重なる部分を含む範囲である。
The
図8に示す例では、仮想画像VDのうち領域VD1、VD2が、画像表示部20が表示する範囲として切り出される。表示部330は、領域VD1が表示される位置において視認される。この場合、制御部310は、領域VD1全体をマスクしてもよいし、領域VD1のうち表示部330に重なる範囲のみにマスク処理を施してもよい。
In the example illustrated in FIG. 8, the regions VD1 and VD2 of the virtual image VD are cut out as the range displayed by the
使用者は、仮想画像VDを画像表示部20が表示している状態で、画像表示部20を透過する外景を視認可能である。ここで、画像表示部20が外景として視認する視野VRに表示部330が含まれる場合、使用者には、表示部330が表示する画像と、画像表示部20が表示する画像とが重なって見える。このような状態で、使用者により良い視体験を提供するため、本実施形態では、画像表示部20の表示態様を調整することで、表示部330の視認性を高める処理を行う。この処理を、マスク処理と呼ぶ。
The user can visually recognize the outside scene passing through the
図9は、制御部310がマスク処理を施した状態を示す。図9の例では、表示部330に重なる範囲である領域VD1の全体にマスク処理が施されている。マスク処理は、例えば、画素の色データ(いわゆる画素データ、画素値)を黒色または暗色にする処理である。画像表示部20は、OLEDユニット221、241が発する光を右眼RE及び左眼LEに入射することで画像を表示するので、画素値を黒または暗色にすると、右眼RE及び左眼LEに入射する光量が減る。画像表示部20が発する光量が減ると、画像表示部20を透過する外光OLの光量が相対的に増えるため、外景の視認性が高まる。従って、使用者は、マスク処理が施された範囲で外景を良好に視認でき、外景としての表示部330の視認性がマスク処理により高められる。
このように、制御部310が行うマスク処理は、画像表示部20に表示させるために接続装置10に出力する映像データの画素値を、光量が減るように、黒色(R,G,B=0,0,0)または予め設定された暗色に設定する処理である。
FIG. 9 shows a state in which the
As described above, in the mask processing performed by the
マスク処理により、PC300が接続装置10に出力する映像データにおいて、表示部330が表示する画像を含む範囲の画素値が黒または暗色に変更されるので、実質的に、表示部330が表示する画像が除かれる。このように、制御部310は、画像表示部20が画像を表示する範囲が表示部330と重なる場合に、表示部330が表示する画像を除いた映像データを接続装置10に出力する。
マスク処理された映像データにおいては、表示部330に重なる領域である領域VD1の画像がマスクにより除かれ、その周囲に位置する領域(図10では領域VD2)の画像が画像表示部20により表示される。
Since the pixel value of the range including the image displayed by the
In the mask-processed video data, the image of region VD1 which is the region overlapping
制御部310は、マスク処理を施した画像の輻輳角を設定する(ステップS31)。ステップS31で、制御部310は、画像表示部20が表示する仮想画像VDの一部が、表示部330を含む平面として視認されるように、画像の輻輳角を設定する。PC300は、画像表示部20の右表示ユニット22により表示される画像の画像データと、左表示ユニット24により表示される画像の画像データとを含む映像データを出力する。制御部310は、右表示ユニット22用の画像における仮想画像VDの位置と、左表示ユニット24用の画像における仮想画像VDの位置とを調整することで、使用者の左眼LEと右眼REの輻輳角を調整する。
The
制御部310は、接続装置10への映像データの出力を開始する(ステップS32)。接続装置10は、I/F部110に入力される映像データを、表示制御部122によりデコードし、右表示ユニット22及び左表示ユニット24によって表示する処理を開始する。
ステップS24〜S32は、例えば、画像調整部315が実行する。
The
For example, the
表示開始後、制御部310は、視野VRが移動したか否かを判定する(ステップS33)。ここで、視野VRの移動とは、仮想画像VDに対する視野VRの相対的な位置の移動を意味する。ステップS33では、画像調整部315が、位置検出部313の検出値に基づき判定を行う。また、以下のステップS34〜S39は画像調整部315が実行する。
After the display start, the
図10は、視野VRが移動した例を示す。図10の例では、視野VRが、図9の状態に比べて上方に移動している。この移動により、視野VRは、領域VD1、VD2、VD3、VD4に跨がるように重なっている。 FIG. 10 shows an example in which the visual field VR has moved. In the example of FIG. 10, the visual field VR is moved upward as compared with the state of FIG. By this movement, the visual fields VR overlap so as to straddle the regions VD1, VD2, VD3, and VD4.
制御部310は、視野VRが移動したと判定した場合(ステップS33;YES)、PC300の位置、より具体的には表示部330の位置が、画像表示部20が画像を表示する範囲外であるか否かを判定する(ステップS34)。ステップS34で、制御部310は、画像表示部20と表示部330との相対的な位置および方向に基づく判定を行う。
If the
表示部330の位置が画像表示部20の表示範囲外であると判定した場合(ステップS34;YES)、制御部310は、ステップS30で施したマスク処理を解除する(ステップS35)。制御部310は、移動後の視野VRに合わせて、仮想画像VDから切り出す範囲を変更し(ステップS36)、ステップS33に戻る。
図10に示す例で、制御部310は、仮想画像VDから領域VD1、VD2、VD3、VD4に跨がる範囲を切り出し、切り出した画像に対応する映像データを生成して接続装置10に出力する。これにより、画像表示部20は、視野VRが重なる範囲の仮想画像VDを表示する。
When it is determined that the position of the
In the example illustrated in FIG. 10, the
また、制御部310が、表示部330の位置が画像表示部20の表示範囲外でないと判定した場合(ステップS34;NO)、表示部330は、画像表示部20の表示範囲内にある。この場合、制御部310は、表示部330が画像表示部20の表示範囲の外から範囲内に移動したのか否かを判定する(ステップS37)。
視野VRの移動により、表示部330が画像表示部20の表示範囲外にある状態から、表示範囲内に入った場合(ステップS37;YES)、制御部310は、接続装置10に出力する映像データの状態を初期化する(ステップS38)。初期化において、制御部310は、接続装置10に出力していた映像データにおけるマスク処理の有無、仮想画像VDから切り出す範囲等を、初期状態に戻す。制御部310は、ステップS23に戻り、映像データの出力を開始するための処理を再度実行する。
When
When the
ステップS38における初期化の処理は、具体的には、以下の例が挙げられる。第1の例として、ステップS37において表示部330の全体が視野VRに入ったと判定した場合に、以前に実行したステップS25で配置及び処理された仮想画像VDを利用して表示画像を生成する処理が挙げられる。また、第2の処理として、表示部330の位置に合わせて、ステップS23以後の処理を実行し、新たに仮想画像VDの位置(奥行きを含む)を再設定する処理が挙げられる。これらの他、制御部310が行う処理の具体例は任意である。
Specifically, the initialization process in step S38 includes the following example. As a first example, when it is determined in step S37 that the
また、表示部330が画像表示部20の表示範囲の外から範囲内に移動していない場合(ステップS37;NO)、すなわち、表示部330が画像表示部20の表示範囲内にある状態が継続している場合、制御部310は、ステップS36に移動する。
Further, when
また、制御部310は、視野VRが移動していないと判定した場合(ステップS33;NO)、表示を終了するか否かを判定する(ステップS39)。例えば、表示部330に対する操作等により表示終了が指示された場合(ステップS39;YES)、制御部310は接続装置10への映像データの出力を停止して本処理を終了する。一方、表示を継続する場合(ステップS39;NO)、制御部310はステップS33に戻る。
Further, when it is determined that the visual field VR has not moved (step S33; NO), the
ステップS33では、画像表示部20が移動した場合、例えば画像表示部20を装着した使用者が頭部を動かした場合に、制御部310が、視野VRが移動したと判定する。また、画像表示部20が動かない状態で、PC300が移動したことにより、画像表示部20とPC300との相対位置が変化した場合も、同様に、視野VRが移動したと判定してもよい。つまり、ステップS33で検出される視野VRの移動は、画像表示部20とPC300との相対位置の変化であり、画像表示部20が移動する場合、PC300が移動する場合、および、画像表示部20とPC300の両方が移動する場合を含む。
In step S33, when the
従って、使用者が頭部を移動した場合、及び、使用者や他の人物がPC300を移動させた場合のいずれも、PC300の位置が画像表示部20の表示範囲内か否かに応じて、ステップS34以後の処理が実行される。
Therefore, depending on whether the position of the
図7及び図11に示す処理において、表示システム1は、距離センサー64の代わりに、カメラ61の撮像画像データを用いて、距離を検出してもよい。例えば、表示システム1は、不揮発性記憶部130または不揮発性記憶部320に、予め、画像表示部20から被写体までの距離と、カメラ61の撮像画像データに写る被写体の画像の大きさとを対応付けるデータを、参照用データとして記憶する。この場合、制御部310は、カメラ61の撮像画像データにおけるPC300または表示部330の画像の大きさと、参照用データとをもとに、画像表示部20からPC300または表示部330までの距離を算出することができる。
In the processing illustrated in FIGS. 7 and 11, the
以上説明したように、第1実施形態の表示システム1は、表示部330を有するPC300と、PC300に接続されるHMD100と、を備える。PC300は、画像を出力するI/F部341を備える。HMD100は、PC300が出力する映像データを取得する取得部I/F部110を備える。また、HMD100は、外景を視認可能に構成され、HMD100が装着された状態で視認される外景に重ねて画像を表示する画像表示部20と、取得部により取得された画像を画像表示部20により表示させる表示制御部122と、を備える。表示制御部122は、外景として視認されるPC300の位置に対応させて画像を画像表示部20に表示する。
As described above, the
また、PC300は、HMD100に接続される本発明の電子機器に相当する。PC300は、表示部330と、HMD100に映像データを出力するI/F部341と、を備える。また、PC300は、HMD100の画像表示部20に対する表示部330の相対位置を求める制御部310を備える。制御部310は、画像表示部20に対する表示部330の相対位置に基づき、画像表示部20に、外景として視認される表示部330の位置に対応する画像を表示するための映像データを生成してI/F部341から出力する。
The
本発明を適用した表示システム1、及び、PC300によれば、PC300が出力する画像を、HMD100によって、外景としてのPC300の表示部330の位置に対応するように表示できる。例えば、外景として見えるPC300の表示部330の位置に合わせて、HMD100により画像を表示できる。このように、外景に重ねて画像を表示するHMD100により、外景として視認されるPC300の表示部330に合わせた表示を行うことができる。
According to the
また、制御部310は、表示部330よりも広い仮想表示領域に対応する仮想画像VDを生成する。制御部310は、仮想表示領域に対応させて生成した仮想画像VDの一部を表示部330に表示させ、仮想画像VDの少なくとも一部を含む表示用の画像をI/F部341により出力させる。例えば、制御部310は、仮想画像VDの一部を表示部330に表示させ、仮想画像VDのうち表示部330が表示した部分を除く画像をI/F部341により出力させる。また、表示システム1は、HMD100が備える画像表示部20において、制御部310の制御により出力された映像データに基づく画像を、外景として視認される表示部330の位置に合わせて表示する。具体的には、画像表示部20において表示部330と重なる位置に対応する領域をマスクした映像データを、PC300から接続装置10に出力する。このため、HMD100の画像表示部20に、PC300の表示部330よりも広い仮想画像VDに対応する表示を行うことができる。このため、HMD100によって、PC300の表示部330を仮想的に拡大できる。
Further,
また、制御部310は、仮想画像VDから表示部330に表示させた領域を除く映像データを生成してI/F部341により出力させる。制御部310は、HMD100が備える画像表示部20において、制御部310の制御により出力された表示用の画像を、外景として視認される表示部330の周囲に表示する。つまり、HMD100により、PC300の表示部330よりも広い仮想表示領域に対応する仮想画像VDを表示する場合に、表示部330に表示される領域を除いて表示する。このため、表示部330の表示と、HMD100による表示とを、重複しないように組み合わせることができる。例えば、HMD100により、PC300の表示部330の周囲に画像を表示することで、表示部330を仮想的に拡張する表示態様を実現できる。
Further, the
また、制御部310は、HMD100の画像表示部20に対する表示部330の相対位置を求め、求めた相対位置に基づき、マスク処理を行い、映像データを生成してI/F部341により出力させる。このように、画像表示部20に対する表示部330の相対位置に対応するように映像データを生成するので、HMD100によって、PC300の表示部330の位置に対応した表示を、容易に実現できる。
Further, the
また、制御部310は、仮想画像VDを生成し、実空間におけるPC300の位置に基づき仮想画像VDの位置を決定する。制御部310は、仮想画像VDと画像表示部20との相対位置に対応するように、画像表示部20により表示される仮想画像VDの表示態様を調整する。これにより、HMD100によって、PC300の表示部330の実空間における位置に合わせて仮想画像VDを表示できる。この仮想画像VDにより、表示部330を補完したり、拡張したりする効果を得ることができる。
Further, the
また、制御部310は、画像表示部20において外景として視認される範囲に表示部330が含まれることを検出した場合に、検出した表示部330の位置を基準として、仮想画像VDの表示態様を初期化する。これにより、HMD100においてPC300の表示部330が外景として視認できるか否かに対応して、表示態様を調整できる。また、HMD100が画像を表示中に、PC300の表示部330の視認状態が変化しても、適切に対応できる。
In addition, when the
また、画像表示部20は、使用者の頭部に装着され、使用者の左眼LEに向けて画像光を発する左表示ユニット24、及び、使用者の右眼REに向けて画像光を発する右表示ユニット22を備える。そして、制御部310は、画像表示部20の外景として視認される表示部330の位置に対応して、左表示ユニット24による表示位置、及び右表示ユニット22による表示位置が制御され、画像表示部20に表示される画像の輻輳角を調整する。この場合、HMD100が表示する画像の輻輳角を調整することにより、HMD100の表示画像が視認される距離を、PC300の表示部330の位置に対応させることができる。これにより、HMD100による表示とPC300の表示部330の表示とを、より適切に協調させることができる。
Further, the
なお、図11の処理において、表示部330が、画像表示部20を透過する視界を遮るほどに画像表示部20に極端に近接することがある。例えば、ステップS23で検出された表示部330の位置が、予め設定された範囲よりも画像表示部20に近い場合が挙げられる。この場合、制御部310は、接続装置10に対する映像出力を停止して、ステップS21に戻ってもよい。
Note that, in the process of FIG. 11, the
上記実施形態では、制御部310が、右眼RE用の画像と左眼LE用の画像とにおける画像の表示位置を調整することで、輻輳角を制御して、画像表示部20の表示画像に対し使用者が知覚する視認距離を制御する構成とした。
画像表示部20が、右表示ユニット22及び左表示ユニット24が備える光学系により、使用者が画像表示部20の表示画像について知覚する視認距離を調整可能である場合、この光学系の制御による調整を、輻輳角の制御に代えて行ってもよい。つまり、使用者が、仮想画像VDの一部である画像表示部20の表示画像を、表示部330と同じ位置の画像として知覚するように、光学系を制御してもよい。この場合、画像表示部20の表示画像が視認される距離を、PC300の表示部330の位置に対応させることができ、HMD100による表示とPC300の表示とを、より適切に協調させることができる。
In the above embodiment, the
When the
上記の光学系としては、右眼RE及び左眼LEを結ぶ左右方向に移動可能なレンズを備える構成が挙げられる。この構成では、右表示ユニット22及び左表示ユニット24の各々に、左右方向に移動可能なレンズが配置される。レンズは、例えば、右光学系251とハーフミラー261との間、及び、左光学系252とハーフミラー281との間に配置してもよい。また、右光学系251、左光学系252の内部にレンズを配置してもよい。レンズの位置に対応して、右眼RE及び左眼LEの各々に入射する画像光の位置が左右方向に移動することで、輻輳角を変化させることが可能である。この例では、レンズの移動を制御部120が制御する構成とし、制御部310が、映像データと、レンズ位置を指定する制御データとを接続装置10に出力することで、制御部310が算出した輻輳角を実現できる。
An example of the above optical system is a configuration provided with a lens movable in the left-right direction connecting the right eye RE and the left eye LE. In this configuration, a lens movable in the left-right direction is disposed in each of the
また、画像表示部20が画像光を出力する光学系として、ホログラフィー表示装置を備えてもよい。この場合、画像表示部20は、例えば、光源と、光源からの光を変調する空間光変調器(SLM:Spatial Light Modulator)と、を備える。SLMは、例えば、液晶を利用した反射型空間光位相変調器(LCOS(Liquid Crystal On Silicon)−SLM)を用いることができる。この構成では、接続装置10がSLMに表示データを出力することにより、光源から発せられる参照光がSLMにより変調され、立体像を結像する。この場合、PC300から接続装置10に出力される映像データ、または、PC300が出力する映像データから表示制御部122が生成する表示データを調整することで、画像表示部20が結像する立体像の焦点距離を調整可能である。このため、本実施形態で輻輳角を調整する制御に代えて、ホログラフィー表示装置として構成される画像表示部20において立体像の焦点距離を制御することで、画像表示部20が表示する像を使用者が視認する距離を、調整することができる。
In addition, a holographic display device may be provided as an optical system in which the
また、画像表示部20の外側に調光シェードを設けた構成であってもよい。調光シェードは、液晶パネル等を備え、制御部310の制御により光の透過率が変化する板状の電子デバイスである。画像表示部20に調光シェードを設けた場合、画像表示部20を装着する使用者の右眼RE及び左眼LEには、調光シェードを透過し、さらに右導光板26、左導光板28を透過した外光OLが入射する。使用者は、調光シェードと画像表示部20とを透過した外光により外景を視認する。従って、調光シェードの透過率(透光率)により、使用者が外景を視認する視認性が変化する。
制御部310は、マスク処理を実行する際に、マスク処理する領域の視認性を高めるため、調光シェードにおける当該領域の透過率を高める制御を行ってもよい。
Further, the light control shade may be provided outside the
When performing the mask process, the
上記第1実施形態では、画像表示部20の表示範囲における表示部330の位置を特定し、表示部330の位置に合わせて画像表示部20に画像を表示する構成を説明した。つまり、画像表示部20と表示部330との相対位置に合わせて画像を表示していた。本発明はこれに限定されず、例えば、画像表示部20の表示範囲におけるPC300の位置を、PC300の外観の一部または全部を基準として検出、あるいは特定してもよい。
In the first embodiment, the configuration in which the position of the
すなわち、制御部310は、ステップS22で、カメラ61の撮像画像データにPC300の外観の少なくとも一部が含まれるか否かを判定する。ステップS22で、制御部310は、例えば、撮像画像データからパターンマッチングにより、PC300の画像を検出する。ここで、制御部310は、PC300の筐体の隅の形状、PC300における表示部330と筐体との境界部分の形状、PC300の背面側の形状、PC300の背面の塗装色等を、パターンマッチングにより、カメラ61の撮像画像から検出してもよい。また、制御部310は、PC300の筐体に貼付または固定されたマーカーを、カメラ61の撮像画像から検出してもよい。マーカーは、例えば、バーコードや二次元コード等の画像コード、文字、その他の画像を用いることができる。また、PC300の外装の模様や形状がマーカーとして機能する模様や形状となっていてもよい。例えば、PC300は、図1に示す平板形状に限らず、突起や凹部を有する形状であってもよく、これらの突起や凹部を制御部310が検出する構成であってもよい。この場合、制御部310は、撮像画像データからPC300の位置や姿勢を特定し、画像表示部20に対するPC300の相対位置を求めてもよい。また、制御部310は、画像表示部20に対するPC300の相対位置を求め、求めた相対位置に基づいて、画像表示部20と表示部330との相対位置を求める処理を行ってもよい。
That is, in step S22, the
[2.第2実施形態]
図12は、本発明を適用した第2実施形態における表示態様の例を示す図である。
第2実施形態は、第1実施形態と共通の構成を有する表示システム1により、第1実施形態とは異なる仮想画像VDを形成する例である。
[2. Second embodiment]
FIG. 12 is a view showing an example of a display mode in the second embodiment to which the present invention is applied.
The second embodiment is an example in which a virtual image VD different from the first embodiment is formed by the
図12に示す仮想画像VDは、図8に示した仮想画像VDと同様に、表示部330に表示される画像よりサイズが大きい画像である。第2実施形態で、制御部310は、表示部330に表示される画像の全体を、仮想の表示領域に配置して、仮想画像VDを生成する。
Similar to the virtual image VD illustrated in FIG. 8, the virtual image VD illustrated in FIG. 12 is an image that is larger in size than the image displayed on the
図12に示すように、仮想画像VDの全体に表示される画像は、表示部330が表示する画像の全体と同じ内容である。制御部310は、仮想表示領域の解像度と、表示部330が表示する画像の解像度または表示部330の表示解像度とが一致しない場合、解像度変換を行って、仮想画像VDを生成する。
As shown in FIG. 12, the image displayed on the entire virtual image VD has the same content as the entire image displayed on the
仮想画像VDは、領域VD1、VD2、VD3、VD4に分割される。領域VD1〜VD4のそれぞれには、表示部330の表示画像を分割した一部が割り当てられる。図12の仮想画像VDは、表示部330の表示画像を4分割し、分割された領域が、領域VD1、VD2、VD3、VD4に表示される。
The virtual image VD is divided into areas VD1, VD2, VD3, and VD4. A part obtained by dividing the display image of the
制御部310は、仮想画像VDから、画像表示部20により表示する範囲を切り出す(抽出する)処理(図11のステップS29、及び、ステップS36)において、領域VD1〜VD4のいずれかを単位として切り出す。つまり、接続装置10には、領域VD1〜VD4のいずれかの領域の映像データが出力される。
そして、視野VRが移動したか否かを判定する処理(ステップS33)で、制御部310は、視野VRが、領域VD1〜VD4の境界を越えた場合に、視野VRが移動したと判定する。この判定で、制御部310は、視野VRの中心が領域VD1〜VD4の境界を越えて移動した場合、すなわち領域VD1〜VD4のいずれかの領域から、隣接する領域に移動した場合に、肯定判定する。
Then, in the process of determining whether the field of view VR has moved (step S33), the
第2実施形態で、PC300は、表示部330に対応する画像を表示部330に表示させ、表示部330の表示画像に対応する仮想画像VDを生成し、仮想画像VDの少なくとも一部を含む画像の映像データを出力させる。表示システム1は、HMD100が備える画像表示部20において、制御部310の制御により出力された映像データに基づく画像を、外景として視認される表示部330の位置に合わせて表示させる。これにより、PC300の表示部330に表示される画像の少なくとも一部を、画像表示部20において外景として視認される表示部330の位置に合わせて、画像表示部20に表示できる。このため、表示部330の表示画像と、HMD100が表示する画像とを協調させることができる。
In the second embodiment, the
また、制御部310は、仮想画像VDの一部を切り出した画像をI/F部341により出力させるので、表示部330の表示画像の一部を画像表示部20に拡大して表示できる。
Further, since the
また、制御部310は、HMD100の画像表示部20に対する表示部330の相対位置を求め、求めた相対位置に基づき、映像データを生成する。これにより、画像表示部20を備えるHMD100によって、PC300の表示部330の位置に対応した表示を、容易に実現できる。
Further, the
[3.第3実施形態]
図13及び図14は、本発明を適用した第3実施形態における表示システム1の動作を示すフローチャートである。図13はPC300の動作を示し、図14はHMD100の動作を示す。
第3実施形態は、第1実施形態と共通の構成を有する表示システム1により、第1実施形態とは異なる動作を実行する例である。
[3. Third embodiment]
FIG. 13 and FIG. 14 are flowcharts showing the operation of the
The third embodiment is an example in which an operation different from that of the first embodiment is performed by the
第3実施形態では、画像表示部20に対するPC300の相対位置を検出する処理をPC300が実行する一方、PC300が生成する仮想画像VDの一部を切り出す処理を、HMD100が実行する。
In the third embodiment, while the
図13に示すフローチャートにおいて、図11と共通の処理は、同じステップ番号を付して説明を省略する。
制御部310は、ステップS21〜S28の処理を実行する。制御部310は、ステップS28で、画像表示部20が画像を表示する範囲における表示部330の位置を特定する(ステップS28)。ここで、制御部310は、ステップS28で特定した表示部330の位置を示す位置データを、仮想画像VDの映像データとともにHMD100に出力する処理を開始する(ステップS51)。ステップS51で制御部310が出力する位置データは、仮想画像VDから、画像表示部20に表示する範囲の画像を切り出すためのデータである。
In the flowchart shown in FIG. 13, the same processing as that in FIG.
制御部310は、ステップS32(図11)と同様に、視野VRが移動したか否かを判定する(ステップS52)。ステップS52では、画像調整部315が、位置検出部313の検出値に基づき判定を行う。また、以下で説明するステップS53〜S57は画像調整部315が実行する。
The
制御部310は、視野VRが移動したと判定した場合(ステップS52;YES)、PC300の位置が、画像表示部20が画像を表示する範囲外であるか否かを判定する(ステップS53)。ステップS53で、制御部310は、表示部330の位置が、画像表示部20が画像を表示する範囲外であるか否かを判定してもよい。ステップS53で、制御部310は、画像表示部20と表示部330との相対的な位置および方向に基づく判定を行う。
If the
PC300の位置が画像表示部20の表示範囲外であると判定した場合(ステップS53;YES)、移動後の視野VRに合わせて、HMD100に出力する位置データを変更し(ステップS54)、ステップS52に戻る。
If it is determined that the position of the
制御部310がPC300の位置が画像表示部20の表示範囲外でないと判定した場合(ステップS53;NO)、制御部310は、PC300が画像表示部20の表示範囲の外から範囲内に移動したのか否かを判定する(ステップS55)。
視野VRの移動により、表示部330が画像表示部20の表示範囲外にある状態から、表示範囲内に入った場合(ステップS55;YES)、制御部310は、HMD100の表示を初期化する必要があると判定する(ステップS56)。制御部310は、ステップS23に戻り、映像データの出力を開始するための処理を再度実行する。この初期化の処理は、ステップS38で説明した処理と同様であり、図13及び図14に示す動作例では画像表示部20により初期化が行われる。
When
When the
PC300が画像表示部20の表示範囲の外から範囲内に移動したのではないと判定した場合(ステップS55;NO)、制御部310は、ステップS54に移行して位置データを変更する。
If it is determined that the
ステップS52では、ステップS33と同様に、画像表示部20が移動した場合、及び、PC300が移動した場合のどちらであっても、画像表示部20とPC300との相対位置が変化していれば、視野VRが移動したと判定される。
In step S52, as in step S33, whether the relative position between the
制御部310は、視野VRが移動していないと判定した場合(ステップS52;NO)、表示を終了するか否かを判定する(ステップS57)。例えば、表示部330に対する操作等により表示終了が指示された場合(ステップS57;YES)、制御部310は接続装置10への映像データの出力を停止して本処理を終了する。一方、表示を継続する場合(ステップS57;NO)、制御部310はステップS52に戻る。
If the
図14に示す動作において、HMD100の制御部120は、PC300が出力する仮想画像VDのデータと、位置データとを取得する処理を開始する(ステップS61)。制御部120は、取得した位置データに基づいて、画像表示部20が画像を表示する範囲における表示部330の位置を特定する(ステップS62)。
In the operation illustrated in FIG. 14, the
制御部120は、仮想画像VDから、画像表示部20に表示する範囲の画像を切り出す処理を実行する(ステップS63)。制御部120は、切り出した画像にマスク処理を施す(ステップS64)。ステップS64でマスク処理を施す範囲は、ステップS30(図11)と同様であり、画像表示部20が表示する画像に表示部330が重なる範囲、または、表示部330に重なる部分を含む範囲である。
The
制御部120は、マスク処理を施した画像の輻輳角を設定する(ステップS65)。ステップS65で、制御部120は、ステップS31(図11)で制御部310が実行する処理と同様に、画像表示部20が表示する仮想画像VDの一部が、表示部330を含む平面として視認されるように、画像の輻輳角を設定する。制御部120は、画像表示部20の右表示ユニット22により表示される画像の画像データと、左表示ユニット24により表示される画像の画像データとを含む映像データを生成して、表示を開始する(ステップS66)。ここで、制御部120は、右表示ユニット22用の画像における仮想画像VDの位置と、左表示ユニット24用の画像における仮想画像VDの位置とを調整することで、使用者の左眼LEと右眼REの輻輳角を調整することができる。
The
制御部120は、PC300が出力する位置データが変更されたか否かを判定する(ステップS67)。制御部120は、位置データが変更されたと判定した場合(ステップS67;YES)、PC300の位置が、画像表示部20が画像を表示する範囲外であるか否かを判定する(ステップS68)。ステップS68の処理は、例えば、ステップS34(図11)で制御部310が実行する処理と同様である。
The
PC300の位置が画像表示部20の表示範囲外であると判定した場合(ステップS68;YES)、制御部120は、ステップS64で施したマスク処理を解除する(ステップS69)。制御部120は、変更後の位置データに合わせて、仮想画像VDから切り出す範囲を変更し(ステップS70)、ステップS67に戻る。
If it is determined that the position of the
制御部120は、PC300の位置が画像表示部20の表示範囲外でないと判定した場合(ステップS68;NO)、PC300が画像表示部20の表示範囲の外から範囲内に移動したのか否かを判定する(ステップS71)。PC300が画像表示部20の表示範囲外にある状態から、表示範囲内に入った場合(ステップS71;YES)、制御部120は、画像表示部20の表示を初期化する(ステップS72)。ステップS72の初期化は、例えば、ステップS38(図11)と同様であり、制御部120は、マスク処理の有無、仮想画像VDから切り出す範囲等を、初期状態に戻す。制御部120は、ステップS61に戻り、表示を開始するための処理を再度実行する。
If
PC300が画像表示部20の表示範囲の外から範囲内に移動していない場合(ステップS71;NO)、制御部120はステップS70に移動する。
If the
また、位置データが変更されていないと判定した場合(ステップS67;NO)、制御部120は、表示を終了するか否かを判定する(ステップS73)。例えば、PC300から入力されるコマンドや、操作部140に対する操作等により表示終了が指示された場合(ステップS73;YES)、制御部120は画像表示部20による表示を停止して本処理を終了する。一方、表示を継続する場合(ステップS73;NO)、制御部120はステップS67に戻る。
When it is determined that the position data is not changed (step S67; NO), the
この第3実施形態によれば、PC300が、画像表示部20に対するPC300の相対位置を特定し、画像表示部20の表示範囲におけるPC300の位置を求める処理を行い、HMD100が仮想画像VDから画像を切り出して画像表示部20に表示する。このように、PC300とHMD100とが相互に処理を分担して実行する構成とすることで、HMD100の構成を単純化することでHMD100の軽量化および小型化を実行することができる。また、画像表示部20が仮想画像VDから画像を切り出す処理を実行することで、例えば輻輳角の設定等の処理を、画像表示部20において高速に実行できる。
According to the third embodiment, the
第3実施形態で説明した動作において、ステップS33〜S38(図11)と同様の処理を実行してもよい。この場合、ステップS33、S34、S37の処理は制御部310が実行することが好ましい。また、制御部120は、制御部310が実行したステップS33、S34、S37の処理結果を取得して、ステップS35、S36、S38の処理を実行することが好ましい。
In the operation described in the third embodiment, the same processing as steps S33 to S38 (FIG. 11) may be performed. In this case, it is preferable that the
[4.第4実施形態]
図15は、第4実施形態に係る表示システム1Aを構成する各部のブロック図である。
表示システム1Aは、第1実施形態で説明した表示システム1において、HMD100が、接続装置10に代えて、制御装置10Aを備える構成となっている。制御装置10Aは、制御部121を備え、制御部121が、PC300から入力される映像データを処理する。制御部121及び関連する各部の構成を除き、表示システム1Aは、表示システム1と同様の構成部を備える。表示システム1と共通する構成部には同符号を付して説明を省略する。
[4. Fourth embodiment]
FIG. 15 is a block diagram of each part of the
In the
制御部121は、制御部120(図5)と同様に、CPUやマイコン等のプロセッサー(図示略)を備え、このプロセッサーによりプログラムを実行することによって、ソフトウェアとハードウェアとの協働によりHMD100の各部を制御する。また、制御部121は、プログラムされたハードウェアにより構成されてもよい。
Similar to the control unit 120 (FIG. 5), the
制御部121には、不揮発性記憶部130、操作部140、及び、接続部145が接続される。また、制御部121は、位置検出部123、及び、画像調整部125を備える。位置検出部123は、位置検出部313と同様に、HMD100の位置を検出する。より詳細には、位置検出部123は、画像表示部20が備えるセンサーの出力値に基づき、PC300と画像表示部20との相対位置を検出する。また、例えば、第1実施形態で説明したように、制御部310がカメラ61の撮像画像データから被写体までの距離を求める処理を、制御部121が実行することもできる。
The
位置検出部123が検出する相対位置は、画像表示部20とPC300が存在する空間における位置であってもよい。また、画像表示部20と表示部330の相対的な向きを含んでもよい。例えば、画像表示部20を基準とした場合の表示部330の位置および/または方向を示す情報であってもよい。また、例えば、PC300を基準とした場合の画像表示部20の位置および/または方向を示す情報であってもよい。また、例えば、画像表示部20及びPC300が存在する空間に設定された三次元座標系における座標を含んでいてもよい。
The relative position detected by the
画像調整部125は、I/F部110に入力され映像データの画像処理を行う。画像調整部125が実行する画像処理は、第1実施形態および第2実施形態で説明した画像調整部315の処理と同様である。
例えば、画像調整部125は、I/F部110に入力される映像データを、HMD100の仕様に合わせて解像度変換(スケーリング)、フレームレート変換、色調補正、データフォーマットの変更等を行う処理である。
The
For example, the
表示システム1Aは、表示システム1と同様に、図7に示したキャリブレーション処理、及び、図11に示した動作を実行する。
表示システム1Aが図7の動作を実行する場合、ステップS13〜S15は位置検出部123が実行する。また、表示システム1Aが図11の動作を実行する場合、位置検出部123は、ステップS21、S23を実行し、画像調整部125は、ステップS22、S24〜S39を実行する。
Similar to the
When the
第4実施形態では、画像調整部125が仮想画像VDに相当する仮想の表示領域を設定し、PC300が出力する映像データを仮想の表示領域に配置して仮想画像VDを生成する。画像調整部125は、仮想画像VDから、画像表示部20によって表示する範囲を切り出して、必要に応じてマスク処理を施し、画像表示部20によって画像を表示させる。
In the fourth embodiment, the
すなわち、HMD100Aが、画像表示部20に対する表示部330の相対位置を求め、求めた相対位置に基づき映像データを処理して、外景の表示部330の位置に対応する画像を画像表示部20に表示させる制御部121を備える。
That is, the
これにより、HMD100Aが、画像表示部20に対する表示部330の相対位置を求めて、この相対位置に対応するように表示用の画像を生成するので、PC300の負荷を増大させることなく、表示部330の位置に対応した表示を実現できる。
Thus, the
また、PC300が、表示部330が表示する画像と同じ画像を、HDMIケーブル2Aによりミラーリングして出力する構成において、HMD100Aが、画像表示部20の表示画像を調整する。すなわち、HMD100Aが、画像表示部20の方向や画像表示部20とPC300との相対位置に対応して、画像表示部20が表示する画像の表示態様を変化させる。
Further, in a configuration in which the
従って、表示システム1Aは、第1実施形態で説明した表示システム1の効果を実現できる。さらに、HMD100Aにおいて映像データを処理可能であることから、PC300に代えて、映像データを出力する汎用機器を接続した場合に、画像表示部20の位置や方向に対応して表示態様を変更できるという利点がある。
Therefore, the
なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板261及び左導光板281が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、外景撮影用カメラ61の撮影画像、この撮影画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮影した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示を用いてもよい。或いは、仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
The present invention is not limited to the configurations of the above-described embodiments, and can be implemented in various modes without departing from the scope of the invention.
For example, in the above embodiment, the configuration in which the user passes the display unit to visually recognize the outside view is not limited to the configuration in which the right
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
For example, instead of the
さらに、第4実施形態のHMD100Aは、制御装置10Aと画像表示部20とが一体に構成され、使用者の頭部に装着される構成であってもよい。また、制御装置10Aとして、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、上記実施形態では、接続装置10と画像表示部20とが無線通信回線によって接続される構成であってもよい。
Furthermore, in the
また、表示システム1においてHMD100、100Aに接続される機器は、PC300に限定されない。例えば、据え置き型のテレビ受像器、据え置き型のパーソナルコンピューターのモニターであってもよい。また、PC300に代えて、表示面に画像を投射するプロジェクターを用いてもよく、この場合、プロジェクターが画像を投射する投射面が第1表示部に相当する。また、これらの機器以外に、PC300に代えて、可搬型または据え置き型の電子機器を用いることができる。PC300またはPC300に代えて利用される各種の電子機器は、HMD100、100Aに無線接続されてもよい。例えば、コネクター11Aに代えて、Miracast(登録商標)やWirelessHD(登録商標)などの無線映像通信インターフェイスを利用してもよい。また、コネクター11Bに代えて、無線LAN(WiFi(登録商標)を含む)を用いてもよいし、Bluetooth(登録商標)を利用してもよい。
Moreover, the apparatus connected to HMD100, 100A in the
また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。 Further, at least a part of each functional block shown in the block diagram may be realized by hardware, or may be realized as a combination of hardware and software, and as shown in the figure, it is independent. The configuration is not limited to the configuration of allocating the hardware resources.
2…ケーブル、2A…HDMIケーブル、2B…USBケーブル、10…接続装置、10A…制御装置、11、11A、11B、11C…コネクター、20…画像表示部(第2表示部)、22…右表示ユニット(右眼用表示部)、24…左表示ユニット(左眼用表示部)、61…カメラ、64…距離センサー、65…照度センサー、67…LEDインジケーター、100、100A…HMD(表示装置)、110…I/F部(取得部)、120…制御部、121…制御部、123…位置検出部、124…センサー制御部、125…画像調整部、126…電源制御部、130…不揮発性記憶部、140…操作部、145…接続部、217…温度センサー、235…6軸センサー、237…磁気センサー、239…温度センサー、261…ハーフミラー、281…ハーフミラー、300…PC(電子機器)、310…制御部(電子機器制御部)、311…入出力制御部、312…検出値取得部、313…位置検出部、315…画像調整部、320…不揮発性記憶部、321…コンテンツデータ、330…表示部(第1表示部)、331…表示パネル、332…タッチセンサー、341…I/F部(出力部)、345…通信部、VD…仮想画像、VD1〜VD4…領域、VR…視野。 Reference Signs List 2 cable 2A HDMI cable 2B USB cable 10 connection device 10A control device 11 11A 11B 11C connector 20 image display unit (second display unit) 22 right display Unit (display unit for right eye), 24: left display unit (display unit for left eye), 61: camera, 64: distance sensor, 65: illuminance sensor, 67: LED indicator, 100, 100A: HMD (display device) 110: I / F unit (acquisition unit) 120: control unit 121: control unit 123: position detection unit 124: sensor control unit 125: image adjustment unit 126: power supply control unit 130: non-volatile Storage unit, 140: operation unit, 145: connection unit, 217: temperature sensor, 235: 6-axis sensor, 237: magnetic sensor, 239: temperature sensor, 261: half Reference numeral 281: half mirror 300: PC (electronic device) 310: control unit (electronic device control unit) 311: input / output control unit 312: detection value acquisition unit 313: position detection unit 315: image adjustment Unit 320 Nonvolatile storage unit 321 Content data 330 Display unit (first display unit) 331 Display panel 332 Touch sensor 341 I / F unit (output unit) 345 Communication unit , VD: virtual image, VD1 to VD4: area, VR: field of view.
Claims (15)
前記電子機器は、
画像を出力する出力部を備え、
前記表示装置は、
前記電子機器が出力する前記画像を取得する取得部と、
前記表示装置が装着された状態で視認される外景に重ねて画像を表示する第2表示部と、
前記取得部により取得された前記画像を前記第2表示部により表示させる表示制御部と、を備え、
前記表示制御部は、外景として視認される前記電子機器の位置に対応させて前記画像を前記第2表示部に表示する、表示システム。 An electronic device having a first display unit, and a head-mounted display device connected to the electronic device;
The electronic device is
It has an output unit that outputs an image,
The display device is
An acquisition unit configured to acquire the image output from the electronic device;
A second display unit configured to display an image superimposed on an outside scene viewed in a state in which the display device is mounted;
A display control unit that causes the second display unit to display the image acquired by the acquisition unit;
The display control unit displays the image on the second display unit in association with the position of the electronic device viewed as an outside scene.
前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の少なくとも一部を、前記電子機器の位置に合わせて前記第2表示部に表示する、請求項1記載の表示システム。 The electronic device generates an image corresponding to a virtual display area wider than the first display unit, displays a part of the generated image on the first display unit, and generates at least a part of the generated image And an electronic device control unit that causes the output unit to output the information.
The display system according to claim 1, wherein the display control unit included in the display device displays at least a part of the image output by the electronic device on the second display unit in alignment with the position of the electronic device.
前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像を前記第2表示部に表示する、請求項2記載の表示システム。 The electronic device control unit causes the output unit to output the image excluding the portion displayed on the first display unit among the images generated corresponding to the virtual display area.
The display system according to claim 2, wherein the display control unit included in the display device displays an image output by the electronic device on the second display unit.
前記表示装置が備える前記表示制御部は、前記電子機器により出力された画像の一部を切り出した画像を前記第2表示部に表示する、請求項2記載の表示システム。 The electronic device control unit causes the output unit to output the image generated in association with the virtual display area.
The display system according to claim 2, wherein the display control unit included in the display device displays an image obtained by cutting out a part of the image output by the electronic device on the second display unit.
前記第2表示部により外景として視認される前記第1表示部の位置に対応して、前記左眼用表示部による表示位置、及び前記右眼用表示部による表示位置が制御され、前記第2表示部に表示される画像の輻輳角が調整される、請求項1から11のいずれか1項に記載の表示システム。 The second display unit is a display unit for the left eye that emits image light toward the left eye of the user wearing the display device, and a display for the right eye that emits image light toward the right eye of the user Equipped with
The display position by the left-eye display unit and the display position by the right-eye display unit are controlled according to the position of the first display unit visually recognized as an outside scene by the second display unit, and the second The display system according to any one of claims 1 to 11, wherein the convergence angle of the image displayed on the display unit is adjusted.
前記第2表示部に表示される画像の輻輳角に対応して前記光学系が制御される、請求項12記載の表示システム。 The second display unit includes an optical system capable of adjusting a visual distance at which the user perceives an image displayed by the second display unit.
The display system according to claim 12, wherein the optical system is controlled according to a convergence angle of an image displayed on the second display unit.
第1表示部と、
前記表示装置に画像を出力する出力部と、
前記表示装置が有する第2表示部に対する前記第1表示部の相対位置に基づいて、前記表示装置によって外景として視認される前記第1表示部の位置に対応する画像を前記第2表示部に表示するための画像を、前記出力部により出力させる制御部と、を備える、電子機器。 An electronic device connected to a head-mounted display device for displaying an image superimposed on an outside scene,
A first display unit,
An output unit that outputs an image to the display device;
Based on the relative position of the first display unit to the second display unit included in the display device, an image corresponding to the position of the first display unit viewed by the display device as the outside view is displayed on the second display unit An electronic apparatus comprising: a control unit that causes the output unit to output an image to be output.
前記電子機器により画像を出力し、
前記表示装置により、
前記電子機器が出力する前記画像を取得し、
取得した画像を前記第2表示部により表示させ、
前記第2表示部において外景として視認される前記電子機器の位置に対応させて、前記第2表示部に前記画像を表示する、表示方法。 A display method comprising: an electronic device having a first display portion; and a head-mounted display device having a second display portion for displaying an image superimposed on an outside scene,
Output an image by the electronic device;
The display device
Acquiring the image output by the electronic device;
Displaying the acquired image by the second display unit;
A display method, wherein the image is displayed on the second display unit in correspondence with the position of the electronic device viewed as an outside scene in the second display unit.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811561977.5A CN109960039B (en) | 2017-12-22 | 2018-12-20 | Display system, electronic device, and display method |
US16/228,847 US10971113B2 (en) | 2017-12-22 | 2018-12-21 | Display system, electronic device, and display method |
US17/184,036 US11380287B2 (en) | 2017-12-22 | 2021-02-24 | Display system, electronic device, and display method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246853 | 2017-12-22 | ||
JP2017246853 | 2017-12-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019114236A true JP2019114236A (en) | 2019-07-11 |
Family
ID=67223733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018172773A Pending JP2019114236A (en) | 2017-12-22 | 2018-09-14 | Display system, electronic apparatus, and display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019114236A (en) |
-
2018
- 2018-09-14 JP JP2018172773A patent/JP2019114236A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109960481B (en) | Display system and control method thereof | |
US11054650B2 (en) | Head-mounted display device, control method of head-mounted display device, and display system | |
CN109960039B (en) | Display system, electronic device, and display method | |
JP7087481B2 (en) | Head-mounted display device, display control method, and computer program | |
CN108535868B (en) | Head-mounted display device and control method thereof | |
CN110060614B (en) | Head-mounted display device, control method thereof, and display system | |
US11575877B2 (en) | Utilizing dual cameras for continuous camera capture | |
US10567730B2 (en) | Display device and control method therefor | |
JP2018160735A (en) | Transmission type display apparatus, display control method, and computer program | |
JP2017116562A (en) | Display device, control method for the same and program | |
US12114103B2 (en) | Projector with field lens | |
US12002392B2 (en) | Eyewear projector brightness control | |
JP2019114236A (en) | Display system, electronic apparatus, and display method | |
JP2017134630A (en) | Display device, control method of display device, and program | |
US20220342222A1 (en) | Eyewear having a projector with heat sink shields |