JP2015026286A - Display device, display system and control method of display device - Google Patents
Display device, display system and control method of display device Download PDFInfo
- Publication number
- JP2015026286A JP2015026286A JP2013156022A JP2013156022A JP2015026286A JP 2015026286 A JP2015026286 A JP 2015026286A JP 2013156022 A JP2013156022 A JP 2013156022A JP 2013156022 A JP2013156022 A JP 2013156022A JP 2015026286 A JP2015026286 A JP 2015026286A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- real
- user
- coordinate position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、使用者に画像を虚像として視認させる透過型の表示装置、表示システムおよび表示装置の制御方法に関するものである。 The present invention relates to a transmissive display device that allows a user to visually recognize an image as a virtual image, a display system, and a control method for the display device.
従来、この種の表示装置として、使用者の頭部に装着される光学透過型の頭部装着型表示装置が知られている(特許文献1参照)。この表示装置では、使用者が、画像を虚像として視認すると同時に、現実風景(外景)も直接視認可能に構成されている。 Conventionally, as this type of display device, an optically transmissive head-mounted display device mounted on a user's head is known (see Patent Document 1). This display device is configured such that a user can visually recognize an actual scenery (outside scene) at the same time as visually recognizing an image as a virtual image.
ところで、この種の表示装置において、現実世界に仮想現実を融合させることを目的として、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる構成(フィッティング)が考えられた。すなわち、画像オブジェクトを現実空間の座標系に合わせて配置し、現実風景に重ねて視認させることで、視認している現実空間に画像オブジェクトが実際に存在しているかのように認識させる構成である。かかる構成によれば、視認している現実風景に画像オブジェクトを重ねる構成であるため、撮影画像と画像オブジェクトとを画像上で合成する、いわゆる拡張現実(Augmented Reality:AR)に比べ、高いリアル感を得ることができる。
しかしながら、単に、画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる構成としただけでは、画像オブジェクトが実物体を無視して挙動してしまうという問題があった。例えば、現実空間に画像オブジェクトが存在しているのであれば、画像オブジェクトが実物体に衝突するようなケースでも、画像オブジェクトが実物体を通りぬけてしまう。また、使用者から見て画像オブジェクトが実物体の後ろに隠れるようなケースでも、画像オブジェクトが認識できてしまう。このような現象は、使用者に違和感を与え、リアル感を著しく損なってしまう原因となる。
By the way, in this type of display device, for the purpose of fusing virtual reality with the real world, an image object in which a coordinate position in the real space is set is displayed so as to be visually recognized according to the coordinate system in the real space. Configuration (fitting) was considered. In other words, the image object is arranged in accordance with the coordinate system of the real space, and is made to recognize as if the image object actually exists in the real space being visually recognized by being superimposed on the real scenery. . According to such a configuration, since the image object is superimposed on the visually recognized real scene, a higher realism than that of the so-called augmented reality (AR) in which the captured image and the image object are combined on the image. Can be obtained.
However, there is a problem that the image object behaves ignoring the real object simply by displaying the image object so as to be visually recognized according to the coordinate system of the real space. For example, if an image object exists in the real space, the image object passes through the real object even in a case where the image object collides with the real object. Further, even when the image object is hidden behind the real object when viewed from the user, the image object can be recognized. Such a phenomenon gives a sense of incongruity to the user and causes a serious loss of realism.
本発明は、このような現象を解消し、リアル感を向上させることができる表示装置、表示システムおよび表示装置の制御方法を適用することを課題としている。 It is an object of the present invention to apply a display device, a display system, and a display device control method that can eliminate such a phenomenon and improve the real feeling.
本発明の表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であって、現実空間上の実物体の座標位置および形状を検出する物体検出部と、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、画像オブジェクトを表示する表示部と、を備え、表示制御部は、画像オブジェクトを、実物体の座標位置および形状に合わせて制御することを特徴とする。 The display device of the present invention is a transmissive display device that allows a user to visually recognize an image as a virtual image, and includes an object detection unit that detects a coordinate position and a shape of a real object in the real space, and a coordinate position in the real space. And a display control unit that displays the image object so that the image object is visually recognized according to the coordinate system of the real space, and a display unit that displays the image object. It is characterized by being controlled according to the coordinate position and shape.
この場合、表示制御部は、画像オブジェクトの挙動を、実物体の座標位置および形状に合わせて制御することが好ましい。 In this case, the display control unit preferably controls the behavior of the image object according to the coordinate position and shape of the real object.
この場合、表示制御部は、検出された実物体の座標位置と、設定された画像オブジェクトの座標位置とに基づいて、使用者から見て画像オブジェクトが実物体の後方に位置する場合、画像オブジェクトの、実物体との重畳部分が消えるように、画像オブジェクトを変化させることが好ましい。 In this case, when the image object is positioned behind the real object as viewed from the user based on the detected coordinate position of the real object and the set coordinate position of the image object, the display control unit It is preferable to change the image object so that the overlapping portion with the real object disappears.
また、表示制御部は、現実空間の座標系において実物体を避けるように、画像オブジェクトを挙動させることが好ましい。 The display control unit preferably causes the image object to behave so as to avoid the real object in the coordinate system of the real space.
さらに、表示制御部は、現実空間の座標系において、移動させた画像オブジェクトが実物体に達したとき、画像オブジェクトを、実物体と衝突したかのように挙動させることが好ましい。 Furthermore, it is preferable that the display control unit behaves as if the image object collided with the real object when the moved image object reaches the real object in the coordinate system of the real space.
本発明の表示システムは、使用者に表示画像を虚像として視認させる透過型の表示システムであって、現実空間上の実物体の座標位置および形状を検出する物体検出部と、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、表示画像を表示する表示部と、を備え、表示制御部は、画像オブジェクトを、実物体の座標位置および形状に合わせて制御することを特徴とする。 The display system of the present invention is a transmissive display system that allows a user to visually recognize a display image as a virtual image, and includes an object detection unit that detects a coordinate position and a shape of a real object in the real space, and a coordinate in the real space. A display control unit configured to display an image object with a position set so as to be visually recognized according to a coordinate system of a real space; and a display unit configured to display a display image. Control is performed according to the coordinate position and shape of the body.
本発明の表示装置の制御方法は、使用者に表示画像を虚像として視認させる透過型の表示装置の制御方法であって、現実空間上の実物体の座標位置および形状を検出する物体検出ステップと、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御ステップと、画像オブジェクトを表示する表示ステップと、を実行し、表示制御ステップでは、画像オブジェクトを、実物体の座標位置および形状に合わせて制御することを特徴とする。 The display device control method of the present invention is a transmission type display device control method that allows a user to visually recognize a display image as a virtual image, and includes an object detection step of detecting a coordinate position and a shape of a real object in a real space; A display control step for displaying an image object in which a coordinate position in the real space is set so as to be visually recognized according to a coordinate system of the real space; and a display step for displaying the image object. Then, the image object is controlled according to the coordinate position and shape of the real object.
これらの構成によれば、画像オブジェクトを、実物体の座標位置や形状を加味して挙動させることができるため、上記したような現象を解消することができ、リアル感を向上させることができる。すなわち、画像オブジェクトが実物体に衝突するようなケースで、画像オブジェクトを、衝突したかのように挙動させることができ、使用者から見て画像オブジェクトが実物体の後ろに隠れるようなケースで、画像オブジェクトを、実物体の後ろに隠れたかのように変化させることができる。また、画像オブジェクトに、実物体の座標位置や形状を加味した挙動をさせることで、透過型の表示装置において、実物体を絡めたコンテンツを提供することができる。例えば、画像オブジェクトによる、実物体を絡めたゲームやナビゲーションサービスを提供することができる。 According to these configurations, the image object can be made to behave in consideration of the coordinate position and shape of the real object, so that the phenomenon as described above can be eliminated and the realism can be improved. That is, in the case where the image object collides with the real object, the image object can behave as if it collided, and in the case where the image object is hidden behind the real object when viewed from the user, An image object can be changed as if it was hidden behind a real object. Further, by causing the image object to behave in consideration of the coordinate position and shape of the real object, it is possible to provide content in which the real object is entangled in the transmissive display device. For example, it is possible to provide a game or a navigation service involving an actual object using an image object.
上記の表示装置において、使用者の視線を検出する視線検出部を、さらに備え、表示制御部は、検出した視線に基づいて、画像オブジェクトを表示させることが好ましい。 The display device preferably further includes a line-of-sight detection unit that detects a user's line of sight, and the display control unit displays the image object based on the detected line of sight.
この構成によれば、使用者の視線を加味して、画像オブジェクトの表示を行うことで、画像オブジェクトのフィッティングをより精度良く行うことができる。 According to this configuration, it is possible to perform fitting of the image object with higher accuracy by displaying the image object in consideration of the user's line of sight.
また、使用者から実物体までの距離を検出する距離検出部を、さらに備え、表示制御部は、検出した距離に基づいて、画像オブジェクトを表示させることが好ましい。 In addition, it is preferable that a distance detection unit that detects a distance from the user to the real object is further provided, and the display control unit displays the image object based on the detected distance.
この構成によれば、使用者から実物体までの距離を加味して、画像オブジェクトの表示を行うことで、画像オブジェクトのフィッティングをより精度良く行うことができる。 According to this configuration, by displaying the image object in consideration of the distance from the user to the real object, the fitting of the image object can be performed with higher accuracy.
一方、表示部は、画像の画像光を出力する画像光出力部と、出力された画像光を使用者の眼に導く導光部と、を有し、導光部は、外光を透過し、当該外光を画像光と共に使用者の眼に入射させることが好ましい。 On the other hand, the display unit includes an image light output unit that outputs image light of an image, and a light guide unit that guides the output image light to the user's eyes, and the light guide unit transmits external light. The external light is preferably incident on the user's eye together with the image light.
この構成によれば、いわゆる虚像投写型の透過型表示装置を用いることで、画像オブジェクトのフィッティングをより精度良く行うことができ、リアル感を向上させることができる。 According to this configuration, by using a so-called virtual image projection type transmissive display device, the fitting of the image object can be performed with higher accuracy, and the realism can be improved.
以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、表示システムおよび表示装置の制御方法について説明する。本実施形態では、本発明の表示装置を適用した頭部装着型表示装置を例示する。この頭部装着型表示装置は、使用者の頭部に装着される表示装置であり、ヘッドマウンドディスプレイ(Head Mounted Display:HMD)とも呼ばれる。本実施形態の頭部装着型表示装置は、使用者に画像を虚像として視認させると同時に現実風景(外景)も直接視認可能な光学透過型の頭部装着型表示装置(透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ)であり、眼鏡型(ゴーグル型)の形状を有している。 Hereinafter, a display device, a display system, and a display device control method according to an embodiment of the present invention will be described with reference to the accompanying drawings. In this embodiment, a head-mounted display device to which the display device of the present invention is applied is exemplified. This head-mounted display device is a display device mounted on a user's head, and is also called a head mounted display (HMD). The head-mounted display device of the present embodiment is an optically transmissive head-mounted display device (transparent head-mounted display device) that allows a user to visually recognize an image as a virtual image and at the same time also visually recognize a real scene (outside scene). Display device, see-through type head-mounted display), and has a glasses-type (goggles-type) shape.
図1に示すように、頭部装着型表示装置1は、右保持部11と、右表示駆動部12と、左保持部13と、左表示駆動部14と、右光学像表示部15と、左光学像表示部16と、外界用カメラ17と、右耳用の右イヤホン18および左耳用の左イヤホン19と、を有している。
As shown in FIG. 1, the head-mounted display device 1 includes a
右光学像表示部15および左光学像表示部16は、頭部装着型表示装置1の装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部15の一端と、左光学像表示部16の一端とは、それぞれ、頭部装着型表示装置1の装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部15の他端である端部ERからは、右保持部11が延伸している。同様に、左光学像表示部16の他端である端部ELからは、左保持部13が延伸している。
The right optical
右保持部11は、右光学像表示部15の端部ERから頭部装着型表示装置1の装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部15とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部13は、左光学像表示部16の端部ELから頭部装着型表示装置1の装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部16とほぼ直角を成すように延伸して設けられた部材である。右保持部11および左保持部13は、眼鏡のテンプル(つる、耳掛け)のようにして、使用者の頭部に頭部装着型表示装置1を保持する。
The
右表示駆動部12は、右保持部11の内側、換言すれば、頭部装着型表示装置1の装着時における使用者の頭部に対向する側であって、右光学像表示部15の端部ER側に配置されている。また、左表示駆動部14は、左保持部13の内側であって、左光学像表示部16の端部EL側に配置されている。
The right
外界用カメラ17は、頭部装着型表示装置1を装着した状態における使用者の視界方向(使用者の前方)の現実風景23を撮像する。詳細は後述するが、外界用カメラ17による撮像画像は、実物体Aに設けられたマーカーMKの認識、ひいては実物体Aの認識に用いられる。
The
右イヤホン18および左イヤホン19は、使用者が頭部装着型表示装置1を装着した際に、それぞれ右および左の耳に装着され、右および左の耳への各種音声出力を行う。
When the user wears the head-mounted display device 1, the
次に図2を参照して、頭部装着型表示装置1を装着した使用者が視認可能な虚像22および現実風景23の一例について説明する。図2に示すように、頭部装着型表示装置1を装着した使用者の視界21には、頭部装着型表示装置1が生成する虚像22が表示される。ここでは、虚像22として、迷路のナビゲーター(案内人)を表す画像オブジェクト26が表示されている。また、使用者の視界21では、使用者は、右光学像表示部15および左光学像表示部16を透過して、現実風景23を見ることができる。ここでは、現実風景23として、実物体Aである迷路の壁A1、A2、A3等が見えている。すなわち、使用者は、視界21内において、虚像22と現実風景23とを同時に視認できるように構成されている。なお、符号27は、視界21内のうち、虚像22が表示される(虚像22を表示可能な)虚像表示領域である。
Next, with reference to FIG. 2, an example of the
次に図3を参照して、頭部装着型表示装置1の制御構成について説明する。図3に示すように、頭部装着型表示装置1は、使用者に虚像22を視認させる表示部30と、外界用カメラ17と、右イヤホン18と、左イヤホン19と、センサー部31と、電源部32と、無線通信インターフェース33と、これら各部を制御する制御部34とを有している。
Next, the control configuration of the head-mounted display device 1 will be described with reference to FIG. As shown in FIG. 3, the head-mounted display device 1 includes a
センサー部31は、頭部装着型表示装置1の制御に係る各種情報を検出する。具体的には、センサー部31は、距離センサー(距離検出部)41、GPS受信機42、9軸センサー43および視線検出センサー(視線検出部)44を有している。距離センサー41は、例えば赤外線方式や超音波方式により、使用者(厳密には、頭部装着型表示装置1)から実物体Aまでの距離を検出する。GPS受信機42は、GPS信号を受信して、使用者(厳密には、頭部装着型表示装置1)の位置を示す位置情報を取得する。9軸センサー43は、3軸加速度、3軸角速度および3軸地磁気を検出する。視線検出センサー44は、例えば赤外線方式により、使用者の視線を検出する。
The
電源部32は、頭部装着型表示装置1の各部に電力を供給する。無線通信インターフェース33は、無線通信により、画像(静止画像、動画像)や音声等のコンテンツデータの供給元となる種々の外部機器や外部サーバーとの通信を行うためのものである。外部機器としては、例えば、パーソナルコンピューター(PC)や携帯端末(携帯電話やスマートフォン等)、ゲーム端末等がある。本実施形態では、無線通信インターフェース33により、ゲームやナビゲーションサービスのコンテンツデータを取得し、これに基づいて画像オブジェクト26の表示制御が行われる。
The power supply unit 32 supplies power to each unit of the head-mounted display device 1. The
表示部30は、右表示駆動部(画像光出力部)12と、左表示駆動部(画像光出力部)14と、右光学像表示部15としての右導光板(導光部)46と、左光学像表示部16としての左導光板(導光部)47と、を有している。
The
右表示駆動部12は、光源として機能する右バックライト(BL)制御部51および右バックライト(BL)52と、表示素子として機能する右LCD(Liquid Crystal Display)制御部53および右LCD54と、右投写光学系55とを含んでいる。
The right
右バックライト制御部51は、入力された制御信号に基づいて、右バックライト52を駆動制御する。右バックライト52は、例えば、LED(Light Emitting Diode)やエレクトロルミネセンス(EL)等の発光体である。右LCD制御部53は、入力された表示データに基づいて、右LCD54を駆動制御する。右LCD54は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The right
右投写光学系55は、右LCD54から射出された画像光を投写(出力)するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部15としての右導光板46は、光透過性の樹脂素材等によって形成され、右投写光学系55から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。また、右導光板46は、外光(現実風景の光)を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。
The right projection
左表示駆動部14は、右表示駆動部12と同様に、左バックライト(BL)制御部61と、左バックライト(BL)62と、左LCD制御部63と、左LCD64と、左投写光学系65とを含んでいる。左表示駆動部14に含まれる各要素の構成や機能は、右表示駆動部12に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部16としての左導光板47は、光透過性の樹脂素材等によって形成され、左投写光学系65から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。また、左導光板47は、外光を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。
Similarly to the right
このようにして、頭部装着型表示装置1の使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図2に示すように虚像表示領域27内に虚像22(画像オブジェクト26)を視認する。なお、ここでは、画像光を網膜に結像することを、「表示」もしくは「表示する」と呼称している。
In this way, the image light guided to both eyes of the user of the head-mounted display device 1 forms an image on the retina, so that the user can enter the virtual
制御部34は、CPU(Central Processing Unit)67と、記憶部68とを有している。記憶部68は、ROM(Read Only Memory)やRAM(Random Access Memory)等により構成されており、種々のコンピュータープログラムが格納されている。CPU67は、記憶部68からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)71、画像解析部72、物体検出部73、表示制御部74、表示状態制御部75および音声処理部76として機能する。
The
画像解析部72は、外界用カメラ17によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部72は、画像解析により実物体Aに設けられた物体認識用のマーカーMK(図2参照)を認識して、マーカーMKから得られる情報に基づいて実物体Aを認識する。すなわち、撮像画像内におけるマーカーMKの位置および向きの情報と、マーカーMKを読み取った読取情報と、予め記憶した実物体Aの情報(実物体Aの形状や実物体AにおけるマーカーMKの配設位置)とに基づいて、視界21内での実物体Aの位置と、実物体Aの形状を認識する。なお、本実施形態では、実物体AにマーカーMKが設けられており、これを認識して実物体Aを認識する構成であるが、マーカーレスで、実物体Aの特徴位置(特徴点)を認識して実物体Aを認識する構成であっても良い。また、上述した実物体Aの情報は、無線通信インターフェース33により、画像認識の都度、外部サーバーから取得するようにしても良い。
The
物体検出部73は、画像解析部72による実物体Aの認識結果と、センサー部31による検出結果とに基づいて、現実空間上における実物体Aの座標位置および形状を検出する。具体的には、画像解析部72による実物体Aの認識結果と、距離センサー41から得られる使用者から実物体Aまでの距離の情報と、9軸センサー43により得られた使用者の頭部の向きの情報とに基づいて、現実空間における使用者に対する実物体Aの相対的な座標位置と、実物体Aの形状とを検出する。
The
表示制御部74は、表示部30によって表示される表示データを生成し、表示データを表示部30(右LCD制御部53および左LCD制御部63)に送信する。表示制御部74は、画像オブジェクト26に現実空間上における座標位置を設定すると共に、表示データとして、現実空間上の座標位置が設定された画像オブジェクト26を、現実空間の座標系に合わせて視認させるように表示させる(いわゆるフィッティング)ものを生成する。
The
具体的には、表示制御部74は、コンテンツデータに基づいて、画像オブジェクト26に対し、現実空間上における、実物体Aに対する相対的な座標位置が設定する。そして、この画像オブジェクト26の相対的な座標位置と、検出した実物体Aの座標位置と、使用者の頭部の向きの情報と、視線検出センサー44から得られた使用者の視線の情報とに基づいて、現実空間の座標系に合わせて視認させる(現実空間の座標系に合って視認される)ような、虚像表示領域27における画像オブジェクト26の表示位置、表示サイズおよび向きを特定する。例えば、画像オブジェクト26が現実空間の座標系に存在する場合には、使用者から画像オブジェクト26までの距離によって、表示サイズが決まってくる。よって、表示サイズは、上記各情報に基づいて算出した、使用者から画像オブジェクト26までの距離により特定される。特定した表示位置、表示サイズ、向きに基づいて、画像オブジェクト26を拡大/縮小、回転、配置して、画像オブジェクト26を含む表示データを生成する。
Specifically, the
なお、画像オブジェクト26を立体視画像として表示させる場合には、右目用の表示データおよび左目用の表示データとして、画像オブジェクト26に視差を与えた表示データを生成し、右目用の表示データを右LCD制御部53に、左目用の表示データを左LCD制御部63に送信する。かかる場合、画像オブジェクト26の視差量(奥行感)についても、現実空間の座標系に合わせて設定する。すなわち、表示サイズと同様、視差量は、使用者から画像オブジェクト26までの距離によって決まってくるので、上記各情報に基づいて使用者から画像オブジェクト26までの距離を算出し、これに基づいて画像オブジェクト26の視差量を設定する。
When the
また、表示制御部74は、画像オブジェクト26の挙動を、検出した実物体Aの座標位置および形状に合わせて制御する。すなわち、上述では、コンテンツデータに基づいて、現実空間における上記相対的な座標位置を設定すると記載したが、厳密には、コンテンツデータと、検出した実物体Aの座標位置および形状とに基づいて、上記相対的な座標位置を設定する。また、検出した実物体Aの座標位置および形状に基づいて、画像オブジェクト26を変更する。これらによって、画像オブジェクト26を、検出した実物体Aの座標位置および形状を加味して挙動させる。
Further, the
表示状態制御部75は、右表示駆動部12および左表示駆動部14を制御する制御信号を生成し、表示部30に送信することにより、表示部30における画像表示状態を制御する。具体的には、表示状態制御部75は、制御信号により、右LCD制御部53による右LCD54の駆動のON/OFFや、右バックライト制御部51による右バックライト52の駆動ON/OFF、左LCD制御部63による左LCD64の駆動ON/OFFや、左バックライト制御部61による左バックライト62の駆動のON/OFF等を個別に制御することにより、右表示駆動部12および左表示駆動部14のそれぞれによる画像光の生成および射出を制御する。
The display
音声処理部76は、音声信号を右イヤホン18および左イヤホン19に送信して、右イヤホン18および左イヤホン19に音声出力を行わせる。
The
次に図4を参照して、頭部装着型表示装置1による画像オブジェクト26の表示動作について説明する。なお、本表示動作は、図外のコントローラーを用いた動作開始操作に起因して行われるものである。
Next, the display operation of the
図4に示すように、頭部装着型表示装置1は、まず、外界用カメラ17により、現実風景23を撮像する(S1)。そして、画像解析部72により、外界用カメラ17の撮像画像中のマーカーMKを認識し、実物体Aを認識する(S2)。なお、図2の例では、撮影画像からマーカーMKが認識できる壁A1、A2を認識する。
As shown in FIG. 4, the head-mounted display device 1 first captures an
実物体Aを認識したら、距離センサー41により、使用者から実物体Aまでの距離を検出し(S3)、9軸センサー43により、使用者の頭部の向きを検出する(S4)。そして、物体検出部73により、画像解析部72による実物体Aの認識結果と、検出した使用者から実物体Aまでの距離の情報と、検出した頭部の向きの情報とに基づいて、実物体Aの座標位置(使用者に対する相対的な座標位置)および形状を検出する(S5)。
When the real object A is recognized, the
実物体Aの座標位置および形状を検出したら、視線検出センサー44により、使用者の視線を検出する(S6)。そして、表示制御部74により、検出した視線の情報と、検出した頭部の向きの情報とに基づいて、使用者の視界21(の向き)を推測する(S7)。
When the coordinate position and shape of the real object A are detected, the visual
その後、表示制御部74により、コンテンツデータと、検出した実物体Aの座標位置および形状に基づいて、現実空間上における画像オブジェクト26の座標位置(実物体Aに対する相対的な座標位置)を設定する(S8)。そして、推定した視界21と、設定した画像オブジェクト26の座標位置(実物体Aに対する相対的な座標位置)と、検出した実物体Aの座標位置(使用者に対する相対的な座標位置)とに基づいて、現実空間の座標系に合わせて視認させるように、画像オブジェクト26の表示位置、表示サイズおよび向きを決定し(S9)、画像オブジェクト26を含む表示データを生成する(S10)。その後、生成した表示データを表示部30に送信する(S11)。なお、請求項にいう「表示制御ステップ」は、S6からS10までの工程により構成されている。
Thereafter, the
そして、表示部30により、この画像オブジェクト26を含む表示データを、表示部30により表示(画像光を網膜に投写)する(S12:表示ステップ)。これにより、本表示動作を終了する。
Then, the
ここで図5ないし図7を参照して、表示制御部74による画像オブジェクト26の挙動制御について説明する。上述したように、表示制御部74は、画像オブジェクト26の挙動を、検出した実物体Aの座標位置および形状に合わせて制御する。図5は、表示制御部74による画像オブジェクト26の挙動制御の第1例を示した遷移図である。図5の例では、表示制御部74は、検出された実物体Aの座標位置と、設定された画像オブジェクト26の座標位置とに基づいて、使用者から見て画像オブジェクト26が実物体Aの後方に位置する(と推測される)場合、画像オブジェクト26の、実物体Aとの重畳部分26aが消えるように、画像オブジェクト26を変化させる。具体的には、同図に示すように、画像オブジェクト26を、使用者から見て壁A1の後ろ側に移動させたとき、画像オブジェクト26を、使用者から見た壁A1との重畳部分26aが消えるように変化させる。このように画像オブジェクト26が使用者から見て壁A1の後ろに隠れたかのように表示させる。
Here, the behavior control of the
図6は、表示制御部74による画像オブジェクト26の挙動制御の第2例を示した遷移図である。図6の例では、表示制御部74は、現実空間の座標系において、実物体Aを避けるように、画像オブジェクト26を挙動させる。具体的には、同図に示すように、画像オブジェクト26を、障害物である柱A4の近くまで移動させたとき、画像オブジェクト26の軌道を変えさせて、実物体Aを避けたかのように表示させる。
FIG. 6 is a transition diagram showing a second example of behavior control of the
図7は、表示制御部74による画像オブジェクト26の挙動制御の第3例を示した遷移図である。図7の例では、表示制御部74は、現実空間の座標系において、移動させた画像オブジェクト26が実物体Aに達したとき、画像オブジェクト26を、実物体Aと衝突したかのように挙動させる。具体的には、同図に示すように、画像オブジェクト26を、壁A2に達するまで移動させたとき、壁A2から跳ね返るように画像オブジェクト26の軌道を変えさせて、実物体Aと衝突したかのように表示させる。また、画像オブジェクト26が壁A1に達した時点で、画像オブジェクト26が実物体Aに衝突したかのように、画像オブジェクト26を変化させる(図の例では衝突した方向に縮小変形)。
FIG. 7 is a transition diagram illustrating a third example of behavior control of the
以上、実施形態の構成によれば、画像オブジェクト26を、実物体Aの座標位置や形状を加味して挙動させることができるため、リアル感を向上させることができる。また、画像オブジェクト26に、実物体Aの座標位置や形状を加味した挙動をさせることで、透過型の表示装置において、実物体Aを絡めたコンテンツを提供することができる。よって、画像オブジェクト26による、実物体Aを絡めたゲームやナビゲーションサービスを提供することができる。ナビゲーションサービスのコンテンツとしては、例えば、画像オブジェクト26として迷路の案内人を表示し、当該案内人が迷路の壁A1、A2、A3を加味して、壁A1、A2、A3を回避しながら道案内を行うもの等が想定される。また、ゲームのコンテンツとしては、例えば、画像オブジェクト26としてボールを表示し、投げた当該ボールが壁A1、A2、A3に当たって跳ね返ってくるもの等が想定される。
As described above, according to the configuration of the embodiment, the
また、視線検出センサー44により視線を検出し、使用者の視線を加味して、画像オブジェクト26の表示を行うことで、画像オブジェクト26のフィッティング(画像オブジェクト26の表示位置、表示サイズおよび向きの決定)をより精度良く行うことができる。
Further, by detecting the line of sight with the line-of-
さらに、距離センサー41により使用者から実物体Aまでの距離を検出し、この距離を加味して、画像オブジェクト26の表示を行うことで、画像オブジェクト26のフィッティングをより精度良く行うことができる。
Further, by detecting the distance from the user to the real object A by the
なお、本実施形態においては、現実空間上における画像オブジェクト26の座標位置として、実物体Aに対する相対的な座標位置が設定される構成であったが、現実空間上における画像オブジェクト26の座標位置として、使用者に対する相対的な座標位置が設定される構成や、現実空間上における画像オブジェクト26の座標位置として、絶対位置が設定される構成であっても良い。
In the present embodiment, the coordinate position relative to the real object A is set as the coordinate position of the
また、本実施形態においては、現実空間上における実物体Aの座標位置として、使用者に対する相対的な座標位置を検出する構成であったが、現実空間上における実物体Aの座標位置として、絶対位置を検出する構成であっても良い。 In the present embodiment, the coordinate position relative to the user is detected as the coordinate position of the real object A in the real space. However, the coordinate position of the real object A in the real space is absolute. It may be configured to detect the position.
さらに、本実施形態においては、使用者の視線を検出し、使用者の視線と使用者の頭部の向きに基づいて、使用者の視界を検出する構成であったが、使用者の視線が常に真正面を向いているものとし、使用者の頭部の向きのみに基づいて、使用者の視界を検出する構成であっても良い。 Further, in the present embodiment, the user's line of sight is detected, and the user's line of sight is detected based on the user's line of sight and the orientation of the user's head. A configuration in which the user's field of view is detected based on only the orientation of the user's head may be used.
またさらに、本実施形態において、物体認識用のマーカーMKは、ARマーカーであっても良いし、2次元コード(QRコード等)やバーコードであっても良い。 Furthermore, in the present embodiment, the object recognition marker MK may be an AR marker, a two-dimensional code (such as a QR code), or a barcode.
また、本実施形態においては、外界用カメラ17により現実風景を撮像し、撮像画像に対する画像認識を用いて実物体Aの座標位置および形状を検出する構成であったが、現実空間における所定範囲内のすべての実物体Aの座標位置および形状を記憶したマップデータを、予め記憶しておき、これに基づいて実物体Aの座標位置および形状を検出する構成であっても良い。
In the present embodiment, the real scene is captured by the
さらに、本実施形態において、画像オブジェクト26のフィッティングの精度を高めるべく、眼間距離や左右視差角、輻輳角、利き目、画像との視差や実物体に対する使用者の相対速度等を検出し、これらを加味して画像オブジェクト26のフィッティングを行う構成であっても良い。
Further, in the present embodiment, in order to improve the accuracy of the fitting of the
またさらに、現実風景23の光源環境を推測し、この光源環境に合わせて画像オブジェクト26の色、明るさを調整することが好ましい。また、画像オブジェクト26の色、明るさは、使用者から実物体Aまでの距離や、使用者の視環境の変化(例えば暗順応や明順応)も加味して決定することが好ましい。
Furthermore, it is preferable to estimate the light source environment of the
また、本実施形態において、現実空間の座標系における使用者から画像オブジェクト26までの距離を算出し、画像オブジェクト26の焦点距離を変更する構成であっても良い。
In the present embodiment, the distance from the user to the
さらに、本実施形態において、コンテンツにおけるユーザー操作は、図外のコントローラーによって行う構成であっても良いし、使用者の体の一部(指や手等)を認識し、当該体の一部の挙動をユーザー操作として受け付ける構成であっても良い。また、例えば、使用者の手や指、腕等を認識し、表示制御部74は、使用者の手に持たれているかのように、バット、ラケット、トランプやペン等の画像オブジェクト26を表示させる。そして、使用者が手や指、腕等を動かすことで、当該画像オブジェクト26を操作し、この操作をユーザー操作として受け付ける構成であっても良い。かかる場合にも、使用者から見て画像オブジェクト26が実物体Aである使用者の手や指、腕等の後方に位置する場合、画像オブジェクト26の、実物体Aとの重畳部分が消えるように、画像オブジェクト26を変化させる。また、使用者が扱うことができる実物体A(例えばバット、ラケット、トランプやペン)を認識し、当該実物体Aの挙動をユーザー操作として受け付ける構成であっても良い。ひいては、使用者の頭の動き(例えば向き)や使用者の視線を検出し、これをユーザー操作として受け付ける構成であっても良い。
Furthermore, in this embodiment, the user operation in the content may be configured to be performed by a controller (not shown), or a part of the user's body (finger, hand, etc.) is recognized and the part of the body is recognized. It may be configured to accept behavior as a user operation. In addition, for example, the user's hand, finger, arm, or the like is recognized, and the
またさらに、表示させる画像オブジェクト26は、上記したものに限定されるものではなく、例えば、矢印やマークの画像オブジェクト26を表示させる構成であっても良い。また、現実空間の物や人体の一部(指先や腕等)を撮影して取り込み、これを画像オブジェクト26として表示させる構成であっても良い。
Furthermore, the
また、本実施形態において、頭部装着型表示装置1が図外のコントローラーを有し、当該コントローラーに、画像解析部72、物体検出部73、表示制御部74、表示状態制御部75および音声処理部76の一部または全部を搭載する構成であっても良い。かかる場合、当該コントローラーは、コード等により、制御部34もしくは表示部30等(表示部30、外界用カメラ17、センサー部31、右イヤホン18および左イヤホン19)に有線接続されている構成であっても良いし、無線LANや赤外線通信、Bluetooth(登録商標)等により、制御部34もしくは表示部30等に無線接続されている構成であっても良い。また、当該コントローラーの機能を、パーソナルコンピュータ(PC)、携帯情報端末(PDA、携帯電話、時計型携帯端末、スマートフォン)等により実現しても良い。
In the present embodiment, the head-mounted display device 1 has a controller (not shown), and the controller includes an
さらに、本実施形態においては、表示装置として両眼タイプの頭部装着型表示装置1(光学透過型頭部装着型表示装置)を例示しているが、本発明は、例えば、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施形態では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置1を例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ(眼の前方の一部を覆うタイプ)の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイ等の他の表示装置にも適用可能である。 Furthermore, in the present embodiment, the binocular head-mounted display device 1 (optically transmissive head-mounted display device) is exemplified as the display device, but the present invention is, for example, a monocular type or the like. The present invention can also be applied to other types of head mounted display devices. Moreover, in the said embodiment, although the spectacles type head mounted display apparatus 1 which covers the front of eyes is illustrated, it is not restricted to this, The type (front of eyes) which does not completely cover the front of eyes The present invention can also be applied to a head-mounted display device of a type that partially covers). Furthermore, the present invention is not limited to the head-mounted display device, but can be applied to other display devices such as a head-up display.
またさらに、本実施形態においては、画像光出力部が、バックライト制御部(右バックライト制御部51および左バックライト制御部61)と、バックライト(右バックライト52および左バックライト62)と、LCD制御部(右LCD制御部53および左LCD制御部63)と、LCD(右LCD54および左LCD64)とを備える構成であったが、この様態はあくまでも一例である。画像光出力部が、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。
Furthermore, in the present embodiment, the image light output unit includes a backlight control unit (right
例えば、画像光出力部が、有機EL(有機エレクトロルミネッセンス,Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像光出力部が、LCDに代えて、LCOS(Liquid crystal on silicon,LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を備える構成であっても良い。 For example, the image light output unit may include an organic EL (Organic Electro-Luminescence) display and an organic EL control unit. Further, for example, the image light output unit may be configured to include LCOS (Liquid crystal on silicon, LCoS is a registered trademark), a digital micromirror device, or the like instead of the LCD.
また、本実施形態においては、いわゆる虚像投写型の頭部装着型表示装置1(ヘッドマウントディスプレイ)に、本発明を適用したが、例えば、レーザー網膜投影型(いわゆる網膜走査型)の頭部装着型表示装置に対して本発明を適用することも可能である。 In the present embodiment, the present invention is applied to the so-called virtual image projection type head-mounted display device 1 (head-mounted display). For example, a laser retinal projection type (so-called retinal scanning type) head-mounted The present invention can also be applied to a type display device.
さらに、本実施形態においては、画像光出力部が、投写光学系(右投写光学系55および左投写光学系65)を備え、LCDから射出された画像光を投写する構成であったが、画像光出力部が、投写光学系に代えて、例えばMEMSミラーで構成された走査光学系を備えると共に、走査光学系に信号光を射出する信号光変調部(信号光形成部)を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系(MEMSミラー)に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成される。この虚像を使用者が眼で捉えることで画像を認識させることができる。
Further, in the present embodiment, the image light output unit includes the projection optical system (the right projection
またさらに、本実施形態においては、頭部装着型表示装置1に本発明を適用する構成であったが、頭部装着型表示装置1と、外部機器もしくは外部サーバーとを接続した表示システムに、本発明を適用しても良い。かかる場合、画像解析部72、物体検出部73、表示制御部74、表示状態制御部75および音声処理部76の一部または全部を、外部機器もしくは外部サーバー側に搭載する構成とする。
Furthermore, in the present embodiment, the present invention is applied to the head-mounted display device 1, but a display system in which the head-mounted display device 1 is connected to an external device or an external server. The present invention may be applied. In such a case, a part or all of the
1:頭部装着型表示装置、 26:画像オブジェクト、 26a:重畳部分、 30:表示部、 41:距離センサー、 44:視線検出センサー、 73:物体検出部、 74:表示制御部、 A:実物体 1: head-mounted display device, 26: image object, 26a: overlapping portion, 30: display unit, 41: distance sensor, 44: gaze detection sensor, 73: object detection unit, 74: display control unit, A: real thing body
Claims (10)
現実空間上の実物体の座標位置および形状を検出する物体検出部と、
現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、
前記画像オブジェクトを表示する表示部と、を備え、
前記表示制御部は、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示装置。 A transmissive display device that allows a user to visually recognize an image as a virtual image,
An object detection unit for detecting the coordinate position and shape of a real object in real space;
A display control unit for displaying an image object in which a coordinate position in the real space is set so as to be visually recognized according to a coordinate system in the real space;
A display unit for displaying the image object,
The display control unit controls the image object according to a coordinate position and a shape of the real object.
前記表示制御部は、検出した前記視線に基づいて、前記画像オブジェクトを表示させることを特徴する請求項1ないし5のいずれか1項に記載の表示装置。 A line-of-sight detection unit for detecting the line of sight of the user,
The display device according to claim 1, wherein the display control unit displays the image object based on the detected line of sight.
前記表示制御部は、検出した前記距離に基づいて、前記画像オブジェクトを表示させることを特徴する請求項1ないし6のいずれか1項に記載の表示装置。 A distance detection unit for detecting a distance from the user to the real object;
The display device according to claim 1, wherein the display control unit displays the image object based on the detected distance.
前記画像の画像光を出力する画像光出力部と、
出力された前記画像光を前記使用者の眼に導く導光部と、を有し、
前記導光部は、外光を透過し、当該外光を前記画像光と共に前記使用者の眼に入射させることを特徴とする請求項1ないし7のいずれか1項に記載の表示装置。 The display unit
An image light output unit for outputting image light of the image;
A light guide that guides the output image light to the user's eyes,
The display device according to claim 1, wherein the light guide unit transmits external light and causes the external light to enter the user's eyes together with the image light.
現実空間上の実物体の座標位置および形状を検出する物体検出部と、
現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、
前記表示画像を表示する表示部と、を備え、
前記表示制御部は、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示システム。 A transmissive display system that allows a user to visually recognize a display image as a virtual image,
An object detection unit for detecting the coordinate position and shape of a real object in real space;
A display control unit for displaying an image object in which a coordinate position in the real space is set so as to be visually recognized according to a coordinate system in the real space;
A display unit for displaying the display image,
The display system, wherein the display control unit controls the image object according to a coordinate position and a shape of the real object.
現実空間上の実物体の座標位置および形状を検出する物体検出ステップと、
現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御ステップと、
前記画像オブジェクトを表示する表示ステップと、を実行し、
前記表示制御ステップでは、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示装置の制御方法。 A control method for a transmissive display device that allows a user to visually recognize a display image as a virtual image,
An object detection step for detecting the coordinate position and shape of a real object in real space;
A display control step for displaying an image object in which a coordinate position in the real space is set so as to be visually recognized according to a coordinate system in the real space;
Performing a display step of displaying the image object;
In the display control step, the image object is controlled in accordance with the coordinate position and shape of the real object.
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013156022A JP2015026286A (en) | 2013-07-26 | 2013-07-26 | Display device, display system and control method of display device |
US14/773,689 US20160033770A1 (en) | 2013-03-26 | 2014-03-14 | Head-mounted display device, control method of head-mounted display device, and display system |
BR112015024910A BR112015024910A2 (en) | 2013-03-26 | 2014-03-14 | head mounted display device, head mounted display device control method and display system |
EP14718781.9A EP2979446A1 (en) | 2013-03-26 | 2014-03-14 | Head-mounted display device, control method of head-mounted display device, and display system |
KR1020157030674A KR101845350B1 (en) | 2013-03-26 | 2014-03-14 | Head-mounted display device, control method of head-mounted display device, and display system |
RU2015145510A RU2015145510A (en) | 2013-03-26 | 2014-03-14 | CRIMINAL DISPLAY DEVICE, METHOD FOR MANAGEMENT OF THE CRIMINAL DISPLAY DEVICE AND DISPLAY SYSTEM |
PCT/JP2014/001464 WO2014156033A1 (en) | 2013-03-26 | 2014-03-14 | Head-mounted display device, control method of head-mounted display device, and display system |
TW103110753A TW201437688A (en) | 2013-03-26 | 2014-03-21 | Head-mounted display device, control method of head-mounted display device, and display system |
CN201410111332.7A CN104076513B (en) | 2013-03-26 | 2014-03-24 | The control method and display system of head-mounted display apparatus, head-mounted display apparatus |
US16/293,975 US11054650B2 (en) | 2013-03-26 | 2019-03-06 | Head-mounted display device, control method of head-mounted display device, and display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013156022A JP2015026286A (en) | 2013-07-26 | 2013-07-26 | Display device, display system and control method of display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015026286A true JP2015026286A (en) | 2015-02-05 |
Family
ID=52490878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013156022A Pending JP2015026286A (en) | 2013-03-26 | 2013-07-26 | Display device, display system and control method of display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015026286A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105607260A (en) * | 2016-03-03 | 2016-05-25 | 北京小鸟看看科技有限公司 | Picture display method and device, and head-mounted device |
JP2017134630A (en) * | 2016-01-28 | 2017-08-03 | セイコーエプソン株式会社 | Display device, control method of display device, and program |
JP2017192106A (en) * | 2016-04-15 | 2017-10-19 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JPWO2016143402A1 (en) * | 2015-03-11 | 2017-12-21 | ソニー株式会社 | Information processing apparatus and information processing method |
JP2018029304A (en) * | 2016-08-19 | 2018-02-22 | 日本電信電話株式会社 | Virtual image display system, virtual image display device and virtual image display method |
JP2019065467A (en) * | 2017-09-28 | 2019-04-25 | 大和ハウス工業株式会社 | Pile position inspection device and pile position inspection method |
US11232603B2 (en) | 2019-10-28 | 2022-01-25 | Fujifilm Business Innovation Corp. | Information processing device and computer readable medium |
CN116212361A (en) * | 2021-12-06 | 2023-06-06 | 广州视享科技有限公司 | Virtual object display method and device and head-mounted display device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293142A (en) * | 2004-03-31 | 2005-10-20 | Canon Inc | Image processing method and image processing device |
JP2006012042A (en) * | 2004-06-29 | 2006-01-12 | Canon Inc | Image generating method and device |
JP2009104249A (en) * | 2007-10-19 | 2009-05-14 | Canon Inc | Image processing apparatus, and image processing method |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
JP2011128838A (en) * | 2009-12-17 | 2011-06-30 | Panasonic Corp | Image display device |
JP2012058968A (en) * | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
JP2013122519A (en) * | 2011-12-12 | 2013-06-20 | Seiko Epson Corp | Transmission type display device, display method and display program |
-
2013
- 2013-07-26 JP JP2013156022A patent/JP2015026286A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293142A (en) * | 2004-03-31 | 2005-10-20 | Canon Inc | Image processing method and image processing device |
JP2006012042A (en) * | 2004-06-29 | 2006-01-12 | Canon Inc | Image generating method and device |
JP2009104249A (en) * | 2007-10-19 | 2009-05-14 | Canon Inc | Image processing apparatus, and image processing method |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
JP2011128838A (en) * | 2009-12-17 | 2011-06-30 | Panasonic Corp | Image display device |
JP2012058968A (en) * | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
JP2013122519A (en) * | 2011-12-12 | 2013-06-20 | Seiko Epson Corp | Transmission type display device, display method and display program |
Non-Patent Citations (3)
Title |
---|
橋本直: ""2 ARToolKitによるC/C++でのアプリケーション開発"", SOFTWAREDESIGN, vol. 第219号, JPN6018000698, 18 January 2009 (2009-01-18), JP, pages 155 - 162, ISSN: 0003717720 * |
河出弘志, 外3名: ""現実物体と仮想物体のインタラクションを考慮したARに基づく情報提示装置の開発"", 映像情報メディア学会技術報告, vol. 第35巻, 第9号, JPN6017026842, 14 February 2011 (2011-02-14), JP, pages 59 - 63, ISSN: 0003717721 * |
鈴木翼, 外1名: ""ARにおける前後関係を考慮した現実とCGの表示"", 第73回(平成23年)全国大会講演論文集(4) インタフェース コンピュータと人間社会, JPN6017026845, 2 March 2011 (2011-03-02), pages 4 - 293, ISSN: 0003603220 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016143402A1 (en) * | 2015-03-11 | 2017-12-21 | ソニー株式会社 | Information processing apparatus and information processing method |
JP2017134630A (en) * | 2016-01-28 | 2017-08-03 | セイコーエプソン株式会社 | Display device, control method of display device, and program |
CN105607260A (en) * | 2016-03-03 | 2016-05-25 | 北京小鸟看看科技有限公司 | Picture display method and device, and head-mounted device |
JP2017192106A (en) * | 2016-04-15 | 2017-10-19 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2018029304A (en) * | 2016-08-19 | 2018-02-22 | 日本電信電話株式会社 | Virtual image display system, virtual image display device and virtual image display method |
JP2019065467A (en) * | 2017-09-28 | 2019-04-25 | 大和ハウス工業株式会社 | Pile position inspection device and pile position inspection method |
JP7036559B2 (en) | 2017-09-28 | 2022-03-15 | 大和ハウス工業株式会社 | Pile position inspection device and pile position inspection method |
US11232603B2 (en) | 2019-10-28 | 2022-01-25 | Fujifilm Business Innovation Corp. | Information processing device and computer readable medium |
US11790571B2 (en) | 2019-10-28 | 2023-10-17 | Fujifilm Business Innovation Corp. | Information processing device and computer readable medium |
CN116212361A (en) * | 2021-12-06 | 2023-06-06 | 广州视享科技有限公司 | Virtual object display method and device and head-mounted display device |
CN116212361B (en) * | 2021-12-06 | 2024-04-16 | 广州视享科技有限公司 | Virtual object display method and device and head-mounted display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6225546B2 (en) | Display device, head-mounted display device, display system, and display device control method | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
JP2015026286A (en) | Display device, display system and control method of display device | |
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
US10740971B2 (en) | Augmented reality field of view object follower | |
WO2016063504A1 (en) | Head-mounted type display device and method for controlling same, and computer program | |
US20170294039A1 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
US10303435B2 (en) | Head-mounted display device, method of controlling head-mounted display device, and computer program | |
JP6089705B2 (en) | Display device and control method of display device | |
US10948724B2 (en) | Transmissive display device, display control method, and computer program | |
US9261959B1 (en) | Input detection | |
AU2013351980A1 (en) | Direct hologram manipulation using IMU | |
US20190285896A1 (en) | Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus | |
US8823740B1 (en) | Display system | |
JP6349660B2 (en) | Image display device, image display method, and image display program | |
JP2017091433A (en) | Head-mounted type display device, method of controlling head-mounted type display device, and computer program | |
JP6492673B2 (en) | Head-mounted display device, method for controlling head-mounted display device, computer program | |
JP2016024208A (en) | Display device, method for controlling display device, and program | |
JP2016122177A (en) | Display device and control method of display device | |
JP2016186561A (en) | Display device, control method for display device, and program | |
JP2016091348A (en) | Head-mounted display device and control method for the same as well as computer program | |
JP2018042004A (en) | Display device, head-mounted type display device, and method for controlling display device | |
JP6451222B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
JP2016034091A (en) | Display device, control method of the same and program | |
JP6287399B2 (en) | Head-mounted display device and method for controlling head-mounted display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180116 |