JP2011186856A - Mobile terminal to be used with head mounted display as external display device - Google Patents

Mobile terminal to be used with head mounted display as external display device Download PDF

Info

Publication number
JP2011186856A
JP2011186856A JP2010052346A JP2010052346A JP2011186856A JP 2011186856 A JP2011186856 A JP 2011186856A JP 2010052346 A JP2010052346 A JP 2010052346A JP 2010052346 A JP2010052346 A JP 2010052346A JP 2011186856 A JP2011186856 A JP 2011186856A
Authority
JP
Japan
Prior art keywords
display
mobile terminal
hmd
screen
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010052346A
Other languages
Japanese (ja)
Other versions
JP5681850B2 (en
Inventor
Yusuke Inuzuka
祐介 犬塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010052346A priority Critical patent/JP5681850B2/en
Publication of JP2011186856A publication Critical patent/JP2011186856A/en
Application granted granted Critical
Publication of JP5681850B2 publication Critical patent/JP5681850B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mounted display to be used by a user naturally as if the user operates an ordinary mobile terminal. <P>SOLUTION: The mobile terminal system includes a mobile terminal equipped with a display apparatus that displays an image according to display information, and a head mounted display that displays a virtual screen in a display region in a field of view of a user on the basis of the display information acquired from the mobile terminal. The head mounted display includes an imaging section, and a terminal posture acquiring section that generates position information showing the relative position of the mobile terminal with respect to the head mounted display on the basis of the display on the display apparatus captured by the imaging section. The display region is positioned to overlap the display screen of the display apparatus on the basis of the position information. An image corresponding to the display information is displayed on the virtual screen. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明はヘッドマウントディスプレイを外部表示装置として使用する携帯端末に関する。   The present invention relates to a portable terminal that uses a head-mounted display as an external display device.

携帯電話機などの携帯端末装置にヘッドマウントディスプレイ（ＨＭＤ）を連動させて使用する技術が開発されて来ている。図１、図２はそのような技術を説明するための参考例を示す。図１はユーザがＨＭＤを装着している状況を示す。図２はユーザの視野を示す。ユーザは、ＨＭＤ３０２を装着して携帯端末３０１を利用する。   Techniques for using a head-mounted display (HMD) in conjunction with a mobile terminal device such as a mobile phone have been developed. 1 and 2 show a reference example for explaining such a technique. FIG. 1 shows a situation where the user is wearing the HMD. FIG. 2 shows the user's field of view. A user wears the HMD 302 and uses the mobile terminal 301.

ＨＭＤ３０２は透明な投影スクリーンを有する。ユーザは眼鏡を掛けているようにスクリーンを通して外界を見ることができる。ユーザの視野３０３には、ＨＭＤ３０２によってスクリーン上の定まった領域に仮想画面３０Ａが投影される。ユーザの視野３０３には更に、スクリーンを通して携帯端末３０１とその表示画面３１１が見える。携帯端末３０１が記憶しているテキストや画像を仮想画面３０Ａに投影することにより、ユーザは携帯端末３０１の表示画面３１１よりも大きな仮想画面３０Ａで情報を見ることができる。   The HMD 302 has a transparent projection screen. The user can see the outside through the screen as if wearing glasses. The virtual screen 30 </ b> A is projected onto the user's visual field 303 on a region defined on the screen by the HMD 302. The user's visual field 303 further shows the mobile terminal 301 and its display screen 311 through the screen. By projecting text and images stored in the mobile terminal 301 onto the virtual screen 30 </ b> A, the user can view information on the virtual screen 30 </ b> A that is larger than the display screen 311 of the mobile terminal 301.

この参考例においては、ＨＭＤ３０２の固定の位置に携帯端末３０１の表示画面３１１の内容が仮想画面３０Ａとして表示される。そのため仮想画面３０Ａが使用者の視界をさえぎる。仮想画面３０Ａによってさえぎられる外界の状況を目視で確認するためには表示をオフにする必要があり、使用状況によっては不便である。   In this reference example, the content of the display screen 311 of the portable terminal 301 is displayed as a virtual screen 30A at a fixed position of the HMD 302. Therefore, the virtual screen 30A blocks the user's view. In order to visually confirm the situation of the outside world blocked by the virtual screen 30A, it is necessary to turn off the display, which is inconvenient depending on the use situation.

この問題を解決するため、ＨＭＤ３０２の視界の中心からずらした場所に小さく仮想画面３０Ａを表示することが考えられる。しかしこの方法では、仮想画面３０Ａを見るためにユーザの視線が常に視界の中心からずれる。そのため、長期間の利用は使用者にとって負担となる。また、画面が小さいため表示できる情報量が限られる、という問題がある。   In order to solve this problem, it is conceivable to display the virtual screen 30 </ b> A small at a location shifted from the center of the field of view of the HMD 302. However, with this method, the user's line of sight always deviates from the center of the field of view in order to view the virtual screen 30A. Therefore, long-term use is a burden on the user. Another problem is that the amount of information that can be displayed is limited because the screen is small.

さらに、公共の場で使用すると、周囲の人々から見ると中空を凝視していることになり不自然である。更に、仮想画面３０Ａを見ているユーザの視線の先に他人が居ると、他人を凝視していると誤解される恐れがある。このような問題を解消する技術が望まれる。   Furthermore, when used in public places, it is unnatural because it is staring at the hollow when viewed from the surrounding people. Furthermore, if there is another person at the end of the line of sight of the user looking at the virtual screen 30 </ b> A, there is a risk of misunderstanding that the person is staring at another person. A technique for solving such problems is desired.

以下、ＨＭＤに関する参考技術として特許文献１〜４を挙げる。   Hereinafter, Patent Documents 1 to 4 are listed as reference technologies related to the HMD.

特開２００１−３５６８７５号公報JP 2001-356875 A 特開２００７−０１８１８８号公報JP 2007-018188 A 特表２００７−５２８７４３号公報JP-T-2007-528743 特表２００９−５３８４８７号公報Special table 2009-538487

ユーザが通常の携帯端末の操作に近い自然な動作で使用することができるヘッドマウントディスプレイが望まれる。   A head-mounted display that can be used by a user with a natural motion close to that of a normal mobile terminal is desired.

本発明の一側面における携帯端末システムは、表示情報に応じて表示を行う表示装置を備える携帯端末と、携帯端末から取得した表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッドマウントディスプレイとを備える。ヘッドマウントディスプレイは、撮像部と、撮像部によって撮像された表示装置の表示に基づいてヘッドマウントディスプレイに対する携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備える。表示領域は位置情報に基づいて表示装置の表示画面に重なる位置に設定される。仮想画面に表示情報に応じた表示が行われる。   A mobile terminal system according to an aspect of the present invention includes a mobile terminal including a display device that performs display according to display information, and a virtual screen in a display area within a wearer's field of view based on display information acquired from the mobile terminal. And a head-mounted display for displaying. The head-mounted display includes an imaging unit and a terminal posture acquisition unit that generates position information indicating the relative position of the mobile terminal with respect to the head-mounted display based on the display of the display device captured by the imaging unit. The display area is set at a position overlapping the display screen of the display device based on the position information. Display according to display information is performed on the virtual screen.

本発明により、ユーザが通常の携帯端末の操作に近い自然な動作で使用することができるヘッドマウントディスプレイが提供される。   According to the present invention, a head-mounted display that can be used by a user in a natural operation close to normal operation of a mobile terminal is provided.

図１は、参考例におけるヘッドマウントディスプレイと携帯端末を示す。FIG. 1 shows a head mounted display and a portable terminal in a reference example. 図２は、参考例におけるヘッドマウントディスプレイの視野を示す。FIG. 2 shows the field of view of the head-mounted display in the reference example. 図３は、一実施形態におけるヘッドマウントディスプレイと携帯端末を示す。FIG. 3 shows a head mounted display and a portable terminal according to an embodiment. 図４は、一実施形態におけるヘッドマウントディスプレイの視野を示す。FIG. 4 shows the field of view of the head mounted display in one embodiment. 図５は、一実施形態における携帯端末を示す。FIG. 5 shows a portable terminal in one embodiment. 図６は、一実施形態におけるヘッドマウントディスプレイと携帯端末の構成を示す。FIG. 6 shows a configuration of a head mounted display and a portable terminal in one embodiment. 図７は、一実施形態における携帯端末を示す。FIG. 7 shows a portable terminal according to an embodiment. 図８は、一実施形態におけるヘッドマウントディスプレイを示す。FIG. 8 shows a head mounted display in one embodiment. 図９は、一実施形態におけるヘッドマウントディスプレイと携帯端末の動作を示す。FIG. 9 shows operations of the head mounted display and the portable terminal in the embodiment. 図１０は、一実施形態におけるヘッドマウントディスプレイと携帯端末の動作を示す。FIG. 10 shows operations of the head mounted display and the portable terminal in one embodiment. 図１１は、一実施形態におけるヘッドマウントディスプレイと携帯端末の動作を示す。FIG. 11 shows operations of the head mounted display and the portable terminal in the embodiment. 図１２は、一実施形態におけるヘッドマウントディスプレイと携帯端末の構成を示す。FIG. 12 shows the configuration of a head-mounted display and a mobile terminal in one embodiment. 図１３は、一実施形態における携帯端末を示す。FIG. 13 shows a portable terminal in one embodiment. 図１４は、一実施形態におけるヘッドマウントディスプレイと携帯端末の動作を示す。FIG. 14 shows operations of the head mounted display and the portable terminal in the embodiment. 図１５は、一実施形態における携帯端末を示す。FIG. 15 shows a mobile terminal according to an embodiment. 図１６は、一実施形態におけるヘッドマウントディスプレイと携帯端末の構成を示す。FIG. 16 shows a configuration of a head-mounted display and a mobile terminal in one embodiment.

以下、図面を参照して本発明の実施形態について説明する。図６は、本発明の第１の実施形態における携帯端末システムの構成を示すブロック図である。携帯端末システムは、携帯端末１ヘッドマウントディスプレイ２からなる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 6 is a block diagram showing the configuration of the mobile terminal system in the first embodiment of the present invention. The portable terminal system includes a portable terminal 1 and a head mounted display 2.

携帯端末１は、演算回路１０、表示部１１、キー操作部１２、通信部１３を備える情報処理装置である。キー操作部１２は入力キー等を備える入力装置である。使用者がキー操作部１２に対して入力操作を行うと、その入力操作に応答して演算回路１０が情報処理を行い、その結果が表示部１１に表示される。携帯端末１の例として、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの小型の情報処理装置が挙げられる。   The portable terminal 1 is an information processing apparatus that includes an arithmetic circuit 10, a display unit 11, a key operation unit 12, and a communication unit 13. The key operation unit 12 is an input device including input keys and the like. When the user performs an input operation on the key operation unit 12, the arithmetic circuit 10 performs information processing in response to the input operation, and the result is displayed on the display unit 11. Examples of the portable terminal 1 include a small information processing apparatus such as a cellular phone and a PDA (Personal Digital Assistant).

演算回路１０は表示制御部１０１、キー制御部１０２、通信制御部１０３、アプリケーション１０４、ＨＭＤ制御部１０５、端末姿勢取得部１０６を含む。具体的にはこれらは、携帯端末１のＣＰＵが記憶装置に予め格納されたプログラムを読み出して実行することによって実現される機能ブロックである。   The arithmetic circuit 10 includes a display control unit 101, a key control unit 102, a communication control unit 103, an application 104, an HMD control unit 105, and a terminal attitude acquisition unit 106. Specifically, these are functional blocks realized by the CPU of the mobile terminal 1 reading and executing a program stored in advance in the storage device.

表示制御部１０１は、通信部１３を介して無線通信によって受信したり、リムーバブルな記億媒体から読み取ったり、携帯端末１の内蔵カメラで撮影することによって生成された画像データを表示部１１で表示する。   The display control unit 101 displays, on the display unit 11, image data generated by wireless communication via the communication unit 13, reading from a removable storage medium, or shooting with the built-in camera of the mobile terminal 1. To do.

キー制御部１０２は、使用者の入力操作に応答してキー操作部１２が生成した入力信号を受け取ってアプリケーション１０４にイベントデータとして通知する。通信部１３は無線通信を行うための信号の変調と復調を行う回路である。通信制御部１０３は、通信部１３を用いてＨＭＤ２と通信する手段を提供する。アプリケーション１０４は、キー制御部１０２から受け取った使用者のキー操作のイベントを含むさまざまなイベントを受け取り、情報処理を行ってその結果を表示制御部１０１またはＨＭＤ制御部１０５を用いてユーザへ提示する。   The key control unit 102 receives an input signal generated by the key operation unit 12 in response to a user's input operation and notifies the application 104 as event data. The communication unit 13 is a circuit that modulates and demodulates a signal for performing wireless communication. The communication control unit 103 provides means for communicating with the HMD 2 using the communication unit 13. The application 104 receives various events including the event of the user's key operation received from the key control unit 102, performs information processing, and presents the result to the user using the display control unit 101 or the HMD control unit 105. .

ＨＭＤ制御部１０５は、アプリケーション１０４からの指示により、ＨＭＤ接続状況の確認、ＨＭＤの使用開始、ＨＭＤへの画像表示指示、及びＨＭＤの使用終了の処理を行う。これらの処理では通信制御部１０３を使用してＨＭＤ２との通信を行う。端末姿勢取得部１０６は、ＨＭＤ制御部１０５がＨＭＤ２の使用を開始する処理を行うときに起動される。   In response to an instruction from the application 104, the HMD control unit 105 performs processing for confirming the HMD connection status, starting use of the HMD, instructing image display on the HMD, and ending use of the HMD. In these processes, communication with the HMD 2 is performed using the communication control unit 103. The terminal posture acquisition unit 106 is activated when the HMD control unit 105 performs processing for starting use of the HMD2.

端末姿勢取得部１０６は、表示部１１が表示する位置合わせ用の特定パターンを予め記憶する。端末姿勢取得部１０６は、通信制御部１０３を介してＨＭＤ２のカメラ２１が撮像した画像を取得し、その特定パターンの画像認識を行うことにより携帯端末の表示部１１の姿勢を計算して姿勢情報を生成する。また、ＨＭＤ制御部１０５からの要求に応答して、表示部１１の現在の姿勢を返却する。   The terminal posture acquisition unit 106 stores in advance a specific pattern for alignment displayed on the display unit 11. The terminal posture acquisition unit 106 acquires an image captured by the camera 21 of the HMD 2 via the communication control unit 103, calculates the posture of the display unit 11 of the mobile terminal by performing image recognition of the specific pattern, and posture information. Is generated. In response to a request from the HMD control unit 105, the current posture of the display unit 11 is returned.

表示部１１は、表示制御部１０１から受け取った画像データを表示する。キー操作部１２は、使用者の操作を受けて、操作されたキーの状態を信号としてキー制御部１０２へ送信する。表示部１１は、携帯電話の位置及び姿勢を認識するための位置合わせ用表示を行うための表示装置として機能する。ＨＭＤ２の仮想画面Ａの表示領域は、この位置合わせ用表示に応じて設定される。表示部１１は、ＨＭＤ２が使用されていないとき、表示画面に表示する内容を示す表示情報を表示し、ＨＭＤ２が使用されているときその表示情報の表示を停止する。   The display unit 11 displays the image data received from the display control unit 101. In response to the user's operation, the key operation unit 12 transmits the operated key state to the key control unit 102 as a signal. The display unit 11 functions as a display device for performing alignment display for recognizing the position and orientation of the mobile phone. The display area of the virtual screen A of the HMD 2 is set according to this alignment display. The display unit 11 displays display information indicating the content displayed on the display screen when the HMD 2 is not used, and stops displaying the display information when the HMD 2 is used.

通信部１３は、ＨＭＤ２の通信部２３と相互にデータのやり取りを行う。通信方法は有線及び無線が考えられるが、本実施形態では通信方法を限定せず、既存の任意の通信方法を用いるものとする。   The communication unit 13 exchanges data with the communication unit 23 of the HMD 2. The communication method may be wired or wireless. However, in the present embodiment, the communication method is not limited, and any existing communication method is used.

ＨＭＤ２は、演算回路２０、カメラ２１、表示部２２、通信部２３を備える。演算回路２０は情報の処理を行う部分であり、カメラ制御部２０１、表示制御部２０２、通信制御部２０３を含む。カメラ制御部２０１は、通信制御部２０３を介して受け取った要求に従ってカメラ２１による撮影を行い、取得した画像データを通信制御部２０３を用いて返却する。   The HMD 2 includes an arithmetic circuit 20, a camera 21, a display unit 22, and a communication unit 23. The arithmetic circuit 20 is a part that processes information, and includes a camera control unit 201, a display control unit 202, and a communication control unit 203. The camera control unit 201 performs shooting by the camera 21 according to the request received via the communication control unit 203, and returns the acquired image data using the communication control unit 203.

表示制御部２０２は、携帯端末１などの機器から受け取った画像データを表示部２２で表示する。通信制御部２０３は、通信部２３を用いて携帯端末１と通信する手段を提供する。カメラ２１は、カメラ制御部２０１の指示を受けて撮影を行い、取得した画像データを返却する。カメラ２１は使用者の視線と同じ方向を向いており、中心が使用者の視野とほぼ一致した画像を取得することが出来る。   The display control unit 202 displays image data received from a device such as the mobile terminal 1 on the display unit 22. The communication control unit 203 provides a means for communicating with the mobile terminal 1 using the communication unit 23. The camera 21 takes an image in response to an instruction from the camera control unit 201 and returns the acquired image data. The camera 21 faces in the same direction as the user's line of sight, and can acquire an image whose center substantially coincides with the user's visual field.

表示部２２は、表示制御部２０２から受け取った表示情報に応じて画像データを表示する。表示部２２は非透過スクリーンの場合と透過スクリーンの場合がある。非透過スクリーンは使用者の視界を完全に遮断する。透過スクリーンは使用者の視界に重ね合わせて画像を表示する。また、図８の通りに両眼にスクリーンがある場合と、スクリーンが片眼のみの場合がある。さらに、スクリーンを有するのではなく、網膜へ直接投射する方式のディスプレイも近年開発されており、それを用いてもよい。通信部２３は、携帯端末１の通信部１３と相互にデータのやり取りを行う。通信方法は有線及び無線が考えられるが、本発明では通信方法を限定視せず、既存の通信方法を用いるものとする。   The display unit 22 displays image data according to the display information received from the display control unit 202. The display unit 22 may be a non-transparent screen or a transmissive screen. The non-transparent screen completely blocks the user's view. The transmission screen displays an image superimposed on the user's field of view. Further, as shown in FIG. 8, there are cases where both eyes have screens and where the screen is only one eye. Furthermore, a display that directly projects on the retina instead of having a screen has been developed recently, and it may be used. The communication unit 23 exchanges data with the communication unit 13 of the mobile terminal 1. The communication method may be wired or wireless, but the present invention does not limit the communication method and uses an existing communication method.

図７は、携帯端末１の外観の例を示す。携帯端末１は表示部１１とキー操作部１２を備える。図８は、ＨＭＤ２の外観の例を示す。ＨＭＤ２はカメラ２１と表示部２２を備える。   FIG. 7 shows an example of the appearance of the mobile terminal 1. The mobile terminal 1 includes a display unit 11 and a key operation unit 12. FIG. 8 shows an example of the appearance of the HMD 2. The HMD 2 includes a camera 21 and a display unit 22.

次に、図９、図１０、図１１のフローチャート、および、図６の構成図を参照して、本発明の第１の実施形態について詳細に説明する。図９のフローチャートは、本発明の全体の動作例を示す。   Next, the first embodiment of the present invention will be described in detail with reference to the flowcharts of FIGS. 9, 10, and 11 and the configuration diagram of FIG. The flowchart of FIG. 9 shows an example of the overall operation of the present invention.

ステップＳ０１で、まず携帯端末１の動作開始時に、アプリケーション１０４が、ＨＭＤ制御部１０５を用いてＨＭＤ２との接続状況の確認を行う。この際に、ＨＭＤ制御部１０５は、通信制御部１０３を用いて、ＨＭＤ２との通信の確立を試みる。通信の確立が成功したらアプリケーション１０４へ接続中であることを通知し、アプリケーション１０４はステップＳ０２へ進む。ＨＭＤ２との通信の確立が失敗したら、アプリケーション１０４へ未接続であることを通知し、アプリケーション１０４はステップＳ０３へ進む。   In step S01, first, at the start of the operation of the mobile terminal 1, the application 104 checks the connection status with the HMD 2 using the HMD control unit 105. At this time, the HMD control unit 105 attempts to establish communication with the HMD 2 using the communication control unit 103. If the communication is successfully established, the application 104 is notified that the connection is being established, and the application 104 proceeds to step S02. If establishment of communication with the HMD 2 fails, the application 104 is notified that it is not connected, and the application 104 proceeds to step S03.

ステップＳ０２では、アプリケーション１０４はＨＭＤ制御部１０５へ、ＨＭＤ２の使用開始の指示を出す。ＨＭＤ制御部１０５のＨＭＤ使用開始の処理については、図１０を用いて後で説明する。
ステップＳ０３では、アプリケーション１０４がＨＭＤ２を使用中か否かで分岐を行う。使用中の場合はステップＳ０４へ進み、使用中でない場合はステップＳ０５へ進む。 In step S02, the application 104 instructs the HMD control unit 105 to start using HMD2. The HMD use start processing of the HMD control unit 105 will be described later with reference to FIG.
In step S03, branching is performed depending on whether the application 104 is using the HMD2. If it is in use, the process proceeds to step S04. If it is not in use, the process proceeds to step S05.

ステップＳ０４では、アプリケーション１０４はＨＭＤ制御部１０５に対してユーザに提示する画面の画像データを送付し、ＨＭＤ２の仮想画面Ａの更新の指示を行う。ＨＭＤ制御部１０５による画面更新の処理については、図１１を用いて後で説明する。アプリケーション１０４がＨＭＤ制御部１０５に送付する画像のサイズは、携帯端末の表示部１１へ出力するサイズと異なってもよい。ＨＭＤ２の表示部２２の解像度が高い場合はそれを活かすために、携帯端末１の表示部１１へ出力するサイズより大きい画像を出力してもよい。   In step S04, the application 104 sends image data of a screen to be presented to the user to the HMD control unit 105, and instructs to update the virtual screen A of the HMD2. The screen update processing by the HMD control unit 105 will be described later with reference to FIG. The size of the image that the application 104 sends to the HMD control unit 105 may be different from the size that is output to the display unit 11 of the mobile terminal. When the resolution of the display unit 22 of the HMD 2 is high, an image larger than the size to be output to the display unit 11 of the mobile terminal 1 may be output in order to make use of it.

ステップＳ０５では、アプリケーション１０４は表示制御部１０１を用いて、ユーザに提示する画像データを表示部１１へ表示する。
ステップＳ０６では、アプリケーション１０４はキー操作部１０２やその他システム内から受け取ったイベントを取得し、イベントの内容により処理を分岐する。ステップＳ０６で取得したイベントが処理の終了であった場合は、アプリケーションの処理を終了し、携帯端末１の動作を終了する。 In step S <b> 05, the application 104 displays image data to be presented to the user on the display unit 11 using the display control unit 101.
In step S06, the application 104 acquires an event received from the key operation unit 102 or other system, and branches the process depending on the content of the event. When the event acquired in step S06 is the end of the process, the process of the application is ended and the operation of the mobile terminal 1 is ended.

ステップＳ０６で取得したイベントがＨＭＤ２の使用終了であった場合は、ステップＳ０７で、ＨＭＤ制御部１０５へＨＭＤ２の使用終了を指示し、ＨＭＤ制御部１０５は端末姿勢取得部１０６へ動作の停止を指示し、通信制御部１０３を用いてＨＭＤ２の動作を終了し、ＨＭＤ２との接続を解除する。
ステップＳ０６で取得したイベントがＨＭＤ２の使用開始であった場合は、ステップＳ０１へ戻り、ＨＭＤ２の使用を再開する。
ステップＳ０６で取得したイベントが上記以外のアプリケーション１０４の処理にかかわるものであった場合は、ステップＳ０８でアプリケーション１０４内部でイベントに即した処理を行い、ステップＳ０３へ戻り、使用者へ提示する画面の更新に進む。 If the event acquired in step S06 is the end of use of the HMD2, in step S07, the HMD control unit 105 is instructed to end the use of the HMD2, and the HMD control unit 105 instructs the terminal attitude acquisition unit 106 to stop the operation. Then, the operation of the HMD 2 is terminated using the communication control unit 103 and the connection with the HMD 2 is released.
If the event acquired in step S06 is the start of use of HMD2, the process returns to step S01 to resume use of HMD2.
If the event acquired in step S06 is related to processing of the application 104 other than the above, processing corresponding to the event is performed in the application 104 in step S08, and the process returns to step S03 to display the screen presented to the user. Proceed to update.

図１０のフローチャートは、図９のフローチャートのステップＳ０２の、ＨＭＤ使用開始の処理の詳細である。
ステップＳ１１では、ＨＭＤ制御部１０５が表示制御部１０１を用いて表示部１１に、図５で示すような画像認識で検出しやすい固定パターンの画像を表示する。
ステップＳ１２からステップＳ１５までのループは、ＨＭＤ制御部１０５が別スレッドを生成して、その生成されたスレッド内で端末姿勢取得部１０６が処理を行う。
ステップＳ１２では、端末姿勢取得部１０６が通信制御部１０３を用いてＨＭＤのカメラ２１の撮影画像を取得する。
ステップＳ１３では、端末姿勢取得部１０６がステップＳ１２で取得した画像を分析し、ステップＳ１１で携帯端末の付属ディスプレイ１１に表示した位置合わせ用表示である固定パターンを検出する。 The flowchart in FIG. 10 shows the details of the HMD use start process in step S02 of the flowchart in FIG.
In step S11, the HMD control unit 105 uses the display control unit 101 to display a fixed pattern image that is easy to detect by image recognition as shown in FIG.
In the loop from step S12 to step S15, the HMD control unit 105 generates another thread, and the terminal posture acquisition unit 106 performs processing in the generated thread.
In step S <b> 12, the terminal posture acquisition unit 106 acquires a captured image of the HMD camera 21 using the communication control unit 103.
In step S13, the terminal posture acquisition unit 106 analyzes the image acquired in step S12, and detects a fixed pattern that is a display for alignment displayed on the attached display 11 of the mobile terminal in step S11.

ステップＳ１４では、ステップＳ１３での検出結果での固定パターンの大きさと歪みから、ＨＭＤ２に対する付属ディスプレイ１１の相対位置と相対姿勢を計算する。検出方法及び計算方法は、ＡＲＴｏｏｌＫｉｔ（ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／）など既存のソフトウェアを利用して実行することができる。計算結果は、ＨＭＤ２の表示部２２に固定パターンを全画面表示した矩形を、ステップＳ１３で検出した固定パターンの形にアフィン変換するためのアフィン変換行列として端末姿勢取得部１０６が保持する。また、仮想ディスプレイの表示位置が頻繁に（フレーム毎に）変化すると使用者にとって見難いため、端末姿勢取得部１０６の内部で、計算結果の変化量を平滑化してもよい。   In step S14, the relative position and relative attitude of the attached display 11 with respect to the HMD 2 are calculated from the size and distortion of the fixed pattern in the detection result in step S13. The detection method and the calculation method can be executed using existing software such as ARTToolKit (http://www.hit.washington.edu/arttoolkit/). The calculation result is held by the terminal posture acquisition unit 106 as an affine transformation matrix for affine transformation of the rectangle in which the fixed pattern is displayed on the display unit 22 of the HMD 2 in the form of the fixed pattern detected in step S13. Further, since it is difficult for the user to see if the display position of the virtual display changes frequently (for each frame), the amount of change in the calculation result may be smoothed inside the terminal posture acquisition unit 106.

ステップＳ１５では、ＨＭＤ２の使用を継続するか判断する。図９のフローチャートのステップＳ０７で、端末姿勢取得部１０６がＨＭＤ制御部１０５からＨＭＤ使用終了の支持を受け取った場合は、ＨＭＤの使用終了と判断してループを抜け、ステップＳ１６へ進む。それ以外の場合は、ステップＳ１２へ戻る。
ステップＳ１６では、ＨＭＤ制御部１０５が表示制御部１０１を用いて表示部１１に表示していた固定パターンを消去し、通常の画面に戻す。 In step S15, it is determined whether to continue using the HMD2. In step S07 of the flowchart of FIG. 9, when the terminal attitude acquisition unit 106 receives support for the end of use of the HMD from the HMD control unit 105, it is determined that the use of the HMD has been completed, and the process exits the loop and proceeds to step S16. Otherwise, the process returns to step S12.
In step S16, the HMD control unit 105 erases the fixed pattern displayed on the display unit 11 using the display control unit 101, and returns to the normal screen.

図１１のフローチャートは、図９のフローチャートのステップＳ０４においてＨＭＤ２の画面を更新する処理の詳細を示す。
まずステップＳ２１では、ＨＭＤ制御部１０５が、端末姿勢取得部１０６から、ステップＳ１４で計算し保持しているアフィン変換行列を取得する。 The flowchart of FIG. 11 shows the details of the process for updating the screen of HMD2 in step S04 of the flowchart of FIG.
First, in step S21, the HMD control unit 105 acquires the affine transformation matrix calculated and held in step S14 from the terminal attitude acquisition unit 106.

ステップＳ２２では、ＨＭＤ制御部１０５はアプリケーション１０４から受け取った画面の画像データに対して、前ステップで取得したアフィン変換行列によりアフィン変換を施し、変換後の四角形の画像を得る。これが、ＨＭＤへ仮想ディスプレイとして表示される仮想画面Ａの表示領域の画像データである。   In step S <b> 22, the HMD control unit 105 performs affine transformation on the screen image data received from the application 104 using the affine transformation matrix obtained in the previous step, and obtains a square image after the transformation. This is the image data of the display area of the virtual screen A displayed as a virtual display on the HMD.

この画像データを用いると、ＨＭＤ上での変換後の画像のサイズが、使用者から見て携帯端末の表示部１１の画面と同じである。ＨＭＤ２の解像度のために文字がつぶれて見難くなる場合や、ＨＭＤ２の大画面のメリットを生かしたい場合には、変換後の画像データは、予め設定された適当な倍率で拡大することが望ましい。その際、ボタン操作部を隠さないよう、図３、図４のように、仮想画面Ａの表示領域の下端と携帯端末１の表示画面１１の下端とが一致するように設定され、仮想画面Ａは上方向に拡大することが望ましい。   When this image data is used, the size of the image after conversion on the HMD is the same as the screen of the display unit 11 of the portable terminal as seen from the user. When the characters are crushed due to the resolution of the HMD2, or when it is desired to take advantage of the large screen of the HMD2, it is desirable to enlarge the image data after conversion at an appropriate magnification set in advance. At this time, as shown in FIGS. 3 and 4, the lower end of the display area of the virtual screen A and the lower end of the display screen 11 of the mobile terminal 1 are set to coincide with each other so as not to hide the button operation unit. It is desirable to expand upward.

このアフィン変換後の画像を用いてＨＭＤ２への出力画面を生成するアフィン変換後の画像以外の背景の領域の生成方法は、ＨＭＤ２の方式により異なる。ＨＭＤ２の表示部２２が非透過の場合は、背景の領域は、ＨＭＤのカメラ２１が取得した最新の画像とし、その上にアフィン変換後の画像を上書きする。ＨＭＤの表示部２２が半透過の場合は、背景の領域は透明色とし、使用者の視野を確保する。   A method of generating a background area other than the image after affine transformation that generates an output screen to HMD2 using the image after affine transformation differs depending on the method of HMD2. When the display section 22 of the HMD 2 is non-transparent, the background area is the latest image acquired by the HMD camera 21 and the image after the affine transformation is overwritten thereon. When the HMD display unit 22 is translucent, the background area is transparent and ensures the user's field of view.

ステップＳ２３では、ＨＭＤ制御部１０５は、通信制御部１０３を用いて画像データをＨＭＤ２へ送付し表示指示を行う。ＨＭＤ２側の通信制御部２０３は、受け取った画像データを、表示制御部２０２を用いて表示部２２に表示する。   In step S <b> 23, the HMD control unit 105 sends image data to the HMD 2 using the communication control unit 103 and issues a display instruction. The communication control unit 203 on the HMD 2 side displays the received image data on the display unit 22 using the display control unit 202.

以上により、本実施形態の動作が実現される。使用者が自宅など安全な場所で使用する場合は、従来どおりＨＭＤ２の表示部２２の固定位置に仮想ディスプレイを表示してよい。使用者が携帯端末１に所定の入力操作を行うと、ＨＭＤ２はそれに応答して、仮想画面３０Ａの表示領域のＨＭＤ２に対する相対的な位置を固定する固定モードに設定される。その場合は、ステップＳ２１の処理は不要となり、ステップＳ２２ではアプリケーションから出力される画面の画像データを、ＨＭＤの表示部２２にフィットするサイズに拡大縮小する処理のみを行う。また、ステップＳ０２及び図１０のフローチャートの処理は不要となる。   As described above, the operation of this embodiment is realized. When the user uses in a safe place such as home, the virtual display may be displayed at the fixed position of the display unit 22 of the HMD 2 as before. When the user performs a predetermined input operation on the mobile terminal 1, the HMD 2 is set to a fixed mode in which the relative position of the display area of the virtual screen 30A with respect to the HMD 2 is fixed. In this case, the process of step S21 is not necessary, and in step S22, only the process of enlarging / reducing the screen image data output from the application to a size that fits the display unit 22 of the HMD is performed. Further, the processing of step S02 and the flowchart of FIG. 10 is not necessary.

本実施形態により、以下のような効果が得られる。
第１の効果は、常にＨＭＤの固定位置に携帯端末の画面が表示されているのではなく、使用者が見たいときだけ、携帯端末の画面の方向を見ればＨＭＤに仮想ディスプレイが表示され、自然に周囲の状況を確認する場合は、携帯端末から視線をそらすという自然な動作で実現できる点である。
第２の効果は、実際の携帯端末の画面より大きい画面をＨＭＤに表示することで、表示できる情報量の向上、視認性の向上が得られる点である。
第３の効果は、携帯端末の画面には情報が表示されないため、機密情報を他人から覗き見されるリスクが低減される点である。 According to the present embodiment, the following effects can be obtained.
The first effect is that the screen of the mobile terminal is not always displayed at the fixed position of the HMD, but only when the user wants to see, the virtual display is displayed on the HMD by looking at the direction of the screen of the mobile terminal, When naturally checking the surrounding situation, it can be realized by a natural operation of turning the line of sight away from the mobile terminal.
The second effect is that by displaying on the HMD a screen that is larger than the screen of the actual mobile terminal, the amount of information that can be displayed and the visibility can be improved.
The third effect is that since no information is displayed on the screen of the mobile terminal, the risk of peeping confidential information from others is reduced.

次に、本発明の第２の実施形態について説明する。
第１の実施形態では、ＨＭＤ２のカメラ２１の撮影画像からの携帯端末１の位置の検出のために、表示部１１に固定パターンを表示していた。このような手段では、ＨＭＤ２の表示部の方式が半透過型または片眼の場合は、使用者に固定パターンが見えてしまい、表示画像の閲覧の邪魔になることが考えられる。また、タッチパネル型の携帯端末の場合に、使用者のタッチパネル操作により固定パターンが隠れてしまい、検出できなくなるという問題もある。 Next, a second embodiment of the present invention will be described.
In the first embodiment, the fixed pattern is displayed on the display unit 11 in order to detect the position of the mobile terminal 1 from the captured image of the camera 21 of the HMD 2. With such means, when the display unit of the HMD 2 is a semi-transmissive type or one eye, the fixed pattern can be seen by the user, which may hinder the viewing of the display image. Further, in the case of a touch panel type mobile terminal, there is also a problem that the fixed pattern is hidden by the user's touch panel operation and cannot be detected.

そこで、第２の実施形態では、携帯端末１の位置の検出のために、携帯端末１は、表示部１１への固定パターンの表示ではなく、表示部１１の周りに赤外線のＬＥＤを備える。赤外線のＬＥＤとした理由は、可視光の範囲から外れるため使用者には見えず、閲覧の邪魔にならないが、カメラ２１では検出できるためである。   Therefore, in the second embodiment, the mobile terminal 1 includes an infrared LED around the display unit 11 instead of displaying a fixed pattern on the display unit 11 in order to detect the position of the mobile terminal 1. The reason why the infrared LED is used is that it is not visible to the user because it is out of the visible light range and does not obstruct browsing, but can be detected by the camera 21.

図１２に、第２の実施形態の構成図を示す。第１の実施形態との違いは、ＬＥＤ１４が追加されているのみである。ＬＥＤ１４の点灯、消灯は、表示制御部１０１が行う。ＬＥＤ１４は、携帯電話の位置及び姿勢を認識するための位置合わせ用表示を行うための表示装置として機能する。   FIG. 12 shows a configuration diagram of the second embodiment. The difference from the first embodiment is only the addition of the LED 14. The display control unit 101 turns the LED 14 on and off. The LED 14 functions as a display device for performing an alignment display for recognizing the position and orientation of the mobile phone.

図１３に、第２の実施形態における携帯端末１の外観を示す。携帯端末１は、表示部１１の周囲３点にＬＥＤを備える。図１５のように、ＬＥＤ１４は、キー操作部を有せず表示部１１に含まれるタッチパネルを使用者が指で操作する場合に、指で隠れない位置に配置される。   In FIG. 13, the external appearance of the portable terminal 1 in 2nd Embodiment is shown. The mobile terminal 1 includes LEDs at three points around the display unit 11. As shown in FIG. 15, the LED 14 does not have a key operation unit and is disposed at a position that is not hidden by the finger when the user operates the touch panel included in the display unit 11 with the finger.

第２の実施形態のフローチャートは、第１の実施形態と比較して図１０のみが変更となる。変更後のフローチャートを図１４に示す。第１の実施形態から変更となるステップのみ説明する。   In the flowchart of the second embodiment, only FIG. 10 is changed compared to the first embodiment. A flowchart after the change is shown in FIG. Only steps that are changed from the first embodiment will be described.

ステップＳ１１では、表示部１１の消去し、ＬＥＤ１４を点灯する。３個のＬＥＤ１４でそれぞれ点滅パターンを変える、または、点灯する光の周波数を変えることで、３個のＬＥＤ１４を個別に識別することが出来るようにする。
ステップＳ１３では、ステップＳ１２で取得した画像から、ＬＥＤ１４の位置を検出する。
ステップＳ１４では、３個のＬＥＤ１４の位置を元に表示部１１の位置及び姿勢を計算する。計算結果の保持方法は、第１の実施形態と同じである。ＨＭＤ２の仮想画面Ａの表示領域は、ＬＥＤ１４の位置から得られた表示部１１の位置及び姿勢に基づいて設定される。
ステップＳ１５でＨＭＤの使用が終了すると、ステップＳ１６でＬＥＤ１４を消灯し、表示部１１の表示を再開する。 In step S11, the display unit 11 is erased and the LED 14 is turned on. The three LEDs 14 can be individually identified by changing the blinking pattern with the three LEDs 14 or changing the frequency of the light to be lit.
In step S13, the position of the LED 14 is detected from the image acquired in step S12.
In step S14, the position and orientation of the display unit 11 are calculated based on the positions of the three LEDs 14. The calculation result holding method is the same as in the first embodiment. The display area of the virtual screen A of the HMD 2 is set based on the position and orientation of the display unit 11 obtained from the position of the LED 14.
When the use of the HMD is finished in step S15, the LED 14 is turned off in step S16, and the display on the display unit 11 is resumed.

次に、本発明の第３の実施形態について説明する。
第３の実施形態では、図１６の構成図で示すとおり、携帯端末側だけでなく、ＨＭＤ側にも端末姿勢取得部２０５を持つ。図１０及び図１４のフローチャートに含まれるステップＳ１２からステップＳ１５までのループを、携帯端末側の端末姿勢取得部１０６ではなく、ＨＭＤ側の端末姿勢取得部２０５で行い、ステップＳ１４の計算結果のみを通信制御部２０３を用いて、携帯端末側の端末姿勢取得部１０６へ送付し、端末姿勢取得部１０６で保持する。 Next, a third embodiment of the present invention will be described.
In the third embodiment, as shown in the configuration diagram of FIG. 16, the terminal posture acquisition unit 205 is provided not only on the mobile terminal side but also on the HMD side. The loop from step S12 to step S15 included in the flowcharts of FIGS. 10 and 14 is performed not by the terminal attitude acquisition unit 106 on the mobile terminal side but by the terminal attitude acquisition unit 205 on the HMD side, and only the calculation result of step S14 is obtained. Using the communication control unit 203, the information is sent to the terminal posture acquisition unit 106 on the mobile terminal side and held by the terminal posture acquisition unit 106.

この変更により、携帯端末の検出というある程度負荷の高い処理をＨＭＤ側で行うことで、携帯端末の演算回路１０の処理量を減らすという効果がある。また、携帯端末１とＨＭＤ２の間の通信で画像全体を毎回送るのではなく、計算結果のみ送ればよいので、通信量の削減にもつながる。   This change has an effect of reducing the processing amount of the arithmetic circuit 10 of the portable terminal by performing a process with a certain amount of load on the HMD side such as detection of the portable terminal. Also, instead of sending the entire image every time by communication between the portable terminal 1 and the HMD 2, only the calculation result needs to be sent, which leads to a reduction in the amount of communication.

以上に説明した実施形態は、矛盾の無い範囲で互いに任意的に組み合わせて実施することができる。   The embodiments described above can be implemented in any combination with each other within a consistent range.

１ 携帯端末
２ ＨＭＤ（ヘッドマウントディスプレイ）
３ 視野
１１ 表示画面
１４ ＬＥＤ
１５ 表示装置
２１ カメラ
２２ 表示部
３０１ 携帯端末
３０３ 視野
３０Ａ 仮想画面
３１１ 表示画面
Ａ 仮想画面 1 Mobile device 2 HMD (head mounted display)
3 Field of view 11 Display screen 14 LED
15 Display Device 21 Camera 22 Display Unit 301 Mobile Terminal 303 Field of View 30A Virtual Screen 311 Display Screen A Virtual Screen

Claims (7)

表示情報に応じて表示を行う表示装置を備える携帯端末と、
前記携帯端末から取得した前記表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッドマウントディスプレイとを具備し、
前記ヘッドマウントディスプレイは、
撮像部と、
前記撮像部によって撮像された前記表示装置の表示に基づいて前記ヘッドマウントディスプレイに対する前記携帯端末の相対的な位置を示す位置情報を生成する端末姿勢取得部とを備え、
前記表示領域は前記位置情報に基づいて前記表示装置の表示画面に重なる位置に設定され、
前記仮想画面に前記表示情報に応じた表示が行われる
携帯端末システム。 A portable terminal including a display device that performs display according to display information;
Based on the display information acquired from the mobile terminal, comprising a head-mounted display that displays a virtual screen in a display area within the wearer's field of view,
The head mounted display is
An imaging unit;
A terminal posture acquisition unit that generates position information indicating a relative position of the mobile terminal with respect to the head mounted display based on the display of the display device imaged by the imaging unit;
The display area is set at a position overlapping the display screen of the display device based on the position information,
A mobile terminal system in which display according to the display information is performed on the virtual screen. 前記端末姿勢取得部は、前記表示装置が表示する特定パターンを予め記憶し、前記撮像部が撮像した前記特定パターンと予め記憶した前記特定パターンとに基づいて前記ヘッドマウントディスプレイに対する前記携帯端末の相対的な姿勢を示す姿勢情報を生成し、
前記表示領域は前記姿勢情報に基づいて設定される
携帯端末システム。 The terminal posture acquisition unit stores in advance a specific pattern displayed by the display device, and the relative position of the mobile terminal with respect to the head mounted display based on the specific pattern captured by the imaging unit and the specific pattern stored in advance. Pose information that indicates a typical pose,
The display area is set based on the posture information. 請求項１又は２に記載された携帯端末システムであって、
前記携帯端末は、前記ヘッドマウントディスプレイが使用されていないとき前記表示情報に応じた表示を行い、前記ヘッドマウントディスプレイが使用されているとき前記表示情報に応じた表示を停止する
携帯端末システム。 The mobile terminal system according to claim 1 or 2,
The portable terminal system performs display according to the display information when the head-mounted display is not used, and stops display according to the display information when the head-mounted display is used. 請求項１から３のいずれかに記載された携帯端末システムであって、
前記ヘッドマウントディスプレイは、前記携帯端末又は前記ヘッドマウントディスプレイに対する所定の入力操作に応答して、前記表示領域を固定する
携帯端末システム。 A mobile terminal system according to any one of claims 1 to 3,
The head-mounted display fixes the display area in response to a predetermined input operation on the mobile terminal or the head-mounted display. 請求項１から４のいずれかに記載された携帯端末システムであって、
前記表示装置は表示画面を備え、
前記表示画面には所定の位置合わせ用表示が行われ、
前記表示領域は前記位置合わせ用表示に応じて設定される
携帯端末システム。 A mobile terminal system according to any one of claims 1 to 4,
The display device includes a display screen,
A predetermined alignment display is performed on the display screen,
The display area is set in accordance with the alignment display. 請求項１から４のいずれかに記載された携帯端末システムであって、
前記表示装置は赤外線を発光するＬＥＤを備え、
前記撮像部は赤外線を撮像し、
前記表示領域は前記撮像部が撮像した前記ＬＥＤの位置に応じて設定される
携帯端末システム。 A mobile terminal system according to any one of claims 1 to 4,
The display device includes an LED that emits infrared light,
The imaging unit images infrared rays,
The said display area is a portable terminal system set according to the position of the said LED which the said imaging part imaged. 請求項１から６のいずれかに記載された携帯端末システムであって、
前記表示領域は、前記装着者から見て前記携帯端末の表示画面に対して所定の倍率で拡大して設定され、更に前記携帯端末の表示画面と下端が一致するように設定される
携帯端末システム。 The mobile terminal system according to any one of claims 1 to 6,
The display area is set to be enlarged at a predetermined magnification with respect to the display screen of the mobile terminal as viewed from the wearer, and is further set to match the display screen of the mobile terminal with the lower end. .
JP2010052346A 2010-03-09 2010-03-09 A portable terminal using a head-mounted display as an external display device Expired - Fee Related JP5681850B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010052346A JP5681850B2 (en) 2010-03-09 2010-03-09 A portable terminal using a head-mounted display as an external display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010052346A JP5681850B2 (en) 2010-03-09 2010-03-09 A portable terminal using a head-mounted display as an external display device

Publications (2)

Publication Number Publication Date
JP2011186856A true JP2011186856A (en) 2011-09-22
JP5681850B2 JP5681850B2 (en) 2015-03-11

Family

ID=44793033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010052346A Expired - Fee Related JP5681850B2 (en) 2010-03-09 2010-03-09 A portable terminal using a head-mounted display as an external display device

Country Status (1)

Country Link
JP (1) JP5681850B2 (en)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012233962A (en) * 2011-04-28 2012-11-29 Konica Minolta Holdings Inc Projection system, projection device, projection method, and control program
JP2013113963A (en) * 2011-11-28 2013-06-10 Seiko Epson Corp Transmission type display device, and operation input method
JP2014174790A (en) * 2013-03-11 2014-09-22 Toshiba Mitsubishi-Electric Industrial System Corp Wearable computer input device
JP2014211643A (en) * 2014-06-11 2014-11-13 コニカミノルタ株式会社 Projection system, projection device, projection method, and control program
JP2014219448A (en) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 Display system, display method, display terminal and display program
WO2014188798A1 (en) * 2013-05-21 2014-11-27 ソニー株式会社 Display control device, display control method, and recording medium
JP2015090530A (en) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 Image display system, method of controlling image display system, and head-mounted display device
JP2015135563A (en) * 2014-01-16 2015-07-27 カシオ計算機株式会社 Display system, display terminal, display method, and program
JP2015176588A (en) * 2014-03-18 2015-10-05 株式会社東芝 Display device, image display system and information processing method
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
CN105210144A (en) * 2013-05-21 2015-12-30 索尼公司 Display control device, display control method, and recording medium
WO2016006070A1 (en) * 2014-07-09 2016-01-14 日立マクセル株式会社 Portable information terminal device and head-mount display linked thereto
WO2016021252A1 (en) * 2014-08-05 2016-02-11 ソニー株式会社 Information processing device, information processing method, and image display system
JP2016507970A (en) * 2013-01-04 2016-03-10 ヴァジックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ Bidirectional wearable portable smart device
JP2016146632A (en) * 2016-02-12 2016-08-12 セイコーエプソン株式会社 Head-mounted display device and control method of the same
JP2017032870A (en) * 2015-08-04 2017-02-09 富士通株式会社 Image projection device and image display system
WO2017104089A1 (en) * 2015-12-18 2017-06-22 日立マクセル株式会社 Collaborative head-mounted display system, system including display device and head-mounted display, and display device
JP2017134630A (en) * 2016-01-28 2017-08-03 セイコーエプソン株式会社 Display device, control method of display device, and program
CN107646098A (en) * 2015-07-07 2018-01-30 谷歌有限责任公司 System for tracking portable equipment in virtual reality
JP2018156205A (en) * 2017-03-15 2018-10-04 株式会社リコー Information processing system, information processing method, electronic apparatus, and information processing program
JP2019502193A (en) * 2016-02-08 2019-01-24 グーグル エルエルシー Control system for navigation in virtual reality environment
JP2019113693A (en) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 Display system, method for controlling display system, display, and method for controlling display
CN110537208A (en) * 2017-05-04 2019-12-03 索尼互动娱乐欧洲有限公司 Head-mounted display and method
WO2020003361A1 (en) * 2018-06-25 2020-01-02 マクセル株式会社 Head-mounted display, head-mounted display linking system, and method for same
CN112083796A (en) * 2019-06-12 2020-12-15 Oppo广东移动通信有限公司 Control method, head-mounted device, mobile terminal and control system
JP2022036160A (en) * 2013-03-11 2022-03-04 マジック リープ， インコーポレイテッド System and method for augmented and virtual reality
JP2022522658A (en) * 2019-03-12 2022-04-20 トーズ テクノロジーズ ゲーエムベーハー Systems, methods, computer programs, mobile devices, and kits for operating low-computational devices
WO2022123390A1 (en) * 2020-12-11 2022-06-16 株式会社半導体エネルギー研究所 Operation method for display system
US11852811B2 (en) 2019-09-30 2023-12-26 Maxell, Ltd. Linked display system and head-mounted display
US11854150B2 (en) 2013-03-15 2023-12-26 Magic Leap, Inc. Frame-by-frame rendering for augmented or virtual reality systems
TWI844970B (en) * 2021-12-14 2024-06-11 宏達國際電子股份有限公司 Method for operating mirrored content under mirror mode and computer readable storage medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074053A (en) * 1996-08-30 1998-03-17 Kawai Musical Instr Mfg Co Ltd Portable terminal device and head mount display
JP2000230806A (en) * 1999-02-09 2000-08-22 Sony Corp Position and method for position recognition and virtual image three-dimensional composition device
JP2000347596A (en) * 1998-08-31 2000-12-15 Semiconductor Energy Lab Co Ltd Portable information processing system
JP2003087363A (en) * 2001-06-27 2003-03-20 Canon Inc Personal digital assistant, information viewing method, and program
JP2004198131A (en) * 2002-12-16 2004-07-15 Fuji Xerox Co Ltd Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program
JP2006060774A (en) * 2004-07-20 2006-03-02 Olympus Corp Mobile information apparatus
WO2007037148A1 (en) * 2005-09-29 2007-04-05 Nikon Corporation Content reproduction system
JP2008059510A (en) * 2006-09-04 2008-03-13 Brother Ind Ltd Email reading system and email reading method using portable terminal device and head-mounted display
JP2008508591A (en) * 2004-07-30 2008-03-21 インダストリー ユニバーシティー コーポレーション ファウンデーション ハンヤン ユニバーシティー Vision-based augmented reality system using markers invisible to the naked eye
JP2009538487A (en) * 2006-05-26 2009-11-05 アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド System and method for displaying device maintenance and operation instructions using augmented reality

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074053A (en) * 1996-08-30 1998-03-17 Kawai Musical Instr Mfg Co Ltd Portable terminal device and head mount display
JP2000347596A (en) * 1998-08-31 2000-12-15 Semiconductor Energy Lab Co Ltd Portable information processing system
JP2000230806A (en) * 1999-02-09 2000-08-22 Sony Corp Position and method for position recognition and virtual image three-dimensional composition device
JP2003087363A (en) * 2001-06-27 2003-03-20 Canon Inc Personal digital assistant, information viewing method, and program
JP2004198131A (en) * 2002-12-16 2004-07-15 Fuji Xerox Co Ltd Method, device, and system for detecting position, light emitting body used for position detection, and position detection processing program
JP2006060774A (en) * 2004-07-20 2006-03-02 Olympus Corp Mobile information apparatus
JP2008508591A (en) * 2004-07-30 2008-03-21 インダストリー ユニバーシティー コーポレーション ファウンデーション ハンヤン ユニバーシティー Vision-based augmented reality system using markers invisible to the naked eye
WO2007037148A1 (en) * 2005-09-29 2007-04-05 Nikon Corporation Content reproduction system
JP2009538487A (en) * 2006-05-26 2009-11-05 アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド System and method for displaying device maintenance and operation instructions using augmented reality
JP2008059510A (en) * 2006-09-04 2008-03-13 Brother Ind Ltd Email reading system and email reading method using portable terminal device and head-mounted display

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012233962A (en) * 2011-04-28 2012-11-29 Konica Minolta Holdings Inc Projection system, projection device, projection method, and control program
JP2013113963A (en) * 2011-11-28 2013-06-10 Seiko Epson Corp Transmission type display device, and operation input method
US9436275B2 (en) 2011-11-28 2016-09-06 Seiko Epson Corporation Transmissive display apparatus and operation input method
US9298255B2 (en) 2011-11-28 2016-03-29 Seiko Epson Corporation Transmissive display apparatus and operation input method
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
JP2016507970A (en) * 2013-01-04 2016-03-10 ヴァジックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ Bidirectional wearable portable smart device
US10176783B2 (en) 2013-01-04 2019-01-08 Vuzix Corporation Interactive wearable and portable smart devices
JP2014174790A (en) * 2013-03-11 2014-09-22 Toshiba Mitsubishi-Electric Industrial System Corp Wearable computer input device
JP2022036160A (en) * 2013-03-11 2022-03-04 マジック リープ， インコーポレイテッド System and method for augmented and virtual reality
US11663789B2 (en) 2013-03-11 2023-05-30 Magic Leap, Inc. Recognizing objects in a passable world model in augmented or virtual reality systems
US12039680B2 (en) 2013-03-11 2024-07-16 Magic Leap, Inc. Method of rendering using a display device
US11854150B2 (en) 2013-03-15 2023-12-26 Magic Leap, Inc. Frame-by-frame rendering for augmented or virtual reality systems
JP2014219448A (en) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 Display system, display method, display terminal and display program
US9542562B2 (en) 2013-05-01 2017-01-10 Konica Minolta, Inc. Display system, display method, display terminal and non-transitory computer-readable recording medium stored with display program
JPWO2014188797A1 (en) * 2013-05-21 2017-02-23 ソニー株式会社 Display control device, display control method, and recording medium
WO2014188798A1 (en) * 2013-05-21 2014-11-27 ソニー株式会社 Display control device, display control method, and recording medium
CN105210144A (en) * 2013-05-21 2015-12-30 索尼公司 Display control device, display control method, and recording medium
CN105229720A (en) * 2013-05-21 2016-01-06 索尼公司 Display control unit, display control method and recording medium
EP3001407A4 (en) * 2013-05-21 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
JP2015090530A (en) * 2013-11-05 2015-05-11 セイコーエプソン株式会社 Image display system, method of controlling image display system, and head-mounted display device
CN104615237A (en) * 2013-11-05 2015-05-13 精工爱普生株式会社 Image display system, method of controlling image display system, and head-mount type display device
JP2015135563A (en) * 2014-01-16 2015-07-27 カシオ計算機株式会社 Display system, display terminal, display method, and program
US9817628B2 (en) 2014-01-16 2017-11-14 Casio Computer Co., Ltd. Display system, display terminal, display method and computer readable recording medium having program thereof
JP2015176588A (en) * 2014-03-18 2015-10-05 株式会社東芝 Display device, image display system and information processing method
JP2014211643A (en) * 2014-06-11 2014-11-13 コニカミノルタ株式会社 Projection system, projection device, projection method, and control program
WO2016006070A1 (en) * 2014-07-09 2016-01-14 日立マクセル株式会社 Portable information terminal device and head-mount display linked thereto
JPWO2016021252A1 (en) * 2014-08-05 2017-05-18 ソニー株式会社 Information processing apparatus, information processing method, and image display system
US10719950B2 (en) 2014-08-05 2020-07-21 Sony Corporation Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information
WO2016021252A1 (en) * 2014-08-05 2016-02-11 ソニー株式会社 Information processing device, information processing method, and image display system
CN107646098A (en) * 2015-07-07 2018-01-30 谷歌有限责任公司 System for tracking portable equipment in virtual reality
JP2018530797A (en) * 2015-07-07 2018-10-18 グーグル エルエルシー System for tracking handheld electronic devices in virtual reality
JP2017032870A (en) * 2015-08-04 2017-02-09 富士通株式会社 Image projection device and image display system
JPWO2017104089A1 (en) * 2015-12-18 2018-10-04 マクセル株式会社 Head-mounted display cooperative display system, system including display device and head-mounted display, and display device therefor
WO2017104089A1 (en) * 2015-12-18 2017-06-22 日立マクセル株式会社 Collaborative head-mounted display system, system including display device and head-mounted display, and display device
JP2017134630A (en) * 2016-01-28 2017-08-03 セイコーエプソン株式会社 Display device, control method of display device, and program
JP2019502193A (en) * 2016-02-08 2019-01-24 グーグル エルエルシー Control system for navigation in virtual reality environment
JP2016146632A (en) * 2016-02-12 2016-08-12 セイコーエプソン株式会社 Head-mounted display device and control method of the same
JP2018156205A (en) * 2017-03-15 2018-10-04 株式会社リコー Information processing system, information processing method, electronic apparatus, and information processing program
CN110537208A (en) * 2017-05-04 2019-12-03 索尼互动娱乐欧洲有限公司 Head-mounted display and method
CN110537208B (en) * 2017-05-04 2024-01-09 索尼互动娱乐股份有限公司 Head-mounted display and method
JP7035510B2 (en) 2017-12-22 2022-03-15 セイコーエプソン株式会社 Display system and control method of display system
JP2019113693A (en) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 Display system, method for controlling display system, display, and method for controlling display
US11378805B2 (en) 2018-06-25 2022-07-05 Maxell, Ltd. Head-mounted display, head-mounted display linking system, and method for same
JPWO2020003361A1 (en) * 2018-06-25 2021-03-11 マクセル株式会社 Head-mounted display, head-mounted display cooperation system and its method
WO2020003361A1 (en) * 2018-06-25 2020-01-02 マクセル株式会社 Head-mounted display, head-mounted display linking system, and method for same
JP2021192116A (en) * 2018-06-25 2021-12-16 マクセル株式会社 Display device
JP7209786B2 (en) 2018-06-25 2023-01-20 マクセル株式会社 Display device
US11567333B2 (en) 2018-06-25 2023-01-31 Maxell, Ltd. Head-mounted display, head-mounted display linking system, and method for same
JP2023052278A (en) * 2018-06-25 2023-04-11 マクセル株式会社 Head-mounted display
US11921293B2 (en) 2018-06-25 2024-03-05 Maxell, Ltd. Head-mounted display, head-mounted display linking system, and method for same
JP7379734B2 (en) 2018-06-25 2023-11-14 マクセル株式会社 head mounted display
CN111837174A (en) * 2018-06-25 2020-10-27 麦克赛尔株式会社 Head-mounted display, head-mounted display cooperation system and method thereof
JP2022522658A (en) * 2019-03-12 2022-04-20 トーズ テクノロジーズ ゲーエムベーハー Systems, methods, computer programs, mobile devices, and kits for operating low-computational devices
CN112083796A (en) * 2019-06-12 2020-12-15 Oppo广东移动通信有限公司 Control method, head-mounted device, mobile terminal and control system
US11852811B2 (en) 2019-09-30 2023-12-26 Maxell, Ltd. Linked display system and head-mounted display
WO2022123390A1 (en) * 2020-12-11 2022-06-16 株式会社半導体エネルギー研究所 Operation method for display system
TWI844970B (en) * 2021-12-14 2024-06-11 宏達國際電子股份有限公司 Method for operating mirrored content under mirror mode and computer readable storage medium

Also Published As

Publication number Publication date
JP5681850B2 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
JP5681850B2 (en) A portable terminal using a head-mounted display as an external display device
JP7209786B2 (en) Display device
JP6393367B2 (en) Tracking display system, tracking display program, tracking display method, wearable device using them, tracking display program for wearable device, and operation method of wearable device
JP6400197B2 (en) Wearable device
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
JP4927631B2 (en) Display device, control method therefor, program, recording medium, and integrated circuit
JP6041016B2 (en) Eyeglass type terminal
JP2020080543A (en) Imaging apparatus, imaging method and program
KR20160051384A (en) Wearable device and control method thereof
US20150271457A1 (en) Display device, image display system, and information processing method
WO2014128752A1 (en) Display control device, display control program, and display control method
JP2017211766A (en) Image processing system, image processing program, and image processing method
JP2015176186A (en) Information processing apparatus, information processing method and information processing system
JP2012173476A (en) Display system, terminal device, method for controlling the device, and program
JP6730837B2 (en) Peep prevention system
JP2006276748A (en) Information presenting device, information presenting method, and computer program
US11429200B2 (en) Glasses-type terminal
WO2016006070A1 (en) Portable information terminal device and head-mount display linked thereto
JP6316648B2 (en) Display device
KR20170084443A (en) Method for controlling head mount display device
JP7031112B1 (en) Glasses type terminal
US20240089362A1 (en) Terminal Device
JP7427739B2 (en) display device
JP6079418B2 (en) Input device and input program
JP2014160968A (en) Portable information terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140825

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140917

R150 Certificate of patent or registration of utility model

Ref document number: 5681850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees