JP2019008199A - Image display system, and program - Google Patents
Image display system, and program Download PDFInfo
- Publication number
- JP2019008199A JP2019008199A JP2017125036A JP2017125036A JP2019008199A JP 2019008199 A JP2019008199 A JP 2019008199A JP 2017125036 A JP2017125036 A JP 2017125036A JP 2017125036 A JP2017125036 A JP 2017125036A JP 2019008199 A JP2019008199 A JP 2019008199A
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- content
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 23
- 238000012790 confirmation Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像表示システム及びプログラムに関する。 The present invention relates to an image display system and a program.
画像表示装置として、画像の閲覧者の頭部に装着して使用され、閲覧者が視認する画像を虚像として表示するヘッドマウントディスプレイ（ＨＭＤ、Head Mounted Display）が知られている（例えば、特許文献１、２参照）。 As an image display device, a head-mounted display (HMD, Head Mounted Display) that is used by being mounted on the head of a viewer of an image and displays an image visually recognized by the viewer as a virtual image is known (for example, Patent Documents). 1 and 2).
特許文献１、２には、透過型の表示部（ディスプレイ）を備え、閲覧者が表示部を通して肉眼によって現実の風景などを視認できるとともに、拡張現実（ＡＲ、Augmented Reality）と呼ばれる技術を用いて、閲覧者の視界に虚像を重畳して写し出すヘッドマウントディスプレイが開示されている。 Patent Documents 1 and 2 include a transmission-type display unit (display) that allows a viewer to visually recognize a real landscape or the like with the naked eye through the display unit, and uses a technique called augmented reality (AR). A head-mounted display that superimposes a virtual image on a viewer's field of view is disclosed.
しかしながら、従来技術では、閲覧者自身がヘッドマウントディスプレイを操作することや、操作用端末装置を持ち歩いて操作することがあり、画像を視認しながら端末装置等を操作するのは煩わしかった。また、端末装置からヘッドマウントディスプレイに画像を送信しながらヘッドマウントディスプレイ側の表示部に表示しているため、容量の大きな動画などでは、送受信（ローディング）に時間がかかり、画像の表示に時間がかかったり、途切れたりする等、画像の円滑な表示が困難になるおそれもあった。 However, in the prior art, the viewer himself / herself operates the head mounted display or carries the terminal device for operation while carrying it, and it is troublesome to operate the terminal device or the like while viewing the image. In addition, since images are transmitted from the terminal device to the head-mounted display and displayed on the display unit on the head-mounted display side, it takes time to send and receive (loading) a large-capacity video, etc. There is a risk that smooth display of an image may be difficult, such as being interrupted or interrupted.
本発明は、上記の事情に鑑みて為されたもので、閲覧者への画像の表示を、操作者の指示に対応して、画像情報送信の待ち時間や画像の途切れなどを生じることなく速やかに、かつ円滑に行うことを可能とするものである。 The present invention has been made in view of the above circumstances, and can promptly display an image in response to an instruction from the operator without causing a waiting time for image information transmission or interruption of the image. It is possible to perform smoothly and smoothly.
上記の目的を達成するため、本願に係る画像表示システムは、閲覧者の頭部に装着される表示装置と、前記表示装置と通信ネットワークを介して接続され、閲覧者とは別の操作者が操作する端末装置と、を備え、前記表示装置は、画像情報を記憶する記憶部と、前記画像情報を表示する表示部と、前記表示装置を制御する表示制御部と、を備え、前記端末装置は、前記操作者の操作を受け付ける操作部と、前記表示装置の前記表示部と同じ画像情報が表示される表示部と、前記端末装置を制御する端末制御部と、を備え、前記端末制御部は、前記操作部で受け付けた操作に従って、前記画像情報の表示を指示する指示情報を前記表示装置に向けて送信し、前記表示制御部は、前記端末制御部から受信した前記指示情報に基づいて、前記記憶部から前記画像情報を読み出して、前記表示部に表示するように構成されていることを特徴とする。 In order to achieve the above object, an image display system according to the present application is connected to a display device mounted on a viewer's head, and the display device via a communication network. A terminal device that operates, and the display device includes a storage unit that stores image information, a display unit that displays the image information, and a display control unit that controls the display device. Comprises an operation unit that receives an operation of the operator, a display unit that displays the same image information as the display unit of the display device, and a terminal control unit that controls the terminal device, the terminal control unit Transmits instruction information for instructing display of the image information to the display device according to an operation received by the operation unit, and the display control unit is configured to transmit the instruction information based on the instruction information received from the terminal control unit. , The storage unit Reads et the image information, characterized in that it is configured to display on the display unit.
また、本願のプログラムは、コンピュータを、画像情報を記憶する記憶手段と、前記記憶手段に記憶された前記画像情報を画像表示手段に向けて一括送信する画像情報送信手段と、前記画像表示手段に向けて、前記画像情報の表示を指示する指示情報を送信する指示情報送信手段として機能させるためのプログラムである。 The program of the present application includes: a storage unit that stores image information; an image information transmission unit that collectively transmits the image information stored in the storage unit toward the image display unit; and the image display unit. A program for functioning as instruction information transmitting means for transmitting instruction information for instructing display of the image information.
本発明によれば、操作者が操作部にて画像表示の操作をすると、端末装置から表示装置に対して、画像情報の送信が行われることなく指示情報のみが送信される。この指示情報に基づいて、表示装置が自身の記憶部から画像情報を読み出して表示部に表示する。したがって、閲覧者への画像の表示を、操作者の指示に対応して、画像情報送信の待ち時間や画像の途切れなどを生じることなく速やかに、かつ円滑に行うができる。 According to the present invention, when the operator performs an image display operation on the operation unit, only the instruction information is transmitted from the terminal device to the display device without transmitting image information. Based on this instruction information, the display device reads the image information from its own storage unit and displays it on the display unit. Therefore, the display of the image to the viewer can be performed promptly and smoothly in accordance with the instruction from the operator without causing a waiting time for image information transmission or image interruption.
以下に、本願に係る画像表示システムの一実施の形態について、図面を参照しながら説明する。図１の概略図に示すように、本実施の形態の画像表示システム１は、端末装置としてのタブレット端末２と、表示装置としての複数のヘッドマウントディスプレイ３，３，・・・と、を備えている。 Hereinafter, an embodiment of an image display system according to the present application will be described with reference to the drawings. As shown in the schematic diagram of FIG. 1, the image display system 1 according to the present embodiment includes a tablet terminal 2 as a terminal device and a plurality of head mounted displays 3, 3,... As a display device. ing.
各ヘッドマウントディスプレイ３は、コンテンツ（画像）の閲覧者Ｏの頭部に装着される。タブレット端末２は、閲覧者Ｏとは異なる操作者Ｓによって操作され、ヘッドマウントディスプレイ３にコンテンツファイル（画像情報）を送信したり、コンテンツ再生指示を与える電文（指示情報）を送信したりする。タブレット端末２は、軽量で小型であることから、携帯性に優れ、持ち歩いての操作が容易であり、室内は勿論、戸外での使用にも好適である。 Each head-mounted display 3 is attached to the head of a viewer (O) of content (image). The tablet terminal 2 is operated by an operator S different from the viewer O, and transmits a content file (image information) to the head mounted display 3 or transmits a message (instruction information) giving a content reproduction instruction. Since the tablet terminal 2 is lightweight and small, it is excellent in portability and easy to carry around, and is suitable for indoor use as well as outdoor use.
タブレット端末２と各ヘッドマウントディスプレイ３とは、通信ネットワークを介して情報の送受信が可能に接続されている。本実施の形態では、これらはＷｉ−Ｆｉ（登録商標）用のルータ４を介して、無線ＬＡＮ通信によって接続されている。なお、通信手段が本実施の形態に限定されることはなく、Ｗｉ−Ｆｉ（登録商標）以外の無線ＬＡＮ通信を用いることもできるし、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いることもできる。また、無線通信に限定されることはなく、タブレット端末２と各ヘッドマウントディスプレイ３の仕様によっては、これらをケーブル等で接続した有線通信を用いることもできる。 The tablet terminal 2 and each head mounted display 3 are connected via a communication network so that information can be transmitted and received. In the present embodiment, these are connected by wireless LAN communication via a router 4 for Wi-Fi (registered trademark). Note that the communication means is not limited to this embodiment, wireless LAN communication other than Wi-Fi (registered trademark) can be used, and short-range wireless communication such as Bluetooth (registered trademark) is used. You can also. Moreover, it is not limited to radio | wireless communication, Depending on the specification of the tablet terminal 2 and each head mounted display 3, wired communication which connected these with the cable etc. can also be used.
タブレット端末２と接続されるヘッドマウントディスプレイ３の台数としては、１台以上あればよく、特に限定されることはない。本実施の形態では、最大２０台の端末を接続できるルータ４を使用し、タブレット端末２と、最大１９台のヘッドマウントディスプレイ３とを接続可能としている。なお、ルータ４の性能に応じて、ヘッドマウントディスプレイ３を数十台接続可能としてもよいし、１００台以上接続可能としてもよい。 The number of head mounted displays 3 connected to the tablet terminal 2 may be one or more, and is not particularly limited. In this embodiment, a router 4 that can connect a maximum of 20 terminals is used, and a tablet terminal 2 and a maximum of 19 head mounted displays 3 can be connected. Depending on the performance of the router 4, several tens of head-mounted displays 3 may be connectable, or 100 or more may be connectable.
まず、タブレット端末２の構成について説明する。タブレット端末２は、ＣＰＵと、ＲＡＭ、ＲＯＭなどのメインメモリやＳＤカードなどの外部メモリからなる記憶部１０（図２参照）と、バッテリと、などを主に備えている。記憶部１０には、タブレット端末２側で実行される画像表示プログラム等の各種アプリケーションソフトウェアや、ヘッドマウントディスプレイ３での再生に用いるコンテンツファイルなどの各種情報が記憶される。 First, the configuration of the tablet terminal 2 will be described. The tablet terminal 2 mainly includes a CPU, a storage unit 10 (see FIG. 2) including a main memory such as a RAM and a ROM, and an external memory such as an SD card, a battery, and the like. The storage unit 10 stores various types of information such as various application software such as an image display program executed on the tablet terminal 2 side and a content file used for reproduction on the head mounted display 3.
コンテンツファイルとしては、例えば、ＪＰＥＧ形式やＰＮＧ形式の画像ファイル、ｍｐ４形式の動画ファイルなどが挙げられるが、これに限定されることはない。ヘッドマウントディスプレイ３で画像や音を再生して観察者に提供できればよく、ＰＤＦ形式のファイルやＰｏｗｅｒＰｏｉｎｔプレゼンテーション形式のファイルから出力した画像ファイルや動画ファイル、スライドなどであってもよい。 Examples of the content file include an image file in JPEG format or PNG format, and a moving image file in mp4 format, but are not limited thereto. It is sufficient if images and sounds can be reproduced and provided to the observer by the head mounted display 3, and may be an image file, a moving image file, a slide, or the like output from a PDF file, a PowerPoint presentation file.
コンテンツファイルは、タブレット端末２で編集して記憶部１０に記憶してもよいし、パーソナルコンピュータ（ＰＣ）で編集し、通信ネットワークを介して、またはＤＶＤ、フラッシュメモリ、ＳＤカードなどから記憶部１０にコピーしてもよい。 The content file may be edited by the tablet terminal 2 and stored in the storage unit 10, or edited by a personal computer (PC), via a communication network, or from the DVD, flash memory, SD card, or the like. You may copy it.
また、タブレット端末２は、コンテンツが表示される表示部１１と、操作者Ｓが操作する操作部１２と、を備えている。表示部１１は、いわゆるタッチパネルが搭載されたタッチパネルディスプレイから構成されている。そのため、表示部１１は、操作者Ｓがコンテンツの転送や表示を指令する操作を行うための操作部１２、さらには線画や文字等を入力する入力部としての機能を兼ねている。タブレット端末２の操作者は、表示部１１上で指やタッチペンなどで操作部１２をタッチ操作することで、タブレット端末２に各種指示を与えることができる。 The tablet terminal 2 includes a display unit 11 on which content is displayed and an operation unit 12 operated by the operator S. The display unit 11 includes a touch panel display on which a so-called touch panel is mounted. For this reason, the display unit 11 also functions as an operation unit 12 for the operator S to perform operations for instructing transfer and display of content, and further, an input unit for inputting line drawings, characters, and the like. An operator of the tablet terminal 2 can give various instructions to the tablet terminal 2 by touching the operation unit 12 with a finger or a touch pen on the display unit 11.
なお、音声を含むコンテンツファイルの場合、タブレット端末２に設けられたスピーカから音声を出力することができる。この場合、スピーカも表示部１１の一つに含めることができる。 Note that in the case of a content file containing sound, the sound can be output from a speaker provided in the tablet terminal 2. In this case, a speaker can also be included in one of the display units 11.
タブレット端末２には、例えば、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ、ＷｉｎｄｏｗｓなどのＯＳ（オペレーティング・システム）がインストールされ、このＯＳ上で、Ｊａｖａ（登録商標）などのプログラミング言語で作成されたアプリケーションソフトウェアが実行される。 For example, an OS (operating system) such as Android (registered trademark), iOS, or Windows is installed in the tablet terminal 2, and application software created in a programming language such as Java (registered trademark) is installed on the OS. Executed.
次に、タブレット端末２の機能を、図２を用いて説明する。この図２に示すように、タブレット端末２は、タブレット端末２を制御する端末制御部２０を備えている。端末制御部２０は、記憶部１０のＲＯＭに予め記憶されている画像表示プログラムやアプリケーションソフトウェアに従って、例えばＲＡＭをワークメモリとして用いて、タブレット端末２全体の作動制御を行うとともに、画像表示プログラムを実行することができる。 Next, functions of the tablet terminal 2 will be described with reference to FIG. As shown in FIG. 2, the tablet terminal 2 includes a terminal control unit 20 that controls the tablet terminal 2. The terminal control unit 20 controls the operation of the entire tablet terminal 2 and executes the image display program using, for example, the RAM as a work memory in accordance with an image display program or application software stored in advance in the ROM of the storage unit 10. can do.
すなわち、端末制御部２０は、コンテンツファイル転送部２１と、電文送信部２２と、電文受信部２３と、コンテンツ再生部２４と、接続状態確認部２５と、インタフェース部２６として機能する。 That is, the terminal control unit 20 functions as a content file transfer unit 21, a message transmission unit 22, a message reception unit 23, a content reproduction unit 24, a connection state confirmation unit 25, and an interface unit 26.
コンテンツファイル転送部２１は、操作部１２からの操作者の操作に従って、記憶部１０に記憶されたコンテンツファイルを、通信ネットワークを介して複数のヘッドマウントディスプレイ３に転送する機能を有する。このとき、コンテンツファイル転送部２１は、ルータ４に接続するすべてのヘッドマウントディスプレイ３にコンテンツファイルを転送する。また、コンテンツファイル転送部２１は、コンテンツファイルの転送の際に、ｚｉｐファイルに圧縮して１ファイルに纏めて転送する機能も備えており、オーバヘッドを減少させることができる。 The content file transfer unit 21 has a function of transferring the content file stored in the storage unit 10 to the plurality of head mounted displays 3 via a communication network in accordance with an operation of the operator from the operation unit 12. At this time, the content file transfer unit 21 transfers the content file to all the head mounted displays 3 connected to the router 4. The content file transfer unit 21 also has a function of compressing a zip file and transferring it as a single file when transferring the content file, thereby reducing overhead.
電文送信部２２は、ヘッドマウントディスプレイ３に、コンテンツの再生指示を与えるため電文（指示情報）を生成し、ヘッドマウントディスプレイ３に送信する機能を有する。このとき、タブレット端末２自身に向けても電文が送信される。本実施の形態では、電文送信部２２は、コンテンツ再生指示の電文の他に、動画ファイルの一時停止指示の電文、一時停止された動画ファイルの再生の再開指示の電文、コンテンツ再生の停止指示の電文を送信する構成となっている。 The message transmission unit 22 has a function of generating a message (instruction information) for giving a content reproduction instruction to the head mounted display 3 and transmitting the message to the head mounted display 3. At this time, a message is also transmitted to the tablet terminal 2 itself. In the present embodiment, in addition to the content playback instruction message, the message transmission unit 22 transmits a video file pause instruction message, a paused video file restart instruction message, and a content playback stop instruction message. It is configured to send a message.
電文受信部２３は、電文送信部２２で送信した電文を受信する機能を有する。電文受信部２３は、受信した電文から指示を抽出して、コンテンツ再生部２４に通知する。コンテンツ再生部２４は、電文受信部２３で受信した電文の指示に従って、コンテンツの再生、一時停止、再開、停止を行う機能を有する。 The message reception unit 23 has a function of receiving a message transmitted by the message transmission unit 22. The message receiving unit 23 extracts an instruction from the received message and notifies the content reproduction unit 24 of the instruction. The content reproduction unit 24 has a function of reproducing, pausing, resuming, and stopping the content in accordance with a message instruction received by the message reception unit 23.
コンテンツ再生部２４によって再生されたコンテンツは、インタフェース部２６によってコンテンツ表示領域１１ｄに表示される（図５Ａ、図５Ｂ参照）。この再生等の処理は、ヘッドマウントディスプレイ３での再生等と同様に、タイムラグを生じることなく行われる。そのため、操作者は、表示部１１でヘッドマウントディスプレイ３でのコンテンツの再生状態を確認しながら、操作や説明を行うことができる。 The content reproduced by the content reproduction unit 24 is displayed in the content display area 11d by the interface unit 26 (see FIGS. 5A and 5B). The processing such as reproduction is performed without causing a time lag as in the case of reproduction on the head mounted display 3. Therefore, the operator can perform operations and explanations while confirming the content playback state on the head mounted display 3 on the display unit 11.
接続状態確認部２５は、通信ネットワークの接続状態、本実施形態では、Ｗｉ−Ｆｉ（登録商標）の接続状態を監視し、インタフェース部２６に通知する機能を有する。例えば、接続状態確認部２５は、ルータ４が電源オフ状態であったり、接続環境に問題があったりして通信ができない場合は、未接続状態（オフライン状態）と判定し、通信が可能であれば、接続状態（オンライン状態）と判定し、インタフェース部２６に通知する。 The connection state confirmation unit 25 has a function of monitoring the connection state of the communication network, in this embodiment, the connection state of Wi-Fi (registered trademark), and notifying the interface unit 26. For example, when the router 4 is in a power-off state or there is a problem with the connection environment and communication is not possible, the connection state confirmation unit 25 determines that the connection is not established (offline state) and communication is possible. In this case, the connection state (online state) is determined, and the interface unit 26 is notified.
インタフェース部２６は、操作部１２からの操作の入力を受け付ける機能と、表示部１１に各種画像を表示する機能を有する。以下、本実施の形態のインタフェース部２６の具体的な機能を列挙する。 The interface unit 26 has a function of receiving an operation input from the operation unit 12 and a function of displaying various images on the display unit 11. Hereinafter, specific functions of the interface unit 26 according to the present embodiment will be listed.
インタフェース部２６は、例えば、図４Ａ〜図５Ｃに示すような画面を生成して表示部１１に表示する。これらの画面には、操作部１２としてのコンテンツ選択バー１２ａが表示されるコンテンツ選択バー表示領域１１ｂと、操作部１２としてのファイル転送ボタン１２ｂ、一時停止ボタン１２ｃ、再生ボタン１２ｄ、停止ボタン１２ｅ、終了ボタン１２ｆなどが表示される操作ボタン表示領域１１ｃと、コンテンツが表示されるコンテンツ表示領域１１ｄとが設けられている。インタフェース部２６は、コンテンツ再生部２４が再生しているコンテンツをコンテンツ表示領域１１ｄに表示する。 For example, the interface unit 26 generates a screen as illustrated in FIGS. 4A to 5C and displays the screen on the display unit 11. These screens include a content selection bar display area 11b in which a content selection bar 12a as the operation unit 12 is displayed, a file transfer button 12b, a pause button 12c, a play button 12d, a stop button 12e as the operation unit 12, An operation button display area 11c for displaying an end button 12f and the like, and a content display area 11d for displaying content are provided. The interface unit 26 displays the content being played back by the content playback unit 24 in the content display area 11d.
コンテンツ選択バー１２ａは、記憶部１０に記憶されたコンテンツファイルを階層的に閲覧するためのものであり、閲覧可能なコンテンツのディレクトリが表示される。操作者によってコンテンツ選択バー１２ａが操作されると、インタフェース部２６は、操作者の選択に従って階層を移動させ、現在表示しているディレクトリを表示させる。 The content selection bar 12a is used for browsing the content files stored in the storage unit 10 in a hierarchical manner, and displays a directory of content that can be browsed. When the content selection bar 12a is operated by the operator, the interface unit 26 moves the hierarchy according to the selection of the operator, and displays the currently displayed directory.
コンテンツ表示領域１１ｄには、コンテンツ選択バー１２ａで閲覧を選択されたコンテンツの内容が表示される（図５Ａ参照）。また、コンテンツ表示領域１１ｄには、ヘッドマウントディスプレイ３の表示部３１に表示されているものと同じコンテンツ（つまり、コンテンツ再生部２４が再生したコンテンツ）が表示される（図５Ｂ参照）。 The content display area 11d displays the content of the content selected for browsing by the content selection bar 12a (see FIG. 5A). In the content display area 11d, the same content as that displayed on the display unit 31 of the head mounted display 3 (that is, the content reproduced by the content reproduction unit 24) is displayed (see FIG. 5B).
転送ボタン１２ｂは、記憶部１０のコンテンツファイルを複数のヘッドマウントディスプレイ３に転送するためのボタンである。転送ボタン１２ｂが操作されると、インタフェース部２６は、コンテンツファイル転送部２１にコンテンツファイル転送の指示を与えるとともに、図４Ｂ、図４Ｃに示すようなファイル転送画面を表示部１１に表示する。 The transfer button 12 b is a button for transferring the content file in the storage unit 10 to the plurality of head mounted displays 3. When the transfer button 12b is operated, the interface unit 26 gives a content file transfer instruction to the content file transfer unit 21 and displays a file transfer screen as shown in FIGS. 4B and 4C on the display unit 11.
一時停止ボタン１２ｃは、動画ファイルの再生を一時停止するためのボタンである。一時停止ボタン１２ｃが操作されると、インタフェース部２６は、電文送信部２２にコンテンツの一時停止指示の電文送信の指示を与える。 The pause button 12c is a button for pausing the reproduction of the moving image file. When the pause button 12c is operated, the interface unit 26 gives a message transmission instruction to the message transmission unit 22 as a content pause instruction.
再生ボタン１２ｄは、コンテンツを再生したり、一時停止された動画ファイルの再生を再開したりするためのボタンである。再生ボタン１２ｄが操作されると、インタフェース部２６は、電文送信部２２に再生指示の電文送信の指示を与える。 The playback button 12d is a button for playing back content or restarting playback of a paused video file. When the play button 12d is operated, the interface unit 26 gives a message transmission instruction of a reproduction instruction to the message transmission unit 22.
停止ボタン１２ｅは、コンテンツの再生を停止するためのボタンである。停止ボタン１２ｅが操作されると、インタフェース部２６は、電文送信部２２にコンテンツの停止指示の電文送信の指示を与える。 The stop button 12e is a button for stopping the reproduction of content. When the stop button 12e is operated, the interface unit 26 gives a message transmission instruction to the message transmission unit 22 to stop the content.
終了ボタン１２ｆは、画像表示プログラムを終了するボタンである。終了ボタン１２ｆが操作されると、インタフェース部２６は、画像表示プログラムを終了する。 The end button 12f is a button for ending the image display program. When the end button 12f is operated, the interface unit 26 ends the image display program.
また、インタフェース部２６は、接続状態確認部２５から通知される接続状態（ステータス）を表示部１１に表示し、操作者Ｓに接続状態が正常か異常かを通知する機能も有する。未接続状態の場合は、例えば、図５Ｃに示すように、表示画面１１ａのコンテンツ表示領域１１ｄに「Ｗｉ−Ｆｉが接続されていません 係の者にお知らせください」のメッセージを大きく目立つように表示する。 The interface unit 26 also has a function of displaying the connection state (status) notified from the connection state confirmation unit 25 on the display unit 11 and notifying the operator S whether the connection state is normal or abnormal. In the unconnected state, for example, as shown in FIG. 5C, the message “Notify Wi-Fi is not connected” on the content display area 11d of the display screen 11a is displayed prominently. To do.
一方、接続状態が正常であるときは、インタフェース部２６は、例えば、図４Ａに示すように、コンテンツ表示領域１１ｄに「Ｗｉ−Ｆｉ接続ＯＫ」のメッセージを小さく表示する。ただし、接続状態が正常であっても、コンテンツ表示領域１１ｄにコンテンツを表示しているときは、コンテンツの閲覧を妨げないように、メッセージは表示しない（図５Ａ等参照）。 On the other hand, when the connection state is normal, the interface unit 26 displays a small message “Wi-Fi connection OK” in the content display area 11d, for example, as shown in FIG. 4A. However, even if the connection state is normal, when the content is displayed in the content display area 11d, no message is displayed so as not to prevent browsing of the content (see FIG. 5A and the like).
次に、ヘッドマウントディスプレイ３の構成について説明する。ヘッドマウントディスプレイ３は、画像ファイルや動画ファイルなどのコンテンツを再生し、閲覧者の頭部に装着した状態で、閲覧者Ｏが虚像（コンテンツ）を閲覧することができるようにしたものである。本実施の形態のヘッドマウントディスプレイ３は、閲覧者の頭部に装着するメガネ型のディスプレイ本体３０と、ディスプレイ本体３０へのコンテンツの表示を制御する装置本体４０とを備えている。 Next, the configuration of the head mounted display 3 will be described. The head-mounted display 3 reproduces content such as an image file and a moving image file, and allows the viewer O to view a virtual image (content) in a state of being mounted on the viewer's head. The head-mounted display 3 according to the present embodiment includes a glasses-type display main body 30 that is worn on the viewer's head, and an apparatus main body 40 that controls display of content on the display main body 30.
ヘッドマウントディスプレイ３としては、いずれのものを用いてもよく、特に限定されるものではないが、例えば、エプソン社製のスマートグラス ＭＯＶＥＲＩＯ（登録商標）などを好適に用いることができる。 Any head mounted display 3 may be used, and is not particularly limited. For example, Epson's Smart Glass MOVERIO (registered trademark) can be suitably used.
本実施の形態のディスプレイ本体３０は、鼻パッドや耳に掛けるテンプル等を有するメガネ型を呈しており、スマートグラスとも呼ばれている。なお、ディスプレイ本体３０がメガネ型に限定されることはなく、閲覧者Ｏの頭部に装着して画像を提供することができればいずれの形状、形態であってもよく、例えば、左右のレンズが繋がったゴーグル型であってもよいし、頭部に直接又は帽子やヘルメットに着脱できるヘッドセット型であってもよい。また、帽子やヘルメットと一体となったものであってもよい。 The display main body 30 of the present embodiment is a glasses type having a nose pad, a temple to be hung on the ear, and the like, and is also called a smart glass. The display main body 30 is not limited to the glasses type, and may be any shape and form as long as the display main body 30 can be mounted on the viewer O's head and can provide an image. It may be a connected goggles type or a headset type that can be attached directly to the head or attached to a hat or helmet. Further, it may be integrated with a hat or a helmet.
ディスプレイ本体３０は、閲覧者Ｏの眼の前方に配置されコンテンツを表示する表示部（ディスプレイ）３１を備えている。この他にも、コンテンツの信号情報に基づいて、信号光を生成する液晶表示素子（ＬＣＤ）やバックライトなどの光学系や、レンズやミラー等を有し生成された信号光を表示部３１の表示面３１ａに表示する投影光学系など、表示装置が一般的に備えている構成を備えている。 The display main body 30 includes a display unit (display) 31 that is arranged in front of the eyes of the viewer O and displays content. In addition, based on the signal information of the content, the signal light generated by the liquid crystal display element (LCD) that generates signal light, an optical system such as a backlight, a lens, a mirror, and the like is displayed on the display unit 31. The display device generally includes a configuration such as a projection optical system that displays on the display surface 31a.
本実施の形態では、閲覧者の左右の眼に画像を提示可能なように、左右の眼に対向して２つの表示部３１と投影光学系を設けている。なお、使用目的や、デザインなどに応じて、左右一方の眼に対向してこれらを１つのみ設けてもよい。 In the present embodiment, two display units 31 and a projection optical system are provided facing the left and right eyes so that an image can be presented to the viewer's left and right eyes. Depending on the purpose of use and design, only one of these may be provided facing the left and right eyes.
表示部３１は、画像とともに外部の現実環境を視認可能なように、透過性を有する部材（例えば、透明又は半透明のガラス、樹脂等）によって形成されている。具体的には、例えば表示部３１として、有機ＥＬディスプレイを用いるのが好適であるが、これに限定されることはない。 The display unit 31 is formed of a transparent member (for example, transparent or translucent glass, resin, or the like) so that an external real environment can be visually recognized together with an image. Specifically, for example, an organic EL display is preferably used as the display unit 31, but is not limited thereto.
また、ディスプレイ本体３０は、表示部３１の外面に着脱可能な非透過性のシェード部材３２も備えている。このシェード部材３２は、着色又は遮光フィルム等が貼付されたガラス材や樹脂材などによって形成されている。シェード部材３２は、クリップ等の取付部材によって表示部３１の外面に取り付けることで、外部からの光を遮断したり、表示部３１からの光の漏れを防止したりすることができ、より明るく鮮明なコンテンツを閲覧者Ｏに提供することができる。 The display main body 30 also includes an impermeable shade member 32 that can be attached to and detached from the outer surface of the display unit 31. The shade member 32 is formed of a glass material or a resin material to which a colored or light shielding film or the like is attached. The shade member 32 is attached to the outer surface of the display unit 31 by an attachment member such as a clip, so that light from the outside can be blocked or light leakage from the display unit 31 can be prevented, and the shade member 32 is brighter and clearer. Content can be provided to the viewer O.
装置本体４０は、ＣＰＵと、ＲＡＭ、ＲＯＭなどのメインメモリやＳＤカードなどの外部メモリからなる記憶部４２（図２参照）と、バッテリと、などを主に備えている。記憶部４２には、ヘッドマウントディスプレイ３側で実行される画像表示プログラム等の各種アプリケーションソフトウェアや、タブレット端末２から転送されるコンテンツファイルなどの各種情報が記憶される。 The apparatus main body 40 mainly includes a CPU, a storage unit 42 (see FIG. 2) including a main memory such as a RAM and a ROM, and an external memory such as an SD card, a battery, and the like. The storage unit 42 stores various types of information such as various application software such as an image display program executed on the head mounted display 3 side and content files transferred from the tablet terminal 2.
また、装置本体４０は、音声ガイドや音楽等を閲覧者Ｏに提供するためのスピーカやイヤホン、閲覧者Ｏや外部の音声等を入力するためのマイク、外部の画像を撮影するカメラ等を備えていてもよい。閲覧者Ｏに対して、コンテンツと同時に音声やカメラ画像等を提供することで、より多くの情報を提供することができるとともに、娯楽性等も向上し、閲覧者Ｏの興味をより強く引くことができる。また、閲覧者Ｏの位置や頭部の動きなど検知するためのジャイロセンサ、加速度センサ、ＧＰＳなどを備えていてもよい。本実施の形態では、閲覧者Ｏの頭部の動きに対応して表示画像を変化させるため、装置本体４０はジャイロセンサを少なくとも備えている。 Further, the apparatus main body 40 includes a speaker and earphones for providing a voice guide, music, and the like to the viewer O, a microphone for inputting the viewer O and external voices, a camera for capturing an external image, and the like. It may be. By providing the viewers with audio and camera images at the same time as the content, it is possible to provide more information, improve entertainment, and attract more interest from the viewers O Can do. Further, a gyro sensor, an acceleration sensor, a GPS, and the like for detecting the position of the viewer O and the movement of the head may be provided. In the present embodiment, the apparatus main body 40 includes at least a gyro sensor in order to change the display image corresponding to the movement of the head of the viewer O.
装置本体４０には、例えば、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ、ＷｉｎｄｏｗｓなどのＯＳ（オペレーティング・システム）がインストールされ、このＯＳ上で、Ｊａｖａ（登録商標）などのプログラミング言語で作成されたアプリケーションソフトウェアが実行される。 For example, an OS (operating system) such as Android (registered trademark), iOS, or Windows is installed in the apparatus main body 40, and application software created in a programming language such as Java (registered trademark) is installed on the OS. Executed.
次に、装置本体４０の機能を、図２を用いて説明する。この図２に示すように、装置本体４０は、ヘッドマウントディスプレイ本体３０を制御する表示制御部４３を備えている。表示制御部４３は、記憶部４２のＲＯＭに予め記憶されている画像表示プログラムやアプリケーションソフトウェアに従って、例えばＲＡＭをワークメモリとして用いて、画像表示プログラムを実行し、ヘッドマウントディスプレイ本体３０へのコンテンツ表示の制御を行う。 Next, functions of the apparatus main body 40 will be described with reference to FIG. As shown in FIG. 2, the apparatus main body 40 includes a display control unit 43 that controls the head mounted display main body 30. The display control unit 43 executes the image display program using, for example, the RAM as a work memory in accordance with an image display program or application software stored in advance in the ROM of the storage unit 42, and displays content on the head mounted display main body 30. Control.
すなわち、表示制御部４３は、コンテンツファイル受信部４４と、電文受信部４５と、コンテンツ再生部４６と、接続状態確認部４７と、インタフェース部４８として機能する。 That is, the display control unit 43 functions as a content file receiving unit 44, a message receiving unit 45, a content reproduction unit 46, a connection state confirmation unit 47, and an interface unit 48.
コンテンツファイル受信部４４は、タブレット端末２から転送されたコンテンツファイルを受信し、記憶部４２に記憶する。コンテンツファイル受信部４４は、ｚｉｐファイルの展開機能も有し、コンテンツファイルがｚｉｐ形式の場合は、ｚｉｐファイルを展開して記憶部４２に記憶する。 The content file receiving unit 44 receives the content file transferred from the tablet terminal 2 and stores it in the storage unit 42. The content file receiving unit 44 also has a zip file expansion function. When the content file is in the zip format, the content file reception unit 44 expands the zip file and stores it in the storage unit 42.
電文受信部４５は、タブレット端末２の電文送信部２２から送信された電文を受信する機能を有する。電文受信部４５は、受信した電文を解析して、タブレット端末２からの指示を抽出し、コンテンツ再生部４６に通知する。本実施の形態では、コンテンツの再生、動画ファイルの一時停止、動画ファイルの再開、コンテンツの停止の指示電文を受信する。 The message receiving unit 45 has a function of receiving a message transmitted from the message transmission unit 22 of the tablet terminal 2. The message receiving unit 45 analyzes the received message, extracts an instruction from the tablet terminal 2, and notifies the content reproduction unit 46 of the instruction. In the present embodiment, instruction messages for content playback, video file pause, video file restart, and content stop are received.
コンテンツ再生部４６は、電文受信部４５から受け取った再生の指示に従って、記憶部４２に記憶されたコンテンツファイルを読み出して、コンテンツを再生する。また、一時停止の指示に従って、コンテンツ再生を一時停止させ、停止の指示に従って、コンテンツ再生を停止（終了）させる。 The content playback unit 46 reads the content file stored in the storage unit 42 and plays back the content in accordance with the playback instruction received from the message reception unit 45. Further, the content reproduction is paused according to the pause instruction, and the content reproduction is stopped (terminated) according to the stop instruction.
さらに、本実施の形態では、閲覧者Ｏの頭部の動きに応じて、パノラマ撮影されたパノラマ画像を３６０°方向から再生可能としている。そのため、コンテンツ再生部４６は、ジャイロセンサによって取得した閲覧者Ｏの頭部の移動方向に応じて、パノラマ画像中の表示部３１へ表示する領域を変化させる機能も有している。 Furthermore, in the present embodiment, panoramic images taken in panorama can be reproduced from the 360 ° direction in accordance with the movement of the head of the viewer O. Therefore, the content reproduction unit 46 also has a function of changing a region to be displayed on the display unit 31 in the panoramic image according to the moving direction of the head of the viewer O acquired by the gyro sensor.
接続状態確認部４７は、通信ネットワークの接続状態、本実施形態では、Ｗｉ−Ｆｉ（登録商標）の接続状態を監視し、インタフェース部４８に通知する機能を有する。接続状態確認部４７は、通信ができない場合は、未接続状態（オフライン状態）と判定し、通信が可能であれば、接続状態（オンライン状態）と判定し、インタフェース部４８に通知する。 The connection state confirmation unit 47 has a function of monitoring the connection state of the communication network, in this embodiment, the connection state of Wi-Fi (registered trademark), and notifying the interface unit 48. The connection state confirmation unit 47 determines that the communication state is not connected (offline state), and if communication is possible, determines the connection state (online state) and notifies the interface unit 48 of the determination.
インタフェース部４８は、コンテンツ再生部４６によって再生されたコンテンツを表示部３１に表示する機能を有する（図６Ａ参照）。このとき、音声を含むコンテンツの場合は、表示部３１の一つであるスピーカから音声を出力する。 The interface unit 48 has a function of displaying the content reproduced by the content reproduction unit 46 on the display unit 31 (see FIG. 6A). At this time, in the case of content including audio, audio is output from a speaker that is one of the display units 31.
また、インタフェース部４８は、接続状態確認部４７から通知される接続状態（ステータス）を表示部３１に表示し、閲覧者Ｏに接続状態が正常か異常かを通知する機能も有する。未接続の場合は、例えば、図６Ｃに示すように「Ｗｉ−Ｆｉが接続されていません 係の者にお知らせください」のメッセージを大きく目立つように表示する。一方、接続状態が正常の場合は、図６Ｄに示すように、「Ｗｉ−Ｆｉ接続ＯＫ」のメッセージを小さく表示する。ただし、接続状態が正常であっても、コンテンツの再生中は、閲覧を妨げることのないよう、インタフェース部４８は、接続状態のメッセージを表示しない（図６Ａ参照）。 The interface unit 48 also has a function of displaying the connection state (status) notified from the connection state confirmation unit 47 on the display unit 31 and notifying the viewer O of whether the connection state is normal or abnormal. When not connected, for example, as shown in FIG. 6C, a message “Please notify the person in charge of Wi-Fi not connected” is displayed prominently. On the other hand, if the connection state is normal, the message “Wi-Fi connection OK” is displayed small as shown in FIG. 6D. However, even if the connection state is normal, the interface unit 48 does not display a connection state message so as not to prevent browsing during content playback (see FIG. 6A).
以下、上述のような構成の本実施の形態に係る画像表示システム１による画像表示処理（画像表示方法）の動作について、図３のフローチャート及び図４Ａの〜図６Ｃの画面例を参照しながら説明する。ここでは、ヘッドマウントディスプレイ３を使用して、複数の閲覧者Ｏに対して観光案内、美術館や博物館等での展示品説明、スポーツ施設等での施設案内などを行う場合を想定して説明する。 Hereinafter, the operation of the image display processing (image display method) by the image display system 1 according to the present embodiment having the above-described configuration will be described with reference to the flowchart of FIG. 3 and the screen examples of FIGS. 4A to 6C. To do. Here, description will be made assuming that the head-mounted display 3 is used to provide tourist guidance, explanation of exhibits at museums, museums, facility guidance at sports facilities, etc. to a plurality of viewers O. .
画像表示処理は、図３に示すように、コンテンツファイル転送処理（ステップS100）と、コンテンツ再生処理（ステップS200）と、接続状態確認処理（ステップS300）とを有している。コンテンツファイル転送処理S100は、コンテンツ再生処理S200を行う前に予め行っておく。例えば、説明の準備の際や、コンテンツの作成や更新を行ったときに行う。そのため、コンテンツファイル転送処理S100とコンテンツ再生処理S200とは、時間をおいてそれぞれ実行される。また、コンテンツファイル転送処理S100、コンテンツ再生処理S200がそれぞれ実行されているバックグラウンドで、接続状態確認処理S300が繰り返し実行されている。 As shown in FIG. 3, the image display process includes a content file transfer process (step S100), a content reproduction process (step S200), and a connection state confirmation process (step S300). The content file transfer process S100 is performed in advance before performing the content reproduction process S200. For example, it is performed when preparing explanations or when creating or updating content. Therefore, the content file transfer process S100 and the content reproduction process S200 are executed with a time interval. In addition, the connection state confirmation process S300 is repeatedly executed in the background in which the content file transfer process S100 and the content reproduction process S200 are executed.
まず、ステップS100のコンテンツファイル転送処理について説明する。コンテンツファイル転送処理S100は、プレゼンターやシステム担当者などの操作者Ｓによって実行される。操作者Ｓは、タブレット端末２の電源をオンし、タブレット端末２側の画像表示プログラムを起動する。また、複数用意されたヘッドマウントディスプレイ３の電源もそれぞれオンし、ヘッドマウントディスプレイ３側の画像表示プログラムを起動する。 First, the content file transfer process in step S100 will be described. The content file transfer process S100 is executed by an operator S such as a presenter or a system person in charge. The operator S turns on the power of the tablet terminal 2 and starts an image display program on the tablet terminal 2 side. Further, the power supplies of the plurality of head mounted displays 3 are also turned on, and the image display program on the head mounted display 3 side is started.
画像表示プログラムが起動されると、タブレット端末２側ではインタフェース部２６が、表示部１１に、図４Ａに示すようなトップ画面を表示する。このトップ画面上で、操作者Ｓがファイル転送ボタン１２ｂをタッチ操作することで、コンテンツファイル転送処理が開始される。 When the image display program is started, the interface unit 26 displays a top screen as shown in FIG. 4A on the display unit 11 on the tablet terminal 2 side. On the top screen, when the operator S touches the file transfer button 12b, the content file transfer process is started.
このタッチ操作を受け付けたインタフェース部２６は、図４Ｂに示すように、トップ画面に転送の開始の要否の確認画面を表示する。ここで、「いいえ」が選択された場合は、図４Ａのトップ画面に戻る。一方、「はい」が選択された場合は、インタフェース部２６は、コンテンツファイル転送部２１にファイル転送の開始を指示するとともに、図４Ｃに示すように、ファイル転送中を示す画面を表示する（以上、ステップS101）。 As shown in FIG. 4B, the interface unit 26 that has received this touch operation displays on the top screen a confirmation screen as to whether or not transfer start is necessary. Here, if “No” is selected, the screen returns to the top screen of FIG. 4A. On the other hand, when “Yes” is selected, the interface unit 26 instructs the content file transfer unit 21 to start file transfer and displays a screen indicating that the file is being transferred as shown in FIG. Step S101).
ファイル転送の開始の指示を受けたコンテンツファイル転送部２１は、記憶部１０に予め記憶されたコンテンツファイルを読み出し、コンテンツ電文を生成する。生成したコンテンツ電文を、ルータ４に送信することで、通信ネットワークに接続する各ヘッドマウントディスプレイ３に一括送信される（ステップS102）。 Upon receiving the instruction to start file transfer, the content file transfer unit 21 reads the content file stored in advance in the storage unit 10 and generates a content message. By transmitting the generated content message to the router 4, the content message is collectively transmitted to each head mounted display 3 connected to the communication network (step S 102).
各ヘッドマウントディスプレイ３では、コンテンツファイル受信部４４がコンテンツ電文を受信し、記憶部４２に記憶する（ステップS103）。以上により、ステップS100のコンテンツファイル転送処理が終了する。 In each head mounted display 3, the content file receiving unit 44 receives the content message and stores it in the storage unit 42 (step S103). Thus, the content file transfer process in step S100 ends.
ここで、従来のように、コンテンツファイルを転送しながら再生した場合、動画ファイル等のサイズが大きいものは転送に時間がかかり、待ち時間によるタイムラグが生じて円滑な再生ができなくなったり、ヘッドマウントディスプレイ３間で転送や再生のズレが生じたりするおそれがある。しかし、本実施の形態では、上述のように事前にコンテンツファイル転送処理を実行し、予めコンテンツファイルをすべてのヘッドマウントディスプレイ３に転送しているため、コンテンツの再生中はコンテンツファイルを転送する必要がなくなる。そのため、その後のコンテンツ再生処理S200を、円滑に行うことが可能となる。 Here, when playing content files while transferring them as in the past, large files such as movie files take a long time to transfer, causing a time lag due to the waiting time, and smooth playback becomes impossible, There is a possibility that a transfer or reproduction shift occurs between the displays 3. However, in the present embodiment, the content file transfer process is executed in advance as described above, and the content file is transferred to all the head mounted displays 3 in advance. Therefore, it is necessary to transfer the content file during the reproduction of the content. Disappears. Therefore, the subsequent content reproduction process S200 can be performed smoothly.
なおコンテンツファイル転送処理S100の実行中に、ステップS300の接続状態確認処理が繰り返し実行される。タブレット端末２側では、接続状態確認部２５がＷｉ−Ｆｉ（登録商標）の接続状態を監視し、インタフェース部２６に通知する（ステップＳ301）。この通知を受けたインタフェース部２６は、表示部１１にＷｉ−Ｆｉ（登録商標）接続のステータス表示を行う。未接続状態の場合は、図５Ｃに示すように、コンテンツ表示領域１１ｄに未接続である旨のメッセージを表示する。一方、接続状態が通知されている間は、インタフェース部２６は、図４Ａ、図４Ｂ等に示すように、コンテンツ表示領域１１ｄに接続状態が正常である旨のメッセージを表示する（以上、ステップS301）。一方、ヘッドマウントディスプレイ３側でも、接続状態確認部４７が、Ｗｉ−Ｆｉ（登録商標）の接続状態を確認し、インタフェース部４８に通知する（ステップＳ303）。インタフェース部４８は、未接続状態の通知を受けた場合に、図６Ｃに示すような画像を表示し、接続状態であれば図６Ｄに示すような画像を表示する（ステップS304）。このように、接続状態を表示することで、操作者Ｓはコンテンツファイルを転送できる状態であるかを確認することができる。これにより、未接続状態で転送ができない状態で、転送操作をするのを防止することができる。 During the execution of the content file transfer process S100, the connection state confirmation process in step S300 is repeatedly executed. On the tablet terminal 2 side, the connection state confirmation unit 25 monitors the connection state of Wi-Fi (registered trademark) and notifies the interface unit 26 (step S301). Upon receiving this notification, the interface unit 26 displays a Wi-Fi (registered trademark) connection status on the display unit 11. In the unconnected state, as shown in FIG. 5C, a message indicating that the connection is not established is displayed in the content display area 11d. On the other hand, while the connection status is notified, the interface unit 26 displays a message indicating that the connection status is normal in the content display area 11d as shown in FIGS. 4A and 4B (step S301). ). On the other hand, also on the head mounted display 3 side, the connection state confirmation unit 47 confirms the connection state of Wi-Fi (registered trademark) and notifies the interface unit 48 (step S303). When the interface unit 48 receives the notification of the unconnected state, the interface unit 48 displays an image as shown in FIG. 6C, and when in the connected state, displays an image as shown in FIG. 6D (step S304). Thus, by displaying the connection status, the operator S can confirm whether or not the content file can be transferred. As a result, it is possible to prevent a transfer operation from being performed in a state in which transfer is not possible in an unconnected state.
次に、ステップS200のコンテンツ再生処理について説明する。コンテンツ再生処理S200は、プレゼンターである操作者Ｓが画像表示システム１を使用して、観光案内等を行うときに実行される。この場合も、タブレット端末２と各ヘッドマウントディスプレイ３の電源をオンし、各機器で画像表示プログラムを起動しておく。また、閲覧者Ｏは、ヘッドマウントディスプレイ３を頭部に装着する。このとき、コンテンツの視認性を向上させるため、表示部３１にシェード部材３２を取り付ける。 Next, the content reproduction process in step S200 will be described. The content reproduction process S200 is executed when the operator S who is a presenter uses the image display system 1 to provide sightseeing guidance and the like. Also in this case, the power of the tablet terminal 2 and each head mounted display 3 is turned on, and the image display program is started on each device. The viewer O wears the head mounted display 3 on the head. At this time, the shade member 32 is attached to the display unit 31 in order to improve the visibility of the content.
画像表示プログラムが起動されると、タブレット端末２側では、インタフェース部２６が表示部１１に図４Ａに示すようなトップ画面を表示する。このトップ画面上で、操作者Ｓは、コンテンツ選択バー１２ａをタッチ操作して、再生するコンテンツを選択することができる。コンテンツが選択されると、インタフェース部２６は、図５Ａに示すように、コンテンツ一覧が表示されたコンテンツ選択画面を表示部１１に表示する。図５Ａに示す例では、コンテンツの名称と、コンテンツの種類（パノラマ写真、動画、静止画など）を表すアイコンが並んで表示され、操作者Ｓが識別し易くなっている。 When the image display program is activated, on the tablet terminal 2 side, the interface unit 26 displays a top screen as shown in FIG. 4A on the display unit 11. On this top screen, the operator S can select the content to be reproduced by touching the content selection bar 12a. When the content is selected, the interface unit 26 displays a content selection screen on which the content list is displayed on the display unit 11 as illustrated in FIG. 5A. In the example shown in FIG. 5A, the name of the content and an icon representing the type of content (panorama photo, moving image, still image, etc.) are displayed side by side, making it easy for the operator S to identify.
そして、操作者Ｓがコンテンツ選択画面上で、コンテンツ選択バー１２ａをタッチ操作してコンテンツを選択し、再生ボタン１２ｄをタッチ操作することで、選択されたコンテンツの再生が開始される。なお、再生ボタン１２ｄをタッチ操作することなく、コンテンツ選択バー１２ａでコンテンツを選択したときに、自動で再生が開始される構成でもよい。 Then, the operator S touches the content selection bar 12a on the content selection screen to select the content, and touches the playback button 12d to start playback of the selected content. Note that a configuration may be adopted in which playback is automatically started when a content is selected by the content selection bar 12a without touching the playback button 12d.
インタフェース部２６は、再生ボタン１２ｄの操作を受け付けると、電文送信部２２に、再生指示の電文送信の指示を与える（ステップS201）。この指示を受けた電文送信部２２は、コンテンツの再生指示の電文を生成し、ルータ４を介して通信ネットワークに接続するヘッドマウントディスプレイ３に一斉に送信する（ステップＳ202）。このとき、タブレット端末２自身にも電文が送信される。また、電文には、再生指示とともに、例えば、再生するコンテンツのＩＤなどを含めることができる。 When the interface unit 26 accepts the operation of the play button 12d, the interface unit 26 gives a message transmission instruction of a reproduction instruction to the message transmission unit 22 (step S201). Receiving this instruction, the message transmitting unit 22 generates a message for instructing to reproduce the content, and transmits it simultaneously to the head mounted display 3 connected to the communication network via the router 4 (step S202). At this time, a message is also transmitted to the tablet terminal 2 itself. In addition, the electronic message can include, for example, the ID of the content to be reproduced along with the reproduction instruction.
この再生指示の電文を、各ヘッドマウントディスプレイ３の電文受信部４５が受信し、コンテンツ再生部４６に、コンテンツの再生指示と、再生するコンテンツのＩＤ等を通知する（ステップＳ203）。この通知を受けて、コンテンツ再生部４６は、記憶部４２からコンテンツを読み出して再生する（ステップS204）。再生されたコンテンツは、インタフェース部４８によって、図６Ａに示されるように、表示部３１に表示される（ステップS205）。 The message of the playback instruction is received by the message receiver 45 of each head-mounted display 3, and the content playback unit 46 is notified of the content playback instruction and the ID of the content to be played back (step S203). Upon receiving this notification, the content reproduction unit 46 reads the content from the storage unit 42 and reproduces it (step S204). The reproduced content is displayed on the display unit 31 by the interface unit 48 as shown in FIG. 6A (step S205).
一方、タブレット端末２側でも、電文受信部２３が再生指示の電文を受信し、コンテンツ再生部２４に通知する（ステップS206）。この通知を受けて、コンテンツ再生部２４は、記憶部１０からコンテンツを読み出して再生する（ステップS207）。再生されたコンテンツは、インタフェース部２６によってコンテンツ表示領域１１ｄに表示される（ステップS208）。よって操作者Ｓは、再生されたコンテンツを視認しながら、解説や説明を行うことができる。表示部１１への表示例を図５Ｂに示す。図５Ｂでは、動画ファイルが再生されて、コンテンツ表示領域１１ｄの画像が変化していく様子を示している。 On the other hand, also on the tablet terminal 2 side, the message receiving unit 23 receives a message for reproduction instruction and notifies the content reproduction unit 24 (step S206). Upon receiving this notification, the content reproduction unit 24 reads the content from the storage unit 10 and reproduces it (step S207). The reproduced content is displayed in the content display area 11d by the interface unit 26 (step S208). Therefore, the operator S can give explanations and explanations while visually recognizing the reproduced content. A display example on the display unit 11 is shown in FIG. 5B. FIG. 5B shows a state in which the moving image file is reproduced and the image in the content display area 11d changes.
また、動画ファイルの再生中に、一時停止ボタン１２ｃがタッチ操作されると、この操作を受け付けたインタフェース部２６が、電文送信部２２に一時停止指示の電文送信の指示を与える（ステップS201）。電文送信部２２は、一時停止指示の電文を生成し、ルータ４を介してヘッドマウントディスプレイ３及びタブレット端末２自身に一斉に送信する（ステップS202）。 When the pause button 12c is touched during the reproduction of the moving image file, the interface unit 26 that has received this operation gives a message transmission instruction for a pause instruction to the message transmission unit 22 (step S201). The message transmission unit 22 generates a message for a pause instruction, and transmits the message to the head mounted display 3 and the tablet terminal 2 itself via the router 4 (step S202).
ヘッドマウントディスプレイ３では、インタフェース部４８がこの一時停止指示の電文を受信し、コンテンツ再生部４６に通知する（ステップS203）。この通知を受けて、コンテンツ再生部４６は、コンテンツの再生を一時停止する（ステップS204）。インタフェース部４８は、表示部３１に、一時停止状態の画像を表示する（ステップS205）。 In the head mounted display 3, the interface unit 48 receives the temporary stop instruction message and notifies the content reproduction unit 46 (step S203). Upon receiving this notification, the content playback unit 46 temporarily stops the playback of the content (step S204). The interface unit 48 displays the temporarily stopped image on the display unit 31 (step S205).
一方、タブレット端末２側でも、電文受信部２３が一時停止指示の電文を受信し、ルータ４を介してコンテンツ再生部２４に通知する（ステップS206）。この通知を受けて、コンテンツ再生部２４はコンテンツの再生を一時停止する（ステップS207）。インタフェース部２６は、コンテンツ表示領域１１ｄに、一時停止状態の画像を表示する（ステップS208）。 On the other hand, also on the tablet terminal 2 side, the message receiving unit 23 receives a message indicating a pause instruction and notifies the content reproduction unit 24 via the router 4 (step S206). Upon receiving this notification, the content reproduction unit 24 temporarily stops the reproduction of the content (step S207). The interface unit 26 displays the temporarily stopped image in the content display area 11d (step S208).
そして、一時停止状態のときに、再生ボタン１２ｄがタッチ操作されると、ステップS201〜S208の処理が実行されて、タブレット端末２と各ヘッドマウントディスプレイ３での動画ファイルの再生が再開される。この一時停止と再開の機能を利用して、操作者Ｓが口頭で補足説明したいときや、操作者Ｓに注目して欲しいときに、再生を一時停止し、説明等が終わって次に進めたいときに、再生を再開することで、閲覧者Ｏへのアピール性が高く、より効果的なコンテンツの提供や説明が可能となる。また、タブレット端末２側でも、コンテンツが表示されることから、コンテンツの再生、一時停止、再開を操作者Ｓが確認しながら操作することができる。 When the playback button 12d is touched in the paused state, the processes of steps S201 to S208 are executed, and the playback of the moving image file on the tablet terminal 2 and each head mounted display 3 is resumed. Using this pause and resume function, when the operator S wants to give a verbal supplementary explanation or wants the operator S to pay attention, the playback is paused, and the explanation is over and the next step is to proceed. Sometimes, restarting the reproduction makes it possible to provide and explain more effective content with high appeal to the viewer O. Further, since the content is also displayed on the tablet terminal 2 side, the operator S can operate while confirming the reproduction, pause, and restart of the content.
また、コンテンツの再生を停止するときは、操作者Ｓは表示画面１１ａ上で停止ボタン１２ｅをタッチ操作する。この操作を受け付けたインタフェース部２６は、電文送信部２２に、停止指示の電文送信の指示を与える（ステップS209）。この指示を受けた電文送信部２２は、停止指示の電文を生成し、ルータ４を介してヘッドマウントディスプレイ３及びタブレット端末２自身に送信する（ステップＳ210）。 Further, when stopping the reproduction of the content, the operator S touches the stop button 12e on the display screen 11a. Receiving this operation, the interface unit 26 gives a message transmission instruction of a stop instruction to the message transmission unit 22 (step S209). Receiving this instruction, the message transmission unit 22 generates a message indicating a stop instruction and transmits the message to the head mounted display 3 and the tablet terminal 2 itself via the router 4 (step S210).
この停止指示の電文を、各ヘッドマウントディスプレイ３の電文受信部４５が受信し、コンテンツ再生部４６に通知する（ステップＳ203）。この通知を受けて、コンテンツ再生部４６がコンテンツの再生を停止し（ステップS204）、インタフェース部４８が表示部３１へのコンテンツの表示を終了する（ステップS205）。 The message of the stop instruction is received by the message receiving unit 45 of each head mounted display 3 and notified to the content reproduction unit 46 (step S203). In response to this notification, the content reproduction unit 46 stops the reproduction of the content (step S204), and the interface unit 48 ends the display of the content on the display unit 31 (step S205).
一方、タブレット端末２でも、電文受信部２３が停止指示の電文を受信し、コンテンツ再生部２４に通知する（ステップS206）。この通知を受けて、コンテンツ再生部２４はコンテンツの再生を停止する（ステップS207）。インタフェース部２６は、コンテンツ表示領域１１ｄへのコンテンツの表示を停止する（ステップS208）。 On the other hand, also in the tablet terminal 2, the message receiving unit 23 receives a stop instruction message and notifies the content reproduction unit 24 (step S206). Upon receiving this notification, the content reproduction unit 24 stops the reproduction of the content (step S207). The interface unit 26 stops displaying the content in the content display area 11d (step S208).
このように、コンテンツの停止を行うことで、表示部３１の視認を止めて操作者Ｓに注目させたりすることができる。また、コンテンツの再生停止によって、表示部３１には何も表示されず、表示部３１を介して外部環境が視認できる。そのため、例えば、美術館や博物館、庭園などで、コンテンツを再生しながら説明を行い、説明終了後に再生を停止すれば、閲覧者Ｏはヘッドマウントディスプレイ３を装着したまま、実際の美術品や庭園等を鑑賞することができる。なお、シェード部材３２を取り付けているときは、シェード部材３２を取り外すか、ヘッドマウントディスプレイ３を頭部から取り外して鑑賞する。 In this way, by stopping the content, the visual recognition of the display unit 31 can be stopped and the operator S can be noted. Further, when the reproduction of the content is stopped, nothing is displayed on the display unit 31, and the external environment can be visually recognized through the display unit 31. Therefore, for example, if the explanation is made while reproducing the content in an art museum, a museum, a garden, etc., and the reproduction is stopped after the explanation is finished, the viewer O wears the head-mounted display 3 and the actual artwork or garden etc. Can be appreciated. When the shade member 32 is attached, the shade member 32 is removed or the head mounted display 3 is removed from the head for viewing.
以上のように、コンテンツ再生処理S200においては、コンテンツファイルを転送しながらコンテンツを再生する必要がなく、再生指示などの電文を送信するだけで、複数のヘッドマウントディスプレイ３へのコンテンツの表示を、円滑に行うことができる。また、この電文は、コンテンツ電文に比べて容量が小さく、複数のヘッドマウントディスプレイ３に、速やかに送信することができる。そのため、操作が速やかに反映され、各ヘッドマウントディスプレイ３でコンテンツの再生、一時停止、再開、停止を同期させることができ、複数の閲覧者Ｏがタイムラグを感じることなく、共に同じコンテンツを閲覧したり、説明を聴いたりすることができる。 As described above, in the content reproduction process S200, it is not necessary to reproduce the content while transferring the content file, and the content display on the plurality of head mounted displays 3 can be performed only by transmitting a message such as a reproduction instruction. It can be done smoothly. Further, this message has a smaller capacity than the content message, and can be quickly transmitted to the plurality of head mounted displays 3. Therefore, the operation is reflected promptly, and the reproduction, pause, restart, and stop of the content can be synchronized on each head mounted display 3, and a plurality of viewers O browse the same content together without feeling a time lag. Or listen to explanations.
また、本実施の形態では、３６０°のパノラマ画像を、閲覧者Ｏの頭部の動き、すなわち視線の移動に応じて表示部３１に表示する画像の領域を変化させることもできる。例えば、図５Ａに示すコンテンツ選択画面で、パノラマ画像を選択すると、ヘッドマウントディスプレイ３の表示部３１及びタブレット端末２の表示部１１に、パノラマ画像の所定の領域の画像が表示される。図６Ｂに、パノラマ画像と、ヘッドマウントディスプレイ３の表示部３１に実際に表示されている画像のイメージを示す。図６Ｂ中の白抜き矢印は、閲覧者Ｏの視線の移動方向を示す。 Moreover, in this Embodiment, the area | region of the image displayed on the display part 31 can also be changed according to the motion of the viewer O's head, ie, the movement of a visual line, about a 360 degree panoramic image. For example, when a panoramic image is selected on the content selection screen shown in FIG. 5A, an image of a predetermined area of the panoramic image is displayed on the display unit 31 of the head mounted display 3 and the display unit 11 of the tablet terminal 2. FIG. 6B shows a panoramic image and an image of an image actually displayed on the display unit 31 of the head mounted display 3. A white arrow in FIG. 6B indicates the moving direction of the line of sight of the viewer O.
そして、閲覧者Ｏが視線を移動させるべく頭部を動かすと、この頭部の動きを装置本体４０のジャイロセンサが検知し、検知信号を出力する。この検知信号は、インタフェース部４８によって受信され、例えばコンテンツ再生部４６に通知される。コンテンツ再生部４６は、この検知信号に基づいて、閲覧者Ｏの視線の方向を検出し、その方向に対応した領域の画像を表示部３１に表示する。例えば、閲覧者Ｏが上方を向いたとき、この動きに対応して、表示部３１に表示させる画像も、パノラマ画像の上方の領域に移動させて表示する。 When the viewer O moves his / her head to move his / her line of sight, the gyro sensor of the apparatus main body 40 detects the movement of the head and outputs a detection signal. This detection signal is received by the interface unit 48 and notified to the content reproduction unit 46, for example. Based on this detection signal, the content reproduction unit 46 detects the direction of the line of sight of the viewer O and displays an image of an area corresponding to the direction on the display unit 31. For example, when the viewer O turns upward, the image to be displayed on the display unit 31 is also moved to the area above the panoramic image and displayed in response to this movement.
これを利用して、例えば、シェード部材３２を外して、現実の風景を視認できる状態にする。そして、現実の風景の昔の風景のパノラマ画像を表示部３１に表示させるとともに、閲覧者Ｏの頭部の動きに合わせて表示部３１に表示させる画像を変化させる。すると、閲覧者Ｏは、３６０°の方向で、昔の風景と現実の風景とが重なった画像を閲覧することができ、閲覧者Ｏの興味を強く引くことができる。さらに、複数の閲覧者Ｏが同じパノラマ画像を閲覧しつつ、閲覧者Ｏごとに見る方向を変化させることもできるため、娯楽性を向上させることができる。また、無人の競技場等の実際の風景に、試合風景や選手等の虚像を重畳して閲覧者Ｏに視認させたりすることもでき、臨場感を向上させることができる。 By utilizing this, for example, the shade member 32 is removed to make it possible to visually recognize the actual landscape. Then, the panoramic image of the old landscape of the real landscape is displayed on the display unit 31 and the image displayed on the display unit 31 is changed according to the movement of the head of the viewer O. Then, the viewer O can browse the image in which the old landscape and the real landscape overlap in a 360 ° direction, and can attract the viewer O's interest strongly. Furthermore, since a plurality of viewers O can browse the same panoramic image and change the viewing direction for each viewer O, it is possible to improve entertainment. In addition, it is possible to superimpose a virtual image of a game scenery or a player on an actual scenery such as an unmanned stadium and make it visible to the viewer O, thereby improving the sense of reality.
なお、以上のようなコンテンツ再生処理S200の実行中にも、ステップS300の接続状態確認処理が繰り返し実行される。タブレット端末２側の接続状態確認部２５がＷｉ−Ｆｉ（登録商標）の接続状態を確認し、インタフェース部２６に通知する（ステップＳ301）。この通知を受けたインタフェース部２６は、表示部１１にＷｉ−Ｆｉ（登録商標）接続のステータス表示を行う。未接続状態の場合は、図５Ｃに示すような画像が表示されるが、正常な接続状態が通知されている間は、コンテンツの閲覧の妨げにならないように、図５Ａ等に示すように、接続状態の表示は行わない（以上、ステップS302）。 Even during the execution of the content reproduction process S200 as described above, the connection state confirmation process in step S300 is repeatedly executed. The connection state confirmation unit 25 on the tablet terminal 2 side confirms the connection state of Wi-Fi (registered trademark) and notifies the interface unit 26 (step S301). Upon receiving this notification, the interface unit 26 displays a Wi-Fi (registered trademark) connection status on the display unit 11. In the unconnected state, an image as shown in FIG. 5C is displayed, but while notifying the normal connection state, as shown in FIG. The connection status is not displayed (step S302).
一方、ヘッドマウントディスプレイ３側でも、接続状態確認部４７が、Ｗｉ−Ｆｉ（登録商標）の接続状態を確認し、インタフェース部４８に通知する（ステップＳ303）。インタフェース部４８は、未接続状態の通知を受けた場合に、図６Ｃに示すように、表示面３１ａに未接続であることを示すメッセージを表示する。一方、正常な接続状態が通知されている間は、コンテンツの閲覧の妨げにならないように、図６Ａに示すように、接続状態の表示は行わない（以上、ステップS304）。 On the other hand, also on the head mounted display 3 side, the connection state confirmation unit 47 confirms the connection state of Wi-Fi (registered trademark) and notifies the interface unit 48 (step S303). When the interface unit 48 receives the notification of the unconnected state, the interface unit 48 displays a message indicating that it is not connected to the display surface 31a, as shown in FIG. 6C. On the other hand, while the normal connection state is notified, the connection state is not displayed as shown in FIG. 6A so as not to hinder the browsing of the content (step S304).
このように、接続状態をタブレット端末２とヘッドマウントディスプレイ３の表示部１１，３１にそれぞれ表示することで、操作者Ｓはプレゼンテーションを進めることができる状態であるかを確認することができる。これにより、未接続状態で再生の指示ができない状態で、説明などを行ってしまうのを防止することができる。 In this way, by displaying the connection state on the display units 11 and 31 of the tablet terminal 2 and the head mounted display 3 respectively, the operator S can confirm whether or not the presentation can proceed. As a result, it is possible to prevent an explanation or the like from being performed in a state where reproduction cannot be instructed in an unconnected state.
以上説明したように、本実施の形態によれば、ヘッドマウントディスプレイ３でコンテンツの再生操作をする必要がなく、タブレット端末２からの指示によってヘッドマウントディスプレイ３にコンテンツを表示させることができる。また、ヘッドマウントディスプレイ３を複数接続した場合でも、タブレット端末２から複数のヘッドマウントディスプレイ３に一斉に指示を与えることができる。また、このコンテンツの表示の際に、タブレット端末２からコンテンツファイルを転送する必要がなく、再生指示の電文を送信するだけで、各ヘッドマウントディスプレイ３が自身の記憶部４２に記憶されたコンテンツファイルを読み出して再生する。そのため、操作者Ｓの操作が速やかに反映され、待ち時間や画像の途切れ等がなく、各ヘッドマウントディスプレイ３へのコンテンツの表示を、速やかに、かつ円滑に行うことができる。また、複数のヘッドマウントディスプレイ３間でタイムラグを感じさせることのないコンテンツの表示が可能となる。その結果、複数のヘッドマウントディスプレイ３間でコンテンツの再生を同期させることができ、複数の閲覧者Ｏが共に同じコンテンツを閲覧することができる。 As described above, according to the present embodiment, it is not necessary to perform a content reproduction operation on the head mounted display 3, and the content can be displayed on the head mounted display 3 according to an instruction from the tablet terminal 2. Further, even when a plurality of head mounted displays 3 are connected, it is possible to give instructions to the plurality of head mounted displays 3 from the tablet terminal 2 all at once. Further, when the content is displayed, it is not necessary to transfer the content file from the tablet terminal 2, and each head-mounted display 3 stores the content file stored in its own storage unit 42 only by transmitting a playback instruction message. Is read and played. Therefore, the operation of the operator S is promptly reflected, and there is no waiting time, no interruption of the image, and the like, and the display of the content on each head mounted display 3 can be performed promptly and smoothly. Further, it is possible to display content without causing a time lag between the plurality of head mounted displays 3. As a result, it is possible to synchronize the reproduction of the content among the plurality of head mounted displays 3, and the plurality of viewers O can view the same content together.
また、本実施の形態では、タブレット端末２の表示部１１にも、ヘッドマウントディスプレイ３と同じコンテンツが同期して表示される。また、操作者Ｓが操作部１２を操作すると、タブレット端末２と各ヘッドマウントディスプレイ３での再生、一時停止等が速やかに行われ、説明と再生等との同期をとることができる。そのため、操作者Ｓは、閲覧者Ｏが閲覧しているコンテンツを確認しながら、より円滑かつ効率的に説明することができる。 In the present embodiment, the same content as that of the head mounted display 3 is displayed on the display unit 11 of the tablet terminal 2 in synchronization. Further, when the operator S operates the operation unit 12, reproduction, pause, and the like on the tablet terminal 2 and each head mounted display 3 are quickly performed, and the description and reproduction can be synchronized. Therefore, the operator S can explain more smoothly and efficiently while confirming the content that the browser O is browsing.
次に、図７Ａ、図７Ｂを用いて、本実施の形態の画像表示システム１の変形例を説明する。変形例では、コンテンツの再生中に、タブレット端末２の表示画面１１ａ上、つまり操作部１２としてのタッチパネル上で、操作者Ｓが描いた線画情報や文字情報等を、ヘッドマウントディスプレイ３の表示部３１にも表示できる構成となっている。図７Ａ、図７Ｂに示す例では、会社説明会、プロジェクト発表会、事業説明会、研修会などを想定し、説明用の文書がコンテンツとして各表示部１１、３１に表示されている状態を示している。操作者Ｓは、コンテンツを用いての説明中に、特に注目して貰いたい箇所や、強調したい箇所に、図７Ａに示すように、コンテンツ表示領域１１ｄ上で、丸印やアンダーラインなどの線画、文字などを手書きで描くことができる。また、キーパッドなどから文字や記号を入力してもよい。すると、インタフェース部２６は、描画がなされた箇所の表示画面１１ａ上での位置座標などを取得し、電文送信部２２に通知する。電文送信部２２は、位置座標を含む描画情報（又は文字情報）電文を生成し、ルータ４を介してヘッドマウントディスプレイ３に向けて送信する。 Next, a modification of the image display system 1 according to the present embodiment will be described with reference to FIGS. 7A and 7B. In the modified example, the line drawing information and the character information drawn by the operator S on the display screen 11a of the tablet terminal 2, that is, the touch panel as the operation unit 12 are displayed on the display unit of the head mounted display 3 during the reproduction of the content. 31 can also be displayed. The example shown in FIGS. 7A and 7B assumes a company briefing session, project presentation, business briefing session, workshop, etc., and shows a state in which explanatory documents are displayed on the display units 11 and 31 as contents. ing. In the description using the content, the operator S draws a line drawing such as a circle or an underline on the content display area 11d at a location that he / she wants to pay attention to or emphasizes, as shown in FIG. 7A. You can draw by hand. In addition, characters and symbols may be input from a keypad or the like. Then, the interface unit 26 acquires the position coordinates on the display screen 11a of the place where the drawing is performed, and notifies the message transmission unit 22 of the position coordinates. The message transmission unit 22 generates a drawing information (or character information) message including the position coordinates, and transmits it to the head mounted display 3 via the router 4.
この電文をヘッドマウントディスプレイ３の電文受信部４５が受信し、受信した位置座標等に基づいて、コンテンツ再生部４６やインタフェース部４８によって線画や文字が復元された画像が生成され、この画像とコンテンツとが重畳されて表示部３１に表示される。タブレット端末２側でも同様に、電文送信部２２からの位置座標の電文を電文受信部２３が受信し、位置情報に基づいて、コンテンツ再生部２４やインタフェース部２６によって線画等の画像とコンテンツとが重畳されて表示部１１に表示される。したがって、操作者Ｓと各閲覧者Ｏとは、コンテンツとコンテンツに描かれた線画等を共に閲覧することができ、操作者Ｓは強調したい点などをリアルタイムに複数の閲覧者Ｏに伝えることができ、より印象的で効果的な説明が可能となる。また、描画情報や文字情報の電文は容量が小さいため、線画や文字が入力されるたびに送信しても、各表示部１１，３１への表示が操作者Ｓや閲覧者Ｏに遅延を感じさせることなく、速やかに行われる。 The telegram receiving unit 45 of the head-mounted display 3 receives this telegram, and based on the received position coordinates and the like, an image in which line drawings and characters are restored by the content reproduction unit 46 and the interface unit 48 is generated. Are superimposed and displayed on the display unit 31. Similarly, on the tablet terminal 2 side, the telegram receiving unit 23 receives the telegram of the position coordinates from the telegram transmitting unit 22, and based on the position information, the content reproduction unit 24 or the interface unit 26 generates an image such as a line drawing and the content. It is superimposed and displayed on the display unit 11. Accordingly, the operator S and each viewer O can browse both the content and the line drawing drawn on the content, and the operator S can tell the plurality of viewers O in real time the points to be emphasized. It is possible to explain more impressively and effectively. In addition, since the message of drawing information and character information has a small capacity, even if it is transmitted each time a line drawing or character is input, the display on each display unit 11, 31 feels delayed for the operator S or the viewer O. Without prompting.
以上、本発明の実施の形態及び変形例を図面により詳述してきたが、上記実施の形態及び変形例は本発明の例示にしか過ぎないものであり、本発明は上記各実施の形態及び変形例の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。 As mentioned above, although embodiment and the modification of this invention were explained in full detail with drawing, the said embodiment and modification are only illustrations of this invention, and this invention is each said embodiment and modification. The configuration is not limited to the example. Needless to say, changes in design and the like within the scope of the present invention are included in the present invention.
例えば、上記実施の形態において、コンテンツファイル転送部２１は、ルータ４に接続するすべてのヘッドマウントディスプレイ３にコンテンツファイルを転送しているが、これに限定されるものではない。例えば、転送するヘッドマウントディスプレイ３を選択する画面などを表示し、操作者Ｓが選択したヘッドマウントディスプレイ３のみに転送する構成とすることもできる。 For example, in the above embodiment, the content file transfer unit 21 transfers the content file to all the head mounted displays 3 connected to the router 4, but the present invention is not limited to this. For example, a screen for selecting the head-mounted display 3 to be transferred may be displayed and transferred only to the head-mounted display 3 selected by the operator S.
また、接続状態確認部２５が、複数のヘッドマウントディスプレイ３の接続状態を確認し、コンテンツファイル転送部２１は、接続が確認されたヘッドマウントディスプレイ３に対してのみコンテンツファイルを送信する構成とすることもできる。 Further, the connection state confirmation unit 25 confirms the connection states of the plurality of head mounted displays 3, and the content file transfer unit 21 transmits the content file only to the head mounted display 3 for which the connection is confirmed. You can also
なお、本実施の形態では、端末装置としてタブレット端末２を用いているが、これに限定されるものではない。端末装置として、ノートＰＣやデスクトップＰＣ、スマートフォン、携帯電話などを用いることもできる。 In addition, in this Embodiment, although the tablet terminal 2 is used as a terminal device, it is not limited to this. As the terminal device, a notebook PC, a desktop PC, a smartphone, a mobile phone, or the like can be used.
１ 画像表示システム ２ タブレット端末（端末装置）
３ ヘッドマウントディスプレイ（表示装置） １０ 記憶部
１２ 操作部（入力部） ２０ 端末制御部 ３１ 表示部 ４２ 記憶部
４３ 表示制御部 Ｏ 閲覧者 Ｓ 操作者
1 Image display system 2 Tablet terminal (terminal device)
3 Head Mounted Display (Display Device) 10 Storage Unit 12 Operation Unit (Input Unit) 20 Terminal Control Unit 31 Display Unit 42 Storage Unit 43 Display Control Unit O Viewer S Operator
Claims (5)
前記表示装置は、
画像情報を記憶する記憶部と、
前記画像情報を表示する表示部と、
前記表示装置を制御する表示制御部と、を備え、
前記端末装置は、
前記操作者の操作を受け付ける操作部と、
前記表示装置の前記表示部と同じ画像情報が表示される表示部と、
前記端末装置を制御する端末制御部と、を備え、
前記端末制御部は、前記操作部で受け付けた操作に従って、前記画像情報の表示を指示する指示情報を前記表示装置に向けて送信し、
前記表示制御部は、前記端末制御部から受信した前記指示情報に基づいて、前記記憶部から前記画像情報を読み出して、前記表示部に表示するように構成されていることを特徴とする画像表示システム。 A display device mounted on the viewer's head; and a terminal device connected to the display device via a communication network and operated by an operator different from the viewer;
The display device
A storage unit for storing image information;
A display unit for displaying the image information;
A display control unit for controlling the display device,
The terminal device
An operation unit for receiving the operation of the operator;
A display unit that displays the same image information as the display unit of the display device;
A terminal control unit for controlling the terminal device,
The terminal control unit transmits instruction information for instructing display of the image information to the display device in accordance with the operation received by the operation unit,
The display control unit is configured to read the image information from the storage unit based on the instruction information received from the terminal control unit and display the image information on the display unit. system.
前記端末制御部は、前記操作部で受け付けた操作に従って、前記端末装置側の前記記憶部の前記画像情報を、複数の前記表示装置に向けて送信し、
前記表示装置は、前記端末制御部から受信した前記画像情報を、前記表示装置側の前記記憶部に記憶するように構成されていることを特徴とする請求項１に記載の画像表示システム。 The terminal device includes a storage unit in which image information is stored,
The terminal control unit transmits the image information of the storage unit on the terminal device side to a plurality of the display devices according to an operation received by the operation unit,
The image display system according to claim 1, wherein the display device is configured to store the image information received from the terminal control unit in the storage unit on the display device side.
前記端末制御部は、前記入力部から入力される前記文字情報又は前記描画情報を、前記表示装置に向けて送信し、
前記表示制御部は、前記端末制御部から受信した前記文字情報又は前記描画情報を、前記画像情報と重畳して、前記表示部に表示するように構成されていることを特徴とする請求項１または２に記載の画像表示システム。 The terminal device includes an input unit for inputting character information or drawing information,
The terminal control unit transmits the character information or the drawing information input from the input unit to the display device,
The display control unit is configured to display the character information or the drawing information received from the terminal control unit on the display unit so as to overlap the image information. Or the image display system of 2.
画像情報を記憶する記憶手段と、
前記記憶手段に記憶された前記画像情報を画像表示手段に向けて一括送信する画像情報送信手段と、
前記画像表示手段に向けて、前記画像情報の表示を指示する指示情報を送信する指示情報送信手段として機能させるためのプログラム。 Computer
Storage means for storing image information;
Image information transmitting means for collectively transmitting the image information stored in the storage means to an image display means;
A program for functioning as instruction information transmission means for transmitting instruction information for instructing display of the image information to the image display means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017125036A JP2019008199A (en) | 2017-06-27 | 2017-06-27 | Image display system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017125036A JP2019008199A (en) | 2017-06-27 | 2017-06-27 | Image display system, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019008199A true JP2019008199A (en) | 2019-01-17 |
Family
ID=65029586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017125036A Pending JP2019008199A (en) | 2017-06-27 | 2017-06-27 | Image display system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019008199A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020261617A1 (en) * | 2019-06-27 | 2020-12-30 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing system, image processing integraged circuit, and image processing method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113317A (en) * | 2006-10-31 | 2008-05-15 | Konica Minolta Holdings Inc | Remote operation support system |
| JP2011004128A (en) * | 2009-06-18 | 2011-01-06 | Aki Enterprise:Kk | Playback video control system, and playback video control method |
| JP2015103984A (en) * | 2013-11-26 | 2015-06-04 | Ｚｉｍａｋｕプラス株式会社 | Additional information display system |
| JP2015135641A (en) * | 2014-01-20 | 2015-07-27 | Kddi株式会社 | Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program |
| JP2016033611A (en) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | Information provision system, display device, and method of controlling display device |
-
2017
- 2017-06-27 JP JP2017125036A patent/JP2019008199A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113317A (en) * | 2006-10-31 | 2008-05-15 | Konica Minolta Holdings Inc | Remote operation support system |
| JP2011004128A (en) * | 2009-06-18 | 2011-01-06 | Aki Enterprise:Kk | Playback video control system, and playback video control method |
| JP2015103984A (en) * | 2013-11-26 | 2015-06-04 | Ｚｉｍａｋｕプラス株式会社 | Additional information display system |
| JP2015135641A (en) * | 2014-01-20 | 2015-07-27 | Kddi株式会社 | Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program |
| JP2016033611A (en) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | Information provision system, display device, and method of controlling display device |
Non-Patent Citations (1)
| Title |
|---|
| 株式会社電通国際情報サービス, ISID、ヘッドマウントディスプレイによる初の舞台演出実験にマルチキャスト伝送技術を提供, JPN6018024709, 8 August 2013 (2013-08-08), pages 1 - 2, ISSN: 0003974309 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020261617A1 (en) * | 2019-06-27 | 2020-12-30 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing system, image processing integraged circuit, and image processing method |
| JPWO2020261617A1 (en) * | 2019-06-27 | 2020-12-30 | ||
| JP7307794B2 (en) | 2019-06-27 | 2023-07-12 | 株式会社ソニー・インタラクティブエンタテインメント | IMAGE PROCESSING SYSTEM, IMAGE PROCESSING INTEGRATED CIRCUIT, AND IMAGE PROCESSING METHOD |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11914153B2 (en) | Method and apparatus for processing screen using device | |
| US10134358B2 (en) | Head mounted display device and method for controlling the same | |
| TWI839532B (en) | Computing device and extended reality integration | |
| CN110134321B (en) | Method and apparatus for transmitting data, and method and apparatus for receiving data | |
| KR101969351B1 (en) | Head mounted display and method for controlling output of the same | |
| TWI610097B (en) | Electronic system, portable display device and guiding device | |
| WO2018194306A1 (en) | System and method for two dimensional application usage in three dimensional virtual reality environment | |
| TWI660304B (en) | Virtual reality real-time navigation method and system | |
| EP2981070A1 (en) | Information processing device, notification state control method, and program | |
| KR20170126295A (en) | Head mounted display device and method for controlling the same | |
| CN109407821B (en) | Collaborative interaction with virtual reality video | |
| JP6492419B2 (en) | Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device | |
| JP2016062615A (en) | Mobile terminal and control method therefor | |
| JP2022098268A (en) | Information processing device and program | |
| US10445051B1 (en) | Recording and replay of support sessions for computing devices | |
| US20160299641A1 (en) | User Interface for Social Interactions on a Head-Mountable Display | |
| JP2019008199A (en) | Image display system, and program | |
| JP2015049498A (en) | Head-mounted type display device, method for controlling head-mounted type display device, image display system, and information processor | |
| JP2020149139A (en) | Work support system, work support method, and program | |
| WO2022066459A1 (en) | Synchronization in a multiuser experience | |
| KR20180101047A (en) | Electronic device and method for controlling the same | |
| TWI660305B (en) | Virtual reality real-time navigation method and system | |
| WO2019146188A1 (en) | Information processing device and information processing method | |
| US20240302665A1 (en) | Method and apparatus for processing screen using device | |
| JP2020149141A (en) | Work support system, work support method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190212 |