JP2012252410A - Head-mounted display link operation device, head-mounted display link operation program, and head-mounted display - Google Patents
Head-mounted display link operation device, head-mounted display link operation program, and head-mounted display Download PDFInfo
- Publication number
- JP2012252410A JP2012252410A JP2011122616A JP2011122616A JP2012252410A JP 2012252410 A JP2012252410 A JP 2012252410A JP 2011122616 A JP2011122616 A JP 2011122616A JP 2011122616 A JP2011122616 A JP 2011122616A JP 2012252410 A JP2012252410 A JP 2012252410A
- Authority
- JP
- Japan
- Prior art keywords
- cooperation
- head
- information
- mounted display
- history information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 13
- 239000013589 supplement Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 5
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 102100030488 HEAT repeat-containing protein 6 Human genes 0.000 description 1
- 101000990566 Homo sapiens HEAT repeat-containing protein 6 Proteins 0.000 description 1
- 101000801684 Homo sapiens Phospholipid-transporting ATPase ABCA1 Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
Description
本発明は、複数のヘッドマウントディスプレイを連携して利用する際に用いられるヘッドマウントディスプレイ連携装置、ヘッドマウントディスプレイの連携プログラム、及びヘッドマウントディスプレイに関する。 The present invention relates to a head-mounted display cooperation device, a head-mounted display cooperation program, and a head-mounted display that are used when a plurality of head-mounted displays are used in cooperation.
近年、技術の進歩により、ヘッドマウントディスプレイが社会的に浸透しつつある。このヘッドマウントディスプレイは、人の頭部に装着され、眼前に投影装置が配置される。この投影装置に映像を表示することで眼前に映像が表示されるという特徴を持つ。この特徴を生かして、例えば会議の参加者の各々がヘッドマウントディスプレイを装着して、参加者全員が投影装置に表示される同じ映像を見ることによって会議を行うことを可能にするようなシステムの登場が期待されている。複数の電気機器を連携(連動)して動作させる方法として、複数の電気機器の連携(連動)情報を記憶しておき、連携情報に基づいて複数機器を連携して動作させる装置が提案されている(例えば、特許文献1参照)。この装置では、複数の電気機器を連携させ所定の動作を行わせることができる。 In recent years, with the advance of technology, head-mounted displays are becoming popular. This head mounted display is mounted on a person's head, and a projection device is disposed in front of the eyes. By displaying an image on the projection device, the image is displayed in front of the eyes. Taking advantage of this feature, for example, a system that allows each participant in a conference to wear a head-mounted display and allow all participants to conduct a conference by viewing the same video displayed on the projection device. Expected to appear. As a method of operating a plurality of electric devices in cooperation (interlocking), a device has been proposed in which the cooperation (interlocking) information of a plurality of electric devices is stored and the plurality of devices are operated in cooperation based on the cooperation information. (For example, refer to Patent Document 1). In this apparatus, a plurality of electric devices can be linked to perform a predetermined operation.
しかしながら上述の装置は、単に複数の電気機器が連携情報を基に連携というよりむしろ連動して動作することを開示しているだけであって、複数のヘッドマウントディスプレイにおいて、機密性(セキュリティ)を考慮した連携使用や、装置の追加、削除等の変更方法も開示していない。また、ヘッドマウントディスプレイは、携帯性が高く、どこへでも持ち運びが出来るのに、決められた装置、場所で使用するしかなく、例えば、出張先などの移動先で連携した使用を行うには困難であった。 However, the above-described device merely discloses that a plurality of electric devices operate in conjunction with each other rather than in cooperation based on the cooperation information. It also does not disclose a change method such as a coordinated use or device addition / deletion. In addition, the head-mounted display is highly portable and can be carried anywhere, but it can only be used at a specific device or place. For example, it is difficult to use it in cooperation with a destination such as a business trip destination. Met.
本発明の目的は、上記課題を解決するためになされたものであり、出張先などの移動先に設置されているヘッドマウントディスプレイ連携装置を用いて、複数のヘッドマウントディスプレイを連携させることができるヘッドマウントディスプレイ連携装置、ヘッドマウントディスプレイの連携プログラム、及びヘッドマウントディスプレイを提供することを課題とする。 An object of the present invention is to solve the above-described problem, and a plurality of head-mounted displays can be linked using a head-mounted display linking device installed at a destination such as a business trip destination. It is an object to provide a head-mounted display cooperation device, a head-mounted display cooperation program, and a head-mounted display.
上記課題を解決するために、本発明の第一の態様のヘッドマウントディスプレイ連携装置は、複数のヘッドマウントディスプレイに同時に同一のコンテンツを提供することにより前記複数のヘッドマウントディスプレイを連携させるヘッドマウントディスプレイ連携装置であって、個別の識別情報を有する前記複数のヘッドマウントディスプレイが各々接続される複数の接続部と、前記接続部に接続された前記複数のヘッドマウントディスプレイから、前記複数のヘッドマウントディスプレイの各々を一意に識別するために前記識別情報を取得する識別情報取得手段と、前記各ヘッドマウントディスプレイが連携を行う際の基となる情報である連携履歴情報を前記ヘッドマウントディスプレイ連携装置より受信して記憶部に記憶している第一ヘッドマウントディスプレイが前記接続部に接続されたか否かを判断する接続判断手段と、前記接続判断手段によって前記接続部に前記第一ヘッドマウントディスプレイが接続されたと判断されると、前記第一ヘッドマウントディスプレイの記憶部から前記連携履歴情報を取得する連携履歴情報取得手段と、少なくとも前記連携履歴情報を記憶する連携情報記憶手段と、前記連携情報記憶手段に記憶された前記連携履歴情報に記されている各ヘッドマウントディスプレイの識別情報と、前記識別情報取得手段によって取得された前記各ヘッドマウントディスプレイの前記識別情報とが全て一致するか否かを判断する連携判断手段と、前記連携判断手段によって全ての前記各ヘッドマウントディスプレイの前記識別情報が一致すると判断された場合、前記各ヘッドマウントディスプレイに表示するための情報である連携表示情報を前記各ヘッドマウントディスプレイに送信し連携を行う連携表示情報送信手段と、前記連携情報記憶手段に記憶されている前記連携履歴情報を変更または最新の情報に更新する連携情報更新手段と、前記複数のヘッドマウントディスプレイの前記連携の終了時に、前記連携情報更新手段で変更または更新され、前記連携情報記憶手段に記憶されている前記連携履歴情報を前記第一ヘッドマウントディスプレイに送信する連携履歴情報送信手段とを備える。 In order to solve the above-described problem, the head-mounted display cooperation device according to the first aspect of the present invention provides a head-mounted display that cooperates with the plurality of head-mounted displays by simultaneously providing the same content to the plurality of head-mounted displays. A plurality of head-mounted displays, each of which is a linkage device, and each of the plurality of head-mounted displays having individual identification information is connected to each other, and the plurality of head-mounted displays connected to the connection unit Receiving identification information acquisition means for acquiring the identification information for uniquely identifying each of the information, and cooperation history information that is information that becomes a basis when each of the head mounted displays cooperates from the head mounted display cooperation device The first memorized in the memory A connection determination means for determining whether or not a mount-mounted display is connected to the connection portion; and when the connection determination means determines that the first head-mounted display is connected to the connection portion, the first head Coordination history information acquisition means for acquiring the cooperation history information from the storage unit of the mount display, cooperation information storage means for storing at least the cooperation history information, and the cooperation history information stored in the cooperation information storage means A link determining unit that determines whether or not the identification information of each head mounted display matches the identification information of each of the head mounted displays acquired by the identification information acquiring unit, and the link determining unit It was determined that the identification information of all the head-mounted displays matched. The cooperation display information transmitting means for transmitting the cooperation display information, which is information to be displayed on each head-mounted display, to the respective head-mounted displays for cooperation, and the cooperation history stored in the cooperation information storage means Coordination information update means for changing or updating information to the latest information, and at the end of the cooperation of the plurality of head mounted displays, the cooperation information update means changes or updates the information and stores it in the cooperation information storage means And a cooperation history information transmitting means for transmitting the cooperation history information to the first head mounted display.
この態様のヘッドマウントディスプレイ連携装置では、連携履歴情報が記憶されていないヘッドマウントディスプレイ連携装置であっても、ヘッドマウントディスプレイに記憶された連携履歴情報に基づいて複数の端末を連携させることができる。 In the head-mounted display cooperation device of this aspect, even if the head-mounted display cooperation device does not store cooperation history information, a plurality of terminals can be made to cooperate based on the cooperation history information stored in the head-mounted display. .
本態様のヘッドマウントディスプレイ連携装置では、前記接続部に接続された複数のヘッドマウントディスプレイから、前記連携履歴情報取得手段が前記連携履歴情報を取得できない場合に、前記接続部に接続されている複数のヘッドマウントディスプレイの識別情報に基づいて新規の連携履歴情報を作成する連携情報作成手段を備え、前記連携履歴情報取得手段は、前記連携履歴情報作成手段が作成した新規の連携履歴情報を取得するようにしても良い。 In the head mounted display cooperation device of this aspect, when the cooperation history information acquisition unit cannot acquire the cooperation history information from a plurality of head mounted displays connected to the connection unit, a plurality of devices connected to the connection unit Provided with cooperation information creation means for creating new cooperation history information based on the identification information of the head-mounted display, and the cooperation history information acquisition means acquires new cooperation history information created by the cooperation history information creation means You may do it.
この態様のヘッドマウントディスプレイ連携装置では、接続部に接続された複数のヘッドマウントディスプレイから、連携履歴情報取得手段が連携履歴情報を取得できない場合に、現在接続されている複数のヘッドマウントディスプレイで新たな連携を行うことができる。 In the head-mounted display cooperation device of this aspect, when the cooperation history information acquisition unit cannot acquire the cooperation history information from the plurality of head-mounted displays connected to the connection unit, the head-mounted display cooperation device is newly connected with the currently connected head-mounted display. Cooperation can be performed.
本態様のヘッドマウントディスプレイ連携装置では、前記連携履歴情報は、第一ヘッドマウントディスプレイを特定する第一HMD情報を含み、前記連携履歴情報送信手段は、前記連携の終了時に、前記第一HMD情報にて特定されるヘッドマウントディスプレイに連携履歴情報を送信するものであって、前記連携情報更新手段は、前記第一HMD情報を変更することで第一ヘッドマウントディスプレイを別のヘッドマウントディスプレイに変更するようにしても良い。 In the head-mounted display cooperation device of this aspect, the cooperation history information includes first HMD information that identifies the first head-mounted display, and the cooperation history information transmission unit is configured to display the first HMD information at the end of the cooperation. The link history information is transmitted to the head mounted display specified in the above, and the link information updating means changes the first HMD information to another head mounted display by changing the first HMD information. You may make it do.
この態様のヘッドマウントディスプレイ連携装置では、連携履歴情報を記憶する第一ヘッドマウントディスプレイを変更することができる。 In the head mounted display cooperation device of this aspect, the first head mounted display that stores the cooperation history information can be changed.
本態様のヘッドマウントディスプレイ連携装置では、前記連携情報更新手段は、前記連携履歴情報に記された複数のヘッドマウントディスプレイ以外の新たなヘッドマウントディスプレイが前記接続部へ接続された場合、当該新たなヘッドマウントディスプレイの前記識別情報を前記連携情報記憶手段に記憶されている前記連携履歴情報に追加するようにしても良い。 In the head-mounted display cooperation device according to this aspect, the cooperation information update unit, when a new head-mounted display other than the plurality of head-mounted displays described in the cooperation history information is connected to the connection unit, The identification information of the head mounted display may be added to the cooperation history information stored in the cooperation information storage means.
この態様のヘッドマウントディスプレイ連携装置では、新たなヘッドマウントディスプレイの識別情報を連携履歴情報に追加することができるので、例えば会議等に新たな参加者が加入した場合であっても、該参加者の有するヘッドマウントディスプレイを連携に加えることができる。 In the head-mounted display cooperation device of this aspect, since identification information of a new head-mounted display can be added to the cooperation history information, for example, even when a new participant joins a conference or the like, the participant Can be added to the linkage.
本態様のヘッドマウントディスプレイ連携装置では、前記連携情報更新手段は、前記連携履歴情報に記された複数のヘッドマウントディスプレイのうち、いずれかのヘッドマウントディスプレーを連携不可とする場合、前記連携履歴情報から前記連携不可とするヘッドマウントディスプレイの前記識別情報を削除するようにしても良い。 In the head mounted display cooperation device of this aspect, when the cooperation information update unit disables cooperation of any of the head mounted displays among the plurality of head mounted displays described in the cooperation history information, the cooperation history information The identification information of the head mounted display that cannot be linked may be deleted.
この態様のヘッドマウントディスプレイ連携装置では、この場合のヘッドマウントディスプレイ連携装置では、連携履歴情報からヘッドマウントディスプレイの識別情報を削除することができるので、例えば会社の部門移動等で連携の必要がなくなったヘッドマウントディスプレイの識別情報を連携履歴情報から消すことができる。 In the head-mounted display cooperation device of this aspect, the head-mounted display cooperation device in this case can delete the identification information of the head-mounted display from the cooperation history information. The identification information of the head mounted display can be deleted from the cooperation history information.
本態様のヘッドマウントディスプレイ連携装置では、前記接続部に接続された複数のヘッドマウントディスプレイから、前記連携履歴情報取得手段が複数の連携履歴情報を取得できる場合であって、前記接続部に接続されている複数のヘッドマウントディスプレイの識別情報のうち複数の識別情報が、前記複数の連携履歴情報のそれぞれに含まれる場合、前記連携履歴情報取得手段は、其の複数の識別情報を含む連携履歴情報を取得し、前記連携情報更新手段は、其の複数の識別情報を含む連携履歴情報を合成し、1つの連携履歴情報として更新するようにしても良い。 In the head-mounted display cooperation device according to this aspect, the cooperation history information acquisition unit can acquire a plurality of cooperation history information from a plurality of head-mounted displays connected to the connection unit, and is connected to the connection unit. When a plurality of pieces of identification information are included in each of the plurality of pieces of linkage history information among the pieces of identification information of the plurality of head mounted displays, the linkage history information acquisition unit includes the linkage history information including the plurality of pieces of identification information. The cooperation information update unit may combine the cooperation history information including the plurality of pieces of identification information and update the information as one piece of cooperation history information.
この態様のヘッドマウントディスプレイ連携装置では、複数の連携履歴情報を取得できる場合に、1つの連携履歴情報として更新することができる。 In the head mounted display cooperation device of this aspect, when a plurality of pieces of cooperation history information can be acquired, it can be updated as one piece of cooperation history information.
本態様のヘッドマウントディスプレイ連携装置では、前記ヘッドマウントディスプレイ連携装置を、前記複数のヘッドマウントディスプレイのうちのいずれかに備えてもよい。 In the head mounted display link device of this aspect, the head mount display link device may be provided in any of the plurality of head mounted displays.
この態様のヘッドマウントディスプレイ連携装置では、ヘッドマウントディスプレイのみで複数のヘッドマウントディスプレイを連携させることができる。 In the head-mounted display cooperation device of this aspect, a plurality of head-mounted displays can be linked with only the head-mounted display.
本発明の第二の態様の連携プログラムは、複数のヘッドマウントディスプレイに同時に同一のコンテンツを提供することにより前記複数のヘッドマウントディスプレイを連携させるヘッドマウントディスプレイの連携プログラムであって、前記複数のヘッドマウントディスプレイの各々が複数の接続部に接続されると、前記接続部に接続された前記複数のヘッドマウントディスプレイから、前記複数のヘッドマウントディスプレイの各々を一意に識別する識別情報を取得する識別情報取得ステップと、前記各ヘッドマウントディスプレイが連携を行う際の基となる情報である連携履歴情報を前記ヘッドマウントディスプレイ連携装置より受信して記憶部に記憶している第一ヘッドマウントディスプレイが前記接続部に接続されたか否かを判断する接続判断ステップと、前記接続判断手段によって前記接続部に前記第一ヘッドマウントディスプレイが接続されたと判断されると、前記第一ヘッドマウントディスプレイの記憶部から前記連携履歴情報を取得する連携履歴情報取得ステップと、少なくとも前記連携履歴情報を記憶する連携履歴情報記憶ステップと、前記連携情報記憶手段に記憶された前記連携履歴情報に記されている各ヘッドマウントディスプレイの識別情報と、前記識別情報取得手段によって取得された前記各ヘッドマウントディスプレイの前記識別情報とが全て一致するか否かを判断する連携判断ステップと、前記連携判断ステップにおいて全ての前記各ヘッドマウントディスプレイの前記識別情報が一致すると判断された場合、前記各ヘッドマウントディスプレイに表示するための情報である連携表示情報を前記各ヘッドマウントディスプレイに送信し連携を行う連携表示情報送信ステップと、前記連携情報記憶手段に記憶されている前記連携履歴情報を変更または最新の情報に更新する連携情報更新ステップと、前記複数のヘッドマウントディスプレイの前記連携の終了時に、前記連携情報更新手段で更新され、前記連携情報記憶手段に記憶されている前記連携履歴情報を前記第一ヘッドマウントディスプレイに送信する連携履歴情報送信ステップとをコンピュータに実行させることを特徴とする。 The linkage program according to the second aspect of the present invention is a linkage program for a head mounted display that links the plurality of head mounted displays by simultaneously providing the same content to the plurality of head mounted displays, Identification information for acquiring identification information for uniquely identifying each of the plurality of head mounted displays from the plurality of head mounted displays connected to the connection section when each of the mount displays is connected to the plurality of connection sections. The acquisition step and the first head mounted display that receives the link history information, which is information that is the basis when each head mounted display performs cooperation, from the head mounted display cooperation device and stores it in the storage unit is the connection Determine whether connected to the department Connection history information for acquiring the cooperation history information from the storage unit of the first head mounted display when it is determined by the connection determination means that the first head mounted display is connected to the connection unit. An acquisition step; a cooperation history information storage step for storing at least the cooperation history information; identification information of each head-mounted display described in the cooperation history information stored in the cooperation information storage means; and acquisition of the identification information A determination step of determining whether or not all the identification information of each head-mounted display obtained by the means matches, and a determination that the identification information of all the head-mounted displays matches in the cooperation determination step. Each head-mounted display The cooperation display information transmission step for transmitting the cooperation display information, which is information for display, to each of the head mounted displays to perform the cooperation, and the cooperation history information stored in the cooperation information storage means is changed or updated to the latest information. The linkage information update step for updating, and at the end of the linkage of the plurality of head mounted displays, the linkage history information updated by the linkage information update means and stored in the linkage information storage means is changed to the first head mount. It is characterized by causing a computer to execute a cooperation history information transmission step to be transmitted to a display.
この態様の連携プログラムでは、連携履歴情報が記憶されていないコンピュータであっても、ヘッドマウントディスプレイに記憶された連携履歴情報に基づいて複数の端末を連携させるヘッドマウントディスプレイ連携装置として機能させることができる。 In the cooperation program of this aspect, even if the computer does not store cooperation history information, it can function as a head-mounted display cooperation device that links a plurality of terminals based on the cooperation history information stored in the head-mounted display. it can.
本発明の第三の態様のヘッドマウントディスプレイ連携装置は、ヘッドマウントディスプレイ連携装置の各手段の行う処理を当該ヘッドマウントディスプレイ連携装置のCPUに実行させる連携プログラムが前記第一ヘッドマウントディスプレイに記憶され、当該第一ヘッドマウントディスプレイから前記連携プログラムを取得する連携プログラム取得手段を備え、前記連携プログラム取得手段が取得した前記連携プログラムを前記CPUが実行することを特徴とする。 In the head-mounted display cooperation device according to the third aspect of the present invention, a cooperation program for causing the CPU of the head-mounted display cooperation device to execute processing performed by each unit of the head-mounted display cooperation device is stored in the first head-mounted display. , Further comprising a cooperation program acquisition means for acquiring the cooperation program from the first head mounted display, wherein the CPU executes the cooperation program acquired by the cooperation program acquisition means.
この態様のヘッドマウントディスプレイ連携装置では、前記連携プログラム取得手段が取得した前記連携プログラムを前記CPUが実行することで、ヘッドマウントディスプレイ連携装置として機能することができる。 In the head-mounted display cooperation device of this aspect, the CPU executes the cooperation program acquired by the cooperation program acquisition unit, thereby functioning as a head-mounted display cooperation device.
本発明の第四の態様のヘッドマウントディスプレイは、各種のデータやプログラムを記憶する不揮発性の記憶部を備え、各ヘッドマウントディスプレイが連携を行う際の基となる情報である連携履歴情報とともに複数のヘッドマウントディスプレイに同時に同一のコンテンツを提供することにより前記複数のヘッドマウントディスプレイを連携させる連携プログラムを前記記憶部に記憶しており、さらにコンピュータに接続された時は、前記連携プログラムを前記コンピュータにインストールし実行させるインストールプログラムも前記記憶部に記憶していることを特徴とする。 The head mounted display according to the fourth aspect of the present invention includes a non-volatile storage unit that stores various data and programs, and a plurality of pieces of cooperation history information that is information on which each head mounted display performs cooperation. A cooperative program for coordinating the plurality of head mounted displays by simultaneously providing the same content to the head mounted display is stored in the storage unit, and when connected to a computer, the cooperative program is stored in the computer. An installation program to be installed and executed is also stored in the storage unit.
この態様のヘッドマウントディスプレイでは、コンピュータに接続された時は、連携プログラムをコンピュータにインストールし実行させることができるので、連携プログラムを記憶していないコンピュータをヘッドマウントディスプレイ連携装置として機能させることができる。 In the head-mounted display of this aspect, when connected to a computer, the cooperation program can be installed and executed on the computer, so that a computer that does not store the cooperation program can function as a head-mounted display cooperation device. .
以下、本発明のヘッドマウントディスプレイ連携装置について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置、端末の構成、各種処理のフローチャートなどは、単なる説明例である。 Hereinafter, the head mounted display cooperation apparatus of this invention is demonstrated with reference to drawings. These drawings are used to explain technical features that can be adopted by the present invention, and the described devices, terminal configurations, flowcharts of various processes, and the like are merely illustrative examples.
はじめに、本発明の第1実施の形態に係るヘッドマウントディスプレイ連携装置が使用されたヘッドマウントディスプレイ連携システム1(以下、「HMD連携システム」という。)を説明する。なお、ヘッドマウントディスプレイを以下「HMD」という。図1に示すように、HMD連携システム1は、パーソナルコンピュータからなるHMD連携装置10(以下、「PC10」という。)と、PC10の各USB端子(図示しない)にUSBケーブル15を介して接続されたHMD20、HMD30、HMD40、及びHMD50とから構成される。ここでは、一例として、HMDを4台接続しているが、必ずしも4台に限らず任意の複数台接続できる。なお、連携とは複数台のHMDに同時に同一のコンテンツを表示することをいう。また、連携履歴情報とは、過去に複数のHMDを連携させた際の日時等を含む情報である。さらに、連携表示情報とは、HMDの投影装置210に表示するために連携履歴情報に基づいて作成された情報である。
First, the head mounted display cooperation system 1 (hereinafter referred to as “HMD cooperation system”) in which the head mounted display cooperation device according to the first embodiment of the present invention is used will be described. The head mounted display is hereinafter referred to as “HMD”. As shown in FIG. 1, the
PC10は、USBケーブル15を介して接続された管理用HMDから連携履歴情報(供に、後述する)や、各HMDからHMDを一意に識別する識別情報(例えば、MACアドレス等の端末ID)を取得する。以下、本実施例では、HMD20、HMD30、HMD40、及びHMD50の識別情報(端末ID)を各々ID20、ID30、ID40及びID50と表記する。また、PC10は、取得した連携履歴情報に基づいて作成した表示用のデータである連携表示情報を、HMD20、HMD30,HMD40,及びHMD50のそれぞれにUSBケーブル15を介して送信する。また、ハードディスクドライブ107(以下、「HDD107」という。)(図2参照)には、各HMDの投影装置210に表示するためのコンテンツが記憶されている。
The
図1に示すように、HMD20、HMD30,HMD40,及びHMD50は、公知のヘッドマウントディスプレイであり、眼鏡型のフレームに連携表示情報やコンテンツを表示する液晶表示部を備える投影装置210が固定され、また、投影装置210を含むHMDの全体を制御する制御装置200が投影装置210に接続されている。また、HMD20、HMD30,HMD40,及びHMD50には、前述した端末IDが記憶部としてのEEPROM206(図3参照)に記憶されている。さらに、HMD20は、HMD20、HMD30、HMD40、及びHMD50が過去に同時に同一のコンテンツを表示するなど連携して使用された際の履歴情報である連携履歴情報をフラッシュメモリ204(図3に示す)に記憶したHMDが、これらHMDの連携を管理する管理用HMD(第一ヘッドマウントディスプレイ)として機能する。なお、以下ではHMD20が連携履歴情報をフラッシュメモリ204に記憶しており管理用HMD20として機能する。
As shown in FIG. 1, the
次に、図2を参照して、PC10の電気的構成を説明する。図2に示すように、PC10は、CPU101、CPU101が実行するプログラムを記憶するROM103、CPU101が各処理を実行する際に必要なデータ等が一時的に記憶されるRAM105、各HMDの投影装置210に表示するコンテンツ等を記憶するHDD107から構成される。
Next, the electrical configuration of the
PC10は、さらにキーボード113が接続される入力制御部110、ディスプレイ123が接続される出力制御部120、通信部130、及びUSBインターフェイス140(以下、「USBI/F140」という。)から構成される。キーボード113は、ユーザがPC10に対して指示や入力を行う際に利用される。入力制御部110は、キーボード113の操作を検知する。ディスプレイ123は、CPU101の処理結果や後述する報知画面等を表示する。出力制御部120は、ディスプレイ123の表示制御を行う。通信部130は、LAN等のネットワークに接続され、外部機器からネットワークを介して通信を行う。USBI/F140は、USB端子を有すると供に、USBケーブル15を介して接続された各HMDとの間でデータの送受を行う。また、PC10は、日時など取得用の計時手段であるRTC(real−time clock)も備えている。
The
次に、図3を参照して、管理用HMD20、HMD30、HMD40、及びHMD50のそれぞれを構成する制御装置200及び投影装置210の電気的構成を説明する。なお、これらの電気的構成はいずれも同じなので、管理用HMD20の電気的構成についてのみ説明する。
Next, with reference to FIG. 3, the electrical configurations of the
管理用HMD20は、図3に示すように、制御装置200と投影装置210とから構成される。制御装置200は、CPU201、RAM203、フラッシュメモリ204、通信インターフェイス205(以下、「通信I/F205」という。)、及びEEPROM206を備える。CPU201は、RAM203、フラッシュメモリ204、I/F205、及びEEPROM206に接続されている。CPU201は、フラッシュメモリ204に記憶された各種プログラムを読み出すことで、後述する各処理を実行する。尚、フラッシュメモリ204には、前記CPU201が実行する各種プログラムとともに連携履歴情報等が記憶される。RAM203には、各処理に必要なデータが一時的に記憶される。通信I/F205は、USBケーブル15を介してPC10と接続され、PC10と通信を行う。EEPROM206には端末IDとが記憶されている。なお、連携履歴情報が記憶されているのは管理用HMD20のみであり、HMD30、HMD40、及びHMD50の各フラッシュメモリ204には連携履歴情報は記憶されていない。
As shown in FIG. 3, the
投影装置210は、CPU201によって制御される液晶表示部212、及び接眼レンズ213から構成される。液晶表示部212は、CPU201からの制御信号(画像信号を含む)によって画像信号に応じた画像が表示される。接眼レンズ213は、液晶表示部212からの画像光をユーザの眼に視認可能に投影するよう配置されている。この投影装置210は、図1に示すように眼鏡型フレームに固定されている。また、投影装置210には、制御装置200が接続されている。
The
次に、図4を参照して、管理用HMD20のフラッシュメモリ204(図3参照)に記憶されている連携履歴情報としての連携履歴情報テーブル300について説明する。本実施の形態では、HMD20が、連携履歴情報テーブル300を、フラッシュメモリ204に記憶しているので、HMD20が管理用HMD20として機能する。図4に示すように連携履歴情報テーブル300は、連携名欄(グループ名欄)、連携端末ID欄、管理用HMD情報欄、連携日時欄、及び連携補足情報欄から構成される。
Next, the cooperation history information table 300 as the cooperation history information stored in the flash memory 204 (see FIG. 3) of the
連携名欄は、連携のグループ名を示す。連携端末ID欄は、連携に参加可能なHMDの端末IDを示す。管理用HMD情報欄には、連携履歴情報が記憶されているHMDの端末IDを示す。連携日時欄は、前回に連携した日及び時間を示す。連携補足情報欄は、連携時に表示する連携表示情報に関する情報が記載されている。また、前回連携した際にユーザによって入力された入力情報を示してもよい。例えば、図4に示す連携履歴情報テーブル300において連携名欄には「ABC」が記載され、連携端末ID欄には「HD20、HD30、HD40、HD50」が記載され、管理用HMD情報欄には、「ID20」が記載され、連携日時欄には「2011/2/22 21:30」が記載され、連携補足情報欄には「HMDに関する」及び連携表示情報名として「xx01、yy01」が記載されている。これは、2011年2月22日の21時30分に管理用HMD20、HMD30、HMD40、及びHMD50が連携名「ABC」で連携し、その際の連携した目的がHMDに関する会議のためであり、その時、xx01、yy01という名前の情報(コンテンツ)が表示されたことを示している。また、図4に模式的に示された連携履歴情報は、各HMD30〜50に連携表示情報としてUBSケーブル15を介して送信され、各HMDの投影装置210に連携履歴情報テーブル300と同等の画面が表示される。これによって、各HMDを装着したユーザは、前回に連携した日時等の情報を知ることができる。尚、「xx01、yy01」のコンテンツのデータは、HDD107に記憶されている。HDD107から読み出せるように関連づけられている。また、管理用HMD情報が「第一HMD情報」の一例である。
The cooperation name column indicates the group name of the cooperation. The cooperation terminal ID column shows terminal IDs of HMDs that can participate in cooperation. The management HMD information column indicates the terminal ID of the HMD in which the cooperation history information is stored. The cooperation date / time column indicates the date and time of the previous cooperation. In the cooperation supplemental information column, information related to cooperation display information displayed at the time of cooperation is described. Moreover, you may show the input information input by the user when it cooperated last time. For example, in the cooperation history information table 300 shown in FIG. 4, “ABC” is described in the cooperation name column, “HD20, HD30, HD40, HD50” is described in the cooperation terminal ID column, and the management HMD information column is displayed. “ID20” is described, “2011/2/22 21:30” is described in the cooperation date and time column, “related to HMD” and “xx01, yy01” are described as the cooperation display information name in the cooperation supplement information column. Has been. This is because the management HMD20, HMD30, HMD40, and HMD50 cooperate with the cooperation name “ABC” at 21:30 on February 22, 2011, and the purpose of the cooperation at that time is for a meeting related to HMD, At this time, information (contents) named xx01 and yy01 is displayed. Further, the cooperation history information schematically shown in FIG. 4 is transmitted to each of the
次に、図5を参照して、PC10のCPU101が実行する連携処理1について説明する。なお、この処理は、CPU101がROM103又はHDD107に記憶されているプログラムを実行することによって実現される。ユーザによって各HMDがUSBケーブル15を介してPC10の各USB端子にそれぞれ接続され、連携処理1の開始がキーボード113を介して指示されると、開始指示された日時を連携日時としてRAM105に記憶する。はじめに、連携処理1では、タイマt=0としてタイマtをリセットする(S10)。次いでCPU101は各HMDに端末IDの送信要求を送信し、該送信要求に対して各HMDのCPU201が応答することによって各HMDのEEPROM206から端末IDを取得し、RAM105に記憶する(S11)。次に、管理用HMD20がUSB端子に接続されたか否かを判断する(S13)。なお、この判断は具体的には、CPU101が、各HMDに対して連携履歴情報(連携履歴情報テーブル300)を保持しているかの問い合わせを行い、保持している旨の返答を返したHMDを管理用HMDと判断する。なお、複数のHMDが連携履歴情報を保持していた場合は、PC10に先に接続されたHMDを管理用HMDとする。
Next, with reference to FIG. 5, the
本実施の形態では、HMD20(管理用HMD20)が、連携履歴情報テーブル300をフラッシュメモリ204に記憶しているので、HMD20がPC10のUSBインターフェイス140に接続された場合に、連携履歴情報(連携履歴情報テーブル300)を保持している旨の返事をPC10に返し、管理用HMDが有ると判断される(S13:YES)。次いで、HMD20のフラッシュメモリ204の連携履歴情報テーブル300から連携履歴情報としての連携履歴情報テーブル300を取得して、RAM105に記憶する(S15)。この時、HMD20のフラッシュメモリ204に記憶されている連携履歴情報テーブル300は一旦削除される。
In this embodiment, since the HMD 20 (management HMD 20) stores the cooperation history information table 300 in the
尚、S15の処理に於いて、複数の連携履歴情報を取得できる場合であって、接続されている複数のHMDの識別情報(端末ID)のうち複数の識別情報(端末ID)が、前記複数の連携履歴情報のそれぞれに含まれる場合、其の複数の識別情報(端末ID)を含む連携履歴情報を取得し、其の複数の識別情報(端末ID)を含む連携履歴情報を合成し、1つの連携履歴情報として更新するようにしても良い。 In the process of S15, when a plurality of pieces of cooperation history information can be acquired, a plurality of pieces of identification information (terminal IDs) among the pieces of identification information (terminal IDs) of the plurality of connected HMDs are the plurality of pieces. Is included in each of the cooperation history information, the cooperation history information including the plurality of identification information (terminal ID) is acquired, and the cooperation history information including the plurality of identification information (terminal ID) is synthesized. You may make it update as one cooperation log information.
次いで、RAM105に記憶された連携履歴情報(連携履歴情報テーブル300)に含まれる各HMDの端末IDと、S11で取得した各HMDの端末IDとの全てが一致する否かの判断を行う(S17)。尚、この例では、連携履歴情報の有無を問い、返答結果で管理用HMDを決め、連携履歴情報を取得しているが、直接、連携履歴情報を各HMDに要求し、連携履歴情報を取得できた場合(S13:YES→S15)、取得できたHMDを管理用HMDとし、取得できない場合は、S13:NOとしてもよい。
Next, it is determined whether or not the terminal ID of each HMD included in the cooperation history information (cooperation history information table 300) stored in the
次いで、連携履歴情報に含まれる端末IDとS11で取得し、RAM105に記憶した端末IDとの全てが一致すると判断した場合(S17:YES)、各HMDに連携表示情報として連携履歴情報テーブル300を表示するためのデータや連携履歴情報テーブル300の連携補足情報に記載され対応づけられたHDD107に記憶されているコンテンツ(例えば、「xx01、yy01」)を各HMDに送信する(S19)。コンテンツを受信した各HMDは、投影装置210に連携表示情報(連携履歴情報テーブル300)や、前記コンテンツ(例えば、「xx01、yy01」)を表示する。次に、ユーザからキーボード113を介して連携終了の指示がなされたか否かを判断する(S21)。終了指示がなされていない場合(S21:NO)、そのまま連携を続ける。
Next, when it is determined that the terminal ID included in the cooperation history information and the terminal ID acquired in S11 and stored in the
一方、終了指示がなされた場合(S21:YES)、連携履歴情報から端末IDの削除指示がなされたか否かを判断する(S23)。前記削除指示がない場合(S23:NO)、ステップS25に進む。一方、前記削除指示がある場合(S23:YES)、連携履歴情報テーブル300から削除の指示がされた該HMDの端末IDを削除し(S33)、ステップS25に進む。次に、管理用HMDを他のHMDへ移動する移動指示があるか否かを判断する(S25)。前記移動指示がある場合(S25:YES)、連携履歴情報テーブル300の管理用HMD情報欄を移動先のHMDの情報(端末ID名)に修正し(S27)、ステップS24に進む。 On the other hand, if an end instruction has been given (S21: YES), it is determined whether or not a terminal ID deletion instruction has been given from the cooperation history information (S23). When there is no deletion instruction (S23: NO), the process proceeds to step S25. On the other hand, when there is the deletion instruction (S23: YES), the terminal ID of the HMD instructed to delete is deleted from the cooperation history information table 300 (S33), and the process proceeds to step S25. Next, it is determined whether or not there is a movement instruction to move the management HMD to another HMD (S25). When there is the movement instruction (S25: YES), the management HMD information column of the cooperation history information table 300 is corrected to the information (terminal ID name) of the movement destination HMD (S27), and the process proceeds to step S24.
一方、前記移動指示がない場合も(S25:NO)、ステップS24に進む。ステップS24では、連携日時や連携補足情報など、連携終了時における最新の状態に連携履歴情報を更新し、当該更新した連携履歴情報を管理用HMD20又は移動先のHMDに送信して(S26)処理を終了する。
On the other hand, also when there is no said movement instruction | indication (S25: NO), it progresses to step S24. In step S24, the cooperation history information is updated to the latest state at the end of the cooperation, such as the cooperation date and time, the cooperation supplement information, and the updated cooperation history information is transmitted to the
一方、ステップS17で、少なくとも1つの端末IDが一致しないと判断した場合(S17:NO)、ディスプレイ123に、連携履歴情報に含まれる端末IDとS11で取得した各HMDの端末IDとが一致しない旨を報知する報知画面(図示しない)を表示する(S35)。このままでも、連携を開始する場合(S37:YES)、連携履歴情報の連携履歴情報テーブル300に今回の連携の情報を追記し、S19へ進む。尚、S37の判断は、使用者がキーボード113から連携開始の命令を入力したことにより連携を開始しても良い(S37:YES)。また、連携履歴情報に含まれる端末IDとS11で取得した各HMDの端末IDとが複数個(例えば、3個や2個)一致した場合に、連携を開始(仮連携)しても良い(S37:YES)。次いで、S39で、S15で取得しRAM105に記憶した連携履歴情報テーブル300の連携端末IDリストを仮連携を行うものだけに修正する(S39)。その後、S19の処理を行う。
On the other hand, if it is determined in step S17 that at least one terminal ID does not match (S17: NO), the terminal ID included in the cooperation history information on the
ステップS37で、使用者がキーボード113から連携開始の命令を入力せず、このままでは、連携を開始しない場合(S37:NO)、タイマtが所定時間T0が経過していなければ(S54:NO)、S11へ戻るが、所定時間T0が経過していれば(S54:YES)、もはや、連携は無理として、強制的に終了する。尚、所定時間T0は、適宜の時間設定すれば良い。
In step S37, when the user does not input a cooperation start command from the
次に、S13において、USB端子に管理用HMD20が接続されていないと判断された場合は(S13:NO)、新連携を行うか判断する(S50)。ディスプレイ123に新連携を行うかを尋ねる画面を表示し、使用者がキーボード113から新連携開始の命令を所定時間内に入力したか否かで行う。新連携を行わないのであれば(S50:NO)、通常的に使用するかの判断を行う(S52)。この判断は、ディスプレイ123に通常的に使用するかを尋ねる画面を表示し、使用者がキーボード113から通常使用開始の命令を所定時間内に入力したか否かで行う(S52)。通常的に使用するなら(S52:YES)、適宜コンテンツを選択するなどして使用するが、通常的に使用しないのなら(S52:NO)、S54へ行き、管理用HMDが接続されるのを暫く待つことになる。つまり、タイマtが所定時間T0が経過していなければ(S54:NO)S11へ戻り、所定時間T0が経過するまで同様の処理を繰り返すが、所定時間T0が経過していれば(S54:YES)、もはや、連携は無理として、強制的に終了する。
Next, in S13, when it is determined that the
新連携を行うのであれば(S50:YES)、キーボード113を介してユーザから新連携名、新しい管理用HMD情報(端末ID)、及び連携補足情報を受け付け、実際に接続され連携されているHMDの端末IDと日時の情報とともに新連携履歴情報としての新連携履歴情報テーブル360(図6参照)を作成し、RAM105に記憶する(S51)。ここで、新連携とは、管理用HMD20が連携に参加していない場合に、参加したHMDのみからなる新たな連携である。また、新連携履歴情報とは、管理用HMD20が連携に参加していない場合に、連携に参加したHMDが連携した際の情報である。なお、図6に示す新連携履歴情報テーブル360は、新連携名欄、新連携端末ID欄、新管理用HMD情報欄、新連携日時欄、及び連携補足情報欄から構成される。
If a new collaboration is to be performed (S50: YES), the new collaboration name, new management HMD information (terminal ID), and collaboration supplement information are received from the user via the
ここで、新連携名欄は、ユーザによって入力された新連携のグループ名を示す。新連携端末IDは、新連携に参加したHMDの端末IDを示す。新管理用HMDは、新しい管理用HMDの端末IDを示し、新連携日時欄は、新連携に参加したHMDがPC10のUSB端子に接続された日及び時間を示す。例えば、新連携履歴情報テーブル360には、新連携名欄に「ABC1」が記載され、新連携端末ID欄には「ID40、ID50」が記載され、新管理用HMD情報欄にはID40が記載され、連携日時欄には「2011/2/23 15:30」が記載され、連携補足情報欄には「HMDに関する」が記載されている。これは、2011年2月23日15時30分にHMD40とHMD50とが、管理用HMDをHMD40として、HMDに関する会議で新たに連携したことを示す。
Here, the new cooperation name column indicates the group name of the new cooperation input by the user. New cooperation terminal ID shows terminal ID of HMD which participated in new cooperation. The new management HMD indicates the terminal ID of the new management HMD, and the new cooperation date / time column indicates the date and time when the HMD participating in the new cooperation is connected to the USB terminal of the
次に、必要に応じて、接続された各HMDに対して送信するコンテンツを新規設定し(連携表示情報設定)、各HMDに送信して新連携の表示を開始する(S53)。コンテンツを新規設定する場合、HDD107に記憶されているコンテンツを選択して読み出しても良いし、外部入力からのコンテンツを送信しても良いが、そのコンテンツの情報は、新連携補足情報に記載しておくことが望ましい。その後、S21へ行き、同様に終了指示が判断される。その後のステップは、前述したものと同様である。。
Next, if necessary, a content to be transmitted to each connected HMD is newly set (linked display information setting), and transmitted to each HMD to start display of a new link (S53). When setting a new content, the content stored in the
例えば、後に管理用HMD20及びHMD30、HMD40、HMD50がPC10のUSB端子に接続されると、連携履歴情報は、HMD20とHMD40から取得できることになるが、その両連携履歴情報を、識別情報や連携日時を参照して、主たる連携履歴情報を特定し、新連携履歴情報を加えた最新の連携履歴情報として更新し、これらの端末IDを取得して、新連携履歴情報テーブル360にこれら端末IDを追加し、管理用HMD20に送信する。新連携履歴情報テーブル360を受信した管理用HMD20はフラッシュメモリ204に記憶されている連携履歴情報テーブル300を新連携履歴情報テーブル360で書き換え更新する。本実施の形態の場合には、図4に示す連携履歴情報テーブル300の連携日時が、新連携履歴情報テーブル360に記載された連携日時「2011/2/23 15:30」に更新される。
For example, if the
以上のように、本実施の形態に係るHMD連携装置では、連携履歴情報が記憶されていない装置であっても、連携履歴情報に基づいて複数のヘッドマウントディスプレイを連携させることができる。また、本実施の形態に係るHMD連携装置では、連携履歴情報を管理用HMDから他のHMDに移動させることができる。これにより、連携履歴情報の移動先のHMDを管理用HMDと使用することにより連携を開始した場合に前回に連携して見ていた情報の続きを表示することができる。連携履歴情報を送信したHMDを管理用HMDとして利用できる。 As described above, in the HMD cooperation device according to the present embodiment, a plurality of head mounted displays can be made to cooperate based on the cooperation history information even if the device does not store the cooperation history information. In the HMD cooperation device according to the present embodiment, the cooperation history information can be moved from the management HMD to another HMD. Thereby, when cooperation is started by using the HMD of the movement destination of cooperation history information with management HMD, the continuation of the information which was seen in cooperation last time can be displayed. The HMD that has transmitted the cooperation history information can be used as a management HMD.
さらに、本実施形態に係るHMD連携装置では、連携履歴情報からHMDの端末IDを削除することができる。これにより、例えば会社の部門異動等で連携の必要がなくなったHMDの端末IDを連携履歴情報から削除することができる。さらに、本実施の形態に係るHMD連携装置では、管理用HMD20が接続されていない場合であっても、接続されたHMDだけで新連携できる。そして、管理用HMD20が接続された場合には、新連携の情報を用いて新たな連携履歴情報を作成できる。
Furthermore, in the HMD cooperation apparatus according to the present embodiment, the terminal ID of the HMD can be deleted from the cooperation history information. As a result, for example, the terminal ID of the HMD that no longer needs to be linked due to, for example, a company department change can be deleted from the linkage history information. Furthermore, even if the
次に、本発明の第2実施の形態について説明する。本実施の形態では、管理用HMD20に連携履歴情報とHMDの連携処理を行うための連携プログラムが記憶され、連携プログラムを記憶していないPC10に接続された場合に、当該PC10に管理用HMD20から連携プログラムがインストールされるようにしたものである。なお、第1実施の形態と同一の機能を有するものについては同一の参照符号を付し、詳細な説明は割愛する。
Next, a second embodiment of the present invention will be described. In the present embodiment, when the cooperation history information and the cooperation program for performing the cooperation processing of the HMD are stored in the
第2実施の形態に係るHMD連携装置が利用されたHMD連携システムは、図1に示すHMD連携システム1と同様に、HMD連携装置として利用されるPC10と、PC10の各USB端子にUSBケーブル15を介して接続された管理用HMD20、HMD30、HMD40、及びHMD50から構成される。また、PC10の電気的構成は、図2で示したPC10の構成と同じであるが、ROM103には連携処理を行うためのプログラムは記憶されていない。代わりに、管理用HMD20にPC10が連携処理を行うための連携プログラム及び連携プログラムをPCにインストールするためのインストールプログラムが各々記憶されている。尚、HMD30、HMD40及びHMD50にも連携処理を行うための連携プログラムを記憶しておいても良い。
The HMD cooperation system using the HMD cooperation apparatus according to the second embodiment is similar to the
さらに、管理用HMD20の電気的構成は、図3に示す管理用HMD20の電気的構成と同じであるが、フラッシュメモリ204には連携履歴情報と、連携処理を行うための連携プログラム(正確には、連携プログラムをPCにインストールするためのインストールプログラムも含む)がそれぞれ記憶されている。
Further, the electrical configuration of the
次に、図7に示すフローチャートを参照して、連携プログラム(図5参照)を記憶していないPC10への連携プログラムのインストール処理について説明する。 Next, with reference to the flowchart shown in FIG. 7, the installation process of the cooperation program to PC10 which has not memorize | stored the cooperation program (refer FIG. 5) is demonstrated.
初めに、管理用HMD20のCPU201は、PC10に接続されたか否かを判断する(S1)。管理用HMD20がPC10に接続された場合には(S1:YES)、PC10から端末ID及び連携履歴情報の要求があったか否か判断する(S2)。尚、管理用HMD20がPC10に接続されない場合には(S1:NO)、S1に戻る。PC10から端末ID及び連携履歴情報の要求があった場合には(S2:YES)、PC10では、連携プログラムが起動されているので、新たに連携プログラムをインストールする必要がないので、処理を終了する。また、PC10から端末ID及び連携履歴情報の要求が無い場合には(S2:NO)、PC10には、連携プログラムが起動されていないので、管理用HMD20からPC10のHDD107へ連携プログラムをPCにインストールするためのインストールプログラムを記憶させ(S3)、PC10では、当該インストールプログラムを起動して管理用HMD20のフラッシュメモリ204から連携プログラムをインストールして、当該連携プログラムを起動する(S3)。その後、S2の判断処理に戻るが、PC10で既に連携プログラムが起動されているので、PC10から端末ID及び連携履歴情報の要求があるので(S2:YES)、処理を終了し、図5に示す連携処理1が実行される。
First, the
以上のように、第2実施の形態では、連携プログラムが記憶されているHMDが連携プログラムを持たない装置の接続部に接続されると、連携プログラムが該HMDからインストールされることによって取得され、連携処理がなされる。これにより、予め連携プログラムをもったHMD連携装置がないような所、例えば、出張先などでも、連携プログラムを持っていないPC等をHMD連携装置として利用できる。また、HMD連携装置の記憶部に連携プログラムを記憶させておく必要がないので、該記憶部のメモリを節約することができる。 As described above, in the second embodiment, when an HMD in which a cooperation program is stored is connected to a connection unit of a device that does not have the cooperation program, the cooperation program is acquired by being installed from the HMD, Cooperation processing is performed. As a result, a PC or the like that does not have a cooperation program can be used as an HMD cooperation apparatus even where there is no HMD cooperation apparatus that has a cooperation program in advance, such as a business trip destination. Moreover, since it is not necessary to store a cooperation program in the memory | storage part of an HMD cooperation apparatus, the memory of this memory | storage part can be saved.
なお、第1実施の形態及び第2実施の形態では、PCをHMD連携装置として利用した。しかし、これには限定されず、例えば図8に示すようにHMD60の制御装置200が連携プログラムを実行するブロック(回路)を内蔵していてHMD連携装置としても動作するようにしても良い。HMD60(制御装置200)は、多くのHMDを接続できる構造にすると小型化が図れないので、USBハブ65を介してHMD30、HMD40、及びHMD50と接続するようにしてもよい。
In the first embodiment and the second embodiment, the PC is used as the HMD cooperation apparatus. However, the present invention is not limited to this. For example, as shown in FIG. 8, the
尚、図5のステップS11を実行するCPU101は「識別情報取得手段」の一例であり、図5のステップS13を実行するCPU101は「接続判断手段」に一例である。また、図5のステップS15を実行するCPU100は「連携履歴情報取得手段」の一例であり、図5のステップS17を実行するCPU101は「連携判断手段」の一例である。また、図5に示すステップS19を実行するCPU101は「連携表示情報送信手段」の一例である。
The
さらに、図5のステップS26を実行するCPU101は「連携履歴情報送信手段」に相当し、図5のステップS23を実行するCPU101は「削除受付手段」に相当する。さらに、図5のステップS24を実行するCPU101は「連携情報更新手段」に相当する。図5のステップS51を実行するCPU101は「連携情報作成手段」に相当する。図3に示すフラッシュメモリ204が「記憶部」に相当する。
Further, the
なお、これまでの実施の形態では、HMD20〜50の投影装置210を液晶表示部212を利用したものとしたが、これには限定されず、例えば、画像信号に応じた強度の光を2次元方向に走査して画像を形成し、網膜上に投影することで画像表示を行う網膜走査ディスプレイとしても良い。
In the above embodiments, the
1 HMD連携システム
10 PC
15 USBケーブル
20 管理用HMD
30、40、50 HMD
101 CPU
103 ROM
105 RAM
107 HDD
113 キーボード
140 USBI/F
204 フラッシュメモリ
210 投影装置
200 制御装置
1
15
30, 40, 50 HMD
101 CPU
103 ROM
105 RAM
107 HDD
204
Claims (10)
個別の識別情報を有する前記複数のヘッドマウントディスプレイが各々接続される複数の接続部と、
前記接続部に接続された前記複数のヘッドマウントディスプレイから、前記複数のヘッドマウントディスプレイの各々を一意に識別するために前記識別情報を取得する識別情報取得手段と、
前記各ヘッドマウントディスプレイが連携を行う際の基となる情報である連携履歴情報を前記ヘッドマウントディスプレイ連携装置より受信して記憶部に記憶している第一ヘッドマウントディスプレイが前記接続部に接続されたか否かを判断する接続判断手段と、
前記接続判断手段によって前記接続部に前記第一ヘッドマウントディスプレイが接続されたと判断されると、前記第一ヘッドマウントディスプレイの記憶部から前記連携履歴情報を取得する連携履歴情報取得手段と、
少なくとも前記連携履歴情報を記憶する連携情報記憶手段と、
前記連携情報記憶手段に記憶された前記連携履歴情報に記されている各ヘッドマウントディスプレイの識別情報と、前記識別情報取得手段によって取得された前記各ヘッドマウントディスプレイの前記識別情報とが全て一致するか否かを判断する連携判断手段と、
前記連携判断手段によって全ての前記各ヘッドマウントディスプレイの前記識別情報が一致すると判断された場合、前記各ヘッドマウントディスプレイに表示するための情報である連携表示情報を前記各ヘッドマウントディスプレイに送信し連携を行う連携表示情報送信手段と、
前記連携情報記憶手段に記憶されている前記連携履歴情報を変更または最新の情報に更新する連携情報更新手段と、
前記複数のヘッドマウントディスプレイの前記連携の終了時に、前記連携情報更新手段で変更または更新され、前記連携情報記憶手段に記憶されている前記連携履歴情報を前記第一ヘッドマウントディスプレイに送信する連携履歴情報送信手段と
を備えたことを特徴とするヘッドマウントディスプレイ連携装置。 A head-mounted display cooperation device that links the plurality of head-mounted displays by simultaneously providing the same content to a plurality of head-mounted displays,
A plurality of connecting portions to which the plurality of head mounted displays each having individual identification information are connected;
Identification information acquisition means for acquiring the identification information for uniquely identifying each of the plurality of head mounted displays from the plurality of head mounted displays connected to the connection unit;
A first head-mounted display that receives cooperation history information, which is information serving as a basis when each head-mounted display performs cooperation, from the head-mounted display cooperation device and stores it in a storage unit is connected to the connection unit. Connection determination means for determining whether or not,
When it is determined by the connection determination means that the first head mounted display is connected to the connection unit, cooperation history information acquisition means for acquiring the cooperation history information from the storage unit of the first head mounted display;
Cooperation information storage means for storing at least the cooperation history information;
The identification information of each head mounted display recorded in the cooperation history information stored in the cooperation information storage unit and the identification information of each head mounted display acquired by the identification information acquisition unit all match. A linkage determination means for determining whether or not,
When it is determined by the cooperation determination means that the identification information of all the head mounted displays matches, the cooperation display information that is information to be displayed on the head mounted displays is transmitted to the head mounted displays. Linked display information transmission means for performing
Cooperation information update means for changing or updating the cooperation history information stored in the cooperation information storage means to the latest information;
A cooperation history for transmitting the cooperation history information changed or updated by the cooperation information updating means and stored in the cooperation information storage means to the first head mounted display at the end of the cooperation of the plurality of head mounted displays. A head-mounted display cooperation apparatus comprising an information transmission unit.
前記連携履歴情報取得手段は、前記連携履歴情報作成手段が作成した新規の連携履歴情報を取得することを特徴とする請求項1に記載のヘッドマウントディスプレイ連携装置。 When the cooperation history information acquisition unit cannot acquire the cooperation history information from a plurality of head mounted displays connected to the connection unit, based on identification information of the plurality of head mounted displays connected to the connection unit It has a link information creation means for creating new link history information,
The head-mounted display cooperation apparatus according to claim 1, wherein the cooperation history information acquisition unit acquires new cooperation history information created by the cooperation history information creation unit.
前記連携履歴情報送信手段は、前記連携の終了時に、前記第一HMD情報にて特定されるヘッドマウントディスプレイに連携履歴情報を送信するものであって、
前記連携情報更新手段は、前記第一HMD情報を変更することで第一ヘッドマウントディスプレイを別のヘッドマウントディスプレイに変更することを特徴とする請求項1又は2に記載のヘッドマウントディスプレイ連携装置。 The cooperation history information includes first HMD information that identifies the first head mounted display,
The cooperation history information transmitting means transmits the cooperation history information to the head mounted display specified by the first HMD information at the end of the cooperation,
3. The head mounted display cooperation apparatus according to claim 1, wherein the cooperation information update unit changes the first head mounted display to another head mounted display by changing the first HMD information. 4.
前記連携履歴情報取得手段は、其の複数の識別情報を含む連携履歴情報を取得し、
前記連携情報更新手段は、其の複数の識別情報を含む連携履歴情報を合成し、1つの連携履歴情報として更新することを特徴とする請求項1から5のいずれかに記載のヘッドマウントディスプレイ連携装置。 Identification information of a plurality of head mounted displays connected to the connection unit, when the cooperation history information acquisition unit can acquire a plurality of cooperation history information from a plurality of head mounted displays connected to the connection unit. When a plurality of identification information is included in each of the plurality of cooperation history information,
The cooperation history information acquisition means acquires the cooperation history information including the plurality of identification information,
The head-mounted display cooperation according to any one of claims 1 to 5, wherein the cooperation information updating unit combines the cooperation history information including the plurality of identification information and updates the information as one cooperation history information. apparatus.
前記複数のヘッドマウントディスプレイの各々が複数の接続部に接続されると、前記接続部に接続された前記複数のヘッドマウントディスプレイから、前記複数のヘッドマウントディスプレイの各々を一意に識別する識別情報を取得する識別情報取得ステップと、
前記各ヘッドマウントディスプレイが連携を行う際の基となる情報である連携履歴情報を前記ヘッドマウントディスプレイ連携装置より受信して記憶部に記憶している第一ヘッドマウントディスプレイが前記接続部に接続されたか否かを判断する接続判断ステップと、
前記接続判断手段によって前記接続部に前記第一ヘッドマウントディスプレイが接続されたと判断されると、前記第一ヘッドマウントディスプレイの記憶部から前記連携履歴情報を取得する連携履歴情報取得ステップと、
少なくとも前記連携履歴情報を記憶する連携履歴情報記憶ステップと、
前記連携情報記憶手段に記憶された前記連携履歴情報に記されている各ヘッドマウントディスプレイの識別情報と、前記識別情報取得手段によって取得された前記各ヘッドマウントディスプレイの前記識別情報とが全て一致するか否かを判断する連携判断ステップと、
前記連携判断ステップにおいて全ての前記各ヘッドマウントディスプレイの前記識別情報が一致すると判断された場合、前記各ヘッドマウントディスプレイに表示するための情報である連携表示情報を前記各ヘッドマウントディスプレイに送信し連携を行う連携表示情報送信ステップと、
前記連携情報記憶手段に記憶されている前記連携履歴情報を変更または最新の情報に更新する連携情報更新ステップと、
前記複数のヘッドマウントディスプレイの前記連携の終了時に、前記連携情報更新手段で更新され、前記連携情報記憶手段に記憶されている前記連携履歴情報を前記第一ヘッドマウントディスプレイに送信する連携履歴情報送信ステップと
をコンピュータに実行させるためのヘッドマウントディスプレイの連携プログラム。 A head mounted display linkage program that links the plurality of head mounted displays by simultaneously providing the same content to a plurality of head mounted displays,
When each of the plurality of head mounted displays is connected to a plurality of connecting portions, identification information for uniquely identifying each of the plurality of head mounted displays from the plurality of head mounted displays connected to the connecting portion. An identification information acquisition step to be acquired;
A first head-mounted display that receives cooperation history information, which is information serving as a basis when each head-mounted display performs cooperation, from the head-mounted display cooperation device and stores it in a storage unit is connected to the connection unit. A connection determination step for determining whether or not
When it is determined by the connection determination means that the first head mounted display is connected to the connection unit, a cooperation history information acquisition step of acquiring the cooperation history information from the storage unit of the first head mounted display;
A cooperation history information storage step for storing at least the cooperation history information;
The identification information of each head mounted display recorded in the cooperation history information stored in the cooperation information storage unit and the identification information of each head mounted display acquired by the identification information acquisition unit all match. A linkage determination step for determining whether or not,
When it is determined in the cooperation determination step that the identification information of all the head mounted displays matches, the cooperation display information that is information to be displayed on the head mounted displays is transmitted to the head mounted displays. Linked display information transmission step for performing,
A linkage information update step for changing or updating the linkage history information stored in the linkage information storage means to the latest information;
Cooperation history information transmission that transmits the cooperation history information updated by the cooperation information updating means and stored in the cooperation information storage means to the first head mounted display at the end of the cooperation of the plurality of head mounted displays. Head-mounted display linkage program for causing a computer to execute steps.
当該第一ヘッドマウントディスプレイから前記連携プログラムを取得する連携プログラム取得手段を備え、
前記連携プログラム取得手段が取得した前記連携プログラムを前記CPUが実行することを特徴とする請求項1から7のいずれかに記載のヘッドマウントディスプレイ連携装置。 A cooperation program for causing the CPU of the head-mounted display cooperation device to execute processing performed by each unit of the head-mounted display cooperation device according to claim 1 is stored in the first head-mounted display,
Comprising a cooperation program acquisition means for acquiring the cooperation program from the first head mounted display;
The head-mounted display cooperation device according to claim 1, wherein the CPU executes the cooperation program acquired by the cooperation program acquisition unit.
各ヘッドマウントディスプレイが連携を行う際の基となる情報である連携履歴情報とともに複数のヘッドマウントディスプレイに同時に同一のコンテンツを提供することにより前記複数のヘッドマウントディスプレイを連携させる連携プログラムを前記記憶部に記憶しており、
さらにコンピュータに接続された時は、前記連携プログラムを前記コンピュータにインストールし実行させるインストールプログラムも前記記憶部に記憶していることを特徴とするヘッドマウントディスプレイ。 It has a non-volatile storage unit that stores various data and programs,
The storage unit stores a linkage program that links the plurality of head-mounted displays by simultaneously providing the same content to the plurality of head-mounted displays together with linkage history information that is information that is the basis of the linkage between the head-mounted displays. Remember
Furthermore, when connected to a computer, an installation program for installing and executing the cooperation program in the computer is also stored in the storage unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011122616A JP5708261B2 (en) | 2011-05-31 | 2011-05-31 | Head mounted display linkage device and head mounted display linkage program |
PCT/JP2012/058089 WO2012165013A1 (en) | 2011-05-31 | 2012-03-28 | Head-mounted display cooperation device, cooperation program for head-mounted displays, and head-mounted display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011122616A JP5708261B2 (en) | 2011-05-31 | 2011-05-31 | Head mounted display linkage device and head mounted display linkage program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012252410A true JP2012252410A (en) | 2012-12-20 |
JP5708261B2 JP5708261B2 (en) | 2015-04-30 |
Family
ID=47258879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011122616A Expired - Fee Related JP5708261B2 (en) | 2011-05-31 | 2011-05-31 | Head mounted display linkage device and head mounted display linkage program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5708261B2 (en) |
WO (1) | WO2012165013A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10437055B2 (en) | 2015-01-07 | 2019-10-08 | Samsung Electronics Co., Ltd. | Master device, slave device, and control method therefor |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201505603A (en) * | 2013-07-16 | 2015-02-16 | Seiko Epson Corp | Information processing apparatus, information processing method, and information processing system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003091514A (en) * | 2001-09-18 | 2003-03-28 | Fuji Xerox Co Ltd | Client server system and method therefor |
JP2004013560A (en) * | 2002-06-07 | 2004-01-15 | Victor Co Of Japan Ltd | Authentication system, communication terminal, and server |
JP2006163731A (en) * | 2004-12-06 | 2006-06-22 | Ricoh Co Ltd | Activity support system, information terminal, support device, terminal side activity support method, device side activity support method, and program for making computer execute these methods |
JP2007058701A (en) * | 2005-08-26 | 2007-03-08 | Hitachi Ltd | Recording and reproducing apparatus |
JP2009146390A (en) * | 2007-11-22 | 2009-07-02 | Sony Corp | Information processing apparatus, information processing system, information processing method and program |
-
2011
- 2011-05-31 JP JP2011122616A patent/JP5708261B2/en not_active Expired - Fee Related
-
2012
- 2012-03-28 WO PCT/JP2012/058089 patent/WO2012165013A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003091514A (en) * | 2001-09-18 | 2003-03-28 | Fuji Xerox Co Ltd | Client server system and method therefor |
JP2004013560A (en) * | 2002-06-07 | 2004-01-15 | Victor Co Of Japan Ltd | Authentication system, communication terminal, and server |
JP2006163731A (en) * | 2004-12-06 | 2006-06-22 | Ricoh Co Ltd | Activity support system, information terminal, support device, terminal side activity support method, device side activity support method, and program for making computer execute these methods |
JP2007058701A (en) * | 2005-08-26 | 2007-03-08 | Hitachi Ltd | Recording and reproducing apparatus |
JP2009146390A (en) * | 2007-11-22 | 2009-07-02 | Sony Corp | Information processing apparatus, information processing system, information processing method and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10437055B2 (en) | 2015-01-07 | 2019-10-08 | Samsung Electronics Co., Ltd. | Master device, slave device, and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
WO2012165013A1 (en) | 2012-12-06 |
JP5708261B2 (en) | 2015-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5522381B2 (en) | Display device, terminal device, display system, program, information storage medium, display method, and image change method | |
JP2011114781A (en) | Head-mounted display device, and image sharing system employing the same | |
US20230008199A1 (en) | Remote Assistance Method and System, and Electronic Device | |
WO2020262420A1 (en) | Content distribution device, content distribution program, content distribution method, content display device, content display program, and content display method | |
US20150363188A1 (en) | Information Processing Device and Information Processing System | |
JP2013062669A (en) | Network data projector system, projector, and content projection method | |
US10782957B2 (en) | Information processing device, relay device, information processing system, and software update method | |
US8775516B2 (en) | Projector system and connection establishment method | |
JP5708261B2 (en) | Head mounted display linkage device and head mounted display linkage program | |
JP2009180840A (en) | Information distribution system, information distribution method, and information distribution program | |
CN105225265A (en) | 3-D view automatic synthesis method and device | |
JP5428174B2 (en) | Head mounted display device | |
US20200021891A1 (en) | Smart channel device | |
JP4674627B2 (en) | Information processing apparatus, remote instruction system, and program | |
JP2014150343A (en) | Work assisting system and working device | |
JP5230401B2 (en) | Display control device, image processing device | |
JP5359408B2 (en) | Display device, display method, and program | |
CN115134233B (en) | Scene upgrading method and device, medium and terminal | |
JP2021009681A (en) | Content distribution device, content distribution program, content distribution method, content display device, content display program, and content display method | |
JP7095710B2 (en) | Information processing system, information processing method, program, and management device | |
JP6448439B2 (en) | Electronic device and control method thereof | |
CN110989833B (en) | Control method, AR device and computer readable storage medium | |
JP6079916B2 (en) | Output system, output device, and content output method | |
WO2019106950A1 (en) | Image display device and image display method | |
CN116953939A (en) | AR (augmented reality) glasses and image display control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5708261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |