JP2019153952A - Head-mounted display, head-mounted display system, and program - Google Patents
Head-mounted display, head-mounted display system, and program Download PDFInfo
- Publication number
- JP2019153952A JP2019153952A JP2018038449A JP2018038449A JP2019153952A JP 2019153952 A JP2019153952 A JP 2019153952A JP 2018038449 A JP2018038449 A JP 2018038449A JP 2018038449 A JP2018038449 A JP 2018038449A JP 2019153952 A JP2019153952 A JP 2019153952A
- Authority
- JP
- Japan
- Prior art keywords
- program
- mounted display
- content
- broadcast
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明はヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラムに関する。 The present invention relates to a head mounted display, a head mounted display system, and a program.
従来、テレビ受信機以外の端末等をセカンドスクリーンとし、放送番組と連動するコンテンツをセカンドスクリーンに表示する技術がある。一方、ヘッドマウントディスプレイを用いて仮想空間を提供する技術がある。 2. Description of the Related Art Conventionally, there is a technique for using a terminal other than a television receiver as a second screen and displaying content linked to a broadcast program on the second screen. On the other hand, there is a technique for providing a virtual space using a head mounted display.
しかし、ヘッドマウントディスプレイをセカンドスクリーンとし、放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示するものはなかった。 However, there is no one that uses a head-mounted display as a second screen and displays an object of a content linked with a broadcast program in synchronization with a predetermined timing of the program.
そこで、本発明は放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示することができるヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラムを提供することにある。 Therefore, the present invention provides a head mounted display, a head mounted display system, and a program that can display an object of a content linked to a broadcast program in synchronization with a predetermined timing of the program.
本発明の一態様は、放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御部と、前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期部とを有するヘッドマウントディスプレイである。 One embodiment of the present invention is directed to a display control unit that controls display on a display unit of content linked to a program that is broadcast from a broadcast station and displayed on a television receiver, the program and the content, Is a head-mounted display having a synchronization unit that synchronizes at a timing designated by
本発明の一態様は、ヘッドマウントディスプレイと、前記オブジェクトの仮想的な空間表示に対応して、前記オブジェクトの触覚を再現する触覚体験手段とを有するヘッドマウントディスプレイシステムである。 One aspect of the present invention is a head-mounted display system including a head-mounted display and a tactile sensation experience unit that reproduces the tactile sensation of the object corresponding to a virtual spatial display of the object.
本発明の一態様は、放送局から放送されてテレビ受信機に表示される番組と連動するコンテンツの表示部への表示を制御する表示制御処理と、前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期処理とをコンピュータに実行させるプログラムである。 One embodiment of the present invention includes a display control process for controlling display on a display unit of content linked to a program broadcast from a broadcast station and displayed on a television receiver, the program and the content, Is a program that causes a computer to execute synchronization processing that is synchronized at a timing specified by the computer.
本発明は、放送番組と連動するコンテンツのオブジェクトを、番組の所定のタイミングに同期させて表示することができる。 The present invention can display an object of a content linked with a broadcast program in synchronization with a predetermined timing of the program.
＜第１の実施の形態＞
本発明の実施の形態を説明する。
<First Embodiment>
An embodiment of the present invention will be described.
図１は、本発明の実施の形態の概要を説明するためのブロック図である。図１中、１は放送局、２はテレビ受信機、３は管理サーバ、４はインターネット、５はヘッドマウントディスプレイである。 FIG. 1 is a block diagram for explaining an outline of an embodiment of the present invention. In FIG. 1, 1 is a broadcasting station, 2 is a television receiver, 3 is a management server, 4 is the Internet, and 5 is a head-mounted display.
放送局１は、テレビ受信機に表示される番組を放送する。この番組は、ヘッドマウントディスプレイ５に表示されるコンテンツと連動する番組である。番組の種類は問わないが、例えば、ドラマ、野球等のスポーツ中継や、歌謡番組等である。また、放送局１は、番組に連動するコンテンツのオブジェクトの表示タイミングや、表示内容の更新等の指示を行う。指示は、後述する同期情報により行われる。 Broadcast station 1 broadcasts a program displayed on a television receiver. This program is a program linked with the content displayed on the head mounted display 5. There is no limitation on the type of program, but it is, for example, a sports broadcast such as drama or baseball, or a song program. In addition, the broadcast station 1 gives an instruction to display the content object linked to the program, update the display content, or the like. The instruction is given by synchronization information described later.
管理サーバ３は、コンテンツをヘッドマウントディスプレイ５に表示するためのオブジェクトの３次元データ、及び、その３次元データを用いて、仮想現実空間にオブジェクトを表示するためのプログラムを格納している。そして、オブジェクトの３次元データ及びプログラムを、ヘッドマウントディスプレイ５に要求に応じて送信する。尚、３次元データ及びプログラムを、以下、基本データと記載する場合がある。 The management server 3 stores three-dimensional data of an object for displaying content on the head mounted display 5 and a program for displaying the object in the virtual reality space using the three-dimensional data. Then, the three-dimensional data and program of the object are transmitted to the head mounted display 5 upon request. Hereinafter, the three-dimensional data and the program may be described as basic data.
ヘッドマウントディスプレイ５は、図２に示す如く、表示制御部５１と、同期部５２とを備えている。 As shown in FIG. 2, the head mounted display 5 includes a display control unit 51 and a synchronization unit 52.
表示制御部５１は、オブジェクトの３次元データ及びプログラムにより、仮想現実空間にコンテンツの各オブジェクトを表示する。尚、ヘッドマウントディスプレイ５は、視界画像が光学的透過されて表示される光学透過型ヘッドマウントディスプレイ（スマートグラス）や、視界画像が撮影されて表示されるビデオ透過型ヘッドマウントディスプレイ等があるが、いずれのものでも良い。また、これに限らず、例えば、スマートフォンを装着できるゴーグルに、スマートフォンを装着してヘッドマウントディスプレイ（ＨＭＤ）と同様な機能を実現しても良い。 The display control unit 51 displays each object of the content in the virtual reality space according to the three-dimensional data of the object and the program. The head-mounted display 5 includes an optically transmissive head-mounted display (smart glasses) in which a visual field image is optically transmitted and displayed, and a video transmissive head-mounted display in which a visual field image is captured and displayed. Any of them can be used. For example, the same function as that of a head mounted display (HMD) may be realized by attaching a smartphone to goggles to which a smartphone can be attached.
ここで、仮想現実空間に表示されるコンテンツは、放送局１から放送され、テレビ受信機に表示される番組と連動するコンテンツである。ここで、番組と連動するコンテンツとは、番組の継時的な所定のタイミングで、番組を補完する情報が表示されるコンテンツをいう。そして、番組を補完する情報は、ヘッドマウントディスプレイ５に表示される各オブジェクトである。 Here, the content displayed in the virtual reality space is content that is broadcast from the broadcasting station 1 and linked to the program displayed on the television receiver. Here, content linked to a program refers to content in which information for complementing the program is displayed at a predetermined timing over the course of the program. Information that complements the program is each object displayed on the head mounted display 5.
図３は、番組が野球中継である場合に、番組に連動するコンテンツの一例を示した図である。図３では、コンテンツのオブジェクトは、その野球の試合に出場している選手のオブジェクトや、スコアボードのオブジェクト等である。そして、野球中継において、打席に立っている選手のオブジェクトや選手情報のオブジェクトが、そのタイミングで表示される。また、スコアボードのオブジェクトも、点数が追加、変更されるタイミングで、その点数のオブジェクトが変更されて表示される。 FIG. 3 is a diagram showing an example of content linked to a program when the program is a baseball broadcast. In FIG. 3, the content object is an object of a player participating in the baseball game, a scoreboard object, or the like. Then, in the baseball broadcast, the object of the player standing at the bat and the object of player information are displayed at that timing. In addition, the scoreboard object is also changed and displayed at the timing when the score is added or changed.
上述した番組とコンテンツとを連動させるため、ヘッドマウントディスプレイ５は、放送局１が指定するタイミング及び内容で、表示制御部５１によるオブジェクトの表示を同期させる同期部５２を有する。放送局１が指定するタイミングは、同期情報により得ることができる。ここで、同期情報は、放送局１が指定するタイミングで、コンテンツのオブジェクトを、ヘッドマウントディスプレイ５に表示する時刻情報等である。但し、同期情報は、時刻情報のみならず、ヘッドマウントディスプレイ５にオブジェクトを表示するためのリアルタイムデータを含めても良い。リアルタイムデータとは、放送番組から取得できるリアルタイムのデータであって、放送番組が野球中継であって、コンテンツのオブジェクトが野球の試合に出場している選手のオブジェクトである場合は、試合中のその選手のスイング速度、スコアボードのオブジェクトの場合は、試合の経過とともに変化する点数の情報等である。そして、同期情報の取得及び同期方法であるが、以下のような方法がある。 In order to link the above-described program and content, the head mounted display 5 includes a synchronization unit 52 that synchronizes the display of the object by the display control unit 51 at the timing and content designated by the broadcast station 1. The timing designated by the broadcast station 1 can be obtained from the synchronization information. Here, the synchronization information is time information for displaying the content object on the head mounted display 5 at a timing designated by the broadcast station 1. However, the synchronization information may include not only time information but also real-time data for displaying an object on the head mounted display 5. Real-time data is real-time data that can be acquired from a broadcast program. If the broadcast program is a baseball game and the content object is an object of a player who is participating in a baseball game, In the case of a player's swing speed and scoreboard object, the information includes points that change as the game progresses. The synchronization information acquisition and synchronization method includes the following methods.
（１）管理サーバ３から同期情報を取得する方法
（ｉ） 管理サーバ３からヘッドマウントディスプレイ５に同期情報を送信する方法である。ヘッドマウントディスプレイ５は、インターネット４経由で、管理サーバ３に接続し、同期情報の受信を待機する。管理サーバ３は、放送局１が指定するタイミングで接続されたすべてのヘッドマウントディスプレイ５に同期情報を一斉に送信する。同期情報を受信したヘッドマウントディスプレイ５の同期部５２は、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。
(1) Method for Acquiring Synchronization Information from Management Server 3 (i) Method for transmitting synchronization information from management server 3 to head mounted display 5. The head mounted display 5 is connected to the management server 3 via the Internet 4 and waits for reception of synchronization information. The management server 3 transmits the synchronization information all at once to all the head mounted displays 5 connected at the timing designated by the broadcast station 1. The synchronization unit 52 of the head mounted display 5 that has received the synchronization information controls the display timing of the object by the display control unit 51 according to the execution date and time information of the synchronization information.
（ｉｉ） 管理サーバ３から送信する同期情報であるが、より正確にタイミングを合わせる方法として、以下の方法がある。 (Ii) Although it is the synchronization information transmitted from the management server 3, there are the following methods as a method for adjusting the timing more accurately.
前提条件として、放送局、スマートグラスとも適正な日時に設定されていることとする。まず、ヘッドマウントディスプレイ５は、テレビ受信機２から番組の音声を収録する。そして、収録した音声と収録日時データを、管理サーバ３に送信する。管理サーバ３は、収録した音声と収録日時とから、各テレビ受信機２の処理時間の相違やネットワーク遅延などで生じる各ヘッドマウントディスプレイ５の差分時間を計算する。そして、ヘッドマウントディスプレイ５に、計算した差分時間を送信する。ヘッドマウントディスプレイ５では、受信した差分時間を考慮して、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。 As a precondition, it is assumed that the broadcasting station and the smart glass are set to an appropriate date and time. First, the head mounted display 5 records the audio of the program from the television receiver 2. Then, the recorded voice and recording date / time data are transmitted to the management server 3. The management server 3 calculates a difference time of each head mounted display 5 caused by a difference in processing time of each television receiver 2 or a network delay from the recorded voice and the recording date and time. Then, the calculated difference time is transmitted to the head mounted display 5. The head mounted display 5 controls the display timing of the object by the display control unit 51 according to the execution date / time information of the synchronization information in consideration of the received differential time.
このようにすれば、番組とより正確なタイミングで同期を取ることが出来る。 In this way, it is possible to synchronize with the program at a more accurate timing.
（２）基本データから同期情報を取得する方法
管理サーバ３が提供するコンテンツのプログラムの中に、予め放送局が指定した同期情報を含めておく。ヘッドマウントディスプレイ５の同期部５２は、プログラム中の同期情報内の実行日時情報に基づいて、ヘッドマウントディスプレイ５の内部時計がその日時以降になった時点で、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。
(2) Method for Acquiring Synchronization Information from Basic Data In the content program provided by the management server 3, the synchronization information designated in advance by the broadcasting station is included. Based on the execution date / time information in the synchronization information in the program, the synchronization unit 52 of the head mounted display 5 displays the time according to the execution date / time information of the synchronization information when the internal clock of the head mounted display 5 comes after that date / time. The display timing of the object by the control unit 51 is controlled.
（３）テレビ音声から同期情報を取得する方法
（ｉ）放送局１は、放送する番組の音声に、所定の同期情報を含む音声フィンガープリント（音響透かし）を挿入しておく。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２から出力される音声から、音声フィンガープリント（音響透かし）を検出し、その同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。
(3) Method for Acquiring Synchronization Information from Television Audio (i) The broadcasting station 1 inserts an audio fingerprint (acoustic watermark) including predetermined synchronization information into the audio of a program to be broadcast. The synchronization unit 52 of the head mounted display 5 detects an audio fingerprint (acoustic watermark) from the audio output from the television receiver 2, and the display control unit 51 displays the object according to the execution date / time information of the synchronization information. To control.
（ｉｉ） テレビ音声から取得する同期情報であるが、より正確にタイミングを合わせる方法として、以下の方法がある。 (Ii) Synchronous information acquired from TV sound. As a method for adjusting timing more accurately, there are the following methods.
前提条件として、放送局、スマートグラスとも適正な日時に設定されていることとする。ヘッドマウントディスプレイ５は、テレビ受信機２が発する音声の可聴領域または非可聴領域から、当該技術を用いて記録された日時情報を認識する。次に、ヘッドマウントディスプレイ５は、収録した音声と収録日時とから、各テレビ受信機２の処理時間の相違などで生じる差分時間を計算する。そして、ヘッドマウントディスプレイ５は、この差分時間を考慮して、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。 As a precondition, it is assumed that the broadcasting station and the smart glass are set to an appropriate date and time. The head mounted display 5 recognizes date and time information recorded using the technique from the audible area or the non-audible area of the sound emitted from the television receiver 2. Next, the head mounted display 5 calculates a difference time caused by a difference in processing time of each television receiver 2 from the recorded voice and the recording date and time. Then, the head mounted display 5 controls the display timing of the object by the display control unit 51 according to the execution date / time information of the synchronization information in consideration of the difference time.
（４）番組の映像から同期情報を取得する方法
（ｉ）放送局１は、放送する番組の映像に、所定の同期情報を含む電子透かしを挿入しておく。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２に表示される映像から電子透かしを検出し、その同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。
(4) Method for Acquiring Synchronization Information from Program Video (i) The broadcasting station 1 inserts a digital watermark including predetermined synchronization information into a program video to be broadcast. The synchronization unit 52 of the head mounted display 5 detects a digital watermark from the video displayed on the television receiver 2 and controls the display timing of the object by the display control unit 51 according to the execution date / time information of the synchronization information.
（ｉｉ）更に、番組の映像に電子透かしではなく、所定の同期情報を含むＱＲコード（登録商標）等のマーカを表示するようにしても良い。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２に表示される映像中のマーカを検出し、その同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。 (Ii) Further, a marker such as a QR code (registered trademark) including predetermined synchronization information may be displayed on the video of the program instead of the digital watermark. The synchronization unit 52 of the head mounted display 5 detects a marker in the video displayed on the television receiver 2 and controls the display timing of the object by the display control unit 51 according to the execution date / time information of the synchronization information.
（ｉｉｉ） 番組映像から取得する同期情報であるが、より正確にタイミングを合わせる方法として、以下の方法がある。 (Iii) Although it is synchronous information acquired from a program video, there are the following methods as a method for adjusting the timing more accurately.
前提条件として、放送局、スマートグラスとも適正な日時に設定されていることとする。ヘッドマウントディスプレイ５は、テレビ受信機２に表示される映像から、当該技術を用いて記録された日時情報を認識する。次に、ヘッドマウントディスプレイ５は、収録した映像と収録日時とから、各テレビ受信機２の処理時間の相違などで生じる差分時間を計算する。そして、ヘッドマウントディスプレイ５は、この差分時間を考慮して、同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。 As a precondition, it is assumed that the broadcasting station and the smart glass are set to an appropriate date and time. The head mounted display 5 recognizes date and time information recorded using the technology from the video displayed on the television receiver 2. Next, the head mounted display 5 calculates a difference time caused by a difference in processing time of each television receiver 2 from the recorded video and the recording date and time. Then, the head mounted display 5 controls the display timing of the object by the display control unit 51 according to the execution date / time information of the synchronization information in consideration of the difference time.
（５）ハイブリッドキャストから同期情報を取得する方法
テレビ受信機２がハイブリッドキャスト規格に対応している場合、ヘッドマウントディスプレイ５は、ハイブリッドキャスト規格でテレビ受信機２に接続しておく。テレビ受信機２では、放送信号のデータ放送領域内のイベントメッセージを監視する。放送局１は、番組中で同期させたいタイミンクで、同期情報が格納されたイベントメッセージを放送する。テレビ受信機２では、放送局１から放送されたイベントメッセージを検出し、そのイベントメッセージの同期情報を解析し、ヘッドマウントディスプレイ５に送信する。ヘッドマウントディスプレイ５の同期部５２は、テレビ受信機２から送信された同期情報の実行日時情報に従って、表示制御部５１によるオブジェクトの表示タイミングを制御する。
(5) Method for Acquiring Synchronization Information from Hybrid Cast When the television receiver 2 is compatible with the hybrid cast standard, the head mounted display 5 is connected to the television receiver 2 according to the hybrid cast standard. The television receiver 2 monitors event messages in the data broadcast area of the broadcast signal. The broadcasting station 1 broadcasts an event message in which synchronization information is stored at a timing to be synchronized in the program. The television receiver 2 detects an event message broadcast from the broadcast station 1, analyzes the synchronization information of the event message, and transmits it to the head mounted display 5. The synchronization unit 52 of the head mounted display 5 controls the display timing of the object by the display control unit 51 in accordance with the execution date / time information of the synchronization information transmitted from the television receiver 2.
このような方法により、テレビ受信機２に表示される番組と、ヘッドマウントディスプレイ５に表示されるコンテンツのオブジェクトの表示とを、放送局の指定するタイミングで同期させて表示することができる。 By such a method, the program displayed on the television receiver 2 and the display of the content object displayed on the head-mounted display 5 can be displayed in synchronization with the timing designated by the broadcast station.
尚、実行日時情報とリアルタイムデータとは、上述したように同期情報に一緒に含めても良いし、別々の方法で、ヘッドマウントディスプレイ５に送信するようにしても良い。例えば、実行日時情報をイベントメッセージ等の放送によって送信し、リアルタイムデータをネットワーク経由で送信するようにする。また、実行日時情報をネットワーク経由で送信し、リアルタイムデータをイベントメッセージ等の放送によって送信するようにする。 The execution date / time information and the real time data may be included in the synchronization information as described above, or may be transmitted to the head mounted display 5 by different methods. For example, the execution date / time information is transmitted by broadcasting an event message or the like, and the real-time data is transmitted via the network. Further, the execution date / time information is transmitted via the network, and the real-time data is transmitted by broadcasting an event message or the like.
次に、第１の実施の形態の動作を説明する。尚、以下の動作例において、同期情報の送信を、管理サーバ３が行う例を説明する。また、本例では、コンテンツと連動する番組が、野球中継である例を説明する。 Next, the operation of the first embodiment will be described. In the following operation example, an example will be described in which the management server 3 transmits synchronization information. In this example, an example in which the program linked with the content is a baseball broadcast will be described.
ユーザは、コンテンツ連動の番組を視聴する前に、コンテンツをヘッドマウントディスプレイ５に表示するためのオブジェクトの３次元データ、及び、その３次元データを用いて、仮想現実空間にオブジェクトを表示するためのプログラムを、管理サーバ３から取得しておく。 Before viewing the content-linked program, the user uses the three-dimensional data of the object for displaying the content on the head mounted display 5 and the object for displaying the object in the virtual reality space using the three-dimensional data. A program is acquired from the management server 3 in advance.
ユーザは、ヘッドマウントディスプレイ５を装着し、テレビ受信機２の前で待機する。図４は、ユーザは、ヘッドマウントディスプレイ５を装着し、ヘッドマウントディスプレイ５にコンテンツが未だ表示されていない状態を示している。 The user wears the head mounted display 5 and stands by in front of the television receiver 2. FIG. 4 shows a state in which the user wears the head mounted display 5 and the content is not yet displayed on the head mounted display 5.
ヘッドマウントディスプレイ５のコンテンツと連動する番組の放送が開始されると、放送局２から指示されたタイミングで、管理サーバ３は、インターネット４経由で、接続されたすべてのヘッドマウントディスプレイ５に同期情報を一斉に送信する。ここで、同期情報は、スコアボードや、出場選手のメンバー表の表示タイミングや、そのスコアボードの点数や、出場メンバーの氏名等の情報も含む。 When broadcasting of a program linked to the contents of the head mounted display 5 is started, the management server 3 synchronizes information to all the head mounted displays 5 connected via the Internet 4 at a timing instructed by the broadcasting station 2. Are sent all at once. Here, the synchronization information includes information such as the scoreboard, the display timing of the member table of the participating players, the scoreboard score, and the names of the participating members.
ヘッドマウントディスプレイ５は、同期情報を受信すると、同期情報の実行日時情報及び表示内容を参照し、番組と連動するコンテンツのオブジェクトを表示する。図５はヘッドマウントディスプレイ５により、テレビ受信機２を囲むように、スコアボード、出場選手のメンバー表のオブジェクトが表示されている例を示したものである。尚、番組と連動するコンテンツのオブジェクトとしては、直接番組に関係しないコマーシャル等に関係するオブジェクトを表示してもかまわない。例えば、図５では、野球中継のスポンサーである車メーカの車のオブジェクトを、テーブル上に表示している。 When the head-mounted display 5 receives the synchronization information, the head-mounted display 5 refers to the execution date / time information and display content of the synchronization information, and displays an object of the content linked with the program. FIG. 5 shows an example in which the object on the score board and the member table of the participating players is displayed by the head mounted display 5 so as to surround the television receiver 2. It should be noted that as a content object linked to a program, an object related to a commercial or the like not directly related to the program may be displayed. For example, in FIG. 5, a car object of a car manufacturer who is a sponsor of a baseball broadcast is displayed on a table.
次に、あるバッターの打順になると、放送局１は表示タイミングの指示を管理サーバ３に指示する。管理サーバ３は、そのバッターのオブジェクトを表示するための同期情報を、接続されたすべてのヘッドマウントディスプレイ５に一斉に送信する。 Next, when the order of hitting a batter is reached, the broadcasting station 1 instructs the management server 3 to instruct display timing. The management server 3 transmits synchronization information for displaying the batter's object to all the connected head mounted displays 5 all at once.
ヘッドマウントディスプレイ５は、同期情報を受信すると、同期情報の実行日時情報及び表示内容を参照し、バッターのオブジェクトを表示する。図６はヘッドマウントディスプレイ５により表示されたバッターのオブジェクトの例を示した図である。 When the head-mounted display 5 receives the synchronization information, the head-mounted display 5 refers to the execution date / time information and display contents of the synchronization information, and displays the batter object. FIG. 6 is a view showing an example of a batter object displayed by the head mounted display 5.
このようにして、番組の進行に合わせて、同期情報を管理サーバ３から送信し、同期情報をヘッドマウントディスプレイ５が受信することにより、番組と連動するコンテンツをヘッドマウントディスプレイ５に表示することができる。 In this way, the synchronization information is transmitted from the management server 3 in accordance with the progress of the program, and the synchronization information is received by the head mounted display 5 so that the content linked to the program can be displayed on the head mounted display 5. it can.
＜第２の実施の形態＞
第２の実施の形態は、第１の実施の形態に加え、ヘッドマウントディスプレイに表示されるオブジェクトに対し、視覚だけではなく、オブジェクトに対する触覚も再現する例である。
<Second Embodiment>
In addition to the first embodiment, the second embodiment is an example that reproduces not only the visual sense but also the tactile sense of the object with respect to the object displayed on the head mounted display.
図７は、第２の実施の形態の概要を説明するためのブロック図である。 FIG. 7 is a block diagram for explaining the outline of the second embodiment.
第２の実施の形態は、第１の実施形態に加えて、ヘッドマウントディスプレイが表示するオブジェクトの仮想的な空間表示に対応して、オブジェクトの触覚を再現する触覚グローブ（触覚体験手段）６を備える。 In the second embodiment, in addition to the first embodiment, a tactile glove (tactile experience means) 6 that reproduces the tactile sensation of the object corresponding to the virtual space display of the object displayed by the head mounted display is provided. Prepare.
触覚グローブ６は、仮想空間中にあるオブジェクトを手で触った場合、オブジェクトに温度データが設定されている場合は、触覚グローブ６の温感再現部によって温感が再現される。また、触覚グローブ６の触感再現部では、仮想空間中にあるオブジェクトと、手の指の位置から指がオブジェクトに触れたと判断された場合、対象となる指のリンクを引いて感触が再現される。 When the tactile glove 6 touches an object in the virtual space with a hand, and temperature data is set for the object, the sense of temperature is reproduced by the temperature sensation reproducing unit of the tactile glove 6. Further, in the tactile sensation reproduction unit of the tactile glove 6, when it is determined that the finger touches the object from the position of the object in the virtual space and the finger of the hand, the touch is reproduced by pulling the link of the target finger. .
これらのオブジェクトの温度データや、触感データは、オブジェクトの基本データ中に含めても良いし、別途、番組の放送波に含めても良い。 The temperature data and tactile sensation data of these objects may be included in the basic data of the object, or may be included separately in the broadcast wave of the program.
以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described with reference to the preferred embodiments, it is not necessary to have the configurations of all the embodiments, and not only can be implemented in combination in a timely manner, but the present invention is not necessarily limited to the above embodiments. However, various modifications can be made within the scope of the technical idea.
１ 放送局
２ テレビ受信機
３ 管理サーバ
４ インターネット
５ ヘッドマウントディスプレイ
６ 触覚グローブ（触覚体験手段）
DESCRIPTION OF SYMBOLS 1 Broadcasting station 2 Television receiver 3 Management server 4 Internet 5 Head mounted display 6 Tactile glove (tactile experience means)
Claims (7)
前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期部と
を有するヘッドマウントディスプレイ。 A display control unit for controlling display on a display unit of content linked with a program broadcast from a broadcasting station and displayed on a television receiver;
A head-mounted display having a synchronization unit that synchronizes the program and the content at a timing designated by the broadcast station.
請求項１に記載のヘッドマウントディスプレイ。 The head-mounted display according to claim 1, wherein the synchronization unit synchronizes the program and the content using synchronization information transmitted from a server via a network.
請求項１に記載のヘッドマウントディスプレイ。 The head mounted display according to claim 1, wherein the synchronization unit synchronizes the program and the content using synchronization information broadcast by the broadcasting station.
請求項１に記載のヘッドマウントディスプレイ。 The synchronization unit uses the video of a specific scene of the program broadcast by the broadcast station, the audio of the program broadcast by the broadcast station, or synchronization information embedded in the video of the program, and the program and the content. The head mounted display according to claim 1, which is synchronized with each other.
請求項１から請求項４のいずれかに記載のヘッドマウントディスプレイ。 The display control unit receives basic data for displaying the content object via a network, receives real-time data generated as the program progresses from a broadcast wave, and receives the basic data and the The head mounted display in any one of Claims 1-4 which displays an object in virtual reality space using real-time data.
前記オブジェクトの仮想的な空間表示に対応して、前記オブジェクトの触覚を再現する触覚体験手段と
を有するヘッドマウントディスプレイシステム。 The head-mounted display according to any one of claims 1 to 5,
A head-mounted display system having tactile sensation experience means for reproducing the tactile sensation of the object corresponding to a virtual space display of the object.
前記番組と前記コンテンツとを、前記放送局が指定するタイミングで同期させる同期処理と
をコンピュータに実行させるプログラム。 Display control processing for controlling display on a display unit of content linked with a program broadcast from a broadcasting station and displayed on a television receiver;
A program for causing a computer to execute synchronization processing for synchronizing the program and the content at a timing designated by the broadcast station.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018038449A JP2019153952A (en) | 2018-03-05 | 2018-03-05 | Head-mounted display, head-mounted display system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018038449A JP2019153952A (en) | 2018-03-05 | 2018-03-05 | Head-mounted display, head-mounted display system, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019153952A true JP2019153952A (en) | 2019-09-12 |
Family
ID=67947152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018038449A Pending JP2019153952A (en) | 2018-03-05 | 2018-03-05 | Head-mounted display, head-mounted display system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019153952A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7180030B1 (en) | 2022-06-30 | 2022-11-29 | 市橋 敬男 | Information processing device and program |
| WO2024004234A1 (en) * | 2022-06-30 | 2024-01-04 | 市橋 敬男 | Information processing device and method for providing virtual space to multiple terminals |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011035576A (en) * | 2009-07-31 | 2011-02-17 | Nippon Hoso Kyokai <Nhk> | Digital broadcast receiver, transmitter, and terminal device |
| JP2015126467A (en) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | Portable information terminal, broadcast receiver, and system |
| JP2015215894A (en) * | 2014-05-12 | 2015-12-03 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | System and method for providing haptic feedback for remote interaction |
| WO2017029915A1 (en) * | 2015-08-17 | 2017-02-23 | 日本テレビ放送網株式会社 | Program, display device, display method, broadcast system, and broadcast method |
| WO2017104089A1 (en) * | 2015-12-18 | 2017-06-22 | 日立マクセル株式会社 | Collaborative head-mounted display system, system including display device and head-mounted display, and display device |
-
2018
- 2018-03-05 JP JP2018038449A patent/JP2019153952A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011035576A (en) * | 2009-07-31 | 2011-02-17 | Nippon Hoso Kyokai <Nhk> | Digital broadcast receiver, transmitter, and terminal device |
| JP2015126467A (en) * | 2013-12-27 | 2015-07-06 | 日立マクセル株式会社 | Portable information terminal, broadcast receiver, and system |
| JP2015215894A (en) * | 2014-05-12 | 2015-12-03 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | System and method for providing haptic feedback for remote interaction |
| WO2017029915A1 (en) * | 2015-08-17 | 2017-02-23 | 日本テレビ放送網株式会社 | Program, display device, display method, broadcast system, and broadcast method |
| WO2017104089A1 (en) * | 2015-12-18 | 2017-06-22 | 日立マクセル株式会社 | Collaborative head-mounted display system, system including display device and head-mounted display, and display device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7180030B1 (en) | 2022-06-30 | 2022-11-29 | 市橋 敬男 | Information processing device and program |
| WO2024004234A1 (en) * | 2022-06-30 | 2024-01-04 | 市橋 敬男 | Information processing device and method for providing virtual space to multiple terminals |
| JP2024005711A (en) * | 2022-06-30 | 2024-01-17 | 市橋 敬男 | Information processing device and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11470361B2 (en) | Stimulating a local experience by live streaming sharable viewpoints of a live event | |
| EP3136713A1 (en) | Information reproduction device, information reproduction method, information recording device, and information recording method | |
| JP2000509236A (en) | Audio with enhanced insertion of electronic indicators into video | |
| EP3245792A1 (en) | Simultaneously viewing multiple camera angles | |
| CN105323655A (en) | Method for synchronizing videos/score according to time stamps on mobile terminal | |
| JP2010021632A (en) | Content information reproducing apparatus, content information reproducing system, content information reproducing method, content information reproducing program, recording medium therefor and information processing apparatus | |
| KR101249447B1 (en) | Real time reflex composition method using analyzing module of moving object and broadcasting method thereof | |
| EP2515548A1 (en) | A competition tracking system | |
| JP2019153952A (en) | Head-mounted display, head-mounted display system, and program | |
| WO2020244078A1 (en) | Football match special effect presentation system and method, and computer apparatus | |
| WO2017002642A1 (en) | Information device and display processing method | |
| CN109002275B (en) | AR background audio processing method and device, AR equipment and readable storage medium | |
| JP4534201B2 (en) | Information communication terminal device | |
| CN113796090A (en) | System and method for synchronizing audio content on a mobile device to a separate visual display system | |
| CN116962747A (en) | Real-time chorus synchronization method and device based on network live broadcast and network live broadcast system | |
| US20220174258A1 (en) | Information processing device, information processing method, and program | |
| JP5349981B2 (en) | Display control apparatus and display control method | |
| JP2004328188A (en) | Contents reproducing apparatus, computer program, and recording medium | |
| US11887631B2 (en) | Information processing device and information processing method | |
| JP6506493B2 (en) | Virtual reality viewing system, reproduction synchronization method and virtual reality viewing program | |
| JP2006279294A (en) | Content reproduction system, content reproduction method, and computer program | |
| WO2022244364A1 (en) | Information processing device, information processing method, and program | |
| US20220311635A1 (en) | Audio-Orientated Immersive Experience of an Event | |
| WO2024100393A1 (en) | Apparatus and methods for virtual events | |
| TW201236465A (en) | Interactive program system and display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220713 |