JP2009288892A - Head mount display - Google Patents

Head mount display Download PDF

Info

Publication number
JP2009288892A
JP2009288892A JP2008138552A JP2008138552A JP2009288892A JP 2009288892 A JP2009288892 A JP 2009288892A JP 2008138552 A JP2008138552 A JP 2008138552A JP 2008138552 A JP2008138552 A JP 2008138552A JP 2009288892 A JP2009288892 A JP 2009288892A
Authority
JP
Japan
Prior art keywords
unit
segment
image
image data
unviewed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008138552A
Other languages
Japanese (ja)
Inventor
Maki Suzuki
真樹 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008138552A priority Critical patent/JP2009288892A/en
Publication of JP2009288892A publication Critical patent/JP2009288892A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mount display for efficiently reproducing image data by determining a non-viewed section of the image data. <P>SOLUTION: The head mount display 1 includes: a display means; and a control means for performing notification of the setting of the non-viewed section by setting the non-viewed section of image data displayed on the display means from the position of the display means, and for reproducing the non-viewed section. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ヘッドマウントディスプレイ装置に関する。   The present invention relates to a head mounted display device.

利用者が頭部に装置を装着して使用する際に、表示画面を好みの位置に移動させることが可能なヘッドマウントディスプレイ装置が知られている(例えば、特許文献1参照)。   2. Description of the Related Art A head-mounted display device is known that can move a display screen to a desired position when a user wears the device on his / her head (see, for example, Patent Document 1).

特開2004−236102号公報Japanese Patent Laid-Open No. 2004-236102

しかしながら、特許文献1に記載のヘッドマウントディスプレイ装置では、表示画面を眼前以外の位置に移動させている間、利用者は表示画面に表示される画像を観察できない。よって、未視聴の区間を生じさせないためには、利用者はその都度一時停止操作を行って、画像を停止させなければならなかった。また、音声を聞き続けたいような場合には、一時停止が入ることで細切れの視聴を強いられる可能性がある。   However, in the head mounted display device described in Patent Document 1, the user cannot observe the image displayed on the display screen while the display screen is moved to a position other than in front of the eyes. Therefore, in order not to generate an unviewed section, the user has to stop the image by performing a pause operation each time. Also, if you want to keep listening to the voice, there is a possibility that you will be forced to watch a small piece of music by entering a pause.

そこで本発明では、利用者の眼前以外の位置に表示画面が移動し、利用者が未視聴である区間の画像を、効率良く確認できる技術を提供することを目的とする。   Therefore, an object of the present invention is to provide a technique that allows the display screen to move to a position other than the user's eyes and efficiently check the image of the section that is not viewed by the user.

以上の課題を解決するため、本発明のヘッドマウントディスプレイ装置は、表示手段と、前記表示手段の位置から前記表示手段に表示する画像データの未視聴区間を設定して、前記未視聴区間が設定されていることの通知と、前記未視聴区間の再生と、を行う制御手段
を備えることを特徴とする。
In order to solve the above-described problems, the head-mounted display device of the present invention sets a non-viewing section of a display unit and an image data to be displayed on the display unit from the position of the display unit. Control means for performing notification of being performed and reproduction of the unviewed section.

以上のように、本発明のヘッドマウントディスプレイ装置によれば、利用者が、未視聴部分を効率的良く確認することが可能な技術を提供することができる。   As described above, according to the head mounted display device of the present invention, it is possible to provide a technique that allows a user to efficiently check an unviewed part.

以下、本発明を実施するための最良の形態について、図面を参照して説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1に、本発明の第一の実施形態にかかるヘッドマウントディスプレイ装置(以下、HMDと略記する)1を示す。図1は、本発明の第一の実施形態にかかるHMD1の斜視図である。   FIG. 1 shows a head mounted display device (hereinafter abbreviated as HMD) 1 according to a first embodiment of the present invention. FIG. 1 is a perspective view of the HMD 1 according to the first embodiment of the present invention.

図示するように、本実施形態にかかるHMD1は、頭部装着帯11と、音声出力部12と、筐体13と、支持部14と、アーム部15と、表示部16と、操作部17と、を備えている。   As shown in the figure, the HMD 1 according to the present embodiment includes a head wearing band 11, an audio output unit 12, a housing 13, a support unit 14, an arm unit 15, a display unit 16, and an operation unit 17. It is equipped with.

頭部装着帯11は、その両端が相対向するように湾曲した形状に形成されている。また、頭部装着帯11は、弾性を有する材質で構成され、利用者の頭部に装着する際に後述するスピーカを利用者の頭部の内側方向に押圧することで、HMD1を利用者の頭部に着脱自在に装着することができるようにしている。   The head mounting band 11 is formed in a curved shape so that both ends thereof face each other. The head wearing band 11 is made of a material having elasticity, and the HMD 1 is attached to the user's head by pressing a speaker, which will be described later, toward the inside of the user's head when the head wearing band 11 is worn on the user's head. It can be detachably attached to the head.

頭部装着帯11の長手方向両端側には、筐体13A、13B(これらを区別しない場合には、単に筐体13と表記する)が連結されている。また、筐体13Aにはスピーカ12Aが、筐体13Bにはスピーカ12Bが、それぞれ接続されている。さらに、頭部装着帯11の内部には、筐体13Bに内蔵される電源(図示しない)および制御装置10と、各部と、を電気的に接続するための信号線や、電源から電力を供給するための電力線等が配線されている。   Cases 13 </ b> A and 13 </ b> B (in the case where they are not distinguished from each other) are connected to both longitudinal ends of the head mounting band 11. A speaker 12A is connected to the housing 13A, and a speaker 12B is connected to the housing 13B. Further, power is supplied from the power source (not shown) built in the housing 13B and the control device 10 to each part and the power source in the head wearing band 11 and the power source. A power line or the like is wired.

音声出力部12は、音声信号を音声に変換して出力する。具体的に、本実施形態にかかる音声出力部12は、スピーカ12Aおよび12Bを有しており、これらは利用者の両方の耳にあてがわれて使用されるいわゆるヘッドホン用のスピーカである。図1においては、向かって右側のスピーカ12Aが左耳用、向かって左側のスピーカ12Bが右耳用である。これらの左右の別については、利用者の操作によって、任意に決定することができるものとしても良いし、表示部16を右眼で見るか、左眼で見るかによって切り換えるようにしても良い。また、音声出力部12には、電源から電力を供給するための電力線と、音声信号を供給する音声信号線とが配線されている。   The sound output unit 12 converts the sound signal into sound and outputs the sound. Specifically, the audio output unit 12 according to the present embodiment includes speakers 12A and 12B, which are so-called headphones speakers used by being applied to both ears of the user. In FIG. 1, the right speaker 12A is for the left ear, and the left speaker 12B is for the right ear. These left and right distinctions may be arbitrarily determined by the user's operation, or may be switched depending on whether the display unit 16 is viewed with the right eye or the left eye. In addition, a power line for supplying power from the power source and a sound signal line for supplying a sound signal are wired to the sound output unit 12.

筐体13Bには、制御装置10および電源が内蔵されている。さらに、本実施形態にかかるHMD1は、筐体13Bのスピーカ12Bとは逆側の外壁面に操作部17を有している。   The housing 13B incorporates a control device 10 and a power source. Furthermore, the HMD 1 according to the present embodiment has an operation unit 17 on the outer wall surface of the housing 13B opposite to the speaker 12B.

また、筐体13Aは、スピーカ12Aとは逆側の外壁面に、HMD1の電源のオン、オフを切り替える電源スイッチ(図示しない)を備える。   Further, the housing 13A includes a power switch (not shown) that switches the power of the HMD 1 on and off on the outer wall surface opposite to the speaker 12A.

なお、電源、電源スイッチ、制御装置10および操作部17は、筐体13Aおよび13Bのどちらに配置されても良く、また、筐体13A、13Bは、スピーカ12A、12Bとそれぞれ一体となるような構成としても良い。   The power source, the power switch, the control device 10, and the operation unit 17 may be arranged in any of the housings 13A and 13B, and the housings 13A and 13B are integrated with the speakers 12A and 12B, respectively. It is good also as a structure.

支持部14は、筐体13Bにアーム部15の一端側を回動自在に連結する。利用者は、図示するように、支持部14を回転中心としてアーム部15を回動させることで、表示部16を頭部装着帯11と重なる位置に移動させることが可能である。また、利用者は、スピーカ12Aおよび12Bの左右が反転するようにHMD1を装着し、表示部16が眼前に配置されるよう、アーム部15を180度回動させて使用することも可能である。すなわち利用者は、表示部16を左右いずれの眼前にでも配置することが出来る。   The support portion 14 rotatably connects one end side of the arm portion 15 to the housing 13B. As shown in the figure, the user can move the display unit 16 to a position overlapping the head wearing band 11 by rotating the arm unit 15 around the support unit 14 as a rotation center. Further, the user can wear the HMD 1 so that the left and right of the speakers 12A and 12B are reversed, and use the arm unit 15 rotated 180 degrees so that the display unit 16 is disposed in front of the eyes. . That is, the user can place the display unit 16 in front of either the left or right eye.

アーム部15は、頭部装着帯11を利用者の頭部に装着した際、筐体13A側とは他端側に取り付けられている表示部16が利用者の眼前に位置するように、その長手方向において湾曲している。また、内部には電源から表示部16に電力を供給する電力線および画像信号を供給する画像信号線が配線されている。   The arm unit 15 is arranged so that when the head mounting band 11 is mounted on the user's head, the display unit 16 attached to the other end side of the housing 13A is positioned in front of the user's eyes. Curved in the longitudinal direction. In addition, a power line for supplying power from the power source to the display unit 16 and an image signal line for supplying an image signal are wired.

表示部16は、アーム部15の先端に利用者の視線に合わせて、上下および左右方向に回動自在に連結されている。表示部16は、例えば、画像を表示するLCD(Liquid Crystal Display)と、表示された画像を拡大する光学系と、を備え、供給される画像信号に基づいて画像を表示する。   The display unit 16 is coupled to the tip of the arm unit 15 so as to be rotatable in the vertical and horizontal directions in accordance with the user's line of sight. The display unit 16 includes, for example, an LCD (Liquid Crystal Display) for displaying an image and an optical system for enlarging the displayed image, and displays the image based on the supplied image signal.

操作部17は、複数の操作スイッチ171を備える。利用者は、操作スイッチ171を介して、HMD1に関する機能、例えば、再生、停止、早送り、巻戻し、音量の変更、その他の制御処理等の指示を入力することが可能である。これらのスイッチを介して入力された操作指示は、後述する入出力インターフェース部104(以下、I/F部;図2参照)を介して制御部101に送信される。   The operation unit 17 includes a plurality of operation switches 171. The user can input instructions regarding functions related to the HMD 1, such as play, stop, fast forward, rewind, volume change, and other control processes, via the operation switch 171. An operation instruction input via these switches is transmitted to the control unit 101 via an input / output interface unit 104 (hereinafter referred to as I / F unit; see FIG. 2) described later.

なお、HMD1は、操作部17以外の入力手段として、利用者の頭部の動きに関する方向情報を角速度や加速度として検出する角速度センサや加速度センサをさらに備え、検出した角速度や加速度に対応する処理を実行するような構成としても良い。   The HMD 1 further includes an angular velocity sensor and an acceleration sensor that detect direction information regarding the movement of the user's head as an angular velocity and acceleration as input means other than the operation unit 17, and performs processing corresponding to the detected angular velocity and acceleration. It is good also as a structure which performs.

次に、本発明の第一の実施形態にかかるHMD1の備える制御装置10について、図2を参照して説明する。図2は、HMD1の機能的な構成を示すブロック図である。   Next, the control apparatus 10 with which HMD1 concerning 1st embodiment of this invention is provided is demonstrated with reference to FIG. FIG. 2 is a block diagram illustrating a functional configuration of the HMD 1.

制御装置10は、図2に示すように、制御部101と、記憶部102と、アーム位置検出部103と、I/F部104と、を有する。   As illustrated in FIG. 2, the control device 10 includes a control unit 101, a storage unit 102, an arm position detection unit 103, and an I / F unit 104.

まず、アーム位置検出部103について説明する。アーム位置検出部103は、表示部16が使用位置(利用者の眼前)、および、退避位置(利用者の頭頂部付近、すなわち、支持部14を回転中心に回動させた際、頭部装着帯11と表示部16が最も接近して重なる位置を含む、予め定められた範囲)にあることを示す信号を、制御部101へと出力する。   First, the arm position detection unit 103 will be described. The arm position detection unit 103 is mounted on the head when the display unit 16 rotates the use position (in front of the user's eyes) and the retraction position (near the user's head, that is, the support unit 14 rotates about the rotation center). A signal indicating that the band 11 and the display unit 16 are within a predetermined range including a position where the band 11 and the display unit 16 overlap most closely is output to the control unit 101.

具体的に、アーム位置検出部103は、近接センサ131を備えている。近接センサ131は、例えば静電容量形近接センサであり、周囲物体の接近を検出し、検出対象の移動情報や存在情報を、電気信号に置き換えて検出信号として得るものである。   Specifically, the arm position detection unit 103 includes a proximity sensor 131. The proximity sensor 131 is, for example, a capacitive proximity sensor, and detects the approach of a surrounding object, and obtains a detection signal by replacing movement information and presence information of a detection target with an electrical signal.

近接センサ131は、例えばアーム部15(表示部16でも良い)に取り付けられ、筐体13A(または、頭部装着帯11でも良い)とアーム部15との距離を示す検出信号を出力する。アーム位置検出部103は、近接センサ131から出力される検出信号を受け付ける。そして、当該検出信号が、アーム部15と筐体13Aとが所定の距離以上に離れたことを示すものであった場合、制御部101へ使用位置検出信号を出力する。また、アーム位置検出部103は、近接センサ131から出力される検出信号が、アーム部15と筐体13Aとが所定の距離以内に接近したことを示す検出信号であった場合、制御部101へ退避位置検出信号を出力する。   The proximity sensor 131 is attached to, for example, the arm unit 15 (or the display unit 16), and outputs a detection signal indicating the distance between the housing 13A (or the head-mounted band 11) and the arm unit 15. The arm position detection unit 103 receives a detection signal output from the proximity sensor 131. When the detection signal indicates that the arm unit 15 and the housing 13 </ b> A are separated from each other by a predetermined distance or more, the use position detection signal is output to the control unit 101. Further, when the detection signal output from the proximity sensor 131 is a detection signal indicating that the arm unit 15 and the housing 13A have approached within a predetermined distance, the arm position detection unit 103 proceeds to the control unit 101. A retraction position detection signal is output.

なお、アーム部15の位置を検出するためのセンサの種類は、上記に限定されない。金属の存在を検出する誘導形近接センサや、磁気による直流磁界を利用したスイッチ等を使用しても良い。   In addition, the kind of sensor for detecting the position of the arm part 15 is not limited to the above. An inductive proximity sensor that detects the presence of metal, a switch that uses a magnetic direct current magnetic field, or the like may be used.

次に、制御部101について説明する。制御部101は、アーム位置検出部103からの検出信号に従って未視聴区間を設定する情報取得部111と、未視聴区間を利用者に通知するための通知画面を表示する情報通知部112と、利用者の指示を受け付けて、未視聴区間を再生する画像再生部113と、から構成されている。   Next, the control unit 101 will be described. The control unit 101 includes an information acquisition unit 111 that sets an unviewed section according to a detection signal from the arm position detection unit 103, an information notification unit 112 that displays a notification screen for notifying the user of an unviewed section, And an image playback unit 113 that receives an instruction from the user and plays back an unviewed section.

情報取得部111は、アーム位置検出部103からの検出信号を受信すると、利用者の再生する画像コンテンツに関する未視聴区間を設定する。   When the information acquisition unit 111 receives the detection signal from the arm position detection unit 103, the information acquisition unit 111 sets an unviewed section related to the image content reproduced by the user.

未視聴区間(セグメント)とは、利用者が画像コンテンツを再生している際に、アーム部15が退避位置に移動したタイミングである開始位置と、アーム部15が退避位置から使用位置へと戻ったタイミングである終了位置と、で規定される区間である。このような未視聴区間を、ここでは便宜上、セグメントと呼ぶ。   An unviewed section (segment) is a start position at which the arm unit 15 moves to the retracted position when the user is reproducing the image content, and the arm unit 15 returns from the retracted position to the use position. It is a section defined by the end position which is the timing. Such an unviewed section is referred to as a segment here for convenience.

具体的に、情報取得部111は、画像コンテンツの再生中にアーム位置検出部103から退避位置検出信号を受信すると、セグメントデータテーブル(図3参照)に新たなセグメントレコードを作成する。   Specifically, when the information acquisition unit 111 receives a retraction position detection signal from the arm position detection unit 103 during reproduction of image content, the information acquisition unit 111 creates a new segment record in the segment data table (see FIG. 3).

セグメントデータテーブルは、記憶部102のセグメントデータ記憶領域121に記憶され、各セグメント、および、当該セグメントが設定される各画像コンテンツを識別するためのセグメントIDが格納されるセグメントID格納領域121aと、セグメントの開始位置を示す情報が格納される未視聴開始位置格納領域121bと、セグメントの終了位置を示す情報が格納される未視聴終了位置格納領域121cと、画像コンテンツに予め設定されるチャプタのうち、各セグメントが含まれるチャプタIDが登録されるチャプタID格納領域121dと、から構成される。   The segment data table is stored in the segment data storage area 121 of the storage unit 102, and a segment ID storage area 121a in which a segment ID for identifying each segment and each image content in which the segment is set is stored; An unviewed start position storage area 121b in which information indicating the start position of the segment is stored, an unviewed end position storage area 121c in which information indicating the end position of the segment is stored, and chapters set in advance in the image content And a chapter ID storage area 121d in which a chapter ID including each segment is registered.

開始位置および終了位置とは、ここでは、画像の先頭位置からの再生時刻である。これらは、画像の特定の位置を示す情報であればどのようなものでも良く、例えば、画像の先頭位置からのフレーム数等の情報を格納しても良い。   Here, the start position and the end position are reproduction times from the head position of the image. These may be any information as long as the information indicates a specific position of the image. For example, information such as the number of frames from the head position of the image may be stored.

情報取得部111は、新たなセグメントレコードのセグメントID格納領域121aに、各セグメントおよび当該セグメントが設定される各画像コンテンツ(例えば、ファイル名)を識別するためのセグメントIDを付与する。さらに、退避位置検出信号を受信した際の再生時刻を、未視聴開始位置格納領域121bへと格納する。   The information acquisition unit 111 assigns a segment ID for identifying each segment and each image content (for example, a file name) in which the segment is set, to the segment ID storage area 121a of the new segment record. Further, the playback time when the retracted position detection signal is received is stored in the unviewed start position storage area 121b.

また、情報取得部111は、アーム位置検出部103から使用位置検出信号を受信すると、最新のセグメントレコードの未視聴終了位置格納領域121cに、退避位置検出信号を受信した際の再生時刻を格納する。そして、再生画像コンテンツにチャプタが設定されている場合には、当該画像コンテンツのメタデータ(図4参照)から、当該セグメントレコードのセグメントを含むチャプタをメタデータから全て検出して、そのチャプタIDを、チャプタID格納領域121dへと格納する。   Further, when the information acquisition unit 111 receives the use position detection signal from the arm position detection unit 103, the information acquisition unit 111 stores the reproduction time when the retraction position detection signal is received in the unviewed end position storage area 121c of the latest segment record. . If a chapter is set for the playback image content, all the chapters including the segment of the segment record are detected from the metadata of the image content (see FIG. 4), and the chapter ID is set. And stored in the chapter ID storage area 121d.

メタデータとは、コンテンツデータ記憶領域122に記憶されるコンテンツごとに設けられる情報であり、これらはコンテンツを説明する複数の特定情報から構成される。例えば、図4に示すように、コンテンツのファイル名、設定されるチャプタの数、各チャプタの開始位置および終了位置等の情報を含む。   Metadata is information provided for each content stored in the content data storage area 122, and is composed of a plurality of pieces of specific information describing the content. For example, as shown in FIG. 4, it includes information such as the file name of the content, the number of chapters to be set, the start position and the end position of each chapter.

その後、情報取得部111は、情報通知部112に通知画面の表示要求を出力する。   Thereafter, the information acquisition unit 111 outputs a notification screen display request to the information notification unit 112.

次に、情報通知部112について説明する。情報通知部112は、情報取得部111が生成したセグメントデータテーブルの各セグメントレコードに基づいて、セグメントの再生が可能な旨を利用者に通知するための通知画面を表示する。   Next, the information notification unit 112 will be described. The information notification unit 112 displays a notification screen for notifying the user that the segment can be reproduced based on each segment record of the segment data table generated by the information acquisition unit 111.

具体的に、情報通知部112は、情報取得部111からの通知画面の表示要求を受け付けると、通知画面810(図5参照)を生成して、表示部16に表示させる。通知画面810には例えば、セグメントデータレコードに記録される各セグメントをダイジェスト再生するためのダイジェスト再生アイコン811と、各セグメントのみを再生するためのセグメント再生アイコン812と、が表示される。   Specifically, when receiving a notification screen display request from the information acquisition unit 111, the information notification unit 112 generates a notification screen 810 (see FIG. 5) and causes the display unit 16 to display the notification screen 810. For example, a digest playback icon 811 for digest playback of each segment recorded in the segment data record and a segment playback icon 812 for playback of only each segment are displayed on the notification screen 810.

なお、セグメント再生アイコン812は、記録されるセグメントレコードの全てについてセグメント再生アイコン812を表示しても良いし、最新のものから所定の数のレコードについてのみ表示しても良い。また、セグメント再生アイコン812には、当該セグメントの開始位置のフレームを縮小し、これをサムネイルとして表示しても良い。   The segment playback icon 812 may display the segment playback icon 812 for all of the segment records to be recorded, or may display only a predetermined number of records from the latest one. Further, the segment playback icon 812 may reduce the frame at the start position of the segment and display it as a thumbnail.

なお、通知画面810は、例えば、画像再生部113によって画像コンテンツが再生され、表示部16に表示されている最中にも、重ねて表示させることが可能である。もちろん、通知画面810は、画像コンテンツが再生されていない場合でも表示可能である。   Note that the notification screen 810 can be displayed in an overlapping manner, for example, while image content is reproduced by the image reproduction unit 113 and displayed on the display unit 16. Of course, the notification screen 810 can be displayed even when the image content is not reproduced.

利用者は、表示されたアイコンに対応するダイジェストおよびセグメントの再生を、操作部17を介して画像再生部113へと指示することが可能である。なお、利用者はこのような再生指示を、図示しない角速度センサ等を用いて頭部の動作によって入力しても良い。   The user can instruct the image reproduction unit 113 to reproduce the digest and the segment corresponding to the displayed icon via the operation unit 17. Note that the user may input such a reproduction instruction by the operation of the head using an angular velocity sensor (not shown) or the like.

なお、情報通知部212は、通知画面810を一定の期間ごとに表示/消去して、繰り返し利用者に未視聴区間が存在することを通知しても良い。また、このタイミングは、利用者が任意で設定することが可能な構成としても良いし、利用者が要求した場合にのみ通知画面810を表示させても良い。   Note that the information notification unit 212 may display / erase the notification screen 810 at regular intervals to repeatedly notify the user that an unviewed section exists. This timing may be configured to be arbitrarily set by the user, or the notification screen 810 may be displayed only when requested by the user.

画像再生部113は、利用者からの再生指示に従って、画像コンテンツ、および、再生アイコンに対応する画像コンテンツのダイジェストやセグメントを再生する。   The image reproduction unit 113 reproduces the image content and the digest or segment of the image content corresponding to the reproduction icon in accordance with a reproduction instruction from the user.

具体的に、画像再生部113は、ダイジェストの再生指示を受け付けると、所定の再生方法に従って、画像コンテンツをダイジェスト再生する。   Specifically, when receiving a digest playback instruction, the image playback unit 113 performs digest playback of the image content according to a predetermined playback method.

まず、画像再生部113は、セグメントデータテーブルのセグメントID格納領域121aを参照して、現在再生中の画像コンテンツに関するセグメントレコードを抽出する。そして、画像再生部113は、所定の再生方法に従って、画像コンテンツのダイジェスト再生を開始する。   First, the image playback unit 113 refers to the segment ID storage area 121a of the segment data table and extracts a segment record related to the image content currently being played back. Then, the image playback unit 113 starts digest playback of the image content according to a predetermined playback method.

所定の再生方法とは、未視聴区間であるセグメントを利用者が視聴可能なものであれば、どのように画像コンテンツを再生しても良いが、例えば、下記のような方法で、画像コンテンツを再生する。   As long as the predetermined playback method is a method in which the user can view a segment that is an unviewed section, the image content may be played back in any way. Reproduce.

図6(a)、図6(b)、図6(c)は、画像再生部113の実行するダイジェスト再生の、一例を示す概略図である。   FIGS. 6A, 6 </ b> B, and 6 </ b> C are schematic diagrams illustrating an example of digest playback performed by the image playback unit 113.

ダイジェスト再生の一つの方法として、画像再生部113は、図6(a)に示すように、特定の画像コンテンツの各セグメントレコードを繋げ、ダイジェスト画像として再生する。具体的に、画像再生部113は、セグメントレコードを時系列順に並べて、最初のセグメントレコードの未視聴開始位置格納領域121bに格納される再生時刻(開始位置)から、画像コンテンツの再生を開始する。そして、当該セグメントレコードの未視聴終了位置格納領域121cに格納される再生時刻(終了位置)にさしかかると、次のセグメントレコードの未視聴開始位置格納領域121bに格納される再生時刻(開始位置)にジャンプする。これを最後のセグメントレコードの終了位置まで繰り返すことで、画像再生部113は、未視聴区間の画像のみを再生する。   As one method of digest playback, the image playback unit 113 connects the segment records of specific image content and plays back as a digest image, as shown in FIG. Specifically, the image playback unit 113 arranges the segment records in chronological order, and starts playback of the image content from the playback time (start position) stored in the unviewed start position storage area 121b of the first segment record. When the playback time (end position) stored in the unviewed end position storage area 121c of the segment record is reached, the playback time (start position) stored in the unviewed start position storage area 121b of the next segment record is reached. Jump. By repeating this until the end position of the last segment record, the image reproduction unit 113 reproduces only the image in the unviewed section.

他のダイジェスト再生の方法として、画像再生部113は、図6(b)に示すように、特定の画像コンテンツのセグメントレコードを、その前後の所定の位置で繋げて、ダイジェスト画像として再生する。具体的に、画像再生部113は、セグメントレコードを時系列順に並べて、各セグメントレコードの未視聴開始位置格納領域121bに格納される再生時刻から所定の時間前の位置(例えば、3秒前)を開始位置、各セグメントレコードの未視聴終了位置格納領域121cに格納される再生時刻から、所定の時間後の位置(例えば、3秒後)を終了位置として仮定する。そして、この開始位置と終了位置を繋げることにより、画像再生部113は、未視聴区間およびその前後の領域を再生する。   As another digest reproduction method, as shown in FIG. 6B, the image reproduction unit 113 connects segment records of specific image contents at a predetermined position before and after the segment records and reproduces them as a digest image. Specifically, the image playback unit 113 arranges the segment records in chronological order, and sets a position (for example, 3 seconds before) a predetermined time before the playback time stored in the unviewed start position storage area 121b of each segment record. A position after a predetermined time (for example, after 3 seconds) from the playback time stored in the start position and the unviewed end position storage area 121c of each segment record is assumed as the end position. Then, by connecting the start position and the end position, the image reproduction unit 113 reproduces the unviewed section and the areas before and after it.

また、さらなるダイジェスト再生の方法として、画像再生部113は、図6(c)に示すように、特定の画像コンテンツについて、各セグメントを含むチャプタを繋げて、ダイジェスト画像として再生する。具体的に、画像再生部113は、各セグメントレコードのチャプタID格納領域121dに格納されるチャプタIDについて、当該画像コンテンツのメタデータを検索し、各チャプタの開始位置および終了位置の再生時刻を取得して、時系列順にこの開始位置と終了位置を繋げることにより、画像再生部113は、未視聴区間を、チャプタごと再生する。   As a further digest reproduction method, the image reproduction unit 113 reproduces a specific image content as a digest image by connecting chapters including segments as shown in FIG. 6C. Specifically, the image playback unit 113 searches the metadata of the image content for the chapter ID stored in the chapter ID storage area 121d of each segment record, and acquires the playback time of the start position and end position of each chapter. Then, by connecting the start position and the end position in chronological order, the image reproduction unit 113 reproduces the unviewed section for each chapter.

なお、画像再生部113は、セグメントの再生指示を受け付けた場合には、当該セグメントの再生を開始する。セグメントの再生についても同様に、セグメントのみ、セグメントおよびその前後の領域、セグメントを含むチャプタ等、どのような再生方法によってこれを再生しても良い。   Note that, when receiving a segment playback instruction, the image playback unit 113 starts playback of the segment. Similarly, the segment may be reproduced by any reproduction method, such as only the segment, the segment and its surrounding areas, and the chapter including the segment.

また、セグメントデータテーブルの各セグメントレコードは、ダイジェストおよびセグメントの再生後、視聴済となったものについては全て削除される。さらに、未視聴となる部分が残った場合には、その部分についてセグメントの開始位置および終了位置が更新されて、新たなセグメントが設定される。なお、利用者は、このような削除・更新について、任意で設定することが可能である。   In addition, all segment records in the segment data table are deleted after the digest and the segment have been viewed. Furthermore, when a part that has not been viewed remains, the start position and end position of the segment are updated for that part, and a new segment is set. Note that the user can arbitrarily set such deletion / update.

さらに、画像再生部113は、ダイジェストやセグメントの画像データを生成して、これを再生するような構成としても良い。もちろん、画像データの生成について、どのような生成方法を用いることも可能である。   Further, the image reproduction unit 113 may be configured to generate digest and segment image data and reproduce the image data. Of course, any generation method can be used for generation of image data.

I/F部104は、音声出力部12と、表示部16と、操作部17と、を制御装置10に接続する。また、HMD1と、外部機器とをデータ転送可能に接続する汎用バスとして、USB(Universal Serial Bus)や、IEEE1394等の規格に準拠する端子を備える。   The I / F unit 104 connects the audio output unit 12, the display unit 16, and the operation unit 17 to the control device 10. In addition, as a general-purpose bus that connects the HMD 1 and an external device so as to be able to transfer data, a terminal conforming to a standard such as USB (Universal Serial Bus) or IEEE1394 is provided.

ここで、HMD1のハードウェア構成について説明する。図10は、HMD1の電気的な構成を示すブロック図である。   Here, the hardware configuration of the HMD 1 will be described. FIG. 10 is a block diagram showing an electrical configuration of the HMD 1.

図10に示すように、HMD1は、各装置への制御を担うCPU(Central Processing Unit)81と、各種データを書換え可能に記憶するメモリ82と、各種のプログラム、プログラムの生成するデータ等を格納する不揮発性の補助メモリ83と、LCD84、スピーカ12、各デバイスとCPU81を接続するI/F部104と、を備える。制御部101は、例えば、補助メモリ83に記憶されている所定のプログラムを、メモリ82に読み込み、CPU81で実行することにより実現可能である。   As shown in FIG. 10, the HMD 1 stores a CPU (Central Processing Unit) 81 that controls each device, a memory 82 that stores various data in a rewritable manner, various programs, data generated by the programs, and the like. A nonvolatile auxiliary memory 83, an LCD 84, a speaker 12, and an I / F unit 104 that connects each device to the CPU 81. The control unit 101 can be realized, for example, by reading a predetermined program stored in the auxiliary memory 83 into the memory 82 and executing it by the CPU 81.

次に、情報取得部111が実行する処理について、図7を用いて詳細に説明する。図7は、第一の実施形態にかかる情報取得部111が、未視聴区間を記録する処理を示すフローチャートである。情報取得部111は、画像コンテンツの再生が開始されると、当フローを開始する。   Next, processing executed by the information acquisition unit 111 will be described in detail with reference to FIG. FIG. 7 is a flowchart illustrating a process in which the information acquisition unit 111 according to the first embodiment records an unviewed section. The information acquisition unit 111 starts this flow when the reproduction of the image content is started.

情報取得部111は、まず、アーム位置検出部103からの退避位置検出信号の受信を検出する(S11)。退避位置検出信号を受信した場合(S11でYES)、S12へと進む。   The information acquisition unit 111 first detects reception of a retracted position detection signal from the arm position detection unit 103 (S11). When the retreat position detection signal is received (YES in S11), the process proceeds to S12.

情報取得部111は、退避位置検出信号を受信すると(S11でYES)、セグメントデータテーブルに新たなセグメントレコードを作成して、その開始位置を規定する(S12)。具体的に、情報取得部111は、セグメントID格納領域121aにセグメントIDを登録し、退避位置検出信号を受信した際の再生時刻を、未視聴開始位置格納領域121bへと格納する(S12)。   When receiving the retraction position detection signal (YES in S11), the information acquisition unit 111 creates a new segment record in the segment data table and defines its start position (S12). Specifically, the information acquisition unit 111 registers the segment ID in the segment ID storage area 121a, and stores the playback time when the save position detection signal is received in the unviewed start position storage area 121b (S12).

次に、情報取得部111は、アーム位置検出部103からの使用位置検出信号の受信を検出する(S13)。使用位置検出信号を受信した場合(S13でYES)、S14へと進む。   Next, the information acquisition unit 111 detects reception of a use position detection signal from the arm position detection unit 103 (S13). When the use position detection signal is received (YES in S13), the process proceeds to S14.

情報取得部111は、使用位置検出信号を受信すると(S13でYES)、セグメントの終了位置を規定する(S14)。具体的に、情報取得部111は、最新のセグメントレコードの未視聴終了位置格納領域121cに、退避位置検出信号を受信した際の再生時刻を格納する。そして、再生画像コンテンツにチャプタが設定されている場合には、当該セグメントレコードのセグメントを含むチャプタを全て検出して、そのチャプタIDを、チャプタID格納領域121dへと格納する。   When receiving the use position detection signal (YES in S13), the information acquisition unit 111 defines the end position of the segment (S14). Specifically, the information acquisition unit 111 stores the reproduction time when the save position detection signal is received in the unviewed end position storage area 121c of the latest segment record. When chapters are set in the playback image content, all chapters including the segment of the segment record are detected, and the chapter IDs are stored in the chapter ID storage area 121d.

なお、情報取得部111は、現在再生中の画像コンテンツが終了を検出した場合に、当該フローを終了する。   Note that the information acquisition unit 111 ends the flow when the end of the currently reproduced image content is detected.

このような構成によれば、利用者は、画像データを最初から再生しなおすことなく、未視聴部分を確認することが可能である。また、未視聴部分をダイジェスト化して視聴可能であるため、効率良く未視聴部分のみを視聴することが可能である。   According to such a configuration, the user can check an unviewed part without replaying the image data from the beginning. Moreover, since the unviewed part can be viewed as a digest, it is possible to efficiently view only the unviewed part.

次に、本発明の第二の実施形態について説明する。第二の実施形態であるHMD2は、第一の実施形態と比較して異なっている点に関連する事項について、以下、図8および図9を参照しながら、説明する。   Next, a second embodiment of the present invention will be described. HMD2 which is 2nd embodiment demonstrates the matter relevant to the point different compared with 1st embodiment below, referring FIG. 8 and FIG.

図8に、本発明の第二の実施形態にかかるコンテンツ配信システムを示す。同図に示すように、コンテンツ配信システムは、コンテンツを配信するサーバ3と、サーバ3からネットワーク900を介してコンテンツの配信を受けるHMD2と、を含んでいる。   FIG. 8 shows a content distribution system according to the second embodiment of the present invention. As shown in the figure, the content distribution system includes a server 3 that distributes content and an HMD 2 that receives content distribution from the server 3 via a network 900.

ネットワーク900は、電話・携帯電話網やインターネット等を含む公衆通信網であり、HMD2は、無線および有線でネットワーク900と接続される。もちろん、図示しない基地局を介して、無線電波の送受信を行っても良い。   The network 900 is a public communication network including a telephone / mobile phone network and the Internet, and the HMD 2 is connected to the network 900 wirelessly and by wire. Of course, radio waves may be transmitted and received via a base station (not shown).

なお、各セグメントは、セグメントデータテーブルで管理せず、コンテンツデータに直接セグメントデータを付与しても良い。例えば、メタデータにセグメントを新たなチャプタとして直接登録し、チャプタでセグメントを呼び出し可能な構成とすることができる。これによって、利用者は、チャプタ単位での再生やスキップを実行することで、未視聴区間のみを視聴することが可能となる。   Each segment may be directly added to the content data without being managed by the segment data table. For example, the segment can be directly registered as a new chapter in the metadata, and the segment can be called by the chapter. As a result, the user can view only the unviewed section by executing playback or skipping in units of chapters.

以下、コンテンツ配信システムの各装置の実行する処理を、図9を参照しながら説明する。図9は、第二の実施形態にかかるコンテンツ配信システムの各装置の動作例を示すタイムチャートである。   Hereinafter, processing executed by each device of the content distribution system will be described with reference to FIG. FIG. 9 is a time chart showing an operation example of each device of the content distribution system according to the second embodiment.

HMD2は、制御装置20を含み、制御装置20は、制御部201と、記憶部202と、アーム位置検出部103と、I/F部104と、から構成される。   The HMD 2 includes a control device 20, and the control device 20 includes a control unit 201, a storage unit 202, an arm position detection unit 103, and an I / F unit 104.

制御部201は、アーム位置検出部103からの信号を取得し、当該信号の情報をサーバ3へと出力する信号取得部211と、再生可能なダイジェストおよびセグメントを利用者へと通知する情報通知部212と、サーバ3から配信される画像データを再生するストリーミング再生部213と、を含む。   The control unit 201 acquires a signal from the arm position detection unit 103 and outputs information of the signal to the server 3, and an information notification unit that notifies the user of a reproducible digest and segment 212 and a streaming reproduction unit 213 that reproduces image data distributed from the server 3.

信号取得部211は、画像コンテンツの再生中にアーム位置検出部103から退避位置検出信号を受け付けると、I/F部104を介して、サーバ3へ当該信号を受け付けた再生時刻を含む退避位置検出情報を送信する。また、信号取得部211は、アーム位置検出部103から使用位置検出信号を受け付けると、I/F部104を介して、サーバ3へ当該信号を受け付けた再生時刻を含む使用位置検出情報を送信すると共に、再生中のコンテンツに関するセグメントリストを要求する。   When the signal acquisition unit 211 receives a retraction position detection signal from the arm position detection unit 103 during reproduction of the image content, the retraction position detection including the reproduction time at which the signal is received by the server 3 via the I / F unit 104. Send information. When the signal acquisition unit 211 receives the use position detection signal from the arm position detection unit 103, the signal acquisition unit 211 transmits use position detection information including the reproduction time at which the signal is received to the server 3 via the I / F unit 104. At the same time, a segment list relating to the content being reproduced is requested.

情報通知部212は、サーバ3からのセグメントリストの提供を受け付けると、このセグメントリストに従って第一の実施形態にかかる情報通知部112と同様に、図5に示すような通知画面810を生成して、表示部16に表示させる。   When receiving the segment list provided from the server 3, the information notification unit 212 generates a notification screen 810 as shown in FIG. 5 according to the segment list, similarly to the information notification unit 112 according to the first embodiment. To be displayed on the display unit 16.

なお、通知画面810は、ストリーミング再生部213によってストリーミング型の画像コンテンツが再生され、表示部16に表示されている最中でも、重ねて表示させることが可能である。   Note that the notification screen 810 can be displayed in an overlapping manner even while streaming type image content is played back by the streaming playback unit 213 and displayed on the display unit 16.

ストリーミング再生部213は、サーバ3から配信される画像データを受信して、これを再生する。具体的に、ストリーミング再生部213は、サーバ3から配信されるストリーミング型の画像データを受信すると、これを記憶部202のコンテンツデータ記憶領域221へと格納しながら所定の複号化方式に従ってデコードし、画像信号および音声信号を生成して表示部16および音声出力部12へと出力する。   The streaming reproduction unit 213 receives the image data distributed from the server 3 and reproduces it. Specifically, when receiving the streaming type image data distributed from the server 3, the streaming playback unit 213 decodes it according to a predetermined decoding method while storing it in the content data storage area 221 of the storage unit 202. Then, an image signal and an audio signal are generated and output to the display unit 16 and the audio output unit 12.

また、ストリーミング再生部213は、利用者から操作部17を介してダイジェストおよびセグメントの再生指示を受け付けると、サーバ3へ再生指示を受けたダイジェストおよびセグメントの配信要求を出力する。   When the streaming playback unit 213 receives a digest and segment playback instruction from the user via the operation unit 17, the streaming playback unit 213 outputs a digest and segment distribution request to the server 3.

図8に戻って、サーバ3の構成について説明する。サーバ3は、制御部301と、記憶部302と、I/F部303と、から構成される。   Returning to FIG. 8, the configuration of the server 3 will be described. The server 3 includes a control unit 301, a storage unit 302, and an I / F unit 303.

記憶部302は、コンテンツデータベース321と、画像データ記憶領域322と、セグメントデータ記憶領域323と、を有する。   The storage unit 302 includes a content database 321, an image data storage area 322, and a segment data storage area 323.

コンテンツデータベース321は、クライアント(ここでは、HMD2のユーザ)へと配信されるコンテンツデータを予め蓄積する。コンテンツデータとは、例えば、音楽や映像、画像、文書等、あらゆるデジタルデータ全般である。   The content database 321 stores in advance content data to be distributed to clients (here, users of HMD2). The content data is, for example, all digital data such as music, video, images, and documents.

画像データ記憶領域322には、セグメントデータテーブルに基づいて、後述の画像生成部312によって生成されるダイジェスト画像データおよびセグメント画像データが格納される。   The image data storage area 322 stores digest image data and segment image data generated by an image generation unit 312 described later based on the segment data table.

セグメントデータ記憶領域323は、第一の実施形態にかかるセグメントデータ記憶領域121と同様に、図3に示すようなセグメントデータテーブルを記憶する。   Similar to the segment data storage area 121 according to the first embodiment, the segment data storage area 323 stores a segment data table as shown in FIG.

I/F部303は、ネットワーク900や各機能部間におけるインターフェースを提供し、サーバ3を、ネットワーク900を介してHMD2とデータの送受信可能に接続する。   The I / F unit 303 provides an interface between the network 900 and each functional unit, and connects the server 3 to the HMD 2 through the network 900 so as to be able to transmit and receive data.

次に、サーバ3の制御部301の実行する処理について、図9を参照しながら説明する。   Next, processing executed by the control unit 301 of the server 3 will be described with reference to FIG.

サーバ3の制御部301は、HMD2からの退避位置検出情報および使用位置検出情報に基づいて、セグメントを規定する情報管理部311と、HMD2からのダイジェストおよびセグメント配信要求に従って、ダイジェストおよびセグメント画像を生成する画像生成部312と、HMD2からの配信要求に従って、画像データをストリーミング配信するストリーミング配信部313と、から構成される。   The control unit 301 of the server 3 generates a digest and a segment image based on the information management unit 311 that defines the segment and the digest and segment distribution request from the HMD 2 based on the retraction position detection information and the use position detection information from the HMD 2 An image generation unit 312 that performs streaming distribution of image data according to a distribution request from the HMD 2.

情報管理部311は、顧客ごとにセグメントデータテーブルを管理する。具体的に、情報管理部311は、HMD2からの退避位置検出情報を受信すると、セグメントデータテーブルに新たなセグメントレコードを作成して、各セグメントおよび当該セグメントが設定される各画像コンテンツ(例えば、ファイル名)を識別するためのセグメントIDをセグメントID格納領域121aへ登録し、退避位置検出情報に含まれる再生時刻を、未視聴開始位置格納領域121bへと格納する。   The information management unit 311 manages the segment data table for each customer. Specifically, when the information management unit 311 receives the retraction position detection information from the HMD 2, the information management unit 311 creates a new segment record in the segment data table, and sets each segment and each image content (for example, a file) The segment ID for identifying (name) is registered in the segment ID storage area 121a, and the reproduction time included in the save position detection information is stored in the unviewed start position storage area 121b.

また、情報管理部311は、HMD2からの使用位置検出情報を受信すると、最新のセグメントレコードの未視聴終了位置格納領域121cに、退避位置検出情報に含まれる再生時刻を格納する。そして、再生画像コンテンツにチャプタが設定されている場合には、当該セグメントレコードのセグメントを含むチャプタをメタデータから全て検出して、そのチャプタIDを、チャプタID格納領域121dへと格納する。   Further, when receiving the use position detection information from the HMD 2, the information management unit 311 stores the reproduction time included in the save position detection information in the unviewed end position storage area 121c of the latest segment record. When chapters are set in the playback image content, all chapters including the segment of the segment record are detected from the metadata, and the chapter IDs are stored in the chapter ID storage area 121d.

さらに、情報管理部311は、HMD2からのセグメントリスト要求を受信すると、セグメントリストをHMD2へと提供する。具体的に、情報管理部311は、再生中の画像コンテンツのファイル名をHMD2へと問い合わせて、当該画像コンテンツに関するセグメントレコードをセグメントデータテーブルから抽出して、セグメントリストとしてHMD2へと送信する。   Furthermore, when receiving the segment list request from the HMD 2, the information management unit 311 provides the segment list to the HMD 2. Specifically, the information management unit 311 inquires the HMD 2 about the file name of the image content being reproduced, extracts a segment record related to the image content from the segment data table, and transmits the segment record to the HMD 2 as a segment list.

画像生成部312は、HMD2からダイジェストおよびセグメント配信要求を受信すると、所定の生成方法に従ってダイジェスト画像データおよびセグメント画像データを生成し、画像データ記憶領域322へと格納し、ストリーミング配信部313へ当該画像データの配信を要求する。   Upon receiving the digest and segment distribution request from the HMD 2, the image generation unit 312 generates digest image data and segment image data according to a predetermined generation method, stores the digest image data and segment image data in the image data storage area 322, and transmits the image to the streaming distribution unit 313. Request data delivery.

所定の生成方法は、未視聴区間であるセグメントを含んでいれば、どのように画像データを生成しても良く、例えば、第一の実施形態にかかる画像再生部113が実行する画像の再生方法(図6(a)〜図6(c)参照)と同様の手法を用いることが可能であるため、ここでは詳細な説明を省略する。   As long as the predetermined generation method includes a segment that is an unviewed section, the image data may be generated in any way. For example, the image reproduction method executed by the image reproduction unit 113 according to the first embodiment Since a method similar to that shown in FIGS. 6A to 6C can be used, detailed description thereof is omitted here.

ストリーミング配信部313は、画像生成部312から画像データの配信要求を受け付けると、配信要求のあったダイジェスト画像データおよびセグメント画像データを、任意の符号化方式(例えば、MPEG−4等)によって圧縮符号化して、HMD2へストリーミング配信を開始する。   When the streaming distribution unit 313 receives a distribution request for image data from the image generation unit 312, the streaming distribution unit 313 compresses the digest image data and the segment image data for which the distribution request has been made by using an arbitrary encoding method (for example, MPEG-4). To start streaming delivery to the HMD2.

もちろん、サーバ3は、画像データをストリーミング配信ではなく、通常の送信(ダウンロード)によって、HMD2へと供給しても良い。   Of course, the server 3 may supply the image data to the HMD 2 not by streaming delivery but by normal transmission (download).

以上のような構成によれば、サーバにおいて未視聴区間が管理されるため、HMD2の処理負荷が低減されるとともに、その記憶容量に左右されずに、新たに生成されたダイジェスト画像データおよびセグメント画像データを再生することが可能となる。   According to the configuration as described above, since the unviewed section is managed in the server, the processing load of the HMD 2 is reduced, and the newly generated digest image data and segment image are not affected by the storage capacity. Data can be played back.

また、本発明は、上記のような実施形態には制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。   Further, the present invention is not limited to the embodiment as described above. The above embodiment can be variously modified within the scope of the technical idea of the present invention.

なお、利用者の装着状態を検出可能な構成とし、これによってセグメントを規定しても良い。装着状態の検出は、例えば、赤外線センサ投光器より赤外線ビームを投光し、赤外線センサ受光器側で赤外線ビームを受光時と、遮蔽物による遮光時と、の光量の変化を検出することによって実現可能である。   It should be noted that the configuration may be such that the user's wearing state can be detected, thereby defining the segment. The detection of the wearing state can be realized, for example, by projecting an infrared beam from an infrared sensor projector, and detecting a change in the amount of light when receiving the infrared beam on the infrared sensor receiver side and when blocking the light by a shield. It is.

具体的に、HMDは、赤外線センサ受光器における赤外線ビームの受光時に非装着状態検出信号を、遮蔽物による遮光時には装着状態検出信号を検出して、非装着状態検出信号の検出された再生時刻を開始位置、装着状態検出信号の検出された再生時刻を終了位置として、セグメントを規定する。このような構成によれば、HMDの装着・非装着に基づいて未視聴区間を設定し、この区間の画像を提供することが可能である。   Specifically, the HMD detects the non-wearing state detection signal when the infrared sensor receiver receives the infrared beam, and detects the wearing state detection signal when the light is blocked by the shielding object. A segment is defined with the reproduction time detected by the start position and the mounting state detection signal as the end position. According to such a configuration, it is possible to set an unviewed section based on whether or not the HMD is mounted and to provide an image of this section.

また、ディスプレイの前面に眼球検出センサを設けて、眼球の動きによって視聴・未視聴を判断しても良い。眼球の動きの検出には、例えば、利用者の眼球に赤外線を照射して、その反射光から利用者の視線ベクトルと、視線の対象位置とを算出することが可能である。利用者の視線が所定の時間以上ディスプレイから逸れている場合、この間を未視聴区間として設定すれば良い。このような場合には、HMD以外の端末、例えば携帯電話やポータブルプレーヤのような機器においても、本発明を適用することが可能である。   Further, an eyeball detection sensor may be provided in front of the display, and viewing / non-viewing may be determined based on the movement of the eyeball. For detecting the movement of the eyeball, for example, it is possible to irradiate the user's eyeball with infrared rays and calculate the user's line-of-sight vector and the target position of the line of sight from the reflected light. When the user's line of sight has deviated from the display for a predetermined time or more, this interval may be set as an unviewed section. In such a case, the present invention can be applied to a terminal other than the HMD, for example, a device such as a mobile phone or a portable player.

なお、未視聴区間の通知タイミングや通知手段は、上記のような通知画面810の表示に限定されない。例えば、コンテンツデータのプレイリスト等を表示する際、リストにアイコンを表示して、利用者に未視聴区間を有するコンテンツデータを通知するような構成としても良い。また、音声やLEDの発光等によって、未視聴区間の存在を通知しても良い。   Note that the notification timing and notification means of the unviewed section are not limited to the display of the notification screen 810 as described above. For example, when displaying a playlist or the like of content data, an icon may be displayed on the list to notify the user of content data having an unviewed section. Further, the existence of an unviewed section may be notified by voice, LED light emission, or the like.

さらに、ダイジェストおよびセグメントの再生中には、現在の再生時刻や、チャプタの番号、および、セグメント繋ぎ部で画像がスキップされることを示すような情報を表示し、利用者に現在の再生位置を知らせるような構成としても良い。   In addition, during playback of digests and segments, the current playback time, chapter number, and information indicating that images will be skipped at the segment link are displayed, and the current playback position is displayed to the user. It is good also as a structure which notifies.

また、利用者がHMD2や図示しないPCによって画像データを録画および生成し、これをサーバ3へと送信(アップロード)して、サーバ3にセグメントを管理させることも可能である。   It is also possible for the user to record and generate image data using the HMD 2 or a PC (not shown) and transmit (upload) the image data to the server 3 so that the server 3 manages the segments.

さらに、本発明のHMDは、退避位置検出信号を受信した際に、表示部16への電力の供給を停止し、不要な電力の消費を抑制することが可能である。   Furthermore, when the HMD of the present invention receives the retracted position detection signal, it can stop supplying power to the display unit 16 and suppress consumption of unnecessary power.

なお、本発明のHMDは、片眼で映像を見る構成となっているが、両眼で映像を見るような構成としても良い。   Note that the HMD of the present invention is configured to view an image with one eye, but may be configured to view an image with both eyes.

本発明の第一の実施形態にかかるHMD1の斜視図である。It is a perspective view of HMD1 concerning a first embodiment of the present invention. HMD1の機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of HMD1. HMD1の備えるセグメントデータテーブルの概略図である。It is the schematic of the segment data table with which HMD1 is provided. HMD1の備えるメタデータの概略図である。It is the schematic of the metadata with which HMD1 is provided. HMD1の表示する通知画面の概略図である。It is the schematic of the notification screen which HMD1 displays. (a)(b)(c)画像再生部113の実行するダイジェスト再生処理の一例を示す概略図である。(A) (b) (c) It is the schematic which shows an example of the digest reproduction | regeneration processing which the image reproduction part 113 performs. 情報取得部111の実行する処理を示すフローチャートである。4 is a flowchart illustrating processing executed by an information acquisition unit 111. 本発明の第二の実施形態にかかるコンテンツ配信システムの構成を示すブロック図である。It is a block diagram which shows the structure of the content delivery system concerning 2nd embodiment of this invention. コンテンツ配信システムの各装置の動作例を示すタイムチャートである。It is a time chart which shows the operation example of each apparatus of a content delivery system. HMD1の電気的な構成を示すブロック図である。It is a block diagram which shows the electrical structure of HMD1.

符号の説明Explanation of symbols

1・2:HMD、3:サーバ、10・20:制御装置、11:頭部装着帯、12:音声出力部、13A、13B:筐体、14:支持部、15:アーム部、16:表示部、17:操作部、101:制御部、111:情報取得部、211:信号取得部、112・212:情報通知部、113:画像再生部、213:ストリーミング再生部、102・202:記憶部、103:アーム位置検出部、131:近接センサ、104・303:入出力インターフェース部。   1.2: HMD, 3: server, 10.20: control device, 11: head wearing band, 12: audio output unit, 13A, 13B: housing, 14: support unit, 15: arm unit, 16: display 17: Operation unit 101: Control unit 111: Information acquisition unit 211: Signal acquisition unit 112/212: Information notification unit 113: Image reproduction unit 213: Streaming reproduction unit 102/202: Storage unit , 103: arm position detection unit, 131: proximity sensor, 104/303: input / output interface unit.

Claims (6)

利用者の視線の動きから画像データの未視聴区間を設定して、前記未視聴区間が設定されていることの通知と、前記未視聴区間の再生と、を行う制御手段
を備えることを特徴とする端末装置。
Control means for setting an unviewed section of image data from a user's line-of-sight movement, performing notification that the unviewed section is set, and reproducing the unviewed section; Terminal device to do.
表示手段と、
前記表示手段の位置から前記表示手段に表示する画像データの未視聴区間を設定して、前記未視聴区間が設定されていることの通知と、前記未視聴区間の再生と、を行う制御手段
を備えることを特徴とするヘッドマウントディスプレイ装置。
Display means;
Control means for setting an unviewed section of image data to be displayed on the display means from the position of the display means, performing notification that the unviewed section is set, and reproduction of the unviewed section; A head mounted display device comprising:
請求項2に記載のヘッドマウントディスプレイ装置であって、
前記制御手段は、前記表示手段の位置が、利用者の眼前以外の位置に移動したと判断してから、利用者の眼前に移動したと判断するまでの間を、未視聴区間として設定する
ことを特徴とするヘッドマウントディスプレイ装置。
The head mounted display device according to claim 2,
The control means sets a period from when it is determined that the position of the display means has moved to a position other than the user's eyes to when it has moved before the user's eyes as an unviewed section. A head-mounted display device.
請求項2または3に記載のヘッドマウントディスプレイ装置であって、
前記制御手段は、複数の未視聴区間を含むダイジェストの画像データを生成する
ことを特徴とするヘッドマウントディスプレイ装置。
The head-mounted display device according to claim 2 or 3,
The control means generates digest image data including a plurality of unviewed sections. A head-mounted display device, wherein:
請求項2または3に記載のヘッドマウントディスプレイ装置であって、
前記制御手段は、前記未視聴区間を、前記画像データにチャプタとして設定する
ことを特徴とするヘッドマウントディスプレイ装置。
The head-mounted display device according to claim 2 or 3,
The control unit sets the unviewed section as a chapter in the image data.
表示手段と、前記表示手段の位置を検出する検出手段と、画像データに存在する未視聴区間を通知して、サーバから配信される前記画像データを再生する制御手段と、を有するヘッドマウントディスプレイ装置と、
前記検出手段によって検出された表示手段の位置から、前記画像データについて、未視聴区間を設定し、複数の前記未視聴区間を含むダイジェストの画像データを生成して、前記ダイジェストの画像データを、ネットワークを介して前記ヘッドマウントディスプレイ装置へ配信する制御手段、を有するサーバと、
を備えることを特徴とするコンテンツ配信システム。
A head mounted display device comprising: display means; detection means for detecting a position of the display means; and control means for notifying an unviewed section existing in image data and reproducing the image data distributed from a server When,
From the position of the display means detected by the detecting means, a non-viewing section is set for the image data, a digest image data including a plurality of the non-viewing sections is generated, and the digest image data is transferred to the network. A server having control means for delivering to the head-mounted display device via
A content distribution system comprising:
JP2008138552A 2008-05-27 2008-05-27 Head mount display Pending JP2009288892A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008138552A JP2009288892A (en) 2008-05-27 2008-05-27 Head mount display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008138552A JP2009288892A (en) 2008-05-27 2008-05-27 Head mount display

Publications (1)

Publication Number Publication Date
JP2009288892A true JP2009288892A (en) 2009-12-10

Family

ID=41458069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008138552A Pending JP2009288892A (en) 2008-05-27 2008-05-27 Head mount display

Country Status (1)

Country Link
JP (1) JP2009288892A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081089A (en) * 2008-09-24 2010-04-08 Nec Personal Products Co Ltd Information processor and content reminding method
CN104349009A (en) * 2013-08-06 2015-02-11 柯尼卡美能达株式会社 Display device, non-transitory computer-readable recording medium and image processing apparatus
JP2016536684A (en) * 2013-09-04 2016-11-24 クゥアルコム・インコーポレイテッドQualcomm Incorporated Controlling data processing based on the use of wearable display devices

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081089A (en) * 2008-09-24 2010-04-08 Nec Personal Products Co Ltd Information processor and content reminding method
CN104349009A (en) * 2013-08-06 2015-02-11 柯尼卡美能达株式会社 Display device, non-transitory computer-readable recording medium and image processing apparatus
JP2015032255A (en) * 2013-08-06 2015-02-16 コニカミノルタ株式会社 Display device, display program and image processor
US9292088B2 (en) 2013-08-06 2016-03-22 Konica Minolta, Inc. Display device, non-transitory computer-readable recording medium and image processing apparatus
CN104349009B (en) * 2013-08-06 2018-01-05 柯尼卡美能达株式会社 Display device, display control method and image processing apparatus
JP2016536684A (en) * 2013-09-04 2016-11-24 クゥアルコム・インコーポレイテッドQualcomm Incorporated Controlling data processing based on the use of wearable display devices
US9772494B2 (en) 2013-09-04 2017-09-26 Qualcomm Incorporated Wearable display device use-based data processing control

Similar Documents

Publication Publication Date Title
CN109302538B (en) Music playing method, device, terminal and storage medium
CN109756784B (en) Music playing method, device, terminal and storage medium
US8565831B2 (en) Mobile terminal and method for controlling the same
JP5979483B2 (en) Content reproduction apparatus, content reproduction system, and content reproduction method
EP1766971B1 (en) Mobile personal video recorder
BR112013004857B1 (en) Computer- and system-implemented method of controlling, using a mobile device, presentation of media content performed by a media client, and computer-implemented method of presenting media content from a media client on a display device
JP2021505092A (en) Methods and devices for playing audio data
KR20080064176A (en) Methods and apparatus for metering portable media players
CN110149557B (en) Video playing method, device, terminal and storage medium
US11438646B2 (en) Video play method and apparatus, and device
KR101710502B1 (en) Apparatus and method for playing contents, and apparatus and method for providing contents
JP2009288892A (en) Head mount display
KR20160074234A (en) Display apparatus and method for controlling a content output
US8433173B2 (en) Portable media player system
JP4922462B1 (en) Content playback apparatus and content playback method
JP2010233034A (en) Related content distribution system, user device management server, and computer program
JP5277980B2 (en) Time shift viewing system, time shift viewing method, time shift viewing apparatus and program
JP2009288891A (en) Content and commercial message distribution system, distribution server and reception terminal
KR102139331B1 (en) Apparatus, server, and method for playing moving picture contents
JP6201261B2 (en) Terminal device, control method, and program
JP5211955B2 (en) Terminal device, head-mounted display device, and distribution system
JP2005275046A (en) Picture display device and picture display method
KR20150024084A (en) Operation method of streaming player
CN111770373A (en) Content synchronization method, device and equipment based on live broadcast and storage medium
JP5892590B2 (en) Content receiving system, mounting device, and terminal device