JP2009288892A - Head mount display - Google Patents
Head mount display Download PDFInfo
- Publication number
- JP2009288892A JP2009288892A JP2008138552A JP2008138552A JP2009288892A JP 2009288892 A JP2009288892 A JP 2009288892A JP 2008138552 A JP2008138552 A JP 2008138552A JP 2008138552 A JP2008138552 A JP 2008138552A JP 2009288892 A JP2009288892 A JP 2009288892A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- segment
- image
- image data
- unviewed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ヘッドマウントディスプレイ装置に関する。 The present invention relates to a head mounted display device.
利用者が頭部に装置を装着して使用する際に、表示画面を好みの位置に移動させることが可能なヘッドマウントディスプレイ装置が知られている(例えば、特許文献1参照)。 2. Description of the Related Art A head-mounted display device is known that can move a display screen to a desired position when a user wears the device on his / her head (see, for example, Patent Document 1).
しかしながら、特許文献1に記載のヘッドマウントディスプレイ装置では、表示画面を眼前以外の位置に移動させている間、利用者は表示画面に表示される画像を観察できない。よって、未視聴の区間を生じさせないためには、利用者はその都度一時停止操作を行って、画像を停止させなければならなかった。また、音声を聞き続けたいような場合には、一時停止が入ることで細切れの視聴を強いられる可能性がある。
However, in the head mounted display device described in
そこで本発明では、利用者の眼前以外の位置に表示画面が移動し、利用者が未視聴である区間の画像を、効率良く確認できる技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique that allows the display screen to move to a position other than the user's eyes and efficiently check the image of the section that is not viewed by the user.
以上の課題を解決するため、本発明のヘッドマウントディスプレイ装置は、表示手段と、前記表示手段の位置から前記表示手段に表示する画像データの未視聴区間を設定して、前記未視聴区間が設定されていることの通知と、前記未視聴区間の再生と、を行う制御手段
を備えることを特徴とする。
In order to solve the above-described problems, the head-mounted display device of the present invention sets a non-viewing section of a display unit and an image data to be displayed on the display unit from the position of the display unit. Control means for performing notification of being performed and reproduction of the unviewed section.
以上のように、本発明のヘッドマウントディスプレイ装置によれば、利用者が、未視聴部分を効率的良く確認することが可能な技術を提供することができる。 As described above, according to the head mounted display device of the present invention, it is possible to provide a technique that allows a user to efficiently check an unviewed part.
以下、本発明を実施するための最良の形態について、図面を参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
図1に、本発明の第一の実施形態にかかるヘッドマウントディスプレイ装置(以下、HMDと略記する)1を示す。図1は、本発明の第一の実施形態にかかるHMD1の斜視図である。
FIG. 1 shows a head mounted display device (hereinafter abbreviated as HMD) 1 according to a first embodiment of the present invention. FIG. 1 is a perspective view of the
図示するように、本実施形態にかかるHMD1は、頭部装着帯11と、音声出力部12と、筐体13と、支持部14と、アーム部15と、表示部16と、操作部17と、を備えている。
As shown in the figure, the
頭部装着帯11は、その両端が相対向するように湾曲した形状に形成されている。また、頭部装着帯11は、弾性を有する材質で構成され、利用者の頭部に装着する際に後述するスピーカを利用者の頭部の内側方向に押圧することで、HMD1を利用者の頭部に着脱自在に装着することができるようにしている。
The
頭部装着帯11の長手方向両端側には、筐体13A、13B(これらを区別しない場合には、単に筐体13と表記する)が連結されている。また、筐体13Aにはスピーカ12Aが、筐体13Bにはスピーカ12Bが、それぞれ接続されている。さらに、頭部装着帯11の内部には、筐体13Bに内蔵される電源(図示しない)および制御装置10と、各部と、を電気的に接続するための信号線や、電源から電力を供給するための電力線等が配線されている。
音声出力部12は、音声信号を音声に変換して出力する。具体的に、本実施形態にかかる音声出力部12は、スピーカ12Aおよび12Bを有しており、これらは利用者の両方の耳にあてがわれて使用されるいわゆるヘッドホン用のスピーカである。図1においては、向かって右側のスピーカ12Aが左耳用、向かって左側のスピーカ12Bが右耳用である。これらの左右の別については、利用者の操作によって、任意に決定することができるものとしても良いし、表示部16を右眼で見るか、左眼で見るかによって切り換えるようにしても良い。また、音声出力部12には、電源から電力を供給するための電力線と、音声信号を供給する音声信号線とが配線されている。
The
筐体13Bには、制御装置10および電源が内蔵されている。さらに、本実施形態にかかるHMD1は、筐体13Bのスピーカ12Bとは逆側の外壁面に操作部17を有している。
The
また、筐体13Aは、スピーカ12Aとは逆側の外壁面に、HMD1の電源のオン、オフを切り替える電源スイッチ(図示しない)を備える。
Further, the
なお、電源、電源スイッチ、制御装置10および操作部17は、筐体13Aおよび13Bのどちらに配置されても良く、また、筐体13A、13Bは、スピーカ12A、12Bとそれぞれ一体となるような構成としても良い。
The power source, the power switch, the
支持部14は、筐体13Bにアーム部15の一端側を回動自在に連結する。利用者は、図示するように、支持部14を回転中心としてアーム部15を回動させることで、表示部16を頭部装着帯11と重なる位置に移動させることが可能である。また、利用者は、スピーカ12Aおよび12Bの左右が反転するようにHMD1を装着し、表示部16が眼前に配置されるよう、アーム部15を180度回動させて使用することも可能である。すなわち利用者は、表示部16を左右いずれの眼前にでも配置することが出来る。
The
アーム部15は、頭部装着帯11を利用者の頭部に装着した際、筐体13A側とは他端側に取り付けられている表示部16が利用者の眼前に位置するように、その長手方向において湾曲している。また、内部には電源から表示部16に電力を供給する電力線および画像信号を供給する画像信号線が配線されている。
The
表示部16は、アーム部15の先端に利用者の視線に合わせて、上下および左右方向に回動自在に連結されている。表示部16は、例えば、画像を表示するLCD(Liquid Crystal Display)と、表示された画像を拡大する光学系と、を備え、供給される画像信号に基づいて画像を表示する。
The
操作部17は、複数の操作スイッチ171を備える。利用者は、操作スイッチ171を介して、HMD1に関する機能、例えば、再生、停止、早送り、巻戻し、音量の変更、その他の制御処理等の指示を入力することが可能である。これらのスイッチを介して入力された操作指示は、後述する入出力インターフェース部104(以下、I/F部;図2参照)を介して制御部101に送信される。
The
なお、HMD1は、操作部17以外の入力手段として、利用者の頭部の動きに関する方向情報を角速度や加速度として検出する角速度センサや加速度センサをさらに備え、検出した角速度や加速度に対応する処理を実行するような構成としても良い。
The
次に、本発明の第一の実施形態にかかるHMD1の備える制御装置10について、図2を参照して説明する。図2は、HMD1の機能的な構成を示すブロック図である。
Next, the
制御装置10は、図2に示すように、制御部101と、記憶部102と、アーム位置検出部103と、I/F部104と、を有する。
As illustrated in FIG. 2, the
まず、アーム位置検出部103について説明する。アーム位置検出部103は、表示部16が使用位置(利用者の眼前)、および、退避位置(利用者の頭頂部付近、すなわち、支持部14を回転中心に回動させた際、頭部装着帯11と表示部16が最も接近して重なる位置を含む、予め定められた範囲)にあることを示す信号を、制御部101へと出力する。
First, the arm
具体的に、アーム位置検出部103は、近接センサ131を備えている。近接センサ131は、例えば静電容量形近接センサであり、周囲物体の接近を検出し、検出対象の移動情報や存在情報を、電気信号に置き換えて検出信号として得るものである。
Specifically, the arm
近接センサ131は、例えばアーム部15(表示部16でも良い)に取り付けられ、筐体13A(または、頭部装着帯11でも良い)とアーム部15との距離を示す検出信号を出力する。アーム位置検出部103は、近接センサ131から出力される検出信号を受け付ける。そして、当該検出信号が、アーム部15と筐体13Aとが所定の距離以上に離れたことを示すものであった場合、制御部101へ使用位置検出信号を出力する。また、アーム位置検出部103は、近接センサ131から出力される検出信号が、アーム部15と筐体13Aとが所定の距離以内に接近したことを示す検出信号であった場合、制御部101へ退避位置検出信号を出力する。
The
なお、アーム部15の位置を検出するためのセンサの種類は、上記に限定されない。金属の存在を検出する誘導形近接センサや、磁気による直流磁界を利用したスイッチ等を使用しても良い。
In addition, the kind of sensor for detecting the position of the
次に、制御部101について説明する。制御部101は、アーム位置検出部103からの検出信号に従って未視聴区間を設定する情報取得部111と、未視聴区間を利用者に通知するための通知画面を表示する情報通知部112と、利用者の指示を受け付けて、未視聴区間を再生する画像再生部113と、から構成されている。
Next, the
情報取得部111は、アーム位置検出部103からの検出信号を受信すると、利用者の再生する画像コンテンツに関する未視聴区間を設定する。
When the information acquisition unit 111 receives the detection signal from the arm
未視聴区間(セグメント)とは、利用者が画像コンテンツを再生している際に、アーム部15が退避位置に移動したタイミングである開始位置と、アーム部15が退避位置から使用位置へと戻ったタイミングである終了位置と、で規定される区間である。このような未視聴区間を、ここでは便宜上、セグメントと呼ぶ。
An unviewed section (segment) is a start position at which the
具体的に、情報取得部111は、画像コンテンツの再生中にアーム位置検出部103から退避位置検出信号を受信すると、セグメントデータテーブル(図3参照)に新たなセグメントレコードを作成する。
Specifically, when the information acquisition unit 111 receives a retraction position detection signal from the arm
セグメントデータテーブルは、記憶部102のセグメントデータ記憶領域121に記憶され、各セグメント、および、当該セグメントが設定される各画像コンテンツを識別するためのセグメントIDが格納されるセグメントID格納領域121aと、セグメントの開始位置を示す情報が格納される未視聴開始位置格納領域121bと、セグメントの終了位置を示す情報が格納される未視聴終了位置格納領域121cと、画像コンテンツに予め設定されるチャプタのうち、各セグメントが含まれるチャプタIDが登録されるチャプタID格納領域121dと、から構成される。
The segment data table is stored in the segment
開始位置および終了位置とは、ここでは、画像の先頭位置からの再生時刻である。これらは、画像の特定の位置を示す情報であればどのようなものでも良く、例えば、画像の先頭位置からのフレーム数等の情報を格納しても良い。 Here, the start position and the end position are reproduction times from the head position of the image. These may be any information as long as the information indicates a specific position of the image. For example, information such as the number of frames from the head position of the image may be stored.
情報取得部111は、新たなセグメントレコードのセグメントID格納領域121aに、各セグメントおよび当該セグメントが設定される各画像コンテンツ(例えば、ファイル名)を識別するためのセグメントIDを付与する。さらに、退避位置検出信号を受信した際の再生時刻を、未視聴開始位置格納領域121bへと格納する。
The information acquisition unit 111 assigns a segment ID for identifying each segment and each image content (for example, a file name) in which the segment is set, to the segment
また、情報取得部111は、アーム位置検出部103から使用位置検出信号を受信すると、最新のセグメントレコードの未視聴終了位置格納領域121cに、退避位置検出信号を受信した際の再生時刻を格納する。そして、再生画像コンテンツにチャプタが設定されている場合には、当該画像コンテンツのメタデータ(図4参照)から、当該セグメントレコードのセグメントを含むチャプタをメタデータから全て検出して、そのチャプタIDを、チャプタID格納領域121dへと格納する。
Further, when the information acquisition unit 111 receives the use position detection signal from the arm
メタデータとは、コンテンツデータ記憶領域122に記憶されるコンテンツごとに設けられる情報であり、これらはコンテンツを説明する複数の特定情報から構成される。例えば、図4に示すように、コンテンツのファイル名、設定されるチャプタの数、各チャプタの開始位置および終了位置等の情報を含む。
Metadata is information provided for each content stored in the content
その後、情報取得部111は、情報通知部112に通知画面の表示要求を出力する。
Thereafter, the information acquisition unit 111 outputs a notification screen display request to the
次に、情報通知部112について説明する。情報通知部112は、情報取得部111が生成したセグメントデータテーブルの各セグメントレコードに基づいて、セグメントの再生が可能な旨を利用者に通知するための通知画面を表示する。
Next, the
具体的に、情報通知部112は、情報取得部111からの通知画面の表示要求を受け付けると、通知画面810(図5参照)を生成して、表示部16に表示させる。通知画面810には例えば、セグメントデータレコードに記録される各セグメントをダイジェスト再生するためのダイジェスト再生アイコン811と、各セグメントのみを再生するためのセグメント再生アイコン812と、が表示される。
Specifically, when receiving a notification screen display request from the information acquisition unit 111, the
なお、セグメント再生アイコン812は、記録されるセグメントレコードの全てについてセグメント再生アイコン812を表示しても良いし、最新のものから所定の数のレコードについてのみ表示しても良い。また、セグメント再生アイコン812には、当該セグメントの開始位置のフレームを縮小し、これをサムネイルとして表示しても良い。
The
なお、通知画面810は、例えば、画像再生部113によって画像コンテンツが再生され、表示部16に表示されている最中にも、重ねて表示させることが可能である。もちろん、通知画面810は、画像コンテンツが再生されていない場合でも表示可能である。
Note that the
利用者は、表示されたアイコンに対応するダイジェストおよびセグメントの再生を、操作部17を介して画像再生部113へと指示することが可能である。なお、利用者はこのような再生指示を、図示しない角速度センサ等を用いて頭部の動作によって入力しても良い。
The user can instruct the
なお、情報通知部212は、通知画面810を一定の期間ごとに表示/消去して、繰り返し利用者に未視聴区間が存在することを通知しても良い。また、このタイミングは、利用者が任意で設定することが可能な構成としても良いし、利用者が要求した場合にのみ通知画面810を表示させても良い。
Note that the
画像再生部113は、利用者からの再生指示に従って、画像コンテンツ、および、再生アイコンに対応する画像コンテンツのダイジェストやセグメントを再生する。
The
具体的に、画像再生部113は、ダイジェストの再生指示を受け付けると、所定の再生方法に従って、画像コンテンツをダイジェスト再生する。
Specifically, when receiving a digest playback instruction, the
まず、画像再生部113は、セグメントデータテーブルのセグメントID格納領域121aを参照して、現在再生中の画像コンテンツに関するセグメントレコードを抽出する。そして、画像再生部113は、所定の再生方法に従って、画像コンテンツのダイジェスト再生を開始する。
First, the
所定の再生方法とは、未視聴区間であるセグメントを利用者が視聴可能なものであれば、どのように画像コンテンツを再生しても良いが、例えば、下記のような方法で、画像コンテンツを再生する。 As long as the predetermined playback method is a method in which the user can view a segment that is an unviewed section, the image content may be played back in any way. Reproduce.
図6(a)、図6(b)、図6(c)は、画像再生部113の実行するダイジェスト再生の、一例を示す概略図である。
FIGS. 6A, 6 </ b> B, and 6 </ b> C are schematic diagrams illustrating an example of digest playback performed by the
ダイジェスト再生の一つの方法として、画像再生部113は、図6(a)に示すように、特定の画像コンテンツの各セグメントレコードを繋げ、ダイジェスト画像として再生する。具体的に、画像再生部113は、セグメントレコードを時系列順に並べて、最初のセグメントレコードの未視聴開始位置格納領域121bに格納される再生時刻(開始位置)から、画像コンテンツの再生を開始する。そして、当該セグメントレコードの未視聴終了位置格納領域121cに格納される再生時刻(終了位置)にさしかかると、次のセグメントレコードの未視聴開始位置格納領域121bに格納される再生時刻(開始位置)にジャンプする。これを最後のセグメントレコードの終了位置まで繰り返すことで、画像再生部113は、未視聴区間の画像のみを再生する。
As one method of digest playback, the
他のダイジェスト再生の方法として、画像再生部113は、図6(b)に示すように、特定の画像コンテンツのセグメントレコードを、その前後の所定の位置で繋げて、ダイジェスト画像として再生する。具体的に、画像再生部113は、セグメントレコードを時系列順に並べて、各セグメントレコードの未視聴開始位置格納領域121bに格納される再生時刻から所定の時間前の位置(例えば、3秒前)を開始位置、各セグメントレコードの未視聴終了位置格納領域121cに格納される再生時刻から、所定の時間後の位置(例えば、3秒後)を終了位置として仮定する。そして、この開始位置と終了位置を繋げることにより、画像再生部113は、未視聴区間およびその前後の領域を再生する。
As another digest reproduction method, as shown in FIG. 6B, the
また、さらなるダイジェスト再生の方法として、画像再生部113は、図6(c)に示すように、特定の画像コンテンツについて、各セグメントを含むチャプタを繋げて、ダイジェスト画像として再生する。具体的に、画像再生部113は、各セグメントレコードのチャプタID格納領域121dに格納されるチャプタIDについて、当該画像コンテンツのメタデータを検索し、各チャプタの開始位置および終了位置の再生時刻を取得して、時系列順にこの開始位置と終了位置を繋げることにより、画像再生部113は、未視聴区間を、チャプタごと再生する。
As a further digest reproduction method, the
なお、画像再生部113は、セグメントの再生指示を受け付けた場合には、当該セグメントの再生を開始する。セグメントの再生についても同様に、セグメントのみ、セグメントおよびその前後の領域、セグメントを含むチャプタ等、どのような再生方法によってこれを再生しても良い。
Note that, when receiving a segment playback instruction, the
また、セグメントデータテーブルの各セグメントレコードは、ダイジェストおよびセグメントの再生後、視聴済となったものについては全て削除される。さらに、未視聴となる部分が残った場合には、その部分についてセグメントの開始位置および終了位置が更新されて、新たなセグメントが設定される。なお、利用者は、このような削除・更新について、任意で設定することが可能である。 In addition, all segment records in the segment data table are deleted after the digest and the segment have been viewed. Furthermore, when a part that has not been viewed remains, the start position and end position of the segment are updated for that part, and a new segment is set. Note that the user can arbitrarily set such deletion / update.
さらに、画像再生部113は、ダイジェストやセグメントの画像データを生成して、これを再生するような構成としても良い。もちろん、画像データの生成について、どのような生成方法を用いることも可能である。
Further, the
I/F部104は、音声出力部12と、表示部16と、操作部17と、を制御装置10に接続する。また、HMD1と、外部機器とをデータ転送可能に接続する汎用バスとして、USB(Universal Serial Bus)や、IEEE1394等の規格に準拠する端子を備える。
The I /
ここで、HMD1のハードウェア構成について説明する。図10は、HMD1の電気的な構成を示すブロック図である。
Here, the hardware configuration of the
図10に示すように、HMD1は、各装置への制御を担うCPU(Central Processing Unit)81と、各種データを書換え可能に記憶するメモリ82と、各種のプログラム、プログラムの生成するデータ等を格納する不揮発性の補助メモリ83と、LCD84、スピーカ12、各デバイスとCPU81を接続するI/F部104と、を備える。制御部101は、例えば、補助メモリ83に記憶されている所定のプログラムを、メモリ82に読み込み、CPU81で実行することにより実現可能である。
As shown in FIG. 10, the
次に、情報取得部111が実行する処理について、図7を用いて詳細に説明する。図7は、第一の実施形態にかかる情報取得部111が、未視聴区間を記録する処理を示すフローチャートである。情報取得部111は、画像コンテンツの再生が開始されると、当フローを開始する。 Next, processing executed by the information acquisition unit 111 will be described in detail with reference to FIG. FIG. 7 is a flowchart illustrating a process in which the information acquisition unit 111 according to the first embodiment records an unviewed section. The information acquisition unit 111 starts this flow when the reproduction of the image content is started.
情報取得部111は、まず、アーム位置検出部103からの退避位置検出信号の受信を検出する(S11)。退避位置検出信号を受信した場合(S11でYES)、S12へと進む。 The information acquisition unit 111 first detects reception of a retracted position detection signal from the arm position detection unit 103 (S11). When the retreat position detection signal is received (YES in S11), the process proceeds to S12.
情報取得部111は、退避位置検出信号を受信すると(S11でYES)、セグメントデータテーブルに新たなセグメントレコードを作成して、その開始位置を規定する(S12)。具体的に、情報取得部111は、セグメントID格納領域121aにセグメントIDを登録し、退避位置検出信号を受信した際の再生時刻を、未視聴開始位置格納領域121bへと格納する(S12)。
When receiving the retraction position detection signal (YES in S11), the information acquisition unit 111 creates a new segment record in the segment data table and defines its start position (S12). Specifically, the information acquisition unit 111 registers the segment ID in the segment
次に、情報取得部111は、アーム位置検出部103からの使用位置検出信号の受信を検出する(S13)。使用位置検出信号を受信した場合(S13でYES)、S14へと進む。 Next, the information acquisition unit 111 detects reception of a use position detection signal from the arm position detection unit 103 (S13). When the use position detection signal is received (YES in S13), the process proceeds to S14.
情報取得部111は、使用位置検出信号を受信すると(S13でYES)、セグメントの終了位置を規定する(S14)。具体的に、情報取得部111は、最新のセグメントレコードの未視聴終了位置格納領域121cに、退避位置検出信号を受信した際の再生時刻を格納する。そして、再生画像コンテンツにチャプタが設定されている場合には、当該セグメントレコードのセグメントを含むチャプタを全て検出して、そのチャプタIDを、チャプタID格納領域121dへと格納する。
When receiving the use position detection signal (YES in S13), the information acquisition unit 111 defines the end position of the segment (S14). Specifically, the information acquisition unit 111 stores the reproduction time when the save position detection signal is received in the unviewed end position storage area 121c of the latest segment record. When chapters are set in the playback image content, all chapters including the segment of the segment record are detected, and the chapter IDs are stored in the chapter
なお、情報取得部111は、現在再生中の画像コンテンツが終了を検出した場合に、当該フローを終了する。 Note that the information acquisition unit 111 ends the flow when the end of the currently reproduced image content is detected.
このような構成によれば、利用者は、画像データを最初から再生しなおすことなく、未視聴部分を確認することが可能である。また、未視聴部分をダイジェスト化して視聴可能であるため、効率良く未視聴部分のみを視聴することが可能である。 According to such a configuration, the user can check an unviewed part without replaying the image data from the beginning. Moreover, since the unviewed part can be viewed as a digest, it is possible to efficiently view only the unviewed part.
次に、本発明の第二の実施形態について説明する。第二の実施形態であるHMD2は、第一の実施形態と比較して異なっている点に関連する事項について、以下、図8および図9を参照しながら、説明する。 Next, a second embodiment of the present invention will be described. HMD2 which is 2nd embodiment demonstrates the matter relevant to the point different compared with 1st embodiment below, referring FIG. 8 and FIG.
図8に、本発明の第二の実施形態にかかるコンテンツ配信システムを示す。同図に示すように、コンテンツ配信システムは、コンテンツを配信するサーバ3と、サーバ3からネットワーク900を介してコンテンツの配信を受けるHMD2と、を含んでいる。
FIG. 8 shows a content distribution system according to the second embodiment of the present invention. As shown in the figure, the content distribution system includes a
ネットワーク900は、電話・携帯電話網やインターネット等を含む公衆通信網であり、HMD2は、無線および有線でネットワーク900と接続される。もちろん、図示しない基地局を介して、無線電波の送受信を行っても良い。
The
なお、各セグメントは、セグメントデータテーブルで管理せず、コンテンツデータに直接セグメントデータを付与しても良い。例えば、メタデータにセグメントを新たなチャプタとして直接登録し、チャプタでセグメントを呼び出し可能な構成とすることができる。これによって、利用者は、チャプタ単位での再生やスキップを実行することで、未視聴区間のみを視聴することが可能となる。 Each segment may be directly added to the content data without being managed by the segment data table. For example, the segment can be directly registered as a new chapter in the metadata, and the segment can be called by the chapter. As a result, the user can view only the unviewed section by executing playback or skipping in units of chapters.
以下、コンテンツ配信システムの各装置の実行する処理を、図9を参照しながら説明する。図9は、第二の実施形態にかかるコンテンツ配信システムの各装置の動作例を示すタイムチャートである。 Hereinafter, processing executed by each device of the content distribution system will be described with reference to FIG. FIG. 9 is a time chart showing an operation example of each device of the content distribution system according to the second embodiment.
HMD2は、制御装置20を含み、制御装置20は、制御部201と、記憶部202と、アーム位置検出部103と、I/F部104と、から構成される。
The
制御部201は、アーム位置検出部103からの信号を取得し、当該信号の情報をサーバ3へと出力する信号取得部211と、再生可能なダイジェストおよびセグメントを利用者へと通知する情報通知部212と、サーバ3から配信される画像データを再生するストリーミング再生部213と、を含む。
The
信号取得部211は、画像コンテンツの再生中にアーム位置検出部103から退避位置検出信号を受け付けると、I/F部104を介して、サーバ3へ当該信号を受け付けた再生時刻を含む退避位置検出情報を送信する。また、信号取得部211は、アーム位置検出部103から使用位置検出信号を受け付けると、I/F部104を介して、サーバ3へ当該信号を受け付けた再生時刻を含む使用位置検出情報を送信すると共に、再生中のコンテンツに関するセグメントリストを要求する。
When the
情報通知部212は、サーバ3からのセグメントリストの提供を受け付けると、このセグメントリストに従って第一の実施形態にかかる情報通知部112と同様に、図5に示すような通知画面810を生成して、表示部16に表示させる。
When receiving the segment list provided from the
なお、通知画面810は、ストリーミング再生部213によってストリーミング型の画像コンテンツが再生され、表示部16に表示されている最中でも、重ねて表示させることが可能である。
Note that the
ストリーミング再生部213は、サーバ3から配信される画像データを受信して、これを再生する。具体的に、ストリーミング再生部213は、サーバ3から配信されるストリーミング型の画像データを受信すると、これを記憶部202のコンテンツデータ記憶領域221へと格納しながら所定の複号化方式に従ってデコードし、画像信号および音声信号を生成して表示部16および音声出力部12へと出力する。
The streaming
また、ストリーミング再生部213は、利用者から操作部17を介してダイジェストおよびセグメントの再生指示を受け付けると、サーバ3へ再生指示を受けたダイジェストおよびセグメントの配信要求を出力する。
When the
図8に戻って、サーバ3の構成について説明する。サーバ3は、制御部301と、記憶部302と、I/F部303と、から構成される。
Returning to FIG. 8, the configuration of the
記憶部302は、コンテンツデータベース321と、画像データ記憶領域322と、セグメントデータ記憶領域323と、を有する。
The
コンテンツデータベース321は、クライアント(ここでは、HMD2のユーザ)へと配信されるコンテンツデータを予め蓄積する。コンテンツデータとは、例えば、音楽や映像、画像、文書等、あらゆるデジタルデータ全般である。
The
画像データ記憶領域322には、セグメントデータテーブルに基づいて、後述の画像生成部312によって生成されるダイジェスト画像データおよびセグメント画像データが格納される。
The image
セグメントデータ記憶領域323は、第一の実施形態にかかるセグメントデータ記憶領域121と同様に、図3に示すようなセグメントデータテーブルを記憶する。
Similar to the segment
I/F部303は、ネットワーク900や各機能部間におけるインターフェースを提供し、サーバ3を、ネットワーク900を介してHMD2とデータの送受信可能に接続する。
The I /
次に、サーバ3の制御部301の実行する処理について、図9を参照しながら説明する。
Next, processing executed by the
サーバ3の制御部301は、HMD2からの退避位置検出情報および使用位置検出情報に基づいて、セグメントを規定する情報管理部311と、HMD2からのダイジェストおよびセグメント配信要求に従って、ダイジェストおよびセグメント画像を生成する画像生成部312と、HMD2からの配信要求に従って、画像データをストリーミング配信するストリーミング配信部313と、から構成される。
The
情報管理部311は、顧客ごとにセグメントデータテーブルを管理する。具体的に、情報管理部311は、HMD2からの退避位置検出情報を受信すると、セグメントデータテーブルに新たなセグメントレコードを作成して、各セグメントおよび当該セグメントが設定される各画像コンテンツ(例えば、ファイル名)を識別するためのセグメントIDをセグメントID格納領域121aへ登録し、退避位置検出情報に含まれる再生時刻を、未視聴開始位置格納領域121bへと格納する。
The
また、情報管理部311は、HMD2からの使用位置検出情報を受信すると、最新のセグメントレコードの未視聴終了位置格納領域121cに、退避位置検出情報に含まれる再生時刻を格納する。そして、再生画像コンテンツにチャプタが設定されている場合には、当該セグメントレコードのセグメントを含むチャプタをメタデータから全て検出して、そのチャプタIDを、チャプタID格納領域121dへと格納する。
Further, when receiving the use position detection information from the
さらに、情報管理部311は、HMD2からのセグメントリスト要求を受信すると、セグメントリストをHMD2へと提供する。具体的に、情報管理部311は、再生中の画像コンテンツのファイル名をHMD2へと問い合わせて、当該画像コンテンツに関するセグメントレコードをセグメントデータテーブルから抽出して、セグメントリストとしてHMD2へと送信する。
Furthermore, when receiving the segment list request from the
画像生成部312は、HMD2からダイジェストおよびセグメント配信要求を受信すると、所定の生成方法に従ってダイジェスト画像データおよびセグメント画像データを生成し、画像データ記憶領域322へと格納し、ストリーミング配信部313へ当該画像データの配信を要求する。
Upon receiving the digest and segment distribution request from the
所定の生成方法は、未視聴区間であるセグメントを含んでいれば、どのように画像データを生成しても良く、例えば、第一の実施形態にかかる画像再生部113が実行する画像の再生方法(図6(a)〜図6(c)参照)と同様の手法を用いることが可能であるため、ここでは詳細な説明を省略する。
As long as the predetermined generation method includes a segment that is an unviewed section, the image data may be generated in any way. For example, the image reproduction method executed by the
ストリーミング配信部313は、画像生成部312から画像データの配信要求を受け付けると、配信要求のあったダイジェスト画像データおよびセグメント画像データを、任意の符号化方式(例えば、MPEG−4等)によって圧縮符号化して、HMD2へストリーミング配信を開始する。
When the
もちろん、サーバ3は、画像データをストリーミング配信ではなく、通常の送信(ダウンロード)によって、HMD2へと供給しても良い。
Of course, the
以上のような構成によれば、サーバにおいて未視聴区間が管理されるため、HMD2の処理負荷が低減されるとともに、その記憶容量に左右されずに、新たに生成されたダイジェスト画像データおよびセグメント画像データを再生することが可能となる。
According to the configuration as described above, since the unviewed section is managed in the server, the processing load of the
また、本発明は、上記のような実施形態には制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。 Further, the present invention is not limited to the embodiment as described above. The above embodiment can be variously modified within the scope of the technical idea of the present invention.
なお、利用者の装着状態を検出可能な構成とし、これによってセグメントを規定しても良い。装着状態の検出は、例えば、赤外線センサ投光器より赤外線ビームを投光し、赤外線センサ受光器側で赤外線ビームを受光時と、遮蔽物による遮光時と、の光量の変化を検出することによって実現可能である。 It should be noted that the configuration may be such that the user's wearing state can be detected, thereby defining the segment. The detection of the wearing state can be realized, for example, by projecting an infrared beam from an infrared sensor projector, and detecting a change in the amount of light when receiving the infrared beam on the infrared sensor receiver side and when blocking the light by a shield. It is.
具体的に、HMDは、赤外線センサ受光器における赤外線ビームの受光時に非装着状態検出信号を、遮蔽物による遮光時には装着状態検出信号を検出して、非装着状態検出信号の検出された再生時刻を開始位置、装着状態検出信号の検出された再生時刻を終了位置として、セグメントを規定する。このような構成によれば、HMDの装着・非装着に基づいて未視聴区間を設定し、この区間の画像を提供することが可能である。 Specifically, the HMD detects the non-wearing state detection signal when the infrared sensor receiver receives the infrared beam, and detects the wearing state detection signal when the light is blocked by the shielding object. A segment is defined with the reproduction time detected by the start position and the mounting state detection signal as the end position. According to such a configuration, it is possible to set an unviewed section based on whether or not the HMD is mounted and to provide an image of this section.
また、ディスプレイの前面に眼球検出センサを設けて、眼球の動きによって視聴・未視聴を判断しても良い。眼球の動きの検出には、例えば、利用者の眼球に赤外線を照射して、その反射光から利用者の視線ベクトルと、視線の対象位置とを算出することが可能である。利用者の視線が所定の時間以上ディスプレイから逸れている場合、この間を未視聴区間として設定すれば良い。このような場合には、HMD以外の端末、例えば携帯電話やポータブルプレーヤのような機器においても、本発明を適用することが可能である。 Further, an eyeball detection sensor may be provided in front of the display, and viewing / non-viewing may be determined based on the movement of the eyeball. For detecting the movement of the eyeball, for example, it is possible to irradiate the user's eyeball with infrared rays and calculate the user's line-of-sight vector and the target position of the line of sight from the reflected light. When the user's line of sight has deviated from the display for a predetermined time or more, this interval may be set as an unviewed section. In such a case, the present invention can be applied to a terminal other than the HMD, for example, a device such as a mobile phone or a portable player.
なお、未視聴区間の通知タイミングや通知手段は、上記のような通知画面810の表示に限定されない。例えば、コンテンツデータのプレイリスト等を表示する際、リストにアイコンを表示して、利用者に未視聴区間を有するコンテンツデータを通知するような構成としても良い。また、音声やLEDの発光等によって、未視聴区間の存在を通知しても良い。
Note that the notification timing and notification means of the unviewed section are not limited to the display of the
さらに、ダイジェストおよびセグメントの再生中には、現在の再生時刻や、チャプタの番号、および、セグメント繋ぎ部で画像がスキップされることを示すような情報を表示し、利用者に現在の再生位置を知らせるような構成としても良い。 In addition, during playback of digests and segments, the current playback time, chapter number, and information indicating that images will be skipped at the segment link are displayed, and the current playback position is displayed to the user. It is good also as a structure which notifies.
また、利用者がHMD2や図示しないPCによって画像データを録画および生成し、これをサーバ3へと送信(アップロード)して、サーバ3にセグメントを管理させることも可能である。
It is also possible for the user to record and generate image data using the
さらに、本発明のHMDは、退避位置検出信号を受信した際に、表示部16への電力の供給を停止し、不要な電力の消費を抑制することが可能である。
Furthermore, when the HMD of the present invention receives the retracted position detection signal, it can stop supplying power to the
なお、本発明のHMDは、片眼で映像を見る構成となっているが、両眼で映像を見るような構成としても良い。 Note that the HMD of the present invention is configured to view an image with one eye, but may be configured to view an image with both eyes.
1・2:HMD、3:サーバ、10・20:制御装置、11:頭部装着帯、12:音声出力部、13A、13B:筐体、14:支持部、15:アーム部、16:表示部、17:操作部、101:制御部、111:情報取得部、211:信号取得部、112・212:情報通知部、113:画像再生部、213:ストリーミング再生部、102・202:記憶部、103:アーム位置検出部、131:近接センサ、104・303:入出力インターフェース部。
1.2: HMD, 3: server, 10.20: control device, 11: head wearing band, 12: audio output unit, 13A, 13B: housing, 14: support unit, 15: arm unit, 16: display 17: Operation unit 101: Control unit 111: Information acquisition unit 211:
Claims (6)
を備えることを特徴とする端末装置。 Control means for setting an unviewed section of image data from a user's line-of-sight movement, performing notification that the unviewed section is set, and reproducing the unviewed section; Terminal device to do.
前記表示手段の位置から前記表示手段に表示する画像データの未視聴区間を設定して、前記未視聴区間が設定されていることの通知と、前記未視聴区間の再生と、を行う制御手段
を備えることを特徴とするヘッドマウントディスプレイ装置。 Display means;
Control means for setting an unviewed section of image data to be displayed on the display means from the position of the display means, performing notification that the unviewed section is set, and reproduction of the unviewed section; A head mounted display device comprising:
前記制御手段は、前記表示手段の位置が、利用者の眼前以外の位置に移動したと判断してから、利用者の眼前に移動したと判断するまでの間を、未視聴区間として設定する
ことを特徴とするヘッドマウントディスプレイ装置。 The head mounted display device according to claim 2,
The control means sets a period from when it is determined that the position of the display means has moved to a position other than the user's eyes to when it has moved before the user's eyes as an unviewed section. A head-mounted display device.
前記制御手段は、複数の未視聴区間を含むダイジェストの画像データを生成する
ことを特徴とするヘッドマウントディスプレイ装置。 The head-mounted display device according to claim 2 or 3,
The control means generates digest image data including a plurality of unviewed sections. A head-mounted display device, wherein:
前記制御手段は、前記未視聴区間を、前記画像データにチャプタとして設定する
ことを特徴とするヘッドマウントディスプレイ装置。 The head-mounted display device according to claim 2 or 3,
The control unit sets the unviewed section as a chapter in the image data.
前記検出手段によって検出された表示手段の位置から、前記画像データについて、未視聴区間を設定し、複数の前記未視聴区間を含むダイジェストの画像データを生成して、前記ダイジェストの画像データを、ネットワークを介して前記ヘッドマウントディスプレイ装置へ配信する制御手段、を有するサーバと、
を備えることを特徴とするコンテンツ配信システム。 A head mounted display device comprising: display means; detection means for detecting a position of the display means; and control means for notifying an unviewed section existing in image data and reproducing the image data distributed from a server When,
From the position of the display means detected by the detecting means, a non-viewing section is set for the image data, a digest image data including a plurality of the non-viewing sections is generated, and the digest image data is transferred to the network. A server having control means for delivering to the head-mounted display device via
A content distribution system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008138552A JP2009288892A (en) | 2008-05-27 | 2008-05-27 | Head mount display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008138552A JP2009288892A (en) | 2008-05-27 | 2008-05-27 | Head mount display |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009288892A true JP2009288892A (en) | 2009-12-10 |
Family
ID=41458069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008138552A Pending JP2009288892A (en) | 2008-05-27 | 2008-05-27 | Head mount display |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009288892A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081089A (en) * | 2008-09-24 | 2010-04-08 | Nec Personal Products Co Ltd | Information processor and content reminding method |
CN104349009A (en) * | 2013-08-06 | 2015-02-11 | 柯尼卡美能达株式会社 | Display device, non-transitory computer-readable recording medium and image processing apparatus |
JP2016536684A (en) * | 2013-09-04 | 2016-11-24 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Controlling data processing based on the use of wearable display devices |
-
2008
- 2008-05-27 JP JP2008138552A patent/JP2009288892A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081089A (en) * | 2008-09-24 | 2010-04-08 | Nec Personal Products Co Ltd | Information processor and content reminding method |
CN104349009A (en) * | 2013-08-06 | 2015-02-11 | 柯尼卡美能达株式会社 | Display device, non-transitory computer-readable recording medium and image processing apparatus |
JP2015032255A (en) * | 2013-08-06 | 2015-02-16 | コニカミノルタ株式会社 | Display device, display program and image processor |
US9292088B2 (en) | 2013-08-06 | 2016-03-22 | Konica Minolta, Inc. | Display device, non-transitory computer-readable recording medium and image processing apparatus |
CN104349009B (en) * | 2013-08-06 | 2018-01-05 | 柯尼卡美能达株式会社 | Display device, display control method and image processing apparatus |
JP2016536684A (en) * | 2013-09-04 | 2016-11-24 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Controlling data processing based on the use of wearable display devices |
US9772494B2 (en) | 2013-09-04 | 2017-09-26 | Qualcomm Incorporated | Wearable display device use-based data processing control |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109302538B (en) | Music playing method, device, terminal and storage medium | |
CN109756784B (en) | Music playing method, device, terminal and storage medium | |
US8565831B2 (en) | Mobile terminal and method for controlling the same | |
JP5979483B2 (en) | Content reproduction apparatus, content reproduction system, and content reproduction method | |
EP1766971B1 (en) | Mobile personal video recorder | |
BR112013004857B1 (en) | Computer- and system-implemented method of controlling, using a mobile device, presentation of media content performed by a media client, and computer-implemented method of presenting media content from a media client on a display device | |
JP2021505092A (en) | Methods and devices for playing audio data | |
KR20080064176A (en) | Methods and apparatus for metering portable media players | |
CN110149557B (en) | Video playing method, device, terminal and storage medium | |
US11438646B2 (en) | Video play method and apparatus, and device | |
KR101710502B1 (en) | Apparatus and method for playing contents, and apparatus and method for providing contents | |
JP2009288892A (en) | Head mount display | |
KR20160074234A (en) | Display apparatus and method for controlling a content output | |
US8433173B2 (en) | Portable media player system | |
JP4922462B1 (en) | Content playback apparatus and content playback method | |
JP2010233034A (en) | Related content distribution system, user device management server, and computer program | |
JP5277980B2 (en) | Time shift viewing system, time shift viewing method, time shift viewing apparatus and program | |
JP2009288891A (en) | Content and commercial message distribution system, distribution server and reception terminal | |
KR102139331B1 (en) | Apparatus, server, and method for playing moving picture contents | |
JP6201261B2 (en) | Terminal device, control method, and program | |
JP5211955B2 (en) | Terminal device, head-mounted display device, and distribution system | |
JP2005275046A (en) | Picture display device and picture display method | |
KR20150024084A (en) | Operation method of streaming player | |
CN111770373A (en) | Content synchronization method, device and equipment based on live broadcast and storage medium | |
JP5892590B2 (en) | Content receiving system, mounting device, and terminal device |