JP2019086578A - Display of menu and switching of moving images in vr video display system - Google Patents

Display of menu and switching of moving images in vr video display system Download PDF

Info

Publication number
JP2019086578A
JP2019086578A JP2017212881A JP2017212881A JP2019086578A JP 2019086578 A JP2019086578 A JP 2019086578A JP 2017212881 A JP2017212881 A JP 2017212881A JP 2017212881 A JP2017212881 A JP 2017212881A JP 2019086578 A JP2019086578 A JP 2019086578A
Authority
JP
Japan
Prior art keywords
moving image
camera viewpoint
displayed
camera
moving images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017212881A
Other languages
Japanese (ja)
Inventor
勉 上野
Tsutomu Ueno
勉 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nihon Unisys Ltd
Original Assignee
Nihon Unisys Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nihon Unisys Ltd filed Critical Nihon Unisys Ltd
Priority to JP2017212881A priority Critical patent/JP2019086578A/en
Publication of JP2019086578A publication Critical patent/JP2019086578A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To provide a VR video display system that can switch between viewpoints of a plurality of cameras.SOLUTION: A VR video display system is a video display system that selects and displays moving images from a plurality of camera viewpoints 32, 33, 34 in a virtual space, and comprises: a head mounted display 1 that displays the moving images in the virtual space; selection means 35 that selects moving images from a predetermined camera viewpoint, from the moving images from the plurality of camera viewpoints 32, 33, 34 in the moving images displayed on the head mounted display 1; and switching means 16 that switches to the moving images from the camera viewpoint selected by the selection means 35 from the moving images from the plurality of camera viewpoints 32, 33, 34.SELECTED DRAWING: Figure 1

Description

本発明は、ＶＲ動画表示システムに関し、特にＶＲ動画表示システムにおけるメニュー表示と動画切替に関する。   The present invention relates to a VR video display system, and more particularly to menu display and video switching in the VR video display system.

近年、ヘッドマウントディスプレイ（以下、ＨＭＤ）と呼ばれる、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想得空間の画像を表示する装置が知られている。ＨＭＤにてアプリケーション（ゲームや動画表示等）の進行中のメニューの表示、非表示の切換方法として、例えば、ユーザの頭部の動きによる操作でメニューを表示／非表示操作可能なヘッドマウントディスプレイシステムが開示されている（特許文献１参照）。   2. Description of the Related Art In recent years, a device called head mounted display (hereinafter, HMD) is known that is mounted on the head of a user and displays an image of virtual space for the user by a display or the like placed in front of the eye. For example, a head mounted display system capable of displaying / non-displaying a menu by an operation by the movement of the head of a user as a method of switching display / non-display of a menu in progress of an application (game or moving image display) in HMD Are disclosed (see Patent Document 1).

特許第５７６７３８６号公報Patent No. 5767386 gazette

しかしながら、特許文献１では、カメラの視点が１箇所のみであり、ユーザの見るカメラの視点が固定されてしまう。   However, in patent document 1, the viewpoint of a camera is only one place and the viewpoint of the camera which a user looks at will be fixed.

本発明は、上記課題を鑑みて、複数のカメラの視点を切り替えることが可能なＶＲ動画表示システムを提供することを目的とする。   An object of the present invention is to provide a VR moving image display system capable of switching viewpoints of a plurality of cameras in view of the above-mentioned problems.

上記課題を解決するために、本発明のＶＲ動画表示システムは、仮想空間における複数のカメラ視点の動画像を選択表示する動画表示システムであって、前記仮想空間における動画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイに表示された動画像内の複数のカメラ視点の動画像から所定のカメラ視点の動画像を選択する選択手段と、前記複数のカメラ視点の動画像から前記選択手段で選択したカメラ視点の動画像に切り替える切替手段と、を備えることを特徴とする。   In order to solve the above problems, a VR moving image display system according to the present invention is a moving image display system for selectively displaying moving images of a plurality of camera viewpoints in a virtual space, and a head mounted display displaying moving images in the virtual space And selecting means for selecting a moving image of a predetermined camera viewpoint from moving images of a plurality of camera viewpoints in the moving image displayed on the head mounted display, and selecting by the selecting means from moving images of the plurality of camera viewpoints And switching means for switching to a moving image of the camera viewpoint.

本発明によれば、複数のカメラの視点を切り替えることが可能なＶＲ動画表示システムを提供することができる。   According to the present invention, it is possible to provide a VR moving image display system capable of switching the viewpoints of a plurality of cameras.

ＶＲ動画表示システムの全体の概要を示す図である。It is a figure showing an outline of the whole VR animation display system. ＶＲ動画の視聴イメージを示す図である。It is a figure which shows the viewing image of VR moving image. ユーザが頭部を所定の角度下げた際に表示されるメニューを示す図である。It is a figure which shows the menu displayed when a user lowers a head a predetermined angle. 各カメラ視点映像を切り替えた際の各カメラ視点映像を示す図である。It is a figure which shows each camera viewpoint image at the time of switching each camera viewpoint image. カメラ視点映像を切り替える処理を示すフローチャートである。It is a flow chart which shows processing which changes a camera viewpoint picture.

以下、本発明を実施するための最良の形態について図面などを参照して説明する。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings and the like.

図１は、ＶＲ動画表示システムの全体の概要を示す図である。本実施形態に係るＶＲ動画表示システムは、仮想空間における複数のカメラ視点の動画像を選択表示する動画表示システムであって、ユーザ２の頭部に装着するヘッドマウントディスプレイ１を備える。ＨＭＤ１は、制御部１１と、表示部１２と、傾き検出部１３と、計測部１４と、判定部１５と、切替部１６を備える。   FIG. 1 is a diagram showing an overview of the VR moving image display system. The VR moving image display system according to the present embodiment is a moving image display system that selectively displays moving images of a plurality of camera viewpoints in a virtual space, and includes a head mounted display 1 mounted on the head of a user 2. The HMD 1 includes a control unit 11, a display unit 12, an inclination detection unit 13, a measurement unit 14, a determination unit 15, and a switching unit 16.

制御部１１は、表示部１２と、傾き検出部１３と、計測部１４と、判定部１５と、切替部１６の全体を制御する。表示部１２は、ユーザ２の視界を完全に覆うように構成された非透過型の表示装置である。ユーザ２は、表示部１２に表示される画面（動画、ゲーム等）のみを観察することができる。ＨＭＤ１を装着したユーザ２は、ＨＭＤ１の外の視界を全て遮られて、制御部１１において実行されるアプリケーションにより表示される仮想空間に完全に没入することができる。傾き検出部１３は、不図示の傾き検知センサによりユーザ２の頭部に装着されたＨＭＤ１の動きに応じてＨＭＤ１の傾きを検出する。本実施形態では、ユーザ２が直立する方向である重力方向をＺ軸とし、Ｚ軸と直行し表示部１２とユーザ２を結ぶ方向の軸をＸ軸とし、Ｚ軸とＸ軸と直行する方向の軸をＹ軸とする。傾き検出部１３は、各軸の角度や軸周りの角度を検出する。   The control unit 11 controls the whole of the display unit 12, the inclination detection unit 13, the measurement unit 14, the determination unit 15, and the switching unit 16. The display unit 12 is a non-transmissive display device configured to completely cover the view of the user 2. The user 2 can observe only the screen (moving image, game, etc.) displayed on the display unit 12. The user 2 wearing the HMD 1 can completely immerse in the virtual space displayed by the application executed in the control unit 11 while blocking the entire view outside the HMD 1. The tilt detection unit 13 detects the tilt of the HMD 1 according to the movement of the HMD 1 mounted on the head of the user 2 by a tilt detection sensor (not shown). In the present embodiment, a gravity direction which is a direction in which the user 2 stands up is taken as a Z axis, and an axis in a direction connecting the display unit 12 and the user 2 is taken as an X axis and a direction orthogonal to the Z axis and the X axis. Axis is the Y axis. The tilt detection unit 13 detects the angle of each axis and the angle around the axis.

計測部１４は、ＨＭＤ１の動きが止まった（ユーザ２が凝視している）際の時間経過を計測する。例えば、再生中のＨＭＤ１の動きが止まった（所定の閾値（第１の閾値）未満）に計測を開始し、傾き検出部１３により所定の閾値（第２の閾値）以上ＨＭＤ１が動いたことを検出するまでの時間を計測する。そして、計測した時間が所定の時間以上である場合に、そのカメラ視点映像を保存する。例えば、２回目以降の再生の際に保存したカメラ視点映像を再生させてよい。判定部１５は、所定の判定基準に従って判定を行う。具体的には、傾き検出部１３が検出したＨＭＤ１の傾きの角度が所定の値（角度）以上か否かを判定する。切替部１６は、表示部１２に表示される後述のポインタ（選択手段）の選択に応じてカメラ視点の映像を切り替える。   The measurement unit 14 measures an elapsed time when the movement of the HMD 1 stops (the user 2 is staring at). For example, the measurement is started when the motion of the HMD 1 stops during reproduction (less than a predetermined threshold (first threshold)), and the inclination detection unit 13 indicates that the HMD 1 has moved by a predetermined threshold (second threshold) or more. Measure the time until detection. Then, when the measured time is equal to or more than a predetermined time, the camera viewpoint video is stored. For example, the camera viewpoint video image stored during the second and subsequent reproductions may be reproduced. The determination unit 15 performs determination in accordance with a predetermined determination criterion. Specifically, it is determined whether the inclination angle of the HMD 1 detected by the inclination detection unit 13 is equal to or more than a predetermined value (angle). The switching unit 16 switches the image of the camera viewpoint in accordance with the selection of a later-described pointer (selection unit) displayed on the display unit 12.

図２は、本実施形態に係るＶＲ動画の視聴イメージを示す図である。本実施形態では、ＶＲ動画（３６０度動画）として音楽のライブ映像を例として説明する。なお、ＶＲ動画は音楽ライブ映像に限定することなく、例えば、スポーツの映像やゲーム等の他の映像であてよい。図２に示すイメージとしては、音楽のライブ会場でユーザ２がステージ正面にいてライブを楽しむ視聴イメージである。   FIG. 2 is a view showing a viewing image of a VR moving image according to the present embodiment. In this embodiment, a live video of music is described as an example of a VR video (360-degree video). Note that the VR moving image is not limited to a music live image, and may be, for example, a sport image or another image such as a game. The image shown in FIG. 2 is a viewing image in which the user 2 is in front of the stage and enjoys live at a live music venue.

画像２１は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、ステージ正面を視聴している際の画像である。画像２２は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、頭部のみを左方向に向けた際に観られる画像である。画像２３は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、頭部のみを右方向に向けた際に観られる画像である。ユーザ２は、ＨＭＤ１を装着した状態で音楽ライブのＶＲ動画を視聴する際には、頭部を動かすだけで、正面画像のみならず、３６０°の全方位の画像を視聴することができ、自身がそのライブ会場の最前列で音楽ライブを視聴している感覚になる。   An image 21 is an image when the user 2 is viewing the front of the stage while wearing the HMD 1 and watching a VR moving image. The image 22 is an image that can be viewed when only the head is turned left while the user 2 wears the HMD 1 and is viewing a VR moving image. The image 23 is an image that can be viewed when only the head is turned to the right while the user 2 wears the HMD 1 and is watching a VR moving image. The user 2 can view not only the front image but also the 360 ° omnidirectional image by only moving the head when viewing the live VR video while wearing the HMD 1 Feel like you are watching music live at the front row of the live venue.

図３は、ユーザ２がＨＭＤ１を装着した状態で頭部を所定の角度下げた状態で表示されるメニューを示す図である。画像３１は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、頭部を所定の角度下げた際に表示される画像である。画像３１には、第１カメラ視点映像３２と、第２カメラ視点映像３３と、第３カメラ視点映像３４と、ポインタ３５がライブ映像の前面に重ね合わせた状態で表示される。   FIG. 3 is a view showing a menu displayed with the head lowered by a predetermined angle in a state where the user 2 wears the HMD 1. The image 31 is an image displayed when the head is lowered by a predetermined angle in a state where the user 2 wears the HMD 1 and views a VR moving image. The image 31 is displayed with the first camera viewpoint video 32, the second camera viewpoint video 33, the third camera viewpoint video 34, and the pointer 35 superimposed on the front of the live video.

第１カメラ視点映像３２と、第２カメラ視点映像３３と、第３カメラ視点映像３４は、ユーザ２がＨＭＤ１を装着した状態で、頭部を所定の角度だけ下げることにより視覚に入るように予め表示部１２に重ね合わせた状態で表示されている。つまり、傾き検出部１３がＨＭＤ１の傾きを計測し、所定の角度を検出した場合にのみ表示させるのではなく、予め表示している。   The first camera viewpoint video 32, the second camera viewpoint video 33, and the third camera viewpoint video 34 are previously obtained so that the user 2 enters the vision by lowering the head by a predetermined angle with the HMD 1 being worn. It is displayed in a superimposed state on the display unit 12. That is, the inclination detection unit 13 measures the inclination of the HMD 1 and displays it in advance instead of displaying it only when a predetermined angle is detected.

ポインタ３５は、傾き検出部１３がＨＭＤ１の傾きを計測し、所定の角度を検出した場合に表示部１２に表示される。ユーザ２は、所定の角度だけ頭部を下げて各カメラ視点映像とポインタ３５が表示されている状態で、ポインタ３５を移動させて、複数のカメラ視点映像から所望するカメラ視点映像を選択する。そして、切替部１６により選択したカメラ視点映像へ切り替えて表示部１２に表示する。ポインタ３５の選択方法としては、例えば、ポインタ３５が画面中央に表示されており、ユーザ２が頭部を移動させることでポインタ３５移動する方法であってよく、ユーザ２の視線を不図示の検出手段で検出してユーザ２の視線によりポインタ３５を移動する方法であってよい。なお、ポインタ３５の移動方法については、上記の方法に限定しない。   The pointer 35 is displayed on the display unit 12 when the tilt detection unit 13 measures the tilt of the HMD 1 and detects a predetermined angle. The user 2 moves the pointer 35 in a state where each camera viewpoint video and the pointer 35 are displayed by lowering the head by a predetermined angle, and selects a desired camera viewpoint video from a plurality of camera viewpoint videos. Then, the camera viewpoint image selected by the switching unit 16 is switched to be displayed on the display unit 12. As a method of selecting the pointer 35, for example, the pointer 35 may be displayed at the center of the screen, and the user 2 may move the pointer 35 by moving the head, and detection of the line of sight of the user 2 is not shown. It may be detected by the means and the pointer 35 may be moved by the line of sight of the user 2. The method of moving the pointer 35 is not limited to the method described above.

本実施形態では、「Ｎｏｗ Ｐｌａｙｉｎｇ」が現在ＶＲ動画としてユーザ２が視聴しているカメラ視点の映像が第１カメラ視点映像３２の映像であることを示す。ここで、カメラ視点とは、音楽ライブ会場にて観覧席を切り替える視点であることを示す。つまり、本実施形態において、第１カメラ視点映像３２は、音楽ライブ会場にて会場の正面で観覧する場合の視点を示し、第２カメラ視点映像３３は、音楽ライブ会場にて会場のステージ正面左で観覧する場合の視点を示し、第３カメラ視点映像３４は、音楽ライブ会場にて会場のステージ正面右で観覧する場合の視点を示す。   In the present embodiment, “Now Playing” indicates that the video of the camera viewpoint currently viewed by the user 2 as a VR moving image is the video of the first camera viewpoint video 32. Here, a camera viewpoint indicates that it is a viewpoint which changes a seat in a music live hall. That is, in the present embodiment, the first camera viewpoint video 32 shows the viewpoint when viewing in front of the venue at the music live venue, and the second camera viewpoint video 33 is left front of the venue stage at the music live venue The third camera viewpoint video 34 shows the viewpoint for viewing at the stage front right of the venue at the live music venue.

図４は、各カメラ視点映像を切り替えた際の各カメラ視点映像を示す図である。画像４２は、第１カメラ視点映像３２の動画像であり、画像４３は、第２カメラ視点映像３３の動画像であり、画像４４は、第３カメラ視点映像３４の動画像である。ユーザ２は、ポインタ３５により所望のカメラ視点映像を選択し、切替部１６により選択したカメラ視点映像に切り替えて表示部１２に表示することで、所望の位置で音楽ライブを観覧している状態となる。本実施形態では、ポインタ３５を用いてユーザ２の所望するカメラ視点映像を選択しているが、これに限定することなく、所定のタイミングで自動的にカメラ視点映像を切り替えてもよい。   FIG. 4 is a diagram showing each camera viewpoint video when switching each camera viewpoint video. The image 42 is a moving image of the first camera viewpoint video 32, the image 43 is a moving image of the second camera viewpoint video 33, and the image 44 is a moving image of the third camera viewpoint video 34. The user 2 selects a desired camera viewpoint video by using the pointer 35, switches to the camera viewpoint video selected by the switching unit 16, and displays it on the display unit 12, so that music live is viewed at the desired position. Become. In the present embodiment, the camera viewpoint video desired by the user 2 is selected using the pointer 35, but the camera viewpoint video may be automatically switched at a predetermined timing without being limited to this.

図５は、ポインタ３５を用いてカメラ視点映像を切り替える処理を示すフローチャートである。まず、ステップＳ５０１で、不図示のサーバから映像がストリーミング配信されてＶＲ動画が再生される。ＶＲ動画の再生のタイミングについては、例えば、ユーザ２がＨＭＤ１を装着したタイミングであってよく、ユーザ２がＨＭＤ１を装着した状態で所定のボタンを押したタイミグであってよく、そのタイミングについては、限定しない。   FIG. 5 is a flowchart showing the process of switching the camera viewpoint video using the pointer 35. First, in step S501, video is distributed by streaming from a server (not shown) and a VR video is played back. The timing at which the VR moving image is played may be, for example, the timing at which the user 2 wears the HMD 1, and may be the timing at which the user 2 presses the predetermined button in the state wearing the HMD 1. Not limited

また、再生するＶＲ動画については、最初の再生の場合はデフォルトのＶＲ動画であってよい。また、２回目以降にＶＲ動画を再生する場合には、それまで再生したＶＲ動画において、計測部１４で計測したユーザ２の視聴時間や凝視時間が長いカメラ視点映像を選択して再生してもよい。具体的には、最初に再生する場合には、図４に示す第１カメラ視点映像３２の画像４２を再生する。そして、２回目以降は、ユーザ２の視聴時間や凝視時間が長いカメラ視点映像を選択して再生する。具体的には、前回までの再生で、計測部１４が計測した第２カメラ視点映像３３の画像４３を凝視する時間が一定時間以上である場合（つまり、ＨＭＤ１に表示される動画像の所定の領域が所定の時間以上連続して表示された場合）、ステップＳ５０１で第２カメラ視点映像３３の画像４３を再生する。   Also, for the VR video to be played back, in the case of the first playback, it may be the default VR video. In addition, in the case of reproducing the VR moving image for the second time or later, even if the user 2's viewing time and gaze time long measured by the measuring unit 14 are selected and reproduced in the VR moving image reproduced up to that point. Good. Specifically, in the case of the first reproduction, the image 42 of the first camera viewpoint video 32 shown in FIG. 4 is reproduced. Then, after the second time, the camera viewpoint video with a long viewing time and fixation time of the user 2 is selected and reproduced. Specifically, in the case where the time to gaze at the image 43 of the second camera viewpoint video image 33 measured by the measurement unit 14 in the reproduction up to the previous time is equal to or longer than a predetermined time (that is, the predetermined moving image displayed on the HMD 1 When the area is continuously displayed for a predetermined time or more), the image 43 of the second camera viewpoint video 33 is reproduced in step S501.

次に、ステップＳ５０２で、判定部１５は、傾き検出部１３が所定の角度を検出したか否かを判定する。具体的には、Ｘ軸とＺ軸の間の角度（ユーザ２が正面を向いた状態を０°とし、正面を向いた状態から下向き方向（地面を見る方向）の角度θ）を検出し、角度θが所定の角度αを超えたか否かを判定する。ステップＳ５０２で判定部１５が、傾き検出部１３が検出したＨＭＤ１の角度θが所定の角度αを超えたと判定した場合（Ｙｅｓ）、ステップＳ５０３に進み、所定の角度αを超えていないと判定した場合（Ｎｏ）、そのままＶＲ動画を再生し続ける。   Next, in step S502, the determination unit 15 determines whether the tilt detection unit 13 has detected a predetermined angle. Specifically, the angle between the X axis and the Z axis (with the user 2 facing in the front direction as 0 °, the angle θ in the downward direction (the direction looking at the ground) from the state facing the front) is detected, It is determined whether the angle θ exceeds a predetermined angle α. When the determination unit 15 determines in step S502 that the angle θ of the HMD 1 detected by the inclination detection unit 13 exceeds the predetermined angle α (Yes), the process proceeds to step S503, and it is determined that the predetermined angle α is not exceeded. If (No), the VR video continues to be played as it is.

次に、ステップＳ５０３で、表示部１２にポインタ３５が再生中のＶＲ動画に重ね合わせて表示される。この時、図３に示すように、各カメラ視点映像は、表示部１２に予め再生中のＶＲ動画に重ね合わせて表示されているものとする。次に、ステップＳ５０４で、ポインタ３５により、カメラ視点映像が選択されたか否かを判定する。具体的には、判定部１５が、ポインタ３５で第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４の中から、表示中のカメラ視点映像以外のいずれかのカメラ視点映像を選択したか否かを判定する。   Next, in step S503, the pointer 35 is displayed on the display unit 12 so as to be superimposed on the VR moving image being reproduced. At this time, as shown in FIG. 3, it is assumed that each camera viewpoint video is superimposed on the VR moving image currently being reproduced on the display unit 12 in advance. Next, in step S504, it is determined by the pointer 35 whether or not a camera viewpoint video is selected. More specifically, the determination unit 15 uses the pointer 35 to select one of the first camera viewpoint video 32, the second camera viewpoint video 33, and the third camera viewpoint video 34. It is determined whether an image has been selected.

ステップＳ５０４で判定部１５が再生中のカメラ視点映像以外の所定のカメラ視点映像を選択したと判定した場合（Ｙｅｓ）、ステップＳ５０５に進み、再生中のカメラ視点映像以外の所定のカメラ視点映像を選択していないと判定した場合（Ｎｏ）、そのままＶＲ動画を再生し続ける。次に、ステップＳ５０５で、切替部１６により、選択した所定のカメラ視点映像に切り替えて表示部１２に表示させて処理を終了する。   If it is determined in step S504 that the determination unit 15 selects a predetermined camera viewpoint video other than the camera viewpoint video being reproduced (Yes), the process proceeds to step S505, and the predetermined camera viewpoint video other than the camera viewpoint video being reproduced If it is determined that the video is not selected (No), the VR moving image continues to be played as it is. Next, in step S505, the switching unit 16 switches to the selected predetermined camera viewpoint video image, causes the display unit 12 to display the image, and the process ends.

以上、本実施形態によれば、複数のカメラの視点の映像を切り替えることが可能なＶＲ動画表示システムを提供することができる。これにより、ユーザ２がＨＭＤ１を装着した状態で音楽ライブのライブ会場の複数の場所で音楽ライブを観覧しているような感覚になることができる。   As described above, according to the present embodiment, it is possible to provide a VR moving image display system capable of switching images of viewpoints of a plurality of cameras. This makes it possible for the user 2 to feel as if he / she is watching music live at a plurality of places of the live venue of the music live while wearing the HMD 1.

本実施形態では、再生中のＶＲ動画に選択用の第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４を重ねて表示させているが、これに限定することなく、例えば、カメラ視点映像以外の早送りや２倍速、スロー、スキップなどのメニューを表示させてもよい。   In the present embodiment, the first camera viewpoint video 32 for selection, the second camera viewpoint video 33, and the third camera viewpoint video 34 are superimposed and displayed on the VR moving image being reproduced, but the present invention is not limited thereto. For example, menus such as fast forward, double speed, slow, and skip other than camera viewpoint video may be displayed.

また、本実施形態では、音楽ライブのＶＲ動画を用いて説明したが、これに限定することなく、例えば、スポーツの映像やゲーム等の他の映像であてよい。スポーツ映像の場合は、野球観戦であれば、１塁側、３塁側、バックスタンド、バックネット裏等のカメラ視点映像を切り替えてよく、バドミントンであれば、各コートからの視点や審判の視点等のカメラ視点映像を切り替えてよい。ゲームの映像の場合、登場人物の目線に応じたカメラ視点映像を切り替えてもよい。   Further, although the present embodiment has been described using live music VR moving images, the present invention is not limited to this, and may be, for example, other images such as sports videos and games. In the case of sports video, if you are watching a baseball game, you may switch the camera viewpoint video such as the first base, the third base, the back stand, the back net back etc. You may switch camera viewpoint video such as. In the case of the video of the game, the camera viewpoint video may be switched according to the gaze of the character.

また、本実施形態では、ポインタ３５を用いて複数のカメラ視点映像からユーザ２の所望するカメラ視点映像を選択して切り替えているが、これに限定することなく、所定のタイミングで自動的に切り替えてもよい。具体的には、ＨＭＤ１が閾値以上の動きが無い状態で、計測部１４が一定時間以上の時間を計測した場合に、その画像の中央の所定座標を追尾する対象と設定する。そして、追尾する対象の動きに応じて自動的にカメラ視点映像を切り替えてもよい。つまり、図４に示す第３カメラ視点３４の画像４４を再生中に追尾する対象を設定した場合、当該追尾対象がステージ上で、例えば、ステージ正面右（第３カメラ視点映像３４）からステージ正面左（第２カメラ視点映像３３）に移ると、自動的に第２カメラ視点映像３３の画像４３に切り替わる。   Further, in the present embodiment, the camera viewpoint video desired by the user 2 is selected and switched from the plurality of camera viewpoint videos using the pointer 35, but the present invention is not limited to this, and switching is automatically performed at a predetermined timing. May be Specifically, when the measuring unit 14 measures a time longer than or equal to a predetermined time in a state where the HMD 1 does not move more than a threshold, a predetermined coordinate at the center of the image is set as an object to be tracked. Then, the camera viewpoint video may be switched automatically according to the movement of the target to be tracked. That is, when the target to be tracked is set during playback of the image 44 of the third camera viewpoint 34 shown in FIG. 4, the tracking target is the stage front right from the stage front right (third camera viewpoint video 34) When shifting to the left (the second camera viewpoint video 33), the image is automatically switched to the image 43 of the second camera viewpoint video 33.

また、本実施形態では、再生中のＶＲ動画像上に第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４を重ねて表示させているが、例えば、課金額に応じて選択するカメラ視点映像の個数を変更してもよい。具体的には、課金のランク付けをする（例えば、高額課金をしたユーザ２は、ランクＡのユーザ、少額課金をしたユーザ２は、ランクＢのユーザとする）。この場合、ランクＡのユーザは、再生中のＶＲ動画に第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４を重ねて表示させる。一方、ランクＢのユーザについては、再生可能なＶＲ動画を第１カメラ視点映像３２のみとし、他のカメラ視点映像を表示させず、ポインタ３５も表示させない。ユーザ２の課金ランクについては、不図示のサーバに予め課金ランクを登録している状態で、ステップＳ５０１でサーバからストリーミング配信をする際に課金のランクを判定し、判定結果に応じて、ストリーミング配信を行ってもよい。   Further, in the present embodiment, the first camera viewpoint video 32, the second camera viewpoint video 33, and the third camera viewpoint video 34 are superimposed and displayed on the VR moving image being reproduced. The number of camera viewpoint images to be selected may be changed. Specifically, the billing is ranked (for example, the user 2 who has a high price is a user of rank A, and the user 2 who has a low fee is a user of rank B). In this case, the user of rank A superimposes and displays the first camera viewpoint video 32, the second camera viewpoint video 33, and the third camera viewpoint video 34 on the VR moving image being reproduced. On the other hand, for the user of rank B, the reproducible VR moving image is only the first camera viewpoint video 32, and no other camera viewpoint video is displayed, and the pointer 35 is not displayed either. With regard to the charging rank of user 2, in a state where the charging rank is registered in advance in the server (not shown), the rank of charging is determined when streaming is distributed from the server in step S501, and streaming distribution is performed according to the determination result. You may

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。   Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the present invention.

１ ＨＭＤ（ヘッドマウントディスプレイ）
１６ 切替部
３２ 第１カメラ視点映像
３３ 第２カメラ視点映像
３４ 第３カメラ視点映像
３５ ポインタ 1 HMD (head mounted display)
16 switching unit 32 first camera viewpoint video 33 second camera viewpoint video 34 third camera viewpoint video 35 pointer

Claims (5)

仮想空間における複数のカメラ視点の動画像を選択表示する動画表示システムであって、
前記仮想空間における動画像を表示するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイに表示された動画像内の複数のカメラ視点の動画像から所定のカメラ視点の動画像を選択する選択手段と、
前記複数のカメラ視点の動画像から前記選択手段で選択したカメラ視点の動画像に切り替える切替手段と、
を備える
ことを特徴とするＶＲ動画表示システム。 A moving image display system for selectively displaying moving images of a plurality of camera viewpoints in a virtual space, comprising:
A head mounted display for displaying a moving image in the virtual space;
Selecting means for selecting a moving image of a predetermined camera viewpoint from moving images of a plurality of camera viewpoints in the moving image displayed on the head mounted display;
Switching means for switching from moving images of the plurality of camera viewpoints to moving images of the camera viewpoint selected by the selecting device;
A VR video display system comprising: 前記複数のカメラ視点の動画像は、表示手段で表示中の動画像上に予め動画像の所定の位置に重ねて表示されており、前記選択手段は、前記重ねて表示されている複数のカメラ視点の動画像から、いずれか１つのカメラ視点の動画像を選択する
ことを特徴とする請求項１に記載のＶＲ動画表示システム。 The moving images of the plurality of camera viewpoints are displayed in advance in a predetermined position of the moving image on the moving image being displayed by the display unit, and the selecting unit is configured to display the plurality of cameras displayed in an overlapping manner. The VR moving image display system according to claim 1, wherein a moving image of any one camera viewpoint is selected from the moving images of the viewpoint. 前記選択手段は、前記検出手段により検出された傾きが下向き方向に所定の角度以上である場合に、表示される
ことを特徴とする請求項２に記載のＶＲ動画表示システム。 The VR moving image display system according to claim 2, wherein the selection unit is displayed when the inclination detected by the detection unit is equal to or more than a predetermined angle in the downward direction. 前記切替手段は、前記ヘッドマウントディスプレイに表示される動画像の所定の領域が所定の時間以上連続して表示された場合に、前記所定の領域に応じて動画像に切り替える
ことを特徴とする請求項１〜３のいずれか１項に記載の動画表示システム。 The switching unit switches to a moving image according to the predetermined area when the predetermined area of the moving image displayed on the head mount display is continuously displayed for a predetermined time or more. The video display system according to any one of Items 1 to 3. 前記複数のカメラ視点動画像は、ユーザへの課金額に応じて表示する個数が決定される
ことを特徴とする請求項１〜４のいずれか１項に記載の動画表示システム。


The moving image display system according to any one of claims 1 to 4, wherein the number of the plurality of camera viewpoint moving images to be displayed is determined according to a charging amount for the user.


JP2017212881A 2017-11-02 2017-11-02 Display of menu and switching of moving images in vr video display system Pending JP2019086578A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017212881A JP2019086578A (en) 2017-11-02 2017-11-02 Display of menu and switching of moving images in vr video display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017212881A JP2019086578A (en) 2017-11-02 2017-11-02 Display of menu and switching of moving images in vr video display system

Publications (1)

Publication Number Publication Date
JP2019086578A true JP2019086578A (en) 2019-06-06

Family

ID=66764198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017212881A Pending JP2019086578A (en) 2017-11-02 2017-11-02 Display of menu and switching of moving images in vr video display system

Country Status (1)

Country Link
JP (1) JP2019086578A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261099A1 (en) * 2020-06-23 2021-12-30 ソニーグループ株式会社 Information processing device, display range determination method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261099A1 (en) * 2020-06-23 2021-12-30 ソニーグループ株式会社 Information processing device, display range determination method, and program

Similar Documents

Publication Publication Date Title
US20220283632A1 (en) Iinformation processing apparatus, image generation method, and computer program
JP6511386B2 (en) INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD
WO2018051815A1 (en) Information processing apparatus and method and program
US8330793B2 (en) Video conference
US20150201134A1 (en) System and media interface for multi-media production
TWI669635B (en) Method and device for displaying barrage and non-volatile computer readable storage medium
CN109729365A (en) A kind of method for processing video frequency, device and intelligent terminal, storage medium
CN102111542B (en) Image processing apparatus, imaging apparatus and image processing method
US11865448B2 (en) Information processing apparatus and user guide presentation method
US20180249075A1 (en) Display method and electronic device
WO2021044745A1 (en) Display processing device, display processing method, and recording medium
US11521346B2 (en) Image processing apparatus, image processing method, and storage medium
JP2019012441A (en) Program executed on computer for providing virtual space, information processing apparatus, and method for providing virtual space
WO2009035199A1 (en) Virtual studio posture correction machine
US20230276098A1 (en) Method, apparatus and computer program product for presenting a sporting event
JP2017173252A (en) Image processing apparatus, image processing method, and image processing program
US12001645B2 (en) Methods, systems, and media for presenting media content previews
JP2024079736A (en) Image display device, control method, and program
US20210385554A1 (en) Information processing device, information processing method, and information processing program
US20200257112A1 (en) Content generation apparatus and method
JP2019086578A (en) Display of menu and switching of moving images in vr video display system
JP6164780B2 (en) A moving image processing apparatus, a moving image processing method, a moving image processing program, and a moving image processing display system.
WO2019235106A1 (en) Heat map presentation device and heat map presentation program
US20210082174A1 (en) Image processing apparatus, image processing method, and storage medium
US20230396748A1 (en) Image processing apparatus, image processing method, and storage medium