JP2012151688A - Video reproduction device and method of controlling the same, program, and storage medium - Google Patents
Video reproduction device and method of controlling the same, program, and storage medium Download PDFInfo
- Publication number
- JP2012151688A JP2012151688A JP2011009196A JP2011009196A JP2012151688A JP 2012151688 A JP2012151688 A JP 2012151688A JP 2011009196 A JP2011009196 A JP 2011009196A JP 2011009196 A JP2011009196 A JP 2011009196A JP 2012151688 A JP2012151688 A JP 2012151688A
- Authority
- JP
- Japan
- Prior art keywords
- video
- viewpoint
- shooting
- audio data
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、デジタル放送波などを受信再生する技術に関する。 The present invention relates to a technique for receiving and reproducing digital broadcast waves and the like.
現在、複数のカメラで異なる視点位置から被写体を撮影した多数の映像(以下、多視点映像)を用いて任意の視点位置の映像を補間・再構成することで、本来撮影されていない視点での映像を生成する任意視点映像生成技術の研究が行われている。 Currently, by interpolating and reconstructing images at arbitrary viewpoint positions using multiple images (hereinafter referred to as multi-view images) obtained by shooting subjects from different viewpoint positions with multiple cameras, Research on arbitrary viewpoint video generation technology that generates video has been conducted.
また、その任意視点映像を実際に標準映像の放送番組などと連携してサービスすることも検討されており、特許文献1には標準映像の放送番組と任意視点映像とを切り替える技術が開示されている。特許文献1は、標準映像のカメラの位置などをメタデータとして送出することにより、ユーザが標準映像から任意視点映像に切り替えた際に、任意視点情報を生成し、その情報から任意視点映像を得るものである。 In addition, it is also considered that the arbitrary viewpoint video is actually serviced in cooperation with a standard video broadcast program. Patent Document 1 discloses a technology for switching between a standard video broadcast program and an arbitrary viewpoint video. Yes. Japanese Patent Laid-Open No. 2004-133867 generates the arbitrary viewpoint information when the user switches from the standard video to the arbitrary viewpoint video by transmitting the position of the standard video camera as metadata, and obtains the arbitrary viewpoint video from the information. Is.
また、特許文献2には複数のカメラと複数のマイクによって被写体を複数の方向から記録した多視点映像及び多聴点音声から、ユーザが所望の映像と音声を選択して視聴できるようにした技術が開示されている。 Patent Document 2 discloses a technique that allows a user to select and view desired video and audio from multi-view video and multi-view audio obtained by recording a subject from a plurality of directions using a plurality of cameras and a plurality of microphones. Is disclosed.
上述した従来技術を用いることにより、ユーザが視点位置を自由に変更して、特定の競技や被写体の映像や音声を好きな画角から視聴することが可能になる。例えば、スポーツ中継を例に取ると、自分の好きな選手や競技を常に追跡して見ることができる。また、オリンピックのような1つの競技場で複数の競技が同時に進行するような場合でも、好きなタイミングで自由に競技エリアを切り替えて視聴することができる。 By using the above-described conventional technology, the user can freely change the viewpoint position and view a specific game or video or sound of a subject from a desired angle of view. For example, taking a sports broadcast as an example, you can always track and watch your favorite players and competitions. In addition, even in the case where a plurality of competitions proceed simultaneously in one stadium such as the Olympics, the competition areas can be freely switched and viewed at any time.
しかし、ユーザが任意に指定した場所や方向での任意視点映像を視聴する場合、映像の視点の切り替えに応じて音声を切り替える際に、複数の音声データが存在すると、どの音声を選択したらよいかわからないという問題がある。 However, when viewing an arbitrary viewpoint video in a location or direction arbitrarily specified by the user, if there are multiple audio data when switching audio according to the video viewpoint switching, which audio should be selected? There is a problem of not knowing.
本発明は、上記課題に鑑みてなされ、その目的は、視点を切り替えた映像に複数の音声が存在する場合に、映像の視点を変更した結果に応じて、適した音声に容易に切り替えることが可能な音声切替技術を実現することである。 The present invention has been made in view of the above problems, and its purpose is to easily switch to a suitable sound according to the result of changing the viewpoint of the video when there are multiple sounds in the video whose viewpoint has been switched. It is to realize a possible voice switching technology.
上記課題を解決し、目的を達成するために、本発明の映像再生装置は、ネットワークを介して受信した映像データおよび音声データを再生する映像再生装置であって、複数の異なる視点位置から少なくとも1つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する任意視点映像取得手段と、ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有する。 In order to solve the above problems and achieve the object, a video playback apparatus according to the present invention is a video playback apparatus that plays back video data and audio data received via a network, and at least one from a plurality of different viewpoint positions. Arbitrary viewpoint video data that captures one shooting area and audio data assigned to each shooting area, operation means that receives an instruction to change the viewpoint position of the shooting area by a user, Calculation means for calculating the number of shooting areas existing in an arbitrary viewpoint video shot from the viewpoint position changed by the operation means, and a plurality of shooting areas existing in the arbitrary viewpoint video as a result of calculation by the calculation means If there are multiple pieces of audio data assigned to each video, the audio data corresponding to the priority order determined for each arbitrary viewpoint video Having a voice switching means for selecting.
本発明によれば、視聴している任意視点映像の内容に応じて音声の切替方法が変わるため、ユーザは容易に音声を切り替えることができる。また、視聴している映像とは無関係の音声に切り替ってしまうことを防ぐことができる。 According to the present invention, since the audio switching method changes according to the content of the arbitrary viewpoint video being viewed, the user can easily switch the audio. Further, it is possible to prevent switching to sound unrelated to the video being viewed.
以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。 The best mode for carrying out the present invention will be described in detail below. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment. Moreover, you may comprise combining suitably one part of each embodiment mentioned later.
[実施形態1]以下に、本発明の映像再生装置を実現する実施形態1のデジタル放送受信装置について説明する。 [Embodiment 1] A digital broadcast receiving apparatus according to Embodiment 1 for realizing the video reproduction apparatus of the present invention will be described below.
実施形態1では、標準映像の放送番組をデジタル放送波で受信すると共に、複数のカメラで被写体を異なる方向から撮影した任意視点映像データを受信する構成について説明する。なお、任意視点映像データの取得方法や取得経路は、本実施形態で説明する手法に限定されるものではなく、同様の情報が取得できれば他の方法や経路であってもよい。 In the first embodiment, a configuration in which a standard video broadcast program is received by a digital broadcast wave and arbitrary viewpoint video data obtained by photographing a subject from different directions with a plurality of cameras will be described. In addition, the acquisition method and acquisition path | route of arbitrary viewpoint video data are not limited to the method demonstrated in this embodiment, The other method and path | route may be sufficient if the same information can be acquired.
<デジタル放送受信装置の構成>図1を参照して、実施形態1のデジタル放送受信装置の構成について説明する。 <Configuration of Digital Broadcast Receiving Apparatus> The configuration of the digital broadcast receiving apparatus according to the first embodiment will be described with reference to FIG.
図1において、デジタル放送受信装置100は、放送局から放送された標準映像を受信し、表示するブロックと、任意視点映像データを受信し、任意視点映像を生成して表示するブロックと、視点の変更に沿って音声を切り替えるブロック、とを備える。 In FIG. 1, a digital broadcast receiving apparatus 100 receives a standard video broadcast from a broadcasting station, displays a block, receives arbitrary viewpoint video data, generates an arbitrary viewpoint video, and displays a block. And a block for switching voices in accordance with the change.
ここで、標準映像を受信し表示するブロックについて説明する。 Here, a block for receiving and displaying a standard video will be described.
デジタル放送受信装置100はデジタル放送局から放送された放送番組をチューナ部101で受信する。 The digital broadcast receiving apparatus 100 receives a broadcast program broadcast from a digital broadcast station by the tuner unit 101.
リモコン116とリモコンコード受信・解釈部115は、ユーザからの入力操作を解釈し、チャンネル選局指示の場合はチューナ部101に選局指示を送出する。 The remote control 116 and the remote control code reception / interpretation unit 115 interpret the input operation from the user, and send a channel selection instruction to the tuner unit 101 in the case of a channel channel selection instruction.
チューナ部101は、設定された周波数情報に応じて、周波数のチューニングを行い、デジタル放送信号を受信し、その信号を復調部102に出力する。 The tuner unit 101 performs frequency tuning according to the set frequency information, receives a digital broadcast signal, and outputs the signal to the demodulation unit 102.
復調部102は入力されたデジタル放送信号に対し、復調、誤り訂正等の処理を行い、トランスポートストリーム(TS)を形成する。そして、そのTSはTS処理部103に入力される。 The demodulator 102 performs processes such as demodulation and error correction on the input digital broadcast signal to form a transport stream (TS). Then, the TS is input to the TS processing unit 103.
TS処理部103は入力されたTSから、映像、音声、番組情報等を分離させる。分離された映像データの内、標準映像に関しては、標準映像処理部106へ出力して映像復号化処理を行い、映像出力部107に送出される。また、音声データは音声処理部104へ出力し復号化処理を行って音声出力部105に送出される。 The TS processing unit 103 separates video, audio, program information, and the like from the input TS. Among the separated video data, the standard video is output to the standard video processing unit 106 to perform video decoding processing, and is sent to the video output unit 107. Also, the audio data is output to the audio processing unit 104, decoded, and sent to the audio output unit 105.
映像出力部107は、復号された映像データを表示部(不図示)に適した表示解像度、表示色数、リフレッシュレート、表示タイミングに変換して、不図示の表示部(モニタ等)へ出力する。 The video output unit 107 converts the decoded video data into a display resolution, the number of display colors, a refresh rate, and a display timing suitable for a display unit (not shown), and outputs the converted data to a display unit (a monitor or the like) not shown. .
音声出力部105は、音声データの出力レベル(音量)等を変更する機能を有し、スピーカ等へ音声データを出力する。 The audio output unit 105 has a function of changing an output level (sound volume) of audio data and outputs audio data to a speaker or the like.
次に、任意視点映像データを受信し、任意視点映像を生成して表示するブロックについて説明する。 Next, a block that receives arbitrary viewpoint video data and generates and displays an arbitrary viewpoint video will be described.
TS処理部103は、リモコン116及びリモコンコード受信・解釈部115からユーザの任意視点映像表示の指示を受け取ると、分離された映像データから、任意視点映像データを任意視点映像生成部108に送出する。 When the TS processing unit 103 receives a user's instruction to display an arbitrary viewpoint video from the remote controller 116 and the remote control code reception / interpretation unit 115, the TS processing unit 103 sends the arbitrary viewpoint video data from the separated video data to the arbitrary viewpoint video generation unit 108. .
任意視点映像生成部108は、視点制御部110から視点の位置や視野角といった視点情報を取得し、その視点情報と任意視点映像データから任意視点映像を生成する。そして、その映像を映像出力部107に送出する。 The arbitrary viewpoint video generation unit 108 acquires viewpoint information such as a viewpoint position and a viewing angle from the viewpoint control unit 110, and generates an arbitrary viewpoint video from the viewpoint information and arbitrary viewpoint video data. Then, the video is sent to the video output unit 107.
視点制御部110は、リモコン116及びリモコンコード受信・解釈部115から標準映像から任意視点への変更指示や任意視点位置の変更指示を受け取ると、エリア情報取得部109から取得した座標空間を用いて変更先の視点情報を算出して任意視点映像生成部108に送出する。 When the viewpoint control unit 110 receives an instruction to change from the standard video to an arbitrary viewpoint or an instruction to change the arbitrary viewpoint position from the remote control 116 and the remote control code reception / interpretation unit 115, the viewpoint control unit 110 uses the coordinate space acquired from the area information acquisition unit 109. The viewpoint information of the change destination is calculated and sent to the arbitrary viewpoint video generation unit 108.
映像出力部107は、任意視点映像生成部108から送出された任意視点映像を不図示の表示部に表示するように出力する。 The video output unit 107 outputs the arbitrary viewpoint video sent from the arbitrary viewpoint video generation unit 108 so as to be displayed on a display unit (not shown).
次に、視点の変更に沿って音声を切り替えるブロックについて説明する。 Next, a block for switching sound along with a change in viewpoint will be described.
TS処理部103は、リモコン116及びリモコンコード受信・解釈部115からユーザの任意視点映像表示の指示を受け取ると、番組情報をエリア情報取得部109に送出する。 When the TS processing unit 103 receives a user's instruction to display an arbitrary viewpoint video from the remote control 116 and the remote control code reception / interpretation unit 115, the TS processing unit 103 sends program information to the area information acquisition unit 109.
視点制御部110は、リモコン116及びリモコンコード受信・解釈部115を通じて、任意視点映像の視点の位置を決定する指示を受け取ると、視点情報をエリア数算出部111へ送出する。 When the viewpoint control unit 110 receives an instruction to determine the position of the viewpoint of the arbitrary viewpoint video through the remote control 116 and the remote control code reception / interpretation unit 115, the viewpoint control unit 110 sends the viewpoint information to the area number calculation unit 111.
エリア情報取得部109は、取得した番組情報から任意視点映像に映し出される範囲内におけるエリア情報を取得する。本実施形態では、エリア情報として、図2に示すような座標情報を取得するものとして説明する。図2は、競技場を真上から見た図(Z軸方向からXY平面を見た図)であり、原点(X座標、Y座標、Z座標=0、0、0)を中心に座標空間を示している。また、この例では3つの競技エリア(撮影エリア)の座標、及び各エリアの競技種目名と対応した音声ストリームを示す情報も含まれている。 The area information acquisition unit 109 acquires area information within a range displayed on an arbitrary viewpoint video from the acquired program information. In the present embodiment, description will be made assuming that coordinate information as shown in FIG. 2 is acquired as area information. FIG. 2 is a view of the stadium viewed from directly above (view of the XY plane from the Z-axis direction), and a coordinate space centered on the origin (X coordinate, Y coordinate, Z coordinate = 0, 0, 0). Is shown. Also, in this example, information indicating the audio streams corresponding to the coordinates of the three competition areas (shooting areas) and the competition item names in each area is also included.
エリア数算出部111は、視点制御部110から視点情報を、エリア情報取得部109からエリア情報を受け取り、ユーザが視聴している任意視点映像内に映っている競技エリアの数を算出する。 The area number calculation unit 111 receives the viewpoint information from the viewpoint control unit 110 and the area information from the area information acquisition unit 109, and calculates the number of competition areas shown in the arbitrary viewpoint video that the user is viewing.
音声切替制御部112は、エリア数算出部111から受け取った競技エリアの数に応じて音声の切り替えを行う。競技エリアの数が1つの場合は、エリア情報取得部109からエリア情報を受け取り、そのエリアに対応する音声ストリームを受信するようにチューナ部101に指示する。一方、エリア数が複数の場合は、音声切替リスト作成部113へ音声切替リストの作成要求を送出する。そして、音声切替リスト表示制御部114は音声切替リスト作成部113が作成したリストをユーザが選択可能に表示画面に表示するように制御する。音声切替制御部112は、表示されたリストを用いてユーザによって選択された音声ストリームの情報をリモコンコード受信部から受け取り、チューナ部101にその音声ストリームを受信するように指示する。 The audio switching control unit 112 performs audio switching according to the number of competition areas received from the area number calculation unit 111. When the number of competition areas is one, it receives area information from the area information acquisition unit 109 and instructs the tuner unit 101 to receive an audio stream corresponding to the area. On the other hand, when there are a plurality of areas, a voice switching list creation request is sent to the voice switching list creation unit 113. Then, the voice switching list display control unit 114 performs control so that the list created by the voice switching list creation unit 113 is displayed on the display screen so that the user can select it. The audio switching control unit 112 receives information on the audio stream selected by the user from the displayed list from the remote control code receiving unit, and instructs the tuner unit 101 to receive the audio stream.
音声切替リスト作成部113は、エリア情報取得部109からエリア情報を受け取り、エリア数算出部111から視聴中の競技エリアの数とその競技種目名を取得し、競技エリアに対応する音声ストリームのリストを作成する。そして、音声切替リスト表示制御部114にリストの表示要求を送出する。加えて、ユーザからリストの並び方の優先順位設定をリモコン116及びリモコンコード受信・解釈部115を通じて受け付け、設定に応じたリストの並び替えを行う。 The audio switching list creation unit 113 receives area information from the area information acquisition unit 109, acquires the number of competition areas being viewed and the competition item names from the area number calculation unit 111, and lists audio streams corresponding to the competition areas Create Then, a list display request is sent to the voice switching list display control unit 114. In addition, the priority setting of how the list is arranged is received from the user through the remote control 116 and the remote control code reception / interpretation unit 115, and the list is rearranged according to the setting.
<任意視点映像表示処理>次に、図3及び図4を参照して、実施形態1の任意視点映像表示処理及び音声切替処理について説明する。 <Arbitrary viewpoint video display processing> Next, the arbitrary viewpoint video display processing and audio switching processing of the first embodiment will be described with reference to FIGS.
図3において、デジタル放送受信装置100は、まず、デジタル放送局から放送された標準映像と標準音声を不図示の表示部とスピーカ等に出力する(S101、S102)。 In FIG. 3, the digital broadcast receiving apparatus 100 first outputs standard video and standard audio broadcast from a digital broadcasting station to a display unit, a speaker, etc. (not shown) (S101, S102).
次に、リモコン116及びリモコンコード受信・解釈部115を通じて、ユーザから任意視点映像への変更指示があるかどうか判定する(S103)。 Next, it is determined whether or not there is an instruction to change to an arbitrary viewpoint video from the user through the remote controller 116 and the remote control code reception / interpretation unit 115 (S103).
変更指示がある場合は、番組情報から任意視点映像のエリア情報を取得する(S104)。 If there is a change instruction, the area information of the arbitrary viewpoint video is acquired from the program information (S104).
次に、任意視点映像データと任意視点の視点情報から任意視点映像を生成する(S105)。なお、本実施形態では、任意視点映像データは、図2の座標に基づき任意視点映像を生成するためのデータである。また、任意視点の視点情報も、図2の座標空間上で計算される。 Next, an arbitrary viewpoint video is generated from the arbitrary viewpoint video data and the viewpoint information of the arbitrary viewpoint (S105). In the present embodiment, the arbitrary viewpoint video data is data for generating an arbitrary viewpoint video based on the coordinates of FIG. Also, viewpoint information of an arbitrary viewpoint is calculated on the coordinate space of FIG.
続いて、生成された任意視点映像を表示する(S106)。なお、ステップS105、S106では、デジタル放送受信装置で任意視点映像を生成しているが、他のサーバ等がユーザ等による視点情報を取得して生成した任意視点映像を、デジタル放送受信装置で受信し表示してもよい。すなわち、任意視点映像生成部108を外部に持っていてもよい。 Subsequently, the generated arbitrary viewpoint video is displayed (S106). In steps S105 and S106, an arbitrary viewpoint video is generated by the digital broadcast receiving device. However, an arbitrary viewpoint video generated by another server or the like acquiring viewpoint information by a user or the like is received by the digital broadcast receiving device. It may be displayed. That is, the arbitrary viewpoint video generation unit 108 may be provided outside.
次に、ユーザによって任意視点の視点位置が決定されたか判定する(S107)。 Next, it is determined whether the viewpoint position of the arbitrary viewpoint has been determined by the user (S107).
決定された場合、ユーザが観ている任意視点映像内の競技エリアの数を算出する(S108)。競技エリアの数は、視点の位置や視野角といった視点情報から算出される。詳細は後述する。 If determined, the number of competition areas in the arbitrary viewpoint video viewed by the user is calculated (S108). The number of competition areas is calculated from viewpoint information such as the position of the viewpoint and the viewing angle. Details will be described later.
次に、上記算出の結果、競技エリア数が1つまたは複数(エリア数>1)か判定する(S109)。 Next, as a result of the calculation, it is determined whether the number of competition areas is one or more (number of areas> 1) (S109).
上記判定の結果、競技エリア数が1つの場合は、そのエリアに対応した音声ストリームを示す情報を取得し(S110)、その音声に切り替えて出力する(S111)。 As a result of the determination, if the number of competition areas is one, information indicating an audio stream corresponding to the area is acquired (S110), and the sound is switched to be output (S111).
一方、競技エリア数が複数存在する場合、音声切替リストを作成する(S112)。詳細については、図4で説明する。 On the other hand, when there are a plurality of competition areas, an audio switching list is created (S112). Details will be described with reference to FIG.
次に、音声切替リストを表示し(S113)、ユーザが音声を切り替えるか決定する(S114)。 Next, a voice switching list is displayed (S113), and it is determined whether the user switches voices (S114).
切り替える場合は音声切替リストの中から、ユーザに選択された音声に切り替えて、出力する(S115)。 When switching, it switches to the voice selected by the user from the voice switching list and outputs (S115).
次に、ユーザによって任意視点映像を終了する操作が行われたか判定する(S116)。終了する場合はS101へ移行し、終了しない場合は、ユーザによって任意視点の視点位置が変更されたか判定する(S117)。 Next, it is determined whether the user has performed an operation to end the arbitrary viewpoint video (S116). When the process ends, the process proceeds to S101. When the process does not end, it is determined whether the viewpoint position of the arbitrary viewpoint has been changed by the user (S117).
視点が変更されていない場合は、S112に移行し、変更された場合は、S105へ移行する。 If the viewpoint has not been changed, the process proceeds to S112. If the viewpoint has been changed, the process proceeds to S105.
続いて、図4を参照して、音声切替リスト作成部113で実行される音声切替リストの作成処理について説明する。 Next, a voice switching list creation process executed by the voice switching list creation unit 113 will be described with reference to FIG.
図4において、音声切替リスト作成部113は、まず、視聴している任意視点映像内の競技エリアの数とその競技名を取得する(S201)。 In FIG. 4, the audio switching list creation unit 113 first acquires the number of competition areas in the arbitrary viewpoint video being viewed and the competition name (S201).
次に、ユーザによって設定された音声切替リストの並び方の優先順位によって、リストの作成方法を変更する(S202)。 Next, the list creation method is changed according to the order of priority of the voice switching list set by the user (S202).
優先順位の設定が、現在の視点位置からの距離が短い競技エリアを優先してリストに並べる場合、視点位置と取得された競技名の各競技エリアまでの距離を算出する(S203)。 When the priority setting is such that a competition area with a short distance from the current viewpoint position is preferentially arranged in the list, the distance to each competition area of the viewpoint position and the acquired competition name is calculated (S203).
そして、距離の短い順番に各競技エリアに対応する音声ストリーム名を並べた音声切替リストを作成する(S204)。 And the audio | voice switching list which arranged the audio | voice stream name corresponding to each competition area in order with a short distance is produced (S204).
一方、優先順位の設定が任意視点映像内に映っているエリア面積の割合が高い競技エリアを優先してリストに並べる場合、取得された競技名について競技エリア毎の全体の領域面積をそれぞれ算出する(S205)。 On the other hand, when the priority areas are arranged in the list with priority given to the competition areas with a high proportion of the area displayed in the arbitrary viewpoint video, the entire area area for each competition area is calculated for each acquired competition name. (S205).
また、視聴している任意視点映像内に映っている面積をエリアごとに算出し(S206)、その面積を競技エリア毎に算出された全体の領域面積でそれぞれ除算することによって割合を算出する(S207)。 Further, the area shown in the arbitrary viewpoint video being viewed is calculated for each area (S206), and the ratio is calculated by dividing the area by the total area area calculated for each competition area (S206). S207).
そして、割合が高い順番に各競技エリアに対応する音声ストリーム名を並べた音声切替リストを作成する(S208)。 And the audio | voice switching list which arranged the audio | voice stream name corresponding to each competition area in order with a high ratio is produced (S208).
次に、エリア数算出部111で算出される競技エリアの数の算出方法について説明する。 Next, a method for calculating the number of competition areas calculated by the area number calculation unit 111 will be described.
エリア数算出部111は、エリア情報取得部109から座標情報を取得する。その座標情報は、3次元座標空間(X軸、Y軸、Z軸)から構成される。また、視点制御部110からこの座標空間上で計算された視点の位置や視野角といった視点情報を取得する。そして、これらの情報から、ユーザが観ている任意視点映像の画角領域の座標を算出することができる。よって、その座標と競技エリアの座標とから、画角領域内に含まれる競技エリアを判別できるので、任意視点映像内に映っている競技エリアの数を求めることができる。 The area number calculation unit 111 acquires coordinate information from the area information acquisition unit 109. The coordinate information is composed of a three-dimensional coordinate space (X axis, Y axis, Z axis). Further, viewpoint information such as the position of the viewpoint and the viewing angle calculated in the coordinate space is acquired from the viewpoint control unit 110. From these pieces of information, the coordinates of the field angle area of the arbitrary viewpoint video that the user is viewing can be calculated. Therefore, since the competition area included in the angle of view area can be determined from the coordinates and the coordinates of the competition area, the number of the competition areas reflected in the arbitrary viewpoint video can be obtained.
図5を参照して、画角領域の座標を求める方法について説明する。図5(A)は、X軸とZ軸の座標空間における任意視点の位置と視野角とを例示している。X1とZ1はそれぞれX軸とZ軸における視点の位置を示す。また、θXは、XZ平面におけるZ軸から視野までの角度であり、φXは視野角を示す。XαとXβは、任意視点の画角領域のX座標である。それぞれ以下の式1,2によって座標を算出することができる。
Xα=X1+Z1×tanθX…(1)
Xβ=X1+Z1×tan(θX+φX)…(2)
同様に、図5(B)においても、Y軸とZ軸の座標空間において、画角領域のY座標であるYαとYβを以下の式3,4で算出することができる。
Yα=Y1+Z1×tanθY…(3)
Yβ=Y1+Z1×tan(θY+φY)…(4)
以上のように算出されたXα、Xβ、Yα、Yβの各座標値から、図5(C)に示すようにそれぞれの座標の交わる部分で囲まれる領域が、ユーザが視聴している任意視点映像の画角領域になる。
With reference to FIG. 5, a method for obtaining the coordinates of the view angle region will be described. FIG. 5A illustrates the position and viewing angle of an arbitrary viewpoint in the coordinate space of the X axis and the Z axis. X1 and Z1 indicate viewpoint positions on the X-axis and the Z-axis, respectively. ΘX is an angle from the Z axis to the field of view in the XZ plane, and φX represents a field angle. Xα and Xβ are the X coordinates of the field angle region of an arbitrary viewpoint. Coordinates can be calculated by the following formulas 1 and 2, respectively.
Xα = X1 + Z1 × tan θX (1)
Xβ = X1 + Z1 × tan (θX + φX) (2)
Similarly, also in FIG. 5B, in the coordinate space of the Y axis and the Z axis, Yα and Yβ that are the Y coordinates of the field angle region can be calculated by the following equations 3 and 4.
Yα = Y1 + Z1 × tan θY (3)
Yβ = Y1 + Z1 × tan (θY + φY) (4)
From the coordinate values of Xα, Xβ, Yα, and Yβ calculated as described above, the area surrounded by the intersection of the coordinates as shown in FIG. The angle of view area.
図6及び図7は、実施形態1の音声切替処理の具体例として、ユーザが視聴している任意視点映像内に競技エリアが1つ又は複数存在した場合の音声が切り替わる様子を示している。図示のように、音声切替リストは、標準映像・任意視点映像と共に(重畳して)表示される。 FIGS. 6 and 7 show a state where the sound is switched when one or a plurality of competition areas exist in the arbitrary viewpoint video that the user is viewing as a specific example of the sound switching process of the first embodiment. As shown in the drawing, the audio switching list is displayed (superimposed) together with the standard video and the arbitrary viewpoint video.
図6では、競技エリアが1つであるため、ユーザが中距離走を視聴していると判断できる。よって、自動で中距離走の音声ストリームに切り替わり、出力される。 In FIG. 6, since there is one competition area, it can be determined that the user is watching a medium-distance run. Therefore, the audio stream is automatically switched to the middle-distance running audio stream and output.
一方、図7では、任意視点映像内に競技エリアが3つ存在するので、音声切替リストを表示することで、ユーザに音声ストリームを選択させる。そして、選択された競技の音声に切り替わり、出力される。 On the other hand, in FIG. 7, since there are three competition areas in the arbitrary viewpoint video, the user can select the audio stream by displaying the audio switching list. And it switches to the audio | voice of the selected competition and is output.
図7(A)は、音声切替リスト中の各競技名を任意視点の視点位置からの距離が近い順番に並べた例である。また、図7(B)は、競技エリアごとに算出された任意視点映像に映っているエリア面積の割合の高い順番に並べた例である。 FIG. 7A shows an example in which the competition names in the audio switching list are arranged in the order of short distance from the viewpoint position of the arbitrary viewpoint. FIG. 7B is an example in which the areas are arranged in the descending order of the area area shown in the arbitrary viewpoint video calculated for each competition area.
以上説明した一連の処理によって、エリアごとに音声ストリームが割り当てられている場合に、ユーザの視点位置の変更に応じて適切な音声に容易に切り替えることができる。 By the series of processes described above, when an audio stream is assigned to each area, it is possible to easily switch to an appropriate audio according to a change in the viewpoint position of the user.
なお、本発明は、実施形態1として説明したエリア情報の内容や取得方法、座標の計算方法に限定されるものではなく、また、音声切替リストの並び方の優先順位も視点からの距離やエリア面積に限定されるものではない。 The present invention is not limited to the contents of area information, the acquisition method, and the coordinate calculation method described as the first embodiment, and the priority of the arrangement of the audio switching lists is the distance from the viewpoint and the area area. It is not limited to.
また、上述した実施形態では、一定の広さを持つ競技エリアと音声とが対応づけられた構成となっているが、競技エリアに代えて音声を収録した地点(撮影ポイント)等にしてもよい。この場合、図3のS112(図4の音声切替リストの作成処理)において、「エリア面積優先」のリストは作成されない。 In the above-described embodiment, the competition area having a certain area and the sound are associated with each other. However, a point (shooting point) where the sound is recorded instead of the competition area may be used. . In this case, the list of “area area priority” is not created in S112 of FIG. 3 (voice switching list creation processing of FIG. 4).
また、図3のS109において、視聴する映像の画角内に複数の競技エリア(音声収録地点)が存在する場合に、必ずしも音声切替リストを表示しなくてもよい。すなわち、リストを作成した際に最も優先順位が高いもの(距離優先だったら視点から近い音声、面積優先だったらエリアの広い音声)に自動的に切り替える構成としてもよい。 Also, in S109 of FIG. 3, when there are a plurality of competition areas (audio recording points) within the angle of view of the video to be viewed, the audio switching list is not necessarily displayed. That is, it may be configured to automatically switch to the one with the highest priority when creating the list (sound that is closer to the viewpoint if distance priority is given, or voice that has a wider area if area priority is given).
[実施形態2]次に、実施形態2について説明する。なお、以下では、実施形態1と重複する説明は省略する。 [Second Embodiment] Next, a second embodiment will be described. In addition, below, the description which overlaps with Embodiment 1 is abbreviate | omitted.
実施形態1では、任意視点の視点位置が決定してから音声を切り替えていたが、実施形態2では、視点を移動させている途中に音声を切り替えている。すなわち、実施形態2では、ユーザが任意視点の視点位置を移動させた場合に、一定の距離を移動するごとに任意視点映像内に映っている競技エリアの数を算出し、その競技エリア数に応じて音声を切り替える。 In the first embodiment, the sound is switched after the viewpoint position of the arbitrary viewpoint is determined. However, in the second embodiment, the sound is switched during the movement of the viewpoint. That is, in Embodiment 2, when the user moves the viewpoint position of an arbitrary viewpoint, the number of competition areas reflected in the arbitrary viewpoint video is calculated every time a certain distance is moved, and the number of competition areas is calculated. Change the sound accordingly.
<装置構成>図8を参照して、実施形態2のデジタル放送受信装置の構成について説明する。 <Apparatus Configuration> The configuration of the digital broadcast receiving apparatus according to the second embodiment will be described with reference to FIG.
図8において、視点制御部210は、リモコン216及びリモコンコード受信・解釈部215を通じて、任意視点の位置の変更指示を受け取ると、エリア情報取得部209から取得した座標空間から変更先の視点情報を算出する。そして、その情報を任意視点映像生成部208に送出すると共に、視点移動距離算出部217へ変更前の視点情報と変更後の視点情報を送出する。また、視点移動距離算出部217から、視点の移動距離が所定の閾値を超えたことを通知された場合、音声を切り替るために視点情報をエリア数算出部111へ送出する。 In FIG. 8, when the viewpoint control unit 210 receives an instruction to change the position of an arbitrary viewpoint through the remote controller 216 and the remote control code reception / interpretation unit 215, the viewpoint control unit 210 obtains the destination viewpoint information from the coordinate space acquired from the area information acquisition unit 209. calculate. Then, the information is sent to the arbitrary viewpoint video generation unit 208, and the viewpoint information before the change and the viewpoint information after the change are sent to the viewpoint movement distance calculation unit 217. When the viewpoint movement distance calculation unit 217 notifies that the movement distance of the viewpoint has exceeded a predetermined threshold, the viewpoint information is sent to the area number calculation unit 111 in order to switch the sound.
視点移動距離算出部217は、視点制御部210から送出された視点の変更前と変更後の視点情報を用いて、視点の位置座標から移動距離を算出し、更にその移動距離を累積する。そして、移動距離の累積値が所定の閾値を超えた場合、視点制御部210に通知する。 The viewpoint movement distance calculation unit 217 calculates the movement distance from the position coordinates of the viewpoint using the viewpoint information before and after the viewpoint change sent from the viewpoint control unit 210, and further accumulates the movement distance. Then, when the accumulated value of the movement distance exceeds a predetermined threshold value, the viewpoint control unit 210 is notified.
<任意視点映像表示処理>次に、図9及び図10を参照して、実施形態2の任意視点映像表示処理及び音声切替処理について説明する。なお、図9のS301〜S306、S314は、図1のS101〜S106、S116と同様であるため、説明を省略する。 <Arbitrary viewpoint video display processing> Next, the arbitrary viewpoint video display processing and audio switching processing of the second embodiment will be described with reference to FIGS. Note that S301 to S306 and S314 in FIG. 9 are the same as S101 to S106 and S116 in FIG.
図9において、S306で任意視点映像が表示された後、任意視点の視点位置がユーザによって移動されたか判定し(S307)、移動された場合は視点の移動距離を算出する(S308)。 In FIG. 9, after the arbitrary viewpoint video is displayed in S306, it is determined whether the viewpoint position of the arbitrary viewpoint has been moved by the user (S307), and if moved, the viewpoint moving distance is calculated (S308).
そして、移動距離が所定の閾値を超えた場合、音声切替処理を行う(S310)。一方、移動距離が所定の閾値を超えていない場合は、移動距離を累積する(S311)。 If the moving distance exceeds a predetermined threshold value, voice switching processing is performed (S310). On the other hand, if the movement distance does not exceed the predetermined threshold, the movement distance is accumulated (S311).
次に、任意視点の移動が終了し、ユーザから視点位置を決定する指示を受け取った場合(S312)、S310と同様に音声の切替処理を行う(S313)。 Next, when the movement of the arbitrary viewpoint is completed and an instruction to determine the viewpoint position is received from the user (S312), a voice switching process is performed as in S310 (S313).
次に、図9のS310、S313の音声切替処理について説明する。なお、図10のS409以外の処理は、図3のS108〜S115と同様であるため、説明を省略する。 Next, the voice switching process in S310 and S313 in FIG. 9 will be described. Note that the processes other than S409 in FIG. 10 are the same as S108 to S115 in FIG.
図10において、S409では、音声を切り替えた後なので、S308で算出された視点の移動距離を”0”にリセットする。 In FIG. 10, since the voice is switched in S409, the viewpoint movement distance calculated in S308 is reset to “0”.
以上のような一連の処理によって、ユーザが任意視点の視点位置を移動している途中であっても、容易に音声を切り替えることができる。 With the series of processes as described above, even when the user is moving the viewpoint position of an arbitrary viewpoint, the sound can be easily switched.
[実施形態3]次に、実施形態3について説明する。 [Third Embodiment] Next, a third embodiment will be described.
実施形態3は、デジタル放送波で複数の視点位置で撮影された多視点映像を受信して表示し、多視点映像に対応する音声ストリームの数に応じて音声を切り替えるものである。 The third embodiment receives and displays multi-view video captured at a plurality of viewpoint positions with digital broadcast waves, and switches audio according to the number of audio streams corresponding to the multi-view video.
<装置構成>図11を参照して、実施形態3のデジタル放送受信装置の構成について説明する。 <Apparatus Configuration> The configuration of the digital broadcast receiving apparatus according to the third embodiment will be described with reference to FIG.
図11において、デジタル放送受信装置300は、放送局から放送された標準映像と多視点映像を受信し、表示するブロックと、表示する多視点映像の変更に応じて音声を切り替えるブロック、とを備える。 In FIG. 11, the digital broadcast receiving apparatus 300 includes a block that receives and displays a standard video and a multi-view video broadcast from a broadcasting station, and a block that switches audio in response to a change in the multi-view video to be displayed. .
ここで、標準映像と多視点映像を受信し、表示するブロックについて説明する。 Here, a block for receiving and displaying standard video and multi-view video will be described.
デジタル放送受信装置300は、デジタル放送局から放送された放送番組をチューナ部301で受信する。 The digital broadcast receiving apparatus 300 receives a broadcast program broadcast from a digital broadcast station by the tuner unit 301.
リモコン313とリモコンコード受信・解釈部312は、ユーザからの入力操作を解釈し、チャンネル選局指示の場合はチューナ部301に選局指示を送出する。また、標準映像と多視点映像の切替指示も送出する。 The remote control 313 and the remote control code reception / interpretation unit 312 interpret the input operation from the user, and send a channel selection instruction to the tuner unit 301 in the case of a channel channel selection instruction. Also, an instruction to switch between standard video and multi-view video is sent out.
チューナ部301は、設定された周波数情報に応じて、周波数のチューニングを行い、デジタル放送信号を受信して、その信号を復調部302に出力する。 The tuner unit 301 tunes the frequency according to the set frequency information, receives a digital broadcast signal, and outputs the signal to the demodulation unit 302.
復調部302は入力されたデジタル放送信号に対し、復調、誤り訂正等の処理を行い、トランスポートストリーム(TS)を形成し、TS処理部303に送出する。 The demodulator 302 performs processing such as demodulation and error correction on the input digital broadcast signal, forms a transport stream (TS), and sends the transport stream (TS) to the TS processor 303.
TS処理部303は入力したTSから、標準映像、多視点映像、音声、番組情報等を分離させる。 The TS processing unit 303 separates standard video, multi-view video, audio, program information, and the like from the input TS.
分離された映像データのうち、標準映像と多視点映像に関しては、映像処理部305へ出力して映像復号化処理を行い、映像出力部307に送出される。また、音声データは音声処理部304へ出力し復号化処理を行って音声出力部306に送出される。 Among the separated video data, the standard video and the multi-view video are output to the video processing unit 305 to perform video decoding processing and are sent to the video output unit 307. Also, the audio data is output to the audio processing unit 304, decoded, and sent to the audio output unit 306.
映像出力部307は、復号された映像データを表示解像度、表示色数、リフレッシュレートに適した表示データ、タイミングに変換して、映像表示を行う。 The video output unit 307 converts the decoded video data into display data and timing suitable for the display resolution, the number of display colors, and the refresh rate, and performs video display.
音声出力部306は、音声データの出力レベル(音量)等を変更する機能を有する。 The audio output unit 306 has a function of changing the output level (volume) of audio data.
次に、表示する多視点映像の変更に応じて音声を切り替えるブロックについて説明する。 Next, a description will be given of a block for switching audio in accordance with a change in the multi-view video to be displayed.
リモコン313とリモコンコード受信・解釈部312は、複数の多視点映像から1つを選局するようにチューナ部301に指示を送出する。また、音声切替制御部309に音声の切替指示を送出する。 The remote control 313 and the remote control code reception / interpretation unit 312 send an instruction to the tuner unit 301 so as to select one from a plurality of multi-view images. Also, a voice switching instruction is sent to the voice switching control unit 309.
音声情報取得部308は、番組情報から選局されている多視点映像に対応する音声情報を取得し、音声ストリームの数を抽出する。 The audio information acquisition unit 308 acquires audio information corresponding to the multi-view video selected from the program information, and extracts the number of audio streams.
音声切替制御部309は、音声情報取得部308によって取得された音声ストリームの数に応じて音声の切り替えを行う。音声ストリームの数が1つの場合は、その音声ストリームを受信するようにチューナ部301に指示する。一方、音声ストリームの数が複数の場合は、音声切替リスト作成部310へ音声切替リストの作成要求を送出する。そして、音声切替リスト表示制御部311よりユーザによって選択された音声ストリームの情報を受け取り、チューナ部301にその音声ストリームを受信するように指示する。 The audio switching control unit 309 performs audio switching according to the number of audio streams acquired by the audio information acquisition unit 308. When the number of audio streams is one, the tuner unit 301 is instructed to receive the audio streams. On the other hand, when the number of audio streams is plural, a request for creating an audio switching list is sent to the audio switching list creating unit 310. Then, the audio switching list display control unit 311 receives information on the audio stream selected by the user, and instructs the tuner unit 301 to receive the audio stream.
音声切替リスト作成部310は、音声情報取得部308から音声ストリームの数とその音声名を取得し、音声ストリームのリストを作成する。そして、音声切替リスト表示制御部311にリストの表示要求を送出する。 The voice switching list creation unit 310 obtains the number of voice streams and the voice name from the voice information acquisition unit 308 and creates a list of voice streams. Then, a list display request is sent to the voice switching list display control unit 311.
音声切替リスト表示制御部311は、音声切替リスト作成部310によって生成された音声切替リストを表示画面に表示するように制御し、ユーザからの音声選択指示を待つ。リモコン313及びリモコンコード受信・解釈部312から、ユーザの音声選択指示を受け取ると、選択された音声ストリームの情報を音声切替制御部309に送出する。 The voice switching list display control unit 311 controls the voice switching list generated by the voice switching list creation unit 310 to be displayed on the display screen, and waits for a voice selection instruction from the user. When the user's voice selection instruction is received from the remote control 313 and the remote control code reception / interpretation unit 312, information on the selected audio stream is sent to the audio switching control unit 309.
<多視点映像表示処理>次に、図12を参照して、実施形態3の多視点映像表示処理及び音声切替処理について説明する。 <Multi-View Video Display Processing> Next, with reference to FIG. 12, multi-view video display processing and audio switching processing according to the third embodiment will be described.
図12において、デジタル放送受信装置300は、まず、デジタル放送局から放送された標準映像と標準音声を出力する(S501、S502)。 In FIG. 12, the digital broadcast receiving apparatus 300 first outputs standard video and standard audio broadcast from a digital broadcast station (S501, S502).
次に、ユーザから多視点映像への変更指示があるか否かを判定する(S503)。 Next, it is determined whether or not there is an instruction to change to the multi-view video from the user (S503).
変更指示がある場合は、多視点映像の1つの映像を選局する(S504)。 If there is a change instruction, one video of the multi-view video is selected (S504).
続いて、選局された多視点映像を表示する(S505)。 Subsequently, the selected multi-view video is displayed (S505).
次に、選局された多視点映像に対応する音声ストリームの数を抽出する(S506)。 Next, the number of audio streams corresponding to the selected multi-view video is extracted (S506).
次に抽出された音声ストリームの数が1つか、または複数(音声ストリーム数>1?)かを判定する(S507)。 Next, it is determined whether the number of extracted audio streams is one or more (the number of audio streams> 1?) (S507).
音声ストリームの数が1つの場合は、その音声に切り替え、出力する(S508)。 If the number of audio streams is one, the audio is switched and output (S508).
一方、抽出された音声ストリームの数が複数の場合、音声切替リストを作成する(S509)。 On the other hand, if the number of extracted audio streams is plural, an audio switching list is created (S509).
次に、音声切替リストを表示し(S510)、ユーザが音声を切り替えるか決定する(S511)。 Next, a voice switching list is displayed (S510), and it is determined whether the user switches voices (S511).
切り替える場合は音声切替リストの中から、ユーザに選択された音声に切り替えて、出力する(S512)。 When switching, it switches to the voice selected by the user from the voice switching list and outputs (S512).
次に、ユーザによって標準映像に戻る操作が行われたか否かを判定し(S513)、戻る場合はS501へ移行する。 Next, it is determined whether or not an operation for returning to the standard video has been performed by the user (S513). If the user returns, the process proceeds to S501.
戻らない場合は、ユーザによって多視点映像が変更されたか否かを判定する(S514)。変更されていない場合は、S513に移行する。多視点映像が変更された場合は、S505へ移行する。 If not returned, it is determined whether or not the multi-view video has been changed by the user (S514). If not changed, the process proceeds to S513. If the multi-view video has been changed, the process proceeds to S505.
以上のような一連の処理によって、多視点映像の選局操作に応じて適切な音声に容易に切り替えることができる。 Through a series of processes as described above, it is possible to easily switch to an appropriate sound in accordance with a multi-view video channel selection operation.
なお、上述した各実施形態では、本発明をデジタル放送受信装置に適用した例を説明したがこれに限定されるものではない。すなわち、ネットワークを介して映像コンテンツを取得する映像再生装置において、1つの映像コンテンツに対して複数の音声データが存在する場合に本発明を適用することで、本発明と同様の効果が得られる。また、1つの競技エリアに1つの音声データが関連付けられた例を説明したが、1つの競技エリアに複数の音声データを関連付けてもよい。この場合、任意視点映像内に含まれる競技エリアが1つであっても、音声切替リストが作成されることになる。 In each of the above-described embodiments, the example in which the present invention is applied to a digital broadcast receiving apparatus has been described. However, the present invention is not limited to this. That is, the same effect as the present invention can be obtained by applying the present invention when a plurality of audio data exists for one video content in a video playback apparatus that acquires video content via a network. Further, an example in which one audio data is associated with one competition area has been described, but a plurality of audio data may be associated with one competition area. In this case, an audio switching list is created even if there is one competition area included in the arbitrary viewpoint video.
[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 [Other Embodiments] The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do. In this case, the program and the storage medium storing the program constitute the present invention.
Claims (18)
異なる視点位置から少なくとも1つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する取得手段と、
ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作手段と、
前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出手段と、
前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有することを特徴とする映像再生装置。 A video playback device for playing back video data and audio data received via a network,
Acquisition means for acquiring arbitrary viewpoint video data obtained by imaging at least one imaging area from different viewpoint positions, and audio data assigned to each imaging area;
Operation means for accepting an instruction to change the viewpoint position of the shooting area by the user;
Calculating means for calculating the number of shooting areas existing in an arbitrary viewpoint video shot from the viewpoint position changed by the operation means;
As a result of the calculation by the calculation means, when there are a plurality of audio data assigned to each of a plurality of shooting areas existing in the arbitrary viewpoint video, the audio data corresponding to the priority order determined for each arbitrary viewpoint video is selected. And an audio switching means.
前記表示手段は、視点位置が所定の距離だけ移動するごとに前記算出手段により算出される任意視点映像内に存在する撮影エリアの数に応じて音声切替リストを作成し、表示することを特徴とする請求項1に記載の映像再生装置。 A determination unit for determining whether the viewpoint position designated by the user via the operation unit is moving;
The display means creates and displays an audio switching list according to the number of shooting areas present in the arbitrary viewpoint video calculated by the calculation means every time the viewpoint position moves by a predetermined distance. The video reproduction apparatus according to claim 1.
前記算出手段は、前記多視点映像に対応する音声データの数を算出し、
前記表示手段は、前記多視点映像に対応する音声データの数に応じて音声切替リストを作成し、表示することを特徴とする請求項1に記載の映像再生装置。 A change means for changing from the arbitrary viewpoint video to a multi-view video;
The calculating means calculates the number of audio data corresponding to the multi-view video;
2. The video reproduction apparatus according to claim 1, wherein the display unit creates and displays an audio switching list according to the number of audio data corresponding to the multi-view video.
異なる視点位置から少なくとも1つの撮影ポイントを撮影した任意視点映像データと、当該撮影ポイントごとに割り当てられた音声データとを取得する取得手段と、
ユーザによる前記撮影ポイントの視点位置の変更指示を受け付ける操作手段と、
前記操作手段により変更された視点位置から撮影された任意視点映像内に存在する撮影ポイントの数を算出する算出手段と、
前記算出手段による算出の結果、任意視点映像内に存在する複数の撮影ポイントごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替手段と、を有することを特徴とする映像再生装置。 A video playback device for playing back video data and audio data received via a network,
Acquisition means for acquiring arbitrary viewpoint video data obtained by shooting at least one shooting point from different viewpoint positions, and audio data assigned to each shooting point;
Operation means for accepting an instruction to change the viewpoint position of the shooting point by the user;
Calculating means for calculating the number of shooting points present in an arbitrary viewpoint video shot from the viewpoint position changed by the operation means;
As a result of the calculation by the calculation means, when there are a plurality of audio data assigned to each of a plurality of shooting points existing in the arbitrary viewpoint video, the audio data corresponding to the priority order determined for each arbitrary viewpoint video is selected. And an audio switching means.
前記表示手段は、視点位置が所定の距離だけ移動するごとに前記算出手段により算出される任意視点映像内に存在する撮影ポイントの数に応じて音声切替リストを作成し、表示することを特徴とする請求項8に記載の映像再生装置。 A determination unit for determining whether the viewpoint position designated by the user via the operation unit is moving;
The display means creates and displays an audio switching list according to the number of shooting points present in the arbitrary viewpoint video calculated by the calculation means each time the viewpoint position moves by a predetermined distance. The video reproduction apparatus according to claim 8.
前記算出手段は、前記多視点映像に対応する音声データの数を算出し、
前記表示手段は、前記多視点映像に対応する音声データの数に応じて音声切替リストを作成し、表示することを特徴とする請求項8に記載の映像再生装置。 A change means for changing from the arbitrary viewpoint video to a multi-view video;
The calculating means calculates the number of audio data corresponding to the multi-view video;
9. The video reproduction apparatus according to claim 8, wherein the display unit creates and displays an audio switching list according to the number of audio data corresponding to the multi-view video.
異なる視点位置から少なくとも1つの撮影エリアを撮影した任意視点映像データと、当該撮影エリアごとに割り当てられた音声データとを取得する取得工程と、
ユーザによる前記撮影エリアの視点位置の変更指示を受け付ける操作工程と、
前記操作工程により変更された視点位置から撮影された任意視点映像内に存在する撮影エリアの数を算出する算出工程と、
前記算出工程による算出の結果、任意視点映像内に存在する複数の撮影エリアごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替工程と、を有することを特徴とする映像再生装置の制御方法。 A control method of a video playback device for playing back video data and audio data received via a network,
An acquisition step of acquiring arbitrary viewpoint video data obtained by shooting at least one shooting area from different viewpoint positions, and audio data assigned to each shooting area;
An operation step of receiving an instruction to change the viewpoint position of the shooting area by the user;
A calculation step of calculating the number of shooting areas existing in an arbitrary viewpoint video shot from the viewpoint position changed by the operation step;
As a result of the calculation in the calculation step, when there are a plurality of audio data assigned to each of a plurality of shooting areas existing in the arbitrary viewpoint video, the audio data corresponding to the priority order determined for each arbitrary viewpoint video is selected. And a voice switching step for controlling the video reproduction apparatus.
異なる視点位置から少なくとも1つの撮影ポイントを撮影した任意視点映像データと、当該撮影ポイントごとに割り当てられた音声データとを取得する取得工程と、
ユーザによる前記撮影ポイントの視点位置の変更指示を受け付ける操作工程と、
前記操作工程により変更された視点位置から撮影された任意視点映像内に存在する撮影ポイントの数を算出する算出工程と、
前記算出工程による算出の結果、任意視点映像内に存在する複数の撮影ポイントごとに割り当てられた音声データが複数存在する場合に、任意視点映像ごとに決定される優先順位に応じた音声データを選択する音声切替工程と、を有することを特徴とする映像再生装置の制御方法。 A control method of a video playback device for playing back video data and audio data received via a network,
An acquisition step of acquiring arbitrary viewpoint video data obtained by imaging at least one shooting point from different viewpoint positions and audio data assigned to each shooting point;
An operation step of receiving an instruction to change the viewpoint position of the shooting point by the user;
A calculation step of calculating the number of shooting points present in an arbitrary viewpoint video shot from the viewpoint position changed by the operation step;
As a result of the calculation in the calculation step, when there are a plurality of audio data assigned to each of a plurality of shooting points existing in the arbitrary viewpoint video, the audio data corresponding to the priority order determined for each arbitrary viewpoint video is selected. And a voice switching step for controlling the video reproduction apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009196A JP2012151688A (en) | 2011-01-19 | 2011-01-19 | Video reproduction device and method of controlling the same, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009196A JP2012151688A (en) | 2011-01-19 | 2011-01-19 | Video reproduction device and method of controlling the same, program, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012151688A true JP2012151688A (en) | 2012-08-09 |
Family
ID=46793523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011009196A Withdrawn JP2012151688A (en) | 2011-01-19 | 2011-01-19 | Video reproduction device and method of controlling the same, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012151688A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016513930A (en) * | 2013-03-15 | 2016-05-16 | サムスン エレクトロニクス カンパニー リミテッド | Data transmission device, data reception device, data transmission / reception system, data transmission method, and data reception method |
JP2017017740A (en) * | 2016-09-08 | 2017-01-19 | シャープ株式会社 | Broadcasting system |
JP2019033497A (en) * | 2018-09-20 | 2019-02-28 | キヤノン株式会社 | Information processing system, control method therefor, and computer program |
US10356484B2 (en) | 2013-03-15 | 2019-07-16 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data |
US10664128B2 (en) | 2016-07-28 | 2020-05-26 | Canon Kabushiki Kaisha | Information processing apparatus, configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium |
-
2011
- 2011-01-19 JP JP2011009196A patent/JP2012151688A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016513930A (en) * | 2013-03-15 | 2016-05-16 | サムスン エレクトロニクス カンパニー リミテッド | Data transmission device, data reception device, data transmission / reception system, data transmission method, and data reception method |
US10356484B2 (en) | 2013-03-15 | 2019-07-16 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data |
US10664128B2 (en) | 2016-07-28 | 2020-05-26 | Canon Kabushiki Kaisha | Information processing apparatus, configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium |
JP2017017740A (en) * | 2016-09-08 | 2017-01-19 | シャープ株式会社 | Broadcasting system |
JP2019033497A (en) * | 2018-09-20 | 2019-02-28 | キヤノン株式会社 | Information processing system, control method therefor, and computer program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11356713B2 (en) | Live interactive video streaming using one or more camera devices | |
US10778951B2 (en) | Camerawork generating method and video processing device | |
US10271082B2 (en) | Video distribution method, video reception method, server, terminal apparatus, and video distribution system | |
JP6267961B2 (en) | Image providing method and transmitting apparatus | |
JP6598109B2 (en) | Video receiving method and terminal device | |
US10848790B2 (en) | Processing of multiple media streams | |
US20180204381A1 (en) | Image processing apparatus for generating virtual viewpoint image and method therefor | |
JP6558587B2 (en) | Information processing apparatus, display apparatus, information processing method, program, and information processing system | |
JP5495855B2 (en) | Video processing apparatus and video processing method | |
JP2016010145A (en) | Video distribution method, video reception method, server, terminal device and video distribution system | |
WO2015159487A1 (en) | Image delivery method, image reception method, server, terminal apparatus, and image delivery system | |
JP2012151688A (en) | Video reproduction device and method of controlling the same, program, and storage medium | |
JP5675141B2 (en) | Playback apparatus and playback method | |
JP5520146B2 (en) | Video receiving apparatus and control method thereof | |
JP2012004991A (en) | Broadcast receiving apparatus and control method for the same | |
JP2013157061A (en) | Information processing apparatus, information processing method, and program | |
JP2014123853A (en) | Imaging apparatus and image display device | |
JP7085869B2 (en) | Information processing equipment | |
JP5489735B2 (en) | Broadcast receiving apparatus and control method thereof | |
JP2013030967A (en) | Sound signal reproduction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140401 |