JP2012015788A - Video receiver and control method thereof - Google Patents
Video receiver and control method thereof Download PDFInfo
- Publication number
- JP2012015788A JP2012015788A JP2010150255A JP2010150255A JP2012015788A JP 2012015788 A JP2012015788 A JP 2012015788A JP 2010150255 A JP2010150255 A JP 2010150255A JP 2010150255 A JP2010150255 A JP 2010150255A JP 2012015788 A JP2012015788 A JP 2012015788A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- video
- standard
- video data
- arbitrary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、映像受信装置、及びその制御方法に関する。 The present invention relates to a video receiving apparatus and a control method thereof.
デジタル放送が開始され、デジタル放送を受信可能なテレビ（デジタルテレビ）が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究・開発が多数行われている。その中のひとつとして、カメラ視点をユーザ（視聴者）が自由に指示できる「任意視点映像」が注目されている。ユーザが指示したカメラ視点に対応する任意視点映像は、複数の視点で撮影された映像を用いて生成される。 Digital broadcasting has started, and televisions that can receive digital broadcasting (digital televisions) have become widespread. Currently, in the era of full-fledged digital broadcasting, various next-generation broadcasting systems are being researched and developed. As one of them, “arbitrary viewpoint video” that allows a user (viewer) to freely specify a camera viewpoint has attracted attention. The arbitrary viewpoint video corresponding to the camera viewpoint designated by the user is generated using videos taken from a plurality of viewpoints.
この任意視点映像技術は放送システムだけでなく、車載用映像表示システムや監視カメラなどの分野でも利用されている（特許文献１参照）。特許文献１の画像生成装置は、仮想視点画像への切り替えの際、目的仮想視点位置まで連続的に仮想視点を移動し、その移動に対応した画像を出力する。また、この画像生成装置は、仮想視点の移動速度を、車両の危険状況に応じて設定する視点移動速度設定手段を備える。 This arbitrary viewpoint video technology is used not only in broadcasting systems but also in fields such as in-vehicle video display systems and surveillance cameras (see Patent Document 1). When switching to a virtual viewpoint image, the image generation apparatus of Patent Literature 1 continuously moves the virtual viewpoint to the target virtual viewpoint position, and outputs an image corresponding to the movement. The image generation apparatus further includes viewpoint movement speed setting means for setting the movement speed of the virtual viewpoint according to the danger state of the vehicle.
受信中の放送映像に対応する任意視点映像を取得可能なデジタルテレビが任意視点映像を表示している場合を考える。この場合に、デジタルテレビの表示映像を任意視点映像から放送映像（標準映像）に切り替えると、映像の視点が大きく変化する可能性がある。その結果、ユーザが切り替え後の映像の視点を認識できず、映像に違和感を覚える可能性がある。特許文献１は、任意視点映像の視点の切り替えに関する技術を開示するが、映像自体の切り替え（任意視点映像から標準映像への切り替え）については考慮していない。 Consider a case where a digital television capable of acquiring an arbitrary viewpoint video corresponding to a broadcast video being received is displaying an arbitrary viewpoint video. In this case, if the display video of the digital television is switched from an arbitrary viewpoint video to a broadcast video (standard video), the video viewpoint may change greatly. As a result, the user may not be able to recognize the viewpoint of the video after switching, and may feel uncomfortable with the video. Patent Document 1 discloses a technique related to switching the viewpoint of an arbitrary viewpoint video, but does not consider switching of the video itself (switching from an arbitrary viewpoint video to a standard video).
本発明はこのような状況に鑑みてなされたものであり、任意視点映像から標準映像への切り替えに伴う視点の変化をユーザが認識することを容易にする技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique that makes it easy for a user to recognize a change in viewpoint associated with switching from an arbitrary viewpoint video to a standard video.
上記課題を解決するために、第１の本発明は、所定の撮像装置により撮像された映像を表す標準映像データを受信する映像受信手段と、被撮像空間に対する所定の視点を指定する指定手段と、複数の撮像装置それぞれが異なる視点から前記被撮像空間を撮像することにより得られる複数の映像データに基づいて生成される、前記指定された所定の視点から見た前記被撮像空間の仮想的な映像を表す任意視点映像データを取得する、映像取得手段と、前記任意視点映像データを出力する出力手段と、前記標準映像データの映像の視点である標準視点を示す情報を取得する視点取得手段と、前記出力手段での出力を前記任意視点映像データから前記標準映像データへと切り替える切り替え指示をユーザから受信する指示受信手段と、前記指定手段が前記所定の視点として前記標準視点を指定可能であるか否かを判定し、前記指定手段が前記所定の視点として前記標準視点を指定可能であると判定された場合、前記切り替え指示の受信に応えて、前記所定の視点を前記標準視点へ向かって段階的に移動させるように前記指定手段を制御し、当該移動の完了後に、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する、制御手段と、を備えることを特徴とする映像受信装置を提供する。 In order to solve the above-described problem, the first aspect of the present invention includes a video receiving unit that receives standard video data representing video captured by a predetermined imaging device, and a specifying unit that specifies a predetermined viewpoint with respect to the imaging space. Each of the plurality of imaging devices is generated based on a plurality of pieces of video data obtained by imaging the imaging target space from different viewpoints, and is a virtual of the imaging target space viewed from the specified predetermined viewpoint Video acquisition means for acquiring arbitrary viewpoint video data representing video; output means for outputting the arbitrary viewpoint video data; viewpoint acquisition means for acquiring information indicating a standard viewpoint that is a video viewpoint of the standard video data; An instruction receiving means for receiving from the user a switching instruction to switch the output at the output means from the arbitrary viewpoint video data to the standard video data; and the designation means It is determined whether or not the standard viewpoint can be designated as the predetermined viewpoint, and when the designation unit determines that the standard viewpoint can be designated as the predetermined viewpoint, the reception of the switching instruction is performed. The designation unit is controlled to move the predetermined viewpoint toward the standard viewpoint step by step, and after the movement is completed, the output is switched from the arbitrary viewpoint video data to the standard video data. And a control means for controlling the output means.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.
以上の構成により、本発明によれば、任意視点映像から標準映像への切り替えに伴う視点の変化をユーザが認識することを容易にすることが可能となる。 With the above configuration, according to the present invention, it becomes possible for a user to easily recognize a change in viewpoint due to switching from an arbitrary viewpoint video to a standard video.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.
［第１の実施形態］
本発明の映像受信装置をデジタル放送受信装置に適用した実施形態について説明する。本実施形態のデジタル放送受信装置は、デジタル放送波（放送信号）に含まれる放送映像を受信可能であり、また、複数のカメラ（撮像装置）それぞれが異なる視点から被撮像空間を撮像することにより得られる複数の映像データをインターネット経由で取得可能である。本実施形態において、「任意視点映像」は、このような複数の映像に基づいて生成される、指定された所定の視点から見た前記被撮像空間の仮想的な映像を意味する。
[First Embodiment]
An embodiment in which the video receiving apparatus of the present invention is applied to a digital broadcast receiving apparatus will be described. The digital broadcast receiving apparatus of the present embodiment can receive broadcast video included in a digital broadcast wave (broadcast signal), and each of a plurality of cameras (imaging apparatuses) captures an imaged space from different viewpoints. A plurality of obtained video data can be acquired via the Internet. In the present embodiment, the “arbitrary viewpoint video” means a virtual video of the imaged space viewed from a specified predetermined viewpoint generated based on such a plurality of videos.
図１は、第１の実施形態に係るデジタル放送受信装置１００を含むシステムの構成例を示す図である。デジタル放送受信装置１００は、イーサネット（登録商標）１０１を介して、ルータ１０３やその他のネットワークデバイス１０２と通信可能である。デジタル放送受信装置１００は、ルータ１０３を介してインターネット１０４に接続している。また、デジタル放送受信装置１００は、アンテナ１０５からデジタル放送波を受信し、デジタル放送を再生することができる。
FIG. 1 is a diagram illustrating a configuration example of a system including a digital
図２は、デジタル放送受信装置１００及び放送局２５０の詳細な構成を示すブロック図である。デジタル放送受信装置１００は、放送局２５０が放送する放送映像を受信することができる。最初に、放送映像の受信及び再生等に関係するブロックについて説明する。
FIG. 2 is a block diagram showing detailed configurations of the digital
図２において、アンテナ１０５により受信された信号は、チューナ部２１０に入力される。チューナ部２１０は、トランスポートストリームデータ（ＴＳ）を生成する。チューナ部２１０は、デスクランブラ２１１を経て、複数チャンネル分の映像、音声データ、及び番組情報データ等が多重化されているＴＳをデータ分離部２１２へ出力する。データ分離部２１２は、リモコン２０１により選択された番組の音声データ、映像データ、及び番組情報データをＴＳの中から取り出し、それぞれを音声デコード部２１３、映像デコード部２１４、番組情報デコード部２１５へ入力する。
In FIG. 2, a signal received by the
映像デコード部２１４は、データ分離部２１２から入力された映像データに対して、ＭＰＥＧ等の復号化処理を施し、復号した映像データを映像処理部２１７に出力する。音声デコード部２１３は、データ分離部２１２から入力された音声データに対して復号化処理を施し、音声制御部２１９へ出力する。音声制御部２１９は、音声データに対して、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換処理等を施し、音声出力部２２１に出力する。
The
番組情報デコード部２１５は、データ分離部２１２から入力された番組情報データから所望の情報を取得し、番組情報処理部２１６、映像処理部２１７、及びＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）処理部２１８へ出力する。番組情報データには、ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）データ、及びＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）データが含まれている。
The program
映像処理部２１７は、映像デコード部２１４から入力された映像データと、番組情報デコード部２１５から入力された番組情報とに基づいて映像調整処理を施し、調整した映像データを表示制御部２２０へ出力する。表示制御部２２０は、映像処理部２１７及びＧＵＩ処理部２１８から入力された映像データや画面データをリモコン２０１からの操作に応じて切り替えたり、合成したりするなどしたりして、表示部２２２へ出力する。
The
システム制御部２２６は、各構成要素を統括的にコントロールする。システム制御部２２６はまた、リモコン２０１からの指示を受光部２０２経由で受信する。
The
次に、図２に加えて図３（ａ）を参照して、任意視点映像生成用データの取得や任意視点映像の再生に関連するブロックについて説明する。図３（ａ）は、第１の実施形態に係る任意視点映像再生処理を示すシーケンス図である。図３（ａ）では、デジタル放送受信装置１００が任意視点映像を生成する。図３（ａ）の処理に先立ち、デジタル放送受信装置１００は、放送局２５０の任意視点映像生成用データサーバ２５１とインターネット１０４経由で接続する。なお、任意視点映像生成用データを生成する任意視点映像生成用データサーバ２５１は、放送局２５０の外にあってもよい。
Next, with reference to FIG. 3A in addition to FIG. 2, blocks related to acquisition of arbitrary viewpoint video generation data and playback of arbitrary viewpoint video will be described. FIG. 3A is a sequence diagram showing an arbitrary viewpoint video reproduction process according to the first embodiment. In FIG. 3A, the digital
Ｓ３００で、任意視点情報処理部２３２は、リモコン２０１を介したユーザからの任意視点移動指示を受信する。Ｓ３０１で、任意視点情報処理部２３２は、移動先の視点を持つ任意視点映像を生成するための任意視点映像作成用データを取得するために、任意視点映像作成用データ取得要求を作成する。Ｓ３０２で、任意視点情報処理部２３２は、作成された任意視点映像作成用データ取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。
In S300, the arbitrary viewpoint
Ｓ３０３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像作成用データ取得要求を解析する。Ｓ３０４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データを取得する。複数の固定カメラ２５２は、それぞれが異なる視点から被撮像空間（例えば、サッカー競技場）を撮像するように（例えば、被撮像空間を取り囲むように）設置されている。任意視点映像生成用データサーバ２５１は、取得した映像データに基づき、任意視点映像作成用データを作成する。Ｓ３０５で、任意視点映像生成用データサーバ２５１は、作成した任意視点映像作成用データをデジタル放送受信装置１００へ送信する。
In step S <b> 303, the arbitrary viewpoint video
なお、任意視点映像生成用データサーバ２５１は、任意視点映像作成用データの作成に際しては必ずしも、固定カメラ２５２から取得した映像データを加工する必要はない。例えば、任意視点映像生成用データサーバ２５１は、固定カメラ２５２から取得した映像データ自体、及びその映像データの視点情報を、任意視点映像作成用データとしてデジタル放送受信装置１００へ送信してもよい。
The arbitrary viewpoint video
Ｓ３０６で、受信データ解析部２３０は、通信制御部２２７を介して受信した任意視点映像生成用データを解析し、任意視点映像生成用データを解析結果と共に任意視点情報処理部２３２に出力する。Ｓ３０７で、任意視点情報処理部２３２（任意視点映像データ取得手段）は、入力された任意視点映像作成用データ及び解析結果に基づいて任意視点映像を生成する。Ｓ３０８で、任意視点情報処理部２３２は、任意視点映像を表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像と（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。
In step S <b> 306, the received
図３（ａ）の処理ではデジタル放送受信装置１００が任意視点映像を生成したが、他の場所で生成が行われてもよい。一例として、図３（ｂ）は、任意視点映像生成用データサーバが任意視点映像を生成する場合を示す。図３（ｂ）において、図３（ａ）と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。
In the process of FIG. 3A, the digital
Ｓ３１１で、任意視点情報処理部２３２は、移動先の視点を持つ任意視点映像を取得する要求を作成する。Ｓ３１２で、任意視点情報処理部２３２は、作成された任意視点映像取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。
In step S311, the arbitrary viewpoint
Ｓ３１３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像取得要求を解析する。Ｓ３１４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データを取得し、取得した映像データに基づき、任意視点映像を生成する。Ｓ３１５で、任意視点映像生成用データサーバ２５１は、生成した任意視点映像データをデジタル放送受信装置１００へ送信する。Ｓ３１６で、任意視点情報処理部２３２は、任意視点映像を表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像と（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。
In step S <b> 313, the arbitrary viewpoint video
以上の図３（ａ）又は図３（ｂ）の処理の繰り返しにより、デジタル放送受信装置１００は、ユーザが希望する視点を持つ任意視点映像を再生することができる。
By repeating the process of FIG. 3A or FIG. 3B, the digital
次に、任意視点映像から標準映像への切り替え処理について説明する。本実施形態では、標準映像はデジタル放送受信装置１００がチューナ部２１０を介して受信する放送映像であるものとする。しかしながら、標準映像は、チューナ部２１０を介して受信する放送映像に限定されず、インターネットを介して受信する映像であってもよく、任意視点映像と同じ放送番組における標準的（代表的）な映像であれば、どのような映像であっても構わない。放送局は、任意視点映像に対応する被撮像空間を撮影する複数の固定カメラ２５２の中から１つのカメラを選択し、放送番組の進行状況に合わせて、選択するカメラを切り替えながら標準映像として放送する形態が想定される。ただし、放送途中で、任意視点映像に対応する被撮像空間とは異なる被写体を撮影しているカメラの映像を標準映像に挿入したり、ＶＴＲ再生映像を標準映像に挿入したりすることも想定される。
Next, switching processing from an arbitrary viewpoint video to a standard video will be described. In the present embodiment, it is assumed that the standard video is a broadcast video that the digital
図４は、標準映像の視点（標準視点）を示す情報を取得する処理を示すフローチャートである。本フローチャートの処理は、所定の間隔（例えば、１秒）毎に定期的に行われる。 FIG. 4 is a flowchart illustrating processing for acquiring information indicating the viewpoint (standard viewpoint) of the standard video. The process of this flowchart is periodically performed at predetermined intervals (for example, 1 second).
Ｓ４０１で、標準映像情報処理部２３１は、システム制御部２２６から現在の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。Ｓ４０２で、標準映像情報処理部２３１は、現在の出力状態が「任意映像出力中」であるか否かを判定する。「任意映像出力中」の場合、処理はＳ４０３に進み、そうでない場合、本フローチャートの処理は終了する。
In step S <b> 401, the standard video
Ｓ４０３で、標準映像情報処理部２３１（視点取得手段）は、要求データ処理部２３４及び通信制御部２２７を介して、任意視点映像生成用データサーバ２５１から現在出力中の任意視点映像に対応する標準映像の視点情報を取得する。視点情報は、例えば、カメラ位置、パン・チルト角、ズーム情報、画角情報などを含み、視点はこれらの情報の組み合わせにより表現される。なお、標準映像の視点情報がデジタル放送波に重畳されている場合、標準映像情報処理部２３１はデジタル放送波から標準映像の視点情報を取得してもよい。
In step S <b> 403, the standard video information processing unit 231 (viewpoint acquisition unit) corresponds to the standard corresponding to the arbitrary viewpoint video currently being output from the arbitrary viewpoint video
Ｓ４０４で、標準映像情報処理部２３１は、今回取得した視点情報が示す視点が以前に取得した保存済みの視点情報が示す視点と同じであるか否かを判定する。同じ場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ４０５に進む。
In S404, the standard video
Ｓ４０５で、標準映像情報処理部２３１は、保存済みの視点情報を「前回の視点情報」として記憶する。Ｓ４０６で、標準映像情報処理部２３１は、今回取得した視点情報を「最新の視点情報」として保存することにより、保存済みの視点情報を更新する。
In step S405, the standard video
以上の処理により、標準映像情報処理部２３１には、標準映像の最新の視点情報が保存される。
Through the above processing, the latest viewpoint information of the standard video is stored in the standard video
図５は、任意視点映像の被撮像空間に対する視点を示す情報を取得する処理を示すフローチャートである。本フローチャートの処理は、所定の間隔（例えば、１秒）毎に定期的に行われる。 FIG. 5 is a flowchart illustrating processing for acquiring information indicating a viewpoint with respect to an imaging space of an arbitrary viewpoint video. The process of this flowchart is periodically performed at predetermined intervals (for example, 1 second).
Ｓ５０１で、任意視点情報処理部２３２は、システム制御部２２６から現在の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。Ｓ５０２で、任意視点情報処理部２３２は、現在の出力状態が「任意映像出力中」であるか否かを判定する。「任意映像出力中」の場合、処理はＳ５０３に進み、そうでない場合、本フローチャートの処理は終了する。
In step S <b> 501, the arbitrary viewpoint
Ｓ５０３で、任意視点情報処理部２３２は、要求データ処理部２３４及び通信制御部２２７を介して、任意視点映像生成用データサーバ２５１から任意視点映像の視点情報を取得する。
In step S <b> 503, the arbitrary viewpoint
Ｓ５０４で、任意視点情報処理部２３２は、今回取得した視点情報が示す視点が以前に取得した保存済みの視点情報が示す視点と同じであるか否かを判定する。同じ場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ５０５に進む。Ｓ５０５で、任意視点情報処理部２３２は、今回取得した視点情報を「最新の視点情報」として保存することにより、保存済みの視点情報を更新する。
In step S504, the arbitrary viewpoint
以上の処理により、任意視点情報処理部２３２には、任意視点映像の最新の視点情報が保存される。
Through the above processing, the arbitrary viewpoint
なお、任意視点情報処理部２３２は、図３（ａ）又は図３（ｂ）のＳ３００においてユーザから指定された視点に基づいて視点情報を生成してもよい。即ち、図３（ａ）のＳ３０１又は図３（ｂ）のＳ３１１において、任意視点情報処理部２３２は指定手段として任意視点映像の所定の視点を指定し、この視点を示す情報を保存する。この場合、図５の処理は不要である。
The arbitrary viewpoint
図６は、任意視点映像の視点を標準映像の視点に向かって移動させる処理を示すフローチャートである。図６の処理は、任意視点映像から標準映像への切り替え処理（図９を参照して後述）のサブルーチンである。 FIG. 6 is a flowchart illustrating a process of moving the viewpoint of the arbitrary viewpoint video toward the viewpoint of the standard video. The processing in FIG. 6 is a subroutine of switching processing from an arbitrary viewpoint video to a standard video (described later with reference to FIG. 9).
Ｓ６０３で、視点移動映像再生処理部２３５は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ６０４で、視点移動映像再生処理部２３５は、任意視点情報処理部２３２から、現在の任意視点映像の視点情報（図５のＳ５０５で保存された視点情報）を取得する。
In step S603, the viewpoint movement video
Ｓ６０５で、視点移動映像再生処理部２３５は、Ｓ６０３及びＳ６０４で取得した視点情報に基づいて、任意視点映像の現在の視点から標準映像の視点へ向かう経路（視点移動経路）を決定する。ここでは例えば、標準映像の被写体情報、標準映像のカメラ位置情報、視点方向情報、ズーム情報などに基づいて、被写体が視野内に含まれるように、任意視点映像の視点が標準映像の視点と最終的に一致する経路決定処理が行われる。Ｓ６０６で、視点移動映像再生処理部２３５は、Ｓ６０５で決定した視点移動経路上での視点移動速度を取得する。視点移動速度は、ユーザにより設定可能なデータであってもよいし、変更不可能なデータであってもよい。
In S605, the viewpoint movement video
Ｓ６０７で、視点移動映像再生処理部２３５は、Ｓ６０５で決定した視点移動経路に沿ってＳ６０６で取得した速度で任意視点映像の視点を標準映像の視点へ向かって段階的に移動させるように任意視点情報処理部２３２を制御する。任意視点情報処理部２３２は、この制御に従い、移動する視点を任意視点映像生成用データサーバ２５１に対して次々と指示する（図３（ａ）のＳ３０２及び図３（ｂ）のＳ３１２を参照）。これにより、生成される任意視点映像の視点が段階的に移動する。
In step S607, the viewpoint movement video
図７は、標準映像の番組情報を取得する処理を示すフローチャートである。本フローチャートの処理は、所定の間隔（例えば、１秒）毎に定期的に行われる。Ｓ７０１で、番組情報管理部２３３は、システム制御部２２６から現在の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。Ｓ７０２で、番組情報管理部２３３は、現在の出力状態が「任意映像出力中」であるか否かを判定する。「任意映像出力中」の場合、処理はＳ７０３に進み、そうでない場合、本フローチャートの処理は終了する。
FIG. 7 is a flowchart showing a process of acquiring standard video program information. The process of this flowchart is periodically performed at predetermined intervals (for example, 1 second). In step S <b> 701, the program
Ｓ７０３で、番組情報管理部２３３は、番組情報処理部２１６から現在出力中の任意視点映像に対応する標準映像の番組情報を取得して保存する。番組情報には、標準映像の状態（番組放送中、ＣＭ中、臨時番組放送中、など）に関する情報が含まれる。
In step S <b> 703, the program
図８は、任意視点映像の視点の指定可能な範囲を取得する処理を示すシーケンス図である。デジタル放送受信装置１００は放送局２５０の任意視点映像生成用データサーバ２５１とインターネット１０４経由で接続している。
FIG. 8 is a sequence diagram illustrating processing for acquiring a specifiable range of the viewpoint of an arbitrary viewpoint video. The
Ｓ８０２で、任意視点情報処理部２３２は、任意視点の指定可能範囲の取得要求を、要求データ処理部２３４及び通信制御部２２７を介して任意視点映像生成用データサーバ２５１に送信する。
In step S <b> 802, the arbitrary viewpoint
Ｓ８０３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信したデータを解析することにより、任意視点の指定可能範囲の取得要求を検出する。Ｓ８０５で、任意視点映像生成用データサーバ２５１は、任意視点の指定可能範囲を示す範囲データを生成する。Ｓ８０６で、任意視点映像生成用データサーバ２５１は、範囲データをデジタル放送受信装置１００へ送信する。Ｓ８０８で、任意視点情報処理部２３２は、任意視点映像生成用データサーバ２５１から受信した範囲データを保存する。任意視点の指定可能範囲を示す範囲データは、例えば３次元座標で定められる。視点の異なる複数のカメラで撮影された複数の映像（多視点映像）に合成処理を施す等して任意視点映像が生成される場合、複数のカメラのカメラ位置座標情報、パン・チルト角情報（方向ベクトル情報）、画角情報（視野角情報）などの視点情報により、任意視点の指定可能範囲を示す範囲データが定められる。
In step S <b> 803, the arbitrary viewpoint video
図９は、表示制御部２２０の出力を任意視点映像データから標準映像データへと切り替える処理を示すフローチャートである。システム制御部２２６（指示受信手段）が任意視点映像データから前記標準映像データへの切り替え指示をリモコン２０１を介してユーザから受信すると、本フローチャートの処理が開始する。システム制御部２２６は、本フローチャートの処理全体を統括する。
FIG. 9 is a flowchart showing a process of switching the output of the
Ｓ９０３で、任意視点情報処理部２３２は、番組情報管理部２３３から標準映像の番組情報（図７のＳ７０３で保存された番組情報）を取得する。Ｓ９０４で、任意視点情報処理部２３２は、Ｓ９０３で取得した番組情報に基づき、標準映像の状態が番組放送中であるか否かを判定する。番組放送中の場合、処理はＳ９０５に進み、そうでない場合、処理はＳ９０９へ進む。
In step S <b> 903, the arbitrary viewpoint
Ｓ９０５で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ９０６で、任意視点情報処理部２３２は、任意視点の指定可能範囲を示す範囲データ（図８のＳ８０８で保存された範囲データ）を取得する。Ｓ９０７で、任意視点情報処理部２３２は、標準映像の視点が任意視点の指定可能範囲内であるか否かを判定する。範囲内であれば処理はＳ９０８に進み、そうでない場合、処理はＳ９０９に進む。
In step S905, the arbitrary viewpoint
Ｓ９０８で、視点移動映像再生処理部２３５は、図６を参照して説明した、任意視点映像の視点を標準映像の視点に向かって移動させる処理を実行する。
In step S908, the viewpoint movement video
Ｓ９０９で、システム制御部２２６は、出力を任意視点映像データから標準映像データへと切り替えるように表示制御部２２０を制御する。
In step S909, the
以上説明したように、本実施形態によれば、デジタル放送受信装置１００は、原則としてＳ９０８の処理の完了後（即ち、任意視点映像の視点が標準映像の視点へ向かって段階的に移動する処理の完了後）にＳ９０９の処理（任意視点映像から標準映像への切り替え）を行う（図１０参照）。これにより、ユーザは、任意視点映像から標準映像への切り替えに伴う視点の変化を容易に認識することができる。
As described above, according to the present embodiment, the digital
また、任意視点映像から標準映像への切り替えの際に標準映像の視点が任意視点映像の視点の指定可能範囲外である場合、デジタル放送受信装置１００は、Ｓ９０８の処理を行わずにＳ９０９の処理を行う（図１１参照）。これにより、標準映像の視点が任意視点映像の視点の指定可能範囲外である場合でも、映像の切り替えが正常に行われる。例えば、サッカーなどのスポーツ番組において、任意視点映像の視点の指定可能範囲がサッカー競技場内のエリアで、標準映像がサッカー競技場外の映像やＶＴＲ再生映像である場合は、標準映像の視点が任意視点映像の視点の指定可能範囲外であると判定される（Ｓ９０７からＳ９０９に進む）。なお、ここでは、任意視点の指定可能範囲を示す範囲データは、３次元座標で定められるものとしたが、カメラの識別情報のみで定められるものであってもよい。この場合、Ｓ９０７において、任意視点映像を生成するための元となる複数の映像（多視点映像）を撮影する複数のカメラの識別情報と、標準映像に対応するカメラの識別情報とが比較され、識別情報が一致しない場合に、標準映像の視点が任意視点映像の視点の指定可能範囲外であると判定される。
Also, when the viewpoint of the standard video is outside the specifiable range of the viewpoint of the arbitrary viewpoint video when switching from the arbitrary viewpoint video to the standard video, the digital
［第２の実施形態］
第２の実施形態では、図９のＳ９０８における視点の移動のための制御の実行中に、標準映像を撮像した撮像装置が別の撮像装置に変化した場合について説明する。図１２は、第２の実施形態に係る、図９のＳ９０８の処理と並行して実行される処理を示すフローチャートである。
[Second Embodiment]
In the second embodiment, a case will be described in which the imaging device that captured the standard video image is changed to another imaging device during execution of the control for moving the viewpoint in S908 of FIG. FIG. 12 is a flowchart showing processing executed in parallel with the processing of S908 of FIG. 9 according to the second embodiment.
Ｓ１２０１で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ１２０２で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、標準映像の「前回の視点情報」（図４のＳ４０５で保存された視点情報）を取得する。第２の実施形態では、標準映像の視点情報は、標準映像を撮像したカメラ（撮像装置）を特定する情報を含むものとする。
In step S1201, the arbitrary viewpoint
Ｓ１２０３で、任意視点情報処理部２３２は、Ｓ１２０１で取得した視点情報をＳ１２０２で取得した「前回の視点情報」と比較する。比較処理の結果、撮像装置が別の撮像装置に変化した場合、処理はＳ１２０４からＳ１２０５へと進む。
In step S1203, the arbitrary viewpoint
Ｓ１２０５で、任意視点情報処理部２３２は、視点移動映像再生処理部２３５に対し、視点移動映像再生処理（任意視点映像の視点の移動のための制御）の中止を要求する。その後、Ｓ１２０６で、システム制御部２２６は、図９のＳ９０９と同様に、出力を任意視点映像データから標準映像データへと切り替えるように表示制御部２２０を制御する。
In step S1205, the arbitrary viewpoint
以上の処理により、視点移動映像再生中に標準映像のカメラが切り替った場合でも、映像の切り替えが正常に行われる。図１３は、この場合の映像の切り替えを示す概略図である。 With the above processing, even when the standard video camera is switched during playback of the viewpoint moving video, the video is switched normally. FIG. 13 is a schematic diagram showing video switching in this case.
［第３の実施形態］
第３の実施形態では、図９のＳ９０８における視点の移動のための制御の実行中に、標準映像の視点が変化した場合について説明する。図１４は、第３の実施形態に係る、図９のＳ９０８の処理と並行して実行される処理を示すフローチャートである。
[Third Embodiment]
In the third embodiment, a case will be described in which the viewpoint of the standard video changes during execution of the control for moving the viewpoint in S908 of FIG. FIG. 14 is a flowchart showing a process executed in parallel with the process of S908 of FIG. 9 according to the third embodiment.
Ｓ１４０１で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ１４０２で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、標準映像の「前回の視点情報」（図４のＳ４０５で保存された視点情報）を取得する。
In step S1401, the arbitrary viewpoint
Ｓ１４０３で、任意視点情報処理部２３２は、Ｓ１４０１で取得した視点情報をＳ１４０２で取得した「前回の視点情報」と比較する。比較処理の結果、標準映像の視点が変化した場合、処理はＳ１４０４からＳ１４０５へと進む。或いは、標準映像の視点が変化し、且つ、標準映像のカメラが変化していない場合に、処理がＳ１４０４からＳ１４０５へと進んでもよい。
In S1403, the arbitrary viewpoint
Ｓ１４０５で、視点移動映像再生処理部２３５は、図６のＳ６０５と同様に、任意視点映像の現在の（移動途中の）視点から標準映像の変化後の視点へ向かう経路（視点移動経路）を決定する。Ｓ１４０６で、視点移動映像再生処理部２３５は、図６のＳ６０７と同様に、Ｓ１４０５で決定した視点移動経路に沿って任意視点映像の視点を標準映像の変化後の視点へ向かって段階的に移動させるように任意視点情報処理部２３２を制御する。
In S1405, the viewpoint movement video
以上の処理により、視点移動映像再生中に標準映像の視点が変化した場合でも、任意視点映像の視点の移動がこの変化に追従することができる。図１５は、この場合の映像の切り替えを示す概略図である。 With the above processing, even when the viewpoint of the standard video changes during playback of the viewpoint moving video, the movement of the viewpoint of the arbitrary viewpoint video can follow this change. FIG. 15 is a schematic diagram showing video switching in this case.
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (5)
被撮像空間に対する所定の視点を指定する指定手段と、
複数の撮像装置それぞれが異なる視点から前記被撮像空間を撮像することにより得られる複数の映像データに基づいて生成される、前記指定された所定の視点から見た前記被撮像空間の仮想的な映像を表す任意視点映像データを取得する、映像取得手段と、
前記任意視点映像データを出力する出力手段と、
前記標準映像データの映像の視点である標準視点を示す情報を取得する視点取得手段と、
前記出力手段での出力を前記任意視点映像データから前記標準映像データへと切り替える切り替え指示をユーザから受信する指示受信手段と、
前記指定手段が前記所定の視点として前記標準視点を指定可能であるか否かを判定し、前記指定手段が前記所定の視点として前記標準視点を指定可能であると判定された場合、前記切り替え指示の受信に応えて、前記所定の視点を前記標準視点へ向かって段階的に移動させるように前記指定手段を制御し、当該移動の完了後に、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する、制御手段と、
を備えることを特徴とする映像受信装置。 Video receiving means for receiving standard video data representing video captured by a predetermined imaging device;
A designation means for designating a predetermined viewpoint with respect to the imaged space;
A virtual image of the imaged space viewed from the specified predetermined viewpoint, generated based on a plurality of image data obtained by imaging the imaged space from different viewpoints by a plurality of imaging devices. Video acquisition means for acquiring arbitrary viewpoint video data representing
Output means for outputting the arbitrary viewpoint video data;
Viewpoint acquisition means for acquiring information indicating a standard viewpoint that is a viewpoint of the video of the standard video data;
An instruction receiving means for receiving from the user a switching instruction to switch the output at the output means from the arbitrary viewpoint video data to the standard video data;
The designation unit determines whether or not the standard viewpoint can be designated as the predetermined viewpoint, and when the designation unit determines that the standard viewpoint can be designated as the predetermined viewpoint, the switching instruction In response to the reception, the designation means is controlled to move the predetermined viewpoint stepwise toward the standard viewpoint, and after completion of the movement, the output is changed from the arbitrary viewpoint video data to the standard video data. Control means for controlling the output means to switch to
A video receiving apparatus comprising:
ことを特徴とする請求項１に記載の映像受信装置。 When it is determined that the standard viewpoint cannot be designated as the predetermined viewpoint, the control means outputs the standard video data from the arbitrary viewpoint video data without performing the control for the movement. The video receiving apparatus according to claim 1, wherein the output unit is controlled so as to be switched to.
前記制御手段は、前記移動のための制御を実行中に前記標準映像データの映像を撮像した撮像装置が別の撮像装置に変化した場合、前記移動のための制御を中止し、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する
ことを特徴とする請求項１又は２に記載の映像受信装置。 The viewpoint acquisition means is configured to further acquire information for specifying an imaging device that has captured the video of the standard video data,
The control means stops the control for the movement and outputs the arbitrary output when the imaging device that has captured the video of the standard video data is changed to another imaging device while executing the control for the movement. The video receiving apparatus according to claim 1, wherein the output unit is controlled to switch from viewpoint video data to the standard video data.
ことを特徴とする請求項１又は２に記載の映像受信装置。 The control means controls the designation means to move the predetermined viewpoint stepwise toward the standard viewpoint after the change when the standard viewpoint changes during execution of the control for the movement. The video receiving apparatus according to claim 1, wherein the video receiving apparatus is a video receiving apparatus.
映像受信手段が、所定の撮像装置により撮像された映像を表す標準映像データを受信する映像受信工程と、
指定手段が、被撮像空間に対する所定の視点を指定する指定工程と、
映像取得手段が、複数の撮像装置それぞれが異なる視点から前記被撮像空間を撮像することにより得られる複数の映像データに基づいて生成される、前記指定された所定の視点から見た前記被撮像空間の仮想的な映像を表す任意視点映像データを取得する、映像取得工程と、
出力手段が、前記任意視点映像データを出力する出力工程と、
視点取得手段が、前記標準映像データの映像の視点である標準視点を示す情報を取得する視点取得工程と、
指示受信手段が、前記出力工程での出力を前記任意視点映像データから前記標準映像データへと切り替える切り替え指示をユーザから受信する指示受信工程と、
制御手段が、前記指定工程において前記指定手段が前記所定の視点として前記標準視点を指定可能であるか否かを判定し、前記指定工程において前記指定手段が前記所定の視点として前記標準視点を指定可能であると判定された場合、前記切り替え指示の受信に応えて、前記所定の視点を前記標準視点へ向かって段階的に移動させるように前記指定工程を制御し、当該移動の完了後に、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力工程を制御する、制御工程と、
を備えることを特徴とする制御方法。 A method for controlling a video receiving device, comprising:
A video receiving step in which the video receiving means receives standard video data representing video captured by a predetermined imaging device;
A designation step in which the designation means designates a predetermined viewpoint with respect to the imaged space;
The image-capturing space viewed from the specified predetermined viewpoint, which is generated based on a plurality of video data obtained by the image acquisition unit imaging the image-capturing space from a different viewpoint by each of the plurality of imaging devices. A video acquisition process for acquiring arbitrary viewpoint video data representing a virtual video of
An output step of outputting the arbitrary viewpoint video data;
A viewpoint acquisition step of acquiring information indicating a standard viewpoint that is a viewpoint of the video of the standard video data;
An instruction receiving step in which an instruction receiving unit receives from the user a switching instruction to switch the output in the output step from the arbitrary viewpoint video data to the standard video data;
The control means determines whether or not the designation means can designate the standard viewpoint as the predetermined viewpoint in the designation step, and the designation means designates the standard viewpoint as the predetermined viewpoint in the designation step. If it is determined that it is possible, in response to receiving the switching instruction, the designated process is controlled to move the predetermined viewpoint stepwise toward the standard viewpoint, and after the movement is completed, the output is performed. Controlling the output step to switch from the arbitrary viewpoint video data to the standard video data; and
A control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010150255A JP5520146B2 (en) | 2010-06-30 | 2010-06-30 | Video receiving apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010150255A JP5520146B2 (en) | 2010-06-30 | 2010-06-30 | Video receiving apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012015788A true JP2012015788A (en) | 2012-01-19 |
| JP2012015788A5 JP2012015788A5 (en) | 2013-08-01 |
| JP5520146B2 JP5520146B2 (en) | 2014-06-11 |
Family
ID=45601697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010150255A Active JP5520146B2 (en) | 2010-06-30 | 2010-06-30 | Video receiving apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5520146B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014127735A (en) * | 2012-12-25 | 2014-07-07 | Casio Comput Co Ltd | Display control device, display control system, display control method, and program |
| JP2016014837A (en) * | 2014-07-03 | 2016-01-28 | ソニー株式会社 | Information processor, information processing method and program |
| WO2017051592A1 (en) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP2019537303A (en) * | 2016-09-29 | 2019-12-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Image processing |
-
2010
- 2010-06-30 JP JP2010150255A patent/JP5520146B2/en active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014127735A (en) * | 2012-12-25 | 2014-07-07 | Casio Comput Co Ltd | Display control device, display control system, display control method, and program |
| JP2016014837A (en) * | 2014-07-03 | 2016-01-28 | ソニー株式会社 | Information processor, information processing method and program |
| WO2017051592A1 (en) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| US10600253B2 (en) | 2015-09-25 | 2020-03-24 | Sony Corporation | Information processing apparatus, information processing method, and program |
| JP2019537303A (en) * | 2016-09-29 | 2019-12-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Image processing |
| JP7065836B2 (en) | 2016-09-29 | 2022-05-12 | コーニンクレッカ フィリップス エヌ ヴェ | Image processing |
| JP7065836B6 (en) | 2016-09-29 | 2022-06-06 | コーニンクレッカ フィリップス エヌ ヴェ | Image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5520146B2 (en) | 2014-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5835932B2 (en) | Image processing apparatus and control method thereof | |
| CA2809316C (en) | Content supplying device, content supplying method, content reproducing device, content reproducing method, program, and content viewing system | |
| JP5495855B2 (en) | Video processing apparatus and video processing method | |
| EP3238445B1 (en) | Interactive binocular video display | |
| US20150124048A1 (en) | Switchable multiple video track platform | |
| CN108780581B (en) | Information processing apparatus, information processing scheme, and program | |
| US20200053395A1 (en) | Video distribution system, user terminal device, and video distribution method | |
| JP2017208702A (en) | Information processing apparatus, control method of the same, and imaging system | |
| JP5520146B2 (en) | Video receiving apparatus and control method thereof | |
| CN107835435B (en) | Event wide-view live broadcasting equipment and associated live broadcasting system and method | |
| KR20210072086A (en) | Information processing system, information processing method, and storage medium | |
| US9338429B2 (en) | Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor | |
| US20200213631A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
| KR101987062B1 (en) | System for distributing and combining multi-camera videos through ip and a method thereof | |
| JP5500972B2 (en) | Broadcast receiving apparatus and control method thereof | |
| JP2012004991A (en) | Broadcast receiving apparatus and control method for the same | |
| JP2012034083A (en) | Video processing apparatus and control method of the same | |
| US20180227504A1 (en) | Switchable multiple video track platform | |
| CN107835433B (en) | Event wide-view live broadcasting system, associated equipment and live broadcasting method | |
| JP2007104540A (en) | Device, program and method for distributing picked-up image | |
| JP5990309B2 (en) | Image processing apparatus and control method thereof | |
| JPH11243508A (en) | Image display device | |
| US11716540B2 (en) | Extended scene view | |
| CN107835434B (en) | Event wide-view live broadcasting equipment and associated live broadcasting system and method | |
| JP2005079758A (en) | Method and system of distributing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140404 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5520146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |