JP2012120031A - 映像処理装置及びその制御方法 - Google Patents

Abstract

【課題】任意の視点からの映像を表示中に非表示エリアが変化した場合に視聴の快適性が損なわれることを抑制する。
【解決手段】任意の視点からの映像を表示可能な映像コンテンツデータと、映像コンテンツデータにおいて表示されないように設定された非表示エリアに関する情報と、を取得する取得手段と、任意の視点からの映像を表示中に非表示エリアが変化したか否かを判定する第１の判定手段と、非表示エリアが変化したと判定された場合に、任意の視点からの映像が変化後の非表示エリアを含むか否かを判定する第２の判定手段と、任意の視点からの映像が変化後の非表示エリアを含むと判定される場合、表示する映像データを所定の待避映像データに切り替える制御手段と、を有し、前記待避映像データは、前記変化後の非表示エリアを含まない視点からの映像データである。
【選択図】図１

Description

本発明は、映像処理装置及びその制御方法に関する。

現在、デジタルテレビ放送の普及に伴い、デジタルテレビ放送の新しいサービスの研究開発が行われている。例えば、多視点映像や任意視点映像の放送がある。多視点映像とは、視点の異なる複数の映像データ、例えば複数のカメラで撮影された映像データからなり、ユーザに指定（選択）された任意の視点からの映像を表示可能な映像である。任意視点映像とは、視点の異なる複数の映像データ、例えば複数のカメラで撮影された映像データに基づいて生成される、ユーザに指定された任意の視点からの映像を表示可能な映像である。任意視点映像では、実際にはカメラの存在しない視点での映像を表示することもできる。

特許文献１に記載された受信装置は、放送用の映像と放送用の映像に対する視点情報を含む放送ストリームを受信する。受信装置は、任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として、放送ストリームから抽出した視点情報を利用する。

任意視点映像では、ユーザが設定（指定）した視点によっては、撮影機材や制作スタッフ等、番組制作者が視聴者に見せたくないエリアが写ってしまう場合がある。また、被写体に近すぎる視点や地面の下に潜ってしまう視点等、任意視点映像の生成がそもそも困難な視点が指定されることも考えられる。

特許文献２には、任意視点映像の視点位置及び視線方向を制限又は許可する情報を映像データに付加して伝送又は記録するシステムが記載されている。

このシステムによれば、任意視点映像において、番組制作者にとって視聴者に見せたくないものが写ってしまう視点を禁止するように番組制作者側にて設定することができる。

特開２００７−１５０７４７号公報 特開２００７−１９５０９１号公報

特許文献２によれば、任意視点映像において視聴者に見せたくないエリアや視点の情報を映像データに付加し、そのようなエリアの映像が任意視点映像の表示時に表示されないように指定することができる。視聴者が指定した視点からの映像が、前記表示されないように指定されたエリア（非表示エリア）を含んでしまう場合には、例えば、画面全体をブラックアウトさせたり、非表示エリアのみグレーアウトさせたりする制御が考えられる。このような制御により、非表示エリアの映像を視聴者が視聴することが禁止される。
ところで、任意視点映像（多視点映像）の表示中に非表示エリアの設定が変化した場合、それまで非表示エリアを含まなかった視点からの映像が、変化後の非表示エリアを含む映像なってしまう場合がある。ユーザがそのような視点からの映像を視聴していた場合、視聴中に突然画面がブラックアウトしたり、グレーアウト領域の面積が増大したりして、視聴の快適性が損なわれるおそれがある。映像コンテンツがデジタル放送番組の場合は、ユーザに視聴機会を失わせることにつながるため好ましくない。

そこで、本発明は、任意の視点からの映像を表示中に非表示エリアの設定が変化した場合に視聴の快適性が損なわれることを抑制することができる映像処理装置及びその制御方法を提供することを目的とする。

本発明は、映像コンテンツデータを再生可能な映像処理装置であって、
任意の視点からの映像を表示可能な映像コンテンツデータと、前記映像コンテンツデータにおいて表示されないように指定された非表示エリアに関する情報と、を取得する取得手段と、
前記映像コンテンツデータにおける任意の視点からの映像を表示中に前記非表示エリアが変化したか否かを判定する第１の判定手段と、
前記第１の判定手段で前記非表示エリアが変化したと判定された場合に、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むか否かを判定する第２の判定手段と、
前記第２の判定手段により、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むと判定される場合、表示する映像データを所定の待避映像データに切り替える制御手段と、を有し、
前記待避映像データは、前記変化後の前記非表示エリアを含まない視点からの映像データであることを特徴とする映像処理装置である。

本発明は、映像コンテンツデータを再生可能な映像処理装置の制御方法であって、
任意の視点からの映像を表示可能な映像コンテンツデータと、前記映像コンテンツデータにおいて表示されないように指定された非表示エリアに関する情報と、を取得する取得工程と、
前記映像コンテンツデータにおける任意の視点からの映像を表示中に前記非表示エリアが変化したか否かを判定する第１の判定工程と、
前記第１の判定工程で前記非表示エリアが変化したと判定された場合に、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むか否かを判定する第２の判定工程と、
前記第２の判定工程により、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むと判定される場合、表示する映像データを所定の待避映像データに切り替える制御工程と、を有し、
前記待避映像データは、前記変化後の前記非表示エリアを含まない視点からの映像データであることを特徴とする映像処理装置の制御方法である。

本発明によれば、任意の視点からの映像を表示中に非表示エリアの設定が変化した場合に視聴の快適性が損なわれることを抑制することができる映像処理装置及びその制御方法を提供することが可能になる。

実施例１の放送受信装置の機能ブロック図 実施例１の２次元の場合での視点設定の例の説明図 実施例１の２次元の場合での視聴エリア制御情報 実施例１における、視点切替を制御するフローチャート 実施例１における、非表示エリアの変化を示す図 実施例１における、視点設定メニューの例を示す図 実施例２における、視点切替を制御するフローチャート 実施例２における、ユーザ指定視点の近傍の視点の決定方法の例 実施例２における、ユーザ指定視点の近傍の視点の決定方法の例 実施例３における、視点切替を制御するフローチャート 実施例３における非表示エリアの変化を示す図 実施例３における、視聴者に案内を示し視点の映像を切替えるＧＵＩ

以下、本発明の実施例について、図面を参照しながら説明する。ここで説明する実施例は、デジタルテレビ放送を受信する放送受信装置に本発明を適用した実施例である。実施例に係る放送受信装置は、標準映像データと、多視点映像データ又は任意視点映像データの少なくとも一方と、を含むデジタル放送番組データを受信又は取得し再生可能（表示可能）な映像処理装置である。標準映像データは、非表示エリアの画像を含まないように作成された映像データであり、標準的な番組映像のデータである。非表示エリアは、任意の視点からの映像を表示可能な映像コンテンツデータにおいて、表示されないように指定されたエリアである。多視点映像データや任意視点映像データを再生（表示）する機能を有しない放送受信装置で多視点映像データや任意視点映像データを含むデジタル放送番組データを受信した場合は、標準映像データが再生（表示）される。
本発明は、任意の視点からの映像を表示可能な映像コンテンツデータを放送やインターネット等の通信により受信して再生、表示、録画、外部機器への映像信号の出力等を行うデジタルテレビ、レコーダ、ＰＣ、ＰＣ用の機能拡張ボード等に適用可能である。また、本発明は、任意の視点からの映像を表示可能な映像コンテンツデータを蓄積するＤＶＤやＢＤ等を再生する機能を有するプレーヤやＰＣ等にも適用可能である。

多視点映像データは、視点の異なる複数の映像データからなり、ユーザに指定された視点からの映像を表示可能な映像データである。視点の異なる複数の映像データは、複数のカメラを用いて複数の視点で撮影された映像データや、複数の視点でのアニメーション映像データやＣＧ映像データである。
ユーザが、多視点映像の視聴時に、複数の視点のうち視聴したい視点を指定（選択）すると、放送受信装置は、ユーザに指定された視点からの映像データを表示する。
ユーザが指定した視点からの映像データは、放送や通信により受信した映像コンテンツデータから放送受信装置内部で生成しても良いし、放送受信装置外部の装置で生成された映像データをインターネット等の通信手段を介して取得しても良い。放送受信装置外部の装置は、例えば、放送局内又は放送局外に設けられインターネット等の通信手段で放送受信装置と接続された多視点映像データ生成用サーバ等である。

任意視点映像データは、視点の異なる複数の映像データに基づいて生成される映像データであり、ユーザの指定する任意の視点からの映像を表示可能な映像データである。視点の異なる複数の映像データは、多視点映像データと同様、複数のカメラで撮影された映像データや、複数の視点でのアニメーション映像データやＣＧ映像データである。
ユーザが、任意視点映像の視聴時に、視聴したい任意の視点を指定すると、放送受信装置は、ユーザに指定された視点からの映像データを表示する。
ユーザが指定した視点からの映像データは、多視点映像データの場合と同様、放送受信装置内部で生成した映像データを取得しても良いし、放送受信装置外部の装置で生成された映像データを取得しても良い。
放送受信装置が、放送受信装置外部の装置で生成される多視点映像データや任意視点映像データを取得する場合、放送受信装置は、当該外部装置に対し、インターネット等の通信手段を介して、ユーザに指定された視点の情報を送信する。外部装置は、当該視点の情報に基づき、ユーザに指定された視点からの多視点映像データや任意視点映像データを生成する。放送受信装置は、外部装置で生成された多視点映像データや任意視点映像データを、インターネット等の通信手段を介して取得する。
放送受信装置内部で多視点映像データや任意視点映像データを生成する場合、放送受信
装置は、放送局から、放送又は通信により、多視点映像データや任意視点映像データを生成するために必要なデータを受信又は取得する。多視点映像データや任意視点映像データを生成するために必要なデータは、例えば、異なる複数の視点の映像データや当該複数の視点の情報（視点位置や視線方向）等である。放送受信装置は、多視点映像データや任意視点映像データを生成するために必要なデータの一部を放送により受信し、一部を通信により取得しても良い。
放送受信装置は、放送や通信により取得した複数の視点の映像データと、ユーザに指定された視点の情報と、に基づき、複数の視点の映像データに対して合成等の画像処理を行って、ユーザに指定された視点からの多視点映像データや任意視点映像データを生成する。
放送受信装置は、標準映像データと、多視点映像データ又は任意視点映像データと、の両方を放送により受信する構成とすることができる。或いは、放送受信装置は、標準映像データのみ放送により受信し、多視点映像データ又は任意視点映像データをインターネット等の通信により取得する構成とすることもできる。

番組データ（標準映像データ、多視点映像データ又は任意視点映像データを含む映像コンテンツデータ）には、非表示エリアに関する情報が付加される。非表示エリアに関する情報は、映像コンテンツデータにおいて表示されないように指定されたエリアの情報である。非表示エリアに関する情報は、非表示エリアの座標情報、視聴者による視聴が禁止される視点の情報、ある視点からの映像が非表示エリアを含むか否かを判定するための情報等を含む。非表示エリアは、例えば撮影機材や番組制作スタッフのような、コンテンツ制作者が視聴者による視聴を意図していないエリアであり、コンテンツ制作者が指定することができる。
放送受信装置は、非表示エリアに関する情報についても、映像コンテンツデータ（標準映像データ、多視点映像データ、任意視点映像データ）と同様、放送により受信する構成とすることもできるし、通信により取得する構成とすることもできる。
非表示エリアに関する情報として、視聴禁止視点の情報が映像コンテンツデータに付加される場合、非表示エリアに関する情報は、例えば、視聴禁止視点の視点位置（座標値）及び視線方向（角度）のリストにより構成される。放送受信装置は、ユーザに指定された視点の視点位置及び視線方向が、非表示エリアに関する情報としてリストされている視点位置及び視線方向のいずれかと一致する場合に、ユーザが指定した視点が視聴禁止視点に該当すると判定することができる。

非表示エリアに関する情報として、非表示エリアの大きさや形状の情報（座標情報）であっても良い。その場合、放送受信装置は、非表示エリアの情報と、ユーザの指定した視点情報（視点位置や視線方向）から、その視点からの映像が非表示エリアを含むか否かを判定する。

例えば、放送受信装置は、ある視点からの映像に写るエリアと非表示エリアとが共有部分を有する場合に、その視点からの映像が非表示エリアを含むと判定する。すなわち、非表示エリアが写るような多視点映像又は任意視点映像が生成される視点を、視聴禁止視点に該当する視点と判定する。ある視点からの映像が非表示エリアを含むか否か判定する方法の詳細は後述する。

本実施例では、ユーザがリモコン等を用いて、視聴を希望する視点（視点位置及び視線方向）を指定すると、放送受信装置が、ユーザに指定された視点からの多視点映像データ又は任意視点映像データを生成し、表示部に表示させる。
放送受信装置は、ユーザに指定された視点からの映像が非表示エリアを含む場合、警告メッセージを表示して別の視点を指定させたり、予め定められた映像データ（例えば、標準映像データ）を表示したりする。よって、ユーザは、非表示エリアの映像を視聴するこ
とはできない。
なお、放送受信装置は、ユーザに指定された視点の多視点映像又は任意視点映像のフレーム画像に非表示エリアの画像が含まれる場合、非表示エリアの画像の領域又は該領域を含む所定範囲の領域を所定の置換画像により置換して表示しても良い。置換画像は、例えば、黒やグレー等の単色画像や、映像の内容を把握できないようにする画像処理（モザイク等）が施された画像等である。フレーム画像内の非表示エリアの画像を置換画像で置換することを、本明細書ではグレーアウトさせるともいう。非表示エリアが映る領域をグレーアウトさせて多視点映像データ又は任意視点映像データの表示を行う構成によっても、ユーザは、非表示エリアの映像を視聴することはできない。
このように、番組制作者は、非表示エリアに関する情報を映像コンテンツデータ（番組データ）に付加することによって、視聴者に見せたくないエリアを視聴者が視聴することを抑制することができる。

非表示エリアに関する情報は、多視点映像又は任意視点映像のフレームレートと同じレートで更新される。従って、番組制作者は、同一番組内において、番組の内容や進行等に応じて、非表示エリアを変化させることができる。なお、非表示エリアに関する情報の更新頻度は、映像コンテンツデータに含まれる映像のフレームレートと同一でなくてもよく、所定時間ごとの更新であっても良いし、場面転換等に応じた更新であっても良い。
番組の途中で非表示エリアが変化する場合、ある視点からの映像が、非表示エリアの変化前までは非表示エリアを含まなかったものの、非表示エリアの変化後は非表示エリアを含むこととなる可能性がある。
ユーザに指定された視点からの映像がそのような多視点映像又は任意視点映像であった場合、非表示エリアが変化した時点で、画面が突然ブラックアウトしたり、静止したり、グレーアウトされる領域が発生又は増大したりすることになり、好ましくない。

そこで、本実施例の放送受信装置は、番組の途中での非表示エリアの変化により、ユーザの指定していた視点からの映像が変化後の非表示エリアを含むこととなる場合は、非表示エリアが変化する時点で、表示する映像データを待避映像データへ切り替える。

第１の実施例に係る放送受信装置では、待避映像データは、予め定められた映像（例えば標準映像データ又は変化後の非表示エリアを含まない視点からの多視点映像データ若しくは任意視点映像データ）である。
第２の実施例に係る放送受信装置では、待避映像データは、ユーザが指定していた視点の視点位置及び視線方向の少なくともいずれかから所定範囲内にあり、且つ、変化後の非表示エリアを含まない視点からの多視点映像データ又は任意視点映像データである。
第３の実施例に係る放送受信装置では、非表示エリアの変化に伴う、ユーザの指定していた視点の映像から待避映像データへの表示映像の切り替えが過去に実行されており、その後、非表示エリアが再度変化した場合の、表示映像の切り替えに特徴がある。
以下、各実施例について詳細に説明する。

（実施例１）
図１は、第１の実施例に係る放送受信装置の機能ブロック図である。
図１に示すように、放送受信装置１は、ＲＦＩ／Ｆ部２、通信Ｉ／Ｆ部３、受信部４（取得手段）、ＤＥＭＵＸ部５、番組情報取得・予約部６、映像切替制御部７、デコード部８を有する。放送受信装置１は、さらに、ユーザ視点保存部９、非表示エリア判定部１０、任意視点映像生成部１１、視点切替制御部１２、ＧＵＩ制御部１３、ブレンド部１４、ユーザＩ／Ｆ部１５、表示部１６、制御部１７（制御手段）を有する。以下、各部の機能について説明する。

ＲＦＩ／Ｆ部２は、外部のアンテナ（不図示）から入力される放送波のＲＦ信号を受信
部４に転送するためのインターフェイスである。

通信Ｉ／Ｆ部３は、通信ネットワークから入力される信号を受信部４や制御部１７に転送するとともに、制御部１７から入力される信号を通信ネットワークへ転送するためのインターフェイスである。通信Ｉ／Ｆ部３には、放送局のサーバから送信される放送番組の制御データ等の信号がインターネット等を介して入力される。通信Ｉ／Ｆ部３は、入力された放送番組の制御データを制御部１７へ転送する。通信Ｉ／Ｆ部３には、制御部１７からの信号が入力される。通信Ｉ／Ｆ部３は、入力された制御部１７からの信号をインターネット等を介して放送局のサーバへ転送する。

受信部４は、ＲＦＩ／Ｆ部２及び通信Ｉ／Ｆ部３から送られてきた信号を、デジタル放送番組データを構成するＴＳ（トランスポートストリーム）へ戻す。受信部４は、制御部１７とも接続されている。受信部４は、制御部１７から入力される指示に基づいて、受信する番組データ又は放送局を選択する。

ＤＥＭＵＸ部５は、ＴＳを映像データ、音声データ、番組データ、撮影視点情報、視聴エリア制御情報、マップ情報等に分離する。「撮影視点情報」は、多視点映像又は任意視点映像の撮影に用いられた複数のカメラそれぞれの視点位置、視線方向、画角等の情報である。「視聴エリア制御情報」は、視点設定可能エリアや非表示エリアの情報である（詳細は後述する）。
「マップ情報」は、ユーザが視点を指定する操作を行うためのＧＵＩの構築に用いられる情報である。例えば、スタジオ収録番組の場合、マップ情報には、スタジオの平面図や番組出演者の位置等の情報が格納される（詳細は後述する）。
ＤＥＭＵＸ部５は、映像データ、音声データ及び撮影視点情報を映像切替制御部７へ転送し、番組データ及びマップ情報を番組情報取得・予約部６へ転送し、視聴エリア制御情報を非表示エリア判定部１０へ転送する。
なお、標準映像データと、多視点映像データ又は任意視点映像と、の両方のデータを放送波から受信する構成でも良いし、標準映像データのみ放送波から受信し、多視点映像データ又は任意視点映像データはインターネットを介して取得する構成でも良い。撮影視点情報、視聴エリア制御情報、マップ情報等についても、放送波から受信する構成でも良いし、インターネット等の通信により取得する構成でも良い。

番組情報取得・予約部６は、ＤＥＭＵＸ部５から受け取った番組データから、番組表情報や番組内容情報を取得し記録する。番組情報取得・予約部６は、制御部１７からの指示を受け、番組表や番組情報を出力する。番組情報取得・予約部６は、制御部１７からの指示を受け、番組の視聴予約を受け付ける。
ユーザは、番組情報取得・予約部６が出力する番組表の画面から視聴予約をすることができる。番組情報取得・予約部６は、視聴予約された番組の開始時刻が到来すると、当該番組が表示部１６に表示されるよう、制御部１７に指示を出す。番組情報取得・予約部６は、ＤＥＭＵＸ部５から受け取ったマップ情報を保存する。

映像切替制御部７は、制御部１７からの指示を受け、ＤＥＭＵＸ部５又は番組情報取得・予約部６からの入力を選択する。映像切替制御部７は、ＤＥＭＵＸ部５から受けた映像データ、音声データ及び撮影視点情報をデコード部８へ転送する。また、映像切替制御部７は、番組情報取得・予約部６から受けた番組表や番組ガイド等の画像データを、デコード部８へ転送する。

デコード部８は、映像切替制御部７から受けた映像データや音声データを復号（デコード）し、映像信号や音声信号に変換する。デコード部８は、復号して得られた映像信号や音声信号を、任意視点映像生成部１１又は視点切替制御部１２へ転送する。
デコード部８は、ＭＰＥＧ、Ｈ．２６４、ＡＶＣＨＤ等の方式で符号化された映像データや音声データを復号する。デコード部８は、符号化されていない映像データや画像データを受けた場合は、復号処理を行わずにそれらを任意視点映像生成部１１又は視点切替制御部１２へ転送する。

ユーザ視点保存部９は、制御部１７から受け取った視点設定情報を保存する。「視点設定情報」とは、任意視点映像生成部１１に生成させる多視点映像又は任意視点映像の視点の情報である。
本実施例では、視点は視点位置及び視線方向の情報に基づき特定される。視点位置は座標で表され、視線方向は角度で表される（詳細は後述する）。ユーザ視点保存部９には、ユーザが指定する視点、放送局が指定する視点、制御部１７が指定する視点が保存される。
ユーザ視点保存部９は、視点設定情報を任意視点映像生成部１１へ転送する。ユーザ視点保存部９は、複数の視点の情報を保存することもできる。その場合、ユーザ視点保存部９は、制御部１７の指示に従って、複数のうちの一の視点の情報を任意視点映像生成部１１へ転送する。

非表示エリア判定部１０は、ユーザ視点保存部９から転送される視点設定情報と、ＤＥＭＵＸ部５から転送される視聴エリア制御情報と、に基づいて、ユーザが指定した視点からの映像が非表示エリアを含むか否かを判定する。非表示エリア判定部１０は、判定結果を制御部１７へ送信する。非表示エリア判定部１０は本発明の「第２の判定手段」として機能している。

図２は、非表示エリア判定部１０による、ユーザに指定された視点からの映像が非表示エリアを含むか否かの判定方法を説明するための図である。
本実施例では、非表示エリアに関する情報として非表示エリアの座標情報が番組データに付加される場合を例に説明する。なお、以下の説明は、非表示エリアに関する情報として視聴禁止視点の情報が番組データに付加される場合についても同様に適用可能である。
図２は、視点設定可能エリア及び非表示エリアを示す図である。視点設定可能エリアは、ユーザが、視点位置を設定することができるエリアである。仮想的なカメラを設置することが可能なエリアということもできる。
本実施例では、多視点映像又は任意視点映像の視点（視点位置及び視線方向）、視点設定可能エリア及び非表示エリアは、２次元平面内で設定されるものとする。
図２に示す視点設定可能エリア及び非表示エリアの図は、番組が収録されたスタジオの平面図を概念的に表している。平面図上の点（位置）は、横軸をＸ軸、縦軸をＹ軸とする直角座標系の座標（Ｘ，Ｙ）で表される。また、平面図上の方向は、Ｘ軸とのなす角度φで表される。従って、ユーザ視点保存部９は、視点設定情報として、視点位置を表す座標（Ｘ，Ｙ）と、視線方向を表す角度φを保存する。

この番組の番組データに含まれる多視点映像又は任意視点映像は、視点の異なる２５台のカメラ１０１〜１２５によって撮影された２５個の映像データに基づき生成される。図中の符号１３０〜１３６は番組出演者を示す。この番組の番組データには、図３に示す視聴エリア制御情報が付加される。視聴エリア制御情報には、図３に示すように、視点設定可能エリア及び非表示エリアの情報が含まれる。

ユーザが視点を指定可能な視点設定可能エリアは、点（０，０）、（ｘ２，０）、（ｘ２，ｙ６）、（０，ｙ６）を頂点とする矩形エリアである。非表示エリアとして設定されるエリアは、第１エリア１４０、第２エリア１４１、第３エリア１４２、及び第４エリア１４３である。第１エリア１４０は、点（０、０）、（ｘ４、０）、（ｘ４、ｙ２）、（０、ｙ２）を頂点とする矩形エリアである。第２エリア１４１は、点（ｘ４、０）、（ｘ
４、ｙ３）、（ｘ２、ｙ３）、（ｘ２、０）を頂点とする矩形エリアである。第３エリア１４２は、点（ｘ２、ｙ４）、（ｘ２、ｙ３）、（ｘ５、ｙ３）、（ｘ５、ｙ４）を頂点とする矩形エリアである。第４エリア１４３は、点（ｘ６、ｙ５）、（ｘ２、ｙ５）、（ｘ２、ｙ６）、（ｘ６、ｙ６）を頂点とする矩形エリアである。

なお、この番組では、第１エリア１４０、第２エリア１４１、及び第３エリア１４２は、番組中の全期間にわたって非表示エリアとして指定されるが、第４エリア１４３は、番組中の一部の期間でのみ非表示エリアとして指定されるものとする。図３に例示する視聴エリア制御情報は、第４エリア１４３が非表示エリアに指定される期間に番組データに付加される非表示エリアに関する情報を示している。

図２（Ａ）において、点Ａは、ユーザに指定された視点の視点位置を示す。また、点Ａを始点とする矢印ｆＡのＸ軸からの角度φ１は、ユーザが指定した視点の視線方向を示す。この場合、ユーザ視点保存部９は、視点設定情報として座標（ｘ１，ｙ１）及び角度φ１を保存する。

なお、視点を３次元空間で指定する多視点映像又は任意視点映像の場合、視点位置は、例えば直角座標系の座標（ｘ，ｙ，ｚ）により表すことができる。また、視線方向は、ＸＹ平面上での方位角φ及びＸＹ平面に対する仰俯角θにより表すことができる。この場合、ユーザ視点保存部９は、視点設定情報として座標（ｘ，ｙ，ｚ）、方位角φ及び仰俯角θを保存する。

図２（Ａ）に基づいて、非表示エリア判定部１０が、ある視点からの映像が非表示エリアを含むか否かを非表示エリアに関する情報に基づき判定する第１の判定方法について説明する。
手順１：まず、非表示エリア判定部１０は、視点位置Ａから、視線方向を示す矢印ｆＡに対し垂直な方向に、長さｄだけ離れた点Ａｄ１及び点Ａｄ２を求める。点Ａｄ１の座標を（ｘｄ１，ｙｄ１）、点Ａｄ２の座標を（ｘｄ２，ｙｄ２）とする。長さｄは、撮影している場所の広さや、カメラで撮影される映像範囲に基づいて決められる。

手順２：次に、非表示エリア判定部１０は、点Ａｄ１を始点として視線方向φ１を示す矢印ｆＡに平行の半直線ｆＡｄ１を求める。また、非表示エリア判定部１０は、点Ａｄ２を始点として視線方向φ１を示す矢印ｆＡに平行の半直線ｆＡｄ２を求める。

手順３：次に、非表示エリア判定部１０は、半直線ｆＡｄ１及び半直線ｆＡｄ２が非表示エリアに接触しているか否か判定する。半直線ｆＡｄ１及び半直線ｆＡｄ２の少なくとも一方が非表示エリアに接触している場合に、非表示エリア判定部１０は、ユーザに指定された視点からの映像が非表示エリアを含むと判定する。

なお手順３で非表示エリア判定部１０は、半直線ｆＡｄ１、半直線ｆＡｄ２、及び点Ａｄ１と点Ａｄ２を結ぶ線分によって囲まれる領域と、非表示エリアと、が共有部分を有する場合に、ユーザに指定された視点からの映像が非表示エリアを含むと判定しても良い。

図２（Ｂ）に基づいて、非表示エリア判定部１０が、ある視点からの映像が非表示エリアを含むか否かを非表示エリアに関する情報に基づき判定する第２の判定方法について説明する。
手順１：まず、非表示エリア判定部１０は、視点位置Ａを始点として視線方向φ１を示す矢印ｆＡに対し角度γ１だけ傾いた半直線ｆＡ１を求める。また、非表示エリア判定部１０は、視点位置Ａを始点として視線方向φ１を示す矢印ｆＡに対し前記半直線ｆＡ１とは逆側に角度γ２だけ傾いた半直線ｆＡ２を求める。角度γ１及び角度γ２は、カメラの
視野角γに基づいて、γ１＋γ２＝γとなるように決められる。なお、視点を３次元空間内で指定する多視点映像又は任意視点映像の場合、水平方向の視野角γｈ及び垂直方向の視野角γｖに基づいて半直線を求めても良い。

手順２：次に、非表示エリア判定部１０は、半直線ｆＡ１及び半直線ｆＡ２が非表示エリアに接触しているか否か判定する。半直線ｆＡ１及び半直線ｆＡ２の少なくとも一方が非表示エリアに接触している場合に、非表示エリア判定部１０は、ユーザに指定された視点からの映像が非表示エリアを含むと判定する。

なお手順２で非表示エリア判定部１０は、半直線ｆＡ１及び半直線ｆＡ２によって挟まれる領域Ｒ（図２（Ｂ）において斜線で示す領域）と、非表示エリアと、が共有部分を有する場合にユーザに指定された視点からの映像が非表示エリアを含むと判定しても良い。この領域Ｒは、カメラで撮影される領域に相当する。

任意視点映像生成部１１は、ユーザ視点保存部９から送られてくる視点設定情報と、デコード部８から送られてくる複数の視点の映像データ及び撮影視点情報と、に基づいて、ユーザ又は制御部１７が設定した視点からの任意視点映像データを生成する。任意視点映像生成部１１は、生成した任意視点映像データを視点切替制御部１２へ転送する。
なお、本発明は、ユーザに指定された視点からの任意視点映像データを生成する機能部（任意視点映像生成部１１）を有しない構成の放送受信装置にも適用できる。その場合、放送受信装置は、ユーザに指定された視点の情報を外部の任意視点映像生成サーバ等に送信し、そのサーバで生成された任意視点映像データをインターネット等を介して取得する。

視点切替制御部１２は、制御部１７からの指示に従って、デコード部８から送られてくる標準映像データ若しくは多視点映像データ、又は、任意視点映像生成部１１から送られてくる任意視点映像データのいずれかを選択して出力する。
制御部１７から多視点映像データの選択を指示された場合、視点切替制御部１２は、制御部１７の指示に基づき、複数の視点の映像データのうちから１つ以上の視点の映像データを選択し、ブレンド部１４に送る。視点切替制御部１２は、制御部１７からの指示に基づき、選択した視点の映像データを縮小又は拡大してからブレンド部１４に送ることもできる。
ここでは放送受信装置１が多視点映像の複数の視点の映像データを全て放送又は通信により受信又は取得し、当該複数の視点の映像データのうちからユーザに指定された１以上の視点からの映像データを視点切替制御部１２にて選択する構成を例示した。
一方、放送受信装置は、多視点映像の複数の視点の映像データのうちユーザに指定された１以上の視点の映像データのみを放送又は通信により受信又は取得するよう構成することもできる。その場合、放送受信装置は、ユーザに指定された視点の情報を外部のサーバ等に送信する。外部のサーバ等は、放送受信装置から受け取ったユーザに視点情報に基づき、当該視点の多視点映像データを放送受信装置に対し送信する。放送受信装置は、ユーザに指定（選択）された視点の多視点映像データを該サーバ等からインターネット等を介して取得する。

ＧＵＩ制御部１３は、制御部１７からの指示を受け、ＧＵＩ部品を生成する。ＧＵＩ部品としては、表示中のチャンネルや番組名等を示すテキストや画像、視点設定画面を構成するテキストや画像、番組表を構成するテキストや画像、記録されたコンテンツの一覧を示すテキストや画像等がある。
視点設定画面は、例えば、視点設定可能エリアを表す画像やテキスト、カメラ位置（視点位置）やカメラ方向（視線方向）を表す矢印アイコン等からなる。ＧＵＩ制御部１３は、生成したＧＵＩ部品をブレンド部１４へ転送する。

ブレンド部１４は、視点切替制御部１２から送られてくる映像データと、ＧＵＩ制御部１３から送られてくるＧＵＩ部品の画像データと、を制御部１７からの指示に基づいて合成し、表示部１６へ転送する。

ユーザＩ／Ｆ部１５は、ユーザからの指示を受け付けて制御部１７へ転送するインターフェイスである。ユーザからの指示としては、チャンネル切替え、番組視聴予約、視点の指定等を例示できる。ユーザＩ／Ｆ部１５は、不図示のリモコンから無線又は有線で送信される信号の受信装置や、放送受信装置１の本体に設けられる操作ボタン等である。

表示部１６は、ブレンド部１４から出力される映像信号を表示する。表示部１６としては、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイ等を例示できる。表示部１６は、制御部１７からの指示より、映像信号の表示をＯＮ／ＯＦＦする。

制御部１７は、通信Ｉ／Ｆ部３、受信部４、番組情報取得・予約部６、映像切替制御部７、ユーザ視点保存部９、非表示エリア判定部１０、視点切替制御部１２、ＧＵＩ制御部１３、ブレンド部１４、ユーザＩ／Ｆ部１５、表示部１６と接続されている。制御部１７は、ユーザからの指示等に基づいて、前記各機能部へ指示を出す。

次に本実施例の放送受信装置１において、多視点映像データ又は任意視点映像データを含む番組データ（映像コンテンツデータ）の表示時（再生時）に実行される処理について、図４のフローチャートを用いて説明する。ここでは、図５に示すように非表示エリアが番組の途中（映像コンテンツの途中）で変化する場合を例に説明する。すなわち、番組開始時刻ｔ０から時刻ｔ１までの期間は、図２に示す第１エリア１４０、第２エリア１４１、及び第３エリア１４２が非表示エリアとして指定される。時刻ｔ１から番組終了時刻ｔ２までの期間は、図２に示す第１エリア１４０、第２エリア１４１、第３エリア１４２、及び第４エリア１４３が非表示エリアとして指定される。

図４のステップＳ１０１において、放送受信装置１は、多視点映像データ又は任意視点映像データを含む番組データの処理を開始する。放送受信装置１は、ユーザが放送受信装置１の電源を入れたときや、ユーザが多視点映像又は任意視点映像の視点設定を行う操作をした場合等に処理を開始する。
詳細には、ユーザが、リモコンや放送受信装置１本体の操作部により、放送受信装置１の電源投入や多視点映像又は任意視点映像の視点設定を指示する操作を行うと、ユーザＩ／Ｆ部１５が、当該ユーザ操作に対応する信号を受信し、制御部１７へ転送する。
制御部１７は、ユーザＩ／Ｆ部１５から送られてきた信号が、放送受信装置１の電源投入や多視点映像又は任意視点映像の視点設定を指示する信号の場合に、多視点映像又は任意視点映像の視聴処理を開始する。

ステップＳ１０２において、放送受信装置１は、ユーザによる多視点映像又は任意視点映像の視点の指定を受け付け、視点設定情報として保存する。詳細には、ユーザが、リモコンや放送受信装置１本体の操作部により、多視点映像又は任意視点映像の視点を指定する操作を行うと、ユーザＩ／Ｆ部１５が、当該ユーザ操作に対応する信号を受信し、制御部１７へ転送する。
制御部１７は、ユーザが指定した視点の情報をユーザ視点保存部９へ転送する。ユーザ視点保存部９は、制御部１７から送られてきた視点の情報を視点設定情報として保存する。ユーザは、視点位置及び視線方向を指定することにより、視点の指定を行う。
制御部１７は、ユーザが視点の指定操作を行うためのＧＵＩ（グラフィカルユーザインターフェース）を表示するよう、ＧＵＩ制御部１３に指示を出す。図６は、視点設定画面のＧＵＩの一例を示す。

図６は、一例として、スタジオ収録されたクイズ番組の任意視点映像の視点を設定するための視点設定画面のＧＵＩを示したものである。ＧＵＩ制御部１３は、番組収録スタジオの平面図や番組出演者（司会席１〜２、回答者１〜５）の位置等を示すマップ情報に基づいて、視点設定画面のＧＵＩを構築する。
マップ情報は、番組データや撮影視点情報、視聴エリア制御情報とともに放送局から送られてくる。マップ情報はＤＥＭＵＸ部５においてＴＳから分離され、番組情報取得・予約部６に保存される。
制御部１７は、番組情報取得・予約部６に保存されたマップ情報を番組情報取得・予約部６から読み出し、ＧＵＩ制御部１３へ転送し、当該マップ情報に基づいて視点設定画面のＧＵＩを構築するようＧＵＩ制御部１３へ指示を出す。

ユーザは、例えば、リモコンの方向キーを操作して視点設定画面に示される矢印カーソルの位置及び方向を調節することにより、視聴を希望する視点の視点位置及び視線方向を指定することができる。詳細には、ユーザが、リモコンに対して矢印カーソルの位置及び方向を調節する操作を行うと、ユーザＩ／Ｆ部１５が、当該ユーザ操作に対応する信号を受信し、制御部１７へ転送する。
制御部１７は、ユーザＩ／Ｆ部１５から送られてきた信号に基づいて、ユーザがリモコンに対して行った操作の意図通りにＧＵＩの表示が行われるよう、ＧＵＩ制御部１３に指示を出す。
以上の処理を行った後、放送受信装置１は、ステップＳ１０３の処理へ進む。

ステップＳ１０３において、放送受信装置１は、ステップＳ１０２でユーザが指定した視点からの映像が非表示エリアを含むか否か判断する。ユーザが指定した視点からの映像が非表示エリアを含まない場合は、放送受信装置１は、ステップＳ１０４の処理へ進む。
ユーザが指定した視点からの映像が非表示エリアを含む場合は、放送受信装置１は、ステップＳ１１０の処理へ進む。ステップＳ１０３の処理は、非表示エリア判定部１０が実行する。非表示エリア判定部１０は、判定結果を制御部１７へ転送する。
図２に基づいて既述のように、非表示エリア判定部１０は、ユーザが指定した視点位置及び視線方向に基づいて求めた直線が、いずれかの非表示エリアに接触する場合に、ユーザが指定した視点からの映像が非表示エリアを含むと判断する（図２（Ａ）参照）。
或いは、非表示エリア判定部１０は、ユーザが指定した視点位置及び視線方向に基づいて求めた直線によって挟まれる領域がいずれかの非表示エリアと共有部分を有する場合に、ユーザが指定した視点からの映像が非表示エリアを含むと判断する（図２（Ｂ）参照）。
非表示エリアに該当する領域をグレーアウトする構成の放送受信装置では、非表示エリア判定部１０は、グレーアウトされた領域がフレーム画像に占める面積の割合が所定の閾値以上の場合に、ユーザが指定した視点からの映像が非表示エリアを含むと判断する。

ステップＳ１０４において、放送受信装置１は、ステップＳ１０２でユーザに指定された視点からの多視点映像又は任意視点映像を表示する。詳細には、任意視点映像を表示する場合、まず、任意視点映像生成部１１が、任意視点映像データの生成を行う。
そして、任意視点映像生成部１１で生成された映像データが視点切替制御部１２において選択され、ブレンド部１４から表示部１６へ転送されるよう、制御部１７が、視点切替制御部１２及びブレンド部１４へ指示を出す。
多視点映像を表示する場合、指定された視点の多視点映像データが視点切替制御部１２において選択され、ブレンド部１４から表示部１６へ転送されるよう、制御部１７が視点切替制御部１２及びブレンド部１４へ指示を出す。以上の処理を行った後、放送受信装置１は、ステップＳ１０５へ進む。
なお、放送受信装置が任意視点映像生成部１１を有しない構成の場合は、放送受信装置
は、ステップＳ１０２でユーザが指定した視点の情報をインターネットを介して放送局内又は放送局外のサーバ等の任意視点映像生成装置に送信する。放送受信装置は、外部の任意視点映像生成装置にて生成された任意視点映像データをインターネットを介して取得し、その映像データが視点切替制御部１２で選択されるよう制御を行う。

ステップＳ１０５において、放送受信装置１は、非表示エリアに変化があるか否かを毎フレーム判定する。非表示エリアに変化があった場合、放送受信装置１は、ステップＳ１０６へ進む。非表示エリアに変化がなかった場合、放送受信装置１は、ステップＳ１０９へ進む。ステップＳ１０５の処理が本発明の「第１の判定手段」が行う処理に対応する。
放送受信装置１は、視聴エリア制御情報に基づいて、非表示エリアに変化があるか否かを判定する。図５に例示する番組では、時刻ｔ１において非表示エリアが変化して、それまで非表示エリアとして指定されていなかった第４エリア１４３がそれ以降非表示エリアとして指定される。
この場合、放送受信装置１は、時刻ｔ１においてステップＳ１０６へ進み、それ以外ではステップＳ１０９へ進む。ステップＳ１０５の処理は、非表示エリア判定部１０が実行する。非表示エリア判定部１０は、判定結果を制御部１７へ転送する。

ステップＳ１０６において、放送受信装置１は、ステップＳ１０２でユーザに指定された視点からの映像が、変化後の非表示エリアを含むか否かを判断する。ユーザが指定した視点からの映像が非表示エリアを含まない場合は、放送受信装置１は、ステップＳ１０９へ進む。ユーザに指定された視点からの映像が非表示エリアを含む場合は、放送受信装置１は、ステップＳ１０７へ進む。ステップＳ１０６の処理は、非表示エリア判定部１０が実行する。非表示エリア判定部１０は、判定結果を制御部１７へ転送する。
非表示エリア判定部１０は、ユーザが指定した視点の視点位置及び視線方向に基づいて求めた直線が、変化後の非表示エリアに接触する場合に、ユーザが指定した視点からの映像が、変化後の非表示エリアを含むと判断する（図２（Ａ）参照）。
或いは非表示エリア判定部１０は、ユーザが指定した視点位置及び視線方向に基づき求めた直線により挟まれる領域が変化後の非表示エリアと共有部分を有する場合に、ユーザが指定した視点からの映像が変化後の非表示エリアを含むと判断する（図２（Ｂ）参照）。
なお、本発明は、ユーザに指定された視点からの多視点映像又は任意視点映像のフレーム画像のうち非表示エリアに該当する領域を置換画像で置換して表示する放送受信装置にも適用できる。その場合、放送受信装置は、非表示エリアに変化があったときに、置換画像の面積（グレーアウトされた領域の面積）に基づいて、表示する映像データを待避映像データへ切り替えるか否か判定するようにしてもよい。
すなわち、ステップＳ１０６において、非表示エリア判定部１０は、フレーム画像に占めるグレーアウトされた領域の面積の割合が所定の閾値（例えば１／３や１／２等）以上か否かを判定する。そして、グレーアウトされた領域の面積の割合が閾値以上の場合、放送受信装置１は、ステップＳ１０７の処理へ進み、閾値より小さい場合、放送受信装置１はステップＳ１０９の処理へ進む。
なお、上記の判定は、フレーム画像に占めるグレーアウトされた領域の面積の割合に相関するパラメータの値が所定の閾値以上か否かに基づいて行うことも出来る。このようなパラメータとしては、例えば、フレーム画像の画素数に対する置換画像の画素数の割合等である。その他、フレーム画像に占めるグレーアウトされた領域の面積の割合に相関するパラメータであればどのようなパラメータであっても良い。所定の閾値は、パラメータの種類によって適切な値が設定される。

ステップＳ１０７において、放送受信装置１は、ユーザが指定した視点からの映像が非表示エリアを含むこと（視聴禁止視点に該当したこと）を通知するメッセージ画面を表示する。また、放送受信装置１は、ユーザが指定した視点からの映像から別の映像（待避映
像）へ表示映像を切り替えることを通知するメッセージ画面を表示する。
詳細には、制御部１７が、非表示エリア判定部１０から、ステップＳ１０６における判断結果を受け取り、ＧＵＩ制御部１３へ、メッセージ画面を生成するよう指示を出す。制御部１７は、ＧＵＩ制御部１３で生成されたメッセージ画面が表示部１６に表示されるよう、ブレンド部１４に指示を出す。以上の処理を行った後、放送受信装置１は、ステップＳ１０８へ進む。

ステップＳ１０８において、放送受信装置１は、表示する映像データを、ステップＳ１０４で表示したユーザに指定された視点の多視点映像データ又は任意視点映像データから、待避映像データへ、自動的に切り替える。本実施例では、待避映像データは標準映像データである。
ステップＳ１０８では、制御部１７が、非表示エリア判定部１０からステップＳ１０６での判定結果を受けて、視点切替制御部１２に、デコード部８によってデコードされた映像のうち標準映像を選択して後段のブレンド部１４へ転送するよう指示を出す。
なお、ユーザが指定していた視点の多視点映像データ又は任意視点映像データから待避映像データへの表示映像の切り替えは、自動的に行われなくても良い。例えば、待避映像データへの切り替えを行うか否かの指示をユーザに入力させるＧＵＩを表示し、ユーザにより待避映像への切り替えを行うよう指示が入力されたときに、表示する映像データを待避映像データへ切り替えるようにしても良い。

ステップＳ１０９において、放送受信装置１は、現在指定されている視点を維持する。すなわち、放送受信装置１は、現在表示している視点の多視点映像データ又は任意視点映像データの表示を継続し、待避映像データへの切り替えを行わない。ステップＳ１０９の処理は、制御部１７が、非表示エリア判定部１０から、ステップＳ１０５又はステップＳ１０６での判定結果を受けて、実行する。

ステップＳ１１０において、放送受信装置１は、予め決められた映像データを表示する。本実施例では、予め決められた映像データは、標準映像データである。ステップＳ１１０では、制御部１７が、非表示エリア判定部１０からステップＳ１０３での判定結果を受けて、視点切替制御部１２に、デコード部８によってデコードされた映像のうち標準映像を選択して後段のブレンド部１４へ転送するよう指示を出す。
なお、ステップＳ１１０において、放送受信装置１は、ユーザが入力した視点からの映像は非表示エリアを含むこと（視聴禁止視点に該当すること）を通知するメッセージ画面を表示し、ユーザに別の視点を入力させるために視点設定画面のＧＵＩに戻っても良い。

ステップＳ１１１において、放送受信装置１は、ステップＳ１０８、ステップＳ１０９又はステップＳ１１０で決定された映像データを表示する制御を行う。ステップＳ１１１では、表示部１６が、ブレンド部１４から送られてきた映像信号を表示する。

ステップＳ１１２において、放送受信装置１は、多視点映像データ又は任意視点映像データを表示しているか否かを判断する。任意視点映像データを表示している場合、放送受信装置１は、ステップＳ１０５へ進み、非表示エリアの変化を監視し、表示する映像データを待避映像データへ切り替える必要があるか否かの判定を行い、判定結果に応じて上述した処理を行う。
一方、多視点映像データ又は任意視点映像データを表示していない場合、すなわちユーザが多視点映像や任意視点映像の視聴をやめた場合は、放送受信装置１は、本フローの処理を終了する。ステップＳ１１２の判定処理は制御部１７が実行する。

本実施例の放送受信装置１によれば、番組の途中で非表示エリアが変化することによって、ユーザに指定された視点からの映像が非表示エリアを含む映像となった場合でも、ユ
ーザは、待避映像（標準映像）により番組の視聴を継続できる。従って、視聴の快適性や視聴機会が損なわれることを好適に抑制できる。

なお、本実施例において図６に示した視点設定画面のＧＵＩや、リモコンの方向キー操作による視点設定の方法は、一例であり、本発明の実施形態をこれらに限定する趣旨のものではない。
また、本実施例では、ステップＳ１０８において、標準映像データを待避映像データとする例を説明したが、変化後の非表示エリアを含まない視点の多視点映像データ又は任意視点映像データを待避映像データとしても良い。
また、フレーム画像に占めるグレーアウトされる領域の面積の割合が前記所定の閾値より小さい多視点映像データ又は任意視点映像データを待避映像データとしても良い。
ここで、非表示エリアを含まない視点の映像は、例えば、放送局が「お薦めの視点の映像」等として指定する映像であっても良い。この場合、番組データに放送局指定の視点情報が付加されるようにして、放送受信装置は、番組データに付加された放送局指定の視点の情報を放送又は通信により受信又は取得すれば良い。放送受信装置は、番組データに含まれる放送局指定の視点の情報に基づき、当該視点からの多視点映像データ又は任意視点映像データを待避映像データとして切り替えを行うことができる。

（実施例２）
次に、第２の実施例について説明する。本実施例の放送受信装置の機能ブロック図は、図１に基づいて説明した実施例１の放送受信装置１の機能ブロック図と同等であるから、説明を割愛する。

第２の実施例に係る放送受信装置では、非表示エリアの変化によりユーザに指定された視点からの映像が非表示エリアを含む視点となった場合、実施例１と同様、表示する映像データを待避映像データへ自動的に又はユーザの指示に従って切り替える。
本実施例では、ユーザが指定していた視点の視点位置及び視線方向の少なくともいずれかから所定範囲内にあり、かつ、変化後の非表示エリアを含まない視点からの多視点映像データ又は任意視点映像データを、待避映像データとする。

ここで、待避映像データの視点の決定方法について説明する（第１の決定方法）。本実施例においても、実施例１と同様、図２、図３に示す視点設定可能エリア及び非表示エリアの情報を含む視聴エリア制御情報が付加されたデジタル放送番組データを例に説明する。また、このデジタル放送番組データは、実施例１と同様、図５に示すように非表示エリアの設定が変化するものとする。

図８（Ａ）は、ユーザが指定した視点（視点位置Ａ１、視線方向φ１）を示す図である。この視点は第４エリア１４３に接触するため、実施例１で説明した判定方法を適用すると、第４エリア１４３が非表示エリアとして指定される時刻ｔ１（図５参照）において、この視点からの映像は非表示エリアを含むこととなる。

このとき、放送受信装置１は、ユーザが指定していた視点の視点位置Ａ１を固定し、視線方向φ１を変化させることにより、待避映像データの視点を探す。詳細には、制御部１７は、視点位置Ａ１と、視線方向φ１を反時計回りに所定角度Δφだけ変化させた視線方向φ１＋Δφと、により定まる視点の情報を非表示エリア判定部１０に送信する。そして、制御部１７は、当該視点からの映像が変化後の非表示エリアを含むか否かを非表示エリア判定部１０に判定させる。
また、制御部１７は、視点位置Ａ１と、視線方向φ１を時計回りに所定角度Δφだけ変化させた視線方向φ１−Δφと、により定まる視点の情報を非表示エリア判定部１０に送信する。そして、制御部１７は、当該視点からの映像が変化後の非表示エリアを含むか否
かを非表示エリア判定部１０に判定させる。
非表示エリア判定部１０は、視点位置Ａ１及び視線方向φ１＋Δφにより定まる視点からの映像と、視点位置Ａ１及び視線方向φ１−Δφにより定まる視点からの映像と、について、変化後の非表示エリアを含むか否か判定する。判定方法は実施例１で説明した方法と同様である。非表示エリア判定部１０は、判定結果を制御部１７に送信する。

非表示エリア判定部１０から「非表示エリアを含む」という判定結果が返ってくると、制御部１７は、視点位置Ａ１を固定したまま視線方向をさらにΔφだけ変化させた視点の情報を非表示エリア判定部１０へ送信する。そして、その視点からの映像が変化後の非表示エリアを含むか否かの判定を非表示エリア判定部１０に行わせる。
制御部１７は、非表示エリア判定部１０から「非表示エリアを含まない」という判定結果が返って来るまで、以上の処理を繰り返すことにより、ユーザが指定していた視点の視線方向から所定範囲内にある待避映像データの視点を探す。
すなわち、制御部１７は、視点位置Ａ１及び視線方向φ１＋ｎ×Δφにより定まる視点からの映像と、視点位置Ａ１及び視線方向φ１−ｎ×Δφにより定まる視点からの映像と、が、変化後の非表示エリアを含むか否かを非表示エリア判定部１０に判定させる。ここでｎ＝１、２、・・・、Ｎであり、Ｎは所定の上限値である。
ユーザが指定していた視点の視線方向φ１からの角度変化量が所定範囲内の視点からの映像であって、「非表示エリアを含まない」という判定結果が得られる視点からの映像が存在しなかった場合、制御部１７は、待避映像データの視点を決定できない、と判断する。そして、表示する映像データを、待避映像データの視点からの多視点映像データ又は任意視点映像データに切り替える代わりに、所定の映像データ、例えば標準映像データや放送局指定の視点からの多視点映像データ又は任意視点映像データ等に切り替える。

非表示エリア判定部１０から「非表示エリアを含まない」という判定結果が返ってくると、制御部１７は、当該判定結果が得られたときの視点を待避映像データの視点として決定する。視点位置Ａ１及び視線方向φ１＋Δφにより定まる視点からの映像と、視点位置Ａ１及び視線方向φ１−Δφにより定まる視点からの映像と、の両方について「非表示エリアを含まない」と判定された場合、制御部１７は以下の処理を行う。すなわち、制御部１７は、ユーザにどちらの視点を待避映像データの視点とするか選択させるか、又は放送受信装置１がどちらかの視点を選択し、選択した視点を待避映像データの視点として決定する。
このようにして、ユーザが指定していた視点の視線方向から所定範囲内にあり、且つ、変化後の非表示エリアを含まない視点である待避映像データの視点が決定される。

図８（Ｂ）に示す視点（視点位置Ａ１、視線方向φ２）は、図８（Ａ）に示すユーザが指定していた視点（視点位置Ａ１，視線方向φ１）を基準として上記の方法により決定された待避映像データの視点を示す。
なお、ここではユーザが指定していた視点の視線方向から、時計回り及び反時計回りの両方向に視線方向を変化させて待避映像データの視点を探す方法を説明したが、予め定めた方向にのみ視線方向を変化させて待避映像データの視点を探しても良い。
例えば、図８の状況では、反時計回りに視線方向を変化させた場合、出演者のいるエリアが写る待避映像データの視点が得られるが、時計回りに視線方向を変化させると、スタジオの壁しか写らない待避映像データの視点になる可能性がある。制御部１７は、出演者や司会者の位置情報に基づき、出演者や司会者がいるエリアが写る待避映像データの視点が得られるように、視線方向を変化させる向きを決定するようにしても良い。

次に、上述した待避映像データの視点の決定方法とは異なる第２の待避映像データの視点の決定方法について説明する。

図９（Ａ）は、ユーザが指定した視点を示す図である。図９（Ａ）は図８（Ａ）と同等の図であるから説明を割愛する。非表示エリアの変化により、ユーザが指定していた視点（視点位置Ａ１、視線方向φ１）からの映像が非表示エリアを含むことになった場合、放送受信装置１は、視線方向φ１を固定し、視点位置Ａ１を変化させることにより、待避映像データの視点を探す。
詳細には、制御部１７は、視点位置Ａ１から所定距離Δｘだけ離れた位置Ａ’と、視線方向φ１と、を視点設定情報として非表示エリア判定部１０に送信し、当該視点からの映像が変化後の非表示エリアを含むか否かを非表示エリア判定部１０に判定させる。非表示エリア判定部１０は、判定結果を制御部１７に送信する。
視点位置Ａ１から所定距離Δｘ離れた位置Ａ’は、ここでは、ｘ軸に沿ってΔｘ離れた位置とする。すなわち、ユーザが指定していた視点の視点位置Ａ１の座標を（ｘ１、ｙ１）とすると、所定距離Δｘ離れた視点は、位置（ｘ１＋Δｘ、ｙ１）と視線方向φ１とにより定まる視点、及び、位置（ｘ１−Δｘ、ｙ１）と視線方向φ１とにより定まる視点である。制御部１７は、これらの視点の情報を非表示エリア判定部１０へ送信し、これらの視点からの映像が変化後の非表示エリアを含むか否かを非表示エリア判定部１０に判定させる。
非表示エリア判定部１０は、視点位置（ｘ１＋Δｘ、ｙ１）及び視線方向φ１により定まる視点からの映像と、視点位置（ｘ１−Δｘ、ｙ１）及び視線方向φ１により定まる視点からの映像と、について、変化後の非表示エリアを含むか否かを判定する。判定方法は実施例１で説明した方法と同様である。非表示エリア判定部１０は、判定結果を制御部１７へ送信する。

非表示エリア判定部１０から「非表示エリアを含む」という判定結果が返ってくると、制御部１７は、視線方向φ１を固定したまま、視点位置をさらにΔｘだけ変化させた視点の情報を非表示エリア判定部１０へ送信する。そして、制御部１７は、当該視点からの映像について、変化後の非表示エリアを含むか否かの判定を行わせる。
制御部１７は、非表示エリア判定部１０から「非表示エリアを含まない」という判定結果が返って来るまで、以上の処理を繰り返すことにより、ユーザが指定していた視点に対し視点位置が所定範囲内にある待避映像データの視点を探す。
制御部１７は、視点位置（ｘ１＋ｎ×Δｘ、ｙ１）及び視線方向φ１により定まる視点からの映像と、視点位置（ｘ１−ｎ×Δｘ、ｙ１）及び視線方向φ１により定まる視点からの映像について、変化後の非表示エリアを含むか非表示エリア判定部１０に判定させる。ここでｎ＝１、２、・・・、Ｎであり、Ｎは所定の上限値である。
ユーザが指定していた視点の視点位置Ａ１からの位置変化量が所定範囲内の視点からの映像であって、「非表示エリアを含まない」という判定結果が得られる映像が存在しなかった場合、制御部１７は、待避映像データの視点を決定できない、と判断する。そして、表示する映像データを、待避映像データの視点の多視点映像データ又は任意視点映像データに切り替える代わりに、所定の映像データ、例えば標準映像データや放送局指定の視点の多視点映像データ又は任意視点映像データ等に切り替える。
非表示エリア判定部１０から「非表示エリアを含まない」という判定結果が返ってくると、制御部１７は、当該判定結果が得られたときの視点を待避映像データの視点として決定する。視点位置（ｘ１＋Δｘ、ｙ１）及び視線方向φ１により定まる視点からの映像と、視点位置（ｘ１−Δｘ、ｙ１）及び視線方向φ１により定まる視点からの映像と、の両方について「非表示エリアを含まない」と判定された場合、制御部１７は以下の処理を行う。すなわち、制御部１７は、ユーザにどちらの視点を待避映像データの視点とするか選択させるか、又は、制御部１７がどちらかの視点を選択し、選択した待避映像データの視点として決定する。

このようにして、ユーザが指定していた視点に対し視点位置が所定範囲内にあり、且つ、変化後の非表示エリアを含まない映像の視点である待避映像データの視点が決定される
。

図９（Ｂ）に示す視点（視点位置Ａ２、視線方向φ１）は、図９（Ａ）に示すユーザが指定していた視点（視点位置Ａ１、視線方向φ１）を基準として上記の方法により決定された待避映像データの視点を示す。
なお、ここではユーザが指定していた視点の視点位置から、ｘ軸に沿って正負の方向に視点位置を変化させて待避映像データの視点を探す方法を説明したが、任意の方向に視点位置を変化させて待避映像データの視点を探しても良い。また、視点位置Ａ１を中心とする半径Δｘの円上において、非表示エリアを含まない映像の視点位置の存在する範囲を探し、当該範囲内の任意の点を待避映像データの視点として決定しても良い。
以上、ユーザが指定していた視点に対して視線方向を変化させて待避映像データの視点を探す方法と、視点位置を変化させて待避映像データの視点を探す方法を説明したが、視線方向及び視点位置の両方を変化させて待避映像データの視点を探しても良い。
例えば、ユーザが指定していた視点が視点位置（ｘ１、ｙ１）及び視線方向φ１の場合、放送受信装置１は、視点位置（ｘ１±ｎ×Δｘ、ｙ１±ｍ×Δｙ）及び視線方向φ１±ｋ×Δφにより定まる視点の情報を非表示エリア判定部１０へ送信する。放送受信装置１は、ｎ、ｍ、ｋを１ずつ変化させながら、この視点からの映像について、非表示エリアを含むか否かを非表示エリア判定部１０に判定させる。そして、ｎ、ｍ、ｋが所定の範囲内で、変化後の非表示エリアを含まないと判定される映像の視点を待避映像データの視点として決定する。

本実施例の放送受信装置１において、多視点映像データ又は任意視点映像データを含む番組データ（映像コンテンツデータ）の表示時に実行される処理について、図７のフローチャートを用いて説明する。図７のフローチャートにおいて、ステップＳ２０１〜ステップＳ２１２の処理内容は、実施例１の図４のフローチャートにおけるステップＳ１０１〜ステップＳ１１２と同等であるから、説明を割愛する。以下、本実施例の特徴的な処理であるステップＳ２１３及びステップＳ２１４について説明する。

ステップＳ２１３において、放送受信装置１は、ユーザが指定していた視点に対し視点位置及び視線方向が所定範囲内にあって、変化後の非表示エリアを含まない待避映像データの視点を決定する。待避映像データの視点の決定方法の詳細は上述したいずれの方法でも良い。ステップＳ２１３の処理を実行した後、放送受信装置１はステップＳ２１４の処理へ進む。

ステップＳ２１４において、放送受信装置１は、ステップＳ２１３で決定した視点からの多視点映像データ又は任意視点映像データを生成し、表示部１６に表示する。詳細には、制御部１７が、ステップＳ２１３で決定された待避映像データの視点の視点位置及び視線方向の情報を、ユーザ視点保存部９に送信する。
ユーザ視点保存部９は、ユーザが指定した視点の情報（視点位置Ａ１、視線方向φ１）を保存しつつ、制御部１７から送信されてきた待避映像データの視点の情報を保存する。そして、ユーザ視点保存部９は、制御部１７から送信されてきた待避映像データの視点の情報を、視点設定情報として任意視点映像生成部１１に送信する。
任意視点映像生成部１１は、ユーザ視点保存部９から送られてきた待避映像データの視点の情報に基づき、当該視点からの任意視点映像データを生成し、生成した任意視点映像データを視点切替制御部１２に送信する。制御部１７は、視点切替制御部１２に対し、任意視点映像生成部１１において生成された任意視点映像データを後段のブレンド部１４に送るよう指示を出す。
なお、放送受信装置１が任意視点映像生成部１１を有しない構成の場合は、ステップＳ２１３で決定した待避映像データの視点の情報をインターネット等を介して外部の任意視点映像生成装置に送信し、該装置で生成された任意視点映像データを取得する。放送受信
装置１は、取得した待避映像データの視点からの任意視点映像データを、視点切替制御部１２に送信する。

本実施例によれば、番組途中での非表示エリアの変化によりユーザが指定していた視点からの映像が非表示エリアを含む視点となった場合でも、ユーザは、以上のように決定された待避映像データの視点からの任意視点映像で番組の視聴を継続できる。従って、視聴の快適性や視聴機会が損なわれることが好適に抑制される。
待避映像データの視点は、上述したように、ユーザが指定していた視点に対し視点位置及び視線方向が近い（類似した）視点であるため、表示映像データが待避映像データへ切り替えられても、ユーザは違和感を覚えにくい。

なお本実施例では、２次元平面においてユーザが指定した視点に対し視点位置及び視線方向が所定範囲内にある視点であって、その視点からの映像が変化後の非表示エリアを含まない視点を決定する方法を説明した。このような待避映像データの視点の決定方法の考え方は、３次元空間でも同様である。
３次元空間の場合は、視点の情報は、視点位置の座標（ｘ，ｙ，ｚ）と、視線方向のＸＹ平面上での方位角φと、視線方向のＸＹ平面からの仰俯角θと、の３つのパラメータにより表される。この３つのパラメータのうち少なくともいずれかを所定範囲内で変化させることで、ユーザが指定していた視点の近傍にある（類似した）待避映像データの視点を決定することができる。

（実施例３）
次に第３の実施例について説明する。本実施例の放送受信装置の機能ブロック図は、図１に基づいて説明した実施例１の放送受信装置１の機能ブロック図と同等であるから、説明を割愛する。

本実施例の放送受信装置１は、実施例１又は２の制御によりユーザの指定していた視点の映像から待避映像データへの表示映像の切り替えが過去に実行されており、その後、非表示エリアが再度変化した場合の、表示映像の切り替えに特徴がある。
すなわち、本実施例の放送受信装置１は、非表示エリアが再度変化することにより、ユーザが指定していた視点からの映像が再び非表示エリアを含まないこととなった場合、ユーザが指定していた視点が視聴可能になったことをユーザに通知する。そして、放送受信装置１は、表示する映像データをユーザが指定していた視点の任意視点映像データに戻す。或いは、放送受信装置１は、表示する映像データをユーザが指定していた視点の任意視点映像データに戻す指示をユーザに入力させるためのユーザインターフェースを提供する。

この動作のために、放送受信装置１は、ユーザが指定していた視点の任意視点映像データから待避映像データへの表示映像データの切り替えを行った場合、表示中の番組において待避映像データへの切り替えを行ったことがある、という情報を保存する。更に、放送受信装置１は、ユーザが指定していた視点の情報及び待避映像データの情報の両方を保存する。
待避映像データは、実施例１では、標準映像データや放送局指定の視点の多視点映像データ又は任意視点映像データ等の予め決められた映像データであった。実施例２では、待避映像データは、ユーザに指定された視点に対し視点位置及び視線方向が所定範囲内にあり、かつ、変化後の非表示エリアを含まない視点からの多視点映像データ又は任意視点映像データであった。
表示中の番組において過去にユーザに指定された視点の多視点映像データ又は任意視点映像データから待避映像データへの切り替えを行ったことを示す情報、ユーザが指定していた視点の情報、及び待避映像データの情報は、制御部１７が保存する。

放送受信装置１は、非表示エリアが変化したことを検知すると、現在表示している映像データが待避映像データであるか否かを判定する。つまり、非表示エリアの設定の変化時点での表示映像が、非表示エリアの設定の変化前に自動又はユーザの指示により切り替えられた待避映像であるか否かを判定する。放送受信装置１は、更に、今回の非表示エリアの変化によって、ユーザが指定していた視点からの映像が、今回の変化後の非表示エリアを含まない映像となったか否かを判定する。
現在表示中の映像データが待避映像データであり、且つ、ユーザに指定された視点からの映像が今回の変化後の非表示エリアを含まない場合、放送受信装置１は、ユーザに指定された視点で多視点映像又は任意視点映像を視聴可能になったことをユーザに通知する。
そして、放送受信装置１は、表示する映像データを現在表示中の待避映像データからユーザが指定していた視点からの多視点映像データ又は任意視点映像データに復帰させる指示をユーザに入力させるためのＧＵＩを表示する。

本実施例の放送受信装置１において、多視点映像データ又は任意視点映像データを含む番組データ（映像コンテンツデータ）の表示時に実行される処理について、図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、ステップＳ３０１〜ステップＳ３１２の処理内容は、実施例１のステップＳ１０１〜ステップＳ１１２の処理内容と同等であるから、説明を割愛する。以下、本実施例の特徴的な処理であるステップＳ３１４〜ステップＳ３２０について説明する。

ステップＳ３１４は、ステップＳ３０５において、非表示エリアに変化があったと判定された場合に実行される。ステップＳ３１４において、放送受信装置１は、過去に、ユーザが指定していた視点の多視点映像データ又は任意視点映像データから待避映像データへの表示映像データの切り替えが行われたことがあるか否かを判定する。
過去に待避映像データへの切り替えが行われたことがある場合は、放送受信装置１は、ステップＳ３１５の処理へ進む。過去に待避映像データへの切り替えが行われたことがない場合は、放送受信装置１は、ステップＳ３０６の処理へ進む。この判定処理は、過去に待避映像データへの切り替えが行われたことがある、という情報を制御部１７が保持しているか否かに基づいて行う。

ここで、実施例１と同様、図２、図３に示す視点設定可能エリア及び非表示エリアの情報を含む視聴エリア制御情報が付加されたデジタル放送番組データを例に説明する。ただし、本実施例では、非表示エリアは図１１に示すように変化するものとする。
すなわち、番組開始時刻ｔ０から時刻ｔ１までの期間Ｔ１及び時刻ｔ２から番組終了時刻ｔ３までの期間Ｔ３は、第１エリア１４０、第２エリア１４１、及び第３エリア１４２が非表示エリアとして指定される。また、時刻ｔ１から時刻ｔ２までの期間Ｔ２は、第１エリア１４０、第２エリア１４１、第３エリア１４２、及び第４エリア１４３が非表示エリアとして指定される。

ユーザに指定された視点は、図２（Ａ）に示す視点（視点位置Ａ、視線方向φ１）であったとする。第４エリア１４３が非表示エリアの場合、実施例１で説明した判定方法を適用すると、ユーザに指定された視点からの映像は非表示エリアを含む。
しかしながら、番組開始時刻ｔ０から時刻ｔ１までの期間Ｔ１では、第４エリア１４３は非表示エリアではないので、ユーザが指定した視点からの映像は非表示エリアを含まない。従って、番組開始時刻ｔ０から時刻ｔ１までの期間Ｔ１では、放送受信装置１は、ユーザに指定された視点（視点位置Ａ、視線方向φ１）の多視点映像データ又は任意視点映像データを表示する制御を行う。

時刻ｔ１において、非表示エリアが変化して、第４エリア１４３が非表示エリアになる
。この時点では、過去に待避映像データへの切り替えが行われたことはないため、制御部１７は、過去に待避映像データへの切り替えが行われたことを示す情報を保存していない。従って、放送受信装置１は、ステップＳ３１４の判定の結果、ステップＳ３０６の処理へ進むことになる。

時刻ｔ１における非表示エリアの変化により、第４エリア１４３が非表示エリアになると、ユーザに指定された視点（視点位置Ａ及び視線方向φ１）からの映像は非表示エリアを含むこととなる。従って、放送受信装置１は、ステップＳ３０６〜ステップＳ３０８の処理を実行し（詳細は実施例１を参照）、表示する映像データを、ユーザに指定された視点の多視点映像データ又は任意視点映像データから待避映像データへ切り替える。待避映像データは、標準映像データや、ユーザに指定された視点に近い（類似した）視点の多視点映像データ又は任意視点映像データや、放送局が指定した視点の多視点映像データ又は任意視点映像データ等である（詳細は実施例１及び２を参照）。
続くステップＳ３２０において、制御部１７は、現在の番組において待避映像データへの切り替えが行われたことを示す情報を保存する。また、制御部１７は、ユーザが指定していた視点の情報及び待避映像データの情報の両方を保存するよう、ユーザ視点保存部９へ指示を出す。そして、制御部１７は、ユーザ視点保存部９へ、待避映像データの情報を任意視点映像生成部１１へ送るよう指示する。

時刻ｔ２において、再び非表示エリアが変化し、第４エリア１４３が非表示エリアではなくなる。この時点では、過去（時刻ｔ１）に表示映像をユーザに指定された視点の任意視点映像データから待避映像データへ切り替えたことがあることを示す情報を制御部１７が保持している。従って、放送受信装置１は、ステップＳ３１４の判定の結果、ステップＳ３１５の処理へ進むことになる。

ステップＳ３１５において、放送受信装置１は、現在表示している映像データが、ユーザが指定していた視点の多視点映像データ又は任意視点映像データであるか否かを判断する。現在表示している映像データが、ユーザが指定していた視点の多視点映像データ又は任意視点映像データである場合は、放送受信装置１は、ステップＳ３０６の処理へ進む。
現在表示している映像データが、ユーザが指定していた視点の多視点映像データ又は任意視点映像データでない場合は、放送受信装置１は、ステップＳ３１６の処理へ進む。
ステップＳ３１５では、制御部１７が、ユーザ視点保存部９から、ユーザが指定していた視点の情報と、現在表示している映像データの情報と、を取得し、両者が一致するか否か判定する。

ステップＳ３１６において、放送受信装置１は、ユーザが指定していた視点からの映像が現在の非表示エリア（今回の変化後の非表示エリア）を含むか否かを判断する。ユーザが指定していた視点からの映像が今回の変化後の非表示エリアを含まない場合、放送受信装置１は、ステップＳ３１７の処理へ進む。ユーザが指定していた視点からの映像が今回の変化後の非表示エリアを含む場合、放送受信装置１は、ステップＳ３０６の処理へ進む。
ステップＳ３１６では、制御部１７が、ユーザ視点保存部９から、ユーザが指定していた視点の情報を読み出し、この情報を非表示エリア判定部１０へ転送する。そして、非表示エリア判定部１０が、ユーザが指定していた視点からの映像が今回の変化後の非表示エリアを含むか否かを判断する。

ステップＳ３１７において、放送受信装置１は、ユーザが指定していた視点の多視点映像データ又は任意視点映像データが視聴可能になったことをユーザに通知するメッセージ画面を表示する。更に、放送受信装置１は、現在表示している待避映像データから、ユーザが指定していた視点の多視点映像データ又は任意視点映像データへ、表示する映像デー
タを切り替える（復帰させる）指示をユーザに入力させるためのＧＵＩを表示する。
図１２に当該ＧＵＩの一例を示す。図１２に示すＧＵＩには、ユーザが指定していた視点の映像が視聴可能になった旨を示すテキスト、表示映像をユーザが指定していた視点の映像へ切り替えるか否かの指示を入力するためのＧＵＩ部品（「ＹＥＳ」ボタン、「ＮＯ」ボタン）がある。
ステップＳ３１７では、制御部１７が、ＧＵＩ制御部１３に対し、ユーザへの通知及び復帰指示入力用のＧＵＩ画面の構築及び表示を行うよう指示を出す。

ステップＳ３１８では、放送受信装置１は、表示する映像データを、ユーザが指定していた視点の多視点映像データ又は任意視点映像データへ復帰させる指示が入力されたか否か判定する。復帰指示が入力された場合、放送受信装置１は、ステップＳ３１９の処理へ進む。復帰指示が入力されなかった場合、放送受信装置１は、ステップＳ３０６の処理へ進む。
ステップＳ３１８では、制御部１７が、ユーザＩ／Ｆ部１５から、復帰指示入力用のＧＵＩ画面に対して行われたユーザ操作の内容を受け取る。そして、制御部１７は、ユーザ操作の内容が、ユーザが指定していた視点の多視点映像又は任意視点映像への復帰指示を示すものであるか否かを判定する。

ステップＳ３１９において、放送受信装置１は、待避映像データから、ユーザが指定していた視点の多視点映像データ又は任意視点映像データへ、表示する映像データを切り替える。ステップＳ３１９では、ユーザ視点保存部９は、制御部１７の指示を受けて、任意視点映像生成部１１に、ユーザが指定していた視点の情報を送る。
任意視点映像生成部１１は、ユーザ視点保存部９から、ユーザが指定していた視点の情報を受け取ると、ユーザが指定していた視点の任意視点映像データを生成し、視点切替制御部１２へ送信する。制御部１７は、視点切替制御部１２に対し、任意視点映像生成部１１から送られてくる任意視点映像データを選択してブレンド部１４へ出力するよう指示を出す。
或いは、制御部１７は、ユーザが指定していた視点の情報を視点切替制御部１２へ送り、デコード部８がデコードした多視点映像データを構成する複数の視点の映像データのうちユーザが指定していた視点の映像データを選択するよう指示する。

本実施例の放送受信装置１によれば、番組の途中で非表示エリアが変化してユーザが指定していた視点からの映像が非表示エリアを含む視点となった場合でも、ユーザは、待避映像で番組の視聴を継続できる。従って、視聴の快適性や視聴機会が損なわれることが好適に抑制される。
更に、その後の非表示エリアの変化により、ユーザが指定していた視点が視聴可能になったときに、ユーザは、当初指定していた視点の多視点映像又は任意視点映像で番組の視聴をすることができ、視聴の快適性が向上する。
なお、図１２に示した、ユーザが当初指定していた視点の任意視点映像への復帰指示を入力するためのＧＵＩ画面の構成は一例であり、これに限定されない。また、ユーザに指定された視点が視聴可能な視点になったときに、ユーザによる指示の入力を待たずに、自動的に当該ユーザに指定された視点の多視点映像又は任意視点映像へ切り替えても良い。

上記各実施例において、視点（視点位置及び視線方向）を２次元平面内で指定可能な任意視点映像を例に説明したが、本発明は、視点（視点位置及び視線方向）を３次元空間内で指定可能な任意視点映像に適用することもできる。その場合、視点設定可能エリアや非表示エリア等の視聴エリア制御情報も、３次元空間内で設定できる。
また、上記各実施例では、視点位置や視線方向、視点設定可能エリアや非表示エリアの情報を座標で表す例を示したが、これらの情報の表現方法は上記実施例で説明した方法に限らない。また、上記各実施例では、多視点映像や任意視点映像の視点を視点位置及び視
線方向で特定する例を説明したが、視点を特定するための情報やその表現方法はこれに限らない。

上記各実施例では、本発明をデジタル放送を受信して表示する放送受信装置に適用した例について説明したが、本発明は多視点映像データや任意視点映像データを含む映像コンテンツデータを表示可能な映像処理装置に適用できる。映像コンテンツデータはデジタル放送波から受信する番組データに限らず、ＤＶＤレコーダやＨＤＤレコーダにより録画された番組データでも良いし、ＤＶＤやＢＤに記録された映像データでも良い。

本発明において、映像コンテンツデータは、多視点映像データを含む映像コンテンツデータであっても良いし、任意視点映像データを含む映像コンテンツデータであっても良いし、両方を含む映像コンテンツデータであっても良い。本発明を任意視点映像データを含む映像コンテンツデータを表示可能な映像処理装置に適用した場合、ユーザは任意の視点位置及び視線方向を指定することができる。
本発明を多視点映像データを含む映像コンテンツデータを表示可能な映像処理装置に適用した場合、ユーザは撮影視点情報に格納される視点から視点を選択することができる。この場合、実施例２において、ユーザが指定した視点に対し視点位置及び視線方向が所定範囲内にある視点であってその視点からの映像が非表示エリアを含まない視点は、撮影視点情報に格納される視点の中から探し出される。

ユーザに指定された視点からの映像が非表示エリアを含むか否かの判定や非表示エリアの変化の検出は、毎フレーム行っても良いし、所定の時間間隔で行っても良いし、シーンチェンジ等の画像の変化を検出した時に行っても良い。
また、放送受信装置が、番組開始から番組終了までの全期間の視聴エリア制御情報を、番組開始前、番組開始時、又は番組視聴中等に、一括取得できるようにしても良い。その場合、放送受信装置は、番組の途中で非表示エリアが変化するタイミングの情報を予め取得することができる。従って、ユーザが多視点映像又は任意視点映像を視聴する視点を指定した時点で、その視点からの映像が番組の途中で非表示エリアを含むことになることを警告することもできる。また、待避映像データの視点を予めユーザに指定させておくようにしても良い。そうすれば、ユーザは、待避映像についてもなるべく好みの視点の映像になるように予め設定できるので、より一層視聴の快適性が向上する。
なお、本実施例では、標準映像データと、多視点映像データ又は任意視点映像データと、を含むデジタル放送番組データを例に説明したが、デジタル放送番組データは、多視点映像データ又は任意視点映像データを含んでいれば良い。標準映像データを含んでいない場合、待避映像データは、変化後の非表示エリアを含まない視点の多視点映像データ又は任意視点映像データとなる。

４：受信部、６：番組情報取得・予約部、１０：非表示エリア判定部、１１：任意視点映像生成部、１２：視点切替制御部、１６：表示部、１７：制御部

Claims (11)

1. 映像コンテンツデータを再生可能な映像処理装置であって、
   任意の視点からの映像を表示可能な映像コンテンツデータと、前記映像コンテンツデータにおいて表示されないように指定された非表示エリアに関する情報と、を取得する取得手段と、
   前記映像コンテンツデータにおける任意の視点からの映像を表示中に前記非表示エリアが変化したか否かを判定する第１の判定手段と、
   前記第１の判定手段で前記非表示エリアが変化したと判定された場合に、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むか否かを判定する第２の判定手段と、
   前記第２の判定手段により、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むと判定される場合、表示する映像データを所定の待避映像データに切り替える制御手段と、を有し、
   前記待避映像データは、前記変化後の前記非表示エリアを含まない視点からの映像データであることを特徴とする映像処理装置。
2. 前記待避映像データは、前記任意の視点の視点位置及び視線方向の少なくともいずれかから所定範囲内にある視点からの映像データであることを特徴とする請求項１に記載の映像処理装置。
3. 前記制御手段は、前記任意の視点の視点位置を所定距離ずつ変化させること及び前記任意の視点の視線方向を所定角度ずつ変化させることの少なくともいずれかを行うことで、前記待避映像データの視点を決定する請求項１又は２に記載の映像処理装置。
4. 前記映像コンテンツデータは、前記非表示エリアの画像を含まないように作成された標準映像データと、視点の異なる複数の映像データからなる多視点映像データ、または視点の異なる複数の映像データに基づいて生成された任意視点映像データと、からなり、
   前記任意の視点からの映像は、前記多視点映像データから選択された映像データによる映像または前記任意視点映像データによる映像であり、
   前記待避映像データは、前記標準映像データであることを特徴とする請求項１に記載の映像処理装置。
5. 前記待避映像データは、前記非表示エリアの画像の領域又は該領域を含む所定範囲の領域を所定の置換画像により置換した映像データであることを特徴とする請求項１に記載の映像処理装置。
6. 前記第２の判定手段は更に、前記変化後の前記非表示エリアに関する情報に基づいて、前記任意の視点からの映像のフレーム画像に占める前記置換画像の面積の割合又はそれに相関するパラメータの値が所定の閾値以上か否かを判定し、
   前記任意の視点からの映像のフレーム画像に占める前記置換画像の面積の割合又はそれに相関するパラメータの値が前記閾値以上と判定される場合、前記待避映像データは、フレーム画像に占める前記変化後の前記置換画像の面積の割合又はそれに相関するパラメータの値が前記閾値より小さくなる視点からの映像データであることを特徴とする請求項５に記載の映像処理装置。
7. 前記制御手段は、前記第１の判定手段で前記非表示エリアが変化したと判定された場合に、
   前記非表示エリアの変化前に、前記制御手段によって前記任意の視点からの映像データから前記待避映像データへの切り替えが行われたことがあり、且つ、
   前記非表示エリアが変化した時点で、表示している映像データが前記待避映像データであり、且つ、
   前記任意の視点からの映像が前記変化後の前記非表示エリアにを含むときは、
   前記制御手段は、表示する映像データを、前記待避映像データから前記任意の視点からの映像データへ切り替え、又は前記待避映像データから前記任意の視点からの映像データへ切り替えることが可能である旨をユーザに通知する請求項１に記載の映像処理装置。
8. 前記制御手段は、前記第１の判定手段で前記非表示エリアが変化したと判定された場合に、
   前記非表示エリアの変化前に、前記制御手段によって前記任意の視点からの映像データから前記待避映像データへの切り替えが行われたことがあり、且つ、
   前記非表示エリアが変化した時点で、表示している映像データが前記待避映像データであり、且つ、
   前記任意の視点からの映像のフレーム画像に占める前記変化後の前記置換画像の面積の割合又はそれに相関するパラメータの値が前記閾値より小さいときは、
   前記制御手段は、表示する映像データを、前記待避映像データから前記任意の視点からの映像データへ切り替え、又は前記待避映像データから前記任意の視点からの映像データへ切り替えることが可能である旨をユーザに通知する請求項６に記載の映像処理装置。
9. 前記制御手段は、表示する映像データを、前記待避映像データから前記任意の視点からの映像データへ切り替える指示をユーザに入力させるためのグラフィカルユーザインターフェースを表示する制御を行う請求項７又は８に記載の映像処理装置。
10. 前記第２の判定手段は、前記任意の視点の視点位置及び視線方向と、多視点映像データ又は任意視点映像データの前記複数の異なる視点の情報と、前記非表示エリアに関する情報と、に基づいて、前記任意の視点からの映像が前記非表示エリアを含むか否かを判定する請求項４に記載の映像処理装置。
11. 映像コンテンツデータを再生可能な映像処理装置の制御方法であって、
    任意の視点からの映像を表示可能な映像コンテンツデータと、前記映像コンテンツデータにおいて表示されないように指定された非表示エリアに関する情報と、を取得する取得工程と、
    前記映像コンテンツデータにおける任意の視点からの映像を表示中に前記非表示エリアが変化したか否かを判定する第１の判定工程と、
    前記第１の判定工程で前記非表示エリアが変化したと判定された場合に、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むか否かを判定する第２の判定工程と、
    前記第２の判定工程により、前記任意の視点からの映像が前記変化後の前記非表示エリアを含むと判定される場合、表示する映像データを所定の待避映像データに切り替える制御工程と、を有し、
    前記待避映像データは、前記変化後の前記非表示エリアを含まない視点からの映像データであることを特徴とする映像処理装置の制御方法。

Images