JP2015222989A

JP2015222989A - 画像処理装置、及びその制御方法

Info

Publication number: JP2015222989A
Application number: JP2015155389A
Authority: JP
Inventors: 知也浅沼; Tomoya Asanuma
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-07-02
Filing date: 2015-08-05
Publication date: 2015-12-10
Anticipated expiration: 2031-04-20
Also published as: JP5990309B2

Abstract

【課題】視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を通知する。【解決手段】視点が異なる複数の映像データに基づいて生成される、ユーザに指定された任意の視点における任意視点映像データを取得する映像データ取得手段と、前記映像データ取得手段で取得した前記任意視点映像データを表示部に出力する出力手段と、前記視点が異なる複数の映像データの映像に関する第１視点情報と、前記任意視点映像データの映像に関する第２視点情報との一致の度合いに応じて、前記ユーザに対する通知を行う通知手段と、を備えることを特徴とする映像処理装置を提供する。【選択図】図６

Description

本発明は、ユーザが視聴を所望する視点に対応する任意視点映像を再生可能な映像処理装置、及びその制御方法に関する。

デジタル放送が開始され、デジタル放送を受信可能なテレビ（デジタルテレビ）が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究・開発が多数行われている。その中のひとつとして、カメラ視点をユーザ（視聴者）が自由に指示できる「任意視点映像」が注目されている。ユーザが指示したカメラ視点に対応する任意視点映像は、複数の視点で撮影された映像を用いて生成される。

「任意視点映像」と「カメラで実際に撮像された映像（カメラ映像）」との表示の切り替えに関連する技術として、特許文献１が知られている。特許文献１には、放送映像と放送映像に対する視点情報とを含む放送ストリームを受信する受信装置が開示されている。この受信装置は、任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送ストリームから抽出した放送映像の視点情報を利用する。

特開２００７−１５０７４７号公報

任意視点映像は、視点の異なる複数のカメラから得られる映像を合成することにより生成されるため、一般的に任意視点映像の生成のために用いたカメラからの映像ほどは画質が高くない。従って、カメラからの映像がユーザの要求する視点からの映像だった場合、画質を考慮すると、ユーザはカメラからの映像の方が任意視点映像よりも高い満足度を得られると考えられる。しかしながら、任意視点映像を視聴中のユーザは、自分の要求する視点と近い視点からのカメラからの映像が存在するかどうかを知ることができない。特許文献１に記載の技術は、放送映像（カメラからの映像）から任意視点映像への切り替えを対象とするが、任意視点映像の視聴中に、ユーザの要求する視点とカメラからの映像の視点との関係について認識することができなかった。

本発明はこのような状況に鑑みてなされたものであり、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、視点が異なる複数の映像データに基づいて生成される、ユーザに指定された任意の視点における任意視点映像データを取得する映像データ取得手段と、前記映像データ取得手段で取得した前記任意視点映像データを表示部に出力する出力手段と、前記視点が異なる複数の映像データの映像に関する第１視点情報と、前記任意視点映像データの映像に関する第２視点情報との一致の度合いに応じて、前記ユーザに対する通知を行う通知手段と、を備えることを特徴とする映像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知することが可能となる。

第１の実施形態に係るデジタル放送受信装置１００を含むシステムの構成例を示す図デジタル放送受信装置１００及び放送局２５０の詳細な構成を示すブロック図（ａ）第１の実施形態に係る任意視点映像再生処理を示すシーケンス図、（ｂ）任意視点映像再生処理の他の例を示すシーケンス図複数の固定カメラ２５２の各映像の視点（被撮像空間に対する視点）を表す視点情報（撮像視点情報）を取得する処理を示すフローチャート任意視点映像の視点とカメラ映像の視点との一致度を取得する処理を示すフローチャート視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する処理を示すフローチャート一致度の閾値として複数の閾値が使用される場合の概念図通知表示ＧＵＩの具体例を示す図通知表示ＧＵＩの具体例を示す図変形例１に係る、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する処理を示すフローチャート

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
本発明の映像処理装置をデジタル放送受信装置に適用した実施形態について説明する。本実施形態のデジタル放送受信装置は、デジタル放送波（放送信号）に含まれる放送映像を受信可能であり、また、複数のカメラ（撮像装置）それぞれが異なる視点から被撮像空間を撮像することにより得られる複数の映像データをインターネット経由で取得可能である。本実施形態において、「任意視点映像」は、このような複数の映像に基づいて生成される、ユーザに指定された任意の視点から見た前記被撮像空間の仮想的な映像を意味する。本実施形態において任意視点映像は、複数のカメラから得られる複数の映像データを用いて生成されることを想定するが、任意視点映像を生成するための複数の映像データは、複数の視点からのアニメーション映像データやＣＧ映像データなどでもよい。

図１は、第１の実施形態に係るデジタル放送受信装置１００を含むシステムの構成例を示す図である。デジタル放送受信装置１００は、イーサネット（登録商標）１０１を介して、ルータ１０３やその他のネットワークデバイス１０２と通信可能である。デジタル放送受信装置１００は、ルータ１０３を介してインターネット１０４に接続している。また、デジタル放送受信装置１００は、アンテナ１０５からデジタル放送波を受信し、デジタル放送を再生することができる。

図２は、デジタル放送受信装置１００及び放送局２５０の詳細な構成を示すブロック図である。デジタル放送受信装置１００は、放送局２５０が放送する放送映像を受信することができる。最初に、放送映像の受信及び再生等に関係するブロックについて説明する。

図２において、アンテナ１０５により受信された信号は、チューナ部２１０に入力される。チューナ部２１０は、トランスポートストリームデータ（ＴＳ）を生成する。チューナ部２１０は、デスクランブラ２１１を経て、複数チャンネル分の映像、音声データ、及び番組情報データ等が多重化されているＴＳをデータ分離部２１２へ出力する。データ分離部２１２は、リモコン２０１により選択された番組の音声データ、映像データ、及び番組情報データをＴＳの中から取り出し、それぞれを音声デコード部２１３、映像デコード部２１４、番組情報デコード部２１５へ入力する。

映像デコード部２１４は、データ分離部２１２から入力された映像データに対して、ＭＰＥＧ等の復号化処理を施し、復号した映像データを映像処理部２１７に出力する。音声デコード部２１３は、データ分離部２１２から入力された音声データに対して復号化処理を施し、音声制御部２１９へ出力する。音声制御部２１９は、音声データに対して、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換処理等を施し、音声出力部２２１に出力する。

番組情報デコード部２１５は、データ分離部２１２から入力された番組情報データから所望の情報を取得し、番組情報処理部２１６、映像処理部２１７、及びＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）処理部２１８へ出力する。番組情報データには、ＳＩ（ＳｅｒｖｉｃｅＩｎｆｏｒｍａｔｉｏｎ）データ、及びＰＳＩ（ＰｒｏｇｒａｍＳｐｅｃｉｆｉｃＩｎｆｏｒｍａｔｉｏｎ）データが含まれている。

映像処理部２１７は、映像デコード部２１４から入力された映像データと、番組情報デコード部２１５から入力された番組情報とに基づいて映像調整処理を施し、調整した映像データを表示制御部２２０へ出力する。表示制御部２２０は、映像処理部２１７及びＧＵＩ処理部２１８から入力された映像データや画面データをリモコン２０１からの操作に応じて切り替えたり、合成したりするなどしたりして、表示部２２２へ出力する。選局処理部２２３は、リモコン２０１により選局されたチャンネルの音声データ、映像データ及び番組情報データを、チューナ部２１０を介して受信できるように処理を行う。時間処理部２２４は、時間のカウントを行う。またメモリ管理部２２５は、デジタル放送受信装置１００内に存在する不図示のメモリの管理を行う。

システム制御部２２６はＣＰＵを有し、不図示のメモリに記憶されたプログラムを実行することにより、各構成要素を統括的にコントロールする。システム制御部２２６はまた、リモコン２０１からの指示を受光部２０２経由で受信する。

次に、図２に加えて図３（ａ）を参照して、任意視点映像生成用データの取得や任意視点映像の再生に関連するブロックについて説明する。図３（ａ）は、第１の実施形態に係る任意視点映像再生処理を示すシーケンス図である。図３（ａ）では、デジタル放送受信装置１００が任意視点映像を生成する。図３（ａ）の処理に先立ち、デジタル放送受信装置１００は、放送局２５０の任意視点映像生成用データサーバ２５１とインターネット１０４経由で接続する。なお、任意視点映像生成用データを生成する任意視点映像生成用データサーバ２５１は、放送局２５０の外にあってもよい。任意視点映像は、視点の異なる複数のカメラ映像を用いて生成する。ここで、カメラ映像とは、任意視点映像が表す被撮像空間の映像であって、カメラ（撮像装置）で実際に撮像された映像を意味する。カメラの例としては、例えば、固定カメラ２５２や放送カメラ２４０が挙げられる。ここで、固定カメラ２５２とは、撮影位置および撮影方向が所定期間中変化しないカメラであり、放送カメラ２４０とは、ハンディカメラ等のように所定期間内に撮影位置または撮影方向が変化するカメラを想定する。任意視点映像は、固定カメラ２５２及び放送カメラ２４０の映像を用いて生成することが可能である。放送カメラ２４０は複数台あってもよい。デジタル放送送信システム２４１が送信する放送番組の映像は、放送カメラ２４０の映像から作成される。放送カメラ２４０が複数台ある場合には、放送番組の映像は、複数台の放送カメラからの映像を適宜切り替えて作成できる。カメラは、上記のものに限定される訳ではなく、生成する任意視点映像と同じ被撮像空間の映像を表す、デジタル放送受信装置１００が取得可能な（受信可能な）映像データを提供するものであれば、どのようなものでも構わない。本実施形態においては、複数の固定カメラ２５２を用いて任意視点映像を生成する場合について説明する。

Ｓ３００で、任意視点情報処理部２３２は、リモコン２０１を介して、ユーザからの任意視点映像の視聴要求を受信する。このとき任意視点情報処理部２３２は、任意視点映像の視聴要求として、視聴を所望するチャンネル名または番組名と共に、ユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を受信する。ユーザが視聴を所望する映像の視点情報を入力するにあたり、デジタル放送受信装置１００は、放送局２５０からインターネット経由または放送波経由で、視聴を所望する番組における被撮像空間において設定された座標空間に関する情報を受信する。例えば、ユーザが入力した視聴を所望するチャンネル名または番組名に基づいてデジタル放送受信装置１００が受信する該番組の映像に、該番組の映像の被撮像空間において任意に設定された座標空間に関する情報が関連付けられているものを受信する。または、ユーザが視聴を所望するチャンネル名または番組名に基づいて、デジタル放送受信装置１００が任意視点映像生成用データサーバ２５１に、該番組の映像の被撮像空間において任意に設定された座標空間に関する情報を送信するように要求してもよい。このように受信した座標空間に関する情報に基づいて、ＧＵＩ処理部２１８は、被撮像空間を示すＧＵＩを作成し、表示制御部２２０は、生成されたＧＵＩを表示部２２２に表示する。ユーザは、被撮像空間に設定された座標空間における視点を、リモコンを介してＧＵＩを利用して指定することにより、視聴を所望する映像の視点情報を入力する。本発明において映像の視点情報とは、少なくとも被撮像空間における視点位置（座標位置）及び視線方向（パン・チルト角）に関する情報を含む。更に、映像の画角情報（映像に映し出される有効映像領域の大きさ）やズーム率の情報を含んでいてもよい。任意視点情報処理部２３２は、ユーザが指定した視点情報を内部に記憶する。ユーザが視聴を所望する映像の視点情報の入力方法としては、上記に限られず、例えば被撮像空間に設定された座標空間における視点を数値入力するものでもよく、任意視点映像生成用データサーバ２５１から送信される、予め決められた複数の視点の中から選択するものでもよい。また、システム制御部２２６は、ユーザからの視点の変更要求に応じて、被撮像空間を示すＧＵＩを表示部２２２に表示させるよう、表示制御部２２０を制御する。Ｓ３０１で、任意視点情報処理部２３２は、ユーザが視聴を所望する視点における任意視点映像を生成するための任意視点映像作成用データを取得するために、任意視点映像作成用データ取得要求を作成する。Ｓ３０２で、任意視点情報処理部２３２は、作成された任意視点映像作成用データ取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。任意視点映像作成用データ取得要求の送信に関して具体的には、任意視点映像生成用データサーバ２５１側で、任意視点映像を生成するために必要な映像データを判断できるように、ユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を送信する。

Ｓ３０３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像作成用データ取得要求を解析する。Ｓ３０４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データを取得する。複数の固定カメラ２５２は、それぞれが異なる視点から被撮像空間（例えば、サッカー競技場）を撮像するように（例えば、被撮像空間を取り囲むように）設置されている。任意視点映像生成用データサーバ２５１は、取得した映像データに基づき、任意視点映像作成用データを作成する。Ｓ３０５で、任意視点映像生成用データサーバ２５１は、作成した任意視点映像作成用データをデジタル放送受信装置１００へ送信する。

任意視点映像作成用データとは具体的には、複数の固定カメラ２５２から取得した複数の映像データの中で、任意視点映像を生成するために必要な映像データ及び各映像データの撮影位置に関する情報である。任意視点映像作成用データの作成に際して、複数の固定カメラ２５２から取得した映像データを、任意視点映像データを作成しやすいように加工してもよい。任意視点映像作成用データは上記に限られず、例えば複数の固定カメラ２５２から取得した全ての映像データ及び各映像データの撮影位置に関する情報を任意視点映像作成用データとしてもよい。

Ｓ３０６で、受信データ解析部２３０は、通信制御部２２７を介して受信した任意視点映像生成用データを解析し、任意視点映像生成用データを解析結果と共に任意視点情報処理部２３２に出力する。Ｓ３０７で、任意視点情報処理部２３２（任意視点映像データ取得手段）は、入力された任意視点映像作成用データ及び解析結果に基づいて任意視点映像を生成する。Ｓ３０８で、任意視点情報処理部２３２は、任意視点映像を表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像と（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。

デジタル放送受信装置１００は、ユーザによる視点情報の入力に際し、該番組の映像の被撮像空間に関する情報の受信と共に予め、該被撮像空間を撮影している複数の固定カメラ２５２全ての映像データ及び各映像データの撮影位置に関する情報を受信していてもよい。その場合は図３（ａ）のＳ３０２からＳ３０５のように、任意視点映像作成用データの要求及び送受信を行わなくてもよい。デジタル放送受信装置１００が、複数の固定カメラ２５２の撮影位置に関する情報のみを予め受信していてもよい。その場合は、任意視点映像を生成するために、複数の固定カメラ２５２の撮影位置に関する情報から、必要な固定カメラ２５２をデジタル放送受信装置１００側で決定し、Ｓ３０２において、該固定カメラ２５２の映像データの要求を送信してもよい。図３（ａ）の処理ではデジタル放送受信装置１００が任意視点映像を生成したが、他の場所で生成が行われてもよい。一例として、図３（ｂ）は、任意視点映像生成用データサーバが任意視点映像を生成する場合を示す。図３（ｂ）において、図３（ａ）と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。

Ｓ３１１で、任意視点情報処理部２３２は、ユーザが視聴を所望する視点における任意視点映像を取得する要求を作成する。Ｓ３１２で、任意視点情報処理部２３２は、作成された任意視点映像取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。その際送信されるデータとしては、少なくともユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を含む。

Ｓ３１３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像データ取得要求を解析する。Ｓ３１４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データ及び映像データの撮影位置に関する情報を取得し、取得した映像データに基づき、任意視点映像データを生成する。Ｓ３１５で、任意視点映像生成用データサーバ２５１は、生成した任意視点映像データをデジタル放送受信装置１００へ送信する。Ｓ３１６で、任意視点情報処理部２３２は、任意視点映像データを表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像データと（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。

以上の図３（ａ）又は図３（ｂ）の処理の繰り返しにより、デジタル放送受信装置１００は、ユーザが視聴を所望する視点における任意視点映像を再生することができる。図３（ａ）又は図３（ｂ）の処理は、少なくとも、ユーザが視聴を所望する映像の視点情報を、リモコンを介して任意視点情報処理部２３２が受信する度に行われる。例えば、Ｓ３００において、任意視点映像を視聴中に、ユーザが視聴を所望する視点を変更する要求がリモコンを介して入力される度に行われる。これにより、ユーザが視聴を所望する視点を変更させた場合にも、変更後の視点における任意視点映像を再生することができる。

次に、視聴中の（即ち、デジタル放送受信装置１００が出力中の）任意視点映像の視点に近い視点のカメラ映像を検出する処理について説明する。

最初に、図４乃至図９を参照して、複数の固定カメラ２５２により得られた複数の映像データの各映像の中から任意視点映像の視点に近い視点を持つ映像を検出する場合について説明する。

図４は、複数の固定カメラ２５２の各映像の視点（被撮像空間に対する視点）を表す視点情報（撮像視点情報）を取得する処理を示すフローチャートである。本フローチャートの処理は、システム制御部２２６が各部を制御することにより、所定の間隔（例えば、１秒）毎に定期的に行われる。

Ｓ４０１で、固定カメラ情報処理部２３１は、システム制御部２２６から現在の映像の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。表示制御部２２０で表示部２２２に出力している映像が、放送波から受信したデジタル放送映像である場合は、映像の出力状態はデジタル放送映像出力中となる。任意視点情報処理部２３２で生成された、または、通信制御部２２７を介して受信する任意視点映像生成用データサーバ２５１で生成された任意視点映像である場合は、映像の出力状態は任意視点映像出力中となる。デジタル放送受信装置と接続された不図示の外部機器からの映像である場合は、映像の出力状態は外部入力映像出力中となる。Ｓ４０２で、固定カメラ情報処理部２３１は、現在の出力状態が「任意視点映像出力中」であるか否かを判定する。「任意視点映像出力中」の場合、処理はＳ４０３に進み、そうでない場合、処理は終了する。

Ｓ４０３で、固定カメラ情報処理部２３１は、デジタル放送受信装置１００が任意視点映像生成用データサーバ２５１から受信可能なカメラ映像を生成する固定カメラ２５２の数を取得する。具体的には、固定カメラ情報処理部２３１は、要求データ処理部２３４及び通信制御部２２７を介して、任意視点映像生成用データサーバ２５１に対して固定カメラ２５２の数を問い合わせる。その後、Ｓ４０４乃至Ｓ４０６の処理が、固定カメラ２５２の数と同じ回数、繰り返される。

Ｓ４０４で、固定カメラ情報処理部２３１（撮像視点情報取得手段）は、任意視点映像生成用データサーバ２５１から固定カメラ２５２それぞれの視点情報（第１視点情報）を取得する（第１視点情報が複数取得される）。Ｓ４０５で、固定カメラ情報処理部２３１は、Ｓ４０５において以前に取得した保存済みの視点情報がある場合には、Ｓ４０４で取得した視点情報と比較し、一致するか否かを判定する。一致しない場合、Ｓ４０６で、固定カメラ情報処理部２３１は、内部に保存済みの視点情報を、今回取得した視点情報に更新する。

以上の処理により、固定カメラ情報処理部２３１には、固定カメラ２５２それぞれの最新の視点情報が保存される。

図４では、固定カメラ情報処理部２３１は、ステップＳ４０２において「任意視点映像出力中」と判定された場合に、固定カメラ２５２の視点情報を任意視点映像生成用データサーバ２５１から取得した。しかしながら、固定カメラ情報処理部２３１は、任意視点情報処理部２３２が任意視点映像を生成する際に、任意視点映像生成用データサーバ２５１から任意視点映像作成用データと共に固定カメラ２５２の視点情報を取得している場合は、特別に図４の処理を行わなくてもよい。つまり、図３（ａ）で説明したように任意視点映像作成用データとして固定カメラ２５２の映像データと共に（固定カメラ２５２の視点情報として利用可能な）各映像データの撮影位置に関する情報が提供される場合、固定カメラ情報処理部２３１は、固定カメラ２５２の映像データと共に送られてくる視点情報を用いることができる。

次に、図５を参照して、任意視点映像の視点とカメラ映像の視点との一致度（一致の度合い）を取得する処理について説明する。本実施形態において一致度は、任意視点映像の視点とカメラ映像の視点とが類似しているほど高い値を示す。図５の処理は、図３（ａ）又は図３（ｂ）のＳ３００において、ユーザが視聴を所望する映像の視点情報を、リモコンを介して任意視点情報処理部２３２が受信した場合、及び、図４のＳ４０６において固定カメラ２５２の視点情報が更新された場合に実行される。図５において、図４と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。図５のフローチャートの処理は、図４と同様にシステム制御部２２６が各部を制御することにより実行される。

Ｓ５０３で、視点情報処理部２３３（任意視点情報取得手段）は、任意視点情報処理部２３２から、任意視点映像の視点（被撮像空間に対する視点）を表す視点情報（任意視点情報）（第２視点情報）を取得する。Ｓ５０４で、視点情報処理部２３３は、固定カメラ情報処理部２３１から、（図４のＳ４０６でその映像データの視点情報を保存済みの）固定カメラ２５２の数を取得する。その後、Ｓ５０５乃至Ｓ５０７の処理が、固定カメラ２５２の数と同じ回数、繰り返される。

Ｓ５０５で、視点情報処理部２３３は、固定カメラ情報処理部２３１から各固定カメラ２５２の視点情報を取得する。Ｓ５０６で、視点情報処理部２３３は、各固定カメラ２５２の各視点情報の各視点と任意視点情報の視点とを比較し、一致度を算出する。Ｓ５０７で、視点情報処理部２３３は、Ｓ５０６で算出した各固定カメラ２５２についての一致度を保存する。或いは、視点情報処理部２３３は、全ての固定カメラ２５２の一致度を保存するのではなく、任意視点映像の視点と各カメラ映像の視点との一致度の中で最大値の一致度と、これに対応する固定カメラ２５２を示す情報とを保存してもよい。

なお、視点の一致度は、例えば、任意視点情報及びカメラ映像の視点情報（カメラ位置、パン・チルト角、ズーム情報、画角情報など）の比較や、任意視点映像及びカメラ映像の画像の比較などにより算出可能であるが、これらに限定される訳ではない。また、カメラ映像の視点情報として、固定カメラ２５２の視点情報を用いる構成で説明したが、放送カメラ２４０の視点情報を任意視点映像生成用データサーバ２５１から取得して、カメラ映像の視点情報として放送カメラ２４０の視点情報を含めてもよい。

次に、図６を参照して、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する処理について説明する。本フローチャートの処理は、例えば、図５の処理に続いて実行される。図６のフローチャートの処理は、図４と同様にシステム制御部２２６が各部を制御することにより実行される。図６において、図４と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。但し、Ｓ４０２で「ＮＯ」と判定された場合、処理はＳ６１０へ進む。

Ｓ６０３で、視点情報処理部２３３は、視点の一致度の閾値Ａを（例えば不図示のメモリから）取得する。Ｓ６０４で、視点情報処理部２３３は、図５のＳ５０７で保存した各固定カメラ２５２の視点の一致度のうちの最大値Ｂを取得する。Ｓ６０５で、視点情報処理部２３３は、視点の一致度の最大値Ｂ≧閾値Ａであるか否か、即ち、最大値が閾値以上であるか否かを判定する。最大値Ｂ≧閾値Ａであれば処理はＳ６０６に進み、そうでなければ処理はＳ６０８に進む。

Ｓ６０６で、視点情報処理部２３３は、Ｓ６０５で閾値以上の一致度であると判定された固定カメラ２５２の映像の存在を、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在としてユーザに通知中であるか否かを判定する。任意視点映像の視点に近い視点のカメラ映像の存在を通知していない、またはＳ６０５で閾値以上の一致度であると判定された固定カメラと異なる固定カメラについて通知中であれば処理はＳ６０７に進み、通知中であれば処理はＳ４０２に戻る。Ｓ６０７で、視点情報処理部２３３は、Ｓ６０５で閾値以上と判定された一致度を有する固定カメラの映像の存在をユーザに通知する処理を行う（詳細は図８及び図９を参照して後述）。

Ｓ６０８では、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知中であるか否かを判定する。通知中であれば処理はＳ６０９に進み、通知中でなければ処理はＳ４０２に戻る。Ｓ６０９で、視点情報処理部２３３は、通知停止処理を行う。

Ｓ６１０では、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知中であるか否かを判定する。通知中であれば処理はＳ６１１に進み、通知中でなければ本フローチャートの処理は終了する。Ｓ６１１で、視点情報処理部２３３は、通知停止処理を行う。

以上の処理により、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像を検出し、その存在をユーザに通知する。また、通知と非通知との切り替えが行われる。

ところで、Ｓ６０３及びＳ６０５では１つの閾値のみが使用されたが、複数の閾値（例えば、α及びβ）が使用されてもよい。図７は、一致度の閾値として複数の閾値が使用される場合の概念図である。横軸は時間、縦軸は各時間においてＳ６０４で取得した一致度の最大値Ｂである。

ユーザが任意視点映像の視聴を開始した時点（時刻ｔ１）では、一致度が閾値β未満である。従って、視聴中の任意視点映像の視点に近い視点のカメラ映像は存在せず、通知は行われない（図６のＳ６０５で「ＮＯ」と判定される）。その後、ユーザの指示に従って任意視点映像の視点が移動し、時刻ｔ２において、一致度が閾値βに到達する。そのため、図６のＳ６０５で「ＹＥＳ」と判定され、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を通知する。その後、任意視点映像の視点が更に移動し、時刻ｔ３において、一致度が閾値α（＞β）に到達する。この場合も、図６のＳ６０５で「ＹＥＳ」と判定されるが、通知の形態が異なる。即ち、視点情報処理部２３３は、視聴中の任意視点映像の視点にほぼ一致する視点のカメラ映像の存在を通知する。

なお、閾値（Ａ、α、β）は、デジタル放送受信装置１００が変更できないデータとして記憶していてもよいし、ユーザが変更可能なデータとして記憶していてもよい。

次に、通知処理の詳細について説明する。視点情報処理部２３３は、ＧＵＩ処理部２１８に通知表示ＧＵＩの生成を指示する。通知表示ＧＵＩは、表示制御部２２０へ入力される。表示制御部２２０は、映像処理部２１７から入力される映像に通知表示ＧＵＩを重畳して表示部２２２へ出力する。

図８及び図９は、通知表示ＧＵＩの具体例を示す図である。図８において、視点情報処理部２３３は、図６のＳ６０５における視点の一致度の判定をもとにＧＵＩの表示により通知を行う。図８（ａ）において、アイコン８０１〜８０５は、ユーザにより指定された任意視点（位置及び方向）を示す。また、被撮像空間における固定カメラの視点を固定カメラ８１１〜８１５のようにアイコンで表わす。現在表示中の任意視点映像に対応する視点のアイコンのみが表示される。図８（ｂ）において、任意視点映像８２１〜８２５はそれぞれアイコン８０１〜８０５の視点における映像の表示画面を示す。なお、本実施形態においては、アイコン８０１〜８０５の視点が１つずつ順次指定される場合について説明するが、視点が複数指定されてもよい。その場合には、画面上に複数の映像データを表示すればよい。図８（ａ）において、任意視点映像の視点がアイコン８０１の場合、アイコン８０１の視点と固定カメラ８１１の視点との視点の一致度が高い（閾値α以上）。そこで、視点情報処理部２３３は、視聴中の任意視点映像８２１と共に、該任意視点映像の視点にほぼ一致する視点のカメラ映像の存在を示すＧＵＩを表示する。この際に表示するＧＵＩは、視聴中の任意視点映像の視点にほぼ一致する視点のカメラの位置を表示するものでも、単に視聴中の任意視点映像の視点にほぼ一致する視点のカメラ映像が存在するかしないか、を表示するものでもよい。具体的には、図８（ａ）のように被撮像空間における、固定カメラの視点情報及び任意視点映像の視点情報をレイアウト表示して、視聴中の任意視点映像の視点にほぼ一致する視点の固定カメラの表示を変える(例えば、アイコン８０１の視点に近い固定カメラ８１１のアイコンの色を他のカメラのアイコンと異なる色にする)。この場合、図８（ａ）のようなＧＵＩを表示部２２２に全画面表示しても良いし、任意視点映像の一部に子画面として合成して表示してもよい。ＧＵＩを全画面表示した場合は、所定時間経過後に任意視点映像に切り替える。または図８（ｂ）のように、ユーザが視聴を所望する視点における任意視点映像（任意視点映像８２１）の表示中に、視聴中の任意視点映像の視点（アイコン８０１）にほぼ一致する視点のカメラ（固定カメラ８１１）の存在を通知するアイコン（アイコン８３１）を、任意視点映像の一部に合成して表示しても良い。例えば、アイコン８０３の視点との一致度がβ≦一致度＜αである固定カメラ８１３が存在する場合、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を示すＧＵＩ（アイコン８３３）を表示する。ユーザに指定された視点とカメラ映像の視点との一致度に応じて、一致度が閾値α以上の際に表示するＧＵＩと、一致度がβ≦一致度＜αの際に表示するＧＵＩとを区別可能に表示してもよい。例えば、図８（ａ）において、固定カメラ８１１、８１５のアイコンと、固定カメラ８１３とでアイコンの色を変えたり、図８（ｂ）において、アイコン８３１、８３５とアイコン８３３とで色や形状を変えたりしてもよい。また、任意視点映像の視点アイコン８０２の場合、視点の一致度が一致度＜βである固定カメラ（例えば固定カメラ８１２）しかない。この場合には、視点情報処理部２３３は、通知を行わない。または、視点の一致度の高いカメラ映像がない旨を通知してもよい。

また、図８（ｂ）に代えて図９のように表示することも可能である。図９の例では、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像を子画面で表示することにより、通知を行う。図９の任意視点映像９０１〜９０５は、図８（ｂ）の任意視点映像８２１〜８２５と同様に、図８（ａ）のアイコン８０１〜８０５の視点における映像の表示画面を示す。図９では、任意視点映像の視点がアイコン８０１、８０３、及び８０５の場合はそれぞれ任意視点映像の視点とカメラの視点との一致度の高い、図８（ａ）の固定カメラ８１１、８１３及び８１５の映像が子画面で表示される。デジタル放送受信装置１００が任意視点映像を生成する場合であって、任意視点映像生成用データに、図６のＳ６０５で閾値以上の一致度であると判定された固定カメラの映像が含まれている場合は、任意視点情報処理部２３２は、該固定カメラの映像を出力する。そして表示制御部２２０は、任意視点映像と、視点の一致度が閾値以上である固定カメラの映像とを合成して出力する。任意視点情報処理部２３２は、Ｓ６０５で閾値以上の一致度であると判定された固定カメラの映像を保持していない場合には、任意視点映像生成用データサーバ２５１から取得する。また通知方法として、視点の一致度の高い固定カメラ８１１と８１５の映像の子画面９１１と９１５の大きさを、やや一致度が高い固定カメラ８１３の映像の子画面９１３の大きさより大きく表示して、固定カメラ８１１と８１５の視点の一致度が固定カメラ８１３の視点の一致度より高いことをユーザに通知してもよい。

以上説明したように、本実施形態によれば、デジタル放送受信装置１００は、各固定カメラ２５２の視点情報を取得し（図４）、各固定カメラ２５２の視点情報と任意視点映像の視点情報との一致度を算出する（図５）。そして、デジタル放送受信装置１００は、算出した一致度の最大値が閾値以上であるか否かを判定し、閾値以上であれば通知を行う（図６）。これにより、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知することが可能となる。

＜変形例１＞
前述の通り、カメラ映像は放送映像でもよい。この場合、図５及び図６の処理が図１０に置き換わる。図１０において、図４、図５、又は図６と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。図１０のフローチャートの処理は、図４と同様にシステム制御部２２６が各部を制御することにより実行される。

Ｓ１００４で、視点情報処理部２３３は、番組情報処理部２１６から放送映像の視点情報を取得する。Ｓ１００６で、視点情報処理部２３３は、放送映像の視点情報を任意視点情報と比較し、一致度Ｂを算出して取得する。こうして、Ｓ６０５で一致度Ｂ≧閾値Ａであると判定されると、通知が行われる。

＜変形例２＞
視聴中の任意視点映像の視点に近い視点のカメラ映像が検出された場合、デジタル放送受信装置１００は、通知に応じたユーザからの指示に応えて、或いは自動的に、任意視点映像の代わりにカメラ映像を出力してもよい。

例えば、任意視点映像の視点が図８（ａ）のアイコン８０１であるものとする。この場合、任意視点映像の視点（アイコン８０１）と固定カメラ８１１の視点との視点の一致度が高い（閾値α以上）ため、図８（ｂ）の通知は、この視点（アイコン８０１）における任意視点映像の代わりに固定カメラ８１１のカメラ映像を出力（表示）させることができるということを示す。そして、この通知を見たユーザがリモコン２０１を用いてカメラ映像への映像切り替え指示を行ったものとする。この場合、システム制御部２２６の制御に従い、次の処理が行われる。固定カメラ情報処理部２３１は、複数の固定カメラ２５２の各一致度のうちの最大値を持つ視点に対応する映像データを、任意視点映像生成用データサーバ２５１から取得し、取得した映像データを表示制御部２２０へ出力する。システム制御部２２６は、任意視点映像データの代わりに、固定カメラ情報処理部２３１から入力された映像データを出力するように、表示制御部２２０を制御する。

カメラ映像が放送映像の場合は、固定カメラ２５２の映像データを取得する代わりに、システム制御部２２６は、放送映像データを取得するようにチューナ部２１０等を制御する。そして、システム制御部２２６は、放送映像データを出力するように表示制御部２２０を制御する。

このような制御は、自動的に行われてもよい。即ち、任意視点映像の視点と固定カメラの視点との視点の一致度が高い状態になった場合に、システム制御部２２６は自動的に、該任意視点映像の代わりに該固定カメラのカメラ映像を出力する制御を行ってもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…デジタル放送受信装置、１０４…インターネット、１０５…アンテナ、２５０…放送局

上記課題を解決するために、第１の本発明は、それぞれ異なる視点に対応した複数の第１画像データに基づいて生成される、ユーザに指定された任意の視点に対応した第２画像データを取得する取得手段と、前記取得手段で取得した前記第２画像データを表示部に出力する出力手段と、前記出力手段により前記第２画像データが前記表示部に出力中である場合に、前記複数の第１画像データの各画像に関連する複数の第１情報と、前記第２画像データの画像に関連する第２情報とに基づいて、前記表示部に出力中である前記第２画像データから、前記複数の第１画像データのうち所定の条件を満たす第１画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する制御手段と、を備えることを特徴とする画像処理装置を提供する。

Claims

視点が異なる複数の映像データに基づいて生成される、ユーザに指定された任意の視点における任意視点映像データを取得する映像データ取得手段と、
前記映像データ取得手段で取得した前記任意視点映像データを表示部に出力する出力手段と、
前記視点が異なる複数の映像データの映像に関する第１視点情報と、前記任意視点映像データの映像に関する第２視点情報との一致の度合いに応じて、前記ユーザに対する通知を行う通知手段と、
を備えることを特徴とする映像処理装置。
前記第１視点情報として、前記視点が異なる複数の映像データの各映像に関する視点情報を複数取得する視点情報取得手段と、
複数の前記第１視点情報それぞれについて前記第２視点情報との一致の度合いを判定する判定手段とを更に備え、
前記判定手段は、前記複数の第１視点情報それぞれと前記第２視点情報との一致の度合いのうちの最大値が閾値以上であるか否かを判定し、
前記通知手段は、前記最大値が前記閾値以上であると前記判定手段で判定された場合に、前記通知を行う
ことを特徴とする請求項１に記載の映像処理装置。
前記最大値が前記閾値以上であると前記判定手段で判定された場合に、前記視点が異なる複数の映像データのうち、前記一致の度合いが当該最大値である映像データを受信する受信手段と、
ユーザの指示に応じて、前記任意視点映像データの代わりに前記一致の度合いが当該最大値である映像データを前記表示部に出力するように前記出力手段を制御する制御手段と、を更に備える
ことを特徴とする請求項２に記載の映像処理装置。
前記視点情報取得手段は、前記第１視点情報として、放送信号に含まれる映像データの映像に関する視点情報を更に取得することを特徴とする請求項２又は３に記載の映像処理装置。
映像処理装置の制御方法であって、
前記映像処理装置の映像データ取得手段が、視点が異なる複数の映像データに基づいて生成される、ユーザに指定された任意の視点における任意視点映像データを取得する映像データ取得工程と、
前記映像処理装置の出力手段が、前記映像データ取得工程で前記映像データ取得手段が取得した前記任意視点映像データを表示部に出力する出力工程と、
前記映像処理装置の通知手段が、前記視点が異なる複数の映像データの映像に関する第１視点情報と、前記任意視点映像データの映像に関する第２視点情報との一致の度合いに応じて、前記ユーザに対する通知を行う通知工程と、
を備えることを特徴とする制御方法。