JP5990309B2 - Image processing apparatus and control method thereof - Google Patents
Image processing apparatus and control method thereof Download PDFInfo
- Publication number
- JP5990309B2 JP5990309B2 JP2015155389A JP2015155389A JP5990309B2 JP 5990309 B2 JP5990309 B2 JP 5990309B2 JP 2015155389 A JP2015155389 A JP 2015155389A JP 2015155389 A JP2015155389 A JP 2015155389A JP 5990309 B2 JP5990309 B2 JP 5990309B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information
- viewpoint
- video
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、ユーザが視聴を所望する視点に対応する任意視点映像を再生可能な映像処理装置、及びその制御方法に関する。 The present invention relates to a video processing apparatus capable of reproducing an arbitrary viewpoint video corresponding to a viewpoint that a user desires to view and a control method thereof.
デジタル放送が開始され、デジタル放送を受信可能なテレビ（デジタルテレビ）が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究・開発が多数行われている。その中のひとつとして、カメラ視点をユーザ（視聴者）が自由に指示できる「任意視点映像」が注目されている。ユーザが指示したカメラ視点に対応する任意視点映像は、複数の視点で撮影された映像を用いて生成される。 Digital broadcasting has started, and televisions that can receive digital broadcasting (digital televisions) have become widespread. Currently, in the era of full-fledged digital broadcasting, various next-generation broadcasting systems are being researched and developed. As one of them, “arbitrary viewpoint video” that allows a user (viewer) to freely specify a camera viewpoint has attracted attention. The arbitrary viewpoint video corresponding to the camera viewpoint designated by the user is generated using videos taken from a plurality of viewpoints.
「任意視点映像」と「カメラで実際に撮像された映像（カメラ映像）」との表示の切り替えに関連する技術として、特許文献１が知られている。特許文献１には、放送映像と放送映像に対する視点情報とを含む放送ストリームを受信する受信装置が開示されている。この受信装置は、任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送ストリームから抽出した放送映像の視点情報を利用する。 Patent Document 1 is known as a technique related to switching between “arbitrary viewpoint video” and “video actually captured by a camera (camera video)”. Patent Document 1 discloses a receiving device that receives a broadcast stream including broadcast video and viewpoint information for the broadcast video. This receiving device uses the viewpoint information of the broadcast video extracted from the broadcast stream as the initial value of the viewpoint of the arbitrary viewpoint video when making a distribution request for the arbitrary viewpoint video.
任意視点映像は、視点の異なる複数のカメラから得られる映像を合成することにより生成されるため、一般的に任意視点映像の生成のために用いたカメラからの映像ほどは画質が高くない。従って、カメラからの映像がユーザの要求する視点からの映像だった場合、画質を考慮すると、ユーザはカメラからの映像の方が任意視点映像よりも高い満足度を得られると考えられる。しかしながら、任意視点映像を視聴中のユーザは、自分の要求する視点と近い視点からのカメラからの映像が存在するかどうかを知ることができない。特許文献１に記載の技術は、放送映像（カメラからの映像）から任意視点映像への切り替えを対象とするが、任意視点映像の視聴中に、ユーザの要求する視点とカメラからの映像の視点との関係について認識することができなかった。 Since the arbitrary viewpoint video is generated by synthesizing videos obtained from a plurality of cameras with different viewpoints, the image quality is generally not as high as the video from the camera used for generating the arbitrary viewpoint video. Therefore, when the video from the camera is from the viewpoint requested by the user, it is considered that the user can obtain a higher degree of satisfaction from the video from the camera than from the arbitrary viewpoint video in consideration of the image quality. However, a user who is viewing an arbitrary viewpoint video cannot know whether there is an image from a camera from a viewpoint close to the viewpoint requested by the user. The technology described in Patent Document 1 is intended for switching from a broadcast video (video from a camera) to an arbitrary viewpoint video. While viewing an arbitrary viewpoint video, the viewpoint requested by the user and the viewpoint of the video from the camera are described. I was unable to recognize the relationship.
本発明はこのような状況に鑑みてなされたものであり、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for notifying a user of the presence of a camera image with a viewpoint close to the viewpoint of an arbitrary viewpoint image being viewed.
上記課題を解決するために、第１の本発明は、それぞれ異なる視点に対応した複数の第１画像データに基づいて生成される、ユーザに指定された任意の視点に対応した第２画像データを取得する取得手段と、前記取得手段で取得した前記第２画像データを表示部に出力する出力手段と、前記出力手段により前記第２画像データが前記表示部に出力中である場合に、前記複数の第１画像データの各画像に関連する複数の第１情報と、前記第２画像データの画像に関連する第２情報とに基づいて、前記表示部に出力中である前記第２画像データから、前記複数の第１画像データのうち所定の条件を満たす第１画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する制御手段と、を備えることを特徴とする画像処理装置を提供する。 In order to solve the above problems, the first aspect of the present invention provides second image data corresponding to an arbitrary viewpoint designated by a user, which is generated based on a plurality of first image data corresponding to different viewpoints. An acquisition unit for acquiring, an output unit for outputting the second image data acquired by the acquisition unit to a display unit, and the second image data being output to the display unit by the output unit; From the second image data being output to the display unit based on a plurality of first information related to each image of the first image data and second information related to the image of the second image data And control means for controlling the output means to switch the image data to be output to the display unit to first image data satisfying a predetermined condition among the plurality of first image data. image To provide a management apparatus.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.
以上の構成により、本発明によれば、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知することが可能となる。 With the above configuration, according to the present invention, it is possible to notify the user of the presence of a camera video with a viewpoint close to the viewpoint of the arbitrary viewpoint video being viewed.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.
［第１の実施形態］
本発明の映像処理装置をデジタル放送受信装置に適用した実施形態について説明する。本実施形態のデジタル放送受信装置は、デジタル放送波（放送信号）に含まれる放送映像を受信可能であり、また、複数のカメラ（撮像装置）それぞれが異なる視点から被撮像空間を撮像することにより得られる複数の映像データをインターネット経由で取得可能である。本実施形態において、「任意視点映像」は、このような複数の映像に基づいて生成される、ユーザに指定された任意の視点から見た前記被撮像空間の仮想的な映像を意味する。本実施形態において任意視点映像は、複数のカメラから得られる複数の映像データを用いて生成されることを想定するが、任意視点映像を生成するための複数の映像データは、複数の視点からのアニメーション映像データやＣＧ映像データなどでもよい。
[First Embodiment]
An embodiment in which the video processing apparatus of the present invention is applied to a digital broadcast receiving apparatus will be described. The digital broadcast receiving apparatus of the present embodiment can receive broadcast video included in a digital broadcast wave (broadcast signal), and each of a plurality of cameras (imaging apparatuses) captures an imaged space from different viewpoints. A plurality of obtained video data can be acquired via the Internet. In the present embodiment, “arbitrary viewpoint video” means a virtual image of the imaged space viewed from an arbitrary viewpoint designated by the user, which is generated based on such a plurality of videos. In the present embodiment, it is assumed that an arbitrary viewpoint video is generated using a plurality of video data obtained from a plurality of cameras. However, a plurality of video data for generating an arbitrary viewpoint video is generated from a plurality of viewpoints. Animation video data or CG video data may be used.
図１は、第１の実施形態に係るデジタル放送受信装置１００を含むシステムの構成例を示す図である。デジタル放送受信装置１００は、イーサネット（登録商標）１０１を介して、ルータ１０３やその他のネットワークデバイス１０２と通信可能である。デジタル放送受信装置１００は、ルータ１０３を介してインターネット１０４に接続している。また、デジタル放送受信装置１００は、アンテナ１０５からデジタル放送波を受信し、デジタル放送を再生することができる。
FIG. 1 is a diagram illustrating a configuration example of a system including a digital
図２は、デジタル放送受信装置１００及び放送局２５０の詳細な構成を示すブロック図である。デジタル放送受信装置１００は、放送局２５０が放送する放送映像を受信することができる。最初に、放送映像の受信及び再生等に関係するブロックについて説明する。
FIG. 2 is a block diagram showing detailed configurations of the digital
図２において、アンテナ１０５により受信された信号は、チューナ部２１０に入力される。チューナ部２１０は、トランスポートストリームデータ（ＴＳ）を生成する。チューナ部２１０は、デスクランブラ２１１を経て、複数チャンネル分の映像、音声データ、及び番組情報データ等が多重化されているＴＳをデータ分離部２１２へ出力する。データ分離部２１２は、リモコン２０１により選択された番組の音声データ、映像データ、及び番組情報データをＴＳの中から取り出し、それぞれを音声デコード部２１３、映像デコード部２１４、番組情報デコード部２１５へ入力する。
In FIG. 2, a signal received by the
映像デコード部２１４は、データ分離部２１２から入力された映像データに対して、ＭＰＥＧ等の復号化処理を施し、復号した映像データを映像処理部２１７に出力する。音声デコード部２１３は、データ分離部２１２から入力された音声データに対して復号化処理を施し、音声制御部２１９へ出力する。音声制御部２１９は、音声データに対して、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換処理等を施し、音声出力部２２１に出力する。
The
番組情報デコード部２１５は、データ分離部２１２から入力された番組情報データから所望の情報を取得し、番組情報処理部２１６、映像処理部２１７、及びＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）処理部２１８へ出力する。番組情報データには、ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）データ、及びＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）データが含まれている。
The program
映像処理部２１７は、映像デコード部２１４から入力された映像データと、番組情報デコード部２１５から入力された番組情報とに基づいて映像調整処理を施し、調整した映像データを表示制御部２２０へ出力する。表示制御部２２０は、映像処理部２１７及びＧＵＩ処理部２１８から入力された映像データや画面データをリモコン２０１からの操作に応じて切り替えたり、合成したりするなどしたりして、表示部２２２へ出力する。選局処理部２２３は、リモコン２０１により選局されたチャンネルの音声データ、映像データ及び番組情報データを、チューナ部２１０を介して受信できるように処理を行う。時間処理部２２４は、時間のカウントを行う。またメモリ管理部２２５は、デジタル放送受信装置１００内に存在する不図示のメモリの管理を行う。
The
システム制御部２２６はＣＰＵを有し、不図示のメモリに記憶されたプログラムを実行することにより、各構成要素を統括的にコントロールする。システム制御部２２６はまた、リモコン２０１からの指示を受光部２０２経由で受信する。
The
次に、図２に加えて図３（ａ）を参照して、任意視点映像生成用データの取得や任意視点映像の再生に関連するブロックについて説明する。図３（ａ）は、第１の実施形態に係る任意視点映像再生処理を示すシーケンス図である。図３（ａ）では、デジタル放送受信装置１００が任意視点映像を生成する。図３（ａ）の処理に先立ち、デジタル放送受信装置１００は、放送局２５０の任意視点映像生成用データサーバ２５１とインターネット１０４経由で接続する。なお、任意視点映像生成用データを生成する任意視点映像生成用データサーバ２５１は、放送局２５０の外にあってもよい。任意視点映像は、視点の異なる複数のカメラ映像を用いて生成する。ここで、カメラ映像とは、任意視点映像が表す被撮像空間の映像であって、カメラ（撮像装置）で実際に撮像された映像を意味する。カメラの例としては、例えば、固定カメラ２５２や放送カメラ２４０が挙げられる。ここで、固定カメラ２５２とは、撮影位置および撮影方向が所定期間中変化しないカメラであり、放送カメラ２４０とは、ハンディカメラ等のように所定期間内に撮影位置または撮影方向が変化するカメラを想定する。任意視点映像は、固定カメラ２５２及び放送カメラ２４０の映像を用いて生成することが可能である。放送カメラ２４０は複数台あってもよい。デジタル放送送信システム２４１が送信する放送番組の映像は、放送カメラ２４０の映像から作成される。放送カメラ２４０が複数台ある場合には、放送番組の映像は、複数台の放送カメラからの映像を適宜切り替えて作成できる。カメラは、上記のものに限定される訳ではなく、生成する任意視点映像と同じ被撮像空間の映像を表す、デジタル放送受信装置１００が取得可能な（受信可能な）映像データを提供するものであれば、どのようなものでも構わない。本実施形態においては、複数の固定カメラ２５２を用いて任意視点映像を生成する場合について説明する。
Next, with reference to FIG. 3A in addition to FIG. 2, blocks related to acquisition of arbitrary viewpoint video generation data and playback of arbitrary viewpoint video will be described. FIG. 3A is a sequence diagram showing an arbitrary viewpoint video reproduction process according to the first embodiment. In FIG. 3A, the digital
Ｓ３００で、任意視点情報処理部２３２は、リモコン２０１を介して、ユーザからの任意視点映像の視聴要求を受信する。このとき任意視点情報処理部２３２は、任意視点映像の視聴要求として、視聴を所望するチャンネル名または番組名と共に、ユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を受信する。ユーザが視聴を所望する映像の視点情報を入力するにあたり、デジタル放送受信装置１００は、放送局２５０からインターネット経由または放送波経由で、視聴を所望する番組における被撮像空間において設定された座標空間に関する情報を受信する。例えば、ユーザが入力した視聴を所望するチャンネル名または番組名に基づいてデジタル放送受信装置１００が受信する該番組の映像に、該番組の映像の被撮像空間において任意に設定された座標空間に関する情報が関連付けられているものを受信する。または、ユーザが視聴を所望するチャンネル名または番組名に基づいて、デジタル放送受信装置１００が任意視点映像生成用データサーバ２５１に、該番組の映像の被撮像空間において任意に設定された座標空間に関する情報を送信するように要求してもよい。このように受信した座標空間に関する情報に基づいて、ＧＵＩ処理部２１８は、被撮像空間を示すＧＵＩを作成し、表示制御部２２０は、生成されたＧＵＩを表示部２２２に表示する。ユーザは、被撮像空間に設定された座標空間における視点を、リモコンを介してＧＵＩを利用して指定することにより、視聴を所望する映像の視点情報を入力する。本発明において映像の視点情報とは、少なくとも被撮像空間における視点位置（座標位置）及び視線方向（パン・チルト角）に関する情報を含む。更に、映像の画角情報（映像に映し出される有効映像領域の大きさ）やズーム率の情報を含んでいてもよい。任意視点情報処理部２３２は、ユーザが指定した視点情報を内部に記憶する。ユーザが視聴を所望する映像の視点情報の入力方法としては、上記に限られず、例えば被撮像空間に設定された座標空間における視点を数値入力するものでもよく、任意視点映像生成用データサーバ２５１から送信される、予め決められた複数の視点の中から選択するものでもよい。また、システム制御部２２６は、ユーザからの視点の変更要求に応じて、被撮像空間を示すＧＵＩを表示部２２２に表示させるよう、表示制御部２２０を制御する。Ｓ３０１で、任意視点情報処理部２３２は、ユーザが視聴を所望する視点における任意視点映像を生成するための任意視点映像作成用データを取得するために、任意視点映像作成用データ取得要求を作成する。Ｓ３０２で、任意視点情報処理部２３２は、作成された任意視点映像作成用データ取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。任意視点映像作成用データ取得要求の送信に関して具体的には、任意視点映像生成用データサーバ２５１側で、任意視点映像を生成するために必要な映像データを判断できるように、ユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を送信する。
In step S <b> 300, the arbitrary viewpoint
Ｓ３０３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像作成用データ取得要求を解析する。Ｓ３０４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データを取得する。複数の固定カメラ２５２は、それぞれが異なる視点から被撮像空間（例えば、サッカー競技場）を撮像するように（例えば、被撮像空間を取り囲むように）設置されている。任意視点映像生成用データサーバ２５１は、取得した映像データに基づき、任意視点映像作成用データを作成する。Ｓ３０５で、任意視点映像生成用データサーバ２５１は、作成した任意視点映像作成用データをデジタル放送受信装置１００へ送信する。
In step S <b> 303, the arbitrary viewpoint video
任意視点映像作成用データとは具体的には、複数の固定カメラ２５２から取得した複数の映像データの中で、任意視点映像を生成するために必要な映像データ及び各映像データの撮影位置に関する情報である。任意視点映像作成用データの作成に際して、複数の固定カメラ２５２から取得した映像データを、任意視点映像データを作成しやすいように加工してもよい。任意視点映像作成用データは上記に限られず、例えば複数の固定カメラ２５２から取得した全ての映像データ及び各映像データの撮影位置に関する情報を任意視点映像作成用データとしてもよい。
Specifically, the arbitrary viewpoint video creation data is video data necessary for generating an arbitrary viewpoint video among a plurality of video data acquired from a plurality of fixed
Ｓ３０６で、受信データ解析部２３０は、通信制御部２２７を介して受信した任意視点映像生成用データを解析し、任意視点映像生成用データを解析結果と共に任意視点情報処理部２３２に出力する。Ｓ３０７で、任意視点情報処理部２３２（任意視点映像データ取得手段）は、入力された任意視点映像作成用データ及び解析結果に基づいて任意視点映像を生成する。Ｓ３０８で、任意視点情報処理部２３２は、任意視点映像を表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像と（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。
In step S <b> 306, the received
デジタル放送受信装置１００は、ユーザによる視点情報の入力に際し、該番組の映像の被撮像空間に関する情報の受信と共に予め、該被撮像空間を撮影している複数の固定カメラ２５２全ての映像データ及び各映像データの撮影位置に関する情報を受信していてもよい。その場合は図３（ａ）のＳ３０２からＳ３０５のように、任意視点映像作成用データの要求及び送受信を行わなくてもよい。デジタル放送受信装置１００が、複数の固定カメラ２５２の撮影位置に関する情報のみを予め受信していてもよい。その場合は、任意視点映像を生成するために、複数の固定カメラ２５２の撮影位置に関する情報から、必要な固定カメラ２５２をデジタル放送受信装置１００側で決定し、Ｓ３０２において、該固定カメラ２５２の映像データの要求を送信してもよい。図３（ａ）の処理ではデジタル放送受信装置１００が任意視点映像を生成したが、他の場所で生成が行われてもよい。一例として、図３（ｂ）は、任意視点映像生成用データサーバが任意視点映像を生成する場合を示す。図３（ｂ）において、図３（ａ）と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。
When receiving viewpoint information by the user, the digital
Ｓ３１１で、任意視点情報処理部２３２は、ユーザが視聴を所望する視点における任意視点映像を取得する要求を作成する。Ｓ３１２で、任意視点情報処理部２３２は、作成された任意視点映像取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。その際送信されるデータとしては、少なくともユーザがリモコンを介して入力した、視聴を所望する映像の視点情報を含む。
In step S <b> 311, the arbitrary viewpoint
Ｓ３１３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像データ取得要求を解析する。Ｓ３１４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データ及び映像データの撮影位置に関する情報を取得し、取得した映像データに基づき、任意視点映像データを生成する。Ｓ３１５で、任意視点映像生成用データサーバ２５１は、生成した任意視点映像データをデジタル放送受信装置１００へ送信する。Ｓ３１６で、任意視点情報処理部２３２は、任意視点映像データを表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像データと（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。
In step S <b> 313, the arbitrary viewpoint video
以上の図３（ａ）又は図３（ｂ）の処理の繰り返しにより、デジタル放送受信装置１００は、ユーザが視聴を所望する視点における任意視点映像を再生することができる。図３（ａ）又は図３（ｂ）の処理は、少なくとも、ユーザが視聴を所望する映像の視点情報を、リモコンを介して任意視点情報処理部２３２が受信する度に行われる。例えば、Ｓ３００において、任意視点映像を視聴中に、ユーザが視聴を所望する視点を変更する要求がリモコンを介して入力される度に行われる。これにより、ユーザが視聴を所望する視点を変更させた場合にも、変更後の視点における任意視点映像を再生することができる。
By repeating the process of FIG. 3A or FIG. 3B, the digital
次に、視聴中の（即ち、デジタル放送受信装置１００が出力中の）任意視点映像の視点に近い視点のカメラ映像を検出する処理について説明する。 Next, a process for detecting a camera image of a viewpoint close to the viewpoint of an arbitrary viewpoint image being viewed (that is, being output by the digital broadcast receiving apparatus 100) will be described.
最初に、図４乃至図９を参照して、複数の固定カメラ２５２により得られた複数の映像データの各映像の中から任意視点映像の視点に近い視点を持つ映像を検出する場合について説明する。
First, with reference to FIGS. 4 to 9, a case where a video having a viewpoint close to the viewpoint of an arbitrary viewpoint video is detected from each video of a plurality of video data obtained by a plurality of fixed
図４は、複数の固定カメラ２５２の各映像の視点（被撮像空間に対する視点）を表す視点情報（撮像視点情報）を取得する処理を示すフローチャートである。本フローチャートの処理は、システム制御部２２６が各部を制御することにより、所定の間隔（例えば、１秒）毎に定期的に行われる。
FIG. 4 is a flowchart showing a process for acquiring viewpoint information (imaging viewpoint information) representing viewpoints (viewpoints with respect to the imaged space) of the videos of the plurality of fixed
Ｓ４０１で、固定カメラ情報処理部２３１は、システム制御部２２６から現在の映像の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。表示制御部２２０で表示部２２２に出力している映像が、放送波から受信したデジタル放送映像である場合は、映像の出力状態はデジタル放送映像出力中となる。任意視点情報処理部２３２で生成された、または、通信制御部２２７を介して受信する任意視点映像生成用データサーバ２５１で生成された任意視点映像である場合は、映像の出力状態は任意視点映像出力中となる。デジタル放送受信装置と接続された不図示の外部機器からの映像である場合は、映像の出力状態は外部入力映像出力中となる。Ｓ４０２で、固定カメラ情報処理部２３１は、現在の出力状態が「任意視点映像出力中」であるか否かを判定する。「任意視点映像出力中」の場合、処理はＳ４０３に進み、そうでない場合、処理は終了する。
In S401, the fixed camera
Ｓ４０３で、固定カメラ情報処理部２３１は、デジタル放送受信装置１００が任意視点映像生成用データサーバ２５１から受信可能なカメラ映像を生成する固定カメラ２５２の数を取得する。具体的には、固定カメラ情報処理部２３１は、要求データ処理部２３４及び通信制御部２２７を介して、任意視点映像生成用データサーバ２５１に対して固定カメラ２５２の数を問い合わせる。その後、Ｓ４０４乃至Ｓ４０６の処理が、固定カメラ２５２の数と同じ回数、繰り返される。
In step S <b> 403, the fixed camera
Ｓ４０４で、固定カメラ情報処理部２３１（撮像視点情報取得手段）は、任意視点映像生成用データサーバ２５１から固定カメラ２５２それぞれの視点情報（第１視点情報）を取得する（第１視点情報が複数取得される）。Ｓ４０５で、固定カメラ情報処理部２３１は、Ｓ４０５において以前に取得した保存済みの視点情報がある場合には、Ｓ４０４で取得した視点情報と比較し、一致するか否かを判定する。一致しない場合、Ｓ４０６で、固定カメラ情報処理部２３１は、内部に保存済みの視点情報を、今回取得した視点情報に更新する。
In S404, the fixed camera information processing unit 231 (imaging viewpoint information acquisition unit) acquires the viewpoint information (first viewpoint information) of each of the fixed
以上の処理により、固定カメラ情報処理部２３１には、固定カメラ２５２それぞれの最新の視点情報が保存される。
Through the above processing, the latest camera viewpoint information of each fixed
図４では、固定カメラ情報処理部２３１は、ステップＳ４０２において「任意視点映像出力中」と判定された場合に、固定カメラ２５２の視点情報を任意視点映像生成用データサーバ２５１から取得した。しかしながら、固定カメラ情報処理部２３１は、任意視点情報処理部２３２が任意視点映像を生成する際に、任意視点映像生成用データサーバ２５１から任意視点映像作成用データと共に固定カメラ２５２の視点情報を取得している場合は、特別に図４の処理を行わなくてもよい。つまり、図３（ａ）で説明したように任意視点映像作成用データとして固定カメラ２５２の映像データと共に（固定カメラ２５２の視点情報として利用可能な）各映像データの撮影位置に関する情報が提供される場合、固定カメラ情報処理部２３１は、固定カメラ２５２の映像データと共に送られてくる視点情報を用いることができる。
In FIG. 4, the fixed camera
次に、図５を参照して、任意視点映像の視点とカメラ映像の視点との一致度（一致の度合い）を取得する処理について説明する。本実施形態において一致度は、任意視点映像の視点とカメラ映像の視点とが類似しているほど高い値を示す。図５の処理は、図３（ａ）又は図３（ｂ）のＳ３００において、ユーザが視聴を所望する映像の視点情報を、リモコンを介して任意視点情報処理部２３２が受信した場合、及び、図４のＳ４０６において固定カメラ２５２の視点情報が更新された場合に実行される。図５において、図４と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。図５のフローチャートの処理は、図４と同様にシステム制御部２２６が各部を制御することにより実行される。
Next, with reference to FIG. 5, a process for acquiring the degree of coincidence (degree of coincidence) between the viewpoint of the arbitrary viewpoint video and the viewpoint of the camera video will be described. In the present embodiment, the degree of coincidence indicates a higher value as the viewpoint of the arbitrary viewpoint video and the viewpoint of the camera video are more similar. The processing of FIG. 5 is performed when the arbitrary viewpoint
Ｓ５０３で、視点情報処理部２３３（任意視点情報取得手段）は、任意視点情報処理部２３２から、任意視点映像の視点（被撮像空間に対する視点）を表す視点情報（任意視点情報）（第２視点情報）を取得する。Ｓ５０４で、視点情報処理部２３３は、固定カメラ情報処理部２３１から、（図４のＳ４０６でその映像データの視点情報を保存済みの）固定カメラ２５２の数を取得する。その後、Ｓ５０５乃至Ｓ５０７の処理が、固定カメラ２５２の数と同じ回数、繰り返される。
In step S <b> 503, the viewpoint information processing unit 233 (arbitrary viewpoint information acquisition unit) receives viewpoint information (arbitrary viewpoint information) (second viewpoint) representing the viewpoint of the arbitrary viewpoint video (viewpoint with respect to the imaging space) from the arbitrary viewpoint
Ｓ５０５で、視点情報処理部２３３は、固定カメラ情報処理部２３１から各固定カメラ２５２の視点情報を取得する。Ｓ５０６で、視点情報処理部２３３は、各固定カメラ２５２の各視点情報の各視点と任意視点情報の視点とを比較し、一致度を算出する。Ｓ５０７で、視点情報処理部２３３は、Ｓ５０６で算出した各固定カメラ２５２についての一致度を保存する。或いは、視点情報処理部２３３は、全ての固定カメラ２５２の一致度を保存するのではなく、任意視点映像の視点と各カメラ映像の視点との一致度の中で最大値の一致度と、これに対応する固定カメラ２５２を示す情報とを保存してもよい。
In step S <b> 505, the viewpoint
なお、視点の一致度は、例えば、任意視点情報及びカメラ映像の視点情報（カメラ位置、パン・チルト角、ズーム情報、画角情報など）の比較や、任意視点映像及びカメラ映像の画像の比較などにより算出可能であるが、これらに限定される訳ではない。また、カメラ映像の視点情報として、固定カメラ２５２の視点情報を用いる構成で説明したが、放送カメラ２４０の視点情報を任意視点映像生成用データサーバ２５１から取得して、カメラ映像の視点情報として放送カメラ２４０の視点情報を含めてもよい。
Note that the degree of coincidence of viewpoints is, for example, a comparison of arbitrary viewpoint information and viewpoint information of camera video (camera position, pan / tilt angle, zoom information, angle of view information, etc.), or comparison of arbitrary viewpoint video and camera video images. However, the calculation is not limited to these. Further, although the configuration using the viewpoint information of the fixed
次に、図６を参照して、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知する処理について説明する。本フローチャートの処理は、例えば、図５の処理に続いて実行される。図６のフローチャートの処理は、図４と同様にシステム制御部２２６が各部を制御することにより実行される。図６において、図４と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。但し、Ｓ４０２で「ＮＯ」と判定された場合、処理はＳ６１０へ進む。
Next, a process for notifying the user of the presence of a camera image with a viewpoint close to the viewpoint of the arbitrary viewpoint image being viewed will be described with reference to FIG. The process of this flowchart is performed following the process of FIG. 5, for example. The processing of the flowchart of FIG. 6 is executed by the
Ｓ６０３で、視点情報処理部２３３は、視点の一致度の閾値Ａを（例えば不図示のメモリから）取得する。Ｓ６０４で、視点情報処理部２３３は、図５のＳ５０７で保存した各固定カメラ２５２の視点の一致度のうちの最大値Ｂを取得する。Ｓ６０５で、視点情報処理部２３３は、視点の一致度の最大値Ｂ≧閾値Ａであるか否か、即ち、最大値が閾値以上であるか否かを判定する。最大値Ｂ≧閾値Ａであれば処理はＳ６０６に進み、そうでなければ処理はＳ６０８に進む。
In step S <b> 603, the viewpoint
Ｓ６０６で、視点情報処理部２３３は、Ｓ６０５で閾値以上の一致度であると判定された固定カメラ２５２の映像の存在を、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在としてユーザに通知中であるか否かを判定する。任意視点映像の視点に近い視点のカメラ映像の存在を通知していない、またはＳ６０５で閾値以上の一致度であると判定された固定カメラと異なる固定カメラについて通知中であれば処理はＳ６０７に進み、通知中であれば処理はＳ４０２に戻る。Ｓ６０７で、視点情報処理部２３３は、Ｓ６０５で閾値以上と判定された一致度を有する固定カメラの映像の存在をユーザに通知する処理を行う（詳細は図８及び図９を参照して後述）。
In step S <b> 606, the viewpoint
Ｓ６０８では、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知中であるか否かを判定する。通知中であれば処理はＳ６０９に進み、通知中でなければ処理はＳ４０２に戻る。Ｓ６０９で、視点情報処理部２３３は、通知停止処理を行う。
In step S <b> 608, the viewpoint
Ｓ６１０では、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知中であるか否かを判定する。通知中であれば処理はＳ６１１に進み、通知中でなければ本フローチャートの処理は終了する。Ｓ６１１で、視点情報処理部２３３は、通知停止処理を行う。
In step S610, the viewpoint
以上の処理により、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像を検出し、その存在をユーザに通知する。また、通知と非通知との切り替えが行われる。
Through the above processing, the viewpoint
ところで、Ｓ６０３及びＳ６０５では１つの閾値のみが使用されたが、複数の閾値（例えば、α及びβ）が使用されてもよい。図７は、一致度の閾値として複数の閾値が使用される場合の概念図である。横軸は時間、縦軸は各時間においてＳ６０４で取得した一致度の最大値Ｂである。 By the way, although only one threshold value is used in S603 and S605, a plurality of threshold values (for example, α and β) may be used. FIG. 7 is a conceptual diagram when a plurality of threshold values are used as the matching degree threshold values. The horizontal axis represents time, and the vertical axis represents the maximum coincidence value B acquired in S604 at each time.
ユーザが任意視点映像の視聴を開始した時点（時刻ｔ１）では、一致度が閾値β未満である。従って、視聴中の任意視点映像の視点に近い視点のカメラ映像は存在せず、通知は行われない（図６のＳ６０５で「ＮＯ」と判定される）。その後、ユーザの指示に従って任意視点映像の視点が移動し、時刻ｔ２において、一致度が閾値βに到達する。そのため、図６のＳ６０５で「ＹＥＳ」と判定され、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を通知する。その後、任意視点映像の視点が更に移動し、時刻ｔ３において、一致度が閾値α（＞β）に到達する。この場合も、図６のＳ６０５で「ＹＥＳ」と判定されるが、通知の形態が異なる。即ち、視点情報処理部２３３は、視聴中の任意視点映像の視点にほぼ一致する視点のカメラ映像の存在を通知する。
At the time when the user starts viewing the arbitrary viewpoint video (time t1), the degree of coincidence is less than the threshold value β. Accordingly, there is no camera image with a viewpoint close to the viewpoint of the arbitrary viewpoint image being viewed, and no notification is made (determined as “NO” in S605 of FIG. 6). Thereafter, the viewpoint of the arbitrary viewpoint video moves according to the user's instruction, and the coincidence reaches the threshold value β at time t2. Therefore, it is determined as “YES” in S605 of FIG. 6, and the viewpoint
なお、閾値（Ａ、α、β）は、デジタル放送受信装置１００が変更できないデータとして記憶していてもよいし、ユーザが変更可能なデータとして記憶していてもよい。
Note that the threshold values (A, α, β) may be stored as data that cannot be changed by the digital
次に、通知処理の詳細について説明する。視点情報処理部２３３は、ＧＵＩ処理部２１８に通知表示ＧＵＩの生成を指示する。通知表示ＧＵＩは、表示制御部２２０へ入力される。表示制御部２２０は、映像処理部２１７から入力される映像に通知表示ＧＵＩを重畳して表示部２２２へ出力する。
Next, details of the notification process will be described. The viewpoint
図８及び図９は、通知表示ＧＵＩの具体例を示す図である。図８において、視点情報処理部２３３は、図６のＳ６０５における視点の一致度の判定をもとにＧＵＩの表示により通知を行う。図８（ａ）において、アイコン８０１〜８０５は、ユーザにより指定された任意視点（位置及び方向）を示す。また、被撮像空間における固定カメラの視点を固定カメラ８１１〜８１５のようにアイコンで表わす。現在表示中の任意視点映像に対応する視点のアイコンのみが表示される。図８（ｂ）において、任意視点映像８２１〜８２５はそれぞれアイコン８０１〜８０５の視点における映像の表示画面を示す。なお、本実施形態においては、アイコン８０１〜８０５の視点が１つずつ順次指定される場合について説明するが、視点が複数指定されてもよい。その場合には、画面上に複数の映像データを表示すればよい。図８（ａ）において、任意視点映像の視点がアイコン８０１の場合、アイコン８０１の視点と固定カメラ８１１の視点との視点の一致度が高い（閾値α以上）。そこで、視点情報処理部２３３は、視聴中の任意視点映像８２１と共に、該任意視点映像の視点にほぼ一致する視点のカメラ映像の存在を示すＧＵＩを表示する。この際に表示するＧＵＩは、視聴中の任意視点映像の視点にほぼ一致する視点のカメラの位置を表示するものでも、単に視聴中の任意視点映像の視点にほぼ一致する視点のカメラ映像が存在するかしないか、を表示するものでもよい。具体的には、図８（ａ）のように被撮像空間における、固定カメラの視点情報及び任意視点映像の視点情報をレイアウト表示して、視聴中の任意視点映像の視点にほぼ一致する視点の固定カメラの表示を変える(例えば、アイコン８０１の視点に近い固定カメラ８１１のアイコンの色を他のカメラのアイコンと異なる色にする)。この場合、図８（ａ）のようなＧＵＩを表示部２２２に全画面表示しても良いし、任意視点映像の一部に子画面として合成して表示してもよい。ＧＵＩを全画面表示した場合は、所定時間経過後に任意視点映像に切り替える。または図８（ｂ）のように、ユーザが視聴を所望する視点における任意視点映像（任意視点映像８２１）の表示中に、視聴中の任意視点映像の視点（アイコン８０１）にほぼ一致する視点のカメラ（固定カメラ８１１）の存在を通知するアイコン（アイコン８３１）を、任意視点映像の一部に合成して表示しても良い。例えば、アイコン８０３の視点との一致度がβ≦一致度＜αである固定カメラ８１３が存在する場合、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在を示すＧＵＩ（アイコン８３３）を表示する。ユーザに指定された視点とカメラ映像の視点との一致度に応じて、一致度が閾値α以上の際に表示するＧＵＩと、一致度がβ≦一致度＜αの際に表示するＧＵＩとを区別可能に表示してもよい。例えば、図８（ａ）において、固定カメラ８１１、８１５のアイコンと、固定カメラ８１３とでアイコンの色を変えたり、図８（ｂ）において、アイコン８３１、８３５とアイコン８３３とで色や形状を変えたりしてもよい。また、任意視点映像の視点アイコン８０２の場合、視点の一致度が一致度＜βである固定カメラ（例えば固定カメラ８１２）しかない。この場合には、視点情報処理部２３３は、通知を行わない。または、視点の一致度の高いカメラ映像がない旨を通知してもよい。
8 and 9 are diagrams illustrating specific examples of the notification display GUI. In FIG. 8, the viewpoint
また、図８（ｂ）に代えて図９のように表示することも可能である。図９の例では、視点情報処理部２３３は、視聴中の任意視点映像の視点に近い視点のカメラ映像を子画面で表示することにより、通知を行う。図９の任意視点映像９０１〜９０５は、図８（ｂ）の任意視点映像８２１〜８２５と同様に、図８（ａ）のアイコン８０１〜８０５の視点における映像の表示画面を示す。図９では、任意視点映像の視点がアイコン８０１、８０３、及び８０５の場合はそれぞれ任意視点映像の視点とカメラの視点との一致度の高い、図８（ａ）の固定カメラ８１１、８１３及び８１５の映像が子画面で表示される。デジタル放送受信装置１００が任意視点映像を生成する場合であって、任意視点映像生成用データに、図６のＳ６０５で閾値以上の一致度であると判定された固定カメラの映像が含まれている場合は、任意視点情報処理部２３２は、該固定カメラの映像を出力する。そして表示制御部２２０は、任意視点映像と、視点の一致度が閾値以上である固定カメラの映像とを合成して出力する。任意視点情報処理部２３２は、Ｓ６０５で閾値以上の一致度であると判定された固定カメラの映像を保持していない場合には、任意視点映像生成用データサーバ２５１から取得する。また通知方法として、視点の一致度の高い固定カメラ８１１と８１５の映像の子画面９１１と９１５の大きさを、やや一致度が高い固定カメラ８１３の映像の子画面９１３の大きさより大きく表示して、固定カメラ８１１と８１５の視点の一致度が固定カメラ８１３の視点の一致度より高いことをユーザに通知してもよい。
Further, it is also possible to display as shown in FIG. 9 instead of FIG. In the example of FIG. 9, the viewpoint
以上説明したように、本実施形態によれば、デジタル放送受信装置１００は、各固定カメラ２５２の視点情報を取得し（図４）、各固定カメラ２５２の視点情報と任意視点映像の視点情報との一致度を算出する（図５）。そして、デジタル放送受信装置１００は、算出した一致度の最大値が閾値以上であるか否かを判定し、閾値以上であれば通知を行う（図６）。これにより、視聴中の任意視点映像の視点に近い視点のカメラ映像の存在をユーザに通知することが可能となる。
As described above, according to the present embodiment, the digital
＜変形例１＞
前述の通り、カメラ映像は放送映像でもよい。この場合、図５及び図６の処理が図１０に置き換わる。図１０において、図４、図５、又は図６と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。図１０のフローチャートの処理は、図４と同様にシステム制御部２２６が各部を制御することにより実行される。
<Modification 1>
As described above, the camera video may be a broadcast video. In this case, the processing of FIGS. 5 and 6 is replaced with FIG. In FIG. 10, steps in which the same or similar processing as that in FIG. 4, FIG. 5, or FIG. 6 is performed are denoted by the same reference numerals, and description thereof is omitted. The processing of the flowchart of FIG. 10 is executed by the
Ｓ１００４で、視点情報処理部２３３は、番組情報処理部２１６から放送映像の視点情報を取得する。Ｓ１００６で、視点情報処理部２３３は、放送映像の視点情報を任意視点情報と比較し、一致度Ｂを算出して取得する。こうして、Ｓ６０５で一致度Ｂ≧閾値Ａであると判定されると、通知が行われる。
In step S <b> 1004, the viewpoint
＜変形例２＞
視聴中の任意視点映像の視点に近い視点のカメラ映像が検出された場合、デジタル放送受信装置１００は、通知に応じたユーザからの指示に応えて、或いは自動的に、任意視点映像の代わりにカメラ映像を出力してもよい。
<Modification 2>
When a camera image with a viewpoint close to the viewpoint of the arbitrary viewpoint video being viewed is detected, the digital
例えば、任意視点映像の視点が図８（ａ）のアイコン８０１であるものとする。この場合、任意視点映像の視点（アイコン８０１）と固定カメラ８１１の視点との視点の一致度が高い（閾値α以上）ため、図８（ｂ）の通知は、この視点（アイコン８０１）における任意視点映像の代わりに固定カメラ８１１のカメラ映像を出力（表示）させることができるということを示す。そして、この通知を見たユーザがリモコン２０１を用いてカメラ映像への映像切り替え指示を行ったものとする。この場合、システム制御部２２６の制御に従い、次の処理が行われる。固定カメラ情報処理部２３１は、複数の固定カメラ２５２の各一致度のうちの最大値を持つ視点に対応する映像データを、任意視点映像生成用データサーバ２５１から取得し、取得した映像データを表示制御部２２０へ出力する。システム制御部２２６は、任意視点映像データの代わりに、固定カメラ情報処理部２３１から入力された映像データを出力するように、表示制御部２２０を制御する。
For example, it is assumed that the viewpoint of the arbitrary viewpoint video is the
カメラ映像が放送映像の場合は、固定カメラ２５２の映像データを取得する代わりに、システム制御部２２６は、放送映像データを取得するようにチューナ部２１０等を制御する。そして、システム制御部２２６は、放送映像データを出力するように表示制御部２２０を制御する。
When the camera video is a broadcast video, instead of acquiring the video data of the fixed
このような制御は、自動的に行われてもよい。即ち、任意視点映像の視点と固定カメラの視点との視点の一致度が高い状態になった場合に、システム制御部２２６は自動的に、該任意視点映像の代わりに該固定カメラのカメラ映像を出力する制御を行ってもよい。
Such control may be performed automatically. That is, when the degree of coincidence between the viewpoint of the arbitrary viewpoint video and the viewpoint of the fixed camera is high, the
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
１００…デジタル放送受信装置、１０４…インターネット、１０５…アンテナ、２５０…放送局
DESCRIPTION OF
Claims (18)
前記取得手段で取得した前記第２画像データを表示部に出力する出力手段と、
前記出力手段により前記第２画像データが前記表示部に出力中である場合に、前記複数の第１画像データの各画像に関連する複数の第１情報と、前記第２画像データの画像に関連する第２情報とに基づいて、前記表示部に出力中である前記第２画像データから、前記複数の第１画像データのうち所定の条件を満たす第１画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。 Obtaining means for obtaining second image data corresponding to an arbitrary viewpoint designated by the user, which is generated based on a plurality of first image data corresponding to different viewpoints;
Output means for outputting the second image data acquired by the acquisition means to a display unit;
When the second image data is being output to the display unit by the output means, the plurality of first information related to each image of the plurality of first image data and the image of the second image data Output to the display unit from the second image data being output to the display unit to first image data satisfying a predetermined condition among the plurality of first image data based on the second information Control means for controlling the output means to switch image data to be performed;
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 The first information is information relating to an image viewpoint of the first image data, and the second information is information relating to an image viewpoint of the second image data. Image processing device.
ことを特徴とする請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the information regarding the viewpoint includes at least one of a camera position, a pan / tilt angle, zoom information, and field angle information.
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 3, wherein the predetermined condition is a condition that a degree of coincidence between the first information and the second information is a threshold value or more. .
前記複数の第１情報の中に前記第２情報との一致の度合いが前記閾値以上であるものが存在する場合、ユーザに対して通知を行い、
当該通知の後のユーザ指示に応じて、前記表示部に出力中である前記第２画像データから、前記複数の第１画像データのうち、前記第２情報との一致の度合いが前記閾値以上である前記第１情報に対応する第１画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力手段を制御する
ことを特徴とする請求項４に記載の画像処理装置。 The control means includes
If there is one of the plurality of first information whose degree of coincidence with the second information is greater than or equal to the threshold, a notification is given to the user,
In response to a user instruction after the notification, the degree of coincidence with the second information among the plurality of first image data is greater than or equal to the threshold value from the second image data being output to the display unit. The image processing apparatus according to claim 4, wherein the output unit is controlled to switch image data to be output to the display unit to first image data corresponding to the first information.
ことを特徴とする請求項５に記載の画像処理装置。 The notification to the user is a notification by GUI display or a notification by a small-screen display of an image of the first image data corresponding to the first information whose degree of coincidence with the second information is equal to or greater than the threshold. The image processing apparatus according to claim 5.
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 In response to a user instruction, the control means changes the display from the second image data being output to the display unit to first image data satisfying the predetermined condition among the plurality of first image data. The image processing apparatus according to claim 1, wherein the output unit is controlled to switch image data to be output to a unit.
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 The control means automatically transfers the second image data being output to the display unit to the first image data satisfying the predetermined condition among the plurality of first image data, to the display unit. The image processing apparatus according to claim 1, wherein the output unit is controlled to switch image data to be output.
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the first information is information related to an image of image data included in a broadcast signal.
それぞれ異なる視点に対応した複数の第１画像データに基づいて生成される、ユーザに指定された任意の視点に対応した第２画像データを取得する取得工程と、
前記取得工程で取得した前記第２画像データを表示部に出力する出力工程と、
前記出力工程により前記第２画像データが前記表示部に出力中である場合に、前記複数の第１画像データの各画像に関連する複数の第１情報と、前記第２画像データの画像に関連する第２情報とに基づいて、前記表示部に出力中である前記第２画像データから、前記複数の第１画像データのうち所定の条件を満たす第１画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力工程を制御する制御工程と、
を備えることを特徴とする制御方法。 A control method for an image processing apparatus, comprising:
An acquisition step of acquiring second image data corresponding to an arbitrary viewpoint designated by the user, generated based on a plurality of first image data corresponding to different viewpoints;
An output step of outputting the second image data acquired in the acquisition step to a display unit;
When the second image data is being output to the display unit by the output step, the plurality of first information related to each image of the plurality of first image data and the image of the second image data Output to the display unit from the second image data being output to the display unit to first image data satisfying a predetermined condition among the plurality of first image data based on the second information A control process for controlling the output process to switch image data to be performed;
A control method comprising:
ことを特徴とする請求項１０に記載の制御方法。 The first information is information relating to an image viewpoint of the first image data, and the second information is information relating to an image viewpoint of the second image data. Control method.
ことを特徴とする請求項１１に記載の制御方法。 The control method according to claim 11, wherein the information on the viewpoint includes at least one of a camera position, a pan / tilt angle, zoom information, and field angle information.
ことを特徴とする請求項１０乃至１２のいずれか１項に記載の制御方法。 The control method according to any one of claims 10 to 12, wherein the predetermined condition is a condition that a degree of coincidence between the first information and the second information is a threshold value or more.
前記複数の第１情報の中に前記第２情報との一致の度合いが前記閾値以上であるものが存在する場合、ユーザに対して通知を行い、
当該通知の後のユーザ指示に応じて、前記表示部に出力中である前記第２画像データから、前記複数の第１画像データのうち、前記第２情報との一致の度合いが前記閾値以上である前記第１情報に対応する第１画像データへと、前記表示部へ出力する画像データを切り換えるよう前記出力工程を制御する
ことを特徴とする請求項１３に記載の制御方法。 The control step includes
If there is one of the plurality of first information whose degree of coincidence with the second information is greater than or equal to the threshold, a notification is given to the user,
In response to a user instruction after the notification, the degree of coincidence with the second information among the plurality of first image data is greater than or equal to the threshold value from the second image data being output to the display unit. The control method according to claim 13, wherein the output step is controlled to switch the image data to be output to the display unit to first image data corresponding to the first information.
ことを特徴とする請求項１４に記載の制御方法。 The notification to the user is a notification by GUI display or a notification by a small-screen display of an image of the first image data corresponding to the first information whose degree of coincidence with the second information is equal to or greater than the threshold. The control method according to claim 14.
ことを特徴とする請求項１０乃至１３のいずれか１項に記載の制御方法。 In accordance with a user instruction, the control step includes changing the display from the second image data being output to the display unit to first image data satisfying the predetermined condition among the plurality of first image data. The control method according to any one of claims 10 to 13, wherein the output step is controlled to switch image data to be output to a unit.
ことを特徴とする請求項１０乃至１３のいずれか１項に記載の制御方法。 In the control step, the second image data being output to the display unit is automatically changed to the first image data satisfying the predetermined condition among the plurality of first image data to the display unit. The control method according to claim 10, wherein the output process is controlled so as to switch image data to be output.
ことを特徴とする請求項１０乃至１７のいずれか１項に記載の制御方法。 The control method according to any one of claims 10 to 17, wherein the first information is information related to an image of image data included in a broadcast signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015155389A JP5990309B2 (en) | 2010-07-02 | 2015-08-05 | Image processing apparatus and control method thereof |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010152071 | 2010-07-02 | ||
| JP2010152071 | 2010-07-02 | ||
| JP2015155389A JP5990309B2 (en) | 2010-07-02 | 2015-08-05 | Image processing apparatus and control method thereof |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011094374A Division JP5835932B2 (en) | 2010-07-02 | 2011-04-20 | Image processing apparatus and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015222989A JP2015222989A (en) | 2015-12-10 |
| JP5990309B2 true JP5990309B2 (en) | 2016-09-14 |
Family
ID=54785753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015155389A Active JP5990309B2 (en) | 2010-07-02 | 2015-08-05 | Image processing apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5990309B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5714997A (en) * | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
| JP3943674B2 (en) * | 1996-10-25 | 2007-07-11 | キヤノン株式会社 | Camera control system, camera server and control method thereof |
| JP4148671B2 (en) * | 2001-11-06 | 2008-09-10 | ソニー株式会社 | Display image control processing apparatus, moving image information transmission / reception system, display image control processing method, moving image information transmission / reception method, and computer program |
-
2015
- 2015-08-05 JP JP2015155389A patent/JP5990309B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015222989A (en) | 2015-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5835932B2 (en) | Image processing apparatus and control method thereof | |
| US6646677B2 (en) | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method | |
| JP5495855B2 (en) | Video processing apparatus and video processing method | |
| KR101528863B1 (en) | Method of synchronizing tiled image in a streaming service providing system of panoramic image | |
| EP2499825B1 (en) | Mosaic application for generating output utilizing content from multiple television receivers | |
| KR102069930B1 (en) | Immersion communication client and server, and method for obtaining content view | |
| WO2007061068A1 (en) | Receiver and line video distributing device | |
| JP2016058994A (en) | Monitoring camera device and monitoring camera system | |
| KR101446995B1 (en) | Helmet for imaging multi angle video and method thereof | |
| JP2011087268A (en) | Terminal, relay node, and stream processing method for video conference system | |
| US20200053395A1 (en) | Video distribution system, user terminal device, and video distribution method | |
| JP2013255210A (en) | Video display method, video display device and video display program | |
| JP2012109719A (en) | Video processing device and control method therefor | |
| JP5675141B2 (en) | Playback apparatus and playback method | |
| KR101311463B1 (en) | remote video transmission system | |
| JP5520146B2 (en) | Video receiving apparatus and control method thereof | |
| JP2012004991A (en) | Broadcast receiving apparatus and control method for the same | |
| JP5500972B2 (en) | Broadcast receiving apparatus and control method thereof | |
| JP5990309B2 (en) | Image processing apparatus and control method thereof | |
| JP2012034083A (en) | Video processing apparatus and control method of the same | |
| EP3820153A1 (en) | Image capturing device, distribution system, distribution method, and carrier means | |
| JP5451022B2 (en) | Broadcast receiving apparatus and control method thereof | |
| JPH11243508A (en) | Image display device | |
| JP2017535172A (en) | Setting the data rate in a video camera system | |
| EP3386203A1 (en) | Signalling of auxiliary content for a broadcast signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160715 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160812 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5990309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |