JP2018055279A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】 仮想視点の設定に係る操作性を向上させる。【解決手段】 画像生成装置２００は、仮想視点の指定を受け付け（Ｓ３０１）、当該受け付けられた仮想視点に応じた仮想視点画像に対する特定オブジェクトの検出処理結果を取得する（Ｓ３０３）。そして、画像生成装置２００は、指定された仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、当該指定された仮想視点に応じた仮想視点画像と共に表示させる付加処理を、特定オブジェクトの検出処理結果に応じて実行する（Ｓ３１０）。【選択図】 図２

Description

本発明は、複数のカメラによる撮影画像を処理する画像処理方法に関するものである。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。

複数視点画像に基づく仮想視点画像の生成は、複数のカメラが撮影した画像をサーバなどの画像処理装置に集約し、この画像処理装置にて、仮想視点に基づくレンダリングなどの処理を施すことで実現できる。

仮想視点画像を用いたサービスによれば、例えば、サッカーやバスケットボールの試合について高臨場感のコンテンツを提供することができるようになる。

特許文献１には、複数のカメラを、被写体を取り囲むように配置して被写体を撮影した画像を用いて、任意の仮想視点画像を生成する技術が開示されている。

特開２００８−１５７５６号公報

しかしながら、仮想視点の設定に係る操作性が低下する恐れが考えられる。

例えば、ユーザが仮想視点画像を見ながら仮想視点の移動操作を行っている場合において、被写体の移動や、仮想視点の移動により、表示するべき被写体が、仮想視点画像外に出てしまう可能性がある。このような場合、ユーザは、どの方向へ仮想視点を動かせば良いのかわからなくなってしまう恐れがある。

より具体的には、サッカー場を取り囲むように配置されたカメラによる撮影画像を基に、仮想視点画像を生成する場合、試合中の選手の移動と、仮想視点の移動によっては、選手が全く映っていない仮想視点に移動してしまうことがある。この場合において、選手など被写体が全く映っていない仮想視点画像を見ても、どの方向に被写体が存在するかが不明であるため、選手を仮想視点内に収めるために、様々な方向へ仮想視点を移動して被写体を探すことになれば、操作が煩雑となる。また、様々な方向へ仮想視点を移動させると、映像コンテンツとしての品質も損なわれる。

本発明は、上記の問題点を鑑みてなされたものであり、その目的は、仮想視点の設定に係る操作性を向上させることである。

上記問題点を解決するために、本発明の画像処理装置は、例えば、以下の構成を持つ。すなわち、被写体を複数の異なる方向から撮影するための複数のカメラによる撮影画像に基づいて生成される仮想視点画像に係る仮想視点の指定を受け付ける受付手段と、前記受付手段により受け付けられた仮想視点に応じた仮想視点画像に対する特定オブジェクトの検出処理結果を取得する取得手段と、前記受付手段により受け付けられた仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、前記受付手段により受け付けられた仮想視点に応じた仮想視点画像と共に表示させるための付加処理を、前記取得手段により取得された前記仮想視点画像に対する特定オブジェクトの検出処理結果に応じて実行する付加手段とを有することを特徴とする画像処理装置。

本発明によれば、仮想視点の設定に係る操作性を向上させることができる。

実施形態に係る画像処理システムの構成を説明するための図 実施形態に係る画像生成装置の機能ブロック図 実施形態に係る画像生成装置の動作を説明するためのフローチャート 実施形態に係る複数の仮想視点の位置関係を説明するための概念図 実施形態に係る端末装置の画面例 実施形態に係る画像生成装置の機能ブロック図 実施形態に係る画像生成装置の動作を説明するためのフローチャート 実施形態に係る複数の仮想視点の位置関係を説明するための概念図 実施形態に係る端末装置の画面例 実施形態に係る撮影装置の配置例 実施形態に係る装置のハードウェア構成例

以下、図面を参照して、本発明の実施の形態の一例を説明する。

＜第１実施形態＞
本実施形態では、ユーザ操作により指定された仮想視点とは異なる視点（別視点）に応じた画像（別視点画像）から検出された被写体の情報を、仮想視点に応じた仮想視点画像に合成して表示させる例を中心に説明する。特に、本実施形態では、ユーザ操作に基づく仮想視点画像から特定オブジェクトが検出されなかった場合に、別視点画像に対する特定オブジェクトの検出処理を行う例を中心に説明する。

図１は、第１実施形態に係る画像処理システムの接続図である。撮影装置１００は、被写体を複数の異なる方向から撮影するための複数のカメラであり、サッカー場などの競技場を特定の被写体を取り囲むように配置して撮影する。ただし、本実施形態の画像処理システムの適用対象は、競技場に限らない。例えば、コンサートホール、ライブ会場、各種展示場、その他エンターテイメント施設などにも適用可能である。

図１０は、撮影装置１００の配置例である。撮影装置１００は、競技場の一部又は全部が撮影範囲となるように配置される。

撮影装置１００は、例えばデジタルカメラであり、外部同期装置（不図示）からの同期信号に基づき、同じタイミングで撮影を行う。撮影装置１００により撮影された画像は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルなどの通信ケーブルを介して、画像生成装置２００に伝送される。なお、通信ケーブルは、ＬＡＮケーブルを例に説明するが、ＤｉｓｐｌａｙＰｏｒｔやＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの映像伝送ケーブルであってもよいものとする。本実施形態で扱う画像は、撮影装置１００の静止画撮影機能により撮影された画像であっても、動作撮影機能により撮影された画像であっても良い。以下では特に区別せず、単に画像、又は撮影画像と表現する。

画像生成装置２００は、撮影装置１００により撮影された撮影画像を蓄積する。そして、画像生成装置２００は、端末装置３００からの仮想視点情報に応じた仮想視点画像を、蓄積画像を用いて生成する。ここで、仮想視点情報とは、競技場の中央など所定位置に対する相対的な位置である３次元位置情報と、その位置からどの方向を見ているかを示す方向情報が少なくとも含まれる。

画像生成装置２００は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている画像処理装置の一形態である。データベースには、競技の開始前など予め被写体が存在しない状態の競技場の撮影画像が背景画像として保持される。また、データベースには、競技中の選手などの被写体（特定オブジェクト）の画像が前景画像として保持される。前景画像は、撮影装置１００による撮影画像から被写体を検出し、当該被写体の領域を分離することで生成できる。

前景画像のより具体的な分離方法として、例えば撮影画像と背景画像との差分を抽出するなどのオブジェクト抽出の画像処理を用いることができる。また、その他の分離方法として、例えば、撮影画像の動き情報を用いた分離方法を用いることも可能である。

なお、前景画像（特定オブジェクトの画像）は、競技中の選手の画像のみならず、例えば、他の特定人物（控え選手、監督、及び／又は審判など）の画像でも良いし、ボールやゴールなど、画像パターンが予め定められているオブジェクトの画像でも良い。また、前景画像は、予め定められた空間領域（例えば競技フィールドやステージ）から検出される人物の画像であっても良い。

ユーザ操作により指定された仮想視点に応じた仮想視点画像は、データベースにて管理される背景画像と前景画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置３００に伝送される。

端末装置３００は、仮想視点の指定に関するユーザ操作を受付ける。そして、受付けた操作情報を仮想視点情報に変換して、画像生成装置２００へＬＡＮケーブルを介して伝送する。また、端末装置３００は、画像生成装置２００から受信した仮想視点画像を表示画面に表示させる。従って、端末装置３００のユーザは、自身が指定した仮想視点に応じた仮想視点画像を見ながら、仮想視点の移動操作を行うことができる。なお、端末装置３００にて指定された仮想視点に応じた仮想視点画像が、複数の端末装置３００に対して配信されるような構成としても良い。

端末装置３００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットやスマートフォンである。ユーザは、端末装置３００が有するマウス、キーボード、６軸コントローラ、タッチパネルなどを用いて仮想視点を指定することができる。

次に、画像生成装置２００の機能について説明する。図２は、第１実施形態に係る画像生成装置２００の機能ブロック図である。

ユーザ入力部２０１は、端末装置３００からＬＡＮケーブルを介して入力された伝送信号を仮想視点情報に変換して、仮想視点情報を第一仮想視点画像管理部２０２へ出力する。

第一仮想視点画像管理部２０２は、ユーザ入力部２０１が受け付けた仮想視点情報を第一仮想視点情報として保持すると共に、第一仮想視点情報を仮想視点画像生成部２０３へ出力する。また、第一仮想視点画像管理部２０２は、仮想視点画像生成部２０３から入力された仮想視点画像を第一仮想視点画像として保持する。また、別の視点に応じた仮想視点画像を生成する第二仮想視点画像管理部２０８へ第一仮想視点情報を出力する。また、第一仮想視点画像に選手など被写体にあたる前景画像が含まれるか否かを判定するために、第一仮想視点画像管理部２０２は、第一仮想視点画像を前景画像検出部２０７へ出力し、検出処理結果を入力する。また、第一仮想視点画像管理部２０２は、第一仮想視点画像を画像出力部２１２へ出力する。

画像入力部２０６は、撮影装置１００からＬＡＮケーブルを介して入力された伝送信号を撮影画像データに変換して、前景背景分離部２０５へ出力する。

前景背景分離部２０５は、画像入力部２０６から入力された撮影画像のうち、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として、分離画像保存部２０４へ出力する。また、競技中に撮影された画像から選手など被写体を検出し、前景画像として分離画像保存部２０４へ出力する。

分離画像保存部２０４は、データベースであり、前景背景分離部２０５から入力された前景画像及び背景画像をそれぞれ保存する。背景画像は、選手などの被写体（特定オブジェクト）が存在しない状態で撮影装置１００により撮影された画像である。また前景画像は、撮影装置１００による撮影画像と、背景画像との差分データに基づいて生成される特定オブジェクトの画像である。また、分離画像保存部２０４は、仮想視点画像生成部２０３からの取得指示に応答して、当該取得指示にて指定された背景画像と前景画像を仮想視点画像生成部２０３へ出力する。

仮想視点画像生成部２０３は、第一仮想視点画像管理部２０２から入力された第一仮想視点情報に対応した前景画像と背景画像を分離画像保存部２０４から取得する。そして、取得した前景画像と背景画像を画像処理により合成することで仮想視点画像を生成し、第一仮想視点画像管理部２０２に出力する。また、仮想視点画像生成部２０３は、第二仮想視点画像管理部２０８から入力された第二仮想視点情報（別視点）に対応した前景画像と背景画像を分離画像保存部２０４から取得する。そして、取得した前景画像と背景画像を画像処理により合成することで第二仮想視点画像（別視点画像）を生成し、第二仮想視点画像管理部２０８に出力する。

前景画像検出部２０７は、第一仮想視点画像管理部２０２及び第二仮想視点画像管理部２０８から入力された仮想視点画像の中に前景画像が存在するか否かを判定する。前景画像検出部２０７は、被写体が存在しない状態で予め撮影された画像（背景画像）と、判定対象となる撮影画像とを比較し、所定値以上の差分がある場合には被写体が存在すると判定する。前景画像検出部２０７は、第一仮想視点画像管理部２０２から入力された仮想視点画像に前景画像が存在するか否かに関する判定結果を、第一仮想視点画像管理部２０２へ出力する。また、前景画像検出部２０７は、第二仮想視点画像管理部２０８から入力された仮想視点画像（別視点画像）から前景画像が検出されたか否かに関する検出処理結果を、第二仮想視点画像管理部２０８へ出力する。

第二仮想視点画像管理部２０８は、第一仮想視点画像管理部２０２から入力された第一仮想視点情報を変換して第二仮想視点情報を生成する。例えば、第一仮想視点情報の後方に位置するような視点情報を第二仮想視点情報として生成する。すなわち、第二仮想視点画像管理部２０８により設定される第二仮想視点情報（別視点）は、ユーザ入力部２０１にて受け付けられた仮想視点と所定の位置関係にある仮想視点である。なお、第二仮想視点情報に対応する視点は、仮想視点に限らず、例えば、複数の撮影装置１００のうちある特定のカメラの視点であっても良い。

また、第二仮想視点画像管理部２０８は、第二仮想視点情報を仮想視点画像生成部２０３へ出力するとともに、仮想視点画像生成部２０３から入力された仮想視点画像を第二仮想視点画像（別視点画像）として保持する。なお、第二仮想視点画像管理部２０８は、前景画像のみを別途管理することとする。また、第二仮想視点画像に選手などの被写体が含まれるか否かを判定するために、第二仮想視点画像を前景画像検出部２０７へ出力し、前景画像検出部２０７から前景画像の有無に関する検出処理結果を入力する。また、前景画像の位置を変更するために、第二仮想視点画像の前景画像を前景画像配置部２０９へ出力する。また、第二仮想視点画像の前景画像に特殊な表示効果を加えるために、前景画像表示変換部２１０へ第二仮想視点画像の前景画像を出力する。

前景画像配置部２０９は、第二仮想視点画像の前景画像の表示位置を決定する。本実施形態の前景画像配置部２０９は、第一仮想視点画像の端から所定範囲に第二仮想視点画像の前景画像を表示させる。また、前景画像配置部２０９は、第一仮想視点に対する第二仮想視点の相対位置から、第一仮想視点からみてどの方向に第二仮想視点画像の前景画像に位置するかを判定し、当該判定の結果に応じた位置を前景画像の表示位置として決定する。このように本実施形態の前景画像配置部２０９は、第一仮想視点情報と第二仮想視点情報の差分（比較結果）を用いて、第一仮想視点画像上のどの部分に第二仮想視点画像の前景画像を表示させるかを決定する。

前景画像表示変換部２１０は、第二仮想視点画像管理部２０８から入力された前景画像に対して表示効果を加える画像処理を行い、当該画像処理済みの前景画像を第二仮想視点画像管理部２０８へ出力する。なお、表示効果とは例えば、前景画像の点滅表示や、半透過表示などである。

前景画像合成部２１１は、第一仮想視点画像管理部２０２から入力された第一仮想視点画像と、第二仮想視点画像管理部２０８から入力された前景画像とを重ね合わせた合成画像を生成し、画像出力部２１２へ出力する。前景画像合成部２１１は、前景画像配置部２０９により決定された第一仮想視点画像内の所定位置に、第二仮想視点画像の前景画像を合成する。なお、本実施形態では、前景画像合成部２１１が行う合成処理として、第一仮想視点画像内の所定領域の画像データを第二仮想視点画像の前景画像の画像データで上書きする処理である場合の例を中心に説明するが、これに限らない。例えば、画像生成装置２００から端末装置３００へは、第一仮想視点画像と、第二仮想視点画像の前景画像と、当該前景画像の表示位置を示す位置情報が送信され、端末装置３００にて合成処理が行われるようにしても良い。また、本実施形態では、第一仮想視点画像内に第二仮想視点画像の前景画像を表示させる例を中心に説明するが、これに限らない。例えば、第一仮想視点画像の表示領域とは異なる領域に第二仮想視点画像を表示させるようにしても良い。このような場合、前景画像合成部２１１は、第一仮想視点画像と共に表示すべき第二仮想視点画像の前景画像の表示位置を示す位置情報を出力する処理を実行する。

すなわち前景画像合成部２１１は、ユーザ入力部２０１が受け付けた仮想視点とは異なる別視点に応じた別視点画像（第二仮想視点画像）から検出された特定オブジェクト（例えば選手）の情報を、第一仮想視点画像と共に表示させるための付加処理を実行する。なお、特定オブジェクトの情報とは、第二仮想視点画像（別視点画像）から切り出された特定オブジェクトの画像でも良いし、特定オブジェクトを示す図形やアイコンであっても良いし、特定オブジェクトの数を示す数字であっても良い。また、特定オブジェクトが選手である場合、特定オブジェクトの情報として、選手の背番号などを用いるようにしても良い。

画像出力部２１２は、第一仮想視点画像管理部２０２から入力された第一仮想視点画像及び前景画像合成部２１１から入力された合成画像を端末装置３００へ伝送可能な伝送信号に変換して、端末装置３００へ出力する機能を有する。画像出力部２１２により出力された第一仮想視点画像は、端末装置３００のディスプレイ上にて表示される。また、画像出力部２１２により合成画像が出力された場合は、合成画像が端末装置３００のディスプレイ上にて表示される。また、端末装置３００は複数存在しても良いし、仮想視点を指定する端末装置３００と、仮想視点画像を表示させる端末装置３００が別であっても良い。

次に、図１１を用いて、本実施形態における撮影装置１００、画像生成装置２００、及び、端末装置３００のハードウェア構成について説明する。

図１１に示すように、撮影装置１００、画像生成装置２００、及び、端末装置３００は、それぞれ、ＣＰＵ１１０１、ＲＯＭ１１０２、ＲＡＭ１１０３、画像表示素子１１０４、入出力部１１０５、通信ＩＦ１１０６を有する。本実施形態の撮影装置１００、画像生成装置２００、及び、端末装置３００は、それぞれ、ＣＰＵ１１０１が、本実施形態の処理を実行するために必要なプログラムを読み出して実行することにより、本実施形態で説明する各処理を実現する。

撮影装置１００のＣＰＵ１１０１により実現される処理には、撮影処理と、撮影画像を画像生成装置２００へ出力する出力処理が含まれる。また、画像生成装置２００のＣＰＵ１１０１により実現される処理は、図２を用いて説明した通りである。また、画像生成装置２００のＣＰＵ１１０１により実行される処理の詳細は、図３及び図７で示すフローチャートを用いて後述する。さらに、端末装置３００のＣＰＵ１１０１により実現される処理には、ユーザによる仮想視点の設定操作を受け付ける処理と、当該設定された仮想視点に応じた仮想視点画像を表示させる表示制御処理が含まれる。

なお、図１１に示す各ブロックは、１つに限らない。例えば、画像生成装置２００がＣＰＵ１１０１を２つ以上有するようにしても良い。また、撮影装置１００、画像生成装置２００、及び、端末装置３００のそれぞれが、図１１で示したハードウェア構成をすべて有していなければならないわけではない。例えば、画像生成装置２００が、画像表示素子１１０４を有していなくても良い。また例えば、端末装置３００が画像表示素子１１０４を有さず、端末装置３００と画像表示素子１１０４とがケーブルを介して接続されるような構成であっても良い。また、撮影装置１００は、図１１で示したハードウェア構成に加えて、撮影レンズや撮影素子などにより構成される撮影ユニットを有する。

また、撮影装置１００、画像生成装置２００、及び、端末装置３００の処理のうちの一部が、専用のハードウェアにより実現されるようにしても良い。一部の処理が専用のハードウェアにより実現される場合であっても、ＣＰＵ１１０１（プロセッサ）の制御に従って実行されることに変わりはない。

次に、画像生成装置２００の動作について説明する。図３は、第１実施形態に係る画像生成装置２００の動作を説明するためのフローチャートである。図３では、ユーザにより指定された仮想視点に応じた仮想視点画像から被写体（特定オブジェクト）が検出されなかったときに別視点画像から検出された被写体を仮想視点画像に合成して表示させる場合の例を説明する。図３の処理は、画像生成装置２００のＣＰＵ１１０１が、所定のプログラムを読み出して実行することにより実現される。なお、図３の処理の一部（例えば、第一及び第二仮想視点画像の生成処理）が、ＣＰＵ１１０１からの制御に従って専用のハードウェアにより実現されるようにしても良い。

ユーザ入力部２０１は、端末装置３００からの伝送信号を解析可能なデータに変換し、第一仮想視点情報が入力されたか否かを判定する（Ｓ３０１）。第一仮想視点情報とは、端末装置３００のユーザ操作により指定された仮想視点の情報であり、仮想視点の位置情報と、視点方向に関する情報が含まれる。すなわち、ユーザ入力部２０１は、仮想視点画像に係る仮想視点の指定を受け付ける。第一仮想視点情報が入力されていないと判定された場合（Ｓ３０１のＮｏ）は、入力を待つ。第一仮想視点情報が入力されたと判定された場合（Ｓ３０１のＹｅｓ）、第一仮想視点画像管理部２０２は、第一仮想視点情報を仮想視点画像生成部２０３へ出力し、仮想視点画像生成部２０３が第一仮想視点画像を生成する（Ｓ３０２）。第一仮想視点画像は、第一仮想視点画像管理部２０２を介して、前景画像検出部２０７へ出力される。

前景画像検出部２０７は、仮想視点画像生成部２０３により生成された第一仮想視点画像に対して前景画像（特定オブジェクト）の検出処理を実行する（Ｓ３０３）。そして、前景画像検出部２０７は、第一仮想視点画像に前景画像が含まれると判定した場合（Ｓ３０３のＹｅｓ）、画像出力部２１２を介して、端末装置３００へ第一仮想視点画像を出力する（Ｓ３１１）。第一仮想視点画像は、端末装置３００のユーザ操作により指定された仮想視点に応じた仮想視点画像である。

なお、本実施形態では、前景画像検出部２０７が第一仮想視点画像に対して前景画像（特定オブジェクト）の検出処理を実行することで、第一仮想視点画像に前景画像が含まれるか否かを判定するが、この例に限らない。例えば、画像生成装置２００とは別の装置にて前景画像の検出処理が実行されるようにしても良い。この場合、画像生成装置２００は、当該別の装置から前景画像の検出処理結果を取得する。

第一仮想視点画像に前景画像が含まれないと判定された場合（Ｓ３０３のＮｏ）、第二仮想視点画像管理部２０８は、第一仮想視点と所定の位置関係にある第二仮想視点を生成する（Ｓ３０４）。例えば、第一仮想視点の後方に１０ｍ離れた位置の視点を第二仮想視点報とする。

図４は、第一仮想視点と第二仮想視点と、各視点に応じた仮想視点画像の範囲を示した概念図である。第一仮想視点４００が実線のカメラに対応し、第一仮想視点４００に応じた第一仮想視点画像が範囲４０１に対応する。また、第二仮想視点４０２が点線のカメラに対応し、第二仮想視点４０２に応じた第二仮想視点画像が範囲４０３に対応する。図４は、第一仮想視点画像には１人の被写体も映っていないが、第二仮想視点画像には、４人の被写体が映っていることを示している。

第二仮想視点画像管理部２０８は、Ｓ３０４にて生成した第二仮想視点情報を仮想視点画像生成部２０３へ出力し、仮想視点画像生成部２０３は、第二仮想視点情報に応じた第二仮想視点画像を生成する（Ｓ３０５）。

前景画像検出部２０７は、仮想視点画像生成部２０３により生成された第二仮想視点画像を第二仮想視点画像管理部２０８から受け取り、第二仮想視点画像に前景画像（特定オブジェクト）が含まれるか否かを判定する（Ｓ３０６）。

前景画像検出部２０７は、第二仮想視点画像（別視点画像）に前景画像が含まれないと判定した場合（Ｓ３０６のＮｏ）、さらに別の第二仮想視点情報を生成する（Ｓ３０４）。そして、２回目のＳ３０４にて生成された別の第二仮想視点情報に応じた第二仮想視点画像が生成され（Ｓ３０５）、当該第二仮想視点画像から被写体（特定オブジェクト）が検出されるか否かが判定される（Ｓ３０６）。なお、Ｓ３０４〜Ｓ３０６の処理は、第二仮想視点画像から前景画像が含まれると判定されるまで繰り返してもよい。また、Ｓ３０４〜Ｓ３０６の処理を所定回数繰り返しても被写体が検出されなかった場合は、前景画像の合成処理（付加処理）をしないことを決定し、次のステップへ進むようにしても良い。また、Ｓ３０４〜Ｓ３０６の処理を所定回数繰り返しても被写体が検出されなかったために、前景画像の合成をしないことを決定した場合、当該検出結果を示す通知を端末装置３００のディスプレイに表示させるようにしても良い。

第二仮想視点画像に前景画像が含まれると判定された場合（Ｓ３０６のＹｅｓ）、第二仮想視点画像管理部２０８は、第二仮想視点画像から前景画像を切り出す（Ｓ３０７）。

そして、前景画像配置部２０９は、第一仮想視点と第二仮想視点の位置関係、及び、第二仮想視点画像から検出された被写体の位置に基づいて、第二仮想視点画像の前景画像の合成位置を決定する（Ｓ３０８）。

そして、前景画像表示変換部２１０は、第一仮想視点画像に合成される前景画像の表示変換処理を行う（Ｓ３０９）。表示変換処理とは、例えば、前景画像の点滅表示や、半透過表示などである。このような表示変換処理を行うことにより、第二仮想視点画像の前景画像が、第一仮想視点画像内に存在する被写体とは異なることをユーザが識別できるようになる。

前景画像合成部２１１は、第一仮想視点画像管理部２０２から入力された第一仮想視点画像と、第二仮想視点画像管理部２０８から入力された前景画像とを合成することで合成画像を生成する（Ｓ３１０）。すなわち、前景画像合成部２１１は、ユーザ操作に応じた仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、仮想視点画像と共に表示させるための付加処理を実行する。なお、当該付加処理は、第一仮想視点画像に第二仮想視点画像の前景画像を合成する処理であっても良いし、第一仮想視点画像の表示領域とは別の領域に第二仮想視点画像の前景画像を表示させるための指示を生成する処理であっても良い。そして、画像出力部２１２は、前景画像合成部２１１により生成された合成画像を端末装置３００へ出力する（Ｓ３１１）。

図５は、端末装置３００の画面例である。図５は、第一仮想視点画像に被写体が映っていない場合において、第二仮想視点画像から検出された被写体が半透明化された上で第一仮想視点画像に合成された合成画像を示している。図５では、点線で示す被写体が半透明状態であるとする。

この合成された被写体は、半透明であるため第一仮想視点画像に映っていない被写体であることが識別可能である。また、この合成された被写体自体の体の向きや形はそのままの状態で表示されるため、ユーザは簡易的、かつ直感的に被写体の状況が認識可能となり、煩雑なユーザ操作をすることなく、所望の被写体の方向へ仮想視点を移動させることができる。

以上、第１実施形態によれば、ユーザ操作により指定された仮想視点に応じた仮想視点画像から被写体が検出されない場合に、当該仮想視点とは別の視点に応じた別仮想視点画像から検出された被写体の情報を仮想視点画像に合成表示する。このような構成によれば、視点移動操作により被写体を探すよりも、手間を低減できるので、仮想視点の設定に係る操作性を改善できる。

＜第２実施形態＞
第１実施形態との差異を中心に第２実施形態を説明する。第２実施形態は、複数の第二仮想視点に応じた複数の第二仮想視点画像から、被写体（特定オブジェクト）を検出し、複数の被写体が検出された場合は、その中から選択された被写体の情報を、第一仮想視点画像に合成して合成画像を生成する例を中心に説明する。

図６は、第２実施形態に係る画像生成装置２００の機能ブロック図である。図６を参照しながら、図２との差分を中心に詳細に説明する。

第Ｎ仮想視点画像管理部６０１は、第一仮想視点画像管理部２０２から入力された第一仮想視点情報を変換して、Ｎ個（Ｎは２以上の整数）の視点情報を生成する。例えば、第Ｎ仮想視点画像管理部６０１は、第一仮想視点の後方に位置するような視点情報や、第一仮想視点の左右方向に位置するような視点情報を生成する。また、視点位置の変更だけでなく、視点方向の変更も可能とする。また、第Ｎ仮想視点画像管理部６０１は、複数の仮想視点情報を仮想視点画像生成部２０３へ出力するとともに、仮想視点画像生成部２０３から入力された複数の仮想視点画像を第Ｎ仮想視点画像として保持する。なお、これ以外の機能は、第二仮想視点画像管理部２０８と同様とする。

前景画像選択部６０２は、第Ｎ仮想視点画像管理部６０１から入力された前景画像のうち、いずれの前景画像を第一仮想視点画像に合成するか決定する。例えば、サッカーの試合が撮影されている場合、２チームのうちユーザが応援するチームの選手に対応する前景画像、または注目選手に対応する前景画像、ボールに近い選手に対応する前景画像などを予め設定しておくようにすることができる。この場合、前景画像選択部６０２は、上記設定に基づいて、複数の前景画像から第一仮想視点画像に合成する前景画像を決定できる。

次に、画像生成装置２００の動作について説明する。図７は、第２実施形態に係る画像生成装置２００の動作を示すフローチャートである。図７では、第一仮想視点画像から被写体が検出されなかった場合に、複数の別視点に応じた複数の別仮想視点画像から検出された複数の被写体のうち、選択された被写体のみを第一仮想視点画像に合成する場合の例を中心に説明する。本実施形態では、図７を参照して、図３との差分を中心に説明する。

第Ｎ仮想視点画像管理部６０１は、第一仮想視点情報を変更したＮ個の仮想視点情報を生成する（Ｓ７０１）。例えば、第一仮想視点の後方に１０ｍ離れた位置の視点（第１別視点）を第二仮想視点情報とする。また、第一仮想視点の左方に１０ｍ離れた位置の視点（第２別視点）を第三仮想視点情報とする。

また、前景画像選択部６０２は、Ｎ個の仮想視点画像の前景画像から第一仮想視点画像に合成すべき前景画像を選択（決定）する（Ｓ７０３）。ここでは、サッカー試合をしている２チームのうち、応援するチームの選手のみを第一仮想視点画像に合成すべき前景画像として選択するものとする。

図８は、第一仮想視点と複数の別仮想視点と、各視点から見える範囲を示した概念図である。第一仮想視点８００が実線のカメラに対応し、第一仮想視点８００に応じた第一仮想視点画像が範囲８０１に対応する。また、Ｎ個の別仮想視点８０２及び８０４が点線で示す２台のカメラに対応し、第二仮想視点８０２に応じた第二仮想視点画像（第１別視点画像）が範囲８０３に対応し、第三仮想視点８０４に応じた第三仮想視点画像（第２別視点画像）が範囲８０５に対応する。図８は、第一仮想視点画像８０１には１人の被写体も映っていないが、第二仮想視点画像８０３には４人の被写体が映っており、第三仮想視点画像８０５には２人の被写体が映っている状態を示している。また、図８において、斜線で示された人物が第１チームの選手であり、黒塗りで示された人物が第２チームの選手である。

図９は、端末装置３００の画面例である。端末装置３００は、第一仮想視点画像に被写体が映っていない場合に、Ｎ個の別視点の仮想視点画像から検出された複数の被写体のうち、斜線の人物に対応する前景画像のみが第一仮想視点画像に合成された合成画像を表示している。このように、複数の被写体（特定オブジェクト）が存在する場合に、第一仮想視点画像に合成すべき被写体をユーザ設定等に基づいて絞り込む。このような構成によれば、ユーザはより簡易的、かつ直感的に表示すべき被写体の状況を認識可能となり、煩雑なユーザ操作を低減させ、応援する（注目すべき）選手の方向へ仮想視点を移動させることができる。

以上、第２実施形態によれば、ユーザ操作により指定された仮想視点に応じた仮想視点画像から被写体が検出されない場合に、当該仮想視点とは別の複数の視点に応じた別仮想視点画像から検出された被写体の情報を仮想視点画像に合成表示する。このような構成によれば、視点移動操作により被写体を探すよりも、手間を低減できるので、仮想視点の設定に係る操作性を改善できる。

＜その他の実施形態＞
上述の実施形態では、ユーザが合成画像を見ながら仮想視点の移動操作を行う場合の例を中心に説明したが、この例に限らない。例えば、ユーザは、合成画像上に表示される被写体から、追尾対象とする被写体を指定することによって、当該被写体が第一仮想視点画像内に収まるように仮想視点を制御するようにしても良い。

また、上述の実施形態では、第一仮想視点画像に第二仮想視点画像の前景画像を合成する例を中心に説明しているが、前景画像の代わりに特定オブジェクトを示す簡易的な図形、アイコン、数字などを合成するようにしても良い。

また、上述の実施形態では、第一仮想視点画像に第二仮想視点画像の前景画像を合成する例を中心に説明したが、合成するのではなく、第一仮想視点画像の表示領域とは別の領域に前景画像が表示されるようにしても良い。

また、上述の実施形態では、第一仮想視点と所定の位置関係にある視点を第二仮想視点とする場合の例を中心に説明したが、これに限らない。例えば、特定の選手や、ボールなどを常に追尾するような第二仮想視点が設定されるようにしても良い。

また、上述の実施形態では、第一仮想視点画像から１つの被写体（特定オブジェクト）も検出されなかった場合に、別視点の第二仮想視点画像の生成と、第二仮想視点画像からの被写体の検出処理を行う場合の例を中心に説明したが、この例に限らない。例えば、第一仮想視点画像からあらかじめ定められた所定数未満の被写体しか検出されなかった場合に、第二仮想視点画像の生成などの処理（図３のＳ３０４〜Ｓ３１０）が実行されるようにしても良い。また、例えば、特定のチームの選手が第一仮想視点画像から検出されなかった場合に、第二仮想視点画像の生成などの処理（図３のＳ３０４〜Ｓ３１０）が実行されるようにしても良い。また、例えば、第一仮想視点画像から被写体が検出されたか否かに関わらず、常にＳ３０４〜Ｓ３１０の処理が実行されるようにしても良い。

また、上述の実施形態では、画像生成装置２００の構成及び機能を、主に図２、３、６、及び７を用いて詳細に説明したが、これらの構成及び機能のうち一部が、撮影装置１００や端末装置３００により実行されるようにしても良い。例えば、端末装置３００がユーザから仮想視点の指定を受け付け、当該仮想視点に応じた仮想視点画像から被写体（特定オブジェクト）が検出されたか否かを示す検出処理結果を取得するようにしても良い。この場合、端末装置３００は、当該検出処理結果に応じて、第二仮想視点画像の前景画像を第一仮想視点画像に合成して表示させることも可能である。このように、本実施形態の各装置は、種々の変形例を採用しうることに留意されたい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮影装置
２００ 画像生成装置
２０１ ユーザ入力部
２０２ 第一仮想視点画像管理部
２０３ 仮想視点画像生成部
２０４ 分離画像保存部
２０５ 前景背景分離部
２０６ 画像入力部
２０７ 前景画像検出部
２０８ 第二仮想視点画像管理部
２０９ 前景画像配置部
２１０ 前景画像表示変換部
２１１ 前景画像合成部
２１２ 画像出力部
３００ 端末装置

Claims (15)

1. 被写体を複数の異なる方向から撮影するための複数のカメラによる撮影画像に基づいて生成される仮想視点画像に係る仮想視点の指定を受け付ける受付手段と、
   前記受付手段により受け付けられた仮想視点に応じた仮想視点画像に対する特定オブジェクトの検出処理結果を取得する取得手段と、
   前記受付手段により受け付けられた仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、前記受付手段により受け付けられた仮想視点に応じた仮想視点画像と共に表示させるための付加処理を、前記取得手段により取得された前記仮想視点画像に対する特定オブジェクトの検出処理結果に応じて実行する付加手段とを有することを特徴とする画像処理装置。
2. 前記別視点は、前記受付手段により受け付けられた仮想視点と所定の位置関係にある仮想視点であることを特徴とする請求項１に記載の画像処理装置。
3. 前記付加手段は、前記仮想視点画像から検出された前記特定オブジェクトの数が所定数未満であることを示す検出処理結果が前記取得手段により取得された場合、前記付加処理を実行することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定オブジェクトの情報が前記付加処理によって付加される前記仮想視点画像上の位置を、前記受付手段により受け付けられた仮想視点と前記別視点との位置関係、及び、前記別視点画像における前記特定オブジェクトの位置に基づいて決定する決定手段を有することを特徴とする請求項１乃至３のうち、何れか１項に記載の画像処理装置。
5. 前記付加手段は、前記特定オブジェクトの情報が前記仮想視点画像の表示領域とは異なる表示領域に表示されるように付加処理を実行することを特徴とする請求項１乃至３のうち、何れか１項に記載の画像処理装置。
6. 前記仮想視点画像から特定オブジェクトを検出する検出手段を有し、
   前記取得手段は、前記検出手段による検出処理結果を取得することを特徴とする請求項１乃至５のうち、何れか１項に記載の画像処理装置。
7. 前記付加手段は、前記別視点画像から特定オブジェクトが検出されない場合、前記別視点と異なる第２別視点に応じた第２別視点画像から検出された特定オブジェクトの情報を、前記仮想視点画像に付加する付加処理を実行することを特徴とする請求項１乃至６のうち、何れか１項に記載の画像処理装置。
8. 前記付加手段は、前記別視点画像及び前記第２別視点画像から前記特定オブジェクトが検出されない場合、前記特定オブジェクトの情報を仮想視点画像に付加しないことを決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記別視点画像及び前記第２別視点画像から前記特定オブジェクトが検出されない場合、当該検出結果の通知をディスプレイに表示させる表示制御手段を有することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記受付手段により受け付けられた仮想視点とは異なる複数の別視点に応じた複数の別視点画像から特定オブジェクトが検出された場合、いずれの別視点画像から検出された特定オブジェクトの情報を表示させるかを選択する選択手段を有し、
    前記付加手段は、前記選択手段により選択された特定オブジェクトの情報が前記仮想視点画像と共に表示されるように付加処理を実行することを特徴とする請求項１乃至９のうち、何れか１項に記載の画像処理装置。
11. 前記特定オブジェクトは、予め定められた画像パターンに対応する人物、予め定められた空間領域から検出される人物、及びボールのうち、少なくとも何れかが含まれることを特徴とする請求項１乃至１０のうち、何れか１項に記載の画像処理装置。
12. 前記付加手段により付加処理がなされた仮想視点画像を表示する表示手段を有することを特徴とする請求項１乃至６のうち、何れか１項に記載の画像処理装置。
13. 前記付加手段により付加される特定オブジェクトの情報には、前記別視点画像から切り出された特定オブジェクトの画像、前記特定オブジェクトを示す図形、前記特定オブジェクトを示すアイコン、及び、前記特定オブジェクトの数を示す数字のうち、少なくとも何れかであることを特徴とする請求項１乃至１２のうち、何れか１項に記載の画像処理装置。
14. 画像処理方法であって、
    被写体を複数の異なる方向から撮影するための複数のカメラによる撮影画像に基づいて生成される仮想視点画像に係る仮想視点の指定を受け、
    前記仮想視点に応じた仮想視点画像に対する特定オブジェクトの検出処理結果を取得し、
    前記仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、前記仮想視点に応じた仮想視点画像と共に表示させるための付加処理を、前記仮想視点画像に対する特定オブジェクトの検出処理結果に応じて実行することを特徴とする画像処理方法。
15. コンピュータを請求項１乃至１３のうち、何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images