JP7109907B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の視点位置から撮像した複数視点画像に基づき、仮想視点からの画像を生成する技術に関するものである。

複数台の実カメラで撮影した画像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの画像を再現する技術として、仮想視点画像技術がある（特許文献１）。

仮想視点画像の生成において、設定された仮想視点の位置や視線方向によっては、ユーザが満足する高画質の仮想視点画像が得られないことがある。これは、仮想視点画像を生成するアルゴリズムや基になる複数視点画像の特性に起因する場合が多い。この点、予め仮想視点を設定できない領域や視線を向けられない方向をユーザに明示して、仮想視点の設定範囲に制限を加える技術が知られている（特許文献２）。

特開２０１０－２０４８７号公報 特開２００７－１９５０９１号公報

上記特許文献２のように仮想視点の設定範囲を制限すると、得られる仮想視点画像の表現力が不足する場合がある。仮想視点画像の生成においては、表現力を高めるために、画質を犠牲にしてでも特定の位置に仮想視点を設定し、ユーザが望む視線方向で特定のオブジェクトを注視したいというケースも存在する。例えば、サッカーの得点シーンについての仮想視点画像を生成する際には、シュートをした選手Ａが例え他の選手Ｂや選手Ｃによって遮られてしまうようなアングルでも、当該アングルからの選手Ａを中心とした仮想視点画像が欲しいという場合がある。そこで本発明は、注目オブジェクトが他のオブジェクトによって遮られてしまうような場合において、当該注目オブジェクトの視認性低下が抑制された仮想視点画像を生成することを目的とする。

本発明に係る画像処理装置は、複数のカメラが撮影対象領域を異なる方向から撮影することで得られる複数の画像に基づいて仮想視点画像を生成する画像処理装置であって、前記撮影対象領域内の複数のオブジェクトのうちの注目オブジェクトを特定する特定手段と、仮想視点からの視野に含まれる前記注目オブジェクトが、仮想視点からの視野に含まれる他のオブジェクトにより遮蔽される場合、前記遮蔽による前記注目オブジェクトの視認性低下が抑制されるよう前記他のオブジェクトの表示態様を変更して、前記仮想視点に対応する仮想視点画像を生成する生成手段と、を備え、前記生成手段は、前記他のオブジェクトの影について表示する指定がない場合は、前記他のオブジェクトの影については前記変更に応じた表示態様で前記仮想視点画像を生成し、前記他のオブジェクトの影について表示する指定がある場合は、前記他のオブジェクトの影について前記注目オブジェクトの表示態様に応じた表示態様で前記仮想視点画像を生成する、ことを特徴とする。

本発明によれば、注目オブジェクトが他のオブジェクトによって遮られてしまうような場合において、当該注目オブジェクトの視認性低下が抑制された仮想視点画像を生成できる。

画像処理システムの撮像環境と構成を示す図 画像処理装置のハードウェア構成の一例を示す図 本実施形態に係る画像処理装置の機能ブロック図 仮想視点画像生成処理の全体の流れを示すフローチャート （ａ）はオブジェクト形状テーブルの一例、（ｂ）は分類処理を行った後のオブジェクト形状テーブルの一例、（ｃ）は注目フラグが追加設定されたオブジェクト形状テーブルの一例 注目オブジェクト設定画面の一例を示す図 （ａ）及び（ｂ）ともに仮想視点画像の一例を示す図 レンダリング処理の詳細を示すフローチャート レンダリング部の内部構成を示すブロック図 遮蔽オブジェクト表示設定画面の一例を示す図 遮蔽オブジェクトの表示態様別の描画例を示す図 遮蔽オブジェクトの存在する範囲を示すＵＩ画面の一例を示す図

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は、本実施形態における画像処理システムの撮像環境と構成を示す図である。図１に示す画像処理システムは、サッカー用のフィールド１０５を囲むように配置された１０台のカメラ１０１により、フィールド１０５上にいる選手１０２及び１０３やボール１０４が撮影される。各カメラ１０１で撮影された画像データは、互いに視差のある複数視点画像データとして画像処理装置２００に送られ、所定の画像処理が施されて仮想視点画像が生成される。本実施形態では、スポーツシーンを例にとって説明するが、以下で説明する手法は、被写体となる物体（オブジェクト）の周りを囲むように複数のカメラを配置して得られた複数視点画像から仮想視点画像を生成する場面において幅広く適用可能である。なお、図１ではカメラの数を１０台としているが、この数に特に制限はない。ただし、四方の各辺に少なくとも複数台あることが望ましい。

画像処理装置２００は、パーソナルコンピュータ等に代表される一般的な情報処理装置と同様の構成を備える。図２は、画像処理装置２００のハードウェア構成の一例を示す図である。画像処理装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、入力Ｉ／Ｆ２０５、出力Ｉ／Ｆ２０６を有する。そして、画像処理装置２００を構成する各部は、システムバス２０７によって相互に接続されている。また、画像処理装置２００は、入力Ｉ／Ｆ２０５を介して、カメラ１０１、操作部２１０、外部メモリ２１１に接続されている。また、出力Ｉ／Ｆ２０６を介して、外部メモリ２１１及び表示装置２１２に接続されている。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０７を介して画像処理装置２００の各部を統括的に制御する。これにより、後述する様々な処理が実現される。ＨＤＤ２０４は、画像処理装置２００で取り扱う種々のデータを記憶する大容量記憶装置であり、例えばＳＳＤなどでもよい。ＨＤＤ２０４には、各カメラ１０１の設置位置や向き（視線方向）、並びに各カメラ１０１が備えるレンズの焦点距離等の情報（以下、これらの情報をまとめて「カメラパラメータ」と呼ぶ。）が保持されているものとする。また、ＨＤＤ２０４には、上述の複数視点画像やオブジェクトのいない状態の画像（背景画像）のデータ保存にも利用される。ＣＰＵ２０１は、システムバス２０７を介してＨＤＤ２０４へのデータの書き込み及びＨＤＤ２０４に記憶されたデータの読出しを行うことができる。入力Ｉ／Ｆ２０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスＩ／Ｆであり、外部装置から画像処理装置２００へのデータや命令等の入力は、この入力Ｉ／Ｆ２０５を介して行われる。画像処理装置２００は、この入力Ｉ／Ｆ２０５を介して、外部メモリ２０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。また、画像処理装置２００は、この入力Ｉ／Ｆ２０５を介して、操作部２１０を用いて入力されたユーザによる命令を取得する。操作部２１０はマウスやキーボードなどの入力装置であり、ユーザの指示を処理装置２００に入力するために用いられる。出力Ｉ／Ｆ２０６は、入力Ｉ／Ｆ２０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスＩ／Ｆを備える。その他に、例えばＤＶＩやＨＤＭＩ等の映像出力端子を用いることも可能である。画像処理装置２００から外部装置へのデータ等の出力は、この出力Ｉ／Ｆ２０６を介して行われる。画像処理装置２００は、この出力Ｉ／Ｆ２０６を介して、液晶ディスプレイなどの表示装置２０９にＧＵＩ（グラフィカル・ユーザ・インタフェース）の画面表示や生成した仮想視点画像データの表示などを行う。なお、画像処理装置２００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。

続いて、画像処理装置２００で行う一連の画像処理について説明する。図３は、本実施形態に係る画像処理装置２００の機能ブロック図である。本実施形態における画像処理装置２００は、画像データ取得部３０１、カメラパラメータ取得部３０２、形状データ生成部３０３、オブジェクト分類部３０４、注目オブジェクト設定部３０５、仮想カメラ設定部３０６、レンダリング部３０７で構成される。これら各部は、画像処理装置２００のＣＰＵ２０１が所定のアプリケーションプログラムを実行することにより実現される。ただし、図３に示す構成の一部をハードウェアで実現しても構わない。各部の詳細については後述するが、本実施形態の特徴を分かりやすく説明すると、以下の通りである。
位置及び視線方向が既知の複数のカメラ１０１で撮影された複数視点画像から、例えば特許文献１にて開示された方法を用いることで、撮影シーン内の人物やボールといったオブジェクトの３次元形状を表す形状情報を得る。３次元空間でのオブジェクトの形状が定義できるわけであるから、カメラ１０１毎の撮像画像に対応するデプス画像を演算によって求めることができる。なお、デプス画像とは、カメラの視点とオブジェクトの表面上の点との間の距離を表す画素の集合である。また、同じ理由で、カメラ１０１が存在しない任意の視点（仮想視点）からの視線方向のデプス画像も生成できる。そのデプス画像における画素の色は、現実の撮像画像における対応する位置の画素値から求めることができる。通常、デプス画像上の任意の位置Ｐの色を決定する場合には、位置Ｐをデプス画像として持つ仮想視点に近い視点から撮影された複数の撮像画像内の画素値を用いて算出する。具体的には、出力される仮想視点画像における注目画素の画素値Q(x,y)は、以下の式（１）によって求めることができる。

上記式（１）において、θ1は１つ目の入力視点と仮想視点との間のなす角度、θ2は２つ目の入力視点と仮想視点との間のなす角度を表す。また、P1(x1,y1)は１つ目の入力視点の対応画素（x1,y1）の画素値を表し、P2(x2,y2)は２つ目の入力視点の対応画素（x2,y2）の画素値を表す。また、W1(x1,y1)は１つ目の入力視点の重み画素マップにおける対応画素（x1,y1）の重みを表し、W2(x2,y2)は２つ目の入力視点の重み画素マップにおける対応画素（x2,y21）の重みを表す。また、重みWは以下の式（２）で表される。

上述した演算処理を繰り返すことで、仮想視点画像を構成する各画素の色を表す画素値を得ることができる。なお、ここでは、仮想視点に近い２つの視点からの撮像画像を用いる場合を例に説明したが、３つ以上の視点の撮影画像を用いてもよい。

なお、本実施形態では、仮想視点の位置やその視線方向に特に制限はないものとする。しかしながら、例えば、注目オブジェクト（例えば選手Ａ）を含む仮想視点画像を生成する場面で、仮想視点と選手Ａとの間に他のオブジェクト（例えば選手Ｂ）が位置してしまって、肝心の選手Ａが選手Ｂで遮られてしまう、ということが起こり得る。これまではこのような場合、選手Ｂが邪魔にならない位置にまでユーザが仮想視点を変更せざるを得なかった。つまり、ユーザは、当初に望んだアングルからの仮想視点画像を諦めなければならなかった。本実施形態では、ユーザが望むアングルのままで、注目オブジェクトの全体が視認可能な（他のオブジェクトで邪魔されることのない）仮想視点画像を生成することが可能となる。以下、適宜フローチャートを参照するなどして、本実施形態に係る仮想視点画像の生成方法を説明する。

図４は、本実施形態に係る、仮想視点画像生成処理の全体の流れを示すフローチャートである。この生成処理は、例えば、ユーザが不図示のＧＵＩを介して特定オブジェクト優先モードを選択した場合に、対応するプログラムに従って実行される。ただし、デフォルトで特定オブジェクト優先モードが選択されていても良い。以下、図４のフローに沿って説明する。

ステップ４０１では、画像データ取得部３０１が、カメラ１０１で撮影された任意の撮影シーンの複数視点画像データ及び同一の撮影シーンにおける背景画像データを取得する。図１に示す画像処理システムの場合、フィールド１０５上でのサッカーのシーンを10個の異なる視点から捉えた撮像画像データと、各撮像画像に対応する背景画像データが、各カメラ１０１から受信して（或いはＨＤＤ２０４から読み込んで）取得されることになる。ここで、背景画像は、選手やボールといった主要なオブジェクトが映っていない画像である。例えば、撮影シーンがサッカーの場合の背景画像は、試合の前後やハーフタイム中など主要オブジェクトである選手等が存在していないタイミングで撮影したものを使用すればよい。ただし、例えば屋外では日照変動の影響を受けるなどにより、事前・事後に撮影した画像では背景画像として不適切な場合があるので留意が必要である。取得した複数視点画像と背景画像のデータは、形状データ生成部３０４とレンダリング部３０７に送られる。

ステップ４０２では、カメラパラメータ取得部３０２が、前述のカメラパラメータを取得する。図１に示す画像処理システムの場合、予めキャリブレーション等を行って得ておいた、カメラ１０１それぞれについての設置位置、視線方向、及び、レンズの焦点距離などの情報がＨＤＤ２０４から読み込まれることになる。なお、複数視点画像の撮影中、各カメラ１０１で得られた撮像画像から自然特徴量を算出する等して、動的にキャリブレーションを行ってカメラパラメータを取得してもよい。取得したカメラパラメータは、形状データ生成部３０４とレンダリング部３０７に送られる。

ステップ４０３では、形状データ生成部３０３が、入力された複数視点画像データ、背景画像データ、及び、カメラパラメータを用いて、撮影シーンに存在するオブジェクトの３次元の形状データを生成する。図５（ａ）は、オブジェクト単位の３次元形状データの一覧を示すテーブル（オブジェクト形状テーブル）の一例である。テーブル内の各行が１つの独立したオブジェクトに対応しており、各オブジェクトの形状はボクセルの集合によって特定される。テーブルの各行に格納されている情報(x,y,z)は、個々のボクセルの中心位置の３次元位置情報を示している。なお、この段階での形状データは、各オブジェクトがそれぞれ何を表しているのかまでは識別できていない状態であり、各オブジェクトに付随する影も独立したオブジェクトとしてその中に含まれている。各オブジェクトの形状データ（それをまとめたオブジェクト形状テーブル）は、オブジェクト分類部３０４に送られる。

ステップ４０４では、オブジェクト分類部３０４が、オブジェクト形状テーブルに含まれる各形状データがそれぞれ何のオブジェクトを表しているのかを識別可能な状態に分類する。例えば、本実施形態のように人物、影、ボールの3種類のオブジェクトに分類する場合は、人物やボールの３次元モデル情報（大きさや形状などの情報）を予めＨＤＤ２０４に保持しておき、各形状データとマッチング処理することで分類可能である。さらに、高さ成分がグラウンド面と等しい部分は、影オブジェクトとして分類することができる。分類後のオブジェクト形状テーブルには、各オブジェクトがどの種類のオブジェクトなのかを表す情報と各オブジェクトを識別可能なＩＤが付与される。また、影に分類されたオブジェクトに対しては、当該影を作り出している物体のＩＤが属性情報として付与される。図５（ｂ）は、分類処理を行った後のオブジェクト形状テーブルを示しており、各オブジェクトに対し上述の「ＩＤ」、「種類」、及び、「属性情報」の各フィールドが追加されている。

ステップ４０５では、注目オブジェクト設定部３０５が、撮影シーン内のどのオブジェクトを注目オブジェクトとして扱うのかを、ユーザ操作に基づき設定する。ユーザは、例えば図６に示すようなＵＩ画面（注目オブジェクト設定画面）を介して、注視したいオブジェクトを指定する。注目オブジェクト設定画面には、形状データを用いて生成したある適当な仮想視点からの画像６０１が表示されており、マウスやタッチ操作等によって当該画像６０１上で注視したいオブジェクトを１つ以上選択する。このとき、選択中のオブジェクトをハイライト表示したり、或いは選択可能なオブジェクト以外の背景領域をグレー表示するなどしてもよい。１つ以上のオブジェクトが選択された状態でＯＫボタン６０２が押下されると、当該オブジェクトが注目オブジェクトとして設定される。こうして設定された注目オブジェクトには、他のオブジェクトから識別するための情報として例えば２値のフラグ（注目フラグ）が付与される。図５（ｃ）は、図５（ｂ）に示した分類後のオブジェクト形状テーブルに対し「注目フラグ」のフィールドが追加設定された様子を示している。図５（ｃ）の注目フラグは、「1」が注目オブジェクトを示し、「0」が非注目オブジェクトを示している。なお、注目オブジェクトをユーザが指定するためのＵＩ画面は、図６に示した例に限定されない。例えば、注目オブジェクトの候補が多い場合は、異なる仮想視点から生成した複数の仮想視点画像、或いは俯瞰で見た仮想視点画像を表示させてもよい。こうすることで、複数の人物オブジェクトが密集しているようなシーンでも、ユーザは所望の人物オブジェクトを容易に指定することができる。また、注視したくないオブジェクトを指定させることで、残ったオブジェクトを注目オブジェクトとして設定するようにしてもよい。また、各オブジェクトのサムネイル画像を付加した分類後のオブジェクト形状テーブルを表示する等して、ＩＤで注目オブジェクトを指定できるようにしてもよい。また、複数のオブジェクトのうち、一部のオブジェクトがデフォルトで注目オブジェクトとして設定されていても良い。例えば、ボールがデフォルトで注目オブジェクトとして設定されていても良い。また例えば、ボールとその付近に位置する選手がデフォルトで注目オブジェクトとして設定されていても良い。

ステップ４０６では、仮想カメラ設定部３０６が、生成したい仮想視点画像における仮想カメラに関する情報、具体的には、仮想視点位置や視線方向の情報を、不図示のＵＩ画面を介したユーザ操作に基づき設定する。仮想カメラ情報は、予め用意しておいたものをＨＤＤ２０４から読み込んで設定しても構わない。

ステップ４０７では、レンダリング部３０７が、図５（ｃ）の状態のオブジェクト形状テーブル及びステップ４０６で設定した仮想カメラ情報に基づいてレンダリング処理を行い、仮想視点画像を生成する。レンダリング処理の詳細については後述する。図７の（ａ）及び（ｂ）は、二人の選手７０１及び７０２とボール７０３が存在するシーンの、本実施形態で生成される仮想視点画像の一例を示す図である。図７（ａ）は従来手法による仮想視点画像であり、その動き等をよく見たい選手Ａとボールが選手Ｂによって遮られてしまっている。図７（ｂ）は、選手Ａとボールを注目オブジェクトして指定した場合の、本実施形態に係る仮想視点画像である。ここでは、邪魔になっている選手Ｂが透過率100％で透化処理されており、注視したい選手Ａとボールがよく見える状態になっている。こうして出来上がった仮想視点画像は、例えば表示装置２１２に表示されたり、ＨＤＤ２０４や外部メモリ２１１に格納されるなど、様々な形で出力される。

以上が、本実施形態に係る、仮想視点画像生成処理の概要である。

＜レンダリング処理＞
図８は、レンダリング部３０７が実行する、特定オブジェクト優先モード時のレンダリング処理の詳細を示すフローチャートである。また、図９は、レンダリング部３０７の内部構成を示すブロック図である。レンダリング部３０７は、判定処理部９１０、描画処理部９２０及び合成処理部９３０で構成される。さらに、判定処理部９１０は、影判定部９１１、注目オブジェクト判定部９１２、遮蔽判定部９１３からなり、描画処理部９２０は、注目オブジェクト描画部９２１、遮蔽オブジェクト描画部９２２、影オブジェクト描画部９２３からなる。以下、図８のフロー及び図９のブロック図を参照しつつ、レンダリング処理の詳細について説明する。

まず、ステップ８０１で、判定処理部９１０が、上述のオブジェクト形状テーブルの中からオブジェクト（以下、着目オブジェクト）を１つ決定する。典型的には、ＩＤの値が最も小さいオブジェクトが着目オブジェクトとして決定される。続くステップ８０２では、影判定部９１１が、オブジェクト形状テーブルの「種類」のフィールドを参照して、着目オブジェクトが影オブジェクトであるか否かを判定する。影オブジェクトであればステップ８０７へ進む。一方、影オブジェクト以外のオブジェクトであればステップ８０３へ進む。

ステップ８０３では、注目オブジェクト判定部９１２が、オブジェクト形状テーブルの「注目フラグ」のフィールドを参照して、着目オブジェクトが注目オブジェクトであるかどうかを判定する。注目オブジェクトであればステップ８０５へ進む。注目オブジェクトでなければステップ８０４へ進む。

ステップ８０４では、遮蔽判定部３１３が、着目オブジェクトが注目オブジェクトを遮蔽するか否かを判定する。遮蔽判定部３１３は、３次元空間における仮想カメラの位置と着目オブジェクトの位置と、注目オブジェクトの位置とに基づいて遮蔽するか否かを判定する。例えば、遮蔽判定部３１３は、ステップ４０６で設定された仮想カメラ情報に含まれる仮想視点位置から注目オブジェクトに向けて光線を仮想的に照射し、当該光線が注目オブジェクトに到達する前に着目オブジェクトに衝突するか否かで判定することができる。また、例えば、以下の式（３）を用いた遮蔽判定も可能である。

上記式（３）は、仮想視点から見たときに着目オブジェクトが注目オブジェクトの手前にあって、双方のオブジェクトの角度が近接しているかどうかを判定するものである。上記式（３）において、Ｌは仮想視点位置と注目オブジェクトとの距離、Ｌ’は仮想視点位置と着目オブジェクトとの距離を示す。また、θは仮想視点位置を基準として注目オブジェクトと着目オブジェクトとのなす角度、θ_Thはθに関し予め設定された閾値を示す。θ_Thは、注目オブジェクトの実際の大きさと仮想視点位置までの距離Ｌとから求めることができる。例えば、横幅約1mの注目オブジェクトが仮想視点位置から20ｍ先に存在する場合、θが3度を下回るとその手前に存在する着目オブジェクトによって遮蔽されることになる。つまり、この場合、θ_Thを3度とした上記式（３）を満足するとき、着目オブジェクトが仮想視点から見て注目オブジェクトを遮るように位置していると判断することができる。判定の結果、着目オブジェクトが注目オブジェクトを遮蔽しない場合はステップ８０５へ進む。一方、注目オブジェクトを遮蔽する場合はステップ８０６へ進む。

ステップ８０５では、注目オブジェクト描画部９２１が、着目オブジェクトを通常の手法で、すなわち、撮影画像における視認性を維持した状態で描画する処理を行う。本ステップは、着目オブジェクトが、注目オブジェクトである場合又は注目オブジェクトを遮蔽しないその他のオブジェクトである場合の描画処理である。つまり、本ステップの描画対象となるオブジェクトは、仮想視点画像においてユーザが良好に認識できるよう、撮像画像と遜色のない程度の可視化状態で描画する必要がある。よって、設定された仮想視点から着目オブジェクトを見たときのデプス画像を生成し、当該デプス画像における画素の色を、所定の複数視点画像における対応する位置の画素値から求める処理（通常の描画処理）を行う。

ステップ８０６では、遮蔽オブジェクト描画部９２２が、着目オブジェクトを透過等させて描画する処理を行う。なお、遮蔽オブジェクトを完全に透過させる場合は、当該オブジェクトは描画されないと言うこともできる。本ステップは、着目オブジェクトが、ユーザが指定した注目オブジェクトを遮蔽してしまう場合の描画処理である。つまり、本ステップの描画対象となるオブジェクト（遮蔽オブジェクト）は、完全な可視化状態で描画すると注目オブジェクトを遮ってその視認性を阻害するので、注目オブジェクトの視認性を抑制しないよう描画するのが望ましい。注目オブジェクトの視認性の低下を抑制するための手法としては、遮蔽オブジェクトを透過または半透過にする他、例えば、遮蔽オブジェクトの輪郭のみを所定の色または破線などで表示する態様や、遮蔽オブジェクトの影のみを表示する態様などがある。図１０は、遮蔽オブジェクトの表示態様を指定するＵＩ画面（遮蔽オブジェクト表示設定画面）の一例を示す図である。ユーザは、マウスなどの操作により、遮蔽オブジェクトの描画方法を選択肢の中から指定することができる。図１１は、表示態様のバリエーションを示す図であり、（ａ）は遮蔽オブジェクトを半透過で描画した場合、同（ｂ）は輪郭のみ描画した場合、同（ｃ）は影のみを描画した場合をそれぞれ示している。この場合において、例えば透過率100%の完全透過で描画する場合（図７（ｂ）を参照）は、遮蔽オブジェクトの形状データを除外して描画すればよい。このとき、画素値の算出に使用する複数視点画像には遮蔽オブジェクトも映っているため、遮蔽オブジェクトに対応する部分の画素値を使用しないようにマスク処理をしても良い。マスク処理に使用するマスク画像は、例えば、画素値算出に用いる複数視点画像に遮蔽オブジェクトを逆射影して求めればよい。これにより、遮蔽オブジェクトの形状部分のみを白（その部分の画素値を使わない）、その他の部分を黒（その部分の画素値を使う）で表現した２値のマスク画像が得られる。或いは、Ｎ値（Ｎ＝分類の種類数＋１）のマスク画像を生成し、オブジェクトの種類に対応させた値毎にその部分の画素値を使う（透過させない）、使わない（透過させる）を決めてもよい。例えば、撮影シーン内に存在する動きのあるオブジェクトが、人物Ａ、人物Ｂ、ボールの場合であれば種類数は３なので４値化画像を生成する。そして、注視したい注目オブジェクトが人物Ａとボールであった場合、その部分に対応する画素値は使い、他の部分（人物Ｂや背景）に対応する画素値は使わないようにマスク処理するといった具合である。また、半透明で描画する場合は、遮蔽オブジェクトだけを予め描画し、任意の透明度でブレンディングすればよい。この際の透過率は、前述の図１０のＵＩ画面で示すように、例えば0～100%の範囲でユーザが手動設定してもよいし、注目オブジェクトとの位置関係に応じて自動で決定するようにしてもよい。自動で決定する場合の透明度αは、例えば先に示したＬ、Ｌ’、θを用いて、Ｌ＜Ｌ’の場合に０（不透明）とし、θが小さい（遮蔽割合が高い）ほど大きく、Ｌが小さい（仮想視点が注目オブジェクトに近い）ほど大きくなるように決定する。或いは、より単純化して、例えば以下の式（４）を用いて決定してもよい。

上記式（４）において、ｋは係数、Ｃは分母が非ゼロになるための定数である。なお、遮蔽オブジェクトの描画手法は前述の内容に限定されるものではなく、要は注目オブジェクトの視認性低下を抑制するような態様で描画できればよい。
ステップ８０７では、影オブジェクト描画部９２３が、着目オブジェクトを前述の属性情報に従って描画する処理を行う。本ステップは、着目オブジェクトが、人物やボールなどの影を表わすオブジェクトである場合の描画処理である。この影オブジェクトは、通常、単独のオブジェクトとして存在することはない。そのため、原則的には、従属先となる人物やボールのオブジェクトの描画状態に準じて描画するのが望ましい。すなわち、従属する人物オブジェクトが明瞭な可視化状態で描画（通常描画）されているときは影オブジェクトも明瞭な可視化状態で描画し、また、人物オブジェクトが例えば透過状態で描画されているときは、影オブジェクトも透過状態（影を消した状態）で描画するのが望ましい。影オブジェクトの従属先となるオブジェクトは、オブジェクト形状テーブルの「属性情報」のフィールドを参照することで特定可能である。なお、影オブジェクトを透過させて描画する場合、その形状データを削除しただけでは、自然な描画結果とならないことがある。これは、画素値の算出に使用する複数視点画像にはすべて影が映っており、その対応する画素位置には透過状態に適した画素値が存在しないためである。そこで、影を自然な形で消すために、例えば背景画像における対応する画素位置の画素値を用いて描画するなどする。ただし、遮蔽オブジェクトに従属する影オブジェクトである場合は、前述の図１０のＵＩ画面で設定された内容が優先する。すなわち、遮蔽オブジェクトの表示態様を指定するＵＩ画面において、影だけを表示させることが指定された場合は、従属先の遮蔽オブジェクトがたとえ透過状態で描画される設定であったとしても、ステップ８０５と同様に通常の描画処理を行う。

ステップ８０８では、描画処理部９２０が、オブジェクト形状テーブル内のすべてのオブジェクトについて描画が完了したか否かを判定する。未処理のオブジェクトが残っていれば、ステップ８０１に戻って次の着目オブジェクトを決定して処理を続行する。一方、すべてのオブジェクトの処理が完了していた場合は、ステップ８０９へ進む。

ステップ８０９では、合成処理部９３０が、ステップ８０５～ステップ８０７で生成されたすべてのオブジェクトの描画結果を合成して、ステップ４０６で設定された仮想視点からみた場合の仮想視点画像を生成する。

以上が、レンダリング部３０７が実行するレンダリング処理の内容である。なお、本実施形態では、図８のフローで示す各ステップを１つのレンダリング部が実行するものとして説明を行ったが、これに限定されない。例えば、同一構成のレンダリング部を複数設け、遮蔽オブジェクトの描画担当とそれ以外のオブジェクトの描画担当に分けて並列で処理して、それぞれで得られた描画結果を合成するようにしてもよい。あるいは、判定処理部９１０、描画処理部９２０、合成処理部９３０のそれぞれに対応する独立した画像処理部を設け、機能毎に役割分担する構成でもよい。

なお、上述の実施形態では、注目フラグの有無によって、レンダリング時に透過等させて描画するかどうかを択一的に決定していた。本実施形態はこれに限定されない。例えば、オブジェクト毎に注目度（優先順位）を指定できるようにして、設定された注目度に応じて邪魔なオブジェクトとして扱うかどうか（レンダリング時に透過等させて描画を行うかどうか）を決定するようにしてもよい。例えば、注目度が自分よりも上位の人物オブジェクトを遮蔽する場合は透過処理するが、注目度が自分よりも下位の人物オブジェクトを遮蔽しても透過処理しない、といった具合である。このように注目度が設定された場合は、各オブジェクトに対して注目フラグに代えて（或いは加えて）優先順位を表すレベル情報を付与し、レンダリング時には当該レベル情報を参照して描画内容を制御すればよい。

また、上述の実施形態では、注目オブジェクトをユーザが複数のオブジェクトの中から個別に指定する場合の例を中心に説明したが、これに限らない。例えば、ユーザは、ある条件を設定し、その条件を満たすオブジェクトが自動で注目オブジェクトとして設定されるようにしても良い。より具体的には、ユーザは、「ボール及びその周辺に位置する選手」という条件を設定しても良いし、「ＰＫ（ペナルティキック）におけるキッカーとゴールキーパー」という条件を設定しても良い。また、特定のチームの選手のみを通常通りに描画し、他方のチームの選手はすべて薄く描画されるようにしても良い。このように、注目オブジェクトの設定方法に自由度を持たせれば、ユーザによっての利便性をより向上できる。

また、上述の説明では、仮想視点画像という呼び方をしたが、本実施形態のシステムは静止画にも動画にも適用できる。つまり、複数視点画像は、１又は複数の静止画でも良いし、動画でも良い。また、仮想視点画像は、１又は複数の静止画として生成されても良いし、動画として生成されても良い。

仮想視点画像を動画として生成する場合、動画を構成する各フレームにおける仮想カメラ情報や注目オブジェクトは、ユーザが１フレームずつ設定してもよいが、時間軸に沿って連続的に設定できるようにしてもよい。例えば、仮想視点はその軌跡を設定できるようにしても良いし、注目オブジェクトは先頭フレームでユーザが設定したものをトラッキング技術等によって後続フレームに対して自動で設定できるようにしても良い。これにより、入出力の対象データが動画像の場合における、時系列に変化し得る仮想カメラ情報や注目オブジェクトの設定を効率的に行うことができる。

また、背景画像は、例えば動画として保存された複数視点画像のうち所定数のフレーム（例えば連続する10秒分のフレーム）を用いて動きのあるオブジェクトを消すことで得てもよい。例えば、各フレームにおける各画素値の中央値を採用した画像を生成することで、背景画像を得ることができる。

また、動画としての複数視点画像から動画としての仮想視点画像を生成する場合、オブジェクトの位置や動き、仮想視点位置やその移動軌跡（仮想カメラパス）によって、一時的に、すなわちフレーム単位で、注目オブジェクトが非注目オブジェクトによって遮蔽されてしまうことが起こり得る。その際、どの時点（どのフレーム）で注目オブジェクトの遮蔽が発生したかをユーザへ通知するようにしてもよい。図１２は、設定された仮想カメラパスのうち遮蔽オブジェクトによって注目オブジェクトが遮られてしまう範囲を視覚的に示したＵＩ画面の一例を示す図である。図１２のＵＩ画面は、フィールドを俯瞰でみた場合の仮想視点画像上に、ユーザが設定した仮想カメラパスが実線１２０１で示されている。そして、着目オブジェクトが他のオブジェクトによって遮蔽されてしまう区間が太線１２０２で強調表示されている。遮蔽の有無は、すべての着目オブジェクトに対する前述の遮蔽判定（図８のフローのステップ８０４）の結果に基づいて決定することができる。また、仮想カメラパスと注目オブジェクトの双方が確定した時点で遮蔽の範囲は判明するので、判明したタイミング、例えば注目オブジェクトが先に設定されていた場合は、仮想カメラパスの設定時に通知するようにすればよい。このような通知を行うことで、ユーザは、着目オブジェクトを遮蔽しているオブジェクトの表示方法を変更するなどして、より満足度の高い仮想視点映像を得ることが可能になる。

以上説明したように本実施形態によれば、設定された仮想視点からでは注目オブジェクトが他のオブジェクトによって遮られてしまう場合でも、仮想視点画像における当該注目オブジェクトの視認性低下を抑制できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ カメラ
２００ 画像処理装置
３０７ レンダリング部

Claims (13)

1. 複数のカメラが撮影対象領域を異なる方向から撮影することで得られる複数の画像に基づいて仮想視点画像を生成する画像処理装置であって、
   前記撮影対象領域内の複数のオブジェクトのうちの注目オブジェクトを特定する特定手段と、
   仮想視点からの視野に含まれる前記注目オブジェクトが、仮想視点からの視野に含まれる他のオブジェクトにより遮蔽される場合、前記遮蔽による前記注目オブジェクトの視認性低下が抑制されるよう前記他のオブジェクトの表示態様を変更して、前記仮想視点に対応する仮想視点画像を生成する生成手段と、
   を備え、
   前記生成手段は、
   前記他のオブジェクトの影について表示する指定がない場合は、前記他のオブジェクトの影については前記変更に応じた表示態様で前記仮想視点画像を生成し、
   前記他のオブジェクトの影について表示する指定がある場合は、前記他のオブジェクトの影について前記注目オブジェクトの表示態様に応じた表示態様で前記仮想視点画像を生成する、
   ことを特徴とする画像処理装置。
2. オブジェクト毎に優先順位を設定する設定手段をさらに備え、
   前記生成手段は、
   描画対象のオブジェクトが、当該描画対象のオブジェクトよりも優先順位が上位のオブジェクトを遮る場合は、当該描画対象のオブジェクトを前記他のオブジェクトとして扱い、
   描画対象のオブジェクトが、当該描画対象のオブジェクトよりも優先順位が下位のオブジェクトを遮る場合は、当該描画対象のオブジェクトを前記注目オブジェクトとして扱う、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記他のオブジェクトの影について表示するかの指定をユーザが行うための入力手段をさらに備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記変更後の表示態様は、所定の透過率による透化表示であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記所定の透過率をユーザが指定するための入力手段をさらに備えたことを特徴とする請求項４に記載の画像処理装置。
6. 前記所定の透過率は、前記注目オブジェクトと前記他のオブジェクトとの位置関係に応じて決定されることを特徴とする請求項４に記載の画像処理装置。
7. 前記所定の透過率は、前記他のオブジェクトが前記注目オブジェクトを遮っている割合が高いほど大きく、且つ、前記仮想視点が前記注目オブジェクトに近いほど大きくなるように決定されることを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、前記他のオブジェクトの表示態様を変更して、前記他のオブジェクトを表示しない前記仮想視点画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
9. 前記複数のカメラのパラメータと前記複数の画像とに基づいて、オブジェクトの３次元形状を生成するモデル生成手段と、
   前記モデル生成手段で生成された３次元形状に対応するオブジェクトのそれぞれを識別可能に分類する分類手段と、
   を備え、
   前記生成手段は、前記注目オブジェクトの少なくとも一部を遮る他のオブジェクトが存在するかどうかを、分類後のオブジェクトそれぞれについて判定し、前記注目オブジェクト及び前記他のオブジェクトとして判定されたオブジェクトのそれぞれを、対応する３次元形状を用いて描画する、
   ことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記注目オブジェクトを遮る他のオブジェクトが存在するかをユーザに通知する通知手段を備えたことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記注目オブジェクトは、前記複数の画像に含まれ得るオブジェクトの中から、ユーザが指定した１つ以上のオブジェクトであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 複数のカメラが撮影対象領域を異なる方向から撮影することで得られる複数の画像に基づいて仮想視点画像を生成するための画像処理方法であって、
    前記撮影対象領域内の複数のオブジェクトのうちの注目オブジェクトを特定するステップと、
    仮想視点からの視野に含まれる前記注目オブジェクトが、仮想視点からの視野に含まれる他のオブジェクトにより遮蔽される場合、前記遮蔽による前記注目オブジェクトの視認性低下が抑制されるよう前記他のオブジェクトの表示態様を変更して、前記仮想視点に対応する仮想視点画像を生成するステップと、
    を含み、
    前記生成するステップでは、
    前記他のオブジェクトの影については表示する指定がない場合は、前記他のオブジェクトの影については前記変更に応じた表示態様で前記仮想視点画像を生成し、
    前記他のオブジェクトの影について表示する指定がある場合は、前記他のオブジェクトの影について前記注目オブジェクトの表示態様に応じた表示態様で前記仮想視点画像を生成する、
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるプログラム。

Images