JP2019144958A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】仮想視点画像の生成に関する不都合を解消する画像処理装置、方法及びプログラムを提供する。【解決手段】本発明の画像処理装置は、複数の撮影手段１０８が撮影領域対象２０３を異なる方向から撮影することで得られる複数視点画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、撮影領域対象内の複数のオブジェクト２０１のうち、描画対象のオブジェクトの大きさを含む情報に基づいて、仮想視点画像を描画する３次元空間上にて、描画対象のオブジェクトを含む描画領域を決定する決定手段と、決定した描画領域と前記情報とに基づいて、描画対象のオブジェクトを描画することで、複数のオブジェクトのうち描画対象のオブジェクトではないオブジェクトの描画のない仮想視点画像を生成する生成手段とを有する。【選択図】図２

Description

本発明は、複数の視点位置から撮像した複数視点画像に基づき、仮想視点からの画像を生成する技術に関するものである。

複数台の実カメラで撮像した画像を用いて、３次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの画像を再現する技術として、仮想視点画像技術がある（特許文献１）。

特開２０１０−２０４８７号公報 特開２００１−３０７０７３号公報 特開２００４−２２０２９２号公報

しかしながら、仮想カメラの撮影範囲内に存在するオブジェクトをそのまま描画して仮想視点画像を生成すると、以下のような不都合が生じる恐れがあった。すなわち、例えば、映像制作者の意図が十分に反映されない仮想視点画像が生成されてしまう恐れや、仮想視点画像の生成に係る処理負荷が増大してしまうなどの恐れがあった。他にも、仮想視点画像のデータ自体が大きくなってしまうなどの恐れもあった。

本発明は、上記の不都合のうち少なくとも１つの改善を目的としてなされたものである。

本発明の一態様に係る画像処理装置は、複数の撮影手段が撮影領域対象を異なる方向から撮影することで得られる複数視点画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、前記撮影領域対象内の複数のオブジェクトのうち、描画対象のオブジェクトの大きさを含む情報に基づいて、前記仮想視点画像を描画する３次元空間上にて、前記描画対象のオブジェクトを含む描画領域を決定する決定手段と、前記決定した描画領域と前記情報とに基づいて、前記描画対象のオブジェクトを描画することで、前記複数のオブジェクトのうち前記描画対象のオブジェクトではないオブジェクトの描画のない仮想視点画像を生成する生成手段とを有することを特徴とする。

本発明によれば、仮想カメラの撮影範囲内のオブジェクトの描画を制御することで、仮想視点画像の生成に係る不都合を改善できる。

実施形態１に係る画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の撮像装置の配置例を示す図である。 画像処理装置の機能ブロックを示す図である。 画像処理装置による仮想視点画像の生成処理全体の流れを示すフローチャートである。 オブジェクトの位置姿勢情報の一覧例を示すテーブルである。 オブジェクトの位置姿勢、描画領域を示すイメージ図である。 画像処理装置の仮想視点デプス導出部による仮想視点デプスマップのイメージ図である。 画像処理装置による効果を説明する図である。 実施形態２にて想定した場面のイメージ図である。 画像処理装置による描画領域および非描画領域の一例を示した図である。 仮想視点デプスマップのイメージ図である。 実施形態３にて想定した場面のイメージ図である。 実施形態３の画像処理装置が備える描画領域決定部の詳細な機能ブロックを示す図である。 描画領域決定部による詳細な処理の流れを示すフローチャートである。 実施形態３の画像処理装置による処理を説明するイメージ図である。 描画オブジェクト情報取得部のＵＩ画面の一例を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［実施形態１］
画像処理装置１００（以下、処理装置１００とする）は、パーソナルコンピュータ等に代表される一般的な情報処理装置と同様の構成を備える。図１は、処理装置１００のハードウェア構成の一例を示す図である。処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース（以下、「インターフェース」を「Ｉ／Ｆ」とする）１０５、出力Ｉ／Ｆ１０６を有する。そして、処理装置１００を構成する各部は、システムバス１０７によって相互に接続されている。また、処理装置１００は、入力Ｉ／Ｆ１０５を介して、撮像装置１０８、操作部１０９、外部記憶装置（外部メモリ）１１０に接続されている。また、処理装置１００は、出力Ｉ／Ｆ１０６を介して、外部記憶装置１１０及び表示装置１１１に接続されている。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して処理装置１００の各部を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、処理装置１００で取り扱う種々のデータを記憶する大容量記憶装置であり、本実施形態ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行うことができる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。入力Ｉ／Ｆ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスＩ／Ｆであり、外部装置から処理装置１００へのデータや命令等の入力は、この入力Ｉ／Ｆ１０５を介して行われる。処理装置１００は、この入力Ｉ／Ｆ１０５を介して、撮像装置１０８から各種データ（例えば、撮像装置１０８が撮像した画像及び動画像、撮像装置１０８の撮像条件パラメータなどのデータ）を取得する。また、処理装置１００は、この入力Ｉ／Ｆ１０５を介して、外部記憶装置１１０（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。出力Ｉ／Ｆ１０６は、入力Ｉ／Ｆ１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスＩ／Ｆを備える。その他に、例えばＤＶＩやＨＤＭＩなどの映像出力端子を用いることも可能である。処理装置１００から外部装置へのデータ等の出力は、この出力Ｉ／Ｆ１０６を介して行われる。処理装置１００は、この出力Ｉ／Ｆ１０６を介して表示装置１１１（液晶ディスプレイなどの各種画像表示デバイス）に、処理された画像などを出力することで、画像の表示を行う。なお、処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。

図２は、本実施形態に係る画像処理装置が備える撮像装置１０８の配置例を示す図である。本実施形態において撮像装置１０８は複数のカメラによって構成される。図２（ａ）は、カメラの配置を説明する斜視図であり、図２（ｂ）はカメラの配置を説明する平面図である。サッカーなどの競技用のフィールド２０３を囲むように配置された複数台（図示例では１４台）の撮像装置（カメラ）１０８により、撮影領域対象である、フィールド上にいる選手やボールなどのオブジェクト２０１が撮影される。各撮像装置１０８で撮影された画像データは、互いに視差のある複数視点で生成される。本実施形態では、スポーツシーンを例にとって説明するが、以下で説明する手法は、被写体となる物体（オブジェクト）の周りを囲むように複数のカメラを配置して得られた複数視点画像から仮想視点画像を生成する場面において幅広く適用可能である。座標系２０２はカメラの位置などを記述するときに用いる座標系を示している。なお、図２では、カメラの数を１４台としているが、この数に特に制限はない。この数が多いほどオブジェクトの死角が少なくなり、より正確な仮想視点画像を生成できることから好ましい。ただし、カメラは、四方の各辺に少なくとも複数台あることが望ましい。

〔処理装置１００における処理〕
以下、実施形態１の処理装置１００で行われる処理について、図３に示す機能ブロック図および図４に示すフローチャートを用いて説明する。処理装置１００は、図３に示すように、撮像データ取得部３０１、デプスデータ取得部３０２、オブジェクト位置姿勢情報取得部３０３、描画オブジェクト情報取得部３０４、カメラパラメータ取得部３０５を有する。また、処理装置１００は、描画領域決定部３０６、仮想視点デプス導出部３０７、仮想視点描画部３０８を有する。処理装置１００は、ＣＰＵ１０１がＲＯＭ１０３内に格納された制御プログラムを読み込み実行することで、上記各構成要素の機能を実現する。なお、各構成要素に相当する専用の処理回路を備えるように処理装置１００を構成するようにしてもよい。以下、各構成要素により行われる処理の流れを説明する。

ステップＳ４０１では、撮像データ取得部３０１は、入力Ｉ／Ｆ１０５を介して、撮像装置１０８を構成するカメラで撮影された任意の撮影シーンの複数視点画像データを取得する。本実施形態では、撮像装置１０８を構成するカメラ数は１４台であるため、任意の撮影シーンにて１４個の画像データを取得する。撮像データ取得部３０１は、取得した任意の撮影シーンの１４個の画像データを仮想視点描画部３０８へ出力する。また、ステップＳ４０１では、デプスデータ取得部３０２は、撮像装置１０８を構成するカメラそれぞれのデプスデータを取得する。ここでいうデプスデータとは、各カメラで撮像した画像データの各画素の距離データを示している。各カメラのデプスデータは、公知の技術（例えば特許文献２）を用いて生成してもよいし、各カメラにデプスセンサを設け当該デプスセンサを用いて取得してもよい。デプスデータ取得部３０２は、取得したデプスデータを仮想視点デプス導出部３０７へ出力する。また、ステップＳ４０１では、カメラパラメータ取得部３０５は、入力Ｉ／Ｆ１０５を介して、または二次記憶装置１０４から、カメラパラメータを取得する。カメラパラメータは、撮像装置１０８を構成する各カメラ（実カメラ）と仮想カメラ（仮想視点に配置されたカメラ）の内部パラメータ、外部パラメータおよび歪曲パラメータなどを含む。ここで、内部パラメータとは、画像中心の座標値やカメラのレンズの焦点距離であり、外部パラメータとは、カメラの位置（視点位置）と向き（視線方向）を表すパラメータである。歪曲パラメータとは、カメラのレンズの歪曲を表すパラメータである。実カメラパラメータとして、複数視点の画像データを元にＳｆＭ（Structure from Motion）によって推定された推定値を用いてもよいし、チャートなどを用いたキャリブレーションを行って予め導出された導出値を用いてもよい。仮想視点のカメラパラメータについては、ユーザが見たい視点のカメラパラメータを、すなわち、ユーザにより指定された仮想カメラに対応して導出されたカメラパラメータを取得する。具体的には、生成したい仮想視点画像における仮想カメラに関する情報、具体的には、仮想視点位置や視線方向の情報を、不図示のＵＩ画面を介したユーザ操作に基づき取得する。仮想カメラ情報は、予め用意しておいたものを二次記憶装置１０４や外部記憶装置１１０から取得しても構わない。カメラパラメータ取得部３０５は、取得したカメラパラメータを仮想視点デプス導出部３０７および仮想視点描画部３０８へ出力する。

ステップＳ４０２では、オブジェクト位置姿勢情報取得部３０３は、フィールド２０３上に存在する全てのオブジェクト２０１の位置姿勢情報を取得する。ここでオブジェクトの位置姿勢情報は、オブジェクトの位置情報および姿勢情報を含む情報を示している。例えば、オブジェクトが人間である場合には、オブジェクトの位置姿勢情報は、重心位置、頭頂部の位置、左右の手足の先端部の位置をあらわす情報を含んでいる。オブジェクトが物である場合には、オブジェクトの位置姿勢情報は、重心位置をあらわす重心位置情報を含んでいる。オブジェクトの位置姿勢情報は公知の技術（例えば特許文献３）を用いて生成することが可能である。ここでオブジェクトの位置姿勢情報は、フィールド上に存在する複数のオブジェクトのそれぞれが何のオブジェクトを表しているのかを識別可能な状態に分類された情報であり、オブジェクトそれぞれに識別用のＩＤが付与されているものとする。例えば、本実施形態のように人間、ボールの２種類のオブジェクトに分類する。

図５は、取得したオブジェクトの位置姿勢情報の一覧例を示すテーブルである。本実施形態では、図５に示すようなオブジェクト位置姿勢情報を取得する場合について説明する。取得するオブジェクト位置姿勢情報の実施形態はこれに限らず、より詳細な情報（例えば、複数の関節位置情報）であっても、より簡易な情報（例えば重心位置のみ）であっても実施可能である。オブジェクト位置姿勢情報取得部３０３は取得したオブジェクト位置姿勢情報を描画領域決定部３０６へ出力する。

ステップＳ４０３では、描画オブジェクト情報取得部３０４は、描画オブジェクト情報を取得する。ここで描画オブジェクト情報は、フィールド上に存在する全てのオブジェクトを描画オブジェクトまたは非描画オブジェクトに分類した情報である。本実施形態では、ユーザが見たいオブジェクトのＩＤを、すなわち、ユーザが注目するオブジェクトのＩＤを不図示のＵＩ画面を介して入力するものとする。これにより、入力されたＩＤに対応するオブジェクトは、描画対象である描画オブジェクトに分類され、入力されなかったＩＤに対応するオブジェクトは、非描画対象である非描画オブジェクトに分類されることになる。本実施形態では、ユーザが見たい（注目する）オブジェクトのＩＤを入力する場合について説明するが、ユーザが見たくないオブジェクトのＩＤを、すなわち、ユーザが注目しないオブジェクトのＩＤを入力することも可能である。この場合、入力されたＩＤに対応するオブジェクトは、非描画オブジェクトに分類され、入力されなかったＩＤに対応するオブジェクトは、描画オブジェクトに分類されることになる。描画オブジェクト情報取得部３０４は、取得した描画オブジェクト情報を描画領域決定部３０６へ出力する。

ステップＳ４０４では、描画領域決定部３０６は、ステップＳ４０３で取得した描画オブジェクト情報とステップＳ４０２で取得したオブジェクト位置姿勢情報に基づいて描画する領域（以下、描画領域という）を決定する。図６（ａ）は、ある撮影シーンの画像データを基に生成された、図５に示したオブジェクトの位置姿勢情報に対応する仮想視点画像のイメージ図である。図６（ｂ）は、図６（ａ）のイメージ図に描画領域を重畳表示したイメージ図である。本実施形態では、描画オブジェクト情報として、描画オブジェクトＩＤ＝１，２，３、非描画オブジェクトＩＤ＝４という情報が付与されたものとする。各ＩＤとその位置座標から、図６（ａ）では、選手６０１と選手６０２とボール６０３がそれぞれＩＤ＝１，２，３に対応しており描画対象である描画オブジェクトであることがわかる。また、選手６０４がＩＤ＝４に対応しており非描画対象である非描画オブジェクトであることがわかる。描画領域決定部３０６は、描画オブジェクトである３つのオブジェクトのオブジェクト位置姿勢情報に基づいて、描画領域を決定する。本実施形態では説明を簡単にするため、各オブジェクトの描画領域は直方体の８頂点の座標値で表されるとする。選手６０１および選手６０２は人オブジェクトに対応しており、人オブジェクトの描画領域のｘ座標は、例えば、式（１）により導出される。ただし、（ｃｘ，ｃｙ，ｃｚ）は重心位置を示し、（ｈｘ，ｈｙ，ｈｚ）は頭頂部位置を示している。（ｌｈｘ，ｌｈｙ，ｌｈｚ）は左手の先端位置を示し、（ｒｈｘ，ｒｈｙ，ｒｈｚ）は右手の先端位置を示している。（ｌｆｘ，ｌｆｙ，ｌｆｚ）は左足の先端位置を示し、（ｒｆｘ，ｒｆｙ，ｒｆｚ）は右足の先端位置を示している。αはマージン（例えばα=１０）を示している。

人オブジェクトの描画領域のｙ座標およびｚ座標は、ｘ座標と同様に導出される。すなわち、人オブジェクトの描画領域のｙ座標は式（２）により導出され、人オブジェクトの描画領域のｚ座標は式（３）により導出される。

よって、式（１）〜（３）より、式（４）で表される８頂点の座標値が導出される。描画領域決定部３０６は、導出された８頂点の座標値をむすぶ直方体を人オブジェクトの描画領域として決定する。

ボール６０３は物オブジェクトに対応しており、描画領域決定部３０６は、ボールのサイズから直方体のサイズが予め決められ、取得したボールの重心位置に中心が位置づけられた直方体を物オブジェクトの描画領域として決定する。図６（ｂ）は、図６（ａ）に示されるオブジェクトのイメージ図に、決定した描画領域を重畳表示したイメージ図である。ブロック６０５は選手６０１の描画領域を示し、ブロック６０６は選手６０２の描画領域を示し、ブロック６０７はボール６０３の描画領域を示している。描画領域決定部３０６は、決定した描画領域を仮想視点デプス導出部３０７へ出力する。

ステップＳ４０５では、仮想視点デプス導出部３０７が取得した描画領域とデプスデータ、カメラパラメータに基づいて、仮想視点デプスデータである仮想視点のデプスマップを導出する。撮像装置１０８を構成するカメラそれぞれのデプスマップとそのカメラのカメラパラメータと仮想視点のカメラパラメータに基づいて仮想視点のデプスマップを生成する方法は公知である。例えば、実カメラのデプスデータとカメラパラメータに基づいて３次元空間に変換した点にはオブジェクトがあるとわかるので、その点を仮想視点のカメラパラメータに基づいて変換することにより仮想視点上で対応する画素のデプスを導出することができる。例えば、以下の式（５）により、実カメラのデプスマップのある画素から３次元空間へ変換される。例えば、以下の式（６）により、３次元空間の点から仮想視点のデプスが導出される。式（５）、（６）において、Ｐは３次元空間中の点の３次元座標を示し、「~」が付加されたｍは実カメラのある画素を示している。Ａは実カメラの内部パラメータを示し、Ｒは外部パラメータである回転パラメータを示し、ｔは外部パラメータである並進パラメータを示している。ｄは、画素ｍ（「~」が付加される）のデプスを示している。また、Ａ’は仮想視点の内部パラメータを示し、Ｒ’は仮想視点の外部パラメータである回転パラメータを示し、ｔ’は仮想視点の外部パラメータである並進パラメータを示している。ｘ’とｙ’は仮想視点のカメラ座標を示し、ｕ’とｖ’は仮想視点の画像座標を示し、ｄ’は仮想視点の画素（ｕ’，ｖ’）のデプスを示している。（Ｃｘ，Ｃｙ）は仮想視点の画素（ｕ’，ｖ’）の重心位置を示している。

上記式（５）および式（６）により複数のカメラから仮想視点のデプスを導出し、仮想視点の各画素において最短となるデプスをその画素のデプスとすることで、仮想視点のデプスマップを生成できる。本実施形態ではこの仮想視点のデプス導出時に描画領域決定部３０６で決定した描画領域による制限を加える。具体的には、実カメラから導出した３次元空間中の点Ｐが決定した描画領域内に含まれているときのみ、描画領域を仮想視点のデプスマップに反映する。これにより描画オブジェクトのみが反映された仮想視点のデプスマップが生成できる。図７は生成した仮想視点のデプスマップのイメージ図である。仮想視点のデプスマップには、描画領域に含まれる選手６０１、選手６０２およびボール６０３が反映されており、選手６０１、６０２およびボール６０３のそれぞれに対応した領域７０１、７０２、７０３が含まれていることが分かる。また、描画領域に含まれない選手６０４がデプスマップに含まれていないことが分かる。本実施形態では仮想視点のデプスマップを複数の実カメラのデプスデータから導出したが、仮想視点のデプスマップの導出方法は、この導出方法に限定されない。仮想視点のデプスマップの導出方法として、例えば、複数の実カメラの撮像画像からオブジェクトの３次元形状を推定し、仮想視点のデプスマップに変換する手法を用いることが可能である。また、仮想視点と成り得る位置にデプスセンサを設置しておき該当するデプスセンサからデプスマップを直接取得する手法を用いることが可能である。仮想視点デプス導出部３０７は、導出した仮想視点のデプスマップを仮想視点描画部３０８へ出力する。

ステップＳ４０６では、仮想視点描画部３０８は、取得した仮想視点デプスマップと撮像データとカメラパラメータに基づいて、仮想視点画像を描画する。仮想視点画像の描画手法には、例えば、イメージベースレンダリング（ＩＢＲ：Image-Based Rendering）などの公知手法が用いられる。仮想視点描画部３０８は、描画した仮想視点画像を出力する。

〔実施形態１による効果〕
図８（ａ）および図８（ｂ）は、ある撮影シーンの画像データを基に生成された、図５に示したオブジェクトの位置姿勢情報に対応する仮想視点画像のイメージ図である。図８（ａ）は実施形態１を適用せずに従来の手法を適用した場合のイメージ図であり、図８（ｂ）は実施形態１を適用し３つのオブジェクトＩＤ＝１、２、３にのみ描画領域を設定した場合のイメージ図である。

図８（ａ）のイメージ図と図８（ｂ）のイメージ図とを比較すると、図８（ａ）のイメージ図にて描画されている選手８０４は、図８（ｂ）のイメージ図では描画されていないことがわかる。このように、複数のオブジェクトのうち、描画領域が設定されたオブジェクトを描画することで、描画領域が設定されていないオブジェクトの描画のない仮想視点画像を生成することができる。すなわち、複数のオブジェクトのうち、注目オブジェクトを描画することで、注目オブジェクトではない非注目オブジェクトの描画のない仮想視点画像を生成することができる。よって、描画領域が設定されていないオブジェクトの描画がないことから、仮想視点画像の生成処理負荷を軽減することができる。さらに、視聴者の注目を選手６０１と選手６０２のボール６０３の奪い合いに集めることができ、映像製作者の意図をより効果的に反映した映像表現ができる。例えば、本実施形態例を用いることにより、サッカーの試合の映像の中でスター選手のみを描画した仮想視点映像の生成や、反則に関わった選手のみを描画することによる強調表示などが可能である。

［実施形態２］
上述の実施形態１では、撮影シーンに存在する全てのオブジェクトを描画オブジェクト又は非描画オブジェクトに分類し、その分類に基づき描画領域を決定することで、描画オブジェクトを描画し、非描画オブジェクトを描画しない仮想視点画像を生成できる。しかしながら、図６（ａ）にて、非描画対象の選手６０４が描画対象の選手６０２に対して近接した場所に居ると、選手６０２の描画領域内に選手６０４の一部が含まれ選手６０４が描画されない仮想視点画像の生成が難しい場面が想定される。図９は、本実施形態にて想定した場面を説明するイメージ図である。図９（ａ）は、想定した場面にて描画オブジェクトおよび非描画オブジェクト全てを描画した仮想視点画像を示すイメージ図である。図９（ａ）のイメージ図では、図６（ａ）のイメージ図の場合と比べて、選手９０４が選手９０２に対して近接した場所に居る場面となっている。図９（ｂ）は、図９（ａ）のイメージ図に実施形態１のステップＳ４０４で決定した描画領域を重畳表示したイメージ図である。選手９０４が選手９０２に対して近接した場所に居ることにより、選手９０４の一部分は選手９０２の描画領域に含まれることになる。図９（ｃ）は、実施形態１を適用して描画した仮想視点画像を示すイメージ図である。選手９０２の描画領域に含まれた選手９０４の一部分（図示例では選手９０４の左半身部分）が描画されることになる。このように描画オブジェクトに対して非描画オブジェクトが近接した場所に居る場面にて、以下の処理を行うことで、非描画オブジェクトが描画されず、描画オブジェクトのみが描画される仮想視点画像が生成される。

実施形態２では、描画領域決定時に描画領域だけでなく非描画領域も決定し、さらに、優先順位に従い描画領域および非描画領域を特定することにより、上記場面であっても、ユーザが見たいとしたオブジェクトのみで構成される仮想視点画像を生成する。実施形態２の処理装置１００で行われる処理について、データの流れと処理の流れは基本的には実施形態１と同様であり、機能ブロックに関しては図３と、フローチャートに関しては図４と同じである。ただし、特定の構成要素に更なる機能が付加されており、実施形態１との差異について、以下に説明する。

ステップＳ４０３では、描画オブジェクト情報取得部３０４は、描画オブジェクト情報を取得する。実施形態１では、ユーザにより見たいオブジェクトのＩＤの入力、すなわち、ユーザが注目するオブジェクトのＩＤの不図示のＵＩ画面を介した入力によって描画オブジェクト情報を取得していた。本実施形態では、これに加えて、ユーザにより入力された各オブジェクトの優先順位情報も取得する。優先順位情報は、オブジェクトに対する処理を行う順番を表す情報を含む。図９に示される場面では、例えば、選手９０１（描画、優先順位４）、選手９０２（描画、優先順位３）、ボール９０３（描画、優先順位２）、選手９０４（非描画、優先順位１）である描画オブジェクト情報を取得する。

ステップＳ４０４では、描画領域決定部３０６は、取得した描画オブジェクト情報に基づいて、描画領域と非描画領域を決定する。実施形態１では描画領域についてのみ導出したが、本実施形態では描画領域に加えて非描画領域も導出する。描画領域は実施形態１の描画領域の導出方法と同じ方法で導出される。非描画領域は、実施形態１の描画領域の導出方法と同様な方法で導出される。すなわち、非描画領域として、非描画対象のオブジェクトの位置姿勢情報に基づき、式（１）〜（３）より式（４）で表される８頂点の座標値をむすぶ直方体が導出される。図１０は、取得した描画オブジェクト情報に基づいて決定した描画領域および非描画領域を図９（ａ）のイメージ図に重畳表示したイメージ図である。破線で囲まれた領域１００１、１００２、１００３は描画領域を示し、一点鎖線で囲まれた領域１００４は非描画領域を示している。本実施形態においては、選手９０２より選手９０４のほうが優先順位にて若番であるため、描画領域１００２より非描画領域１００４が優先される。よって、非描画領域１００４と重なる描画領域１００２の一部分は非描画領域として処理されることになる。描画領域決定部３０６は、決定した描画領域と非描画領域を仮想視点デプス導出部３０７へ出力する。

ステップＳ４０５では、仮想視点デプス導出部３０７が取得した描画領域と非描画領域とデプスデータ、カメラパラメータに基づいて仮想視点デプスを導出する。実施形態１では描画領域に含まれる３次元空間中の点Ｐのデプスを導出していたが、本実施形態では描画オブジェクト情報の優先順位に従い前記点Ｐのデプスが導出される。本実施形態では、選手９０４の非描画領域１００４が優先順位１であるため、この領域に含まれる点が他のオブジェクトの描画領域に含まれても、仮想視点のデプスマップには反映されないことになる。図１１（ａ）は、図９（ａ）の場面に対して実施形態１を適用した際に生成した仮想視点のデプスマップのイメージ図である。図１１（ｂ）は、本実施形態を適用した際に生成した仮想視点のデプスマップのイメージ図である。実施形態１を適用した場合のデプスマップには非描画オブジェクトの選手９０４に対応した領域が含まれる。これに対し、本実施形態を適用した場合のデプスマップには、非描画オブジェクトの選手９０４に対応した領域が含まれず、描画オブジェクトの選手９０１、９０２、ボール９０３に対応した領域が含まれることになる。

〔実施形態２による効果〕
図１０に示したように、非描画オブジェクトの選手９０４の一部分が描画オブジェクトの選手９０２に対して近接した場所に居て、選手９０４の一部分が選手９０２の描画領域１００２に重なる場面でも、以下の効果を奏する。すなわち、選手９０４を描画せずに選手９０１、選手９０２、ボール９０３を描画した仮想視点画像を生成することが可能である。本実施形態を適用することにより、オブジェクト同士が近接した場合であっても、映像製作者の意図を効果的に反映した映像表現が可能となる。また、以下の効果を奏する。すなわち、描画領域が設定されたオブジェクトを描画することで、描画領域が設定されていないオブジェクトの描画のない仮想視点画像を生成することができる。つまり、複数のオブジェクトのうち、注目オブジェクトを描画することで、注目オブジェクトではない非注目オブジェクトの描画のない仮想視点画像を生成することができる。よって、描画領域が設定されていないオブジェクトの描画がないことから、仮想視点画像のデータサイズを低減でき、仮想視点画像の生成処理負荷を軽減することができる。

［実施形態３］
上述の実施形態２では、描画オブジェクトに対して非描画オブジェクトが近接した場所に居る場面でも、以下の効果を奏する。優先順位に従い描画領域および非描画領域の描画処理を行うことで、複数のオブジェクトのうち、描画オブジェクトを描画することで、非描画オブジェクトの描画のない仮想視点画像を生成できる。しかしながら、図１０にて、非描画対象の選手９０４が描画対象の選手９０２に対してより近接した場所に居る場合には、以下の場面が想定される。選手９０４の非描画領域１００４内に選手９０２の一部分が含まれ描画オブジェクトのみが描画された仮想視点画像の生成が難しい場面が想定される。図１２は、本実施形態にて想定した場面を説明するイメージ図である。図１２（ａ）は、想定した場面にて描画オブジェクトおよび非描画オブジェクト全てを描画した仮想視点画像を示すイメージ図である。図１２（ａ）のイメージ図では、図９（ａ）のイメージ図の場合と比べて、選手１２０２が選手１２０１に対してより近接した場所に居る場面となっている。図１２（ｂ）は、図１２（ａ）のイメージ図に実施形態２のステップＳ４０４で決定した描画領域および非描画領域を重畳表示したイメージ図である。選手１２０２が選手１２０１に対してより近接した場所に居ることにより、選手１２０１の左腕先部分が選手１２０２の非描画領域１２０４に含まれることになる。図１２（ｃ）は、実施形態２を適用して描画した仮想視点画像を示すイメージ図である。選手１２０２の非描画領域１２０４に含まれた選手１２０１の一部分（図示例では選手１２０１の左腕先部分）が描画されないことになる。このように非描画オブジェクトに対して描画オブジェクトがより近接した場所に居る場合にて、以下の処理を行うことで、非描画オブジェクトが描画されず、描画オブジェクトのみが描画される仮想視点画像が生成される。

実施形態３では、実施形態２に加えて、描画領域と非描画領域とが重複する領域に関して、より詳細な描画領域および非描画領域を決定することにより、上記場面であってもユーザが見たいとしたオブジェクトのみで構成される仮想視点画像を生成する。実施形態３の処理装置１００で行われる処理について、データの流れと処理の流れは基本的に実施形態２と同様であり、機能ブロックに関しては図３と、フローチャートに関しては図４と同じである。ただし、描画領域決定部３０６に更なる機能が付加されており、実施形態２との差異について、以下に説明する。

ステップＳ４０４では、描画領域決定部３０６は、取得した描画オブジェクト情報に基づいて、描画領域と非描画領域を決定する。描画領域および非描画領域の導出方法は実施形態２と同様である。ただし、描画領域と非描画領域とで重なる重複領域があると、重複領域に対しては、以下の処理が行われる。重複領域が無いと、以下の処理が行われず、ステップＳ４０４の処理が終わると、ステップＳ４０５へ進む。本実施形態では、重複領域のみ視体積交差法を用いてボクセル生成を行い、ボクセルそれぞれについて描画対象または非描画対象であるかを決定する。本実施形態における描画領域決定部３０６で行われる詳細な処理について、図１３に示す機能ブロック図、図１４に示すフローチャート、図１５に示すイメージ図を用いて説明する。

以下、描画領域決定部３０６が実行する描画領域決定処理について詳細に説明する。

図１３は、描画領域決定部３０６の機能ブロックを示す図である。描画領域決定部３０６は、描画領域導出部１３０１、重複領域導出部１３０２、ボクセル生成部１３０３、距離導出部１３０４、描画・非描画判定部１３０５を有する。

図１４は、描画領域決定部３０６が実行する描画領域決定処理の流れを示すフローチャートである。この描画領域決定処理は図４のステップＳ４０４において実行される。つまり、本実施形態では、図１３に示す各構成要素が、それぞれＣＰＵ１０１の制御に基づいて専用のハードウェアとして動作することで、図１４の処理が実現される場合について説明する。ただし、ＣＰＵ１０１が所定のプログラムを実行することにより、図１４の処理が実現されるようにしてもよい。

図１５は、図１２と同じ場面に対して実施形態３を適用した場合のイメージ図である。図１５（ａ）は、重複領域導出処理を説明するためイメージ図である。図１５（ｂ）は、距離導出処理を説明するためのイメージ図である。図１５（ｃ）は、描画・非描画判定処理を説明するためのイメージ図である。

ステップＳ１４０１では、描画領域導出部１３０１は、取得した描画オブジェクト情報に基づいて、描画領域および非描画領域を導出する。描画領域および非描画領域の導出方法は実施形態２と同様である。描画領域導出部１３０１は、導出した描画領域および非描画領域を重複領域導出部１３０２に出力する。図１５（ａ）では、選手１２０１が描画オブジェクトに、選手１２０２が非描画オブジェクトに設定されており、選手１２０１の描画領域１２０３と選手１２０２の非描画領域１２０４とが導出される。

ステップＳ１４０２では、重複領域導出部１３０２は、描画領域導出部１３０１が導出した描画領域および非描画領域に基づいて、描画領域と非描画領域とが重複する重複領域を導出する。重複領域導出部１３０２は、重複領域を構成する頂点の座標を記録し、その頂点の座標を重複領域情報として、ボクセル生成部１３０３に出力する。図１５（ａ）では、描画領域１２０３と非描画領域１２０４とが重複する重複領域１２０５が導出される。

ステップＳ１４０３では、ボクセル生成部１３０３は、重複領域導出部１３０２が導出した重複領域情報に基づき、オブジェクトのうち重複領域に対応する部分に対して要素であるボクセルを生成する。すなわち、オブジェクトのうち、重複領域の頂点の座標で囲まれる領域に含まれる部分に対してボクセルを生成する。本実施形態では、重複領域に対して視体積交差法などの公知の手法によりボクセルを生成する。本実施形態では、１ボクセルの１辺のサイズを０．５ｍｍとするが、ボクセルのサイズを０．５ｍｍより小さくしても大きくしても実施可能である。また、本実施形態では、視体積交差法により重複領域に含まれるオブジェクトのボクセルを生成する場合について説明したが、ボクセルの生成方法に関しこの手法に限定されない。重複領域に含まれるオブジェクトの詳細形状を生成できる場合には、例えば、ステレオ法による形状推定などでも実施可能である。ボクセル生成部（要素生成部）１３０３は、生成した重複領域に含まれるオブジェクトのボクセルデータを距離導出部１３０４に出力する。本実施形態におけるボクセルデータとは、ボクセル重心の３次元情報とボクセルサイズとを含むデータである。

ステップＳ１４０４では、距離導出部１３０４は、ボクセル生成部１３０３が生成した各ボクセルの重心座標と取得したオブジェクト位置姿勢情報とに基づいて、各ボクセルと各オブジェクトの重心位置間の距離を導出する。距離導出部１３０４は、導出した距離を描画・非描画判定部１３０５へ出力する。例えば、図１５（ｂ）では、重複領域１２０５内のあるボクセルの重心位置Ｇ１を基点に、描画対象の選手１２０１の重心位置Ｇ２との距離Ｌ１と、非描画対象の選手１２０２の重心位置Ｇ３との距離Ｌ２（＞Ｌ１）が導出される。

ステップＳ１４０５では、描画・非描画判定部１３０５は、距離導出部１３０４が導出した距離に基づいて、ボクセルが描画対象のオブジェクトに含まれるボクセルか、非描画対象のオブジェクトに含まれるボクセルかを判定する。描画・非描画判定部１３０５は、導出したボクセルの重心位置と各オブジェクトの重心位置間の距離が最も短いオブジェクトにそのボクセルが帰属すると判定する。すなわち、ボクセルの帰属先を判定する。描画・非描画判定部１３０５は、ボクセルの帰属先が描画対象のオブジェクトであればそのボクセルを描画対象である描画ボクセルと判定し、ボクセルの帰属先が非描画対象のオブジェクトであればそのボクセルを非描画対象である非描画ボクセルと判定する。そして、描画・非描画判定部１３０５は、描画ボクセルと非描画ボクセルを含む描画・非描画領域を生成する。例えば、図１５（ｃ）では、重複領域１２０５に関し、選手１２０１の左腕先部分を含む領域１２０６に対しては描画ボクセルと判定し、選手１２０１の左腕先部分を含まない領域１２０７に対しては非描画ボクセルと判定される。

ステップＳ１４０６では、描画領域決定部３０６は、重複領域に含まれる全てのボクセルに対して描画・非描画判定処理が行われたか否かを判定する。全てのボクセルに対して描画・非描画判定処理が行われていないと判定した場合には、ステップＳ１４０４へ移行し、描画・非描画判定が未処理である残りのボクセルに対してＳ１４０４の距離導出とＳ１４０５の描画・非描画判定の処理が行われる。全てのボクセルに対して描画・非描画判定処理が行われた場合は、描画領域決定部３０６は、詳細に導出した描画・非描画領域、すなわち、描画ボクセルおよび非描画ボクセルが含まれる描画領域・非描画領域を仮想視点デプス導出部３０７へ出力する。

〔実施形態３による効果〕
図１５（ｄ）は、図１２と同じ場面に対して実施形態３を適用して生成した仮想視点画像のイメージ図である。描画対象である選手９０１、ボール９０３、選手１２０１が描画され、非描画対象である選手１２０２が描画されない仮想視点画像が生成される。

本実施形態によれば、描画領域と非描画領域との重複領域内のオブジェクトに対してボクセル単位で描画・非描画判定を行いその結果に基づいて描画領域と非描画領域を特定したことにより、実施形態２と比較して、多様な場面の仮想視点画像を生成できる。すなわち、描画オブジェクトと非描画オブジェクトとがより近接した場所に居た場面をも含むシーンの仮想視点画像を生成することができる。よって、描画領域が設定されていないオブジェクトの描画がないことから、仮想視点画像のデータサイズを低減でき、仮想視点画像の生成処理負荷を軽減することができる。

［その他の実施形態］
実施形態１から３では、描画オブジェクト情報取得部３０４が、描画したいオブジェクトの識別ＩＤを含む描画オブジェクト情報を取得するものとしていたが、実施形態はこれに限らず、ユーザが画像上で入力する形態であっても実施可能である。図１６は、ユーザが操作するＵＩ画面の一例を示す図である。画像１６０１はそれぞれ選択したシーンの選択したカメラの選択したフレーム番号の画像である。画像上のカーソル（ポインタ）１６０２はオブジェクトを指定するために用いるツールであり、オブジェクトが存在する画像の位置をクリック可能である。表１６０３は、カーソル１６０２で選択したオブジェクトが格納される表である。優先順位を設定する項目、選択したオブジェクトの画像上での位置座標が格納される項目、描画／非描画を選択する項目が含まれる。図１６では、オブジェクトの指定にカーソルを用いたが、円などでオブジェクトを囲んで指定してもよいし、タッチパネルを用いて指定してもよい。また、指定したポイントから例えば半径１０ｍに含まれるオブジェクトを全て描画オブジェクトとするといった指定方法でも実施可能である。

実施形態１から３では、オブジェクトを基準として描画領域および非描画領域を決定したが、実施形態はこれに限らず、例えば、３次元空間上で描画領域および非描画領域を直接設定する場合であっても実施可能である。

上記では、撮像データと仮想視点デプスとカメラパラメータとを用いて仮想視点画像を描画したが、実施形態はこれに限らず、例えば、ＩＢＲにより、撮像データとカメラパラメータを用いて仮想視点画像を描画する場合であっても実施可能である。この手法の場合、デプスデータが不要であり、その分、処理負荷を軽減できる。

上記では、描画オブジェクト情報およびオブジェクト位置姿勢情報に基づいて描画領域を決定する場合について説明した。位置姿勢情報の変わりに、位置情報と予め設定された形状情報を用いて描画領域を決定することも実施可能である。

上記では、オブジェクト位置姿勢情報の取得対象をフィールド上に存在する全てのオブジェクトとした場合について説明したが、オブジェクト位置姿勢情報の取得対象を撮影シーンに存在する全てのオブジェクトとすることも可能である。

上記では、フィールド上に存在する全ての描画オブジェクト情報の取得対象をフィールド上に存在する全てのオブジェクトとした場合について説明したが、オブジェクト位置姿勢情報の取得対象を撮影シーンに存在する全てのオブジェクトとすることも可能である
実施形態３では、描画・非描画判定基準を距離とした場合について説明したが、描画・非描画判定基準を各ボクセルと各オブジェクトの色による連続性、各ボクセルと各オブジェクトの位置情報による連続性などの情報とすることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (16)

1. 複数の撮影手段が撮影領域対象を異なる方向から撮影することで得られる複数視点画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、
   前記撮影領域対象内の複数のオブジェクトのうち、描画対象のオブジェクトの大きさを含む情報に基づいて、前記仮想視点画像を描画する３次元空間上にて、前記描画対象のオブジェクトを含む描画領域を決定する決定手段と、
   前記決定した描画領域と前記情報とに基づいて、前記描画対象のオブジェクトを描画することで、前記複数のオブジェクトのうち前記描画対象のオブジェクトではないオブジェクトの描画のない仮想視点画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記撮影領域対象内の複数のオブジェクトのうち、非描画対象のオブジェクトの大きさを含む前記情報に基づいて、前記仮想視点画像を描画する３次元空間上にて、前記非描画対象のオブジェクトを含む非描画領域も決定し、
   前記生成手段は、決定した非描画領域にも基づいて、前記非描画対象のオブジェクトを描画しない前記仮想視点画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの位置情報を含む前記情報を取得する取得手段を有し、
   前記決定手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの位置情報と、前記オブジェクトに対して予め設定された形状情報とに基づき前記描画領域および前記非描画領域を決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの重心位置情報を含む前記情報を取得し、
   前記決定手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの重心位置情報にも基づき前記描画領域および前記非描画領域を決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの位置情報を含む前記情報を取得する取得手段を有し、
   前記描画対象のオブジェクトが人に分類されている場合、
   前記取得手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの位置情報と重心位置情報と姿勢情報を含む前記情報を取得し、
   前記決定手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの位置情報と重心位置情報と姿勢情報に基づき前記描画領域および前記非描画領域を決定することを特徴とする請求項２に記載の画像処理装置。
6. 前記取得手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの関節位置情報を含む前記情報を取得し、
   前記決定手段は、前記描画対象のオブジェクトおよび前記非描画対象のオブジェクトの関節位置情報にも基づき前記描画領域および前記非描画領域を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記複数視点画像の各画素のデプスデータと前記描画領域と前記撮影手段と前記仮想視点に基づき、前記仮想視点から見た仮想視点デプスデータを導出するデプス導出手段を有し、
   前記生成手段は、導出した仮想視点デプスデータにも基づいて前記仮想視点画像を生成することを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
8. 前記デプス導出手段は、前記描画領域に含まれる３次元空間上の点のみ前記デプスデータを導出することを特徴とする請求項７に記載の画像処理装置。
9. 前記複数のオブジェクトそれぞれに、当該オブジェクトに対する処理を行う順番を表す優先順位が付与されており、
   前記生成手段は、前記優先順位に応じて、前記描画領域と前記非描画対象のオブジェクト、または前記非描画領域と前記描画対象のオブジェクトが重なる領域を描画する、または描画しない前記仮想視点画像を生成する
   ことを特徴とする請求項３から６の何れか一項に記載の画像処理装置。
10. 前記描画領域と前記非描画領域とが重なる重複領域を導出する導出手段と、
    前記重複領域内の形状を構成する複数の要素を生成する要素生成手段と、
    前記複数の要素それぞれの帰属先が前記複数のオブジェクトのいずれかを導出し、導出した帰属先に基づいて前記複数の要素それぞれを描画するかを判定する描画判定手段とを有し、
    前記生成手段は、前記判定に応じて前記要素を描画した前記仮想視点画像を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記要素生成手段は、前記複数の要素それぞれをボクセルで生成することを特徴とする請求項１０に記載の画像処理装置。
12. 前記描画判定手段は、前記複数のオブジェクトそれぞれとの重心位置間の距離と、前記複数のオブジェクトそれぞれとの色の連続性と、前記複数のオブジェクトそれぞれとの位置の連続性の少なくとも一つに応じて、前記複数の要素それぞれの帰属先を導出することを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記取得手段は、前記描画対象のオブジェクトまたは前記非描画対象のオブジェクトが、ユーザにより指定されることで前記情報を取得することを特徴とする請求項３から６の何れか一項に記載の画像処理装置。
14. 前記取得手段は、前記複数視点画像を表示するＵＩ画面にて、前記描画対象のオブジェクト、前記描画領域、前記非描画対象のオブジェクト、または前記非描画領域が、ユーザにより指定されることで前記情報を取得することを特徴とする請求項３から６の何れか一項に記載の画像処理装置。
15. 複数の撮影手段が撮影領域対象を異なる方向から撮影することで得られる複数視点画像に基づいて、設定した仮想視点から見た仮想視点画像を生成する画像処理方法であって、
    前記撮影領域対象内の複数のオブジェクトのうち、描画対象のオブジェクトの大きさを含む情報に基づいて、前記仮想視点画像を描画する３次元空間上にて、前記描画対象のオブジェクトを含む描画領域を決定するステップと、
    前記決定した描画領域と前記情報とに基づいて、前記描画対象のオブジェクトを描画することで、前記複数のオブジェクトのうち前記描画対象のオブジェクトではないオブジェクトの描画のない仮想視点画像を生成するステップと
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１から１４の何れか一項に記載の画像処理装置として機能させるためのプログラム。