JP2019021333A - 画像処理装置及び画像処理方法及びプログラム - Google Patents

Abstract

【課題】 注視すべきオブジェクトをより効果的に表す仮想視点画像を生成する。【解決手段】 複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得部と、仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得部と、画像取得部により取得される画像と情報取得部により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成部であって、複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成部とを有する。【選択図】 図３

Description

本発明は、複数の視点位置から撮像した画像に基づき、設定した仮想視点からの画像を生成する技術に関するものである。

複数のカメラで撮像した画像から、オブジェクト（例えば人物等）の立体モデルを求め、本来はカメラが存在しない任意の視点（以下、仮想視点）における画像（以下、仮想視点画像）を、複数の撮像画像から生成する技術が知られている（特許文献１）。

また、仮想視点画像に、更なる情報を付加する技術も知られている。例えば、特許文献２は、仮想視点画像に広告を表示する技術を開示し、特許文献３は仮想視点画像に説明情報を付加する技術を開示している。

特許第５０１１２２４号公報 特許第５５９３３５６号公報 特許第５２９５４１６号公報

上記特許文献２、３の技術は、表示効果を上げるため、付加的に情報を仮想視点画像に追加するものである。しかしながら、仮想視点画像内のオブジェクトそのものを、より効果的に表示するという観点からは、未だ不十分である。

本発明は、かかる点に鑑みなされたものであり、注視すべきオブジェクトそのものを、より効果的に表す仮想視点画像を生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、前記注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成手段とを有する。

本発明によれば、注視すべきオブジェクトをより効果的に表す仮想視点画像を生成することが可能となる。

実施形態における画像処理システムの構成図。 実施形態における情報処理装置のハードウェアブロック構成図。 実施形態における画像処理装置の機能ブロック構成図。 実施形態におけるオブジェクトテーブルの例を示す図。 実施形態のシステムで生成される仮想視点画像の例を示す図。 実施形態のシステムで生成される他の仮想視点画像の効果を示す図。 実施形態におけるオブジェクト分類部の分類処理を示すフローチャート。 実施形態におけるレンダリング部の処理内容を示すフローチャート。 透明度の設定の例を示す図。

以下図面に従って本発明に係る実施形態を詳細に説明する。

図１は実施形態における画像処理システムの撮像環境と構成を示している。図示の如く、本システムは複数のカメラ１０１と、各カメラで撮像した撮像画像を受信、蓄積、仮想視点画像を生成する情報処理装置１１０で構成される。カメラ１０１と情報処理装置１１０間の通信路は有線、無線を問わない。

そして、実施形態では、図示の如く、サッカーのフィールドを取り囲むように複数のカメラ１０１を配置する例を示している。撮影対象のサッカーフィールドは、グラウンド１２１、人（プレイヤー等）１２２、ボール１２３、ゴールポスト１２４が配置されている。また、これら参照符号１２０番台を、実施形態では、オブジェクトとして表現する。なお、図示ではカメラ１０１が１０台であることを示しているが、この数に特に制限はない。この数が、多いほど、オブジェクトの死角が少なくなり、より正確な仮想視点画像が生成できる。また、サッカーフィールドを例示するのに特に理由はない。あくまで、具体例を示すことで、本実施形態の理解を容易にするためであると理解されたい。

情報処理装置１１０は、パーソナルコンピュータ等に代表される装置と同様の構成であって、具体的には図２の構成である。図示の如く、情報処理装置１１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部記憶装置としてのハードディスク（HDD）２０４を有する。更に、キーボード２０５、マウス２０６、表示制御部２０７及び表示装置２０８、複数のカメラ１０１から撮像画像を受信するためのインターフェース（Ｉ／Ｆ）２０９を有する。

ＨＤＤ２０４には、ＯＳ（オペレーティングシステム）や、画像処理装置として機能するためのアプリケーションプログラムが格納されている。また、先に説明した複数のカメラ１０１から受信した撮像画像も、このＨＤＤ２０４に格納されるものである。本装置の電源がＯＮになると、ＣＰＵ２０１は、ＲＯＭ２０２のプログラムを実行することでで、ＨＤＤ２０４からＯＳがＲＡＭ上にロードし、実行する。そして、ＯＳ上が稼働している下で、ＨＤＤ２０４からアプリケーションをＲＡＭ２０３にロードし、実行されることで、情報処理装置が画像処理装置として機能することになる。

各カメラ１０１の設置位置、視線方向、並びにカメラパラメータ（焦点距離等）に係る情報（以下、入力視点情報という）が、情報処理装置が有するＨＤＤ２０４に保持されているものとする。また、複数のカメラ１０１が撮像した画像がインターフェース２０９を介して受信され、既にＨＤＤ２０４に格納されているものとする。

図３は、情報処理装置１１０のＣＰＵがアプリケーションプログラムを実行して、画像処理装置として機能している場合の機能ブロック構成図である。なお、図示における一部の機能部は、ハードウェアで実現しても構わない。

実施形態における画像処理装置は、画像入力部３０１、視点情報保持部３０２、形状生成部３０３、モデル情報保持部３０４、オブジェクト分類部３０５、注視オブジェクト設定部３０６、仮想視点設定部３０７、レンダリング部３０８、出力部３０９を有する。

各構成については、後述する説明から明らかにするが、本実施形態の特徴を分かりやすく説明すると、以下の通りである。

位置、視線方向が既知の複数のカメラ１０１でオブジェクト（１つとは限らない）を含む画像を撮像すると、周知の技術（例えば特許文献１）により、オブジェクトの３次元の形状を表す形状情報を得ることができる。３次元空間でのオブジェクトの形状が定義できるわけであるから、各カメラ１０１による撮像画像に対応するデプス画像を演算によって求めることができる。なお、ここで言うデプス画像とは、カメラの視点とオブジェクトの表面上の点との間の距離を表す画素の集合である。また、同じ理由で、カメラ１０１が存在しない任意の視点位置、つまり、仮想視点の視線方向のデプス画像も生成できるのは理解できよう。仮想視点から見えるデプス画像が出来上がると、そのデプス画像上の画素の色は、現実の撮像画像における対応する位置の画素値を参照すれば求めることができる。この処理を繰り返せば、仮想視点から見たデプス画像に基づく、仮想視点画像が生成できることになる。

通常、仮想視点画像を生成する際には、その仮想視点からのデプス画像をまず求める。そして、そのデプス画像上の任意の位置Ｐの色を決定する場合には、位置Ｐをデプス画像として持つ２つの撮像画像内の画素値を用いて算出する。具体的には次の通りである。

さて、先に説明したように、設定する仮想視点の位置やその視線方向に特に制限はない。しかしながら、例えば、注視したいオブジェクトＡを含む仮想視点画像を生成するはずが、その際の仮想視点とオブジェクトＡとの間に他のオブジェクトＢが位置してしまって、肝心のオブジェクトＡがオブジェクトＢで遮られてしまう、という場合が起こる。このような場合、オブジェクトＢによってオブジェクトＡが邪魔されない位置に仮想視点をずらした上で、仮想視点画像を生成せざるを得ない。つまり、ユーザは、当初設定した仮想視点位置をあきらめなければならない。本実施形態は、図３に示す構成により、他のオブジェクトで邪魔されないで、ユーザが望むアングルで、注視したいオブジェクトを含む仮想視点画像を生成するものである。以下に具体例を説明する。

例えば、プレイヤー１２２やボール１２３を、グラウンド１２１よりも下から見た仮想視点画像を生成する場合には、グラウンド１２１というオブジェクトを透明化する。図５はこの際の仮想視点画像の例を示している。ただし、プレイヤーのシューズの裏側等、複数のカメラ１０１でも死角になっていた部位があるので、そのような死角部位については、現実に撮像した画像中の最寄りの画素（シューズのエッジの画素）の色で補間することで生成する。

図６（ａ）は、プレイヤー６０１〜６０３が、ボールを囲むようにしている仮想視点画像の例を示している。今、ユーザが注視したいのがプレイヤー６０１であるとする。しかし、同図の場合、設定した仮想視点と注視したいプレイヤー６０１との間には、プレイヤー６０３が存在し、プレイヤー６０１が良く見えない。そこで、本実施形態では、プレイヤー６０３を透明化することで、同図（ｂ）のように、意図したプレイヤー６０１とボール６０４を含む仮想視点画像を生成するものである。

本実施形態では、ユーザは、注視したいオブジェクトを設定（選択）する操作を行うだけであり、透明化させるオブジェクトを明示的に設定する必要はない。透明化するか否かは、非注視オブジェクトの中から、仮想視点との相対的な位置関係に従って自動的に決定していく。例えば、図６（ａ）では、プレイヤー６０１が注視したいオブジェクトとして設定されるものの、プレイヤー６０２，６０３に対しては格別な設定は行わない。そして、プレイヤー６０２は、プレイヤー６０１の仮想視点からの妨げになっていないので、同図（ｂ）では、プレイヤー６０３は透明化するものの、プレイヤー６０２は仮想視点画像の一部として描画されることになる。

以下、上記を実現する実施形態の画像処理装置の処理を、図３を参照して説明する。

画像入力部３０１は、ＨＤＤ２０４から、複数のカメラ１０１によって同時刻に撮像した撮像画像を入力し、形状生成部３０３に供給する。形状生成部３０３は、画像入力部３０１から供給された複数の撮像画像と、視点情報保持部３０２に保持された視点情報（各カメラの設置位置、視線方向、焦点距離等の情報）とを用いて、複数のオブジェクトの３次元空間における形状を表す形状情報を公知の技術（例えば特許文献１）を用いて生成する。なお、ＨＤＤ２０４に格納されている各撮像画像は、その撮像画像を撮像したカメラを特定する情報のカメラＩＤをファイル名として格納されているものとする。また、視点情報保持部３０２内に保持されている各カメラの視点情報も、カメラＩＤと対応付けられて管理されているものとする。

なお、形状生成部３０３が生成した形状情報は、この段階では、複数のオブジェクトが区別がつかない状態となっている。形状生成部３０３は、生成した形状情報をオブジェクト分離部３０５に供給する。

モデル情報保持部３０４は、識別することになるオブジェクト（実施形態では、グラウインド、ゴールポスト、ボール、人）の３次元のモデル情報と、そのモデル情報で識別しる下限の個数を予め記憶保持している。例えば、ゴールポストは２つ識別することが設定されている。

オブジェクト分離部３０５は、モデル情報保持部３０４に格納された各オブジェクトのモデル情報を、形状生成部３０３からの形状情報にマッチングすることで、各々を独立したオブジェクトとして、オブジェクトテーブル（ＲＡＭ２０３に確保されるものとする）に登録していく。

なお、形状生成部３０３が生成した形状情報は、グラウンドを介してゴールポスト、ボール、人間の形状が接続された状態となっている。そこで、まず、グラウンドのモデルを形状情報にマッチングし、グラウンドのオブジェクトを決定する。そして、グラウンドのオブジェクトを表す部分系情報を、形状生成部３０３からの形状情報から、削除する。この結果、グラウンド以外のオブジェクトは、空間的に孤立したオブジェクトとすることができる。従って、この後は、オブジェクト分離部３０５は、次に分離すべきのオブジェクト（例えばゴールポスト）についても、マッチングを行い、オブジェクトテーブルに登録することを繰り返していけば良い。なお、各種類のオブジェクトが、その下限の数の検出にまで至らなかった場合には、エラー処理を行うものとする。

図４は、作成されたオブジェクトテーブルの例を示している。図示の如く、オブジェクトテーブルは、オブジェクトＩＤ、種類、部分形状情報、位置姿勢情報、注視フラグ、透明化フラグのフィールドで構成される。ここで、種類、部分形状情報、位置姿勢情報については、これまでの説明から明らかであるので、その説明は不要であろう。オブジェクトＩＤは、オブジェクト分類部３０５が各オブジェクトを分類する際に、内部的に発番するものであって、各オブジェクトを特定する情報である。注視フラグ、透明化フラグについては、以下の説明から明らかにする。

図７は、実施形態におけるオブジェクト分類部３０５の処理内容を示すフローチャートである。以下同図に従って、その処理内容を説明する。

オブジェクト分類部３０５は、Ｓ７０１にて、形状生成部３０３からの形状情報と、モデル情報保持部３０４に保持されたモデル情報を取得する。そして、オブジェクト分類部３０５は、Ｓ７０２にて、モデル情報内の１つのオブジェクトのモデルを用いて、形状情報にマッチングすることで、該当するモデルにマッチする部分形状がどの位置に、どの向き（姿勢）で存在するかを探索していく。そして、オブジェクト分類部３０５が、マッチする部分形状が発見したと判断すると（Ｓ７０３）、処理をＳ７０４に進める。このＳ７０４にて、オブジェクト分類部３０５は、探索したモデルの種類を判定すると共に、オブジェクトＩＤを発番する。そして、Ｓ７０５にて、オブジェクト分類部３０５は、オブジェクトＩＤ、モデルの種類、部分形状情報、部分形状情報が示すオブジェクトの３次元空間内の位置及びモデルがマッチした姿勢を表す位置姿勢情報をオブジェクトテーブルに登録する。そして、Ｓ７０６にて、オブジェクト分類部３０５は、同じ部分形状情報が重複して登録することが無いように、形状情報から、登録済みとなった部分形状情報を削除する。この後、オブジェクト分類部３０５は、処理をＳ７０２に戻し、オブジェクトの分類を、探索できなくなるまで繰り返す。なお、先に説明したように、各種類のオブジェクトが、その下限数に満たない場合にはエラー処理を行うものとする。以上が実施形態におけるオブジェクト分類部３０５の処理である。

オブジェクトテーブルが生成されると、注視オブジェクト設定部３０６は、ユーザに対して、どのオブジェクトを注視したいのかを設定させる。具体例としては、例えば生成されたオブジェクトテーブルの全オブジェクトの部分形状情報に基づき、或る適当な仮想視点での仮想視点画像を生成し、表示装置２０８に表示する。そして、ユーザにキーボード２０５やマウス２０６による操作を促し、注視したいオブジェクトを１つ以上設定させる（注視したいオブジェクトの数の上限は、オブジェクトテーブルに登録されたオブジェクトの数となる）。図４のオブジェクトテーブルにおける「注視フラグ」は、そのオブジェクトが注視したいオブジェクトであるか否かを示す情報である。“１”はそのオブジェクトが注視したいオブジェクト（以下、注視オブジェクト）であることを示し、“０”は注視しなくても良いオブジェクト（以下、非注視オブジェクト）であることを示している。

仮想視点設定部３０７は、ユーザによるキーボード２０５やマウス２０６からの操作に従い、仮想の視点位置や視線方向を示す仮想視点情報を設定し、その仮想視点情報をレンダリング部３０８に供給する。

そして、レンダリング部３０８は、オブジェクトテーブルと、仮想視点情報に基づき、設定した仮想視点から見える仮想視点画像を生成し、出力部３０９に出力する。出力部３０９による仮想視点画像の出力先は表示装置２０８、或いは／及び、ＨＤＤ２０４となる。出力先が表示装置２０８の場合には仮想視点画像の表示となり、ＨＤＤ２０４の場合にはファイルとして保存となる。

ここで実施形態におけるレンダリング部３０８の処理を、図８のフローチャートに従って以下に説明する。

まず、Ｓ８０１にて、レンダリング部３０８は、仮想視点設定部３０７が設定した仮想視点を入力する。そして、Ｓ８０２にて、レンダリング部３０８は、オブジェクトテーブルから１つのオブジェクト（以下、着目オブジェクト）の情報を入力する。Ｓ８０３にて、レンダリング部３０８は、着目オブジェクトの注視フラグから、着目オブジェクトが非注視オブジェクトであるか否かを判定する。着目オブジェクトが非注視オブジェクトである場合には、レンダリング部３０８は、Ｓ８０４にて、オブジェクトテーブルの位置姿勢情報を参照して、着目オブジェクトが、仮想視点から見て、少なくとも１つの注視オブジェクトを遮るか否かを判定する。この判定は、例えば次のようなもので良いであろう。
・仮想視点の位置と注視オブジェクト（の重心位置）との距離をＬ、
・仮想視点の位置と着目オブジェクト（非注視オブジェクト）との距離をＬ’
・仮想視点の位置を基準にし、注視オブジェクトと着目オブジェクトのなす角度をθ
・予め設定された閾値Ｔｈ
と定義する。このとき、次の条件
条件：Ｌ＞Ｌ’かつθ＜Ｔｈ …（１）
を満足する注視オブジェクトが存在するとき、着目オブジェクト（非注視オブジェクト）が、仮想視点から見て注視オブジェクトを遮るように位置していると判断する。

なお、判定速度が遅くなるが、判断精度を高めるために、各オブジェクトのサイズ、仮想視点との距離や仮想視点での表示倍率等を加味しても構わない。

さて、Ｓ８０４の判定にて、着目オブジェクト（非注意オブジェクト）が、注視オブジェクトを遮ると判断した場合、レンダリング部３０８は処理をＳ８０５に進め、着目オブジェクトを透明化するものとして決定する。このため、レンダリング部３０８は、オブジェクトテーブル内の着目オブジェクトを透明化オブジェクトとするため、透明化フラグを“１”に設定する。

一方、Ｓ８０３にて、着目オブジェクトが注視オブジェクト（注視フラグが“１”）であると判定された場合、或いは、Ｓ８０４にて、着目オブジェクト（非注視オブジェクト）が他の注視オブジェクトを遮らないと判定された場合、レンダリング部３０８は、Ｓ８０６にて、着目オブジェクトを非透明化オブジェクトとするため、着目オブジェクトの透明化フラグを“０”に設定する。

Ｓ８０７にて、レンダリング部３０８は、オブジェクトテーブル内の全オブジェクトに対しての透明化／非透明化を決定したか否かを判定し、否の場合にはＳ８０２以降の処理を繰り返す。

こうして、オブジェクトテーブル内の全オブジェクトについての透明化／非透明化の設定処理を終えると、レンダリング部３０８は、Ｓ８０８に処理を進める。このＳ８０８にて、レンダリング部３０８は、オブジェクトテーブルにおける、透明化フラグが“１”のオブジェクトの部分形状情報を除外し（不使用とし）、透明化フラグが“０”（透明化しない）のオブジェクトの部分形状情報に基づいて仮想視点画像を生成する処理を行い、生成した仮想視点画像を出力部３０９に出力する。透明化オブジェクトが存在しないものと等価の状態で仮想視点画像を生成するわけであるから、結果的に、仮想視点と注視オブジェクトとの間に存在する非注視オブジェクトは、透明なオブジェクトとして扱われることとなる。つまり、注視オブジェクトが、非注視オブジェクトによって遮られることを抑制できることになる。

今、グラウンドよりも低く、見上げる視線方向に仮想視点を設定した場合、グラウンドの透明化フラグが“１”となり、結果として図５のような仮想視点画像が生成することが可能となる。

また、例えば、図６（ａ）において、ユーザがプレイヤー６０１を注視オブジェクトとして設定した場合（プレイヤー６０２，６０３を非注視オブジェクトとなる）、注視オブジェクトを遮るように位置するプレイヤー６０３が透明化オブジェクトとして決定され、図６（ｂ）に示す仮想点画像が生成されることになる。

以上説明したように本実施形態によれば、ユーザが設定した仮想視点の位置のままで、注視したいオブジェクトが注視しなくても構わないオブジェクトによって遮られない仮想視点画像を生成することが可能となる。従って、例えばサッカーの試合におけるスーパースターのプレイを、他のプレイヤーで遮られることになり仮想視点画像として生成することが可能になる。

なお、上記実施形態では、非注視オブジェクトを透明化すると決定した場合、その非注視オブジェクトの部分形状情報をレンダリングに用いないものとして説明した。しかし、場合によっては、仮想視点位置から見て注視オブジェクトより手前に何等のオブジェクトが存在していたことを示すようにしても良い。この場合、透明化フラグが“１”の非注視オブジェクトについては、例えばその輪郭を示す所定の色或いは破線などの形態で重畳合成しても構わない。

［第２の実施形態］
上記実施形態では、１枚の仮想視点画像を生成する処理を説明した。各カメラ１０１が６０フレーム／秒で撮像する能力を有する場合、動画像としての仮想視点画像を生成することが可能となる。

ここで、説明を単純化するため、同時間帯で撮像した各カメラの動画像がＨＤＤ２０４に既に記憶されているものとする。この場合、それら動画像から同時刻のフレーム画像を抽出しては、第１の実施形態と同様の処理を繰り返せばよい。

ただし、効率よく仮想視点の動画像を生成するためには、仮想視点の時間軸に対する移動軌跡をユーザに設定させ、予め記憶しておく。そして、仮想視点の動画像の生成処理に先立って、動画像となる先頭の撮像画像に基づき、注視オブジェクトをユーザに設定させる。仮想視点と各オブジェクトとの相対的な位置関係は１／６０秒の間隔で変化する。人間の走る速度はせいぜい１０ｍ／秒であるので、１／６０秒の間で変化する座標位置が２０ｃｍを超えることはない。故に、オブジェクトテーブル内の位置姿勢情報は変わっていくものの、２フレーム目以降は直前のフレームに対して、予め設定した許容される位置変化内での最寄りのオブジェクトＩＤを継続して利用していけば良い。なお、ボールについては、人間よりも十分に高速に移動可能であるので、毎時、ボールのオブジェクトの分類処理を行う必要がある。このため、モデル情報保持部３０４内のボールのモデルには、毎時、オブジェクトとして分類が必要とする属性を付加させることが望ましい。

上記の結果、ユーザが設定した仮想視点の移動軌跡に従って、注視オブジェクトが非注視オブジェクトに邪魔されない仮想視点の動画像データを生成できるようになる。

［第３の実施形態］
仮想視点画像を生成する際に、仮想視点の全ての画素に合焦している画像を生成すると不自然なものとなる。そこで、仮想視点から最短の注視オブジェクトと仮想視点から最長の注視オブジェクトの間を被写界深度（ピントが合焦する範囲）とし、被写界深度から外れるほど、ボケが大きくなるようにしても良い。ぼかし処理は、スムージングフィルタで代用できよう。

［第４の実施形態］
上記第１乃至第３の実施形態では、先に示した条件（１）を満たす場合、着目の非注視オブジェクトを透明化する／しないと決定するものであった。

透明度αを、０乃至１００％の範囲内で設定できるようにしても構わない。この場合の透明度αは、図９に示すように定義する。ここで、Ｌ、Ｌ’、θは先に示した条件（１）で用いたのと同じ意味である。
α＝Ｆ（Ｌ，Ｌ’,θ）
ここで、αは、Ｌ，Ｌ’,θに対して次のような関係を有する。
「αは、Ｌ＜Ｌ’の場合には０（不透明）」
「αは、θが小さいほど大きくなる」
「αは、Ｌが小さいほど（仮想視点が注視オブジェクトに近いほど）、大きくなる」
単純には、関数Ｆ（）は、
α＝Ｆ（）＝ｋ／（Ｌ・θ＋Ｃ）
ここで、ｋは係数、Ｃは分母が非ゼロなるための定数である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１…画像入力部、３０２…視点情報保持部、３０３…形状生成部、３０４…モデル情報保持部、３０５…オブジェクト分類部、３０６…注視オブジェクト設定部、３０７…仮想視点設定部、３０８…レンダリング部、３０９…出力部

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数のカメラにより複数の方向から撮影することで得られる画像に基づく仮想視点画像を生成する画像処理装置であって、
仮想視点の位置及び方向を示す仮想視点情報を取得する視点取得手段と、
複数のオブジェクトのうち１以上のオブジェクトを指定するユーザ操作に応じた指定情報を取得する情報取得手段と、
前記視点取得手段により取得される仮想視点情報が示す仮想視点の位置及び方向に応じた前記仮想視点画像を生成する生成手段であって、前記複数のオブジェクトのうち、前記情報取得手段により取得された前記ユーザ操作に応じた指定情報により特定される特定オブジェクトとは異なる非特定オブジェクトであって且つ前記仮想視点情報に応じた仮想視点から見て前記特定オブジェクトを遮蔽する位置の非特定オブジェクトの透明度が、当該仮想視点から見て前記特定オブジェクトを遮蔽しない位置の非特定オブジェクトの透明度よりも高い前記仮想視点画像を生成する生成手段とを有する。

Claims (21)

1. 複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
   仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
   前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、前記注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトが表示されない仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトの輪郭を示す情報を含む仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記仮想視点情報が示す仮想視点の位置及び方向と前記複数のオブジェクトの位置とに基づいて、前記注視オブジェクトを遮蔽する位置のオブジェクトを特定する特定手段を有し、
   前記生成手段は、前記特定手段による特定結果に基づいて前記仮想視点画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトの透明度が前記注視オブジェクトと前記仮想視点との距離に応じて異なる仮想視点画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトの透明度が前記仮想視点に対する当該オブジェクトの方向に応じて異なる仮想視点画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記注視オブジェクトは、前記複数のオブジェクトの中からユーザ操作に基づいて決定されるオブジェクトであることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記複数のオブジェクトの少なくとも何れかに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
   前記オブジェクト情報取得手段により取得されるオブジェクト情報に基づいて、前記複数のオブジェクトの中から前記注視オブジェクトを決定する決定手段とを有することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記複数のオブジェクトには人物が含まれることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記生成手段は、前記注視オブジェクトを遮蔽しない位置のオブジェクトが透明化されていない仮想視点画像を生成することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 複数のカメラにより撮影対象領域を複数の方向からの撮影することで得られる画像を取得する画像取得手段と、
    仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
    前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記撮影対象領域内の複数のオブジェクトの中から決定された注視オブジェクト以外のオブジェクトのうち、前記注視オブジェクトの位置と前記仮想視点情報が示す仮想視点の位置及び方向とに基づいて特定されるオブジェクトの透明度が変更された仮想視点画像を生成する生成手段とを有することを特徴とする画像処理装置。
12. 前記仮想視点情報が示す仮想視点の位置及び方向と、前記注視オブジェクトの位置及びサイズに関する情報と、前記複数のオブジェクトの位置及びサイズに関する情報とに基づいて、透明度を変更すべきオブジェクトを特定する特定手段を有し、
    前記生成手段は、前記特定手段による特定結果に基づいて前記仮想視点画像を生成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記生成手段は、前記注視オブジェクトを遮蔽するオブジェクトを、前記透明度を変更すべきオブジェクトとして特定することを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 複数のカメラにより撮影対象領域を複数の方向から撮影することで得られる撮影画像と仮想視点を示す視点情報とに基づいて仮想視点画像が生成されるシステムにおいて動作する画像処理装置であって、
    前記仮想視点を示す視点情報を取得する取得手段と、
    前記撮影画像に基づいて生成される仮想視点画像内の注視オブジェクトであって前記撮影対象領域に含まれる複数のオブジェクトの中から決定された注視オブジェクトの視認性が向上するように、前記注視オブジェクトとは異なる別オブジェクトであって前記取得手段により取得される視点情報が示す仮想視点の位置と前記注視オブジェクトの位置とに基づいて特定される別オブジェクトの当該仮想視点画像における表示態様を制御する制御手段とを有することを特徴とする画像処理装置。
15. 前記制御手段による前記別オブジェクトの表示態様の制御は、前記別オブジェクトの透明度を変更する処理を含むことを特徴とする請求項１４に記載の画像処理装置。
16. 前記制御手段により表示態様が制御される前記別オブジェクトは、当該仮想視点画像において前記注視オブジェクトを遮蔽する位置に存在するオブジェクトであることを特徴とする請求項１４又は１５に記載の画像処理装置。
17. 複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得工程と、
    仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得工程と、
    前記画像取得工程において取得される画像と前記情報取得工程において取得される仮想視点情報とに基づいて仮想視点画像を生成する生成工程であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、前記注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成工程とを有することを特徴とする画像処理方法。
18. 前記仮想視点情報が示す仮想視点の位置及び方向と前記複数のオブジェクトの位置とに基づいて、前記注視オブジェクトを遮蔽する位置のオブジェクトを特定する特定工程を有し、
    前記生成工程においては、前記特定工程における特定結果に基づいて前記仮想視点画像が生成されることを特徴とする請求項１７に記載の画像処理方法。
19. 前記注視オブジェクトは、前記複数のオブジェクトの中からユーザ操作に基づいて決定されるオブジェクトであることを特徴とする請求項１７又は１８に記載の画像処理方法。
20. 撮影対象領域を異なる方向から撮影する複数のカメラにより得られる複数の撮像画像に基づいて仮想視点画像を生成する画像処理システムであって、
    仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段と、
    前記複数のカメラにより得られる複数の撮像画像の少なくとも１つに基づいて検出される複数のオブジェクトから注視オブジェクトを指定する指定手段と、
    前記取得手段により取得された前記仮想視点情報が示す仮想視点の位置及び方向と、前記指定手段により指定された注視オブジェクトの位置とに基づいて、前記複数のオブジェクトのうち前記注視オブジェクト以外のオブジェクトの中から透明度を変更すべきオブジェクトを決定する決定手段と、
    前記決定手段により決定されたオブジェクトの透明度が変更された仮想視点画像を、前記複数のカメラにより得られた前記複数の撮像画像に基づいて生成する生成手段とを有することを特徴とする画像処理システム。
21. コンピュータを請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images