JP2019144638A

JP2019144638A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2019144638A
Application number: JP2018025826A
Authority: JP
Inventors: 祐二加藤; Yuji Kato
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2019-08-29
Anticipated expiration: 2038-02-16
Also published as: JP6407460B1; CN110720114B; US11284057B2; CN110720114A; KR20190138896A; WO2019159617A1; KR102162107B1; US20200084431A1

Abstract

【課題】仮想カメラから近い位置にオブジェクトが存在しても画質の低下が目立ちにくくなるようにして仮想視点画像の画質を向上させる。【解決手段】複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、仮想カメラの設定を受け付けるユーザインタフェイスと、前記複数視点画像に含まれているオブジェクトを、設定された仮想カメラまでの距離に応じた透過処理を行って描画する描画手段と、を備え、前記描画手段は、前記距離が短かいほど高い透過度で描画することを特徴とする。【選択図】図６

Description

本発明は仮想視点映像の画質を向上させる表示制御技術に関する。

複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点映像生成技術がある。仮想視点映像生成技術は、スポーツ放送等において、より臨場感の高い映像表現として期待されている。ここで、一般的なカメラによる撮影では被写体（オブジェクト）に近づくほど、得られる画像解像度は高くなっていく。しかしながら、仮想カメラの場合は、被写体に近づけたとしても実カメラで撮影した画像解像度よりも高精細な画像を得ることはできない。特に、オブジェクトから一定の距離よりも近い位置に仮想カメラを設定した場合には、実カメラによる撮影画像を拡大して描画することになるので、その分だけ画像解像度が落ちる。その結果、低精細でユーザに違和感を生じさせる画像になってしまう。この点、左眼用画像と右眼用画像を用いて仮想空間に3D映像表示を行う技術において、遠くの小さなオブジェクトほど透過度を高くして描画することで、立体視に伴う違和感を抑制する技術がある（特許文献１）。

特開２０１２−１２３３３７号公報

上記特許文献１の技術は、視点との距離が離れるほど視差方向の幅が狭くなり、部分的に表示されなくなるオブジェクトの箇所が右眼用画像と左眼用画像とで異なることで、オブジェクトにちらつきなどが生じ、ユーザに不快感をもたらすことをその出発点としている。これに対し、上述した仮想視点映像における違和感の原因は、仮想視点映像の解像度が、その元になる実カメラで撮影された映像の解像度に依存する点にあり、両者は違和感の発生原因がまったく異なっている。そして、仮想視点映像の生成に上記特許文献１の技術を適用しても、仮想カメラとオブジェクトとの間の距離が近いほど画質が低下するという問題は解消できない。

本発明に係る画像処理装置は、複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、仮想カメラの設定を受け付けるユーザインタフェイスと、前記複数視点画像に含まれているオブジェクトに対し、設定された仮想カメラからの距離に応じた透過処理を行って描画する描画手段と、を備え、前記描画手段は、前記距離が短かいほど高い透過度で描画することを特徴とする。

本発明によれば、設定した仮想カメラから近い位置にオブジェクトが存在しても、画質の低下が目立ちにくくなり、仮想視点映像の画質を向上させることができるようになる。

画像処理装置のハードウェア構成例を示すブロック図。（ａ）は透過度の制御を行なわずに仮想視点映像の描画を行った場合の一例を示す図、（ｂ）は透過度の制御を行って仮想視点映像を描画した場合の一例を示す図画像処理装置の機能構成を示すブロック図複数視点映像から仮想視点映像を生成する画像処理の流れを示すフローチャート（ａ）はポリゴンデータの一例を示す図、（ｂ）はテクスチャデータの一例を示す図透過度算出処理の詳細を示すフローチャート基準透過閾値Ｄｔ_ｂと透過閾値Ｄｔとの関係を説明する図オブジェクトから仮想カメラまでの距離と透過度との関係を示すグラフ

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

実施形態１

本実施形態では、仮想カメラ近くに存在するオブジェクトを透過させることで目立たなくして、仮想視点映像の画質を向上する描画方法について説明する。なお、仮想視点映像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点映像や任意視点映像などとも呼ばれる。また、仮想視点映像は、動画であっても、静止画であっても良い。本実施形態では、仮想視点映像が動画である場合の例を中心に説明する。

本実施形態における画像処理装置１００のハードウェア構成例について、図１を用いて説明する。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及び／又はハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、画像処理装置１００と、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置とを接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介した、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に保存することが可能である。入力インタフェイス（Ｉ／Ｆ）１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７と画像処理装置１００とを接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、ディスプレイなどの出力デバイス１０９と画像処理装置１００とを接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点映像に係るデータを送ることで、仮想視点映像の表示を実行させることができる。ネットワークインタフェイス（Ｉ／Ｆ）１１０は、画像処理装置１００と外部サーバ１１１とを接続する、例えばＬＡＮカードなどのネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１からデータを読み込むことが可能である。

なお、上記の説明では、ＨＤＤ１０５、入力デバイス１０７、及び出力デバイス１０９が画像処理装置１００とは別のデバイスとして構成される例を示した。しかしこの形態に限らない。例えば、画像処理装置１００はスマートフォンなどであっても良く、この場合は、入力デバイス１０７（タッチパネル）や出力デバイス１０９（表示スクリーン）は、画像処理装置１００と一体である。また、ＨＤＤ１０５内蔵のデバイスを画像処理装置１００として用いることも可能である。また、図１にて示した構成のすべてが必須の構成とは限らない。例えば、ＨＤＤ１０５に記憶された仮想視点映像を再生する場合、外部サーバ１１１は不要である。逆に、外部サーバ１１１から取得した仮想視点映像を生成する場合、ＨＤＤ１０５は不要である。また、画像処理装置１００が複数のＣＰＵ１０１を有してもよい。また、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

本実施形態では、撮影シーン内のオブジェクトについて、仮想カメラとの距離に応じてその透過度を変更することで、仮想カメラ近くの解像度低下が発生する領域を目立たなくする。ここで、本実施形態における透過度制御の考え方について説明しておく。図２（ａ）は透過度の制御を行なわずに仮想視点画像の描画を行った場合の例を示し、同（ｂ）は透過度の制御を行って仮想視点画像を描画した場合の例を示す。図２（ａ）及び（ｂ）にはそれぞれ、同じ位置姿勢の仮想カメラで２つのオブジェクト（人物）を描画した４枚の画像が並んでいる。図２の（ａ）（ｂ）いずれにおいても、右にある画像ほど、仮想カメラからより近い位置に右側のオブジェクトが存在している。本実施形態の場合、オブジェクトのテクスチャデータの生成には、実カメラで撮影した画像を利用する。そのため、一定の距離よりも近くにあるオブジェクトについては、当該オブジェクトの位置が仮想カメラから近いほどそのテクスチャ画像は拡大して描画されるため、解像度が低下して粗くなる。そこで、図２（ｂ）に示すように、仮想カメラからの距離が一定以下の場合、仮想カメラに近くなるにつれて透過度が高くなるように制御する。画像内の右側のオブジェクトが仮想カメラに近づくにつれてそのテクスチャ画像が拡大して描画される点は透過度制御を行わない図２（ａ）の場合と同じであるが、透過させることにより解像度の低下が目立ちにくくなる。

以下、動画の複数視点画像（以下、複数視点映像）から動画の仮想視点画像（以下、仮想視点映像）を生成する際の処理を例に、本実施形態の画像処理装置１００の構成等について詳しく説明する。図３は、画像処理装置１００の論理構成の一例を示す機能ブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図３に示す画像処理装置１００内部の各機能ブロックの役割を果たす。なお、図３の操作部３０１及び表示部３０６は、図１の入力デバイス１０７及び出力デバイス１０９にそれぞれ対応する。また、ＣＰＵ１０１が画像処理装置１００内部の全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。

図４は本実施形態の画像処理装置１００で行われる、複数視点映像から仮想視点映像を生成する画像処理の流れを示すフローチャートである。図４のフローチャートにおいて示される一連の処理は、画像処理装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで実現される。なお、各処理の説明における記号「Ｓ」はステップを表す。

Ｓ４０１では、視点制御部３０２が、撮影された複数視点映像の設定フレームのうち対象フレームに対応する仮想カメラのカメラパラメータが取得される。複数視点映像が60fpsで撮影され、その中の10秒分を設定フレームとして仮想視点映像を生成する場合であれば、全600フレームが順次対象フレームとなる。ここで、カメラパラメータには、外部パラメータと内部パラメータとが含まれる。外部パラメータは、仮想カメラの位置及び姿勢を表すパラメータであり、内部パラメータは、仮想カメラの光学的な特性を表すパラメータである。仮想カメラの位置を表すベクトルをｔ，回転を表す行列をＲとすると、仮想カメラの外部パラメータは以下のように表すことができる。

ここでの座標系は左手座標系であり、仮想カメラの視点において右を＋ｘ方向、上を＋ｙ方向、前（奥）を＋ｚ方向とする。また、画像の主点位置を（ｃ_x，ｃ_y）、実カメラの焦点距離をｆとすると、仮想カメラの内部パラメータＫは以下のように表すことができる。

なお、カメラパラメータの表現方法は行列に限定されない。例えば、仮想カメラの位置を３次元座標で表し、仮想カメラの姿勢をｙａｗ、ｒｏｌｌ、及びｐｉｔｃｈの値の羅列によって表現してもよい。また、外部パラメータと内部パラメータは上述のものに限るわけではない。例えば、仮想カメラのズーム値を表す情報を仮想カメラの内部パラメータとして取得してもよい。本ステップでは、ユーザインタフェイスの一例である操作部３０１を介して入力された仮想カメラの位置・姿勢に関するユーザ操作を受け付けた視点制御部２０２が、当該ユーザ操作に応じた仮想カメラの外部カメラパラメータを生成する。例えばユーザが、マウスを右方向に動かした場合には仮想カメラの姿勢が右方向へ回転するような、マウスを上方向へ動かした場合には仮想カメラの姿勢が上方向へ変化するような外部パラメータが生成される。内部パラメータについては予めＨＤＤ１０５等に保持しておいたものを読み出せばよい。こうして取得された、描画に利用する視点情報としての仮想カメラのカメラパラメータは、透過度制御部３０４と描画部３０５に出力される。

Ｓ４０２では、データ取得部３０３が、レンダリングに必要な画像データを、ＨＤＤ１０５又は外部サーバ１１１から取得する。具体的には、設定タイムフレームのうち処理対象フレームの撮影シーン内に含まれるオブジェクトのポリゴンデータとテクスチャデータが取得される。図５の（ａ）及び（ｂ）は撮影シーンがサッカーの試合である場合に取得されるデータの一例である。図５（ａ）は選手の３次元形状を表すポリゴンデータを示し、同（ｂ）はその表面の色や質感を表すテクスチャデータを示す。各ポリゴンデータには、選手、審判、ボール、サッカーゴールといった、各オブジェクトの属性を示す情報が付加されている。また、注目するオブジェクト（例えば、ボールや特定の選手）に対応するポリゴンデータにのみ、所定のフラグを付加して他のオブジェクトから識別可能にしておいてもよい。また、テクスチャデータを複数パターン用意しておき、設定された仮想カメラの位置・姿勢に応じて使い分けてもよい。なお、オブジェクトの３次元形状を表すデータとしては、いわゆるボクセルデータであってもよい。こうして取得されたデータは、透過度制御部３０４と描画部３０５に出力される。

Ｓ４０３では、透過度制御部３０４が、撮影シーン内に存在する各オブジェクトに対し、透過度の算出処理を行う。透過度算出処理の詳細については後述する。算出された各オブジェクトの透過度の情報は、描画部３０５に出力される。

Ｓ４０４では、描画部３０５が、データ取得部２０３から取得したデータと視点制御部２０２から取得したカメラパラメータと透過度制御部２０４から取得した各オブジェクトの透過度を基に、対象フレームの仮想視点映像を生成する。このとき、透過度とは関係なく、オブジェクトの輪郭を描画することで、オブジェクトの存在を確認できるようにしても構わない。また、透過度に合わせてオブジェクトをぼかすことで、画質の低下をより目立ちにくくしてもよい。また、透過させたオブジェクトの影の描画は透過度に合わせて濃さを調整してもよいし、透過度とは関係なく描画してもよい。レンダリングに関しては既存の技術等を適宜適用すればよく、ここでは説明を省く。生成された仮想視点映像のデータは、表示部２０６に出力される。

Ｓ４０５では、表示部２０６が、対象フレームの仮想視点映像データを描画部２０５から取得し表示する。続くＳ４０６では、設定フレームの全フレームについて、Ｓ４０１〜Ｓ４０５までの処理が完了したかどうかが判定される。未処理のフレームがあればＳ４０１に戻って処理が続行される。一方、全フレームについて処理が完了していれば処理を終了する。

以上が、画像処理装置１００で行われる、複数視点映像から仮想視点映像を生成するまでの画像処理の流れである。本実施形態のＳ４０２では、オブジェクトの形状データに加え、予め生成しておいたテクスチャデータも取得したがこれに限定されない。例えば、オブジェクトの形状データだけを取得しておき、レンダリング時に仮想カメラの視点位置に基づいて、現実の撮像画像（複数視点画像）における対応する位置の画素値から求めてもよい。

＜透過度算出処理＞
続いて、本実施形態の特徴である、オブジェクト毎の透過度決定処理について詳しく説明する。図６は、透過度算出処理の詳細を示すフローチャートである。以下、図６のフローに沿って説明する。

Ｓ６０１では、現在の動作モードが、オブジェクトの透過制御を行う動作モードであるかどうかが判定される。例えば、仮想視点映像の生成時にユーザ自身が仮想カメラの制御を行うインタラクティブな再生モードの場合は、透過制御を行う動作モードであると判定する。また、オブジェクトがサッカー選手、審判等の人物であって、当該人物の目の位置や視線の方向を仮想カメラの位置・姿勢として利用することで、選手、審判等の視界を再現する人物目線再生モードの場合は、透過制御を行わない動作モードであると判定する。人物目線再生モードの場合は、解像度の低下の問題よりもその人物の視界に写るはずのもの（仮想視点）が再現されていることが重要であるためである。人物目線再生モードは、例えば選手（名前や背番号等の選手を特定可能な情報）や審判の一覧からいずれかを選択することによって実行されるようにしてもよい。また、人物目線モードにおいてユーザが仮想視点を決定する操作を行った場合には、インタラクティブな再生モードに切り替えるようにしてもよい。また、例えばスポーツシーンの仮想視点映像に、当該シーンに関連する分析データ等を重畳表示するような動作モードの場合も、オブジェクトの透過処理を行わない方が分析データを見やすいため、透過制御を行わない動作モードであると判定する。また、ユーザがＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）などを用いて透過制御を行うかどうかを指定してもよい。このような基準に従いモード判定処理を行って、透過制御を行う動作モードであると判定される場合はＳ６０２へ進む。一方、透過制御を行わない動作モードであると判定される場合はＳ６０９へ進み、対象フレームに写っている（複数視点画像に含まれている）すべてのオブジェクトについて透過度αの値を最小値（実質的に透過処理が行われない透過度）に設定して本処理を抜ける。透過度αについて後述する。

Ｓ６０２では、対象フレームに写っているすべてのオブジェクトの中から、透過処理の対象外となる注目オブジェクトが設定される。ここで、注目オブジェクトは、サッカーのゴールシーンを対象に仮想視点映像を生成する場合であれば、シュートを行った選手とボールといった具合に、当該シーンにおいて欠くことのできない重要なオブジェクトが該当することになる。この際は、どのオブジェクトを注目オブジェクトとするかを撮影シーンに応じて予め決めておき、例えば前述のフラグ等を参照して設定する。或いは、オブジェクトの形状や大きさなどから自動で判定して設定してもよい。さらには、ユーザがＧＵＩを介して、直接に注目オブジェクトを指定するようにしてもよい。

Ｓ６０３では、対象フレームに写っている注目オブジェクト以外のオブジェクトの中から、透過処理の対象オブジェクトが１つ選択される。この対象オブジェクトを複数のオブジェクトの中から選択する方法は特に限定されず、ランダムであってもよいし、オブジェクトのサイズ順などで決めてもよい。また、本実施形態では、注目オブジェクト以外の全オブジェクトを順に対象オブジェクトに選択することとしているが、透過処理の対象とする特定のオブジェクトを予め決めておいてもよい。例えば、サッカーのゴールシーンを対象に仮想視点映像を生成する場合であれば、選手や審判やゴールポストは透過処理の対象となるオブジェクト、それ以外のグラウンドや観客席やボールは透過処理の対象としないオブジェクトといった具合である。さらには、ユーザがＧＵＩを介して指定できるようにしてもよい。

Ｓ６０４では、Ｓ６０２で設定された注目オブジェクトとＳ６０３で選択された対象オブジェクトとの距離ｄ₁が算出され、当該算出距離ｄ₁が所定の閾値以下であるかどうかが判定される。例えば、サッカーのゴールシーンの仮想視点映像を生成する場合であれば、注目オブジェクトであるゴールを決めた選手から一定距離（例えば、３ｍ）を閾値ｔｈとして設定する。こうすることで、ゴールを決めた選手のすぐ近くでシュートを防ごうとした相手チームの選手の動きなど、注目オブジェクトに絡む一連のプレイを視認可能にする。つまり、画質劣化よりもシーンの内容を優先した制御を行う。判定の結果、注目オブジェクトと対象オブジェクトとの距離ｄ₁が閾値ｔｈ以下である場合は、対象オブジェクトを透過せずにそのまま描画するため、Ｓ６０７へ進む。一方、注目オブジェクトと対象オブジェクトとの距離ｄ₁が閾値ｔｈより大きい場合は、対象オブジェクトをその距離に応じて透過させて描画するため、Ｓ６０５へ進む。

Ｓ６０５では、Ｓ６０３で選択された対象オブジェクトの代表点と設定された仮想カメラの視点位置（仮想視点位置）との距離ｄ₂が算出され、当該算出距離ｄ₂が所定の閾値以下であるかどうかが判定される。ここで、対象オブジェクトの代表点は、そのオブジェクトの位置を表す点であり、例えばモデルのローカル座標原点のグローバルな位置やモデルの中心位置である。また、ここでの閾値は、実際に透過させるかどうかを判別するための閾値である。この閾値を、上述のステップ６０４における閾値ｔｈと区別するため、以下「透過閾値Ｄｔ」と表記する。設定された仮想カメラの垂直解像度がｈ，垂直画角がθであるとき、判定処理に適用される透過閾値Ｄｔは、予め定めた基準とする仮想カメラについての透過閾値（以下、「基準透過閾値Ｄｔ_ｂ」と表記）に基づいて変化する。基準透過閾値Ｄｔ_ｂは、基準とする仮想カメラの垂直画素数ｈ_ｂ及び垂直画角θ_ｂによって定義され、当該基準とする仮想カメラにおいて透過処理を開始することになる当該基準とする仮想カメラからの距離を表す。この基準透過閾値Ｄｔ_ｂは、テスト等を行って予め決めておく。そして、実際にユーザが設定した仮想カメラの下でも、基準とする仮想カメラでの透過処理が開始される描画解像度と同じ描画解像度で透過処理が開始されるような透過閾値Ｄｔが導出され、本ステップでの判定処理に適用される。図７は、基準透過閾値Ｄｔ_ｂと透過閾値Ｄｔとの関係を説明する図である。このように、透過閾値Ｄｔを可変にすることで、仮想カメラの画角や解像度に左右されることなく実カメラで撮影した画像の解像度に合わせ、適切な透過閾値の適用が可能となる。この際、基準透過閾値Ｄｔ_ｂは、オブジェクトの種類（例えば、審判や選手）に応じて設定してもよい。さらには、個々のオブジェクト毎に（例えば、選手Ａと選手Ｂ）、或いはオブジェクトのグループ毎に（例えば、Ａチーム所属の選手とＢチーム所属の選手）で別々の基準透過閾値Ｄｔ_ｂを設定してもよい。このように、基準透過閾値Ｄｔ_ｂに基づき、判定処理に適用する透過閾値Ｄｔを設定することで、例えば、設定された仮想カメラの画角が狭い場合は透過閾値Ｄｔが大きくなり、設定された仮想カメラからの距離が遠いオブジェクトに対しても適切に透過処理がなされることになる。判定の結果、算出距離ｄ₂が透過閾値Ｄｔ以下であれば、Ｓ６０６に進む。一方、算出距離ｄ₂が透過閾値Ｄｔより大きければＳ６０７へ進む。

Ｓ６０６では、Ｓ６０５で算出した仮想カメラとオブジェクトとの距離ｄ₂に基づき、対象オブジェクトについての透過度αが算出される。ここで、透過度αは、その値が０のときは不透明な状態を表し、１のときには最も透明な状態を表し、０から１の間のときには半透明の状態を表す。そして、例えば図８のグラフに示すように、距離ｄ₂が短くなるほど透過度αが高くなるように算出される。図８のグラフにおいて、消失閾値Ｄｖは、設定された仮想カメラまでの距離が一定距離以内で近い場合に、対象オブジェクトが最も透明になってその存在が消失してしまうときの一定距離を示す閾値である。ただし、ここでいう“消失”は、必ずしも完全透過状態を意味せず、例えばその存在が僅かに確認できる程度の透過状態を含み得るものである。設定された仮想カメラの垂直解像度がｈ，垂直画角がθであるときの消失閾値Ｄｖは、透過閾値Ｄｔと同様に可変とする。つまり、基準とする仮想カメラで仮想視点映像を生成した際の消失閾値（基準消失閾値）Ｄｔ_ｂのときの描画解像度と同じ解像度のときに、オブジェクトが完全透過となるように（＝透過度αが最大値）となるように、設定された仮想カメラについての消失閾値Ｄｖが設定される。このとき、基準消失閾値Ｄｖ_ｂは、基準とする仮想カメラの垂直画素数ｈｂ、垂直画角θｂにおいて、当該仮想カメラからの距離がこの距離より短い場合は、対象オブジェクトの透過度αの値を１（最大値）にするという閾値である。ここでは最大値を１にしているが、上述のとおり、例えば０．９といった完全に透過しないような値を最大値としてもよい。このように対象オブジェクトの透過度αは、消失閾値Ｄｖと透過閾値Ｄｔに基づいて算出される。なお、透過度αと距離ｄ₂との関係を示す図８のグラフは一例に過ぎない。例えば、図８のように線形に変化するように透過度αを設定するのに代えて、所定の２次関数を基に変化するようにしてもよく、仮想カメラから対象オブジェクトまでの距離が近いほど高い透過度になるように変化させられればよい。また、段階的に異なる距離と透過度αの値とを対応付けたルックアップテーブルを作成しておき、それを参照して透過度αを設定してもよい。このとき、対象オブジェクトが高速で仮想カメラに近づいてくる場合は、より高い透過度が設定されるように、オブジェクトの移動速度や仮想カメラの移動速度に応じて透過度αの調整を行っても構わない。調整の方法としては、例えば図８のグラフから導出される透過度αの値に対して、移動速度に応じて異なる係数を乗算して、最終的な透過度αを決定するといった方法が考えられる。具体的には、例えば基準速度のときを１．０とし、基準速度よりも高速になるに従って、１．１、１．２、１．３・・・といった具合に係数の値を大きくしていけばよい。

Ｓ６０７では、対象オブジェクトについての透過度αの値が、不透過を表す値（ここでは０）に設定される。

Ｓ６０８では、注目オブジェクト以外のすべてのオブジェクトに対する透過処理が完了したかどうかが判定される。未処理のオブジェクトがあれば、Ｓ６０３へ戻って次の対象オブジェクトが選択され透過処理が続行される。一方、注目オブジェクト以外のすべてのオブジェクトに対する透過処理が完了していれば、本処理を終了する。

このような処理により、注目オブジェクト以外のオブジェクトに対する透過度が算出される。本実施形態では、注目オブジェクトからの距離や仮想カメラからの距離に応じて、そのオブジェクトを透過させるかどうか及びどのくらい透過させるかを決定していたが、これに限定されない。例えば、仮想カメラから見た時に注目オブジェクトを隠ぺいする位置にあるオブジェクトについては、より高い透過度（或いは完全透過）が一律に設定されるよう構成してもよい。また、本実施形態では、透過制御を行わないモードである場合に、処理対象フレームに写っているすべてのオブジェクトについて透過度αに最小値を設定していたが、全オブジェクトを透過処理の対象外に設定した上で、Ｓ４０４で全オブジェクトに対し通常の描画処理を行うように構成してもよい。

以上のとおり本実施形態によれば、設定した仮想カメラから近い位置にオブジェクトが存在しても、一定の条件下で透過処理が施されるので画質の低下が目立ちにくくなる。これにより、ユーザに不快感をもたらさない高画質の仮想視点映像を得ることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００画像処理装置
３０１操作部
３０２視点制御部
３０３データ取得部
３０４透過度制御部
３０５描画部

本発明に係る画像処理装置は、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点の位置及び方向に関する仮想視点情報を取得する情報取得手段と、前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離である場合に、前記オブジェクトの位置と前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離である場合よりも、高い透明度で前記オブジェクトが透明化された仮想視点画像を生成する生成手段と
を有することを特徴とする。

本発明に係る画像処理装置は、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点の位置、方向、及び仮想視点に対応する画角を表す仮想視点情報を取得する情報取得手段と、前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて、前記仮想視点情報により特定される仮想視点に応じた仮想視点画像を生成する生成手段と、を有し、前記生成手段により生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置の所定のオブジェクトの透明度は、前記生成手段により生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置のオブジェクトの透明度よりも高い前記複数のカメラの撮影対象領域内に位置することを特徴とする。

Claims

複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、
仮想カメラの設定を受け付けるユーザインタフェイスと、
前記複数視点画像に含まれているオブジェクトに対し、設定された仮想カメラからの距離に応じた透過処理を行って描画する描画手段と、
を備え、
前記描画手段は、前記距離が短かいほど高い透過度で描画する
ことを特徴とする画像処理装置。
前記複数視点画像に含まれているオブジェクトのうち前記透過処理の対象外とする特定のオブジェクトを設定する設定手段をさらに備え、
前記描画手段は、前記複数視点画像に写っているオブジェクトのうち前記特定のオブジェクト以外のオブジェクトに対し、前記透過処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記描画手段は、前記特定のオブジェクト以外のオブジェクトに対する前記透過処理を、前記特定のオブジェクト以外のオブジェクトと前記設定された仮想カメラとの距離が第１の閾値以下でない場合に行なう、ことを特徴とする請求項２に記載の画像処理装置。
前記描画手段は、前記特定のオブジェクト以外のオブジェクトに対する前記透過処理を、前記特定のオブジェクト以外のオブジェクトと前記特定のオブジェクトとの距離が第２の閾値以下である場合に行なう、ことを特徴とする請求項２又は３に記載の画像処理装置。
前記第２の閾値は、前記設定された仮想カメラに応じて変化する、ことを特徴とする請求項４に記載の画像処理装置。
前記第２の閾値は、予め定めた基準とする仮想カメラにおける基準となる閾値に基づいて、前記設定された仮想カメラに応じて決定され、
前記基準となる閾値は、
前記基準とする仮想カメラの垂直画素数及び垂直画角によって定義され、
前記基準とする仮想カメラにおいて前記透過処理を開始することになる、前記基準とする仮想カメラから前記特定のオブジェクト以外のオブジェクトまでの距離を表す
ことを特徴とする請求項５に記載の画像処理装置。
前記第２の閾値は、前記設定された仮想カメラの下で、前記基準とする仮想カメラでの透過処理が開始される描画解像度と同じ描画解像度で透過処理が開始されるように決定される、ことを特徴とする請求項６に記載の画像処理装置。
前記描画手段は、前記透過処理において、前記設定された仮想カメラまでの距離が一定距離以内である場合は、前記特定のオブジェクト以外のオブジェクトを完全に透過させる、ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
前記一定距離は、前記設定された仮想カメラの位置に応じて変化する、ことを特徴とする請求項８に記載の画像処理装置。
前記描画手段は、前記透過処理において、前記設定された仮想カメラまでの距離が一定距離以内である場合は、前記特定のオブジェクト以外のオブジェクトを完全に透過させ、
前記一定距離は、前記設定された仮想カメラの下で、前記基準とする仮想カメラで前記仮想視点画像を生成した際に完全に透過させるときの描画解像度と同じ解像度で完全に透過するように決定される、
ことを特徴とする請求項６又は７に記載の画像処理装置。
前記描画手段は、前記透過処理において適用する透過度を、設定された仮想カメラに応じて線形に変化させる、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記描画手段は、前記透過処理において適用する透過度を、設定された仮想カメラに応じて、所定の２次関数を用いて変化させる、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記描画手段は、段階的に異なる距離と透過度とを対応付けたルックアップテーブルを用いて、前記透過処理において適用する透過度を決定する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記描画手段は、前記透過処理において適用する透過度を、前記特定のオブジェクト以外のオブジェクトが前記設定された仮想カメラに対して高速に近づいてくるときほど高くなるように決定する、ことを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
前記描画手段は、前記特定のオブジェクト以外のオブジェクトの移動速度又は前記設定された仮想カメラの移動速度に応じて前記透過度の調整を行なう、ことを特徴とする請求項１４に記載の画像処理装置。
前記描画手段は、前記画像処理装置の動作モードが、前記複数視点画像に含まれているオブジェクトの位置及び視線の方向を前記仮想カメラの位置及び姿勢として利用する動作モードの場合には、前記透過処理を行わない、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
前記描画手段は、前記画像処理装置の動作モードが、前記仮想視点画像のシーンに関連する分析データを重畳表示する動作モードの場合には、前記透過処理を行わない、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理方法であって、
ユーザインタフェイスを介して、前記仮想視点画像に対応する仮想カメラの設定を受け付けるステップと、
前記複数視点画像に含まれているオブジェクトに対し、設定された仮想カメラからの距離に応じた透過処理を行って描画するステップと、
を含み、
前記描画するステップでは、前記距離が短かいほど高い透過度で描画される
ことを特徴とする画像処理方法。
コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。