JP2019067427A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】仮想視点画像の被写体（特定オブジェクト）と仮想オブジェクト領域が重なる可能性を低減することを目的とする。
【解決手段】複数のカメラによる複数の方向からの撮影により得られる複数の撮影画像に基づく仮想視点画像を生成する画像処理装置であって、仮想視点の位置を表す視点情報を取得する視点情報取得手段と、特定オブジェクトの位置及び３次元形状を表すオブジェクト情報を取得するオブジェクト情報取得手段と、仮想オブジェクトの３次元空間における位置を、視点情報とオブジェクト情報とに基づいて決定する決定手段と、オブジェクト情報が表す位置及び３次元形状に応じた特定オブジェクトのモデルと、決定手段により決定される位置に応じた仮想オブジェクトのモデルと、視点情報と、に基づくレンダリングを行うことで、仮想視点画像を生成する生成手段と、を有する。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリング等の処理を施し、ユーザの視聴端末に仮想視点画像を表示することで実現できる。

特許文献１には、サッカーのスタジアム中継等において、スタジアムの壁面等所定の領域に広告枠を設けておき、広告枠を含む仮想視点の映像データにおいて、広告枠に視聴環境に応じた広告情報を表示する技術が開示されている。

特開２０１４−４１２５９号公報

しかしながら、サッカー選手等の被写体に広告領域が重なってしまう恐れがある。例えば、被写体の移動によって被写体と広告領域が重なると、広告が映らなくなる恐れがある。また例えば、仮想視点の移動によって被写体と広告領域が重なると、広告が映らなくなる恐れがある。また、広告に限らずその他の仮想的なオブジェクトが仮想視点画像内に表示される場合にも同様の課題が生じ得る。

本発明はこのような問題点に鑑みなされたもので、仮想視点画像の被写体（特定オブジェクト）と仮想オブジェクト領域が重なる可能性を低減することを目的とする。

そこで、本発明は、複数のカメラによる複数の方向からの撮影により得られる複数の撮影画像に基づく仮想視点画像を生成する画像処理装置であって、３次元空間における仮想視点の位置を表す視点情報を取得する視点情報取得手段と、前記複数の撮影画像の少なくとも何れかに含まれる特定オブジェクトの前記３次元空間における位置及び３次元形状を表すオブジェクト情報を取得するオブジェクト情報取得手段と、前記仮想視点画像に表示させる仮想オブジェクトであって前記複数の撮影画像の何れにも含まれない仮想オブジェクトの前記３次元空間における位置を、前記視点情報取得手段により取得される視点情報と前記オブジェクト情報取得手段により取得されるオブジェクト情報とに基づいて決定する決定手段と、前記オブジェクト情報取得手段により取得されるオブジェクト情報が表す位置及び３次元形状に応じた前記特定オブジェクトのモデルと、前記決定手段により決定される位置に応じた前記仮想オブジェクトのモデルと、前記視点情報取得手段により取得される視点情報と、に基づくレンダリングを行うことで、前記仮想視点画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、仮想視点画像の被写体（特定オブジェクト）と仮想オブジェクト領域が重なる可能性を低減できる。

画像処理システムを示す図である。 撮像装置の設置例を示す図である。 画像生成装置のハードウェア構成を示す図である。 画像生成装置の機能構成を示す図である。 画像処理を示すフローチャートである。 広告領域決定処理の説明図である。 広告領域決定処理の説明図である。 変形例の説明図である。 第２の実施形態に係る画像生成装置の機能構成を示す図である。 第２の実施形態に係る画像処理を示すフローチャートである。 広告領域決定処理の説明図である。 第３の実施形態に係る画像生成装置の機能構成を示す図である。 第３の実施形態に係る画像処理を示すフローチャートである。 第４の実施形態に係る画像生成装置の機能構成を示す図である。 第４の実施形態に係る画像処理を示すフローチャートである。 第４の実施形態に係る広告領域特定処理の説明図である。 第４の実施形態に係る広告領域特定処理の説明図である。 第４の実施形態に係る広告合成仮想視点画像の生成処理の説明図である。

以下、本発明の実施形態の一例について図面に基づいて説明する。

（第１の実施形態）
図１は、本実施形態に係る画像処理システム１００を示す図である。画像処理システム１００は、複数の撮影装置１１０と、画像処理装置の一例である画像生成装置１２０と、端末装置１３０と、を有している。各撮影装置１１０と画像生成装置１２０は、ＬＡＮ（Ｌｏｃａｌ ＡｒｅａＮｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続してい
る。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。他の例としては、通信ケーブルは、ＤｉｓｐｌａｙＰｏｒｔやＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の映像伝送ケーブルであってもよいものとする。

撮影装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。各撮影装置１１０は、サッカー場等の競技場や特定の被写体を取り囲むように設置され、画像（映像）を撮影する。撮影された画像は、撮影装置１１０から画像生成装置１２０に送信される。図２は、撮影装置１１０の設置例を示す図である。本実施形態においては、複数の撮影装置１１０は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、本実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮影装置１１０が含まれる。

画像生成装置１２０は、撮影装置１１０により得られた撮像画像を蓄積しておき、端末装置１３０におけるユーザ操作により、仮想視点情報が入力されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点（仮想視点）の三次元的な位置を示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、左右の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として、撮影装置１１０を介して保持しておく。また競技中の選手など被写体の存在するシーンでは、被写体となる特定のオブジェクト等
の前景を画像処理により分離して、特定オブジェクト画像として保持しておく。なお、特定オブジェクトは、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルであり、これらを用いてユーザは操作し、画面上に静止画像や動画像を表示する。端末装置１３０は、例えば、画像生成装置１２０から受信した仮想視点画像を表示部１３２に表示する。端末装置１３０は、さらに、接続されたコントローラ１３１に対するユーザ操作に応じて、仮想視点の移動の指示（移動量と移動方向に関する指示）を受け付け、受け付けた指示に応じた指示情報を示す伝送信号を画像生成装置１２０に送信する。

なお、本実施形態では、端末装置１３０により設定された仮想視点に基づいて生成された仮想視点画像が端末装置１３０にて表示される例を中心に説明するが、これに限らない。例えば、端末装置１３０により設定された仮想視点に基づいて生成された仮想視点画像が、他の端末装置１３０（例えばスマートフォン）等で表示されるようにしても良い。

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７とを有している。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。表示部３０５は、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部３０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。

なお、フローチャート等を用いて後述する画像生成装置１２０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。ただし、画像生成装置１２０の各機能や処理の一部又は全部を専用のハードウェアにより実現することも可能である。この場合、画像生成装置１２０のＣＰＵ３０１が当該専用のハードウェアを制御することで、後述する各機能や処理を実現する。また、端末装置１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。つまり、フローチャート等を用いて後述する端末装置１３０の機能や処理も、ＣＰＵ３０１により実現されるようにしても良いし、その機能や処理の一部又は全部が専用のハードウェアにより実現されるようにしてもよい。

図４は、画像生成装置１２０の機能構成を示す図である。画像生成装置１２０は、通信処理部４０１と、分離部４０２と、分離画像記憶部４０３と、仮想視点情報生成部４０４と、画像取得部４０５と、を有している。画像生成装置１２０はさらに、オブジェクト特定部４０６と、広告領域決定部４０７と、広告画像記憶部４０８と、仮想広告生成部４０９と、仮想視点画像生成部４１０と、を有している。

通信処理部４０１は、画像生成装置１２０及び端末装置１３０との情報の送受信を制御する。通信処理部４０１は、例えば、端末装置１３０から受信した伝送信号を指示情報に変換する。指示情報は、例えば、仮想視点画像における仮想視点の位置を示す位置情報（ｘ、ｙ、ｚ）と、仮想的な撮影方向を示す方向情報（ｒｘ、ｒｙ、ｒｚ）と、の変化量からなるユーザ操作情報である。通信処理部４０１はまた、撮影装置１１０から受信した伝送信号を、撮像画像のデータに変換する。

分離部４０２は、通信処理部４０１を介して受信した撮像画像のうち、競技の開始前など特定の被写体（特定オブジェクト）が存在しない状態の競技会場の場面を撮影した画像を背景画像として分離画像記憶部４０３に記録する。さらに、分離部４０２は、競技中に撮影された画像から選手など特定の被写体を抽出し、抽出した特定の被写体の画像を特定オブジェクト画像として記録する。分離画像記憶部４０３は、背景画像及び特定オブジェクト画像を記憶する。なお、分離画像記憶部４０３は、背景画像及び特定オブジェクト画像を撮影空間の世界座標系（三次元座標系）での撮影位置（三次元位置）を示す撮影位置情報と共に記憶する。すなわち、三次元位置は、撮影空間における高さ、幅、奥行きに対応する各方向における位置によって規定される。世界座標系に対する撮影位置情報は、例えば、事前に設置したマーカ等を撮影し、マーカの三次元画像計測等を行うことにより得るものとする。

仮想視点情報生成部４０４は、通信処理部４０１が受け付けた指示情報に含まれる位置と方向の変化量から、仮想視点情報（ｘ、ｙ、ｚ、ｒｘ、ｒｙ、ｒｚ）を生成する。ここで、仮想視点情報は、例えば競技場の中央を原点とし、指示情報に含まれる変化量を変化前の仮想視点情報に加算又は減算した情報である。画像取得部４０５は、仮想視点情報生成部４０４により生成された仮想視点情報に対応した複数の特定オブジェクト画像と背景画像とを分離画像記憶部４０３から取得する。オブジェクト特定部４０６は、画像取得部４０５が取得した特定オブジェクト画像に基づいて、撮影空間における特定オブジェクトの位置及び大きさを特定する。オブジェクト特定部４０６は、特定オブジェクトの位置及び大きさを示す特定オブジェクト情報を生成する。

広告領域決定部４０７は、仮想視点情報生成部４０４により生成された仮想視点情報と、オブジェクト特定部４０６により生成された特定オブジェクト情報と、に基づいて、撮影空間において、広告領域を配置する位置（配置位置）を決定する。ここで、広告領域とは、広告画像を表示する領域である。広告画像記憶部４０８は、広告画像を記憶している。ここで、広告画像は、企業名ロゴ、商品ロゴ、商品イメージ等を含む画像である。なお、広告画像は、実施形態に限定されるものではない。仮想広告生成部４０９は、広告領域決定部４０７により決定された広告領域に、広告画像記憶部４０８に記憶されている広告画像を配置することにより、仮想視点から見て、所定の仮想位置に広告が配置された仮想広告画像を生成する。

なお、本実施形態においては、広告画像が配置された仮想視点画像を生成するものとするが、仮想視点画像に配置される画像は広告画像に限定されるものではなく、他の仮想的なオブジェクトであってもよい。ここで、広告画像は、仮想オブジェクトの一例であり、広告領域は仮想オブジェクト領域の一例である。

仮想視点画像生成部４１０は、画像取得部４０５が取得した特定オブジェクト画像及び背景画像と、仮想広告生成部４０９により生成された仮想広告画像とに基づいて、仮想視点画像を生成する。すなわち、仮想視点画像生成部４１０により生成された仮想視点画像には、広告画像が含まれている。仮想視点画像生成部４１０により生成された仮想視点画像は、通信処理部４０１において伝送可能な伝送信号に変換され、端末装置１３０に送信される。

図５は、画像生成装置１２０による画像処理における動作を示すフローチャートである。Ｓ５０１において、通信処理部４０１は、端末装置１３０から指示情報を受け付けたか否かを確認する。通信処理部４０１は、指示情報を受け付けると（Ｓ５０１でＹｅｓ）、処理をＳ５０２へ進める。Ｓ５０２において、仮想視点情報生成部４０４は、指示情報に基づいて、仮想視点情報を生成する。次に、Ｓ５０３において、画像取得部４０５は、仮想視点情報に対応した仮想視点画像を生成するために必要な、複数の特定オブジェクト画像と背景画像とを分離画像記憶部４０３から取得する。なお、画像取得部４０５は、仮想視点情報の位置に対して近接する少なくとも２つ以上の撮影装置１１０から取得された画像データを取得することとする。

次に、Ｓ５０４において、オブジェクト特定部４０６は、複数の撮影装置１１０で撮影した画像に対し、三次元画像解析法を用いることで、撮影空間における特定オブジェクトの位置及び大きさを特定する。なお、特定オブジェクトの位置及び大きさを特定するための処理は、実施形態に限定されるものではない。

次に、Ｓ５０５において、広告領域決定部４０７は、特定オブジェクト情報と、仮想視点情報と、に基づいて、広告領域の配置位置を決定する。広告領域決定部４０７は、具体的には、仮想視点画像において、特定オブジェクト画像と仮想広告画像が重ならないような位置を、広告領域の配置位置として決定する。なお、本処理については、図６及び図７を参照しつつ後述する。次に、Ｓ５０６において、仮想広告生成部４０９は、広告領域決定部４０７により決定された広告領域の配置位置に、広告画像記憶部４０８に記憶されている広告画像を配置することにより、仮想広告画像を生成する。

次に、Ｓ５０７において、仮想視点画像生成部４１０は、画像取得部４０５が取得した特定オブジェクト画像と背景画像とに基づいて、仮想視点画像を生成する。次に、Ｓ５０８において、仮想視点画像生成部４１０は、Ｓ５０７において生成した仮想視点画像にＳ５０６において生成した仮想広告画像を合成することにより、広告が配置された仮想視点画像を生成する。次に、Ｓ５０９において、通信処理部４０１は、Ｓ５０８において得られた仮想視点画像（表示画像）を端末装置１３０に送信（出力）する。以上で、画像処理が終了する。

図６及び図７は、広告領域決定処理（Ｓ５０５）の説明図である。図６（ａ）には、仮想視点６００と、仮想的な撮影範囲６０１と、特定オブジェクト６０２と、広告領域６０３とを概念的に示している。図６（ａ）の例では、仮想視点６００からみて、仮想的な撮影範囲６０１の右側で、かつ特定オブジェクト６０２よりも撮影方向において後方の位置が特定オブジェクト６０２の配置位置として決定されている。図６（ｂ）は、図６（ａ）に対応する仮想視点画像６１０を示す図である。仮想視点画像６１０において、仮想広告画像６１２は、特定オブジェクト画像６１１に重なることなく、特定オブジェクト画像６１１の左側に配置されている。

また、図７（ａ）に示すように、撮影範囲７０１の左側に特定オブジェクト７０２が位置しているとする。この場合には、広告領域決定部４０７は、特定オブジェクト７０２の
右側かつ後方の位置を広告領域７０３の位置として決定する。図７（ｂ）は、図７（ａ）に対応する仮想視点画像７１０を示す図である。仮想視点画像７１０において、仮想広告画像７１２は、特定オブジェクト画像７１１と重なることなく、特定オブジェクト画像７１１の右側に配置されている。

以上のように、第１の実施形態に係る画像生成装置１２０は、特定オブジェクト（被写体）に重ならない位置を広告領域として決定し、広告領域に仮想広告画像を配置する。より具体的には、画像生成装置１２０は、三次元空間における仮想視点の位置、及び、三次元空間における特定オブジェクトの位置に基づいて、広告領域を決定する。なお、本実施形態における三次元空間とは、複数の撮影装置１１０による撮影対象となる空間（例えばサッカー場などの競技場）における、例えば、高さ方向（重力方向）、幅方向、及び、奥行き方向によって特定される空間である。この三次元空間は、例えば、競技場の中央を原点とした三次元座標によって表すことができる。上記のような構成によれば、広告画像の上に被写体が重なることにより、広告画像の一部又は全部が表示されなくなるのを防ぐことができる。すなわち、広告画像の表示機会の損失を低減させることができる。すなわち、画像生成装置１２０は、仮想視点画像において、適切に広告画像を配置することができる。

第１の変形例としては、画像生成装置１２０は、特定オブジェクトの移動に応じて広告領域の位置を変更してもよい。具体的には、画像生成装置１２０は、映像の各フレームに基づいて、オブジェクトの移動を検出する。そして、画像生成装置１２０は、図８（ａ）に示すように、特定オブジェクト８０２の仮想視点８００に近付く方向への移動が検出された場合に、広告領域８０３の位置をより後方の位置に変更する。

図８（ｂ）は、特定オブジェクト８０２の移動に応じた仮想視点画像の変化を示す図である。特定オブジェクト８０２の移動に応じて、仮想視点画像は、仮想視点画像８１０から仮想視点画像８２０に変化する。すなわち、仮想視点画像８１０は、図８（ａ）に示す特定オブジェクト８０２の移動前に対応し、仮想視点画像８２０は、図８（ａ）に示す特定オブジェクト８０２の移動後に対応する。仮想視点画像８２０の特定オブジェクト画像８２１は、仮想視点画像８１０の特定オブジェクト画像８１１に比べて大きく表示される。一方、仮想視点画像８２０の仮想広告画像８２２は、仮想視点画像８１０の仮想広告画像８１２に比べて小さく表示される。さらに、この場合において、画像生成装置１２０は、仮想広告画像８２２を仮想広告画像８１２に比べてぼかす、陰影を加える等、距離感を与えるような画像処理を行ってもよい。

より具体的には、画像生成装置１２０は、仮想視点と特定オブジェクトの距離に応じて、広告領域の撮影方向における位置を決定する。画像生成装置１２０は、例えば、仮想視点と特定オブジェクトの距離が短くなる程、より後方の位置を広告領域の位置として決定する。なお、画像生成装置１２０は、例えば、仮想視点と特定オブジェクトの距離と広告領域の位置の関係を示す関係式から広告領域の位置を決めるものとする。この場合、画像生成装置１２０のＨＤＤ３０４には、関係式が予め記憶されているものとする。また、他の例としては、画像生成装置１２０は、仮想視点と特定オブジェクトの距離と広告領域の位置を対応付けた対応テーブルを参照して、広告領域の位置を決めることとしてもよい。この場合、画像生成装置１２０のＨＤＤ３０４には、対応テーブルが予め記憶されているものとする。また、画像生成装置１２０はこのとき、仮想視点と特定オブジェクトの距離に応じて、広告領域の撮影方向における位置の他、他の方向における位置も併せて変更してもよい。

このように、画像生成装置１２０は、特定オブジェクトが仮想視点に近付くにつれて、広告領域の位置をより後方の位置に変更する。これにより、特定オブジェクトが仮想視点
に近付く方向に移動している場合においても、仮想広告画像の一部又は全部が表示されなくなるのを防ぐことができる。

なお、画像生成装置１２０は、特定オブジェクトの移動方向を検出し、検出結果に応じて広告領域の位置を変更するが、これは特定オブジェクトが仮想視点に向かって移動する場合に限らない。例えば、特定オブジェクトが広告領域の方向に向かって移動する場合に、広告領域の位置をより後方の位置に変更してもよいし、広告領域の位置を特定オブジェクトから離れる方向に変更してもよい。

第２の変形例としては、画像生成装置１２０は、撮影空間における広告領域の配置位置を決定するのに替えて、仮想視点画像における広告領域の配置位置を決定してもよい。この場合、画像生成装置１２０は、仮想視点情報に基づいて、広告画像を含まない仮想視点画像を生成し、この仮想視点画像において、特定オブジェクト画像と重ならないような位置を広告領域の位置として決定すればよい。そして、画像生成装置１２０は、この広告領域に、仮想広告画像を重畳することにより、広告画像が表示された仮想視点画像を得る。さらに、画像生成装置１２０は、仮想視点における広告領域の配置位置に加えて、広告領域のサイズを決定してもよい。画像生成装置１２０は例えば、初期サイズの広告領域を配置するスペースが確保できない場合に、広告領域のサイズをより小さいサイズとしてもよい。第２の変形例によれば、三次元空間における仮想視点の位置と、特定オブジェクトの位置とに基づいて、三次元空間における広告領域の配置位置を決定するよりも、広告領域の決定に係る処理負荷を低減できる。

第３の変形例としては、画像生成装置１２０は、ユーザ操作に応じて仮想視点情報を生成するのに替えて、特定の選手やボール等特定オブジェクトを追尾するような仮想視点情報を自動的に生成してもよい。

第４の変形例としては、画像処理装置１２０は、広告領域の位置を、仮想視点画像としての動画のフレームごとに逐次変更してもよいし、一度変更した後は広告領域の位置を所定期間固定してもよい。

第５の変形例としては、画像生成装置１２０は、特定オブジェクト、背景及び広告それぞれの画像と、三次元空間上におけるそれぞれの配置とに基づいて、広告が挿入された仮想視点画像を直接生成してもよい。このような方法によれば、広告が挿入されていない仮想視点画像と仮想広告画像とを一旦生成してから合成する場合と比べて、画像生成装置１２０の全体の処理量を低減することができる。

第６の変形例としては、画像生成装置１２０は、広告が挿入されていない仮想視点画像と、広告領域決定部４０７により決定した広告領域の位置を示す情報とを、外部の装置に出力してもよい。そして、当該外部の装置が、画像生成装置１２０から取得した情報が示す広告領域の位置に広告を挿入して、広告挿入済みの仮想視点画像を生成してもよい。

（第２の実施形態）
次に、第２の実施形態に係る画像処理システムについて説明する。図９は、第２の実施形態に係る画像生成装置９００の機能構成を示す図である。画像生成装置９００は、図４を参照しつつ説明した、第１の実施形態に係る画像生成装置１２０の構成に加えて、背景形状特定部９０１をさらに有している。

背景形状特定部９０１は、画像取得部４０５が取得した複数の背景画像に基づいて、背景の形状を特定する。そして、背景形状特定部９０１は、背景の配置と特徴点の位置情報等背景の形状を示す背景形状情報を生成する。なお、背景の形状の特定方法としては、複
数のカメラで撮影した画像に対して三次元画像解析法を用いることで、背景の配置や奥行きを含む形状を特定する処理が挙げられる。但し、これ以外の方法を用いてもよい。広告領域決定部９０２は、オブジェクト特定部４０６により生成された特定オブジェクト情報と、背景形状情報と、仮想視点情報と、に基づいて、撮影空間において、広告領域の配置位置を決定する。

図１０は、第２の実施形態に係る画像生成装置９００による画像処理を示すフローチャートである。なお、図１０に示す各処理のうち、図５に示す画像処理の各処理と同じ処理には同じ番号を付し、説明を省略する。Ｓ５０４の処理の後、Ｓ１００１において、背景形状特定部９０１は、画像取得部４０５が取得した複数の背景画像に基づいて、背景の形状を特定する。そして、背景形状特定部９０１は、背景の配置と特徴点の位置情報等背景の形状を示す背景形状情報を生成する。

次に、Ｓ１００２において、広告領域決定部９０２は、オブジェクト特定部４０６により生成された特定オブジェクト情報と、背景形状情報と、仮想視点情報と、に基づいて、広告領域の配置位置を決定する。広告領域決定部９０２は、具体的には、まず、背景の形状を考慮することなく、特定オブジェクトと重ならない位置を広告領域の仮の配置位置として決定する。そして、広告領域決定部９０２は、仮想視点と仮の配置位置とを通る直線上のうち、所定の形状の位置を配置位置として決定する。ここで、所定の形状とは、仮想視点側を向く面等が挙げられる。仮想視点側を向く面としては、壁面が挙げられる、なお、他の例としては、広告領域決定部９０２は、仮想視点から見て仮想視点画像が正対するよう見えるように、背景形状上に広告領域を射影するものとしてもよいものとする。ＣＰＵ３０１は、Ｓ１００２の処理の後、処理をＳ５０６へ進める。

図１１は、広告領域決定処理（Ｓ１００２）の説明図である。図１１（ａ）には、仮想視点６００と、仮想的な撮影範囲６０１と、特定オブジェクト６０２と、広告領域６０３とを概念的に示している。また、背景には、壁面１１０１と、看板１１０２が背景として存在している。この場合、広告領域決定部９０２は、仮想視点画像において特定オブジェクト６０２の画像と重ならない位置に存在する看板１１０２の位置を広告領域の位置として決定する。図１１（ｂ）は、図１１（ａ）に対応する仮想視点画像１１１０を示す図である。仮想視点画像１１１０において、仮想広告画像１１１２は、特定オブジェクト画像１１１１と重なることなく、特定オブジェクト画像１１１１の右側の背景画像のうち、看板１１０２に配置されている。

また、撮影方向が競技場の真上から競技場を俯瞰するような仮想視点の場合には、画像生成装置９００は、地面を広告領域として決定する。これにより、競技視聴に影響なくかつ広告効果のある仮想視点画像を生成することができる。なお、第２の実施形態に係る画像処理システムのこれ以外の構成及び処理は、第１の実施形態に係る画像処理システムの構成及び処理と同様である。

以上のように、第２の実施形態においては、画像生成装置９００は、背景の形状を考慮して広告領域の位置を決定する。したがって、背景の位置や形状により、壁や看板等の背景の後ろに仮想広告画像が配置されるのを防ぐことができる。また、画像生成装置９００は、背景の壁面や看板などの三次元形状に基づいて広告領域の配置位置を決定するので、ユーザが違和感を抱かないような仮想視点画像を生成することができる。

（第３の実施形態）
次に、第３の実施形態に係る画像処理システムについて説明する。図１２は、第３の実施形態に係る画像生成装置１２００の機能構成を示す図である。画像生成装置１２００は、図４を参照しつつ説明した、第１の実施形態に係る画像生成装置１２０の構成に加えて
、オブジェクト解析部１２０１をさらに有している。オブジェクト解析部１２０１は、仮想視点情報生成部４０４により生成された仮想視点情報に基づいて、広告画像を含まない仮想視点画像を生成する。そして、オブジェクト解析部１２０１は、仮想視点画像全体に対する特定オブジェクト画像のサイズの割合を算出し、割合を示す割合情報を生成する。

広告領域決定部１２０２は、仮想視点情報と、特定オブジェクト情報と、割合情報と、に基づいて、撮影空間における広告領域の配置位置を決定する。なお、本実施形態においては、広告領域の初期位置が予め設定されているものとし、広告領域決定部１２０２は、初期位置を基準とし、割合情報に基づいて撮影方向における位置を決定する。

例えば、仮想視点画像の全体が（０、０）から（１９２０、１０８０）ドットの領域であるのに対し、特定オブジェクト画像の領域が（９６０，０）から（１５６０、１０８０）ドットの領域であるとする。この場合に、広告領域決定部１２０２は、割合が３０％等予め設定された閾値を超えた場合に、初期位置から撮影方向において所定の距離だけ、後方の位置を広告領域の配置位置として決定する。ここで、所定の距離は、例えば仮想視点からの距離を２倍とするような距離である。なお、広告領域決定部１２０２は、広告領域の配置位置を決定する際に、割合と広告領域の配置位置の関係を示す関係式を用いてもよく、また他の例としては、割合と広告領域の配置位置とを対応付けた対応テーブルを用いてもよい。

図１３は、第３の実施形態に係る画像生成装置１２００による画像処理を示すフローチャートである。なお、図１３に示す各処理のうち、図５に示す画像処理の各処理と同じ処理には同じ番号を付し、説明を省略する。Ｓ５０４の処理の後、Ｓ１３０１において、オブジェクト解析部１２０１は、仮想視点情報に基づいて、広告画像を含まない仮想視点画像を生成する。そして、オブジェクト解析部１２０１は、仮想視点画像全体に対する特定オブジェクト画像のサイズの割合を算出し、割合を示す割合情報を生成する。

次に、Ｓ１３０２において、広告領域決定部１２０２は、仮想視点情報と、特定オブジェクト情報と、割合情報と、に基づいて、撮影画像において、広告領域の配置位置を決定する。その後、ＣＰＵ３０１は、処理をＳ５０６へ進める。第３の実施形態に係る画像処理システムのこれ以外の構成及び処理は、他の実施形態に係る画像処理システムの構成及び処理と同様である。

以上のように、第３の実施形態においては、画像生成装置１２００は、全体画像に対する特定オブジェクト画像の割合に基づいて広告領域の配置位置を決定する。このため、例えば、図８（ｂ）に示す仮想視点画像８２０のように、特定オブジェクトが仮想視点に向かって移動し、特定オブジェクト画像が大きくなった場合にも、特定オブジェクト画像に重ならない位置に仮想広告画像を配置することができる。また、視点ズームに対しても、ユーザ操作する仮想視点画像内の特定オブジェクト画像に重ならない位置に仮想広告画像を配置することができる。

（第４の実施形態）
次に、第４の実施形態に係る画像処理システムについて説明する。図１４は、第４の実施形態に係る画像生成装置１４００の機能構成を示す図である。画像生成装置１４００は、第１の実施形態に係る画像生成装置１２０のオブジェクト特定部４０６、広告領域決定部４０７、仮想広告生成部４０９に替えて、広告領域特定部１４０１、広告画像変換部１４０２、画像合成部１４０３を有している。

広告領域特定部１４０１は、仮想視点画像生成部４１０により生成された仮想視点画像に広告領域が含まれるか否かを特定する。具体的には、広告領域特定部１４０１は、三次
元の仮想視点空間内の所定の広告領域を仮想視点情報に基づいて、二次元投影変換することにより、仮想視点画像内の広告領域を特定する。なお、仮想視点空間における広告領域の位置、サイズ及び形状は、予め設定されているものとする。なお、本実施形態においては、広告領域は四角形とし、その幅及び高さがサイズ及び形状として設定されているものとする。広告領域特定部１４０１は、仮想視点画像に広告領域が含まれる場合には、仮想視点画像全体に対する広告領域の位置、幅及び高さを示す広告領域情報を生成する。なお、仮想視点空間に設定される広告領域は、１つでもよく複数でもよい。また、他の例としては、仮想視点に応じて広告領域が動的に設定されるものとしてもよい。

また、広告領域特定部１４０１が広告領域を特定するための処理は実施形態に限定されるものではない。他の例としては、例えばＱＲコード（登録商標）（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅコード）のような所定のパターンオブジェクトを広告領域に配置しておく。そして、広告領域特定部１４０１は、仮想視点画像内に所定のパターンが存在するか否かにより、広告領域を特定するとしてもよい。広告領域の設定方法と、広告領域の特定方法は、実施形態に限定されるものではない。

広告画像変換部１４０２は、広告領域特定部１４０１から生成された広告領域情報と、広告画像記憶部４０８に記憶されている広告画像と、に基づいて、広告領域情報の範囲に収まるように、広告画像サイズを変換し、変換広告画像を生成する。なお、本実施形態においては、広告画像の幅と高さを含む初期サイズが予め設定されているものとする。そして、広告画像変換部１４０２は、広告領域特定部１４０１で生成された広告領域情報の幅と高さに、広告画像のサイズが収まる場合は、初期サイズの広告画像を変換広告画像として用いるものとする。一方で、広告画像変換部１４０２は、広告画像の初期サイズが広告領域情報に示される広告領域に収まらない場合には、広告画像が広告領域情報に示される広告領域に収まるように広告画像を縮小する。

また、他の例としては、広告画像変換部１４０２は、仮想視点の三次元位置と、広告領域の位置と、の位置関係に基づいて、広告画像（仮想広告）の大きさ（サイズ）を決定してもよい。また、広告領域に応じて広告画像のサイズを調整するための処理は実施形態に限定されるものではない。他の例としては、画像生成装置１４００は、サイズの異なる複数の広告画像を予め広告画像記憶部４０８に保持しておき、広告領域情報に基づいて広告領域に収まるサイズの広告画像を読み出すこととしてもよい。このように、広告画像の変換方法は実施形態に限定されるものではない。

画像合成部１４０３は、仮想視点画像生成部４１０において生成された仮想視点画像と、広告画像変換部１４０２において生成された変換広告画像を合成し広告合成仮想視点画像を生成する。すなわち、画像合成部１４０３は、仮想視点画像の広告領域情報に基づく指定の領域上に、広告画像を重畳することで広告合成仮想視点画像を生成する。画像合成部１４０３により生成された広告合成仮想視点画像は、通信処理部４０１において伝送可能な伝送信号に変換され、端末装置１３０に送信される。

図１５は、第４の実施形態に係る画像生成装置１４００による画像処理を示すフローチャートである。なお、図１５に示す各処理のうち、図５に示す画像処理の各処理と同じ処理には同じ番号を付し、説明を省略する。Ｓ５０３の処理の後、Ｓ１５０１において、仮想視点画像生成部４１０は、画像取得部４０５が取得した特定オブジェクト画像と背景画像とに基づいて、仮想視点画像を生成する。次に、Ｓ１５０２において、広告領域特定部１４０１は、仮想視点画像において、広告領域の特定を行う。次に、Ｓ１５０３において、広告画像変換部１４０２は、広告領域特定部１４０１により生成された広告領域情報と、広告画像記憶部４０８に記憶されている広告画像と、に基づいて、広告画像のサイズを変換し、変換広告画像を得る。広告画像変換部１４０２は、広告画像が広告領域情報の範
囲に収まるように、広告画像のサイズを縮小する。

次に、Ｓ１５０４において、画像合成部１４０３は、Ｓ１５０３において得られた変換広告画像を、仮想視点画像の指定の領域に重畳（合成）することにより、広告が配置された広告合成仮想視点画像を生成する。次に、Ｓ１５０５において、通信処理部４０１は、Ｓ１５０４において得られた広告合成仮想視点画像（表示画像）を端末装置１３０に送信（出力）する。以上で、画像処理が終了する。

図１６及び図１７は、広告領域特定処理（Ｓ１５０２）の説明図である。図１６には、仮想視点６００と、仮想的な撮影範囲６０１と、特定オブジェクト６０２と、広告領域１６００とを概念的に示している。図１７には図１６の仮想視点６００から得られた仮想視点画像を示している。例えば、仮想視点６００の仮想視点情報から得られた仮想視点画像において、仮想視点画像の全体が左上を原点とする（０、０）から（１９２０、１０８０）ドットの領域であるとする。この場合において、仮想視点空間から仮想視点画像への二次元投影変換により、位置（０、１００）、幅７００、高さ３００の領域が広告領域１７００として特定される。

図１８は、広告画像変換処理（Ｓ１５０３）と、広告合成仮想視点画像の生成処理（Ｓ１５０４）の説明図である。図１８（ａ）に示すように、広告画像１８００は、幅７２０、高さ３６０の画像であるとする。Ｓ１５０２により特定された広告領域は、図１７に示すように幅７００、高さ３００の領域であるとする。この場合、広告画像変換部１４０２は、広告画像の縦横比を維持したまま、広告領域に収まるサイズに縮小する。具体的には、幅６００、高さ３００の変換広告画像を生成する。そして、図１８（ｂ）に示すように、仮想視点画像の位置（０、１００）に変換広告画像１８１０を合成することで、広告合成仮想視点画像１８２０を生成する。

なお、本実施形態では、画像合成部１４０３は、広告領域の中心を基準として広告画像を配置することとしたが、広告画像が広告領域内に配置されればよく、実施形態に限定されるものではない。他の例としては、画像合成部１４０３は、広告領域の左上頂点と広告画像の左上頂点が一致するように広告画像を配置することとしてもよい。また、広告画像変換部１４０２は、広告画像のサイズ変換において必ずしも縦横比を維持する必要はなく、縦横のいずれか一方のみ変換してもよく、また縦横それぞれを異なる倍率で縮小してもよい。

以上のように、第４の実施形態に係る画像生成装置１４００は、仮想視点画像内に含まれる広告領域に仮想広告画像を配置する。より具体的には、画像生成装置１２０は、仮想視点画像の広告領域の位置、大きさに基づいて、広告画像を広告領域に収まるように変換して仮想視点画像と広告画像を合成して表示する。上記のような構成によれば、仮想視点画像を生成後に、広告画像を付与することが可能となり、より簡易的な構成で広告画像を付与することが可能となる。

なお、第２の実施形態や第３の実施形態で説明した方法を第４の実施形態に適用してもよい。具体的には、特定オブジェクトの移動方向や、仮想視点画像内において特定オブジェクトの画像が占める大きさに基づいて、広告画像を変換してもよい。

また、二次元の仮想視点画像内における広告画像の大きさを直接制御する方法に限らず、三次元空間における広告画像の大きさを制御し、その制御結果に基づいて仮想視点画像を生成してもよい。例えば、画像生成装置は、三次元空間内に予め定められた広告領域や、仮想視点及び特定オブジェクトの位置に基づいて決定された広告領域のうち、仮想視点の視界に含まれる部分領域（仮想視点画像に含まれる部分）を特定する。この部分領域の
特定は、例えば仮想視点の三次元位置と、広告領域の三次元位置とに基づいて行われる。そして、画像生成装置は、特定された部分領域に広告画像が収まるように、広告画像の大きさや内容を決定して当該部分領域に配置する。そして、画像生成装置は、撮影画像と、仮想視点情報と、三次元空間における広告画像の位置、大きさ及び内容とに基づいて、仮想視点画像を生成してもよい。このような方法によれば、例えば、広告画像の全体が仮想視点画像に含まれるようにすることができ、広告画像の一部分しか仮想視点画像に含まれない場合よりも広告効果を高めることができる。

また、画像生成装置は、広告画像のサイズに限らず、広告内容の異なる広告画像を予め広告画像記憶部４０８に保持しておき、広告領域情報に基づいて、異なる広告画像を読み出すこととしてもよい。ここで広告内容とは、企業名ロゴ、商品ロゴ、商品イメージ、ロゴマーク、画像を含む広告情報であり、例えば広告領域が小さくなるほど、広告情報が少ないものを読み出すこととする。また、他の例としては、画像生成装置は、仮想視点の三次元位置と、広告領域の位置と、の位置関係に基づいて、仮想広告の内容を決定してもよい。

以上の各実施形態では、広告画像を表示する広告領域を撮影空間内に配置することで、仮想視点画像に広告画像を合成するものとした。ただし、画像生成装置は、撮影装置１１０による撮影画像に含まれない仮想オブジェクトを仮想視点画像に合成すればよく、仮想オブジェクトは広告画像に限らない。合成される仮想オブジェクトは例えば、撮影対象の試合の途中経過に関する情報を示す画像や、試合に関する統計情報を示す画像、人物などの被写体を説明する文字や画像、及び当該人物の生体情報を示す画像などの付加情報であってもよい。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理システム
１１０ 撮影装置
１２０ 画像生成装置
１３０ 端末装置

Claims (22)

1. 複数のカメラによる複数の方向からの撮影により得られる複数の撮影画像に基づく仮想視点画像を生成する画像処理装置であって、
   ３次元空間における仮想視点の位置を表す視点情報を取得する視点情報取得手段と、
   前記複数の撮影画像の少なくとも何れかに含まれる特定オブジェクトの前記３次元空間における位置及び３次元形状を表すオブジェクト情報を取得するオブジェクト情報取得手段と、
   前記仮想視点画像に表示させる仮想オブジェクトであって前記複数の撮影画像の何れにも含まれない仮想オブジェクトの前記３次元空間における位置を、前記視点情報取得手段により取得される視点情報と前記オブジェクト情報取得手段により取得されるオブジェクト情報とに基づいて決定する決定手段と、
   前記オブジェクト情報取得手段により取得されるオブジェクト情報が表す位置及び３次元形状に応じた前記特定オブジェクトのモデルと、前記決定手段により決定される位置に応じた前記仮想オブジェクトのモデルと、前記視点情報取得手段により取得される視点情報と、に基づくレンダリングを行うことで、前記仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記特定オブジェクトの画像と前記仮想オブジェクトの画像とが前記仮想視点画像において重ならないように前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記３次元空間における位置は、前記複数のカメラにより撮影される空間に対応する３次元座標系によって規定されることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記視点情報取得手段により取得される視点情報は、前記３次元空間における位置及び方向を表し、
   前記決定手段は、前記仮想視点の位置及び方向と、前記オブジェクト情報とに基づいて、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記決定手段は、前記仮想視点の位置及び方向と、前記仮想視点に応じたズーム値と、前記オブジェクト情報とに基づいて、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記３次元空間における前記仮想視点の位置と前記特定オブジェクトの位置との距離に応じて、前記３次元空間における前記仮想視点の位置と前記仮想オブジェクトの位置との距離が変化するように、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記決定手段は、前記仮想視点の前記３次元空間における位置と前記特定オブジェクトの前記３次元空間における位置との距離が第１の距離である場合は、前記仮想視点の前記３次元空間における位置と前記特定オブジェクトの前記３次元空間における位置との距離が前記第１の距離より長い第２の距離である場合よりも、前記仮想視点の前記３次元空間における位置と前記仮想オブジェクトの前記３次元空間における位置との距離が遠くなるように、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記特定オブジェクトの移動方向を判断する判断手段を有し、
   前記決定手段は、前記オブジェクト情報取得手段により取得されるオブジェクト情報と、前記視点情報取得手段により取得される視点情報と、前記判断手段により判断された前記特定オブジェクトの移動方向とに基づいて、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記複数の撮影画像の少なくとも何れかに含まれる背景の形状を特定する形状特定手段を有し、
   前記決定手段は、前記オブジェクト情報取得手段により取得されるオブジェクト情報と、前記視点情報取得手段により取得される視点情報と、前記形状特定手段により特定された前記背景の形状とに基づいて、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記決定手段は、前記オブジェクト情報取得手段により取得されるオブジェクト情報と前記視点情報取得手段により取得される視点情報とに応じて決まる前記仮想視点画像における前記特定オブジェクトのサイズに基づいて、前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記決定手段は、前記仮想オブジェクトの前記３次元空間における大きさ及び形状の少なくとも何れかを、前記オブジェクト情報取得手段により取得されるオブジェクト情報と前記視点情報取得手段により取得される視点情報とに基づいて決定することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記決定手段は、前記仮想オブジェクトにより前記仮想視点画像に表示される内容を、前記オブジェクト情報取得手段により取得されるオブジェクト情報と前記視点情報取得手段により取得される視点情報とに基づいて決定することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記仮想オブジェクトは、前記仮想視点画像に広告を表示させるためのオブジェクトであることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前記仮想オブジェクトにより前記仮想視点画像に表示される内容には、企業名ロゴマーク、商品名ロゴマーク、商品イメージの少なくとも何れかが含まれることを特徴とする請求項１３に記載の画像処理装置。
15. 前記仮想オブジェクトは、前記複数のカメラの撮影対象に関する付加情報を前記仮想視点画像に表示させるためのオブジェクトであることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
16. 前記仮想オブジェクトにより前記仮想視点画像に表示される内容には、撮影対象の試合の途中経過に関する情報、当該試合に関する統計情報、撮影対象の人物を説明する情報、及び当該人物の生体情報の少なくとも何れかが含まれることを特徴とする請求項１５に記載の画像処理装置。
17. 複数のカメラによる複数の方向からの撮影により得られる複数の撮影画像に基づく仮想視点画像を生成する画像処理装置であって、
    ３次元空間における仮想視点の位置を表す視点情報を取得する視点情報取得手段と、
    前記複数の撮影画像の少なくとも何れかに含まれる特定オブジェクトの前記３次元空間における位置及び大きさを表すオブジェクト情報を取得するオブジェクト情報取得手段と、
    前記仮想視点画像に表示させる仮想オブジェクトであって前記複数の撮影画像の何れにも含まれない仮想オブジェクトの前記３次元空間における位置を、前記視点情報取得手段により取得される視点情報と前記オブジェクト情報取得手段により取得されるオブジェクト情報とに基づいて決定する決定手段と、
    前記オブジェクト情報取得手段により取得されるオブジェクト情報が表す位置及び大きさに応じた前記特定オブジェクトのモデルと、前記決定手段により決定される位置に応じた前記仮想オブジェクトのモデルと、前記視点情報取得手段により取得される視点情報とに基づくレンダリングを行うことで、前記仮想視点画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
18. 前記決定手段は、前記特定オブジェクトの画像と前記仮想オブジェクトの画像とが前記仮想視点画像において重ならないように前記仮想オブジェクトの前記３次元空間における位置を決定することを特徴とする請求項１７に記載の画像処理装置。
19. 複数のカメラによる複数の方向からの撮影により得られる複数の撮影画像に基づく仮想視点画像を生成する画像処理方法であって、
    ３次元空間における仮想視点の位置を表す視点情報を取得する視点情報取得工程と、
    前記複数の撮影画像の少なくとも何れかに含まれる特定オブジェクトの前記３次元空間における位置と前記特定オブジェクトの３次元形状とを表すオブジェクト情報を取得するオブジェクト情報取得工程と、
    前記仮想視点画像に表示させる仮想オブジェクトであって前記複数の撮影画像の何れにも含まれない仮想オブジェクトの前記３次元空間における位置を、前記視点情報取得工程において取得される視点情報と前記オブジェクト情報取得工程において取得されるオブジェクト情報とに基づいて決定する決定工程と、
    前記オブジェクト情報取得工程において取得されるオブジェクト情報に応じた前記特定オブジェクトのモデルと、前記決定工程において決定される位置に応じた前記仮想オブジェクトのモデルと、前記視点情報取得工程において取得される視点情報と、に基づくレンダリングを行うことで、前記仮想視点画像を生成する生成工程と、を有することを特徴とする画像処理方法。
20. 前記決定工程においては、前記特定オブジェクトの画像と前記仮想オブジェクトの画像とが前記仮想視点画像において重ならないように前記仮想オブジェクトの前記３次元空間における位置が決定されることを特徴とする請求項１９に記載の画像処理方法。
21. 前記決定工程においては、前記仮想オブジェクトの前記３次元空間における大きさ及び形状の少なくとも何れかを、前記オブジェクト情報取得工程において取得されるオブジェクト情報と前記視点情報取得工程において取得される視点情報とに基づいて決定することを特徴とする請求項１９又は２０に記載の画像処理方法。
22. コンピュータを、請求項１乃至１８の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images