JP2020028096A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】仮想視点画像内に適切なタイミングで合成対象の画像を表示可能にする。【解決手段】撮影対象領域を複数の方向から撮影する複数の撮影装置により得られる撮影画像に基づく仮想視点画像であって対象画像が合成された仮想視点画像を生成する画像処理装置であって、保存手段に保存されている複数の対象画像の中から、前記撮影対象領域における対象画像の表示タイミングに基づいて、前記仮想視点画像に合成する対象画像を決定する決定手段と、前記決定手段により決定された対象画像が合成された前記仮想視点画像を生成する生成手段とを備える。【選択図】 図１

Description

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点画像を用いて仮想視点画像を生成する技術が注目されている。

多視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。

このような多視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。

このようにして生成された仮想視点画像内にスポンサー広告を表示させ、視聴者に広告活動を行う場合がある。特許文献１では、仮想視点画像内に広告画像を表示させる際に、視聴者が認識しやすい位置に広告を表示する技術が開示されている。

特開２０１２−４８６３９号公報

しかし、特許文献１に記載の技術では、広告の表示タイミングについて考慮されていない。例えば、フィールド脇に設置されたディスプレイ等に表示されるスポンサー広告を、画像合成により仮想視点画像内に表示させる場合を考える。この場合に、事前に準備された広告画像をタイミングの制御を行うことなく合成すると、仮想視点画像における広告画像の表示タイミングが、実際の撮影シーンにおけるディスプレイへの広告表示タイミングと異なってしまうことがある。その結果、広告の表示タイミングが実際と異なることで広告主に不平等が生じてしまったり、広告効果が低下してしまったりする可能性があるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、仮想視点画像内に適切なタイミングで合成対象の画像を表示可能にするための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
撮影対象領域を複数の方向から撮影する複数の撮影装置により得られる撮影画像に基づく仮想視点画像であって対象画像が合成された仮想視点画像を生成する画像処理装置であって、
保存手段に保存されている複数の対象画像の中から、前記撮影対象領域における対象画像の表示タイミングに基づいて、前記仮想視点画像に合成する対象画像を決定する決定手段と、
前記決定手段により決定された対象画像が合成された前記仮想視点画像を生成する生成手段と、
を備えることを特徴とする。

本発明によれば、仮想視点画像内に適切なタイミングで合成対象の画像を表示することが可能となる。

実施形態１に係る画像処理装置の概略構成を示すブロック図。 実施形態１に係る画像データの例を示す図。 実施形態１に係る広告画像の例を示す図。 実施形態１に係る画像処理装置が実施する処理の手順を示すフローチャート。 実施形態２に係る画像処理装置が実施する処理の手順を示すフローチャート。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
＜概略＞
本実施形態では、予め保存されている対象画像（例えば広告画像）の中から、対象画像の実際の表示タイミングに合うように、仮想視点画像に合成する対象画像を決定し、決定された対象画像を仮想視点画像中の特定の表示領域に対して合成する例を説明する。より具体的には、仮想視点画像の時刻情報と、周期的画像である対象画像（例えば広告画像）の時刻情報とに基づいて、仮想視点画像に合成する対象画像を決定する。

これにより、仮想視点画像内に適切なタイミングで必要な画像を表示することが可能となる。例えば、対象画像が広告画像である場合には、実際の表示に即した広告画像の表示が可能となるため広告主に不平等が生じることを防止できる。さらに、予め保持されている高解像度の広告画像を合成するため、より視認しやすい仮想視点画像を提供でき、従って広告効果を増大することも可能となる。

＜画像処理システムの構成＞
まず、図１（ａ）を参照して、本実施形態に係る画像処理システム及び画像処理装置の構成の一例を説明する。本実施形態に係る画像処理システムは、画像処理装置１０００、複数の撮影装置１１００、仮想視点画像生成装置１２００及び画像保存装置１３００を含んで構成されている。

[画像処理装置]
画像処理装置１０００は、撮影装置１１００、仮想視点画像生成装置１２００及び画像保存装置１３００と接続されている。画像処理装置１０００には、撮影装置１１００から後述する時刻情報が入力され、仮想視点画像生成装置１２００から仮想視点画像データが入力される。さらに、画像処理装置１０００は、入力された仮想視点画像データに対して、広告に代表される画像を合成し、画像保存装置１３００へ画像データを出力する。

撮影装置１１００は、ビデオカメラ等の装置である。撮影装置１１００は、例えば、シリアルデジタルインターフェイス（ＳＤＩ）に代表される画像信号インターフェイスを備えたデジタルビデオカメラである。なお、図中では１つの撮影装置１１００が示されているが、複数の撮影装置により構成されており、各撮影装置により同時期に撮影された画像から仮想視点画像を生成することができる。

[撮影装置]
撮影装置１１００は、画像信号インターフェイスにタイムコードに代表される時刻情報を重畳させ、画像処理装置１０００へ画像信号及び時刻情報を出力する。なお、撮影装置１１００から画像処理装置１０００へ必ずしも画像信号を出力する必要はなく、時刻情報のみを出力してもよい。実施形態１では、撮影装置１１００から画像処理装置１０００へ画像信号を出力せず、後述する特定シーンの時刻情報を出力するものとする。

[仮想視点画像生成装置]
仮想視点画像生成装置１２００は、撮影装置１１００から受信した撮影画像データから仮想視点画像を生成するサーバである。例えば、仮想視点画像生成装置１２００は、ネットワークケーブル等を介して撮影装置１１００から撮影画像データを取得する。なお、撮影装置１１００は、撮影対象領域を複数の方向から撮影する複数の撮影装置を有する撮影装置群に含まれており、仮想視点画像生成装置１２００は、撮影装置群に含まれる複数の撮影装置から撮影画像データを取得する。そして仮想視点画像生成装置１２００は、取得した撮影画像データに基づいて三次元モデル生成、レンダリングなどの処理を行い、仮想視点画像を生成する。

そして、仮想視点画像生成装置１２００は、生成した仮想視点画像を画像処理装置１０００へ出力する。出力される仮想視点画像は、三次元モデル情報と、レンダリングに必要なテクスチャ情報とであってもよいし、或いは、仮想視点を決定した後の画像データであってもよい。なお、本実施形態では、仮想視点画像生成装置１２００は、画像処理装置１０００の外部に設けられているが、画像処理装置１０００の内部に仮想視点画像生成装置１２００の機能の一部又は全部が含まれてもよい。

[画像保存装置]
画像保存装置１３００は、画像処理装置１０００から出力された仮想視点画像を保存する。例えば、画像保存装置１３００は、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表されるデータ保存部である。画像処理装置１０００が出力する仮想視点画像は画像保存装置１３００に蓄えられ、ユーザが不図示の画像表示装置等で視聴することができる。なお、画像処理装置１０００が出力する仮想視点画像は、画像保存装置１３００だけでなく、ディスプレイなどの画像表示装置にも出力し、ユーザに提供してもよい。

＜画像処理装置の構成＞
次に、本実施形態に係る画像処理装置１０００の機能構成の一例を説明する。画像処理装置１０００は、合成画像保存部１０１０と、画像合成部１０２０と、合成画像決定部１０３０とを備えている。各処理部の機能は後述のハードウェア構成で示すＣＰＵ等の制御部により実行される。

[合成画像保存部]
合成画像保存部１０１０は、撮影装置１１００が撮影している場所に設置された（撮影構図内の）ディスプレイに表示される画像データ（例えば、広告画像）を保存している。例えば、撮影対象がサッカーの試合である場合、スタジアムのフィールド脇には広告表示用のディスプレイが設置されている場合がある。これらのディスプレイは、時々刻々と広告画像を変化させる効果を加えることで広告効果をあげている。合成画像保存部１０１０は、ディスプレイに表示されるべき広告に代表する画像を保存している。フィールド脇に設置されたディスプレイ広告は、仮想視点画像内においても重要な広告媒体である。そのため、仮想視点の位置がどのような位置にある場合でも広告画像は高画質であるべきである。仮に仮想視点の位置がフィールド脇のディスプレイに寄った場合に、広告画像が拡大処理を施したような解像感の低い画像になってしまっては広告効果を低下させてしまう。そのため、合成画像保存部１０１０は、事前に高解像度および高フレームレートの広告画像を保存しておく。合成画像保存部１０１０に保存する広告画像は、事前に広告主から得てもよいし、撮影装置１１００によって撮影してもよい。また、保存される画像は広告画像に限られるものではなく、スタジアムのオーロラビジョンなどに表示される広告以外の画像であってもよい。本実施形態では、合成画像保存部１０１０に保存されている画像は、フィールド脇に設置されたディスプレイに表示さる広告画像であって、周期的に表示内容を繰り返す広告画像であるものとして説明を行う。合成画像保存部１０１０に保存されている画像の詳細については後述する。なお、合成画像保存部１０１０は画像処理装置１０００の外部に存在していてもよい。

[画像合成部]
画像合成部１０２０は、合成画像保存部１０１０が保存する画像データを仮想視点画像に対して合成する。画像合成部１０２０は、例えばＰＣＩＥｘｐｒｅｓｓなどに代表される高速なデータ入出力インターフェイスを有するサーバやＣＰＵである。本実施形態において、画像合成部１０２０は、仮想視点画像生成装置１２００から仮想視点画像を受信する。そして画像合成部１０２０は、合成画像保存部１０１０から合成対象となる画像データを読み出して、仮想視点画像生成装置１２００から受信した仮想視点画像に合成する。なお、画像合成部１０２０は、３次元モデル情報、テクスチャ情報、及び仮想視点情報などの、仮想視点画像を生成するための素材データを、仮想視点画像生成装置１２００から受信してもよい。そして画像合成部１０２０は、それらの素材データと合成画像保存部１０１０から読みだした合成対象の画像データとを用いてレンダリング等の画像処理を行い、対象画像が合成された仮想視点画像を生成してもよい。

[合成画像決定部]
合成画像決定部１０３０は、合成画像保存部１０１０が保存する画像データから、仮想視点画像に合成する対象となる画像データを決定する。例えば、合成画像決定部１０３０は、演算可能なサーバやＣＰＵである。本実施形態では、合成画像決定部１０３０は、撮影装置１１００から特定シーンの時刻情報を受信し、この時刻情報を基準として仮想視点画像に合成する対象となる画像データを決定する。

続いて、図１（ｂ）を参照して、本実施形態に係る画像処理装置１０００のハードウェア構成の一例を説明する。画像処理装置１０００は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５を備え、入力装置１００６及び表示装置１００７と接続されている。

ＣＰＵ１００１は、本実施形態に係る画像処理装置１０００の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。

記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。表示装置１００７は、ＬＣＤディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

＜仮想視点画像への画像データの合成＞
次に、図２（ａ）−図２（ｃ）を参照して、撮影装置１１００が取得した撮影画像と仮想視点画像生成装置１２００が生成した仮想視点画像との例を説明する。図２（ｄ）については後述する。撮影画像２０００、撮影画像２１００は、撮影装置１１００が取得した撮影画像であり、仮想視点画像２２００は、仮想視点画像生成装置１２００が生成した仮想視点画像である。

撮影対象領域はサッカーの試合が行われるフィールドであり、図２（ａ）の撮影画像２０００において、サッカーフィールド２００３の脇に広告表示用ディスプレイ２００１が設置されている画像が表示されている。広告表示用ディスプレイ２００１は、広告効果を上げるために時々刻々と表示する広告画像を周期的に変化させている。例えば、図２（ａ）の撮影画像２０００の状態では、広告表示用ディスプレイ２００１が広告画像３００１（Ａ社の広告画像）を表示している。これに対して、一定時刻が経過した図２（ｂ）の撮影画像２１００の状態では、広告表示用ディスプレイ２００１は、異なる広告画像３００３（Ｂ社の広告画像）を表示している。

次に、仮想視点画像生成装置１２００から画像処理装置１０００へ出力される、図２（ｃ）の仮想視点画像２２００の説明を行う。仮想視点画像２２００は、仮想視点生成装置１２００が生成した仮想視点画像である。仮想視点画像２２００の時刻は、撮影画像２１００と同じ時刻である。仮想視点画像２２００では、撮影装置１１００が撮影した実際の撮影画像２１００の撮影視点とは異なる仮想視点からの画像が表示される。しかしながら、広告表示用ディスプレイ２２０１には、実際の撮影画像では図２（ｂ）に示される通り「B社」が表示されているのに対し、図２（ｃ）の仮想視点画像２２００では「A社」が表示されてしまっている。これは、仮想視点画像を生成する際に、画像の伝送データ量を削減するために背景画像の更新レートを低くしているため、実際の画像よりも以前の状態が表示されてしまっているためである。このように、仮想視点画像においてゴールシーンなど決定的な場面に表示されている広告画像が現実にその時刻に表示されている広告と異なる場合には、広告主に対して不平等が生じ、広告効果を低下させてしまう可能性がある。

続いて、図２（ｄ）を参照して、本実施形態に係る画像処理装置１０００から出力される仮想視点画像２３００の説明を行う。仮想視点画像２３００の広告表示ディスプレイ２３０１には、広告画像３００３が合成されており、実際に撮影された図２（ｂ）の画像２１００と同じ「Ｂ社」の広告が表示されている。このように、実際に表示されているタイミングに合うように画像を表示することにより、広告効果の低下を防ぐことができる。広告画像３００３を表示する処理の詳細については後述する。

＜広告画像の例＞
次に、図３を参照して、本実施形態に係る広告表示用ディスプレイ２００１に表示される広告画像の例を説明する。本実施形態に係る広告表示用ディスプレイ２００１は、図３の広告画像３０００に示すようにスポンサー名の入った広告画像を周期的に表示するものとする。合成画像保存部１０１０にも、実際の広告画像と同じ内容の画像データが保存されており、広告画像３０００が保存されている。

図３に示す広告画像３０００は、広告画像３００１から広告画像３００２、広告画像３００３へと順次変化を開始し、広告画像３００６へ変化した後、再び広告画像３００１に戻る。本実施形態に係る広告画像３００００は、図３の広告画像の時刻情報３１００に示すように、６０秒間で周期的に繰り返すような画像になっている。

画像保存装置１３００は、広告画像３００１〜広告画像３００６に対応した時刻情報３１００を保存している。広告画像の開始フレーム３００１の時刻情報を「ＸＸ：ＸＸ：００．００」として、各フレームに時刻情報が付与されているものとする。

＜処理＞
続いて、図２及び図３の画像例、及び図４のフローチャートを参照しながら、本実施形態に係る画像処理装置１０００が実施する処理の手順を説明する。

（Ｓ４０１０）
Ｓ４０１０において、合成画像決定部１０３０は、仮想視点画像に合成する対象画像（例えば広告画像３０００）の周期時刻情報を取得する。図３に示したように、広告画像３０００は広告画像３００１から順次変化を開始し、広告画像３００６に変化した後、再び広告画像３００１に戻る。本実施形態に係る対象画像（広告画像）は、時刻情報３１００により示されるように６０秒間で周期的に広告表示を繰り返すような画像になっている。ここでは、合成画像決定部１０３０は、対象画像（広告画像）の周期情報として「６０秒」を取得する。

（Ｓ４０２０）
Ｓ４０２０において、合成画像決定部１０３０は、基準フレームの時刻情報を撮影装置１１００から取得する。本実施形態では、周期的に変化する対象画像（例えば広告画像３０００）の周期の開始フレームが撮影装置１１００により撮影されているフレーム、すなわち周期的画像の周期の基準となるフレームを基準フレームと呼ぶこととする。広告画像３０００は、広告画像３００１から変化を開始し、広告画像３００６に変化した後、再び広告画像３００１に戻る。よって、広告画像３０００の変化の開始フレームは広告画像３００１である。この広告画像３００１が表示されている開始フレームが基準フレームとなる。なお、基準フレームは開始フレームに限定されるものではなく、終了フレームを基準としてもよいし、或いは、何れか特定のフレームを基準フレームとしてもよい。

撮影画像２０００は、広告表示用ディスプレイ２００１が広告画像３００１を表示している状態であるので、撮影画像２０００が基準フレームに該当する。本実施形態では、撮影画像２０００の時刻情報は、図２（ａ）の時刻情報２００２に示されるように００：０５：２０．００である。このように、合成画像決定部１０３０は、基準フレームの時刻情報として００：０５：２０．００を撮影装置１１００から取得する。

なお、このような基準フレームとなる撮影画像２０００の状態は、撮影対象であるサッカーの試合などが開始される前の状態であってもよく、広告表示用ディスプレイ２００１が周期的な広告画像を表示している状態であればよい。また、本実施形態に係る基準フレームの時刻情報を撮影装置１１００から取得する例を説明しているが、ユーザが広告画像の基準フレームとなる時刻情報を、ユーザインターフェイスを介して入力することで取得してもよい。その場合、画像処理装置１０００が入力装置１００６としてのユーザインターフェイスを備えるように構成すればよい。

（Ｓ４０３０）
Ｓ４０３０において、合成画像決定部１０３０は、合成する仮想視点画像の時刻情報を取得する。例えば、撮影対象は、図２（ｂ）の撮影画像２１００に示されるように、サッカーの試合であり、ここではサッカーの試合が開始されている状態である。

この時点では、撮影装置１１００は、撮影画像を仮想視点画像生成装置１２００へ伝送し、仮想視点画像生成装置１２００は、撮影装置１１００から取得した情報に基づいて仮想視点画像を生成している状態である。ここで、仮想視点画像生成装置１２００は、一般的な公知の手法により仮想視点画像を生成するため、仮想視点画像生成の方法などの説明は省略する。仮想視点画像生成装置１２００は、生成した仮想視点画像２２００、及び仮想視点画像２２００の時刻情報を画像処理装置１０００に対して出力する。

このようにして、合成画像決定部１０３０は、入力された仮想視点画像２２００の時刻情報を取得する。本実施形態では仮想視点画像の時刻情報は、図２（ｃ）の時刻情報２２０１に示されるように０１：１２：４０．００である。

（Ｓ４０４０）
Ｓ４０４０において、合成画像決定部１０３０は、合成する対象画像データの時刻情報を算出する。本実施形態では、合成画像決定部１０３０は、以下の式に基づいて合成する対象画像データの時刻情報を算出する。

対象画像の時刻情報＝（仮想視点画像の時刻−基準フレームの時刻）％（対象画像の周期）
ここで、上記式において、仮想視点画像の時刻は０１：１２：４０．００であり、基準フレームの時刻は００：０５：２０．００である。よって、仮想視点画像の時刻と基準フレームの時刻との差分は０１：０７：２０．００となる。対象画像の周期情報は６０秒であることから、差分を周期で割った余りを算出すると、対象画像の時刻情報は００：００：２０．００として算出される。なお、本実施形態では簡単化のために秒単位までの算出に留めているが、秒よりも小さい単位まで算出するようにしてもよい。また、本実施形態ではフレーム番号については特に言及していないが、同様の方法で演算が可能である。

合成画像決定部１０３０は、画像合成部１０２０に対して、算出した対象画像の時刻情報を通知する。本実施形態では、合成画像決定部１０３０は、対象画像の時刻情報として００：００：２０．００を画像合成部１０２０に対して通知する。

（Ｓ４０５０）
Ｓ４０５０において、画像合成部１０２０は、合成画像決定部１０３０からＳ４０４０で通知された時刻情報に基づいて、合成画像保存部１０１０から対象画像を取得する。時刻情報００：００：２０．００の対象画像は、図３の広告画像３００３に示されるようにＢ社のスポンサー広告である。そして、画像合成部１０２０は、取得した対象画像３００３を仮想視点画像２２００の中の表示領域（広告表示用ディスプレイ２３０１の領域）に対して合成し、図２（ｄ）に示されるような仮想視点画像２３００を生成する。このようにして生成された仮想視点画像２３００の広告表示用ディスプレイ２３０１には、Ｂ社のスポンサー広告である広告画像３００３が表示されている。

これらの処理により、実際に撮影されている撮影画像２１００の広告表示用ディスプレイ２００１に表示されている広告画像を、仮想視点画像２３００にも表示することが可能となる。さらに、仮想視点画像２３００に合成した広告画像３００３は、事前に準備した高解像度の画像であるので、実際に撮影装置１１００により撮影した画像を合成するよりも高画質な広告画像を提供することが可能となる。すなわち、保存されている対象画像の解像度は、撮影装置１１００により撮影された撮影画像内の特定領域の解像度よりも高解像度である。

（Ｓ４０６０）
Ｓ４０６０において、合成画像決定部１０３０は、仮想視点画像の全フレームの処理が完了しているか否かを判定する。全フレームの処理が完了している場合、処理を終了する。一方、全フレームの処理が完了していない場合、Ｓ４０３０に戻って一連の処理を繰り返す。

以上説明したように、本実施形態によれば、仮想視点画像内に適切なタイミングで必要な画像を表示することが可能となる。また、必要な画像が広告画像である場合には、現実空間で実際に表示された広告画像を適切なタイミングで仮想視点画像内に表示することが可能となる。また、仮想視点画像内で高画質な広告画像を提供することができる。従って、広告効果を維持・増大させることが可能となる。

（実施形態２）
＜概略＞
実施形態１では、画像処理装置１０００が、撮影装置１１００から特定シーンの時刻情報を取得し、取得した時刻情報に基づいて、合成する対象画像を決定する例を説明した。これに対して、実施形態２では、画像処理装置１０００が、撮影装置１１００から特定シーンの時刻情報を取得せず、画像データを受信する。そして、受信した画像データから特定シーンを検出し、検出した特定シーンに基づいて対象画像を決定する例を説明する。

＜画像処理システム及び画像処理装置の構成＞
本実施形態に係る構成は実施形態１で図１に示した構成と同様である。合成画像保存部１０１０と、画像合成部１０２０の機能は実施形態１と同様なので説明を省略する。

本実施形態に係る合成画像決定部１０３０は、撮影装置１１００から撮影画像データを受信する。そして、受信した画像データ内の広告表示領域（広告表示用ディスプレイの領域）の画像と、合成画像保存部１０１０に保存されている対象画像データとを比較することにより合成する対象画像を決定する。そのため、撮影装置１１００から時刻情報を取得する必要はない。

＜処理＞
続いて、図２、図３の画像例、及び図５のフローチャートを参照しながら、本実施形態に係る画像処理装置が実施する処理の手順を説明する。

（Ｓ５０１０）
Ｓ５０１０において、合成画像決定部１０３０は、撮影装置１１００から撮影画像データを受信し、撮影画像中の対象画像（例えば広告画像）の表示領域を特定する。すなわち、撮影装置１１００から受信した撮影画像のどの位置に表示領域が存在するかを特定する。ここで表示領域とは、例えば前述の広告画像が表示される広告表示用ディスプレイが存在する領域である。本実施形態では、表示領域は、合成画像決定部１０３０が予め保持している特定の領域として指定されているものとする。

なお、表示領域は、撮影装置１１００から受信する撮影画像データから導出してもよい。例えば、スタジアムで行われるイベント準備期間中にディスプレイ広告画像のリハーサルがあり、ディスプレイ広告画像が表示されている期間があるものとする。その場合には、ディスプレイ広告画像が表示されている期間の撮影画像データを用いて、フレーム間の画素値の差分を積算し、積算値が一定値以上である領域を表示領域として特定することができる。ディスプレイ広告画像が表示される領域は、時間経過と共に表示内容が変化するため、差分が大きい領域を表示領域と判定できる。

（Ｓ５０２０）
Ｓ５０２０において、合成画像決定部１０３０は、Ｓ５０１０で特定された表示領域の画像と、実施形態１で説明した合成画像保存部１０１０に保存されている対象画像とを比較し、比較結果に基づいて、合成する対象画像を決定する。

画像同士の比較には、画像データの比較で用いられる平均２乗誤差などに代表される手法を用いることができる。本実施形態では、各画素の平均２乗誤差値が閾値以下である場合に、背景変化記録が一致したと判定する。なお、画像比較の際には、スケーリングや変形等の画像処理を行った後に画素値の差分を取るものとするが、これらの前処理は必須ではなく、画像比較が可能であれば行わなくてもよい。

具体的に、実施形態１で示した図２の撮影画像２１００と、図３の広告画像３０００とを用いて説明を行う。合成画像決定部１０３０は、撮影画像２１００の表示領域（広告表示用ディスプレイ２００１が存在する領域）と、広告画像３０００の各フレーム３００１〜３００６との画素差分値をそれぞれ算出する。その結果、合成画像決定部１０３０は、画素値の差分が最も小さいフレーム３００３を対象画像として求めることができる。

（Ｓ５０３０）
Ｓ５０３０において、合成画像決定部１０３０は、Ｓ５０２０で決定された対象画像を仮想視点画像に対して合成する。ここでは、画素差分が最も少ないフレーム３００３が対象画像であり、当該対象画像を仮想視点画像に合成する。

これにより、実際に撮影されている画像２１００の広告表示用ディスプレイ２００１に表示されている広告画像を、仮想視点画像２３００にも表示することが可能となる。さらに、仮想視点画像２３００に合成された広告画像３００３は事前に準備した高解像度画像であるので、実際に撮影した画像を合成するよりも高画質な広告画像を提供することが可能となる。

（Ｓ５０４０）
Ｓ５０４０において、合成画像決定部１０３０は、仮想視点画像の全フレームの処理が完了しているか否かを判定する。全フレームの処理が完了している場合、処理を終了する。一方、全フレームの処理が完了していない場合、Ｓ５０２０に戻って一連の処理を繰り返す。

以上説明したように、本実施形態によれば、仮想視点画像内に適切なタイミングで必要な画像を表示することが可能となる。また、必要な画像が広告画像である場合には、現実空間で実際に表示された広告画像を仮想視点画像内で表示することが可能となる。また、仮想視点画像内で高画質な広告画像を提供することができる。従って、広告効果を維持・増大させることが可能となる。さらに、実施形態１と比較すると、撮影装置から時刻情報を受信する必要がないことから、撮影装置から時刻情報を受信できないような環境であったとしても処理を実行することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００：画像処理装置、１０１０：合成画像保存部、１０２０：画像合成部、１０３０：合成画像決定部、１１００：撮影装置、１２００：仮想視点画像生成装置、１３００：画像保存装置

Claims (8)

1. 撮影対象領域を複数の方向から撮影する複数の撮影装置により得られる撮影画像に基づく仮想視点画像であって対象画像が合成された仮想視点画像を生成する画像処理装置であって、
   保存手段に保存されている複数の対象画像の中から、前記撮影対象領域における対象画像の表示タイミングに基づいて、前記仮想視点画像に合成する対象画像を決定する決定手段と、
   前記決定手段により決定された対象画像が合成された前記仮想視点画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記対象画像は、周期的に表示内容が変化する周期的画像に含まれ、
   前記決定手段は、前記仮想視点画像の時刻情報と、前記周期的画像の時刻情報とに基づいて、前記仮想視点画像に合成する対象画像を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記周期的画像の周期の基準となる基準フレームの時刻情報を前記撮影装置から取得し、
   前記決定手段は、前記仮想視点画像の時刻情報と、前記基準フレームの時刻情報と、前記周期的画像の周期情報とに基づいて、前記仮想視点画像に合成する対象画像を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記撮影装置により撮影された撮影画像を取得するとともに、前記撮影画像内の特定領域の画像と、前記保存手段に保存されている対象画像とを比較し、当該比較の結果に基づいて、前記仮想視点画像に合成する対象画像を決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記決定手段は、前記特定領域の画像の画素値と、前記保存手段に保存されている対象画像の画素値との差分が閾値以下となる対象画像を、前記仮想視点画像に合成する対象画像として決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記保存手段に保存されている対象画像の解像度は、前記撮影装置により撮影された撮影画像内の特定領域の解像度よりも高解像度であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 撮影対象領域を複数の方向から撮影する複数の撮影装置により得られる撮影画像に基づく仮想視点画像であって対象画像が合成された仮想視点画像を生成する画像処理装置の制御方法であって、
   保存手段に保存されている複数の対象画像の中から、前記撮影対象領域における対象画像の表示タイミングに基づいて、前記仮想視点画像に合成する対象画像を決定する決定工程と、
   前記決定工程により決定された対象画像が合成された前記仮想視点画像を生成する生成工程と、
   を有することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images