JP2022059879A - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】実空間の撮像画像に仮想オブジェクト（以下、ＶＯと示す）画像を合成する際、撮像シーンや撮像装置の状態に依存せず、ＶＯ画像を撮像画像に合成した合成画像がより自然に視認できる合成画像を生成する画像処理システムを提供する。【解決手段】本発明は、参照画像における被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定部と、被写体ＣＧ画像を描画する被写体ＣＧ画像描画部と、対象画像でのＶＯ画像の配置位置を取得するオブジェクト配置位置取得部と、被写体画像と被写体ＣＧ画像を比較して被写体画像精細度を取得し、被写体画像精細度と、参照画像を撮像した際の参照画像撮像パラメータと、対象画像を撮像した際の対象画像撮像パラメータと、被写体及び撮像装置間の第１距離と、撮像装置及びＶＯ間の第２距離から、ＶＯ画像のＶＯ画像精細度を求める対応関係により、ＶＯ画像精細度を取得する精細度算出部とを備える。【選択図】図１

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関する。

従来、実際の撮像装置（実撮像装置）により撮像した実空間の画像に対して、仮想オブジェクトの画像を重ね合わせて、当該仮想オブジェクトが上記実空間に実際に存在するように視認できる画像を生成して、表示装置に表示する技術がある。
例えば、特許文献１に記載された画像処理システムにおいては、実空間を撮像した実画像から、仮想空間における仮想光源の色と明るさに関するパラメータを算出する。
そして、算出した仮想光源パラメータを設定した仮想空間において、仮想オブジェクトである三次元モデルを仮想撮像装置（仮想カメラ）で撮像し、当該撮像した画像を実撮像装置で撮像した画像に重畳して表示させる。

また、特許文献２に記載の画像処理システムにおいては、被写体と背景との各々の撮像画像と、撮像した際の撮像情報それぞれを取得し、撮像情報に基づいてデータベース上から上記被写体の形状を示す三次元データ、及び背景を示す二次元データを取得する。
そして、取得した三次元データ及び二次元データの各々に基づいて、二次元データの背景に三次元データの被写体を配置したシミュレーション画像を生成する。

その後、被写体及び背景の各々の撮像画像と、シミュレーション画像における三次元データ及び二次元データとの差分から、シミュレーション画像の濃度、色味、ぼけ具合、カメラ露出を補正する。
これにより、撮像画像とシミュレーション画像とを拡大比率に応じて、シミュレーション画像における各画素の画素値の加重平均を行うことにより、ユーザの操作に対応させてシミュレーション画像の加工を行っている。

特許第５６４６２６３号公報 特許第４８２９２６９号公報

しかしながら、特許文献１においては、撮影装置のピント位置によらず、仮想オブジェクトの画像である仮想オブジェクト画像の精細度が一定である。
このため、実空間に重畳させた仮想オブジェクト画像が、当該実空間において不自然に視認される場合がある。例えば、実空間を撮像した画像において、撮像装置のピントが合っていない範囲はぼけるが、そのピントの合っていない範囲に重畳される仮想オブジェクト画像はぼけていない。
これにより、仮想オブジェクト画像の部分のみが、実空間の画像に比較して高精細に表示され、当該仮想オブジェクト画像が周囲から浮いて視認され、不自然な合成画像として表示される。

また、特許文献２においては、データベース上から取得する被写体の三次元データおよび背景の二次元データに基づいてシミュレーション画像を生成している。
このため、データベース上に三次元データ及び二次元データの各々がない被写体、背景それぞれには、適用できない画像処理システムである。
また、実空間にある被写体のシミュレーション画像を生成することを想定している。このため、実空間の任意の位置において、実際に存在することがない被写体の仮想オブジェクトが、あたかも当該実空間に存在するかのようなシミュレーション画像を生成することができない。

本発明は、このような状況に鑑みてなされたもので、実空間の撮像画像に仮想オブジェクトの画像を重ね合わせて表示する場合に、撮像シーンや撮影装置の状態に依存することなく、仮想オブジェクト画像を実空間の撮像画像の任意の位置に重畳して合成した合成画像がより自然な表示として視認できる合成画像を生成する画像処理システム、画像処理方法及びプログラムを提供する。

本発明の画像処理システムは、撮像装置で撮像した参照撮像画像における被写体の被写体画像に基づいて、前記撮像装置に対する前記被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定部と、前記被写体情報に基づいて前記被写体のＣＧ（computer graphics）画像である被写体ＣＧ画像を描画する被写体ＣＧ画像描画部と、前記撮像装置の撮像した対象撮像画像における仮想オブジェクト画像を配置する配置位置を取得する仮想オブジェクト配置位置取得部と、前記被写体画像と前記被写体ＣＧ画像とを比較して、当該被写体画像の精細度である被写体画像精細度を取得し、また、当該被写体画像精細度と、前記撮像装置により前記参照撮像画像を撮像した際の参照撮像画像撮像パラメータと、前記撮像装置により前記対象撮像画像を撮像した際の対象撮像画像撮像パラメータと、前記被写体及び前記撮像装置間の第１距離と、前記仮想オブジェクト画像を前記対象撮像画像に合成した際における前記撮像装置及び当該仮想オブジェクト画像の仮想オブジェクト間の仮想距離である第２距離とから、前記対象撮像画像に合成する仮想オブジェクト画像の精細度である仮想オブジェクト画像精細度を求める対応関係を用い、前記第２距離に対応した前記仮想オブジェクト画像精細度を取得する精細度算出部とを備えることを特徴とする。

本発明の画像処理システムは、前記仮想オブジェクト画像精細度に基づいて前記仮想オブジェクト画像の精細度を調整し、精細度を調整した仮想オブジェクト画像を前記対象撮像画像における前記第２距離に対応させて、所定の位置に配置して合成した合成オブジェクト画像を生成する合成画像生成部をさらに備えることを特徴とする。

本発明の画像処理システムは、前記対応関係が、前記第１距離と前記参照撮像画像撮像パラメータにおける第１ピント位置との差分の絶対値である第１差分により、前記第２距離と前記対象撮像画像撮像パラメータにおける第２ピント位置との差分の絶対値である第２差分を除算して第１数値を求め、前記第１距離により前記第２距離を除算して第２数値を求め、前記第１数値及び前記第２数値の各々を前記被写体画像精細度に対して乗算する第１演算を少なくとも含み、前記被写体画像精細度から前記仮想オブジェクト画像精細度を求める関係式であることを特徴とする。

本発明の画像処理システムは、前記関係式が、前記第１ピント位置と前記参照撮像画像撮像パラメータにおける第１焦点距離との差分である第３差分を、前記第２ピント位置と前記対象撮像画像撮像パラメータにおける第２焦点距離との差分である第４差分により除算して第３数値を求め、前記第２焦点距離の二乗を前記第１焦点距離の二乗により除算して第４数値を求め、前記参照撮像画像撮像パラメータにおける第１Ｆ値を前記対象撮像画像撮像パラメータにおける第２Ｆ値により除算して第５数値を求め、前記第３数値、前記第４数値及び前記第５数値の各々を乗算する第２演算を、前記第１演算に乗算して前記仮想オブジェクト画像精細度を求めることを特徴とする。

本発明の画像処理システムは、複数の被写体が撮像された前記参照撮像画像における当該被写体の各々の前記第１距離と、前記被写体画像精細度との各々から、前記参照撮像画像における前記第１焦点距離、前記第１Ｆ値、前記第１ピント位置を推定する被写体撮像情報推定部をさらに備えることを特徴とする。

本発明の画像処理システムは、前記第２ピント位置が前記第１ピント位置と等しく、かつ対象撮像画像撮像パラメータにおける第２焦点距離及び第２Ｆ値の各々が前記参照撮像画像撮像パラメータにおける第１焦点距離、第１Ｆ値それぞれと等しいことを特徴とする。

本発明の画像処理システムは、前記精細度算出部が、前記撮像装置の種類毎に、前記被写体画像精細度及び前記参照撮像画像撮像パラメータの各々が書き込まれて記憶された記憶部を備えることを特徴とする。

本発明の画像処理システムは、前記精細度算出部が、前記被写体画像と、前記被写体ＣＧ画像を加重平均フィルタによりフィルタ処理を行った調整被写体ＣＧ画像とを比較し、前記被写体画像と当該調整被写体ＣＧ画像との差分が等しくなる前記加重平均フィルタの第１フィルタ半径を前記被写体画像精細度として算出することを特徴とする。

本発明の画像処理システムは、前記精細度算出部が、前記第１フィルタ半径から前記対応関係に対応して前記仮想オブジェクト画像精細度である第２フィルタ半径を求め、前記仮想オブジェクト画像の精細度を調整することを特徴とする。

本発明の画像処理方法は、被写体情報推定部が、撮像装置で撮像した参照撮像画像における被写体の被写体画像に基づいて、前記撮像装置に対する前記被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定過程と、被写体ＣＧ画像描画部が、前記被写体情報に基づいて前記被写体のＣＧ画像である被写体ＣＧ画像を描画する被写体ＣＧ画像描画過程と、仮想オブジェクト配置位置取得部が、前記撮像装置の撮像した対象撮像画像における仮想オブジェクト画像を配置する配置位置を取得する仮想オブジェクト配置位置取得過程と、精細度算出部が、前記被写体画像と前記被写体ＣＧ画像とを比較して、当該被写体画像の精細度である被写体画像精細度を取得し、また、当該被写体画像精細度と、前記撮像装置により前記参照撮像画像を撮像した際の参照撮像画像撮像パラメータと、前記被写体及び前記撮像装置間の第１距離と、前記仮想オブジェクト画像を前記対象撮像画像に合成した際における前記撮像装置及び当該仮想オブジェクト画像の仮想オブジェクト間の仮想距離である第２距離とから、前記対象撮像画像に合成する仮想オブジェクト画像の精細度である仮想オブジェクト画像精細度を求める対応関係を用い、前記第２距離に対応した前記仮想オブジェクト画像精細度を取得する精細度算出過程とを含むことを特徴とする。

本発明のプログラムは、コンピュータを、撮像装置で撮像した参照撮像画像における被写体の被写体画像に基づいて、前記撮像装置に対する前記被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定手段、前記被写体情報に基づいて前記被写体のＣＧ画像である被写体ＣＧ画像を描画する被写体ＣＧ画像描画手段、前記撮像装置の撮像した対象撮像画像における仮想オブジェクト画像を配置する配置位置を取得する仮想オブジェクト配置位置取得手段、前記被写体画像と前記被写体ＣＧ画像とを比較して、当該被写体画像の精細度である被写体画像精細度を取得し、また、当該被写体画像精細度と、前記撮像装置により前記参照撮像画像を撮像した際の参照撮像画像撮像パラメータと、前記被写体及び前記撮像装置間の第１距離と、前記仮想オブジェクト画像を前記対象撮像画像に合成した際における前記撮像装置及び当該仮想オブジェクト画像の仮想オブジェクト間の仮想距離である第２距離とから、前記対象撮像画像に合成する仮想オブジェクト画像の精細度である仮想オブジェクト画像精細度を求める対応関係を用い、前記第２距離に対応した前記仮想オブジェクト画像精細度を取得する精細度算出手段として機能させるプログラムである。

以上説明したように、本発明によれば、実空間の撮像画像に仮想オブジェクトの画像を重ね合わせて表示する場合に、撮像シーンや撮影装置の状態に依存することなく、仮想オブジェクト画像を実空間の撮像画像の任意の位置に重畳して合成した合成画像がより自然な表示として視認できる合成画像を生成する画像処理システム、画像処理方法及びプログラムを提供することが可能となる。

本発明の第１の実施形態による画像処理システムの構成例を示すブロック図である。 マーカー情報記憶部１０８におけるマーカーテーブルの構成例を示す図である。 被写体画像情報記憶部１０９における被写体画像テーブルの構成例を示す図である。 被写体画像情報記憶部１０９における被写体推定情報テーブルの構成例を示している。 被写体画像精細度情報記憶部１１０における被写体画像精細度情報テーブルの構成例を示している。 撮像画像情報記憶部１１１における撮像画像情報テーブルの構成例を示している。 本実施形態による画像処理システムにおいて、対象撮像画像のユーザが設定した位置に、ピント位置に対応してぼやけた仮想オブジェクトを合成する処理の動作例を示すフローチャートである。 撮像装置が複数種類存在する場合の被写体画像情報記憶部１０９における被写体画像テーブルの構成例を示す図である。 撮像装置が複数種類存在する場合の被写体画像情報記憶部１０９における被写体推定情報テーブルの構成例を示している。 撮像装置が複数種類存在する場合の被写体画像精細度情報記憶部１１０における被写体画像精細度情報テーブルの構成例を示している。 撮像装置が複数種類存在する場合の撮像画像情報記憶部１１１における撮像画像情報テーブルの構成例を示している。 第２の実施形態における被写体画像精細度情報記憶部１１０の被写体画像精細度テーブルの構成例を示す図である。 撮像装置が複数種類存在する場合の被写体画像精細度情報記憶部１１０における被写体画像精細度情報テーブルの構成例を示している。 本発明の第３の実施形態による画像処理システムの構成例を示すブロック図である。

＜第１の実施形態＞
以下、図１における画像処理システムの構成例について、図面を参照して説明する。
図１は、本発明の第１の実施形態による画像処理システムの構成例を示すブロック図である。図１において、画像処理システム１００は、データ入出力部１０１、被写体情報推定部１０２、被写体CG画像生成部１０３、精細度算出部１０４、仮想オブジェクト配置位置取得部１０５、合成画像生成部１０６、表示部１０７、マーカー情報記憶部１０８、被写体画像情報記憶部１０９、被写体画像精細度情報記憶部１１０、撮像画像情報記憶部１１１及び仮想オブジェクト記憶部１１２の各々を備えている。

データ入出力部１０１は、撮像装置などの外部装置からの撮像画像のデータや、ユーザからの操作・制御情報などのデータを入力する。
データ入出力部１０１は、例えば、ユーザが撮像装置２００で被写体（マーカー）の背景とした撮像された実空間の撮像画像（参照撮像画像）のデータを、被写体画像情報記憶部１０９に書き込んで記憶させる。また、データ入出力部１０１は、仮想オブジェクトを配置する実画像としての背景の撮像画像のデータを撮像画像情報記憶部１１１に書き込んで記憶させる。

上記被写体は、形状及び表面のテクスチャが既知の標準マーカーである。被写体とする標準マーカーは、マーカー情報記憶部１０８に予め書き込んで記憶されている。
図２は、マーカー情報記憶部１０８におけるマーカーテーブルの構成例を示す図である。図２において、マーカーテーブルは、レコード毎に、マーカー識別情報、マーカー形状データインデックス及びテクスチャデータインデックスの各々の欄が設けられている。

マーカー識別情報は、標準マーカーの各々を個々に識別する情報である。マーカー形状データインデックスは、標準マーカーの形状を示す形状データ（実寸の２次元データあるいは３次元データ）が記憶されている、マーカー情報記憶部１０８における記憶領域のアドレスなどである。テクスチャデータインデックスは、標準マーカーのテクスチャを示す画像データが記憶されている、マーカー情報記憶部１０８における記憶領域のアドレスなどである。
ここで、標準マーカーは、後述する傾きなどの姿勢を正しく検出するため、テクスチャが上下左右において非対称の模様などが用いられている。

図１に戻り、データ入出力部１０１は、参照撮像画像のデータとともに、当該参照撮像画像を撮像した際の撮像パラメータである参照画像撮像パラメータを、被写体画像情報記憶部１０９へ書き込んで記憶させる。
図３は、被写体画像情報記憶部１０９における被写体画像テーブルの構成例を示す図である。図３において、被写体画像テーブルは、レコード毎に、参照撮像画像撮像パラメータとして焦点距離（ｆ）、ピント位置（Ｓ）、Ｆ値（Ｎ）及び解像度と、参照撮像画像データインデックスの各々の欄が設けられている。

焦点距離は、参照撮像画像を撮像した際の撮像装置２００において設定された焦点距離ｆを示している。ピント位置は、参照撮像画像を撮像した際の撮像装置２００において設定されたピント位置Ｓを示している。Ｆ値は、参照撮像画像を撮像した際の撮像装置２００において設定されたＦ値Ｎを示している。解像度は、照撮像画像を撮像した際の撮像装置２００において設定された解像度を示している。参照撮像画像データインデックスは、被写体画像情報記憶部１０９における参照撮像画像のデータが記憶されている領域を示すアドレスなどである。

図１に戻り、データ入出力部１０１は、参照撮像画像撮像パラメータとともに、被写体として用いた標準マーカー３００のマーカー識別情報が入力された場合、マーカー識別情報を被写体情報推定部１０２へ出力する。
被写体情報推定部１０２は、データ入出力部１０１から供給されるマーカー識別情報に対応する被写体（標準マーカー）３００の形状３００Ｃ及びテクスチャ３００Ｔの画像データを、マーカー情報記憶部１０８から読み出す。

そして、被写体情報推定部１０２は、参照撮像画像においてマーカー画像に対応する被写体画像の領域を、一般的なパターンマッチングにより抽出する。
また、被写体情報推定部１０２は、マーカー画像のデータ（形状の実寸のデータやテクスチャの実寸のデータの各々）と、このマーカー画像により抽出した被写体画像とにより、上記パターンマッチングの処理において、参照撮像画像における被写体３００と撮像装置２００との距離情報、及び被写体の姿勢情報の各々を配置情報として取得する。

被写体情報推定部１０２は、マーカー識別情報と、取得した被写体の配置情報とを被写体画像情報記憶部１０９に書き込んで記憶させる。
図４は、被写体画像情報記憶部１０９における被写体推定情報テーブルの構成例を示している。図４において、被写体推定情報テーブルは、レコード毎に、マーカー識別情報と、配置情報としての距離情報、姿勢情報及び位置情報との各々の欄が設けられている。
マーカー識別情報は、配置情報を取得する際に用いた被写体（標準マーカー）３００の識別情報である。距離情報は、参照撮像画像を撮像した撮像装置と被写体３００との距離を示す情報である。姿勢情報は、参照撮像画像における被写体３００の被写体画像の標準の向きからの傾き（例えば、マーカー情報記憶部１０８に記憶されている標準の向きにおける基準線と、参照撮像画像における被写体画像の基準線との成す角度）などの姿勢を示す情報である。位置情報は、参照撮像画像における二次元座標上の座標値を示す情報である。

図１に戻り、被写体ＣＧ画像生成部１０３は、参照撮像画像の解像度を被写体画像情報記憶部１０９の被写体画像テーブルから、また、距離情報、姿勢情報及び位置情報を被写体推定情報テーブルから読み出す。
また、被写体ＣＧ画像生成部１０３は、マーカー情報記憶部１０８から、標準マーカーの形状３００Ｃ及びテクスチャ３００Ｔのデータを読み出す。
そして、被写体ＣＧ画像生成部１０３は、標準マーカーの形状３００Ｃ及びテクスチャ３００Ｔの各々を用いて、参照撮像画像における被写体画像と同一の画像サイズ及び解像度のＣＧ画像として、距離情報及び姿勢情報に対応した標準マーカーのＣＧ画像（被写体ＣＧ画像）を生成する。

精細度算出部１０４は、参照撮像画像から抽出された被写体画像と、生成された被写体ＣＧ画像との各画素の画素値を用いて、精細度としての加重平均フィルタのフィルタ半径を求める。本実施形態においては、例えば、加重平均フィルタの一種であるガウシアンフィルタを用いている。本実施形態において、フィルタ半径は、所謂、フィルタサイズの一例であり、フィルタ処理の対象となる対象画素を中心として、フィルタ処理に用いる画素範囲を示す画素数である。

ここで、精細度算出部１０４は、被写体ＣＧ画像の各画素をフィルタ半径を変化させて、加重平均処理を行い、処理結果の被写体ＣＧ画像と被写体画像との各々の画素の画素値の比較を行う。
そして、精細度算出部１０４は、被写体ＣＧ画像と被写体画像との各々の画素の画素値の差分（例えば、二乗誤差）の合計が最も小さくなるフィルタ半径Ｒを、被写体画像の精細度である被写体画像精細度とする。

次に、精細度算出部１０４は、被写体画像情報記憶部１０９から焦点距離ｆ、ピント位置Ｓ及びＦ値Ｎの各々を読み出す。
また、精細度算出部１０４は、被写体画像情報記憶部１０９から距離情報として距離Ｄ（第１距離）を読み出す。
そして、精細度算出部１０４は、撮像装置２００により参照画像を撮像した際における、焦点距離ｆ（第１焦点距離）、ピント位置Ｓ（第１ピント位置）及びＦ値Ｎ（第１Ｆ値）と、距離Ｄとを以下の（１）式に代入して被写体ぼけ量Ｂを求める。
Ｂ＝｜Ｄ－Ｓ｜＊ｆ^２／（（Ｄ＊Ｎ）＊（Ｓ－ｆ） …（１）
（１）式において、｜Ｄ－Ｓ｜は距離Ｄからピント位置Ｓを減算した差分の絶対値（第１差分）であり、（Ｓ－ｆ）はピント位置Ｓから焦点距離ｆを減算した差分（第３差分）である。

そして、精細度算出部１０４は、以下の錯乱円の半径を求める（２）式により、求めたフィルタ半径Ｒを錯乱円の半径としてぼけ量Ｂで除算し、フィルタ半径Ｒと被写体ぼけ量Ｂとの比である、関係係数ｋを求める。
ｋ＝Ｒ／Ｂ＝Ｒ＊（（Ｄ＊Ｎ）＊（Ｓ－ｆ）／（｜Ｄ－Ｓ｜＊ｆ^２） …（２）
精細度算出部１０４は、求めた被写体ぼけ量Ｂ、フィルタ半径Ｒ及び関係係数の各々を、被写体画像精細度情報記憶部１１０に書き込んで記憶させる。

図５は、被写体画像精細度情報記憶部１１０における被写体画像精細度情報テーブルの構成例を示している。図５において、被写体画像精細度情報テーブルは、レコード毎に、被写体ぼけ量Ｂ、被写体画像精細度（フィルタ半径Ｒ）及び関係係数ｋの各々の欄が設けられている。
被写体ぼけ量（Ｂ）は、上述した（１）式に対して、撮像装置２００により参照撮像画像を撮像した際における、焦点距離ｆ、ピント位置Ｓ及びＦ値Ｎと、距離Ｄとを代入して算出した数値である。被写体画像精細度は、参照撮像画像における被写体画像から推定したフィルタ半径Ｒである。関係係数（ｋ）は、上述した（２）式において、被写体画像精細度（フィルタ半径Ｒ）を被写体ぼけ量Ｂで除算した数値である。

図１に戻り、仮想オブジェクト配置位置取得部１０５は、データ入出力部１０１を介して供給される、ユーザが入力する対象撮像画像における仮想オブジェクト画像を配置するオブジェクト配置情報を取得する。
ここで、オブジェクト配置情報は、例えば、ユーザが選択して表示部１０７に表示された対象撮像画像（参照撮像画像も含む撮像画像）において、ユーザが仮想オブジェクト画像を配置する位置情報、姿勢情報及び距離情報である。この距離情報は、対象撮像画像を撮像した撮像装置２００から、配置する仮想オブジェクトまでの仮想的な距離（仮想距離）として設定される。例えば、仮想三次元空間に置かれた仮想撮像装置から、仮想オブジェクトの位置までの距離であり、仮想撮像装置は実空間において対象撮像画像を撮像した撮像装置２００に三次元空間における位置として対応している。

オブジェクト配置情報をキーボードなどの数値で入力しても、表示部１０７に表示される対象撮像画像においてカーソル移動により位置を選択してもよい。
例えば、表示部１０７に表示される場合、対象撮像画像に対応する仮想三次元空間において、三次元形状の仮想オブジェクトを配置し、配置した状態にてリアルタイムで、当該対象撮像画像における仮想オブジェクトの配置情報を、仮想オブジェクト画像に対するオブジェクト配置情報として取得するように構成してもよい。

また、精細度算出部１０４は、撮像装置２００により対象撮像画像を撮像した際の対象撮像画像撮像パラメータを、仮想オブジェクト画像を重畳して合成する対象の対象撮像画像に対応して撮像画像情報記憶部１１１から読み込む。
図６は、撮像画像情報記憶部１１１における撮像画像情報テーブルの構成例を示している。図６において、撮像画像情報テーブルは、レコード毎に、対象撮像画像識別情報と、対象撮像画像撮像パラメータであるレンズの焦点距離（ｆ_ａ）、ピント位置（Ｓ_ａ）、Ｆ値（Ｎ_ａ）及び解像度と、対象撮像画像インデックスとの各々の欄が設けられている。

対象撮像画像識別情報は、配置情報を取得する際に用いた被写体（標準マーカー）３００の識別情報である。 焦点距離は、参照撮像画像を撮像した際の撮像装置２００において設定された焦点距離ｆ_ａを示している。ピント位置は、参照撮像画像を撮像した際の撮像装置２００において設定されたピント位置Ｓ_ａを示している。Ｆ値は、参照撮像画像を撮像した際の撮像装置２００において設定されたＦ値Ｎ_ａを示している。解像度は、照撮像画像を撮像した際の撮像装置２００において設定された解像度を示している。対象撮像画像データインデックスは、撮像画像情報記憶部１１１における対象撮像画像のデータが記憶されている領域を示すアドレスなどである。

図１に戻り、精細度算出部１０４は、オブジェクト配置情報が供給された場合、撮像画像情報記憶部１１１の撮像画像情報テーブルから対象撮像画像撮像パラメータの各々を読み出す。また、精細度算出部１０４は、被写体画像精細度情報記憶部１１０から、関係係数ｋを読み出す。
そして、精細度算出部１０４は、以下の（３）式に対して、焦点距離ｆ_ａ、ピント位置Ｓ_ａ及びＦ値Ｎ_ａの各々と、関係係数ｋ、距離ｄとを代入して、仮想オブジェクト画像精細度（フィルタ半径ｒ）を算出する。ここで、距離ｄは、オブジェクト配置情報における位置情報、すなわち、撮像装置２００に対応する仮想撮像装置（仮想カメラ）と仮想オブジェクトとの距離である。
ｒ＝ｋ＊ｆ_ａ ^２｜ｄ－Ｓ_ａ｜／（ｄ＊Ｎ_ａ＊（Ｓ_ａ－ｆ_ａ）） …（３）
（３）式（対応関係）において、｜ｄ－Ｓ_ａ｜は距離ｄ（第２距離）からピント位置Ｓ_ａ（第２ピント位置）を減算した差分の絶対値（第２差分）であり、（Ｓ_ａ－ｆ_ａ）はピント位置Ｓ_ａから焦点距離ｆ_ａ（第２焦点距離）を減算した差分の絶対値（第４差分）である。

上記（３）式は、距離Ｄ（第１距離）とピント位置Ｓ（第１ピント位置）との差分の絶対値（第１差分）により、距離ｄ（第２距離）とピント位置Ｓ_ａ（第２ピント位置）との差分の絶対値（第２差分）を除算した数値（第１数値）を求め、距離Ｄ（第１距離）により距離ｄ（第２距離）を除算した数値（第２数値）を求め、第１数値及び第２数値の各々をフィルタ半径Ｒ（被写体画像精細度）に対して乗算する（５）式（第１演算、後述）を少なくとも含んでおり、フィルタ半径Ｒ（被写体画像精細度）からフィルタ半径ｒ（仮想オブジェクト画像精細度）を求める関係式である。

また、上記（３）式は、ピント位置Ｓ（第１ピント位置）と焦点距離ｆ（第１焦点距離）との差分（第３差分）を、ピント位置Ｓ_ａ（第２ピント位置）と焦点距離ｆ_ａ（第２焦点距離）との差分（第４差分）により除算した数値（第３数値）を求め、焦点距離ｆ_ａ（第２焦点距離）の二乗を焦点距離ｆ（第１焦点距離）の二乗により除算した数値（第４数値）を求め、Ｆ値Ｎ（第１Ｆ値）をＦ値Ｎ_ａ（第２Ｆ値）により除算した数値（第５数値）を求め、第３数値、第４数値及び第５数値の各々を乗算する第２演算を、第１演算に乗算して、フィルタ半径ｒ（仮想オブジェクト画像精細度）を求める。

合成画像生成部１０６は、精細度算出部１０４から仮想オブジェクト画像精細度が供給された場合、対象撮像画像のデータを撮像画像情報記憶部１１１から読み出す。
そして、合成画像生成部１０６は、仮想オブジェクト画像の画像データを仮想オブジェクト記憶部１１２から読み出し、当該仮想オブジェクト画像の画像サイズを撮像装置からの距離ｄに対応したサイズに修正したオブジェクトＣＧ画像を生成する。

また、合成画像生成部１０６は、オブジェクトＣＧ画像を、対象撮像画像の解像度に変更する処理を行う。
合成画像生成部１０６は、解像度を変更したオブジェクトＣＧ画像に対して、仮想オブジェクト画像精細度のフィルタ半径ｒにより加重平均フィルタ処理を行う。
これにより、オブジェクトＣＧ画像は、距離ｄに対応して視認される、ぼやけた画像状態とされる。
そして、合成画像生成部１０６は、オブジェクト配置情報における位置情報及び姿勢情報に対応して、オブジェクトＣＧ画像を対象撮像画像に重畳することにより合成し、合成オブジェクト画像を生成する。

表示部１０７は、例えば、液晶ディスプレイなどである。
表示部１０７は、合成画像生成部１０６が生成した合成オブジェクト画像を、表示画面に表示する。
また、表示部１０７は、すでに述べたように、オブジェクト配置情報における位置情報、姿勢情報及び距離情報を取得する際、仮想三次元空間を所定の位置から撮像した画像として、対象マウスにより仮想オブジェクトをユーザが仮想三次元空間において移動させ、姿勢を制御することにより、配置情報における位置情報、姿勢情報及び距離情報の各々を取得する。

図７は、本実施形態による画像処理システムにおいて、対象撮像画像のユーザが設定した位置に、ピント位置に対応してぼやけた仮想オブジェクトを合成する処理の動作例を示すフローチャートである。
以下の説明において、対象撮像画像のデータは、予め複数枚が取得されて撮像画像情報記憶部１１１に書き込まれて記憶されている。また、対象撮像画像は、参照撮像画像と同一の撮像装置２００により撮像されている。

ステップＳ１０１：
ユーザは、背景となる参照空間の所定の位置及び距離に、被写体３００（標準マーカー）を所定の姿勢にて配置する。

ステップＳ１０２：
ユーザは、参照空間に配置した被写体３００が含まれるように、参照撮像画像を撮像する。

ステップＳ１０３：
ユーザは、参照撮像画像のデータと、参照撮像画像を撮像した際の被写体撮像パラメータとを、画像処理システム１００に対して入力する。
データ入出力部１０１は、参照撮像画像を被写体画像情報記憶部１０９に書き込み、参照撮像画像を撮像した際の被写体撮像パラメータと、参照撮像画像データインデックスを、被写体撮像画像テーブルに対して書き込んで記憶させる。

ステップＳ１０４：
ユーザは、被写体３００の標準マーカーのマーカー識別情報を、画像処理システム１００に対して入力する。
被写体情報推定部１０２は、データ入出力部１０１を介して上記マーカー識別情報を入力した場合、当該マーカー識別情報に対応した形状及びテクスチャの画像データを、マーカー情報記憶部１０８から読み出し、マーカー画像を取得する。

被写体情報推定部１０２は、被写体画像情報記憶部１０９の被写体撮像画像情報テーブルから、参照撮像画像撮像パラメータにおける解像度を読み出す。
また、被写体情報推定部１０２は、参照撮像画像のデータを被写体画像情報記憶部１０９から読み出す。
そして、被写体情報推定部１０２は、参照撮像画像に対して、マーカー画像を用いたマッチング処理を行い、当該参照撮像画像から被写体画像を抽出する。
このとき、被写体情報推定部１０２は、参照撮像画像における被写体画像の位置情報及び姿勢情報の各々と、撮像装置２００及び被写体３００間の距離Ｄとを距離情報として抽出する。

被写体ＣＧ画像生成部１０３は、マーカー情報記憶部１０８から、被写体３００に用いられた標準マーカーのマーカー識別情報に対応し、マーカー情報記憶部１０８から形状３００Ｃ及びテクスチャ３００Ｔのデータを読み出し、マーカー画像を取得する。
そして、被写体ＣＧ画像生成部１０３は、取得したマーカー画像を、参照撮像画像における被写体画像と同一の画像サイズ及び解像度のＣＧ画像として、距離情報及び姿勢情報に対応した標準マーカーの被写体ＣＧ画像を生成する。

ステップＳ１０５：
精細度算出部１０４は、被写体ＣＧ画像生成部１０３の生成した被写体ＣＧ画像が供給された場合、当該被写体ＣＧ画像における各画素をフィルタ半径を変化させつつ、加重平均処理を行い、画素の画素値を調整する。
精細度算出部１０４は、被写体ＣＧ画像における画素値を調整した画素の各々と、被写体画像の画素それぞれとの画素値の比較を行う。
そして、精細度算出部１０４は、被写体ＣＧ画像と被写体画像との各々の画素の画素値の差分の合計が最も小さくなるフィルタ半径Ｒを、被写体画像の精細度である被写体画像精細度とする。
精細度算出部１０４は、求めた被写体画像精細度を、被写体画像精細度情報記憶部１１０の被写体画像精細度情報テーブルに書き込んで記憶させる。

ステップＳ１０６：
次に、精細度算出部１０４は、被写体画像情報記憶部１０９における被写体撮像画像情報テーブルから、被写体画像を撮像した際の焦点距離ｆ、ピント位置Ｓ及びＦ値Ｎの各々を読み出す。

ステップＳ１０７：
精細度算出部１０４は、被写体画像情報記憶部１０９における被写体推定情報テーブルから、撮像装置から被写体までの距離情報として距離Ｄを読み出す。
そして、精細度算出部１０４は、読み出した焦点距離ｆ、ピント位置Ｓ及びＦ値Ｎと、距離Ｄとを上記（１）式に代入して被写体ぼけ量Ｂを求める。
また、精細度算出部１０４は、錯乱円の半径を求める上記（２）式により、求めたフィルタ半径Ｒをぼけ量Ｂで除算して関係係数ｋを算出する。
精細度算出部１０４は、求めた被写体ぼけ量Ｂ及び関係係数ｋの各々を、それぞれ被写体画像精細度情報記憶部１１０の被写体画像精細度情報テーブルに書き込んで記憶させる。

ステップＳ１０８：
仮想オブジェクト配置位置取得部１０５は、対象撮像画像における仮想オブジェクト画像を配置するオブジェクト配置情報を、データ入出力部１０１を介して取得する。
このとき、仮想オブジェクト配置位置取得部１０５は、合成画像の生成に用いる対象撮像画像の対象撮像画像識別情報、及び仮想オブジェクトを示す仮想オブジェクト識別情報の各々をユーザの入力操作により取得している。
ここで、表示部１０７に表示される場合、対象撮像画像に対応する仮想三次元空間において、ユーザが表示部１０７の表示画面から視認する仮想三次元空間に、三次元形状の仮想オブジェクトを任意の座標点に配置する操作を行う。
そして、仮想オブジェクト配置位置取得部１０５は、配置した座標点をリアルタイムに、対象撮像画像における仮想オブジェクト配置情報（位置情報、姿勢情報及び距離情報）として取得する。

ステップＳ１０９：
仮想オブジェクト配置位置取得部１０５は、取得した仮想オブジェクト配置情報と、当該仮想オブジェクトを合成する対象撮像画像の対象撮像画像識別情報と、仮想オブジェクト識別情報との各々を、精細度算出部１０４に出力する。
精細度算出部１０４は、対象撮像画像識別情報に対応する対象撮像画像撮像パラメータを、撮像画像情報記憶部１１１の撮像画像情報テーブルから読み出す。

また、精細度算出部１０４は、被写体画像精細度情報記憶部１１０の被写体画像精細度情報テーブルから関係係数ｋを読み出す。
そして、精細度算出部１０４は、仮想オブジェクト配置情報における距離情報（距離ｄ）と、対象撮像画像撮像パラメータである焦点距離ｆａ、ピント位置Ｓａ及びＦ値Ｎａの各々と、関係係数ｋとを、上記（３）式に代入して、仮想オブジェクト画像精細度（フィルタ半径ｒ）を算出する。
精細度算出部１０４は、算出した仮想オブジェクト画像精細度と、対象撮像画像識別情報と、仮想オブジェクト識別情報との各々を、合成画像生成部１０６に対して出力する。

ステップＳ１１０：
合成画像生成部１０６は、精細度算出部１０４から対象撮像画像識別情報が供給された場合、当該対象撮像画像識別情報に対応する対象撮像画像のデータを撮像画像情報記憶部１１１から読み出す。
また、合成画像生成部１０６は、仮想オブジェクト識別情報に対応する仮想オブジェクト画像のデータを、仮想オブジェクト記憶部１１２から読み出す。
そして、合成画像生成部１０６は、読み出した仮想オブジェクトの画像サイズを撮像装置からの距離ｄに対応したサイズに修正したオブジェクトＣＧ画像を生成する。

また、合成画像生成部１０６は、対象撮像画像識別情報により、撮像画像情報記憶部１１１の撮像画像情報テーブルから、合成に用いる対象撮像画像の解像度を読み出す。
合成画像生成部１０６は、オブジェクトＣＧ画像を、対象撮像画像の解像度に変更する処理を行う。
合成画像生成部１０６は、解像度を変更したオブジェクトＣＧ画像に対して、仮想オブジェクト画像精細度のフィルタ半径ｒにより加重平均フィルタ処理を行う。
そして、合成画像生成部１０６は、オブジェクト配置情報における位置情報及び姿勢情報に対応して、オブジェクトＣＧ画像を対象撮像画像に合成して合成オブジェクト画像を生成する。

ステップＳ１１１：
仮想オブジェクト配置位置取得部１０５は、ユーザから仮想オブジェクトの配置位置を固定する制御情報が入力されたか否か、すなわち対象撮像画像における仮想オブジェクトの位置を決定するか否かの判定を行う。
このとき、仮想オブジェクト配置位置取得部１０５は、ユーザが仮想オブジェクトの位置を決定した場合に、処理をステップＳ１１２へ進める。
一方、仮想オブジェクト配置位置取得部１０５は、ユーザが仮想オブジェクトの位置を決定していない場合に、処理をステップＳ１０８へ進める。

ステップＳ１１２：
合成画像生成部１０６は、合成オブジェクト画像を仮想オブジェクト記憶部１１２に書き込んで記憶させる。

上述したように、本実施形態によれば、現実空間に配置された被写体が撮影された際の被写体画像精細度に基づいて、関係係数ｋを算出しておき、現実空間を撮像した対象撮像画像に対して重畳する仮想オブジェクトの仮想オブジェクト画像精細度を、上記関係係数ｋから決定するため、対象撮像画像に仮想オブジェクトを合成した際、対象撮像画像の背景とのぼけ具合が異なる違和感を低減させることができる。

また、本実施形態によれば、被写体を撮像した際の参照撮像画像撮像パラメータに対応する関係係数ｋをテーブルとして記録するため、参照撮像画像撮像パラメータと、対象撮像画像の撮像画像撮像パラメータが異なっている場合であっても、リアルタイムに仮想オブジェクトの精細度を調整することができる。

また、本実施形態において、他の構成例として撮像装置２００が一台でなく異なる種類が複数ある場合、関係係数ｋを撮像装置２００の種類のそれぞれに対応して求めておく必要がある。
この場合、図３の被写体画像テーブル、図４の被写体推定情報テーブル、及び図５の被写体画像精細度テーブルの各々が、それぞれ撮像装置の識別情報である撮像装置識別情報のそれぞれに対応して設けられる。

図８は、撮像装置が複数種類存在する場合の被写体画像情報記憶部１０９における被写体画像テーブルの構成例を示す図である。
図８において、撮像装置が複数種類存在する場合の被写体画像テーブルは、レコード毎に、撮像装置識別情報と、参照撮像画像撮像パラメータとして焦点距離（ｆ）、ピント位置（Ｓ）、Ｆ値（Ｎ）及び解像度と、参照撮像画像データインデックスの各々の欄が設けられている。

撮像装置識別情報は、参照撮像画像を撮像した撮像装置２００を個々に識別する情報である。焦点距離は、参照撮像画像を撮像した際の撮像装置２００において設定された焦点距離ｆを示している。ピント位置は、参照撮像画像を撮像した際の撮像装置２００において設定されたピント位置Ｓを示している。Ｆ値は、参照撮像画像を撮像した際の撮像装置２００において設定されたＦ値Ｎを示している。解像度は、照撮像画像を撮像した際の撮像装置２００において設定された解像度を示している。参照撮像画像データインデックスは、被写体画像情報記憶部１０９における参照撮像画像のデータが記憶されている領域を示すアドレスなどである。

図９は、撮像装置が複数種類存在する場合の被写体画像情報記憶部１０９における被写体推定情報テーブルの構成例を示している。
図９において、撮像装置が複数種類存在する場合の被写体推定情報テーブルは、レコード毎に、撮像装置識別情報と、マーカー識別情報と、配置情報としての距離情報、姿勢情報及び位置情報との各々の欄が設けられている。

撮像装置識別情報は、参照撮像画像を撮像した撮像装置２００を個々に識別する情報である。マーカー識別情報は、配置情報を取得する際に用いた被写体（標準マーカー）３００の識別情報である。距離情報は、参照撮像画像を撮像した撮像装置と被写体３００との距離を示す情報である。姿勢情報は、参照撮像画像における被写体３００の被写体画像の標準の向きからの傾きなどの姿勢を示す情報である。位置情報は、参照撮像画像における二次元座標上の座標値を示す情報である。

図１０は、撮像装置が複数種類存在する場合の被写体画像精細度情報記憶部１１０における被写体画像精細度情報テーブルの構成例を示している。図１０において、撮像装置が複数種類存在する場合の被写体画像精細度情報テーブルは、レコード毎に、被写体ぼけ量Ｂ、被写体画像精細度（フィルタ半径Ｒ）及び関係係数ｋの各々の欄が設けられている。

撮像装置識別情報は、参照撮像画像を撮像した撮像装置２００を個々に識別する情報である。被写体ぼけ量（Ｂ）は、上述した（１）式に対して、撮像装置２００により参照撮像画像を撮像した際における、焦点距離ｆ、ピント位置Ｓ及びＦ値Ｎと、距離Ｄとを代入して算出した数値である。被写体画像精細度は、参照撮像画像における被写体画像から推定したフィルタ半径Ｒである。関係係数（ｋ）は、上述した（２）式において、被写体画像精細度（フィルタ半径Ｒ）を被写体ぼけ量Ｂで除算した数値である。

また、撮像装置２００が一台でなく異なる種類が複数ある場合、対象撮像画像も上記複数の撮像装置２００により撮像されている。
このため、図６に示す撮像画像情報記憶部１１１の撮像画像情報テーブルも、撮像装置２００の種類のそれぞれに対応して生成しておく必要がある。

図１１は、撮像装置が複数種類存在する場合の撮像画像情報記憶部１１１における撮像画像情報テーブルの構成例を示している。図１１において、撮像画像情報テーブルは、撮像装置識別情報が付加されて、撮像装置の種類の単位で設けられている。そして、撮像画像情報テーブルの各々は、それぞれレコード毎に、対象撮像画像識別情報と、対象撮像画像撮像パラメータであるレンズの焦点距離（ｆ_ａ）、ピント位置（Ｓ_ａ）、Ｆ値（Ｎ_ａ）及び解像度と、対象撮像画像インデックスとの各々の欄が設けられている。

撮像装置２００が複数種類ある場合、撮像装置２００の各々により、被写体（標準マーカー３００）を実空間の背景に配置した、参照撮像画像をユーザが撮像する。
そして、データ入出力部１０１は、外部装置から供給される、種類の異なる撮像装置２００の撮像装置識別情報、参照撮像画像及び被写体撮像パラメータの各々を、それぞれ撮像装置識別情報に対応させて、図８に示す被写体画像情報記憶部１０９の被写体画像テーブルに書き込んで記憶させる。

また、被写体情報推定部１０２は、すでに述べた標準マーカー３００と、参照撮像画像における被写体画像とのマッチング処理を、種類の異なる撮像装置２００毎に行う。
そして、被写体情報推定部１０２は、被写体に用いた標準マーカー３００のマーカー識別情報と、このマーカー情報から推定した配置情報とを、被写体画像情報記憶部１０９の被写体推定情報テーブルに、種類の異なる撮像装置２００それぞれに対応させて書き込んで記憶させる。

被写体ＣＧ画像生成部１０３は、種類の異なる撮像装置毎の撮像した参照撮像画像の各々から、それぞれ被写体画像を抽出した際に用いたマーカー画像の被写体ＣＧ画像を生成する。
そして、精細度算出部１０４は、種類の異なる撮像装置２００の各々の参照撮像画像における被写体画像と、当該参照撮像画像から生成した被写体撮像画像とを比較し、被写体画像精細度（フィルタ半径Ｒ）を求める。

また、精細度算出部１０４は、参照撮像画像撮像パラメータから（１）式により被写体ぼけ量Ｂを算出する。
さらに、精細度算出部１０４は、被写体ぼけ量Ｂ及びフィルタ半径Ｒから（２）式により関係係数ｋを算出する。
そして、精細度算出部１０４は、求めた被写体ぼけ量Ｂ、被写体画像精細度及び関係係数ｋの各々を、撮像装置識別情報それぞれに対応させて、被写体画像精細度情報記憶部１１０の被写体画像精細度情報テーブルに書き込んで記憶させる。

仮想オブジェクト配置位置取得部１０５は、仮想オブジェクトを配置する際、撮像画像情報記憶部１１１の撮像画像情報テーブルから撮像画像を選択する際、選択した撮像画像に対応する撮像装置識別情報をユーザから取得する。
そして、仮想オブジェクト配置位置取得部１０５は、取得した撮像装置識別情報と、選択した撮像画像の対象撮像画像識別情報との各々を、精細度算出部１０４に対して出力する。

精細度算出部１０４は、仮想オブジェクト配置位置取得部１０５から供給される撮像装置識別情報に対応した撮像画像情報テーブルを撮像画像情報記憶部１１１において参照する。
そして、精細度算出部１０４は、上記撮像画像情報テーブルから、対象撮像画像識別情報のレコードの対象撮像画像撮像パラメータを読み出す。
また、精細度算出部１０４は、被写体画像精細度情報記憶部１１０の被写体画像精細度情報テーブルを参照して、撮像装置識別情報に対応する関係係数ｋを読み出す。
これにより、精細度算出部１０４は、撮像装置から仮想オブジェクトまでの距離ｄと、関係係数ｋとにより、（３）式から仮想オブジェクト画像精細度（フィルタ半径ｒ）を算出する。
精細度算出部１０４は、求めた仮想オブジェクト画像精細度と、撮像装置識別情報と、対象撮像画像識別情報とを合成画像生成部１０６に対して出力する。

合成画像生成部１０６は、撮像装置識別情報に対応した撮像画像情報テーブルを撮像画像情報記憶部１１１において参照し、対象撮像画像識別情報に対応する解像度を読み出す。
そして、合成画像生成部１０６は、ユーザが選択した仮想オブジェクトの仮想オブジェクト識別情報に対応させ、仮想オブジェクト記憶部１１２から仮想オブジェクトの画像データを読み出す。

合成画像生成部１０６は、上記画像データを距離ｄに対応したサイズに変更し、かつ解像度を対象撮像画像と同一となるように調整して仮想オブジェクト画像を生成する。
また、合成画像生成部１０６は、精細度算出部１０４から供給される仮想オブジェクト画像精細度により、仮想オブジェクト画像のフィルタ処理を行なう。
そして、合成画像生成部１０６は、フィルタ処理を行なった仮想オブジェクト画像を、対象撮像画像において指定された位置、かつ設定された姿勢に対応して配置して合成して、合成オブジェクト画像を生成する。

＜第２の実施形態＞
本発明の第１の実施形態による画像処理システムの構成例を図面を参照して説明する。第２の実施形態の画像処理システムは、図１に示す第１の実施形態と同様の構成である。
以下、第２の実施形態による画像処理システムについて、第１の実施形態と異なる構成及び動作のみを説明する。

精細度算出部１０４は、推定した被写体画像精細度（フィルタ半径Ｒ）と、ピント位置Ｓと、推定した距離Ｄとから、以下の（４）式により関係係数ｑを求める。
ｑ＝Ｒ＊Ｄ／（｜Ｄ－Ｓ｜） …（４）
すなわち、関係係数ｑは、フィルタ半径Ｒに距離Ｄを乗じた結果を、距離Ｄからピント位置Ｓを減算した絶対値で除算した、フィルタ半径Ｒ及び距離Ｄの乗算結果と、距離Ｄからピント位置Ｓを減算した絶対値との比として求められる。

そして、精細度算出部１０４は、求めた関係係数ｑ及び被写体画像精細度と、ピント位置Ｓとを、被写体画像精細度情報記憶部１１０の被写体画像精細度テーブルに書き込んで記憶させる。
図１２は、第２の実施形態における被写体画像精細度情報記憶部１１０の被写体画像精細度テーブルの構成例を示す図である。図１２において、被写体画像精細度情報テーブルは、レコード毎に、ピント位置Ｓ、焦点距離ｆ、Ｆ値Ｎ、被写体画像精細度（フィルタ半径Ｒ）及び関係係数ｑの各々の欄が設けられている。

また、後述するように、本実施形態においては、所定のピント位置Ｓで求められた関係係数ｑが、当該ピント位置Ｓがほぼ同一の（等しい）対象撮像画像における仮想オブジェクト画像の仮想オブジェクト画像精細度を求めるために限定される。
このため求める仮想オブジェクト画像精細度がピント位置Ｓで固定されるため、異なる複数のピント位置Ｓに対応した、参照撮像画像を撮像して関係係数ｑを生成しておく必要がある。

ピント位置（Ｓ）は、参照撮像画像を撮像した際の撮像装置２００において設定されたピント位置Ｓを示している。被写体画像精細度は、参照撮像画像における被写体画像から推定したフィルタ半径Ｒである。関係係数（ｑ）は、被写体画像精細度（フィルタ半径Ｒ）と、被写体情報推定部１０２が推定した距離Ｄと、ピント位置Ｓとを用い、上述した（４）式により算出した数値である。

また、精細度算出部１０４は、関係係数ｑと、参照撮像画像を撮像した際における撮像装置２００のピント位置Ｓと、ユーザが設定した距離ｄとを用い、以下の（５）式から仮想オブジェクト画像精細度（フィルタ半径ｒ）を算出する。
ｒ＝（｜ｄ－Ｓ｜／ｄ）＊ｑ
＝（｜ｄ－Ｓ｜／ｄ）＊（Ｒ＊Ｄ／｜Ｄ－Ｓ｜） …（５）

上述した関係係数ｑは、関係係数ｋの場合と異なり、参照撮像画像撮像パラメータにおけるピント位置Ｓと、対象撮像画像撮像パラメータにおけるピント位置Ｓとは同一である必要がある。また、本実施形態の場合、対象撮像画像パラメータにおける焦点距離ｆ及びＦ値Ｎの各々も、参照撮像画像パラメータにおける焦点距離ｆ、Ｆ値Ｎそれぞれと同一である必要がある。
このため、オブジェクト合成画像を生成するために用いる対象撮像画像を撮像画像情報記憶部１１１から選択する場合、関係係数ｑを算出する際に用いたピント位置Ｓと、焦点距離ｆ及びＦ値Ｎの各々とが同一の撮像画像を検索し、検索された撮像画像のなかから選択する必要がある。
また、対象撮像画像の解像度に調整し、関係係数ｑを用いて算出した仮想オブジェクト画像精細度を用いて、オブジェクトＣＧ画像を生成して、対象撮像画像に合成して合成オブジェクト画像を生成するアルゴリズムは、第１の実施形態と同様である。

また、第２の実施形態においては、第１の実施形態と同様に、複数の異なる種類の撮像装置２００を用いる場合がある。複数の異なる種類の撮像装置を使用する場合、図１２の被写体画像精細度情報テーブルを、撮像画像毎に備える必要がある。
図１３は、撮像装置が複数種類存在する場合の被写体画像精細度情報記憶部１１０における被写体画像精細度情報テーブルの構成例を示している。
図１３において、撮像画像情報テーブルは、撮像装置識別情報が付加されて、撮像装置の種類の単位で設けられている。そして、撮像画像情報テーブルの各々は、それぞれレコード毎に、ピント位置Ｓ、焦点距離ｆ、Ｆ値Ｎ、被写体画像精細度（フィルタ半径Ｒ）及び関係係数ｑの各々の欄が設けられている。

上述したように、本実施形態によれば、現実空間に配置された被写体が撮影された際の被写体画像精細度に基づいて、関係係数ｑを算出しておき、現実空間を撮像した対象撮像画像に対して重畳する仮想オブジェクトの仮想オブジェクト画像精細度を、上記関係係数ｑから決定するため、対象撮像画像に仮想オブジェクトを合成した際、対象撮像画像の背景とのぼけ具合が異なる違和感を低減させることができる。

また、本実施形態によれば、被写体を撮像した際の参照撮像画像撮像パラメータに対応する関係係数ｋをテーブルとして記録するため、参照撮像画像撮像パラメータと、対象撮像画像の撮像画像撮像パラメータが異なっている場合であっても、リアルタイムに仮想オブジェクトの精細度を調整することができる。

＜第３の実施形態＞
以下、図１４における画像処理システムの構成例について、図面を参照して説明する。
図１４は、本発明の第３の実施形態による画像処理システムの構成例を示すブロック図である。図１４において、画像処理システム１００は、データ入出力部１０１、被写体情報推定部１０２、被写体ＣＧ画像生成部１０３、精細度算出部１０４、仮想オブジェクト配置位置取得部１０５、合成画像生成部１０６、表示部１０７、マーカー情報記憶部１０８、被写体画像情報記憶部１０９、被写体画像精細度情報記憶部１１０、撮像画像情報記憶部１１１、仮想オブジェクト記憶部１１２及び被写体撮像情報推定部１１３の各々を備えている。以下、第３の実施形態による画像処理システム１００Ａについて、第１の実施形態と異なる構成及び動作のみを説明する。

データ入出力部１０１は、例えば、ユーザが撮像装置２００で撮像した、被写体（マーカー）の背景とした実空間の撮像画像（参照撮像画像）のデータを、被写体画像情報記憶部１０９に書き込んで記憶させる。本実施形態においては、複数の標準マーカー（例えば、標準マーカー３０１、３０２、３０３及び３０４の各々となる標準マーカー）が用いられるため、一枚の参照撮像画像に複数の標準マーカーそれぞれが異なる距離に配置されて撮像される。

ここで、複数の標準マーカーの各々は、同一の標準マーカーでも異なる標準マーカーのいずれでも良い。また、同一のピント位置Ｓ、焦点距離ｆ及びＦ値Ｓで、複数の標準マーカーを異なる距離に配置して、異なる距離毎の参照撮像画像を撮像して、複数の参照撮像画像の各々を用いて後述する連立一次方程式を生成する構成としてもよい。
被写体情報推定部１０２は、データ入出力部１０１から供給されるマーカー識別情報に対応する被写体（標準マーカー）３０１、３０２、３０３及び３０４の各々の形状３０１Ｃ、３０２Ｃ、３０３Ｃ及び３０３Ｃと、テクスチャ３０１、３０２Ｔ、３０３Ｔ及び３０４Ｔとの画像データを、マーカー情報記憶部１０８から読み出す。

そして、被写体情報推定部１０２は、参照撮像画像において標準マーカー３０１、３０２、３０３及び３０４の各々のマーカー画像に対応する被写体画像の領域を、一般的なパターンマッチングにより抽出する。
また、被写体情報推定部１０２は、マーカー画像のデータ（形状の実寸のデータやテクスチャの実寸のデータの各々）と、このマーカー画像により抽出した被写体画像とにより、上記パターンマッチングの処理において、参照撮像画像における標準マーカー３０１、３０２、３０３及び３０４の各々と撮像装置２００とのそれぞれの距離情報ｄ１、ｄ２、ｄ３及び被写体の姿勢情報の各々を配置情報として取得する。
被写体情報推定部１０２は、距離情報ｄ１、ｄ２、ｄ３及び被写体の姿勢情報の各々を、被写体画像情報記憶部１０９の被写体推定情報テーブルに書き込んで記憶させる。

次に、被写体ＣＧ画像生成部１０３は、参照撮像画像の解像度を被写体画像情報記憶部１０９の被写体画像テーブルから、また、距離情報、姿勢情報及び位置情報を被写体推定情報テーブルから読み出す。
また、被写体ＣＧ画像生成部１０３は、マーカー情報記憶部１０８から、標準マーカー３０１、３０２、３０３及び３０４の各々のマーカー識別情報に対応して、標準マーカーの形状３０１Ｃ、３０２Ｃ、３０３Ｃ及び３０４Ｃと、テクスチャ３０１Ｔ、３０２Ｔ、３０３Ｔ及び３０４Ｔとのデータを読み出す。
そして、被写体ＣＧ画像生成部１０３は、標準マーカーの形状３０１Ｃ、３０２Ｃ、３０３Ｃ及び３０３Ｃと、テクスチャ３０１Ｔ、３０２Ｔ，３０３Ｔ，３０４Ｔとの各々を用いて、参照撮像画像における被写体画像と同一の画像サイズ及び解像度のＣＧ画像として、距離情報及び姿勢情報に対応した標準マーカー３０１、３０２、３０３及び３０４の各々のＣＧ画像（被写体ＣＧ画像）それぞれを生成する。

精細度算出部１０４は、参照撮像画像から抽出された被写体画像と、生成された標準マーカー３０１、３０２、３０３及び３０４の各々の被写体ＣＧ画像のそれぞれとの各画素の画素値を用いて、精細度としての加重平均フィルタのフィルタ半径を求める。
そして、精細度算出部１０４は、被写体ＣＧ画像と被写体画像との各々の画素の画素値の差分（例えば、二乗誤差）の合計が最も小さくなるフィルタ半径Ｒを、標準マーカー３０１、３０２、３０３及び３０４の各々に対応して求め、被写体画像の精細度である被写体画像精細度とする。

そして、被写体撮像情報推定部１１３は、以下の（６）式を用いて、撮像装置２００が参照撮像画像を撮像した際における焦点距離ｆ、ピント位置Ｓ、Ｆ値Ｎ、関係係数ｋを推定する連立一次方程式を生成する。
Ｒ_ｉ＝ｋ＊ｆ^２｜ｄ_ｉ－Ｓ｜／（ｄ_ｉ＊Ｎ＊（Ｓ－ｆ）） …（６）
上記（６）式において、Ｒ_ｉは標準マーカーｉの被写体精細度であり、ｄ_ｉは標準マーカーｉと撮像装置２００との距離である。本実施形態の場合、標準マーカー３０１、３０２、３０３及び３０４を用いている。

そのため、被写体撮像情報推定部１１３は、標準マーカー３０１、３０２、３０３及び３０４をそれぞれｉ、すなわち３０１≦ｉ≦３０４として、被写体精細度Ｒ_３０１、Ｒ_３０２、Ｒ_３０３及びＲ_３０４と、距離ｄ_３０１、ｄ_３０２、ｄ_３０３及びｄ_３０４との各々により、以下の連立一次方程式を生成する。
Ｒ_３０１＝ｋ＊ｆ^２｜ｄ_３０１－Ｓ｜／（ｄ_３０１＊Ｎ＊（Ｓ－ｆ））
Ｒ_３０２＝ｋ＊ｆ^２｜ｄ_３０２－Ｓ｜／（ｄ_３０２＊Ｎ＊（Ｓ－ｆ））
Ｒ_３０３＝ｋ＊ｆ^２｜ｄ_３０３－Ｓ｜／（ｄ_３０３＊Ｎ＊（Ｓ－ｆ））
Ｒ_３０４＝ｋ＊ｆ^２｜ｄ_３０４－Ｓ｜／（ｄ_３０４＊Ｎ＊（Ｓ－ｆ））

また、被写体撮像情報推定部１１３は、上記連立一次方程式を解く演算処理を行うことにより、焦点距離ｆ、ピント位置Ｓ、Ｆ値Ｎ、関係係数ｋを推定する。
そして、合成画像生成部１０６は、焦点距離ｆ、ピント位置Ｓ、Ｆ値Ｎ、関係係数ｋを用いて、（３）式により、第１の実施形態と同様に、仮想オブジェクト画像の画像データを仮想オブジェクト記憶部１１２から読み出し、当該仮想オブジェクト画像の画像サイズを撮像装置からの距離ｄに対応したサイズに修正したオブジェクトＣＧ画像を生成する。

上述したように、本実施形態によれば、第１の実施形態と同様に、現実空間に配置された被写体が撮影された際の被写体画像精細度に基づいて、関係係数ｋを算出しておき、現実空間を撮像した対象撮像画像に対して重畳する仮想オブジェクトの仮想オブジェクト画像精細度を、上記関係係数ｋから決定するため、対象撮像画像に仮想オブジェクトを合成した際、対象撮像画像の背景とのぼけ具合が異なる違和感を低減させることができる。

また、本実施形態によれば、被写体撮像情報推定部１１３が複数の標準マーカーのマーカー画像から焦点距離ｆ、ピント位置Ｓ、Ｆ値Ｎ、関係係数ｋを推定するため、ユーザが撮像装置で参照撮像画像を撮像する際に、一々、焦点距離ｆ、ピント位置Ｓ、Ｆ値Ｎを確認する必要がなくなり、参照撮像画像の撮像処理における手間を低減させることができる。

以上、本発明の実施形態を図面を参照し説明してきたが、具体的な構成はこの形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

なお、本発明における図１の画像処理システム１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより仮想オブジェクトを現実空間を撮像した撮像画像に、撮像画像のぼけ具合に対応したフィルタ処理を行った後に合成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…画像処理システム
１０１…データ入出力部
１０２…被写体情報推定部
１０３…被写体ＣＧ画像生成部
１０４…精細度算出部
１０５…仮想オブジェクト配置位置取得部
１０６…合成画像生成部
１０７…表示部
１０８…マーカー情報記憶部
１０９…被写体画像情報記憶部
１１０…被写体画像精細度情報記憶部
１１１…撮像画像情報記憶部
１１２…仮想オブジェクト記憶部
１１３…被写体撮像情報推定部１１３
２００…撮像装置
３００…標準マーカー
３００Ｃ…形状
３００Ｔ…テクスチャ

Claims (11)

1. 撮像装置で撮像した参照撮像画像における被写体の被写体画像に基づいて、前記撮像装置に対する前記被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定部と、
   前記被写体情報に基づいて前記被写体のＣＧ（computer graphics）画像である被写体ＣＧ画像を描画する被写体ＣＧ画像描画部と、
   前記撮像装置の撮像した対象撮像画像における仮想オブジェクト画像を配置する配置位置を取得する仮想オブジェクト配置位置取得部と、
   前記被写体画像と前記被写体ＣＧ画像とを比較して、当該被写体画像の精細度である被写体画像精細度を取得し、また、当該被写体画像精細度と、前記撮像装置により前記参照撮像画像を撮像した際の参照撮像画像撮像パラメータと、前記撮像装置により前記対象撮像画像を撮像した際の対象撮像画像撮像パラメータと、前記被写体及び前記撮像装置間の第１距離と、前記仮想オブジェクト画像を前記対象撮像画像に合成した際における前記撮像装置及び当該仮想オブジェクト画像の仮想オブジェクト間の仮想距離である第２距離とから、前記対象撮像画像に合成する仮想オブジェクト画像の精細度である仮想オブジェクト画像精細度を求める対応関係を用い、前記第２距離に対応した前記仮想オブジェクト画像精細度を取得する精細度算出部と
   を備えることを特徴とする画像処理システム。
2. 前記仮想オブジェクト画像精細度に基づいて前記仮想オブジェクト画像の精細度を調整し、精細度を調整した仮想オブジェクト画像を前記対象撮像画像における前記第２距離に対応させて、所定の位置に配置して合成した合成オブジェクト画像を生成する合成画像生成部をさらに備える
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記対応関係が、
   前記第１距離と前記参照撮像画像撮像パラメータにおける第１ピント位置との差分の絶対値である第１差分により、前記第２距離と前記対象撮像画像撮像パラメータにおける第２ピント位置との差分の絶対値である第２差分を除算して第１数値を求め、前記第１距離により前記第２距離を除算して第２数値を求め、前記第１数値及び前記第２数値の各々を前記被写体画像精細度に対して乗算する第１演算を少なくとも含み、前記被写体画像精細度から前記仮想オブジェクト画像精細度を求める関係式である
   ことを特徴とする請求項１または請求項２に記載の画像処理システム。
4. 前記関係式が、
   前記第１ピント位置と前記参照撮像画像撮像パラメータにおける第１焦点距離との差分である第３差分を、前記第２ピント位置と前記対象撮像画像撮像パラメータにおける第２焦点距離との差分である第４差分により除算して第３数値を求め、前記第２焦点距離の二乗を前記第１焦点距離の二乗により除算して第４数値を求め、前記参照撮像画像撮像パラメータにおける第１Ｆ値を前記対象撮像画像撮像パラメータにおける第２Ｆ値により除算して第５数値を求め、前記第３数値、前記第４数値及び前記第５数値の各々を乗算する第２演算を、前記第１演算に乗算して前記仮想オブジェクト画像精細度を求める
   ことを特徴とする請求項３に記載の画像処理システム。
5. 複数の被写体が撮像された前記参照撮像画像における当該被写体の各々の前記第１距離と、前記被写体画像精細度との各々から、前記参照撮像画像における前記第１焦点距離、前記第１Ｆ値、前記第１ピント位置を推定する被写体撮像情報推定部をさらに備える
   ことを特徴とする請求項４に記載の画像処理システム。
6. 前記第２ピント位置が前記第１ピント位置と等しく、かつ対象撮像画像撮像パラメータにおける第２焦点距離及び第２Ｆ値の各々が前記参照撮像画像撮像パラメータにおける第１焦点距離、第１Ｆ値それぞれと等しい
   ことを特徴とする請求項３に記載の画像処理システム。
7. 前記精細度算出部が、
   前記撮像装置の種類毎に、前記被写体画像精細度及び前記参照撮像画像撮像パラメータの各々が書き込まれて記憶された記憶部を備える
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。
8. 前記精細度算出部が、
   前記被写体画像と、前記被写体ＣＧ画像を加重平均フィルタによりフィルタ処理を行った調整被写体ＣＧ画像とを比較し、前記被写体画像と当該調整被写体ＣＧ画像との差分が等しくなる前記加重平均フィルタの第１フィルタ半径を前記被写体画像精細度として算出する
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理システム。
9. 前記精細度算出部が、
   前記第１フィルタ半径から前記対応関係に対応して前記仮想オブジェクト画像精細度である第２フィルタ半径を求め、前記仮想オブジェクト画像の精細度を調整する
   ことを特徴とする請求項８に記載の画像処理システム。
10. 被写体情報推定部が、撮像装置で撮像した参照撮像画像における被写体の被写体画像に基づいて、前記撮像装置に対する前記被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定過程と、
    被写体ＣＧ画像描画部が、前記被写体情報に基づいて前記被写体のＣＧ画像である被写体ＣＧ画像を描画する被写体ＣＧ画像描画過程と、
    仮想オブジェクト配置位置取得部が、前記撮像装置の撮像した対象撮像画像における仮想オブジェクト画像を配置する配置位置を取得する仮想オブジェクト配置位置取得過程と、
    精細度算出部が、前記被写体画像と前記被写体ＣＧ画像とを比較して、当該被写体画像の精細度である被写体画像精細度を取得し、また、当該被写体画像精細度と、前記撮像装置により前記参照撮像画像を撮像した際の参照撮像画像撮像パラメータと、前記被写体及び前記撮像装置間の第１距離と、前記仮想オブジェクト画像を前記対象撮像画像に合成した際における前記撮像装置及び当該仮想オブジェクト画像の仮想オブジェクト間の仮想距離である第２距離とから、前記対象撮像画像に合成する仮想オブジェクト画像の精細度である仮想オブジェクト画像精細度を求める対応関係を用い、前記第２距離に対応した前記仮想オブジェクト画像精細度を取得する精細度算出過程と
    を含むことを特徴とする画像処理方法。
11. コンピュータを、
    撮像装置で撮像した参照撮像画像における被写体の被写体画像に基づいて、前記撮像装置に対する前記被写体の位置及び姿勢を含む被写体情報を推定する被写体情報推定手段、
    前記被写体情報に基づいて前記被写体のＣＧ画像である被写体ＣＧ画像を描画する被写体ＣＧ画像描画手段、
    前記撮像装置の撮像した対象撮像画像における仮想オブジェクト画像を配置する配置位置を取得する仮想オブジェクト配置位置取得手段、
    前記被写体画像と前記被写体ＣＧ画像とを比較して、当該被写体画像の精細度である被写体画像精細度を取得し、また、当該被写体画像精細度と、前記撮像装置により前記参照撮像画像を撮像した際の参照撮像画像撮像パラメータと、前記被写体及び前記撮像装置間の第１距離と、前記仮想オブジェクト画像を前記対象撮像画像に合成した際における前記撮像装置及び当該仮想オブジェクト画像の仮想オブジェクト間の仮想距離である第２距離とから、前記対象撮像画像に合成する仮想オブジェクト画像の精細度である仮想オブジェクト画像精細度を求める対応関係を用い、前記第２距離に対応した前記仮想オブジェクト画像精細度を取得する精細度算出手段
    として機能させるプログラム。

Images