JP2004341642A - 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】専用のハードウェア等の特別な装置を用いることなくＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを実現する。
【解決手段】画像合成手段が、位置情報計測用のマーカの画像を含む撮影画像を画像受信手段を介して受信し、前記画像合成手段が、受信した撮影画像におけるマーカの位置に仮想物の画像を合成した合成画像を生成し、画像配信手段が、前記合成画像を通信ネットワークを介して配信する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、実空間に仮想物があるかのように見せるＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術に関し、特に所定の場所に仮想物を配置するレイアウトシミュレーションに係るシステムに関する。
【０００２】
【従来の技術】
Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙは、実世界の情報を計算機内部に構築した仮想世界データ（ＣＧ）で補強する技術であり、ＣＧだけの世界を扱うＶｉｒｔｕａｌ Ｒｅａｌｉｔｙとは全く異なるアプリケーション分野を切り開くことが期待され、多くの研究がなされている。
【０００３】
人がＣＧを見るためには何らかのディスプレイが必要であり、目の前の実世界にＣＧを付加させて見せるＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙでは、ヘッドマウントディスプレイ（ＨＭＤ）がよく使われている。例えば、Ｂｉｌｌｉｎｇｈｕｓｔ（非特許文献１参照）はカメラ付きのＨＭＤと黒枠のマーカを用い、カメラで目の前の空間を撮影し、カメラ画像内にマーカを検出するとその位置にＣＧを合成した画像を生成し、そして、その合成画像をＨＭＤを通して被験者に見せることで、被験者にあたかも目の前にＣＧが存在するように見せるシステムを提案している。
【０００４】
また、松岡等はＨＭＤの代わりにカメラを付けたタブレットＰＣを用いて、目の前に３次元ＣＧの仮想物があるかのように見せるシステムを提案している（非特許文献２参照）。しかしながら、これらシステムでは、ＨＭＤやカメラ付きタブレットＰＣなどＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを用いたアプリケーション構築には、専用のハードウェアが必要であるという問題があった。
【０００５】
【非特許文献１】
Ｂｉｌｌｉｎｇｈｕｓｔ＆Ｋａｔｏ，“Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ．”，ＩＳＭＲ，９９
【０００６】
【非特許文献２】
Ｍａｔｓｕｏｋａ， Ｈ．， Ｏｎｏｚａｗａ， Ａ．， Ｓａｔｏ， Ｈ． ａｎｄ Ｎｏｊｉｍａ， Ｈ．，”Ｒｅｇｅｎｅｒａｔｉｏｎ ｏｆ Ｒｅａｌ ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ Ｒｅａｌ Ｗｏｒｌｄ”， Ｃｏｎｆｅｒｅｎｃｅ Ａｂｓｔｒａｃｔｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ
ｏｆ ＳＩＧＧＲＡＰＨ ２００２， ｐ．７７，ｐ．２４３
【０００７】
【発明が解決しようとする課題】
前述したように、従来のＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを用いたアプリケーションでは、ＨＭＤやタブレットＰＣなど専用のハードウェアが必要であった。
【０００８】
本発明は上記の点に鑑みてなされたものであり、専用のハードウェア等の特別な装置を用いることなくＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを用いたアプリケーションを実現することができる技術を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的は、画像合成手段が、位置情報計測用のマーカの画像を含む撮影画像を画像受信手段を介して受信するステップと、前記画像合成手段が、受信した撮影画像におけるマーカの位置に仮想物の画像を合成した合成画像を生成するステップと、画像配信手段が、前記合成画像を通信ネットワークを介して配信するステップとを有する方法により解決される。
【００１０】
マーカの画像を含む撮影画像は特別な装置を用いることなく得ることができるので、本発明によれば、特別な装置を用いることなく、仮想物の画像を合成するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを実現することができる。
【００１１】
また、前記画像合成手段が、前記マーカの種類に応じて当該マーカに対応した仮想物の画像を前記撮影画像に合成することにより、例えば、複数の仮想物を合成できる。また、前記撮影画像に加えて仮想物の識別情報を受信し、該識別情報に対応した仮想物の画像を合成した合成画像を生成するようにしてもよい。
【００１２】
また、画像合成手段は、前記撮影画像内のマーカの形状から、撮影画像を撮影した撮影手段の位置を視点とし、マーカのカメラ座標系３次元位置情報を求め、前記仮想物を前記マーカの位置に置いたとした場合における前記視点に対する当該仮想物の２次元画像を求め、撮影画像と当該２次元画像とを合成することにより前記合成画像を生成することができる。
【００１３】
更に、２以上の整数をｎとし、前記仮想物が写り背景の色彩と輝度の一方又は両方が違うｎ枚の２次元画像Ｐ１〜Ｐｎから、画素毎に透明度値を有する仮想物の透明度画像を求める透明度計算ステップと、前記２次元画像Ｐ１〜Ｐｎから、仮想物の色彩画像を求める色彩計算ステップと、前記撮影画像と前記透明度画像と色彩画像とを合成する合成ステップとを実行することにより前記合成画像を生成する方法を用いれば、仮想物の半透明性や反射性を再現し、自然な合成画像を得ることが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１５】
図１に、本発明の実施の形態における画像処理システムのブロック図を示す。本システムは、カメラ付き携帯電話Ｃ、メールサーバＳＭ、画像合成装置ＳＳ、ＷｅｂサーバＳＭ、印刷装置Ｐからなる。カメラ付き携帯電話Ｃ、メールサーバＳＭ、画像合成装置ＳＳ、ＷｅｂサーバＳＭはインターネット等のネットワークに接続可能である。なお、カメラ付き携帯電話Ｃに代えてカメラ付きパーソナルコンピュータ、カメラ付きＰＤＡ等を用いることもできる。
【００１６】
印刷装置Ｐはカメラ付き携帯電話Ｃのユーザが利用でき、例えば、インターネット接続可能なＰＣ（パーソナルコンピュータ）から出力されるデータを印刷できる。メールサーバＳＭ、画像合成装置ＳＳ、ＷｅｂサーバＳＭの各々はパーソナルコンピュータやワークステーション等の一般的なコンピュータと同様の構成を有しており、本実施の形態にかかる処理をプログラムにより実行する。
【００１７】
なお、上記メールサーバに代えてＦＴＰによりデータ送受信可能な装置、ＨＴＭＬによりデータ送受信可能な装置を用いることができる。また、上記のＷｅｂサーバＳＷに代えてメールサーバやＦＴＰによりデータ送受信可能な装置を用いてもよい。
【００１８】
また、メールサーバＳＭ、画像合成装置ＳＳ、ＷｅｂサーバＳＭは各々を１台のコンピュータとして構成してもよいし、３つを１つのコンピュータとして、あるいは、３つのうちの２つを１つのコンピュータとして構成してもよい。
【００１９】
画像合成装置ＳＳは、仮想物Ｏの３次元ＣＧデータＤＯを所有し、更にＷｅｂサーバＳＷは、マーカデータＤＭを所有し配信する機能を有する。なお、画像合成装置ＳＳが仮想物Ｏの３次元ＣＧデータＤＯを所有する代わりに、例えば遠隔にあるサーバから必要に応じて仮想物Ｏの３次元ＣＧデータＤＯを取得するようにしてもよい。
【００２０】
本システムにより、ユーザが所望の位置Ｌに仮想物Ｏを置いた状況の合成画像ＰＳをカメラ付き携帯電話Ｃを用いて提供することができる。以下、その手順について図１に示す構成及び図２のフローを参照して説明する。
【００２１】
まず、ユーザはＷｅｂサーバＳＷよりマーカデータＤＭをダウンロードし（ステップＳ１）、印刷装置ＰにてマーカＭを生成する（ステップＳ２）。ユーザは所望の位置ＬにマーカＭを置き、カメラ付き携帯電話Ｃを用いて、マーカＭを含んだ風景を撮影し、撮影画像ＰＯを生成する（ステップＳ３）。
【００２２】
そして、ユーザは撮影画像ＰＯをメール等の送信手段を用いてメールサーバＳＭに送信する（ステップＳ４）。メールサーバＳＭは受け取ったメールを解析し、撮影画像ＰＯを抽出して画像合成装置ＳＳに送信する（ステップＳ５）。
【００２３】
画像合成装置ＳＳは、撮影画像ＰＯに写っているマーカＭの大きさと角度より、マーカＭの３次元位置を計算する（ステップＳ６）。求めた３次元位置データを元に３次元ＣＧデータＤＯを撮影画像ＰＯに合成し合成画像ＰＳを生成する（ステップＳ７）。より詳細には、画像合成装置ＳＳは、受信した撮影画像ＰＯ内のマーカＭの形状（大きさ、角度）から撮影時のカメラ付き携帯電話Ｃの位置を視点ＶＯとし、視点ＶＯに対するマーカＭのカメラ座標系３次元位置情報Ｖ１を求め、３次元ＣＧデータＤＯの座標をＶ１として視点ＶＯに対する３次元ＣＧデータＤＯの２次元画像ＰＰ１を求め、撮影画像ＰＯと２次元画像ＰＰ１とを合成し合成画像ＰＳを生成する。
【００２４】
上記の３次元位置の計算および３次元データの合成は、例えばワシントン大学が提供するＡＲＴｏｏｌＫｉｔを用いることにより、容易に計算することができる。合成画像ＰＳはＷｅｂサーバＳＷに送信され、ＷｅｂサーバＳＷは、インターネット上のアドレスＡに合成画像ＰＳを格納する（ステップＳ８）。例えば、ＷｅｂサーバＳＷの格納装置における所定の場所がインターネットにおけるアドレスＡであれば、そこに格納する。
【００２５】
次に、上記のアドレスＡ（例えば、ＵＲＬ）はメールサーバＳＭによりメール等の情報送信手段を用いてユーザの例えばカメラ付き携帯電話Ｃに通知される（ステップＳ９）。ユーザは通知されたアドレスＡからカメラ付き携帯電話Ｃを用いて合成画像ＰＳをダウンロードすることにより（ステップＳ１０）、マーカＭの位置に仮想物Ｏが置かれた画像を見ることができる。
【００２６】
上記手法は、決められた１個の仮想物しか合成することができないが、下記の手法を用いることにより、ユーザは任意の仮想物の合成画像を取得することができる。
【００２７】
すなわち、まず、ｎ個の仮想オブジェクトＯ１〜Ｏｎの３次ＣＧデータＤＯ１〜ＤＯｎを画像合成装置ＳＳに記憶し、またｎ枚のマーカデータＤＭ１〜ＤＭｎをＷｅｂサーバＳＷに格納し、各々の３次元データはマーカデータに対応付けておく。画像合成装置ＳＳは、撮影画像ＰＯに写ったマーカの絵柄を抽出し、その絵柄に対応した３次元ＣＧデータを合成する。
【００２８】
これにより、ユーザは合成したい仮想物が対応付けられたマーカの画像データをダウンロードし、そのマーカを撮影してメールサーバに送信することにより、所望の仮想物が合成された合成画像を取得することができる。
【００２９】
また、複数の絵柄のマーカを用意しなくても、メールサーバに画像を送信する際に、合成したい仮想オブジェクトの名称等を記載して同時に送り、その送られた名称等を元に画像合成装置ＳＳが名称に対応する３次元ＣＧデータを合成することにより、同様にユーザは所望の仮想物が合成された合成画像を取得することができる。
【００３０】
（画像合成処理についての詳細説明）
さて、図２の上記ステップＳ７における３次元ＣＧデータＤＯを撮影画像ＰＯに合成し合成画像ＰＳを生成する処理では、視点ＶＯに対する３次元ＣＧデータＤＯの２次元画像ＰＰ１を求め、撮影画像ＰＯと２次元画像ＰＰ１とを合成する処理を行う。これは上記のような既存の技術を用いて実現することができるが、以下に説明する技術を用いることにより、仮想物Ｏの半透明性や反射性を再現し、自然な合成画像を得ることが可能となる。
【００３１】
図３に、ここで説明する画像合成処理を行う場合における画像合成装置ＳＳの構成を示す。なお、図３は画像合成装置ＳＳにおける画像合成処理にかかる部分の構成のみを示している。
【００３２】
図３に示すように、画像合成装置ＳＳは、透明度計算処理部ＡＴと、色彩計算処理部ＡＣと、必要によりノイズフィルタＡＮと、切断処理部ＡＲと、合成処理部ＡＳとで構成される。
【００３３】
透明度計算処理部ＡＴには、背景の色彩と輝度の一方又は両方を変えて仮想物（被写体）Ｏを撮影した２枚の画像Ｐ１，Ｐ２が入力される。透明度計算処理部ＡＴは、この２枚の画像Ｐ１，Ｐ２を入力として、透明度画像ＰＴを求める。必要な場合は、透明度画像処理部ＡＴで求めた透明度画像ＰＴにノイズフィルタＡＮをかけ、ノイズ除去を行う。また、色彩計算処理部ＡＣは、画像Ｐ１，Ｐ２を入力として、色彩画像ＰＣを出力する。透明度画像ＰＴ及び色彩画像ＰＣは、切断処理部ＡＲにより、仮想物Ｏを包含する部分以外の不要部分をカットし画像サイズを小さくすることができる。合成処理部ＡＳは、切り出した透明度画像ＰＴ、切り出した色彩画像ＰＣと、別途撮影した撮影画像ＰＯを入力として、撮影画像ＰＯ上に仮想物Ｏを挿入した合成画像ＰＳを生成する。
【００３４】
なお、ここで説明する方法を用いる場合、前述した３次元ＣＧデータＤＯは、背景の色彩と輝度の一方又は両方を変えて多数の方向から仮想物Ｏを撮影して得られた複数の画像データとすることができる。また、背景の色彩と輝度の一方又は両方を変えて多数の方向から撮影した画像から上記の透明度画像ＰＴ及び色彩画像ＰＣを当該多数の方向に対応付けて求めておき、これらを３次元ＣＧデータＤＯとして記憶させておいてもよい。
【００３５】
図４に、画像合成処理の処理フローを示す。なお、仮想物Ｏの撮影は、画像合成装置ＳＳの処理とは別に行われるものである。
【００３６】
まず、ステップＳ２１において、後述する撮影システムＳＰにより背景の色彩と輝度の一方又は両方を変えて仮想物Ｏを撮影する。次に、ステップＳ２２において、仮想物Ｏを撮影した２枚の画像Ｐ１，Ｐ２を透明度計算処理部ＡＴに入力する。次に、ステップＳ２３において、透明度計算処理部ＡＴは、この２枚の画像Ｐ１，Ｐ２を入力として、後述する透明度計算を全ての画素について行い、透明を０、不透明を１とし、各画素を透明度を０から１の実数で表した透明度画像ＰＴを求める。次に、ステップＳ２４において、必要な場合は、透明度画像処理部ＡＴで求めた透明度画像ＰＴにノイズフィルタＡＮをかけ、ノイズ除去を行う。次に、ステップＳ２５において、色彩計算処理部ＡＣにより、画像Ｐ１，Ｐ２を入力として、各画素について色彩計算を行い、色彩画像ＰＣを生成する。次に、ステップＳ２６において、透明度画像ＰＴ及び色彩画像ＰＣについて、切断処理部ＡＲにより、仮想物Ｏを包含する部分以外の不要部分をカットし画像サイズを小さくする。最後に、ステップＳ２７において、合成処理部ＡＳにより、切り出した透明度画像ＰＴ、切り出した色彩画像ＰＣと、別途撮影した撮影画像ＰＯを入力として、撮影画像ＰＯ上に仮想物Ｏを挿入した合成画像ＰＳを生成する。上記において、ステップＳ２３，２４とステップＳ２５とは、並行して行うことができる処理であり、いずれが先であっても構わない。
【００３７】
透明度計算処理部ＡＴで求めた透明度画像ＰＴは、従来、用いられていた２値化されたマスクデータと違い、ピクセル毎の透明度が精緻に分類、数値化されているため、ピクセル間の変化が滑らかであり、背景が写りこんだ鏡面部分は、透明と不透明の間の値をとるので、得られた合成画像ＰＳでは、仮想物Ｏに鏡面反射部分があっても欠けることなく、仮想物Ｏと撮影画像ＰＯとが滑らかに合成される。また、透明又は半透明な仮想物Ｏを、自然な透明感や半透明感を持たせて撮影画像ＰＯと合成することができる。
【００３８】
図５に、上記の画像Ｐ１，Ｐ２を得る撮影システムＳＰの構成図を示す。本撮影システムＳＰは、スイッチＳの電気信号の値により色彩と輝度の一方又は両方が変わる背景表示装置ＢとテーブルＴＢと、仮想物Ｏ及び背景表示装置Ｂ、テーブルＴＢを撮影する撮影装置ＣＣからなり、仮想物ＯをテーブルＴＢ上にのせ、スイッチＳの電気信号の値を２通りに変えて、撮影装置ＣＣにより背景の違う画像Ｐ１，Ｐ２を得る。撮影装置ＣＣは、仮想物をあらゆる方向から撮影できるように移動可能である。
【００３９】
上記背景表示装置Ｂには、ＥＬパネル、液晶パネル、液晶シャッタ、投影型スクリーン、プラズマディスプレイ、ＣＲＴ等を用いることができる。また、上記テーブルＴＢは、背景が透過する透明な物質で構成するのが好適である。
【００４０】
画像Ｐ１，Ｐ２の横のピクセル数をＷ、縦のピクセル数をＨとすると、上記透明度計算処理部ＡＴでの透明度計算方法の一例では、Ｐ１及びＰ２の画像上の一点の画素値をＰ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）、（０≦ｘ＜Ｗ，０≦ｙ＜Ｈ）とし、画像上全画素でＰ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）の値の絶対値が最大となるときの値、ＰＰＭＡＸを求める。なお、画素値として、例えばＲＧＢ値、輝度値を用いることができる。なお、透明度計算を行う場合においては、画像Ｐ１，Ｐ２間での変化が大きく現れる種類の画素値を用いることが望ましい。
【００４１】
透明を０、不透明を１とし、透明度を０から１の実数で表すとき、透明度計算処理部ＡＴで生成する透明度画像ＰＴ上の１点ＰＴ（ｘ，ｙ）の値は、
１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜
として計算する。透明度計算処理部ＡＴは、画像上の全ての画素について上記式で計算を行い、透明度画像ＰＴを求める。最大画素変化ＰＰＭＡＸとしては、例えば、画像Ｐ１上で仮想物が写っていない部分の画素値をＰＰＢ１、画像Ｐ２上で仮想物が写っていない部分の画素値をＰＰＢ２として、ＰＰＢ１−ＰＰＢ２で計算することができる。あるいは、最大画素変化ＰＰＭＡＸに、画像Ｐ１，Ｐ２の全ての画素で、Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）が最大となる値を用いることもできる。
【００４２】
図５で示した撮影システムの背景表示装置Ｂは曲面となっており、仮想物を３次元画像として表示することもできるように、真横、斜め上方、真上など、仮想物をあらゆる方向から撮影できるようになっている。このために、撮影した画像の背景の輝度等が上方と下方で変わる場合には、全画素中の差の最大値ＰＰＭＡＸを用いる手法では、正確に透明度を求めることができない。そこで、画像上の両端には、仮想物が写っていないので、その画素が完全に透明であることを利用して、横方向のライン毎に透明度を求めることにより、この問題を解決することができる。例えば、ライン毎に最大画素変化ＰＰＭＡＸを求めて計算を行うことができる。また、左端の画素には仮想物が写っておらず、背景のみである場合には、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（Ｐ１（０，ｙ）−Ｐ２（０，ｙ））｜
として、画像上の全ての画素について計算を行うことにより求められる。すなわち、画像Ｐ１，Ｐ２の１ラインの端の画素値をＰＥ１，ＰＥ２としたとき、最大画素変化ＰＰＭＡＸをＰＥ１−ＰＥ２として計算することができる。
【００４３】
また、背景のみの画像を用いることにより、さらに正確に透明度を計算することができる。この手法では、仮想物が写り背景が異なる画像Ｐ１，Ｐ２と、それら画像と背景が同様で仮想物が写っていない画像ＰＢ１、ＰＢ２を用いる。画像上の一点Ｐ（ｘ，ｙ）の透明度は、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜
で求める。
【００４４】
これら求めた透明度画像ＰＴには、撮影環境等の影響でノイズを含む場合があり、合成画像が醜くなる場合がある。このような場合には、透明度画像ＰＴ全体にメディアンフィルタ等のノイズフィルタＡＮを通すことにより、このノイズを除去することができる。この生成画像をＰＴＡとする。
【００４５】
次に、色彩計算処理部ＡＣであるが、単純には画像Ｐ１またはＰ２のいずれかをそのまま出力として用いることができる。また、二つの画像の色彩の平均色を用いることにより、周囲光の影響を平均化することができる。また、透明度計算処理部ＡＴの結果を用いて、透けて写った背景の色彩を取り除くことにより、仮想物本来の色彩を抽出することができる。
【００４６】
すなわち、２枚の画像から１枚の画像を選び、その画素から、透明度計算処理部ＡＴで求めた透明度を元に背景の色彩の影響を除去した色彩画像ＰＣを求めることができる。これは、以下のような式を用いて求めることができる。
【００４７】
ＰＰＢ１−ＰＰＢ２をＰＰＭＡＸとする場合には、
【００４８】
【数１】

を用いる。また、ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ）をＰＰＭＡＸとする場合には、
【００４９】
【数２】

を用いる。
【００５０】
さて、仮想物を鮮明で高品質な画像で背景画像上に描画するためには、仮想物を撮影するときの照明条件が重要である。仮想物に投影する照明が強くなると色彩画像は鮮明になるが、強い照明が背景に当たると背景を変化させてもその変化が捕らえにくくなり、正確な透明度画像の抽出の妨げとなる。そこで、仮想物に照明を当てずに背景を変えた画像を撮影して透明度画像を抽出し、次に仮想物に照明を当てて撮影した画像を色彩画像とすることにより、より鮮明で高品質な合成画像を得ることができる。
【００５１】
また、仮想物Ｏを撮影するときに複数の照明下で撮影しておき、背景画像を撮影した時の照明条件と近い条件で撮影した仮想物Ｏの画像を用いて合成画像を生成することによって、背景にマッチした合成画像を生成することができる。
【００５２】
切断処理部ＡＲは、ノイズフィルタＡＮを用いない場合には透明度画像ＰＴを用い、ノイズフィルタＡＮを通した場合には透明度画像ＰＴＡを用いて、ある閾値ＴＨ（０＜ＴＨ＜１）を与え、透明度が閾値ＴＨを超えるピクセルを包括する長方形を求め、透明度画像ＰＴ又はＰＴＡ、及び色彩画像ＰＣをその大きさで切り出すことにより、画像サイズを小さくした透明度画像ＰＴＳ、及び色彩画像ＰＣＳを生成する。これにより、仮想物の画像情報のサイズを小さくすることができる。
【００５３】
また、合成処理部ＡＳあるいは合成を行うステップでは、透明度画像ＰＴＳと、色彩画像ＰＣＳと、仮想物撮影時の背景とは別の撮影画像ＰＯとを入力として、撮影画像ＰＯ上に仮想物Ｏを重ね書きした合成画像ＰＳを得る。この合成は、透明度の比率でブレンディンクを行う一般的な式である、
ＰＳ（ｘ，ｙ）＝ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより、計算することができる。なお、数式（数１、数２）を用いてＰＣを求めた場合には、以下の式を用いる
【００５４】
【数３】

ただし、この合成手法では、背景に直線等の色彩が急峻に変化する模様がある場合、それが合成した仮想物Ｏ上に透けて見える問題がある。例えば、図６のように、直線で書かれた背景に仮想物であるポットを合成した例では、ポットの底の部分が透けているように見え、非現実の画像となっている。この問題は、仮想物Ｏの部分の背景画像をぼかしてから合成することにより、解決することができる。仮想物Ｏの部分は、透明度ＰＴの値が小さいので、透明度が少なくなると背景の画像のぼかし量を大きくして、合成を行う。この合成を行う具体的な計算式を下記に示す。
【００５５】
【数４】

ｋ＝Ｋ×ＰＴ（ｘ，ｙ）
ここで、Ｋは定数である。この計算式を用いて合成した例を、図７に示す。この画像では、ポットの部分の背景の直線がぼかして表示されるため、ポットが透けているようには見えない。なお、数式（数１、数２）を用いてＰＣを求めた場合には、以下の式を用いる
【００５６】
【数５】

また、上記の手法で透明な物体の背景をぼかすことにより、図８に示すように背景が透明な物体を通して屈折しているように見え、より現実的な画像を得ることができる。
【００５７】
なお、上記の合成手法では、画像ＰＺと色彩情報ＰＣとを合成するときに、ＰＺを透明度画像ＰＴの値に応じてぼかし量が変わるフィルタＦを通してから合成画像ＰＳを求めることも好適である。このフィルタＦには、行列の大きさを透明度画像ＰＺの値により変化させた移動平均フィルタまたはメディアンフィルタを用いることができる。
【００５８】
さらに、上記の説明では背景の変化を２種類で説明しているが、３以上の複数の背景が違う画像を用いることにより、より一層精度良く、透明度や色彩情報を得ることができる。その計算手法であるが、例えば、複数の背景画像から２つの画像を選び、上記処理部により透明度及び色彩情報を求め、その２組の画像の選択を全ての組み合わせにおいて計算し、その平均を用いることにより処理することができる。また、最小２乗法等を用いて、計算することもできる。
【００５９】
以上、画像合成装置ＳＳにおける画像合成処理について詳細に説明した。
【００６０】
図１に示したシステムの各装置において本実施の形態に係る処理を行うプログラムは、コンピュータが読み取りできる記録媒体、例えば、ＦＤ（フロッピー（登録商標）ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、そのプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００６１】
本実施の形態におけるシステムにより、様々なビジネスモデルを構築できる。例えば、システム運用者は、メールの送受信の際に、ユーザから課金して収入を得ることができる。また、システムの利用料金をユーザから定額で収得することもできる。また、本システムをインテリア等のシミュレーションとして用い、商品の販売に用いることもできる。この場合、販売業者は商品の３次元ＣＧデータをシステムに格納しておく。これによりユーザは、商品を所望の位置に置いた時の雰囲気を見て、商品を選ぶことができる。この場合、システム運用者は、販売業者から３次元ＣＧデータの保管料を課金することができる。また、システム運用者は、ユーザと販売業者間の売買契約を取り持つことにより、販売業者より売上金の一部を取得することができる。
【００６２】
なお、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００６３】
【発明の効果】
上述したように、本発明によれば、専用のハードウェア等の特別な装置を用いることなくＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを用いたアプリケーションを実現することができる技術を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像処理システムのブロック図である。
【図２】本発明の実施の形態における画像処理システムの処理のフローである。
【図３】本発明の実施の形態における画像合成装置の構成例である。
【図４】本発明の実施の形態における画像合成方法を説明するための処理フロー図である。
【図５】本発明の実施の形態における撮影システムの例を示す図である。
【図６】背景をぼかさずに被写体と合成した例を示した図である。
【図７】背景をぼかして被写体と合成した例を示した図である。
【図８】背景をぼかして被写体と合成した他の例を示した図である。
【符号の説明】
Ｍ…カメラ付き携帯電話、マーカ
ＰＯ…撮影画像
ＳＳ…画像合成装置
ＰＳ…合成画像
ＤＭ…マーカーデータ
ＷＳ…Ｗｅｂサーバ
Ｐ…印刷装置
Ｐ１，Ｐ２…２次元画像
ＡＴ…透明度計算処理部
ＡＣ…色彩計算処理部
ＰＴ…透明度画像
ＰＣ…色彩画像
ＡＮ…ノイズフィルタ
ＡＲ…切断処理部
ＰＴＳ…切断処理後の透明度画像
ＰＣＳ…切断処理後の色彩画像
ＰＺ…背景画像
ＡＳ…合成処理部
ＰＳ…合成画像
Ａ…画像処理装置
Ｂ…背景表示装置
ＣＣ…撮影装置
Ｏ…仮想物
Ｓ…スイッチ
ＴＢ…テーブル

Claims (19)

1. 画像合成手段が、位置情報計測用のマーカの画像を含む撮影画像を画像受信手段を介して受信するステップと、
   前記画像合成手段が、受信した撮影画像におけるマーカの位置に仮想物の画像を合成した合成画像を生成するステップと、
   画像配信手段が、前記合成画像を通信ネットワークを介して配信するステップと
   を有することを特徴とする方法。
2. 前記マーカの画像データは、前記画像配信手段により通信ネットワークを介して配信される請求項１に記載の方法。
3. 前記撮影画像は、カメラ付き携帯電話、カメラ付きパーソナルコンピュータ、又はカメラ付きＰＤＡにより撮影された画像である請求項１に記載の方法。
4. 前記画像合成手段が、前記マーカの種類に応じて当該マーカに対応した仮想物の画像を前記撮影画像に合成するステップを更に有する請求項１に記載の方法。
5. 前記画像合成手段は、前記撮影画像に加えて仮想物の識別情報を受信し、該識別情報に対応した仮想物の画像を合成した合成画像を生成する請求項１に記載の方法。
6. 前記画像合成手段は、前記撮影画像内のマーカの形状から、撮影画像を撮影した撮影手段の位置を視点とし、マーカのカメラ座標系３次元位置情報を求め、前記仮想物を前記マーカの位置に置いたとした場合における前記視点に対する当該仮想物の２次元画像を求め、前記撮影画像と当該２次元画像とを合成することにより前記合成画像を生成する請求項１に記載の方法。
7. ２以上の整数をｎとし、前記仮想物が写り背景の色彩と輝度の一方又は両方が違うｎ枚の２次元画像Ｐ１〜Ｐｎから、画素毎に透明度値を有する仮想物の透明度画像を求める透明度計算ステップと、
   前記２次元画像Ｐ１〜Ｐｎから、仮想物の色彩画像を求める色彩計算ステップと、
   前記撮影画像と前記透明度画像と前記色彩画像とを合成する合成ステップとを実行することにより前記合成画像を生成する請求項６に記載の方法。
8. ｎが２の場合に、前記透明度計算ステップでは、
   ２次元画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、２次元画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、２次元画像Ｐ１上で仮想物が写っていない部分のある画素の画素値をＰＰＢ１、２次元画像Ｐ２上でのその画素に対応する画素の画素値をＰＰＢ２とし、ＰＰＢ１−ＰＰＢ２を最大画素変化ＰＰＭＡＸとし、不透明を１、透明を０として透明度を０〜１の実数とした場合、ある一点の透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜として与え、２次元画像Ｐ１，Ｐ２上の全ての画素の透明度を求める請求項７に記載の方法。
9. ｎが２の場合に、前記透明度計算ステップでは、
   ２次元画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、２次元画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、仮想物が写っていない背景を２次元画像Ｐ１，Ｐ２の背景と同様に変えた２枚の２次元画像ＰＢ１、ＰＢ２を用い、不透明を１、透明を０として透明度を０〜１の実数とした場合、透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜として与え、２次元画像Ｐ１，Ｐ２上の全ての画素の透明度を求める請求項７に記載の方法。
10. 位置情報計測用のマーカの画像を含む撮影画像を画像受信手段を介して受信する手順と、
    受信した撮影画像におけるマーカの位置に仮想物の画像を合成した合成画像を生成する手順と、
    前記合成画像を通信ネットワークを介して配信する手順、又は前記合成画像を画像配信手段に送信する手順と
    をコンピュータに実行させるプログラム。
11. 前記マーカの画像データは、前記画像配信手段により通信ネットワークを介して配信される請求項１０に記載のプログラム。
12. 前記撮影画像は、カメラ付き携帯電話、カメラ付きパーソナルコンピュータ、又はカメラ付きＰＤＡにより撮影された画像である請求項１０に記載のプログラム。
13. 前記マーカの種類に応じて当該マーカに対応した仮想物の画像を前記撮影画像に合成する手順をコンピュータに実行させる請求項１０に記載のプログラム。
14. 前記撮影画像に加えて仮想物の識別情報を受信し、該識別情報に対応した仮想物の画像を合成した合成画像を生成する手順をコンピュータに実行させる請求項１０に記載のプログラム。
15. 前記撮影画像内のマーカの形状から、撮影画像を撮影した撮影手段の位置を視点とし、マーカのカメラ座標系３次元位置情報を求め、前記仮想物を前記マーカの位置に置いたとした場合における前記視点に対する当該仮想物の２次元画像を求め、前記撮影画像と当該２次元画像とを合成することにより前記合成画像を生成する手順をコンピュータに実行させる請求項１０に記載のプログラム。
16. ２以上の整数をｎとし、前記仮想物が写り背景の色彩と輝度の一方又は両方が違うｎ枚の２次元画像Ｐ１〜Ｐｎから、画素毎に透明度値を有する仮想物の透明度画像を求める透明度計算手順と、
    前記２次元画像Ｐ１〜Ｐｎから、仮想物の色彩画像を求める色彩計算手順と、前記撮影画像と前記透明度画像と前記色彩画像とを合成する合成手順とを含む手順を実行することにより前記合成画像を生成する手順をコンピュータに実行させる請求項１５に記載のプログラム。
17. ｎが２の場合に、前記透明度計算手順では、
    ２次元画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、２次元画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、２次元画像Ｐ１上で仮想物が写っていない部分のある画素の画素値をＰＰＢ１、２次元画像Ｐ２上でのその画素に対応する画素の画素値をＰＰＢ２とし、ＰＰＢ１−ＰＰＢ２を最大画素変化ＰＰＭＡＸとし、不透明を１、透明を０として透明度を０〜１の実数とした場合、ある一点の透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜として与え、２次元画像Ｐ１，Ｐ２上の全ての画素の透明度を求める請求項１６に記載のプログラム。
18. ｎが２の場合に、前記透明度計算手順では、
    ２次元画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、２次元画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、仮想物が写っていない背景を２次元画像Ｐ１，Ｐ２の背景と同様に変えた２枚の２次元画像ＰＢ１、ＰＢ２を用い、不透明を１、透明を０として透明度を０〜１の実数とした場合、透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜として与え、２次元画像Ｐ１，Ｐ２上の全ての画素の透明度を求める請求項１６に記載のプログラム。
19. 請求項１０ないし１８のうちいすれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images