JP2008046806A - 画像処理方法、画像処理装置およびプログラム - Google Patents

Abstract

【課題】商品などの広告画像の宣伝エリアをより広く利用可能とし、かつ、商品などに関する情報をより多く提供可能にした画像処理方法を提供する。
【解決手段】掲示手段に表示される画像である掲示画像と掲示画像に対応する付加情報を格納し、掲示画像を含む撮影画像を受信すると、掲示画像が格納されているか検索し、検索の結果、掲示画像が格納されていると、撮影画像における掲示画像の位置を掲示手段の位置と特定し、掲示手段から撮影画像の撮影位置までの距離および掲示手段から撮影位置への方向の情報を含むカメラパラメータを算出し、カメラパラメータに基づいて付加情報を付加した合成画像を生成するものである。
【選択図】図６

Description

本発明は、実空間に仮想物があるかのように見せるＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術に関するもので、特に、携帯端末を用いたＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術を実現するための画像処理方法、画像処理装置、およびコンピュータに実行させるためのプログラムに関する。

広告・宣伝手段として、人通りの多い街角のビルの壁などに大型ディスプレイを予め設け、その大型ディスプレイに商品等の映像を流し、商品等のＰＲを行うサービスが普及している。街角の大勢の人に同時にコマーシャル映像を見せることが可能であるため、このサービスは、有益な宣伝サービスであるが、視聴者に対してより詳細な製品情報等を伝えるには限界がある。

一方で、新しい情報提示手段として、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙという技術がある。この技術は、実世界の情報を計算機内部に構築した仮想世界データ（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）で補強する技術であり、ＣＧだけの世界を扱うＶｉｒｔｕａｌ Ｒｅａｌｉｔｙとは全く異なるアプリケーション分野を切り開くことが期待され、多くの研究がなされている。例えば、非特許文献１において、Ｂｉｌｌｉｎｇｈｕｒｓｔ＆Ｋａｔｏは、カメラで撮影した画像内のマーカの位置の上にＣＧを重ねた合成画像を生成するＡＲｔｏｏｌＫｉｔを提案している。以下に、その技術を簡単に説明する。

実際の３次元空間を撮影した画像に仮想物のＣＧを配置すべき位置を示す目印として、黒枠の内側に絵柄が描かれたマーカを用いる。そして、このマーカが記載された用紙を実際の３次元空間に置き、撮影画像にマーカが入るようにして、カメラで目の前の空間を撮影する。続いて、この撮影画像を非特許文献１に開示されたシステムに入力し、システムに撮影画像内でマーカを検索させる。システムは、撮影画像内のマーカを検出すると、撮影画像のマーカの位置にＣＧを配置し、撮影画像にＣＧを合成した画像を生成する。ＣＧを撮影画像に配置する際、撮影画像に写っている黒枠の大きさや形でカメラと黒枠との３次元の相対位置を計算し、黒枠の内側に描かれた絵柄と予め登録した絵柄とを比較し、合成するＣＧを決めている。複数種の絵柄と各絵柄に対応するＣＧを予め決め、この技術を用いることで、撮影画像に含まれるマーカの絵柄に対応して、異なるＣＧを複数合成することを可能にしている。

また、特許文献１では、ユーザがカメラ機能の付いた携帯電話機などを用いて、カメラ機能を動作させてマーカを撮影し、撮影した画像をサーバに送ると、サーバがその画像からマーカを検出し、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを実現する手段が提案されている。
Ｂｉｌｌｉｎｇｈｕｒｓｔ ＆ Ｋａｔｏ， "Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ．"， ＩＳＭＡＲ’９９ 特開２００４−３４１６４２号公報

ビルの大型ディスプレイによる宣伝映像の提供をＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術を用いて補強すれば、ユーザに応じて製品等の宣伝情報をより多く提供することが可能となる。例えば、ビルの大型ディスプレイを携帯電話機のカメラで撮影し、そのビルの撮影画像上に商品などの映像をオーバラップした画像をユーザに提示するようなＰＲが可能となる。

Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術を用いて、製品等の情報の提供を補強するサービスを実現するには、ユーザがビルを撮影したときのユーザの位置や角度等を表すカメラパラメータを求める必要がある。カメラパラメータを求める手法として、Ｂｉｌｌｉｎｇｈｕｒｓｔ ＆ Ｋａｔｏが行ったようにマーカに黒枠を用いてシステムにマーカの位置を推定させた後、マーカの位置からカメラパラメータを算出する方法がある。ビルの大型ディスプレイにこの黒枠のマーカを掲示させれば、カメラパラメータを推定することは可能である。しかし、貴重な宣伝媒体であるディスプレイのエリアを宣伝効果が少ないマーカで占有するのは、商用を考えると現実的ではなく、実用化されていない。

本発明は上述したような従来の技術が有する問題点を解決するためになされたものであり、商品などの広告画像の宣伝エリアをより広く利用可能とし、かつ、商品などに関する情報をより多く提供可能にした画像処理方法、画像処理装置、およびコンピュータに実行させるためのプログラムを提供することを目的とする。

上記目的を達成するための本発明の画像処理方法は、
掲示手段に表示される画像である掲示画像と該掲示画像に対応する付加情報を格納し、
前記掲示画像を含む撮影画像を受信すると、該掲示画像が格納されているか検索し、
検索の結果、前記掲示画像が格納されていると、前記撮影画像における掲示画像の位置を前記掲示手段の位置と特定し、
前記掲示手段から前記撮影画像の撮影位置までの距離および該掲示手段から該撮影位置への方向の情報を含むカメラパラメータを算出し、
前記カメラパラメータに基づいて前記付加情報を付加した合成画像を生成するものである。

本発明では、撮影画像に写った掲示画像と同様の画像が格納されていれば、その掲示画像の位置を撮影画像における掲示手段の位置に特定し、掲示手段と撮影位置との関係を示すカメラパラメータを算出している。そのため、掲示画像に対応する付加情報を単に含む合成画像を生成するのではなく、カメラパラメータに基づいて付加情報を付加した合成画像を生成することが可能となる。また、従来のマーカを用いることなく、撮影画像における掲示手段の位置を特定することが可能である。

本発明では、掲示手段が商品の宣伝目的のための広告掲示手段であれば、掲示画像に対応して商品についての情報を付加情報として合成画像に含めることができる。掲示手段が街角のビルに設けられた大型ディスプレイであり、本発明のユーザが携帯端末でディスプレイの掲示画像を撮影し、付加情報を含む合成画像を取得すれば、ユーザは商品についてより詳しい情報を取得することができる。また、従来の黒枠を有するマーカを用いなくても、撮影画像における掲示手段の位置を特定できるため、従来のマーカをディスプレイに表示させる必要がなく、貴重な宣伝媒体であるディスプレイのエリアを宣伝効果のために広く利用することができる。

本発明の画像処理装置は、掲示画像を含む撮影画像から掲示手段の位置を特定し、掲示手段と撮影位置との関係を示すカメラパラメータを算出し、カメラパラメータに基づいて合成画像を生成することを特徴とする。

本実施形態の画像処理装置の構成を説明する。図１は本実施形態の画像処理装置を含む画像処理システムの一構成例を示すブロック図である。なお、ディスプレイなどの広告掲示手段によって表示される動画および静止画を広告画像と称する。

図１に示すように、画像処理装置１０はインターネットなどのネットワークを介して携帯端末５０と通信可能に接続される。本実施形態の画像処理装置１０はサーバである。画像処理装置１０は、各種画像を格納するための記憶部２１と、外部とデータを送受信する通信部２２と、画像処理を行う制御部２３とを有する構成である。

広告画像を表示する広告掲示手段は、ビルの壁面に設けられたディスプレイ、パーソナルコンピュータ用モニタおよびテレビなどの表示装置の他に、標識、ポスターおよび看板などの掲示物を含む。本実施形態では、広告掲示手段がビルの壁面に設けられたディスプレイ（不図示）の場合とする。

図１に示した携帯端末５０の構成について説明する。図２は携帯端末の一構成例を示すブロック図である。携帯端末５０は、カメラ、電子メールおよび携帯電話の機能を備えた情報端末である。なお、携帯電話および電子メールとしての機能は従来と同様であるため、その詳細な説明を省略する。

図２に示すように、携帯端末５０は、広告画像を含む撮影対象を画像として取り込むための撮像素子５４と、撮影画像を格納するための端末記憶部５３と、ネットワーク１００を介してデータを送受信する端末通信部５２と、ユーザが指示を入力するための操作部５５と、画像を表示するための表示部５６と、各部と信号線を介して接続された端末制御部５３とを有する。

撮像素子５４はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳイメージセンサである。本実施形態では撮像素子５４にＣＣＤを用いるものとする。携帯端末５０には図に示さないレンズが設けられており、レンズおよび撮像素子５４を含む構成がカメラとなる。レンズを撮影対象物に向けると、撮影対象物からの光がレンズを介して入力され、撮像素子５４に撮影対象物が結像する。

端末記憶部５１には、携帯端末５０の電子メールアドレスと、画像処理装置１０の電子メールアドレスが予め登録されている。これらの電子メールアドレスは、アドレスとしての役目の他に、装置毎に異なる識別子としての役目も果たす。

端末制御部５３は、プログラムにしたがって所定の処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）と、プログラムを格納するためのメモリ（不図示）とを有する。ユーザが操作部５５を操作してカメラを起動させる旨の指示を入力すると、端末制御部５３は撮像素子５４を起動させる。続いて、ユーザが携帯端末５０のレンズを撮影対象物に向け、操作部５５を操作して撮影の指示を入力すると、端末制御部５３は撮像素子５４に結像した画像を端末記憶部５１に格納する。その後、ユーザが操作部５５を操作して撮影画像を画像処理装置１０に送る旨の指示を入力すると、端末制御部５３は、電子メールに撮影画像のデータを添付し、端末通信部５２およびネットワーク１００を介してその電子メールを画像処理装置１０宛に送信する。

ここで、携帯端末５０で撮影された広告画像について説明する。撮影画像に写っている広告画像は、画像処理装置１０で広告画像を認識しやすくするために、次のような画像であることが望ましい。

図３は広告画像の構成を説明するための図である。図３に示すように、撮影画像内の広告画像には、縁から内側に所定の幅以上の外枠である検出枠２００が写っている必要がある。この検出枠２００の幅は画素数でいうと２ピクセル以上必要である。また、検出枠２００は検出枠２００の外側とは異なる種類の１以上の色彩を有している必要がある。さらに、検出枠２００の輝度は、撮影画像上で、にじまない値に設定されている必要がある。

次に、撮影画像内の広告画像が上述の条件を満たすため、ビルの壁面のディスプレイに表示される広告画像に、最低限必要な条件を説明する。その条件とは次の４つである。

（１）撮影画像の検出枠２００の幅が２ピクセル以上になるように、ビルのディスプレイに表示される検出枠２００の幅を設定する必要がある。撮影距離、画角、フォーカルレングスおよび撮影解像度のパラメータが決まれば、撮影される検出枠２００の幅が２ピクセル以上になるように、広告画像で表示する検出枠２００の幅をどのくらいにすればよいかを決めることが可能である。これらのパラメータのうち画角およびフォーカルレングスは、携帯端末５０の仕様によって予め決まる。ユーザが広告画像を撮影する際、撮影位置が任意であることを考慮すると、実際の運用上ではユーザに対して、撮影解像度を指定し、ビルが撮影画面にどのくらいの大きさに写るようにすればよいかを指示する。撮影画面でのビルの大きさを指示することで、残りのパラメータ“撮影距離”が決まる。ユーザに、例えば、カメラ機能の撮影解像度が２００万画素以上の携帯端末で、ビルが撮影画面の５分の３以上になるように撮影してもらう。なお、マージンを見込んで、撮影される検出枠２００の幅が、例えば、５〜１０ピクセルになるように、ビルのディスプレイ側で設定することが望ましい。

（２）検出枠２００の色彩はその外側のビルの壁面と異なる色彩である。広告画像の検出枠２００の外側の所定の幅の部位に使用してよい色彩を色彩ＣＤｉ（ｉは１以上ｎ以下の任意の整数、ｎは１以上の整数）とし、検出枠２００に使用してよい色彩を色彩ＣＦｊ（ｊは１以上ｍ以下の任意の整数、ｍは１以上の整数）とすると、色彩ＣＤｉと色彩ＣＦｊは異なっている。さらに具体的に述べると、ＣＩＥ表色系において、色彩ＣＤｉと色彩ＣＦｊとの色彩および輝度の差の情報であるユークリッド距離は、ビルの撮影画像を２値化画像に変換したとき、色彩ＣＤｉと色彩ＣＦｊとで２値化画像の値が異なるものである。撮影画像を２値化したときに、検出枠２００とその外側とが異なる値になるようにすることで、画像処理装置１０において検出枠２００の四角形状を検出可能となる。なお、検出枠２００以外の色彩を設定する部位として、検出枠２００の外側の所定の幅としたのは、ビルに設けられた他のネオンサインおよび窓などの色彩の情報を含まないようにするためである。

（３）検出枠２００の輝度は、カメラで撮影したときに、カメラのＣＣＤの飽和による「にじみ」が生じない輝度である。「にじみ」が生じてしまうと、その物の元の色ではなくなってしまう。また、「にじみ」は隣接する画素にも影響を及ぼしてしまうこともある。そのため、条件（１）で検出枠２００の幅を確保しても検出枠２００が検出されなくなるおそれがある。特に、夜間に撮影する場合、広告画像の周囲が暗いためシャッター速度が遅くなり、広告画像が結像する画素部分は飽和し易くなる。そのため、ビルのディスプレイで表示する検出枠２００の輝度を撮影画像に「にじみ」が生じないレベルまで下げておく必要がある。「にじみ」を生じさせないための電荷量の最大値はＣＣＤの特性から予め知られており、その最大値と夜間におけるシャッター速度から広告画像の検出枠２００の輝度をどの程度にすべきかを設定することが可能である。

（４）広告画像は点対称の画像ではない。広告画像内の絵や文字を含む広告が点対称であると、広告を１８０度回転させても同じになり、撮影画像の上下関係がわからなくなってしまう。この条件は、画像合成する際に付加する画像を逆さまにして撮影画像に重ねてしまうことを防ぐためのものである。

次に、画像処理装置１０の構成について説明する。図４は画像処理装置の一構成例を示すブロック図である。図４では制御部２３が実行する処理を手段として模式的に示している。

記憶部２１には、広告画像が格納された広告画像記憶領域２１１および３次元ＣＧ画像が格納されたＣＧ画像記憶領域２１２が設けられている。３次元ＣＧ画像は撮影画像上に配置される画像である。ここでは、３次元ＣＧ画像がユーザに対して新たに提供される情報である付加情報となる。

図１に示したように制御部２１は、プログラムにしたがって所定の処理を実行するＣＰＵ２３１と、プログラムを格納するためのプログラムメモリ２３２とを有する構成である。そして、図４に示すように、制御部２３は画像解析手段２３５および画像合成手段２３６を有し、これらの手段はＣＰＵ２３１がプログラムを実行することで画像処理装置１０内に仮想的に構成される。

画像解析手段２３５は、広告画像が写っている撮影画像から広告画像を検索し、検索結果より撮影画像における広告掲示手段の位置を特定し、広告掲示手段から撮影位置までの距離、および広告掲示手段から撮影位置への方向の情報を含むカメラパラメータを計算する。そして、カメラパラメータと撮影画像を画像合成手段２３６に渡す。以下に、撮影画像から広告画像を検索し、カメラパラメータを算出するまでの動作を説明する。

画像解析手段２３５は、撮影画像の全てのピクセルについて、上述の色彩ＣＤ１〜ＣＤｎおよび色彩ＣＦ１〜ＣＦｍと色彩および輝度のユークリッド距離を求める。そして、各ピクセルについて、その最小値が色彩ＣＤ１〜ＣＤｎのうちのいずれかとの距離であればそのピクセルの値を「０」とし、最小値が色彩ＣＦ１〜ＣＦｍのうちいずれかとの距離であればそのピクセルの値を「１」とした２値化画像を生成する。以下では、２値化画像の値「１」の場合を白色とし、値「０」の場合を黒色とするが、他の色であってもよい。

続いて、２値化画像から白色の四角形を検出する。検出した四角形の数をｋ個（ｋは１以上の整数）とすると、撮影画像と見比べ、２値化画像で検出した四角形に対応する位置にある画像を撮影画像から切り出す。撮影画像から切り出す画像を部分画像と称する。ｋ個の部分画像ＰＰ１〜ＰＰｋを取得すると、部分画像ＰＰ１〜ＰＰｋと広告画像記憶領域２１１に登録された広告画像とを比較する。そして、部分画像ＰＰ１〜ＰＰｋのうち、広告画像に最も類似した部分画像の位置を撮影画像上の広告掲示手段の位置と特定する。部分画像と広告画像との類似度の判定は、例えば、ニューラルネットワークなどのパターン認識技術でそれぞれの画像を認識した後、類似点の数をカウントし、そのカウント数が予め決められた数値より大きいか否かで類似度を判定する。広告掲示手段の位置を特定すると、その位置の情報に基づいて、上記カメラパラメータを求める。

画像合成手段２３６は、画像解析手段２３５からカメラパラメータおよび撮影画像を受け取ると、付加情報を記憶部２１から読み出し、カメラパラメータに基づいて付加情報を撮影画像に付加した合成画像を生成する。付加情報が３次元ＣＧ画像であれば、画像合成手段２３６は、３次元ＣＧ画像を撮影画像に重ねる際、カメラパラメータを用いて３次元ＣＧ画像を撮影画像に透視投影した合成画像を生成する。

次に、本実施形態の画像処理システムの動作手順を簡単に説明する。図５は本実施形態の画像処理システムの動作手順を説明するための図である。

広告主は、上述した条件を満たす広告画像を作成し、ビルの壁面に設けられた大型ディスプレイに広告画像を表示させる。ユーザは携帯端末５０でビルを撮影し、撮影した画像を電子メールで画像処理装置１０に送信する。その際、撮影画像がＨＴＭＬプロトコルによる形式で作成されていてもよい。画像処理装置１０は、携帯端末５０から撮影画像を受信すると、撮影画像に写っている広告画像を検索し、広告画像を検出すると、ディスプレイの撮影画像上の位置および撮影距離などのカメラパラメータを求める。そして、カメラパラメータに基づいて、その撮影画像に商品の３次元ＣＧ画像などの付加情報を付けた合成画像を生成し、ユーザの携帯端末５０に送り返す。ユーザが携帯端末５０の操作部５５を操作して合成画像を表示させる旨の指示を入力すると、携帯端末５０は、画像処理装置１０から受信した合成画像を表示部５６に表示する。ユーザは、画像処理装置１０から送り返された画像を見ることで、商品等のより詳細な情報を知ることが可能となる。

次に、画像処理装置１０の動作手順について詳細に説明する。図６は画像処理装置の動作手順を示すフローチャートである。

画像処理装置１０がネットワーク１００を介して撮影画像を受信すると、制御部２３は撮影画像を記憶部２１に格納する。画像解析手段２３５は、撮影画像の各ピクセルについて、色彩および輝度がビルの外壁の色彩ＣＤ１，ＣＤ２，…，ＣＤｎ、および検出枠２００の色彩ＣＦ１，ＣＦ２，…，ＣＦｍのうちいずれに近いかを調べる。そして、各ピクセルについて、色彩ＣＤ１，ＣＤ２，…，ＣＤｎのいずれかに近ければそのピクセルでの値を「０」とし、色彩ＣＦ１，ＣＦ２，…，ＣＦｍのいずれかに近ければそのピクセルの値を「１」とした２値化画像を生成する（ステップ１０１）。各ピクセルの色彩および輝度がビル外壁と検出枠２００のどちらに近いかの判定は、例えば、各ピクセルの色彩をＣＩＥ表色系に変換し、各ピクセルの色彩および輝度についてＣＤ１，ＣＤ２，…，ＣＤｎ、およびＣＦ１，ＣＦ２，…，ＣＦｍのそれぞれとのユークリッド距離を求め、その距離により判定することが可能である。続いて、画像解析手段２３５は、生成した２値化画像から四角形を検出する（ステップ１０２）。

ここまでの処理を、模式図を用いて説明する。図７は画像処理装置が受信した撮影画像を示す図である。図７に示す撮影画像は夜間にビルを撮影したものであり、ディスプレイに表示された広告画像７０の他に、ネオンサイン７１〜７３も写っている。なお、夜間の撮影画像では窓の形状ははっきりしないが、図７では、説明のために窓７４の形状を明瞭に記載している。

図８（ａ）は図７の撮影画像を２値化した画像であり、図８（ｂ）は図８（ａ）の２値化画像から四角形だけを抽出したものである。図８（ａ）に示すように、広告画像７０の他にネオンサイン７１〜７３も白くなっており、それぞれが白色部８０〜８３のそれぞれに対応する。また、窓７４の一部も白くなっている。窓７４の白色部８４は、周辺のビルのネオンサインの反射などによるものである。

なお、図７に示した広告画像７０では、検出枠内の広告の画像が色彩ＣＦ１，ＣＦ２，…，ＣＦｍのいずれかに近かったため、図８（ａ）の白色部８０の内部も白色になっている。広告の画像が色彩ＣＤ１，ＣＤ２，…，ＣＤｎのいずれかに近ければ、図８（ａ）の白色部８０の内部は黒色になり、検出枠が白色になる。この場合でも、画像解析手段２３５は、検出枠の白とその外側の黒とのコントラストにより四角形を認識し、四角形を検出することが可能である。

図８（ｂ）は図８（ａ）の２値化画像から四角形だけを抽出したものである。図８（ａ）の白色部８０〜８３のそれぞれに四角形８５〜８８のそれぞれが対応している。図８（ｂ）を見ると、窓の白色部８４は四角形でないため、検出されていないことがわかる。

図６においてステップ１０２の後、画像解析手段２３５は、元の撮影画像を参照し、ステップ１０２で検出した四角形と同じ位置に相当する領域の部分画像をそれぞれ抽出する（ステップ１０３）。そして、抽出した部分画像と記憶部２１に登録された広告映像とを比較する（ステップ１０４）。抽出した部分画像のうち広告画像に類似しているものがあると、その部分画像の位置をビルのディスプレイ位置と特定する（ステップ１０５）。

ステップ１０３からステップ１０４までの処理を、模式図を用いて説明する。図９（ａ）は四角形の部位から部分画像を抽出した図を示し、図９（ｂ）は記憶部２１に登録された広告画像を示す。図８（ｂ）で検出された四角形のうち、四角形８５のディスプレイ以外の四角形８６〜８８はネオンサインに相当するため、図９（ａ）に示すように、部分画像９０では広告の画像が明瞭に見えるが、他の部分画像９１〜９３では画像として認識されていない。画像解析手段２３５は、図９（ａ）に示す部分画像９０と図９（ｂ）に示す広告画像とを比較し、類似度を判定する。

図６において、ステップ１０５の後、画像解析手段２３５は、ディスプレイの４つの頂点の位置の情報から、各頂点と撮影位置との距離、および各頂点から撮影位置への方向の情報を含むカメラパラメータを算出する（ステップ１０６）。ステップ１０５の四角形の検出やステップ１０６のカメラパラメータの抽出の処理は、例えば、ＡＲＴｏｏｌＫｉｔを用いて実行させることが可能である。

続いて、画像合成手段２３６は、画像解析手段２３５から撮影画像とカメラパラメータの情報を受け取ると、撮影画像上に付加情報を付加した合成画像を生成する（ステップ１０７）。図１０は合成画像を説明するための図である。画像合成手段２３６は、図７に示した撮影画像に３次元ＣＧ画像を重ねて、図１０に示すような合成画像を生成する。図１０に示す合成画像では、３次元ＣＧ画像がロボットのプラモデルの商品である。画像合成手段２３６は、図１０に示す合成画像を生成する際、カメラパラメータからユーザの視点の位置を算出し、ユーザの視点位置を考慮してロボットの向きを調整し、ロボットがビルの前に立っているように透視投影した画像を生成している。

図６において、ステップ１０７の後、画像処理装置１０は、生成した合成画像を添付した電子メールをネットワーク１００を介してユーザの携帯端末５０に送信する（ステップ１０８）。その際、添付する合成画像をＨＴＭＬプロトコル形式で作成してもよい。

上述のようにして、画像処理装置１０がカメラパラメータに基づいて３次元ＣＧ画像を撮影画像に透視投影した合成画像を生成することで、図１０に示したように、街にロボットが出現したような合成画像が生成される。そのため、ユーザは合成画像を見て商品の情報を得られるだけでなく、合成画像を楽しむこともできる。

なお、画像処理装置１０は合成画像を電子メールに添付せず、合成画像を画像処理装置１０の記憶部２１に登録し、その登録先の情報を携帯端末５０宛の電子メールに添付してもよい。この場合、ユーザは携帯端末５０を操作して、携帯端末５０を画像処理装置１０にアクセスさせ、合成画像を画像情報装置１０の記憶部２１から携帯端末５０に読み出せばよい。

従来の黒枠を有するマーカを大型ディスプレイなどの広告掲示手段に適用しようとすると、広告掲示手段の広告メッセージを埋め込むための領域が小さくなってしまうという問題があった。これに対して、本実施形態では、従来の広告掲示手段の枠に相当する分を位置検出用の枠として利用するとともに、撮影画像における広告画像から広告掲示手段の位置を特定しているため、広告メッセージを埋め込むエリアが小さくなることを防げる。

なお、撮影画像への付加情報の合成方法としては、３次元ＣＧ画像を透視投影する場合に限らず、例えば、商品の画像をビルの角度に合わせて表示させたり、ビルそのものを別の３次元画像に置き換えたり、ビルの外形に合わせて撮影画像をデコレーションしたりしてもよい。

また、広告画像を複数登録してもよい。複数種の広告画像を広告画像記憶領域２１１に登録しておく場合、ＣＧ画像記憶領域２１２に複数の３次元ＣＧ画像を登録し、３次元ＣＧ画像毎に異なる識別子の情報をそれぞれの３次元ＣＧ画像のデータに添付しておく。また、広告画像記憶領域２０１内の各広告画像のデータには、対応する３次元ＣＧ画像の識別子の情報を添付しておく。広告画像に対応して３次元ＣＧ画像を選ぶように予めプログラムに記述しておけば、制御部２３は広告画像の種類によって合成する３次元ＣＧ画像を変えた合成画像を生成することが可能となる。また、広告画像の種類によって合成の仕方を変えるように予めプログラムに記述しておけば、制御部２３は広告画像の種類によって３次元ＣＧ画像の合成の仕方を変えた合成画像を生成することも可能である。これにより、複数の広告を時間帯毎に大型ディスプレイに表示させれば、広告に応じた合成画像をユーザに提供することができる。

また、図６を用いて説明した画像処理方法を実行するためのプログラムを、ユーザの携帯端末５０に予めインストールし、携帯端末５０に上述の画像処理を実行させてもよい。これにより、ユーザは、携帯端末５０をネットワーク１００を介して画像処理装置１０と通信させることなく、リアルタイムに合成画像を得ることができる。

さらに、本発明の画像処理装置の制御部が実行する処理をコンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記録媒体に記録することも可能であり、ネットワークを介して外部に提供することも可能である。
以下に、本発明の画像処理装置および画像処理方法の実施例を説明する。

本実施例は、付加情報が別の３次元ＣＧ画像の場合であり、合成画像の娯楽性をより高めたものである。

図１１は撮影画像に３次元ＣＧ画像を重ねた場合の他の例を示す図である。図１１に示すように、携帯端末の合成画像３０１は、ビルに設けられた大型ディスプレイ３０２から恐竜が飛び出している様子を示している。そして、大型ディスプレイ３０２には、丸の中に「！？」が記述された検出用画像３０３が表示されている。

本実施例の合成画像３０１を生成する場合の構成を説明する。広告画像記憶領域２１１には検出用画像３０３が格納され、ＣＧ画像記憶領域２１２には恐竜の画像が格納されている。そして、恐竜の画像のデータには自分の識別子の情報が添付され、検出用画像３０３のデータには恐竜の画像の識別子の情報が添付されている。検出用画像３０３のデータから識別子を読み出すことで、恐竜の画像を特定することが可能となる。

次に、本実施例の画像処理システムの動作について説明する。ユーザが携帯端末５０を操作して大型ディスプレイ３０２と共にビルを撮影し、その撮影画像を画像処理装置１０に送信する旨の指示を入力すると、携帯端末５０は撮影画像をネットワーク１００を介して画像処理装置１０に送信する。

画像処理装置１０が携帯端末５０から撮影画像を受信すると、画像解析手段２３５が、撮影画像の２値化画像から大型ディスプレイ３０２に対応する四角形を検出し、大型ディスプレイ３０２内の検出用画像３０２に類似する画像が広告画像記憶領域２１１に格納されているか検索する。検索の結果、広告画像記憶領域２１１内に検出用画像３０３を見つけると、検出用画像３０３が表示された四角形を広告掲示手段と特定し、カメラパラメータを算出する。画像解析手段２３５は、撮影画像における広告掲示手段の位置および大きさを含む掲示情報、撮影画像およびカメラパラメータを画像合成手段２３６に渡す。

画像合成手段２３６は、掲示情報、撮影画像およびカメラパラメータを画像解析手段２３５から受け取ると、検出用画像３０３のデータに添付された識別子を参照してＣＧ画像記憶領域２１２から恐竜の画像を読み出す。続いて、掲示情報で撮影画像内の広告掲示手段の位置と大きさを特定し、カメラパラメータに基づいて広告掲示手段の向きを調べ、広告掲示手段の位置、大きさおよび向きに合わせて恐竜の画像を撮影画像に重ね、広告掲示手段から恐竜が飛び出している様子を示す合成画像３０１を生成する。その後、画像処理装置１０は合成画像３０１をネットワーク１００を介して携帯端末５０に送信する。

携帯端末５０はネットワーク１００を介して画像処理装置１０から合成画像３０１を受信すると、表示部５６に合成画像３０１を表示する。

本実施例では、広告掲示手段の位置や大きさにマッチングさせて３次元ＣＧ画像を撮影画像に透視投影している。ユーザは、商品の情報だけでなく、より娯楽性の高い合成画像を得ることができる。なお、カメラパラメータに掲示情報を含むようにしてもよい。

上述の実施形態および実施例１では、付加情報が３次元ＣＧ画像の場合を説明したが、本実施例は、付加情報が３次元画像以外であって、テキストデータおよび２次元画像の少なくともいずれかを含む情報の場合である。

本実施例では、ユーザに提供すべき情報として複数のテキストデータおよび２次元画像の付加情報が予め記憶部２１に格納されている。画像合成手段２３６は、カメラパラメータに応じて付加情報の内容および表示位置を変えて、撮影画像上に付加情報を合成した合成画像を生成する。

図１２は付加情報がテキストデータの場合の一例を示す図である。図１２では、「７／１〜７／１４ Ｂａｒｇａｉｎ」のテキストデータをビルの上部に重ねて表示している。このテキストデータが付加情報となる。本実施例では、店で行うバーゲンの情報をユーザに提供することが可能となる。この場合、広告画像とバーゲンのテキストデータとが対応づけられて記憶部２１に予め格納されている。

本実施例は、付加情報がユーザの現在位置や現在地から特定の目的地までの径路を示す情報の場合である。

本実施例では、記憶部２１に地図画像の情報が予め登録されている。画像解析手段２３５がカメラパラメータから撮影位置を求めることでユーザの位置を特定し、画像合成手段２３６が地図画像上に撮影位置をプロットした合成画像を生成する。画像解析手段２３５が撮影画像に写ったディスプレイの４頂点のそれぞれから撮影位置への方向の情報を含むカメラパラメータを求めることで、ユーザがビルに対してどの位置にいるかをより正確に求めることが可能となる。

また、画像合成手段２３６は、撮影位置をプロットするだけでなく、撮影位置から特定の目的地までの径路を地図画像上にプロットした合成画像を生成してもよい。特定の目的地とは、例えば、ユーザに紹介したいお店である。また、ユーザが目的地を設定するようにしてもよい。ユーザが携帯端末５０を操作して目的地を入力すると、携帯端末５０が撮影画像の情報とともに目的地の情報を画像処理装置１０に送信する。

図１３（ａ）はユーザの位置を示す地図画像の一例を示す図であり、図１３（ｂ）はユーザの位置から目的地までの径路を示す地図画像の一例を示す図である。図のハッチング部分は地下歩道または歩道橋である。図１３（ａ）および図１３（ｂ）の「楕円＋×」印の位置がユーザの現在位置９５を示している。図１３（ｂ）には、現在位置９５から目的地までの径路９６が地図画像に記述されている。

ユーザは、図１３（ａ）に示した地図画像を入手することで、自分がどこにいるかを知ることができる。図１３（ｂ）に示した地図画像を入手することで、現在地から目的地までどのようにして行けばよいかがわかる。

なお、上述の３つの実施例を含む本実施形態では、広告掲示手段で広告画像を掲示する場合について説明したが、掲示手段は広告掲示手段に限られず、また、掲示手段に表示される掲示画像は広告画像に限られない。掲示画像は、ニュースや天気予報の情報を含むものであったり、行政機関から歩行者や運転者に注意を喚起する情報を含むものであったりしてもよい。

本発明の画像処理方法および画像処理装置は、撮影画像に写った掲示画像と同様の画像が格納されていれば、その掲示画像の位置を撮影画像における掲示手段の位置に特定し、掲示手段と撮影位置との関係を示すカメラパラメータを算出している。そのため、掲示画像に対応する付加情報を単に含む合成画像を生成するのではなく、カメラパラメータに基づいて付加情報を付加した合成画像を生成することが可能となる。例えば、付加情報が３次元ＣＧ画像であれば、３次元ＣＧ画像を撮影画像に写った建築物とマッチングさせて合成画像を生成できる。

掲示手段が商品の宣伝目的のための広告掲示手段であれば、掲示画像に対応して商品についての情報を付加情報として合成画像に含めることができる。掲示手段が街角のビルに設けられた大型ディスプレイであり、本発明のユーザが携帯端末でディスプレイの掲示画像を撮影し、付加情報を含む合成画像を取得すれば、ユーザは商品についてより詳しい情報を取得することができる。このようにして、ディスプレイによる商品の宣伝をＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術を用いて補強することができる。

また、従来の黒枠を有するマーカを用いなくても、撮影画像における掲示手段の位置を特定できるため、掲示手段がビルに設けられたディスプレイの場合、従来のマーカをディスプレイに表示させる必要がなく、貴重な宣伝媒体であるディスプレイのエリアを宣伝効果のために広く利用することができる。

本発明の画像処理方法を応用して、次のようなビジネスモデルを展開することが可能である。

ビルに設けられた大型ディスプレイのオーナは、上述の画像処理装置の機能を有するサーバを運用することで、広告依頼主に上記付加価値の高いサービスを提供することで、より高い広告収入を得ることができる。

また、アプリケーションサービスプロバイダが上述の画像処理システムを運用し、広告依頼主から依頼を受けると、サーバにデータをセットするとともに、大型ディスプレイのオーナにそのデータに関連する映像の提示を依頼してサービスを行うことで、広告依頼主から依頼料を得ることもできる。

また、ユーザの携帯端末で受信する合成画像にキャラクタを表示させたり地図情報を表示させたり、ユーザに対して付加価値の高いサービスを提供すれば、システム運用者は、ユーザから直接利用料を得ることもできる。さらに、これらのサービスは、ビルの広告ディスプレイに限らず、看板やポスターなどの画像に適用することも可能である。

次に、サーバが認識可能な掲示画像を表示するための掲示手段として、街頭などの大型ディスプレイを利用する場合の利点を説明する。

商品等の宣伝方法として、広告用紙を添付したポケットティッシュを路上で通行人に配布する方法がよく用いられている。この広告用紙に掲示画像となるマーカを印刷することも考えられるが、このポケットティッシュ配りでは、広告用紙とポケットティッシュが一緒になった配布物を準備し、配布要員を確保する必要がある。これに対し、大型ディスプレイを利用する方法では、掲示画像を含む映像を画面に流すだけで、検出用画像を不特定多数の人に見てもらうことができ、上述したサービスに多くの人をより誘導しやすい。

マーカを安価に配布する方法として、マーカを印刷した紙を通行人に手渡したり、駅の改札近くの棚などに置いて駅の利用者に自由に持っていってもらったりする方法もある。この場合、マーカを紙に印刷することになるが、紙は折れたり、曲がったりしやすいため、紙が折れたり曲がったりした状態でマーカを撮影すると、撮影画像内のマーカも歪んでしまい、サーバはマーカを検出できなくなってしまう。マーカの印刷された紙の折れや曲がりは誤認識の原因になりやすい。また、マーカの印刷された紙を手に持って撮影する際、マーカの枠に指がかぶさっていると、その撮影画像に対してサーバはマーカの認識に失敗することが多い。これに対し、大型ディスプレイを利用する方法では、平面状態が確実に保証された大型ディスプレイに掲示画像を表示するので、そのような問題を回避できる。

また、ポケットティッシュ配りを含め、マーカを印刷した紙を配布する方法では、通行人は紙を受け取った後、しばらく期間が経ってから上記サービスを利用しようとすることがある。この場合、マーカの有効期限が紙に明記されていても、サービス期間外に携帯端末がサーバにアクセスしてくることになる。これに対し、サービス期間に限定して、大型ディスプレイに検出用画像を表示することで、サービスの開始と終了を徹底することができる。

紙のポスター（駅貼りなど）にマーカを掲示する方法では、悪意のある人がマーカを破ったり、マーカに落書きしたりして、サーバのマーカに対する正確な認識が妨害される可能性がある。ポスターのマーカが傷つけられてしまうと、上記サービスを普通に利用するために、サーバに携帯端末をアクセスさせようとしたお客様に、サービスを提供できなくなってしまう。マーカが傷つけられていないか確認するためにポスターを巡回することも考えられるが、ポスターが多数の場所に掲示されていると、全てのポスターを確認することは時間のかかる作業となる。このような問題に対し、大型ディスプレイを利用することで、これらの妨害による危険性を回避できる。

本実施形態の画像処理装置を含む画像処理システムの一構成例を示すブロック図である。 図１に示した携帯端末の一構成例を示すブロック図である。 本実施形態における広告画像の構成を説明するための図である。 本実施形態の画像処理装置の一構成例を示すブロック図である。 本実施形態の画像処理システムの動作手順を説明するための図である。 本実施形態の画像処理装置の動作手順を示すフローチャートである。 撮影画像の一例を示す図である。 ２値化画像、およびその２値化画像から四角形を抽出した画像の一例を示す図である。 広告画像の位置の検出方法を説明するための図である。 撮影画像に３次元ＣＧ画像を合成した場合の一例を示す図である。 撮影画像に３次元ＣＧ画像を合成した場合の他の例を示す図である。 付加情報がテキストデータの場合の一例を示す図である。 付加情報がユーザの位置や目的地までの径路が記述された地図画像の場合の例を示す図である。

符号の説明

１０ 画像処理装置
２１ 記憶部
２２ 通信部
２３ 制御部
５０ 携帯端末
２００ 検出枠

Claims (9)

1. 掲示手段に表示される画像である掲示画像と該掲示画像に対応する付加情報を格納し、
   前記掲示画像を含む撮影画像を受信すると、該掲示画像が格納されているか検索し、
   検索の結果、前記掲示画像が格納されていると、前記撮影画像における掲示画像の位置を前記掲示手段の位置と特定し、
   前記掲示手段から前記撮影画像の撮影位置までの距離および該掲示手段から該撮影位置への方向の情報を含むカメラパラメータを算出し、
   前記カメラパラメータに基づいて前記付加情報を付加した合成画像を生成する、画像処理方法。
2. 前記掲示画像は、
   前記掲示画像上の縁から内側に所定の幅の枠である検出枠を含み、該検出枠は前記撮影画像において少なくとも２ピクセル以上の幅を有し、かつ、前記検出枠は前記掲示手段の外側所定の幅の部位と比べて１以上の異なる色彩を持ち、また、前記検出枠の輝度は前記撮影画像でにじみを発生しない値であり、さらに、前記検出枠より内側の画像は点対称でないという条件を満たすものである請求項１記載の画像処理方法。
3. 前記掲示画像は四角形であり、その縁から内側に所定の幅の枠である検出枠を有し、
   前記掲示手段の外側所定の幅にはｎ個（ｎは１以上の整数）の色彩ＣＤ１からＣＤｎを有し、前記検出枠にはｍ個（ｍは１以上の整数）の色彩ＣＦ１からＣＦｍを有し、前記色彩ＣＤ１からＣＤｎおよび前記色彩ＣＦ１からＣＦｍを値「０」または値「１」に２値化すると、前記色彩ＣＤ１からＣＤｎは値「０」になり、前記色彩ＣＦ１からＣＦｍは値「１」になるものとし、
   前記掲示手段の位置を特定する際、前記撮影画像の全てのピクセルについて前記色彩ＣＤ１からＣＤｎおよび前記色彩ＣＦ１からＣＦｍのそれぞれとの色彩および輝度のユークリッド距離を算出し、
   算出した距離のうち最小値が前記色彩ＣＤ１からＣＤｎのうちいずれかとの距離であればそのピクセルの値を「０」とし、該最小値が前記色彩ＣＦ１からＣＦｍのうちいずれかとの距離であればそのピクセルの値を「１」とする２値化画像を生成し、
   異なる値のコントラストにより前記２値化画像からｋ個（ｋは１以上の整数）の四角形を検出し、
   検出した四角形の前記撮影画像に対応する部分を切り出した画像である部分画像を該撮影画像からｋ個取得し、
   前記ｋ個の部分画像と格納された前記掲示画像とを比較し、該掲示画像に最も類似する部分画像の位置を前記撮影画像における前記掲示手段の位置と特定する、請求項１または２記載の画像処理方法。
4. 前記合成画像を生成する際、前記カメラパラメータに基づいて前記付加情報を前記撮影画像に付加する、請求項１から３のいずれか１項記載の画像処理方法。
5. 掲示手段に表示される画像である掲示画像と該掲示画像に対応する付加情報が格納された記憶部と、
   前記掲示画像を含む撮影画像を受信すると、該掲示画像が格納されているか前記記憶部を検索し、検索の結果、該掲示画像が該記憶部に格納されていると、前記撮影画像における掲示画像の位置を前記掲示手段の位置と特定し、該掲示手段から該撮影画像の撮影位置までの距離および該掲示手段から該撮影位置への方向の情報を含むカメラパラメータを算出し、該カメラパラメータに基づいて前記付加情報を付加した合成画像を生成する制御部と、
   を有する画像処理装置。
6. 前記掲示画像は、
   前記掲示画像上の縁から内側に所定の幅の枠である検出枠を含み、該検出枠は前記撮影画像において少なくとも２ピクセル以上の幅を有し、かつ、前記検出枠は前記掲示手段の外側所定の幅の部位と比べて１以上の異なる色彩を持ち、また、前記検出枠の輝度は前記撮影画像でにじみを発生しない値であり、さらに、前記検出枠より内側の画像は点対称でないという条件を満たすものである請求項５記載の画像処理装置。
7. 前記掲示画像は四角形であり、その縁から内側に所定の幅の枠である検出枠を有し、
   前記掲示手段の外側所定の幅にはｎ個（ｎは１以上の整数）の色彩ＣＤ１からＣＤｎを有し、前記検出枠にはｍ個（ｍは１以上の整数）の色彩ＣＦ１からＣＦｍを有し、前記色彩ＣＤ１からＣＤｎおよび前記色彩ＣＦ１からＣＦｍを値「０」または値「１」に２値化すると、前記色彩ＣＤ１からＣＤｎは値「０」になり、前記色彩ＣＦ１からＣＦｍは値「１」になるものとし、
   前記制御部は、
   前記掲示手段の位置を特定する際、前記撮影画像の全てのピクセルについて前記色彩ＣＤ１からＣＤｎおよび前記色彩ＣＦ１からＣＦｍのそれぞれとの色彩および輝度のユークリッド距離を算出し、算出した距離のうち最小値が前記色彩ＣＤ１からＣＤｎのうちいずれかとの距離であればそのピクセルの値を「０」とし、該最小値が前記色彩ＣＦ１からＣＦｍのうちいずれかとの距離であればそのピクセルの値を「１」とする２値化画像を生成し、異なる値のコントラストにより前記２値化画像からｋ個（ｋは１以上の整数）の四角形を検出し、検出した四角形の前記撮影画像に対応する部分を切り出した画像である部分画像を該撮影画像からｋ個取得し、該ｋ個の部分画像と前記記憶部に格納された前記掲示画像とを比較し、該掲示画像に最も類似する部分画像の位置を前記撮影画像における前記掲示手段の位置と特定する、請求項５または６記載の画像処理装置。
8. 前記制御部は、
   前記カメラパラメータに基づいて前記付加情報を前記撮影画像に付加した前記合成画像を生成する、請求項５から７のいずれか１項記載の画像処理装置。
9. 請求項５から８のいずれか１項記載の画像処理装置における制御部の処理をコンピュータに実行させるためのプログラム。

Images