JP2016091193A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】対象「外」のオブジェクトが存在しても、特定精度が落ちることなく、対象となるオブジェクトを特定することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】対象物体を含む範囲の撮影画像から対象物体の特徴を検出して対象物体を特定する手段を有する画像処理方法であって、前記撮影とは異なる条件で対象物体を含む範囲の状態を取得する手段と、前記状態から特徴の検出に影響する領域を特定する手段と、前記領域に情報を重畳投影する手段と、を有する。対象物体を特定する手段は、対象物体を含む範囲に重畳投影がされた状態の撮影画像から特徴を検出する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、紙など物理媒体上の文書情報と、コンピュータが記憶するデジタルの文書情報とを連携して利用可能なシステムが提案されている。
たとえば特許文献１には、プロジェクタによる投影を用いて、机上に置かれた紙面の内容を装飾したり、補足情報を追加したりする技術が開示されている。同文献によれば、投影面である机上を撮影し、その撮影画像から紙面の置かれた位置や紙面に書かれた内容を認識しているので、ユーザーが紙面を移動した場合でも、追従して紙面上の同じ適切な位置に投影をおこなうことが可能であった。

特開平９−３１９５５６号公報

撮影画像から紙面の置かれた位置や内容を認識するためには、たとえば紙面の四辺を構成する直線らしい特徴を画像から検出し、対象となる紙面の範囲を特定する必要がある。しかし、実際に特許文献１にあるようなシステムを運用する場合、机上には対象となる紙面以外にも、ペンやノートなど対象外のオブジェクトが置かれていることがある。そのようなオブジェクトにより、撮影画像上に対象に類似した特徴が発生した結果、対象の特定処理が不可能になったり、特定精度が落ちたりするという課題があった。
本発明は上記課題に鑑みなされたものであり、対象「外」のオブジェクトが存在しても、特定精度が落ちることなく、対象となるオブジェクトを特定することができる技術を提供することを目的とする。

かかる課題を解決するため、本発明の画像処理装置は、
対象物体の特徴を検出して対象物体を特定するために前記対象物体および非対象物体を含む範囲を撮影する際の条件とは異なる条件で前記対象物体および前記非対象物体を含む範囲の状態を取得する状態取得手段と、
前記状態取得手段によって取得された前記状態から前記対象物体の前記特徴の検出に影響する前記非対象物体が存在する領域を特定する領域特定手段と、
前記対象物体および前記非対象物体を含む範囲を撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像の中の前記領域特定手段によって特定された前記非対象物体が存在する前記領域を除いた領域から前記対象物体の前記特徴を検出して前記対象物体を特定する対象特定手段と、
を有することを特徴とする。

本発明によれば、対象となる物体（対象物体）と対象外の物体とが混在する空間を撮影して得た撮影画像の「対象外の物体が存在する領域」以外の領域から対象物体を特定するための特徴を抽出する。その結果、対象外のオブジェクトからの誤った特徴抽出が防止されるので、対象の特定を高精度におこなえるようになる。

第１の実施例における画像処理システム構成例を示す図である。 第１の実施例を実施する装置と実施状況の外観例を示す図である。 第１の実施例の動作を説明するフローチャートである。 図３のステップＳ３０１〜Ｓ３０４の処理内容例を示す図である。 図３のステップＳ３０５〜Ｓ３０８の処理内容例を示す図である。 第２の実施例における装置２７０の動作を説明するフローチャートである。 第２の実施例における装置２８０の動作を説明するフローチャートである。

［第１の実施例］
以下、本発明を実施する好適な形態について図面を用いて説明する。
図１は、第１の実施例における画像処理システム１００の構成例を示すブロック図である。ここに示す構成はハードウェアとソフトウェアの組み合わせによって実現できるものであって、一つの機能ブロックが一つのハードウェアに対応するものではない。

投影部１０１は、デジタル画像を机やスクリーン等の投影面へと投影する。
状態検知部１０２は、投影面に配置された紙などの対象オブジェクト（対象物体）や対象外のオブジェクト（非対象物体）の存在を検知し、それらの状態取得を行う。状態検知部１０２はたとえばステレオカメラを備え、得られる距離画像の解析により投影面上に配置されたオブジェクトの存在を検知する装置である。あるいは動画撮影カメラを備え、得られる複数フレーム画像の差分解析によって対象を検知する装置であってもよい。もしくはその他の赤外線や重量等による物体検知センサであってもよい。

撮影部１０３は、配置された紙などの対象オブジェクトを少なくとも含むように投影面を撮影し、デジタル画像へと変換する、例えばデジタルカメラである。
対象特定部１０４は、撮影部１０３が撮影した画像に存在する対象部分（対象物体）を特定する。
制御部１０５は、状態検知部１０２から得た状態の情報に基づいて、投影部１０１へ投影画像の画像データを提供したり、撮影部１０３から得た画像内で対象特定部１０４が特定した部分に基づいて対象の範囲や内容を認識する処理をおこなったりする。制御部１０５は、状態検知部１０２によって検知され、取得された状態から対象物体の特徴の検出に影響する非対象物体が存在する領域を特定する領域特定処理をおこなったりもする。
制御部１０５は、たとえばＣＰＵやＧＰＵ等が読み取り可能なプログラムを実行することによって実現される。

記憶部１０６は、制御部１０５の動作プログラムや、動作のためのデータ、投影内容のデータ等を記憶するメモリ、ＨＤＤ等である。
ＵＩ部１０７は、ユーザーが画像処理システム１００への指示をおこなうために使用される。ＵＩ部１０７は、たとえば装置に備えられたディスプレイやボタン等である。ＵＩ部１０７はまた、投影部１０１を使って投影でＵＩを表示したり、状態検知部１０２を使って投影面上でのユーザーのジェスチャーを認識して指示を解釈したりする仕組みを備えていてもよい。
通信部１０８は、画像処理システム１００と非図示のファイルサーバー、アプリケーションサーバー等と通信をおこなう。

図２（ａ）は、図１の画像処理システム１００の一形態の外観、およびその使用の一例を示す図である。
図２中の装置２００は、図１中の投影部１０１に対応するプロジェクタ２０１、状態検知部１０２に対応する距離センサ２０２、撮影部１０３に相当するデジタルカメラ２０３を有する。

装置２００は、机等の投影面２１０上に画像を投影するように配置される。距離センサ２０２は、投影面２１０の状態を距離画像として取得し、その内容から紙など対象オブジェクト２２０や非対象オブジェト２３０の存在を検知して、検知情報を制御部１０５に提供する。なお、前述のとおり状態検知部１０２に対応する距離センサ２０２は動画カメラや他のセンサなどであってもよい。

デジタルカメラ２０３は、対象オブジェクト２２０を少なくとも含む投影面を撮影する。撮影画像に対し、対象特定部１０４が対象部分を特定する。その特定情報を用いて制御部１０５は対象の位置や大きさ、さらには内容などを認識する画像処理をおこなう。
デジタルカメラ２０３はまた、撮影時に対象が正対しない場合に生じる、撮影画像内での対象の形状ひずみを無くすため、直上から撮影したように画像を補正する仕組みを備えていてもよい。この仕組みには、たとえば公知の台形歪み補正技術を利用することができる。

図２（ａ）の例において、画像処理システム１００を構成する各部はすべて装置２００内に一体化されているものとする。ただしこれはあくまで一例であって、複数の装置によって画像処理システム１００が構成されるようにしてもよい。たとえば、装置２００は非図示のパーソナルコンピュータに接続され、１０５〜１０８は前記パーソナルコンピュータ内に存在していてもよい。あるいは記憶部１０６のうち、投影内容のデータを記憶する部分のみがイントラネットやインターネットで接続されたサーバーにあって、装置２００はそのデータを、通信部１０８を介した有線や無線通信で取得してもよい。また同様に制御部１０５の一部として機能するプログラムの一部あるいは全部はサーバー上で動作してもよい。

図３のフローチャートに図１の画像処理システム１００の動作例を示す。
＜投影面の状態を取得＞
ステップＳ３０１では、状態検知部１０２が投影面における少なくとも対象を含む範囲の状態を取得する。たとえば図２（ａ）の場合、距離センサ２０２が角度の異なる２つのカメラからの撮影画像を比較し視差を計算することで、距離画像を取得する。

＜対象特定処理の影響領域を検出＞
ステップＳ３０２では、状態検知部１０２がステップＳ３０１で取得した状態の情報から、制御部１０５が撮影部１０３と対象特定部１０４を用いて後でおこなう対象特定処理の影響領域を検出する。これはたとえば図２（ａ）のように、非対象オブジェクト２３０のような立体物が投影面上に存在する場合、前記距離画像における投影面の平面と異なる距離の領域として検出することができる。図２（ａ）のように距離センサが投影面と正対していない場合、投影面相当の平面に対して距離一定となるよう距離画像を変換したうえで前記検出をおこなえばよい。

またここで、距離画像から検出される立体物の範囲すべてを影響領域としても、その一部を影響領域としてもよい。たとえば、対象特定部１０４が撮影画像から四角の紙面を対象として特定する処理である場合、画像上で直線状をなすエッジ特徴が紙面範囲の特定に用いられる。その場合、同様のエッジ特徴を持つ立体物と投影面の直線境界の近傍範囲のみを影響領域としてもよい。あるいは、対象特定部１０４が円形のオブジェクトを対象として特定する処理である場合、同様に円形の特徴を有する立体物の全体、もしくは一部の範囲のみを影響領域としてもよい。また、距離画像から検出物の厚みを算出し、紙のように薄い検出物の範囲は対象特定部１０４の対象とみなし、それ以外の厚みのある検出物が対象外とし、それらの存在範囲を影響領域としてもよい。

＜影響領域に対するマスク画像を作成＞
ステップＳ３０３では、ステップＳ３０２で特定した影響領域に対し、投影部１０１が投影面２１０上の同領域をマスク投影するためのマスク画像（投影画像）を、制御部１０５が作成する。このマスク画像は、ステップＳ３０２で検出した非対象オブジェクトに対し、それらを撮影部１０３が撮影した画像上で検出できるようオブジェクトに重畳投影される投影画像である。具体的には、影響領域の範囲を赤などの特殊な色で強調するよう重畳投影するマスク画像を作成すればよい。あるいは、特殊なマークを中心にした範囲、もしくは複数のマークを頂点とした多角形範囲を影響領域とみなすよう、撮影画像上で特定可能なマークを重畳投影するマスク画像を用いてもよい。
＜マスク画像を投影＞
ステップＳ３０４では、ステップＳ３０３で作成したマスク画像を、投影部１０１が投影面上に投影する。

図４を用いてステップＳ３０１〜Ｓ３０４の処理により生ずる結果の具体例を説明する。
図４（ａ）の投影面４０１上には対象のオブジェクトである紙４０２と、非対象のオブジェクトである立体物４０３および立体物４０４が配置されている。
図４（ｂ）は距離センサ２０２が取得したこれらの距離画像４１０である。この距離画像４１０では投影面上の平面を規準の距離ゼロとし、立体物４０３および立体物４０４に相当する部分が規準距離未満の領域として表されている。
図４（ｃ）はこの距離画像を元に作成されたマスク画像４２０である。マスク画像４２０は、検出された立体物の範囲を一定量広げた範囲を特定色で重畳するようなマスクを生成するよう作られている。すなわちマスク４２３は立体物４０３に対するマスク画像であり、マスク４２４は立体物４０４に対するマスク画像である。
図４（ｄ）はこのマスク画像が投影された投影面の状態を示す。立体物４０３付近には、マスク画像４２０による重畳投影４３３が発生し、立体物４０４付近には、マスク画像４２０による重畳投影４３４が発生している。

＜撮影画像を取得＞
図３に戻り、ステップＳ３０５以降について説明する。ステップＳ３０５では、撮影部１０３が対象を含む投影面の撮影画像を取得する。この撮影は、たとえばＵＩ部１０７によるユーザーの撮影指示に従って実行される。その場合、指示された時点で先ずステップＳ３０１〜Ｓ３０４の処理を実行し、それからステップＳ３０５以降の処理を継続するものとする。あるいはＵＩ指示ではなく、ステップＳ３０１で取得された投影面の状態から、対象の配置を検知した時点でステップＳ３０５以降の処理をおこなうようにしてもよい。

＜撮影画像からマスク領域を検出＞
ステップＳ３０６では、対象特定部１０４が、ステップＳ３０５で取得した撮影画像からマスク領域を検出する。マスク領域とは、前記ステップＳ３０４で投影されたマスク画像により、投影面上に重畳された色やマークによって特定される領域であり、それらは前記影響領域に対応する。検出処理は、たとえばマスク画像が赤などの特殊な色で強調するものである場合、撮影画像でその色成分が高い領域として検出すればよい。あるいは、マスク画像に特殊なマークを用いる場合、撮影画像内のマークを公知の画像パターン照合技術で検出し、同マークを頂点とする多角形範囲の領域として検出すればよい。

＜マスク領域を除く範囲から、対象を特定するための特徴を抽出＞
ステップＳ３０７では、対象特定部１０４が、ステップＳ３０５で取得した撮影画像より、ステップＳ３０６で検出されたマスク領域を除く範囲から、対象を特定するための特徴を抽出する。たとえば、対象が矩形の紙面であり、対象特定部１０４は対象の四辺に相当する画像上のエッジを特徴として特定する場合、同エッジの検出は前記マスク領域以外からおこなわれる。具体的には、撮影画像よりソーベルフィルタ等の公知技術によるエッジ検出画像生成をしたあと、同画像に前記マスク領域内の画素エッジ強度を０にするか弱めるようなフィルタを施せばよい。

＜抽出された特徴から、対象を特定＞
ステップＳ３０８では、対象特定部１０４が、ステップＳ３０６で抽出された特徴から、対象を特定する処理をおこなう。本例では、エッジ特徴から紙の四辺を抽出することで、対象である紙の範囲を特定する。四辺の抽出には、たとえばステップＳ３０７で生成したエッジ画像に対して公知のハフ変換処理をおこない、エッジ画像上の直線を抽出する。そして同直線の中から紙相当の範囲を構成する主要な４直線を選択すればよい。得られた四辺の情報は、たとえば撮影画像から紙の部分のみを切り出し、かつ四辺の歪みを長方形に補正して、ページ画像として保存やメール送信するといった用途に用いることができる。

図５に、ステップＳ３０５〜Ｓ３０８の処理例を示す。図５（ａ）および図５（ｂ）は、図４（ｄ）の投影面を撮影した撮影画像５００である。５０１および５０２は赤などの特殊な色で強調されたマスク画像の例である。５０６および５０７は特殊なマークをマスク画像として用いた例である。図５（ｃ）の５１３および５１４は、撮影画像５００から検出されたマスク領域である。図５（ｄ）は、前記マスク領域を考慮したうえで撮影画像５００に対し公知のエッジ検出フィルタを施したエッジ画像５３０である。
ここで対象特定部１０４の対象外である立体物に起因するエッジは、マスク領域５１３および５１４によりマスクされた結果、エッジ画像５３０には対象のオブジェクトの四辺に相当するエッジ５３１のみが存在する。その結果、エッジ画像５３０を入力としておこなわれる対象特定処理は、対象外のオブジェクトに起因するノイズに影響されることがなくなる。

なお図５では、わかりやすいように撮影角度に起因するひずみをあらかじめ補正し、投影面に正対する位置から撮影したような画像を用いているが、実際には補正前の歪んだ画像であってよい。
プロジェクタとマスク画像が投影される投影面（オブジェクトの表面や机面を含む。）との相対的な位置姿勢の関係に応じて、投影されたマスク画像は歪む。プロジェクタと投影面（オブジェクトの表面や机面を含む。）との相対的な位置姿勢の関係に基づいて、マスク画像が実際に投影された際にどのように歪むかを算出すると演算処理の負担がとても大となる場合がある。
しかし、本実施例によれば、マスク画像は実際の投影面上のオブジェクトに重畳投影されているので、撮影画像上でのマスク領域検出時にそのような撮影時の歪みを考慮しなくてよい。

以上、本実施例によれば、撮影画像からエッジ特徴を用いて紙の四辺範囲を特定する処理において、撮影画像からは判断困難な非対象オブジェクトを撮影とは別の条件によるセンサ等で検知し、それらをマスクする画像を投影する。そして撮影画像から対象を特定する際のエッジ特徴抽出処理において、このマスク画像の投影結果を考慮し非対象オブジェクトからの類似特徴の誤抽出を防止する。その結果、対象である紙の四辺範囲特定処理の精度を高めることが可能になる。

上記説明における対象特定処理は、エッジ特徴を用いた紙の四辺範囲の特定であったが、別の特徴を用いた別の対象の特定に本発明を用いてもよい。たとえば、特定色の紙を撮影し、撮影画像中の特定色の画素範囲から同対象を特定するような処理であってもよい。そして、撮影画像からは判断困難な非対象オブジェクトを撮影とは別の条件によるセンサ等で検知し、同検知結果に基づいてマスク画像を投影すればよい。そのようにすることで、撮影画像から対象を特定する際の特徴抽出処理において、このマスク画像の投影結果を考慮し非対象オブジェクトからの類似特徴の誤抽出を防止する。その結果、対象特定処理の精度を高めることが可能になる。

［第２の実施例］
第１の実施例の説明に用いた形態例の図２（ａ）では、画像処理システム１００全体が一体の装置２００を構成するものとして説明した。しかし投影部１０１と撮影部１０３とが別々の装置に具備されるような構成であってもよい。
たとえば図２（ｂ）の例では、装置２００と同様に設置される装置２７０が、投影部１０１に対応するプロジェクタ２７１と、状態検知部１０２に対応する状態検知用センサのみを備える。本例の状態検知用センサは、投影面２１０上を常時撮影する動画カメラ２７２を備え、ｋ番目の撮影動画フレームと（ｋ＋ｎ）番目の撮影動画フレームとの差分から、投影面上に配置された対象および非対象オブジェクトを検知するものとする。ｋ、ｎはいずれも任意の自然数とする。

別の装置２８０は、撮影部１０３と対象特定部１０４に対応するカメラ２８３を備える。そして装置２７０と装置２８０はそれぞれ図１の１０５〜１０８の各部に対応する構成を有し、ユーザーの指示を得て自立的に動作可能とする。装置２８０の具体例としてはウェアラブルなカメラとディスプレイを備えた眼鏡型デバイスや頭部に装着されるＨＭＤ（ヘッドマウントディスプレイ）などであってもよいし、カメラ付スマートフォンやタブレットＰＣ等であってもよい。

図６および図７のフローチャートを用いて、本発明の第２の実施例として、図２（ｂ）のように構成された画像処理システム１００の動作を説明する。
まず図６のフローチャートを用いて、図２（ｂ）の装置２７０における処理例を説明する。

＜投影面の状態を取得＞
ステップＳ６０１では、状態検知部１０２が投影面における少なくとも対象を含む範囲の状態を取得する。図２（ｂ）の場合、動画カメラ２７２が、投影面２１０の状態を連続的に撮影する。

＜投影面上の対象オブジェクトを検知＞
ステップＳ６０２では、ユーザーが投影面上に対象、すなわち紙などの対象オブジェクト２２０を置いたことを状態検知部１０２が検知する。ここでは、動画カメラ２７２により撮影された動画像の各フレーム間差分を取得することで、投影面上に置かれたオブジェクトの存在を常時検知しているものとする。そして、検知されたオブジェクトの形や大きさ、あるいは色やテクスチャなどといった画像的特徴を用いて、オブジェクトが対象であるか否かを判断するものとする。これらの画像的特徴にもとづく判断は、過去の入力に対する学習によって判定する公知の学習機械を用いておこなってもよい。なお、動画を高精細に得ようとするとデータ量が膨大となり処理負荷が高くなる。よってこの動画の画素サイズ、すなわち解像度は、後述の実際に対象を特定するための撮影画像を得る撮影部１０３の解像度よりも低いものであってよい。具体的には、状態検知部１０２の処理に最低限必要な解像度が得られればよい。

対象が置かれたことを検知した場合はステップＳ６０３に進む。対象が未設置の場合、もしくは置かれたオブジェクトが対象のものではないと判断された場合はステップＳ６０１に戻って同処理を繰り返す。ここで非対象オブジェクトと判断された場合は、そのオブジェクトの存在を記憶しておき、後述のステップＳ６０４の処理で利用するものとする。なお、対象か非対象かの判断を厚みの有無で判断するために、装置２７０は距離センサを更に備えていてもよい。

＜対象特定処理の影響領域を検出＞
ステップＳ６０３では、ステップＳ６０１で取得した状態の情報から、後で装置２８０が投影面２１０を撮影し、その撮影画像から対象を特定する処理おこなう際の影響領域を状態検知部１０２が検出する。ここでは、先のステップＳ６０２で検出された対象外のオブジェクトの存在範囲を影響領域とする。ステップＳ３０２での説明と同様に、対象外オブジェクトの全範囲を影響領域としても、一部を影響領域としてもよい。

このステップＳ６０３において、対象外オブジェクトの検知の有無にかかわらず、ステップＳ６０２で検出された対象の範囲を除く全領域を影響領域としてもよい。これは、投影面である机に模様がある場合や、撮影範囲内に机の境界がある場合など、状態が不変であるにもかかわらず対象の特定に影響する特徴が抽出される可能性がある場合に有効である。

＜影響領域に対するマスク画像を作成＞
ステップＳ６０４では、ステップＳ６０３で特定した影響領域に対し、投影部１０１が同領域をマスクする重畳投影をおこなうためのマスク画像（投影画像）を作成する。第１の実施例と同様に、影響領域の範囲を赤などの特殊な色で強調するよう重畳投影するマスク画像や、特殊なマークを頂点とする多角形範囲を影響領域とみなすようなマスク画像を用いればいい。さらに、ステップＳ６０１で取得済みの動画画像から、対象および非対象のオブジェクトの色や形を検出したうえで、このマスク画像の色や形を選択するようにしてもよい。たとえば、後述の撮影画像からのマスク領域検出が容易になるように、対象および非対象オブジェクト内部に存在しない色や形を、マスク画像に用いるようにしてもよい。

＜マスク画像が有効か否かを判断＞
ステップＳ６０５では、前述のステップＳ６０４で作成されたマスク画像が有効か否かを判断する。マスク画像が有効ではないと判断されるケースはたとえば、対象の紙の上に非対象の立体物が乗っているか近接しているなど、マスク画像が投影される領域が対象と重なってしまう場合である。

さらに、状態検知部１０２が距離センサを備えている場合、検出された立体物の高さが高く、マスク画像で立体物の全範囲を重畳投影できないような場合に、マスク画像が有効ではないという判断を加えてもよい。
また、マスク画像で立体物の全範囲を重畳投影できないような場合は、マスク画像を重畳投影できない部分が、撮影部から撮影可能か否かに応じてマスク画像が有効か否かを判断するとしてもよい。

例えば図２（ｃ）の例における装置２８０は、ユーザーが携帯可能な装置であり、領域２７３はプロジェクタ２７１が投影可能な最大範囲を示す。同図に示す例では、装置２８０を携帯するユーザーが、高い立体物２３１をはさんで装置２７０と相対する位置にいる。そして、高い立体物２３１の最上部の平面の装置２７０に近い側の辺２７４にはマスク投影可能であるが、高い立体物２３１の最上部の平面のユーザー側の辺２７５にはマスク投影不可能であるとする。

プロジェクト２７１の投影可能な最大範囲と立体物２３１の高さと装置２８０の位置との関係が図２（ｃ）のような場合、装置２８０のカメラ２８３は、マスク画像が重畳投影されない部分（辺２７５）を撮影可能となるため、マスク画像は有効でないと判断する。

一方、仮に装置２８０を携帯するユーザーが装置２７０と近い位置にいて、かつカメラ２８３の位置がプロジェクタ２７１の高さより少し低いような場合、カメラ２８３は辺２７４を撮影可能であるが、辺２７５は辺２７４の後ろに隠れるため撮影不可能である。
つまり、装置２８０のカメラ２８３から撮影可能な立体物の一部であって、かつ対象オブジェクト２２０の特徴と類似する部分は、「マスク投影可能かつカメラから撮影可能な部分」か、「マスク投影不可能かつカメラから撮影不可能な部分」のいずれかになる。

すなわち、カメラ２８３から撮影可能な非対象オブジェクトの一部であり、かつ対象オブジェクト２２０の特徴と類似する部分でありながら、マスク投影不可能な部分は無い。このように、どの向きのどの位置から装置２８０を用いて撮影がおこなわれるかによって、ステップＳ６０５の判断をおこなってもよい。このためにプロジェクタ２７１の位置姿勢、カメラ２８３の位置姿勢、ならびに非対象オブジェクトの位置および高さを検知可能なカメラやセンサを装置２７０は更に備えていてもよい。

ステップＳ６０５でマスク画像が有効であると判断された場合はステップＳ６０６に進む。有効ではない判断された場合は、ステップＳ６０８に進み、投影部１０１を用いてユーザーに対象外の立体物を移動または除去する必要がある旨の警告のメッセージや記号等を投影で示し、図６のフローチャート処理を終了する。もしくは有効ではない原因が解消されるまで、投影面２１０の状態を監視し、解消された時点で再度ステップＳ６０１からの処理をおこなってもよい。警告には投影以外の方法、たとえば音声などを用いてもよい。

＜マスク画像を投影＞
ステップＳ６０６では、ステップＳ６０４で作成したマスク画像を、投影部１０１が投影面上に投影する。
＜対象の撮影を指示＞
ステップＳ６０７では、装置２７０から装置２８０へ、対象の撮影指示をおこない、装置２７０の処理は終了する。指示はたとえば無線などの装置間通信でもよいし、装置２８０を身につけたユーザーへのメッセージ投影や音声であってもよい。

続いて、図７のフローチャートを用いて、図２（ｂ）の装置２８０における処理例を説明する。
＜対象の撮影指示を取得＞
ステップ７０１では、装置２８０は、前述ステップＳ６０７でなされた、装置２７０からの対象の撮影指示を取得する。これは前述のとおり、両装置間の通信によって自動的におこなわれてもよいし、ユーザーが投影や音声による撮影指示を解釈して装置２８０を操作してもよい。または装置２８０がそれらの投影や音声指示を撮影・録音したデータから自動的に解釈してもよい。

＜撮影画像を取得＞
ステップＳ７０２では、装置２８０における撮影部１０３が、カメラ２８３により、対象を含む投影面を撮影した撮影画像を取得する。
＜撮影画像からマスク領域を検出＞
ステップＳ７０３では、装置２８０における対象特定部１０４が、ステップＳ７０２で取得した撮影画像からマスク領域を検出する。その処理内容は前述図３のステップＳ３０６の処理内容と同一なので説明は省略する。

＜マスク領域を除く範囲から、対象を特定するための特徴を抽出＞
ステップＳ７０４では、装置２８０における対象特定部１０４が、ステップＳ７０２で取得した撮影画像より、ステップＳ７０３で検出されたマスク領域を除く範囲から、対象を特定するための特徴を抽出する。その処理内容は前述した図３のステップＳ３０７の処理内容と同一なので説明は省略する。
＜抽出された特徴から、対象を特定＞
ステップＳ７０５では、装置２８０における対象特定部１０４が、ステップＳ７０４で抽出された特徴から、対象を特定する処理をおこなう。本例でも第１の実施例と同様に、エッジ特徴から紙の四辺を検出することで、対象である紙の範囲を特定する。

特定された紙の範囲の情報の使途例について、装置２８０が例えばいわゆる拡張現実表示デバイスである場合について説明する。拡張現実表示デバイスは、ユーザーが現実の物体を撮影すると、その物体に対する拡張情報を適切な位置に付加した撮影画像を表示する。こういったデバイスの種類としては、カメラ付き液晶タブレット型や、視線と同等範囲を撮影するカメラとレンズや網膜に投影して視野内に情報表示可能なディスプレイを備える眼鏡型のもの等がある。拡張現実表示の内容は、たとえば、紙に書かれた英単語の内容を日本語に翻訳した情報を同単語のそばに表示したり、同単語をクエリとしたＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂの画像検索をおこない、その結果を紙の近傍に表示したりする。このとき、対象である紙の範囲の情報は、前記拡張情報をユーザーにとって見やすい位置に表示するために利用される。また、事前に紙に印刷されたコードにより紙の内容を特定するために、紙面内のコード位置を特定するためにも利用される。さらに、紙に書かれた文字内容を認識したりするための画像範囲特定、画像歪みの補正などにも利用される。

ここで、対象特定部１０４の処理において、対象および非対象オブジェクトに対する撮影の方向や角度によって生じる撮影画像の歪みと、マスク領域との関係を計算によって求めなくてよいという特長に留意すべきである。装置２８０の例のように、ユーザーが携帯することによりその撮影方向が一定ではない状況において、その特長は有意である。
なお、一台の装置２７０に対し複数の装置２８０があって、それぞれの装置２８０で図７のフローチャートの処理がおこなわれてもよい。

以上、第２の実施例によれば、投影面の状態を監視して対象以外のオブジェクトをマスクする投影をおこなう装置と、対象以外に対しマスク領域が投影された投影面の撮影画像から、撮影面に置かれた対象を特定する装置とがシステムとして連携動作する。このとき、投影面の撮影画像からマスク領域を検出し、対象を特定するための特徴を前記マスク領域以外から抽出することで、対象を高精度に特定できるようになる。

［その他の実施例］
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 投影部
１０２ 状態検知部（状態取得手段）
１０３ 撮影部
１０４ 対象特定部
１０５ 制御部 １０６ 記憶部
１０７ ＵＩ部 １０８ 通信部

Claims (9)

1. 対象物体の特徴を検出して対象物体を特定するために前記対象物体および非対象物体を含む範囲を撮影する際の条件とは異なる条件で前記対象物体および前記非対象物体を含む範囲の状態を取得する状態取得手段と、
   前記状態取得手段によって取得された前記状態から前記対象物体の前記特徴の検出に影響する前記非対象物体が存在する領域を特定する領域特定手段と、
   前記対象物体および前記非対象物体を含む範囲を撮影する撮影手段と、
   前記撮影手段によって撮影された撮影画像の中の前記領域特定手段によって特定された前記非対象物体が存在する前記領域を除いた領域から前記対象物体の前記特徴を検出して前記対象物体を特定する対象特定手段と、
   を有することを特徴とする画像処理装置。
2. 前記領域特定手段によって特定された前記非対象物体が存在する前記領域に投影画像を投影する投影手段をさらに有し、
   前記撮影手段は、前記投影画像が投影されている前記非対象物体および前記投影画像が投影されていない前記対象物体を含む範囲を撮影し、
   前記対象特定手段は、前記撮影手段によって撮影された撮影画像の中の前記投影画像が投影された領域を除いた領域から前記対象物体の前記特徴を検出して前記対象物体を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記対象特定手段は、前記投影画像の少なくとも色又は形に基づいて前記投影画像が投影された領域を判断することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記状態取得手段は、距離センサを用いて距離画像を生成し、
   前記領域特定手段は、前記距離画像から、前記非対象物体が存在する領域を特定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記状態取得手段は、前記対象物体を含む範囲を動画撮影し、
   前記領域特定手段は、ｋ番目（ｋは任意の自然数）の動画フレームと（ｋ＋ｎ）番目（ｎは任意の自然数）の動画フレームの差分から、前記非対象物体が存在する領域を特定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記撮影手段が撮影する範囲の中に、前記非対象物体の一部であって、前記投影画像が投影されない部分が含まれると判断した場合、ユーザーに警告をおこなうことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記撮影手段が撮影する範囲の中に、前記非対象物体の一部であって、前記投影画像が投影されない部分が含まれるか否かという判断は、前記投影手段の位置姿勢、前記撮影手段の位置姿勢、ならびに前記非対象物体の位置および高さにもとづいておこなうことを特徴とする請求項６に記載の画像処理装置。
8. 対象物体の特徴を検出して対象物体を特定するために前記対象物体および非対象物体を含む範囲を撮影する際の条件とは異なる条件で前記対象物体および前記非対象物体を含む範囲の状態を取得する状態取得工程と、
   前記状態取得手段において取得された前記状態から前記対象物体の前記特徴の検出に影響する前記非対象物体が存在する領域を特定する領域特定工程と、
   前記対象物体および前記非対象物体を含む範囲を撮影する撮影工程と、
   前記撮影工程において撮影された撮影画像の中の前記領域特定工程によって特定された前記非対象物体が存在する前記領域を除いた領域から前記対象物体の前記特徴を検出して前記対象物体を特定する対象特定工程と、
   を有することを特徴とする画像処理方法。
9. コンピュータを、請求項１〜７のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。