JP2016018403A - 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】複数の紙文書の重なりがあっても説明中の文書を特定し、その中のどの領域が説明されているかを少ない計算量で取得することによって、少ない計算量で履歴を生成する。【解決手段】撮像装置で撮影された画像とジェスチャ取得装置から得られたジェスチャ位置に基づき類似画像検索用の特徴量を抽出する領域を決定する類似画像検索用特徴量抽出領域決定手段と、特徴量抽出領域決定手段で決定された画像上の領域から特徴量を抽出し、登録された文書を検索し、０個以上の文書を検索結果として得る類似画像検索手段と、類似画像検索手段で得られた検索結果に１つ以上の文書がある場合に、ジェスチャ位置が指し示す１つの文書と位置の特定を行う文書位置特定手段と、文書特定手段で得られた１つの文書に関係付けられたレイアウト情報とジェスチャ位置に基づいてジェスチャ位置が示す文書ブロックを選択する手段を有する。【選択図】図３

Description

本発明は、文書内に存在する複数の情報の説明履歴を生成する画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。

販売員が顧客にパンフレットやカタログなどの文書用いて商品を説明する場面において、販売員の説明を支援するシステムがある。例えば、特許文献１では、商品ごとの説明の流れを予めベテラン販売員が作成しておき、実際に販売員がその商品を説明するときには、その説明の流れをモニターなどに表示をすることで支援するシステムが提案されている。

このようなシステムで使用するための説明の流れを、撮像装置、投影装置、ジェスチャ取得装置を持つ支援装置によって取得し生成するシステムが提案されている。
このようなシステムにおいて、既存の文書を登録しておき、撮像装置から得られた画像を使い類似画像を検索することで使用中の文書を得ることができる。

一方、画像の局所的な特徴量（局所特徴量）を用いて、類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（例えば、非特許文献１参照）。次に、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する（例えば、非特許文献２参照）。
局所特徴量を利用する手法においては、局所特徴量を、回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。

上述の方式により、１枚の画像から複数の局所特徴点が抽出される。局所特徴量を用いた画像検索では、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。多く利用されている投票方式（例えば、特許文献３参照）は、比較検索元画像から抽出された、各特徴点の局所特徴量に類似する特徴量を持つ特徴点が登録画像（以下、比較先画像とも言う）に存在すれば、その比較先の登録画像に対して１票を投票する。その投票数の多い登録画像ほど比較元画像と類似するとするものである。所定以上類似する 特徴点を最近傍処理 で見つけ、存在すれば「画像」に対して１票を投票し、その投票数の多いものほど類似するとするものである。
さらに、比較する画像間で局所特徴量の類似する対応点についてロバスト推定に用いられるＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）によって特徴点マッチングを行うと、画像間の類似度と類似画像の位置を得ることができる。

特開2004-185146号公報 特開2009-284084号公報

C.Harris and M.J. Stephens,"A combined corner and edge detector," In Alvey Vision Conference,pages 147-152, 1988. David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 60, 2

局所特徴量による類似画像検索技術によって入力画像中にある文書を検索する場合、入力画像の中に複数の文書が存在すると正しく検索できないという課題がある。複数の文書が重なりなく置かれていれば、あらかじめ取得しておいた背景画像との差分を取ることで輪郭を抽出し文書の４辺を得ることで位置を簡易に得ることができるが、重なりがある場合は、４辺すべてを正しく取り出し、文書の上下を得ることが困難である。

また、特徴点マッチングによって文書を検索する場合、登録されている文書が多くなると特徴点マッチングにかかる時間が膨大になる。また入力画像から得る特徴点が多いほど正確にマッチングが行え、正しい文書を得ることが可能になるが、抽出する特徴点が多すぎるとマッチングに時間がかかることになる。
本発明は上記の課題に鑑みてなされたものであり、複数の紙文書が使用される場合に発生する文書の重なりがあっても説明中の文書を特定し、その中のどの領域が説明されているかを少ない計算量で取得する。これによって、少ない計算量で履歴を生成する装置およびシステムを提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。

上記目的のため、本発明は撮像装置、ジェスチャ取得装置を持つシステムにおいて 、撮像装置で撮影された画像とジェスチャ取得装置から得られたジェスチャ位置に基づき類似画像検索用の特徴量を抽出する領域を決定する類似画像検索用特徴量抽出領域決定手段と、前記特徴量抽出領域決定手段で決定された画像上の領域から特徴量を抽出し、登録された文書を検索し、０個以上の文書を検索結果として得る類似画像検索手段と、前記類似画像検索手段で得られた検索結果に１つ以上の文書がある場合に、ジェスチャ位置が指し示す１つの文書と位置の特定を行う文書位置特定手段と、前記文書特定手段で得られた１つの文書に関係付けられたレイアウト情報とジェスチャ位置に基づいてジェスチャ位置が示す文書ブロックを選択する手段を有する。

複数の紙文書が使用される場合に発生する文書の重なりがあっても説明中の文書を特定し、その中のどの領域が説明されているかを少ない計算量で取得することによって、少ない計算量で履歴を生成することができる。

実施形態における情報処理装置の外観と構成の一例を示す図である。 第１の実施形態における商品説明の例を示す図である。 第１の実施形態におけるシステムのフローチャートである。 第１の実施形態における類似画像検索用の特徴量抽出領域の例を示す図である。 第１の実施形態における履歴情報の例を示す図である。 第１の実施形態における説明フローの例を示す図である。 第２の実施形態における類似画像検索用特徴量抽出領域の例を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施形態では、本発明を特定の状況に対応したアプリケーションの一機能として説明しているが、あくまで例示であり、本発明の範囲を限定する趣旨のものではない。

＜第１の実施形態＞
図１（ａ）は、本実施形態における情報処理装置（画像処理システム）１００のハードウェア構成図である。同図において、ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、後述するフローチャートに示す各種処理手順を含むＣＰＵによる制御のためのプログラムデータを格納する。ＲＡＭ１０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。

ＣＰＵ１０１は、ＲＯＭ１０２もしくは記憶装置１０４に記憶された処理ステップやプログラムを読み出して実行する。これらの処理ステップやプログラムは、ディスクデバイスを始めとする記憶媒体から読み出されたり、ネットワーク通信によって取得されたりして、ＲＯＭ１０２もしくは記憶装置１０４に記憶されることができる。その際、ＣＰＵ１０１がコントローラとして機能する。本実施形態において、ＣＰＵ１０１は、図３などのフローチャートに示された工程を実行することで、後述する情報処理装置（画像処理システム）１００の各機能部として動作する。

撮像装置１０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。ジェスチャ取得装置１０６は、ユーザが操作を行う作業空間を撮像しユーザのジェスチャを取得しシステムに提供する。投影装置１０７は後述する作業台１２２に電子データやユーザインタフェース部品を含む映像を投影する。本実施形態では説明の簡略化のため、撮像装置１０５の位置と撮像画角、ジェスチャ取得装置１０６の位置と撮影画角、投影装置１０７の位置と投影画角が固定の場合を例にして説明する。なお、本実施形態では、撮像装置１０５、ジェスチャ取得装置１０６、投影装置１０７は、情報処理装置１００内に構成されるが、有線あるいは無線のインターフェースによって接続された外部装置でも良い。

図１（ｂ）は、本実施形態における情報処理装置１００の外観の一例を示す図である。本実施形態では、作業台１２２に対し、撮像装置１０５は上部に設置され、作業台１２２に上向きに置かれた紙文書１２３を俯瞰撮像し、上に向いた読み取り対象面を読み取る。ジェスチャ取得装置１０６も同様に、作業台１２２の上面を俯瞰撮像することでユーザの操作ジェスチャを取得する。投影装置１０７は、作業台１２２の上面に、ユーザインタフェースを構成する画像や記憶装置１０４に記憶された電子データ、情報処理装置１００が生成した電子データ等を含む投影画像を投影する。

図１（ｃ）は、本実施形態における情報処理装置（画像処理システム）１００を構成する画像処理部（画像処理装置）１３０の機能ブロック図の一例を示す。同図に示すように、画像処理部１３０は、第１の領域決定部１３１、類似画像検索部１３２、文書位置特定部１３３、文書ブロック選択部１３４および履歴情報生成分１３５を含む。
第１の領域決定部１３１は、撮像装置１０５によって撮影された画像とジェスチャ取得装置１０６によって得られたジェスチャ位置に基づき類似画像検索用の特徴量を抽出する領域を決定する。第１の領域決定部１３１は、例えば、撮像装置によって撮像された画像を複数の領域に分割し、分割された領域の中の、ジェスチャ位置が指し示す１つの文書領域のみが類似画像検索用の特徴量を検出するための領域となるように決定する。
類似画像検索部１３２は、第１の領域決定部１３１によって決定された画像上の領域から特徴量を抽出し、抽出された特徴量を用いて登録された文書を検索し、前記領域内の内容と同じ内容を有すると推定される０個以上の文書を検索結果として得る。
文書位置特定部１３３は、類似画像検索部１３２によって得られた検索結果に１つ以上の文書がある場合に、ジェスチャ位置が指し示す１つの文書と当該文書の頂点の位置とを特定する。
文書ブロック選択部１３４は、
文書位置特定部１３３によって特定された前記１つの文書の頂点の位置と、
前記１つの文書に関係付けて記憶され、かつ前記１つの文書を構成する文書ブロックの位置を示すレイアウト情報と、
ジェスチャ位置と
に基づいて、ジェスチャ位置が示す文書ブロックを選択する。
履歴情報生成部１３５は、文書ブロック選択部１３４によって選択された文書ブロックを順次記録する。

本実施形態では、撮像装置１０５、ジェスチャ取得装置１０６、投影装置１０７は同一の筐体で構成される。ただし、撮像装置１０５、ジェスチャ取得装置１０６、投影装置１０７それぞれの設置位置と撮像画角の情報を情報処理装置が予め把握されていれば、それぞれ別の場所に設置されてもよい。また、本実施形態では、投影装置１０７が作業台の上面に投影を行っているが、これに限らず、一般的なディスプレイなどの表示装置を構成しても良い。またジェスチャとして取得する情報がユーザの触った位置だけで足りるのであれば、作業台１２２の表面に接触型のセンサを配置することによってジェスチャを取得しても良い。
以下では、本実施形態を実現する環境の一例として、保険代理店で販売員と顧客が対面し、保険パンフレットを用いて販売員が顧客に保険商品の説明をする例で説明をする。

まず、図２を用いてシステムの動作例を説明する。図２（ａ）は情報処理装置１００の作業台１２２上に保険商品のパンフレット２０１が置かれた状態を表している。向かって手前側に顧客がおり、奥側に販売員がいるものとする。販売員は商品の説明をするために、図２（ｂ）のように説明したい紙文書を作業台１２２に置く。販売員が行っている説明のフローを使用されている文書、投影されている情報、ジェスチャの位置などから生成していく。

図３は、この情報処理装置において、ある時刻における作業台１２２の状態を撮像した画像データと、ジェスチャ情報を元に、その時刻における説明中の文書と文書中のブロックを特定する処理のフローチャートである。画像データは撮像装置１０５によって撮像される。ジェスチャ情報はジェスチャ取得装置１０６によって取得される。
ステップＳ３００１は、撮像装置１０５から作業台１２２を撮影した画像データを取得するステップである。ここで取得された画像データは、カメラ位置が作業台１２２を真下に見下ろす位置になるように透視投影変換されたものとする。
ステップＳ３００２は、ジェスチャ取得装置１０６から作業台１２２で行われたジェスチャを取得する。ここで取得されたジェスチャ位置は、ステップＳ３００１で得られた画像データと同一の座標系にあるデータに変換済みとする。
ステップＳ３００１とステップＳ３００２は、どちらが先に行われても良い。
ステップＳ３００３は、検索用の特徴量を取得するための領域を決定するステップである。ここで取得する領域は、ジェスチャ位置が示している文書のみが含まれると推定される領域となる。

＜類似画像検索用の特徴量を取得するための領域を決定するステップ＞
図４に基づいてこの処理の詳細を説明する。説明の簡便化のため、説明員や顧客などの手の映り込みは図には記載していない。作業台１２２に何も置かれていない画像をあらかじめ取得しておき、これを背景画像とする。背景画像と入力画像との差分を取得し、文書の輪郭情報を取得する。
入力画像が図４（ａ）である場合、差分情報から図４（ｂ）のような輪郭情報が得られる。図４（ａ）と図４（ｂ）中のｘ印は、ジェスチャ位置を表している。図４（ｂ）に示すような輪郭情報から、文書の４隅の頂点の中で輪郭上に現れていない頂点を検出する処理を行う。輪郭を辿り外側に向かって凹となっている角が検出されると、その先に頂点が隠れていることが解る。登録されている文書のサイズや定型サイズの用紙の縦横比を使い、検出されていない頂点の位置を推定する処理を行う。
この結果、図４（ｃ）中のｘ印の位置に頂点が存在していると推定される。
図４（ｃ）で得られた頂点の情報とジェスチャ位置を重ね合わせ、図４（ｄ）に示す領域を得る。この領域は、２枚の文書のどちらかが上にあっても必ず一つの文書のみが含まれる領域であるため、これを類似画像検索用の領域として設定する。

ステップＳ３００４は、ステップＳ３００３で得られた領域を使って類似画像検索を行うステップである。登録済みの文書画像データに類似する複数の文書画像ＩＤと類似度が得られる。
ステップＳ３００５は、ステップＳ３００４で得られた文書画像ＩＤが１つ以上あるかどうかを判定するステップである。１つ以上あればステップＳ３００６からステップＳ３０１１において、ジェスチャ位置と、そのジェスチャ位置が示す１つの文書と、その文書の位置とを特定する、無ければステップＳ３０１４へ進む。

＜特徴点マッチング用の特徴点を検出するための領域を決定するステップ＞
ステップＳ３００６は、特徴点マッチングにより文書およびその位置を特定するための特徴点を検出する領域を決定するステップである。特徴点マッチングに使用する特徴点が多いと計算量が増大してしまうため、特徴点を検出する範囲を絞り込む処理を行う。
ステップＳ３００６は、例えば、第２の領域決定部（不図示）が行う。第２の領域決定部は、ステップＳ３００３で得られた領域の大きさが、あらかじめ定めた値Ｎより大きい場合は、Ｓ３００３で得られた領域内でジェスチャ位置に近い範囲から大きさＮの領域を切り出すことによって行う。つまり、ステップＳ３００３で得られた領域の一部を使用する。ステップＳ３００３で得られた領域の大きさが、あらかじめ定めた値Ｎ以下であれば、Ｓ３００３で得られた領域をそのまま使用する。つまり、ステップＳ３００３で得られた領域の全部を使用する。

ステップＳ３００７は、特徴点マッチングにより文書およびその位置を特定するステップである。マッチングを行う対象は、ステップＳ３００４で得られた文書に対してのみ行う。特徴点マッチングにより、各文書への類似度と類似した特徴点の対応関係から文書の位置を得ることができる。また文書ＩＤは類似度の高い順に並べ替える処理を行い、類似度があらかじめ定めた値に満たないものは削除する。

ステップＳ３００８は、類似度が一定値以上の文書数ｎによって処理を分岐させるステップである。ｎ＞０であればステップＳ３００９へ、ｎ＞０でなければステップＳ３０１３へ処理を進める。
ステップＳ３００９は、ステップＳ３００３において得られた、各紙文書が存在すると仮定される領域情報とステップＳ３００７で得られた文書の位置とを検定するステップである。ステップＳ３００９は、例えば、文書特定検定部（不図示）が行う。文書特定検定部は、第１の領域決定部１３１によって領域を決定する時に推定される文書の頂点の位置と、文書位置特定部１３３によって特定される文書の頂点の位置とが、一致するか否かを検定する。

ステップＳ３０１０は、ステップＳ３００９の位置の検定結果によって処理を分岐するステップである。検定できていればステップＳ３０１２へ進み、検定できていなければステップＳ３０１１へ進む。
ステップＳ３０１１は、文書数ｎを１減算するステップである。この処理の後にステップＳ３００８へ進む。
ステップＳ３０１２は、検定された文書ＩＤに紐付けられたレイアウト情報を取得し、ジェスチャ位置の情報を元に説明で使用された文書ブロックの位置を取得するステップである。

ステップＳ３０１３は、入力された画像と検索用の特徴量、ジェスチャ位置情報を一時的に保存するステップである。このステップは、入力画像に含まれている文書が登録済みの文書と一致しない場合に行われる。
ステップＳ３０１４は、作業台１２２上にある文書が未知の文書である可能性を使用者に通知するステップである。システムの使用者に通知し、必要であれば登録させることによって同一の文書が今後も使用された場合に未知とならないように促すことができる。

ステップＳ３０１５は、入力画像とジェスチャから得られた履歴情報を生成するステップである。
ステップＳ３０１２からステップＳ３０１５へ進んだ場合は、ステップＳ３０１２で得られた文書ＩＤ５１１とブロック情報５１２を、履歴情報とする（図５（ａ））。
ステップＳ３０１４からステップＳ３０１５へ進んだ場合は、文書ＩＤとして、未知を表す値（例えば０）を履歴情報とする（図５（ｂ））。
この処理を商談の開始から最後まで繰り返すことで、図５（ｃ）に示す商談全体のフローを生成することができる。

次に蓄積された説明フローの活用について説明する。蓄積された説明フロー対し、従来技術である系列パターンマイニングの手法を説明順序に適用し、頻出する系列パターンを抽出することができる。系列パターンマイニングとは、系列データから頻出する部分系列を抽出する技術であり、ＰｒｅｆｉｘＳｐａｎやＳＰＡＤＥなどの手法で実現できる。抽出した系列パターンは、ある保険商品を説明する際に、販売員が良く行っている電子コンテンツデータの表示フローと考えられる。

例えば図６に示すように、ある保険商品のパンフレット５０１を説明する際には、領域５０２→領域５０３→領域５０４の順に表示されることが多いという具合である。これはその保険商品を説明するためのノウハウとして再利用されることが望ましい。また、１つの保険商品に１つの表示フローだけが抽出されるわけではなく、複数の表示フローが抽出される。顧客の属性情報と合わせて分析することで、例えば、保険商品について事前の知識がまったくない人向けに良く行われていた表示フローや、保険の乗り換えを検討している人向けに良く行われていた表示フローなどが抽出できる。例えば乗り換えを検討している人は保険の知識があり、ほとんど説明を行わなくても良い部分がある。このような部分が検出されると、営業部門だけではなくパンフレット作成部門へ、乗り換えを検討している人向けのパンフレットを作る際に、次のようなフィードバックをすることもできる。例えば、紙面における詳細な説明が不要なため面積を小さくしても良い部分がどこで、重要性が高いため面積を大きくすべき部分はどこかなどである。

このシステムによるフローの取得は、営業成績の良いベテランの販売員だけではなく、新しく採用された販売員のフローを取得し、そのフローをベテランの販売員のものと比較することで新しく採用された販売員への教育へ利用することができる。
このように生成したフローを例えば商談が成功したかどうかの情報と共に蓄積することによって良いフローと悪いフローに分類することが可能になる。文書毎に複数の良いフローから共通パターンを抽出すれば、紙文書が検出された時点で良い説明フローを推薦することができる。

＜第２の実施形態＞
第１の実施形態では、ステップＳ３００８からステップＳ３０１１において、特徴点マッチングで得られた複数の候補に対し、ステップＳ３００３で得られた文書の位置との検定を行っている。しかし、このような位置の検定を行わず、ステップＳ３００７で得られた文書の位置をそのまま文書位置としても良い。
また、ステップＳ３００８での判断において類似度が一定値以上の文書数を使用しているが、第一位の類似度と第二位の類似度との差が一定値以上あれば第一位のみをステップＳ３００９からステップＳ３０１１の検定処理を行っても良い。前述の一定値は、あらかじめ定められた値であっても良いし、複数の類似度から算出した値でも良い。

第１の実施形態のステップＳ３００３において、背景差分による輪郭抽出と文書の４頂点の位置推定から類似画像検索用の特徴量抽出領域を決定したが、文書中のエッジ検出を行い複数の文書の上下関係を正しく得る処理を行っても良い。図４（ｃ）で得られた頂点に向かう線上に文書が重なることによってできるエッジを検出する処理を行う。「エッジ」とは、画像中の明るさ（濃淡）あるいは色が急に変化している箇所を意味し、印刷された文書中の文字を構成する線も含まれる。

図７（ａ）中の太線の領域から検出処理を行う。１つの文書７２０の頂点間と推定される直線７２１，７２２と重なるエッジが存在すれば、その頂点間と推定される直線７２１，７２２は上に現れていると判断する。図７（ｅ）に重なるエッジの例を示す。
また、１つの文書７１０の頂点間と推定される直線７１１，７１２と交差するエッジが多数取得される場合は、その頂点間と推定される直線７１１，７１２は下になり隠れていると判断する。図７（ｆ）に交差するエッジの例を示す。

この処理を行い、頂点間の線と文書とのどちらが上に現れているかを得ることができれば、図７（ｂ）に示す領域７３１を類似画像検索用の特徴量抽出領域とする際に領域７３１の文書における位置を知ることができる。
例えば、ジェスチャ位置が位置７３２であり、かつ頂点間の線７２１，７２２が文書７１０の上に現れているという情報を得ることができれば、図７（ｂ）に示す領域７３１は文書７２０の一部であり、文書７２０の左上方向に位置する領域であることが分かる。
また、ジェスチャ位置が位置７３２であり、かつ頂点間の線７１１，７１２が文書７２０の上に現れているという情報を得ることができれば、図７（ｂ）に示す領域７３１は文書７１０の一部であり、文書７１０の右下方向に位置する領域であることが分かる。
このように類似画像検索用の特徴量抽出領域の位置が分かると類似画像検索に要する計算量を少なくすることができる。

なおジェスチャ位置が異なれば、類似画像検索用の特徴抽出領域も異なる。例えば、ジェスチャ位置が図７（ｃ）に示す位置７４１であれば、領域７４２が類似画像検索用の特徴抽出領域となる。また、ジェスチャ位置が図７（ｄ）に示す位置７４１であれば、領域７４２が類似画像検索用の特徴抽出領域となる。さらに、ジェスチャ位置が図７（ｄ）に示す位置７５１であれば、領域７５２が類似画像検索用の特徴抽出領域となる。
類似画像検索用の特徴抽出領域が大きければ、抽出される特徴量も多くなり精度が高くなる。この結果特徴点マッチングを行う候補を少なくすることができる。
また、この類似画像検索用特徴抽出領域の決定の過程において、画像中に存在する文書の位置が決定される。ステップＳ３００６からステップＳ３０１１で構成される文書位置決定ステップにおいては、特徴点マッチングの結果との検定を行わずステップＳ３００３で得られている位置情報を文書位置としても良い。

＜第３の実施形態＞
第１の実施形態において、あらかじめ登録されている類似画像検索用の特徴量は文書全体から取得してあるものであったが、文書中に存在するオブジェクトのブロック単位で特徴量を持たせることも可能である。
類似画像検索において、ブロック毎に持つ特徴量との比較を行い得られた文書ブロックに対応する文書ＩＤでまとめることで文書毎の類似度を算出する。
また、ジェスチャ位置付近から抽出した少数の特徴量を使って類似画像検索を行うことで、類似する文書とジェスチャ位置の示す文書ブロックを直接得ることも可能である。

＜第４の実施形態＞
第１の実施形態において、未知の文書となったものを使用者に通知したが、未知の文書を登録させることによって、未知の文書となっている履歴を再処理する。情報処理装置に登録モードなどを持たせ、紙文書の全面をジェスチャや他の紙文書による隠れが無い状態で撮影し、検索用の特徴量、特徴点マッチングのための特徴量、レイアウト情報を取得し記憶する。履歴情報の中で未知の文書となっている部分を抽出し、その時刻に対応する一時保存のデータを使い、図３のフローを再度行うことで未知の文書に対する履歴の生成を行う。この時、ステップＳ３００１からステップＳ３００３は、Ｓ３０１３で一時保存された情報を使うことで処理時間を短縮する。
この処理によって、履歴にある未知の文書の部分を処理していき、説明中で初めて使用された文書の履歴を生成できる。
また、この処理が行われても未知の文書が残った場合は、Ｓ３０１４で再度通知することによって必要に応じて登録処理を促すことができる。

＜第５の実施形態＞
第１の実施形態においては、未知の文書となったものを使用者に通知したが、一度検出した未知の文書と同じものが検出された場合は通知しない、一定時間以上の間隔があれば再度通知するなどの通知方法の制御も可能である。
一時保存に検索用の特徴量を保存しておけば、現在の入力から得られた検索用の特徴量と比較し、類似度が一定値以上であれば、すでに通知済みと判断して通知処理を行わなくしても良い。
また、類似度が一定値以上であっても、前回の通知からの時間を計測しておき、一定以上の間隔があれば通知するといった制御も可能となる。

＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。各実施形態の処理を組み合わせることも可能である。
本発明は、例えば、システム、装置、方法、プログラム（画像処理プログラム）もしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 記憶装置
１０５ 撮像装置
１０６ ジェスチャ取得装置
１０７ 投影装置

Claims (8)

1. 撮像装置から画像を受け取ることができ、ジェスチャ取得装置からジェスチャ位置を受け取ることが可能な画像処理装置であって、
   前記撮像装置によって撮影された画像と前記ジェスチャ取得装置によって得られたジェスチャ位置に基づき類似画像検索用の特徴量を抽出する領域を決定する第１の領域決定手段と、
   前記第１の領域決定手段によって決定された画像上の前記領域から特徴量を抽出し、抽出された特徴量を用いて登録された文書を検索し、前記領域内の内容と同じ内容を有すると推定される０個以上の文書を検索結果として得る類似画像検索手段と、
   前記類似画像検索手段によって得られた検索結果に１つ以上の文書がある場合に、ジェスチャ位置が指し示す１つの文書と当該文書の頂点の位置とを特定する文書位置特定手段と、
   前記文書位置特定手段によって特定された前記１つの文書の頂点の位置と、前記１つの文書に関係付けて記憶され、かつ前記１つの文書を構成する文書ブロックの位置を示すレイアウト情報と、ジェスチャ位置とに基づいて、ジェスチャ位置が示す文書ブロックを選択する文書ブロック選択手段と、
   選択された前記文書ブロックを順次記録する履歴情報生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の領域決定手段は、
   前記撮像装置によって撮像された画像を複数の領域に分割し、
   分割された領域の中の、ジェスチャ位置が指し示す１つの文書領域のみが類似画像検索用の特徴量を検出するための領域となるように決定する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記文書位置特定手段は、特徴点マッチングによって、前記文書と前記文書の頂点の位置とを特定することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記第１の領域決定手段によって領域を決定する時に推定される文書の頂点の位置と、前記文書位置特定手段によって特定される文書の頂点の位置とが、一致するか否かを検定する文書特定検定手段をさらに持つことを特徴とする請求項１乃至３のいずれか１項記載の画像処理装置。
5. 前記第１の領域決定手段によって得られた領域の一部又は全部を特徴点マッチング用の特徴量を抽出する領域として決定する第２の領域決定手段をさらに有し、
   前記第２の領域決定手段によって得られた領域から特徴量を抽出して特徴点マッチングを行うことを特徴とする請求項３記載の画像処理装置。
6. 請求項１乃至５のいずれか１項記載の画像処理装置と、
   撮像装置と、ジェスチャ取得装置と
   を有することを特徴とする画像処理システム。
7. 第１の領域決定手段が、撮像装置によって撮影された画像とジェスチャ取得装置によって得られたジェスチャ位置に基づき類似画像検索用の特徴量を抽出する領域を決定する領域決定工程と、
   類似画像検索手段が、前記第１の領域決定手段によって決定された画像上の前記領域から特徴量を抽出し、抽出された特徴量を用いて登録された文書を検索し、前記領域内の内容と同じ内容を有すると推定される０個以上の文書を検索結果として得る類似画像検索工程と、
   文書位置特定手段が、前記類似画像検索手段によって得られた検索結果に１つ以上の文書がある場合に、ジェスチャ位置が指し示す１つの文書と当該文書の頂点の位置とを特定する文書位置特定工程と、
   文書ブロック選択手段が、前記文書位置特定手段によって特定された前記１つの文書の頂点の位置と、前記１つの文書に関係付けて記憶され、かつ前記１つの文書を構成する文書ブロックの位置を示すレイアウト情報と、ジェスチャ位置とに基づいて、ジェスチャ位置が示す文書ブロックを選択する文書ブロック選択工程と、
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至５のいずれか１項記載の画像処理装置の各手段として機能させるための画像処理プログラム。