JP2015026266A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 資料の分かりやすい説明履歴を反映したフローを生成することができなかった。
【解決手段】 任意の時刻に物体または電子データの位置情報を取得し、前記物体または電子データに対するジェスチャ情報を検出し、前記ジェスチャ情報を検出した時刻と共に記憶し、前記ジェスチャ情報により指定された前記物体または電子データの領域情報を時間順に並べて履歴を生成することにより、実際に資料を説明した履歴から、その資料を説明するのに適切なフローを生成することができる。
【選択図】 図３

Description

本発明は、文書内に存在する複数の情報の説明履歴から文書を説明するフローを生成する技術に関するものである。

販売員が顧客にパンフレットやカタログなどを用いて商品を説明する場面において、販売員の説明を支援するシステムがある。例えば、特許文献１では、商品ごとの説明の流れを予めベテラン販売員が作成しておき、実際に販売員がその商品を説明するときには、その説明の流れをモニターなどに表示をすることで支援するシステムが提案されている。

特開２００４−１８５１４６

紙のパンフレットやカタログを用いて説明したり、電子情報を投影して記載されている複数の情報を説明したりする場合に、実際に行われるこれらの資料の説明から使用された情報の履歴を取得することができなかった。
本発明は上記の課題に鑑みてなされたものであり、資料の分かりやすい説明履歴を反映したフローを生成する装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。

撮像装置、表示装置、ジェスチャ取得装置を持つシステムにおいて、１つ以上の紙文書または表示されている電子情報の位置取得する文書位置取得手段と、文書位置取得手段によって得られた文書位置を時刻情報と共に記憶する文書位置記憶手段、と紙文書または表示された電子情報に対する１つ以上のジェスチャ位置を検出するジェスチャ位置検出手段と、ジェスチャ位置検出手段によって取得されたジェスチャ位置情報を時刻情報と共に記憶するジェスチャ位置記憶手段と、１つ以上の紙文書または表示されている情報のレイアウト情報を取得するレイアウト情報取得手段と、レイアウト情報取得手段によって得られたレイアウト情報を時刻情報と共に記憶するレイアウト情報記憶手段と、文書位置記憶手段と前記ジェスチャ位置記憶手段と前記レイアウト情報記憶手段に記憶された情報に基づいて説明フローを生成する手段とを有する。

実際に資料を説明した履歴から、その資料を説明するのに適切なフローを生成することができる。

実施形態における情報処理装置の外観と構成の一例 実施形態１における商品説明の例 実施形態１におけるシステムのフローチャート 実施形態１における履歴情報 実施形態１におけるレイアウト解析結果および説明領域 実施形態１における説明フローの例 実施形態３における説明フローの変更例 実施形態４における区間情報の修正例 レイアウト解析処理への入力画像の例

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施形態では、本発明を特定の状況に対応したアプリケーションの一機能として説明しているが、あくまで例示であり、本発明の範囲を限定する趣旨のものではない。

＜第１の実施形態＞
図１（ａ）は、本実施形態における情報処理装置１００のハードウェア構成図である。同図において、ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、後述するフローチャートに示す各種処理手順を含むＣＰＵによる制御のためのプログラムデータを格納する。ＲＡＭ１０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。ＣＰＵ１０１は、ＲＯＭ１０２もしくは記憶装置１０４に記憶された処理ステップやプログラムを読み出して実行する。これらの処理ステップやプログラムは、ディスクデバイスを始めとする記憶媒体から読み出されたり、ネットワーク通信によって取得されたりして、ＲＯＭ１０２もしくは記憶装置１０４に記憶されることができる。その際ＣＰＵ１０１がコントローラとして機能する。本実施形態において、ＣＰＵ１０１は、図３などのフローチャートに示された工程を実行することで、後述する情報処理装置１００の各機能部として動作する。

撮像装置１０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。ジェスチャ取得装置１０６は、ユーザが操作を行う作業空間を撮像しユーザのジェスチャを取得しシステムに提供する。投影装置１０７は後述する作業台１２２に電子データやユーザインタフェース部品を含む映像を投影する。本実施形態では説明の簡略化のため、撮像装置１０５の位置と撮像画角、ジェスチャ取得装置１０６の位置と撮影画角、投影装置１０７の位置と投影画角が固定の場合を例にして説明する。なお、本実施形態では、撮像装置１０５、ジェスチャ取得装置１０６、投影装置１０７は、情報処理装置１００内に構成されるが、有線あるいは無線のインターフェースによって接続された外部装置でも良い。

図１（ｂ）は、本実施形態における情報処理装置１００の機能構成を表す図である。同図において、撮像部１１０は、カメラやビデオカメラ等の撮像装置１０５であって、作業台で上向きに置かれた対象物を上方から撮像し画像データを出力する。また、本実施形態の撮像部１１０は、作業台の上面全体を撮像範囲に含む。

本実施形態では、後述する各機能部は、ＣＰＵ１０１がＲＯＭ１０２に格納された各プログラムをＲＡＭ１０３に展開し実行することでその機能を実現する。ただし、本発明は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。

ジェスチャ取得部１１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等）によって構成され、撮影範囲内に行われた使用者の手の動きや手に持った物体の動きをジェスチャとして検出し、作業台上における位置と高さを示す情報を取得する。高さがある一定値以下である場合を「作業台が触れられている状態」と判断する。

紙領域検出部１１２は、ＣＰＵ等から構成され、撮像部１１０から入力された画像データから複数の対象物を検出し、作業台上における対象物の位置を示す情報を取得する。ここで、対象物に含まれる情報とは、文字や画像など対象物の読み取り対象面に記載されている情報である。紙領域の検出処理は、撮像部１１０から入力される全画像または一定間隔の画像に対して行われる。さらにジェスチャ取得部１１１からのジェスチャ情報を元に、紙領域検出部１１２で検出した紙に対してジェスチャが写り込んでいない全紙面が取得されている画像データを選別する処理を行う。

特徴抽出部１１３は、ＣＰＵ等から構成され、紙領域検出部１１２で検出された各紙の領域から文書を特定するための特徴量を取得する。また紙領域検出部１１２が検出した紙の領域にジェスチャが重なっていなければ、取得した特徴量を記憶部１１５に入力する。

文書判定部１１４は、ＣＰＵ等から構成され、特徴抽出部１１３で抽出された特徴量と記憶部１１５に記憶されている特徴量を比較して文書を判定し、紙領域検出部１１２が出力した紙領域と文書の対応付けを行う。特徴量の比較の結果、一致する文書が無ければ、既存文書と区別可能な番号を付ける。比較する特徴量は、手が写り込んでいない紙から得られた特徴量で比較している。

レイアウト解析部１１６は、紙領域検出部１１２が選別した全紙面が取得されている画像データから文書のレイアウトを取得する。撮像部１１０で撮像された画像データが図９（ａ）に示すものであったとき、この画像からから紙領域検出部１１２が検出した１つ紙文書の領域情報を用いて１枚分の紙領域画像を切り出す。切り出された画像データは、図９（ｂ）のようになる。この画像から文書のレイアウト情報を取得する。レイアウト情報としては、文字領域、写真領域、グラフや線画などを含むラインアート領域、線などが取得可能である。レイアウト情報は、紙文書内での座標で表されることになる。

記憶部１１５は、ＲＡＭ１０３に相当し、以下の情報を時刻情報と共に記憶する。
・ジェスチャ取得部１１１が取得したジェスチャ情報
・紙領域検出部１１２が検出した各紙領域の位置情報
・特徴抽出部１１３が検出したジェスチャの重ならない全紙面が取得されている領域の特徴量
・文書判定部１１４が出力した各紙領域の文書番号
・レイアウト解析部１１６が出力したレイアウト情報
ジェスチャ選択部１１７は、ＣＰＵ等から構成され、記憶部１１５に記憶されているジェスチャの情報から説明に使われたジェスチャを選択する。紙文書を使用して行われる場合は、紙文書が動かないように紙を押さえる操作が行われることが多い。紙を押さえる動作と説明位置を指し示すジェスチャを区別するために、記憶部１１５に記憶されている紙の位置情報を用いる。例えば紙を触った位置が紙の端に近い場合や、同一位置に一定の時間以上留まっている場合は紙を押さえる動作と判断する。紙を押さえる操作は資料を説明するジェスチャではないので、説明履歴として記憶するジェスチャから除外する。

特徴量決定部１１８は、ＣＰＵ等から構成され、記憶部１１５に記憶されている各紙の複数の特徴量から少なくとも１つ以上の特徴量を決定する。保険商品について説明が行われている間、１つの紙文書について何度も特徴量が取得されることになる。それらの特徴量から絞り込むために行っている。処理方法としては、例えば全部でＮ個の特徴量があった場合、１つの特徴量を選択し残りＮ−１個の特徴量とのマッチングを行い類似度の平均値を求める。全Ｎ個の特徴量に対して平均の類似度を求め、類似度が最大となった特徴量を選択する。また、１つに絞り込まず平均の類似度の上位Ｍ個を選択することや、類似度の絶対値がある一定値以上のものを選択することも可能である。特徴量がｘ次元のベクトルとして表現できる場合は、全特徴ベクトルの平均ベクトルを算出して特徴量としても良い。また、平均値に対して一番距離が近い特徴量を選択しても良い。

レイアウト情報決定部１１９は、ＣＰＵ等から構成され、記憶部１１５に記憶されている各紙文書の複数のレイアウト情報からその紙文書のレイアウト情報を１つに決定する。

投影部１２０は、投影装置１０６に相当し、各処理部が検出した結果や各種電子データを投影する。例えば、ジェスチャ取得部１１１によって得られたジェスチャに対する応答をユーザに示す。紙領域検出部１１２が検出した紙の位置に合わせて枠などを投影する。レイアウト解析部１１６が出力したレイアウト情報を実際の紙に合わせて投影する。

フロー生成部１２１は、ジェスチャ選択部１１７から出力されたジェスチャ情報と記憶部１１５に蓄積された各紙文書の作業台に対しての位置情報、レイアウト情報決定部１１９で決定された各紙文書のレイアウト情報から、使用された紙文書および各紙文書の領域の順番を決定し説明フローを生成する。

ここで図１（ｃ）は、本実施形態における情報処理装置１００の外観の一例を示す図である。本実施形態では、作業台１２２に対し、撮像装置１０５は上部に設置され、作業台１２２に上向きに置かれた紙文書１２３を俯瞰撮像し、上に向いた読み取り対象面を読み取る。ジェスチャ取得装置１０６も同様に、作業台１２２の上面を俯瞰撮像することでユーザの操作ジェスチャを取得する。投影装置１０７は、作業台１２２の上面に、ユーザインタフェースを構成する画像や記憶部１１５に記憶された電子データ、情報処理装置１００が生成した電子データ等を含む投影画像を投影する。本実施形態では、撮像装置１０５、ジェスチャ取得装置１０６、投影装置１０７は同一の筐体で構成される。ただし、撮像装置１０５、ジェスチャ取得装置１０６、投影装置１０７それぞれの設置位置と撮像画角の情報を情報処理装置が予め把握されていれば、それぞれ別の場所に設置されてもよい。また、本実施形態では、投影装置１０７が作業台の上面に投影を行っているが、これに限らず、一般的なディスプレイなどの表示装置を構成しても良い。またジェスチャとして取得する情報がユーザの触った位置だけで足りるのであれば、作業台１２２の表面に接触型のセンサを配置することによってジェスチャを取得しても良い。

以下では、本実施形態を実現する環境の一例として、保険代理店で販売員と顧客が対面し、保険パンフレットを用いて販売員が顧客に保険商品の説明をする例で説明をする。まず、図２および図３を用いて基本的な本実施形態での動作例を説明する。図２（ａ）は情報処理装置１００の作業台１２２上に保険商品のパンフレット２０１が置かれた状態を表している。向かって手前側に顧客がおり、奥側に販売員がいるものとする。販売員は商品の説明をするために、図２（ｂ）のように説明したい紙文書を作業台１２２に置く。

図３（ａ）は、この情報処理装置１００の概略のフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

販売員が説明の開始時にシステムを起動することで、図３（ａ）のフローチャートに従った処理が行われる。ステップＳ３００１は、システムがジェスチャ取得装置１０６を使って販売員や顧客の行うジェスチャを取得するステップである。ステップＳ３００２は、システムが撮像装置１０５を使って作業台１２２に置かれた紙文書の位置や種類、投影装置１０７で作業台に投影された電子情報の位置や種類を取得するステップである。ステップＳ３００３は販売員によって行われた説明履歴を取得し、そのフローを生成するステップであり、販売員の説明終了をトリガーに実行される。販売員の説明終了は、販売員によって指示されても良いし、各装置の電源を切るなどのイベントを検知することによって自動的に判断されても良い。

図３（ｂ）は図３（ａ）のジェスチャログ取得ステップのＳ３００１の詳細を示したフローチャートである。ステップＳ３１０１はジェスチャ取得装置１０６によってジェスチャが取得される間に行われるループ処理のステップである。ジェスチャ取得装置１０６がジェスチャを検知したイベントによってステップＳ３１０２の処理が行われても良いし、一定の間隔でステップＳ３１０２を行っても良い。ユーザは、説明時にどの部分を説明しているかをシステムに知らせるために、例えば、説明したい文書の一部を指先で囲うようになぞっても良いし、領域の対角線をなぞったり、領域の対角点を明示的に知らせたりする。ステップＳ３１０１では、そのジェスチャを取得する。または、システムが各領域を投影装置１０６により明示的に囲う枠などの表示をし、ユーザが、表示された領域の中で説明したいコンテンツの領域を指先でタッチするなどして知らせるジェスチャを、システムが取得しても良い。

ステップＳ３１０２は、ジェスチャ取得装置１０６が検出したジェスチャを履歴情報として記憶部１１５に記憶するステップである。記憶される情報は、図４（ｂ）のような３次元空間の座標（ジェスチャの履歴例１）か図４（ｃ）のような判定結果（ジェスチャの履歴例２）のどちらでもよい。以下では図４（ｃ）のような判定結果が取得されていることとする。これらの処理が販売員の説明終了まで行われる。

図３（ｃ）は図３（ａ）の文書ログ取得ステップＳ３００２の詳細を示したフローチャートである。ステップＳ３２０１は、撮像部１１０で撮影された画像が入力される間行われるループ処理のステップである。ステップＳ３２０２は、入力されたフレーム画像と前フレームの画像を比較し、差分を抽出するステップである。通常は撮像装置の位置を固定しておき、画像のピクセル単位での差分を抽出する。ステップＳ３２０３は、差分の量を判定するステップである。各画素の差分の積分と入力画像の大きさによって決まる閾値を比較することによって判定を行う。差分が大きければステップＳ３２０４へ、差分が小さければステップＳ３２１５へ処理を進める。

ステップＳ３２０４は、紙文書の検出を行うステップであり、撮像部１１０で撮像された画像が紙領域検出部１１２に入力されることによって処理が行われる。検出方法は、紙の４辺のエッジを画像から検出することによって行われる。検出は作業台１２２上にある複数の紙文書全てを対象に行われる。

ステップＳ３２０５は、ステップＳ３２０４が検出した紙文書ごとに行われるループのステップである。

ステップＳ３２０６は紙文書を識別するための特徴量を抽出するステップであり、特徴抽出部１１３において処理が行われる。入力されたフレーム画像から紙文書の領域を切り出し、切り出された領域内から特徴量を抽出する。

ステップＳ３２０７は、紙文書の種類を特定するステップであり、文書判定部１１４において処理が行われる。記憶部１１５に記憶されている文書番号と紐付けされている特徴量とのマッチングを行うことで使用されている文書番号の特定を行う。

ステップＳ３２０８は、ステップＳ３２０７で行われた文書の特定処理の結果によって処理を分けるステップである。特定できた場合はステップＳ３２０９へ、特定できなかった場合はステップＳ３２１１へ処理を進める。

ステップＳ３２０９は、特定された文書番号が、保険商品の説明の履歴取得中に新規に発行されたものか既存のものかで処理を切り分けるステップである。新規発行されたものであれば、ステップＳ３２１１へ、既存のものであれば１つの検出された紙文書のループを抜け、ステップ３２０５に戻り、次に検出された紙文書のループに入る。

ステップＳ３２１０は、検出されている紙文書に欠けがあるかどうかを判定するステップである。欠けの有無の判定は、ステップＳ３２０４で行われた検出処理によって４辺全てが切れ目なく検出されているかどうかで判定を行う。またこのときジェスチャ取得装置１０６の出力を参照し、ジェスチャの位置が処理中の紙文書の位置にかかっているかどうかも判定に用いても良い。欠けが無ければ、ステップＳ３２１３へ、欠けがあれば１つの検出された紙文書のループを抜け、次に検出された紙文書のループに入る。

ステップＳ３２１１も検出されている紙文書に欠けがあるかどうかの判定を行うステップであり、ステップＳ３２１０と同じ処理が行われる。欠けが無ければ、ステップＳ３２１２へ、欠けがあれば１つの検出された紙文書のループを抜け、次に検出された紙文書のループに入る。

ステップＳ３２１２は、新規に文書番号を発行するステップである。この処理は、検出された紙文書が既存のものと一致せず、欠けが無い場合に行われる。

ステップＳ３２１３は、紙文書のレイアウト解析を行うステップであり、レイアウト解析部１１６によって行われる。ステップＳ３２１４は、レイアウト情報、特徴量を保存するステップである。この処理は新規に文書番号が発行されたものについてのみ行われ、文書番号に紐付けてステップＳ３２０６で生成された特徴量とステップＳ３２１４で生成されたレイアウト情報を記憶部１１５に記憶していく。またこの処理は新規に発行された文書番号の文書と一致した場合に行われるため、１つの新規文書番号に対して複数の特徴量とレイアウト情報が記憶されていくことになる。

ステップＳ３２０６からステップＳ３２１４までの処理が、ステップＳ３２０４で検出された１つの紙文書に対して行われ、次の紙文書のループに入る。

ステップＳ３２１５は、履歴情報を生成するステップである。検出された全ての紙文書の文書番号とその紙文書が検出された位置を記憶部１１５に記憶する。

ステップＳ３２０２からステップＳ３２１５の処理を撮像部１１０からフレーム画像が入力される間行うことによって、図４（ａ）に示す説明中に使用された文書番号とその位置（原稿代に対する座標位置）を履歴として取得することができる。

販売員が一連の説明を終了したと判断すると、図３（ｄ）に示すフローチャートにより説明フローが生成される。新規に発行された同じ文書番号の紙文書に対して、複数の特徴量・レイアウト情報が取得されているため、絞り込む処理を行う。

ステップＳ３３０１は、新規発行された文書番号に対してループ処理を行うステップである。ステップＳ３３０２は、特徴量決定部１１８によって処理が行われ少なくとも１つ以上の特徴量を生成する。ステップＳ３３０４は、レイアウト情報決定部１１９によって処理が行われ、１文書に１つのレイアウト情報が生成される。処理の方法としては、撮像された画像に含まれた文書領域が最大となったものを選択する。新規文書番号に対し、ステップＳ３３０２からステップＳ３３０４の処理が行われる。

ステップＳ３３０５は、紙文書と電子情報の検出履歴とジェスチャ履歴から、説明に使われた文書の部分領域の単位（以下、「区間情報」とも記載する。）を生成するステップである。ジェスチャの履歴に含まれる紙文書や電子情報に触ったと考えられる部分に対応する紙文書と電子情報の検出履歴から文書を特定し、タッチした位置が文書中のどの位置にあるかを判定する。その結果を図４（ｄ）に示す。次に対応する文書のレイアウト情報を使用してどの領域を示しているかの判定を行う。図５（ａ）はレイアウト情報の１例であり、テキスト領域４０１と円グラフ４０２は異なる属性の領域として取り出されている。説明に使用されたジェスチャの座標の軌跡が、例えば両方の領域を囲むようになっていれば、図５（ｂ）に示すように２つの領域をまとめて１つの説明領域としてまとめる。この処理によって図４（ｅ）にしめすように各時刻における説明に使われた領域を得る。１つのジェスチャで指示されて説明に使われた連続する領域をまとめることで図４（ｆ）に示す区間情報を生成する。

ステップＳ３３０６は、区間情報からこの区間情報を系列として出力するステップである。この処理によって図４（ｇ）に示すような説明領域の順番が説明フローとして生成される。

以上の処理で生成された文書番号、特徴量、説明領域（＝区間情報）、説明フローを記憶部１１５に記憶して終了する。

尚、図４（ａ）から（ｄ）に示した位置座標は、作業台１１２に対する座標であり、図４（ｅ）から（ｇ）に示した位置座標は、文書内における位置座標である。

次に蓄積された説明フローの活用について説明する。蓄積された説明フロー対し、従来技術である系列パターンマイニングの手法を説明順序に適用し、頻出する系列パターンを抽出することができる。系列パターンマイニングとは、系列データから頻出する部分系列を抽出する技術であり、ＰｒｅｆｉｘＳｐａｎやＳＰＡＤＥなどの手法で実現できる。抽出した系列パターンは、ある保険商品を説明する際に、販売員が良く行っている電子コンテンツデータの表示フローと考えられる。

例えば図６のように、ある保険商品のパンフレット５０１を説明する際には、領域５０２→領域５０３→領域５０４の順に表示されることが多いという具合である。これはその保険商品を説明するためのノウハウとして再利用されることが望ましい。また、１つの保険商品に１つの表示フローだけが抽出されるわけではなく、複数の表示フローが抽出される。顧客の属性情報と合わせて分析することで、例えば、保険商品について事前の知識がまったくない人向けに良く行われていた表示フローや、保険の乗り換えを検討している人向けに良く行われていた表示フローなどが抽出できる。例えば乗り換えを検討している人は保険の知識があり、ほとんど説明を行わなくても良い部分がある。このような部分が検出されると、乗り換えを検討している人向けのパンフレットを作り、紙面における詳細な説明が不要な部分の面積を小さくし、より重要な部分の面積を大きくするなど営業部門だけではなくパンフレット作成部門へフィードバックすることもできる。

このシステムによるフローの取得は、営業成績の良いベテランの販売員だけではなく、新しく採用された販売員のフローを取得し、そのフローをベテランの販売員のものと比較することで新しく採用された販売員への教育へ利用することができる。

このように生成したフローを例えば商談が成功したかどうかの情報と共に蓄積することによって良いフローと悪いフローに分類することが可能になる。文書毎に複数の良いフローから共通パターンを抽出すれば、紙文書が検出された時点で良い説明フローを推薦することができる。

次に生成された説明順序の推薦方法について説明する。

図７（ａ）は、保険商品の説明開始時の状態を表している。情報処理装置１００の作業台１２２上に保険商品のパンフレット６０１が置かれると、撮像部１１０で撮像された画像が紙領域検出部１１２に入力され、画像中にある紙の領域が検出される。紙が検出されるとその領域を切り出し特徴抽出部１１３において紙文書の特徴量が取得される。文書判定部１１４において記憶部１１５に記憶されている文書番号と特徴量のマッチングを行うことで使用されている文書番号の特定を行う。特定された場合は、その文書を説明するためのフローを６０２のように表示する。以降は表示されたフローに従った順番で説明を行えばよい。

ここでは、紙文書と表示された電子情報を例にして説明を行ったが、紙文書だけではなく立体物を用いた説明においてもこのシステムを利用することができる。

さらにＭｉｘｅｄ Ｒｅａｌｉｔｙシステムと連携し、仮想空間における仮想オブジェクトと実空間における物体の操作履歴を取得し、同様なフローを生成することも可能である。

＜第２の実施形態＞
第１の実施形態においては、紙文書を作業台１２２に置いて説明する場合について説明したが、電子文書全体を投影装置１０７で投影して説明を行う場合も同様に処理を行うことができる。

この実施形態の場合は、システムのユーザが投影する電子情報を選択することで行われるため、どの電子情報がどの位置に投影されているかはシステム側で検出可能である。したがって、記憶部１１５は、システムから得られた電子情報と電子情報の投影位置を時刻と共に記憶する。また文書のレイアウト情報は、あらかじめ電子情報から一意に生成しておくことが可能である。

ジェスチャ情報の取得については、第１の実施形態と同様に行うことで、フロー生成に必要なジェスチャ情報、各電子情報の位置、各電子情報のレイアウト情報から得ることができるため同様にフローの生成が可能となる。

＜第３の実施形態＞
第１の実施形態においては、生成された説明順序の推薦方法は表示だけであったが、説明の流れによっては表示とは異なる操作を行う場合がある。図６（ｂ）に示すように紙文書６０１の説明中に紙文書６０３が作業台１２２上に置かれる場合がある。この場合紙文書６０３が検出されることをトリガーとして表示するフローを変更する。この時紙文書６０３の検出位置によって表示する説明フローを変更する。

例えば客側に近い位置や既存の紙文書の上に重なるような位置に紙文書６０３が検出されると、紙文書６０３の説明フローを優先して表示するが、前記条件を満たさない場合は、現在説明中の６０１内の説明領域の後に紙文書６０３の説明領域を表示する。

このように表示されているフローとは異なる操作が行われた場合において、紙文書の検出位置に応じて説明フローを変更することが可能となる。

＜第４の実施形態＞
第１の実施形態では、販売員の説明が終了した後にフローの生成処理を行ったが、説明中にフローを生成するための区間情報を作り販売員に生成された区間情報が正しいかどうかの判定の入力や区間情報自体の修正を行っても良い。区間情報が紙文書に関するものである場合、図８の８０１に示すような表示が行われる。このときその時点での紙文書の位置に合わせて表示する必要があるため、最新の紙文書の位置を取得し、その位置へ区間情報が正しく表示されるように座標変換を行って表示を行う。電子情報である場合は、システム側が表示している位置を把握しているため、電子情報の表示に重畳して区間情報を表示する。説明員は、その表示を確認し意図と合っていれば「ＯＫ」ボタンを押し、合っていなければ「Ｃａｎｃｅｌ」ボタンと押す。また表示されている区間情報の枠を指でタッチして動かすことによって枠の位置を、枠の中をタッチして動かすことで枠の位置を変更することで、意図に沿った枠を作り出すこともできる。また、システム側で生成された区間情報を完全に消してしまい、区間情報となる領域の外接を指でなぞることで区間情報を生成することもできる。生成される区間情報は矩形だけではなく、任意の形状にすることもできる。

また、販売員の説明終了後に、生成された説明フローを表示し、そのフローの修正を行うこともできる。紙文書が使われたときは、その紙文書が作業台１２２上から取り去られている場合もあるため、この場合は撮像装置１０５で得られた画像データから紙文書の画像を切り出して保存しておき、その画像を用いてフローを表示する。

＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。各実施形態の処理を組み合わせることも可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 任意の時刻に物体または電子データの位置情報を取得する取得手段と、
   前記物体または電子データに対するジェスチャ情報を検出し、前記ジェスチャ情報を検出した時刻と共に記憶する検出手段と、
   前記ジェスチャ情報により指定された前記物体または電子データの領域情報を時間順に並べて履歴を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 任意の時刻に物体または電子データの位置情報を取得する取得工程と、
   前記物体または電子データに対するジェスチャ情報を検出し、前記ジェスチャ情報を検出した時刻と共に記憶する検出工程と、
   前記ジェスチャ情報により指定された前記物体または電子データの領域情報を時間順に並べて履歴を生成する生成工程と、
   を備えることを特徴とする画像処理方法。
3. コンピュータを、
   任意の時刻に物体または電子データの位置情報を取得する取得手段と、
   前記物体または電子データに対するジェスチャ情報を検出し、前記ジェスチャ情報を検出した時刻と共に記憶する検出手段と、
   前記ジェスチャ情報により指定された前記物体または電子データの領域情報を時間順に並べて履歴を生成する生成手段と、
   として機能させるためのプログラム。
4. 撮像装置、表示装置、ジェスチャ取得装置を持つシステムにおいて
   撮像装置で撮影された画像から１つ以上の物体の位置を取得する物体位置取得手段と、
   表示装置で表示されている１つ以上の電子情報の位置を取得する電子情報位置取得手段と、
   前記物体位置取得手段によって得られた物体位置と前記電子情報位置取得手段によって取得された電子情報位置を系列データとして記憶する物体位置記憶手段と、
   前記１つ以上の物体または表示された情報に対する１つ以上のジェスチャ情報を検出するジェスチャ情報検出手段と、
   前記ジェスチャ情報検出手段によって検出されたジェスチャ情報を系列データとして記憶するジェスチャ情報記憶手段、
   前記物体位置記憶手段と前記ジェスチャ情報記憶手段に記憶されている系列データから意味付けされた区間情報を生成する区間情報生成手段と、
   前記区間情報生成手段によって生成された区間情報によって１つ以上の物体または表示されている１つ以上の電子情報の利用履歴を生成する利用履歴生成手段を有することを特徴とする映像処理システム。
5. 前記区間情報生成手段によって生成された区間情報が、物体に関するものである場合に、請求項１記載の物体位置取得手段で得られた物体位置の位置に合わせて表示する手段と、
   前記区間情報生成手段によって生成された区間情報が、電子情報に関するものである場合は、電子情報に重畳して表示する手段と、
   表示手段によって表示されている区間情報を修正する区間情報修正手段を有することを特徴とする請求項４記載の映像処理システム。
6. 前記区間情報生成手段は、
   前記物体位置記憶手段に記憶されている物体位置または電子情報の位置と前記ジェスチャ情報記憶手段に記憶されているジェスチャ情報から、物体または電子情報に対する指示操作を抽出する指示操作抽出手段と、
   前記指示操作抽出手段によって得られた指示動作に基づいて区間情報生成することを特徴とする請求項４記載の映像処理システム。
7. 前記物体位置取得手段によって取得された物体位置と前記ジェスチャ位置取得手段によって取得されたジェスチャ位置によって撮影装置で撮影された画像に含まれる物体に欠けが無いことを判断する物体欠け判断手段と、
   前記物体欠け判断手段で物体欠けが無いと判断された物体について物体を識別するための特徴量を取得する特徴量取得手段を有することを特徴とする請求項４乃至請求項６記載の映像処理システム。
8. 特徴量取得手段によって取得された複数の特徴量からすくなくとも１つ以上の特徴量を生成する特徴量生成手段を有することを特徴とする請求項７記載の映像処理システム。
9. 前記物体が紙文書であり、
   撮影装置で撮影された１つ以上の紙文書のレイアウト情報を取得するレイアウト情報取得手段と、
   前記レイアウト情報取得手段によって得られたレイアウト情報を記憶するレイアウト情報記憶手段と、
   物体位置記憶手段に記憶された１つ以上の紙文書または表示されている電子情報の位置と、ジェスチャ情報記憶手段に記憶されたジェスチャ情報と、
   レイアウト情報記憶手段に記憶されたレイアウト情報から、使用されている紙文書または表示されている電子情報の説明領域を生成する手段を有することを特徴とする請求項４から請求項８記載の映像処理システム。
10. レイアウト情報記憶手段に記憶された各紙文書の複数のレイアウト情報から、各紙文書のレイアウト情報を決定する手段を有することを特徴とする請求項９記載の映像処理システム。
11. 利用履歴生成手段により生成された利用履歴を蓄積し記憶する利用履歴記憶手段と、
    前記利用履歴記憶手段に記憶された複数の利用履歴を使用する利用履歴使用手段を有することを特徴とする請求項４から請求項１０記載の映像処理システム。

Images