JP2016194835A

JP2016194835A - 情報抽出方法、情報抽出プログラム及び情報抽出装置

Info

Publication number: JP2016194835A
Application number: JP2015074648A
Authority: JP
Inventors: 隆敏山中; Takatoshi Yamanaka; 山野　大偉治; Taiji Yamano; 大偉治山野; 岡田　佳之; Yoshiyuki Okada; 佳之岡田; 大石　和弘; Kazuhiro Oishi; 和弘大石
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-03-31
Filing date: 2015-03-31
Publication date: 2016-11-17

Abstract

【課題】対象物上の情報のうち、所望の情報を抽出することができる情報抽出方法を提供する。
【解決手段】撮像装置により対象物を撮像して撮像画像を取得し、前記対象物上の指定された第１の位置を算出し、前記撮像画像のうち前記第１の位置に対応する部分から第１情報を抽出し、抽出した前記第１情報を投影装置により投影し、投影された前記第１情報上の指定された第２の位置を算出し、前記第１情報のうち前記第２の位置に対応する部分から第２情報を抽出する。
【選択図】図１

Description

本発明は、情報抽出方法、情報抽出プログラム及び情報抽出装置に関する。

作業面に焦点が合わされたカメラ／プロジェクタにより、テキストとイメージを含む原文書から新しい文書を作成する対話式複写装置が知られている。このような対話式複写装置は、ユーザの指の動作により原文書上のテキストやイメージなどの情報が選択されると、選択された情報をカメラにより取り込み、取り込んだ情報をプロジェクタにより投影する。更に、対話式複写装置は、ユーザの指の動作により投影情報の位置調節が行われると、位置調節の結果を反映させた情報を含む新たな文書を作成する。

特開平７−１６８９４９号公報

しかしながら、従来技術では、ユーザの指でテキストやイメージなどの情報の選択が行われるため、選択動作時に選択対象が指（手）により隠れてしまったり、ユーザが選択を希望する文字列の隣の文字や上下の文字も誤って選択されてしまうといった問題がある。
一つの側面では、所望の情報の抽出を支援する情報抽出方法、情報抽出プログラム及び情報抽出装置を提供することを目的とする。

情報抽出方法の一観点では、撮像装置により対象物を撮像して撮像画像を取得し、前記対象物上の指定された第１の位置を算出し、前記撮像画像のうち前記第１の位置に対応する部分から第１情報を抽出し、抽出した前記第１情報を投影装置により投影し、投影された前記第１情報上の指定された第２の位置を算出し、前記第１情報のうち前記第２の位置に対応する部分から第２情報を抽出する。

一実施形態によれば、所望の情報を抽出することができる。

図１は、第１実施形態に係る情報抽出システムの構成を示す図である。図２は、第１実施形態に係る制御装置の構成を示す図である。図３は、第１実施形態に係る情報抽出方法の手順を示すフローチャートである。図４Ａは、第１実施形態に係る情報抽出方法の手順を示す図である。図４Ｂは、図４Ａに引き続き、第１実施形態に係る情報抽出方法の手順を示す図である。図４Ｃは、図４Ｂに引き続き、第１実施形態に係る情報抽出方法の手順を示す図である。図４Ｄは、図４Ｃに引き続き、第１実施形態に係る情報抽出方法の手順を示す図である。図４Ｅは、図４Ｄに引き続き、第１実施形態に係る情報抽出方法の手順を示す図である。図５は、図４Ｄと同じ手順における他の方法を示す図である。図６は、第１実施形態に係る情報抽出システムの構成の変形例を示す図である。図７は、第２実施形態に係る制御装置の構成を示す図である。図８は、第２実施形態に係る情報抽出方法の手順を示すフローチャートである。図９Ａは、図４Ｂに引き続き、第２実施形態に係る情報抽出方法の手順を示す図である。図９Ｂは、図９Ａに引き続き、第２実施形態に係る情報抽出方法の手順を示す図である。図９Ｃは、図９Ｂに引き続き、第２実施形態に係る情報抽出方法の手順を示す図である。図１０は、第３実施形態に係る制御装置の構成を示す図である。図１１は、第３実施形態に係る情報抽出方法の手順を示すフローチャートである。図１２Ａは、図４Ｂに引き続き、第３実施形態に係る情報抽出方法の手順を示す図である。図１２Ｂは、図１２Ａに引き続き、第３実施形態に係る情報抽出方法の手順を示す図である。図１２Ｃは、図１２Ｂに引き続き、第３実施形態に係る情報抽出方法の手順を示す図である。図１３は、図１２Ａと同じ手順における他の方法を示す図である。図１４は、本発明に係る制御装置のハードウェア構成図である。

以下に、本発明に係る情報抽出方法、情報抽出プログラム及び情報抽出装置の実施形態の例を、図面に基づいて詳細に説明する。

（第１実施形態）
［情報抽出システムの構成］
図１は、本発明の第１実施形態に係る情報抽出システム１００の全体の構成の一例を示す図である。図１に示すように、情報抽出システム１００は、制御装置１０、第１撮像装置１１、投影装置１２を備える。制御装置１０は、第１撮像装置１１及び投影装置１２と通信可能に有線又は無線で接続される。第１撮像装置１１としては、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを用いても良い。図１の一点鎖線で囲まれた領域は、第１撮像装置１１の撮像範囲１３を示す。なお、作業台１４は、第１撮像装置１１を支持する支持アーム（不図示）と連結されているが、第１撮像装置とは別個の部材であっても良い。

また、第１撮像装置１１による撮像画像については、例えば、図１に示すように、作業台１４上の撮像範囲１３の左下の頂点を原点とし、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標系が定義される。

図２は、第１実施形態に係る制御装置１０の構成を示す図である。図２に示すように、制御装置１０は、制御部２００、記憶部２０１を備える。更に、制御部２００は、撮像制御部２１、転送部２２、検出部２３、算出部２４、判定部２５、第１抽出部２６、第２抽出部２７、投影制御部２８等の処理部を備える。

制御部２００は、制御装置１０を制御するデバイスである。制御部２００としては、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の電子回路を用いても良い。制御部２００は、記憶部２０１に記憶されている各種の処理が規定されたプログラムを読み出し、読み出したプログラムを実行することで、撮像制御部２１、転送部２２、検出部２３、算出部２４、判定部２５、第１抽出部２６、第２抽出部２７、投影制御部２８等の処理部に対応する各種の処理を実行しても良い。なお、各種の処理を専用のハードウェアを用いて実現しても良い。

撮像制御部２１は、所定のフレームレートで周期的に撮像を行うように第１撮像装置１１を制御する。フレームレートは、例えば、ユーザが入力動作のために作業台１４上で指を移動させた場合に、移動に追従して指が写るようなレートとすることができる。例えば、フレームレートは、２４ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）、３０ｆｐｓ、６０ｆｐｓなどが挙げられるが、これらに限られるものではない。第１撮像装置１１により撮像された撮像画像は、一時的に記憶部２０１に記憶される。

転送部２２は、各装置間及び制御装置１０内の各部間のデータ転送処理を行う。例えば、第１撮像装置１１により撮像された対象物１５（例えば、雑誌、新聞）の撮像画像を記憶部２０１に転送して記憶させる処理、及び制御部２００により行われた演算結果のデータや加工処理後のデータを記憶部２０１や投影装置１２に転送する処理を行う。

検出部２３は、第１撮像装置１１により撮像され記憶部２０１に記憶された撮像画像に基づき、撮像画像に写り込んだ指示画像（例えば、ユーザの指、指示棒等の何らかの対象を指し示すものの画像）を検出する。例えば、指示画像の検出は、記憶部２０１に予め記憶されている指示画像の色情報及び／又は形状情報に基づき行われる。

具体的には、検出部２３は、第１撮像装置１１により撮像された撮像画像から各画素の色情報を抽出する。続いて、検出部２３は、抽出した色情報と記憶部２０１に予め記憶された指示画像の色情報とを比較して、抽出した色情報が予め記憶された指示画像の色情報の所定の範囲内である領域を、指示画像の候補領域として検出する。

更に、検出部２３は、検出された候補領域の形状から形状情報を抽出し、抽出した形状情報と予め記憶部２０１に記憶された指示画像の形状情報との一致度を算出する。続いて、検出部２３は、形状情報の一致度が所定値以上である場合に、検出した指示画像の候補領域に、指示画像が存在すると判定する。

なお、色情報は、指示画像として想定される物の色の範囲を含んでも良い。この色の範囲は、例えば、ＨＳＶ（色相(Ｈｕｅ)、彩度(Ｓａｔｕｒａｔｉｏｎ)、明度(Ｖａｌｕｅ)）表色系における色相と彩度により定義される。形状情報は、指示画像（例えば、手）の外形の特徴点を含む。

算出部２４は、検出部２３により撮像画像から指示画像が検出される毎に、ＸＹ座標系おける、撮像画像から指示画像の代表点の２次元位置（ｘ，ｙ）を算出する。指示画像として指を用いる場合、代表点として、例えば指先を用いても良い。

なお、算出部２４は最初の指示位置（第１の位置）を算出する第１算出部、及び次の指示位置（第２の位置）を算出する第２算出部として機能する。

判定部２５は、算出部２４により算出された指示画像の代表点の時系列の２次元位置（ｘ，ｙ）に基づき、ユーザの入力動作（停止動作、スライド動作等）を判定する。例えば、対象物上のＡ点において、一定時間（例えば３秒）以上、指示画像の代表点が停止した場合、判定部２５は、停止動作（対象物上のＡ点を指定する動作）が行われたと判定する。さらに、指示画像の代表点が対象物上のＡ点からＢ点まで移動した場合、判定部２５は、対象物上のＡ点からＢ点までのスライド動作（Ａ点とＢ点とを頂点とする矩形領域の指定動作）が行われたと判定する。

第１抽出部２６は、判定部２５により所定の停止動作（例えば、対象物１５上の第１の位置において、一定時間（例えば３秒）指示画像が停止）が判定された場合に、算出部２４により算出された指示画像の代表点の２次元位置から対象物１５上の第１の位置の周辺領域４１（図４Ｂ参照）を確定する。なお、停止動作は０秒とし、指定に応じてリアルタイムに周辺領域４１を確定しても良い。更に、第１抽出部２６は、第１撮像装置１１の撮像画像から周辺領域４１に対応する画像（以下、周辺画像４２（図４Ｃ参照）とする）を抽出する。抽出された周辺画像４２は、周辺画像４２の範囲情報と共に記憶部２０１に記憶される。ここで、周辺画像４２の範囲情報は、例えば、ＸＹ座標系における周辺画像４２の座標範囲（例えば、Ｘ１〜Ｘ２，Ｙ１〜Ｙ２）とすることができる。

周辺領域４１の範囲は、ユーザが任意に設定することができる。例えば、ユーザは、対象物に表記された所定の行上において停止動作が判定された場合に、第１抽出部２６が、その行の上下２、３行分（又は２ｃｍ、３ｃｍ）を含む領域を周辺領域４１として確定するように設定しても良い。

第２抽出部２７は、判定部２５により所定の選択動作（例えば、スライド動作）が判定された場合に、撮像画像から、選択動作により選択された領域（以下、選択領域４３（図４Ｅ参照））に対応する画像（以下、選択画像とする）を抽出する。例えば、第２抽出部２７は、選択動作により指定された第２の位置に基づき、第１の撮像装置の撮像画像から選択画像を抽出する。選択画像は、記憶部２０１に記憶される。

なお、周辺画像４２と共に記憶されている範囲情報に基づき、周辺画像上の点はＸＹ座標系の座標で特定される。その為、第２抽出部２７は、周辺画像４２からも選択画像を抽出することができる。

投影制御部２８は、投影装置１２により周辺画像４２などの画像を投影する処理を行う。例えば、投影制御部２８は、ＸＹ座標系における投影する位置、大きさ、色彩を調整する。

記憶部２０１は、例えばハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、光ディスクなどの不揮発性の記憶装置である。なお、記憶部２０１は、例えばＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ、ＮＶＳＲＡＭ（ＮｏｎＶｏｌａｔｉｌｅＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ)などのデータを書き換え可能な半導体メモリであっても良い。

また、記憶部２０１は、例えば制御部２００で実行されるＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）、各種プログラム、及び各種データを記憶する。

［情報抽出の処理手順］
次に、第１実施形態に係る上記情報抽出システムを用いた情報抽出方法について、図３〜図５を参照して説明する。図３は、第１実施形態に係る情報抽出方法の情報抽出の処理手順を示すフローチャートである。図４Ａ〜４Ｅは、第１実施形態に係る情報抽出方法を示す図である。図５は、図４Ｄと同じ手順における他の方法を示す図である。

第１実施形態に係る情報抽出方法として、図４Ａに示すように、複数の文字列が記載された対象物１５（例えば文書）から特定の文字列４０（例えばＵＲＬ）のみを選択し抽出を行う場合を一例に挙げる。

以下、装置間及び制御装置１０内の各部間のデータ通信は、転送部２２により行われることを前提として説明を省略する。

まず、ユーザは、図１に示すように、抽出したい文字列４０（図４Ａ参照）が記載された対象物１５を、作業台１４上の、第１撮像装置１１の撮像範囲１３内に載置する。

撮像制御部２１は、第１撮像装置１１により、例えばフレームレート２４ｆｐｓで対象物１５を撮像することで、時系列の撮像画像を取得する（Ｓ１０１）。撮像画像は一時的に記憶部２０１に記憶される。

ここで、図４Ｂに示すように、ユーザが、抽出したい文字列４０の記載箇所において、所定の停止動作Ｔを行ったとする。例えば、停止動作Ｔは、対象物１５上で、抽出したい文字列４０の位置を指で指定し、その後３秒間そのまま停止する動作とする。

続いて、検出部２３は、第１撮像装置１１により撮像された撮像画像に基づき、撮像画像に写り込んだ指示画像としての指の有無を判断する。（Ｓ１０２）。

ここで、指が検出された場合（Ｓ１０２のＹｅｓ）、算出部２４は、時系列の撮像画像から指先の時系列のＸＹ座標系における第２次元位置を算出する（Ｓ１０３）。一方、指が検出されなかった場合は（Ｓ１０２のＮｏ）、検出部２３は、再度撮像された撮像画像から指の有無を判断する（Ｓ１０２）。

次に、判定部２５は、算出部２４により算出された時系列の指先の２次元位置情報に基づき、停止動作Ｔ（指先が３秒以上同じ座標に位置すること）が行われたかどうか判定する（Ｓ１０４）。

ここで、停止動作Ｔが行われたと判定された場合（Ｓ１０４のＹｅｓ）、第１抽出部２６は、算出部２４により算出された指先の２次元位置の周辺領域４１を確定する（Ｓ１０５）。更に、第１抽出部２６は、確定した周辺領域４１に対応する周辺画像４２を、第１撮像装置１１により撮像された撮像画像から抽出する（Ｓ１０６）。抽出された周辺画像４２は、周辺画像４２の範囲情報と共に記憶部２０１に記憶される。停止動作Ｔが行われたと判定されなかった場合（Ｓ１０４のＮｏ）、判定部２５は、再度時系列の指先の２次元位置情報に基づき、停止動作Ｔが行われたかどうか判定する（Ｓ１０４）。

次に、投影制御部２８は、投影装置１２を用いて、第１抽出部２６が抽出した周辺画像４２を、作業台１４上に投影する（Ｓ１０７）。この場合、投影制御部２８は、ＸＹ座標系における２次元位置を指定して周辺画像４２の投影位置を制御する。例えば、図４Ｃに示すように、対象物１５に並べて周辺画像４２を投影しても良い。

ここで、図４Ｄに示すように、ユーザが対象物１５上で、抽出したい文字列４０を、指のスライド動作Ｓにより選択したとする。なお、ユーザは、周辺画像４２の投影像上で指のスライド動作Ｓによる選択を行なっても良い。

すると、検出部２３は、第１撮像装置１１により撮像された撮像画像に基づき、撮像画像に写り込んだ指示画像としての指の有無を判断する（Ｓ１０８）。

ここで、指が検出された場合（Ｓ１０８のＹｅｓ）、算出部２４は、時系列の撮像画像から指先の時系列のＸＹ座標系における２次元位置を算出する（Ｓ１０９）。一方、指が検出されなかった場合（Ｓ１０８のＮｏ）、検出部２３は、再度撮像された撮像画像から、指示画像としての指の有無を判断する（Ｓ１０８）。

次に、判定部２５は、算出部２４により算出された時系列の指先の２次元位置情報に基づき、スライド動作Ｓが行われたかどうかを判定する（Ｓ１１０）。

ここで、スライド動作Ｓが行われたと判定された場合（Ｓ１１０のＹｅｓ）、第２抽出部２７は、算出部２４により算出された指先の２次元位置に基づき、スライド動作Ｓにより選択された対象物１５上の選択領域４３を確定する（Ｓ１１１）。一方、スライド動作が行われたと判定されなかった場合（Ｓ１１０のＮｏ）、判定部２５は、再度算出部２４により算出された時系列の指先の２次元位置情報に基づき、スライド動作Ｓが行われたかどうかを判定する（Ｓ１１０）。

更に、第２抽出部２７は、第１撮像装置１１の撮像画像から、確定した選択領域４３に対応する画像、すなわち選択画像を抽出する（Ｓ１１２）。抽出された選択画像は記憶部２０１に記憶される。

以上の手順により、情報抽出システム１００は、対象物１５から所望の文字列４０を画像データとして、抽出することができる。なお、第２抽出部２７は、周辺画像４２から選択画像を抽出しても良い。本実施形態によれば、周辺画像４２を対象物１５に並べて投影するため、ユーザは、例えば、選択時に指により隠れてしまう文字を周辺画像４２で視認しながら選択を行うことができる。

また、第１実施形態のスライド動作Ｓによる選択時において、図５に示すように、情報抽出システム１００が検出している選択範囲５０を、周辺画像４２の投影画像上で識別可能に表示しても良い。例えば、選択範囲５０を、その周囲とは異なる色で表示しても良い。これにより、ユーザは、例えば文字列の選択中に、情報抽出システム１００が検出している選択範囲５０を視認することができる。もし不要な部分が選択されている場合は、ユーザは適宜選択をやり直すことができる。

図６は、本実施形態に係る情報抽出システム１００の構成の変形例を示す図である。第１実施形態において、情報抽出システム１００が１つの第１撮像装置１１を備える場合を説明してきたが、これに限られるものでははく、図６に示すように、情報抽出システム１００が、第１撮像装置１１及び第２撮像装置１６を備えても良い。

図６の二点鎖線で囲まれた領域は、第２撮像装置１６の撮像範囲１７を示す。第１撮像装置１１の撮像範囲１３及び第２撮像装置１６の撮像範囲１７は共通する撮像範囲を含めば良く、第１撮像装置１１及び第２撮像装置１６は其々の撮像範囲が同一となるように配置されても良い。

また、撮像制御部２１は、第１撮像装置１１、第２撮像装置１６による撮像タイミングを同期させる制御をしても良い。それにより、各種の処理において制御部２００が行う演算をより簡易化することが可能である。

この変形例によれば、制御部２００は、指示画像の２次元位置に高さ方向を含めた３次元位置も算出することができる。なお、３次元位置は、例えば座標系に加えて、作業台１４の鉛直方向をＺ軸として規定される。

指示画像の３次元位置の算出方法としては、ステレオ視による方法がある。この場合、算出部２４は、第１撮像装置１１及び第２撮像装置１６の其々により撮像された撮像画像より指示画像の代表点の２次元位置（ｘ，ｙ）を其々算出する。例えば、算出部２４は、第１撮像装置１１により撮像された撮像画像に写り込んだ指示画像の代表点の２次元位置（ｘ１，ｙ１）、第２撮像装置１６により撮像された撮像画像に写り込んだ指示画像の代表点の２次元位置（ｘ２，ｙ２）を算出する。そして、代表点の２次元位置（ｘ１，ｙ１）、（ｘ２，ｙ２）を基に三角測量の原理で代表点のｚ座標を算出する。

指示画像の３次元位置については、判定部２５による入力動作の判定に用いられる。例えば、判定部２５による判定の処理は、指示画像の代表点のｚ座標が対象物１５のｚ座標と一致した場合（又は、対象物１５の高さの近傍となった場合）にのみ、すなわち指示画像の代表点の高さが対象物１５の高さに一致した場合にのみ、各種入力動作と判定するようにしても良い。この場合、指示画像の各種入力動作に伴う対象物１５の遥か上方での指示画像の移動が誤って各種入力動作と判定されることを防ぐことができる。

なお、この変形例は、後に説明する第２実施形態及び第３実施形態にも適用することができる。

（第２実施形態）
第２実施形態に係る制御装置１０Ａは、更に拡大部２９を含む。なお、第１実施形態と同様の構成については同一の参照符号を付し説明を省略する。

図７は、第２実施形態に係る制御装置１０Ａの構成を示す図である。制御装置１０Ａは、制御部２００Ａ、記憶部２０１を備える。更に、制御部２００Ａは、撮像制御部２１、転送部２２、検出部２３、算出部２４、判定部２５、第１抽出部２６、第２抽出部２７、投影制御部２８に加えて、更に拡大部２９等の処理部を備える。

拡大部２９は、第１抽出部２６により抽出された周辺画像４２を拡大した画像（以下、拡大画像８０（図９Ａ参照）とする）を作成する。拡大倍率は、ユーザが自由に設定できるようにしても良い。例えば、拡大部２９は、指定されたＡ点の周辺画像４２をユーザによって設定された２倍に拡大した拡大画像８０を作成する。この場合、拡大部２９は、周辺画像４２の座標範囲を変更し、変更後の範囲について拡大画像８０を作成しても良い。図４Ｃでは、対象物１５に含まれる一列の文字全体が周辺画像４２に表示されているが、図９Ａでは、対象物１５に含まれる一列の文字の全体でなく、左寄りの一部の範囲について拡大表示されている。なお、拡大倍率は、予め設定された所定の設定値、１．５倍、２倍、３倍、Ａ４サイズ／Ａ５サイズ倍等としても良い。

第２抽出部２７は、拡大部２９により作成され、投影された拡大画像８０に対して、選択動作がなされると、選択動作により指定された位置に対応する選択画像を拡大画像８０から抽出しても良い。

投影制御部２８は、投影装置１２によりＸＹ座標系の２次元位置を指定して拡大画像８０の投影を制御する。

［情報抽出の処理手順］
第２実施形態に係る情報抽出方法は、更に拡大部２９の処理を含む。図７〜図９Ｃを参照して、第２実施形態に係る情報抽出方法について説明する。なお、第１実施形態と同様の構成については同一の参照符号を付し説明を省略する。

図８は、第２実施形態に係る情報抽出方法の情報抽出の処理手順を示すフローチャートである。図９Ａ〜図９Ｃは、第２実施形態に係る情報抽出方法を示す図である。

第１実施形態と同様にして、図４Ａに示すように、複数の文字列が記載された対象物１５（例えば文書）から特定の文字列４０（例えばＵＲＬ）のみを選択し抽出を行う場合を一例に挙げる。

以下、装置間及び制御装置１０Ａ内の各部間のデータ通信は、転送部２２により行われることを前提として説明を省略する。

まず、ユーザは、図１に示すように、抽出したい文字列４０が記載された対象物１５を、作業台１４上の、第１撮像装置１１の撮像範囲１３内に載置する。
撮像制御部２１は、第１撮像装置１１により、例えばフレームレート２４ｆｐｓで対象物１５を撮像することで、時系列の撮像画像を取得する（Ｓ１０１）。撮像画像は一時的に記憶部２０１に記憶される。

ここで、指が検出された場合（Ｓ１０２のＹｅｓ）、算出部２４は、時系列の撮像画像から指先の時系列のＸＹ座標系における２次元位置を算出する（Ｓ１０３）。一方、指が検出されなかった場合は（Ｓ１０２のＮｏ）、検出部２３は、再度撮像された撮像画像から指の有無を判断する（Ｓ１０２）。

ここで、停止動作Ｔが行われたと判定された場合（Ｓ１０４のＹｅｓ）、第１抽出部２６は、算出部２４により算出された指先の２次元位置の周辺領域４１を確定する（Ｓ１０５）。更に、第１抽出部２６は、確定した周辺領域４１に対応する周辺画像４２を、第１撮像装置１１の撮像画像から抽出する（Ｓ１０６）。抽出された周辺画像４２は、周辺画像４２の範囲情報と共に記憶部２０１に記憶される。

停止動作Ｔが行われたと判定されなかった場合（Ｓ１０４のＮｏ）、判定部２５は、再度時系列の指先の２次元位置情報に基づき、停止動作Ｔが行われたかどうか判定する（Ｓ１０４）。

次に、拡大部２９は、抽出された周辺画像４２を拡大した（例えば２倍）拡大画像８０を作成する（Ｓ１２０）。

次に、投影制御部２８は、投影装置１２を用いて、作業台１４上に拡大部２９が作成した拡大画像８０を投影する（Ｓ１２１）。この場合、投影制御部２８は、ＸＹ座標系における２次元位置を指定して拡大画像８０の投影位置を制御する。例えば、図９Ａに示すように、対象物１５に並べて拡大画像８０を投影しても良い。

ここで、図９Ｂに示すように、ユーザが拡大画像８０の投影像上で、抽出したい文字列４０を、指のスライド動作Ｓにより選択したとする。なお、ユーザは、対象物１５上で指のスライド動作Ｓによる選択を行なっても良い。

ここで、スライド動作Ｓが行われたと判定された場合（Ｓ１１０のＹｅｓ）、第２抽出部２７は、算出部２４により算出された指先の２次元位置に基づき、スライド動作Ｓにより選択された拡大画像８０上の選択領域４３を確定する（Ｓ１１１）。一方、スライド動作が行われたと判定されなかった場合（Ｓ１１０のＮｏ）、判定部２５は、再度時系列の指先の２次元位置情報に基づき、スライド動作Ｓが行われたかどうかを判定する（Ｓ１１０）。

更に、第２抽出部２７は、拡大画像８０から、確定した選択領域４３に対応する画像データを、選択画像として抽出する（Ｓ１１２）。抽出された選択画像は記憶部２０１に記憶される。以上の手順により、情報抽出システム１００は、対象物１５から所望の文字列４０を画像データとして、抽出することができる。

第２実施形態に係る情報抽出方法によれば、周辺画像４２を拡大した拡大画像８０を対象物１５に並べて投影するため、ユーザは周辺領域４１を視認しやすい。従って、ユーザは、例えば文字サイズが小さい文書や行間の狭い文書においても、より正確に所望の範囲を選択することが可能である。なお、拡大画像８０を対象物１５の右側に投影すれば、ユーザが右手で拡大画像８０の投影像上で選択作業する際に、対象物１５を参照しやすくなる。

また、第２実施形態に係る拡大部２９は、ユーザが設定した倍率で周辺画像４２を拡大し拡大画像８０を作成する。しかし、本実施形態は、これに限られるものではない。例えば、制御装置１０Ａは、対象物上の文字サイズ、文字間隔、行間隔などを認識し、それらに応じた拡大倍率を自動設定しても良い。

更に、第２実施形態に係る情報抽出方法において、投影制御部２８が、第２抽出部２７により抽出された画像データを、投影装置１２により投影する処理を最後に加えても良い。それにより、ユーザが抽出された画像データが所望のものであるか確認することができる。

（第３実施形態）
第３実施形態に係る情報抽出システムは、更に変換部３０を含む。なお、第１実施形態と同様の構成については同一の参照符号を付し説明を省略する。

図１０は、第３実施形態に係る制御装置１０Ｂの構成を示す図である。制御装置１０Ｂは、制御部２００Ｂ、記憶部２０１を備える。更に、制御部２００Ｂは、撮像制御部２１、転送部２２、検出部２３、算出部２４、判定部２５、第１抽出部２６、第２抽出部２７Ｂ、投影制御部２８、拡大部２９Ｂに加えて、更に変換部３０等の処理部を備える。

変換部３０は、周辺画像４２を対象とし、周辺画像４２に含まれる文字の画像データを文字認識処理し、文字情報に変換する。文字認識処理としては、例えばＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅａｄｅｒ）技術を用いても良い。文字情報としては、例えばＡＳＣＩＩなどの文字コードを用いても良い。

拡大部２９Ｂは、変換部３０により周辺画像４２から変換された文字情報に基づいて、周辺領域に含まれる文字列の上下左右の文字間隔を拡大した拡大画像１１０（図１２Ａ参照）を作成する。なお、対象物１５上に表記された文字又は行間などの大きさは、ＸＹ座標系における文字の外形又は行間の２次元位置により認識することができる。

第２抽出部２７Ｂは、変換部３０により周辺画像４２から変換された文字情報から、ユーザにより選択された第２の位置に対応する選択データを抽出する。より具体的には、第２抽出部２７Ｂは、第２の位置に対応する拡大画像１１０上の点を特定し、周辺画像４２から変換された文字情報のうち特定された点に対応する文字情報を選択データとして抽出する。

［情報抽出の処理手順］
第３実施形態に係る情報抽出方法は、更に変換部３０の処理を含む。図１０〜図１３を参照して、第３実施形態に係る情報抽出方法について説明する。なお、第２実施形態と同様の構成については同一の参照符号を付し説明を省略する。図１１は、第３実施形態に係る情報抽出方法の情報抽出の処理手順を示すフローチャートである。図１２Ａ〜図１２Ｃは、第３実施形態に係る情報抽出方法の手順を示す図である。図１３は、図１２Ａと同じ手順における他の方法を示す図である。

第２実施形態と同様に、図４Ａに示すように、複数の文字列が記載された対象物１５（例えば文書）から特定の文字列４０（例えばＵＲＬ）のみを選択し抽出を行う場合を一例に挙げる。

以下、装置間及び制御装置１０Ｂ内の各部間のデータ通信は、転送部２２により行われることを前提として説明を省略する。

まず、ユーザは、図１に示すように、抽出したい文字列４０が記載された対象物１５を、作業台１４上の、第１撮像装置１１の撮像範囲１３内に載置する。

次に、判定部２５は、算出部２４により算出された時系列の指先の２次元位置情報に基づき、停止動作Ｔが行われたかどうか判定する（Ｓ１０４）。

ここで、停止動作Ｔが行われたと判定された場合（Ｓ１０４のＹｅｓ）、第１抽出部２６は、算出部２４により算出された指先のＸＹ座標系における２次元位置の周辺領域４１を確定する（Ｓ１０５）。更に、第１抽出部２６は、確定した周辺領域４１に対応する周辺画像４２を、第１撮像装置１１の撮像画像から抽出する（Ｓ１０６）。抽出された周辺画像４２は、周辺画像４２の範囲情報と共に記憶部２０１に記憶される。停止動作Ｔが行われたと判定されなかった場合（Ｓ１０４のＮｏ）、判定部２５は、再度時系列の指先の２次元位置情報に基づき、停止動作Ｔが行われたかどうか判定する（Ｓ１０４）。
次に、変換部３０は、抽出された周辺画像４２を、文字認識処理し、文字情報に変換する（Ｓ１３０）。

続いて、拡大部２９Ｂは、周辺画像４２から変換した文字情報に基づき、周辺領域４１に含まれる文字列の文字のサイズを変更せずに、上下左右の文字間隔を拡大した拡大画像１１０を作成する（Ｓ１３１）。

次に、投影制御部２８は、投影装置１２を用いて、作業台１４上に拡大部２９Ｂが作成した拡大画像１１０を投影する（Ｓ１２１）。この場合、投影制御部２８は、ＸＹ座標系における２次元位置を指定して拡大画像１１０の投影位置を制御する。例えば、図１２Ａに示すように、対象物１５に並べて拡大画像１１０を投影しても良い。但し、本実施形態は、これに限定されるものでなく、例えば投影制御部２８は、対象物１５上に拡大画像１１０を投影しても良い。

ここで、図１２Ｂに示すように、ユーザが拡大画像１１０の投影像上で、抽出したい文字列４０を、指のスライド動作Ｓにより選択したとする。なお、ユーザは、対象物１５上で指のスライド動作Ｓによる選択を行なっても良い。

ここで、スライド動作Ｓが行われたと判定された場合（Ｓ１１０のＹｅｓ）、第２抽出部２７Ｂは、算出部２４により算出された指先のＸＹ座標系における２次元位置に基づき、スライド動作Ｓにより選択された拡大画像１１０上の選択領域４３を確定する（Ｓ１１１）。一方、スライド動作が行われたと判定されなかった場合（Ｓ１１０のＮｏ）、判定部２５は、再度時系列の指先の２次元位置情報に基づき、スライド動作Ｓが行われたかどうかを判定する（Ｓ１１０）。

更に、第２抽出部２７Ｂは、周辺画像４２から変換した文字情報のうち、確定した選択領域４３に対応する文字情報を、選択データとして抽出する（Ｓ１３２）。抽出された選択データは記憶部２０１に記憶される。以上の手順により、情報抽出システム１００は、対象物１５から所望の文字列４０を文字情報として、抽出することができる。

第３実施形態に係る拡大部２９Ｂは、文字情報に基づき拡大画像１１０を作成するため、例えば、行間隔のみを拡大するなどの他の条件によっても拡大画像を作成できる。

更に、第３実施形態によれば、情報抽出システム１００は、対象物１５上に表記されている文字列から、ユーザが求める文字列を文字情報として抽出することが可能である。その為、ユーザは、抽出した選択データを他の情報処理装置において文字情報として容易に使用することができる。

第３実施形態において、図１３に示すように、投影制御部２８は、拡大画像１１０を対象物１５上に重ねて投影しても良い。この場合、スライド動作により選択を行う際に、ユーザは、拡大画像１１０の投影像上に指を移動することを省くことができる。但し、対象物１５上に拡大画像１１０を重ねて投影する場合、対象物１５に記載された文字と拡大画像１１０の投影像の文字が重なり判別が困難になることがある。その場合、拡大画像１１０の背景色と文字色の少なくともいずれかを変更しても良い。

ここで、背景色と文字色の変更については、例えば、拡大画像１１０の背景色は対象物１５や投影面の色の影響を受けにくい黒や対象物１５の文字色としても良い。また、拡大画像１１０の文字色は、変更後の背景色が黒の場合は白とし、変更後の背景色が対象物１５の文字色の場合はその補色とするのが好ましい。

なお、第３実施形態に係る変換部３０は、周辺画像４２を対象とし、周辺画像４２に含まれる文字の画像データを文字認識処理し、文字情報に変換している。しかし、本実施形態は、これに限定されるものではない。例えば、変換部３０は、撮像画像を対象とし、撮像画像に含まれる文字の画像データを文字認識処理し、文字情報に変換しても良い。この場合、続いて拡大部２９Ｂは、撮像画像により変換した文字情報のうち、周辺画像４２に含まれる文字に対応する文字情報を抽出して、周辺領域４１に含まれる文字列の文字のサイズを変更せずに、周辺領域４１に含まれる文字列の上下左右の文字間隔を拡大した拡大画像１１０を作成することができる。

また、第３実施形態に係る第２抽出部２７Ｂは、変換部３０により周辺画像４２から変換された文字情報のうち、ユーザにより選択された選択領域４３に対応する文字情報を抽出している。しかし、本実施形態は、これに限定されるものではない。例えば、第２抽出部２７Ｂは、第２実施形態と同様に、撮像画像又は周辺画像４２から、ユーザにより選択された選択領域４３に対応する選択画像を抽出しても良い。この場合、変換部３０は、抽出された選択画像に含まれる文字の画像データを文字認識処理し、文字情報に変換しても良い。

［制御装置のハードウェア構成］
図１４は、制御装置１０、１０Ａ、１０Ｂのハードウェア構成の一例を示す図である。コンピュータ１０００は、本発明に係る情報抽出プログラムに基づき、各実施形態で説明した情報抽出を実行し、制御装置１０として機能する。

コンピュータ１０００はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１００１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１００２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１００３、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１００４を有しており、各部はバス１００５を介して相互に接続されている。そしてＣＰＵ１００１による管理下で相互にデータの送受を行うことができる。

ＣＰＵ１００１は、制御装置１０の動作制御を司る中央処理装置である。そして、ＣＰＵ１００１が、情報抽出プログラムをＨＤＤ１００４から読み出して実行することで、ＣＰＵ１００１は、撮像制御部２１、転送部２２、検出部２３、算出部２４、判定部２５、第１抽出部２６、第２抽出部２７（２７Ｂ）、投影制御部２８、拡大部２９（２９Ｂ）、変換部３０として機能するようになる。なお、情報抽出プログラムはＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されていても良い。

ＨＤＤ１００４は、ＣＰＵ１００１の管理下で記憶部２０１として機能する。つまり、ＨＤＤ１００４は、ＯＳや各種データを記憶する。プログラム同様、各種データはＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されても良い。

また、情報抽出の過程で生成される指示画像の位置などの情報は、記憶部２０１として機能するＲＡＭ１００３に、一時的に記憶される。つまり、記憶部２０１のデータは、ＨＤＤ１００４や、ＲＯＭ１００２またはＲＡＭ１００３などに格納される。

なお、上記した情報抽出プログラムについては、必ずしも最初から記憶部２０１に記憶されていることを要しない。制御装置１０が読取装置を備え、情報抽出プログラムを、コンピュータが読み取り可能な記録媒体から読み込んでも良い。

コンピュータが読み取り可能な記録媒体については、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ − ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、光磁気ディクス、ＩＣカードなどである。

更に、制御装置１０は通信装置を備えても良い。通信装置によりインターネットを介して情報抽出プログラムを取得するようにしても良い。また、通信装置によりインターネットを介して各種情報を取得し、各実施形態に係る情報抽出により得た抽出データと組み合わせて、新たなデータを作成することも可能である。

なお、本発明は、上述した各実施形態に記載した構成に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更することが可能である。例えば、実施形態においては文字列を抽出する例を取り上げたが、対象物上の図形、写真などにも本発明の情報抽出方法を適用できる。

_{１００：情報抽出システム}
_{１０、１０Ａ、１０Ｂ：制御装置}
_{１１：第１撮像装置}
_{１２：投影装置}
_{１３、１７：撮像範囲}
_{１４：作業台}
_{１５：対象物}
_{１６：第２撮像装置}
_{２００、２００Ａ、２００Ｂ：制御部}
_{２０１：記憶部}
_{２１：撮像制御部}
_{２２：転送部}
_{２３：検出部}
_{２４：算出部}
_{２５：判定部}
_{２６：第１抽出部}
_{２７、２７Ｂ：第２抽出部}
_{２８：投影制御部}
_{２９、２９Ｂ：拡大部}
_{３０：変換部}
_{４０：文字列}
_{４１：周辺領域}
_{４２：周辺画像}
_{４３：選択領域}
_{５０：選択範囲}
_{８０、１１０：拡大画像}
_{Ｔ：停止動作}
_{Ｓ：スライド動作}

Claims

撮像装置により対象物を撮像して撮像画像を取得し、
前記対象物上の指定された第１の位置を算出し、
前記撮像画像のうち前記第１の位置に対応する部分から第１情報を抽出し、
抽出した前記第１情報を投影装置により投影し、
投影された前記第１情報上の指定された第２の位置を算出し、
前記第１情報のうち前記第２の位置に対応する部分から第２情報を抽出する、
ことを特徴とする情報抽出方法。
撮像装置により対象物を撮像して撮像画像を取得し、
前記対象物上の指定された第１の位置を算出し、
前記撮像画像のうち前記第１の位置に対応する部分から第１情報を抽出し、
抽出した前記第１情報を投影装置により投影し、
前記対象物上の指定された第２の位置を算出し、
抽出した前記第１情報に、前記第１情報のうち前記第２の位置に対応する部分に印を付し、
前記印を付した前記第１情報を前記投影装置により投影し、
前記第１情報のうち前記第２の位置に対応する部分から第２情報を抽出する、
ことを特徴とする情報抽出方法。
前記第１情報の投影において、前記対象物上の前記第１情報のサイズよりも前記第１情報のサイズを大きく投影することを特徴とする請求項１又は２に記載の情報抽出方法。
前記第１情報の投影において、前記対象物上の前記第１情報のうち文字のサイズを変更せずに、文字間を大きく投影することを特徴とする請求項１又は２に記載の情報抽出方法。
前記第２情報の抽出において、文字情報を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の情報抽出方法。
コンピュータに、
撮像装置により対象物を撮像して撮像画像を取得し、
前記対象物上の指定された第１の位置を算出し、
前記撮像画像のうち前記第１の位置に対応する部分から第１情報を抽出し、
抽出した前記第１情報を投影装置により投影し、
投影された前記第１情報上の指定された第２の位置を算出し、
前記第１情報のうち前記第２の位置に対応する部分から第２情報を抽出する、
処理を実行させることを特徴とする情報抽出プログラム。
撮像装置により対象物を撮像して撮像画像を取得する撮像制御部と、
前記対象物上の指定された第１の位置を算出する第１算出部と、
前記撮像画像のうち前記第１の位置に対応する部分から第１情報を抽出する第１抽出部と、
抽出した前記第１情報を投影装置により投影する投影制御部と、
投影された前記第１情報上の指定された第２の位置を算出する第２算出部と、
前記第１情報のうち前記第２の位置に対応する部分から第２情報を抽出する第２抽出部と、
を有することを特徴とする情報抽出装置。