JP2013164874A - 検索装置、検索方法及び検索プログラム - Google Patents

Abstract

【課題】フルテキスト検索に対応していない応用プログラムも検索対象と出来る検索装置、情報処理装置、検索方法、プログラム及び記録媒体を提供する。
【解決手段】表示部に表示された画面をキャプチャして画像データを取得し、取得した画像データから文字を認識し、前記認識した文字と前記キャプチャ日時とを記憶し、応用プログラムの起動状態を監視し、前記起動状態監視手段によって取得された、起動している応用プログラムの種類と起動日時と前記起動している応用プログラムが実行しているファイル名等を記憶し、入力された検索条件を満たす文字を前記記憶されている文字から検索し、検索条件を満たす文字が抽出された画像データのキャプチャ日時に基づき、前記記憶されているキャプチャ日時に起動していた応用プログラムを検索し、該応用プログラムが実行していたファイル名等を検索することを特徴とする。
【選択図】 図１

Description

本発明は、検索装置、検索方法及び検索プログラムに関し、特に、フルテキスト検索に対応していない応用プログラムも検索対象と出来る検索装置、情報処理装置、検索方法、プログラム及び記録媒体に関する。

近年、オフィス等においてコンピュータが普及し、情報の電子化が進んでいる。大量に蓄積された電子ファイルの中から所望の電子ファイルを検索するために様々な検索方法が提案されている。

例えば、文書データベースを文字列を指定して文書の全文を対象とし、さらに補助的なファイルを用いて高速な検索処理を実現する文書検索方法が提案されている（特許文献１参照）。

また、電子ファイルに対する操作の履歴を利用して検索対象を絞り込むことにより、迅速かつ適切な検索を可能とする電子ファイル検索装置が提案されている（特許文献２参照）。

特許第３３０３８８１号公報 特開２０００−１６３４３９号公報

上記いずれの技術も、文書の全文を対象として検索するフルテキスト検索が可能であることを前提として、さらに効率良く検索することを目的としている。しかしながら、フルテキスト検索機能を持たない応用プログラム（Applications Program；特定の利用目的を持って作成されたソフトウエアの総称、アプリケーション、アプリとも称す）では、所望する電子ファイル等の検索をすることが出来ない。

本発明はこのような状況に鑑みてなされたものであり、フルテキスト検索に対応していない応用プログラムも検索対象とすることを目的としている。

本発明に係る検索装置は、表示部に表示された画面をキャプチャして画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得した画像データから少なくとも１つの文字を含む文字列を認識する文字認識手段と、前記認識した文字列を示す情報と、前記画像データがキャプチャされた日時と、を記憶する第一の記憶手段と、
応用プログラムの起動状態を監視する実行状態監視手段と、前記起動状態監視手段によって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータを示す情報と、を記憶する第二の記憶手段と、
ユーザが、少なくとも検索キーワードを含む検索条件を入力するために用いる入力手段と、前記入力手段から入力された検索条件を満たす文字列を、前記第一の記憶手段に記憶されている文字列から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶手段から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを示す情報を検索する検索手段と、前記応用プログラムが２つ以上ある場合、それぞれの前記データを示す情報を画面に表示する出力手段と、を備えることを特徴とする。

本発明に係る検索方法は、表示部に表示された画面をキャプチャして画像データを取得するステップと、前記取得した画像データから少なくとも１つの文字を含む文字列を認識するステップと、前記認識した文字列と、前記画像データがキャプチャされた日時と、を第一の記憶部に記憶するステップと、応用プログラムの起動状態を監視するステップと、
前記起動状態を監視するステップによって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータを示す情報と、を第二の記憶部に記憶するステップと、少なくとも検索キーワードを含む検索条件の入力を受け付けるステップと、前記入力された検索条件を満たす文字列を、前記第一の記憶部に記憶されている文字列から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶部から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを示す情報を検索するステップと、前記応用プログラムが２つ以上ある場合、それぞれの前記データを示す情報を画面に表示するステップと、を備えることを特徴とする。

本発明に係る検索プログラムは、表示部に表示された画面をキャプチャして画像データを取得する処理と、前記取得した画像データから少なくとも１つの文字を含む文字列を認識する処理と、前記認識した文字列と、前記画像データがキャプチャされた日時と、を第一の記憶部に記憶する処理と、応用プログラムの起動状態を監視する処理と、前記起動状態を監視する処理によって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータを示す情報と、を第二の記憶部に記憶する処理と、少なくとも検索キーワードを含む検索条件の入力を受け付ける処理と、前記入力された検索条件を満たす文字列を、前記第一の記憶部に記憶されている文字列から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶部から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを示す情報を検索する処理と、前記応用プログラムが２つ以上ある場合、それぞれの前記データを示す情報を画面に表示する処理と、と、をコンピュータに実行させることを特徴とする。

本発明によれば、フルテキスト検索に対応していない応用プログラムも検索対象とすることが出来る。

以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な実施形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

（実施形態１）
本発明の実施形態に係る検索装置について説明する。図１は、本実施形態に係る検索装置の機能ブロック図である。画面キャプチャ部１、文字認識部２、文字列ＤＢ（Database）３、応用プログラム起動状態監視部４、起動状態ＤＢ５、検索部６、入力部７、表示部８から構成される。

画面キャプチャ部１は、表示部８に表示された画面上の表示内容を、ビットマップファイルやＪＰＥＧファイル等の画像データ（広く、キャプチャ画像データとも称す）として取得する。

文字認識部２は、キャプチャ画像データから文字認識を行う。文字認識によって取得した文字列と、前記文字列の位置情報とを文字列ＤＢ３へ送る。

文字列ＤＢ３は、文字列と、前記文字列の位置情報と、該文字認識を行ったキャプチャ画像データがキャプチャされた日時とを、記憶する。文字列ＤＢ３が備えるデータの一例を図２に示す。

一方、応用プログラム起動状態監視部４は、応用プログラムの起動状態を監視し、起動状態ＤＢ５に監視結果を送る。起動状態ＤＢ５は、応用プログラムが起動している日時、前記起動している応用プログラムが利用しているファイルが表示されているウィンドウの位置、該ファイルのファイル名、若しくはウィンドウに表示されているデータがインターネット上のものである場合はＵＲＬ（Uniform Resource Locators）を記憶する。起動状態ＤＢ５が備えるデータの一例を図３に示す。

画面キャプチャ部１によるキャプチャと、応用プログラム起動状態監視部４による応用プログラム起動状態の監視のタイミングとは、同時に一定時間毎に行っても良いし、画面のキャプチャは一定時間毎に行ない、応用プログラム起動状態の監視については、応用プログラムが起動・終了した場合や、ウィンドウが移動されたタイミング等で行うようにしても良い。

検索部６は、入力部７から入力された検索キーワードを含む検索条件に基づき、前記文字列ＤＢ３と起動状態ＤＢ５とを検索する。検索の詳細は後述する。

表示部８は、ウィンドウと称される矩形領域に電子文書等を表示する。また、検索結果の表示等を行う。なお、検索結果の出力は表示部８への表示に限られることはなく、その他所定の出力方法での出力や、所定の送信先へ送信されるようにしても良い。

なお、本発明は、通常のパーソナルコンピュータ（ＰＣ）（情報処理装置）によっても実施可能である。

次に、本実施形態に係るファイル検索の動作処理について説明する。図４は、本実施形態に係る検索装置の動作処理を示すフローチャートである。

まず、文字列ＤＢ３と、起動状態ＤＢ５とが、それぞれ作成される。（１）文字列ＤＢ３
画面キャプチャ部１は、表示部８に表示された画面の内容をキャプチャし、キャプチャ画像データを文字認識部２へ送る（ステップＳ１）。表示部８に表示される画面の一例を図５に示す。図５では、表示部８に複数のウィンドウを表示させることが可能なマルチウィンドウ表示システムが用いられている。

マルチウィンドウ表示システムとは、例えば特許第3478172号公報に記載されているように、多数のウィンドウないし表示窓を表示画面上に同時に表示できるグラフィカル・ユーザ・インタフェースを用いた表示システムであり、異なる適用業務プログラムが表示画面に表示されているウィンドウの各々において、これらのプログラムを並行に実行する（あるいはユーザの入力を待つ）ことができるものである。また、単一の適用業務プログラムで、多数の異なるウィンドウを生成することもできる。

文字認識部２は、キャプチャされた画像データから文字認識を行う（ステップＳ２）。図５に示す表示画面をキャプチャした場合を例として説明する。本実施形態では例として「ＡＡ」、「ＢＢ」という文字を文字認識の対象とする。文字認識部２は、各文字（若しくは文字列）を認識し、（ａ）認識した文字と、（ｂ）かかる文字の位置情報（表示画面のどの位置にあるか）と、（ｃ）該画像データのキャプチャ日時とを記憶部１０へ送る。なお、文字認識部２は、認識した文字列に対して形態素解析を行って名詞だけを記憶させることで、記憶部の容量や検索速度を改善するようにしても良い。

本実施形態では、（Ｉ）認識文字：ＡＡ、表示位置情報：（xp1,yp1 ）〜（xp2,yp2）、キャプチャ日時：2008/09/12 10:30、（ＩＩ）認識文字：ＢＢ、表示位置情報：（xp3,yp3 ）〜（xp4,yp4 ）、キャプチャ日時：2008/09/12 10:30、を記憶部１０へ送る。

記憶部１０は、上記認識文字と、文字表示位置情報と、キャプチャ日時とを文字列ＤＢ３として記憶する（ステップＳ３）。文字列ＤＢ３に記憶する情報の一例を図２に示す。

（２）起動状態ＤＢ５
応用プログラム起動状態監視部４は、応用プログラムの起動状態を監視し、どの応用プログラムがいつ起動しているかを把握する（ステップＳ４）。本実施形態では例として図５に示すように２つのウィンドウが表示されている。ウィンドウ１、ウィンドウ２は、異なる応用プログラムでも良いし、単一の応用プログラムで異なるファイルを展開していても良い。本実施形態では、ウィンドウ１がアプリ１と称する応用プログラム、ウィンドウ２がアプリ２と称する応用プログラムとする。

応用プログラム起動状態監視部４による応用プログラムの起動状態の監視を一定時間毎に行う場合は、（ａ）監視した日時と、（ｂ）その時に起動している応用プログラムの種類と、（ｃ）該起動応用プログラムのウィンドウ表示位置情報と、（ｄ）該起動応用プログラムで実行されているファイル名若しくはＵＲＬ（Uniform Resource Locators）とを、記憶部１０に送る。ここで、ファイル名若しくはＵＲＬは一例であり、応用プログラムがアクセスしているデータを示す情報であれば良い。また、応用プログラム起動状態監視部４は、起動し、実行中の応用プログラムも監視する。

図５に示す起動状態の場合は、（Ｉ）監視日時：2008/09/12 10:30、起動応用プログラム：アプリ１、ウィンドウ表示位置情報：（xs1,ys1 ）〜（xs2,ys2 ）、ファイル名等：設計仕様書、（ＩＩ）監視日時：2008/09/12 10:30、起動応用プログラム：アプリ２、ウィンドウ表示位置情報：（xs3,ys3 ）〜（xs4,ys4 ）、ファイル名等：製品仕様書、を記憶部１０へ送る。

記録部１０は、上記応用プログラム起動状態監視部４から送られた、監視日時、起動応用プログラムの種類、ウィンドウ表示位置、ファイル名等、を起動状態ＤＢとして記憶する（ステップＳ５）。起動状態ＤＢ５に記憶する情報の一例を図３に示す。

なお、一定時間後に再度起動状態を監視したところ、内容が同じであれば、図３の（ｂ）に示すように時間帯毎にまとめて記憶しても良い。かかる方法は、文字列ＤＢ３でも同様である。

ユーザにより、入力部７から検索キーワードを入力があった場合は（ステップＳ６／Ｙｅｓ）、検索を開始する。検索部６は、入力部７から入力された検索キーワードを含む文字（若しくは文字列）を、文字列ＤＢ３に記憶されている文字から検索する（ステップＳ７）。なお、検索キーワードの入力の際に、検索対象を絞るための条件（○月、○年〜○年、去年の夏頃等の日時条件や、応用プログラムの種類条件等）を入力することも可能である。

ステップＳ７の検索で、文字列ＤＢ３から検索キーワードを含む文字があった場合、該文字が抽出された画像データのキャプチャ日時と、該文字の文字表示位置に基づき、起動状態ＤＢ５から、該キャプチャ日時に、該文字の文字表示位置で起動していた応用プログラムを検索する（ステップＳ８）。これにより、どの応用プログラムがどのファイル（若しくはＵＲＬ）を実行していたかが分かり、検索キーワードから所望するファイルやＵＲＬが判明する。

上記実施形態は、キャプチャした画像データから文字認識を行なっているため、フルテキスト検索に対応していない特殊な応用プログラムであっても、一度表示部８の画面上に表示されたデータであれば、検索することができ、より利便性の高い検索が実現出来る。フルテキスト検索に対応していない特殊な応用プログラムとは、例えば閲覧していたウェブサイトやテレビ映像等であっても、画面表示をキャプチャすることで検索対象とすることが出来る。

ウィンドウに表示されたのがインターネット上のウェブサイトであっても、画像キャプチャにより画像データを取得し、文字認識をするため、どこのサイトか思い出せなくとも、本実施形態に係る検索により、そのＵＲＬが判明する。

さらに、膨大なページ数の電子文書であっても、実際に閲覧したのは一部分である場合も多く、フルテキスト検索ではかかる電子文書の全てを検索対象とするが、本実施形態に係る検索では一度画面上に表示されてキャプチャされた画像データから認識した文字が検索の対象となるため、効率的に検索対象を絞ることが出来る。

上記実施形態に係る検索による検索結果の出力例について以下説明する。検索結果の出力は、例えば表示部８に時系列順に示すことが考え得る。時系列順とは、表やカレンダー表示を用いて行っても良い（図６及び図７参照）。

また、画面キャプチャ部１でキャプチャした画像データを記憶し、検索結果出力の際に、キャプチャした画像データを表示しても良い。その他、検索結果に挙がったファイル等が実行されていた際に実行されていた他のファイル等も参考として表示しても良い。

（実施形態２）
図８に示すように、複数のウィンドウが開かれて重なり合って表示されているオーバーラップウィンドウの場合は、認識した文字の位置が、ウィンドウが重なり合った位置になる場合もある。この場合、認識した文字の文字表示位置情報と、各ウィンドウの表示位置情報とだけでは、どちらのウィンドウに表示されているかが判別できない。従って、認識した文字が表示されている可能性のあるウィンドウであれば、いずれも候補として挙げるようにしても良い。

（実施形態３）
上記各実施形態では、画面をキャプチャしたキャプチャ画像データから文字を認識しているが、他の実施形態として、キーボード等からユーザが入力した文字を認識し、その入力位置情報を記憶することも可能である。これにより、検索対象が、ユーザが一度入力したファイル等に絞られ、効率良く検索することが出来る。

（実施形態４）
上記各実施形態では、認識した文字の表示位置情報や応用プログラムのウィンドウ表示位置情報を必須としているが、これらの位置情報は取得せず、文字を認識した日時と、応用プログラムが起動している日時とから、検索条件を満たす文字が認識された日時に起動していた応用プログラムやそのファイル名等を検索結果として列挙することも可能である。これにより、表示位置に関する情報が取得できない場合でも本発明に係る検索を行うことが出来る。

（実施形態５）
上記各実施形態に係る検索装置の記憶部１０に記憶する各ＤＢを、ネットワークを介して接続する少なくとも１以上の他の装置が有する記憶部に置くこと特徴とする検索システムとしても良い。これにより、各ＤＢを記憶する記憶部の容量について特に制限されることはない。

なお、図４のフローチャートに示す処理や、上記各実施形態に係る処理について、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。

以上、本発明を好適な実施形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明の実施形態に係る検索装置の機能ブロック図である。 本発明の実施形態に係る文字列ＤＢ３が備えるデータの一例を示す図である。 本発明の実施形態に係る起動状態ＤＢ５が備えるデータの一例を示す図である。 本発明の実施形態に係る検索装置の動作処理を示すフローチャートである。 本発明の実施形態に係る表示部８に表示される画面の一例を示す図である。 本発明の実施形態に係る検索結果の出力の一例を示す図である。 本発明の実施形態に係る検索結果の出力の一例を示す図である。 本発明の他の実施形態に係る表示部８に表示される画面の一例を示す図である。

１ 画面キャプチャ部
２ 文字認識部
３ 文字列ＤＢ（Database）
４ 応用プログラム起動状態監視部
５ 起動状態ＤＢ
６ 検索部
７ 入力部
８ 表示部

Claims (3)

1. 表示部に表示された画面をキャプチャして画像データを取得する画像データ取得手段と、
   前記画像データ取得手段によって取得した画像データから少なくとも１つの文字を含む文字列を認識する文字認識手段と、
   前記認識した文字列を示す情報と、前記画像データがキャプチャされた日時と、を記憶する第一の記憶手段と、
   応用プログラムの起動状態を監視する実行状態監視手段と、
   前記起動状態監視手段によって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータを示す情報と、を記憶する第二の記憶手段と、
   ユーザが、少なくとも検索キーワードを含む検索条件を入力するために用いる入力手段と、
   前記入力手段から入力された検索条件を満たす文字列を、前記第一の記憶手段に記憶されている文字列から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶手段から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを示す情報を検索する検索手段と、
   前記応用プログラムが２つ以上ある場合、それぞれの前記データを示す情報を画面に表示する出力手段と、を備えることを特徴とする情報処理装置。
2. 表示部に表示された画面をキャプチャして画像データを取得するステップと、
   前記取得した画像データから少なくとも１つの文字を含む文字列を認識するステップと、
   前記認識した文字列と、前記画像データがキャプチャされた日時と、を第一の記憶部に記憶するステップと、
   応用プログラムの起動状態を監視するステップと、
   前記起動状態を監視するステップによって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータを示す情報と、を第二の記憶部に記憶するステップと、
   少なくとも検索キーワードを含む検索条件の入力を受け付けるステップと、
   前記入力された検索条件を満たす文字列を、前記第一の記憶部に記憶されている文字列から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶部から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを示す情報を検索するステップと、
   前記応用プログラムが２つ以上ある場合、それぞれの前記データを示す情報を画面に表示するステップと、
   を備えることを特徴とする検索方法。
3. 表示部に表示された画面をキャプチャして画像データを取得する処理と、
   前記取得した画像データから少なくとも１つの文字を含む文字列を認識する処理と、
   前記認識した文字列と、前記画像データがキャプチャされた日時と、を第一の記憶部に記憶する処理と、
   応用プログラムの起動状態を監視する処理と、
   前記起動状態を監視する処理によって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータを示す情報と、を第二の記憶部に記憶する処理と、
   少なくとも検索キーワードを含む検索条件の入力を受け付ける処理と、
   前記入力された検索条件を満たす文字列を、前記第一の記憶部に記憶されている文字列から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶部から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを示す情報を検索する処理と、
   前記応用プログラムが２つ以上ある場合、それぞれの前記データを示す情報を画面に表示する処理と、
   をコンピュータに実行させることを特徴とする検索プログラム。

Images