JP2015176432A - 情報検索装置 - Google Patents

Abstract

【課題】ユーザが意図したときに表示画像から検索のための情報を取得する。【解決手段】情報検索装置は、操作受付部（１）と、記憶場所から情報を取得する情報取得部（７）と、取得情報を、画面に表示するように表示部を制御する表示制御部（８）と、画面の表示画像を取得する画像取得部（３）と、操作受付部が表示画像の切替操作を受付けたとき、画像取得部に切替後の表示画像を取得させる画像取得制御部（２）と、取得画像から文字列を認識する認識部（４）と、認識文字列と、当該取得画像が表す情報の記憶場所データとを関連付けてメモリに格納する格納部（５）と、操作受付部が受付けた操作内容が示す検索条件から文字列を抽出する抽出部（６）と、を備え、情報取得部（７）は、抽出文字列に該当する文字列に関連付けられた記憶場所データをメモリから検索し、検索した当該記憶場所データが示す記憶場所から情報を取得する。【選択図】図３

Description

この発明は情報検索装置に関し、特に、情報の表示履歴を利用して検索を実施する情報検索装置に関する。

情報検索装置として、例えば特許文献１（特開２０１０−８６０７５号公報）には、フルテキスト検索に対応していない応用プログラムも検索対象と出来る検索装置が開示される。

特許文献１の検索装置は、表示された画面をキャプチャして画像データを取得し、取得した画像データから文字を認識し、認識した文字とキャプチャ日時とを記憶し、応用プログラムの起動状態を監視し、起動状態監視手段によって取得された、起動している応用プログラムの種類と起動日時と前記起動している応用プログラムが実行しているファイル名等を記憶し、入力された検索条件を満たす文字を記憶されている文字から検索し、検索条件を満たす文字が抽出された画像データのキャプチャ日時に基づき、記憶されているキャプチャ日時に起動していた応用プログラムを検索し、該応用プログラムが実行していたファイル名等を検索する。

また、特許文献２（特開２０１３−１５２７２４号公報）には、ブック型デジタルコンテンツ内の文字情報に対し文字列検索を行った際に、検索された文字列が表示されているコンテンツ内の領域がユーザによって閲覧されたか否かが、検索された文字列に対する強調表示（マーキング画像表示）を行う。

特開２０１０−８６０７５号公報 特開２０１３−１５２７２４号公報

特許文献１の検索装置によれば、文字の全文検索ができないようなコンテンツでも文字による検索ができる。しかし、当該検索装置はキャプチャによる文字の収集を一定時間毎に実施するよう構成されているため、収集タイミングが、ユーザが意図的に表示したタイミングで文字を収集できないケース、または、既に収集した情報を無意味に何度も取集するケースが生じ得る。

本発明の目的は、効率的に表示画像から検索のための情報を取得する情報検索装置を提供することである。

この発明のある局面に従う情報検索装置は、ユーザの操作を受付ける操作受付部と、記憶場所から情報を取得する情報取得部と、情報取得部が取得した情報を、画面に表示するように表示部を制御する表示制御部と、画面に表示された画像を取得する画像取得部と、操作受付部が表示画像の切替操作を受付けたとき、画像取得部に切替後の表示画像を取得させる画像取得制御部と、画像取得部による取得画像から文字列を認識する認識部と、認識された文字列と、当該取得画像が表す情報の記憶場所データとを関連付けてメモリに格納する格納部と、操作受付部が受付けた操作内容が示す検索条件から文字列を抽出する抽出部と、を備え、情報取得部は、抽出文字列に該当する文字列に関連付けられた記憶場所データをメモリから検索し、検索した当該記憶場所データが示す記憶場所から情報を取得するように構成される。

本発明によると、ユーザが切替操作をしたときに表示画像から検索のための情報を取得する。

本発明の実施の形態１に係る携帯端末の外観をネットワーク構成と関連付けて説明する図である。 本発明の実施の形態１に係る携帯端末のブロック構成図である。 本発明の実施の形態１に係る機能構成図である。 本発明の実施の形態１に係る履歴記録部の一例を示す図である。 本発明の実施の形態１に係る表示画像からの文字列認識を説明する図である。 本発明の実施の形態１に係る表示画像からの文字列認識を説明する図である。 本発明の実施の形態１に係る処理フローチャートである。 本発明の実施の形態１に係る処理フローチャートである。

以下、本発明の実施の形態について図面を参照し詳細に説明する。なお、同一の構成要素には各図において同一の符号を付し、詳細な説明は繰返さない。

本実施の形態では、画面に表示されたことのあるページの中で、ユーザが実際に閲覧(見た)した部分ページに関する情報（レコード）を、画像切替操作を受付けたときに収集して履歴記録部に格納しておく。そして、検索条件を含む検索操作を受付けた場合には、履歴記録部から検索条件に合致した情報（レコード）を検索する。検索したレコードの情報を用いて、当該部分ページを、過去の閲覧態様（キーワード文字列の表示位置、拡大／縮小率等）と同様にして画面に表示する。ここでは、文字列は、１文字以上の文字からなり、文字は記号、数値、漢字、英数字等を含む。

＜実施の形態１＞
＜機器構成＞
本実施の形態では、情報検索装置の一例として携帯端末を例示する。携帯端末は、スマートフォンを想定するが、スマートフォンに限定されず、たとえば携帯型電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末、カメラ（ムービカメラを含む）などにも適用することができる。また、携帯型に限定されず、据置型コンピュータ等の端末に搭載されてもよい。

図１は、本発明の実施の形態に係る携帯端末の外観をネットワーク構成と関連付けて説明する図であり、図２は、本発明の実施の形態に係る携帯端末のブロック構成図である。図１および図２を参照して、本実施の形態に係る携帯端末（以下、単に端末という）１００は、インターネット等のネットワーク３００を介してサーバ装置等の外部装置と通信することができる。

端末１００は、筐体１１０を備える。筐体１１０には、カメラ１１１、アンテナ１２０、スピーカ１３０、表示部２１０、電源ボタン１５０、マイク１６０およびＬＥＤ（Light Emitting Diode）１７０を備える。表示部２１０は、タッチパネル１４０と表示部に相当する表示装置２１２を一体的に有する。カメラ１１１は、個体撮像素子であるたとえばＣＣＤ（Charge Coupled Device）カメラを含んで構成される。表示装置２１２は、例えば液晶表示パネル等からなる。ここでは、タッチパネル１４０のユーザ操作部と表示部である表示装置２１２とを一体的に設けたが、ユーザ操作部をマウス・キーボード等で構成することで、表示部とは別体に備える構成であってもよい。

端末１００は、図１に示される構成に加えて、プロセッサ２３０を備える。プロセッサ２３０には、グラフィックメモリ２５７を有した表示制御部に相当する表示デバイスコントローラ２１４、フラッシュメモリ２５０、ＲＡＭ（Random Access Memory）２５２、およびＲＯＭ（Read Only Memory）２５８が接続される。さらに、アンテナ１２０を介し通信するための通信回路２６０、マイク１６０とスピーカ１３０による音声入出力のための信号処理回路２７０、プロセッサ２３０から送られる信号に基づいて予め規定された振動パターンで発振するバイブレータ２８０、および装着されたメモリカード１５２をプロセッサ２３０の制御のもとにアクセスするためのメモリドライバ１５１が接続される。プロセッサ２３０はＣＰＵ（Central Processing Unit）２３１およびタイマ２３２などを含む。さらに、端末１００は、バッテリなどの電源部２９０、および電源部２９０からの電力を各部に供給する電源制御部２９１を備える。

グラフィックメモリ２５７には、プロセッサ２３０によって生成された画像データ（例えば、予め定められたサイズのビットマップデータ）が格納される。表示デバイスコントローラ２１４は、グラフィックメモリ２５７に格納されているデータに基づく描画動作を表示装置２１２に対して実行し、また表示部２１０の図示しないバックライトを制御する。したがって、ユーザ操作（スクロール操作、拡大／縮小操作等）に従い、プロセッサ２３０によってグラフィックメモリ２５７の画像データが書換えられたとき（更新されたとき）、表示部２１０の画面の表示画像も切替えられる。

フラッシュメモリ２５０は、設定値などの各種データあるいはプロセッサ２３０によって生成されたデータを不揮発的に記憶する。ＲＡＭ２５２は、プロセッサ２３０によって生成されたデータ、および撮像画像データなどを格納する。ＲＯＭ２５８は端末１００を動作させるためのファームウェアと、各種プログラムと、端末１００に固有の動作を実行させるために設定値として予め入力されたデータ等を格納する。

（機能構成）
図３は、本発明の実施の形態に係る機能構成図である。図示される機能は、端末１００のプロセッサ２３０、より特定的にはＣＰＵ２３１が実行するプログラムによって実現される。このプログラムは、ＲＯＭ２５８に格納されて、ＣＰＵ２３１がＲＯＭ２５８からプログラムを読出し、実行することにより実現される。

図３を参照して、ＣＰＵ２３１はタッチパネル１４０等からのユーザ操作を受付けて、受付けた操作内容に基づく指令を入力する操作受付部１、画像取得制御部２、画像取得制御部２によって動作が制御される画像取得部３、画像取得部３によって取得された画像から文字列を認識する認識部４、および認識された文字列をメモリに格納する格納部５を備える。格納部５は、当該取得画像が表す情報の記憶場所を示す場所データと認識文字列を関連付けてメモリに格納する。この格納情報は図４で後述する。また、画像取得制御部２は、操作受付部１が表示画像の切替操作を受付けたとき、操作内容に基づき画像取得部３に切替後の表示画像を取得させる。

さらに、操作受付部１が受付けた操作内容が示す検索条件から文字列を抽出する抽出部６、抽出文字列に該当する文字列に関連付けられた場所データを、メモリから検索（読出し）、検索により得られた場所データが示す記憶場所から、情報を取得する情報取得部７、および表示デバイスコントローラ２１４に対応する表示制御部８を備える。情報取得部７は、ネットワーク３００上のサーバ装置４００を含む各種装置が提供するＷＷＷ（World Wide Web）のＷｅｂページ（以下、単にページまたはＷｅｂページともいう）をブラウジングするＷｅｂブラウの機能を有する。情報取得部７が取得するＷｅｂページは、予め定めた情報量である単位情報に相当する。表示制御部８は、情報取得部７による取得情報の画像データがグラフィックメモリ２５７に格納されると、格納された画像データを画面に表示するように表示装置２１２を制御する。

（履歴記録部２０の構成）
図４は、本発明の実施の形態１に係る画面表示されたページの履歴記録部２０の一例を示す図である。本実施の形態では、ページ画像の表示履歴に関する情報が履歴記録部２０に格納される。情報取得部７が取得するＷｅｂページの全体サイズは一般的に表示装置２１２の一画面に表示可能なサイズよりも大きく、ここでは、一画面には、ブラウジングされたＷｅｂページの全体のうちの部分（以下、部分ページともいう）が表示される。

履歴記録部２０は、例えばＲＡＭ２５２等のメモリ領域を示す。格納部５は、履歴記録部２０に情報を格納（書込）し、また情報取得部７は履歴記録部２０を検索（読出）する。図４を参照して、履歴記録部２０は１つ以上のレコード１０を含むテーブル形式を有する。レコード１０は、部分ページの表示画像データ（グラフィックメモリ２５７の画像データ）から認識部４が認識した文字列１１、当該部分ページの記憶場所を示す表示ページ情報１２、および当該文字列１１の表示位置情報１３、および画像表示に係る拡大／縮小倍率を示す拡大／縮小データ１４を関連付けて含む。

ここで、表示ページ情報１２は、表示中の部分ページのＵＲＬ（Uniform Resource Locator）等を示す。ＵＲＬは、Ｗｅｂページのネットワーク３００上の記憶場所を示すアドレス、例えばＨＴＴＰ（HyperText Transfer Protocol）アドレス等に相当する。

また、表示位置情報１３は、表示中の部分ページの全体Ｗｅｂページにおける位置、および当該部分ページにおける文字列１１の２次元座標値を示す。つまり、グラフィックメモリ２５７の２次元画像データにおける文字列１１の２次元座標値を示す。

なお、履歴記録部２０は、レコード１０を格納したテーブル形式としたが、図４に示すデータを相互に関連付ける態様であれば、レコードを用いたテーブル形式に限定されない。

（表示画像切替操作と文字列取得）
図５および図６は、本発明の実施の形態１に係る表示画像からの文字列認識を説明する図である。情報取得部７がブラウジングによってＷｅｂページを取得して、表示制御部８によって画面に表示させる場合に、多くのケースでは取得したＷｅｂページに対応するページＰ１のうちの部分ページ（図５（Ａ）では最初の部分ページＰ２）だけが画面に表示される。

図５（Ａ）の表示時に、操作受付部１がページ移動操作を受付けると、認識部４は文字列を認識する。ここで、ページ移動とは、表示中のＷｅｂページを、別のＷｅｂページに切替えて表示することをいう。例えば、異なるＷｅｂページ同士がリンクされている場合には、ページ移動操作はリンクを辿って別のＷｅｂページに切替えるユーザ操作を含む。

具体的には、操作受付部１がページ移動操作を受付けると、情報取得部７は受付けた操作内容に基づき、移動先のＷｅｂページをブラウジングして取得し、取得したＷｅｂページ画像データをグラフィックメモリ２５７に格納する。画像取得制御部２は、グラフィックメモリ２５７から画像データを読出して認識部４に出力するよう、画像取得部３を制御する。認識部４は、ＯＣＲ（Optical Character Recognition）等の技術を用いて画像データから文字列（１文字以上からなる文字列）を抽出し、抽出文字列中から予め定められたキーワードの文字列を抽出する。このように、ページ移動操作による画像切替操作を受付けたときは、文字列を認識して抽出する取得タイミングの１つとなる。この時点でまず部分ページＰ２に対して文字列が取得される。

なお、予め定められたキーワードは、ブラウジングがＷｅｂページの検索に用いた条件から抽出した単語等を含む。

ユーザがページ閲覧のために画面スクロール操作をすると、図５（Ｂ）のように表示画像はスクロールされて、すなわちグラフィックメモリ２５７に格納される画像（部分ページ画像）データが変更される。本実施の形態では、スクロール操作による画像切替操作を受付けたときは、文字列を認識して抽出する取得タイミングの１つとなる。図５（Ｂ）では、表示中の部分ページＰ３に、既に文字列抽出がなされた部分ページＰ２の一部領域が重複している。したがって、認識部４は、部分ページＰ３の画像データのうち、文字列を既に抽出した重複領域を除いた領域、すなわち部分ページＰ４のみで上述と同様に文字列認識を実施する。

ページによっては、図６のように、表示画像の拡大（または縮小）率を変更することができる。この場合、上述のページ移動操作、スクロール操作のタイミングに加えて、拡大縮小操作時も、認識部４による文字列認識を実施する。

拡大縮小操作による表示画像切換操作の場合が図６に示される。図６では、ページＰ１の部分ページＰ２を示すとともに、部分ページＰ２を縮小した部分ページＰ３と拡大した部分ページＰ５とを示す。拡大縮小操作により、グラフィックメモリ２５７に格納される画像（部分ページ画像）データが拡大／縮小される。拡大縮小操作を受付けた場合は、上記の画像切替操作とは異なり、既に文字列認識が実施された領域でも、全ての範囲を対象にキーワード文字列の再取得を行う。具体的には、図６の部分ページＰ２、Ｐ３およびＰ５は重複部分を有しているが、認識部４は各部分ページについて、当該部分ページの全体を対象に文字列認識を実施する。したがって、同じような領域を対象にして文字列認識が実施される。これにより、既に認識した領域を認識対象から除くための複雑な計算を省略することができ、また、領域を省いたことによって認識文字列が途切れることも回避できる。

なお、本実施の形態１では、表示画像の切替操作として、ページ移動操作、スクロール操作および拡大／縮小操作を挙げたが、これは例示であって、これらに限定されない。

（履歴記録部２０の情報格納）
認識部４は、ＯＣＲを利用して認識し文字列を抽出すると、当該文字列の抽出位置である座標位置データを、グラフィックメモリ２５７の画像データから取得する。認識部４は、取得した文字列と位置情報を格納部５に出力する。また、情報取得部７は、当該文字列が取得された画像データの部分ページのＵＲＬ等の記憶場所データをブラウジング機能によって取得することができ、取得した記憶場所データを格納部５に出力する。

格納部５は、入力した認識文字列、記憶場所データおよび位置情報から、文字列１１、表示ページ情報１２および表示位置情報１３を格納したレコード１０を生成し、当該レコード１０を履歴記録部２０に格納する。

ＣＰＵ２３１は、レコード１０を生成するとき、操作受付部１が受付けた操作内容に基づき、画像の拡大／縮小操作を検出した場合は（図６参照）、操作内容から拡大／縮小倍率を取得し、格納部５に出力する。格納部５は、入力した拡大／縮小倍率を、当該レコード１０の拡大／縮小データ１４として格納する。したがって、図６の場合には、部分ページＰ２、Ｐ３およびＰ５についてレコード１０がそれぞれ生成されて、各レコード１０に異なる倍率値を示す拡大／縮小データ１４が格納されることになる。なお、表示画像の拡大／縮小操作が検出されない場合は、当該レコード１０の拡大／縮小データ１４は、例えばゼロ、または空データ等を示す。

（処理フロー）
図７と図８は、本発明の実施の形態に係る処理フローチャートである。図示されるフローチャートは予めプログラムとしてＲＯＭ２５８等の記憶部に格納されて、ＣＰＵ２３１が記憶部からプログラムを読出し、実行することにより処理が実現される。まず、図７（Ａ）のフローチャートに従って、情報取得部７による取得情報を表示し、その履歴情報を履歴記録部２０に格納する処理を説明する。

情報取得部７は、操作受付部１が受付けた操作内容に従ってブラウジングした場合に、Ｗｅｂページを取得するとともに、そのＵＲＬ等の記憶場所データを取得する（ステップＳ３）。そして、Ｗｅｂページの部分ページの画像データを生成し、グラフィックメモリ２５７に格納する。表示制御部８は、グラフィックメモリ２５７に格納されているデータに基づく描画動作を表示装置２１２に実行させる。これにより、部分ページの画像が画面に表示される（ステップＳ５）。

画像取得制御部２は、部分ページの画像が表示されたとき、グラフィックメモリ２５７の表示画像データを取得するように画像取得部３を制御する（ステップＳ７）。画像取得部３が取得した表示画像データは認識部４に出力された、認識部４は当該画像データについて文字認識を実施してキーワード文字列を抽出し、抽出し文字列を格納部５に出力する。また、文字列位置情報を取得し格納部５に出力する。情報取得部７は、表示中の部分ページの記憶場所データを格納部５に出力する（ステップＳ９）。

格納部５は、認識部４および情報取得部７から入力した情報を格納したレコード１０を生成し、履歴記録部２０に格納する（ステップＳ１１）。これにより、情報取得部７によって情報が取得されて画像表示される毎に、表示画像データについての表示履歴を示す情報（レコード１０）が生成されて履歴記録部２０に格納される。

このように図７（Ａ）では、情報取得部７による取得情報が画面に表示されると（後述する切替操作の有無にかかわらず）、当該情報に対応してレコード１０を生成して、履歴記録部２０に格納しておくことができる。なお、図７（Ａ）の処理を、切替操作がないときは、レコード１０の生成および履歴記録部２０への格納の関する処理を省略するとしてもよい。

次に、図７（Ｂ）を参照して、操作受付部１がユーザから表示画像の切替操作（ページ移動、スクロール、拡大／縮小等の操作）を受付けたときの処理について説明する。

まず、部分ページの画像を表示中（ステップＳ５）に、ＣＰＵ２３１は操作受付部１が受付た操作内容から、表示画像の切替操作がされたか否かを判定する（ステップＳ１５）。切替操作されないと判定すると（ステップＳ１５でＮＯ）、ステップＳ１５の判定処理が繰返される。

切替操作されたと判定すると（ステップＳ１５でＹＥＳ）、情報取得部７は操作内容を操作受付部１から取得し（ステップＳ１７）、操作内容から切替後の画像データを生成し、グラフィックメモリ２５７に格納する。表示装置２１２の画面には、グラフィックメモリ２５７に格納された画像データに従う切替後のページ画像が表示される（ステップＳ１９）。その後は、図７（Ａ）のステップＳ７以降の処理が前述と同様に実施される。

図７（Ｂ）によれば、操作受付部１が表示画像の切替操作を受付けたとき、画像取得部３は切替後の表示画像を取得し、認識部４は取得画像から文字列を認識し、格納部５は認識文字列と、当該取得画像が表す情報の記憶場所を示す場所データとを関連付けたレコード１０を生成して履歴記録部２０に格納する。

次に、図８を参照して、操作受付部１がＷｅｂページの検索操作を受付けたときの処理を説明する。受付ける検索操作内容には、検索条件（キーワード等）が含まれている。

まず、ＣＰＵ２３１は、操作受付部１が受付けたユーザ操作内容から、Ｗｅｂページの検索操作がなされたか否かを判定する（ステップＳ２１）。

Ｗｅｂページの検索操作はされていないと判定すると（ステップＳ２１でＮＯ）、ステップＳ２１の処理を繰返す。一方、Ｗｅｂページの検索操作がされたと判定すると（ステップＳ２１でＹＥＳ）、抽出部６は、ユーザ操作内容の検索条件からキーワードを抽出し、情報取得部７に出力する（ステップＳ２３）。

情報取得部７の検索部９は、抽出部６からのキーワードを用いて履歴記録部２０を検索し、当該キーワード文字列に該当する文字列１１を有したレコード１０を特定し、当該レコード１０から、表示ページ情報１２および表示位置情報１３を含む組を読出す（ステップＳ２５）。ここでは、１つ以上のレコード１０が特定された、各レコード１０から、表示ページ情報１２および表示位置情報１３を含む組が読出されるとする。

情報取得部７は、読出した１つ以上の組を一覧表示するための画像データを生成し、グラフィックメモリ２５７に格納する。表示制御部８は、グラフィックメモリ２５７に格納されているデータに基づく描画動作を表示装置２１２に実行させる。これにより、表示装置２１２に一覧表が表示される（ステップＳ２７）。ユーザは、表示された一覧表から所望する組（表示ページ情報１２（ＵＲＬ）および表示位置情報１３の組）を選択する。操作受付部１は、ユーザの選択操作を受付ける（ステップＳ２９）。

情報取得部７は、受付けられた選択操作内容が示す組の表示ページ情報１２が示す記憶場所（ＵＲＬ）を用いてブラウジングし、Ｗｅｂページを取得する（ステップＳ３１）。取得されたＷｅｂページには、ステップＳ２３で取得したキーワードが含まれる。

また、情報取得部７は、取得したＷｅｂページの画像データを生成し、グラフィックメモリ２５７に格納する。このとき、情報取得部７は、選択操作内容が示す組の表示位置情報１３が示す２次元座標位置において、ステップＳ２３で取得したキーワード文字列が表示されるように、Ｗｅｂページから部分ページを抽出し、当該部分ページの画像データを生成し、グラフィックメモリ２５７に格納する。

表示制御部８は、グラフィックメモリ２５７に格納されているデータに基づく描画動作を表示装置２１２に対して実行する（ステップＳ３３）。これにより、グラフィックメモリ２５７の部分ページの画像（表示位置情報１３が示す座標位置にキーワード文字列を含む）が表示装置２１２の画面に表示される。

このような図８の処理によれば、ユーザが選択した組の表示ページ情報１２と表示位置情報１３から、過去に表示したページ画像を、過去に表示していた通りの態様で表示することができる。

（変形例１）
実施の形態１は次のように変形してもよい。つまり、図８のステップＳ２５で選択される組には、表示ページ情報１２および表示位置情報１３を含むとしたが、対応の拡大／縮小データ１４が更に含まれてもよい。

拡大／縮小データ１４が含まれる場合には、情報取得部７は、表示位置情報１３が示す２次元座標位置において、ステップＳ２３で取得したキーワード文字列が表示されるように、Ｗｅｂページから部分ページを抽出し、抽出した部分ページの画像を対応の拡大／縮小データ１４に基づく倍率で拡大／縮小処理し、処理後の画像データをグラフィックメモリ２５７に格納する。これにより、グラフィックメモリ２５７の部分ページの画像（表示位置情報１３が示す座標位置にキーワード文字列を含む）が、過去に表示したときと同じ倍率で拡大／縮小されて画面に表示される。

（変形例２）
また、ステップＳ２５において、履歴記録部２０から検索した組を一覧表示する場合に、対応する拡大／縮小データ１４が示す倍率（拡大率）に従って、倍率が高い方から低い方へという順番に一覧表示してもよい。例えば図６の場合には、履歴記録部２０から部分ページＰ２の組と部分ページＰ３の組とが読出されるが、部分ページＰ２の拡大率の方が大きい。したがって、一覧表示では、部分ページＰ２の組の方が、部分ページＰ３の組よりも先に表示される（一覧表の最初の方に表示される)。

（変形例３）
ステップＳ９におけるキーワード文字列の抽出は、表示中の部分ページの特定の表示位置における認識文字列から抽出するようにしてもよい。例えば、部分ページの先頭部分はページのタイトルが記載されることが多いことに鑑みると、特定の表示位置として部分ページの先頭部分を含むようにしてもよい。

（変形例４）
実施の形態１ではスクロール操作または拡大／縮小操作を検出したときに、表示画像データから認識部４による文字列認識を実施したが、実施するタイミングを特定してもよい。例えば、スクロール操作中または拡大／縮小操作中は実施せずに、スクロール操作の終了時、または拡大／縮小操作が終了時の１回のみ実施するとしてもよい。これにより、文字列認識またはキーワード文字列抽出処理に係る負荷上昇を防止することができる。

また、処理に係る負荷上昇を無視できる場合には、スクロール操作中または拡大／縮小操作中に文字列抽出処理を繰返し実施するとしてもよい。また、この抽出処理の繰返し間隔は、ＣＰＵ２３１のパフォーマンス（測定部が測定したＣＰＵ使用率等）に基づき、可変としてもよい。

（変形例５）
上記の変形例４において、スクロール操作中に文字列抽出処理を繰返し実施するとした場合、例えば、スクロール位置の移動量に関して閾値を設定し、閾値を超えたスクロール移動量を検出したときに、文字列認識および抽出処理を実施するとしてもよい。

例えば、閾値を用いずに、スクロール移動量がわずかであっても文字列認識および抽出処理を繰返すとした場合には、履歴記録部２０には、実質的に同じ情報（レコード１０）が複数個連続して格納されることになる。これに対して変形例５のように、閾値を超えたスクロール移動量を検出したときに、文字列認識および抽出処理が実施されるとすれば、ＣＰＵ２３１のパフォーマンスおよび履歴記録部２０に係るメモリ消費量の点で効率がよい。

（変形例６）
実施の形態１では、検索対象情報はテキストベース等のＷｅｂページとしたが、これに限定されない。例えば、端末１００の記憶部（フラッシュメモリ２５０、ＲＡＭ２５２、ＲＯＭ２５８、メモリカード１５２等）に格納されたファイル等の各種データを検索対象としてもよい。その場合には、情報取得部７は、記憶部（フラッシュメモリ２５０、ＲＡＭ２５２、ＲＯＭ２５８およびメモリカード１５２等）のアドレスまたはファイルパス等を取得し、格納部５は、これを履歴記録部２０の表示ページ情報１２として格納する。

＜実施の形態２＞
上述した実施の形態１では、上記の各フローチャートに従うプログラムは、端末１００に付属するメモリカード１５２等のように、ＣＰＵ２３１がメモリドライバ１５１を介して読取り可能な記録媒体に非一時的に記録させて、プログラム製品として端末１００に提供することもできる。あるいは、ネットワーク３００を介してアンテナ１２０を含む通信部により受信し記憶部の予め定めた記憶領域へのダウンロードによって、プログラムを提供することもできる。

提供されるプログラム製品は、プログラム自体と、プログラムが非一時的に記録された記録媒体とを含む。

本実施の形態では、実施の形態１で示した方法を、コンピュータを用いて実行するプログラムが提供されるとともに、当該プログラムを記録した機械読取り可能な記録媒体が提供される。

（実施の形態の効果）
本実施の形態によれば、画面表示されたページの中で、ユーザが実際に閲覧したことがあるページ個所に関する情報（レコード１０）を、画像切替操作によって収集して履歴記録部２０に格納しておく。そして、検索条件を含む検索操作を受付けた場合には、履歴記録部２０から検索条件に合致した情報（レコード１０）を読出し、当該レコード１０の情報を用いて、その個所を過去の閲覧態様（キーワード文字列の表示位置、拡大／縮小率等）と同様にして画面に表示することができる。

（実施の形態の構成）
端末１００に搭載される情報検索装置は、ユーザの操作を受付ける操作受付部１と、記憶場所（ＵＲＬ等）から情報を取得する情報取得部７と、情報取得部７が取得した情報を、画面に表示するように表示部（表示装置２１２）を制御する表示制御部８と、画面に表示された画像を取得する画像取得部３と、操作受付部１が表示画像の切替操作を受付けたとき、画像取得部３に切替後の表示画像を取得させる画像取得制御部２と、画像取得部による取得画像から文字列を認識する認識部４と、認識された文字列と、当該取得画像が表す情報の記憶場所データとを関連付けてメモリ（履歴記録部２０）に格納する格納部５と、操作受付部１が受付けた操作内容が示す検索条件から文字列を抽出する抽出部６と、を備え、情報取得部７は、抽出文字列に該当する文字列に関連付けられた記憶場所データをメモリから検索し、検索した当該記憶場所データが示す記憶場所から情報を取得するように構成される。

したがって、ユーザが意図して切替操作をしたときに、表示画像から、その後の検索のための情報を取得して、メモリに格納しておくことができる。

また、情報取得部７が取得する情報は、予め定めた単位情報（Ｗｅｂページ）を含み、切替操作は、画面における表示画像の単位情報を別の単位情報の画像に切替る操作（ページ移動操作）を含む。また、上述の切替操作は、画面の表示画像のスクロール操作を含み、表示切替後の画像は、スクロール操作により表示される画像を含む。したがって、ユーザがページ移動操作、スクロール操作等をしたときに、表示画像から検索のための情報を取得して、その後の検索のためにメモリに格納しておくことができる。

また、スクロール操作による画面の移動量が予め定めた閾値を超えたときに、認識部４は画像取得部３による切替後の取得画像から文字列を認識する。したがって、スクロール操作中における文字列認識の実施頻度を適切化できる。

また、格納部５は、認識した文字列１１と、記憶場所データ（表示ページ情報１２）とに関連付けて当該文字列の画像における表示位置情報１３をメモリ（履歴記録部２０）に格納する。また、切替操作には、画像の拡大／縮小操作が含まれてもよい。その場合には、格納部５は、認識された文字列１１と、当該取得画像が表す情報の記憶場所データ（表示ページ情報１２）と、拡大／縮小データ１４を関連付けてメモリ（履歴記録部２０）に格納する。

また、表示制御部８は、表示位置情報１３が示す位置において、メモリ（履歴記録部２０）から検索した文字列１１が表示されるように、当該画像を表示部に表示させる。このとき、文字列１１は、対応の表示位置情報１３が示す画像上の位置において表示され、また拡大／縮小率のデータに従う倍率で画像が拡大／縮小されて表示される。したがって、前回、情報を取得して表示した時と同じ態様（文字列表示位置、拡大／縮小倍率）で当該情報を画面に表示することができる。

また、情報取得部７が取得する情報の記憶場所データは、ＵＲＬ、アドレス、ファイルパス等を含む。したがって、取得対象とする情報に、ＵＲＬ、アドレス、ファイルパス等から検索可能な情報を含めることができる。

１ 操作受付部、２ 画像取得制御部、３ 画像取得部、４ 認識部、５ 格納部、６ 抽出部、７ 情報取得部、８ 表示制御部、９ 検索部、１０ レコード、１１ 文字列、１２ 表示ページ情報、１３ 表示位置情報、１４ 拡大／縮小データ、２０ 履歴記録部、１００ 端末、２３０ プロセッサ、３００ ネットワーク、４００ サーバ装置。

Claims (5)

1. ユーザの操作を受付ける操作受付部と、
   記憶場所から情報を取得する情報取得部と、
   前記情報取得部が取得した情報を、画面に表示するように表示部を制御する表示制御部と、
   前記画面に表示された画像を取得する画像取得部と、
   前記操作受付部が表示画像の切替操作を受付けたとき、前記画像取得部に切替後の表示画像を取得させる画像取得制御部と、
   前記画像取得部による取得画像から文字列を認識する認識部と、
   認識された文字列と、当該取得画像が表す情報の記憶場所データとを関連付けてメモリに格納する格納部と、
   前記操作受付部が受付けた操作内容が示す検索条件から文字列を抽出する抽出部と、を備え、
   前記情報取得部は、
   抽出文字列に該当する文字列に関連付けられた前記記憶場所データを前記メモリから検索し、検索した当該記憶場所データが示す記憶場所から情報を取得するように構成される、情報検索装置。
2. 前記情報取得部が取得する情報は、予め定めた単位情報を含み、
   前記切替操作は、前記画面における表示画像の単位情報を別の単位情報の画像に切替る操作を含む、請求項１に記載の情報検索装置。
3. 前記切替操作は、前記画面の表示画像のスクロール操作を含み、
   前記表示切替後の画像は、スクロール操作により表示される画像を含む、請求項１または２に記載の情報検索装置。
4. 前記格納部は、前記認識された文字列と、前記記憶場所データとに関連付けて当該文字列の表示位置情報をさらに格納する、請求項１から３のいずれかに記載の情報検索装置。
5. 前記表示制御部は、
   前記表示位置情報が示す位置において、前記メモリから検索した文字列が表示されるように、当該画像を表示部に表示させる、請求項４に記載の情報検索装置。

Images