JP2006172029A - 検索結果提示方法 - Google Patents

Abstract

【課題】本発明では、テキスト、イメージの種類に関わらず、検索して開いたホームページ、イメージ、PDFなどにおいて、自分が入力したキーワードが表示情報上のどこにあるかをひと目でわかるように提示させることである。
【解決手段】キーワードによる検索結果のメディアファイルの種類を判定し、メディアファイルの内容がイメージ系と判断された場合、該イメージに対して文字認識を行なって該当するテキスト情報の位置を特定し、その位置を強調表示してメディアファイルを画面に表示し、メディアファイルの内容がテキスト系と判断された場合、テキスト検索により特定される箇所を強調表示してメディアファイルを表示する。
【選択図】図１

Description

本発明は、文字情報を含むテキスト、イメージの検索結果の提示方法に関する。

本発明の背景技術としては、一般的な検索技術、文字認識、文書画像処理、および特許文献１、非特許文献１などの技術がある。

特開2003-317034号公報

電子情報通信学会 PRMU 2003-215 (2004-2)

ホームページで必要な情報検索する場合、キーワードを入力し、検索結果としてホームページのURLを得る。そして、あるURLを指示してあるホームページを開く。ここで、ホームページを開いたものの、自分の入力したキーワードがホームページ内のどこにあるのか、全てを読まないといけない。あるいは、URLで開いた情報にテキスト情報があれば、これに再度検索をかけることで入力キーワードを検索しなければいけない。また、検索対象がイメージの場合、テキスト情報が存在しないため、検索結果のファイルやホームページ内の全ての情報を閲覧する必要がある。

上記課題を解決するため、本発明は、検索キーワードを入力し、インターネットもしくはネットワーク上のシステムから検索結果を得て、該検索結果が画面上に表示され、該表示された検索結果中の一検索結果を選択し、該選択した検索結果の内容を表示する方法において、該選択したメディアファイルを格納し、メディアファイルの識別子を判定する第１の手段と、第１の手段による結果から、メディアファイルの内容がイメージ系と判断された場合、該イメージに対して文字認識を行ないテキスト情報を生成する第２の手段と、第２の手段から得られた結果に対し、入力された検索キーワードで検索する第３の手段と、第３の手段により検索した検索キーワードに対し、該検索キーワードとその文字画像の位置情報を格納する第４の手段と、第4の手段で格納した検索キーワードを構成する文字画像群の位置情報を使って、第２の手段で利用したイメージ上の検索キーワードに相当する部分に下線もしくは文字列枠を重ね合わせ、イメージを生成し、これを格納する第５の手段と、
第１の手段による結果から、メディアファイルの内容がテキスト系と判断された場合、該テキスト系ファイルに対してテキスト情報を抽出する第６の手段と、第６の手段から得た結果に対し、入力された検索キーワードで検索する７の手段と、第７の手段により検索した検索キーワードに対し、該検索キーワードと、該検索キーワードがテキスト内で一意に決められる情報を格納する第８の手段と、第８の手段で格納した検索キーワードをテキスト内で一意に決められる情報を使って、メディアファイル内の検索キーワードを特定し、下線を持った文字列もしくは特定色の色文字列にし、メディアフィルを更新し、これを格納する第９の手段と、
第１の手段による結果で、メディアファイルの内容がイメージ系と判断された場合、第５の手段で格納した情報を画面に表示し、メディアファイルの内容がテキスト系と判断された場合、第９の手段で格納した情報を画面に表示し、メディアファイルの内容がイメージ系でもテキスト系でも無いと判断された場合、メディアファイルをそのまま表示する第１０の手段を備えるようにしている。

また、閲覧者が検索結果の内容の閲覧中に、別の検索結果に対して先の第１の手段から第９の手段までを実行することができる。
なお、検索の入力情報を検索キーワードに限らず、文章を検索の入力情報とし、入力された文章に対して、形態素解析もしくは係り受け解析を行なう第１１の手段を設け、第１１の手段により求めた形態素で、特定の品詞の基本形を検索システムの検索キーワードとすることができる。

従来では、表示した情報の全てを読み、自分が入力したキーワードを探す必要があったが、本発明では、テキスト、イメージの種類に関わらず、検索して開いたホームページ、イメージ、PDFなどにおいて、自分が入力したキーワードが表示情報上のどこにあるかがひと目でわかるように提示させることができる。

最良の形態（処理の流れ）は、検索結果から、特定のURLを開く際に次の処理を行なう。まず、開く情報のメディアファイルの識別子を判別する。そして、判別した識別子に応じ、入力した情報がどこに記載されているかを求める。そして、その結果を表示データに重ね合わせて表示する。ここで、イメージの場合、文字情報が存在しないので、文字情報とその位置情報を画像処理技術と文字認識技術を用いて得る。

本検索結果方法の処理結果の例を図２、３に示す。0201はディスプレイ上に表示された検索結果の内容である。0203などの長細い矩形は行を、0209や0211は図や表を表している。従来では、このように情報が表示されるのみで、情報の全てを読まなければ、自分が入力した検索キーワードがどこにあるかを知ることが出来ず、時間を要し、不便であった。本発明は、図２の0205や0207．図３の0305や0307のように、表示された情報上の検索キーワードが一目で分かるように、検索キーワードを矩形で囲んだり、検索キーワードに下線を添える等の強調表示を行う。

次に、本発明の一実施例の検索結果方法の処理フローを図1に示す。
図１中の0101は、インターネットもしくはネットワーク上のシステムから戻された検索結果の一結果を選択し、内容を表示する際に行なう処理フローである。

図１の0101において、まず選択された結果の内容であるメディアファイルの識別子を判定する。例えば、XXX.htmlであれば、htmlファイルでファイル中にテキストとイメージを同時に持つ。またXXX.docであれば、wordファイルでファイル中に主にテキストを持つ。またXXX.tifであれば、tifファイルでファイル中にイメージを持つ。またXXX.pdfであれば、PDFファイルでファイル中に主にPostscript系の情報を持つ。この場合、Postscript系の情報はイメージで表現されるので、扱いはイメージと同様である。またPDFファイルはテキスト情報を透明ファイルに持つことができるが、画面上への表示がイメージであるため、特にイメージで十分である。

そして、0103において、イメージ系の識別子を持つファイルであれば、文字認識を行い、イメージ内のテキスト情報を生成する。ここで、テキスト情報とは、単なるテキスト情報、もしくは単なるテキストではなく、文字切出しや文字認識の誤りを許容できる情報のことを言う。詳細は後述する。
また、テキスト系の識別子を持つファイルであれば、テキスト情報を抽出する。これは、例えば、wordと一太郎、Excelではデータ構造が異なり、テキスト系として同一の処理を行なうには共通したプレーンテキストに直す必要があるからである。

そして、0105において、検索者が入力した検索キーワードで、着目中のメディアファイルの識別子にあわせ、0103で作成・抽出したテキスト情報から検索する。検索する方法としては電子情報通信学会 PRMU 2003-215 (2004-2)、特開2003-317034号公報で既に発表されており、実現できる。
そして、0107において、検索者が入力した検索キーワードがどこにあったかひと目で分かるように、検索結果上に表示するための表示情報を求める。具体的には、メディアファイルがイメージ系であった場合、作成したテキスト情報から検索キーワードを検索した際の、検索キーワードに対応する文字画像群の位置情報を求める。またメディアファイルがテキスト系であった場合、検索したキーワードがテキスト内で一意に決められる情報を求める。

そして、0109において、画面に表示するメディアファイルに、0107で求めた表示情報を重ね合わせる。具体的には、メディアファイルがイメージ系であった場合、検索キーワードに相当する部分（0107で求めた文字画像群の位置情報）を下線もしくは文字列枠として、メディアファイル上に重ね合わせ、イメージを更新する。またメディアファイルがテキスト系であった場合、0107で求めた、検索キーワードをテキスト内で一意に決められる情報を使って、メディアファイル内の検索キーワードを特定し、下線を持った文字列もしくは特定色の色文字列にし、メディアファイルを更新する。

そして、0111において、キーワードの位置がひと目で分かるように、先に加工されたイメージもしくはテキストファイルを画面に表示する。ここで、イメージ系、テキスト系に相当しない検索結果に対しては0103から0109のような処理を行なわず、メディアファイルをそのまま表示する。

上述したイメージ系のテキスト情報の定義であるが、単なるテキスト情報、もしくは単なるテキストではなく、文字切出しや文字認識の誤りを許容できる情報のことである。後者を図５を用いて説明する。具体的には、特開2003-317034号公報、電子情報通信学会 PRMU 2003-215 (2004-2)で既に発表されている。0501は入力イメージの行画像である。また0515は行画像を文字切出しし、文字として可能性のある文字画像を抽出し、文字切出しの仮説をネットワークで表現したものである。より詳細に述べる。「化」は文字切出しにより0503「化」、0505「イ」、0507「ヒ」となり、３種類の文字としての可能性が存在する。0509と0511のノード間で文字としての可能性のあるパスは２通りである。ここで、文字識別は複数個の候補文字を持っており、アーク上には複数個の認識候補文字が存在する。また、入力キーワードが存在するか否かの判断は、入力キーワードが図5のネットワーク上を遷移し、遷移できるか否かで決まる。以上のように、文字切出しと文字識別のあいまい性を確保した仮説付きネットワーク表現を入力キーワードで遷移することにより、文字切出しと文字識別の誤りを許容し、より高い精度で検索キーワードを求めることができる。

次に、検索した検索キーワードのイメージ上での表示例を図6に示す。実施例における0107の説明で、検索キーワードに対応する文字画像群の位置情報を求める、と述べているように、0601、0603のような文字画像の位置情報が予め分かっているので、この位置情報を利用し、0605のような色の付いた下線を引くことで容易に実現できる。

次に、閲覧者が検索キーワードの入力から検索結果を閲覧するまでの処理フローを図4に示す。まず0401において、閲覧者が検索キーワードを入力する。そして、0403にて、入力キーワードでの検索が実行される。次に、0407にて検索結果を受理し、0407にて検索結果一覧を表示する。そして、0411において、検索結果一覧から閲覧する検索結果を選択する。次に、図1で説明した0101から0111の処理を行い、選択した結果の内容上に入力した検索キーワードが分かるように表示される。そして、着目結果の閲覧後、0415において、閲覧者が再度検索結果を閲覧するかの判断をし、閲覧すると判断した場合に0411に戻って再び同様な閲覧を行なう。また閲覧しないと判断した場合、処理を終了する。

次に、文章を入力情報とする場合を図7を用いて説明する。まず、0701は入力文章であり、0703はこれを形態素解析した結果である。その内、0705が文章中での形態素、0707が形態素の読み、0709が形態素の基本形、0711が品詞等の情報である。次に、これから検索キーワードを求める一例であるが、検索に意味のあるキーワードを抽出するため、ルール1：名詞-一般、ルール2：名詞-一般 ＋ 接尾-サ変接続、ルール3：名詞-サ変接続、のように、ルールを予め用意しておき、ルールに適合する大きな連続する形態素の組を求めていくことで。検索キーワードを求める。

図８を用いて、本実施例を実施するための検索結果提示装置の構成を説明する。本装置は、中央演算装置（ＣＰＵ）８０１と、主メモリ８０２と、表示装置８０３と、入力装置８０４と、記憶装置８１０と、で構成される。
記憶装置８１０には、ＯＳ（オペレーティングシステム）８１１と、メディアファイルデータベース８１２と、ファイル検索プログラム８１３と、強調表示プログラム８１４と、が格納される。

メディアファイルデータベース８１２には、キーワード検索の対象となるイメージ系またはテキスト系のメディアファイルが格納される。メディアファイルデータベース８１２は、検索結果提示装置の装置外に接続されてもよい。ファイル検索プログラム８１３は、ユーザが入力装置８０４によりするキーワードによるキーワード検索を行う。強調表示プログラム８１４は、検索結果であるメディアファイルの種類を判定し、メディアファイルの内容がイメージ系と判断された場合、該イメージに対して文字認識を行なって該当するテキスト情報の位置を特定し、その位置を強調表示してメディアファイルを表示装置８０３に表示し、メディアファイルの内容がテキスト系と判断された場合、テキスト検索により特定される箇所を強調表示してメディアファイルを表示装置８０３に表示する。
尚、上記プログラムは、主メモリ８０２に読み込まれ、ＣＰＵ８０１が制御することにより実行される。

本発明は、ホームページやマルチメディア・データベースからの情報検索の検索結果表示方法に関する。

閲覧情報上の検索キーワードに下線などを添えて分かりやすくする処理フロー。 閲覧情報上の検索キーワードを矩形で囲んだ画面表示例。 閲覧情報上の検索キーワードに下線を添えた画面表示例。 閲覧者による検索キーワードの入力から検索を終了するまでの処理フロー。 イメージからの検索キーワード抽出のためのデータ構成図。 イメージから検索した検索キーワードの、イメージ上での表示例。 入力文章に係り受け解析を行なった結果例。 本発明を実施するためのハードウェアの構成例。

Claims (3)

1. 検索キーワードを入力し、インターネットもしくはネットワーク上のシステムから検索結果を得て、該検索結果が画面上に表示され、該表示された検索結果中の一検索結果を選択し、該選択した検索結果の内容を表示する方法において、
   該選択したメディアファイルを格納し、メディアファイルの識別子を判定する第１の手段と、
   第１の手段による結果から、メディアファイルの内容がイメージ系と判断された場合、該イメージに対して文字認識を行ないテキスト情報を生成する第２の手段と、
   第２の手段から得られた結果に対し、入力された検索キーワードで検索する第３の手段と、
   第３の手段により検索した検索キーワードに対し、該検索キーワードとその文字画像の位置情報を格納する第４の手段と、
   第4の手段で格納した検索キーワードを構成する文字画像群の位置情報を使って、第２の手段で利用したイメージ上の検索キーワードに相当する部分に下線もしくは文字列枠を重ね合わせてイメージを生成し、これを格納する第５の手段と、
   第１の手段による結果から、メディアファイルの内容がテキスト系と判断された場合、該テキスト系ファイルに対してテキスト情報を抽出する第６の手段と、
   第６の手段から得られた結果に対し、入力された検索キーワードで検索する７の手段と、
   第７の手段により検索した検索キーワードに対し、該検索キーワードと、該検索キーワードがテキスト内で一意に決められる情報を格納する第８の手段と、
   第８の手段で格納した該検索キーワードをテキスト内で一意に決められる情報を使って、メディアファイル内の検索キーワードを特定し、強調表示による文字列にし、メディアファイルを更新し格納する第９の手段と、
   第１の手段による結果で、メディアファイルの内容がイメージ系と判断された場合、第５の手段で格納した情報を画面に表示し、メディアファイルの内容がテキスト系と判断された場合、第９の手段で格納した情報を画面に表示し、メディアファイルの内容がイメージ系でもテキスト系でも無いと判断された場合、メディアファイルをそのまま表示する第１０の手段を備えたことを特徴とする検索結果提示方法。
2. 請求項１記載の検索結果提示方法において、検索の入力情報を検索キーワードに限らず、文章も検索の入力情報とし、入力された文章に対して、形態素解析もしくは係り受け解析を行なう第1の手段と、
   第１の手段により求めた形態素で、特定の品詞の基本形を検索システムの検索キーワードとすることを特徴とする検索結果提示方法。
3. 請求項１もしくは請求項２記載の検索結果提示方法において、検索者が一検索結果を閲覧中に、次の検索結果に対して請求項１の第１の手段から第９の手段までを実行することを特徴とする検索結果提示方法。

Images