JP2007264992A - Document retrieval device, document retrieval method, and document retrieval program - Google Patents

Document retrieval device, document retrieval method, and document retrieval program Download PDF

Info

Publication number
JP2007264992A
JP2007264992A JP2006088772A JP2006088772A JP2007264992A JP 2007264992 A JP2007264992 A JP 2007264992A JP 2006088772 A JP2006088772 A JP 2006088772A JP 2006088772 A JP2006088772 A JP 2006088772A JP 2007264992 A JP2007264992 A JP 2007264992A
Authority
JP
Japan
Prior art keywords
document
image
input
step
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006088772A
Other languages
Japanese (ja)
Inventor
Daisaku Horie
大作 保理江
Original Assignee
Konica Minolta Holdings Inc
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings Inc, コニカミノルタホールディングス株式会社 filed Critical Konica Minolta Holdings Inc
Priority to JP2006088772A priority Critical patent/JP2007264992A/en
Publication of JP2007264992A publication Critical patent/JP2007264992A/en
Application status is Withdrawn legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a document retrieval device capable of retrieving a document similar to an object document by an easy operation. <P>SOLUTION: A user photographs the entire paper document with the camera of a cellular phone (A). Also, a part where a text is present is enlarged and photographed (B). A database is retrieved on the basis of these pieces of information, and document data whose entire layout and text contents are similar are displayed on the screen of the cellular phone as a retrieved result (C). <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は文書検索装置、文書検索方法、および文書検索プログラムに関し、特に複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置、文書検索方法、および文書検索プログラムに関する。 The present invention document retrieval apparatus, document retrieval method, and a document retrieval program, in particular a plurality document database document data is registered in the document search apparatus for searching a high document similarity target document, a document search method, and about the document search program.

従来より、入力された文書画像をもとに、大量の文書データから類似していると判断される文書を検索するための文書検索システムが提案されている。 Conventionally, on the basis of the document image input, a document retrieval system for retrieving documents that are determined to be similar from a large amount of document data has been proposed. このようなシステムは、紙に出力された文書が汚れたり劣化してしまうことによって、元の綺麗な文書を出力し直したいというニーズや、紙の文書から文書データを取得したいというニーズに対応するためのものである。 Such a system, by that document, which is output to the paper is deteriorated or dirty, and needs that you want to re-output the original clean document, to address the needs that want to get the document data from paper documents it is for.

また、元々カラーで存在する電子文書が、モノクロプリンタやモノクロ複写機によってモノクロ化されてしまう場合がある。 The electronic document originally present in color, in some cases being monochrome by monochrome printer and a monochrome copying machine. このモノクロ紙文書のみを所有している場合において、文書の内容がグラフなどを含むときには、色が重要な意味をもつことが多いため、カラー出力のニーズがある。 In case you have only the monochrome paper document, when the contents of the document including graphs, because they often have a color important, there is a need for color output. さらに、元の文書の一部の紙出力のみを所有しているが、所有箇所の前後の内容を知るために全文を出力し直したいというニーズがある。 In addition, it owns the only part of the paper output of the original document, there is a need that you want to re-outputs a full text in order to know the before and after of the contents of the ownership point. また、自身の所有している紙出力文書を他人のために出力する場合がある。 Further, there is a case of outputting the paper output document owns its own for others. 自身の所有している紙文書の複写物では画質の劣化が発生するため、元の電子文書から出力し直すことが好ましい。 Since the deterioration of image quality occurs in the copy of the own owning paper documents, it is preferable to re-output from the original electronic document. 上記文書検索システムはこのようなニーズに対応することができる。 The document searching system can meet this need.

文書検索システムにおいては、紙文書を入力として、元の電子文書を探し出すことが必要となる。 In the document retrieval system, as inputs a paper document, it is necessary to locate the original electronic document. 一般的に蓄積されている電子データは膨大な数存在することが多いため、効率のよい検索ができるシステムの構築が必要となる。 Since it is often electronic data that is typically accumulated present huge number, it is necessary to build a system capable of good search efficiency.

このような技術に関連して、下記特許文献1には、テキスト認識用に適した解像度で入力された画像を元にテキスト認識すると共に、この画像を元に視認用の低解像度の画像を作成し、認識されたテキストと対応付けて記録し、テキスト検索によって低解像度画像を検索させるシステムが開示されている。 In connection with such technology, the following Patent Document 1, creates well as text recognition based on the image input by the resolution suitable for text recognition, the low resolution image for viewing the image on the original and was recorded in association with recognized text, the system for searching low resolution image is disclosed by the text search.

また下記特許文献2は、入力文書画像をもとに文字認識を行なった後に、言語解析を行なってキーワード設定を行なうと共に、レイアウト情報を抽出してレイアウト情報に応じてキーワードの重み付けを行ない、このキーワードによって文書検索を行なう方法を開示している。 The following patent document 2, after performing a character recognition based on the input document image, performs a keyword set by performing language analysis, performs weighting of keywords in accordance with the layout information by extracting the layout information, this It discloses a method of performing document retrieval by a keyword.
特開平8−63583号公報 JP 8-63583 discloses 特開2000−67080号公報 JP 2000-67080 JP

従来の文書検索システムにおいて文書画像を入力するデバイスは、スキャナやMFP(Multi Function Peripheral)などの大型の装置であることが一般的であった。 Device for inputting a document image in a conventional document retrieval system, it has been common is a large apparatus such as a scanner or MFP (Multi Function Peripheral).

従って、システムを使用するためには、ユーザは、大型のスキャナを手元に揃えたり、MFPのところまでわざわざスキャンしに行ったりしなければならないという問題があった。 Therefore, in order to use the system, the user, or align the large-sized scanner at hand, there is a problem that must or went to scan all the way to the place of the MFP. 従って、会議室内での会議中に、配布用に手元の紙文書の元データを即時に検索したい場合や、出張先で同様に検索したい場合などに対応することができなかった。 Therefore, during a meeting in the conference room, or if you want to search immediately the original data of the hand of the paper document for distribution, it was not able to support, for example, if you want to search in the same way on the road.

このような問題を解決する手法として、携帯電話に搭載されているカメラのような携帯端末タイプのスキャナを入力デバイスとして用いることが考えられる。 As a method for solving such a problem, it is conceivable to use the mobile terminal type of scanner, such as a camera mounted on a cellular phone as an input device.

文書検索システムでは、レイアウトや色味といった画像情報やテキスト情報をもとに検索がなされている。 In the document search system, search on the basis of the image information and text information, such as layout and color have been made. 大型のスキャナからの入力画像を用いる文書検索システムでは、紙文書を文字認識が十分可能な解像度で入力した後に、文字認識によってテキスト情報を抽出したり、必要に応じて画像を縮小した後に画像特徴量を算出することで検索に必要な情報を得ていた。 The document retrieval system using the input image from a large scanner, after entering a paper document character recognition with sufficient possible resolutions, image feature and extract the text information by the character recognition, after reducing the image as needed It had received information required for search by calculating the amount. 従って、文字が多い文書では文字認識にかなりの処理時間を費やしてしまったり、画像特徴算出用の画像を作成するための処理時間が発生してしまうという検索速度の問題があった。 Accordingly, the document character often or worse spend significant processing time to the character recognition, the processing time for creating an image for image feature calculated had search speed of the problem that occurred.

検索速度の高速化のためには、文字認識を行なわずにキーワードを直接入力するという方法もあるが、たとえば携帯電話を用いる場合は、文字の入力インタフェースがPCほど簡易ではないため、操作が煩わしいという問題がある。 In order to speed up searching speed, there is a method of entering a keyword without character recognition directly, eg when using a mobile phone, since the input interface of a character is not a simple as PC, manipulation cumbersome there is a problem in that.

また、たとえば論文なのか報告書なのかといった文書種類ごと、文書作成者ごとに文書レイアウトが違っていることが多い。 In addition, for example, for each document type, such as whether the paper that the one report that the, often have different document layout for each document creator. このため、たとえば「『監視』や『セキュリティ』に関する論文誌」をいくつか検索したいというニーズを満たすために、文書レイアウトを用いて「論文誌」にジャンルを絞り、キーワードによって関連文書を絞り込むといった使い方も文書検索システムでは可能となる。 How to use, such as Therefore, in order to meet the needs, for example, that you want to search some of the "" Journal on monitoring "and" security "", squeezed the genre in the "Journal" by using a document layout, narrow down the relevant documents by keyword it is possible in even the document retrieval system.

この場合、たとえば携帯電話のカメラを使用する場合においては、前述の文書検索と同様の問題の解決に加え、検索結果提示用の表示画面が十分でないために、レイアウト情報やテキスト情報を十分に用いたりキーワードを適切に設定することで検索結果候補を十分に絞りこむ必要がある。 In this case, for example in the case of using a cell phone camera, in addition to solving the same problem as document search described above, for the display screen for search results presented is not sufficient enough with the layout information and text information it is necessary to refine a sufficient search result candidate by setting or the keyword properly. しかし、携帯電話のカメラは画素数が十分でないため、テキスト情報を抽出可能なレベルの解像度で文書を撮影すると、文書全体のレイアウト情報が得らない。 However, mobile phone camera because the number of pixels is not sufficient, when shooting a document in extractable levels of resolution text information, the layout information of the whole document is not obtained. 一方、文書全体を撮影すると文字認識ができなくなってしまうため、両者を両立できないという問題がある。 On the other hand, since it becomes impossible character recognition to shoot the entire document, it is impossible to achieve both the two.

仮に両者を両立でき、文書全体に対するテキスト情報抽出と画像情報抽出ができたとしても、これらの全情報の中から自動的にキーワードやキー画像を設定したのでは、類似文書検索において「類似性」の定義自体がユーザごとに異なるため、検索者の意図に即した検索結果が得られないという問題がある。 If possible both both even possible text information extraction and image information extraction for the entire document, than was set automatically keywords and key image from among all these information, "similarity" in the similar document retrieval definitions themselves different for each user is a problem that search in line with the intention of the searcher results can not be obtained. これを解決すべく、テキスト情報の抽出をキーワード入力で代用しようとすると、前述の入力インタフェースの点で煩わしさの問題が生じる。 In order to solve this problem, when you try to substitute the extraction of text information in the keyword input, the hassle of problems in terms of the above-mentioned input interface.

なお、上記特許文献1の手法を採用すると、テキスト中からユーザの意図する検索キーワードを設定するためのキーボードなどが必要となり、装置が大型化するという問題がある。 Incidentally, when employing the technique of Patent Document 1, such as a keyboard for setting a search keyword to the user's intention from the text is required, there is a problem that the apparatus becomes large. 更に、高解像度画像はテキスト検索にしか用いられないが、局所的なテキスト検索しか行なわないのであれば、無駄に大容量の画像を入力していることになり処理速度や必要記憶容量の面で問題がある。 Furthermore, high-resolution images are not only used in the text search, if not performed only localized text search, in terms of processing speed and storage capacity required would be that the input image of wasting large There's a problem. 逆に、検索時に文書全体のテキスト情報を用いて検索を行なうのであれば、処理時間が長くなり、また、特定のキーワードを重視した検索にならないためユーザの意図に即した検索結果が得られないという問題がある。 Conversely, if the performed search using the text information for the entire document at the time of retrieval, processing time increases, also, the search does result is obtained in line with the intention of the user for not to search with an emphasis on particular keywords there is a problem in that.

また、特許文献2には、文書画像からキーワードを適応的に設定することが開示されているが、ユーザの意図は反映されておらず、また、処理時間も長くかかるという問題がある。 Further, Patent Document 2, it is disclosed to set the keywords adaptively from the document image, the user's intention is not reflected, also, there is a problem that the processing time is also long. さらに、特許文献2では、画像特徴を検索に有効利用していないという問題がある。 Furthermore, there is a problem that does not effectively utilized in Patent Document 2, an image feature in the search.

本発明は、上述の問題点を解決するためになされたものであり、簡単な操作により対象文書に類似する文書の検索を行なうことができる文書検索装置、文書検索方法、および文書検索プログラムを提供することを目的としている。 The present invention has been made to solve the problems described above, the document search apparatus capable of performing a search for documents that are similar to the target document by a simple operation, a document search method, and providing a document retrieval program It is intended to be.

上記目的を達成するためこの発明のある局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置は、対象文書の第1の解像度の画像を入力する第1の入力手段と、対象文書の、第1の解像度より細かい第2の解像度の画像であって、第1の入力手段により入力された画像の一部に対応する画像を入力する第2の入力手段と、第1の入力手段により入力された画像を基に画像情報を抽出する、画像情報抽出手段と、第2の入力手段により入力された画像を基にテキスト情報を抽出する、テキスト情報抽出手段と、抽出された画像情報とテキスト情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索手段とを備える。 According to an aspect of the present invention for achieving the above object, from the document database in which a plurality of document data is registered, the document search apparatus for searching a highly targeted document similarity document, the target document of the first resolution input a first input means for inputting an image, the target document, a first fine second resolution image than the resolution, the image corresponding to a portion of the input image by the first input means extraction and second input means, for extracting image information based on the input image by the first input means, the image information extracting means, the text information based on the image inputted by the second input means for to comprises a text information extracting unit, by using the extracted image information and text information, and search means for searching data of a document similar to the target document from the document database.

好ましくは文書データベースにおいては、複数の文書データのそれぞれに対応付けて、文書画像の特徴と、文書のテキストデータとを記録し、検索手段は、記録された文書画像の特徴および文書のテキストデータ、ならびに抽出された画像情報およびテキスト情報に基づいて検索を行なう。 Preferably, in the document database, in association with each of the plurality of document data, and recording the characteristics of the document image, and a text data of the document, the search means, the text data of the features and documents recorded document image, and performing a search based on the extracted image information and text information.

好ましくは検索手段は、テキスト情報抽出手段で抽出されたテキスト情報のうち、ユーザから選択されたテキスト情報を用いて検索を行なう。 Preferably retrieval means, among the text information extracted by the text information extracting means, performs a search using the text information selected by the user.

この発明の他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置は、対象文書の第1の解像度の画像を入力する第1の入力手段と、対象文書の、第1の解像度より細かい第2の解像度の画像であって、第1の入力手段により入力された画像の一部に対応する画像を入力する第2の入力手段と、第1の入力手段により入力された画像を基に第1の画像情報を抽出する、第1の画像情報抽出手段と、第2の入力手段により入力された画像を基に第2の画像情報を抽出する、第2の画像情報抽出手段と、抽出された第1および第2の画像情報を用いて、文書データベースから対象文書に類似する文書のデータを検索する検索手段とを備える。 According to another aspect of the invention, from the document database in which a plurality of document data is registered, the document search apparatus for searching a high document similarity target document, first enter a first resolution image of the target document and one of the input means, the target document, a first fine second resolution image than the resolution, the second input for inputting an image corresponding to a portion of the input image by the first input means means and extracts the first image information based on the input image by the first input means, a first image information extracting unit, a second based on the input image by the second input means extracting the image information, comprising a second image information extracting means, using the first and second image information extracted, and a retrieving means for retrieving data of the document to be similar to the target document from the document database.

好ましくは文書検索装置は、第2の解像度の画像の第1の解像度の画像に対する位置を入力する位置入力手段をさらに備え、検索手段は、位置を用いて検索を行なう。 Preferably the document retrieval apparatus further comprises a position input means for inputting position with respect to the first resolution of the image of the second resolution image, the search means performs the search by using the position.

好ましくは文書検索装置は、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力手段により入力された画像の一部に対応する画像を入力する第3の入力手段と、第3の入力手段により入力された画像を基に画像情報またはテキスト情報を抽出する抽出手段とをさらに備え、検索手段は、抽出手段の抽出結果を用いて検索を行なう。 Preferably the document retrieval apparatus, the target document, a finer resolution image than the first resolution, a third input means for inputting an image corresponding to a portion of the input image by the first input means further comprising an extraction means for extracting image information or text information on the basis of the third input image by the input means, search means performs the search by using the extraction result of the extraction means.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置は、対象文書の第1の解像度の画像を入力する第1の入力手段と、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力手段により入力された画像の一部に対応する画像を入力する第2の入力手段と、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力手段により入力された画像の一部に対応する画像を入力する第3の入力手段と、第1の解像度の画像を表示して、第2および第3の入力手段で入力された画像の位置を入力する位置入力手段と、第2および第3の入力手段により入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search apparatus for searching a high document similarity target document, inputs the first resolution image of the target document a first input means, the target document, a finer resolution image than the first resolution, a second input means for inputting an image corresponding to a portion of the input image by the first input means , the target document, a finer resolution image than the first resolution, a third input means for inputting an image corresponding to a portion of the input image by the first input means, the first resolution displaying an image, based on the position input means for inputting the position of the image input in the second and third input means, the input image by the second and third input means, image information and text at least one of the information 出する、情報抽出手段と、第2および第3の入力手段により入力された画像の位置と、抽出された情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索手段とを備える。 Out to the information extraction means, the position of the input image by the second and third input means, by using the extracted information, retrieving means for retrieving data of the document to be similar to the target document from the document database provided with a door.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法は、対象文書の第1の解像度の画像を入力する第1の入力ステップと、対象文書の、第1の解像度より細かい第2の解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、第1の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、第2の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、抽出された画像情報とテキスト情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとを備える。 According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search method for searching a high document similarity target document, inputs the first resolution image of the target document a first input step, the target document, a finer than the first resolution a second resolution image, a second inputting an image corresponding to a portion of the input image by a first input step an input step, to extract the image information based on the input image by a first input step, extracts the image information extracting step, the text information based on the image inputted by the second input step, the text information comprising an extraction step, with reference to the extracted image information and text information, and a search step of searching data of a document similar to the target document from the document database.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法は、対象文書の第1の解像度の画像を入力する第1の入力ステップと、対象文書の、第1の解像度より細かい第2の解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、第1の入力ステップにより入力された画像を基に第1の画像情報を抽出する、第1の画像情報抽出ステップと、第2の入力ステップにより入力された画像を基に第2の画像情報を抽出する、第2の画像情報抽出ステップと、抽出された第1および第2の画像情報を用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップと According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search method for searching a high document similarity target document, inputs the first resolution image of the target document a first input step, the target document, a finer than the first resolution a second resolution image, a second inputting an image corresponding to a portion of the input image by a first input step an input step, based on the input image by a first input step of extracting the first image information, the second based on the first image information extraction step, an input image by a second input step It extracts image information, and the second image information extraction step, using the first and second image information extracted, and the search step of searching data of a document to be similar from the document database to the target document 備える。 Provided.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法は、対象文書の第1の解像度の画像を入力する第1の入力ステップと、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第3の入力ステップと、第1の解像度の画像を表示して、第2および第3の入力手段で入力された画像の位置を入力する位置入力ステップと、第2および第3の入力ステップにより入力された画像を基に、画像情報およびテ According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search method for searching a high document similarity target document, inputs the first resolution image of the target document a first input step, the target document, a finer resolution image than the first resolution, a second input step of inputting an image corresponding to a portion of the input image by a first input step , the target document, a finer resolution image than the first resolution, a third input step of inputting an image corresponding to a portion of the input image by a first input step, the first resolution displaying an image, based on the position input step of inputting the position of the image input in the second and third input means, the image inputted by the second and third input step, image information and Te スト情報の少なくとも一方を抽出する、情報抽出ステップと、第2および第3の入力ステップにより入力された画像の位置と、抽出された情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとを備える。 Extracting at least one of the strike information, and information extraction step, the position of the second and third input inputted image by step, by using the extracted information, from the document database of documents similar to the target document and a search step of retrieving data.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムは、対象文書の第1の解像度の画像を入力する第1の入力ステップと、対象文書の、第1の解像度より細かい第2の解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、第1の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、第2の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、抽出された画像情報とテキスト情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとをコンピュ According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search program for searching a high document similarity target document, inputs the first resolution image of the target document a first input step, the target document, a finer than the first resolution a second resolution image, a second inputting an image corresponding to a portion of the input image by a first input step an input step, to extract the image information based on the input image by a first input step, extracts the image information extracting step, the text information based on the image inputted by the second input step, the text information an extraction step, with reference to the extracted image information and text information, and a search step of retrieving data of the document to be similar from the document database to the target document Computing タに実行させる。 To be executed by the data.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムは、対象文書の第1の解像度の画像を入力する第1の入力ステップと、対象文書の、第1の解像度より細かい第2の解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、第1の入力ステップにより入力された画像を基に第1の画像情報を抽出する、第1の画像情報抽出ステップと、第2の入力ステップにより入力された画像を基に第2の画像情報を抽出する、第2の画像情報抽出ステップと、抽出された第1および第2の画像情報を用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステ According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search program for searching a high document similarity target document, inputs the first resolution image of the target document a first input step, the target document, a finer than the first resolution a second resolution image, a second inputting an image corresponding to a portion of the input image by a first input step an input step, based on the input image by a first input step of extracting the first image information, the second based on the first image information extraction step, an input image by a second input step extracting the image information, search stearyl that the second image information extraction step, using the first and second image information extracted, searches the data of the document to be similar to the target document from the document database プとをコンピュータに実行させる。 To execute and up to a computer.

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムは、対象文書の第1の解像度の画像を入力する第1の入力ステップと、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、対象文書の、第1の解像度より細かい解像度の画像であって、第1の入力ステップにより入力された画像の一部に対応する画像を入力する第3の入力ステップと、第1の解像度の画像を表示して、第2および第3の入力手段で入力された画像の位置を入力する位置入力ステップと、第2および第3の入力ステップにより入力された画像を基に、画像情報お According to a further aspect of the present invention, from the document database in which a plurality of document data is registered, the document search program for searching a high document similarity target document, inputs the first resolution image of the target document a first input step, the target document, a finer resolution image than the first resolution, a second input step of inputting an image corresponding to a portion of the input image by a first input step , the target document, a finer resolution image than the first resolution, a third input step of inputting an image corresponding to a portion of the input image by a first input step, the first resolution displaying an image, based on the position input step of inputting the position of the image input in the second and third input means, the input image by the second and third input step, our image information びテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、第2および第3の入力ステップにより入力された画像の位置と、抽出された情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる。 Extracting at least one of fine text information, information extraction steps, document the position of the second and third input inputted image by step, by using the extracted information, similar from the document database to the target document to execute the steps of: retrieving data for the computer.

上記発明に従うと、簡単な操作により対象文書に類似する文書の検索を行なうことができる文書検索装置、文書検索方法、および文書検索プログラムを提供することが可能となる。 According to the invention, a document retrieval apparatus capable of searching for documents similar to the target document by a simple operation, it is possible to provide a document search method, and a document retrieval program.

検索のキーとなる画像の入力を行なうとき、必ずしも高解像度での入力が可能なスキャナやMFPが身近にあるとは限らない(たとえば、会議室にいる場合や、各自のPCを使う場合や、出先にいる場合など)。 When performing the input of the search key to become the image, and if necessarily capable scanner or MFP input at high resolution is not necessarily to be in the familiar (for example, if you are in the conference room, using their PC, such as when you are in the go). 従って、携帯電話のカメラなどを用いて画像の入力ができればユーザのメリットは大きい。 Thus, the user benefits when the input image is possible by using a mobile phone camera is large. しかし、十分な数の検索キーワードを入力するには、携帯電話ではインタフェースが乏しく、そのカメラの画素数も不足している。 However, enough to enter the number search keyword of, poor interface is a mobile phone, is missing also the number of pixels of the camera. さらに、文字メインの文書は画像検索では特定精度が不十分である。 Furthermore, the document character main is insufficient identification accuracy in image retrieval.

そこで、本実施の形態では、文書全体を撮影することにより低解像度の画像を取得し、それからレイアウト情報を抽出する。 Therefore, in this embodiment, obtains the low-resolution image by photographing the entire document, then extracts the layout information. また、文書を局所的に撮影することにより、細かい解像度の画像を取得し、それからテキスト情報を抽出する。 Furthermore, by locally capturing the document to obtain a fine resolution images, then extracts the text information. レイアウト情報とテキスト情報をもとに文書検索が行なわれる。 Document retrieval is performed on the basis of the layout information and text information. また、必要であれば全体撮影と局所撮影の両者の位置関係を考慮して検索を行なう。 Further, to search in consideration of the positional relationship between the overall imaging and local shooting if necessary.

このように本実施の形態においては、2回の文書の撮影を行ない、うち1回は文書全体を撮影して撮影画像から画像情報を抽出し、もう1回は局所撮影による撮影画像からテキスト情報を抽出し、これらをもとに検索を行なう。 In this manner, the present embodiment performs the imaging of two documents, one of which extracts the image information from the captured image by capturing an entire document, and once the text information from the image captured by the local shooting to extract, perform a search for those in the original.

このような処理により、限られた画素数のカメラでも、全体画像が必要なレイアウト特徴と、解像度が要求されるテキスト特徴の両者の情報をもとに検索が可能となる。 By such processing, even with limited camera number of pixels, the layout feature requiring the entire image, it is possible to search on the basis of both the information of the text feature resolution is required. これにより、画像入力装置を安価、小型、汎用的なものとすることができる。 Accordingly, an image input apparatus inexpensive, small-sized, can be a general purpose ones. また、画素数が少ないため、全体撮影においては処理速度を高速化することができ、かつ印刷ムラや網点の影響を受けにくい。 Further, since the number of pixels is small, the entire imaging can be faster processing speeds, and less susceptible to uneven printing and dot. 局所撮影では、ユーザの意図するキーワード抽出が容易になり、処理速度と精度に優れるという効果がある。 For topical shooting, facilitates the keyword extraction intended by the user, there is an effect that excellent processing speed and accuracy.

[第1の実施の形態] First Embodiment
図1は、本発明の第1の実施の形態における文書検索システムの構成を示す図である。 Figure 1 is a diagram showing a configuration of a document retrieval system according to the first embodiment of the present invention.

図を参照して、文書検索システムは、カメラ付き携帯電話100と、検索サーバ200と、文書データベース300と、登録用文書データ入力機器400とから構成される。 Referring to FIG, document retrieval system, a camera-equipped mobile phone 100, a search server 200, a document database 300, and a registration document data input device 400.. それぞれの機器は、インターネット、LAN、専用回線などの通信方法により接続される。 Each device is connected to the Internet, LAN, the communication method such as a dedicated line.

図中(1)で示されるように、MFPなどの登録用文書データ入力機器400のスキャン機能やプリント機能において得られる文書データが文書データベース300に保存される。 As shown in FIG. (1), the document data obtained in the scan function and the print function of the registration document data input device 400 such as an MFP is stored in the document database 300.

(2)に示されるように、検索サーバ200は、保存された文書データをもとに画像特徴やテキスト情報を抽出し、抽出情報と文書IDと文書データとを対応付ける。 As shown in (2), the search server 200, the document data stored extracts image features and the text information based associates the extracted information and the document ID and the document data. 画像特徴やテキスト情報も文書データベース300に保存される。 Image features and the text information is also stored in the document database 300.

(3)に示されるように、ユーザは手元の紙文書を携帯電話100で撮影する。 As shown in (3), the user photographs the hand of a paper document in the mobile phone 100. 携帯電話は、撮影により得られたデータから画像特徴やテキスト情報を抽出する。 Mobile phone, extracts image features and the text information from the data obtained by the photographing. 抽出されたデータは、検索サーバ200に送信される。 The extracted data is transmitted to the search server 200.

(4)に示されるように、検索サーバ200は、携帯電話100から受け取った画像特徴やテキスト情報をもとに、データベース内を検索する。 As shown in (4), the search server 200 based on the image features and the text information received from the mobile phone 100 searches the database.

(5)に示されるように、検索結果は携帯電話100に通知される。 As shown in (5), the search result is notified to the mobile phone 100. 更に携帯電話100から文書データの送信指示があれば、文書データが携帯電話100に送信される。 If there is a transmission instruction of the document data further from the mobile phone 100, the document data is transmitted to the portable telephone 100.

図2は、図1のカメラ付き携帯電話100、検索サーバ200、および文書データベース300の構成を示すブロック図である。 Figure 2 is a camera-equipped mobile phone 100 of FIG. 1 is a block diagram showing the configuration of the search server 200 and document database 300,.

図を参照して、携帯電話100は、CCDカメラなどから構成される画像入力部101と、入力された画像から画像情報(特徴)を抽出する画像情報抽出部103と、画像情報を保存する画像情報ストア部105と、入力された画像からテキスト情報を抽出するテキスト情報抽出部107と、テキスト情報を保存するテキスト情報ストア部109と、携帯電話のアプリケーションソフトウェアを管理するアプリ管理部111と、テンキーや機能キーなどから構成されるユーザ操作入力部113と、カラー液晶ディスプレイから構成される表示部115とを備えている。 Referring to the figure, the cellular phone 100 includes an image input unit 101 composed of a CCD camera, an image information extracting unit 103 for extracting image information (feature) from the input image, the image to store the image information an information storing section 105, a text information extracting unit 107 for extracting text information from the input image, a text information storing section 109 for storing the text information, the application management unit 111 which manages the mobile phone application software, numeric keypad and and and the like function key user operation input unit 113, and a display unit 115 composed of a color liquid crystal display.

文書データベース300は、登録文書の文書IDおよびユーザが使用する情報(文書本体、関連情報、付帯情報、リンク情報など)を記録する文書データ記録部301と、登録文書の画像情報を抽出する画像情報抽出部303と、抽出された画像情報を記録する画像情報記録部305と、登録文書のテキスト情報を抽出するテキスト情報抽出部307と、抽出されたテキスト情報を記録するテキスト情報記録部309とを備えている。 Document database 300, the information document ID and the user's registration document uses (document body, relevant information, accompanying information, such as link information) and the document data recording unit 301 for recording image information for extracting image information of the registered document an extracting unit 303, an image information recording unit 305 for recording the extracted image information, text information extracting unit 307 extracts text information of the registered document and the extracted text information recording unit 309 for recording text information It is provided.

検索サーバ200は、文書検索の管理を行なう検索管理部213と、登録文書を入力する登録文書入力部215と、携帯電話100から送信された画像情報および文書データベース300から取得した画像情報を基に、画像の類似度の算出を行なう画像類似度算出部201と、画像類似度を記録する画像類似度ストア部203と、携帯電話100から送信されたテキスト情報および文書データベース300から取得したテキスト情報を基に、テキストの類似度の算出を行なうテキスト類似度算出部205と、テキスト類似度を記録するテキスト類似度ストア部207と、画像類似度およびテキスト類似度を基に文書の類似度を算出する文書類似度算出部209と、類似度に基づいて文書のソートを行なうソート処理部211とを備えている。 Search server 200, a search management unit 213 which manages document search, a registration document input unit 215 for inputting a registration document, based on image information acquired from the image information and the document database 300 transmitted from the cellular phone 100 , an image similarity calculation unit 201 to calculate the similarity image, the image similarity store unit 203 that records an image similarity, the acquired text information from the text information and the document database 300 transmitted from the cellular phone 100 based calculates a text similarity calculation unit 205 to calculate the similarity of the text, the text similarity store unit 207 that records text similarity, the similarity of the document based on the image similarity and text similarity a document similarity calculation unit 209, and a sorting unit 211 for sorting the documents based on the similarity.

なお、図1に示されるように、文書データベース300は、登録用文書データ入力機器400から登録文書の入力を受付ける。 Incidentally, as shown in FIG. 1, the document database 300 accepts an input of registration document from the registration document data input device 400. 登録用文書データ入力機器400は、文書データを入力するためのスキャナ、インタフェースなどを備えている。 Registration document data input device 400 includes a scanner for inputting document data, interfaces and the like.

また、画像情報抽出部103、画像情報ストア部105、テキスト情報抽出部107、およびテキスト情報ストア部109は、携帯電話100ではなく検索サーバ200に備えさせてもよい。 Further, the image information extracting unit 103, the image information storing unit 105, the text information extracting unit 107 and the text information storing unit 109, may be allowed provided the search server 200 rather than the cellular phone 100. この場合、携帯電話100は撮影された画像をデータとして検索サーバ200に送り、検索サーバ200が画像情報およびテキスト情報の抽出を行なう。 In this case, the cellular phone 100 searches sends the server 200 the captured image as data, search server 200 performs the extraction of image information and text information. すなわち、携帯電話内に検索用の情報抽出機能を搭載させてもよいし、させなくてもよい。 In other words, it may also be equipped with the information extraction function for the search in the mobile phone, it may not be allowed. また、携帯電話100内に、情報の検索機能(検索サーバ200の機能)を持たせてもよい。 In addition, the mobile phone 100, the search function of the information may have a (function of the search server 200).

画像入力部101は、携帯電話100のカメラ部の動作および文書検索用の画像取込み処理を司る処理部である。 The image input unit 101 is a processing unit which controls the processing image capturing for operation and document retrieval of the camera unit of the mobile phone 100. 画像情報抽出部103、およびテキスト情報抽出部107は、入力画像から各々の情報を抽出演算する処理部である。 Image information extraction unit 103, and the text information extracting unit 107 is a processing unit that extracts calculating the respective information from the input image. 処理中の画像が、画像情報算出用の画像なのか、テキスト情報算出用の画像なのかはアプリ管理部111が管理しているため、これに応じて入力画像に対して画像情報抽出処理を行なうかテキスト情報抽出処理を行なうかが切り替わる。 Image being processed, whether the image information of an image for calculation, since whether the image of the for calculating text information managed is the application management unit 111 performs the image information extraction processing for the input image in accordance with this whether or not to perform a text information extraction processing is switched.

アプリ管理部111は、文書検索モード自体を携帯電話(クライアント)内で管理するための処理部であり、モード管理や表示・データ通信などの管理も含めて全般を管理する。 Application management unit 111 is a processing unit for managing the document search mode itself in the mobile phone (client), to manage overall, including management, such as a mode management and display and data communication.

ユーザ操作入力部113は、携帯電話100のキーなどから入力される情報を管理する処理部であり、キーワード入力などもここで管理される。 User operation input unit 113 is a processing unit that manages information input from a key of the mobile phone 100, it is managed here also such as keywords input. 画像情報ストア部105、テキスト情報ストア部109は、抽出された情報を格納する。 Image information storing section 105, text information storing unit 109 stores the extracted information. 再検索モードで前回検索時の情報を利用する場合には、ここに格納されたデータが用いられる。 In the case of using the information of the previous search in search mode, wherein the stored data is used.

検索サーバ200内では、検索管理部213がアプリ管理部111から受取った検索指示に応じて検索サーバ200内の処理を管理する。 Search server 200 within the search management unit 213 manages the processing in the search server 200 in response to the search instruction received from the application management unit 111.

文書データベース300内の登録文書に対して、各々の文書に対する画像情報とテキスト情報を読出した後に、入力文書に対する画像情報とテキスト情報とを用いて、画像類似度算出部201およびテキスト類似度算出部205で各類似度を算出する。 To the registered document in the document database 300, after read out the image information and text information for each document, using the image information and text information with respect to the input document, image similarity calculation unit 201 and the text similarity calculation unit calculating each similarity 205. ここで算出された類似度は、画像類似度ストア部203やテキスト類似度ストア部207に格納され、再検索時に利用される。 Calculated here degree of similarity is stored in the image similarity storing section 203 and text similarity store unit 207, is utilized at the time of search.

画像類似度算出部201とテキスト類似度算出部205の出力をもとに、文書類似度算出部209で各文書ごとに文書類似度が算出され、ソート処理部211で類似度の高い方から予め決められた数だけ文書を抽出(選択)する。 Based on the output of the image similarity calculation unit 201 and the text similarity calculation unit 205, document similarity for each document is calculated by the document similarity calculation unit 209 in advance from the highest similarity in the sort processing unit 211 the number that is determined retrieve documents (selection) of.

検索結果として、選択された文書に対して文書データベース300内に記録された情報が携帯電話100に転送され表示される。 As the search result, displays information recorded in the document database 300 for documents selected are transferred to the mobile phone 100. 転送される情報は、ユーザが文書を選択する前は文書IDの他、サムネイル、文書名、日付などのデータサイズが小さい情報のみとする。 Information to be transferred, another document ID before the user selects a document, thumbnails, document name, only the data size is less information such as the date. ユーザ操作入力部113で文書選択がなされた場合に、選択された文書IDの文書データの送信を検索管理部213に指示する。 When the document selection is made in the user operation input unit 113, and instructs the transmission of the document data of the selected document ID to search management unit 213. 検索管理部213は、該当する文書を文書データベース300内から取出して携帯電話100に送信する。 Retrieval management section 213 takes out the relevant documents from the document database 300 within to the mobile phone 100.

ユーザの検索操作に先立って、文書データベース300に対しては随時文書の登録作業を行なうことができ、画像情報抽出部303やテキスト情報抽出部307で情報を抽出した後に、これらを文書データに対応付けて登録する。 Prior to the user's search operation, you can perform registration work at any time a document to the document database 300, after extracting the information by the image information extracting unit 303 and the text information extracting unit 307, corresponding to these document data put to register. 各抽出情報は画像情報記録部305やテキスト情報記録部309に記録される。 Each extract information is recorded in the image information recording unit 305 and the text information recording unit 309.

図3は、図1の文書検索システムの変形例を示す図である。 Figure 3 is a diagram showing a modification of a document retrieval system of Figure 1.
ここでは、検索サーバ200が文書データベース300の機能を兼ね備えることとしている。 Here, the search server 200 is a to combine the functions of the document database 300. このような構成でもシステムを構成することが可能である。 It is possible to configure such a system be configured. さらに、検索サーバ200が登録用文書データ入力機器400の機能を兼ね備えることとしてもよい。 Furthermore, the search server 200 may be combine the functionality of the registration document data input device 400.

また、携帯電話100に代えて、デジタルカメラ、PDA(Personal Digital Assistant)、小型スキャナなどを用いてもよい。 In place of the cellular phone 100, a digital camera, PDA (Personal Digital Assistant), or the like may be used a small scanner. また、携帯電話100と検索サーバ200との間の通信は、無線、有線などその方法を問わない。 The communication between the mobile phone 100 and the search server 200 may be either wireless, the method such as a wired.

これらの構成の他にも、検索用情報の抽出機能のみが単独のサーバで提供されたり、文書データベースがMFP(登録用文書データ入力機器)内に内蔵されたり、文書データベースとは別に文書に関連付けが可能なアプリケーション用データを格納するデータベースが検索サーバ200に接続されたりといった変形が可能であり、図1および3ではあくまでも典型的な例を示しているに過ぎない。 In addition to these configurations, or be provided only extracted features of search information in a single server, or the document database is built in the MFP (Registered document data input device), separately associated with a document from the document database changes may be made such or connected to a database search server 200 that stores data for applications can only shows a typical example merely in Figures 1 and 3.

図4は、文書データベース300に記録される情報の内容を示す図である。 Figure 4 is a diagram showing the contents of information recorded in the document database 300.
あらかじめ文書データベース300には、登録文書のページごとの全体特徴を表した画像特徴データと、ページ中から局所的に抽出したテキストデータが、図のようにページごとに文書データ本体や文書IDと対応付けて登録されている。 Corresponding to the advance document database 300, and the image feature data representing the entire features of each page of the registered document, the text data locally extracted from the pages, the document data body and the document ID for each page as in FIG. put in has been registered.

図4の情報を用いることにより、画像特徴とテキストに基づいて文書の検索を行なうことができる。 By using the information in Figure 4, it is possible to search for documents based on the image features and the text. 図4では、検索の結果としてユーザは文書データそのものを取得することができる。 In Figure 4, a user as a result of the search can be acquired document data itself.

図5は、文書データベース300に記録される情報の他の構成例を示す図である。 Figure 5 is a diagram showing another configuration example of information recorded in the document database 300.
この例では、図4の内容に加えて、文書の登録日時、作成者、文書分類(属性)のデータを記録することとしている。 In this example, in addition to the contents of FIG. 4, registration date, creator of the document, it is set to be recorded the data of document classification (attribute). このように、文書に対応付けられた別の情報(文書から自動抽出されたデータや、日付などの別途得られる情報)をデータベースに記録することも可能である。 Thus, (or data that is automatically extracted from the document, separately obtained information such as date) other information associated with the document can be recorded in a database. また、情報へのリンク先なども合わせてデータベースに記録してもよい。 In addition, it may be recorded in the database together well as links to information.

文書データベース300への登録作業は、元の電子文書を処理することで行なったり、スキャナ、ファックス、MFPなどを用いて紙文書を電子化したデータを処理することで行なうことができる。 Registration operation of the document database 300 may be performed or carried out by treating the original electronic document, scanning, faxing, a paper document by using an MFP by processing the digitized data. また登録作業は、システム管理者が行なってもよいし、スキャナ、ファックス、MFPなどを日常的に使用する際に、画像情報抽出やテキスト情報抽出を行なうことで自動的に行なってもよい。 The registration operation may be performed by a system administrator, scanner, fax, when using such a routinely MFP, the image information extraction and text information extraction may be automatically performed by performing.

また、登録においては、文書データ、文書ID、画像情報、テキスト情報が互いに対応付けられていればよい。 In the registration, the document data, the document ID, image information, it is sufficient that the text information associated with each other.

なお、図4および5においては、ページごとに登録を行なっているが、1つの文書を構成するページをまとめて登録するようにしてもよい。 In FIG. 4 and 5, but performs a registration for each page, may be registered collectively pages constituting one document. また、登録するテキストデータは、ページ全てのテキストデータでもよいし、一部の代表的なテキストデータでもよい。 In addition, text data to be registered, may be in all of the text data pages, may be a part of a typical text data.

以下、文書の登録後に文書の検索を行なう処理をステップに分けて説明する。 Hereinafter, the process for searching documents after registration of the document will be separately described step.
(ステップA) (Step A)
図6は、携帯電話100の外観を示す図である。 Figure 6 is a diagram showing an appearance of a mobile phone 100.

図に示されるように、携帯電話100の表示部には、「カメラ」、「インターネット」などのメニューが表示されており、ユーザは入力部の操作により所望のものを選択する。 As shown, the display unit of the mobile phone 100, "camera" are displayed menu such as "Internet", the user selects a desired one by operating the input unit. 「文書検索」が選択されると、携帯電話100は文書検索アプリを起動し、撮影モードに移行する。 When the "document retrieval" is selected, the mobile phone 100 to start the document search application, to shift to the shooting mode. 撮影モードにおいてカメラが起動し、図7に示されるように表示部にカメラの映像が表示される。 The camera starts in the shooting mode, the camera image is displayed on the display unit as shown in FIG.

(ステップB) (Step B)
撮影モードに移行後、図8に示されるように、ユーザは撮影ボタンを押すことでカメラにより検索対象となる文書の全体を撮影する。 After the transition to the shooting mode, as shown in FIG. 8, the user photographs the entire document to be searched by the camera by pressing the shooting button. これにより画像の入力が行なわれる。 Thus the input image is performed. このとき、現在の状態(ステップ)をユーザに判りやすく伝えるために、図9に示されるように、「文書全体を撮影してください」など何らかのナビゲーションまたはアラートを提示してもよい。 At this time, in order to convey clarity current state (step) to the user, as shown in FIG. 9, it may present some navigation or alerts such as "please shoot the entire document."

(ステップC) (Step C)
次に、図10に示されるように文書全体の撮影終了後、再び撮影ボタンを押すことで文書の一部分の画像の入力(局所撮影、拡大撮影)が行なわれる。 Then, after the entire document imaging end as shown in FIG. 10, input again the image of a portion of the document by pressing the photographing button (local shooting, enlarged photographing) is performed. ステップBと同様に 「カメラを原稿に近付け、検索したい単語を撮影してください」などとナビゲーションやアラートを提示してもよい(図11)。 Similar to the step B, "close the camera on the document, please to shoot the word you want to search," such as a good be presented the navigation and alerts (Figure 11). また、推奨撮影文字サイズがわかるように、アシスト用の表示を行なってもよい(図12)。 As can be seen the recommended imaging character size may be performed a display for assisting (Figure 12).

また、文書全体の撮影が行なわれた後に、自動的にレンズをズームさせ、拡大画像が撮影されるようにしてもよい。 Further, after the entire document imaging is performed, automatically zooms the lens, the enlarged image may be is photographed.

(ステップD) (Step D)
全体撮影と局所撮影を行なった後に、図13に示されるように、携帯電話100は全体撮影により得られた画像(A)から画像情報を、拡大撮影により得られた画像(B)からテキスト情報を抽出し、検索サーバ200に送る。 After performing the entire shooting and local shooting, as shown in FIG. 13, the text information from the image information from the image obtained by the total shooting cellular phone 100 (A), obtained by expanding the captured image (B) extract the, sent to the search server 200. 検索管理部213では、抽出された情報をもとに文書データベース300から検索結果を得て、それを携帯電話に転送する。 The search management unit 213, the extracted information to obtain a search result from the document database 300 based on, and transfers it to the mobile phone.

検索結果は、文書IDにより示してもよいし、文書データのサムネイル画像で示してもよい。 Results may be indicated by the document ID, or may be indicated by the thumbnail image of the document data. サムネイル画像は、登録データをもとに検索サーバ200で検索後に随時作成してもよいし、文書データ登録時に作成して文書データベースに予め登録しておいてもよい。 Thumbnail image may be from time to time created after the search in the search server 200 on the basis of the registration data, may be previously registered in the document database is created when the document data registration.

図14は、文書データベース300に、予め文書に対応付けてサムネイル画像を登録している状態を示す図である。 14, the document database 300 is a diagram showing a state of registering the thumbnail image in association with the advance document.

図14のように予めサムネイル画像を用意しておくことで、検索結果の表示処理を迅速に行なうことが可能となる。 By preliminarily prepared thumbnail image as shown in FIG. 14, it is possible to perform the display processing of the search results quickly.

検索結果としては、最も適した(類似する)文書のみを提示してもよいし、候補を複数提示してもよい。 Results The most appropriate (similar) to only be presented document, the candidate may be a plurality of presented. 図13の(C)においては、12ページに渡り、複数の候補を表示している。 In (C) of FIG. 13, over 12 pages, displaying a plurality of candidates. なお、このように複数の候補を提示する際には、検索結果の確からしさを表す情報(入力データとの類似度)の大きいものから順に提示することが好ましい。 At the time of presenting a plurality of candidates in this manner, it is preferable to present from those search information indicating the likelihood of a result of (similarity to the input data) descending order. 更に、入力データとの類似度を併せて画面に表示してもよい。 Furthermore, it may be displayed on the screen together the similarity between the input data.

(ステップE) (Step E)
ユーザは検索結果の表示をもとに、選択処理や再検索処理を行なう。 The user based on the display of the search results, performs selection processing and search processing.

図15は、選択処理の具体例を示す図である。 Figure 15 is a diagram showing a specific example of the selection process.
図(A)を参照して、ユーザが検索結果の中で処理の対象とする文書を選択すると、(B)に示されるように、その文書に対するアクション選択の画面が携帯電話100の画面に表示される。 With reference to FIG. (A), when the user selects a document to be processed in the search results, as shown (B), the display screen of the action selected for the document on the screen of the mobile phone 100 It is.

ここでは、(1)拡大(文書を読む)、(2)テキスト表示、(3)印刷、(4)メール添付、(5)プロパティ表示の中からユーザは所望のアクションを選択することができる。 Here, (1) larger (Read document), (2) a text display, (3) printing, (4) e-mail attachments, the user from the (5) Properties Display can select a desired action.

図16は、「拡大」が選択された状態を示す図である。 Figure 16 is a diagram showing a state where the "expansion" is selected.
この状態においては、図15(A)で選択された文書が拡大されている。 In this state, the document selected in FIG. 15 (A) is enlarged. これによってユーザは、文書を閲覧することができる。 This allows the user to view the document. このような処理を行なうためには、選択された文書のデータを画像データとして検索サーバ200から携帯電話100に送信すればよい。 To perform such a process, may be transmitted from the search server 200 the data of the selected document as image data to the cellular phone 100.

図17は、「テキスト表示」が選択された状態を示す図である。 Figure 17 is a diagram showing a state in which "text display" is selected.
この状態においては、図15(A)で選択された文書の中のテキストデータのみが表示される。 In this state, only the text data in the document selected in FIG. 15 (A) is displayed. これによってユーザは、文書を読むことができる。 This allows the user to read the document. このような処理を行なうためには、選択された文書の画像データを転送して、携帯電話100内でそれをテキストデータに変換してもよいし、検索管理部213などでテキストに変換したデータを携帯電話100に送ってもよいし、予め文書データベース300に記録された登録テキスト情報を携帯電話100に送ってもよい。 To perform such a process, and transfers the image data of the selected document, may convert it to text data in the cellular phone 100, data converted into text and search management unit 213 the may be sent to the mobile phone 100, it may send a registered text information that has been previously recorded in the document database 300 to the mobile phone 100.

図18は、「印刷」が選択された状態を示す図である。 Figure 18 is a diagram showing a state in which "printing" is selected.
この状態においては、図15(A)で選択された文書をプリントするために、予め設定されたプリンタまたは動的に指定するプリンタにデータ出力が行なわれる。 In this state, in order to print a document selected in FIG. 15 (A), the data output is performed in the printer to specify preset printer or dynamic. 図18においては動的に携帯電話100の近くにあるプリンタを検索し、検索されたプリンタの内、データの出力を行なうプリンタをユーザに選択させることとしている。 Search for printers in dynamic near cellular phone 100 in FIG. 18, among the retrieved printer is set to be selectively printer for outputting the data to the user. プリントを行なうためには、文書データベース300から携帯電話100を経由して、あるいは直接プリント装置に印刷用の文書データを送信すればよい。 To perform printing, via the mobile phone 100 from the document database 300, or may transmit the document data for printing directly printing device.

図19は、「メール添付」が選択された状態を示す図である。 FIG. 19 is a diagram showing a state in which the "e-mail attachments" has been selected.
この状態においては、ユーザにメールの宛先アドレスを入力させることで、図15(A)で選択された文書をメールに添付して送信することができる。 In this state, by inputting a destination address of the mail to the user, it can be transmitted by attaching a document selected in FIG. 15 (A) to the mail. このような処理を行なうためには、文書データベース300から携帯電話100に文書データを送信して、携帯電話100でデータ添付を行なってメールを送信してもよいし、携帯電話100からは、メール内容(宛先やコメント本文など)を外部サーバに送信すると共に、検索結果に対応した文書データを文書データベース300からその外部サーバに送り、この外部サーバにおいて添付作業を行なってメールを送信してもよい。 To perform such a process, and transmits the document data from the document database 300 to the mobile phone 100 may transmit the email by performing data accompanying the mobile phone 100, the cellular phone 100, E-mail transmits contents (such as the destination and comments body) to the external server, the search results send document data corresponding from the document database 300 to the external server may transmit the email by performing attachment work in this external server .

図20は、「プロパティ表示」が選択された状態を示す図である。 Figure 20 is a diagram showing a state where the "Properties Display" is selected.
この状態においては、図15(A)で選択された文書のプロパティである、文書名、登録日時、作成者、文書の分類を表示することができる。 In this state, a property of the document selected in FIG. 15 (A), the document name, registration date, author, it is possible to display the classification of documents. これによって、ユーザは文書に別途対応付けられた情報を確認することができる。 Thus, the user can confirm separately the associated information to the document. このような処理を行なうためには、文書データベース300に予め、付帯情報・関連情報を登録しておき(図5参照)、検索結果をもとにこの登録された情報を提示すればよい。 To perform such a process, in advance in the document database 300, may be registered supplementary information and related information (see FIG. 5), results may be presented information registration based.

なお、図15のようにアクション選択画面を表示することなく、文書が選択されたら、その文書に関連するリンク先に自動的にアクセスするようにしてもよい。 Incidentally, without displaying the action selection screen as shown in FIG. 15, when the document is selected, may be automatically included link associated with the document. この場合、関連リンクを予め文書データベースに登録しておく必要がある。 In this case, it is necessary to register in advance the document database related links.

図21は、文書データベース300に文書データに対応付けて関連リンクを登録した状態を示す図である。 Figure 21 is a diagram showing a state where registered related links in association with the document data in the document database 300.

図21のように関連リンクを登録しておくことで、文書が選択されたときは、リンクされた内容を表示することができる。 By registering the relevant link as shown in Figure 21, when a document is selected, it is possible to display the linked contents.

なお、ここではアクションの選択、リンク先へのアクセスを例示したが、検索結果から決定できる処理であれば、ここに挙げた例に限定されるものではない。 Here, selection of the action has been illustrated access to the link destination, as long as the process can be determined from the search results, but is not limited to the examples listed here.

なお、検索結果を提示した後などに、再検索ボタンなどで再検索が指示された場合には再検索処理に移行することもできる。 Note that the search result such as after presenting, when re-search, re search button is instructed can also migrate to the re-search process. この場合、最初から検索をやり直してもよい(たとえば、図8の状態に戻ってもよい)し、追加で全体画像や局所画像を撮影して検索用の情報を抽出し、最初の検索結果を更に絞り込んだり、検索用の情報を修正してもよい。 In this case, may search again from the beginning (for example, it may also be returned to the state of FIG. 8), and extracts the information for retrieval by photographing the whole image and local image in addition, the first result in addition or narrow, it may modify the information for the search.

図22は、再度の撮影を行なう場合の携帯電話100の表示例を示す図である。 Figure 22 is a diagram illustrating a display example of the mobile phone 100 in the case of performing photographing again.
たとえば図15(A)の検索結果が表示されている状態において、「再検索」が選択されると、図22(A)の表示に移行し、ユーザは「新規検索」、「再検索」、「キーワード追加」の中から所望のものを選ぶことができる。 For example, in a state where 15 Results (A) is displayed, the "re-search" is selected, the process proceeds to the display of FIG. 22 (A), the user "new search", "search", it is possible to select the desired one from the "keyword add".

「新規検索」が選ばれると、図8の状態に戻り、「キーワード追加」が選ばれると、ユーザからキーワードの追加入力を受付ける。 Accept the "new search" is selected, it returns to the state shown in FIG. 8, when the "keyword addition" is selected, an additional input of the keyword from the user.

テキスト情報抽出時の文字認識性能やキーワード抽出性能が不十分であったり、ユーザによるテキストの撮影場所が好ましくなかった場合には、検索結果が好ましくなくなる可能性もある。 Or a text information extraction at the time of character recognition performance and keyword extraction performance is insufficient, in the case where the shooting location of the text by the user was not Preferably, there is also a possibility that the results become unfavorable. 「キーワード追加」は、このような場合にユーザからキーワードを入力する機能である。 "Add Keyword" is a function of inputting a keyword from the user in such a case. 検索作業の簡易性よりも検索精度を優先させたいユーザは、キーワードを追加することで詳細な検索を行なうことができる。 Than simplicity of search operation should give priority to the search accuracy user can perform a detailed search by adding keywords. 追加されたキーワードは、テキスト情報抽出結果のキーワードの代わりとして、またはテキスト情報抽出結果のキーワードに追加して処理することができる。 Additional keywords may be processed by adding as a substitute for text information extraction result keyword, or keyword text information extraction results. また、キーワード追加としてテキスト入力されたキーワードを、より重視するように重みを付けて処理してもよい。 Also, the keyword text input as a keyword added, may be treated with a weighted so that more emphasis.

図22(A)において、「再撮影」が選択されると、図22(B)に示されるように、全体撮影を行なうか、テキスト撮影(局所撮影)を行なうかの選択をユーザに促し、選択に従った処理を行なう。 In FIG. 22 (A), the "re-imaging" is selected, as shown in FIG. 22 (B), or perform the entire shooting prompted to select whether to perform text imaging (local shooting) to the user, carried out in accordance with the selection process.

次に、文書検索システムの内部的な処理について説明する。 Next will describe an internal processing of the document retrieval system.
画像情報とテキスト情報のそれぞれにおいて、文書データベース300内の各文書と入力文書との間の類似度の計算が行なわれる。 In each of the image information and text information, the similarity calculation between each document and the input document in the document database 300 is performed.

図23は、文書ごとの画像類似度(全体のレイアウトの類似度)の算出結果の例を示す図であり、図24は、文書ごとのテキスト類似度の算出結果の例を示す図である。 Figure 23 is a diagram showing an example of a calculation result of the image similarity for each document (similarity overall layout), Fig. 24 is a diagram showing an example of a text similarity calculation result of each document.

これらの算出された類似度を用いて、画像とテキストの両方を考慮した統合的な類似度(文書類似度)が各登録文書ごとに算出される。 Using these calculated similarity, integrated similarity in consideration of both images and text (document similarity) is calculated for each registered document.

図25は、文書類似度の算出結果の具体例を示す図である。 Figure 25 is a diagram showing a specific example of calculation results of document similarity.
図25では、文書類似度を画像類似度とテキスト類似度の単純平均として求める場合の例を示しているが、少なくとも画像類似度とテキスト類似度を統合的に用いて文書類似度を算出するのであれば、手法は単純平均による方法に限定されない。 In Figure 25, an example is shown of a case of obtaining a document similarity as a simple average of the image similarity and text similarity, since it calculates the document similarity using at least the image similarity and text similarity integrated manner if there is, the method is not limited to the method by a simple average. 複数の類似度を統合して単一の類似度に変換する方法は、様々な分野において数多く提案されている。 How to convert into a single similarity by integrating a plurality of similarity, it has been proposed in various fields. また、画像を重視するかテキストを重視するかといったユーザの要望によって重み付けを変化させてもよい。 The image may be changed weighted by a user's request such or emphasizing or text emphasizes.

各登録文書ごとに文書類似度を求めた後に、類似度の高い順に登録文書をソートし、類似度の高い方から決められた数だけ検索結果として文書をユーザに提示することになる。 After obtaining a document similarity for each registered document, to sort registered document to a higher order of similarity, it will present the document to the user as only the search result number which is determined from the higher similarity.

次に、画像情報およびテキスト情報の各々に対する類似度の算出方法について説明する。 Next, a method of calculating the similarity degree for each of the image information and text information will be described.

画像情報による類似度は、画像を画像特徴データに変換し、キー画像と各登録画像との画像特徴データを比較することで算出される。 Similarity by image information, converts the image into image feature data is calculated by comparing the image feature data of the key image and each reference image. テキスト情報による類似度は、画像を文字認識した後に、形態素解析やNグラム(N−gram)によって抽出したキーワードの一致度合いに基づいて算出される。 Similarity textual information, after character recognition image is calculated based on the degree of coincidence keywords extracted by the morphological analysis and N-gram (N-gram). テキスト情報による類似度算出に関しては、インターネット上で行なわれている情報検索(機械型検索など)の技術を用いることもできる。 For the similarity calculation textual information, it may be used the technique of information has been carried out on the Internet search (such as mechanical type search).

類似度の算出方法としては、従来から提案されているものを用いることができ、特定の方法に依存するものではないが、例として以下の文献に記載された技術を用いることができる。 The method of calculating the similarity, it is possible to use those which have been proposed, but are not dependent on the particular method, it is possible to use the techniques described in the following documents as examples.

・特開平6−168277号公報(画像情報による画像類似度算出方法の例) & JP-A-6-168277 discloses (Example of Image similarity calculation method by the image information)
・特開平8−272813号公報(テキスト情報による類似度算出方法の例) & JP-A-8-272813 discloses (example of the similarity calculating method according to the text information)
また、上記実施の形態においては、テキスト情報抽出によるキーワード設定は、完全自動化された場合を想定していたが、計算機が行なうテキスト情報の抽出結果をキーワード候補としてユーザに提示し、ユーザがキーワードを最終決定するようにしてもよい。 Further, in the above embodiment, the keyword setting the text information extraction, it is assumed the case where it is fully automated, the extraction result of the text information calculator performs presented to the user as the keyword candidates, the user keywords it may be the final decision.

図26は、キーワード候補をユーザに提示する例を示す図である。 Figure 26 is a diagram showing an example of presenting the keyword candidates to the user.
たとえば、テキスト情報抽出用の撮影画像をもとに文字認識を行ない、形態素解析を行なうことでキーワードを抽出した後に、このキーワードを図26のように撮影画像上でユーザに提示する。 For example, performs character recognition on the basis of the photographic image of text information extraction, after extraction of the keyword by performing morphological analysis, it presents the keyword to the user on the captured image as shown in FIG. 26. ユーザは、カーソルや番号入力により、検索のキーとしたいキーワードを選択する。 The user, by the cursor and number input, select the keywords you want to the search of the key.

図27は、第1の実施の形態における文書検索システムの動作を示すフローチャートである。 Figure 27 is a flowchart showing the operation of the document retrieval system according to the first embodiment.

図を参照して、ステップS101において携帯電話100を用いて、検索の対象とする文書の第1回目の撮影が行なわれる(図8参照)。 Referring to the figure, with the mobile phone 100 in step S101, the first imaging of the document to be searched is performed (see FIG. 8). ここでの撮影は、文書全体の撮影である。 Here shooting, it is an imaging of the entire document.

ステップS103において、携帯電話100を用いて、検索の対象とする文書の第2回目の撮影が行なわれる(図10参照)。 In step S103, using the mobile phone 100, a second round of shoot document to the search is performed (see FIG. 10). ここでの撮影は、文書の一部分を詳細に撮影することで文字を入力するための撮影である。 Wherein the imaging is imaging for inputting characters by taking a part of the document in detail.

ステップS105において、第1回目の撮影画像を基に画像情報を抽出し、ステップS107において、第2回目の撮影画像を基にテキスト情報を抽出する。 In step S105, the first round of the captured image and extracts image information based on, at step S107, extracts the text information based on the second captured image.

ステップS109において、抽出された画像情報を基に、文書データベース300に登録された文書ごとに画像類似度を算出する(図23参照)。 In step S109, based on the extracted image information, calculates the image similarity for each document registered in the document database 300 (see FIG. 23). ステップS111において、抽出されたテキスト情報を基に、文書データベース300に登録された文書ごとにテキスト類似度を算出する(図24参照)。 In step S111, based on the text information extracted to calculate the text similarity for each document registered in the document database 300 (see FIG. 24).

ステップS113において、画像類似度とテキスト類似度とに基づいて、文書類似度を算出する(図25参照)。 In step S113, on the basis of the image similarity and text similarity, it calculates a document similarity (see FIG. 25).

ステップS115において、文書類似度を用いて登録文書をソーティングし、ステップS117において文書類似度が上位のK個の文書をユーザに提示する。 In step S115, to sort the registered document using the document similarity, document similarity in step S117 is presenting the K document Top user.

[第2の実施の形態] Second Embodiment
上記第1の実施の形態では、撮影回数が2回で、画像情報用の全体撮影とテキスト情報用の局所撮影とを行なう場合について説明したが、第2の実施の形態では、文書全体の画像情報用の全体撮影と、文書の局所的な画像情報用の局所撮影との2回の撮影を行なうようにしている。 In the first embodiment, the photographing number twice, has been described to perform a local shooting for the entire photographic and text information of image data, in the second embodiment, the entire document image the overall shooting information, and to perform the two imaging with localized topical captured for image information of the document. これにより、最低限の操作で文書全体の粗い情報と、ユーザが意図する場所に特定された高解像度の局所画像の情報を得ることができ、それら両方の情報で検索を行なうことができる。 Thus, the coarse information of the entire document with minimal operations, it is possible to obtain information of high resolution local image identified where the user is intended, it is possible to perform the search in both of those information.

本実施の形態においては、文書データベース300に登録された各文書ごとに、局所的な画像の特徴データを記録する。 In the present embodiment, for each document registered in the document database 300 records the characteristic data of the local image.

図28は、第2の実施の形態における文書検索システムの動作を示すフローチャートである。 Figure 28 is a flowchart showing the operation of the document retrieval system according to the second embodiment.

図を参照して、ステップS201において携帯電話100を用いて、検索の対象とする文書の第1回目の撮影が行なわれる。 Referring to the figure, with the mobile phone 100 in step S201, the first imaging of the document to be searched is performed. ここでの撮影は、文書全体の撮影である。 Here shooting, it is an imaging of the entire document.

ステップS203において、携帯電話100を用いて、検索の対象とする文書の第2回目の撮影が行なわれる。 In step S203, using the mobile phone 100, a second round of shoot document to the search is performed. ここでの撮影は、文書の一部分を詳細に撮影することで文書の一部分の画像を入力するための撮影である。 Wherein the imaging is imaging for inputting an image of a portion of a document by taking a part of the document in detail.

ステップS205において、第1回目の撮影画像を基に画像情報を抽出し、ステップS207において、第2回目の撮影画像を基に画像情報を抽出する。 In step S205, the first round of the captured image and extracts image information based on, at step S207, extracts the image information on the basis of the second round of the captured image.

ステップS209において、抽出された第1回目の撮影画像の画像情報を基に、文書データベース300に登録された文書ごとに第1の画像類似度を算出する。 In step S209, based on the image information of the first photographing images extracted to calculate the first image similarity for each document registered in the document database 300. ステップS211において、抽出された第2回目の撮影画像の画像情報を基に、文書データベース300に登録された文書ごとに第2の画像類似度を算出する。 In step S211, based on the image information of the extracted second round of the captured image, it calculates a second image similarity for each document registered in the document database 300.

ステップS213において、第1の画像類似度と第2の画像類似度とに基づいて、文書類似度を算出する。 In step S213, based on the first image similarity and the second image similarity, it calculates a document similarity.

ステップS215において、文書類似度を用いて登録文書をソーティングし、ステップS217において文書類似度が上位のK個の文書をユーザに提示する。 In step S215, the sorted and registered document using the document similarity, document similarity in step S217 is presenting the K document Top user.

このような処理により、文書の局所的な情報である印鑑、社章、マーク、写真などの情報を用いた検索が可能となる。 By such processing, seal a local information of the document, emblem, mark, a search using information such as photographs becomes possible.

[第3の実施の形態] Third Embodiment
第3の実施の形態においては、全体画像情報用の全体撮影1回と、局所画像情報用の撮影1回と、テキスト情報用の撮影1回とで計3回の撮影を行ない、それら撮影結果に基づいて文書の検索を行なう。 In the third embodiment performs the entire photographing once for the entire image information, and photographing one for local image information, a total of three times taken by the one shot for text information, that their shooting to search for documents based on.

図29は、第3の実施の形態における文書検索システムの動作を示すフローチャートである。 Figure 29 is a flowchart showing the operation of the document retrieval system according to the third embodiment.

図を参照して、ステップS301において携帯電話100を用いて、検索の対象とする文書の第1回目の撮影が行なわれる。 Referring to the figure, with the mobile phone 100 in step S301, the first imaging of the document to be searched is performed. ここでの撮影は、文書全体の撮影である。 Here shooting, it is an imaging of the entire document.

ステップS303において、携帯電話100を用いて、検索の対象とする文書の第2回目の撮影が行なわれる。 In step S303, using the mobile phone 100, a second round of shoot document to the search is performed. ここでの撮影は、文書の一部分を詳細に撮影することで文書の一部分の画像を入力するための撮影である。 Wherein the imaging is imaging for inputting an image of a portion of a document by taking a part of the document in detail.

ステップS305において、携帯電話100を用いて、検索の対象とする文書の第3回目の撮影が行なわれる。 In step S305, using the mobile phone 100, the third-shooting of the document to be searched is performed. ここでの撮影は、文書の一部分を詳細に撮影することで文字を入力するための撮影である。 Wherein the imaging is imaging for inputting characters by taking a part of the document in detail.

ステップS307において、第1回目の撮影画像を基に第1の画像情報(文書全体としての画像情報)を抽出し、ステップS309において、第2回目の撮影画像を基に第2の画像情報(文書の一部の画像情報)を抽出し、ステップS311において、第3回目の撮影画像を基にテキスト情報を抽出する。 In step S307, based on the first round of the captured image to extract the first image information (image information of the whole document), in step S309, the second image information (document on the basis of the second round of the captured image extracting a part of image information) of, in step S311, it extracts the text information based on the third captured image.

ステップS313において、抽出された第1の画像情報を基に、文書データベース300に登録された文書ごとに第1の画像類似度を算出する。 In step S313, based on the first image information extracted, it calculates a first image similarity for each document registered in the document database 300. ステップS315において、抽出された第2回目の撮影画像の画像情報を基に、文書データベース300に登録された文書ごとに第2の画像類似度を算出する。 In step S315, based on the image information of the extracted second round of the captured image, it calculates a second image similarity for each document registered in the document database 300. ステップS317において、抽出されたテキスト情報を基に、文書データベース300に登録された文書ごとにテキスト類似度を算出する。 In step S317, based on the extracted text information, to calculate the text similarity for each document registered in the document database 300.

ステップS319において、第1の画像類似度、第2の画像類似度、およびテキスト類似度に基づいて、文書類似度を算出する。 In step S319, the first image similarity, based second image similarity, and the text similarity, it calculates a document similarity.

ステップS321において、文書類似度を用いて登録文書をソーティングし、ステップS323において文書類似度が上位のK個の文書をユーザに提示する。 In step S321, to sort the registered document using the document similarity, document similarity in step S323 is presenting the K document Top user.

なお、ここでは全体画像情報用の全体撮影1回と、局所画像情報用の撮影1回と、テキスト情報用の撮影1回とで計3回の撮影を行なうこととしたが、さらなる撮影を行なうこととしてもよいし、たとえば全体撮影1回と局所画像情報用の撮影2回、または全体撮影1回とテキスト情報用の撮影2回、などの組合せで撮影を行なうようにしてもよい。 Here, a single overall shooting for the entire image information, and photographing one for local image information, but it was decided to perform a total of three times taken by the one shot for text information, for further photographing it may be, for example, it may be performed entire photographing once a local image photographing twice for information, or the entire imaging once and photographed two text information, captured by the combination of such. また、全体撮影を局所撮影の後で行なうようにしてもよい。 It is also possible to perform the entire shooting after topical shooting. すなわち、撮影回数や(全体と局所などの)撮影順序に制限を加えるものではない。 That is, the number of times of photographing and (such as total and local) does not pose a limitation on the shooting order.

[再検索の処理について] [The process of re-search]
図30は、図15(A)で「再検索」が選択され、図22に示される再検索処理が実行される処理を示すフローチャートである。 Figure 30 is selected "search again" in FIG. 15 (A), the is a flowchart showing a process of re-searching process is executed as shown in FIG. 22.

図を参照して、ステップS401で図22(A)の画面を表示し、ユーザに再検索方法を選択させる。 Referring to the figure, to display the screen of FIG. 22 (A) in step S401, to select a search method to the user. ステップS403で選択された方法が、「新規検索」であればステップS405で、文書検索モードに移行した直後の状態(図7)に移行する。 Selected method in step S403 is, in step S405, if "new search", the process proceeds to the state (FIG. 7) immediately after the transition to the document search mode.

「再撮影」が選択されたのであれば、ステップS407において図22(B)に示される画面を表示し、ユーザに再撮影の方法を選択させる。 If the "re-imaging" is selected, it displays the screen shown in FIG. 22 (B) in step S407, to select a method of re-photographing the user. ステップS409で選択された方法が「全体画像」であれば、ステップS411で文書全体の画像の撮影を行ない、ステップS413で画像情報を抽出する。 If the selected method in step S409 is "entire image", it performs photographing of the entire document image in step S411, extracts the image information in step S413. ステップS415で、前回使用した画像情報を今回抽出した画像情報で置換する。 In step S415, replacing in this extracted image information the image information previously used.

その後、ステップS417で文書データベースの文書それぞれに対して画像類似度を算出する。 Then, it calculates the image similarity for each document in the document database in step S417. ステップS419において、テキスト類似度は前回算出したものを設定する。 In step S419, text similarity sets those previously calculated. ステップS421において、文書データベースの文書それぞれに対して文書類似度を算出する。 In step S421, it calculates a document similarity for each document in the document database. ステップS423において、文書類似度が上位のK個の文書を選択し、ユーザに検索結果として提示する。 In step S423, select the K document document similarity is higher, presented as a search result to the user.

また、ステップS409で選択された方法が「局所画像」であれば、ステップS425で局所画像の撮影を行ない、ステップS427でテキスト情報を抽出する。 Further, if the method selected in step S409 is "local image" performs photographing of the local image at step S425, extracts the text information in step S427. ステップS429で、前回使用したテキスト情報を今回抽出したテキスト情報で置換する。 In step S429, to replace in this extracted text information to text information that was previously used.

その後、ステップS431で文書データベースの文書それぞれに対してテキスト類似度を算出する。 Then, to calculate the text similarity for each document in the document database in step S431. ステップS433において、画像類似度は前回算出したものを設定する。 In step S433, the image similarity is set those previously calculated. その後、ステップS421からの処理を行なう。 Thereafter, the processing from step S421.

ステップS403で選択された方法が、「キーワード追加」であればステップS435でユーザからのキーワードの入力を受付け、入力されたキーワードをテキスト情報に設定する。 Selected method in step S403 is accepted keywords input by the user at step S435, if "keyword addition", sets the inputted keyword in the text information. その後、ステップS429に移行する。 Then, the process proceeds to step S429.

[第4の実施の形態] Fourth Embodiment
第4の実施の形態においては、全体画像と局所画像の対応付けデータを入力し、それを検索に利用することとしている。 In the fourth embodiment, it is set to be enter the mapping data of the whole image and local image, use it to search. すなわち、局所的な情報が文書全体に対してどの位置にあるのかといった位置情報を利用して、元文書検索や定型書式検索などを行なうものである。 That, in which local information is by using the location information such as whether is in any position with respect to the whole document, it performs like the original document search and fixed format search.

図31は、位置情報の指定方法を示す図である。 Figure 31 is a diagram showing a method for specifying position information.
ここでは、第1の実施の形態における第2回目の(テキスト情報算出用)撮影の前に、次にどこを撮影するのかを点線の枠で指定することとしている。 Here, it is decided to precede the second time (text information for calculation) captured in the first embodiment, whether then where the to shoot a dotted frame. 図26に示されるように、指定された場所には、「夜間走行時」、「安全性」などのキーワードが含まれているので、文書の検索においては、これらのキーワードが文書の右下(指定された場所)にある登録文書のみを検索すればよいことになる。 As shown in FIG. 26, the specified location, "when driving at night", because it contains keywords such as "safety" in the search for documents, the lower right of these keywords document ( it is sufficient to search only the registered document in the specified location). このような処理によって、検索速度や検索精度の向上を見込むことができる。 Such treatment can be expected to improve the search speed and search accuracy.

文字認識、文書ファイリング、文書認識、文書編集などの処理では、文字領域を矩形塊ごとに切り出したり、文章単位でテキストを抽出することが一般的に行なわれている。 Character recognition, document filing, document recognition, processing, such as document editing, or cut out a character area for each rectangular mass, extracting text is generally performed in a sentence basis. たとえば、PDF(portable document format)やHTML(hypertext markup language)などでも、どの場所にどのデータを貼り付けるかといった情報を内部に所有しているため、データと位置の対応付けというこれらの情報を用いることで検索対象を限定することができる。 For example, even in such PDF (portable document format) and HTML (hypertext markup language), since that owns the information within such paste or which data anywhere, using these information that associates data with position it is possible to limit the search by.

たとえば、図31のようにして指定された位置付近以外の文字は、キーワード検索の対象にしなかったり、指定された位置付近に文字がない登録文書は、検索対象外にすることができる。 For example, a character other than the vicinity of the designated position as in FIG. 31, or not subject to a keyword search, the registration document is not a character in the vicinity of the designated position can be outside the search target.

撮影位置指定の方法としては、図31のように「次に撮影する場所を決定して下さい」などの提示を行なった上で、表示される矩形枠の中に撮影範囲が入るように促したり、図32のように、十字カーソルの中心位置で位置を指定するなどの方法を用いることができる。 As a method of photographing position specified, after performing presentation such as "Please determine where to shoot next" as shown in Figure 31, or prompt the shooting range falls within the rectangular frame displayed , as shown in FIG. 32, it is possible to use a method such as to specify the position at the center of the cross cursor. すなわち携帯電話100の画面に、既に撮影した第1回目の撮影画像を表示し、携帯電話100のユーザ操作入力部113に含まれる十字キーなどで、矩形や十字カーソルを移動させ、決定ボタンの押下により位置情報を確定させるとよい。 That on the screen of the mobile phone 100, and displays the first round of shooting images already captured, like the cross key included in the user operation input unit 113 of mobile phone 100 to move the rectangle or a cross cursor, depressing the decision button it may be determine the position information by.

図33は、第4の実施の形態における文書検索システムの動作を示すフローチャートである。 Figure 33 is a flowchart showing the operation of the document retrieval system according to the fourth embodiment.

図を参照して、ステップS501において携帯電話100を用いて、検索の対象とする文書の第1回目の撮影が行なわれる。 Referring to the figure, with the mobile phone 100 at step S501, the first imaging of the document to be searched is performed. ここでの撮影は、文書全体の撮影である。 Here shooting, it is an imaging of the entire document.

ステップS503において、第1回目の撮影により得られた画像を携帯電話100の表示部115に表示し、第2回目の撮影位置の指定を受付ける。 In step S503, it displays an image obtained by photographing the first time on the display unit 115 of the mobile phone 100 receives the designation of the second imaging position.

ステップS505において、携帯電話100を用いて、検索の対象とする文書の第2回目の撮影が行なわれる。 In step S505, using the mobile phone 100, a second round of shoot document to the search is performed. ここでの撮影は、文書の一部分を詳細に撮影することで文字を入力するための撮影である。 Wherein the imaging is imaging for inputting characters by taking a part of the document in detail.

ステップS507において、第1回目の撮影画像を基に画像情報(文書全体としての画像情報)を抽出し、ステップS509において、第2回目の撮影画像を基にテキスト情報を抽出する。 In step S507, the first round of the captured image and extracts image information (image information of the entire document) based on, at step S509, the extracted text information on the basis of the second round of the captured image.

ステップS511において、抽出された画像情報を基に、文書データベース300に登録された文書ごとに画像類似度を算出する。 In step S511, based on the extracted image information, calculates the image similarity for each document registered in the document database 300. ステップS513において、抽出されたテキスト情報およびその位置情報を基に、文書データベース300に登録された文書ごとにテキスト類似度を算出する。 In step S513, the extracted based on text information and position information thereof, to calculate the text similarity for each document registered in the document database 300.

ステップS515において、画像類似度およびテキスト類似度に基づいて、文書類似度を算出する。 In step S515, on the basis of the image similarity and text similarity, it calculates a document similarity.

ステップS517において、文書類似度を用いて登録文書をソーティングし、ステップS519において文書類似度が上位のK個の文書をユーザに提示する。 In step S517, to sort the registered document using the document similarity, document similarity presents the K-number of the document in the upper to the user in step S519.

なお、上記実施の形態では、第2回目の撮影前に位置を指定する場合を示したが、第2回目の撮影の後に第1回目の撮影との対応を図31のように指定してもよい。 In the above embodiment, a case for designating a position in front the second shooting, even if the correspondence between the first imaging after the second round of photography is specified as 31 good.

本実施の形態においては、文書データベース300内の画像情報やテキスト情報内にその位置情報を埋め込み、類似度算出処理部201,205で位置に応じた類似度を算出することで検索が行なわれる。 In the present embodiment, embedding the position information to the image information and text information in the document database 300, a search by calculating the similarity according to the position in the similarity calculation processing section 201 and 205 is performed.

[第5の実施の形態] Fifth Embodiment
第4の実施の形態においては、文書の全体画像とそれに含まれる局所部分との位置関係に基づいて検索を行なうこととしたが、第5の実施の形態においては、2つの局所画像を撮影し、それらの位置関係に基づいて検索を行なうこととしている。 In the fourth embodiment, it is assumed that a search is performed based on the positional relationship between the whole image and local part it contains the document, in the fifth embodiment, taken two local image , it is set to be searched on the basis of their positional relation.

図34は、第5の実施の形態における文書検索システムの動作を示すフローチャートである。 Figure 34 is a flowchart showing the operation of the document retrieval system according to the fifth embodiment.

図を参照して、ステップS601において携帯電話100を用いて、検索の対象とする文書の第1回目の撮影が行なわれる。 Referring to the figure, with the mobile phone 100 at step S601, the first imaging of the document to be searched is performed. ここでの撮影は、文書全体の撮影である。 Here shooting, it is an imaging of the entire document.

ステップS603において、第1回目の撮影により得られた画像を携帯電話100の表示部115に表示し、第2回目の撮影位置の指定を受付ける。 In step S603, it displays an image obtained by photographing the first time on the display unit 115 of the mobile phone 100 receives the designation of the second imaging position.

ステップS605において、携帯電話100を用いて、検索の対象とする文書の第2回目の撮影が行なわれる。 In step S605, using the mobile phone 100, a second round of shoot document to the search is performed. ここでの撮影は、文書の一部分を詳細に撮影するための撮影である。 Here shooting is a shooting for capturing a portion of the document in detail.

ステップS607において、第1回目の撮影により得られた画像を携帯電話100の表示部115に表示し、第3回目の撮影位置の指定を受付ける。 In step S607, the display image obtained by photographing the first time on the display unit 115 of the mobile phone 100 receives a designation of the third imaging position.

ステップS609において、携帯電話100を用いて、検索の対象とする文書の第3回目の撮影が行なわれる。 In step S609, using the mobile phone 100, the third-shooting of the document to be searched is performed. ここでの撮影は、文書の一部分を詳細に撮影するための撮影である。 Here shooting is a shooting for capturing a portion of the document in detail.

ステップS611において、第2回目、第3回目の撮影画像を基に画像情報やテキスト情報を抽出し、ステップS613において、第2回目、第3回目の撮影画像の相対的な位置関係、および抽出された画像情報やテキスト情報を基に、文書データベース300に登録された文書ごとに類似度を算出する。 In step S611, a second time, the third time of the captured image and extracts image information and text information based on, at step S613, a second time, the relative positional relationship of the third captured image, and is extracted based on the image information and text information, the similarity is calculated for each document registered in the document database 300.

ステップS615において、類似度を用いて登録文書をソーティングし、ステップS617において類似度が上位のK個の文書をユーザに提示する。 In step S615, to sort the registered document using the similarity, the similarity in step S617 is presenting the K document Top user.

[実施の形態における効果] [Effect of Embodiment]
以上のように、本発明の実施の形態によると、紙文書を元に、場所を選ばず、簡易に、高精度で、所望の電子文書を検索するシステムを提供することが可能となる。 As described above, according to the embodiment of the present invention, based on a paper document, anywhere, easily, accurately, it is possible to provide a system for searching for a desired electronic document.

[その他] [More]
なお、上述の実施の形態における処理は、ソフトウエアにより行なってもよいし、ハードウエア回路を用いて行なってもよい。 The processing in the embodiment described above may be performed by software, it may be performed using a hardware circuit.

また、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをCD−ROM、フレキシブルディスク、ハードディスク、ROM、RAM、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。 Also, It is also possible to provide a program for executing the processing of the flowchart in the embodiment described above, the program CD-ROM, a flexible disk, hard disk, ROM, RAM, and recorded in a recording medium such as a memory card users it may be to be provided to. また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。 The program via a communication line such as the Internet, may be downloaded to the device.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。 The embodiments disclosed herein are to be considered as not restrictive but illustrative in all respects. 本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The scope of the invention is defined by the appended claims rather than by the foregoing description, and is intended to include all modifications within the meaning and range of equivalency of the claims.

本発明の第1の実施の形態における文書検索システムの構成を示す図である。 It is a diagram showing a configuration of a document retrieval system according to the first embodiment of the present invention. 図1のカメラ付き携帯電話100、検索サーバ200、および文書データベース300の構成を示すブロック図である。 Camera phone 100 of FIG. 1 is a block diagram showing the configuration of the search server 200 and document database 300,. 図1の文書検索システムの変形例を示す図である。 It is a diagram showing a modified example of a document retrieval system of Figure 1. 文書データベース300に記録される情報の内容を示す図である。 Is a diagram showing the contents of information recorded in the document database 300. 文書データベース300に記録される情報の他の構成例を示す図である。 It is a diagram illustrating another configuration example of information recorded in the document database 300. 携帯電話100の外観を示す図である。 Is a diagram showing an appearance of a mobile phone 100. 携帯電話100の表示部にカメラの映像が表示された状態を示す図である。 It is a diagram showing a state where the camera image is displayed on the display unit of the mobile phone 100. ユーザが撮影ボタンを押すことで検索対象となる文書の全体を撮影する状態を示す図である。 User is a diagram showing a state of photographing the entire document to be retrieved by pressing the shooting button. 図8の画面にナビゲーションを表示した状態を示す図である。 It is a diagram showing a state of displaying the navigation screen in FIG. 文書全体の撮影終了後、再びユーザが撮影ボタンを押すことで文書の一部分の画像を撮影する状態を示す図である。 After completion of the entire document imaging, showing a state of photographing an image of a portion of the document by pressing again the user shooting button. 図10の画面にナビゲーションを表示した状態を示す図である。 Is a diagram showing a state of displaying the navigation screen in FIG. 10. 図10の画面にナビゲーションを表示した状態を示す図である。 Is a diagram showing a state of displaying the navigation screen in FIG. 10. 画像情報とテキスト情報とから検索結果を表示する処理を示す図である。 It is a diagram illustrating a process of displaying the search results from the image information and text information. 文書データベース300に、予め文書に対応付けてサムネイル画像を登録している状態を示す図である。 The document database 300 is a diagram showing a state of registering the thumbnail image in association with the advance document. 選択処理の具体例を示す図である。 It is a diagram showing a specific example of the selection process. 「拡大」が選択された状態を示す図である。 It is a diagram showing a state where the "expansion" is selected. 「テキスト表示」が選択された状態を示す図である。 It is a diagram showing a state in which the "text display" is selected. 「印刷」が選択された状態を示す図である。 It is a diagram showing a state in which "printing" is selected. 「メール添付」が選択された状態を示す図である。 It is a diagram showing a state in which the "e-mail attachments" has been selected. 「プロパティ表示」が選択された状態を示す図である。 It is a diagram showing a state where the "Properties Display" is selected. 文書データベース300に文書データに対応付けて関連リンクを登録した状態を示す図である。 Is a diagram showing a state where registered related links in association with the document data in the document database 300. 再度の撮影を行なう場合の携帯電話100の表示例を示す図である。 It is a diagram illustrating a display example of the mobile phone 100 in the case of performing re-imaging. 文書ごとの画像類似度(全体のレイアウトの類似度)の算出結果の例を示す図である。 Is a diagram illustrating an example of a calculation result of the image similarity for each document (similarity overall layout). 文書ごとのテキスト類似度の算出結果の例を示す図である。 Is a diagram illustrating an example of calculation results of the text similarity for each document. 文書類似度の算出結果の具体例を示す図である。 It is a diagram showing a specific example of calculation results of document similarity. キーワード候補をユーザに提示する例を示す図である。 Is a diagram illustrating an example of presenting the keyword candidates to the user. 第1の実施の形態における文書検索システムの動作を示すフローチャートである。 Is a flowchart showing the operation of the document retrieval system according to the first embodiment. 第2の実施の形態における文書検索システムの動作を示すフローチャートである。 Is a flowchart showing the operation of the document retrieval system according to the second embodiment. 第3の実施の形態における文書検索システムの動作を示すフローチャートである。 Is a flowchart showing the operation of the document retrieval system according to the third embodiment. 図15(A)で「再検索」が選択され、図22に示される再検索処理が実行される処理を示すフローチャートである。 Figure 15 (A) "search" is selected in a flowchart illustrating a process of re-searching process is executed as shown in FIG. 22. 位置情報の指定方法を示す図である。 It is a diagram illustrating a method for specifying position information. 位置情報の指定方法の他の例を示す図である。 It is a diagram showing another example of a method for specifying position information. 第4の実施の形態における文書検索システムの動作を示すフローチャートである。 Is a flowchart showing the operation of the document retrieval system according to the fourth embodiment. 第5の実施の形態における文書検索システムの動作を示すフローチャートである。 Is a flowchart showing the operation of the document retrieval system according to the fifth embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

100 携帯電話、101 画像入力部、103 画像情報抽出部、105 画像情報ストア部、107 テキスト情報抽出部、109 テキスト情報ストア部、111 アプリ管理部、113 ユーザ操作入力部、115 表示部、200 検索サーバ、201 画像類似度算出部、203 画像類似度ストア部、205 テキスト類似度算出部、207 テキスト類似度ストア部、209 文書類似度算出部、211 ソート処理部、213 検索管理部、215 登録文書入力部、300 文書データベース、301 文書データ記録部、303 画像情報抽出部、305 画像情報記録部、307 テキスト情報抽出部、309 テキスト情報記録部、400 登録用文書データ入力機器。 100 mobile phones, 101 image input unit, 103 image information extracting section, 105 image information storing unit, 107 text information extracting unit, 109 text information storing unit, 111 application management unit, 113 user operation input unit, 115 display unit, 200 search server, 201 image similarity calculation unit, 203 image similarity store unit, 205 text similarity calculation unit, 207 text similarity store unit, 209 a document similarity calculation unit, 211 sorting portion 213 searches the management unit, 215 registered document input unit, 300 a document database, 301 document data recording unit 303 the image information extracting section, 305 image information recording unit, 307 text information extracting unit, 309 text information recording unit, 400 registered document data input device.

Claims (13)

  1. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置であって、 A plurality of document data document database registered, a document retrieval system which searches a highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力手段と、 A first input means for inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい第2の解像度の画像であって、前記第1の入力手段により入力された画像の一部に対応する画像を入力する第2の入力手段と、 Wherein the target document, a said finer than the first resolution a second resolution image, a second input means for inputting an image corresponding to a portion of the input image by the first input means,
    前記第1の入力手段により入力された画像を基に画像情報を抽出する、画像情報抽出手段と、 Extracting the image information based on the input image by the first input means, the image information extracting means,
    前記第2の入力手段により入力された画像を基にテキスト情報を抽出する、テキスト情報抽出手段と、 Extracting text information based on the input image by the second input means, and the text information extracting unit,
    前記抽出された画像情報とテキスト情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索手段とを備えた、文書検索装置。 Wherein by using the extracted image information and text information, and a retrieval means for retrieving data of the document that is similar to the target document from the document database, the document retrieval system.
  2. 前記文書データベースにおいては、複数の文書データのそれぞれに対応付けて、文書画像の特徴と、文書のテキストデータとを記録し、 In the document database, in association with each of the plurality of document data, and recording the characteristics of the document image, and a text data of the document,
    前記検索手段は、前記記録された文書画像の特徴および文書のテキストデータ、ならびに前記抽出された画像情報およびテキスト情報に基づいて検索を行なう、請求項1に記載の文書検索装置。 Said retrieval means, said feature and document the text data of the recorded document image, and based on the extracted image information and text information to search, document search apparatus according to claim 1.
  3. 前記検索手段は、前記テキスト情報抽出手段で抽出されたテキスト情報のうち、ユーザから選択されたテキスト情報を用いて検索を行なう、請求項1または2に記載の文書検索装置。 Said retrieval means, said one of the extracted text information in the text information extracting means, performs a search using the text information selected by the user, the document search apparatus according to claim 1 or 2.
  4. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置であって、 A plurality of document data document database registered, a document retrieval system which searches a highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力手段と、 A first input means for inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい第2の解像度の画像であって、前記第1の入力手段により入力された画像の一部に対応する画像を入力する第2の入力手段と、 Wherein the target document, a said finer than the first resolution a second resolution image, a second input means for inputting an image corresponding to a portion of the input image by the first input means,
    前記第1の入力手段により入力された画像を基に第1の画像情報を抽出する、第1の画像情報抽出手段と、 Extracting a first image information based on image input by said first input means, a first image information extracting means,
    前記第2の入力手段により入力された画像を基に第2の画像情報を抽出する、第2の画像情報抽出手段と、 Extracting a second image information based on image input by said second input means, a second image information extracting means,
    前記抽出された第1および第2の画像情報を用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索手段とを備えた、文書検索装置。 Using said first and second image information extracted, and a retrieving means for retrieving data of the document that is similar to the target document from the document database, the document retrieval system.
  5. 前記第2の解像度の画像の前記第1の解像度の画像に対する位置を入力する位置入力手段をさらに備え、 Further comprising a position input means for inputting position with respect to the first resolution of the image of the second resolution image,
    前記検索手段は、前記位置を用いて検索を行なう、請求項1〜4のいずれかに記載の文書検索装置。 The search means performs the search by using the position, the document search apparatus according to claim 1.
  6. 前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力手段により入力された画像の一部に対応する画像を入力する第3の入力手段と、 Wherein the target document, a first fine resolution image than the resolution, a third input means for inputting an image corresponding to a portion of the input image by the first input means,
    前記第3の入力手段により入力された画像を基に画像情報またはテキスト情報を抽出する抽出手段とをさらに備え、 Further comprising an extraction means for extracting image information or text information on the basis of the image inputted by said third input means,
    前記検索手段は、前記抽出手段の抽出結果を用いて検索を行なう、請求項1〜5のいずれかに記載の文書検索装置。 The search means performs the search by using the extraction result of the extraction means, the document search apparatus according to claim 1.
  7. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置であって、 A plurality of document data document database registered, a document retrieval system which searches a highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力手段と、 A first input means for inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力手段により入力された画像の一部に対応する画像を入力する第2の入力手段と、 Wherein the target document, a finer resolution image than the first resolution, a second input means for inputting an image corresponding to a portion of the input image by the first input means,
    前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力手段により入力された画像の一部に対応する画像を入力する第3の入力手段と、 Wherein the target document, a first fine resolution image than the resolution, a third input means for inputting an image corresponding to a portion of the input image by the first input means,
    前記第1の解像度の画像を表示して、前記第2および第3の入力手段で入力された画像の位置を入力する位置入力手段と、 Displaying an image of the first resolution, and position input means for inputting the position of the image input in the second and third input means,
    前記第2および第3の入力手段により入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出手段と、 Based on the input image by the second and third input means, to extract at least one of image information and text information, and the information extraction means,
    前記第2および第3の入力手段により入力された画像の位置と、前記抽出された情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索手段とを備えた、文書検索装置。 The position of the input image by the second and third input means, by using said extracted information, and a retrieval means for retrieving data of the document that is similar to the target document from the document database , document retrieval apparatus.
  8. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法であって、 A plurality of document data document database registered, a document search method for searching a highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力ステップと、 A first input step of inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい第2の解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、 Of the target document, a said finer than the first resolution a second resolution image, and a second input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記第1の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、 Extracting the image information on the basis of the image inputted by said first input step, the image information extracting step,
    前記第2の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、 Extracting text information based on the input image by the second input step, the text information extracting step,
    前記抽出された画像情報とテキスト情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとを備えた、文書検索方法。 Using said extracted image information and text information, and a search step of searching data of a document similar to the target document from the document database, the document search method.
  9. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法であって、 A plurality of document data document database registered, a document search method for searching a highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力ステップと、 A first input step of inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい第2の解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、 Of the target document, a said finer than the first resolution a second resolution image, and a second input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記第1の入力ステップにより入力された画像を基に第1の画像情報を抽出する、第1の画像情報抽出ステップと、 Extracting a first image information based on image input by said first input step, the first image information extraction step,
    前記第2の入力ステップにより入力された画像を基に第2の画像情報を抽出する、第2の画像情報抽出ステップと、 Extracting a second image information based on image input by said second input step, the second image information extracting step,
    前記抽出された第1および第2の画像情報を用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとを備えた、文書検索方法。 Using the first and second image of the extracted information, and a search step of searching data of a document similar to the target document from the document database, the document search method.
  10. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法であって、 A plurality of document data document database registered, a document search method for searching a highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力ステップと、 A first input step of inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、 Of the target document, a finer resolution image than the first resolution, a second input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第3の入力ステップと、 Of the target document, a finer resolution image than the first resolution, a third input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記第1の解像度の画像を表示して、前記第2および第3の入力手段で入力された画像の位置を入力する位置入力ステップと、 Displaying an image of the first resolution, the position input step of inputting the position of the image input in the second and third input means,
    前記第2および第3の入力ステップにより入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、 Based on the input image by the second and third input step, to extract at least one of image information and text information, and the information extracting step,
    前記第2および第3の入力ステップにより入力された画像の位置と、前記抽出された情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとを備えた、文書検索方法。 The position of the second and third input inputted image by step, by using the the extracted information, and a search step of searching data of a document similar to the target document from the document database , document search method.
  11. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムであって、 A plurality of document data document database registered, a document search program to search for highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力ステップと、 A first input step of inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい第2の解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、 Of the target document, a said finer than the first resolution a second resolution image, and a second input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記第1の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、 Extracting the image information on the basis of the image inputted by said first input step, the image information extracting step,
    前記第2の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、 Extracting text information based on the input image by the second input step, the text information extracting step,
    前記抽出された画像情報とテキスト情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる、文書検索プログラム。 Wherein by using the extracted image information and text information, the search data of the document that is similar to the target document from the document database to perform the search step to the computer, the document search program.
  12. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムであって、 A plurality of document data document database registered, a document search program to search for highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力ステップと、 A first input step of inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい第2の解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、 Of the target document, a said finer than the first resolution a second resolution image, and a second input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記第1の入力ステップにより入力された画像を基に第1の画像情報を抽出する、第1の画像情報抽出ステップと、 Extracting a first image information based on image input by said first input step, the first image information extraction step,
    前記第2の入力ステップにより入力された画像を基に第2の画像情報を抽出する、第2の画像情報抽出ステップと、 Extracting a second image information based on image input by said second input step, the second image information extracting step,
    前記抽出された第1および第2の画像情報を用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる、文書検索プログラム。 Using said first and second image information extracted, the search data of the document that is similar to the target document from the document database to perform the search step to the computer, the document search program.
  13. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムであって、 A plurality of document data document database registered, a document search program to search for highly targeted document similarity document,
    前記対象文書の第1の解像度の画像を入力する第1の入力ステップと、 A first input step of inputting a first resolution images of the target document,
    前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第2の入力ステップと、 Of the target document, a finer resolution image than the first resolution, a second input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記対象文書の、前記第1の解像度より細かい解像度の画像であって、前記第1の入力ステップにより入力された画像の一部に対応する画像を入力する第3の入力ステップと、 Of the target document, a finer resolution image than the first resolution, a third input step of inputting an image corresponding to a portion of said first input the input image in step,
    前記第1の解像度の画像を表示して、前記第2および第3の入力手段で入力された画像の位置を入力する位置入力ステップと、 Displaying an image of the first resolution, the position input step of inputting the position of the image input in the second and third input means,
    前記第2および第3の入力ステップにより入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、 Based on the input image by the second and third input step, to extract at least one of image information and text information, and the information extracting step,
    前記第2および第3の入力ステップにより入力された画像の位置と、前記抽出された情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる、文書検索プログラム。 The position of the second and third input inputted image by step, by using the the extracted information, and a search step of searching data of a document similar to the target document from the document database to the computer to be executed, the document search program.
JP2006088772A 2006-03-28 2006-03-28 Document retrieval device, document retrieval method, and document retrieval program Withdrawn JP2007264992A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006088772A JP2007264992A (en) 2006-03-28 2006-03-28 Document retrieval device, document retrieval method, and document retrieval program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006088772A JP2007264992A (en) 2006-03-28 2006-03-28 Document retrieval device, document retrieval method, and document retrieval program

Publications (1)

Publication Number Publication Date
JP2007264992A true JP2007264992A (en) 2007-10-11

Family

ID=38637923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006088772A Withdrawn JP2007264992A (en) 2006-03-28 2006-03-28 Document retrieval device, document retrieval method, and document retrieval program

Country Status (1)

Country Link
JP (1) JP2007264992A (en)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009048137A1 (en) 2007-10-10 2009-04-16 Nippon Steel & Sumikin Stainless Steel Corporation Duplex stainless steel wire material, steel wire, bolt, and method for production of the bolt
JP2010250359A (en) * 2009-04-10 2010-11-04 Hitachi Ltd Pseudo document retrieval system and pseudo document retrieval method
JP2013077213A (en) * 2011-09-30 2013-04-25 Konica Minolta Business Technologies Inc Cooperation system, portable information device and coordination program
JP2014053029A (en) * 2008-12-23 2014-03-20 Ricoh Co Ltd Processing method, computer program, and processor
EP2747404A1 (en) 2012-12-19 2014-06-25 Konica Minolta, Inc. Image processing terminal, image processing system, and computer-readable storage medium storing control program of image processing terminal
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
EP2799978A1 (en) * 2013-04-30 2014-11-05 Konica Minolta, Inc. Image processing system, image processing apparatus, portable information terminal, program
US8892595B2 (en) 2011-07-27 2014-11-18 Ricoh Co., Ltd. Generating a discussion group in a social network based on similar source materials
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8965145B2 (en) 2006-07-31 2015-02-24 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9063953B2 (en) 2004-10-01 2015-06-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9092423B2 (en) 2007-07-12 2015-07-28 Ricoh Co., Ltd. Retrieving electronic documents by converting them to synthetic text
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
JP2016024282A (en) * 2014-07-17 2016-02-08 Kddi株式会社 Language teaching material generation system, language teaching material generation device, portable terminal, language teaching material generation program, and language teaching material generation method
US9311336B2 (en) 2006-07-31 2016-04-12 Ricoh Co., Ltd. Generating and storing a printed representation of a document on a local computer upon printing
US9357098B2 (en) 2005-08-23 2016-05-31 Ricoh Co., Ltd. System and methods for use of voice mail and email in a mixed media environment
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
JP2017005305A (en) * 2015-06-04 2017-01-05 キヤノン株式会社 Information processing unit, control method of the same, and program
US9870388B2 (en) 2006-07-31 2018-01-16 Ricoh, Co., Ltd. Analyzing usage of visual content to determine relationships indicating unsuccessful attempts to retrieve the visual content

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063953B2 (en) 2004-10-01 2015-06-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US9357098B2 (en) 2005-08-23 2016-05-31 Ricoh Co., Ltd. System and methods for use of voice mail and email in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US9087104B2 (en) 2006-01-06 2015-07-21 Ricoh Company, Ltd. Dynamic presentation of targeted information in a mixed media reality recognition system
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9870388B2 (en) 2006-07-31 2018-01-16 Ricoh, Co., Ltd. Analyzing usage of visual content to determine relationships indicating unsuccessful attempts to retrieve the visual content
US8965145B2 (en) 2006-07-31 2015-02-24 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9311336B2 (en) 2006-07-31 2016-04-12 Ricoh Co., Ltd. Generating and storing a printed representation of a document on a local computer upon printing
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US9092423B2 (en) 2007-07-12 2015-07-28 Ricoh Co., Ltd. Retrieving electronic documents by converting them to synthetic text
WO2009048137A1 (en) 2007-10-10 2009-04-16 Nippon Steel & Sumikin Stainless Steel Corporation Duplex stainless steel wire material, steel wire, bolt, and method for production of the bolt
JP2014053029A (en) * 2008-12-23 2014-03-20 Ricoh Co Ltd Processing method, computer program, and processor
JP2010250359A (en) * 2009-04-10 2010-11-04 Hitachi Ltd Pseudo document retrieval system and pseudo document retrieval method
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8892595B2 (en) 2011-07-27 2014-11-18 Ricoh Co., Ltd. Generating a discussion group in a social network based on similar source materials
JP2013077213A (en) * 2011-09-30 2013-04-25 Konica Minolta Business Technologies Inc Cooperation system, portable information device and coordination program
US9197768B2 (en) 2011-09-30 2015-11-24 Konica Minolta Business Technologies, Inc. Cooperation system, mobile information device, cooperation processing method, and non-transitory computer-readable recording medium encoded with cooperation processing program
EP2747404A1 (en) 2012-12-19 2014-06-25 Konica Minolta, Inc. Image processing terminal, image processing system, and computer-readable storage medium storing control program of image processing terminal
EP2799978A1 (en) * 2013-04-30 2014-11-05 Konica Minolta, Inc. Image processing system, image processing apparatus, portable information terminal, program
JP2016024282A (en) * 2014-07-17 2016-02-08 Kddi株式会社 Language teaching material generation system, language teaching material generation device, portable terminal, language teaching material generation program, and language teaching material generation method
JP2017005305A (en) * 2015-06-04 2017-01-05 キヤノン株式会社 Information processing unit, control method of the same, and program

Similar Documents

Publication Publication Date Title
JP4118349B2 (en) Methods and document server of the document selection, etc.
JP4427342B2 (en) Methods and products for reformatting the document using the document analysis information
EP0980178B1 (en) Filing system and method capable of avoiding filing of identical document data
CN1248138C (en) The image processing method of the image processing system
US7486807B2 (en) Image retrieving device, method for adding keywords in image retrieving device, and computer program therefor
US6944819B2 (en) Computer method and apparatus for previewing files outside of an application program
US7739583B2 (en) Multimedia document sharing method and apparatus
US8489583B2 (en) Techniques for retrieving documents using an image capture device
US7272269B2 (en) Image processing apparatus and method therefor
CN100437578C (en) Document image information management apparatus and document image information management method
JP4455357B2 (en) Information processing apparatus and information processing method
US8385606B2 (en) Image processing apparatus and method, and program
US8339645B2 (en) Managing apparatus, image processing apparatus, and processing method for the same, wherein a first user stores a temporary object having attribute information specified but not partial-area data, at a later time an object is received from a second user that includes both partial-area data and attribute information, the storage unit is searched for the temporary object that matches attribute information of the received object, and the first user is notified in response to a match
JP4350414B2 (en) The information processing apparatus and an information processing method, and a storage medium, program
US8229947B2 (en) Image processing apparatus and method for controlling image processing apparatus
US8380012B2 (en) Document imaging and indexing system
US20040194026A1 (en) Method and apparatus for composing multimedia documents
JP4265525B2 (en) An image processing system, image processing apparatus, a server and a program
CN1271505C (en) Image processing apparatus and method for retrieve image
CN100476827C (en) Information processing apparatus and information processing method
JP4371965B2 (en) Image processing apparatus, image processing method
US7281016B2 (en) Electronic information management server, electronic information management client, electronic information management method and recording medium for recording electronic information management program
US20070188823A1 (en) Image processing apparatus and image processing method
JP4377494B2 (en) Information input device
JP5163035B2 (en) Document management system, device, and method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090602