JP2008083898A

JP2008083898A - Information processing system and information processing program

Info

Publication number: JP2008083898A
Application number: JP2006261965A
Authority: JP
Inventors: Koichi Fujii; 晃一藤井; Yuzuru Suzuki; 譲鈴木; Hiroyuki Kono; 裕之河野; Kunikazu Ueno; 邦和上野; Atsushi Ito; 篤伊藤; Natsumi Miyazawa; なつみ宮澤; Shunsuke Kodaira; 俊輔小平
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-09-27
Filing date: 2006-09-27
Publication date: 2008-04-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processing system for displaying document components, or for retrieving a document by using the document components. <P>SOLUTION: The document acquisition means of an information processing system acquires a document, and a document component extraction means extracts document components configuring the document acquired by the document acquisition means, and a document component display means deforms the document components extracted by the document component extraction means according to a display picture, and displays the document components. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、情報処理システムおよび情報処理プログラムに関する。 The present invention relates to an information processing system and an information processing program.

電子的な文書（スキャナにより入力された画像である文書、文書生成アプリケーションにより生成された文書などを含む）のデータベース中から、操作者が望む文書を効率良く検索したい要求がある。文書に含まれるキーワードが分かっている場合は、キーワードによる検索が可能である。
しかし、含まれる画像のイメージは思いつくが、適切なキーワードが思いつかない場合には、含まれる画像をキーとして文書を検索した方が検索効率が良い。また、キーワードで検索を行ったが、該当文書が多数存在する場合は、各文書の中身を確認して、所望の文書を探し出す必要がある。これらの時には、文書に含まれる画像をキーとして文書の検索または、候補文書の絞込みを行うと効率が良い。 There is a request for efficiently searching for a document desired by an operator from a database of electronic documents (including documents that are images input by a scanner, documents generated by a document generation application, and the like). If the keyword contained in the document is known, a search by keyword is possible.
However, if an image of an included image can be conceived but an appropriate keyword cannot be conceived, it is more efficient to search for a document using the included image as a key. In addition, when a search is performed using a keyword, but there are many corresponding documents, it is necessary to check the contents of each document to find a desired document. In these cases, it is efficient to search for a document or narrow down candidate documents using an image included in the document as a key.

これらに関連する技術として、例えば、特許文献１には、縮小画像で表示された類似画像であっても容易に識別ができる画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを格納した記録媒体を提供することを課題とし、文書ファイルを取得する文書ファイル取得手段と、文書ファイル取得手段により取得した文書ファイルにかかる画像の縮小画像を生成する縮小画像生成手段と、ディスプレイに表示された前記縮小画像がポインタ指定された場合に、文書ファイルにかかる画像上の処理領域を決定する処理領域決定手段と、処理領域内の情報を前記文書ファイルから抽出する処理領域内情報抽出手段と、処理領域内情報抽出手段が抽出した処理領域内情報を所定の大きさでディスプレイに表示する処理領域内情報表示手段とを備えていることが開示されている。 For example, Patent Literature 1 stores an image display device, an image display method, an image display program, and an image display program that can easily identify a similar image displayed as a reduced image. An object of the present invention is to provide a recording medium. A document file acquisition unit that acquires a document file, a reduced image generation unit that generates a reduced image of an image of the document file acquired by the document file acquisition unit, and a display on the display When the reduced image is designated by a pointer, a processing region determination unit that determines a processing region on the image related to the document file, a processing region information extraction unit that extracts information in the processing region from the document file, and a processing Information in the processing area for displaying the information in the processing area extracted by the information extraction means in the area on the display in a predetermined size. It is disclosed that a Display means.

また、例えば、特許文献２には、画像検索におけるユーザインターフェースを向上させた情報処理装置を提供することを課題とし、ウェブ・ブラウザに表示された電子文書から第１キーワード及び第２キーワードが抽出され、ユーザがウェブ・ブラウザ上の画像を選択するとプルダウンメニューが表示され、更に、その中の「画像検索」を選択すると、該キーワード群によって電子文書が検索され、その電子文書に含まれる画像が抽出され、ＧＵＩに所定の大きさのサムネール画像、画像の名称、該画像が表示され、ＧＵＩ上の表示コントロールボタンで表示結果を操作したり、画像を選択して保持したりすることができることが開示されている。 Further, for example, Patent Document 2 has an object of providing an information processing apparatus with an improved user interface in image search, and first keywords and second keywords are extracted from an electronic document displayed on a web browser. When the user selects an image on the web browser, a pull-down menu is displayed. Further, when “image search” is selected, an electronic document is searched by the keyword group, and an image included in the electronic document is extracted. It is disclosed that a thumbnail image of a predetermined size, a name of the image, and the image are displayed on the GUI, and the display result can be operated with the display control button on the GUI, and the image can be selected and held. Has been.

また、例えば、特許文献３には、文字検索や画像検索における検索結果表示技術に係り、操作者が検索キーを含むページを抽出し、当該ページにおける検索キーに適合するオブジェクトの配置等を容易に視認できる検索システム、検索方法および検索プログラムを提供することを課題とし、検索キー指定手段と、検索キーに適合するオブジェクトが含まれたページを検索対象から抽出する検索手段と、前記オブジェクト部分が他の部分と識別できるように特徴付けられてなる縮小簡易画像を生成する縮小簡易画像生成手段と、縮小簡易画像生成手段により生成した縮小簡易画像を表示する機能を備えた縮小簡易画像表示手段とを備えていることが開示されている。 Further, for example, Patent Document 3 relates to a search result display technique in character search or image search, and an operator easily extracts a page including a search key and easily arranges an object suitable for the search key on the page. An object of the present invention is to provide a search system, a search method, and a search program that can be visually recognized. A search key designation unit, a search unit that extracts a page including an object that matches the search key from a search target, and the object part A reduced simple image generating means for generating a reduced simple image characterized so as to be distinguishable from the image portion, and a reduced simple image display means having a function of displaying the reduced simple image generated by the reduced simple image generating means. It is disclosed that it is provided.

また、例えば、特許文献４には、多数頁で構成される文書の全頁構成を一目で確認できるようにすることを目的とし、ファイル格納手段によって複数頁の画像データとその各画像データの縮小画像データとインデックスデータからなる文書ファイルを格納し、検索手段のインデックスデータによる検索時、表示手段に対して、第１の表示制御手段が検索した文書ファイルの名称とその文書ファイルの頁数に応じたセルに分割したアイコンを、第２の表示制御手段がそのアイコンの選択された頁を含む前後数頁分のセルに分割したアイコンを、第３の表示制御手段がそのアイコンの選択された文書ファイルの指定されたセルに対応する頁の縮小画像データを、第４の表示制御手段がそのアイコンの選択された文書ファイルの指定されたセルに対応する頁の画像データを、それぞれ表示させることが開示されている。
特開２００５−０１７５９２号公報特開２００３−０６７３８２号公報特開２００４−１５７６６８号公報特開平０６−１６２０８４号公報 In addition, for example, Patent Document 4 aims at making it possible to confirm at a glance the entire page structure of a document composed of a large number of pages, and reducing the image data of a plurality of pages and each of the image data by a file storage means. A document file composed of image data and index data is stored, and when searching by the index data of the search means, the display means responds to the name of the document file searched by the first display control means and the number of pages of the document file. The icon divided into the cells, and the second display control means divides the icon into cells for several pages including the page where the icon is selected, and the third display control means selects the document with the icon selected. The fourth display control means applies the reduced image data of the page corresponding to the designated cell of the file to the designated cell of the document file whose icon is selected. The image data of the page to be, it is disclosed that is displayed.
JP 2005-017592 A Japanese Patent Laid-Open No. 2003-067382 JP 2004-157668 A Japanese Patent Application Laid-Open No. 06-162084

本発明は、このような背景技術の状況の中でなされたもので、文書を構成している文書部品を用いてその文書部品を表示またはその文書部品を用いた文書の検索をすることができなかったことを課題とし、文書部品を用いてその文書部品を表示するまたは文書を検索することができるようにした情報処理システムおよび情報処理プログラムを提供することを目的としている。 The present invention has been made in the background of such a background art, and can display a document part using a document part constituting a document or search for a document using the document part. It is an object of the present invention to provide an information processing system and an information processing program that can display a document part or retrieve a document using the document part.

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］文書を取得する文書取得手段と、
前記文書取得手段によって取得した文書を構成する文書部品を抽出する文書部品抽出手段と、
前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示手段
を具備することを特徴とする情報処理システム。 The gist of the present invention for achieving the object lies in the inventions of the following items.
[1] Document acquisition means for acquiring a document;
Document part extraction means for extracting document parts constituting the document acquired by the document acquisition means;
An information processing system comprising: document part display means for displaying a document part by deforming the document part extracted by the document part extraction means according to a display screen.

［２］文書を取得する文書取得手段と、
前記文書取得手段によって取得した文書を構成する文書部品を抽出する文書部品抽出手段と、
前記文書部品抽出手段によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する文書部品表示手段
を具備することを特徴とする情報処理システム。 [2] Document acquisition means for acquiring a document;
Document part extraction means for extracting document parts constituting the document acquired by the document acquisition means;
An information processing system comprising: document part display means for selecting and displaying a document part to be displayed according to the degree of similarity between the document parts extracted by the document part extraction means.

［３］前記文書部品表示手段は、前記文書部品抽出手段によって抽出した文書部品間で表示が重複している場合は、該重複している文書部品のうち表示面側に位置している文書部品を表示する
ことを特徴とする［１］または［２］に記載の情報処理システム。 [3] When the document part display means overlaps the display between the document parts extracted by the document part extraction means, the document part located on the display surface side among the duplicate document parts The information processing system according to [1] or [2], wherein the information processing system is displayed.

［４］文書を検索する場合の検索語を受け付ける検索語受付手段と、
前記検索語受付手段によって受け付けた検索語に基づいて、文書を検索する第一の文書検索手段と、
前記第一の文書検索手段によって検索した文書内の検索語に関連する文書部品を抽出する関連文書部品抽出手段と、
前記関連文書部品抽出手段によって抽出した文書部品に基づいて、文書を検索する第二の文書検索手段
を具備することを特徴とする情報処理システム。 [4] Search term accepting means for accepting a search term when searching for a document;
First document search means for searching for a document based on the search word received by the search word receiving means;
Related document part extraction means for extracting a document part related to a search term in the document searched by the first document search means;
An information processing system comprising: second document search means for searching for a document based on the document parts extracted by the related document part extraction means.

［５］検索対象となる文書を記憶する文書記憶手段と、
文書の検索方法を指定する検索方法指定手段と、
前記検索方法指定手段によって指定された検索方法が画像を用いた検索である場合は、前記文書記憶手段によって記憶された文書から文書を構成する文書部品を抽出する文書部品抽出手段と、
前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示手段と、
前記文書部品表示手段によって表示された文書部品を操作者の操作に応じて、検索の画像として受け付ける検索画像受付手段と、
前記検索画像受付手段によって受け付けた検索の画像を、前記文書記憶手段内を検索する画像検索手段と、
前記画像検索手段によって検索した文書を表示する文書表示手段
を具備することを特徴とする情報処理システム。 [5] Document storage means for storing a document to be searched;
A search method specifying means for specifying a document search method;
If the search method specified by the search method specifying means is a search using an image, a document part extracting means for extracting a document part constituting the document from the document stored by the document storage means;
A document part display means for displaying the document part by transforming the document part extracted by the document part extraction means according to a display screen;
A search image receiving means for receiving a document part displayed by the document part display means as a search image according to an operation of an operator;
An image search means for searching the document storage means for a search image received by the search image receiving means;
An information processing system comprising document display means for displaying a document searched by the image search means.

［６］コンピュータに、
文書を取得する文書取得機能と、
前記文書取得機能によって取得した文書を構成する文書部品を抽出する文書部品抽出機能と、
前記文書部品抽出機能によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示機能
を実現させることを特徴とする情報処理プログラム。 [6]
A document acquisition function for acquiring a document;
A document part extraction function for extracting a document part constituting a document acquired by the document acquisition function;
An information processing program that realizes a document part display function for deforming a document part extracted by the document part extraction function according to a display screen and displaying the document part.

［７］コンピュータに、
文書を取得する文書取得機能と、
前記文書取得機能によって取得した文書を構成する文書部品を抽出する文書部品抽出機能と、
前記文書部品抽出機能によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する文書部品表示機能
を実現させることを特徴とする情報処理プログラム。 [7]
A document acquisition function for acquiring a document;
A document part extraction function for extracting a document part constituting a document acquired by the document acquisition function;
An information processing program for realizing a document part display function for selecting and displaying a document part to be displayed according to the degree of similarity between the document parts extracted by the document part extraction function.

［８］コンピュータに、
文書を検索する場合の検索語を受け付ける検索語受付機能と、
前記検索語受付機能によって受け付けた検索語に基づいて、文書を検索する第一の文書検索機能と、
前記第一の文書検索機能によって検索した文書内の検索語に関連する文書部品を抽出する関連文書部品抽出機能と、
前記関連文書部品抽出機能によって抽出した文書部品に基づいて、文書を検索する第二の文書検索機能
を実現させることを特徴とする情報処理プログラム。 [8]
A search word reception function for receiving a search word when searching a document,
A first document search function for searching for a document based on a search word received by the search word reception function;
A related document part extraction function for extracting a document part related to a search term in the document searched by the first document search function;
An information processing program for realizing a second document search function for searching for a document based on the document part extracted by the related document part extraction function.

請求項１の情報処理システムによれば、本構成を有していない場合に比較して、表示画面に多くの文書部品を表示することができるので、文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。 According to the information processing system of claim 1, more document parts can be displayed on the display screen as compared with the case where the present structure is not provided, so the document parts constituting the document are used. The document part can be displayed or a document can be searched using the document part.

請求項２の情報処理システムによれば、本構成を有していない場合に比較して、同一マークの文書部品を、その出現している数だけ表示するのではなく、そのマークを１つだけ表示することができるようになり、操作者に対するわずらわしさを減少させた文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。 According to the information processing system of claim 2, as compared with the case where the present configuration is not provided, the document parts having the same mark are not displayed in the number of appearances, but only one mark is displayed. Thus, the user can display the document parts using the document parts constituting the document with reduced troublesomeness for the operator, or search for the documents using the document parts.

請求項３の情報処理システムによれば、本構成を有していない場合に比較して、請求項１または２の情報処理システムによる効果に加えて、操作者が見ている文書部品と同じものが表示対象となり、文書内で見たままの文書部品を対象とすることができ、操作性、利便性がより一層向上する。 According to the information processing system of claim 3, in addition to the effect of the information processing system of claim 1 or 2 as compared with the case where this configuration is not provided, the same document part as the operator is viewing Becomes a display target, and a document part as it is seen in the document can be targeted, and the operability and convenience are further improved.

請求項４の情報処理システムによれば、本構成を有していない場合に比較して、一般的な検索語を用いて検索した後に、その検索語によって説明している文書部品を用いた検索をすることができる。 According to the information processing system of claim 4, compared to the case where the present configuration is not provided, after searching using a general search word, searching using a document part described by the search word Can do.

請求項５の情報処理システムによれば、本構成を有していない場合に比較して、文書を検索したい場合に、紙として手元にある文書を画像入力装置によって読み込み、その文書部品を効率的に表示し、選択された文書画像を用いて検索することができ、検索する際の自由度が一層向上する。 According to the information processing system of claim 5, when it is desired to search for a document as compared with the case where the present configuration is not provided, the document at hand as paper is read by the image input device, and the document part is efficiently processed. Can be searched using the selected document image, and the degree of freedom in searching is further improved.

請求項６の情報処理プログラムによれば、本構成を有していない場合に比較して、表示画面に多くの文書部品を表示することができるので、文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。 According to the information processing program of claim 6, more document parts can be displayed on the display screen as compared with the case where the present structure is not provided, so the document parts constituting the document are used. The document part can be displayed or a document can be searched using the document part.

請求項７の情報処理プログラムによれば、本構成を有していない場合に比較して、同一マークの文書部品を、その出現している数だけ表示するのではなく、そのマークを１つだけ表示することができるようになり、操作者に対するわずらわしさを減少させた文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。 According to the information processing program of the seventh aspect, as compared with the case where the present configuration is not provided, the document parts having the same mark are not displayed as many times as they appear, but only one mark is displayed. Thus, the user can display the document parts using the document parts constituting the document with reduced troublesomeness for the operator, or search for the documents using the document parts.

請求項８の情報処理プログラムによれば、本構成を有していない場合に比較して、一般的な検索語を用いて検索した後に、その検索語によって説明している文書部品を用いた検索をすることができる。 According to the information processing program of claim 8, a search using a document part described by a search word after a search using a general search word as compared with the case where the present configuration is not provided. Can do.

以下、図面に基づき本発明の好適な一実施の形態を説明する。
図１、図２は、本発明の一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。 Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings.
1 and 2 are conceptual module configuration diagrams of an embodiment of the present invention.
The module generally refers to a component such as software or hardware that can be logically separated. Therefore, the module in the present embodiment indicates not only a module in a program but also a module in a hardware configuration. Therefore, the present embodiment also serves as an explanation of a program, a system, and a method. In addition, the modules correspond almost one-to-one with the functions. However, in mounting, one module may be composed of one program, or a plurality of modules may be composed of one program. A plurality of programs may be used. The plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers in a distributed or parallel environment. Hereinafter, “connection” includes not only physical connection but also logical connection.
The system includes a configuration in which a plurality of computers, hardware, devices, and the like are connected via a network and the like, and includes a case where the system is realized by one computer, hardware, devices, and the like.

図１に示す本実施の形態は、文書からその文書を構成する文書部品を抽出し、文書部品を用いたその後の検索等のために効率よく表示するものである。
本実施の形態は、図１に示すように、文書取得モジュール１１０、文書部品抽出モジュール１２０、文書部品表示モジュール１３０を有しており、さらに、文書部品表示モジュール１３０は、再配置モジュール１３２、表示順序変更モジュール１３４、共通部品非表示モジュール１３６を有している。
文書取得モジュール１１０は、文書部品抽出モジュール１２０と接続されており、文書を取得する。ここでの文書とは、電子的な文書であり、より具体的には、スキャナにより入力された画像である文書、文書生成アプリケーション（例えば、ワープロ等）により生成された文書などを含む。そして、取得するとは、スキャナを用いて取得すること、文書データベースから文書を取得すること、通信回線を介して、外部のシステムから取得すること等を含む。また、取得する文書は、１ページであってもよいし、複数ページの文書であってもよい。 In the present embodiment shown in FIG. 1, document parts constituting the document are extracted from the document and displayed efficiently for subsequent search using the document part.
As shown in FIG. 1, the present embodiment includes a document acquisition module 110, a document part extraction module 120, and a document part display module 130. The document part display module 130 further includes a rearrangement module 132, a display part, and a display part. An order change module 134 and a common component non-display module 136 are provided.
The document acquisition module 110 is connected to the document part extraction module 120 and acquires a document. The document here is an electronic document, and more specifically includes a document that is an image input by a scanner, a document generated by a document generation application (for example, a word processor), and the like. Acquiring includes acquiring using a scanner, acquiring a document from a document database, acquiring from an external system via a communication line, and the like. Further, the document to be acquired may be a single page or a multi-page document.

文書部品抽出モジュール１２０は、文書取得モジュール１１０、文書部品表示モジュール１３０と接続されており、文書取得モジュール１１０によって取得した文書を構成する文書部品を抽出する。ここで、文書部品（以下、オブジェクトともいう。）とは、例えば、文章からなる文字領域、写真のような自然画からなる画像領域、直線、円等の比較的簡単な図形等の人工的な画像からなる図形領域、文字とその文字を囲む線からなる表領域等がある。ここでの抽出には、文書部品を文書から抽出するだけでなく、その文書部品の属性（文字、画像、図形、表等）をも抽出する。
抽出の方法は、文書が文書生成アプリケーションにより生成されたものであるならば、文書部品の領域およびその文書部品の属性を抽出することによって行う。スキャナ等により入力された画像である文書であるならば、画像に対する領域分離を行う。ここでの領域分離は、画像から空白等で区切られた領域を分離することによって行われる。もちろん他の既存の方法で領域を分離してもよい。そして、その領域の属性の識別は、分離した領域内の特徴（黒画素塊の大きさ、その形状、一定領域内の黒画素数、黒画素塊の配置等）を抽出し、特徴空間内でのその位置によって識別するが、その他の既存の方法であってもよい。
文書部品の抽出結果（文書部品そのもの、その属性を含む）を、文書部品表示モジュール１３０に渡す。 The document part extraction module 120 is connected to the document acquisition module 110 and the document part display module 130, and extracts the document parts constituting the document acquired by the document acquisition module 110. Here, a document part (hereinafter also referred to as an object) is, for example, a text area made up of text, an image area made up of a natural image like a photograph, or a relatively simple figure such as a straight line or a circle. There are a graphic area composed of images, a table area composed of characters and lines surrounding the characters, and the like. In this extraction, not only a document part is extracted from a document but also attributes (characters, images, figures, tables, etc.) of the document part are extracted.
If the document is generated by the document generation application, the extraction method is performed by extracting the document part area and the attribute of the document part. If the document is an image input by a scanner or the like, region separation is performed on the image. The region separation here is performed by separating a region separated by a blank or the like from the image. Of course, the regions may be separated by other existing methods. The attribute of the area is identified by extracting features in the separated area (the size of the black pixel block, its shape, the number of black pixels in the fixed region, the arrangement of the black pixel block, etc.) Is identified by its position, but other existing methods may be used.
The extraction result of the document part (including the document part itself and its attributes) is passed to the document part display module 130.

文書部品表示モジュール１３０は、文書部品抽出モジュール１２０と接続されており、文書部品抽出モジュール１２０より文書部品の抽出結果を受け取り、再配置モジュール１３２、表示順序変更モジュール１３４、共通部品非表示モジュール１３６を有している。文書部品表示モジュール１３０は、再配置モジュール１３２、表示順序変更モジュール１３４、共通部品非表示モジュール１３６を用いて、次のことを行う。
文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う。例えば、複写機などの装置内に実現している時は、装置に備え付けの表示画面の大きさに基づいて、該文書部品の表示を行う。パーソナルコンピュータなどのアプリケーションプログラムとして実現している時は、パーソナルコンピュータのオペレーティングシステムなどから表示に使用するウィンドウサイズを取得し、取得したウィンドウサイズに応じて該文書部品の表示を行う。予めユーザの希望を記憶し、ユーザの希望と表示画面に合わせて該文書部品の表示を行っても良い。表示画面に合わせて文書部品の表示をするには、例えば、１つの文書部品を表示画面の大きさに合わせて拡大縮小処理を行って表示する、予め定めた数の文書部品を表示画面に収まるように拡大縮小処理を行って表示する、文書部品内の文字が一定の大きさ（例えば、８ポイント等）になるように拡大縮小処理を行って、表示画面に合わせて表示する数を決定する等がある。
また、文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する。
さらに、文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品間で表示が重複している場合は、該重複している文書部品のうち表示面側（つまり、上位側または前面側）に位置している文書部品を表示するようにしてもよい。 The document part display module 130 is connected to the document part extraction module 120, receives a document part extraction result from the document part extraction module 120, and includes a rearrangement module 132, a display order change module 134, and a common part non-display module 136. Have. The document part display module 130 uses the rearrangement module 132, the display order change module 134, and the common part non-display module 136 to perform the following.
The document part display module 130 deforms the document part extracted by the document part extraction module 120 according to the display screen, and displays the document part. For example, when implemented in an apparatus such as a copying machine, the document part is displayed based on the size of a display screen provided in the apparatus. When implemented as an application program such as a personal computer, the window size used for display is acquired from the operating system of the personal computer, and the document part is displayed according to the acquired window size. The user's wish may be stored in advance, and the document part may be displayed in accordance with the user's wish and the display screen. In order to display document parts in accordance with the display screen, for example, one document part is displayed by performing enlargement / reduction processing according to the size of the display screen, and a predetermined number of document parts can be accommodated on the display screen. The enlargement / reduction processing is performed so that the characters in the document part have a certain size (for example, 8 points), and the number to be displayed in accordance with the display screen is determined. Etc.
Further, the document part display module 130 selects and displays a document part to be displayed according to the degree of similarity between the document parts extracted by the document part extraction module 120.
Further, when the document parts display module 130 has a duplicate display between the document parts extracted by the document part extraction module 120, the document part display module 130 has a display surface side (that is, the upper side or the front side) of the duplicate document parts. ) May be displayed.

再配置モジュール１３２は、文書部品表示モジュール１３０によって表示される文書部品の表示構成を変更する。例えば、抽出された文書部品のサイズを変更せず、多くの文書部品が１つの表示画面に収まるように文書部品を配置するようにしてもよい。具体的には、カタログ等の文書で文書部品である写真等が重複している場合があり、その重複の度合いを検知し、例えば、該重複している写真のうち表示面側に位置している写真が後方（つまり、下位側）に位置している写真の所定閾値（例えば、９０％）以上を隠している場合、その表示面側に位置している写真のみを表示する。
また、再配置モジュール１３２は、抽出された文書部品を所定縮小率以下の縮小率で縮小し、または、そのサイズが所定サイズ以下になるように縮小し、多くの文書部品が１つの表示画面に収まるように文書部品を配置するようにしてもよい。
また、再配置モジュール１３２は、抽出された各々の文書部品を表示画面に収まる最大サイズまで拡大し、文書部品表示モジュール１３０は１ページに１つの文書部品が存在するページを表示するようにしてもよい。 The rearrangement module 132 changes the display configuration of the document parts displayed by the document part display module 130. For example, the document parts may be arranged so that many document parts fit on one display screen without changing the size of the extracted document parts. Specifically, there are cases where a document or the like is duplicated in a document such as a catalog, and the degree of duplication is detected. For example, the duplicate photo is located on the display surface side. When a photograph that is hidden behind a predetermined threshold (for example, 90%) of a photograph located behind (that is, the lower side) is displayed, only the photograph located on the display surface side is displayed.
In addition, the rearrangement module 132 reduces the extracted document parts at a reduction ratio equal to or less than a predetermined reduction ratio, or reduces the size so that the size is equal to or less than a predetermined size, and many document parts are displayed on one display screen. The document parts may be arranged so as to fit.
The rearrangement module 132 enlarges each extracted document part to the maximum size that can be displayed on the display screen, and the document part display module 130 displays a page where one document part exists on one page. Good.

表示順序変更モジュール１３４は、文書部品表示モジュール１３０によって表示される文書部品の順番を変更する。例えば、具体的には、文書部品抽出モジュール１２０によって抽出された文書部品のうち、サイズが大きな文書部品から順に出力するよう表示順を変更するようにしてもよい。
また、表示順序変更モジュール１３４は、文書部品抽出モジュール１２０によって抽出された文書部品を、その文書における出現順に出力するよう表示順を変更するようにしてもよい。
共通部品非表示モジュール１３６は、所定属性の文書部品のうち、１つの文書に複数個共通に含まれる文書部品は、複数回表示しないようにする。例えば、文書の各ページのフッター、ヘッダー等に表示されている商標等の同一マークの文書部品を、その出現している数だけ表示するのではなく、そのマークを１つだけ表示することができる。そのために、共通部品非表示モジュール１３６は、１つの文書内の文書部品のうち、画像の属性である文書部品同士の類似度を検出する。この類似度の検出は、文書部品の画像をサイズ変換して一律のサイズにした後に排他的論理和演算（ＥＯＲ）を行い、黒画素数が一定の閾値よりも少ないものは類似度が高いと判断する、画像色の類似度により判断する、その他の特徴を抽出して、その特徴空間における類似度を検出するようにしてもよい。 The display order changing module 134 changes the order of document parts displayed by the document part display module 130. For example, specifically, among the document parts extracted by the document part extraction module 120, the display order may be changed so that the document parts are output in descending order.
The display order change module 134 may change the display order so that the document parts extracted by the document part extraction module 120 are output in the order of appearance in the document.
The common component non-display module 136 does not display a plurality of document components that are included in one document in common among document components having a predetermined attribute. For example, it is possible to display only one mark of a document part with the same mark such as a trademark displayed in the footer, header, etc. of each page of the document, instead of displaying the number of the document parts. . For this purpose, the common component non-display module 136 detects the similarity between document components that are image attributes among document components in one document. The similarity is detected by performing an exclusive OR operation (EOR) after converting the size of the document part image to a uniform size. If the number of black pixels is less than a certain threshold, the similarity is high. It is also possible to extract other features that are determined, based on the similarity of the image colors, and to detect the similarity in the feature space.

図２に示す本実施の形態は、文書部品等を用いて、文書データベースから文書を検索するものである。
本実施の形態は、図２に示すように、検索方法指定モジュール２１０、キーワード受付モジュール２２０、キーワード検索モジュール２３０、関連文書部品抽出モジュール２４０、キー画像受付モジュール２５０、キー画像検索モジュール２６０、検索結果表示モジュール２７０、文書ＤＢ２８０を有している。
検索方法指定モジュール２１０は、キーワード受付モジュール２２０、キー画像受付モジュール２５０と接続されており、文書の検索方法を指定する。ここで、指定できる検索方法は、例えば、（１）キーワードを用いた検索、（２）キー画像を用いた画像検索、（３）キーワード検索の後にキー画像検索、の３つである。 In the present embodiment shown in FIG. 2, a document is searched from a document database using document parts or the like.
In the present embodiment, as shown in FIG. 2, a search method designation module 210, a keyword reception module 220, a keyword search module 230, a related document part extraction module 240, a key image reception module 250, a key image search module 260, a search result It has a display module 270 and a document DB 280.
The search method specifying module 210 is connected to the keyword receiving module 220 and the key image receiving module 250, and specifies a document searching method. Here, there are three search methods that can be specified: (1) search using keywords, (2) image search using key images, and (3) key image search after keyword searches.

キーワード受付モジュール２２０は、検索方法指定モジュール２１０、キーワード検索モジュール２３０と接続されており、検索方法指定モジュール２１０によって指定された検索方法がキーワード（検索語）を用いた検索である場合に実行される。操作者によるキーボード等の操作によって入力されたテキストを検索用のキーワードとして受け付ける。受け付けたキーワードをキーワード検索モジュール２３０へ渡す。
キーワード検索モジュール２３０は、キーワード受付モジュール２２０、関連文書部品抽出モジュール２４０、検索結果表示モジュール２７０、文書ＤＢ２８０と接続されており、キーワード受付モジュール２２０によって受け付けたキーワードに基づいて、文書ＤＢ２８０に記憶されている文書を検索する。つまり、文書ＤＢ２８０内の各文書には索引語が付けられており、キーワードと一致する索引語を有している文書が検索結果となる。その検索結果を検索結果表示モジュール２７０、関連文書部品抽出モジュール２４０へ渡す。 The keyword receiving module 220 is connected to the search method specifying module 210 and the keyword search module 230, and is executed when the search method specified by the search method specifying module 210 is a search using a keyword (search word). . The text input by the operation of the keyboard or the like by the operator is accepted as a search keyword. The accepted keyword is passed to the keyword search module 230.
The keyword search module 230 is connected to the keyword reception module 220, the related document component extraction module 240, the search result display module 270, and the document DB 280, and is stored in the document DB 280 based on the keyword received by the keyword reception module 220. Search for documents. That is, an index word is attached to each document in the document DB 280, and a document having an index word that matches the keyword is a search result. The search result is passed to the search result display module 270 and the related document part extraction module 240.

関連文書部品抽出モジュール２４０は、キーワード検索モジュール２３０、キー画像受付モジュール２５０と接続されており、キーワード検索モジュール２３０によって検索した文書内のキーワードに関連する文書部品を抽出する。つまり、キーワード検索モジュール２３０によって検索した文書であって、その文書内にキーワードに関連する文書部品、例えば、そのキーワードの位置的に周辺にある文書部品（その文書部品の説明である可能性が高い）を抽出する。このとき、単にキーワードとの距離によって文書部品を抽出しても良いし、文書の段組みなどを解析することにより、文書のレイアウトを加味したキーワードと文書部品の距離により、関連する文書部品を抽出しても良い。または、そのキーワードが含まれている段落（文書部品）内に、文書部品のタイトルが含まれている場合は、その文書部品を抽出する。キーワードが含まれている段落内に複数の文書部品のタイトルが含まれている場合は、全ての文書部品を抽出しても良いし、同じ文書タイトルが複数回出現する場合は、出現回数順に優先順位をつけて文書部品を抽出しても良い。また、文書部品自体にキーワードが含まれている場合は、そのキーワードが含まれている文書部品を抽出するようにしてもよい。そして、キー画像受付モジュール２５０へ抽出した文書部品を渡す。 The related document part extraction module 240 is connected to the keyword search module 230 and the key image reception module 250, and extracts a document part related to the keyword in the document searched by the keyword search module 230. That is, it is a document searched by the keyword search module 230, and the document part related to the keyword in the document, for example, the document part that is positioned in the vicinity of the keyword (there is a high possibility that the description is the document part) ). At this time, the document part may be extracted simply by the distance to the keyword, or the related document part is extracted by the distance between the keyword and the document part in consideration of the document layout by analyzing the document column. You may do it. Alternatively, when the title of the document part is included in the paragraph (document part) containing the keyword, the document part is extracted. When the titles of multiple document parts are included in the paragraph that contains the keyword, all document parts may be extracted, and when the same document title appears multiple times, priority is given to the appearance order. Document parts may be extracted by ranking. Further, when a keyword is included in the document part itself, the document part including the keyword may be extracted. Then, the extracted document part is transferred to the key image reception module 250.

キー画像受付モジュール２５０は、検索方法指定モジュール２１０、関連文書部品抽出モジュール２４０、キー画像検索モジュール２６０と接続されており、検索方法指定モジュール２１０によって指定された検索方法が画像を用いた検索である場合に実行される。
検索に用いる画像が操作者によって予め指定されていない場合は、図１で示した実施の形態を呼び出して実行させるようにしてもよい。その場合、文書取得モジュール１１０は、検索用の文書部品（画像）を取得するための文書を取得する。文書部品抽出モジュール１２０は、文書取得モジュール１１０によって取得した文書を構成する文書部品を抽出する。文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う。そして、キー画像受付モジュール２５０は、文書部品表示モジュール１３０によって表示された文書部品を操作者の操作に応じて、検索の画像として受け付ける。
また、キー画像受付モジュール２５０は、関連文書部品抽出モジュール２４０によって検索した文書内のキーワードに関連する文書部品を受け付けることも行う。
そして、受け付けた文書部品（画像）をキー画像（検索用の画像）としてキー画像検索モジュール２６０へ渡す。 The key image reception module 250 is connected to the search method specification module 210, the related document component extraction module 240, and the key image search module 260, and the search method specified by the search method specification module 210 is a search using an image. If executed.
When the image used for the search is not designated in advance by the operator, the embodiment shown in FIG. 1 may be called and executed. In that case, the document acquisition module 110 acquires a document for acquiring a document part (image) for search. The document part extraction module 120 extracts document parts constituting the document acquired by the document acquisition module 110. The document part display module 130 deforms the document part extracted by the document part extraction module 120 according to the display screen, and displays the document part. Then, the key image receiving module 250 receives the document part displayed by the document part display module 130 as a search image according to the operation of the operator.
The key image receiving module 250 also receives a document part related to a keyword in the document searched by the related document part extracting module 240.
Then, the received document part (image) is transferred to the key image search module 260 as a key image (search image).

キー画像検索モジュール２６０は、キー画像受付モジュール２５０、検索結果表示モジュール２７０、文書ＤＢ２８０と接続されており、キー画像受付モジュール２５０によって受け付けたキー画像に基づいて、文書ＤＢ２８０内の文書を検索する。ここでの画像検索は、類似画像検索を用いる。具体的には、予め文書ＤＢ２８０内の文書の画像の文書部品に対して特徴抽出を行っておき、文書ＤＢ２８０内にその結果を文書部品に対応付けて記憶しており、キー画像に対しても同様の特徴抽出を行い、その特徴空間における類似度（空間内での距離）により検索対象の文書部品（画像）を求める。そして、その検索結果を検索結果表示モジュール２７０へ渡す。
検索結果表示モジュール２７０は、キーワード検索モジュール２３０、キー画像検索モジュール２６０と接続されており、キーワード検索モジュール２３０またはキー画像検索モジュール２６０によって検索した文書を表示する。また、検索結果をキー画像との類似度が高い順に表示するようにしてもよい。
文書ＤＢ２８０は、キーワード検索モジュール２３０、キー画像検索モジュール２６０と接続されており、検索対象となる文書およびその文書と対応して索引語または文書部品（画像）の特徴を記憶する。そして、キーワード検索モジュール２３０、キー画像検索モジュール２６０から検索され、その検索結果（文書）を渡す。 The key image search module 260 is connected to the key image reception module 250, the search result display module 270, and the document DB 280, and searches for a document in the document DB 280 based on the key image received by the key image reception module 250. The image search here uses a similar image search. Specifically, feature extraction is performed in advance on the document part of the image of the document in the document DB 280, and the result is stored in the document DB 280 in association with the document part. Similar feature extraction is performed, and a document part (image) to be searched is obtained based on the similarity (distance in the space) in the feature space. Then, the search result is passed to the search result display module 270.
The search result display module 270 is connected to the keyword search module 230 and the key image search module 260, and displays a document searched by the keyword search module 230 or the key image search module 260. The search results may be displayed in descending order of similarity to the key image.
The document DB 280 is connected to the keyword search module 230 and the key image search module 260, and stores the characteristics of index words or document parts (images) corresponding to the documents to be searched and the documents. The search is performed from the keyword search module 230 and the key image search module 260, and the search result (document) is passed.

次に作用・働き（動作）を説明する。
図３を用いて、図１に示した実施の形態による処理を説明する。つまり、文書から文書部品を抽出し、その文書部品を用いたその後の検索等のために表示する処理について説明する。
ステップＳ３０２では、文書取得モジュール１１０が文書を取得する。ここで、取得する文書は、例えば、図４に示すように、複数ページからなり、各ページは複数の文書部品から構成されている。図４に示すページ１では、属性が画像のオブジェクトが２つあり、属性が文字のオブジェクトが２つある。 Next, the function and operation (operation) will be described.
The processing according to the embodiment shown in FIG. 1 will be described with reference to FIG. That is, a process for extracting a document part from a document and displaying it for subsequent search using the document part will be described.
In step S302, the document acquisition module 110 acquires a document. Here, for example, as shown in FIG. 4, the document to be acquired is composed of a plurality of pages, and each page is composed of a plurality of document parts. In page 1 shown in FIG. 4, there are two objects whose attributes are images and two objects whose attributes are characters.

ステップＳ３０４では、文書部品抽出モジュール１２０が、ステップＳ３０２で取得した文書からオブジェクトを抽出する。図４に示す文書では、属性が画像のオブジェクトをＭ個、属性が文字のオブジェクトをＫ個抽出する。
ステップＳ３０６では、ステップＳ３０４で抽出したオブジェクトの表示方法を判断する。オブジェクトのサイズを変更しない場合はステップＳ３０８へ進み、オブジェクトを拡大する場合はステップＳ３１０へ進み、オブジェクトを縮小する場合はステップＳ３１２へ進む。この判断は、操作者にどのように表示するかを選択させてもよいし、あらかじめシステムとして定めておいてもよい。なお、ここでは表示するオブジェクトは属性が画像であるオブジェクトとする。 In step S304, the document component extraction module 120 extracts an object from the document acquired in step S302. In the document shown in FIG. 4, M objects whose attributes are images and K objects whose attributes are characters are extracted.
In step S306, the display method of the object extracted in step S304 is determined. If the size of the object is not changed, the process proceeds to step S308. If the object is enlarged, the process proceeds to step S310. If the object is reduced, the process proceeds to step S312. For this determination, the operator may select how to display, or may be determined in advance as a system. Here, the object to be displayed is an object whose attribute is an image.

ステップＳ３０８では、文書部品表示モジュール１３０が、表示画面に表示するオブジェクトを再配置する。図５を用いて説明する。図５（Ａ）は、図４に示した文書から画像のオブジェクトのみを取り出したものである。つまり、図４に示した文書とは異なり、１ページ目内には、画像のオブジェクトを３つ配置している。そして、図５（Ｂ）に、実際の画面表示例を示す。つまり、表示画面５１０内に図５（Ａ）で示したように再配置した画像のオブジェクトを表示し、その表示するページの移動は、改ページボタン５１１、改ページボタン５１２に対する操作者の操作によって行われる。 In step S308, the document component display module 130 rearranges the objects to be displayed on the display screen. This will be described with reference to FIG. FIG. 5A shows only the image object extracted from the document shown in FIG. That is, unlike the document shown in FIG. 4, three image objects are arranged in the first page. FIG. 5B shows an actual screen display example. That is, the rearranged image object is displayed in the display screen 510 as shown in FIG. 5A, and the displayed page is moved by the operator's operation on the page break button 511 and the page break button 512. Done.

ステップＳ３１０では、文書部品表示モジュール１３０が、表示画面に表示するオブジェクトを拡大する。図６を用いて説明する。図６（Ａ）は、図４に示した文書から画像のオブジェクトを１つずつ取り出したものである。つまり、図４に示した文書とは異なり、ページ毎に、画像のオブジェクトを１つ配置している。そして、図６（Ｂ）に、実際の画面表示例を示す。つまり、表示画面内に図６（Ａ）で示した画像のオブジェクトを、その表示画面の大きさに合わせて拡大して表示している。つまり、１枚の画像オブジェクトの全体が表示され、かつ最大のサイズとなるように拡大している。 In step S310, the document component display module 130 enlarges the object displayed on the display screen. This will be described with reference to FIG. FIG. 6A shows one image object extracted from the document shown in FIG. 4 one by one. That is, unlike the document shown in FIG. 4, one image object is arranged for each page. FIG. 6B shows an actual screen display example. That is, the object of the image shown in FIG. 6A is enlarged and displayed in the display screen in accordance with the size of the display screen. That is, the entire image object is displayed and enlarged so as to have the maximum size.

ステップＳ３１２では、文書部品表示モジュール１３０が、表示画面に表示するオブジェクトを縮小する。図７を用いて説明する。図７（Ａ）は、図４に示した文書から画像のオブジェクトを取り出したものである。つまり、図４に示した文書とは異なり、１ページ内に、画像のオブジェクト全てを配置している。そして、図７（Ｂ）に、実際の画面表示例を示す。つまり、表示画面内に図７（Ａ）で示した画像のオブジェクトを、その表示画面の大きさに合わせて縮小して表示している。つまり、全ての画像オブジェクトが表示されるサイズとなるように縮小している。ここでの縮小は、多くのオブジェクトが１つの表示画面に収まるように縮小しているが、この他に、オブジェクトを所定縮小率以下の縮小率で縮小し、または、そのサイズが所定サイズ以下になるように縮小するものであってもよい。また、１ページに収まらない場合（収めようとすると、所定の大きさよりもオブジェクトが小さくなってしまう場合）には、複数ページに収めるようにしてもよい。
ステップＳ３１４では、ステップＳ３０８、ステップＳ３１０、ステップＳ３１２の処理が終了したオブジェクトを表示する。これについては、図５（Ｂ）、図６（Ｂ）、図７（Ｂ）を用いて既に説明した。また、この後、図２で示した実施の形態で行う検索のためにオブジェクトの中からキー画像を、操作者に選択してもらってもよい。 In step S312, the document component display module 130 reduces the objects displayed on the display screen. This will be described with reference to FIG. FIG. 7A shows an image object extracted from the document shown in FIG. That is, unlike the document shown in FIG. 4, all the objects of the image are arranged on one page. FIG. 7B shows an actual screen display example. That is, the object of the image shown in FIG. 7A is reduced and displayed in the display screen in accordance with the size of the display screen. In other words, all the image objects are reduced so as to have a display size. In this reduction, many objects are reduced to fit on one display screen. In addition to this, the object is reduced at a reduction rate equal to or less than a predetermined reduction rate, or the size is reduced to a predetermined size or less. You may reduce so that it may become. In addition, when it does not fit on one page (if the object becomes smaller than a predetermined size if it is intended to fit), it may be placed on a plurality of pages.
In step S314, the objects for which the processing in step S308, step S310, and step S312 have been completed are displayed. This has already been described with reference to FIGS. 5B, 6B, and 7B. Thereafter, the operator may select a key image from the objects for the search performed in the embodiment shown in FIG.

図８から図１１を用いて、図２に示した実施の形態による処理を説明する。つまり、文書部品、検索語を用いて、文書データベースから文書を検索する
図８は、図２に示した実施の形態による全体の処理例を示したフローチャートである。
ステップＳ８０２では、検索方法指定モジュール２１０が、操作者の操作に応じて、文書の検索方法を指定する。ここで、指定できる文書の検索方法は、キーワードを用いた検索と画像を用いた検索である。キーワードを用いた検索が指定された場合はステップＳ８０４へ進み、画像を用いた検索が指定された場合はステップＳ８１０へ進む。 The processing according to the embodiment shown in FIG. 2 will be described with reference to FIGS. That is, a document is searched from a document database using document parts and search terms. FIG. 8 is a flowchart showing an example of the entire process according to the embodiment shown in FIG.
In step S802, the search method designating module 210 designates a document search method according to the operation of the operator. Here, the search method of the document which can be specified is the search using a keyword and the search using an image. If a search using a keyword is specified, the process proceeds to step S804. If a search using an image is specified, the process proceeds to step S810.

ステップＳ８０４では、キーワード受付モジュール２２０によってキーワードが受け付けられ、キーワード検索モジュール２３０がそのキーワードを用いて文書ＤＢ２８０を検索する。
ステップＳ８０６では、キーワード検索モジュール２３０は、ステップＳ８０４による検索結果を表示し、操作者に対して、絞込み検索が必要であるか否かを尋ねる。操作者からの返答によって、絞込み検索が必要である場合はステップＳ８０２に戻り、必要でない場合は検索を終了する（ステップＳ８０８）。 In step S804, a keyword is received by the keyword receiving module 220, and the keyword search module 230 searches the document DB 280 using the keyword.
In step S806, the keyword search module 230 displays the search result obtained in step S804 and asks the operator whether or not a narrow search is necessary. If a narrow search is necessary according to a response from the operator, the process returns to step S802, and if not necessary, the search is terminated (step S808).

ステップＳ８１０では、キー画像受付モジュール２５０が、キー画像があるか否かを操作者に尋ねる。操作者からの応答によって、キー画像がある場合はステップＳ８１４へ進み、キー画像がない場合はステップＳ８１２へ進む。
ステップＳ８１２では、キー画像を操作者に選択してもらい、そのキー画像を得る。なお、ステップＳ８１２は図１で示した実施の形態による処理であり、図３のフローチャートを用いて既に説明した。
ステップＳ８１４では、キー画像検索モジュール２６０がキー画像を用いて文書ＤＢ２８０内の該当する文書を検索する。
ステップＳ８１６では、キー画像検索モジュール２６０は、ステップＳ８１４による検索結果を表示し、操作者に対して、絞込み検索が必要であるか否かを尋ねる。操作者からの返答によって、絞込み検索が必要である場合はステップＳ８０２に戻り、必要でない場合は検索を終了する（ステップＳ８１８）。 In step S810, the key image reception module 250 asks the operator whether there is a key image. If there is a key image according to the response from the operator, the process proceeds to step S814, and if there is no key image, the process proceeds to step S812.
In step S812, the key image is obtained by the operator selecting the key image. Step S812 is processing according to the embodiment shown in FIG. 1, and has already been described with reference to the flowchart of FIG.
In step S814, the key image search module 260 searches for the corresponding document in the document DB 280 using the key image.
In step S816, the key image search module 260 displays the search result obtained in step S814 and asks the operator whether or not a narrow search is necessary. If a narrow search is necessary according to a response from the operator, the process returns to step S802, and if not necessary, the search is terminated (step S818).

図９は、図２に示した実施の形態によるキー画像を用いた検索処理例を示したフローチャートである。なお、図８で示したステップＳ８１０からステップＳ８１６をより具体的に説明したものである。
ステップＳ９０２では、ステップＳ８１０と同様であり、キー画像受付モジュール２５０が、キー画像があるか否かを操作者に尋ねる。操作者からの応答によって、キー画像がある場合はステップＳ９０６へ進み、キー画像がない場合はステップＳ９０４へ進む。 FIG. 9 is a flowchart showing an example of search processing using the key image according to the embodiment shown in FIG. Note that steps S810 to S816 shown in FIG. 8 are described more specifically.
In step S902, similar to step S810, the key image reception module 250 asks the operator whether there is a key image. If there is a key image according to the response from the operator, the process proceeds to step S906, and if there is no key image, the process proceeds to step S904.

ステップＳ９０４では、ステップＳ８１２と同様であり、キー画像を操作者に選択してもらい、そのキー画像を得る。なお、ステップＳ９０４は図１で示した実施の形態による処理であり、図３のフローチャートを用いて既に説明した。
ステップＳ９０６では、キー画像検索モジュール２６０がキー画像に類似した画像（文書部品）を含む文書を検索する。
ステップＳ９０８では、検索結果表示モジュール２７０がステップＳ９０６で検索した結果を表示する。
ステップＳ９１０では、検索結果表示モジュール２７０が、操作者による操作によって、ステップＳ９０８で表示した文書の中から最終的な文書を決定する。 In step S904, similar to step S812, the operator selects the key image and obtains the key image. Step S904 is processing according to the embodiment shown in FIG. 1, and has already been described with reference to the flowchart of FIG.
In step S906, the key image search module 260 searches for a document including an image (document part) similar to the key image.
In step S908, the search result display module 270 displays the result searched in step S906.
In step S910, the search result display module 270 determines a final document from the documents displayed in step S908 by an operation by the operator.

図１０は、図１に示した実施の形態によるキー画像を抽出した後に、図２に示した実施の形態によるキー画像を用いた検索処理例を示したフローチャートである。
ステップＳ１００２では、文書取得モジュール１１０が文書を取得し、その後に、操作者によって文書を選択するようにする。
ステップＳ１００４では、文書部品抽出モジュール１２０がステップＳ１００２で選択された文書からオブジェクトを抽出し、文書部品表示モジュール１３０がそのオブジェクトのうち属性が画像であるオブジェクトを表示する。 FIG. 10 is a flowchart showing an example of search processing using the key image according to the embodiment shown in FIG. 2 after extracting the key image according to the embodiment shown in FIG.
In step S1002, the document acquisition module 110 acquires a document, and then selects the document by the operator.
In step S1004, the document part extraction module 120 extracts an object from the document selected in step S1002, and the document part display module 130 displays an object whose attribute is an image.

ステップＳ１００６では、ステップＳ１００４で表示されたオブジェクトのうち、操作者による操作によってキー画像が選択された（つまり、操作者がキー画像を発見した）か否かを判断する。キー画像が選択された場合はステップＳ１００８へ進み、そうでない場合はステップＳ１００２へ戻り、キー画像が選択されるまで繰り返される。
ステップＳ１００８では、キー画像が含まれている文書がそもそも操作者が検索しようとしている文書であるか否かを、操作者の操作に応じて判断する。そうである場合は検索を終了し（ステップＳ１０１２）、そうでない場合はステップＳ１０１０へ進む。
ステップＳ１０１０では、キー画像を用いた検索を行う。つまり、図８で示したステップＳ８１４、ステップＳ８１６の処理または図９で示したステップＳ９０６、ステップＳ９０８、ステップＳ９１０の処理と同様である。 In step S1006, it is determined whether or not a key image has been selected by the operation of the operator among the objects displayed in step S1004 (that is, the operator has found the key image). If a key image has been selected, the process proceeds to step S1008. If not, the process returns to step S1002, and is repeated until a key image is selected.
In step S1008, it is determined according to the operation of the operator whether or not the document including the key image is a document that the operator is trying to retrieve. If so, the search is terminated (step S1012), otherwise, the process proceeds to step S1010.
In step S1010, a search using a key image is performed. That is, it is the same as the processing of step S814 and step S816 shown in FIG. 8 or the processing of step S906, step S908, and step S910 shown in FIG.

図１１は、図２に示した実施の形態によるキーワードを用いた検索処理の後に、キー画像を用いた検索処理例を示したフローチャートである。検索方法指定モジュール２１０でキーワード検索の後にキー画像検索を行うことが指定された場合の処理である。
ステップＳ１１０２では、キーワード検索モジュール２３０がキーワードを用いて文書ＤＢ２８０内の文書を検索する。
ステップＳ１１０４では、検索結果表示モジュール２７０が、ステップＳ１１０２による検索結果を操作者に表示し、その検索結果から文書を選択してもらう。
ステップＳ１１０６では、ステップＳ１１０４で選択した文書のキーワード付近にある属性が画像であるオブジェクトを含めて表示する。
ステップＳ１１０８では、ステップＳ１１０６で表示した文書が操作者にとって検索の目的とした文書であるか否かを問い合わせる。その結果、目的とした文書であるならば検索を終了（ステップＳ１１１０）し、そうでなければステップＳ１１１２へ進む。 FIG. 11 is a flowchart showing an example of a search process using a key image after the search process using a keyword according to the embodiment shown in FIG. This is processing when the search method specifying module 210 specifies that key image search is performed after keyword search.
In step S1102, the keyword search module 230 searches for a document in the document DB 280 using the keyword.
In step S1104, the search result display module 270 displays the search result in step S1102 to the operator, and asks the user to select a document from the search result.
In step S1106, an object including an image whose attribute is in the vicinity of the keyword of the document selected in step S1104 is displayed.
In step S1108, an inquiry is made as to whether or not the document displayed in step S1106 is a search target document for the operator. As a result, if the document is the target document, the search is terminated (step S1110), and if not, the process proceeds to step S1112.

ステップＳ１１１２では、ステップＳ１１０６で表示した画像の中にキー画像があるか否かを操作者に指定してもらう。その結果、キー画像があるのであればステップＳ１１１４へ進み、そうでなければステップＳ１１０４へ戻り、キー画像が指定されるまで、または目的としている文書が見つかるまで繰り返す。
ステップＳ１１１４では、キー画像検索モジュール２６０が、ステップＳ１１１２で指定されたキー画像を用いて文書ＤＢ２８０内の文書を検索する。
ステップＳ１１１６では、ステップＳ１１１４による検索結果を表示し、目的とした文書があるか否かを操作者に指定してもらう。その結果、目的とした文書が見つかったのであれば検索を終了（ステップＳ１１１８）し、見つからなかったならばステップＳ１１２０へ進む。
ステップＳ１１２０では、検索キー（検索方法）が文字であるか画像であるかを操作者に指定してもらう。文字である場合（キーワードによる検索が指定された場合）はステップＳ１１０２へ戻り、画像である場合（キー画像を用いた画像検索が指定された場合）はステップＳ１１０４へ戻り、目的としている文書が見つかるまで繰り返す。 In step S1112, the operator designates whether or not the image displayed in step S1106 includes a key image. As a result, if there is a key image, the process proceeds to step S1114. If not, the process returns to step S1104, and the process is repeated until the key image is designated or the target document is found.
In step S1114, the key image search module 260 searches for a document in the document DB 280 using the key image specified in step S1112.
In step S1116, the search result obtained in step S1114 is displayed, and the operator specifies whether there is a target document. As a result, if the target document is found, the search is terminated (step S1118), and if not found, the process proceeds to step S1120.
In step S1120, the operator specifies whether the search key (search method) is a character or an image. If it is a character (when search by keyword is specified), the process returns to step S1102, and if it is an image (when image search using a key image is specified), the process returns to step S1104 to find the target document. Repeat until.

図１２を参照して、本実施の形態の画像処理システムのハードウェア構成例について説明する。図１２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部１２１７と、プリンタなどのデータ出力部１２１８を備えたハード構成例を示している。 A hardware configuration example of the image processing system according to the present embodiment will be described with reference to FIG. The configuration illustrated in FIG. 12 is an image processing system configured by, for example, a personal computer (PC), and illustrates a hardware configuration example including a data reading unit 1217 such as a scanner and a data output unit 1218 such as a printer. .

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２０１は、上述の実施の形態において説明した各種のモジュール、すなわち、文書部品抽出モジュール１２０、文書部品表示モジュール１３０、キーワード検索モジュール２３０、キー画像検索モジュール２６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。 A CPU (Central Processing Unit) 1201 includes various modules described in the above-described embodiments, that is, each module such as the document part extraction module 120, the document part display module 130, the keyword search module 230, and the key image search module 260. It is a control part which performs the process according to the computer program which described the execution sequence.

ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２０２は、ＣＰＵ１２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２０３は、ＣＰＵ１２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１２０４により相互に接続されている。 A ROM (Read Only Memory) 1202 stores programs used by the CPU 1201, calculation parameters, and the like. A RAM (Random Access Memory) 1203 stores programs used in the execution of the CPU 1201, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 1204 including a CPU bus.

ホストバス１２０４は、ブリッジ１２０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１２０６に接続されている。 The host bus 1204 is connected to an external bus 1206 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 1205.

キーボード１２０８、マウス等のポインティングデバイス１２０９は、操作者により操作される入力デバイスである。ディスプレイ１２１０は、液晶表示装置またはＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。 A keyboard 1208 and a pointing device 1209 such as a mouse are input devices operated by an operator. The display 1210 includes a liquid crystal display device or a CRT (Cathode Ray Tube), and displays various information as text and image information.

ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１２０１によって実行するプログラムや情報を記録または再生させる。ハードディスクには、文書取得モジュール１１０が取得した文書、文書ＤＢ２８０に格納される文書などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。 An HDD (Hard Disk Drive) 1211 includes a hard disk, drives the hard disk, and records or reproduces a program executed by the CPU 1201 and information. The hard disk stores documents acquired by the document acquisition module 110, documents stored in the document DB 280, and the like. Further, various computer programs such as various other data processing programs are stored.

ドライブ１２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体１２１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース１２０７、外部バス１２０６、ブリッジ１２０５、およびホストバス１２０４を介して接続されているＲＡＭ１２０３に供給する。リムーバブル記録媒体１２１３も、ハードディスクと同様のデータ記録領域として利用可能である。 The drive 1212 reads data or a program recorded on a mounted removable recording medium 1213 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and the data or program is read from the interface 1207 and the external bus 1206. , The bridge 1205, and the RAM 1203 connected via the host bus 1204. The removable recording medium 1213 can also be used as a data recording area similar to a hard disk.

接続ポート１２１４は、外部接続機器１２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１２１４は、インタフェース１２０７、および外部バス１２０６、ブリッジ１２０５、ホストバス１２０４等を介してＣＰＵ１２０１等に接続されている。通信部１２１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。 The connection port 1214 is a port for connecting the external connection device 1215 and has a connection unit such as USB, IEEE1394. The connection port 1214 is connected to the CPU 1201 and the like via the interface 1207, the external bus 1206, the bridge 1205, the host bus 1204, and the like. The communication unit 1216 is connected to a network and executes data communication processing with the outside. The data reading unit 1217 is a scanner, for example, and executes document reading processing. The data output unit 1218 is a printer, for example, and executes document data output processing.

なお、図１２に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。 Note that the hardware configuration of the image processing system shown in FIG. 12 shows one configuration example, and the image processing system of the present embodiment is not limited to the configuration shown in FIG. 12, but will be described in the present embodiment. Any configuration can be used as long as the module can be executed. For example, some modules may be configured by dedicated hardware (for example, ASIC), and some modules may be in an external system and connected via a communication line. A plurality of systems shown in FIG. 5 may be connected to each other via communication lines so as to cooperate with each other. Further, it may be incorporated in a copying machine, a fax machine, a scanner, a printer, a multifunction machine (also called a multi-function copying machine, which has functions of a scanner, a printer, a copying machine, a fax machine, etc.).

なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。 The described program can be stored in a recording medium, and the program can be provided by communication means. In that case, for example, the above-described program can also be regarded as an invention of a “computer-readable recording medium recording the program”.
The “computer-readable recording medium on which a program is recorded” refers to a computer-readable recording medium on which a program is recorded, which is used for program installation, execution, program distribution, and the like.
The recording medium is, for example, a digital versatile disc (DVD), which is a standard established by the DVD Forum, such as “DVD-R, DVD-RW, DVD-RAM,” and DVD + RW. Standards such as “DVD + R, DVD + RW, etc.”, compact discs (CDs), read-only memory (CD-ROM), CD recordable (CD-R), CD rewritable (CD-RW), etc. MO), flexible disk (FD), magnetic tape, hard disk, read only memory (ROM), electrically erasable and rewritable read only memory (EEPROM), flash memory, random access memory (RAM), etc. It is.
The program or a part of the program can be recorded on the recording medium and stored or distributed. Also, by communication, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), a wired network used for the Internet, an intranet, an extranet, etc., or wireless communication It can be transmitted using a transmission medium such as a network or a combination of these, and can also be carried on a carrier wave.
Furthermore, the above program may be a part of another program, or may be recorded on a recording medium together with a separate program.

本実施の形態の概念的なモジュール構成図である。It is a conceptual module block diagram of this Embodiment. 本実施の形態の概念的なモジュール構成図である。It is a conceptual module block diagram of this Embodiment. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. 取得する文書の例を示す説明図である。It is explanatory drawing which shows the example of the document to acquire. 画像オブジェクトの再配置の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of rearrangement of an image object. 画像オブジェクトの拡大表示例を示す説明図である。It is explanatory drawing which shows the example of an enlarged display of an image object. 画像オブジェクトの縮小表示例を示す説明図である。It is explanatory drawing which shows the example of a reduced display of an image object. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. 本実施の形態による処理例を示すフローチャートである。It is a flowchart which shows the process example by this Embodiment. 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the computer which implement | achieves this Embodiment.

Explanation of symbols

１１０…文書取得モジュール
１２０…文書部品抽出モジュール
１３０…文書部品表示モジュール
１３２…再配置モジュール
１３４…表示順序変更モジュール
１３６…共通部品非表示モジュール
２１０…検索方法指定モジュール
２２０…キーワード受付モジュール
２３０…キーワード検索モジュール
２４０…関連文書部品抽出モジュール
２５０…キー画像受付モジュール
２６０…キー画像検索モジュール
２７０…検索結果表示モジュール
２８０…文書ＤＢ DESCRIPTION OF SYMBOLS 110 ... Document acquisition module 120 ... Document part extraction module 130 ... Document part display module 132 ... Rearrangement module 134 ... Display order change module 136 ... Common part non-display module 210 ... Search method designation module 220 ... Keyword reception module 230 ... Keyword search Module 240 ... Related document parts extraction module 250 ... Key image reception module 260 ... Key image search module 270 ... Search result display module 280 ... Document DB

Claims

A document acquisition means for acquiring a document;
Document part extraction means for extracting document parts constituting the document acquired by the document acquisition means;
An information processing system comprising: document part display means for displaying a document part by deforming the document part extracted by the document part extraction means according to a display screen.

A document acquisition means for acquiring a document;
Document part extraction means for extracting document parts constituting the document acquired by the document acquisition means;
An information processing system comprising: document part display means for selecting and displaying a document part to be displayed according to the degree of similarity between the document parts extracted by the document part extraction means.

The document part display means displays the document part located on the display surface side among the duplicate document parts when the display is duplicated between the document parts extracted by the document part extraction means. The information processing system according to claim 1 or 2.

A search word receiving means for receiving a search word for searching for a document;
First document search means for searching for a document based on the search word received by the search word receiving means;
Related document part extraction means for extracting a document part related to a search term in the document searched by the first document search means;
An information processing system comprising: second document search means for searching for a document based on the document parts extracted by the related document part extraction means.

Document storage means for storing a document to be searched;
A search method specifying means for specifying a document search method;
If the search method specified by the search method specifying means is a search using an image, a document part extracting means for extracting a document part constituting the document from the document stored by the document storage means;
A document part display means for displaying the document part by transforming the document part extracted by the document part extraction means according to a display screen;
A search image receiving means for receiving a document part displayed by the document part display means as a search image according to an operation of an operator;
An image search means for searching the document storage means for a search image received by the search image receiving means;
An information processing system comprising document display means for displaying a document searched by the image search means.

On the computer,
A document acquisition function for acquiring a document;
A document part extraction function for extracting a document part constituting a document acquired by the document acquisition function;
An information processing program that realizes a document part display function for deforming a document part extracted by the document part extraction function according to a display screen and displaying the document part.

On the computer,
A document acquisition function for acquiring a document;
A document part extraction function for extracting a document part constituting a document acquired by the document acquisition function;
An information processing program for realizing a document part display function for selecting and displaying a document part to be displayed according to the degree of similarity between the document parts extracted by the document part extraction function.

On the computer,
A search word reception function for receiving a search word when searching a document,
A first document search function for searching for a document based on a search word received by the search word reception function;
A related document part extraction function for extracting a document part related to a search term in the document searched by the first document search function;
An information processing program for realizing a second document search function for searching for a document based on the document part extracted by the related document part extraction function.