JP2008033665A - Image processor, image processing method, and program - Google Patents

Image processor, image processing method, and program Download PDF

Info

Publication number
JP2008033665A
JP2008033665A JP2006206777A JP2006206777A JP2008033665A JP 2008033665 A JP2008033665 A JP 2008033665A JP 2006206777 A JP2006206777 A JP 2006206777A JP 2006206777 A JP2006206777 A JP 2006206777A JP 2008033665 A JP2008033665 A JP 2008033665A
Authority
JP
Japan
Prior art keywords
image
image data
target
search key
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006206777A
Other languages
Japanese (ja)
Other versions
JP4826378B2 (en
Inventor
Hiroyuki Kono
裕之 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006206777A priority Critical patent/JP4826378B2/en
Publication of JP2008033665A publication Critical patent/JP2008033665A/en
Application granted granted Critical
Publication of JP4826378B2 publication Critical patent/JP4826378B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor for storing information on image data to be an object of retrieval processing and capable of improving efficiency of retrieval processing in performing the retrieval processing for the image data. <P>SOLUTION: The image processor stores image structure information in which position information showing positions in object image data and property information showing the properties of the images included in comparison object blocks are associated each other for each of the plurality comparison object blocks acquired by dividing the object image data to be the object of retrieval processing in accordance with a predetermined division reference, and determines whether or not retrieval key image data to be a retrieval key and the object image data are similar to each other on the basis of the stored image structure information. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、検索処理の対象となる画像データに関する情報を保持する画像処理装置、画像処理方法及びプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program that hold information related to image data to be searched.

例えばプリンタや、複写機、スキャナ、ファックス送受信装置などの、画像データの入出力を行う画像処理装置は、一般に画像データの入出力処理に対するログ情報を生成し、記録している。しかし、単に入出力処理の履歴をログ情報として記録するだけでは、後にログ情報の内容をユーザが確認しても、実際にどのような画像データが入出力されたのか、調査することができない。すなわち、例えば調査対象としたい画像が形成された紙などの記録媒体が手元にあったとしても、ユーザは入出力処理の履歴だけからでは、当該調査対象としたい画像がいつ、誰によって画像形成装置により記録媒体上に形成されたか、調査することができない。   For example, image processing apparatuses that input and output image data, such as printers, copiers, scanners, and fax transmission / reception apparatuses, generally generate and record log information for input / output processing of image data. However, simply recording the history of input / output processing as log information makes it impossible to investigate what image data was actually input / output even if the user later confirmed the contents of the log information. That is, for example, even if a recording medium such as paper on which an image to be investigated is formed is at hand, the user only needs to know when and who the image to be investigated is based on the input / output processing history. Therefore, it is impossible to investigate whether the recording medium is formed on the recording medium.

このような問題に対して、画像の印刷に際して、ログ情報に出力画像データ自体を含めることで、後にログ情報を調査して出力画像データを確認することのできる技術がある(例えば特許文献1参照)。
特開2003−330677号公報
In order to solve such a problem, there is a technique in which, when printing an image, the output image data itself is included in the log information, so that the log information can be checked later to check the output image data (see, for example, Patent Document 1) ).
JP 2003-330677 A

しかしながら、上記従来例の技術においては、ログ情報を用いて画像データの検索を行う際の便宜について十分に配慮されていない。そのため、検索のキーとなる検索キー画像データ(例えば流出画像など)に類似する画像データを検索対象となる対象画像データの中から検索しようとする場合、検索キー画像データと全ての対象画像データとの比較を一つ一つ実行する必要があり、効率が悪い。   However, in the technology of the above-described conventional example, sufficient consideration is not given to convenience when searching for image data using log information. Therefore, when trying to search image data similar to search key image data (for example, outflow image) as a search key from the target image data to be searched, the search key image data and all the target image data It is necessary to execute the comparisons one by one, which is inefficient.

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、検索処理の対象となる画像データに関する情報を保持して、当該画像データに対する検索処理を行う場合に、検索処理の効率を向上できる画像処理装置、画像処理方法及びプログラムを提供することにある。   The present invention has been made in view of the above circumstances, and one of its purposes is to hold search information for image data that is subject to search processing and perform search processing on the image data. Is to provide an image processing apparatus, an image processing method, and a program.

上記課題を解決するための本発明に係る画像処理装置は、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段と、前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段と、を含むことを特徴とする。   An image processing apparatus according to the present invention for solving the above-described problem is provided with the target image data for each of a plurality of comparison target blocks obtained by dividing target image data to be searched according to a predetermined division criterion. Based on the held image structure information, image structure information holding means for holding image structure information associating position information representing the position in the image and property information representing the property of the image included in the comparison target block And an image similarity determination unit for determining whether or not the search key image data serving as a search key is similar to the target image data.

また、上記画像処理装置において、前記画像類否判定手段は、前記保持している画像構造情報に基づいて、前記検索キー画像データと、前記対象画像データと、のそれぞれを構成する比較対象ブロックの位置及び当該比較対象ブロックに含まれる画像の性状が類似するか否かを判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。   Further, in the image processing apparatus, the image similarity determination unit is configured to determine a comparison target block that constitutes each of the search key image data and the target image data based on the stored image structure information. It is determined whether or not the position and the property of the image included in the comparison target block are similar, and it is determined whether or not the search key image data and the target image data are similar based on the determination result. Also good.

また、上記画像処理装置において、前記画像類否判定手段は、前記検索キー画像データと、前記比較対象ブロックと、が類似するか否かを判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。   In the image processing apparatus, the image similarity determination unit determines whether the search key image data is similar to the comparison target block, and the search key image data is based on the determination result. And whether the target image data is similar to each other.

また、上記画像処理装置において、前記検索キー画像データは、記録媒体上に形成された画像を画像読み取り装置が読み取って得られる画像データであって、前記画像読み取り装置が前記検索キー画像データを取得する際の読み取り設定情報を取得する手段をさらに含み、前記画像類否判定手段は、前記読み取り設定情報を用いて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。さらに、前記読み取り設定情報は、読み取り時の解像度と、読み取り倍率と、の少なくとも一方を含むこととしてもよい。   In the image processing apparatus, the search key image data is image data obtained by an image reading device reading an image formed on a recording medium, and the image reading device acquires the search key image data. Means for acquiring read setting information when the image data is used, and the image type determination unit determines whether the search key image data and the target image data are similar using the read setting information. It is good. Further, the reading setting information may include at least one of a resolution at the time of reading and a reading magnification.

また、上記画像処理装置において、前記画像類否判定手段は、前記検索キー画像データと、前記対象画像データと、の少なくとも一方に対して、平行移動、回転、拡大、又は縮小の少なくともいずれか一つの変換を実行した画像データを用いて、前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。   In the image processing apparatus, the image similarity determination unit may perform at least one of translation, rotation, enlargement, and reduction with respect to at least one of the search key image data and the target image data. It is also possible to determine whether or not the search key image data and the target image data are similar using image data that has been subjected to two conversions.

また、本発明に係る画像処理方法は、コンピュータを用いて、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持するステップと、前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定するステップと、を実行することを特徴とする。   In addition, the image processing method according to the present invention uses a computer to calculate the target image data for each of a plurality of comparison target blocks obtained by dividing target image data to be searched according to a predetermined division criterion. A step of holding image structure information associating position information representing a position in the image and property information representing the properties of the image included in the comparison target block, and a search key based on the held image structure information And the step of determining whether or not the search key image data and the target image data are similar to each other.

また、本発明に係るプログラムは、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段、及び前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段、としてコンピュータを機能させることを特徴とする。   Further, the program according to the present invention provides position information representing a position in the target image data for each of a plurality of comparison target blocks obtained by dividing the target image data to be searched according to a predetermined division criterion. And image structure information holding means for holding image structure information that associates property information representing the properties of the image included in the comparison target block, and a search that is a search key based on the held image structure information The computer is caused to function as image similarity determination means for determining whether or not the key image data and the target image data are similar to each other.

以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置1は、図1に示すように、制御部11、記憶部12、操作部13、表示部14及び通信部15を含んで構成されている。また、ここでは画像処理装置1は、通信ネットワーク2を介して画像読み取り装置3及び画像形成装置4に接続されていることとする。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. As shown in FIG. 1, the image processing apparatus 1 according to an embodiment of the present invention includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, and a communication unit 15. Here, it is assumed that the image processing apparatus 1 is connected to the image reading apparatus 3 and the image forming apparatus 4 via the communication network 2.

なお、画像処理装置1は必ずしも画像読み取り装置3及び画像形成装置4と通信ネットワーク2を介して接続されるのでなくともよく、例えば専用のケーブル等、他の方法で接続されてもよい。あるいは、画像処理装置1は、他の画像入出力処理を行う画像処理装置と通信ネットワーク2を介して接続されることとしてもよい。さらに、画像処理装置1は、画像読み取り装置3又は画像形成装置4と一体に構成されていてもよい。この場合においては、画像読み取り装置又は画像形成装置それ自体が、読み取った画像データ又は媒体上に形成する画像データに基づいて検索用データを生成し、保持する。   Note that the image processing apparatus 1 is not necessarily connected to the image reading apparatus 3 and the image forming apparatus 4 via the communication network 2, and may be connected by other methods such as a dedicated cable. Alternatively, the image processing apparatus 1 may be connected to another image processing apparatus that performs image input / output processing via the communication network 2. Further, the image processing apparatus 1 may be configured integrally with the image reading apparatus 3 or the image forming apparatus 4. In this case, the image reading apparatus or the image forming apparatus itself generates and holds search data based on the read image data or image data formed on the medium.

制御部11は、CPU等であって、記憶部12に格納されたプログラムに従って動作する。本実施形態においては、検索処理の対象となる対象画像データに関する情報を含むデータを取得して、当該対象画像データから生成した検索用データを記憶部12に保持させる。また、保持された情報を用いて対象画像データに対する検索処理を行う。本実施の形態において制御部11が実行する処理の例については、後述する。   The control unit 11 is a CPU or the like, and operates according to a program stored in the storage unit 12. In the present embodiment, data including information related to target image data to be searched is acquired, and search data generated from the target image data is stored in the storage unit 12. In addition, search processing for the target image data is performed using the stored information. An example of processing executed by the control unit 11 in the present embodiment will be described later.

記憶部12は、制御部11によって実行されるプログラムを保持するコンピュータで読み取り可能な情報記憶媒体であって、RAMやROM等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部12は、制御部11のワークメモリとしても動作する。さらに本実施の形態においては、記憶部12は、検索対象となる対象画像データに基づいて生成された検索用データを保持する。記憶部12が保持する検索用データの詳細については、後述する。   The storage unit 12 is a computer-readable information storage medium that holds a program executed by the control unit 11, and includes at least one of a memory element such as a RAM and a ROM, a disk device, and the like. . The storage unit 12 also operates as a work memory for the control unit 11. Further, in the present embodiment, the storage unit 12 holds search data generated based on target image data to be searched. Details of the search data stored in the storage unit 12 will be described later.

操作部13は、例えばキーボードやマウス等であり、ユーザの指示操作を受け付けて、当該指示操作の内容を制御部11に出力する。表示部14は、例えばディスプレイ等であり、制御部11からの指示に従って、情報の表示を行う。   The operation unit 13 is, for example, a keyboard or a mouse, and receives a user instruction operation and outputs the content of the instruction operation to the control unit 11. The display unit 14 is a display, for example, and displays information according to an instruction from the control unit 11.

通信部15は、ネットワークインタフェースであって、制御部11からの指示に従って、通信ネットワーク2を介して情報を送信する。また、通信部15は、通信ネットワーク2を介して到来する情報を受信して制御部11に出力する。   The communication unit 15 is a network interface, and transmits information via the communication network 2 in accordance with an instruction from the control unit 11. In addition, the communication unit 15 receives information that arrives via the communication network 2 and outputs the information to the control unit 11.

また、画像読み取り装置3は、紙などの記録媒体上に形成されている画像を、光学的に読み取ってスキャン画像データを生成する。画像形成装置4は、例えば通信ネットワーク2を介して到来する画像形成命令に基づいて、当該画像形成命令に含まれる画像データにより表される画像を紙などの記録媒体上に形成する。   The image reading device 3 optically reads an image formed on a recording medium such as paper and generates scan image data. The image forming apparatus 4 forms an image represented by the image data included in the image forming command on a recording medium such as paper based on an image forming command that arrives via the communication network 2, for example.

次に、本実施形態において画像処理装置1が実現する機能について説明する。画像処理装置1は、機能的には、図2に示すように、対象画像情報取得部21と、画像分割部22と、画像構造情報生成部23と、ブロック画像暗号化部24と、検索用データ格納部25と、ブロック画像検査部26と、検索キー画像取得部27と、画像構造比較部28と、画像類否判定部29と、を含んで構成されている。これらの機能は、例えば制御部11が記憶部12に格納されているプログラムを実行することによって実現できる。   Next, functions realized by the image processing apparatus 1 in the present embodiment will be described. As shown in FIG. 2, the image processing apparatus 1 functionally includes a target image information acquisition unit 21, an image division unit 22, an image structure information generation unit 23, a block image encryption unit 24, and a search The data storage unit 25, the block image inspection unit 26, the search key image acquisition unit 27, the image structure comparison unit 28, and the image similarity determination unit 29 are configured. These functions can be realized, for example, when the control unit 11 executes a program stored in the storage unit 12.

まず、対象画像情報取得部21、画像分割部22、画像構造情報生成部23、ブロック画像暗号化部24及び検索用データ格納部25が実現する機能について説明する。これらの機能により、画像処理装置1は、対象画像データに基づいて検索用データを生成して記憶部12に保持させる対象画像情報格納処理を実行する。   First, functions realized by the target image information acquisition unit 21, the image division unit 22, the image structure information generation unit 23, the block image encryption unit 24, and the search data storage unit 25 will be described. With these functions, the image processing apparatus 1 executes target image information storage processing in which search data is generated based on the target image data and stored in the storage unit 12.

対象画像情報取得部21は、検索処理の対象となる対象画像データに関する情報を取得する。例えば対象画像情報取得部21は、対象画像を表すラスタ形式などの画像データそのものを取得する。あるいは、対象画像データが画像形成装置4による画像形成の対象となる画像データである場合、当該対象画像データに関する情報を含む画像形成装置4に対する画像形成命令を取得することとしてもよい。ここで画像形成命令は、例えばPDL(Page Description Language)などによって記述された、対象画像データを構成する各種のオブジェクトに対する描画命令を含んだデータである。   The target image information acquisition unit 21 acquires information related to target image data that is a target of search processing. For example, the target image information acquisition unit 21 acquires image data itself such as a raster format representing the target image. Alternatively, when the target image data is image data that is a target of image formation by the image forming apparatus 4, an image formation command for the image forming apparatus 4 including information on the target image data may be acquired. Here, the image formation command is data including drawing commands for various objects constituting the target image data described in, for example, PDL (Page Description Language).

具体例の一つとして、対象画像データが画像読み取り装置3によって得られるスキャン画像データである場合の例について説明する。この場合、まず画像読み取り装置3が、紙などの記録媒体に形成された画像を読み取る画像読み取り処理を実行して、ラスタ形式のスキャン画像データを取得する。続いて画像読み取り装置3は、取得したスキャン画像データを、当該画像読み取り処理のログ情報とともに通信ネットワーク2を介して画像処理装置1に対して送信する。対象画像情報取得部21は、画像読み取り装置3より送信されたデータを受け取ることにより、スキャン画像データを対象画像データとして取得する。   As one specific example, an example in which the target image data is scanned image data obtained by the image reading device 3 will be described. In this case, first, the image reading device 3 executes an image reading process for reading an image formed on a recording medium such as paper, and acquires scan image data in a raster format. Subsequently, the image reading device 3 transmits the acquired scanned image data to the image processing device 1 via the communication network 2 together with log information of the image reading processing. The target image information acquisition unit 21 acquires the scanned image data as target image data by receiving data transmitted from the image reading device 3.

また、対象画像データが画像形成装置4による画像形成の対象となる画像データである場合の例について説明する。この場合、画像形成装置4は、例えばユーザ端末(不図示)などから通信ネットワーク2を介して到来する画像データの情報を含んだ画像形成命令を取得する。そして、取得した画像形成命令に基づいて、画像形成の対象となる画像を記録媒体上に形成する画像形成処理を実行する。さらに画像形成装置4は、取得した画像形成命令を、当該画像形成処理のログ情報とともに通信ネットワーク2を介して画像処理装置1に対して送信する。対象画像情報取得部21は、画像形成装置4より送信されたデータを受け取ることにより、画像形成命令を取得する。   An example in which the target image data is image data that is a target of image formation by the image forming apparatus 4 will be described. In this case, the image forming apparatus 4 obtains an image forming command including information on image data that arrives via the communication network 2 from, for example, a user terminal (not shown). Then, based on the acquired image formation command, an image formation process for forming an image to be formed on the recording medium is executed. Further, the image forming apparatus 4 transmits the acquired image forming instruction to the image processing apparatus 1 via the communication network 2 together with log information of the image forming process. The target image information acquisition unit 21 receives the data transmitted from the image forming apparatus 4 and acquires an image formation command.

画像分割部22は、対象画像情報取得部21が取得した対象画像データ又は画像形成命令に基づいて、対象画像データを、予め定めた分割基準に従って複数の比較対象ブロックに分割する。比較対象ブロックは、対象画像データを分割して得られる、対象画像の少なくとも一部を表す画像を含むブロックである。比較対象ブロックの形状及び大きさは、予め定められた固定のものでなくともよく、分割基準によって決定される。   The image dividing unit 22 divides the target image data into a plurality of comparison target blocks according to a predetermined division criterion based on the target image data or the image formation command acquired by the target image information acquisition unit 21. The comparison target block is a block including an image representing at least a part of the target image obtained by dividing the target image data. The shape and size of the comparison target block need not be fixed in advance, and are determined according to the division criterion.

具体的に、例えば画像分割部22は、公知のT/I(Text/Image)分離処理によって対象画像データを分離することで得られる各画像要素を含む比較対象ブロックに、対象画像データを分割する。このようなT/I分離処理の方法としては、例えば特開2005−175641号公報等に開示された方法を用いることができる。このT/I分離処理によって得られる比較対象ブロックは、文字を表す画像からなるブロック(文字ブロック)や、写真や図形、イラスト等の絵柄を表す画像からなるブロック(絵柄ブロック)などである。また、画像分割部22は、階調特性や色数等の画像の性状に基づいて、さらに絵柄ブロックを写真画像からなる写真画像ブロックや、ペイントツール等により生成されたイラスト画像からなるイラスト画像ブロックなどに分割してもよい。   Specifically, for example, the image dividing unit 22 divides the target image data into comparison target blocks including each image element obtained by separating the target image data by a known T / I (Text / Image) separation process. . As a method of such T / I separation processing, for example, a method disclosed in Japanese Patent Laid-Open No. 2005-175641 can be used. The comparison target blocks obtained by the T / I separation processing are a block (character block) made of an image representing characters, a block (picture block) made of an image representing a picture such as a photograph, a figure, or an illustration. In addition, the image dividing unit 22 further uses a picture image block made up of a photographic image as a picture block, or an illustration image block made up of an illustration image generated by a paint tool or the like, based on image properties such as gradation characteristics and the number of colors. You may divide into.

なお、例えば画像処理装置1が複写機と一体に構成されている場合、当該複写機は一般に記録媒体に形成された画像を読み取った際に、当該読み取った画像に対してT/I分離を行う。これは、T/I分離の結果に基づいて分離された各ブロックについてそれぞれ適した複写処理を行うためである。そこで、このように複写機が読み取って得られた対象画像データを分割する場合、画像分割部22はこのT/I分離処理の結果に基づいて対象画像データを比較対象ブロックに分割することとしてもよい。   For example, when the image processing apparatus 1 is configured integrally with a copying machine, the copying machine generally performs T / I separation on the read image when the image formed on the recording medium is read. . This is because a suitable copying process is performed for each block separated based on the result of T / I separation. Therefore, when dividing the target image data obtained by reading by the copying machine in this way, the image dividing unit 22 may divide the target image data into comparison target blocks based on the result of the T / I separation processing. Good.

また、対象画像情報取得部21が画像形成命令を取得している場合、画像分割部22は、画像形成命令に含まれる各描画命令に基づいて対象画像データを比較対象ブロックに分割することとしてもよい。この場合、画像分割部22は、描画命令によって描画される各オブジェクト、又は複数のオブジェクトを所定条件に基づいてグループ化したオブジェクトグループを単位として対象画像データを分割することにより、比較対象ブロックを得る。ここで所定条件としては、描画命令によって描画されるオブジェクトの種類(文字、図形等)や、オブジェクトの大きさ、位置などに基づく条件を用いることができる。また対象画像情報取得部21は、一つのオブジェクトを、所定の分割基準によってさらに分割することとしてもよい。   Further, when the target image information acquisition unit 21 acquires an image formation command, the image division unit 22 may divide the target image data into comparison target blocks based on each drawing command included in the image formation command. Good. In this case, the image dividing unit 22 obtains the comparison target block by dividing the target image data in units of object groups obtained by grouping each object drawn by a drawing command or a plurality of objects based on a predetermined condition. . Here, as the predetermined condition, a condition based on the type (character, figure, etc.) of the object drawn by the drawing command, the size, position, etc. of the object can be used. The target image information acquisition unit 21 may further divide one object according to a predetermined division criterion.

また、対象画像情報取得部21が対象画像データとして互いに重なり得る複数の画像要素を含む画像データを取得している場合に、画像分割部22は、当該対象画像データを複数の画像要素をそれぞれ含む複数の比較対象ブロックに分割することとしてもよい。ここで画像要素は、対象画像データにより表される画像を構成する要素であって、例えば描画命令によって描画される対象であるオブジェクトや、性状の共通する部分画像の集合などである。具体的には、例えば背景画像と当該背景画像の中に含まれる文字等からなる画像など、対象画像データ内に互いに重なる複数の画像要素が存在する場合に、画像分割部22は、対象画像データを複数の階層(プレーン)に分離することにより、それぞれの階層に含まれる画像を比較対象ブロックとしてもよい。この場合、各比較対象ブロックは、対象画像データ内において互いに一部又は全部が重なる位置にあってもよい。これにより、階層化された比較対象ブロックが得られる。例えば前述した画像形成命令に基づいて対象画像データを分割する例においては、画像分割部22は、互いに重なる領域に描画される複数のオブジェクトを階層化された比較対象ブロックとして決定してもよい。   Further, when the target image information acquisition unit 21 acquires image data including a plurality of image elements that can overlap each other as target image data, the image division unit 22 includes the target image data including a plurality of image elements, respectively. It is good also as dividing into a plurality of comparison object blocks. Here, the image element is an element constituting the image represented by the target image data, and is, for example, an object to be rendered by a rendering command, a set of partial images having common properties, or the like. Specifically, for example, when there are a plurality of image elements that overlap each other in the target image data such as a background image and an image made up of characters included in the background image, the image dividing unit 22 sets the target image data Are separated into a plurality of hierarchies (planes), and images included in the respective hierarchies may be used as comparison target blocks. In this case, each comparison target block may be in a position where part or all of them are overlapped with each other in the target image data. Thereby, a hierarchical comparison target block is obtained. For example, in the example in which the target image data is divided based on the above-described image formation command, the image dividing unit 22 may determine a plurality of objects drawn in the overlapping area as hierarchical comparison target blocks.

図3は、対象画像情報取得部21が取得した対象画像データの一例を表す説明図である。この場合、一例として画像分割部22は図3において二点鎖線で示されるような比較対象ブロックに対象画像データを分割する。ここで、図中における比較対象ブロックB1及びB4は文字ブロックであり、比較対象ブロックB2は写真画像ブロック、比較対象ブロックB3はイラスト画像ブロックである。また、比較対象ブロックB0は、対象画像データの全体と大きさが一致するブロックであり、背景画像のみを含んだ比較対象ブロックである。   FIG. 3 is an explanatory diagram illustrating an example of target image data acquired by the target image information acquisition unit 21. In this case, as an example, the image dividing unit 22 divides the target image data into comparison target blocks as indicated by a two-dot chain line in FIG. Here, comparison target blocks B1 and B4 in the figure are character blocks, comparison target block B2 is a photographic image block, and comparison target block B3 is an illustration image block. The comparison target block B0 is a block having the same size as the entire target image data, and is a comparison target block including only the background image.

さらに、画像分割部22は、文字を表す画像を含む比較対象ブロックに対して、当該比較対象ブロックに含まれる文字画像により表されるテキストデータを生成してもよい。具体的に、例えば対象画像情報取得部21が画像形成命令を取得している場合であれば、当該画像形成命令に含まれる文字オブジェクトの描画命令に基づいて、対象画像データに含まれるテキストデータを生成できる。   Further, the image dividing unit 22 may generate text data represented by a character image included in the comparison target block for a comparison target block including an image representing a character. Specifically, for example, when the target image information acquisition unit 21 acquires an image formation command, the text data included in the target image data is converted based on a character object drawing command included in the image formation command. Can be generated.

対象画像情報取得部21がラスタ形式の画像データを取得している場合には、画像分割部22は、ラスタ画像に対して公知の文字認識技術を適用することにより、比較対象ブロックに含まれる文字画像により表されるテキストデータを生成することとしてもよい。また、対象画像情報取得部21が画像形成命令を取得している場合であっても、当該画像形成命令にビットマップフォントデータ等のラスタ形式の文字画像データが含まれる場合には、同様に文字認識技術を用いて文字画像により表されるテキストデータを生成することとしてもよい。   When the target image information acquisition unit 21 has acquired raster format image data, the image division unit 22 applies a known character recognition technique to the raster image to thereby include characters included in the comparison target block. Text data represented by an image may be generated. Even when the target image information acquisition unit 21 acquires an image formation command, if the image formation command includes raster-format character image data such as bitmap font data, the character Text data represented by a character image may be generated using a recognition technique.

さらに、画像分割部22は、対象画像情報取得部21が対象画像データに関する情報を取得したタイミングで文字認識の処理を行ってもよい。また、テキストデータを生成する処理を予め定められた時刻に実行することとしてもよい。例えば、対象画像データに関する情報の入力が行われる頻度が比較的少ない夜間などの所定時刻に、文字認識の処理を実行することとしてもよい。これにより、画像処理装置1は比較的CPU等のリソースを多く消費する文字認識処理を負荷の少ない時間帯に実行させることができ、コンピュータリソースを効率的に使用できる。   Further, the image dividing unit 22 may perform a character recognition process at a timing when the target image information acquisition unit 21 acquires information on the target image data. Moreover, it is good also as performing the process which produces | generates text data at the predetermined time. For example, the character recognition process may be executed at a predetermined time such as at night when the information about the target image data is input less frequently. Thus, the image processing apparatus 1 can execute character recognition processing that consumes a relatively large amount of resources such as a CPU in a time zone with a low load, and can efficiently use computer resources.

また、対象画像情報取得部21が画像形成命令を取得している場合、画像分割部22は、当該画像形成命令に含まれる描画命令に基づいて生成したテキストデータを、予め定められた所定の文字コード(例えばシフトJISコードなど)に基づくデータに変換することとしてもよい。これにより、画像処理装置1は保持するテキストデータの文字コードを所定の文字コードに統一することができ、テキストデータを検索する場合の処理効率を向上できる。   When the target image information acquisition unit 21 has acquired an image formation command, the image division unit 22 generates text data generated based on a drawing command included in the image formation command as a predetermined character. It is good also as converting into the data based on a code (for example, shift JIS code etc.). Thereby, the image processing apparatus 1 can unify the character code of the held text data into a predetermined character code, and can improve the processing efficiency when searching for text data.

画像構造情報生成部23は、画像分割部22による分割処理によって得られる各比較対象ブロックについて、対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を生成する。ここで位置情報は、対象画像データ内において比較対象ブロックが占める位置を表す情報である。例えば比較対象ブロックの形状が矩形である場合、位置情報は、各比較対象ブロックの対象画像データ内における左上の位置を示す位置座標及び各比較対象ブロックの大きさを示す幅及び高さの値であってもよい。また、比較対象ブロックの形状が多角形である場合、位置情報は当該多角形の各頂点の位置座標であってもよい。   The image structure information generation unit 23, for each comparison target block obtained by the division processing by the image division unit 22, position information representing the position in the target image data and property information representing the properties of the image included in the comparison target block. Is generated. Here, the position information is information representing the position occupied by the comparison target block in the target image data. For example, when the shape of the comparison target block is a rectangle, the position information includes position coordinates indicating the upper left position in the target image data of each comparison target block, and width and height values indicating the size of each comparison target block. There may be. Further, when the shape of the comparison target block is a polygon, the position information may be a position coordinate of each vertex of the polygon.

また、性状情報は、各比較対象ブロックに含まれる画像の性状を表す情報であって、例えば当該比較対象ブロックに含まれる画像が背景、文字、写真、イラスト等のいずれを表す画像であるかを識別するための情報である。この場合、画像構造情報生成部23は、例えばT/I分離処理の結果や画像形成命令に含まれる描画命令の種別に基づいて、性状情報を決定できる。また、画像構造情報生成部23は、各比較対象ブロックに含まれる画像の色数、エッジ量等の画像特徴量を性状情報として取得してもよい。   The property information is information representing the properties of the image included in each comparison target block. For example, whether the image included in the comparison target block is an image representing a background, a character, a photograph, an illustration, or the like. This is information for identification. In this case, the image structure information generation unit 23 can determine the property information based on, for example, the result of the T / I separation process and the type of drawing command included in the image forming command. Further, the image structure information generation unit 23 may acquire image feature amounts such as the number of colors and edge amounts of images included in each comparison target block as property information.

また、前述したように複数の比較対象ブロックが互いに重なって階層化されている場合、画像構造情報生成部23は、これらの比較対象ブロックのうち、いずれが上位(手前)の層であるかを識別するための階層情報をさらに各比較対象ブロックの位置情報及び性状情報に関連づけて画像構造情報を生成することとしてもよい。例えば階層情報は、最下位の層(背景画像ブロックなど)を0として、それより上位にある層に順に番号が付された順位情報であってもよい。また、自分自身より上位(又は下位)にある比較対象ブロックを指し示すポインタ情報であってもよい。この場合、画像処理装置1はポインタ情報を順にたどることによって、各比較対象ブロック間の階層関係を知ることができる。   In addition, as described above, when a plurality of comparison target blocks are layered on top of each other, the image structure information generation unit 23 determines which of these comparison target blocks is the upper (front) layer. Image structure information may be generated by further associating hierarchical information for identification with position information and property information of each comparison target block. For example, the hierarchy information may be rank information in which the lowest layer (background image block or the like) is set to 0, and layers higher than that are sequentially numbered. Further, it may be pointer information indicating a comparison target block that is higher (or lower) than itself. In this case, the image processing apparatus 1 can know the hierarchical relationship between each comparison target block by sequentially following the pointer information.

具体的に、画像構造情報生成部23が生成する画像構造情報は、例えば図4に示すテーブルによって表されるような情報である。図4においては、各比較対象ブロックは矩形領域であることとしており、各比較対象ブロックの位置及び大きさを示す値に、性状情報及び階層情報が対応づけられている。   Specifically, the image structure information generated by the image structure information generation unit 23 is information represented by, for example, a table shown in FIG. In FIG. 4, each comparison target block is a rectangular area, and property information and hierarchy information are associated with values indicating the position and size of each comparison target block.

ブロック画像暗号化部24は、比較対象ブロックの画像データを暗号化する。暗号化アルゴリズムとしては、種々の方法を用いることができる。ここで、ブロック画像暗号化部24は全ての比較対象ブロックを暗号化処理の対象とするとは限らず、所定の条件を満たす比較対象ブロックのみを暗号化することとしてもよい。具体的には、例えば文字ブロックを暗号化の対象とすることとしてもよい。また、後述するブロック画像検査部26による画像検査処理の結果に基づいて、各比較対象ブロックを暗号化するか否か判定することとしてもよい。   The block image encryption unit 24 encrypts the image data of the comparison target block. Various methods can be used as the encryption algorithm. Here, the block image encryption unit 24 may encrypt not only all comparison target blocks but also a comparison target block that satisfies a predetermined condition. Specifically, for example, a character block may be an encryption target. Further, it may be determined whether or not each block to be compared is encrypted based on the result of the image inspection process by the block image inspection unit 26 described later.

さらに、ブロック画像暗号化部24は、前述したように文字画像を含んだ比較対象ブロックについてテキストデータが取得されている場合には、当該テキストデータを暗号化することとしてもよい。   Furthermore, the block image encryption part 24 is good also as encrypting the said text data, when the text data is acquired about the comparison object block containing a character image as mentioned above.

また、ブロック画像暗号化部24は、所定の条件に応じて比較対象ブロック又はテキストデータの暗号化処理を実行した場合には、当該暗号化処理の実行をユーザに通知するために、所定の通知処理を実行することとしてもよい。具体的には、例えば暗号化処理を実行した旨を通知する電子メールを、所定の宛先に対して送信することとする。またこの場合において、当該暗号化処理を必要とした対象画像データの画像読み取り処理を画像読み取り装置3に実行させたユーザ、又は画像形成処理を画像形成装置4に実行させたユーザなどの情報や、これらの画像入出力処理が実行された日時、画像入出力処理が実行された装置の装置IDなどの情報を、電子メールにより送信される情報に含めることとしてもよい。ブロック画像暗号化部24は、対象画像情報取得部21が対象画像データに関する情報とともに取得したログ情報に基づいて、これらの情報を取得できる。   In addition, when the block image encryption unit 24 executes the encryption process of the comparison target block or text data according to a predetermined condition, the block image encryption unit 24 performs a predetermined notification to notify the user of the execution of the encryption process. It is good also as performing a process. Specifically, for example, an e-mail notifying that the encryption process has been executed is transmitted to a predetermined destination. In this case, information such as a user who has executed the image reading process of the target image data requiring the encryption process by the image reading apparatus 3 or a user who has executed the image forming process by the image forming apparatus 4, Information such as the date and time when these image input / output processes are executed and the device ID of the apparatus for which the image input / output processes have been executed may be included in the information transmitted by e-mail. The block image encryption unit 24 can acquire these pieces of information based on the log information acquired by the target image information acquisition unit 21 together with information about the target image data.

また、ブロック画像暗号化部24が実行する暗号化処理において用いられる暗号化キー及び/又は復号化キーは、所定の管理者権限を持つユーザのみが知りうる状態で管理されることが好ましい。また、画像処理装置1は予め所定のキー情報を設定しておき、ユーザが当該キー情報を入力した場合に限り、暗号化されたデータの復号化を実行することとしてもよい。この場合において、画像処理装置1は、キー情報を入力するユーザとして、暗号化処理を実行する条件を設定したユーザ(例えば後述する検査用画像を画像処理装置1に対して登録したユーザなど)とは異なる少なくとも一人のユーザからの入力を要求することとしてもよい。これにより、保護すべき情報をより安全に管理できる。   Further, it is preferable that the encryption key and / or the decryption key used in the encryption process executed by the block image encryption unit 24 is managed in a state that only a user having a predetermined administrator authority can know. Further, the image processing apparatus 1 may set predetermined key information in advance and execute decryption of the encrypted data only when the user inputs the key information. In this case, the image processing apparatus 1 is a user who inputs key information and a user who sets conditions for executing encryption processing (for example, a user who registers an inspection image to be described later in the image processing apparatus 1). May require input from at least one different user. Thereby, the information to be protected can be managed more safely.

このようにブロック画像暗号化部24が比較対象ブロックに含まれる画像データやテキストデータを暗号化することにより、不正に画像処理装置1にアクセスした第三者に蓄積している画像データに関する情報を読み取られることを防ぐことができる。なお、ブロック画像暗号化部24により比較対象ブロックの画像データ又はテキストデータを暗号化する処理は、必須のものではない。この場合、ブロック画像暗号化部24はなくともよい。   In this way, the block image encryption unit 24 encrypts the image data and text data included in the comparison target block, so that information regarding the image data stored in the third party who has illegally accessed the image processing apparatus 1 is obtained. It can be prevented from being read. Note that the process of encrypting the image data or text data of the comparison target block by the block image encryption unit 24 is not essential. In this case, the block image encryption unit 24 may not be provided.

検索用データ格納部25は、画像構造情報生成部23が生成した画像構造情報を含む検索用データを、記憶部12に格納することにより、保持させる。なお、ここで検索用データ格納部25は、各比較対象ブロックの画像データを、画像構造情報内における当該比較対象ブロックに関する情報(位置情報及び性状情報)と関連づけて検索用データとして記憶部12に保持させることとしてもよい。また、各比較対象ブロックに文字画像が含まれている場合には、これらの文字画像によって表される文字からなるテキストデータを、当該比較対象ブロックに関する情報と関連づけて検索用データとして記憶部12に保持させることとしてもよい。さらに、これらの画像データやテキストデータがブロック画像暗号化部24によって暗号化されている場合には、暗号化された各データを各比較対象ブロックに関する情報と関連づけて検索用データとして記憶部12に格納することとする。   The search data storage unit 25 stores the search data including the image structure information generated by the image structure information generation unit 23 by storing it in the storage unit 12. Here, the search data storage unit 25 associates the image data of each comparison target block with information (position information and property information) related to the comparison target block in the image structure information as search data in the storage unit 12. It may be held. When each comparison target block includes a character image, the text data composed of characters represented by these character images is associated with information about the comparison target block in the storage unit 12 as search data. It may be held. Further, when these image data and text data are encrypted by the block image encryption unit 24, each encrypted data is associated with information on each comparison target block and stored in the storage unit 12 as search data. It will be stored.

また、検索用データ格納部25は、これらの対象画像データに基づいて生成された検索用データを、画像読み取り装置3による画像読み取り処理のログ情報や、画像形成装置4による画像形成装置のログ情報などの、当該対象画像データに対する画像入出力処理のログ情報と関連づけて格納することとしてもよい。   In addition, the search data storage unit 25 uses the search data generated based on the target image data as log information of image reading processing by the image reading device 3 and log information of the image forming device by the image forming device 4. For example, it may be stored in association with log information of image input / output processing for the target image data.

さらに検索用データ格納部25は、これらの情報を予め定められた所定のデータ形式に変換して、変換されたデータを検索用データとして記憶部12に格納することとしてもよい。具体例として、検索用データ格納部25は、対象画像データに係る画像構造情報や画像入出力処理のログ情報などを例えばXML文書形式などの構造文書に変換して格納する。これにより、格納した検索用データを外部から検索する場合に、データを利用しやすくすることができ、利便性を向上できる。   Further, the search data storage unit 25 may convert these pieces of information into a predetermined data format and store the converted data in the storage unit 12 as search data. As a specific example, the search data storage unit 25 converts the image structure information related to the target image data, the log information of the image input / output processing, and the like into a structure document such as an XML document format and stores it. Thereby, when searching the stored search data from the outside, the data can be easily used, and convenience can be improved.

以上説明した機能によって、画像処理装置1は取得した対象画像データを分割して得られる各比較対象ブロックについて、これらの比較対象ブロックの位置情報、性状情報、当該比較対象ブロックに含まれる画像、また当該比較対象ブロックが文字画像を含む場合にはテキストデータ、などの情報を、関連づけて検索用データとして記憶部12に保持することができる。画像処理装置1は、この検索用データを用いて対象画像データに対する検索処理を行う。このように比較対象ブロックの位置情報及び性状情報を含んだ画像構造情報を検索用データに含めることで、後に画像処理装置1は画像構造情報に基づいて画像の構造が類似するか否かをまず判定することができ、画像の内容が類似するか否かを全ての対象画像データについて判定する場合に比較して、検索処理の効率を向上できる。   With the functions described above, the image processing apparatus 1 uses, for each comparison target block obtained by dividing the acquired target image data, position information, property information, images included in the comparison target block, images included in the comparison target block, When the comparison target block includes a character image, information such as text data can be associated and stored in the storage unit 12 as search data. The image processing apparatus 1 performs a search process on the target image data using the search data. In this way, by including the image structure information including the position information and property information of the comparison target block in the search data, the image processing apparatus 1 later first determines whether the image structures are similar based on the image structure information. The efficiency of the search process can be improved as compared with the case of determining whether or not the contents of the images are similar for all target image data.

次に、ブロック画像検査部26が実現する画像検査処理について説明する。   Next, image inspection processing realized by the block image inspection unit 26 will be described.

ブロック画像検査部26は、画像分割部22による分割処理によって得られる各比較対象ブロックに含まれる画像が、所定の検査用画像と類似するか否かを判定する。この判定結果に基づいて、画像処理装置1は種々の所定処理を実行する。これにより、ブロック画像検査部26は、検索用データに追加しようとする対象画像データが所定の検査条件を満たすか否かを、比較対象ブロックを用いて判定して、その結果に応じた処理を実行させることができる。このように比較対象ブロックと検査用画像を比較することで、画像処理装置1は、対象画像データ全体から検査用画像に類似する部分を検出する場合に比べて、検査用画像に類似する画像を含む対象画像データを効率よく検出できる。   The block image inspection unit 26 determines whether an image included in each comparison target block obtained by the division processing by the image dividing unit 22 is similar to a predetermined inspection image. Based on the determination result, the image processing apparatus 1 executes various predetermined processes. Thereby, the block image inspection unit 26 determines whether the target image data to be added to the search data satisfies a predetermined inspection condition using the comparison target block, and performs processing according to the result. Can be executed. In this way, by comparing the comparison target block and the inspection image, the image processing apparatus 1 displays an image similar to the inspection image compared to a case where a portion similar to the inspection image is detected from the entire target image data. Including target image data can be detected efficiently.

具体例として、画像処理装置1は、ユーザによる登録指示に基づいて、例えば禁複写のマークを表す画像や、ログマークを表す画像などを検査用画像として保持するものとする。この検査用画像は、複数あってもよい。そして、ブロック画像検査部26は、比較対象ブロックに含まれる画像と検査用画像とを比較して、互いに類似するか否かを判定する。ここでブロック画像検査部26は、公知の類似画像判定技術を用いて判定を行うことができる。一例として、ブロック画像検査部26は、それぞれの画像に対する所定の特徴量を抽出し、抽出された特徴量の差に基づいて画像の類否判定を行う。この場合において、検査用画像との比較を行う比較対象ブロックは全ての比較対象ブロックであってもよいし、所定の条件を満たす比較対象ブロックだけであってもよい。すなわち、ブロック画像検査部26は、所定の大きさの比較対象ブロックや、対象画像データの中で所定の領域内に位置する比較対象ブロック、あるいは文字ブロック等所定の性状を持つ比較対象ブロックのみを、検査用画像と比較することとしてもよい。   As a specific example, the image processing apparatus 1 is assumed to hold, for example, an image representing a prohibited copy mark or an image representing a log mark as an inspection image based on a registration instruction from the user. There may be a plurality of inspection images. Then, the block image inspection unit 26 compares the image included in the comparison target block with the inspection image and determines whether or not they are similar to each other. Here, the block image inspection unit 26 can perform determination using a known similar image determination technique. As an example, the block image inspection unit 26 extracts a predetermined feature amount for each image, and performs similarity determination of the image based on the difference between the extracted feature amounts. In this case, the comparison target blocks to be compared with the inspection image may be all comparison target blocks or only the comparison target blocks that satisfy a predetermined condition. That is, the block image inspection unit 26 selects only a comparison target block having a predetermined property such as a comparison target block having a predetermined size, a comparison target block located in a predetermined area in the target image data, or a character block. It may be compared with the inspection image.

また、ブロック画像検査部26は、比較対象ブロックに含まれる文字画像により表されるテキストデータの中に、予め保持された所定の検査用文字列が含まれるか否かを判定することとしてもよい。この場合、ブロック画像検査部26が所定の検査用文字列が含まれるテキストデータを検出することにより、画像処理装置1は所定処理を実行する。   The block image inspection unit 26 may determine whether or not a predetermined inspection character string held in advance is included in the text data represented by the character image included in the comparison target block. . In this case, when the block image inspection unit 26 detects text data including a predetermined inspection character string, the image processing apparatus 1 executes predetermined processing.

このようにブロック画像検査部26が比較対象ブロックに含まれる画像又はテキストデータを検査用画像や検査用文字列と比較することにより、画像処理装置1は、所定のマークや文字列等を含む画像を容易に検出することができる。なお、ブロック画像検査部26による画像検査処理は、必須のものではない。この場合、ブロック画像検査部26はなくともよい。   As described above, the block image inspection unit 26 compares the image or text data included in the comparison target block with the inspection image or the inspection character string, so that the image processing apparatus 1 includes an image including a predetermined mark or character string. Can be easily detected. Note that the image inspection processing by the block image inspection unit 26 is not essential. In this case, the block image inspection unit 26 may not be provided.

ここで、ブロック画像検査部26が所定処理の実行条件を満たすと判定した場合に、画像処理装置1が実行する所定処理の例について、説明する。例えば画像処理装置1は、ブロック画像検査部26による検査用画像と類似する比較対象ブロックの検出に応じて、所定の警告情報を出力する。具体的には、例えば条件を満たす比較対象ブロックを検出したことを表す情報を通知する電子メールを、所定の宛先に対して送信することとする。また、警告灯やスピーカなどの警告情報出力装置(不図示)に対して警告情報を出力することにより、警告灯を点灯させたり、スピーカに警告音を鳴動させたりすることとしてもよい。   Here, an example of the predetermined process executed by the image processing apparatus 1 when the block image inspection unit 26 determines that the execution condition of the predetermined process is satisfied will be described. For example, the image processing apparatus 1 outputs predetermined warning information in response to detection of a comparison target block similar to the inspection image by the block image inspection unit 26. Specifically, for example, an e-mail notifying information indicating that a comparison target block that satisfies a condition has been detected is transmitted to a predetermined destination. Further, by outputting warning information to a warning information output device (not shown) such as a warning light or a speaker, the warning light may be turned on or a warning sound may be generated on the speaker.

あるいは、画像処理装置1は、条件を満たす比較対象ブロックを検出した場合に、検出した旨の情報を画像読み取り装置3や画像形成装置4に対して出力することにより、これらの装置による当該比較対象ブロックを含む対象画像データに対する画像入出力処理の実行を制限することとしてもよい。これにより、画像処理装置1は、画像読み取り装置3や画像形成装置4による所定の検査用画像に類似した画像を含む対象画像データの複写や画像形成等の画像入出力処理を制限することができる。   Alternatively, when the image processing apparatus 1 detects a comparison target block that satisfies the condition, the image processing apparatus 1 outputs information indicating that the block is detected to the image reading apparatus 3 or the image forming apparatus 4, so that the comparison target by these apparatuses is output. Execution of image input / output processing on target image data including blocks may be restricted. As a result, the image processing apparatus 1 can restrict image input / output processing such as copying or image formation of target image data including an image similar to a predetermined inspection image by the image reading apparatus 3 or the image forming apparatus 4. .

また、画像処理装置1は、条件を満たす比較対象ブロックを検出した場合に、当該比較対象ブロックを含む対象画像データに類似する画像データの検索処理を実行することとしてもよい。この場合、条件を満たすと判定した比較対象ブロックを含む対象画像データを、後述する検索キー画像取得部27が検索処理における検索キー画像データとして取得する。そして、当該取得した検索キー画像データに基づいて、後述する検索処理を実行する。これにより、例えば検査条件に該当する画像データの画像形成等が行われようとした場合に、過去にこれと類似する画像データの入出力処理が行われたか否かを検索することができる。   Further, when the comparison target block that satisfies the condition is detected, the image processing apparatus 1 may execute a search process of image data similar to the target image data including the comparison target block. In this case, target image data including a comparison target block determined to satisfy the condition is acquired as search key image data in the search process by the search key image acquisition unit 27 described later. Then, based on the acquired search key image data, search processing described later is executed. As a result, for example, when image formation of image data corresponding to the inspection conditions is to be performed, it is possible to search whether image data input / output processing similar to this has been performed in the past.

また、ブロック画像検査部26による検査の結果に応じて、検索用データ格納部25が記憶部12に格納する検索用データに、比較対象ブロックが所定の検査用画像に類似する画像であることを示す情報を含めることとしてもよい。あるいは、比較対象ブロックに所定の検査用文字列を表す文字画像が含まれることを示す情報を含めることとしてもよい。これにより、所定の検査用画像に類似する画像を含む対象画像データや、所定の検査用文字列を含む対象画像データを後に検索したい場合に、検索処理の効率を向上することができる。   Further, in accordance with the result of the inspection by the block image inspection unit 26, the search data storage unit 25 stores in the storage unit 12 that the comparison target block is an image similar to a predetermined inspection image. It is good also as including the information to show. Alternatively, information indicating that a character image representing a predetermined inspection character string is included in the comparison target block may be included. Thereby, when it is desired to search later for target image data including an image similar to a predetermined inspection image or target image data including a predetermined inspection character string, the efficiency of the search process can be improved.

ここで、画像読み取り装置3において画像読み取り処理が実行された場合に、画像処理装置1が実行する対象画像情報格納処理及び画像検査処理のフローの一例について、図5のフロー図に基づいて説明する。   Here, an example of the flow of the target image information storage process and the image inspection process executed by the image processing apparatus 1 when the image reading process is executed in the image reading apparatus 3 will be described based on the flowchart of FIG. .

まず、対象画像情報取得部21が、画像読み取り装置3が送信する送信データを受け入れることにより、当該送信データに含まれるスキャン画像データを対象画像データとして取得する(S1)。そして、画像分割部22が、S1で取得した対象画像データを予め定めた分割基準に従って比較対象ブロックに分割する(S2)。   First, the target image information acquisition unit 21 receives the transmission data transmitted by the image reading device 3, thereby acquiring the scan image data included in the transmission data as target image data (S1). Then, the image dividing unit 22 divides the target image data acquired in S1 into comparison target blocks according to a predetermined division criterion (S2).

続いて、このフローの例においては、ブロック画像検査部26が、S2の分割処理によって得られた各比較対象ブロックが、所定の検査用画像と類似するか否かを判定する(S3)。この判定の結果、検査用画像と類似する比較対象ブロックがあると判定した場合、画像処理装置1は警告情報の出力を行う(S4)。   Subsequently, in this flow example, the block image inspection unit 26 determines whether or not each comparison target block obtained by the division processing in S2 is similar to a predetermined inspection image (S3). As a result of the determination, when it is determined that there is a comparison target block similar to the inspection image, the image processing apparatus 1 outputs warning information (S4).

さらにこの場合、判定の結果に関わらず、画像処理装置1は対象画像情報格納処理を継続することとする。すなわち、画像構造情報生成部23が、S2の分割処理の結果に基づいて、各比較対象ブロックに対する位置情報と性状情報とを関連づけた画像構造情報を生成する(S5)。また、ブロック画像暗号化部24が、S2の分割処理の結果得られた比較対象ブロックに対して、暗号化処理を行う(S6)。   In this case, the image processing apparatus 1 continues the target image information storage process regardless of the result of the determination. That is, the image structure information generation unit 23 generates image structure information in which position information and property information for each comparison target block are associated with each other based on the result of the division process of S2 (S5). Further, the block image encryption unit 24 performs encryption processing on the comparison target block obtained as a result of the division processing in S2 (S6).

さらに、検索用データ格納部25は、S5で生成された画像構造情報、S6で得られた暗号化された比較対象ブロックの画像データ、及びS1において対象画像データとともに画像読み取り装置3より受け入れた画像読み取り処理のログ情報を、関連づけて構造文書化を行う(S7)。そして、S7で生成した構造文書を、検索用データとして、記憶部12に格納する(S8)。   Further, the search data storage unit 25 receives the image structure information generated in S5, the image data of the encrypted comparison target block obtained in S6, and the image received from the image reading device 3 together with the target image data in S1. The log information of the reading process is linked and the structure is documented (S7). Then, the structure document generated in S7 is stored in the storage unit 12 as search data (S8).

これらの処理により、画像処理装置1は、画像読み取り装置3において画像読み取り処理が実行された場合に、当該画像読み取り処理に係る対象画像データに関する情報を、検索時の効率を向上できるような形式で保持することができる。なお、以上のフローは例示であって、例えば対象画像情報格納処理の順序等は異なるものであってもよい。また、一部の処理は、所定の時刻になった際に実行することとしてもよい。また、画像処理装置1は、例えば画像形成装置4において画像形成処理が実行される場合などにおいて、同様にして対象画像情報格納処理を実行することができる。   By these processes, when the image reading apparatus 3 executes the image reading process, the image processing apparatus 1 can improve the efficiency at the time of retrieval of information related to the target image data related to the image reading process. Can be held. The above flow is an example, and for example, the order of the target image information storage processing may be different. Some processing may be executed when a predetermined time comes. The image processing apparatus 1 can execute the target image information storage process in the same manner, for example, when the image forming process is executed in the image forming apparatus 4.

次に、検索キー画像取得部27、画像構造比較部28、及び画像類否判定部29が実現する機能について説明する。これらの機能により、画像処理装置1は対象画像データに対する検索処理を実行する。ここで検索処理は、画像処理装置1が保持する画像構造情報を含む検索用データに基づいて、検索の際のキーとなる検索キー画像データと、画像処理装置1による検索の対象となる対象画像データと、が類似するか否かを判定することで、対象画像データの中から検索キー画像データと類似する画像データを検索する処理である。   Next, functions realized by the search key image acquisition unit 27, the image structure comparison unit 28, and the image similarity determination unit 29 will be described. With these functions, the image processing apparatus 1 executes search processing for the target image data. Here, the search processing is based on search data including image structure information held by the image processing apparatus 1, search key image data that is a key for search, and a target image that is a search target by the image processing apparatus 1. This is a process of searching for image data similar to the search key image data from the target image data by determining whether or not the data is similar.

検索キー画像取得部27は、検索キー画像データに関する情報を取得する。具体的に、例えば検索キー画像取得部27は、対象画像情報取得部21が対象画像データを取得したのと同様の方法により、検索キー画像データを取得する。一例として、不正に流出したと思われる画像が形成された記録媒体を入手した場合、ユーザは画像読み取り装置3に対して、検索キー画像であることを指定して、当該記録媒体に形成された画像を読み取らせる。これにより、画像読み取り装置3は、読み取って得られたスキャン画像データを、検索キー画像である旨の情報とともに画像処理装置1に対して送信する。この送信されたデータを受け入れることにより、検索キー画像取得部27は検索キー画像データを取得できる。   The search key image acquisition unit 27 acquires information related to search key image data. Specifically, for example, the search key image acquisition unit 27 acquires the search key image data by the same method as the target image information acquisition unit 21 acquires the target image data. As an example, when a recording medium on which an image that seems to have been illegally leaked is obtained, the user designates that it is a search key image to the image reading device 3 and is formed on the recording medium. Have the image read. As a result, the image reading device 3 transmits the scanned image data obtained by the reading to the image processing device 1 together with information indicating that the image is a search key image. By accepting the transmitted data, the search key image acquisition unit 27 can acquire the search key image data.

画像構造比較部28は、検索キー画像取得部27が取得した検索キー画像データと、記憶部12に保持されている検索用データに含まれる画像構造情報と、に基づいて、検索キー画像データと、対象画像データと、の間で画像の構造が類似するか否かを判定する画像構造比較処理を行う。具体的に、画像構造比較部28は、検索キー画像データと対象画像データとのそれぞれを構成する比較対象ブロックの位置及び当該比較対象ブロックに含まれる画像の性状が、類似するか否かを判定する。   Based on the search key image data acquired by the search key image acquisition unit 27 and the image structure information included in the search data stored in the storage unit 12, the image structure comparison unit 28 Then, an image structure comparison process is performed for determining whether the image structure is similar to the target image data. Specifically, the image structure comparison unit 28 determines whether the positions of the comparison target blocks constituting the search key image data and the target image data and the properties of the images included in the comparison target blocks are similar. To do.

画像構造比較部28が実行する画像構造比較処理の例について、以下説明する。画像構造比較部28は、まず画像分割部22が対象画像データに対して実行した処理と同様にして、検索キー画像データを複数の比較対象ブロックに分割する。そして、検索用データに含まれる画像構造情報を参照して、それぞれの画像データに含まれる各比較対象ブロックの位置、及び各比較対象ブロックに含まれる画像の性状が、所定の範囲内で一致するか否かを判定する。例えば、画像の性状が一致する比較対象ブロックの位置が、二つの画像データ間で所定の値以下のずれしかない場合には、二つの画像データの構造が類似すると判定する。また、二つの比較対象ブロックの性状情報が一致しない場合であっても、例えば写真画像ブロックとイラスト画像ブロックとは類似すると判定するなど、所定の条件を満たす場合には性状情報の異なる比較対象ブロック同士が類似すると判定してもよい。   An example of the image structure comparison process executed by the image structure comparison unit 28 will be described below. The image structure comparison unit 28 first divides the search key image data into a plurality of comparison target blocks in the same manner as the processing performed by the image division unit 22 on the target image data. Then, referring to the image structure information included in the search data, the position of each comparison target block included in each image data and the property of the image included in each comparison target block match within a predetermined range. It is determined whether or not. For example, when the positions of the comparison target blocks having the same image properties are shifted by a predetermined value or less between the two image data, it is determined that the structures of the two image data are similar. Further, even if the property information of the two comparison target blocks does not match, for example, when the predetermined condition is satisfied, for example, it is determined that the photo image block and the illustration image block are similar, the comparison target blocks having different property information You may determine that they are similar.

さらに、画像構造比較部28は、二つの画像データに含まれる比較対象ブロックの数が一致しない場合であっても、所定の条件を満たす場合には両者の構造が類似すると判定することとしてもよい。例えば対象画像データが記録媒体上に形成された後、さらに手書きの文字が書き込まれた場合など、画像読み取り装置3が読み取って得られる検索キー画像データは対象画像データに含まれるものより多くの比較対象ブロック(この場合は、書き込まれた文字からなる文字ブロック)を含む場合がある。しかしながら、このような場合でも、画像全体は類似すると判定したい場合があり得る。そこで、例えば対象画像データと検索キー画像データとの間で一致しない比較対象ブロックが所定の条件を満たす場合、このような比較対象ブロックの有無に関わらず二つの画像データの構造は類似すると判定する。この場合の所定の条件としては、例えば所定の性状情報を持つ、画像データ全体の大きさに対する比較対象ブロックの大きさが所定の値以下である、などの条件を用いることができる。   Furthermore, the image structure comparison unit 28 may determine that both structures are similar if the predetermined condition is satisfied even when the number of comparison target blocks included in the two image data does not match. . For example, when the target image data is formed on the recording medium and then handwritten characters are further written, the search key image data obtained by reading by the image reading device 3 is more compared with that included in the target image data. The target block (in this case, a character block made up of written characters) may be included. However, even in such a case, it may be determined that the entire image is similar. Therefore, for example, when a comparison target block that does not match between the target image data and the search key image data satisfies a predetermined condition, it is determined that the structures of the two image data are similar regardless of the presence or absence of such a comparison target block. . As the predetermined condition in this case, for example, a condition that has predetermined property information and the size of the comparison target block with respect to the total size of the image data is equal to or smaller than a predetermined value can be used.

以上説明した処理により、画像構造比較部28は、実際に画像の内容による類否判定を行う前に、画像の全体構造が類似するか否かを判定することで、検索キー画像データと類似する可能性のある対象画像データを、類似候補画像データとして抽出することができる。これにより、画像処理装置1は、全ての対象画像データに対して画像の内容が検索キー画像データと類似するか否かの判定を行う場合に比較して、検索処理の際の演算量を低減することができ、検索処理の効率を向上できる。さらに、比較対象ブロックの一部又は全部がブロック画像暗号化部24により暗号化されている場合であっても、画像構造情報に基づいて画像の構造が類似するか否かをまず判定することができる。これにより、画像処理装置1は、暗号化された画像データを一つ一つ復号化して画像の類否判定を行う場合に比較して、検索処理の効率を向上できる。   By the processing described above, the image structure comparison unit 28 is similar to the search key image data by determining whether or not the overall structure of the image is similar before actually performing similarity determination based on the content of the image. Possible target image data can be extracted as similar candidate image data. As a result, the image processing apparatus 1 reduces the amount of calculation in the search process compared to the case where it is determined whether or not the content of the image is similar to the search key image data for all target image data. And the efficiency of the search process can be improved. Furthermore, even when a part or all of the comparison target blocks are encrypted by the block image encryption unit 24, it is first determined whether the image structures are similar based on the image structure information. it can. As a result, the image processing apparatus 1 can improve the efficiency of the search process as compared to the case where the encrypted image data is decrypted one by one and the image similarity determination is performed.

また、画像構造比較部28は、類似候補画像データを絞り込む際に、所定の検査用画像に類似する画像を含むか否かを検索条件として用いることとしてもよい。あるいは、所定の検査用文字列を表す文字画像を含むか否かを検索条件として用いてもよい。画像構造比較部28は、これらの条件を例えば操作部13に対するユーザの指示操作により取得する。そして、ブロック画像検査部26による画像検査処理の結果に応じて検索用データ格納部25が検索用データに含めた情報を用いて、検査用画像に類似する比較対象ブロックを含む対象画像データや、検査用文字列を含むテキストデータを含む対象画像データを、類似候補画像データとして抽出する。これらの条件を組み合わせることで、画像処理装置1は、検索処理の効率を悪化させずに、所定の情報を含む画像データを検索することができる。   Further, when narrowing down the similar candidate image data, the image structure comparison unit 28 may use whether or not an image similar to a predetermined inspection image is included as a search condition. Alternatively, whether or not a character image representing a predetermined inspection character string is included may be used as a search condition. The image structure comparison unit 28 acquires these conditions, for example, by a user instruction operation on the operation unit 13. Then, using the information included in the search data by the search data storage unit 25 according to the result of the image inspection process by the block image inspection unit 26, target image data including a comparison target block similar to the test image, Target image data including text data including an inspection character string is extracted as similar candidate image data. By combining these conditions, the image processing apparatus 1 can search for image data including predetermined information without deteriorating the efficiency of the search process.

画像類否判定部29は、画像構造比較部28による画像の構造に関する類否判定の結果に基づいて、さらに検索キー画像データと、対象画像データとが類似するか否か判定する画像類否判定処理を行う。具体的には、画像構造比較部28により画像の構造が類似すると判定された類似候補画像データについて、当該対象画像データから得られた各比較対象ブロックと、検索キー画像データから得られた各比較対象ブロックと、にそれぞれ含まれる画像同士が類似するか否かを判定する。この場合において、比較対象ブロックがブロック画像暗号化部24により暗号化されている場合には、暗号化された比較対象ブロックを復号化して比較を行う。また画像類否判定部29は、ブロック画像検査部26が比較対象ブロックに含まれる画像と検査用画像とが類似するか否か判定した際に用いた類似画像判定技術と同様に技術を用いて、画像の類否判定を行うことができる。これにより、画像類否判定部29は全体として対象画像データと検索キー画像データとが類似するか否かを判定する。   The image similarity determination unit 29 further determines whether the search key image data and the target image data are similar based on the result of similarity determination regarding the structure of the image by the image structure comparison unit 28. Process. Specifically, with respect to similar candidate image data determined to have similar image structures by the image structure comparison unit 28, each comparison target block obtained from the target image data and each comparison obtained from the search key image data It is determined whether the images included in the target block are similar to each other. In this case, when the comparison target block is encrypted by the block image encryption unit 24, the encrypted comparison target block is decrypted and compared. The image similarity determination unit 29 uses a technique similar to the similar image determination technology used when the block image inspection unit 26 determines whether the image included in the comparison target block is similar to the inspection image. The image similarity determination can be performed. Thereby, the image similarity determination unit 29 determines whether the target image data and the search key image data are similar as a whole.

画像類否判定部29は、判定の結果得られた検索キー画像データと類似する対象画像データの情報を、例えば表示部14に表示させることで、ユーザに提示する。この場合において、画像類否判定部29は、画像分割部22によって分割された各比較対象ブロックに含まれる画像データを合成することにより、検索用データに含まれる情報から元の対象画像データを再生成して、表示部14に表示させてもよい。あるいは、所定の宛先に対して、電子メールにより検索処理の結果得られた対象画像データの情報を送信することとしてもよい。特にユーザの操作部13に対する指示操作などではなく、前述したようにブロック画像検査部26が所定の条件に合致する対象画像データを検知したことに応じて検索処理を実行した場合、このように電子メールを用いて検索処理の結果を通知することにより、管理者等のユーザに見落とされないように、処理結果を提示することができる。   The image similarity determination unit 29 presents information of target image data similar to the search key image data obtained as a result of the determination, for example, by displaying the information on the display unit 14 to the user. In this case, the image similarity determination unit 29 reproduces the original target image data from the information included in the search data by combining the image data included in each comparison target block divided by the image dividing unit 22. And may be displayed on the display unit 14. Alternatively, the information of the target image data obtained as a result of the search process by e-mail may be transmitted to a predetermined destination. In particular, when the block image inspection unit 26 executes the search process in response to the detection of target image data that matches a predetermined condition, as described above, instead of the user's instruction operation on the operation unit 13, the electronic By notifying the result of the search process using e-mail, the process result can be presented so as not to be overlooked by a user such as an administrator.

また、この検索処理の結果を出力する際に、画像類否判定部29は、検索キー画像データに類似すると判定した対象画像データに対応づけられたログ情報を、併せて出力することとしてもよい。すなわち、検索処理の結果得られた対象画像データを、画像読み取り装置3により読み取らせたユーザや画像形成装置4に形成させたユーザの情報、これらの画像入出力処理が実行された日時、実行された装置の装置ID、などの情報を、対象画像データに関する情報とともに出力する。これにより、検索処理を画像処理装置1に実行させたユーザは、検索キー画像データに類似する画像データがいつ誰によって入出力されたか、追跡調査を行うことができる。   Further, when outputting the search processing result, the image similarity determination unit 29 may also output log information associated with the target image data determined to be similar to the search key image data. . That is, the target image data obtained as a result of the search processing is executed by the user who has read the image reading device 3 or the user formed by the image forming device 4, the date and time when these image input / output processing was executed. Information such as the device ID of the selected device is output together with information related to the target image data. As a result, the user who has caused the image processing apparatus 1 to execute the search process can perform a follow-up survey as to when and by whom the image data similar to the search key image data was input / output.

また、画像処理装置1は、検索キー画像データとして、対象画像データの一部分からなる部分画像を用いて検索処理を行うこととしてもよい。例えば不正に流出した画像が、対象画像データの限られた一部分だけであった場合、流出した画像と全体が類似する画像を検索しようとしても、流出した画像の元になった対象画像データを検知することはできない。この場合、画像類否判定部29が、検索キー画像データと比較対象ブロックとが類似するか否かを判定する。これにより、対象画像データの一部が検索キー画像データと類似するような対象画像データを検索することができる。なお、この場合において、検索キー画像データが元の対象画像データのうちどの範囲を占めるかが分かっている場合、画像処理装置1は、検索用データに含まれる画像構造情報を用いて、効率的に対象画像データの検索を行うことができる。すなわち、まず画像構造比較部28が、検索キー画像データが占める対象画像データ内の位置及び大きさに基づいて、これと所定のずれ量の範囲内で位置及び大きさが一致する比較対象ブロックを含んだ対象画像データを、類似候補画像データとして取得する。この処理において、画像構造比較部28は、画像構造情報を用いることによって、画像データの内容の比較を行うことなく、類似候補画像データを取得できる。さらに画像類否判定部29が類似候補画像データの中から比較対象ブロックが検索キー画像データと類似する対象画像データを抽出することにより、効率的に一部が検索キー画像データと類似する対象画像データを検索できる。   Further, the image processing apparatus 1 may perform a search process using a partial image made up of a part of the target image data as the search key image data. For example, if an illegally leaked image is only a limited part of the target image data, even if you try to search for an image that is similar to the leaked image as a whole, the target image data that is the source of the leaked image is detected. I can't do it. In this case, the image similarity determination unit 29 determines whether the search key image data and the comparison target block are similar. Thereby, it is possible to search for target image data in which a part of the target image data is similar to the search key image data. In this case, when it is known which range the search key image data occupies in the original target image data, the image processing apparatus 1 efficiently uses the image structure information included in the search data. The target image data can be searched. That is, first, based on the position and size in the target image data occupied by the search key image data, the image structure comparison unit 28 selects a comparison target block whose position and size match this within a predetermined shift amount range. The included target image data is acquired as similar candidate image data. In this process, the image structure comparison unit 28 can acquire similar candidate image data by using the image structure information without comparing the contents of the image data. Further, the image similarity determination unit 29 extracts target image data in which the comparison target block is similar to the search key image data from the similar candidate image data, so that a target image partially partially similar to the search key image data is efficiently obtained. Search data.

また、画像構造比較部28及び画像類否判定部29は、画像読み取り装置3が記録媒体上に形成された画像を読み取って検索キー画像データを取得する際の読み取り設定情報を取得し、当該読み取り設定情報を用いて検索キー画像データと対象画像データとの間の類否判定を行うこととしてもよい。例えば画像処理装置1は、読み取り設定情報として、読み取り時の解像度と、読み取り倍率と、の少なくとも一方を含む情報を取得する。これらの情報は、画像読み取り装置3により、検索キー画像データの情報とともに画像処理装置1に対して送信される。画像構造比較部28及び画像類否判定部29は、この読み取り設定情報を取得し、当該読み取り設定情報の内容に基づいて、画像の構造若しくは画像の内容の類否判定基準を変更する。すなわち、例えば元の画像に対して画像読み取り時に拡大や縮小がなされた場合、検索キー画像データの画像サイズから読み取り倍率に応じて元の画像サイズを算出し、当該算出された画像サイズに応じて画像の構造などの類否判定を行う。これにより、画像処理装置1は、検索キー画像データを取得する際の画像読み取り処理の内容に応じた検索処理を行うことができる。   In addition, the image structure comparison unit 28 and the image similarity determination unit 29 acquire reading setting information when the image reading device 3 reads an image formed on a recording medium and acquires search key image data, and performs the reading Similarity determination between the search key image data and the target image data may be performed using the setting information. For example, the image processing apparatus 1 acquires information including at least one of the resolution at the time of reading and the reading magnification as the reading setting information. These pieces of information are transmitted to the image processing apparatus 1 together with the search key image data information by the image reading apparatus 3. The image structure comparison unit 28 and the image similarity determination unit 29 acquire the reading setting information, and change the image structure or the similarity determination criterion of the image content based on the content of the reading setting information. That is, for example, when the original image is enlarged or reduced at the time of image reading, the original image size is calculated according to the reading magnification from the image size of the search key image data, and according to the calculated image size. Similarity determination such as image structure is performed. Thereby, the image processing apparatus 1 can perform a search process according to the content of the image reading process when acquiring the search key image data.

また、画像構造比較部28及び画像類否判定部29による検索処理の結果、検索キー画像データに類似する対象画像データを検索できなかった場合、また検索結果にユーザの探している画像データが含まれていなかった場合などにおいては、画像処理装置1は、条件を変更して再度検索を行うこととしてもよい。すなわち、検索キー画像データと、対象画像データと、の少なくとも一方に対して、平行移動、回転、拡大、又は縮小の少なくともいずれか一つの画像変換処理を実行し、当該画像変換処理のなされた画像データを用いて、検索キー画像データと対象画像データとが類似するか否かを判定する。これにより、例えば検索のキーとなる画像を画像読み取り装置3に読み取らせる際にずれが生じて、対象画像データと検索キー画像データがそのままでは類似しなくなってしまうような場合であっても、このようなずれの影響を除いて対象画像データを検索することができる。   Further, when the target image data similar to the search key image data cannot be searched as a result of the search processing by the image structure comparison unit 28 and the image similarity determination unit 29, the search result includes the image data that the user is looking for. If not, the image processing apparatus 1 may perform the search again after changing the conditions. That is, at least one of translation, rotation, enlargement, or reduction is performed on at least one of the search key image data and the target image data, and the image subjected to the image conversion process is executed. Using the data, it is determined whether the search key image data and the target image data are similar. Thus, for example, even when the image reading device 3 reads an image serving as a search key, a shift occurs, and the target image data and the search key image data are not similar as they are. The target image data can be searched without the influence of such a shift.

さらに、画像処理装置1は、検索キー画像データに代えて、例えばユーザの操作部13に対する指示操作によって検索のキーとなる文字列(検索キー文字列)を取得し、当該検索キー文字列を含む対象画像データを検索することとしてもよい。この場合、検索用データ格納部25が各比較対象ブロックに関連づけて格納したテキストデータの中から、検索キー文字列を含むテキストデータを検索する。そして、当該検索したテキストデータに関連づけられた比較対象ブロックを含む対象画像データを、検索処理の結果として出力する。   Furthermore, the image processing apparatus 1 acquires a character string (search key character string) that serves as a search key by, for example, an instruction operation on the operation unit 13 by the user instead of the search key image data, and includes the search key character string. The target image data may be searched. In this case, the search data storage unit 25 searches the text data including the search key character string from the text data stored in association with each comparison target block. Then, target image data including a comparison target block associated with the searched text data is output as a result of the search process.

なお、本発明の実施の形態に係る画像処理装置は、以上説明したようなものに限られない。例えば画像処理装置1は、検索用データを生成して保持する対象画像情報格納処理を実行する画像情報記憶装置と、当該画像情報記憶装置が保持する検索用データを用いて検索処理を実行する画像検索装置と、に分かれていてもよい。また、画像処理装置1は、検索処理の対象となる対象画像データとして、画像読み取り装置3によって読み取られた画像データや、画像形成装置4によって形成された画像データに限らず、種々の画像入出力装置による処理の対象となった画像データを用いることができる。   The image processing apparatus according to the embodiment of the present invention is not limited to the one described above. For example, the image processing apparatus 1 uses an image information storage device that executes target image information storage processing that generates and holds search data, and an image that executes search processing using the search data held by the image information storage device. And a search device. The image processing apparatus 1 is not limited to the image data read by the image reading apparatus 3 or the image data formed by the image forming apparatus 4 as the target image data to be searched. The image data that has been processed by the apparatus can be used.

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。It is a block diagram showing the example of a structure of the image processing apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る画像処理装置の機能の一例を表す機能ブロック図である。It is a functional block diagram showing an example of a function of an image processing device concerning an embodiment of the invention. 本発明の実施の形態に係る画像処理装置による処理の対象となる対象画像データの一例を表す説明図である。It is explanatory drawing showing an example of the object image data used as the object of the process by the image processing apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る画像処理装置が生成する画像構造情報の一例を表す説明図である。It is explanatory drawing showing an example of the image structure information which the image processing apparatus which concerns on embodiment of this invention produces | generates. 本発明の実施の形態に係る画像処理装置によって実行される処理の一例を示すフロー図である。It is a flowchart which shows an example of the process performed by the image processing apparatus which concerns on embodiment of this invention.

符号の説明Explanation of symbols

1 画像処理装置、2 通信ネットワーク、3 画像読み取り装置、4 画像形成装置、11 制御部、12 記憶部、13 操作部、14 表示部、15 通信部、21 対象画像情報取得部、22 画像分割部、23 画像構造情報生成部、24 ブロック画像暗号化部、25 検索用データ格納部、26 ブロック画像検査部、27 検索キー画像取得部、28 画像構造比較部、29 画像類否判定部。   DESCRIPTION OF SYMBOLS 1 Image processing apparatus, 2 Communication network, 3 Image reading apparatus, 4 Image forming apparatus, 11 Control part, 12 Storage part, 13 Operation part, 14 Display part, 15 Communication part, 21 Target image information acquisition part, 22 Image division part , 23 Image structure information generation unit, 24 Block image encryption unit, 25 Search data storage unit, 26 Block image inspection unit, 27 Search key image acquisition unit, 28 Image structure comparison unit, 29 Image similarity determination unit

Claims (8)

検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段と、
前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段と、
を含むことを特徴とする画像処理装置。
For each of a plurality of comparison target blocks obtained by dividing target image data to be searched according to a predetermined division criterion, position information indicating a position in the target image data and the comparison target block are included. Image structure information holding means for holding image structure information associated with property information representing the properties of an image;
Image similarity determination means for determining whether or not the search key image data serving as a search key is similar to the target image data based on the stored image structure information;
An image processing apparatus comprising:
請求項1に記載の画像処理装置において、
前記画像類否判定手段は、前記保持している画像構造情報に基づいて、前記検索キー画像データと、前記対象画像データと、のそれぞれを構成する比較対象ブロックの位置及び当該比較対象ブロックに含まれる画像の性状が類似するか否かを判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The image similarity determination means includes, on the basis of the held image structure information, the position of the comparison target block constituting each of the search key image data and the target image data, and the comparison target block An image processing apparatus that determines whether or not the properties of the images to be processed are similar and determines whether or not the search key image data and the target image data are similar based on the determination result.
請求項1に記載の画像処理装置において、
前記画像類否判定手段は、前記検索キー画像データと、前記比較対象ブロックと、が類似するか否かを判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The image similarity determination unit determines whether or not the search key image data and the comparison target block are similar, and the search key image data and the target image data are similar based on the determination result. An image processing apparatus that determines whether or not to perform.
請求項1乃至3のいずれか一項に記載の画像処理装置において、
前記検索キー画像データは、記録媒体上に形成された画像を画像読み取り装置が読み取って得られる画像データであって、
前記画像読み取り装置が前記検索キー画像データを取得する際の読み取り設定情報を取得する手段をさらに含み、
前記画像類否判定手段は、前記読み取り設定情報を用いて前記検索キー画像データと前記対象画像データとが類似するか否かを判定する
ことを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 3,
The search key image data is image data obtained by an image reading device reading an image formed on a recording medium,
Means for acquiring reading setting information when the image reading device acquires the search key image data;
The image processing apparatus according to claim 1, wherein the image similarity determination unit determines whether the search key image data and the target image data are similar using the reading setting information.
請求項4に記載の画像処理装置において、
前記読み取り設定情報は、読み取り時の解像度と、読み取り倍率と、の少なくとも一方を含むことを特徴とする画像処理装置。
The image processing apparatus according to claim 4.
The image processing apparatus, wherein the reading setting information includes at least one of a reading resolution and a reading magnification.
請求項1乃至5のいずれか一項に記載の画像処理装置において、
前記画像類否判定手段は、前記検索キー画像データと、前記対象画像データと、の少なくとも一方に対して、平行移動、回転、拡大、又は縮小の少なくともいずれか一つの変換を実行した画像データを用いて、前記検索キー画像データと前記対象画像データとが類似するか否かを判定することを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 5,
The image similarity determination unit obtains image data obtained by performing at least one of translation, rotation, enlargement, and reduction on at least one of the search key image data and the target image data. And determining whether or not the search key image data and the target image data are similar to each other.
コンピュータを用いて、
検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持するステップと、
前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定するステップと、
を実行することを特徴とする画像処理方法。
Using a computer
For each of a plurality of comparison target blocks obtained by dividing target image data to be searched according to a predetermined division criterion, position information indicating a position in the target image data and the comparison target block are included. Holding image structure information associated with property information representing image properties;
Determining whether or not the search key image data serving as a search key is similar to the target image data based on the held image structure information;
The image processing method characterized by performing.
検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段、及び
前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段、
としてコンピュータを機能させることを特徴とするプログラム。
For each of a plurality of comparison target blocks obtained by dividing target image data to be searched according to a predetermined division criterion, position information indicating the position in the target image data and the comparison target block are included. Image structure information holding means for holding image structure information associated with property information representing image properties, search key image data serving as a search key based on the held image structure information, and the target image data And image similarity determination means for determining whether or not
A program characterized by causing a computer to function.
JP2006206777A 2006-07-28 2006-07-28 Image processing apparatus, image processing method, and program Expired - Fee Related JP4826378B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006206777A JP4826378B2 (en) 2006-07-28 2006-07-28 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006206777A JP4826378B2 (en) 2006-07-28 2006-07-28 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2008033665A true JP2008033665A (en) 2008-02-14
JP4826378B2 JP4826378B2 (en) 2011-11-30

Family

ID=39123002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006206777A Expired - Fee Related JP4826378B2 (en) 2006-07-28 2006-07-28 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP4826378B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103251422A (en) * 2012-01-30 2013-08-21 株式会社东芝 Medical image processing apparatus, program, and medical apparatus
CN114640855A (en) * 2019-04-09 2022-06-17 西安万像电子科技有限公司 Data processing method and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319232A (en) * 2000-05-11 2001-11-16 Fuji Xerox Co Ltd Device and method for retrieving similar image
JP2002245048A (en) * 2001-02-20 2002-08-30 Mitsubishi Electric Corp Method and device for retrieving image
JP2003330677A (en) * 2002-05-14 2003-11-21 Ricoh Co Ltd Print data managing system and method and its program and recording medium
JP2004295561A (en) * 2003-03-27 2004-10-21 Minolta Co Ltd Data management program for managing data, apparatus and method therefor
JP2005151127A (en) * 2003-11-14 2005-06-09 Canon Inc Image processing system and method
JP2005175641A (en) * 2003-12-08 2005-06-30 Fuji Xerox Co Ltd Image processor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319232A (en) * 2000-05-11 2001-11-16 Fuji Xerox Co Ltd Device and method for retrieving similar image
JP2002245048A (en) * 2001-02-20 2002-08-30 Mitsubishi Electric Corp Method and device for retrieving image
JP2003330677A (en) * 2002-05-14 2003-11-21 Ricoh Co Ltd Print data managing system and method and its program and recording medium
JP2004295561A (en) * 2003-03-27 2004-10-21 Minolta Co Ltd Data management program for managing data, apparatus and method therefor
JP2005151127A (en) * 2003-11-14 2005-06-09 Canon Inc Image processing system and method
JP2005175641A (en) * 2003-12-08 2005-06-30 Fuji Xerox Co Ltd Image processor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103251422A (en) * 2012-01-30 2013-08-21 株式会社东芝 Medical image processing apparatus, program, and medical apparatus
US9053172B2 (en) 2012-01-30 2015-06-09 Kabushiki Kaisha Toshiba Medical image processing apparatus, program, and medical apparatus
CN114640855A (en) * 2019-04-09 2022-06-17 西安万像电子科技有限公司 Data processing method and system

Also Published As

Publication number Publication date
JP4826378B2 (en) 2011-11-30

Similar Documents

Publication Publication Date Title
JP5247601B2 (en) Image processing apparatus, image processing method, and computer program
US20090106699A1 (en) Image processing device and image processing method
JP5942640B2 (en) Image processing apparatus and computer program
JP4539720B2 (en) Image processing apparatus and method, and program therefor
JP2006189924A (en) Image display program and image display apparatus
US20100053656A1 (en) Image processing apparatus capable of processing color image, image processing method and storage medium storing image processing program
JP4826378B2 (en) Image processing apparatus, image processing method, and program
JP2008046795A (en) Image processor, image processing method and program
JP4872524B2 (en) Image processing apparatus, image processing method, and program
JP2008294581A (en) Image processor and image processing server
US10638001B2 (en) Information processing apparatus for performing optical character recognition (OCR) processing on image data and converting image data to document data
JP5428967B2 (en) Document processing system and document processing program
JP2008046794A (en) Image processor, and image processing method and program
JP2008033663A (en) Image processor, image processing method, and program
JP2005149097A (en) Image processing system and image processing method
JP4501731B2 (en) Image processing device
US12081718B2 (en) Information processing apparatus and non-transitory computer readable medium for generating design element of document data
JP7342518B2 (en) Image processing device and image processing program
JP4677889B2 (en) Log information recording apparatus, log information recording method, and program
JP2007104329A (en) Apparatus and method for image processing
JP4960401B2 (en) Image display program and image display apparatus
JP4158681B2 (en) Image processing system
JP2007299321A (en) Information processor, information processing method, information processing program and information storage medium
JP2006146486A (en) Image processor
JP4442416B2 (en) Document processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4826378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370