JP2007334445A - Image processor and program - Google Patents
Image processor and program Download PDFInfo
- Publication number
- JP2007334445A JP2007334445A JP2006162697A JP2006162697A JP2007334445A JP 2007334445 A JP2007334445 A JP 2007334445A JP 2006162697 A JP2006162697 A JP 2006162697A JP 2006162697 A JP2006162697 A JP 2006162697A JP 2007334445 A JP2007334445 A JP 2007334445A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- search
- information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and a program.
例えばプリンタや、複写機、スキャナ、ファックス送受信装置などの、画像データの入出力を行う画像処理装置は、一般に画像データの入出力処理に対するログ情報を生成し、記録している。しかし、単に入出力処理の履歴をログ情報として記録するだけでは、後にログ情報の内容をユーザが確認しても、実際にどのような画像データが入出力されたのか、調査することができない。すなわち、例えば調査対象としたい画像が形成された紙などの記録媒体が手元にあったとしても、ユーザは入出力処理の履歴だけからでは、当該調査対象としたい画像がいつ、誰によって画像形成装置により記録媒体上に形成されたか、調査することができない。 For example, image processing apparatuses that input and output image data, such as printers, copiers, scanners, and fax transmission / reception apparatuses, generally generate and record log information for input / output processing of image data. However, simply recording the history of input / output processing as log information makes it impossible to investigate what image data was actually input / output even if the user later confirmed the contents of the log information. That is, for example, even if a recording medium such as paper on which an image to be investigated is formed is at hand, the user only needs to know when and who the image to be investigated is based on the input / output processing history. Therefore, it is impossible to investigate whether the recording medium is formed on the recording medium.
このような問題に対して、画像の印刷に際して、ログ情報に出力画像データ自体を含めることで、後にログ情報を調査して出力画像データを確認することのできる技術がある（例えば特許文献１参照）。
しかしながら、上記従来例の技術においては、ログ情報を用いて画像データの検索を行う際の便宜について十分に配慮されていない。そのため、検索のキーとなる検索キー画像（例えば流出画像など）に類似する画像を検索の対象となる対象画像の中から検索しようとする場合、検索キー画像と全ての対象画像との比較を一つ一つ実行する必要があり、効率が悪い。 However, in the technology of the above-described conventional example, sufficient consideration is not given to convenience when searching for image data using log information. Therefore, when an image similar to a search key image (for example, a leaked image) that is a search key is to be searched from target images to be searched, a comparison between the search key image and all target images is performed. It is necessary to execute them one by one, which is inefficient.
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、検索の対象となる対象画像に関する情報を保持して、当該対象画像の検索処理を行う場合に、検索処理の効率を向上できる画像処理装置及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and one of its purposes is to store information related to a target image to be searched and perform search processing of the target image. An object of the present invention is to provide an image processing apparatus and program capable of improving efficiency.
上記課題を解決するための本発明に係る画像処理装置は、検索の対象となる対象画像を複数の単位画像に分割する対象画像分割手段と、前記単位画像の画像特徴量を算出する画像特徴量算出手段と、前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段と、を含むことを特徴とする。 In order to solve the above problems, an image processing apparatus according to the present invention includes a target image dividing unit that divides a target image to be searched into a plurality of unit images, and an image feature amount that calculates an image feature amount of the unit image. A calculation means and, for an image part including a predetermined number of the unit images, search index information to be associated with the image part is determined based on the image feature amount of the unit image included in the image part. And data storage means for selectively determining image portion specifying information for specifying the image portion and storing it in the search database in association with the determined search index information.
上記画像処理装置において、前記対象画像分割手段は、前記対象画像を互いに異なる大きさの複数種類の単位画像に分割し、前記データ格納手段は、それぞれ前記複数種類の単位画像を所定の数含んでなる複数種類の画像部分について、当該画像部分を特定する画像部分特定情報を前記検索用データベースに格納することとしてもよい。 In the image processing apparatus, the target image dividing unit divides the target image into a plurality of types of unit images having different sizes, and the data storage unit includes a predetermined number of the plurality of types of unit images. For a plurality of types of image portions, image portion specifying information for specifying the image portions may be stored in the search database.
また、本発明に係る別の画像処理装置は、検索の対象となる各対象画像を分割して得た単位画像を、所定の数含んでなる画像部分について、当該各画像部分を特定する画像部分特定情報を、当該各画像部分に含まれる単位画像ごとに算出される画像特徴量を用いて定められる検索見出し情報に関連づけて保持する検索用データベースから、データを読み出すデータ読み出し手段と、検索のキーとなる検索キー画像を複数の単位画像に分割する検索キー画像分割手段と、前記検索キー画像分割手段により得られる単位画像の画像特徴量を算出する画像特徴量算出手段と、前記検索キー画像分割手段により得られる単位画像を前記所定の数だけ含んでなる画像部分について、前記検索用データベースにおいて、当該画像部分に含まれる単位画像の画像特徴量を用いて定められる検索見出し情報に関連づけられた画像部分特定情報を、前記データ読み出し手段に読み出させて取得する画像部分特定情報取得手段と、前記取得された画像部分特定情報に基づいて、前記複数の対象画像の中から前記検索キー画像に類似する類似画像を選択する類似画像選択手段と、を含むことを特徴とする。 Further, another image processing apparatus according to the present invention provides an image portion for specifying each image portion with respect to an image portion including a predetermined number of unit images obtained by dividing each target image to be searched. Data reading means for reading data from a search database that holds specific information in association with search index information determined using image feature values calculated for each unit image included in each image portion, and a search key A search key image dividing means for dividing the search key image into a plurality of unit images, an image feature quantity calculating means for calculating an image feature quantity of the unit image obtained by the search key image dividing means, and the search key image division For the image portion including the predetermined number of unit images obtained by the means, the unit image included in the image portion is stored in the search database. Based on the acquired image part specifying information, image part specifying information acquiring means for reading the data reading means to acquire the image part specifying information associated with the search index information determined using the image feature amount And a similar image selecting means for selecting a similar image similar to the search key image from the plurality of target images.
上記画像処理装置において、前記検索キー画像分割手段により得られる単位画像と、前記各対象画像を分割して得た単位画像と、は互いに異なる大きさであることとしてもよい。 In the image processing apparatus, the unit image obtained by the search key image dividing unit and the unit image obtained by dividing each target image may have different sizes.
また、上記画像処理装置において、前記画像部分特定情報取得手段は、前記検索キー画像分割手段により得られる単位画像の画像特徴量を用いて定められる検索見出し情報として、当該画像特徴量を含む所定範囲の画像特徴量の値に対応する検索見出し情報を用いることとしてもよい。 In the image processing apparatus, the image portion specifying information acquisition unit includes a predetermined range including the image feature amount as search index information determined using the image feature amount of the unit image obtained by the search key image dividing unit. Search headline information corresponding to the image feature value may be used.
また、本発明に係るプログラムは、検索の対象となる対象画像を複数の単位画像に分割する対象画像分割手段、前記単位画像の画像特徴量を算出する画像特徴量算出手段、及び前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段、としてコンピュータを機能させることを特徴とする。 The program according to the present invention includes a target image dividing unit that divides a target image to be searched into a plurality of unit images, an image feature amount calculating unit that calculates an image feature amount of the unit image, and the unit image. With respect to an image portion including a predetermined number, search headline information to be associated with the image portion is selectively selected from any of a plurality of search headline information candidates based on an image feature amount of a unit image included in the image portion. The computer is caused to function as data storage means for storing image portion specifying information for specifying and specifying the image portion in a search database in association with the determined search index information.
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置１は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、及び通信部１５を含んで構成されている。また、ここでは画像処理装置１は、通信ネットワーク２を介して画像読み取り装置３、及び画像形成装置４と接続されているものとする。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. As illustrated in FIG. 1, the
制御部１１は、ＣＰＵ等であって、記憶部１２に格納されたプログラムに従って動作する。本実施形態においては、制御部１１は、検索対象となる対象画像に関する情報を検索用データベースに格納する画像情報登録処理を行う。また、検索用データベースに格納されているデータを用いて、検索キー画像と類似する画像を対象画像の中から検索する類似画像検索処理を行う。本実施形態において制御部１１が実行する処理の例については、後述する。
The
記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な情報記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。さらに本実施形態においては、記憶部１２は、対象画像に関する情報を含む検索用データベースＤを記憶している。検索用データベースＤの内容については、後述する。
The
操作部１３は、例えばキーボードやマウス等であり、ユーザの指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、例えばディスプレイ等であり、制御部１１からの指示に従って、情報の表示を行う。
The
通信部１５は、ネットワークインタフェースであって、制御部１１からの指示に従って、通信ネットワーク２を介して情報を送信する。また、通信部１５は、通信ネットワーク２を介して到来する情報を受信して制御部１１に出力する。
The
また、画像読み取り装置３は、紙などの記録媒体上に形成されている画像を、光学的に読み取ってスキャン画像データを生成する。画像形成装置４は、例えば通信ネットワーク２を介して到来する画像形成命令に基づいて、当該画像形成命令に含まれる画像データにより表される形成画像を紙などの記録媒体上に形成する。
The
次に、画像処理装置１が実現する機能について説明する。ここでは一例として、画像処理装置１は、画像形成装置４が記録媒体上に形成する形成画像の情報を取得し、検索用データベースＤに登録する画像情報登録処理を実行することとする。さらに画像処理装置１は、画像読み取り装置３が記録媒体から読み取って得られたスキャン画像を検索キー画像として取得し、当該検索キー画像と類似する画像を画像形成装置４の形成画像の中から検索する類似画像検索処理を実行することとする。
Next, functions realized by the
画像処理装置１は、機能的には図２に示すように、対象画像分割部２１と、対象画像特徴量算出部２２と、データ格納部２３と、データ読み出し部２４と、検索キー画像分割部２５と、検索キー画像特徴量算出部２６と、画像部分特定情報取得部２７と、類似画像選択部２８と、を含んで構成されている。これらの機能は、例えば制御部１１が記憶部１２に格納されたプログラムを実行することによって実現できる。ここで、当該プログラムは、通信ネットワークを介して提供されてもよいし、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な各種情報記録媒体に格納されて提供されるものであってもよい。
Functionally, as shown in FIG. 2, the
まず、対象画像分割部２１、対象画像特徴量算出部２２、及びデータ格納部２３が実現する機能について説明する。これらの機能によって、画像処理装置１は検索対象となる対象画像に関する情報を検索用データベースＤに登録する画像情報登録処理を実行する。
First, the functions realized by the target
対象画像分割部２１は、検索の対象となる対象画像を取得し、取得した対象画像を複数の単位画像に分割する。具体例として、まず画像形成装置４は通信ネットワーク２を介して到来する画像形成命令に基づいて、紙などの記録媒体上に形成画像（対象画像）を形成する画像形成処理を実行する。そして、通信ネットワーク２を介して当該対象画像の画像データを画像処理装置１に対して送信する。このとき画像形成装置４は、対象画像の情報とともに、当該画像を記録媒体上に形成する画像形成処理に関するログ情報（画像形成処理を実行した日時、実行を指示したユーザ名など）を送信することとしてもよい。対象画像分割部２１は、画像形成装置４から送信される対象画像の画像データを受信することにより、取得する。
The target
そして、対象画像分割部２１は、取得した対象画像を単位画像に分割する。例えば対象画像分割部２１は、対象画像を所定の大きさの単位画像に分割する。あるいは対象画像分割部２１は、対象画像を所定の数に分割することにより、単位画像を得ることとしてもよい。具体的に、例えば対象画像分割部２１は、対象画像を縦４行、横４列で合計１６個の矩形の単位画像に分割する。図３は、この場合の分割された対象画像を示す説明図である。図３においては、対象画像は破線に沿って１６個の単位画像に分割されている。なお、図中において示されている数字は、各単位画像を識別するための識別番号の一例を示している。
Then, the target
なお、対象画像分割部２１は、対象画像を複数の異なる条件に基づいて複数回分割することによって、互いに異なる大きさの複数種類の単位画像を得ることとしてもよい。例えば対象画像分割部２１は、前述した１６個の単位画像を得るとともに、さらに同じ対象画像を縦２行、横２列で合計４個の矩形の単位画像に分割してもよい。これにより、対象画像の４分の１の大きさの単位画像４個と、対象画像の１６分の１の大きさの単位画像１６個と、からなる合計２０個の単位画像が得られることになる。
The target
対象画像特徴量算出部２２は、対象画像分割部２１によって得られる単位画像の画像特徴量を算出する。ここで画像特徴量としては、様々なものを用いることができる。例えば、単位画像に含まれる色数や、各成分色（例えば赤、緑、青など）の平均画素値（平均濃度）、また単位画像をモノクロ画像化した場合の平均濃度などを用いてもよい。また、エッジ量（隣接画素間の濃度差）や、コントラスト、局所相関などに関する情報を用いてもよい。
The target image feature
データ格納部２３は、単位画像を所定の数Ｎだけ含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定める。そして、当該画像部分を特定する画像部分特定情報を、当該定めた検索見出し情報に関連づけて検索用データベースＤに格納する。ここで、所定の数Ｎは１であってもよいし、２以上であってもよい。
The
具体例として、データ格納部２３は、まず検索用データベースＤに登録する対象となる複数の画像部分（登録対象画像部分）を特定する。各登録対象画像部分は、単位画像を所定の数Ｎだけ含んでいる。またここでは、登録対象画像部分は、所定の形状であることとする。具体例として、所定の数Ｎが３である場合、各登録対象画像部分に含まれる３個の単位画像は、対象画像中で例えば横一列に並んでいることとする。すなわち、一つの検索用データベースＤに登録される登録対象画像部分のうち、このような３個の単位画像が横一列に並んだ画像部分と、縦一列に並んだ画像部分やＬ字型に並んだ画像部分とは、混在しないこととなる。ただし、対象画像分割部２１が対象画像をそれぞれ異なる大きさの単位画像に複数回分割している場合、単位画像をＮ個含んだ各登録対象画像部分の大きさは、互いに異なってもよい。
As a specific example, the
なお、各登録対象画像部分は、互いに重なってもよい。すなわち、対象画像に含まれる各単位画像のうち、複数の登録対象画像部分に属する単位画像があってもよい。 Each registration target image portion may overlap each other. That is, there may be unit images belonging to a plurality of registration target image portions among the unit images included in the target image.
ここで、登録対象画像部分は、画像部分特定情報によって特定される。具体的に画像部分特定情報は、当該情報によって特定される登録対象画像部分を含んだ対象画像と、対象画像内における登録対象画像部分の位置と、を特定する情報である。具体例として、画像部分特定情報は、対象画像の識別情報と、対象画像内の登録対象画像部分の位置を表す位置情報とを含んでなる。位置情報は、例えば対象画像内の座標値であってもよいし、対象画像内の位置に応じて予め定められた識別番号などであってもよい。あるいは、位置情報に代えて、画像部分特定情報は、登録対象画像部分に含まれる単位画像の対象画像内における位置を示す情報（例えば単位画像の識別番号など）を含むこととしてもよい。さらに、対象画像分割部２１によって大きさの異なる複数種類の単位画像が得られる場合、画像部分特定情報は、登録対象画像部分に含まれる単位画像の大きさに関する情報を含んでもよい。
Here, the registration target image portion is specified by the image portion specifying information. Specifically, the image part specifying information is information for specifying the target image including the registration target image part specified by the information and the position of the registration target image part in the target image. As a specific example, the image part specifying information includes identification information of the target image and position information indicating the position of the registration target image part in the target image. The position information may be, for example, a coordinate value in the target image, or may be an identification number determined in advance according to the position in the target image. Alternatively, instead of the position information, the image part specifying information may include information (for example, an identification number of the unit image) indicating the position of the unit image included in the registration target image part in the target image. Furthermore, when the target
次にデータ格納部２３は、登録対象画像部分に含まれる単位画像について対象画像特徴量算出部２２が算出した画像特徴量に基づいて、登録対象画像部分に関連づける検索見出し情報を、複数の検索見出し情報の候補のいずれかから選択的に定める。
Next, the
ここで検索見出し情報の各候補は、対象画像特徴量算出部２２によって算出される画像特徴量がとり得る値（候補値）を、Ｎ個組み合わせた組からなる。具体例として、所定の数Ｎが２である場合の例について説明する。また、この例においては、対象画像特徴量算出部２２が算出する画像特徴量は、端数について四捨五入されて０から２５５までの整数値をとり得ることとする。この場合、検索見出し情報の候補は、１番目の単位画像の画像特徴量の値Ｖ１と、２番目の単位画像の画像特徴量の値Ｖ２と、の組（Ｖ１，Ｖ２）（Ｖ１及びＶ２はともに０から２５５までの値）で表される。この例においては、全部で６５５３６個（２５６×２５６）の検索見出し情報の候補が予め定められていることとなる。そして、データ格納部２３は、登録対象画像部分に含まれる２個の単位画像のうち、各単位画像の位置関係に応じて決まる１番目の単位画像と、２番目の単位画像と、のそれぞれについて算出された画像特徴量に基づいて、対応する検索見出し情報を６５５３６個の候補の中から選択する。
Here, each candidate for the search headline information is composed of a combination of N values (candidate values) that can be taken by the image feature quantity calculated by the target image feature
なお、ここでは検索見出し情報の候補が画像特徴量のとり得る候補値の組み合わせからなる場合の例について説明したが、検索見出し情報の候補は、候補値そのものではなく、候補値の所定範囲の組み合わせからなるものであってもよい。すなわち、例えば前述した例のように画像特徴量のとり得る値の範囲が０から２５５までの場合に、所定範囲として０から３１まで、３２から６３まで、６４から９５まで、９６から１２７まで、１２８から１５９まで、１６０から１９１まで、１９２から２２３まで、２２４から２５５まで、の８つの範囲に画像特徴量のとり得る値の範囲を分割する。そしてＮ＝２の場合、この所定範囲の組として、６４個（８×８）の検索見出し情報の候補が予め定められる。データ格納部２３は、登録対象画像部分に含まれる単位画像について算出された画像特徴量が、それぞれどの範囲に含まれるかによって、検索見出し情報を６４個の候補の中から選択する。
Here, an example has been described in which search headline information candidates are composed of combinations of candidate values that can be taken by the image feature amount. However, search headline information candidates are not candidate values themselves, but combinations of predetermined ranges of candidate values. It may consist of. That is, for example, when the range of values that the image feature value can take is 0 to 255 as in the above-described example, the predetermined range is 0 to 31, 32 to 63, 64 to 95, 96 to 127, The range of possible values of the image feature amount is divided into eight ranges from 128 to 159, 160 to 191, 192 to 223, 224 to 255. When N = 2, 64 (8 × 8) search index information candidates are determined in advance as a set of the predetermined range. The
また、検索見出し情報の候補は、複数の画像特徴量の組み合わせからなるものであってもよい。例えば対象画像特徴量算出部２２が、各単位画像について、第１の画像特徴量Ｆ１及び第２の画像特徴量Ｆ２それぞれの値を算出するものとする。この場合、Ｎ＝２であれば、検索見出し情報の候補は、１番目の単位画像についての画像特徴量Ｆ１の値Ｖ１１及び画像特徴量Ｆ２の値Ｖ１２、並びに２番目の単位画像についての画像特徴量Ｆ１の値Ｖ２１及び画像特徴量Ｆ２の値Ｖ２２、の４つの値の組（Ｖ１１，Ｖ１２，Ｖ２１，Ｖ２２）で表される。そして、データ格納部２３は、登録対象画像部分を関連づけるべき検索見出し情報を、当該画像部分に含まれる２個の単位画像のそれぞれについて算出された画像特徴量Ｆ１及びＦ２の値に基づいて、検索見出し情報の候補の中から選択する。
In addition, the search headline information candidate may be a combination of a plurality of image feature amounts. For example, it is assumed that the target image feature
データ格納部２３は、登録対象部分を関連づけるべき検索見出し情報を決定した後、当該画像部分を特定する画像部分特定情報を、決定した検索見出し情報に関連づけて検索用データベースＤに格納する。これにより、登録対象画像部分に関する情報が検索用データベースＤに追加される。データ格納部２３は、対象画像に含まれる全ての登録対象画像部分について、以上説明した処理を行う。
After determining the search index information to which the registration target part should be associated, the
ここで、このようにしてデータ格納部２３により画像部分特定情報が格納された検索用データベースＤの一例について説明する。ここでは簡単のため、Ｎ＝１、すなわち画像部分が単位画像に一致する場合の例について説明する。また、対象画像は前述した例のように４分割及び１６分割され、対象画像の４分の１の大きさの単位画像４個と、１６分の１の大きさの単位画像１６個と、が各対象画像について得られるものとする。
Here, an example of the search database D in which the image part specifying information is stored by the
図４は、このような検索用データベースＤの一例を示す図である。図４に示されるように、検索用データベースＤは、検索見出し情報に対して、対象画像識別情報及び単位画像識別番号からなる画像部分特定情報が関連づけられたデータである。ここで図中の検索見出し情報の欄に示されているｆ１，ｆ２，ｆ３，ｆ４，・・・は、画像特徴量の値を表している。また、Ｉ１及びＩ２は対象画像を識別する対象画像識別情報を表している。 FIG. 4 is a diagram showing an example of such a search database D. As shown in FIG. As shown in FIG. 4, the search database D is data in which image part specifying information including target image identification information and unit image identification numbers is associated with search index information. Here, f1, f2, f3, f4,... Shown in the column of search heading information in the figure represent values of image feature amounts. I1 and I2 represent target image identification information for identifying the target image.
さらに、Ｕ（４，ｎ）（ｎ＝１，２，３，４）は、各対象画像を４分割して得られる単位画像のそれぞれを識別する単位画像識別情報を示している。ここで、Ｕ（４，１）が対象画像の左上に、Ｕ（４，２）が対象画像の右上に、Ｕ（４，３）が対象画像の左下に、Ｕ（４，４）が対象画像の右下に位置する単位画像にそれぞれ対応づけられている。また、同様に、Ｕ（１６，ｍ）（ｍ＝１，２，３，・・・，１６）が、各対象画像を１６分割して得られる単位画像のそれぞれを識別する単位画像識別情報を示している。この単位画像識別情報Ｕ（１６，ｍ）は、それぞれ対象画像中の所定の位置にある単位画像に対応づけられており、図３に示されている数字がそれぞれの単位画像識別情報におけるｍの値を示している。例えばＵ（１６，４）は、対象画像を１６分割して得られる単位画像のうち、右上に位置する単位画像に対応づけられている。この単位画像識別情報によって、各画像部分に含まれる単位画像の対象画像中における位置及び大きさが特定される。 Further, U (4, n) (n = 1, 2, 3, 4) indicates unit image identification information for identifying each unit image obtained by dividing each target image into four. Here, U (4, 1) is the upper left of the target image, U (4, 2) is the upper right of the target image, U (4, 3) is the lower left of the target image, and U (4, 4) is the target. Each unit image is associated with the lower right image. Similarly, U (16, m) (m = 1, 2, 3,..., 16) indicates unit image identification information for identifying each unit image obtained by dividing each target image into 16 units. Show. The unit image identification information U (16, m) is associated with a unit image at a predetermined position in the target image, and the numbers shown in FIG. The value is shown. For example, U (16, 4) is associated with a unit image located at the upper right among unit images obtained by dividing the target image into 16 parts. With this unit image identification information, the position and size of the unit image included in each image portion in the target image are specified.
次に、画像処理装置１が実行する画像情報登録処理の流れの一例について、図５のフロー図に基づいて説明する。
Next, an example of the flow of image information registration processing executed by the
まず、対象画像分割部２１が、画像形成装置４から受信したデータに基づいて、対象画像の画像データを取得する（Ｓ１）。そして、取得した対象画像を、所定の条件に基づいて複数の単位画像に分割する（Ｓ２）。
First, the target
次に、対象画像特徴量算出部２２が、Ｓ２で得られた各単位画像の画像特徴量を算出する（Ｓ３）。
Next, the target image feature
続いて、データ格納部２３が、検索用データベースＤに対する登録対象となる登録対象画像部分について、まず画像部分特定情報を決定する（Ｓ４）。そして、Ｓ４で決定した画像部分特定情報により特定される登録対象画像部分に対して、当該画像部分に含まれる単位画像についてＳ３で算出された画像特徴量に基づいて、検索見出し情報を決定する（Ｓ５）。さらに、データ格納部２３は、Ｓ５で決定した検索見出し情報に関連づけて、Ｓ４で決定した画像部分特定情報を検索用データベースＤに格納する（Ｓ６）。
Subsequently, the
次にデータ格納部２３は、対象画像に含まれる全ての登録対象画像部分について、Ｓ４からＳ６までの処理を実行して登録対象画像部分の情報を検索用データベースＤに格納したか否かを判定する（Ｓ７）。まだ検索用データベースＤに登録されていない登録対象画像部分があれば、データ格納部２３はＳ４に戻って未処理の登録対象画像部分について処理を続行する。
Next, the
一方、全ての登録対象画像部分の情報を格納した場合、次に対象画像分割部２１は、予め定められた全ての条件に基づいて対象画像の分割を行ったか否かを判定する（Ｓ８）。複数の条件に基づいて対象画像を複数種類の単位画像に分割するよう定められており、かつ全ての条件に応じた処理を実行していない場合、対象画像分割部２１はＳ２に戻って異なる条件に基づいて対象画像を分割する処理を続行する。一方、予め定められた全ての条件に基づいて対象画像の分割を行い、得られた単位画像に対する処理を実行した場合、画像処理装置１は画像情報登録処理を終了する。
On the other hand, when the information of all the registration target image portions is stored, the target
以上説明した処理により、画像処理装置１は、登録対象となった対象画像を様々な大きさの単位画像に分割し、当該単位画像を所定の数だけ含んだ複数の画像部分の情報を、画像特徴量に応じた検索見出し情報に関連づけて検索用データベースＤに登録できる。
Through the processing described above, the
次に、データ読み出し部２４、検索キー画像分割部２５、検索キー画像特徴量算出部２６、画像部分特定情報取得部２７、及び類似画像選択部２８が実現する機能について説明する。これらの機能によって、画像処理装置１は検索用データベースＤに格納されているデータを用いて、検索キー画像と類似する画像を対象画像の中から検索する類似画像検索処理を実行する。
Next, functions realized by the
データ読み出し部２４は、検索用データベースＤからデータを読み出す。ここではデータ読み出し部２４は、画像部分特定情報取得部２７からの要求に従って、特定の検索見出し情報に関連づけられた画像部分特定情報の読み出しを行う。
The
検索キー画像分割部２５は、検索のキーとなる検索キー画像を取得し、取得した検索キー画像を複数の単位画像に分割する。具体的に、例えば検索キー画像分割部２５は、まず以下のようにして検索キー画像を取得する。例えば不正に流出したと思われる画像が形成された記録媒体を入手した場合、ユーザは画像読み取り装置３に対して、検索キー画像であることを指定して、当該記録媒体に形成された画像を読み取らせる。これにより、画像読み取り装置３は、読み取って得られたスキャン画像データを、検索キー画像である旨の情報とともに画像処理装置１に対して送信する。この送信されたデータを受け入れることにより、検索キー画像分割部２５は検索キー画像の画像データを取得する。
The search key
さらに検索キー画像分割部２５は、対象画像分割部２１と同様にして、取得した検索キー画像を所定の大きさ又は数の単位画像に分割する。
Further, the search key
ここで、検索キー画像分割部２５は、対象画像分割部２１と同様に、検索キー画像を複数の異なる条件に基づいて複数回分割することによって、互いに異なる大きさの複数種類の単位画像を得ることとしてもよい。また、検索キー画像分割部２５によって得られる単位画像は、対象画像分割部２１によって得られる単位画像と異なる大きさの画像であってもよい。このように、対象画像分割部２１によって得られる単位画像と異なる大きさの単位画像を生成し、後述するようにこの異なる大きさの単位画像を含んだ画像部分どうしを比較することにより、検索キー画像が、画像サイズの異なる対象画像と類似するか否かを判定することができる。
Here, like the target
検索キー画像特徴量算出部２６は、検索キー画像分割部２５によって得られる単位画像の画像特徴量を算出する。具体的に、検索キー画像特徴量算出部２６は、対象画像に含まれる単位画像ついて対象画像特徴量算出部２２が算出した画像特徴量と同じ種類の画像特徴量について、算出を行う。
The search key image feature
画像部分特定情報取得部２７は、検索キー画像分割部２５によって得られる単位画像を所定の数Ｎだけ含んでなる画像部分（比較対象画像部分）について、検索用データベースＤにおいて、当該画像部分に含まれる単位画像の画像特徴量を用いて定められる検索見出し情報に関連づけられた画像部分特定情報を取得する。画像部分特定情報取得部２７は、このような画像部分特定情報を、データ読み出し部２４に検索用データベースＤから読み出させることによって取得する。
The image part specifying
具体的に、画像部分特定情報取得部２７は、まずデータ格納部２３と同様にして、検索キー画像に含まれる比較対象画像部分を特定する。比較対象画像部分は、検索用データベースＤに登録されている登録対象画像部分と比較する対象となる検索キー画像内の画像部分である。比較対象画像部分は、検索用データベースＤに登録されている各登録対象画像部分と同じ数だけ単位画像を含んでおり、かつ当該画像部分内の単位画像の配置が登録対象画像部分と同じ配置となるように決定される。ただし、前述したように、その大きさは登録対象画像部分の大きさと異なってもよい。
Specifically, the image part specifying
画像部分特定情報取得部２７は、この比較対象画像部分に含まれる単位画像の画像特徴量に基づいて、データ格納部２３と同様にして、検索見出し情報を決定する。そして、検索用データベースＤにおいて当該決定した検索見出し情報に関連づけられた画像部分特定情報を取得する。これにより画像部分特定情報取得部２７は、検索キー画像に含まれる比較対象画像部分に対して、当該各比較対象画像部分と類似する可能性のある類似候補画像部分を、複数の対象画像に含まれる登録対象画像部分の集合の中から抽出することができる。ここで述べた画像部分特定情報を取得する処理は、例えばデータベースに登録された登録対象画像部分を網羅的に検索して条件を満たす画像部分を抽出する処理に比べて簡易な処理であり、処理時間も比較的短い。このような処理によって検索キー画像に類似する画像の候補を絞り込むことにより、画像処理装置１は、検索処理の際の処理効率を向上できる。
The image part specifying
なお、画像部分特定情報取得部２７は、検索用データベースＤから画像部分特定情報を取得する対象となる検索見出し情報を決定する場合に、以下のようにしてもよい。すなわち、比較対象画像部分に含まれる単位画像について算出された画像特徴量の値に対して、当該画像特徴量の値そのものに一致する検索見出し情報だけでなく、算出された画像特徴量の値の近傍の値に対応する検索見出し情報を、画像部分特定情報を取得する対象として決定する。例えば、比較対象画像部分に含まれる単位画像について算出された画像特徴量の値を含む所定範囲の値に対応する検索見出し情報を、画像部分特定情報を取得する対象として決定する。そして、このような検索見出し情報に関連づけられた画像部分特定情報を取得する。これにより、画像部分特定情報取得部２７は、比較対象画像部分に含まれる単位画像と、画像特徴量の差が所定値以下となるような単位画像を含んだ登録対象画像部分を、比較対象画像部分に類似する可能性のある類似候補画像部分として抽出できる。
Note that the image part specifying
類似画像選択部２８は、画像部分特定情報取得部２７が取得した画像部分特定情報に基づいて、検索対象となる複数の対象画像の中から検索キー画像に類似する類似画像を選択する。具体的には、検索キー画像内における比較対象画像部分の位置関係と、同じ位置関係で対象画像中に含まれる類似候補画像部分があるか否かを判定し、このような条件を満たす類似候補画像部分を含む対象画像（又は対象画像の一部分）を、類似候補画像として選択する。
The similar
ここで類似画像選択部２８が実行する処理の一例について、以下説明する。ここでは、検索キー画像に含まれる比較対象画像部分が４個あることとし、４個の比較対象画像部分をＣｉ（ｉ＝１，２，３，４）と表記する。また、画像部分特定情報取得部２７は、各比較対象画像部分Ｃｉに含まれる単位画像の画像特徴量に基づいて取得対象となる検索見出し情報を決定し、検索用データベースＤにおいて決定した検索見出し情報に関連づけられている全ての画像部分特定情報を取得するものとする。なお、比較対象画像部分Ｃｉに対して、画像部分特定情報取得部２７が取得した画像部分特定情報によって特定される登録対象画像部分（類似候補画像部分）からなる画像部分の集合を、Ｓｉ（ｉ＝１，２，３，４）と表記する。
An example of processing executed by the similar
この場合、類似画像選択部２８は、４個の集合Ｓ１，Ｓ２，Ｓ３及びＳ４に属する登録対象画像部分の情報に基づいて、以下の条件を満たす対象画像を類似候補画像として抽出する。まず第１の条件は、Ｓ１，Ｓ２，Ｓ３及びＳ４のどの集合についても、当該類似候補画像に含まれるいずれかの登録対象画像部分が属していることである。そして第２の条件は、各集合に含まれる類似候補画像の登録対象画像部分が、それぞれ同じ大きさの単位画像を含んでいることである。さらに第３の条件は、検索キー画像内の比較対象画像部分の位置関係と、当該比較対象画像部分に対応する登録対象画像部分の類似候補画像内における位置関係と、が一致することである。類似画像選択部２８は、このような条件を満たす類似候補画像を抽出する。
In this case, the similar
例えばある対象画像Ｉに含まれる４個の登録対象画像部分をＲｉ（ｉ＝１，２，３，４）とする。この場合、４個の登録対象画像部分Ｒ１，Ｒ２，Ｒ３及びＲ４が、それぞれＳ１，Ｓ２，Ｓ３及びＳ４に属していれば、第１の条件を満たす。また、４個の登録対象画像部分がいずれも同じ大きさの単位画像を含んだ画像部分であれば、第２の条件を満たす。 For example, let four registration target image portions included in a certain target image I be Ri (i = 1, 2, 3, 4). In this case, if the four registration target image portions R1, R2, R3, and R4 belong to S1, S2, S3, and S4, respectively, the first condition is satisfied. The second condition is satisfied if the four registration target image parts are all image parts including unit images of the same size.
さらに類似画像選択部２８は、比較対象画像部分Ｃ１，Ｃ２，Ｃ３及びＣ４の検索キー画像内における位置関係と、対象画像Ｉ内における登録対象画像部分Ｒ１，Ｒ２，Ｒ３及びＲ４の位置関係と、が一致するか否かを判定する。具体例として、各画像部分が単位画像を１個だけ含んでおり、比較対象画像部分Ｃ１は検索キー画像の左上に、Ｃ２は検索キー画像の右上に、Ｃ３は検索キー画像の左下に、Ｃ４は検索キー画像の右下に、それぞれ位置していることとする。この場合において、登録対象画像部分Ｒ１，Ｒ２，Ｒ３及びＲ４も、Ｃ１，Ｃ２，Ｃ３及びＣ４と同様に、対象画像Ｉ内においてＲ１が左上に、Ｒ２が右上に、Ｒ３が左下に、Ｒ４が右下に、それぞれ位置している場合、両者の位置関係は一致し、第３の条件は満たされる。
Further, the similar
なお、比較対象画像部分の位置関係と、登録対象画像部分の位置関係と、を比較する場合、両者が同じ向きで一致しなくともよい。すなわち、例えば一方を９０度回転させた場合に同じ配置になる場合にも、両者が一致すると判定してもよい。例えばそれぞれの画像部分に含まれる単位画像の形状が正方形である場合、このように判定することで、画像処理装置１は、検索キー画像が対象画像に対して９０度単位で回転された画像である場合にも、両者を類似する画像と判定することができる。
In addition, when comparing the positional relationship of the comparison target image portion and the positional relationship of the registration target image portion, they do not have to match in the same direction. That is, for example, when one of them is rotated 90 degrees and the same arrangement is obtained, it may be determined that the two match. For example, when the shape of the unit image included in each image portion is a square, the
類似画像選択部２８は、このようにして選択された類似候補画像を、そのまま検索キー画像に類似する類似画像としてユーザに提示してもよいし、さらに類似画像の絞り込みを行ってもよい。すなわち、検索キー画像と、類似候補画像との間で、公知の画像類否判定技術などにより画像の類似度を判定することにより、類似候補画像の中でも比較的類似度の高い画像を、類似画像としてユーザに提示してもよい。この場合でも、予め検索用データベースＤから得られた情報に基づいて類似候補画像を絞り込むことにより、全ての対象画像について公知の画像類否判定技術を用いて画像の類似度を判定する場合に比べて、処理効率を向上できる。
The similar
ここで、図４に示す検索用データベースＤを用いて検索を行う場合に、類似画像選択部２８が類似候補画像として抽出する画像の例について、説明する。以下の例においては、検索キー画像分割部２５は検索キー画像を２行２列の４個の単位画像に分割しているものとする。また、検索キー画像特徴量算出部２６は、それぞれ検索キー画像の左上に位置する単位画像及び右下に位置する単位画像についてｆ１、右上に位置する単位画像についてｆ３、左下に位置する単位画像についてｆ４を、画像特徴量の値として算出しているものとする。
Here, an example of an image extracted by the similar
図４の例においては、検索用データベースＤは単位画像を１個だけ含む画像部分が登録されたデータベースなので、画像部分特定情報取得部２７による処理対象となる比較対象画像部分も、単位画像を１個だけ含む画像部分となる。以下、それぞれ検索キー画像の左上に位置する単位画像を含む比較対象画像部分をｃ１、右上に位置する単位画像を含む比較対象画像部分をｃ２、左下に位置する単位画像を含む比較対象画像部分をｃ３、右下に位置する単位画像を含む比較対象画像部分をｃ４とする。
In the example of FIG. 4, the search database D is a database in which an image part including only one unit image is registered. Therefore, the comparison target image part to be processed by the image part specifying
この場合において、検索用データベースＤに登録されている対象画像のうち、対象画像Ｉ１は、前述した３つの条件を満たす。すなわち、対象画像Ｉ１を４個の単位画像に分割した場合に、検索キー画像と同様に、左上及び右下に位置する単位画像の画像特徴量がｆ１、右上に位置する単位画像の画像特徴量がｆ３、左下に位置する単位画像の画像特徴量がｆ４であることが、検索用データベースＤに登録されている登録対象画像部分の情報から分かる。よって、類似画像選択部２８は、対象画像Ｉ１を類似候補画像と判定する。
In this case, among the target images registered in the search database D, the target image I1 satisfies the above three conditions. That is, when the target image I1 is divided into four unit images, the image feature amount of the unit image located at the upper left and the lower right is f1, and the image feature amount of the unit image located at the upper right, as in the search key image. Can be seen from the information of the registration target image part registered in the search database D that f3 is the image feature quantity of the unit image located at the lower left. Therefore, the similar
また、画像特徴量の値が完全に一致することが要求される場合、対象画像Ｉ２は、類似候補画像としての条件を満たさないことが分かる。なぜなら、検索用データベースＤにおいて、比較対象画像部分ｃ４の画像特徴量ｆ１に関連づけられた画像部分特定情報には、対象画像Ｉ２の右下に位置する単位画像を含む画像部分（単位画像識別情報Ｕ（４，４）によって特定される画像部分）が含まれていないからである。しかしながら、画像部分特定情報取得部２７が、画像特徴量ｆ１を含む所定範囲の値に対応する検索見出し情報を取得対象とする場合、対象画像Ｉ２も類似候補画像となることがある。すなわち、この所定範囲にｆ２が含まれる場合、比較対象画像部分ｃ４に対応する類似候補画像部分には、検索用データベースＤにおいてｆ１に関連づけられた画像部分だけでなく、ｆ２に関連づけられた画像部分も含まれることとなる。この場合には、対象画像Ｉ２も類似候補画像の条件を満たすこととなる。
In addition, it is understood that the target image I2 does not satisfy the condition as a similar candidate image when it is required that the values of the image feature amounts completely match. This is because, in the search database D, the image part specifying information associated with the image feature amount f1 of the comparison target image part c4 includes an image part (unit image identification information U) including the unit image located at the lower right of the target image I2. This is because the image portion specified by (4, 4) is not included. However, when the image part specifying
さらに、対象画像Ｉ２が全体として類似候補画像の条件を満たさない場合であっても、対象画像Ｉ２の一部分は類似候補画像としての条件を満たす。すなわち、図４の検索用データベースＤにおいて、比較対象画像部分ｃ１の画像特徴量ｆ１に関連づけられた画像部分特定情報には、単位画像識別情報Ｕ（１６，３）によって特定される画像部分が含まれている。同様にして、比較対象画像部分ｃ２に対応する類似候補画像部分にはＵ（１６，４）によって特定される画像部分が、比較対象画像部分ｃ３に対応する類似候補画像部分にはＵ（１６，７）によって特定される画像部分が、比較対象画像部分ｃ２に対応する類似候補画像部分にはＵ（１６，８）によって特定される画像部分が、それぞれ含まれている。そして、これらの画像部分の対象画像内における位置関係は、図３に示されるように、検索キー画像内における比較対象画像部分の位置関係と一致する。従って、これらの画像部分からなる対象画像Ｉ２の一部の画像は、検索キー画像に類似する可能性のある類似候補画像となる。 Furthermore, even if the target image I2 as a whole does not satisfy the condition for the similar candidate image, a part of the target image I2 satisfies the condition for the similar candidate image. That is, in the search database D of FIG. 4, the image part specifying information associated with the image feature quantity f1 of the comparison target image part c1 includes the image part specified by the unit image identification information U (16, 3). It is. Similarly, an image portion specified by U (16, 4) is displayed in the similar candidate image portion corresponding to the comparison target image portion c2, and U (16, 4) is displayed in the similar candidate image portion corresponding to the comparison target image portion c3. The image portion specified by 7) and the image portion specified by U (16, 8) are included in the similar candidate image portion corresponding to the comparison target image portion c2. Then, the positional relationship of these image portions in the target image matches the positional relationship of the comparison target image portion in the search key image, as shown in FIG. Accordingly, a part of the target image I2 including these image parts is a similar candidate image that may be similar to the search key image.
このように、本実施形態によれば、大きさの異なる単位画像を含んだ比較対象画像部分と登録対象画像部分とを対比することによって、検索キー画像と、対象画像の一部を占める画像とが類似するか否かを判定することもできる。 As described above, according to the present embodiment, by comparing the comparison target image part including the unit images having different sizes with the registration target image part, the search key image and the image that occupies a part of the target image are obtained. It can also be determined whether or not.
次に、画像処理装置１が実行する類似画像検索処理の流れの一例について、図６のフロー図に基づいて説明する。
Next, an example of the flow of similar image search processing executed by the
まず、検索キー画像分割部２５が、画像読み取り装置３から受信したデータに基づいて、検索キー画像の画像データを取得する（Ｓ１１）。そして、取得した検索キー画像を、所定の条件に基づいて複数の単位画像に分割する（Ｓ１２）。
First, the search key
次に、検索キー画像特徴量算出部２６が、Ｓ１２で得られた各単位画像の画像特徴量を算出する（Ｓ１３）。
Next, the search key image feature
続いて、画像部分特定情報取得部２７が、検索キー画像に含まれる処理対象の比較対象画像部分について、検索用データベースＤからデータを取得する対象となる検索見出し情報を決定する（Ｓ１４）。そして、データ読み出し部２４が、画像部分特定情報取得部２７の制御に基づいて、Ｓ１４で決定された検索見出し情報に関連づけられた画像部分特定情報を検索用データベースＤから読み出す（Ｓ１５）。
Subsequently, the image part specifying
次に画像部分特定情報取得部２７は、検索キー画像に含まれる全ての比較対象画像部分について、Ｓ１４及びＳ１５の処理を実行して画像部分特定情報を取得したか否かを判定する（Ｓ１６）。まだ画像部分特定情報の取得を行っていない比較対象画像部分があれば、画像部分特定情報取得部２７はＳ１４に戻って未処理の画像部分について処理を続行する。
Next, the image part specifying
一方、全ての比較対象画像部分について、画像部分特定情報の取得を実行した場合、次に類似画像選択部２８が、Ｓ１６の処理によって取得された画像部分特定情報に基づいて、検索キー画像に類似する類似候補画像を特定する（Ｓ１７）。
On the other hand, when the acquisition of the image part specifying information is executed for all the comparison target image parts, the similar
その後、検索キー画像分割部２５は、予め定められた全ての条件に基づいて検索キー画像の分割を行ったか否かを判定する（Ｓ１８）。複数の条件に基づいて検索キー画像を複数種類の単位画像に分割するよう定められており、かつ全ての条件に応じた処理を実行していない場合、検索キー画像分割部２５はＳ１２に戻って異なる条件に基づいて検索キー画像を分割する処理を続行する。一方、予め定められた全ての条件に基づいて検索キー画像の分割を行い、得られた単位画像に対する処理を実行した場合、Ｓ１９の処理に進む。
Thereafter, the search key
最後に、類似画像選択部２８は、Ｓ１７によって得られた類似候補画像に対して、さらに類似度の高い画像を抽出する類否判定処理を行う（Ｓ１９）。そして、Ｓ１９の結果得られる検索キー画像に類似する画像を、類似画像検索処理の処理結果として表示部１４に表示させる等の手段によりユーザに提示する（Ｓ２０）。
Finally, the similar
以上説明した処理により、画像処理装置１は、検索用データベースＤを用いて、検索キー画像に類似する画像を対象画像の中から抽出し、ユーザに提示することができる。
Through the processing described above, the
以上説明した本実施の形態によれば、検索対象となる対象画像に含まれる複数の登録対象画像部分が、各登録対象画像部分に含まれる単位画像の画像特徴量に基づいて定められた検索見出し情報に関連づけて検索用データベースＤに登録される。そして、画像処理装置１は、検索キー画像に含まれる複数の比較対象画像部分について、各比較対象画像部分に含まれる単位画像の画像特徴量に基づいて定められた検索見出し情報に関連づけて検索用データベースＤに登録されている登録対象画像部分の情報に基づいて、検索キー画像に類似する対象画像を検索できる。これにより、検索キー画像と対象画像とを一つ一つ比較する場合と比べて、より簡易な処理で検索キー画像に類似する画像を絞り込むことができ、類似画像検索処理の処理効率を向上できる。
According to the present embodiment described above, a search index in which a plurality of registration target image portions included in a target image to be searched is determined based on the image feature amount of a unit image included in each registration target image portion. The information is registered in the search database D in association with the information. Then, the
なお、本発明は以上説明した実施形態に限定されるものではなく、種々の実施形態により実現可能である。 The present invention is not limited to the embodiment described above, and can be realized by various embodiments.
例えば画像処理装置１は、画像形成装置４によって形成される形成画像に限らず、様々なデジタル画像に対して画像情報登録処理を実行することとしてもよい。また、画像処理装置１は、画像読み取り装置３や画像形成装置４などと一体に構成されていてもよい。また、画像処理装置１は、画像情報登録処理を実行して対象画像の情報を検索用データベースＤに登録する画像情報登録装置と、検索用データベースＤを用いて類似画像検索処理を行う類似画像検索装置とに分かれてもよい。
For example, the
さらに、本実施形態における検索用データベースＤは、画像処理装置１の外部にあってもよい。例えば検索用データベースＤは、通信ネットワーク２を介して画像処理装置１と接続されるファイルサーバ等の記憶装置に格納されることとしてもよい。
Further, the search database D in the present embodiment may be outside the
また、検索用データベースＤは、複数あってもよい。例えば、画像特徴量の種別に応じて、複数の検索用データベースＤが用意されてもよい。具体例として、赤、緑、青の各成分色について、それぞれの成分色の平均画素値を画像特徴量として用いた、３つの検索用データベースＤが用意されてもよい。この場合、例えば、この複数の検索用データベースＤのそれぞれを用いて類似画像検索処理を実行し、全ての処理において類似すると判定された対象画像を、検索キー画像に類似する類似画像としてユーザに提示する。また、画像部分に含まれる単位画像の数Ｎの違いに応じて、複数の検索用データベースＤが用意されてもよい。 Further, there may be a plurality of search databases D. For example, a plurality of search databases D may be prepared according to the type of image feature amount. As a specific example, for each of the red, green, and blue component colors, three search databases D using the average pixel value of each component color as an image feature amount may be prepared. In this case, for example, similar image search processing is executed using each of the plurality of search databases D, and target images determined to be similar in all processing are presented to the user as similar images similar to the search key image. To do. A plurality of search databases D may be prepared according to the difference in the number N of unit images included in the image portion.
１ 画像処理装置、２ 通信ネットワーク、３ 画像読み取り装置、４ 画像形成装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 通信部、２１ 対象画像分割部、２２ 対象画像特徴量算出部、２３ データ格納部、２４ データ読み出し部、２５ 検索キー画像分割部、２６ 検索キー画像特徴量算出部、２７ 画像部分特定情報取得部、２８ 類似画像選択部。
DESCRIPTION OF
Claims (6)
前記単位画像の画像特徴量を算出する画像特徴量算出手段と、
前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段と、
を含むことを特徴とする画像処理装置。 Target image dividing means for dividing a target image to be searched into a plurality of unit images;
Image feature amount calculating means for calculating an image feature amount of the unit image;
For an image portion including a predetermined number of the unit images, search headline information to be associated with the image portion is selected from a plurality of search headline information candidates based on the image feature amount of the unit image included in the image portion. Data storage means for selectively determining and storing image portion specifying information for specifying the image portion in the search database in association with the determined search index information;
An image processing apparatus comprising:
前記対象画像分割手段は、前記対象画像を互いに異なる大きさの複数種類の単位画像に分割し、
前記データ格納手段は、それぞれ前記複数種類の単位画像を所定の数含んでなる複数種類の画像部分について、当該画像部分を特定する画像部分特定情報を前記検索用データベースに格納する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The target image dividing unit divides the target image into a plurality of types of unit images having different sizes,
The data storage means stores, for the plurality of types of image portions each including a predetermined number of the plurality of types of unit images, image portion specifying information for specifying the image portions in the search database. Image processing device.
検索のキーとなる検索キー画像を複数の単位画像に分割する検索キー画像分割手段と、
前記検索キー画像分割手段により得られる単位画像の画像特徴量を算出する画像特徴量算出手段と、
前記検索キー画像分割手段により得られる単位画像を前記所定の数だけ含んでなる画像部分について、前記検索用データベースにおいて、当該画像部分に含まれる単位画像の画像特徴量を用いて定められる検索見出し情報に関連づけられた画像部分特定情報を、前記データ読み出し手段に読み出させて取得する画像部分特定情報取得手段と、
前記取得された画像部分特定情報に基づいて、前記複数の対象画像の中から前記検索キー画像に類似する類似画像を選択する類似画像選択手段と、
を含むことを特徴とする画像処理装置。 A unit image included in each image portion includes image portion specifying information for specifying each image portion for an image portion including a predetermined number of unit images obtained by dividing each target image to be searched. Data reading means for reading data from a search database held in association with search index information determined using image feature amounts calculated for each;
Search key image dividing means for dividing a search key image serving as a search key into a plurality of unit images;
Image feature amount calculating means for calculating an image feature amount of a unit image obtained by the search key image dividing means;
Retrieval headline information determined by using the image feature amount of the unit image included in the image portion in the search database for the image portion including the predetermined number of unit images obtained by the search key image dividing unit Image portion specifying information acquisition means for reading the image portion specifying information associated with the data reading means and acquiring the image portion specifying information;
Similar image selection means for selecting a similar image similar to the search key image from the plurality of target images based on the acquired image portion specifying information;
An image processing apparatus comprising:
前記検索キー画像分割手段により得られる単位画像と、前記各対象画像を分割して得た単位画像と、は互いに異なる大きさである
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 3.
An image processing apparatus, wherein a unit image obtained by the search key image dividing unit and a unit image obtained by dividing each target image have different sizes.
前記画像部分特定情報取得手段は、前記検索キー画像分割手段により得られる単位画像の画像特徴量を用いて定められる検索見出し情報として、当該画像特徴量を含む所定範囲の画像特徴量の値に対応する検索見出し情報を用いる
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 3 or 4,
The image portion specifying information acquisition unit corresponds to the value of an image feature amount within a predetermined range including the image feature amount as search index information determined using the image feature amount of the unit image obtained by the search key image dividing unit. An image processing apparatus characterized by using search headline information.
前記単位画像の画像特徴量を算出する画像特徴量算出手段、及び
前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段、
としてコンピュータを機能させることを特徴とするプログラム。
Target image dividing means for dividing a target image to be searched into a plurality of unit images;
An image feature amount calculating means for calculating an image feature amount of the unit image; and for an image portion including a predetermined number of the unit images, search header information to be associated with the image portion is included in the unit image included in the image portion. Data that is selectively determined from any of a plurality of search heading information candidates based on the image feature amount, and that is stored in a search database in association with the determined search heading information, specifying the image part specifying information. Storage means,
A program characterized by causing a computer to function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006162697A JP4929859B2 (en) | 2006-06-12 | 2006-06-12 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006162697A JP4929859B2 (en) | 2006-06-12 | 2006-06-12 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007334445A true JP2007334445A (en) | 2007-12-27 |
| JP4929859B2 JP4929859B2 (en) | 2012-05-09 |
Family
ID=38933896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006162697A Expired - Fee Related JP4929859B2 (en) | 2006-06-12 | 2006-06-12 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4929859B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013069341A1 (en) * | 2011-11-09 | 2013-05-16 | 楽天株式会社 | Image processing device, method for controlling image processing device, program, and information storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11167642A (en) * | 1997-12-03 | 1999-06-22 | Omron Corp | Picture feature extraction method and device, and picture retrieval method and device |
| JP2001337990A (en) * | 2000-05-26 | 2001-12-07 | Victor Co Of Japan Ltd | Image retrieval system and image retrieval method |
| JP2002132796A (en) * | 2000-10-24 | 2002-05-10 | Kyodo Printing Co Ltd | Computer readable recording medium with image feature amount vs keyword dictionary recorded thereon, device and method for constructing image feature amount vs keyword dictionary, device and method for supporting image database construction |
| JP2003122758A (en) * | 2001-10-11 | 2003-04-25 | Canon Inc | Method and device for retrieving image |
| JP2003330677A (en) * | 2002-05-14 | 2003-11-21 | Ricoh Co Ltd | Print data managing system and method and its program and recording medium |
| JP2004334337A (en) * | 2003-04-30 | 2004-11-25 | Canon Inc | Image processor |
| JP2006011622A (en) * | 2004-06-23 | 2006-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Partial image retrieval system, method and program |
-
2006
- 2006-06-12 JP JP2006162697A patent/JP4929859B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11167642A (en) * | 1997-12-03 | 1999-06-22 | Omron Corp | Picture feature extraction method and device, and picture retrieval method and device |
| JP2001337990A (en) * | 2000-05-26 | 2001-12-07 | Victor Co Of Japan Ltd | Image retrieval system and image retrieval method |
| JP2002132796A (en) * | 2000-10-24 | 2002-05-10 | Kyodo Printing Co Ltd | Computer readable recording medium with image feature amount vs keyword dictionary recorded thereon, device and method for constructing image feature amount vs keyword dictionary, device and method for supporting image database construction |
| JP2003122758A (en) * | 2001-10-11 | 2003-04-25 | Canon Inc | Method and device for retrieving image |
| JP2003330677A (en) * | 2002-05-14 | 2003-11-21 | Ricoh Co Ltd | Print data managing system and method and its program and recording medium |
| JP2004334337A (en) * | 2003-04-30 | 2004-11-25 | Canon Inc | Image processor |
| JP2006011622A (en) * | 2004-06-23 | 2006-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Partial image retrieval system, method and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013069341A1 (en) * | 2011-11-09 | 2013-05-16 | 楽天株式会社 | Image processing device, method for controlling image processing device, program, and information storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4929859B2 (en) | 2012-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7640269B2 (en) | Image processing system and image processing method | |
| JP2007286767A (en) | Image retrieval system, image retrieval server, control method therefor, computer program and computer-readable storage medium | |
| JP2006085298A (en) | Image processing device and image processing method | |
| JP2005149096A (en) | Image processing system and image processing method | |
| JP2007047943A (en) | Image processor, control method and program | |
| JP2006155588A (en) | Image processing device, image processing method and image processing program | |
| JP4591229B2 (en) | Image processing apparatus, image processing method, and computer program | |
| CN101286230A (en) | Image processing apparatus and method | |
| JP4338189B2 (en) | Image processing system and image processing method | |
| US7210102B1 (en) | Method and system for determining page numbers of page images | |
| US8619316B2 (en) | Document processing apparatus and method for processing document using the same | |
| JP4809198B2 (en) | Image processing device, article image selection method, program, and recording medium | |
| JP4929859B2 (en) | Image processing apparatus and program | |
| JP2007041709A (en) | Document processing system, control method of document processing system, document processing device, computer program and computer readable storage medium | |
| JP6680052B2 (en) | Table data conversion method, program, image reading device | |
| JP6757203B2 (en) | Image detector, its control method, and program | |
| JP2018055256A (en) | Information processing apparatus, information processing method, and program | |
| JP6700705B2 (en) | Distribution system, information processing method, and program | |
| JP2005149097A (en) | Image processing system and image processing method | |
| JP5673277B2 (en) | Image processing apparatus and program | |
| JP2008046795A (en) | Image processor, image processing method and program | |
| JP4826378B2 (en) | Image processing apparatus, image processing method, and program | |
| US20050135677A1 (en) | Method and apparatus for acquiring image data from a scanned document | |
| JP2018085093A (en) | Information processing apparatus, control method, and program | |
| JP2006134079A (en) | Image processing device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4929859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |