JP2004227406A - Image processor, program and storage medium - Google Patents

Image processor, program and storage medium Download PDF

Info

Publication number
JP2004227406A
JP2004227406A JP2003016326A JP2003016326A JP2004227406A JP 2004227406 A JP2004227406 A JP 2004227406A JP 2003016326 A JP2003016326 A JP 2003016326A JP 2003016326 A JP2003016326 A JP 2003016326A JP 2004227406 A JP2004227406 A JP 2004227406A
Authority
JP
Japan
Prior art keywords
image
feature amount
regions
region
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003016326A
Other languages
Japanese (ja)
Inventor
Toshio Miyazawa
利夫 宮澤
Yasuyuki Nomizu
泰之 野水
Hiroyuki Sakuyama
宏幸 作山
Junichi Hara
潤一 原
Nekka Matsuura
熱河 松浦
Takanori Yano
隆則 矢野
Taku Kodama
児玉  卓
Yasuyuki Shinkai
康行 新海
Takayuki Nishimura
隆之 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003016326A priority Critical patent/JP2004227406A/en
Publication of JP2004227406A publication Critical patent/JP2004227406A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor capable of realizing the reduction of a system scale and a processing time in comparison of images. <P>SOLUTION: This image processor processing image data, which is a composite machine, extracts feature values from a first image and a second image each divided into a plurality of areas and compressed in each of the plurality of areas (S3), and compares the first image and the second image on the basis of the feature values extracted from the images in each of the plurality of areas (S6). Therefore, a process or the like for dividing the image into the plurality of areas is not required, and the image comparison can be executed with high accuracy by a simple process, so that the reduction of the system scale and the reduction of the processing time can be realized. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置、プログラム及び記憶媒体に関する。
【0002】
【従来の技術】
近年、スキャナ、デジタルカメラ、コンピュータ、複写機、複合機(MFP)等の画像処理装置の普及に伴い、デジタル画像データをメモリやハードディスク等の記憶装置に記憶したり、CD−ROM等の光ディスクに記憶したり、さらには、インターネット等を介して伝送したりすることが身近なものになっている。特に、最近では、コンピュータや複合機等が画像サーバとして使用されることも多くなっている。このような画像データには様々な画像処理が行われる。
【0003】
例えば、複合機等の一般的な画像処理の流れとしては、
▲1▼画像入力→傾き角度検出→傾き角度補正→領域識別処理→文字認識処理
▲2▼画像入力→傾き角度検出→傾き角度補正→タイトル抽出→タイトルを文書管理のファイル名等に使用
▲3▼カラー画像入力→2値化処理→傾き角度検出(その後▲1▼又は▲2▼の処理と同様)
▲4▼カラー画像入力→2値化処理(その後▲3▼の処理と同様)→文字領域又はタイトル領域の文字色を特定→再現表示
等の処理がある。
【0004】
また、画像を検索する画像処理(又は画像を分類する画像処理)の流れのとしては、
▲5▼画像入力→特徴量抽出→特徴量が近い画像を検索(その後分類)
というような処理が一般的である。ここで、特徴量としては、色、テクスチャやエッジ情報等がある。
【0005】
このような画像処理の流れの中で実行される様々な技術が提案されている。例えば、複数の解像度の画像データを保存し、出力装置に適した解像度の画像を選択出力する技術(例えば、特許文献1参照)、複数の解像度の画像データを生成し、各解像度の画像から罫線を抽出する技術(例えば、特許文献2参照)、複数の解像度の画像データを生成し、文字種に基づいて最適な解像度を取得し、その後、文字認識処理を行う技術(例えば、特許文献3参照)等が提案されている。
【0006】
一方、最近では、各種の技術により簡単に高精細な画像を得ることができるが、このような高精細静止画像のデータサイズは大きくなる傾向にあり、高精細静止画像の取扱いは困難になってきている。こうした高精細静止画像の取扱いを容易にする画像圧縮伸長アルゴリズムとしては、現在、JPEG(Joint PhotographicExperts Group)や2001年に国際標準となったJPEG後継の画像圧縮伸長方式JPEG2000等が用いられている。このJPEG2000により圧縮された画像データの特徴としては、複数の解像度の画像を有しており、タイリング処理により1つの画像が予め複数の領域(タイル領域)に分割されており、周波数成分(LL成分、LH成分、HL成分、HH成分)の情報を予め有していること等がある。
【0007】
【特許文献1】
特開2000−187725公報
【特許文献2】
特開2001−127972公報
【特許文献3】
特開2002−24766公報
【0008】
【発明が解決しようとする課題】
従来の技術では、複数の解像度の画像データを生成したり、生成された複数の解像度の画像データを保存したり、あるいは、画像を複数の領域に分割したり、特徴量であるエッジ情報を求めたりする必要がある。このように様々な処理を実行する必要があるため、画像処理のシステム規模が大きくなってしまい、画像処理の処理時間も長くなってしまう。
【0009】
また、従来の技術では、画像の一部分から特徴量を抽出することが多いため、画像を検索又は分類する場合等、画像比較が精度良く行われず、その結果として、画像の検索又は分類が正確に行われないことがある。
【0010】
本発明の目的は、システム規模の縮小及び処理時間の短縮を実現することができる画像処理装置、プログラム及び記憶媒体を提供することである。
【0011】
本発明の目的は、画像比較を精度良く実行することができる画像処理装置、プログラム及び記憶媒体を提供することである。
【0012】
【課題を解決するための手段】
請求項1記載の発明の画像処理装置は、各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量に基づいて、前記第1の画像と前記第2の画像とを比較する画像比較手段と、を備える。
【0013】
したがって、各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出し、抽出した特徴量に基づいて第1の画像と第2の画像とを比較することで、画像を複数の領域に分割する処理等が必要とされず、簡単な処理で精度良く画像比較を実行することが可能となり、その結果として、システム規模の縮小及び処理時間の短縮を実現することが可能になる。
【0014】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記特徴量抽出手段は、領域の領域属性を識別し、識別した領域属性を特徴量として抽出する。
【0015】
したがって、領域の領域属性を識別することで、簡単に特徴量を抽出することが可能になり、精度高く画像比較を実行することが可能になる。
【0016】
請求項3記載の発明は、請求項2記載の画像処理装置において、前記第1の画像及び前記第2の画像は、複数の領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で圧縮されており、前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別する。
【0017】
したがって、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別することで、特徴量を抽出するための処理が簡略化され、精度高く簡単に領域属性を識別することが可能となり、その結果として、処理時間の短縮を実現することが可能になる。
【0018】
請求項4記載の発明は、請求項3記載の画像処理装置において、前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいてタイル領域の領域属性を表領域属性として識別する。
【0019】
したがって、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて領域の領域属性を表領域属性として識別することで、精度高く簡単に表領域を識別することが可能になる。
【0020】
請求項5記載の発明は、請求項1記載の画像処理装置において、前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を特徴量として抽出する。
【0021】
したがって、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を抽出することで、精度高く簡単に画像の罫線情報を抽出することが可能になる。
【0022】
請求項6記載の発明は、請求項1ないし5のいずれか一記載の画像処理装置において、操作者による操作を受け付ける操作部と、前記操作部に対する操作者の操作に基づいて、特徴量を抽出する必要がある領域を指定する領域指定手段と、を備え、前記特徴量抽出手段は、前記領域指定手段により指定された領域だけの特徴量を抽出する。
【0023】
したがって、操作部に対する操作者の操作によって、特徴量を抽出する必要がある領域が指定されることで、その指定された領域からのみ特徴量が抽出されるため、全ての領域から特徴量を抽出する場合に比べ、処理時間を短縮することが可能になる。
【0024】
請求項7記載の発明は、請求項1ないし6のいずれか一記載の画像処理装置において、前記画像比較手段は、前記特徴量抽出手段により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較する特徴量比較手段と、前記特徴量比較手段による前記第1の画像の特徴量と前記第2の画像の特徴量との一致数を所定の一致数と比較する一致数比較手段と、前記一致数比較手段により前記一致数が所定の一致数より大きいと判断された場合、前記第1の画像と前記第2の画像とを一致度が高い画像として特定する画像特定手段と、を備える。
【0025】
したがって、第1の画像と第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較することで、精度高く簡単に画像比較を実行することが可能になる。
【0026】
請求項8記載の発明は、請求項7記載の画像処理装置において、前記特徴量抽出手段は、全ての領域の特徴量を抽出し、前記特徴量比較手段は、全ての領域の特徴量を比較する。
【0027】
したがって、全ての領域の特徴量を比較することで、一部分の領域の特徴量を比較する場合に比べ、精度高く画像比較を実行することが可能になる。
【0028】
請求項9記載の発明は、請求項1ないし8のいずれか一記載の画像処理装置において、原稿から画像を光学的に読み取る読取光学系を備える。
【0029】
したがって、原稿から画像を読み取ることが可能になり、その結果として、この画像に対し画像処理等の様々な処理を実行することが可能になる。
【0030】
請求項10記載の発明は、請求項1ないし9のいずれか一記載の画像処理装置において、圧縮された画像を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長する伸長手段を備える。
【0031】
したがって、圧縮された画像(符号データ)を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長することで、圧縮された画像が伸長され、その結果として、伸長された画像の表示装置等への表示や用紙等への印字等を実行することが可能になる。
【0032】
請求項11記載の発明は、請求項10記載の画像処理装置において、前記伸長手段により伸長された画像を記録材に画像形成するプリンタエンジンを備える。
【0033】
したがって、伸長された画像を用紙等の記録材に画像形成することが可能になる。
【0034】
請求項12記載の発明のプログラムは、画像処理装置が備えるコンピュータに解釈され、前記コンピュータに、各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出する特徴量抽出機能と、前記特徴量抽出機能により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量に基づいて、前記第1の画像と前記第2の画像とを比較する画像比較機能と、を実行させる。
【0035】
したがって、各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出し、抽出した特徴量に基づいて第1の画像と第2の画像とを比較することで、画像を複数の領域に分割する処理等が必要とされず、簡単な処理で精度良く画像比較を実行することが可能となり、その結果として、システム規模の縮小及び処理時間の短縮を実現することが可能になる。
【0036】
請求項13記載の発明は、請求項12記載のプログラムにおいて、前記特徴量抽出機能は、領域の領域属性を識別し、識別した領域属性を特徴量として抽出する。
【0037】
したがって、領域の領域属性を識別することで、簡単に特徴量を抽出することが可能になり、精度高く画像比較を実行することが可能になる。
【0038】
請求項14記載の発明は、請求項13記載のプログラムにおいて、前記第1の画像及び前記第2の画像は、複数の領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で圧縮されており、前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別する。
【0039】
したがって、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別することで、特徴量を抽出するための処理が簡略化され、精度高く簡単に領域属性を識別することが可能となり、その結果として、処理時間の短縮を実現することが可能になる。
【0040】
請求項15記載の発明は、請求項14記載のプログラムにおいて、前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいてタイル領域の領域属性を表領域属性として識別する。
【0041】
したがって、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて領域の領域属性を表領域属性として識別することで、精度高く簡単に表領域を識別することが可能になる。
【0042】
請求項16記載の発明は、請求項12記載のプログラムにおいて、前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を特徴量として抽出する。
【0043】
したがって、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を抽出することで、精度高く簡単に画像の罫線情報を抽出することが可能となる。
【0044】
請求項17記載の発明は、請求項12ないし16のいずれか一記載のプログラムにおいて、操作部に対する操作者の操作に基づいて、特徴量を抽出する必要がある領域を指定する領域指定機能を前記コンピュータに実行させ、前記特徴量抽出機能は、前記領域指定機能により指定された領域だけの特徴量を抽出する。
【0045】
したがって、操作部に対する操作者の操作によって、特徴量を抽出する必要がある領域が指定されることで、その指定された領域からのみ特徴量が抽出されるので、全ての領域から特徴量を抽出する場合に比べ、処理時間を短縮することが可能になる。
【0046】
請求項18記載の発明は、請求項12ないし17のいずれか一記載のプログラムにおいて、前記画像比較機能は、前記特徴量抽出機能により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較する特徴量比較機能と、前記特徴量比較機能による前記第1の画像の特徴量と前記第2の画像の特徴量との一致数を所定の一致数と比較する一致数比較機能と、前記一致数比較機能により前記一致数が所定の一致数より大きいと判断された場合、前記第1の画像と前記第2の画像とを一致度が高い画像として特定する画像特定機能と、を前記コンピュータに実行させる。
【0047】
したがって、第1の画像と第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較することで、精度高く簡単に画像比較を実行することが可能になる。
【0048】
請求項19記載の発明は、請求項18記載のプログラムにおいて、前記特徴量抽出機能は、全ての領域の特徴量を抽出し、前記特徴量比較機能は、全ての領域の特徴量を比較する。
【0049】
したがって、全ての領域の特徴量を比較することで、一部分の領域の特徴量を比較する場合に比べ、精度高く画像比較を実行することが可能になる。
【0050】
請求項20記載の発明は、請求項12ないし19のいずれか一記載のプログラムにおいて、圧縮された画像を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長する伸長機能を前記コンピュータに実行させる。
【0051】
したがって、圧縮された画像(符号データ)を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長することで、圧縮された画像が伸長され、その結果として、伸長された画像の表示装置等への表示や用紙等への印字等を実行することが可能になる。
【0052】
請求項21記載の発明のコンピュータ読取可能な記憶媒体は、請求項12ないし20のいずれか一記載のプログラムを記憶している。
【0053】
したがって、請求項12ないし20のいずれか一記載の発明と同様な作用を奏する。
【0054】
【発明の実施の形態】
本発明の第一の実施の形態を図1ないし図13に基づいて説明する。
【0055】
本実施の形態は、「JPEG2000アルゴリズム」を利用するものであるが、JPEG2000アルゴリズム自体は各種文献や公報等により周知であるので、詳細は省略し、その概要について説明する。
【0056】
図1は、JPEG2000アルゴリズムの概要を説明するための機能ブロック図である。JPEG2000のアルゴリズムは、色空間変換・逆変換部100、2次元ウェーブレット変換・逆変換部101、量子化・逆量子化部102、エントロピー符号化・復号化部103、タグ処理部104で構成されている。
【0057】
JPEG2000の特徴の一つは、高圧縮領域における画質が良いという長所を持つ2次元離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている点である。また、もう一つの大きな特徴は、最終段に符号形成を行うためのタグ処理部104と呼ばれる機能ブロックが追加されており、符号列データであるコードストリームの生成や解釈が行われる点である。そして、コードストリームによって、JPEG2000は様々な便利な機能を実現できるようになっている。
【0058】
なお、画像の入出力部分には、色空間変換・逆変換部100が用意されることが多い。この色空間変換・逆変換部100は、例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YCrCbあるいはYUV表色系への変換又は逆の変換を行う部分である。
【0059】
以下、JPEG2000アルゴリズム、特にウェーブレット変換について説明する。
【0060】
図2は、カラー画像である原画像の分割された各コンポーネントの一例を概略的に示す模式図である。カラー画像は、一般に、図2に示すように、画像の各コンポーネント110が、例えばRGB原色系によって分離されている。さらに、画像の各コンポーネント110は、矩形をした領域であるタイル111によって分割されている。個々のタイル111、例えば、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15は、圧縮伸長プロセスを実行する際の基本単位を構成する。従って、圧縮伸長動作は、コンポーネント110毎に、そしてタイル111毎に、独立して行われる。
【0061】
画像データの符号化時には(図1参照)、各コンポーネント110の各タイル111のデータが色空間変換・逆変換部100に入力され、色空間変換を施された後、2次元ウェーブレット変換・逆変換部101で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
【0062】
図3は、デコンポジションレベル数が3である場合の各デコンポジションレベルにおけるサブバンドを概略的に示す模式図である。2次元ウェーブレット変換・逆変換部101は、画像のタイル分割によって得られたタイル画像(デコンポジションレベル0:0LL)に対して、2次元ウェーブレット変換を施し、デコンポジションレベル1に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。引き続き、2次元ウェーブレット変換・逆変換部101は、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジションレベル2に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。そして、2次元ウェーブレット変換・逆変換部101は、順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジションレベル3に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。なお、図3中では、各デコンポジションレベルにおいて符号化の対象となるサブバンドはグレーで示されている。例えば、デコンポジションレベル数を3とした場合、グレーで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0063】
次いで、量子化・逆量子化部102では(図1参照)、指定した符号化の順番で符号化の対象となるビットが定められた後、対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。さらに、個々のプレシンクトは、重複しない矩形の「コードブロック」に分けられる。これは、エントロピーコーディングを行う際の基本単位となる。
【0064】
なお、ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコードブロック毎にビットプレーンに順位付けを行うことができる。
【0065】
エントロピー符号化・復号化部103では(図1参照)、コンテキストと対象ビットとから、確率推定によって各コンポーネント110の各タイル111に対する符号化を行う。こうして、画像の全てのコンポーネント110について、タイル111単位で符号化処理が行われる。
【0066】
最後に、タグ処理部104では(図1参照)、エントロピー符号化・復号化部103からの全符号化データを1本のコードストリーム(符号列データ)に結合するとともに、それにタグを付加する処理を行う。ここで、図4は、コードストリームの構造の一例を概略的に示す模式図である。コードストリームの先頭と各タイル111を構成する部分タイルの先頭には、ヘッダ(メインヘッダ(Main header)、タイルパートヘッダ(tile part header))と呼ばれるタグ情報が付加され、その後に、各タイル111の符号化データ(bit stream)が続く。そして、コードストリームの終端には、再びタグ情報(end of codestream)が付加される。
【0067】
一方、復号化時には、符号化時とは逆に、各コンポーネント110の各タイル111のコードストリームから画像データを生成する。この場合、図1に示すように、タグ処理部104は、外部より入力されたコードストリーム(符号列データ)に付加されたタグ情報を解釈し、コードストリームを各コンポーネント110の各タイル111のコードストリームに分解し、その各コンポーネント110の各タイル111のコードストリーム毎に復号化処理を行う。この際、コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部102において、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストを生成する。そして、エントロピー符号化・復号化部103では、そのコンテキストとコードストリームとから確率推定によって復号化を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは、周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部101で2次元ウェーブレット逆変換を行うことにより、画像データ中の各コンポーネント110における各タイル111が復元される。復元されたデータは、色空間変換・逆変換部100によって元の表色系のデータに変換される。
【0068】
次に、本実施の形態の画像処理装置である複合機1の構成例について説明する。本実施の形態の複合機1は、複写機能、プリンタ機能、スキャナ機能、ファクシミリ機能、画像サーバ機能等の複合機能を有している。
【0069】
図5は、本実施の形態の複合機1を概略的に示す縦断面図である。複合機1は、原稿から原稿画像を読み取る画像読取部であるスキャナ2と、スキャナ2で読み取られた画像を用紙等の記録材に形成する画像形成部であるプリンタ3とを備えている。
【0070】
スキャナ2の本体ケース4の上面には、原稿(図示せず)が載置されるコンタクトガラス5が設けられている。原稿は、原稿面をコンタクトガラス5に対向させて載置される。コンタクトガラス5の上側には、コンタクトガラス5上に載置された原稿を押える原稿圧板6(いわゆるADFであってもよい)が設けられている。
【0071】
コンタクトガラス5の下方には、原稿画像を光学的に読み取るための読取光学系7が設けられている。この読取光学系7は、光を発光する光源8及びミラー9を搭載する第1走行体10、2枚のミラー11,12を搭載する第2走行体13、結像レンズ14を介してミラー9,11,12によって導かれる光を受光するCCD(Charge Coupled Device)イメージセンサ15等によって構成されている。CCDイメージセンサ15は、CCDイメージセンサ15上に結像される原稿からの反射光を光電変換することで光電変換データを生成する光電変換素子として機能する。光電変換データは、原稿からの反射光の強弱に応じた大きさを有する電圧値である。第1、第2走行体10,13は、コンタクトガラス5に沿って往復動自在に設けられており、後述する原稿画像の読取動作に際しては、図示しないモータ等の移動装置によって2:1の速度比で副走査方向にスキャニング走行する。これにより、読取光学系7による原稿読取領域の露光走査が行われる。なお、本実施の形態では、読取光学系7側がスキャニング走査を行う原稿固定型で示しているが、読取光学系7側が位置固定で原稿側が移動する原稿移動型であっても良い。
【0072】
プリンタ3は、シート状の用紙等の記録材を保持する記録材保持部16から電子写真方式のプリンタエンジン17及び定着器18を経由して排出部19へ至る記録材経路20を備えている。
【0073】
プリンタエンジン17は、感光体21、帯電器22、露光器23、現像器24、転写器25及びクリーナー26等を用いて、電子写真方式で感光体21の周囲に形成したトナー像を記録材に転写し、転写したトナー像を、定着器18によって記録材上に定着させる。なお、本実施の形態では、プリンタエンジン17が電子写真方式で画像形成を行うが、これに限るものではなく、例えば、インクジェット方式、昇華型熱転写方式、直接感熱記録方式等の様々な画像形成方式で画像形成を行うようにしても良い。
【0074】
このような複合機1は、複数のマイクロコンピュータで構成される制御系により制御される。図6はこれらの制御系のうち、画像処理に関わる制御系の電気的な接続を概略的に示すブロック図である。この制御系は、CPU30、ROM31、RAM32、操作パネル33、IPU(Image Processing Unit)34、I/Oポート35、通信制御部36等がバス37で接続され構成されている。CPU30は、各種演算を行い、画像処理等の処理を集中的に制御する。ROM31には、CPU30が実行する処理に関わる各種プログラムや固定データが格納されている。また、RAM32は、CPU30のワークエリアとして機能し、加えて、画像データ(例えば、画像ファイル)を一時的に記憶するメモリとして機能する。操作パネル33には、LCD(Liquid Crystal Display)等の表示器、ハードキー及びタッチパネル等によって構成される複数の操作キー(いずれも図示せず)が設けられており、操作パネル33が表示部及び操作部として機能する。IPU34は各種画像処理に関わるハードウエアを備えており、ROM31はEEPROMやフラッシュメモリ等の不揮発性メモリを備えており、画像データ(例えば、画像ファイル)を記憶するメモリとしても機能する。ここで、ROM31内に格納されているプログラムは、CPU30の制御によりI/Oポート35を介して外部装置(図示せず)からダウンロードされるプログラムに書換え可能である。なお、本実施の形態では、ROM31がプログラムを記憶する記憶媒体として機能している。通信制御部36は、複合機1と外部装置(図示せず)との間でネットワーク等を介してデータを送受信する機能を有しており、ファクシミリのモデム機能、公衆電話回線網に接続するための網制御機能、LAN(Local Area Network)制御機能等を備えている。
【0075】
次に、本実施の形態の複合機1における画像処理の概要について図7を参照して説明する。図7は、複合機1における画像処理の概要を説明するための機能ブロック図である。
【0076】
複合機1の画像処理は、図1を参照して説明した各機能ブロックで構成されている圧縮部40と、各々複数の領域に分割され圧縮された第1の画像及び第2の画像から各々複数の領域毎に特徴量を抽出する特徴量抽出部41と、抽出した複数の領域毎の特徴量に基づいて第1の画像と第2の画像とを比較する画像比較部42と、を備えている。
【0077】
基本的には、スキャナ2で読み取られた画像の画像データをJPEG2000アルゴリズムに基づいて圧縮符号化し、画像のコードストリームを生成する。すなわち、画像を1又は複数の領域である複数のタイル領域(矩形領域)に分割し、このタイル領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化する。その後、圧縮した画像からタイル領域毎に特徴量を抽出し、抽出した特徴量に基づいて、原画像(第1の画像)と他の画像(第2の画像)とを比較する。これにより、原画像の類似画像や原画像と一致する同一画像を検索したり、それらの画像を分類したりすることができる。ここで、複数の領域とは、タイル領域に限るものではない。なお、JPEG2000アルゴリズムに基づいて圧縮された画像データを受信して、受信した画像に対して特徴量抽出部41及び画像比較部42による処理を実行するようにしても良い。
【0078】
このような圧縮部40、特徴量抽出部41や画像比較部42等の機能は、ROM31に記憶されているプログラムに基づいてCPU30が行う画像処理で実行されるようにしているが、これに限るものではなく、例えば、IPU34によりハードウエアが行う画像処理で実行されるようにしても良い。
【0079】
ここで、特徴量抽出部41における特徴量の抽出方法について説明する。特徴量抽出部41では、複数の領域であるタイル領域毎に領域属性を識別する領域識別処理を実行し、領域属性を特徴量として抽出する。この領域属性としては、例えば、文字領域、写真領域、図領域、表領域、黒ベタ領域、背景領域、識別不能領域等の様々な領域属性がある。なお、識別不能領域とは、領域識別処理により領域属性を識別できなかった領域である。また、背景領域とは、原稿の余白にあたる余白領域であるが、これに限るものではなく、例えば、行間にあたる行間領域を余白領域に加えた領域であっても良い。
【0080】
次いで、複合機1のCPU30がプログラムに基づいて実行する画像処理について説明する。ここでは、複合機1を画像サーバとして用いるために画像データを蓄積する場合の画像処理について図8ないし図13を参照して説明する。図8は本実施の形態の画像処理の流れを概略的に示すフローチャート、図9は複数のタイル領域に分割された画像の一例を概略的に示す説明図、図10は特徴量抽出処理の流れを概略的に示すフローチャート、図11は画像比較処理の流れを概略的に示すフローチャート、図12は画像比較処理を概略的に示す説明図、図13は画像比較処理の結果を概略的に示す説明図である。
【0081】
図8に示すように、まず、スキャナ2による原稿画像の読取に待機する(ステップS1のN)。操作者がスキャナ2の原稿圧板6を開放してコンタクトガラス5上に原稿をセットし、原稿圧板6を閉じて操作パネル33のスタートキーを押下すると、スキャナ2は読取光学系7のスキャニング動作でコンタクトガラス5上にセットされた原稿から原画像(第1の画像)を読み取る。
【0082】
スキャナ2により原稿から原画像が読み取られると(S1のY)、読み取った原画像をJPEG2000アルゴリズムに基づいて圧縮する(S2)。すなわち、原画像は、複数のタイル領域に分割され、複数のタイル領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で階層的に圧縮される。これにより、原画像は、複数のタイル領域に分割されることになる。例えば、図9に示すように、原画像は、4×6=24の複数のタイル領域に分割される。
【0083】
圧縮した原画像からタイル領域毎に特徴量を抽出する特徴量抽出処理を実行する(S3)。ここに、特徴量抽出手段又は特徴量抽出機能が実行される。ここでは、圧縮した原画像に対してタイル領域毎に領域属性を識別する領域識別処理を実行し、タイル領域毎に領域属性を特徴量として抽出する。
【0084】
ここで、特徴量抽出処理について説明する。図10に示すように、圧縮した原画像における全てのタイル領域の中から一つのタイル領域を選択する(S11)。選択したタイル領域に対して領域識別処理を実行して、タイル領域の領域属性を特徴量として抽出する(S12)。なお、領域識別処理の方法は、従来の方法、例えば、黒ランの密度を用いて領域識別する方法等で十分であり、その方法は公知であるため、その説明は省略する。そして、全てのタイル領域の領域属性が抽出されるまで、ステップS11からステップS12を繰り返す(S13のN)。これにより、全てのタイル領域の領域属性が、文字領域、写真領域、図領域、表領域、背景領域、識別不能領域等に識別され、タイル領域毎に抽出される。
【0085】
次に、図8に示すように、画像(画像データ)がROM31に保存されているか否かを判断する(S4)。画像がROM31に保存されていないと判断した場合には(S4のN)、圧縮した原画像(画像データ)をROM31(EEPROMやフラッシュメモリ等)に保存する(S5)。なお、ステップS3で、抽出された特徴量である領域属性は、原画像の画像データ中に保存されているが、これに限るものではなく、例えば、原画像に関連付られ領域属性データとして保存されても良い。
【0086】
画像がROM31に保存されていると判断した場合には(S4のY)、ステップS3でタイル領域毎に抽出された領域属性に基づいて、ステップS2で圧縮した原画像をROM31に保存されている画像(第2の画像)と比較する画像比較処理を実行する(S6)。ここに、画像比較手段又は画像比較機能が実行される。
【0087】
ここで、画像比較処理について説明する。図11に示すように、各々全てのタイル領域の中から1つのタイル領域を選択し(S21:図12参照)、選択した各々のタイル領域の領域属性を比較する(S22:図12参照)。ここに、特徴量比較手段又は特徴量比較機能が実行される。例えば、図12中では、画像Aと画像Bとにおいて、番号1で示すタイル領域の領域属性を比較している。このように、選択した各々タイル領域は、画像中の同一位置に位置するタイル領域である。次に、全てのタイル領域の領域属性が比較されるまで、ステップS21からステップS22を繰り返す(S23のN)。これにより、タイル領域毎に領域属性が比較され、タイル領域の領域属性が一致するか否かが判断される(図13参照)。なお、図13中では、〇が領域属性の一致を示し、×は領域属性が不一致を示す。
【0088】
このように全てのタイル領域の領域属性が比較され、その後、一致数すなわち〇の数を所定の一致数と比較する。ここに、一致数比較手段又は一致数比較機能が実行される。〇の数が所定の一致数より大きいと判断された場合には、圧縮した原画像とROM31に保存されている画像とを一致度が高い画像(類似画像や同一画像等)として特定する。ここに、画像特定手段又は画像特定機能が実行される。例えば、図12中では、所定の一致数を20と設定しておき、〇の数が20より大きい又は20以上である場合、圧縮した原画像とROM31に保存されている画像とを類似画像として特定したり、所定の一致数を24と設定しておき、〇の数が24である場合、圧縮した原画像とROM31に保存されている画像とを同一画像として特定したりする。なお、所定の一致数は、複合機1の工場出荷前に設定されているが、これに限るものではなく、例えば操作パネル33に対する操作者の操作によって設定されるようにしても良い。
【0089】
その後、図8に示すように、圧縮した原画像(画像データ)を一致度が高い画像と関連付けてROM31(EEPROMやフラッシュメモリ等)に保存する(S5)。なお、一致度が高い画像が存在しない場合には、関連付けを行わずに原画像をROM31に保存する。ここで、複数の原画像が読み取られると、複数の画像は、特徴量である領域属性に基づいて分類され、類似画像又は同一画像毎に関連付けられてROM31に保存される。これにより、分類された複数の画像で構成された画像ファイル(辞書ファイル)が形成されることになる。なお、JPEG2000アルゴリズムに基づいて圧縮された画像を通信制御部36により受信して、受信した画像に対してステップS3からステップS6までの画像処理を実行するようにしても良い。
【0090】
このようにROM31に保存された画像は、例えば、JPEG2000アルゴリズムに基づいて伸長され、プリンタエンジン17によって用紙等の記録材に画像形成されたり、通信制御部36によってネットワーク等を介して外部装置に送信されたりする。ここに、伸長手段又は伸長機能が実行される。
【0091】
また、操作パネル33に対する操作者の操作によって選択された画像に関して類似画像や同一画像等を検索する場合にも、前述した画像処理が同様に実行される。これにより、一致度が高い画像が検索され、類似画像や同一画像等が求められる。
【0092】
このように本実施の形態では、JPEG2000アルゴリズムに基づいて圧縮された原画像(第1の画像)とROM31に保存されている画像(第2の画像)とから各々タイル領域毎にタイル領域の領域属性を識別し、識別したタイル領域の領域属性を特徴量として抽出し(S3)、抽出したタイル領域毎の領域属性に基づいて原画像とROM31に保存されている画像とを比較するようにしたことから、JPEG2000の特徴を活かした様々な画像処理を実行することが可能になり、画像を複数の領域に分割する処理や複数の解像度の画像を形成する処理等が必要とされず、簡単な処理で精度良く画像比較を実行することが可能となり、その結果として、システム規模の縮小及び処理時間の短縮を実現することができる。
【0093】
また、全てのタイル領域の領域属性を抽出し、全てのタイル領域の領域属性を比較することで、一部分のタイル領域の領域属性を比較する場合に比べ、精度高く画像比較を実行することができる。
【0094】
ここで、ステップS12における領域属性の識別方法としては、従来の識別方法以外に、ウェーブレット特徴量を用いることも可能であり、例えば、画像をタイル領域毎に2次元ウェーブレット変換し(図3参照)、タイル領域の2次元ウェーブレット係数中に含まれている周波数成分情報(LL成分、LH成分、HL成分、HH成分)に基づいてタイル領域の領域属性を識別する方法がある。なお、LL成分とは水平方向低周波・垂直方向低周波成分であり、LH成分とは水平方向低周波・垂直方向高周波成分であり、HL成分とは水平方向高周波・垂直方向低周波成分であり、HH成分とは水平方向高周波・垂直方向高周波成分である。また、JPEG2000の2次元ウェーブレット変換は、1次元フィルタを水平方向及び垂直方向に適用することで2次元ウェーブレット係数を算出し、算出した2次元ウェーブレット係数をローパスフィルタとハイパスフィルタとの組合せによって、前述した4つの係数群(LL成分、LH成分、HL成分、HH成分)に分割する。
【0095】
このような周波数成分情報に基づく領域属性の識別方法においては、画像の写真領域でHH成分が高くなることを利用して、HH成分の領域が広く分布しているタイル領域の領域属性を写真領域属性として識別する。また、画像の文字領域でHH成分が文字行方向に隣設して連続することを利用して、HH成分が文字行方向に隣設して連続するタイル領域の領域属性を文字領域属性として識別する。さらに、表の罫線がHL成分及びLH成分に反応することを利用して、HL及びLH成分に基づいて罫線情報である罫線の交差情報を抽出し、抽出した罫線の交差情報からタイル領域の領域属性を表領域属性として識別する。加えて、背景領域でLL成分以外のHH、HL、LH成分があまり高くないことを利用して、HH、HL、LH成分が他の領域に比べあまり高くないタイル領域の領域属性を背景領域属性として識別する。また、HL及びLH成分に基づいて罫線情報である罫線の傾き情報(傾き量)を抽出し、抽出した罫線の傾き情報から画像の傾きを求め、傾き角度を検出することも可能である。
【0096】
このように周波数成分情報を用いることで、従来の領域識別方法に比べ、精度高く領域識別を実行することができる。さらに、従来、エッジ情報を求めてから罫線情報を抽出していたが、圧縮された画像が有しているエッジ情報のHL成分及びLH成分の周波数成分情報を用いることで、エッジ情報を求める必要が無いので、システム規模の縮小及び処理時間の短縮を実現することができる。
【0097】
本発明の第二の実施の形態について説明する。本実施の形態は、第一の実施の形態と基本的構成は同じであり、その相違点は、複合機1のCPU30がプログラムに基づいて実行する特徴量抽出処理であり、特に、操作パネル33に対する操作者の操作によって選択された必要領域に基づいて、特徴量を抽出する必要があるタイル領域を指定する点である。なお、第一の実施の形態で説明した部分と同一部分は同一符号で示し、その説明も省略する。
【0098】
本実施の形態における複合機1のCPU30がプログラムに基づいて実行する画像処理の一部である特徴量抽出処理について図14及び図15を参照して説明する。図14は本実施の形態の特徴量抽出処理の流れを概略的に示すフローチャート、図15は必要領域の一例を概略的に示す説明図である。
【0099】
図14に示すように、操作パネル33に対する操作者の操作によって選択された必要領域に基づいて、特徴量である領域属性を抽出する必要があるタイル領域を指定する(S31)。ここに、領域指定手段又は領域指定機能が実行される。ここで、原画像には、タイル領域毎に1から24までの番号が割り当てられている(図15参照)。例えば、操作者が操作パネル33を操作して9から20までの番号を選択することで、9から20までの複数のタイル領域が必要領域として選択される(図15参照)。なお、必要領域が選択されなかった場合には、例えば、1から24までの全てのタイル領域が必要領域として選択される。
【0100】
指定された複数のタイル領域の中から一つのタイル領域を選択する(S32)。選択したタイル領域に対して領域識別処理を実行して、タイル領域の領域属性を特徴量として抽出する(S33)。指定された複数のタイル領域の領域属性が抽出されるまで、ステップS32からステップS33を繰り返す(S34のN)。これにより、全てのタイル領域の領域属性が、文字領域、写真領域、図領域、表領域、背景領域、識別不能領域等に識別され、タイル領域毎に抽出される。
【0101】
このように本実施の形態では、第一の実施の形態の効果と同様な効果が得られ、さらに、操作パネル33に対する操作者の操作によって、領域属性を抽出する必要があるタイル領域が指定されることから、その指定されたタイル領域に対してのみ領域識別処理が実行されるので、全てのタイル領域に対して領域識別処理を実行する場合に比べて、処理時間を短縮することができる。
【0102】
なお、各実施の形態においては、画像処理装置として複合機1を用いているが、これに限るものではなく、例えば、パーソナルコンピュータ等を用いても良い。この場合、パーソナルコンピュータは、CPU、ROM、RAM、各種のプログラムを記憶するHDD(Hard Disk Drive)、CD−ROMドライブ、ネットワークを介し外部装置と通信により情報を伝達するための通信制御装置、処理経過や結果等を操作者に表示する表示装置、キーボードやマウス等の入力装置等を備えている。ここで、HDDは、前述したようなJPEG2000フォーマットの圧縮伸長用のプログラムを含むプログラムを記憶する記憶媒体として機能する。
【0103】
なお、一般的には、パーソナルコンピュータのHDDにインストールされるプログラムは、CD−ROMやDVD−ROM等の光情報記録メディアやFD等の磁気メディア等に記録され、この記録されたプログラムがHDDにインストールされる。このため、CD−ROM等の光情報記録メディアやFD等の磁気メディア等の可搬性を有する記憶媒体も、前述したようなJPEG2000フォーマットの圧縮伸長用のプログラムを含むプログラムを記憶する記憶媒体となり得る。さらには、このようなプログラムは、例えば通信制御装置を介して外部から取込まれ、HDDにインストールされても良い。
【0104】
【発明の効果】
請求項1記載の発明の画像処理装置によれば、各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量に基づいて、前記第1の画像と前記第2の画像とを比較する画像比較手段と、を備えることから、画像を複数の領域に分割する処理等が必要とされず、簡単な処理で精度良く画像比較を実行することが可能となり、その結果として、システム規模の縮小及び処理時間の短縮を実現することができる。
【0105】
請求項2記載の発明によれば、請求項1記載の画像処理装置において、前記特徴量抽出手段は、領域の領域属性を識別し、識別した領域属性を特徴量として抽出することから、簡単に特徴量を抽出することができ、精度高く画像比較を実行することができる。
【0106】
請求項3記載の発明によれば、請求項2記載の画像処理装置において、前記第1の画像及び前記第2の画像は、複数の領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で圧縮されており、前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別することから、特徴量を抽出するための処理が簡略化され、精度高く簡単に領域属性を識別することが可能となり、その結果として、処理時間の短縮を実現することができる。
【0107】
請求項4記載の発明によれば、請求項3記載の画像処理装置において、前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいてタイル領域の領域属性を表領域属性として識別することから、精度高く簡単に表領域を識別することができる。
【0108】
請求項5記載の発明によれば、請求項1記載の画像処理装置において、前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を特徴量として抽出することから、精度高く簡単に画像の罫線情報を抽出することができる。
【0109】
請求項6記載の発明によれば、請求項1ないし5のいずれか一記載の画像処理装置において、操作者による操作を受け付ける操作部と、前記操作部に対する操作者の操作に基づいて、特徴量を抽出する必要がある領域を指定する領域指定手段と、を備え、前記特徴量抽出手段は、前記領域指定手段により指定された領域だけの特徴量を抽出することから、操作部に対する操作者の操作によって、特徴量を抽出する必要がある領域が指定されることで、その指定された領域からのみ特徴量が抽出されるので、全ての領域から特徴量を抽出する場合に比べ、処理時間を短縮することができる。
【0110】
請求項7記載の発明によれば、請求項1ないし6のいずれか一記載の画像処理装置において、前記画像比較手段は、前記特徴量抽出手段により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較する特徴量比較手段と、前記特徴量比較手段による前記第1の画像の特徴量と前記第2の画像の特徴量との一致数を所定の一致数と比較する一致数比較手段と、前記一致数比較手段により前記一致数が所定の一致数より大きいと判断された場合、前記第1の画像と前記第2の画像とを一致度が高い画像として特定する画像特定手段と、を備えることから、第1の画像と第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較することで、精度高く簡単に画像比較を実行することができる。
【0111】
請求項8記載の発明によれば、請求項7記載の画像処理装置において、前記特徴量抽出手段は、全ての領域の特徴量を抽出し、前記特徴量比較手段は、全ての領域の特徴量を比較することから、一部分の領域の特徴量を比較する場合に比べ、精度高く画像比較を実行することができる。
【0112】
請求項9記載の発明によれば、請求項1ないし8のいずれか一記載の画像処理装置において、原稿から画像を光学的に読み取る読取光学系を備えることから、原稿から画像を読み取ることが可能になり、その結果として、この画像に対し画像処理等の様々な処理を実行することができる。
【0113】
請求項10記載の発明によれば、請求項1ないし9のいずれか一記載の画像処理装置において、圧縮された画像を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長する伸長手段を備えることから、圧縮された画像が伸長され、その結果として、伸長された画像の表示装置等への表示や用紙等への印字等を実行することができる。
【0114】
請求項11記載の発明によれば、請求項10記載の画像処理装置において、前記伸長手段により伸長された画像を記録材に画像形成するプリンタエンジンを備えることから、伸長された画像を用紙等の記録材に画像形成することができる。
【0115】
請求項12記載の発明のプログラムによれば、画像処理装置が備えるコンピュータに解釈され、前記コンピュータに、各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出する特徴量抽出機能と、前記特徴量抽出機能により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量に基づいて、前記第1の画像と前記第2の画像とを比較する画像比較機能と、を実行させることから、画像を複数の領域に分割する処理等が必要とされず、簡単な処理で精度良く画像比較を実行することが可能となり、その結果として、システム規模の縮小及び処理時間の短縮を実現することができる。
【0116】
請求項13記載の発明によれば、請求項12記載のプログラムにおいて、前記特徴量抽出機能は、領域の領域属性を識別し、識別した領域属性を特徴量として抽出することから、簡単に特徴量を抽出することができ、精度高く画像比較を実行することができる。
【0117】
請求項14記載の発明によれば、請求項13記載のプログラムにおいて、前記第1の画像及び前記第2の画像は、複数の領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で圧縮されており、前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の域の領域属性を識別することから、特徴量を抽出するための処理が簡略化され、精度高く簡単に領域属性を識別することが可能となり、その結果として、処理時間の短縮を実現することができる。
【0118】
請求項15記載の発明によれば、請求項14記載のプログラムにおいて、前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいてタイル領域の領域属性を表領域属性として識別することから、精度高く簡単に表領域を識別することができる。
【0119】
請求項16記載の発明によれば、請求項12記載のプログラムにおいて、前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を特徴量として抽出することから、精度高く簡単に画像の罫線情報を抽出することができる。
【0120】
請求項17記載の発明によれば、請求項12ないし16のいずれか一記載のプログラムにおいて、操作部に対する操作者の操作に基づいて、特徴量を抽出する必要がある領域を指定する領域指定機能を前記コンピュータに実行させ、前記特徴量抽出機能は、前記領域指定機能により指定された領域だけの特徴量を抽出することから、操作部に対する操作者の操作によって、特徴量を抽出する必要がある領域が指定されることで、その指定された領域からのみ特徴量が抽出されるので、全ての領域から特徴量を抽出する場合に比べ、処理時間を短縮することができる。
【0121】
請求項18記載の発明によれば、請求項12ないし17のいずれか一記載のプログラムにおいて、前記画像比較機能は、前記特徴量抽出機能により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較する特徴量比較機能と、前記特徴量比較機能による前記第1の画像の特徴量と前記第2の画像の特徴量との一致数を所定の一致数と比較する一致数比較機能と、前記一致数比較機能により前記一致数が所定の一致数より大きいと判断された場合、前記第1の画像と前記第2の画像とを一致度が高い画像として特定する画像特定機能と、を前記コンピュータに実行させることから、第1の画像と第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較することで、精度高く簡単に画像比較を実行することができる。
【0122】
請求項19記載の発明によれば、請求項18記載のプログラムにおいて、前記特徴量抽出機能は、全ての領域の特徴量を抽出し、前記特徴量比較機能は、全ての領域の特徴量を比較することから、一部分の領域の特徴量を比較する場合に比べ、精度高く画像比較を実行することができる。
【0123】
請求項20記載の発明によれば、請求項12ないし19のいずれか一記載のプログラムにおいて、圧縮された画像を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長する伸長機能を前記コンピュータに実行させることから、圧縮された画像が伸長され、その結果として、伸長された画像の表示装置等への表示や用紙等への印字等を実行することができる。
【0124】
請求項21記載の発明のコンピュータ読取可能な記憶媒体によれば、請求項12ないし20のいずれか一記載のプログラムを記憶していることから、請求項12ないし20のいずれか一記載の発明と同様な効果を奏する。
【図面の簡単な説明】
【図1】JPEG2000アルゴリズムの概要を説明するための機能ブロック図である。
【図2】カラー画像である原画像の分割された各コンポーネントの一例を概略的に示す模式図である。
【図3】デコンポジションレベル数が3である場合の各デコンポジションレベルにおけるサブバンドを概略的に示す模式図である。
【図4】コードストリームの構造の一例を概略的に示す模式図である。
【図5】本発明の第一の実施の形態の複合機を概略的に示す縦断面図である。
【図6】複合機の制御系のうち、画像処理に関わる制御系の電気的な接続を概略的に示すブロック図である。
【図7】複合機における画像処理の概要を説明するための機能ブロック図である。
【図8】本発明の第一の実施の形態の画像処理の流れを概略的に示すフローチャートである。
【図9】複数のタイル領域に分割された画像の一例を概略的に示す説明図である。
【図10】本発明の第一の実施の形態の特徴量抽出処理の流れを概略的に示すフローチャートである。
【図11】画像比較処理の流れを概略的に示すフローチャートである。
【図12】画像比較処理を概略的に示す説明図である。
【図13】画像比較処理の結果を概略的に示す説明図である。
【図14】本発明の第二の実施の形態の特徴量抽出処理の流れを概略的に示すフローチャートである。
【図15】必要領域の一例を概略的に示す説明図である。
【符号の説明】
1 画像処理装置(複合機)
7 読取光学系
17 プリンタエンジン
31 記憶媒体(ROM)
33 操作部(操作パネル)
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, a program, and a storage medium.
[0002]
[Prior art]
2. Description of the Related Art In recent years, with the spread of image processing apparatuses such as scanners, digital cameras, computers, copiers, and multifunction peripherals (MFPs), digital image data is stored in a storage device such as a memory or a hard disk, or is stored on an optical disk such as a CD-ROM. It is familiar to memorize and further transmit via the Internet or the like. In particular, recently, computers, multifunction devices, and the like are often used as image servers. Various image processing is performed on such image data.
[0003]
For example, as a general image processing flow for a multifunction device or the like,
(1) Image input → tilt angle detection → tilt angle correction → area identification processing → character recognition processing
▲ 2 ▼ Image input → Tilt angle detection → Tilt angle correction → Title extraction → Use title as file name for document management
(3) Color image input → binarization processing → inclination angle detection (same as the processing of (1) or (2) thereafter)
(4) Color image input → Binarization processing (same as the processing of (3)) → Specify the character color of the character area or title area → Reproduce and display
And so on.
[0004]
The flow of image processing for searching for images (or image processing for classifying images) is as follows.
(5) Image input → feature extraction → search for images with similar features (subsequent classification)
Such processing is common. Here, the feature amount includes color, texture, edge information, and the like.
[0005]
Various techniques executed in such a flow of image processing have been proposed. For example, a technique of storing image data of a plurality of resolutions and selectively outputting an image of a resolution suitable for an output device (for example, see Patent Document 1), generating image data of a plurality of resolutions, and creating a ruled line from the image of each resolution (See, for example, Patent Document 2), a technique of generating image data of a plurality of resolutions, obtaining an optimum resolution based on a character type, and then performing a character recognition process (see, for example, Patent Document 3) Etc. have been proposed.
[0006]
On the other hand, recently, high-definition images can be easily obtained by various techniques, but the data size of such high-definition still images tends to be large, and handling of high-definition still images becomes difficult. ing. At present, JPEG (Joint Photographic Experts Group) and JPEG2000, an image compression / expansion method succeeding JPEG, which became an international standard in 2001, are used as image compression / expansion algorithms for facilitating the handling of such high-definition still images. The feature of the image data compressed by JPEG2000 is that it has images of a plurality of resolutions, one image is previously divided into a plurality of regions (tile regions) by a tiling process, and a frequency component (LL) Component, LH component, HL component, HH component).
[0007]
[Patent Document 1]
JP 2000-187725 A
[Patent Document 2]
JP 2001-127772 A
[Patent Document 3]
JP-A-2002-24766
[0008]
[Problems to be solved by the invention]
Conventional techniques generate image data of a plurality of resolutions, store the generated image data of a plurality of resolutions, divide an image into a plurality of regions, and obtain edge information which is a feature amount. Need to be Since it is necessary to execute various processes as described above, the system scale of the image processing increases, and the processing time of the image processing also increases.
[0009]
Further, in the conventional technique, since the feature amount is often extracted from a part of the image, the image comparison is not performed with high accuracy when searching or classifying the image, and as a result, the image search or classification is performed accurately. May not be done.
[0010]
An object of the present invention is to provide an image processing apparatus, a program, and a storage medium that can realize a reduction in system scale and processing time.
[0011]
An object of the present invention is to provide an image processing device, a program, and a storage medium that can execute image comparison with high accuracy.
[0012]
[Means for Solving the Problems]
An image processing apparatus according to claim 1, wherein a feature amount extracting unit extracts a feature amount for each of the plurality of regions from the first image and the second image which are divided into a plurality of regions and compressed. An image comparing the first image and the second image based on a feature amount extracted for each of a plurality of regions from the first image and the second image by the feature amount extracting unit; Comparing means.
[0013]
Therefore, a feature amount is extracted for each of the plurality of regions from the first image and the second image which are divided into a plurality of regions and compressed, and the first image and the second image are extracted based on the extracted feature amounts. By comparing the image with the image, processing for dividing the image into a plurality of regions is not required, and the image comparison can be performed with high accuracy by simple processing. As a result, the system scale is reduced and the processing is reduced. Time can be reduced.
[0014]
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the feature amount extracting unit identifies a region attribute of the region and extracts the identified region attribute as a feature amount.
[0015]
Therefore, by identifying the region attribute of the region, the feature amount can be easily extracted, and the image comparison can be performed with high accuracy.
[0016]
According to a third aspect of the present invention, in the image processing apparatus of the second aspect, the first image and the second image are compressed by a procedure of two-dimensional wavelet transform, quantization, and encoding for each of a plurality of regions. The feature value extracting means identifies a region attribute of the region based on frequency component information included in a two-dimensional wavelet coefficient of the region.
[0017]
Therefore, by identifying the region attribute of the region based on the frequency component information included in the two-dimensional wavelet coefficient of the region, the process for extracting the feature amount is simplified, and the region attribute can be easily and accurately determined. The identification can be performed, and as a result, the processing time can be reduced.
[0018]
According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the feature amount extracting unit determines a region attribute of the tile region based on an HL component and an LH component included in a two-dimensional wavelet coefficient of the region. As a tablespace attribute.
[0019]
Therefore, by identifying the region attribute of the region as the table region attribute based on the HL component and the LH component included in the two-dimensional wavelet coefficient of the region, it is possible to easily and accurately identify the table region. .
[0020]
According to a fifth aspect of the present invention, in the image processing apparatus according to the first aspect, the feature amount extracting unit converts the ruled line information based on the HL component and the LH component included in the two-dimensional wavelet coefficient of the region. Extract as
[0021]
Therefore, by extracting the ruled line information based on the HL component and the LH component included in the two-dimensional wavelet coefficient of the area, it is possible to easily and accurately extract the ruled line information of the image.
[0022]
According to a sixth aspect of the present invention, in the image processing apparatus according to any one of the first to fifth aspects, an operation unit that receives an operation by an operator and a feature amount is extracted based on the operation of the operator on the operation unit. Area designating means for designating an area which needs to be performed, wherein the feature quantity extracting means extracts a feature quantity of only the area designated by the area designating means.
[0023]
Therefore, by specifying an area from which a feature amount needs to be extracted by an operation performed by the operator on the operation unit, the feature amount is extracted only from the specified area. The processing time can be shortened as compared with the case of performing the processing.
[0024]
According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the first to sixth aspects, the image comparing unit is configured to determine each of the first image and the second image by the feature amount extracting unit. A feature amount comparing unit that compares a feature amount extracted for each of the plurality of regions for each of the plurality of regions, and matching between the feature amount of the first image and the feature amount of the second image by the feature amount comparing unit. A number-of-matches comparing means for comparing the number with a predetermined number of matches; and if the number of matches is determined by the number-of-matches comparing means to be greater than the predetermined number of matches, the first image and the second image are compared. Image specifying means for specifying an image having a high degree of coincidence.
[0025]
Therefore, by comparing the feature amount extracted for each of the plurality of regions from the first image and the second image for each of the plurality of regions, it is possible to easily and accurately perform the image comparison.
[0026]
According to an eighth aspect of the present invention, in the image processing apparatus according to the seventh aspect, the feature amount extracting unit extracts feature amounts of all the regions, and the feature amount comparing unit compares the feature amounts of all the regions. I do.
[0027]
Therefore, by comparing the feature values of all the regions, it is possible to perform the image comparison with higher accuracy than when comparing the feature values of a part of the regions.
[0028]
According to a ninth aspect of the present invention, in the image processing apparatus according to any one of the first to eighth aspects, a reading optical system for optically reading an image from a document is provided.
[0029]
Therefore, an image can be read from a document, and as a result, various processes such as image processing can be performed on the image.
[0030]
According to a tenth aspect of the present invention, in the image processing apparatus according to any one of the first to ninth aspects, the compressed image is decompressed for each of a plurality of regions, decompressed, and decompressed by two-dimensional wavelet inverse transform. Extending means for performing the extension.
[0031]
Therefore, the compressed image (code data) is expanded for each of a plurality of areas by decoding, inverse quantization, and inverse two-dimensional wavelet transform, whereby the compressed image is expanded. As a result, the expanded image is expanded. It is possible to execute the display of the displayed image on a display device or the like, the printing on paper or the like.
[0032]
According to an eleventh aspect of the present invention, in the image processing apparatus according to the tenth aspect, there is provided a printer engine for forming an image decompressed by the decompression means on a recording material.
[0033]
Therefore, it is possible to form an image of the expanded image on a recording material such as paper.
[0034]
The program according to claim 12, which is interpreted by a computer provided in the image processing apparatus, and instructs the computer to convert each of a plurality of regions from a first image and a second image which are divided into a plurality of regions and compressed. A feature value extraction function for extracting feature values to the first image and the second image based on feature values extracted for each of a plurality of regions by the feature value extraction function. And an image comparison function of comparing the image with the second image.
[0035]
Therefore, a feature amount is extracted for each of the plurality of regions from the first image and the second image which are divided into a plurality of regions and compressed, and the first image and the second image are extracted based on the extracted feature amounts. By comparing the image with the image, processing for dividing the image into a plurality of regions is not required, and the image comparison can be performed with high accuracy by simple processing. As a result, the system scale is reduced and the processing is reduced. Time can be reduced.
[0036]
According to a thirteenth aspect of the present invention, in the program according to the twelfth aspect, the feature amount extracting function identifies a region attribute of the region and extracts the identified region attribute as a feature amount.
[0037]
Therefore, by identifying the region attribute of the region, the feature amount can be easily extracted, and the image comparison can be performed with high accuracy.
[0038]
According to a fourteenth aspect of the present invention, in the program according to the thirteenth aspect, the first image and the second image are compressed by a procedure of two-dimensional wavelet transform, quantization, and encoding for each of a plurality of regions. The feature extraction function identifies a region attribute of a region based on frequency component information included in a two-dimensional wavelet coefficient of the region.
[0039]
Therefore, by identifying the region attribute of the region based on the frequency component information included in the two-dimensional wavelet coefficient of the region, the process for extracting the feature amount is simplified, and the region attribute can be easily and accurately determined. The identification can be performed, and as a result, the processing time can be reduced.
[0040]
According to a fifteenth aspect of the present invention, in the program according to the fourteenth aspect, the feature amount extracting function displays an area attribute of the tile area based on an HL component and an LH component included in a two-dimensional wavelet coefficient of the area. Identify as an area attribute.
[0041]
Therefore, by identifying the region attribute of the region as the table region attribute based on the HL component and the LH component included in the two-dimensional wavelet coefficient of the region, it is possible to easily and accurately identify the table region. .
[0042]
According to a sixteenth aspect of the present invention, in the program according to the twelfth aspect, the feature amount extracting function extracts ruled line information as a feature amount based on HL components and LH components included in a two-dimensional wavelet coefficient of the area. I do.
[0043]
Therefore, by extracting the ruled line information based on the HL component and the LH component included in the two-dimensional wavelet coefficient of the area, it is possible to easily and accurately extract the ruled line information of the image.
[0044]
According to a seventeenth aspect of the present invention, in the program according to any one of the twelfth to thirteenth aspects, the program has an area designating function for designating an area in which a feature amount needs to be extracted based on an operation performed by an operator on an operation unit. The program is executed by a computer, and the feature amount extracting function extracts a feature amount of only an area specified by the area specifying function.
[0045]
Therefore, by specifying an area for which a feature amount needs to be extracted by an operation on the operation unit, the feature amount is extracted only from the specified area, and the feature amount is extracted from all the areas. The processing time can be shortened as compared with the case of performing the processing.
[0046]
The invention according to claim 18 is the program according to any one of claims 12 to 17, wherein the image comparison function uses the feature amount extraction function to output a plurality of images from the first image and the second image. A feature value comparison function of comparing the feature value extracted for each region for each of a plurality of regions; and a number of matches between the feature value of the first image and the feature value of the second image by the feature value comparison function. A coincidence number comparison function for comparing with a predetermined number of coincidences, and when the coincidence number comparison function determines that the number of coincidences is larger than the predetermined number of coincidences, the degree of coincidence between the first image and the second image is determined. And causing the computer to execute an image specifying function of specifying an image having a high score.
[0047]
Therefore, by comparing the feature amount extracted for each of the plurality of regions from the first image and the second image for each of the plurality of regions, it is possible to easily and accurately perform the image comparison.
[0048]
According to a nineteenth aspect of the present invention, in the program according to the eighteenth aspect, the feature amount extracting function extracts feature amounts of all the regions, and the feature amount comparing function compares the feature amounts of all the regions.
[0049]
Therefore, by comparing the feature values of all the regions, it is possible to perform the image comparison with higher accuracy than when comparing the feature values of a part of the regions.
[0050]
According to a twentieth aspect of the present invention, there is provided the program according to any one of the twelfth to nineteenth aspects, wherein the compressed image is expanded for each of a plurality of regions by a procedure of decoding, inverse quantization, and inverse two-dimensional wavelet transform. Causing the computer to execute a function.
[0051]
Therefore, the compressed image (code data) is expanded by decoding, dequantization, and inverse two-dimensional wavelet transform for each of a plurality of regions, so that the compressed image is expanded. As a result, the expanded image is expanded. It is possible to execute the display of the displayed image on a display device or the like, the printing on paper or the like.
[0052]
A computer-readable storage medium according to a twenty-first aspect stores the program according to any one of the twelfth to twentieth aspects.
[0053]
Therefore, the same operation as the invention according to any one of claims 12 to 20 is achieved.
[0054]
BEST MODE FOR CARRYING OUT THE INVENTION
A first embodiment of the present invention will be described with reference to FIGS.
[0055]
In the present embodiment, the “JPEG2000 algorithm” is used. However, since the JPEG2000 algorithm itself is well known in various documents and gazettes, the details are omitted, and the outline is described.
[0056]
FIG. 1 is a functional block diagram for explaining the outline of the JPEG2000 algorithm. The JPEG2000 algorithm includes a color space conversion / inverse conversion unit 100, a two-dimensional wavelet conversion / inverse conversion unit 101, a quantization / inverse quantization unit 102, an entropy encoding / decoding unit 103, and a tag processing unit 104. I have.
[0057]
One of the features of JPEG2000 is that a two-dimensional discrete wavelet transform (DWT: Discrete Wavelet Transform) having an advantage of high image quality in a high compression area is used. Another major feature is that a functional block called a tag processing unit 104 for performing code formation is added at the last stage, and a code stream as code string data is generated and interpreted. JPEG2000 can realize various convenient functions by the code stream.
[0058]
Note that a color space conversion / inversion unit 100 is often provided in the input / output part of the image. The color space conversion / inverse conversion unit 100 includes, for example, an RGB color system including R (red) / G (green) / B (blue) components of a primary color system, and Y (yellow) / M of a complementary color system. This is a part that performs conversion from the YMC color system composed of each component of (magenta) / C (cyan) to YCrCb or the YUV color system or vice versa.
[0059]
Hereinafter, the JPEG2000 algorithm, particularly the wavelet transform, will be described.
[0060]
FIG. 2 is a schematic diagram schematically illustrating an example of each of the divided components of an original image that is a color image. In a color image, as shown in FIG. 2, each component 110 of the image is generally separated by, for example, an RGB primary color system. Further, each component 110 of the image is divided by tiles 111 which are rectangular areas. Each tile 111, for example, R00, R01, ..., R15 / G00, G01, ..., G15 / B00, B01, ..., B15 constitutes a basic unit when executing the compression / decompression process. Therefore, the compression / expansion operation is performed independently for each component 110 and for each tile 111.
[0061]
At the time of encoding image data (see FIG. 1), data of each tile 111 of each component 110 is input to the color space conversion / inverse conversion unit 100, subjected to color space conversion, and then subjected to two-dimensional wavelet conversion / inverse conversion. The unit 101 applies a two-dimensional wavelet transform (forward transform) and spatially divides the frequency band.
[0062]
FIG. 3 is a schematic diagram schematically showing subbands at each decomposition level when the number of decomposition levels is three. The two-dimensional wavelet transform / inverse transform unit 101 performs a two-dimensional wavelet transform on the tile image (decomposition level 0: 0LL) obtained by dividing the image into tiles, and performs a subband (1LL) indicated at the decomposition level 1 , 1HL, 1LH, 1HH). Subsequently, the two-dimensional wavelet transform / inverse transform unit 101 performs a two-dimensional wavelet transform on the low-frequency component 1LL in this layer, and separates the subbands (2LL, 2HL, 2LH, 2HH) shown in the decomposition level 2. I do. Then, the two-dimensional wavelet transform / inverse transform unit 101 similarly performs the two-dimensional wavelet transform on the low-frequency component 2LL in the same manner, and the sub-bands (3LL, 3HL, 3LH, 3HH) shown in the decomposition level 3 To separate. In FIG. 3, the subbands to be encoded at each decomposition level are shown in gray. For example, if the number of decomposition levels is 3, the gray subbands (3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, 1HH) are to be encoded, and the 3LL subband is not encoded. .
[0063]
Next, in the quantization / dequantization unit 102 (see FIG. 1), after bits to be encoded are determined in the specified encoding order, a context is generated from bits around the target bits. The wavelet coefficients after the quantization process are divided into non-overlapping rectangles called “precincts” for each subband. This was introduced to make efficient use of memory in the implementation. Furthermore, each precinct is divided into non-overlapping rectangular “code blocks”. This is a basic unit when performing entropy coding.
[0064]
Although the coefficient values after the wavelet transform can be quantized and encoded as they are, in JPEG2000, in order to increase the encoding efficiency, the coefficient values are decomposed into "bit planes", and each pixel or code block is decomposed. The bit planes can be prioritized.
[0065]
The entropy coding / decoding unit 103 (see FIG. 1) performs coding on each tile 111 of each component 110 by probability estimation from the context and the target bit. Thus, the encoding process is performed on all the components 110 of the image in units of the tiles 111.
[0066]
Finally, the tag processing unit 104 (see FIG. 1) combines all coded data from the entropy coding / decoding unit 103 into one code stream (code string data) and adds a tag to the code stream. I do. Here, FIG. 4 is a schematic diagram schematically showing an example of the structure of the code stream. Tag information called a header (main header (Main header), tile part header) is added to the beginning of the code stream and the beginning of the partial tiles constituting each tile 111. Coded data (bit stream). Then, at the end of the code stream, tag information (end of codestream) is added again.
[0067]
On the other hand, at the time of decoding, image data is generated from the code stream of each tile 111 of each component 110, contrary to the time of encoding. In this case, as shown in FIG. 1, the tag processing unit 104 interprets the tag information added to the code stream (code string data) input from the outside, and converts the code stream into the code of each tile 111 of each component 110. The stream is decomposed into streams, and decoding processing is performed for each code stream of each tile 111 of each component 110. At this time, the position of the bit to be decoded is determined in the order based on the tag information in the code stream, and the quantization / inverse quantization unit 102 sets the peripheral bits of the target bit position (decoding is already completed. Is generated from the sequence of Then, the entropy coding / decoding unit 103 generates a target bit by performing decoding by probability estimation from the context and the code stream, and writes the target bit at the position of the target bit. Since the data decoded in this manner is spatially divided for each frequency band, the two-dimensional wavelet transform / inverse transform unit 101 performs an inverse two-dimensional wavelet transform on each of the components, thereby obtaining each component in the image data. Each tile 111 at 110 is restored. The restored data is converted by the color space conversion / inversion unit 100 into the original color system data.
[0068]
Next, a configuration example of the multifunction peripheral 1 which is the image processing apparatus of the present embodiment will be described. The multifunction device 1 according to the present embodiment has a multifunction such as a copy function, a printer function, a scanner function, a facsimile function, and an image server function.
[0069]
FIG. 5 is a longitudinal sectional view schematically showing the multifunction peripheral 1 of the present embodiment. The MFP 1 includes a scanner 2 that is an image reading unit that reads a document image from a document, and a printer 3 that is an image forming unit that forms an image read by the scanner 2 on a recording material such as paper.
[0070]
A contact glass 5 on which a document (not shown) is placed is provided on the upper surface of the main body case 4 of the scanner 2. The original is placed with the original surface facing the contact glass 5. On the upper side of the contact glass 5, a document pressure plate 6 (which may be a so-called ADF) for pressing a document placed on the contact glass 5 is provided.
[0071]
Below the contact glass 5, a reading optical system 7 for optically reading a document image is provided. The reading optical system 7 includes a first traveling body 10 on which a light source 8 for emitting light and a mirror 9 are mounted, a second traveling body 13 on which two mirrors 11 and 12 are mounted, and a mirror 9 via an imaging lens 14. , 11, and 12 are configured by a CCD (Charge Coupled Device) image sensor 15 and the like that receive the light guided by the light. The CCD image sensor 15 functions as a photoelectric conversion element that generates photoelectric conversion data by photoelectrically converting reflected light from a document imaged on the CCD image sensor 15. The photoelectric conversion data is a voltage value having a magnitude corresponding to the intensity of light reflected from the document. The first and second traveling bodies 10 and 13 are provided so as to be able to reciprocate along the contact glass 5, and at the time of reading an original image, which will be described later, have a 2: 1 speed by a moving device such as a motor (not shown). Scanning travel in the sub-scanning direction by the ratio. As a result, exposure scanning of the document reading area by the reading optical system 7 is performed. In the present embodiment, the reading optical system 7 side is shown as a fixed document type that performs scanning, but the reading optical system 7 side may be a document moving type in which the position is fixed and the document side moves.
[0072]
The printer 3 includes a recording material path 20 from a recording material holding unit 16 for holding a recording material such as a sheet of paper to an output unit 19 via an electrophotographic printer engine 17 and a fixing unit 18.
[0073]
The printer engine 17 uses a photoconductor 21, a charger 22, an exposure unit 23, a developing unit 24, a transfer unit 25, a cleaner 26, and the like to form a toner image formed around the photoconductor 21 by electrophotography on a recording material. The transferred and transferred toner image is fixed on the recording material by the fixing device 18. In the present embodiment, the printer engine 17 forms an image by an electrophotographic method. However, the present invention is not limited to this. For example, various image forming methods such as an ink jet method, a sublimation type thermal transfer method, and a direct thermal recording method may be used. May be used to form an image.
[0074]
The MFP 1 is controlled by a control system including a plurality of microcomputers. FIG. 6 is a block diagram schematically showing an electrical connection of a control system related to image processing among these control systems. The control system includes a CPU 30, a ROM 31, a RAM 32, an operation panel 33, an IPU (Image Processing Unit) 34, an I / O port 35, a communication control unit 36, and the like, which are connected by a bus 37. The CPU 30 performs various calculations and centrally controls processing such as image processing. The ROM 31 stores various programs and fixed data related to processing executed by the CPU 30. The RAM 32 functions as a work area for the CPU 30 and also functions as a memory for temporarily storing image data (for example, image files). The operation panel 33 is provided with a display such as an LCD (Liquid Crystal Display), a plurality of operation keys including a hard key, a touch panel, and the like (all not shown). Functions as an operation unit. The IPU 34 includes hardware related to various types of image processing, and the ROM 31 includes a nonvolatile memory such as an EEPROM or a flash memory, and also functions as a memory for storing image data (for example, an image file). Here, the program stored in the ROM 31 can be rewritten as a program downloaded from an external device (not shown) via the I / O port 35 under the control of the CPU 30. In the present embodiment, the ROM 31 functions as a storage medium for storing a program. The communication control unit 36 has a function of transmitting and receiving data between the multifunction device 1 and an external device (not shown) via a network or the like, and is used to connect to a facsimile modem function and a public telephone line network. Network control function, LAN (Local Area Network) control function, and the like.
[0075]
Next, an outline of image processing in the multifunction peripheral 1 of the present embodiment will be described with reference to FIG. FIG. 7 is a functional block diagram for explaining an outline of image processing in the multifunction peripheral 1.
[0076]
The image processing of the multifunction device 1 is performed by using a compression unit 40 composed of each functional block described with reference to FIG. 1 and a first image and a second image which are divided into a plurality of regions and compressed. The image processing apparatus includes a feature amount extraction unit 41 that extracts a feature amount for each of the plurality of regions, and an image comparison unit 42 that compares the first image and the second image based on the extracted feature amounts for each of the plurality of regions. ing.
[0077]
Basically, image data of an image read by the scanner 2 is compression-encoded based on the JPEG2000 algorithm to generate a code stream of the image. That is, the image is divided into a plurality of tile areas (rectangular areas) as one or a plurality of areas, and pixel values are discrete wavelet-transformed for each of the tile areas and compression-coded hierarchically. Thereafter, a feature amount is extracted for each tile region from the compressed image, and the original image (first image) and another image (second image) are compared based on the extracted feature amounts. Thereby, it is possible to search for a similar image of the original image or the same image that matches the original image, and to classify those images. Here, the plurality of regions is not limited to the tile region. Note that the image data compressed based on the JPEG2000 algorithm may be received, and the received image may be subjected to processing by the feature amount extraction unit 41 and the image comparison unit 42.
[0078]
The functions of the compression unit 40, the feature amount extraction unit 41, the image comparison unit 42, and the like are executed by image processing performed by the CPU 30 based on a program stored in the ROM 31, but are not limited thereto. Instead, it may be executed by, for example, image processing performed by hardware by the IPU 34.
[0079]
Here, a method of extracting a feature amount in the feature amount extraction unit 41 will be described. The feature amount extraction unit 41 executes a region identification process for identifying a region attribute for each of a plurality of tile regions, and extracts the region attribute as a feature amount. The area attributes include, for example, various area attributes such as a character area, a photograph area, a figure area, a table area, a solid black area, a background area, and an indistinguishable area. Note that an unidentifiable area is an area whose area attribute could not be identified by the area identification processing. Further, the background area is a blank area corresponding to the margin of the document, but is not limited to this. For example, the background area may be an area obtained by adding a space between lines to the blank area.
[0080]
Next, image processing executed by the CPU 30 of the MFP 1 based on a program will be described. Here, image processing in the case of storing image data in order to use the MFP 1 as an image server will be described with reference to FIGS. FIG. 8 is a flowchart schematically showing the flow of image processing according to the present embodiment, FIG. 9 is an explanatory diagram schematically showing an example of an image divided into a plurality of tile areas, and FIG. 10 is a flow of feature amount extraction processing. 11 is a flowchart schematically showing the flow of the image comparison process, FIG. 12 is an explanatory diagram schematically showing the image comparison process, and FIG. 13 is a description schematically showing the result of the image comparison process. FIG.
[0081]
As shown in FIG. 8, first, the process waits for reading of a document image by the scanner 2 (N in step S1). When the operator opens the document pressing plate 6 of the scanner 2 and sets a document on the contact glass 5, closes the document pressing plate 6 and presses the start key of the operation panel 33, the scanner 2 performs a scanning operation of the reading optical system 7. An original image (first image) is read from a document set on the contact glass 5.
[0082]
When an original image is read from a document by the scanner 2 (Y in S1), the read original image is compressed based on the JPEG2000 algorithm (S2). That is, the original image is divided into a plurality of tile areas, and is hierarchically compressed in a procedure of two-dimensional wavelet transform, quantization, and encoding for each of the plurality of tile areas. As a result, the original image is divided into a plurality of tile areas. For example, as shown in FIG. 9, the original image is divided into a plurality of 4 × 6 = 24 tile areas.
[0083]
A feature amount extraction process for extracting a feature amount for each tile region from the compressed original image is executed (S3). Here, a feature amount extracting means or a feature amount extracting function is executed. Here, region identification processing for identifying a region attribute for each tile region is performed on the compressed original image, and the region attribute is extracted as a feature amount for each tile region.
[0084]
Here, the feature amount extraction processing will be described. As shown in FIG. 10, one tile area is selected from all the tile areas in the compressed original image (S11). A region identification process is performed on the selected tile region, and a region attribute of the tile region is extracted as a feature amount (S12). As a method of the area identification processing, a conventional method, for example, a method of identifying an area using the density of black runs is sufficient, and the method is well-known. Steps S11 to S12 are repeated until the area attributes of all tile areas are extracted (N in S13). As a result, the area attributes of all tile areas are identified as a character area, a photograph area, a figure area, a table area, a background area, an unidentifiable area, and the like, and are extracted for each tile area.
[0085]
Next, as shown in FIG. 8, it is determined whether or not the image (image data) is stored in the ROM 31 (S4). If it is determined that the image is not stored in the ROM 31 (N in S4), the compressed original image (image data) is stored in the ROM 31 (EEPROM, flash memory, or the like) (S5). Note that the region attribute, which is the feature amount extracted in step S3, is stored in the image data of the original image. However, the present invention is not limited to this. For example, the region attribute is stored as the region attribute data associated with the original image. May be.
[0086]
If it is determined that the image is stored in the ROM 31 (Y in S4), the original image compressed in step S2 is stored in the ROM 31 based on the area attribute extracted for each tile area in step S3. An image comparison process is performed for comparison with the image (second image) (S6). Here, an image comparison unit or an image comparison function is executed.
[0087]
Here, the image comparison processing will be described. As shown in FIG. 11, one tile area is selected from all the tile areas (S21: see FIG. 12), and the area attributes of each selected tile area are compared (S22: see FIG. 12). Here, a feature amount comparison unit or a feature amount comparison function is executed. For example, in FIG. 12, the area attributes of the tile area indicated by number 1 are compared between the image A and the image B. Thus, each selected tile area is a tile area located at the same position in the image. Next, steps S21 to S22 are repeated until the area attributes of all tile areas are compared (N in S23). Thus, the region attributes are compared for each tile region, and it is determined whether or not the region attributes of the tile regions match (see FIG. 13). In FIG. 13, 13 indicates that the region attributes match, and X indicates that the region attributes do not match.
[0088]
In this way, the area attributes of all tile areas are compared, and then the number of matches, ie, the number of 〇, is compared with a predetermined number of matches. Here, the matching number comparing means or the matching number comparing function is executed. If it is determined that the number of 〇 is greater than the predetermined number of matches, the compressed original image and the image stored in the ROM 31 are specified as images with a high degree of matching (similar images, identical images, etc.). Here, the image specifying means or the image specifying function is executed. For example, in FIG. 12, the predetermined number of matches is set to 20, and if the number of 〇 is greater than 20 or more than 20, the compressed original image and the image stored in the ROM 31 are regarded as similar images. When the number of matches is set to 24 and the number of 〇 is 24, the compressed original image and the image stored in the ROM 31 are specified as the same image. The predetermined number of matches is set before the multifunction device 1 is shipped from the factory. However, the present invention is not limited to this. For example, the predetermined number of matches may be set by an operation on the operation panel 33 by an operator.
[0089]
Thereafter, as shown in FIG. 8, the compressed original image (image data) is stored in the ROM 31 (EEPROM, flash memory, or the like) in association with the image having a high degree of coincidence (S5). When there is no image having a high degree of coincidence, the original image is stored in the ROM 31 without performing the association. Here, when a plurality of original images are read, the plurality of images are classified based on a region attribute which is a feature amount, and are stored in the ROM 31 in association with each similar image or the same image. As a result, an image file (dictionary file) composed of a plurality of classified images is formed. Note that an image compressed based on the JPEG2000 algorithm may be received by the communication control unit 36, and the received image may be subjected to image processing from step S3 to step S6.
[0090]
The image stored in the ROM 31 in this manner is expanded based on, for example, the JPEG2000 algorithm, and is formed on a recording material such as a sheet by the printer engine 17 or transmitted to an external device via a network or the like by the communication control unit 36. Or be done. Here, the decompression means or decompression function is executed.
[0091]
Also, when searching for a similar image or the same image with respect to an image selected by an operation on the operation panel 33 by the operator, the above-described image processing is similarly executed. As a result, images having a high degree of coincidence are retrieved, and similar images, identical images, and the like are obtained.
[0092]
As described above, in the present embodiment, the area of the tile area is determined for each tile area from the original image (first image) compressed based on the JPEG2000 algorithm and the image (second image) stored in the ROM 31. The attribute is identified, the area attribute of the identified tile area is extracted as a feature amount (S3), and the original image is compared with the image stored in the ROM 31 based on the extracted area attribute of each tile area. This makes it possible to execute various image processing utilizing the features of JPEG2000, and does not require a process of dividing an image into a plurality of regions or a process of forming an image with a plurality of resolutions. It is possible to perform image comparison with high accuracy in the processing, and as a result, it is possible to reduce the system scale and the processing time.
[0093]
Further, by extracting the region attributes of all the tile regions and comparing the region attributes of all the tile regions, it is possible to perform the image comparison with higher accuracy than when comparing the region attributes of a part of the tile regions. .
[0094]
Here, as the area attribute identification method in step S12, a wavelet feature can be used in addition to the conventional identification method. For example, a two-dimensional wavelet transform is performed on an image for each tile area (see FIG. 3). There is a method of identifying a region attribute of a tile region based on frequency component information (LL component, LH component, HL component, HH component) included in a two-dimensional wavelet coefficient of the tile region. Note that the LL component is a horizontal low frequency / vertical low frequency component, the LH component is a horizontal low frequency / vertical high frequency component, and the HL component is a horizontal high frequency / vertical low frequency component. , HH components are a horizontal high frequency component and a vertical high frequency component. In the JPEG2000 two-dimensional wavelet transform, a two-dimensional wavelet coefficient is calculated by applying a one-dimensional filter in a horizontal direction and a vertical direction, and the calculated two-dimensional wavelet coefficient is combined with a low-pass filter and a high-pass filter, as described above. Into four coefficient groups (LL component, LH component, HL component, and HH component).
[0095]
In such a method for identifying the region attribute based on the frequency component information, the region attribute of the tile region where the region of the HH component is widely distributed is determined by utilizing the fact that the HH component is high in the photograph region of the image. Identify as an attribute. Also, by utilizing the fact that the HH component is adjacent to and continuous in the character line direction in the character region of the image, the region attribute of the tile region in which the HH component is adjacent and continuous in the character line direction is identified as the character region attribute. I do. Furthermore, by utilizing the fact that the ruled lines of the table react to the HL component and the LH component, the intersection information of the ruled lines, which is the ruled line information, is extracted based on the HL and LH components. Identify the attribute as a tablespace attribute. In addition, taking advantage of the fact that HH, HL, and LH components other than the LL component are not so high in the background region, the region attribute of the tile region in which the HH, HL, and LH components are not so high as compared with other regions is changed to the background region attribute. Identify as Further, it is also possible to extract the inclination information (the amount of inclination) of the ruled line, which is the ruled line information, based on the HL and LH components, obtain the inclination of the image from the extracted inclination information of the ruled line, and detect the inclination angle.
[0096]
By using the frequency component information in this way, it is possible to execute the area identification with higher accuracy than the conventional area identification method. Further, conventionally, the ruled line information is extracted after obtaining the edge information. However, it is necessary to obtain the edge information by using the frequency component information of the HL component and the LH component of the edge information included in the compressed image. Therefore, the system scale and the processing time can be reduced.
[0097]
A second embodiment of the present invention will be described. This embodiment has the same basic configuration as that of the first embodiment, except for a feature amount extraction process executed by the CPU 30 of the MFP 1 based on a program. The point is that a tile area from which a feature amount needs to be extracted is specified based on a necessary area selected by an operator's operation on. The same parts as those described in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
[0098]
A feature amount extraction process, which is a part of the image processing executed by the CPU 30 of the MFP 1 based on the program according to the present embodiment, will be described with reference to FIGS. FIG. 14 is a flowchart schematically showing the flow of the feature amount extraction processing according to the present embodiment, and FIG. 15 is an explanatory diagram schematically showing an example of a necessary area.
[0099]
As shown in FIG. 14, based on the required area selected by the operation on the operation panel 33 by the operator, a tile area for which an area attribute as a feature amount needs to be extracted is specified (S31). Here, the area specifying means or the area specifying function is executed. Here, numbers from 1 to 24 are assigned to the original image for each tile area (see FIG. 15). For example, when the operator operates the operation panel 33 to select a number from 9 to 20, a plurality of tile areas from 9 to 20 are selected as necessary areas (see FIG. 15). If the required area is not selected, for example, all tile areas 1 to 24 are selected as the required area.
[0100]
One tile area is selected from the designated plurality of tile areas (S32). A region identification process is performed on the selected tile region, and a region attribute of the tile region is extracted as a feature amount (S33). Steps S32 to S33 are repeated until the area attributes of the specified plurality of tile areas are extracted (N in S34). As a result, the area attributes of all tile areas are identified as a character area, a photograph area, a figure area, a table area, a background area, an unidentifiable area, and the like, and are extracted for each tile area.
[0101]
As described above, in the present embodiment, an effect similar to that of the first embodiment is obtained, and a tile area for which an area attribute needs to be extracted is specified by an operation on the operation panel 33 by the operator. Therefore, since the area identification processing is executed only for the designated tile area, the processing time can be reduced as compared with the case where the area identification processing is executed for all tile areas.
[0102]
In each of the embodiments, the MFP 1 is used as an image processing apparatus. However, the present invention is not limited to this. For example, a personal computer or the like may be used. In this case, the personal computer includes a CPU, a ROM, a RAM, an HDD (Hard Disk Drive) storing various programs, a CD-ROM drive, a communication control device for transmitting information by communication with an external device via a network, and a processing unit. A display device for displaying the progress and results to the operator, and an input device such as a keyboard and a mouse are provided. Here, the HDD functions as a storage medium for storing a program including the above-described JPEG2000 format compression / decompression program.
[0103]
Generally, a program installed in the HDD of a personal computer is recorded on an optical information recording medium such as a CD-ROM or a DVD-ROM, or a magnetic medium such as an FD, and the recorded program is stored in the HDD. Installed. Therefore, a portable storage medium such as an optical information recording medium such as a CD-ROM or a magnetic medium such as an FD can be a storage medium for storing a program including the above-described JPEG2000 format compression / decompression program. . Further, such a program may be fetched from outside via a communication control device, for example, and installed in the HDD.
[0104]
【The invention's effect】
According to the image processing apparatus of the present invention, a feature amount extracting means for extracting a feature amount for each of a plurality of regions from the first image and the second image which are divided into a plurality of regions and compressed. And comparing the first image and the second image based on the feature amount extracted for each of the plurality of regions from the first image and the second image by the feature amount extracting unit. And an image comparison unit that performs the image comparison, so that it is not necessary to perform a process of dividing an image into a plurality of regions, and it is possible to accurately perform an image comparison with a simple process. Reduction in size and processing time can be realized.
[0105]
According to the second aspect of the present invention, in the image processing apparatus according to the first aspect, the feature amount extracting means identifies a region attribute of a region and extracts the identified region attribute as a feature amount. The feature amount can be extracted, and the image comparison can be performed with high accuracy.
[0106]
According to the third aspect of the present invention, in the image processing apparatus according to the second aspect, the first image and the second image are subjected to two-dimensional wavelet transform, quantization, and encoding for each of a plurality of regions. Since the feature amount extracting means identifies the region attribute of the region based on the frequency component information included in the two-dimensional wavelet coefficients of the region, a process for extracting the feature amount is performed. Area attributes can be easily and simply identified with high accuracy, and as a result, processing time can be reduced.
[0107]
According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the feature amount extracting unit determines a tile region based on an HL component and an LH component included in a two-dimensional wavelet coefficient of the region. Since the area attribute is identified as the table area attribute, the table area can be easily identified with high accuracy.
[0108]
According to the fifth aspect of the present invention, in the image processing apparatus according to the first aspect, the feature amount extracting unit generates ruled line information based on HL components and LH components included in a two-dimensional wavelet coefficient of a region. Since the information is extracted as the feature amount, the ruled line information of the image can be easily extracted with high accuracy.
[0109]
According to a sixth aspect of the present invention, in the image processing apparatus according to any one of the first to fifth aspects, the operation unit for receiving an operation by the operator and the feature amount based on the operation of the operator on the operation unit. Area designating means for designating an area that needs to be extracted.The feature quantity extracting means extracts the feature quantity of only the area designated by the area designating means. By specifying an area from which a feature amount needs to be extracted by an operation, the feature amount is extracted only from the specified area. Therefore, the processing time is reduced as compared with the case where the feature amount is extracted from all the areas. Can be shortened.
[0110]
According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the first to sixth aspects, the image comparing unit is configured to determine whether the first image and the second image are transmitted by the feature amount extracting unit. A feature amount comparing unit that compares a feature amount extracted for each of a plurality of regions from each of the plurality of regions, and a feature amount of the first image and a feature amount of the second image by the feature amount comparing unit. A match number comparing means for comparing the number of matches with a predetermined number of matches, and when the number of matches is determined to be larger than the predetermined number of matches, the first image and the second image And an image specifying unit for specifying as a high-matching image, a feature amount extracted for each of a plurality of regions from the first image and the second image is compared for each of a plurality of regions. Performing accurate and easy image comparisons It can be.
[0111]
According to an eighth aspect of the present invention, in the image processing apparatus according to the seventh aspect, the feature amount extracting unit extracts feature amounts of all regions, and the feature amount comparing unit includes feature amounts of all regions. Are compared with each other, image comparison can be performed with higher accuracy than when comparing the feature amounts of a part of the regions.
[0112]
According to the ninth aspect of the present invention, the image processing apparatus according to any one of the first to eighth aspects includes a reading optical system that optically reads an image from a document, so that the image can be read from the document. As a result, various processes such as image processing can be performed on this image.
[0113]
According to a tenth aspect of the present invention, in the image processing apparatus according to any one of the first to ninth aspects, a procedure of decoding a compressed image for each of a plurality of regions, inverse quantization, and inverse two-dimensional wavelet transform. Thus, the compressed image is decompressed, and as a result, the decompressed image can be displayed on a display device or the like or printed on paper or the like.
[0114]
According to the eleventh aspect of the present invention, in the image processing apparatus of the tenth aspect, a printer engine for forming an image decompressed by the decompression means on a recording material is provided. An image can be formed on a recording material.
[0115]
According to the program of the twelfth aspect of the present invention, the image processing apparatus is interpreted by a computer provided with the image processing apparatus, and instructs the computer to convert each of the first image and the second image divided into a plurality of regions and compressed into a plurality of regions. A feature amount extraction function of extracting a feature amount for each region; and a feature amount extraction function based on feature amounts extracted for each of a plurality of regions from the first image and the second image by the feature amount extraction function. Since the image comparison function of comparing the first image and the second image is executed, a process of dividing the image into a plurality of regions is not required, and the image comparison is executed accurately with a simple process. As a result, it is possible to reduce the system scale and the processing time.
[0116]
According to a thirteenth aspect of the present invention, in the program according to the twelfth aspect, the feature amount extracting function identifies a region attribute of a region and extracts the identified region attribute as a feature amount. Can be extracted, and image comparison can be performed with high accuracy.
[0117]
According to a fourteenth aspect of the present invention, in the program according to the thirteenth aspect, the first image and the second image are compressed by a procedure of two-dimensional wavelet transform, quantization, and encoding for each of a plurality of regions. The feature amount extraction function identifies the region attribute of the region based on the frequency component information included in the two-dimensional wavelet coefficient of the region, so that the process for extracting the feature amount is performed. The area attributes can be easily and simply identified with high accuracy, and as a result, the processing time can be reduced.
[0118]
According to a fifteenth aspect of the present invention, in the program according to the fourteenth aspect, the feature amount extracting function is configured to determine an attribute of the tile area based on an HL component and an LH component included in a two-dimensional wavelet coefficient of the area. Is identified as a table region attribute, the table region can be easily and accurately identified.
[0119]
According to a sixteenth aspect of the present invention, in the program according to the twelfth aspect, the feature amount extracting function converts the ruled line information based on the HL component and the LH component included in the two-dimensional wavelet coefficient of the region. , The ruled line information of the image can be easily extracted with high accuracy.
[0120]
According to a seventeenth aspect of the present invention, in the program according to any one of the twelfth to twelfth aspects, an area designating function for designating an area in which a feature amount needs to be extracted based on an operation performed by an operator on an operation unit. Is executed by the computer, and the feature amount extraction function extracts the feature amount only for the area designated by the area designation function. Therefore, it is necessary to extract the feature amount by the operation of the operator on the operation unit. When a region is designated, the feature amount is extracted only from the designated region. Therefore, the processing time can be reduced as compared with the case where the feature amount is extracted from all the regions.
[0121]
According to an eighteenth aspect of the present invention, in the program according to any one of the twelfth to seventeenth aspects, the image comparison function is performed by the feature amount extraction function from the first image and the second image respectively. A feature amount comparison function for comparing the feature amount extracted for each of the plurality of regions for each of the plurality of regions, and matching between the feature amount of the first image and the feature amount of the second image by the feature amount comparison function A match number comparison function of comparing a number with a predetermined match number; and if the match number is determined to be larger than the predetermined match number by the match number comparison function, the first image and the second image are compared. And causing the computer to execute an image specifying function of specifying an image having a high degree of coincidence, so that a feature amount extracted for each of a plurality of regions from the first image and the second image is obtained for each of the plurality of regions. By comparison, high accuracy and simplicity It is possible to perform an image compared to.
[0122]
According to a nineteenth aspect of the present invention, in the program according to the eighteenth aspect, the feature quantity extraction function extracts feature quantities of all areas, and the feature quantity comparison function compares feature quantities of all areas. Therefore, the image comparison can be performed with higher accuracy than when comparing the feature amounts of a partial area.
[0123]
According to a twentieth aspect of the present invention, in the program according to any one of the twelfth to nineteenth aspects, the compressed image is expanded for each of a plurality of regions by a procedure of decoding, inverse quantization, and inverse two-dimensional wavelet transform. By causing the computer to execute the decompression function, the compressed image is decompressed, and as a result, the decompressed image can be displayed on a display device or the like or printed on paper or the like.
[0124]
According to the computer-readable storage medium of the present invention described in claim 21, since the program according to any one of claims 12 to 20 is stored, the program according to any one of claims 12 to 20 is stored. A similar effect is achieved.
[Brief description of the drawings]
FIG. 1 is a functional block diagram for explaining an outline of a JPEG2000 algorithm.
FIG. 2 is a schematic diagram schematically showing an example of each divided component of an original image that is a color image.
FIG. 3 is a schematic diagram schematically showing subbands at each decomposition level when the number of decomposition levels is three.
FIG. 4 is a schematic diagram schematically illustrating an example of a structure of a code stream.
FIG. 5 is a longitudinal sectional view schematically showing the multifunction peripheral according to the first embodiment of the present invention.
FIG. 6 is a block diagram schematically showing an electrical connection of a control system related to image processing in a control system of the multifunction peripheral.
FIG. 7 is a functional block diagram for explaining an outline of image processing in the multifunction peripheral.
FIG. 8 is a flowchart schematically showing a flow of image processing according to the first embodiment of the present invention.
FIG. 9 is an explanatory diagram schematically showing an example of an image divided into a plurality of tile areas.
FIG. 10 is a flowchart schematically illustrating a flow of a feature amount extraction process according to the first embodiment of this invention.
FIG. 11 is a flowchart schematically showing a flow of an image comparison process.
FIG. 12 is an explanatory diagram schematically showing an image comparison process.
FIG. 13 is an explanatory diagram schematically showing a result of an image comparison process.
FIG. 14 is a flowchart schematically illustrating a flow of a feature amount extraction process according to the second embodiment of this invention;
FIG. 15 is an explanatory diagram schematically showing an example of a necessary area.
[Explanation of symbols]
1 Image processing device (composite machine)
7 Reading optical system
17 Printer Engine
31 Storage media (ROM)
33 Operation unit (operation panel)

Claims (21)

各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量に基づいて、前記第1の画像と前記第2の画像とを比較する画像比較手段と、
を備える画像処理装置。
Feature amount extracting means for extracting a feature amount for each of the plurality of regions from the first image and the second image, each of which is divided into a plurality of regions and compressed;
An image comparing the first image and the second image based on a feature amount extracted for each of a plurality of regions from the first image and the second image by the feature amount extracting unit; Means of comparison;
An image processing apparatus comprising:
前記特徴量抽出手段は、領域の領域属性を識別し、識別した領域属性を特徴量として抽出する請求項1記載の画像処理装置。The image processing apparatus according to claim 1, wherein the feature amount extracting unit identifies a region attribute of the region and extracts the identified region attribute as a feature amount. 前記第1の画像及び前記第2の画像は、複数の領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で圧縮されており、
前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別する請求項2記載の画像処理装置。
The first image and the second image are compressed by a procedure of two-dimensional wavelet transform, quantization, and encoding for each of a plurality of regions,
The image processing apparatus according to claim 2, wherein the feature amount extracting unit identifies a region attribute of the region based on frequency component information included in a two-dimensional wavelet coefficient of the region.
前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいてタイル領域の領域属性を表領域属性として識別する請求項3記載の画像処理装置。The image processing apparatus according to claim 3, wherein the feature amount extraction unit identifies a region attribute of the tile region as a table region attribute based on an HL component and an LH component included in a two-dimensional wavelet coefficient of the region. 前記特徴量抽出手段は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を特徴量として抽出する請求項1記載の画像処理装置。2. The image processing apparatus according to claim 1, wherein the feature value extracting unit extracts ruled line information as a feature value based on HL components and LH components included in a two-dimensional wavelet coefficient of the area. 操作者による操作を受け付ける操作部と、
前記操作部に対する操作者の操作に基づいて、特徴量を抽出する必要がある領域を指定する領域指定手段と、
を備え、
前記特徴量抽出手段は、前記領域指定手段により指定された領域だけの特徴量を抽出する請求項1ないし5のいずれか一記載の画像処理装置。
An operation unit for receiving an operation by the operator;
An area specifying unit that specifies an area in which a feature amount needs to be extracted based on an operation performed by the operator on the operation unit;
With
The image processing apparatus according to claim 1, wherein the feature amount extracting unit extracts a feature amount of only an area specified by the area specifying unit.
前記画像比較手段は、
前記特徴量抽出手段により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較する特徴量比較手段と、
前記特徴量比較手段による前記第1の画像の特徴量と前記第2の画像の特徴量との一致数を所定の一致数と比較する一致数比較手段と、
前記一致数比較手段により前記一致数が所定の一致数より大きいと判断された場合、前記第1の画像と前記第2の画像とを一致度が高い画像として特定する画像特定手段と、
を備える請求項1ないし6のいずれか一記載の画像処理装置。
The image comparing means includes:
A feature amount comparing unit that compares, for each of a plurality of regions, a feature amount extracted for each of a plurality of regions from the first image and the second image by the feature amount extracting unit;
Coincidence number comparison means for comparing the number of coincidences between the feature quantity of the first image and the feature quantity of the second image by the feature quantity comparison means with a predetermined match number;
An image identification unit that identifies the first image and the second image as images having a high degree of coincidence when the number of coincidences is determined by the coincidence number comparison unit to be greater than a predetermined number of coincidences;
The image processing apparatus according to claim 1, further comprising:
前記特徴量抽出手段は、全ての領域の特徴量を抽出し、
前記特徴量比較手段は、全ての領域の特徴量を比較する請求項7記載の画像処理装置。
The feature amount extraction means extracts feature amounts of all regions,
The image processing apparatus according to claim 7, wherein the feature amount comparing unit compares feature amounts of all the regions.
原稿から画像を光学的に読み取る読取光学系を備える請求項1ないし8のいずれか一記載の画像処理装置。9. The image processing apparatus according to claim 1, further comprising a reading optical system that optically reads an image from a document. 圧縮された画像を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長する伸長手段を備える請求項1ないし9のいずれか一記載の画像処理装置。The image processing apparatus according to any one of claims 1 to 9, further comprising decompression means for decompressing the compressed image for each of a plurality of regions by a procedure of decoding, inverse quantization, and inverse two-dimensional wavelet transform. 前記伸長手段により伸長された画像を記録材に画像形成するプリンタエンジンを備える請求項10記載の画像処理装置。The image processing apparatus according to claim 10, further comprising a printer engine that forms an image on a recording material, the image expanded by the expansion unit. 画像処理装置が備えるコンピュータに解釈され、前記コンピュータに、
各々複数の領域に分割され圧縮された第1の画像と第2の画像とから各々複数の領域毎に特徴量を抽出する特徴量抽出機能と、
前記特徴量抽出機能により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量に基づいて、前記第1の画像と前記第2の画像とを比較する画像比較機能と、
を実行させるプログラム。
Interpreted by a computer included in the image processing apparatus, the computer,
A feature amount extraction function of extracting a feature amount for each of the plurality of regions from the first image and the second image, each of which is divided into a plurality of regions and compressed;
An image comparing the first image and the second image based on a feature amount extracted for each of a plurality of regions from the first image and the second image by the feature amount extracting function; Compare function,
A program that executes
前記特徴量抽出機能は、領域の領域属性を識別し、識別した領域属性を特徴量として抽出する請求項12記載のプログラム。13. The program according to claim 12, wherein the feature amount extracting function identifies a region attribute of the region and extracts the identified region attribute as a feature amount. 前記第1の画像及び前記第2の画像は、複数の領域毎に2次元ウェーブレット変換、量子化及び符号化という手順で圧縮されており、
前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれている周波数成分情報に基づいて領域の領域属性を識別する請求項13記載のプログラム。
The first image and the second image are compressed by a procedure of two-dimensional wavelet transform, quantization, and encoding for each of a plurality of regions,
14. The program according to claim 13, wherein the feature amount extracting function identifies a region attribute of the region based on frequency component information included in a two-dimensional wavelet coefficient of the region.
前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいてタイル領域の領域属性を表領域属性として識別する請求項14記載のプログラム。15. The program according to claim 14, wherein the feature amount extraction function identifies a region attribute of the tile region as a table region attribute based on an HL component and an LH component included in a two-dimensional wavelet coefficient of the region. 前記特徴量抽出機能は、領域の2次元ウェーブレット係数中に含まれているHL成分及びLH成分に基づいて罫線情報を特徴量として抽出する請求項12記載のプログラム。13. The program according to claim 12, wherein the feature amount extracting function extracts ruled line information as a feature amount based on HL components and LH components included in a two-dimensional wavelet coefficient of a region. 操作部に対する操作者の操作に基づいて、特徴量を抽出する必要がある領域を指定する領域指定機能を前記コンピュータに実行させ、
前記特徴量抽出機能は、前記領域指定機能により指定された領域だけの特徴量を抽出する請求項12ないし16のいずれか一記載のプログラム。
Based on the operation of the operator on the operation unit, causing the computer to execute an area designation function of designating an area in which a feature amount needs to be extracted,
17. The program according to claim 12, wherein the feature amount extracting function extracts a feature amount of only an area specified by the area specifying function.
前記画像比較機能は、
前記特徴量抽出機能により前記第1の画像と前記第2の画像とから各々複数の領域毎に抽出された特徴量を複数の領域毎に比較する特徴量比較機能と、
前記特徴量比較機能による前記第1の画像の特徴量と前記第2の画像の特徴量との一致数を所定の一致数と比較する一致数比較機能と、
前記一致数比較機能により前記一致数が所定の一致数より大きいと判断された場合、前記第1の画像と前記第2の画像とを一致度が高い画像として特定する画像特定機能と、
を前記コンピュータに実行させる請求項12ないし17のいずれか一記載のプログラム。
The image comparison function,
A feature amount comparison function for comparing a feature amount extracted for each of a plurality of regions from the first image and the second image by the feature amount extraction function for each of a plurality of regions;
A coincidence number comparison function for comparing the number of coincidences between the characteristic amount of the first image and the characteristic amount of the second image by the characteristic amount comparison function with a predetermined coincidence number;
An image identification function for identifying the first image and the second image as images having a high degree of coincidence when the number of coincidences is determined by the coincidence number comparison function to be greater than a predetermined number of coincidences;
18. The program according to claim 12, which causes the computer to execute the following.
前記特徴量抽出機能は、全ての領域の特徴量を抽出し、
前記特徴量比較機能は、全ての領域の特徴量を比較する請求項18記載のプログラム。
The feature amount extraction function extracts feature amounts of all regions,
19. The program according to claim 18, wherein the feature amount comparison function compares feature amounts of all areas.
圧縮された画像を複数の領域毎に復号化、逆量子化及び2次元ウェーブレット逆変換という手順で伸長する伸長機能を前記コンピュータに実行させる請求項12ないし19のいずれか一記載のプログラム。20. The non-transitory computer-readable storage medium according to claim 12, wherein the program causes the computer to execute a decompression function for decompressing a compressed image for each of a plurality of regions by a procedure of inverse quantization, inverse two-dimensional wavelet transform. 請求項12ないし20のいずれか一記載のプログラムを記憶しているコンピュータ読取可能な記憶媒体。A computer-readable storage medium storing the program according to claim 12.
JP2003016326A 2003-01-24 2003-01-24 Image processor, program and storage medium Pending JP2004227406A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003016326A JP2004227406A (en) 2003-01-24 2003-01-24 Image processor, program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003016326A JP2004227406A (en) 2003-01-24 2003-01-24 Image processor, program and storage medium

Publications (1)

Publication Number Publication Date
JP2004227406A true JP2004227406A (en) 2004-08-12

Family

ID=32903817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003016326A Pending JP2004227406A (en) 2003-01-24 2003-01-24 Image processor, program and storage medium

Country Status (1)

Country Link
JP (1) JP2004227406A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174461A (en) * 2004-12-14 2006-06-29 Ricoh Co Ltd Method and apparatus for detecting machine readable code
JP2007310466A (en) * 2006-05-16 2007-11-29 Fuji Xerox Co Ltd Image tilt detection device and image tilt detection processing program
US7792388B2 (en) 2005-08-23 2010-09-07 Ricoh Company, Ltd. Controlling format of a compound image
JP2011254547A (en) * 2011-09-06 2011-12-15 Fuji Xerox Co Ltd Image processing system, encoding system, image processing program, and encoding program
JP2012195967A (en) * 2012-07-05 2012-10-11 Fuji Xerox Co Ltd Encoding system and encoding program
US8467624B2 (en) 2007-05-08 2013-06-18 Ricoh Company, Ltd. Image processing apparatus, image processing circuit, and image processing method
CN110233947A (en) * 2018-03-05 2019-09-13 光宝电子(广州)有限公司 The method and its image processing system of image angle detection

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174461A (en) * 2004-12-14 2006-06-29 Ricoh Co Ltd Method and apparatus for detecting machine readable code
JP4579148B2 (en) * 2004-12-14 2010-11-10 株式会社リコー Machine-readable code detection method and apparatus
US7792388B2 (en) 2005-08-23 2010-09-07 Ricoh Company, Ltd. Controlling format of a compound image
JP2007310466A (en) * 2006-05-16 2007-11-29 Fuji Xerox Co Ltd Image tilt detection device and image tilt detection processing program
JP4692764B2 (en) * 2006-05-16 2011-06-01 富士ゼロックス株式会社 Image tilt detection apparatus and image tilt detection processing program
US8467624B2 (en) 2007-05-08 2013-06-18 Ricoh Company, Ltd. Image processing apparatus, image processing circuit, and image processing method
JP2011254547A (en) * 2011-09-06 2011-12-15 Fuji Xerox Co Ltd Image processing system, encoding system, image processing program, and encoding program
JP2012195967A (en) * 2012-07-05 2012-10-11 Fuji Xerox Co Ltd Encoding system and encoding program
CN110233947A (en) * 2018-03-05 2019-09-13 光宝电子(广州)有限公司 The method and its image processing system of image angle detection

Similar Documents

Publication Publication Date Title
US8150179B2 (en) Image processing apparatus
US7508988B2 (en) Method, program and apparatus for image processing capable of effectively performing image transmission, and a medium storing the program
JP4064196B2 (en) Client computer, server computer, program, storage medium, image data processing system, and image data processing method
US7386175B2 (en) Modifying wavelet division level before transmitting data stream
JP2004104650A (en) Image processor, image reader, image forming device, program for image processing and storage medium
US7245775B2 (en) Image processing apparatus for compositing images
JP2004254300A (en) Image processing apparatus, program and storage medium
JP2004227406A (en) Image processor, program and storage medium
JP2004236299A (en) Image processing apparatus, image forming apparatus, image processing method, program and storage medium
EP1635576A1 (en) Image processing device and image processing program
JP2006014086A (en) Moving image encoding apparatus and moving image encoding method
JP4086192B2 (en) Image processing apparatus, image processing method, program, and information recording medium
JP4194373B2 (en) Image processing apparatus, program, and storage medium
JP2004236230A (en) Image processing apparatus, program, and storage medium
JP3912752B2 (en) Image processing apparatus, program, and storage medium
JP2004229097A (en) Image processor, program and storage medium
JP4169190B2 (en) Image reading apparatus, image forming apparatus, image reading processing method, program, and storage medium
JP2004229096A (en) Image processor, program and storage medium
JP4766586B2 (en) Image processing apparatus, image processing method, program, and information recording medium
JP4014087B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP4111909B2 (en) Image processing apparatus, image processing program, and storage medium
JP3784755B2 (en) Image processing apparatus, image forming apparatus, program, and storage medium
JP4090352B2 (en) Image processing apparatus, image processing method, image forming apparatus, program, and storage medium
JP4052952B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP4280508B2 (en) Misalignment correction apparatus, image processing apparatus, program, storage medium, and misalignment correction method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041008

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051116

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051021

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090203