JP2022023288A - Image processing device, method, and program - Google Patents
Image processing device, method, and program Download PDFInfo
- Publication number
- JP2022023288A JP2022023288A JP2020126112A JP2020126112A JP2022023288A JP 2022023288 A JP2022023288 A JP 2022023288A JP 2020126112 A JP2020126112 A JP 2020126112A JP 2020126112 A JP2020126112 A JP 2020126112A JP 2022023288 A JP2022023288 A JP 2022023288A
- Authority
- JP
- Japan
- Prior art keywords
- brightness
- image
- image processing
- value
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims description 139
- 238000012937 correction Methods 0.000 claims abstract description 109
- 238000003672 processing method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 20
- 238000009826 distribution Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- FLDSMVTWEZKONL-AWEZNQCLSA-N 5,5-dimethyl-N-[(3S)-5-methyl-4-oxo-2,3-dihydro-1,5-benzoxazepin-3-yl]-1,4,7,8-tetrahydrooxepino[4,5-c]pyrazole-3-carboxamide Chemical compound CC1(CC2=C(NN=C2C(=O)N[C@@H]2C(N(C3=C(OC2)C=CC=C3)C)=O)CCO1)C FLDSMVTWEZKONL-AWEZNQCLSA-N 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000003705 background correction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 102220495430 Glutaredoxin-like protein C5orf63_S12A_mutation Human genes 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102200084388 rs121918345 Human genes 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理技術に関し、光学的な読み取り画像を補正する技術に関する。 The present invention relates to an image processing technique and a technique for correcting an optically read image.
帳票等の用紙をスキャナ装置で光学的に読み取った場合の読み取り画像には、色ムラ、言い換えると明度ムラが生じる場合がある。読み取り画像の色ムラ等を補正する画像処理技術としては、シェーディング補正方式等がある。シェーディング補正方式は、画像領域内の色・明度の分布において、読み取り時のレンズ特性等に起因して、周辺領域が暗くなっている読み取り画像の場合に、周辺領域の暗い部分を明るくして均一化するように補正を行う方式である。 When a paper such as a form is optically scanned by a scanner device, the scanned image may have color unevenness, in other words, brightness unevenness. As an image processing technique for correcting color unevenness of a scanned image, there is a shading correction method or the like. The shading correction method brightens and uniforms the dark part of the peripheral area in the case of a scanned image in which the peripheral area is dark due to the lens characteristics at the time of reading in the distribution of color and brightness in the image area. It is a method of making corrections so that it becomes.
上記読み取り画像の色ムラ等を補正する画像処理に関して、先行技術例としては、特開平９－１４９２７７号公報が挙げられる。特許文献１には、「画像明度変換装置」として、「入力される画像濃度がその都度ばらついても忠実な色のままで、最大のコントラストを得て、好ましい明るさに自動的に適正化できる」旨が記載されている。特許文献１では、明度変換として、明度のヒストグラムを用いる旨が記載されている。
Regarding the image processing for correcting the color unevenness of the read image, Japanese Patent Application Laid-Open No. 9-149277 is mentioned as an example of the prior art. According to
帳票の用紙に、紙質に応じたすきムラや、記載時の筆圧や搬送時のばたつき等に応じたよれや折れ曲がり、言い換えると、紙面において厚さの違いの分布が生じている場合がある。その場合、その帳票の読み取り画像には、ランダムな箇所に、色ムラ・明度ムラが生じる場合がある。その読み取り画像を人の眼から見た場合、視認性が良くない場合がある。あるいは、用紙の重なり・裏写り等がある場合には、透けた文字等が読み取り画像に見えてしまうことで、視認性が良くない場合がある。 The form paper may have uneven plows depending on the paper quality, and may be twisted or bent according to the writing pressure at the time of writing or fluttering at the time of transportation, in other words, there may be a distribution of differences in thickness on the paper surface. In that case, color unevenness and lightness unevenness may occur in random places in the read image of the form. When the read image is viewed from the human eye, the visibility may not be good. Alternatively, if there is overlap or show-through of the paper, the transparent characters or the like may appear in the read image, and the visibility may not be good.
本発明の目的は、画像処理技術に関して、読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる技術を提供することである。 An object of the present invention is to provide an image processing technique capable of reducing color unevenness and brightness unevenness of a scanned image and improving visibility.
本発明のうち代表的な実施の形態は、以下に示す構成を有する。実施の形態の画像処理装置は、帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を行う。 A typical embodiment of the present invention has the following configurations. The image processing apparatus of the embodiment inputs an image in which the form is optically read, creates a brightness histogram for each point in the image, and sets the brightness for each point as the correction target point brightness. A process of calculating the brightness average value in the brightness range according to the brightness width set for the correction target point brightness in the histogram, and generating and outputting an image corrected so as to replace the correction target point brightness with the brightness average value. I do.
本発明のうち代表的な実施の形態によれば、画像処理技術に関して、読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる。 According to a typical embodiment of the present invention, it is possible to reduce color unevenness and brightness unevenness of a scanned image and improve visibility with respect to an image processing technique.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In principle, the same parts are designated by the same reference numerals in all drawings, and repeated description will be omitted.
［課題等］
課題等について補足説明する。従来のシェーディング補正方式等の画像補正方法は、画像内の暗い部分（特に周辺領域）を明るくして均一化するように補正する。この方式では、対象画像は補正後に全体的な明度が高くなる。このような画像補正方式は、前述の帳票の読み取り画像におけるランダムな箇所に生じる色ムラ・明度ムラには有効ではない。また、他の画像補正方法としては、画像内の明度ムラがある領域について、明度の平均値等を算出して、その１つの明度値に塗りつぶすように補正する方式も挙げられる。しかし、領域内の全ポイントが同一の明度になると、人の眼から見て違和感が生じる場合がある。また、読み取り画像内において、領域毎に明度を補正する場合、その領域毎の識別や設定が必要であるが、これには処理の難しさや計算処理負荷の高さ等がある。
[Issues, etc.]
A supplementary explanation will be given regarding issues. An image correction method such as a conventional shading correction method corrects a dark part (particularly a peripheral area) in an image so as to brighten and make it uniform. In this method, the target image has a high overall brightness after correction. Such an image correction method is not effective for color unevenness and lightness unevenness that occur at random locations in the above-mentioned form read image. Further, as another image correction method, there is also a method of calculating an average value of lightness or the like in a region having uneven brightness in an image and correcting the area so as to fill it with one lightness value. However, when all the points in the area have the same brightness, a feeling of strangeness may occur from the human eye. Further, when the brightness is corrected for each area in the scanned image, it is necessary to identify and set each area, which is difficult to process and has a high calculation processing load.
これに対し、実施の形態の画像処理方法は、画像内のランダムな箇所の色ムラ・明度ムラについて、明暗を補正する。この補正は、ポイント毎に、暗い箇所を明るくなるように補正すること（言い換えると明度を上げる補正）と、明るい箇所を暗くなるように補正すること（言い換えると明度を下げる補正）との両方を含む補正である。 On the other hand, the image processing method of the embodiment corrects lightness and darkness for color unevenness and lightness unevenness of random parts in an image. This correction is both a correction to make dark areas brighter (in other words, a correction to increase brightness) and a correction to make bright areas darker (in other words, a correction to decrease brightness) for each point. It is a correction including.
具体的には、実施の形態の画像処理方法は、対象画像内における各ポイント（例えば画素）の明度毎に、所定の明度範囲でのヒストグラムを用いて、明度の平均値等を計算し、その平均値等（すなわち補正値）によって、そのポイントの明度を置き換えるように補正するステップを有する。これにより、補正後画像では、ランダムな箇所の色ムラ・明度ムラが低減され、人の眼から見た視認性が向上する。それとともに、全体的な明度はあまり変わらない。 Specifically, in the image processing method of the embodiment, the average value of brightness and the like are calculated for each brightness of each point (for example, a pixel) in the target image by using a histogram in a predetermined brightness range. It has a step of correcting so as to replace the brightness of the point by an average value or the like (that is, a correction value). As a result, in the corrected image, color unevenness and brightness unevenness at random parts are reduced, and the visibility seen from the human eye is improved. At the same time, the overall brightness does not change much.
＜実施の形態１＞
図１～図１３等を用いて、本発明の実施の形態１の画像処理装置、方法、およびプログラムについて説明する。実施の形態１の画像処理方法は、実施の形態１の画像処理装置で実行されるステップを有する方法である。実施の形態１の画像処理プログラムは、実施の形態１の画像処理装置に処理を実行させるプログラムである。
<
The image processing apparatus, method, and program according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 13. The image processing method of the first embodiment is a method having a step executed by the image processing apparatus of the first embodiment. The image processing program of the first embodiment is a program that causes the image processing apparatus of the first embodiment to execute the processing.
［画像処理装置］
図１は、実施の形態１の画像処理装置１を含む、システムの構成例を示す。図１のシステムは、画像処理装置１とスキャナ装置２とがＬＡＮ等の通信手段で接続されているシステムである。ユーザＵ１は、画像処理装置１やスキャナ装置２を操作する。ユーザＵ１は、帳票３（言い換えると用紙）を、スキャナ装置２で読み取らせ、読み取りによって得られた画像（帳票画像ファイル４）を、画像処理装置１で処理させて、帳票認識結果等を得る。
[Image processing device]
FIG. 1 shows a configuration example of a system including the
スキャナ装置２は、セットされた帳票３等の紙面を光学的に走査して画像を読み取る装置である。スキャナ装置２は、読み取りの結果として、帳票画像ファイル４を出力する。帳票画像ファイル４は、ＬＡＮを通じて、画像処理装置１に転送される。画像処理装置１は、通信インタフェース装置１０３によって帳票画像ファイル４を受信・入力し、記憶装置１０２内に補正前の画像ファイル１２２として格納する。なお、スキャナ装置２は、スキャナ機能およびプリンタ機能等を持つ複合機等としてもよい。
The
画像処理装置１は、実施の形態１の画像処理プログラムが実装されているコンピュータである。また、本例では特に、画像処理装置１は、ＯＣＲ装置（言い換えると帳票認識装置）であり、帳票認識プログラム内に実施の形態１の画像処理プログラムが含まれている。実施の形態１の画像処理プログラムは、実施の形態１の画像処理方法に対応する、色ムラ補正処理を含む画像処理および情報処理をコンピュータ（画像処理装置１）に実行させるプログラムである。
The
この画像処理装置１は、例えばＰＣおよびそれに搭載されるソフトウェアで構成されているが、ＯＣＲや複合機等の専用装置として構成されてもよい。また、本例では、画像処理装置１とスキャナ装置２とに分かれている構成であるが、これに限らず、画像処理装置１とスキャナ装置２とが一体である構成でもよい。
The
画像処理装置１は、入力の帳票画像ファイル４に対し、色ムラ補正処理を含む、帳票認識処理を行う。画像処理装置１は、入力の帳票画像ファイル４を、補正前の画像ファイル１２２とし、色ムラ補正処理を行い、処理後の出力が、補正後の画像ファイル１２３となる。実施の形態１の画像処理プログラム（制御プログラム１２１に含まれている）は、その色ムラ補正処理を行うプログラムである。実施の形態１の画像処理プログラムは、補正前の画像ファイル１２２を入力として、色ムラ補正処理を行い、補正後の画像ファイル１２３を出力する。画像処理装置１の帳票認識プログラムは、補正後の画像ファイル１２３に対し、文字等を認識して抽出する帳票認識処理、言い換えるとＯＣＲ処理を行い、その処理の結果を、帳票認識結果データ１２４として出力する。
The
画像処理装置１であるコンピュータは、演算装置１０１、記憶装置１０２（言い換えるとメモリ）、通信インタフェース装置１０３、入出力インタフェース装置１０４、入力装置１０５、表示装置１０６、外部記憶装置１０７等を備え、これらはバス等を介して相互に接続されている。演算装置１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、装置全体を制御するプロセッサまたはコントローラを実現する。演算装置１０１は、ソフトウェアプログラム処理により実現される機能ブロックとして、帳票画像入力部１１、帳票認識処理部１２、帳票認識結果出力部１３、表示部１４、設定部１５、および画像処理部２０を有する。画像処理部２０は、実施の形態１の画像処理プログラムによって実現され、言い換えると、色ムラ補正処理部である。演算装置１０１は、記憶装置１０２の制御プログラム１２１を読み出してその制御プログラム１２１に従った処理を実行することにより、各機能ブロックを実現する。制御プログラム１２１は、実施の形態１の画像処理プログラム、および帳票認識プログラムを含む。
The computer which is the
記憶装置１０２には、不揮発性記憶装置等で構成され、演算装置１０１等が扱う各種のデータや情報が記憶されている。記憶装置１０２には、制御プログラム１２１、補正前の画像ファイル１２２、補正後の画像ファイル１２３、および帳票認識結果データ１２４等が記憶される。図示しないが、制御プログラム１２１には、プログラムやユーザの設定情報も伴う。設定情報は、例えば、帳票認識のための認識フォーマット情報等がある。認識フォーマット情報では、例えば帳票３毎の形式に応じて、読み取りフィールド（文字等を認識する対象となるフィールド）等が設定されている。帳票認識結果データ１２４は、帳票認識処理の結果として作成される、帳票３内から認識された文字や図形等の情報を含むデータである。なお、画像処理装置１の外部にＤＢサーバやストレージ装置等が接続され、それらに各種のデータや情報が格納されてもよい。
The
補正前の画像ファイル１２２は、後述するが、色ムラを含む場合があり、画像処理部２０は、その色ムラを低減する色ムラ補正処理を行う。その処理の結果、色ムラが低減された画像が、補正後の画像ファイル１２３となる。色ムラが低減された補正後の画像ファイル１２３は、ユーザＵ１から見て視認性が高い好適な画像となる。また、画像処理装置１は、補正後の画像ファイル１２３を用いて、帳票認識処理を行うことで、より高精度な結果を得られる可能性がある。
As will be described later, the
通信インタフェース装置１０３は、スキャナ装置２等の外部装置との間で所定の通信インタフェースで通信処理を行う部分である。画像処理装置１は、スキャナ装置２に限らず、外部のサーバ装置やストレージ装置等の装置との間でデータを授受してもよい。
The
入出力インタフェース装置１０４には、入力装置１０５、表示装置１０６、および外部記憶装置１０７等が接続されている。入力装置１０５は、例えばキーボードやマウスや操作パネルが挙げられる。ユーザは、入力装置１０５を通じて指示等を入力する。表示装置１０６は、液晶ディスプレイ等が挙げられる。入力装置１０５および表示装置１０６は、タッチパネルとしてもよい。表示装置１０６の表示画面には、所定のグラフィカル・ユーザ・インタフェース（ＧＵＩ）を伴う画面が表示される。この画面は、帳票認識機能や色ムラ補正機能に係わる設定や確認等を可能とする画面である。ユーザは、その画面を通じて、帳票認識や色ムラ補正に係わる作業が可能である。
An
外部記憶装置１０７は、例えばディスク装置やメモリカード装置等が挙げられる。外部記憶装置１０７には、演算装置１０１からの制御に基づいて、画像ファイル等の保存が可能である。画像処理装置１は、外部記憶装置１０７に格納されている画像ファイル等を入力してもよい。
Examples of the
帳票画像入力部１１は、スキャナ装置２からの帳票画像ファイル１２２を入力して記憶装置１０２に補正前の画像ファイル１２２として格納する。帳票認識処理部１２は、認識対象の画像ファイル（例えば補正後の画像ファイル１２２）に対し、帳票認識処理（ＯＣＲ処理）を行って、抽出した文字等の情報を含む帳票認識結果データ１２４を作成し、記憶装置１０２に格納する。帳票認識結果出力部１３は、帳票認識結果データ１２４に基づいた帳票認識結果情報を表示画面に表示する。ユーザＵ１は、画面でその帳票認識結果情報を見て、確認や修正を行うことができる。表示部１４は、帳票認識機能や色ムラ補正機能に係わる各種の画面を構成し、表示装置１０６の表示画面に表示する。設定部１５は、画面を通じて、帳票認識機能や色ムラ補正機能に関するユーザ設定を受け付けて設定情報として記憶する。
The form
画像処理部２０（言い換えると色ムラ補正処理部）は、実施の形態１の画像処理プログラムに基づいた画像処理として色ムラ補正処理を行う部分である。補正前の画像ファイル１２２に対し、この画像処理を行うかどうかは、ユーザＵ１によっても選択指定できる。デフォルト設定では、この画像処理の機能がオン状態として設定されている。この機能のオン状態では、自動的にこの画像処理が適用される。
The image processing unit 20 (in other words, the color unevenness correction processing unit) is a portion that performs color unevenness correction processing as image processing based on the image processing program of the first embodiment. Whether or not to perform this image processing on the
［帳票］
図２は、帳票３の紙面の例を示す。この帳票３の例は請求書の伝票である。帳票３の紙面には、背景の上に、所定の形式で罫線や文字や図像等が形成されている。背景領域２０１は、背景の領域の一例であり、背景色として、比較的白に近い、明度が高い領域である。図像領域２０２は、比較的黒に近い、明度が低い領域の例である。紙質などに応じて背景色は様々である。帳票３内の所定の領域には、人またはコンピュータが記載した文字や図像等があり、ＯＣＲによる認識の対象となる。破線の枠（例えば枠２０３）は、ＯＣＲでの読み取りフィールドの例である。
[Form]
FIG. 2 shows an example of the paper surface of the form 3. An example of this form 3 is an invoice slip. On the paper surface of the form 3, ruled lines, characters, iconography and the like are formed in a predetermined format on the background. The
帳票３は、紙質としては、例えば複写印字が可能な複写用紙（ノーカーボン紙など）である場合もある。帳票３の紙質や、スキャン時の機械的動作（例えば用紙搬送時のばたつき）や、記載時の筆圧等の各種の要因に応じて、帳票３の紙面には、すきムラ、よれ、折れ曲がり等が生じる場合がある。すなわち、紙面には、紙面領域内の分布において、厚さ方向での凹凸、厚さの違いが生じる場合がある。この場合、その帳票３が光学的に読み取られた読み取り画像において、色ムラ、言い換えると明度ムラが生じる場合がある。すなわち、読み取り画像の領域内の分布において、ランダムな箇所に、色ムラ・明度ムラが生じる場合がある。実施の形態での画像処理である色ムラ補正処理は、このような読み取り画像内の色ムラを低減するものである。また、読み取り画像内に、裏写り等による余計な文字等がある場合にも、この色ムラ補正処理によって、低減することができる。 As the paper quality, the form 3 may be, for example, copy paper (carbonless copy paper or the like) capable of copy printing. Depending on various factors such as the paper quality of the form 3, the mechanical operation during scanning (for example, fluttering during paper transportation), and the writing pressure at the time of writing, the paper surface of the form 3 may have uneven plows, twists, bends, etc. May occur. That is, on the paper surface, unevenness and a difference in thickness in the thickness direction may occur in the distribution in the paper surface region. In this case, color unevenness, in other words, brightness unevenness may occur in the scanned image obtained by optically reading the form 3. That is, in the distribution in the region of the scanned image, color unevenness / brightness unevenness may occur at random places. The color unevenness correction processing, which is the image processing in the embodiment, reduces such color unevenness in the read image. Further, even if there are extra characters or the like due to show-through or the like in the scanned image, it can be reduced by this color unevenness correction processing.
［補正前画像－補正後画像］
例えば、図２の帳票３の背景領域２０１は、基本的には一様な背景色の領域である。この背景領域２０１等に上記のような厚さ方向の凹凸等が生じていた場合、この帳票３が光学的に読み取られた結果の読み取り画像には、色ムラ・明度ムラが生じている場合がある。
[Image before correction-Image after correction]
For example, the
図３の（Ａ）は、背景領域に上記のような色ムラ・明度ムラが生じている場合の補正前画像の例を示す模式図である。この補正前画像は、読み取り画像のうちの一部領域の画像例である。この補正前画像では、ランダムな箇所に色・明度の違いが生じており、すなわち色ムラ・明度ムラが生じている。枠線で示す箇所３０１，３０２は、色・明度が異なる２か所の例であり、箇所３０１は比較的暗く、箇所３０２は比較的明るい。
FIG. 3A is a schematic diagram showing an example of an uncorrected image in the case where the above-mentioned color unevenness / brightness unevenness occurs in the background region. This uncorrected image is an image example of a part of the scanned image. In this uncorrected image, differences in color and lightness occur at random locations, that is, color unevenness and lightness unevenness occur. The
図３の（Ｂ）は、（Ａ）の補正前画像に対し、実施の形態１による色ムラ補正処理を施した後の補正後画像の例を示す模式図である。（Ｂ）の画像は、（Ａ）の画像と比べて、色ムラ・明度ムラが低減されている。なお、（Ｂ）の補正後画像は、背景領域が単に１つの色、１つの明度に塗りつぶされているわけではなく、複数の色・明度の分布を有する。 FIG. 3B is a schematic diagram showing an example of the corrected image after the color unevenness correction processing according to the first embodiment is applied to the uncorrected image of (A). The image of (B) has reduced color unevenness and lightness unevenness as compared with the image of (A). In the corrected image of (B), the background area is not simply filled with one color and one lightness, but has a distribution of a plurality of colors and lightness.
［明度分布（色ムラ・明度ムラ）］
図２のような帳票３は、紙面に、背景領域、罫線、ガイダンス文字、ロゴ、記入文字、印鑑等がある。このような帳票３は、写真画像等とは異なり、色・明度のバリエーションが比較的少ない。よって、このような帳票３の読み取り画像は、例えば図４のような明度分布となる。図４の明度分布では、明度は、全明度値には分布しておらず、図示の領域Ａ１～Ａ５のように、いくつかの領域に集まって分布している。
[Brightness distribution (color unevenness / brightness unevenness)]
The form 3 as shown in FIG. 2 has a background area, ruled lines, guidance characters, logos, entry characters, stamps, and the like on the paper. Unlike a photographic image or the like, such a form 3 has relatively few variations in color and lightness. Therefore, such a read image of the form 3 has a brightness distribution as shown in FIG. 4, for example. In the lightness distribution of FIG. 4, the lightness is not distributed in the total lightness value, but is distributed in several areas as shown in the areas A1 to A5 in the figure.
図４は、補正前画像である読み取り画像においてランダムな箇所に色ムラ・明度ムラがある場合における明度分布（言い換えると濃度分布）のグラフを示す。このグラフは、横軸がポイント（画素）の位置座標、縦軸が明度である。このグラフは、２次元画像内のポイントの位置（ｘ，ｙ）と明度Ｖとの３次元の情報を持つ３次元グラフを、説明用に２次元グラフで表現したものである。横軸のポイント位置は、２次元の位置（ｘ，ｙ）を１次元に並べたものである。 FIG. 4 shows a graph of the brightness distribution (in other words, the density distribution) when there is color unevenness / brightness unevenness at random locations in the scanned image which is the uncorrected image. In this graph, the horizontal axis is the position coordinates of points (pixels), and the vertical axis is the brightness. This graph is a two-dimensional graph representing a three-dimensional graph having three-dimensional information of the position (x, y) of a point in a two-dimensional image and the lightness V for explanation. The point positions on the horizontal axis are two-dimensional positions (x, y) arranged in one dimension.
このグラフは、例えば図２の帳票３の読み取り画像で色ムラがある場合の明度分布を示す。本例では、領域Ａ１～Ａ５に示すように、概略的に５個の集まりで、明度成分を有する。例えば、領域Ａ１は、明度Ｖが比較的高い領域であり、図２の帳票３のうちの比較的白い背景（例えば背景領域２０１）の部分に対応する。例えば、領域Ａ５は、明度Ｖが比較的低い領域であり、図２の帳票３のうちの比較的黒い図像領域（例えば図像領域２０２）の部分に対応する。 This graph shows, for example, the brightness distribution when there is color unevenness in the read image of the form 3 of FIG. In this example, as shown in regions A1 to A5, approximately five groups have a lightness component. For example, the region A1 is a region having a relatively high brightness V, and corresponds to a portion of the form 3 of FIG. 2 having a relatively white background (for example, the background region 201). For example, the region A5 is a region having a relatively low lightness V, and corresponds to a portion of the relatively black iconographic region (for example, the iconographic region 202) in the form 3 of FIG.
例えば、領域Ａ１内において、ポイント位置毎に明度Ｖが変動している。領域Ａ１では、明度が、ある範囲４０３で分布している。最小値４０１は領域Ａ１内での最小明度値の例、最大値４０２は領域Ａ１内での最大明度値の例を示す。
For example, in the region A1, the brightness V fluctuates for each point position. In region A1, the brightness is distributed in a
このように、領域内での明度の変動が大きい現象は、色ムラ・明度ムラに相当する。この明度変動が大きいほど、すなわちムラの度合いが大きいほど、人の眼には視認性が低く感じられる。 As described above, the phenomenon in which the brightness fluctuates greatly in the region corresponds to color unevenness / brightness unevenness. The greater the variation in brightness, that is, the greater the degree of unevenness, the lower the legibility to the human eye.
図５は、図４の補正前画像を、実施の形態１の画像処理方法で色ムラ補正処理した場合の補正後画像における明度分布のグラフを示す。例えば、領域Ａ１において、実線で示す補正前の明度分布の曲線５０１は、破線で示す補正後の明度分布の曲線５０２となる。補正前の曲線５０１上での各ポイント（黒点で示す画素）の明度は、所定の明度範囲５０３（後述の図１２の明度幅±ｋ１による範囲Ｗに相当する）でのヒストグラムの頻度値に基づいて計算される平均値（後述）によって、白点で示す明度に補正される。それらの結果が曲線５０２であり、推定明度に相当する。補正後の曲線５０２は、補正前の曲線５０１に比べて、明度の変動が小さくなっており、色ムラ・明度ムラが低減されており、人の眼には、視認性が高くなったように感じられる。
FIG. 5 shows a graph of the brightness distribution in the corrected image when the uncorrected image of FIG. 4 is subjected to color unevenness correction processing by the image processing method of the first embodiment. For example, in the region A1, the
［処理フロー］
図６～図８は、実施の形態１で、画像処理装置１の画像処理部２０による主な処理のフローを示す。図６は、フローその１であり、ステップＳ１～Ｓ６を有する。図７は、図６に続くフローその２であり、ステップＳ７～Ｓ９を有する。図８は、図６に続くフローその３であり、ステップＳ１０～Ｓ１３を有する。大別して、図６は、ヒストグラム計算と第１方式での平均値（補正値）計算のフローである。図７は、色合い保持機能を用いない場合（方式Ｙ）の補正処理のフローである。図８は、色合い保持機能を用いる場合（方式Ｘ）の補正処理のフローである。
[Processing flow]
6 to 8 show the main processing flow by the
図６で、画像処理部２０は、図１の補正前の画像ファイル１２２を、入力画像、言い換えると対象画像として、以下の処理を行う。ステップＳ１で、画像処理部２０は、対象画像の明度のヒストグラムの作成を行う。ステップＳ１は、詳しくは、ステップＳ１Ａ，Ｓ１Ｂ，Ｓ１Ｃを含む。ステップＳ１Ａで、画像処理部２０は、対象画像のＲ成分（Ｒ画素値）の明度のヒストグラム（ＨＲとする）を作成する。ステップＳ１Ｂで、画像処理部２０は、対象画像のＧ成分（Ｇ画素値）の明度のヒストグラム（ＨＧとする）を作成する。ステップＳ１Ｃで、画像処理部２０は、対象画像のＢ成分（Ｂ画素値）の明度のヒストグラム（ＨＢとする）を作成する。画像処理部２０は、作成したヒストグラムのデータを、記憶装置１０２等によるメモリ上に保持する。
In FIG. 6, the
図９は、対象画像のデータ形式の例を示す。対象画像のデータ形式は、例えば３×８＝２４ｂｉｔのカラー画像である。対象画像は、Ｘ方向（水平方向）およびＹ方向（垂直方向）による２次元画像である。Ｐｘ，ｙは、位置（ｘ，ｙ）にある画素および画素値を表す。画素Ｐｘ，ｙは、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つのサブ画素のセットで構成される。Ｒ，Ｇ，Ｂのそれぞれの画素および画素値を、Ｒｘ，ｙ、Ｇｘ，ｙ、Ｂｘ，ｙとして示す。すなわち、１つのポイントの色・明度は、Ｒ画素値、Ｇ画素値、およびＢ画素値のセットから構成される。画像処理装置１での処理上で、ポイントとは、広義には１つの画素Ｐｘ，ｙであり、狭義にはＲ，Ｇ，Ｂ毎のサブ画素である。画素Ｐｘ，ｙの画素値（言い換えると明度）は、例えば、Ｒ画素Ｒｘ，ｙの値ｒと、Ｇ画素Ｇｘ，ｙの値ｇと、Ｂ画素Ｂｘ，ｙの値ｂとを有する。値ｒ，ｇ，ｂは、例えば８ｂｉｔで表現される場合、０から２５５までの２５６階調の範囲内の値である。画素Ｐｘ，ｙの補正前の画素値は、後述の補正（第１方式での明度平均値による置換）によって、補正後の画素値となる。補正後の画素値は、例えば、Ｒ画素Ｒｘ，ｙの値ｒａと、Ｇ画素Ｇｘ，ｙの値ｇａと、Ｂ画素Ｂｘ，ｙの値ｂａとを有する。値ｒａ，ｇａ，ｂａは、２５６階調の範囲内の値である。
FIG. 9 shows an example of the data format of the target image. The data format of the target image is, for example, a color image of 3 × 8 = 24 bits. The target image is a two-dimensional image in the X direction (horizontal direction) and the Y direction (vertical direction). Px, y represent a pixel and a pixel value at a position (x, y). Pixels Px and y are composed of a set of three sub-pixels, R (red), G (green), and B (blue). The respective pixels and pixel values of R, G, and B are shown as Rx, y, Gx, y, Bx, and y. That is, the color / brightness of one point is composed of a set of R pixel value, G pixel value, and B pixel value. In the processing by the
図１０は、ステップＳ１で作成するヒストグラムのデータ例を示す。図１０の（Ａ）は、ヒストグラムの表である。この表は、Ｒ画素の明度のヒストグラムＨＲの場合である。この表は、「明度（Ｒ画素値）」列と「頻度値」列とを有する。「明度（Ｒ画素値）」は、例えば上記のように０～２５５の値である。各行には、Ｒ画素値毎の頻度値が格納される。ここでは頻度値をｈ０等の抽象的な変数で示すが、実際にはその変数に数値が格納される。画像処理部２０は、対象画像の画素毎に、対応する明度毎の頻度値を計数し、この表の頻度値列のその変数に格納する。
FIG. 10 shows an example of data of the histogram created in step S1. FIG. 10A is a histogram table. This table is for the histogram HR of the brightness of the R pixel. This table has a "brightness (R pixel value)" column and a "frequency value" column. The "brightness (R pixel value)" is, for example, a value of 0 to 255 as described above. The frequency value for each R pixel value is stored in each row. Here, the frequency value is shown by an abstract variable such as h0, but the numerical value is actually stored in the variable. The
図１０の（Ｂ）は、（Ａ）のデータに対応するヒストグラム（ＨＲ）のグラフを示す。このグラフは、横軸が明度（Ｒ画素値）、縦軸が頻度値（言い換えると計数値）である。頻度値は、０から全画素数までの範囲内の値である。なお、明度を記号Ｖ、頻度値を記号Ｆで表す場合がある。 FIG. 10B shows a histogram (HR) graph corresponding to the data in FIG. 10A. In this graph, the horizontal axis is the brightness (R pixel value), and the vertical axis is the frequency value (in other words, the count value). The frequency value is a value in the range from 0 to the total number of pixels. The brightness may be represented by the symbol V and the frequency value may be represented by the symbol F.
図６のステップＳ２で、画像処理部２０は、ステップＳ１で作成したヒストグラムを用いて、対象画像中のポイント毎に、指定範囲での明度の頻度値の平均値（例えば加重平均値）を計算する。ステップＳ２は、詳しくは、ステップＳ２Ａ，Ｓ２Ｂ，Ｓ２Ｃを有する。ステップＳ２Ａは、Ｒ画素のヒストグラムＨＲを用いて、Ｒ画素毎に、指定範囲での明度の頻度値の平均値（ＡＲとする）を計算するステップである。ステップＳ２Ｂは、Ｇ画素のヒストグラムＨＧを用いて、Ｇ画素毎に、指定範囲での明度の頻度値の平均値（ＡＧとする）を計算するステップである。ステップＳ２Ｃは、Ｂ画素のヒストグラムＨＢを用いて、Ｂ画素毎に、指定範囲での明度の頻度値の平均値（ＡＢとする）を計算するステップである。
In step S2 of FIG. 6, the
図１１および図１２は、ステップＳ２に関する説明図である。図１１は、対象画像の明度のヒストグラム（図１０とも対応する）の例である。ここでは、横軸を頻度値Ｆ、縦軸を明度Ｖとして示す。図１２は、図１１のヒストグラムのうちの一部として、ある明度Ｖｉの付近の範囲Ｗの拡大を示す。例えばあるポイントの画素Ｐｘ，ｙにおける明度Ｖが、図示するような比較的高いある明度Ｖｉであったとする。この場合について、ステップＳ２の平均値を計算する処理例を説明する。説明上、明度Ｖｉを、補正対象ポイント明度：Ｖ０とも呼ぶ。ステップＳ１のヒストグラムにおいて、この明度Ｖｉでの頻度値Ｆが頻度値Ｆｉであったとする。頻度値Ｆｉを、補正対象ポイント頻度値：Ｆ０とも呼ぶ。 11 and 12 are explanatory views relating to step S2. FIG. 11 is an example of a histogram of the brightness of the target image (corresponding to FIG. 10). Here, the horizontal axis is shown as the frequency value F, and the vertical axis is shown as the brightness V. FIG. 12 shows an enlargement of the range W near a certain brightness Vi as part of the histogram of FIG. For example, it is assumed that the brightness V at the pixels Px and y at a certain point is a relatively high brightness Vi as shown in the figure. In this case, a processing example for calculating the average value in step S2 will be described. For the sake of explanation, the brightness Vi is also referred to as a correction target point brightness: V0. In the histogram of step S1, it is assumed that the frequency value F at this lightness Vi is the frequency value Fi. The frequency value Fi is also referred to as a correction target point frequency value: F0.
画像処理部２０は、明度Ｖ０の頻度値Ｆ０について、予め設定された指定の範囲Ｗを適用する。範囲Ｗは、明度Ｖに関する範囲であり、明度範囲とも呼ぶ。本例では、範囲Ｗは、明度Ｖに関する正負の幅（±ｋ１）を用いて規定される。すなわち、範囲Ｗは、明度（Ｖ０－ｋ１）から明度（Ｖ０＋ｋ１）までの範囲である。
The
第１方式では、画像処理部２０は、この範囲Ｗで、明度Ｖの頻度値Ｆに関する平均値として例えば加重平均値を計算する。計算された加重平均値を、明度平均値Ｖ１および頻度平均値Ｆ１とする。頻度平均値Ｆ１は、明度平均値Ｖ１での頻度である。なお、加重平均値は一般に以下の式で計算できる。観測値をＸ、観測値毎の重みをｗ、観測値の数をｎとすると、［加重平均値］＝（ｗ１・Ｘ１＋ｗ２・Ｘ２＋……＋ｗｎ・Ｘｎ）／（ｗ１＋ｗ２＋……＋ｗｎ）である。なお、すべての重みｗが等しい場合、これは相加平均値となる。実施の形態１の例では、重みｗについては、各明度に対応するヒストグラムの頻度値に係数を乗じた値を用いる。その係数は例えば１としてもよい。
In the first method, the
また、実施の形態１の変形例において、画像処理装置１は、第１方式ではなく、第２方式を用いる。第２方式では、画像処理部２０は、この範囲Ｗで、明度Ｖの頻度値Ｆに関する最大値を計算する。計算された最大値を、明度最大値Ｖ２および頻度最大値Ｆ２とする。明度最大値Ｖ２は、頻度最大値Ｆ２での明度である。
Further, in the modified example of the first embodiment, the
図１３は、ステップＳ２の処理で使用する表として、ルックアップテーブル（ＬＵＴ）の例を示す。Ｒ，Ｇ，Ｂ成分毎に、ＬＵＴがデータとして用意される。それぞれのＬＵＴを、表ＴＲ，ＴＧ，ＴＢとする。画像処理部２０は、それぞれのＬＵＴのデータを、メモリ上に作成および保持する。図１３は、例えばＲ画素に関するＬＵＴである表ＴＲの例を示す。この表ＴＲは、「入力値」列と「出力値」列とを有する。「入力値」は、補正前の明度であるＲ画素値（図１２での補正対象ポイント明度Ｖ０）であり、「出力値」は、補正後の明度、すなわち指定範囲での加重平均値（図１２での明度平均値Ｖ１）である。ここでは「出力値」は、ｖ０～ｖ２５５として抽象的な変数で示すが、実際にはその変数には数値が格納される。最初、この表ＴＲは、初期値、例えば「出力値」がすべて０、が設定される。画像処理部２０は、ステップＳ２の処理の進行に伴い、このような表ＴＲ，ＴＧ，ＴＢの各行に値を格納する。
FIG. 13 shows an example of a look-up table (LUT) as a table used in the process of step S2. A LUT is prepared as data for each of the R, G, and B components. Let each LUT be a table TR, TG, TB. The
ある対象画像について、１回、一通りの処理が行われた結果、このようなＬＵＴ（ＴＲ，ＴＧ，ＴＢ）が完成する。その場合、このＬＵＴは、対象画像に対応する帳票３に関する補正（特にステップＳ２の処理）の仕方、言い換えると変換を表す表となっている。よって、画像処理装置１は、その後、同様の種類の帳票３からの対象画像については、このＬＵＴを適用してもよい。その場合、個別の計算処理を省略して、色ムラ補正を高速に実現することができる。
Such a LUT (TR, TG, TB) is completed as a result of performing a series of processing once for a certain target image. In that case, this LUT is a table showing the method of correction (particularly the processing of step S2) regarding the form 3 corresponding to the target image, in other words, the conversion. Therefore, the
図６で、ステップＳ３は、適用する方式の選択に応じた分岐のステップである。ここで選択できる方式は、画素値を２値化した白・黒の成分について、黒成分を対象外として白成分のみを補正対象とする方式（方式Ａとする）と、白・黒の両方の成分、すなわち画像全体を補正対象とする方式（方式Ｂとする）との２つである。ユーザは、適用する方式（Ａ，Ｂ）を選択できる。画像処理装置１が提供する画面でのユーザ設定で、予め、適用する方式（Ａ，Ｂ）を設定しておいてもよいし、適宜に画面でユーザが帳票３に対し使用する方式（Ａ，Ｂ）を指示選択入力してもよい。ステップＳ３で、画像処理部２０は、対象画像を２値化処理した際に白（値１）となる画素成分のみを補正対象とする方式Ａを適用するか、黒（値０）となる画素成分も補正対象とする方式Ｂを適用するかを判断する。方式Ａを適用する場合（Ｙ）、ステップＳ４に進み、方式Ｂを適用する場合（Ｎ）、ステップＳ４を省略してステップＳ５に進む。
In FIG. 6, step S3 is a branching step according to the selection of the method to be applied. The methods that can be selected here are both a method (referred to as method A) in which the black component is excluded and only the white component is corrected for the white / black component obtained by binarizing the pixel value, and both white and black. There are two methods, that is, a method in which the entire image is corrected (referred to as method B). The user can select the method (A, B) to be applied. The method (A, B) to be applied may be set in advance in the user setting on the screen provided by the
ステップＳ４では、方式Ａのために、対象画像に対する２値化処理を行う。２値化処理後の対象画像では、図９の各画素Ｐｘ，ｙの値、すなわちＲｘ，ｙ、Ｇｘ，ｙ、Ｂｘ，ｙは、値０（黒）または値１（白）をとる。 In step S4, the target image is binarized for the method A. In the target image after the binarization process, the values of each pixel Px, y in FIG. 9, that is, Rx, y, Gx, y, Bx, y take a value 0 (black) or a value 1 (white).
ステップＳ５で、画像処理部２０は、第１方式での平均値（補正後の明度）に関するＬＵＴを作成する。ステップＳ５は、詳しくは、ステップＳ５Ａ，Ｓ５Ｂ，Ｓ５Ｃを有する。ステップＳ５Ａは、Ｒ成分についての平均値（ＡＲ）のＬＵＴ（表ＴＲ）の作成である。ステップＳ５Ｂは、Ｇ成分についての平均値（ＡＧ）のＬＵＴ（表ＴＧ）の作成である。ステップＳ５Ｃは、Ｂ成分についての平均値（ＡＢ）のＬＵＴ（表ＴＢ）の作成である。例えば、図１３のようなＬＵＴが作成される。
In step S5, the
ステップＳ６は、適用する方式の選択に応じた分岐のステップである。ここで選択できる方式は、色合い保持機能に対応して画像の色合いを保持する方式（方式Ｘとする）と、色合いを保持しない方式（方式Ｙとする）との２つである。ユーザは、同様に、適用する方式（Ｘ，Ｙ）を選択できる。ステップＳ６で、画像処理部２０は、色合いを保持する方式Ｘを適用するか、方式Ｙを適用するかを判断する。方式Ｘを適用する場合（Ｙ）、図８のステップＳ１０に進み、方式Ｙを適用する場合（Ｎ）、図７のステップＳ７に進む。
Step S6 is a branching step according to the selection of the method to be applied. There are two methods that can be selected here: a method that retains the hue of the image corresponding to the hue holding function (referred to as method X) and a method that does not retain the hue (referred to as method Y). Similarly, the user can select the method (X, Y) to be applied. In step S6, the
まず、より単純な方式である方式Ｙの場合について説明する。図７のステップＳ７で、画像処理部２０は、ステップＳ３でいずれの方式（Ａ，Ｂ）を選択していたか、および、対象画像内の対象ポイントにおけるステップＳ４での二値化処理の結果の値が、黒（値０）であるか白（値１）であるかを確認する。方式Ａ選択時で対象ポイントの二値化結果値が白である場合（Ｙ）、または、方式Ｂ選択時の場合（Ｙ）には、ステップＳ８へ進む。方式Ａ選択時で対象ポイントの二値化結果値が黒である場合（Ｎ）には、補正処理（ステップＳ８）を省略するので、ステップＳ９へ進む。
First, the case of the method Y, which is a simpler method, will be described. In step S7 of FIG. 7, which method (A, B) was selected by the
ステップＳ８で、画像処理部２０は、対象画像の対象ポイント（画素Ｐｘ，ｙ）の補正前の明度を、補正後の明度、すなわちステップＳ２で得た第１方式の平均値で置き換える補正処理を行う。つまり、画像処理部２０は、対象ポイントのＲ，Ｇ，Ｂの各成分値（図１２の補正対象ポイント明度Ｖ０）を、ステップＳ２で得た平均値（図１２の明度平均値Ｖ１）で置き換える補正処理を行う。ステップＳ８は、詳しくは、ステップＳ８Ａ，Ｓ８Ｂ，Ｓ８Ｃを有する。ステップＳ８Ａでは、画像処理部２０は、Ｒ成分値（Ｒ画素値）を、加重平均値（ＡＲ）で置き換える補正処理を行う。ステップＳ８Ｂでは、画像処理部２０は、Ｇ成分値（Ｇ画素値）を、加重平均値（ＡＧ）で置き換える補正処理を行う。ステップＳ８Ｃでは、画像処理部２０は、Ｂ成分値（Ｂ画素値）を、加重平均値（ＡＢ）で置き換える補正処理を行う。なお、ステップＳ５に基づいて一旦作成済みのＬＵＴがある場合、ステップＳ８では、そのＬＵＴを使用することで、処理を高速化できる。
In step S8, the
なお、変形例での第２方式の場合、ステップＳ８の処理は、平均値ではなく、前述の最大値（明度最大値Ｖ２）を用いればよい。第２方式では、画像処理部２０は、対象ポイントの明度（Ｖ０）を、上記明度最大値Ｖ２で置き換える。
In the case of the second method in the modified example, the processing in step S8 may use the above-mentioned maximum value (maximum brightness value V2) instead of the average value. In the second method, the
画像処理部２０は、上記のような処理を、対象画像のすべてのポイントについて同様に実行する。ステップＳ９で、画像処理部２０は、対象画像の全ポイントについて上記処理が終了したかを確認し、未終了の場合（Ｎ）にはステップＳ７へ戻って同様の繰り返しである。終了した場合（Ｙ）、対象画像の補正が完了したということであり、フローが終了する。
The
一方、方式Ｘを用いる場合、ステップＳ１０で、画像処理部２０は、図７のステップＳ７と同様の処理として、ステップＳ３でいずれの方式（Ａ，Ｂ）を選択していたか、および、対象画像内の対象ポイントにおけるステップＳ４での二値化処理の結果の値が、白（値１）であるか黒（値０）であるかを確認する。方式Ａ選択時で対象ポイントの二値化結果値が白である場合（Ｙ）、または、方式Ｂ選択時の場合（Ｙ）には、ステップＳ１１へ進む。方式Ａ選択時で対象ポイントの二値化結果値が黒である場合（Ｎ）には、補正処理（ステップＳ１１，Ｓ１２）を省略するので、ステップＳ１３へ進む。
On the other hand, when the method X is used, in step S10, which method (A, B) was selected by the
ステップＳ１１で、画像処理部２０は、対象画像の対象ポイントのＲ，Ｇ，Ｂの各成分値（補正対象ポイント明度Ｖ０）と、ステップＳ５のＬＵＴの「出力値」列の加重平均値（明度平均値Ｖ１）との差の平均値を計算する。この差をＤとし、この平均値をＤＡとする。例えば、Ｒ画素（Ｒｘ，ｙ）について、図１２のように、差Ｄは、（Ｖ０－Ｖ１）である。平均値ＤＡは、指定範囲Ｗでの差Ｄの平均値である。
In step S11, the
平均値ＤＡは、例えば以下のように計算できる。Ｒ成分に関する差をＤＲ、Ｇ成分に関する差をＤＧ、Ｂ成分に関する差をＤＢとする。ＤＡ＝（ＤＲ＋ＤＧ＋ＤＢ）÷３。平均値ＤＡは、Ｒ，Ｇ，Ｂで共通の値となる。 The average value DA can be calculated as follows, for example. The difference regarding the R component is referred to as DR, the difference regarding the G component is referred to as DG, and the difference regarding the B component is referred to as DB. DA = (DR + DG + DB) ÷ 3. The average value DA is a common value for R, G, and B.
次に、ステップＳ１２で、画像処理部２０は、対象ポイントの各成分値（補正対象ポイント明度Ｖ０）を、各成分値からステップＳ１１で得た平均値ＤＡを減算した値によって置き換える補正処理を行う。ステップＳ１２は、詳しくは、ステップＳ１２Ａ，Ｓ１２Ｂ，Ｓ１２Ｃを有する。ステップＳ１２Ａで、画像処理部２０は、Ｒ成分値を、Ｒ成分値から平均値ＤＡを減算した値（ＳＲとする）に置き換える。ステップＳ１２Ｂで、画像処理部２０は、Ｇ成分値を、Ｇ成分値から平均値ＤＡを減算した値（ＳＧとする）に置き換える。ステップＳ１２Ｃで、画像処理部２０は、Ｂ成分値を、Ｂ成分値から平均値ＤＡを減算した値（ＳＢとする）に置き換える。
Next, in step S12, the
補正値である減算値ＳＲ，ＳＧ，ＳＢは、例えば以下のように計算できる。補正前のＲ成分値をＶＲ０、補正前のＧ成分値をＶＧ０、補正前のＢ成分値をＶＢ０とする。 The subtraction values SR, SG, and SB, which are correction values, can be calculated as follows, for example. The R component value before correction is VR0, the G component value before correction is VG0, and the B component value before correction is VB0.
ＳＲ＝ＶＲ０－ＤＡ
ＳＧ＝ＶＧ０－ＤＡ
ＳＢ＝ＶＢ０－ＤＡ
上記のように、Ｒ，Ｇ，Ｂの全てで同一の平均値ＤＡによって減算による補正が行われる。これにより、特定色のみの大幅な補正を抑え、色合いを保持することができる。この処理方式では、計算処理負荷を抑えつつ、色合い保持が実現できる。なお、上記色合い保持のための処理方式は一例であり、他の処理方式を適用してもよい。他の処理方式としては、ＲＧＢ色空間からＨＳＶ色空間へ変換し、Ｖ値（明度）のみを調整した後、ＲＧＢ色空間へ再変換する方式を用いてもよい。
SR = VR0-DA
SG = VG0-DA
SB = VB0-DA
As described above, correction by subtraction is performed by the same average value DA for all of R, G, and B. As a result, it is possible to suppress a large correction of only a specific color and maintain the hue. With this processing method, it is possible to maintain the hue while suppressing the calculation processing load. The processing method for maintaining the hue is an example, and other processing methods may be applied. As another processing method, a method of converting from the RGB color space to the HSV color space, adjusting only the V value (brightness), and then reconverting to the RGB color space may be used.
ステップＳ１３で、画像処理部２０は、対象画像の全ポイントについて上記処理が終了したかを確認し、未終了の場合（Ｎ）にはステップＳ１０へ戻って同様の繰り返しである。終了した場合（Ｙ）、対象画像の補正が完了したということであり、フローが終了する。
In step S13, the
［効果等］
上記のように、実施の形態１の画像処理装置および方法によれば、帳票の読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる。
[Effects, etc.]
As described above, according to the image processing apparatus and method of the first embodiment, it is possible to reduce color unevenness and brightness unevenness of the read image of the form and improve the visibility.
なお、適用する第１方式や第２方式に応じて、補正後画像の視認性等の効果は異なる。対象の帳票３等に応じて、適用する方式を選択すればよい。多くの帳票３では、第２方式よりも第１方式が有効である。第１方式では、補正後の明度として加重平均値（図１２）を用いるので、帳票の背景領域等において、図３の例のように、明度分布が滑らかになるように、色ムラ・明度ムラを低減できる。第２方式を用いる場合、最大頻度値（図１２）を用いるので、帳票３によっては、領域毎に同一の明度となり、領域境界で明度が変動するような補正後画像となる場合がある。この場合、人の眼から見て違和感を生じる場合がある。この場合、第１方式を適用した方が、領域境界での明度の変動も無いまたは少ないので、違和感が無い画像が得られる。帳票３によって、例えば裏写りの文字が透けて重畳しているような読み取り画像の場合では、第２方式を適用することで、その裏写りの文字が見えなくなるように補正することができて有効である。 It should be noted that the effects such as the visibility of the corrected image differ depending on the first method and the second method to be applied. The method to be applied may be selected according to the target form 3 or the like. In many forms 3, the first method is more effective than the second method. In the first method, since the weighted average value (FIG. 12) is used as the corrected brightness, color unevenness and brightness unevenness are made so that the brightness distribution becomes smooth in the background area of the form as in the example of FIG. Can be reduced. When the second method is used, since the maximum frequency value (FIG. 12) is used, the brightness may be the same for each area depending on the form 3, and the corrected image may have the brightness fluctuating at the area boundary. In this case, a feeling of strangeness may occur from the human eye. In this case, when the first method is applied, there is no or little change in the brightness at the region boundary, so that an image without a sense of discomfort can be obtained. In the case of a scanned image in which the show-through characters are transparently superimposed by the form 3, for example, by applying the second method, it is possible to correct the show-through characters so that they cannot be seen, which is effective. Is.
実施の形態１の画像処理方法は、特徴の１つとして、上記のように、画像全体の明度のヒストグラム（図６のステップＳ１）を用いて、ポイント毎に指定の範囲Ｗでの補正値（加重平均値）を計算する処理（ステップＳ２）を行うことがある。この処理（ステップＳ２）は、ステップＳ１で作成済みのヒストグラムのデータを用いるので、ポイント毎の処理としては、計算処理負荷が比較的少なくて済む。よって、対象画像全体の補正処理での計算処理負荷も比較的少なく抑えられる。すなわち、実施の形態１の画像処理方法では、高い処理効率で、色ムラ・明度ムラの低減が実現できる。この処理（ステップＳ２）は、例えば、画像内のポイント（例えば画素）の周辺の領域の明度を参照して補正値を計算する方式とは異なる。そのような方式の場合、ポイント毎の処理が必要であるため、その分、計算処理負荷が大きくなる。また、帳票内の文字や図像等の分布は様々であり、そのような方式の場合、ポイント毎に参照する領域が適切であるかどうかが不明である。 As one of the features of the image processing method of the first embodiment, as described above, a histogram of the brightness of the entire image (step S1 in FIG. 6) is used, and a correction value (correction value in a designated range W) is used for each point (step S1 in FIG. 6). A process (step S2) for calculating a weighted average value) may be performed. Since this processing (step S2) uses the histogram data created in step S1, the calculation processing load can be relatively small as the processing for each point. Therefore, the calculation processing load in the correction processing of the entire target image can be suppressed to a relatively small value. That is, in the image processing method of the first embodiment, it is possible to reduce color unevenness and brightness unevenness with high processing efficiency. This process (step S2) is different from, for example, a method of calculating a correction value by referring to the brightness of a region around a point (for example, a pixel) in an image. In the case of such a method, processing for each point is required, so that the calculation processing load increases accordingly. In addition, the distribution of characters, iconography, etc. in the form varies, and in the case of such a method, it is unclear whether the area referred to for each point is appropriate.
また、ステップＳ３の方式Ａと方式Ｂとの違いに関して、白成分のみを補正対象とする方式Ａを用いる場合、特に比較的白い背景領域（二値化の値が白となる領域）の色ムラ・明度ムラを低減できる。比較的黒い図像領域（二値化の値が黒となる領域）については、色ムラ・明度ムラがあった場合でも、人の眼から見て図像としての認識がしやすく、ムラが気になりにくい。そのため、方式Ｂでは、その比較的黒い領域の補正処理を省略でき、全体として処理効率化が実現できる。また、方式Ｂでは、色ムラ補正によって薄い文字等が消えてしまうことを防止することもできる。二値化処理によって黒になるような明度の画素がある場合に、方式Ｂでは、その画素をそのまま残すことができる。 Further, regarding the difference between the method A and the method B in step S3, when the method A in which only the white component is the correction target is used, the color unevenness of the relatively white background area (the area where the binarization value is white) is particularly large.・ Brightness unevenness can be reduced. In the relatively black image area (the area where the binarization value is black), even if there is color unevenness or lightness unevenness, it is easy for the human eye to recognize it as an iconography, and unevenness is a concern. Hateful. Therefore, in the method B, the correction processing of the relatively black region can be omitted, and the processing efficiency can be improved as a whole. Further, in the method B, it is possible to prevent thin characters and the like from disappearing due to color unevenness correction. When there is a pixel having a brightness that becomes black by the binarization process, in the method B, the pixel can be left as it is.
また、色合い保持機能に関する方式Ｘと方式Ｙとの違いに関しては、対象の帳票３等に応じて、方式を選択して適用すればよい。紙面の色合いを保持したい場合には方式Ｘを適用し、保持する必要が無い場合には方式Ｙを適用して処理効率化が可能である。 Further, regarding the difference between the method X and the method Y regarding the color tone holding function, the method may be selected and applied according to the target form 3 or the like. If it is desired to retain the color tone of the paper surface, the method X can be applied, and if it is not necessary to retain the color, the method Y can be applied to improve the processing efficiency.
実施の形態１の画像処理方法は、特に、背景色（例えば白）が広くあるような読み取り画像や、ＯＣＲに係わる帳票３の読み取り画像についての色ムラ補正処理の際に有効であるが、これに限らず、写真画像等を含む任意の画像に対し適用可能である。 The image processing method of the first embodiment is particularly effective in color unevenness correction processing for a scanned image having a wide background color (for example, white) and a scanned image of a form 3 related to OCR. It is applicable to any image including a photographic image and the like.
＜他の実施の形態＞
実施の形態１の構成に限らず、以下のような変形例も可能である。
<Other embodiments>
Not limited to the configuration of the first embodiment, the following modification examples are also possible.
［変形例１］
変形例１の画像処理装置１は、対象の帳票３の種類等に対応した対象画像に応じて、適用する処理方式を自動的に変更する。図１４は、変形例１での機能に関するユーザ設定情報の例を示す。画像処理装置１は、ユーザに提供する画面でユーザ設定を可能とし、ユーザ設定情報をメモリに保持する。図１４のユーザ設定情報の表は、「帳票種類」列と、「処理方式」列とを有する。「帳票種類」列は、対象となる帳票３（あるいは画像）の種類を設定する列である。「処理方式」列は、その「帳票種類」に対し自動的に適用する補正処理の方式を設定する列である。選択できる方式は、前述した各方式（第１方式、第２方式、方式Ａ，Ｂ、方式Ｘ，Ｙ）を含む。例えば、帳票種類＝Ａについては、第１方式、方式Ａ、および方式Ｘが、自動適用するものとして設定されている。ユーザは、このようなユーザ設定機能を用いることで、各種の帳票３に対し、自動的に適した方式を適用することができる。また、ユーザは、画像の入力の都度、適用する方式を指示入力してもよいし、色ムラ補正を実行するタイミングについては、任意のタイミングとしてユーザが指定できる。
[Modification 1]
The
また、このユーザ設定機能では、帳票種類毎に、色ムラ補正機能自体の適用のオン／オフを設定できるようにしてもよい。例えば、図１４の例では、帳票種類＝Ｄについては、「オフ」と設定されている。これにより、帳票種類＝Ｄの場合の読み取り画像については、色ムラ補正処理が行われない。図１４のような表に限らず、ユーザ設定画面では、方式毎にボタン等を表示し、ボタン等でオン／オフが設定できるようにしてもよい。 Further, in this user setting function, it may be possible to set on / off of application of the color unevenness correction function itself for each form type. For example, in the example of FIG. 14, the form type = D is set to "off". As a result, the color unevenness correction process is not performed on the read image when the form type = D. Not limited to the table as shown in FIG. 14, on the user setting screen, a button or the like may be displayed for each method so that on / off can be set by the button or the like.
また、変形例１の画像処理装置１は、図１２のような明度の範囲Ｗについて、ユーザ設定で可変に設定できる機能を有する。例えば、ユーザ設定画面では、範囲Ｗを規定する幅ｋ１の値を可変に設定できる。
Further, the
画像処理装置１は、読み取り画像についての帳票種類を判別し、判別した帳票種類に応じて、自動的に、適用する方式やパラメータ値を選択する。なお、画像処理装置１のデフォルト設定では、予めメーカによって、所定の方式やパラメータ値が、自動適用するものとして設定されている。
The
また、画像処理装置１（図１）がＯＣＲ装置等である場合、その画像処理装置１は、複数の帳票３を連続的に読み取り、それによる複数の読み取り画像を連続的に処理する。この場合、その画像処理装置１は、設定または指示された帳票種類毎に、適した方式で処理を効率的に行うことができる。また、その画像処理装置１は、複数の読み取り画像について、画像処理部２０による色ムラ補正処理をまとめて実行してもよい。その画像処理装置１は、その実行後の複数の画像について、帳票認識処理部１２による認識処理をまとめて実行してもよい。
When the image processing device 1 (FIG. 1) is an OCR device or the like, the
［変形例２］
変形例２の画像処理装置１は、追加的な機能として以下を有する。画像処理装置１は、ユーザに対する画面に、対象の帳票３の対応する読み取り画像を表示し、全体領域のうちで、色ムラ補正を適用する領域と適用しない領域とをユーザが選択可能とする。ユーザは、その画面で、例えば、色ムラ補正を適用する一部の領域を選択指定できる。画像処理部２は、その指定された領域に対し色ムラ補正処理を実行する。例えば図２の帳票３についての読み取り画像の場合に、ユーザが背景領域２０１等の領域を選択指定してもよい。
[Modification 2]
The
例えば、帳票３毎に、文字記入欄や印鑑欄等、形式が規定されている。また、画像処理装置１がＯＣＲ装置である場合、帳票３に応じて、帳票認識のためのフォーマット、例えば図２の読み取りフィールド（破線枠）が設定されている。変形例２の画像処理装置１は、そのフォーマットの読み取りフィールド等に基づいて、読み取りフィールド毎（すなわち対応する画素領域毎）に、色ムラ補正の有無や処理方式をユーザが選択して設定できるようにする。ユーザが、表示画像内においてマウス等の操作によって自由に補正対象領域等を指定できるようにしてもよい。
For example, a format such as a character entry field and a seal stamp field is defined for each form 3. When the
［変形例３］
変形例３の画像処理装置１は、対象画像内の対象ポイント毎に、実施の形態１の画像全体のヒストグラムではなく、対象ポイントを含む一部領域のヒストグラムを参照して、実施の形態１と同様の補正処理を行う。図１５は、この方式を用いる場合の読み取り画像の模式図を示す。画像処理部２０は、ポイント（画素Ｐｘ，ｙ）毎に、処理用に、矩形の枠線で示すような一部領域１５０１を設定し、その一部領域１５０１内のヒストグラムを作成・参照し、その一部領域１５０１内で、実施の形態１と同様の補正を行う。この方式を用いる場合、一部領域毎のヒストグラムを作成する処理が必要となるので、計算処理負荷が比較的高くなるが、帳票３によっては視認性が良い補正後画像が得られる可能性もある。
[Modification 3]
The
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments and can be variously modified without departing from the gist.
１…画像処理装置、２…スキャナ装置、３…帳票、４…帳票画像ファイル（読み取り画像）、２０…画像処理部。 1 ... Image processing device, 2 ... Scanner device, 3 ... Form, 4 ... Form image file (read image), 20 ... Image processing unit.
Claims (6)
画像処理装置。 An image in which the form is optically read is input, a histogram of the brightness of each point in the image is created, the brightness of each point is set as the point brightness to be corrected, and the brightness of the point to be corrected in the histogram is used. On the other hand, a process of calculating the brightness average value in the brightness range according to the set brightness width, generating and outputting a corrected image so as to replace the correction target point brightness with the brightness average value is performed.
Image processing device.
前記画像内の前記ポイント毎に２値化を行い、２値化した結果が白となる部分には前記補正を適用し、黒となる部分には前記補正を適用しない、
画像処理装置。 In the image processing apparatus according to claim 1,
Binarization is performed for each of the points in the image, and the correction is applied to the portion where the binarized result is white, and the correction is not applied to the portion where the binarization result is black.
Image processing device.
前記画像は、前記ポイント毎に、Ｒ、Ｇ、およびＢの画素値を有し、
前記ポイント毎の各成分の前記画素値について、それぞれ前記明度平均値との差を計算し、前記差の平均値を計算し、前記各成分の画素値から前記差の平均値を減算したそれぞれの減算値を計算し、前記各成分の画素値を前記減算値で置き換えるように補正する、
画像処理装置。 In the image processing apparatus according to claim 1,
The image has pixel values of R, G, and B for each of the points.
For the pixel value of each component at each point, the difference from the brightness average value was calculated, the average value of the difference was calculated, and the average value of the difference was subtracted from the pixel value of each component. The subtraction value is calculated, and the pixel value of each component is corrected so as to be replaced with the subtraction value.
Image processing device.
画像処理装置。 An image in which the form is optically read is input, a histogram of the brightness of each point in the image is created, the brightness of each point is set as the point brightness to be corrected, and the brightness of the point to be corrected in the histogram is used. On the other hand, the maximum brightness value in the brightness range according to the set brightness width is calculated, and a process of generating and outputting a corrected image so as to replace the correction target point brightness with the maximum brightness value is performed.
Image processing device.
帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力するステップを有する、
画像処理方法。 It is an image processing method in an image processing device.
An image in which the form is optically read is input, a histogram of the brightness of each point in the image is created, the brightness of each point is set as the point brightness to be corrected, and the brightness of the point to be corrected in the histogram is used. It has a step of calculating a brightness average value in a brightness range according to a set brightness width, and generating and outputting an image corrected so as to replace the correction target point brightness with the brightness average value.
Image processing method.
帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を実行させる、
画像処理プログラム。 An image processing program that causes an image processing device to perform image processing.
An image in which the form is optically read is input, a histogram of the brightness of each point in the image is created, the brightness of each point is set as the point brightness to be corrected, and the brightness of the point to be corrected in the histogram is used. On the other hand, the process of calculating the brightness average value in the brightness range according to the set brightness width, generating and outputting the corrected image so as to replace the correction target point brightness with the brightness average value is executed.
Image processing program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020126112A JP2022023288A (en) | 2020-07-27 | 2020-07-27 | Image processing device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020126112A JP2022023288A (en) | 2020-07-27 | 2020-07-27 | Image processing device, method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022023288A true JP2022023288A (en) | 2022-02-08 |
Family
ID=80226058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020126112A Pending JP2022023288A (en) | 2020-07-27 | 2020-07-27 | Image processing device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022023288A (en) |
-
2020
- 2020-07-27 JP JP2020126112A patent/JP2022023288A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7916973B2 (en) | Image processing apparatus, an image processing method, and a computer readable medium having recorded thereon a processing program for permitting a computer to perform image processing routines | |
| JP4878572B2 (en) | Image processing apparatus and image processing method | |
| JP4883789B2 (en) | Image processing apparatus and image processing method | |
| JP4617076B2 (en) | Display correction circuit and display device | |
| JP4864332B2 (en) | Resolution conversion interpolation method, image processing apparatus, image display apparatus, program, and recording medium | |
| JP6573375B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
| US20070122061A1 (en) | Image processing device, image processing program, and computer-readable recording medium | |
| US10497098B2 (en) | Display apparatus and image processing method thereof | |
| JP3142550B2 (en) | Graphic processing unit | |
| JP2015192435A (en) | Image processing apparatus and computer program | |
| JP2018074497A (en) | Image processing device, image processing method and program | |
| JP2022023288A (en) | Image processing device, method, and program | |
| JP2007079586A (en) | Image processor | |
| JP4772049B2 (en) | Image data generation apparatus, image data generation method, program, and storage medium | |
| JP6837860B2 (en) | Image display control device, image display control method, and image display control program | |
| JP2007079587A (en) | Image processor | |
| JP2018147199A (en) | Image processing device, and computer program | |
| JP5473981B2 (en) | Image generation apparatus, image generation system, image display apparatus, computer program, and image generation method | |
| JP6500638B2 (en) | Image processing apparatus and computer program | |
| JP3652167B2 (en) | Image processing apparatus and method and storage medium therefor | |
| JP2004226679A (en) | Character display method and system | |
| JP2018148378A (en) | Image processing device and computer program | |
| JP2023069216A (en) | Image processing device, printer, image processing method, and program | |
| JP2022055982A (en) | Reading device and image data processing method | |
| JP6418055B2 (en) | Image processing apparatus and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |