JP2004007826A - Picture correcting method - Google Patents
Picture correcting method Download PDFInfo
- Publication number
- JP2004007826A JP2004007826A JP2003295543A JP2003295543A JP2004007826A JP 2004007826 A JP2004007826 A JP 2004007826A JP 2003295543 A JP2003295543 A JP 2003295543A JP 2003295543 A JP2003295543 A JP 2003295543A JP 2004007826 A JP2004007826 A JP 2004007826A
- Authority
- JP
- Japan
- Prior art keywords
- error
- image
- image data
- data
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像補正方法に関する。 The present invention relates to an image correction method.
情報機器、OA機器等では画像を読み取ってディスプレイ、紙葉等に出力する仕事を頻繁に行う。このために、画像読取り装置が使用される。図30に従来使用されている走査型の画像読取り装置のブロック図を示す。同図において、ガラス、カバー等からなる原稿台3には原稿2が載置される。この原稿2上を密着型読取りヘッド1が図中矢印6の方向に平行移動し原稿を走査する。この平行移動はモータ8、プーリ9及びベルト10の正転及び逆転によって行われる。読取りヘッド1は、原稿を照射するランプ15、光像を電気信号に変換するCCD4、原稿の画素をCCDに結像する光学系5等を備えている。CCD4の出力は、A/D変換器7により、画像濃度に応じたデジタル値に変換され、インターフェイス制御部12を介して記憶部11に記憶される。画像濃度情報を担うデジタル値は、所定時間間隔のA/D動作によって空間的に離散される。インターフェイス制御部12は、デジタル値の取り込みと、読取りヘッドの移動を同期するべく、A/D変換器にクロック信号を与え、また、モータ制御部13を介してモータ駆動部14の動作を制御している。モータ駆動部14は、モータ制御部13からの駆動信号に応じてモータ8に電力を与える。記憶部11の格納された画像データは図示しない外部データバスを介して、例えば、電子出版システムのコンピュータに取込まれ、印刷文書中の絵図として利用される。
で は Information devices, OA devices, and the like frequently perform work of reading images and outputting them to displays, paper sheets, and the like. For this purpose, an image reading device is used. FIG. 30 shows a block diagram of a conventional scanning image reading apparatus. In FIG. 1, a
このような構成の画像読取り装置では、例えばモータ8の回転ムラ、ベルト10のトラッキング、読取りヘッド1の移動を案内する図示しないガイドレールの汚れ等が生じると、読取りヘッド1の移動速度が変動し、画像読取りの際に相対的に画像の伸縮が生じる。また、装置を構成する各機構が、例えばモータ8の振動等により共振すると、読取りヘッド1における読取り位置誤差を生じさせることがあり画像データの誤差要因となっている。
In the image reading device having such a configuration, for example, when the rotation unevenness of the
このため、読取りヘッド1を走査させる機械的構造における振動を少なくするために一般的には機構を高剛性とするため、設計仕様が厳しいものとなり、装置コストも高くなる。また、調整者が装置を調整して読取り誤差を低減できる場合もあるが、モータ8の回転ムラ、装置の部品剛性の不足、結合不良、過大な組み立て誤差の発生、CCD4の調整不良など画像データの誤差に及ぼす要因は多く、それらが影響を及ぼし合うため調整には、長時間と、調整者の経験が必要であった。
Therefore, in order to reduce the vibration in the mechanical structure for scanning the
前述のように読取りヘッドが移動しながら画像情報の取り込みを行う画像読取り装置において、読取りヘッドの移動速度、移動位置に変動があると得られる画像データが真のものと異なるという問題がある。このため、調整者による調整、画像データの補正などにより、画像データをできるだけ真のものに近い値とする必要がある。しかしながら、画像データの誤差要因は多く、それらに相関があるため調整方法、画像データの補正方法の決定に適当な方法がない。 (4) As described above, in the image reading apparatus that captures image information while the reading head moves, there is a problem that if the moving speed and the moving position of the reading head fluctuate, the obtained image data is different from the true one. For this reason, it is necessary to set the image data to a value as close to the true value as possible by adjustment by the adjuster, correction of the image data, and the like. However, there are many error factors in the image data, and there is a correlation between them, so that there is no appropriate method for determining the adjustment method and the image data correction method.
従って、本発明は誤差を含む画像データから可及的に誤差を低減した画像データを得ることが出来ようにした方法を提供することを目的とする。 Accordingly, it is an object of the present invention to provide a method capable of obtaining image data in which errors are reduced as much as possible from image data containing errors.
上記目的を達成するため発明は、テストチャートを読み取ることにより、時間軸上及び周波数軸上の誤差を得て、時間軸上における誤差としての第1の誤差とその要因としての第1の誤差要因とを、及び、周波数軸における誤差としての第2の誤差とその要因としての第2の誤差要因とを、それぞれ予め第1のデータベースに格納し、
この後、対象とする原稿の画像を読み取り、読み取った画像データから得た、時間軸上及び周波数軸上におけるデータに基づいて前記第1のデータベース内の前記第1の誤差と前記第1誤差要因との対応関係及び前記第2の誤差と前記第2の誤差要因との対応関係から、対応する第1及び第2の誤差要因をピックアップし、
さらに、前記ピックアップした第1及び第2の誤差要因に基づき、画像データに生じているエラーを相殺する補正アルゴリズムを実行する、
ことを特徴とする。
In order to achieve the above object, the present invention obtains an error on a time axis and a frequency axis by reading a test chart, and obtains a first error as an error on a time axis and a first error factor as a factor thereof. And a second error as an error in the frequency axis and a second error factor as a factor thereof are stored in the first database in advance, respectively.
Thereafter, an image of the target document is read, and the first error and the first error factor in the first database are determined based on data on the time axis and the frequency axis obtained from the read image data. And the corresponding first and second error factors are picked up from the corresponding relationship between the second error factor and the second error factor,
And executing a correction algorithm for canceling an error occurring in the image data based on the first and second error factors picked up.
It is characterized by the following.
本発明によれば、読み取った画像データを適正に補正することができる。 According to the present invention, the read image data can be properly corrected.
図1は、本発明の実施例に関連する装置の構成を示す機能ブロック図であり、読取りヘッド、走査機構等からなる画像読取り機構51、CCD等からなる光像を電気信号に変換し、画像データを得る画像読取部52、画像読取装置の動作モードの設定に応じて画像データの流れを選択するモード選択部53、画像データから誤差の特徴を抽出する画像データ誤差特徴抽出回路54、画像データに誤差をもたらした要因を推定する誤差要因推定部55、推定された誤差要因から調整方法を決定する調整方法決定回路56、設定された補正方法で画像データを補正する画像補正部57、補正された画像データを記憶する記憶部58、推定された誤差要因に基づいて、読取りヘッドの主走査方向における水平位置調整機構、副走査方向における水平位置調整機構、高さ調整、案内レールのバランス調整機構、該レールの新規スライド面への切替機構、駆動ベルトテンション調整機構等の各種の調整機構63の動作制御を行う機構制御部59、推定された誤差要因に基づいて、読取ヘッドを駆動する駆動モータへの駆動トルクの調整、回転速度、図示しない指定された目標速度で読取ヘッドを定速度移動させるフィードバック制御ループの制御定数の調整等を行うモータ制御部60、モータ制御部60の出力をパワー増幅してモータを駆動するモータ駆動回路61等によって構成される。モード選択部53〜モータ制御部60は、マイクロプロセッサボード上に形成される。また、モード選択部53〜調整方法決定部56はインタフェース12を構成する。
FIG. 1 is a functional block diagram showing a configuration of an apparatus relating to an embodiment of the present invention. The
この構成において、モード選択部53で通常モードを選択すると、既述した従来の画像読取装置と同様に動作し、画像読取り部52にて得られた画像データをそのまま記憶部58に格納する。この際、既に後述する誤差調整が実行されて所定の方法による画像補正が設定されていると、画像補正部57によるデータ補正処理を経て補正された画像データを記憶部58に格納する。また、画像データ誤差に対応した機構制御を既に行っている場合も、その制御方法でモータ駆動等を行う。
In this configuration, when the normal mode is selected by the mode selection unit 53, the operation is performed in the same manner as the conventional image reading apparatus described above, and the image data obtained by the
モード選択部53において画像調整モードを選択すると、画像データ誤差特徴抽出部54、誤差要因推定部55、調整方法決定部56を経て機構制御、電気制御、画像補正等からなる各種調整の実行手段(57、59、60、61、63)により画像データ誤差を低減するために適当な調整を行う。上記通常モードではこのとき決定された機構制御、画像補正を用いる。また、マニュアル調整が必要なときは、所定の調整箇所、調整方法が情報表示部62のディスプレイに表示される。以下に、上述した主要部におけるデータ処理について説明する。
When the image adjustment mode is selected in the mode selection unit 53, the image data error
(画像データ誤差特徴抽出部)
図2は、本発明の画像データ誤差特徴抽出におけるデータ処理手順を示すブロック図であり、それぞれの処理について説明していく。
(Image data error feature extraction unit)
FIG. 2 is a block diagram showing a data processing procedure in the image data error feature extraction of the present invention, and each processing will be described.
(1) 画像データ作成
まず、装置を試験するために用いる画像データの作成について説明する。図3は、画像データから誤差の特徴を抽出するために用いるテストチャートの例を示しており、等ピッチの平行線が多数印刷されている。読取りヘッドが、原稿台に載置されたこのテストチャートを一定速度で同図中のY座標方向に副走査しつつ、X座標方向の主走査方向にある画素列の読取りを行うと、あるX座標でのY座標方向の濃度分布、すなわち副走査方向における画像データのデータ列d(xi ,y0 ),d(xi ,y1 ),d(xi ,y2 ),…は、図4に示すような正弦波を空間的に離散化したような分布となる。これは、ある一定時間でサンプリングしたものであり時間的に離散化した時系列のデータでもある。この例の場合は、濃度データを8ビットで表現している。従って、0〜255の濃度レベル範囲で画像データが得られている。このデータ列を本発明における画像データ誤差特徴抽出のために用いる画像データとする。
(1) Image data creation
First, creation of image data used for testing an apparatus will be described. FIG. 3 shows an example of a test chart used to extract the feature of the error from the image data, in which a large number of parallel lines of equal pitch are printed. When the reading head scans the test chart placed on the document table at a constant speed in the Y-coordinate direction in the drawing while reading a pixel row in the main scanning direction in the X-coordinate direction, a certain X Y coordinate direction of the concentration distribution of the coordinate, i.e. the data sequence d of the image data in the sub-scanning direction (x i, y 0), d (x i, y 1), d (x i, y 2), ... is The distribution is such that a sine wave as shown in FIG. 4 is spatially discretized. This is time-series data sampled at a certain fixed time and discretized over time. In this example, the density data is represented by 8 bits. Therefore, image data is obtained in the density level range of 0 to 255. This data sequence is used as image data used for extracting the image data error feature in the present invention.
通常、テスト画像データの長さは読取りヘッドが移動するすべての範囲を対象とするが、特定の場所におけるデータの変動が大きいことが判っている場合は、その場所に対応するデータだけを対象として以下の処理を行ってもよい。この場合、データ数が少なくなるためにデータ処理時間が短縮化できるという利点がある。
また、主走査方向のデータ列d(x0 ,yi ),d(x1 ,yi ),d(x2 ,yi ),…を用いると、主走査方向のデータに対する誤差要因の特定に対して有効である。調整者は任意にデータ列を選択できる。
Normally, the length of the test image data covers the entire range in which the read head moves, but if it is known that the data varies greatly at a particular location, only the data corresponding to that location is targeted. The following processing may be performed. In this case, there is an advantage that the data processing time can be shortened because the number of data is reduced.
Further, by using the data sequence d (x 0 , y i ), d (x 1 , y i ), d (x 2 , y i ),... In the main scanning direction, the error factor for the data in the main scanning direction is specified. Is effective for The coordinator can arbitrarily select a data string.
(2) データの正規化
ところで、図4に示される例では、データの最大値、最小値の幅が0〜255の濃度レベル範囲より、ずっと小さいものとなっている。このように、読取電気信号を画像データに変換するA/D変換器が8ビットでも、実際にA/D変換器から出力されるデータのレベル変化範囲が必ずしも0〜255の範囲とならない。使用しているCCDの感度、光学系の光強度、用いたテストチャートの濃度・解像度等により得られるデータの最大値、最小値の範囲が変わる。従って、どのような条件で得られたデータでも、以後のデータ処理方法で同じように扱えるようにするため図5に示すようにデータの正規化を行う。
(2) Data normalization
By the way, in the example shown in FIG. 4, the width of the maximum value and the minimum value of the data is much smaller than the density level range of 0 to 255. As described above, even if the A / D converter that converts the read electrical signal into image data is 8 bits, the level change range of the data actually output from the A / D converter is not necessarily in the range of 0 to 255. The range of the maximum value and the minimum value of the data obtained varies depending on the sensitivity of the CCD used, the light intensity of the optical system, the density and resolution of the test chart used, and the like. Therefore, the data is normalized as shown in FIG. 5 so that the data obtained under any conditions can be handled in the same manner in the subsequent data processing method.
データの正規化は、対象とするデータ列の最大値dmax 、最小値dmin とすると次の(1)式を用いる。
d* (xi ,yi )
=Do ×(d(xi ,xi )−dmin )/(dmax −dmin ) …(1)
ここで、d* は正規化されたデータ、Do はA/D変換器のビット数の十進法表現である。
The following equation (1) is used for data normalization, where the maximum value d max and the minimum value d min of the target data string are set.
d * (x i, y i )
= Do × (d (x i , x i) -d min) / (d max -d min) ... (1)
Here, d * is normalized data, and Do is a decimal representation of the number of bits of the A / D converter.
(3) データ補間
画像データは空間的に離散化されたものであり、例えば、サンプリング時間をΔT[sec] 、読取りヘッドの移動速度をV[mm/sec]とすると、ΔY=ΔT×V [mm] の長さ(量子化読取範囲)ごとに、データをサンプリングしている。従って、画像データを取込む回路の性能、光学系の駆動機構などの制約から、サンプリング時間が長くなったり、読取りヘッドの移動速度が遅くなると一回当りの読取範囲ΔYが長くなっていく。このため、読取り位置誤差の解析精度が低下してしまう。そこで、実際の読取範囲ΔYより細かい位置のデータを得るためにデータ補間を行う。データ補間方法としては、いわゆる直線近似、回帰曲線近似、ラグランジェ補間、スプライン補間などいずれの方法でも良い。
(3) Data interpolation
The image data is spatially discretized. For example, if the sampling time is ΔT [sec] and the moving speed of the read head is V [mm / sec], the length of ΔY = ΔT × V [mm] Data is sampled for each (quantized reading range). Therefore, due to restrictions on the performance of the circuit for capturing image data, the driving mechanism of the optical system, and the like, if the sampling time becomes longer or the moving speed of the reading head becomes slower, the reading range ΔY per scanning becomes longer. For this reason, the analysis accuracy of the reading position error decreases. Therefore, data interpolation is performed to obtain data at a position finer than the actual reading range ΔY. As a data interpolation method, any method such as so-called linear approximation, regression curve approximation, Lagrange interpolation, and spline interpolation may be used.
ここでは、スプライン補間のうち混合スプライン補間を用いたデータ補間方法について説明する。混合スフライン補間は、連続した4点を1組として次の(2)式のような補間公式にて行い、中央の2点間のみを用いる。uは補間パラメータであり、0≦u≦1の範囲をとる。
d(xi ,yi +u)
=−U×(u−1)×(u−2)/6×d(xi ,y0 )
+(u+1)×(u−1)×(u−2)/2×d(xi ,y1 )
−(u+1)×u×(u−2)/2×d(xi ,y2 )
+(u+1)×u×(u−1)/6×d(xi ,y3 ) …(2)
(2)式を用いてuを0.1ずつ増加させていくとd(xi ,y1 ),d(xi ,y2 )の間を10点補間したことになる。
Here, a data interpolation method using mixed spline interpolation among the spline interpolations will be described. The mixed sfline interpolation is performed by using an interpolation formula such as the following equation (2) with four consecutive points as one set, and using only the central two points. u is an interpolation parameter, and has a range of 0 ≦ u ≦ 1.
d (x i, y i + u)
= -U × (u-1) × (u-2) / 6 × d (x i, y 0)
+ (U + 1) × (u−1) × (u−2) / 2 × d (x i , y 1 )
− (U + 1) × u × (u−2) / 2 × d (x i , y 2 )
+ (U + 1) × u × (u−1) / 6 × d (x i , y 3 ) (2)
(2) gradually increases by 0.1 to u using equation when d (x i, y 1) , d (x i, y 2) so that the interpolated 10 between.
図6に混合スプライン補間を行った例を示す。例えば、解像度600[dpi,dot per inch]の画像読取装置の場合、ΔYは0.042[mm]であるが、この補間により0.0042[mm]毎の画像データが得られたことになる。
この補間は、離散化されたデータの間において簡単なデータ復元を行っていることと等価である。しかしながら、どのようなデータでもデータ復元が可能なわけではない。発明者の検討結果からは解像度N[dpi] の画像読取装置の場合、解像度N/3以下のテストチャートを用いると本発明による効果が得やすいという結果が得られている。また、同様に読取りヘッドの移動速度を可変にして画像のズーミングを行う画像読取装置の場合、サンプリング時間をΔT[sec] 、読取りヘッドの移動速度をV[mm/sec]を用いて、次の(3)式で得られる解像度より小さいテストチャートを用いるのが有効である。
Ntest=1/3/V/Δt …(3)
(4) 読取り位置誤差算出
読取り位置誤差としては、図7に示すようにレベル値が正弦波状になったデータ列から山及び谷間のピッチPi を求める。続いて、このPi と、ピッチPi-1 ,Pi ,Pi+1 ,Pi+2 ,…の平均ピッチPmまたは、位置ずれのない場合の理想ピッチPoを用いて位置誤差データ列△iを次式から求める。
△i=Pi−Pm(またはPo) …(4)
図8に、テストチャートをスキャンした場合の位置誤差△iのY方向、すなわち副走査方向における誤差分布の例を示す。副走査方向における走査位置は、テストチャートに印刷されている格子状の平行線の線番号で示されている。この線番号はスキャニングにおける時間軸上の位置に対応するので、図8の示されるグラフは読取り位置誤差△iの時間軸上における読取速度の変動である、いわゆるジッタを表している。この△iは読取り位置誤差に対する評価値(特徴パラメータ)として用いることができる。すなわち△iの振幅が大きい場合は、原稿の画像に比べて歪んだ画像データとなっていることになる。画像全体についての評価値(特徴パラメータ)としては、最大値Jmax 、最小値Jmin 、平均値Jave 、分散Jψ、標準偏差Jσ、…等のJパラメータを用いる。
FIG. 6 shows an example in which mixed spline interpolation is performed. For example, in the case of an image reading apparatus having a resolution of 600 [dpi, dot per inch], ΔY is 0.042 [mm], and this interpolation results in image data of every 0.0042 [mm]. .
This interpolation is equivalent to performing a simple data restoration between the discretized data. However, not all data can be restored. According to the results of the study by the inventor, in the case of an image reading apparatus having a resolution of N [dpi], the effect of the present invention is easily obtained when a test chart having a resolution of N / 3 or less is used. Similarly, in the case of an image reading apparatus in which the moving speed of the read head is made variable to perform image zooming, the sampling time is used as ΔT [sec], and the read head moving speed is used as V [mm / sec]. It is effective to use a test chart smaller than the resolution obtained by the equation (3).
N test = 1/3 / V / Δt (3)
(4) Reading position error calculation
The reading position error, obtaining the pitch P i of the peaks and valleys from the data string level value becomes a sine wave as shown in FIG. Subsequently, the the P i, the pitch P i-1, P i, P i + 1, P i + 2, ... average pitch Pm or, position error data string by using the ideal pitch Po where no positional deviation of the Δi is obtained from the following equation.
Δi = Pi−Pm (or Po) (4)
FIG. 8 shows an example of an error distribution in the Y direction of the position error Δi when the test chart is scanned, that is, in the sub-scanning direction. The scanning position in the sub-scanning direction is indicated by the line number of a grid-like parallel line printed on the test chart. Since this line number corresponds to the position on the time axis in scanning, the graph shown in FIG. 8 represents so-called jitter, which is the fluctuation of the reading speed on the time axis due to the reading position error Δi. This Δi can be used as an evaluation value (feature parameter) for the reading position error. That is, when the amplitude of Δi is large, the image data is distorted as compared with the image of the document. As evaluation values (feature parameters) for the entire image, J parameters such as a maximum value Jmax, a minimum value Jmin, an average value Jave, a variance Jψ, a standard deviation Jσ, and the like are used.
また、局所的に△iが大きい場合、△iデータ列は、副走査位置と対応しているので異常箇所の推定ができる。例えば、同じ位置に△iのピークが繰り返し発生するときには案内レールの汚れ・傷が該当し、一定周期で発生するときには、駆動系におけるトラッキング等が該当する。振幅値の分布に傾斜がある場合には案内レールの傾き等が該当する。不具合の箇所が複数ある場合には、通常△iのグラフにはそれ等が複合されて出現する。このような誤差の原因を推定する基準となる各種の特徴パラメータの状態と誤差の原因との対応関係は、図示しないROMにデータベース化される。X方向の主走査方向についても同様にして装置性能の評価及び誤差原因の評価が可能である。 If △ i is locally large, the △ i data string corresponds to the sub-scanning position, so that an abnormal portion can be estimated. For example, when the peak of △ i repeatedly occurs at the same position, dirt / scratch of the guide rail corresponds thereto, and when it occurs at a constant cycle, tracking in the drive system corresponds thereto. If the amplitude value distribution has a slope, the inclination of the guide rail or the like corresponds to the slope. When there are a plurality of defective portions, they usually appear in a composite form in the graph of △ i. The correspondence between the state of various characteristic parameters serving as a reference for estimating the cause of the error and the cause of the error is stored in a ROM (not shown) in a database. In the main scanning direction in the X direction, the evaluation of the apparatus performance and the cause of the error can be similarly performed.
(5) スペクトル分布算出
読取り位置誤差△iは、時系列データでもあるので各サンプリング時間間隔毎の読取りヘッドの速度変動(ジッタ)と等価なものとも考えられることができる。従って、データのサンプリング時間を用いて周波数分析を行うと、各周波数毎の周波数成分を抽出することができる。周波数成分の抽出方法は、いわゆる高速フーリエ変換(FFT)、最大エントロピー法(MEM)等、いずれの方法でも良い。
(5) Spectrum distribution calculation
Since the reading position error Δi is also time-series data, it can be considered that the reading position error Δi is equivalent to the speed fluctuation (jitter) of the reading head at each sampling time interval. Therefore, when frequency analysis is performed using the data sampling time, frequency components for each frequency can be extracted. As a method of extracting the frequency component, any method such as a so-called fast Fourier transform (FFT) and a maximum entropy method (MEM) may be used.
図9にFFTにより△iのスペクトル分布を求めた例を示す。このグラフに現れているピークS1 (28Hz,レベルa)、ピークS2 (56Hz,レベルb)、ピークS3 (76Hz,レベルc)、ピークS4 (84Hz,レベルd)は特徴パラメータであり、夫々画像読取り装置の各機構の固有の振動や駆動用モータの回転変動等に対応している。各機構部の振動や駆動用モータの回転変動が少ないときは、それに対応するピークが無くなり、或いはピーク値が低減する。また、全体的にボケた画像となっているときはピークのバンド幅が広くなる。従って、予めピークSの周波数f及びピーク値pとこのピークを生じさせる機構部分と対応関係をデータベース化してROMに記憶しておく。そして、データベースを参照して、測定したこれらのピークの周波数fとピーク値pによるSパラメータ(f,p)によって、対応する読取り動作に悪影響のある振動がどの機構によるものかが後の回路で判別可能となる。 FIG. 9 shows an example in which the spectrum distribution of △ i is obtained by FFT. Peak S 1 (28 Hz, level a), peak S 2 (56 Hz, level b), peak S 3 (76 Hz, level c), and peak S 4 (84 Hz, level d) appearing in this graph are characteristic parameters. , Respectively, responds to vibration inherent in each mechanism of the image reading apparatus, rotation fluctuation of the driving motor, and the like. When the vibration of each mechanism or the rotation fluctuation of the driving motor is small, the corresponding peak disappears or the peak value decreases. When the image is blurred as a whole, the bandwidth of the peak is widened. Therefore, the correspondence between the frequency f and peak value p of the peak S, the mechanism that generates this peak, and the corresponding relationship is stored in the ROM in advance. Then, referring to the database, the S-parameter (f, p) based on the measured peak frequency f and peak value p determines which mechanism causes a vibration that has an adverse effect on the corresponding reading operation in a later circuit. It can be determined.
(誤差要因推定部)
図10に本発明による誤差要因推定部55における処理の流れを説明するブロック図を示す。ここでは、画像データ誤差特徴抽出部54にて得られる読取り位置誤差に関するJパラメータ、スペクトル分布に関するSパラメータを用いて画像読取り装置により原稿の画像がどの程度正確に読取られたかという評価、誤差要因は何かという分析を行う。
(Error factor estimator)
FIG. 10 is a block diagram illustrating a flow of processing in the error
まず、読取り位置誤差による画像誤差評価値であるJパラメータ(Jmax 、Jmin 、Jave 、…)を、それ等の許容誤差Jo (Jmaxo、Jmino、Javeo、…)と比較する。また、Sパラメータを許容画質に対応するSパラメータSo と比較する(図10の55a)。許容誤差Jo 及び許容画質So に関するデータは予めデータベース55eに格納されている。比較の結果、読取られた画像データのJパラメータ及びSパラメータの値が許容誤差Jo 、許容画質So よりも少ないときは調整の必要がないので誤差要因の判別は終了する(フラグK=1)。
{Circle around (1)} First, the J parameter (Jmax, Jmin, Jave,...), Which is the image error evaluation value due to the reading position error, is compared with their allowable errors Jo (Jmaxo, Jmino, Javeo,...). Further, the S parameter is compared with the S parameter So corresponding to the allowable image quality (55a in FIG. 10). Data relating to the allowable error Jo and the allowable image quality So is stored in the
J、Sパラメータの値が許容基準値Jo 、So よりも大きいとき、すなわち、画像データにおける許容誤差及び画像品質の両方もしくはいずれか一方が許容できない場合には、第1推定部55bによるJパラメータに基づく推定処理を行う。データベース55eには、予め各Jパラメータの値の組合わせに対応する誤差要因が多数保持されており、抽出された各Jパラメータの値に対応する、或いは対応する度合いが所定の判別値を越える誤差要因をデータベースからピックアップする。また、既述したように局所的に読取り位置誤差△iが大きい場合、△iデータ列は、副走査位置と対応しているのでこの誤差発生位置と対応する要因をデータベース55eから取込む。同じ位置に△iのピークが繰り返し発生するときには、例えば案内レールの汚れ・傷が該当し、一定周期で発生し、かつ発生位置が変化するときには、駆動系におけるトラッキング等が該当する。△iの振幅値の分布に傾斜がある場合には案内レールの傾き等が該当する。不具合の箇所が複数ある場合には、通常△iのグラフ、従ってJパラメータにはそれ等が複合されて出現する。
When the values of the J and S parameters are larger than the permissible reference values Jo and So, that is, when both or one of the permissible error and the image quality in the image data is not permissible, the
次に、スペクトル分布を用いたSパラメータによって誤差要因を推定する。スペクトルSパラメータは、画像読取り機構を構成するの回転部品の固有の振動や駆動用モータの回転変動等に対応している。従って、Sパラメータによって予めデータベース55eに保持されている構成部品の固有周波数をサーチして、該当する構成部品を推定することができる。これ等の推定に際しては、ファジー推論、ニューラルネットワーク、エキスパートシステム、統計処理等を適宜に用いることができる(55c)。
Next, an error factor is estimated based on the S parameter using the spectrum distribution. The spectrum S parameter corresponds to the inherent vibration of the rotating component constituting the image reading mechanism, the rotation fluctuation of the driving motor, and the like. Therefore, it is possible to search for the natural frequency of the component previously stored in the
第1推定部55b及び第2推定部55cにおいて抽出された誤差要因に基づいて総合の判定を行う。誤差要因によっては、時間軸上におけるジッタの誤差評価値であるJパラメータ及び周波数軸上における誤差評価値であるSパラメータの両方を見ることによってより明確に判別可能となるものがある。また、一つの誤差要因が各種のJパラメータ及びSパラメータの両方に現れる場合がある。従って、Jパラメータ及びSパラメータの各項目を夫々入力層の各ノードに対応させ、パラメータの値をノードへの入力値とするニューラルネットワークを利用し、出力層に複数の誤差要因に対する該当度合い得る。該当度合いが誤差要因毎に定められた基準値を越えるものを装置に生じている誤差要因と判断する。総合推定において必要な参照データはデータベースに55eに格納されている。ニューラルネットワークは、予め誤差要因が判っている種々のパラメータデータによって学習を行い、例えばバックプロパゲーション学習によって入力層、中間層、出力層における重み係数をチューニングしておくのが好い。
(4) Comprehensive judgment is performed based on the error factors extracted by the
このように、時間軸上における誤差評価値であるJパラメータによって判別される誤差要因、周波数軸上における誤差評価値であるSパラメータによって判別される誤差要因、Jパラメータ及びSパラメータの両方によって判別される誤差要因について情報を得る。 As described above, the error factor determined by the J parameter which is the error evaluation value on the time axis, the error factor determined by the S parameter which is the error evaluation value on the frequency axis, and both the J parameter and the S parameter are determined. Obtain information about error factors.
また、総合推定部55dは画像品質を判定する。ここでは、すでにデータベース55eに与えられている基準(テスト)画像の正常なスペクトル分布と入力された画像データとを比較して、濃度、解像度、振動成分などにより画像品質の状態を推定する。この画質についての推定は、上記のような正常データとの比較するやり方の他、ファジー推論、ニューラルネットワーク、エキスパートシステム、統計処理など、適当なものを用いることができる。
{Circle around (5)} The
なお、この実施例においては、画像誤差評価値に読取り位置誤差とスペクトル分布を用いた場合について説明しているが、画像データそのものの分布、スペクトルなど装置の画像誤差を評価でき、誤差要因と相関がある量なら、どのようなものでも適用できる。 In this embodiment, the case where the reading position error and the spectrum distribution are used as the image error evaluation value is described. However, the image error of the apparatus such as the distribution of the image data itself and the spectrum can be evaluated, and the correlation with the error factor can be evaluated. Any quantity can be applied.
また、得られたスペクトルをさらに、波形分離し、各周波数ごとのピーク値を正確にもとめればより正確に各誤差要因を特定することができる。波形分離方法は、シンプレックス法、DFP法、GN法などいずれでも良い。 Further, if the obtained spectrum is further separated into waveforms and the peak value for each frequency is accurately determined, each error factor can be specified more accurately. The waveform separation method may be any of a simplex method, a DFP method, a GN method, and the like.
読取り位置誤差による画像誤差評価値には、分布をそのまま用いる以外に最大値、最小値、平均値、標準偏差値などを用いても良い。ただし、読取り誤差は正負両方の値があるので、絶対値の平均をとる場合がある。スペクトル分布の場合には、現われている周波数とピーク値の対(pi ,fi )の形式で用いるか、一定の周波数毎のゲインのデータ列(p1 ,p2 ,…,pi ,…)を用いる。また、フーリエ変換のように複素数でスペクトル分布が得られるときは、実部、虚部の対(Ri ,Ii )の形式を用いても良い。 As the image error evaluation value due to the reading position error, a maximum value, a minimum value, an average value, a standard deviation value, or the like may be used instead of using the distribution as it is. However, since the reading error has both positive and negative values, the absolute value may be averaged in some cases. In the case of a spectral distribution, the data is used in the form of a pair of a frequency and a peak value appearing (p i , f i ), or a gain data string (p 1 , p 2 ,..., P i , …) Is used. Further, when a spectrum distribution is obtained by a complex number like a Fourier transform, a form of a pair (R i , I i ) of a real part and an imaginary part may be used.
(調整方法決定部)
前述したように、読み取られた画像データが許容誤差より小さく、画像品質も許容できる場合(フラグK=1)には、画像データは画像補正部57を経て記憶部58に格納される。許容誤差、画像品質の両方もしくはいずれかが、許容できない場合には、誤差要因推定部55において誤差要因が推定され、推定された誤差要因を表す誤差要因コードが出力される。
(Adjustment method determination unit)
As described above, when the read image data is smaller than the allowable error and the image quality is allowable (flag K = 1), the image data is stored in the
調整方法決定部回路56は、例えば図11に示される調整内容決定部56a、画像補正内容決定部56b、データベース56cによって構成される。調整内容決定部56aは、誤差要因推定部55から供給される誤差要因コードに基づいて対応する処理アルゴリズムをデータベース56cから読み出す。この処理アルゴリズムは、大別すると、モータ制御の調整アルゴリズム(フラグK=2)、画像読取機構を調整する機構調整アルゴリズム(フラグK=3)、画像データを補正するアルゴリズム(フラグK=4)、誤差要因を自動的に調整する機構を備えていない場合や、誤差要因が特定できない場合に、装置の組立調整者が手操作で調整することを支援するマニュアル調整アルゴリズム(フラグK=5)に分類される。処理アルゴリズムには、上記した複数のアルゴリズムを含むことも在る。
The adjustment method determining
モータ制御調整アルゴリズムによって、モータ制御部60に誤差要因を減らすための情報、例えばフィードバック速度制御ループの定数やモータ駆動パルス列の振幅・位相等が送られる。機構調整アルゴリズムによって、機構制御部59に該当する調整機構の設定値の増減が指令される。例えば、読取りヘッドのバランス調整機構、駆動ベルトのテンション調整機構、案内レールのバランス調整機構等が調整される。画像データを補正するアルゴリズムによって、特定の誤差要因により画像データに生じたエラーを相殺する補正アルゴリズムが画像補正部57にセットされ、画像データの補正が行われる。
(4) Information for reducing the error factor, such as the constant of the feedback speed control loop and the amplitude and phase of the motor drive pulse train, are sent to the
モード選択部53において、画像調整モードを選択しているときは、その時点の各調整回路における調整法がセットされている。再び、画像調整モードを選択した場合は、そのときの画像データの状態に応じた新たな調整法に更新される。従って、例えば経年変化が生じて、以前の調整が適当でなくなっても、画像調整モードを選択すれば、装置をその時点で最適な状態とすることができる。 When the image adjustment mode is selected in the mode selection unit 53, the adjustment method in each adjustment circuit at that time is set. When the image adjustment mode is selected again, a new adjustment method is updated according to the state of the image data at that time. Therefore, even if aging occurs and previous adjustments are no longer appropriate, selecting the image adjustment mode allows the apparatus to be in an optimal state at that time.
以下、本発明による調整方法決定部における各種調整について説明する。 Hereinafter, various adjustments in the adjustment method determining unit according to the present invention will be described.
(1) モータ制御部(フラグK=2)
図12のように読取り位置誤差の分布がそのま正負いずれかにシフトしたような形状となっている場合は、読取りヘッドの移動速度の設定値がずれた場合である。また、図13のように位置誤差の分布のスペクトルピークがモータと関係ある周波数である場合は、モータの駆動に問題がある場合である。調整方法決定部56は、誤差要因推定部55における、このような相関に基づく判別結果に応じて、モータ制御の調整アルゴリズムを取り出し、モータの制御パラメータの調整をモータ制御部60に行わさせる。
(1) Motor control unit (flag K = 2)
The case where the distribution of the reading position error is shifted to positive or negative as shown in FIG. 12 is a case where the set value of the moving speed of the reading head is shifted. When the spectral peak of the distribution of the position error has a frequency related to the motor as shown in FIG. 13, there is a problem in driving the motor. The adjustment
図13に示すような場合は、目標速度を所定の速度に更新する。また、閉ループサーボを用いているときは、目標速度に対して定常偏差が発生している場合がある。このような時は、サーボ回路のゲインを変えて調整する。例えばDSP(デジタル・シグナル・プロセッサ)などを用いたデジタルサーボの場合は容易に自動調整できる(フラグK=2)。また、アナログ式のサーボ回路で調整者によるゲイン調整が必要な場合には、その様な指示や調整手順が、後述する表示装置62に表示され、調整が支援される(フラグK=5)。
場合 In the case shown in FIG. 13, the target speed is updated to a predetermined speed. Further, when using the closed loop servo, there is a case where a steady-state deviation occurs with respect to the target speed. In such a case, adjustment is made by changing the gain of the servo circuit. For example, in the case of a digital servo using a DSP (Digital Signal Processor) or the like, automatic adjustment can be easily performed (flag K = 2). Further, when gain adjustment by the adjuster is necessary in the analog servo circuit, such an instruction or adjustment procedure is displayed on a
図13に示すような読取り誤差のピークは目標速度を中心にして一定の周波数で変動している場合に現われる。閉ループサーボでは、この様な場合に用いている制御ループの定数を低振動になるように変えるか、サンプリング時間を問題となる変動周波数に対して十分短く設定する。
また、調整者がモータの回転軸に減衰器を取り付けても良く、表示装置62にその旨表示される。この場合は、マニュアル調整(K=4)の調整回路も同時に選択される。
The peak of the reading error as shown in FIG. 13 appears when the frequency fluctuates at a constant frequency around the target speed. In the closed loop servo, the constant of the control loop used in such a case is changed so as to have low vibration, or the sampling time is set sufficiently short with respect to the fluctuation frequency in which the problem occurs.
Further, the adjuster may attach an attenuator to the rotating shaft of the motor, and the
図14に示すように、ときには部分的に大きい値となる読取り位置誤差の分布が現われることがある。このような分布は、例えば読取りヘッドが移動する範囲において局所的に負荷が変わって、当初に設定されていた制御ループの仕様で振動が抑え切れない場合に現われる。このような場合にも、問題となる周波数に対して十分安定、かつ高ゲインとなる制御ループを構成する。 As shown in FIG. 14, the distribution of the reading position error sometimes having a large value sometimes appears. Such a distribution appears, for example, when the load is locally changed in a range in which the read head moves, and the vibration cannot be suppressed by the initially set control loop specifications. Even in such a case, a control loop that is sufficiently stable at a problematic frequency and has a high gain is configured.
負荷変動の原因は案内レール等の摺動部材の傷、汚れ、潤滑不良などが考えられる。従って、その部分を清浄したり、潤滑材を塗布すれば図14のような問題を解消できる可能性が大きい。この場合も、マニュアル調整(K=5)の調整回路が同時に選択され調整方法(レールの清浄、潤滑)が表示装置62に表示される。
The cause of the load fluctuation may be scratches, dirt, poor lubrication, etc. on sliding members such as guide rails. Therefore, there is a great possibility that the problem as shown in FIG. 14 can be solved by cleaning the portion or applying a lubricant. Also in this case, the adjustment circuit of the manual adjustment (K = 5) is simultaneously selected, and the adjustment method (cleaning and lubrication of the rail) is displayed on the
なお、このような外乱にたいしては最適レギュレータ制御(lqr、またはlqi)、H∞制御などが有効である。モータ駆動の制御に、このような制御を用いている場合には、最適レギュレータ制御の評価関数の重み、H∞制御の周波数重み分布を変えて外乱に強いような制御ループの各定数を計算し、以後のモータ制御に用いる。 It is to be noted that optimal regulator control (lqr or lqi), H∞ control and the like are effective for such disturbance. When such control is used for the motor drive control, the weight of the evaluation function of the optimal regulator control and the frequency weight distribution of the H∞ control are changed to calculate each constant of the control loop that is strong against disturbance. , For the subsequent motor control.
(2) 機構制御部(フラグK=3)
機構制御部59は、前述したように画像読取装置51の読取動作や画質に関する調整機構63を、調整方法決定部56の調整内容決定部56aから与えられる指令コードに応じて制御する。調整機構63としては既述したように各種のものがある。例えば、読取ヘッド1にはCCDセンサの高さ・平行度等を調整するバランス調整機構、光源の光量バランス値を調整するスリット調整機構、画像の歪みや焦点位置を調整するレンズ位置調整機構、光学系の清掃機構等がある。走査系には、案内レールの清掃機構、レールパイプ摺動面のずらし機構、案内レールのバランス調整機構、駆動ベルトのテンション調整機構、回転系の振動を減衰させる可変ダンパ機構等がある。このような調整機構は、誤差要因に応じて種々のものが設けられる。機構調整と誤差抽出・推定とを繰り返すことによって装置仕様として許容される一定状態に収束し、誤差要因が取り除かれる。
(2) Mechanism control unit (flag K = 3)
The
(3) 画像補正部(フラグK=4)
画像補正として、エッジ強調、スムージング処理等が従来から行われている。本実施例の画像補正は、装置の機構的、制御的問題をも解決することを主眼とするものであり、そのような画像補正に止まらない。
本発明において実行される画像補正方法は、目的を達成し得るいずれの補正方法でもよいが、本実施例ではニューラルネットワークを用いた画像補正方法による場合、CCDの電荷量推定による濃度補正方法による場合について説明する。
(3) Image correction unit (flag K = 4)
As image correction, edge enhancement, smoothing processing, and the like have been conventionally performed. The purpose of the image correction of this embodiment is to solve the mechanical and control problems of the apparatus, and it is not limited to such image correction.
The image correction method executed in the present invention may be any correction method that can achieve the object. In this embodiment, the image correction method using a neural network, the density correction method by estimating the charge amount of the CCD, Will be described.
・ニューラルネットワークを用いた画像補正方法
図3に示すような等ピッチで平行線が多数印刷されたテストチャートを同図中のY座標方向に読取ると、あるX座標でのY座標方向における正常な濃度データは、密着型読取りヘッドが一定速度で移動したとき、前述したように図15に示すような正弦波を空間的に離散化したような分布となる。これは、ある一定時間でサンプリングしたものであり時間的に離散化した値でもある。これに対して、読取りヘッドの移動速度に変動があると、時間軸が伸縮し、多くはFM変調のような効果が生じて図16に示すように真の値と異なった値となる。このような誤差は読取り位置誤差をフーリエ変換するとある周波数にピークとなって現れる。直接的な原因は、機構部の振動や、駆動モータの速度変動であり、それらに対応する調整回路も同時に調整の対象として選択される。
An image correction method using a neural network When a test chart in which a large number of parallel lines are printed at the same pitch as shown in FIG. 3 is read in the Y coordinate direction in FIG. When the contact read head moves at a constant speed, the density data has a distribution in which a sine wave as shown in FIG. 15 is spatially discretized as described above. This is a value sampled at a certain fixed time and a value discretized in time. On the other hand, if there is a change in the moving speed of the read head, the time axis expands and contracts, and in many cases, an effect such as FM modulation occurs, resulting in a value different from the true value as shown in FIG. Such an error appears as a peak at a certain frequency when the reading position error is Fourier-transformed. The direct cause is vibration of the mechanical unit or speed fluctuation of the drive motor, and the corresponding adjustment circuit is also selected as an adjustment target at the same time.
画像補正のモードは、経験的に補正が可能な読取り位置誤差に対して行う。従って、誤差要因推定部55では読取り位置誤差の程度により、既に分かっている画像補正可能範囲であることを確認して画像補正のモードを選択(フラグK=4)する。
The image correction mode is performed for reading position errors that can be corrected empirically. Therefore, the error
図17は、実施例で用いられるニューラルネットワークの構造を概略的に示している。この例では、入力層、中間層、出力層の3つの層からなり、各層はそれぞれユニットと呼ばれる多入力、多出力の演算素子から構成されている。あるユニットの出力Xj は次式(5)で表される。ここでf(x)は任意の関数であるが、通常は式(6)で表わされるシグモイド関数のようなS字特性をもつものを用いる。Ijは出力を得るためのポテンシャルでありそのユニットへの入力値から得る。
Xj =f(Ij ) …(5)
f(x)=1/(1+e-x) …(6)
入力層には、図18に示すように各サンプリング時間(各データ取り込み位置)におけるデータX(0)j (j =1〜N)が入力層のユニットに順次設定される。この値を用いて中間層の各ユニットからの出力値を求める。例えば、中間層のj番目の出力値X(1)j (j =1〜M)は次式(7)から得られる。Nは入力値の数、Mは中間層の数である。ここで、W(1)ijは出力層のi番目のユニットと中間層のj番目のユニット間の重み係数である。従って、入力層のユニットの数をN、中間層のユニットの数をMとするとM×Nのマトリクスとなる。このマトリクスを重みマトリクスと呼ぶ。
N
X(1)j =f(ΣW(1)ij・X(0)i ) …(7)
i=1
同様に、出力層のj番目の出力値X(2)j ( j=1〜L)は式(8)から得られる。Lは出力層の数である。W(2)jiは中間層のi番目のユニットと出力層のj番目のユニットのあいだの重み係数であり、中間層ユニットの数をM、出力層のユニットの数をLとするとL×Mのマトリクスとなる。
N
X(2)j =f(ΣW(2)ji ・X(0)i ) …(8)
i=1
この場合はN個のデータを入力してL個のデータが得られることになる。一般に、N、M、Lは任意だが、通常N<Mの関係を満足する場合が多い。最終的に出力値として得られたL個のデータは、データのサンプリング時間をTsam とした場合とすると、L×Tsam の時間分のデータとなる。このため、実時間でデータ補正を行う場合、L×Tsam の時間以内で、常にN個のデータが入力されてL個の出力値を得なければならない。しかし、全画面の読取りを行い、全画像データが一旦記憶されている場合は、そのような制限から解放され得る。読取り解像度が高くなるとデータの数は飛躍的に大きくなる。このため、いずれにしても演算時間は高速である必要が生じてくる。このため演算部はハードウェアで構成することが望ましく、また、例えばパイプライン処理形式のデジタル・シグナル・プロセッサを用いると、従来のマイクロ・プロセッサより演算速度は速くなる。
FIG. 17 schematically shows the structure of the neural network used in the embodiment. In this example, there are three layers, an input layer, an intermediate layer, and an output layer, and each layer is composed of a multi-input, multi-output arithmetic element called a unit. The output X j of a certain unit is expressed by the following equation (5). Here, f (x) is an arbitrary function, but a function having an S-shaped characteristic such as a sigmoid function represented by Expression (6) is usually used. Ij is a potential for obtaining an output, which is obtained from an input value to the unit.
X j = f (I j ) (5)
f (x) = 1 / (1 + e -x ) (6)
In the input layer, as shown in FIG. 18, data X (0) j (j = 1 to N) at each sampling time (each data capturing position) is sequentially set in units of the input layer. The output value from each unit of the intermediate layer is determined using this value. For example, the j-th output value X (1) j (j = 1 to M) of the intermediate layer is obtained from the following equation (7). N is the number of input values, and M is the number of hidden layers. Here, W (1) ij is a weight coefficient between the i-th unit in the output layer and the j-th unit in the intermediate layer. Therefore, if the number of units in the input layer is N and the number of units in the intermediate layer is M, an M × N matrix is obtained. This matrix is called a weight matrix.
N
X (1) j = f (ΣW (1) ij · X (0) i ) (7)
i = 1
Similarly, the j-th output value X (2) j (j = 1 to L) of the output layer is obtained from Expression (8). L is the number of output layers. W (2) ji is a weighting coefficient between the i-th unit in the hidden layer and the j-th unit in the output layer. If the number of units in the hidden layer is M and the number of units in the output layer is L, L × M Is a matrix.
N
X (2) j = f (ΣW (2) ji · X (0) i ) (8)
i = 1
In this case, L data is obtained by inputting N data. Generally, N, M, and L are arbitrary, but usually satisfy the relationship of N <M in many cases. The L pieces of data finally obtained as output values are data for a time of L × T sam , where T sam is the data sampling time. Therefore, when data correction is performed in real time, it is necessary to always input N data and obtain L output values within the time of L × T sam . However, if the entire screen is read and all the image data is stored once, such restriction can be released. As the reading resolution increases, the number of data increases dramatically. Therefore, in any case, the calculation time needs to be high. For this reason, it is desirable that the operation unit is constituted by hardware. For example, when a digital signal processor of a pipeline processing type is used, the operation speed is higher than that of a conventional microprocessor.
上記したニューラルネットワークで用いる重み係数は、総合推定部55dで述べたように、実際に正しいデータ(教示値)を用いて、歪んだデータが出力値として教示値と同じ値となるように学習を行って最適なものとする。この学習の方法は例えば、バック・プロパゲーション法など多く提案されている。バック・プロパゲーション法は、出力層の各ユニットにおける出力値の教示値との誤差を用いて式9のように定義された誤差関係Eを最小とする学習方法である。ここで、X(t) i は教示値である。しかし、最終的に教示値と同じ値が得られるならば、どの方法でも良い。
L
E=(1/2)Σ (X(2)i −X(t)i )2 …(9)
i=1
本実施例のような原稿読取装置の場合、画像データが歪む要因は、特定の周波数で画像データが変調される場合が多い。この歪みの形態はおもに3つある。すなわち、調和振動の合成、AM変調、FM変調でそれぞれ式(10)、式(11)、式(12)のように表わされる。また、式(13)は教示値である。
D′=φ0 F(t−τ0 )+φ1 sin (ω1 t−τ1 ) …(10)
D′=φ0 F(t−τ0 )・φ1 sin (ω1 t−τ1 ) …(11)
D′=φ0 F(t−τ0 ・φ1 sin (ω1 t−τ1 )) …(12)
D′=φ0 F(t−τ0 ) …(13)
ここで、ω1 は外乱周波数である。従って、重みマトリスクの学習をさせる場合には、式(12)の教示値を用いて画像データの位相τ0 、外乱の位相τ1 、画像データの最大濃度φ0 、外乱のゲインφ1 、外乱の周波数ω1 である。
As described in the
L
E = (1/2) Σ (X (2) i −X (t) i ) 2 (9)
i = 1
In the case of a document reading apparatus as in the present embodiment, the cause of image data distortion is that image data is often modulated at a specific frequency. There are mainly three forms of this distortion. That is, the synthesis of the harmonic vibration, the AM modulation, and the FM modulation are expressed as Expression (10), Expression (11), and Expression (12), respectively. Expression (13) is a teaching value.
D ′ = φ 0 F (t−τ 0 ) + φ 1 sin (ω 1 t−τ 1 ) (10)
D ′ = φ 0 F (t−τ 0 ) · φ 1 sin (ω 1 t−τ 1 ) (11)
D ′ = φ 0 F (t−τ 0 · φ 1 sin (ω 1 t−τ 1 )) (12)
D ′ = φ 0 F (t−τ 0 ) (13)
Here, ω 1 is a disturbance frequency. Therefore, in the case of the learning of the weight Matorisuku the phase tau 0 of the image data using the teachings value of formula (12), the phase tau 1 of disturbance, maximum image density phi 0 of data, the gain of the disturbance phi 1, disturbance Is the frequency ω 1 .
まず、考え易いようにφ0 、ω1 が固定値の場合におけるFM変調の例で説明する。図19は、そのときの学習パラメータτ0 、τ1 、φ1 をまとめて示している。この値を用いて、出力値が教示値と比べて十分近い値となるように学習させる。ここでは、32の場合についてそれぞれが同時に最も誤差が小さくなるように重みマトリクスの値を求めていく。
ニューラルネットは、すべての場合について学習させる必要は必ずしも無く、例えば外乱の位相が30°と60°の場合を学習させれば45°の外乱でもある程度補正できる。しかし、できるだけ多くの場合について学習を行ったほうが理想的データ補正に近くなるので望ましい。
First, an example of FM modulation in the case where φ 0 and ω 1 are fixed values will be described for easy understanding. FIG. 19 collectively shows the learning parameters τ 0 , τ 1 , and φ 1 at that time. Using this value, learning is performed so that the output value is sufficiently close to the teaching value. Here, the values of the weight matrix are determined so that the errors are simultaneously minimized for each of the 32 cases.
The neural network does not necessarily need to learn in all cases. For example, if learning is performed when the phase of the disturbance is 30 ° and 60 °, a disturbance of 45 ° can be corrected to some extent. However, it is desirable to perform learning for as many cases as possible, because it is closer to ideal data correction.
図20は、本発明の他の実施例との関連の構成図である。同図において図30に示された装置と対応する部分には同一符号を付し、かかる部分の説明は省略する。この実施例では、読取ヘッドの移動経路に沿って磁気スケール等のリニアエンコーダ22が配置されている。読取ヘッド1には、センサ21が設けられ、リニアエンコーダ22の指標を読取り、原稿2の副走査方向における位置情報を担うパルス列信号24をインタフェース制御部12に与える。インタフェース制御部12は、例えば、読取りヘッド1のホームポジションあるいはオポジットポジションでリセットされる内部カウンタにパルス列信号を与え、カウント値により副走査(Y)方向における読取り位置を、単位時間当たりのカウント値の増分によって走査速度を判別する。走査速度を監視することによって走査速度の変動を検知する。こうして得られる読取速度変動情報25や読取り位置のずれである位置誤差情報26は、画像データと共に画像補正部19に供給され、画像データの補正に用いられる。補正のために用いるデータ及び画像データは、記憶部20に保存される。
FIG. 20 is a configuration diagram related to another embodiment of the present invention. In this figure, parts corresponding to those of the apparatus shown in FIG. 30 are denoted by the same reference numerals, and description of such parts is omitted. In this embodiment, a
かかるセンサ21及びリニアエンコーダ22を用いる構成によって得られる読取りヘッドの速度変動、位置誤差をニューラルネットワークの入力データとして採用している。学習は予め実験等によって得られた速度変動、位置誤差と画像データのずれとの関係を用いる。この実施例の場合、基本的に画像データ自体とそれが得られた時間の速度変動、位置誤差だけで補正がおこなえるために、前述の実施例のように以前のデータを多く使う必要が必ずしも生じない。直接読取りヘッドの速度変動、位置誤差が得られない場合は、モータの回転数を図示しないロータリエンコーダ、回転モニタ装置により得て入力としたり、また、現代制御理論に基づくオブザーバを設置して適当な入力値を得ても本発明による効果が得られる。従って、重みマトリクスを用いて出力値を得る際の演算が簡単になり、演算時間が短縮化できる。
ニューラルネットワークを用いた画像補正方法は多入力を用いて、所定の出力が得られる。このため、入力値は実施例のほかに使用環境である温度、湿度などを入力として加えると使用環境に応じて、機構の状態に対応したデータの補正が可能となる。
The speed fluctuation and position error of the read head obtained by the configuration using the
In an image correction method using a neural network, a predetermined output is obtained using multiple inputs. For this reason, when the input values include the use environment such as temperature and humidity in addition to the embodiment, the data corresponding to the state of the mechanism can be corrected according to the use environment.
また、ニューラルネットワークを用いた画像補正方法を用いると以下に説明するような実施例を構成することが可能である。
(1) 像域分離
画像読取装置で読取られる1つの原稿内に、グラフィック部分と文字部分の両方が含まれる場合がある。このような場合には、グラフィック部分と文字部分とで別々のニューラルネットワークを用いて画像データの補正を行うようにすることもできる。図21は、このような場合のアルゴリズムを説明するフローチャートであり、画像読取装置で読取った画像データを一旦記憶装置に格納する(ステップS61,S62)。この画像データの1フレーム分について、例えば、図示しないパターン認識のアルゴリズムを用いて文字が抽出される文字データ領域とそうでないグラフィック領域とに分ける像域分離処理を行う(ステップS63)。1フレーム中のグラフィック領域に存在する画像データ(グラフィックデータ)をグラフィック部用ニューラルネットワークに与えて、画像データの補正を行う(ステップS64)。1フレーム中の文字データ領域に存在する画像データ(文字データ)を文字部用ニューラルネットワークに与えて、画像データの補正を行う(ステップS65)。補正された2種類の画像データを合成して1フレームの元の原稿に戻す(ステップS66)。合成された画像データを記憶装置に格納する(ステップS67)。
このように、1フレームの画像データを補正する際に、1フレーム内の画像データの種類あるいは性質に応じたニューラルネットワークを適宜に選択して使用することによって、データ補遺背の精度をより向上させることが期待できる。
When an image correction method using a neural network is used, an embodiment described below can be configured.
(1) Image area separation
One document read by the image reading device may include both a graphic portion and a character portion. In such a case, the image data can be corrected using different neural networks for the graphic part and the character part. FIG. 21 is a flowchart for explaining an algorithm in such a case, in which image data read by the image reading device is temporarily stored in a storage device (steps S61 and S62). For one frame of the image data, for example, an image area separation process is performed using a pattern recognition algorithm (not shown) to divide the image data into a character data area in which characters are extracted and a graphic area in which the characters are not extracted (step S63). The image data (graphic data) existing in the graphic area in one frame is provided to the graphic part neural network to correct the image data (step S64). The image data (character data) existing in the character data area in one frame is supplied to the character part neural network to correct the image data (step S65). The two types of corrected image data are combined and returned to the original of one frame (step S66). The combined image data is stored in the storage device (step S67).
As described above, when correcting one frame of image data, by appropriately selecting and using a neural network corresponding to the type or property of the image data in one frame, the accuracy of the data supplement is further improved. We can expect that.
(2) 振動領域分離
画像読取装置における画像データの歪みが画像読取領域の特定の場所で発生している場合がある。例えば、読取りヘッドの案内レールに汚れや傷がある場合である。時間軸変動であるジッタは、図7に示されるようにテストパターンを用いて得た濃度曲線の単位波長と基準波長との比較によっても求められるが、図20に示す画像読取装置では、読取りヘッドの速度変動をセンサ21によって直接得るので、速度変動の検出がより容易である。速度変動が生じた領域における画像データについてのみ画像データの補正を行うようにすることができる。
(2) Vibration area separation
In some cases, distortion of image data in the image reading device occurs at a specific location in the image reading area. For example, when the guide rail of the read head is dirty or scratched. As shown in FIG. 7, the jitter as the time axis fluctuation can also be obtained by comparing the unit wavelength of the density curve obtained by using the test pattern with the reference wavelength. In the image reading apparatus shown in FIG. Is obtained directly by the
図22は、このような場合のアルゴリズムを説明するフローチャートであり、予めプリスキャンを行って振動発生場所を検出しておいて、後で読取った画像データのうち、振動発生場所に該当する画像データを分離して補正を加える。
読取りヘッドを担うキャリッジをホームポジションからオポジットポジションに向けてスタートする(ステップS71)。スタートと同時に、副走査方向における速度変動ΔVを測定する(ステップS72)。速度変動ΔVが所定基準値Vctを越えると、この位置を判別し、走査方向において振動が発生する範囲を記憶する(ステップS73)。振動の発生する場所が複数生じる場合がある。この場合には発生場所の各々について画像データ補正を行う。このようなエラー発生領域を判別し、その場所を記憶するためのプリスキャンを、装置の電源投入直後に自動的に実行するようにすることができる。
FIG. 22 is a flowchart for explaining an algorithm in such a case, in which a pre-scan is performed in advance to detect a vibration occurrence location, and image data corresponding to the vibration occurrence location among image data read later. And correct it.
The carriage that carries the read head is started from the home position to the opposite position (step S71). At the same time as the start, the speed fluctuation ΔV in the sub-scanning direction is measured (step S72). When the speed fluctuation ΔV exceeds the predetermined reference value Vct, this position is determined, and a range in which vibration occurs in the scanning direction is stored (step S73). There may be a plurality of places where vibration occurs. In this case, image data correction is performed for each occurrence location. Such an error occurrence area can be determined, and a prescan for storing the location can be automatically executed immediately after the power of the apparatus is turned on.
原稿画像の読取動作を行い、画像メモリに記憶する(ステップS74)。読取った画像データのうち、エラー発生領域の画像データを分離し、補正データ記憶領域に移動する。なお、画像の読取りを行いつつ、読取った画像データをエラー発生領域の画像データと、その以外の領域の画像データとに分けて別々に記憶することができる(ステップS75)。 (4) The document image is read and stored in the image memory (step S74). Among the read image data, the image data in the error occurrence area is separated and moved to the correction data storage area. Note that while reading the image, the read image data can be separately stored in the image data of the error occurrence area and the image data of the other areas (step S75).
補正データ記憶領域に記憶されているエラー発生領域の画像データをニューラルネットワークを用いて補正する(ステップS76)。エラー発生領域の補正された画像データと、その他の領域の画像データとを合成して1フレームの画像データを形成する(ステップS77)。 (4) The image data of the error occurrence area stored in the correction data storage area is corrected using a neural network (step S76). The image data corrected in the error occurrence area and the image data in the other areas are combined to form one frame of image data (step S77).
このようにすると、1フレームの画像の全域に対して画像データ補正を行う場合に比べて、補正を行う画像データの量が減るので処理時間が短縮でき、処理を行う際に画像データを格納するメモリの容量も小さくて済む利点がある。 In this manner, the processing time can be reduced because the amount of image data to be corrected is reduced as compared with the case where image data correction is performed on the entire area of an image of one frame, and the image data is stored when processing is performed. There is an advantage that the memory capacity can be small.
(3) 複数ニューラルネットワーク併用
文字原稿、グラフィック原稿、カラー原稿、モノクロ原稿、原稿用紙に記載された原稿、表原稿、枠を含む原稿、網点原稿等、原稿の一枚毎に原稿の種類に対応してニューラルネットワークを個別に選定することで、より画像データの補正の精度を向上させることが期待できる。
(3) Using multiple neural networks Character documents, graphic documents, color documents, monochrome documents, documents described on document paper, front documents, documents containing frames, halftone documents, etc. By individually selecting the neural networks correspondingly, it can be expected that the accuracy of the correction of the image data is further improved.
まず、原稿を読取り、原稿判定用ニューラルネットワークで最適な画像補正用ニューラルネットワークを選択した後、選択したニューラルネットワークを用いて読取った画像データを補正する。ニューラルネットワークでは、ニューロンの数が多いほど出力に要する時間が長くなり、重み行列を格納するメモリの容量も大きくなる。従って、原稿判定に用いる画像データは正規の解像度より粗い解像度で読取ったものを使用したり、原稿の画像データから特徴抽出したりして出来るだけ、ニューラルネットワークの入力を少なくすることが望ましい。原稿判定のための特徴抽出には、ニューラルネットワークを用いるだけでなく、種々の方法がある。例えば、原稿上のいくつかのエッジの濃度勾配を算出して、これを判断に用いる方法、読取った画像データの周波数スペクトルの分布と予め判っている原稿パターンの周波数スペクトルの分布とを比較し、その近似程度から原稿の種類を推定する方法等である。原稿判定を簡便に行うためには、装置の操作パネルに操作者が原稿の種類を指定する原稿書類選択ボタンを設け、このボタンによる指定に対応して、該当するニューラルネットワークを選択する。 {Circle around (1)} First, an original is read, an optimal image correction neural network is selected by the original determination neural network, and the read image data is corrected using the selected neural network. In a neural network, as the number of neurons increases, the time required for output increases, and the capacity of a memory for storing a weight matrix also increases. Therefore, it is desirable to reduce the number of inputs to the neural network as much as possible by using image data read at a resolution lower than the normal resolution or extracting features from the image data of the document as the image data used for document determination. There are various methods for extracting features for document determination, in addition to using a neural network. For example, calculating the density gradient of some edges on the document, using this method for determination, comparing the distribution of the frequency spectrum of the read image data with the distribution of the frequency spectrum of the document pattern known in advance, A method of estimating the type of the document from the degree of approximation is used. In order to easily perform the document determination, an operator is provided with a document document selection button for designating the type of the document on the operation panel of the apparatus, and the corresponding neural network is selected in accordance with the designation by the button.
図23は、上記した複数のニューラルネットワークを用いる場合のアルゴリズムを示している。まず、原稿の種類を判定するために、プリスキャンして画像データを読取り、メモリに記憶する。上記したように、このときの読取り画素を粗くすることが可能であり、原稿の所定領域だけをサンプリングするようにしても良い(ステップS81)。この画像データを用いて、濃度勾配、エッジ抽出、画像面積割合、平均濃度、ベタ黒判別、色成分抽出、線分長さ、曲線長さ判別等の原稿の特徴を表す特徴パラメータを抽出する(ステップS82)。この特徴パラメータを原稿判定用ニューラルネットワーク(N.N)に与えて、原稿の種類を判別する。判別結果に応じて、適切な画像補正用ニューラルネットワークを選択する。これは、ニューラルネットワークの原稿タイプ別の重み行列のファイルから該当するものを記憶装置から読み出し、ニューラルネットワークの演算部に設定することである(ステップS83)。スキャンを開始して原稿を読取り、画像データをメモリに格納する(ステップS84)。画像補正用ニューラルネットワークを用いて画像データの補正を行う(ステップS85)。 FIG. 23 shows an algorithm when a plurality of neural networks are used. First, in order to determine the type of the document, the image data is read by pre-scanning and stored in a memory. As described above, the read pixels at this time can be made coarse, and only a predetermined area of the document may be sampled (step S81). Using this image data, feature parameters representing the features of the document such as density gradient, edge extraction, image area ratio, average density, solid black discrimination, color component extraction, line segment length, curve length discrimination, etc. are extracted ( Step S82). The characteristic parameters are given to the original determination neural network (NN) to determine the type of the original. An appropriate image correction neural network is selected according to the determination result. In other words, the corresponding one is read from the storage device from the file of the weight matrix for each document type of the neural network, and is set in the arithmetic unit of the neural network (step S83). The scanning is started to read the original, and the image data is stored in the memory (step S84). The image data is corrected using the image correction neural network (step S85).
(4) 画像データ補正の処理方向
ニューラルネットワークによって画像データを補正する場合、画像データのニューラルネットワークへの与え方は、読取った画像データの主走査方向及び副走査方向のいずれも方向からでも良く、適宜に選択する。
(4) Processing direction of image data correction
When the image data is corrected by the neural network, the manner in which the image data is given to the neural network may be any of the main scanning direction and the sub-scanning direction of the read image data, and is appropriately selected.
図24は、ニューラルネットワークによって主走査方向に画像データの補正を繰り返す場合を示しており、ニューラルネットワークの入力端子数iに対応して副走査方向においてi画素からなる第1例の画像データを補正処理した後、第2例、第3列、…第m列と補正処理を繰り返し、次の行方向データブロックの第1列から同様に補正処理を繰り返す。 FIG. 24 shows a case where the correction of the image data is repeated in the main scanning direction by the neural network, and the image data of the first example composed of i pixels in the sub-scanning direction is corrected corresponding to the number of input terminals i of the neural network. After the processing, the correction processing is repeated for the second example, the third column,..., The m-th column, and the correction processing is similarly repeated from the first column of the next row direction data block.
図25は、ニューラルネットワークによって副走査方向に画像データの補正を繰り返す場合を示しており、ニューラルネットワークの入力端子数lに対応して主走査方向においてl画素からなる第1行の画像データを補正処理した後、第2行、第3行、第…n行と補正処理を繰り返し、次の列方向データブロックの第1行から同様に補正処理を繰り返す。
FIG. 25 shows a case where the correction of the image data is repeated in the sub-scanning direction by the neural network, and the image data of the first row composed of 1 pixel in the main scanning direction is corrected corresponding to the number of
(5) 検査用ツール
本発明を画質の検査ツールとして用いることが可能である。特定のテストチャートを読取った画像データを、予めこのテストチャートで所定の出力が得られるようにバックプロパゲーション学習を行ったニューラルネットワークに与えると、現在の装置のエラー状態に左右される出力を発生する。従って、例えば等ピッチのテストチャートを読取らせて、「調整不良(調整必要)」、「調整済み(調整不要)」等の判定が可能である。調整不良の場合、更に、自己診断ニューラルネットワークを用いてその原因を推定することが可能である。
(5) Inspection tool
The present invention can be used as an image quality inspection tool. When image data obtained by reading a specific test chart is given to a neural network that has been subjected to backpropagation learning so that a predetermined output can be obtained from the test chart, an output depending on the current error state of the apparatus is generated. I do. Therefore, for example, it is possible to read a test chart having the same pitch and determine “adjustment failure (adjustment required)”, “adjusted (adjustment unnecessary)” and the like. In the case of adjustment failure, the cause can be further estimated using a self-diagnosis neural network.
画像読取措置に自己修復機能がある場合、装置の状態の自己診断結果に基づいて最適の自己修復動作を指令し、実行させることにより、常に、装置の状態を良好なものに維持することができる。例えば、速度変動が大きいとき、使用しているモータの回転数の変動が大きくなったと診断すると、モータのサーボコントローラにおける定数を適当に変更して回転数変動を小さく抑制する動作を、装置自身が行うように出来る。モータへの制御量の決定にファジィ制御を適用することも可能である。自己修復動作の決定にはエキスパートシステムを適用することが出来る。学習した知識は装置出荷前にオフラインで開発したものを搭載することができる。 When the image reading device has a self-healing function, an optimum self-healing operation is commanded and executed based on the result of the self-diagnosis of the state of the apparatus, so that the state of the apparatus can always be maintained in a good state. . For example, when it is diagnosed that the fluctuation of the rotation speed of the motor used is large when the speed fluctuation is large, the device itself performs an operation of appropriately changing the constant in the servo controller of the motor to reduce the rotation speed fluctuation. You can do it. It is also possible to apply fuzzy control to the determination of the control amount for the motor. An expert system can be applied to determine the self-healing operation. The learned knowledge can be loaded with the one developed offline before shipping the device.
このようなシステムの構成例を図26に示す。同図において、画像読取装置によって、画像データ、走査速度、画像濃度、画像読取位置等が得られる(ステップS111)。振動発生等の装置の状態を表す状態量を取出す(ステップS112)。抽出された状態量を、例えば、状態判別用ニューラルネットワークに与えて不具合が生じているかどうか、その程度等を判定する(ステップS113)。読取り画質に影響するような不具合が生じていると、この不具合の内容と、各種状態量とに基づいて原因を推定する。推定された原因に応じた対処方法を決定する。この決定には、上記したエキスパートシステムに用いることが可能である。自己修復で対応できなければ、操作者に警告を発する等の処理を取る(ステップS114)。不具合を解消するために、操作することが必要な画像読取装置の各部の制御パラメータの選択を行う。この選択にはニューラルネットワークを用いることが可能である(ステップS115)。選択させた制御パラメータの設定変更を行う。例えば、読取りヘッドに振動が生じているときは、サーボモータのループ定数をより回転変動が少なくなるように設定する。光量に変動があるときは光源への供給電圧の調整や原稿台ガラスと読取りヘッド間の隙間調整を行う。読取りヘッドの案内レールの汚れが検出された場合にはレール清掃機構の動作間隔を短くする。また、1つの不具合について複数の制御対象があるとき、あるいは複数の不具合が存在するとき等には、操作すべき制御量を決定するためにフィジイ演算を併用して近似制御を行うことが可能である。こうした場合には、比例制御が錯綜する複雑なシステムに比して、制御がより簡単になり、制御エラーの発生も少ない利点がある(ステップS116)。
こうして、画像データの補正用に組込まれたニューラルネットワーク用の演算機構を多目的に活用することができる。
FIG. 26 shows a configuration example of such a system. In the figure, image data, scanning speed, image density, image reading position, and the like are obtained by the image reading device (step S111). A state quantity representing a state of the apparatus such as generation of vibration is extracted (step S112). The extracted state quantity is given to, for example, a state discrimination neural network, and it is determined whether or not a problem has occurred, its degree, and the like (step S113). If a defect that affects the read image quality occurs, the cause is estimated based on the content of the defect and various state quantities. Determine the coping method according to the estimated cause. This determination can be made using the expert system described above. If the self-repair is not sufficient, a process such as issuing a warning to the operator is performed (step S114). In order to solve the problem, a control parameter of each unit of the image reading apparatus that needs to be operated is selected. For this selection, a neural network can be used (step S115). Change the setting of the selected control parameter. For example, when the read head is vibrating, the loop constant of the servo motor is set so that the rotation fluctuation is further reduced. When there is a change in the light amount, adjustment of the supply voltage to the light source and adjustment of the gap between the platen glass and the reading head are performed. If dirt on the guide rail of the read head is detected, the operation interval of the rail cleaning mechanism is shortened. In addition, when there are a plurality of control targets for one fault, or when there are a plurality of faults, it is possible to perform approximate control together with fuzzy calculation in order to determine a control amount to be operated. is there. In such a case, there is an advantage that the control becomes simpler and a control error is less generated as compared with a complicated system in which the proportional control is complicated (step S116).
In this way, the arithmetic mechanism for the neural network incorporated for correcting the image data can be used for multiple purposes.
(6) 画像データのスペクトル利用
等ピッチの線が印刷されているテストチャートによる画像データの副走査方向におけるスペクトルを算出すると、現れるピークには装置の副走査方向における振動が原因のものが含まれる。また、外乱によって上記等ピッチに対応して生ずる本来のピークの値が低下することもある。ピーク値は振動の振幅に関係する。そこで、このピーク値を入力に用いて学習させ、外乱の振動による画像データへの影響をニューラルネットワークによって除去する方法が考えられる。しかし、場合によっては、本来原稿が持っている周波数成分まで削除してしまう恐れがある。このため、外乱によるピークの見積もり、本来原稿が持っている周波数成分への影響を正確に調べる必要がある。そこで、全ての外乱、原稿が持っている周波数成分を予め想定し、外乱成分(ゲイン・位相)を含んだ原稿の画像データを入力として、スペクトルに現れる外乱成分を出力とするように、出来るだけ多くのパターンで学習させる。この結果、任意の原稿データに含む外乱成分を抽出できる。
(6) Use of spectrum of image data When the spectrum in the sub-scanning direction of the image data is calculated by the test chart in which the lines of equal pitch are printed, the peaks appear include those caused by the vibration of the device in the sub-scanning direction. . Also, the value of the original peak generated corresponding to the above equal pitch may be reduced by disturbance. The peak value is related to the amplitude of the vibration. Therefore, a method is conceivable in which learning is performed by using this peak value as an input, and the influence of the disturbance vibration on the image data is removed by a neural network. However, depending on the case, there is a possibility that even the frequency components inherent in the original document may be deleted. For this reason, it is necessary to estimate the peak due to the disturbance and to accurately examine the influence on the frequency components originally possessed by the original. Therefore, assuming in advance all disturbances and frequency components of the original, inputting the image data of the original including the disturbance components (gain and phase) and outputting the disturbance components appearing in the spectrum as much as possible. Train with many patterns. As a result, a disturbance component included in any document data can be extracted.
また、別のニューラルネットワークに特定の外乱成分が入った画像データから外乱成分を除去する学習をさせる。そして、特定の外乱成分を除去することの出来るニューラルネットワークのパラメータ設定を、各種の外乱成分に対して保存する。この、2種類のニューラルネットワークを用いて任意の原稿から外乱成分を除去可能である。 (5) Another neural network is trained to remove a disturbance component from image data containing a specific disturbance component. Then, parameter settings of the neural network capable of removing a specific disturbance component are stored for various disturbance components. Using these two types of neural networks, it is possible to remove disturbance components from an arbitrary document.
しかし、全く任意の外乱成分に適用することが困難である場合も考えられる。この場合、予め、想定できる周波数成分(モータに起因するもの等)に固定し、その周波数での外乱を除去する方法に限定しても実際的効果は大きい。装置における振動の原因は、通常、装置の機械的構造に起因する一定範囲のものに限られるからである。従来、このように外乱は、オープンループで除去していたため、正確な外乱の除去が出来なかった。この外乱が除去可能となる利益は大きい。上述した処理の流れを図27及び図28に示す。 However, there may be cases where it is difficult to apply it to any disturbance component. In this case, a practical effect is large even if the method is limited to a method in which a frequency component (for example, due to a motor) that can be assumed is fixed in advance and disturbance is removed at that frequency. This is because the cause of vibration in the device is usually limited to a certain range due to the mechanical structure of the device. Conventionally, disturbances have been removed in an open loop as described above, so that accurate disturbances cannot be removed. The benefit of removing this disturbance is significant. The flow of the above-described processing is shown in FIGS.
外乱成分が定常的に生じているときは、図27に示すようにプリスキャンして、原稿を読取り(ステップS121)、この原稿の画像データを外乱成分検出用ニューラルネットワークに与えて、外乱成分を抽出する(ステップS122)。外乱成分の検出に用いる画像データは原稿の一部だけでも良い。この外乱成分を除くようにパラメータを外乱成分除去用ニューラルネットワークに設定する。原稿全体の読取りを行い(ステップS123)、画像データを外乱成分除去用ニューラルネットワークに与えて画像データから外乱成分を除くデータ補正を行う(ステップS124)。また、原稿の全領域についてデータの補正を行うときは、図28のステップS131〜S133に示すように、読取った原稿のデータを繰返し使用できるので原稿の読取り動作は1回でも良い。 When the disturbance component is constantly generated, prescanning is performed as shown in FIG. 27 to read the original (step S121), and the image data of the original is supplied to the disturbance component detecting neural network to remove the disturbance component. It is extracted (step S122). The image data used for detecting the disturbance component may be only a part of the document. The parameters are set in the disturbance component removing neural network so as to remove the disturbance component. The whole original is read (step S123), and the image data is supplied to a disturbance component removing neural network to perform data correction for removing disturbance components from the image data (step S124). When the data is corrected for the entire area of the document, the data of the read document can be used repeatedly as shown in steps S131 to S133 in FIG. 28, so the document reading operation may be performed only once.
なお、実施例では読取りヘッドが走査する際にノイズが画像データに混入する場合について説明したが、例えば、二次元に読取素子が配列されたCCDを用いて原稿をフラッシュ露光して読取りを行うような構成の読取装置についても本発明を適用することができる。このような装置では、通常機械的な振動はわずかであるが、原稿像をCCDに投影する光学系において、いわゆる糸巻き歪みや樽型歪み、局部的な投影像の歪みが生じる。このように原因による画像データのエラー補正にもニューラルネットワークを用いたデータ補正は効果的である。 Although the embodiment has been described in connection with the case where noise is mixed in the image data when the reading head scans, for example, the document may be read by flash exposure using a CCD having a two-dimensional array of reading elements. The present invention can be applied to a reading device having a simple configuration. In such an apparatus, mechanical vibration is usually slight, but so-called pincushion distortion, barrel distortion, and local projection image distortion occur in an optical system for projecting an original image onto a CCD. As described above, the data correction using the neural network is also effective for the error correction of the image data due to the cause.
・ CCDの電荷量推定による濃度補正方法
前述のように、従来画像読取装置ではCCDによる濃度情報を一定の時間間隔でサンプリングするデータ取込み回路を用いていることが多い。この場合、原稿の濃度情報を一定距離で空間的に離散するために、読取りヘッドの移動速度は一定とする必要がある。しかし、今後さらに高解像度が要求されると、読取りヘッドの移動速度の変動を所定仕様内に抑えることが困難になると予想される。この問題を解決する方法を以下に説明する。
・ Density correction method based on CCD charge estimation
As described above, the conventional image reading apparatus often uses a data acquisition circuit that samples the density information from the CCD at regular time intervals. In this case, the moving speed of the reading head needs to be constant in order to spatially disperse the density information of the document at a constant distance. However, if a higher resolution is required in the future, it is expected that it will be difficult to suppress the fluctuation of the moving speed of the read head within a predetermined specification. A method for solving this problem will be described below.
図20に示すように、エンコーダ(21,22)が取付けられている画像読取装置では読取りヘッド1の位置に同期させてデータをサンプリングすることができる。この場合、読取りヘッド1の移動速度に変動があるとCCD4におけるデータ取込み(画像投影)時間も変動する。CCD4は、基本的に光の強さ、照射時間に比例してチャージされる電荷量を画像の濃度値に対応させている。従って、同一濃度印刷された原稿であっても、読取りヘッド1の走査速度が変動すると、CCD4におけるデータ取込み時間が変動してチャージされる電荷量が原稿濃度に正確に比例せず、濃度値に誤差が生じる。
As shown in FIG. 20, in an image reading apparatus provided with encoders (21, 22), data can be sampled in synchronization with the position of the
このような場合に、読取られた画像濃度データを、センサ21及びエンコーダ22によって得られる読取りヘッド1の移動速度変動量を使用して正しい濃度値に補正することができる。すなわち、
CCDでは、画像濃度に比例する量として得られる電圧が濃度値として用いられる。CCDの出力電圧yは、一般的に次式で表される。
y=alx t+b …(13)
ここでaは感度、bは暗時出力電圧、lx は照度、tはCCDでの電荷蓄積時間である。lx はランプにより原稿に当たった光の反射量に相当する。従って、yは原稿の濃度情報のネガティブデータとなる。いま、ある濃度データをy1 とするとその時の蓄積時間t1 は次式(14)となる。
t1 =x0 /v1 …(14)
ここに、x0 は移動距離、v1 は移動速度である。
従って、速度変動が無いときの正しい濃度データy0 は、
y0 =alx t0 +b …(15)
t0 は、速度変動が無い時の正しいサンプリング時間である。
式(14)及び式(15)より、正しい濃度データy0 は式(16)のようにy1 とt1 で記述できる。
y0 =t0 /t1 ×(y1 −b)−b …(16)
t1 は式(14)を用いるか、或いはエンコーダからのパルスの時間間隔を測定して用いてもよい。すなわち、画像データを得たときの速度が判っていれば式(16)を用いて、正しい濃度データに補正できることを示している。式(13)は濃度データと蓄積時間がいわゆる線形の関係にあるが、非線形の場合や、何等かの関数で表現される場合でも、ここで、説明したような速度、蓄積時間による補正が可能である。
In such a case, the read image density data can be corrected to a correct density value using the moving speed fluctuation amount of the
In a CCD, a voltage obtained as an amount proportional to the image density is used as a density value. The output voltage y of the CCD is generally represented by the following equation.
y = al x t + b (13)
Where a is the sensitivity, b is dark output voltage, l x illuminance, t is the charge storage time of at the CCD. l x corresponds to the amount of reflection of light impinging on the document by the lamp. Therefore, y is negative data of the density information of the document. Now, when a certain density data and y 1 accumulation time t 1 at this time is represented by the following formula (14).
t 1 = x 0 / v 1 (14)
Here, x 0 is a moving distance, v 1 is the moving speed.
Therefore, the correct density data y 0 when there is no speed fluctuation is
y 0 = al x t 0 + b (15)
t 0 is a correct sampling time when there is no speed fluctuation.
From Expressions (14) and (15), correct density data y 0 can be described by y 1 and t 1 as in Expression (16).
y 0 = t 0 / t 1 × (y 1 −b) −b (16)
t1 may be obtained by using equation (14) or by measuring the time interval between pulses from the encoder. That is, if the speed at which the image data was obtained is known, it can be corrected to the correct density data using Expression (16). Equation (13) has a so-called linear relationship between the density data and the accumulation time. However, even in the case of non-linearity or when expressed by some function, the correction by the speed and the accumulation time described above is possible here. It is.
このCCDの電荷量推定による画像濃度補正を行うかどうかの判断は、読取走査位置に同期させて画像データをサンプリングし、読取りヘッドの速度変動によりCCDにおけるデータ取り込み時間が変動したとき、画像データから得た画像誤差のスペクトル分布には、ランダムな周波数にスペクトルが現れるので、このような場合、上述した画像補正を行う回路が起動される。また、既にこのようなCCDの電荷量推定による濃度補正を行っている場合でも、式(13)の感度a、暗時出力電圧bが温度、経時変化により変化するため、本発明により装置の調整をする際にこの画像補正アルゴリズムによる調整を行えば常にCCDの特性に応じた最適な画像補正が行える。 The determination of whether or not to perform image density correction by estimating the charge amount of the CCD is performed by sampling image data in synchronization with the reading scanning position, and when the data acquisition time in the CCD changes due to the speed fluctuation of the reading head, the image data is determined. Since a spectrum appears at a random frequency in the obtained image error spectrum distribution, a circuit for performing the above-described image correction is started in such a case. Also, even when such density correction has already been performed by estimating the charge amount of the CCD, the sensitivity a and the dark output voltage b in the equation (13) change with temperature and aging. If the adjustment is performed by the image correction algorithm when performing the correction, the optimum image correction according to the characteristics of the CCD can always be performed.
(4) マニュアル調整部(フラグK=5)
モータ制御部の説明においてマニュアル調整部と関連のあるものを記述した。しかし、モータ制御、画像補正を行ってもデータが改善されない場合がある。この回路では、その様な場合で原因がある程度特定できる場合、その問題箇所、対処方法を指示し、組立調整を支援する。
(4) Manual adjustment unit (flag K = 5)
In the description of the motor control unit, those related to the manual adjustment unit have been described. However, the data may not be improved even if the motor control and the image correction are performed. In such a case, if the cause can be identified to some extent in such a case, the location of the problem and a countermeasure method are instructed, and the assembly adjustment is supported.
画像データ誤差特定回路により得られる情報からは、以下に示す関係が分かる。
・スペクトルピークから得られる各機構部の固有振動数との相関。
・スペクトルピークから得られる減速器固有の振動。
・スペクトルピークから得られる光学系のエラー(汚れ、焦点ずれ)。
・読取り位置誤差分布から得られる摺動無際の潤滑不良。
・濃度低下によるランプの光量不足。
・濃度データ分布からわかる原稿台の汚れ。
他にも経験的に得られる相関を、例えばES(エキスパートシステム)のような推論手法に組み込むことにより、画像データ誤差特定回路により得られる情報から適切な対処を選択できる。
From the information obtained by the image data error identification circuit, the following relationship is known.
-Correlation with the natural frequency of each mechanism obtained from the spectrum peak.
-The inherent vibration of the reducer obtained from the spectral peak.
-Optical system errors (dirt, defocus) obtained from the spectral peaks.
-Lubrication failure without sliding obtained from the reading position error distribution.
-Insufficient light intensity of the lamp due to a decrease in density.
-Dirt on the platen that can be seen from the density data distribution.
In addition, by incorporating empirically obtained correlations into an inference method such as an ES (expert system), an appropriate countermeasure can be selected from information obtained by the image data error identification circuit.
(5) その他の情報指示部(フラグK=6)
画像データ誤差特徴抽出部54における画像データ等からの情報抽出においては、調整以外の目的に関する情報も得られる。ここでは、その情報を出力する。以下にここで扱う情報例を示す。
・画像濃度の頻度ヒストグラム。
・読取り位置誤差の再現性。
・各スペクトルピークのピーク値、バンド値。
(情報表示部)
これまで説明した、画像データ誤差特徴抽出部54、調整方法決定部56の各部で得られた情報を、装置の適当な部分に設定されたディスプレイに表示する。また、インターフェイスを経て外部出力装置に表示するようにしても良い。
(5) Other information indicating section (flag K = 6)
In the information extraction from the image data or the like in the image data error
-Frequency histogram of image density.
・ Reproducibility of reading position error.
-Peak value and band value of each spectrum peak.
(Information display section)
The information obtained by the image data error
なお、カラー画像入力の場合にもRGB、YMCなどに色分解された画像データは、基本的に各波長成分の反射光の強さに対応しているので本発明による装置の調整が可能である。また、読取り位置誤差分布を用いて各色同士の位置再現性、色調などカラー画像固有の項目の性能確認、調整が可能である。 In the case of inputting a color image, the image data color-separated into RGB, YMC, etc. basically corresponds to the intensity of the reflected light of each wavelength component, so that the apparatus according to the present invention can be adjusted. . Also, using the reading position error distribution, it is possible to confirm and adjust the performance of items unique to a color image, such as position reproducibility and color tone of each color.
図29は、画像データ中のエラーや画質を評価し、画像入力部及び画像出力部を調整する、より一般的な画像入力装置としての構成例を示している。同図において、電子カメラやスキャナ等からなる画像入力部291は、画像を撮影し、或いは原稿を走査して画像を読取り、これを画像データとして画像処理部292に送る。画像処理部292は、画像データを所定のフォーマットに整え、画像出力部293に送る。上記画像データは画像評価部294にも送られる。画像評価部293への画像データは、必ずしも1フレーム全体の画像データは必要無く、ある評価用の画像領域のデータのみでも良い。画像評価部293は、上述した画像データ誤差特徴抽出部54、誤差要因推定部55及び調整方法決定部56と同様の構成・機能を有し、サンプルの画像データから誤差要因、誤差状態、画質等について評価を行う。誤差要因や画質等が画像入力段階に関係すれば、画像入力部調整部295によって画像入力部291を調整する。例えば、画像データのレベルが低いと判断されるときには画像を読取るCCDのプリアンプのゲインを調整する。また、評価に基づいて画像出力部調整部296は読取った画像データの補正を行うべく画像出力部293を制御して、出力される画像データを補正する。出力画像をフィードバックバックすれば、調整は一定状態に収束する。
FIG. 29 shows a configuration example as a more general image input device that evaluates errors and image quality in image data and adjusts an image input unit and an image output unit. In the figure, an
このような構成を備える画像入力装置は、供給される画像データに基づいて自己診断を行い、自己の特性を把握して十分に自己調整する。この画像入力装置を他の画像処理装置の性能評価、調整補助に用いることが可能である。評価の対象となる装置、例えば電子カメラ、ファクシミリ、デジタル複写機等について画像誤差についての特徴と装置の状態を予め画像評価部294の誤差要因推定部分に設定しておけば、電子カメラ等の調整が行える。このような機能は、画像を読取り、読取った画像を処理し、プリンタにて出力するデジタル複写機では、特に効果的である。
画像 The image input device having such a configuration performs self-diagnosis based on the supplied image data, grasps its own characteristics, and sufficiently adjusts itself. This image input device can be used for performance evaluation and adjustment assistance of another image processing device. If the characteristics of the image error and the state of the device for an apparatus to be evaluated, for example, an electronic camera, a facsimile, a digital copying machine, etc., are set in advance in the error factor estimating portion of the
本発明の実施例によれば、読取りヘッドが移動しながら画像情報の取り込みを行う画像読取り装置において、読取りヘッドの移動速度に変動、装置機構部の異常振動、光学系のずれなど画像データに誤差が発生するような問題が生じても、画像データ誤差特徴抽出部により誤差情報を抽出し、誤差要因推定部により誤差要因を判別し、調整方法決定回路により誤差要因を解消すべく該当部分を調整し、読取った画像データを誤差の特徴に応じて補正方法を選択して補正する。この結果、真のものに近い画像データが得られる。このために装置の機械性能上必要な仕様を実現容易なものとすることができ装置コストも低減する。さらにエラー訂正によってスキャナ自体の読取り解像度性能が向上する。 According to an embodiment of the present invention, in an image reading apparatus that captures image information while the reading head moves, errors in image data such as fluctuations in the moving speed of the reading head, abnormal vibration of the mechanism of the device, and displacement of the optical system. Even if a problem occurs, the error information is extracted by the image data error feature extraction unit, the error factor is determined by the error factor estimation unit, and the corresponding part is adjusted by the adjustment method determination circuit to eliminate the error factor. Then, the read image data is corrected by selecting a correction method according to the characteristics of the error. As a result, image data close to the true one is obtained. For this reason, specifications required for the mechanical performance of the apparatus can be easily realized, and the cost of the apparatus can be reduced. Furthermore, the reading resolution performance of the scanner itself is improved by the error correction.
1 読取りヘッド
2 原稿
3 原稿台(ガラス)
4 CCD
5 光学系
6 画像読取り方向
7,17 A/D変換器
8 モータ
9 プーリ
10 ベルト
11,20 記憶装置
12,18 インターフェースコントローラ
13 モータコントローラ
14 モータ駆動部
15 ランプ
16 画像読取り装置
19 画像補正部
21 センサ
22 リニアエンコーダ
23 画像データ
24 パルス列
25 速度変動値
26 位置誤差
27 テストチャート
53 モード選択部
54 画像データ誤差特徴抽出部
55 誤差要因推定部
56 調整方法決定部
57 画像補正部
1 read
4 CCD
5 Optical system 6
Claims (1)
この後、対象とする原稿の画像を読み取り、読み取った画像データから得た、時間軸上及び周波数軸上におけるデータに基づいて前記第1のデータベース内の前記第1の誤差と前記第1誤差要因との対応関係及び前記第2の誤差と前記第2の誤差要因との対応関係から、対応する第1及び第2の誤差要因をピックアップし、
さらに、前記ピックアップした第1及び第2の誤差要因に基づき、画像データに生じているエラーを相殺する補正アルゴリズムを実行する、
ことを特徴とする、画像補正方法。 By reading the test chart, errors on the time axis and the frequency axis are obtained, a first error as an error on the time axis and a first error factor as a factor thereof, and an error on the frequency axis are obtained. Is stored in advance in the first database, and a second error as
Thereafter, an image of the target document is read, and the first error and the first error factor in the first database are determined based on data on the time axis and the frequency axis obtained from the read image data. And the corresponding first and second error factors are picked up from the corresponding relationship between the second error factor and the second error factor,
And executing a correction algorithm for canceling an error occurring in the image data based on the first and second error factors picked up.
An image correction method, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003295543A JP3740144B2 (en) | 1992-09-16 | 2003-08-19 | Image correction method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24676692 | 1992-09-16 | ||
JP2003295543A JP3740144B2 (en) | 1992-09-16 | 2003-08-19 | Image correction method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25253893A Division JP3559298B2 (en) | 1992-09-16 | 1993-09-14 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004007826A true JP2004007826A (en) | 2004-01-08 |
JP3740144B2 JP3740144B2 (en) | 2006-02-01 |
Family
ID=30445474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003295543A Expired - Fee Related JP3740144B2 (en) | 1992-09-16 | 2003-08-19 | Image correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3740144B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028737A (en) * | 2006-07-21 | 2008-02-07 | Seiko Epson Corp | Method of calculating print position of pattern on medium |
-
2003
- 2003-08-19 JP JP2003295543A patent/JP3740144B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028737A (en) * | 2006-07-21 | 2008-02-07 | Seiko Epson Corp | Method of calculating print position of pattern on medium |
Also Published As
Publication number | Publication date |
---|---|
JP3740144B2 (en) | 2006-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6571000B1 (en) | Image processing algorithm for characterization of uniformity of printed images | |
JP4478358B2 (en) | Digital image processing method and apparatus for brightness adjustment of digital image | |
US8223385B2 (en) | Printer job visualization | |
US7515305B2 (en) | Systems and methods for measuring uniformity in images | |
US6529616B1 (en) | Technique for accurate color-color registration measurements | |
US7424169B2 (en) | Active compensation of streaks using spatial filtering and feedback control | |
US8120816B2 (en) | Automated image quality diagnostics system | |
US6597473B1 (en) | Method to obtain consistent image quality measurements from different image input devices | |
JP5717361B2 (en) | Image forming apparatus | |
JP2003219158A (en) | Image forming apparatus | |
US8400683B2 (en) | Streak compensation using model based projections for run time updates | |
US6912071B1 (en) | Virtual tech rep by remote image quality analysis | |
US7516040B2 (en) | System and method for automated detection of printing defects in an image output device | |
JP2017204786A (en) | Image forming apparatus, image forming unit, and program | |
EP1387318B1 (en) | A method of compensating a digital image for the effects of flare light | |
JP3559298B2 (en) | Image processing apparatus and image processing method | |
JP3740144B2 (en) | Image correction method | |
US6888646B1 (en) | Color image processing apparatus and color image forming apparatus | |
US7102787B2 (en) | Image reading apparatus | |
US7542177B2 (en) | Image reading device and shading correcting method for the same | |
EP0504641B1 (en) | Image reader and method for image reading | |
JP2010220182A (en) | Image forming apparatus | |
JPH0678147A (en) | Image reader | |
JP6745062B2 (en) | Image forming device | |
JP3180497B2 (en) | Image density control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050325 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051104 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |