JP2007166431A - 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 Download PDFInfo
- Publication number
- JP2007166431A JP2007166431A JP2005362379A JP2005362379A JP2007166431A JP 2007166431 A JP2007166431 A JP 2007166431A JP 2005362379 A JP2005362379 A JP 2005362379A JP 2005362379 A JP2005362379 A JP 2005362379A JP 2007166431 A JP2007166431 A JP 2007166431A
- Authority
- JP
- Japan
- Prior art keywords
- gloss
- image
- pixel value
- profile
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title abstract description 84
- 238000012937 correction Methods 0.000 claims abstract description 126
- 238000003705 background correction Methods 0.000 claims abstract description 92
- 239000011521 glass Substances 0.000 claims abstract description 21
- 239000003086 colorant Substances 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 10
- 239000011230 binding agent Substances 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】コンタクトガラス2上に載置されたブック原稿40を読み取る画像読取手段1と、画像読み取り手段1により読み取られたブック原稿40のスキャン画像の画素値からブック原稿40の平坦部の画素値を求め、平坦部の画素値に基づきスキャン画像の綴じ部41付近の地肌を補正する地肌補正手段と、ブック原稿40の湾曲により生じるスキャン画像の光沢を補正する光沢補正手段と、を有することを特徴とする画像処理装置を提供する。
【選択図】図12
Description
a)有彩色に分類された一次元画像については、
地肌補正ステップにより、ブック原稿の綴じ部と垂直な方向の画素値に基づきスキャン画像の傾向を示す画素値プロフィールを抽出し、光沢補正ステップにより、スキャン画像の画素値に基づき光沢なしプロフィールを抽出し、画素値プロフィールと光沢なしプロフィールとの差分により湾曲による光沢成分を抽出し、抽出された光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
b)無彩色に分類された一次元画像については、
光沢補正ステップにより、近似モデルにより前記湾曲による光沢成分を抽出し、抽出された光沢成分を画素値から減じて前記スキャン画像の光沢を補正することを特徴とする。
以上のような画像処理後のデジタル画像信号は、メイン制御部19を介して、印刷する場合にはプリンタ部に、ファクシミリ送信する場合にはファクシミリ部に、OCR処理を行う場合は所定の記憶装置に送信されて、それぞれの処理に供される。
Pr(x,y)=ar・ρr(x,y)・Isr(y)・cos(φ(y))+ar・Isr(y)・fs(x,y)+Δr
Pg(x,y)=ag・ρg(x,y)・Isg(y)・cos(φ(y))+ag・Isg(y)・fs(x,y)+Δg
Pb(x,y)=ab・ρb(x,y)・Isb(y)・cos(φ(y))+ab・Isb(y)・fs(x,y)+Δb
〜 (1)
式(1)において、右辺第1項は拡散反射成分であり、従来の光学モデルとして用いているものである。そして、右辺第2項は光沢による反射光成分(正反射成分,鏡面反射成分とも呼ばれる)である。この中のfs(x、y)は、正反射特性と呼ばれるものである。なお、式(1)において、ρ(x,y)は反射率、Is(y)は照明光強度、a及びΔはCCD内の光電変換パラメータ(aはゲイン、Δはバイアス)である。また、φ(y)はブック原稿40の法線方向nと光源3の方向とのなす角である。ここでは、x,y のパラメータしか記していないが、実際のfs(x、y)は、ブック原稿表面の形状はもちろん、紙質や紙面の色および光源の色等、様々な要因によって変化する。
地肌補正処理1では以下の1〜7の処理を順次実行する。
入力画像の赤、緑、青成分を用いて、各画素における明度(Value)、彩度(Saturation)、色相(Hue)の値を求める。
各画素の座標(x,y)における赤、緑、青成分をそれぞれ、R(x,y),G(x,y),B(x,y)、明度、彩度、色相の値をそれそれV(x,y),S(x,y),H(x,y)とする。V、S、Hは、R・G・Bを用いて次にように表すことができる。
V(x,y) = 0.3*R(x,y) + 0.59*G(x,y) +0.11*B(x,y)
C1(x,y)= R(x,y) - V(x,y)
C2(x,y) = B(x,y)‐ V(x,y)
H(x,y)= Tan^(-1)(C1(x,y)/C2(x,y))
S(x,y) = √(C1(x,y)^2 +C2(x,y)^2)
2. 有彩色、無彩色の判定
S(x,y) と適当なしきい値St(例えば、閾値St = 15)を用いて、各画素を有彩色または無彩色に分類する。
S(x,y) ≦ St ならば、無彩色
S(x,y) > St ならば、有彩色
3. 明度プロフィールの作成
V(x,y)を用いて、綴じ部に垂直な方向に沿った明度プロフィールV(y)を作成する。具体的には、
・各yにおけるV(x,y)の1次元画像V(x)についてヒストグラムを求め、明るい方からVt個(以上)の画素が存在する明度の範囲(v1,v2とする)を求める。Vtの値は、例えば、Vt = (画像の幅の画素数)×0.1である。
・v1からv2の範囲について明度の平均値を求め、それをv(y)とする。これをライン毎に(y毎に)求める。
明度プロフィールv(y)を、雑音除去のため平滑化する。
各yについて、yを中心にしたv(y−n)からv(y+n)の平均値をv(y)の値にする。これを数回繰り返す。例えば、3〜10回繰り返す。
具体的には、明度プロフィールv(y)から平坦部分の明度を算出する。
図10は明度プロフィールv(y)の画素と明度の関係の一例を示す。図10に示すように明度が小さい部分がスキャン画像の綴じ部である。
まず、
・v(y)の値(明度)についてのヒストグラムを作成する。
図11はv(y)のヒストグラムの一例を示す。図11ではX軸が明度、Y軸が画素数である。そして、
・最も頻度が高い明度が平坦部分の明度に対応すると考えられることから(図10では左右の平坦部)、その明度を中心に、±Vmの範囲について明度の平均値を求め、それを平坦部の明度Vflatとする。例えば、VmはVm =2である。
正規化明度プロフィールvn(y)を以下の式で算出する。
平坦部分の値を1.0となるようにそのほかの明度を1以下の値で表し(比で表し)明度プロフィール全体に乗じ、0〜1の範囲に正規化する。
vn(y) = v(y) / Vflat
7. 地肌補正
各画素(x,y)について、
・その画素が有彩色の場合は、
S'(x,y) =S(x,y)/ vn(y)
V'(x,y) = V(x,y)/ vn(y)
として彩度と明度を補正し、H(x,y)、S'(x,y),V’(x,y)から、R,G,Bの値を求める。
・その画素が無彩色の場合は、
V’(x,y) = V(x,y)/vn(y)
として明度のみ補正し、H(x,y),S(x,y),V’(x,y)から,R,G,Bの値を求める。
地肌補正処理2では以下の1〜6の処理を順次実行する。地肌補正処理2では地肌補正処理1とは異なり、有彩色/無彩色に分別せずに、R,G,B値を直接補正する。
入力画像の赤、緑、青成分を用いて、各画素における明度(Value)の値を求める。座標(x,y)における赤、緑、青成分をR(x,y),G(x,y),B(x,y)、明度の値をV(x,y)とする。
明度の値Vは、例えば、
V(x,y) = 0.3*R(x,y) + 0.59*G(x,y) + 0.11*B(x,y)
となる。なお、グレースケール画像の場合は、画素値そのものをV(x,y)として扱い処理を行う。
V(x,y)を用いて、綴じ部に垂直な方向(y方向)に沿った明度プロフィールv(y)を作成する。具体的には、
・各yにおけるV(x,y)の1次元画像V(x)についてヒストグラムを求め、明るい方からVt個(以上)の画素が存在する明度の範囲(v1,v2とする)を求める(図9参照)。例えばVtは、Vt = (画像の幅の画素数)×0.1 である。
・v1からv2の範囲について明度の平均値を求め、それをv(y)とする。
明度プロフィールv(y)を、雑音除去のため平滑化する。
各yについて、yを中心にしたv(y−n)からv(y+n)の平均値をv(y)の値にする。これを数回繰り返す。例えば、3〜10回繰り返す。
明度プロフィールv(y)から平坦部分明度を算出する(図10参照)。
・v(y)の値(明度)についてのヒストグラムを作成する。
・最も頻度が高い明度が平坦部分の明度に対応することから、その明度を中心に、±Vmの範囲について明度の平均値を求め、それを平坦部の明度Vflatとする(図11参照)。例えば、Vm=2である。
正規化明度プロフィールvn(y)を以下の式で算出する。平坦部分の値を1.0とする比を明度プロフィール全体に乗じ、0〜1の範囲に正規化する。
vn(y) = v(y) / Vflat
6. 地肌補正
各画素(x,y)について、R,G,Bの値を直接補正する。
R'(x,y) = R(x,y)/vn(y)
G’(x,y)= G(x,y)/vn(y)
B’(x,y)= B(x,y)/vn(y)
地肌補正処理2では、地肌補正処理1とは異なりV(x,y) のみ求めればよく、有彩色、無彩色の分類処理は必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できる。
地肌補正処理3では、以下の1〜5の処理を順次実行する。地肌補正処理3では地肌補正処理1及び2とは異なり、画素値R,G,B の各画像について、直接正規化(R,G,B)プロフィールを求め、それを用いて、対応するR,G,B画像の補正を行う。
R,G,Bの各画素値について、各1次元画像における画素値の最大値(ヒストグラムを求め、値の大きい方から、p%の画素値の平均値)を求め、それをr(y),g(y),b(y)とする。グレースケール画像の場合は、画素値そのものをg(y)として扱い同様の処理を行う。
プロフィールr(y),g(y),b(y)を、雑音除去のため平滑化する。各yについて、yを中心にしたr(y−n)からr(y+n), g(y−n)からg(y+n),b(y−n)からb(y+n)の平均値をr(y),g(y),b(y)の値にする。これを数回繰り返す。例えば、3〜10回繰り返す
3. プロフィールから平坦部分明度を求める
プロフィールr(y),g(y),b(y)から平坦部分を算出する。
・r(y),g(y),b(y)についてのヒストグラムを作成する。
・最も頻度が高い値が平坦部分に対応することから、その値を中心に、±mの範囲について平均値を求め、それを平坦部の基準値Pr_flat,Pg_flat,Pb_flatとする。例えば、m = 2である。
正規化明度プロフィールpr(y),pg(y),pb(y)を以下の式で算出する。平坦部分の値を1.0とする比をプロフィール全体に乗じ、0〜1の範囲に正規化する。
pr(y) = r(y) / Pr_flat
pg(y) = g(y) / Pg_flat
pb(y) = b(y) / Pb_flat
5. 地肌補正
各画素(x,y)について、R,G,Bの値を直接補正する。
R’(x,y) = R(x,y) / pr(y)
G’(x,y) = G(x,y) / pg(y)
B’(x,y) = B(x,y) / pb(y)
地肌補正処理3では、地肌補正処理1及び2と異なりV(x,y),S(x,y),H(x,y)を求める必要がなく、有彩色、無彩色の分類処理も必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できる。
Pg(x,y)=Fdg(x,y)+Fsg(x,y) 〜(2)
Pb(x,y)=Fdb(x,y)+Fsb(x,y)
ここで、有彩色の彩度のプロフィールは光沢の有無に関わらず同じような変化をすることから、次のように考える。式(2) から、明度 V、 色差信号、彩度 Sは、次のように求められる(なお、画素位置を示す(x,y) は省略した)。
C1=Pb−V
C2=Pr−V 〜 (3)
S=√(C1 2+C2 2)
式(3)からC1、C2を整理すると、
C1=
0.7Fdr−0.59Fdg−0.11Fdb+0.7Fsr−0.59Fsg−0.11Fsb
C2=
0.89Fdb−0.3Fdr−0.59Fdg+0.89Fsb−0.3Fsr−0.59Fsg
「正反射成分が光源の色やブック原稿の紙面の色に関わらず一定である」とすると、
Fsr=Fsg=Fsb
とできるので、式(2)は次のように表せる。
C1=0.7Fdr−0.59Fdg−0.11Fdb
C2=0.89Fdr−0.3Fdg−0.59Fdb 〜 (4)
すなわち、彩度(色差信号)については光沢がない場合と同じ結果が得られる。
R,G,Bの各画素値について、各1次元画像(主走査方向)における画素値の最大値(ヒストグラムを求め、値の大きい方から、例えばp%の画素値の平均値)を求め、それをr(y),g(y),b(y)とする。ついで、R,G、Bの各プロフィールr(y),g(y),b(y)を、雑音除去のため平滑化する。各yについて、yを中心にしたr(y−n)からr(y+n), g(y−n)からg(y+n),b(y−n)からb(y+n)の平均値をr(y),g(y),b(y)の値にする。これを数回(例えば、3〜10回)繰り返す。以上で、R、G、BそれぞれのプロフィールPbg−r(y)、Pbg−g(y)、Pbg−b(y)が得られた。
各プロフィールPbg−r(y)、Pbg−g(y)、Pbg−b(y)から平坦部分Pr_flat,Pg_flat,Pb_flatを算出する。平坦部の画素値の算出は次のように行う。
・Pbg−r(y)、Pbg−g(y)、Pbg−b(y)についてのヒストグラムを作成する。
・最も頻度が高い値が平坦部分に対応することから、その値を中心に±mの範囲について平均値を求め、それを平坦部の画素値をPr_flat,Pg_flat,Pb_flat とする。例えば、m = 2である。
彩度のプロフィールは、各画素毎にS=√(C1 2+C2 2)を求め、以降はR、G、Bのプロフィールと同様に求めることができる。
彩度のプロフィールは既に求められているので、R、G、Bと同様にして彩度のプロフィールから彩度の平坦部sflatを求める。そして、sflatを用いて平坦部の彩度が1.0となるように彩度のプロフィールをsflatで除算することで、彩度のプロフィールは正規化される。
上記の通り、正規化した彩度プロフィールに平坦部の画素値(この場合はR、G、Bの平坦部の値)を乗じると、光沢が無い場合の明度プロフィールを求めることができる。
Pnbg−r(y)=Pbg−r(y)/Pr_flat
Pnbg−g(y)=Pbg−g(y)/Pg_flat
Pnbg−b(y)=Pbg−b(y)/Pb_flat
そして各画素(x,y)について、R,G,Bの値を直接補正する(yは綴じ部付近の座標となる。)。
R'(x,y) = R(x,y)/Pnbg−r(y)
G’(x,y)= G(x,y)/Pnbg−g(y)
B’(x,y)= B(x,y)/Pnbg−b(y)
したがって、このように光沢補正のために光沢なしプロフィールを、地肌補正のために画素値のプロフィールを求めることで、より精度よく地肌補正することができる。
明度プロフィールの求め方を説明する。明度VはV=0.3Pr+0.59Pg+0.11Pbにより求められる。一次元画像中の各画素毎にV(x,y)を用いて、綴じ部41に垂直な方向(副走査方向)に沿った明度プロフィールv(y)を作成する。
・各yにおけるV(x,y)の1次元画像V(x)についてヒストグラムを求め、明るい方からVt個(以上)の画素が存在する明度の範囲(v1〜v2の範囲とする)を求める。ここで、Vtの値は、例えば、“Vt=(画像の幅の画素数)×0.1”とする。
・そして、v1〜v2の範囲について明度の平均値を求め、それをv(y)とする。これは一次元画像ごとの値である。
図15は、明度プロフィールの一例を示す。
平坦部の明度(Vflat)から、やや暗い明度(r1・Vflat)を考え、その明度になる y 座標(y1,y2)をプロフィールの暗い側から探索し、検出する。
式(7)に示すように画素値から光沢成分R(y)を減ずることで光沢を補正できる。同様にしてG、Bについても表せる。
地肌色を求めることで、地肌が無彩色か有彩色を判定できる。地肌色プロフィールの抽出について説明する。
c1=R−V=0.7R−0.59G−0.11B
c2=B−V=−0.3R−0.59G−0.89B
s=√(c12+c22)
1−2. s の値と、有彩色・無彩色分類のしきい値(St)とを比較し、有彩色か無彩色かに分ける
1−3.有彩色の場合、2次元の色差信号ヒストグラムにおいて、(c1、c2) の度数を1 増やす。
1次元画像中の画素の有彩色の中で、色差信号が(c1*、c2*)の画素について、R、G、B それぞれの画素値の平均値を求め、それを地肌色プロフィールPg(y)、Pb(y)、Pr(y) の値とする。
4.v*の度数が高い場合
1次元画像中の画素の無彩色の中で、明度がv*の画素について、R、G、Bそれぞれの画素値の平均値を求め、それを地肌色プロフィール Pg(y)、Pb(y)は、Pr(y) の値とする。
2−1. 明度 v、 彩度 s、 色相h を求める。
2−2. s の値としきい値 St を比較し、有彩色か無彩色かに分ける
2−3. 有彩色の場合、色相ヒストグラムにおいて、h の度数を 1 増やす。
4−1. 全画像中で、有彩色であって、かつ色相がh* と等しい画素を抜き出す(書籍範囲外は除く)
4−2. 各1次元画像毎に、抜き出された画素があれば R,G,B の平均値を求め、地肌色プロフィールの値とする。なお、ステップ4−1の画素が無い場合、プロフィールの値は求めない。
5−1. 全画像中で、無彩色の部分を抜き出す(書籍範囲外は除く)
5−2. 各1次元画像について、無彩色の画素がある場合、以下の処理を行い、地肌色プロフィールの値を求める(無彩色の画素が無い場合は求めない)
- 明度を求め、さらにそれを量子化した値を求める
- 量子化された明度についてヒストグラムを求める
- 最大度数となる量子化された明度vd*を求める
- 量子化された明度vd*を持つ画素の明度の平均値を求め、それを地肌色プロフィールPr(y)の値とする。
具体的には、地肌色の明度プロフィールを求め、実施例2と同様に光沢部分y0〜y1及びy2〜y3を求める。
具体的には、地肌色の R,G,B プロフィールPr(y)、Pg(y)、Pb(y)と平坦部の画素値の値から、各R,G,B 画像毎に補正を行う。
Pnr(y)=Pr(y)/Pr_flat
Png(y)=Pg(y)/Pg_flat
Pnb(y)=Pb(y)/Pb_flat
そして各画素(x,y)について、R,G,Bの値を直接補正する。
R'(x,y) = R(x,y)/Pnr(y)
G’(x,y)= G(x,y)/Png(y)
B’(x,y)= B(x,y)/Pnb(y)
ついで、光沢補正手段は、有彩色か否か判定し(S24)、光沢部分について光沢の補正を施す(S25,26)。
Rv(y)=0.3Rr(y)+0.59Rg(y)+0.11Rb(y)
なお、光沢明度Rv(y)の最大が 1 になるように正規化を行う。
t = (Vflat - v) / Vflat
ついで、コントラスト補正手段は、明度 v を光沢明度Rv(y)により補正し、補正後の明度v' とする(S36)。
v' = v−va*(t+Rv(y))/2
なお、vaはコントラストを強調するパラメータである。
s' = s + vb*(t + Rv(y))/2
ついで、v'、s'、hから、R、G、B の値を求め、各画素(x,y) の補正後の画素値とする(S38)。v'、s'、hから、R、G、Bへの変換は周知の公式を用いる。
1.スキャン画像において、綴じ部41の両端の位置を検出し、綴じ部41に相当する直線を求める。両端の位置の検出については、ブック原稿40のページ外形の検出処理(一番内側に入り込んでいる箇所を検出する)、画像中央部の濃度(一番濃い箇所)、または、明度の変化を利用することで検出が可能である。
続いて、図8のステップS300におけるゆがみ形状補正について説明する。
ャートである。
まず、ステップS311におけるスキャン画像からのページ外形の抽出処理について説明する。図24は、スキャン画像の上端にページ外形が存在するスキャン画像の一例を示す。また、図25は図24に示したスキャン画像の綴じ部41境界線左側の黒画素ヒストグラムである。
続くステップS212においては、スキャン画像からの罫線の抽出処理を実行する。
本実施の形態では、罫線の矩形抽出を導入し、図24に示すようなスキャン画像に存在する罫線を1つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、ランの登録に制限を設けた矩形抽出を行う。
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図27に示すような罫線とノイズが接触している画像に対して、主走査方向(垂直方向)に一定値未満のランのみを登録し矩形を抽出すると、図29に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。
表など、副走査方向(水平方向)の罫線と主走査方向(垂直方向)の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図30に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は1つの矩形として抽出されず、複数の細切れの矩形となって抽出される。
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の4箇所それぞれにおいて行う。例えば、図32に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。
例えば、図32に示す画像の右下の場合、綴じ部41付近まで食い込んでいる罫線が補正に利用される。
例えば、図32に示す画像の右上の場合、双方の罫線は綴じ部41付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。
例えば、図32に示す画像の左下の場合、双方の罫線は綴じ部41付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合(例えば、左上と右上、左下と右下)、画像によっては、綴じ部41をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。
続くステップS213においては、スキャン画像からの文字行の抽出処理を実行する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図33は図46に示したスキャン画像の副走査方向の黒白反転数ヒストグラムである。図33の横軸は、副走査方向(左右方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の主走査方向上での位置を示し、図33中の縦軸はその位置毎の黒画素数を示すものである。
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図35に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図36に示すように横書き文字行の長さBCが予め定められた閾値より長く、かつ、綴じ部41境界線を挟んだ左右の一定幅領域内(図36の網掛け領域)に横書き文字行の一部Cがかかっていることを条件とし、その中で上下何れかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Bは文字行の一番左の矩形の中心であり、Cは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
最適な横書き文字行が選択された場合には、横書き文字行の(主走査方向の)座標値を決定する。横書き文字行の(主走査方向の)座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の(主走査方向の)座標値を決定することになる。より詳細には、図36に示すDは綴じ部41境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線がブック原稿40の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
次に、各縦書き文字行から横書き文字行を抽出する。
図37は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図37に示すように、まず、縦書き文字行の行切り出し矩形を抽出する(S321)。なお、縦書き文字行の行切り出し矩形の抽出処理は、OCR等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図38は、抽出した行切り出し矩形を例示的に示す説明図である。
2.y座標の負方向(図41中、下方へ向かう方向)に関して、着目行Hの先頭位置から見てx座標の正方向(綴じ部41境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b2/a1)で表している)の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Hの次の縦書き文字行Iの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Jの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Jを新たな着目行として同様の処理を続ける。
2.着目行Lの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き(b4/a2)が、着目行Lの先頭位置と直前の抽出行Kの先頭位置を結ぶ直線の傾き(b5/a3)から一定値αを減じた値よりも大きい。すなわち、“b4/a2>b5/a3−α”を満足すること(基本的には、“b4/a2>b5/a3”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である)
すなわち、着目行Lの次の縦書き文字行Mの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Nの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Nを新たな着目行として同様の処理を続ける。
2 コンタクトガラス
3 露光ランプ
19 メイン制御部
20 画像処理部
40 ブック原稿
41 綴じ部
Claims (22)
- コンタクトガラス上に載置されたブック原稿を読み取る画像読取手段と、
前記画像読み取り手段により読み取られた前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部の画素値を求め、前記平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌補正手段と、
前記ブック原稿の湾曲により生じる前記スキャン画像の光沢を補正する光沢補正手段と、
を有することを特徴とする画像処理装置。 - 前記地肌補正手段は、前記ブック原稿の綴じ部と平行な方向の一次元画像毎に一次元画像の代表値を抽出して構成された前記綴じ部と垂直方向の画素値プロフィールを抽出し、
前記光沢補正手段は、
前記スキャン画像の画素値に基づき光沢がない場合の前記画素値プロフィールに相当する光沢なしプロフィールを抽出し、
前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出し、
抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記光沢補正手段は、前記スキャン画像の彩度に、前記平坦部の画素値を乗じて前記光沢なしプロフィールを抽出する、
ことを特徴とする請求項2記載の画像処理装置。 - 前記光沢補正手段は、
近似モデルにより前記湾曲による光沢成分を抽出し、
抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記光沢補正手段は、
前記スキャン画像の一次元画像毎に有彩色か無彩色に分類し、
a)有彩色に分類された一次元画像については、
前記地肌補正手段は、前記ブック原稿の綴じ部と垂直な方向の画素値に基づき前記スキャン画像の傾向を示す画素値プロフィールを抽出し、
前記光沢補正手段は、前記スキャン画像の画素値に基づき光沢なしプロフィールを抽出し、
前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出し、
抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
b)無彩色に分類された一次元画像については、
前記光沢補正手段は、
近似モデルにより前記湾曲による光沢成分を抽出し、
抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記光沢補正手段は、
光沢を補正した前記スキャン画像のコントラストを補正するコントラスト補正手段を有する、
ことを特徴とする請求項2ないし5いずれか記載の画像処理装置。 - 前記コントラスト補正手段は、
抽出された前記光沢成分による光沢部分の光沢明度を算出し、
前記光沢部分の画素値に基づく明度が所定より小さい場合、前記光沢明度に基づき前記光沢部分の画素値に基づく明度又は彩度を補正する、
ことを特徴とする請求項6記載の画像処理装置。 - 前記地肌補正手段は、前記スキャン画像を前記綴じ部と垂直な方向に複数の領域に分割し、
前記地肌補正手段は、前記領域毎に地肌を補正し、
前記光沢補正手段は、前記領域毎に光沢を補正する、
ことを特徴とする請求項1ないし7いずれか記載の画像処理装置。 - 前記地肌補正手段は、前記スキャン画像を前記綴じ部と平行な方向に複数の領域に分割し、
前記地肌補正手段は、前記領域毎に地肌を補正し、
前記光沢補正手段は、前記領域毎に光沢を補正する、
ことを特徴とする請求項1ないし7いずれか記載の画像処理装置。 - 前記地肌補正手段は、前記スキャン画像を前記綴じ部と垂直及び平行な方向に複数の領域に分割し、
前記地肌補正手段は、前記領域毎に地肌を補正し、
前記光沢補正手段は、前記領域毎に光沢を補正する、
ことを特徴とする請求項1ないし7いずれか記載の画像処理装置。 - コンタクトガラス上に載置されたブック原稿を読み取る画像読取ステップと、
前記画像読み取り手段により読み取られた前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部の画素値を求め、前記平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌補正ステップと、
前記ブック原稿の湾曲により生じる前記スキャン画像の光沢を補正する光沢補正ステップと、
を有することを特徴とする画像処理方法。 - 前記地肌補正ステップは、
前記ブック原稿の綴じ部と平行な方向の一次元画像毎に一次元画像の代表値を抽出して構成された前記綴じ部と垂直方向の画素値プロフィールを抽出するステップを有し、
前記光沢補正ステップは、
前記スキャン画像の画素値に基づき光沢がない場合の前記画素値プロフィールに相当する光沢なしプロフィールを抽出するステップと
前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出するステップと、
抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正するステップと、
を有することを特徴とする請求項11記載の画像処理方法。 - 前記光沢補正ステップでは、前記スキャン画像の彩度に、前記平坦部の画素値を乗じて前記光沢なしプロフィールを抽出する、
ことを特徴とする請求項12記載の画像処理方法。 - 前記光沢補正ステップは、
近似モデルにより前記湾曲による光沢成分を抽出するステップと、
抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正するステップと、
を有することを特徴とする請求項11記載の画像処理方法。 - 前記光沢補正ステップは、
前記スキャン画像の一次元画像毎に有彩色か無彩色に分類するステップを有し、
a)有彩色に分類された一次元画像については、
前記地肌補正ステップにより、前記ブック原稿の綴じ部と垂直な方向の画素値に基づき前記スキャン画像の傾向を示す画素値プロフィールを抽出し、
前記光沢補正ステップにより、前記スキャン画像の画素値に基づき光沢なしプロフィールを抽出し、
前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出し、
抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
b)無彩色に分類された一次元画像については、
前記光沢補正ステップにより、
近似モデルにより前記湾曲による光沢成分を抽出し、
抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
ことを特徴とする請求項11記載の画像処理方法。 - 前記光沢補正ステップは、
光沢を補正した前記スキャン画像のコントラストを補正するコントラスト補正ステップを有する、
ことを特徴とする請求項12ないし15いずれか記載の画像処理方法。 - 前記コントラスト補正ステップは、
抽出された前記光沢成分による光沢部分の光沢明度を算出するステップと、
前記光沢部分の画素値に基づく明度が所定より小さい場合、前記光沢明度に基づき前記光沢部分の画素値に基づく明度又は彩度を補正するステップと、
を有することを特徴とする請求項16記載の画像処理方法。 - 前記地肌補正ステップにより、前記スキャン画像を前記綴じ部と垂直な方向に複数の領域に分割し、
前記地肌補正ステップにより、前記領域毎に地肌を補正し、
前記光沢補正ステップにより、前記領域毎に光沢を補正する、
ことを特徴とする請求項11ないし17いずれか記載の画像処理方法。 - 前記地肌補正ステップにより、前記スキャン画像を前記綴じ部と平行な方向に複数の領域に分割し、
前記地肌補正ステップにより、前記領域毎に地肌を補正し、
前記光沢補正ステップにより、前記領域毎に光沢を補正する、
ことを特徴とする請求項11ないし17いずれか記載の画像処理方法。 - 前記地肌補正ステップにより、前記スキャン画像を前記綴じ部と垂直及び平行な方向に複数の領域に分割し、
前記地肌補正ステップにより、前記領域毎に地肌を補正し、
前記光沢補正ステップにより、前記領域毎に光沢を補正する、
ことを特徴とする請求項11ないし17いずれか記載の画像処理方法。 - コンピュータに、請求項11ないし20いずれか記載の画像処理方法を実行させるためのプログラム。
- 請求項21記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005362379A JP4646130B2 (ja) | 2005-12-15 | 2005-12-15 | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005362379A JP4646130B2 (ja) | 2005-12-15 | 2005-12-15 | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007166431A true JP2007166431A (ja) | 2007-06-28 |
JP4646130B2 JP4646130B2 (ja) | 2011-03-09 |
Family
ID=38248789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005362379A Expired - Fee Related JP4646130B2 (ja) | 2005-12-15 | 2005-12-15 | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4646130B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009038523A (ja) * | 2007-07-31 | 2009-02-19 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2009111665A (ja) * | 2007-10-30 | 2009-05-21 | Kyocera Mita Corp | 画像形成装置 |
JP2010050756A (ja) * | 2008-08-21 | 2010-03-04 | Canon Inc | 画像処理装置及び画像処理方法 |
US20210105377A1 (en) * | 2019-10-03 | 2021-04-08 | Fuji Xerox Co., Ltd. | Image processing apparatus, crease forming device, and folding device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341283A (ja) * | 1998-05-28 | 1999-12-10 | Minolta Co Ltd | 画像読み取り装置 |
-
2005
- 2005-12-15 JP JP2005362379A patent/JP4646130B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341283A (ja) * | 1998-05-28 | 1999-12-10 | Minolta Co Ltd | 画像読み取り装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009038523A (ja) * | 2007-07-31 | 2009-02-19 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2009111665A (ja) * | 2007-10-30 | 2009-05-21 | Kyocera Mita Corp | 画像形成装置 |
JP2010050756A (ja) * | 2008-08-21 | 2010-03-04 | Canon Inc | 画像処理装置及び画像処理方法 |
US8351090B2 (en) | 2008-08-21 | 2013-01-08 | Canon Kabushiki Kaisha | Image processing apparatus, method of imaging processing and storage medium |
US20210105377A1 (en) * | 2019-10-03 | 2021-04-08 | Fuji Xerox Co., Ltd. | Image processing apparatus, crease forming device, and folding device |
US11659115B2 (en) * | 2019-10-03 | 2023-05-23 | Fujifilm Business Innovation Corp. | Image processing apparatus, crease forming device, and folding device specifying the position of a folding line based on acquiring first image information and second image information |
Also Published As
Publication number | Publication date |
---|---|
JP4646130B2 (ja) | 2011-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4926568B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US7016081B2 (en) | Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus | |
JP2005310068A (ja) | 白目補正方法及びこの方法を実施する装置 | |
JP2006203703A (ja) | 画像処理装置、画像形成装置、画像読取処理装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP4271085B2 (ja) | 画像補正装置、画像読取装置、プログラム及び記憶媒体 | |
JP4646130B2 (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 | |
JP4162633B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3820751B2 (ja) | 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体 | |
JP4111697B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3983721B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4577844B2 (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 | |
JP4577845B2 (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 | |
JP4024737B2 (ja) | 画像処理装置、画像読取装置、画像形成装置、画像処理方法、およびプログラム | |
JP4180260B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4073877B2 (ja) | 画像処理方法、画像処理装置及び画像形成装置並びにコンピュータプログラム | |
JP3979639B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4093970B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP4194076B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4198613B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP4480291B2 (ja) | 画像歪み補正装置、記憶媒体、プログラム、画像歪み補正方法、画像読取装置および画像形成装置 | |
JP3917421B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP2003143407A (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP2003204428A (ja) | 画像補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP2002185791A (ja) | 画像処理装置、画像処理方法および記録媒体並びに画像形成装置 | |
JP2000004352A (ja) | 画像処理方法及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101202 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |