JP2005092822A

JP2005092822A - 画像補正装置および方法

Info

Publication number: JP2005092822A
Application number: JP2003329154A
Authority: JP
Inventors: Hiroshi Sato; 博佐藤
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2003-09-19
Filing date: 2003-09-19
Publication date: 2005-04-07
Anticipated expiration: 2023-09-19
Also published as: JP4021394B2

Abstract

【目的】複数台のカメラによって得られる画像データの明るさを統一化する。
【構成】複数台のカメラによって印刷物の一部がオーバーラップして撮像される。オーバーラップ画像データ中における輝度変化の少ない領域が，平均輝度値を求めるための領域として決定される（ステップ14〜16）。複数台のカメラから得られるオーバーラップ画像データのそれぞれについて，決定された領域の平均輝度値ｔ_i，ｔ_i+1が求められる（ステップ17，18）。求められた２つの平均輝度値を同一にするための修正係数Ｔ_i+1（^*Ｔ_i+1 ）が算出される（ステップ19，20）。
【選択図】図３

Description

この発明は，画像補正装置および方法に関する。

印刷物の検査（たとえば色調の良否検査，汚れの有無の検査，抜けの有無の検査等）を目視ではなく自動的に行う検査システムとして，印刷物を光源から投射される照明光によって照明しつつ，ＣＣＤラインセンサを含むカメラ（撮像装置）によって撮像し，撮像によって得られる被検査画像データと，あらかじめ用意される基準画像データ（一般的には，正確と思われる被検査画像データ）とを比較するものがある。

撮像によって得られる被検査画像データによって表わされる被検査画像において，被検査画像の周辺部分（中心から離れている部分）が本来の明るさよりも暗くなったり，被検査画像の全体または一部に明暗が生じたりすることがある。このような被検査画像の明るさの歪みは，カメラに設けられるレンズの中心とその周辺部分とでは集光度が異なること，光源からの照明光が不均一であること等を起因とする。

被検査画像データの明るさの歪みを補正するために，シェーディング補正が行われることがある。シェーディング補正では，基準白色板を撮像し，得られる画像データの明るさが全体的に均一となるような補正係数を，画素ごとにあらかじめ求めておく。求めておいた補正係数が用いられて被検査画像データの明るさが画素ごとに補正される。

特許文献１は，複数台のカメラによって印刷物を撮像し，撮像によって得られた複数の画像データを繋ぎ合わせて新たな画像データを出力する場合に，全体的に明暗の差がない均一な画像データを出力する方法および装置を提案している。特許文献１においても，複数のカメラのそれぞれにおいて基準白色板をあらかじめ撮影して補正係数を得ておき，あらかじめ得られた補正係数を用いて複数台のカメラによって得られる画像データの明るさ（輝度値）を補正している。
特開平１１−３３１５５２号公報

この発明は，基準板をあらかじめ撮像することなく，複数台のカメラによって得られる画像データの明るさを統一化されたものにすることを目的とする。

この発明はまた，複数台のカメラのそれぞれの特性のばらつきによって生じる複数台のカメラから得られる画像データの明るさのばらつきを無くすことを目的とする。

この発明による画像補正装置は，同一の被写体をその一部において重複して撮像するように設けられた複数台の撮像装置のそれぞれから出力される複数の画像データによって表される画像の明るさを補正する装置であって，複数の画像データのそれぞれに存在する重複画像部分を表すデータの少なくとも一部の領域の明るさを表すデータのそれぞれに基づいて，上記それぞれの明るさを表すデータを同一にするための修正係数を算出する修正係数算出手段，および上記修正係数算出手段によって算出された修正係数に基づいて，上記複数の画像データのうち少なくとも一の画像データの全体の明るさを表すデータを補正する補正手段を備えていることを特徴とする。

この発明による画像補正方法は，同一の被写体をその一部において重複して撮像するように設けられた複数台の撮像装置のそれぞれから出力される複数の画像データによって表される画像の明るさを補正する方法であって，複数の画像データのそれぞれに存在する重複画像部分を表すデータの少なくとも一部の領域の明るさを表すデータのそれぞれに基づいて，上記それぞれの明るさを表すデータを同一にするための修正係数を算出し，算出した修正係数に基づいて，上記複数の画像データのうち少なくとも一の画像データの全体の明るさを表すデータを補正するものである。

この発明において，修正係数の算出に用いられる明るさを表すデータは，複数の画像データのそれぞれに存在する重複画像部分を表すデータの少なくとも一部の領域から得られる。一部の領域は単一の画素からなる領域であってもよいし，複数の画素からなる領域であってもよい。いずれにしても，修正係数の算出に用いられる明るさを表すデータを得るための領域は，複数の画像データのそれぞれにおいて同じ像を表す。明るさを表すデータは，輝度値，濃淡値，カラー画像データの場合の各色ごとの明るさの成分値等を含む。

またこの発明において，修正係数は，一の画像データに存在する上記一部の領域の明るさを表すデータと，他の画像データに存在する上記一部の領域の明るさを表すデータを同一にするものであり，その算出には種々の計算方法を採用することができる。たとえば，他の画像データに存在する上記一部の領域の明るさを表すデータ（数値）から，一の画像データに存在する上記一部の領域の明るさを表すデータ（数値）を減算した値を，修正係数とすることができる。他の画像データに存在する上記一部の領域の明るさを表すデータ（数値）と，一の画像データに存在する上記一部の領域の明るさを表すデータ（数値）との比を，修正係数とすることもできる。

この発明によると，修正係数の算出に用いられる明るさを表すデータは，複数の画像データのそれぞれにおける重複画像部分を表すデータの少なくとも一部の領域（上述のように，同じ像を表す）のそれぞれから得られるので，各撮像装置から得られる画像データごとの明るさの特性（撮像装置の特性）を表すものになる。

この発明によると，各撮像装置から得られる画像データごとの明るさの特性（撮像装置の特性）を表す修正係数に基づいて複数の撮像装置から得られる複数の画像データのうち少なくとも一の画像データの全体の明るさを表すデータが補正されるので，複数の撮像装置のそれぞれから得られる各画像データに基づく各画像間における明るさの歪み（明暗の不自然さ）が取除かれる。基準板をあらかじめ撮像することなく，複数台のカメラによって得られる画像データの明るさを統一化されたものにすることができる。

特に，各撮像装置から得られる画像データを繋ぎ合わせて一つの画像データを作成する場合に，つなぎ目（境界付近）において不自然な明暗のない画像を得ることができる。

図１は，印刷物の検査システムの一部を概略的に示すものである。

検査システムは，被検査対象である印刷物をＣＣＤラインセンサを含むカメラ（撮像装置）によって撮像し，撮像によって得られる被検査画像データに基づいて印刷物を検査するシステムである。印刷物の検査は，画像処理，たとえば，撮像によって得られる被検査画像データとあらかじめ取得された基準画像データ（印刷物の適正な画像データ）とを（必要に応じて画像データの前処理を経て）比較し，その結果が所定の条件を満たすかどうかを判定することにより行われる。画像処理によって色調の良否，汚れの有無，抜けの有無等が検査（判定）される。

検査システムにおいて，印刷物Ｓは搬送装置（図示略）によって搬送路上を搬送される。搬送路の上方には，線状照明光源３が固定的に設けられている。線状照明光源３は，搬送路の幅方向（搬送方向に直交する方向）にのび，搬送路上の撮像位置をその全体にわたって照明する。また，搬送路の左側領域の上方に第１カメラ１ａが，搬送路の右側領域の上方に第２カメラ１ｂが，それぞれ固定的に設けられている。第１カメラ１ａは搬送路上を搬送される印刷物Ｓの左側領域を主に撮像するもので，第２カメラ１ｂは搬送路上を搬送される印刷物Ｓの右側領域を主に撮像するものである。第１カメラ１ａおよび第２カメラ１ｂのＣＣＤラインセンサは，いずれも搬送路の搬送方向に直交する方向を走査方向とするように配置されており，第１カメラ１ａのＣＣＤラインセンサの走査位置と第２カメラ１ｂのＣＣＤラインセンサの走査位置とは一直線上にある。第１カメラ１ａおよび第２カメラ１ｂのＣＣＤラインセンサは，撮像駆動装置（図示略）によって同期して駆動する。

第１カメラ１ａのＣＣＤラインセンサの撮像幅（走査幅）Ｗ_L は，その右端が印刷物Ｓの幅方向の中央の位置を超え，中央の位置よりも右側にまでわたっている（そのような位置に第１カメラ１ａが配置されている，またはレンズ等によって撮像幅Ｗ_L が設定されている）。第２カメラ１ｂのＣＣＤラインセンサの撮像幅（走査幅）Ｗ_R は，その左端が印刷物Ｓの幅方向の中央の位置を超え，中央の位置よりも左側にまでわたっている。すなわち，印刷物Ｓの幅方向の中央の所定幅の領域は，第１カメラ１ａおよび第２カメラ１ｂの両方によって撮像される。以下，第１カメラ１ａおよび第２カメラ１ｂの両方によって撮像される印刷物Ｓの領域を「オーバーラップ領域」と呼ぶ。第１カメラ１ａおよび１ｂによりオーバーラップ領域の部分が撮像されることによって得られる画像データをいずれも「オーバーラップ画像データ」と言う。

第１カメラ１ａおよび第２カメラ１ｂのそれぞれによって得られる画像データ（上述のように，第１カメラ１ａから得られる画像データにも，第２カメラ１ｂから得られる画像データにも，オーバーラップ画像データが含まれている）は，画像補正装置２に入力する。

画像補正装置２は，ＣＰＵ，メモリ，記憶装置，データ入力端子，データ出力端子等を備えたコンピュータ（プロセッサ）であり，第２カメラ１ｂから与えられる画像データに対して次に説明する補正処理を行う。画像補正装置２によって行われる画像補正処理は，記憶装置に記憶されたプログラムおよびデータに基づく。もちろん，ハードウエアにより画像補正処理を実行することも可能である。

図２，図３および図４は，画像補正装置２において行われる画像補正処理の処理手順を示すフローチャートである。画像補正処理は，オーバーラップ領域を撮像するように印刷物Ｓの移動方向に直交する向きに並べられた２台のカメラを含む検査システム（図１）のみならず，オーバーラップ領域を撮像するように印刷物Ｓの移動方向に直交する向きに並べられた３台以上のカメラを含む検査システムにおいても適用可能である（図７参照）。このため，図３および図４に示すフローチャートでは，変数ｉ，変数ｉ＋１（ｉ＝１，２，３，４・・・）により，隣合うカメラ（およびカメラによって得られる画像データ）を特定する。図５(A) 〜(C) ，図６(A) 〜(C) に示す具体的な画像（図５(A) 〜(C) ，図６(A) 〜(C) は，２台のカメラを含む検査システムの例である）を適宜参照しつつ，画像補正処理の処理手順（図２，図３および図４）を説明する。

図２に示すように，画像補正装置２は，修正係数算出処理（図２；ステップ10）と，画像間輝度均一化処理（図２；ステップ30）とを並列的に実行する。修正係数算出処理（ステップ10）によって得られる修正係数（後述する）が，画像間輝度均一化処理（ステップ20）において用いられる。

はじめに修正係数算出処理（ステップ10，図３）を説明する。

検査システムに設けられる複数台のカメラのそれぞれから出力される画像データに対して，シェーディング補正が行われる（ステップ11，図５(A) ，(B) ）。シェーディング補正ではあらかじめ算出された画素位置ごとのシェーディング補正値が用いられて画像データの輝度値が補正される。シェーディング補正によって，検査システムに設けられる複数台のカメラのそれぞれから出力される画像データの明るさの歪みが除去される。シェーディング補正とともに，ホワイトバランス補正を行うようにしてもよい。

シェーディング補正後の第ｉカメラから得られた画像データ（以下，画像データｉという）およびシェーディング補正後の第ｉ＋１カメラから得られた画像データ（画像データｉ＋１という）に対して，次の処理が行われる。

上述のように，第ｉカメラおよび第ｉ＋１カメラは，その両方が印刷物Ｓの所定幅の領域をオーバーラップして撮像しており，画像データｉおよび画像ｉ＋１データのいずれにもオーバーラップ画像を表すオーバーラップ画像データが含まれている。画像データｉおよび画像データｉ＋１のそれぞれから，オーバーラップ画像データが切出される（ステップ12，13，図５(C) ）。たとえば，図１に示す検査システムの場合，第１カメラ１ａによって得られた画像データからオーバーラップ画像データを切出すには，第１カメラ１ａのＣＣＤラインセンサの右端部分の所定範囲の位置の撮像素子から得られた画像データを切出せば（取出せば）よい。第２カメラ１ｂによって得られた画像データからオーバーラップ画像データを切出すには，第２カメラ１ｂのＣＣＤラインセンサの左端部分の所定範囲の位置の撮像素子から得られた画像データを切出せば（取出せば）よい。

第ｉカメラにより得られた画像データｉから切出されたオーバーラップ画像データｉと，第ｉ＋１カメラにより得られた画像データｉ＋１から切出されたオーバーラップ画像ｉ＋１のいずれかについて，微分処理が行われる（ステップ14）。微分処理によって，明るさの変動が大きい部分（いわゆるエッジ）を線画により表わす画像データ（微分画像データ）が生成される（図６(A) ）。微分画像データ（画素ごとの微分値の集合による画像データ）は，オーバーラップ画像データｉ（またはｉ＋１）の各画素データとその近傍の画素データを対象にして，微分フィルタ係数（たとえば，３×３画素分の微分フィルタ係数）を利用して微分演算を行なうことにより得られる。

微分画像データによって表される微分画像に対して，それぞれが複数の画素から構成される矩形領域が設定される（図６(B) ）。各矩形領域ごとに微分値が積算される（ステップ15）。

各矩形領域の微分値の積算結果（積算値）のうち，最小の積算値を持つ矩形領域が，次に説明する修正係数Ｔ_i+1 を算出するための領域（修正係数算出領域）として選択（決定）される（ステップ16）。修正係数算出領域として選択される最小の積算値を持つ矩形領域は，オーバーラップ画像データによって表されるオーバーラップ画像において明るさの変化の少ない領域を意味する。オーバーラップ画像において最小の積算値を持つ矩形領域が複数存在する場合には，所定のルールにしたがってそれらのうちのいずれかが選択される（たとえば複数の領域のうち，最も左上に位置する領域を選ぶ）。

第ｉカメラによって得られた画像データｉ中のオーバーラップ画像データｉにおいて，修正係数選択領域に相当する領域の画像データの平均輝度値ｔ_i が算出される（ステップ17）。同様にして，第ｉ＋１カメラによって得られた画像データｉ＋１中のオーバーラップ画像データｉ＋１において，修正係数選択領域に相当する領域の画像データの平均輝度値ｔ_i+1が算出される（ステップ18）（図６(C)）。

平均輝度値ｔ_iと平均輝度値ｔ_i+1の差が算出される（ステップ19）。算出された２つの平均輝度値の差が，画像データｉと画像データｉ＋１との間の修正係数Ｔ_i+1 とされる。

検査システムにおいて３台以上のカメラが用いられる場合を考慮すると，最終的な修正係数^*Ｔ_i+1 は，次式によって表すことができる（ステップ20）。

^*Ｔ_i+1＝^*Ｔ_i＋Ｔ_i+1

たとえば，検査システムが，印刷物Ｓの移動方向に直交する向きに並べられた２台のカメラ（第１カメラ１ａおよび第２カメラ１ｂ）を含むものであれば（図１参照），画像データ１および画像データ２のそれぞれのオーバーラップ画像データ中の修正係数算出領域に対応する領域の平均輝度値に基づいて修正係数Ｔ₂ が算出され，画像データ２の修正係数^*Ｔ₂は，Ｔ₂になる（すなわち，^*Ｔ₁ ＝０）。検査システムが，印刷物Ｓの移動方向に直交する向きに並べられた３台のカメラ（第１カメラ，第２カメラおよび第３のカメラ）を含むものであれば（図７参照），画像データ１および画像データ２のそれぞれのオーバーラップ画像データ中の修正係数算出領域に対応する領域の平均輝度値に基づいて修正係数^*Ｔ₂が算出され，画像データ２および画像データ３のそれぞれのオーバーラップ画像データ中の修正係数算出領域に対応する領域の平均輝度値に基づいて修正係数Ｔ₃ が算出される。オーバーラップ画像データ３の修正係数^*Ｔ₃ は，^*Ｔ₂＋Ｔ₃によって表される。検査システムが４台以上のカメラを含むものであっても，同様にして修正係数^*Ｔ₄，^*Ｔ₅・・・を算出することができる。

算出された修正係数^*Ｔ_i+1は，画像補正装置２のメモリに記憶される。画像補正装置２のメモリに記憶された修正係数^*Ｔ_i+1が，次に説明する画像間輝度均一化処理に用いられる。

画像間輝度均一化処理（ステップ30，図４）では，第ｉ＋１カメラによって得られる画像データｉ＋１の画素ごとの輝度値に，修正係数^*Ｔ_i+1がそれぞれ加算される（ステップ31）。

図８は，ＣＣＤラインセンサによって得られる画像データ（１ライン分）の輝度値の一例を示すグラフであり，破線が修正前（画像間輝度均一化処理前）の輝度値を，実線が修正後（画像間輝度均一化処理後）の輝度値をそれぞれ示している。たとえば，オーバーラップ画像データ２中の修正係数算出領域に対応する領域から得られる平均輝度値ｔ₂ が，オーバーラップ画像データ１中の修正係数算出領域に対応する領域から得られる平均輝度値ｔ₁ よりも小さければ（すなわち，オーバーラップ画像２が，オーバーラップ画像１よりも暗い），画像データ２の輝度値（画素データごとの輝度値）に修正係数^*Ｔ₂が加算される。逆にオーバーラップ画像データ２から得られる平均輝度値ｔ₂ が，オーバーラップ画像データ１から得られる平均輝度値ｔ₁ よりも大きければ（すなわち，オーバーラップ画像２がオーバーラップ画像１よりも明るい），画像データ２の輝度値（画素データごとの輝度値）から修正係数^*Ｔ₂が減算される（修正係数^*Ｔ₂が負の値となるので，加算処理によって修正係数^*Ｔ₂が減算される）。

画像データｉおよび補正後の画像データｉ＋１は，画像補正装置２から出力された後，画像データｉが表す画像ｉの右端と補正後の画像データｉ＋１が表す画像ｉ＋１のオーバーラップ画像ｉ＋１を除く部分の左端が繋ぎ合わされる。作成された一つの画像データが用いられて，印刷物Ｓの検査が行われる。

修正係数^*Ｔ_i+1は，上述のようにして，第ｉカメラおよび第ｉ＋１カメラによって得られるオーバーラップ画像データｉ（ｉ＋１）中の修正係数算出領域に対応する領域の平均輝度値を一致させるものであり，修正係数^*Ｔ_i+1を用いて第ｉ＋１カメラによって得られる画像データｉ＋１の全体の輝度値を補正することにより，第ｉカメラによって得られた画像データの画像と，第ｉ＋１カメラによって得られた画像データの画像とを繋ぎ合わせた画像の全体（特につなぎ目）の明るさを自然なもの（不自然な明暗がほとんどないもの）にすることができる。

検査システムは一般には複数の検査品目（異なる種類の印刷物）の検査に用いられる。修正係数^*Ｔ_i+1の算出（および修正係数^*Ｔ_i+1の画像補正装置２のメモリへの記憶）は，一般には，検査品目を変えるたびに検査に先がけて（検査の初めに）行われる。メモリに記憶された修正係数^*Ｔ_i+1が用いられて，その検査品目について画像間輝度均一化処理が行われる。

上述した実施例では，オーバーラップ画像データｉから得られる平均輝度値ｔ_i と，オーバーラップ画像データｉ＋１から得られる平均輝度値ｔ_i+1 の差をとることにより，隣合うカメラによって得られる画像データ間の修正係数Ｔ_i+1を算出しているが(ステップ19），オーバーラップ画像データｉから得られる平均輝度値ｔ_i と，オーバーラップ画像データｉ＋１から得られる平均輝度値ｔ_i+1の比を，隣合う画像データ間の修正係数Ｔ_i+1としてもよい。この場合には，修正前の画像データｉ＋１の輝度値に修正係数^*Ｔ_i+1を乗算（または除算）することによって，画像データｉ＋１の輝度値が補正される。

また検査システムに設けられるカメラがＲ（赤），Ｇ（緑）およびＢ（青）のそれぞれの画像データを出力するものである場合には，上述の画像補正処理を，各色の画像データごとに行うようにしてもよい。修正係数算出領域の選択は，たとえばＲＧＢの各画像データの代表として，Ｇ（緑）成分の画像データを用いて行えばよい。

検査システムの構成を概略的に示すものである。画像補正処理の処理手順を示すフローチャートである。修正係数算出処理の処理手順を示すフローチャートである。画像間輝度均一化処理の処理手順を示すフローチャートである。 (A) は印刷物を２台のカメラで撮像する様子を，(B) は２台のカメラによって得られた２つの画像を，(C) は，２つの画像から切り出されたオーバーラップ画像をそれぞれ示す。 (A) は微分画像を，(B) は微分画像に矩形領域が設定されている様子を，(C) は２台のカメラによって得られた２つの画像のそれぞれの修正係数算出領域に対応する領域において平均輝度値が求められた様子を，それぞれ示す。３台のカメラによって得られた３つの画像に基づいて算出される修正係数の算出の様子を示す。修正係数に基づいて輝度値が修正される様子を示すグラフである。

符号の説明

１ａ，１ｂカメラ
２画像補正装置
３線状照明光源
Ｓ印刷物

Claims

同一の被写体をその一部において重複して撮像するように設けられた複数台の撮像装置のそれぞれから出力される複数の画像データによって表される画像の明るさを補正する装置であって，
複数の画像データのそれぞれに存在する重複画像部分を表すデータの少なくとも一部の領域の明るさを表すデータのそれぞれに基づいて，上記それぞれの明るさを表すデータを同一にするための修正係数を算出する修正係数算出手段，および
上記修正係数算出手段によって算出された修正係数に基づいて，上記複数の画像データのうち少なくとも一の画像データの全体の明るさを表すデータを補正する補正手段，
を備えた画像補正装置。
同一の被写体をその一部において重複して撮像するように設けられた複数台の撮像装置のそれぞれから出力される複数の画像データによって表される画像の明るさを補正する方法であって，
複数の画像データのそれぞれに存在する重複画像部分を表すデータの少なくとも一部の領域の明るさを表すデータのそれぞれに基づいて，上記それぞれの明るさを表すデータを同一にするための修正係数を算出し，
算出した修正係数に基づいて，上記複数の画像データのうち少なくとも一の画像データの全体の明るさを表すデータを補正する，画像補正方法。