JP4038976B2 - Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program - Google Patents

Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program Download PDF

Info

Publication number
JP4038976B2
JP4038976B2 JP2000292135A JP2000292135A JP4038976B2 JP 4038976 B2 JP4038976 B2 JP 4038976B2 JP 2000292135 A JP2000292135 A JP 2000292135A JP 2000292135 A JP2000292135 A JP 2000292135A JP 4038976 B2 JP4038976 B2 JP 4038976B2
Authority
JP
Japan
Prior art keywords
value
color components
image data
image
minimum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000292135A
Other languages
Japanese (ja)
Other versions
JP2002101313A (en
Inventor
述宏 粟飯原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2000292135A priority Critical patent/JP4038976B2/en
Publication of JP2002101313A publication Critical patent/JP2002101313A/en
Application granted granted Critical
Publication of JP4038976B2 publication Critical patent/JP4038976B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関し、特に、色褪せや退色等の影響で生じるノイズを除去する画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関する。
【0002】
【従来の技術】
近年、デジタルカメラやイメージスキャナ等の普及に伴い、画像をデジタルデータとしてパーソナルコンピュータ等に取込み、保存または利用する機会が増えている。画像をデジタルデータとして取扱うと、画像の補正または加工が容易に行なえること、電子アルバムなどにより所定の画像をまとめて管理することができること等の利点がある。このため、たとえばフィルムからフィルムスキャナで読取ったり、または、フィルムを現像した写真をデジタルカメラやイメージスキャナで読取ったりして、デジタルデータに変換した後、保存したり、電子アルバムとして管理したりすることが可能となっている。
【0003】
しかし、フィルム自体、または、フィルムから現像された写真は、太陽光や蛍光灯などにさらされると、時間の経過とともにフィルムは退色し、写真は色褪せてしまう。この退色または色褪せた画像を補正する方法が、特開平11−136533号公報に記載されている。この方法によれば、R(赤)、G(緑)、B(青)各色の退色補正用の標準パターンをフィルムに予め焼き込んでおき、フィルムスキャナなどで読取る際に焼き込まれた標準パターンの退色度合いを判定し、判定された退色度合いをもとに退色補正処理を施すものである。
【0004】
また、蛍光灯やタングステン灯の下で撮影された画像は、色かぶりの影響を受けており、この色かぶりの影響を除去するものとして、RGB各成分のダイナミックレンジを一致させる技術が知られている。
【0005】
【発明が解決しようとする課題】
しかしながら、上述の特開平10−136533号公報に記載の退色補正方法は、画像を撮影するフィルムに予め退色補正用の標準パターンを焼き込む必要があるといった問題がある、また、フィルムから現像された写真からは、退色補正用の標準パターンを得ることができず、退色補正を施すことができない。
【0006】
また、色かぶりを除去する方法は、現像された写真が経年劣化することにより色褪せた画像を補正することはできない。これについて具体的に説明する。図10は、タングステン光の下で撮影された色かぶり画像のRGBヒストグラムの一例を示す図である。図10を参照して、横軸は輝度値を表わし、縦軸は画素の度数を表わしている。RGBのヒストグラムの分布の形状は、似通っているものの、分布の幅および位置がRGBそれぞれの成分で異なっている。このように、色かぶり画像は、各成分のヒストグラムの分布形状は類似するものの、分布の幅および位置が異なるという特徴を有する。
【0007】
図11は、タングステン光の下で撮影された色かぶり画像に色かぶり補正を施した画像のRGBヒストグラムの一例を示す図である。図11を参照して、RGB各成分のヒストグラムの分布形状が似通ったものに補正されている。この色かぶり画像の補正は、RGB各成分のヒストグラムの最大値と最小値とを求め、これらが一致するように濃度変換を行なうものである。これにより、色かぶり画像は各成分のヒストグラムの分布の幅および位置が補正され、色かぶりの状態が改善される。
【0008】
図12は、フィルムの経年劣化により退色した退色画像のRGBヒストグラムの一例を示す図である。図12を参照して、退色画像においては、RGB各成分のヒストグラムの分布の幅と位置だけでなく、ヒストグラムの分布形状までもが異なっている。
【0009】
図13は、フィルムの経年劣化により退色した退色画像に色かぶり補正処理を施した画像のRGBヒストグラムの一例を示す図である。図13を参照して、RGB各成分のヒストグラムの分布の幅と位置は一致するが、分布の形状が異なっている。このため、色かぶり補正処理を退色画像に施したとしても、退色の影響を除去することはできない。
【0010】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の1つは、画像データに含まれる色褪せや退色等の影響で生じるノイズを除去することが可能な画像処理装置および画像処理方法を提供することである。
【0011】
この発明の他の目的は、画像データに含まれる色褪せや退色等の影響で生じるノイズを除去することが可能な画像処理をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
【0012】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面によれば、画素ごとに複数の色成分を有する画像データに退色補正処理を行なうための画像処理装置であって、画像データを受信する受信手段と、受信された画像データについて、複数の色成分ごとに輝度値分布を求める分布取得手段と、複数の色成分それぞれについて、輝度値の最大値および最小値を求める手段と、複数の色成分それぞれについて、最大値と最小値との間を画素数によってn等分(nは3以上の整数)したn等分値を求めるn等分値取得手段と、複数の色成分それぞれについて求められた輝度値の最大値、最小値およびn等分値が、最大値および最小値に基づいて複数の色成分の中から定められる基準成分の最大値、最小値およびn等分値にそれぞれ一致するように複数の色成分の輝度値分布を補正する補正手段とを備える。
好ましくは、補正手段は、複数の色成分それぞれについて求められた最大値と最小値との差をそれぞれ求め、差が最大となる成分を基準成分とし、基準成分の最大値と最小値とn等分値に他の成分の最大値と最小値とn等分値とを合わせるように補間を行なう。
【0013】
この発明に従えば、受信された画像データについて、複数の色成分ごとに輝度値分布が求められ、複数の色成分それぞれについて、輝度値の最大値および最小値が求められ、複数の色成分それぞれについて、最大値と最小値との間を画素数によってn等分(nは3以上の整数)したn等分値が求められる。そして、複数の色成分それぞれについて求められた輝度値の最大値、最小値およびn等分値が、最大値および最小値に基づいて複数の色成分の中から定められる基準成分の最大値、最小値およびn等分値にそれぞれ一致するように複数の色成分の輝度値分布が補正される。このため、各色成分間で輝度値分布を合わせることができる。その結果、画像データの色成分の輝度値分布を互いに合わせることにより、画像データに含まれる色褪せや退色等の影響で生じるノイズを除去することが可能な画像処理装置を提供することができる。
【0018】
好ましくは、画像処理装置は、受信された画像を均等色空間上の色信号に変換する変換手段と、変換された色信号に基づく色相ヒストグラムが特定の色相に偏ること、または、彩度ヒストグラムが彩度の低い部分に偏っていることを検出することにより、受信された画像データが退色または色褪せた画像を撮像して得られた画像データであるか判定する判定手段とをさらに備え、補正手段は、受信された画像データが退色または色褪せた画像を撮像して得られた画像データと判定されたことに応じて、複数の色成分の輝度値分布を補正する。
【0019】
この発明に従えば、受信された画像が均等色空間上の色信号に変換され、変換された色信号に基づく色相ヒストグラムが特定の色相に偏ること、または、彩度ヒストグラムが彩度の低い部分に偏っていることを検出することにより、受信された画像データが退色または色褪せた画像を撮像して得られた画像データであるかが判定され、受信された画像データが退色または色褪せた画像を撮像して得られた画像データと判定されたことに応じて、複数の色成分の輝度値分布が補正される。このため、退色した画像のみを適切に補正することができる。
【0020】
好ましくは、画像処理装置は、受信された画像データが退色または色褪せた画像を撮像して得られた画像データであるかを受信するための入力手段をさらに備え、補正手段は、受信された画像データが退色した画像を撮像して得られた画像データである旨が受信されたことに応じて、複数の色成分の輝度値分布を補正する。
【0021】
この発明に従えば、受信された画像データが退色または色褪せた画像を撮像して得られた画像データであるかが受信され、受信された画像データが退色した画像を撮像して得られた画像データである旨が受信されたことに応じて、複数の色成分の輝度値分布が補正される。このため、退色した画像のみを適切に補正することができる。
【0022】
この発明の他の局面によれば、画素ごとに複数の色成分を有する画像データに退色補正処理を行なうための画像処理方法であって、画像データを受信するステップと、受信された画像データについて、複数の色成分ごとに輝度値分布を求めるステップと、複数の色成分それぞれについて、輝度値の最大値および最小値を求めるステップと、複数の色成分それぞれについて、最大値と最小値との間を画素数によってn等分(nは3以上の整数)したn等分値を求めるステップと、複数の色成分それぞれについて求められた輝度値の最大値、最小値およびn等分値が、最大値および最小値に基づいて複数の色成分の中から定められる基準成分の最大値、最小値およびn等分値にそれぞれ一致するように複数の色成分の輝度値分布を補正するステップとを含む。
【0023】
この発明に従えば、受信された画像データについて、複数の色成分ごとに輝度値分布が求められ、複数の色成分それぞれについて、輝度値の最大値および最小値が求められ、複数の色成分それぞれについて、最大値と最小値との間を画素数によってn等分(nは3以上の整数)したn等分値が求められる。そして、複数の色成分それぞれについて求められた輝度値の最大値、最小値およびn等分値が、最大値および最小値に基づいて複数の色成分の中から定められる基準成分の最大値、最小値およびn等分値にそれぞれ一致するように複数の色成分の輝度値分布が補正される。このため、各色成分間で輝度値分布を合わせることができる。その結果、画像データの色成分の輝度値分布を互いに合わせることにより、画像データに含まれる色褪せや退色等の影響で生じるノイズを除去することが可能な画像処理方法を提供することができる。
【0024】
この発明のさらに他の局面によれば、画素ごとに複数の色成分を有する画像データの退色補正処理をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、画像データを受信するステップと、受信された画像データについて、複数の色成分ごとに輝度値分布を求めるステップと、複数の色成分それぞれについて、輝度値の最大値および最小値を求めるステップと、複数の色成分それぞれについて、最大値と最小値との間を画素数によってn等分(nは3以上の整数)したn等分値を求めるステップと、複数の色成分それぞれについて求められた輝度値の最大値、最小値およびn等分値が、最大値および最小値に基づいて複数の色成分の中から定められる基準成分の最大値、最小値およびn等分値にそれぞれ一致するように複数の色成分の輝度値分布を補正するステップとをコンピュータに実行させるための画像処理プログラムを記録する。
【0025】
この発明に従えば、受信された画像データについて、複数の色成分ごとに輝度値分布が求められ、複数の色成分それぞれについて、輝度値の最大値および最小値が求められ、複数の色成分それぞれについて、最大値と最小値との間を画素数によってn等分(nは3以上の整数)したn等分値が求められる。そして、複数の色成分それぞれについて求められた輝度値の最大値、最小値およびn等分値が、最大値および最小値に基づいて複数の色成分の中から定められる基準成分の最大値、最小値およびn等分値にそれぞれ一致するように複数の色成分の輝度値分布が補正される。このため、各色成分間で輝度値分布を合わせることができる。その結果、画像データの色成分の輝度値分布を互いに合わせることにより、画像データに含まれる色褪せや退色等の影響で生じるノイズを除去することが可能な画像処理をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。
【0026】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、図中同一符号は同一または相当する部材を示し、説明は繰返さない。
【0027】
図1は、本発明の実施の形態における画像処理装置とそれに接続される外部装置との接続関係を示す図である。図1を参照して、画像処理装置100は、パーソナルコンピュータで構成される。画像処理装置100には、イメージスキャナで代表される画像入力装置150と、画像処理装置100から画像を出力するための画像出力装置160とが接続されている。
【0028】
画像入力装置150は、デジタルカメラやデジタルビデオカメラなどを用いることもできる。画像入力装置150から画像処理装置100に入力される画像は、静止画であっても動画であってもよい。動画の場合は画像処理装置100では、フレームごとに静止画像に施すのと同様の画像処理を施す。
【0029】
画像出力装置160は、レーザプリンタやインクジェットプリンタなどであり、フルカラーの画像を出力することができる。
【0030】
画像処理装置100は外部記憶装置を備え、CD−ROMや光磁気ディスク、デジタルビデオディスク、フロッピィディスク等の記録媒体170から画像処理装置100で実行するための画像処理プログラムを読取ることができる。この場合、後述する退色補正処理を画像処理装置100で実行するための画像処理プログラムが、記録媒体170に記録される。そして、外部記憶装置で画像処理プログラムを読取ることにより、画像処理装置100で実行可能となる。また、以下に述べる退色補正処理は、画像入力装置150で行なってもよい。
【0031】
図2は、本実施の形態における画像処理装置の機能の概略を示す機能ブロック図である。図2を参照して、画像入力装置150から、R(赤)、G(緑)、B(青)それぞれの成分からなる画像データが画像処理装置100に送られる。
【0032】
画像処理装置100は、シーン判定処理部110と、画像補正処理部120とを含む。画像入力装置150から受信された画像データは、シーン判定処理部110および画像補正処理部120に送られる。
【0033】
シーン判定処理部110は、受信した画像データを均等色空間に変換するための色空間変換処理部111と、均等色空間に変換された画像データについて、色相、彩度および明度の3つの成分それぞれについてヒストグラムを計算するヒストグラム計算部113と、作成された3つのヒストグラムに基づき画像データの性質を示すシーン情報を判定するシーン情報判定部115とを含む。
【0034】
色空間変換処理部111は、RGBの3つの成分で表わされる画像データを、色相、彩度、明度の3つの成分で表わされる均等色空間に変換する。色相、彩度、明度で表わされる均等色空間には、マンセル表色系における均等色空間が用いられる。なお、ここではマンセル表色系を用いたが、L*a*b*表色系、L*u*v*表色系、CIE表色法、DIN方式、オストワルト(Ostwald)表示などの表示方式で表わされる色空間を用いるようにしてもよい。
【0035】
ヒストグラム計算部113では、色相、彩度、明度のそれぞれについてヒストグラムを作成する。シーン情報判定部115は、ヒストグラム計算部113で作成されたヒストグラムに基づき、画像が退色または色褪せた画像であるか否かを判定する。
【0036】
なお、退色したフィルムを撮像して得られる退色画像と、色褪せた写真を撮像して得られる色褪せ画像を区別する必要はないので、以下、特に記載のない限り、これらをまとめて退色画像という。
【0037】
画像データのシーン情報の判定方法としては、色相、彩度、明度のヒストグラム分布が用いられる。色相ヒストグラムが特定の色相に偏ること、または、彩度ヒストグラムが彩度の低い部分に偏っていることを検出することにより、退色画像を判定することができる。ヒストグラムの分布の偏りは、平均値、中央値、分散、最大値、最小値を用いて判定される。
【0038】
また、退色画像は、無彩色の部分が少ないという特徴を有するため、明度ヒストグラムの高明度および低明度を除いた領域において、無彩色(白、黒、灰色)の領域が非常に少ない。このため、無彩色の領域がある一定値以上あるか否かを判定基準に加えてもよい。
【0039】
画像補正処理部120は、入力された画像データに退補正色処理を施す。画像補正処理部120は、入力された画像データの色相、彩度および明度それぞれについてヒストグラムを作成するヒストグラム計算部121と、作成されたそれぞれのヒストグラムにおいて最大値、最小値およびn等分値を計算する基準画素値計算部123と、各ヒストグラムの濃度値を変換する濃度変換部125とを含む。
【0040】
次に、退色補正処理の原理について説明する。退色補正処理は、RGB3つの成分のヒストグラムにおいて、分布の形状および範囲を一致させる処理である。まず、RGBの各成分の最大値、最小値が求められる。そして、各成分のヒストグラムを画素数によってn等分(n≧2の整数)したn等分値が求められる。n等分値は、(n−1)個求められる。また、n等分値は、輝度値の大きい順または小さい順に画素数を累積した累積値ががRGB成分間で同じとなる。そして、n等分値は、RGB成分間で対応付けられる。
【0041】
なお、本実施の形態においては説明のためn=3の場合について説明する。このn等分は、3等分に限られるわけではなく、2等分以上であればこれに限定されるわけではない。nを大きくすることにより、退色補正処理の精度を向上させることができる。画素数で3等分した場合、3等分値は2つ存在する。
【0042】
ここで、R成分の最大値をRmax、最小値をRminとし、G成分の最大値をGmax、最小値をGminとし、B成分の最大値をBmax、最小値をBminとする。そして、R成分の3等分値を輝度値の小さいほうから順にRn1、Rn2とし、G成分の3等分値を輝度値の小さいほうから順にGn1、Gn2とし、B成分の3等分値を輝度値の小さいほうから順にBn1、Bn2とする。
【0043】
このとき、R成分、G成分、B成分それぞれにおいて、画素値の小さい順に画素を並べたとき、RminとRn1との間に存在する画素数は、GminとGn1との間に存在する画素数、または、BminとBn1との間に存在する画素数と同じになる。同様に、Rn1とRn2との間に存在する画素数は、Gn1とGn2との間に存在する画素数、または、Bn1とBn2との間に存在する画素数と同じになる。さらに、Rn2とRmaxとの間に存在する画素数は、Gn2とGmaxとの間に存在する画素数、または、Bn2とBmaxとの間に存在する画素数と同じになる。
【0044】
このようにして求められた最大値、最小値およびn等分値の輝度値がRGB3つの成分のヒストグラム間で一致するように、各成分のヒストグラムに対して濃度変換処理を行なう。この濃度変換処理には線形補間が用いられる。このとき、各成分の最大値と最小値との差をそれぞれ求め、その差が最大となる成分を基準成分とし、基準成分の最大値、最小値およびn等分値に他の成分の最大値、最小値およびn等分値が一致するように、濃度変換処理を行なう。
【0045】
図3は、退色補正処理を施す前後における退色画像のRGBヒストグラムを示す図である。図3(A)は、退色画像のRGBヒストグラムを示す図であり、図3(B)は、退色補正処理後の画像のRGBヒストグラムを示す図である。
【0046】
図3(A)を参照して、RGBそれぞれの成分間で、最大値(Rmax、Gmax、Bmax)、最小値(Rmin、Gmin、Bmin)および3等分値(Rn1、Gn1、Bn1とRn2、Gn2、Bn2)は輝度値が一致していない。また、最大値、最小値および3等分値の間隔は、RGB成分間で一致していない。たとえば、Rn1とRn2との間隔、Gn1とGn2との間隔およびBn1とBn2との間隔は、すべて異なる。
【0047】
図3(B)を参照して、R成分を基準成分として、R成分の最大値(Rmax)にG成分の最大値(Gmax)およびB成分の最大値(Bmax)が一致し、R成分の最小値(Rmax)にG成分の最小値(Gmin)およびB成分の最小値(Bmin)が一致し、R成分の3等分値(Rn1とRn2)に、G成分の3等分値(Gn1とGn2)およびB成分の3等分値(Bn1とBn)がそれぞれ一致するようにG成分およびB成分の輝度値が変換されている。これらの画素以外の画素については、最大値、最小値および3等分値に基づく線形補間が行なわれる。そして、RGBそれぞれのヒストグラムの分布の形状、範囲および位置が類似している。
【0048】
図4は、濃度変換処理に用いられる線形補間を説明するための図である。図4を参照して、横軸にB成分を、縦軸にR成分を示し、それぞれの軸に各成分の最小値(Bmin、Rmin)、最大値(Bmax、Rmax)および3等分値(Bn1,Bn2、Rn1,Rn2)を示している。ここでは、基準成分をR成分として説明する。B成分の最小値(Bmin)とR成分の最小値(Rmin)、B成分の最大値(Bmax)とR成分の最大値(Rmax)と、B成分の3等分値(Bn1,Bn2)とR成分の3等分値(Rn1,Rn2)とで定まる点をプロットし、それぞれの点を直線で結ぶことにより、濃度変換処理に用いる変換直線が求められる。
【0049】
なお、濃度変換処理に最小値とn等分値と最大値とを結ぶ直線で濃度を変換するのではなく、2つの成分の最小値(Bmin,Rmin)で定まる点Aminと、3等分値Bn1とRn1で定まる点An1と、3等分値Bn2とRn2で定まる点An2と、最大値(Bmax,Rmax)で定まる点Amaxとを通る濃度変換曲線(トーンカーブ)を用いるようにしてもよい。トーンカーブは、スプライン補間することにより求められる。また、高次元の関数を用いて求めてもよい。
【0050】
図5は、濃度変換処理に用いられる濃度変換曲線を示す図である。図5を参照して、最小値とn等分値と最大値とを結ぶスプライン補間された曲線が表わされる。このように、スプライン補間された曲線を用いて濃度変換をすることにより、階調の滑らかさが失われず、適切な補間処理を施すことができる。このため、退色補正された画像において階調が急激に変化するトーンジャンプの発生を防止することができる。
【0051】
なお、本実施の形態においては、n=3として説明した。n=2とした場合には、各成分のヒストグラムの形状が単峰性の場合に有効に濃度変換処理を行なうことができる。しかし、いずれかの成分ヒストグラムが単峰性でない場合、たとえば、双峰性であった場合に、2等分値(中央値)とヒストグラムの2つのピーク位置とが大きくずれてしまう。このため、ヒストグラムの形状を類似したものにすることができない。本実施の形態においては、n=3としているため、ヒストグラムの形状が双峰性の場合でも、対応することができる。
【0052】
図6は、n=2とした場合における退色補正処理の不具合を説明するための図である。図6(A)は、濃度変換処理前の2つのヒストグラムを示し、図6(B)はn=2とした濃度変換処理を施した画像のヒストグラムを示す。なお、説明のためR成分とB成分のヒストグラムのみを示している。
【0053】
図6(A)を見て明らかなように、R成分のヒストグラムの形状は双峰性であり、B成分のヒストグラムの形状は単峰性である。R成分の画素値を2等分した画素Rnの位置と、R成分のヒストグラムの2つの山のピーク位置(R1,R2)とが一致しない。B成分のヒストグラムは、単峰性であるため、2等分した画素の位置Bnと、ヒストグラムのピーク位置B1とがほぼ一致している。
【0054】
図6(B)を参照して、R成分のヒストグラムとB成分のヒストグラムの形状が全く異なっており、2等分する退色補正処理によってはヒストグラムの形状を一致させることはできない。この結果、退色補正処理が有効になされていない。
【0055】
図7は、図12に示したRGBヒストグラムの退色画像に退色補正処理を施した画像のRGBヒストグラムを示す図である。図7を参照して、R、G、B各成分のヒストグラムの形状、範囲および位置が類似している。
【0056】
図8は、本実施の形態における画像処理装置で行なわれる退色補正処理の流れを示すフローチャートである。図8を参照して、退色補正処理では、まず、RGB画像データが、画像入力装置150により入力される(ステップS01)。そして、入力されたRGB画像データを、色相、彩度および明度からなる画像データに変換する。これは、RGB画像データがマンセル表色系で定義される色空間の色信号に変換される。
【0057】
そして、ヒストグラム計算部113により、変換された画像データから色相、彩度および明度それぞれのヒストグラムが作成される(ステップS03)。その後、シーン情報判定部115において画像のシーン情報が判定される(ステップS04)。シーン情報の判定とは、画像が退色画像に該当するか否かを判定する処理である。退色画像は、画像全体が特定の色相に偏り、さらに、全体的に色が薄く彩度が低くなっていることが多い。したがって、シーン情報判定部115では、色相ヒストグラムから色の偏り具合のチェックが行なわれ、色が特定の色相に偏っていると判定された場合には、彩度ヒストグラムから彩度が低い領域に偏っているか否かがチェックされる。彩度ヒストグラムが、全体的に低い領域に偏っていると判定された場合には、退色画像と判定する。
【0058】
また、退色画像は、無彩色の部分が少ないという特徴を有する。このため、高明度領域と低明度領域を除いた領域に含まれる画素が、無彩色(白、黒、灰)の画素が所定の割合以上あるか否かを判断するようにしてもよい。 上述の色相ヒストグラムと彩度ヒストグラムを用いる判定方法と、明度ヒストグラムと色相ヒストグラムとを用いる方法を単独で用いて判定するようにしても良いし、または、組合わせて判定するようにしてもよい。
【0059】
なお、本実施の形態においては、色相、彩度および明度ヒストグラムを用いて画像のシーンを判定するようにしたが、RGB各成分のヒストグラムを用いて判定することもできる。この場合には、シーン判定処理部110は不要となる。RGBの各成分のヒストグラムを用いてシーンを判定する場合には、たとえば、退色画像のRGB各成分のヒストグラムは、分布形状が大きく異なっている場合が多い。この分布の違いを判定することにより、退色画像を判定することができる。
【0060】
より具体的には、RGBの各ヒストグラムの最大値と最小値を一致させる線形補間を行なった後、補間後のヒストグラムの分布形状が類似しているか否かをチェックする。類似しているかどうかの判定基準は、ヒストグラムの平均値、分散値および度数がピークとなる輝度値の類似性を判定するようにすればよい。そして、3つのヒストグラムの分布が類似していないと判定された場合に、退色画像と判定する。
【0061】
ステップS04の判定の結果、退色画像か否かが判断される(ステップS05)。退色画像と判断される場合にはステップS06に進み、そうでない場合にはステップS09に進む。
【0062】
ステップS06では、RGB各成分のヒストグラムが、ヒストグラム計算部121で作成される。そして、作成された成分各成分のヒストグラムの最大値、最小値およびn(n=3)等分値が基準画素値計算部123で計算される(ステップS07)。n等分値は、それぞれのヒストグラムにおいて、画素を輝度値の大きい順に並べたとき最大値からの累積画素数が同じとなる画素の輝度値である。または、画素を輝度値の小さい順に並べたとき最小値からの累積画素数が同じとなる画素の輝度値である。
【0063】
たとえば、画素数が300であった場合の、3等分した画素の数は、100である。したがって、それぞれのヒストグラムの最大値から100番目に輝度値の大きい画素の輝度値と、200番目に輝度値の大きい画素の輝度値とがそれぞれの成分のヒストグラムから求められる。
【0064】
そして、求められた最小値、最大値およびn等分値が3つの成分のヒストグラム間で一致するように、各成分に対して濃度変換処理が行なわれる(ステップS08)。この濃度変換処理は、各成分のヒストグラムの最大値と最小値との差をそれぞれ求め、その差が最大となる成分を基準成分とし、基準成分の最大値と最小値とn等分値に他の成分の最小値と最大値とn等分値とを合わせるように線形補間が行なわれる。
【0065】
そして、次のステップS09では、濃度変換された画像データが画像出力装置160に出力される。
【0066】
本実施の形態においては、ステップS02〜ステップS04で入力された画像データのシーンを自動判定するようにしたが、画像処理装置100の使用者によりキーボードから退色画像であることを示す指示信号を入力するようにしてもよい。
【0067】
図9は、本実施の形態における画像処理装置に表示される退色画像を指定するためのグラフィックユーザインターフェイス(GUI)の一例を示す図である。図9を参照して、シーン選択欄において、退色、逆光、露光不足、夕焼け、人物等のシーン情報が例示される。これらの例示されたシーン情報に対応して設けられたチェック欄をマウス等のポインティングデバイスまたはキーボードを用いて指示することで、シーン情報が入力される。本実施の形態においては、退色に対応して設けられたチェック欄が指示されることで、シーン情報として退色画像であることを示す指示信号が入力される。
【0068】
退色補正処理が施される前の画像が「補正前画像」の領域に表示され、退色補正処理を施した後の画像が「補正後画像」の領域に並べて出力される。
【0069】
以上説明したように、本実施の形態における画像処理装置では、画像データのRGB成分の輝度値ヒストグラムの形状、範囲および位置を合わせるように濃度を変換する。このため、画像データに含まれる色褪せや退色等の影響で生じるノイズを簡単に除去することができる。
【0070】
また、濃度変換処理においては、RGB成分の最大値、最小値およびn等分値の輝度値を一致させるように濃度変換処理を行なうので、複数の成分の輝度値分布が複雑な形状であっても、複数の成分の輝度値分布を容易に一致させることができる。
【0071】
さらに、シーン判定処理部110により、色相、彩度および明度に変換された画像データを用いて、退色画像か否かを自動で判定するようにしたので、退色した画像にのみ退色補正処理を施すことができる。
【0072】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】 本発明の実施の形態の1つにおける画像処理装置とそれに接続される外部装置との接続関係を示す図である。
【図2】 本実施の形態における画像処理装置の機能の概略を示す機能ブロック図である。
【図3】 退色補正処理を施す前後における退色画像のRGBヒストグラムを示す図である。
【図4】 濃度変換処理に用いられる線形補間を説明するための図である。
【図5】 濃度変換処理に用いられる濃度変換曲線を示す図である。
【図6】 n=2とした場合における退色補正処理の不具合を説明するための図である。
【図7】 図12に示したRGBヒストグラムの退色画像に退色補正処理を施した画像のRGBヒストグラムを示す図である。
【図8】 本実施の形態における画像処理装置で行なわれる退色補正処理の流れを示すフローチャートである。
【図9】 本実施の形態における画像処理装置に表示される退色画像を指定するためのグラフィックユーザインターフェイスの一例を示す図である。
【図10】 タングステン光の下で撮影された色かぶり画像のRGBヒストグラムの一例を示す図である。
【図11】 タングステン光の下で撮影された色かぶり画像に色かぶり補正を施した画像のRGBヒストグラムの一例を示す図である。
【図12】 フィルムの経年劣化により退色した退色画像のRGBヒストグラムの一例を示す図である。
【図13】 フィルムの経年劣化により退色した退色画像に色かぶり補正処理を施した画像のRGBヒストグラムの一例を示す図である。
【符号の説明】
100 画像処理装置、110 シーン判定処理部、111 色空間変換処理部、113,121 ヒストグラム計算部、115 シーン情報判定部、120画像補正処理部、123 基準画素値計算部、125 濃度変換部、150 画像入力装置、160 画像出力装置、170 記録媒体。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and a computer-readable recording medium on which an image processing program is recorded, and in particular, an image processing apparatus, an image processing method, and an image processing for removing noise caused by the influence of fading or fading The present invention relates to a computer-readable recording medium on which a program is recorded.
[0002]
[Prior art]
In recent years, with the spread of digital cameras, image scanners, and the like, there are increasing opportunities for taking images as digital data and storing or using them. Handling images as digital data is advantageous in that the images can be easily corrected or processed, and that predetermined images can be managed collectively using an electronic album or the like. For this reason, for example, reading from a film with a film scanner, or reading a developed photograph of a film with a digital camera or an image scanner, converting it into digital data, saving it, and managing it as an electronic album Is possible.
[0003]
However, when the film itself or a photograph developed from the film is exposed to sunlight or a fluorescent lamp, the film fades with time and the photograph fades. A method for correcting the faded or faded image is described in JP-A-11-136533. According to this method, a standard pattern for fading correction of each color of R (red), G (green), and B (blue) is preliminarily printed on a film, and the standard pattern burned when it is read by a film scanner or the like. Is determined, and a fading correction process is performed based on the determined fading level.
[0004]
Also, images taken under fluorescent or tungsten lamps are affected by color cast, and a technique for matching the dynamic range of each RGB component is known to eliminate the effect of this color cast. Yes.
[0005]
[Problems to be solved by the invention]
However, the fading correction method described in the above-mentioned Japanese Patent Application Laid-Open No. 10-136533 has a problem that a standard pattern for fading correction needs to be burned in advance on a film for taking an image, and has been developed from the film. A standard pattern for fading correction cannot be obtained from a photograph, and fading correction cannot be performed.
[0006]
Also, the method of removing color cast cannot correct an image that has faded due to deterioration of a developed photograph over time. This will be specifically described. FIG. 10 is a diagram illustrating an example of an RGB histogram of a color cast image taken under tungsten light. Referring to FIG. 10, the horizontal axis represents the luminance value, and the vertical axis represents the frequency of the pixel. Although the distribution shape of the RGB histogram is similar, the width and position of the distribution are different for each component of RGB. As described above, the color cast image has a feature that the distribution shape and the position of the distribution are different although the distribution shape of the histogram of each component is similar.
[0007]
FIG. 11 is a diagram illustrating an example of an RGB histogram of an image obtained by performing color cast correction on a color cast image taken under tungsten light. Referring to FIG. 11, correction is made so that the distribution shapes of the histograms of the RGB components are similar. In the correction of the color cast image, the maximum value and the minimum value of the histogram of each RGB component are obtained, and the density conversion is performed so that they match. As a result, the color cast image is corrected for the width and position of the histogram distribution of each component, and the color cast state is improved.
[0008]
FIG. 12 is a diagram illustrating an example of an RGB histogram of a fading image that has faded due to aging of the film. Referring to FIG. 12, in the faded image, not only the distribution width and position of the histogram of each RGB component but also the distribution shape of the histogram is different.
[0009]
FIG. 13 is a diagram illustrating an example of an RGB histogram of an image obtained by performing color cast correction processing on a fading image that has faded due to aging deterioration of the film. Referring to FIG. 13, the width and position of the distribution of the histogram of each RGB component match, but the shape of the distribution is different. For this reason, even if the color cast correction process is performed on the fading image, the influence of fading cannot be removed.
[0010]
The present invention has been made to solve the above-mentioned problems, and one of the objects of the present invention is an image processing apparatus capable of removing noise caused by the influence of fading or fading included in image data. And providing an image processing method.
[0011]
Another object of the present invention is a computer-readable recording medium on which an image processing program for causing a computer to execute image processing capable of removing noise caused by the influence of fading or fading included in image data is recorded. Is to provide.
[0012]
[Means for Solving the Problems]
  According to one aspect of the present invention, the above-mentioned object is achieved., PaintingImage data with multiple color components per elementAn image processing apparatus for performing fading correction processing on an image dataReceiving means for receiving received image data, distribution obtaining means for obtaining a luminance value distribution for each of a plurality of color components, and means for obtaining a maximum value and a minimum value of a luminance value for each of the plurality of color components; For each of multiple color componentsN equal value acquisition means for obtaining an n equal value obtained by dividing the maximum value and the minimum value into n equal values by the number of pixels (n is an integer of 3 or more).And the maximum and minimum luminance values obtained for each of the plurality of color components, andThe n equal value matches the maximum value, the minimum value, and the n equal value of the reference component determined from the plurality of color components based on the maximum value and the minimum value, respectively.Correction means for correcting the luminance value distribution of a plurality of color components.
  Preferably, the correction unit obtains a difference between the maximum value and the minimum value obtained for each of the plurality of color components, uses the component having the maximum difference as a reference component, and sets the maximum and minimum values of the reference component, n, and the like. Interpolation is performed so that the maximum value, the minimum value, and the n equal value of other components are matched with the minute value.
[0013]
  According to the present invention, for the received image data, a luminance value distribution is obtained for each of the plurality of color components, and for each of the plurality of color components, a maximum value and a minimum value of the luminance value are obtained, and each of the plurality of color components is obtained. about,The n equal value obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more).Desired. The maximum value, the minimum value, and the luminance value obtained for each of the plurality of color componentsThe n equal value matches the maximum value, the minimum value, and the n equal value of the reference component determined from the plurality of color components based on the maximum value and the minimum value, respectively.The luminance value distribution of the plurality of color components is corrected. Therefore, the luminance value distribution can be matched between the color components. As a result, it is possible to provide an image processing apparatus capable of removing noise caused by the influence of fading or fading included in the image data by matching the luminance value distributions of the color components of the image data.
[0018]
  Preferably, the image processing apparatus converts a received image into a color signal on a uniform color space, and based on the converted color signal.By detecting that the hue histogram is biased to a specific hue, or that the saturation histogram is biased to low-saturation partsAnd determining means for determining whether the received image data is image data obtained by capturing a faded or faded image, and the correction means captures an image where the received image data is faded or faded Determined as image data obtainedDepending onThe luminance value distribution of a plurality of color components is corrected.
[0019]
  According to the present invention, the received image is converted into a color signal in the uniform color space, and the converted color signal is used.By detecting that the hue histogram is biased to a specific hue or that the saturation histogram is biased to a low-saturation partIt is determined whether the received image data is image data obtained by capturing a faded or faded image, and the received image data is determined to be image data obtained by capturing a faded or faded image WasDepending onThe luminance value distribution of the plurality of color components is corrected. For this reason, it is possible to appropriately correct only the faded image.
[0020]
  Preferably, the image processing apparatus further includes an input unit for receiving whether the received image data is image data obtained by capturing a faded or faded image, and the correction unit is configured to receive the received image. The fact that the data is the image data obtained by capturing the faded image was receivedDepending onThe luminance value distribution of a plurality of color components is corrected.
[0021]
  According to the present invention, it is received whether the received image data is image data obtained by capturing a faded or faded image, and the image obtained by capturing the faded image of the received image data Received dataDepending onThe luminance value distribution of the plurality of color components is corrected. For this reason, it is possible to appropriately correct only the faded image.
[0022]
  According to another aspect of the invention, PaintingImage data with multiple color components per elementAn image processing method for performing fading correction processing on an image dataA step of obtaining a luminance value distribution for each of a plurality of color components for the received image data, a step of obtaining a maximum value and a minimum value of luminance values for each of the plurality of color components, and a plurality of colors For each ingredient,N equal values obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more).Determining a maximum value, a minimum value, and a luminance value obtained for each of the plurality of color components;The n equal value is matched with the maximum value, the minimum value, and the n equal value of the reference component determined from the plurality of color components based on the maximum value and the minimum value, respectively.Correcting the luminance value distribution of the plurality of color components.
[0023]
  According to the present invention, for the received image data, a luminance value distribution is obtained for each of the plurality of color components, and for each of the plurality of color components, a maximum value and a minimum value of the luminance value are obtained, and each of the plurality of color components is obtained. about,The n equal value obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more).Desired. The maximum value, the minimum value, and the luminance value obtained for each of the plurality of color componentsThe n equal value matches the maximum value, the minimum value, and the n equal value of the reference component determined from the plurality of color components based on the maximum value and the minimum value, respectively.The luminance value distribution of the plurality of color components is corrected. Therefore, the luminance value distribution can be matched between the color components. As a result, it is possible to provide an image processing method capable of removing noise caused by the influence of fading or fading included in image data by matching the luminance value distributions of the color components of the image data.
[0024]
  According to yet another aspect of the invention, PaintingImage data with multiple color components per elementA computer-readable recording medium storing an image processing program for causing a computer to execute the fading correction processing ofA step of obtaining a luminance value distribution for each of a plurality of color components for the received image data, a step of obtaining a maximum value and a minimum value of luminance values for each of the plurality of color components, and a plurality of colors For each ingredient,N equal values obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more).Determining a maximum value, a minimum value, and a luminance value obtained for each of the plurality of color components;The n equal value matches the maximum value, the minimum value, and the n equal value of the reference component determined from the plurality of color components based on the maximum value and the minimum value, respectively.An image processing program for causing a computer to execute a step of correcting luminance value distributions of a plurality of color components is recorded.
[0025]
  According to the present invention, for the received image data, a luminance value distribution is obtained for each of a plurality of color components, and a maximum value and a minimum value of the luminance value are obtained for each of the plurality of color components, and each of the plurality of color components is obtained. about,The n equal value obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more).Desired. Then, the maximum value, the minimum value, and the brightness value obtained for each of the plurality of color componentsThe n equal value matches the maximum value, the minimum value, and the n equal value of the reference component determined from the plurality of color components based on the maximum value and the minimum value, respectively.The luminance value distribution of the plurality of color components is corrected. Therefore, the luminance value distribution can be matched between the color components. As a result, image processing for causing a computer to execute image processing that can eliminate noise caused by fading or fading included in image data by matching the luminance value distribution of the color components of the image data with each other A computer-readable recording medium in which the program is recorded can be provided.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings, the same reference numerals indicate the same or corresponding members, and description thereof will not be repeated.
[0027]
FIG. 1 is a diagram illustrating a connection relationship between an image processing apparatus and an external apparatus connected to the image processing apparatus according to an embodiment of the present invention. Referring to FIG. 1, image processing apparatus 100 is configured with a personal computer. An image input device 150 typified by an image scanner and an image output device 160 for outputting an image from the image processing device 100 are connected to the image processing device 100.
[0028]
The image input device 150 may be a digital camera, a digital video camera, or the like. An image input from the image input device 150 to the image processing device 100 may be a still image or a moving image. In the case of a moving image, the image processing apparatus 100 performs image processing similar to that performed on a still image for each frame.
[0029]
The image output device 160 is a laser printer, an inkjet printer, or the like, and can output a full color image.
[0030]
The image processing apparatus 100 includes an external storage device, and can read an image processing program to be executed by the image processing apparatus 100 from a recording medium 170 such as a CD-ROM, a magneto-optical disk, a digital video disk, or a floppy disk. In this case, an image processing program for causing the image processing apparatus 100 to execute a fading correction process described later is recorded on the recording medium 170. Then, the image processing apparatus 100 can execute the program by reading the image processing program with the external storage device. Further, the color fading correction process described below may be performed by the image input device 150.
[0031]
FIG. 2 is a functional block diagram showing an outline of functions of the image processing apparatus according to the present embodiment. Referring to FIG. 2, image data composed of R (red), G (green), and B (blue) components is sent from image input device 150 to image processing device 100.
[0032]
The image processing apparatus 100 includes a scene determination processing unit 110 and an image correction processing unit 120. The image data received from the image input device 150 is sent to the scene determination processing unit 110 and the image correction processing unit 120.
[0033]
The scene determination processing unit 110 includes a color space conversion processing unit 111 for converting received image data into a uniform color space, and each of three components of hue, saturation, and lightness for the image data converted into the uniform color space. And a scene information determination unit 115 that determines scene information indicating the nature of the image data based on the three generated histograms.
[0034]
The color space conversion processing unit 111 converts image data represented by three components of RGB into a uniform color space represented by three components of hue, saturation, and lightness. The uniform color space in the Munsell color system is used for the uniform color space represented by hue, saturation, and lightness. Although the Munsell color system is used here, a display system such as L * a * b * color system, L * u * v * color system, CIE color system, DIN system, Ostwald display, etc. May be used.
[0035]
The histogram calculation unit 113 creates a histogram for each of hue, saturation, and lightness. The scene information determination unit 115 determines whether the image is a fading or fading image based on the histogram created by the histogram calculation unit 113.
[0036]
Note that there is no need to distinguish between a faded image obtained by imaging a faded film and a faded image obtained by imaging a faded photograph. Therefore, these are hereinafter collectively referred to as a faded image unless otherwise specified.
[0037]
As a method for determining scene information of image data, a histogram distribution of hue, saturation, and brightness is used. A fading image can be determined by detecting that the hue histogram is biased to a specific hue or that the saturation histogram is biased to a portion with low saturation. The bias of the histogram distribution is determined using the average value, median value, variance, maximum value, and minimum value.
[0038]
Further, since the fading image has a feature that there are few achromatic portions, there are very few achromatic (white, black, gray) regions in the region excluding the high lightness and low lightness of the lightness histogram. For this reason, whether or not the achromatic region is equal to or greater than a certain value may be added to the determination criterion.
[0039]
The image correction processing unit 120 performs backward correction color processing on the input image data. The image correction processing unit 120 generates a histogram for each of hue, saturation, and lightness of input image data, and calculates a maximum value, a minimum value, and an n-divided value in each of the generated histograms. A reference pixel value calculation unit 123 that converts the density value of each histogram.
[0040]
Next, the principle of the fading correction process will be described. The fading correction process is a process for matching the shape and range of the distribution in the histogram of the three RGB components. First, the maximum value and the minimum value of each component of RGB are obtained. Then, an n equal value obtained by dividing the histogram of each component into n equal parts (an integer of n ≧ 2) by the number of pixels is obtained. (n-1) pieces of n equal values are obtained. In addition, the n equal values have the same cumulative value between the RGB components by accumulating the number of pixels in order of increasing or decreasing luminance values. Then, n equal values are associated between RGB components.
[0041]
In the present embodiment, the case where n = 3 will be described for the sake of explanation. This n equal division is not limited to three equal parts, and is not limited to this as long as it is equal to or more than two equal parts. By increasing n, it is possible to improve the accuracy of the fading correction process. When the number of pixels is divided into three equal parts, there are two three equal values.
[0042]
Here, the maximum value of the R component is Rmax, the minimum value is Rmin, the maximum value of the G component is Gmax, the minimum value is Gmin, the maximum value of the B component is Bmax, and the minimum value is Bmin. Then, the R component trisection value is set to Rn1 and Rn2 in order from the lowest luminance value, the G component trisection value is set to Gn1 and Gn2 from the lower luminance value, and the B component trisection value is set. Bn1 and Bn2 are set in order from the smallest luminance value.
[0043]
At this time, when the pixels are arranged in ascending order of the pixel values in each of the R component, the G component, and the B component, the number of pixels existing between Rmin and Rn1 is the number of pixels existing between Gmin and Gn1, Or it becomes the same as the number of pixels existing between Bmin and Bn1. Similarly, the number of pixels existing between Rn1 and Rn2 is the same as the number of pixels existing between Gn1 and Gn2, or the number of pixels existing between Bn1 and Bn2. Further, the number of pixels existing between Rn2 and Rmax is the same as the number of pixels existing between Gn2 and Gmax or the number of pixels existing between Bn2 and Bmax.
[0044]
The density conversion process is performed on the histogram of each component so that the luminance values of the maximum value, the minimum value, and the n equal value obtained in this way are matched between the histograms of the three RGB components. Linear interpolation is used for this density conversion processing. At this time, the difference between the maximum value and the minimum value of each component is obtained, the component having the maximum difference is set as the reference component, and the maximum value of the other component is set to the maximum value, the minimum value, and the n equal value of the reference component. Then, the density conversion process is performed so that the minimum value and the n equal value match.
[0045]
FIG. 3 is a diagram illustrating an RGB histogram of a fading image before and after performing fading correction processing. FIG. 3A is a diagram showing an RGB histogram of a fading image, and FIG. 3B is a diagram showing an RGB histogram of an image after fading correction processing.
[0046]
Referring to FIG. 3A, among RGB components, the maximum value (Rmax, Gmax, Bmax), the minimum value (Rmin, Gmin, Bmin) and the trisection value (Rn1, Gn1, Bn1 and Rn2, The brightness values of Gn2 and Bn2) do not match. Further, the intervals of the maximum value, the minimum value, and the trisection value do not match among the RGB components. For example, the interval between Rn1 and Rn2, the interval between Gn1 and Gn2, and the interval between Bn1 and Bn2 are all different.
[0047]
Referring to FIG. 3B, with the R component as a reference component, the maximum value (Rmax) of the R component matches the maximum value (Gmax) of the G component and the maximum value (Bmax) of the B component. The G component minimum value (Gmin) and the B component minimum value (Bmin) coincide with the minimum value (Rmax), and the R component trisection value (Rn1 and Rn2) matches the G component trisection value (Gn1). , Gn2) and the B component's trisection values (Bn1 and Bn) are respectively matched so that the luminance values of the G component and B component are converted. For the pixels other than these pixels, linear interpolation based on the maximum value, the minimum value, and the trisection value is performed. The shape, range, and position of the histogram distribution for each of RGB are similar.
[0048]
FIG. 4 is a diagram for explaining linear interpolation used for density conversion processing. Referring to FIG. 4, the horizontal axis indicates the B component, the vertical axis indicates the R component, and the minimum value (Bmin, Rmin), the maximum value (Bmax, Rmax), and the trisection value ( Bn1, Bn2, Rn1, Rn2). Here, the reference component is described as an R component. B component minimum value (Bmin), R component minimum value (Rmin), B component maximum value (Bmax), R component maximum value (Rmax), B component trisection (Bn1, Bn2) By plotting points determined by the R component trisection value (Rn1, Rn2) and connecting each point with a straight line, a conversion straight line used for density conversion processing is obtained.
[0049]
The density conversion process does not convert the density with a straight line connecting the minimum value, the n-divided value, and the maximum value, but a point Amin determined by the minimum value (Bmin, Rmin) of two components and a tri-section value. A density conversion curve (tone curve) passing through the point An1 determined by Bn1 and Rn1, the point An2 determined by the trisection values Bn2 and Rn2, and the point Amax determined by the maximum values (Bmax, Rmax) may be used. . The tone curve is obtained by performing spline interpolation. Alternatively, it may be obtained using a high-dimensional function.
[0050]
FIG. 5 is a diagram showing a density conversion curve used for density conversion processing. Referring to FIG. 5, a spline-interpolated curve connecting the minimum value, n-equal value, and maximum value is represented. As described above, by performing density conversion using the spline-interpolated curve, smoothness of gradation is not lost, and appropriate interpolation processing can be performed. For this reason, it is possible to prevent the occurrence of a tone jump in which the gradation changes rapidly in an image subjected to fading correction.
[0051]
In the present embodiment, the description has been made assuming that n = 3. When n = 2, density conversion processing can be performed effectively when the shape of the histogram of each component is unimodal. However, if any one of the component histograms is not unimodal, for example, if it is bimodal, the bisection value (median value) and the two peak positions of the histogram will be greatly shifted. For this reason, the shape of the histogram cannot be made similar. In this embodiment, since n = 3, it is possible to cope with the case where the shape of the histogram is bimodal.
[0052]
FIG. 6 is a diagram for explaining a defect in the fading correction process when n = 2. 6A shows two histograms before density conversion processing, and FIG. 6B shows a histogram of an image subjected to density conversion processing with n = 2. For the sake of explanation, only the histograms of the R component and the B component are shown.
[0053]
As is apparent from FIG. 6A, the shape of the R component histogram is bimodal, and the shape of the B component histogram is unimodal. The position of the pixel Rn obtained by dividing the R component pixel value into two equal parts does not match the peak positions (R1, R2) of the two peaks in the R component histogram. Since the histogram of the B component is unimodal, the pixel position Bn divided into two equal parts and the peak position B1 of the histogram substantially coincide.
[0054]
Referring to FIG. 6B, the shapes of the R component histogram and the B component histogram are completely different, and the shapes of the histograms cannot be matched by the fading correction processing that bisects the image. As a result, the fading correction process is not effective.
[0055]
FIG. 7 is a diagram showing an RGB histogram of an image obtained by performing a fading correction process on the fading image of the RGB histogram shown in FIG. Referring to FIG. 7, the shapes, ranges, and positions of the histograms of the R, G, and B components are similar.
[0056]
FIG. 8 is a flowchart showing the flow of fading correction processing performed by the image processing apparatus according to the present embodiment. Referring to FIG. 8, in the fading correction process, first, RGB image data is input by image input device 150 (step S01). Then, the input RGB image data is converted into image data composed of hue, saturation and brightness. In this case, RGB image data is converted into a color signal in a color space defined by the Munsell color system.
[0057]
Then, the histogram calculation unit 113 creates histograms for hue, saturation, and brightness from the converted image data (step S03). Thereafter, the scene information determination unit 115 determines the scene information of the image (step S04). The scene information determination is a process for determining whether an image corresponds to a faded image. In many cases, a fading image is biased to a specific hue as a whole, and the color is generally thin and the saturation is low. Accordingly, the scene information determination unit 115 checks the degree of color bias from the hue histogram, and if it is determined that the color is biased to a specific hue, the scene information determination unit 115 biases to a low saturation region from the saturation histogram. It is checked whether or not When it is determined that the saturation histogram is biased to a low region as a whole, it is determined as a fading image.
[0058]
In addition, the fading image has a feature that there are few achromatic portions. Therefore, it may be determined whether or not the pixels included in the region excluding the high lightness region and the low lightness region have an achromatic color (white, black, gray) or more in a predetermined ratio. The determination method using the above-described hue histogram and saturation histogram and the method using the brightness histogram and hue histogram may be used alone, or may be determined in combination.
[0059]
In the present embodiment, the scene of the image is determined using the hue, saturation, and lightness histograms. However, it is also possible to determine using the histogram of each RGB component. In this case, the scene determination processing unit 110 is not necessary. When a scene is determined using a histogram of each component of RGB, for example, the histogram of each component of RGB of a fading image often differs greatly in distribution shape. By determining the difference in distribution, a fading image can be determined.
[0060]
More specifically, after performing linear interpolation that matches the maximum value and the minimum value of each of the RGB histograms, it is checked whether the histogram distribution shapes after the interpolation are similar. The criteria for determining whether or not they are similar may be to determine the similarity between the average value, variance value, and luminance value at which the frequency peaks. When it is determined that the distributions of the three histograms are not similar, it is determined as a fading image.
[0061]
As a result of the determination in step S04, it is determined whether the image is a fading image (step S05). If it is determined that the image is a fading image, the process proceeds to step S06, and if not, the process proceeds to step S09.
[0062]
In step S <b> 06, a histogram for each of the RGB components is created by the histogram calculation unit 121. Then, the reference pixel value calculation unit 123 calculates the maximum value, the minimum value, and the n (n = 3) equal value of the histogram of each component created (step S07). The n equal value is a luminance value of pixels in which the cumulative number of pixels from the maximum value is the same when the pixels are arranged in descending order of luminance value in each histogram. Or it is a luminance value of a pixel in which the cumulative number of pixels from the minimum value is the same when the pixels are arranged in ascending order of luminance value.
[0063]
For example, when the number of pixels is 300, the number of pixels divided into three equal parts is 100. Therefore, the luminance value of the pixel with the 100th largest luminance value and the luminance value of the pixel with the 200th largest luminance value from the maximum value of each histogram are obtained from the histogram of each component.
[0064]
Then, density conversion processing is performed on each component so that the obtained minimum value, maximum value, and n-equal value match between the histograms of the three components (step S08). In this density conversion process, the difference between the maximum value and the minimum value of the histogram of each component is obtained, the component having the maximum difference is set as the reference component, the reference component maximum value, the minimum value, and the n equal value. Linear interpolation is performed so that the minimum value, the maximum value, and the n equal value of the components are matched.
[0065]
In the next step S09, the density-converted image data is output to the image output device 160.
[0066]
In the present embodiment, the scene of the image data input in step S02 to step S04 is automatically determined, but an instruction signal indicating that the image is a faded image is input from the keyboard by the user of the image processing apparatus 100. You may make it do.
[0067]
FIG. 9 is a diagram illustrating an example of a graphic user interface (GUI) for designating a fading image displayed on the image processing apparatus according to the present embodiment. Referring to FIG. 9, scene information such as fading, backlighting, underexposure, sunset, and people is exemplified in the scene selection field. The scene information is input by instructing a check column provided corresponding to the exemplified scene information using a pointing device such as a mouse or a keyboard. In the present embodiment, an instruction signal indicating that the image is a faded image is input as the scene information by instructing a check column provided corresponding to the fade.
[0068]
The image before the fading correction process is displayed in the “pre-correction image” area, and the image after the fading correction process is arranged and output in the “post-correction image” area.
[0069]
As described above, the image processing apparatus according to the present embodiment converts the density so as to match the shape, range, and position of the luminance value histogram of the RGB components of the image data. For this reason, it is possible to easily remove noise generated by the influence of fading or fading included in the image data.
[0070]
In the density conversion process, the density conversion process is performed so that the luminance values of the RGB component maximum value, the minimum value, and the n-equal value are matched, so that the luminance value distribution of a plurality of components has a complicated shape. In addition, the luminance value distributions of a plurality of components can be easily matched.
[0071]
Furthermore, since the scene determination processing unit 110 automatically determines whether or not the image is a faded image using the image data converted into hue, saturation, and brightness, the fading correction process is performed only on the faded image. be able to.
[0072]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a diagram showing a connection relationship between an image processing apparatus and an external apparatus connected to the image processing apparatus in one embodiment of the present invention.
FIG. 2 is a functional block diagram showing an outline of functions of an image processing apparatus according to the present embodiment.
FIG. 3 is a diagram illustrating an RGB histogram of a fading image before and after performing fading correction processing.
FIG. 4 is a diagram for explaining linear interpolation used for density conversion processing;
FIG. 5 is a diagram showing a density conversion curve used for density conversion processing.
FIG. 6 is a diagram for explaining a defect in fading correction processing when n = 2.
7 is a diagram showing an RGB histogram of an image obtained by performing a fading correction process on the fading image of the RGB histogram shown in FIG. 12; FIG.
FIG. 8 is a flowchart showing a flow of fading correction processing performed by the image processing apparatus according to the present embodiment.
FIG. 9 is a diagram illustrating an example of a graphic user interface for designating a fading image displayed on the image processing apparatus according to the present embodiment.
FIG. 10 is a diagram showing an example of an RGB histogram of a color cast image taken under tungsten light.
FIG. 11 is a diagram illustrating an example of an RGB histogram of an image obtained by performing color cast correction on a color cast image photographed under tungsten light.
FIG. 12 is a diagram illustrating an example of an RGB histogram of a fading image that has faded due to aging of a film.
FIG. 13 is a diagram illustrating an example of an RGB histogram of an image obtained by performing color cast correction processing on a fading image that has faded due to aging deterioration of a film.
[Explanation of symbols]
100 image processing apparatus, 110 scene determination processing unit, 111 color space conversion processing unit, 113, 121 histogram calculation unit, 115 scene information determination unit, 120 image correction processing unit, 123 reference pixel value calculation unit, 125 density conversion unit, 150 Image input device, 160 Image output device, 170 Recording medium.

Claims (6)

画素ごとに複数の色成分を有する画像データに退色補正処理を行なうための画像処理装置であって、
前記画像データを受信する受信手段と、
前記受信された画像データについて、前記複数の色成分ごとに輝度値分布を求める分布取得手段と、
前記複数の色成分それぞれについて、輝度値の最大値および最小値を求める手段と、
前記複数の色成分それぞれについて、前記最大値と前記最小値との間を画素数によってn等分(nは3以上の整数)したn等分値を求めるn等分値取得手段と、
前記複数の色成分それぞれについて求められた前記最大値、前記最小値および前記n等分値が、前記最大値および前記最小値に基づいて前記複数の色成分の中から定められる基準成分の前記最大値、前記最小値および前記n等分値にそれぞれ一致するように前記複数の色成分の輝度値分布を補正する補正手段とを備えた、画像処理装置。
An image processing apparatus for performing fading correction processing on image data having a plurality of color components for each pixel ,
Receiving means for receiving the image data ;
Distribution acquisition means for obtaining a luminance value distribution for each of the plurality of color components for the received image data;
Means for obtaining a maximum value and a minimum value of luminance values for each of the plurality of color components;
For each of the plurality of color components, n equal value acquisition means for obtaining an n equal value obtained by dividing the maximum value and the minimum value by n pixels (n is an integer of 3 or more) ;
The maximum value obtained for each of the plurality of color components, the minimum value and the n equal value, said maximum reference component defined from among the plurality of color components based on the maximum value and the minimum value An image processing apparatus comprising: a correction unit that corrects the luminance value distribution of the plurality of color components so as to match the value, the minimum value, and the n equal value .
前記補正手段は、前記複数の色成分それぞれについて求められた前記最大値と前記最小値との差をそれぞれ求め、前記差が最大となる成分を前記基準成分とし、前記基準成分の前記最大値と前記最小値と前記n等分値に他の成分の前記最大値と前記最小値と前記n等分値とを合わせるように補間を行なう、請求項1に記載の画像処理装置。The correction unit obtains a difference between the maximum value and the minimum value obtained for each of the plurality of color components, sets a component having the maximum difference as the reference component, and sets the maximum value of the reference component as The image processing apparatus according to claim 1, wherein interpolation is performed so that the minimum value and the n equal value match the maximum value, the minimum value, and the n equal value of another component. 前記受信された画像を均等色空間上の色信号に変換する変換手段と、
前記変換された色信号に基づく色相ヒストグラムが特定の色相に偏ること、または、彩度ヒストグラムが彩度の低い部分に偏っていることを検出することにより、前記受信された画像データが退色または色褪せた画像を撮像して得られた画像データであるか判定する判定手段とをさらに備え、
前記補正手段は、前記受信された画像データが退色または色褪せた画像を撮像して得られた画像データと判定されたことに応じて、前記複数の色成分の輝度値分布を補正する、請求項1に記載の画像処理装置。
Conversion means for converting the received image into a color signal on a uniform color space;
Being biased to said converted color signal based rather hue histogram specific hue, or by detecting that the saturation histogram is biased to the lower part of the saturation, the received image data is fading Or a determination means for determining whether the image data is obtained by capturing a faded image;
Wherein the correction means, the received image data in response especially is determined that the image data obtained by imaging the fading or faded images, corrects the luminance value distribution of the plurality of color components, according to claim The image processing apparatus according to 1.
受信された画像データが退色または色褪せた画像を撮像して得られた画像データであるかを受信するための入力手段をさらに備え、
前記補正手段は、前記受信された画像データが退色または色褪せた画像を撮像して得られた画像データである旨が受信されたことに応じて、前記複数の色成分の輝度値分布を補正する、請求項1に記載の画像処理装置。
An input means for receiving whether the received image data is image data obtained by capturing a faded or faded image;
The correction unit corrects the luminance value distribution of the plurality of color components in response to receiving that the received image data is image data obtained by capturing a faded or faded image. The image processing apparatus according to claim 1.
画素ごとに複数の色成分を有する画像データに退色補正処理を行なうための画像処理方法であって、
前記画像データを受信するステップと、
前記受信された画像データについて、前記複数の色成分ごとに輝度値分布を求めるステップと、
前記複数の色成分それぞれについて、輝度値の最大値および最小値を求めるステップと、
前記複数の色成分それぞれについて、前記最大値と前記最小値との間を画素数によってn等分(nは3以上の整数)したn等分値を求めるステップと、
前記複数の色成分それぞれについて求められた前記最大値、前記最小値および前記n等分値が、前記最大値および前記最小値に基づいて前記複数の色成分の中から定められる基準成分の前記最大値、前記最小値および前記n等分値にそれぞれ一致するように前記複数の色成分の輝度値分布を補正するステップとを含む、画像処理方法。
An image processing method for performing a fading correction process on image data having a plurality of color components for each pixel ,
Receiving the image data ;
Obtaining a luminance value distribution for each of the plurality of color components for the received image data;
Obtaining a maximum value and a minimum value of luminance values for each of the plurality of color components;
For each of the plurality of color components, obtaining an n equal value obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more) ;
The maximum value obtained for each of the plurality of color components, the minimum value and the n equal value, said maximum reference component defined from among the plurality of color components based on the maximum value and the minimum value And correcting the luminance value distribution of the plurality of color components so as to match the value, the minimum value, and the n-divided value, respectively .
画素ごとに複数の色成分を有する画像データの退色補正処理をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記画像データを受信するステップと、
前記受信された画像データについて、前記複数の色成分ごとに輝度値分布を求めるステップと、
前記複数の色成分それぞれについて、輝度値の最大値および最小値を求めるステップと、
前記複数の色成分それぞれについて、前記最大値と前記最小値との間を画素数によってn等分(nは3以上の整数)したn等分値を求めるステップと、
前記複数の色成分それぞれについて求められた前記最大値、前記最小値および前記n等分値が、前記最大値および前記最小値に基づいて前記複数の色成分の中から定められる基準成分の前記最大値、前記最小値および前記n等分値にそれぞれ一致するように前記複数の色成分の輝度値分布を補正するステップとを前記コンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
A computer-readable recording medium recording an image processing program for causing a computer to execute a fading correction process of image data having a plurality of color components for each pixel ,
Receiving the image data ;
Obtaining a luminance value distribution for each of the plurality of color components for the received image data;
Obtaining a maximum value and a minimum value of luminance values for each of the plurality of color components;
For each of the plurality of color components, obtaining an n equal value obtained by dividing the maximum value and the minimum value into n equal parts by the number of pixels (n is an integer of 3 or more) ;
The maximum value obtained for each of the plurality of color components, the minimum value and the n equal value, said maximum reference component defined from among the plurality of color components based on the maximum value and the minimum value value, the minimum value and the n equally divided values of the computer readable and correcting the luminance value distribution of the plurality of color components recorded an image processing program to be executed by the computer to match each record Medium.
JP2000292135A 2000-09-26 2000-09-26 Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program Expired - Fee Related JP4038976B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000292135A JP4038976B2 (en) 2000-09-26 2000-09-26 Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000292135A JP4038976B2 (en) 2000-09-26 2000-09-26 Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program

Publications (2)

Publication Number Publication Date
JP2002101313A JP2002101313A (en) 2002-04-05
JP4038976B2 true JP4038976B2 (en) 2008-01-30

Family

ID=18775112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000292135A Expired - Fee Related JP4038976B2 (en) 2000-09-26 2000-09-26 Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program

Country Status (1)

Country Link
JP (1) JP4038976B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057910A1 (en) 2003-12-12 2005-06-23 Fujitsu Limited Color balance correction program, color balance correction device, and color balance correction method
JP4517987B2 (en) * 2004-09-10 2010-08-04 富士ゼロックス株式会社 Image processing method and image processing apparatus
JP2007074578A (en) 2005-09-08 2007-03-22 Casio Comput Co Ltd Image processor, photography instrument, and program
JP4556813B2 (en) * 2005-09-08 2010-10-06 カシオ計算機株式会社 Image processing apparatus and program
US8014602B2 (en) 2006-03-29 2011-09-06 Seiko Epson Corporation Backlight image determining apparatus, backlight image determining method, backlight image correction apparatus, and backlight image correction method
US7916943B2 (en) 2006-06-02 2011-03-29 Seiko Epson Corporation Image determining apparatus, image determining method, image enhancement apparatus, and image enhancement method
US7916942B1 (en) 2006-06-02 2011-03-29 Seiko Epson Corporation Image determining apparatus, image enhancement apparatus, backlight image enhancement apparatus, and backlight image enhancement method
JP2011259039A (en) * 2010-06-04 2011-12-22 Hot Album Com Inc Image processing method
JP5847341B2 (en) 2013-01-31 2016-01-20 三菱電機株式会社 Image processing apparatus, image processing method, program, and recording medium
US11055552B2 (en) * 2016-01-12 2021-07-06 Disney Enterprises, Inc. Systems and methods for detecting light signatures and performing actions in response thereto
TWI675583B (en) * 2018-07-23 2019-10-21 緯創資通股份有限公司 Augmented reality system and color compensation method thereof

Also Published As

Publication number Publication date
JP2002101313A (en) 2002-04-05

Similar Documents

Publication Publication Date Title
JP4154847B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
EP0757473B1 (en) Image processing apparatus and method
US9438875B2 (en) Image processing apparatus, image processing method, and program
JP4955235B2 (en) Digital camera and gain calculation method
JP5195395B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium
US6563602B1 (en) Image processing apparatus and method, and recording medium
JP4123724B2 (en) Image processing program, computer-readable recording medium storing image processing program, image processing apparatus, and image processing method
EP2426927A2 (en) Image processing apparatus, image processing method and recording medium
JP2015156615A (en) Image processing system, image processing method, control program, and recording medium
JP4038976B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
KR101854432B1 (en) Method and apparatus for detecting and compensating back light frame
US11503215B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium that notify a user of a region in which tone characteristics can be restored
JP2005025448A (en) Signal processing device, signal processing program, and electronic camera
JP3490888B2 (en) Color suppression circuit
JP4150490B2 (en) Image processing system, image processing method, and recording medium
JPH1141622A (en) Image processor
JP4960597B2 (en) White balance correction apparatus and method, and imaging apparatus
JPH10271524A (en) Image processor, image processing method, and medium recorded with image processing program
JP2000201277A (en) Image correcting method
JP2004274367A (en) Digital camera
JP2002094810A (en) Picture processor, picture processing method and memory medium having stored programs for the method
JP2004304641A (en) Image processing method and image processing apparatus
JP2004260835A (en) Image processor, image processing method, and medium recording image processing control program
US11696044B2 (en) Image capturing apparatus, control method, and storage medium
JP2002095003A (en) Electronic camera

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050920

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20051116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131116

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees