JP2002185771A - 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体 - Google Patents

画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体

Info

Publication number
JP2002185771A
JP2002185771A JP2000380911A JP2000380911A JP2002185771A JP 2002185771 A JP2002185771 A JP 2002185771A JP 2000380911 A JP2000380911 A JP 2000380911A JP 2000380911 A JP2000380911 A JP 2000380911A JP 2002185771 A JP2002185771 A JP 2002185771A
Authority
JP
Japan
Prior art keywords
pixel data
image
luminance
data
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000380911A
Other languages
English (en)
Other versions
JP4281244B2 (ja
Inventor
Ikuko Yoshida
伊公子 吉田
Noriyuki Nishi
規之 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2000380911A priority Critical patent/JP4281244B2/ja
Publication of JP2002185771A publication Critical patent/JP2002185771A/ja
Application granted granted Critical
Publication of JP4281244B2 publication Critical patent/JP4281244B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Projection-Type Copiers In General (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Control Of Exposure In Printing And Copying (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 ディジタルプリンタなどの画像形成装置でデ
ィジタルカメラなどで撮影した画像をプリントする際
に、特に逆光シーンなどにおいて人物の肌の部分などの
主要被写体の部分の明るさ(濃度)が適正となるよう
に、画像データの輝度補正を行う。 【解決手段】 画像データを用いて画像を再生したと仮
定した場合に、その画像を複数の領域に分割し、各領域
に対応する画素テ゛ータを用いて各領域の平均輝度を演算
し、各領域の輝度を比較して逆光か否かの判別を行う。
また、全画素テ゛ータを用いて各画素の色を特定し、主要被
写体の色、例えば人物の肌色と同じ色の画素データを抽
出し、逆光の場合抽出した画素テ゛ータのうち輝度の低い方
から所定の割合(例えば2/3)の画素テ゛ータ、逆光でな
い場合抽出した画素テ゛ータのうち輝度の高い方から所定の
割合(例えば2/3)の画素テ゛ータを用いてその平均輝度
を演算し、画像の輝度とする。さらに、演算した画像の
輝度が所定の適正輝度値になるように輝度補正量を演算
し、得られた輝度補正値を用いて全画像テ゛ータを補正し、
補正した画像テ゛ータを用いて画像を形成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、スキャナやディジ
タルカメラにより得られたディジタル画像データを、特
にその主要被写体が適正な濃度になるように補正する技
術に関する。
【0002】
【従来の技術】カラーディジタル画像データの濃度補正
方法として、RGB各色についての全画像データの色
(濃度)を平均したときにグレー(灰色)となるよう
に、RGB各色成分のヒストグラムを補正する方法が知
られている。この方法は、「一般的な戸外の風景を撮影
した場合に、その画像に記録されている色を全て混ぜ合
わせると灰色に近くなる」というエバンスの定理に基づ
いている。
【0003】
【発明が解決しようとする課題】例えば、明るい背景に
対してフラッシュを用いずに人物を撮影した画像や、暗
い背景に対してフラッシュを用いて人物を撮影した画像
など、画面全体で濃度に偏りがある画像データを上記方
法により濃度補正した場合、背景の影響を受けて主要被
写体である人物が適正に補正されないと言う問題点を有
していた。
【0004】本発明は、上記従来例の問題点を解決する
ためになされたものであり、画像中の主要被写体の濃度
を適正に補正することが可能な画像形成装置、画像デー
タ処理方法及び画像データ処理プログラムを記録した記
録媒体を提供することを目的としている。
【0005】
【課題を解決するための手段】上記目的を達成するた
め、本発明の画像形成装置は、複数の画素データで構成
された画像データを、その画像データを用いて形成され
る画像を複数の領域に分割した場合の各領域に対応する
ように複数のグループに分割する画像データ分割手段
と、分割された各領域に対応するグループに含まれる各
画素データを用いて各領域の平均輝度を演算する領域輝
度演算手段と、演算された各領域の輝度を比較して、前
記画像が逆光又は逆光に近い状態であるか否かを判別す
る逆光判別手段と、前記画像データに含まれる各画素デ
ータからその画素の色を特定する色特定手段と、特定さ
れた各画素の色の中に所定の色が含まれているか否かを
判別し、所定の色を有する画素データを抽出する第1画
素データ抽出手段と、逆光と判別された場合に、前記抽
出された画素データのうち輝度の低い方から所定の割合
の画素データを抽出し、逆光でないと判別された場合
に、前記抽出された画素データのうち輝度の高い方から
所定の割合の画素データを抽出する第2画素データ抽出
手段と、第2画素データ抽出手段により抽出された画素
データを用いてその輝度の平均値を求める平均輝度演算
手段と、求められた輝度の平均値をあらかじめ設定され
た所定の輝度値に補正するための補正量を演算により求
める補正量演算手段と、求められた補正量を用いて全画
素データを補正する画像データ補正手段と、補正された
画像データを用いて画像を形成する画像形成手段とを具
備することを特徴とする。
【0006】上記構成において、前記補正量は、前記所
定の輝度値と前記輝度の平均値との差に所定の係数を掛
けた値であることが好ましい。
【0007】また、前記所定の色は人間の皮膚に関する
色であることが好ましい。
【0008】本発明の画像形成方法は、複数の画素デー
タで構成された画像データを、その画像データを用いて
形成される画像を複数の領域に分割した場合の各領域に
対応するように複数のグループに分割する画像データ分
割ステップと、分割された各領域に対応するグループに
含まれる各画素データを用いて各領域の平均輝度を演算
する領域輝度演算ステップと、演算された各領域の輝度
を比較して、前記画像が逆光又は逆光に近い状態である
か否かを判別する逆光判別ステップと、前記画像データ
に含まれる各画素データからその画素の色を特定する色
特定ステップと、特定された各画素の色の中に所定の色
が含まれているか否かを判別し、所定の色を有する画素
データを抽出する第1画素データ抽出ステップと、逆光
と判別された場合に、前記抽出された画素データのうち
輝度の低い方から所定の割合の画素データを抽出し、逆
光でないと判別された場合に、前記抽出された画素デー
タのうち輝度の高い方から所定の割合の画素データを抽
出する第2画素データ抽出ステップと、第2画素データ
抽出ステップにおいて抽出された画素データを用いてそ
の輝度の平均値を求める平均輝度演算ステップと、求め
られた輝度の平均値をあらかじめ設定された所定の輝度
値に補正するための補正量を演算により求める補正量演
算ステップと、求められた補正量を用いて全画素データ
を補正する画像データ補正ステップと、補正された画像
データを用いて画像を形成する画像形成ステップとを具
備することを特徴とする。
【0009】上記方法において、前記補正量は、前記所
定の輝度値と前記輝度の平均値との差に所定の係数を掛
けた値であることが好ましい。
【0010】また、前記所定の色は人間の皮膚に関する
色であることが好ましい。
【0011】本発明の画像データ処理プログラムを記録
した記録媒体は、複数の画素データで構成された画像デ
ータを、その画像データを用いて形成される画像を複数
の領域に分割した場合の各領域に対応するように複数の
グループに分割する画像データ分割処理と、分割された
各領域に対応するグループに含まれる各画素データを用
いて各領域の平均輝度を演算する領域輝度演算処理と、
演算された各領域の輝度を比較して、前記画像が逆光又
は逆光に近い状態であるか否かを判別する逆光判別処理
と、前記画像データに含まれる各画素データからその画
素の色を特定する色特定処理と、特定された各画素の色
の中に所定の色が含まれているか否かを判別し、所定の
色を有する画素データを抽出する第1画素データ抽出処
理と、逆光と判別された場合に、前記抽出された画素デ
ータのうち輝度の低い方から所定の割合の画素データを
抽出し、逆光でないと判別された場合に、前記抽出され
た画素データのうち輝度の高い方から所定の割合の画素
データを抽出する第2画素データ抽出処理と、第2画素
データ抽出処理において抽出された画素データを用いて
その輝度の平均値を求める平均輝度演算処理と、求めら
れた輝度の平均値をあらかじめ設定された所定の輝度値
に補正するための補正量を演算により求める補正量演算
処理と、求められた補正量を用いて全画素データを補正
する画像データ補正処理と、補正された画像データを用
いて画像を形成する画像形成処理とをコンピュータに実
行させるように記録されていることを特徴とする。
【0012】
【発明の実施の形態】本発明の一実施形態について、デ
ィジタルプリンタを例にして説明する。本実施形態に係
るディジタルプリンタ(ディジタル式写真処理装置)の
外観構成を図1に示す。
【0013】ディジタルプリンタとは、ディジタルカメ
ラで撮像した画像を直接印画紙片上にプリントしたり、
銀塩フィルム上に形成された画像を一旦スキャナで読み
込み、印画紙片上にプリントするためのものである。図
1に示すように、ディジタルプリンタは、ディジタルカ
メラやスキャナの撮像素子の各画素に対応する印画紙上
の微小領域をR(赤)、G(緑)及びB(青)又はY
(黄)、M(マゼンタ)及びC(シアン)の三原色のい
ずれかの光で露光し、露光された印画紙を現像処理する
ことによって画像を形成する画像形成部100と、入力
されたディジタル画像データに所定の処理を施して画像
形成部100に出力する画像データ処理部200で構成
されている。
【0014】画像形成部100は、それぞれ幅の異なる
複数種類(例えば2種類)の長尺印画紙を巻回収納した
マガジン101,102と、マガジン101又は102
から引き出した印画紙を所定サイズに切断し、切断され
た印画紙片上に画像データ処理部200から送信された
画像を露光する露光部103と、露光された印画紙片を
現像、漂白、定着及び安定化処理する現像処理部104
と、現像された印画紙片を乾燥する乾燥部105と、乾
燥された印画紙片を例えばフィルム単位に仕分けるソー
タ部106等で構成されている。なお、画像形成部10
0は、従来のアナログ式の写真処理装置におけるフィル
ム上の画像を印画紙片上に拡大露光するための光源、レ
ンズ及びシャッタ等は具備していない。
【0015】画像データ処理部200は、メモリカード
やCD−R等の記録媒体に記録されている画像データを
読み込んだり、あるいは補正後の画像データをこれらの
記録媒体に記録するためのデータ記録読み出し装置20
1と、フィルムや印画紙上に形成された画像を直接読み
込むためのスキャナ202と、読み込んだ画像をモニタ
表示するためのディスプレイ203と、所定の画像処理
やプリント処理の指示を入力するためのキーボード20
4と、プリントする画像データに所定の処理を施し、露
光ユニットを制御するための制御データに変換し、画像
形成部100に出力するための制御回路(図示せず)等
で構成されている。また、モデムやLANボード及び通
信回線などを介して、他の装置との間で直接画像データ
の送受信が可能なように構成してもよい。
【0016】次に、第1実施形態のディジタルプリンタ
の機能を説明するためのブロック構成を図2に示す。
【0017】画像データ入力部210は、例えば入出力
インタフェース、CPU、ROM、RAMなどで構成さ
れ、データ記録読み出し装置201やスキャナ202か
ら出力されたディジタル画像データを取り込み、RAM
などに一時的に記憶し、保存する。ここで、ディジタル
画像データは、その画像データを撮像したディジタルカ
メラやスキャナなどの撮像素子の各画素からのR
(赤)、G(緑)及びB(青)の各色成分ごとの輝度に
関する出力信号(RGBデータ)をシリアルに配列した
ものであり、インタフェースを介してシリアルに入出力
される。
【0018】画像データ分割部211は、CPU、RO
M、RAMなどで構成され、取り込まれたいずれかの画
像データを用いて画像を形成したと仮定した場合に、例
えば図3に示すように、その画像を複数の領域に分割し
た各領域に対応するように、画像データを画素の番地な
どに応じて複数のグループに分割する。
【0019】領域輝度演算部212は、CPU、RO
M、RAMなどで構成され、分割された各グループごと
に、そのグループに含まれる画素データを用いて分割さ
れた各領域ごとの平均輝度を演算する。具体的には、各
画素ごとのRGBデータは、色と輝度(明るさ)に関す
る情報であり、RGBデータに対して以下の(数1)に
示す演算処理を行い、輝度情報と色差情報を表すYCC
データ(C2,YY,C1)に変換する。YYは輝度情
報を表し、C1及びC2は色差情報を表す。この変換に
よりRGBデータから輝度に関する情報だけを取り出す
ことができる。
【0020】
【数1】
【0021】逆光判別部213は、CPU、ROM、R
AMなどで構成され、演算された各領域の輝度を隣接す
る領域の輝度と比較し、画像の中心部に位置する領域の
輝度が周辺部に位置する領域の輝度よりも低い(暗い)
場合を逆光又は逆光に近い状態と判断する。逆光又は逆
光に近い状態については、各領域の輝度の高低のパター
ンを何通りかROMに記憶させておき、演算で求めた輝
度分布のパターンがいずれかのパターンに一致するか否
かを比較するように構成しても良い。
【0022】色特定部214は、CPU、ROM、RA
Mなどで構成され、全画素データ又は画像データ分割部
211により分割された各領域のうち、あらかじめ選択
されている1又は2以上の領域、例えば画面中央部近傍
の複数の領域などに対応するグループに含まれる各画素
データを用いて、RGBデータに対して上記(数1)に
示す演算処理を行い、輝度情報と色差情報を表すYCC
データ(C2,YY,C1)に変換する。この変換によ
りRGBデータから色に関する情報だけを取り出し、各
画素の色を特定する。
【0023】画素データ抽出部215は、CPU、RO
M、RAMなどで構成され、色特定部214により特定
された各領域の色とあらかじめ設定されている所定の
色、例えば人物の肌の色などユーザ又はオペレータが任
意に設定した主要被写体の色とを比較し、各領域の色が
所定の色と一致するか否かを判断し、所定の色と一致す
る画素データを抽出し、RAMなどに記憶する(第1画
素データ抽出)。具体的には、全ての画素について、色
特定部214により演算されたC1及びC2の値を、あ
らかじめROMなどに記憶されているLUT(ルックア
ップテーブル)の値と比較し、C1及びC2の値が上記
所定の値と一致するか否か又は所定の範囲内に含まれる
か否かを判断する。これにより、全画素データの中から
主要被写体に関する画素データが抽出される。
【0024】さらに、画素データ抽出部215は、第1
画素データ抽出処理により抽出した画素データについて
それぞれ所定の処理を施し、各画素にそれぞれ対応する
輝度を演算し、輝度ヒストグラムを作成する。そして、
逆光判別部213により逆光と判断された場合には、抽
出した画素データのうち輝度の低い方から、抽出した画
素データ数に対する所定の割合(例えば2/3)に相当
する画素データをさらに抽出する(第2画素データ抽
出)。また、逆光設定部222により逆光でないと判断
された場合には、画素データのうち輝度の高い方から、
抽出した画素データ数の所定の割合(2/3)に相当す
る画素データをさらに抽出する(第2画素データ抽
出)。
【0025】平均輝度演算部216は、CPU、RO
M、RAMなどで構成され、第2画素データ抽出処理に
より抽出された全ての画像データを用いて、主要被写体
に対応する部分の輝度の平均値を演算する。本実施形態
では、画像中の主要被写体を、背景などのその他の部分
の輝度の影響を受けることなく適正な輝度(濃度)に補
正することを目的としており、上記各処理を経ることに
より、主要被写体の部分のみの輝度情報が得られる。
【0026】補正量演算部217は、CPU、ROM、
RAMなどで構成され、演算された主要被写体部分の輝
度の平均値とあらかじめ設定されている適正輝度に相当
する所定の輝度値と比較し、主要被写体の部分を適正輝
度(適正濃度)にするために、輝度の平均値を所定の輝
度値に一致させるために必要な補正量を演算し、RAM
などに記憶する。
【0027】画像データ補正部218は、CPU、RO
M、RAMなどで構成され、演算された補正量を用いて
全ての画素に関する画像データの輝度(RGBデータ)
を補正する。
【0028】補正画像データ出力部219は、画像デー
タ入力部220と同様に入出力インタフェース、CP
U、ROM、RAMなどで構成され、画像形成部100
に補正された画像データを出力する。
【0029】次に、本実施形態における画像データ処理
のフローチャートを図4〜図5に示す。
【0030】画像データ入力部210により画像データ
が読み込まれると(ステップS1)、画像データ分割部
211は、図3に示すように、その画像データを用いて
形成したと仮定した場合に、その仮想画像を縦方向及び
横方向にそれぞれ複数(例えば5×5=25)に分割し
(ステップS3)、分割した各領域に対応するように、
画像データを画素の番地などに応じて複数のグループに
分割する。
【0031】領域輝度演算部212は、画像データ分割
部211により分割された各領域のそれぞれについて、
各領域に対応するグループの画素データを画像データ入
力部210のRAMから読み出し(ステップS5)、上
記(数1)に従って各画素ごとの輝度情報YYを演算
し、さらに各領域ごとの平均輝度を演算する(ステップ
S7) 次に、逆光判別部213は、各領域ごとにその平均輝度
を隣接する各領域の平均輝度と比較し、分割された各領
域の輝度の高低パターンから、上記仮想画像が逆光シー
ン又は逆光に近い状態であるか否かを判断する(ステッ
プS9)。
【0032】一方、色比較部214は、全画素データに
ついて、上記(数1)に従って色情報C1及びC2を抽
出し、各画素ごとの色を特定し(ステップS11)、特
定された各画素の色とあらかじめ設定されている主要被
写体の色(所定の色)とを比較する(ステップS1
3)。
【0033】所定の色と同じ色の画素がある場合、画素
データ抽出部215は、所定の色と同じ色を有する画素
データのみを抽出する(第1画素データ抽出:ステップ
S15)。そして、ステップS9における判断が逆光シ
ーンか否かを判断し(ステップS17)、逆光条件が設
定された場合に(ステップS17でYES)、抽出され
た画素データのうち輝度の低い方から所定の割合(第1
画素データ抽出により抽出した画素データの2/3)の
画素データを抽出し(第2画素データ抽出)(ステップ
S19)、逆光条件が設定されていない場合に、抽出さ
れた画素データのうち輝度の高い方から所定の割合(2
/3)の画素データを抽出する(ステップS21)。
【0034】画素データを抽出すると、平均輝度演算部
216は、抽出した画素データ及びその輝度情報を用い
て、選択された範囲の輝度の平均値を演算する(ステッ
プS23)。補正量演算部217は、演算された輝度の
平均値とあらかじめ設定されている適正輝度に相当する
所定の輝度値を比較し、輝度補正量を演算する(ステッ
プS25)。輝度補正量が演算されると、その画像デー
タを特定するための、例えばフィルムのコマ番号などと
共に、輝度補正量を画像データ入力部210のRAMな
どに保存する(ステップS27)。
【0035】輝度補正量を保存すると、制御装置60
は、画像データ入力部210のRAMに記憶されている
全ての画像データについて、上記逆光判別処理及び輝度
補正処理が終了したか否かを判断し(ステップS2
9)、終了していない場合はステップS1からS29ま
でを繰り返す。
【0036】全ての画像データについて所定の画像デー
タ処理を終了すると(ステップS29でYES)、画像
データ補正部218は、各画像データ及びその画像デー
タに関する輝度補正量を順に読み出し(ステップS3
1)、輝度補正量を用いて各画像データを補正し(ステ
ップS33)、RAMなどに補正した画像データを保存
する(ステップS35)。さらに、画像データ補正部2
18は、輝度補正の対象となっている全ての画像データ
について輝度補正を行ったか否かを判断し(ステップS
37)、補正が完了していない場合はステップS31か
らS37を繰り返す。
【0037】全ての画像データの補正が完了すると、補
正画像データ出力部219は、補正した画像データを画
像形成部100に出力するか否かを判断する(ステップ
S39)。すなわち、補正した画像データを用いて画像
を形成する場合、補正画像データ出力部219は、補正
した画像データを画像形成部100に出力する(ステッ
プS41)。そして、画像形成部100は、画像データ
処理部200から出力された補正された画像データを用
いて印画紙片上に画像を形成し(ステップS43)、こ
のフローを終了する。
【0038】次に、第1実施形態による画像データの補
正の効果について図6を参照しつつ説明する。ディジタ
ルカメラなどにより撮像された画像が、例えば図6
(b)に示すように、背景の輝度が高く(濃度が低く明
るく)主要被写体の輝度が低い(濃度が高く暗い)「逆
光シーン」であるとする。
【0039】この画像データを補正せずにそのまま用い
て画像を形成すると、図6(b)に示すように逆光シー
ンの画像が得られる。一方、エバンスの定理に従い、R
GB各色についての全画像データの色を平均したときに
灰色となるように、RGB各色成分を補正すると、図6
(c)に示すように、背景が灰色になるように暗く補正
され、元々輝度の低い(濃度が高く暗い)主要被写体で
ある人物はさらに暗く補正され、そのディテールがほぼ
完全につぶれてしまう。
【0040】これに対して、本実施形態のように、主要
被写体の部分を抽出し、さらに選択された主要被写体部
分に含まれる画素データのうち輝度の低い方(暗い方)
から所定の割合(2/3)の画素データを再抽出し、再
抽出した画素データ及びその輝度情報を用いて主要被写
体の部分の輝度(濃度)が適正となるように全画像デー
タを補正すると、人の肌の色と同じ又は類似した色彩で
あって、主要被写体以外の部分(例えば背景の部分の木
製の壁など)の影響を少なくすることができ、図6
(a)に示すように、元々輝度の高い(濃度が低く明る
い)背景はさらに明るく補正されるものの、主要被写体
である人物は、そのディテールが明確に判別できるよう
に適正輝度(適正濃度)に補正される。その結果、逆光
シーンのように濃度に偏りのある画像であっても、適切
な補正を行うことができる。
【0041】なお、図6に示す例とは逆に、暗い場所で
フラッシュ撮影をした場合のように、主要被写体の輝度
が高く背景の輝度が低い場合、すなわち、逆光条件が設
定されていない場合には、上記逆光シーンとは逆に、人
の肌の色と同じ又は類似した色彩であって、主要被写体
以外の部分(例えば背景の部分の木製の壁など)の方が
主要被写体部分(例えば人物の顔の部分)よりも輝度が
低いので、選択された主要被写体部分に含まれる画素デ
ータのうち輝度の高い方(明るい方)から所定の割合
(2/3)の画素データを再抽出し、再抽出した画素デ
ータ及びその輝度情報を用いて主要被写体の部分の輝度
(濃度)が適正となるように全画像データを補正すれば
よい。
【0042】その他の実施形態 なお、上記実施形態では、画像データ中の全画素データ
を用いて各画素ごとの色を特定し、あらかじめ設定され
ている主要被写体の色と同じ色を有する画素の画素デー
タを用いて輝度の平均値を求め、輝度補正量を演算する
ように構成したが、複数に分割された領域のうち、あら
かじめ1又は2以上の領域、例えば画面の中央部に位置
する一部の領域を選択しておき、選択した領域の画素デ
ータを用いて、画像データの色情報の分析、輝度の平均
値の演算及び輝度補正量の演算を行うように構成しても
良い。その場合、主要被写体が存在する可能性が高いと
思われる部分の画像データのみを用いて輝度補正処理を
行うので、処理すべきデータ数が少なくなり、演算処理
に要する時間を短縮することが可能となる。
【0043】また、上記実施形態では、主要被写体領域
を特定し、主要被写体領域の輝度の平均値が適正輝度に
相当する所定の輝度値になるように輝度補正量を決定す
るように構成したが、これに限定されるものではなく、
輝度の平均値と所定の輝度値の差に対して、さらに所定
の係数(例えば60〜80%の間の任意の値)を掛けた
値を輝度補正量として用いても良い。すなわち、図7に
示すように、主要被写体の色として人物の肌の色を例に
しても、主要被写体の色は単一ではなく一定の色の範囲
を有する場合もあることから、特定の色(例えば人物の
肌の色)を有する領域のみを対象にして輝度を補正する
と、その色に類似する他の色の領域に対して補正過剰と
なり、かえって補正後の画質が低下することも考えられ
る。また、補正前の主要被写体の輝度が適正輝度に対し
て極端に高い場合や逆に低い場合に、主要被写体領域の
輝度を完全に適正輝度にまで補正すると、主要被写体以
外の部分の輝度が異常に低くなったり又は高くなるおそ
れがある。従って、これらの場合には、主要被写体領域
の輝度を完全に適正輝度にまで補正するのではなく、適
正輝度に近い程度の補正でとどめておく方が好ましい。
さらに、上記各実施形態では、主要被写体領域の色を専
ら単色として扱ったが、これに限定されるものではな
く、所定の範囲に含まれる複数の色としても良い。
【0044】さらに、上記実施形態では、補正前の画像
をプレスキャン画像としてディスプレイ203のモニタ
画面上に表示しないように構成したが、補正前及び補正
後の画像データを用いてプリント用の画像をディスプレ
イ203のモニタ画面上に表示するように構成しても良
い。さらに、ディスプレイ203のモニタ画面上にプレ
スキャン画像を表示する場合及び主要被写体領域の輝度
補正量を演算する場合に、画像データの画素数を間引い
て使用しても良い。
【0045】さらに、上各実施形態では、画像形成装置
としてディジタルプリンタを例にして説明したが、これ
に限定されるものではなく、パーソナルコンピュータ及
びそれに接続されたカラープリンタ、例えば熱転写式カ
ラープリンタ、インクジェット式カラープリンタ及びレ
ーザ式カラープリンタなどであっても良い。
【0046】さらに、本発明は画像形成装置に限定され
ず、パーソナルコンピュータで実行される画像データ補
正方法及びその方法を実行するためのプログラムを記録
した記録媒体も含む。
【0047】
【発明の効果】以上説明したように、本発明の画像形成
装置によれば、複数の画素データで構成された画像デー
タを、その画像データを用いて形成される画像を複数の
領域に分割した場合の各領域に対応するように複数のグ
ループに分割する画像データ分割手段と、分割された各
領域に対応するグループに含まれる各画素データを用い
て各領域の平均輝度を演算する領域輝度演算手段と、演
算された各領域の輝度を比較して、前記画像が逆光又は
逆光に近い状態であるか否かを判別する逆光判別手段
と、前記画像データに含まれる各画素データからその画
素の色を特定する色特定手段と、特定された各画素の色
の中に所定の色が含まれているか否かを判別し、所定の
色を有する画素データを抽出する第1画素データ抽出手
段と、逆光と判別された場合に、前記抽出された画素デ
ータのうち輝度の低い方から所定の割合の画素データを
抽出し、逆光でないと判別された場合に、前記抽出され
た画素データのうち輝度の高い方から所定の割合の画素
データを抽出する第2画素データ抽出手段と、第2画素
データ抽出手段により抽出された画素データを用いてそ
の輝度の平均値を求める平均輝度演算手段と、求められ
た輝度の平均値をあらかじめ設定された所定の輝度値に
補正するための補正量を演算により求める補正量演算手
段と、求められた補正量を用いて全画素データを補正す
る画像データ補正手段と、補正された画像データを用い
て画像を形成する画像形成手段とを具備することを特徴
とする。
【0048】また、本発明の画像形成方法によれば、複
数の画素データで構成された画像データを、その画像デ
ータを用いて形成される画像を複数の領域に分割した場
合の各領域に対応するように複数のグループに分割する
画像データ分割ステップと、分割された各領域に対応す
るグループに含まれる各画素データを用いて各領域の平
均輝度を演算する領域輝度演算ステップと、演算された
各領域の輝度を比較して、前記画像が逆光又は逆光に近
い状態であるか否かを判別する逆光判別ステップと、前
記画像データに含まれる各画素データからその画素の色
を特定する色特定ステップと、特定された各画素の色の
中に所定の色が含まれているか否かを判別し、所定の色
を有する画素データを抽出する第1画素データ抽出ステ
ップと、逆光と判別された場合に、前記抽出された画素
データのうち輝度の低い方から所定の割合の画素データ
を抽出し、逆光でないと判別された場合に、前記抽出さ
れた画素データのうち輝度の高い方から所定の割合の画
素データを抽出する第2画素データ抽出ステップと、第
2画素データ抽出ステップにおいて抽出された画素デー
タを用いてその輝度の平均値を求める平均輝度演算ステ
ップと、求められた輝度の平均値をあらかじめ設定され
た所定の輝度値に補正するための補正量を演算により求
める補正量演算ステップと、求められた補正量を用いて
全画素データを補正する画像データ補正ステップと、補
正された画像データを用いて画像を形成する画像形成ス
テップとを具備することを特徴とする。
【0049】さらに、本発明の画像データ処理プログラ
ムを記録した記録媒体によれば、複数の画素データで構
成された画像データを、その画像データを用いて形成さ
れる画像を複数の領域に分割した場合の各領域に対応す
るように複数のグループに分割する画像データ分割処理
と、分割された各領域に対応するグループに含まれる各
画素データを用いて各領域の平均輝度を演算する領域輝
度演算処理と、演算された各領域の輝度を比較して、前
記画像が逆光又は逆光に近い状態であるか否かを判別す
る逆光判別処理と、前記画像データに含まれる各画素デ
ータからその画素の色を特定する色特定処理と、特定さ
れた各画素の色の中に所定の色が含まれているか否かを
判別し、所定の色を有する画素データを抽出する第1画
素データ抽出処理と、逆光と判別された場合に、前記抽
出された画素データのうち輝度の低い方から所定の割合
の画素データを抽出し、逆光でないと判別された場合
に、前記抽出された画素データのうち輝度の高い方から
所定の割合の画素データを抽出する第2画素データ抽出
処理と、第2画素データ抽出処理において抽出された画
素データを用いてその輝度の平均値を求める平均輝度演
算処理と、求められた輝度の平均値をあらかじめ設定さ
れた所定の輝度値に補正するための補正量を演算により
求める補正量演算処理と、求められた補正量を用いて全
画素データを補正する画像データ補正処理と、補正され
た画像データを用いて画像を形成する画像形成処理とを
コンピュータに実行させるように記録されていることを
特徴とする。
【0050】すなわち、これらの発明によれば、画像を
一旦モニタ画面上に表示することなく、ユーザ又はオペ
レータが設定した主要被写体の色、例えば人物の肌の色
と同じ色を有する画素データを用いて、その画素データ
の範囲の輝度が適正となるように画像データ全体を補正
するので、例えば逆光シーンやフラッシュ撮影などの場
合であっても、画面の主要被写体である人物の顔の部分
が適正な明るさ(濃度)に補正された画像を得ることが
できる。また、画像の逆光判別を自動的に行い、逆光シ
ーンと判断された場合は、主要被写体領域のうち、暗い
方から所定の割合(例えば2/3)の画素データを用
い、逆光シーンでないと判断された場合は、主要被写体
領域のうち、明るい方から所定の割合(例えば2/3)
の画素データを用いるので、背景に主要被写体の色(例
えば人物の肌の色)と同じ又は同系統の色の領域が含ま
れる場合であっても、背景部分による影響を少なくし
て、主要被写体の濃度をより適正に補正することができ
る。また、各画像をモニタ画面上に表示する必要がな
く、例えば1枚の記録媒体に複数の画像データが記録さ
れており、全ての画像をプリントする場合などでは、ト
ータルの処理時間を短くすることが可能である。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係るディジタルプリン
タの外観構成を示す図である。
【図2】 上記一実施形態におけるディジタルプリンタ
のブロック構成を示す図である。
【図3】 上記一実施形態において、仮想画像を複数の
領域に分割した状態を示す図である。
【図4】 上記一実施形態における画像データ処理のフ
ローチャートである。
【図5】 図4のフローチャートの続きである。
【図6】 本発明による画像データの輝度補正の効果を
説明するための図である。
【図7】 色情報を2次元的に表した図である。
【符号の説明】
100:画像形成部 200:画像データ処理部 210:画像データ入力部 211:画像データ分割部 212:領域輝度演算部 213:逆光判別部 214:色特定部 215:画像データ抽出部 216:平均輝度演算部 217:補正量演算部 218:画像データ補正部 219:補正画像データ出力部
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/407 H04N 5/243 5C065 1/46 H04N 9/04 B 5C076 5/20 H04N 101:00 5C077 5/243 1/40 D 5C079 // H04N 9/04 101E H04N 101:00 1/46 Z Fターム(参考) 2H106 AA73 AA76 AA80 AA85 AB04 BA22 BA26 BA27 BA47 2H110 BA13 BA17 BA18 CB23 CB27 CB32 CB36 CB72 CB76 5B057 AA11 BA02 BA25 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE17 CE18 CH18 DA08 DA17 DB02 DB06 DB09 DC23 5C021 PA01 XA35 5C022 AA13 AC69 5C065 AA03 BB04 BB12 BB16 CC02 CC08 GG17 HH04 5C076 AA26 AA36 AA40 BA06 5C077 LL19 MP08 PP15 PP32 PP34 PP37 PP46 PP65 PP68 PQ08 PQ19 PQ20 PQ22 TT09 5C079 HB01 HB04 HB11 LA02 LA07 LA12 LA31 LA39 MA11 NA05 NA11 PA03 PA08

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 複数の画素データで構成された画像デー
    タを、その画像データを用いて形成される画像を複数の
    領域に分割した場合の各領域に対応するように複数のグ
    ループに分割する画像データ分割手段と、 分割された各領域に対応するグループに含まれる各画素
    データを用いて各領域の平均輝度を演算する領域輝度演
    算手段と、 演算された各領域の輝度を比較して、前記画像が逆光又
    は逆光に近い状態であるか否かを判別する逆光判別手段
    と、 前記画像データに含まれる各画素データからその画素の
    色を特定する色特定手段と、 特定された各画素の色の中に所定の色が含まれているか
    否かを判別し、所定の色を有する画素データを抽出する
    第1画素データ抽出手段と、 逆光と判別された場合に、前記抽出された画素データの
    うち輝度の低い方から所定の割合の画素データを抽出
    し、逆光でないと判別された場合に、前記抽出された画
    素データのうち輝度の高い方から所定の割合の画素デー
    タを抽出する第2画素データ抽出手段と、 第2画素データ抽出手段により抽出された画素データを
    用いてその輝度の平均値を求める平均輝度演算手段と、 求められた輝度の平均値をあらかじめ設定された所定の
    輝度値に補正するための補正量を演算により求める補正
    量演算手段と、 求められた補正量を用いて全画素データを補正する画像
    データ補正手段と、 補正された画像データを用いて画像を形成する画像形成
    手段とを具備することを特徴とする画像形成装置。
  2. 【請求項2】 前記補正量は、前記所定の輝度値と前記
    輝度の平均値との差に所定の係数を掛けた値であること
    を特徴とする請求項1記載の画像形成装置。
  3. 【請求項3】 前記所定の色は人間の皮膚に関する色で
    あることを特徴とする請求項1又は2記載の画像形成装
    置。
  4. 【請求項4】 複数の画素データで構成された画像デー
    タを、その画像データを用いて形成される画像を複数の
    領域に分割した場合の各領域に対応するように複数のグ
    ループに分割する画像データ分割ステップと、 分割された各領域に対応するグループに含まれる各画素
    データを用いて各領域の平均輝度を演算する領域輝度演
    算ステップと、 演算された各領域の輝度を比較して、前記画像が逆光又
    は逆光に近い状態であるか否かを判別する逆光判別ステ
    ップと、 前記画像データに含まれる各画素データからその画素の
    色を特定する色特定ステップと、 特定された各画素の色の中に所定の色が含まれているか
    否かを判別し、所定の色を有する画素データを抽出する
    第1画素データ抽出ステップと、 逆光と判別された場合に、前記抽出された画素データの
    うち輝度の低い方から所定の割合の画素データを抽出
    し、逆光でないと判別された場合に、前記抽出された画
    素データのうち輝度の高い方から所定の割合の画素デー
    タを抽出する第2画素データ抽出ステップと、 第2画素データ抽出ステップにおいて抽出された画素デ
    ータを用いてその輝度の平均値を求める平均輝度演算ス
    テップと、 求められた輝度の平均値をあらかじめ設定された所定の
    輝度値に補正するための補正量を演算により求める補正
    量演算ステップと、 求められた補正量を用いて全画素データを補正する画像
    データ補正ステップと、 補正された画像データを用いて画像を形成する画像形成
    ステップとを具備することを特徴とする画像形成方法。
  5. 【請求項5】 前記補正量は、前記所定の輝度値と前記
    輝度の平均値との差に所定の係数を掛けた値であること
    を特徴とする請求項4記載の画像データ処理方法。
  6. 【請求項6】 前記所定の色は人間の皮膚に関する色で
    あることを特徴とする請求項4又は5記載の画像データ
    処理方法。
  7. 【請求項7】 複数の画素データで構成された画像デー
    タを、その画像データを用いて形成される画像を複数の
    領域に分割した場合の各領域に対応するように複数のグ
    ループに分割する画像データ分割処理と、 分割された各領域に対応するグループに含まれる各画素
    データを用いて各領域の平均輝度を演算する領域輝度演
    算処理と、 演算された各領域の輝度を比較して、前記画像が逆光又
    は逆光に近い状態であるか否かを判別する逆光判別処理
    と、 前記画像データに含まれる各画素データからその画素の
    色を特定する色特定処理と、 特定された各画素の色の中に所定の色が含まれているか
    否かを判別し、所定の色を有する画素データを抽出する
    第1画素データ抽出処理と、 逆光と判別された場合に、前記抽出された画素データの
    うち輝度の低い方から所定の割合の画素データを抽出
    し、逆光でないと判別された場合に、前記抽出された画
    素データのうち輝度の高い方から所定の割合の画素デー
    タを抽出する第2画素データ抽出処理と、 第2画素データ抽出処理において抽出された画素データ
    を用いてその輝度の平均値を求める平均輝度演算処理
    と、 求められた輝度の平均値をあらかじめ設定された所定の
    輝度値に補正するための補正量を演算により求める補正
    量演算処理と、 求められた補正量を用いて全画素データを補正する画像
    データ補正処理と、 補正された画像データを用いて画像を形成する画像形成
    処理とをコンピュータに実行させるように記録されてい
    ることを特徴とする画像データ処理プログラムを記録し
    た記録媒体。
JP2000380911A 2000-12-14 2000-12-14 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体 Expired - Fee Related JP4281244B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000380911A JP4281244B2 (ja) 2000-12-14 2000-12-14 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000380911A JP4281244B2 (ja) 2000-12-14 2000-12-14 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002185771A true JP2002185771A (ja) 2002-06-28
JP4281244B2 JP4281244B2 (ja) 2009-06-17

Family

ID=18849017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000380911A Expired - Fee Related JP4281244B2 (ja) 2000-12-14 2000-12-14 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4281244B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038119A (ja) * 2003-07-18 2005-02-10 Canon Inc 画像処理装置および方法
JP2005051407A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置
KR100809349B1 (ko) * 2006-09-25 2008-03-05 삼성전자주식회사 이미지의 밝기 보정을 위한 장치 및 방법
KR100809347B1 (ko) 2006-07-31 2008-03-05 삼성전자주식회사 쉐도우 영역 보상 방법 및 장치
JP2009059118A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
JP2009059119A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
US7570836B2 (en) 2003-07-30 2009-08-04 Seiko Epson Corporation Backlit image judgment
JP2010062920A (ja) * 2008-09-04 2010-03-18 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
US7773158B2 (en) 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
US7782366B2 (en) 2002-09-20 2010-08-24 Seiko Epson Corporation Backlight adjustment processing of image using image generation record information
KR20110008587A (ko) * 2009-07-20 2011-01-27 엘지이노텍 주식회사 인물 촬영 방법
US7932930B2 (en) 2003-05-16 2011-04-26 Seiko Epson Corporation Brightness correction for image
KR101297182B1 (ko) * 2006-11-24 2013-08-21 삼성전자주식회사 자동 역광 보정 기능을 구비한 이미지 촬영기기 및 그 방법

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782366B2 (en) 2002-09-20 2010-08-24 Seiko Epson Corporation Backlight adjustment processing of image using image generation record information
US7932930B2 (en) 2003-05-16 2011-04-26 Seiko Epson Corporation Brightness correction for image
JP2005038119A (ja) * 2003-07-18 2005-02-10 Canon Inc 画像処理装置および方法
US7570836B2 (en) 2003-07-30 2009-08-04 Seiko Epson Corporation Backlit image judgment
US7683973B2 (en) 2003-07-31 2010-03-23 Canon Kabushiki Kaisha Image processing method and apparatus performing color adjustment
US7428021B2 (en) 2003-07-31 2008-09-23 Canon Kabushiki Kaisha Image processing method, recording medium and apparatus for performing color adjustment to image data using a brightness component, a low-frequency brightness component, and first and second parameters
JP2005051407A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置
US7880814B2 (en) 2005-10-12 2011-02-01 Panasonic Corporation Visual processing device, display device, and integrated circuit
US7773158B2 (en) 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
US8368814B2 (en) 2005-10-12 2013-02-05 Panasonic Corporation Visual processing device, display device, and integrated circuit for adjusting the contrast of an image
KR100809347B1 (ko) 2006-07-31 2008-03-05 삼성전자주식회사 쉐도우 영역 보상 방법 및 장치
US8705886B2 (en) 2006-09-25 2014-04-22 Samsung Electronics Co., Ltd. System, medium, and method compensating brightness of an image
KR100809349B1 (ko) * 2006-09-25 2008-03-05 삼성전자주식회사 이미지의 밝기 보정을 위한 장치 및 방법
KR101297182B1 (ko) * 2006-11-24 2013-08-21 삼성전자주식회사 자동 역광 보정 기능을 구비한 이미지 촬영기기 및 그 방법
JP2009059119A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
JP4600448B2 (ja) * 2007-08-31 2010-12-15 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
US8009927B2 (en) 2007-08-31 2011-08-30 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
US8126285B2 (en) 2007-08-31 2012-02-28 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
US8160383B2 (en) 2007-08-31 2012-04-17 Casio Computer Co., Ltd. Tone correcting apparatus providing improved tone correction on image
JP4525719B2 (ja) * 2007-08-31 2010-08-18 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP2009059118A (ja) * 2007-08-31 2009-03-19 Casio Comput Co Ltd 階調補正装置、階調補正方法、階調補正プログラム
JP2010062920A (ja) * 2008-09-04 2010-03-18 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20110008587A (ko) * 2009-07-20 2011-01-27 엘지이노텍 주식회사 인물 촬영 방법
KR101593502B1 (ko) 2009-07-20 2016-02-18 엘지이노텍 주식회사 인물 촬영 방법

Also Published As

Publication number Publication date
JP4281244B2 (ja) 2009-06-17

Similar Documents

Publication Publication Date Title
US7133070B2 (en) System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
JP3725454B2 (ja) 画像ファイルの出力画像調整
US6396599B1 (en) Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US20070071316A1 (en) Image correcting method and image correcting system
US20030142285A1 (en) Method of detecting and correcting the red eye
JP4368513B2 (ja) 画像処理方法および装置並びに記録媒体
JP2001251531A (ja) 画像処理方法および装置並びに記録媒体
JP4281244B2 (ja) 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2001148780A (ja) 赤目修正対象領域の設定方法および赤目修正方法
JP2003209683A (ja) 画像処理装置および画像処理方法
JP4328956B2 (ja) デジタルカメラの制御方法及び装置
JP2634511B2 (ja) 写真プリントの赤目修正方法及びピクトリアルハードコピー装置
JP3964796B2 (ja) 赤目検出および修正方法
JPH08110603A (ja) 色調整方法および装置
JP2002135559A (ja) 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP4415488B2 (ja) 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JPH1075374A (ja) 画像処理方法および装置
JP4015066B2 (ja) 画像ファイルの出力画像調整
JP4285868B2 (ja) 主要被写体抽出方法、画像処理装置および撮像装置
JP5045808B2 (ja) 画像ファイルの出力画像調整
JP3817371B2 (ja) 画像処理方法、装置および記録媒体
JPH11196324A (ja) 画像出力方法および装置
JP3999157B2 (ja) 画像ファイルの出力画像調整
JP2001061071A (ja) 画像修正装置及び画像修正方法
JP2749801B2 (ja) カラー画像の解析条件設定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees