JP2002288650A - 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 - Google Patents

画像処理装置及びデジタルカメラ、画像処理方法、記録媒体

Info

Publication number
JP2002288650A
JP2002288650A JP2001087192A JP2001087192A JP2002288650A JP 2002288650 A JP2002288650 A JP 2002288650A JP 2001087192 A JP2001087192 A JP 2001087192A JP 2001087192 A JP2001087192 A JP 2001087192A JP 2002288650 A JP2002288650 A JP 2002288650A
Authority
JP
Japan
Prior art keywords
luminance
value
input
output
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001087192A
Other languages
English (en)
Other versions
JP4415172B2 (ja
JP2002288650A5 (ja
Inventor
Yoshihiro Mishima
吉弘 三島
Masaki Kuroiwa
正樹 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2001087192A priority Critical patent/JP4415172B2/ja
Publication of JP2002288650A publication Critical patent/JP2002288650A/ja
Publication of JP2002288650A5 publication Critical patent/JP2002288650A5/ja
Application granted granted Critical
Publication of JP4415172B2 publication Critical patent/JP4415172B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 画像の内容に適したコントラスト調整が可能
となる画像処理装置及びデジタルカメラ、画像処理方
法、記録媒体を提供する。 【解決手段】 入力画像のヒストグラム(a)を取得
し、これから、その累積度数の比率が、出力側の暗及び
明側の基準値(KoL,KoH)の最大輝度に対する比率
に対応する入力側の輝度値(KinL,KinH)を取得
し、その値を入力側の暗及び明側の基準値として設定し
た後、(KinL,KinH)を(KoL,KoH)とする輝
度変換処理を行う。VGAサイズの画像で輝度データが
8ビットで、KoLの比率が10%、KoHの比率が90
%の場合、KinLは(640×480)×(10/10
0)番目の輝度値、KinHは(640×480)×(9
0/100)番目の輝度値となる。KinL,KinHには
入力画像の輝度分布状態が反映され、それが出力画像の
輝度分布に反映され、個々の画像に適したコントラスト
調整が行い得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像のコントラス
ト調整に用いて好適な画像処理装置及びデジタルカメ
ラ、画像処理方法、記録媒体に関する。
【0002】
【従来の技術】従来、CCD型やMOS型の撮像素子を
用いて画像を記録する電子スチルカメラ等においては、
撮像した画像に対して適切なコントラストを確保するた
め、画像データに対して例えば図13に示したコントラ
スト処理が行われていた。この図において、KinL,K
inHは、入力側の画像データの低輝度側及び高輝度側の
設定値、KoL,KoHは、出力側の画像データの低輝度
側及び高輝度側の設定値であり、従来のコントラスト処
理では、入力側に設定されている輝度値(KinL,Kin
H)が、設定されている輝度値(KoL,KoH)とする
所定の変換処理が行われている。
【0003】また、それぞれの設定値は、撮像素子に存
在する出力データの輝度分布の偏りや、画像記録方式等
に応じて予め設定される値であり、各設定値は、 ・KinL:黒つぶし側の検出しきい値 ・KinH:白とばし側の検出しきい値 ・KoL :出力データを生成するときの黒側の基準値 ・KoH :出力データを生成するときの白側の基準値 となっている。
【0004】かかるコントラスト処理においては、例え
ば輝度データが8ビット、KinL=32、KinH=22
4、KoL=0、KoH=255であるときには、32以
下の入力データは0となり出力され、224以上のデー
タは255となり出力される。つまり32〜224の入
力データは0〜255に線形変換処理されて出力され
る。これにより、画像データに、後段の処理に適した所
定の輝度幅が確保されるのである。
【0005】
【発明が解決しようとする課題】しかしながら、前述し
たコントラスト処理においては、入力側の検出しきい値
(KinL,KinH)として、予め設定された固定値を用
いることから、入力した画像データにおける輝度の分布
状態によってコントラスト処理の効果に違いが生じてい
た。また、重要な画像情報が高輝度部分や低輝度部分に
存在するときには、画像内の重要な部分に「白とび」や
「黒つぶれ」が生じる場合があるという問題があった。
図13は、画像内の重要な部分に「黒つぶれ」が生じる
例を示した図であって、同図(a)が処理前の元画像に
おける輝度成分のヒストグラム、同図(b)が処理後の
画像における輝度成分のヒストグラムである。また、
「黒つぶれ」が生じるような画像としては、例えば逆光
で顔のアップを撮影したポートレートである。
【0006】本発明は、かかる従来の課題に鑑みてなさ
れたものであり、画像の内容に適したコントラスト調整
が可能となる画像処理装置及びデジタルカメラ、画像処
理方法、記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段】前記課題を解決するため
に、請求項1の発明にあっては、入力された画像の輝度
を変換し、輝度の分布特性を、低輝度側および高輝度側
に設定されている入力側低輝度値および入力側高輝度値
が所定の出力側低輝度値および出力側高輝度値となる異
なる分布特性とする輝度変換処理を行う画像処理装置に
おいて、入力された画像における輝度の度数分布を示す
ヒストグラムデータを取得する分布情報取得手段と、こ
の分布情報取得手段が取得したヒストグラムデータによ
り示される度数分布における累積度数の比率が、出力側
の最大輝度に対する前記出力側低輝度値および前記出力
側高輝度値のそれぞれの比率となる低輝度側および高輝
度側の輝度値を取得する設定値取得手段と、この設定値
取得手段により取得された低輝度側および高輝度側の輝
度値を、前記入力側低輝度値および前記入力側高輝度値
として設定する設定手段とを備えたものとした。
【0008】かかる構成において、設定値取得手段によ
り取得された後、設定手段によって設定される入力側低
輝度値および入力側高輝度値は、入力された画像の輝度
分布状態に応じて変化する。
【0009】また、請求項2の発明にあっては、前記画
像の平均輝度値を取得する平均輝度取得手段と、この平
均輝度取得手段により取得された平均輝度と出力側に確
保する目標平均輝度とを比較する比較手段と、この比較
手段による比較結果に基づき、輝度変換処理の対象とな
る前記画像の輝度成分を低輝度側または高輝度側に選択
的に制御する制御手段とを備えたものとした。
【0010】かかる構成によれば、入力された画像の平
均輝度が目標平均輝度よりも低いような暗い画像の場合
には、画像の明るい部分がより明るくなり、かつ入力さ
れた画像の平均輝度が目標平均輝度よりも高いような明
るい画像の場合には、画像の暗い部分がより暗くなる。
【0011】また、請求項3の発明にあっては、前記平
均輝度取得手段により取得された平均輝度値と出力側に
求められている目標平均輝度との比率を算出する第1の
算出手段と、この第1の算出手段より算出された比率に
応じ新たな出力側低輝度値および出力側高輝度値を算出
する第2の算出手段と、この第2の算出手段により算出
された新たな出力側低輝度値および出力側高輝度値を、
前記所定の出力側低輝度値および出力側高輝度値に代え
て設定する設定手段とを備えたものとした。
【0012】かかる構成においては、処理後の画像の輝
度幅を、入力した画像の輝度幅に応じた自然な輝度幅と
することができる。
【0013】また、請求項4の発明にあっては、前記出
力側低輝度値が前記入力側低輝度値よりも小さいときに
は、輝度変換処理の対象輝度領域を前記入力側低輝度値
よりも低輝度側の領域に制御し、かつ前記出力側高輝度
値が前記入力側高輝度値よりも大きいときには、輝度変
換処理の対象輝度領域を前記入力側高輝度値よりも高輝
度側の領域に制御する制御手段を備えたものとした。
【0014】かかる構成においては、輝度変換処理が、
コントラスト処理の効果が確実に出る輝度領域にのみ行
われる。
【0015】また、請求項5の発明にあっては、前記入
力側低輝度値および入力側高輝度値の間の輝度幅と、前
記出力側低輝度値および出力側高輝度値の間の輝度幅と
の比率を算出する算出手段と、この算出手段より算出さ
れた比率に応じて出力側の輝度の変化率を抑制する抑制
手段とを備えたものとした。
【0016】かかる構成においては、輝度変換の処理内
容に即して出力側の輝度を自然な状態で抑制される。
【0017】また、請求項6の発明にあっては、前記分
布情報取得手段により取得されたヒストグラムデータ
は、入力された画像に設定された1又は複数の検出エリ
アにおけるデータであるものとした。
【0018】かかる構成においては、画像の重要な部分
に検出エリアを設定することにより、画像の重要な部分
に最適な輝度処理を行うことができる。
【0019】また、請求項7の発明にあっては、請求項
1乃至6いずれか記載の画像処理装置を備えたことを特
徴とするデジタルカメラとした。
【0020】かかる構成においては、撮影された画像の
輝度調整が、その輝度分布状態に応じて行われる。
【0021】また、請求項8の発明にあっては、前記検
出エリアは、入力された画像の撮影時におけるフォーカ
スエリアを含むものとした。
【0022】かかる構成においては、画像の重要な部分
を事前に設定する必要がなく、処理が簡略化される。
【0023】また、請求項9の発明にあっては、前記検
出エリアは、入力された画像の撮影時における露光量検
出エリアを含むものとした。
【0024】かかる構成においても、画像の重要な部分
を事前に設定する必要がなく、処理が簡略化される。
【0025】また、請求項10の発明にあっては、入力
された画像における輝度の分布特性を、低輝度側および
高輝度側に設定されている入力側低輝度値および入力側
高輝度値が所定の出力側低輝度値および出力側高輝度値
となる異なる分布特性とする画像処理方法において、入
力された画像における輝度の度数分布を示すヒストグラ
ムデータを取得した後、取得したヒストグラムデータに
より示される度数分布における累積度数の比率が、出力
側の最大輝度に対する前記出力側低輝度値および前記出
力側高輝度値のそれぞれの比率となる低輝度側および高
輝度側の輝度値をさらに取得し、取得した低輝度側およ
び高輝度側の輝度値を、前記入力側低輝度値および前記
入力側高輝度値として設定するようにした。
【0026】かかる方法によれば、入力された画像の輝
度調整が、その輝度分布状態に応じて行われる。
【0027】また、請求項11の発明にあっては、入力
された画像における輝度の分布特性を、低輝度側および
高輝度側に設定されている入力側低輝度値および入力側
高輝度値が所定の出力側低輝度値および出力側高輝度値
となる異なる分布特性とする画像処理を実行するコンピ
ュータに、入力された画像における輝度の度数分布を示
すヒストグラムデータを取得する処理と、取得したヒス
トグラムデータにより示される度数分布における累積度
数の比率が、出力側の最大輝度に対する前記出力側低輝
度値および前記出力側高輝度値のそれぞれの比率となる
低輝度側および高輝度側の輝度値をさらに取得する処理
と、取得した低輝度側および高輝度側の輝度値を、前記
入力側低輝度値および前記入力側高輝度値として設定す
る処理とを実行させるためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体とした。
【0028】
【発明の実施の形態】以下、本発明の一実施の形態を図
にしたがって説明する。 (第1の実施の形態)図1は、本発明の第1の実施の形
態に係る輝度変換装置を備えた電子スチルカメラ1を示
す概略ブロック図である。
【0029】電子スチルカメラ1は撮像レンズ2と、撮
像素子3、カラープロセッサ4を有している。撮像素子
3は、撮像レンズ2により結像された被写体像を撮像
し、アナログのカラー画像信号としてカラープロセッサ
4へ出力する。カラープロセッサ4は、撮像素子3から
出力されるアナログの撮像信号のゲイン調整、カラー画
像の各画素から輝度データ(Yデータ)と、2つの色デ
ータ(Cb,Crデータ)の作成等の信号処理、及び各
画像信号(Y,Cb,Cr)のデジタル信号への変換を
行う。カラープロセッサ4はバス5を介してCPU6に
接続されており、カラープロセッサ4から送られた画像
データはCPU6へ送られる。CPU6は、カラープロ
セッサ4から送られた画像データを例えばJPEG形式
等の所定のフォーマットを有する画像データに圧縮し、
圧縮後の画像データを、バス5を介して接続されている
フラッシュメモリ等の記録メディア7に記録させる。
【0030】CPU6にはバス5を介してROM8及び
RAM9が接続されており、ROM8には、CPU6に
より実行される各種の制御プログラム、及び各部の制御
時に使用される各種データが格納されている。そして、
CPU6は上記制御プログラムに基づき各部を制御する
ことにより、本発明の分布情報取得手段、設定値取得手
段、設定手段などの各手段として機能する。RAM9
は、カラープロセッサ4から出力された1フレーム分の
画像データを一時的に記憶するとともに、CPU6によ
る画像データの圧縮作業や各部の制御に伴い必要に応じ
て各種のデータを記憶するワークメモリとして使用され
る。また、記録メディア7に記録された画像データは、
再生時にCPU6によって伸張された後、液晶表示装置
10に表示される。さらに液晶表示装置10には、撮影
待機状態で像された画像がスルー画像として表示され
る。
【0031】次に、前記電子スチルカメラ1において、
CPU6が実行する撮影した画像データに対するコント
ラスト処理に関する処理手順を図2のフローチャートに
従い説明する。なお、以下の説明において、処理対象の
画像データは、VGA(640×480)サイズの8b
it画像データであるものとする。
【0032】まず、CPU6は、出力データに設定する
暗側基準値(出力側低輝度値)KoLと明側基準値(出
力側高輝度値)KoHとにおける、輝度の最大値に対す
る割合(KoL/最大輝度、KoH/最大輝度)を計算す
る(ステップSA1)。暗側基準値KoLと明側基準値
KoHの値は、後段の画像処理内容や出力装置により異
なるが、前記液晶表示装置10が表現できる画像データ
に制限がある場合、例えば240以上は白になってしま
う場合は「KoH=240」であり、16以下は黒にな
ってしまう場合は「KoL=16」である。なお、前記
の輝度の最大値に対する割合が固定値である場合には、
ステップSA1は不要である。
【0033】次に、元画像における輝度のヒストグラム
(図3(a)参照)を検出した後(ステップSA2)、
ステップSA1で求めた割合を分布の割合とみなし、上
記ヒストグラムにおいて、その割合に該当する輝度値
(KinL,KinH)を取得し、それを入力側の輝度デー
タの暗側基準値(入力側低輝度値)KinLと明側基準値
(入力側高輝度値)KinHに設定する(ステップSA
3)。
【0034】かかる処理では、KoL=16、KoH=2
40と設定した場合、処理前の輝度データを小さい順に
並べたときのn番目の輝度データの輝度をydata
(n)と表現すると、 KinL=ydata((640×480)×( 16/
255)) KinH=ydata((640×480)×(240/
255)) となり、 KinLは、ヒストグラムの下から19275番目の輝度
データの値 KinHは、ヒストグラムの下から289129番目の輝
度データの値 となる。
【0035】しかる後、KinL,KinH,KoL,KoH
を基に、KinLがKoLに、かつKinHがKoHとなるよ
うに入力した輝度成分データ(Yデータ)に対して以下
の輝度変換(本実施の形態では線形変換)を行う(ステ
ップSA4)。より具体的には、以下の計算に基づき元
画像の各画素の輝度値kを、新たな輝度値k’に変換
し、処理を終了する。 (1)k<KinL のとき、 k’=(k/KinL)×KoL (2)KinL<=k<KinH のとき、 k’=((k−KinL)/(KinH−KinL))×(K
oH−KoL)+KoL (3) KinH<=k のとき、 k’=((k−KinH)/(255−KinH))×(2
55−KoH)+KoH
【0036】図3(c)は、以上のコントラスト処理の
前後におけるトーンカーブを示した図であり、かかる処
理においては、入力側の暗側基準値KinLと明側基準値
KinHとが、元画像の輝度分布状態に応じて変化する。
したがって、処理後の画像に、従来技術で説明したコン
トラスト処理とは異なり、元画像の輝度分布(図3
(a)参照)が反映された輝度分布(図3(b)参照)
を確保することができる。つまり、個々の画像に適した
輝度調整を行うことができるとともに、画像内の重要な
部分に「白とび」や「黒つぶれ」が生じる事態をなく
し、常に良好な画像を得ることが可能となる。
【0037】(第2の実施の形態)次に、本発明の第2
の実施の形態について説明する。本実施の形態は、撮影
した画像データに対して、以下に述べるコントラスト処
理を行う電子スチルカメラに関するものである。なお、
電子スチルカメラの電気的構成、及び処理対象となる画
像データについては、第1の実施の形態と同様である。
【0038】図4は、本実施の形態におけるCPU6の
処理動作を示すフローチャートである。CPU6は、第
1の実施の形態と同様の手順で、入力側の暗側及び明側
の設定値KinL,KinHを取得する(ステップSB1〜
SB3)。次に、ステップSB2で取得したヒストグラ
ムに基づき元画像の輝度平均を算出した後(ステップS
B4)、ここで算出した輝度平均と、処理後の画像に確
保すべき輝度平均(以下、目標輝度平均)とを比較する
(ステップSB5)。目標輝度平均は、予め決められて
いる輝度値であって、一般に画像の輝度平均として好ま
れている範囲(8bit輝度データでは、およそ128
〜192)の輝度値であり、例えば「144」である。
【0039】そして、輝度平均が目標輝度平均よりも小
さいとき、すなわち元画像が比較的暗い画像の場合には
(ステップSB5でYES)、出力側の暗側基準値Ko
Lを入力側の設定値KinLと同一の値に変更した後(ス
テップSB6)、第1の実施の形態と同様の輝度変換
(線形変換)を行う。つまり、入力側の暗側設定値Kin
Lを越える範囲の輝度データのみを変換対象とした輝度
変換(以下、白側のコントラスト処理)を行い(ステッ
プSB8)、処理を終了する。図5(c)は、白側のコ
ントラスト処理の例を示した図であり、出力側の設定値
がKoL=32、KoH=235、入力側の設定値がKin
L=32、KinH=140で、かつ輝度平均=64の場
合である。なお、同図(a)は処理前の輝度分布、同図
(b)は処理後の輝度分布を示す図である。この場合に
は、画像の明るい部分がより明るくなる。
【0040】また、輝度平均が目標輝度平均よりも大き
いとき、すなわち元画像が比較的明るい画像の場合には
(ステップSB5でNO)、出力側の明側基準値KoH
を入力側の設定値KinHと同一の値に変更した後(ステ
ップSB7)、第1の実施の形態と同様の輝度変換(線
形変換)を行う。つまり入力側の設定値KinH以下の輝
度データのみを変換対象とした輝度変換(以下、黒側の
コントラスト処理という)を行い(ステップSB8)、
処理を終了する。図6(c)は、黒側のコントラスト処
理の例を示した図であり、出力側の設定値がKoL=3
2、KoH=191、入力側の設定値がKinL=80、
KinH=191で、かつ輝度平均=155の場合であ
る。なお、同図(a)は処理前の輝度分布、同図(b)
は処理後の輝度分布を示す図である。この場合には、画
像の暗い部分がより暗くなる。
【0041】以上のように、本実施の形態においては、
暗い画像の場合には、画像の明るい部分がより明るな
り、明るい画像の場合には、画像の暗い部分がより暗く
なることから、コントラスト調整と同時に、主要画像領
域における輝度変化のリニアリティを変更することな
く、輝度分布の最適化を行うことができる。
【0042】(第3の実施の形態)次に、本発明の第3
の実施の形態について説明する。本実施の形態は、撮影
した画像データに対して、以下に述べるコントラスト処
理を行う電子スチルカメラに関するものである。なお、
電子スチルカメラの電気的構成、及び処理対象となる画
像データについては、第1の実施の形態と同様である。
【0043】図7は、本実施の形態におけるCPU6の
処理動作を示すフローチャートであって、CPU6は、
第1の実施の形態と同様の手順で、入力側の暗側及び明
側の設定値KinL,KinHを取得する(ステップSC1
〜SC3)。次に、ステップSC2で取得したヒストグ
ラムに基づき元画像の輝度平均を算出した後(ステップ
SC4)、ここで算出した輝度平均と、処理後の画像に
確保すべき輝度平均(以下、目標輝度平均)とを比較す
る(ステップSC5)。そして、その比較結果に応じ
て、後述する新たな暗側基準値KoL’と明側基準値Ko
H’とを演算するときの演算条件を設定する。
【0044】すなわち、処理前の平均輝度が目標輝度平
均に対して小さい(目標よりも暗い)時は、演算条件を KoL'=KoL, KoH'=KoL'+((目標輝度平均−KoL')×(Kin
H−KinL)/(平均輝度−KinL)) とし(ステップSC6)、処理前の平均輝度が目標輝度
平均に対して大きい(目標よりも明るい)時は、演算条
件を KoH'=KoH, KoL'=KoH'−((KoH'−目標輝度平均)×(Kin
H−KinL)/(KinH−平均輝度)) とする(ステップSC7)。
【0045】しかる後、ここで取得した KoL’,Ko
H’とステップSC3で取得したKinL,KinHとを基
に、KinLがKoL’に、かつKinHがKoH’となるよ
うに入力した輝度データ(Yデータ)に対して輝度変換
(線形変換)を行う(ステップSC9)。より具体的に
は、以下の計算に基づき元画像の各画素の輝度値kを、
新たな輝度値k’に変換し、処理を終了する。 (1)k<KinL のとき、 k’=(k/KinL)×KoL’ (2)KinL<=k<KinH のとき、 k’=((k−KinL)/(KinH−KinL))×(K
oH’−KoL’)+KoL’ (3)KinH<=k のとき、 k’=((k−KinH)/(255−KinH))×(2
55−KoH’)+KoH’
【0046】図8(c)は、以上のコントラスト処理の
前後におけるトーンカーブを示した図であり、かかる実
施の形態においては、元画像の平均輝度値と出力側に求
められている目標平均輝度との比率に応じ、新たな出力
側の設定値KoL’,KoH’を求め、それに基づき輝度
変換を行うことから、処理後の画像の輝度幅を(図8
(a)参照)、元画像の輝度幅に応じた自然な輝度幅
(図8(b)参照)とすることができる。したがって、
コントラスト処理によって画像全体の輝度が著しく変化
することが防止でき、コントラスト調整と同時に最適な
輝度調整が可能となる。
【0047】また、前述した第2の実施の形態において
懸念される次のような事態が回避できる。すなわち、処
理前の輝度平均が目標輝度平均に対して小さい(目標よ
りも暗い画像の)時、処理後における輝度平均が目標輝
度平均を大きく上回る(明るくなり過ぎる)といった事
態や、処理前の輝度平均が目標輝度平均に対して大きい
(目標よりも明るい画像の)時、処理後における輝度平
均が目標輝度平均を大きく下回る(暗くなり過ぎる)と
いった事態を回避することが可能となる。なお、図9
は、前者の場合を示した図8に対応する図である。
【0048】(第4の実施の形態)本実施の形態は、前
述した各実施の形態において、最終的な輝度変換におけ
る輝度の演算ゲインを、前述した入力側の暗側及び明側
の設定値(KinL,KinH)の間の輝度幅と、前述した
出力側の暗側及び明側の設定値(KoL,KoH、又はK
oL’,KoH’)の間の輝度幅との比率に応じて抑制す
るものである。
【0049】すなわち、第3の実施の形態で図8に示し
た処理に即して説明すると、 GAINmax=(KoH'−KoL)/(KinH−KinL) (ここで、GAINmaxは、演算ゲインの最大値)とす
るものであり、より具体的には、以下の計算によって得
られた演算ゲインに基づき輝度変換を行う。
【0050】すなわち、演算ゲインをgとすると、 (1)k<KinL のとき、 g=(KoL’/KinL) (2)KinL<=k<KinH のとき、 g=(KoH’−KoL’)/(KinH−KinL) (3)KinH<=k のとき、 g=((255−KoH’)/(255−KinH) により演算ゲインを求め、これに基づき輝度変換を行う
ようにする。
【0051】図10(c)は、以上のコントラスト処理
の前後におけるトーンカーブを示した図であり、本実施
の形態においては、トーンカーブの傾きを輝度変換処理
に即して自然な状態で抑制することができる。したがっ
て、画像に含まれるノイズ成分が目立たなくなり、より
高い画質を確保することができる。なお、図10
(a)、(b)は、コントラスト処理の前後における画
像の輝度分布の変化を示す図である。
【0052】(第5の実施の形態)次に、本発明の第5
の実施の形態について説明する。本実施の形態は、撮影
した画像データに対して、以下に述べるコントラスト処
理を行う電子スチルカメラに関するものである。なお、
電子スチルカメラの電気的構成、及び処理対象となる画
像データについては、第1の実施の形態と同様である。
【0053】図11は、本実施の形態におけるCPU6
の処理動作を示すフローチャートであって、CPU6
は、第1の実施の形態と同様の手順で、入力側の暗側及
び明側の設定値KinL,KinHを取得する(ステップS
D1〜SD3)。
【0054】次に、出力側の明側基準値KoHが、入力
側の明側の設定値KinHよりも大きいときで、さらに、
出力側の暗側の設定値KoLが、入力側の暗側の設定値
KinLよりも小さいときには(ステップSD4、SD6
が共にNO)、設定値の修正を行わず、第1の実施の形
態と同様の輝度変換(線形変換)を行う(ステップSD
9)。
【0055】また、出力側の明側基準値KoHが、入力
側の明側の設定値KinHよりも大きいときで、さらに、
出力側の暗側の設定値KoLが、入力側の暗側の設定値
KinLよりも大きいときには(ステップSD4がNO、
SD6がYES)、出力側の暗側基準値KoLを入力側
の暗側の設定値KinLと同一の値に変更する (ステッ
プSD8)。
【0056】つまり第2の実施の形態で既説した、入力
側の設定値KinLを越える範囲の輝度データのみを変換
対象とした白側のコントラスト処理を行う設定値とす
る。その後、第1の実施の形態と同様の輝度変換(線形
変換)を行う(ステップSD9)。
【0057】また、出力側の明側基準値KoHが、入力
側の明側の設定値KinHよりも小さいときで、さらに、
出力側の暗側の設定値KoLが、入力側の暗側の設定値
KinLよりも小さいときには(ステップSD4がYE
S、SD5がNO)、出力側の明側基準値KoHを入力
側の設定値KinHと同一の値に変更する(ステップSD
7)。
【0058】つまり第2の実施の形態で既説した、入力
側の設定値KinH以下の輝度データのみを変換対象とし
た黒側のコントラスト処理を行う設定値とする。その
後、第1の実施の形態と同様の輝度変換(線形変換)を
行う(ステップSD9)。
【0059】また、出力側の明側基準値KoHが、入力
側の明側の設定値KinHよりも小さいときで、さらに、
出力側の暗側の設定値KoLが、入力側の暗側の設定値
KinLよりも大きいときには(ステップSD4、SD5
が共にYES)、そのまま処理を終了する。
【0060】かかる処理においては、コントラスト処理
の効果が確実に出る条件画像に対してのみ処理が行われ
ることとなる。したがって、画像処理における無駄な処
理処理時間、消費電力を削減することができる。
【0061】(第6の実施の形態)一方、前述したコン
トラスト処理においては、元画像における輝度のヒスト
グラムを、撮像素子3によって取り込まれた画像全体の
輝度データから取得するようにしたが、図12(a)に
示すように、全画像領域50内に、予め輝度データの検
出エリアを検出する検出エリアA(形状は任意)を設定
しておき、前述した各コントラスト処理においては、検
出エリアAにおける輝度のヒストグラムを用いるように
してもよい。かかる構成においては、予め画像の重要な
部分に検出エリアAを設定することにより、画像の重要
な部分に最適な輝度処理を行うことができる。したがっ
て、画像の重要な部分、及びその周辺が確実に鮮明にな
るという利点がある。
【0062】また、前記検出エリアAを撮影時における
フォーカスエリア、又はフォーカスエリアを含む範囲と
すれば、撮影された画像の重要な部分における最適な輝
度処理を確実に行うことができる。また、電子スチルカ
メラの使用者にあっては、検出エリアAを事前に設定す
る必要がなく、使用者に負担をかけることなく、撮影さ
れた画像の重要な部分、及びその周辺を鮮明にすること
ができる。
【0063】また、前記検出エリアAを撮影時における
露光量検出エリア、又は露光量検出エリアを含む範囲と
してもよい。その場合においても、撮影された画像の重
要な部分における最適な輝度処理を確実に行うことがで
きる。しかも、電子スチルカメラの使用者にあっては、
検出エリアAを事前に設定する必要がなく、使用者に負
担をかけることなく、撮影された画像の重要な部分、及
びその周辺を鮮明にすることができる。
【0064】また、例えば図12(b)に示すように、
予め全画像領域50を複数に分割することによって複数
の検出エリアA1〜Anを設定しておき、撮影時や撮影
後など、前述したコントラスト処理を行う以前に、使用
者に重要な部分に対応する1又は複数(互いに隣接して
いると否とは問わない)の検出エリアを選択させ、選択
された検出エリアにおける輝度のヒストグラムを用いて
前述したコントラスト処理を行わせてもよい。その場合
においても、撮影された画像の重要な部分、及びその周
辺を鮮明にすることができる。さらには、選択された検
出エリアだけでなく、それに隣接する複数の検出エリア
を含む範囲における輝度のヒストグラムを用いるように
してもよい。
【0065】なお、以上説明した各実施の形態において
は、カラープロセッサ4が輝度成分データ(Yデータ)
を出力するものであり、CPU6がその輝度データ(Y
データ)に対して前述した処理を行う場合について説明
したが、カラープロセッサ4が画像データとしてR,
G,Bデータを出力するものである場合には、それらの
データについて前述したと同様の処理を行うようにして
もよい。また、電子スチルカメラ1が、撮像素子3によ
って取り込んだ画像に対してコントラスト処理を行う場
合について説明したが、これに限らず、任意の画像ファ
イル等の画像ソースに対してコントラスト処理を行う他
の画像処理装置に本発明を適用してもよい。その場合で
あっても前述した効果を得ることができる。また、主と
してCPU6に所定の処理動作を行わせることにより、
本発明の分布情報取得手段、設定値取得手段、設定手段
などの各手段を実現したものについて説明したが、本発
明の各手段を電器回路によって構成するようにしても構
わない。
【0066】
【発明の効果】以上説明したように請求項1の発明にお
いては、設定値取得手段により取得された後、設定手段
によって設定される入力側低輝度値および入力側高輝度
値は、入力された画像の輝度分布状態に応じて変化する
ようにした。よって、輝度の分布状態が異なる個々の画
像に適したコントラスト処理が可能となる。
【0067】また、請求項2の発明においては、入力さ
れた画像の平均輝度が目標平均輝度よりも低いような暗
い画像の場合には、画像の明るい部分がより明るなり、
かつ入力された画像の平均輝度が目標平均輝度よりも高
いような明るい画像の場合には、画像の暗い部分がより
暗くなるようにした。よって、コントラスト調整と同時
に、主要画像領域における輝度変化のリニアリティを変
更することなく、輝度分布の最適化が可能となる。
【0068】また、請求項3の発明においては、処理後
の画像の輝度幅を、入力した画像の輝度幅に応じた自然
な輝度幅とすることができるようにした。よって、コン
トラスト処理によって画像全体の輝度が著しく変化する
ことが防止でき、コントラスト調整と同時に最適な輝度
調整が可能となる。
【0069】また、請求項4の発明においては、輝度変
換処理が、コントラスト処理の効果が確実に出る輝度領
域にのみ行われるようにした。よって、動作時の無駄な
処理時間、消費電力が削減できる。
【0070】また、請求項5の発明においては、輝度変
換の処理内容に即して出力側の輝度を自然な状態で抑制
される。よって、画像に含まれるノイズ成分が目立たな
くなり、より高い画質を確保することができる。
【0071】また、請求項6の発明においては、画像の
重要な部分に検出エリアを設定することにより、画像の
重要な部分に最適な輝度処理を行うことができるように
した。よって、入力した画像の重要な部分の画像を確実
に鮮明にすることができる。
【0072】また、請求項7の発明においては、撮影さ
れた画像の輝度調整が、その輝度分布状態に応じて行わ
れるようにした。よって、輝度の分布状態が異なる個々
の撮影画像に適したコントラスト処理ができる。
【0073】また、請求項8の発明においては、画像の
重要な部分を事前に設定する必要がなく、処理が簡略化
されるようにした。よって、容易に画像の重要な部分を
鮮明にすることができる。
【0074】また、請求項9の発明においては、画像の
重要な部分を事前に設定する必要がなく、処理が簡略化
される。よって、容易に画像の重要な部分を鮮明にする
ことができる。
【0075】また、請求項10の発明においては、入力
された画像の輝度調整が、その輝度分布状態に応じて行
われるようにした。よって、輝度の分布状態が異なる個
々の画像に適したコントラスト処理が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施の形態を示す電子スチルカメラ
の概略ブロック図である。
【図2】同実施の形態においてCPUが実行するコント
ラスト処理に関する処理手順を示すフローチャートであ
る。
【図3】同実施の形態におけるコントラスト処理の内容
及び、その結果を示す図であって、(a)は処理前の画
像の輝度分布の変化を示すヒストグラム、(b)は処理
後の画像の輝度分布の変化を示すヒストグラム、(c)
は処理前後のトーンカーブを示す図である。
【図4】本発明の第2の実施の形態においてCPUが実
行するコントラスト処理に関する処理手順を示すフロー
チャートである。
【図5】同実施の形態における白側のコントラスト処理
の内容及び、その結果を示す、図3に対応する図であ
る。
【図6】同実施の形態における黒側のコントラスト処理
の内容及び、その結果を示す、図3に対応する図であ
る。
【図7】本発明の第3の実施の形態においてCPUが実
行するコントラスト処理に関する処理手順を示すフロー
チャートである。
【図8】同実施の形態におけるコントラスト処理の内容
及び、その結果を示す、図3に対応する図である。
【図9】同実施の形態で回避可能となるコントラスト処
理の内容及び、その結果を示す、図3に対応する図であ
る。
【図10】本発明の第4の実施の形態におけるコントラ
スト処理の内容及び、その結果を示す、図3に対応する
図である。
【図11】本発明の第5の実施の形態においてCPUが
実行するコントラスト処理に関する処理手順を示すフロ
ーチャートである。
【図12】本発明の第6の実施の形態における、輝度デ
ータの検出エリアを示す図である。
【図13】従来技術におけるコントラスト処理の内容及
び、その結果を示す図である。
【符号の説明】
1 電子スチルカメラ 3 撮像素子 4 カラープロセッサ 6 CPU 7 記録メディア 8 ROM 9 RAM A 検出エリア KinH 入力データの明側基準値 KinL 入力データの暗側基準値 KoH 出力データの明側基準値 KoH’ 出力データの明側基準値(補正後) KoL 出力データの暗側基準値 KoL’ 出力データの暗側基準値(補正後)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/20 H04N 5/243 5C077 5/243 101:00 // H04N 101:00 1/40 101E Fターム(参考) 2H002 DB02 DB25 DB27 DB31 DB32 JA07 2H054 AA01 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 DB02 DB06 DB09 DC23 5C021 RB03 XA03 XA14 XA33 XA61 5C022 AA13 AB68 AC42 AC69 5C077 LL19 PP15 PP43 PP46 PQ08 PQ12 PQ18 PQ19 PQ20 TT09

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 入力された画像の輝度を変換し、輝度の
    分布特性を、低輝度側および高輝度側に設定されている
    入力側低輝度値および入力側高輝度値が所定の出力側低
    輝度値および出力側高輝度値となる異なる分布特性とす
    る輝度変換処理を行う画像処理装置において、 入力された画像における輝度の度数分布を示すヒストグ
    ラムデータを取得する分布情報取得手段と、 この分布情報取得手段が取得したヒストグラムデータに
    より示される度数分布における累積度数の比率が、出力
    側の最大輝度に対する前記出力側低輝度値および前記出
    力側高輝度値のそれぞれの比率となる低輝度側および高
    輝度側の輝度値を取得する設定値取得手段と、 この設定値取得手段により取得された低輝度側および高
    輝度側の輝度値を、前記入力側低輝度値および前記入力
    側高輝度値として設定する設定手段とを備えたことを特
    徴とする画像処理装置。
  2. 【請求項2】 前記画像の平均輝度値を取得する平均輝
    度取得手段と、この平均輝度取得手段により取得された
    平均輝度値と出力側に確保する目標平均輝度とを比較す
    る比較手段と、 この比較手段による比較結果に基づき、輝度変換処理の
    対象となる前記画像の輝度成分を低輝度側または高輝度
    側に選択的に制御する制御手段とを備えたことを特徴と
    する請求項1記載の画像処理装置。
  3. 【請求項3】 前記平均輝度取得手段により取得された
    平均輝度値と出力側に求められている目標平均輝度との
    比率を算出する第1の算出手段と、 この第1の算出手段より算出された比率に応じ新たな出
    力側低輝度値および出力側高輝度値を算出する第2の算
    出手段と、 この第2の算出手段により算出された新たな出力側低輝
    度値および出力側高輝度値を、前記所定の出力側低輝度
    値および出力側高輝度値に代えて設定する設定手段とを
    備えたことを特徴とする請求項1記載の画像処理装置。
  4. 【請求項4】 前記出力側低輝度値が前記入力側低輝度
    値よりも小さいときには、輝度変換処理の対象輝度領域
    を前記入力側低輝度値よりも低輝度側の領域に制御し、
    かつ前記出力側高輝度値が前記入力側高輝度値よりも大
    きいときには、輝度変換処理の対象輝度領域を前記入力
    側高輝度値よりも高輝度側の領域に制御する制御手段を
    備えたことを特徴とする請求項1記載の画像処理装置。
  5. 【請求項5】 前記入力側低輝度値および入力側高輝度
    値の間の輝度幅と、前記出力側低輝度値および出力側高
    輝度値の間の輝度幅との比率を算出する算出手段と、 この算出手段より算出された比率に応じて出力側の輝度
    の変化率を抑制する抑制手段とを備えたことを特徴とす
    る請求項1乃至4いずれか記載の画像処理装置。
  6. 【請求項6】 前記分布情報取得手段により取得された
    ヒストグラムデータは、入力された画像に設定された1
    又は複数の検出エリアにおけるデータであることを特徴
    とする請求項1乃至5いずれか記載の画像処理装置。
  7. 【請求項7】 請求項1乃至6いずれか記載の画像処理
    装置を備えたことを特徴とするデジタルカメラ。
  8. 【請求項8】 前記検出エリアは、入力された画像の撮
    影時におけるフォーカスエリアを含むことを特徴とする
    請求項7記載のデジタルカメラ。
  9. 【請求項9】 前記検出エリアは、入力された画像の撮
    影時における露光量検出エリアを含むことを特徴とする
    請求項7又は8記載のデジタルカメラ。
  10. 【請求項10】 入力された画像における輝度の分布特
    性を、低輝度側および高輝度側に設定されている入力側
    低輝度値および入力側高輝度値が所定の出力側低輝度値
    および出力側高輝度値となる異なる分布特性とする画像
    処理方法において、 入力された画像における輝度の度数分布を示すヒストグ
    ラムデータを取得した後、取得したヒストグラムデータ
    により示される度数分布における累積度数の比率が、出
    力側の最大輝度に対する前記出力側低輝度値および前記
    出力側高輝度値のそれぞれの比率となる低輝度側および
    高輝度側の輝度値をさらに取得し、取得した低輝度側お
    よび高輝度側の輝度値を、前記入力側低輝度値および前
    記入力側高輝度値として設定することを特徴とする画像
    処理方法。
  11. 【請求項11】 入力された画像における輝度の分布特
    性を、低輝度側および高輝度側に設定されている入力側
    低輝度値および入力側高輝度値が所定の出力側低輝度値
    および出力側高輝度値となる異なる分布特性とする画像
    処理を実行するコンピュータに、 入力された画像における輝度の度数分布を示すヒストグ
    ラムデータを取得する処理と、 取得したヒストグラムデータにより示される度数分布に
    おける累積度数の比率が、出力側の最大輝度に対する前
    記出力側低輝度値および前記出力側高輝度値のそれぞれ
    の比率となる低輝度側および高輝度側の輝度値をさらに
    取得する処理と、 取得した低輝度側および高輝度側の輝度値を、前記入力
    側低輝度値および前記入力側高輝度値として設定する処
    理とを実行させるためのプログラムを記録したコンピュ
    ータ読み取り可能な記録媒体。
JP2001087192A 2001-03-26 2001-03-26 画像処理装置、画像処理方法、及び、画像処理プログラム Expired - Fee Related JP4415172B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001087192A JP4415172B2 (ja) 2001-03-26 2001-03-26 画像処理装置、画像処理方法、及び、画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001087192A JP4415172B2 (ja) 2001-03-26 2001-03-26 画像処理装置、画像処理方法、及び、画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2002288650A true JP2002288650A (ja) 2002-10-04
JP2002288650A5 JP2002288650A5 (ja) 2006-11-02
JP4415172B2 JP4415172B2 (ja) 2010-02-17

Family

ID=18942468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001087192A Expired - Fee Related JP4415172B2 (ja) 2001-03-26 2001-03-26 画像処理装置、画像処理方法、及び、画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4415172B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289747A (ja) * 2003-03-25 2004-10-14 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
KR100769728B1 (ko) 2006-08-09 2007-10-23 삼성전기주식회사 히스토그램을 이용한 콘트레스트 향상 장치 및 방법
JP2008118383A (ja) * 2006-11-02 2008-05-22 Matsushita Electric Ind Co Ltd デジタルカメラ
JP2008134664A (ja) * 2003-11-17 2008-06-12 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動方法及び駆動装置
US7406193B2 (en) 2003-03-17 2008-07-29 Oki Data Corporation Image processing method and image processing apparatus for making luminance correction
CN100409299C (zh) * 2003-04-04 2008-08-06 乐金电子(中国)研究开发中心有限公司 移动通信终端的lcd显示屏亮度自动调节装置及其方法
JP2008259242A (ja) * 2008-06-09 2008-10-23 Sony Corp 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2008288706A (ja) * 2007-05-15 2008-11-27 Sanyo Electric Co Ltd 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP2009118297A (ja) * 2007-11-08 2009-05-28 Dainippon Printing Co Ltd 標本値の量子化方法および量子化装置
JP2010515319A (ja) * 2006-12-27 2010-05-06 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング Hdrカメラ用の照明調整
JP2016081427A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像処装置および画像処理方法、並びにプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406193B2 (en) 2003-03-17 2008-07-29 Oki Data Corporation Image processing method and image processing apparatus for making luminance correction
JP2004289747A (ja) * 2003-03-25 2004-10-14 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
CN100409299C (zh) * 2003-04-04 2008-08-06 乐金电子(中国)研究开发中心有限公司 移动通信终端的lcd显示屏亮度自动调节装置及其方法
JP2008134664A (ja) * 2003-11-17 2008-06-12 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動方法及び駆動装置
JP4738428B2 (ja) * 2003-11-17 2011-08-03 エルジー ディスプレイ カンパニー リミテッド 液晶表示装置の駆動方法及び駆動装置
KR100769728B1 (ko) 2006-08-09 2007-10-23 삼성전기주식회사 히스토그램을 이용한 콘트레스트 향상 장치 및 방법
JP2008118383A (ja) * 2006-11-02 2008-05-22 Matsushita Electric Ind Co Ltd デジタルカメラ
JP2010515319A (ja) * 2006-12-27 2010-05-06 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング Hdrカメラ用の照明調整
JP4922409B2 (ja) * 2006-12-27 2012-04-25 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング Hdrカメラ用の照明調整
JP2008288706A (ja) * 2007-05-15 2008-11-27 Sanyo Electric Co Ltd 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP2009118297A (ja) * 2007-11-08 2009-05-28 Dainippon Printing Co Ltd 標本値の量子化方法および量子化装置
JP4632100B2 (ja) * 2008-06-09 2011-02-16 ソニー株式会社 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2008259242A (ja) * 2008-06-09 2008-10-23 Sony Corp 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2016081427A (ja) * 2014-10-21 2016-05-16 キヤノン株式会社 画像処装置および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP4415172B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
JP4218723B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
JP5713752B2 (ja) 画像処理装置、及びその制御方法
WO2020029732A1 (zh) 全景拍摄方法、装置和成像设备
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
US20100231748A1 (en) Imaging device
JP4720537B2 (ja) 撮像装置
US8493458B2 (en) Image capture apparatus and image capturing method
JP2008104009A (ja) 撮像装置および撮像方法
TW201015988A (en) Image processing apparatus for performing gradation correction on subject image
JP2011003048A (ja) 画像処理装置、及び画像処理プログラム
JP2007082180A (ja) 撮像装置及び画像処理方法
JP2007028088A (ja) 撮像装置及び画像処理方法
JP5054981B2 (ja) 撮像装置及び撮像処理方法
JP2002288650A (ja) 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
KR101650050B1 (ko) 화상 처리 장치, 방법, 및 프로그램
JP2006080942A (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2004246644A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010183460A (ja) 撮像装置およびその制御方法
JP2015139082A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP2004229259A (ja) カラ−画像処理装置および処理方法
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5146500B2 (ja) 画像合成装置、画像合成方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees