JP4154128B2 - Image processing apparatus, image processing method, and recording medium on which program for executing the method is recorded - Google Patents
Image processing apparatus, image processing method, and recording medium on which program for executing the method is recorded Download PDFInfo
- Publication number
- JP4154128B2 JP4154128B2 JP2001037763A JP2001037763A JP4154128B2 JP 4154128 B2 JP4154128 B2 JP 4154128B2 JP 2001037763 A JP2001037763 A JP 2001037763A JP 2001037763 A JP2001037763 A JP 2001037763A JP 4154128 B2 JP4154128 B2 JP 4154128B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- data
- image
- brightness
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 42
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 title description 33
- 238000012937 correction Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005375 photometry Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラやフィルムスキャナなどに用いることができる画像処理装置に係わり、特に、逆光で取り込んだり、夜間に取り込んだ画像データを最適露出状態の画像データに補正することができる画像処理装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ、インターネット、家庭用プリンタなどの普及、およびハードディスクなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。それに伴い、デジタル写真画像データ（以下、単に画像データと称する）の入力手段としてデジタルカメラやフィルムスキャナなどが一般に使用されるようになった。
前記において、デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため、画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的で、単に画面全体の加重平均を取る方式は平均測光方式、中央部を重点的に測光する方式は、中央重点測光方式と呼ばれる。
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあり、完全なものはない。とりわけ、主被写体の真後ろに光源があって背景と主被写体との輝度差が大きい逆光状態では被写体に露出があわないと背景の明るさに引っ張られて露出がマイナスに補正され、被写体が暗く写ってしまう。
また、夜間のストロボ撮影では、被写体にストロボ光が当たることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
あるいは、元々被写体自体が暗かったり明るかったりすると、露出自体は適正であっても、露出不良に見える場合もある。人間は周囲の明るさに脳が順応して見ているが、カメラでは入ってきた輝度をそのまま記録することがその原因である。
【０００３】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に露出補正する技術も多数提案されている。なお、露出補正とは、シーンに対して不適切な明るさを持つ被写体をシーンに適した明るさに調節することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバーな被写体を暗くしたりすることである。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタスピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数等を用いて入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。
例えば、特開昭59-65835号公報に示された写真画像濃度情報収録方式では、ネガフィルム等の写真画像において、周辺（四つ角）からべたを除くことで背景を除去し主被写体部分の情報を得る。しかし、この特開昭59-65835号公報に示された従来技術では、シーンに関わらず一律にべた部を除去するので、背景ではない部分をも除去してしまう恐れがあり、主被写体部分を高精細に切り離すことができない。
【０００４】
また、特開平06-189186号公報に示された方法では、画像データの明るさに対する頻度分布を平均値を境界に双方２段階、合計４段階に区分してそれぞれの段階に属するデータの数（出現頻度）を求め、暗い方に区分した２段階のうち明るい区分の出現頻度が他の区分におけるそれよりも大きいときに逆光シーンと判定し、暗い方のレベルを相対的に高めるような補正を行う。しかし、この特開平06-189186号公報に示された従来技術では、頻度情報のみから逆光判定を行うので、逆光シーンでなくても頻度分布の形が同様である場合に誤判定する。
また、特開平11-202378号公報に示された従来技術では、画像データの明るさに対する頻度分布を4段階に区分し頻度を求める一方、画像は中心を最大値として同心円状に重み係数を持つ。頻度と重み係数より、どの段階が重要な明るさかを評価し、逆光、過順光、背景の平坦な画像、および順光のシーンのいずれに属するかの判定を行い、露出を制御する。しかし、この特開平11-202378号公報に示された従来技術では、画像中の被写体の大きさや位置により露出が適切か否かの結果が左右され、被写体が小さい場合や、中央に位置しない場合に誤判定する。
また、特開平12-134467号公報に示された画像処理装置では、画像データの明るさに対する頻度分布のピーク領域の数、ピーク両端の輝度値、およびダイナミックレンジにより、入力画像を露出オーバー、アンダー、標準露出、および逆光などその他の露出状態に分類する。露出オーバー、アンダー、標準露出の場合は固定LUTによる補正を行い、その他の場合は最も低輝度に分布する頻度分布を高輝度域にシフトする補正を行う。しかし、特開平12-134467号公報に示された従来技術では、頻度分布のピーク情報を用いてシーン判別を行うので、画像中の被写体が小さいと主被写体部分のピークが現れず、誤判定する。また、シーン判別が正しく行われても、主被写体部分が適正露出か否かの判定は行われない。
【０００５】
【発明が解決しようとする課題】
前記したように、従来技術においては、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正し得ていない。
本発明の目的は、このような従来技術の問題を解決して、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正することができる画像処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記の課題を解決するために、請求項１記載の発明では、被写体データを有する画像データを最適露出状態の画像データに補正する画像処理装置であって、前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別手段と、前記シーン判別手段により前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体データ以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定手段と、前記被写体露出判定手段の判定結果に基づいて、被写体データ領域の明るさを補正する補正手段と、を備え、前記シーン判別手段は、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を有し、前記第１の出現割合算出手段の算出値と前記第２の出現割合算出手段の算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする。
【０００７】
また、請求項２記載の発明では、請求項１記載の発明において、前記シーン判別手段は、前記画像データの各画素を、各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、最暗部レベルまたは最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、前記最暗部レベルまたは前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を備え、前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には逆光撮影シーンとみなす、ことを特徴とする。
また、請求項３記載の発明では、請求項２記載の発明において、前記シーン判別手段により逆光シーンであると判定された場合、前記複数の明るさレベルのうち最も明るい側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成した。
【０００８】
また、請求項４記載の発明では、請求項２記載の発明において、前記シーン判別手段により夜間撮影シーンであると判定された場合、前記複数の明るさレベルのうち最も暗い側のレベルから少なくとも１つ以上のレベルの画像を除いた画像データの明るさ分布から、主被写体の明るさが適切か否かを判定するように前記被写体露出判定手段を構成した。
また、請求項５記載の発明では、請求項３又は４記載の発明において、前記被写体露出判定手段により主被写体の明るさが不適切であると判定された場合、主被写体の明るさに近い明るさの画像データを補正するように補正手段を構成したことを特徴とする。
また、請求項６記載の発明では、被写体データを有する画像データを最適露出状態の画像データに補正する画像処理方法であって、前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別ステップと、前記シーン判別ステップにより前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定ステップと、前記被写体露出判定ステップの判定結果に基づいて、被写体領域の明るさを補正する補正ステップと、を備え、前記シーン判別ステップは、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分けステップと、最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出ステップと、前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出ステップと、を有し、前記第１の出現割合算出ステップの算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする。
また、請求項７記載の発明では、請求項６記載の画像処理方法のプログラムが記録されたコンピュータ読取り可能な記録媒体であることを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面により本発明の実施の形態を詳細に説明する。
図１は本発明の各実施の形態の画像処理システムを示す概略構成図、図２はその具体例を示す構成図である。
図１に示したように、この画像処理システムは、画像入力装置１００、画像処理装置１０１、および画像出力装置１０４を備え、画像処理装置１０１は判定部１０２および露出補正部１０３を備える。そして、画像入力装置１００は写真などをマトリックス状の画素として表した実写の画素数分の画像データを画像処理装置１０１に出力する。画像処理装置１０１は各種画像処理を行うとともに、判定部１０２においてシーン判別および被写体露出判定を行い、露出補正部１０３において露出補正を行う。また、画像出力装置１０４は、画像処理した画像データをドットマトリクス状の画素で出力する。
なお、画像入力装置１００には、図２におけるフィルムスキャナ２００およびデジタルカメラ２０１、あるいはビデオカメラ２０２などが該当し、画像処理装置１０１には、コンピュータ２１０、ハードディスク２０３、キーボード２０４、ＣＤ−ＲＯＭドライブ２０５、フロッピーディスクドライブ２０６、およびモデム２０７などからなるコンピュータシステムが該当し、画像出力装置１０４には、インクジェットプリンタなどのプリンタ２０９やディスプレイ２０８が該当する。前記モデム２０７は公衆通信回線に接続され、外部のネットワークを介してソフトウェアやデータをダウンロードして導入することも可能である。また、本発明の実施の形態の場合、画像データとしては写真などの実写データが適している。
【００１０】
一方、コンピュータ２１０内にはオペレーティングシステム２１２が稼動しており、プリンタやディスプレイに対応したプリンタドライバ２１４やディスプレイドライバ２１３が組み込まれている。また、画像処理アプリケーション２１１はオペレーティングシステムにより処理の実行を制御され、必要に応じてプリンタドライバやディスプレイドライバと連携し所定の画像処理を実行する。よって、画像処理装置としてこのコンピュータの役割は、ＲＧＢ（赤，緑，青）の階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバを介してディスプレイに表示させるとともに、プリンタドライバを介してＣＭＹ，もしくはＣＭＹＫの２値データに変換してプリンタに印刷させることになる。
また、前記した、判定部１０２におけるシーン判別および被写体露出判定、露出補正部１０３における露出補正は、具体的には前記コンピュータ２１０内において例えば図３に示した第１の実施の形態のフローチャートに対応した画像処理プログラムにより行っている。
【００１１】
以下、図３に示すフローチャートを参照しながら画像処理装置１０１で行われる第１の実施の形態の画像処理について説明する。
まず、判定部１０２が画像データのシーン判別を行う（３０１）。光源が主被写体の真後ろに存在する『逆光シーン』か、夜間にストロボなどを用いて撮影した『夜間撮影シーン』か、それともそれらのいずれにも属さない『その他』のシーンであるかを判別するのである。例えば、画像周辺部と中央部の輝度差を閾値と比較したり、輝度頻度分布の２極化の形状から逆光シーンを判別することができる。また、エッジ情報から主被写体領域を判別し、主被写体部分の明るさと全体の明るさを比較するなどによって夜間撮影シーンを判別することもできる。また、後述する方法を用いてもよい。
シーン判別の結果、対象画像が『逆光シーン』または『夜間撮影シーン』であった場合、主被写体と背景との輝度差が大きいので、画像全体で露出を判定しても正しい結果が得られない。よって、判定部１０２が、まず主被写体を特定するために余分な領域を取り除く（３０２）。例えば、逆光シーンの場合は背景が高輝度白色光であることに注目し、そのような条件を満たす画像端部からの連続画素を削除する。また、夜間撮影シーンの場合、背景は暗闇であることが多いことから閾値を設け、同様に端部からの連続画素を排除すればよい。また、端部から隣接画素間の差分と閾値を比較する方法などもある。
主被写体領域が特定したら次に、露出補正部１０３が、明度や輝度中央値などの統計的な評価値を用いて主被写体が適切な明るさを持つか否かを判定する（３０３）。予め設定した評価値と主被写体の明度や輝度とを比べて判定するのである。例えば、j番目の画素(j=0,1,2,...N,N：総画素数)の輝度:Y(j)は以下の式で表せる。
Y(j) = 0.299・R(j) + 0.587・G(j) + 0.114・B(j) … (1)
なお、R(j)，G(j)，B(j) は入力された画像データから得られる。
また、シーンが逆光や夜景撮影に属さない『その他』の場合は、画像全体が主被写体であるとみなし、必要であれば同様の方法で適正露出か否かを調べることができる。
【００１２】
主被写体の明るさが適切でなかった場合、つまり露出が適切でなかった場合、次に、露出補正部１０３が明るさ補正を行う（３０４）。明るさ補正の方法には、例えば後述するトーンカーブによる方法を用いる。また、被写体の露出が適切だった場合、明るさ補正は行わない。
なお、逆光シーンや夜間撮影シーンの判別法としては、前記の方法以外にも様々な方法が提案されているがその方法についてはいずれの方法であってもよい。また、主被写体を特定するために背景を取り除く方法についても前記の例以外に様々な方法が提案されているがこれにはこだわらない。
また、主被写体が適切な明るさを持つか否かの判定にも前記の例以外にさまざまな方法が提案されているがこれにはこだわらない。中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用しても良い。また、明るさ補正にも、種々の方法が提案されているがこれにはこだわらない。
いずれにせよ、画像が逆光や夜間撮影シーンのように背景と主被写体の明るさが著しく異なっている場合は背景を取り除いて主被写体部分を抽出して、適正露出か否かの判断を行い、必要であれば明るさ補正を行うことにより、画質を向上させることができる。
【００１３】
次に、図４に従って本発明の第２の実施の形態について説明する。
この実施の形態の方法で、画像データが逆光か夜間撮影か、そのいずれにも属さないシーンであるかを判別する方法を説明する前に、まず、各シーンが撮影される状況を述べる。
最初に、逆光シーンでは、主被写体の真後ろに光源があり、背景と主被写体との輝度差が大きい状態で撮影される。このような状況では、背景の明るさに引っ張られて露出がマイナスに補正されるので、主被写体が暗く写ってしまう。つまり、明るさに対する輝度頻度分布を取ると分布は明と暗とに２極化している。
また、夜間撮影シーンは、夜景と人物が一緒に写っている場合もあるが、基本的に背景は暗闇であり背景に対して主被写体は明るい。
以上の撮影状況を考慮すると、画像の平均的な明るさに比べて、逆光なら極端に明るい背景が存在しかつ明るさに対する頻度分布が２極化しており、夜間撮影なら極端に暗い背景があると考えられる。よって、
［条件１］画像の平均的な明るさに比べて、極端に明るい部分、もしくは極端に暗い部分が、所定の閾値（割合）以上あるか
［条件２］前記条件を満たすとき、極端に明るい部分、もしくは暗い部分のほとんどは画像端部にあるか
［条件３］逆光画像の可能性がある場合、輝度分布は明と暗とに２極化しているか
を調べればよい。
【００１４】
そこで、まず画像の平均的な明るさに比べ、極端に明るい部分もしくは暗い部分を抽出するために、画像データの明るさ、例えば輝度レベルを４段階に区分し、各レベルについて、以下に定義した各レベルに属する画像データの出現回数H(i)(i=0,1,2,3)を求める（４０２）。
輝度レベル0以上63未満のレベルをレベル0とし、出現回数をH(0)とする。
輝度レベル64以上127未満 ⇒ レベル1とし、出現回数をH(1)とする。
輝度レベル128以上191未満⇒ レベル2とし、出現回数をH(2)とする。
輝度レベル192以上255未満⇒ レベル3とし、出現回数をH(3)とする。 … (2)
【００１５】
次に、総画素数Nに対し、最暗部、もしくは最明部レベルの出現頻度割合（第１の出現頻度割合）P1(i)(i=0,3)を算出する（４０３）。
P1(i) = (H(i)/N)×100 (%) … (3)
また、出現頻度割合P1(i)のうち、例えば図５に示した黒領域である画像端部に含まれる出現頻度割合（第２の出現頻度割合）P2(i)を算出する（４０４）。
P2(i) = (レベルiに属する画素のうち画像端部に含まれる画素数)/H(i) ×100 (%) … (4)
次に、シーンの判別を行う。例えばレベル0の頻度割合が全体の画素に対して60％以上を占め、かつレベル0の70％以上が画像端部に存在している場合（４０５でＹｅｓ）、すなわち
P1(0)>60 && P2(0)>70
のとき、『夜間撮影シーン』とみなす（４０７）。
【００１６】
また、例えばレベル3の頻度が全体の画素に対して15％以上を占め、かつレベル0とレベル3の頻度の合計が60％以上を占め、かつレベル3の70％以上が画像端部に存在している場合（406でYes）、すなわち
P1(3)>15 && P1(0)+P1(3)>60 && P2(3)>70
のとき、『逆光シーン』とみなす（４０８）。
そして、前記のいずれの条件も満たさなかった場合『その他のシーン』とする（４０９）。
なお、前記においては、明るさに対する情報として輝度を用いたが、明度やG（緑）信号を用いてもよく、これにはこだわらない。また、頻度分布のコントラスト調節を行った後に区分化を行ってもよい。
また、頻度分布の区分化方法や段階数（レベル数）、画像端部領域のとり方は前記以外にも考えられ、これにはこだわらない。
また、シーン判別のためのパーセンテージは前記以外の数字であってもよい。
いずれにせよ、画像の平均的な明るさに比べて極端に明るい背景が存在し、頻度分布が２極化しているのであれば、逆光シーンとみなし、極端に暗い背景が存在しているのであれば夜間撮影シーンであるとみなすシーン判別方法を用いることにより、被写体の大きさや位置に左右されない、高精細なシーン判別を行うことができる。
【００１７】
次に、本発明の第３の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが逆光シーンと判別された場合、例えば区分後の最明部であるレベル3に属する部分を背景とみなし、露出判定対象から除く。なお、レベル3に属する領域のみを背景とみなす代わりに、レベル3とレベル2、またはレベル3からレベル1に属する領域を背景とみなしてもよい。また、主被写体が適正露出であるか否かの判定は、例えば以下のように行う。
逆光シーンの場合、人間の肌に相当する部分は最暗部であるレベル0に属さない可能性が多い。よって、レベル3とレベル0を除いた領域を主被写体部分とみなし、輝度中央値が120以上であれば適正露出とし、120以下の場合は露出不足とする。
いずれにせよ、この実施の形態では、逆光シーンに対し背景部分を除いて主被写体部分の露出を判定することにより、高精細に被写体露出の適性を判定することができる。
【００１８】
次に、本発明の第４の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが夜間撮影シーンと判別された場合、例えば区分後の最暗部であるレベル0に属する領域を背景とみなし露出判定対象から除く。なお、レベル0に属する領域のみを背景とみなす代わりにレベル0とレベル1、またはレベル0からレベル2に属する領域を背景とみなしてもよい。
また、主被写体が適正露出であるか否かの判定は、例えば輝度中央値が80以上であれば適正露出とし、80以下の場合は露出不足とする。
いずれにせよ、この実施の形態では、夜間撮影シーンに対し背景部分を除いて主被写体部分の露出を判定することにより、高精細に被写体露出の適性を判定することができる。
【００１９】
本発明の第５の実施の形態では、第３および第４の実施の形態において、主被写体が露出不良（露出不足）の場合、補正を行う。以下、図６に従って、トーンカーブf1(x)を用いた場合についてこの実施の形態を説明する。
まず、図６（ａ）に示すように、輝度頻度分布における主被写体領域に対応する入力域(入力値AからBまで)を抽出し、AB間で入出力値特性の傾きが1もしくはそれ以上を保ちつつ明るさが補正されるように出力値(A'からB')を決める。例えば、
A' = A×1.2 かつ、直線の傾き1.1
のように設定する。
【００２０】
次に、原点，A'，B'，および出力最大値Max_outを結び、カーブ形状を決定する（図６（ｂ））。そして、カーブ形状が決定したら、以下のような変換を行う。
まず、入力輝度値Y1(j)(j=1,2,....N) に対してトーンカーブ変換後の出力輝度値Y2(j)を算出し、露出補正係数C(j) を以下の式で算出する。
(R2(j),G2(j),B2(j)) = C2(j)・(R1(j),G1(j),B1(j)) … (6)
なお、この例では傾きの異なる直線を用いてトーンカーブ形状を決定したが、スプラインなどの曲線を用いて決定してもよく、これにはこだわらない。
また、前記した例では、端点を含めた4点を通るカーブで構成しているが、節点の数にはこだわらない。例えば夜間撮影では背景が明るくならないほうが良い場合もあるので、このような場合は、図６（ｄ）のようにシャドー側に節点を複数設定し、シャドー部の出力レベルが変わらないように設定することもできる。また、トーンカーブ補正の結果、ハイライトの階調性が失われる恐れがあればハイライト側に節点を複数設定し、ハイライトの階調が保たれるように設定することもできる。
いずれにせよ、前記のようにして、背景と主被写体の明るさが異なり、かつ主被写体の露出が不適切な場合、主被写体近傍の明るさを補正する処理を行うことにより、画質を向上させることができる。
【００２１】
次に、図７に従って、本発明の第６の実施の形態について説明する。
この実施の形態では、第２の実施の形態において、画像データが逆光および夜間撮影以外のシーンと判別された場合、それは被写体と背景の間に著しい輝度差がない状態、すなわち、順光で撮影された適正露出か、何らかの理由で露出アンダー、もしくはオーバーなシーンであると考える。
適正露出画像の場合、輝度頻度はレベル全域にわたって比較的均等に分布、もしくはガウス分布している。しかし、露出アンダーの場合は低レベル側に、また露出オーバーの場合は高レベル側に頻度分布の重心が偏る。図７（ａ）に露出アンダーシーンの頻度分布を示す。
このような場合には、まず式1を用いて輝度などの明るさに対する頻度分布を算出する。そして、頻度分布の偏り度合いを算出する。なお、偏り度合いの評価値としては、中央値や分布の対照性を表す歪度等を用いればよい。ここで、歪度Zは以下の式で算出される。
Z = (1/N)Σ((Y(j)/ave(Y(j))/S(Y(j)))^3 … (7)
ただし、Nは総画素数であり、Σの和はj=1からNについてとる。また、ave(Y(j))はY(j)の平均値、S(Y(j))は標準偏差である。
中央値を評価値にした場合、例えば50以下で露出アンダー、200以上で露出オーバーとする。また、歪度を評価値にした場合は、0.5以上で露出アンダー、-0.5以下で露出オーバーとする。
【００２２】
次に、前記で算出した偏り度合いが大きくなるにつれて頻度分布が平坦化するように画像データの補正を行う。以下にトーンカーブf2(i)を用いた補正方法の実施の形態を説明する。
例えば、f2(i)は累積頻度分布I(i)(i=0,1,2,....255)を用いて以下のように設定できる。
f2(i) = i + α(Z)×I(i) … (8)
ただし、α(Z)は歪度で求まる関数とし、頻度分布の偏り度合いが小さいと0に近づき、大きいほど高い値をとる。また、露出アンダーの場合はα(Z)＞0、オーバーの場合はα(Z)＜0、をとる。また、累積頻度分布I(i)における累積値はi=0からｘについてとる。
【００２３】
トーンカーブを用いた補正方法は式(3)、(4)の方法と同様にできる。露出アンダー画像の輝度分布から作成されたトーンカーブと、補正後の輝度分布を図７（ｂ）、図７（ｃ）に示す。図７（ｃ）では露出アンダー画像が補正されている。
なお、前記においては、頻度分布の偏り度合いに中央値や歪度を用いたが、種々の方法が考えられ、これにはこだわらない。また、中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用してもよい。
また、前記においては、累積頻度分布を用いてトーンカーブ形状を決定したが、種々の方法が考えられこれにはこだわらない。
いずれにせよ、この実施の形態では、背景と主被写体の明るさが同程度の場合において、露出アンダーなど、頻度分布が偏っている場合のみそれを平滑化する処理を行うことにより、画質を向上させることができる。
以上、本発明の画像処理方法を図１の構成の場合で説明したが、これまで説明したような画像処理方法に従ってプログラミングしたプログラムを例えば着脱可能な記憶媒体に記憶させ、その記憶媒体をこれまで本発明によった画像処理を行えなかった例えばパーソナルコンピュータのようなコンピュータシステムに装着することにより、そのコンピュータシステムにおいても本発明によった画像処理を行うことができる。
【００２４】
【発明の効果】
以上説明したように、請求項１および請求項６記載の発明では、取り込んだ自然画像データを最適露出状態の画像データに補正することができる画像処理装置において、取り込まれた画像データについて少なくとも逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかが判別され、逆光シーンのデータまたは夜間撮影シーンのデータであると判別された場合には、背景データを取り除いて露出状態が判定され、その判定結果に基づいて異なった画像補正が行われるので、不適切な露出状態で撮影された画像の主被写体を適切な明るさに補正することができる。また、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、最暗部レベルまたは最明部レベルに振り分けられた出現割合が求められ、前記最暗部レベルまたは最明部レベルに振り分けられた個数中に占める、画像端部の所定領域に属する個数の割合が求められ、求められた２つの割合からシーン判別が行われるので、請求項１記載の発明の効果を容易に実現することができる。
また、請求項２記載の発明では、請求項１記載の発明において、前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には夜間撮影シーンとみなすので、最適な夜間撮影シーンを設定することができる。
【００２５】
また、請求項３記載の発明では、請求項２記載の発明において、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、逆光シーンであると判定された場合、少なくとも、前記複数の明るさレベルのうちの最明部レベルを除くレベルに対応する画像データの明るさ分布から、主被写体の明るさが適切か否かが判定されるので、判定精度が向上し、逆光で撮影された画像の主被写体をより適切な明るさに補正することができる。
また、請求項４記載の発明では、請求項２記載の発明において、画素単位に分解された、明るさを示す各画像データが少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分けられ、夜間撮影シーンであると判定された場合、少なくとも、前記複数の明るさレベルのうちの最暗部レベルを除くレベルに対応する画像データの明るさ分布から、主被写体の明るさが適切か否かが判定されるので、判定精度が向上し、夜間に撮影された画像の主被写体をより適切な明るさに補正することができる。
また、請求項５記載の発明では、請求項３又は４記載の発明において、逆光シーンまたは夜間撮影シーンにおける主被写体の明るさが不適切だった場合、主被写体の明るさ近傍部の画像データが補正されるので、画質を向上させることができる。
また、請求項７記載の発明では、請求項６記載の画像処理方法に従ってプログラミングしたプログラムが例えば着脱可能な記憶媒体に記憶されるので、その記憶媒体をこれまで請求項６記載の発明によった画像処理を行えなかったコンピュータシステムに装着することにより、そのコンピュータシステムにおいても発明の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の各実施の形態の画像処理装置を含む画像処理システムを示す概略構成図である。
【図２】本発明の各実施の形態の画像処理システムの具体例を示す構成図である。
【図３】本発明の第１の実施の形態を示す画像処理装置のフローチャートである。
【図４】本発明の第２の実施の形態を示す画像処理装置のフローチャートである。
【図５】本発明の第２の実施の形態を示す画像処理装置の説明図である。
【図６】本発明の第５の実施の形態を示す画像処理装置の説明図である。
【図７】本発明の第６の実施の形態を示す画像処理装置の説明図である。
【符号の説明】
１００：画像入力装置
１０１：画像処理装置
１０２：判定部
１０３：露出補正部
１０４：画像出力装置
２０１：デジタルカメラ
２１０：コンピュータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that can be used in a digital camera, a film scanner, and the like, and in particular, an image processing apparatus that can capture image data captured in backlight or at night to image data in an optimal exposure state. About.
[0002]
[Prior art]
In recent years, opportunities for handling photographic images with digital data are increasing due to the spread of personal computers, the Internet, household printers, and the like, and the increase in storage capacity of hard disks and the like. Accordingly, digital cameras, film scanners, and the like have been generally used as input means for digital photographic image data (hereinafter simply referred to as image data).
In the above, the digital camera is provided with an automatic exposure control device for always keeping the exposure at the time of photographing optimal. There are various exposure control methods, but for light quantity detection, there is a method to divide the screen into a plurality of appropriate areas, weight each area, take a weighted average, and adjust the aperture, shutter speed, etc. In general, a method of simply taking a weighted average of the entire screen is called an average photometry method, and a method of focusing light on the center is called a center-weighted photometry method.
However, these exposure control systems vary from company to company, and may not operate properly depending on shooting conditions, and there is no perfect one. In particular, in a backlight situation where there is a light source directly behind the main subject and there is a large difference in brightness between the background and the main subject, if the subject is not exposed, the background will be pulled to the brightness of the subject and the exposure will be corrected to minus, making the subject appear dark. End up.
Also, in night strobe shooting, since it is assumed that the subject is exposed to strobe light, the aperture and shutter speed are fixed to default values. In other words, if the distance between the strobe and the subject is too far, the light will not reach, and in this case, the subject will appear dark.
Or, if the subject itself is originally dark or bright, even if the exposure itself is appropriate, it may appear to be poorly exposed. The human being sees the brain adapting to the brightness of the surroundings, but the reason is that the camera records the incoming luminance as it is.
[0003]
In order to cope with such an inappropriate exposure state at the time of taking a digital image, many techniques for automatically correcting the exposure of image data have been proposed. Note that exposure correction means adjusting a subject having brightness inappropriate for a scene to brightness suitable for the scene. For example, a subject that is dark due to underexposure, a subject that is dark due to backlighting, or a subject that is overexposed is darkened. In general, exposure correction in a camera is performed by changing the aperture and shutter speed in order to adjust the amount of incident light entering the lens. In the case of a printer or display, it means processing for optimizing the brightness of an output signal with respect to the brightness of an input signal using an input / output conversion function or the like.
For example, in the photographic image density information recording method disclosed in Japanese Patent Application Laid-Open No. 59-65835, the background of a photographic image such as a negative film is removed by removing the solid from the periphery (four corners) and information on the main subject portion is obtained. obtain. However, in the prior art disclosed in Japanese Patent Application Laid-Open No. 59-65835, the solid portion is uniformly removed regardless of the scene. It cannot be separated in high definition.
[0004]
Further, in the method disclosed in Japanese Patent Laid-Open No. 06-189186, the frequency distribution with respect to the brightness of the image data is divided into two stages on both sides of the average value and a total of four stages, and the number of data belonging to each stage ( Appearance frequency) is determined, and when the appearance frequency of the bright section of the two stages divided into the darker areas is greater than that in the other sections, it is determined as a backlight scene, and correction is performed to relatively increase the darker level. Do. However, in the prior art disclosed in Japanese Patent Laid-Open No. 06-189186, the backlight determination is performed based only on the frequency information. Therefore, an erroneous determination is made when the frequency distribution has the same shape even if it is not a backlight scene.
In the prior art disclosed in Japanese Patent Laid-Open No. 11-202378, the frequency distribution for the brightness of the image data is divided into four stages to obtain the frequency, while the image has a weighting factor concentrically with the center as the maximum value. . Based on the frequency and the weighting factor, which stage is important brightness is evaluated, it is determined whether it belongs to backlight, over-order light, background flat image, or front-light scene, and exposure is controlled. However, in the prior art disclosed in Japanese Patent Laid-Open No. 11-202378, the result of whether or not the exposure is appropriate depends on the size and position of the subject in the image, and the subject is small or not centered. Misjudgment.
In the image processing apparatus disclosed in Japanese Patent Application Laid-Open No. 12-134467, an input image is overexposed or underexposed based on the number of peak areas of the frequency distribution with respect to the brightness of the image data, the luminance values at both ends of the peak, and the dynamic range. , Standard exposure, and other exposure conditions such as backlight. In the case of overexposure, underexposure, and standard exposure, correction is performed using a fixed LUT, and in other cases, correction is performed to shift the frequency distribution distributed at the lowest luminance to the high luminance region. However, in the prior art disclosed in Japanese Patent Laid-Open No. 12-134467, scene discrimination is performed using the peak information of the frequency distribution. Therefore, if the subject in the image is small, the peak of the main subject portion does not appear and erroneous determination is made. . Even if the scene is correctly determined, it is not determined whether or not the main subject portion is properly exposed.
[0005]
[Problems to be solved by the invention]
As described above, in the prior art, the main subject of an image shot in an inappropriate exposure state cannot be corrected to an appropriate brightness.
An object of the present invention is to provide an image processing apparatus capable of correcting the main subject of an image photographed in an inappropriate exposure state to an appropriate brightness by solving the problems of the prior art. is there.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, according to the first aspect of the present invention, there is provided an image processing apparatus that corrects image data having subject data to image data in an optimal exposure state. A scene discriminating unit for discriminating whether the data is a photographic scene data or other data; and when the scene discriminating unit discriminates the data of the backlight scene or the data of the night photographic scene, the subject data is obtained from the image data. Other thanbackgroundDataBased on brightnessA subject exposure determination unit that removes and determines an exposure state; and a correction unit that corrects the brightness of the subject data area based on a determination result of the subject exposure determination unit, wherein the scene determination unit includes the image data Each pixel ofAboveAccording to the brightness of each pixel, a distribution unit that distributes to any one of a plurality of brightness levels divided into at least two stages,Appearance ratio of all pixels assigned to the darkest part level to all pixels and Appearance ratio of all pixels assigned to the lightest part level to all pixelsFirst appearance ratio calculating means for obtainingThe ratio of the number of pixels belonging to a predetermined region at the edge of the image in the number of pixels allocated to the darkest level and the predetermined number of the image at the edge allocated to the number of pixels allocated to the brightest level Percentage of the number of pixels belonging to the regionSecond appearance ratio calculating means for obtainingHaveThe calculated value of the first appearance ratio calculating means and the calculated value of the second appearance ratio calculating meansBased on the combination of the data, whether it is backlit scene data, night scene data, or other dataThe scene discrimination is performed.
[0007]
Claims2In the invention described in claim 1, in the invention described in claim 1, the scene determination unit selects any one of a plurality of brightness levels obtained by dividing each pixel of the image data into at least two stages according to the brightness of each pixel. And the sorting means for sorting out the pixels assigned to the darkest part level or the brightest part level.For all pixelsA first appearance ratio calculating means for determining an appearance ratio; and a first ratio for determining the ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels allocated to the darkest part level or the brightest part level. 2 appearance ratio calculating means, wherein the appearance ratio of the pixels assigned to the darkest part level by the first appearance ratio calculating means is greater than or equal to a first threshold, and the second appearance ratio calculation If the ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels assigned to the darkest part level by the means is equal to or greater than a second threshold, it is regarded as a night shooting scene, and the first The appearance ratio of the pixels distributed to the brightest part level by the appearance ratio calculation means is equal to or higher than a third threshold, and the appearance ratio of the pixels distributed to the darkest part level and the brightest part level The image edge portion that occupies the total number of pixels that have been distributed to the brightest portion level by the second appearance ratio calculation means and that has a total sum of the appearance ratios of the divided pixels that is equal to or greater than a fourth threshold value. If the ratio of the number of pixels belonging to the predetermined area is greater than or equal to the fifth thresholdBacklitIt is regarded as a shooting scene.
Claims3In the described invention, the claims2In the described invention, when the scene determination unit determines that the scene is a backlight scene, brightness of image data obtained by removing at least one level image from the brightest level among the plurality of brightness levels. The subject exposure determination means is configured to determine whether or not the brightness of the main subject is appropriate from the distribution.
[0008]
According to a fourth aspect of the present invention, in the second aspect of the present invention, when the scene discriminating unit determines that the scene is a night shooting scene, at least one from the darkest level among the plurality of brightness levels. The subject exposure determination means is configured to determine whether or not the brightness of the main subject is appropriate from the brightness distribution of the image data excluding images of two or more levels.
Further, in the invention according to claim 5, in the invention according to
According to a sixth aspect of the present invention, there is provided an image processing method for correcting image data having subject data into image data in an optimal exposure state, wherein the image data is backlit scene data, night scene data, or otherwise. A scene discrimination step for discriminating whether the data is a scene data, and when the scene discrimination step determines that the data is the backlight scene data or the night-time shooting scene data,backgroundDataBased on brightnessA subject exposure determination step for removing the exposure state, and a correction step for correcting the brightness of the subject region based on the determination result of the subject exposure determination step, wherein the scene determination step includes: Each pixelAboveAccording to the brightness of each pixel, a distribution step of distributing to any one of a plurality of brightness levels divided into at least two stages;Appearance ratio of all pixels assigned to the darkest part level to all pixels and Appearance ratio of all pixels assigned to the lightest part level to all pixelsA first appearance ratio calculating step for obtainingThe ratio of the number of pixels belonging to a predetermined region at the edge of the image in the number of pixels allocated to the darkest level and the predetermined number of the image at the edge allocated to the number of pixels allocated to the brightest level Percentage of the number of pixels belonging to the regionA second appearance ratio calculating step for obtainingHaveA calculated value of the first appearance ratio calculating step;Based on the combination of the data, whether it is backlit scene data, night scene data, or other dataThe scene discrimination is performed.
The invention described in claim 7 is a computer-readable recording medium on which the program of the image processing method described in claim 6 is recorded.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing an image processing system according to each embodiment of the present invention, and FIG. 2 is a configuration diagram showing a specific example thereof.
As shown in FIG. 1, the image processing system includes an
The
[0010]
On the other hand, an
In addition, the scene determination and subject exposure determination in the
[0011]
Hereinafter, the image processing of the first embodiment performed by the
First, the
As a result of scene discrimination, if the target image is a “backlit scene” or “night scene”, the brightness difference between the main subject and the background is large, so correct results cannot be obtained even if the exposure is judged for the entire image. . Therefore, the
After the main subject area is specified, the
Y (j) = 0.299 ・ R (j) + 0.587 ・ G (j) + 0.114 ・ B (j)… (1)
R (j), G (j), and B (j) are obtained from the input image data.
If the scene is “other” that does not belong to backlighting or night scene shooting, the entire image is regarded as the main subject, and if necessary, it can be checked whether or not the exposure is appropriate by the same method.
[0012]
If the brightness of the main subject is not appropriate, that is, if the exposure is not appropriate, then the
Various methods other than the above method have been proposed as a method for discriminating the backlight scene and the night-time shooting scene, and any method may be used. In addition to the above example, various methods have been proposed for removing the background in order to identify the main subject, but this is not particular.
Various methods other than the above-described example have also been proposed for determining whether or not the main subject has appropriate brightness, but this is not particular. When obtaining a statistical value such as a median value, it is not always necessary to use information of all pixels, and information obtained by thinning out may be used. Also, various methods have been proposed for brightness correction, but this is not particular.
In any case, if the brightness of the background and the main subject is significantly different, such as in a backlight or night scene, remove the background and extract the main subject to determine whether the exposure is appropriate. If necessary, the image quality can be improved by correcting the brightness.
[0013]
Next, a second embodiment of the present invention will be described with reference to FIG.
Before describing a method for discriminating whether image data is a backlight, night-time shooting, or a scene that does not belong to any of the methods according to this embodiment, first, a situation where each scene is shot will be described.
First, in a backlight scene, a light source is located directly behind the main subject, and the image is shot with a large luminance difference between the background and the main subject. In such a situation, the main subject appears dark because the exposure is corrected to minus by being pulled by the brightness of the background. That is, when the luminance frequency distribution with respect to the brightness is taken, the distribution is polarized into light and dark.
In a night scene, a night scene and a person may appear together, but basically the background is dark and the main subject is bright against the background.
Considering the above shooting conditions, compared to the average brightness of the image, there is an extremely bright background in the backlight and the frequency distribution with respect to the brightness is bipolar, and there is an extremely dark background in the night shooting. it is conceivable that. Therefore,
[Condition 1] Whether the extremely bright part or the extremely dark part exceeds the predetermined threshold (ratio) compared to the average brightness of the image
[Condition 2] When the above condition is satisfied, is an extremely bright or dark part almost at the edge of the image?
[Condition 3] If there is a possibility of a backlight image, is the luminance distribution polarized to light and dark?
Should be examined.
[0014]
Therefore, in order to extract an extremely bright part or dark part compared with the average brightness of the image, the brightness of the image data, for example, the brightness level is divided into four levels, and each level is defined as follows. The appearance frequency H (i) (i = 0, 1, 2, 3) of image data belonging to each level is obtained (402).
The
Luminance level 64 to less than 127 ⇒ Level 1 and the number of appearances is H (1).
Luminance level 128 or more and less than 191 ⇒ Level 2 and the appearance count is H (2).
Luminance level 192 or more and less than 255
[0015]
Next, an appearance frequency ratio (first appearance frequency ratio) P1 (i) (i = 0, 3) at the darkest or brightest part level is calculated for the total number of pixels N (403).
P1 (i) = (H (i) / N) × 100 (%)… (3)
Further, among the appearance frequency ratios P1 (i), for example, an appearance frequency ratio (second appearance frequency ratio) P2 (i) included in the image end portion that is the black region shown in FIG. 5 is calculated (404).
P2 (i) = (number of pixels included in the edge of the image belonging to level i) / H (i) x 100 (%) ... (4)
Next, the scene is determined. For example, when the frequency ratio of
P1 (0)> 60 && P2 (0)> 70
In this case, it is regarded as “night scene” (407).
[0016]
For example, the frequency of
P1 (3)> 15 && P1 (0) + P1 (3)> 60 && P2 (3)> 70
Is regarded as a “backlit scene” (408).
If any of the above conditions is not satisfied, “other scene” is set (409).
In the above description, the luminance is used as the information on the brightness. However, the brightness or G (green) signal may be used, and this is not particular. Further, the segmentation may be performed after adjusting the contrast of the frequency distribution.
In addition, the frequency distribution segmentation method, the number of steps (number of levels), and the method of taking the image edge region are conceivable in addition to the above, and this is not particular.
The percentage for scene discrimination may be a number other than the above.
In any case, if there is an extremely bright background compared to the average brightness of the image and the frequency distribution is bipolar, it is regarded as a backlight scene and an extremely dark background exists. For example, by using a scene discrimination method that is regarded as a night shooting scene, high-definition scene discrimination that is not affected by the size or position of the subject can be performed.
[0017]
Next, a third embodiment of the present invention will be described.
In this embodiment, when the image data is determined to be a backlight scene in the second embodiment, for example, a portion belonging to
In the case of a backlight scene, there is a high possibility that the portion corresponding to human skin does not belong to
In any case, in this embodiment, it is possible to determine the suitability of the subject exposure with high definition by determining the exposure of the main subject portion excluding the background portion in the backlight scene.
[0018]
Next, a fourth embodiment of the present invention will be described.
In this embodiment, in the second embodiment, when the image data is determined to be a night-time shooting scene, for example, an area belonging to
Further, for example, whether or not the main subject is properly exposed is determined to be appropriate exposure if the luminance median is 80 or more, and is insufficiently exposed if 80 or less.
In any case, in this embodiment, it is possible to determine the suitability of the subject exposure with high definition by determining the exposure of the main subject portion excluding the background portion in the night shooting scene.
[0019]
In the fifth embodiment of the present invention, correction is performed when the main subject is poorly exposed (underexposed) in the third and fourth embodiments. Hereinafter, this embodiment will be described in the case where the tone curve f1 (x) is used according to FIG.
First, as shown in FIG. 6A, an input area (input values A to B) corresponding to the main subject area in the luminance frequency distribution is extracted, and the slope of the input / output value characteristic between AB is 1 or more. The output value (A ′ to B ′) is determined so that the brightness is corrected while maintaining For example,
A '= A x 1.2 and straight line slope 1.1
Set as follows.
[0020]
Next, the origin, A ′, B ′, and the maximum output value Max_out are connected to determine the curve shape (FIG. 6B). When the curve shape is determined, the following conversion is performed.
First, the output luminance value Y2 (j) after tone curve conversion is calculated for the input luminance value Y1 (j) (j = 1,2, ... N), and the exposure correction coefficient C (j) is Calculate with the following formula.
(R2 (j), G2 (j), B2 (j)) = C2 (j) ・ (R1 (j), G1 (j), B1 (j))… (6)
In this example, the tone curve shape is determined using straight lines having different inclinations. However, the tone curve shape may be determined using a curve such as a spline.
In the example described above, a curve that passes through four points including the end points is used, but the number of nodes is not particular. For example, in night photography, it may be better that the background is not bright. In such a case, a plurality of nodes are set on the shadow side as shown in FIG. 6D, and the output level of the shadow portion is set so as not to change. You can also. Further, if there is a possibility that highlight gradation property is lost as a result of tone curve correction, a plurality of nodes can be set on the highlight side so that highlight gradation can be maintained.
In any case, as described above, when the brightness of the main subject is different from that of the background, and the exposure of the main subject is inappropriate, the image quality is improved by performing the process of correcting the brightness near the main subject. be able to.
[0021]
Next, a sixth embodiment of the present invention will be described with reference to FIG.
In this embodiment, in the second embodiment, when the image data is determined to be a scene other than backlight and night shooting, it is a state in which there is no significant luminance difference between the subject and the background, that is, shooting with front light. Think of it as a proper exposure, underexposed for some reason, or overexposed.
In the case of a properly exposed image, the luminance frequency is relatively evenly distributed or Gaussian distributed over the entire level. However, the center of gravity of the frequency distribution is biased toward the low level when underexposed, and toward the high level when overexposed. FIG. 7A shows the frequency distribution of the exposed underscene.
In such a case, first, a frequency distribution with respect to brightness such as luminance is calculated using Equation 1. Then, the degree of bias of the frequency distribution is calculated. As the evaluation value of the degree of bias, the median value, the skewness indicating the contrast of the distribution, or the like may be used. Here, the skewness Z is calculated by the following equation.
Z = (1 / N) Σ ((Y (j) / ave (Y (j)) / S (Y (j))) ^ 3… (7)
However, N is the total number of pixels, and the sum of Σ is taken from j = 1 to N. Further, ave (Y (j)) is an average value of Y (j), and S (Y (j)) is a standard deviation.
When the median is set as the evaluation value, for example, it is underexposed at 50 or less and overexposed at 200 or more. When the skewness is an evaluation value, it is underexposed when 0.5 or more and overexposed when -0.5 or less.
[0022]
Next, the image data is corrected so that the frequency distribution becomes flat as the degree of bias calculated above increases. An embodiment of a correction method using the tone curve f2 (i) will be described below.
For example, f2 (i) can be set as follows using the cumulative frequency distribution I (i) (i = 0, 1, 2,... 255).
f2 (i) = i + α (Z) × I (i)… (8)
However, α (Z) is a function obtained from the skewness, and approaches 0 when the degree of bias of the frequency distribution is small, and takes a higher value as it is larger. Also, α (Z)> 0 when underexposed and α (Z) <0 when overexposed. The cumulative value in the cumulative frequency distribution I (i) is taken from i = 0 to x.
[0023]
The correction method using the tone curve can be performed in the same manner as the methods (3) and (4). The tone curve created from the luminance distribution of the underexposed image and the luminance distribution after correction are shown in FIGS. 7B and 7C. In FIG. 7C, the underexposed image is corrected.
In the above description, the median value and the skewness are used for the degree of bias of the frequency distribution. However, various methods are conceivable, and this is not particular. Further, when obtaining a statistical value such as a median value, it is not always necessary to use information of all pixels, and information obtained by thinning out may be used.
In the above description, the tone curve shape is determined using the cumulative frequency distribution, but various methods are conceivable.
In any case, in this embodiment, when the brightness of the background is the same as that of the main subject, the image quality is improved by performing the process of smoothing it only when the frequency distribution is biased, such as underexposure. Can be made.
As described above, the image processing method of the present invention has been described in the case of the configuration of FIG. 1, but a program programmed according to the image processing method as described above is stored in, for example, a removable storage medium, and the storage medium has been stored so far. When the image processing according to the present invention is not performed, the image processing according to the present invention can be performed in the computer system by mounting the computer system such as a personal computer.
[0024]
【The invention's effect】
As explained above, claim 1 and claim6In the described invention, in the image processing apparatus capable of correcting the captured natural image data to the image data in the optimal exposure state, at least the data of the backlight scene, the data of the night scene, or the other data about the captured image data If it is determined that it is backlit scene data or night scene data, the background data is removed to determine the exposure state, and different image correction is performed based on the determination result. The main subject of the image shot in an inappropriate exposure state can be corrected to an appropriate brightness.In addition, each image data indicating brightness that has been decomposed into pixel units is assigned to one of a plurality of brightness levels divided into at least two stages, and the appearance ratio is assigned to the darkest part level or the brightest part level. Since the ratio of the number belonging to the predetermined area at the edge of the image in the number assigned to the darkest part level or the brightest part level is obtained, and scene discrimination is performed from the two obtained ratios. The effect of the invention of claim 1 can be easily realized.
Claims2In the invention described in claim 1, in the invention described in claim 1, the appearance ratio of the pixels assigned to the darkest part level by the first appearance ratio calculation unit is equal to or more than a first threshold, and the second appearance When the ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels allocated to the darkest part level by the ratio calculation means is equal to or greater than a second threshold, it is regarded as a night shooting scene, The appearance ratio of the pixels distributed to the brightest part level by the first appearance ratio calculation means is equal to or higher than a third threshold, and the appearance ratio of the pixels distributed to the darkest part level and the brightest part level The total of the appearance ratios of the pixels distributed to the image threshold is equal to or greater than a fourth threshold value, and occupies the number of pixels distributed to the brightest part level by the second appearance ratio calculation unit. When the ratio of the number of pixels belonging to a predetermined region of the is the fifth threshold value or more since regarded as night photography scene, it is possible to set the optimum night photography scene.
[0025]
Claims3In the invention described in claim 2, in the invention described in claim 2, each image data indicating brightness, which is decomposed in units of pixels, is distributed to any one of a plurality of brightness levels divided into at least two stages, and in a backlight scene. If it is determined that there is, at least whether or not the brightness of the main subject is appropriate is determined from the brightness distribution of the image data corresponding to the level excluding the brightest part level among the plurality of brightness levels. Therefore, the determination accuracy is improved, and the main subject of the image photographed with backlight can be corrected to a more appropriate brightness.
Claims4In the invention described in claim 2, in the invention described in claim 2, each image data indicating brightness, which is decomposed in units of pixels, is distributed to any one of a plurality of brightness levels divided into at least two stages, and a night shooting scene is obtained. If it is determined that the brightness of the main subject is appropriate, it is determined from the brightness distribution of the image data corresponding to at least the darkest level of the plurality of brightness levels. Therefore, the determination accuracy is improved, and the main subject of the image taken at night can be corrected to a more appropriate brightness.
Claims5In the described invention, the claims3Or4In the described invention, when the brightness of the main subject in the backlight scene or night shooting scene is inappropriate, the image data in the vicinity of the brightness of the main subject is corrected, so that the image quality can be improved.
Claims7In the described invention, the claims6A program programmed according to the described image processing method is stored in, for example, a detachable storage medium.6By mounting on a computer system that has not been able to perform image processing according to the described invention, the effect of the invention can also be obtained in that computer system.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing an image processing system including an image processing apparatus according to each embodiment of the present invention.
FIG. 2 is a configuration diagram illustrating a specific example of an image processing system according to each embodiment of the present invention.
FIG. 3 is a flowchart of the image processing apparatus showing the first embodiment of the present invention.
FIG. 4 is a flowchart of an image processing apparatus showing a second embodiment of the present invention.
FIG. 5 is an explanatory diagram of an image processing apparatus showing a second embodiment of the present invention.
FIG. 6 is an explanatory diagram of an image processing apparatus according to a fifth embodiment of the present invention.
FIG. 7 is an explanatory diagram of an image processing apparatus according to a sixth embodiment of the present invention.
[Explanation of symbols]
100: Image input device
101: Image processing apparatus
102: Determination unit
103: Exposure compensation unit
104: Image output device
201: Digital camera
210: Computer
Claims (7)
前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別手段と、
前記シーン判別手段により前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体データ以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定手段と、
前記被写体露出判定手段の判定結果に基づいて、被写体データ領域の明るさを補正する補正手段と、を備え、
前記シーン判別手段は、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分け手段と、
最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、
前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を有し、
前記第１の出現割合算出手段の算出値と前記第２の出現割合算出手段の算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする画像処理装置。An image processing apparatus that corrects image data having subject data to image data in an optimal exposure state,
Scene discriminating means for discriminating whether the image data is backlit scene data, night shooting scene data or other data;
Subject exposure determination that determines the exposure state by removing background data other than subject data from the image data based on luminance when the scene determination means determines that the data is the backlight scene data or the night scene data. Means,
Correction means for correcting the brightness of the subject data area based on the determination result of the subject exposure determination means,
The scene determining means, each pixel of the image data, the according to the brightness of each pixel, a distributing means for distributing any of a plurality of brightness levels divided into at least two stages,
First appearance ratio calculation means for obtaining an appearance ratio of all pixels assigned to the darkest part level and an appearance ratio of all pixels assigned to the brightest part level ;
The ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels allocated to the darkest level and the predetermined value at the edge of the image allocated to the number of pixels allocated to the brightest level Second appearance ratio calculating means for calculating a ratio of the number of pixels belonging to the region ,
Based on the combination of the calculated value of the first appearance ratio calculating means and the calculated value of the second appearance ratio calculating means, the scene discrimination is performed whether the data is the scene of the backlight scene, the data of the night scene, or the other data. An image processing apparatus that performs the processing.
最暗部レベルまたは最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出手段と、
前記最暗部レベルまたは前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出手段と、を備え、
前記第１の出現割合算出手段により前記最暗部レベルに振り分けられた画素の出現割合が第一の閾値以上であり、かつ、前記第２の出現割合算出手段により前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第二の閾値以上である場合には夜間撮影シーンとみなし、
前記第１の出現割合算出手段により前記最明部レベルに振り分けられた画素の出現割合が第三の閾値以上であり、
かつ、前記最暗部レベルに振り分けられた画素の出現割合と前記最明部レベルに振り分けられた画素の出現割合との合計が第四の閾値以上であり、
かつ、前記第２の出現割合算出手段により前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合が第五の閾値以上である場合には逆光撮影シーンとみなす、
ことを特徴とする請求項１記載の画像処理装置。The scene determination means is a distribution means for distributing each pixel of the image data to one of a plurality of brightness levels divided into at least two stages according to the brightness of each pixel;
First appearance ratio calculating means for obtaining an appearance ratio of all the pixels assigned to the darkest part level or the brightest part level;
Second appearance ratio calculating means for obtaining a ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels allocated to the darkest part level or the brightest part level,
Pixels assigned to the darkest part level by the first appearance ratio calculating means have an appearance ratio of the pixels assigned to the darkest part level equal to or higher than a first threshold value, and assigned to the darkest part level by the second appearance ratio calculating means If the ratio of the number of pixels belonging to the predetermined region at the edge of the image is greater than or equal to the second threshold,
The appearance ratio of the pixels distributed to the brightest part level by the first appearance ratio calculation means is equal to or greater than a third threshold;
And the sum of the appearance ratio of the pixels distributed to the darkest part level and the appearance ratio of the pixels distributed to the brightest part level is a fourth threshold or more,
In addition, when the ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels distributed to the brightest part level by the second appearance ratio calculation means is equal to or more than a fifth threshold value. Is considered a backlight scene,
The image processing apparatus according to claim 1.
前記画像データについて逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかをシーン判別するシーン判別ステップと、
前記シーン判別ステップにより前記逆光シーンのデータまたは前記夜間撮影シーンのデータであると判別された場合、前記画像データから被写体以外の背景データを輝度に基づいて取り除いて露出状態を判定する被写体露出判定ステップと、
前記被写体露出判定ステップの判定結果に基づいて、被写体領域の明るさを補正する補正ステップと、
を備え、
前記シーン判別ステップは、前記画像データの各画素を、前記各画素の明るさに応じて、少なくとも２段階以上に区分した複数の明るさレベルのいずれかに振り分ける振り分けステップと、
最暗部レベルに振り分けられた画素の全画素に対する出現割合および最明部レベルに振り分けられた画素の全画素に対する出現割合を求める第１の出現割合算出ステップと、
前記最暗部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合および前記最明部レベルに振り分けられた画素の個数中に占める、画像端部の所定領域に属する画素の個数の割合を求める第２の出現割合算出ステップと、を有し、
前記第１の出現割合算出ステップの算出値との組み合わせに基づいて、逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータか前記シーン判別を行うことを特徴とする画像処理方法。An image processing method for correcting image data having subject data to image data in an optimal exposure state,
A scene determination step for determining whether the image data is backlit scene data, night shooting scene data, or other data; and
Subject exposure determination step of determining an exposure state by removing background data other than the subject from the image data based on luminance when it is determined by the scene determination step that the data is the backlight scene data or the night shooting scene data. When,
A correction step of correcting the brightness of the subject area based on the determination result of the subject exposure determination step;
With
The scene determining step, each pixel of the image data, the according to the brightness of each pixel, a distribution step of distributing to any segment the plurality of brightness levels in at least two stages,
A first appearance ratio calculating step for obtaining an appearance ratio of all pixels assigned to the darkest part level and an appearance ratio of all pixels assigned to the brightest part level ;
The ratio of the number of pixels belonging to the predetermined region at the edge of the image in the number of pixels allocated to the darkest level and the predetermined value at the edge of the image allocated to the number of pixels allocated to the brightest level A second appearance ratio calculating step for determining a ratio of the number of pixels belonging to the region ,
An image processing method characterized in that the scene determination is performed based on a combination with a calculated value in the first appearance ratio calculating step, whether it is data of a backlight scene, data of a night photographing scene, or other data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037763A JP4154128B2 (en) | 2001-02-14 | 2001-02-14 | Image processing apparatus, image processing method, and recording medium on which program for executing the method is recorded |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037763A JP4154128B2 (en) | 2001-02-14 | 2001-02-14 | Image processing apparatus, image processing method, and recording medium on which program for executing the method is recorded |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002247361A JP2002247361A (en) | 2002-08-30 |
| JP2002247361A5 JP2002247361A5 (en) | 2005-09-02 |
| JP4154128B2 true JP4154128B2 (en) | 2008-09-24 |
Family
ID=18900843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001037763A Expired - Fee Related JP4154128B2 (en) | 2001-02-14 | 2001-02-14 | Image processing apparatus, image processing method, and recording medium on which program for executing the method is recorded |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154128B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101341095B1 (en) | 2007-08-23 | 2013-12-13 | 삼성전기주식회사 | Apparatus and method for capturing images having optimized quality under night scene conditions |
| CN103581565A (en) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | Image capture apparatus, method of controlling image capture apparatus, and electronic device |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6937365B2 (en) | 2001-05-30 | 2005-08-30 | Polaroid Corporation | Rendering images utilizing adaptive error diffusion |
| US6906736B2 (en) | 2002-02-19 | 2005-06-14 | Polaroid Corporation | Technique for printing a color image |
| US7283666B2 (en) * | 2003-02-27 | 2007-10-16 | Saquib Suhail S | Digital image exposure correction |
| JP4167097B2 (en) | 2003-03-17 | 2008-10-15 | 株式会社沖データ | Image processing method and image processing apparatus |
| JP2004336516A (en) * | 2003-05-09 | 2004-11-25 | Konica Minolta Photo Imaging Inc | Image processing method, image processor, and image recording apparatus |
| JPWO2005112428A1 (en) * | 2004-05-18 | 2008-03-27 | コニカミノルタフォトイメージング株式会社 | Image processing method, image processing apparatus, image recording apparatus, and image processing program |
| JP2006107329A (en) * | 2004-10-08 | 2006-04-20 | Noritsu Koki Co Ltd | Photographed image processor |
| JP2006333205A (en) * | 2005-05-27 | 2006-12-07 | Konica Minolta Photo Imaging Inc | Imaging apparatus, image processing method and image processing program |
| JP2007081550A (en) * | 2005-09-12 | 2007-03-29 | Konica Minolta Photo Imaging Inc | Imaging apparatus, and image processing unit, method, and program |
| JP4750801B2 (en) * | 2005-12-20 | 2011-08-17 | 富士通株式会社 | Image discrimination device |
| JP5473582B2 (en) * | 2009-12-15 | 2014-04-16 | キヤノン株式会社 | Image processing apparatus, method, and program |
| JP6365355B2 (en) * | 2015-03-09 | 2018-08-01 | オムロン株式会社 | Image generating apparatus and image generating method |
-
2001
- 2001-02-14 JP JP2001037763A patent/JP4154128B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101341095B1 (en) | 2007-08-23 | 2013-12-13 | 삼성전기주식회사 | Apparatus and method for capturing images having optimized quality under night scene conditions |
| CN103581565A (en) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | Image capture apparatus, method of controlling image capture apparatus, and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002247361A (en) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10412296B2 (en) | Camera using preview image to select exposure | |
| JP3992177B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US7251056B2 (en) | Image processing apparatus, image processing method and information recording medium | |
| JP5520038B2 (en) | Video processing apparatus and video processing method | |
| JP4006347B2 (en) | Image processing apparatus, image processing system, image processing method, storage medium, and program | |
| US20110279710A1 (en) | Apparatus and method for automatically controlling image brightness in image photographing device | |
| JP4154128B2 (en) | Image processing apparatus, image processing method, and recording medium on which program for executing the method is recorded | |
| US20090167932A1 (en) | Image capturing apparatus | |
| KR101754425B1 (en) | Apparatus and method for auto adjusting brightness of image taking device | |
| JP4367821B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2009124264A (en) | Image processing apparatus and image processing method | |
| JPH1169372A (en) | Image lightness control method, digital camera used for the same and image processor | |
| JP4107812B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2007228221A (en) | Imaging apparatus, image processing apparatus, image processing method and image processing program | |
| JP3964796B2 (en) | Red-eye detection and correction method | |
| JP4219577B2 (en) | Image processing apparatus, image output apparatus, image processing method, and storage medium | |
| JP2009063674A (en) | Imaging apparatus and flash control method | |
| JP2002369074A (en) | Exposure controller for optical equipment and its program and its method | |
| JP2007288245A (en) | Imaging apparatus, image processing method, and image processing program | |
| US6037109A (en) | Device and method for reproducing originals onto light-sensitive material | |
| JP2007184887A (en) | Image pickup device, image processor, image processing method and image processing program | |
| JP5782546B2 (en) | VIDEO PROCESSING DEVICE, VIDEO PROCESSING METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
| JP4398595B2 (en) | Image processing apparatus and program | |
| JP2002268116A (en) | Automatic exposure controller and external storage medium stored with program thereof | |
| JP2007243556A (en) | Imaging apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080508 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |