JP2004312387A - Image processing method, image processing device, image forming device, image pickup device, and computer program - Google Patents

Image processing method, image processing device, image forming device, image pickup device, and computer program Download PDF

Info

Publication number
JP2004312387A
JP2004312387A JP2003103286A JP2003103286A JP2004312387A JP 2004312387 A JP2004312387 A JP 2004312387A JP 2003103286 A JP2003103286 A JP 2003103286A JP 2003103286 A JP2003103286 A JP 2003103286A JP 2004312387 A JP2004312387 A JP 2004312387A
Authority
JP
Japan
Prior art keywords
image data
image
image processing
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003103286A
Other languages
Japanese (ja)
Other versions
JP4079814B2 (en
Inventor
Masakazu Ohira
雅和 大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003103286A priority Critical patent/JP4079814B2/en
Publication of JP2004312387A publication Critical patent/JP2004312387A/en
Application granted granted Critical
Publication of JP4079814B2 publication Critical patent/JP4079814B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing method, an image processing device, an image forming device, an image pickup device, and a computer program which allow tone correction to be executed properly in accordance with characteristics of images. <P>SOLUTION: A tone correction part of a digital still camera extracts edge strength of a luminance signal (S10) and uses the extracted edge strength to generate an edge histogram (S11) and uses the generated edge histogram to calculate a weighting factor (S13) and uses the calculated weighting factor and input image data to generate a weight histogram (S14) and calculates tone correction characteristics on the basis of the generated weight histogram (S16) and uses the calculated tone correction characteristics to perform tone correction of the luminance signal (S18). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、画像データの階調補正を実行する画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラムに関する。
【0002】
【従来の技術】
従来、例えば、デジタルスチルカメラ(以下、デジカメという)のような撮像装置で画像を撮像する場合に、逆光で撮像したときのように、撮像時の露光状況が不適切な画像は、階調の分布に偏りが生じ、階調性の悪い画像となる。このような画像に対しては、一般に、輝度の階調を補正することで階調性を改善し、画像品質を向上している。
また、輝度階調の分布は画像毎に異なるため、撮像した画像の特徴、即ち撮像した画像に対応する画像データの特徴に応じて、該画像データを適切に輝度補正する必要がある。即ち、画像データの特徴量の情報に基づき、適切な階調補正特性を求める必要がある。
【0003】
以下では、階調補正される前の画像データ(即ち処理対象の画像データ)を、画像処理装置へ入力される画像データ、即ち入力画像データといい、階調補正された後の画像データを、画像処理装置から出力される画像データ、即ち出力画像データという。また、階調補正される前の画像を入力画像といい、階調補正された後の画像を出力画像という。
階調補正は、一般的に入力画像データの特徴量である輝度の頻度分布、即ち、輝度ヒストグラムに基づいて実施される。輝度ヒストグラムは、各輝度値を有する画素数の分布、即ち、各輝度値の面積の分布を示すため、各輝度値の面積を均等にした場合に、使用可能な階調数を最も効率良く使用することができる。
【0004】
しかしながら、実際の入力画像における輝度値の面積分布には偏りがあるため、各輝度値の面積を均等にした場合には、階調がなだらかに変化する画像領域に擬似的な輪郭が発生したり、階調が潰れてしまったりして、画質が劣化するという問題があった。
このため、一般に、入力画像データの輝度(以下、入力輝度という)と出力画像データの輝度(以下、出力輝度という)とを対応付けた階調補正特性を用いて階調を補正する。
【0005】
図13は、輝度階調補正特性を示す特性図であり、横軸は入力輝度を示し、縦軸は出力輝度を示している。
図のように、輝度階調補正特性は入力輝度の増加に応じて出力輝度が増加する単調増加関数である。また、夫々区間の幅が等しい複数の入力輝度区間(例えば図中ΔLi1,ΔLi2。ΔLi1=ΔLi2)は、階調補正特性の傾きが緩やかな場合(ΔLi1)、より区間の幅が狭い出力輝度区間(ΔLo1)に写像され、階調補正特性の傾きが急な場合(ΔLi2)は、より区間の幅が広い出力輝度区間(ΔLo2。ΔLo2>ΔLo1)に写像される。
【0006】
このような階調補正特性は、入力画像における輝度階調分布の特徴を反映するために、一般に、輝度ヒストグラムの特徴に基づいて求められる。この場合、輝度ヒストグラムにおいて頻度が高い輝度値を有する画像領域に対応する入力輝度区間では階調補正特性の傾きを急峻にして多くの階調数を割り当て、輝度ヒストグラムにおいて頻度が低い輝度値を有する画像領域に対応する入力輝度区間では傾きを緩やかにして少ない階調数を割り当てることによって、各画像領域に対し、適切な階調数を割り当てる。
即ち、入力画像データの輝度分布の特徴に応じて階調補正特性の傾きを求めることによって、入力画像に適応した階調補正特性を得て、適切に階調補正することができる。
【0007】
従来、輝度ヒストグラムを用いて階調補正特性を求める場合、輝度ヒストグラムの累積値を求めて階調補正特性としている。このとき、輝度ヒストグラムの輝度区分に対応する階調補正特性の入力輝度区間における階調補正特性の傾きを、ヒストグラムの全要素数(即ち入力画像の全画素数)に対する対象区分の頻度数の比率とする。
【0008】
例えば、全画素数の5%を頻度に持つ輝度区分の場合、最大輝度をLmax とすると、補正特性は、前記輝度区分に対応する入力輝度区間において、0.05Lmax 上昇するものと定義する。階調補正特性は、入力輝度及び出力輝度が原点(0)を起点とし、入力輝度値及び出力輝度値が最大輝度値となる点まで出力輝度が単調増加で連続している。このため、各入力輝度区間の始点の値は、1つ前の入力輝度区間の傾きによって定まる。従って、各入力輝度区間の傾きを頻度の割合に応じて求めることにより、線形近似された階調補正特性が求められる。また、各入力輝度区間の始点と終点とを非線形な補間関数を用いて補間することにより、滑らかな階調補正特性が求められる。
【0009】
以上のようにして階調補正特性を求める場合、入力画像の輝度の面積分布に基づいた階調補正は可能であるが、同じ輝度値を有する画素が、画像上で連続的に分布しているのか分散して分布しているのかといった位置の情報は全く考慮されない。このため、入力画像において重要度が低い画素に対して不必要に多くの階調が割り当てられることがあるという問題があった。
このような問題を解決するために、従来、画像の重要な要素が集中するエッジに着目し、検出したエッジとその近傍の画素の輝度値とを用いて輝度ヒストグラムを生成する画像処理装置が開示されている(例えば、特許文献1参照)。
【0010】
このような画像処理装置は、生成した輝度ヒストグラムを用いて求めた階調補正特性に基づいて、入力画像内の主要要素に適応した輝度階調補正を実行している。この場合、エッジを選択するという手法が、一定の輝度値を有する画素が連続的に分布している画像領域(以下、平坦領域という)の影響を取り除くため、良好な輝度階調の補正が可能となる。即ち、平坦領域では元々階調差が小さいため多くの階調数を割り当てたとしても画質の向上は望めない。むしろ、平坦領域に多くの階調を割り当ててしまうことは、多くの階調数を必要とする画像領域の階調数を減少させるという悪影響がある。更に、平坦領域はエッジに比べ面積が大きくなるため面積分布を示したヒストグラムでの影響は大きい。
従って、前記画像処理装置は、平坦領域を除いた輝度ヒストグラムの生成により効果的な階調補正を実現している。
【0011】
【特許文献1】
特開2000−228747号公報
【0012】
【発明が解決しようとする課題】
階調補正の本来の目的は、階調差の小さい部分、すなわちエッジ強度が相対的に弱い部分での階調性改善を行ない、これによって全体的な画質を向上することにある。しかしながら、特許文献1に開示されているような画像処理装置では、階調性の改善が期待される画像領域と平坦領域とをエッジ強度の特性のみから明確に切り分けることが困難である。また、前記画像処理装置は、輝度ヒストグラム生成に用いる画素値を2値的に求めるため、多くの階調数の割り当てが必要な画像領域の画素値を含まずに輝度ヒストグラムを生成することがある。
以上のようなことから、画像の平坦領域に多くの階調数を割り当てることなく、また、エッジ強度の強弱にかかわらず、階調性の改善が期待される画像領域に多くの階調数を割り当てる画像処理装置が求められている。
【0013】
本発明は斯かる事情に鑑みてなされたものであり、第2特徴量のヒストグラムを用いて重み係数を算出し、算出した重み係数を乗じてなる第1特徴量のヒストグラムに基づく階調補正特性を用いて階調補正することにより、入力画像の特性に応じた適切な階調補正を実行できる画像処理方法、画像処理装置、該画像処理装置を備える画像形成装置及び撮像装置、並びにコンピュータを前記画像処理装置として用いるためのコンピュータプログラムを提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明に係る画像処理方法は、処理対象の画像データの第1特徴量に基づく階調補正特性を用いて前記画像データを階調補正してなる画像データを生成する画像処理方法において、処理対象の画像データの前記第1特徴量とは異なる第2特徴量を抽出し、抽出した第2特徴量に基づく重み係数を算出し、算出した重み係数及び前記第1特徴量に基づく階調補正特性を用いて前記画像データを階調補正してなる画像データを生成することを特徴とする。
【0015】
本発明に係る画像処理装置は、入力画像データの第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成する画像処理装置において、前記第1特徴量とは異なる入力画像データの第2特徴量を抽出する特徴量抽出手段と、抽出した第2特徴量に基づく重み係数を算出する係数算出手段と、算出した重み係数及び前記第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成する手段とを備えることを特徴とする。
【0016】
本発明にあっては、デジカメ、コピー装置、若しくはプリンタ等に備えられる画像処理装置、又はパーソナルコンピュータ(以下、パソコンという)のような画像処理装置を用いる。
まず、画像処理装置は、特徴量抽出手段にて、入力画像データの第2特徴量(例えばエッジ強度)を抽出する。
次に、抽出した第2特徴量に基づいて、画像処理装置は、重み係数算出手段にて重み係数を算出する。この場合、画像処理装置は、例えば、抽出した第2特徴量のヒストグラムに基づいて、入力画像データの画素毎に重み係数を算出する。
【0017】
最後に、画像処理装置は、求めた重み係数及び第1特徴量(輝度又は明度等)に基づく階調補正特性を用いて入力画像データを階調補正し、出力画像データを生成する。この場合、画像処理装置は、例えば、求めた重み係数と第1特徴量との積のヒストグラムに基づく階調補正特性を用いる。
このような画像処理装置は、階調補正特性を求めるために、第1特徴量のみならず第2特徴量も用いている。この場合、第2特徴量に、各画素の位置関係の情報を含む特徴量を用いることによって、画像処理装置は、各画素の画像平面上における位置関係を加味してなる階調補正特性を用いる。このため、画像処理装置は、多くの階調数を必要とする画像領域に少ない階調数を割り当てたり、多くの階調を必要としない画像領域(例えば平坦領域)に多くの階調数を割り当てたりすることを防止する。
【0018】
本発明に係る画像処理装置は、前記係数算出手段は、前記第2特徴量に関する基準値を求める手段と、求めた基準値及び前記第2特徴量の大小に応じて、入力画像データの画素毎に重み係数を算出する手段とを備えることを特徴とする。
【0019】
本発明にあっては、例えば第2特徴量のヒストグラムを用いて、係数算出手段にて第2特徴量の基準値を求め、求めた基準値より大きい第2特徴量に基づく重み係数と、前記基準値より小さい第2特徴量に基づく重み係数とが、夫々異なる値を有するように、又は、夫々異なる関数を用いて求められるように、入力画像データの各画素に対応する重み係数を求める。
このため、入力画像データの第2特徴量の大小に応じて求められ各画素に対応する重み係数、及び該画素に対応する第1特徴量に基づく階調補正特性を用いて、画像処理装置は入力画像データを階調補正する。
また、基準値は、第2特徴量(例えば第2特徴量のヒストグラム)を用いて求められるため、外部から基準値を受け付ける必要がない。この場合、ユーザに基準値を入力させたり他の装置から基準値を受信したりする必要がないため、ユーザの利便性を損なったり装置の構成が複雑になったりすることがない。
【0020】
本発明に係る画像処理装置は、前記係数算出手段は、前記基準値より小さい第2特徴量に基づく重み係数を求める場合、第2特徴量の増加に対して単調に増加する関数を用いるよう構成してあることを特徴とする。
【0021】
本発明にあっては、係数算出手段にて、基準値より小さい第2特徴量に基づく重み係数を求める場合に、単調増加関数を用いる。
一般に、例えば近傍画素間のエッジの勾配が緩やかな画像領域(多くの階調数が必要な画像領域)と平坦領域(多くの階調数が必要ない画像領域)とを、第2特徴量(この場合、エッジ強度)の情報のみで明確に分離することは困難である。このため、特許文献1に記載の画像処理装置のように、基準値による2値的な重み付けをした場合、エッジの勾配が緩やかな画像領域に属する画素のような、画質の改善に寄与する画素の第1特徴量の影響が小さい階調補正特性を用いて階調補正してしまうことがある。
【0022】
一方、第2特徴量(エッジ強度)が小さいほど、該第2特徴量(エッジ強度)を有する画素が平坦領域に属している確率は高くなる。
このため、本発明の画像処理装置は、第2特徴量(エッジ強度)が小さい画素に対しては、単調増加関数を用いて、第2特徴量(エッジ強度)に応じた階調補正特性への寄与率(即ち重み係数)を求める。このような画像処理装置は、画質改善に寄与する画素の第1特徴量を強調してなる階調補正特性を用いて階調補正することにより、階調補正の結果を改善している。
【0023】
本発明に係る画像処理装置は、第2特徴量としてエッジ強度を用い、前記特徴量抽出手段は、近傍画素間でのエッジの勾配が所定の範囲にある画像領域のエッジ強度を強調して抽出する手段を備えることを特徴とする。
【0024】
本発明にあっては、特徴量抽出手段にて、入力画像データの第2特徴量を抽出する場合、エッジ強度を抽出する。このとき、特徴量抽出手段は、近傍画素間でのエッジの勾配が所定の範囲にある画像領域のエッジ強度を強調して抽出する手段として、エッジの勾配が緩やかな画像領域のエッジを強調して抽出するエッジ検出フィルタを用いる。該エッジ検出フィルタを用いることによって、画像処理装置は、近傍画素間でのエッジの勾配が所定の範囲外にある画像領域のエッジ強度、例えばエッジ強度が0である平坦領域のエッジ、又はエッジ強度が大きい(エッジの変化が急激な)画像領域のエッジ等を強調して抽出することを防止する。
【0025】
このような画像処理装置は、平坦領域と、エッジの勾配が緩やかな画像領域との分離精度を向上させ、エッジの勾配が緩やかな画像領域、即ち画質の改善に寄与する画像領域に属する画素の第2特徴量を強調して抽出し、抽出された第2特徴量に基づく重み係数を算出する。この場合、算出された重み係数及び第1特徴量に基づく階調補正特性を用いることによって、画像処理装置は、エッジの勾配が緩やかな画像領域に多くの階調数を割り当てる。即ち、画像処理装置は、前記画像領域のような、画質の改善に寄与する画像領域を適切に階調補正する。
【0026】
本発明に係る画像形成装置は、前記画像処理装置と、該画像処理装置へ画像データを入力する手段と、前記画像処理装置で生成された画像データを用いて画像を形成する手段とを備えることを特徴とする。
【0027】
本発明にあっては、コピー装置又はプリンタ等の画像形成装置が前記画像処理装置を備える。また、画像形成装置は、原稿を読み取って画像データを生成するスキャナ部、又は外部から画像データを受信するインターフェイス等のような、前記画像処理装置へ入力画像データを入力する手段を備える。更に、画像形成装置は、画像データを用いて用紙に画像を形成するプリンタ部のような、前記画像処理装置から出力された出力画像データを用いて画像を形成する手段を備える。このような画像形成装置は、入力画像データの特性に応じて適切に階調補正された出力画像データを用いて、品質の良い画像を形成する。
【0028】
本発明に係る撮像装置は、前記画像処理装置と、画像を撮像してなる画像データを前記画像処理装置へ入力する手段とを備えることを特徴とする。
【0029】
本発明にあっては、デジカメのような撮像装置が前記画像処理装置を備える。また、撮像装置は、CCDカメラ部のような、画像を撮像してなる画像データを前記画像処理装置へ入力する手段とを備える。
このような撮像装置は、入力画像データの特性に応じて適切に階調補正された出力画像データを用いて、品質の良い画像を出力する。
【0030】
本発明に係るコンピュータプログラムは、コンピュータに、入力画像データの第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成させるコンピュータプログラムにおいて、コンピュータに、前記第1特徴量とは異なる入力画像データの第2特徴量を抽出させるステップと、コンピュータに、抽出された第2特徴量に基づく重み係数を算出させるステップと、コンピュータに、算出された重み係数及び前記第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成させるステップとを実行させることを特徴とする。
【0031】
本発明にあっては、デジカメ、コピー装置若しくはプリンタ等に備えられるコンピュータ、又はパソコン等にインストールされる。この場合、コンピュータプログラムは、例えば、可搬性を有する記録媒体に記憶されて配布されたり、通信回線を介して配信されたり、装置が内蔵する記憶手段(例えばROM)に予め格納してあったりする。
このようなコンピュータプログラムは、入力画像データの第2特徴量を抽出する特徴量抽出手段、及び、抽出した第2特徴量に基づく重み係数を算出する係数算出手段等を、コンピュータのハードウェア要素を用いてソフトウェア的に実現し、該コンピュータを、入力画像データの特性に応じて適切に階調補正された出力画像データを用いて、品質の良い画像を出力する画像処理装置として機能させる。
【0032】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
実施の形態 1.
図1は、本発明の実施の形態1に係る撮像装置としてのデジカメ1の構成を示すブロック図である。
本実施の形態においては、デジカメ1が、本実施の形態の画像処理装置である画像処理部14と、画像を撮像してなる画像データを画像処理部14へ入力する手段であるCCDカメラ部13とを備える。即ち、本実施の形態においては、デジカメ1で撮像した画像を該デジカメ1内部で階調補正して出力する。
【0033】
図中10はCPU(Central Processing Unit )であり、CPU10はデジカメ1の制御中枢である。CPU10は、バスを介して、撮像中の画像、撮像して記憶した画像、装置の動作状態、又はユーザに対する入力指示等を表示する表示部17、並びに表示部17を見ながらユーザがデジカメ1を操作するための各種ファンクションキー及びシャッターボタン等を備える操作部18等の装置各部に接続されている。
CPU10は、ROM11に格納されたコンピュータプログラムに従って装置各部を制御し、このとき発生するデータ又は外部から入力されるデータ等をRAM12に一時記憶して、各種処理を実行する。
【0034】
CCDカメラ部13は、光学レンズ、カラーフィルタ、及び固体撮像素子であるCCD(Charge Coupled Device )等を用いて構成された画像入力手段であり、CCDカメラ部13は、映像を撮像し、CCDにて、被写体からの反射光像に基づく光学信号を電気的信号に変換してなるRGB(R:Red (赤)・G:Green (緑)・B:Blue(青))のアナログ信号(入力画像データ)を画像処理部14へ入力する。
【0035】
画像処理部14は、アナログ/デジタル(Analog/Digital )変換部(以下、A/D変換部という)141、入力補正部142、第1色変換部143、階調補正部5、第2色変換部144、及び圧縮処理部145等を備え、CCDカメラ部13から入力されたRGBのアナログ信号が、A/D変換部141へ入力されるよう構成してある。
A/D変換部141は、入力されたRGBのアナログ信号をRGBのデジタル信号(以下、RGB信号という)に変換して入力補正部142へ入力し、入力補正部142は、入力されたRGB信号に対し、CCDカメラ部13の結像系/撮像系で生じる各種の歪みを取り除く処理、及び光源の色温度に基づくホワイトバランスの調整等の入力補正を行ない、入力補正されたRGB信号を第1色変換部143へ入力する。
【0036】
第1色変換部143は、入力されたRGB信号を、式(1)を用いて輝度信号と色度信号とに分離する。
=0.30R +0.59G +0.11B …(1)
この場合、Y は各画素の輝度信号であり、R ,G ,B は各画素の色度信号であり、また、j(j=1,2,…,J。J:全画素数)は各画素を示す。
分離された色度信号は第2色変換部144へ入力され、分離された輝度信号は、階調補正部5へ入力され、階調補正部5にて輝度階調の補正がなされてから第2色変換部144へ入力される。即ち、本実施の形態においては、入力画像データの第1特徴量として、輝度を用いる。
第2色変換部144は、入力された輝度信号と色度信号とをRGB信号に変換し、変換したRGB信号を圧縮処理部145へ入力する。
【0037】
なお、第1色変換部143を設けることなく、第1色変換部143で行なうべき処理(色度信号と輝度信号との分離)を階調補正部5にて行なうよう構成しても良い。
また、色度信号と輝度信号との分離に限らず、例えば、CIEL 信号(CIE:Commission International de l’Eclairage :国際照明委員会。L :明度。a ,b :色度)の均等色空間に変換することによって色度信号と明度信号との分離を行なっても良い。この場合、色度信号が第2色変換部144へ入力され、明度信号が階調補正部5へ入力され、階調補正部5では、明度階調の補正がなされる。
【0038】
圧縮処理部145は、画像処理部14から出力すべき出力画像データのデータサイズを、JPEG(Joint Picture Experts Group )方式を用いて圧縮する。これによって、出力画像データが画像処理部14から出力され記憶部15に記憶された場合に出力画像データが占める記憶部15の記憶容量が節約されたり、インターフェイス16から外部へ出力画像データを転送する際の転送時間が短縮されたりする。JPEG方式を用いる場合、RGB信号はYCrCb(Y:輝度。Cb,Cr:色差)信号に変換される。
圧縮処理部145は、入力されたRGB信号を圧縮してなるYCrCb信号を出力画像データとして画像処理部14の外部へ出力し、出力された出力画像データは、記憶部15に入力される。
【0039】
記憶部15は、メモリカードのような記憶媒体を用いて構成されており、入力された出力画像データを記憶する。
インターフェイス16は、外部の装置(パソコン又はプリンタ等)に接続され、CPU10は、記憶部15に記憶されている出力画像データを読み出して、読み出した出力画像データを、インターフェイス16を介して外部へ転送する。また、表示部17は、液晶ディスプレイを用いてなり、CPU10は、記憶部15に記憶されている出力画像データを読み出して、表示部17に、読み出した出力画像データに対応する画像を表示させる。
【0040】
図2は、デジカメ1が備える画像処理装置としての画像処理部14が有する階調補正部5の構成を示すブロック図である。また、図3は、階調補正部5の階調補正処理の手順を示すフローチャートである。
階調補正部5では、入力画像データの第2特徴量として、輝度信号のエッジ強度を用いる。
階調補正部5は、特徴量抽出手段として、輝度信号のエッジ強度を抽出するエッジ強度抽出部51を備え、また、エッジ強度抽出部51で抽出したエッジ強度を用いて、エッジ強度のヒストグラム(以下、エッジヒストグラムという)に対応するデータを生成するエッジヒストグラム生成部52を備える。
【0041】
また、階調補正部5は、抽出したエッジ強度に基づく重み係数を算出する手段として、エッジヒストグラム生成部52で生成したデータを用い、入力画像データの画素(この場合、輝度信号の画素)毎に、エッジ強度に基づく重み係数を算出する係数算出部53を備える。また、階調補正部5は、係数算出部53で求めた重み係数を用いて、重み係数と輝度信号との積のヒストグラム(以下、重みヒストグラムという)に対応するデータを生成する重みヒストグラム生成部54を備える。更に、階調補正部5は、重みヒストグラム生成部54で生成したデータに基づいて階調補正特性のデータを算出する階調補正特性算出部55と、階調補正特性算出部55で算出したデータを用いて、輝度信号を階調補正して、出力画像データを構成すべき輝度信号を生成する補正処理部56とを備える。補正処理部56で生成された輝度信号は、第2色変換部144へ入力される。
【0042】
CPU10は、輝度信号L (x,y)を用い、エッジ強度抽出部51にてエッジ強度D(x,y)を抽出する(S10)。
図4は、階調補正部5で用いられるエッジ検出フィルタの一例を示す模式図である。
エッジ強度抽出部51におけるエッジ強度の抽出には、近傍画素間でのエッジの勾配が所定の範囲にある画像領域(本実施の形態においては、エッジの勾配が緩やかな画像領域)のエッジ強度を強調して抽出するエッジ検出フィルタを用いる。該エッジ検出フィルタは、例えば、図4(a)(又は図4(b))に示すようなエッジ検出フィルタである。該エッジ検出フィルタは、エッジの勾配が緩やかな画像領域と平坦領域とを分離し易くするために平滑化の要素を加えたエッジ検出フィルタである。
【0043】
なお、このようなエッジ検出フィルタとして、式(2)を用いてなるラプラシアンガウシアンフィルタ、又はラプラシアンガウシアンフィルタを近似したフィルタ(例えば、二つのガウス関数の差により近似するDOG(Difference of two Gaussians )フィルタ)等を用いても良い。
【0044】
【数1】

Figure 2004312387
【0045】
ここで、G(x,y)はガウス分布、σはガウス分布の分散であり、(x,y)は画素の座標を表す。ラプラシアンガウシアンフィルタは、式(2)を用いて各フィルタ係数を求めてなる。
なお、エッジ強度抽出部51におけるエッジ強度の抽出には、ゾーベル(Sobel )フィルタのような1次差分フィルタを用いても良く、ラプラシアン(Laplacian )フィルタのような2次差分フィルタを用いても良い。
【0046】
図5は、エッジヒストグラム生成部52が生成するデータを用いてなるエッジヒストグラム(度数多角形)と、係数算出部53において重み係数を求めるための関数とを示す特性図である。また、図6は、重みヒストグラム生成部54が生成するデータを用いてなる重みヒストグラムと、階調補正特性算出部55が生成するデータを用いてなる累積ヒストグラム(累積度数多角形)とを示す特性図である。
【0047】
図4(a)又は図4(b)に示すようなエッジ検出フィルタが有する各フィルタ係数を用いてエッジ強度D(x,y)を抽出した後、CPU10は、抽出されたエッジ強度D(x,y)を用い、エッジヒストグラム生成部52にて、エッジヒストグラムのデータHe(n)を生成する(S11)。該データHe(n)を用いてエッジヒストグラムを生成した場合、図5の実線(細線)に示すようなエッジヒストグラム(度数多角形)となる。ここで、nはn=1,2,3〜Dmax (Dmax :エッジ検出フィルタを用いて求めた計算上のエッジ強度の最大値)の整数であり、エッジヒストグラムの区分を特定するインデクスである。
【0048】
次いで、CPU10は、生成されたエッジヒストグラムのデータHe(n)と輝度信号L (x,y)とを用い、後述するS12,S13にて、係数算出部53にて各画素に対応する重み係数W(x,y)を算出する。
係数算出部53では、まず、CPU10は、エッジ強度の基準値Bpを算出する(S12)。このとき、Bpは式(3)を用いて求められる。
【0049】
【数2】
Figure 2004312387
【0050】
ただし、Emax は輝度信号L (x,y)におけるエッジ強度の最大値である。また、VはエッジヒストグラムのデータHe(n)の分散値であり、式(4)を用いて求められる。
【0051】
【数3】
Figure 2004312387
【0052】
ただし、Mは式(5)を用いて求められる。
【0053】
【数4】
Figure 2004312387
【0054】
そして、係数算出部53では、CPU10は、求められた基準値Bpを用いて、図5の太線に示すような、エッジ強度が0からBpの区間においてエッジ強度0のときに0、Bpのときに1となるような単調増加関数(この場合、線形関数)、及び、エッジ強度がBpからDmax の区間において1となるような関数を用いて、各画素の重み係数W(x,y)を算出する(S13)。
即ち、本実施の形態においては、基準値Bpとエッジ強度との大小に応じて重み係数W(x,y)を求め、また、基準値Bpより小さいエッジ強度に基づく重み係数W(x,y)を求める場合は単調増加関数を用いている。
【0055】
次いで、CPU10は、重みヒストグラム生成部54にて、係数算出部53で求めた重み係数W(x,y)と輝度信号L (x,y)との積を算出することによって、算出結果である重みヒストグラムのデータHlw(m)を生成する(S14)。該データHlw(m)を用いて重みヒストグラムを生成した場合、図6に示すような重みヒストグラムとなる。ここで、mはm=1,2,3〜Lmax (Lmax :輝度信号の最大値)の整数であり、重みヒストグラムの区分を特定するインデクスである。
【0056】
次に、CPU10は、階調補正特性算出部55にて、重みヒストグラム生成部54で生成した重みヒストグラムのデータHlw(m)を低輝度側から順次累積加算して重みヒストグラム累積値を求めることによって、累積ヒストグラムのデータCHlw(m)を算出する(S15)。このとき、公知の技術を用いて、傾きに対する制限とこれによる終端のずれに対する補正を実施する(例えば、特許文献1の第5−6頁、第2図)。また、前記データCHlw(m)を用いて累積ヒストグラムを生成した場合、図6の実線に示すような累積ヒストグラム(度数多角形)となる。
【0057】
次に、CPU10は、生成した累積ヒストグラムのデータCHlw(m)を用い、階調補正特性算出部55にて階調補正特性のデータを算出する(S16)。図6においては、白丸を重みヒストグラム累積値の頻度とするヒストグラム(度数多角形)が累積ヒストグラムであり、前記頻度を線形又は非線形の関数で補間することによって階調補正特性のデータが求められる。
【0058】
更に、CPU10は、求めた階調補正特性を、階調補正特性算出部55にて正規化する(S17)。この場合、階調補正特性は、デジカメ1で用いる階調(例えば256階調)に応じて正規化され、階調補正を実行するための階調補正特性のデータCC(L)となる。
最後に、CPU10は、補正処理部56にて、階調補正特性算出部55で求めた階調補正特性のデータCC(L)を用い、輝度信号L (x,y)に対する階調補正を実行して(S18)、出力画像データを構成すべき輝度信号L (x,y)を生成し、階調補正処理を終了する。
【0059】
以上のようなデジカメ1は、重みヒストグラムのデータとして、エッジ強度の情報を重み係数として付加してなる輝度ヒストグラムのデータを生成することによって、多くの階調数を必要としない平坦部の影響を抑制した輝度ヒストグラムのデータを生成し、該データを用いてなる階調補正特性のデータを求めることによって、求めた階調補正特性のデータを用いて、輝度信号に対する適切な階調補正を行なっている。
【0060】
図7は、デジカメ1が備える階調補正部5へ入力される輝度信号L (x,y)を用いてなるヒストグラム(度数多角形)である。また、図8は、階調補正部5で求められる階調補正特性及び従来の階調補正特性を示す特性図である。
逆光で撮像した画像のような、極端に明るい画像領域と極端に暗い画像領域とが存在する入力画像の入力画像信号から生成される輝度信号L (x,y)を用いる場合、図7(a)に示すような輝度ヒストグラム(度数多角形)が得られる。該輝度ヒストグラムから、特に低輝度の頻度が高く、中輝度の頻度が低いことがわかる。
【0061】
このような画像では、平坦領域が低輝度に集中していると考えられる。このため、従来の手法で階調補正特性を求めた場合、図8の破線に示すような、低輝度に多数の階調数を割り当てるような階調補正特性が得られる。このような階調補正特性を用いて入力画像を階調補正した場合、全体的に入力画像より輝度が低く(暗く)、また、階調の分布に偏りがあって階調性が悪い出力画像が得られる。
なお、図8中には、参考として、入出力不変の(入力輝度=出力輝度である)階調補正特性を一点鎖線で示している。
【0062】
一方、図7(b)は、重み係数と輝度信号L (x,y)とを用いてなる重みヒストグラムであり、該重みヒストグラムから、相対的に中輝度が強調されていることがわかる。
このような重みヒストグラムでは、該重みヒストグラムに対する平坦領域の影響が抑制されていると考えられる。このため、前記重みヒストグラムに基づく階調補正特性は、図8の実線に示すように、低輝度部に対する多数の階調数の割り当てが緩和されており、全体的にバランスが良い。このような階調補正特性を用いて入力画像を階調補正した場合、全体的に入力画像より輝度が高く(明るく)、また、高い輝度を有する画像領域と低い輝度を有する画像領域とのコントラストが向上され、階調の分布に偏りがなく階調性が良い出力画像が得られる。
【0063】
なお、特許文献1に開示されている従来技術では、有効なエッジ強度を抽出して輝度ヒストグラムを生成した後、ガウシアン状に変換して階調補正曲線を求めているため、最終的な結果を比較できない。このため、前記従来技術に従ってエッジ強度を抽出した後、輝度ヒストグラムを求めて図7(a)となし、更に、求めた輝度ヒストグラムに基づく階調補正曲線を用いて階調補正処理を行なっている。
【0064】
実施の形態 2.
本実施の形態においては、画像形成装置としてカラープリンタ(以下、プリンタという)を例示し、実施の形態3においてはデジタルカラーコピー装置(以下、複写機という)を例示するが、これらに限らず、例えばファクシミリ装置又は複合機等であっても良い。
【0065】
図9は、本発明の実施の形態2に係る画像形成装置としてのプリンタ2の構成を示すブロック図である。
一般に、デジカメ又はスキャナ等の画像生成装置6で撮像又は読取等を行なって生成した画像データを、パソコンのような画像処理装置を介さずに、プリンタから直接的に出力する場合、プリンタ2のファームウェアを用いて輝度階調の補正を実行する。本実施の形態においては、プリンタ2が、本実施の形態の画像処理装置である画像処理部24と、プリンタ2の外部から画像処理部24へ入力画像データを入力するためのインターフェイス23と、画像処理部24から出力された出力画像データを用いて画像を形成する記録部26とを備える。
【0066】
図中20はCPUであり、CPU20はプリンタ2の制御中枢である。CPU20は、バスを介して、表示部27及び操作部28等の装置各部に接続されている。
CPU20は、ROM21に格納されたコンピュータプログラムに従って装置各部を制御し、このとき発生するデータ又は外部から入力されるデータ等をRAM22に一時記憶して、各種処理を実行する。
【0067】
表示部27は、装置の動作状態又はユーザに対する入力指示等を表示する。また、操作部28は、表示部27を見ながらユーザがプリンタ2を操作するためのモード選択ボタン、設定ボタン、及びテンキー等の各種ファンクションキーを備える。このような表示部27及び操作部28は、ユーザの指示を受け付けたり、ユーザに対し、設定されている出力モードを示したりする機能を有している。
ユーザは、表示部27及び操作部28を用いてモードを選択することで各種処理をオン/オフしたり、任意にパラメータを設定したりする。
【0068】
インターフェイス23は、プリンタ2と画像生成装置6とを通信ケーブルで接続するためのものであり、画像生成装置にて生成された入力画像データは、インターフェイス23を介してプリンタ2へ入力される。前記入力画像データは、例えばデジカメで生成されたYCbCrの圧縮画像データ(符号化データ)である。
画像処理部24は、復号処理部241、階調補正部5、色変換部242、色補正部243、黒生成下色除去部244、空間フィルタ処理部245、出力階調補正部246、及び階調再現処理部247等を備え、プリンタ2へ入力された符号化データが、復号処理部241に入力されるよう構成してある。
【0069】
復号処理部241は、入力された符号化データを復号し、復号されたデータに逆量子化及び逆直交変換を行なって、RGB信号に変換し、更に、変換したRGB信号を色度信号と輝度信号とに分離して、色度信号を色変換部242へ入力し、輝度信号を階調補正部へ入力する。
階調補正部5は、実施の形態1と同様にして、入力された輝度信号を階調補正してなる輝度信号を色変換部242へ入力する。
色変換部242は、入力された色度信号及び輝度信号を用いて、RGB信号又はRGB信号を補色反転したCMY(C:Cyan,M:Magenta ,Y:Yellow)信号に変換する。以下では、CMY信号に変換した場合を例示する。
【0070】
色変換部242は、変換したCMY信号を色補正部243へ入力し、色補正部243は、入力されたCMY信号に対して色補正処理を行なう。色補正部243で行なわれる色補正処理は、色再現の忠実化を目的として不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理である。
なお、本実施の形態においては、色変換部242と色補正部243とを別体として構成しているが、一体として構成しても良い。
【0071】
色補正部243にて色補正処理が行なわれたCMY信号は、黒生成下色除去部244へ入力される。
黒生成下色除去部244は黒生成部と下色除去部より構成されており、黒生成部は、入力されたCMY信号に基づいて黒(K)信号の生成処理を行ない、下色除去部は、生成された黒信号から算出される下色の量をCMY信号から減算することによって、CMY信号をCMYK4色の信号(CMYK信号)に変換して空間フィルタ処理部245へ入力する。
空間フィルタ処理部245は、入力されたCMYK信号を、デジタルフィルタを用いて空間フィルタ処理し、更に空間周波数特性を補正して、出力階調補正部246へ入力する。空間フィルタ処理部245での空間フィルタ処理及び空間周波数特性の補正によって、出力画像のぼやけ又は粒状性劣化等が防止される。
【0072】
出力階調補正部246は、入力されたCMYK信号に対して、濃度信号等の信号を画像出力手段である記録部26の特性値である網点面積率に変換する出力階調補正処理を行ない、階調再現処理部247は、出力階調補正処理が行なわれたCMYK信号に対し、画像を画素に分離して夫々の階調を再現できるようにする階調再現処理を行なう。階調再現処理が行なわれたCMYK信号は、出力画像データとして画像処理部24から出力される。
記憶部25は、DRAMのような記憶手段を用いて構成されており、画像処理部24から出力されたCMYK信号(出力画像データ)を記憶する。
【0073】
記録部26は、用紙又は記録シート等の記録媒体上に画像を出力する画像出力手段であり、インクジェット方式又は熱転写方式等を用いたカラー画像出力手段で構成されている。CPU20は、所定のタイミングで記憶部25から画像データを読み出し、記録部26にて、読み出した画像データを用いてなる画像を用紙に形成し、画像が形成された用紙を排出する。
その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
以上のようなプリンタ2は、実施の形態1のデジカメ1と同様にして入力画像データに対して適切な階調補正を行ない出力画像データを生成し、また、生成した出力画像データを用いて画像を形成している。
【0074】
実施の形態 3.
図10は、本発明の実施の形態3に係る画像形成装置としての複写機3の構成を示すブロック図である。
本実施の形態においては、複写機3が、本実施の形態の画像処理装置である画像処理部34と、画像処理部34へ入力画像データを入力する読取部33と、画像処理部34から出力された出力画像データを用いて画像を形成する記録部36とを備える。
【0075】
図中30はCPUであり、CPU30は複写機3の制御中枢である。CPU30は、バスを介して、装置の動作状態又はユーザに対する入力指示等を表示する表示部37、及び表示部37を見ながらユーザが複写機3を操作するための各種ファンクションキーを備える操作部38等の装置各部に接続されている。
CPU30は、ROM31に格納されたコンピュータプログラムに従って装置各部を制御し、このとき発生するデータ又は外部から入力されるデータ等をRAM32に一時記憶して、各種処理を実行する。
【0076】
読取部33は、例えば光源及びCCD等を用いてなる光学読取方式のスキャナ装置で構成された画像入力手段であり、読取部33は、装置にセットされた原稿を読み取って、原稿からの反射光像に基づく光学信号を電気的信号に変換してなるRGBのアナログ信号を画像処理部34へ入力する。
画像処理部34は、入力されたRGBのアナログ信号が、A/D変換部341に入力されるよう構成してあり、A/D変換部341は、入力されたRGBのアナログ信号をRGBのデジタル信号(即ちRGB信号)に変換してシェーディング補正部342へ入力し、シェーディング補正部342は、入力されたRGB信号を、読取部33の照明系、結像系、及び撮像系で生じる各種の歪みを除去してから入力階調補正部343へ入力する。
【0077】
入力階調補正部343は、入力されたRGB信号を、カラーバランスを整え、また、濃度信号等、画像処理部34が備える各部が扱い易い信号に変換してから領域分離処理部344へ入力し、領域分離処理部344は、入力されたRGB信号を、そのまま第1色変換部345へ入力し、また、前記RGB信号を用いて、入力画像中の各画素を文字領域、網点領域、及び写真領域の何れかに分離する。この分離結果に基づいて、領域分離処理部344は、各画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部348、空間フィルタ処理部349、及び階調再現処理部392へ入力する。
第1色変換部345は、入力されたRGB信号をCIEL 信号の均等色空間に変換することによって色度信号と輝度信号とに分離し、色度信号を第2色変換部346へ入力し、輝度信号を階調補正部5へ入力する。
【0078】
階調補正部5は、入力された輝度信号を階調補正してから第2色変換部346へ入力する。
第2色変換部346は、入力された輝度信号と色度信号とを、RGB信号を補色反転したCMY信号に変換し、変換したCMY信号を色補正部347へ入力する。色補正部347は、色再現の忠実化を図るために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く色補正処理をCMY信号に対して行ない、色補正処理したCMY信号を黒生成下色除去部348へ入力する。
なお、本実施の形態においては、第2色変換部346と色補正部347とを別体として構成しているが、一体として構成しても良い。
【0079】
黒生成下色除去部348は、入力されたCMY3色の信号及び領域識別信号に基づいて黒(K)信号の生成(黒生成)を行ない、次いで、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成し、更に、生成したCMY信号及びK信号(即ちCMYK信号)を空間フィルタ処理部349へ入力する。
【0080】
空間フィルタ処理部349は、入力されたCMYK信号に対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行ない、空間周波数特性を補正することによって、出力画像のぼやけ又は粒状性劣化を軽減している。この場合、空間フィルタ処理部349においては、領域分離処理部344にて文字に分離された領域に対し、文字の再現性を高めるために、高周波成分の強調量が大きいフィルタが用いられる。また、領域分離処理部344にて網点に分離された領域に関しては、空間フィルタ処理部349において、入力網点成分を除去するためのローパス・フィルタが用いられる。
【0081】
出力階調補正部391は、空間フィルタ処理部349から入力されたCMYK信号に対して、濃度信号等の信号を画像出力手段である記録部36の特性値である網点面積率に変換する出力階調補正処理を行ない、階調再現処理部392は、空間フィルタ処理部349と同様に、CMYK信号に対して、領域識別信号に基づいて後述する所定の処理を施す。
階調再現処理部392においては、例えば、領域分離処理部にて文字に分離された領域は、高域周波成分の再現に適した高解像度のスクリーンによる二値化又は多値化処理が行なわれる。また、領域分離処理部にて網点に分離された領域及び写真に分離された領域に関しては、階調再現処理部392で、階調再現性を重視したスクリーンでの二値化又は多値化処理が行なわれる。
【0082】
以上のようにして、階調再現処理部392は、出力階調補正処理が行なわれたCMYK信号に対し、画像を画素に分離して夫々の階調を再現できるようにする階調再現処理を行なう。階調再現処理が行なわれたCMYK信号は、出力画像データとして画像処理部34から出力される。
記憶部35は、DRAMのような記憶手段を用いて構成されており、画像処理部34から出力されたCMYK信号(出力画像データ)を記憶する。
【0083】
記録部36は、用紙又は記録シート等の記録媒体上に画像を出力する画像出力手段であり、インクジェット方式又は熱転写方式等を用いたカラー画像出力手段で構成されている。CPU30は、所定のタイミングで記憶部35から画像データを読み出し、記録部36にて、読み出した画像データを用いてなる画像を用紙に形成し、画像が形成された用紙を排出する。
その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
【0084】
以上のような複写機3は、実施の形態1のデジカメ1と同様にして入力画像データに対して適切な階調補正を行ない出力画像データを生成し、また、生成した出力画像データを用いて画像を形成している。
なお、本実施の形態1〜3の画像形成装置又は撮像装置以外に、画像読取装置であるスキャナが本発明の画像処理装置を備える実施の形態であっても良い。
また、画像処理装置と、該画像処理装置へ入力画像データを入力する手段及び/又は前記画像処理装置から出力された出力画像データを用いて画像を形成する手段等とが、一体に設けられていても良く、別体に設けられていても良い。
【0085】
実施の形態 4.
本実施の形態においては、画像処理装置としてパソコンを例示するが、これに限らず、例えば画像処理を行なうよう構成されたサーバであっても良い。
本実施の形態のパソコンは、画像入力手段(例えばスキャナ)で取り込んだ入力画像データに対して、入力画像データの画像領域全体又は選択した画像領域の色を調整する等の色調補正処理、及びエッジを検出するフィルタ処理等と、輝度階調補正処理とを、アプリケーションソフトウェアとしてコンピュータ上で実行し、各種処理が施された出力画像データを用いてなる画像を画像表示手段(例えばディスプレイ)に表示したり、画像出力手段(例えばプリンタ)で出力したりする。
【0086】
図11は、本発明の実施の形態4に係る画像処理装置としてのパソコン4の構成を示すブロック図である。
図中40は、パソコン4の制御中枢であるCPUであり、CPU40は、CRT又は液晶ディスプレイ等を用いてなる表示部45、及び、キーボード及びマウス等を用いてなる操作部46等の装置各部に、バスを介して接続されている。CPU40は、ハードディスクを用いてなる補助記憶部48又はROM41に記憶されたコンピュータプログラムに従って、装置各部を制御し、このとき発生するデータをRAM42に一時記憶して、各種処理を実行する。
【0087】
外部記憶部47は、例えばCD−ROMドライブであり、CPU40に制御されて、CD−ROMのような可搬性を有する記録媒体(例えば本実施の形態のコンピュータプログラム、及び該コンピュータプログラムを実行する際に用いるデータ等が記録されている記録媒体7)から情報を読み込んで、補助記憶部48に記憶させる。
【0088】
インターフェイス43は、パソコン4と外部の装置とを、例えば通信ケーブルで接続するインターフェイスである。パソコン4は、インターフェイス43を介して、例えばデジカメ又はスキャナ等から入力画像データを受信し、プリンタへ画像データを送信する。
ネットワークI/F44は、パソコン4と外部の通信網とを、例えば通信ケーブルで接続するインターフェイスである。パソコン4は、ネットワークI/F44を介してLAN又はインターネット等に接続され、LAN又はインターネット等に接続されているスキャナ又はプリンタ等と入力画像データ又は出力画像データの送受信を行なう。
【0089】
図12は、パソコン4の階調補正処理の手順を示すフローチャートである。
CPU40は、まず、入力画像データであるRGBのデジタルデータ(以下、RGBデータという)を取得する(S30)。この場合、CPU40は、予めインストールされている画像処理ソフトでRGBデータを生成したり、インターフェイス43又はネットワークI/F44を介してRGBデータを受信したりする。又は、CPU40は、インターフェイス43又はネットワークI/F44を介してYCbCrの圧縮画像データ(符号化データ)を受信し、受信した符号化データを復号し、復号データに逆量子化及び逆直交変換を行なって、RGBデータに変換する。
【0090】
次いで、CPU40は、取得したRGBデータをRAM42に記憶され、次いで、記憶させたRGBデータを色度データと輝度データとに分離する(S31)。この場合、CPU40は、式(1)を用いて、RGBデータを輝度データと色度データとに分離したり、RGBデータをCIEL データの均等色空間に変換することによって色度データと輝度データとに分離したりする。
分離された色度データはRAM42に記憶させ、分離された輝度データは入力画像データとして用いられ、以下のようにして輝度階調の補正がなされる。
CPU40は、輝度データの特徴量としてエッジ強度を用い、S31で分離された輝度データL (x,y)を用いて該輝度データL (x,y)のエッジ強度D(x,y)を抽出する(S32)。
【0091】
エッジ強度の抽出には、エッジの勾配が緩やかな画像領域のエッジを強調して抽出するエッジ検出フィルタを用いる。該フィルタは、例えば、図4(a)(又は図4(b))に示すようなエッジ検出フィルタである。
エッジ検出フィルタが有する各フィルタ係数を用いてエッジ強度D(x,y)を抽出した後、CPU40は、抽出されたエッジ強度D(x,y)を用い、図5の細線に示すようなエッジヒストグラムのデータHe(n)を生成する(S33)。
【0092】
次いで、CPU40は、S34,S35にて、生成されたエッジヒストグラムのデータHe(n)と輝度データL (x,y)とを用い、各画素に対応する重み係数W(x,y)を算出する。
この場合、CPU40は、特徴量の基準値Bpを式(3)を用いて算出し(S34)、算出された基準値Bpを用い、図5の太線に示すような関数を用い、各画素の重み係数W(x,y)を算出する(S35)。
【0093】
次いで、CPU40は、求めた重み係数W(x,y)と入力画像データである輝度データL (x,y)とを乗じて、図6に示すような重みヒストグラムのデータHlw(m)を生成する(S36)。
次に、CPU40は、生成した重みヒストグラムのデータHlw(m)の値を低輝度側から順次累積加算して重みヒストグラム累積値を求めることによって、図6の実線に示すような累積ヒストグラムのデータCHlw(m)を生成する(S37)。このとき、公知の技術を用いて、傾きに対する制限とこれによる終端のずれに対する補正を実施する(例えば、特許文献1の第5−6頁、第2図)。
次に、CPU40は、生成した累積ヒストグラムのデータCHlw(m)を用い、階調補正特性のデータを算出する(S38)。図6においては、白丸を頻度とするヒストグラムが累積ヒストグラムであり、前記頻度を線形又は非線形の関数で補間することによって階調補正特性のデータが求められる。
【0094】
更に、CPU40は、求めた階調補正特性のデータを正規化する(S39)。この場合、階調補正特性のデータは、パソコン4で用いる階調(例えば256階調)に応じて正規化され、階調補正を実行するための階調補正特性のデータCC(L)となる。
最後に、CPU40は、求めた階調補正特性のデータCC(L)を用い、輝度データL (x,y)に対する階調補正を実行して、輝度データL (x,y)を生成し(S40)、生成した輝度データL (x,y)とRAM42に記憶させてあった色度データとを用いて、出力画像データであるRGBデータを生成して(S41)、階調補正処理を終了する。
【0095】
以上のようなパソコン4は、重みヒストグラムのデータとして、エッジ強度の情報を重み係数として付加してなる輝度ヒストグラムのデータを生成することによって、多くの階調数を必要としない平坦部の影響を抑制した輝度ヒストグラムのデータを生成し、該データを用いてなる階調補正特性のデータを求めることによって、求めた階調補正特性のデータを用いて、輝度データに対する適切な階調補正を行なっている。
【0096】
なお、本発明のコンピュータプログラムは、コンピュータに実行させるためのコンピュータプログラムを記録したコンピュータで読み取り可能な記録媒体に、本発明の画像処理方法を記録するものとすることもできる。この場合、画像処理方法を実現するコンピュータプログラムを記録した記録媒体をコンピュータと分離して提供することができる。
【0097】
このような記録媒体としては、コンピュータ内部で処理が行なわれるために、内部記憶手段、例えばROMがプログラムメディアであっても良いし、また、外部記憶手段としてプログラム読み取り装置が設けられ、該プログラム読み取り装置に記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。何れの場合においても、格納されているコンピュータプログラムはプロセッサがアクセスして実行させる構成であっても良く、コンピュータプログラムを読み出し、読み出されたコンピュータプログラムを、コンピュータシステムのプログラム記憶領域にロードして、ロードしたコンピュータプログラムが実行される方式であってもよい。
【0098】
前記プログラムメディアは、コンピュータシステム本体と分離可能に構成される記録媒体であり、磁気テープ、フレキシブルディスク、若しくはハードディスク等の磁気記録媒体、MO等の光磁気記録媒体、CD−ROM/CD−R/MD/DVD等の光学記録媒体、又はマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory )、若しくはフラッシュROM等の半導体メモリを含む不揮発性の記録媒体であっても良い。
【0099】
また、通信ネットワークからコンピュータプログラムをダウンロードするように流動的にコンピュータプログラムを担持する媒体であっても良い。この場合、ダウンロードを実行するコンピュータプログラムは予め本体装置に格納しておいても良いし、別な記録媒体からインストールされるものであっても良い。該記録媒体は、コンピュータシステムに備えられる読み取り装置を介してコンピュータプログラムをシステム内に取り込み、該コンピュータプログラムを実行することで本発明の画像処理方法を実行する。
【0100】
【発明の効果】
本発明の画像処理方法、画像処理装置、該画像処理装置を備える画像形成装置及び撮像装置、並びにコンピュータを前記画像処理装置として機能させるためのコンピュータプログラムによれば、入力画像データの第2特徴量に基づく重み係数を算出し、算出した重み係数及び入力画像データの第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正することができる。このことにより、本発明の画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラムは、多くの階調数を必要とする画像領域に少ない階調数を割り当てたり、多くの階調を必要としない画像領域(例えば平坦領域)に多くの階調数を割り当てたりすることを防止できるため、画像の品質を向上することができる。
【0101】
また、画像処理装置は、入力画像データの第2特徴量の大小に応じて求められる重み係数と、第1特徴量とに基づく階調補正特性を用いることにより、入力画像データを適切に階調補正してなる出力画像データを生成することができるため、画像の品質を更に向上することができる。
また、画像処理装置は、第2特徴量が小さい画素に対しては、単調増加関数を用いて重み係数を求めることにより、画質の改善に寄与する画像領域に属する画素の第1特徴量の影響が大きい階調補正特性を用いて階調補正することができるため、画像の品質を更に向上することができる。
【0102】
更に、エッジの勾配が緩やかな画像領域、即ち画質の改善に寄与する画像領域に属する画素の第2特徴量を強調して抽出し、抽出された第2特徴量に基づく重み係数を算出し、算出された重み係数及び第1特徴量に基づく階調補正特性を用いることにより、画質の改善に寄与する画像領域、この場合、エッジの勾配が緩やかな画像領域に多くの階調数を割り当てることができるため、画像の品質を更に向上することができる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る撮像装置としてのデジカメの構成を示すブロック図である。
【図2】本発明の実施の形態1に係るデジカメが備える画像処理装置としての画像処理部が有する階調補正部の構成を示すブロック図である。
【図3】本発明の実施の形態1に係るデジカメが備える階調補正部の階調補正処理の手順を示すフローチャートである。
【図4】本発明の実施の形態1に係るデジカメが備える階調補正部で用いられるエッジ検出フィルタの一例を示す模式図であり、(a)は一のエッジ検出フィルタ、(b)は他のエッジ検出フィルタである。
【図5】本発明の実施の形態1に係るデジカメが備える階調補正部で求められるエッジヒストグラムと重み係数を求めるための関数とを示す特性図である。
【図6】本発明の実施の形態1に係るデジカメが備える階調補正部で求められる重みヒストグラムと累積ヒストグラムとを示す特性図である。
【図7】本発明の実施の形態1に係るデジカメが備える階調補正部へ入力される輝度信号を用いてなるヒストグラムであり、(a)は輝度ヒストグラム、(b)は重みヒストグラムである。
【図8】本発明の実施の形態1に係るデジカメが備える階調補正部で求められる階調補正特性を示す特性図である。
【図9】本発明の実施の形態2に係る画像形成装置としてのプリンタの構成を示すブロック図である。
【図10】本発明の実施の形態3に係る画像形成装置としての複写機の構成を示すブロック図である。
【図11】本発明の実施の形態4に係る画像処理装置としてのパソコンの構成を示すブロック図である。
【図12】本発明の実施の形態4に係るパソコンの階調補正処理の手順を示すフローチャートである。
【図13】階調補正特性の一例を示す特性図である。
【符号の説明】
1 デジカメ
2 プリンタ
3 複写機
4 パソコン
10,20,30,40 CPU
13 CCDカメラ部
23 インターフェイス
33 読取部
14,24,34 画像処理部
26,36 記録部
41 ROM
42 RAM
5 階調補正部
51 エッジ強度抽出部
52 エッジヒストグラム生成部
53 係数算出部
54 重みヒストグラム生成部
55 階調補正特性算出部
56 補正処理部
7 記録媒体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method for executing gradation correction of image data, an image processing device, an image forming device, an imaging device, and a computer program.
[0002]
[Prior art]
Conventionally, for example, when an image is captured by an image capturing apparatus such as a digital still camera (hereinafter, referred to as a digital camera), an image having an inappropriate exposure state at the time of image capturing, such as when capturing an image under backlight, is used to generate a gray scale image. The distribution is biased, resulting in an image with poor gradation. For such an image, in general, the gradation is improved by correcting the luminance gradation, and the image quality is improved.
Further, since the distribution of the luminance gradation is different for each image, it is necessary to appropriately correct the luminance of the image data according to the characteristics of the captured image, that is, the characteristics of the image data corresponding to the captured image. That is, it is necessary to obtain an appropriate gradation correction characteristic based on the information on the feature amount of the image data.
[0003]
Hereinafter, image data before gradation correction (that is, image data to be processed) is referred to as image data input to the image processing apparatus, that is, input image data, and image data after gradation correction is referred to as Image data output from the image processing apparatus, that is, output image data. The image before the gradation correction is called an input image, and the image after the gradation correction is called an output image.
The tone correction is generally performed based on a frequency distribution of luminance, which is a feature amount of input image data, that is, a luminance histogram. Since the luminance histogram shows the distribution of the number of pixels having each luminance value, that is, the distribution of the area of each luminance value, when the area of each luminance value is equalized, the number of usable gradations is used most efficiently. can do.
[0004]
However, since the area distribution of the luminance values in the actual input image is biased, when the areas of the respective luminance values are equalized, a pseudo contour may occur in an image region in which the gradation changes gradually. However, there is a problem that image quality is degraded due to collapse of gradation.
Therefore, in general, gradation is corrected using a gradation correction characteristic in which luminance of input image data (hereinafter, referred to as input luminance) is associated with luminance of output image data (hereinafter, referred to as output luminance).
[0005]
FIG. 13 is a characteristic diagram showing the luminance gradation correction characteristic, in which the horizontal axis represents the input luminance and the vertical axis represents the output luminance.
As shown in the figure, the luminance gradation correction characteristic is a monotonically increasing function in which the output luminance increases as the input luminance increases. Further, a plurality of input luminance sections each having the same section width (for example, ΔL i1 , ΔL i2 . ΔL i1 = ΔL i2 ) Indicates that the gradation correction characteristic has a gentle inclination (ΔL i1 ), An output luminance section (ΔL o1 ) And the gradient of the gradation correction characteristic is steep (ΔL i2 ) Indicates an output luminance section (ΔL) having a wider section. o2 . ΔL o2 > ΔL o1 ).
[0006]
Such a gradation correction characteristic is generally obtained based on characteristics of a luminance histogram in order to reflect characteristics of a luminance gradation distribution in an input image. In this case, in the input luminance section corresponding to the image region having a high-frequency luminance value in the luminance histogram, the gradient of the gradation correction characteristic is steep and a large number of gradations are assigned, and the luminance histogram has a low-frequency luminance value. In the input luminance section corresponding to the image area, an appropriate number of gradations is assigned to each image area by assigning a small number of gradations with a gentle inclination.
That is, by obtaining the gradient of the gradation correction characteristic according to the characteristic of the luminance distribution of the input image data, the gradation correction characteristic suitable for the input image can be obtained and the gradation can be corrected appropriately.
[0007]
Conventionally, when a gradation correction characteristic is obtained by using a luminance histogram, a cumulative value of the luminance histogram is obtained as a gradation correction characteristic. At this time, the gradient of the gradation correction characteristic in the input luminance section of the gradation correction characteristic corresponding to the luminance division of the luminance histogram is calculated by calculating the ratio of the frequency of the target division to the total number of elements of the histogram (ie, the total number of pixels of the input image). And
[0008]
For example, in the case of a luminance section having a frequency of 5% of the total number of pixels, the maximum luminance is L max Then, the correction characteristic becomes 0.05 L in the input luminance section corresponding to the luminance section. max Defined as rising. The gradation correction characteristic is such that the input luminance and the output luminance start from the origin (0), and the output luminance is monotonically increasing and continues to a point where the input luminance value and the output luminance value reach the maximum luminance value. For this reason, the value of the starting point of each input luminance section is determined by the slope of the immediately preceding input luminance section. Therefore, by calculating the inclination of each input luminance section in accordance with the ratio of the frequency, the gradation correction characteristic that is linearly approximated is obtained. Further, by interpolating the start point and end point of each input luminance section using a non-linear interpolation function, a smooth gradation correction characteristic is obtained.
[0009]
When the tone correction characteristics are obtained as described above, tone correction based on the area distribution of the brightness of the input image is possible, but pixels having the same brightness value are continuously distributed on the image. Position information such as whether the data is distributed or not is not considered at all. For this reason, there has been a problem that an unnecessarily large number of gradations may be assigned to pixels having low importance in the input image.
In order to solve such a problem, an image processing apparatus that focuses on an edge where important elements of an image are concentrated and generates a luminance histogram using the detected edge and luminance values of pixels in the vicinity thereof has been disclosed. (For example, see Patent Document 1).
[0010]
Such an image processing apparatus executes a luminance gradation correction adapted to a main element in an input image based on a gradation correction characteristic obtained using a generated luminance histogram. In this case, the method of selecting an edge removes the influence of an image area in which pixels having a constant luminance value are continuously distributed (hereinafter, referred to as a flat area), so that good luminance gradation correction can be performed. It becomes. That is, since the gradation difference is originally small in the flat region, improvement in image quality cannot be expected even if a large number of gradations are assigned. Rather, allocating a large number of gradations to the flat area has the adverse effect of reducing the number of gradations in the image area requiring a large number of gradations. Furthermore, since the flat region has a larger area than the edge, the effect on the histogram showing the area distribution is large.
Therefore, the image processing apparatus realizes effective gradation correction by generating a luminance histogram excluding a flat region.
[0011]
[Patent Document 1]
JP 2000-228747 A
[0012]
[Problems to be solved by the invention]
The original purpose of the tone correction is to improve the tone at a portion where the tone difference is small, that is, at a portion where the edge strength is relatively weak, thereby improving the overall image quality. However, in the image processing apparatus as disclosed in Patent Document 1, it is difficult to clearly separate an image region expected to improve the gradation from a flat region only from the characteristic of the edge intensity. In addition, since the image processing apparatus obtains a pixel value used for generating a luminance histogram in a binary manner, the image processing apparatus may generate a luminance histogram without including a pixel value of an image area that requires assignment of a large number of gradations. .
As described above, without assigning a large number of gradations to the flat region of the image, and irrespective of the strength of the edge strength, a large number of gradations can be assigned to the image region where the gradation is expected to be improved. There is a demand for an image processing device to be assigned.
[0013]
The present invention has been made in view of such circumstances, and calculates a weighting coefficient using a histogram of a second feature amount, and calculates a tone correction characteristic based on a histogram of the first feature amount multiplied by the calculated weighting coefficient. An image processing method, an image processing apparatus, an image forming apparatus and an image pickup apparatus including the image processing apparatus, and a computer that can execute appropriate gradation correction according to the characteristics of an input image by performing gradation correction using It is an object to provide a computer program for use as an image processing device.
[0014]
[Means for Solving the Problems]
An image processing method according to the present invention is an image processing method for generating image data obtained by performing tone correction on image data using tone correction characteristics based on a first feature amount of the image data to be processed. Extracting a second feature amount different from the first feature amount of the image data, calculating a weight coefficient based on the extracted second feature amount, and a gradation correction characteristic based on the calculated weight coefficient and the first feature amount. Is used to generate image data obtained by performing gradation correction on the image data.
[0015]
An image processing apparatus according to the present invention is an image processing apparatus for generating image data obtained by performing tone correction on input image data using tone correction characteristics based on a first feature amount of input image data, wherein the first feature A feature amount extracting unit that extracts a second feature amount of the input image data different from the amount, a coefficient calculating unit that calculates a weighting factor based on the extracted second feature amount, and a calculated weighting factor and the first feature amount. Means for generating image data obtained by performing gradation correction on the input image data by using the gradation correction characteristics based on the image data.
[0016]
In the present invention, an image processing device provided in a digital camera, a copying device, a printer, or the like, or an image processing device such as a personal computer (hereinafter, referred to as a personal computer) is used.
First, the image processing apparatus extracts a second feature amount (eg, edge strength) of the input image data by the feature amount extracting unit.
Next, based on the extracted second feature amount, the image processing device calculates a weight coefficient by a weight coefficient calculating unit. In this case, the image processing apparatus calculates a weight coefficient for each pixel of the input image data based on, for example, the histogram of the extracted second feature amount.
[0017]
Finally, the image processing apparatus performs tone correction on the input image data using tone correction characteristics based on the obtained weight coefficient and the first feature amount (such as luminance or lightness) to generate output image data. In this case, the image processing apparatus uses, for example, a gradation correction characteristic based on a histogram of a product of the obtained weight coefficient and the first feature amount.
Such an image processing apparatus uses not only the first feature value but also the second feature value in order to obtain the gradation correction characteristic. In this case, by using a feature amount including information on the positional relationship of each pixel as the second feature amount, the image processing apparatus uses a tone correction characteristic that takes into account the positional relationship of each pixel on the image plane. . For this reason, the image processing apparatus assigns a small number of gradations to an image region that requires a large number of gradations, or assigns a large number of gradations to an image region that does not require a large number of gradations (for example, a flat region). To prevent assignments.
[0018]
In the image processing apparatus according to the present invention, the coefficient calculation unit may include a unit that obtains a reference value related to the second feature amount, and a unit that calculates a reference value for each pixel of the input image data according to the calculated reference value and the magnitude of the second feature amount. And means for calculating a weighting coefficient.
[0019]
In the present invention, for example, a reference value of the second feature amount is obtained by the coefficient calculating means using a histogram of the second feature amount, and a weighting coefficient based on the second feature amount that is larger than the obtained reference value; The weighting factor corresponding to each pixel of the input image data is determined such that the weighting factor based on the second feature value smaller than the reference value has a different value or is determined using a different function.
For this reason, the image processing apparatus uses the weighting coefficient obtained according to the magnitude of the second feature amount of the input image data and corresponding to each pixel, and the gradation correction characteristic based on the first feature amount corresponding to the pixel. The gradation of the input image data is corrected.
Further, since the reference value is obtained using the second feature value (for example, a histogram of the second feature value), it is not necessary to receive a reference value from outside. In this case, since it is not necessary for the user to input the reference value or to receive the reference value from another device, the convenience of the user is not impaired and the configuration of the device is not complicated.
[0020]
In the image processing apparatus according to the present invention, the coefficient calculation unit may use a function that increases monotonically with an increase in the second feature amount when obtaining the weighting factor based on the second feature amount smaller than the reference value. It is characterized by having been done.
[0021]
According to the present invention, a monotonically increasing function is used when the coefficient calculating means obtains a weight coefficient based on the second feature value smaller than the reference value.
In general, for example, an image region having a gentle edge gradient between neighboring pixels (an image region requiring a large number of gradations) and a flat region (an image region not requiring a large number of gradations) are classified into a second feature amount ( In this case, it is difficult to clearly separate only the information of the edge strength). Therefore, when binary weighting is performed using a reference value as in the image processing apparatus described in Patent Document 1, pixels that contribute to improvement in image quality, such as pixels belonging to an image region having a gentle edge gradient, are used. In some cases, gradation correction may be performed using a gradation correction characteristic having a small influence of the first feature amount.
[0022]
On the other hand, the smaller the second feature value (edge strength), the higher the probability that the pixel having the second feature value (edge strength) belongs to the flat region.
For this reason, the image processing apparatus according to the present invention uses a monotonically increasing function for a pixel having a small second feature value (edge strength) to obtain a gradation correction characteristic corresponding to the second feature value (edge strength). (That is, a weight coefficient). Such an image processing apparatus improves the result of gradation correction by performing gradation correction using a gradation correction characteristic in which a first feature amount of a pixel contributing to image quality improvement is emphasized.
[0023]
The image processing apparatus according to the present invention uses the edge strength as the second feature quantity, and the feature quantity extracting means emphasizes and extracts the edge strength of the image area in which the gradient of the edge between neighboring pixels is within a predetermined range. It is characterized by comprising means for performing.
[0024]
According to the present invention, when extracting the second feature value of the input image data by the feature value extracting means, edge strength is extracted. At this time, the feature amount extracting means emphasizes the edge strength of the image area having a gentle edge gradient as means for enhancing and extracting the edge strength of the image area in which the edge gradient between neighboring pixels is within a predetermined range. An edge detection filter is used for extraction. By using the edge detection filter, the image processing apparatus can determine the edge strength of an image area in which the gradient of the edge between neighboring pixels is outside a predetermined range, for example, the edge of a flat area where the edge strength is 0, or the edge strength. In which an edge of an image region having a large value (a sharp change in edge) is emphasized and extracted.
[0025]
Such an image processing apparatus improves the separation accuracy between a flat region and an image region having a gentle edge gradient, and improves the separation of pixels belonging to an image region having a gentle edge gradient, that is, an image region contributing to improvement in image quality. The second feature value is emphasized and extracted, and a weight coefficient based on the extracted second feature value is calculated. In this case, by using the gradation correction characteristic based on the calculated weighting coefficient and the first feature amount, the image processing apparatus allocates a large number of gradations to an image region having a gentle edge gradient. That is, the image processing apparatus appropriately corrects the gradation of an image region such as the image region that contributes to the improvement of the image quality.
[0026]
An image forming apparatus according to the present invention includes: the image processing apparatus; a unit that inputs image data to the image processing apparatus; and a unit that forms an image using image data generated by the image processing apparatus. It is characterized by.
[0027]
According to the present invention, an image forming apparatus such as a copying apparatus or a printer includes the image processing apparatus. The image forming apparatus further includes a unit for inputting input image data to the image processing apparatus, such as a scanner unit that reads a document and generates image data, or an interface that receives image data from the outside. Furthermore, the image forming apparatus includes a unit that forms an image using output image data output from the image processing apparatus, such as a printer unit that forms an image on a sheet using image data. Such an image forming apparatus forms a high-quality image using output image data that has been subjected to gradation correction appropriately in accordance with the characteristics of input image data.
[0028]
An imaging apparatus according to the present invention includes the image processing apparatus, and means for inputting image data obtained by capturing an image to the image processing apparatus.
[0029]
In the present invention, an imaging device such as a digital camera includes the image processing device. Further, the imaging apparatus includes a unit such as a CCD camera unit for inputting image data obtained by capturing an image to the image processing apparatus.
Such an imaging device outputs a high-quality image using output image data that has been appropriately corrected in gradation according to the characteristics of the input image data.
[0030]
A computer program according to the present invention is a computer program for causing a computer to generate image data obtained by performing gradation correction on input image data using a gradation correction characteristic based on a first feature amount of input image data. Extracting a second characteristic amount of the input image data different from the first characteristic amount, causing the computer to calculate a weighting factor based on the extracted second characteristic amount, and causing the computer to calculate the calculated weighting factor. And generating image data obtained by performing gradation correction on the input image data by using the gradation correction characteristic based on the first feature amount.
[0031]
In the present invention, it is installed in a computer provided in a digital camera, a copying apparatus, a printer, or the like, or a personal computer. In this case, for example, the computer program is stored and distributed on a portable recording medium, distributed via a communication line, or stored in advance in storage means (for example, ROM) built in the apparatus. .
Such a computer program includes a feature amount extraction unit that extracts a second feature amount of input image data, a coefficient calculation unit that calculates a weighting coefficient based on the extracted second feature amount, and the like. Software, and causes the computer to function as an image processing apparatus that outputs a high-quality image using output image data that is appropriately corrected in tone according to the characteristics of the input image data.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments.
Embodiment 1.
FIG. 1 is a block diagram illustrating a configuration of a digital camera 1 as an imaging device according to Embodiment 1 of the present invention.
In the present embodiment, the digital camera 1 includes an image processing unit 14 that is an image processing device according to the present embodiment, and a CCD camera unit 13 that is a unit that inputs image data obtained by capturing an image to the image processing unit 14. And That is, in the present embodiment, the image captured by the digital camera 1 is subjected to gradation correction inside the digital camera 1 and output.
[0033]
In the figure, reference numeral 10 denotes a CPU (Central Processing Unit), and the CPU 10 is a control center of the digital camera 1. The CPU 10 displays, via the bus, an image being captured, an image captured and stored, an operation state of the apparatus, an input unit 17 for displaying an input instruction to the user, and the like. It is connected to various parts of the apparatus such as an operation part 18 having various function keys for operation and a shutter button.
The CPU 10 controls each unit of the apparatus in accordance with a computer program stored in the ROM 11, temporarily stores data generated at this time or data input from the outside in the RAM 12, and executes various processes.
[0034]
The CCD camera unit 13 is an image input unit that is configured using an optical lens, a color filter, a CCD (Charge Coupled Device) that is a solid-state imaging device, and the like. The CCD camera unit 13 captures an image, RGB (R: Red (red), G: Green (green), B: Blue (blue)) analog signals (input image) obtained by converting an optical signal based on a reflected light image from a subject into an electrical signal. Data) to the image processing unit 14.
[0035]
The image processing unit 14 includes an analog / digital (Analog / Digital) conversion unit (hereinafter, referred to as an A / D conversion unit) 141, an input correction unit 142, a first color conversion unit 143, a gradation correction unit 5, and a second color conversion. The image processing apparatus includes a unit 144, a compression processing unit 145, and the like.
The A / D converter 141 converts the input RGB analog signal into an RGB digital signal (hereinafter, referred to as an RGB signal) and inputs the converted signal to the input corrector 142. The input corrector 142 converts the input RGB signal into an RGB signal. Then, input correction such as a process of removing various distortions generated in the imaging system / imaging system of the CCD camera unit 13 and adjustment of white balance based on the color temperature of the light source is performed, and the input-corrected RGB signals are converted to the first signal. The data is input to the color conversion unit 143.
[0036]
The first color conversion unit 143 separates the input RGB signal into a luminance signal and a chromaticity signal using Expression (1).
Y j = 0.30R j + 0.59G j + 0.11B j … (1)
In this case, Y j Is a luminance signal of each pixel, and R j , G j , B j Is a chromaticity signal of each pixel, and j (j = 1, 2,..., J, J: the total number of pixels) indicates each pixel.
The separated chromaticity signal is input to the second color conversion unit 144, and the separated luminance signal is input to the gradation correction unit 5, where the gradation correction is performed by the gradation correction unit 5 and the luminance signal is corrected. It is input to the two-color conversion unit 144. That is, in the present embodiment, luminance is used as the first feature amount of the input image data.
The second color conversion unit 144 converts the input luminance signal and chromaticity signal into RGB signals, and inputs the converted RGB signals to the compression processing unit 145.
[0037]
Note that, without providing the first color conversion unit 143, the gradation correction unit 5 may perform processing to be performed by the first color conversion unit 143 (separation of a chromaticity signal and a luminance signal).
Further, the present invention is not limited to the separation of the chromaticity signal and the luminance signal. * a * b * Signal (CIE: Commission International de l'Eclairage: International Commission on Illumination. L * :brightness. a * , B * : Chromaticity), the chromaticity signal and the lightness signal may be separated by conversion to a uniform color space. In this case, the chromaticity signal is input to the second color conversion unit 144, the lightness signal is input to the gradation correction unit 5, and the gradation correction unit 5 corrects the lightness gradation.
[0038]
The compression processing unit 145 compresses the data size of the output image data to be output from the image processing unit 14 using a JPEG (Joint Picture Experts Group) method. Thereby, when the output image data is output from the image processing unit 14 and stored in the storage unit 15, the storage capacity of the storage unit 15 occupied by the output image data is saved, or the output image data is transferred from the interface 16 to the outside. Or the transfer time at the time is shortened. When the JPEG method is used, the RGB signals are converted into YCrCb (Y: luminance; Cb, Cr: color difference) signals.
The compression processing unit 145 outputs a YCrCb signal obtained by compressing the input RGB signals to the outside of the image processing unit 14 as output image data, and the output image data is input to the storage unit 15.
[0039]
The storage unit 15 is configured using a storage medium such as a memory card, and stores input output image data.
The interface 16 is connected to an external device (such as a personal computer or a printer), and the CPU 10 reads out the output image data stored in the storage unit 15 and transfers the read out image data to the outside via the interface 16. I do. The display unit 17 uses a liquid crystal display, and the CPU 10 reads out the output image data stored in the storage unit 15 and causes the display unit 17 to display an image corresponding to the read out output image data.
[0040]
FIG. 2 is a block diagram illustrating a configuration of the tone correction unit 5 included in the image processing unit 14 as an image processing device included in the digital camera 1. FIG. 3 is a flowchart illustrating a procedure of the tone correction process of the tone correction unit 5.
The gradation correction unit 5 uses the edge strength of the luminance signal as the second feature amount of the input image data.
The gradation correction unit 5 includes an edge intensity extraction unit 51 that extracts the edge intensity of the luminance signal as a feature amount extraction unit, and uses the edge intensity extracted by the edge intensity extraction unit 51 to generate an edge intensity histogram ( An edge histogram generation unit 52 that generates data corresponding to the edge histogram is hereinafter provided.
[0041]
Further, the tone correction unit 5 uses the data generated by the edge histogram generation unit 52 as a means for calculating a weight coefficient based on the extracted edge strength, and uses the data generated by the edge histogram generation unit 52 for each pixel of the input image data (in this case, a pixel of the luminance signal) And a coefficient calculating unit 53 for calculating a weight coefficient based on the edge strength. Further, the tone correction unit 5 uses the weight coefficient obtained by the coefficient calculation unit 53 to generate data corresponding to a histogram of a product of the weight coefficient and the luminance signal (hereinafter, referred to as a weight histogram). 54. Further, the tone correction unit 5 includes a tone correction characteristic calculation unit 55 that calculates tone correction characteristic data based on the data generated by the weight histogram generation unit 54, and a data calculated by the tone correction characteristic calculation unit 55. And a correction processing unit 56 that performs gradation correction on the luminance signal to generate a luminance signal to constitute output image data. The luminance signal generated by the correction processing unit 56 is input to the second color conversion unit 144.
[0042]
The CPU 10 outputs the luminance signal L i Using (x, y), the edge strength extraction unit 51 extracts the edge strength D (x, y) (S10).
FIG. 4 is a schematic diagram illustrating an example of an edge detection filter used in the gradation correction unit 5.
To extract the edge strength in the edge strength extraction unit 51, the edge strength of an image region in which the gradient of the edge between neighboring pixels is within a predetermined range (in the present embodiment, the image region having a gentle edge gradient) is determined. An edge detection filter that emphasizes and extracts is used. The edge detection filter is, for example, an edge detection filter as shown in FIG. 4A (or FIG. 4B). The edge detection filter is an edge detection filter to which a smoothing element is added in order to easily separate an image region having a gentle edge gradient from a flat region.
[0043]
As such an edge detection filter, a Laplacian Gaussian filter using Expression (2) or a filter approximating the Laplacian Gaussian filter (for example, a DOG (Difference of two Gaussians) filter approximated by a difference between two Gaussian functions). ) May be used.
[0044]
(Equation 1)
Figure 2004312387
[0045]
Here, G (x, y) is a Gaussian distribution, σ is a variance of the Gaussian distribution, and (x, y) represents pixel coordinates. The Laplacian Gaussian filter obtains each filter coefficient using Expression (2).
Note that the edge strength extraction unit 51 may use a primary difference filter such as a Sobel filter or a secondary difference filter such as a Laplacian filter to extract the edge strength. .
[0046]
FIG. 5 is a characteristic diagram showing an edge histogram (frequency polygon) using data generated by the edge histogram generation unit 52 and a function for obtaining a weight coefficient in the coefficient calculation unit 53. FIG. 6 shows characteristics indicating a weight histogram using data generated by the weight histogram generation unit 54 and a cumulative histogram (cumulative frequency polygon) using data generated by the gradation correction characteristic calculation unit 55. FIG.
[0047]
After extracting the edge strength D (x, y) using each filter coefficient of the edge detection filter as shown in FIG. 4A or 4B, the CPU 10 extracts the edge strength D (x , Y), the edge histogram data He (n) is generated by the edge histogram generation unit 52 (S11). When an edge histogram is generated using the data He (n), an edge histogram (frequency polygon) as shown by a solid line (thin line) in FIG. 5 is obtained. Here, n is n = 1, 2, 3 to D max (D max : The maximum value of the calculated edge strength obtained by using the edge detection filter), which is an index for specifying the division of the edge histogram.
[0048]
Next, the CPU 10 generates the generated edge histogram data He (n) and the luminance signal L. i Using (x, y), in S12 and S13 to be described later, the coefficient calculation unit 53 calculates a weight coefficient W (x, y) corresponding to each pixel.
In the coefficient calculation unit 53, first, the CPU 10 calculates a reference value Bp of the edge strength (S12). At this time, Bp is obtained using equation (3).
[0049]
(Equation 2)
Figure 2004312387
[0050]
Where E max Is the luminance signal L i This is the maximum value of the edge strength at (x, y). V is a variance value of the data He (n) of the edge histogram, and is obtained by using Expression (4).
[0051]
[Equation 3]
Figure 2004312387
[0052]
Here, M is obtained using equation (5).
[0053]
(Equation 4)
Figure 2004312387
[0054]
Then, in the coefficient calculation unit 53, the CPU 10 uses the obtained reference value Bp to determine whether the edge intensity is 0 or Bp as shown by the bold line in FIG. Monotonically increasing function (in this case, a linear function) and the edge intensity from Bp to D max The weight coefficient W (x, y) of each pixel is calculated using a function that becomes 1 in the section (S13).
That is, in the present embodiment, the weight coefficient W (x, y) is obtained according to the magnitude of the reference value Bp and the edge strength, and the weight coefficient W (x, y) based on the edge strength smaller than the reference value Bp. ) Is obtained using a monotonically increasing function.
[0055]
Next, the CPU 10 causes the weight histogram generation unit 54 to output the weight coefficient W (x, y) obtained by the coefficient calculation unit 53 and the luminance signal L i By calculating the product of (x, y), data Hlw (m) of the weight histogram, which is the calculation result, is generated (S14). When a weight histogram is generated using the data Hlw (m), the weight histogram is as shown in FIG. Here, m is m = 1, 2, 3 to L max (L max : The maximum value of the luminance signal), which is an index for specifying the division of the weight histogram.
[0056]
Next, the CPU 10 calculates the weighted histogram cumulative value by sequentially adding the data Hlw (m) of the weighted histogram generated by the weighted histogram generating unit 54 from the low luminance side in the gradation correction characteristic calculating unit 55. , And calculates the cumulative histogram data CHlw (m) (S15). At this time, by using a known technique, a limitation on the inclination and a correction for the deviation of the end due to the limitation are performed (for example, page 5-6 of Patent Document 1; FIG. 2). When a cumulative histogram is generated using the data CH1w (m), a cumulative histogram (frequency polygon) as shown by a solid line in FIG. 6 is obtained.
[0057]
Next, the CPU 10 uses the generated cumulative histogram data CH1w (m) to calculate the data of the gradation correction characteristic in the gradation correction characteristic calculation unit 55 (S16). In FIG. 6, a histogram (frequency polygon) in which a white circle is the frequency of the weight histogram cumulative value is a cumulative histogram, and data of the tone correction characteristic is obtained by interpolating the frequency with a linear or non-linear function.
[0058]
Further, the CPU 10 normalizes the obtained gradation correction characteristic by the gradation correction characteristic calculation unit 55 (S17). In this case, the gradation correction characteristic is normalized according to the gradation (for example, 256 gradations) used in the digital camera 1, and becomes data CC (L) of the gradation correction characteristic for executing the gradation correction.
Finally, the CPU 10 causes the correction processing unit 56 to use the gradation correction characteristic data CC (L) obtained by the gradation correction characteristic i The gradation correction for (x, y) is executed (S18), and the luminance signal L to constitute output image data is obtained. o (X, y) is generated, and the gradation correction processing ends.
[0059]
The digital camera 1 as described above generates luminance histogram data obtained by adding edge strength information as a weight coefficient as weight histogram data, thereby reducing the influence of a flat portion that does not require a large number of gradations. By generating data of the suppressed luminance histogram and obtaining data of the gradation correction characteristic using the data, the appropriate gradation correction for the luminance signal is performed using the obtained data of the gradation correction characteristic. I have.
[0060]
FIG. 7 shows a luminance signal L input to the gradation correction unit 5 provided in the digital camera 1. i It is a histogram (frequency polygon) using (x, y). FIG. 8 is a characteristic diagram showing a gradation correction characteristic obtained by the gradation correction unit 5 and a conventional gradation correction characteristic.
A luminance signal L generated from an input image signal of an input image having an extremely bright image region and an extremely dark image region, such as an image captured by backlight. i When (x, y) is used, a luminance histogram (frequency polygon) as shown in FIG. 7A is obtained. It can be seen from the luminance histogram that the frequency of low luminance is particularly high and the frequency of medium luminance is low.
[0061]
In such an image, it is considered that the flat area is concentrated on low luminance. For this reason, when the tone correction characteristic is obtained by the conventional method, a tone correction characteristic in which a large number of tones are assigned to low luminance as shown by a broken line in FIG. 8 is obtained. When an input image is subjected to gradation correction using such gradation correction characteristics, the output image is generally lower in luminance (darker) than the input image, and the output image is poor in gradation due to a biased gradation distribution. Is obtained.
In FIG. 8, a dashed line indicates a gradation correction characteristic in which input and output do not change (input luminance = output luminance).
[0062]
On the other hand, FIG. 7B shows the weight coefficient and the luminance signal L i This is a weight histogram using (x, y), and it can be seen from the weight histogram that the middle luminance is relatively emphasized.
In such a weight histogram, it is considered that the influence of the flat region on the weight histogram is suppressed. Therefore, in the gradation correction characteristic based on the weight histogram, as shown by the solid line in FIG. 8, the assignment of a large number of gradations to the low luminance portion is eased, and the overall balance is good. When an input image is subjected to gradation correction using such a gradation correction characteristic, the luminance is higher (brighter) than the input image as a whole, and the contrast between an image region having high luminance and an image region having low luminance is high. Is improved, and an output image with good gradation is obtained without bias in gradation distribution.
[0063]
In the related art disclosed in Patent Literature 1, after extracting a valid edge intensity and generating a luminance histogram, the luminance histogram is converted into a Gaussian shape to obtain a gradation correction curve. I can't compare. For this reason, after extracting the edge intensity according to the conventional technique, a luminance histogram is obtained as shown in FIG. 7A, and a gradation correction process is performed using a gradation correction curve based on the obtained luminance histogram. .
[0064]
Embodiment 2.
In the present embodiment, a color printer (hereinafter, referred to as a printer) is illustrated as an image forming apparatus, and in a third embodiment, a digital color copying apparatus (hereinafter, referred to as a copier) is illustrated. For example, it may be a facsimile machine or a multifunction peripheral.
[0065]
FIG. 9 is a block diagram showing a configuration of a printer 2 as an image forming apparatus according to Embodiment 2 of the present invention.
Generally, when image data generated by imaging or reading by an image generating device 6 such as a digital camera or a scanner is directly output from a printer without passing through an image processing device such as a personal computer, the firmware of the printer 2 is used. Is used to correct the luminance gradation. In the present embodiment, the printer 2 includes an image processing unit 24 which is an image processing apparatus of the present embodiment, an interface 23 for inputting input image data from outside the printer 2 to the image processing unit 24, A recording unit 26 that forms an image using the output image data output from the processing unit 24.
[0066]
In the figure, reference numeral 20 denotes a CPU, which is a control center of the printer 2. The CPU 20 is connected to each unit of the device such as the display unit 27 and the operation unit 28 via a bus.
The CPU 20 controls each unit of the apparatus according to a computer program stored in the ROM 21, temporarily stores data generated at this time or data input from the outside in the RAM 22, and executes various processes.
[0067]
The display unit 27 displays an operation state of the apparatus, an input instruction to the user, and the like. The operation unit 28 includes various function keys such as a mode selection button, a setting button, and ten keys for the user to operate the printer 2 while looking at the display unit 27. The display unit 27 and the operation unit 28 have a function of receiving a user's instruction and showing a set output mode to the user.
The user turns on / off various processes by selecting a mode using the display unit 27 and the operation unit 28, or sets parameters arbitrarily.
[0068]
The interface 23 is for connecting the printer 2 and the image generating device 6 with a communication cable, and input image data generated by the image generating device is input to the printer 2 via the interface 23. The input image data is, for example, YCbCr compressed image data (encoded data) generated by a digital camera.
The image processing unit 24 includes a decoding processing unit 241, a gradation correction unit 5, a color conversion unit 242, a color correction unit 243, a black generation and under color removal unit 244, a spatial filter processing unit 245, an output gradation correction unit 246, and a floor. A tone reproduction processing unit 247 and the like are provided so that encoded data input to the printer 2 is input to the decoding processing unit 241.
[0069]
The decoding processing unit 241 decodes the input encoded data, performs inverse quantization and inverse orthogonal transform on the decoded data, converts the decoded data into RGB signals, and further converts the converted RGB signals into a chromaticity signal and a luminance signal. The chromaticity signal is input to the color conversion unit 242 and the luminance signal is input to the gradation correction unit.
The gradation correction unit 5 inputs a luminance signal obtained by performing gradation correction on the input luminance signal to the color conversion unit 242 in the same manner as in the first embodiment.
The color conversion unit 242 uses the input chromaticity signal and luminance signal to convert the RGB signal or the RGB signal into a CMY (C: Cyan, M: Magenta, Y: Yellow) signal in which complementary colors are inverted. In the following, a case where the signal is converted into a CMY signal will be exemplified.
[0070]
The color conversion unit 242 inputs the converted CMY signal to the color correction unit 243, and the color correction unit 243 performs a color correction process on the input CMY signal. The color correction process performed by the color correction unit 243 is a process for removing color turbidity based on the spectral characteristics of the CMY color materials containing unnecessary absorption components for the purpose of faithful color reproduction.
In the present embodiment, the color conversion unit 242 and the color correction unit 243 are configured separately, but may be configured integrally.
[0071]
The CMY signal subjected to the color correction processing by the color correction unit 243 is input to the black generation and under color removal unit 244.
The black generation and under color removal unit 244 includes a black generation unit and an under color removal unit. The black generation unit performs a black (K) signal generation process based on the input CMY signals, and Converts the CMY signal into a CMYK four-color signal (CMYK signal) by subtracting the undercolor amount calculated from the generated black signal from the CMY signal, and inputs the signal to the spatial filter processing unit 245.
The spatial filter processing unit 245 performs a spatial filter process on the input CMYK signal using a digital filter, further corrects a spatial frequency characteristic, and inputs the result to the output tone correction unit 246. The spatial filter processing and the correction of the spatial frequency characteristics in the spatial filter processing unit 245 prevent the output image from being blurred or degraded in graininess.
[0072]
The output tone correction unit 246 performs an output tone correction process on the input CMYK signal to convert a signal such as a density signal into a dot area ratio which is a characteristic value of the recording unit 26 as an image output unit. The tone reproduction processing unit 247 performs a tone reproduction process on the CMYK signal on which the output tone correction process has been performed so that an image can be separated into pixels and each tone can be reproduced. The CMYK signal on which the tone reproduction processing has been performed is output from the image processing unit 24 as output image data.
The storage unit 25 is configured using storage means such as a DRAM, and stores the CMYK signals (output image data) output from the image processing unit 24.
[0073]
The recording unit 26 is an image output unit that outputs an image on a recording medium such as a sheet or a recording sheet, and is configured by a color image output unit using an inkjet method, a thermal transfer method, or the like. The CPU 20 reads the image data from the storage unit 25 at a predetermined timing, forms an image using the read image data on a sheet in the recording unit 26, and discharges the sheet on which the image is formed.
In addition, the same reference numerals are given to portions corresponding to the first embodiment, and description thereof will be omitted.
The printer 2 as described above generates output image data by performing appropriate gradation correction on the input image data in the same manner as the digital camera 1 of the first embodiment, and generates an image using the generated output image data. Is formed.
[0074]
Embodiment 3.
FIG. 10 is a block diagram showing a configuration of a copying machine 3 as an image forming apparatus according to Embodiment 3 of the present invention.
In the present embodiment, the copying machine 3 includes an image processing unit 34 which is an image processing device of the present embodiment, a reading unit 33 for inputting input image data to the image processing unit 34, and an output from the image processing unit 34. And a recording unit 36 that forms an image using the output image data thus obtained.
[0075]
In the figure, reference numeral 30 denotes a CPU, which is a control center of the copying machine 3. The CPU 30 displays, via a bus, a display unit 37 for displaying an operation state of the apparatus or an input instruction to the user, and an operation unit 38 including various function keys for the user to operate the copying machine 3 while viewing the display unit 37. And so on.
The CPU 30 controls each unit of the apparatus according to a computer program stored in the ROM 31, temporarily stores data generated at this time or data input from the outside in the RAM 32, and executes various processes.
[0076]
The reading unit 33 is an image input unit configured by an optical reading type scanner device using, for example, a light source and a CCD, and the reading unit 33 reads a document set on the device and reflects light reflected from the document. An RGB analog signal obtained by converting an optical signal based on an image into an electric signal is input to the image processing unit 34.
The image processing unit 34 is configured so that the input RGB analog signals are input to the A / D conversion unit 341. The A / D conversion unit 341 converts the input RGB analog signals into RGB digital signals. The shading correction unit 342 converts the input RGB signals into various types of distortion generated in the illumination system, the imaging system, and the imaging system of the reading unit 33. And then input to the input tone correction unit 343.
[0077]
The input tone correction unit 343 adjusts the input RGB signals into color balances, converts them into signals such as density signals that are easy to handle by each unit included in the image processing unit 34, and inputs the signals to the segmentation processing unit 344. , The segmentation processing unit 344 inputs the input RGB signals as they are to the first color conversion unit 345, and also uses the RGB signals to convert each pixel in the input image into a character area, a halftone area, Separate into any of the photo areas. Based on the separation result, the region separation processing unit 344 converts the region identification signal indicating which region each pixel belongs to into the black generation and under color removal unit 348, the spatial filter processing unit 349, and the gradation reproduction processing unit. 392.
The first color conversion unit 345 converts the input RGB signals into CIEL * a * b * The signal is converted into a chromaticity signal and a luminance signal by converting the signal into a uniform color space, the chromaticity signal is input to the second color conversion unit 346, and the luminance signal is input to the gradation correction unit 5.
[0078]
The gradation correction unit 5 performs gradation correction on the input luminance signal and then inputs the luminance signal to the second color conversion unit 346.
The second color converter 346 converts the input luminance signal and chromaticity signal into CMY signals obtained by complementing the RGB signals with complementary colors, and inputs the converted CMY signals to the color corrector 347. The color correction unit 347 performs a color correction process for removing color turbidity based on the spectral characteristics of the CMY color materials including the unnecessary absorption components on the CMY signal in order to achieve the fidelity of the color reproduction. The signal is input to the black generation and under color removal section 348.
In the present embodiment, the second color conversion section 346 and the color correction section 347 are configured as separate bodies, but may be configured integrally.
[0079]
The black generation and under color removal unit 348 generates a black (K) signal (black generation) based on the input signals of the three CMY colors and the area identification signal, and then obtains the K signal obtained by the black generation from the original CMY signal. The signal is subtracted to generate a new CMY signal, and the generated CMY signal and K signal (ie, CMYK signal) are input to the spatial filter processing unit 349.
[0080]
The spatial filter processing unit 349 reduces the blur or graininess of the output image by performing a spatial filter process on the input CMYK signal by a digital filter based on the region identification signal and correcting the spatial frequency characteristic. are doing. In this case, in the spatial filter processing unit 349, a filter having a large emphasis amount of a high frequency component is used for the region separated into characters by the region separation processing unit 344 in order to enhance the reproducibility of the character. Further, with respect to the area separated into halftone dots by the area separation processing section 344, a low-pass filter for removing the input halftone dot component is used in the spatial filter processing section 349.
[0081]
The output gradation correction unit 391 converts the CMYK signal input from the spatial filter processing unit 349 into a signal such as a density signal into a dot area ratio which is a characteristic value of the recording unit 36 serving as an image output unit. A tone correction process is performed, and the tone reproduction processing unit 392 performs a predetermined process described later on the CMYK signal based on the region identification signal, similarly to the spatial filter processing unit 349.
In the tone reproduction processing unit 392, for example, binarization or multi-value processing is performed on a region separated into characters by the region separation processing unit using a high-resolution screen suitable for reproducing high-frequency components. . Further, regarding the area separated into halftone dots and the area separated into photographs by the area separation processing unit, the gradation reproduction processing unit 392 performs binarization or multi-value conversion on a screen where importance is placed on gradation reproduction. Processing is performed.
[0082]
As described above, the tone reproduction processing unit 392 performs a tone reproduction process on the CMYK signal on which the output tone correction process has been performed so as to separate an image into pixels and reproduce each tone. Do. The CMYK signal on which the tone reproduction processing has been performed is output from the image processing unit 34 as output image data.
The storage unit 35 is configured using storage means such as a DRAM, and stores the CMYK signals (output image data) output from the image processing unit 34.
[0083]
The recording unit 36 is an image output unit that outputs an image on a recording medium such as a sheet of paper or a recording sheet, and is configured by a color image output unit using an inkjet method, a thermal transfer method, or the like. The CPU 30 reads the image data from the storage unit 35 at a predetermined timing, forms an image using the read image data on a sheet in the recording unit 36, and discharges the sheet on which the image is formed.
In addition, the same reference numerals are given to portions corresponding to the first embodiment, and description thereof will be omitted.
[0084]
The copying machine 3 generates output image data by performing appropriate gradation correction on input image data in the same manner as the digital camera 1 of the first embodiment, and uses the generated output image data. An image is formed.
Note that, in addition to the image forming apparatus or the imaging apparatus according to the first to third embodiments, a scanner as an image reading apparatus may be an embodiment including the image processing apparatus according to the invention.
Further, an image processing apparatus, a unit for inputting input image data to the image processing apparatus, and / or a unit for forming an image using output image data output from the image processing apparatus are provided integrally. Or may be provided separately.
[0085]
Embodiment 4.
In the present embodiment, a personal computer is exemplified as the image processing apparatus. However, the present invention is not limited to this, and may be, for example, a server configured to perform image processing.
The personal computer according to the present embodiment performs color tone correction processing such as adjusting the color of the entire image area of the input image data or the selected image area with respect to the input image data captured by the image input unit (for example, a scanner), and edge processing. And the like, and a brightness gradation correction process are executed on a computer as application software, and an image formed using output image data subjected to various processes is displayed on an image display means (for example, a display). Or output by image output means (for example, a printer).
[0086]
FIG. 11 is a block diagram showing a configuration of a personal computer 4 as an image processing device according to Embodiment 4 of the present invention.
In the figure, reference numeral 40 denotes a CPU which is a control center of the personal computer 4, and the CPU 40 includes a display unit 45 using a CRT or a liquid crystal display and an operation unit 46 using a keyboard and a mouse. , Are connected via a bus. The CPU 40 controls each unit of the apparatus according to a computer program stored in the auxiliary storage unit 48 or the ROM 41 using a hard disk, temporarily stores data generated at this time in the RAM 42, and executes various processes.
[0087]
The external storage unit 47 is, for example, a CD-ROM drive, and is controlled by the CPU 40 to control a portable recording medium such as a CD-ROM (for example, a computer program according to the present embodiment, and a computer program for executing the computer program). Information is read from a recording medium 7) on which data and the like used for recording are recorded and stored in the auxiliary storage unit 48.
[0088]
The interface 43 is an interface that connects the personal computer 4 and an external device with, for example, a communication cable. The personal computer 4 receives the input image data from, for example, a digital camera or a scanner via the interface 43 and transmits the image data to the printer.
The network I / F 44 is an interface that connects the personal computer 4 and an external communication network with, for example, a communication cable. The personal computer 4 is connected to a LAN or the Internet via the network I / F 44, and transmits / receives input image data or output image data to / from a scanner or a printer connected to the LAN or the Internet.
[0089]
FIG. 12 is a flowchart showing a procedure of the tone correction process of the personal computer 4.
First, the CPU 40 acquires RGB digital data (hereinafter referred to as RGB data) as input image data (S30). In this case, the CPU 40 generates RGB data with image processing software installed in advance, or receives the RGB data via the interface 43 or the network I / F 44. Alternatively, the CPU 40 receives YCbCr compressed image data (encoded data) via the interface 43 or the network I / F 44, decodes the received encoded data, and performs inverse quantization and inverse orthogonal transform on the decoded data. To RGB data.
[0090]
Next, the CPU 40 stores the acquired RGB data in the RAM 42, and then separates the stored RGB data into chromaticity data and luminance data (S31). In this case, the CPU 40 separates the RGB data into luminance data and chromaticity data using Expression (1), or converts the RGB data into CIEL data. * a * b * By converting the data into a uniform color space, the data is separated into chromaticity data and luminance data.
The separated chromaticity data is stored in the RAM 42, and the separated luminance data is used as input image data, and the luminance gradation is corrected as follows.
The CPU 40 uses the edge intensity as a feature amount of the luminance data, and uses the luminance data L separated in S31. i Using (x, y), the luminance data L i The edge strength D (x, y) of (x, y) is extracted (S32).
[0091]
To extract the edge strength, an edge detection filter that emphasizes and extracts edges in an image region having a gentle edge gradient is used. The filter is, for example, an edge detection filter as shown in FIG. 4A (or FIG. 4B).
After extracting the edge strength D (x, y) using each filter coefficient of the edge detection filter, the CPU 40 uses the extracted edge strength D (x, y) to generate an edge as shown by a thin line in FIG. The histogram data He (n) is generated (S33).
[0092]
Next, in S34 and S35, the CPU 40 generates the edge histogram data He (n) and the luminance data L i Using (x, y), a weight coefficient W (x, y) corresponding to each pixel is calculated.
In this case, the CPU 40 calculates the reference value Bp of the feature amount using Expression (3) (S34), and uses the calculated reference value Bp and a function as shown by a thick line in FIG. A weight coefficient W (x, y) is calculated (S35).
[0093]
Next, the CPU 40 determines the obtained weight coefficient W (x, y) and the luminance data L as the input image data. i By multiplying by (x, y), data Hlw (m) of the weight histogram as shown in FIG. 6 is generated (S36).
Next, the CPU 40 sequentially accumulates and adds the values of the generated weight histogram data Hlw (m) from the low luminance side to obtain a weight histogram cumulative value, thereby obtaining the cumulative histogram data CHlw as shown by the solid line in FIG. (M) is generated (S37). At this time, by using a known technique, a limitation on the inclination and a correction for the deviation of the end due to the limitation are performed (for example, page 5-6 of Patent Document 1; FIG. 2).
Next, the CPU 40 calculates data of the gradation correction characteristic using the generated cumulative histogram data CH1w (m) (S38). In FIG. 6, a histogram having white circles as frequencies is a cumulative histogram, and data of the gradation correction characteristic is obtained by interpolating the frequencies with a linear or non-linear function.
[0094]
Further, the CPU 40 normalizes the obtained data of the gradation correction characteristic (S39). In this case, the data of the gradation correction characteristic is normalized according to the gradation (for example, 256 gradations) used in the personal computer 4, and becomes data CC (L) of the gradation correction characteristic for executing the gradation correction. .
Finally, the CPU 40 uses the obtained gradation correction characteristic data CC (L) to generate the luminance data L i By performing gradation correction on (x, y), the luminance data L o (X, y) is generated (S40), and the generated luminance data L o Using (x, y) and the chromaticity data stored in the RAM 42, RGB data, which is output image data, is generated (S41), and the gradation correction process ends.
[0095]
The personal computer 4 as described above generates the data of the luminance histogram obtained by adding the information of the edge strength as the weight coefficient as the data of the weight histogram, thereby reducing the influence of the flat portion which does not require a large number of gradations. By generating data of the suppressed luminance histogram and obtaining data of the gradation correction characteristic using the data, the appropriate gradation correction for the luminance data is performed using the obtained data of the gradation correction characteristic. I have.
[0096]
Note that the computer program of the present invention may be such that the image processing method of the present invention is recorded on a computer-readable recording medium that records a computer program to be executed by a computer. In this case, a recording medium on which a computer program for realizing the image processing method is recorded can be provided separately from the computer.
[0097]
As such a recording medium, since processing is performed inside the computer, an internal storage means, for example, a ROM may be a program medium, or a program reading device is provided as an external storage means, It may be a program medium that can be read by inserting a recording medium into the device. In any case, the stored computer program may be configured to be accessed and executed by a processor. The computer program is read, and the read computer program is loaded into a program storage area of a computer system. Alternatively, the loaded computer program may be executed.
[0098]
The program medium is a recording medium configured to be separable from a computer system main body, such as a magnetic recording medium such as a magnetic tape, a flexible disk, or a hard disk, a magneto-optical recording medium such as an MO, a CD-ROM / CD-R / A non-volatile recording medium including an optical recording medium such as an MD / DVD, a semiconductor memory such as a mask ROM, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmable Read Only Memory), or a flash ROM. good.
[0099]
Further, the medium may be a medium that carries a computer program in a fluid manner such that the computer program is downloaded from a communication network. In this case, the computer program for executing the download may be stored in the main device in advance, or may be installed from another recording medium. The recording medium fetches a computer program into the system via a reading device provided in the computer system, and executes the image processing method of the present invention by executing the computer program.
[0100]
【The invention's effect】
According to the image processing method, the image processing apparatus, the image forming apparatus and the imaging apparatus including the image processing apparatus, and the computer program for causing a computer to function as the image processing apparatus, the second characteristic amount of the input image data , And tone correction of the input image data can be performed using the calculated weight coefficient and a tone correction characteristic based on the first feature amount of the input image data. Accordingly, the image processing method, the image processing apparatus, the image forming apparatus, the imaging apparatus, and the computer program of the present invention can assign a small number of gradations to an image area requiring a large number of gradations, Since it is possible to prevent a large number of gradations from being assigned to an image region (for example, a flat region) that does not require a tone, it is possible to improve image quality.
[0101]
Further, the image processing apparatus appropriately converts the input image data into gradations by using a gradation correction characteristic based on the weighting factor obtained according to the magnitude of the second feature amount of the input image data and the first feature amount. Since the corrected output image data can be generated, the image quality can be further improved.
In addition, the image processing apparatus obtains a weighting coefficient using a monotonically increasing function for a pixel having a small second feature amount, thereby obtaining an effect of the first feature amount of a pixel belonging to an image region that contributes to improvement in image quality. Since the tone correction can be performed using the tone correction characteristic having a large image quality, the image quality can be further improved.
[0102]
Further, a second feature amount of a pixel belonging to an image region having a gentle edge gradient, that is, an image region contributing to improvement in image quality is enhanced and extracted, and a weight coefficient based on the extracted second feature amount is calculated. By using the calculated weighting coefficient and the gradation correction characteristic based on the first feature amount, assigning a large number of gradations to an image region that contributes to improvement in image quality, in this case, an image region having a gentle edge gradient. Therefore, the present invention has excellent effects such as further improving the image quality.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera as an imaging device according to Embodiment 1 of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a tone correction unit included in an image processing unit as an image processing device included in the digital camera according to Embodiment 1 of the present invention.
FIG. 3 is a flowchart illustrating a procedure of a tone correction process of a tone correction unit included in the digital camera according to the first embodiment of the present invention.
FIGS. 4A and 4B are schematic diagrams illustrating an example of an edge detection filter used in a tone correction unit provided in the digital camera according to the first embodiment of the present invention; FIG. Is an edge detection filter.
FIG. 5 is a characteristic diagram showing an edge histogram obtained by a gradation correction unit provided in the digital camera according to the first embodiment of the present invention and a function for obtaining a weight coefficient;
FIG. 6 is a characteristic diagram showing a weight histogram and a cumulative histogram obtained by a tone correction unit provided in the digital camera according to the first embodiment of the present invention.
FIGS. 7A and 7B are histograms using a luminance signal input to a gradation correction unit provided in the digital camera according to the first embodiment of the present invention, wherein FIG. 7A is a luminance histogram and FIG.
FIG. 8 is a characteristic diagram showing a gradation correction characteristic required by a gradation correction unit provided in the digital camera according to the first embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of a printer as an image forming apparatus according to Embodiment 2 of the present invention.
FIG. 10 is a block diagram showing a configuration of a copying machine as an image forming apparatus according to Embodiment 3 of the present invention.
FIG. 11 is a block diagram showing a configuration of a personal computer as an image processing device according to Embodiment 4 of the present invention.
FIG. 12 is a flowchart illustrating a procedure of a tone correction process of the personal computer according to the fourth embodiment of the present invention.
FIG. 13 is a characteristic diagram illustrating an example of a gradation correction characteristic.
[Explanation of symbols]
1 Digital camera
2 Printer
3 Copier
4 PC
10,20,30,40 CPU
13 CCD camera section
23 Interface
33 Reading unit
14, 24, 34 Image processing unit
26,36 Recorder
41 ROM
42 RAM
5 Gradation correction unit
51 Edge strength extraction unit
52 Edge histogram generator
53 coefficient calculator
54 Weight histogram generator
55 Tone correction characteristic calculator
56 Correction processing unit
7 Recording media

Claims (8)

処理対象の画像データの第1特徴量に基づく階調補正特性を用いて前記画像データを階調補正してなる画像データを生成する画像処理方法において、
処理対象の画像データの前記第1特徴量とは異なる第2特徴量を抽出し、抽出した第2特徴量に基づく重み係数を算出し、算出した重み係数及び前記第1特徴量に基づく階調補正特性を用いて前記画像データを階調補正してなる画像データを生成することを特徴とする画像処理方法。
An image processing method for generating image data obtained by performing tone correction on image data using tone correction characteristics based on a first feature amount of image data to be processed,
A second feature value different from the first feature value of the image data to be processed is extracted, a weight coefficient based on the extracted second feature value is calculated, and a gradation based on the calculated weight factor and the first feature value is calculated. An image processing method comprising generating image data obtained by performing gradation correction on the image data using correction characteristics.
入力画像データの第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成する画像処理装置において、
前記第1特徴量とは異なる入力画像データの第2特徴量を抽出する特徴量抽出手段と、
抽出した第2特徴量に基づく重み係数を算出する係数算出手段と、
算出した重み係数及び前記第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成する手段とを備えることを特徴とする画像処理装置。
An image processing apparatus for generating image data obtained by performing tone correction on input image data using tone correction characteristics based on a first feature amount of input image data,
A feature value extracting unit configured to extract a second feature value of the input image data different from the first feature value;
Coefficient calculating means for calculating a weighting coefficient based on the extracted second feature amount;
Means for generating image data obtained by performing tone correction on the input image data using the calculated weighting coefficient and the tone correction characteristic based on the first feature amount.
前記係数算出手段は、前記第2特徴量に関する基準値を求める手段と、
求めた基準値及び前記第2特徴量の大小に応じて、入力画像データの画素毎に重み係数を算出する手段とを備えることを特徴とする請求項2に記載の画像処理装置。
Means for calculating a reference value for the second feature value,
3. The image processing apparatus according to claim 2, further comprising: means for calculating a weight coefficient for each pixel of the input image data according to the obtained reference value and the magnitude of the second feature amount.
前記係数算出手段は、前記基準値より小さい第2特徴量に基づく重み係数を求める場合、第2特徴量の増加に対して単調に増加する関数を用いるよう構成してあることを特徴とする請求項3に記載の画像処理装置。The coefficient calculating means is configured to use a function that increases monotonically with an increase in the second feature amount when obtaining a weighting factor based on the second feature amount smaller than the reference value. Item 4. The image processing device according to item 3. 第2特徴量としてエッジ強度を用い、前記特徴量抽出手段は、近傍画素間でのエッジの勾配が所定の範囲にある画像領域のエッジ強度を強調して抽出する手段を備えることを特徴とする請求項2乃至4の何れかに記載の画像処理装置。An edge strength is used as a second feature quantity, and the feature quantity extracting means includes means for enhancing and extracting an edge strength of an image region in which an edge gradient between neighboring pixels is within a predetermined range. The image processing device according to claim 2. 請求項2乃至5の何れかに記載の画像処理装置と、該画像処理装置へ画像データを入力する手段と、前記画像処理装置で生成された画像データを用いて画像を形成する手段とを備えることを特徴とする画像形成装置。6. An image processing apparatus according to claim 2, comprising: means for inputting image data to the image processing apparatus; and means for forming an image using the image data generated by the image processing apparatus. An image forming apparatus comprising: 請求項2乃至5の何れかに記載の画像処理装置と、画像を撮像してなる画像データを前記画像処理装置へ入力する手段とを備えることを特徴とする撮像装置。An imaging apparatus comprising: the image processing apparatus according to claim 2; and a unit configured to input image data obtained by capturing an image to the image processing apparatus. コンピュータに、入力画像データの第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成させるコンピュータプログラムにおいて、
コンピュータに、前記第1特徴量とは異なる入力画像データの第2特徴量を抽出させるステップと、
コンピュータに、抽出された第2特徴量に基づく重み係数を算出させるステップと、
コンピュータに、算出された重み係数及び前記第1特徴量に基づく階調補正特性を用いて入力画像データを階調補正してなる画像データを生成させるステップとを実行させることを特徴とするコンピュータプログラム。
A computer program for causing a computer to generate image data obtained by performing tone correction on input image data using tone correction characteristics based on a first feature amount of input image data,
Causing the computer to extract a second feature amount of the input image data different from the first feature amount;
Causing the computer to calculate a weighting coefficient based on the extracted second feature amount;
Causing the computer to generate image data obtained by performing tone correction on the input image data using the calculated weighting coefficient and the tone correction characteristic based on the first feature amount. .
JP2003103286A 2003-04-07 2003-04-07 Image processing method, image processing apparatus, image forming apparatus, imaging apparatus, and computer program Expired - Fee Related JP4079814B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003103286A JP4079814B2 (en) 2003-04-07 2003-04-07 Image processing method, image processing apparatus, image forming apparatus, imaging apparatus, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003103286A JP4079814B2 (en) 2003-04-07 2003-04-07 Image processing method, image processing apparatus, image forming apparatus, imaging apparatus, and computer program

Publications (2)

Publication Number Publication Date
JP2004312387A true JP2004312387A (en) 2004-11-04
JP4079814B2 JP4079814B2 (en) 2008-04-23

Family

ID=33466480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003103286A Expired - Fee Related JP4079814B2 (en) 2003-04-07 2003-04-07 Image processing method, image processing apparatus, image forming apparatus, imaging apparatus, and computer program

Country Status (1)

Country Link
JP (1) JP4079814B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006026307A2 (en) * 2004-08-27 2006-03-09 Micron Technology, Inc. Apparatus and method for processing images
JP2006270326A (en) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd Coder, coding method and program
JP2007091375A (en) * 2005-09-27 2007-04-12 Hitachi Ltd Group-management system for elevator and its control method
WO2007043460A1 (en) * 2005-10-12 2007-04-19 Matsushita Electric Industrial Co., Ltd. Visual processing apparatus, display apparatus, visual processing method, program and integrated circuit
WO2007122966A1 (en) * 2006-04-19 2007-11-01 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
JP2007336419A (en) * 2006-06-19 2007-12-27 Matsushita Electric Ind Co Ltd Luminance conversion apparatus
JP2008271096A (en) * 2007-04-19 2008-11-06 Mitsubishi Denki Micom Kiki Software Kk Method and device for correcting gray balance of image data, and storage medium
KR100940490B1 (en) 2008-03-26 2010-02-04 삼성탈레스 주식회사 Apparatus for improving a quality of an image
JP2010220032A (en) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd Video signal processing method and video signal processing apparatus
JP2010257404A (en) * 2009-04-28 2010-11-11 Regulus Co Ltd Image processing apparatus and image processing program
US7881550B2 (en) 2006-04-28 2011-02-01 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
JP2011091595A (en) * 2009-10-22 2011-05-06 Kyocera Mita Corp Image processor, image processing method and image forming apparatus
KR101783006B1 (en) * 2016-10-17 2017-09-28 (주)이오닉스 Illumination Device and Control Method Thereof
KR101783008B1 (en) * 2016-10-17 2017-09-28 (주)이오닉스 Illumination Device and Control Method Thereof
CN111783583A (en) * 2020-06-22 2020-10-16 西安电子科技大学 SAR image speckle suppression method based on non-local mean algorithm

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006026307A3 (en) * 2004-08-27 2006-06-15 Micron Technology Inc Apparatus and method for processing images
JP2008512051A (en) * 2004-08-27 2008-04-17 マイクロン テクノロジー インコーポレイテッド Apparatus and method for processing images
WO2006026307A2 (en) * 2004-08-27 2006-03-09 Micron Technology, Inc. Apparatus and method for processing images
JP2006270326A (en) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd Coder, coding method and program
JP2007091375A (en) * 2005-09-27 2007-04-12 Hitachi Ltd Group-management system for elevator and its control method
JP4573741B2 (en) * 2005-09-27 2010-11-04 株式会社日立製作所 Elevator group management system and control method thereof
JP2009277222A (en) * 2005-10-12 2009-11-26 Panasonic Corp Visual processing apparatus, television, information mobile terminal, camera, visual processing method, and processor
WO2007043460A1 (en) * 2005-10-12 2007-04-19 Matsushita Electric Industrial Co., Ltd. Visual processing apparatus, display apparatus, visual processing method, program and integrated circuit
US8311357B2 (en) 2005-10-12 2012-11-13 Panasonic Corporation Visual processing device, display device, visual processing method, program, and integrated circuit
US7881549B2 (en) 2005-10-12 2011-02-01 Panasonic Corporaiton Visual processing device, display device, visual processing method, program, and integrated circuit
JP4558806B2 (en) * 2006-04-19 2010-10-06 パナソニック株式会社 Visual processing device, visual processing method, program, display device, and integrated circuit
US7894684B2 (en) 2006-04-19 2011-02-22 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
US8406547B2 (en) 2006-04-19 2013-03-26 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
WO2007122966A1 (en) * 2006-04-19 2007-11-01 Panasonic Corporation Visual processing device, visual processing method, program, display device, and integrated circuit
CN102438097B (en) * 2006-04-19 2015-06-03 松下电器(美国)知识产权公司 Visual processing device, visual processing method
JP2008159071A (en) * 2006-04-19 2008-07-10 Matsushita Electric Ind Co Ltd Visual processing device, visual processing method, program, display device, and integrated circuit
KR101314453B1 (en) 2006-04-19 2013-10-07 파나소닉 주식회사 Visual processing device, visual processing method, program, display device, and integrated circuit
US7903898B2 (en) 2006-04-28 2011-03-08 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
US7881550B2 (en) 2006-04-28 2011-02-01 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
US8401324B2 (en) 2006-04-28 2013-03-19 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
JP2007336419A (en) * 2006-06-19 2007-12-27 Matsushita Electric Ind Co Ltd Luminance conversion apparatus
JP4550016B2 (en) * 2006-06-19 2010-09-22 パナソニック株式会社 Brightness converter
JP2008271096A (en) * 2007-04-19 2008-11-06 Mitsubishi Denki Micom Kiki Software Kk Method and device for correcting gray balance of image data, and storage medium
KR100940490B1 (en) 2008-03-26 2010-02-04 삼성탈레스 주식회사 Apparatus for improving a quality of an image
JP2010220032A (en) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd Video signal processing method and video signal processing apparatus
JP2010257404A (en) * 2009-04-28 2010-11-11 Regulus Co Ltd Image processing apparatus and image processing program
JP2011091595A (en) * 2009-10-22 2011-05-06 Kyocera Mita Corp Image processor, image processing method and image forming apparatus
KR101783006B1 (en) * 2016-10-17 2017-09-28 (주)이오닉스 Illumination Device and Control Method Thereof
KR101783008B1 (en) * 2016-10-17 2017-09-28 (주)이오닉스 Illumination Device and Control Method Thereof
CN111783583A (en) * 2020-06-22 2020-10-16 西安电子科技大学 SAR image speckle suppression method based on non-local mean algorithm
CN111783583B (en) * 2020-06-22 2024-02-20 西安电子科技大学 SAR image speckle suppression method based on non-local mean algorithm

Also Published As

Publication number Publication date
JP4079814B2 (en) 2008-04-23

Similar Documents

Publication Publication Date Title
JP4331159B2 (en) Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium therefor
JP2008227759A (en) Image processing device, image forming device, image processing method, image processing program, and computer readable recording medium
JP4079814B2 (en) Image processing method, image processing apparatus, image forming apparatus, imaging apparatus, and computer program
JP2009038537A (en) Image processor, image formation device, image processing program, and recording medium for recording image processing program therein
JP4731595B2 (en) Image processing apparatus, image forming apparatus, computer program, recording medium, and image processing method
JP2003219191A (en) Image processor and image forming apparatus comprising it
JP4596964B2 (en) Image processing apparatus, image forming apparatus, image processing method, computer program, and recording medium
JP4112413B2 (en) Image processing apparatus, image forming apparatus, image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded
JP2006262404A (en) Device and method for estimating light source, image processor, and method for image processing
JP7266462B2 (en) IMAGE PROCESSING APPARATUS, IMAGE FORMING APPARATUS, IMAGE PROCESSING METHOD AND PROGRAM
JP4040528B2 (en) Image processing apparatus, image processing method, image processing program, recording medium storing image processing program, and image forming apparatus including image processing apparatus
JP2013074309A (en) Image processing apparatus, image forming apparatus, image processing method, computer program and recording medium
JP5058183B2 (en) Image processing apparatus, image forming apparatus including the same, image processing program, and recording medium
JP4099366B2 (en) Image processing apparatus, image reading apparatus, image forming apparatus, and image processing method
JP4149368B2 (en) Image processing method, image processing apparatus and image forming apparatus, computer program, and computer-readable recording medium
JP2004248103A (en) Image processing device, image reading device, image forming device, image processing method, image processing program, and computer readable record medium recording the same
JP2004032427A (en) Image processing method, image processing device, image forming device provided with it, image pick-up device, computer program, and recording medium
JP2005191890A (en) Image processing device, image processing method, image processing program, recording medium stored with image processing program and image forming apparatus with image processor
JP4101741B2 (en) Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium
JP5011223B2 (en) Image processing apparatus, image forming apparatus including the same, image processing program, and recording medium
JP2004214908A (en) Image processing apparatus and image forming apparatus provided with the same
JP4176656B2 (en) Image processing apparatus, image processing method, image forming apparatus, image processing program, and recording medium recording the program
JP2010278924A (en) Image processing apparatus, image forming apparatus, image processing method, program, and recording medium
JP4808282B2 (en) Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium for recording image processing program
JP2002314827A (en) Image processing method, image processing device, image forming device equipped therewith, image processing program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees