JP2003051947A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2003051947A5 JP2003051947A5 JP2002186044A JP2002186044A JP2003051947A5 JP 2003051947 A5 JP2003051947 A5 JP 2003051947A5 JP 2002186044 A JP2002186044 A JP 2002186044A JP 2002186044 A JP2002186044 A JP 2002186044A JP 2003051947 A5 JP2003051947 A5 JP 2003051947A5
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- conversion
- distribution
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
【発明の名称】画像処理装置および画像処理方法
【特許請求の範囲】
【請求項1】複数の画素からなる画像の画像データを各画素単位で入力して所定の変換処理を施して出力する画像処理装置であって、
各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換することを特徴とする画像処理装置。
【請求項2】上記請求項1に記載の画像処理装置において、上記算出した広がり量に基づいて分布密度の小さい階調範囲に少ない階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換することを特徴とする画像処理装置。
【請求項3】上記請求項1または請求項2のいずれかに記載の画像処理装置において、上記輝度分布の広がり量は標準偏差に対応する値を利用し、輝度分布の標準偏差が大きいときに入出力比を小さくして階調数の割り当てを均一化するとともに、標準偏差が小さいときに入出力比を大きくして階調数の割り当て変化を拡大化することを特徴とする画像処理装置。
【請求項4】上記請求項3に記載の画像処理装置において、輝度分布にγ補正を行うとともに標準偏差が大きいときにγ補正による変化量が小さくなるようにγの値を設定し、標準偏差が小さいときにγ補正の変化量が大きくなるようにγの値を設定することを特徴とする画像処理装置。
【請求項5】上記請求項4に記載の画像処理装置において、輝度分布の概略中心位置を求めるとともに、この概略中心位置を基準として高輝度側と低輝度側とで輝度変換の極性を反転させることにより入力と出力との関係で概略S字カーブの輝度変換を行うことを特徴とする画像処理装置。
【請求項6】上記請求項1〜請求項5に記載の画像処理装置において、変換元の輝度の取りうる範囲内で変換先の輝度を演算して記憶しておき、変換時にはこの対応関係を呼び起こして変換することを特徴とする画像処理装置。
【請求項7】上記請求項1〜請求項6に記載の画像処理装置において、画像データが輝度に対応した複数の成分値で表される場合において、輝度の演算を同成分値の線形加算で求めることを特徴とする画像処理装置。
【請求項8】上記請求項1〜請求項7に記載の画像処理装置において、画像データについて所定の抽出率に対応した間引きを行って輝度分布を求めることを特徴とする画像処理装置。
【請求項9】上記請求項8に記載の画像処理装置において、縦方向と横方向の範囲での短い側において所定の抽出数が確保されるようにすることを特徴とする画像処理装置。
【請求項10】上記請求項1〜請求項9に記載の画像処理装置において、コントラストの強調程度に制限を設定することを特徴とする画像処理装置。
【請求項11】上記請求項1〜請求項10に記載の画像処理装置において、輝度分布に基づいて二値画像データを判定するとともに、二値画像データであればコントラストの強調を行わないことを特徴とする画像処理装置。
【請求項12】上記請求項11に記載の画像処理装置において、再現可能な範囲内の両端に輝度分布が集中しているときに白黒の二値画像データであると判断することを特徴とする画像処理装置。
【請求項13】上記請求項1〜請求項12に記載の画像処理装置において、突出する輝度分布に基づいて画像データの枠部を判定するとともに、枠部があれば枠部のデータをコントラストの強調に利用しないことを特徴とする画像処理装置。
【請求項14】上記請求項13に記載の画像処理装置において、再現可能な範囲内での端部に集中している輝度分布が枠部であると判定することを特徴とする画像処理装置。
【請求項15】上記請求項1〜請求項14に記載の画像処理装置において、画像データが自然画でない場合にコントラストの強調を行わないことを特徴とする画像処理装置。
【請求項16】上記請求項15に記載の画像処理装置において、輝度分布がスペクトル状に存在する場合に上記画像データが自然画でないと判定する自然画判定手段を備えることを特徴とする画像処理装置。
【請求項17】複数の画素からなる画像の画像データを各画素単位で入力して所定の変換処理を施して出力する画像処理方法であって、
各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換することを特徴とする画像処理方法。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、ドットマトリクス状の画像データのコントラストを強調させる画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
スキャナで写真を取り込んだり、デジタルスチルカメラで撮影した画像データはドットマトリクス状に構成されている。取り込んだ画像データが好ましい状態であれば良いものの、デジタル画像の特性を活かして好みに応じた修正を行いたいこともある。特に、コントラストが弱い場合、これまでのカラーフィルムを使用した写真であれば修正が困難であり、そのような写真は撮り直さざるを得ないものの、デジタル画像であれば画像修正ソフトなどを使用してコントラストの強調も可能である。
【0003】
すなわち、従来よりこのようなデジタル画像データを修正するために画像修正ソフトが利用されており、コンピュータ上にて起動することにより、オペレータは各種の修正が可能となっている。例えば、上述したようなコントラストの強調であれば輝度の拡大操作をすることによって可能である。より具体的には、変換元の輝度と変換先の輝度との対応関係を正比例状態から適度にS字状に歪めた状態に変更せしめることにより、変換元でのある幅をもった輝度が変換先でより広い幅となるよう対応づけることができる。
【0004】
【発明が解決しようとする課題】
上述した従来の画像処理装置においては、オペレータの操作によってコントラストを強調させる処理が可能ではあるものの、必要なパラメータの値は勘によって与えるしかなく、画像データの処理に慣れていない者にとっては思い通りにコントラストを強調できず、薄暮の写真が真昼のようになってしまったりするなど、操作性の課題があった。
【0005】
本発明は、上記課題にかんがみてなされたもので、オペレータの勘に頼る操作を不要とすることが可能な画像処理装置および画像処理方法の提供を目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、複数の画素からなる画像の画像データを各画素単位で入力して所定の変換処理を施して出力する画像処理装置であって、各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換する構成としてある。
【0007】
上記のように構成した発明においては、複数の画素からなる画像の画像データを処理の対象として所定の変換処理を施して出力する。このとき、まず、各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求める。次に、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当てる。そして、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換する。
例えば、ある幅に輝度分布が集中していたとするときに、その幅を広げるように階調数を与えればコントラストが強調されて明暗がはっきりする。
このとき、輝度分布が集中していないような部分に割り当てられていた階調数を減らしても支障はない。
このため、請求項2にかかる発明は、上記請求項1に記載の画像処理装置において、上記算出した広がり量に基づいて分布密度の小さい階調範囲に少ない階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換する構成としてある。
【0008】
むろん、輝度分布の集中がなくまんべんに広がっているような場合には階調数の割り当てをあえて変化させる必要はない。
【0009】
このような輝度分布の広がり量を求める作業は、従来の操作でオペレータが行っていた勘に頼って検知していたものであり、この広がり量に応じて階調数をどの範囲に多く割り当てるかという操作は、オペレータが与えていたパラメータを設定することに対応する。
【0010】
ここにおいて、輝度分布からその広がり量を求めるにあたっては各種の手法が可能である。既知の広がり量に対応する値を求めるものであっても良いし、計算量を軽減するための処置を施して広がり量を求めるものであっても良い。既知の広がり量を利用するものとして、請求項3にかかる発明は、上記請求項1に記載の画像処理装置において、上記輝度分布の広がり量は標準偏差に対応する値を利用し、輝度分布の標準偏差が大きいときに入出力比を小さくするとともに、標準偏差が小さいときに入出力比を大きくする構成としてある。
【0011】
上記のように構成した発明においては、標準偏差は平均値に対して個々の要素のバラツキ量を表すものであるから、バラツキが多ければ輝度の変換は必要なく、入出力比を大きくして階調数の割り当て変化を拡大化するような変換は必要ない。すなわち、輝度分布が集中していることもないので階調数の割り当てを大きくしたり小さくしたりする必要はない。しかしながら、標準偏差が小さいということはバラツキが少ないことを意味し、その場合には輝度分布が集中していることになるので、分布密度の大きい範囲に多くの階調数を与えてコントラストを強調させる。
【0012】
むろん、標準偏差はバラツキを表すものとして使用するので、分散と同義であるし、その計算課程においては必ずしもサンプル数による除算などを必要とするわけでもない。
【0013】
階調数を多く与えたり少なく与えたりするというのは、概ね入出力比に対応するものであり、階調数を多く与えるのであれば、入力側で与えられていた階調数よりもたくさんの階調数を与えてその範囲内で階調を広げることになり、コントラストの強調にあたる。一方、階調数の総数を増減させることはできないので、ある範囲に階調数を多く与えればその反動として残りの範囲には階調数を多く与えることができなくなり、入力側で与えられていた階調数よりも少ない階調数が与えられてその範囲内でコントラストが狭められることになる。
【0014】
このような階調数の与え方は個々の階調毎にどのように変換するかを定めることも可能であるが、より簡便な例とし、請求項4にかかる発明は、上記請求項3に記載の画像処理装置において、輝度分布にγ補正を行うとともに標準偏差が大きいときにγ補正による変化量が小さくなるようにγの値を設定し、標準偏差が小さいときにγ補正の変化量が大きくなるようにγの値を設定する構成としてある。
【0015】
上記のように構成した発明においては、γ補正の手法によって上に凸となったり下に凸となったりする対応関係を与えるものであり、上に凸となる場合には前半部分に階調数を多く割り当てることになるとともに後半部分に少ない階調数を割り当てることになり、また、下に凸となる場合には前半部分に少ない階調数を割り当てることになるとともに後半部分に階調数を多く割り当てることになる。そして、かかる割り当て量の大小はγ補正による変化量で適宜調整でき、与えるγの値にて対応している。
【0016】
このγ補正の一対応として、請求項5にかかる発明は、上記請求項4に記載の画像処理装置において、輝度分布の概略中心位置を求めるとともに、この概略中心位置を基準として高輝度側と低輝度側とで輝度変換の極性を反転させることにより入力と出力との関係で概略S字カーブの輝度変換を行う構成としてある。
【0017】
上記のように構成した発明においては、γ補正による輝度変換の極性を反転させるべく、高輝度側でγ<1のγ補正をするとともに低輝度側でγ>1のγ補正をすることにより、下に凸のカーブと上に凸のカーブとが連続することになり、いわゆるS字カーブの入出力関係が成立する。ここにおいてその中央部分には階調数を多く割り当てることになるから、輝度分布の概略中心に二つのカーブの連続点を持ってくるようにすれば輝度分布を拡大したい範囲に多くの階調数を割り当てることが可能となる。
【0018】
各種の手法で輝度を変換するにあたり、請求項6にかかる発明は、上記請求項1〜請求項5に記載の画像処理装置において、変換元の輝度の取りうる範囲内で変換先の輝度を演算して記憶しておき、変換時にはこの対応関係を呼び起こして変換することを構成としてある。
【0019】
変換式に基づいて輝度を毎回計算することも不可能ではないが、輝度分布のとりうる値の範囲は決まっている。このため、あらかじめ変換元の輝度に基づいて変換先の輝度を演算して記憶しておけば、変換時に対応関係を呼び起こすだけで変換することが可能となる。
【0020】
輝度を変換するにあたっては画像データが輝度のデータとして含んでいる場合もあるし、間接的でしか輝度のデータを含んでいない場合もある。むろん、直接の輝度のデータを含んでいればそれを変換すればよいし、間接的な輝度のデータである場合でも輝度のデータに変換してから所定の輝度変換を行えばよい。しかしながら、輝度の変換は極めて正確でなければならないわけではなく、大まかに分かれば良いともいえる。
【0021】
その意味では厳格な正確さが要求されるわけではないので、請求項7にかかる発明は、上記請求項1〜請求項6に記載の画像処理装置において、画像データが輝度に対応した複数の成分値で表される場合において、輝度の演算を同成分値の線形加算で求めることを構成としてある。
【0022】
画像データがいわゆるRGB(赤緑青)の階調データで表されている場合、赤緑青についての各成分値はそれぞれが輝度に対応しているといえる。このため、同成分値の線形加算は十分に輝度を表すものといえ、極めて容易な変換手法となりうる。
【0023】
各画素についての輝度が求められるものとして、画像としての輝度分布は必ずしも画像データの全画素について求める必要がなく、例えば、請求項8にかかる発明は、上記請求項1〜請求項7に記載の画像処理装置において、画像データについて所定の抽出率に対応した間引きを行って輝度分布を求めることを構成としてある。
【0024】
分布を求めることを目的とすれば、全画素に対して輝度を求めることなく、所定の抽出率で間引きを行なったとしても抽出率に応じた程度の確かさの輝度分布を得ることができる。
【0025】
ここにおいて、間引く手法も様々であるものの、請求項9にかかる発明は、上記請求項8に記載の画像処理装置において、縦方向と横方向の範囲での短い側において所定の抽出数が確保されるようにすることを構成としてある。
【0026】
画像は平面的であるが故、自ずからその画像データも縦方向と横方向とに分布するが、ある抽出率を決定するにあたっては、少なくとも短い側においてある抽出数を確保することにより、抽出率に応じた確かさを保持することになる。
【0027】
さらに、請求項10にかかる発明は、上記請求項1〜請求項9に記載の画像処理装置において、コントラストの強調程度に制限を設定することを構成としてある。
【0028】
コントラストが狭いことが当然の場合がある。例えば、夕方の風景であれば輝度分布の幅が狭いのは自然であり、これを必要以上に拡大してしまうと昼の風景となってしまう。同様の例は他の場合においてもあり得ることで、輝度分布の拡大範囲に制限を設定することにより、かかる現象を回避する。
【0029】
さらに、請求項11にかかる発明は、上記請求項1〜請求項10に記載の画像処理装置において、輝度分布に基づいて二値画像データを判定するとともに、二値画像データであればコントラストの強調を行わないことを構成としてある。
【0030】
二値画像については実質的な意味での輝度分布はないといえるので、輝度分布から二値画像データを判定したらコントラストの強調は行わないようにしている。
【0031】
二値画像データはある色を持ったものでもあり得るため、その色の有りと無しに対応する二つの輝度となりうる。その色の輝度か否かを判定することも可能であるが、それを示唆する情報がない場合に対応し、請求項12にかかる発明は、上記請求項11に記載の画像処理装置において、再現可能な範囲内の両端に輝度分布が集中しているときに白黒の二値画像データであると判断することを構成としてある。
【0032】
すなわち、白黒画像については再現可能な範囲内の両端に輝度分布が集中しているといえ、判断可能となる。
【0033】
さらに、請求項13にかかる発明は、上記請求項1〜請求項12に記載の画像処理装置において、突出する輝度分布に基づいて画像データの枠部を判定するとともに、枠部があれば枠部のデータについてコントラストの強調に利用しない構成としてある。
【0034】
画像を処理する場合に頻繁に起こり得るのは枠を持っていることであり、単色の枠として存在すれば当然にその色に対応する輝度分布だけが突出する。従って、かかる突出した輝度分布をもってして強調の判断の基準とすれば有効な判断ができなくなり得るから、枠部と判断してコントラストの強調に利用しない。
【0035】
さらに、その一例として、請求項14にかかる発明は、上記請求項13に記載の画像処理装置において、再現可能な範囲内での端部に集中している輝度分布が枠部であると判定することを構成としてある。
【0036】
白枠あるいは黒枠は頻繁にあり採用されるし、トリミングの結果によっても生じ得るものであり、再現可能な範囲内での端部に該当する。従って、この端部に集中している輝度分布を枠部と判定する。
【0037】
ところで、請求項15にかかる発明は、上記請求項1〜請求項14に記載の画像処理装置において、画像データが自然画でない場合にコントラストの強調を行わない構成としてある。
【0038】
コントラストの幅の狭さが問題となりやすいのは写真のような自然画であり、ビジネスグラフのようなものでは殆ど必要が無いと言える。逆に、ビジネスグラフのようなものについて手を加えることが作り手のイメージと異ならせる結果になりかねない。従って、このような自然画の場合にだけ輝度分布を拡大するようにしている。
【0039】
自然画か否かの判断の一例として、請求項16にかかる発明は、上記請求項15に記載の画像処理装置において、輝度分布がスペクトル状に存在する場合に上記画像データが自然画でないと判定する自然画判定手段を備えることを構成としてある。
【0040】
自然画の特徴として輝度分布が滑らかに幅を持つことが言える。従って、輝度分布が線スペクトル状に表れていれば自然画でないと判断して概ね差し支えない。上記のように構成した請求項16にかかる発明においては、自然画判定手段が輝度分布の状態を判定し、線スペクトル状に存在する場合に画像データが自然画でないと判定し、これにより輝度分布の拡大が行われなくなる。
【0041】
さらに、請求項17にかかる発明は、ドットマトリクス状の画像データにおける各画素単位の輝度相当値について、同輝度相当値を入力して所定の変換処理を施して出力することにより、入力と出力との関係でコントラストを強調せしめる変換を行なうにあたり、上記画像データにおける輝度分布を求めて同輝度分布の広がり量を算出し、かかる広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる構成としてある。
【0042】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【0043】
ところで、このような画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては、各種の態様を含むものである。また、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
【0044】
その一例として、入力される複数の画素からなる画像の画像データに基づいて印刷インクに対応した画像データに変換し、所定のカラープリンタに印刷せしめるプリンタドライバにおいても、各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当てる対応関係となるように、入力と出力と間で変換処理を施してコントラストを強調せしめる構成とすることができる。
【0045】
すなわち、プリンタドライバは入力された画像データを印刷インクに対応して変換するが、このとき各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当てる対応関係となるように、入力と出力と間で変換処理を施してコントラストを強調せしめるように入力画像を変換し、印刷させる。
【0046】
発明の思想の具現化例として画像処理装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。
【0047】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。さらには、カラーファクシミリ機やカラーコピー機などの画像処理装置においても適用可能であることはいうまでもない。
【0048】
【発明の効果】
以上説明したように本発明は、輝度分布の広がり量から自動的にコントラストの強調程度を判断するため、非熟練者でも容易にコントラストを適正量だけ強調せしめることが可能な画像処理装置を提供することができる。
【0049】
また、請求項3にかかる発明によれば、よく知られている標準偏差に基づいて入出力比を定めるだけであり、構成が容易となる。
【0050】
さらに、請求項4にかかる発明によれば、γ補正による変換であるので、構成が容易となる。
【0051】
さらに、請求項5にかかる発明によれば、輝度分布の概略中心位置を基準とした概略S字カーブの対応関係で輝度変換することによりコントラストを強調したい場合に効率よく分散した変換が可能となる。
【0052】
さらに、請求項6にかかる発明によれば、変換を容易にすることができる。
【0053】
さらに、請求項7にかかる発明によれば、必要十分な程度の正確さで輝度を容易に求めることができるようになる。
【0054】
さらに、請求項8にかかる発明によれば、処理量を減らすことができる。
【0055】
さらに、請求項9にかかる発明によれば、画像の抽出点の偏りを無くして輝度分布が正確になりやすくなる。
【0056】
さらに、請求項10にかかる発明によれば、コントラストを強調しすぎて画像の雰囲気を変えてしまわないようにすることができる。
【0057】
さらに、請求項11にかかる発明によれば、コントラスト強調の不要な条件を容易に判定して強調を行わないようにすることができるし、さらに、請求項12にかかる発明によれば、頻度の多い白黒画像を効率よく判定することができる。
【0058】
さらに、請求項13にかかる発明によれば、画像に表れがちな枠部の輝度によって処理が不正確になるのを防止することができ、さらに、請求項14にかかる発明によれば、頻度の多い白黒の枠部を容易に判定することができる。
【0059】
さらに、請求項15にかかる発明によれば、コントラストの強調が必要な自然画の場合にだけ行うようにすることができ、さらに、請求項16にかかる発明によれば、自然画か否かを容易に判定することができる。
【0060】
さらに、請求項17にかかる発明によれば、輝度分布の広がり量から自動的にコントラストの強調程度を判断するため、非熟練者でも容易にコントラストを適正量だけ強調せしめることが可能な画像処理方法を提供することができる。
【0061】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【0062】
図1は、本発明の一実施形態にかかる画像処理システムをブロック図により示しており、図2は具体的ハードウェア構成例をブロック図により示している。
【0063】
同図において、画像入力装置10は画像を撮像するなどして画像データを画像処理装置20へ出力し、同画像処理装置20は所定のコントラスト強調などの画像処理を行なって画像出力装置30に出力し、同画像出力装置30はコントラストを強調された画像を表示する。
【0064】
ここにおいて、画像入力装置10の具体例はスキャナ11やデジタルスチルカメラ12あるいはビデオカメラ14などが該当し、画像処理装置20の具体例はコンピュータ21とハードディスク22などからなるコンピュータシステムが該当し、画像出力装置30の具体例はプリンタ31やディスプレイ32等が該当する。むろん、これら以外にもカラーコピー機やカラーファクシミリ機などにも適用可能である。
【0065】
本画像処理システムにおいては、コントラストの弱い画像に対して最適なコントラストを与えようとしているものであるから、画像入力装置10としてのスキャナ11で写真を撮像した画像データであるとか、デジタルスチルカメラ12で撮影したコントラストの弱い画像データであるとか、ビデオカメラ14で撮影した動画画像などが処理の対象となり、画像処理装置20としてのコンピュータシステムに入力される。なお、ビデオカメラ14の入力画像については、演算速度が間に合わないこともあり得る。そのような場合には演算時間を要する最初の条件設定を撮影のシーンごとに行っておき、撮影中は同じ条件設定のもとで各フレームの画像変換だけを行なうということによって対処可能である。
【0066】
本画像処理装置20は、少なくとも、輝度の分布を抽出する輝度分布検出手段と、この検出された輝度分布に基づいて先ず輝度分布の広がり量を検出する輝度分布広がり量検出手段と、この広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる階調数割当手段と、割り当てられた輝度の階調に基づいて画像データを変換する画像データ変換手段とを構成する。むろん、本画像処理装置20は、この他にも機種毎による色の違いを補正する色変換手段であったり、機種毎に対応した解像度を変換する解像度変換手段などを構成していても構わない。この例では、コンピュータ21はRAMなどを使用しながら、内部のROMやハードディスク22に保存されている各画像処理のプログラムを実行していく。
【0067】
この画像処理のプログラムの実行結果は後述するようにコントラストを強調した画像データとして得られ、得られた画像データに基づいて画像出力装置30であるプリンタ31で印刷したり、同じ画像出力装置30であるディスプレイ32に表示する。なお、この画像データは、より具体的にはRGB(緑、青、赤)の階調データとなっており、また、画像は縦方向(height)と横方向(width)に格子状に並ぶドットマトリクスデータとして構成されている。
【0068】
本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とする訳ではなく、図3に示すようにデジタルスチルカメラ12a内にコントラストを強調する意味での画像処理装置を組み込み、変換した画像データを用いてディスプレイ32aに表示させたりプリンタ31aに印字させるようなシステムであっても良い。また、図4に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ31bにおいては、スキャナ11bやデジタルスチルカメラ12bあるいはモデム13b等を介して入力される画像データを自動的にコントラスト強調するように構成することも可能である。
【0069】
コンピュータ21にて実行する画像処理の内、輝度分布検出手段と輝度分布広がり量検出手段とに相当する輝度の分布検出処理を図5に示しており、階調数割当手段と画像データ変換手段とに相当する輝度変換処理を図6に示している。
【0070】
図5は主に輝度の分布検出処理に該当しており、まず、この輝度の分布検出処理について説明する。
【0071】
輝度をいかにして表すかについて説明する前に、分布対象となる画素について説明する。図5のステップS102で示すように対象となる画素を間引く間引き処理を実行する。図7に示すように、ビットマップの画像であれば、縦方向に所定ドットと横方向に所定ドットからなる二次元のドットマトリクスとして成り立っており、正確な輝度の分布を求めるのであれば全画素について輝度を調べる必要がある。しかしながら、この分布抽出処理は輝度分布の広がり量を求めることを目的としており、必ずしも正確である必要はない。従って、ある誤差の範囲内となる程度に間引きを行うことが可能である。統計的誤差によれば、サンプル数Nに対する誤差は概ね1/(N**(1/2))と表せる。ただし、**は累乗を表している。従って、1%程度の誤差で処理を行うためにはN=10000となる。
【0072】
ここにおいて、図7に示すビットマップ画面は(width)×(height)の画素数となり、サンプリング周期ratioは、
ratio=min(width,height)/A+1…(1)
とする。このmin(width,height)はwidthとheightのいずれか小さい方であり、Aは定数とする。また、ここでいうサンプリング周期ratioは何画素ごとにサンプリングするかを表しており、図8の○印の画素はサンプリング周期ratio=2の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。A=200としたときの1ライン中のサンプリング画素数は図9に示すようになる。
【0073】
同図から明らかなように、サンプリングしないことになるサンプリング周期ratio=1の場合を除いて、200画素以上の幅があるときには最低でもサンプル数は100画素以上となることが分かる。従って、縦方向と横方向について200画素以上の場合には(100画素)×(100画素)=(10000画素)が確保され、誤差を1%以下にできる。
【0074】
ここにおいてmin(width,height)を基準としているのは次のような理由による。例えば、図10(a)に示すビットマップ画像のように、width>>heightであるとすると、長い方のwidthでサンプリング周期ratioを決めてしまった場合には、同図(b)に示すように、縦方向には上端と下端の2ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、min(width,height)として、小さい方に基づいてサンプリング周期ratioを決めるようにすれば同図(c)に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。
【0075】
なお、この例では、縦方向と横方向の画素について正確なサンプリング周期で間引きを行うようにしている。これは、逐次入力される画素について間引きしながら処理する場合に好適である。しかし、全画素が入力されている場合には縦方向や横方向についてランダムに座標を指定して画素を選択するようにしても良い。このようにすれば、10000画素というような必要最低限の画素数が決まっている場合に10000画素となるまでランダムに抽出する処理を繰り返し、10000画素となった時点で抽出を止めればよくなる。
【0076】
このように選択した画素についての画素データがその成分要素として輝度を持っていればその輝度値を用いて分布を求めることが可能である。しかしながら、輝度値が直接の成分値となっていない画像データの場合でも、間接的には輝度を表す成分値を備えている。従って、輝度値が直接の成分値となっていない表色空間から輝度値が直接の成分値となっている表色空間への変換を行えば輝度値を得ることができる。
【0077】
このような異なる表色空間の間での色変換は変換式によって一義的に定まるものではなく、それぞれの成分値を座標とする色空間について相互に対応関係を求めておき、この対応関係を記憶した色変換テーブルを参照して逐次変換する必要がある。テーブルとする関係上、成分値は階調値として表され、三次元の座標軸を備えている256階調の場合には、約1670万個(256×256×256)の要素の色変換テーブルを持たなければならない。効率的な記憶資源の利用を考えた結果、すべての座標値についての対応関係を用意しておくのではなく、通常は適当なとびとびの格子点について対応関係を用意しておき、補間演算を併用するようにしている。この補間演算はいくつかの乗算や加算を経て可能となるものであるため、演算処理量は膨大となってくる。
【0078】
すなわち、フルサイズの色変換テーブルを使用するのであれば処理量としては少なくなるもののテーブルサイズが非現実的な問題となり、テーブルサイズを現実的なサイズにすれば演算処理量が非現実的となることが多い。
【0079】
このような状況に鑑み、本実施形態においては、テレビジョンなどの場合に利用されているように、RGBの三原色から輝度を求める次式の変換式を採用している。すなわち、P点での輝度yp についてはRGBの成分値(Rp,Gp,Bp )から、
yp=0.30Rp+0.59Gp+0.11Bp …(2)
とする。このようにすれば、三回の乗算と二回の加算だけで輝度値を求めることができるようになる。そして、全階調分に相当する配列の変数領域を利用して度数分布を求める。
【0080】
本実施形態においては、RGBの表色空間を対象としている結果、このような変換式を採用しているが、その背景には各成分値が色の明るさを示しているので、それぞれの成分値を単独で見た場合に輝度に線形に対応しているという性質がある。従って、よりおおざっぱに言えばそれぞれの加算割合を考慮することなく単に
yp=(Rp+Gp+Bp)/3 …(3)
というように簡略化することも不可能ではないし、さらには、
yp=Gp …(4)
というように、(3)式においても最も割合の大きい緑の成分値を輝度値としてしまうことも可能である。
【0081】
間引き処理では、選択した画素についてRGBの画像データから同時に輝度を求めて分布をとる。最終的にはステップS114にてこの分布に基づいてその広がり量に対応する標準偏差を求めることになるが、その前に考慮しておく事項がある。
【0082】
一つ目は画像が白黒画像のような二値画像である場合である。白黒画像を含めて二値画像であればコントラストの強調という概念は不適切である。図11に示すような白黒画像があったとすると、この画像に対する輝度分布は図12に示すように階調数の割り当て範囲内で両端に集中する。それも、基本的には階調「0」と階調「255」に集中する。
【0083】
従って、ステップS104で白黒チェックを行う場合には、階調「0」と階調「255」の画素数の和が、間引いて選択した画素数と一致するか否かで判断できる。そして、白黒画像の場合であれば以下の処理を実行することなく処理を中断するためにステップS106にて非拡大処理を実行する。本実施形態においては分布抽出処理と輝度変換処理とを大きく分けているので、この非拡大処理では後段の輝度変換処理も実行しないようなフラグを立てて当該分布抽出処理を終了している。
【0084】
二値データは白黒だけに限らず、色の付いた二値データもあり得る。このような場合も同様にコントラストの強調を図る処理は不要であり、分布状態を調べて二つの値(一方は概ね「0」)にしか分布が集中していなければ二値データとして処理の中断を図ればよい。
【0085】
二つ目は画像がビジネスグラフのようなものか写真のような自然画であるか否かを考慮する。自然画においてはコントラストの強調という処理が要求される場合があるものの、ビジネスグラフであるとか絵画のようなものではコントラストの強調を図らない方が好まれる場合が多い。従って、ステップS108では自然画か否かのチェックを行う。
【0086】
自然画では陰影を含めて色数が極めて多いがビジネスグラフやドロー系などのある種の絵画では色数が限られていることが多い。従って、色数が少なければ自然画ではないと判断することが可能である。色数を正確に判断しようとすれば上述したように1670万色のうちの何色を使用しているかを判別する必要があるが、現実的ではない。一方、ビジネスグラフのような極めて色数が少ない場合には異なる色であって同じ輝度になる確率は低い。すなわち、輝度によって概ねの色数を判断できる。色数が少なければ輝度の分布もまばらであり、ビジネスグラフのようなものでは線スペクトル状に表れる。このようなことから、ステップS108では256階調の輝度のうち分布数が「0」でない輝度値がいくつ表れているかカウントする。そして、概ね1/4となる「64」色(階調)以下であれば自然画でないと判断し、二値データの場合と同様、ステップS106にて非拡大処理を実行する。むろん、しきい値となる「64」色(階調)以下か否かについては適宜変更可能である。
【0087】
また、分布が線スペクトル状か否かは分布数が「0」でない輝度値の隣接割合で判断することも可能である。すなわち、分布数が「0」でない輝度値であって隣接する輝度値に分布数があるか否かを判断する。隣接する二つの輝度値のうち少なくとも一方で隣接していれば何もせず、両方で隣接していない場合にカウントを行い、その結果、「0」でない輝度値の数とカウント値との割合で判断すればよい。例えば、「0」でない輝度値の数が「64」であって、隣接しないものの数が「64」であれば線スペクトル状に分布していることが分かる。
【0088】
さらに、オペレーティングシステムを介して画像処理プログラムが実行されているような場合には、画像ファイルの拡張子で判断することも可能である。ビットマップファイルのうち、特に写真画像などではファイル圧縮がなされ、その圧縮方法を表すために暗示の拡張子が利用されることが多い。例えば、「JPG」という拡張子であれば、JPEGフォーマットで圧縮されていることが分かる。オペレーティングシステムがファイル名を管理していることから、プリンタドライバなどの側からオペレーティングシステムに問い合わせを出せば、同ファイルの拡張子が回答されることになるため、その拡張子に基づいて自然画であると判断してコントラストの強調を行うようにすればよい。また、「XLS」というようなビジネスグラフに特有の拡張子であればコントラストの強調を行わないと判断することもできる。
【0089】
三つ目に考慮することは、図13に示すように画像の周りに枠部があるか否かである。このような枠部が白色または黒色であれば、その輝度分布は図14に示すように、階調数の割り当て範囲内における両端に線スペクトル状に表れるとともに、内部の自然画に対応して両端以外の内側に滑らかな輝度分布としても表れる。
【0090】
むろん、枠部を輝度分布の考慮に入れない方が適切であるため、ステップS108の枠部のチェックでは階調「0」と階調「255」の画素数の和が十分に大きく、かつ、間引いて選択した画素数とは一致しないかを判断し、肯定的ならば枠部があると判定してステップS112にて枠部処理を実施する。この枠部処理では、枠部を無視するために輝度分布のうち階調「0」と階調「255」の画素数を「0」にセットする。これにより、以下の処理では枠部がないものと同様に扱うことができる。
【0091】
この例では白色または黒色の枠部を対象としているが、特定の色の枠がある場合も考えられる。このような場合、輝度分布が描く本来の滑らかなカーブの中で突出する線スペクトル状のものが表れる。従って、隣接する輝度値の間で大きく差が生じている線スペクトル状のものについては枠部として考えて輝度分布の対象としないようにすればよい。この場合、枠部以外でその色を使用していることがあり得るので、両隣の輝度値の平均を割り当てるようにしても良い。
【0092】
以上のような考慮を経た上で、コントラストの強調を行う場合にはステップS114で輝度分布の標準偏差を求めるとともに、後段の輝度変換処理のためにメジアンyMeを求めておく。標準偏差については二つの考え方があるが本実施形態においては、次式に基づいて演算する。
【0093】
【数1】
【0094】
標準偏差は輝度分布の広がり量に対応するものであるが、広がり量を表す意味では分散を利用してもよい。
【0095】
以上の処理が分布検出処理に該当し、次に、このようにして求めた輝度分布の広がり量である標準偏差σに基づいて画像データの変換を行なう輝度変換処理について説明する。なお、上述したようにステップS106にて非拡大処理を実行した場合には、ステップS202にて所定のフラグを参照してそれを検知し、以下の処理を行うことなく当該画像処理を終了する。
【0096】
輝度変換処理では、輝度分布の広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる。ここで、分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てるパターンについて説明する。変換前の輝度y(入力)と変換先の輝度Y(出力)が、
Y=y …(6)
というように正比例の関係にある場合、図15に示すように、再現可能範囲内の中央部分を基準として、変換前に割り当てられている階調範囲r0と変換後に割り当てられる階調範囲R0 は一致している。しかしながら、図16に示すように入出力の対応関係がいわゆるS字カーブとなると変換前に割り当てられている階調範囲r0 に対して変換後に割り当てられる階調範囲R1 ,R2 は大きくなり、割り当てられた階調数が多くなったことになる。一方、入力における低輝度側と高輝度側における階調範囲r0を外れた範囲についていえば、変換後に割り当てられる階調範囲は少なくなったことになる。
【0097】
すなわち、このような対応関係こそ、分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てることを意味する。ここにおいて、この対応関係を実現する具体的な割り当て手法は各種のものが可能である。図17は階調範囲の中心位置ymid から高輝度側の階調範囲上端までの領域に対してγ<1のγ補正を施したものであり、変換前の中心位置ymid から上方側四分点yq3までの階調範囲rに対する変換後の階調範囲Rは拡大している。同様に図18は階調範囲の中心位置ymid から低輝度側の階調範囲下端までの領域に対してγ>1のγ補正を施したものであり、変換前の中心位置ymid から下方側四分点yq1までの階調範囲rに対する変換後の階調範囲Rは拡大している。
【0098】
一方、これらの場合において、変換前の階調範囲rに対する変換後の階調範囲Rの比はγの与え方によって変化してくる。本実施形態においては、かかる比を輝度分布の広がり量である標準偏差σに基づいて制御している。すなわち、階調範囲の中心位置ymid を「128」として、この中心位置ymid 以下ではγ1を与えるとともに、中心位置ymid より大きい範囲ではγ2を与えるものとすると、
y≦128では、
γ1=(σstd_limit/σ)**a …(7)
y>128では、
γ2=(σ/σstd_limit)**a …(8)
とし、ステップS204にてこれらのパラメータ演算を実行する。なお、上述したようにこのパラメータ演算こそ階調数割当手段を構成する。ここにおいて、σstd_limitとaは変換結果を考慮して実験的に求めて与えたパラメータであり、本実施形態においてはσstd_limitを「128」とするとともにaを「0.1」としている。標準偏差σは概して「128」よりも小さな値となるからこれらの関係式では標準偏差σが大きいと、γ2とγ1はそれぞれ「1」に近づくことになり、S字カーブの傾斜は緩やかになる。これは、広がり量が大きいときに中心位置ymid を中心とする階調範囲rに対して変換先の階調範囲Rはさほど広くならないことを意味しており、より具体的には画像データの輝度が広く分布しているときには輝度範囲を拡大するような変換を行わないことを意味する。これに対して、標準偏差σが小さいと、γ2とγ1はそれぞれ「1」から離れることになり、S字カーブの傾斜は急になる。これは、広がり量が小さいときに中心位置ymid を中心とする階調範囲rに対して変換先の階調範囲Rが広く拡大されることを意味しており、より具体的には画像データの輝度が狭い範囲にしか分布していないときには輝度範囲を拡大させる変換を行なうことを意味する。
【0099】
この例のように、階調範囲を低輝度側と高輝度側との二つに分けるとともにそれぞれにγ補正を掛けるにあたり、γが互いに逆数となる関係を与えるようにすると、低輝度側と高輝度側との接続点で滑らかに接続することになり、良好なS字カーブを与えることができる。むろん、低輝度側と高輝度側とによってγ補正の極性を変えること自体がS字カーブの対応関係を形成し、変換前の輝度yに対して変換後の輝度Yを大きく変化させることができるようになる。
【0100】
本実施形態においては、S字カーブの対応関係をγ補正によって成立させているが、図19には階調範囲の中心位置ymid の前後においてY=f・y+gなる線形の対応関係で実現する例を示している。この例では下方側四分点yq1以下と上方側四分点yq3以上の領域で再び線形の対応関係を形成している。この例においても標準偏差σが大きいときに傾斜fを「1」に近づけ、標準偏差σが小さいときに傾斜fを「1」よりも大きくなるように対応づければよい。むろん、この場合においては対応関係の急激な変化を防止するため、図20に示すように二つの対応直線を滑らかに接続するようにしても良い。
【0101】
一方、輝度分布が階調範囲の中心に収まっている場合は上述したようなγ1,γ2の設定だけで良好な輝度変換が可能となるが、図21に示すように、輝度分布のメジアンyMeがやや低輝度側に寄っていたり、図22に示すように、輝度分布のメジアンyMeがやや高輝度側に寄っていたりする場合もある。
【0102】
これに対し、図23に示す例では全範囲に対してγ<1のγ補正を施しており、この場合は変換前の低輝度側の階調範囲rに対する変換後の階調範囲Rは拡大しているし、図24に示す例では全範囲に対してγ>1のγ補正を施しており、この場合は変換前の高輝度側の階調範囲rに対する変換後の階調範囲Rは拡大している。
【0103】
従って、ステップS114にて求めたメジアンyMeと階調範囲の中央位置である「128」との大小関係を比較し、図21に示すようにメジアンyMeが低輝度側の領域に偏っているようであれば、図23に示すような全範囲に対してγ<1のγ補正を施すことにより、変換前に分布密度の高かった低輝度側の階調範囲rが拡大することになる。また、図22に示すようにメジアンyMeが高輝度側の領域に偏っているようであれば、図24に示すような全範囲に対してγ>1のγ補正を施すことにより、変換前に分布密度の高かった高輝度側の階調範囲rが拡大することになる。このようにして必ずしもS字カーブの対応関係とすることなく階調数の割り当ての拡大や縮小は可能である。むろん、これらの場合においても、γはγ<1とするかγ>1とするかに応じて(7)式や(8)式に基づいて決定すればよい。
【0104】
さらには、図25に示す例では、階調「0」、下方側四分点yq1、中心位置ymid 、上方側四分点yq3、階調「255」という五点を基準点としつつ、階調「0」と中心位置ymid と階調「255」に対してはY=yとしつつ、下方側四分点yq1と上方側四分点yq3における変換点を標準偏差に基づいて決定する。そして、これらの五点を結ぶ対応関係をスプライン補間演算やニュートン補間で求めるようにしてもよい。むろん、中心位置ymid から下方側の三点や上方側の三点をそれぞれスプライン補間演算やニュートン補間で求めるようにしてもよい。
【0105】
ところで、変換前の階調範囲に対して余りにも大きな階調範囲を割り当てるとすると、却って好ましくないことになる場合もある。夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けていおき、γ1,γ2ともに制限する。例えば、γ2<0.7となっても、γ2=0.7とし、γ1>1.3となっても、γ1=1.3とする。
【0106】
以上のようにして、本実施形態ではパラメータγ1,γ2を得ることができ、ステップS204を終了する。なお、このような階調数の割り当ての変更は、言葉を換えると量子化ビット数の割り当てを変更するともいえる。
【0107】
ところで、輝度の変換時に、毎回、γ補正による演算を実行するのは非合理的である。というのは、輝度yの取りうる範囲が「0」〜「255」でしかあり得ないため、予め輝度yが取りうる全ての値に対応して変換後の輝度Yを求めておくことも可能だからである。従って、ステップS206にてこの対応関係を求め、図26に示すようなテーブルとして記憶しておく。
【0108】
ここにおいて、対応関係の具体的な演算は次のようにする。
【0109】
y≦128では、
Y=128*(y/128)**γ1 …(9)
y>128では、
Y=128*{(y−128)/128}**γ2+128…(10)
しかしながら、メジアンyMeに基づいてγ補正の変換点を変えることも可能である。すなわち、
y≦yMeでは、
Y=yMe*(y/yMe)**γ1 …(11)
y>yMeでは、
Y=yMe*{(y−yMe)/yMe}**γ2+yMe …(12)
とすれば、メジアンyMeを中心として高輝度側と低輝度側とで輝度変換の極性を反転させたS字カーブとなり分布密度の高い辺りを中心に両側に階調数を多く割り当てることができ、全体の明るさにさほど影響を与えることなく変換することができるようになるなどの効果がある。
【0110】
このようにして演算した変換テーブルが形成されたところで画像データを変更することが可能になる。
【0111】
最後に、ステップS208にて画像データの変換を行う。ここまでは輝度を変換するための対応関係を求めてきており、例えば、RGB座標軸における成分値(Rp,Gp,Bp )についての変換関係ではなかった。しかしながら、(2)式の変換式は、このRGBの成分値(Rp,Gp,Bp )との対応関係においても当てはめることができる。また、輝度y,Yが階調「0」〜階調「255」であるのに対応してRGBの各成分値(r,g,b),(R,G,B )も同じ範囲となっており、上述した輝度y,Yの変換テーブルをそのまま利用すればよいといえる。
【0112】
従って、ステップS208では全画素の画像データ(r,g,b)について図26に示す変換テーブルを参照し、変換後の画像データ(R,G,B )を得るという処理を繰り返すことになる。
【0113】
次に、上記構成からなる本実施形態の動作を順を追って説明する。
【0114】
スキャナ11などで写真を撮像したとすると、同写真をRGBの階調データで表した画像データがコンピュータ21に取り込まれ、CPUは図5及び図6に示す画像処理のプログラムを実行して画像データのコントラストを強調する処理を実行する。
【0115】
まず、ステップS102では画像データを所定の誤差内となる範囲で間引き、選択した画素についての輝度yを求めて分布を取る。このままの分布を使用することはできず、まず、画像が白黒のような二値画像でないかステップS104にて判断するとともに、ステップS108では自然画か否かを判断する。二値画像である場合や自然画でない場合などを除き、ステップS110では画像データに枠部がないか判断し、枠部があれば除いて得られた輝度分布についてステップS114にて標準偏差σを求める。本実施形態においては、標準偏差σを求めるだけでもよいが、γ補正の極性変換点を輝度分布に合わせて変更する場合にはメジアンyMeを求めておく。
【0116】
輝度分布の標準偏差σが得られたら、
y≦128では、
γ1=(σstd_limit/σ)**a …(7)
Y=128*(y/128)**γ1 …(9)
y>128では、
γ2(σ/σstd_limit)**a …(8)
Y=128*{(y−128)/128}**γ2+128…(10)
なる関係式より、ステップS204にてパラメータγ1,γ2を求めるとともに、ステップS206では輝度yから輝度Yへの変換関係をテーブルに記憶する。そして、ステップS208にて完成した変換テーブルを参照して全画素についての画像データを変換する。
【0117】
むろん、上述したように二値画像や自然画でない場合においてはかかる画像処理は行われないが、本発明の画像処理が行われた場合には、写真の状態では非常にコントラストが弱かったにもかかわらず、輝度の範囲を広げるように補正することにより、明暗がはっきりして鮮明な画像を得られるようになる。
【0118】
なお、上述した実施形態においては、γ1やγ2を求める際のパラメータσstd_limit,aを一定としているが、コンピュータ21上では所定のGUIを介してユーザーが選択できるようにしても良い。また、ユーザーが画像データの一部を指定して当該範囲内でのみかかるコントラストの強調処理を実行するようにすることも可能である。
【0119】
このように、ステップS102で間引きするなどしながら画像データの画素について輝度yの分布を求めた後、ステップS114にてその輝度分布の広がり量に対応する標準偏差σを求め、同標準偏差σに基づいてステップS204にてS字カーブの対応関係を形成するためのγ補正のパラメータ(γ1,γ2)を演算するようにしているため、ステップS208にて画像データ変換して変換元の輝度yにおける分布密度の高い領域には多くの階調数を割り当てるとともに分布密度の少ない領域には少ない階調数を割り当てるといった作業を自動化し、非熟練者でも容易にコントラストの強調を行うことができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる画像処理装置が適用される画像処理システムのブロック図である。
【図2】同画像処理装置の具体的ハードウェア構成例を示すブロック図である。
【図3】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図4】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図5】本発明の画像処理装置における輝度の分布検出処理部分を示すフローチャートである。
【図6】本発明の画像処理装置における輝度変換処理部分を示すフローチャートである。
【図7】変換元の画像における座標を示す図である。
【図8】サンプリング周期を示す図である。
【図9】サンプリング画素数を示す図である。
【図10】変換元の画像とサンプリングされる画素の関係を示す図である。
【図11】白黒の画像を示す図である。
【図12】白黒の画像の輝度分布を示す図である。
【図13】枠部のある画像を示す図である。
【図14】枠部のある画像の輝度分布を示す図である。
【図15】階調数の割り当てを変更しない場合の変換前の輝度と変換後の輝度との関係を示すグラフである。
【図16】変換前の輝度と変換後の輝度とがγ補正によってS字カーブの対応関係となるグラフである。
【図17】高輝度側の領域でγ<1のγ補正をかけた場合のグラフである。
【図18】低輝度側の領域でγ>1のγ補正をかけた場合のグラフである。
【図19】変換前の輝度と変換後の輝度とが線形の変換でS字カーブの対応関係となるグラフである。
【図20】同対応関係で変換特性の変換点で滑らかに変換されるようにする場合の変形例である。
【図21】メジアンが低輝度側に寄っている場合の輝度分布を示す図である。
【図22】メジアンが高輝度側に寄っている場合の輝度分布を示す図である。
【図23】全領域でγ<1のγ補正をかけた場合のグラフである。
【図24】全領域でγ>1のγ補正をかけた場合のグラフである。
【図25】特定した変換点を補間法で接続する場合のグラフである。
【図26】輝度分布を拡大する際の変換テーブルを示す図である。
【符号の説明】
10…画像入力装置
11…スキャナ
11b…スキャナ
12…デジタルスチルカメラ
12a…デジタルスチルカメラ
12b…デジタルスチルカメラ
13b…モデム
20…画像処理装置
21…コンピュータ
22…ハードディスク
30…画像出力装置
31…プリンタ
31a…プリンタ
31b…プリンタ
32…ディスプレイ
32a…ディスプレイ
【特許請求の範囲】
【請求項1】複数の画素からなる画像の画像データを各画素単位で入力して所定の変換処理を施して出力する画像処理装置であって、
各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換することを特徴とする画像処理装置。
【請求項2】上記請求項1に記載の画像処理装置において、上記算出した広がり量に基づいて分布密度の小さい階調範囲に少ない階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換することを特徴とする画像処理装置。
【請求項3】上記請求項1または請求項2のいずれかに記載の画像処理装置において、上記輝度分布の広がり量は標準偏差に対応する値を利用し、輝度分布の標準偏差が大きいときに入出力比を小さくして階調数の割り当てを均一化するとともに、標準偏差が小さいときに入出力比を大きくして階調数の割り当て変化を拡大化することを特徴とする画像処理装置。
【請求項4】上記請求項3に記載の画像処理装置において、輝度分布にγ補正を行うとともに標準偏差が大きいときにγ補正による変化量が小さくなるようにγの値を設定し、標準偏差が小さいときにγ補正の変化量が大きくなるようにγの値を設定することを特徴とする画像処理装置。
【請求項5】上記請求項4に記載の画像処理装置において、輝度分布の概略中心位置を求めるとともに、この概略中心位置を基準として高輝度側と低輝度側とで輝度変換の極性を反転させることにより入力と出力との関係で概略S字カーブの輝度変換を行うことを特徴とする画像処理装置。
【請求項6】上記請求項1〜請求項5に記載の画像処理装置において、変換元の輝度の取りうる範囲内で変換先の輝度を演算して記憶しておき、変換時にはこの対応関係を呼び起こして変換することを特徴とする画像処理装置。
【請求項7】上記請求項1〜請求項6に記載の画像処理装置において、画像データが輝度に対応した複数の成分値で表される場合において、輝度の演算を同成分値の線形加算で求めることを特徴とする画像処理装置。
【請求項8】上記請求項1〜請求項7に記載の画像処理装置において、画像データについて所定の抽出率に対応した間引きを行って輝度分布を求めることを特徴とする画像処理装置。
【請求項9】上記請求項8に記載の画像処理装置において、縦方向と横方向の範囲での短い側において所定の抽出数が確保されるようにすることを特徴とする画像処理装置。
【請求項10】上記請求項1〜請求項9に記載の画像処理装置において、コントラストの強調程度に制限を設定することを特徴とする画像処理装置。
【請求項11】上記請求項1〜請求項10に記載の画像処理装置において、輝度分布に基づいて二値画像データを判定するとともに、二値画像データであればコントラストの強調を行わないことを特徴とする画像処理装置。
【請求項12】上記請求項11に記載の画像処理装置において、再現可能な範囲内の両端に輝度分布が集中しているときに白黒の二値画像データであると判断することを特徴とする画像処理装置。
【請求項13】上記請求項1〜請求項12に記載の画像処理装置において、突出する輝度分布に基づいて画像データの枠部を判定するとともに、枠部があれば枠部のデータをコントラストの強調に利用しないことを特徴とする画像処理装置。
【請求項14】上記請求項13に記載の画像処理装置において、再現可能な範囲内での端部に集中している輝度分布が枠部であると判定することを特徴とする画像処理装置。
【請求項15】上記請求項1〜請求項14に記載の画像処理装置において、画像データが自然画でない場合にコントラストの強調を行わないことを特徴とする画像処理装置。
【請求項16】上記請求項15に記載の画像処理装置において、輝度分布がスペクトル状に存在する場合に上記画像データが自然画でないと判定する自然画判定手段を備えることを特徴とする画像処理装置。
【請求項17】複数の画素からなる画像の画像データを各画素単位で入力して所定の変換処理を施して出力する画像処理方法であって、
各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換することを特徴とする画像処理方法。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、ドットマトリクス状の画像データのコントラストを強調させる画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
スキャナで写真を取り込んだり、デジタルスチルカメラで撮影した画像データはドットマトリクス状に構成されている。取り込んだ画像データが好ましい状態であれば良いものの、デジタル画像の特性を活かして好みに応じた修正を行いたいこともある。特に、コントラストが弱い場合、これまでのカラーフィルムを使用した写真であれば修正が困難であり、そのような写真は撮り直さざるを得ないものの、デジタル画像であれば画像修正ソフトなどを使用してコントラストの強調も可能である。
【0003】
すなわち、従来よりこのようなデジタル画像データを修正するために画像修正ソフトが利用されており、コンピュータ上にて起動することにより、オペレータは各種の修正が可能となっている。例えば、上述したようなコントラストの強調であれば輝度の拡大操作をすることによって可能である。より具体的には、変換元の輝度と変換先の輝度との対応関係を正比例状態から適度にS字状に歪めた状態に変更せしめることにより、変換元でのある幅をもった輝度が変換先でより広い幅となるよう対応づけることができる。
【0004】
【発明が解決しようとする課題】
上述した従来の画像処理装置においては、オペレータの操作によってコントラストを強調させる処理が可能ではあるものの、必要なパラメータの値は勘によって与えるしかなく、画像データの処理に慣れていない者にとっては思い通りにコントラストを強調できず、薄暮の写真が真昼のようになってしまったりするなど、操作性の課題があった。
【0005】
本発明は、上記課題にかんがみてなされたもので、オペレータの勘に頼る操作を不要とすることが可能な画像処理装置および画像処理方法の提供を目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、複数の画素からなる画像の画像データを各画素単位で入力して所定の変換処理を施して出力する画像処理装置であって、各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換する構成としてある。
【0007】
上記のように構成した発明においては、複数の画素からなる画像の画像データを処理の対象として所定の変換処理を施して出力する。このとき、まず、各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求める。次に、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当てる。そして、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換する。
例えば、ある幅に輝度分布が集中していたとするときに、その幅を広げるように階調数を与えればコントラストが強調されて明暗がはっきりする。
このとき、輝度分布が集中していないような部分に割り当てられていた階調数を減らしても支障はない。
このため、請求項2にかかる発明は、上記請求項1に記載の画像処理装置において、上記算出した広がり量に基づいて分布密度の小さい階調範囲に少ない階調数を割り当て、階調数の割り当ての変更に対応させて各画素の輝度相当値を変換する構成としてある。
【0008】
むろん、輝度分布の集中がなくまんべんに広がっているような場合には階調数の割り当てをあえて変化させる必要はない。
【0009】
このような輝度分布の広がり量を求める作業は、従来の操作でオペレータが行っていた勘に頼って検知していたものであり、この広がり量に応じて階調数をどの範囲に多く割り当てるかという操作は、オペレータが与えていたパラメータを設定することに対応する。
【0010】
ここにおいて、輝度分布からその広がり量を求めるにあたっては各種の手法が可能である。既知の広がり量に対応する値を求めるものであっても良いし、計算量を軽減するための処置を施して広がり量を求めるものであっても良い。既知の広がり量を利用するものとして、請求項3にかかる発明は、上記請求項1に記載の画像処理装置において、上記輝度分布の広がり量は標準偏差に対応する値を利用し、輝度分布の標準偏差が大きいときに入出力比を小さくするとともに、標準偏差が小さいときに入出力比を大きくする構成としてある。
【0011】
上記のように構成した発明においては、標準偏差は平均値に対して個々の要素のバラツキ量を表すものであるから、バラツキが多ければ輝度の変換は必要なく、入出力比を大きくして階調数の割り当て変化を拡大化するような変換は必要ない。すなわち、輝度分布が集中していることもないので階調数の割り当てを大きくしたり小さくしたりする必要はない。しかしながら、標準偏差が小さいということはバラツキが少ないことを意味し、その場合には輝度分布が集中していることになるので、分布密度の大きい範囲に多くの階調数を与えてコントラストを強調させる。
【0012】
むろん、標準偏差はバラツキを表すものとして使用するので、分散と同義であるし、その計算課程においては必ずしもサンプル数による除算などを必要とするわけでもない。
【0013】
階調数を多く与えたり少なく与えたりするというのは、概ね入出力比に対応するものであり、階調数を多く与えるのであれば、入力側で与えられていた階調数よりもたくさんの階調数を与えてその範囲内で階調を広げることになり、コントラストの強調にあたる。一方、階調数の総数を増減させることはできないので、ある範囲に階調数を多く与えればその反動として残りの範囲には階調数を多く与えることができなくなり、入力側で与えられていた階調数よりも少ない階調数が与えられてその範囲内でコントラストが狭められることになる。
【0014】
このような階調数の与え方は個々の階調毎にどのように変換するかを定めることも可能であるが、より簡便な例とし、請求項4にかかる発明は、上記請求項3に記載の画像処理装置において、輝度分布にγ補正を行うとともに標準偏差が大きいときにγ補正による変化量が小さくなるようにγの値を設定し、標準偏差が小さいときにγ補正の変化量が大きくなるようにγの値を設定する構成としてある。
【0015】
上記のように構成した発明においては、γ補正の手法によって上に凸となったり下に凸となったりする対応関係を与えるものであり、上に凸となる場合には前半部分に階調数を多く割り当てることになるとともに後半部分に少ない階調数を割り当てることになり、また、下に凸となる場合には前半部分に少ない階調数を割り当てることになるとともに後半部分に階調数を多く割り当てることになる。そして、かかる割り当て量の大小はγ補正による変化量で適宜調整でき、与えるγの値にて対応している。
【0016】
このγ補正の一対応として、請求項5にかかる発明は、上記請求項4に記載の画像処理装置において、輝度分布の概略中心位置を求めるとともに、この概略中心位置を基準として高輝度側と低輝度側とで輝度変換の極性を反転させることにより入力と出力との関係で概略S字カーブの輝度変換を行う構成としてある。
【0017】
上記のように構成した発明においては、γ補正による輝度変換の極性を反転させるべく、高輝度側でγ<1のγ補正をするとともに低輝度側でγ>1のγ補正をすることにより、下に凸のカーブと上に凸のカーブとが連続することになり、いわゆるS字カーブの入出力関係が成立する。ここにおいてその中央部分には階調数を多く割り当てることになるから、輝度分布の概略中心に二つのカーブの連続点を持ってくるようにすれば輝度分布を拡大したい範囲に多くの階調数を割り当てることが可能となる。
【0018】
各種の手法で輝度を変換するにあたり、請求項6にかかる発明は、上記請求項1〜請求項5に記載の画像処理装置において、変換元の輝度の取りうる範囲内で変換先の輝度を演算して記憶しておき、変換時にはこの対応関係を呼び起こして変換することを構成としてある。
【0019】
変換式に基づいて輝度を毎回計算することも不可能ではないが、輝度分布のとりうる値の範囲は決まっている。このため、あらかじめ変換元の輝度に基づいて変換先の輝度を演算して記憶しておけば、変換時に対応関係を呼び起こすだけで変換することが可能となる。
【0020】
輝度を変換するにあたっては画像データが輝度のデータとして含んでいる場合もあるし、間接的でしか輝度のデータを含んでいない場合もある。むろん、直接の輝度のデータを含んでいればそれを変換すればよいし、間接的な輝度のデータである場合でも輝度のデータに変換してから所定の輝度変換を行えばよい。しかしながら、輝度の変換は極めて正確でなければならないわけではなく、大まかに分かれば良いともいえる。
【0021】
その意味では厳格な正確さが要求されるわけではないので、請求項7にかかる発明は、上記請求項1〜請求項6に記載の画像処理装置において、画像データが輝度に対応した複数の成分値で表される場合において、輝度の演算を同成分値の線形加算で求めることを構成としてある。
【0022】
画像データがいわゆるRGB(赤緑青)の階調データで表されている場合、赤緑青についての各成分値はそれぞれが輝度に対応しているといえる。このため、同成分値の線形加算は十分に輝度を表すものといえ、極めて容易な変換手法となりうる。
【0023】
各画素についての輝度が求められるものとして、画像としての輝度分布は必ずしも画像データの全画素について求める必要がなく、例えば、請求項8にかかる発明は、上記請求項1〜請求項7に記載の画像処理装置において、画像データについて所定の抽出率に対応した間引きを行って輝度分布を求めることを構成としてある。
【0024】
分布を求めることを目的とすれば、全画素に対して輝度を求めることなく、所定の抽出率で間引きを行なったとしても抽出率に応じた程度の確かさの輝度分布を得ることができる。
【0025】
ここにおいて、間引く手法も様々であるものの、請求項9にかかる発明は、上記請求項8に記載の画像処理装置において、縦方向と横方向の範囲での短い側において所定の抽出数が確保されるようにすることを構成としてある。
【0026】
画像は平面的であるが故、自ずからその画像データも縦方向と横方向とに分布するが、ある抽出率を決定するにあたっては、少なくとも短い側においてある抽出数を確保することにより、抽出率に応じた確かさを保持することになる。
【0027】
さらに、請求項10にかかる発明は、上記請求項1〜請求項9に記載の画像処理装置において、コントラストの強調程度に制限を設定することを構成としてある。
【0028】
コントラストが狭いことが当然の場合がある。例えば、夕方の風景であれば輝度分布の幅が狭いのは自然であり、これを必要以上に拡大してしまうと昼の風景となってしまう。同様の例は他の場合においてもあり得ることで、輝度分布の拡大範囲に制限を設定することにより、かかる現象を回避する。
【0029】
さらに、請求項11にかかる発明は、上記請求項1〜請求項10に記載の画像処理装置において、輝度分布に基づいて二値画像データを判定するとともに、二値画像データであればコントラストの強調を行わないことを構成としてある。
【0030】
二値画像については実質的な意味での輝度分布はないといえるので、輝度分布から二値画像データを判定したらコントラストの強調は行わないようにしている。
【0031】
二値画像データはある色を持ったものでもあり得るため、その色の有りと無しに対応する二つの輝度となりうる。その色の輝度か否かを判定することも可能であるが、それを示唆する情報がない場合に対応し、請求項12にかかる発明は、上記請求項11に記載の画像処理装置において、再現可能な範囲内の両端に輝度分布が集中しているときに白黒の二値画像データであると判断することを構成としてある。
【0032】
すなわち、白黒画像については再現可能な範囲内の両端に輝度分布が集中しているといえ、判断可能となる。
【0033】
さらに、請求項13にかかる発明は、上記請求項1〜請求項12に記載の画像処理装置において、突出する輝度分布に基づいて画像データの枠部を判定するとともに、枠部があれば枠部のデータについてコントラストの強調に利用しない構成としてある。
【0034】
画像を処理する場合に頻繁に起こり得るのは枠を持っていることであり、単色の枠として存在すれば当然にその色に対応する輝度分布だけが突出する。従って、かかる突出した輝度分布をもってして強調の判断の基準とすれば有効な判断ができなくなり得るから、枠部と判断してコントラストの強調に利用しない。
【0035】
さらに、その一例として、請求項14にかかる発明は、上記請求項13に記載の画像処理装置において、再現可能な範囲内での端部に集中している輝度分布が枠部であると判定することを構成としてある。
【0036】
白枠あるいは黒枠は頻繁にあり採用されるし、トリミングの結果によっても生じ得るものであり、再現可能な範囲内での端部に該当する。従って、この端部に集中している輝度分布を枠部と判定する。
【0037】
ところで、請求項15にかかる発明は、上記請求項1〜請求項14に記載の画像処理装置において、画像データが自然画でない場合にコントラストの強調を行わない構成としてある。
【0038】
コントラストの幅の狭さが問題となりやすいのは写真のような自然画であり、ビジネスグラフのようなものでは殆ど必要が無いと言える。逆に、ビジネスグラフのようなものについて手を加えることが作り手のイメージと異ならせる結果になりかねない。従って、このような自然画の場合にだけ輝度分布を拡大するようにしている。
【0039】
自然画か否かの判断の一例として、請求項16にかかる発明は、上記請求項15に記載の画像処理装置において、輝度分布がスペクトル状に存在する場合に上記画像データが自然画でないと判定する自然画判定手段を備えることを構成としてある。
【0040】
自然画の特徴として輝度分布が滑らかに幅を持つことが言える。従って、輝度分布が線スペクトル状に表れていれば自然画でないと判断して概ね差し支えない。上記のように構成した請求項16にかかる発明においては、自然画判定手段が輝度分布の状態を判定し、線スペクトル状に存在する場合に画像データが自然画でないと判定し、これにより輝度分布の拡大が行われなくなる。
【0041】
さらに、請求項17にかかる発明は、ドットマトリクス状の画像データにおける各画素単位の輝度相当値について、同輝度相当値を入力して所定の変換処理を施して出力することにより、入力と出力との関係でコントラストを強調せしめる変換を行なうにあたり、上記画像データにおける輝度分布を求めて同輝度分布の広がり量を算出し、かかる広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる構成としてある。
【0042】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【0043】
ところで、このような画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては、各種の態様を含むものである。また、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
【0044】
その一例として、入力される複数の画素からなる画像の画像データに基づいて印刷インクに対応した画像データに変換し、所定のカラープリンタに印刷せしめるプリンタドライバにおいても、各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当てる対応関係となるように、入力と出力と間で変換処理を施してコントラストを強調せしめる構成とすることができる。
【0045】
すなわち、プリンタドライバは入力された画像データを印刷インクに対応して変換するが、このとき各画素を処理の対象として注目画素を移動させながら、注目画素の輝度相当値を集計して輝度分布を求め、求められた輝度分布に基づいて個々の要素のばらつき量に相当する当該輝度分布の広がり量を算出し、この広がり量に基づいて分布密度の大きい階調範囲に多くの階調数を割り当てる対応関係となるように、入力と出力と間で変換処理を施してコントラストを強調せしめるように入力画像を変換し、印刷させる。
【0046】
発明の思想の具現化例として画像処理装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。
【0047】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。さらには、カラーファクシミリ機やカラーコピー機などの画像処理装置においても適用可能であることはいうまでもない。
【0048】
【発明の効果】
以上説明したように本発明は、輝度分布の広がり量から自動的にコントラストの強調程度を判断するため、非熟練者でも容易にコントラストを適正量だけ強調せしめることが可能な画像処理装置を提供することができる。
【0049】
また、請求項3にかかる発明によれば、よく知られている標準偏差に基づいて入出力比を定めるだけであり、構成が容易となる。
【0050】
さらに、請求項4にかかる発明によれば、γ補正による変換であるので、構成が容易となる。
【0051】
さらに、請求項5にかかる発明によれば、輝度分布の概略中心位置を基準とした概略S字カーブの対応関係で輝度変換することによりコントラストを強調したい場合に効率よく分散した変換が可能となる。
【0052】
さらに、請求項6にかかる発明によれば、変換を容易にすることができる。
【0053】
さらに、請求項7にかかる発明によれば、必要十分な程度の正確さで輝度を容易に求めることができるようになる。
【0054】
さらに、請求項8にかかる発明によれば、処理量を減らすことができる。
【0055】
さらに、請求項9にかかる発明によれば、画像の抽出点の偏りを無くして輝度分布が正確になりやすくなる。
【0056】
さらに、請求項10にかかる発明によれば、コントラストを強調しすぎて画像の雰囲気を変えてしまわないようにすることができる。
【0057】
さらに、請求項11にかかる発明によれば、コントラスト強調の不要な条件を容易に判定して強調を行わないようにすることができるし、さらに、請求項12にかかる発明によれば、頻度の多い白黒画像を効率よく判定することができる。
【0058】
さらに、請求項13にかかる発明によれば、画像に表れがちな枠部の輝度によって処理が不正確になるのを防止することができ、さらに、請求項14にかかる発明によれば、頻度の多い白黒の枠部を容易に判定することができる。
【0059】
さらに、請求項15にかかる発明によれば、コントラストの強調が必要な自然画の場合にだけ行うようにすることができ、さらに、請求項16にかかる発明によれば、自然画か否かを容易に判定することができる。
【0060】
さらに、請求項17にかかる発明によれば、輝度分布の広がり量から自動的にコントラストの強調程度を判断するため、非熟練者でも容易にコントラストを適正量だけ強調せしめることが可能な画像処理方法を提供することができる。
【0061】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【0062】
図1は、本発明の一実施形態にかかる画像処理システムをブロック図により示しており、図2は具体的ハードウェア構成例をブロック図により示している。
【0063】
同図において、画像入力装置10は画像を撮像するなどして画像データを画像処理装置20へ出力し、同画像処理装置20は所定のコントラスト強調などの画像処理を行なって画像出力装置30に出力し、同画像出力装置30はコントラストを強調された画像を表示する。
【0064】
ここにおいて、画像入力装置10の具体例はスキャナ11やデジタルスチルカメラ12あるいはビデオカメラ14などが該当し、画像処理装置20の具体例はコンピュータ21とハードディスク22などからなるコンピュータシステムが該当し、画像出力装置30の具体例はプリンタ31やディスプレイ32等が該当する。むろん、これら以外にもカラーコピー機やカラーファクシミリ機などにも適用可能である。
【0065】
本画像処理システムにおいては、コントラストの弱い画像に対して最適なコントラストを与えようとしているものであるから、画像入力装置10としてのスキャナ11で写真を撮像した画像データであるとか、デジタルスチルカメラ12で撮影したコントラストの弱い画像データであるとか、ビデオカメラ14で撮影した動画画像などが処理の対象となり、画像処理装置20としてのコンピュータシステムに入力される。なお、ビデオカメラ14の入力画像については、演算速度が間に合わないこともあり得る。そのような場合には演算時間を要する最初の条件設定を撮影のシーンごとに行っておき、撮影中は同じ条件設定のもとで各フレームの画像変換だけを行なうということによって対処可能である。
【0066】
本画像処理装置20は、少なくとも、輝度の分布を抽出する輝度分布検出手段と、この検出された輝度分布に基づいて先ず輝度分布の広がり量を検出する輝度分布広がり量検出手段と、この広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる階調数割当手段と、割り当てられた輝度の階調に基づいて画像データを変換する画像データ変換手段とを構成する。むろん、本画像処理装置20は、この他にも機種毎による色の違いを補正する色変換手段であったり、機種毎に対応した解像度を変換する解像度変換手段などを構成していても構わない。この例では、コンピュータ21はRAMなどを使用しながら、内部のROMやハードディスク22に保存されている各画像処理のプログラムを実行していく。
【0067】
この画像処理のプログラムの実行結果は後述するようにコントラストを強調した画像データとして得られ、得られた画像データに基づいて画像出力装置30であるプリンタ31で印刷したり、同じ画像出力装置30であるディスプレイ32に表示する。なお、この画像データは、より具体的にはRGB(緑、青、赤)の階調データとなっており、また、画像は縦方向(height)と横方向(width)に格子状に並ぶドットマトリクスデータとして構成されている。
【0068】
本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とする訳ではなく、図3に示すようにデジタルスチルカメラ12a内にコントラストを強調する意味での画像処理装置を組み込み、変換した画像データを用いてディスプレイ32aに表示させたりプリンタ31aに印字させるようなシステムであっても良い。また、図4に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ31bにおいては、スキャナ11bやデジタルスチルカメラ12bあるいはモデム13b等を介して入力される画像データを自動的にコントラスト強調するように構成することも可能である。
【0069】
コンピュータ21にて実行する画像処理の内、輝度分布検出手段と輝度分布広がり量検出手段とに相当する輝度の分布検出処理を図5に示しており、階調数割当手段と画像データ変換手段とに相当する輝度変換処理を図6に示している。
【0070】
図5は主に輝度の分布検出処理に該当しており、まず、この輝度の分布検出処理について説明する。
【0071】
輝度をいかにして表すかについて説明する前に、分布対象となる画素について説明する。図5のステップS102で示すように対象となる画素を間引く間引き処理を実行する。図7に示すように、ビットマップの画像であれば、縦方向に所定ドットと横方向に所定ドットからなる二次元のドットマトリクスとして成り立っており、正確な輝度の分布を求めるのであれば全画素について輝度を調べる必要がある。しかしながら、この分布抽出処理は輝度分布の広がり量を求めることを目的としており、必ずしも正確である必要はない。従って、ある誤差の範囲内となる程度に間引きを行うことが可能である。統計的誤差によれば、サンプル数Nに対する誤差は概ね1/(N**(1/2))と表せる。ただし、**は累乗を表している。従って、1%程度の誤差で処理を行うためにはN=10000となる。
【0072】
ここにおいて、図7に示すビットマップ画面は(width)×(height)の画素数となり、サンプリング周期ratioは、
ratio=min(width,height)/A+1…(1)
とする。このmin(width,height)はwidthとheightのいずれか小さい方であり、Aは定数とする。また、ここでいうサンプリング周期ratioは何画素ごとにサンプリングするかを表しており、図8の○印の画素はサンプリング周期ratio=2の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。A=200としたときの1ライン中のサンプリング画素数は図9に示すようになる。
【0073】
同図から明らかなように、サンプリングしないことになるサンプリング周期ratio=1の場合を除いて、200画素以上の幅があるときには最低でもサンプル数は100画素以上となることが分かる。従って、縦方向と横方向について200画素以上の場合には(100画素)×(100画素)=(10000画素)が確保され、誤差を1%以下にできる。
【0074】
ここにおいてmin(width,height)を基準としているのは次のような理由による。例えば、図10(a)に示すビットマップ画像のように、width>>heightであるとすると、長い方のwidthでサンプリング周期ratioを決めてしまった場合には、同図(b)に示すように、縦方向には上端と下端の2ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、min(width,height)として、小さい方に基づいてサンプリング周期ratioを決めるようにすれば同図(c)に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。
【0075】
なお、この例では、縦方向と横方向の画素について正確なサンプリング周期で間引きを行うようにしている。これは、逐次入力される画素について間引きしながら処理する場合に好適である。しかし、全画素が入力されている場合には縦方向や横方向についてランダムに座標を指定して画素を選択するようにしても良い。このようにすれば、10000画素というような必要最低限の画素数が決まっている場合に10000画素となるまでランダムに抽出する処理を繰り返し、10000画素となった時点で抽出を止めればよくなる。
【0076】
このように選択した画素についての画素データがその成分要素として輝度を持っていればその輝度値を用いて分布を求めることが可能である。しかしながら、輝度値が直接の成分値となっていない画像データの場合でも、間接的には輝度を表す成分値を備えている。従って、輝度値が直接の成分値となっていない表色空間から輝度値が直接の成分値となっている表色空間への変換を行えば輝度値を得ることができる。
【0077】
このような異なる表色空間の間での色変換は変換式によって一義的に定まるものではなく、それぞれの成分値を座標とする色空間について相互に対応関係を求めておき、この対応関係を記憶した色変換テーブルを参照して逐次変換する必要がある。テーブルとする関係上、成分値は階調値として表され、三次元の座標軸を備えている256階調の場合には、約1670万個(256×256×256)の要素の色変換テーブルを持たなければならない。効率的な記憶資源の利用を考えた結果、すべての座標値についての対応関係を用意しておくのではなく、通常は適当なとびとびの格子点について対応関係を用意しておき、補間演算を併用するようにしている。この補間演算はいくつかの乗算や加算を経て可能となるものであるため、演算処理量は膨大となってくる。
【0078】
すなわち、フルサイズの色変換テーブルを使用するのであれば処理量としては少なくなるもののテーブルサイズが非現実的な問題となり、テーブルサイズを現実的なサイズにすれば演算処理量が非現実的となることが多い。
【0079】
このような状況に鑑み、本実施形態においては、テレビジョンなどの場合に利用されているように、RGBの三原色から輝度を求める次式の変換式を採用している。すなわち、P点での輝度yp についてはRGBの成分値(Rp,Gp,Bp )から、
yp=0.30Rp+0.59Gp+0.11Bp …(2)
とする。このようにすれば、三回の乗算と二回の加算だけで輝度値を求めることができるようになる。そして、全階調分に相当する配列の変数領域を利用して度数分布を求める。
【0080】
本実施形態においては、RGBの表色空間を対象としている結果、このような変換式を採用しているが、その背景には各成分値が色の明るさを示しているので、それぞれの成分値を単独で見た場合に輝度に線形に対応しているという性質がある。従って、よりおおざっぱに言えばそれぞれの加算割合を考慮することなく単に
yp=(Rp+Gp+Bp)/3 …(3)
というように簡略化することも不可能ではないし、さらには、
yp=Gp …(4)
というように、(3)式においても最も割合の大きい緑の成分値を輝度値としてしまうことも可能である。
【0081】
間引き処理では、選択した画素についてRGBの画像データから同時に輝度を求めて分布をとる。最終的にはステップS114にてこの分布に基づいてその広がり量に対応する標準偏差を求めることになるが、その前に考慮しておく事項がある。
【0082】
一つ目は画像が白黒画像のような二値画像である場合である。白黒画像を含めて二値画像であればコントラストの強調という概念は不適切である。図11に示すような白黒画像があったとすると、この画像に対する輝度分布は図12に示すように階調数の割り当て範囲内で両端に集中する。それも、基本的には階調「0」と階調「255」に集中する。
【0083】
従って、ステップS104で白黒チェックを行う場合には、階調「0」と階調「255」の画素数の和が、間引いて選択した画素数と一致するか否かで判断できる。そして、白黒画像の場合であれば以下の処理を実行することなく処理を中断するためにステップS106にて非拡大処理を実行する。本実施形態においては分布抽出処理と輝度変換処理とを大きく分けているので、この非拡大処理では後段の輝度変換処理も実行しないようなフラグを立てて当該分布抽出処理を終了している。
【0084】
二値データは白黒だけに限らず、色の付いた二値データもあり得る。このような場合も同様にコントラストの強調を図る処理は不要であり、分布状態を調べて二つの値(一方は概ね「0」)にしか分布が集中していなければ二値データとして処理の中断を図ればよい。
【0085】
二つ目は画像がビジネスグラフのようなものか写真のような自然画であるか否かを考慮する。自然画においてはコントラストの強調という処理が要求される場合があるものの、ビジネスグラフであるとか絵画のようなものではコントラストの強調を図らない方が好まれる場合が多い。従って、ステップS108では自然画か否かのチェックを行う。
【0086】
自然画では陰影を含めて色数が極めて多いがビジネスグラフやドロー系などのある種の絵画では色数が限られていることが多い。従って、色数が少なければ自然画ではないと判断することが可能である。色数を正確に判断しようとすれば上述したように1670万色のうちの何色を使用しているかを判別する必要があるが、現実的ではない。一方、ビジネスグラフのような極めて色数が少ない場合には異なる色であって同じ輝度になる確率は低い。すなわち、輝度によって概ねの色数を判断できる。色数が少なければ輝度の分布もまばらであり、ビジネスグラフのようなものでは線スペクトル状に表れる。このようなことから、ステップS108では256階調の輝度のうち分布数が「0」でない輝度値がいくつ表れているかカウントする。そして、概ね1/4となる「64」色(階調)以下であれば自然画でないと判断し、二値データの場合と同様、ステップS106にて非拡大処理を実行する。むろん、しきい値となる「64」色(階調)以下か否かについては適宜変更可能である。
【0087】
また、分布が線スペクトル状か否かは分布数が「0」でない輝度値の隣接割合で判断することも可能である。すなわち、分布数が「0」でない輝度値であって隣接する輝度値に分布数があるか否かを判断する。隣接する二つの輝度値のうち少なくとも一方で隣接していれば何もせず、両方で隣接していない場合にカウントを行い、その結果、「0」でない輝度値の数とカウント値との割合で判断すればよい。例えば、「0」でない輝度値の数が「64」であって、隣接しないものの数が「64」であれば線スペクトル状に分布していることが分かる。
【0088】
さらに、オペレーティングシステムを介して画像処理プログラムが実行されているような場合には、画像ファイルの拡張子で判断することも可能である。ビットマップファイルのうち、特に写真画像などではファイル圧縮がなされ、その圧縮方法を表すために暗示の拡張子が利用されることが多い。例えば、「JPG」という拡張子であれば、JPEGフォーマットで圧縮されていることが分かる。オペレーティングシステムがファイル名を管理していることから、プリンタドライバなどの側からオペレーティングシステムに問い合わせを出せば、同ファイルの拡張子が回答されることになるため、その拡張子に基づいて自然画であると判断してコントラストの強調を行うようにすればよい。また、「XLS」というようなビジネスグラフに特有の拡張子であればコントラストの強調を行わないと判断することもできる。
【0089】
三つ目に考慮することは、図13に示すように画像の周りに枠部があるか否かである。このような枠部が白色または黒色であれば、その輝度分布は図14に示すように、階調数の割り当て範囲内における両端に線スペクトル状に表れるとともに、内部の自然画に対応して両端以外の内側に滑らかな輝度分布としても表れる。
【0090】
むろん、枠部を輝度分布の考慮に入れない方が適切であるため、ステップS108の枠部のチェックでは階調「0」と階調「255」の画素数の和が十分に大きく、かつ、間引いて選択した画素数とは一致しないかを判断し、肯定的ならば枠部があると判定してステップS112にて枠部処理を実施する。この枠部処理では、枠部を無視するために輝度分布のうち階調「0」と階調「255」の画素数を「0」にセットする。これにより、以下の処理では枠部がないものと同様に扱うことができる。
【0091】
この例では白色または黒色の枠部を対象としているが、特定の色の枠がある場合も考えられる。このような場合、輝度分布が描く本来の滑らかなカーブの中で突出する線スペクトル状のものが表れる。従って、隣接する輝度値の間で大きく差が生じている線スペクトル状のものについては枠部として考えて輝度分布の対象としないようにすればよい。この場合、枠部以外でその色を使用していることがあり得るので、両隣の輝度値の平均を割り当てるようにしても良い。
【0092】
以上のような考慮を経た上で、コントラストの強調を行う場合にはステップS114で輝度分布の標準偏差を求めるとともに、後段の輝度変換処理のためにメジアンyMeを求めておく。標準偏差については二つの考え方があるが本実施形態においては、次式に基づいて演算する。
【0093】
【数1】
【0094】
標準偏差は輝度分布の広がり量に対応するものであるが、広がり量を表す意味では分散を利用してもよい。
【0095】
以上の処理が分布検出処理に該当し、次に、このようにして求めた輝度分布の広がり量である標準偏差σに基づいて画像データの変換を行なう輝度変換処理について説明する。なお、上述したようにステップS106にて非拡大処理を実行した場合には、ステップS202にて所定のフラグを参照してそれを検知し、以下の処理を行うことなく当該画像処理を終了する。
【0096】
輝度変換処理では、輝度分布の広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる。ここで、分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てるパターンについて説明する。変換前の輝度y(入力)と変換先の輝度Y(出力)が、
Y=y …(6)
というように正比例の関係にある場合、図15に示すように、再現可能範囲内の中央部分を基準として、変換前に割り当てられている階調範囲r0と変換後に割り当てられる階調範囲R0 は一致している。しかしながら、図16に示すように入出力の対応関係がいわゆるS字カーブとなると変換前に割り当てられている階調範囲r0 に対して変換後に割り当てられる階調範囲R1 ,R2 は大きくなり、割り当てられた階調数が多くなったことになる。一方、入力における低輝度側と高輝度側における階調範囲r0を外れた範囲についていえば、変換後に割り当てられる階調範囲は少なくなったことになる。
【0097】
すなわち、このような対応関係こそ、分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てることを意味する。ここにおいて、この対応関係を実現する具体的な割り当て手法は各種のものが可能である。図17は階調範囲の中心位置ymid から高輝度側の階調範囲上端までの領域に対してγ<1のγ補正を施したものであり、変換前の中心位置ymid から上方側四分点yq3までの階調範囲rに対する変換後の階調範囲Rは拡大している。同様に図18は階調範囲の中心位置ymid から低輝度側の階調範囲下端までの領域に対してγ>1のγ補正を施したものであり、変換前の中心位置ymid から下方側四分点yq1までの階調範囲rに対する変換後の階調範囲Rは拡大している。
【0098】
一方、これらの場合において、変換前の階調範囲rに対する変換後の階調範囲Rの比はγの与え方によって変化してくる。本実施形態においては、かかる比を輝度分布の広がり量である標準偏差σに基づいて制御している。すなわち、階調範囲の中心位置ymid を「128」として、この中心位置ymid 以下ではγ1を与えるとともに、中心位置ymid より大きい範囲ではγ2を与えるものとすると、
y≦128では、
γ1=(σstd_limit/σ)**a …(7)
y>128では、
γ2=(σ/σstd_limit)**a …(8)
とし、ステップS204にてこれらのパラメータ演算を実行する。なお、上述したようにこのパラメータ演算こそ階調数割当手段を構成する。ここにおいて、σstd_limitとaは変換結果を考慮して実験的に求めて与えたパラメータであり、本実施形態においてはσstd_limitを「128」とするとともにaを「0.1」としている。標準偏差σは概して「128」よりも小さな値となるからこれらの関係式では標準偏差σが大きいと、γ2とγ1はそれぞれ「1」に近づくことになり、S字カーブの傾斜は緩やかになる。これは、広がり量が大きいときに中心位置ymid を中心とする階調範囲rに対して変換先の階調範囲Rはさほど広くならないことを意味しており、より具体的には画像データの輝度が広く分布しているときには輝度範囲を拡大するような変換を行わないことを意味する。これに対して、標準偏差σが小さいと、γ2とγ1はそれぞれ「1」から離れることになり、S字カーブの傾斜は急になる。これは、広がり量が小さいときに中心位置ymid を中心とする階調範囲rに対して変換先の階調範囲Rが広く拡大されることを意味しており、より具体的には画像データの輝度が狭い範囲にしか分布していないときには輝度範囲を拡大させる変換を行なうことを意味する。
【0099】
この例のように、階調範囲を低輝度側と高輝度側との二つに分けるとともにそれぞれにγ補正を掛けるにあたり、γが互いに逆数となる関係を与えるようにすると、低輝度側と高輝度側との接続点で滑らかに接続することになり、良好なS字カーブを与えることができる。むろん、低輝度側と高輝度側とによってγ補正の極性を変えること自体がS字カーブの対応関係を形成し、変換前の輝度yに対して変換後の輝度Yを大きく変化させることができるようになる。
【0100】
本実施形態においては、S字カーブの対応関係をγ補正によって成立させているが、図19には階調範囲の中心位置ymid の前後においてY=f・y+gなる線形の対応関係で実現する例を示している。この例では下方側四分点yq1以下と上方側四分点yq3以上の領域で再び線形の対応関係を形成している。この例においても標準偏差σが大きいときに傾斜fを「1」に近づけ、標準偏差σが小さいときに傾斜fを「1」よりも大きくなるように対応づければよい。むろん、この場合においては対応関係の急激な変化を防止するため、図20に示すように二つの対応直線を滑らかに接続するようにしても良い。
【0101】
一方、輝度分布が階調範囲の中心に収まっている場合は上述したようなγ1,γ2の設定だけで良好な輝度変換が可能となるが、図21に示すように、輝度分布のメジアンyMeがやや低輝度側に寄っていたり、図22に示すように、輝度分布のメジアンyMeがやや高輝度側に寄っていたりする場合もある。
【0102】
これに対し、図23に示す例では全範囲に対してγ<1のγ補正を施しており、この場合は変換前の低輝度側の階調範囲rに対する変換後の階調範囲Rは拡大しているし、図24に示す例では全範囲に対してγ>1のγ補正を施しており、この場合は変換前の高輝度側の階調範囲rに対する変換後の階調範囲Rは拡大している。
【0103】
従って、ステップS114にて求めたメジアンyMeと階調範囲の中央位置である「128」との大小関係を比較し、図21に示すようにメジアンyMeが低輝度側の領域に偏っているようであれば、図23に示すような全範囲に対してγ<1のγ補正を施すことにより、変換前に分布密度の高かった低輝度側の階調範囲rが拡大することになる。また、図22に示すようにメジアンyMeが高輝度側の領域に偏っているようであれば、図24に示すような全範囲に対してγ>1のγ補正を施すことにより、変換前に分布密度の高かった高輝度側の階調範囲rが拡大することになる。このようにして必ずしもS字カーブの対応関係とすることなく階調数の割り当ての拡大や縮小は可能である。むろん、これらの場合においても、γはγ<1とするかγ>1とするかに応じて(7)式や(8)式に基づいて決定すればよい。
【0104】
さらには、図25に示す例では、階調「0」、下方側四分点yq1、中心位置ymid 、上方側四分点yq3、階調「255」という五点を基準点としつつ、階調「0」と中心位置ymid と階調「255」に対してはY=yとしつつ、下方側四分点yq1と上方側四分点yq3における変換点を標準偏差に基づいて決定する。そして、これらの五点を結ぶ対応関係をスプライン補間演算やニュートン補間で求めるようにしてもよい。むろん、中心位置ymid から下方側の三点や上方側の三点をそれぞれスプライン補間演算やニュートン補間で求めるようにしてもよい。
【0105】
ところで、変換前の階調範囲に対して余りにも大きな階調範囲を割り当てるとすると、却って好ましくないことになる場合もある。夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けていおき、γ1,γ2ともに制限する。例えば、γ2<0.7となっても、γ2=0.7とし、γ1>1.3となっても、γ1=1.3とする。
【0106】
以上のようにして、本実施形態ではパラメータγ1,γ2を得ることができ、ステップS204を終了する。なお、このような階調数の割り当ての変更は、言葉を換えると量子化ビット数の割り当てを変更するともいえる。
【0107】
ところで、輝度の変換時に、毎回、γ補正による演算を実行するのは非合理的である。というのは、輝度yの取りうる範囲が「0」〜「255」でしかあり得ないため、予め輝度yが取りうる全ての値に対応して変換後の輝度Yを求めておくことも可能だからである。従って、ステップS206にてこの対応関係を求め、図26に示すようなテーブルとして記憶しておく。
【0108】
ここにおいて、対応関係の具体的な演算は次のようにする。
【0109】
y≦128では、
Y=128*(y/128)**γ1 …(9)
y>128では、
Y=128*{(y−128)/128}**γ2+128…(10)
しかしながら、メジアンyMeに基づいてγ補正の変換点を変えることも可能である。すなわち、
y≦yMeでは、
Y=yMe*(y/yMe)**γ1 …(11)
y>yMeでは、
Y=yMe*{(y−yMe)/yMe}**γ2+yMe …(12)
とすれば、メジアンyMeを中心として高輝度側と低輝度側とで輝度変換の極性を反転させたS字カーブとなり分布密度の高い辺りを中心に両側に階調数を多く割り当てることができ、全体の明るさにさほど影響を与えることなく変換することができるようになるなどの効果がある。
【0110】
このようにして演算した変換テーブルが形成されたところで画像データを変更することが可能になる。
【0111】
最後に、ステップS208にて画像データの変換を行う。ここまでは輝度を変換するための対応関係を求めてきており、例えば、RGB座標軸における成分値(Rp,Gp,Bp )についての変換関係ではなかった。しかしながら、(2)式の変換式は、このRGBの成分値(Rp,Gp,Bp )との対応関係においても当てはめることができる。また、輝度y,Yが階調「0」〜階調「255」であるのに対応してRGBの各成分値(r,g,b),(R,G,B )も同じ範囲となっており、上述した輝度y,Yの変換テーブルをそのまま利用すればよいといえる。
【0112】
従って、ステップS208では全画素の画像データ(r,g,b)について図26に示す変換テーブルを参照し、変換後の画像データ(R,G,B )を得るという処理を繰り返すことになる。
【0113】
次に、上記構成からなる本実施形態の動作を順を追って説明する。
【0114】
スキャナ11などで写真を撮像したとすると、同写真をRGBの階調データで表した画像データがコンピュータ21に取り込まれ、CPUは図5及び図6に示す画像処理のプログラムを実行して画像データのコントラストを強調する処理を実行する。
【0115】
まず、ステップS102では画像データを所定の誤差内となる範囲で間引き、選択した画素についての輝度yを求めて分布を取る。このままの分布を使用することはできず、まず、画像が白黒のような二値画像でないかステップS104にて判断するとともに、ステップS108では自然画か否かを判断する。二値画像である場合や自然画でない場合などを除き、ステップS110では画像データに枠部がないか判断し、枠部があれば除いて得られた輝度分布についてステップS114にて標準偏差σを求める。本実施形態においては、標準偏差σを求めるだけでもよいが、γ補正の極性変換点を輝度分布に合わせて変更する場合にはメジアンyMeを求めておく。
【0116】
輝度分布の標準偏差σが得られたら、
y≦128では、
γ1=(σstd_limit/σ)**a …(7)
Y=128*(y/128)**γ1 …(9)
y>128では、
γ2(σ/σstd_limit)**a …(8)
Y=128*{(y−128)/128}**γ2+128…(10)
なる関係式より、ステップS204にてパラメータγ1,γ2を求めるとともに、ステップS206では輝度yから輝度Yへの変換関係をテーブルに記憶する。そして、ステップS208にて完成した変換テーブルを参照して全画素についての画像データを変換する。
【0117】
むろん、上述したように二値画像や自然画でない場合においてはかかる画像処理は行われないが、本発明の画像処理が行われた場合には、写真の状態では非常にコントラストが弱かったにもかかわらず、輝度の範囲を広げるように補正することにより、明暗がはっきりして鮮明な画像を得られるようになる。
【0118】
なお、上述した実施形態においては、γ1やγ2を求める際のパラメータσstd_limit,aを一定としているが、コンピュータ21上では所定のGUIを介してユーザーが選択できるようにしても良い。また、ユーザーが画像データの一部を指定して当該範囲内でのみかかるコントラストの強調処理を実行するようにすることも可能である。
【0119】
このように、ステップS102で間引きするなどしながら画像データの画素について輝度yの分布を求めた後、ステップS114にてその輝度分布の広がり量に対応する標準偏差σを求め、同標準偏差σに基づいてステップS204にてS字カーブの対応関係を形成するためのγ補正のパラメータ(γ1,γ2)を演算するようにしているため、ステップS208にて画像データ変換して変換元の輝度yにおける分布密度の高い領域には多くの階調数を割り当てるとともに分布密度の少ない領域には少ない階調数を割り当てるといった作業を自動化し、非熟練者でも容易にコントラストの強調を行うことができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる画像処理装置が適用される画像処理システムのブロック図である。
【図2】同画像処理装置の具体的ハードウェア構成例を示すブロック図である。
【図3】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図4】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図5】本発明の画像処理装置における輝度の分布検出処理部分を示すフローチャートである。
【図6】本発明の画像処理装置における輝度変換処理部分を示すフローチャートである。
【図7】変換元の画像における座標を示す図である。
【図8】サンプリング周期を示す図である。
【図9】サンプリング画素数を示す図である。
【図10】変換元の画像とサンプリングされる画素の関係を示す図である。
【図11】白黒の画像を示す図である。
【図12】白黒の画像の輝度分布を示す図である。
【図13】枠部のある画像を示す図である。
【図14】枠部のある画像の輝度分布を示す図である。
【図15】階調数の割り当てを変更しない場合の変換前の輝度と変換後の輝度との関係を示すグラフである。
【図16】変換前の輝度と変換後の輝度とがγ補正によってS字カーブの対応関係となるグラフである。
【図17】高輝度側の領域でγ<1のγ補正をかけた場合のグラフである。
【図18】低輝度側の領域でγ>1のγ補正をかけた場合のグラフである。
【図19】変換前の輝度と変換後の輝度とが線形の変換でS字カーブの対応関係となるグラフである。
【図20】同対応関係で変換特性の変換点で滑らかに変換されるようにする場合の変形例である。
【図21】メジアンが低輝度側に寄っている場合の輝度分布を示す図である。
【図22】メジアンが高輝度側に寄っている場合の輝度分布を示す図である。
【図23】全領域でγ<1のγ補正をかけた場合のグラフである。
【図24】全領域でγ>1のγ補正をかけた場合のグラフである。
【図25】特定した変換点を補間法で接続する場合のグラフである。
【図26】輝度分布を拡大する際の変換テーブルを示す図である。
【符号の説明】
10…画像入力装置
11…スキャナ
11b…スキャナ
12…デジタルスチルカメラ
12a…デジタルスチルカメラ
12b…デジタルスチルカメラ
13b…モデム
20…画像処理装置
21…コンピュータ
22…ハードディスク
30…画像出力装置
31…プリンタ
31a…プリンタ
31b…プリンタ
32…ディスプレイ
32a…ディスプレイ
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002186044A JP3972192B2 (ja) | 2002-06-26 | 2002-06-26 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002186044A JP3972192B2 (ja) | 2002-06-26 | 2002-06-26 | 画像処理装置および画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9006898A Division JPH10208034A (ja) | 1997-01-17 | 1997-01-17 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003051947A JP2003051947A (ja) | 2003-02-21 |
JP2003051947A5 true JP2003051947A5 (ja) | 2004-07-29 |
JP3972192B2 JP3972192B2 (ja) | 2007-09-05 |
Family
ID=19195416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002186044A Expired - Fee Related JP3972192B2 (ja) | 2002-06-26 | 2002-06-26 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3972192B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3956887B2 (ja) * | 2003-04-10 | 2007-08-08 | セイコーエプソン株式会社 | 画像処理装置および画像処理方法並びに画像処理プログラム |
KR100736614B1 (ko) * | 2005-08-26 | 2007-07-09 | 엘지전자 주식회사 | 비디오 영상 표출장치 및 명암조절방법 |
ES2727862T3 (es) | 2012-10-25 | 2019-10-21 | Mitsubishi Electric Corp | Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes |
EP2953340B1 (en) | 2013-01-31 | 2018-03-21 | Mitsubishi Electric Corporation | Image processing device, image processing method, program, and recording medium |
CN104504722B (zh) * | 2015-01-09 | 2017-05-10 | 电子科技大学 | 一种利用灰色点校正图像颜色的方法 |
CN114202491B (zh) * | 2021-12-08 | 2022-09-09 | 深圳市研润科技有限公司 | 一种增强光学图像的方法及系统 |
-
2002
- 2002-06-26 JP JP2002186044A patent/JP3972192B2/ja not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4069333B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JPH10208034A (ja) | 画像処理装置および画像処理方法 | |
JP4396866B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP2003051947A5 (ja) | ||
JP3972192B2 (ja) | 画像処理装置および画像処理方法 | |
JPH118768A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3693086B2 (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体 | |
JP3698205B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP3664395B2 (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体 | |
JP4123387B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP3596614B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP3985147B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP4123385B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP4182365B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP3664394B2 (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体 | |
JP3646798B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP2003125213A5 (ja) | ||
JP2003069826A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP4228243B2 (ja) | 画像処理装置、画像処理方法およびプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4475316B2 (ja) | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法 | |
JP2003085552A5 (ja) | ||
JP5029779B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP2003092687A5 (ja) | ||
JP2003050997A5 (ja) | ||
JP2008245321A (ja) | 画像処理装置、画像処理方法、および記録媒体 |