JP2008033966A - 画像処理プログラム - Google Patents

画像処理プログラム Download PDF

Info

Publication number
JP2008033966A
JP2008033966A JP2007266230A JP2007266230A JP2008033966A JP 2008033966 A JP2008033966 A JP 2008033966A JP 2007266230 A JP2007266230 A JP 2007266230A JP 2007266230 A JP2007266230 A JP 2007266230A JP 2008033966 A JP2008033966 A JP 2008033966A
Authority
JP
Japan
Prior art keywords
pixel
value
image
correction
saturation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007266230A
Other languages
English (en)
Other versions
JP4640850B2 (ja
Inventor
Masahiro Watanabe
征啓 渡辺
Koichi Fujimura
浩一 藤村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007266230A priority Critical patent/JP4640850B2/ja
Publication of JP2008033966A publication Critical patent/JP2008033966A/ja
Application granted granted Critical
Publication of JP4640850B2 publication Critical patent/JP4640850B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】適切な画像補正を自動的に行う新規な画像補正技術を提供する。
【解決手段】本発明の画像処理プログラムは、入力画像351に対して色カブリ補正、レンジ補正、主要部分推定処理、トーン補正を実施する補正処理前段部391と、補正前画像353を処理した補正処理前段部391の出力と手動補正画像355とを用いてオペレータの好みを表すデータである彩度基準値及び輪郭基準値を生成する統計情報算出部393と、基準値DB33に格納された彩度基準値を用いた彩度補正処理と輪郭基準値を用いた輪郭強調処理とを実施する補正処理後段部395とが含まれる。補正処理後段部395の処理結果は出力画像357として画像格納DB35に格納される。
【選択図】図2

Description

本発明は、画像処理技術に関し、より詳しくは自動画像補正技術に関する。
従来、画像補正について知識を有する専門のオペレータが、手動で試行錯誤しながら、様々な種類の補正を入手した画像に対し施して画質改善を行っていた。画像補正には様々な種類があり、画像全体に色が付いたりして全体的に色の偏りがある場合に当該偏りを取り除く色カブリ補正や、画素値の取り得る範囲を調整するレンジ補正や、画素の明るさやコントラストを調整するトーン補正や、画像の鮮やかさを調整する彩度補正や、画像の先鋭性を改善する輪郭強調補正などがある。
色カブリ補正の従来の技術では、色カブリの補正基準と補正量を推定し、推定した補正量を画像の色相全体に一律に使用して補正する場合が多い。しかし、例えばY系統の色相領域とG系統の色相領域では彩度値の分布が大きく異なるため、このような方法に従って色空間全体から補正量を推定すると、精度が著しく低下してしまうという欠点があった。
また、例えば特開2000−13626号公報には、以下のような技術が開示されている。すなわち、入力画像の画素に色カブリ補正を行う際、補正の基準となる色相と画素の位相値のずれを重みとして補正量を調整して使用することで、推定した補正量を画像の位相全体に一律に使用する。例えば図44に示すように、LCH(明度・彩度・色相)平面において点線が補正前の色分布を示し、矢印が色カブリ方向を示している場合、本公報記載の技術を用いると、補正前の色分布はそのまま実線で示すような位置に移動させられる。しかし、元々色カブリしていない色領域Aも、領域A'の位置まで移動させられるため、彩度・色相が大きく変化してしまい、画像の色が部分的にあせたり、にじんだりする欠点があった。
レンジ補正については、従来次のような方法が用いられていた。すなわち、予め希望するハイライト画素値及びシャドウ画素値を決めておき、入力画像の中から最も明度が高い画素であるハイライト画素と、最も明度が低い画素であるシャドウ画素を探索する。そして、探索したハイライト画素をハイライト画素値に変換し、探索したシャドウ画素をシャドウ画素値に変換し、探索したハイライト画素の値とシャドウ画素の値の間の画素値を有する画素については、線形に比例計算してハイライト画素値とシャドウ画素値の間の画素値に変換する。
もし、入力画像が明度成分しか有していないモノクロ画像であれば上記の方法でも問題ないが、カラー画像である場合は色バランスが考慮されていないために問題が生じていた。すなわち、画像がRGB(光の3原色である赤、緑、青)で表現され、RGBの各成分に上記の方法に従ってレンジ補正してしまうと、色を有する画素、例えばハイライト画素が黄色(画素値で表すと、(RGB)=(200,200,100))である場合、RGBそれぞれの画素値が高くなり(RGB=(255,255,255))、色が白になってしまう、といった現象が生じてしまう。
このため、色バランスを保つためRGBの比率を保ったままレンジ補正を行う方法もあるが、シャドウ画素の画素値が取り得る画素値の中でかなり高い画素値(明るい赤色(例えばRGB=(200,150,150)))を有しているような場合、単にRGBの比率を保つだけではRGBの各成分の差が小さくなるので、例えば赤味が薄れてしまった赤(RGB=(100,75,75)となるなど、入力画像のメリハリが薄れてしまう場合もあった。
また例えば特開平8−32827号公報では、レンジ補正対象の画像がカラーである場合、カラー画像をLCH形式に変換し、LとCについてレンジ補正を行う。この場合画素値が表現できる色空間の外に出ることがあるため、色域圧縮を行って所定の色空間内に画素値を押し込む方法が開示されている。この方法ではカラーバランスを保ってレンジ補正が可能となっているが、レンジ補正後の画素が所定の色空間内に入っているかということを判断し、もし入っていなければ画素値を色空間内に押し込む作業が余分に必要となるという問題がある。また、近年デジタルカメラ等の画像撮影装置が一般化しており、入力画像がRGBで表現されている場合が多いので、本公報のような方法を用いる場合には、RGBをLCHに変換するコストも余分にかかることになる。
また、明るさやコントラストが適切でない画像について、入力画像が人物を主体とする画像であれば、人物部分の明るさ・階調を整えるように階調補正カーブ等の画像処理を実施し、逆光状態の画像であれば逆光で黒くつぶれ気味の部分の明るさ・階調を整えるように、階調補正を実施することが望ましい。例えば特許3018914号は、画像の主体部分の認識と階調補正方法を開示している。すなわち、画像を複数の小領域に分割し、人物の分析と逆光の分析を行って、入力画像を4種(人物画像の有/無と、逆光画像の有/無の組合せ)に分類し、全体画像の人物度合と逆光度合を算出する。また予め求めてあった重み値(人物信頼度と、逆光信頼度、その他画像の信頼度)を取得し、予め用意してあった3種(人物補正用、逆光補正用、その他画像の補正用)の階調補正カーブの雛形と重み値を積和計算して、最終の階調補正カーブを算出する。しかし、この方法では、画像全体について人物や逆光の度合を推察し階調補正カーブを作成しているため、せっかく入力画像を小領域に分割して画像分析を行っても、その人物や逆光の部位を特定していない。従って、画像が人物や逆光と判定されても、明るさやコントラストが適切でない画像について、人物や逆光の部位が希望する階調に補正されない場合が生ずる。
また、近年、オペレータの作業を自動化する技術が開発されつつあるが、画像補正時のオペレータの好み・傾向を無視して画一的に補正するため、彩度補正や輪郭強調補正といった自動画像補正の結果がオペレータの目的とするものと大きく異なる場合が生じてしまう。
特開2000−13626号公報 特開平8−32827号公報 特許3018914号
上で述べたように、従来、適切な自動画像補正技術は存在していなかった。
従って、本発明の目的は、適切な画像補正を自動的に行う新規な画像補正技術を提供することである。
また、本発明の目的は、より精度の高い画像補正を自動的に行う新規な画像補正技術を提供することである。
本発明の第1の態様に係る、入力画像について色カブリを補正する方法は、色相の範囲を分割することにより生ずる複数の色相領域のうち基準となる色相領域に含まれる、入力画像の少なくとも一部の画素の明度成分の大きさにより重み付けされた上記画素の彩度成分について統計量(例えば実施の形態においては平均値。但し、最頻値等であってもよい。)を計算し、色カブリの補正基準値を設定する補正基準値計算ステップと、入力画像の各画素について、補正基準値を用いて色カブリの補正を実施する補正ステップとを含む。
これにより、高精度な色カブリ補正を自動的に行うことができるようになる。すなわち、本発明の第1の態様においては入力画像の全画素を色カブリの補正基準値を計算するのに用いるのではなく、基準となる色相領域に含まれる画素だけを用いるため、補正基準値の計算に好ましくない画素についてのデータを除去でき、補正基準値の精度が向上する。また、画素の明度成分の大きさにより重み付けされた彩度成分を用いるため、例えば補正基準値の計算に好ましくない画素については小さい重み付けを、好ましい画素については大きな重み付けを行うことができるため、補正基準値の精度がより向上する。
本発明の第2の態様に係る、入力画像についてレンジ補正を実施する方法は、入力画像に含まれる画素の中から、最も明度の高いハイライト画素と最も明度の低いシャドウ画素とを検出するステップと、ハイライト画素の各色成分の値と各色成分が取り得る最低値との階調差の比が変化しないように、ハイライト画素の各色成分の値を指定の最高階調値に従って変換するハイライト画素調整ステップと、シャドウ画素の各色成分の値と各色成分が取り得る最高値との階調差の比が変化しないように、シャドウ画素の各色成分の値を指定の最低階調値に従って変換するシャドウ画素調整ステップと、各色成分について、変換前のシャドウ画素についての当該色成分の値から変換前のハイライト画素についての当該色成分の値までに含まれる入力画像の各画素の当該色成分の値を、変換後のシャドウ画素についての当該色成分の値から変換後のハイライト画素についての当該色成分の値までの値に線形変換するステップとを含む。
これにより、適切なレンジ補正を自動的に行うことができるようになる。このように、ハイライト画素の各色成分の値と各色成分が取り得る最低値との階調差の比が変化しないようにハイライト画素の各色成分の値を指定の最高階調値に従って変換し、またシャドウ画素の各色成分の値と各色成分が取り得る最高値との階調差の比が変化しないように、シャドウ画素の各色成分の値を指定の最低階調値に従って変換するため、ハイライト画素とシャドウ画素は補正前よりメリハリがついて、さらに残りの画素を指定の範囲内に押し込み処理なしで入れることができる。
本発明の第3の態様に係る、入力画像について注目部分を特定する画像処理方法は、入力画像を複数の領域に分割するステップと、複数の領域の各々について、予め設定されている人肌の条件を満たす画素である人肌画素を計数することにより当該人肌画素の割合を計算し、複数の領域について人肌画素の割合の平均及び標準偏差を計算するステップと、人肌画素の割合の平均に基づいて、人物と推定される部分を含む領域の有無を判断するステップと、人物と推定される部分を含む領域が存在すると判断された場合には、人物と推定される部分を含む領域に対して最注目部分を表す重要度を設定し、人物以外と推定される部分を含む領域については標準偏差の値に基づき最注目部分を表す重要度以下の重要度を設定するステップとを含む。
これにより人物と推定される部分を含む領域を特定でき、後の処理にて当該領域について処理内容を変えたり、重要度に従って重み付けしたりすることができるようになる。
また、本発明の第4の態様に係る、入力画像について注目部分を特定する画像処理方法は、入力画像を複数の領域に分割するステップと、複数の領域の各々について、平均明度と、予め設定されている空の条件を満たす画素である空画素及び予め設定されている雲の条件を満たす画素である雲画素をそれぞれ計数することにより空画素の割合及び雲画素の割合とを計算し、複数の領域について平均明度の平均値及び標準偏差を計算するステップと、平均明度、平均明度の平均値及び標準偏差、並びに空画素の割合と雲画素の割合との少なくともいずれかに基づき、入力画像が逆光状態であるか判断するステップと、入力画像が逆光状態であると判断される場合には、平均明度及び平均明度の平均値に基づき逆光による暗部と推定される部分及び逆光による暗部ではないが空画素の割合及び雲画素の割合により雲及び空以外であると推定される部分について最注目部分を表す重要度を設定し、その他の部分については最注目部分を表す重要度より低い重要度を設定するステップとを含む。
これにより入力画像において重要と考えられ且つ逆光による暗部と推定される部分等を特定することができ、後の処理にて当該領域について処理内容を変えたり、重要度に従って重み付けしたりすることができるようになる。より具体的には、トーン補正において必要なパラメータを決定する基準となる明度平均値及び明度標準偏差の値を計算する際に、重要度により重み付けして明度を平均したり、明度標準偏差を計算したりする。これにより、より適切なトーン補正を実施できるようになる。
本発明の第5の態様に係る、入力画像について彩度補正をする方法は、入力画像の各画素の彩度についての統計量を計算し、記憶装置に格納するステップと、オペレータの彩度補正傾向を表す彩度補正基準値と彩度についての統計量とを用いて彩度補正係数を計算し、当該彩度補正係数にて彩度補正を実施する彩度補正ステップとを含む。
このようにオペレータの彩度補正傾向を表す彩度補正基準値を用いるため、オペレータの好みに合わせた補正を行うことができるようになる。
本発明の第6の態様に係る、入力画像について輪郭強調補正を行う方法は、入力画像の明度成分からなる処理画像に対して平滑化処理を実施することにより平滑化画像を生成するステップと、処理画像と平滑化画像との差分を計算することにより差分画像を生成するステップと、差分画像の画素値についての統計量を計算し、記憶装置に格納するステップと、オペレータの輪郭強調補正傾向を表す輪郭強調補正基準値と差分画像の画素値についての統計量とに基づいて輪郭強調補正係数を計算する係数計算ステップと、差分画像の各画素値を輪郭強調補正係数により補正し、処理画像の対応する画素値と加算することにより、出力画像を生成するステップとを含む。
このようにオペレータの輪郭強調補正傾向を表す輪郭強調補正基準値を用いるため、オペレータの好みに合わせた補正を行うことができるようになる。
なお、上述の方法はプログラムにて実施することができ、このプログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークなどを介して配布される場合もある。尚、中間的な処理結果はメモリに一時保管される。
以上のように、適切な画像補正を自動的に行う新規な画像補正技術を提供することができる。
また、より精度の高い画像補正を自動的に行う新規な画像補正技術を提供することができる。
図1に本発明の一実施の形態に係るシステム構成図を示す。図1に示されたシステムにおいては、LAN(Local Area Network)等であるネットワーク1には、画像を撮影し且つデジタル画像データを出力するデジタルカメラ91やアナログカメラ(フィルムカメラ)等で撮影された写真画像をデジタル化するスキャナ93とから入力画像データを取り込む画像入力制御装置9と、本実施の形態において主たる処理を実施する画像データサーバ3と、印刷データを印刷するためのプロッタ111に接続され且つ画像データサーバ3から受信した処理済の画像データに対して印刷のための処理(例えば多値画像の網点化処理等)を行い、印刷データをプロッタ111に送信するプロッタ制御装置11と、オペレータが自動補正前の画像データに対して手動で画像補正を行い且つ手動補正画像データを画像データサーバ3に送信するための1又は複数の手動補正画像作成端末5と、画像データサーバ3に画像補正指令や出力指令などを行う1又は複数の指示端末7とが接続されている。
画像データサーバ3は、OS(Operating System)31と、アプリケーション・プログラム37と、本実施の形態に係る主たる処理を実施する画像処理プログラム39とを含む。OS31には、手動補正画像作成端末5から受信した手動補正画像と補正前の画像とから算出された、彩度及び輪郭の統計情報、並びに彩度基準値及び輪郭基準値等を格納する基準値DB33と、画像入力制御装置9から受信した入力画像のデータ、画像処理プログラム39により処理された画像のデータ、手動補正画像作成端末5により生成された手動補正画像のデータ等の画像データを格納する画像格納DB35とが含まれる。また、アプリケーション・プログラム37は、指示端末7や手動補正画像作成端末5と画像データサーバ3とのインターフェースであったり、画像処理プログラム39の補助的な処理を実施するプログラム等である。
図1に示したシステムにおいては、デジタルカメラ91やスキャナ93から画像入力制御装置9を介して入力された画像データは、画像データサーバ3の画像格納DB35に格納される。オペレータは、手動補正画像作成端末5を用いて、画像格納DB35に格納された画像(補正前の画像)に対して手動補正を行い、作成された手動補正画像を画像格納DB35に格納させる。画像処理プログラム39は、補正前の画像と手動補正画像とを用いて、彩度及び輪郭の統計情報並びに彩度基準値と輪郭基準値とを計算し、基準値DB33に格納する。また、オペレータは、指示端末7を用いて、画像格納DB35に格納された入力画像について以下で詳しく述べる補正処理を実施するように画像データサーバ3に指示する。画像データサーバ3の画像処理プログラム39は、画像格納DB35から入力画像を読み出し、以下で詳しく述べる補正処理を実施する。この際、基準値DB33に格納された情報を用いて処理を実施する場合もある。画像処理プログラム39の処理が終了した補正後の画像データは、オペレータが指示端末7により指示した場合には、プロッタ制御装置11に出力される。プロッタ制御装置11は補正後の画像データを印刷データに変換し、プロッタ111は当該印刷データを印刷する。
図2に画像処理プログラム39の機能ブロック図を示す。画像処理プログラム39には、画像格納DB35に格納された入力画像351及び補正前画像353に対して処理を行う補正処理前段部391と、画像格納DB35に格納された手動補正画像355と補正処理前段部391により処理された後の補正前画像353とを用いて処理を行い、基準値DB33に彩度平均値(Te-Ca)及び輪郭平均値(|L|a)を格納する統計情報算出部393と、補正処理前段部391による処理結果と基準値DB33に格納された基準値を用いて処理を行い、処理結果である出力画像357を画像格納DB35に格納する補正処理後段部395とを含む。なお、統計情報算出部393は、複数の画像についての彩度平均値及び輪郭平均値から、彩度基準値(Te-allCa)と輪郭基準値(all|L|a)とを計算し、基準値DB33に格納する。
図3に補正処理前段部391の機能ブロック図を示す。補正処理前段部391は、色カブリ補正部200と、レンジ補正部202と、主要部分推定部204と、トーン補正部206とを含む。入力画像351は、色カブリ補正部200に入力され、色カブリ補正部200の処理結果は画像格納DB35に格納される場合もあれば、レンジ補正部202に入力される場合もある。レンジ補正部202の処理結果は、画像格納DB35に格納される場合もあれば、主要部分推定部204に入力される場合もある。主要部分推定部204の処理結果は、画像格納DB35に格納される場合もあれば、トーン補正部206に入力される場合もある。トーン補正部206の処理結果は、画像格納DB35に補正処理前段部出力画像359として格納される場合もあれば、補正処理後段部395に出力される場合もある。
図4に補正処理後段部395の機能ブロック図を示す。補正処理後段部395は、彩度補正部208と、輪郭強調部210とを含む。彩度補正部208は、補正処理前段部出力画像359と基準値DB33に格納された彩度基準値とを用いて彩度補正を行い、処理結果を画像格納DB35に格納するか又は輪郭強調部210に出力する。輪郭強調部210は、彩度補正部208の処理結果と基準値DB33に格納された輪郭基準値とを用いて輪郭補正を行い、処理結果を出力画像357として画像格納DB35に格納する。
図5に図1に示した画像処理プログラム39の処理フローを示す。最初に、画像格納DB35に格納された入力画像351を用いて色カブリ補正部200による色カブリ補正処理を実施する(ステップS1)。次に、色カブリ補正処理の結果を用いてレンジ補正部202によるレンジ補正処理を実施する(ステップS3)。そして、レンジ補正処理の結果を用いて主要部分推定部204による主要部分推定処理を実施する(ステップS5)。また、主要部分推定処理の結果を用いてトーン補正部206によりトーン補正処理を実施する(ステップS7)。さらに、トーン補正処理の結果及び基準値DB33に格納された彩度基準値を用いて彩度補正部208により彩度補正処理を実施する(ステップS9)。最後に、彩度補正処理の結果及び基準値DB33に格納された輪郭基準値を用いて輪郭強調部210により輪郭強調処理を実施する(ステップS11)。輪郭強調処理の処理結果は、画像格納DB35に格納される。
以下、図5の各ステップについて詳細に説明する。
1.色カブリ補正
図6乃至図14を用いて色カブリ補正処理を説明する。なお、各色成分RGBがレベル値0から255であるカラー画像を色カブリ補正部200に入力する場合を説明するが、本発明はこれに限定されるものではない。
図6に色カブリ補正処理の処理フローを示す。最初に、色カブリ補正部200は、最大彩度テーブルを設定する(ステップS21)。このステップでは、まず例えばレベル値0から255の範囲をとる明度L、色相H、彩度Cを成分とする色空間を、RGBCMY(赤(Red)、緑(Green)、青(Blue)、C(シアン(cyan))、M(マゼンタ(magenta))、Y(黄(yellow)))の6個の色相領域Hiに分割する。6は一例であって、これに限定されるものではない。また、各色相領域 Hi内に存在する色について、最大彩度を有する色の明度値Liより明度が大きいハイライト側の領域hlと、明度値がLi以下であるシャドウ側の領域sdに分割する。すなわち、LCHの色空間を12の領域Tに分割する。
この状態を図7に示す。図7に示すように、LCH空間において、彩度Cの大小を円の中心から半径方向に伸ばした線分の長短で表し、色相Hを円の回転角で表し、明度Lの大小を円柱の中心軸における高さで表す。ステップS1では、色相Hを、C系統の領域H1と、B系統の領域H2と、M系統の領域H3と、R系統の領域H4と、Y系統の領域H5と、G系統の領域H6とに分割する。さらに、各領域Hi内をハイライト側の領域hlとシャドウ側の領域sdとに分割する。この分割の基準となる明度値Liは、領域Hi毎に異なり、分割数が決まり、各色相の範囲が決定されれば、理論的に決定される。図7では、領域H1についてのL1が示されており、領域H1はハイライト側の領域hlとシャドウ側の領域sdとに分割される。説明の都合上H1のみについてハイライト側の領域及びシャドウ側の領域を示しているが、全ての領域Hiについて分割される。
ステップS1では、例えば図8に示すような最大彩度テーブルを生成して、データを記憶する。図8の最大彩度テーブルには、領域番号の欄800と、ハイライト側の領域の場合1をシャドウ側の領域の場合2を設定するhl/sdフラグの欄801と、領域の色相角の範囲を格納するための色相域の欄802と、領域の明度値の範囲を格納するための明度域の欄803と、領域の最大彩度を有する色の明度値Liを記憶するための欄804と、領域に属する入力画像の画素数を格納するための画素数の欄805と、ハイライト側の領域について属する画素数が最大の場合には01をシャドウ側の領域について属する画素数が最大の場合には02を格納する最多フラグの欄806と、入力画像の画素の平均色相HUa又はHLaを格納するための欄807と、入力画像の画素の平均変換彩度CUa又はCLaを格納するための欄808とを含む。ステップS1では、領域番号の欄800と、hl/sdフラグの欄801と、色相域の欄802と、明度域の欄803と、最大彩度を有する色の明度値Liを記憶するための欄804とにデータを格納する。
図6の説明に戻って、次に色カブリ補正部200は、ハイライト側の領域hl及びシャドウ側の領域sdにおける重み関数を設定する(ステップS23)。重み関数は後に説明するステップS41及びS45で用いられる。ハイライト側の領域hlにおける重み関数の式は、以下のようなものである。
F(L)=Fi(L)=(L−Li)2/(255−Li)2 (1)
Lは各画素の明度値である。Liは、領域Hiにおける最大彩度を有する色の明度値である。
また、シャドウ側の領域sdにおける重み関数の式は、以下のようなものである。
G(L)=Gi(L)=L2/Li2 (2)
Lは各画素の明度値である。Liは、領域Hiにおける最大彩度を有する色の明度値である。
重み関数F(L)及びG(L)についてのグラフを図9に示す。図9において、縦軸は明度Lであり、横軸は重み値(0.0から1.0)である。重み値は、明度Lがある色相領域Hiの最大彩度を持つ色の明度値Liである場合に0となり、最大明度及び最低明度において1になる。必ずしも(1)式及び(2)式のような二次関数である必要はないが、上記のような条件を満たす必要がある。このような重み関数を用いるのは、図10の右側に示すように、ある色相領域Hiの彩度の値は、当該色相領域Hiの最大彩度をもつ色の明度値Liの時に最も大きくなり、最大明度及び最低明度に近付くと彩度の値は低くなるためである。すなわち、明度値が明度値Li付近の画素は、元々色付きの画素である可能性が高いため、色カブリの可能性は低く、色カブリの補正量の推定には不向きである。従って、図10左側に示すように、明度値が明度値Li付近の画素については重み値を低くする。また、明度値が最大明度や最低明度に近い画素については、色カブリの可能性の高い画素であり、重み値を大きくして積極的に色かぶりの補正量の算出に使用するものである。
なお、ステップS21及びステップS23については、領域数が決まっていれば予め実施しておいてもよいし、入力画像の処理ごとに実施してもよい。
図6の処理フローに戻って、色カブリ補正部200は、処理すべき入力画像を画像格納部35から読み出し(ステップS25)、入力画像の色空間をRGB空間から、明度L、色相H及び彩度Cの次元を持つLCH空間に変換し、各画素の明度L、彩度C及び色相Hを取得する(ステップS27)。取得された各画素の明度L、彩度C及び色相Hは、画素テーブルに格納される。画素テーブルの一例を図11に示す。図11に示した画素テーブルの場合、画素識別子の欄1100と、明度Lの欄1101と、彩度Cの欄1102と、色相Hの欄1103と、当該画素が属する領域の番号を格納するための領域の欄1104と、ハイライト側の領域hl("1"で表現)かシャドウ側の領域sd("2"で表現)かを表すhl/sdフラグの欄1105と、変換彩度CU又はCLの欄1106と、色相HU又はHLの欄1107と、補正彩度の欄1108の欄とが設けられている。ステップS27では、画素識別子の欄1100と、明度Lの欄1101と、彩度Cの欄1102と、色相Hの欄1103とにデータが格納される。
次に、色カブリ補正部200は、一つの画素の明度L、彩度C及び色相Hの画素テーブルから読み出す(ステップS29)。そして、彩度Cが5以上であり且つ30以下であるかを判断する(ステップS31)。あまりに低い又は高い彩度の画素についてはここでは考慮しないためである。もし、彩度Cが5未満又は30を超える画素の場合には、次の画素に移行し(ステップS33)、ステップS29に戻る。一方、彩度Cが5以上且つ30以下である場合には、当該画素が属する領域を識別し、当該領域について画素数をカウントする(ステップS35)。すなわち、当該画素の色相H及び明度Lから、最大彩度テーブルに規定された各領域の色相域及び明度域(色相域の欄802及び明度域の欄803)から当該画素がいずれの領域に属するかを検出し、属する領域の番号を画素テーブルの領域の欄1104に登録する。画素テーブルへの登録の際には、ハイライト側の領域、シャドウ側の領域のいずれに属するかについても画素テーブルのhl/sdフラグの欄1105に登録する。さらに、当該画素が属する領域の画素数のカウントを1インクリメントする。このカウントの値は最大彩度テーブルの画素数の欄805に格納される。
そして、全画素について処理を実施したか判断する(ステップS37)。もし、未処理の画素が存在する場合にはステップS33に移行し、次の画素についての処理に移行する。
一方、全画素について処理を完了した場合には、色カブリ補正部200は、ハイライト側の領域hlとシャドウ側の領域sdにおける最多画素数領域hl-maxとsd-maxとを識別する(ステップS39)。これは、最大彩度テーブルの画素数の欄805に格納された数値をhl/sdフラグの欄801に格納された値(1又は2)毎に比較すればよい。そして、ハイライト側の領域における最大画素数領域hl-maxを識別した場合には、最大彩度テーブルの最多フラグの欄806のその領域の行に01を、シャドウ側の領域における最大画素数領域sd-maxを識別した場合には、最大彩度テーブルの最多フラグの欄806のその領域の行に02を格納する。図8の例では、領域番号1がハイライト側の最大画素数領域hl-maxであり、領域番号6がシャドウ側の最大画素数領域sd-maxである。この最大画素数領域hl-max及びsd-maxが、色カブリによる彩度の補正量を計算する際の基準となる領域となる。
図12に示すようにY系統(図12左側)の色相領域の彩度分布とG系統(図12右側)の色相領域の彩度分布とは異なり、特に最大彩度を有する色の明度値LY及びLGは全く違う。色相全体から色カブリの補正量の算出を行うと、図12でも示されているように色相領域毎に最大彩度を有する明度値Liが異なるため、元々色カブリが少ない色付きの画素である可能性が高い画素が多く使用されることになり、色カブリの補正量の精度が低下する。従って、本実施の形態では、最大画素数領域に属する画素のみを使用して彩度の補正量を計算することにする。
次に、色カブリ補正部200は、ハイライト側の最大画素数領域hl-maxに属する全画素について平均色相HUaを計算する(ステップS41)。最大彩度テーブルの最多フラグの欄806に01が格納されている行を読み出すことにより最大画素数領域hl-maxを検出する。そして、画素テーブルの領域の欄1104を走査して最大画素数領域hl-maxに属する画素を検出し、色相Hの欄1103に格納された色相Hの値を色相HU/HLの欄1107に格納する。そして、色相HU/HLの欄1107に格納された値を最大画素数領域hl-maxに属する全画素について加算し、画素数で除する。そして計算された平均色相HUaを最大彩度テーブルの最大画素数領域hl-maxの行(最多フラグの欄806に01が格納されている行)の平均色相HUa/HLaの欄807に格納する。
そして、色カブリ補正部200は、ステップS23において設定した(1)式で表される重み関数F(L)を用いて、ハイライト側の最大画素数領域hl-maxに属する各画素について変換彩度CUを計算する。そして、変換彩度CUの平均変換彩度CUaを計算する(ステップS43)。変換彩度CUは以下の式で計算される。
CU=C×F(L) (3)
色カブリ補正部200は、最大彩度テーブルの最多フラグの欄806に01が格納されている行を読み出すことにより最大画素数領域hl-maxを検出する。そして、画素テーブルの領域番号の欄1104を走査して最大画素数領域hl-maxに属する画素を検出し、彩度Cの欄1102に格納された彩度Cの値を、明度Lを用いて(3)式に従って変換することにより変換彩度CUを取得し、変換彩度CU/CLの欄1106に変換彩度CUの値を格納する。そして、変換彩度CU/CLの欄1106に格納された値を最大画素数領域hl-maxに属する全画素について加算し、画素数で除する。そして計算された平均変換彩度CUaを最大彩度テーブルの最大画素数領域hl-maxの行(最多フラグの欄806に01が格納されている行)の平均変換彩度CUa/CLaの欄808に格納する。
例えば(3)式によりハイライト側の色カブリについては、図8に示すようにHUa=30°、CUa=10といったように計算される。これは、ハイライト側の色カブリは、LCH色空間で色相30°、すなわち赤からオレンジ色の色合いに色カブリしており、その強さは彩度値10となる。
また、色カブリ補正部200は、シャドウ側の最大画素数領域sd-maxに属する全画素について平均色相HLaを計算する(ステップS45)。最大彩度テーブルの最多フラグの欄806に02が格納されている行を読み出すことにより最大画素数領域sd-maxを検出する。そして、画素テーブルの領域番号の欄1104を走査して最大画素数領域sd-maxに属する画素を検出し、色相Hの欄1103に格納された色相Hの値を色相HU/HLの欄1107に格納する。そして、色相HU/HLの欄1107に格納された値を最大画素数領域sd-maxに属する全画素について加算し、画素数で除する。そして計算された平均色相HLaを最大彩度テーブルの最大画素数領域sd-maxの行(最多フラグの欄806に02が格納されている行)の平均色相HUa/HLaの欄807に格納する。
そして、色カブリ補正部200は、ステップS23において設定した(2)式で表される重み関数F(L)を用いて、シャドウ側の最大画素数領域sd-maxに属する各画素について変換彩度CLを計算する。そして、変換彩度CLの平均変換彩度CLaを計算する(ステップS47)。変換彩度CLは以下の式で計算される。
CL=C×G(L) (4)
色カブリ補正部200は、最大彩度テーブルの最多フラグの欄806に02が格納されている行を読み出すことにより最大画素数領域sd-maxを検出する。そして、画素テーブルの領域番号の欄1104を走査して最大画素数領域sd-maxに属する画素を検出し、彩度Cの欄1102に格納された彩度Cの値を、明度Lを用いて(4)式に従って変換することにより変換彩度CLを取得し、変換彩度CU/CLの欄1106に変換彩度CLの値を格納する。そして、変換彩度CU/CLの欄1106に格納された値を最大画素数領域sd-maxに属する全画素について加算し、画素数で除する。そして計算された平均変換彩度CLaを最大彩度テーブルの最大画素数領域sd-maxの行(最多フラグの欄806に02が格納されている行)の平均変換彩度CUa/CLaの欄808に格納する。
ステップS41乃至S47については、順番は入れ替え可能であり、並列に実行することも可能である。処理は、端子Aを介して図13に移行する。
次に、入力画像の全画素について補正彩度CCを計算して色カブリを除去する。色カブリ補正部200は、1つの画素のデータを読み出し(ステップS48)、当該画素の領域判定を実施する(ステップS49)。画素テーブルのhl/sdフラグの欄1105に格納されたデータに基づき、ハイライト側の領域に属する画素であればステップS51に移行し、シャドウ側の領域に属する画素であればステップS55に移行する。なお、彩度Cが5未満又は30を超える場合にはhl/sdフラグの欄1105にデータが格納されない。よって、その場合には、最大彩度テーブルの色相域の欄802及び明度域の欄803に格納された明度域及び色相域に基づき、明度Lの欄1101及び色相Hの欄1103に格納された明度Lの値と色相Hの値がいずれの領域に属するか判断し、ステップS51又はステップS55に移行する。
もし、ハイライト側の領域であると判断された場合には、色カブリ補正部200は、当該画素の色相Hと平均色相HUaとの角度差θU(0°≦θ≦360°)を算出し、記憶装置に格納する(ステップS51)。すなわち、以下の計算を実施する。
θU=H−HUa (5)
画素テーブルの色相Hの欄1103から色相Hの値を読み出し、最大画素数領域hl-maxの行(最多フラグの欄806に01が格納されている行)の平均色相HUa/HLaの欄807に格納された平均色相HUaを読み出し、(5)式に従って計算する。
そして、θUを用いて調整された平均変換彩度CUaをさらに用いて色カブリ補正後の補正彩度CCを計算し、記憶装置に格納する(ステップS53)。すなわち、以下の計算を実施する。
CC=C−CUa×cos(θU) (6)
画素テーブルの彩度Cの欄1102から彩度Cの値を読み出し、最大画素数領域hl-maxの行(最多フラグの欄806に01が格納されている行)の平均変換彩度CUa/CLaの欄808に格納された平均変換彩度CUaを読み出し、(6)式に従って計算する。
色相Hと平均色相HUaとの角度差θUの余弦を計算するのは、色カブリ色相角度の垂直方向には色カブリ補正を行わないということを意味している。
例えば、入力画素が(L,C,H)=(200,15,30°)であり、色カブリ量HUa=30°、CUa=10である場合には、当該入力画素は色カブリした画素となり、色カブリ補正後の彩度はCC=5となる。このようにして入力画素の彩度を15から5に減少させることで、色カブリを除去できる。ステップS53の後にはステップS59に移行する。
一方、シャドウ側の領域であると判断された場合には、色カブリ補正部200は、当該画素の色相Hと平均色相HLaとの角度差θL(0°≦θ≦360°)を算出し、記憶装置に格納する(ステップS55)。すなわち、以下の計算を実施する。
θL=H−HLa (7)
画素テーブルの色相Hの欄1103から色相Hの値を読み出し、最大画素数領域sd-maxの行(最多フラグの欄806に02が格納されている行)の平均色相HUa/HLaの欄807に格納された平均色相HLaを読み出し、(7)式に従って計算する。
そして、θLを用いて調整された平均変換彩度CLaをさらに用いて色カブリ補正後の補正彩度CCを計算し、記憶装置に格納する(ステップS57)。すなわち、以下の計算を実施する。
CC=C−CLa×cos(θL) (8)
画素テーブルの彩度Cの欄1102から彩度Cの値を読み出し、最大画素数領域sd-maxの行(最多フラグの欄806に02が格納されている行)の平均変換彩度CUa/CLaの欄808に格納された平均変換彩度CLaを読み出し、(8)式に従って計算する。ステップS57の後にはステップS59に移行する。
そして、ステップS53又はステップS57で計算された補正彩度CCが0以上か否かを判断する(ステップS59)。もし、0未満の場合には、補正彩度CC=0とする(ステップS61)。
補正彩度CCが0以上の場合、又はステップS61の後に、補正彩度CCを、画素テーブルの補正彩度CCの欄1108に記録する(ステップS63)。そして、色カブリ補正部200は、全画素を処理したか否か判断する(ステップS65)。もし、全画素を処理していない場合には、次の画素のデータを読み出し(ステップS67)、ステップS49に戻る。
一方、全画素について処理したと判断された場合には、画素テーブルに格納された各画素の明度L、補正彩度CC及び色相Hに基づき、LCH空間からRGB空間へ変換する(ステップS69)。そして、補正後の入力画像を画像格納DB35に出力し、格納する(ステップS71)。なお、ここで画像格納DB35に出力せずに、レンジ補正部202に出力するようにしてもよい。
色カブリ補正前と色カブリ補正後の彩度の変化を図14に示す。図14の例では補正前の彩度の分布は点線の円で表されている。一方、色カブリ補正後の彩度分布は実線で示されている。平均色相HUa又はHLaで決まる色カブリ方向の垂直方向(点線)には色カブリ補正は行われない。彩度の大きさは、(6)式又は(8)式に従って変更される。
このように、色カブリの補正量の推定を、明度Lを重みにした関数を使用して、最大画素数領域の統計量により実施することで、色カブリである可能性が高い画素を効果的に使用して行えるため、精度の良い推定となる。また、例えば、図12に示したY系統の色相領域とG系統の色相領域では彩度値の分布が大きく異なるため、色空間全体から推定すると、精度が著しく低下してしまう場合が生じえるが、本実施の形態ではこれを回避できる。さらに、入力画像の画素を補正する際に、補正の基準色相(平均色相HUa又はHLa)と画素の色相値のずれ(θU又はθL)を重みとして補正量を調整して使用している。推定した補正量を画像の色相全体に一律に使用する従来の方式では、画像上の画素で元々色カブリをしていない色相に属する画素に対してまで補正処理を行い彩度成分の値が思わぬ方向に変化して、画像の色が部分的にあせたり、にじんだりする事態が生じ得るが、本実施の形態ではこれを回避し、良好な画質が得られるようになる。
2.レンジ補正
色カブリ補正処理により補正された画像について、レンジ補正部202が以下に図15乃至図22を用いて説明する処理を実施する。
図15にレンジ補正の処理フローを示す。最初に、レンジ補正部202は、予めオペレータが入力したハイライト設定値Hdef及びシャドウ設定値Sdefを記録する(ステップS81)。このハイライト設定値Hdef及びシャドウ設定値Sdefは、レンジ補正テーブルに設定される。レンジ補正テーブルの一例を図16に示す。レンジ補正テーブルは、処理画像の画素のうち最も明度が高いハイライト画素HLと最も明度が低いシャドウ画素SDについてのデータを格納するためのテーブルである。
レンジ補正テーブルには、ハイライト画素HL又はシャドウ画素SDのいずれかを示すための種別の欄1600と、ハイライト画素HL又はシャドウ画素SDの画素識別子を格納するための画素識別子の欄1601と、ハイライト画素HL又はシャドウ画素SDの赤のレベル値HR又はSRを格納する赤の欄1602と、ハイライト画素HL又はシャドウ画素SDの緑のレベル値HG又はSGを格納する緑の欄1603と、ハイライト画素HL又はシャドウ画素SDの青のレベル値HB又はSBを格納する青の欄1604と、オペレータが入力したハイライト設定値Hdef又はシャドウ設定値Sdefを格納するための設定値の欄1605と、ハイライト画素又はシャドウ画素の補正係数A又はBを格納するための係数の欄1606と、ハイライト画素又はシャドウ画素の補正後の赤のレベル値HR'又はSR'を格納するための補正赤の欄1607と、ハイライト画素又はシャドウ画素の補正後の緑のレベル値HG'又はSG'を格納するための補正緑の欄1608と、ハイライト画素又はシャドウ画素の補正後の青のレベル値HB'又はSB'を格納するための補正青の欄1609とが設けられている。
レンジ補正部202は、ハイライト設定値Hdefを、レンジ補正テーブルの設定値の欄1605のハイライト画素HLの行に、シャドウ設定値Sdefを、設定値の欄1605のシャドウ画素SDの行にそれぞれ格納する。
次に、レンジ補正部202は、処理画像のデータを読み出し、各画素の明度値を計算し、最も明度値が高いハイライト画素HL及び最も明度値が低いシャドウ画素を検出する(ステップS83)。画素テーブルから、各画素のRGBのレベル値を取得し、それに対する明度値を計算する。そして、各画素の明度値を比較して、最高明度を有する画素の画素識別子及び最低明度を有する画素の画素識別子を識別する。そして、レンジ補正テーブルの画素識別子の欄1601のハイライト画素HLの行に最高明度を有する画素の画素識別子を、画素識別子の欄1601のシャドウ画素SDの行に最低明度を有する画素の画素識別子を格納する。
画素テーブルの一例を図17に示す。図17の例では、画素識別子を格納するための画素識別子の欄1700と、赤(R)のレベル値を格納するための赤の欄1701と、緑(G)のレベル値を格納するための緑の欄1702と、青(B)のレベル値を格納するための青の欄1703と、レンジ補正後の赤(R')のレベル値を格納するための補正赤の欄1704と、レンジ補正後の緑(G')のレベル値を格納するための補正緑の欄1705と、レンジ補正後の青(B')のレベル値を格納するための補正青の欄1706とが設けられている。
また、レンジ補正部202は、ハイライト画素HLのRGB成分(HR,HG,HB)及びシャドウ画素SDのRGB成分(SR,SG,SB)を取得する(ステップS85)。画素テーブルからハイライト画素HLの画素識別子に係る行のデータ(赤、緑、青のレベル値)を読み出し、レンジ補正テーブルの赤の欄1602、緑の欄1603及び青の欄1604のハイライト画素HLの行にそれぞれ格納する。また画素テーブルからシャドウ画素SDの画素識別子に係る行のデータ(赤、緑、青のレベル値)を読み出し、レンジ補正テーブルの赤の欄1602、緑の欄1603及び青の欄1604のシャドウ画素SDの行にそれぞれ格納する。
なお、処理画像がRGB色空間において取り得る最高階調値をTmax、最低階調値をTminとする。色カブリ補正で述べたようにRGBのレンジ幅を0から255の値にしているので、Tmaxは255、Tminは0となる。
次に、レンジ補正部202は、ハイライト画素HLのRGB成分(HR,HG、HB)の最大値Hmaxを識別する(ステップS87)。レンジ補正テーブルのハイライト画素HLの行において赤の欄1602、緑の欄1603及び青の欄1604のそれぞれに格納されている数値を比較することにより、最大値Hmaxを識別する。
次に、レンジ補正部202は、補正係数Aを計算する(ステップS89)。補正係数Aは、以下の式にて計算される。
A=(Hdef−Tmin)/(Hmax−Tmin) (9)
もしTminが0である場合には、Tminの項は無視できる。計算された補正係数Aは、レンジ補正テーブルにおいて係数A/Bの欄1606のハイライト画素HLの行に格納される。
次に、レンジ補正部202は、計算された補正係数Aを用いて、補正ハイライト画素値HR'、HG'及びHB'を計算する(ステップS91)。この計算は、以下の式に従って行われる。
HR'=Tmin+A×(HR−Tmin) (10)
HG'=Tmin+A×(HG−Tmin) (11)
HB'=Tmin+A×(HB−Tmin) (12)
もし、Tmin=0であれば、Tminの項は無視できる。計算結果は、レンジ補正テーブルの補正赤HR'/SR'の欄1607、補正緑HG'/SG'の欄1608及び補正青HB'/SB'の欄1609のハイライト画素HLの行にそれぞれ格納される。また、ハイライト画素HLの画素識別子を用いて、画素テーブルの補正赤(R')の欄1704、補正緑(G')の欄1705及び補正青(B')の欄1706のハイライト画素識別子の行にHR'、HG'及びHB'をそれぞれ格納する。
次に、レンジ補正部202は、シャドウ画素SDのRGB成分(SR,SG、SB)の最小値Sminを識別する(ステップS93)。レンジ補正テーブルのシャドウ画素SDの行において赤の欄1602、緑の欄1603及び青の欄1604のそれぞれに格納されている数値を比較することにより、最小値Sminを識別する。
そして、レンジ補正部202は、補正係数Bを計算する(ステップS95)。補正係数Bは、以下の式にて計算される。
B=(Tmax−Sdef)/(Tmax−Smin) (13)
計算された補正係数Bは、レンジ補正テーブルの係数A/Bの欄1606のシャドウ画素SDの行に格納される。
次に、レンジ補正部202は、計算された補正係数Bを用いて、補正シャドウ画素値SR'、SG'及びSB'を計算する(ステップS97)。この計算は、以下の式に従って行われる。
SR'=Tmax−B×(Tmax−SR) (14)
SG'=Tmax−B×(Tmax−SG) (15)
SB'=Tmax−B×(Tmax−SB) (16)
計算結果は、レンジ補正テーブルの補正赤HR'/SR'の欄1607、補正緑HG'/SG'の欄1608及び補正青HB'/SB'の欄1609のシャドウ画素の行にそれぞれ格納される。また、シャドウ画素の画素識別子を用いて、画素テーブルの補正赤(R')の欄1704、補正緑(G')の欄1705及び補正青(B')の欄1706のシャドウ画素の画素識別子の行にSR'、SG'及びSB'をそれぞれ格納する。なお、ステップS87乃至ステップS91とステップS93乃至ステップS97との順番の入れ替えが可能である。
ステップS87乃至ステップS97で行った処理の概要を図18に示す。図18(a)に、補正係数による補正前のハイライト画素及びシャドウ画素の各成分を表す。図18の例では、Tmax=Hdefであり、Tmin=Sdefである。R成分の数直線上には、シャドウ画素のR成分のレベル値SR、及びハイライト画素のR成分のレベル値HRが示されている。同様に、G成分の数直線上には、シャドウ画素のG成分のレベル値SG、及びハイライト画素のG成分のレベル値HGが示されている。なお、ここではSGはSminである。また、B成分の数直線上には、シャドウ画素のB成分のレベル値SB、及びハイライト画素のB成分のレベル値HBが示されている。なお、ここではHBはHmaxである。本実施の形態では、HmaxをHdefに変換するわけであるが、残りの成分については最低階調値Tminからの距離がQ/P倍される。なおQはHdef−Tminであり、図18(a)ではHdefとSdef(=Tmin)の間の長さを示す。PはHmax−Tminであり、図18(a)ではSdefからHBの長さを示す。すなわち、ハイライト画素HLにおいて各成分の最低階調値Tminからの距離の比率は保持されたままQ/P倍される。また、SminをSdefに変換するわけであるが、残りの成分については、最高階調値Tmaxからの距離がG/F倍される。なおGはTmax−Sdefであり、図18(a)ではHdef(=Tmax)とSdefの間の長さを示す。FはTmax−Sminであり、図18(a)ではHdef(=Tmax)とSGの間の長さを示す。補正後のハイライト画素及びシャドウ画素の各成分の値は、図18(b)に示される。
この後、ハイライト画素及びシャドウ画素以外の各画素について、RGB成分ごとに線形補間を行って、補正後のハイライト画素(HR',HG',HB')とシャドウ画素(SR',SG',SB')の間になるように変換処理を実施する。すなわち、レンジ補正部202は、画素テーブルから1画素のデータを読み出す(ステップS99)。そして、ハイライト画素又はシャドウ画素でないことを確認する(ステップS101)。この処理は、読み出した画素の識別子がレンジ補正テーブルの画素識別子1601に格納されている画素識別子と同一であるかを判断する。もし、ハイライト画素又はシャドウ画素である場合にはステップS111に移行する。
一方、ハイライト画素及びシャドウ画素でない場合には、補正後のハイライト画素の赤の画素値HR'及び補正後のシャドウ画素の赤の画素値SR'を用いて、読み出した画素の赤成分(R)を線形変換する(ステップS105)。既に、補正前のハイライト画素の赤成分のレベル値HR、補正後のハイライト画素の赤成分のレベル値HR'、補正前のシャドウ画素の赤成分のレベル値SR、及び補正後のシャドウ画素の赤成分のレベル値SR'とが得られている。赤成分Rを線形変換でレンジ補正するには、入力画素をX、出力画素をYとする平面を考え、(X,Y)の座標について(SR,SR')と(HR,HR')の2点を通るY=aX+bの直線式を作成すればいよい。一次直線を求める式は以下のとおりになる。
(Y−HR')=(HR'−SR')/(HR−SR)×(X−HR) (17)
変形すると以下のようになる。
Y=(HR'−SR')/(HR−SR)×X+
(HR×SR'−SR×HR')/(HR−SR) (18)
この直線を、例えば図19に示す。但し、X=0からX=SRまではY=0である。また、X=HRからX=255まではY=255である。なお、横軸はXであり、縦軸はYである。
例えばHR=220、HR'=255、SR=30、SR'=0の場合には、レンジ補正の直線関数は以下の式にて求められる。
(Y−255)=(255−0)/(220−30)×(X−220) (19)
Y=1.34X−40.26 (20)
画素成分の値は整数しか取り得ないため、(20)式を用いて変換テーブルを作成する。この変換テーブルの一例を図20に示す。図20のように出力画素値Y(レンジ補正後のR成分のレベル値)は整数且つ0から255の範囲に収まっている。
ステップS105では、最初の処理の際に図20のような変換テーブルを作成し、以降赤成分Rの値を入力画素値Xとして変換テーブルから出力画素値Yを取得する。出力画素値Yは、画素テーブルの補正赤の欄1704に格納する。
また、レンジ補正部202は、補正後のハイライト画素の緑の画素値HG'及び補正後のシャドウ画素の緑の画素値SG'を用いて、読み出した画素の緑成分(G)を線形変換する(ステップS107)。既に、補正前のハイライト画素の緑成分のレベル値HG、補正後のハイライト画素の緑成分のレベル値HG'、補正前のシャドウ画素の緑成分のレベル値SG、及び補正後のシャドウ画素の緑成分のレベル値SG'とが得られている。緑成分Gを線形変換でレンジ補正するには、入力画素をX、出力画素をYとする平面を考え、(X,Y)の座標について(SG,SG')と(HG,HG')の2点を通るY=aX+bの直線式を作成すればいよい。直線の求め方は上で述べたのと同じであるからここでは述べない。
例えばHG=200、HG'=232、SG=50、SG'=23.4である場合には、以下のような直線式が得られる。
Y=1.39X−23.13 (21)
画素成分の値は整数しか取り得ないため、(21)式を用いて変換テーブルを作成する。この変換テーブルの一例を図21に示す。図21のように出力画素値Y(レンジ補正後のG成分のレベル値)は整数且つ0から255の範囲に収まっている。
ステップS107では、最初の処理の際に図21のような変換テーブルを作成し、以降緑成分Gの値を入力画素値Xとして変換テーブルから出力画素値Yを取得する。出力画素値Yは、画素テーブルの補正緑の欄1705に格納する。
また、レンジ補正部202は、補正後のハイライト画素の青の画素値HB'及び補正後のシャドウ画素の青の画素値SB'を用いて、読み出した画素の青成分(B)を線形変換する(ステップS109)。既に、補正前のハイライト画素の青成分のレベル値HB、補正後のハイライト画素の青成分のレベル値HB'、補正前のシャドウ画素の青成分のレベル値SB、及び補正後のシャドウ画素の青成分のレベル値SB'とが得られている。青成分Bを線形変換でレンジ補正するには、入力画素をX、出力画素をYとする平面を考え、(X,Y)の座標について(SB,SB')と(HB,HB')の2点を通るY=aX+bの直線式を作成すればいよい。直線の求め方は上で述べたのと同じであるからここでは述べない。
例えばHB=180、HB'=209、SB=70、SB'=46である場合には、以下のような直線式が得られる。
Y=1.48X−11.73 (22)
画素成分の値は整数しか取り得ないため、(22)式を用いて変換テーブルを作成する。この変換テーブルの一例を図22に示す。図22のように出力画素値Y(レンジ補正後のB成分のレベル値)は整数且つ0から255の範囲に収まっている。
ステップS109では、最初の処理の際に図22のような変換テーブルを作成し、以降青成分Bの値を入力画素値Xとして変換テーブルから出力画素値Yを取得する。出力画素値Yは、画素テーブルの補正青の欄1706に格納する。なお、ステップS105乃至ステップS109の順番を入れ替えることも可能である。
そしてレンジ補正部202は、全ての画素について処理したか否か判断する(ステップS111)。もし、未処理の画素が存在する場合には次の画素を読み出し(ステップS103)、ステップS101に移行する。一方、全ての画素を処理した場合には、レンジ補正後の処理画像を画像格納DB35に出力し、格納する(ステップS113)。なお、ここで画像格納DB35に出力せずに、主要部分推定部204に出力するようにしてもよい。
以上本実施の形態に係るレンジ補正処理においては、カラー画像をRGBのままでレンジ補正している。また、ハイライト画素の成分の最高レベル値Hmax(すなわち全画素で最高階調の成分)、及びシャドウ画素の成分の最低レベル値Smin(すなわち全画素で最低階調の成分)を把握し、両者がレンジ幅(例えば0から255)を超えないようにしている。このような処理を行うことにより、色バランスを無視した従来のレンジ補正方法により生じる、色が白くなってしまう現象は起こらず、また、従来技術で引用した特開平8−32827号のような一旦LCH形式でレンジ変換する方法で問題となる、色域外へ出た画素の押し込み処理を実施しなくてよくなる。
さらに、本実施の形態に係るレンジ補正処理においては、レンジ補正時に、ハイライト画素のRGB比率と、シャドウ画素のRGB比率を異なった形で保持し、ハイライト画素については、RGBそれぞれについて最低画素値から各成分のレベル値までの距離の比を保ち、シャドウ画素については、最高画素値から各成分のレベル値までの距離の比を保つようにしている。
この結果、例えば、ハイライト画素が赤色(R,G,B)=(150,100,100)の場合、レンジ補正により例えば(R,G,B)=(200,133,133)となり、補正前より明るく且つメリハリの効いた赤色が得られるようになる。シャドウ画素が黄色(R,G,B)=(100,100,50)の場合、レンジ補正により例えば(R,G,B)=(77,77,20)となり、変換前より暗く且つメリハリの効いた黄色が得られる。
以上のように、レンジ補正後のハイライト画素は補正前よりメリハリがつき、レンジ補正後のシャドウ画素も補正前よりメリハリがつくこととなる。また、ハイライト画素とシャドウ画素の間の画素は、レンジ補正後のハイライト画素とレンジ補正後のシャドウ画素の間の値に線形に比例計算を行ってレンジ補正し、メリハリをつけることができるようになる。
3.主要部分推定処理
レンジ補正処理によりレンジ補正された画像について、主要部分推定部204が以下に図23乃至図31を用いて説明する処理を実施する。ここでは、画像の中で注目すべき部分や主要被写体の推定を行う。
図23に主要部分推定処理の処理フローを示す。主要部分推定部204は、処理画像について画像分割の条件設定及び分割処理を実施する(ステップS121)。例えば分割数の設定を行い、当該設定された分割数に従って、処理画像を例えば全て等しい面積を有する小領域Amに分割する。すなわち、参照重要度テーブルに、設定された分割数に従ってレコード(行)を生成し、領域(番号)の欄に各領域Amの領域番号を登録する。また、各領域Amに含まれる画素の識別番号に関する情報も、対象画素の欄2401に登録する。さらに、各領域Amに含まれる画素数を、画素数の欄に登録する。小領域の数は、固定であってもよいし、処理画像ごとにオペレータが指示するようにしてもよい。
参照重要度テーブルの一例を図24に示す。図24の例では、各領域Amの番号を格納するための領域の欄2400と、各領域Amに属する画素の識別番号の範囲に関する情報を格納するための対象画素の欄2401と、各領域Amに含まれる画素数の欄2402と、各領域Amの人肌画素HSの数を格納する人肌画素数の欄2403と、各領域Amの青空画素SKの数を格納するための青空画素数の欄2404と、各領域Amの白雲画素CLの数を格納するための白雲画素数の欄2405と、各領域Amの平均明度Laの欄2406と、各領域Amの人肌画素割合HSmの欄2407と、各領域Amの青空画素割合SKmの欄2408と、各領域Amの白雲画素割合CLmの欄2409と、各領域Amの重要参照度Rmを格納するための参照度の欄2410とが設けられている。
次に、主要部分推定部204は、各領域Amの平均明度Laを算出する(ステップS123)。参照重要度テーブルを参照して、各領域Amに含まれる画素の識別番号に関する情報を対象画素の欄2401から取得し、例えば図17に示すような画素テーブルから該当する画素のデータを取得し、各画素の明度値Lを計算する。画素テーブルに各画素の明度値Lが既に格納されている場合には、それを読み出す。そして、平均明度Laを計算する。計算された平均明度Laは、参照重要度テーブルの平均明度Laの欄2406に格納される。
また、主要部分推定部204は、画素種別(Type)の条件設定を実施する(ステップS125)。例えばオペレータの入力に従って、人肌と予想される画素HS、青空と予想される画素SK、白い雲と予想される画素CLについて、それぞれの色相と彩度の条件を設定する。この条件設定についても、オペレータの設定指示に従ってもよいし、また予め設定されている値を用いてもよいし、固定値がプログラムに設定されているような構成であってもよい。画素種別の条件設定の内容は、画素種別条件テーブルに登録される。画素種別条件テーブルの一例を図25に示す。図25の例では、人肌画素HS、青空画素SK及び白雲画素CLの別を格納する種別Typeの欄2500と、各画素種別につき彩度域Cを格納するための彩度域の欄2501と、各画素種別につき色相域Hを格納するための色相域の欄2502とが含まれる。ステップS125においては、各画素種別につき彩度域及び色相域についてのデータを、彩度域Cの欄2501及び色相域Hの欄2502に格納する。
次に、主要部分推定部204は、画素割合(Rate)についての条件設定を実施する(ステップS127)。例えばオペレータの入力に従って、小領域Am内の人肌画素HSが含まれる割合の基準値HSdefと、小領域Am内の人肌画素HSが含まれる割合の標準偏差の基準値HSdevKと、平均明度Laの標準偏差の基準値LadevKと、小領域Am内に青空画素SKが含まれる割合の基準値SKdefと、小領域Am内に白雲画素CLが含まれる割合の基準値CLdefを設定する。この条件設定についても、オペレータの設定指示に従ってもよいし、また予め設定されている値を用いてもよいし、固定値がプログラムに設定されているような構成であってもよい。画素割合についての条件設定の内容は、基準画素割合テーブルに登録される。
図26に基準画素割合テーブルの一例を示す。図26の例では、人肌画素HSの割合の基準値HSdef、人肌画素HSの標準偏差の基準値HSdevK、平均明度Laの標準偏差の基準値LadevK、青空画素SKの割合の基準値SKdef、及び白雲画素CLの割合の基準値CLdefの別を格納する種別(Rate)の欄2600と、各基準値の数値を格納する値の欄2601とが設けられている。ステップS127では、各行に設定された数値が格納される。
そして主要部分推定部204は、ある画素の彩度C及び色相Hのデータを取得する(ステップS129)。例えば、画素テーブルから1画素分のデータを読み出し、当該データから彩度C及び色相Hの値を計算する。予め画素テーブルに彩度C及び色相Hの値が格納されていれば、その値を取得する。また、画素種別である人肌画素HS、青空画素SK、白雲画素CLのいずれかに該当するか判断する(ステップS131)。画素の彩度C及び色相Hの値と画素種別条件テーブルの人肌画素HS、青空画素SK及び白雲画素CLについての彩度域Cの欄2501及び色相域Hの欄2502に登録されたデータとを用いて、画素が人肌画素HS、青空画素SK、又は白雲画素CLのいずれに該当するか判断する。いずれにも該当しない場合には、次の画素のデータを読み出し、ステップS129に戻る(ステップS130)。
一方、該当する画素種別が存在する場合には、主要部分推定部204は、当該画素が属する小領域Amを検出し、属する小領域Amの該当画素種別(Type)のカウントをインクリメントする(ステップS133)。画素の画素識別子と参照重要度テーブルの対象画素の欄2401に登録されたデータを用いて、領域番号Amを識別する。そして、参照重要度テーブルの人肌画素数の欄2403、青空画素数の欄2404、白雲画素数の欄2405のいずれかの該当する小領域Amの行の値をインクリメントする。
そして、全ての画素について処理したかを判断する(ステップS135)。もし、未処理の画素が存在する場合にはステップS130に移行する。一方、全ての画素について処理した場合には、各小領域Amについて、人肌画素割合HSmと、青空画素割合SKmと、白雲画素割合CLmを計算する(ステップS137)。ステップS133にて各小領域Amについて、人肌画素数、青空画素数、白雲画素数は参照重要度テーブルの人肌画素数の欄2403、青空画素数の欄2404及び白雲画素数の欄2405のいずれかに格納されており、参照重要度テーブルの画素数の欄2402に登録された各小領域Amの画素数で除すれば各割合は計算できる。人肌画素割合HSmは人肌画素割合HSmの欄2407に、青空画素割合SKmは青空画素割合SKmの欄2408に、白雲画素割合CLmは白雲画素割合CLmの欄2409に登録される。
主要部分推定部204は、次に全小領域Amの人肌画素割合HSmから、平均値HSaと標準偏差の値HSdevを算出する(ステップS139)。すなわち、参照重要度テーブルの人肌画素割合HSmの欄2407に登録された数値を用いて、平均値HSaと標準偏差の値HSdevを計算し、算出画素割合テーブルの人肌画素割合HSmの平均値HSaの行及び人肌画素割合HSmの標準偏差HSdevの行に登録する。算出画素割合テーブルの一例を図27に示す。図27の例では、人肌画素割合HSmの平均値HSa、人肌画素割合HSmの標準偏差HSdev、平均明度Laの平均値allLa、及び平均明度Laの標準偏差Ladevの別を格納する種別(Rate-cal)の欄2700と、平均値や標準偏差の値を格納する値の欄2701とが含まれる。
次に主要部分推定部204は、全小領域Amの平均明度Laから平均明度Laの平均値allLa及び平均明度Laの標準偏差Ladevを計算する(ステップS141)。参照重要度テーブルの平均明度Laの欄2406からデータを読み出して、平均明度Laの平均値allLa及び標準偏差Ladevを計算することができる。計算結果は、算出画素割合テーブルの平均明度Laの平均値allLaの行及び平均明度Laの標準偏差Ladevの行に登録される。
処理は端子Bを介して図28に移行する。図28では、図23の処理フローで計算した数値を用いて処理画像を、(a)人物と背景が分離した画像(例えば図29(a)に示すような画像)、(b)人物と背景が混合した画像(例えば図29(b)に示すような画像)、(c)逆光気味の画像(例えば図29(c)に示すような画像)、(d)その他一般の画像(例えば図29(d)に示すような画像)の4種類に分類する。
(a)人物と背景が分離した画像とは、人物と背景部分がはっきり分かれている画像を指す。図29(a)の例に示すように、フラッシュを使用した、夜景を背景として人物一人の顔がアップで配置されているポートレート画像等を指す。(b)人物と背景が混合した画像とは、人物と背景がはっきり別れておらず混ざり合っているような画像を指す。図29(b)の例に示すように、自然風景を背景として人物が複数人配置されたスナップ画像等を指す。また(c)逆光気味の画像とは、大変明るい箇所と大変暗い箇所が画像面積の多くを占めている画像を指す。図29(c)の例に示すように、晴れの屋外の逆光状態で撮影した画像等を指す。(d)は、(a)乃至(c)に属しないその他一般の画像を指し、例えば図29(d)に示すように、順光状態で撮影した自然風景画像等を指す。
次に主要部分推定部204は、画素割合の基準値(Rate:ここでは人肌画素割合の基準値HSdef及び人肌画素割合の標準偏差の基準値HSdevK)、人肌画素割合HSmの平均値HSaと人肌画素割合HSmの標準偏差HSdevの関係が(a)人物と背景が分離した画像の条件を満たしているか判断する(ステップS143)。すなわち、以下の条件1が満たされているかを判断する。
HSa>HSdef 且つ HSdev>HSdevK (条件1)
基準画素割合テーブルに登録された人肌画素割合の基準値HSdef及び人肌画素割合の標準偏差の基準値HSdevKと、算出画素割合テーブルに登録された人肌画素割合HSmの平均値HSaと人肌画素割合HSmの標準偏差HSdevとを用いて条件1を満たしているかを判断する。もし、条件1を満たしている場合、図26の例においては、人物画像と推定される人肌画素が、全領域で平均50%以上存在し、人肌画素の割合が高い小領域Amと人肌画素の割合が小さい小領域Amとが存在していて、各小領域間で人肌画素割合の格差が大きいことを意味している。
もし、条件1が不成立である場合には、次に主要部分推定部204は、画素割合の基準値(Rate:ここでは人肌画素割合の基準値HSdef及び人肌画素割合の標準偏差の基準値HSdevK)、人肌画素割合HSmの平均値HSaと人肌画素割合HSmの標準偏差HSdevの関係が(b)人物と背景が混合した画像の条件を満たしているか判断する(ステップS147)。すなわち、以下の条件2が満たされているかを判断する。
HSa>HSdef 且つ HSdev≦HSdevK (条件2)
条件1と同様に、基準画素割合テーブルに登録された人肌画素割合の基準値HSdef及び人肌画素割合の標準偏差の基準値HSdevKと、算出画素割合テーブルに登録された人肌画素割合HSmの平均値HSaと人肌画素割合HSmの標準偏差HSdevとを用いて条件2を満たしているかを判断する。もし、条件2を満たしている場合、図26の例においては、人物画像と推定される人肌画素が、全領域で平均50%以上存在するが、(a)の画像と比較すると人肌画素の割合HSmは小領域間で格差が小さいことを意味する。
もし、条件2が不成立である場合には、主要部分推定部204は、画素割合の基準値(Rate:ここでは人肌画素割合の基準値HSdef、平均明度Laの標準偏差の基準値LadevK、青空画素割合の基準値SKdef及び白雲画素割合の基準値CLdef)、人肌画素割合の平均値HSa、平均明度Laの平均値allLa、平均明度Laの標準偏差Ladev、青空画素割合SKm及び白雲画素割合CLmとの関係から(c)逆光気味の画像であるか判断する(ステップS151)。すなわち、以下の条件3が満たされているか判断する。
HSa≦HSdef且つLadev>LadevK且つLa>allLaの小領域AmにおいてSKm>SKdefとなる領域Amが1個以上ある場合、
又は
HSa≦HSdef且つLadev>LadevK且つLa>allLaの小領域AmにおいてCLm>CLdefとなる領域Amが1個以上ある場合 (条件3)
人肌画素割合の基準値HSdef、平均明度の標準偏差の基準値HSdevK、青空画素割合の基準値SKdef及び白雲画素割合の基準値CLdefは、基準画素割合テーブルから読み出される。また、人肌画素割合HSmの平均値HSa、平均明度の標準偏差Ladevについては、算出画素割合テーブルから読み出される。各小領域Amの平均明度La、青空画素割合SKm及び白雲画素割合CLmについては、参照重要度テーブルの平均明度の欄2406と、青空画素割合の欄2408と、白雲画素割合の欄2409とから読み出す。
条件3は、人肌画素割合の平均HSaは基準を下回って人物と推定される画素の割合が低く、平均明度の標準偏差Ladevは基準を上回って小領域間で明暗がはっきりしている場合、平均明度Laの平均値allLaを上回る平均明度Laを有する小領域Amにおいて青空画素の割合SKmが基準を上回って青空が多く含まれる場合には、逆光気味の画像と推定するということを示している。また、人肌画素割合の平均HSaは基準を下回って人物と推定される画素の割合が低く、平均明度の標準偏差Ladevは基準を上回って小領域間で明暗がはっきりしている場合、平均明度Laの平均値allLaを上回る平均明度Laを有する小領域Amにおいて白雲画素の割合CLmが基準を上回って白雲が多く含まれる場合には、逆光気味の画像と推定するということを示している。
もし、条件3を満たしていない場合には、(e)その他一般の画像と判別する。これは、人物画像と推定される要素がなく、小領域間で明暗がはっきりしていないか、又は青空や白雲と推定される画素が余り存在しない、その他の一般的な画像であることを示している。
以上のような条件1乃至条件3にて画像種類の特定が行われると、ステップS145、ステップS149及びステップS153において各画像種類に適合した参照重要度Rmが小領域Am毎に付与される。
もしステップS143において(a)人物と背景が分離した画像であると判断された場合には、人肌画素割合HSmと、人肌画素割合の平均値HSaとの関係で、人肌領域Amと判断された場合には参照重要度Rm=1とし、その他の領域AmについてはRm=0とする(ステップS145)。すなわち、HSm≧HSaである領域については参照重要度Rm=1とし、HSm<HSaである領域については参照重要度Rm=0とする。この参照重要度Rmの付与は、人肌画素HSの割合が高い小領域Amにのみ大きな参照重要度Rm(=1)を付与し、その他の領域には注目しないことを意味する。この結果図29(a)のような画像を、図30(a)の左に示すように分割する場合には、図30(a)右に示すような参照重要度が付与されるようになる。すなわち、人物を大きく含む小領域についてのみ参照重要度Rmが1に設定される。
人肌画素割合HSmは参照重要度テーブルの人肌画素割合HSmの欄2407から読み出され、人肌画素割合の平均値HSaは算出画素割合テーブルから読み出される。付与された各小領域の参照重要度Rmは、参照重要度テーブルの参照度Rmの欄2410に格納される。
もしステップS147において(b)人物と背景が混合した画像と判断された場合には、人肌画素割合HSmと、人肌画素割合の平均値HSaとの関係で、人肌領域Amと判断された場合には参照重要度Rm=1とし、その他の領域Amについては以下に示す関数で決定された参照重要度Rmを付与する(ステップS149)。関数は、以下の式で表される。
H(HSdev)=(HSdevK−HSdev)/HSdevK (23)
(23)式では、人肌画素割合の標準偏差HSdevが、人肌画素割合の標準偏差の基準値HSdevKと同じ値を有する場合には0になり、人肌画素割合の標準偏差の基準値HSdevKより小さい場合には参照重要度Rmは大きくなる。なお、ステップS149に移行する条件により参照重要度が0未満になることはない。
例えば、(b)人物と背景が混合した画像と判別される画像において、全小領域の人肌画素割合HSmの平均値HSaが0.60、その標準偏差HSdevが0.10である場合、参照重要度Rmは0.5となる。この結果、図29(b)のような画像を図30(b)左のように領域分割を行った場合には、図30(b)右のような参照重要度Rmが付与される。人肌画素が多く含まれる領域には、参照重要度はRm=1となり、それ以外は、(23)式に従って計算された値(ここでは0.5)となる。
なお、人肌画素割合HSmは参照重要度テーブルの人肌画素割合HSmの欄2407から読み出され、人肌画素割合の平均値HSaは算出画素割合テーブルから読み出される。また、人肌画素割合の標準偏差HSdevは算出画素割合テーブルから、人肌画素割合の標準偏差の基準値HSdevKは基準画素割合テーブルから読み出される。付与された各小領域の参照重要度Rmは、参照重要度テーブルの参照度Rmの欄2410に格納される。
もしステップS151において(c)逆光気味の画像と判断された場合には、平均明度La、平均明度の平均値allLa、青空画素割合SKm、白雲画素割合CLm、及び画素割合の基準値(Rate:ここでは青空画素割合の基準値SKdef及び白雲画素割合の基準値CLdef)との関係で、暗部領域Am又は青空及び白雲ではない領域Amには参照重要度Rm=1を付与し、その他の領域にはRm=0を付与する(ステップS153)。
ステップS153の参照重要度付与の詳細処理を図31を用いて説明する。最初に、ある小領域Amの明度平均Laと全小領域における明度平均の平均値allLaとを比較し、La<allLaを満たしているか判断する(ステップS161)。もしこの条件を満たしていれば、当該小領域は画像全体と比較して暗いことを示している。すなわち、逆光による暗部であると推定される。このような条件が満たされた場合には、当該小領域AmにRm=1を設定する(ステップS165)。明度平均Laは参照重要度テーブルの明度平均の欄2406から読み出され、明度平均の平均値allLaは算出画素割合テーブルから読み出される。参照重要度Rmは参照重要度テーブルの参照度の欄2410に登録される。
もしステップS161の条件が満たされない場合には、ある小領域Amの青空画素割合SKmと青空画素割合の基準値SKdefがSKm<SKdefであり、且つ当該小領域Amの白雲画素割合CLmと白雲画素割合の基準値CLdefがCLm<CLdefであるか否か判断する(ステップS163)。もしこの条件を満たしている場合には、暗部ではなく、白雲でもなく、青空でもない領域である。このような領域の場合にはステップS165に移行し、重要参照度Rm=1を付与する。ここで、青空画素割合SKmは重要参照度テーブルの青空画素割合の欄2408から、白雲画素割合CLmは重要参照度テーブルの白雲画素割合の欄2409から読み出される。青空画素割合の基準値SKdef及び白雲画素割合の基準値CLdefは、基準画素割合テーブルから読み出される。
一方、ステップS163の条件を満たさない場合には、Rm=0を付与する(ステップS167)。すなわち、ステップS161及びステップS163の条件を満たさない小領域Amについては全く注目しないということを表している。
そして全ての小領域Amについて処理したか判断し(ステップS169)、未処理の小領域が存在すれば次の領域Amに移行して(ステップS170)、ステップS161に戻る。もし、全ての領域を処理した場合には、処理を終了する。
例えば図29(c)のような画像を図30(c)左に示すように分割する場合、逆光で暗くなった人物の部分が参照重要度Rm=1とされ、残りの領域にはRm=0が設定される。
もし、(d)その他一般の画像と判断された場合には、全ての領域に参照重要度Rm=1を付与する(ステップS155)。すなわち、全ての小領域Amについて等しく注目することを意味している。この結果、図29(d)に示したような画像を図30(d)左に示すように分割した場合、全ての領域に参照重要度Rm=1が付与される。付与された参照重要度Rmは、参照重要度テーブルの参照度の欄2410に登録される。
本実施の形態においては、処理画像を、人物画像(人物背景分離画像又は人物背景混合画像)・逆光画像・その他一般画像を分類し、主体となる領域と主体でない領域を特定した上で、領域毎に異なる参照重要度Rmなる値を付与するようになっている。この参照重要度Rmは、値が高いと、画像中で主体となる領域であることを示しており、人物画像の場合は、人物領域の参照重要度が高く、逆光画像の場合は黒くつぶれた領域の参照重要度が高い。またその他一般画像に場合は、画像全体が主体領域であるので、参照重要度は均一値となっている。
このように参照重要度により、画像分類の後に主体となる領域を決定し、その領域毎の参照重要度を反映した画像補正を実施すれば、より精度の高い画像補正を実現できる。例えば、この参照重要度Rmを利用して以下に述べるようなトーン補正を行うことができる。但し、参照重要度Rmの利用はトーン補正に限定されるものではなく、参照重要度Rmの値に応じたフィルタを用いて補正処理を行うなど他の利用態様も存在する。
4.トーン補正
主要部分推定部204により付与された処理画像の各小領域Amの参照重要度Rmの値を反映させる形で、明るさやコントラストの調整のためのトーン補正をトーン補正部206により実施する。
本実施の形態では、処理画像の画像状態の判別を行い、判別された画像状態に適したトーン補正のカーブを選択し、選択されたカーブを利用して処理画像にカーブ変換処理を実施する。
画像状態は、明るさに関して「暗い」「普通」「明るい」と分類でき、コントラストに関して「高い」「普通」「低い」といった分類ができる。画像の明るさは、処理画像の明度平均値μと相関がある。「暗い」画像は明度平均値μが低く、「明るい」画像は明度平均値μが高く、「普通」の画像はこれらの中間となっている。図32にこの例を示す。図32(a)は、上段に「暗い」画像の一例を示し、中段に「暗い」画像の明度ヒストグラムを示している。このように、「暗い」画像において画素の明度は、レベルの低いものが多く、明度平均値μも低い値をとる。図32(b)は、上段に「普通」の画像の一例を示し、中段に「普通」の画像の明度ヒストグラムを示している。このように「普通」の画像において画素の明度は、中間レベルのものが多く、明度平均値μも中間の値をとる。図32(c)は、上段に「明るい」画像の一例を示し、中段に「明るい」画像の明度ヒストグラムを示している。このように「明るい」画像において画素の明度は、高いレベルのものが多く、明度平均値μも高い値をとる。
このような画像状態についてのトーン補正は、「暗い」画像については画像を明るくするトーンカーブを、「明るい」画像については画像を暗くするトーンカーブを、「普通」の画像については明度を変更しないトーンカーブを適用して、画素変換する。
図32の場合には、下段に示したようなトーンカーブを適用する。図32(a)のように「暗い」画像の場合には、画素を明るくする、上に凸なトーンカーブを使用する。図32(b)のような「普通」の画像については、画素変換しないようなトーンカーブを使用する。図32(c)のような「明るい」画像については、画素を暗くする、下に凸なトーンカーブを使用する。
本実施の形態では、明度平均値μの計算において、主要部分推定部204が設定した参照重要度を考慮して、明度平均値μを計算する。すなわち、以下のような式にて計算する。
Figure 2008033966
また、画像のコントラストは、処理画像の明度の標準偏差σと相関がある。コントラストが「低い」画像は明度の標準偏差が低く、「高い」画像は明度の標準偏差が高く、「普通」の画像はこれらの中間、となっている。図33にこの一例を示す。図33(a)は、上段にコントラストが「低い」画像の一例を示し、中段に「低い」画像の明度ヒストグラムを示している。このようにコントラストが「低い」画像において、明度平均値μからのばらつき(標準偏差σ)は小さくなっている。また、図33(b)は、上段にコントラストが「普通」の画像の一例を示し、中段に「普通」の画像の明度ヒストグラムを示している。このようにコントラストが「普通」の画像において、明度平均値μからのばらつき(標準偏差σ)は中程度となっている。さらに、図33(c)は、上段にコントラストが「高い」画像の一例を示し、中段に「高い」画像の明度ヒストグラムを示している。このようにコントラストが「高い」画像において、明度平均値μからのばらつき(標準偏差σ)は大きくなっている。
このような画像状態の画像に対するトーン補正は、コントラストが「低い」画像については暗めの画素を暗く、明るめの画素をより明るくするトーンカーブを、コントラストが「高い」画像については暗めの画素を明るく、明るめの画素を暗くするトーンカーブを、「普通」の画像については画素を変換しないようなトーンカーブを適用して、画素変換する。
図33の場合には、下段に示したようなトーンカーブを適用する。図33(a)のようなコントラストの「低い」画像には、S字型のトーンカーブにて、暗めの画素をより暗く、明るめの画素をより明るくする。図33(b)のような「普通」の画像には、画素変換しない直線のトーンカーブを使用する。図33(c)のようなコントラストの「高い」画像には、逆S字型のトーンカーブにて、暗めの画素を明るく、明るめの画素を暗くする。本実施の形態では、明度の標準偏差σの計算において、主要部分推定部204が設定した参照重要度を考慮して、明度の標準偏差σを計算する。すなわち、以下のような式にて計算する。
Figure 2008033966
一般の複数の画像について画像状態を調べると、「暗い」画像ではコントラストが「低い」画像である場合が多く、明度が「普通」の画像ではコントラストが「高い」「普通」「低い」画像が存在し、「明るい」画像ではコントラストが「低い」画像である場合が多い。このことから明度平均値μと明度の標準偏差σには相関があると考えられる。そこで、画像状態を決める方法として、画像状態とそれに対応する明度平均値μ及び明度の標準偏差σ、この画像状態の補正に適用するトーンカーブ(トーンカーブ形状を決定するためのパラメータ)の組み合わせを予め決めておき、さらにμとσの2変量で2次元正規分布の確率関数を作成しておく。そして、画像状態を決定したい処理画像について上で述べた式でμ及びσを算出し、これを各画像状態の2次元正規分布関数に入力して、その処理画像の画像状態を確率値で表現する。もし高確率値であれば処理画像はその画像状態である信頼度が高く、低確率であれば処理画像はその画像状態である信頼度が低いことを示している。処理画像の状態を、各画像状態の確率値で表現してもよいし、最も高確率の画像状態を選択して、これを処理画像の画像状態と決定してもよい。
トーン補正については、処理画像の画像状態確率値と、対応するトーンカーブ形状のパラメータ値を積和計算してトーンカーブを決定するか、又は最も高確率な画像状態のトーンカーブを一意に選択決定する。そして、決定されたトーンカーブを用いてトーン変換処理を実施する。
(24)式及び(25)式で示したように、本実施の形態では、処理画像のμとσを、画像全体の画素から算出するのではなく、画像を複数の小領域Amに分割して、各小領域についてμmとσmを算出しておき、これと主要部分推定処理にて得られた参照重要度Rmとを用いて計算する。すなわち、各小領域Amの明度平均値μm(=La)と当該小領域Amの参照重要度Rmを積和計算することにより処理画像の平均明度μを計算する。また、各小領域Amの明度の標準偏差σmと当該小領域Amの参照重要度Rmを積和計算することにより処理画像の明度の標準偏差σを計算する。
このようにすることにより、より重要な小領域についての明度平均値及び明度の標準偏差はμ及びσの計算において大きな影響を与えるようになり、参照重要度が大きな値を有する重要な小領域に適したトーンカーブが決定されるようになる。従って、高品質なトーン補正を行うことができるようになる。
5.統計情報算出処理
補正処理後段部395による処理で用いられる彩度基準値及び輪郭基準値を作成するために、事前に統計情報算出部393により以下のような処理を実施しておく。
図34乃至図37を用いて統計情報算出処理を説明するが、ここでは補正処理前段部391で補正処理を行って得られた画像を前段補正画像と呼び、オペレータが自ら画像補正を実施することにより得られた画像を手動補正画像と呼ぶ。以下、図34に示す処理フローに従って説明する。
最初に、統計情報算出部393は、オペレータが作成した手動補正画像を取得し、当該手動補正画像の各画素について彩度Te-C及び明度Te-Lの値を、手動補正画素テーブルに記録する(ステップS171)。手動補正画素テーブルの一例を図35に示す。図35の例では、画素識別子の欄3500と、明度(Te-L)の欄3501と、彩度(Te-C)の欄3502と、前段補正画像の画素と手動補正画像の画素の明度の差分絶対値|L|の欄3503とが設けられている。ステップS171では、画素識別子の欄3500と、明度の欄3501と、彩度の欄3502とに各画素のデータが登録される。
次に、統計情報算出部393は、全画素について彩度(Te-C)の平均値Te-Caを計算する(ステップS173)。手動補正画素テーブルの彩度の欄3502のデータを全て加算し、画素数で除すると彩度の平均値Te-Caが計算される。計算された彩度の平均値Te-Caは、手動補正履歴テーブルに格納される。手動補正履歴テーブルの一例を図36に示す。図36の例では、履歴番号の欄3600と、彩度Te-Cの平均値Te-Caの欄3601と、明度の差分絶対値|L|の平均値|L|aの欄3602とが設けられている。ここでは、手動補正履歴テーブルに新たなレコード(行)を生成し、次の履歴番号を履歴番号の欄3600に登録し、計算された彩度の平均値Te-Caを彩度Te-Cの平均値Te-Caの欄3601に登録する。
そして、統計情報算出部393は、手動補正画像と同一画像についての前段補正画像を取得し、当該前段補正画像の各画素について、その明度Lと、手動補正画像の対応する画素の明度Te-Lとの明度差分絶対値|L|を計算する(ステップS175)。例えば、図17に示すような前段補正画像についての画素テーブルから、各画素のデータを取得し、各画素の明度Lを計算する。画素テーブルに既に各画素の明度の値が登録されていれば、そのデータを読み出す。そして、対応する画素についての明度Te-Lを手動補正画素テーブルの明度の欄3501から読み出し、明度差分絶対値|L|を計算する。計算された明度差分絶対値|L|は、手動補正画素テーブルの明度差分絶対値の欄3503に登録される。
また、統計情報算出部393は、明度差分絶対値|L|の平均値|L|aを計算する(ステップS177)。手動補正画素テーブルの明度差分絶対値の欄3503のデータを全て加算し、画素数で除すると明度差分絶対値の平均|L|aが計算される。計算された差分絶対値の平均|L|aは、手動補正履歴テーブルの明度差分絶対値|L|の平均値|L|aの欄3602の今回の履歴番号の行に登録される。この手動補正履歴テーブルのデータは基準値DB33に登録される。
そして、手動補正履歴テーブルにある程度のレコードが登録された場合自動的に又はオペレータの指示に応じて、全平均彩度値Te-Caの平均値である彩度基準値Te-allCaと、全明度差分絶対値の平均値|L|aの平均値である輪郭基準値all|L|aを計算し、基準値DB33に登録する(ステップS179)。手動補正履歴テーブルの彩度の平均値の欄3601に登録されている全データを加算し、手動補正履歴テーブルのレコード数で除すれば平均彩度の平均値である彩度基準値Te-allCaを得ることができる。また、手動補正履歴テーブルの明度差分絶対値の平均値の欄3602に登録されている全データを加算し、手動補正履歴テーブルのレコード数で除すれば明度差分絶対値の平均値|L|aの平均である輪郭基準値all|L|aを得ることができる。これらは、一旦彩度・輪郭基準値テーブルに保管された後に、基準値DB33に登録される。彩度・輪郭基準値テーブルの一例を図37に示す。図37の例では、彩度基準値Te-allCaの欄3700と、輪郭基準値all|L|aの欄3701とが設けられている。
上で計算された彩度基準値Te-allCaは、オペレータが好む統計的な彩度度合いを表し、輪郭基準値all|L|aは、前段補正画像に対して輪郭強調を実施する際にオペレータが好む統計的な輪郭強調度合を表す。これらの基準値は以下で述べる彩度補正処理及び輪郭強調処理において用いられる。
6.彩度補正処理
本実施の形態における彩度補正は、オペレータの好み・傾向を反映した形で実施される。以下、図38乃至図40を用いて、補正処理後段部395の彩度補正部208の処理内容を説明する。
図38は、彩度補正の処理フローである。まず、彩度補正部208は、今回処理を行う処理画像の全画素の彩度Cを取得し、平均彩度Caを計算する(ステップS181)。もし、処理画像の各画素につき彩度Cが計算済みではない場合には、例えば画素テーブルに登録されている各画素の赤(R)、緑(G)及び青(B)のレベル値から彩度Cを計算し、全画素の彩度Cを加算して画素数で除すれば平均彩度Caを得ることができる。既に彩度Cが計算されて画素テーブルに格納されている場合には、読み出して平均彩度Caのみを計算する場合もある。
画素テーブルの一例を図39に示す。図39の例では、画素識別子の欄3900と、赤(R)のレベル値を格納するための赤の欄3901と、緑(G)のレベル値を格納するための緑の欄3902と、青(B)のレベル値を格納するための青の欄3903と、彩度Cの値を格納するための彩度の欄3904と、色相Hの値を格納するための色相の欄3905と、明度Lの値を格納するための明度の欄3906と、本彩度補正処理により補正された彩度CCを格納するための補正彩度の欄3907とが設けられている。
本ステップにおいては、各画素の赤・緑・青のレベル値を赤の欄3901、緑の欄3902及び青の欄3903から読み出して彩度Cを計算し、当該画素の彩度の欄3904に登録する。また、彩度の欄3904に格納された全画素の彩度Cを加算して、画素数で除することにより得られる平均彩度Caは記憶装置に格納される。
次に、彩度補正部208は、処理を行うある画素の明度L及び色相Hを算出する(ステップS183)。画素テーブルの当該画素についてのレコード(行)を読み出し、明度L及び色相Hを計算する。そして画素テーブルの明度の欄3906及び色相の欄3905の当該画素の行に計算した明度L及び色相Hを登録する。
そして、彩度補正部208は、図7に示すようなLCH空間において、ハイライト側の領域hl、シャドウ側の領域sdのいずれに属するか判断する(ステップS185)。すなわち、図8に示した最大彩度テーブルの色相域の欄802及び明度域803に登録された各領域の色相範囲及び明度範囲に基づき、当該画素がいずれの領域に属するか判断し、その領域がハイライト側の領域hl又はシャドウ側の領域sdのいずれかを判定する。
もし、ハイライト側の領域hlに属する場合、彩度補正部208は、平均色相HUa、計算された平均彩度Ca及び基準値DB33に格納された彩度基準値Te-allCaを用いて、当該画素の補正彩度CCを計算する(ステップS187)。補正彩度CCは以下の式により計算される。
Figure 2008033966
なお、(26)式は0≦θU≦90°のための式であり、(27)式は90°<θH≦180°のための式である。但し、θU=H−HUaである。平均色相HUaは、色カブリ補正において用いられた値を、例えば最大彩度テーブル(図8)から読み出して用いる。但し、未計算の場合には、図6の処理フローに従って、処理画像についてステップS21からステップS45(ステップS43を除く)を実施して最大彩度テーブルを用意し、当該最大彩度テーブルの平均色相の欄807における、最多フラグの欄806に01が登録されている行の値を読み出せば得られる。
一方、シャドウ側の領域sdに属する場合、彩度補正部208は、平均色相HLa、計算された平均彩度Ca、基準値DB33に格納された彩度基準値Te-allCaを用いて、当該画素の補正彩度CCを計算する(ステップS189)。補正彩度CCは以下の式により計算される。
Figure 2008033966
なお、(28)式は0≦θL≦90°のための式であり、(29)式は90°<θL≦180°のための式である。但し、θL=H−HLaである。平均色相HLaは、色カブリ補正において用いられた値を、例えば最大彩度テーブル(図8)から読み出して用いる。未計算の場合には、HUaの場合と同様にして最大彩度テーブルを用意し、当該最大彩度テーブルの平均色相の欄807における、最多フラグの欄806に02が登録されている行の値を読み出せば得られる。
(26)式乃至(29)式は、処理画像の彩度が、基準値DBの彩度基準値に近付くように、すなわち彩度補正の結果がオペレータの好み・傾向に近付くようにしている。また、色カブリ補正を行った画素については、色カブリが再発生しないように、すなわち色カブリ方向に補正がなされないように、再度の補正具合をθL又はθHの正弦値により調整している。
彩度補正の様子を図40に模式的に示す。図40において点線の円は、LCH平面における彩度補正前の色分布を示す。一方、実線はLCH平面における彩度補正後の色分布を示す。このように、色カブリ方向には再度補正はなされない。色カブリを再発させるためである。すなわち、色カブリ方向からプラスマイナス90°の範囲は、彩度補正量を正弦成分で調整している。それ以外は、色カブリ補正とは無関係であるから、彩度補正量の調整は行われない。
そしてステップS187又はステップS189の後に、彩度補正部208は、計算された補正彩度CCの値を、例えば画素テーブル(図39)に登録する(ステップS191)。そして、全ての画素について処理したか判断する(ステップS193)。もし、未処理の画素が存在する場合には、次の画素の処理に移行する(ステップS195)。一方、全ての画素について処理した場合には、明度L、補正彩度CC、色相Hを基にLCH空間からRGB空間へ変換し、当該RGBの各レベル値を例えば画素テーブルに登録する(ステップS197)。そして、処理画像を画像格納DB35に出力し、格納する(ステップS199)。なお、ここで画像格納DB35に出力せずに、輪郭強調部210に出力するようにしてもよい。また、輪郭強調部210に出力する場合には、LCH空間からRGB空間への変換も実施しない場合もある。
以上のような彩度補正によれば、オペレータの好み・傾向を表す彩度基準値Te-allCaを使用して彩度を補正するため、オペレータの求める彩度の補正が自動的に行えるようになる。
7.輪郭強調補正
図41乃至図43を用いて、輪郭強調部210による輪郭強調補正処理を説明する。なお、本実施の形態は、一般的にアンシャープマスク処理と称される手法に基づいている。
図41に示す処理フロー及び図43に示す模式図に従って処理を説明する。最初に、輪郭強調部210は、彩度補正部208により彩度補正された入力画像の明度成分を抽出し、処理画像Pを作成する(ステップS200)。例えば入力画素について各画素のRGB成分のレベル値のみ得られる場合には、当該各画素のRGB成分のレベル値から明度Lを計算する。計算された明度Lは、例えば図42に示す画素テーブルに登録される。図42の例では、画素識別子の欄4200と、処理画像Pの明度値を格納するための処理画像の欄4201と、平滑化画像PSの明度値を格納するための平滑化画像の欄4202と、差分画像PDの明度値を格納するための差分画像の欄4203と、輪郭強調画像PEの明度値を格納するための輪郭強調画像の欄4204とを設ける。ステップS200で計算された明度Lは、画素テーブルの処理画像の欄4201に登録される。なお、既に入力画像の明度Lが計算済みである場合、例えば図39に示すように彩度補正部208が使用した画素テーブルの情報をそのまま使用できる場合には、当該画素テーブル(図39)の明度の欄3906のデータを読み出して、画素テーブル(図42)の処理画像の欄4201に登録する。
次に輪郭強調部210は、処理画像Pの平滑化画像PSを作成する(ステップS201)。所定の平滑化フィルタを用いて平滑化フィルタ操作を処理画像Pに対して行えば、平滑化画像PSを得ることができる。平滑化フィルタ操作については通常用いられる方法であるから、ここではこれ以上述べない。平滑化画像PSの画素値は、画素テーブル(図42)の平滑化画像PSの欄4202に登録される。
ここまでで図43の最上段に示された処理画像Pと平滑化画像PSとが用意されることになる。
そして輪郭強調部210は、処理画像Pの画素値から平滑化画像PSの画素値を減算して、差分画像PDを作成する(ステップS203)。すなわち、処理画像Pのある画素の値から平滑化画像PSにおける対応する画素の画素値を引き算して、差分画像PDの各画素の画素値を得る。得られた画素値は、図42の画素テーブルの差分画像の欄4203に登録される。図43の上から第2段に示された差分画像PDが生成されることになる。
次に、輪郭強調部210は、差分画像PDの画素値Lについて、絶対値の平均値μ|L|を計算し、記憶装置に格納する(ステップS205)。この計算は、画素テーブル(図42)の差分画像の欄4203の値を全て加算して画素数で除すれば計算できる。そして、基準値DB33に格納されている輪郭基準値all|L|aとμ|L|を用いて係数αを以下の式で算出し、記憶装置に格納する(ステップS207)。
α=all|L|a/μ|L| (30)
例えばμ|L|=2,all|L|a=4であれば、α=2となる。
輪郭強調部210は、係数αと、処理画像Pの画素値と、差分画像PDの画素値とを用いて、対応する各画素について以下の計算を実施し、輪郭強調画像PEを作成する(ステップS209)。
PE=P+α×PD (31)
処理画像Pの各画素の画素値に、差分画像PDの対応する画素の画素値の係数α倍した値を加算するものである。処理画像Pの各画素の画素値は、画素テーブル(図42)の処理画像の欄4201から、差分画像PDの各画素の画素値は差分画像の欄4203から読み出される。計算された輪郭強調画像PEの各画素値は、画素テーブル(図42)の輪郭強調画像の欄4204に登録される。図43においては、差分画像PDを係数α倍した状態(差分画像PD')が三段目に示されている。また四段目には処理画像Pと差分画像PD'の加算を表しており、最終段には作成された輪郭強調画像PEが示されている。
(30)式及び(31)式は、入力画像の輪郭強調度合を、基準値DB33の輪郭基準値all|L|aに近づくようにして、輪郭補正結果がオペレータのし好・傾向に近付くようにするために行っている。
最後に、入力画像の明度値を、輪郭強調画像PEの画素値に置き換えた出力画像を作成し、画像格納DB35に登録する(ステップS211)。例えば図39に示すように彩度補正部208が使用した画素テーブルの情報をそのまま使用できる場合には、当該画素テーブル(図39)の色相の欄3905のデータと彩度の欄3904のデータと、画素テーブル(図42)の輪郭強調画像の欄4204のデータを読み出して、各画素についてRGBの各成分のデータを計算し、画像格納DB35に登録する。
従来方式では、最適な補正係数(係数α)を決定するために、オペレータが複数の補正係数による輪郭強調の結果画像を比較していたので、補正係数の決定には多くの時間を要していた。また、画像によっては、決定した補正係数が最適なものとはならなくて、オペレータの求める鮮鋭性の補正が行えない場合もあった。これに対して、本実施の形態によれば、オペレータの好みに合わせた輪郭基準値all|L|aを使用して、画像毎に最適な補正係数αを算出して輪郭強調するため、オペレータの求める鮮鋭性の補正が短時間で自動的に行えるようになる。
以上本発明の実施の形態を説明したが、本発明はこれに限定されない。例えば、色カブリ補正、レンジ補正、主要部分推定、トーン補正、彩度補正、及び輪郭強調補正を一連の処理として説明しているが、これらを別々に実施することも可能である。また、上の説明では各種テーブルを用いて説明したが、これらのテーブルに格納されるデータの内容及びテーブル構成は一例であって、更に他のデータを格納したり、必要なデータを限定したり、他のテーブル構成とすることも可能である。
図1に示したシステム構成も一例であり、例えば1台のコンピュータに全ての機器が接続されており、オペレータが当該コンピュータを操作するような構成であってもよい。すなわち、画像入力制御装置9や、プロッタ制御装置11、手動補正画像作成端末5、指示端末7といった機器が存在せず、デジタルカメラ91やスキャナ93、並びにプロッタ111(又はその他の印刷装置)が画像データサーバと同様の機能を果たすコンピュータに接続するものである。
(付記1)
入力画像について色カブリを補正するためのプログラムであって、
前記プログラムは、コンピュータに、
色相の範囲を分割することにより生ずる複数の色相領域のうち基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の明度成分の大きさにより重み付けされた前記画素の彩度成分について統計量を計算し、前記色カブリの補正基準値として記憶装置に格納する補正基準値計算ステップと、
前記入力画像の各画素について、前記補正基準値を用いて前記色カブリの補正を実施し、補正結果を記憶装置に格納する補正ステップと、
を実行させるためのプログラム。
(付記2)
前記基準となる色相領域が、前記入力画像の画素が最も多く含まれる色相領域であることを特徴とする付記1記載のプログラム。
(付記3)
前記複数の色相領域の各々が、当該色相領域において最大彩度を有する色の明度値を基準に明度の高い領域である第1の領域と明度の低い領域である第2の領域に分割されており、
前記基準となる色相領域が、全ての前記色相領域の前記第1の領域のうち前記入力画像の画素が最も多く含まれる領域と、全ての前記色相領域の前記第2の領域のうち前記入力画像の画素が最も多く含まれる領域である
ことを特徴とする付記1記載のプログラム。
(付記4)
前記基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の色相について統計量を計算し、前記色カブリの色相基準値として記憶装置に格納するステップ
をさらにコンピュータに実行させ、
前記補正ステップが、
前記色相基準値にて前記補正基準値を調整する調整ステップ
を含むことを特徴とする付記1記載のプログラム。
(付記5)
前記調整ステップにおいて、
前記入力画像の各画素の色相の値と前記色相基準値との差の余弦値に従って前記補正基準値を調整する
ことを特徴とする付記4記載のプログラム。
(付記6)
前記重み付けが、前記基準となる色相領域において最大彩度を有する色の明度値との差が大きいほど大きな重み付けとなるように設定される
ことを特徴とする付記1記載のプログラム。
(付記7)
入力画像について色カブリを補正するためのプログラムであって、
前記プログラムは、コンピュータに、
色相の範囲を分割することにより生ずる複数の色相領域のうち基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の色相の値について統計量を計算し、前記色カブリの色相基準値として記憶装置に格納する色相基準値計算ステップと、
前記基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の彩度成分について所定の態様にて統計量を計算し、前記色カブリの補正基準値として記憶装置に格納する補正基準値計算ステップと、
前記入力画像の各画素について、前記色相基準値を用いて調整された前記補正基準値を用いて前記色カブリの補正を実施し、補正結果を記憶装置に格納する補正ステップと、
を実行させるためのプログラム。
(付記8)
前記補正ステップにおいて、
前記入力画像の各画素の色相の値と前記色相基準値との差の余弦値に従って前記補正基準値を調整する
ことを特徴とする付記7記載のプログラム。
(付記9)
入力画像についてレンジ補正を実施するためのプログラムであって、
前記プログラムは、コンピュータに、
前記入力画像に含まれる画素の中から、最も明度の高いハイライト画素と最も明度の低いシャドウ画素とを検出するステップと、
前記ハイライト画素の各色成分の値と前記各色成分が取り得る最低値との階調差の比が変化しないように、前記ハイライト画素の各色成分の値を指定の最高階調値に従って変換し、当該変換結果を記憶装置に格納するハイライト画素調整ステップと、
前記シャドウ画素の各色成分の値と前記各色成分が取り得る最高値との階調差の比が変化しないように、前記シャドウ画素の各色成分の値を指定の最低階調値に従って変換し、当該変換結果を記憶装置に格納するシャドウ画素調整ステップと、
前記各色成分について、変換前の前記シャドウ画素についての当該色成分の値から変換前の前記ハイライト画素についての当該色成分の値までに含まれる前記入力画像の各画素の当該色成分の値を、変換後の前記シャドウ画素についての当該色成分の値から変換後の前記ハイライト画素についての当該色成分の値までの値に線形変換し、当該線形変換の結果を記憶装置に格納するステップと、
を実行させるためのプログラム。
(付記10)
前記ハイライト画素調整ステップにおいて、
前記ハイライト画素の色成分の値のうち最も大きい値を前記指定の最高階調値に変換し、
前記シャドウ画素調整ステップにおいて、
前記シャドウ画素の色成分の値のうち最も小さい値を前記指定の最低階調値に変換する
ことを特徴とする付記9記載のプログラム。
(付記11)
入力画像を複数の領域に分割するステップと、
前記複数の領域の各々について、予め設定されている人肌の条件を満たす画素である人肌画素を計数することにより当該人肌画素の割合を計算し、前記複数の領域について前記人肌画素の割合の平均及び標準偏差を計算し、記憶装置に格納するステップと、
前記人肌画素の割合の平均に基づいて、人物と推定される部分を含む領域の有無を判断するステップと、
前記人物と推定される部分を含む領域が存在すると判断された場合には、前記人物と推定される部分を含む領域に対して最注目部分を表す重要度を設定し、人物以外と推定される部分を含む領域については前記標準偏差の値に基づき前記最注目部分を表す重要度以下の重要度を設定し、記憶装置に格納するステップと、
をコンピュータに実行させるためのプログラム。
(付記12)
コンピュータに、
前記複数の領域の各々について、平均明度と、予め設定されている空の条件を満たす画素である空画素及び予め設定されている雲の条件を満たす画素である雲画素をそれぞれ計数することにより前記空画素の割合及び前記雲画素の割合とを計算し、前記複数の領域について前記平均明度の平均値及び標準偏差を計算し、記憶装置に格納するステップと、
前記平均明度、前記平均明度の平均値及び標準偏差、並びに前記空画素の割合と前記雲画素の割合との少なくともいずれかに基づき、前記入力画像が逆光状態であるか判断するステップと、
前記入力画像が逆光状態であると判断される場合には、前記平均明度及び前記平均明度の平均値に基づき逆光による暗部と推定される部分及び前記逆光による暗部ではないが前記空画素の割合及び前記雲画素の割合に基づき雲及び空以外であると推定される部分について最注目部分を表す重要度を設定し、その他の部分については前記最注目部分を表す重要度より低い重要度を設定し、記憶装置に格納するステップと、
をさらに実行させるための付記11記載のプログラム。
(付記13)
前記入力画像が前記人物と推定される部分を含む領域を含む画像及び前記逆光状態である画像と判断されない場合には、各前記領域に前記最注目部分を表す重要度を設定し、記憶装置に格納するステップ
をさらにコンピュータに実行させるための付記12記載のプログラム。
(付記14)
前記複数の領域の各々について計算された前記平均明度及び明度の標準偏差を、前記複数の領域の各々について設定された前記重要度により重み付けすることにより、重み付けされた前記入力画像についての平均明度の平均値及び標準偏差を計算し、記憶装置に格納するステップと、
前記重み付けされた前記入力画像についての平均明度の平均値及び標準偏差を用いてトーン補正を行うステップと、
をさらにコンピュータに実行させるための付記13記載のプログラム。
(付記15)
入力画像について注目部分を特定する画像処理を実施するためのプログラムであって、
前記プログラムは、コンピュータに、
前記入力画像を複数の領域に分割するステップと、
前記複数の領域の各々について、平均明度と、予め設定されている空の条件を満たす画素である空画素及び予め設定されている雲の条件を満たす画素である雲画素をそれぞれ計数することにより前記空画素の割合及び前記雲画素の割合とを計算し、前記複数の領域について前記平均明度の平均値及び標準偏差を計算し、記憶装置に格納するステップと、
前記平均明度、前記平均明度の平均値及び標準偏差、並びに前記空画素の割合と前記雲画素の割合との少なくともいずれかに基づき、前記入力画像が逆光状態であるか判断するステップと、
前記入力画像が逆光状態であると判断される場合には、前記平均明度及び前記平均明度の平均値に基づき逆光による暗部と推定される部分及び前記逆光による暗部ではないが前記空画素の割合及び前記雲画素の割合により雲及び空以外であると推定される部分について最注目部分を表す重要度を設定し、その他の部分については前記最注目部分を表す重要度より低い重要度を設定し、記憶装置に格納するステップと、
を実行させるためのプログラム。
(付記16)
入力画像について彩度補正をするためのプログラムであって、
前記プログラムは、コンピュータに、
前記入力画像の各画素の彩度についての統計量を計算し、記憶装置に格納するステップと、
オペレータの彩度補正傾向を表す彩度補正基準値と前記彩度についての統計量とを用いて彩度補正係数を計算し、当該彩度補正係数にて彩度補正を実施し、当該彩度補正結果を記憶装置に格納する彩度補正ステップと、
を実行させるためのプログラム。
(付記17)
色相の範囲を所定数で分割することにより生ずる複数の色相領域のうち基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の色相について統計量を計算し、前記色相基準値として記憶装置に格納するステップ
をさらにコンピュータに実行させ、
前記彩度補正ステップが、
前記色相基準値に基づいて前記彩度補正係数を調整する調整ステップ
を含むことを特徴とする付記16記載のプログラム。
(付記18)
前記調整ステップにおいて、
前記入力画像の各画素の色相の値と前記色相基準値との差の正弦値に従って前記補正基準値を調整する
ことを特徴とする付記17記載のプログラム。
(付記19)
前記複数の色相領域の各々が、当該色相領域において最大彩度を有する色の明度値を基準に明度の高い領域である第1の領域と明度の低い領域である第2の領域に分割されており、
前記基準となる色相領域が、全ての前記色相領域の前記第1の領域のうち前記入力画像の画素が最も多く含まれる領域と、全ての前記色相領域の前記第2の領域のうち前記入力画像の画素が最も多く含まれる領域である、
ことを特徴とする付記17記載のプログラム。
(付記20)
前記彩度補正基準値が、オペレータによる彩度補正後の画像の彩度の平均と彩度補正前の画像の彩度の平均との差をさらに複数画像について平均した値である
ことを特徴とする付記16記載のプログラム。
(付記21)
入力画像について輪郭強調補正を行うためのプログラムであって、
前記プログラムは、コンピュータに、
前記入力画像の明度成分からなる処理画像に対して平滑化処理を実施することにより平滑化画像を生成し、記憶装置に格納するステップと、
前記処理画像と前記平滑化画像との差分を計算することにより差分画像を生成し、記憶装置に格納するステップと、
前記差分画像の画素値についての統計量を計算し、記憶装置に格納するステップと、
オペレータの輪郭強調補正傾向を表す輪郭強調補正基準値と前記差分画像の画素値についての統計量とに基づいて輪郭強調補正係数を計算し、記憶装置に格納する係数計算ステップと、
前記差分画像の各画素値を前記輪郭強調補正係数により補正し、前記処理画像の対応する画素値と加算することにより、出力画像を生成し、記憶装置に格納するステップと、
を実行させるためのプログラム。
(付記22)
前記入力画像の各画素の明度成分を前記出力画像の対応画素の画素値とする画像を生成し、記憶装置に格納するステップ
をさらにコンピュータに実行させる付記21記載のプログラム。
(付記23)
前記輪郭強調補正基準値が、オペレータによる輪郭強調補正後の画像における各画素の明度と輪郭強調補正前の画像における対応する画素の明度との差の絶対値についての平均をさらに複数画像について平均した値である
ことを特徴とする付記21記載のプログラム。
(付記24)
前記係数計算ステップにおいて、
前記輪郭強調補正基準値を、前記差分画像の画素値についての統計量である画素値の絶対値の平均で除することにより前記輪郭強調補正係数を計算する
ことを特徴とする付記21記載のプログラム。
(付記25)
入力画像の各画素の彩度を、各画素の色カブリの可能性に応じた重み付けを行って計算した彩度補正基準値の色カブリ色相角成分を用いて色カブリの補正を実施し、色カブリ除去画像を生成するステップと、
前記色カブリ除去画像において最も明度が高いハイライト画素の各色成分の値と前記各色成分が取り得る最低値との階調差の比が変化しないように前記ハイライト画素の各色成分の値を指定の最高階調値に従って変換し、前記色カブリ除去画像において最も明度が低いシャドウ画素の各色成分の値と前記各色成分が取り得る最高値との階調差の比が変化しないように前記シャドウ画素の各色成分の値を指定の最低階調値に従って変換し、前記ハイライト画素及び前記シャドウ画素以外の各画素については前記変換結果に基づいて線形変換し、当該線形変換の結果をレンジ変換後画像として記憶装置に格納するステップと、
前記レンジ変換後画像を複数の領域に分割し、前記複数の領域全体及び当該複数の領域の各々について、予め設定されている人肌の条件を満たす画素である人肌画素の統計量、予め設定されている空の条件を満たす画素である空画素の統計量、予め設定されている雲の条件を満たす画素である雲画素の統計量、及び明度の統計量を計算し、前記人肌画素の統計量により人物と推定される部分を含む領域が存在すると判断された場合には前記人物と推定される部分を含む領域に対して最注目部分を表す重要度を設定し、人物以外と推定される部分を含む領域については前記人肌画素の統計量に基づき前記最注目部分を表す重要度以下の重要度を設定し、前記レンジ変換後画像が逆光状態であると判断される場合には、前記明度の統計量に基づき逆光による暗部と推定される部分及び前記逆光による暗部ではないが前記雲画素の統計量及び前記空画素の統計量により雲及び空以外であると推定される部分について最注目部分を表す重要度を設定し、その他の部分については前記最注目部分を表す重要度より低い重要度を設定し、記憶装置に格納するステップと、
前記複数の領域の各々について計算された前記平均明度及び明度の標準偏差を、前記複数の領域の各々について設定された前記重要度により重み付けすることにより、重み付けされた前記レンジ変換後画像についての平均明度の平均値及び標準偏差を計算し、当該平均明度の平均値及び標準偏差を用いてトーン補正を行ってトーン補正後画像を生成し、記憶装置に格納するステップと、
前記トーン補正後画像の各画素の彩度についての統計量を計算し、オペレータの彩度補正傾向を表す彩度補正基準値と前記彩度についての統計量とを用いて彩度補正係数を計算して、当該彩度補正係数にて彩度補正を実施し、当該彩度補正結果として彩度補正後画像を記憶装置に格納するステップと、
前記彩度補正後画像の明度成分からなる処理画像に対して平滑化処理を実施することにより平滑化画像を生成し、前記処理画像と前記平滑化画像との差分を計算することにより差分画像を生成し、オペレータの輪郭強調補正傾向を表す輪郭強調補正基準値と前記差分画像の画素値についての統計量とに基づいて輪郭強調補正係数を計算し、前記差分画像の各画素値を前記輪郭強調補正係数により補正し、前記処理画像の対応する画素値と加算することにより出力画像を生成し、前記彩度補正後画像の各画素の明度成分を前記出力画像の対応画素の画素値とする画像を生成し、記憶装置に格納するステップと、
を実行させるためのプログラム。
(付記26)
入力画像について色カブリを補正するためのコンピュータ・システムであって、
色相の範囲を分割することにより生ずる複数の色相領域のうち基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の明度成分の大きさにより重み付けされた前記画素の彩度成分について統計量を計算し、前記色カブリの補正基準値として記憶装置に格納する補正基準値計算手段と、
前記入力画像の各画素について、前記補正基準値を用いて前記色カブリの補正を実施し、補正結果を記憶装置に格納する補正手段と、
を有するコンピュータ・システム。
(付記27)
入力画像について色カブリを補正するためのコンピュータ・システムであって、
色相の範囲を分割することにより生ずる複数の色相領域のうち基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の色相の値について統計量を計算し、前記色カブリの色相基準値として記憶装置に格納する色相基準値計算手段と、
前記基準となる色相領域に含まれる、前記入力画像の少なくとも一部の画素の彩度成分について所定の態様にて統計量を計算し、前記色カブリの補正基準値として記憶装置に格納する補正基準値計算手段と、
前記入力画像の各画素について、前記色相基準値を用いて調整された前記補正基準値を用いて前記色カブリの補正を実施し、補正結果を記憶装置に格納する補正手段と、
を有するコンピュータ・システム。
(付記28)
入力画像についてレンジ補正を実施するためのコンピュータ・システムであって、
前記入力画像に含まれる画素の中から、最も明度の高いハイライト画素と最も明度の低いシャドウ画素とを検出する手段と、
前記ハイライト画素の各色成分の値と前記各色成分が取り得る最低値との階調差の比が変化しないように、前記ハイライト画素の各色成分の値を指定の最高階調値に従って変換し、当該変換結果を記憶装置に格納するハイライト画素調整手段と、
前記シャドウ画素の各色成分の値と前記各色成分が取り得る最高値との階調差の比が変化しないように、前記シャドウ画素の各色成分の値を指定の最低階調値に従って変換し、当該変換結果を記憶装置に格納するシャドウ画素調整手段と、
前記各色成分について、変換前の前記シャドウ画素についての当該色成分の値から変換前の前記ハイライト画素についての当該色成分の値までに含まれる前記入力画像の各画素の当該色成分の値を、変換後の前記シャドウ画素についての当該色成分の値から変換後の前記ハイライト画素についての当該色成分の値までの値に線形変換し、当該線形変換の結果を記憶装置に格納する手段と、
を有するコンピュータ・システム。
(付記29)
入力画像について注目部分を特定する画像処理を実施するためのコンピュータ・システムであって、
前記入力画像を複数の領域に分割する手段と、
前記複数の領域の各々について、予め設定されている人肌の条件を満たす画素である人肌画素を計数することにより当該人肌画素の割合を計算し、前記複数の領域について前記人肌画素の割合の平均及び標準偏差を計算し、記憶装置に格納する手段と、
前記人肌画素の割合の平均に基づいて、人物と推定される部分を含む領域の有無を判断する手段と、
前記人物と推定される部分を含む領域が存在すると判断された場合には、前記人物と推定される部分を含む領域に対して最注目部分を表す重要度を設定し、人物以外と推定される部分を含む領域については前記標準偏差の値に基づき前記最注目部分を表す重要度以下の重要度を設定し、記憶装置に格納する手段と、
を有するコンピュータ・システム。
(付記30)
入力画像について注目部分を特定する画像処理を実施するためのコンピュータ・システムであって、
前記入力画像を複数の領域に分割する手段と、
前記複数の領域の各々について、平均明度と、予め設定されている空の条件を満たす画素である空画素及び予め設定されている雲の条件を満たす画素である雲画素をそれぞれ計数することにより前記空画素の割合及び前記雲画素の割合とを計算し、前記複数の領域について前記平均明度の平均値及び標準偏差を計算し、記憶装置に格納する手段と、
前記平均明度、前記平均明度の平均値及び標準偏差、並びに前記空画素の割合と前記雲画素の割合との少なくともいずれかに基づき、前記入力画像が逆光状態であるか判断する手段と、
前記入力画像が逆光状態であると判断される場合には、前記平均明度及び前記平均明度の平均値に基づき逆光による暗部と推定される部分及び前記逆光による暗部ではないが前記空画素の割合及び前記雲画素の割合により雲及び空以外であると推定される部分について最注目部分を表す重要度を設定し、その他の部分については前記最注目部分を表す重要度より低い重要度を設定する手段と、
を有するコンピュータ・システム。
(付記31)
入力画像について彩度補正をするためのコンピュータ・システムであって、
前記入力画像の各画素の彩度についての統計量を計算し、記憶装置に格納する手段と、
オペレータの彩度補正傾向を表す彩度補正基準値と前記彩度についての統計量とを用いて彩度補正係数を計算し、当該彩度補正係数にて彩度補正を実施し、当該彩度補正結果を記憶装置に格納する彩度補正手段と、
を有するコンピュータ・システム。
(付記32)
入力画像について輪郭強調補正を行うためのコンピュータ・システムであって、
前記入力画像の明度成分からなる処理画像に対して平滑化処理を実施することにより平滑化画像を生成し、記憶装置に格納する手段と、
前記処理画像と前記平滑化画像との差分を計算することにより差分画像を生成し、記憶装置に格納する手段と、
前記差分画像の画素値についての統計量を計算し、記憶装置に格納する手段と、
オペレータの輪郭強調補正傾向を表す輪郭強調補正基準値と前記差分画像の画素値についての統計量とに基づいて輪郭強調補正係数を計算し、記憶装置に格納する係数計算手段と、
前記差分画像の各画素値を前記輪郭強調補正係数により補正し、前記処理画像の対応する画素値と加算することにより、出力画像を生成し、記憶装置に格納する手段と、
を有するコンピュータ・システム。
本発明の一実施の形態におけるシステム構成例を示す図である。 画像処理プログラムの機能ブロック図である。 補正処理前段部の機能ブロック図である。 補正処理後段部の機能ブロック図である。 本発明の一実施の形態の全体の処理フローを示す図である。 色カブリ補正処理の第1の処理フローを示す図である。 LCH色空間における領域分割の説明のための図である。 色カブリ補正のための最大彩度テーブルの一例を示す図である。 重み関数F(L)及びG(L)を表す図である。 図9に示した重み関数を採用する理由を説明するための図である。 色カブリ補正のための画素テーブルの一例を示す図である。 Y系統及びG系統の彩度分布を説明するための図である。 色カブリ補正処理の第2の処理フローを示す図である。 色カブリ補正の補正前と補正後の彩度変化を表す図である。 レンジ補正処理の処理フローを表す図である。 レンジ補正のためのレンジ補正テーブルの一例を示す図である。 レンジ補正のための画素テーブルの一例を示す図である。 レンジ補正の概要を説明するための模式図である。 レンジ補正のための線形変換関数を表す図である。 変換テーブル(赤用)の一例を示す図である。 変換テーブル(緑用)の一例を示す図である。 変換テーブル(青用)の一例を示す図である。 主要部分推定処理の第1の処理フローを示す図である。 主要部分推定処理において用いられる参照重要度テーブルの一例を示す図である。 主要部分推定処理において用いられる画素種別条件テーブルの一例を示す図である。 主要部分推定処理において用いられる基準画素割合テーブルの一例を示す図である。 主要部分推定処理において用いられる算出画素割合テーブルの一例を示す図である。 主要部分推定処理の第2の処理フローを示す図である。 主要部分推定処理で判別される画像の種類を示す図である。 図29の画像について付与される参照重要度の例を示す図である。 逆光気味の画像に対して参照重要度を各小領域に付与するための処理フローを示す図である。 画像状態と明度平均値μと適用トーンカーブの関係を示す図である。 画像状態と明度標準偏差σと適用トーンカーブの関係を示す図である。 統計情報算出の処理フローを示す図である。 統計情報算出処理のための手動補正画素テーブルの一例を示す図である。 統計情報算出処理のための手動補正履歴テーブルの一例を示す図である。 統計情報算出処理のための彩度・輪郭基準テーブルの一例を示す図である。 彩度補正の処理フローを示す図である。 彩度補正処理のための画素テーブルの一例を示す図である。 彩度補正前及び補正後の彩度分布を説明するための模式図である。 輪郭強調補正の処理フローを示す図である。 輪郭強調補正のための画素テーブルの一例を示す図である。 輪郭強調補正を説明するための模式図である。 従来技術における色カブリ補正を説明するための図である。
符号の説明
1 ネットワーク 3 画像データサーバ 5 手動補正画像作成端末
7 指示端末 9 画像入力制御装置 11 プロッタ制御装置
31 OS 33 基準値DB 35 画像格納DB
37 アプリケーション・プログラム 39 画像処理プログラム
91 デジタルカメラ 93 スキャナ 111 プロッタ
200 色カブリ補正部 202 レンジ補正部
204 主要部分推定部 206 トーン補正部
208 彩度補正部 210 輪郭強調部
391 補正処理前段部 393 統計情報算出部
395 補正処理後段部

Claims (3)

  1. 入力画像についてレンジ補正を実施するためのプログラムであって、
    前記プログラムは、コンピュータに、
    前記入力画像に含まれる画素の中から、最も明度の高いハイライト画素と最も明度の低いシャドウ画素とを検出するステップと、
    前記ハイライト画素の各色成分の値と前記各色成分が取り得る最低値との階調差の比が変化しないように、前記ハイライト画素の各色成分の値を指定の最高階調値に従って変換するハイライト画素調整ステップと、
    前記シャドウ画素の各色成分の値と前記各色成分が取り得る最高値との階調差の比が変化しないように、前記シャドウ画素の各色成分の値を指定の最低階調値に従って変換するシャドウ画素調整ステップと、
    前記各色成分について、変換前の前記シャドウ画素についての当該色成分の値から変換前の前記ハイライト画素についての当該色成分の値までに含まれる前記入力画像の各画素の当該色成分の値を、変換後の前記シャドウ画素についての当該色成分の値から変換後の前記ハイライト画素についての当該色成分の値までの値に線形変換するステップと、
    を実行させるためのプログラム。
  2. 入力画像について注目部分を特定する画像処理を実施するためのプログラムであって、
    入力画像を複数の領域に分割するステップと、
    前記複数の領域の各々について、予め設定されている人肌の条件を満たす画素である人肌画素を計数することにより当該人肌画素の割合を計算し、前記複数の領域について前記人肌画素の割合の平均及び標準偏差を計算するステップと、
    前記人肌画素の割合の平均に基づいて、人物と推定される部分を含む領域の有無を判断するステップと、
    前記人物と推定される部分を含む領域が存在すると判断された場合には、前記人物と推定される部分を含む領域に対して最注目部分を表す重要度を設定し、人物以外と推定される部分を含む領域については前記標準偏差の値に基づき前記最注目部分を表す重要度以下の重要度を設定するステップと、
    をコンピュータに実行させるためのプログラム。
  3. 入力画像について輪郭強調補正を行うためのプログラムであって、
    前記プログラムは、コンピュータに、
    前記入力画像の明度成分からなる処理画像に対して平滑化処理を実施することにより平滑化画像を生成するステップと、
    前記処理画像と前記平滑化画像との差分を計算することにより差分画像を生成するステップと、
    前記差分画像の画素値についての統計量を計算するステップと、
    オペレータの輪郭強調補正傾向を表す輪郭強調補正基準値と前記差分画像の画素値についての統計量とに基づいて輪郭強調補正係数を計算する係数計算ステップと、
    前記差分画像の各画素値を前記輪郭強調補正係数により補正し、前記処理画像の対応する画素値と加算することにより、出力画像を生成するステップと、
    を実行させるためのプログラム。
JP2007266230A 2007-10-12 2007-10-12 画像処理プログラム Expired - Lifetime JP4640850B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007266230A JP4640850B2 (ja) 2007-10-12 2007-10-12 画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007266230A JP4640850B2 (ja) 2007-10-12 2007-10-12 画像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001256095A Division JP4197858B2 (ja) 2001-08-27 2001-08-27 画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2008033966A true JP2008033966A (ja) 2008-02-14
JP4640850B2 JP4640850B2 (ja) 2011-03-02

Family

ID=39123236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007266230A Expired - Lifetime JP4640850B2 (ja) 2007-10-12 2007-10-12 画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4640850B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008279261A (ja) * 2007-05-14 2008-11-20 Olympus Winter & Ibe Gmbh 内視鏡画像の画像処理のための方法及び装置
JP2013005884A (ja) * 2011-06-23 2013-01-10 Hoya Corp 画像強調装置及び方法
JP2013042206A (ja) * 2011-08-11 2013-02-28 Canon Inc 撮像装置、その制御方法、および制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6326783A (ja) * 1986-07-19 1988-02-04 Olympus Optical Co Ltd カラ−画像処理方式
JPH03502975A (ja) * 1988-12-27 1991-07-04 イーストマン・コダック・カンパニー 画像鮮明化及び雑音抑制のための中心重み付き局所分散を用いた不鮮明なマスキング
JPH0922460A (ja) * 1995-02-09 1997-01-21 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH09238257A (ja) * 1996-02-29 1997-09-09 Dainippon Screen Mfg Co Ltd 基準濃度点の設定装置
JPH118768A (ja) * 1997-06-17 1999-01-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JPH11331593A (ja) * 1998-05-14 1999-11-30 Olympus Optical Co Ltd フィルムスキャナ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6326783A (ja) * 1986-07-19 1988-02-04 Olympus Optical Co Ltd カラ−画像処理方式
JPH03502975A (ja) * 1988-12-27 1991-07-04 イーストマン・コダック・カンパニー 画像鮮明化及び雑音抑制のための中心重み付き局所分散を用いた不鮮明なマスキング
JPH0922460A (ja) * 1995-02-09 1997-01-21 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH09238257A (ja) * 1996-02-29 1997-09-09 Dainippon Screen Mfg Co Ltd 基準濃度点の設定装置
JPH118768A (ja) * 1997-06-17 1999-01-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JPH11331593A (ja) * 1998-05-14 1999-11-30 Olympus Optical Co Ltd フィルムスキャナ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008279261A (ja) * 2007-05-14 2008-11-20 Olympus Winter & Ibe Gmbh 内視鏡画像の画像処理のための方法及び装置
JP2013005884A (ja) * 2011-06-23 2013-01-10 Hoya Corp 画像強調装置及び方法
JP2013042206A (ja) * 2011-08-11 2013-02-28 Canon Inc 撮像装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
JP4640850B2 (ja) 2011-03-02

Similar Documents

Publication Publication Date Title
JP4197858B2 (ja) 画像処理プログラム
US7103228B2 (en) Local change of an image sharpness of photographic images with masks
JP4549352B2 (ja) 画像処理装置および方法,ならびに画像処理プログラム
US7057768B2 (en) Automatic color balance
JP3759761B2 (ja) 鮮鋭度の変更方法及び装置
JP3992177B2 (ja) 画像処理装置、画像処理方法及びコンピュータ・プログラム
US8355574B2 (en) Determination of main object on image and improvement of image quality according to main object
JP4529888B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US7715649B2 (en) Generation and adjustment of a luminance correction curve to prevent saturation of the image during contrast enhancement
US7468812B2 (en) Image processing apparatus and its method for color correction
US20060067575A1 (en) Image processing method, image processing device, and image processing program
CN111292246B (zh) 图像颜色校正方法、存储介质及内窥镜
US20020141640A1 (en) Local digital image property control with masks
JP2006303899A (ja) 画像処理装置、画像処理システム、および画像処理プログラム
EP2384583A1 (en) Image processing
JP2009033361A (ja) 色調整装置、画像形成装置およびプログラム
JP4640850B2 (ja) 画像処理プログラム
JP3673092B2 (ja) 画質調整装置及び画質調整方法、並びに画像調整用プログラムを記録した記録媒体
JPH11146219A (ja) 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
JP4019204B2 (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP4013699B2 (ja) 画像処理装置および画像処理方法
JP4608961B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPH10271524A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
JP2008147714A (ja) 画像処理装置およびその方法
JP2010233236A (ja) 主要被写体に応じた画質の向上

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101124

R150 Certificate of patent or registration of utility model

Ref document number: 4640850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

EXPY Cancellation because of completion of term