本発明の請求項1に記載の画像処理装置は、入力したアナログ画像信号をディジタル画像データに変換する画像入力手段と、変換したディジタル画像データに所望の画像処理を行って処理済み画像データを生成する画像処理手段と、処理済み画像データとディジタル画像データとの合成を行って合成画像データを生成する画像合成手段と、合成画像データをアナログの合成画像信号に変換する画像出力手段とを有し、画像処理手段は、ディジタル画像データに対してコントラスト調整を行うコントラスト調整手段またはディジタル画像データに対して色調整を行う色調整手段であることとしたものである。
この構成により、経験を要すること無く、入力画像に対してコントラスト調整または色調整を行うことができるので、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを調整することができ、また入力画像に対する依存性と変換後の色バランスの崩れを無くすことができるという作用を有する。
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置において、コントラスト調整手段は、対象画素のコントラスト調整量を求める補正情報導出手段と、求めた対象画素のコントラスト調整量から有効となる範囲を限定して抽出する抽出手段と、対象画素のコントラスト調整量に基づき限定された範囲において対象画素の画素値を調整画素値に変換する画素値変換手段とを有することとしたものである。
この構成により、対象画素のコントラスト調整量を求め、対象画素のコントラスト調整量に基づき限定された範囲において対象画素の画素値を調整画素値に変換するようにしたので、経験を要すること無く、入力画像に対してコントラスト調整または色調整を自動的かつ確実にに行うことができるという作用を有する。
請求項3に記載の画像処理装置は、請求項1に記載の画像処理装置において、コントラスト調整手段は、対象画素のコントラスト調整量を算出する際の初期条件と画素比較範囲とを設定する初期設定手段と、画素比較範囲をもとに対象画素のコントラスト調整量を求める補正情報導出手段と、求めた対象画素のコントラスト調整量に基づくコントラスト調整処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合には画素比較範囲を変更して補正情報導出手段へ処理を渡す補正範囲変更手段と、終了判定手段で終了判定された場合には複数の画素比較範囲より得られたコントラスト調整量から有効となる範囲を限定して抽出する抽出手段と、対象画素のコントラスト調整量に基づき限定された範囲において対象画素の画素値を調整画素値に変換する画素値変換手段とを有することとしたものである。
この構成により、対象画素値とその周辺領域における平均画素値との比較により算出したコントラスト調整量を複数の周辺領域でのコントラスト調整量の加重平均値に拡張することができるので、入力画像の影響や、周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
請求項4に記載の画像処理装置は、請求項1に記載の画像処理装置において、コントラスト調整手段は、入力画像内の画素値をコントラスト調整時の対象とする対象信号へ変換する信号変換手段と、信号変換手段で得られた対象信号に対して対象画素のコントラスト調整量を求める対象補正情報導出手段と、対象補正情報導出手段で得られた対象画素のコントラスト調整量から有効となる範囲を限定し抽出する抽出手段と、対象画素のコントラスト調整量に基づき限定された範囲において信号変換手段で得られた対象信号を調整対象信号に変換して調整済みの対象信号を生成する対象信号変換手段と、調整済みの対象信号と信号変換手段で得られた対象信号とにより前記入力画像内の画素値を調整画素値へ逆変換処理を行う信号逆変換手段とを有することとしたものである。
この構成により、入力画像を明度、色相等の情報に一度変換し、この明度を対象信号として対象画素の明度とその周辺領域における平均明度との比較より明度のコントラスト調整量を求め、そのうちで有効と思われる明度のコントラスト調整量を抽出することができるので、この抽出された明度と入力画像より得られた色相とにより、調整後の画像の画素値を求め、得られたコントラスト調整画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像のコントラスト調整を行うことができるという作用を有する。
請求項5に記載の画像処理装置は、請求項1に記載の画像処理装置において、コントラスト調整手段は、入力画像内の画素値をコントラスト調整時の対象とする対象信号へ変換する信号変換手段と、変換した対象信号に対するコントラスト調整量を算出する際の初期条件と画素比較範囲とを設定する初期設定手段と、画素比較範囲をもとに変換した対象信号に対する各画素のコントラスト調整量を求める対象補正情報導出手段と、求めた各画素のコントラスト調整量に基づくコントラスト調整処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定手段と、終了判定手段で終了判定されなかった場合には画素比較範囲を変更して対象補正情報導出手段へ処理を渡す補正範囲変更手段と、終了判定手段で終了判定された場合には各画素のコントラスト調整量より有効となる範囲を限定して抽出する抽出手段と、各画素のコントラスト調整量に基づき限定された範囲において変換した対象信号を調整対象信号に変換して調整済みの対象信号を生成する対象信号変換手段と、調整済みの対象信号と信号変換手段で変換した対象信号とにより入力画像内の画素値を調整画素値へ逆変換処理を行う信号逆変換手段とを有することとしたものである。
この構成により、対象画素値とその周辺領域における平均画素値との比較により算出したコントラスト調整量を複数の周辺領域でのコントラスト調整量の加重平均値に拡張することができるので、高精度なコントラスト調整を行うことができるという作用を有する。
請求項6に記載の画像処理装置は、請求項2または3に記載の画像処理装置において、画素値変換手段は、入力画像内の平均輝度を算出する平均輝度算出手段と、算出した平均輝度をもとに、得られたコントラスト調整量に基づいて入力画像内の画素値を調整画素値に変換する際の変換方式を選択する変換方式分類手段と、変換方式分類手段で得られた変換方式に従い、得られたコントラスト調整量を実際の画素の持つ画素値に変換する画素値推定手段とを有することとしたものである。
この構成により、周囲画素との比較で得られたコントラスト調整量から有効と思われる領域を抽出した後に、入力画像における平均輝度をもとに、抽出されたコントラスト調整量を変換する変換方式を選択して適用することができるので、容易かつ確実にコントラスト調整を行うことができるという作用を有する。
請求項7に記載の画像処理装置は、請求項4または5に記載の画像処理装置において、対象信号変換手段は、信号変換手段で得られた対象信号の入力画像における平均値を算出して平均対象信号を生成する平均対象信号算出手段と、生成した平均対象信号をもとに、得られた対象信号のコントラスト調整量に基づいて得られた対象信号を調整対象信号に変換する際の変換方式を選択する変換方式分類手段と、変換方式分類手段で得られた変換方式に従い、得られた対象信号のコントラスト調整量を実際の画素の対象信号値に変換する対象信号推定手段とを有することとしたものである。
この構成により、周囲画素との比較で得られた対象信号(例えば明度)のコントラスト調整量から有効と思われる領域を抽出した後に、入力画像における平均対象信号値(平均明度)をもとに、抽出された対象信号のコントラスト調整量を変換する変換方式を選択して適用することができるので、容易かつ確実にコントラスト調整を行うことができるという作用を有する。
請求項8に記載の画像処理装置は、請求項2または3に記載の画像処理装置において、画素値変換手段は、入力画像内のコントラスト強度を示す基準強度値を算出する基準強度算出手段と、算出した基準強度値をもとに、得られたコントラスト調整量に基づいて入力画像内の画素値を調整画素値に変換する際の変換曲線を推定する変換曲線推定手段と、推定した変換曲線を使って、得られたコントラスト調整量を実際の画素の持つ画素値に変換する画素値推定手段とを有することとしたものである。
この構成により、周囲画素との比較で得られたコントラスト調整量から有効と思われる領域を抽出した後に、入力画像の輝度より得られるエッジ強度の総和を計算することができるので、抽出されたコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の輝度のエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項9に記載の画像処理装置は、請求項4または5に記載の画像処理装置において、対象信号変換手段は、信号変換手段で得られた対象信号に対して入力画像内のコントラスト強度を示す基準強度値を算出する基準強度算出手段と、算出した基準強度値をもとに、得られた対象信号のコントラスト調整量に基づいて得られた対象信号を調整対象信号に変換する際の変換曲線を推定する対象信号変換曲線推定手段と、推定した変換曲線を使って、得られた対象信号を調整対象信号に変換する対象信号推定手段とを有することとしたものである。
この構成により、周囲画素との比較で得られた対象信号(明度)コントラスト調整量から有効と思われる領域を抽出した後に、入力画像の対象信号より入力画像のエッジ強度の総和を計算することができるので、抽出された対象信号のコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の対象信号によるエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項10に記載の画像処理装置は、請求項8に記載の画像処理装置において、変換曲線推定手段は、予め設定された固定数分の調整パラメータより構成される調整ベクトルの初期候補集団を設定する初期候補設定手段と、現時点における調整ベクトル集団内の各ベクトルを用いて、得られたコントラスト調整量に基づいて入力画像内の画素値を調整画素値に変換する画素値変換候補算出手段と、基準強度値と現時点における調整ベクトル集団内の各ベクトルとより得られた変換後の画素値を用いて各変換曲線候補によるコントラスト強度を評価する評価値算出手段と、前期評価値導出手段で得られた各候補の適合度を計算する適合度計算手段と、計算した各候補の適合度をもとに現在の候補の組替え操作を行うことで新しい調整ベクトル集合の生成を行う組替え操作手段と、調整ベクトルの最適化が終了した時点かどうかの判定を行う推定終了判定手段とを有することとしたものである。
この構成により、周囲画素との比較で得られたコントラスト調整量より有効と思われる領域を抽出した後に入力画像の輝度より得られるエッジ強度の総和を計算することができるので、抽出されたコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の輝度のエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項11に記載の画像処理装置は、請求項9に記載の画像処理装置において、対象信号変換曲線推定手段は、予め設定された固定数分の調整パラメータより構成される調整ベクトルの初期候補集団を設定する初期候補設定手段と、現時点における調整ベクトル集団内の各ベクトルを用いて、得られた対象信号のコントラスト調整量に基づいて、得られた対象信号を調整対象信号に変換する対象信号変換候補算出手段と、基準強度値と現時点における調整ベクトル集団内の各ベクトルより得られた変換後の対象信号値とを用いて、各変換曲線候補による対象信号のコントラスト強度を評価する評価値算出手段と、評価値導出手段で得られた各候補の適合度を計算する適合度計算手段と、計算した各候補の適合度をもとに現在の候補の組替え操作を行うことで新しい調整ベクトル集合の生成を行う組替え操作手段と、調整ベクトルの最適化が終了した時点かどうかの判定を行う推定終了判定手段とを有することとしたものである。
この構成により、周囲画素との比較で得られた対象信号(明度)コントラスト調整量より有効と思われる領域を抽出した後に、入力画像の対象信号より入力画像のエッジ強度の総和を計算することができるので、抽出された対象信号のコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の対象信号によるエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項12に記載の画像処理装置は、請求項1に記載の画像処理装置において、色調整手段は、入力画像を複数の小領域に分割する画像分割手段と、画像分割手段で得られた各小領域内の色データを代表する代表色を求める代表色抽出手段と、予め用意された色変換後の色データを集めた色変換テーブルと、代表色抽出手段で求めた代表色に最も近い色を変換色として色変換テーブルより選択する代表色変換色選択手段と、代表色変換色選択手段で得られた代表色と変換色との間の距離をもとに、選択された各変換色を微調整し、代表色を微調整後の変換色に変換する色変換手段とを有することとしたものである。
この構成により、入力画像を複数の細部領域に分割し、各領域内の色の統計的分布により代表色を選択することができるので、予め用意された色変換テーブル内の色と代表色を比較して各代表色に最近傍な変換後の色を抽出するとともに、2つの色間の距離をもとに選択された変換後の色データを微調整し、各領域における代表色をこの微調整された変換色に変換することができ、こうして得られた色調整後の画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像の色調整を行うことができるという作用を有する。
請求項13に記載の画像処理装置は、請求項12に記載の画像処理装置において、代表色抽出手段は、分割された小領域内の色データに対して、逐次分割処理を行う際のスタート状態のグループを設定し、各グループに色データ全てを分類し、各グループの代表色を求める初期化手段と、分割対象グループ内に属する色データの分布をもとに、対象グループの分割時に着目する成分を決定する分割軸決定手段と、得られた着目成分に従い、対象グループを複数に分割するとともに、対象グループに属する色データを分割後に得られたグループに振り分けるクラスタ分割手段と、得られた各グループに属する色データの代表色を求めるクラスタ代表色決定手段と、代表色が収束したかどうかの判定を行い、収束していない場合には、現在の代表色をもとに再度グループ分割を行うためにクラスタ分割手段へ処理が移る収束判定手段と、収束判定手段で収束したと判定された場合には、これまでに得られた対象領域内からの代表色が所定数得られたどうかの判定を行い、得られていない場合には分割軸決定手段への処理が移るクラスタ分割終了判定手段と、クラスタ分割終了判定手段で終了したと判定された場合には、得られた所定数の代表色を出力する代表色出力手段とを有することとしたものである。
この構成により、入力画像を複数の細部領域に分割し、各領域内の色の統計的分布により代表色を選択することができるので、予め用意された色変換テーブル内の色と代表色を比較して各代表色に最近傍な変換後の色を抽出するとともに、2つの色間の距離をもとに選択された変換後の色データを微調整し、各領域における代表色をこの微調整された変換色に変換することができ、こうして得られた色調整後の画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像の色調整を行うことができるという作用を有する。
請求項14に記載の画像処理装置は、請求項1乃至13のいずれか1に記載の画像処理装置において、画像合成手段は、入力画像と画像処理手段で得られた調整後の画像とのどちらを優先するかを決める選択基準値判定手段と、選択基準値判定手段の決定結果に基づいて、入力画像と画像処理手段で得られた調整後の画像とに掛かる結合係数を決定する結合係数導出手段と、結合係数導出手段で決定した各画像の結合係数を使って、入力画像と画像処理手段で得られた調整後の画像との加重平均画像を生成する加重平均合成手段とを有することとしたものである。
この構成により、対象画素の画素値とその周辺領域における平均画素値との比較よりコントラスト調整量を求め、そのうちで有効と思われるコントラスト調整量を抽出することができるので、そのように得られたコントラスト調整画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像のコントラスト調整を行うことができるという作用を有する。
請求項15に記載の画像処理方法は、入力したアナログ画像信号をディジタル画像データに変換する画像入力ステップと、変換したディジタル画像データに所望の画像処理を行って処理済み画像データを生成する画像処理ステップと、処理済み画像データとディジタル画像データとの合成を行って合成画像データを生成する画像合成ステップと、合成画像データをアナログの合成画像信号に変換する画像出力ステップとを有し、画像処理ステップは、ディジタル画像データに対してコントラスト調整を行うコントラスト調整ステップまたはディジタル画像データに対して色調整を行う色調整ステップであることとしたものである。
この構成により、経験を要すること無く、入力画像に対してコントラスト調整または色調整を行うことができるので、撮像された明暗部を持つ画像のみを用いて簡易に撮像画像のコントラストを調整することができ、また入力画像に対する依存性と変換後の色バランスの崩れを無くすことができるという作用を有する。
請求項16に記載の画像処理方法は、請求項15に記載の画像処理方法において、コントラスト調整ステップは、対象画素のコントラスト調整量を求める補正情報導出ステップと、求めた対象画素のコントラスト調整量から有効となる範囲を限定して抽出する抽出ステップと、対象画素のコントラスト調整量に基づき限定された範囲において対象画素の画素値を調整画素値に変換する画素値変換ステップとを有することとしたものである。
この構成により、対象画素のコントラスト調整量を求め、対象画素のコントラスト調整量に基づき限定された範囲において対象画素の画素値を調整画素値に変換するようにしたので、経験を要すること無く、入力画像に対してコントラスト調整を自動的かつ確実に行うことができるという作用を有する。
請求項17に記載の画像処理方法は、請求項15に記載の画像処理方法において、コントラスト調整ステップは、対象画素のコントラスト調整量を算出する際の初期条件と画素比較範囲とを設定する初期設定ステップと、画素比較範囲をもとに対象画素のコントラスト調整量を求める補正情報導出ステップと、求めた対象画素のコントラスト調整量に基づくコントラスト調整処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定ステップと、終了判定ステップで終了判定されなかった場合には画素比較範囲を変更して補正情報導出ステップへ処理を渡す補正範囲変更ステップと、終了判定ステップで終了判定された場合には複数の画素比較範囲より得られたコントラスト調整量から有効となる範囲を限定して抽出する抽出ステップと、対象画素のコントラスト調整量に基づき限定された範囲において対象画素の画素値を調整画素値に変換する画素値変換ステップとを有することとしたものである。
この構成により、対象画素値とその周辺領域における平均画素値との比較により算出したコントラスト調整量を複数の周辺領域でのコントラスト調整量の加重平均値に拡張することができるので、入力画像の影響や、周辺視野領域の大きさを示す定数の設定による影響を低減させることができるという作用を有する。
請求項18に記載の画像処理方法は、請求項15に記載の画像処理方法において、コントラスト調整ステップは、入力画像内の画素値をコントラスト調整時の対象とする対象信号へ変換する信号変換ステップと、信号変換ステップで得られた対象信号に対して対象画素のコントラスト調整量を求める対象補正情報導出ステップと、対象補正情報導出ステップで得られた対象画素のコントラスト調整量から有効となる範囲を限定し抽出する抽出ステップと、対象画素のコントラスト調整量に基づき限定された範囲において信号変換ステップで得られた対象信号を調整対象信号に変換して調整済みの対象信号を生成する対象信号変換ステップと、調整済みの対象信号と信号変換ステップで得られた対象信号とにより前記入力画像内の画素値を調整画素値へ逆変換処理を行う信号逆変換ステップとを有することとしたものである。
この構成により、入力画像を明度、色相等の情報に一度変換し、この明度を対象信号として対象画素の明度とその周辺領域における平均明度との比較より明度のコントラスト調整量を求め、そのうちで有効と思われる明度のコントラスト調整量を抽出することができるので、この抽出された明度と入力画像より得られた色相とにより、調整後の画像の画素値を求め、得られたコントラスト調整画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像のコントラスト調整を行うことができるという作用を有する。
請求項19に記載の画像処理方法は、請求項15に記載の画像処理方法において、コントラスト調整ステップは、入力画像内の画素値をコントラスト調整時の対象とする対象信号へ変換する信号変換ステップと、変換した対象信号に対するコントラスト調整量を算出する際の初期条件と画素比較範囲とを設定する初期設定ステップと、画素比較範囲をもとに変換した対象信号に対する各画素のコントラスト調整量を求める対象補正情報導出ステップと、求めた各画素のコントラスト調整量に基づくコントラスト調整処理が全ての画素比較範囲で終了したかどうかの判定を行う終了判定ステップと、終了判定ステップで終了判定されなかった場合には画素比較範囲を変更して対象補正情報導出ステップへ処理を渡す補正範囲変更ステップと、終了判定ステップで終了判定された場合には各画素のコントラスト調整量より有効となる範囲を限定して抽出する抽出ステップと、各画素のコントラスト調整量に基づき限定された範囲において変換した対象信号を調整対象信号に変換して調整済みの対象信号を生成する対象信号変換ステップと、調整済みの対象信号と信号変換ステップで変換した対象信号とにより入力画像内の画素値を調整画素値へ逆変換処理を行う信号逆変換ステップとを有することとしたものである。
この構成により、対象画素値とその周辺領域における平均画素値との比較により算出したコントラスト調整量を複数の周辺領域でのコントラスト調整量の加重平均値に拡張することができるので、高精度なコントラスト調整を行うことができるという作用を有する。
請求項20に記載の画像処理方法は、請求項16または17に記載の画像処理方法において、画素値変換ステップは、入力画像内の平均輝度を算出する平均輝度算出ステップと、算出した平均輝度をもとに、得られたコントラスト調整量に基づいて入力画像内の画素値を調整画素値に変換する際の変換方式を選択する変換方式分類ステップと、変換方式分類ステップで得られた変換方式に従い、得られたコントラスト調整量を実際の画素の持つ画素値に変換する画素値推定ステップとを有することとしたものである。
この構成により、周囲画素との比較で得られたコントラスト調整量から有効と思われる領域を抽出した後に、入力画像における平均輝度をもとに、抽出されたコントラスト調整量を変換する変換方式を選択して適用することができるので、容易かつ確実にコントラスト調整を行うことができるという作用を有する。
請求項21に記載の画像処理方法は、請求項18または19に記載の画像処理方法において、対象信号変換ステップは、信号変換ステップで得られた対象信号の入力画像における平均値を算出して平均対象信号を生成する平均対象信号算出ステップと、生成した平均対象信号をもとに、得られた対象信号のコントラスト調整量に基づいて得られた対象信号を調整対象信号に変換する際の変換方式を選択する変換方式分類ステップと、変換方式分類ステップで得られた変換方式に従い、得られた対象信号のコントラスト調整量を実際の画素の対象信号値に変換する対象信号推定ステップとを有することとしたものである。
この構成により、周囲画素との比較で得られた対象信号(例えば明度)のコントラスト調整量から有効と思われる領域を抽出した後に、入力画像における平均対象信号値(平均明度)をもとに、抽出された対象信号のコントラスト調整量を変換する変換方式を選択して適用することができるので、容易かつ確実にコントラスト調整を行うことができるという作用を有する。
請求項22に記載の画像処理方法は、請求項16または17に記載の画像処理方法において、画素値変換ステップは、入力画像内のコントラスト強度を示す基準強度値を算出する基準強度算出ステップと、算出した基準強度値をもとに、得られたコントラスト調整量に基づいて入力画像内の画素値を調整画素値に変換する際の変換曲線を推定する変換曲線推定ステップと、推定した変換曲線を使って、得られたコントラスト調整量を実際の画素の持つ画素値に変換する画素値推定ステップとを有することとしたものである。
この構成により、周囲画素との比較で得られたコントラスト調整量から有効と思われる領域を抽出した後に、入力画像の輝度より得られるエッジ強度の総和を計算することができるので、抽出されたコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の輝度のエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項23に記載の画像処理方法は、請求項18または19に記載の画像処理方法において、対象信号変換ステップは、信号変換ステップで得られた対象信号に対して入力画像内のコントラスト強度を示す基準強度値を算出する基準強度算出ステップと、算出した基準強度値をもとに、得られた対象信号のコントラスト調整量に基づいて得られた対象信号を調整対象信号に変換する際の変換曲線を推定する対象信号変換曲線推定ステップと、推定した変換曲線を使って、得られた対象信号を調整対象信号に変換する対象信号推定ステップとを有することとしたものである。
この構成により、周囲画素との比較で得られた対象信号(明度)コントラスト調整量から有効と思われる領域を抽出した後に、入力画像の対象信号より入力画像のエッジ強度の総和を計算することができるので、抽出された対象信号のコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の対象信号によるエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項24に記載の画像処理方法は、請求項22に記載の画像処理方法において、変換曲線推定ステップは、予め設定された固定数分の調整パラメータより構成される調整ベクトルの初期候補集団を設定する初期候補設定ステップと、現時点における調整ベクトル集団内の各ベクトルを用いて、得られたコントラスト調整量に基づいて入力画像内の画素値を調整画素値に変換する画素値変換候補算出ステップと、基準強度値と現時点における調整ベクトル集団内の各ベクトルとより得られた変換後の画素値を用いて各変換曲線候補によるコントラスト強度を評価する評価値算出ステップと、前期評価値導出ステップで得られた各候補の適合度を計算する適合度計算ステップと、計算した各候補の適合度をもとに現在の候補の組替え操作を行うことで新しい調整ベクトル集合の生成を行う組替え操作ステップと、調整ベクトルの最適化が終了した時点かどうかの判定を行う推定終了判定ステップとを有することとしたものである。
この構成により、周囲画素との比較で得られたコントラスト調整量より有効と思われる領域を抽出した後に入力画像の輝度より得られるエッジ強度の総和を計算することができるので、抽出されたコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の輝度のエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項25に記載の画像処理方法は、請求項23に記載の画像処理方法において、対象信号変換曲線推定ステップは、予め設定された固定数分の調整パラメータより構成される調整ベクトルの初期候補集団を設定する初期候補設定ステップと、現時点における調整ベクトル集団内の各ベクトルを用いて、得られた対象信号のコントラスト調整量に基づいて、得られた対象信号を調整対象信号に変換する対象信号変換候補算出ステップと、基準強度値と現時点における調整ベクトル集団内の各ベクトルより得られた変換後の対象信号値とを用いて、各変換曲線候補による対象信号のコントラスト強度を評価する評価値算出ステップと、評価値導出ステップで得られた各候補の適合度を計算する適合度計算ステップと、計算した各候補の適合度をもとに現在の候補の組替え操作を行うことで新しい調整ベクトル集合の生成を行う組替え操作ステップと、調整ベクトルの最適化が終了した時点かどうかの判定を行う推定終了判定ステップとを有することとしたものである。
この構成により、周囲画素との比較で得られた対象信号(明度)コントラスト調整量より有効と思われる領域を抽出した後に、入力画像の対象信号より入力画像のエッジ強度の総和を計算することができるので、抽出された対象信号のコントラスト調整量を変換する際の変換曲線を複数候補用意して、各変換曲線より得られた最終出力候補画像の対象信号によるエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定することができるという作用を有する。
請求項26に記載の画像処理方法は、請求項15に記載の画像処理方法において、色調整ステップは、入力画像を複数の小領域に分割する画像分割ステップと、画像分割ステップで得られた各小領域内の色データを代表する代表色を求める代表色抽出ステップと、予め用意された色変換後の色データを集めた色変換テーブルと、代表色抽出ステップで求めた代表色に最も近い色を変換色として色変換テーブルより選択する代表色変換色選択ステップと、代表色変換色選択ステップで得られた代表色と変換色との間の距離をもとに、選択された各変換色を微調整し、代表色を微調整後の変換色に変換する色変換ステップとを有することとしたものである。
この構成により、入力画像を複数の細部領域に分割し、各領域内の色の統計的分布により代表色を選択することができるので、予め用意された色変換テーブル内の色と代表色を比較して各代表色に最近傍な変換後の色を抽出するとともに、2つの色間の距離をもとに選択された変換後の色データを微調整し、各領域における代表色をこの微調整された変換色に変換することができ、こうして得られた色調整後の画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像の色調整を行うことができるという作用を有する。
請求項27に記載の画像処理方法は、請求項26に記載の画像処理方法において、代表色抽出ステップは、分割された小領域内の色データに対して、逐次分割処理を行う際のスタート状態のグループを設定し、各グループに色データ全てを分類し、各グループの代表色を求める初期化ステップと、分割対象グループ内に属する色データの分布をもとに、対象グループの分割時に着目する成分を決定する分割軸決定ステップと、得られた着目成分に従い、対象グループを複数に分割するとともに、対象グループに属する色データを分割後に得られたグループに振り分けるクラスタ分割ステップと、得られた各グループに属する色データの代表色を求めるクラスタ代表色決定ステップと、代表色が収束したかどうかの判定を行い、収束していない場合には、現在の代表色をもとに再度グループ分割を行うためにクラスタ分割ステップへ処理が移る収束判定ステップと、収束判定ステップで収束したと判定された場合には、これまでに得られた対象領域内からの代表色が所定数得られたどうかの判定を行い、得られていない場合には分割軸決定ステップへの処理が移るクラスタ分割終了判定ステップと、クラスタ分割終了判定ステップで終了したと判定された場合には、得られた所定数の代表色を出力する代表色出力ステップとを有することとしたものである。
この構成により、入力画像を複数の細部領域に分割し、各領域内の色の統計的分布により代表色を選択することができるので、予め用意された色変換テーブル内の色と代表色を比較して各代表色に最近傍な変換後の色を抽出するとともに、2つの色間の距離をもとに選択された変換後の色データを微調整し、各領域における代表色をこの微調整された変換色に変換することができ、こうして得られた色調整後の画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像の色調整を行うことができるという作用を有する。
請求項28に記載の画像処理方法は、請求項15乃至27のいずれか1に記載の画像処理方法において、画像合成ステップは、入力画像と画像処理ステップで得られた調整後の画像とのどちらを優先するかを決める選択基準値判定ステップと、選択基準値判定ステップの決定結果に基づいて、入力画像と画像処理ステップで得られた調整後の画像とに掛かる結合係数を決定する結合係数導出ステップと、結合係数導出ステップで決定した各画像の結合係数を使って、入力画像と画像処理ステップで得られた調整後の画像との加重平均画像を生成する加重平均合成ステップとを有することとしたものである。
この構成により、対象画素の画素値とその周辺領域における平均画素値との比較よりコントラスト調整量を求め、そのうちで有効と思われるコントラスト調整量を抽出することができるので、そのように得られたコントラスト調整画像と入力画像とを適切な結合係数をもとに加重平均合成することで入力画像のコントラスト調整を行うことができるという作用を有する。
なお、これ以降で、画素位置(i,j)の単位には全て画素単位が用いられることする。また、各実施の形態におけるステップは、ハードウェアで構成してもソフトウェアで構成してもよい。
(実施の形態1)
図1は本発明の実施の形態1による画像処理装置の基本構成を示すブロック図である。また、図2(a)は図1の画像処理手段を示すブロック図、図3は図2(a)のコントラスト調整手段を示すブロック図、図10は図1の画像合成手段を示すブロック図、図11は人間の視覚を模式的に示す説明図である。
図1において、viはアナログ入力画像であり、voは最終的に出力される出力画像、vは後述の画像処理手段11で得られた処理後の画像である。10はCCD素子等の撮像素子からのアナログ画像信号viをディジタル画像データに変換する画像入力手段、11は画像入力手段10で得られたディジタル画像データに所望の画像処理を行う画像処理手段、12は画像入力手段からのディジタル画像データと画像処理手段11で得られた処理済みディジタル画像データvとを合成する画像合成手段、13は画像合成手段12で得られた合成ディジタル画像データを最終処理後の画像(アナログ画像信号)として所望のデバイス(プリンタ、ディスプレイ等)へ出力するための画像出力手段である。なお、本実施の形態では、画像処理手段11における画像処理は、図2(a)で示すように、入力画像のコントラスト調整処理を行うコントラスト調整手段20で表されるものとする。その際、コントラスト調整手段は図3のような構成になる、図3において、30は対象画素Pij(i,j)におけるカラー3成分値VPij(r(i,j),g(i,j),b(i,j))からPijの広さcの周囲画素との比較によりコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する補正情報導出手段、31は補正情報導出手段30で得られたコントラスト調整量VRPijから、有効となる範囲を限定し抽出する抽出手段、32は抽出手段31で選択されたコントラスト調整量VRPijを実際の画素Pijにおける調整後の画素値VPdij(rd(i,j),gd(i,j),bd(i,j))に変換する画素値変換手段である。また、画像合成手段12は、図10に示されるように、入力画像1内の輝度をもとに入力画像viとコントラスト調整手段20で得られた調整後の画像vとのどちらを優先するかを決める選択基準値判定手段100と、選択基準値判定手段100の結果をもとに、入力画像viとコントラスト調整手段20で得られた調整後の画像vとに掛かる結合係数ws(S=1,3;ここで1は入力画像viに掛かる結合係数であり、3は調整後の画像vに掛かる結合係数を示す)を決定する結合係数導出手段101と、結合係数導出手段101で得られた結合係数w0、w1を使って、入力画像viとコントラスト調整手段で得られた調整後の画像vとの加重平均画像を生成する加重平均合成手段102より構成される。
以上のように構成された画像処理装置の動作についてその動作を説明する。
画像入力手段10を介して、画像処理手段11に、カラー画像viがディジタル入力される。画像入力手段10では、カラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが画像入力手段10の精度で(8ビットならば0から255の値で)得られる。画像入力手段10では、この値を0.0から1.0の値に正規化する。次に、ディジタル入力画像に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト調整処理がコントラスト調整手段20で行われる。コントラスト調整手段20では後述の図12のように行われる。人間の視覚では、図11に模式的に示されるように、対象画素Pijに対して知覚された画素値のみでPijの画素情報(色、コントラストなど)を認知するのではなく、対象画素Pijの画素値をその周囲にある画素の情報との相対的な関係により調整することで、Pijの画素情報を知覚している。これは、従来の技術で説明したように、Edwin Landにより紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。本実施の形態でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。
図12は、本実施の形態による画像処理装置のコントラスト調整手段20における動作を示すフローチャートである。
図12において、まず、補正情報導出手段30は、入力画像内における画素Pijの各成分の最大値Vmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)を算出する(S1)。これは、出力画像voにおける最小画素値と最大画素値が入力画像viと大きく異なった場合、両者の画像の違和感が大きくなることをできるだけ抑えるために、出力画像voの画素値の最小画素値と最大画素値を入力画像viの最小画素値と最大画素値に合わせるための処理である。次に、対象画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、補正情報導出手段30は、周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を求めるとともに(S2)、このVAPijとVPijの間の相対的関係につながるコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する(S3)。このVAPijとして、従来の技術のように(数1)の2項におけるc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))と(数2)、(数3)のようにガウス関数で定義された周辺視野関数F(x,y)の畳み込み積分値で定義することも可能であり、加重平均画素値VAPijも(数1)を画素値を構成する3成分独立に定義することも可能である。しかし、本実施の形態では、処理の簡単化と高速化を考慮して、(数4)のようにVAPijはc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))の平均値を定義した。そして、コントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))も(数1)のように対数変換値の差分を用いるのではなく(数5)のように各成分ごとの画素値VPijの加重平均画素値VAPijに対する比を定義することとした。
補正情報導出手段30は、以上のような対象画素Pijに対するコントラスト調整量VRPijを入力画像内の全ての画像に対して行う(S4)。その後、抽出手段31は、コントラスト調整量VRPijの成分ごとの平均値VaR(aRr,aRg,aRb)と標準偏差量VdR(dRr,dRg,dRb)を求め(S5)、その値を使ってコントラスト調整量VRPijより抽出される際の最小値eminと最大値emaxを導出する(S6)。この導出としても多くの方法があるが、ここでは、emaxの候補としてaRr+α×dRr、aRg+α×dRg、aRb+α×dRbを求め、この3値の内の最大値をemaxとする。そして、eminの候補としてaRr−β×dRr、aRg−β×dRg、aRb−β×dRbを求め、この3値の内の最小値をeminとする。こうすることで、抽出されたコントラスト調整量VRPijの各成分のバランスが崩れないように、必要とする領域を抽出することとした。次に、画素値変換手段32は、このemaxとeminを使って、コントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分は0.0から1.0の範囲内の値に変換され(S7)、変換値を入力画像のVmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)内に抑える処理を行う(S8)。こうして得られたコントラスト調整量VRPijを対象画素Pijにおけるコントラスト調整の画素値と見なされ、コントラスト調整処理が終了する(S9)。終了か否かの判定は画素値変換手段32が行う。
このような一連の処理により、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみは取り出され、中心からの変動量は強調されるとともに、中心付近から大きく外れた比の値を持つ画素のコントラスト調整量VRPijは1.0もしくは0.0になりやすくなる。そのため、中心視野である対象画素Pijとその周辺視野における画素との差が少しでもある領域はその差が強調されやすくなりコントラスト強調が行われ、影内の細部や入力機器のレンジ不足で埋もれてしまった色情報を強調して表現することができるようになる。本実施の形態の場合、各画素におけるコントラスト調整量の導出が従来のレティネックス概念による手法よりも簡易な形で構成されている。そして、従来のレティネックス概念による手法では、各画素におけるコントラスト調整量から実際の画素値成分へ変換する際のフィルタ処理(オフセット、利得変換関数)の設定が経験的知識を要することが問題とされていたが、本実施の形態ではその必要がないことが利点として挙げられる。一方、周辺視野内での加重平均画素値に対する対象画素値の比の分布で中心付近部分のみを抽出し、その前後の領域を0.0もしくは1.0で飽和させることにより、このコントラスト調整処理で得られた処理後の画像voは全体的に輝度レベルが中心付近に集まる問題が生じる可能性がある。この問題及び、従来の技術で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下を改善するために、本実施の形態では、入力画像viとこの処理後の画像voを適応的に合成することで、入力画像viが本来持つ輝度レベルの低減や上昇を抑えることとしたのである。
画像合成手段12における画像合成処理では、このコントラスト調整処理での処理後画像vと入力画像viを受けて図13で示されているように処理が実行される。
図13は本発明の実施の形態1による画像処理装置の画像合成手段12の動作を示すフローチャートである。
ここでは、まず、選択基準値判定手段100は、入力画像における各画素Pijの輝度y(i,j)を計算する(S11)。そして、予め用意されたしきい値Th_hとTh_lを各画素輝度y(i,j)と比較する(S12)。その際、Th_l>y(i,j)またはy(i,j)>Th_hの場合は、選択基準値判定手段100は、さらにPijのcの矩形の周辺視野領域における平均輝度Ay(i,j)を求める(S13)。そして、y(i,j)が|Ay(i,j)−y(i,j)|<Th_len(S14)を満足する場合には、対象画素Pijにおける入力画像viにおける画素値VPij(r(i,j),g(i,j),b(i,j))を処理済画像voの画素Pijの値であるVWPij(WRr(i,j),WRg(i,j),WRb(i,j))に置き換える処理を行う(S15)。この処理は、従来の技術で説明したように、周辺視野領域cより大きな領域で変動が非常に小さい場合でのPijにおけるコントラスト調整量は1.0近傍に集中しやすいことを考慮した処理であり、この処理により大きな領域で一律な入力画像のハイライト部(白)やブラック部を処理対象外として除去することで、前述のようにそのような領域でのコントラスト調整画像に発生しやすい輝度レベルの大きな変動を抑えることを目的とする。
次に上記条件に属さないような場合は、結合係数導出手段101は、入力画像viのPijにおける輝度値y(i,j)と処理済画像vの対応する画素での輝度値yd(i,j)を比較し(S16)、その両者間の誤差の絶対値len=|y(i,j)−yd(i,j)|を用意されたw3決定関数に入力することで、処理済画像vの占める結合係数w3を決定する(S17)。そして入力画像viの占める結合係数w1はw1=1.0−w3より決定する。このw3決定関数も一律に決まらないが、ここでは簡易目的のため、(数6)のようなしきい値関数g(X)を使用する。
そして、加重平均合成手段102は、このw1とw3を使って、Pijにおける入力画像viの画素値VPijと処理済画像vの画素値VRPijの加重平均画素値VWPij(WRr(i,j),WRg(i,j),WRb(i,j))を求め(S17)、画像vの対応する画素位置に埋め込む(S18)。このような一連の判定、加重平均処理を全画素に対して行うことで(S19)、最終的に画像出力手段13で出力される出力画像voを生成するのである。
以上のような構成や処理を行うことで本実施の形態による画像処理装置は、従来の技術の問題点を解決するとともにその利点を生かすことで、簡易かつ高精度に入力画像のコントラスト調整を行うことができる。
なお、コントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の定義は一律ではなく、例えば(数7)のように、各成分ごとの画素値VPijの加重平均画素値VAPijに対する比から1.0を減算した値に予め設定された正定数γを乗算した値を入力画像の画素値VPij(r(i,j),g(i,j),b(i,j))に加算した値を改めてコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))として定義することも可能である。
こうすることで、従来の技術でも問題とした、c画素の周辺視野内で画素値変動が非常に小さい場合にコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分はVPij(r(i,j),g(i,j),b(i,j))に関係なく1.0近傍になってしまうことを避けることができるという利点があるが、設定されたγによる依存性があることに注意する必要がある。また、これらの処理は、本実施の形態による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態2)
本発明の実施の形態2による画像処理装置の基本構成は実施の形態1と同様、図1の構成であり、また画像処理手段11も図2(a)のようにコントラスト調整手段20になる。その際、コントラスト調整手段20は図4のような構成になる。
図4において、補正情報導出手段30、抽出手段31、画素値変換手段32は図3と同様のものなので、同一符号を付し、説明は省略する。40は補正情報導出(対象画素のコントラスト調整量算出)を行う際の初期条件を設定する初期設定手段である。初期設定手段40は、主に中央視野である対象画素Pijと比較する周辺視野部の大きさcに初期周辺領域サイズc0を設定する処理を行う。また、41は予め用意された複数の周辺視野領域すべてでコントラスト調整量が算出されたかどうかを判定する終了判定条件、42は終了判定条件41で終了判定と見なされなかった場合に現在処理している周辺視野領域の大きさcを次の候補に変更する補正範囲変更手段である。なお、画像合成手段12は実施の形態1と同様に図10のように構成されている。
以上のように構成された画像処理装置について、その動作を図10、図14、図15を用いて説明する。図14は周辺視野領域を模式的に示す説明図、図15はコントラスト調整手段20における動作を示すフローチャートである。
画像入力手段10を介して、画像処理手段11に、カラー画像viがディジタル入力される。画像入力手段10では、カラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが画像入力手段10の精度で(8ビットならば0から255の値で)得られる。画像入力手段10では、この値を0.0から1.0の値に正規化する。次に、ディジタル入力画像に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト調整処理がコントラスト調整手段20で行われる。コントラスト調整手段20では図15のように行われる。本実施の形態の特徴は、実施の形態1に対して、図14で模式的に示されるように、複数用意された周辺視野領域でのコントラスト調整を行うことで、画像内に存在する暗部(影)の大きさによる影響を低減するようにした点である。
次に、コントラスト調整手段20について、その動作を図15を用いて説明する。
図15において、まず、初期設定手段40は、入力画像内における画素Pijの各成分の最大値Vmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)を算出する(S21)。次に、対象画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。その際、初期設定手段40で、まずc=c0というように、予め用意された複数の周辺視野領域サイズck(k=0,1,・・・,Cnum−1)内でc0を周辺視野領域として設定する。この場合、ckは最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さいくしながら、入力画像における細部改善を行うこととする。次に、補正情報導出手段30では、現在設定されているc=ckの矩形域の周辺視野に対して、周辺視野における画素値の加重平均画素値VAPij_k(Ar_k(i,j),Ag_k(i,j),Ab_k(i,j))が算出される(S22)。そして、すべてのckで補正情報導出手段30での画素Pij周辺視野における加重平均画素値計算が終了したかどうかの判定を終了判定手段41で行う(S23)。終了していないと判定された場合には補正情報範囲変更手段42へ処理が移り、現在設定されている周辺視野領域cをつぎの候補に変更し、再び補正情報導出手段30での加重平均画素値算出が行われる。一方、終了判定手段41で終了判定された場合には、補正情報導出手段30は、各周辺視野領域ckに対するPijの加重平均画素値VAPij_k(Ar_k(i,j),Ag_k(i,j),Ab_k(i,j))の重み付き平均値を求め、その値をPijの全加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))と設定する(S24)。その際、周辺視野領域ckの大きさに応じた重み付けを各ckによるPijの加重平均画素値に付加することが考えられるが、ここでは簡易化のために、各ckによる加重平均画素値VAPij_kの平均画素値をPijの全加重平均画素値として採用する。そして、補正情報導出手段30は、Pijにおける各成分ごとの画素値VPijの全加重平均画素値VAPijに対する比をコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))として算出する(S25)。
これ以降の処理は実施の形態1と同様に、まず、コントラスト調整量VRPijより抽出される際の最小値eminと最大値emaxを導出する(S26、S27、S28)。次に、このemaxとeminを使って、コントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分を0.0から1.0の範囲内の値に変換し(S29)、変換値を入力画像のVmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)内に抑える(S30)。こうして得られたコントラスト調整量VRPijを対象画素Pijにおけるコントラスト調整の画素値と見なして(S30)、コントラスト調整処理が終了する(S30a)。
また、画像合成処理部も実施の形態1と同様に、入力画像1のPijにおける輝度値y(i,j)と処理済画像3の対応する画素での輝度値yd(i,j)より得られた結合係数w1とw3を使って、Pijにおける入力画像viの画素値VPijと処理済画像vの画素値VRPijの加重平均画素値VWPij(WRr(i,j),WRg(i,j),WRb(i,j))が求められ、処理済み画像vの対応する画素位置Pijに埋め込まれる。このような処理が全画素に対して行うことで、最終的に画像出力手段13で出力される出力画像voが生成される。
以上のような構成や処理を行うことで本実施の形態である画像処理装置は、実施の形態1による画像処理装置の特徴を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく、自動的に入力画像のコントラスト調整を行うことができ、画像のコントラスト調整の効率化につながる。なお、これらの処理は、本実施の形態による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態3)
本発明の実施の形態3による画像処理装置の基本構成は実施の形態1と同様、図1の構成である。また、画像処理手段11も図2(a)のようにコントラスト調整手段20が採用されている。その際、コントラスト調整手段20は図5のような構成になる。図5は本実施の形態による画像処理装置を構成するコントラスト調整手段20を示すブロック図である。
図5において、31は図3と同様の抽出手段、50は入力画像vi内の画素値をコントラスト調整時の対象とする信号(対象信号)へ変換する信号変換手段、51は信号変換手段50で得られた対象信号に対して、対象画素Pijのコントラスト調整量を求める対象補正情報導出手段、52は抽出手段31で抽出されたコントラスト調整量に基づいて、信号変換手段50で得られた対象信号を実際の対象信号(調整済みの対象信号)に変換する対象信号変換手段、53は対象信号変換手段52で得られた調整済みの対象信号と信号変換手段50で得られたそれ以外の信号(対象信号)とにより調整済みの対象信号の実際の画素値への逆変換処理を行う信号逆変換手段である。
本実施の形態の特徴は、カラー画像の画素Pijにおける画素値VPij(r(i,j),g(i,j),b(i,j))を他の複数信号に変換し、その内の1つの信号に対して実施の形態1と同様にコントラスト調整量を算出し、最後に調整された対象信号のコントラスト調整量と入力画像viより変換時にそのまま保持された他の信号とから信号変換手段50で行われた変換処理の逆変換処理を行うことで、図1における処理済画像の画素Pijにおける画素値を求める点である。ここで、信号変換手段50において、Pijの画素値VPij(r(i,j),g(i,j),b(i,j))から例えば明度L(i,j)と色相a*(i,j),b*(i,j)に変換し、この明度L(i,j)をコントラスト調整時の対象信号にする。そして、他の色相信号を入力画像のまま保持することで、本実施の形態では、明度のレベルを制御しながら、入力画像における色情報をそのまま保持することができるため、コントラスト調整手段20で得られた処理済み画像vの色バランスは入力画像をそのまま再現することが出来るとともに、対象補正情報導出手段51での周辺視野領域と対象画素での比較処理量を軽減することができる。
以上のように構成された画像処理装置について、その動作を図16を用いて説明する。図16は図5のコントラスト調整手段20の動作を示すフローチャートである。
図16において、まず、入力画像1の画素PijにおけるVPij(r(i,j),g(i,j),b(i,j))をLa*b*空間における信号VPLij(L(i,j),a*(i,j),b*(i,j))に信号変換手段50で変換するとともに、Pijにおける変換値信号の内、色相a*(i,j)とb*(i,j)を保持する(S31)。これ以降、対象補正情報導出手段51から対象信号変換手段52までの処理は明度L(i,j)を対象信号として処理が行われる。なお、L(i,j)は0.0から1.0に正規化されているものとする。これにより、入力画像viの持つ色情報のバランスを処理済み画像vでも精度よく保持することができると考えられる。対象補正情報導出手段51は、入力画像の画素Pijの明度L(i,j)の最大値Lxと最小値Lnを算出する(S32)。次に、対象画素Pijの周辺視野における明度L(i,j)の加重平均明度AL(i,j)を求めるとともに(S33)、L(i,j)とAL(i,j)に対する比を明度のコントラスト調整量RL(i,j)として算出する(S34)。以上のような対象画素Pijに対する明度のコントラスト調整量RL(i,j)の算出が入力画像内の全ての画素に対して対象補正情報導出手段51で行われる。抽出手段31では、明度のコントラスト調整量RL(i,j)の平均値aRLと標準偏差量dRLを求め(S36)、その値により明度のコントラスト調整量RL(i,j)より抽出される際の最小値eminと最大値emaxを決定する(S37)。対象信号変換手段52は、このemaxとeminを使って、明度のコントラスト調整量RL(i,j)を0.0から1.0の範囲内の値に変換し(S38)、その変換値を入力画像の最大値Lxと最小値Ln内に抑える処理を行う(S39)。信号逆変換手段53では、こうして得られた明度のコントラスト調整量RL(i,j)を対象画素Pijにおける明度のコントラスト調整値と見なすとともに、保持されていた色相a*(i,j)とb*(i,j)を使って、処理済み画像vの画素Pijにおける画素値VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を信号変換手段50で用いた信号変換の逆変換により求めることで(S40)、コントラスト調整済み画像vを生成する(S40a)。なお、信号逆変換手段53において明度のコントラスト調整量RL(i,j)は0.0から1.0の範囲の値に変換されているため、1度色相a*(i,j)とb*(i,j)と合わせて逆変換する際の信号レベルに戻すことも必要になる。
このような一連の処理を取ることで、本実施の形態である画像処理装置は、従来や実施の形態1、2のようにカラー画像で3画素独立にコントラスト調整した場合に比べて、入力画像内の画素の持つ色バランスを保持しやすくなり、調整により得られた画像における影のような暗部での色の安定性をより保つことができる。さらに、対象補正情報導出手段51における対象画素と周辺視野内の画素との相対的比較で算出されるコントラスト調整量は、従来の技術や実施の形態1、2では3成分独立に算出する必要があったのに対し、明度1成分ですむため、大幅な処理時間の短縮化につながる。また、これらの処理は、実施の形態3による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態4)
本発明の実施の形態4による画像処理装置の基本構成は実施の形態1と同様、図1の構成である。また、画像処理手段11も図2(a)のようにコントラスト調整手段20が採用されている。その際、コントラスト調整手段20は図6のような構成になる。
図6は本実施の形態による画像処理装置を構成するコントラスト調整手段20を示すブロック図である。図6において、信号変換手段50、補記設定手段40、対象補正情報導出手段51、補正範囲変更手段42、終了判定手段41、抽出手段31、対象信号変換手段52、信号逆変換手段53は図3〜図5と同様のものなので、同一符号を付し、説明は省略する。図6より明らかのように、実施の形態2における複数の周辺視野を持つコントラスト調整処理に、実施の形態3におけるコントラスト調整手段におけるコントラスト調整処理を対象信号のみに限定した工夫を加えたものである。
図6のコントラスト調整手段20について、その動作を図17を用いて説明する。図17は図6のコントラスト調整手段20の動作を示すフローチャートである。
図17において、まず、画像入力手段10で入力された入力画像viの画素PijにおけるVPij(r(i,j),g(i,j),b(i,j))は信号変換手段50でLa*b*空間における信号VPLij(L(i,j),a*(i,j),b*(i,j))に変換され、Pijにおける変換値信号の内、色相a*(i,j)とb*(i,j)が保持され、L(i,j)は0.0から1.0に正規化される(S41)。対象補正情報導出手段51は、入力画像の画素Pijの明度L(i,j)の最大値Lxと最小値Lnを算出する(S42)。次に、対象補正情報導出手段51は、この明度L(i,j)を対象信号として、実施の形態2と同様に、複数の周辺視野領域ck(k=0,1,・・・,Cnum−1)の加重平均明度AL_k(i,j)を求める(S43)。そして、終了判定手段41が、所定の周辺視野領域全部に対する加重平均明度の算出が終了したと判定した時点で(S44)、対象補正情報導出手段51は、それらの重みつき平均値が全加重平均明度AL(i,j)とされ(S45)、その値に対するL(i,j)の比を明度のコントラスト調整量RL(i,j)として算出する(S46)。終了判定手段41が全画素終了と判定すると(S47)、抽出手段31では、明度のコントラスト調整量RL(i,j)の平均値aRLと標準偏差量dRLが求められ(S48)、その値により決定された明度のコントラスト調整量RL(i,j)の最小値eminと最大値emaxを使って、明度のコントラスト調整量RL(i,j)は0.0から1.0の範囲内の値に変換される(S49、S50)。その変換値は、入力画像の最大値Lxと最小値Ln内に抑えられ、信号逆変換手段53では、こうして得られた明度のコントラスト調整量RL(i,j)を対象画素Pijにおける明度のコントラスト調整値と見なすとともに(S51)、保持されていた色相a*(i,j)とb*(i,j)を使って、処理済み画像3の画素Pijにおける画素値VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を求めることで(S52)、コントラスト調整済み画像vを生成する(S53)。
以上のように本実施の形態による画像処理装置は、実施の形態3で対象画素値とその周辺領域における平均画素値との比較により算出したコントラスト調整量を複数の周辺領域でのコントラスト調整量の加重平均値に拡張したものであり、実施の形態2の特徴である周辺視野領域を予め決定する必要がない利点と、実施の形態3のように画素の持つ色バランスを保持しやすくなり、調整により得られた画像における影のような暗部での色の安定性をより保つことができる。また、処理の簡易化につながり処理時間の短縮化も可能となる利点を持つ。
さらに、これらの処理は、実施の形態4であるカラー画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態5)
本発明の実施の形態5による画像処理装置の基本構成は実施の形態1と同様、図1の構成である。また、画像処理手段11も図2(a)のようにコントラスト調整手段20が採用され、さらにコントラスト調整手段20は図3のような構成になる。本実施の形態が実施の形態1と異なる点は、図3におけるコントラスト調整手段20内の画素値変換手段32が図7(a)のように構成されていることである。
図7(a)は、本実施の形態による画素値変換手段32を示すブロック図である。図7(a)に示されるように、画素値変換手段32は、入力画像vi内の平均輝度を算出する平均輝度算出手段70と、平均輝度算出手段70で得られた平均輝度をもとに、抽出手段31で得られたコントラスト調整量を実際の画素値に変換する際の変換方式を選択する変換方式分類手段71と、変換方式分類手段71で得られた変換方式に従い、抽出手段31で得られたコントラスト調整量を実際の画素の持つ画素値に変換する画素値推定手段72とを構成要素として持つ。本実施の形態の特徴は、実施の形態1に、入力画像の輝度をもとに、周辺視野内の画素との相対的比較で得られた値を実際の画素値に変換する際の変換方式を選択するものである。
図3におけるコントラスト調整手段20において、画素値変換手段32以外の処理の流れは実施の形態1と同様に、入力画像内の画素Pijにおいて、その画素値をc画素の周辺視野領域における加重平均画素値で除することで、まずコントラスト調整量を求める。そして、このコントラスト調整量から、有効となる領域が、コントラスト調整量を構成する各成分のヒストグラム分布をもとに抽出され、各成分ともに0.0から1.0内の値に変換される。この後で図12のステップS8のかわりに画素値変換手段32における画素値変換処理が実行されるのであるが、その処理は、図18のようになる。
次に、図7(a)の画素値変換手段32について、その動作を図18を用いて説明する。図18は図7(a)の画素値変換手段32の動作を示すフローチャートである。
図18において、まず、平均輝度算出手段70は、入力画像内の画素Pijの輝度y(i,j)を計算し、その輝度平均ave_yを求める(S61)。次に、変換方式分類手段71は、このave_yの値でコントラスト調整量が実際の画素値に変換される方式を選択する。その場合、多くの手法が考えられるが、ここでは低輝度しきい値Th_lowと高輝度しきい値Th_highを設け、(数8)のようにコントラスト調整量を実際の画素値成分に変換する際の変換関数gg(x)を選択することとした(S62〜S66)。
なお、(数8)でk_l,g_l,g_n,k_h,g_hは予め設定された定数であり、Xは変換される前のコントラスト調整量の対象成分値を示す。これは、処理前の入力画像における平均輝度をもとに、その重点すべき部分を決めるものである。例えば、入力画像全体が低い輝度の場合、全体が急激に明るくなるよりも低輝度部分をできるだけ残す方が立体感の観点からも印象がよい。また、入力画像全体が高い輝度の場合、高輝度部分に対する人間の注目度は高く、その部分をできるだけ保持することも必要である。そして、自然画像のように中間輝度を持つ場合は、中心より低い輝度部分をやや暗くし、中心より高い輝度をやや明るくする手法がプリンタ出力等の時の入出力値のガンマ変換で行われる。ここでの処理はこれらの知見に従ったものであり、このような知見に沿う変換方式であれば、ここで示す方式に一律に決まるものではなく同様に使用することができると思われる。最後に、画素値推定手段72が変換方式分類手段71で選択された変換関数を使って、抽出手段31で抽出されたコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分の変換値VRPoij(Rro(i,j),Rgo(i,j),Rbo(i,j))を求める(S67、S68)。これを、入力画像内における画素Pijの各成分の最大値Vmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)内に抑え、処理済み画像vの画素Pijにおける調整済み画素値として設定することで処理済画像vを得るのである(S69、S70)。この画像vと入力画像viの加重平均画像を画像合成手段12が求め、これが最終的に出力される出力画像voとなる。
以上のように実施の形態5による画像処理装置は、実施の形態1の画素値変換手段32において、周囲画素との比較で得られたコントラスト調整量から有効と思われる領域を抽出した後に、入力画像における平均輝度をもとに、抽出されたコントラスト調整量を変換する変換方式を選択し適用する画素値推定手段72を設けたものである。こうすることで、入力画像内の輝度分布に応じて適切な画素値変換を選択することが可能となり、より調整後の画像におけるコントラスト調整を高めることが可能となる。
なお、この実施の形態ではコントラスト調整手段として実施の形態1で説明した図3の構成の場合で説明したが、図4のように複数の周辺視野領域を持つ実施の形態2で用いられたコントラスト調整手段に本実施の形態における画素値変換手段を組み合わせることも可能である。さらに、これらの処理は、実施の形態5による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態6)
本発明の実施の形態6による画像処理装置の基本構成は実施の形態1と同様、図1の構成である。画像処理手段11として設定されたコントラスト調整手段は図5のような構成になる。実施の形態6が実施の形態3と異なる点は、図5におけるコントラスト調整手段20内の対象信号変換手段52が図7(b)のように構成されていることである。
図7(b)は、図5の対象信号変換手段52を示すブロック図である。
図7(b)に示されるように、対象信号変換手段52は、入力画像vi内の平対象信号の平均値を算出する平均対象信号算出手段73と、平均対象信号算出手段73で得られた対象信号の平均値をもとに、抽出手段31で得られた対象信号のコントラスト調整量を実際の対象信号値に変換する際の変換方式を選択する変換方式分類手段71と、変換方式分類手段71で得られた変換方式に従い、抽出手段31で得られた対象信号のコントラスト調整量を実際の対象信号値に変換する対象信号推定手段74とを構成要素として持つ。この実施の形態の特徴は、実施の形態3に、入力画像の対象信号をもとに、周辺視野内の対象信号との相対的比較で得られた値を実際の対象信号値に変換する際の変換方式を選択するものである。
本実施の形態におけるコントラスト調整処理の流れは、実施の形態3を表す図16とほぼ同じように処理される。実施の形態3と比べると図16のステップS40のかわりに図7(b)の対象信号変換手段74の処理が付加されていることが異なる。この図7(b)における対象信号変換手段74での処理は、実施の形態5で用いられた図7(a)の画素値変換手段32での処理を対象信号である明度に対して行うように変更したものが行われる。つまり、図18で示された実施の形態5の画素値変換処理に対して、本実施の形態では対象信号に対してのみ変換関数が適用される点と、抽出手段31で抽出されたコントラスト調整量の変換方式の選択に実施の形態5では入力画像の平均輝度を用いたが、本実施の形態では信号変換手段50で入力画像より得られた明度、色相のうちで対象信号とされた明度の平均値が用いられている点が異なる。このように対象信号の平均値が抽出手段31で抽出されたコントラスト調整量の変換方式の選択に使用されている理由として、元々実施の形態3では、コントラスト調整量の算出は信号変換手段50で得られた明度に対してのみ行われ、対象信号変換手段52を介して得られた調整後の画素(i,j)の明度RL(i,j)と信号変換手段50で得られた色相を逆変換することで所望のコントラスト調整済み画像vを得ているため、処理の簡易化の点から、そして明度が輝度と同じような意味を持つ点が挙げられる。
このような本実施の形態による画像処理装置は、実施の形態3の対象信号変換手段50において、周囲画素との比較で得られた明度のコントラスト調整量から有効と思われる領域を抽出した後に、入力画像における平均明度をもとに、抽出された対象信号のコントラスト調整量を変換する変換方式を選択し適用するものである。よって、本実施の形態は実施の形態3のように画素の色安定を高めるとともに、実施の形態5におけるコントラストのより高精度化を進めるためのものである。
なお、本実施の形態では、コントラスト調整手段20として実施の形態3で説明した図5の構成の場合で説明したが、図6のように複数の周辺視野領域を持つ実施の形態4で用いられたコントラスト調整手段20に本実施の形態における対象信号変換手段52を組み合わせることも可能である。さらに、これらの処理は、本実施の形態による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態7)
本発明の実施の形態7による基本的構成は実施の形態1と同様、図1の構成である。画像処理手段11であるコントラスト調整手段20は図3のような構成になる。図3のようにコントラスト調整手段21は補正情報導出手段30、抽出手段31、画素値変換手段32より構成されている。
図8(a)は画像変換手段32を示すブロック図である。画像変換手段32は図8(a)のように、入力画像vi内のコントラスト情報を表す輝度エッジ強度を算出する基準強度算出手段80と、抽出手段31で得られたコントラスト調整量を実際の画素値に変換する際の変換曲線を遺伝的アルゴリズムで推定する変換曲線推定手段81と、変換曲線推定手段81で推定された画素値の変換曲線をもとに、抽出手段31で得られたコントラスト調整量を実際の画素値に変換する画素値推定手段72とを構成要素として持つ。
図9(a)は、遺伝的アルゴリズム推定のために用意された変換曲線推定手段81を示すブロック図である。図9(a)のように、変換曲線推定手段81は、推定を行う際に必要な初期条件および複数の変換曲線を示す染色体集合を用意する初期候補設定手段90と、各染色体より得られる変換曲線をもとに実際の画素値を求める画素値変換候補算出手段91と、画素値変換候補算出手段91で得られた各染色からの画素値を使って各染色体で生成される画像の輝度エッジ強度と入力画像より得られた輝度エッジ強度より、各変換曲線の評価値を算出する評価値算出手段92と、評価値算出手段92で得られた評価値より各染色体の適合度を計算する適合度計算手段93と、適合度計算手段93で得られた各染色体集合の選択的淘汰、交叉や突然変異の組替え操作を行い次の染色体集団を生成する組替え操作手段94と、変換曲線の最適化推定が終了したかどうかの判定を行い、終了した時点には最適な変換曲線を次の画素値推定手段72に渡す推定終了判定手段95とを構成要素として持つ。
本実施の形態の特徴は、実施の形態1で得られた周辺視野内の対象信号との相対的比較で得られた値を実際の画素値に変換する際に、遺伝的アルゴリズムを使ってコントラスト調整量で得られた画像のエッジ部分をさらにシャープにするような工夫を加えたものであり、実施の形態5が入力画像の平均輝度で予め用意された複数の変換方式(変換関数)より選択するようにしたのに比べ、より適切な変換関数を自動的に推定することができるため、予め平均輝度を分類する際の条件設定や複数の変換関数を選定する必要がなく、入力画像に対する依存性が非常に小さいという利点を持つ。
本実施の形態における処理の流れにおいて、画像入力手段10、画像合成手段12、画像出力手段13については実施の形態1と同様であるので省略する。
図19は、画像処理手段11であるコントラスト調整手段20での処理の流れを示すフローチャートであり、図20は、コントラスト調整処理における変換曲線推定手段81の処理の流れを示すフローチャートである。これらの図に従い、本実施の形態におけるコントラスト調整処理を示す。
図19において、まず、補正情報算出手段30は、入力画像内における画素Pijの各成分の最大値Vmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)を算出する(S71)。次に、対象画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、補正情報算出手段30は、周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を求めるとともに(S72)、このVAPijとVPijの間の相対的関係につながるコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する(S73)。このVAPijとして、実施の形態1と同様に従来の技術のように、c画素の周辺視野内における画素値Vpij(r(i,j),g(i,j),b(i,j))の平均値を定義し、コントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))も(数5)のように各成分ごとの画素値VPijの加重平均画素値VAPijに対する比を定義することとした。
以上のような対象画素Pijに対するコントラスト調整量VRPijの算出を入力画像内の全ての画像に対して行う(S74)。その後、抽出手段31は、コントラスト調整量VRPijの成分ごとの平均値VaR(aRr,aRg,aRb)と標準偏差量VdR(dRr,dRg,dRb)よりコントラスト調整量VRPijより抽出される際の最小値eminと最大値emaxを導出し、このemaxとeminを使って、コントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の各成分を0.0から1.0の範囲内の値に変換する(S75〜S77)。ここまでは実施の形態1と同様である。この後に、抽出されたコントラスト調整量の変換曲線推定処理S78、S79が図20のように遺伝的アルゴリズムを使って行われる。
変換曲線推定手段81は初期候補設定手段90から推定終了判定手段95で構成されており、その間における処理は、遺伝的アルゴリズムと呼ばれる最適解探索手法に局所探索能力を補った手法に該当する。遺伝的アルゴリズムについては、例えば“Genetic Algorithms in Search,Optimization and Machine Learning”(David E.Goldberg,Addison Wesley)等の文献に記載されており、大域的探索能力に優れ、最適解探索問題の対象とする評価関数の微分情報が得られなくとも、その評価値自身が得られれば、探索を行うことができ、人間の主観的評価しか判断基準のない対象問題へも適用が可能でありかつその有効性はこれまでに報告されている手法である。具体的には次のように処理が進められる。処理は、図21〜図23を用いて、ステージ毎に説明する。図21は変換曲線推定手段81における遺伝的アルゴリズムで使用される染色体構造を模式的に示す模式図であり、図22は変換曲線推定手段81におけるルーレット選択法の概要を模式的に示す模式図、図23は変換曲線推定手段81で使用されている遺伝的アルゴリズムの組替え操作処理を模式的に示す模式図である。
{ステップS81〜ステップS83}
まず、図21におけるg0からgn−1を探索パラメータとして、そのn個のパラメータにより構成される探索ベクトルVch[A]を元として、Nch個の元からなる集合Gvを考える。この探索ベクトルVch[A]の各要素g−k[A](k=0,・・・,n−1)は、生物との関連から遺伝子と呼ばれ、探索ベクトルVch[A]は染色体と呼ばれる。遺伝的アルゴリズムを用いる際、まず最初に、この探索ベクトルの初期集合Gvを適当に作る処理を初期候補設定手段90が行う。初期候補設定手段90において、染色体の設定方法として様々な方法が考えられるが、ここでは図21のように0.0から1.0の範囲に存在する変換前のコントラスト調整量i−kに対して、その変換出力量o−kを0.0から1.0の範囲の値に変換するとして変換曲線を設定する。そして、g−k=o,k−o,k−1から得られるn個のg−kをそのままならべた実数コーディング手法を用いて探索ベクトルの染色体表記を行うこととした。g−0はg−0=o−0とする。この表記は、つまり、0.0から1.0における変換曲線をn個のデータに量子化し、各量子化で得られる値を遺伝的アルゴリズムで推定する探索パラメータとしたのである。しかし、変換曲線の探索パラメータの変換は一義的に決まるものではなく、これ以外にも可能である。また、ここで使用した染色体構造においても、各g−kを2進数表示してその2進数を並べるバイナリーコーディング手法も扱うことはできる。
初期候補設定手段90ではまず、一様乱数により−1から1の領域内よりランダムに実数をn個選択することで1つの初期探索ベクトルvが設定される。これを予め設定された染色体集合数Nch個用意することで初期探索ベクトル集合Gv={Vch[A]}(A=0,・・・,Nch−1)が設定される。この初期探索ベクトル集合Gvより最適解探索が開始されるのである。そして、各探索ベクトルVch[A]の評価のために、入力画像1の全画素Pijにおける輝度y(i,j)、色差u(i,j),v(i,j)を計算する。そして、この輝度より入力画像のエッジ強度Ecを求める。このEcは(数9)のように定義されているものであり、Sobelオペレータにより算出された画素Pijにおけるエッジ強度ec(i,j)の総和として定義されている。
{ステップS84}
集合Gvの各元(染色体)より得られる変換曲線を使って、各探索ベクトルVch[A]により、抽出手段で得られたコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))をVRPoij[A](Rro(i,j,A),Rgo(i,j,A),Rbo(i,j,A))に出力変換する。そして、この値より調整輝度値yo(i,j,A)を計算する。そして、この調整輝度より調整済み画像v候補のエッジ強度E[A]を求める。このE[A]はEcと同様に(数9)により求められる。これらの処理を画素値変換候補手段91が行う。
{ステップS84}
前ステップで得られた各探索ベクトルVch[A]の解としての良さを予め設定された評価尺度に従って評価し、探索ベクトルVch[A]の評価結果を評価値E[A]として表す。ここで、予め設定された評価尺度のことを評価関数(fitness関数)と呼ぶ。この処理を評価値導出手段92が行う。この評価関数E[A]として多くのものが考えられるが、(数9)のように、各探索ベクトルで得られた調整済み画像v候補のエッジ強度を使用した。これは、視覚的にコントラストが良好と感じる画像は、明暗がはっきりしているだけでなく、画像のエッジ部分が鮮明であることに注目したためである。
{ステップS85、ステップS86}
適応度計算手段93では、評価値導出手段92で求められる評価値E[A]から、各探索ベクトルの適合性を見るために適合度が計算される。適合度f[A]を導出する関数として様々な関数が考えられるが、各探索ベクトルで得られた調整済み画像v候補のエッジ強度E[A]に調整済み画像v候補の各画素における輝度yo(i,j,A)の最大値yox[A]と最小値yon[A]間の距離に関する第2項を加算した値を入力画像のエッジ強度Ecで除した値を適合度f[A]として使用した。ここでφは定数である。
このf[A]が大きな値ほどよい探索ベクトル、つまり変換曲線と判断される。なお、第2項は、エッジ強度の向上だけでなく、できるだけ多くの変換出力領域を持つようにしたものである。
{ステップS87〜ステップS90}
ステップS86により選択された探索ベクトル集合について、交叉や突然変異等の遺伝的な組み替え操作を施し、新しい探索ベクトル集合を作成する。なお、探索ベクトル集合に含まれる探索ベクトルの個体数Nchは、ここでは一定としたが、増加しても減少してもよい。この処理を組替え操作手段94が行う。ここでは、図適合度に比例する確率で探索ベクトルを選択するルーレット選択法により選択的淘汰を行う。ルーレット選択法の概要は次の通りである。
{ルーレット選択法}
(i)集合Gvに属する探索ベクトルVch[A](A=0,・・・,Nch−1)の適合度f[A]、全探索ベクトルの適合度の総和Fを求める。
(ii)Vch[A]が次世代の探索ベクトルを作り出す親として選ばれる選択確率h[k]を図22(a)のように決める。この確率を探索ベクトルVch[A]に割り当てるためには例えば次のような方法が考えられる。
(iii)各探索ベクトルの選択範囲I[A]を[0,1]内の区間に図22(b)のように割り当てる。ここで、[0,1]内に一様乱数ra[A]の組RR=(ra[0],ra[1],・・・・,ra[Nch−1])を発生させる。そして図22(d)のようにRR内のra[B]に対して(数11)を満足するnum[B]=I[A]の組Num=(num[0],num[1],・・・,num[Nch−1])を求めることにより、このNumに対応するNch個の探索ベクトルの組が選択されることになる。
このようなルーレット選択法により、現在の探索ベクトル集団Gvの中の探索ベクトルVch[A]の選択を行うのである。
次に、このようにして得られた新しい探索ベクトル集団Gvに対して、図23で示されるような交叉処理と突然変異処理を行う。交叉は、図23(a)に示されるように有限のシンボルで表現された探索ベクトルでの一部を他の調整ベクトルの一部と置き換えることにより新しい探索ベクトルを作り出す操作である。また、突然変異は、図23(b)に示されるようにある低い確率で探索ベクトル集合から選択された探索ベクトルの成分の一部を他のシンボルに変更する操作である。交叉処理は、現在の解ベクトルから大きく離れた位置における探索に相当し、突然変異は現在の探索ベクトル近傍における探索に相当する。この2つの処理を経て、遺伝的アルゴリズムでは新しい探索ベクトルの集合を作り出すのである。なお、この交叉、突然変異等の処理には様々な方法が提案されているが、本実施の形態では図23のような1点交叉もしくは2点を入れ替える2点交叉処理を用いる。さらに突然変異としては、交叉処理を経て得られた新しい探索ベクトル集団Gvに対して探索ベクトルを構成する各遺伝子(g−k)を低い確率で選び出し、ランダム定数を付加することで突然変異処理を実行するのである。その際、突然変異を行う確率は、探索ベクトル集団の半分と残り半分では変動させることにより、より探索ベクトルの多様性に維持することに努めた。
これらの遺伝的アルゴリズムによる変換曲線をあらわす探索ベクトルの最適化処理の収束条件として繰り返し回数が許容繰り返し回数をこえていないかどうかを判断し、超えていない場合にはもう一度画素値変換候補算出手段91へ処理が移る。以上のような処理過程を収束条件を満足するまで繰り返し実行することにより、最適な変換曲線を構成する探索パラメータの推定を行うのである。このように、大域的に多くの候補を用意し、局所的最適解(ローカルミニマム)にトラップざれにくい交叉や突然変異等の記号的な組み替え操作を繰り返し行うことで、精度よくかつ自動的に抽出手段31で得られたコントラスト調整量を変換する最適な変換曲線を推定することが可能となる。
以上のようにして得られた変換曲線を用いて、画素値推定手段72が、抽出されたコントラスト調整量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))をVRPoij(Rro(i,j),Rgo(i,j),Rbo(i,j))に変換するとともに、入力画像内における画素Pijの各成分の最大値Vmax(rx,gx,bx)と最小値Vmin(rn,gn,bn)内に抑える処理を行う。ここで得られたVRPoij(Rro(i,j),Rgo(i,j),Rbo(i,j))が処理済画像3の画素Pijにおける画素値として生成される。
以上のように本実施の形態による画像処理装置は、実施の形態1の画素値変換手段32において、周囲画素との比較で得られたコントラスト調整量より有効と思われる領域を抽出した後に、入力画像の輝度より得られるエッジ強度の総和を計算する。次に、抽出されたコントラスト調整量を変換する際の変換曲線を複数候補用意し、各変換曲線より得られた最終出力候補画像の輝度のエッジ強度総和を計算し、その値の入力画像のエッジ強度総和に対する比を評価値として最適な変換曲線を遺伝的アルゴリズムで推定する変換曲線推定手段81を設けたものである。このように、抽出されたコントラスト調整量を変換する際の変換関数を推定する際に、細部の明瞭度に関連するエッジ強度の改善度合いを評価値に設けることで、よりコントラストを高めることができるとともにエッジのシャープ化にもつながる。また、そのような最適な変換関数の推定に遺伝的アルゴリズムを用いることで、入力画像に依存せず自動的に適切な変換関数を推定することができる。
なお、本実施の形態ではコントラスト調整手段20として実施の形態1で説明した図3の構成の場合で説明したが、図4のように複数の周辺視野領域を持つ実施の形態2で用いられたコントラスト調整手段20に本実施の形態における画素値変換手段32を組み合わせることも可能である。また、これらの処理は、本実施の形態による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態8)
本発明の実施の形態8による基本的構成は実施の形態1と同様、図1の構成である。画像処理手段11であるコントラスト調整手段20は図5のような構成になる。本実施の形態が実施の形態3と異なる点は、図5におけるコントラスト調整手段内の対象信号変換手段52が図8(b)のように構成されていることである。
図8(b)は、図5の対象信号変換手段52を示すブロック図である。
図8(b)に示されるように、対象信号変換手段52は、入力画像vi内のコントラスト情報を表す対象信号のエッジ強度を算出する基準強度算出手段80と、抽出手段31で得られた対象信号のコントラスト調整量を実際の対象信号値に変換する際の対象信号変換曲線を遺伝的アルゴリズムで推定する対象信号変換曲線推定手段82と、対象信号変換曲線推定手段82で推定された対象信号の変換曲線をもとに、抽出手段31で得られた対象信号のコントラスト調整量を実際の対象信号値に変換する対象信号推定手段74とを構成要素として持つ。そして、対象信号変換曲線推定手段82は、実施の形態7と同様に遺伝的アルゴリズムを実行するように構成されており、その構成図は図9(b)になる。対象信号変換曲線推定手段82は、初期候補設定手段90と、各変換曲線候補より得られた実際の対象信号を求める対象信号変換候補算出手段96と、対象信号変換候補算出手段96で得られた対象信号より得られる各候補のエッジ強度と入力画像の対象信号より得られたエッジ強度より、各変換曲線の評価値を算出する評価値算出手段92と、評価値算出手段92で得られた各評価値より適合度を計算する適合度計算手段93と、適合度計算手段93で得られた各候補集合の選択的淘汰、交叉や突然変異の組替え操作を行う組替え操作手段94と、変換曲線の最適化推定が終了したかどうかの判定を行い、終了した時点には最適な対象信号変換曲線を次の対象信号推定手段74に渡す推定終了判定手段95とを構成要素として持つ。
本実施の形態の特徴は、実施の形態3で得られた周辺視野内の対象信号との相対的比較で得られた値を実際の対象信号値(明度値)に変換する際に、遺伝的アルゴリズムを使って明度値のコントラスト調整量で得られた画像のエッジ部分をさらにシャープにするような工夫を加えたものであり、実施の形態6のように平均明度で予め用意された変換方式(変換関数)を選択するよりも汎用性が高いと考える。
本実施の形態における処理の流れは、画像入力手段10、画像合成手段12、画像出力手段13については実施の形態3と同様である。画像処理手段11であるコントラスト調整手段20は図5、図8(b)のように構成されており、その処理は図19で示された実施の形態7の処理を対象信号のみコントラスト調整を行うように変更したものとなる。その際用いられる遺伝的アルゴリズムによる対象信号変換曲線推定手段82での処理も、図20で示された実施の形態7で各対象信号変換曲線候補の優劣を示す評価値の算出に、各変換曲線で得られる対象信号のエッジ強度を使用するように変更したものが用いられる。
画像入力手段10、画像合成手段12、画像出力手段13は実施の形態1と同様の動作を行う。コントラスト調整処理ではまず、入力画像viはLa*b*空間における信号に変換されるとともに、色相が保持さら、明度は0.0から1.0に正規化される。対象補正情報導出手段51は、入力画像の明度最大値Lxと最小値Lnの算出と、対象画素Pijの周辺視野における明度L(i,j)の加重平均明度AL(i,j)の算出、そして、L(i,j)とAL(i,j)に対する比を明度のコントラスト調整量RL(i,j)として算出する。抽出手段31は、明度のコントラスト調整量RL(i,j)の平均値と標準偏差量を求め、その値により決定された明度のコントラスト調整量RL(i,j)から有効領域を抽出される際の最小値eminと最大値emaxを使って、明度のコントラスト調整量RL(i,j)を0.0から1.0の範囲内の値に変換する。その後、図8(b)で示された対象信号変換手段52へ処理が移る。まず、入力画像1内のコントラスト情報を表す明度のエッジ強度が基準強度算出手段80で算出され、抽出手段31で得られた明度のコントラスト調整量を実際の明度値に変換する際の対象信号変換曲線の推定を遺伝的アルゴリズムが行う。この推定を行う対象信号変換曲線推定手段は図9(b)のように構成され、変換曲線候補の設定、各変換曲線候補で得られる対象信号の算出、算出された各変換曲線候補の評価値の算出、各候補の適合度の算出、候補集団の組替え操作、推定終了判定を順番に行うことで最適な対象信号変換曲線を推定する。そして、得られた変換曲線を使って抽出手段31で得られた明度のコントラスト調整量を実際の明度値に変換するとともに、入力画像の明度最大値Lxと最小値Ln内に抑え、入力画像の各画素の持つ色相と調整された明度より実際の画素値を逆変換で算出することでコントラスト調整済み画像vを生成する。このようにして処理が行われる。
以上のように、本実施の形態による画像処理装置では、実施の形態3、4における影のような暗部での画素の色安定を高める効果を持つとともに、実施の形態7におけるよりコントラストを高めるとともにエッジ部のシャープ化を促進する効果を持つものである。なお、本実施の形態ではコントラスト調整手段として実施の形態3で説明した図5の構成の場合で説明したが、図6のように複数の周辺視野領域を持つ実施の形態4で用いられたコントラスト調整手段に本実施の形態における対象信号変換手段52を組み合わせることも可能である。また、これらの処理は、本実施の形態8による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。
(実施の形態9)
本発明の実施の形態9による基本的構成は実施の形態1と同様、図1の構成である。実施の形態1〜8とは異なり、画像処理手段11は、色調整手段21で構成されている。
図24は画像処理手段を構成する色調整手段21を示すブロック図である。
図24のように、色調整手段21は、入力された画像を複数の小領域に分割する画像分割手段240と、画像分割手段240で得られた各小領域内の色データを代表する代表色を求める代表色抽出手段241と、予め用意された色変換後の色データを集めた色変換テーブル243と、代表色抽出手段241で得られた代表色に最も近い色を色変換テーブル243より選択する代表色変換色選択手段242と、代表色変換色選択手段242で得られた代表色とその変換色間の距離をもとに、選択された各変換色を微調整し、代表色をその微調整後の変換色に変換する色変換手段244とを構成要素として持つ。
図26は代表色抽出手段241を示すブロック図である。
図26のように、代表色抽出手段241は、初期化手段260と、分割軸決定手段261と、クラスタ分割手段262と、クラスタ代表決定手段263と、収束判定手段264と、クラスタ分割終了判定手段265と、代表色出力手段266とを構成要素として持つ。
このように構成された画像処理装置について、その動作を図25、図27を用いて説明する。図25は色調整手段21における色調整処理を示すフローチャートであり、図27は代表色抽出手段241での処理を示すフローチャートである。
画像入力手段10を介して、画像処理手段11に、カラー画像viがディジタル入力されるとともに、画素値の各成分値は0.0から1.0の値に正規化される。次に、ディジタル入力画像に対して、色調整手段21で色調整処理が開始される。図25に示されるように、まず入力画像は複数の小領域CGs(s=0,・・・・,NCnum−1)(矩形領域以外でもよい)に画像分割手段240で分割される(S91)。ここで、NCnumは小領域の数を表す。
その後、代表色抽出手段241で、各小領域ごとに、その領域を代表するm個の代表色を求める(S101、図27)。この際、mは固定をして説明するが、対象領域内の色分布をもとに対象領域から抽出される代表色数を可変にすることも可能であり、可変にすることで色調整後の色バランスやエッジ境界でのがたつきをより低減することができる。
代表色抽出手段241の処理は図27のようになる。代表色抽手段241における処理としては、画素Pijにおける画素値VPij(r(i,j),g(i,j),b(i,j))の空間にクラスタリング手法を適用した。特に、今回は、複数の要素を持つベクトルの空間を、サンプル集団の分布状況をもとに複数のクラスタに分割するベクトル量子化(VQ)手法に属する手法で、隣合う量子化代表ベクトルを結ぶ線分の垂直2等分線としてクラスタ領域枠が設定されるk−mean手法をもとに構成した。なお、これ以外のクラスタリング手法を用いることも可能である。まず、初期化手段260が、全対象領域内の色データVPijは全て1つのクラスタに属しているもの仮定し、1つの代表色ベクトルVC1=(Cr1,Cg1,Cb1)にはCGs内全部色データの重心ベクトルを設定する(S102)。ここで、nnnは全対象色領域内の色データ数を表し、Cr1は代表色ベクトルVC1のr成分を、Cg1はg成分を、Cb1はb成分を表す。また、これ以降、対象領域内の画素Pijにおける画素値VPij(r(i,j),g(i,j),b(i,j))は、その領域内の通し番号kを使って色ベクトルVPk(rk,gk,bk)で表すこととする。
次に、分割軸決定手段261は、現時点のnn個のクラスタの中におけるクラスタjを代表する代表色ベクトルVCjとそのクラスタに属するnn−m個の色ベクトルuVPm=(urm,ugm,ubm)(m=0,・・・,nn−m−1)を構成する各要素の差分の絶対値(|urm−Crj|,|ugm−Cgj|,|ubm−Cbj|)を計算し、その総和(tr=Σ|urm−Crj|,tg=Σ|ugm−Cgj|,tb=Σ|ubm−Cbj|)を各要素ごとに計算する。そして、tr,tg,tbの内でもっとも値の大きい軸の方向に現クラスタが分割できるものとして考える(S103)。クラスタ分割手段262は、現在の代表色ベクトルVCjを中心として、分割軸決定手段261で得られた軸方向に2つの仮の代表色ベクトルdVCjとdVCj+1を設定するのである(S104)。例えば分割軸決定手段261でr軸が選ばれた場合には、ある微小正定数gammaを使ってdVCj=(Crj−gamma×tr,Cgj,Cbj)とdVCj+1=(Crj+gamma×tr,Cgj,Cbj)がクラスタ分割手段262で設定される。1個の代表色ベクトルVCjより2個の仮代表色ベクトルdVCjとdVCj+1が生成され、分割軸決定手段261とクラスタ分割手段262における処理は現時点のnn個のクラスタすべてに対して行われることから、生成されるクラスタ数は2nnとなる。なお、この方法は一意ではなくこれ以外にも可能である。次に、クラスタ代表決定手段263のクラスタ代表決定手段ではクラスタ分割手段262で新たに得られた2nn個の仮代表色ベクトルdVCiと入力色ベクトルVPk間のユークリッド距離disk[k,i](i=1,・・・,2nn)を計算し、iに対してdisk[k,i]が最小になるi=i_minにVPkが属するように振り分ける処理を行う(S105)。そして、各入力色ベクトルVPkをクラスタに振り分け得た後に、クラスタi内の入力色ベクトルの重心をそのクラスタiの代表色ベクトルVCiとする(S106)。収束判定手段264は、クラスタ代表決定手段263で得られたクラスタiの代表色ベクトルVCiとクラスタ分割手段262で得られた仮の代表色ベクトルdVCとの間のユークリッド距離をもとに、クラスタの代表色ベクトルVCiが収束したかどうかの判定を行う(S107)。収束していない場合には、クラスタ分割手段262へ処理が移り、現在の代表色ベクトルVCjを中心として261で得られた軸方向に2つに仮の代表色ベクトルdVCjとdVCj+1を再設定するのである。具体的にはdVCj=(Crj−2×gamma×tr,Cgj,Cbj)とdVCj+1=(Crj+2×gamma×tr,Cgj,Cbj)をクラスタ分割手段262で設定し、クラスタ代表決定手段263で再び得られた2nn個の仮代表色ベクトルdVCiを使って入力色ベクトルVPkを2nn個のクラスタに振り分ける処理に戻る。収束判定手段264で収束したと判定された場合には、クラスタ分割終了判定手段265でクラスタ数が所定のクラスタ分割数mを満足したかどうかの判定を行い(S108)、満足した場合には初期代表色出力手段266で最終的に得られたクラスタiの代表を代表色VCi(Cri,Cgi,Cbi)として出力する(S109、S92)。
以上のように、代表色抽出手段241及びそこでの処理は、VQを使って、対象とする色空間内の色データをその分布をもとに複数のクラスタに分割する処理を行う。しかし、この方法は一意でなく、VQの代わりに単純に各色における最大値や最小値から順に各クラスタ内のヒストグラムが同じになるように分割していく手法等も可能であるが、クラスタ入力データの統計的分布に従い精度よくクラスタ分割できる特徴を持つVQ手法を用いた。また、これ以外のクラスタリングとしても自己組織化ニューラルネットワーク(例えば、コホーネンの自己組織化ネットワーク)に代表される手法を使用することも可能である。さらに、ここでは各クラスタを代表する代表色ベクトルとして、分割軸決定手段261やクラスタ代表決定手段263では各クラスタに属する色ベクトルVPkの重心ベクトルを設定したが、各クラスタに属する色ベクトル自身で最適なものを選ぶことでクラスタ分割することも可能である。また、クラスタ代表決定手段263で色ベクトルVPkを各クラスタに振り分ける場合に、現時点での代表色ベクトルVCiと色ベクトルVPkの間のユークリッド距離disk[k,i]が最小なクラスタiにVPkが属するものとしたが、ユークリッド距離以外にも、代表色ベクトルVCiと色ベクトルVPkの各要素の差分絶対値の和等を用いることも可能である。
こうして得られた領域CGs(s=0,・・・・,NCnum−1)の代表色VCj[S](Crj[S],Cgj[S],Cbj[S])(j=0,・・・,m−1)は色変換手段244の色変換テーブル内の色Vtu(rtu,gtu,btu)(u=0,・・・,Tnum−1)と比較される(S93)。ここでTnumは色変換テーブル内の色データ数を示す。そして代表色VCj[S]とのユークリッド距離len[s,u,j]が最小なテーブル内の色データu=u_b[j,s]を見つけ、これを仮の変換目的色データとする。さらに、そのlen[s,u_b,j]len[s,u#b,j]をもとに色Vtu_b(rtu_b,gtu_b,btu_b)を修正する。その修正方法の一例としては、急激に色が変わらないことを考慮して、(数12)のように仮目的色を修正して代表色VCj[S]に対する変換目標色VT[s,j](rt[s,j],gt[s,j],bt[s,j])とする(S94)。ここでδは微小正定数である。
色変換手段244では、対象領域CGs(s=0,・・・・,NCnum−1)の代表色VCj[S](j=0,・・・,m−1)を変換目的色VT[s,j](rt[s,j],gt[s,j],bt[s,j])に変更することで処理済画像vを生成する。
画像合成手段12では、色調整手段21で得られた処理済画像vと入力画像viの加重平均画像を生成し、これが画像出力手段13より出力される画像voとなる。なお、画像合成手段12における処理は実施の形態1のコントラスト調整の場合と同じ処理を用いるのでここでは省略する。
以上のような構成を組むことで、本実施の形態による画像処理装置は、予め変換前と後の色の両方を定義する必要がないという利点を持つ。また、代表色を精度よく抽出すること及び元の入力画像との加重平均合成画像を生成することで、色のヒストグラムを単純に色調整に用いる手法の場合に発生する変換後の色バランスの不安定性をある程度抑えることも可能となる。なお、これらの処理は、本実施の形態による画像処理方法に従い、コンピュータ等に使用される中央演算処理装置(CPU)及びディジタルシグナルプロセッサ(DSP)等を使ったソフトウェア処理でも同様に実現することができる。