JP2002222416A

JP2002222416A - 画質改善装置

Info

Publication number: JP2002222416A
Application number: JP2001019178A
Authority: JP
Inventors: Kimiyoshi Miyata; 公佳宮田; Yoichi Miyake; 洋一三宅; Hideaki Haishi; 秀昭羽石; Norimichi Tsumura; 徳道津村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-01-26
Filing date: 2001-01-26
Publication date: 2002-08-09

Abstract

(57)【要約】【課題】画像から鮮鋭性を損なうことなくノイズを除
去する。【解決手段】総合画質決定要素計算手段１はノイズに
より劣化した画像データを入力し、画像データの総合画
質の決定要素を評価する値を個別に計算する。総合画質
計算手段は、総合画質の決定要素を評価する値から、画
像データの総合画質を表す値を計算する。総合画質判定
手段３は画像データの総合画質を表す値が最適であるか
否かを判定し、画像データの総合画質を表す値が最適で
ない場合に、総合画質決定要素改善手段が画像データの
総合画質の決定要素を個別に改善する方向に更新し更新
画像データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はノイズにより劣化
したディジタル画像の画質を改善する画質改善装置に関
するものである。

【０００２】

【従来の技術】従来の画質改善装置における画質の改善
方法として、文献「画像工学の基礎」（安居院猛、中嶋
正之、ｐｐ．３０，昭晃堂、１９８８）には、ノイズ除
去処理の例が開示されており、ノイズにより劣化してい
る画像に、３×３の空間的マスクを作用させて隣接画素
間での平均化等の演算を行ってノイズを平均化すること
により、ノイズを目立たなくさせている。ここでは、空
間的マスクの大きさや係数を変化させることにより、ノ
イズ除去の効果を調節することが可能である。

【０００３】

【発明が解決しようとする課題】従来の画質改善装置は
以上のように構成され、ノイズを除去するために、空間
的マスクを用いた隣接画素間での平均化等の演算を行っ
ているため、画像中のエッジがぼけて鮮鋭性が劣化する
という課題があった。

【０００４】また、従来の画質改善装置では、ノイズ除
去に使用する空間的マスクの大きさや係数を変化させる
ことにより、ノイズ除去量と画像中のエッジのボケ具合
を調節することが可能であるが、エッジを保存しようと
すればノイズ除去が不十分となり、また逆に、ノイズ除
去を強く作用させようとすればエッジがぼけるという課
題があった。

【０００５】さらに、従来の画質改善装置では、画像の
総合的な画質が鮮鋭性や粒状性のどちらか悪い方で決定
されてしまうため、鮮鋭性が劣化してしまうと総合的な
画質を改善することが困難であるという課題があった。

【０００６】この発明は上記のような課題を解決するた
めになされたもので、ノイズにより劣化した画像から鮮
鋭性を損なうことなくノイズを除去し、総合的に画質を
改善することができる画質改善装置を得ることを目的と
する。

【０００７】

【課題を解決するための手段】この発明に係る画質改善
装置は、ノイズにより劣化した画像データを入力し、画
像データの総合画質の決定要素を評価する値を個別に計
算する総合画質決定要素計算手段と、上記総合画質決定
要素計算手段により計算された総合画質の決定要素を評
価する値から、画像データの総合画質を表す値を計算す
る総合画質計算手段と、上記総合画質計算手段により計
算された総合画質を表す値の最大値を求めることによ
り、画像データの総合画質を表す値が最適であるか否か
を判定し、最適である場合に補正画像データとして出力
する総合画質判定手段と、画像データの総合画質を表す
値が最適でない場合に、画像データの総合画質の決定要
素を個別に改善する方向に更新し、更新画像データを生
成する総合画質決定要素改善手段とを備え、上記総合画
質決定要素計算手段が、上記総合画質決定要素改善手段
により生成された更新画像データを入力し、上記総合画
質決定要素計算手段、上記総合画質計算手段、上記総合
画質判定手段、及び総合画質決定要素改善手段の各処理
を繰り返すことにより、上記総合画質判定手段が画像デ
ータの総合画質を表す値の最大値を求めるものである。

【０００８】この発明に係る画質改善装置は、総合画質
決定要素計算手段が、画像データの総合画質の決定要素
を評価する値である鮮鋭度を計算する鮮鋭度計算手段
と、画像データの総合画質の決定要素を評価する値であ
る粒状度を計算する粒状度計算手段とを備え、総合画質
決定要素改善手段が、画像データの鮮鋭度を改善する鮮
鋭度改善手段と、画像データの粒状度を改善する粒状度
改善手段とを備えたものである。

【０００９】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、上記画像データ読込手段により読み込まれ
た画像データにおける色チャネル間の共分散データを計
算する共分散計算手段と、上記共分散計算手段により計
算された画像データにおける色チャネル間の共分散デー
タと、所定のノイズの色チャネル間の共分散データによ
り、ノイズにより劣化していない原画像とのｋ次元色空
間における平均二乗誤差を最小とする更新画像データを
得るためのフィルタを導出するフィルタ導出手段と、上
記フィルタ導出手段により導出されたフィルタを、上記
画像データ読込手段により読み込まれた画像データにお
ける画素データに作用させて更新画像データを生成する
フィルタ作用手段とを備えたものである。

【００１０】この発明に係る画質改善装置は、共分散計
算手段により計算された画像データにおける色チャネル
間の共分散データに基づき、画像データにおける画素ベ
クトルの分布の主成分分析を行う主成分分析手段を備
え、フィルタ導出手段が、上記主成分分析手段による主
成分分析の結果と、所定のノイズの色チャネル間の共分
散データにより、ノイズにより劣化していない原画像と
のｋ次元色空間における平均二乗誤差を最小とする更新
画像データを得るためのフィルタを導出するものであ
る。

【００１１】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、上記画像データ読込手段により読み込まれ
た画像データをサブブロックに分割するサブブロック分
割手段と、上記サブブロック分割手段により分割された
対象のサブブロックにおける色チャネル間の共分散デー
タを計算する共分散計算手段と、上記共分散計算手段に
より計算された対象のサブブロックにおける色チャネル
間の共分散データと、所定のノイズの色チャネル間の共
分散データにより、ノイズにより劣化していない原画像
とのｋ次元色空間における平均二乗誤差を最小とする対
象のサブブロックにおける更新画像データを得るための
フィルタを導出するフィルタ導出手段と、上記フィルタ
導出手段により導出されたフィルタを、上記サブブロッ
ク分割手段により分割された対象のサブブロックにおけ
る画素データに作用させて対象のサブブロックにおける
更新画像データを生成するフィルタ作用手段とを備えた
ものである。

【００１２】この発明に係る画質改善装置は、共分散計
算手段により計算された対象のサブブロックにおける色
チャネル間の共分散データに基づき、対象のサブブロッ
クにおける画素ベクトルの分布の主成分分析を行う主成
分分析手段を備え、フィルタ導出手段が、上記主成分分
析手段による主成分分析の結果と、所定のノイズの色チ
ャネル間の共分散データにより、ノイズにより劣化して
いない原画像とのｋ次元色空間における平均二乗誤差を
最小とする対象のサブブロックにおける更新画像データ
を得るためのフィルタを導出するものである。

【００１３】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、上記画像データ読込手段により読み込まれ
た画像データを色クラスに分割する色クラス分割手段
と、上記色クラス分割手段により分割された対象の色ク
ラスに属する画素から共分散データを計算する色クラス
用共分散計算手段と、上記色クラス用共分散計算手段に
より計算された対象の色クラスにおける共分散データ
と、所定のノイズの色チャネル間の共分散データによ
り、ノイズにより劣化していない原画像とのｋ次元色空
間における平均二乗誤差を最小とする対象のサブブロッ
クにおける更新画像データを得るためのフィルタを導出
するフィルタ導出手段と、上記フィルタ導出手段により
導出されたフィルタを選択する色クラス用フィルタ選択
手段と、上記色クラス用フィルタ選択手段により選択さ
れたフィルタを、上記色クラス分割手段により分割され
た対象の色クラスにおける画素データに作用させて対象
の色クラスにおける更新画像データを生成するフィルタ
作用手段とを備えたものである。

【００１４】この発明に係る画質改善装置は、色クラス
用共分散計算手段により計算された対象の色クラスにお
ける共分散データに基づき、対象の色クラスにおける画
素ベクトルの分布の主成分分析を行う主成分分析手段を
備え、フィルタ導出手段が、上記主成分分析手段による
主成分分析の結果と、所定のノイズの色チャネル間の共
分散データにより、ノイズにより劣化していない原画像
とのｋ次元色空間における平均二乗誤差を最小とする対
象の色クラスにおける更新画像データを得るためのフィ
ルタを導出するものである。

【００１５】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、上記画像データ読込手段により読み込まれ
た画像データにおける対象画素の近傍領域に属する画素
の共分散データを計算する近傍領域用共分散計算手段
と、上記近傍領域用共分散計算手段により計算された対
象画素の近傍領域に属する画素の共分散データと、所定
のノイズの色チャネル間の共分散データにより、ノイズ
により劣化していない原画像とのｋ次元色空間における
平均二乗誤差を最小とする更新画像データを得るための
フィルタを導出するフィルタ導出手段と、上記フィルタ
導出手段により導出されたフィルタを、上記画像データ
読込手段により読み込まれた画像データにおける画素デ
ータに作用させて更新画像データを生成するフィルタ作
用手段とを備えたものである。

【００１６】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、上記画像データ読込手段により読みこまれ
た画像データにおける対象画素と同色クラスの画素が所
定の画素数になるように、対象画素の近傍領域を設定す
る同色クラス近傍領域設定手段と、上記同色クラス近傍
領域設定手段により設定された対象画素の近傍領域に属
する画素の共分散データを計算する近傍領域用共分散計
算手段と、上記近傍領域用共分散計算手段により計算さ
れた対象画素の近傍領域に属する画素の共分散データ
と、所定のノイズの色チャネル間の共分散データによ
り、ノイズにより劣化していない原画像とのｋ次元色空
間における平均二乗誤差を最小とする更新画像データを
得るためのフィルタを導出するフィルタ導出手段とを備
えたものである。

【００１７】この発明に係る画質改善装置は、近傍領域
用共分散計算手段により計算された画像データにおける
対象画素の近傍領域に属する画素の共分散データに基づ
き、対象画素の近傍領域に属する画素の画素ベクトルの
分布の主成分分析を行う主成分分析手段を備え、フィル
タ導出手段が、上記主成分分析手段による主成分分析の
結果と、所定のノイズの色チャネル間の共分散データに
より、ノイズにより劣化していない原画像とのｋ次元色
空間における平均二乗誤差を最小とする更新画像データ
を得るためのフィルタを導出するものである。

【００１８】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、撮影機器の仕様を記述した入力機器用デバ
イスプロファイルを読み込み、上記画像データ読込手段
により読み込まれたＲＧＢ色空間における画像データと
所定のノイズの色チャネル間の共分散データを、使用す
る機器に依存しない標準のＸＹＺ色空間に変換する色空
間変換手段と、上記色空間変換手段により変換された標
準のＸＹＺ色空間における画像データの色チャネル間の
共分散データを計算する共分散計算手段と、上記共分散
計算手段により計算された標準のＸＹＺ色空間における
画像データの色チャネル間の共分散データと、上記色空
間変換手段により変換された標準のＸＹＺ色空間におけ
る所定のノイズの色チャネル間の共分散データにより、
ノイズにより劣化していない原画像とのｋ次元色空間に
おける平均二乗誤差を最小とする更新画像データを得る
ためのフィルタを導出するフィルタ導出手段と、上記フ
ィルタ導出手段により導出されたフィルタを、上記色空
間変換手段により変換された標準のＸＹＺ色空間におけ
る画像データにおける画素データに作用させて更新画像
データを生成するフィルタ作用手段と、表示機器の仕様
を記述した表示機器用デバイスプロファイルを読み込
み、上記フィルタ作用手段により生成された標準のＸＹ
Ｚ色空間における更新画像データを、ＲＧＢ色空間に逆
変換する色空間逆変換手段とを備えたものである。

【００１９】この発明に係る画質改善装置は、共分散計
算手段により計算された標準のＸＹＺ色空間における画
像データの色チャネル間の共分散データに基づき、画像
データにおける画素ベクトルの分布の主成分分析を行う
主成分分析手段を備え、フィルタ導出手段が、上記主成
分分析手段による主成分分析の結果と、標準のＸＹＺ色
空間における所定のノイズの色チャネル間の共分散デー
タにより、ノイズにより劣化していない原画像とのｋ次
元色空間における平均二乗誤差を最小とする更新画像デ
ータを得るためのフィルタを導出するものである。

【００２０】この発明に係る画質改善装置は、総合画質
決定要素改善手段が、ｋ個の色チャネルで構成される、
ノイズにより劣化した画像データを読み込む画像データ
読込手段と、上記画像データ読込手段により読み込まれ
た画像データの色チャネル間の共分散データを計算する
共分散計算手段と、撮影機器の仕様を記述した入力機器
用デバイスプロファイルを読み込み、上記画像データ読
込手段により読み込まれたＲＧＢ色空間における画像デ
ータと、上記共分散計算手段により計算された画像デー
タの色チャネル間の共分散データと、所定のノイズの色
チャネル間の共分散データを、使用する機器に依存しな
い標準のＸＹＺ色空間に変換する色空間変換手段と、上
記色空間変換手段により変換された標準のＸＹＺ色空間
における画像データの色チャネル間の共分散データと、
上記色空間変換手段により変換された標準のＸＹＺ色空
間における所定のノイズの色チャネル間の共分散データ
により、ノイズにより劣化していない原画像とのｋ次元
色空間における平均二乗誤差を最小とする更新画像デー
タを得るためのフィルタを導出するフィルタ導出手段
と、上記フィルタ導出手段により導出されたフィルタ
を、上記色空間変換手段により変換された標準のＸＹＺ
色空間における画像データの画素データに作用させて更
新画像データを生成するフィルタ作用手段と、表示機器
の仕様を記述した表示機器用デバイスプロファイルを読
み込み、上記フィルタ作用手段により生成された標準の
ＸＹＺ色空間における更新画像データを、ＲＧＢ色空間
に逆変換する色空間逆変換手段とを備えたものである。

【００２１】この発明に係る画質改善装置は、色空間変
換手段により変換された標準のＸＹＺ色空間における画
像データの色チャネル間の共分散データに基づき、画像
データにおける画素ベクトルの分布の主成分分析を行う
主成分分析手段を備え、フィルタ導出手段が、上記主成
分分析手段による主成分分析の結果と、標準のＸＹＺ色
空間における所定のノイズの色チャネル間の共分散デー
タにより、ノイズにより劣化していない原画像とのｋ次
元色空間における平均二乗誤差を最小とする更新画像デ
ータを得るためのフィルタを導出するものである。

【００２２】この発明に係る画質改善装置は、所定のノ
イズの色チャネル間の共分散データを記述したノイズデ
ータを読み込むノイズデータ読込手段を備えたものであ
る。

【００２３】この発明に係る画質改善装置は、ｋ個の色
チャネルで構成される、ノイズにより劣化した画像デー
タの均一濃度領域から所定のノイズの色チャネル間の共
分散データを計算するノイズデータ計算手段を備えたも
のである。

【００２４】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態１による画
質改善装置の構成を示すブロック図である。図におい
て、１は、ノイズにより劣化した画像データＤ１の総合
画質の決定要素を評価する値を、例えば画像データＤ１
の周波数情報に人間の視覚の周波数応答を作用させて、
個別に計算する総合画質決定要素計算手段である。ここ
で、総合画質の決定要素とは、例えば鮮鋭性であり、評
価する値とは鮮鋭性の尺度を示す鮮鋭度である。人間が
画像を観察した際に感じる視覚的な総合画質は、色再現
性、階調再現性、鮮鋭性、粒状性等、非常に多くの要素
により決定される。これらの要素は総合画質の決定要素
と見なすことができる。

【００２５】また、図１において、２は個別に計算され
た総合画質の決定要素を評価する値から画像データＤ１
の総合画質を表す値、すなわち総合画質の尺度を計算す
る総合画質計算手段、３は、総合画質を表す値の最大値
を求めることにより、総合画質を表す値が最適であるか
否かを判定し、最適である場合に補正画像データＤ３と
して出力する総合画質判定手段、４は、総合画質を表す
値が最適でない場合に、総合画質の決定要素を個別に改
善する方向に更新し、更新画像データＤ２を生成する総
合画質決定要素改善手段である。

【００２６】次に動作について説明する。図２はこの発
明の実施の形態１による画質改善装置の処理の流れを示
すフローチャートである。ステップＳＴ１において、総
合画質決定要素計算手段１はノイズにより劣化した画像
データＤ１を入力する。ステップＳＴ２において、総合
画質決定要素計算手段１は、画像データＤ１に対して、
色情報の再現性を示す色再現性、明暗情報の再現性を示
す階調再現性、エッジ部分等の明瞭さを示す鮮鋭性、ノ
イズやざらつきの程度を示す粒状性、あるいはコントラ
スト等に代表される総合画質の決定要素について、例え
ば画像データＤ１の周波数情報に人間の視覚の周波数応
答を作用させることにより、総合画質の決定要素を評価
する値を個別に計算する。

【００２７】ステップＳＴ３において、総合画質計算手
段２は、個別に計算された総合画質の決定要素を評価す
る値から総合画質を表す値、すなわち総合画質の尺度を
計算する。この計算には、予め行われた主観評価実験の
結果に基づいて定められた総合画質決定要素と総合画質
との関係を記述している関数を用いたり、あるいは総合
画質決定要素と総合画質との関係をルックアップテーブ
ル化したものを用いても良い。

【００２８】ステップＳＴ４において、総合画質判定手
段３は、総合画質を表す値の最大値を求めることによ
り、総合画質計算手段２により計算された総合画質を表
す値が最適であるか否かを判定し、最適であると判定さ
れた場合に、ステップＳＴ５において、総合画質判定手
段３は総合画質を表す値が最適である画像データを補正
画像データＤ３として出力し画質改善処理を終了する。

【００２９】ここでは、総合画質計算手段２により計算
された総合画質を表す値を記憶しておき、次のステップ
ＳＴ６，ＳＴ７からステップＳＴ２に戻り、ステップＳ
Ｔ２，ＳＴ３の処理を行う。ステップＳＴ４において、
総合画質判定手段３が新たに計算された総合画質を表す
値と、記憶されている総合画質を表す値を比較する。こ
のステップＳＴ６からステップＳＴ４の処理を複数回繰
り返すことにより、総合画質判定手段３は総合画質を表
す値の最大値を求める。

【００３０】一方、ステップＳＴ４において、総合画質
が最適ではないと判定された場合には、ステップＳＴ６
において、総合画質決定要素改善手段４は、総合画質の
決定要素を個別に改善する方向に更新し、更新画像デー
タＤ２を生成する。ステップＳＴ７において、総合画質
決定要素計算手段１は更新画像データＤ２を入力し、上
記ステップＳＴ２からＳＴ６の処理を繰り返すことによ
り、総合画質判定手段３が総合画質の最適な補正画像デ
ータＤ３を求める。

【００３１】以上のように、この実施の形態１によれ
ば、総合画質の決定要素を評価する値を個別に計算し、
計算された総合画質の決定要素を評価する値により総合
画質を表す値を計算し、総合画質の最適な補正画像デー
タＤ３を求めることにより、画像の善し悪しについての
情報を詳細に獲得することができ、しかも画質改善の効
果を定量的に把握することができるので、ノイズにより
劣化した画像から鮮鋭性を損なうことなくノイズを除去
し、総合的に画質を改善することができるという効果が
得られる。

【００３２】実施の形態２．この実施の形態は、総合画
質の決定要素として、鮮鋭度と粒状度に着目したもので
あり、画質改善装置の全体構成は実施の形態１の図１に
示すものと同等である。

【００３３】図３はこの発明の実施の形態２による画質
改善装置における総合画質決定要素計算手段１の構成を
示すブロック図であり、図において、５は画像データＤ
１の総合画質の決定要素を評価する値である鮮鋭度を計
算する鮮鋭度計算手段、６は画像データＤ１の総合画質
の決定要素を評価する値である粒状度を計算する粒状度
計算手段である。

【００３４】また、図４はこの発明の実施の形態２によ
る画質改善装置における総合画質決定要素改善手段４の
構成を示すブロック図であり、図において、７は画像デ
ータＤ１の鮮鋭度を改善する鮮鋭度改善手段、８は画像
データＤ１の粒状度を改善する粒状度改善手段である。

【００３５】次に動作について説明する。図５はこの発
明の実施の形態２による画質改善装置の処理の流れを示
すフローチャートである。ステップＳＴ１１において、
総合画質決定要素計算手段１は画像データＤ１を入力す
る。ステップＳＴ１２において、総合画質決定要素計算
手段１の鮮鋭度計算手段５は、エッジ部分等の明瞭さを
示す鮮鋭性について、例えば画像データＤ１の周波数情
報に人間の鮮鋭性に関する視覚の周波数応答を作用させ
ることにより、鮮鋭性を評価する値である鮮鋭度を計算
する。

【００３６】ステップＳＴ１３において、総合画質決定
要素計算手段１の粒状度計算手段６は、ノイズやざらつ
きの程度を示す粒状性について、例えば画像データＤ１
の周波数情報に人間の粒状性に関する視覚の周波数応答
を作用させることにより、粒状性を評価する値である粒
状度を計算する。

【００３７】ステップＳＴ１４において、総合画質計算
手段２は、上記ステップＳＴ１２で計算した鮮鋭度と、
上記ステップＳＴ１３で計算した粒状度から総合画質を
表す値、すなわち総合画質の尺度を計算する。この計算
には、予め行われた主観評価実験の結果に基づいて定め
られた鮮鋭度と粒状度と総合画質との関係を記述してい
る関数を用いたり、あるいは鮮鋭度と粒状度と総合画質
との関係をルックアップテーブル化しておいたものを用
いても良い。

【００３８】ステップＳＴ１５において、総合画質判定
手段３は、総合画質を表す値の最大値を求めることによ
り、総合画質を表す値が最適であるか否かを判定し、最
適であると判定された場合に、ステップＳＴ１６におい
て、総合画質判定手段３は総合画質を表す値が最適であ
る画像データを補正画像データＤ３として出力し画質改
善処理を終了する。

【００３９】ここでは、総合画質計算手段２により計算
された総合画質を表す値を記憶しておき、次のステップ
ＳＴ１７，ＳＴ１８，ＳＴ１９からステップＳＴ１２に
戻り、ステップＳＴ１２，ＳＴ１３，ＳＴ１４の処理を
繰り返すことにより、新たに計算された総合画質を表す
値と、記憶されている総合画質を表す値を比較し、この
処理を複数回繰り返すことにより、総合画質判定手段３
が総合画質を表す値の最大値を求める。

【００４０】一方、総合画質が最適ではないと判定され
た場合には、ステップＳＴ１７において、総合画質決定
要素改善手段４の鮮鋭度改善手段７は鮮鋭度を改善する
方向に更新し、ステップＳＴ１８において、総合画質決
定要素改善手段４の粒状度改善手段８は粒状度を改善す
る方向に更新し、更新画像データＤ２を生成する。鮮鋭
度及び粒状度の改善手法としては、ハイパスフィルタあ
るいはローパスフィルタ、メディアンフィルタ、Ｗｉｅ
ｎｅｒフィルタ、カルマンフィルタ等のフィルタ処理を
用いることができる。

【００４１】そしてステップＳＴ１９において、総合画
質決定要素計算手段１は更新画像データＤ２を入力し、
上記ステップＳＴ１２に戻り、ステップＳＴ１２からス
テップＳＴ１９までの処理を繰り返すことにより、総合
画質判定手段３は総合画質が最適な補正画像データＤ３
を求める。

【００４２】総合画質の決定要素としては、色再現、階
調再現、鮮鋭度、粒状度等、非常に多くの要素が挙げら
れるが、鮮鋭度と粒状度は画像の空間的な情報を評価す
る上で非常に重要な要素であり、鮮鋭度と粒状度を改善
することにより総合画質の改善が期待できる。しかし、
鮮鋭度を改善しようとしてハイパスフィルタを作用させ
ると、ノイズまでもが顕著となって粒状度が劣化した
り、あるいは逆に、粒状度を改善するためにローパスフ
ィルタを作用させると画像のエッジ成分がぼけてしまい
鮮鋭度が劣化するというように、最適な画質を得ること
が困難であるが、この実施の形態では、鮮鋭度と粒状度
と総合画質との関係を保持しているので、総合画質が最
適となったか否かを判断することが可能である。

【００４３】以上のように、この実施の形態２によれ
ば、鮮鋭度と粒状度と総合画質との関係を保持している
ので、総合画質が最適となったか否かを判断することが
でき、ノイズにより劣化した画像から鮮鋭性を損なうこ
となくノイズを除去し、総合的に画質を改善することが
できるという効果が得られる。

【００４４】実施の形態３．図６はこの発明の実施の形
態３による画質改善装置の総合画質決定要素改善手段の
構成を示すブロック図である。総合画質を改善する上
で、粒状度の改善に際して鮮鋭度が低下しては、最適な
総合画質を得ることは困難である。そこで、この実施の
形態３では、鮮鋭度の低下が伴わない手段により粒状度
を改善するものである。

【００４５】図６において、１１は、ｋ個の色チャネル
で構成される、ノイズにより劣化したディジタル画像の
画像データＤ１を読み込む画像データ読込手段である。
なお、画像データＤ１は、実施の形態１の図１における
画像データＤ１が、総合画質決定要素計算手段１，総合
画質計算手段２及び総合画質判定手段３を経由し、総合
画質決定要素改善手段４に入力されるものである。

【００４６】また、図６において、１２は所定のノイズ
の色チャネル間の共分散データを記述したノイズデータ
Ｄ４を読み込むノイズデータ読込手段、１３は画像デー
タ読込手段１１により読み込まれた画像データＤ１の色
チャネル間の共分散データを計算する共分散計算手段で
ある。この色チャネル間の共分散データは、他の色によ
り変化するその色のバラツキの程度を示す。

【００４７】さらに、図６において、１４は、共分散計
算手段１３により計算された画像データＤ１の色チャネ
ル間の共分散データと、ノイズデータ読込手段１２によ
り読み込まれた所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする更新画像
を得るためのフィルタを導出するフィルタ導出手段、１
５は、フィルタ導出手段１４により導出されたフィルタ
を、画像データ読込手段１１により読み込まれた画像デ
ータＤ１に作用させて、更新画像データＤ２を生成する
フィルタ作用手段である。

【００４８】さらに、図６において、１６はフィルタ作
用手段１５により生成された更新画像データＤ２を記憶
し出力する更新画像記憶手段である。この更新画像デー
タＤ２は、実施の形態１の図１における総合画質決定要
素改善手段４より出力され、総合画質決定要素計算手段
１に入力され、図６の画像データ読込手段１１に入力さ
れる。

【００４９】次に動作について説明する。図７はこの発
明の実施の形態３による画質改善装置の総合画質決定要
素改善手段の処理の流れを示すフローチャートである。
ステップＳＴ２１において、画像データ読込手段１１は
ｋ個の色チャネルで構成されるディジタル画像の画像デ
ータＤ１を読み込む。ステップＳＴ２２において、ノイ
ズデータ読込手段１２は所定のノイズの色チャネル間の
共分散データを記述したノイズデータＤ４を読み込む。

【００５０】ステップＳＴ２３において、共分散計算手
段１３は、画像データ読込手段１１により読み込まれた
画像データＤ１の色チャネル間の共分散データを計算す
る。ステップＳＴ２４において、フィルタ導出手段１４
は、共分散計算手段１３により計算された画像データＤ
１の色チャネル間の共分散データと、ノイズデータ読込
手段１２により読み込まれたノイズデータＤ４に記述さ
れている所定のノイズの共分散データを用いて、ノイズ
により劣化していない原画像とのｋ次元色空間における
平均二乗誤差を最小とする補正画像を得るためのフィル
タを導出する。

【００５１】ステップＳＴ２５において、フィルタ作用
手段１５は、フィルタ導出手段１４により導出されたフ
ィルタを、画像データ読込手段１１により読み込まれた
画像データＤ１の画素データに作用させて更新画像デー
タＤ２を生成する。ステップＳＴ２６において、更新画
像記憶手段１６は、生成された更新画像データＤ２を記
憶し出力する。

【００５２】ノイズ除去の動作について、さらに詳しく
説明する。以下では、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの
３個の色チャネルで構成される画像データＤ１を例とし
ているが、色チャネル数は３に限定しなくても良い。

【００５３】ノイズにより劣化していない原画像の画素
ベクトルをｆ_iとし、１画素単位で混入する加法ノイズ
ベクトルをｎ_iとすると、ノイズにより劣化されて観測
される観測画像の画素ベクトルｇ_iは次の（１）式によ
り示される。ｇ_i＝ｆ_i＋ｎ_i （１）ここでｉは画素番号（１≦ｉ≦ＸＹ）であり、ＸとＹは
画像の水平及び垂直方向の画素数である。（１）式の各
ベクトルは、次の（２）式で示されるように各色チャネ
ルの画素値を要素に持っている。

【００５４】

【数１】ここで、ｇ_Ri，ｇ_Gi，ｇ_Biは、それぞれ、観測画像の画
素ベクトルにおけるＲｅｄのｉ番目の画素、Ｇｒｅｅｎ
のｉ番目の画素、Ｂｌｕｅのｉ番目の画素で、ｆ_Ri，ｆ
_Gi，ｆ_Biは、それぞれ、原画像の画素ベクトルにおける
Ｒｅｄのｉ番目の画素、Ｇｒｅｅｎのｉ番目の画素、Ｂ
ｌｕｅのｉ番目の画素で、ｎ_Ri，ｎ_Gi，ｎ_Biは、それぞ
れ、ノイズの画素ベクトルにおけるＲｅｄのｉ番目の画
素、Ｇｒｅｅｎのｉ番目の画素、Ｂｌｕｅのｉ番目の画
素である。

【００５５】観測画像の平均画素ベクトルをｇ_m、更新
画像の画素ベクトルをｆ＾_i、更新画像の平均画素ベク
トルをｆ＾_mとする。いま、色空間において原画像と更
新画像との平均二乗誤差を最小化するフィルタＧが求め
られたとすると、更新画像と観測画像は次の（３）式に
より関係づけられる。（ｆ＾_i−ｆ＾_m）＝Ｇ（ｇ_i−ｇ_m）（３）

【００５６】原画像と更新画像との平均二乗誤差Ｅは、
（３）式と画素番号ｉに関する期待値演算＜・＞を用い
て次式のように表される。Ｅ＝＜‖（ｆ_i−ｆ_m）−（ｆ＾_i−ｆ＾_m）‖²＞＝＜‖（ｆ_i−ｆ_m）−Ｇ（ｇ_i−ｇ_m）‖²＞（４）ここで、ｆ_mは原画像の平均画素ベクトルである。

【００５７】図８は上記（１）式から（４）式に示され
ている画質改善の各ベクトルの対応関係を示す図であ
る。

【００５８】平均二乗誤差Ｅを規範とする推定問題で
は、対象とする原画像や観測画像は確率変数として扱わ
れ、期待値演算は集合平均により定義される。しかし、
観測画像は通常１枚だけであり集合平均の計算はできな
い。そこでエルゴード性を仮定して、適当な空間平均で
置き換えるのが一般的である。上記（４）式おいても、
平均二乗誤差Ｅの期待値演算は１枚の画像中の適当な領
域内での平均演算で置き換えられる。

【００５９】フィルタＧの導出においても同様に考える
ことにする。したがって、ノイズ除去の効果はフィルタ
導出における期待値演算の対象領域の設定方法に強く依
存することになる。この領域選定については、後述の実
施の形態において詳しく述べる。

【００６０】原画像とノイズに相関がない場合、フィル
タＧは（４）式をＧの各成分で偏微分した式を０とお
き、Ｇについて解くことにより以下のように得られる。Ｇ＝Ｃ_ff（Ｃ_ff＋Ｃ_nn）^-1 （５）ここで、Ｃ_ffとＣ_nnは次の（６）式、（７）式に示す原
画像とノイズの共分散行列をそれぞれ表している。Ｃ_ff＝＜（ｆ_i−ｆ_m）（ｆ_i−ｆ_m）^T＞（６）Ｃ_nn＝＜ｎ_iｎ_i ^T＞（７）ここで、Ｔは転置行列を示している。

【００６１】したがって、原画像とノイズの共分散行列
からフィルタＧを設計することができる。一般的にはＣ
_ffは未知であるが、Ｃ_nnは画像中の均一な濃度領域にお
ける分散をノイズ分散としたり、あるいは一様物体の撮
影により得られる分散をノイズ分散とする等のノイズキ
ャラクタライゼーション（較正化）によって推定するこ
とが可能である。

【００６２】さらに、ノイズの白色性及び原画像との無
相関は一般的には保証されないが、原画像とは独立な全
ての画質劣化要因をノイズとみなせば、最終的に観察さ
れるノイズの統計的性質は白色に近づくと考えられる。
また、原画像とノイズが無相関であるとの仮定から、観
測画像の共分散行列Ｃ_ggを用いて、Ｃ_ff＝Ｃ_gg−Ｃ_nn （８）と表すことができるため、Ｃ_ffも推定可能となる。

【００６３】実際のノイズ除去は、（３）式から導かれ
る次の（９）式により行われる。ｆ＾_i＝Ｇ（ｇ_i−ｇ_m）＋ｇ_m （９）ここで、ノイズの平均が０であることからｆ＾＝ｇ_mと
仮定している。

【００６４】以上のように、この実施の形態３によれ
ば、従来のように隣接画素間での演算は行わず、画像デ
ータのｋ個の色チャネル間の共分散データとノイズの色
チャネル間の共分散データにより導出されたフィルタに
より、１画素ずつ更新しているので、エッジ部分におい
ても鮮鋭性を劣化させることなくノイズを除去すること
ができるという効果が得られる。

【００６５】実施の形態４．図９はこの発明の実施の形
態４による画質改善装置の総合画質決定要素改善手段の
構成を示すブロック図であり、図において、１７は、共
分散計算手段１３により計算された画像データＤ１の色
チャネル間の共分散データに基づき、画像データＤ１の
画素ベクトルの分布の主成分分析を行う主成分分析手段
であり、その他の構成は実施の形態３の図６に示す構成
と同等である。

【００６６】次に動作について説明する。図１０はこの
発明の実施の形態４による画質改善装置の総合画質決定
要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ３１，ＳＴ３２，ＳＴ３３は、実施の
形態３の図７におけるステップＳＴ２１，ＳＴ２２，Ｓ
Ｔ２３と同じである。ステップＳＴ３４において、主成
分分析手段１７は、共分散計算手段１３により計算され
た画像データの色チャネル間の共分散データに基づき、
画像データＤ１の画素ベクトルの分布の主成分分析を行
う。

【００６７】ステップＳＴ３５において、フィルタ導出
手段１４は、主成分分析手段１７による主成分分析の結
果と、ノイズデータ読込手段１２により読み込まれた所
定のノイズの共分散データにより、ノイズにより劣化し
ていない原画像とのｋ次元色空間における平均二乗誤差
を最小とする更新画像を得るためのフィルタを導出す
る。

【００６８】ステップＳＴ３６，ＳＴ３７は、実施の形
態３の図７におけるステップＳＴ２５，ＳＴ２６と同じ
である。

【００６９】上記実施の形態３では、観測画像の画素ベ
クトルに直接フィルタを作用させたが、画像データの色
チャネル間の共分散データに基づき、画素ベクトルの分
布の主成分分析を行い、更新画像を得る点について、さ
らに詳しく説明する。

【００７０】いま、原画像の共分散行列Ｃ_ffを（６）式
により求め、その固有ベクトルをｐ _j＝（ｐ_j1，ｐ_j2，
ｐ_j3）^T，ｊ＝１〜３を用いて以下のように展開する。Ｃ_ff＝Ｐ_fΛ_fＰ_f ^T （１０）ここで、Λ_fは原画像の共分散行列Ｃ_ffの固有値σ
_f1 ² ，σ_f2 ² ，σ_f3 ² を対角要素に持つ対角行列であ
り、Ｐ_fは原画像の共分散行列Ｃ_ffの固有ベクトル
ｐ _f1，ｐ_f2，ｐ_f3を要素に持つ行列である。

【００７１】ノイズに関しても同様に、（７）式により
算出されるノイズの共分散行列Ｃ_nnは、対角化行列を用
いて次式のように展開できる。Ｃ_nn＝Ｐ_nΛ_nＰ_n ^T （１１）

【００７２】共分散行列の固有ベクトルは主成分ベクト
ルであることから、上記（１０）式及び（１１）式は原
画像及びノイズの主成分分析をそれぞれ表している。

【００７３】（１１）式において、Λ_nはノイズの共分
散行列Ｃ_nnの固有値σ_n1 ² ，σ_n2 ²，σ_n3 ² を要素に持
つ対角行列であり、Ｐ_nはＣ_nnの固有ベクトルｐ_n1，ｐ
_n2，ｐ_n3を要素に持つ行列である。白色ノイズの場合に
はσ_n1 ² ＝σ_n2 ² ＝σ_n3 ² であり、この結果Ｃ_nnの固有
ベクトルとして任意の直交ベクトルを選択することがで
きる。そこで、Ｐ_f＝Ｐ_n＝Ｐ（１２）となるようにＰ_nを定める。（１０）式、（１１）式、
（１２）式を（５）式へ代入すれば、フィルタＧは次の
（１３）式で示される。Ｇ＝ＰΛ_f（Λ_f＋Λ_n）^-1Ｐ^T （１３）ここで、Ｇ＝ＰＷＰ^T （１４）とおけば、Ｗは次の（１５）式に示される対角行列とな
る。

【００７４】

【数２】

【００７５】（１４）式及び（１５）式は、スペースイ
ンバリアント（位置不変）な線形システムにおけるＷｉ
ｅｎｅｒフィルタと類似した形となっている。即ち、Ｐ
^T及びＰはフーリエ変換、フーリエ逆変換演算に相当
し、Ｗはフーリエ面でのフィルタリング操作に対応して
いる。

【００７６】（１５）式を実際に求めるためには、原画
像とノイズの各々の分散が既知でなければならない。通
常獲得されるのはノイズ混入後の観測画像だけである
が、画像システムにおいて予めキャラクタライゼーショ
ン等を行うことでノイズ分散を予測することは可能であ
る。ノイズ分散を予測することができれば、次の（１
６）式の関係を用いることができる。 σ_f1 ² ＝σ_g1 ² −σ_n1 ² σ_f2 ² ＝σ_g2 ² −σ_n2 ² σ_f3 ² ＝σ_g3 ² −σ_n3 ² （１６）

【００７７】さらに、ノイズの白色性から、実際に加え
られたノイズのＲＧＢ空間での分散σ_nR ² ，σ_nG ² ，σ
_nB ² と、固有ベクトル空間での分散σ_n1 ² ，σ_n2 ² ，σ
_n3 ²は一致する。すなわち、 σ_nR ² ＝σ_nG ² ＝σ_nB ² ＝σ_n1 ² ＝σ_n2 ² ＝σ_n3 ² ＝σ_n ² （１７）ここで、共通の分散をσ_n ²とおいている。σ_n ²は適当
な画像中の一様濃度領域等を用いて行われるノイズキャ
ラクタライゼーションにより得られる。（１６）式、
（１７）式を（１５）式に代入すれば、Ｗは観測画像と
ノイズ分散から定めることができる。

【００７８】以上の手順により求められたＷを（１４）
式へ代入し、さらに（３）式へ代入すれば、原画像との
平均二乗誤差を最小とする更新画像の画素ベクトルｆ^
_iは次の（１８）式により求めることができる。ｆ^_i＝ＰＷＰ^T（ｇ_i−ｇ_m）＋ｇ_m （１８）ここで、ノイズの平均が０であることからｆ^_m＝ｇ_m
と仮定している。

【００７９】また、主成分分析により得られる原画像の
主成分の分散はσ_f1 ² ＞σ_f2 ² ＞σ _f3 ² であることか
ら、例えばσ_f1 ² ＞＞σ_n ²，σ_f2 ² ＞＞σ_n ²，σ_f3 ²
＜＜σ_n ²の場合には、（１５）式からＷは次の（１９）
式となる。

【数３】したがって、このような場合には第３主成分をノイズと
して削減すれば、原画像との平均二乗誤差Ｅを最小とす
ることができる。

【００８０】画像信号は、各色チャネル間において相関
を持つことが推測される。一方、白色ノイズは色チャネ
ル間に相関は持っていない。従って、ある主成分空間へ
の座標変換により信号成分を表す座標軸を設定できたと
すれば、それに直交している最も低次の主成分軸がノイ
ズ成分であると見なすことができる。この信号成分を抽
出するための座標変換が主成分分析により達成されるの
で、主成分分析を行うことにより効率良くノイズを除去
することが可能となる。

【００８１】さらに、主成分分析を行った後に作用させ
る係数行列は、上記（１９）式に示すように対角行列と
なり、従来手法によるノイズ除去において問題となる過
剰なノイズ除去処理を容易に防ぐことが可能となり、ロ
バスト（安定）なノイズ除去処理を提供することができ
る。

【００８２】また、特定のノイズは白色ではないとして
も、ノイズの発生源が多数存在する場合には、最終的に
観察されるノイズ特性は白色に近づくため、ノイズの白
色性については厳密に明らかにしなくても本手法を適用
することができる。

【００８３】以上のように、この実施の形態４によれ
ば、主成分分析手段１７が、共分散計算手段１３により
計算された画像データの色チャネル間の共分散データに
基づき、画素ベクトルの分布の主成分分析を行い、フィ
ルタ導出手段１４が、主成分分析の結果とノイズの色チ
ャネル間の共分散データにより、更新画像を得るための
フィルタを導出しているので、効率良くノイズを除去す
ることができるという効果が得られる。

【００８４】実施の形態５．実施の形態３及び実施の形
態４では、ノイズの共分散データを予め推定しておき、
それをファイルに格納しておいたノイズデータＤ４を読
み込んで使用していたが、この実施の形態５では、ノイ
ズの共分散データを与えられた画像データＤ１から計算
してノイズ除去に使用する。

【００８５】図１１はこの発明の実施の形態５による画
質改善装置の総合画質決定要素改善手段の構成を示すブ
ロック図であり、図において、１８はノイズにより劣化
した画像データＤ１を読み込み、画像データＤ１中の均
一濃度領域から所定のノイズの色チャネル間の共分散デ
ータを算出するノイズデータ算出手段であり、その他の
構成は実施の形態４の図９に示す構成からノイズデータ
読込手段１２を除いた構成と同等である。

【００８６】次に動作について説明する。図１２はこの
発明の実施の形態５による画質改善装置の総合画質決定
要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ４１は実施の形態４の図１０における
ステップＳＴ３１と同じである。ステップＳＴ４２にお
いて、ノイズデータ計算手段１８は画像データＤ１を読
み込んで、画像データＤ１中の均一濃度領域から所定の
ノイズの色チャネル間の共分散データを計算する。そし
て、実施の形態４の図１０におけるステップＳＴ３３へ
移行し、実施の形態４と同様にその後の処理を行う。

【００８７】この実施の形態におけるノイズデータ計算
手段１８では、ユーザにより読込画像の中から均一濃度
領域を指定し、その領域の分散をノイズ分散としたり、
または、画像を小領域に分割して、各小領域毎に計算さ
れた分散を比較し、最も小さい分散をノイズ分散とした
り、さらに、これらに代わる手法を用いても良い。

【００８８】また、この実施の形態５では、主成分分析
手段１７により、画像データの色チャネル間の共分散デ
ータに基づき、画素ベクトルの分布の主成分分析を行っ
ているが、実施の形態３のように、主成分分析を行わな
くても良い。

【００８９】以上のように、この実施の形態５によれ
ば、実施の形態４と同様の効果が得られると共に、読み
込んだ画像データＤ１の中からノイズ分散を推定するこ
とにより、事前のノイズキャラクタライゼーションやユ
ーザからの入力が不要となり、ユーザに対して便宜を提
供することができるという効果が得られる。

【００９０】実施の形態６．上記各実施の形態では、画
像データＤ１全体から更新画像を得るためのフィルタを
導出していたが、フィルタ導出範囲及びフィルタ適用範
囲を分割しても良く、この実施の形態では、画像データ
Ｄ１をサブブロックに分割し、分割したサブブロック毎
にフィルタを導出する。

【００９１】図１３はこの発明の実施の形態６による画
質改善装置の総合画質決定要素改善手段の構成を示すブ
ロック図であり、図において、１９は画像データ読込手
段１１により読み込まれた画像データＤ１をサブブロッ
クに分割するサブブロック分割手段で、その他の構成は
実施の形態４の図９に示すものと同等である。

【００９２】次に動作について説明する。図１４はこの
発明の実施の形態６による画質改善装置の総合画質決定
要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ５１，ＳＴ５２は実施の形態４の図１
０におけるステップＳＴ３１，ＳＴ３２と同じである。

【００９３】ステップＳＴ５３において、サブブロック
分割手段１９は、画像データ読込手段１１により読み込
まれた画像データＤ１をサブブロックに分割する。図１
５は領域分割の模式図であり、図に示すように、サブブ
ロック分割手段１９は、読み込まれた画像データＤ１を
ｄ_x画素×ｄ_y画素のサブブロックに分割する。

【００９４】ステップＳＴ５４において、分割された全
サブブロックについて、次のステップＳＴ５５からＳＴ
５９までの処理が終了したかを確認し、終了していなけ
れば、ステップＳＴ５５において、共分散計算手段１３
は、対象のサブブロックにおける色チャネル間の共分散
データを計算し、ステップＳＴ５６において、主成分分
析手段１７は、対象のサブブロックにおける色チャネル
間の共分散データに基づき、対象のサブブロックにおけ
る画素ベクトルの分布の主成分分析を行う。

【００９５】ステップＳＴ５７において、フィルタ導出
手段１４は、主成分分析手段１７による主成分分析の結
果とノイズデータ読込手段１２により読み込まれた所定
のノイズの色チャネル間の共分散データにより、ノイズ
により劣化していない原画像とのｋ次元色空間における
平均二乗誤差を最小とする、対象のサブブロックにおけ
る更新画像を得るためのフィルタを導出し、ステップＳ
Ｔ５８において、フィルタ作用手段１５は、フィルタ導
出手段１４により導出されたフィルタを対象サブブロッ
クの画素データに作用させて、サブブロックにおける更
新画像データを生成する。

【００９６】ステップＳＴ５９において、更新画像記憶
手段１６は、対象のサブブロックにおける更新画像デー
タを記憶し、ステップＳＴ５４に戻る。ステップＳＴ５
５からステップＳＴ５９の処理を繰り返し、ステップＳ
Ｔ５４において、全てのサブブロックに対して更新画像
データが生成されると、ステップＳＴ６０において、更
新画像記憶手段１６は画像データＤ１全体に対する更新
画像データＤ２を記憶し出力する。

【００９７】この実施の形態６では、主成分分析手段１
７により色チャネル間の共分散データに基づき画素ベク
トルの分布の主成分分析を行っているが、実施の形態３
のように主成分分析は行わなくても良い。また、所定の
ノイズの色チャネル間の共分散データをノイズデータＤ
４から読み込んでいるが、実施の形態５のように、ノイ
ズデータ計算手段１８により画像データＤ１から計算し
求めても良い。

【００９８】以上のように、この実施の形態６によれ
ば、画像の隣接領域においては、画像信号は相関を有し
ているため、空間的にサブブロックに分割することによ
り、より高い相関を有する画像信号成分を抽出すること
ができ、一方、ノイズは空間的にサブブロックに分割さ
れたとしても、色チャネル間に相関は持たないため、信
号成分とノイズ成分との分離能が向上するために、いっ
そうのノイズ除去が可能となるという効果が得られる。

【００９９】実施の形態７．上記実施の形態６では、画
像データＤ１を空間的なサブブロックへ分割していた
が、この実施の形態７では、画像データＤ１を画像デー
タの深さ方向、すなわちＲＧＢ色空間における分布に基
づいて領域分割を行う。

【０１００】図１６はこの発明の実施の形態７による画
質改善装置の総合画質決定要素改善手段の構成を示すブ
ロック図であり、図において、２０は画像データＤ１を
色クラスに分割する色クラス分割手段、２１は分割され
た色クラスに属する画素から共分散データを計算する色
クラス用共分散計算手段、２２はフィルタ導出手段１４
により導出されたフィルタに対し、色クラス毎の画素デ
ータに作用させるためのフィルタを選択する色クラス用
フィルタ選択手段であり、その他の構成は実施の形態４
の図９と同等である。

【０１０１】次に動作について説明する。図１７はこの
発明の実施の形態７による画質改善装置の総合画質決定
要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ７１，ＳＴ７２は、実施の形態４の図
１０のステップＳＴ３１，ＳＴ３２と同じである。

【０１０２】ステップＳＴ７３において、色クラス分割
手段２０は、画像データ読込手段１１により読み込まれ
た画像データＤ１を色クラス、すなわちＲＧＢ色空間に
おける領域に分割する。図１８は領域分割の模式図で、
ＲＧＢ色空間における領域分割の例を示す図であり、読
み込まれた画像データＤ１が３つの色クラスへ分割され
ていることを示している。

【０１０３】ステップＳＴ７４において、色クラス用共
分散計算手段２１は、それぞれの色クラスに属する全て
の画素から共分散データを計算し、ステップＳＴ７５に
おいて、主成分分析手段１７は、色クラス用共分散計算
手段２１により計算された共分散データに基づき、その
色クラスに属する画素ベクトルの分布の主成分分析を行
い、ステップＳＴ７６において、フィルタ導出手段１４
は、主成分分析手段１７による主成分分析の結果と、ノ
イズデータ読込手段１２により読み込まれた所定のノイ
ズの共分散データにより、ノイズにより劣化していない
原画像とのｋ次元色空間における平均二乗誤差を最小と
する、色クラスにおける更新画像を得るためのフィルタ
を導出する。

【０１０４】ステップＳＴ７７において、全ての色クラ
スについて、次のステップＳＴ７８以降の処理が終了し
ているかを確認し、終了していなければ、ステップＳＴ
７８において、色クラス用フィルタ選択手段２２は、フ
ィルタ導出手段１４により導出されたフィルタを適宜選
択し、ステップＳＴ７９において、フィルタ作用手段１
５は、色クラス用フィルタ選択手段２２により選択され
たフィルタを対象の色クラスの画素データに作用させて
更新画像データを作成する。

【０１０５】ステップＳＴ８０において、更新画像記憶
手段１６は対象の色クラスにおける更新画像データを記
憶しステップＳＴ７７に戻る。ステップＳＴ７８からス
テップＳＴ８０を繰り返し、ステップＳＴ７７におい
て、全ての色クラスに対して更新画像データが生成され
ると、ステップＳＴ８１において、更新画像記憶手段１
６は画像データＤ１全体に対する更新画像データＤ２を
記憶して出力する。

【０１０６】この実施の形態７では、主成分分析手段１
７により色クラスにおける画素から計算された共分散デ
ータに基づき色クラスの画素ベクトルの分布の主成分分
析を行っているが、実施の形態３のように主成分分析は
行わなくても良い。また、所定のノイズの色チャネル間
の共分散データをノイズデータＤ４から読み込んでいる
が、実施の形態５のように、ノイズデータ計算手段１８
により画像データＤ１から計算し求めても良い。

【０１０７】色空間における領域分割について、さらに
詳しく述べる。ディジタル画像の領域分割には様々な手
法が提案されているが、この実施の形態では、ＲＧＢ値
に基づいて、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ，Ｃｙａ
ｎ，Ｍａｇｅｎｔａ，Ｙｅｌｌｏｗ，Ｓｋｉｎ，Ｇｒａ
ｙ，Ｂｌａｃｋ，Ｗｈｉｔｅの１０の色クラスへ領域分
割する手法を導入するが、この手法に限らなくても良
い。

【０１０８】読み込まれた画像データＤ１には既にノイ
ズが混入しており、色クラスへの領域分割においては、
既に混入しているノイズの影響を受けることなく、被写
体が本来有している色クラスへ分割されなければならな
い。

【０１０９】この誤分類防止の一手法として、領域分割
対象の観測画像を予め３×３画素のマスクを用いて平滑
化する。この平均化は領域分割のための前処理として行
うものであり、実際のノイズ除去処理の対象は平滑化を
行わない観測画像である。

【０１１０】前処理の施された観測画像の画素ベクトル
は、ＲＧＢ空間の単位面上に射影され、その位置により
いずれかの色クラスへ分類される。この操作を全画素に
ついて行うことにより領域分割が達成される。具体的に
は以下の手順で行われる。

【０１１１】まず、単位面への射影は以下の式で表され
る。ｒ_i＝ｇ’_Ri／（ｇ’_Ri＋ｇ’_Gi＋ｇ’_Bi）ｇ_i＝ｇ’_Gi／（ｇ’_Ri＋ｇ’_Gi＋ｇ’_Bi）ｂ_i＝ｇ’_Bi／（ｇ’_Ri＋ｇ’_Gi＋ｇ’_Bi）（２０）ここで、ｒ_i，ｇ_i，ｂ_iは、それぞれＲＧＢ空間の単
位面上に射影されたＲｅｄ成分、Ｇｒｅｅｎ成分、Ｂｌ
ｕｅ成分の画素ベクトルであり、ｇ’_Ri，ｇ’ _Gi，ｇ’
_Biは、それぞれ３×３画素のマスクを用いて平滑化され
たＲｅｄ成分、Ｇｒｅｅｎ成分、Ｂｌｕｅ成分の画素ベ
クトルである。

【０１１２】さらに、以下のような直交座標系（ｕ₁，
ｕ₂）に変換する。

【数４】

【０１１３】図１９は単位面上における領域分割を示す
図であり、図１９に示すとおり、色クラスへの領域分割
は、この単位面上で以下のように行われる。（１）単位面の各辺を３等分する座標を求め、この３等
分点と原点と単位面の各頂点とが作る領域をそれぞれＲ
ｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅクラスとする。（２）Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅクラスの間隙にあ
る領域をそれぞれＹｅｌｌｏｗ，Ｃｙａｎ，Ｍａｇｅｎ
ｔａクラスとする。（３）原点を中心とした半径ｒ_g内の領域をＧｒａｙク
ラスとする。（４）Ｇｒａｙクラス内でＴ_wを閾値としてＲ＋Ｇ＋Ｂ
＞Ｔ_wとなる領域をＷｈｉｔｅクラスとする。（５）予め統計的に定められた肌色領域を近似する確率
楕円内をＳｋｉｎクラスとする。（６）Ｔ_Kを閾値として、Ｒ＋Ｇ＋Ｂ＜Ｔ_Kとなる領域
をＢｌａｃｋクラスとする。

【０１１４】上記分類により色クラス間にオーバーラッ
プが生じる場合には、後に行われた分類結果を優先す
る。Ｓｋｉｎクラスを近似する確率楕円はｕ₁，ｕ₂の
平均ｕ _1m，ｕ_2m、分散σ² _u1 ，σ² _u2、共分散ａから次
の（２２）式で求められる。

【数５】ここで、λは対象としている画素ベクトルが楕円の中に
入る確率を表すパラメータで、その値が大きいほど楕円
に入る確率は高くなる。

【０１１５】この実施の形態では、単位面に射影して分
割する例を説明したが、色空間に分布している画素を比
較して、色空間において近接している画素を単位面に射
影しないで、クラスタに分類することにより、色クラス
に分割する手法を用いても良い。

【０１１６】以上のように、この実施の形態７によれ
ば、色空間において近接している画素間には高い相関が
あるため、この相関を用いることによりノイズ除去効果
を向上することができるという効果が得られる。

【０１１７】実施の形態８．図２０はこの発明の実施の
形態８による画質改善装置の総合画質決定要素改善手段
の構成を示すブロック図であり、図において、２３は対
象画素の近傍領域における画素の共分散データを計算す
る近傍領域用共分散計算手段である。この実施の形態
は、実施の形態４の図９における共分散計算手段１３
を、近傍領域用共分散計算手段２３に置き換えたもの
で、画像データＤ１の空間的な近傍領域から１画素毎に
フィルタを導出するものである。

【０１１８】次に動作について説明する。図２１はこの
発明の実施の形態８による画質改善装置の総合画質決定
要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ１０１，ＳＴ１０２は実施の形態４の
図１０におけるステップＳＴ３１，ＳＴ３２と同じであ
る。

【０１１９】ステップＳＴ１０３において、近傍領域用
共分散計算手段２３は、読み込まれた画像データＤ１か
ら対象画素を抽出する。ステップＳＴ１０４において、
全画素について、次のステップＳＴ１０５からステップ
ＳＴ１０９，ＳＴ１０３の処理が終了しているかを確認
し、終了していなければ、ステップＳＴ１０５におい
て、近傍領域用共分散計算手段２３は、抽出された対象
画素の近傍領域の画素の共分散データを計算する。図２
２は領域分割の模式図であり、近傍領域用共分散計算手
段２３は、ｄ_x画素×ｄ_y画素の近傍領域における画素
の共分散データを計算する。

【０１２０】ステップＳＴ１０６において、主成分分析
手段１７は、対象画素の近傍領域ｄ _x画素×ｄ_y画素に
おける画素の共分散データに基づき、近傍領域ｄ_x画素
×ｄ _y画素における画素ベクトル分布の主成分分析を行
う。ステップＳＴ１０７において、フィルタ導出手段１
４は、主成分分析手段１７による主成分分析の結果と、
ノイズデータ読込手段１２により読み込まれた所定のノ
イズの色チャネル間の共分散データにより、ノイズによ
り劣化していない原画像とのｋ次元色空間における平均
二乗誤差を最小とする、対象画素の更新画素を得るため
のフィルタを導出し、ステップＳＴ１０８において、フ
ィルタ作用手段１５は、フィルタ導出手段１４により導
出されたフィルタを対象画素の画素データに作用させ
て、更新画素データを生成する。

【０１２１】ステップＳＴ１０９において、更新画像記
憶手段１６は、対象画素の更新画素データを記憶し、ス
テップＳＴ１０３に戻り次の対象画素を抽出する。ステ
ップＳＴ１０４からステップＳＴ１０９を繰り返し、ス
テップＳＴ１０４において、全画素に対して更新画素デ
ータが生成されると、ステップＳＴ１１０において、更
新画像記憶手段１６は画像データＤ１全体に対する更新
画像データＤ２を記憶し出力する。

【０１２２】この実施の形態では、図２２に示すよう
に、読み込んだ画像データＤ１の左から右へ、上から下
へと１画素毎にフィルタを導出し、導出されたフィルタ
は、対象画素に対して作用される。また、ノイズ除去の
効果は近傍領域の大きさに依存するため、最適なノイズ
除去効果が得られるように適宜調節することが可能であ
る。

【０１２３】また、この実施の形態では、主成分分析手
段１７により、近傍領域における画素ベクトル分布の主
成分分析を行っているが、実施の形態３のように、主成
分分析を行わなくとも良い。さらに、所定のノイズの色
チャネル間の共分散データをノイズデータＤ４から読み
込んでいるが、実施の形態５のように、ノイズデータ計
算手段１８により画像データＤ１から計算し求めても良
い。

【０１２４】以上のように、この実施の形態８によれ
ば、１画素ずつフィルタを導出し作用させることによ
り、サブブロック方式で発生が予想されるブロック間ひ
ずみを生じることなく、ノイズを除去することができる
という効果が得られる。

【０１２５】実施の形態９．実施の形態７では色空間的
な領域分割を行い、実施の形態８では近傍領域の領域分
割を行っているが、この実施の形態は、これら両方の分
割方法を組み合わせたものである。

【０１２６】図２３はこの発明の実施の形態９による画
質改善装置の総合画質決定要素改善手段の構成示すブロ
ック図であり、図において、２４は、画像データ読込手
段１１により読み込まれた画像データＤ１における対象
画素と同色クラスの画素が所定の画素数Ｔになるよう
に、対象画素の近傍領域を設定する同色クラス近傍領域
設定手段で、その他の構成は実施の形態８の図２０に示
す構成と同等である。

【０１２７】次に動作について説明する。図２４はこの
発明の実施の形態９による画質改善装置の総合画質決定
要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ１２１，ＳＴ１２２，ＳＴ１２３，Ｓ
Ｔ１２４は、実施の形態８の図２１のステップＳＴ１０
１，ＳＴ１０２，ＳＴ１０３，ＳＴ１０４と同じであ
る。

【０１２８】ステップＳＴ１２５において、同色クラス
近傍領域設定手段２４は、画像データ読込手段１１によ
り読み込まれた画像データＤ１における対象画素と同色
クラスの画素が所定の画素数Ｔになるように、対象画素
の近傍領域を設定する。図２５は実施の形態９による領
域分割の模式図であり、対象画素と同色クラスの画素が
所定の画素数Ｔになるように、近傍領域をｄ_x画素×ｄ
_y画素や、（ｄ_x＋２）画素×（ｄ_y＋２）画素のよう
に設定する。

【０１２９】対象画素の近傍ｄ_x画素×ｄ_y画素の領域
において、中心である対象画素と同一の色クラスに属す
る画素だけを用いてフィルタを導出する。この際、対象
画素の画素値との差の絶対値が、ノイズの標準偏差の３
倍を越えている画素は、対象画素と同一色クラスであっ
てもフィルタ導出には用いないようにしても良い。

【０１３０】このようにフィルタ導出に用いる画素を選
択していくと、対象画素毎にフィルタ導出に用いる画素
数が異なりノイズ除去効果が不均一となる。したがっ
て、予めフィルタ導出に用いる画素数Ｔを設定してお
き、それに満たない場合にはｄ_x画素×ｄ_y画素の領域
を（ｄ_x＋２）画素×（ｄ_y＋２）画素へ拡大する。

【０１３１】ステップＳＴ１２６において、近傍領域用
共分散計算手段２３は、設定された近傍領域の同色クラ
スの画素の共分散データを計算する。この場合、設定さ
れた近傍領域に同色クラスの画素が所定の画素数Ｔ以上
に存在する場合には、近傍領域内の所定の画素数Ｔだけ
の同色クラスの画素を任意に抽出して、共分散データを
計算する。

【０１３２】ステップＳＴ１２７において、主成分分析
手段１７は、同色クラスの画素の共分散データに基づ
き、近傍領域内の同色クラスの画素ベクトル分布の主成
分分析を行う。ステップＳＴ１２８において、フィルタ
導出手段１４は、主成分分析手段１７による主成分分析
の結果と、ノイズデータ読込手段１２により読み込まれ
た所定のノイズの色チャネル間の共分散データにより、
ノイズにより劣化していない原画像とのｋ次元色空間に
おける平均二乗誤差を最小とする、対象画素の更新画素
を得るためのフィルタを導出し、ステップＳＴ１２９に
おいて、フィルタ作用手段１５は、フィルタ導出手段１
４により導出されたフィルタを対象画素の画素データに
作用させて、更新画素データを生成する。

【０１３３】ステップＳＴ１３０において、更新画像記
憶手段１６は、対象画素の更新画素データを記憶し、ス
テップＳＴ１２３に戻り次の対象画素を抽出する。ステ
ップ１２４からステップＳＴ１３０の処理を繰り返し、
ステップＳＴ１２４において、全画素に対して更新画素
データが生成されると、ステップＳＴ１３１において、
更新画像記憶手段１６は画像データＤ１全体に対する更
新画像データＤ２を記録し出力する。

【０１３４】この実施の形態では、主成分分析手段１７
により、近傍領域内の同色クラスの画素ベクトル分布の
主成分分析を行っているが、実施の形態３のように、主
成分分析を行わなくとも良い。また、所定のノイズの色
チャネル間の共分散データをノイズデータＤ４から読み
込んでいるが、実施の形態５のように、ノイズデータ計
算手段１８により画像データＤ１から計算し求めても良
い。

【０１３５】以上のように、この実施の形態９によれ
ば、空間的に隣接する画素と、色空間において隣接して
いる画素とを用いて共分散データを計算することによ
り、画像信号成分の相関をいっそう高めることができる
ため、無相関であるノイズ成分の分離能が高くなり、ノ
イズ除去の効果を向上することができるという効果が得
られる。

【０１３６】実施の形態１０．上記各実施の形態では、
画像データＤ１を構成している色チャネルをそのままＲ
ＧＢ空間の色チャネルとして使用しているが、この実施
の形態は、使用する機器の仕様を記述したデバイスプロ
ファイルを用いて、画像データＤ１の画素値空間である
ＲＧＢ空間から、国際照明委員会で定めたＣＩＥＸＹ
Ｚ色空間等の、使用する機器に依存しない標準のＸＹＺ
色空間へ変換してフィルタを導出するものである。

【０１３７】図２６はこの発明の実施の形態１０による
画質改善装置の総合画質決定要素改善手段の構成を示す
ブロック図であり、図において、Ｄ５はディジタルカメ
ラ等の撮影機器の仕様を記述した入力機器用デバイスプ
ロファイル、Ｄ６はモニタやプリンタ等の表示機器の仕
様を記述した表示機器用デバイスプロファイルである。

【０１３８】また、図２６において、２５は、入力機器
用デバイスプロファイルＤ５を読み込み、画像データ読
込手段１１により読み込まれた、ＲＧＢ色空間における
画像データＤ１とノイズデータ読込手段１２に読み込ま
れた所定のノイズの色チャネル間の共分散データを、使
用する機器に依存しない標準のＸＹＺ色空間に変換する
色空間変換手段である。

【０１３９】さらに、図２６において、２６は、表示機
器用デバイスプロファイルＤ６を読み込み、フィルタ作
用手段１５により作用された標準のＸＹＺ色空間におけ
る更新画像データを、ＲＧＢ色空間に逆変換する色空間
逆変換手段であり、その他の構成は実施の形態３の図６
に示す構成と同等である。

【０１４０】次に動作について説明する。図２７はこの
発明の実施の形態１０による画質改善装置の総合画質決
定要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ１４１，ＳＴ１４２は実施の形態３の
図７におけるステップＳＴ２１，ＳＴ２２と同じであ
る。

【０１４１】ステップＳＴ１４３において、色空間変換
手段２５は、入力機器用デバイスプロファイルＤ５を読
み込み、画像データ読込手段１１により読み込まれた、
ＲＧＢ色空間における画像データＤ１とノイズデータ読
込手段１２に読み込まれた所定のノイズの色チャネル間
の共分散データを、使用する機器に依存しない標準のＸ
ＹＺ色空間に変換する。

【０１４２】ステップＳＴ１４４において、共分散計算
手段１３は標準のＸＹＺ色空間における画像データＤ１
の色チャネル間の共分散データを計算する。ステップＳ
Ｔ１４５において、フィルタ導出手段１４は、標準のＸ
ＹＺ色空間における画像データＤ１の色チャネル間の共
分散データと標準のＸＹＺ色空間における所定のノイズ
の色チャネル間の共分散データにより、ノイズにより劣
化していない原画像との平均二乗誤差を最小とする更新
画像を得るためのフィルタを導出する。

【０１４３】ステップＳＴ１４６において、フィルタ作
用手段１５は、フィルタ導出手段１４により導出された
フィルタを、標準のＸＹＺ色空間における画像データＤ
１の画素データに作用させて、標準のＸＹＺ色空間にお
ける更新画像データを生成する。

【０１４４】ステップＳＴ１４７において、色空間逆変
換手段２６は、表示機器用デバイスプロファイルＤ６を
読み込み、標準のＸＹＺ色空間における更新画像データ
を、ＲＧＢ色空間における更新画像データに逆変換す
る。ステップＳＴ１４８において、更新画像記憶手段１
６は、逆変換された更新画像データを更新画像データＤ
２として記憶し出力する。

【０１４５】この実施の形態は実施の形態３に適用して
いるが、実施の形態４から実施の形態９に適用しても良
い。

【０１４６】以上のように、この実施の形態１０によれ
ば、所定のノイズにより劣化していない原画像との平均
二乗誤差を最小とする更新画像を得るときに、平均二乗
誤差の最小化を標準のＸＹＺ色空間において実行するこ
とにより、原画像との平均二乗誤差、すなわち原画像と
の色差を最小とすることができるという効果が得られ
る。

【０１４７】この実施の形態１０を適用することによ
り、画像データＤ１を色彩情報と空間情報に分離して評
価並びに改善することができるため、空間情報である鮮
鋭度と粒状度に基づいて総合画質を改善し、さらに、色
彩情報についても最適となるような補正を行うことが可
能である。従来、色補正は色補正マトリクス等により行
われていたが、色補正効果を有するように、この発明に
おけるフィルタを導出することも可能である。

【０１４８】実施の形態１１．図２８はこの発明の実施
の形態１１による画質改善装置の総合画質決定要素改善
手段の構成を示すブロック図であり、この実施の形態
も、実施の形態１０と同様に、使用する機器に依存しな
い標準のＸＹＺ色空間へ変換してフィルタを導出するも
のである。

【０１４９】実施の形態１０の図２６と異なる点は、共
分散計算手段１３がＲＧＢ色空間における画像データＤ
１の色チャネル間の共分散データを計算し、色空間変換
手段２５が、ＲＧＢ色空間における画像データＤ１の色
チャネル間の共分散データを、標準のＸＹＺ色空間にお
ける画像データＤ１の色チャネル間の共分散データに変
換し、主成分分析手段１７が、標準のＸＹＺ色空間にお
ける画像データＤ１の色チャネル間の共分散データに基
づき、画素ベクトルの分布の主成分分析を行っているこ
とである。

【０１５０】次に動作について説明する。図２９はこの
発明の実施の形態１１による画質改善装置の総合画質決
定要素改善手段の処理の流れを示すフローチャートであ
る。ステップＳＴ１５１，ＳＴ１５２は、実施の形態１
０の図２７におけるステップＳＴ１４１，ＳＴ１４２と
同じである。ステップＳＴ１５３において、共分散計算
手段１３は画像データ読込手段１１により読み込まれた
ＲＧＢ色空間における画像データＤ１の色チャネル間の
共分散データを計算する。

【０１５１】ステップＳＴ１５４において、色空間変換
手段２５は、入力機器用デバイスプロファイルＤ５を読
み込み、画像データ読込手段１１により読み込まれたＲ
ＧＢ色空間における画像データＤ１と、共分散計算手段
１３により計算されたＲＧＢ色空間における画像データ
Ｄ１の色チャネル間の共分散データと、ノイズデータ読
込手段１２に読み込まれた所定のノイズの色チャネル間
の共分散データを、使用する機器に依存しない標準のＸ
ＹＺ色空間に変換する。

【０１５２】ステップＳＴ１５５において、主成分分析
手段１７が、標準のＸＹＺ色空間における画像データＤ
１の色チャネル間の共分散データに基づき、画素ベクト
ルの分布の主成分分析を行う。

【０１５３】ステップＳＴ１５６において、フィルタ導
出手段１４は、主成分分析手段１７による主成分分析の
結果と、標準のＸＹＺ色空間における所定のノイズの色
チャネル間の共分散データにより、ノイズにより劣化し
ていない原画像との平均二乗誤差を最小とする更新画像
を得るためのフィルタを導出する。ステップＳＴ１５
７，ＳＴ１５８，ＳＴ１５９は、実施の形態１０の図２
７におけるステップＳＴ１４６，ＳＴ１４７，ＳＴ１４
８と同じである。

【０１５４】この実施の形態は、実施の形態４に適用し
ているが、実施の形態３、実施の形態５から実施の形態
９に適用しても良い。

【０１５５】以上のように、この実施の形態１１によれ
ば、実施の形態１０と同様の効果が得られる。

【０１５６】

【発明の効果】以上のように、この発明によれば、総合
画質決定要素計算手段と、総合画質計算手段と、総合画
質判定手段と、総合画質決定要素改善手段とを備えたこ
とにより、画像の善し悪しについての情報を詳細に獲得
することができ、しかも画質改善の効果を定量的に把握
することができるので、ノイズにより劣化した画像から
鮮鋭性を損なうことなくノイズを除去し、総合的に画質
を改善することができるという効果がある。

【０１５７】この発明によれば、総合画質決定要素計算
手段が鮮鋭度計算手段と粒状度計算手段とを備え、総合
画質決定要素改善手段が鮮鋭度改善手段と粒状度改善手
段とを備えたことにより、鮮鋭度と粒状度と総合画質と
の関係を保持しているので、総合画質が最適となったか
否かを判断することができ、ノイズにより劣化した画像
から鮮鋭性を損なうことなくノイズを除去し、総合的に
画質を改善することができるという効果がある。

【０１５８】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、共分散計算手段と、フ
ィルタ導出手段と、フィルタ作用手段とを備えたことに
より、１画素ずつ更新しているので、エッジ部分におい
ても鮮鋭性を劣化させることなくノイズを除去すること
ができるという効果がある。

【０１５９】この発明によれば、画像データにおける画
素ベクトルの分布の主成分分析を行う主成分分析手段を
備えたことにより、効率良くノイズを除去することがで
きるという効果がある。

【０１６０】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、サブブロック分割手段
と、共分散計算手段と、フィルタ導出手段と、フィルタ
作用手段とを備えたことにより、より高い相関を有する
画像信号成分を抽出することができ、一方、ノイズは空
間的にサブブロックに分割されたとしても、色チャネル
間に相関は持たないため、信号成分とノイズ成分との分
離能が向上するために、いっそうのノイズ除去が可能と
なるという効果がある。

【０１６１】この発明によれば、対象のサブブロックに
おける画素ベクトルの分布の主成分分析を行う主成分分
析手段を備えたことにより、効率良くノイズを除去する
ことができるという効果がある。

【０１６２】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、色クラス分割手段と、
色クラス用共分散計算手段と、フィルタ導出手段と、色
クラス用フィルタ選択手段と、フィルタ作用手段とを備
えたことにより、色空間において近接している画素間に
は高い相関があるため、よりノイズ除去効果を向上する
ことができるという効果がある。

【０１６３】この発明によれば、対象の色クラスにおけ
る画素ベクトルの分布の主成分分析を行う主成分分析手
段を備えたことにより、効率良くノイズを除去すること
ができるという効果がある。

【０１６４】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、近傍領域用共分散計算
手段と、フィルタ導出手段と、フィルタ作用手段とを備
えたことにより、１画素ずつフィルタを導出し作用させ
ることで、サブブロック方式で発生が予想されるブロッ
ク間ひずみを生じることなく、ノイズを除去することが
できるという効果がある。

【０１６５】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、同色クラス近傍領域設
定手段と、近傍領域用共分散計算手段と、フィルタ導出
手段とを備えたことにより、画像信号成分の相関をいっ
そう高めることができるため、無相関であるノイズ成分
の分離能が高くなり、ノイズ除去の効果を向上すること
ができるという効果がある。

【０１６６】この発明によれば、対象画素の近傍領域に
属する画素の画素ベクトルの分布の主成分分析を行う主
成分分析手段を備えたことにより、効率良くノイズを除
去することができるという効果がある。

【０１６７】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、色空間変換手段と、共
分散計算手段と、フィルタ導出手段と、フィルタ作用手
段と、色空間逆変換手段とを備えたことにより、所定の
ノイズにより劣化していない原画像との平均二乗誤差を
最小とする更新画像を得るときに、平均二乗誤差の最小
化を標準のＸＹＺ色空間において実行することで、原画
像との平均二乗誤差、すなわち原画像との色差を最小と
することができるという効果がある。

【０１６８】この発明によれば、標準のＸＹＺ色空間に
おける画像データの色チャネル間の共分散データに基づ
き、画像データにおける画素ベクトルの分布の主成分分
析を行う主成分分析手段を備えたことにより、効率良く
ノイズを除去することができるという効果がある。

【０１６９】この発明によれば、総合画質決定要素改善
手段が、画像データ読込手段と、共分散計算手段と、色
空間変換手段と、フィルタ導出手段と、フィルタ作用手
段と、色空間逆変換手段とを備えたことにより、所定の
ノイズにより劣化していない原画像との平均二乗誤差を
最小とする更新画像を得るときに、平均二乗誤差の最小
化を標準のＸＹＺ色空間において実行することで、原画
像との平均二乗誤差、すなわち原画像との色差を最小と
することができるという効果がある。

【０１７０】この発明によれば、ノイズデータ読込手段
を備えたことにより、フィルタ導出手段が、ノイズによ
り劣化していない原画像とのｋ次元色空間における平均
二乗誤差を最小とする更新画像データを得るためのフィ
ルタを容易に導出することができるという効果がある。

【０１７１】この発明によれば、ノイズデータ計算手段
を備えたことにより、事前のノイズキャラクタライゼー
ションやユーザからの入力が不要となり、ユーザに対し
て便宜を提供することができるという効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１による画質改善装置
の構成を示すブロック図である。

【図２】この発明の実施の形態１による画質改善装置
の処理の流れを示すフローチャートである。

【図３】この発明の実施の形態２による画質改善装置
の総合画質決定要素計算手段の構成を示すブロック図で
ある。

【図４】この発明の実施の形態２による画質改善装置
の総合画質決定要素改善手段の構成を示すブロック図で
ある。

【図５】この発明の実施の形態２による画質改善装置
の処理の流れを示すフローチャートである。

【図６】この発明の実施の形態３による画質改善装置
の総合画質決定要素改善手段の構成を示すブロック図で
ある。

【図７】この発明の実施の形態３による画質改善装置
の総合画質決定要素改善手段の処理の流れを示すフロー
チャートである。

【図８】この発明の実施の形態３による画質改善装置
における画質改善の各ベクトルの対応関係を示す図であ
る。

【図９】この発明の実施の形態４による画質改善装置
の総合画質決定要素改善手段の構成を示すブロック図で
ある。

【図１０】この発明の実施の形態４による画質改善装
置の総合画質決定要素改善手段の処理の流れを示すフロ
ーチャートである。

【図１１】この発明の実施の形態５による画質改善装
置の総合画質決定要素改善手段の構成を示すブロック図
である。

【図１２】この発明の実施の形態５による画質改善装
置の総合画質決定要素改善手段の処理の流れを示すフロ
ーチャートである。

【図１３】この発明の実施の形態６による画質改善装
置の総合画質決定要素改善手段の構成を示すブロック図
である。

【図１４】この発明の実施の形態６による画質改善装
置の総合画質決定要素改善手段の処理の流れを示すフロ
ーチャートである。

【図１５】この発明の実施の形態６による画質改善装
置における領域分割の模式図である。

【図１６】この発明の実施の形態７による画質改善装
置の総合画質決定要素改善手段の構成を示すブロック図
である。

【図１７】この発明の実施の形態７による画質改善装
置の総合画質決定要素改善手段の処理の流れを示すフロ
ーチャートである。

【図１８】この発明の実施の形態７による画質改善装
置における領域分割の模式図である。

【図１９】この発明の実施の形態７による画質改善装
置の単位面上における領域分割を示す図である。

【図２０】この発明の実施の形態８による画質改善装
置の総合画質決定要素改善手段の構成を示すブロック図
である。

【図２１】この発明の実施の形態８による画質改善装
置の総合画質決定要素改善手段の処理の流れを示すフロ
ーチャートである。

【図２２】この発明の実施の形態８による画質改善装
置における領域分割の模式図である。

【図２３】この発明の実施の形態９による画質改善装
置の総合画質決定要素改善手段の構成を示すブロック図
である。

【図２４】この発明の実施の形態９による画質改善装
置の総合画質決定要素改善手段の処理の流れを示すフロ
ーチャートである。

【図２５】この発明の実施の形態９による画質改善装
置における領域分割の模式図である。

【図２６】この発明の実施の形態１０による画質改善
装置の総合画質決定要素改善手段の構成を示すブロック
図である。

【図２７】この発明の実施の形態１０による画質改善
装置の総合画質決定要素改善手段の処理の流れを示すフ
ローチャートである。

【図２８】この発明の実施の形態１１による画質改善
装置の総合画質決定要素改善手段の構成を示すブロック
図である。

【図２９】この発明の実施の形態１１による画質改善
装置の総合画質決定要素改善手段の処理の流れを示すフ
ローチャートである。

【符号の説明】

１総合画質決定要素計算手段、２総合画質計算手
段、３総合画質判定手段、４総合画質決定要素改善
手段、５鮮鋭度計算手段、６粒状度計算手段、７
鮮鋭度改善手段、８粒状度改善手段、１１画像デー
タ読込手段、１２ノイズデータ読込手段、１３共分散
計算手段、１４フィルタ導出手段、１５フィルタ作
用手段、１６更新画像記憶手段、１７主成分分析手
段、１８ノイズデータ計算手段、１９サブブロック分
割手段、２０色クラス分割手段、２１色クラス用共
分散計算手段、２２色クラス用フィルタ選択手段、２
３近傍領域用共分散計算手段、２４同色クラス近傍
領域設定手段、２５色空間変換手段、２６色空間逆
変換手段、Ｄ１画像データ、Ｄ２更新画像データ、
Ｄ３補正画像データ、Ｄ４ノイズデータ、Ｄ５入
力機器用デバイスプロファイル、Ｄ６表示機器用デバ
イスプロファイル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者羽石秀昭千葉県千葉市稲毛区弥生町１番33号千葉大学内 (72)発明者津村徳道千葉県千葉市稲毛区弥生町１番33号千葉大学内Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CB17 CC01 CE02 CE03 CE06 CH08 CH18 DA17 5C077 LL02 MP08 PP01 PP03 PP31 PP32 PP43 PP46 PP47 PP49 PP61 PP68 PQ08 PQ12 PQ20

Claims

【特許請求の範囲】

【請求項１】ノイズにより劣化した画像データを入力
し、画像データの総合画質の決定要素を評価する値を個
別に計算する総合画質決定要素計算手段と、上記総合画質決定要素計算手段により計算された総合画
質の決定要素を評価する値から、画像データの総合画質
を表す値を計算する総合画質計算手段と、上記総合画質計算手段により計算された総合画質を表す
値の最大値を求めることにより、画像データの総合画質
を表す値が最適であるか否かを判定し、最適である場合
に補正画像データとして出力する総合画質判定手段と、画像データの総合画質を表す値が最適でない場合に、画
像データの総合画質の決定要素を個別に改善する方向に
更新し、更新画像データを生成する総合画質決定要素改
善手段とを備え、上記総合画質決定要素計算手段が、上記総合画質決定要
素改善手段により生成された更新画像データを入力し、
上記総合画質決定要素計算手段、上記総合画質計算手
段、上記総合画質判定手段、及び総合画質決定要素改善
手段の各処理を繰り返すことにより、上記総合画質判定
手段が画像データの総合画質を表す値の最大値を求める
ことを特徴とする画質改善装置。
【請求項２】総合画質決定要素計算手段が、画像データの総合画質の決定要素を評価する値である鮮
鋭度を計算する鮮鋭度計算手段と、画像データの総合画質の決定要素を評価する値である粒
状度を計算する粒状度計算手段とを備え、総合画質決定要素改善手段が、画像データの鮮鋭度を改善する鮮鋭度改善手段と、画像データの粒状度を改善する粒状度改善手段とを備え
たことを特徴とする請求項１記載の画質改善装置。
【請求項３】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、上記画像データ読込手段により読み込まれた画像データ
における色チャネル間の共分散データを計算する共分散
計算手段と、上記共分散計算手段により計算された画像データにおけ
る色チャネル間の共分散データと、所定のノイズの色チ
ャネル間の共分散データにより、ノイズにより劣化して
いない原画像とのｋ次元色空間における平均二乗誤差を
最小とする更新画像データを得るためのフィルタを導出
するフィルタ導出手段と、上記フィルタ導出手段により導出されたフィルタを、上
記画像データ読込手段により読み込まれた画像データに
おける画素データに作用させて更新画像データを生成す
るフィルタ作用手段とを備えたことを特徴とする請求項
１記載の画質改善装置。
【請求項４】共分散計算手段により計算された画像デ
ータにおける色チャネル間の共分散データに基づき、画
像データにおける画素ベクトルの分布の主成分分析を行
う主成分分析手段を備え、フィルタ導出手段が、上記主成分分析手段による主成分
分析の結果と、所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする更新画像
データを得るためのフィルタを導出することを特徴とす
る請求項３記載の画質改善装置。
【請求項５】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、上記画像データ読込手段により読み込まれた画像データ
をサブブロックに分割するサブブロック分割手段と、上記サブブロック分割手段により分割された対象のサブ
ブロックにおける色チャネル間の共分散データを計算す
る共分散計算手段と、上記共分散計算手段により計算された対象のサブブロッ
クにおける色チャネル間の共分散データと、所定のノイ
ズの色チャネル間の共分散データにより、ノイズにより
劣化していない原画像とのｋ次元色空間における平均二
乗誤差を最小とする対象のサブブロックにおける更新画
像データを得るためのフィルタを導出するフィルタ導出
手段と、上記フィルタ導出手段により導出されたフィルタを、上
記サブブロック分割手段により分割された対象のサブブ
ロックにおける画素データに作用させて対象のサブブロ
ックにおける更新画像データを生成するフィルタ作用手
段とを備えたことを特徴とする請求項１記載の画質改善
装置。
【請求項６】共分散計算手段により計算された対象の
サブブロックにおける色チャネル間の共分散データに基
づき、対象のサブブロックにおける画素ベクトルの分布
の主成分分析を行う主成分分析手段を備え、フィルタ導出手段が、上記主成分分析手段による主成分
分析の結果と、所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする対象のサ
ブブロックにおける更新画像データを得るためのフィル
タを導出することを特徴とする請求項５記載の画質改善
装置。
【請求項７】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、上記画像データ読込手段により読み込まれた画像データ
を色クラスに分割する色クラス分割手段と、上記色クラス分割手段により分割された対象の色クラス
に属する画素から共分散データを計算する色クラス用共
分散計算手段と、上記色クラス用共分散計算手段により計算された対象の
色クラスにおける共分散データと、所定のノイズの色チ
ャネル間の共分散データにより、ノイズにより劣化して
いない原画像とのｋ次元色空間における平均二乗誤差を
最小とする対象のサブブロックにおける更新画像データ
を得るためのフィルタを導出するフィルタ導出手段と、上記フィルタ導出手段により導出されたフィルタを選択
する色クラス用フィルタ選択手段と、上記色クラス用フィルタ選択手段により選択されたフィ
ルタを、上記色クラス分割手段により分割された対象の
色クラスにおける画素データに作用させて対象の色クラ
スにおける更新画像データを生成するフィルタ作用手段
とを備えたことを特徴とする請求項１記載の画質改善装
置。
【請求項８】色クラス用共分散計算手段により計算さ
れた対象の色クラスにおける共分散データに基づき、対
象の色クラスにおける画素ベクトルの分布の主成分分析
を行う主成分分析手段を備え、フィルタ導出手段が、上記主成分分析手段による主成分
分析の結果と、所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする対象の色
クラスにおける更新画像データを得るためのフィルタを
導出することを特徴とする請求項７記載の画質改善装
置。
【請求項９】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、上記画像データ読込手段により読み込まれた画像データ
における対象画素の近傍領域に属する画素の共分散デー
タを計算する近傍領域用共分散計算手段と、上記近傍領域用共分散計算手段により計算された対象画
素の近傍領域に属する画素の共分散データと、所定のノ
イズの色チャネル間の共分散データにより、ノイズによ
り劣化していない原画像とのｋ次元色空間における平均
二乗誤差を最小とする更新画像データを得るためのフィ
ルタを導出するフィルタ導出手段と、上記フィルタ導出手段により導出されたフィルタを、上
記画像データ読込手段により読み込まれた画像データに
おける画素データに作用させて更新画像データを生成す
るフィルタ作用手段とを備えたことを特徴とする請求項
１記載の画質改善装置。
【請求項１０】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、上記画像データ読込手段により読みこまれた画像データ
における対象画素と同色クラスの画素が所定の画素数に
なるように、対象画素の近傍領域を設定する同色クラス
近傍領域設定手段と、上記同色クラス近傍領域設定手段により設定された対象
画素の近傍領域に属する画素の共分散データを計算する
近傍領域用共分散計算手段と、上記近傍領域用共分散計算手段により計算された対象画
素の近傍領域に属する画素の共分散データと、所定のノ
イズの色チャネル間の共分散データにより、ノイズによ
り劣化していない原画像とのｋ次元色空間における平均
二乗誤差を最小とする更新画像データを得るためのフィ
ルタを導出するフィルタ導出手段とを備えたことを特徴
とする請求項１記載の画質改善装置。
【請求項１１】近傍領域用共分散計算手段により計算
された画像データにおける対象画素の近傍領域に属する
画素の共分散データに基づき、対象画素の近傍領域に属
する画素の画素ベクトルの分布の主成分分析を行う主成
分分析手段を備え、フィルタ導出手段が、上記主成分分析手段による主成分
分析の結果と、所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする更新画像
データを得るためのフィルタを導出することを特徴とす
る請求項９又は請求項１０記載の画質改善装置。
【請求項１２】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、撮影機器の仕様を記述した入力機器用デバイスプロファ
イルを読み込み、上記画像データ読込手段により読み込
まれたＲＧＢ色空間における画像データと所定のノイズ
の色チャネル間の共分散データを、使用する機器に依存
しない標準のＸＹＺ色空間に変換する色空間変換手段
と、上記色空間変換手段により変換された標準のＸＹＺ色空
間における画像データの色チャネル間の共分散データを
計算する共分散計算手段と、上記共分散計算手段により計算された標準のＸＹＺ色空
間における画像データの色チャネル間の共分散データ
と、上記色空間変換手段により変換された標準のＸＹＺ
色空間における所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする更新画像
データを得るためのフィルタを導出するフィルタ導出手
段と、上記フィルタ導出手段により導出されたフィルタを、上
記色空間変換手段により変換された標準のＸＹＺ色空間
における画像データにおける画素データに作用させて更
新画像データを生成するフィルタ作用手段と、表示機器の仕様を記述した表示機器用デバイスプロファ
イルを読み込み、上記フィルタ作用手段により生成され
た標準のＸＹＺ色空間における更新画像データを、ＲＧ
Ｂ色空間に逆変換する色空間逆変換手段とを備えたこと
を特徴とする請求項１記載の画質改善装置。
【請求項１３】共分散計算手段により計算された標準
のＸＹＺ色空間における画像データの色チャネル間の共
分散データに基づき、画像データにおける画素ベクトル
の分布の主成分分析を行う主成分分析手段を備え、フィルタ導出手段が、上記主成分分析手段による主成分
分析の結果と、標準のＸＹＺ色空間における所定のノイ
ズの色チャネル間の共分散データにより、ノイズにより
劣化していない原画像とのｋ次元色空間における平均二
乗誤差を最小とする更新画像データを得るためのフィル
タを導出することを特徴とする請求項１２記載の画質改
善装置。
【請求項１４】総合画質決定要素改善手段が、ｋ個の色チャネルで構成される、ノイズにより劣化した
画像データを読み込む画像データ読込手段と、上記画像データ読込手段により読み込まれた画像データ
の色チャネル間の共分散データを計算する共分散計算手
段と、撮影機器の仕様を記述した入力機器用デバイスプロファ
イルを読み込み、上記画像データ読込手段により読み込
まれたＲＧＢ色空間における画像データと、上記共分散
計算手段により計算された画像データの色チャネル間の
共分散データと、所定のノイズの色チャネル間の共分散
データを、使用する機器に依存しない標準のＸＹＺ色空
間に変換する色空間変換手段と、上記色空間変換手段により変換された標準のＸＹＺ色空
間における画像データの色チャネル間の共分散データ
と、上記色空間変換手段により変換された標準のＸＹＺ
色空間における所定のノイズの色チャネル間の共分散デ
ータにより、ノイズにより劣化していない原画像とのｋ
次元色空間における平均二乗誤差を最小とする更新画像
データを得るためのフィルタを導出するフィルタ導出手
段と、上記フィルタ導出手段により導出されたフィルタを、上
記色空間変換手段により変換された標準のＸＹＺ色空間
における画像データの画素データに作用させて更新画像
データを生成するフィルタ作用手段と、表示機器の仕様を記述した表示機器用デバイスプロファ
イルを読み込み、上記フィルタ作用手段により生成され
た標準のＸＹＺ色空間における更新画像データを、ＲＧ
Ｂ色空間に逆変換する色空間逆変換手段とを備えたこと
を特徴とする請求項１記載の画質改善装置。
【請求項１５】色空間変換手段により変換された標準
のＸＹＺ色空間における画像データの色チャネル間の共
分散データに基づき、画像データにおける画素ベクトル
の分布の主成分分析を行う主成分分析手段を備え、フィルタ導出手段が、上記主成分分析手段による主成分
分析の結果と、標準のＸＹＺ色空間における所定のノイ
ズの色チャネル間の共分散データにより、ノイズにより
劣化していない原画像とのｋ次元色空間における平均二
乗誤差を最小とする更新画像データを得るためのフィル
タを導出することを特徴とする請求項１４記載の画質改
善装置。
【請求項１６】所定のノイズの色チャネル間の共分散
データを記述したノイズデータを読み込むノイズデータ
読込手段を備えたことを特徴とする請求項３から請求項
１５のうちのいずれか１項記載の画質改善装置。
【請求項１７】ｋ個の色チャネルで構成される、ノイ
ズにより劣化した画像データの均一濃度領域から所定の
ノイズの色チャネル間の共分散データを計算するノイズ
データ計算手段を備えたことを特徴とする請求項３から
請求項１５のうちのいずれか１項記載の画質改善装置。