JP2008310666A - 画像処理装置およびこれを備えた撮像システム - Google Patents

Abstract

【課題】変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ容量を低減させることの可能な画像処理装置およびこれを備えた撮像システムを提供することを目的とする。
【解決手段】入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、前記第１の映像信号を第２の映像信号に変換する変換手段と、前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出手段と、前記算出手段によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減された第２の映像信号を逆変換する逆変換手段と、を備える。
【選択図】図１

Description

本発明は、映像信号のノイズを低減する画像処理装置およびこれを備えた撮像システムに関するものである。

撮像素子とそれに付随するアナログ回路およびＡ／Ｄ変換器コンバータから得られるデジタル化された信号中には、一般的にノイズ成分が含まれている。このノイズ成分は、固定パターンノイズとランダムノイズに大別することができる。固定パターンノイズは、主に撮像素子に起因するノイズであり、欠陥画素などに代表される。一方、ランダムノイズは、撮像素子およびアナログ回路で発生するもので、ホワイトノイズに近い特性を有している。

ランダムノイズの除去方法に関しては、ノイズ量を信号レベルに対して関数化し、この関数から推定されるノイズ量に基づいて、フィルタリングの周波数特性を制御する手法が開示されている（例えば特許文献１参照）。
また、ノイズに影響を与える信号レベル、撮影時のＣＣＤの温度、露光時間、およびゲイン等の要因を動的に取得することによってＣＣＤ上のノイズ量を局所的に推定し、推定したノイズ量以下の信号成分を抑制することにより、エッジを保存しながらノイズ低減処理を行う手法が開示されている（例えば特許文献２参照）。
特開２００１−１５７０５７号公報 特開２００４−７２４２２号公報

しかしながら、映像信号を周波数空間等複数の異なる空間に変換してノイズ低減を行う場合には、変換された各信号に対してノイズ量を推定する必要がある。そのため、変換された空間に対応したノイズ量推定の関数等を複数用意しなければならず、大きなメモリ容量が必要となるという問題があった。

本発明は、上記問題に鑑みてなされたもので、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ容量を低減させることの可能な画像処理装置およびこれを備えた撮像システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、前記第１の映像信号を第２の映像信号に変換する変換手段と、前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出手段と、前記算出手段によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減された第２の映像信号を逆変換する逆変換手段と、を備えることを特徴とする。

本発明に係る画像処理装置によれば、変換前の映像信号である第１の映像信号に含まれるノイズ量を推定し、推定された第１の映像信号のノイズ量を用いて変換後の映像信号である第２の映像信号に含まれるノイズ量を算出する。また、算出された第２の映像信号に含まれるノイズ量を用いて第２の映像信号のノイズ低減を行い、ノイズ低減後の第２の映像信号を第１の映像信号に逆変換することで、第１の映像信号のノイズ低減が行われる。
以上のように、第１の映像信号に含まれるノイズ量に基づいて第２の映像信号のノイズ低減を行うことができるので、第２の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ量を節約することが可能となる。特に、例えば多重解像度変換等により、変換後の映像信号のデータ量が大きく増大する場合に有効である。

本発明に係る撮像システムは、上記の画像処理装置を備えたことを特徴とする。

本発明に係る画像処理プログラムは、入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定処理と、前記第１の映像信号を第２の映像信号に変換する変換処理と、前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定処理によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出処理と、前記算出処理によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減処理と、前記ノイズ低減処理によってノイズ低減された第２の映像信号を逆変換する逆変換処理と、をコンピュータに実行させることを特徴とする。

本発明に係る画像処理方法は、入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定工程と、前記第１の映像信号を第２の映像信号に変換する変換工程と、前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定工程によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出工程と、前記算出工程によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減工程と、前記ノイズ低減工程によってノイズ低減された第２の映像信号を逆変換する逆変換工程と、を含むことを特徴とする。

本発明によれば、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ量を節約することが可能となる。

以下に、本発明の実施形態に係る撮像システムについて、図面を参照して説明する。
図１は本実施形態に係る撮像システムの概略構成図である。
撮像システム１は、撮像装置２と、画像処理装置３とを主な構成要素として備えている。
撮像装置２は、レンズ系１００、絞り１０１、ＡＦモータ１０２、およびＣＣＤ１０３を備えている。
画像処理装置３は、Ａ／Ｄ変換器１０４、バッファ１０５、撮影制御部１０６、信号処理部１０７、ノイズ量推定部（ノイズ量推定手段）１０８、変換部（変換手段）１０９、算出部（算出手段）１１０、ノイズ低減部（ノイズ低減手段）１１１、逆変換部（逆変換手段）１１２、圧縮部１１３、出力部１１４、制御部１１５、および外部Ｉ／Ｆ部１１６を備えている。

撮像装置２と画像処理装置３とは、画像処理装置３内のＡ／Ｄ変換器１０４および撮影制御部１０６を介して接続している。
撮像装置２に接続されたＡ／Ｄ変換器１０４は、バッファ１０５に接続している。バッファ１０５は、撮影制御部１０６および信号処理部１０７に接続している。信号処理部１０７は、ノイズ量推定部１０８および変換部１０９へ接続している。変換部１０９はノイズ低減部１１１へ接続しており、ノイズ低減部１１１は逆変換部１１２へ接続している。ノイズ量推定部１０８は算出部１１０へ接続しており、算出部１１０はノイズ低減部１１１へ接続している。逆変換部１１２は圧縮部１１３へ接続しており、圧縮部１１３は出力部１１４へ接続している。マイクロコンピュータなどの制御部１１５は、撮影制御部１０６、信号処理部１０７、ノイズ量推定部１０８、変換部１０９、算出部１１０、ノイズ低減部１１１、逆変換部１１２、および圧縮部１１３と双方向に接続している。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１１６も制御部１１５と双方向に接続している。
また、撮影制御部１０６は、撮像装置２内の絞り１０１、ＡＦモータ１０２、およびＣＣＤ１０３へ接続している。

上記構成を有する撮像システム１において、まず、撮像システム１全体の信号の流れについて以下に説明する。
撮像システム１は、ユーザまたは図示しない外部入力部によって、外部Ｉ／Ｆ部１１６を介してＩＳＯ感度、露出などの撮影条件が設定された後、図示しないシャッターボタンが半押しにされることでプリ撮影モードとなる。
上記の状態において、レンズ系１００、絞り１０１、ＣＣＤ１０３を介して撮影された映像信号は、Ａ／Ｄ変換器１０４にてデジタル信号へ変換されてバッファ１０５へ転送される。なお、本実施形態においてＣＣＤ１０３はＲＧＢ原色系の単板ＣＣＤを想定し、Ａ／Ｄ変換器１０４による信号の階調幅を例えば１２ｂｉｔとする。

バッファ１０５内の映像信号は撮影制御部１０６へ転送される。撮影制御部１０６は映像信号のＡＦエリア内のコントラスト情報を検出し、これが最大となるようにＡＦモータ１０２を制御することで合焦信号を得て距離情報が取得される。あるいは、プリ撮影時に映像信号を取得せず、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、それに応じてＡＦモータ１０２を制御し、合焦位置における距離情報を得てもよい。

撮影制御部１０６は、信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるように、絞り１０１およびＣＣＤ１０３の電子シャッター速度などを制御する。

次に、外部Ｉ／Ｆ部１１６を介して図示しないシャッターボタンが全押しにされることにより本撮影が行われる。本撮影は、撮影制御部１０６にて求められた合焦条件および露光条件に基づいて行われ、これら撮影時の各種設定情報は制御部１１５へ転送されるとともに、撮像装置２からの映像信号は、バッファ１０５に転送される。

信号処理部１０７は、制御部１１５の制御に基づいてバッファ１０５上の単板状態の映像信号を読み込み、公知の補間処理やホワイトバランス処理などを行うことによって三板状態の映像信号を生成し、この三板状態の映像信号をノイズ量推定部１０８および変換部１０９へ転送する。

変換部１０９は、信号処理部１０７からの映像信号を異なる空間における信号に変換し、変換後の映像信号をノイズ低減部１１１に転送する。
一方、ノイズ量推定部１０８は、信号処理部１０７からの映像信号で表される画像に含まれるノイズ量を推定し、その推定結果を算出部１１０へ転送する。算出部１１０は、ノイズ量推定部１０８にて推定されたノイズ量を異なる空間におけるノイズ量に変換し、ノイズ低減部１１１に出力する。
ノイズ低減部１１１は、算出部１１０のノイズ量の情報を用いて変換部１０９からの映像信号に対してノイズ低減処理を実施する。

ノイズ低減が行われた映像信号は、逆変換部１１２へ転送され、逆変換部１１２にて実空間における信号に逆変換される。

圧縮部１１３は、逆変換部１１２から転送された信号に対して公知のＪＰＥＧ等の圧縮処理を行い、出力部１１４へ転送し、出力部１１４によりメモリカード等へ圧縮信号が記録保存される。

次に、図１に示す各部の詳細な処理について以下に説明する。
まず、ノイズ量推定部１０８における詳細な処理について、図２を用いて説明する。
図２に示すように、ノイズ量推定部１０８は、局所領域抽出部（画像領域抽出手段）２００、バッファ２０１、平均輝度算出部（平均値算出手段）２０２、ゲイン算出部（増幅率算出手段）２０３、標準値付与部（標準値付与手段）２０４、ノイズ量算出部（ノイズ量算出手段）２０５、およびパラメータ用ＲＯＭ２０６を備えている。

信号処理部１０７は、局所領域抽出部２００、バッファ２０１、平均輝度算出部２０２を介してノイズ量算出部２０５に接続している。ノイズ量算出部２０５には、ゲイン算出部２０３、標準値付与部２０４およびパラメータ用ＲＯＭ２０６からも接続されている。また、ノイズ量算出部２０５は算出部１１０へ接続している。
制御部１１５は、局所領域抽出部２００、平均輝度算出部２０２、ゲイン算出部２０３、標準値付与部２０４、ノイズ量算出部２０５と双方向に接続している。

上記構成を有するノイズ量推定部１０８における処理について以下に説明する。
まず、ゲイン算出部２０３は、制御部１１５の制御により、外部Ｉ／Ｆ部１１０を介して設定されたＩＳＯ感度に基づいてゲインの増幅率を求め、これをノイズ量算出部２０５へ転送する。ここで、本実施形態では、例えばＩＳＯ感度は１００、２００、４００の三段階を想定し、各々の増幅率を１、２、４倍と設定する。
なお、ＩＳＯ感度の情報が得られなかった場合には、制御部１１５は、標準値付与部２０４に対して所定の増幅率、例えばＩＳＯ感度１００に対応する１倍の増幅率をノイズ量算出部２０５へ転送する。

ノイズ量算出部２０５は、制御部１１５の制御により、ゲイン算出部２０３または標準値付与部２０４からの増幅率に基づいてパラメータ用ＲＯＭ２０６からノイズ量算出に用いる関数情報を求める。

図３は、パラメータ用ＲＯＭ２０６に記録されているノイズ量算出に用いる関数情報を説明する図である。ノイズ量Ｎは、輝度値Ｙに対してべき乗の形態で増加する。これを関数でモデル化すると（１）式のようになる。
Ｎ＝αＹ^β＋γ・・・（１）
ここで、α、β、γは定数である。さらに、ノイズ量はゲイン増幅率により増減することになる。

図３に示す３本のグラフは、ＩＳＯ感度１００、２００、４００の三段階に関するノイズ量と輝度値の関係を示している。増幅率による差を考慮して（１）式を拡張すると、以下の（２）式のようになる。
Ｎ＝α_ｉＹ^βｉ＋γ_ｉ・・・（２）
ここで、ｉは増幅率を示すパラメータで、本実施形態ではｉ＝１，２，４となる。パラメータ用ＲＯＭ２０６にはα_ｉ，β_ｉ，γ_ｉの定数項が記録される。

ノイズ量算出部２０５は、ゲイン算出部２０３または標準値付与部２０４からの増幅率に基づいてパラメータ用ＲＯＭ２０６から上記α_ｉ，β_ｉ，γ_ｉの定数項を読み出す。
上記過程は、１枚の映像信号に関して１回のみ行われる。

制御部１１５は、局所領域抽出部２００を制御し、バッファ１０３上にある映像信号で表される画像から所定サイズの領域、例えば５×５画素単位の領域の信号を抽出してバッファ２０１へ転送する。平均輝度算出部２０２は、制御部１１５の制御により、バッファ２０１上のＲＧＢ信号について、画素単位で例えば以下の（３）式に示されるような輝度信号Ｙを求める。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ・・・（３）

領域内の画素単位で上記輝度信号を算出し、さらにその平均値を求め、これをノイズ量算出部２０５へ転送する。ノイズ量算出部２０５は、転送された平均輝度から（２）式に基づいてノイズ量を算出し、算出したノイズ量を算出部１１０へ転送する。ここで、上記のノイズ量は、局所領域抽出部２００で抽出された領域の中心画素のノイズ量と仮定される。この際、制御部１１５は、局所領域抽出部２００に対して所定サイズの領域を水平及び垂直方向に１画素単位で移動しながら全映像信号からノイズ量を算出するように制御を行う。
上述の処理により、ノイズ量推定部１０８において映像信号のノイズ量が推定される。

次に、変換部１０９における詳細な処理について図４を用いて説明する。
図４に示すように、変換部１０９は、バッファ３００、周波数変換部（周波数変換手段）３０１、多重解像度分解部（多重解像度分解手段）３０２、色変換部（色変換手段）３０３、およびバッファ３０４を備えている。なお、本実施形態の説明では、変換部１０９が周波数変換部３０１，多重解像度分解部３０２および色変換部３０３を備えているものとして説明するが、変換部１０９は、周波数変換部３０１，多重解像度分解部３０２および色変換部３０３のうち少なくとも１つ以上を備えていればよい。
信号処理部１０７に接続するバッファ３００は、周波数変換部３０１、多重解像度分解部３０２、および色変換部３０３に接続している。また、周波数変換部３０１、多重解像度分解部３０２、および色変換部３０３は、バッファ３０４に接続している。このバッファ３０４はノイズ低減部１１１に接続している。また、制御部１１５は、周波数変換部３０１、多重解像度分解部３０２、および色変換部３０３と双方向に接続している。

上記構成を有する変換部１０９における処理について以下に説明する。
信号処理部１０７で処理された映像信号は、バッファ３００に転送される。
周波数変換部３０１は、バッファ３００から転送された映像信号Ｉ（ｋ，ｌ）（０≦ｋ≦Ｋ−１，０≦ｌ≦Ｌ−１は映像信号中の座標）を、例えば（４）式に示される周波数空間における信号Ｉ‘（ｕ，ｖ）（ｕ，ｖは周波数空間における座標）に変換する。

ここで、Ｃ（ｕ），Ｃ（ｖ）は規格化定数である。

多重解像度分解部３０２は、バッファ３００から転送された映像信号Ｉ（ｋ，ｌ）を多重解像度空間における信号に変換する。多重解像度分解としては、例えば、ＨａａｒやＤａｕｂｅｃｈｉｅｓの基底あるいはガウシアンフィルタやラプラシアンフィルタが用いられる。Ｈａａｒの基底係数の場合、ハイパスフィルタ係数ｆ_ｈおよびローパスフィルタ係数ｆ_ｌは（５）式のようになる。
ｆ_ｈ＝｛１／２，−１／２｝
ｆ_ｌ＝｛１／２，１／２｝・・・（５）

ここで、多重解像度分解部３０２の詳細な処理について図７および図８を用いて以下に説明する。
図７は、多重解像度分解の説明およびそれぞれの要素の名前を示している。
水平方向の要素はＨ、垂直方向の要素はＶ、対角方向の要素はＤ、低周波の要素はＬとなっている。また、添え字は各要素のレベルを表している。
映像信号は後述する多重解像度分解によって図７に示される信号に変換される。

図８は、多重解像度分解部３０２の構成の一例を示すものである。
多重解像度分解部３０２は、バッファ６００、フィルタ係数用ＲＯＭ６０１、係数読み出し部６０２、水平方向ハイパスフィルタ部６０３、水平方向ローパスフィルタ部６０４、ダウンサンプル部６０５、ダウンサンプル部６０６、垂直方向ハイパスフィルタ部６０７、垂直方向ローパスフィルタ部６０８、垂直方向ハイパスフィルタ部６０９、垂直方向ローパスフィルタ部６１０、ダウンサンプル部６１１、ダウンサンプル部６１２、ダウンサンプル部６１３、ダウンサンプル部６１４、データ転送部６１５、および転送部６１６を備えている。

バッファ３００はバッファ６００に接続している。バッファ６００は水平方向ハイパスフィルタ部６０３および水平方向ローパスフィルタ部６０４に接続している。水平方向ハイパスフィルタ部６０３はダウンサンプル部６０５に接続しており、水平方向ローパスフィルタ部６０４はダウンサンプル部６０６に接続している。ダウンサンプル部６０５は垂直方向ハイパスフィルタ部６０７および垂直方向ローパスフィルタ部６０８に接続している。ダウンサンプル部６０６は垂直方向ハイパスフィルタ部６０９および垂直方向ローパスフィルタ部６１０に接続している。垂直方向ハイパスフィルタ部６０７はダウンサンプル部６１１に接続しており、垂直方向ローパスフィルタ部６０８はダウンサンプル部６１２に接続している。垂直方向ハイパスフィルタ部６０９はダウンサンプル部６１３に接続しており、垂直方向ローパスフィルタ部６１０はダウンサンプル部６１４に接続している。ダウンサンプル部６１１、ダウンサンプル部６１２、ダウンサンプル部６１３およびダウンサンプル部６１４は転送部６１６に接続している。また、ダウンサンプル部６１４はデータ転送部６１５に接続している。転送部６１６はバッファ３０４に接続しており、データ転送部６１５はバッファ６００に接続している。フィルタ係数用ＲＯＭ６０１は係数読み出し部６０２と接続しており、係数読み出し部６０２は水平方向ハイパスフィルタ部６０３、水平方向ローパスフィルタ部６０４、垂直方向ハイパスフィルタ部６０７、垂直方向ローパスフィルタ部６０８、垂直方向ハイパスフィルタ部６０９および垂直方向ローパスフィルタ部６１０と接続している。制御部１１５は、係数読み出し部６０２、データ転送部６１５および転送部６１６と双方向に接続している。

上記構成を有する多重解像度分解部３０２における信号の流れを以下に説明する。
フィルタ係数用ＲＯＭ６０１は、（５）式に示されるようなフィルタ係数を保持しており、係数読み出し部６０２は制御部１１５の制御の基でフィルタ係数用ＲＯＭ６０１からフィルタ係数を読み出す。

次に係数読み出し部６０２はハイパスフィルタ係数を水平方向ハイパスフィルタ部６０３、垂直方向ハイパスフィルタ部６０７および垂直方向ハイパスフィルタ部６０９に転送し、ローパスフィルタ係数を水平方向ローパスフィルタ部６０４、垂直方向ローパスフィルタ部６０８および垂直方向ローパスフィルタ部６１０に転送する。

バッファ６００は、バッファ２００から転送された映像信号を取得し、水平方向ハイパスフィルタ部６０３および水平方向ローパスフィルタ部６０４へ転送する。上記映像信号は水平方向ハイパスフィルタ部６０３にて水平方向にハイパス処理され、水平方向ローパスフィルタ部６０４にて水平方向にローパス処理される。

ダウンサンプル部６０５およびダウンサンプル部６０６は、水平方向ハイパスフィルタ部６０３および水平方向ローパスフィルタ部６０４から転送された映像信号をそれぞれ水平方向に１／２にダウンサンプリングする。

垂直方向ハイパスフィルタ部６０７はダウンサンプル部６０５から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部６０８はダウンサンプル部６０５から転送された信号に対して垂直方向にローパス処理を行う。

垂直方向ハイパスフィルタ部６０９はダウンサンプル部６０６から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部６１０はダウンサンプル部６０６から転送された信号に対して垂直方向にローパス処理を行う。

フィルタリング処理の後、信号はダウンサンプル部６１１、ダウンサンプル部６１２、ダウンサンプル部６１３およびダウンサンプル部６１４によって垂直方向にそれぞれ１／２にダウンサンプリングされる。図７の表記に従うと、ダウンサンプル部６１１の出力はＤ_１、ダウンサンプル部６１２の出力はＨ_１、ダウンサンプル部６１３の出力はＶ_１、ダウンサンプル部６１４の出力は低周波成分のＬ_１となる。

転送部６１６は制御部１１５の制御の基でＤ_１、Ｈ_１、Ｖ_１、およびＬ_１をバッファ２０３に転送する。データ転送部６１５は制御部１１５の制御に基づき低周波成分Ｌ_１をバッファ６００に転送する。バッファ６００にある低周波成分Ｌ_１は、上記と同様に、Ｄ_２、Ｈ_２、Ｖ_２、およびＬ_２にそれぞれ分解される。この分解処理は制御部１１５の制御によりＭ回の分解が行われる。最終的にバッファ２０３にはＤ_ｉ、Ｈ_ｉ、Ｖ_ｉ、およびＬ_ｉ（ｉ＝１〜Ｍ）が転送される。

色変換部３０３は、バッファ３００から転送された映像信号の色空間を変換する。たとえば、映像信号がｓＲＧＢの規格に準じた映像信号の場合、色変換部３０３はｓＲＧＢの色空間からＣＩＥ−ＸＹＺ色空間への変換を（６）式に表される変換式で行う。

また、（７）式で表されるＬ^＊ａ^＊ｂ^＊信号への変換を行ってもよい。

ただし、Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎは標準光における完全拡散反射面における値である。関数ｆは、例えばｆ（Ｘ／Ｘ_ｎ）で（８）式の通りである。

周波数変換部３０１、多重解像度分解部３０２、および色変換部３０３で変換された映像信号はバッファ３０４に転送され、バッファ３０４の映像信号はノイズ低減部１１１に転送される。
上述の処理により、変換部１０９において映像信号が異なる空間における信号に変換される。

次に、算出部１１０における詳細な処理について図５を用いて説明する。
図５に示すように、算出部１１０は、バッファ４００、周波数変換部４０１、多重解像度分解部４０２、色変換部４０３、およびバッファ４０４を備えている。なお、本実施形態の説明では、算出部１１０が周波数変換部４０１，多重解像度分解部４０２および色変換部４０３を備えているものとして説明するが、算出部１１０は、周波数変換部４０１，多重解像度分解部４０２および色変換部４０３のうち少なくとも１つ以上を備えていればよい。ただし，例えば変換部１０９に周波数変換部３０１が存在する場合、算出部１１０にも周波数変換部４０１が存在する必要があり、同様に、多重解像度分解部３０２が存在する場合には多重解像度分解部４０２が存在する必要があり、色変換部３０３が存在する場合には色変換部４０３が存在する必要がある。
ノイズ量推定部１０８はバッファ４００に接続している。バッファ４００は周波数変換部４０１、多重解像度分解部４０２および色変換部４０３に接続している。周波数変換部４０１、多重解像度分解部４０２および色変換部４０３はバッファ４０４に接続している。制御部１１５は、周波数変換部４０１、多重解像度分解部４０２および色変換部４０３と双方向に接続している。

上記構成を有する算出部１１０における処理について以下に説明する。
ノイズ量推定部１０８で推定されたノイズ量はバッファ４００に転送される。周波数変換部４０１はバッファ４００から転送された実空間におけるノイズ量Ｎ（ｉ，ｊ）を（９）式に示される周波数空間におけるノイズ量Ｎ‘（ｕ，ｖ）に変換する。

ここでＣ‘（ｕ）Ｃ’（ｖ）は規格化定数である。
多重解像度分解部４０２は、バッファ３００から転送された実空間におけるノイズ量を多重解像度空間におけるノイズ量に変換する。多重解像度分解の方法は前述の方法と同様に行われる。
色変換部４０３はバッファ３００から転送されたある色空間におけるノイズ量を別の色空間におけるノイズ量に変換する。変換法は前述のとおりである。
上述の処理により、算出部１１０においてノイズ量推定部１０８にて推定されたノイズ量が異なる空間におけるノイズ量に変換される。

次に、ノイズ低減部１１１における詳細な処理について図６を用いて説明する。
図６に示すように、ノイズ低減部１１１は、局所領域抽出部５００、バッファ５０１、スムージング部（スムージング手段）５０２、ゲイン算出部５０３、サイズ設定部（閾値設定部）５０５、およびフィルタ係数用ＲＯＭ５０４を備えている。
変換部１０９は局所領域抽出部５００に接続している。局所領域抽出部５００はバッファ５０１に接続しており、バッファ５０１はスムージング部５０２に接続している。サイズ設定部５０５はスムージング部５０２に接続している。算出部１１０はサイズ設定部５０５に接続しており、ゲイン算出部５０３はサイズ設定部５０５に接続している。サイズ設定部５０５へはフィルタ係数用ＲＯＭ５０４も接続されている。制御部１１５は局所領域抽出部５００、スムージング部５０２、ゲイン算出部５０３、およびサイズ設定部５０５と双方向に接続している。

上記構成を有するノイズ低減部１１１における処理について以下に説明する。
ゲイン算出部５０３は制御部１０９の制御により、外部Ｉ／Ｆ部１１６を介して設定されたＩＳＯ感度に基づいてゲインの増幅率を求め、これをサイズ設定部５０５へ転送する。
サイズ設定部５０５は制御部１１５の制御に基づき算出部１１０から転送されたノイズ量の情報を元にフィルタ係数用ＲＯＭ５０４からフィルタ処理に用いる係数を読み込む。

次に制御部１１５は、局所領域抽出部５００を制御し、変換部１０９から転送される映像信号から注目画素を中心とした所定サイズの領域、例えば５×５画素単位の局所領域を抽出しバッファ５０１へ転送する。スムージング部５０２は、制御部１１５の制御に基づきバッファ５０１の領域に関して、サイズ設定部５０５から転送されるゲインおよびフィルタ係数の情報を用いて公知の平滑化処理を行う。制御部１１５は、局所領域抽出部５００に対して所定サイズの領域を水平及び垂直方向に１画素単位で移動しながらフィルタ処理を行うように制御を行う。
上述の処理により、ノイズ低減部１１１において算出部１１０のノイズ量の情報を用いてノイズ低減が行われる。

次に、逆変換部１１２における詳細な処理について図９を用いて説明する。
図９に示すように、逆変換部１１２は、バッファ７００、周波数逆変換部（周波数逆変換手段）７０１、多重解像度合成部（多重解像度合成手段）７０２、色逆変換部（色逆変換手段）７０３、およびバッファ７０４を備えている。なお、本実施形態の説明では、逆変換部１１２が周周波数逆変換部７０１，多重解像度合成部７０２および色逆変換部７０３を備えているものとして説明するが、逆変換部１１２は、周波数逆変換部７０１，多重解像度合成部７０２および色逆変換部７０３のうち少なくとも１つ以上を備えていればよい。ただし、例えば変換部１０９に周波数変換部３０１が存在する場合、逆変換部１１２にも周波数逆変換部７０１が存在する必要があり、同様に、多重解像度分解部３０２が存在する場合には多重解像度合成部７０２が存在する必要があり、色変換部３０３が存在する場合には色逆変換部７０３が存在する必要がある。
ノイズ低減部１１１はバッファ７００に接続している。バッファ７００は周波数逆変換部７０１、多重解像度合成部７０２および色逆変換部７０３に接続している。制御部１１５は周波数逆変換部７０１、多重解像度合成部７０２および色逆変換部７０３と双方向に接続している。

上記構成を有する逆変換部１１２における処理について以下に説明する。
ノイズ低減部１１１でノイズ低減処理が行われた映像信号はバッファ７００に転送される。
周波数逆変換部７０１はバッファ７００から転送された映像信号Ｊ（ｕ，ｖ）（０≦ｕ≦Ｕ−１，０≦ｖ≦Ｖ−１は周波数空間における座標）を（１０）式に示される実空間における映像信号Ｊ‘（ｋ，ｌ）（ｋ，ｌは映像信号中の座標）に変換する。

ただし、Ｄ（ｕ）Ｄ（ｖ）は規格化定数である。

多重解像度合成部７０２はバッファ７００から転送された多重解像度空間における映像信号を実空間における映像信号に変換する。

ここで、多重解像度合成部７０２の詳細な処理について図１０を用いて以下に説明する。
図１０は多重解像度合成部７０２の構成の一例を示す。
多重解像度合成部７０２は、切り替え部８００、フィルタ係数用ＲＯＭ８０１、係数読み出し部８０２アップサンプル部８０３、アップサンプル部８０４、アップサンプル部８０５、アップサンプル部８０６、垂直方向ハイパスフィルタ部８０７、垂直方向ローパスフィルタ部８０８、垂直方向ハイパスフィルタ部８０９、垂直方向ローパスフィルタ部８１０、加算部８１１、加算部８１２、アップサンプル部８１３、アップサンプル部８１４、水平方向ハイパスフィルタ部８１５、水平方向ローパスフィルタ部８１６、加算部８１７、バッファ８１８、およびデータ転送部８１９を備えている。

バッファ７００は切り替え部８００に接続している。切り替え部８００はアップサンプル部８０３、アップサンプル部８０４、アップサンプル部８０５およびアップサンプル部８０６に接続している。アップサンプル部８０３は垂直方向ハイパスフィルタ部８０７に接続しており、アップサンプル部８０４は垂直方向ローパスフィルタ部８０８に接続している。アップサンプル部８０５は垂直方向ハイパスフィルタ部８０９に接続しており、アップサンプル部８０６は垂直方向ローパスフィルタ部８１０に接続している。垂直方向ハイパスフィルタ部８０７および垂直方向ローパスフィルタ部８０８は加算部８１１に接続している。垂直方向ハイパスフィルタ部８０９および垂直方向ローパスフィルタ部８１０は加算部８１２に接続している。加算部８１１はアップサンプル部８１３に接続しており、加算部８１２はアップサンプル部８１４に接続している。アップサンプル部８１３は水平方向ハイパスフィルタ部８１５に接続しており、アップサンプル部８１４は水平方向ローパスフィルタ部８１６に接続している。水平方向ハイパスフィルタ部および水平方向ローパスフィルタ部８１６は加算部８１７に接続している。加算部８１７はバッファ８１８に接続している。フィルタ係数用ＲＯＭ８０１は係数読み出し部８０２に接続しており、係数読み出し部８０２は垂直方向ハイパスフィルタ部８０７、垂直方向ローパスフィルタ部８０８、垂直方向ハイパスフィルタ部８０９、垂直方向ローパスフィルタ部８１０、水平方向ハイパスフィルタ部８１５および水平方向ローパスフィルタ部８１６に接続している。バッファ８１８はデータ転送部８１９およびバッファ７０４に接続している。データ転送部８１９は切り替え部８００に接続している。制御部１１５は係数読み出し部８０２およびデータ転送部と双方向に接続している。

上記構成を有する多重解像度合成部７０２における信号の流れを以下に説明する。
フィルタ係数用ＲＯＭ８０１は（５）式に示されるようなフィルタ係数を保持しており、係数読み出し部８０２は制御部１１５の制御の基でフィルタ係数用ＲＯＭ８０１からフィルタ係数を読み出す。
次に係数読み出し部８０２はハイパスフィルタ係数を垂直方向ハイパスフィルタ部８０７、垂直方向ハイパスフィルタ部８０９および水平方向ハイパスフィルタ部８１５に転送し、ローパスフィルタ係数を垂直方向ローパスフィルタ部８０８、垂直方向ローパスフィルタ部８１０および水平方向ローパスフィルタ部８１６に転送する。
切り替え部８００はバッファ７００からノイズ低減された信号Ｄ‘_Ｍ、Ｈ’_Ｍ、Ｖ‘_ＭおよびＬ’_Ｍを取得し、Ｄ‘_Ｍをアップサンプル部８０３、Ｈ’_Ｍをアップサンプル部８０４、Ｖ‘_Ｍをアップサンプル部８０５、Ｌ’_Ｍをアップサンプル部８０６へ転送する。

アップサンプル部８０３、アップサンプル部８０４、アップサンプル部８０５、およびアップサンプル部８０６は、切り替え部８００から転送された信号を垂直方向に２倍にアップサンプリングする。
垂直方向ハイパスフィルタ部８０７は、アップサンプル部８０３から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部８０８は、アップサンプル部８０４から転送された信号に対して垂直方向にローパス処理を行う。
垂直方向ハイパスフィルタ部８０９は、アップサンプル部８０５から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部８１０は、アップサンプル部８０６から転送された信号に対して垂直方向にローパス処理を行う。

フィルタリング処理の後、加算部８１１は垂直方向ハイパスフィルタ部８０７および垂直方向ローパスフィルタ部８０８から転送された信号を合成し、加算部８１２は垂直方向ハイパスフィルタ部８０９および垂直方向ローパスフィルタ部８１０から転送された信号を合成する。
アップサンプル部８１３は加算部８１１から転送された信号を水平方向に２倍にアップサンプリングし、アップサンプル部８１４は加算部８１２から転送された信号を水平方向に２倍にアップサンプリングする。
水平方向ハイパスフィルタ部８１５はアップサンプル部８１３から転送された信号に対して水平方向にハイパス処理を行い、水平方向ローパスフィルタ部８１６はアップサンプル部８１４から転送された信号に対して水平方向にローパス処理を行う。

加算部８１７は水平方向ハイパスフィルタ部８１５および水平方向ローパスフィルタ部８１６から転送された信号Ｌ‘_Ｍ−１を合成し、バッファ８１８に転送する。
データ転送部８１９はバッファ８１８の信号Ｌ‘Ｍ−１を読み込み、切り替え部８００に転送する。
次に切り替え部８００はバッファ７００からＤ‘_Ｍ−１、Ｈ’_Ｍ−１およびＶ‘_Ｍ−１を取得し、アップサンプル部８０３にＤ’_Ｍ−１を、アップサンプル部８０４にＨ‘_Ｍ−１を、アップサンプル部８０５にＶ’_Ｍ−１を、アップサンプル部８０６にＬ‘_Ｍ−１をそれぞれ転送する。その後上記と同様の処理を行い、バッファ８１８には信号Ｌ’_Ｍ−２が転送される。最終的に信号がＬ‘_０になった時、バッファ８１８の信号Ｌ’_０はバッファ７０４へ転送される。

色逆変換部７０３は、バッファ７００から転送された色空間の変換が行われた信号を元の色空間の信号に逆変換する。たとえば、バッファ７００から転送された信号がＣＩＥ−ＸＹＺ色空間における信号であり、元の映像信号がｓＲＧＢの規格に準じた映像信号の場合、色逆変換部７０３はＣＩＥ−ＸＹＺの色空間からｓＲＧＢの色空間への変換を（１１）式に表される変換式で行う。

なお、色空間はＣＩＥ−ＸＹＺである必要はなく、例えばＬ^＊ａ^＊ｂ^＊信号でもよい。

上述の処理により、ノイズ低減が行われた信号は、逆変換部１１２にて実空間における信号に逆変換される。
以上の処理により、信号処理部１０７より出力された信号はノイズ低減が行われ、ノイズ低減済みの信号は出力部１１４へ転送される。

このように、本実施形態に係る撮像システムによれば、変換前の映像信号に含まれるノイズ量を推定し、推定されたノイズ量を用いて変換後の映像信号に含まれるノイズ量を算出する。また、算出されたノイズ量を用いて変換後の映像信号のノイズ低減を行い、ノイズ低減後の映像信号を逆変換することで、ノイズ低減が行われる。
以上のように、変換前の映像信号に含まれるノイズ量に基づいて変換後の映像信号のノイズ低減を行うことができるので、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するメモリ量を節約することが可能となる。特に、例えば多重解像度変換等により、変換後の映像信号のデータ量が大きく増大する場合に有効である。

なお、本実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。
例えば、ＣＣＤ１０３からの映像信号を未処理のままのＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。この場合、撮像システムは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像システムと同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

図１１に本実施形態のソフトウェアに関するフローを示す。
図１における処理と対応させると、Ｓ１にてヘッダ情報を読み込み、Ｓ２にて映像信号を入力する。信号処理部１０７に相当するＳ３にて所定の信号処理を行い、ノイズ量推定部１０８に相当するＳ４にてノイズ量の推定を行い、算出部１１０に相当するＳ５にてノイズモデルの変換を行う。変換部１０９に相当するＳ６にて映像信号の変換処理を行い、ノイズ低減部１１１に相当するＳ７およびＳ８にて映像信号の注目画素に対してノイズ低減処理を行う。Ｓ９にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。

本発明の実施形態に係る撮像システムの概略構成図である。 図１に示すノイズ量推定部の概略構成図である。 ノイズ量の関数化に関する説明図である。 図１に示す変換部の概略構成図である。 図１に示す算出部の概略構成図である。 図１に示すノイズ低減部の概略構成図である。 多重解像度分解の説明図である。 図１に示す多重解像度分解部の概略構成図である。 図１に示す逆変換部の概略構成図である。 図１に示す多重解像度合成部の概略構成図である。 本発明に係る画像処理方法のフローチャートである。

符号の説明

１ 撮像システム
２ 撮像装置
３ 画像処理装置
１０８ ノイズ量推定部
１０９ 変換部
１１０ 算出部
１１１ ノイズ低減部
１１２ 逆変換部
２００，５００ 局所領域抽出部
２０２ 平均輝度算出部
２０３，５０３ ゲイン算出部
２０４ 標準値付与部
２０５ ノイズ量算出部
３０１，４０１ 周波数変換部
３０２，４０２ 多重解像度分解部
３０３，４０３ 色変換部
５０２ スムージング部
５０５ サイズ設定部
７０１ 周波数逆変換部
７０２ 多重解像度合成部
７０３ 色逆変換部

Claims (11)

1. 入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、
   前記第１の映像信号を第２の映像信号に変換する変換手段と、
   前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出手段と、
   前記算出手段によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減手段と、
   前記ノイズ低減手段によってノイズ低減された第２の映像信号を逆変換する逆変換手段と、
   を備える画像処理装置。
2. 前記変換手段は、
   前記第１の映像信号を周波数信号に変換する周波数変換手段を有し、
   前記逆変換手段は、
   ノイズ低減がなされた前記周波数信号を逆変換する周波数逆変換手段を有する請求項１に記載の画像処理装置。
3. 前記変換手段は、
   前記第１の映像信号を複数の周波数成分に分解する多重解像度分解手段を有し、
   前記逆変換手段は、
   ノイズ低減がなされた前記複数の周波数成分を合成する多重解像度合成手段を有する請求項１に記載の画像処理装置。
4. 前記変換手段は、
   前記第１の映像信号を異なる色空間における色信号に変換する色変換手段を有し、
   前記逆変換手段は、
   ノイズ低減がなされた前記色信号を元の色空間に戻す色逆変換手段を有する請求項１に記載の画像処理装置。
5. 前記算出手段は、
   前記変換手段と同様の変換方法を用いて前記ノイズ量推定手段の出力信号を変換することにより、前記第２の映像信号に含まれるノイズ量を算出する請求項１から４のいずれかに記載の画像処理装置。
6. 前記ノイズ量推定手段は、
   前記第１の映像信号から所定サイズの領域を抽出する画像領域抽出手段と、
   前記画像領域抽出手段によって抽出された領域内の映像信号の平均値を算出する平均値算出手段と、
   前記第１の映像信号に対する増幅率を算出する増幅率算出手段と、
   前記平均値および前記増幅率を用いて前記第１の映像信号のノイズ量を算出するノイズ量算出手段と、
   を有する請求項１から５のいずれかに記載の画像処理装置。
7. 前記増幅率算出手段は、
   前記第１の映像信号に対する増幅率が得られない場合に所定の標準値を付与する標準値付与手段を有する請求項６に記載の画像処理装置。
8. 前記ノイズ低減手段は、
   前記算出手段によって算出された前記第２の映像信号のノイズ量に基づいて画素単位または単位領域ごとにノイズの振幅の閾値を設定する閾値設定手段と、
   前記閾値以下の振幅成分を低減するスムージング手段と、
   を有する請求項１から７のいずれかに記載の画像処理装置。
9. 請求項１から８のいずれかに記載の画像処理装置を備えた撮像システム。
10. 入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定処理と、
    前記第１の映像信号を第２の映像信号に変換する変換処理と、
    前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定処理によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出処理と、
    前記算出処理によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減処理と、
    前記ノイズ低減処理によってノイズ低減された第２の映像信号を逆変換する逆変換処理と、
    をコンピュータに実行させる画像処理プログラム。
11. 入力された第１の映像信号に含まれるノイズ量を前記第１の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定工程と、
    前記第１の映像信号を第２の映像信号に変換する変換工程と、
    前記第２の映像信号に含まれるノイズ量を、前記ノイズ量推定工程によって推定された前記第１の映像信号のノイズ量に基づいて算出する算出工程と、
    前記算出工程によって算出された前記第２の映像信号のノイズ量に基づいて前記第２の映像信号のノイズ低減を行うノイズ低減工程と、
    前記ノイズ低減工程によってノイズ低減された第２の映像信号を逆変換する逆変換工程と、
    を含む画像処理方法。

Images