JP2007049721A - 再生システムおよび再生プログラム - Google Patents

Abstract

【課題】高画質な画像を低コストかつ高速処理で得ることが可能な再生システムを提供する。
【解決手段】圧縮された信号を周波数空間における信号として伸張する伸張手段と、上記伸張手段により伸張された周波数空間における信号の内の０次成分に基づいて、０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて、０次成分以外の周波数成分に関するノイズを低減するノイズ低減手段と、上記０次成分とノイズを低減された０次成分以外の周波数成分とを実空間における信号に変換する逆変換手段とを具備する。
【選択図】図１

Description

本発明は、ＪＰＥＧやＭＰＥＧなどの周波数空間を利用する圧縮処理と伸張処理との少なくとも一方を行う際に、同時的に、撮像素子系に起因するランダムノイズを高精度に低減するようにした再生システムおよび再生プログラムに関する。

撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された信号中には、一般にノイズ成分が含まれており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。

上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。

一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。

後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂcDにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。

また、他の例として、特開２００２−５７９００号公報には、注目画素とその近傍画素との差分値Δを求めて、求めた差分値Δと静的に与えられる定数項ａ，ｂとを用いて、移動平均法で用いる平均画素数ｎを、ｎ＝ａ／（Δ＋ｂ）により関数化して制御するとともに、求めた差分値Δが所定の閾値以上である場合には移動平均を行わないようにする技術が記載されている。このような技術を用いることにより、エッジなどの原信号を劣化させることなくノイズ低減処理が行われるようにしている。さらに、ノイズ低減後の信号は、ＪＰＥＧやＭＰＥＧなどの周波数空間を利用した圧縮処理が行われて記録保存され、再生時には該圧縮された信号に対して伸張処理が行われるようになっている。
特開２００１−１５７０５７号公報 特開２００２−５７９００号公報

上述したような特許文献１、特許文献２における関数は、何れも実空間で定義された関数であるために、ノイズ低減処理は、これらの関数を用いて実空間で行うことになる。これに対して、圧縮伸張処理は、一般的に周波数空間で行われるために、ノイズ低減処理とは独立して行わなければならない。このように、従来の構成では、ノイズ低減処理と圧縮伸張処理とを別個の独立したシステムにより処理しなければならないために、高速処理を行うことが可能な撮像システムや再生システムを低コストに構築しようとする際の課題となっている。

また、上述したような関数で使用する定数項は固定的に与えられたものであるために、システムの一部が更新された場合や経時変化が生じた場合などに対応することができず、柔軟性に欠けるという課題がある。さらに、上記各文献に記載された技術で構築されたシステムは、関数で使用する定数項が算出されていないと、ノイズ低減処理を行うことができないという課題がある。

本発明は上記事情に鑑みてなされたものであり、高画質な画像を低コストかつ高速処理で得ることが可能な再生システムおよび再生プログラムを提供することを目的としている。

また本発明は、多様なシステムに柔軟に対応して高画質な画像を得ることが可能な再生システムおよび再生プログラムを提供することを目的としている。

本発明の再生システムは、撮像素子からの信号が周波数空間における信号に変換され、当該周波数空間における信号に変換された後に圧縮された信号を処理する再生システムであって、上記圧縮された信号を周波数空間における信号として伸張する伸張手段と、上記伸張手段により伸張された周波数空間における信号の内の０次成分に基づいて、０次成分以外の周波数成分に関するノイズ量Ｎを推定するノイズ推定手段と、上記ノイズ推定手段により推定されたノイズ量Ｎに基づいて、０次成分以外の周波数成分に関するノイズを低減するノイズ低減手段と、上記０次成分とノイズを低減された０次成分以外の周波数成分とを実空間における信号に変換する逆変換手段と、を具備したことを特徴とする。

本発明の再生プログラムは、コンピュータに、周波数空間における信号に変換された後に圧縮された信号を、周波数空間における信号として伸張する伸張手順と、上記伸張手順により伸張された周波数空間における信号の内の０次成分に基づいて、０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手順と、上記ノイズ推定手順により推定されたノイズ量に基づいて、０次成分以外の周波数成分に関するノイズを低減するノイズ低減手順と、上記０次成分とノイズを低減された０次成分以外の周波数成分とを実空間における信号に変換する逆変換手順と、を実行させるものであることを特徴とする。

本発明によれば、高画質な画像を低コストかつ高速処理で得ることが可能となる。

また本発明によれば、多様なシステムに柔軟に対応して高画質な画像を得ることが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。
図１から図７は本発明の第１の実施形態を示したものであり、図１は撮像システムの構成を示すブロック図、図２はノイズ推定部の構成を示すブロック図、図３はＤＣＴ変換を説明するための図、図４はノイズ量の定式化を説明するための線図、図５はノイズ量の定式化に用いるパラメータを説明するための線図、図６はノイズ低減部の構成を示すブロック図、図７はノイズ低減および圧縮のソフトウェア処理を示すフローチャートである。

この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たるＣＣＤ４と、このＣＣＤ４から出力されるアナログの映像信号をデジタル信号へ変換するＡ／Ｄ変換器５と、このＡ／Ｄ変換器５から出力されたデジタルの画像データを一時的に記憶する第１バッファ６と、この第１バッファ６に記憶された画像データを用いて被写体に関する測光評価を行いその評価結果に基づき上記絞り２およびＣＣＤ４の制御を行う測光評価部７と、上記第１バッファ６に記憶された画像データを用いて合焦点検出を行い検出結果に基づき後述するＡＦモータ９を駆動する合焦点検出部８と、この合焦点検出部８により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ９と、上記第１バッファ６に記憶された映像信号を読み出してホワイトバランス処理や補間処理、強調処理などの一般的な信号処理を行う信号処理部１０と、この信号処理部１０により処理された映像信号を一時的に記憶する第２バッファ１１と、この第２バッファ１１に記憶された映像信号を所定のブロックサイズ単位で順次読み出すブロック抽出手段たるブロック抽出部１２と、このブロック抽出部１２により読み出されたブロック単位のＲＧＢ信号を輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに分離するＹ／Ｃ分離部１３と、このＹ／Ｃ分離部１３により分離された輝度信号Ｙについて公知のＤＣＴ（Discrete Cosine Transform）変換を行うことにより周波数空間の信号に変換する変換手段たる輝度ＤＣＴ部１４と、上記Ｙ／Ｃ分離部１３により分離された色差信号Ｃｂ，Ｃｒについて所定の比率でダウンサンプリングを行うダウンサンプル部１７と、このダウンサンプル部１７によりダウンサンプリングされた色差信号Ｃｂ，Ｃｒに上記ＤＣＴ変換を行うことにより周波数空間の信号に変換する変換手段たる色差ＤＣＴ部１８と、上記輝度ＤＣＴ部１４の出力から０次成分を抽出しさらに上記色差ＤＣＴ部１８の出力から０次成分を抽出する０次抽出部１５と、この０次抽出部１５により抽出された０次成分を量子化する０次量子化部１６と、上記０次抽出部１５により抽出された０次成分から０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段たるノイズ推定部２０と、上記輝度ＤＣＴ部１４の出力から０次成分以外の周波成分を抽出しさらに上記色差ＤＣＴ部１８の出力から０次成分以外の周波成分を抽出する高周波抽出部１９と、上記ノイズ推定部２０により推定されたノイズ量に基づき上記高周波抽出部１９により抽出された高周波成分のノイズを低減するノイズ低減手段たるノイズ低減部２１と、このノイズ低減部２１により処理された高周波成分を量子化する高周波量子化部２２と、上記０次量子化部１６の出力と高周波量子化部２２の出力とを圧縮処理する圧縮手段たる圧縮部２３と、この圧縮部２３により圧縮された画像データを例えばメモリカード等の記録媒体に記録するために出力する出力部２４と、電源スイッチ，シャッタボタン，各種の撮影モードを切り替えるためモードスイッチ等へのインターフェースを備えた外部Ｉ／Ｆ部２６と、上記測光評価部７，合焦点検出部８，信号処理部１０，Ｙ／Ｃ分離部１３，０次抽出部１５，０次量子化部１６，高周波抽出部１９，ノイズ推定部２０，ノイズ低減部２１，高周波量子化部２２，圧縮部２３，出力部２４，外部Ｉ／Ｆ部２６と双方向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であり取得手段を兼ねた制御部２５と、を有して構成されている。

次に、図１に示したような撮像システムにおける信号の流れについて説明する。

この撮像システムは、外部Ｉ／Ｆ部２６を介してＩＳＯ感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮像モードに入る。

上記レンズ系１，絞り２，ローパスフィルタ３を介して結像された光学像は、ＣＣＤ４により撮影されてアナログの映像信号として出力され、Ａ／Ｄ変換器５によりデジタル信号へ変換されて、第１バッファ６へ転送される。

なお、上記ＣＣＤ４は、本実施形態に示す例においては、撮像面の前面に原色ＲＧＢ色フィルタが配置された単板式原色カラーＣＣＤとして構成されたものである。

第１バッファ６内の映像信号は、その後に、測光評価部７と合焦点検出部８とへ各転送される。

測光評価部７は、画像中の輝度レベルを求めて、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮して適正露光値を算出し、この適正露光値となるように絞り２による絞り値やＣＣＤ４の電子シャッタ速度などを制御する。

また、合焦点検出部８は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ９を制御し合焦画像を得る。

このようなプリ撮像モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部２６を介して検出すると、本撮影が行われる。

この本撮影は、測光評価部７により求められた露光条件と合焦点検出部８により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は取得手段たる制御部２５へ転送される。

こうして本撮影が行われると、映像信号が、プリ撮像のときと同様にして、第１バッファ６へ転送され記憶される。

この第１バッファ６内の映像信号は、信号処理部１０へ転送されて、公知のホワイトバランス処理，補間処理，強調処理などが行われた後に、第２バッファ１１へ転送される。

ブロック抽出部１２は、制御部２５の制御に基づいて、上記第２バッファ１１に記憶されている映像信号を、所定のブロックサイズ、例えば８×８画素でなるブロックを単位として順次読み出し、Ｙ／Ｃ分離部１３へ転送する。

Ｙ／Ｃ分離部１３は、次の数式１に示すような変換式に基づいて、ブロック抽出部１２からのＲＧＢ信号でなる映像信号を輝度信号Ｙと色差信号Ｃｂ，Ｃｒとへ変換する。
［数１］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

こうしてＹ／Ｃ分離部１３により生成された輝度信号Ｙは輝度ＤＣＴ部１４へ、色差信号Ｃｂ，Ｃｒはダウンサンプル部１７へ、それぞれ転送される。

ダウンサンプル部１７は、色差信号Ｃｂ，Ｃｒを所定の比率でダウンサンプリングした後に、色差ＤＣＴ部１８へ転送する。

上記輝度ＤＣＴ部１４と色差ＤＣＴ部１８とは、上述したように、公知のＤＣＴ（Discrete Cosine Transform）変換を行うことにより、実空間における映像信号を周波数空間における信号に変換する。

上記周波数空間へ変換された信号は、制御部２５の制御に基づいて、輝度信号Ｙ，色差信号Ｃｂ，色差信号Ｃｒの順に、以下に示すように、ノイズ低減処理と圧縮処理とが行われる。

まず、０次抽出部１５が、上記輝度ＤＣＴ部１４と色差ＤＣＴ部１８とにより変換された周波数空間の信号から、０次成分を抽出する。

次に、０次量子化部１６が、この０次抽出部１５により抽出された０次成分を所定間隔で量子化する。

そして、圧縮部２３が、この量子化後の０次成分に公知のハフマン符号や算術符号などにより圧縮する。こうして圧縮された信号は、出力部２４に順次転送されて、上述したようにメモリカード等に保存される。

ノイズ推定部２０は、０次抽出部１５から０次成分を取得するとともに、制御部２５から撮影時の情報を取得して、これらの情報に基づき、０次成分以外の周波数成分に対するノイズ量を算出する。

一方、高周波抽出部１９は、上記輝度ＤＣＴ部１４と色差ＤＣＴ部１８とにより変換された周波数空間の信号から、０次成分以外の周波数成分を抽出する。

ノイズ低減部２１は、ノイズ推定部２０からのノイズ量に基づき、高周波抽出部１９からの０次成分以外の周波数成分に対してノイズ低減処理を行う。

高周波量子化部２２は、ノイズ低減部２１によりノイズ低減処理された高周波成分を所定間隔で量子化する。

上記圧縮部２３は、この高周波量子化部２２により量子化された高周波成分についても、上記０次量子化部１６により量子化された０次成分と同様に、公知のハフマン符号や算術符号などにより圧縮する。こうして圧縮された信号は、出力部２４に順次転送されて、上述したようにメモリカード等に保存される。なお、この圧縮部２３による圧縮処理は、例えば、公知のＪＰＥＧ圧縮処理に準拠してなされている。

なお、上述したようなＹ／Ｃ分離部１３，０次抽出部１５，０次量子化部１６，高周波抽出部１９，ノイズ推定部２０，ノイズ低減部２１，高周波量子化部２２，圧縮部２３によるそれぞれの処理は、制御部２５の制御に基づき、ブロック抽出部１２がブロックを抽出する動作に同期して、ブロック単位で行われる。

次に、図２を参照して、ノイズ推定部２０の構成の一例について説明する。

このノイズ推定部２０は、ＣＣＤ４の標準的な温度を後述する係数算出部３２へ転送する付与手段たる標準値付与部３１と、ノイズ量を推定する際に用いる後述する関数に係るパラメータを記憶する係数算出手段たるパラメータ用ＲＯＭ３３と、このパラメータ用ＲＯＭ３３からのパラメータと上記０次抽出部１５からの０次成分と上記制御部２５からのゲインと上記標準値付与部３１からの温度情報とに基づいて０次成分以外の高周波成分のノイズ量を推定するための所定の式に係る係数を算出する係数算出手段たる係数算出部３２と、この係数算出部３２により算出された係数を用いて後述するように定式化される関数を用いノイズ量を算出してノイズ低減部２１へ転送するノイズ算出手段たるノイズ算出部３４と、を有して構成されている。

なお、これら標準値付与部３１，係数算出部３２，ノイズ算出部３４は、制御部２５と双方向に接続されて制御されるようになっている。また、制御部２５は、測光評価部７や信号処理部１０などから信号に対するゲインを求めて、係数算出部３２へ転送するようになっている。

ここで、図３を参照して、ＤＣＴ変換を行って周波数空間に変換したときの次数成分について説明する。図３（Ａ）は実空間における８×８画素のブロックを、図３（Ｂ）は周波数空間における８×８画素のブロックを、それぞれ示している。

図３（Ａ）に示すような実空間における画素ブロックの信号をＤＣＴ変換すると、図３（Ｂ）に示すような周波数空間における画素ブロックの成分が得られる。この図３（Ｂ）の周波数空間においては、左上を原点、すなわち０次成分としており、１次以上の高周波成分は、この原点を中心とする同心円上に配置されることになる。従って、上記０次抽出部１５は、この図３（Ｂ）に示す周波数空間において、左上に位置する画素を０次成分として抽出する処理を行う。

次に、図４を参照して、ノイズ量の定式化について説明する。図４（Ａ）は、０次成分Ｌに対するノイズ量Ｎをプロットしたものであり、その関数は、以下の数式２に示すように定式化される。
［数２］
Ｎ＝ＡＬ^B＋Ｃ
ここに、Ａ，Ｂ，Ｃは定数項であり、０次成分Ｌのべき乗をなす関数に定数項が付加されたものとなっている。

しかしながら、ノイズ量Ｎは信号値レベルの０次成分Ｌのみに依存するのではなく、それ以外にも、撮像素子であるＣＣＤ４の温度や信号のゲインによっても変化する。従って、これらの要因も考慮に入れたものが、図４（Ｂ）に示す例となっている。

すなわち、上記数式２では定数項であったＡ，Ｂ，Ｃの代わりに、数式３に示すように、温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を導入する。
［数３］
Ｎ＝ａ（Ｔ，Ｇ）Ｌ^b(T,G)＋ｃ（Ｔ，Ｇ）

この数式３により示される曲線を、複数の温度Ｔ（図示の例では温度Ｔ１〜Ｔ３）における複数のゲインＧ（図示の例では１，２，４倍）の場合にプロットしたのが図４（Ｂ）である。

図４（Ｂ）は、独立変数を０次成分Ｌ、従属変数をノイズ量Ｎとして表したものであるが、パラメータである温度Ｔをこれらの変数に直交する方向に座標軸としてプロットしている。従って、Ｔ＝Ｔ１で表される平面内、Ｔ＝Ｔ２で表される平面内、Ｔ＝Ｔ３で表される平面内、のそれぞれで、０次成分Ｌによるノイズ量Ｎを読み取ることになる。このとき、さらに、パラメータであるゲインＧによる曲線形状の変化を、各平面内で複数本の曲線を描くことにより表している。

各パラメータで示される個々の曲線は、図４（Ａ）に示したような数式２による曲線とほぼ類似した形態をなしているが、当然にして、各関数ａ，ｂ，ｃから得られる係数Ａ，Ｂ，Ｃは、温度ＴやゲインＧの各値に応じて異なっている。

図５（Ａ）は上記関数ａ（Ｔ，Ｇ）の、図５（Ｂ）は上記関数ｂ（Ｔ，Ｇ）の、図５（Ｃ）は上記関数ｃ（Ｔ，Ｇ）の特性の概略の様子をそれぞれ示したものである。

これらの各関数は、温度ＴとゲインＧとを独立変数とする２変数関数であるために、図５（Ａ）〜図５（Ｃ）は３次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。

このような関数ａ，ｂ，ｃに温度ＴとゲインＧとをパラメータとして入力することにより、各定数項Ａ，Ｂ，Ｃが出力される。そして、これらの関数の具体的な形状は、事前に、ＣＣＤ４を含む撮像素子系の特性を測定することにより、容易に取得することができる。

係数算出部３２は、制御部２５からのゲインＧと標準値付与部３１からの温度Ｔとを入力パラメータとして、パラメータ用ＲＯＭ３３に記録される３つの関数ａ，ｂ，ｃから定数項Ａ，Ｂ，Ｃを求め、ノイズ算出部３４へ転送する。

ノイズ算出部３４は、この係数算出部３２からの０次成分Ｌと定数項Ａ，Ｂ，Ｃとを用いて、上記数式２に基づきノイズ量Ｎを算出し、算出したノイズ量Ｎをノイズ低減部２１へ転送する。

なお、上述では撮像素子であるＣＣＤ４の温度を標準値付与部３１から固定的に与えていたが、これに限定されるものではない。例えば、温度センサなどをＣＣＤ４の近傍に配置して、リアルタイムで温度情報を取得し取得手段たる制御部２５へ転送するように構成することも可能である。これとは逆に、ゲインＧを動的に得ることができない場合には、標準値付与部３１から所定の値を付与するようにしても構わない。

また、上述ではノイズ量に対する定式化において、数式２に示したようなべき乗の関数を用いたが、このような関数形状のものに限定されるものでもない。例えば、Ｎ＝ＡＬ²＋ＢＬ＋Ｃといった２次式を用いて定式化することも可能であるし、その他の多項式やスプライン関数などを使用するようにしても構わない。

次に、図６を参照して、ノイズ低減部２１の構成の一例について説明する。

このノイズ低減部２１は、制御部２５からの画質モード情報（圧縮率の情報を含む）に基づき情報が保存されない高周波成分の閾値ｎを推定する選択手段たる判断部４１と、高周波抽出部１９から転送された０次成分以外の周波数成分の平均値ＡＶを算出する平均値算出手段たる平均値算出部４２と、この平均値算出部４２からの平均値ＡＶと上記ノイズ推定部２０からのノイズ量Ｎとを用いて高周波成分に対する上限値Ｔupおよび下限値Ｔlow を後述するように設定する許容範囲設定手段たる許容範囲設定部４３と、上記高周波抽出部１９から転送された０次成分以外の周波数成分の内の所定の周波数帯域に属する高周波成分を抽出する周波数分離手段たる分離部４４と、上記判断部４１からの閾値ｎと許容範囲設定部４３からの上限値Ｔupおよび下限値Ｔlow とに基づき分離部４４により抽出された周波数帯域の周波数成分をノイズ低減処理して上記高周波量子化部２２へ転送する補正手段たる補正部４５と、を有して構成されていて、これら判断部４１，平均値算出部４２，許容範囲設定部４３，分離部４４，補正部４５は、制御部２５と双方向に接続されて制御されるようになっている。

上記分離部４４は、制御部２５の制御に基づいて、上述したように、所定の周波数帯域に属する高周波成分を抽出し補正部４５へ転送するが、ＤＣＴ変換の場合には、上記図３（Ｂ）に示したように、所定の周波数帯域に属する高周波成分が左上を原点とする同心円上に配置されるために、分離部４４はこの配置に基づいて１次以上の高周波成分を順次抽出する処理を行う。

許容範囲設定部４３は、ノイズ推定部２０からのノイズ量Ｎと平均値算出部４２からの平均値ＡＶとに基づき、高周波成分に対する上限値Ｔupおよび下限値Ｔlow を、次の数式４に基づいて設定し、補正部４５へ転送する。
［数４］
Ｔup ＝ＡＶ＋Ｎ／２
Ｔlow ＝ＡＶ−Ｎ／２

判断部４１は、外部Ｉ／Ｆ部２６により設定される画質モードの情報を制御部２５から取得して、この画質モードから対応する圧縮率を求める。そして、判断部４１は、求めた圧縮率では、情報が保存されない高周波成分、すなわちノイズ成分も保存されない高周波成分、の閾値ｎを推定して、この閾値ｎを補正部４５へ転送する。

補正部４５は、判断部４１からの閾値ｎと、許容範囲設定部４３からの上限値Ｔupおよび下限値Ｔlow と、に基づいて、分離部４４からの各周波数成分に対しての処理を行う。まず、補正部４５は、判断部４１からの閾値ｎに基づき、ｎ次成分以下の周波数成分のみをノイズ低減処理の対象として、このｎ次成分よりも次数の大きい周波数成分については処理を行うことなくそのまま高周波量子化部２２へ出力する。一方、補正部４５は、周波数成分がｎ次成分以下の周波数成分である場合には、各周波数成分の要素Ｓに対して、上限値Ｔupと下限値Ｔlow とに基づき次の数式５に示すような３通りの処理の何れかを選択して、要素Ｓを補正する。
［数５］
Ｓ＝Ｓ−Ｎ／２ （Ｔup＜Ｓのとき）
Ｓ＝ＡＶ （Ｔlow ≦Ｓ≦Ｔupのとき）
Ｓ＝Ｓ＋Ｎ／２ （Ｓ＜Ｔlow のとき）

補正部４５は、数式５による補正処理がなされた各周波数成分の要素を、高周波量子化部２２へ順次出力する。

なお、上述ではハードウェア的に処理を行う構成としているが、これに限るものではなく、ソフトウェア的に処理するようにしても構わない。例えば、ＣＣＤ４からの信号を未処理のままのＲａｗデータとし、制御部２５からのゲインや撮影時の温度などをこのＲａｗデータのヘッダ情報として付加して、このヘッダ情報が付加されたＲａｗデータを別途のソフトウェアによりコンピュータで処理するようにすることが考えられる。

図７を参照して、ノイズ低減および圧縮のソフトウェア処理について説明する。図７（Ａ）と図７（Ｂ）は、このソフトウェア処理を分割してそれぞれ示したものである。

この処理を開始すると、Ｒａｗデータとして得られる映像信号と、温度やゲインなどのヘッダ情報と、をコンピュータに読み込む（ステップＳ１）。なお、このヘッダ情報は、後述するステップＳ１３およびステップＳ１５の処理において使用されるようになっている。

次に、読み込んだＲａｗデータについて、ホワイトバランス処理，補間処理，強調処理などの一般的な信号処理を行い（ステップＳ２）、処理後の信号から所定のサイズのブロック領域、例えば８×８画素単位のブロック領域を抽出する（ステップＳ３）。

そして、ブロック内の各画素の映像信号（ＲＧＢ信号など）を、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに変換する（ステップＳ４）。

次に、輝度信号ＹをＤＣＴ変換により周波数空間の信号に変換し（ステップＳ５）、その後は、図７（Ｂ）に示すようなステップＳ１１の処理およびステップＳ１２の処理へ移行する。この図７（Ｂ）の処理については後で説明する。

この図７（Ｂ）に示すステップＳ２１までの処理が行われたところで、再び図７（Ａ）に示す処理に移行し、圧縮処理およびノイズ低減処理がなされた輝度信号Ｙを出力する（ステップＳ６）。

一方、上記ステップＳ４において分離された色差信号Ｃｂ，Ｃｒは、所定の割合でダウンサンプリングされ（ステップＳ７）、ＤＣＴ変換により周波数空間の信号に変換される（ステップＳ８）。その後は、ステップＳ１１の処理およびステップＳ１２の処理（図７（Ｂ）参照）へ移行する。

この図７（Ｂ）に示すステップＳ２１までの処理が行われたところで、再び図７（Ａ）に示す処理に移行し、圧縮処理およびノイズ低減処理がなされた色差信号Ｃｂ，Ｃｒを出力する（ステップＳ９）。

上記ステップＳ６の処理およびステップＳ９の処理が終了したら、全ブロックについての処理が完了したか否かを判断し（ステップＳ１０）、完了していない場合は上記ステップＳ３へ戻って次のブロックについて上述したような動作を繰り返して行う。また、このステップＳ１０において全てのブロックについての処理が完了したと判断される場合は、この処理を終了する。

次に、図７（Ｂ）に示す圧縮およびノイズ低減処理について説明する。この処理は、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに対して共通に行われる処理となっている。

ステップＳ５またはステップＳ８の処理によって周波数空間に変換された成分の内の、０次成分を抽出するとともに（ステップＳ１１）、０次成分以外の高周波成分を抽出する（ステップＳ１２）。

次に、上記ステップＳ１において読み込んだヘッダ情報に基づいて、ノイズ低減処理を行うか否かを判断する（ステップＳ１３）。

ここで、ノイズ低減処理を行うと判断された場合には、高周波成分の平均値を算出する（ステップＳ１４）。

そして、上記ステップＳ１１において抽出された０次成分と、上記ステップＳ１において読み込んだヘッダ情報とを用いて、上記数式２に基づきノイズ量を算出する（ステップＳ１５）。

その後、上記数式４に基づいて許容範囲を設定し（ステップＳ１６）、数式５に基づいてノイズ低減処理を行う（ステップＳ１７）。

このステップＳ１７の処理が終了した場合、または、上記ステップＳ１３においてノイズ低減処理を行わないと判断された場合には、全ての高周波成分についての処理が完了したか否かを判断する（ステップＳ１８）。ここで、完了していない場合は上記ステップＳ１２へ戻って次の高周波成分について上述したような動作を行う。

また、全ての高周波成分についての処理が完了している場合には、高周波成分の量子化を行う（ステップＳ２０）。

その一方で、上記ステップＳ１１において抽出した０次成分について、量子化を行う（ステップＳ１９）。

ステップＳ１９およびステップＳ２０における量子化の処理が完了したら、量子化された０次成分および高周波成分を圧縮処理して（ステップＳ２１）、上記図７（Ａ）に示した処理に移行する。

なお、上述では原色型の単板ＣＣＤを例に挙げて説明したが、これに限定されるものではなく、例えば、補色型の単板ＣＣＤでも同様に適応可能であるし、さらには、二板ＣＣＤや三板ＣＣＤの場合にも同様に適用可能である。

このような第１の実施形態によれば、周波数空間を利用する圧縮処理とノイズ低減処理とを一体化することにより、高画質な画像を得ることができる低コストな撮像システムを構築することができる。

また、ノイズ量に関係する０次成分、撮影時の撮像素子の温度、ゲインなどの各種のパラメータを撮影毎に動的に求めて、これらのパラメータに基づきノイズ量を算出しているために、ノイズ量を高精度に推定することができる。このとき、ノイズ量を算出する際に関数を用いているために、必要となるメモリ量を少なくすることができ、低コスト化を図ることが可能となる。

加えて、推定されたノイズ量と周波数成分の平均値とに基づき上限値と下限値を設定してノイズ成分を補正しているために、ノイズ成分のみが除去され、それ以外の信号は原信号として保存される。これにより、ノイズのみが低減された高品位な画像を得ることができる。

そして、推定したノイズ量以下の信号のみをスムージング処理しているために、効果的にノイズを低減することが可能となる。

さらに、ノイズ量の算出に要する温度，ゲインなどのパラメータが得られない場合には、標準値を用いるようにしているために、常にノイズ低減処理を行うことが可能となる。加えて、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図った撮像システムを構築することが可能となる。

周波数成分の信号を各周波数帯域に分離して、各周波数帯域毎にノイズ低減処理を行うかどうかを圧縮率に応じて選択し、圧縮処理で切り捨てられる高周波成分に対しては不要なノイズ低減処理を行うことなく、必要となる周波数帯域のみについてノイズ低減処理を行うようにしたために、処理を高速化することができる。

図８から図１１は本発明の第２の実施形態を示したものであり、図８は撮像システムの構成を示すブロック図、図９はウェーブレット変換を説明するための図、図１０はノイズ推定部の構成を示すブロック図、図１１はノイズ低減部の構成を示すブロック図である。

この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像システムは、図８に示すように、上述した第１の実施形態の図１に示した構成とほぼ同様であるが、変換手段たるウェーブレット（Ｗａｖｅｌｅｔ）変換部５０を追加して、輝度ＤＣＴ部１４とダウンサンプル部１７と色差ＤＣＴ部１８とを削除した構成となっている。上記ウェーブレット変換部５０は、Ｙ／Ｃ分離部１３の出力を処理して、処理結果を０次抽出部１５と高周波抽出部１９とへ出力するものである。

このような撮像システムの作用は、基本的に上述した第１の実施形態と同様であるために、異なる部分についてのみ図８の信号の流れに沿って説明する。

Ｙ／Ｃ分離部１３で得られた輝度信号Ｙと色差信号Ｃｂ，Ｃｒは、ウェーブレット変換部５０へ転送されて、該ウェーブレット変換部５０において周波数空間へ変換される。

図９は、このウェーブレット変換部５０において行われるウェーブレット変換の様子を示している。

図９（Ａ）は実空間における８×８画素のブロックを示している。

図９（Ｂ）は、図９（Ａ）に示すような８×８画素のブロックを、１回ウェーブレット変換した周波数空間における８×８画素のブロックを示している。この図９（Ｂ）においては、左上を原点に取っているために、左上４×４画素が０次成分Ｌを示し、その他が１次の高周波成分、すなわち、右上の４×４画素が１次の水平成分Ｈｈ1 、左下の４×４画素が１次の垂直成分Ｈｖ1 、右下の４×４画素が１次の斜め成分Ｈｓ1 、をそれぞれ示している。

図９（Ｃ）は、図９（Ａ）に示すような８×８画素のブロックを、２回ウェーブレット変換した周波数空間における８×８画素のブロックを示しており、図９（Ｂ）に示した０次成分Ｌをさらに１回ウェーブレット変換したものとなっている。この図９（Ｃ）に示す左上４×４画素において、左上２×２画素が０次成分Ｌを示し、その他が２次の高周波成分、すなわち、右上の２×２画素が２次の水平成分Ｈｈ2 、左下の２×２画素が２次の垂直成分Ｈｖ2 、右下の２×２画素が２次の斜め成分Ｈｓ2 、をそれぞれ示している。本実施形態においては、この図９（Ｃ）に示すような、ウェーブレット変換を２回行った周波数空間を例に取って説明を行う。

このようにしてウェーブレット変換部５０により周波数空間における信号に変換された信号は、０次抽出部１５により０次成分が抽出されるとともに、高周波抽出部１９により高周波成分が抽出され、上述した第１の実施形態と同様に、圧縮処理とノイズ低減処理とが行われる。

図１０を参照して、ノイズ推定部２０の構成の一例について説明する。

本実施形態のノイズ推定部２０は、ＣＣＤ４の標準的な温度を後述するルックアップテーブル部５２へ転送する付与手段たる標準値付与部５１と、０次抽出部１５からの０次成分と標準値付与部５１からの温度と制御部２５からのゲインとに対するノイズ量の関係を記録したルックアップテーブルを保持し該ルックアップテーブルを参照して求めたノイズ量をノイズ低減部２１へ出力するルックアップテーブル手段たるルックアップテーブル部５２と、を有して構成されていて、これら標準値付与部５１，ルックアップテーブル部５２は、制御部２５と双方向に接続されて制御されるようになっている。

このような構成における作用は、次のようになっている。

０次抽出部１５は、制御部２５の制御に基づいて０次成分を抽出し、ルックアップテーブル部５２へ転送する。また、制御部２５は、測光評価部７による測光評価結果や信号処理部１０における設定値などに基づいて信号に対するゲインを求め、求めたゲインをルックアップテーブル部５２へ転送する。さらに、標準値付与部５１は、撮像素子の標準的な温度をルックアップテーブル部５２へ転送する。

ルックアップテーブル部５２は、０次成分，温度，ゲインと、ノイズ量と、の間の関係を記録するルックアップテーブルを保持しており、このルックアップテーブルは第１の実施形態と同様の手段により構築されたものである。ルックアップテーブル部５２は、０次抽出部１５からの０次成分と、標準値付与部５１からの温度と、制御部２５からのゲインと、を用いてルックアップテーブルを参照することによりノイズ量を求めて、求めたノイズ量をノイズ低減部２１へ転送する。

なお、本実施形態の場合には、図９（Ｃ）に示したように、０次成分が２×２画素（つまり、４画素）となるために、これらに対応してノイズ量は４つ算出されることになる。算出されたノイズ量を高周波成分に使用する場合には、次のように行う。まず、高周波成分が２次の高周波成分（２次の水平成分Ｈｈ2 ，２次の垂直成分Ｈｖ2 ，２次の斜め成分Ｈｓ2 ）である場合には、２×２画素の構成となるために、位置的に対応する画素に対して１対１の関係で使用する。一方、高周波成分が１次の高周波成分（１次の水平成分Ｈｈ1 ，１次の垂直成分Ｈｖ1 ，１次の斜め成分Ｈｓ1 ）である場合には、４×４画素の構成となるために、１画素のノイズ量を縦方向および横方向にそれぞれ２倍拡大して、２×２画素単位にして使用する。

次に図１１を参照して、ノイズ低減部２１の構成の一例について説明する。

本実施形態のノイズ低減部２１は、高周波抽出部１９により抽出された０次成分以外の高周波成分から水平ラインを抽出する周波数分離手段たる水平ライン抽出部６１と、この水平ライン抽出部６１により抽出された水平ラインに対してスムージングを行うスムージング手段たる第１スムージング部６２と、この第１スムージング部６２によるスムージング結果を一時的に保存するバッファ６３と、このバッファ６３に蓄積された水平方向にスムージング後のデータを垂直方向に読み出す周波数分離手段たる垂直ライン抽出部６４と、この垂直ライン抽出部６４により読み出された垂直方向のラインのスムージングを行って高周波量子化部２２へ出力するスムージング手段たる第２スムージング部６５と、上記ノイズ推定部２０により推定されたノイズ値に基づいてスムージングを行う際の閾値を設定し上記第１スムージング部６２および第２スムージング部６５へ出力する閾値設定手段たる閾値設定部６６と、上記制御部から取得した画質モードに基づき情報が保存されない高周波成分の閾値ｎを推定して上記第１スムージング部６２および第２スムージング部６５へ出力する選択手段たる判断部６７と、を有して構成されている。

なお、上記水平ライン抽出部６１，垂直ライン抽出部６４，閾値設定部６６，判断部６７は、上記制御部２５と双方向に接続されて制御されるようになっている。

このような構成のノイズ低減部２１の作用は、次のようになっている。

上記水平ライン抽出部６１は、制御部２５の制御に基づいて、高周波抽出部１９から、水平ライン単位で順次３つの高周波成分水平Ｈｈi ，垂直Ｈｖi ，斜めＨｓi （ｉ＝１，２）を個別に抽出し、第１スムージング部６２へ転送する。

閾値設定部６６は、制御部２５の制御に基づいて、上記水平ライン抽出部６１により抽出された水平ライン単位の高周波成分に対して、対応するノイズ量をノイズ推定部２０から取得し、これを閾値として第１スムージング部６２へ転送する。

判断部６７は、外部Ｉ／Ｆ部２６により設定される画質モードの情報を制御部２５から取得して、この画質モードから対応する圧縮率を求める。そして、判断部６７は、求めた圧縮率では情報が保存されない高周波成分、すなわちノイズ成分も保存されない高周波成分、の閾値ｎを推定して、この閾値ｎを第１スムージング部６２と第２スムージング部６５とへ各転送する。

上記第１スムージング部６２は、判断部６７から取得した閾値ｎに基づいて、ｎ次成分以下の周波数成分のみをノイズ低減処理の対象とし、このｎ次成分よりも次数の大きい周波数成分については処理を行うことなくそのままバッファ６３へ出力する。一方、第１スムージング部６２は、周波数成分がｎ次成分以下の周波数成分である場合には、水平ライン抽出部６１からの高周波成分に対して画素単位で走査して行き、閾値設定部６６からの閾値をノイズ量として、例えば公知のヒステリシススムージングを行う。この結果は、順次出力されてバッファ６３に記憶される。

この第１スムージング部６２のヒステリシススムージングの動作は、制御部２５の制御により、ノイズ推定部２０の動作および閾値設定部６６の動作と同期して行われる。

高周波抽出部１９から出力される全ての高周波成分が第１スムージング部６２において処理されると、垂直ライン抽出部６４が、制御部２５の制御に基づいて、バッファ６３から垂直ライン単位で３つの高周波成分水平Ｈｈi ，垂直Ｈｖi ，斜めＨｓi （ｉ＝１，２）を個別に順次抽出し、第２スムージング部６５へ転送する。

上記閾値設定部６６は、制御部２５の制御に基づいて、垂直ライン抽出部６４が抽出した垂直ライン単位の高周波成分に対して、対応するノイズ量をノイズ推定部２０から取得し、このノイズ量を閾値として第２スムージング部６５へ転送する。

上記第２スムージング部６５は、判断部６７から取得した閾値ｎに基づいて、ｎ次成分よりも次数の大きい周波数成分については処理を行うことなくそのまま高周波量子化部２２へ出力する。一方、第２スムージング部６５は、周波数成分がｎ次成分以下の周波数成分である場合には、垂直ライン抽出部６４からの高周波成分に対して画素単位で走査して行き、閾値設定部６６からの閾値をノイズ量として、例えば公知のヒステリシススムージングを行う。この結果は、高周波量子化部２２へ順次出力される。

この第２スムージング部６５のヒステリシススムージングの動作は、制御部２５の制御により、ノイズ推定部２０の動作および閾値設定部６６の動作と同期して行われる。

その後は、上述した第１の実施形態と同様に、圧縮部２３による圧縮処理が行われ、圧縮された信号が出力部２４によってメモリカード等に記録され保存される。なお、このときの圧縮処理は、例えば、公知のＪＰＥＧ２０００圧縮処理に準拠してなされている。

なお、上述ではノイズ低減処理にヒステリシススムージングを使用したが、これに限定されるものではなく、例えば、第１の実施形態と同様に、数式５に示したような低減処理を適用することも可能である。

このような第２の実施形態によれば、周波数空間を利用する圧縮処理とノイズ低減処理とを一体化することにより、高画質な画像を得ることができる低コストな撮像システムを構築することができる。

また、ノイズ量に関係する０次成分、撮影時の撮像素子の温度、ゲインなどの各種のパラメータを撮影毎に動的に求めて、これらのパラメータに基づきノイズ量をテーブルを用いて算出しているために、ノイズ量を高精度かつ高速に推定することができる。

また、ノイズ量を閾値として設定し、この閾値以下の信号のみをスムージング処理しているために、ノイズ成分以外の信号は原信号として保存され、ノイズのみが低減された高品位な画像を得ることができる。

さらに、ノイズ量の算出に要する温度，ゲインなどのパラメータが得られない場合には、標準値を用いるようにしているために、常にノイズ低減処理を行うことが可能となる。加えて、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図った撮像システムを構築することが可能となる。

そして、圧縮率に応じて、必要となる周波数帯域のみについてノイズ低減処理を行うようにしたために、処理を高速化することができる。

図１２、図１３は本発明の第３の実施形態を示したものであり、図１２は再生システムの構成を示すブロック図、図１３は伸張およびノイズ低減のソフトウェア処理を示すフローチャートである。

この第３の実施形態は、再生システムに関するものであるが、ノイズ低減処理等に関しては上述した第１，第２の実施形態と同様な構成要素がある。従って、同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

また、伸張処理に関しては、第１の実施形態において説明したようなＲＧＢ信号に対するＪＰＥＧ圧縮処理がなされたものを伸張処理することを前提とし、かつ、ヘッダ部に撮影時の情報が書き込まれていることを前提として説明する。

この再生システムは、上記図１に示したのと同様の、０次抽出部１５と、高周波抽出部１９と、ノイズ推定部２０と、ノイズ低減部２１と、出力部２４と、制御部２５と、外部Ｉ／Ｆ部２６と、を有するとともに、さらに、メモリカードなどの記録媒体に保存されている圧縮信号を読み込む入力部７１と、この入力部７１からの圧縮信号を伸張して上記０次抽出部１５と高周波抽出部１９とへ出力する伸張手段たる伸張部７２と、上記０次抽出部１５からの０次成分の輝度成分と上記ノイズ低減部２１からのノイズ低減された高周波成分の輝度成分とを逆ＤＣＴ変換する逆変換手段たる輝度逆ＤＣＴ部７３と、上記０次抽出部１５からの０次成分の色差成分と上記ノイズ低減部２１からのノイズ低減された高周波成分の色差成分とを逆ＤＣＴ変換する逆変換手段たる色差逆ＤＣＴ部７４と、この色差逆ＤＣＴ部７４からの色差成分をアップサンプリングするアップサンプル部７５と、上記輝度逆ＤＣＴ部７３の輝度成分と上記アップサンプル部７５からの色差成分とを合成してＲＧＢ信号を生成してＣＲＴモニタや液晶モニタなどの表示装置でなる上記出力部２４に出力するＹ／Ｃ合成部７６と、を有して構成されている。

なお、上記入力部７１，伸張部７２，０次抽出部１５，高周波抽出部１９，ノイズ推定部２０，ノイズ低減部２１，Ｙ／Ｃ合成部７６，出力部２４，外部Ｉ／Ｆ部２６は、マイクロコンピュータなどでなる制御部２５と双方向に接続されて制御されるようになっている。

また、本実施形態の外部Ｉ／Ｆ部２６は、電源スイッチや再生ボタンなどのインターフェースを備えたものとなっている。

次に、図１２に示したような再生システムにおける信号の流れについて説明する。

外部Ｉ／Ｆ部２６を介して再生ボタンを操作することにより、メモリカードなどの記録媒体に保存された圧縮信号が入力部７１から読み込まれる。

この圧縮信号は、伸張部７２へ転送されて公知のハフマン符号や算術符号などに基づき伸張処理が行われ、周波数空間の信号に変換される。

０次抽出部１５は、この周波数空間の信号から０次成分を抽出して、ノイズ推定部２０へ転送する。

ノイズ推定部２０は、画像のヘッダ情報として記録されている撮影時の情報を制御部２５から受け取って、上述した第１の実施形態と同様に、０次成分以外の周波数成分に対するノイズ量を算出し、ノイズ低減部２１へ転送する。

一方、高周波抽出部１９は、伸張部７２により伸張された周波数空間の信号から０次成分以外の周波数成分を抽出してノイズ低減部２１へ転送する。

ノイズ低減部２１は、第１の実施形態と同様に、ノイズ推定部２０からのノイズ量に基づき高周波抽出部１９からの０次成分以外の周波数成分に対してノイズ低減処理を行う。

０次抽出部１５により抽出された０次成分とノイズ低減部２１においてノイズ低減処理された高周波成分とは、輝度逆ＤＣＴ部７３または色差逆ＤＣＴ部７４へ転送されて実空間の信号に変換される。このときの輝度信号と色差信号との切り替えは、制御部２５の制御に基づいて行われるようになっており、伸張部７２から得られるブロック単位で処理される。

輝度逆ＤＣＴ部７３からの輝度信号はそのままＹ／Ｃ合成部７６へ転送される一方で、色差逆ＤＣＴ部７４からの色差信号は、アップサンプル部７５において所定の割合でアップサンプリング処理された後にＹ／Ｃ合成部７６へ転送される。

Ｙ／Ｃ合成部７６は、制御部２５の制御に基づいて、ブロック単位の輝度信号とブロック単位の色差信号とが揃った時点で、次の数式６に基づいてＹ／Ｃ合成処理を行い、ＲＧＢ信号を生成する。

［数６］
Ｒ＝Ｙ ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ＋１．７７２００Ｃｂ−０．４１８６９Ｃｒ

こうしてＹ／Ｃ合成部７６で生成されたＲＧＢ信号は、出力部２４内のバッファへ順次転送される。

なお、上述ではハードウェア的に再生処理を行うように構成していたが、これに限定されるものではなく、例えば、メモリカードなどの記録媒体に保存された圧縮信号と撮影時の温度，ゲインなどのヘッダ情報とをコンピュータに読み込んで、ソフトウェアによって別途処理することも可能である。

図１３を参照して、伸張およびノイズ低減のソフトウェア処理について説明する。図１３（Ａ）はこのソフトウェア処理の主たる流れを示しており、図１３（Ｂ）は輝度信号と色差信号とで共通に行われる処理について示している。

処理が開始されると、図１３（Ａ）に示すように、まず、圧縮信号と、温度やゲインなどのヘッダ情報と、を読み込む（ステップＳ３１）。なお、ここで読み込んだヘッダ情報は、後述するステップＳ４１，Ｓ４３の処理に転送される。

次に、ハフマン符号や算術符号などに基づく伸張処理をブロック単位で行い、周波数空間における輝度信号Ｙと色差信号Ｃｂ，Ｃｒとを生成する（ステップＳ３２）。ここで生成された輝度信号Ｙは、後述するステップＳ３９，Ｓ４０の処理で使用され、後述するステップＳ４６までの処理が行われた後にステップＳ３３の処理に移行する。また、生成された色差信号Ｃｂ，Ｃｒについても同様に、後述するステップＳ３９，Ｓ４０の処理で使用され、後述するステップＳ４６までの処理が行われた後にステップＳ３４の処理に移行する。

すなわち、輝度信号Ｙが逆ＤＣＴ変換されるとともに（ステップＳ３３）、色差信号Ｃｂ，Ｃｒについても逆ＤＣＴ変換される（ステップＳ３４）。色差信号Ｃｂ，Ｃｒについては、さらに、所定の割合でアップサンプリングされる（ステップＳ３５）。

そして、ステップＳ３３で変換された輝度信号Ｙと、ステップＳ３４でアップサンプリングされた色差信号Ｃｂ，Ｃｒとを合成して、ＲＧＢ信号を生成し（ステップＳ３６）、合成されたＲＧＢ信号を出力する（ステップＳ３７）。

その後、全ブロックについての処理が完了したか否かを判断し（ステップＳ３８）、完了していない場合は上記ステップＳ３２へ戻って次のブロックについての処理を上述したように行い、一方、完了している場合には、この一連の処理を終了する。

次に、図１３（Ｂ）に示すステップＳ３９〜Ｓ４６のノイズ低減処理について説明する。この処理は、上述したように、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに対して共通に行われるものである。

輝度信号Ｙまたは色差信号Ｃｂ，Ｃｒの０次成分を抽出するとともに（ステップＳ３９）、輝度信号Ｙまたは色差信号Ｃｂ，Ｃｒの０次成分以外の高周波成分を抽出する（ステップＳ４０）。

そして、上記ステップＳ３１において読み込んだヘッダ情報に基づいて、ノイズ低減処理を行うか否かを判断する（ステップＳ４１）。

ここでノイズ低減処理を行う場合には、高周波成分の平均値を算出する（ステップＳ４２）。

上記ステップＳ３９において抽出された０次成分と、上記ステップＳ３１において読み込んだヘッダ情報とを用いて、上記数式２に基づきノイズ量を算出する（ステップＳ４３）。

そして、上記数式４に基づいて許容範囲を設定し（ステップＳ４４）、数式５に基づいてノイズ低減処理を行う（ステップＳ４５）。

このステップＳ４５が終了するか、または上記ステップＳ４１においてノイズ低減処理を行わない場合には、全ての高周波成分について処理が完了したか否かを判断し（ステップＳ４６）、完了していない場合は上記ステップＳ４０へ戻って他の高周波成分について上述したような処理を行い、一方、完了している場合には、上記ステップＳ３３またはステップＳ３４へ移行する。

なお、上述では独立した再生システムの例を記載しているが、これに限るものではなく、例えば、上述した第１または第２の実施形態の撮像システムと組み合わせて、撮像再生システムとして構成するようにしても良い。この場合には、撮影時にノイズ低減処理を省略することで高速な連写撮影が可能となり、撮影後にノイズ低減処理を別途行うことで高画質な画像を得ることが可能となる。

このような第３の実施形態によれば、周波数空間を利用する伸張処理とノイズ低減処理とを一体化することにより、高画質な画像を得ることができる低コストな再生システムを構築することができる。

また、ノイズ量を算出する際に用いる０次成分を画像毎に取得するだけでなく、ノイズ量に関係する撮影時の撮像素子の温度、ゲインなどの各種のパラメータをヘッダ情報として画像毎に取得して、これらに基づきノイズ量を算出しているために、ノイズ量を高精度に推定することができる。

そして、推定したノイズ量以下の信号のみをスムージング処理しているために、効果的にノイズを低減することが可能となる。

さらに、ノイズ量の算出に要する温度，ゲインなどのパラメータが得られない場合には、標準値を用いるようにしているために、常にノイズ低減処理を行うことが可能となる。

図１４、図１５は本発明の第４の実施形態を示したものであり、図１４は撮像システムの構成を示すブロック図、図１５はノイズ低減処理に使用するパラメータ校正のソフトウェア処理を示すフローチャートである。

この第４の実施形態において、上述の第１から第３の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この第４の実施形態の撮像システムは、ノイズ低減処理に使用するパラメータを校正することができるように構成したものである。

すなわち、本実施形態の撮像システムは、図１４に示すように、上述した第１の実施形態の構成から、ブロック抽出部１２と、０次量子化部１６と、ノイズ推定部２０と、ノイズ低減部２１と、高周波量子化部２２と、圧縮部２３と、を削除して、白から黒までの互いに異なる反射率を有する３種類以上のグレーチャートでなる校正用画像８０と、第２バッファ１１に記憶された映像信号からチャートを抽出してＹ／Ｃ分離部１３へ出力するブロック抽出手段でありチャート分離手段たるチャート抽出部８１と、高周波抽出部１９から抽出された高周波成分の分散を算出する分散算出手段たる分散算出部８２と、この分散算出部８２により算出された分散を用いて０次抽出部１５の出力をフィッティングして出力部２４へ転送するフィッティング手段たるフィッティング部８３と、を追加した構成となっている。

なお、追加された構成の内のフィッティング部８３は、制御部２５と双方向に接続されて制御されるようになっている。

次に、図１４に示したような撮像システムにおける信号の流れについて説明する。

外部Ｉ／Ｆ部２６を介してＩＳＯ感度や画質モードなどの撮影条件を設定した後に、上記校正用画像８０を撮像する。なお、撮影に際しては、校正用画像８０が画面全体に写るように撮影距離を調整するとともに、校正用画像８０の全体に照明光が均一に照射されるように調整する。このような校正用画像８０を撮影して得られる映像信号は、上述した第１の実施形態と同様に処理された後に、第２バッファ１１に記憶される。

次に、チャート抽出部８１は、画面全体の画像信号における各グレーチャートを分離して、各グレーチャートよりも一回り小さい所定サイズのブロック領域をグレーチャート該当部分として抽出し、Ｙ／Ｃ分離部１３へ順次転送する。このような各グレーチャート該当部分の分離作業は、校正用画像８０が画面全体に写るよう調整されていて、かつグレーチャートの配置状況が既知のものである場合には、自動的に行うことが可能である。

Ｙ／Ｃ分離部１３は、数式１に基づいてＲＧＢ信号を輝度信号Ｙと色差信号Ｃｂ，Ｃｒへ変換する。この後に、輝度信号Ｙは輝度ＤＣＴ部１４へ、色差信号Ｃｂ，Ｃｒはダウンサンプル部１７を介して色差ＤＣＴ部１８へ、それぞれ転送される。

輝度ＤＣＴ部１４と色差ＤＣＴ部１８とは、上述したように、公知のＤＣＴ（Discrete Cosine Transform）変換によって、実空間の信号を周波数空間の信号へ変換する。

周波数空間へ変換された信号は、制御部２５の制御に基づいて、輝度信号Ｙ、色差信号Ｃｂ、色差信号Ｃｒの順に、０次抽出部１５において０次成分が抽出されるとともに高周波抽出部１９において高周波成分が抽出される。０次抽出部１５で抽出された０次成分はフィッティング部８３へ、高周波抽出部１９で抽出された高周波成分は分散算出部８２へ、それぞれ転送される。

分散算出部８２は、ノイズ量に相当する値として高周波成分の分散値を算出し、算出した分散値をフィッティング部８３へ転送する。このような処理が、全てのグレーチャートに対して行われる。

フィッティング部８３は、制御部２５の制御に基づいて、０次抽出部１５で抽出された０次成分Ｌと、分散算出部８２で算出された分散値Ｎと、の各情報が全てのグレーチャートに関して集まった段階で、ノイズ量に対する定式化を行う。ここでは、ノイズ量の定式として、例えばＮ＝ＡＬ^B＋Ｃ（Ａ，Ｂ，Ｃは定数項）を用いている。この定式化は、各グレーチャートの０次成分Ｌと分散値Ｎとをプロットして、公知の最小自乗法により定数項Ａ，Ｂ，Ｃを求めることにより行われる。これらの定数項は、輝度信号Ｙと、色差信号Ｃｂと、色差信号Ｃｒと、の３種類のデータに関してそれぞれ個別に算出される。

こうして算出された定数項Ａ，Ｂ，Ｃは、係数保存手段たる出力部２４に転送されて記録され保存される。このような処理を、外部Ｉ／Ｆ部２６を介して設定されるＩＳＯ感度と画質モードとの全ての組み合わせについて行うことにより、ノイズ低減処理に使用するパラメータを校正することができる。

なお、上述ではハードウェア的に校正処理を行うように構成していたが、これに限定されるものではなく、例えば、ＣＣＤ４からの映像信号を未処理のままのＲａｗデータとして出力するとともに、さらに制御部２５からの撮影時の温度やゲインなどの情報をヘッダ情報として出力し、ソフトウェアによってコンピュータにより別途処理するようにすることも可能である。

図１５を参照して、ノイズ低減処理に使用するパラメータ校正のソフトウェア処理について説明する。

この処理が開始されると、まず、Ｒａｗデータとして得られる校正用画像８０の映像信号と、温度やゲインなどのヘッダ情報と、をコンピュータに読み込む（ステップＳ５１）。

次に、ホワイトバランス処理，補間処理，強調処理などの一般的な信号処理を行い（ステップＳ５２）、その後に各グレーチャート該当部分を個別に抽出する（ステップＳ５３）。

そして、チャート内の各画素の映像信号を、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに変換する（ステップＳ５４）。

これらの内の輝度信号ＹをＤＣＴ変換により周波数空間の信号に変換して（ステップＳ５５）、０次成分を抽出するとともに（ステップＳ５６）、０次成分以外の高周波成分を抽出する（ステップＳ５７）。これらの内の高周波成分については、分散値を算出する（ステップＳ５８）。

その後、上記ステップＳ５６において抽出した０次成分と、上記ステップＳ５８において算出した分散値とを出力する（ステップＳ５９）。

一方、上記ステップＳ５４において分離された内の色差信号Ｃｂ，Ｃｒは、所定の割合でダウンサンプリングし（ステップＳ６０）、ＤＣＴ変換を行って周波数空間の信号へ変換する（ステップＳ６１）。

そして、０次成分を抽出するとともに（ステップＳ６２）、０次成分以外の高周波成分を抽出し（ステップＳ６３）、これらの内の高周波成分については、分散値を算出する（ステップＳ６４）。

次に、上記ステップＳ６２において抽出した０次成分と、上記ステップＳ６４において算出した分散値とを出力する（ステップＳ６５）。

その後、全てのグレーチャート該当部分について処理が完了したか否かを判断して（ステップＳ６６）、完了していない場合には上記ステップＳ５３へ戻って他のグレーチャート該当部分について上述したような処理を行う。

また、全てのグレーチャートについて処理が完了している場合には、最小自乗法に基づくフィッティングを行って、ノイズ低減処理に要するパラメータを輝度信号Ｙ、色差信号Ｃｂ、色差信号Ｃｒのそれぞれについて算出する（ステップＳ６７）。

そして、このステップＳ６７により算出されたノイズ低減処理に要するパラメータを出力して（ステップＳ６８）、この一連の処理を終了する。

なお、上述ではノイズ量に対する定式化において、数式２に示したようなべき乗の関数を用いたが、このような関数形状のものに限定されるものでもない。例えば、Ｎ＝ＡＬ²＋ＢＬ＋Ｃといった２次式を用いて定式化することも可能であるし、その他の多項式やスプライン関数などを使用するようにしても構わない。

このような第４の実施形態によれば、標準のグレースケール画像でなる校正用画像を撮影するだけで、ノイズ低減処理に要するパラメータを容易に算出することができるために、パラメータが算出されていないシステムの場合、システムに経時変化が生じている場合、システムの構成が変更されている場合、などに柔軟に対応して、高精度にノイズ量を推定することが可能となる。例えば、本実施形態の構成を上述した第３の実施形態の構成と組み合わせることにより、ノイズ低減処理に要するパラメータが算出されていないシステムに対しても、高精度なノイズ低減処理を行うことが可能となる。

また、ノイズ量推定を行うための関数に係る各パラメータを別途に保存可能としているために、撮像システムの外部においてもノイズ低減処理を行うことが可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の第１の実施形態における撮像システムの構成を示すブロック図。 上記第１の実施形態におけるノイズ推定部の構成を示すブロック図。 上記第１の実施形態において、ＤＣＴ変換を説明するための図。 上記第１の実施形態におけるノイズ量の定式化を説明するための線図。 上記第１の実施形態においてノイズ量の定式化に用いるパラメータを説明するための線図。 上記第１の実施形態におけるノイズ低減部の構成を示すブロック図。 上記第１の実施形態におけるノイズ低減および圧縮のソフトウェア処理を示すフローチャート。 本発明の第２の実施形態における撮像システムの構成を示すブロック図。 上記第２の実施形態において、ウェーブレット変換を説明するための図。 上記第２の実施形態におけるノイズ推定部の構成を示すブロック図。 上記第２の実施形態におけるノイズ低減部の構成を示すブロック図。 本発明の第３の実施形態における再生システムの構成を示すブロック図。 上記第３の実施形態における伸張およびノイズ低減のソフトウェア処理を示すフローチャート。 本発明の第４の実施形態における撮像システムの構成を示すブロック図。 上記第４の実施形態におけるノイズ低減処理に使用するパラメータ校正のソフトウェア処理を示すフローチャート。

符号の説明

１…レンズ系
２…絞り
３…ローパスフィルタ
４…ＣＣＤ（撮像素子）
５…Ａ／Ｄ変換器
６…第１バッファ
７…測光評価部
８…合焦点検出部
９…ＡＦモータ
１０…信号処理部
１１…第２バッファ
１２…ブロック抽出部（ブロック抽出手段）
１３…Ｙ／Ｃ分離部
１４…輝度ＤＣＴ部（変換手段）
１５…０次抽出部
１６…０次量子株
１７…ダウンサンプル部
１８…色差ＤＣＴ部（変換手段）
１９…高周波抽出部
２０…ノイズ推定部（ノイズ推定手段）
２１…ノイズ低減部（ノイズ低減手段）
２２…高周波量子化部
２３…圧縮部（圧縮手段）
２４…出力部（係数保存手段）
２５…制御部（取得手段）
２６…外部Ｉ／Ｆ部
３１，５１…標準値付与部（付与手段）
３２…係数算出部（係数算出手段）
３３…パラメータ用ＲＯＭ（係数算出手段）
３４…ノイズ算出部（ノイズ算出手段）
４１，６７…判断部（選択手段）
４２…平均値算出部（平均値算出手段）
４３…許容範囲設定部（許容範囲設定手段）
４４…分離部（周波数分離手段）
４５…補正部（補正手段）
５０…ウェーブレット変換部（変換手段）
５２…ルックアップテーブル部（ルックアップテーブル手段）
６１…水平ライン抽出部（周波数分離手段）
６２…第１スムージング部（スムージング手段）
６４…垂直ライン抽出部（周波数分離手段）
６５…第２スムージング部（スムージング手段）
６６…閾値設定部（閾値設定手段）
７１…入力部
７２…伸張部（伸張手段）
７３…輝度逆ＤＣＴ部（逆変換手段）
７４…色差逆ＤＣＴ部（逆変換手段）
７５…アップサンプル部
７６…Ｙ／Ｃ合成部
８０…校正用画像
８１…チャート抽出部（ブロック抽出手段、チャート分離手段）
８２…分散算出部（分散算出手段）
８３…フィッティング部（フィッティング手段）

Claims (10)

1. 撮像素子からの信号が周波数空間における信号に変換され、当該周波数空間における信号に変換された後に圧縮された信号を処理する再生システムであって、
   上記圧縮された信号を周波数空間における信号として伸張する伸張手段と、
   上記伸張手段により伸張された周波数空間における信号の内の０次成分に基づいて、０次成分以外の周波数成分に関するノイズ量Ｎを推定するノイズ推定手段と、
   上記ノイズ推定手段により推定されたノイズ量Ｎに基づいて、０次成分以外の周波数成分に関するノイズを低減するノイズ低減手段と、
   上記０次成分とノイズを低減された０次成分以外の周波数成分とを実空間における信号に変換する逆変換手段と、
   を具備したことを特徴とする再生システム。
2. 上記撮像素子の温度Ｔと上記信号に対するゲインＧとに関する標準値を与える付与手段をさらに有することを特徴とする請求項１に記載の再生システム。
3. 上記撮像素子の温度Ｔと上記信号に対するゲインＧとを取得する取得手段をさらに有し、
   上記ノイズ推定手段は、上記取得手段により取得された温度ＴおよびゲインＧに基づいて上記ノイズ量Ｎを推定することを特徴とする請求項１に記載の再生システム。
4. 上記ノイズ推定手段は、
   上記取得手段から与えられる温度ＴおよびゲインＧをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）に基づいて各係数Ａ，Ｂ，Ｃを求める係数算出手段と、
   上記０次成分の値Ｌと上記係数Ａ，Ｂ，Ｃとを用いて、ノイズ量Ｎを、関数式Ｎ＝ＡＬ^Ｂ＋ＣまたはＮ＝ＡＬ^２＋ＢＬ＋Ｃにより求めるノイズ算出手段と、
   を有して構成されたものであることを特徴とする請求項３に記載の再生システム。
5. 上記ノイズ推定手段は、
   上記０次成分の値Ｌと、上記取得手段から与えられる温度ＴおよびゲインＧを入力として、ノイズ量Ｎを求めるルックアップテーブル手段と、
   を有して構成されたものであることを特徴とする請求項３に記載の再生システム。
6. 上記ノイズ低減手段は、
   上記０次成分以外の周波数成分の平均値を算出する平均値算出手段と、
   上記平均値算出手段により算出された平均値と上記ノイズ推定手段により推定されたノイズ量とに基づいて、上記０次成分以外の周波数成分に関する上限値および下限値を設定する許容範囲設定手段と、
   上記許容範囲設定手段により設定された上限値および下限値に基づいて、０次成分以外の周波数成分を補正する補正手段と、
   を有して構成されたものであることを特徴とする請求項１に記載の再生システム。
7. 上記ノイズ低減手段は、
   上記ノイズ推定手段により推定されたノイズ量に基づいて上記０次成分以外の周波数成分に関するノイズの振幅値を閾値として設定する閾値設定手段と、
   上記０次成分以外の周波数成分に関して上記閾値設定手段により設定された閾値以下の振幅成分を低減するスムージング手段と、
   を有して構成されたものであることを特徴とする請求項１に記載の再生システム。
8. 上記ノイズ低減手段は、
   上記０次成分以外の周波数成分を所定の周波数帯域毎に分離する周波数分離手段と、
   上記周波数分離手段により分離された周波数帯域に関してノイズ低減処理を行うか否かを選択する選択手段と、
   をさらに有して構成されたものであることを特徴とする請求項６または請求項７に記載の再生システム。
9. コンピュータに、
   周波数空間における信号に変換された後に圧縮された信号を、周波数空間における信号として伸張する伸張手順と、
   上記伸張手順により伸張された周波数空間における信号の内の０次成分に基づいて、０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手順と、
   上記ノイズ推定手順により推定されたノイズ量に基づいて、０次成分以外の周波数成分に関するノイズを低減するノイズ低減手順と、
   上記０次成分とノイズを低減された０次成分以外の周波数成分とを実空間における信号に変換する逆変換手順と、
   を実行させるものであることを特徴とする再生プログラム。
10. 上記ノイズ低減手順は、
    上記０次成分以外の周波数成分の平均値を算出する平均値算出手順と、
    上記平均値算出手順により算出された平均値と上記ノイズ推定手順により推定されたノイズ量とに基づいて、上記０次成分以外の周波数成分に関する上限値および下限値を設定する許容範囲設定手順と、
    上記許容範囲設定手順により設定された上限値および下限値に基づいて、０次成分以外の周波数成分を補正する補正手順と、
    を含んでいることを特徴とする請求項９に記載の再生プログラム。

Images