JP2009100207A - ノイズ低減システム、ノイズ低減プログラム及び撮像システム - Google Patents
ノイズ低減システム、ノイズ低減プログラム及び撮像システム Download PDFInfo
- Publication number
- JP2009100207A JP2009100207A JP2007269263A JP2007269263A JP2009100207A JP 2009100207 A JP2009100207 A JP 2009100207A JP 2007269263 A JP2007269263 A JP 2007269263A JP 2007269263 A JP2007269263 A JP 2007269263A JP 2009100207 A JP2009100207 A JP 2009100207A
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- amount
- noise
- video signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】信号処理に起因するノイズの不均一な顕在化を抑制し、高品位な映像信号を得る。
【解決手段】撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムは、前記映像信号に対してノイズ低減処理を行うノイズ低減部112と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理部114と、前記信号処理に起因する映像信号の変化量を算出する変化量算出部116を有し、前記ノイズ低減部112は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
【選択図】図1
【解決手段】撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムは、前記映像信号に対してノイズ低減処理を行うノイズ低減部112と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理部114と、前記信号処理に起因する映像信号の変化量を算出する変化量算出部116を有し、前記ノイズ低減部112は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
【選択図】図1
Description
本発明は、撮像系に起因する映像信号のランダムノイズの低減処理に関する。
撮像素子とそれに付随するアナログ回路およびA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
静止画用のランダムノイズの低減処理に関しては、例えば特許文献1に示されるように、ノイズ量をノイズモデルに基づきブロック単位に推定して、ブロック単位にノイズ低減処理を制御する例が開示されている。このノイズ低減処理では、ノイズ量を推定するにあたりブロック内で注目画素と類似する領域を選択し、選択された領域の平均値を用いている。これにより、エッジ部の影響を抑制したスペースバリアントなノイズ低減処理が可能となり、高品位な映像信号が得られる。
一方、動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。このノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。このような巡回型のノイズ低減処理としては、例えば特許文献2では映像信号から動き成分を検出し、検出された動き成分に基づき差分処理をおこなった信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。また、特許文献3では差分処理をおこなった信号値から帰還係数を制御する方法が開示されている。これにより、比較的少ない演算量で副作用を抑制したノイズ低減処理が可能となる。
特開2006-23959号公報
特開平10-13734号公報
特開2000-209507号公報
ノイズ低減処理が理想的に機能しノイズが完全に除去されるならば、ノイズ低減処理以降の後段の信号処理はノイズの影響を考慮することなく自由に行うことができる。しかし、実際にはノイズを完全に除去することはできず、ノイズは残存することになる。このため、後段でエッジ強調、彩度強調、階調変換などの強調処理を行うと、ノイズが顕在化することになる。また、このような強調処理は画素の信号レベルや属する色相などにより強調処理の強弱が異なるため、領域ごとに不均質なノイズの顕在化が生じる。これは視覚的に非常に顕著なため、信号の品位を劣化させる要因となる。
特許文献1においては、ノイズ低減処理およびその後段の信号処理が独立に行われるため、上記のような領域ごとに不均質なノイズの顕在化が生じるという課題がある。また、静止画像処理を基本とし時間軸方向の特性を用いた処理とは独立しており、相互を最適に活用できないという課題がある。また、特許文献2、3においても、ノイズ低減処理後に独立に信号処理が行われるため、領域ごとに不均質なノイズの顕在化が生じるという課題がある。
本発明は上記問題点に着目し、信号処理に起因するノイズの不均一な顕在化を抑制し、高品位な映像信号を得ることを目的とする。
本発明によれば、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理手段と、前記信号処理に起因する映像信号の変化量を算出する変化量算出手段を有し、前記ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する。
本発明に係るノイズ低減システムでは、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御するようにしたことにより、信号処理に起因するノイズの不均質な顕在化を抑制することが可能となり、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の精度を向上でき、かつ操作性の良いノイズ低減システムを提供できる。
以下、添付図面を参照しながら本発明の実施形態について説明する。
第1の実施形態
[構成]
図1は、本発明の第1の実施形態の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、増幅器(以下、"Gain")104にて増幅され、A/Dコンバータ(以下、"A/D")105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。
[構成]
図1は、本発明の第1の実施形態の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、増幅器(以下、"Gain")104にて増幅され、A/Dコンバータ(以下、"A/D")105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。
バッファ106は、プリホワイトバランス調整部(以下、"PreWB部")107,測光評価部108,合焦点検出部109へも接続されている。PreWB部107はGain104へ、測光評価部108は絞り101,CCD102,Gain104へ、合焦点検出部109はAFモータ110へ接続されている。色信号分離部111は巡回型ノイズ低減部112へ、巡回型ノイズ低減部112はバッファ113へ接続されている。バッファ113は、巡回型ノイズ低減部112,信号処理部114,変化量算出部116へ接続されている。信号処理部114はバッファ115へ、バッファ115は変化量算出部116およびメモリカードなどの出力部117に接続されている。変化量算出部116は、巡回型ノイズ低減部112へ接続されている。マイクロコンピュータなどの制御部118は、Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,色信号分離部111,巡回型ノイズ低減部112,信号処理部114,変化量算出部116,出力部117と双方向に接続されている。また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
[作用]
図1において、映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。また、本実施形態例においては上記所定時間間隔として1/30秒(以後は1フレーム時間と表記する)を想定する。さらに、CCD102としてはBayer型原色フィルタを前面に配置した単板CCDを想定する。
図1において、映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。また、本実施形態例においては上記所定時間間隔として1/30秒(以後は1フレーム時間と表記する)を想定する。さらに、CCD102としてはBayer型原色フィルタを前面に配置した単板CCDを想定する。
図2(a)は、Bayer型原色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R),青(B)フィルタが1画素ずつ、緑(Gr,Gb)フィルタが2画素配置される。なお、緑フィルタは同一な特性であるが、この実施形態では処理の便宜上これをGrとGbに区別するものとする。
上記アナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、2フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。バッファ106内のフレーム信号は、制御部118の制御に基づき、所定のフレーム時間間隔で間欠的にPreWB部107および測光評価部108および合焦点検出部109へ転送される。
PreWB部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
測光評価部108では、設定されたISO感度,手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度やGain104の増幅率などを制御する。
また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。PreWB部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は制御部118へ転送される。
一方、色信号分離部111は制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第1の実施形態においては、例えば図2(a)に示される10×10画素を基本単位としてフレーム信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22,Gr22,Gb22,B22の4画素となる。次に、図2(b)に示されるようにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、時刻Tにおける局所領域内の画素をCT ij(Cは色信号でC=R,Gr,Gb,B、iはX座標でi=0〜4、jはY座標でj=0〜4)で表記する。5×5画素の局所領域の場合は、注目画素はCT 22となる。フレーム信号からもれなく注目画素を抽出するために、図2(a)に示される10×10画素の基本単位は4行4列ずつ重複して順次抽出されることになる。
また、バッファ106上には2フレームの信号が記録されており、色信号分離部111は、時刻T-1のフレーム信号から上記局所領域の座標位置に対応し5×5画素の局所領域を包含する21×21画素のマッチング領域も色フィルタごとに抽出する。以降は、時刻T-1におけるマッチング領域内の画素をCT-1 kl(kはX座標でk=0〜20、lはY座標でl=0〜20)で表記する。抽出された局所領域およびマッチング領域は、順次巡回型ノイズ低減部112へ転送される。
巡回型ノイズ低減部112は、制御部118の制御に基づき、バッファ113上に保存されたノイズ低減処理がなされた過去のフレーム信号から上記局所領域の座標位置に対応する局所領域を読み込む。以後、ノイズ低減処理がなされた画素をCNで記述する。バッファ113から読み込まれる局所領域内の画素はCNT-1 ijとなる。さらに、後述する変化量算出部116からの変化量を読み込み、上記局所領域単位に巡回型のノイズ低減処理を行う。ノイズ低減処理は局所領域内の注目画素CT 22に対して行われ、ノイズ低減処理がなされた注目画素CNT 22はバッファ113へ転送され記録される。バッファ113は、1フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。
1フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して、公知の補間処理を行い、その後公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。
出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
図3は巡回型ノイズ低減部112の構成の一例を示すもので、領域抽出部200,領域抽出部201,動き推定部202,差分信号算出部203,上限値設定部204,領域抽出拡大部205,変化量動き補償部206,閾値設定部207,減算部208からなる。
色信号分離部111は、領域抽出部200を介して動き推定部202および差分信号算出部203および減算部208へ接続している。バッファ113は、領域抽出部201を介して差分信号算出部203へ接続している。変化量算出部116は、領域抽出拡大部205,変化量動き補償部206,閾値設定部207を介して上限値設定部204へ接続している。動き推定部202は、変化量動き補償部206および閾値設定部207へ接続している。差分信号算出部203は上限値設定部204へ、上限値設定部204は減算部208へ接続している。減算部208は、バッファ113へ接続している。制御部118は、領域抽出部200,領域抽出部201,動き推定部202,差分信号算出部203,上限値設定部204,領域抽出拡大部205,変化量動き補償部206,閾値設定部207,減算部208と双方向に接続されている。
領域抽出部200は、制御部118の制御に基づき、色信号分離部111から図2(b)に示されるにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域CT ijおよび21×21画素のマッチング領域CT-1 klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は差分信号算出部203へ、局所領域内の注目画素CT 22は減算部208へ転送される。
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域CNT-1 ijを順次読み込む。上記過去の局所領域は、差分信号算出部203へ転送される。
動き推定部202は、制御部118の制御に基づき、領域抽出部200からの局所領域およびマッチング領域間で公知のマッチング処理に基づく動き量の推定を行う。推定された動き量Mは、変化量動き補償部206および閾値設定部207へ転送される。
差分信号算出部203は、制御部118の制御に基づき、領域抽出部200からの局所領域CT ijおよび領域抽出部201からのノイズ低減処理がなされた過去の局所領域CNT-1 ijを読み込み、差分信号δCijを算出する。
一方、領域抽出拡大部205は制御部118の制御に基づき、変化量算出部116から(2)式に示す変化量ΔCを読み込む。変化量ΔCは、後述する変化量算出部116の処理過程で所定の縮小率で縮小されたフレーム信号から算出されている。このため、領域抽出拡大部205は読み込まれた変化量ΔCに対して、上記縮小率の逆数に相当する拡大率で拡大処理を行い、マッチング領域に対応する変化量ΔCklを抽出する。上記変化量ΔCklは、変化量動き補償部206へ転送される。
変化量動き補償部206は、制御部118の制御に基づき、動き推定部202から動き量Mを領域抽出拡大部205から変化量ΔCklを読み込み、公知の動き補償を行った後、局所領域の座標位置に相当する変化量ΔCijを抽出して閾値設定部207へ転送する。
閾値設定部207は、制御部118の制御に基づき、動き推定部202から動き量Mを変化量動き補償部206から動き補償された変化量ΔCijを読み込み、(3)式の差分信号に対する閾値を算出する。上記閾値は、まず動き量Mに基づき局所領域全体に関する閾値Th1が算出される。図4は動き量Mと閾値Th1の関係の一例を示すもので、動き量Mが大きくなるにつれて閾値Th1が減少する関係にある。上記関係を関数f()で示すと、閾値Th1は次式で求められる。
上限値設定部204は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Thijを読み込み、差分信号δCijに対する上限値設定の処理を行う。
減算部208は、制御部118の制御に基づき、領域抽出部200から注目画素CT 22を上限値設定部204から上限値設定がなされた差分信号δCijを読み込み、ノイズ低減処理後の注目画素CNT 22を算出する。
なお、上記構成ではノイズ低減処理は注目画素CT 22のみに対して行われる構成となっていたが、このような構成に限定される必要はない。例えば、図2(a)に示される10×10画素の基本単位を重複せずに抽出し、5×5画素の局所領域CT ij全てに対して、(7)式に示されるようなノイズ低減処理を行う構成も可能である、この場合、動き補償などの処理の精度は低下するが、処理速度を高速化することができる。
また、上記構成では差分信号δCijに対して(6)式に示す上限値設定の処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図5に示されるように零値への置換処理を行う構成も可能である。図5は、巡回型ノイズ低減部112の別構成の一例を示すもので、図3に示す上限値設定部204を置換部209に置換した構成になっている。基本構成は図3に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
差分信号算出部203および閾値設定部207は、置換部209へ接続している。置換部209は、減算部208へ接続している。制御部118は、置換部209と双方向に接続されている。
置換部209は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Thijを読み込み、差分信号δCijに対する零値への置換処理を行う。
なお、図3および図5に示す巡回型ノイズ低減部112は、ノイズ成分を減算する減算型の構成となっていたが、このような構成に限定される必要はない。例えば、図6に示されるように加算平均型の構成も可能である。
図6は巡回型ノイズ低減部112の別構成の一例を示すもので、図3に示す差分信号算出部203,上限値設定部204,閾値設定部207,減算部208が省略され、第1関数部210,第2関数部211,帰還係数合成部212,係数乗算部213,係数乗算部214,加算部215が追加された構成になっている。基本構成は図3に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
領域抽出部200は、動き推定部202および係数乗算部213へ接続している。領域抽出部201は、係数乗算部214へ接続している。動き推定部202は、変化量動き補償部206および第2関数部211へ接続している。変化量動き補償部206は、第1関数部210へ接続している。第1関数部210および第2関数部211は、帰還係数合成部212へ接続している。帰還係数合成部212は、係数乗算部213および係数乗算部214へ接続している。係数乗算部213および係数乗算部214は、加算部215へ接続している。加算部215は、バッファ113へ接続している。制御部118は、第1関数部210,第2関数部211,帰還係数合成部212,係数乗算部213,係数乗算部214,加算部215と双方向に接続されている。
領域抽出部200は、制御部118の制御に基づき、色信号分離部111から図2(b)に示されるにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域CT ijおよび21×21画素のマッチング領域CT-1 klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域内の注目画素CT 22は係数乗算部213へ転送される。
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域CNT-1 ijを順次読み込む。上記過去の局所領域内の注目画素CNT-1 22は、係数乗算部214へ転送される。動き推定部202にて推定された動き量Mは、変化量動き補償部206および第2関数部211へ転送される。変化量動き補償部206にて動き補償された変化量ΔCijは、第1関数部210へ転送される。
第1関数部210は、制御部118の制御に基づき、動き補償された変化量ΔCijを読み込み、帰還係数算出時に用いる係数k1を算出する。図7(a)は動き補償された変化量ΔCと係数k1との関係の一例を示すもので、変化量ΔCが大きくなるにつれて係数k1が増加するシグモイド関数状の関係にある。この関係は、変化量ΔCが所定値Cmin以下の時はk1=1となり、所定値Cmax以上の時はk1=k1maxとなり、CminからCmax間はなだらかに増加する。この関係を関数g1()で示すと、係数k1は次式(9)で求められる。
一方、第2関数部211は制御部118の制御に基づき、動き推定部202にて推定された動き量Mを読み込み、帰還係数算出時に用いる係数k2を算出する。図7(b)は動き量Mと係数k2との関係の一例を示すもので、動き量Mが大きくなるにつれて係数k2が減少するシグモイド関数状の関係にある。この関係は、動き量Mが所定値Mmin以下の時はk2=1となり、所定値Mmax以上の時はk2=0となり、MminからMmax間はなだらかに減少する。この関係を関数g2()で示すと、係数k2は次式(10)で求められる。
帰還係数合成部212は、第1関数部210から係数k1を第2関数部211から係数k2を読み込み、帰還係数Rを(11)式に基づき算出する。
係数乗算部213は、制御部118の制御に基づき、領域抽出部200から注目画素CT 22を帰還係数合成部212から帰還係数R/2を読み込み、両者を乗算して加算部215へ転送する。
係数乗算部214は、制御部118の制御に基づき、領域抽出部201から過去の注目画素CNT-1 22を帰還係数合成部212から帰還係数1-R/2を読み込み、両者を乗算して加算部215へ転送する。
加算部215は、制御部118の制御に基づき、係数乗算部213からのR/2・CT 22を係数乗算部214から(1-R/2)・CNT-1 22を読み込み、両者を加算することでノイズ低減処理後の注目画素CNT 22を算出する。上記係数乗算部213,係数乗算部214,加算部215での処理は(12)式に示される。
なお、上記構成ではノイズ低減処理は注目画素CT 22のみに対して行われる構成となっていたが、このような構成に限定される必要はない。例えば、図2(a)に示される10×10画素の基本単位を重複せずに抽出し、5×5画素の局所領域CT ij全てに対して、(12)式に示されるようなノイズ低減処理を行う構成も可能である、この場合、動き補償などの処理の精度は低下するが、処理速度を高速化することができる。
また、上記構成では帰還係数Rの算出において(9),(10),(11)式に示す演算処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図8に示されるようにテーブルを用いた構成も可能である。
図8は、巡回型ノイズ低減部112の別構成の一例を示すもので、図6に示す第1関数部210,第2関数部211,帰還係数合成部212を帰還係数テーブル部216に置換した構成になっている。基本構成は図6に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
動き推定部202は、変化量動き補償部206および帰還係数テーブル部216へ接続している。変化量動き補償部206は、帰還係数テーブル部216へ接続している。帰還係数テーブル部216は、係数乗算部213および係数乗算部214へ接続している。制御部118は、帰還係数テーブル部216と双方向に接続されている。
帰還係数テーブル部216は、制御部118の制御に基づき、変化量動き補償部206から動き補償された変化量ΔCijを、動き推定部202から推定された動き量Mを読み込む。帰還係数テーブル部216は、変化量ΔCijおよび動き量Mを入力として帰還係数Rを出力するルックアップテーブルで、(9),(10),(11)式に示す形態と同様な手法で構築される。帰還係数テーブル部216で得られた帰還係数Rから、R/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
図9は、変化量算出部116の構成の一例を示すもので、縮小部300,バッファ301,縮小部302,バッファ303,比率算出部304,バッファ305からなる。
バッファ113は、縮小部300およびバッファ301を介して比率算出部304へ接続している。バッファ115は、縮小部302およびバッファ303を介して比率算出部304へ接続している。比率算出部304は、バッファ305を介して巡回型ノイズ低減部112へ接続している。制御部118は、縮小部300,縮小部302,比率算出部304と双方向に接続されている。
縮小部300は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の時刻T-1のフレーム信号を読み込み、所定の縮小率で縮小処理を行う。縮小されたフレーム信号は、バッファ301へ転送され保存される。
縮小部302は、制御部118の制御に基づき、バッファ115から信号処理がなされた過去の時刻T-1のフレーム信号を読み込み、縮小部300で使用された縮小率と同一の縮小率で縮小処理を行う。縮小されたフレーム信号は、バッファ303へ転送され保存される。バッファ301内の縮小されたフレーム信号の画素をCNT-1、バッファ303の縮小されたフレーム信号の画素をCPT-1とする。
比率算出部304は、制御部118の制御に基づき、バッファ301から画素CNT-1をバッファ303から画素CPT-1を読み込み、(2)式に基づき変化量ΔCを算出する。算出された変化量ΔCはバッファ305へ転送され記録される。バッファ305内には、最終的に縮小されたフレーム信号に対応する変化量ΔCが記録されることになる。バッファ305内の変化量ΔCは、必要に応じて巡回型ノイズ低減部112へ転送される。
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
ノイズ低減処理に減算型の巡回型ノイズ低減または加算型の巡回型ノイズ低減を用いるため、信号処理に起因するノイズの不均質な顕在化と動きに起因する残像などの副作用の両者を抑制することが可能となり、高品位な映像信号が得られる。また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。一方、加算によるノイズ低減処理は時間軸方向の連続性に優れ、違和感の少ない映像信号が得られる。
差分信号の上限値設定を行う構成では、ノイズ低減処理の制御が連続的に行われるため、不連続性のない高品位な映像信号が得られる。差分信号の置換処理を行う構成では、実装が容易であり、システム全体の高速化および低コスト化を可能とする。
帰還係数の算出に2つの関数を用いる構成では、画質調整の自由度が向上しシステムの操作性を向上できる。一方、帰還係数の算出にテーブルを用いる構成では、高速な処理が可能となる。
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
また、Bayer型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも1つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
[変形例]
上記第1の実施形態では撮像素子としてBayer型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図2(c)に示される色差線順次型補色フィルタを用いることも可能であるし、二板,三板撮像素子の利用も可能である。
上記第1の実施形態では撮像素子としてBayer型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図2(c)に示される色差線順次型補色フィルタを用いることも可能であるし、二板,三板撮像素子の利用も可能である。
図2(c)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が1画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離部111は、図2(c)に示される10×10画素単位で映像信号を読み込み、これを図2(d)に示されるようにMg,G,Ye,Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。時刻Tにおける局所領域内の画素値はCT ij(Cは色信号でC=Mg,G,Ye,Cy)で示されることになる。
さらに、第1の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図10に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
図10は、図1に示す構成からレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110を省略し、入力部400,ヘッダ情報解析部401を追加した形態となっている。基本構成は図1と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
入力部400は、バッファ106およびヘッダ情報解析部401へ接続している。制御部118は、入力部400,ヘッダ情報解析部401と双方向に接続している。マウス,キーボードなどの外部I/F部119を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部400から読み込まれる。なお、映像信号は所定の時間間隔、第1の実施形態では1フレーム時間間隔で1枚ずつ順次読み込まれる。入力部400からのフレーム信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部401へ転送される。ヘッダ情報解析部401は、ヘッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は、図1と同等である。
また、第1の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図11Aは、信号処理のソフトウェア処理に関するフローを示す。
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
ステップS2にて、映像信号から順次フレーム信号を抽出する。
ステップS3にて、別途説明するよう後段の信号処理に起因する変化量を過去の、第1の実施形態では1フレーム過去のフレーム信号から算出する。
ステップS4にて、図2(b)に示されるようにCD102の色フィルタに基づき、色信号ごとに分離する。
ステップS5にて、図2(b)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
ステップS6にて、別途説明するように巡回型のノイズ低減処理を行う。
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
ステップS10にて、公知の補間処理の後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
ステップS11にて、処理が完了したフレーム信号が出力される。
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
図11Bは、上記ステップS3における変化量算出処理に関するフローである。
ステップS20にて、ノイズ低減処理がなされた過去のフレーム信号を読み込む。
ステップS21にて、ノイズ低減処理と信号処理がなされた過去のフレーム信号を読み込む。
ステップS22にて、ノイズ低減処理がなされた過去のフレーム信号を所定の縮小率で縮小する。
ステップS23にて、ノイズ低減処理と信号処理がなされた過去のフレーム信号を所定の縮小率で縮小する。
ステップS24にて、縮小されたノイズ低減処理がなされた過去のフレーム信号および縮小されたノイズ低減処理と信号処理がなされた過去のフレーム信号から、図2(b)に示されるようにCD102の色フィルタに基づき色信号を分離する。
ステップS25にて、(2)式に示されるように変化量を算出する。
ステップS26にて、変化量を出力する。
ステップS27にて、全ての色信号が完了したかを判断し、完了していない場合はステップS24へ分岐し、完了した場合は終了する。
図11Cは、上記ステップS6における巡回型ノイズ低減処理に関するフローである。
ステップS30にて、過去のフレーム信号を入力する。
ステップS31にて、過去のフレーム信号から局所領域を包含する所定サイズ、例えば21×21画素のマッチング領域を抽出する。
ステップS32にて、局所領域とマッチング領域間で公知のマッチング処理を行うことで動き量を推定する。
ステップS33にて、変化量を入力する。
ステップS34にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
ステップS35にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
ステップS36にて、動き量および動き補償された変化量に基づき(4),(5)式に示されるように閾値を算出する。
ステップS37にて、ノイズ低減処理がなされた過去のフレーム信号を読み込む。
ステップS38にて、局所領域およびノイズ低減処理がなされた過去のフレーム信号からの局所領域間で(3)式に示されるように差分信号を算出する。
ステップS39にて、差分信号に対して閾値に基づき(6)式に示されるように上限値を設定する。
ステップS40にて、上限値が設定された差分信号と局所領域間で(7)式に示されるように減算処理によりノイズ低減処理を行い終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
第2の実施形態
[構成]
図12は、本発明の第2の実施形態の構成図である。第2の実施形態は、図1に示す第1の実施形態における色信号分離部111が輝度色差分離部500へ、巡回型ノイズ低減部112が巡回型ノイズ低減部501へ置換され、2次元型ノイズ低減部502が追加された構成になっている。基本構成は第1の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
[構成]
図12は、本発明の第2の実施形態の構成図である。第2の実施形態は、図1に示す第1の実施形態における色信号分離部111が輝度色差分離部500へ、巡回型ノイズ低減部112が巡回型ノイズ低減部501へ置換され、2次元型ノイズ低減部502が追加された構成になっている。基本構成は第1の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
バッファ106は、PreWB部107,測光評価部108,合焦点検出部109,輝度色差分離部500へ接続されている。輝度色差分離部500は、巡回型ノイズ低減部501および2次元型ノイズ低減部502を介してバッファ113へ接続されている。バッファ113は信号処理部114,変化量算出部116,巡回型ノイズ低減部501へ接続されている。変化量算出部116は、2次元型ノイズ低減部502へ接続されている。制御部118は、輝度色差分離部500,巡回型ノイズ低減部501,2次元型ノイズ低減部502と双方向に接続されている。
[作用]
基本的に第1の実施形態と同等であり、異なる部分のみ説明する。図12において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、第2の実施形態においては、CCD102としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
基本的に第1の実施形態と同等であり、異なる部分のみ説明する。図12において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、第2の実施形態においては、CCD102としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
図13(a)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が1画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。CCD102からの映像信号は、図13(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した2つのフィールド信号(偶数フィールド信号と奇数フィールド信号)から構成される。また、上記所定時間間隔として1/60秒(以後は1フィールド時間と表記する)を想定する。偶数および奇数フィールド信号を合成することで1枚の映像信号が得られるが、1枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
CCD102からのアナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、3フィールド信号が記録可能で、撮影にともない順次上書きされることになる。
輝度色差分離部500は、制御部118の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb,Crを算出する。
図13(b),(c)は、偶数および奇数フィールド信号から抽出された局所領域の一例を示す。
図13(b)は、偶数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Crで、色差信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
図13(c)は、奇数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Cbで、色差信号Crは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
以降は、時刻Tにおける局所領域内の画素をCT ij(Cは輝度または色差信号でC=Y,Cb,Cr、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はj=0,2,4,6,8、奇数フィールド信号の場合はj=1,3,5,7,9)で表記する。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。
注目画素は、偶数フィールド信号の場合輝度信号がYT 24、色差信号がCrT 24またはCbT 24、奇数フィールド信号の場合輝度信号がYT 25、色差信号がCrT 25またはCbT 25となる。以後の説明は、図13(b)に示されるような偶数フィールド信号かつ注目画素がYT 24,CrT 24に関して行うが、偶数フィールド信号かつ注目画素がYT 24,CbT 24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
バッファ106上には3フィールドの信号が記録されており、輝度色差分離部500は、時刻T-2のフィールド信号から上記局所領域の座標位置に対応し局所領域を包含するマッチング領域も輝度色差信号ごとに抽出する。マッチング領域のサイズとしては21×21画素を想定する。以降は、時刻T-2におけるマッチング領域内の画素をCT-2 kl(kはX座標でk=0〜20、lはY座標で偶数フィールド信号場合はl=0〜40の偶数、奇数フィールド信号の輝度信号の場合はj=1〜41の奇数)で表記する。なお、色差信号に関しては21×21画素のマッチング領域内で欠落する画素は処理の対象外となる。抽出された局所領域およびマッチング領域は、順次巡回型ノイズ低減部501へ転送される。
巡回型ノイズ低減部501は、制御部118の制御に基づき、バッファ113上に保存されたノイズ低減処理がなされた過去のフィールド信号から上記局所領域の座標位置に対応する局所領域を読み込む。バッファ113は、3フィールド信号が記録可能で、処理にともない順次上書きされることになる。以後、巡回型ノイズ低減処理がなされた画素をCNで、後述する2次元型ノイズ低減処理がなされた画素をC2Nで記述する。バッファ113から読み込まれる局所領域内の画素はC2NT-2 ijとなる。さらに、後述する変化量算出部116からの変化量を読み込み、上記局所領域単位に巡回型のノイズ低減処理を行う。第1の実施形態における巡回型ノイズ低減部112では局所領域内の注目画素に対してのみノイズ低減処理を行っていたが、第2の実施形態においては局所領域内の全ての画素に対してノイズ低減処理が行われることを想定する。巡回型のノイズ低減処理がなされた局所領域CNT ijは、順次2次元型ノイズ低減部502へ転送される。
2次元型ノイズ低減部502は、制御部118の制御に基づき、巡回型ノイズ低減部501から巡回型のノイズ低減処理がなされた局所領域CNT ijを読み込み、2次元のノイズ低減処理を行う。上記2次元のノイズ低減処理は、局所領域CNT ij内の注目画素に関して行われ、処理後の注目画素は順次バッファ113へ転送され記録される。偶数フィールド信号かつ注目画素がYT 24,CrT 24に関しては、Y2NT 24,Cr2NT 24がバッファ113へ転送されることになる。
信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされた偶数フィールド信号および奇数フィールド信号に対して、公知の同時化処理を行いフレーム信号を生成する。その後、公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素C2NTをバッファ115から信号処理がなされた画素CPTを読み込み、第1の実施形態と同様に所定の縮小率にて縮小処理した後、変化量ΔCを算出する。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフィールド信号が存在することになるが、巡回型ノイズ低減部501および2次元型ノイズ低減部502時刻Tにおけるフィールド信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-2におけるフィールド信号が存在することになる。正しくは、バッファ115はフレーム信号となっているが、変化量算出部116はバッファ115内のフレーム信号をフィールド信号に分解して対応する画素を抽出する。すなわち、変化量算出部116は(14)式に示す変化量ΔCを求めることになる。
図14は巡回型ノイズ低減部501の構成の一例を示すもので、図3に示す巡回型ノイズ低減部112の構成から領域抽出拡大部205および変化量動き補償部206が省略された構成になっている。基本構成は図3に示す巡回型ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
輝度色差分離部500は、領域抽出部200へ接続している。動き推定部202は、閾値設定部207および2次元型ノイズ低減部502へ接続している。減算部208は、2次元型ノイズ低減部502へ接続している。
領域抽出部200は、制御部118の制御に基づき、輝度色差分離部500から図13(b),(c)に示されるに輝度信号Yと色差信号Cb,Crごとに5×5画素の局所領域CT ijおよび21×21画素のマッチング領域CT-2 klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は差分信号算出部203および減算部208へ転送される。
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域C2NT-2 ijを順次読み込む。上記過去の局所領域は、差分信号算出部203へ転送される。
動き推定部202は、制御部118の制御に基づき、領域抽出部200からの局所領域およびマッチング領域間で公知のマッチング処理に基づく動き量の推定を行う。推定された動き量Mは、閾値設定部207へ転送される。
差分信号算出部203は、制御部118の制御に基づき、領域抽出部200からの局所領域CT ijおよび領域抽出部201からのノイズ低減処理がなされた過去の局所領域C2NT-2 ijを読み込み、差分信号δCijを算出する。
閾値設定部207は、制御部118の制御に基づき、動き推定部202から動き量Mを読み込み、(15)式の差分信号に対する閾値Th1を(4)式に基づき算出する。算出された閾値Th1は、上限値設定部204へ転送される。
上限値設定部204は、制御部118の制御に基づき、差分信号算出部203から差分信号δCijを閾値設定部207から閾値Th1を読み込み、差分信号δCijに対する上限値設定の処理を行う。
減算部208は、制御部118の制御に基づき、領域抽出部200から局所領域CT ijを上限値設定部204から上限値設定がなされた差分信号δCijを読み込み、ノイズ低減処理後の局所領域CNT ijを算出する。
図15は巡回型ノイズ低減部501の別構成の一例を示すもので、図14に示す差分信号算出部203,上限値設定部204,閾値設定部207,減算部208が省略され、第2関数部211,係数乗算部213,係数乗算部214,加算部215が追加された構成になっている。基本構成は図14に示す巡回型ノイズ低減部501と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
領域抽出部200は、動き推定部202および係数乗算部213へ接続している。領域抽出部201は、係数乗算部214へ接続している。動き推定部202は、第2関数部211および2次元型ノイズ低減部502へ接続している。第2関数部211は、係数乗算部213および係数乗算部214へ接続している。係数乗算部213および係数乗算部214は、加算部215へ接続している。加算部215は、2次元型ノイズ低減部502へ接続している。制御部118は、第2関数部211,係数乗算部213,係数乗算部214,加算部215と双方向に接続されている。
領域抽出部200は、制御部118の制御に基づき、輝度色差分離部500から図13(b),(c)に示されるに輝度信号Yと色差信号Cb,Crごとに5×5画素の局所領域CT ijおよび21×21画素のマッチング領域CT-2 klを順次読み込む。上記局所領域およびマッチング領域は動き推定部202へ、局所領域は係数乗算部213へ転送される。
領域抽出部201は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた過去の局所領域C2NT-2 ijを順次読み込む。上記過去の局所領域は、係数乗算部214へ転送される。動き推定部202にて推定された動き量Mは、第2関数部211へ転送される。
第2関数部211は、制御部118の制御に基づき、動き推定部202にて推定された動き量Mを読み込み、(10)式で示される係数k2を算出する。算出された係数k2は、帰還係数RとしてR/2が係数乗算部213へ、1-R/2が係数乗算部214へ転送される。
係数乗算部213は、制御部118の制御に基づき、領域抽出部200から局所領域CT ijを第2関数部211から帰還係数R/2を読み込み、両者を乗算して加算部215へ転送する。
係数乗算部214は、制御部118の制御に基づき、領域抽出部201から過去の局所領域C2NT-2 ijを第2関数部211から帰還係数1-R/2を読み込み、両者を乗算して加算部215へ転送する。
加算部215は、制御部118の制御に基づき、係数乗算部213からのR/2・CT ijを係数乗算部214から(1-R/2)・C2NT-2 ijを読み込み、両者を加算することでノイズ低減処理後の局所領域CNT ijを算出する。上記係数乗算部213,係数乗算部214,加算部215での処理は(19)式に示される。
図16は、2次元型ノイズ低減部502の構成の一例を示すもので、局所領域抽出部600,平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,領域抽出拡大部607,変化量動き補償部608,関数部609,ノイズ乗算部610,コアリング部611からなる。
巡回型ノイズ低減部501は、局所領域抽出部600および変化量動き補償部608へ接続している。局所領域抽出部600は、平均値算出部601,コアリング部611を介してバッファ113へ接続している。平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ用ROM604は、パラメータ選択部605へ接続している。パラメータ選択部605は、ノイズ補間部606を介してノイズ乗算部610へ接続している。変化量算出部116は、領域抽出拡大部607,変化量動き補償部608,関数部609を介してノイズ乗算部610へ接続している。ノイズ乗算部610は、コアリング部611へ接続している。制御部118は、局所領域抽出部600,平均値算出部601,ゲイン算出部602,標準値付与部603,パラメータ選択部605,ノイズ補間部606,領域抽出拡大部607,変化量動き補償部608,関数部609,ノイズ乗算部610,コアリング部611と双方向に接続されている。
以後の説明は、図13(b)に示されるような偶数フィールド信号かつ注目画素がYT 24,CrT 24に関して行うが、偶数フィールド信号かつ注目画素がYT 24,CbT 24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
局所領域抽出部600は、制御部118の制御に基づき、巡回型ノイズ低減部501から巡回型のノイズ低減処理がなされた局所領域CNT ijを読み込み、平均値算出部601へ転送する。
平均値算出部601は、制御部118の制御に基づき、局所領域CNT ijの平均値C_AV(C=Y,Cb,Cr)を算出する。図13(b)に示される局所領域の場合、平均値は(20)式から得られる。
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。また、制御部118は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部605へ転送する。
パラメータ選択部605は、平均値算出部601からの局所領域の平均値,ゲイン算出部602からのゲインの情報,制御部118からの温度情報に基づき局所領域のノイズ量を推定する。
図17は、ノイズ量の推定に関する説明図である。図17(a)は、信号レベルLに対するノイズ量Nをプロットしたもので、信号レベルに対して2次曲線的に増加している。図17(a)を2次関数でモデル化すると(21)式が得られる。
図17(c)は、図17(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, Nn)と(Ln+1, Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
パラメータ選択部605は、平均値算出部601からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部602からのゲインの情報からゲインgを、制御部118からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)をパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。さらに、補正係数kgtをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
ノイズ補間部606は、制御部118の制御に基づき、パラメータ選択部605からの信号レベルlおよび区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)から(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出する。その後、パラメータ選択部605からの補正係数kgtから(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、図13(b)に示される局所領域の場合、注目画素CNT 24のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記ノイズ量算出の過程において、温度t,ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(14)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、マッチング領域に対応する変化量ΔCklを抽出する。上記変化量ΔCklは、変化量動き補償部608へ転送される。
変化量動き補償部608は、制御部118の制御に基づき、巡回型ノイズ低減部501から動き量Mを領域抽出拡大部607から変化量ΔCklを読み込み、公知の動き補償を行った後、局所領域の座標位置に相当する変化量ΔCijを抽出して関数部609へ転送する。
関数部609は、制御部118の制御に基づき、変化量動き補償部608から動き補償された変化量ΔCijを読み込み、(9)式に示される係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、補正されたノイズ量N'を求める。
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CNT 24および平均値C_AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関してコアリング処理を行い2次元型のノイズ低減処理がなされた注目画素値C2NT 24を求める。
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
図18Aは、2次元型ノイズ低減部502の別構成の一例を示すもので、図16に示すパラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,コアリング部611を削除し、ノイズテーブル部612,フィルタ選択部613,係数用ROM614,ローパスフィルタ部615を追加した構成になっている。基本構成は図16に示す2次元型ノイズ低減部502と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
平均値算出部601,ゲイン算出部602,標準値付与部603は、ノイズテーブル部612へ接続している。ノイズテーブル部612は、ノイズ乗算部610へ接続している。ノイズ乗算部610および係数用ROM614は、フィルタ選択部613へ接続している。平均値算出部601,フィルタ選択部613は、ローパスフィルタ部615へ接続している。ローパスフィルタ部615は、バッファ113へ接続している。制御部118は、ノイズテーブル部612,フィルタ選択部613,ローパスフィルタ部615と双方向に接続されている。
平均値算出部601からの局所領域の平均値C_AV、ゲイン算出部602からのゲインの情報、制御部118からの温度情報はノイズテーブル部612へ転送される。
ノイズテーブル部612は、平均値算出部601からの局所領域に関する平均値,ゲイン算出部602からのゲインの情報,制御部118からの温度情報に基づきノイズ量Nを出力する。ノイズテーブル部612は、温度,信号値レベル,ゲインとノイズ量間の関係を記録したルックアップテーブルで、(22)式に示される関係に基づき構築される。ノイズテーブル部612で得られたノイズ量Nは、図13(b)に示される局所領域の場合、注目画素CNT 24のノイズ量Nとしてノイズ乗算部610へ転送される。
ノイズ乗算部610は、制御部118の制御に基づき、ノイズテーブル部612からノイズ量Nを関数部609から係数k1を読み込み、(25)式に示される補正されたノイズ量N'を求める。補正されたノイズ量N'は、フィルタ選択部613へ転送される。
フィルタ選択部613は、制御部118の制御に基づき、ノイズ乗算部610からの補正されたノイズ量N'を用いて係数用ROM614からローパスフィルタ処理に用いるフィルタ係数を選択する。
図18Bは、係数用ROM614に記録されているフィルタ係数の一例を示すもので、サイズが5×5画素で、Type1〜Type4までの4種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。フィルタ選択部613は、補正されたノイズ量N'からType1〜Type4の周波数特性を選択する。この選択は、例えば図18Cに示される補正されたノイズ量N'とフィルタの種類Type間の関係に基づき行われる。補正されたノイズ量N'が大きいほど高周波成分を抑制する周波数特性が選択されることになる。フィルタ選択部613は、選択されたフィルタ係数をローパスフィルタ部615へ転送する。
ローパスフィルタ部615は、制御部118の制御に基づき、平均値算出部601からの局所領域に対してフィルタ選択部613からのフィルタ係数を用いてローパスフィルタ処理を行う。なお、輝度信号Yの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でローパスフィルタのサイズと一致しない。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。ローパスフィルタ処理による結果は、2次元型のノイズ低減処理がなされた注目画素値として、バッファ113へ転送される。
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
ノイズ低減処理に巡回型のノイズ低減処理と2次元型のノイズ低減処理を組み合わせて使用するため、高精度なノイズ低減処理が可能となり、高品位な映像信号が得られる。後段の信号処理に起因する変化量に基づき2次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。
巡回型のノイズ低減処理は、減算型または加算型を用いるため、信号処理に起因するノイズの不均質な顕在化と動きに起因する残像などの副作用の両者を抑制することが可能となり、高品位な映像信号が得られる。また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。一方、加算によるノイズ低減処理は時間軸方向の連続性に優れ、違和感の少ない映像信号が得られる。
2次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。ノイズ量の算出に補間演算を用いる場合はシステムの低コスト化が可能となり、ルックアップテーブルを用いる場合は高速なノイズ量の推定が可能となる。コアリング処理によりノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。一方、フィルタリング処理によりノイズ低減処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
また、輝度信号および色差信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、多様な撮像システムに適応することが可能となる。
色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも1つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
[変形例]
上記第2の実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第1の実施形態と同様にBayer型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(27)式に基づき輝度信号と色差信号を求める。
上記第2の実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第1の実施形態と同様にBayer型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(27)式に基づき輝度信号と色差信号を求める。
さらに、第2の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
さらに、第2の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図19Aは、信号処理のソフトウェア処理に関するフローを示す。なお、図11Aに示す第1の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
ステップS50にて、映像信号から偶数フィールド信号および奇数フィールド信号を順次抽出する。
ステップS3にて、図11Bに示す第1の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第2の実施形態では2フィールド過去のフィールド信号から算出する。
ステップS51にて、(13)式に示されるように輝度信号と色差信号を分離する。
ステップS5にて、分離後の輝度信号および色差信号から図13(b),(c)に示されるように、5×5画素の局所領域が抽出される。なお、局所領域内で欠落する画素は以後の処理の対象外となる。
ステップS52にて、別途説明するように巡回型のノイズ低減処理を行う。
ステップS53にて、別途説明するよう2次元型のノイズ低減処理を行う。
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS54へ分岐する。
ステップS54にて、全ての輝度色差信号が完了したかを判断し、完了していない場合はステップS51へ分岐し、完了した場合はステップS10へ分岐する。
ステップS10にて、偶数フィールド信号および奇数フィールド信号に対して公知の同時化処理を行いフレーム信号を生成し、その後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
ステップS11にて、処理が完了したフレーム信号が出力される。
ステップS55にて、全てのフィールド信号が完了したかを判断し、完了していない場合はステップS50へ分岐し、完了した場合は終了する。
図19Bは、上記ステップS52における巡回型ノイズ低減処理に関するフローである。なお、図11Cに示す第1の実施形態における巡回型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS30にて、過去のフィールド信号を入力する。
ステップS31にて、過去のフィールド信号から局所領域を包含する所定サイズ、例えば21×21画素のマッチング領域を抽出する。
ステップS32にて、局所領域とマッチング領域間で公知のマッチング処理を行うことで動き量を推定する。
ステップS36にて、動き量に基づき(4)式に示されるように閾値を算出する。
ステップS37にて、ノイズ低減処理がなされた過去のフィールド信号を読み込む。
ステップS38にて、局所領域およびノイズ低減処理がなされた過去のフィールド信号からの局所領域間で(15)式に示されるように差分信号を算出する。
ステップS39にて、差分信号に対して閾値に基づき(16)式に示されるように上限値を設定する。
ステップS40にて、上限値が設定された差分信号と局所領域間で(17)式に示されるように減算処理によりノイズ低減処理を行い終了する。
図19Cは、上記ステップS53における2次元型ノイズ低減処理に関するフローである。
ステップS60にて、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
ステップS62にて、(20)式に示されるように局所領域の平均値を算出する。
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
ステップS65にて、変化量を入力する。
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
ステップS67にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
ステップS68にて、動き補償された変化量から(9)式に示されるように係数を算出する。
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
ステップS70にて、(26)式に示されるコアリング処理を行い2次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
第3の実施形態
[構成]
図20は、本発明の第3の実施形態の構成図である。第3の実施形態は、図1に示す第1の実施形態におけるCCD102が#1CCD700および#2CCD701へ、巡回型ノイズ低減部112が2次元型ノイズ低減部702へ置換され、プリズム系703が追加された構成になっている。基本構成は第1の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
[構成]
図20は、本発明の第3の実施形態の構成図である。第3の実施形態は、図1に示す第1の実施形態におけるCCD102が#1CCD700および#2CCD701へ、巡回型ノイズ低減部112が2次元型ノイズ低減部702へ置換され、プリズム系703が追加された構成になっている。基本構成は第1の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
レンズ系100,絞り101を介して入射された光束は、プリズム系703により2方向に分岐され#1CCD700および#2CCD701へ到達する。#1CCD700および#2CCD701による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。
色信号分離部111は2次元型ノイズ低減部702へ、2次元型ノイズ低減部702はバッファ113へ接続されている。バッファ113は、信号処理部114および変化量算出部116へ接続されている。変化量算出部116は、2次元型ノイズ低減部702へ接続されている。測光評価部108は絞り101,#1CCD700,#2CCD701,Gain104へ接続されている。制御部118は、2次元型ノイズ低減部702と双方向に接続されている。さらに、#2CCD701の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
[作用]
基本的に第1の実施形態と同等であり、異なる部分のみ説明する。図20において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系703により2方向に分岐され#1CCD700および#2CCD701にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。第3の実施形態においては、上記所定時間間隔として1/30秒(以後は1フレーム時間と表記する)を想定する。また撮像系として、#1CCD700は赤(R),青(B)フィルタが市松状に配置され、#2CCD701は全画素に緑(G)フィルタが配置された二板CCDを想定する。
基本的に第1の実施形態と同等であり、異なる部分のみ説明する。図20において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系703により2方向に分岐され#1CCD700および#2CCD701にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。第3の実施形態においては、上記所定時間間隔として1/30秒(以後は1フレーム時間と表記する)を想定する。また撮像系として、#1CCD700は赤(R),青(B)フィルタが市松状に配置され、#2CCD701は全画素に緑(G)フィルタが配置された二板CCDを想定する。
図21(a),(c)は、二板CCDの色フィルタの構成を示す。二板CCDにおけるフレーム信号は、1つの画素に関してGとR、またはGとBの2色の色信号からなる。上記映像信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。
バッファ106は、1フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。
色信号分離部111は、制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第3の実施形態においては、注目画素がGとRの場合は図21(b)に示されるGとRの5×5画素の2つの局所領域が抽出され、注目画素はR22,G22となる。また、注目画素がGとBの場合は図21(d)に示されるGとBの5×5画素の2つの局所領域が抽出され、注目画素はB22,G22となる。以降は、時刻Tにおける局所領域内の画素をCT ij(Cは色信号でC=R,GまたはB,G、iはX座標でi=0〜4、jはY座標でj=0〜4)で、注目画素をCT 22で表記する。なお、RまたはBの場合、5×5画素の局所領域内で13画素しか存在しないことになる。欠落する画素は、以降の処理では対象外となる。フレーム信号からもれなく注目画素を抽出するために、図21(b),(c)に示される5×5画素の局所領域は2行2列ずつ重複して順次抽出されることになる。
2次元型ノイズ低減部702は、制御部118の制御に基づき、色信号分離部111から上記局所領域を、後述する変化量算出部116から変化量を読み込み、上記局所領域単位に2次元型のノイズ低減処理を行う。以後、ノイズ低減処理がなされた画素をCNで記述する。ノイズ低減処理は局所領域内の注目画素CT 22に対して行われ、ノイズ低減処理がなされた注目画素CNT 22はバッファ113へ転送され記録される。
バッファ113は、1フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。1フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して、公知の補間処理を行い、その後公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、2次元型ノイズ低減部702で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。変化量ΔCは、(2)式に示されるように算出される。変化量ΔCは、2次元型ノイズ低減部702へ転送される。
一方、バッファ115内のフレーム信号は出力部117へ転送される。出力部117は、磁気ディスクやメモリカードなどの記録媒体に順次フレーム信号を記録保存する。
図22は2次元型ノイズ低減部702の構成の一例を示すもので、図16に示す2次元型ノイズ低減部502から変化量動き補償部608が省略された構成になっている。基本構成は図16に示す2次元型ノイズ低減部502と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
色信号分離部111は、局所領域抽出部600へ接続している。領域抽出拡大部607は、関数部609へ接続している。以後の説明は、図21(b)に示すGとRの2つの局所領域に関して行うが、図21(d)に示されるGとBの2つの局所領域に関しも局所領域の構成が異なるだけで同様に成立する。
局所領域抽出部600は、制御部118の制御に基づき、色信号分離部111から局所領域CT ijを読み込み、平均値算出部601へ転送する。
平均値算出部601は、制御部118の制御に基づき、局所領域CT ijの平均値C_AV(C=R,G,B)を算出する。図21(b)に示すGとRの2つの局所領域の場合、平均値は(28)式から得られる。
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。
また、制御部118は温度センサー103から#2CCD701の温度情報を得て、これをパラメータ選択部605へ転送する。
パラメータ選択部605は、制御部118の制御に基づき、平均値算出部601からの局所領域の平均値,ゲイン算出部602からのゲインの情報,制御部118からの温度情報に基づき局所領域のノイズ量を推定に使用するパラメータをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
ノイズ補間部606は、制御部118の制御に基づき、(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素CT 22のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記パラメータ用ROM604に記録されているノイズモデルは、第1の実施形態では巡回型のノイズ低減処理がなされた後の残存するノイズ量をモデル化していたのに対して、#1CCD700および#2CCD701などの撮像系からのノイズ量をモデル化している。また、上記ノイズ量算出の過程において、温度t,ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(2)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、局所領域に対応する変化量ΔCijを抽出する。上記変化量ΔCijは、関数部609へ転送される。
関数部609は、制御部118の制御に基づき、領域抽出拡大部607から変化量ΔCijを読み込み、図7(a)に示されるような係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、(25)式に基づき補正されたノイズ量N'を求める。補正されたノイズ量N'は、コアリング部611へ転送される。
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CT 22および平均値C#AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関してコアリング処理を行い2次元型のノイズ低減処理がなされた注目画素値CNT 22を求める。
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
図23は、2次元型ノイズ低減部702の別構成の一例を示すもので、図22に示すパラメータ用ROM604,パラメータ選択部605,ノイズ補間部606,コアリング部611を削除し、ノイズテーブル部612,フィルタ選択部613,係数用ROM614,ローパスフィルタ部615を追加した構成になっている。基本構成は図22に示す2次元型ノイズ低減部702と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
平均値算出部601,ゲイン算出部602,標準値付与部603は、ノイズテーブル部612へ接続している。ノイズテーブル部612は、ノイズ乗算部610へ接続している。ノイズ乗算部610および係数用ROM614は、フィルタ選択部613へ接続している。平均値算出部601,フィルタ選択部613は、ローパスフィルタ部615へ接続している。ローパスフィルタ部615は、バッファ113へ接続している。制御部118は、ノイズテーブル部612,フィルタ選択部613,ローパスフィルタ部615と双方向に接続されている。
平均値算出部601からの局所領域の平均値C_AV、ゲイン算出部602からのゲインの情報、制御部118からの温度情報はノイズテーブル部612へ転送される。
ノイズテーブル部612は、平均値算出部601からの局所領域に関する平均値,ゲイン算出部602からのゲインの情報,制御部118からの温度情報に基づきノイズ量Nを出力する。上記ノイズ量Nは、ノイズ乗算部610へ転送される。
ノイズ乗算部610は、制御部118の制御に基づき、ノイズテーブル部612からノイズ量Nを関数部609から係数k1を読み込み、(25)式に示される補正されたノイズ量N'を求める。補正されたノイズ量N'は、フィルタ選択部613へ転送される。
フィルタ選択部613は、制御部118の制御に基づき、ノイズ乗算部610からの補正されたノイズ量N'を用いて係数用ROM614からローパスフィルタ処理に用いる、例えば図18Bに示されるようなフィルタ係数を選択する。この選択は、例えば図18Cに示される補正されたノイズ量N'とフィルタの種類Type間の関係に基づき行われる。フィルタ選択部613は、選択されたフィルタ係数をローパスフィルタ部615へ転送する。
ローパスフィルタ部615は、制御部118の制御に基づき、平均値算出部601からの局所領域に対してフィルタ選択部613からのフィルタ係数を用いてローパスフィルタ処理を行う。なお、Gの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、RまたはBの場合は局所領域内で欠落する画素が存在する。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。ローパスフィルタ処理による結果は、2次元型のノイズ低減処理がなされた注目画素値として、バッファ113へ転送される。
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
ノイズ低減処理に2次元型のノイズ低減処理を使用するため、回路規模を縮小することができ、コストを低減することが可能となる。また、残像の発生や時間的遅延などの副作用が少なく、安定した処理が可能となる。後段の信号処理に起因する変化量に基づき2次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。2次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。
ノイズ量の算出に補間演算を用いる場合はシステムの低コスト化が可能となり、ルックアップテーブルを用いる場合は高速なノイズ量の推定が可能となる。コアリング処理によるノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。一方、フィルタリング処理によりノイズ低減処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。
ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも1つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
[変形例]
上記第3の実施形態ではレンズ系100,絞り101,#1CCD700,#2CCD701,プリズム系703,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
上記第3の実施形態ではレンズ系100,絞り101,#1CCD700,#2CCD701,プリズム系703,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
さらに、第3の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、#1CCD700,#2CCD701からの映像信号を未処理のままのRawデータとして、制御部118から#1CCD700,#2CCD701の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図24Aは、信号処理のソフトウェア処理に関するフローを示す。なお、図11Aに示す第1の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
ステップS2にて、映像信号から順次フレーム信号を抽出する。
ステップS3にて、図11Bに示す第1の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第3の実施形態では1フレーム過去のフレーム信号から算出する。
ステップS4にて、図21(b),(d)に示されるように#1CCD700,#2CCD701の色フィルタに基づき、色信号ごとに分離する。
ステップS5にて、図21(b),(d)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
ステップS80にて、別途説明するように2次元型のノイズ低減処理を行う。
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
ステップS10にて、公知の補間処理の後に公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
ステップS11にて、処理が完了したフレーム信号が出力される。
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
図24Bは、上記ステップS80における2次元型ノイズ低減処理に関するフローである。なお、図19Cに示す第2の実施形態における2次元型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS60にて、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
ステップS62にて、(28)式に示されるように局所領域の平均値を算出する。
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
ステップS65にて、変化量を入力する。
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
ステップS70にて、(29)式に示されるコアリング処理を行い2次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
第4の実施形態
[構成]
図25は、本発明の第4の実施形態の構成図である。第4の実施形態は、図1に示す第1の実施形態におけるCCD102がR#CCD800,G#CCD801,B#CCD802へ、巡回型ノイズ低減部112が2次元型ノイズ低減部803へ置換され、符号化部804,プリズム系805が追加された構成になっている。基本構成は第1の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
[構成]
図25は、本発明の第4の実施形態の構成図である。第4の実施形態は、図1に示す第1の実施形態におけるCCD102がR#CCD800,G#CCD801,B#CCD802へ、巡回型ノイズ低減部112が2次元型ノイズ低減部803へ置換され、符号化部804,プリズム系805が追加された構成になっている。基本構成は第1の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
レンズ系100,絞り101を介して入射された光束は、プリズム系805により3方向に分岐されR#CCD800,G#CCD801,B#CCD802へ到達する。R#CCD800,G#CCD801,B#CCD802による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。
色信号分離部111は2次元型ノイズ低減部803へ、2次元型ノイズ低減部803はバッファ113へ接続されている。バッファ113は、信号処理部114および変化量算出部116へ接続されている。変化量算出部116は、2次元型ノイズ低減部803へ接続されている。バッファ115は符号化部804へ、符号化部804は出力部117および2次元型ノイズ低減部803へ接続されている。測光評価部108は絞り101,R#CCD800,G#CCD801,B#CCD802,Gain104へ接続されている。制御部118は、2次元型ノイズ低減部803,符号化部804と双方向に接続されている。さらに、G#CCD801の近傍に配置された温度センサー103からの信号は制御部118へ接続されている。
[作用]
基本的に第1の実施形態と同等であり、異なる部分のみ説明する。図25において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系805により3方向に分岐されR#CCD800,G#CCD801,B#CCD802にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。第4の実施形態においては、上記所定時間間隔として1/30秒(以後は1フレーム時間と表記する)を想定する。
基本的に第1の実施形態と同等であり、異なる部分のみ説明する。図25において、信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101を介して入射された光束は、プリズム系805により3方向に分岐されR#CCD800,G#CCD801,B#CCD802にて所定時間間隔で連続的に映像信号が生成される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。第4の実施形態においては、上記所定時間間隔として1/30秒(以後は1フレーム時間と表記する)を想定する。
また撮像系として、R#CCD800は赤(R)フィルタが、G#CCD801は緑(G)フィルタが、B#CCD802は青(B)フィルタが全画素に配置された三板CCDを想定する。図26は、三板CCDの色フィルタの構成を示す。三板CCDにおけるフレーム信号は、1つの画素に関してR,G,Bの3色の色信号からなる。
上記映像信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、1フレームの信号を記録可能で、撮影にともない古いフレーム信号から順次上書きされることになる。
色信号分離部111は、制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第4の実施形態においては、図26に示される5×5画素の3つの局所領域が抽出され、注目画素はR22,G22,B22となる。以降は、時刻Tにおける局所領域内の画素をCT ij(Cは色信号でC=R,G,B、iはX座標でi=0〜4、jはY座標でj=0〜4)で、注目画素をCT 22で表記する。フレーム信号からもれなく注目画素を抽出するために、図26に示される5×5画素の局所領域は2行2列ずつ重複して順次抽出されることになる。
2次元型ノイズ低減部803は、制御部118の制御に基づき、色信号分離部111から上記局所領域を、後述する変化量算出部116から変化量を、後述する符号化部804から動き量を読み込み、上記局所領域単位に2次元型のノイズ低減処理を行う。以後、ノイズ低減処理がなされた画素をCNで記述する。ノイズ低減処理は局所領域内の注目画素CT 22に対して行われ、ノイズ低減処理がなされた注目画素CNT 22はバッファ113へ転送され記録される。バッファ113は、1フレームの信号を記録可能で、ノイズ低減処理にともない順次上書きされることになる。
1フレーム信号のノイズ低減処理が完了した後、信号処理部114は制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理を行う。以後、信号処理がなされた画素をCPで記述する。信号処理がなされたフレーム信号は、バッファ115へ転送され記録される。
変化量算出部116は、制御部118の制御に基づき、バッファ113からノイズ低減処理がなされた画素CNをバッファ115から信号処理がなされた画素CPを読み込み、その変化量ΔCを求める。なお、上記の説明ではバッファ113およびバッファ115内に時刻Tにおけるフレーム信号が存在することになるが、2次元型ノイズ低減部803で時刻Tにおけるフレーム信号のノイズ低減処理が行われている時点では、バッファ113およびバッファ115内に時刻T-1におけるフレーム信号が存在することになる。変化量ΔCは、(2)式に示されるように算出される。変化量ΔCは、2次元型ノイズ低減部803へ転送される。
一方、バッファ115内のフレーム信号は符号化部804へ転送される。符号化部804は、制御部118の制御に基づき、公知のMPEGなどの動画像の符号化処理を行う。符号化された映像信号は、出力部117へ転送される。また、動画像の符号化処理にて算出された動き情報は2次元型ノイズ低減部803へ転送される。
出力部117は、磁気ディスクやメモリカードなどの記録媒体に符号化された映像信号を順次記録保存する。
図27は2次元型ノイズ低減部803の構成の一例を示すもので、図16に示す2次元型ノイズ低減部502と同等な構成になっている。差異は、2次元型ノイズ低減部502においては巡回型ノイズ低減部501が局所領域抽出部600および変化量動き補償部608へ接続していたのに対し、2次元型ノイズ低減部803においては色信号分離部111が局所領域抽出部600へ、符号化部804が変化量動き補償部608へ接続する構成となっている。以下、異なる部分のみ説明する。
局所領域抽出部600は、制御部118の制御に基づき、色信号分離部111から局所領域CT ijを読み込み、平均値算出部601へ転送する。
平均値算出部601は、制御部118の制御に基づき、局所領域CT ijの平均値C_AV(C=R,G,B)を算出する。図26に示すR,G,Bの3つの局所領域の場合、平均値は(30)式から得られる。
ゲイン算出部602は、制御部118から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部605へ転送する。
また、制御部118は温度センサー103からG#CCD801の温度情報を得て、これをパラメータ選択部605へ転送する。パラメータ選択部605は、制御部118の制御に基づき、平均値算出部601からの局所領域の平均値,ゲイン算出部602からのゲインの情報,制御部118からの温度情報に基づき局所領域のノイズ量を推定に使用するパラメータをパラメータ用ROM604から探索し、これをノイズ補間部606へ転送する。
ノイズ補間部606は、制御部118の制御に基づき、(23)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、(24)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素CT 22のノイズ量Nとしてノイズ乗算部610へ転送される。なお、上記パラメータ用ROM604に記録されているノイズモデルはR#CCD800,G#CCD801,B#CCD802などの撮像系からのノイズ量をモデル化している。また、上記ノイズ量算出の過程において、温度t,ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部603に記録させておき、算出過程を省略する構成も可能である。
一方、領域抽出拡大部607は制御部118の制御に基づき、変化量算出部116から(2)式に示される変化量ΔCを読み込む。変化量ΔCは、縮小処理がなされているため、縮小率の逆数に相当する拡大率で拡大処理を行い、局所領域に対応する変化量ΔCijを抽出する。
変化量動き補償部608は、制御部118の制御に基づき、符号化部804から動き量Mを領域抽出拡大部607から変化量ΔCijを読み込み、公知の動き補償を行った後に関数部609へ転送する。
関数部609は、制御部118の制御に基づき、変化量動き補償部608から動き補償された変化量ΔCijを読み込み、(9)式に示される係数k1を算出する。係数k1は、ノイズ乗算部610へ転送される。
ノイズ乗算部610は、制御部118の制御に基づき、ノイズ補間部606からノイズ量Nを関数部609から係数k1を読み込み、(25)式に基づき補正されたノイズ量N'を求める。補正されたノイズ量N'は、コアリング部611へ転送される。
コアリング部611は、制御部118の制御に基づき、平均値算出部601から注目画素CT 22および平均値C_AVをノイズ乗算部610から補正されたノイズ量N'を読み込み、注目画素に関して(29)式に示されるコアリング処理を行い2次元型のノイズ低減処理がなされた注目画素値CNT 22を求める。2次元型のノイズ低減処理がなされた注目画素CNT 22は、バッファ113へ転送される。
なお、上記構成ではノイズ低減処理にコアリング処理を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、ノイズ低減処理に適用的なローパスフィルタ処理を行う構成やノイズ推定処理にルックアップテーブルを用いる構成も可能である。
[効果]
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
上記構成により、ノイズ低減処理の後段で行われる信号処理に起因する映像信号の変化量に基づきノイズ低減処理を制御することができ、信号処理に起因するノイズの不均質な顕在化を抑制し、高品位な映像信号が得られる。また、時系列的に過去の映像信号から変化量を算出するため、処理時間的に遅延の発生を抑制でき、高速な処理を可能とする。さらに、実際の信号処理から制御のための変化量を算出するため、制御の簡略化が可能となり、操作性の良いノイズ低減システムを提供できる。
ノイズ低減処理に2次元型のノイズ低減処理を使用するため、回路規模を縮小することができ、コストを低減することが可能となる。また、残像の発生や時間的遅延などの副作用が少なく、安定した処理が可能となる。後段の信号処理に起因する変化量に基づき2次元型ノイズ低減処理を制御する構成は、制御法が容易となり、コストを低減することが可能となる。2次元型ノイズ低減処理におけるノイズ量の推定は、撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。
ノイズ低減処理後の信号処理として階調変換処理、エッジ強調処理、色強調処理の少なくとも1つの処理を行う構成は、現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
また、信号処理の変化率の算出をノイズ低減処理がなされた映像信号と信号処理がなされた映像信号間から直接算出するため、変化量の算出を高精度化できる。
さらに、縮小処理した信号間から変化量を算出し、ノイズ低減処理に使用する際に拡大する構成では、演算量や必要となる回路規模が削減され、処理の高速化およびシステムのコストを低減することが可能となる。
[変形例]
上記第4の実施形態ではレンズ系100,絞り101,R#CCD800,G#CCD801,B#CCD802,プリズム系805,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
上記第4の実施形態ではレンズ系100,絞り101,R#CCD800,G#CCD801,B#CCD802,プリズム系805,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
さらに、第4の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、R#CCD800,G#CCD801,B#CCD802からの映像信号を未処理のままのRawデータとして、制御部118からR#CCD800,G#CCD801,B#CCD802の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図28Aは、信号処理のソフトウェア処理に関するフローを示す。なお、図11Aに示す第1の実施形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
ステップS2にて、映像信号から順次フレーム信号を抽出する。
ステップS3にて、図11Bに示す第1の実施形態の変化量算出処理と同様に、後段の信号処理に起因する変化量を過去の、第4の実施形態では1フレーム過去のフレーム信号から算出する。
ステップS4にて、図26に示されるようにR#CCD800,G#CCD801,B#CCD802の色フィルタに基づき、色信号ごとに分離する。
ステップS5にて、図26に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
ステップS90にて、別途説明するように2次元型のノイズ低減処理を行う。
ステップS7にて、ノイズ低減処理がなされた信号を出力する。
ステップS8にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS5へ分岐し、完了した場合はステップS9へ分岐する。
ステップS9にて、全ての色信号が完了したかを判断し、完了していない場合はステップS4へ分岐し、完了した場合はステップS10へ分岐する。
ステップS10にて、公知の階調変換処理、エッジ強調処理、色強調処理などの強調処理が行われる。
ステップS91にて、MPEGなどの公知の動画像符号化処理を行う。
ステップS92にて、動画像符号化処理にて算出された動き量を出力する。
ステップS11にて、動画像符号化処理が完了したフレーム信号が出力される。
ステップS12にて、全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
図28Bは、上記ステップS90における2次元型ノイズ低減処理に関するフローである。なお、図19Cに示す第2の実施形態における2次元型ノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
ステップS60にて、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
ステップS61にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
ステップS62にて、(30)式に示されるように局所領域の平均値を算出する。
ステップS63にて、注目画素値が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
ステップS64にて、(23)式に示される補間処理にて基準ノイズ量を求め、(24)式に示される補正処理にてノイズ量を求める。
ステップS65にて、変化量を入力する。
ステップS66にて、縮小されている変化量を拡大処理し、局所領域に対応する変化量を算出する。
ステップS100にて、動き量を入力する。
ステップS67にて、変化量に対して動き量に基づき公知の動き補償処理を行う。
ステップS68にて、動き補償された変化量から(9)式に示されるように係数を算出する。
ステップS69にて、(25)式に示される補正されたノイズ量を求める。
ステップS70にて、(29)式に示されるコアリング処理を行い2次元型のノイズ低減処理がなされた注目画素値を求めて終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
112 巡回型ノイズ低減部
114 信号処理部
116 変化量算出部
114 信号処理部
116 変化量算出部
Claims (43)
- 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、
前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理手段と、
前記信号処理に起因する映像信号の変化量を算出する変化量算出手段を有し、
前記ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減システム。 - 請求項1に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減手段
を有することを特徴とするノイズ低減システム。 - 請求項1に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減手段と、
前記巡回型のノイズ低減処理がなされた映像信号に対して1枚の映像信号内でノイズ低減処理を行う2次元型ノイズ低減手段を有し、
前記2次元型ノイズ低減手段は時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減システム。 - 請求項1に記載のノイズ低減システムにおいて、
前記ノイズ低減手段は、
前記映像信号に対して1枚の映像信号内でノイズ低減処理を行う2次元型ノイズ低減手段
を有することを特徴とするノイズ低減システム。 - 請求項2に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出手段と、
前記動き量および前記変化量に基づき前記差分信号を補正する差分信号補正手段と、
前記現在の映像信号から前記補正された差分信号を減算することでノイズ低減を行う減算手段
を有することを特徴とするノイズ低減システム。 - 請求項5に記載のノイズ低減システムにおいて、
前記差分信号補正手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量に基づき閾値を算出する閾値算出手段と、
前記差分信号の絶対値が前記閾値を超えないよう制限を課す上限値設定手段
を有することを特徴とするノイズ低減システム。 - 請求項5に記載のノイズ低減システムにおいて、
前記差分信号補正手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量に基づき閾値を算出する閾値算出手段と、
前記差分信号の絶対値が前記閾値以上の場合に前記差分信号を値零に置換する置換手段
を有することを特徴とするノイズ低減システム。 - 請求項2に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量および前記変化量に基づき帰還係数を算出する帰還係数算出手段と、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均手段
を有することを特徴とするノイズ低減システム。 - 請求項8に記載のノイズ低減システムにおいて、
前記帰還係数算出手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量に基づき第1の係数を出力する第1の関数手段と、
前記動き量に基づき第2の係数を出力する第2の関数手段と、
前記第1の係数と前記第2の係数を乗算することで前記帰還係数を合成する帰還係数合成手段
を有することを特徴とするノイズ低減システム。 - 請求項8に記載のノイズ低減システムにおいて、
前記帰還係数算出手段は、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量および前記動き量を入力とし前記帰還係数を出力する帰還係数テーブル手段
を有することを特徴とするノイズ低減システム。 - 請求項3に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出手段と、
前記動き量に基づき前記差分信号を補正する差分信号補正手段と、
前記映像信号から前記補正された差分信号を減算することでノイズ低減を行うノイズ減算手段
を有することを特徴とするノイズ低減システム。 - 請求項3に記載のノイズ低減システムにおいて、
前記巡回型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量に基づき帰還係数を算出する帰還係数算出手段と、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均手段
を有することを特徴とするノイズ低減システム。 - 請求項11または12に記載のノイズ低減システムにおいて、
前記2次元型ノイズ低減手段は、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定手段と、
前記巡回型ノイズ低減手段で推定された動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段と、
前記動き補償された変化量に基づき前記ノイズ量を補正するノイズ量補正手段と、
前記補正されたノイズ量に基づき前記巡回型のノイズ低減処理がなされた映像信号に対して平滑化処理を行う平滑化処理手段と、
を有することを特徴とするノイズ低減システム。 - 請求項13に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記巡回型のノイズ低減処理がなされた映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値および前記選択されたパラメータに基づき補間演算により前記局所領域のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。 - 請求項13に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記巡回型のノイズ低減処理がなされた映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値を入力として前記局所領域のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。 - 請求項13に記載のノイズ低減システムにおいて、
前記ノイズ量補正手段は、
前記動き補償された変化量に基づき補正係数を出力する関数手段と、
前記補正係数を前記ノイズ量に乗算することで補正を行うノイズ乗算手段
を有することを特徴とするノイズ低減システム。 - 請求項13に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位で平均値を算出する平均値算出手段と、
前記平均値および前記ノイズ量に基づきコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。 - 請求項13に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記ローパスフィルタを選択するフィルタ選択手段と、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位で前記選択されたローパスフィルタを用いてフィルタリング処理を行うフィルタリング手段
を有することを特徴とするノイズ低減システム。 - 請求項4に記載のノイズ低減システムにおいて、
前記2次元型ノイズ低減手段は、
前記ノイズ低減処理の対象となる現在の映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定手段と、
前記変化量に基づき前記ノイズ量を補正するノイズ量補正手段と、
前記補正されたノイズ量に基づき前記現在の映像信号に対して平滑化処理を行う平滑化処理手段と、
を有することを特徴とするノイズ低減システム。 - 請求項19に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記ノイズ低減処理の対象となる現在の映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の平均値および前記選択されたパラメータに基づき補間演算により前記局所領域のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。 - 請求項19に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記ノイズ低減処理の対象となる現在の映像信号から所定サイズの局所領域を抽出する局所領域抽出手段と、
前記局所領域の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の平均値を入力として前記局所領域のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。 - 請求項19に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
前記現在の映像信号に対して所定サイズの領域単位で平均値を算出する平均値算出手段と、
前記平均値および前記ノイズ量に基づきコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。 - 請求項19に記載のノイズ低減システムにおいて、
前記平滑化処理手段は、
所定の周波数特性を有する複数のローパスフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記ローパスフィルタを選択するフィルタ選択手段と、
前記現在の映像信号に対して所定サイズの領域単位で前記選択されたローパスフィルタを用いてフィルタリング処理を行うフィルタリング手段
を有することを特徴とするノイズ低減システム。 - 請求項19に記載のノイズ低減システムにおいて、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定手段と、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償手段をさらに有し、
前記ノイズ量補正手段は前記動き補償された変化量に基づき前記ノイズ量を補正する
ことを特徴とするノイズ低減システム。 - 請求項24に記載のノイズ低減システムにおいて、
前記ノイズ量補正手段は、
前記動き補償された変化量に基づき補正係数を出力する関数手段と、
前記補正係数を前記ノイズ量に乗算することで補正を行うノイズ乗算手段
を有することを特徴とするノイズ低減システム。 - 請求項1から25のいずれか1つに記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
前記色信号ごとに前記ノイズ低減手段および前記信号処理手段および前記変化量算出手段を適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。 - 請求項1から25のいずれか1つ記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であり、
前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、
前記輝度信号および色差信号ごとに前記ノイズ低減手段および前記信号処理手段および前記変化量算出手段を適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。 - 請求項26または27に記載のノイズ低減システムにおいて、
前記撮像系の撮像素子は、
R(赤),G(緑),B(青)Bayer型原色フィルタを前面に配置した撮像素子またはCy(シアン),Mg(マゼンタ),Ye(イエロー),G(緑)色差線順次型補色フィルタを前面に配置した撮像素子である
ことを特徴とするノイズ低減システム。 - 請求項1から28のいずれか1つに記載のノイズ低減システムにおいて、
前記信号処理手段は、
階調変換処理、エッジ強調処理、色強調処理の少なくとも1つの処理手段
を有することを特徴とするノイズ低減システム。 - 請求項1から29のいずれか1つに記載のノイズ低減システムにおいて、
前記変化量算出手段は、
前記ノイズ低減処理がなされた映像信号と前記信号処理がなされた映像信号間の比率を算出する比率算出手段
を有することを特徴とするノイズ低減システム。 - 請求項1から30のいずれか1つに記載のノイズ低減システムにおいて、
前記変化量算出手段は前記ノイズ低減処理がなされた映像信号および前記信号処理がなされた映像信号を所定の縮小率で縮小する縮小手段と、
前記縮小処理後のノイズ低減処理がなされた映像信号および信号処理がなされた映像信号から比率を算出する比率算出手段を有し、
前記ノイズ低減手段は前記変化量を前記縮小率の逆数で拡大する拡大手段を有する
ことを特徴とするノイズ低減システム。 - 撮像系と、
前記撮像系によって撮影された映像信号を時系列的に取り込む映像信号記憶手段と、
請求項1から31のいずれか1つに記載のノイズ低減システムを有し、
前記時系列的に取り込まれた映像信号に対し前記ノイズ低減システムによりノイズ低減処理を行う
ことを特徴とする撮像システム。 - 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減プログラムにおいて、
前記映像信号に対してノイズ低減処理を行うノイズ低減ステップと、
前記ノイズ低減処理がなされた映像信号に対して所定の信号処理を行う信号処理ステップと、
前記信号処理に起因する映像信号の変化量を算出する変化量算出ステップを含み、
前記ノイズ低減ステップは時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減プログラム。 - 請求項33に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減ステップ
を有することを特徴とするノイズ低減プログラム。 - 請求項33に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して時系列的に過去の映像信号を利用して巡回型のノイズ低減処理を行う巡回型ノイズ低減ステップと、
前記巡回型のノイズ低減処理がなされた映像信号に対して1枚の映像信号内でノイズ低減処理を行う2次元型ノイズ低減ステップを有し、
前記2次元型ノイズ低減ステップは時系列的に過去の映像信号に関する前記変化量に基づきノイズ低減処理を制御する
ことを特徴とするノイズ低減プログラム。 - 請求項33に記載のノイズ低減プログラムにおいて、
前記ノイズ低減ステップは、
前記映像信号に対して1枚の映像信号内でノイズ低減処理を行う2次元型ノイズ低減ステップ
を有することを特徴とするノイズ低減プログラム。 - 請求項34に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出ステップと、
前記動き量および前記変化量に基づき前記差分信号を補正する差分信号補正ステップと、
前記現在の映像信号から前記補正された差分信号を減算することでノイズ低減を行う減算ステップ
を有することを特徴とするノイズ低減プログラム。 - 請求項34に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量および前記変化量に基づき帰還係数を算出する帰還係数算出ステップと、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均ステップ
を有することを特徴とするノイズ低減プログラム。 - 請求項35に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号間の差分信号を算出する差分信号算出ステップと、
前記動き量に基づき前記差分信号を補正する差分信号補正ステップと、
前記映像信号から前記補正された差分信号を減算することでノイズ低減を行うノイズ減算ステップ
を有することを特徴とするノイズ低減プログラム。 - 請求項35に記載のノイズ低減プログラムにおいて、
前記巡回型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量に基づき帰還係数を算出する帰還係数算出ステップと、
前記帰還係数に基づき前記現在の映像信号と前記時系列的に過去の映像信号間で重み付け加算平均を行うことでノイズ低減を行う加算平均ステップ
を有することを特徴とするノイズ低減プログラム。 - 請求項39または40に記載のノイズ低減プログラムにおいて、
前記2次元型ノイズ低減ステップは、
前記巡回型のノイズ低減処理がなされた映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定ステップと、
前記巡回型ノイズ低減ステップで推定された動き量に基づき前記変化量に対して動き補償を行う変化量動き補償ステップと、
前記動き補償された変化量に基づき前記ノイズ量を補正するノイズ量補正ステップと、
前記補正されたノイズ量に基づき前記巡回型のノイズ低減処理がなされた映像信号に対して平滑化処理を行う平滑化処理ステップと、
を有することを特徴とするノイズ低減プログラム。 - 請求項36に記載のノイズ低減プログラムにおいて、
前記2次元型ノイズ低減ステップは、
前記ノイズ低減処理の対象となる現在の映像信号に対して所定サイズの領域単位でノイズ量を推定するノイズ推定ステップと、
前記変化量に基づき前記ノイズ量を補正するノイズ量補正ステップと、
前記補正されたノイズ量に基づき前記現在の映像信号に対して平滑化処理を行う平滑化処理ステップと、
を有することを特徴とするノイズ低減プログラム。 - 請求項42に記載のノイズ低減プログラムにおいて、
前記ノイズ低減処理の対象となる現在の映像信号および前記時系列的に過去の映像信号に基づき所定サイズの領域単位で動き量を推定する動き推定ステップと、
前記動き量に基づき前記変化量に対して動き補償を行う変化量動き補償ステップをさらに有し、
前記ノイズ量補正ステップは前記動き補償された変化量に基づき前記ノイズ量を補正する
ことを特徴とするノイズ低減プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007269263A JP2009100207A (ja) | 2007-10-16 | 2007-10-16 | ノイズ低減システム、ノイズ低減プログラム及び撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007269263A JP2009100207A (ja) | 2007-10-16 | 2007-10-16 | ノイズ低減システム、ノイズ低減プログラム及び撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009100207A true JP2009100207A (ja) | 2009-05-07 |
Family
ID=40702797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007269263A Pending JP2009100207A (ja) | 2007-10-16 | 2007-10-16 | ノイズ低減システム、ノイズ低減プログラム及び撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009100207A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1013734A (ja) * | 1996-06-18 | 1998-01-16 | Canon Inc | 撮像装置 |
WO2005055588A1 (ja) * | 2003-12-03 | 2005-06-16 | Nikon Corporation | ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
WO2007037325A1 (ja) * | 2005-09-28 | 2007-04-05 | Olympus Corporation | 撮像装置 |
JP2008171059A (ja) * | 2007-01-09 | 2008-07-24 | Rohm Co Ltd | 画像処理回路、半導体装置、画像処理装置 |
-
2007
- 2007-10-16 JP JP2007269263A patent/JP2009100207A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1013734A (ja) * | 1996-06-18 | 1998-01-16 | Canon Inc | 撮像装置 |
WO2005055588A1 (ja) * | 2003-12-03 | 2005-06-16 | Nikon Corporation | ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
WO2007037325A1 (ja) * | 2005-09-28 | 2007-04-05 | Olympus Corporation | 撮像装置 |
JP2008171059A (ja) * | 2007-01-09 | 2008-07-24 | Rohm Co Ltd | 画像処理回路、半導体装置、画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
JP4653059B2 (ja) | 撮像システム、画像処理プログラム | |
JP3934597B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP3899118B2 (ja) | 撮像システム、画像処理プログラム | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
JP4547223B2 (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
JP4660342B2 (ja) | 画像処理システム、画像処理プログラム | |
WO2007049418A1 (ja) | 画像処理システム、画像処理プログラム | |
JP5052189B2 (ja) | 映像処理装置及び映像処理プログラム | |
WO2006004151A1 (ja) | 信号処理システム及び信号処理プログラム | |
JP2007142670A (ja) | 画像処理システム、画像処理プログラム | |
WO2005099356A2 (ja) | 撮像装置 | |
WO2008056566A1 (fr) | Appareil, programme et procédé de traitement de signal d'image | |
JP4916341B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2009100207A (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム | |
JP2009027615A (ja) | 映像処理装置および映像処理プログラム | |
JP2008271101A (ja) | 映像処理装置及び映像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120619 |