JP2009027615A - 映像処理装置および映像処理プログラム - Google Patents

Abstract

【課題】ノイズを高精度かつ安定的に低減できるようにする。
【解決手段】撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、映像信号のうち現在の映像信号から、ノイズ低減処理の対象となる領域のベクトル信号（以下、現在のベクトル信号）を順次導出してノイズ低減処理を行うノイズ低減手段１１２と、ノイズ低減処理が行われた時系列的に過去の映像信号から、現在のベクトル信号に対応する過去のベクトル信号を抽出する抽出手段１１４と、現在のベクトル信号およびノイズ低減処理後の過去のベクトル信号に基づいて、現在のベクトル信号のノイズ成分を推定するノイズ推定手段１１５とを備え、ノイズ低減手段１１２は、ノイズ推定手段１１５によって推定されたノイズ成分に基づいて、ノイズ低減処理を行うことを特徴とする。
【選択図】図１

Description

本発明は、撮像系に起因するノイズの低減処理に係わり、特に信号をベクトル化して巡回型のノイズ低減処理と組み合わせることにより、ノイズ成分を高精度に低減可能とする映像処理装置に関する。

撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータ等から構成される撮像系から得られるデジタル化された映像信号中に含まれるノイズ成分は、ランダム性およびスパイク性のノイズに大別できる。ランダム性のノイズは、撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。一方、スパイク性のノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。

動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。巡回型のノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、一方、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。

上述したような巡回型のノイズ低減処理としては、例えば特開平1-212077号公報では映像信号から動き成分を検出し、検出された動き成分に基づきフィルタ特性を制御することで、映像信号のノイズ低減処理を行う方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。

また、特開平10-13734号公報では輝度信号から動き成分を検出し、検出された動き成分に基づきリミット値と帰還係数を制御することで色差信号にノイズ低減処理を行う方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制した色ノイズ低減処理が可能となる。

また、動画像用でなないが、特開平8-36640号公報に示されるように、RGB信号をベクトル化し、ベクトル空間内で評価関数を最小化させるようにベクトル信号を補正する例が開示されている。これにより、エッジ部を保持したまま色ノイズの低減が可能となる。
特開平1-212077号公報 特開平10-13734号公報 特開平8-36640号公報

特開平1-212077号公報では、RGBの入力信号に対して各々独立に動き成分の検出およびノイズ低減処理が行われている。このため、被写体の色により信号レベルが低い場合など動き検出の精度が低下し、ノイズ低減効果に関して安定性が十分でないという課題がある。また、RGBの入力信号に対して独立にノイズ低減処理が行われるため、平滑化能が十分でなく、処理後の色相が変化するという課題がある。

特開平10-13734号公報では、動き成分を輝度信号から検出し、色差信号に対して各々独立にノイズ低減処理が行われている。このため、平滑化能が十分でなく、処理後の色相が変化するという課題がある。

特開平8-36640号公報では、評価関数の自動的な設定が困難であり、処理は収束するまで反復的に行われるため、処理時間が不定かつ長くなるという課題がある。また、時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。

本発明は、上記問題点に着目し、高精度かつ安定的なノイズ低減処理を行うことを目的とする。

本発明による映像処理装置は、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号のうち現在の映像信号から、ノイズ低減処理の対象となる領域のベクトル信号である現在のベクトル信号を順次導出してノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減処理が行われた時系列的に過去の映像信号から、前記現在のベクトル信号に対応する過去のベクトル信号を抽出する過去ベクトル信号抽出手段と、前記現在のベクトル信号および前記過去ベクトル信号抽出手段によって抽出されたノイズ低減処理後の過去のベクトル信号に基づいて、前記現在のベクトル信号のノイズ成分を推定するノイズ推定手段とを備え、前記ノイズ低減手段は、前記ノイズ推定手段によって推定されたノイズ成分に基づいて、前記ノイズ低減処理を行うことを特徴とする。

また、本発明による映像処理プログラムは、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、前記映像信号のうち現在の映像信号から、ノイズ低減処理の対象となる領域のベクトル信号である現在のベクトル信号を順次導出してノイズ低減処理を行うノイズ低減ステップと、前記ノイズ低減処理が行われた時系列的に過去の映像信号から、前記現在のベクトル信号に対応する過去のベクトル信号を抽出する抽出ステップと、前記現在のベクトル信号および前記ノイズ低減処理後の過去のベクトル信号に基づいて、前記現在のベクトル信号のノイズ成分を推定するノイズ推定ステップとを備え、前記ノイズ低減ステップは、推定されたノイズ成分に基づいて、前記ノイズ低減処理を行うことを特徴とする。

本発明による映像処理装置および映像処理プログラムによれば、複数の信号をベクトル化して一括的に巡回型のノイズ低減処理を行うため、高精度かつ安定的なノイズ低減が可能となる。

以下、添付図面を参照しながら、本発明の各実施の形態について説明する。

−第１の実施の形態−
図１は、本発明の第１の実施の形態の構成図である。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、増幅器（図中“Gain”）104にて増幅され、A/Dコンバータ（図中“A/D”）105にてデジタル信号へ変換される。A/Dコンバータ105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。

バッファ106は、プリホワイトバランス調整部（図中“PreWB”）107、測光評価部108、合焦点検出部109へも接続されている。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD102、増幅器104へ、合焦点検出部109はAFモータ110へ接続されている。色信号分離部111は、ノイズ低減部112へ接続されている。ノイズ低減部112は、バッファ113およびノイズ推定部115へ接続されている。バッファ113は、過去ベクトル信号抽出部114およびスカラー化部116へ接続されている。過去ベクトル信号抽出部114はノイズ推定部115へ、ノイズ推定部115はノイズ低減部112へ接続されている。スカラー化部116は、信号処理部117を経由して、メモリカードなどの出力部118に接続されている。

マイクロコンピュータなどの制御部119は、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、色信号分離部111、ノイズ低減部112、過去ベクトル信号抽出部114、ノイズ推定部115、スカラー化部116、信号処理部117、出力部118と双方向に接続されている。また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部120も制御部119に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサ103からの信号は制御部119へ接続されている。

続いて、信号処理の内容について説明する。

図１を参照しながら、映像信号の流れを説明する。外部I/F部120を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、アナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。本実施の形態においては、上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定するが、1/30秒に限定されることはない。

また、本実施の形態においては、撮像系にベイヤ−（Bayer）型原色フィルタを前面に配置した単板CCDを想定している。図２（ａ）は、ベイヤ−型原色フィルタの構成を示している。ベイヤ−型は2×2画素を基本単位とし、赤(R)、青(B) フィルタが１画素ずつ、緑(Gr、Gb) フィルタが２画素配置される。なお、緑フィルタは同一なものであるが、本例では処理の便宜上、これをGrとGbに区別するものとする。

上記アナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフレーム信号は、制御部119の制御に基づき、所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部107および測光評価部108および合焦点検出部109へ転送される。

プリホワイトバランス調整部107では、所定レベル内の信号を色信号ごとに積算することで簡易ホワイトバランス係数を算出する。算出された簡易ホワイトバランス係数は増幅器104へ転送され、色信号ごとに異なるゲインを設定することで簡易ホワイトバランス処理が行われる。

測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、映像信号中の輝度レベルを求めて適正露光となるように、絞り101やCCD102の電子シャッター速度や増幅器104の増幅率などを制御する。合焦点検出部109では、信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。プリホワイトバランス調整部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は、制御部119へ転送される。

色信号分離部111は、制御部119の制御に基づき、以後のノイズ低減処理の対象となる所定サイズの領域（以下、処理対象領域）をバッファ106内のフレーム信号から順次抽出し、所定の色信号（本実施の形態においては、R、Gr、Gb、Bの色信号）へ分離した後に、ノイズ低減部112へ転送する。

ノイズ低減部112は、制御部119の制御に基づき、上記処理対象領域の色信号からベクトル信号を導出し、後述するノイズ推定部115からのノイズ成分に基づき巡回型のノイズ低減処理を行う。ノイズ低減処理がなされたベクトル信号は、バッファ113へ転送され、順次記録される。また、上記領域から導出されたノイズ低減処理がなされていないベクトル信号は、ノイズ推定部115へ転送される。

バッファ113は、１フレーム信号分のベクトル信号を記録可能で、撮影にともない順次上書きされることになる。過去ベクトル信号抽出部114は、制御部119の制御に基づき、色信号分離部111にて現在のフレーム信号から抽出した処理対象領域に対応する１フレーム時間過去のノイズ低減処理がなされたベクトル信号をバッファ113から抽出して、ノイズ推定部115へ転送する。

ノイズ推定部115は、制御部119の制御に基づき、ノイズ低減部112からのノイズ低減処理がなされていない現在のベクトル信号および過去ベクトル信号抽出部114からのノイズ低減処理がなされた過去のベクトル信号に基づき、現在のベクトル信号に関するノイズ成分を推定する。推定されたノイズ成分は、ノイズ低減部112へ転送される。

上記色信号分離部111、ノイズ低減部112、過去ベクトル信号抽出部114、ノイズ推定部115における処理は、制御部119の制御に基づき、上記の処理対象領域単位で同期して行われる。

スカラー化部116は、制御部119の制御に基づき、１フレーム信号のノイズ低減処理が完了した後に、ノイズ低減処理がなされたベクトル信号をバッファ113から順次読み込み、撮像素子本来の色信号（本実施の形態においてはR、Gr、Gb、B）の色信号へ変換して信号処理部117へ転送する。

信号処理部117は、制御部119の制御に基づきノイズ低減後のフレーム信号に対して、公知の補間処理、強調処理、圧縮処理などを行い、出力部118へ転送する。出力部118は、信号処理部117から受信したフレーム信号を、メモリカードなどの記録媒体へ順次記録保存する。

図２（ａ）〜図２（ｃ）は、ベイヤ−型原色フィルタにおける色フィルタの配置およびベクトル化を説明するための図である。図２（ａ）は、本実施の形態における処理対象領域の構成を示す。本実施の形態においては、この処理対象領域として2×2画素サイズを想定する。この場合、ノイズ低減処理の対象となる画素は、R₂₂、Gr₂₂、Gb₂₂、B₂₂の4画素となる。上記2×2画素の処理対象領域は、色信号分離部111にて重複することなくフレーム信号から順次抽出される。

次に、図２（ｂ）に示されるように、R、Gr、Gb、Bの色フィルタごとの色信号に分離される。この後、ノイズ低減部112にて、図２（ｃ）に示されるように、処理対象領域のベクトル信号V₀が導出される。本実施の形態においては、処理対象領域のベクトル信号V₀は、(1)式で示される４次元の要素からなる。

また、時間軸方向の複数のフレーム信号を区別するため、必要に応じて現在の時刻Tにおけるベクトル信号をV^T ₀で、画素をR^T ₂₂、Gr^T ₂₂、Gb^T ₂₂、B^T ₂₂で表記する。(1)式のベクトル信号を時刻Tにおけるベクトル信号として表記しなおすと、 (2) 式のようになる。

なお、本実施の形態においては、ベイヤ−型原色フィルタを使用する構成となっているが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタを使用する構成も可能であるし、二板、三板撮像素子の利用も可能である。

図３（ａ）は、色差線順次型の色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、マゼンタ(Mg)、緑(G)、イエロー(Ye)、シアン(Cy)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。この場合、ノイズ低減処理の対象となる画素は、Mg₂₂、G₂₂、Ye₂₂、Cy₂₂の4画素となる。次に、図３（ｂ）に示されるように、Mg、G、Ye、Cyの色フィルタごとの色信号に分離される。この後、図３（ｃ）に示されるように、処理対象領域のベクトル信号V₀が導出される。色差線順次型補色フィルタの場合、ベクトル信号V₀は、(3)式で示される４次元の要素からなる。

上記のように、撮像素子の全色信号を含む形態で処理対象領域を設定することで、任意の色フィルタを用いた撮像素子に対応することが可能である。

図４は、ノイズ低減部112の構成の一例を示すもので、領域抽出部200、ベクトル化部201、減算部202からなる。色信号分離部111は、領域抽出部200を介してベクトル化部201へ接続されている。ベクトル化部201は、減算部202およびノイズ推定部115へ接続されている。ノイズ推定部115は、減算部202へ接続されている。減算部202は、バッファ113へ接続されている。制御部119は、領域抽出部200、ベクトル化部201、減算部202と双方向に接続されている。

領域抽出部200は、制御部119の制御に基づき、図２（ｂ）に示されるように、現在の時刻TにおけるR^T、Gr^T、Gb^T、B^Tの色フィルタごとの色信号に分離された領域の信号を色信号分離部111から抽出し、ベクトル化部201へ転送する。

ベクトル化部201は、制御部119の制御に基づき、色信号分離部111からの処理対象領域の色信号に基づいて、(2)式に示されるベクトル信号V^T ₀を導出する。導出されたベクトル信号V^T ₀は、減算部202およびノイズ推定部115へ転送される。

減算部202は、制御部119の制御に基づき、ベクトル化部201からベクトル信号V^T ₀を、ノイズ推定部115から推定されたベクトル信号V^T ₀のノイズ成分N^T ₀を読み込む。本実施の形態においては、ノイズ成分N^T ₀はベクトルではなく、スカラー量となる。減算部202は、ベクトル信号V^T ₀からノイズ成分N^T ₀を減算することで、ノイズ低減後のベクトル信号を得る。

本実施の形態においては、ノイズ低減処理後のベクトル信号をV'で表記することとする。例えば、ベクトル信号V^T ₀に対応するノイズ低減処理がなされたベクトル信号はV'^T ₀となる。上記の減算処理は、(4)式で示される。

ノイズ低減処理がなされたベクトル信号V'^T ₀は、バッファ113へ転送される。

なお、上述した説明では、色信号分離部111にて抽出される領域を2×2画素、ノイズ低減部112にて導出されるベクトル信号をV₀の一つ、ノイズ低減処理を(4)式で示される減算処理とする構成としたが、このような構成に限定される必要はない。例えば、より広い領域から複数のベクトル信号を導出して、フィルタリング処理を行う構成も可能である。

図５（ａ）〜図５（ｃ）は、ベイヤー型原色フィルタにおける色フィルタの配置および別構成のベクトル化に関する説明図である。図５（ａ）は、ノイズ低減処理の対象となる注目領域および注目領域の近傍にある近傍領域からなる領域の構成を示す。注目領域は2×2画素(R₂₂,Gr₂₂,Gb₂₂,B₂₂)を、近傍領域は2×2画素で注目領域を包含し、かつ重複しないよう配置された計24の領域を、領域は10×10画素サイズを想定する。この場合、色信号分離部111は、注目領域が全フレーム信号をカバーするよう領域を4行4列オーバーラップしながら抽出する。

図５（ｂ）は、図５（ａ）に示す領域から、R、Gr、Gb、Bの色フィルタごとに分離された5×5画素の色信号を示す。図５（ｃ）は、ノイズ低減部112により生成される注目領域および近傍領域に対応するベクトル信号の配置を示す。以後、注目領域のベクトル信号はV₀で、近傍領域のベクトル信号はV_i (i=1〜24)で表すものとする。注目領域のベクトル信号V₀は、(1)式で示される。

図６は、ノイズ低減部112の別構成の一例を示すもので、図４に示すノイズ低減部112の構成に、ノルム算出部203、バッファ204、定数算出部205、ノルム選択部206、重み係数算出部207、バッファ208、重み係数選択部209、測度算出部210、バッファ211、測度選択部212、重み測度算出部213、バッファ214、最小測度探索部215、平均化部216が追加され、減算部202が省略された構成になっている。基本構成は図４に示すノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

ベクトル化部201は、ノルム算出部203、測度算出部210、平均化部216、ノイズ推定部115へ接続されている。ノルム算出部203は、バッファ204を介して定数算出部205およびノルム選択部206へ接続されている。ノイズ推定部115は定数算出部205へ、定数算出部205およびノルム選択部206は、重み係数算出部207へ接続されている。重み係数算出部207は、バッファ208、重み係数選択部209を介して、重み測度算出部213へ接続されている。

測度算出部210は、バッファ211、測度選択部212を介して、重み測度算出部213へ接続されている。重み測度算出部213は、バッファ214、最小測度探索部215、平均化部216を介して、バッファ113へ接続されている。制御部119は、ノルム算出部203、定数算出部205、ノルム選択部206、重み係数算出部207、重み係数選択部209、測度算出部210、測度選択部212、重み測度算出部213、最小測度探索部215、平均化部216と双方向に接続されている。

領域抽出部200は、制御部119の制御に基づき、図５(b)に示されるように、現在の時刻TにおけるR^T、Gr^T、Gb^T、B^Tの色フィルタごとの色信号に分離された領域の信号を色信号分離部111から抽出し、ベクトル化部201へ転送する。

ベクトル化部201は、制御部119の制御に基づき、色信号分離部111からの領域の色信号に基づいて、注目領域のベクトル信号V^T ₀および近傍領域のベクトル信号V^T _iを導出する。導出されたベクトル信号V^T ₀およびV^T _iは、ノルム算出部203、測度算出部210、平均化部216へ転送される。

ノルム算出部203は、制御部119の制御に基づき、ベクトル化部201から注目領域のベクトル信号V^T ₀および近傍領域のベクトル信号V^T _iを順次読み込み、各ベクトル信号のノルムを算出する。注目領域のベクトル信号V^T ₀のノルム||V^T ₀||は、(5)式で定義される。

近傍領域のベクトル信号V^T _iのノルム||V^T _i||も同様に算出される。算出されたノルムはバッファ204へ転送され、記録される。

定数算出部205は、制御部119の制御に基づき、バッファ204から注目領域のベクトル信号のノルム||V^T ₀||を、ノイズ推定部115から推定されたベクトル信号V^T ₀のノイズ成分N^T ₀を読み込み、後述する重み係数算出に用いる関数の定数項を算出する。

本実施の形態においては、重み係数算出に用いる関数として、例えば図７に示される３つの１次関数を組み合わせた形態を用いる。上記関数は、注目領域のベクトル信号のノルム||V^T ₀||および近傍領域のベクトル信号のノルム||V^T _i||を入力として、ベクトル信号に関する重み係数w_k (k=0〜24)を出力するものである。上記重み係数w_kにより、注目領域のベクトル信号と異なるベクトル信号の寄与度が小さくなり、エッジ構造が保存されるようになる。図７に示される３つの１次関数は、(6)式で定義される。

(6)式で要する定数項は、符号の違いを無視すれば、1/N^T ₀と||V^T ₀||/N^T ₀の２項である。定数算出部205は、上記２項目の定数項を算出して、重み係数算出部207へ転送する。

ノルム選択部206は、制御部119の制御に基づき、定数算出部205が定数項を重み係数算出部207へ転送した後、バッファ204から注目領域および近傍領域のベクトル信号のノルム||V^T _k||を順次選択し、重み係数算出部207へ転送する。

重み係数算出部207は、制御部119の制御に基づき、ノルム選択部206から転送されるベクトル信号のノルム||V^T _k||に対して、(6)式に基づき重み係数w_kを算出して、バッファ208へ転送する。

一方、測度算出部210は、制御部119の制御に基づき、ベクトル化部201から注目領域および近傍領域のベクトル信号V^T _kを読み込み、(7)式に示される２つのベクトル信号間の測度値d(V^T _k,V^T _l) (k=0〜24, l=0〜24)を算出する。

本実施の形態においては、領域内に25のベクトル信号が存在するため、計625の測度値が算出され、バッファ211へ転送、記録される。なお、測度値は対称性d(V^T _k,V^T _l) = d(V^T _l,V^T _k)があるため、重複する測度値の算出を省略することも可能である。

重み係数選択部209は、制御部119の制御に基づき、バッファ208から領域内のベクトル信号に関する重み係数w_kを順次読み込み、重み測度値算出部213へ転送する。測度選択部212は、制御部119の制御に基づき、バッファ211から領域内のベクトル信号間の測度値d(V^T _k,V^T _l)を順次読み込み、重み測度値算出部213へ転送する。

重み測度値算出部213は、制御部119の制御に基づき、各ベクトル信号に対して、(8)式に示される重み付き測度値の総和値T_kを算出する。

算出された重み付き測度値の総和値T_kは、バッファ214へ転送され、記録される。

なお、上記重み係数選択部209、測度選択部212、重み測度値算出部213における処理は、制御部119の制御に基づき各ベクトル信号単位で同期して行われる。

領域内の全ベクトル信号に対する重み付き測度値の総和値T_kが算出された後、最小測度探索部215は、制御部119の制御に基づき、重み付き測度値の総和値T_k (k=0〜24) から最小値T_minを探索する。探索された最小値T_minは、平均化部216へ転送される。

平均化部216は、制御部119の制御に基づき、最小測度探索部215からの最小値T_minに基づき、最小値T_minに対応するベクトル信号をベクトル化部201から選択して読み込む。ここでは、最小値T_minに対応するベクトル信号をV^T _minと表記する。また、同時に注目領域のベクトル信号V^T ₀も読み込む。この後、注目領域のベクトル信号V^T ₀と重み付き測度値の総和が最小となるベクトル信号V^T _minを重み付き加算平均して、(9)式に示されるノイズ低減後のベクトル信号V'^T ₀を求める。

(9)式において、ωは0〜1の範囲内の所定の定数項である。求められたベクトル信号V'^T ₀は、バッファ113へ転送される。

上述した説明では、ノイズ低減部112にて図７に示される３つの１次関数を用いて重み係数を算出し、(9)式に示される重み付き加算平均にてノイズ低減後のベクトル信号を求める構成となっていたが、このような構成に限定される必要はない。例えば、２次関数を用いて重み係数を算出する構成や、重み付き測度値の総和が最小となるベクトル信号をそのままノイズ低減後のベクトル信号とする構成も可能である。このような構成例を図８および図９を用いて説明する。

図８は、ノイズ低減部112の別構成の一例を示すもので、図６に示すノイズ低減部112における平均化部216を対応ベクトル選択部217へ置換した構成となっている。基本構成は第図６に示すノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

最小測度探索部215は対応ベクトル選択部217へ、対応ベクトル選択部217はバッファ113へ接続している。制御部119は、対応ベクトル選択部217と双方向に接続されている。

定数算出部205は、制御部119の制御に基づき、バッファ204から注目領域のベクトル信号のノルム||V^T ₀||を、ノイズ推定部115から推定されたベクトル信号V^T ₀のノイズ成分N^T ₀を読み込み、重み係数算出に用いる関数の定数項を算出する。

本実施の形態においては、重み係数算出に用いる関数として、例えば図９に示される単一の２次関数を用いる。上記関数は、注目領域のベクトル信号のノルム||V^T ₀||および近傍領域のベクトル信号のノルム||V^T _i||を入力として、ベクトル信号に関する重み係数w_kを出力するものである。図９に示される２次関数は、(10)式で定義される。

定数算出部205は、(10)式に示される３項目の定数項を算出して、重み係数算出部207へ転送する。この後、図６に示すノイズ低減部112と同様に、(8)式に示される重み付き測度値の総和値T_kが算出され、最小値T_minが探索される。対応ベクトル選択部217は、制御部119の制御に基づき、最小測度探索部215からの最小値T_minに基づき、ベクトル化部201から最小値T_minに対応するベクトル信号V^T _minを選択し読み込む。このベクトル信号V^T _minをノイズ低減後のベクトル信号V'^T ₀とて出力する。

(11)式に示されるベクトル信号V'^T ₀は、バッファ113へ転送される。

図１０は、ノイズ推定部115の構成の一例を示している。ノイズ推定部115は、差分ベクトル算出部300、ノルム算出部301、比較部302、閾値記録部303、代替部304からなる。

ノイズ低減部112および過去ベクトル信号抽出部114は、差分ベクトル算出部300へ接続されている。差分ベクトル算出部300は、ノルム算出部301および代替部304へ接続されている。ノルム算出部301および閾値記録部303は比較部302へ、比較部302は代替部304へ接続されている。代替部304は、ノイズ低減部112へ接続されている。制御部119は、差分ベクトル算出部300、ノルム算出部301、比較部302、閾値記録部303、代替部304と双方向に接続されている。

差分ベクトル算出部300は、制御部119の制御に基づき、ノイズ低減部112からノイズ低減処理がなされていないベクトル信号V^T ₀を、過去ベクトル信号抽出部114からベクトル信号V^T ₀に対応する１フレーム時間過去のノイズ低減処理がなされたベクトル信号V'^T-1 ₀を読み込み、(12)式に示すように、両者から差分ベクトル信号Δ^T ₀を算出する。

(12)式に示される差分ベクトル信号Δ^T ₀は、ノルム算出部301および代替部304へ転送される。ノルム算出部301は、制御部119の制御に基づき、差分ベクトル信号Δ^T ₀のノルム||Δ^T ₀||を算出し、比較部302へ転送する。

比較部302は、制御部119の制御に基づき、ノルム算出部301から差分ベクトル信号のノルム||Δ^T ₀||を、閾値記録部303から所定の閾値Thを読み込む。上記閾値Thは、撮像素子系により発生するランダムノイズの量に対応して事前に設定されたもので、差分ベクトルがノイズ成分から構成されるのか、ノイズ成分と動き成分から構成されるかを識別するために使用される。

比較部302は、上記差分ベクトル信号のノルム||Δ^T ₀||と閾値Thの大小関係を判断し、その結果を代替部304へ転送する。代替部304は、制御部119の制御に基づき、差分ベクトル算出部300から差分ベクトル信号Δ^T ₀を、比較部302から閾値Thとの比較結果をそれぞれ読み込み、(13)式に基づきノイズ成分N^T ₀を求める。

(13)式に示すように、代替部304は、差分ベクトル信号のノルム||Δ^T ₀||が閾値Th以下の場合には、差分ベクトル信号のノルム||Δ^T ₀||をノイズ成分N^T ₀に設定し、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合には、ノイズ成分N^T ₀を零に設定する。代替部304により求められたノイズ成分N^T ₀は、ノイズ低減部112へ転送される。

(13)式では、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合には、動き成分と判断して、ノイズ成分N^T ₀を零に設定している。これは、一般に、動領域では視覚的に高周波域の識別能が低下するため、ノイズ成分が目立ちにくく、上記置換処理で対応することができるからである。

なお、上述した説明では、固定的な閾値Thを用い、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合にノイズ成分N^T ₀を零とする構成となっていたが、このような構成に限定される必要はない。例えば、適用的に閾値Thを求める構成や、外部I/F部120を介して手動で入力する構成も可能である。また、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合に、ノイズ成分N^T ₀に上限値を設定する構成も可能である。

図１１は、ノイズ推定部115の別構成の一例を示すもので、図１０に示すノイズ推定部115の構成において、閾値記録部303を閾値算出部305へ、代替部304を上限値設定部306へ置換した構成となっている。基本構成は図１０に示すノイズ推定部115と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

ノルム算出部301は、比較部302および閾値算出部305へ接続されている。閾値算出部305は、比較部302へ接続されている。差分ベクトル算出部300および比較部302は、上限値設定部306へ接続されている。上限値設定部306は、ノイズ低減部112へ接続されている。制御部119は、閾値算出部305、上限値設定部306と双方向に接続されている。

ノルム算出部301は、差分ベクトル信号のノルム||Δ^T ₀||を比較部302および閾値算出部305へ転送する。閾値算出部305は、制御部119の制御に基づき、差分ベクトル信号のノルム||Δ^T ₀||に基づいて、(14)式に示すように、閾値Thを算出する。

(14)式において、a,b,cはそれぞれ所定の定数項である。算出された閾値Thは、比較部302へ転送される。

なお、(14)式に示すような差分ベクトル信号のノルム||Δ^T ₀||と閾値Thとの関係を定義したルックアップテーブルを予め用意しておき、ルックアップテーブルから閾値Thを求めるようにしてもよい。

上限値設定部306は、制御部119の制御に基づき、差分ベクトル算出部300から差分ベクトル信号Δ^T ₀を、比較部302から閾値Thとの比較結果を読み込み、(15)式に基づきノイズ成分N^T ₀を求める。

(15)式では、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合に、動き成分と判断して、ノイズ成分N^T ₀を上限値Thで制限している。(15)式に示されるノイズ成分N^T ₀は、ノイズ低減部112へ転送される。

上述した第１の実施の形態の構成により、撮像系から時系列的に取り込まれた映像信号をベクトル化してノイズ低減処理を行うにあたり、現在のベクトル信号に対応する、ノイズ低減処理がなされた時系列的に過去のベクトル信号を帰還させ、現在のベクトル信号およびノイズ低減処理がなされた過去のベクトル信号に基づきノイズ成分を推定し、ノイズ成分に基づきノイズ低減処理を行う映像処理装置が可能となる。この結果、高精度かつ安定的なノイズ低減が可能となる。ベクトル信号からノイズ成分を減算する構成は、実装が容易で高速な処理が可能となる。さらに、ベクトルの方向を維持できるため、色相の変化などの副作用が少ない。

一方、ベクトル信号にフィルタリング処理を行う構成は、エッジ部の劣化、色相変化、不連続性などの副作用が少なく、高品位な映像信号が得られる。

本来のベクトル信号とノイズ低減後のベクトル信号を重み付き加算平均する構成は、ノイズ低減処理の強弱の制御が容易となる。一方、ノイズ低減後のベクトル信号をそのまま出力する構成は実装が容易であり、低コストな映像処理装置が提供可能となる。

固定的な閾値に基づき差分ベクトル信号から動き成分とノイズ成分を分離する構成は、実装が容易であり、高速かつ低コストな処理が可能となる。一方、関数に基づき適用的に算出した閾値に基づき差分ベクトル信号から動き成分とノイズ成分を分離する構成は、ノイズ成分算出の精度を向上できる。また、関数に基づく閾値算出処理は、制御の自由度が高く、柔軟な画質調整が可能となる。

動き成分と判断される場合に零ベクトル信号に置換する構成は、残像などの副作用の発生を低コストにて防止できる。また、零ベクトル信号に置換する処理は、実装が容易であり、高速かつ低コストな処理が可能となる。一方、動き成分と判断される場合に上限値を設定する構成は、ノイズ低減処理の制御が連続的に行われるため、不連続性のない高品位な映像信号が得られる。

映像信号から色信号を分離し、各々を構成成分とするベクトル信号にてノイズ低減処理を行うため、ランダムノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。

また、撮像素子として、ベイヤー型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子に適用するため、従来の撮影部との親和性が高く、多くの映像処理装置への適用が可能となる。また、ノイズ低減処理後のベクトル信号を撮像素子本来の色信号の形態へ戻すため、後段の処理系との互換性が維持され多様なシステムとの組み合わせが可能となる。

なお、本実施の形態においては、ノイズ低減処理を行う構成部分がレンズ系100、絞り101、CCD102、温度センサ103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１２に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態のまま、CCD102の色フィルタや撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から取り込んで処理をすることも可能である。

図１２は、図１に示す構成からレンズ系100、絞り101、CCD102、温度センサ103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110を省略し、入力部４００、ヘッダ情報解析部401を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

入力部400は、バッファ106およびヘッダ情報解析部401へ接続されている。制御部119は、入力部400、ヘッダ情報解析部401と双方向に接続されている。マウス、キーボードなどの外部I/F部120を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が入力部400から読み込まれる。なお、映像信号は、所定の時間間隔、本実施の形態では、１フレーム時間間隔で１枚ずつ順次読み込まれる。

入力部400からの信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部401へ転送される。ヘッダ情報解析部401は、ヘッダ情報から撮影時の情報を抽出して制御部119へ転送する。以後の処理は、図１と同等である。

さらに、上記実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、CCD102の色フィルタや制御部119からの撮像条件などの付随情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１３Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。

ステップS1では、映像信号および撮像素子の色フィルタ情報や撮影時の露光条件などのヘッダ情報を読み込み、ステップS2に進む。ステップS2では、映像信号から順次フレーム信号を抽出して、ステップS3に進む。ステップS3では、図２（ａ）に示されるように所定サイズの領域を抽出し、図２（ｂ）に示されるように撮像素子の色フィルタに対応する色信号に分離して、ステップS4に進む。

ステップS4では、図２（ｃ）に示されるようなベクトル信号を導出して、ステップS5に進む。ステップS5では、過去の、本実施の形態では、１フレーム時間過去のノイズ低減処理がなされたベクトル信号を入力して、ステップS6に進む。

ステップS6では、領域のベクトル信号に関するノイズ成分を推定する。この処理は、後述する図１３Ｂのフローに従って実行される。

ステップS7では、領域のベクトル信号に関するノイズ低減処理を行う。この処理は、後述する図１３Ｃのフローに従って実行される。

ステップS8では、ノイズ低減処理後のベクトル信号から撮像素子本来の色信号へ変換して、ステップS9に進む。ステップS9では、ノイズ低減処理後の各色信号を出力して、ステップS10に進む。

ステップS10では、１フレーム内の全ての領域についての処理が完了したか否かを判断し、完了していないと判断した場合はステップS3へ進み、完了したと判定した場合はステップS11へ進む。ステップS11では、公知の補間処理、強調処理、階調処理、圧縮処理等を行い、ステップS12に進む。ステップS12では、処理が完了したフレーム信号を出力して、ステップS13に進む。

ステップS13では、全てのフレーム信号についての処理が完了したかを判断し、完了していないと判断した場合はステップS2へ進み、完了したと判断した場合は終了する。

図１３Ｂは、図１３ＡのステップS6において行われるノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。

ステップS20では、現在のベクトル信号と、１フレーム時間過去のノイズ低減処理がなされたベクトル信号とに基づいて、(12)式に示される差分ベクトル信号を算出して、ステップS21に進む。ステップS21では、差分ベクトル信号のノルムを算出して、ステップS22に進む。ステップS22では、所定の閾値を入力して、ステップS23に進む。

ステップS23では、ステップS21で算出した差分ベクトル信号のノルムと、ステップS22で入力した閾値を比較し、差分ベクトル信号のノルムが閾値より大きい場合はステップS24へ進み、差分ベクトル信号のノルムが閾値以下の場合はステップS25へ進む。

ステップS24では、差分ベクトル信号のノルムに零値を代入して、ステップS25に進む。ステップS25では、ノイズ成分として、差分ベクトル信号のノルムを出力して終了する。

図１３Ｃは、図１３ＡのステップS7において行われるノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。

ステップS30では、図１３ＡのステップS6で推定されたノイズ成分を入力して、ステップS31に進む。ステップS31では、(4)式に示されるように、現在のベクトル信号からノイズ成分を減算することでノイズ低減処理を行う。ステップS32では、ノイズ低減処理後のベクトル信号を出力して終了する。

このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

−第２の実施の形態−
続いて、本発明の第２の実施の形態について説明する。

図１４は、第２の実施の形態の構成図である。本実施の形態は、図１に示す第１の実施の形態におけるCCD102がCCD500へ、色信号分離部111が輝度色差分離部501へ、ノイズ低減部112がノイズ低減部502へ、ノイズ推定部115がノイズ推定部503へ置換された構成になっている。基本構成は第１の実施の形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。

レンズ系100、絞り101、CCD500を介して撮影された映像信号は、増幅器104にて増幅され、A/Dコンバータ105にてデジタル信号へ変換され、バッファ106へ転送される。

バッファ106は、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、 輝度色差分離部501へ接続されている。輝度色差分離部501は、ノイズ低減部502へ接続されている。ノイズ低減部502はバッファ113およびノイズ推定部503へ接続されている。過去ベクトル信号抽出部114はノイズ推定部503へ、ノイズ推定部503はノイズ低減部502へ接続されている。制御部119は、輝度色差分離部501、ノイズ低減部502、ノイズ推定部503と双方向に接続されている。

続いて信号処理の内容について説明する。基本的に第１の実施の形態と同等であるので、異なる部分のみ説明する。

図１４を参照しながら、映像信号の流れを説明する。外部I/F部120を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、 CCD500を介して撮影された映像信号は、アナログ信号として所定時間間隔で連続的に出力される。なお、本実施の形態においては、また、CCD500として色差線順次型補色フィルタを前面に配置した単板CCDを想定する。

図１５（ａ）は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。

CCD500からの映像信号は、図１５（ａ）に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定するが、1/60秒に限定されることはない。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。

CCD500からのアナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。輝度色差分離部501は制御部119の制御に基づき、(16)式に示すように、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb,Crを算出する。

なお、図１５（ｂ）に示されるように、輝度信号Yは全画素で生成されるが、色差信号CbおよびCrは、１ライン間隔でしか生成されない。このため、輝度色差分離部501は、色差信号Cb、Crに関して、欠損するラインを公知の補間処理にて充填する。

ノイズ低減部502は、制御部119の制御に基づき、輝度色差分離部501から所定サイズの領域を順次抽出する。この領域は、ノイズ低減処理の対象となる注目領域および注目領域の近傍に位置する近傍領域から構成される。本実施の形態においては、領域としては5×5画素サイズを、注目領域としては1×1画素を、近傍領域としては1×1画素で注目領域を包含し、かつ重複しないよう配置された計24の領域を想定する。

図１５（ｃ）は、偶数フィールド信号から抽出された領域を示す。以後の説明は偶数フィールド信号に関して行うが、奇数フィールド信号に関しても領域の構成が異なるだけで同様に成立する。

ノイズ低減部502は、輝度色差分離部501から5×5画素の領域を順次読み込み、注目領域および近傍領域のベクトル信号を導出する。この場合、注目領域が全フィールド信号をカバーするよう領域を2行2列オーバーラップしながら抽出する。図１５（ｄ）に示されるように、注目領域のベクトル信号V₀は、(17)式で示される3次元の要素からなる。

また、近傍領域のベクトル信号V_i (i=1〜24)も同様に3次元の要素からなる。

この後、ノイズ低減部502は、後述するノイズ推定部503からのノイズ成分に基づき、巡回型のノイズ低減処理を行う。ノイズ低減処理がなされたベクトル信号は、バッファ113へ転送され順次記録される。また、上記領域から導出されたノイズ低減処理がなされていないベクトル信号は、ノイズ推定部503へ転送される。

バッファ113は、２フィールド信号分、すなわち１フレーム信号分のベクトル信号を記録可能で、撮影にともない順次上書きされることになる。過去ベクトル信号抽出部114は、制御部119の制御に基づき、輝度色差分離部501にて現在のフィールド信号から抽出した領域に対応する２フィールド時間過去のノイズ低減処理がなされたベクトル信号をバッファ113から抽出して、ノイズ推定部503へ転送する。

ノイズ推定部503は、制御部119の制御に基づき、ノイズ低減部502からのノイズ低減処理がなされていない現在のベクトル信号および過去ベクトル信号抽出部114からのノイズ低減処理がなされた過去のベクトル信号に基づき、現在のベクトル信号に関するノイズ成分を推定する。推定されたノイズ成分は、ノイズ低減部502へ転送される。

なお、上記輝度色差分離部501、ノイズ低減部502、過去ベクトル信号抽出部114、ノイズ推定部503における処理は、制御部119の制御に基づき、上記の領域単位で同期して行われる。

スカラー化部116は、制御部119の制御に基づき、偶数および奇数フィールド信号、すなわち１フレーム信号のノイズ低減処理が完了した後に、バッファ113からノイズ低減処理がなされたベクトル信号を順次読み込み、輝度信号Yと色差信号Cb、Crへ変換し、信号処理部117へ転送する。

信号処理部117は、制御部119の制御に基づき、ノイズ低減後の輝度色差信号に対して、公知の同時化処理、強調処理、階調処理、圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリカードなどの記録媒体へフレーム信号を順次記録保存する。

図１６は、ノイズ低減部502の構成の一例を示すもので、図４に示すノイズ低減部112の構成に、バッファ600、代表ベクトル算出部601、コアリング部602が追加され、減算部202が省略された構成になっている。基本構成は図４に示すノイズ低減部112と同等であるため、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

輝度色差分離部501は、領域抽出部200へ接続されている。ベクトル化部201は、バッファ600へ接続されている。バッファ600は、代表ベクトル算出部601およびノイズ推定部503へ接続されている。ノイズ推定部503および代表ベクトル算出部601は、コアリング部602へ接続されている。コアリング部602は、バッファ113へ接続されている。制御部119は、代表ベクトル算出部601、コアリング部602と双方向に接続されている。

領域抽出部200は、制御部119の制御に基づき、輝度色差分離部501から図１５（ｃ）に示されるように現在の時刻Tにおける輝度信号Y^Tおよび色差信号Cb^T,Cr^Tからノイズ処理対象の領域を抽出し、ベクトル化部201へ転送する。

ベクトル化部201は、制御部119の制御に基づき、抽出された領域から注目領域のベクトル信号V^T ₀および近傍領域のベクトル信号V^T _iを導出する。導出されたベクトル信号V^T ₀およびV^T _iは、バッファ600へ転送され記録される。

代表ベクトル算出部601は、制御部119の制御に基づき、バッファ600内の注目領域のベクトル信号V^T ₀および近傍領域のベクトル信号V^T _iを読み込む。なお、バッファ600内の各ベクトル信号は、必要に応じてノイズ推定部503へも転送される。代表ベクトル算出部601は、領域内の全ベクトル信号から重心ベクトルに該当するベクトルを代表ベクトルV^T _repとして算出する。算出された代表ベクトルV^T _repおよび注目領域のベクトル信号V^T ₀は、コアリング部602へ転送される。

コアリング部602は、制御部119の制御に基づき、代表ベクトル算出部601から代表ベクトルV^T _repおよび注目領域のベクトル信号V^T ₀を、ノイズ推定部503からノイズ成分N^T ₀を読み込む。この後、注目領域のベクトル信号V^T ₀のノルム||V^T ₀||および代表ベクトルV^T _repのノルム||V^T _rep||を求め、(18)式に示されるコアリング処理を行うことでノイズ低減後のベクトル信号V'^T ₀を求める。

(18)式に示されるノイズ低減後のベクトル信号V'^T ₀は、バッファ113へ転送される。

図１７は、ノイズ推定部503の構成の一例を示すもので、図１０に示すノイズ推定部115の構成において、閾値記録部303を動き量算出部700へ置換した構成となっている。基本構成は図１０に示すノイズ推定部115と同等であるので、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

ノイズ低減部502および過去ベクトル信号抽出部114は、差分ベクトル算出部300および動き量算出部700へ接続されている。動き量算出部700は、比較部302接続されている。代替部304は、ノイズ低減部502へ接続されている。制御部119は、動き量算出部700と双方向に接続されている。

差分ベクトル算出部300は、制御部119の制御に基づき、ノイズ低減部502からノイズ低減処理がなされていないベクトル信号V^T ₀を、過去ベクトル信号抽出部114からベクトル信号V^T ₀に対応する２フィールド時間過去のノイズ低減処理がなされたベクトル信号V'^T-2 ₀を読み込み、(19)式に基づいて、両者から差分ベクトルΔ^T ₀を算出する。

(19)式に示される差分ベクトルΔ^T ₀は、ノルム算出部301および代替部304へ転送される。

動き量算出部700は、制御部119の制御に基づき、ノイズ低減部502から5×5の領域における3×3の中心部のノイズ低減処理がなされていないベクトル信号を読み取る。これは、図１５（ｄ）における注目領域のベクトル信号V^T ₀および近傍領域のベクトル信号V^T ₇、V^T ₈、V^T ₉、V^T ₁₂、V^T ₁₃、V^T ₁₆、V^T ₁₇、V^T ₁₈に相当する。動き量算出部700は、また、過去ベクトル信号抽出部114からベクトル信号V^T ₀に対応するベクトル信号を中心とする7×7の領域のベクトル信号V'^T-2 _m (m=0〜48)を読み込み、両者のベクトル信号間で公知のブロックマッチングに基づく動き検出処理を行う。この場合、マッチングの度合いは、差分ベクトル信号のノルムの総和で判断される。

なお、ノイズ低減部502から読み出される3×3のベクトル信号はノイズ成分が含まれるため、マッチングの精度を低下させる可能性がある。このため、事前にローパスフィルタ処理等によりノイズ成分を抑制するような構成も可能である。算出された動き量は、比較部302に転送される。

比較部302は、制御部119の制御に基づき、ノルム算出部301から差分ベクトルのノルム||Δ^T ₀||を、動き量算出部700から動き量を読み込む。その後、上記動き量に調整用の所定の係数を乗算して閾値Tｈを求め、上記差分ベクトルのノルム||Δ^T ₀||との大小関係を判断し、その結果を代替部304へ転送する。

代替部304は、制御部119の制御に基づき、差分ベクトル算出部300からベクトル信号V^T ₀を、比較部302から閾値Thとの比較結果を読み込み、(13)式に基づきノイズ成分N^T ₀を求め、ノイズ低減部112へ転送する。なお、(15)式に基づいて、ノイズ成分N^T ₀を求めるようにしてもよい。

上記構成により、撮像系から時系列的に取り込まれた映像信号をベクトル化してノイズ低減処理を行うにあたり、現在のベクトル信号に対応するノイズ低減処理がなされた時系列的に過去のベクトル信号を帰還させ、現在のベクトル信号およびノイズ低減処理がなされた過去のベクトル信号に基づきノイズ成分を推定し、ノイズ成分に基づきノイズ低減処理を行う映像処理装置が可能となる。ノイズ低減処理にコアリング処理を用いるため、ノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。

また、動き量に基づき差分ベクトル信号から動き成分とノイズ成分を分離するため、高精度なノイズ成分の算出が可能となる。動き成分と判断される場合に零ベクトル信号に置換する構成は、残像などの副作用の発生を低コストにて防止できる。一方、動き成分と判断される場合に上限値を設定する構成は、不連続性のない高品位な映像信号が得られる。

映像信号から輝度信号および色差信号を分離し、各々を構成成分とするベクトル信号にてノイズ低減処理を行うため、ランダムノイズを高精度に低減することができ、高品位な映像信号が得られる。また、多様な映像処理装置に適応することが可能となる。さらに、ノイズ低減処理後に、輝度信号および色差信号の形態へ戻すため、以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。

なお、本実施の形態においては、ノイズ低減処理を行う構成部分が撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。すなわち、第１の実施の形態で説明したように、図１２に示される形態と同様に、別体の撮像部で撮像された映像信号をメモリカードなどの記録媒体から読み出し、処理をする形態も可能である。

さらに、上述した第２の実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD500からの信号を未処理のままのRawデータとして、CCD500の色フィルタや制御部119からの撮像条件などの付随情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１８Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。なお、図１３Ａに示す第１の実施の形態における信号処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。

ステップS1では、映像信号および撮像素子の色フィルタ情報や撮影時の露光条件などのヘッダ情報を読み込んで、ステップS40に進む。ステップS40では、1フレーム信号のRawデータから偶数フィールド信号および奇数フィールド信号を順次抽出して、ステップS41に進む。ステップS41では、(16)式に示されるように、輝度信号と色差信号を分離し、色差信号に関しては公知の補間処理を行う。

ステップS3では、図１５（ｃ）に示されるように、注目領域および近傍領域から構成される領域を抽出して、ステップS4に進む。ステップS4では、図１５（ｄ）に示されるようなベクトル信号を導出して、ステップS5に進む。ステップS5では、過去の、本実施の形態では、２フィールド時間過去のノイズ低減処理がなされたベクトル信号を入力して、ステップS42に進む。

ステップS42では、領域のベクトル信号に関するノイズ成分を推定する。この処理は、後述する図１８Ｂのフローに従って実行される。

ステップS43では、領域のベクトル信号に関するノイズ低減処理を行う。この処理は、後述する図１８Ｃのフローに従って実行される。

ステップS8では、ノイズ低減処理後のベクトル信号を輝度信号と色差信号へ変換して、ステップS9に進む。ステップS9では、ノイズ低減処理後の輝度信号と色差信号を出力して、ステップS10に進む。

ステップS10では、１フレーム内の全ての領域についての処理が完了したか否かを判断し、完了していないと判断した場合はステップS3へ進み、完了したと判断した場合はステップS11へ進む。ステップS11では、公知の同時化処理、強調処理、階調処理、圧縮処理等を行い、ステップS12に進む。

ステップS12では、処理が完了したフレーム信号を出力して、ステップS44に進む。ステップS44では、全てのフィールド信号についての処理が完了したか否かを判断し、完了していないと判断した場合はステップS40へ進み、完了したと判定した場合は終了する。

図１８Ｂは、図１８ＡのステップS42において行われるノイズ推定処理に関するフローである。なお、図１３Ｂに示す第１の実施の形態におけるノイズ推定処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。

ステップS20では、ベクトル信号と２フィールド時間過去のノイズ低減処理がなされたベクトル信号から(19)式に示される差分ベクトルを算出して、ステップS21に進む。ステップS21では、差分ベクトルのノルムを算出して、ステップS50に進む。ステップS50では、ノイズ低減処理がなされていない現在のベクトル信号とノイズ低減処理がなされた過去のベクトル信号間で公知のブロックマッチングを行い、動き量を算出する。

ステップS23では、差分ベクトルのノルムと、動き量に補正係数を乗算することで求めた閾値とを比較し、差分ベクトルのノルムが閾値より大きい場合はステップS24へ進み、差分ベクトルのノルムが閾値以下の場合はステップS25へ進む。ステップS24では、差分ベクトルのノルムに零値を代入して、ステップS25に進む。ステップS25では、ノイズ成分として差分ベクトルのノルムを出力して終了する。

図１８Ｃは、図１８ＡのステップS43において行われるノイズ低減処理に関するフローである。なお、図１３Ｃに示す第１の実施の形態におけるノイズ低減処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。

ステップS60では、領域内の全ベクトル信号から、重心ベクトルに該当するベクトルを代表ベクトルとして算出して、ステップS30に進む。ステップS30では、推定されたノイズ成分を入力して、ステップS61に進む。ステップS61では、(18)式に示されるコアリング処理によりノイズ低減処理を行い、ステップS32に進む。ステップS32では、ノイズ低減処理後のベクトル信号を出力して終了する。

このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

−第３の実施の形態−
続いて、本発明の第３の実施の形態について説明する。

図１９は、第３の実施の形態の構成図である。本実施の形態は、図１に示す第１の実施の形態におけるCCD102がR_CCD800、G_CCD801、B_CCD802へ、ノイズ推定部115がノイズ推定部803へ置換された構成になっている。基本構成は、第１の実施の形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。

レンズ系100、絞り101を透過した光束は、プリズムによりRGBの３色に分けられ、R_CCD800、G_CCD801、B_CCD802に導かれる。R_CCD800、G_CCD801、B_CCD802はそれぞれ、増幅器104へ接続されている。ノイズ低減部112および過去ベクトル信号抽出部114は、ノイズ推定部803へ接続されている。ノイズ推定部803は、ノイズ低減部112へ接続されている。制御部119は、ノイズ推定部803と双方向に接続されている。また、温度センサ103は、G_CCD801の近傍に配置されている。

続いて、信号処理の内容について説明する。基本的に第１の実施の形態と同等であるので、異なる部分のみ説明する。

図１９を参照しながら、映像信号の流れを説明する。外部I/F部120を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、R_CCD800、G_CCD801、B_CCD802を介して撮影されたRGB三板の映像信号は、アナログ信号として所定時間間隔で連続的に出力される。本実施の形態においては、上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定するが、1/30秒に限定されることはない。

上記アナログ信号は増幅器104にて増幅され、A/Dコンバータ105にてデジタル信号へ変換され、バッファ106へ転送される。色信号分離部111は、制御部119の制御に基づき、以後のノイズ低減処理の対象となる所定サイズの領域をバッファ106内のフレーム信号から順次抽出し、所定の色信号（本実施の形態においては、R,G,Bの色信号）へ分離した後に、ノイズ低減部112へ転送する。

ノイズ低減部112は、制御部119の制御に基づき、上記領域の色信号からベクトル信号を導出し、後述するノイズ推定部803からのノイズ成分に基づき、巡回型のノイズ低減処理を行う。ノイズ低減処理がなされたベクトル信号は、バッファ113へ転送され順次記録される。また、上記領域から導出された、ノイズ低減処理がなされていないベクトル信号は、ノイズ推定部803へ転送される。

バッファ113は、１フレーム信号分のベクトル信号を記録可能で、撮影にともない順次上書きされることになる。過去ベクトル信号抽出部114は、制御部119の制御に基づき、色信号分離部111にて現在のフレーム信号から抽出した領域に対応する１フレーム時間過去のノイズ低減処理がなされたベクトル信号をバッファ113から抽出して、ノイズ推定部803へ転送する。

ノイズ推定部803は、制御部119の制御に基づき、ノイズ低減部112からのノイズ低減処理がなされていない現在のベクトル信号および過去ベクトル信号抽出部114からのノイズ低減処理がなされた過去のベクトル信号に基づき、現在のベクトル信号に関するノイズ成分を推定する。推定されたノイズ成分は、ノイズ低減部112へ転送される。

なお、上記色信号分離部111、ノイズ低減部112、過去ベクトル信号抽出部114、ノイズ推定部803における処理は、制御部119の制御に基づき、上記の領域単位で同期して行われる。

スカラー化部116は、制御部119の制御に基づき、１フレーム信号のノイズ低減処理が完了した後に、ノイズ低減処理がなされたベクトル信号をバッファ113から順次読み込み、撮像素子本来の色信号（本実施の形態においてはR,G,Bの色信号）へ変換し、信号処理部117へ転送する。

信号処理部117は、制御部119の制御に基づき、ノイズ低減後のフレーム信号に対して、公知の強調処理、階調処理、圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリカードなどの記録媒体へフレーム信号を順次記録保存する。

図２０（ａ）および図２０（ｂ）は、三板型撮像素子における領域およびベクトル化に関する説明図である。図２０（ａ）は、本実施の形態における処理対象領域の構成を示す。本実施の形態において、R、G、Bの３信号の領域は、1×1画素サイズを想定する。この場合、ノイズ低減処理の対象となる画素はR₂₂、G₂₂、B₂₂の３画素となる。上記1×1画素の領域は、色信号分離部111にて重複することなくフレーム信号から順次抽出される。

この後、ノイズ低減部112にて、図２０（ｂ）に示されるように、領域のベクトル信号V₀が導出される。本実施の形態においては、領域のベクトル信号V₀は、(20)式で示される３次元の要素からなる。

図２１は、ノイズ推定部803の構成の一例を示すもので、図１０に示すノイズ推定部115の構成において、ゲイン算出部900、パラメータ用ROM901、標準値付与部902、パラメータ選択部903、補間部904、補正部905が追加され、閾値記録部303が省略された構成になっている。基本構成は図１０に示すノイズ推定部115と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。

ノルム算出部301、ゲイン算出部900、パラメータ用ROM901、標準値付与部902は、パラメータ選択部903へ接続されている。パラメータ選択部903は、補間部904および補正部905へ接続されている。補間部904は補正部905へ、補正部905は比較部302へ接続されている。制御部119は、ゲイン算出部900、標準値付与部902、パラメータ選択部903、補間部904、補正部905と双方向に接続されている。

差分ベクトル算出部300は、制御部119の制御に基づき、差分ベクトル信号Δ^T ₀を算出する。差分ベクトル信号Δ^T ₀は、ノルム算出部301および代替部304へ転送される。ノルム算出部301は、制御部119の制御に基づき、差分ベクトル信号Δ^T ₀のノルム||Δ^T ₀||を算出し、比較部302およびパラメータ選択部903へ転送する。

ゲイン算出部900は、制御部119から転送されるISO感度および露光条件に関する情報に基づき、増幅器104における増幅量を求め、パラメータ選択部903へ転送する。また、制御部119は、温度センサ103からG_CCD801の温度情報を得て、これをパラメータ選択部903へ転送する。

パラメータ選択部903は、ノルム算出部301から差分ベクトル信号のノルム||Δ^T ₀||、ゲイン算出部900からのゲインの情報、制御部119からの温度情報に基づき、注目領域のベクトル信号のノイズ成分N^T ₀を推定する。

図２２（ａ）〜図２２（ｃ）は、ノイズ量の推定に関する説明図である。図２２（ａ）は、ベクトル信号のノルム||V||に対するノイズ量Nをプロットしたもので、ノルムに対して２次曲線的に増加している。図２２（ａ）を２次関数でモデル化すると(21)式が得られる。ただし、(21)式において、α、β、γはそれぞれ定数項である。

しかしながら、ノイズ量はノルムだけではなく、撮像素子の温度や映像信号に対するゲインによっても変化する。図２２（ａ）は、一例としてゲインに関連する３種類のISO感度100、200、400に対するノイズ量をプロットしている。個々の曲線は、(21)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。また、同様に撮像素子の温度によっても変化する。ゲインをg、撮像素子の温度をtとし、上記を考慮した形でモデルの定式化を行うと、(22)式が得られる。

(22)式において、α_gt、β_gt、γ_gtはそれぞれ、ゲインｇおよび撮像素子の温度ｔに応じた定数項である。

ここで、(22)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図２２（ｂ）に示すようなモデルの簡略化を行う。図２２（ｂ）においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、ノルム||V||とノイズ量Nからなる座標データ(||V||_n, N_n)で表す。ここで、nは変曲点の数を示す。

また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数k_gtも用意される。補正係数k_gtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、基準ノイズモデルに、上記補正係数k_gtを乗算することで行われる。

図２２（ｃ）は、図２２（ｂ）に示す簡略化されたノイズモデルからノイズ量を算出する方法を示す図である。例えば、ノルム||v||、ゲインg、温度tに対応するノイズ量Nを求めることを想定する。

まず、ノルム||v||が基準ノイズモデルのどの区間に属するかを探索する。ここでは、(||V||_n, N_n)と(||V||_n+1, N_n+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量N_vを線形補間にて求める。

次に、(24)式のように、求めたノイズ量N_vに、補正係数k_gtを乗算することで、ノイズ量Nを求める。

上記ベクトル信号のノルムに関する基準ノイズモデルの変曲点の座標データ(||V||_n, N_n)および補正係数k_gtはパラメータ用ROM901に記録される。パラメータ選択部903は、ノルム算出部301からの差分ベクトル信号のノルム||Δ^T ₀||を、ゲイン算出部900からのゲイン情報からゲインgを、制御部119からの温度情報から温度tを設定する。次に、ノルム||Δ^T ₀||が属する区間の座標データ(||V||_n, N_n)と(||V||_n+1, N_n+1)をパラメータ用ROM901から探索し、これを補間部904へ転送する。さらに、補正係数k_gtをパラメータ用ROM901から探索し、これを補正部905へ転送する。

補間部904は、制御部119の制御に基づき、パラメータ選択部903からのノルム||Δ^T ₀||および区間の座標データ(||V||_n, N_n)と(||V||_n+1, N_n+1)から、(23)式に基づき基準ノイズモデルにおける基準ノイズ量N_vを算出し、補正部905へ転送する。補正部905は、制御部119の制御に基づき、パラメータ選択部903からの補正係数k_gtおよび補間部904からの基準ノイズ量N_vから、(24)式に基づきノイズ量Nを算出する。算出されたノイズ量Nは、閾値Thとして比較部302へ転送される。

なお、温度t、ゲインgなどの情報は撮影ごとに求める必要はない。任意の情報を標準値付与部902に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。

比較部302は、制御部119の制御に基づき、ノルム算出部301からノルム||Δ^T ₀||を、補正部905から閾値Thをそれぞれ読み込む。この後、差分ベクトルのノルム||Δ^T ₀||と閾値Thの大小関係を判断し、その結果を代替部304へ転送する。代替部304は、制御部119の制御に基づき、差分ベクトル算出部300からベクトル信号V^T ₀を、比較部302から閾値Thとの比較結果を読み込み、(13)式に基づき、ノイズ成分N^T ₀を求める。

なお、上述した第３の実施形態では、閾値Thに対応するノイズ量をノイズモデルを用いて補間演算にて算出し、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合にノイズ成分N^T ₀を零とする構成となっていたが、このような構成に限定される必要はない。例えば、ルックアップテーブルを用いて閾値Thを求める構成や、差分ベクトル信号のノルム||Δ^T ₀||が閾値Thより大きい場合に、ノイズ成分N^T ₀に上限値を設定する構成も可能である。

図２３は、ノイズ推定部803の別構成の一例を示すもので、図２１に示すノイズ推定部803の構成において、ノイズテーブル部906が追加され、パラメータ用ROM901、パラメータ選択部903、補間部904、補正部905が省略され、代替部304を上限値設定部306へ置換した構成となっている。基本構成は、図２１に示すノイズ推定部803と同等であるため、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。

ノルム算出部301、ゲイン算出部900、標準値付与部902は、ノイズテーブル部906へ接続されている。ノイズテーブル部906は、比較部302へ接続されている。比較部302は、上限値設定部306へ接続されている。上限値設定部306は、ノイズ低減部112へ接続されている。制御部119は、ノイズテーブル部906、上限値設定部306と双方向に接続されている。

ノイズテーブル部906は、制御部119の制御に基づき、ノルム算出部301から差分ベクトル信号Δ^T ₀のノルム||Δ^T ₀||を読み込む。ゲイン算出部900は、制御部119から転送されるISO感度および露光条件に関する情報に基づき、増幅器104における増幅量を求め、ノイズテーブル部906へ転送する。また、制御部119は、温度センサ103からG_CCD801の温度情報を得て、これをノイズテーブル部906へ転送する。

ノイズテーブル部906は、ベクトル信号のノルム、映像信号に関するゲイン、および、撮像素子の温度とベクトル信号のノイズ量との関係を記録したルックアップテーブルを有している。このルックアップテーブルは、(22)式に基づき構築されている。

ノイズテーブル部906は、ノルム算出部301からの差分ベクトル信号Δ^T ₀のノルム||Δ^T ₀||，ゲイン算出部900からのゲインの情報，制御部119からの温度情報に基づいて、ルックアップテーブルを参照することによりノイズ量Nを求める。ノイズテーブル部906で求められたノイズ量Nは、閾値Thとして比較部302へ転送される。

上限値設定部306は、制御部119の制御に基づき、差分ベクトル算出部300から差分ベクトル信号Δ^T ₀を、比較部302から閾値Thとの比較結果を読み込み、(15)式に基づきノイズ成分N^T ₀を求める。ノイズ成分N^T ₀は、ノイズ低減部112へ転送される。

上記構成により、撮像系から時系列的に取り込まれた映像信号をベクトル化してノイズ低減処理を行うにあたり、現在のベクトル信号に対応するノイズ低減処理がなされた時系列的に過去のベクトル信号を帰還させ、現在のベクトル信号およびノイズ低減処理がなされた過去のベクトル信号に基づきノイズ成分を推定し、ノイズ成分に基づきノイズ低減処理を行う映像処理装置が可能となる。この結果、高精度かつ安定的なノイズ低減が可能となる。

ベクトル信号に関するノイズ量を撮影ごとに異なる条件に動的に適応しながら算出し、差分ベクトル信号をノイズ量と比較することで補正を行う構成のため、差分ベクトル信号から動き成分とノイズ成分を分離することにより、高精度なノイズ成分の算出が可能となる。また、ノイズ量の算出に補間演算を用いているが、補間演算は実装が容易であり、映像処理装置の低コスト化が可能となる。

また、ノイズモデルに基づくノイズ量推定は調整に要するパラメータがないため、制御の簡略化を可能とする。一方、ノイズ量の算出にルックアップテーブルを用いる構成は、高速なノイズ量の推定が可能となる。

動き成分と判断される場合に零ベクトル信号に置換する構成は、残像などの副作用の発生を低コストにて防止できる。一方、動き成分と判断される場合に上限値を設定する構成は、不連続性のない高品位な映像信号が得られる。

映像信号から色信号を分離し、各々を構成成分とするベクトル信号にてノイズ低減処理を行うため、ランダムノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理後のベクトル信号を撮像素子本来の色信号の形態へ戻すため、後段の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。

なお、本実施の形態においては、撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施の形態で説明した図１２に示される形態と同様に、別体の撮像部で撮像された映像信号をメモリカードなどの記録媒体から読み出し、処理をする形態も可能である。

さらに、上述した第３の実施の形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、R_CCD800、G_CCD801、B_CCD802からの信号を未処理のままのRawデータとして、制御部119からの撮像条件などの付随情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図２４Ａは、上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。なお、図１３Ａに示す第１の実施の形態における信号処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。

ステップS1では、映像信号および撮影時の露光条件などのヘッダ情報を読み込んで、ステップS2に進む。ステップS2では、映像信号から順次フレーム信号を抽出して、ステップS3に進む。ステップS3では、図２０（ａ）に示されるように、所定サイズの領域を抽出して、ステップS4に進む。

ステップS4では、図２０（ｂ）に示されるようなベクトル信号を導出して、ステップS5に進む。ステップS5では、過去の、本実施の形態では１フレーム時間過去のノイズ低減処理がなされたベクトル信号を入力して、ステップS70に進む。

ステップS70では、領域のベクトル信号に関するノイズ成分を推定する。この処理は、後述する図２４Ｂのフローに従って実行される。

ステップS7では、ベクトル信号からノイズ成分を減算することでノイズ低減処理を行う。このノイズ低減処理は、図１３Ｃに示すフローで行われる処理と同一である。ステップS8では、ノイズ低減処理後のベクトル信号を撮像素子本来の色信号へ変換して、ステップS9に進む。ステップS9では、ノイズ低減処理後の各色信号を出力して、ステップS10に進む。

ステップS10では、１フレーム内の全ての領域についての処理が完了したか否かを判断し、完了していないと判断した場合はステップS3へ進み、完了したと判断した場合はステップS11へ進む。ステップS11では、公知の強調処理、階調処理、圧縮処理等を行い、ステップS12に進む。ステップS12では、処理が完了したフレーム信号を出力して、ステップS13に進む。

ステップS13では、全てのフレーム信号についての処理が完了したかを判断し、完了していないと判断した場合はステップS2へ進み、完了したと判断した場合は終了する。

図２４Ｂは、図２４ＡのステップS70において行われるノイズ推定処理に関するフローである。なお、図１３Ｂに示す第１の実施の形態におけるノイズ推定処理のフローと同一の処理を行うステップに関しては、同一のステップ番号を割り当てている。以下、各ステップの処理について説明する。

ステップS20では、ベクトル信号と、１フレーム時間過去のノイズ低減処理がなされたベクトル信号から差分ベクトル信号を算出して、ステップS21に進む。ステップS21では、差分ベクトル信号のノルムを算出して、ステップS80に進む。ステップS80では、読み込まれたヘッダ情報から、ゲインなどのパラメータを求める。もし、ヘッダ情報に必要なパラメータが存在しない場合は、所定の標準値を割り当てる。

ステップS81では、図２２（ｂ）に示されるような基準ノイズモデルの座標データおよび補正係数を読み込んで、ステップS82に進む。ステップS82では、差分ベクトル信号のノルムが属する区間の座標データを選択して、ステップS83に進む。ステップS83では、(23)式に示される補間処理にて基準ノイズ量を求める。

ステップS84では、(24)式に示される補正処理にてノイズ量を求めて、ステップS85に進む。ステップS85では、差分ベクトル信号のノルムとノイズ量（閾値）とを比較し、差分ベクトル信号のノルムがノイズ量より大きい場合はステップS24へ進み、差分ベクトル信号のノルムがノイズ量以下の場合はステップS25へ進む。

ステップS24では、差分ベクトル信号のノルムに零値を代入して、ステップS25に進む。ステップS25では、ノイズ成分として差分ベクトル信号のノルムを出力して終了する。

このように、信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

以上、本発明の各実施の形態について説明したが、上記実施の形態は、本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施の形態の具体的構成に限定する趣旨ではない。また、第１の実施の形態、第２の実施の形態、第３の実施の形態でそれぞれ説明した構成の一部を適宜組み合わせて、別の構成とすることもできる。

第１の実施の形態の構成図である。 ベイヤー型原色フィルタの配置およびベクトル化に関する説明図である。 色差線順次型補色フィルタの配置およびベクトル化に関する説明図である。 ノイズ低減部の構成図である。 別構成の色フィルタの配置およびベクトル化に関する説明図である。 別構成のノイズ低減部の構成図である。 重み係数の算出方法を説明するための図である。 別構成のノイズ低減部の構成図である。 重み係数の別の算出方法を説明するための図である。 ノイズ推定部の構成図である。 別構成のノイズ推定部の構成図である。 別構成の第１の実施の形態の構成図である。 第１の実施の形態における信号処理のフローのうち、全体処理のフローである。 信号処理のフローのうち、ノイズ推定処理のフローである。 信号処理のフローのうち、ノイズ低減処理のフローである。 第２の実施の形態の構成図である。 第２の実施の形態における色フィルタの配置およびベクトル化に関する説明図である。 第２の実施の形態におけるノイズ低減部の構成図である。 第２の実施の形態におけるノイズ推定部の構成図である。 第２の実施の形態における信号処理のフローのうち、全体処理のフローである。 信号処理のフローのうち、ノイズ推定処理のフローである。 信号処理のフローのうち、ノイズ低減処理のフローである。 第３の実施の形態の構成図である。 第３の実施の形態におけるノイズ処理領域およびベクトル化に関する説明図である。 第３の実施の形態におけるノイズ推定部の構成図である。 ノイズ量の推定に関する説明図である。 別構成のノイズ推定部の構成図である。 第３の実施の形態における信号処理のフローのうち、全体処理のフローである。 信号処理のフローのうち、ノイズ推定処理のフローである。

符号の説明

112,502 ノイズ低減部
114 過去ベクトル信号抽出部
115,503,803 ノイズ推定部

Claims (35)

1. 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
   前記映像信号のうち現在の映像信号から、ノイズ低減処理の対象となる領域のベクトル信号である現在のベクトル信号を順次導出してノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減手段によってノイズ低減処理が行われた時系列的に過去の映像信号から、前記現在のベクトル信号に対応する過去のベクトル信号を抽出する過去ベクトル信号抽出手段と、
   前記現在のベクトル信号および前記過去ベクトル信号抽出手段によって抽出されたノイズ低減処理後の過去のベクトル信号に基づいて、前記現在のベクトル信号のノイズ成分を推定するノイズ推定手段とを備え、
   前記ノイズ低減手段は、前記ノイズ推定手段によって推定されたノイズ成分に基づいて、前記ノイズ低減処理を行うことを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、
   前記ノイズ低減手段は、
   前記現在の映像信号から、ノイズ低減処理の対象となる領域を順次抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された領域から、複数の信号を構成成分とするベクトル信号を導出するベクトル化手段と、
   前記ベクトル化手段によって導出されたベクトル信号から、前記ノイズ推定手段によって推定されたノイズ成分を減算する減算手段とを備えることを特徴とする映像処理装置。
3. 請求項１に記載の映像処理装置において、
   前記ノイズ低減手段は、
   前記現在の映像信号から、ノイズ低減処理の対象となる注目領域および注目領域近傍に位置する少なくとも１つ以上の近傍領域からなる領域を順次抽出する領域抽出手段と、
   前記注目領域および前記近傍領域ごとに、複数の信号を構成成分とするベクトル信号を導出するベクトル化手段と、
   前記ベクトル化手段によって導出された注目領域のベクトル信号および前記ノイズ推定手段によって推定されたノイズ成分に基づいて、前記領域内の各ベクトル信号に関する重み係数を設定する重み係数設定手段と、
   前記領域内のベクトル信号に対して、前記重み係数設定手段によって設定された重み係数を用いたフィルタリング処理を行うフィルタリング手段とを備えることを特徴とする映像処理装置。
4. 請求項３に記載の映像処理装置において、
   前記重み係数設定手段は、
   前記注目領域のベクトル信号のノルムおよび前記ノイズ推定手段によって推定されたノイズ成分に基づいて、前記重み係数の算出に用いる関数の定数項を算出する定数算出手段と、
   前記領域内のベクトル信号のノルムおよび前記定数算出手段によって算出された定数項を設定した関数に基づいて、前記領域内の各ベクトル信号の重み係数を算出する重み係数算出手段とを備えることを特徴とする映像処理装置。
5. 請求項３または請求項４に記載の映像処理装置において、
   前記フィルタリング手段は、
   前記領域内の各ベクトル信号に対して、他のベクトル信号間との測度値に前記重み係数を乗算した総和を算出する重み測度値算出手段と、
   前記測度値の総和から最小値を探索する最小値探索手段と、
   前記最小値探索手段によって探索された最少の測度値の総和に対応するベクトル信号と、前記注目領域のベクトル信号を所定の重み係数で重み付き加算平均して得られたベクトル信号を前記注目領域のベクトル信号とする平均化手段とを備えることを特徴とする映像処理装置。
6. 請求項３または請求項４に記載の映像処理装置において、
   前記フィルタリング手段は、
   前記領域内の各ベクトル信号に対して、他のベクトル信号間との測度値に前記重み係数を乗算した総和を算出する重み測度値算出手段と、
   前記測度値の総和から最小値を探索する最小値探索手段と、
   前記最小値探索手段によって探索された最少の測度値の総和に対応するベクトル信号を前記注目領域のベクトル信号とする置換手段とを備えることを特徴とする映像処理装置。
7. 請求項１に記載の映像処理装置において、
   前記ノイズ低減手段は、
   前記現在の映像信号から、ノイズ低減処理の対象となる注目領域および注目領域近傍に位置する少なくとも１つ以上の近傍領域からなる領域を順次抽出する領域抽出手段と、
   前記注目領域および前記近傍領域ごとに、複数の信号を構成成分とするベクトル信号を導出するベクトル化手段と、
   前記領域内の各ベクトル信号から代表ベクトルを算出する代表ベクトル算出手段と、
   前記代表ベクトル算出手段によって算出された代表ベクトルおよび前記ノイズ推定手段によって推定されたノイズ成分に基づいて、前記注目領域のベクトル信号に対してコアリング処理を行うコアリング手段とを備えることを特徴とする映像処理装置。
8. 請求項１から請求項７のいずれか一項に記載の映像処理装置において、
   前記ノイズ推定手段は、
   前記現在のベクトル信号および前記ノイズ低減手段によってノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出手段と、
   前記差分ベクトル算出手段によって算出された差分ベクトル信号のノルムを所定の閾値と比較する比較手段と、
   前記比較手段による比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出手段とを備えることを特徴とする映像処理装置。
9. 請求項１から請求項７のいずれか一項に記載の映像処理装置において、
   前記ノイズ推定手段は、
   前記現在のベクトル信号および前記ノイズ低減手段によってノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出手段と、
   前記差分ベクトル算出手段によって算出された差分ベクトル信号のノルムを入力として所定の関数に基づいて、ノイズ判定のための閾値を出力する閾値出力手段と、
   前記差分ベクトル算出手段によって算出された差分ベクトル信号のノルムを前記閾値出力手段によって出力された閾値と比較する比較手段と、
   前記比較手段による比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出手段とを備えることを特徴とする映像処理装置。
10. 請求項８または請求項９に記載の映像処理装置において、
    前記ノイズ成分算出手段は、前記差分ベクトル信号のノルムが前記閾値より大きい場合に、零ベクトル信号を前記ノイズ成分とする代替手段を備えることを特徴とする映像処理装置。
11. 請求項８または請求項９に記載の映像処理装置において、
    前記ノイズ成分算出手段は、前記差分ベクトル信号のノルムが前記閾値より大きい場合に、前記差分ベクトル信号に所定の上限値を設定して前記ノイズ成分とする上限値設定手段を備えることを特徴とする映像処理装置。
12. 請求項１から請求項７のいずれか一項に記載の映像処理装置において、
    前記ノイズ推定手段は、
    前記現在のベクトル信号および前記ノイズ低減手段によってノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出手段と、
    前記領域の動き量を算出する動き量算出手段と、
    前記差分ベクトル算出手段によって算出された差分ベクトル信号のノルムを前記動き量と比較する比較手段と、
    前記比較手段による比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出手段とを備えることを特徴とする映像処理装置。
13. 請求項１２に記載の映像処理装置において、
    前記ノイズ成分算出手段は、
    前記差分ベクトル信号のノルムが前記動き量より大きい場合に、零ベクトル信号を前記ノイズ成分とする代替手段を備えることを特徴とする映像処理装置。
14. 請求項１から請求項７のいずれか一項に記載の映像処理装置において、
    前記ノイズ推定手段は、
    前記現在のベクトル信号および前記ノイズ低減手段によってノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出手段と、
    前記現在のベクトル信号のノルムに基づいて、前記現在のベクトル信号のノイズ量を推定するノイズ量推定手段と、
    前記差分ベクトル算出手段によって算出された差分ベクトル信号のノルムを前記ノイズ量推定手段によって推定されたノイズ量と比較する比較手段と、
    前記比較手段による比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出手段とを備えることを特徴とする映像処理装置。
15. 請求項１４に記載の映像処理装置において、
    前記ノイズ量推定手段は、
    前記撮像系の温度および前記映像信号に対するゲインに関する情報を収集する収集手段と、
    前記収集手段で得られない情報に関して標準値を付与する付与手段とを備え、
    前記収集手段または前記付与手段からの情報、および、前記注目領域のベクトル信号のノルムに基づいて、前記ベクトル信号のノイズ量を推定することを特徴とする映像処理装置。
16. 請求項１４に記載の映像処理装置において、
    前記ノイズ量推定手段は、
    前記撮像系の温度および前記映像信号に対するゲインに関する情報を収集する収集手段と、
    前記収集手段で得られない情報に関して標準値を付与する付与手段と、
    前記収集手段または前記付与手段からの情報、および、前記注目領域のベクトル信号のノルムに基づいて、ベクトル信号のノイズ量を出力するベクトルノイズテーブル手段とを備えることを特徴とする映像処理装置。
17. 請求項１４から請求項１６のいずれか一項に記載の映像処理装置において、
    前記ノイズ成分算出手段は、前記差分ベクトル信号のノルムが前記ノイズ量より大きい場合に、零ベクトル信号を前記ノイズ成分とする代替手段を備えることを特徴とする映像処理装置。
18. 請求項１４から請求項１６のいずれか一項に記載の映像処理装置において、
    前記ノイズ成分算出手段は、前記差分ベクトル信号のノルムが前記ノイズ量より大きい場合に、前記差分ベクトル信号に上限値を設定して前記ノイズ成分とする上限値設定手段を備えることを特徴とする映像処理装置。
19. 請求項１から請求項１８のいずれか一項に記載の映像処理装置において、
    前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であって、
    前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段をさらに備えることを特徴とする映像処理装置。
20. 請求項１から請求項１８のいずれか一項に記載の映像処理装置において、
    前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であって、
    前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段をさらに備えることを特徴とする映像処理装置。
21. 請求項１９または請求項２０に記載の映像処理装置において、
    前記撮像素子は、ベイヤ-型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする映像処理装置。
22. 請求項１９に記載の映像処理装置において、
    前記ノイズ低減手段によるノイズ低減処理後のベクトル信号から、前記複数の色信号を導出するスカラー化手段をさらに備えることを特徴とする映像処理装置。
23. 請求項２０に記載の映像処理装置において、
    前記ノイズ低減手段によるノイズ低減処理後のベクトル信号から、前記輝度信号および前記色差信号を導出するスカラー化手段をさらに備えることを特徴とする映像処理装置。
24. 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
    前記映像信号のうち現在の映像信号から、ノイズ低減処理の対象となる領域のベクトル信号である現在のベクトル信号を順次導出してノイズ低減処理を行うノイズ低減ステップと、
    前記ノイズ低減処理が行われた時系列的に過去の映像信号から、前記現在のベクトル信号に対応する過去のベクトル信号を抽出する抽出ステップと、
    前記現在のベクトル信号および前記ノイズ低減処理後の過去のベクトル信号に基づいて、前記現在のベクトル信号のノイズ成分を推定するノイズ推定ステップとを備え、
    前記ノイズ低減ステップは、推定されたノイズ成分に基づいて、前記ノイズ低減処理を行うことを特徴とする映像処理プログラム。
25. 請求項２４に記載の映像処理プログラムにおいて、
    前記ノイズ低減ステップは、
    前記現在の映像信号から、ノイズ低減処理の対象となる領域を順次抽出する領域抽出ステップと、
    抽出された領域から、複数の信号を構成成分とするベクトル信号を導出するベクトル化ステップと、
    導出されたベクトル信号から、推定されたノイズ成分を減算する減算ステップとを備えることを特徴とする映像処理プログラム。
26. 請求項２４に記載の映像処理プログラムにおいて、
    前記ノイズ低減ステップは、
    前記現在の映像信号から、ノイズ低減処理の対象となる注目領域および注目領域近傍に位置する少なくとも１つ以上の近傍領域からなる領域を順次抽出する領域抽出ステップと、
    前記注目領域および前記近傍領域ごとに、複数の信号を構成成分とするベクトル信号を導出するベクトル化ステップと、
    導出された注目領域のベクトル信号および推定されたノイズ成分に基づいて、前記領域内の各ベクトル信号に関する重み係数を設定する重み係数設定ステップと、
    前記領域内のベクトル信号に対して、設定された重み係数を用いたフィルタリング処理を行うフィルタリングステップとを備えることを特徴とする映像処理プログラム。
27. 請求項２４に記載の映像処理プログラムにおいて、
    前記ノイズ低減ステップは、
    前記現在の映像信号から、ノイズ低減処理の対象となる注目領域および注目領域近傍に位置する少なくとも１つ以上の近傍領域からなる領域を順次抽出する領域抽出ステップと、
    前記注目領域および前記近傍領域ごとに、複数の信号を構成成分とするベクトル信号を導出するベクトル化ステップと、
    前記領域内の各ベクトル信号から代表ベクトルを算出する代表ベクトル算出ステップと、
    前記代表ベクトルおよび前記推定されたノイズ成分に基づいて、前記注目領域のベクトル信号に対してコアリング処理を行うコアリングステップとを備えることを特徴とする映像処理プログラム。
28. 請求項２４から請求項２７のいずれか一項に記載の映像処理プログラムにおいて、
    前記ノイズ推定ステップは、
    前記現在のベクトル信号および前記ノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出ステップと、
    前記差分ベクトル信号のノルムを所定の閾値と比較する比較ステップと、
    前記差分ベクトル信号のノルムおよび前記所定の閾値の比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出ステップとを備えることを特徴とする映像処理プログラム。
29. 請求項２４から請求項２７のいずれか一項に記載の映像処理プログラムにおいて、
    前記ノイズ推定ステップは、
    前記現在のベクトル信号および前記ノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出ステップと、
    前記差分ベクトル信号のノルムを入力として所定の関数に基づいて、ノイズ判定のための閾値を出力する閾値出力ステップと、
    前記差分ベクトル信号のノルムを前記閾値と比較する比較ステップと、
    前記前記差分ベクトル信号のノルムおよび前記閾値の比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出ステップとを備えることを特徴とする映像処理プログラム。
30. 請求項２４から請求項２７のいずれか一項に記載の映像処理プログラムにおいて、
    前記ノイズ推定ステップは、
    前記現在のベクトル信号および前記ノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出ステップと、
    前記領域の動き量を算出する動き量算出ステップと、
    前記差分ベクトル信号のノルムを前記動き量と比較する比較ステップと、
    前記差分ベクトル信号のノルムおよび前記動き量の比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出ステップとを備えることを特徴とする映像処理プログラム。
31. 請求項２４から請求項２７のいずれか一項に記載の映像処理プログラムにおいて、
    前記ノイズ推定ステップは、
    前記現在のベクトル信号および前記ノイズ低減処理が行われた過去のベクトル信号間から差分ベクトル信号を算出する差分ベクトル算出ステップと、
    前記現在のベクトル信号のノルムに基づいて、前記現在のベクトル信号のノイズ量を推定するノイズ量推定ステップと、
    前記差分ベクトル信号のノルムを前記ノイズ量と比較する比較ステップと、
    前記差分ベクトル信号のノルムおよび前記ノイズ量の比較結果に基づいて前記差分ベクトル信号を補正することにより、前記ノイズ成分を算出するノイズ成分算出ステップとを備えることを特徴とする映像処理プログラム。
32. 請求項２４から請求項３１のいずれか一項に記載の映像処理プログラムにおいて、
    前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であって、
    前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離ステップをさらに備えることを特徴とする映像処理プログラム。
33. 請求項２４から請求項３１のいずれか一項に記載の映像処理プログラムにおいて、
    前記撮像系は色フィルタを前面に配置した撮像素子を使用する撮像系であって、
    前記映像信号から輝度信号および色差信号を分離する輝度色差分離ステップをさらに備えることを特徴とする映像処理プログラム。
34. 請求項３２に記載の映像処理プログラムにおいて、
    前記ノイズ低減ステップによるノイズ低減処理後のベクトル信号から、前記複数の色信号を導出するスカラー化ステップをさらに備えることを特徴とする映像処理プログラム。
35. 請求項３３に記載の映像処理プログラムにおいて、
    前記ノイズ低減処理後のベクトル信号から、前記輝度信号および前記色差信号を導出するスカラー化ステップをさらに備えることを特徴とする映像処理プログラム。

Images