JP2017050646A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 撮像された画像に残像が発生することを抑制する。
【解決手段】 第１の画素と第２の画素について、現フレームの映像信号Cur_in1、Cur_in2から、それ以前の過去のフレームの映像信号Mem_in1、Mem_in2によるフレーム画像を減算し差分信号Δ１、Δ２を求める。そして、差分信号Δ１から差分信号Δ２を減算して差分信号Δ１２を求め、この差分信号Δ１２に巡回係数Ｋを乗算し、これを、第１の画素の現フレームの映像信号Cur_in1から減算する。
【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像にフックまれるノイズを低減するために用いて好適なものである。

撮像系から得られる映像信号には、撮像素子に起因するノイズやその周辺の回路素子に起因するノイズ等が重畳される。このような撮像系から得られる映像信号に重畳されるノイズは、固定パターンノイズとランダムノイズの２種類のノイズに大別される。前者は、撮像素子の画素欠陥による画素アンプのばらつき等に起因する。後者は、撮像素子による暗電流やショットノイズ、および、回路素子から発するノイズ等に起因する。

以上のような映像信号に重畳されるノイズを除去または低減する方法としては、一次元のフィルタや二次元のフィルタによる処理等のノイズ除去処理が考えられる。一次元フィルタや二次元のフィルタによる処理としては、着目画素に隣接する画素の画素値によるフィルタ処理がある。尚、以下の説明では「ノイズ除去」を必要に応じて「ＮＲ」と称する（ＮＲは、Noise Reductionの略である）。

また、動画の映像信号のＮＲ処理、特に、時間と共に様々に変化するランダムノイズのＮＲ処理として、巡回型のＮＲ処理が用いられる。巡回型のＮＲ処理では、現在の映像信号と過去のフレームの映像信号との差分信号を求め、この差分信号に巡回係数を乗算した信号を現在の映像信号から差し引くことにより、ランダムノイズを除去する。

この巡回型のＮＲ処理においては、現在の映像信号に差し引くノイズ信号として、前述の差分信号に巡回係数を乗算した信号を用いる。従って、巡回係数を大きい値に設定すれば、ＮＲの効果も大きくなる。一方で、差分信号にはノイズ成分だけではなく、被写体のエッジの動き成分も含まれる。従って、なんら工夫もなく巡回型のＮＲ処理を行うと残像が生じる。そこで、ノイズ成分と動き成分との切り分け、すなわち、動き成分をいかに精度良く検出して、ノイズ成分と動き成分とを良好に判別して、ノイズ成分のみで巡回係数を決定できるかという課題がある。

そこで、特許文献１には、動き検出回路を設けた巡回型のノイズ低減装置が記載されている。この動き検出回路は、平滑回路と、差分回路と、動静判定回路とを有する。平滑回路は、映像信号の高周波ノイズを低減するための回路である。差分回路は、平滑回路からの出力信号とフレームメモリの出力信号との差分をとるための回路である。動静判定回路は、差分回路の出力信号と予め設定した信号レベル（閾値）とを比較することにより動きを判定するための回路である。この動静判定回路の判定の結果により、巡回係数の値を決めて巡回型ＮＲ処理を実施する。

特開平６−２２５１７８号公報

しかしながら、特許文献１に記載の技術では、動きの判定のための処理回路が必要であり、この処理回路の追加によるコストアップを招くという問題がある。また、特許文献１に記載の技術では、動きの判定のための閾値についても精度よく設定する必要があるが、どのような被写体（例えば、高速に動く被写体等）に対しても残像のない閾値を設定することは容易ではないという問題もあった。

また、特許文献１に記載の技術では、動きの判定用の映像信号として、現フレームとその１フレーム前のフレームによるフレームメモリの出力信号を用いる。これらのフレーム間の差分により動きを判定することから、１フレームの時間中に被写体が動いてしまった場合の動きの検出は不可能であり、高速に動く被写体に対しては未だ残像が生じるという問題がある。

また、特許文献１に記載の技術では、フレーム間の差分により動きを判定するので、２フレームの画像取得に少なくとも２フレーム分の処理時間を要することになる。そして、これら２フレームの映像信号を取得した後、減算処理を行って、これら２フレームの映像信号の差分を求めて動きを判定し、動きの判定の結果から巡回係数を導出して現フレームに対しノイズ低減処理を行う。このため、少なくとも４フレーム目からＮＲ処理済の画像が取得できるということになる。これらの処理時間は、画像処理装置のパフォーマンスに影響を及ぼす。このように特許文献１に記載の技術では、処理時間を短くすることが容易ではないという問題がある。

本発明は、以上の問題点に鑑みてなされたものであり、撮像された画像に残像が発生することを容易に且つ確実に抑制することを目的とする。

本発明の画像処理装置は、画像の第１の方向ごとに撮像条件の設定が可能な撮像手段により撮像された画像を処理する画像処理装置であって、前記撮像手段により撮像された現在のフレームの画像の第１の画素の画素信号および第２の画素の画素信号を用いて、前記第１の画素のノイズを低減する処理と、前記画像における被写体の動きを検出する処理との少なくとも何れか一方を行う処理手段を有し、前記第１の画素と前記第２の画素は、前記第１の方向と垂直な方向における位置が相互に異なる画素であり、前記第１の画素の画素信号と、前記第２の画素の画素信号は、異なる撮像条件で得られた画素信号であることを特徴とする。

本発明によれば、撮像された画像に残像が発生することを容易に且つ確実に抑制することができる。

デジタルカメラの構成を示す図である。 ＮＲ処理部の構成の第１の例を示す図である。 垂直ライン上の画素の配列を示す図である。 第１の画素から出力される映像信号を示す図である。 第２の画素から出力される映像信号を示す図である。 ＮＲ処理部の構成の第２の例を示す図である。 垂直ライン上の画素を示す図である。 ＮＲ処理部の構成の第３の例を示す図である。 被写体が静止・動いている場合の映像信号を説明する図である。 ＮＲ処理のパラメータを示す図である。 ＮＲ処理部の構成の第４の例を示す図である。

以下、図面を参照しながら、実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、撮像装置の一例としてのデジタルカメラの機能構成の一例を示すブロック図である。本実施形態においては、デジタルカメラ１００は、被写体に対し、静止画および動画を撮影することのできる機能を有する。
操作部１０１は、ユーザがデジタルカメラ１００に対して各種のコマンドを入力、設定するためのユーザーインタフェースである。例えば、操作部１０１は、入力デバイスとして、各種のコマンドを設定する機能を有するメカニカルなスイッチやボタンを有する。また、タッチパネル式の液晶ディスプレイ等の表示デバイスに、これらのスイッチやボタンと同様の機能を有するボタンを形成して表示させることにより操作部１０１を構成してもよい。操作部１０１は、例えば、電源のＯＮ／ＯＦＦ、撮影条件の設定・変更・確認、撮影済みの画像の確認等を行う際に使用される。

操作部１０１にはシャッタースイッチも含まれる。シャッタースイッチが半押し状態の場合には第１のシャッタースイッチＳＷ１として機能し、全押し状態の場合には第２のシャッタースイッチＳＷ２として機能していることが、システム制御部１０２に通知される。

シャッタースイッチが第１のシャッタースイッチＳＷ１として機能していることの通知により、システム制御部１０２に、後述するＡＦ処理やＡＥ処理等を開始することが指示される。一方で、シャッタースイッチが第２のシャッタースイッチＳＷ２として機能していることの通知により、システム制御部１０２に、一連の撮影処理動作を開始することが指示される。一連の撮影処理動作とは、撮像素子１０３からの画像信号の読み出し、読み出した画像信号のＡ／Ｄ変換、Ａ／Ｄ変換した画像信号の画像処理、画像処理した画像信号の記録フォーマットへの変換、および画像記録部１１２への画像データの記録等の処理を指す。

システム制御部１０２は、操作部１０１からの指示に応じてデジタルカメラ１００の各部の動作を制御する。システム制御部１０２は、ＣＰＵ、ＣＰＵが実行するプログラム等を記憶するＲＯＭ、およびプログラムの読み込み用の記憶領域やワークエリア用の記憶領域としてのＲＡＭ等を有する。システム制御部１０２は、画像処理部１０５から出力されるデジタル画像データから被写体の輝度レベルを算出し、撮影モードに応じて、シャッタースピード（露出時間）と、絞りとのうち、少なくとも一方を自動的に決定する自動露出制御（ＡＥ）処理を行う。

本実施形態のデジタルカメラ１００では、露出機構１０８ａが絞りの機能を有する。一方、露出を決める要素の一つであるシャッターは電子シャッターである。予め定められた時間（シャッタースピード（露出時間））で撮像素子１０３から画像信号が読み出されるように、システム制御部１０２による制御が実行される。

システム制御部１０２からＡＥ処理の結果の通知を受けたメカ駆動部１０８は、電子シャッターの制御による、絞りとシャッタースピードで露出機構１０８ａを動作させる。このようにすることで、レンズ１０７ａと撮像素子１０３との間の光路および光量を確保することができる。これにより、ＡＥ処理で求まる露出条件による被写体の撮像素子１０３への露光が可能になる。

また、システム制御部１０２は、レンズ駆動部１０７を用いてレンズ光学系１０７ａのフォーカスレンズを駆動させ、画像処理部１０５が出力するデジタル画像データのコントラストの変化を検出し、これに基づいて自動合焦制御（ＡＦ）処理を行う。

また、本実施形態の操作部１０１には、ズーム機能を実施するためのズームレバー（不図示）も設けられる。これにより、ズームレバーと連動するズームポジションまでレンズ光学系１０７ａのズームレンズの移動を指示する信号がシステム制御部１０２に通知される。システム制御部１０２は、この信号に基づいて、レンズ駆動部１０７を用いて、レンズ光学系１０７ａのズームレンズを所望のズームポジションになるまで移動させる。以上のレンズ光学系１０７ａの制御により、所望のズームポジションとなるレンズ配置による撮影を実現可能にする。

また、システム制御部１０２は、ＩＳＯ感度に応じたゲイン調整量をＡ／Ｄ変換部１０４へ通知する。ＩＳＯ感度は、ユーザが設定した固定のＩＳＯ感度であってもよいし、システム制御部１０２がＡＥ処理の結果に基づいて動的に設定したＩＳＯ感度であってもよい。ＩＳＯ感度の設定については、後述する。

さらに、システム制御部１０２は、フラッシュの設定や、ＡＥ処理の結果によるシャッタースピード（露出時間）等に応じて、本撮影時のフラッシュ部１１０の発光操作の要否を決定する。フラッシュの発光を決定した場合、システム制御部１０２は、ＥＦ処理部１０９にフラッシュの発光の実施を指示する。ＥＦ処理部１０９は、フラッシュの発光の実施の指示をシステム制御部１０２から受けると、フラッシュ部１１０を制御し、露出機構１０８ａのシャッターが開くタイミングでフラッシュ部１１０を発光させる。

本実施形態では、撮像素子１０３は、光電変換デバイスの一種の積層型ＣＭＯＳセンサを有する。撮像素子１０３は、レンズ１０７ａおよび露出機構１０８ａを介して結像する被写体光学像を画素単位のアナログ電気信号（アナログ画像データ）に変換する。
本実施形態では、撮像素子１０３の水平ラインごとに、撮像条件の一例として、シャッタースピード（露出時間）およびＩＳＯ感度ゲイン調整量（画素信号に対するゲインの設定）を変えられる積層型ＣＭＯＳセンサの機能を用いる。このように本実施形態では、水平ラインの方向が第１の方向になる。

このように積層型ＣＭＯＳセンサでは、相互に隣接するラインで、露出に関わるシャッタースピード（露出時間）とＩＳＯ感度ゲイン調整量を変えることができる。本実施形態では、積層型ＣＭＯＳセンサは、シャッタースピード（露出時間）とＩＳＯ感度ゲイン調整量として、１ラインおきに同一の設定値を設定して撮像することが可能な構成を有する。以上の機能を用いることにより、後述する本実施形態の巡回型のＮＲ処理を実現することができる。

尚、本実施形態では、撮像素子１０３が積層型のＣＭＯＳセンサを有する場合を例に挙げて説明する。しかしながら、撮像素子１０３は、必ずしも、積層型のＣＭＯＳセンサを有するものに限定されない。通常用いられている単層のＣＣＤセンサ、ＣＭＯＳセンサ等を撮像素子１０３が有していてもよい。すなわち、撮像素子１０３のラインごとに、露出時間とＩＳＯ感度ゲイン調整量を変えられる機能を有するセンサであれば、撮像素子１０３が有するセンサは、単層のセンサであってもよい。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、およびＡ／Ｄ変換等を行うことにより、デジタル画像データを生成して出力する。ゲイン（増幅率）は、システム制御部１０２からＡ／Ｄ変換部１０４に通知されることにより設定される。大きなゲインを設定すれば、信号レベルも大きくなるが、その反面、画像に含まれるノイズ成分も大きくなる。ここでのゲインの設定は、ＩＳＯ感度の設定に応じて変更される。ゲインの設定の詳細については後述する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像データに対して、画像処理を実行する。画像処理部１０５は、例えば、ホワイトバランス補正、エッジ強調処理、ＮＲ処理、画素補間処理、ガンマ補正処理、および色差信号生成等の画像処理を行い、画像処理済みのデジタル画像データとして、例えばＹＵＶ画像データを出力する等の処理を行う。

ＥＶＦ表示部１０６は、ＬＣＤ（Liquid Crystal Display）等の表示装置を含み、画像処理部１０５による画像処理済みのデジタル画像データに対し、不図示のＤ／Ａ変換処理後の画像を表示する。
フォーマット変換部１１１は、画像処理部１０５から出力されたデジタル画像データに対し、例えばＤＣＦ（Design rule for Camera File System）に準拠した記録用のデータファイルを生成する。フォーマット変換部１１１は、データファイル生成の過程で、ＪＰＥＧ形式やＭｏｔｉｏｎ ＪＰＥＧ形式への符号化や、ファイルヘッダの生成等を行う。

画像記録部１１２は、フォーマット変換部１１１で生成された記録用のデータファイルを、デジタルカメラ１００の内蔵メモリや、デジタルカメラ１００に装着されているリムーバブルメディア等に記録する。
外部接続部１１３は、デジタルカメラ１００をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースである。外部接続部１１３は、例えば、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４等の一般的な規格に準拠して外部装置との通信を行って画像データ等の授受を行い、各外部機器の機能を活用する。

次に、本実施形態のデジタルカメラ１００の動作の一例について説明する。
ユーザが操作部１０１の一つである電源スイッチ（不図示）をＯＮにすると、システム制御部１０２はこれを検知し、デジタルカメラ１００の各構成部に対し、電池やＡＣ入力（不図示）により電源を供給する。
本実施形態のデジタルカメラ１００は、電源が供給されるとＥＶＦ（Electronic View Finder）による表示動作を開始する。まず、電源が供給されると、露出機構１０８ａに設けられたメカニカルシャッターが開き、撮像素子１０３が露光される。撮像素子１０３の各画素で蓄積した電荷を、予め定められたフレームレートで順次読み出し、Ａ／Ｄ変換部１０４にアナログ画像データとして出力する。以上のように本実施形態では、撮像素子１０３の各画素で蓄積した電荷を、予め定められたフレームレートで順次読み出す、いわゆる電子シャッターを用いて連続して被写体を撮像することにより、ＥＶＦによる表示用の画像を取得する。

Ａ／Ｄ変換部１０４は、前述の通り、撮像素子１０３から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、およびＡ／Ｄ変換等を行うことにより、デジタル画像データを生成して出力する。ここで、ゲイン調整に関して説明する。
撮像素子１０３では、露光量によって、アナログ電気信号の出力信号レベルが変化する。明るい被写体では露光量が増加するため、アナログ電気信号の出力信号レベルも大きいものとなる。一方、暗い被写体では露光量が減少するため、アナログ電気信号の出力信号レベルも小さいものとなる。以上のようなレベル変動が生じるアナログ電気信号をＡ／Ｄ変換部１０４に入力し、Ａ／Ｄ変換部１０４でゲイン調整をせずに出力した場合、出力されたデジタル電気信号もレベル変動が生じる。

これに対し、デジタルカメラでは一般的に、被写体の明るさ（アナログ電気信号の出力信号レベル）によらずＡ／Ｄ変換部１０４からのデジタル電気信号の出力信号レベルを一定に保つようなゲインが、被写体の明るさに応じて設定される。

以上のゲインは、撮像条件の一つであるＩＳＯ感度の設定に応じて変化し、調整される。つまり、被写体の明るい低ＩＳＯ感度時よりも、被写体の暗い高ＩＳＯ感度時の方が、Ａ／Ｄ変換部１０４におけるゲインとして高い値を設定する。このため、高ＩＳＯ感度時の方が低ＩＳＯ感度時よりも、高いゲインによる増幅効果により、画像に含まれるノイズ成分が多くなる。
前述したように、以上のようなＡ／Ｄ変換部１０４のゲインの設定に関係するＩＳＯ感度は、ユーザが設定した固定のＩＳＯ感度であってもよいし、システム制御部１０２がＡＥ処理の結果に基づいて動的に設定したＩＳＯ感度であってもよい。

前述したように画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像データに対して、画像処理を行い、画像処理済みのデジタル画像データとして、例えばＹＵＶ画像データを出力する。画像処理には、例えば、ホワイトバランス補正、エッジ強調処理、ＮＲ処理、画素補間処理、ガンマ補正処理、および色差信号生成含まれる。

また、ＥＶＦ表示部１０６は、画像処理部１０５から出力されるデジタル画像データを用いて、不図示のＤ／Ａ変換処理を行った画像を逐次表示する。
システム制御部１０２は、操作部１０１から、シャッタースイッチが第１のシャッタースイッチＳＷ１として機能していることの通知（半押しの通知）を受けない限り、前述のＥＶＦによる表示処理の実行を繰り返す。

システム制御部１０２は、操作部１０１から、シャッタースイッチが第１のシャッタースイッチＳＷ１として機能していることの通知を受けると、その時点で最新の撮像画像を用いて、ＡＦ処理およびＡＥ処理を行い、合焦位置および露出条件を決定する。これと同時にシステム制御部１０２は、フラッシュ部１１０の発光の要否も決定する（ＥＦ処理を行う）。フラッシュ部１１０を発光するか否かは、操作部１０１を用いて予め設定しても、ＡＥ処理の結果を受けて設定しても、デジタルカメラ１００の周囲の暗さを検知し自動的に判定して設定してもよい。

その後、システム制御部１０２は、シャッタースイッチが第２のシャッタースイッチＳＷ２として機能していることの通知（全押しの通知）を受け取るまで、撮影動作をすることなく待機し続ける。シャッタースイッチが第２のシャッタースイッチＳＷ２として機能していることの通知を受ける前にシャッタースイッチが第１のシャッタースイッチＳＷ１として機能していることの通知が途絶えると、システム制御部１０２はＥＶＦによる表示処理を再開させる。

シャッタースイッチが第２のシャッタースイッチＳＷ２として機能していることの通知を受けるとシステム制御部１０２は、フラッシュ部１１０を発光させる場合にはＥＦ処理部１０９を制御し、フラッシュ部１１０にプリ発光を行わせる。そして、システム制御部１０２は、プリ発光の結果に基づいて、本発光量の算出やＥＦ枠の重み付け等の処理を行う。そして、システム制御部１０２は、算出した本発光量でフラッシュ部１１０を発光するようにＥＦ処理部１０９に指示して、本撮影処理に移行する。また、フラッシュ部１１０を発光させない場合、システム制御部１０２は、前述の調光制御を行わずに本撮影処理に移行する。

シャッタースイッチが第２のシャッタースイッチＳＷ２として機能していることの通知を受けてからの本撮影処理では、前述のＡＦ処理、ＡＥ処理、場合によってはＥＦ処理を経た撮像条件で、撮像素子１０３上に被写体光学像を露光し結像させる。その後、撮像素子１０３からの画素単位のアナログ電気信号を、Ａ／Ｄ変換部１０４でデジタル画像データに変換して、このデジタル画像データを用いて、画像処理部１０５で画像処理を行う。そして、この画像処理済みのデジタル画像データを、フォーマット変換部１１１によって記録用のデータファイル形式に変換し、画像記録部１１２により記録媒体に記録する。

以上は、静止画撮影の際のデジタルカメラ１００の動作の一例であり、操作部１０１において、不図示のセレクタースイッチで静止画撮影モードを選択した場合の動作になる。これに対し、セレクタースイッチを動画撮影モードに設定した場合には、主として、シャッタースイッチが第１のシャッタースイッチＳＷ１、第２のシャッタースイッチＳＷ２として機能しているときの動作が、静止画撮影モードと異なる。以下に、動画撮影の際のデジタルカメラ１００の動作の一例を説明する。

動画撮影モードにおいて、シャッタースイッチが第１のシャッタースイッチＳＷ１として機能していることの通知を受けると、システム制御部１０２は、静止画撮影モードの場合と同様に、ＡＦ処理およびＡＥ処理は行われるが、通常、ＥＦ処理は行わない。また、動画撮影モード中は、ＡＦ処理およびＡＥ処理は、ある一定間隔で行われ、ＥＶＦによる表示に関しては、動画撮影モードを切り替えない限り、所定のフレームレートで画像を更新して表示し続ける。

動画撮影モードにおいて、シャッタースイッチが第２のシャッタースイッチＳＷ２として機能していることの通知を受けると、本撮影処理が実行される。この本撮影処理のうち、ＡＦ処理およびＥＶＦ処理は、シャッタースイッチが第１のシャッタースイッチＳＷ１として機能しているときと同様である。一方、ＡＥ処理および画像処理部１０５におけるＮＲ処理として、後述の動画用のＡＥ処理・ＮＲ処理を実行する。つまり、静止画撮影モードである場合と動画撮影モードで場合とで、ＡＥ処理およびＮＲ処理の方法が異なる。

また、フォーマット変換部１１１は、画像処理が行われたデジタル画像データを、記録用のデータファイルの形式として、動画用の形式（例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式）に変換して、画像記録部１１２により記録媒体に記録する。

以上が、本実施形態のデジタルカメラ１００の構成と動作の一例である。以下に、本実施形態における画像処理方法、特に、動画撮影時で用いるＮＲ処理の一例について説明する。
図２は、画像処理部１０５におけるＮＲ処理部２００の構成の一例を示すブロック図である。

処理対象の現在のフレーム（以下「現フレーム」と称する）の映像信号Cur_in1から、それ以前の過去のフレームの映像信号Mem_in1を減算器２０１により減算して、差分信号を求める。本実施形態では、このようにして第１の差分信号を導出する第１の差分信号導出処理が実行される。この差分信号に巡回係数Ｋを乗算器２０２で乗算した値をノイズ成分とし、このノイズ成分を現フレームCur_in1の映像信号から減算器２０５で差し引くことによりノイズ除去を実現する。本実施形態では、このようにして第４の差分信号を導出する第４の差分信号導出処理が実行される。

しかし、現フレームの映像信号Cur_in1と、それ以前の過去のフレームの映像信号Mem_in1との差分信号には、ノイズ成分以外に、被写体が動くことによる信号レベルの変動も含まれ得る。したがって、前述した処理では、この信号レベルの変動による差分をノイズと誤認識し、不必要なＮＲ処理を実施することとなる。その結果、画像に残像が含まれる等の弊害が表れる。

そこで、現フレームの映像信号Cur_in1およびそれ以前の過去のフレームの映像信号Mem_in1を出力する第１の画素に垂直方向で隣接する第２の画素から出力される信号を用いる。具体的に本実施形態では、第２の画素から出力される、現フレームの映像信号Cur_in2およびそれ以前の過去のフレームの映像信号出力Mem_in2を用いる。過去のフレームの映像信号Mem_in2によるフレーム画像は、例えば、現フレームの１フレーム前のフレーム画像である。本実施形態では、このようにすることにより、前述した弊害を回避する。以下に、その詳細を説明する。

図２において、現フレームの映像信号Cur_in1およびそれ以前の過去のフレームの映像信号Mem_in1は、所定の水平ライン上の同一の１画素（第１の画素）からの出力である。また、現フレームの映像信号Cur_in2およびそれ以前の過去のフレームの映像信号Mem_in2は、前記第１の画素に垂直方向で隣接する同一の１画素（第２の画素）からの出力である。

図３は、垂直ライン上の画素の配列の一例を模式的に示す図である。
本実施形態では、図３（ａ）に示す１つのＲ画素、１つのＢ画素、および２つのＧ画素から成る合計４つの画素を前述の１画素の単位とする。ここで、Ｒ画素は赤色フィルタを配した画素であり、Ｂ画素は青色フィルタを配した画素、Ｇ画素は緑色フィルタを配した画素である。

しかし、垂直ライン上の画素の配列は、これに限定されるものではない。例えば、図３（ｂ）に示すように、１つのＲ画素および１つのＧ画素、もしくは、１つのＢ画素および１つのＧ画素を、前述の１画素の単位として扱ってもよい。ただし、この場合、センサ（撮像素子１０３）の受光感度は、一般的に波長依存性を有することから、以下のことに注意を要する。すなわち、Ｒ画素を含む前述の１画素の単位におけるゲインと、Ｂ画素を含む前述の１画素の単位におけるゲインを、Ｒ画素とＢ画素の違いによる前述の波長依存性を考慮して設定することが必要となる。

以上のような１画素単位による、第１の画素と第２の画素は、垂直方向においてお互いに隣接する水平ライン上の画素である。そして、積層型のＣＭＯＳセンサの機能により、第１の画素と第２の画素とで、シャッタースピード（露出時間）およびＩＳＯ感度ゲイン調整量を変えることができる。
第１の画素に対する露出時間およびゲインを、それぞれＥｔ１、Ｇ１とし、第２の画素に対する露出時間およびゲインを、それぞれＥｔ２、Ｇ２とすると、本実施形態では、以下の（１）式および（２）式の関係を有する。
Ｅｔ１＜Ｅｔ２≦（動画１フレームの生成に要する時間） ・・・（１）
Ｇ１＞Ｇ２ ・・・（２）

この露出時間Ｅｔ１、Ｅｔ２およびゲインＧ１、Ｇ２は、動画撮影時のシステム制御部１０２によるＡＥ処理により、デジタルカメラ１００内のＲＯＭもしくはＲＡＭから読み出されて設定される。
また、前述の露出時間Ｅｔ１、Ｅｔ２およびゲインＧ１、Ｇ２は、第１の画素および第２の画素が同一の光量Ｙ（＝Ｙ０）の光を受光した時に、以下の（３）式の関係となるように決められる。
Ｅｔ１×Ｇ１×Ｙ０＝Ｅｔ２×Ｇ２×Ｙ０ ・・・（３）

従って、被写体からの反射光の受光量が第１の画素と第２の画素とで同一であれば、動画１フレームの生成に要する時間でサンプリングした場合、第１の画素および第２の画素の出力としては同一レベルとして読み出される。
図４、図５は、現フレームの映像信号Cur_in1と、それ以前の過去のフレームの映像信号Mem_in1との間で、被写体画像のエッジ部が動いた場合の、それらの映像信号Cur_in1、Mem_in1と差分信号の一例を概念的に示す図である。図４は、第１の画素から出力される映像信号を示し、図５は、第２の画素から出力される映像信号を示す。

図４に示すように、現フレームの映像信号Cur_in1と、それ以前の過去のフレームの映像信号Mem_in1との間で、被写体画像のエッジ部４０１、４０２が動いたとする。これにより、第１の画素の現フレームの映像信号Cur_in1と、第１の画素のそれ以前の過去のフレームの映像信号Mem_in1との間で、出力信号４０３、４０４にレベル変動が生じたとする。この場合、両映像信号Cur_in1、Mem_in1の差分信号Δ１が得られる。

ここで、詳細は後述するが、現フレームの映像信号Cur_in1に重畳されたノイズ成分を抽出するために、現フレームの映像信号Mem_in1として、できるだけノイズ４０５ａ、４０５ｂを除去した映像信号を用いる方が好ましい。
一方で、第１の画素に垂直方向で隣接する第２の画素の現フレームの映像信号Cur_in2と、それ以前の過去のフレームの映像信号Mem_in2との間でも、被写体画像のエッジ部５０１、５０２が動くと、出力信号５０３、５０４にレベル変動が生じる。この場合、両映像信号Cur_in2、Mem_in2の差分信号Δ２が得られる。

図４および図５を比較すると明らかなように、差分信号Δ１、Δ２の違いは、ＩＳＯ感度ゲインの設定の差によるノイズ量の差である。一方、被写体画像のエッジ部４０１、４０２、５０１、５０２の動きによる出力信号４０３、４０４、５０３、５０４のレベル変動については同一の信号となる。

従って、この差分信号Δ１、Δ２との差分を求めると、被写体画像のエッジ部４０１、４０２、５０１、５０２の動きによる出力信号４０３、４０４、５０３、５０４のレベル変動はお互いにキャンセルされる。よって、ＩＳＯ感度ゲインの設定差に対応したノイズ成分のみの差分が差分出力信号Δ１２として抽出される。

そこで、本実施形態では、図１に示すように、第１の画素について、現フレームの映像信号Cur_in1から、それ以前の過去のフレームの映像信号Mem_in1を減算器２０１により減算して、差分信号Δ１を求める。また、第２の画素について、現フレームの映像信号Cur_in2から、それ以前の過去のフレームの映像信号Mem_in2を減算器２０３により減算することにより、差分信号Δ２を求める。本実施形態では、このようにして第２の差分信号を導出する第２の差分信号導出処理が実行される。

そして、差分信号Δ１から差分信号Δ２を減算器２０４により減算することにより、差分信号Δ１２を求める。本実施形態では、このようにして第３の差分信号を導出する第３の差分信号導出処理が実行される。この差分信号Δ１２に巡回係数Ｋを乗算器２０２で乗算する。本実施形態では、このようにして第４の信号導出処理が実行される。差分信号Δ１２に巡回係数Ｋを乗算した値を、第１の画素の現フレームの映像信号Cur_in1から減算器２０５により減算し、ＮＲ処理部２００の出力信号とする。このようにすることにより、被写体が動くことによる出力信号のレベル変動の影響を受けることなく、第１の画素の現フレームの映像信号Cur_in1に存在するノイズ成分のみを確実に除去することができる。

以上のようにしてノイズが除去された、第１の画素の現フレームの映像信号Cur_in1を、次フレーム以降の過去のフレームの映像信号Mem_in1として用いる。以上のようにすることにより、動き検出回路を増設することなく、残像が低減され、且つ、ノイズが確実に低減された動画を取得することができる。
尚、第１の画素の現フレームの映像信号Cur_in1と同様に、第２の画素の第２の画素の現フレームの映像信号Cur_in2に関しても、次フレーム以降の過去のフレームの映像信号Mem_in2として用いる。

また、以上の巡回型のＮＲ処理において、１フレーム目（最初のフレーム）の動画撮影のときには、通常、過去のフレームの映像信号Mem_in1が存在しない。そこで、過去のフレームの映像信号Mem_in1を予め用意する必要がある。

一方で、過去のフレームの映像信号Mem_in1として、なるべくノイズが除去された映像信号を用いることで画質の向上が図られるので好ましい。そこで、過去のフレームの映像信号Mem_in1として、例えば、以下のような映像信号を用いることができる。
現フレームの映像信号Cur_in1の直前のフレームの映像信号または現フレームの映像信号Cur_in1に対し、別のＮＲ処理を実施した映像信号を、過去のフレームの映像信号Mem_in1として用いることができる。
前記別のＮＲ処理として、例えば、静止画用に設けられた、着目画素の周辺画素の画素値を用いて着目画素に対してフィルタ処理を行うことができる。また、現フレームの映像信号Cur_in1よりもゲインが低くなるように、低いＩＳＯ感度を設定し、ノイズ量の少ない映像信号Cur_in2を過去のフレームの映像信号Mem_in1に用いてもよい。

以上のように本実施形態では、第１の画素と第２の画素について、現フレームの映像信号Cur_in1、Cur_in2から、それ以前の過去のフレームの映像信号Mem_in1、Mem_in2によるフレーム画像を減算し差分信号Δ１、Δ２を求める。そして、差分信号Δ１から差分信号Δ２を減算して差分信号Δ１２を求め、この差分信号Δ１２に巡回係数Ｋを乗算し、これを、第１の画素の現フレームの映像信号Cur_in1から減算する。従って、動き検出回路を増設しなくても、ノイズ成分と動き成分とを正確に分別することができ、被写体画像のエッジが保たれた状態でＮＲ処理を実行することができる。よって、ノイズを抑制することと、残像の発生を抑制することを低コストで実現することができる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、第１の画素に対し垂直方向の一の方向で隣接する第２の画素の映像信号を例に挙げて説明した。これに対し、本実施形態では、第１の画素に対し垂直方向の一の方向で隣接する第２の画素の映像信号および他の方向で隣接する第３の画素の映像信号の何れかを用いるのかを選択する。このように本実施形態と第１の実施形態は、第３の画素の映像信号を用いることによる構成および処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

図６は、画像処理部１０５におけるＮＲ処理部６００の構成の一例を示すブロック図である。
図２と図６とを比較すると明らかなように、本実施形態のＮＲ処理部６００は、第１の実施形態のＮＲ処理部２００に対し、減算器６０１、６０２と比較器６０３を追加した構成を有する。

図６において、現フレームの映像信号Cur_in1およびそれ以前の過去のフレームの映像信号Mem_in1は、所定の水平ライン上の同一の１画素（第１の画素）からの出力である。また、現フレームの映像信号Cur_in2およびそれ以前の過去のフレームの映像信号Mem_in2は、前記第１の画素に垂直方向の一の方向で隣接する同一の１画素（第２の画素）からの出力である。これらは、第１の実施形態と同じである。

現フレームの映像信号Cur_in3およびそれ以前の過去のフレームの映像信号Mem_in3は、前記第１の画素に垂直方向の他の方向（第２の画素と反対側）で隣接する同一の１画素（第３の画素）からの出力である。

現フレームの映像信号Cur_in2とCur_in3は、積層型のＣＭＯＳセンサの機能により、同一のシャッタースピード（露出時間）および同一のＩＳＯ感度ゲイン調整量で得られる映像信号である。すなわち、第１の画素に対する露出時間およびゲインとして、それぞれ、（１）式、（２）式に示すＥｔ１、Ｇ１が設定される。一方、第２の画素および第３の画素に対する露出時間およびゲインとして、いずれも、（１）式、（２）式に示すＥｔ２、Ｇ２が設定される。

以上のような設定の下で、ＮＲ処理部６００では、以下の処理が行われる。
まず、第１の画素について、現フレームの映像信号Cur_in1から、それ以前の過去のフレームの映像信号Mem_in1を減算器２０１により減算して、差分信号Δ１を求める。また、第２の画素について、現フレームの映像信号Cur_in2から、それ以前の過去のフレームの映像信号Mem_in2を減算器２０３により減算して、差分信号Δ２を求める。
そして、差分信号Δ１から差分信号Δ２を減算器２０４により減算して、差分信号Δ１２を求める。
以上のことは第１の実施形態と同じである。

本実施形態では、さらに、第３の画素について、現フレームの映像信号Cur_in3から、それ以前の過去のフレームの映像信号Mem_in3を減算器６０１により減算して、差分信号Δ３を求める。本実施形態では、このようにして第５の差分信号を導出する第５の差分信号導出処理が実行される。そして、差分信号Δ１から差分信号Δ３を減算器６０２により減算して、差分信号Δ１３を求める。本実施形態では、このようにして第６の差分信号を導出する第６の差分信号導出処理が実行される。

第１の画素、第２の画素、および第３の画素における被写体からの反射光の受光量が同一である場合、差分信号Δ１２、Δ１３（の絶対値）は略同じである（｜Δ12｜≒｜Δ13｜）。この場合。いずれの差分信号Δ１２、Δ１３を巡回係数Ｋに乗算しても、適切なＮＲ処理を実施することができる。

しかし、図７に示すように、第２の画素の現フレームの映像信号Cur_in2においてのみ、被写体からの反射光の受光量が異なる場合には、差分信号Δ１２（の絶対値）は差分信号Δ１３（の絶対値）を上回る（｜Δ１２｜＞｜Δ１３｜）。例えば、第１の画素と第２の画素との境界に、被写体画像のエッジ７０１がある場合に、このようなことが起こり得る。尚、図７では、垂直ライン上の５つの画素を示す（１つの矩形が１つの画素を示す）。

このとき、第１の画素において、現フレームの映像信号Cur_in1と、それ以前の過去のフレームの映像信号Mem_in1とに変化はない（すなわち、被写体画像のエッジがない）場合がある。この場合に、第１の実施形態のように、差分信号Δ１２を巡回係数Ｋに乗算して巡回型のＮＲ処理を実行すると、ＮＲ処理が過剰になる。その結果、適切なＮＲ処理が実行されないことになる。

そこで、本実施形態では、比較器６０３は、差分信号Δ１２、Δ１３の出力レベルを比較し、差分信号Δ１２、Δ１３の出力レベルの小さい方を選択して乗算器２０２に出力する。本実施形態では、このようにして、第１の選択処理が実行される。そして、第１の実施形態で説明したように、乗算器２０２は、比較器６０３から出力された差分信号Δ１２またはΔ１３に巡回係数Ｋを乗算して減算器２０５に出力する。減算器２０５は、第１の画素の現フレームの映像信号Cur_in1から、乗算器２０２により出力された信号を減算し、ＮＲ処理部６００の出力とする。
以上のようにすることにより、第１の実施形態で説明した効果に加え、前述の被写体画像のエッジ部等における不適切なＮＲ処理の実行による解像感の劣化等の画質の低下を防ぐことができ、より的確なＮＲ処理を実施することができる。

（第３の実施形態）
次に、第３の実施形態を説明する。第１、第２の実施形態では、第１の画素と、第２、第３の画素のそれぞれについて、現フレームの映像信号からそれ以前の過去のフレームの映像信号を減算した差分信号Δ１、Δ２、Δ３を導出した。そして、第１の画素についての差分信号Δ１から、第２、第３の画像についての差分信号Δ２、Δ３を減算することにより、第１の画像のノイズと動きとを分別する。

これに対し、本実施形態では、第１の画素の現フレームの映像信号から、第２の画素の現フレームの映像信号を減算した差分画像の信号レベルから被写体画像の動きを検出し、その結果に応じて巡回係数Ｋを変更（設定）する。第１の画素の現フレームの映像信号から、第１の画素のそれ以前の過去のフレームの映像信号を減算した差分信号に、巡回係数Ｋを乗算した値を第１の画素の値とし、当該第１の画素の値とその周辺の画素とを用いてフィルタ処理を行う。

このように本実施形態と第１の実施形態とは、ＮＲ処理の一部が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。

図８は、画像処理部１０５におけるＮＲ処理部８００の構成の一例を示すブロック図である。
ＮＲ処理部８００は、第１のＮＲ処理部８１０と第２のＮＲ処理部８２０とを有する。第１のＮＲ処理部８１０は、ＮＲ処理部８００に入力した映像信号に対し第１のＮＲ処理（巡回型のＮＲ処理）を行う。第２のＮＲ処理部８２０は、第１のＮＲ処理が行われた映像信号を用いて第２のＮＲ処理を行う。

処理対象の現フレームの映像信号Cur_in1から、それ以前の過去のフレームの映像信号Mem_in1を減算器２０１により減算して、差分信号を求める。この差分信号に巡回係数Ｋを乗算器８１２で乗算した値をノイズ成分とし、このノイズ成分を現フレームCur_in1の映像信号から減算器２０５で差し引くことによりノイズ除去を実現する。このとき、動き検出処理による被写体画像の動きの有無の判定結果を用いて巡回係数Ｋを導出する。

第１、第２の実施形態と同様に、本実施形態でも、撮像素子１０３に積層型のＣＭＯＳセンサを用いる。前述したように積層型のＣＭＯＳセンサは、水平ラインごとに、シャッタースピード（露出時間））およびＩＳＯ感度ゲイン調整量を変えられる機能を有する。
図８において、現フレームの映像信号Cur_in1およびそれ以前の過去のフレームの映像信号Mem_in1は、所定の水平ライン上の同一の１画素（第１の画素）からの出力である。現フレームの映像信号Cur_in2は、前記第１の画素に垂直方向で隣接する画素（第２の画素）からの出力である。

垂直ライン上の画素の配列の一例は、第１の実施形態で説明した通りである。本実施形態でも第１の実施形態と同様に、図３（ａ）に示した１つのＲ画素、１つのＢ画素、および２つのＧ画素から成る合計４つの画素を前述の１画素の単位とする。尚、垂直ライン上の画素の配列が図３（ａ）に示すものに限定されないことは第１の実施形態で説明した通りである（例えば図３（ｂ）を参照）。

以上のような１画素単位による、第１の画素と第２の画素は、垂直方向においてお互いに隣接する水平ライン上の画素である。積層型のＣＭＯＳセンサの機能により、第１の画素と第２の画素とで、シャッタースピード（露出時間）およびＩＳＯ感度ゲイン調整量をそれぞれ変えることができる。
第１の画素に対する露出時間およびゲインを、それぞれＥｔ１、Ｇ１とし、第２の画素に対する露出時間およびゲインを、それぞれＥｔ２、Ｇ２とすると、本実施形態では、以下の（４）式および（５）式の関係を有する。
（動画１フレームの生成に要する時間）≧Ｅｔ１＞Ｅｔ２ ・・・（５）
Ｇ１＜Ｇ２ ・・・（６）

この露出時間Ｅｔ１、Ｅｔ２およびゲインＧ１、Ｇ２は、動画撮影時のシステム制御部１０２によるＡＥ処理により、デジタルカメラ１００内のＲＯＭもしくはＲＡＭから読み出されて設定される。
また、前述の露出時間Ｅｔ１、Ｅｔ２およびゲインＧ１、Ｇ２は、第１の画素および第２の画素が同一の光量Ｙ（＝Ｙ０）の光を受光した時に、以下の（７）式の関係となるように決められる。
Ｅｔ１×Ｇ１×Ｙ０＝Ｅｔ２×Ｇ２×Ｙ０ ・・・（７）
尚、（７）式は、第１の実施形態で示した（３）式と同じである。

従って、被写体が静止している場合、第１の画素９０１および第２の画素９０２における被写体からの反射光の受光量Ｙは同じ量（Ｙ＝Ｙ'）である。よって、以下の（８）式、（９）式より、（１０）式の関係を有する。すなわち、図９に示す領域９０４、９０５の面積は同一になる。
Cur_in1＝Ｅｔ１×Ｇ１×Ｙ' ・・・（８）
Cur_in2＝Ｅｔ２×Ｇ２×Ｙ' ・・・（９）
∴ ｜Cur_in1−Cur_in2｜＝０ ・・・（１０）
図９において、被写体が静止している場合、第１の画素９０１と第２の画素９０２は、被写体画像のエッジを跨いでおらず、被写体画像内の画素となる。

一方、被写体が動いている場合は、露出時間およびゲインに差異があることから、第１の画素９０１および第２の画素９０２における被写体からの反射光の受光量は異なり、以下の（１１）式の関係を示す。すなわち、図９に示す領域９０６の面積は領域９０７の面積を上回り、これらの面積は異なる。
｜Cur_in1−Cur_in2｜＞０ ・・・（１１）
図９において、被写体が動いている場合、第１の画素９０１は、被写体画像のエッジを跨いでおらず、被写体画像内の画素となる。一方、第２の画素９０２は、被写体画像のエッジを含む画素となる。
尚、図９において、ｘは、水平方向の座標（位置）を示す。

以上のことにから、本実施形態では、シャッタースピード（露出時間）およびＩＳＯ感度ゲイン調整量（ゲイン）の異なる、垂直方向で相互に隣接する画素からの映像信号の差（＝｜Cur_in1−Cur_in2｜）を検出する。このようにすることにより、被写体が静止状態か、それとも動いている状態かを判定することができる。

また、実際には、現フレームの第１の画素の映像信号Cur_in1と、現フレームの第２の画素の映像信号Cur_in2には、ノイズ成分が重畳される。従って、ノイズ成分の不確定要素を考慮して、以下の（１２）式、（１３）式により、被写体の動きの有無を判定する。（１２）式、（１３）式においてΔＬはノイズ成分である。
｜Cur_in1−Cur_in2｜≦ΔＬのとき→被写体は静止している状態 ・・・（１２）
｜Cur_in1−Cur_in2｜＞ΔＬのとき→被写体は動いている状態 ・・・（１３）

ノイズ成分ΔＬは、第１の画素および第２の画素のゲイン（ＩＳＯ感度の設定）および被写体の明るさに依存するものである。このようなノイズ成分ΔＬは、動画撮影時のシステム制御部１０２によるＡＥ処理により、デジタルカメラ１００内のＲＯＭもしくはＲＡＭから読み出されて設定される。

以上の動き検出処理による動きの有無の判定結果を用いて巡回係数Ｋを導出し、第１のＮＲ処理（巡回型のＮＲ処理）に用いる。具体的には、被写体が静止している状態であると判定した場合には、巡回係数Ｋを０（ゼロ）以上の相対的に大きい値に設定にしてＮＲの効果を強める。一方、被写体が動いている状態であると判定した場合には、巡回係数Ｋを０（ゼロ）以上の相対的に小さい値に設定にしてＮＲの効果を弱める。これにより、動いている画像領域に対しては、巡回型のＮＲ処理の巡回係数Ｋが十分に小さいために、残像の発生を抑制することができる。一方、静止している画像領域に対しては、巡回型のＮＲ処理の巡回係数Ｋを大きく設定して、十分にＮＲの効果を得ることができ、巡回型のＮＲ処理を的確に実行することができる。

以上の機能を実現するために本実施形態では、現フレームの第１の画素の映像信号Cur_in1から、現フレームの第２の画素の映像信号Cur_in2を減算器８１１で減算する。本実施形態では、このようにして第７の差分信号を導出する第７の差分信号導出処理が実行される。乗算器８１２は、その値の絶対値（｜Cur_in1−Cur_in2｜）と所定の値ΔＬとの大小関係に応じて被写体の動きの有無を判定し、その判定の結果に基づいて巡回係数Ｋを設定する。本実施形態では、このようにして画像における被写体の動きを検出する検出処理と、設定処理が実行される。

現フレームの第１の画素の映像信号Cur_in1から、それ以前の過去のフレームの第１の画素の映像信号Mem_in1を減算器２０１により減算した差分信号に巡回係数Ｋを乗算器８１２で乗算する。本実施形態では、このようにして、第８の差分信号を導出する第８の差分信号導出処理と第２の信号導出処理が実行される。そして、減算器２０５は、この差分信号に巡回係数Ｋを乗算した信号を、現フレームの第１の画素の映像信号Cur_in1から減算し、第１のＮＲ処理部８１０の出力とする。本実施形態では、このようにして第９の差分信号を導出する第９の差分信号導出処理が実現される。

次に、前述の第１のＮＲ処理が行われた後の映像信号を用いて、さらにＮＲ処理を行う第２のＮＲ処理の一例を説明する。第２のＮＲ処理は、例えば、処理対称の注目画素の画素値と、その周辺画素の画素値とを用いてフィルタ処理を行う。ここで用いるフィルタとしては、例えば、平滑化フィルタ、ガウシアンフィルタ、またはメディアンフィルタ等が挙げられる。

本実施形態では、第２のＮＲ処理においても、前述の動き検出処理による被写体の動きの有無の判定結果を用いて、静止している状態の画像領域と動いている状態の画像領域とで第２のＮＲ処理のパラメータを変える。この第２のＮＲ処理のパラメータは、ＮＲの効果の強弱を調節できるものであり、第１のＮＲ処理のパラメータも含めて、詳細は後述する。

ＮＲ回路８２１は、被写体が静止している状態であると判定した場合には、ＮＲの効果が相対的に弱いパラメータを設定にして第２のＮＲ処理を行う。一方、被写体が動いている状態であると判定した場合、ＮＲ回路８２１は、ＮＲの効果が相対的に強いパラメータを設定して第２のＮＲ処理を行う。これにより、前述の第１のＮＲ処理時に、動いている状態であると判定された画像領域、すなわち、第１のＮＲ処理ではノイズの除去が不十分の画像領域に対しても、ノイズを的確に除去することができる。尚、被写体が静止している状態であるか否かは、例えば、（１２）式および（１３）式により判定される。
第２のＮＲ処理としては、例えば、着目画素の周辺画素の画素値を用いて着目画素に対してフィルタ処理が挙げられる。

次に、第１のＮＲ処理および第２のＮＲ処理について、特に、それぞれのＮＲ処理のパラメータの設定に関して説明する。
本実施形態では、前述した２種類のＮＲ処理（第１のＮＲ処理および第２のＮＲ処理）を実行する。従って、ＮＲ処理の設定パラメータとして、第１のＮＲ処理用のパラメータと第２のＮＲ処理用のパラメータの大きく２種類のパラメータを有する。これらのパラメータは、例えば、デジタルカメラ１００内のＲＯＭもしくはＲＡＭに格納される。

この２種類のパラメータはＩＳＯ感度毎に設定値が異なり、さらに、前述の動きの有無の判定結果によっても（少なくとも被写体が静止している状態であるか否かで）異なる。 図１０は、ＮＲ処理のパラメータの一例を示す図である。
図１０において、縦軸のＮＲは、ＮＲの効果の度合いを示す。このＮＲが＋方向（図の矢印の方向）の値であるほどＮＲの効果の高いパラメータであることを表す。また、横軸は、第１の画素のＩＳＯ感度を示す。このＩＳＯ感度が＋方向（図の矢印の方向）の値であるほどＩＳＯ感度として大きな感度が設定されていることを表す。

ここで、前述のＮＲの効果の評価方法の一例を説明する。
ノイズ評価用の動画を撮影し、ＮＲ処理直前のデジタル画像データを用いて、第１のＮＲ処理のみを行った場合の画像データと、第２のＮＲ処理のみを行った場合の画像データとを取得する。これらの２種類の画像データに基づいて、それぞれのＮＲ処理におけるノイズの評価を行う。このノイズの評価値の大小により、２種類のＮＲ処理におけるＮＲの効果の大小関係が求まる。

本実施形態では、例えば、ノイズ計測用の所定の輝度で各位置の輝度が一様な面のチャートを用意し、このチャートを撮影した動画をノイズ評価用の動画とする。このチャートは静止しており、取得される動画には、静止している状態のチャートが映し出されることになる。本実施形態では、このチャートにおける所定の輝度に対する輝度の変動分を計測して数値化を行ったものをノイズの評価値として評価に用いた。この場合、輝度の変動分の数値が小さいものほど、ノイズの評価としては良好でありＮＲの効果が高いことを示す。

また、第１のＮＲ処理における巡回型のＮＲ処理によるノイズの評価値は、フレーム数の増加と共に飽和する傾向にある。従って、ノイズの評価を行う画像データとして、第１のＮＲ処理によるノイズの評価値が十分飽和したフレームの画像データを用いるのが好ましい。本実施形態では、６０フレーム目の画像データをノイズ評価用の画像データとして用いた。

以上のようなＮＲの効果の評価により、ＮＲ処理のパラメータの関係として、図１０に示すグラフ１００１、１００２、１００３、１００４が得られる。グラフ１００１は、第１のＮＲ処理におけるＮＲの効果が相対的に高い設定のパラメータを示し、グラフ１００２は、第１のＮＲ処理におけるＮＲの効果が相対的に低い設定のパラメータを示す。また、グラフ１００３は、第２のＮＲ処理におけるＮＲの効果が相対的に高い設定のパラメータを示し、グラフ１００４は、第２のＮＲ処理におけるＮＲの効果が相対的に低い設定のパラメータを示す。

以上のパラメータの関係を示す２つのＮＲ処理を実施することにより、動画として、第１の画素の露出時間Ｅｔ１であるにも関わらず、露出時間Ｅｔ１よりも短い時間（Ｅｔ２≦Ｔ≦Ｅｔ１）の被写体の動きを検出することができ、ＮＲ処理に反映させられる。すなわち、露出時間Ｅｔ１が動画１フレームの生成に要する時間である場合、フレームレートよりも速い被写体の動きに対しても、その動きを検出することができ、ＮＲ処理を的確に実行することができる。

従って、従来のフレーム間差分の動き検出を行う場合よりも、被写体の動きを高速に検出することができる。よって、残像が発生することを抑制し、ノイズ特性の良好な動画を取得することができる。

（第４の実施形態）
次に、第４の実施形態を説明する。
本実施形態では、第１のＮＲ処理における第１の画素、第２の画素の露出時間Ｅｔ１、Ｅｔ２およびゲインを、それぞれ以下の（１４）式、（１５）式のようにする。
Ｅｔ１＜Ｅｔ２＜（動画１フレームの生成に要する時間） ・・・（１４）
Ｇ１＞Ｇ２ ・・・（１５）
これ以外については、第３の実施形態と同じである。
以上の設定によるＮＲ処理を実施することにより、動画１フレームの生成に要する時間を下回る時間Ｅｔ２で、動きの有無の検出に用いる第１の画素および第２の画素の出力を得ることがきる。
本実施形態では、動きの有無の検出に用いる第１の画素および第２の画素の出力を取得してから、フレームレートで設定される次のフレームのタイミングまでの時間で、動きの有無の判定と、動きの有無の判定に基づく巡回型のＮＲ処理を実行できる。
このため、現フレームに対するＮＲ処理に対し、現フレームによる動きの有無の判定結果に基づいたＮＲ処理のパラメータを設定することができる。よって、即効的に、且つ、高精度に、パフォーマンスよくＮＲ処理を実現することができる。

（第５の実施形態）
次に、第５の実施形態を説明する。第３、第４の実施形態では、第１の画素に対し垂直方向の一の方向で隣接する第２の画素の映像信号を例に挙げて説明した。これに対し、本実施形態では、第１の画素に対し垂直方向の一の方向で隣接する第２の画素の映像信号および他の方向で隣接する第３の画素の映像信号の何れかを用いるのかを選択する。このように本実施形態と第３、４の実施形態は、第３の画素の映像信号を用いることによる構成および処理が主として異なる。従って、本実施形態の説明において、第１〜第４の実施形態と同一の部分については、図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１１は、画像処理部１０５におけるNR処理部１１１０の構成の一例を示すブロック図である。
図８と図１１とを比較すると明らかなように、本実施形態のＮＲ処理部１１００は、第３、第４の実施形態のＮＲ処理部８００に対し、第１のＮＲ処理部１１１０において、減算器１１１１と比較器１１１２とを追加した構成を有する。
図１１において、現フレームの映像信号Cur_in1およびそれ以前の過去のフレームの映像信号Mem_in1は、所定の水平ライン上の同一の１画素（第１の画素）からの出力である。また、現フレームの映像信号Cur_in2は、前記第１の画素に垂直方向の一の方向で隣接する１画素（第２の画素）からの出力である。これらは、第３、第４の実施形態と同じである。

現フレームの映像信号Cur_in3は、前記第１の画素に垂直方向の他の方向（第２の画素と反対側）で隣接する１画素（第３の画素）からの出力である。
現フレームの映像信号Cur_in2とCur_in3は、積層型のＣＭＯＳセンサの機能により、同一のシャッタースピード（露出時間）および同一のＩＳＯ感度ゲイン調整量で得られる映像信号である。すなわち、第１の画素に対する露出時間およびゲインとして、それぞれ、（５）式、（６）式または（１４）式、（１５）式に示すＥｔ１、Ｇ１が設定される。一方、第２の画素および第３の画素に対する露出時間およびゲインとして、いずれも、（５）式、（６）式または（１４）式、（１５）式に示すＥｔ２、Ｇ２が設定される。

以上のような設定の下で、ＮＲ処理部１１００では、以下の処理が行われる。
現フレームの第１の画素の映像信号Cur_in1から、現フレームの第２の画素の映像信号Cur_in2を減算器８１１により減算して、現フレームの第１、第２の画素の映像信号の差分信号を導出する。また、現フレームの第１の画素の映像信号Cur_in1から、現フレームの第３の画素の映像信号Cur_in3を減算器１１１１により減算して、現フレームの第１、第３の画素の映像信号の差分信号を導出する。本実施形態では、このようにして第１０の差分信号を導出する第１０の差分信号導出処理が実現される。

比較器１１１２は、現フレームの第１、第２の画素の映像信号の差分信号の絶対値｜Δ１２｜＝｜Cur_in1−Cur_in2｜を導出する。また、比較器１１１２は、現フレームの第１、第３の画素の映像信号の差分信号の絶対値｜Δ１３｜＝｜Cur_in1−Cur_in3｜を導出する。
第１〜第３の画素における被写体からの反射光の受光量が同一であれば、｜Δ12｜≒｜Δ13｜であり、いずれの差分を用いても、動きの検出結果は同じであり、どちらの検出結果を用いて動きの有無を判定しても適切なＮＲ処理を実行できる。

しかし、図７に示したように、第２の画素の現フレームの映像信号Cur_in2においてのみ、被写体からの反射光の受光量が異なる場合には、差分信号Δ１２（の絶対値）は差分信号Δ１３（の絶対値）を上回る（｜Δ１２｜＞｜Δ１３｜）。例えば、第１の画素と第２の画素との境界に、被写体画像のエッジ７０１がある場合に、このようなことが起こり得る。

そして、第１の画素と第２の画素における被写体からの反射光の差が大きく、差分信号Δ１２＞ΔＬであるような画像の場合、例え被写体が静止している状態であったとしても、差分信号Δ１２による動きの有無の判定結果は、「動きがある状態」とされる。その結果、適切なＮＲ処理が実行されないことになる。

そこで、本実施形態では、比較器１１１２は、差分出力Δ１２、Δ１３の出力レベルを比較し、差分信号Δ１２、Δ１３の出力レベルの小さい方を選択して、乗算器８１２とＮＲ回路８２１に出力する。本実施形態では、このようにして第２の選択処理が実行される。そして、第３の実施形態で説明したように、乗算器８１２は、比較器１１１２から出力された差分信号Δ１２またはΔ１３を用いて、被写体が静止している状態であるか、それとも動いている状態であるかを判定する。

尚、差分信号Δ１３が選択された場合には、（１２）式、（１３）式において、「Cur_in2」は「Cur_in3」になる。また、ＮＲ回路８２１においても、比較器１１１２から出力された差分信号Δ１２またはΔ１３を用いて、被写体が静止している状態であるか、それとも動いている状態であるかを判定し、その判定の結果に応じてパラメータを設定する。本実施形態では、このようにして画像における被写体の動きを検出する検出処理が実行される。

以上のようにすることにより、第３、第４の実施形態で説明した効果に加え、前述の被写体画像のエッジ部等における不適切な動きの判定結果によるＮＲ処理の実行によって、残像の発生等による画質の低下を防ぐことができる。よって、より的確なＮＲ処理を実行することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００：デジタルカメラ、１０５：画像処理部、２００・６００・８００・１１００：ＮＲ処理部

Claims (16)

1. 画像の第１の方向ごとに撮像条件の設定が可能な撮像手段により撮像された画像を処理する画像処理装置であって、
   前記撮像手段により撮像された現在のフレームの画像の第１の画素の画素信号および第２の画素の画素信号を用いて、前記第１の画素のノイズを低減する処理と、前記画像における被写体の動きを検出する処理との少なくとも何れか一方を行う処理手段を有し、
   前記第１の画素と前記第２の画素は、前記第１の方向と垂直な方向における位置が相互に異なる画素であり、
   前記第１の画素の画素信号と、前記第２の画素の画素信号は、異なる撮像条件で得られた画素信号であることを特徴とする画像処理装置。
2. 前記処理手段は、前記撮像手段により撮像された現在のフレームの画像の第１の画素の画素信号と、前記現在のフレームよりも過去のフレームの画像の前記第１の画素の画素信号との差分信号である第１の差分信号を導出する第１の差分信号導出手段と、
   前記現在のフレームの画像の前記第２の画素の画素信号と、前記過去のフレームの画像の前記第２の画素の画素信号との差分信号である第２の差分信号を導出する第２の差分信号導出手段と、
   前記第１の差分信号と前記第２の差分信号との差分信号である第３の差分信号を導出する第３の差分信号導出手段と、
   前記第３の差分信号と巡回係数とに基づいて、前記第１の画素の画像信号との差分をとる信号を導出する第１の信号導出手段と、
   前記現在のフレームの画像の第１の画素の画素信号と、前記第１の信号導出手段により導出された前記信号との差分信号である第４の差分信号を導出する第４の差分信号導出手段と、を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記過去のフレームの画像の前記第１の画素の画素信号は、前記現在のフレームの画像の前記第１の画素の画素信号よりもノイズが少ない画素信号であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の差分信号導出手段は、前記現在のフレームの画像として最初のフレームの画像の前記第１の画素の画素信号について前記第１の差分信号を導出する際には、前記過去のフレームの画像の前記第１の画素の画素信号の代わりに、前記現在のフレームの画像の前記第２の画素の信号、または、前記第４の差分信号を導出することにより前記第１の画素の画素信号のノイズを低減するのとは別の手段によりノイズが低減された、前記現在のフレームの画像の前記第１の画素の信号とは異なる信号を用いることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１の差分信号導出手段は、前記過去のフレームの画像の前記第１の画素の画素信号として、前記第４の差分信号を導出することにより前記第１の画素の画素信号のノイズを低減するのとは別の手段によりノイズが低減された、前記過去のフレームの画像の前記第１の画素の画素信号を用いることを特徴とする請求項２〜４の何れか１項に記載の画像処理装置。
6. 前記処理手段は、前記現在のフレームの画像の画素信号であって、前記第１の方向と垂直な方向における位置が前記第１の画素および前記第２の画素と異なる第３の画素の画素信号と、前記過去のフレームの画像の前記第３の画素の画素信号との差分信号である第５の差分信号を導出する第５の差分信号導出手段と、
   前記第１の差分信号と前記第５の差分信号との差分信号である第６の差分信号を導出する第６の差分信号導出手段と、
   前記第４の差分信号と前記第６の差分信号のレベルに応じて、前記第４の差分信号と前記第６の差分信号の何れか１つを選択する第１の選択手段と、を更に有し、
   前記第１の信号導出手段は、前記第１の選択手段により選択された前記第４の差分信号または前記第６の差分信号と巡回係数とに基づいて、前記第１の画素の画像信号との差分をとる信号を導出することを特徴とする請求項２〜５の何れか１項に記載の画像処理装置。
7. 前記撮像条件は、露出時間と、前記画素信号に対するゲインとを含むことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記処理手段は、前記現在のフレームの画像の第１の画素の画素信号と、前記現在のフレームの画像の前記第２の画素の画素信号との差分信号である第７の差分信号を導出する第７の差分信号導出手段と、
   前記第７の差分信号のレベルに基づいて、前記画像における被写体の動きを検出する検出手段と、を更に有することを特徴とする請求項１に記載の画像処理装置。
9. 前記処理手段は、前記検出手段による前記検出の結果に基づいて巡回係数を設定する設定手段と、
   前記現在のフレームの画像の第１の画素の画素信号と、前記現在のフレームよりも過去のフレームの画像の前記第１の画素との差分信号である第８の差分信号を導出する第８の差分信号導出手段と、
   前記第８の差分信号と前記設定手段により設定された巡回係数とに基づいて、前記第１の画素の画像信号との差分をとる信号を導出する第２の信号導出手段と、
   前記現在のフレームの画像の第１の画素の画素信号と、前記第２の信号導出手段により導出された前記信号との差分信号である第９の差分信号を導出する第９の差分信号導出手段と、を更に有することを特徴とする請求項８に記載の画像処理装置。
10. 前記検出手段により、前記第９の差分信号導出手段により導出された前記第９の差分信号に対し、着目画素の周辺画素の画素値を用いて着目画素に対してフィルタ処理を行うフィルタ処理手段を更に有し、
    前記フィルタ処理手段は、前記画像における被写体が静止している場合よりも、前記画像における被写体が動いている場合の方が、よりノイズが低減されるように前記フィルタ処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記撮像条件は、露出時間と、画素信号に対するゲインとを含むことを特徴とする請求項８〜１０の何れか１項に記載の画像処理装置。
12. 前記第１の画素の画素信号に対する露出時間とゲインとの積は、前記第２の画素の画素信号に対する露出時間とゲインとの積と同じであり、
    前記検出手段は、前記第７の差分信号のレベルの絶対値が所定の値よりも小さければ前記被写体は静止していると判定し、そうでなければ前記被写体は動いていると判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記処理手段は、前記現在のフレームの画像の第１の画素の画素信号と、前記現在のフレームの画像の画素信号であって、前記第１の方向と垂直な方向における位置が前記第１の画素および前記第２の画素と異なる第３の画素の画素信号との差分信号である第１０の差分信号を導出する第１０の差分信号導出手段と、
    前記第７の差分信号と前記第１０の差分信号のレベルに応じて、前記第７の差分信号と前記第１０の差分信号の何れか１つを選択する第２の選択手段と、を更に有し、
    前記検出手段は、前記第２の選択手段により選択された前記第７の差分信号または前記第１０の差分信号のレベルに基づいて、前記画像における被写体の動きを検出することを特徴とする請求項８〜１２の何れか１項に記載の画像処理装置。
14. 前記第１の画素の画素信号に対する露出時間とゲインとの積は、前記第２の画素の画素信号に対する露出時間とゲインとの積と、前記第３の画素の画素信号に対する露出時間とゲインとの積とのいずれとも同じであり、
    前記検出手段は、前記第２の選択手段により選択された前記第７の差分信号または前記第１０の差分信号のレベルの絶対値が所定の値よりも小さければ前記被写体は静止していると判定し、そうでなければ前記被写体は動いていると判定することを特徴とする請求項１３に記載の画像処理装置。
15. 画像の第１の方向ごとに撮像条件の設定が可能な撮像手段により撮像された画像を処理する画像処理方法であって、
    前記撮像手段により撮像された現在のフレームの画像の第１の画素の画素信号および第２の画素の画素信号を用いて、前記第１の画素のノイズを低減する処理と、前記画像における被写体の動きを検出する処理との少なくとも何れか一方を行う処理工程を有し、
    前記第１の画素と前記第２の画素は、前記第１の方向と垂直な方向における位置が相互に異なる画素であり、
    前記第１の画素の画素信号と、前記第２の画素の画素信号は、異なる撮像条件で得られた画素信号であることを特徴とする画像処理方法。
16. 請求項１〜１４の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。