JP2010118942A

JP2010118942A - 画像処理装置及び撮像装置

Info

Publication number: JP2010118942A
Application number: JP2008291257A
Authority: JP
Inventors: Seiji Okada; 誠司岡田; Kengo Masaoka; 賢悟正岡
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-11-13
Filing date: 2008-11-13
Publication date: 2010-05-27

Abstract

【課題】入力画像に含まれるノイズを効果的に低減する画像処理装置や、この画像処理装置を備える撮像装置を提供することを目的とする。
【解決手段】ノイズ低減処理部６０は、現フレームの入力画像に含まれるインパルスノイズを低減する第１インパルスノイズ低減部６１ａと、前フレームの出力画像に含まれるインパルスノイズを低減する第２インパルスノイズ低減部６１ｂと、第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像と第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像との差分に基づいて現フレームの入力画像からランダムノイズを低減させる巡回型ノイズ低減部６２と、を備える。また、第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、他方にインパルスノイズの検出結果を出力する。
【選択図】図２

Description

本発明は、入力される画像にノイズ低減処理を施す画像処理装置に関する。また、この画像処理装置を備える撮像装置に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が広く普及している。そして、このような撮像装置によって撮像されて得られる画像に、ノイズが含まれることがある。

発生するノイズとして、例えば、強度が弱く画像中のランダムな位置に発生するランダムノイズがある。他には、強度が強く画像中の所定の位置に発生するインパルスノイズがある。ランダムノイズは、例えばイメージセンサのゲインを挙げて高感度で撮像する場合などに発生する。また、インパルスノイズは、例えばイメージセンサの個々の増幅器など素子の特性によって発生するものであり、高感度で撮影する場合に顕著となるが、場合によっては常時発生する。

これらのノイズを低減する画像処理装置の１つとして、注目画素と周囲画素を含む所定の領域内において、画素値の最大値と最小値との差分を求め、差分値が閾値より小さくなる場合に、注目画素の画素値を所定の領域内のメディアン値にするものが提案されている（特許文献１参照）。この方法では、差分値が小さい場合、注目画素の画素値をメディアン値に変換することでノイズを低減する。一方、差分値が大きい場合、エッジ部（物体の輪郭部）と見なして注目画素の画素値をそのままにする。

また、別の画像処理装置として、巡回型ノイズ低減処理（ノイズ低減後の出力画像を利用して、入力画像のノイズ低減を行う処理）が施された画像に対して、さらにインパルスノイズの低減処理（例えば、メディアンフィルタや平均値フィルタによる処理）を行うものが提案されている（特許文献２参照）。

特開２００４−１６６０１０号公報特開２００２−１７６５６７号公報

しかしながら、特許文献１に記載の画像処理装置では、ランダムノイズが多い場合に、エッジ部の判定精度が低下する問題がある。さらに、インパルスノイズをエッジ部であると判定する場合があるため、インパルスノイズが十分低減されないことも問題となる。

また、特許文献２に記載の画像処理装置では、巡回型ノイズ低減処理によってランダムノイズを低減した画像に対してインパルスノイズの検出及び低減処理を行うため、インパルスノイズを効果的に検出及び低減することができる。しかしながら、近接する複数の画素に跨って（連結して）発生するインパルスノイズを検出及び低減することは、困難となる。

連結して発生するインパルスノイズとは、画素値が周囲の画素と大きく異なるものであり、近接する複数の画素に跨って生じるものである。そのため、連結して発生するインパルスノイズとエッジ部との判別を行うことは困難なものとなる。そして、上記のようにインパルスノイズの検出を行い、その検出結果に基づいてメディアンフィルタや平均値フィルタを用いてインパルスノイズを低減しようとすると、エッジ部が低減されて不明瞭（ぼけ）となったり、反対にインパルスノイズが低減されずに残留したりする問題が生じる。

近年、インパルスノイズは、所定の領域において連結して発生しやすくなっている。これは、特にＣＭＯＳイメージセンサにおいて、センサの微細化のために画素の読み出し回路を共有することが多くなっていることに起因している。読み出し回路を共有する場合、問題がある読み出し回路を共有している画素の全てにノイズが発生する。そのため、このようなインパルスノイズを効果的に低減する画像処理装置が望まれている。

以上の問題を鑑みて、本発明は、入力画像に含まれるノイズを効果的に低減する画像処理装置や、この画像処理装置を備える撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、
前記ノイズ低減処理部が、前記入力画像である第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、が入力されるとともに、前記第１入力画像と前記第２出力画像との差分に基づいて、前記第１入力画像からランダムノイズを低減させて前記出力画像である第１出力画像を生成する巡回型ノイズ低減部と、前記巡回型ノイズ低減部に入力される前記第１入力画像からインパルスノイズを低減する第１インパルスノイズ低減部と、前記巡回型ノイズ低減部に入力される前記第２出力画像からインパルスノイズを低減する第２インパルスノイズ低減部と、を備えることを特徴とする。

ランダムノイズは例えば、画像中のランダムな位置に発生するノイズであり、画像毎に発生位置が異なるものである。また、インパルスノイズは例えば、画像中の所定の位置に発生するノイズであり、画像毎の発生位置が略等しくなるものである。

また、上記構成の画像処理装置において、前記第１インパルスノイズ低減部及び前記第２インパルスノイズ低減部の少なくとも一方がインパルスノイズの検出を行い、その検出結果を他方に出力し、他方が前記検出結果を用いてインパルスノイズを低減することとしても構わない。

また、上記構成の画像処理装置において、前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、前記第１インパルスノイズ低減部が、前記第２検出結果に基づいて前記第１入力画像からインパルスノイズを低減することとしても構わない。

このように構成すると、第２インパルスノイズ低減部において、ランダムノイズが既に低減されている第２出力画像に対してインパルスノイズの検出が行われることとなる。そのため、インパルスノイズの検出精度を高めることが可能となる。したがって、第１入力画像及び第２出力画像から精度良くインパルスノイズを低減することが可能となる。さらに、第２インパルスノイズ低減部のみがインパルスノイズの検出を行うだけで、第１インパルスノイズ低減部及び第２インパルスノイズ低減部の両方においてインパルスノイズを低減することが可能となる。したがって、構成を簡略化することが可能となる。

また、上記構成の画像処理装置において、前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、当該第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減することとしても構わない。

このように構成すると、第１インパルスノイズ低減部における検出結果が不良（例えば、検出対象である注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）となる場合に、第２インパルスノイズ低減部での検出結果を利用することが可能となる。したがって、第１インパルスノイズ低減部において、第１入力画像から精度良くインパルスノイズを低減することが可能となる。

また、上記構成の画像処理装置において、前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、前記第２インパルスノイズ低減部へ出力し、前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、前記第１インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減し、前記第２インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第２出力画像からインパルスノイズを低減することとしても構わない。

このように構成すると、第１インパルスノイズ低減部における検出結果が不良である場合に、第２インパルスノイズ低減部での検出結果を利用することが可能となる。したがって、第１インパルスノイズ低減部において、第１入力画像から精度良くインパルスノイズを低減することが可能となる。さらに、第２インパルスノイズ低減部における検出結果が不良である場合に、第１インパルスノイズ低減部での検出結果を利用することが可能となる。したがって、第２インパルスノイズ低減部において、第２出力画像から精度良くインパルスノイズを低減することが可能となる。

また、上記構成の画像処理装置において、前記第１検出結果または前記第２検出結果が、検出対象となる注目画素にインパルスノイズが含まれている状態と、前記注目画素にインパルスノイズが含まれていない状態と、インパルスノイズが含まれているか否かが判別不能である状態と、のいずれかの状態を示すものであることとしても構わない。また、第１検出結果または第２検出結果が、検出対象となる注目画素にインパルスノイズが含まれている可能性の高さを示すものとしても構わない。

また、上記構成の画像処理装置において、前記第１インパルスノイズ低減部または前記第２インパルスノイズ低減部が、検出対象となる注目画素の画素値と当該注目画素の周辺に位置する周辺画素の画素値とに基づいて補正画素値を生成し、前記注目画素の画素値を当該補正画素値に変更することとしても構わない。さらに、前記第１インパルスノイズ低減部または前記第２インパルスノイズ低減部が、前記注目画素と相関が高い前記周辺画素が整列する方向であるエッジ方向を算出するとともに、前記エッジ方向に整列する前記周辺画素を用いて前記補正画素値を生成することとしても構わない。

また、上記構成の画像処理装置において、前記入力画像が、撮像して得られた撮像画像の一部の領域を切り出す手ぶれ補正処理により生成された画像としても構わない。さらに、前記第１インパルスノイズ低減部及び前記第２インパルスノイズ低減部のそれぞれがインパルスノイズの検出を行い、少なくとも一方が前記第１検出結果と前記第２検出結果とを比較することで、インパルスノイズを検出することとしても構わない。

このように構成すると、インパルスノイズを精度良く検出して効果的に低減することが可能となる。特に、常に画像中のある位置で発生するインパルスノイズを好適に検出及び除去することが可能となる。

また、本発明の撮像装置は、撮像して前記入力画像を順次生成する撮像部と、上記のいずれかに記載の画像処理装置と、を備えることを特徴とする

本発明によると、巡回型ノイズ低減部に入力される第１入力画像及び第２出力画像に含まれるそれぞれのインパルスノイズを低減することが可能となる。そのため、巡回型ノイズ低減部から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるデジタル信号の画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号にノイズ低減処理を施すノイズ低減処理部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられるノイズ低減処理部６０は、入力される画像信号に対してノイズ低減処理を施す。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

＜＜ノイズ低減処理部＞＞
＜全体構成＞
次に、図１に示したノイズ低減処理部６０の全体構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の全体構成を示すブロック図である。なお、以下では説明の具体化のために、ノイズ低減処理部６０に入力されてノイズ低減処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、ノイズ低減処理部６０から出力される画像信号を「出力画像」と呼ぶこととする。

また、順次入出力される入力画像及び出力画像の順序を、フレームを用いて表現する。特に、ノイズ低減処理が行われる対象となる入力画像を現フレームの入力画像とし、この現フレームの入力画像にノイズ低減処理が施されて出力される出力画像を現フレームの出力画像とする。また、現フレームの入力画像の前にノイズ低減処理部６０に入力される入力画像を前フレームの入力画像とし、この前フレームの入力画像にノイズ低減処理が施されて出力される出力画像を前フレームの出力画像とする。

図２に示すように、ノイズ低減処理部６０は、現フレームの入力画像のインパルスノイズを低減する第１インパルスノイズ低減部６１ａと、フレームメモリ２０に一時的に記憶された前フレームの出力画像のインパルスノイズを低減する第２インパルスノイズ低減部６１ｂと、第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像に基づいて第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像のノイズを低減して現フレームの出力画像を出力する巡回型ノイズ低減部６２と、を備える。なお、フレームメモリ２０を、図１に示したメモリ１５としても構わない。

また、ノイズ低減処理部６０の動作について図面を参照して説明する。図３は、ノイズ低減処理部６０の動作を示すフローチャートである。図３に示すように、ノイズ低減処理が開始されると、最初に、第１インパルスノイズ低減部６１ａが現フレームの入力画像を取得し、第２インパルスノイズ低減部６１ｂが前フレームの出力画像をフレームメモリ２０から取得する（ＳＴＥＰ１）。

第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、入力された画像からインパルスノイズを検出する（ＳＴＥＰ２ａ）。そして、第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、検出した結果を他方へ出力する（ＳＴＥＰ２ｂ）。

第１インパルスノイズ低減部６１ａは、入力される現フレームの入力画像のインパルスノイズを低減して出力する。一方、第２インパルスノイズ低減部６１ｂは、入力される前フレームの出力画像のインパルスノイズを低減して出力する（ＳＴＥＰ２ｃ）。このとき、第１インパルスノイズ低減部６１ａ及び第２インパルスノイズ低減部６１ｂの少なくとも一方は、他方から入力されたインパルスノイズの検出結果を用いてインパルスノイズの低減を行う。

次に、巡回型ノイズ低減部６２は、第２インパルスノイズ低減部６１ｂから入力されるインパルスノイズが低減された前フレームの出力画像（以下、単に前フレームの出力画像と呼ぶ）に基づいて、第１インパルスノイズ低減部６１ａから入力されるインパルスノイズが低減された現フレームの入力画像（以下、単に現フレームの入力画像とも呼ぶ）から、主にランダムノイズを低減する（ＳＴＥＰ３）。特に、現フレームの入力画像と前フレームの出力画像とでは撮像タイミングが異なるものとなる。そのため、これらの画像を比較することでランダムノイズが検出され、検出結果に基づいてランダムノイズを低減することができる。

以上のように、現フレームの入力画像に対してノイズ低減処理が施される。そして、巡回型ノイズ低減部６２から出力される現フレームの出力画像が、ノイズ低減処理部６０の出力画像となる。また、出力画像は、次のフレームの入力画像の処理のためにフレームメモリ２０に一時的に記憶される（ＳＴＥＰ４）。

また、このときユーザから終了する指示が入力されているか否かを確認する（ＳＴＥＰ５）。終了する指示が入力されていない場合（ＳＴＥＰ５、ＮＯ）、ＳＴＥＰ１に戻って現フレームの入力画像と前フレームの出力画像との取得を行う。一方、終了する指示が入力されている場合（ＳＴＥＰ５、ＹＥＳ）は、終了する。

なお、ノイズ低減処理部６０でノイズ低減処理が施される画像は、ＲＡＷ画像（各画素が単色の信号値を備える画像）であっても構わないし、ＲＡＷ画像に色同時化処理を施して得られる色同時化画像（各画素が複数色の信号値を備える画像）であっても構わない。また、色同時化画像にノイズ低減処理を施す場合、各画素の輝度信号Ｙに基づいて行うこととしても構わない。

ただし、色同時化処理を行うと、ノイズが含まれる画素の画素値が、周囲の画素の画素値の算出に利用されるため、ノイズの影響が複数の画素に広がることとなる。そのため、ＲＡＷ画像を入力画像とするとノイズの拡散を抑制することができるため好ましい。

以下、各部の構成例について図面を参照して説明する。

＜巡回型ノイズ低減部＞
次に、図２に示した巡回型ノイズ低減部６２の構成の一例について図面を参照して説明する。図４は、巡回型ノイズ低減部の構成例を示すブロック図である。なお、本例の巡回型ノイズ低減部６２は一例に過ぎず、他の構成としても構わない。

図４に示すように、巡回型ノイズ低減部６２は、第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像と第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像とに基づいてノイズ除去量を算出するノイズ除去量算出部６２１と、第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像と第２インパルスノイズ低減部６１ｂから出力される前フレームの出力画像とに基づいて動き量を算出する動き量算出部６２２と、動き量に基づいて帰還係数を算出する帰還係数算出部６２３と、ノイズ除去量と帰還係数とに基づいて第１インパルスノイズ低減部６１ａから出力される現フレームの入力画像のランダムノイズを低減して現フレームの出力画像を生成するランダムノイズ低減部６２４と、を備える。

ノイズ除去量算出部６２１について図面を参照して説明する。図５は、ノイズ除去量算出部の構成例を示すブロック図である。図５に示すように、ノイズ除去量算出部６２１は、現フレームの入力画像と前フレームの出力画像との差分値を求める差分値算出部６２１ａと、差分値算出部６２１ａより得られる差分値に基づいてノイズ除去量を設定するノイズ除去量設定部６２１ｂと、を備える。

ノイズ除去量設定部６２１ｂは、例えば、図６に示すような方法でノイズ除去量を設定する。図６は、ノイズ除去量の設定方法の一例を示すグラフである。図６に示すように、ノイズ除去量設定部６２１ｂは、画素毎に求められる差分値ｘに基づいてノイズ除去量ｎ（ｘ）を設定する。なお、図６に示すようにノイズ除去量を設定する場合、ｎ（ｘ）は下記式（１）に示すものとなる。

上記式（１）に示されるｎ（ｘ）では、差分値ｘの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合、ノイズ除去量ｎ（ｘ）が抑制される。そのため、被写体や撮像装置の動きなどによって画素値に大きな変動が生じた場合に、ノイズによる変動と誤認されてノイズ除去量が大きく設定されることが抑制される。したがって、尾引きや残像などの発生が抑制される。

動き量算出部６２２について図面を参照して説明する。図７は、動き量算出部の構成例を示すブロック図である。図７に示すように、動き量算出部６２２は、現フレームの入力画像と前フレームの出力画像との差分値を求める差分値算出部６２２ａと、差分値算出部６２２ａより得られる差分値に基づいて動き量を設定する動き量設定部６２２ｂと、を備える。

動き量設定部６２２ｂは、例えば、注目画素の差分値の絶対値と、その周囲の複数の画素の差分値の絶対値と、を平滑化することによって、注目画素の動き量を算出する。

帰還係数算出部６２３について図面を参照して説明する。図８は、帰還係数の設定方法の一例を示すグラフである。図８に示すように、帰還係数は、動き量が増大するほど小さくなる。例えば、動き量が０であれば１となり、動き量が閾値Ｍ_thを超えると０となる。

ランダムノイズ低減部６２４は、図４に示すように、ノイズ除去量に帰還係数を乗じて除去値を算出する乗算部６２４ａと、現フレームの入力画像から除去値を減算する減算部６２４ｂと、を備える。

上述のように、動き量が大きいと帰還係数は小さくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量を大幅に低減した値となる。この場合、現フレームの入力画像と前フレームの出力画像との差分値は、被写体や撮像装置１の動きによって発生するブレなどに起因する可能性が高いものとなっている。そのため、除去値を小さいものとして、現フレームの入力画像を略そのまま現フレームの出力画像として出力する。これにより、尾引きや残像の発生を抑制する。

一方、動き量が小さいと帰還係数は大きくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量をあまり低減していない値となる。この場合、現フレームの入力画像と前フレームの出力画像との差分値は、ランダムノイズに起因する可能性が高いものとなっている。そのため、除去値を大きいものとして、現フレームの入力画像から効果的にランダムノイズを低減する。

＜第１及び第２インパルスノイズ低減部＞
次に、第１及び第２インパルスノイズ低減部６１ａ，６１ｂについて図面を参照して説明する。最初に、第１及び第２インパルスノイズ低減部６１ａ，６１ｂに共通する基本構成について説明し、その後に各実施例について説明する。

［基本構成］
まず、第１及び第２インパルスノイズ低減部６１ａ，６１ｂの基本構成について図面を参照して説明する。図９は、インパルスノイズ低減部の基本構成を示すブロック図である。なお、以下では、第１及び第２インパルスノイズ低減部６１ａ，６１ｂを一般化したものであるインパルスノイズ低減部６１について説明することとする。即ち、以下のインパルスノイズ低減部６１の説明は、第１及び第２インパルスノイズ低減部６１ａ，６１ｂの両方に当てはまるものである。

インパルスノイズ低減部６１は、入力される画像（現フレームの入力画像または前フレームの出力画像）からインパルスノイズを検出して検出結果を出力するノイズ検出部６１１と、ノイズ検出部６１１から出力される検出結果に基づいて入力される画像からインパルスノイズを低減するノイズ低減部６１２と、を備える。

第１及び第２インパルスノイズ低減部６１ａ，６１ｂは、少なくとも一方がノイズ検出部６１１を備える。ノイズ検出部６１１は、入力される画像の検出対象となる画素（以下、注目画素とする）にインパルスノイズが含まれているか否かを、注目画素の画素値及びその周辺の画素（以下、周辺画素とする）の画素値を用いて判定する。

この判定方法の一例について、図面を参照して説明する。図１０は、ノイズ検出部の判定動作の一例について説明する図である。なお、図１０（ａ）に示すように、本例では、注目画素の周囲に存在する８個の画素を周辺画素とする。即ち、注目画素と周辺画素とを合わせた３×３＝９個の画素の画素値Ｘ_c，Ｘ₀〜Ｘ₇を用いて判定処理を行うものとする。

例えば、周辺画素の画素値Ｘ₀〜Ｘ₇の平均値Ｘ_aveと、注目画素の画素値Ｘ_cとの差分を用いて判定を行う。例えば、平均値Ｘ_aveと注目画素の画素値Ｘ_cとの差分の絶対値が、所定の閾値αよりも大きいか否かで、注目画素の画素値Ｘ_cにインパルスノイズが含まれているか否かを判定する。

上記のように判定する場合、
｜Ｘ_ave−Ｘ_c｜≦α …（２）
であれば、注目画素の画素値Ｘ_cが、周辺画素の画素値Ｘ₀〜Ｘ₇から大きく突出したものとはならない。そのため、インパルスノイズが含まれるものではないと判定する（検出結果Ａ）。

一方、
｜Ｘ_ave−Ｘ_c｜＞α …（３）
であれば、注目画素の画素値Ｘ_cが、周辺画素の画素値Ｘ₀〜Ｘ₇から大きく突出したものとなる。そのため、インパルスノイズが含まれるものであると判定する（検出結果Ｂ）。

さらに、図１０（ｂ）に示すような判定を行うことも可能である。図１０（ｂ）は、画素を画素値の小さい順に並べるとともに、その大きさをグラフで表したものである。図１０（ｂ）に示す例では、注目画素の画素値Ｘ_cが平均値Ｘ_aveよりも大きく、上記式（３）の関係を満たす場合について示している。ただし、本例では、周辺画素の画素値Ｘ₁，Ｘ₂が、注目画素の画素値Ｘ_cに近い値であるものとする。

図１０（ｂ）に示すような場合、周辺画素の中に、注目画素の画素値Ｘ_cに近い画素値を有する画素（Ｘ₁，Ｘ₂）が存在する。そのため、注目画素の画素値Ｘ_cが、インパルスノイズの影響で突出したものであるのか、エッジ部であるために突出したものであるのか、が判別不能となる。このような場合、そのまま判別不能であると判定する（検出結果Ｃ）。

なお、図１０（ｂ）に示す判別不能な状態であることを判定するために、例えば、注目画素の画素値Ｘ_cに近い画素値（例えば、注目画素の画素値との差がある閾値以下）となる画素の個数を算出し、所定の個数よりも多い場合に判別不能としても構わない。また、注目画素の画素値Ｘ_cに近い画素値となる画素同士を比較して、画素値の差が小さい（例えば、差がある閾値以下）場合に判別不能としても構わない。

上述のように、ノイズ検出部６１１は、注目画素にインパルスノイズが含まれないことを示す検出結果Ａと、注目画素にインパルスノイズが含まれることを示す検出結果Ｂと、注目画素にインパルスノイズが含まれているかエッジ部であるかが判別不能であることを示す検出結果Ｃと、を出力する。

ノイズ低減部６１２は、入力される検出結果に基づいて、注目画素の画素値Ｘ_cの処理を行う。例えば、注目画素にインパルスノイズが含まれることを示す検出結果Ｂがノイズ低減部６１２に入力される場合などに、注目画素の画素値Ｘ_cを変更する。例えば、注目画素の画素値Ｘ_cを、以下に示すような補正画素値に変更する。

補正画素値として、例えば、所定の領域内（例えば、注目画素及び周辺画素を含む３×３の領域内）におけるメディアン値（大きさ順に並べたときに中間となる画素値）を用いても構わない。また、ピークカット値（大きさ順に並べたときに、端の画素値（注目画素の画素値）から例えば１つ分だけ内側の画素値）を用いても構わない。

また、所定の領域内の画素値の平均値を補正画素値としても構わない。特に、注目画素と隣接する画素であり注目画素の画素値に最も近い（差分が最も小さい）画素値を有する画素と、注目画素と、の画素値を平均した平均値を補正画素値としても構わない。

また、｜Ｘ_ave−Ｘ_c｜＝αを満たすようになるまで、注目画素の画素値Ｘ_cの突出を抑えた画素値を補正画素値としても構わない。即ち、Ｘ_c＝Ｘ_ave＋α（注目画素の画素値がＸ_aveより大きくなる方向に突出する場合）、または、Ｘ_c＝Ｘ_ave−α（注目画素の画素値がＸ_aveより小さくなる方向に突出する場合）を補正画素値としても構わない。

また、特定の方向（エッジ方向）に並ぶ画素の画素値の重みを大きくして、補正画素値を算出することも可能である。このような、エッジ方向に基づいて補正画素値を算出する場合について、図面を参照して説明する。図１１は、エッジ方向に基づいて補正画素値を算出する方法の一例を説明する図である。

図１１（ａ）は、注目画素を含む所定領域の画素の画素値を示すものである。また、図１１（ａ）に示す領域のエッジ方向を決定する方法として、例えば、図１１（ｂ），（ｃ）に示すフィルタを用いる方法がある。図１１（ｂ）に示すフィルタは、垂直方向の相関性を算出するものであり、図１１（ｃ）に示すフィルタは、水平方向の相関性を算出するものである。図１１（ｂ）に示すフィルタは、垂直方向に隣接する３画素に対して、中央の画素に２を乗じるとともにその両隣の画素に−１をそれぞれ乗じ、これらを合算して相関値を算出する。一方、図１１（ｃ）に示すフィルタは、水平方向に隣接する３画素に対して、中央の画素に２を乗じるとともにその両隣の画素に−１をそれぞれ乗じ、これらを合算して相関値を算出する。いずれの相関値も、絶対値が小さいほど相関が高いことを示すものとなる。

図１１（ａ）に示す場合、注目画素の画素値Ｘ_cが２０であると、水平方向（図中の左右方向）の画素値の相関値（−１６０）よりも、垂直方向（図中の上下方向）の画素値の相関値（２０）の方が絶対値が小さくなる。即ち、本例の場合、エッジ方向は垂直方向となる。

この場合、補正画素値を算出する際に、注目画素のエッジ方向（垂直方向）に隣接する画素の画素値（１０）の重みを、他の画素の画素値の重みよりも大きくしても構わない。特に、この画素値（１０）のみを用いて補正画素値を算出しても構わない。

このように、注目画素のエッジ方向に隣接する画素の画素値の重みを大きくして補正画素値を算出することとすると、より適切な補正画素値を用いて置換することが可能となる。特に、エッジ部にノイズが発生する場合に、中間の大きさとなる補正画素値が用いられることによって、エッジ部が不明瞭になることが抑制される。

なお、図１１（ｂ），（ｃ）では、水平方向及び垂直方向の相関値を調べる場合について示したが、斜め方向の相関値を調べることとしても構わない。なお、斜め方向の相関値を求めるフィルタのフィルタ係数も、水平方向及び垂直方向のフィルタのフィルタ係数と同様（例えば、中央が２で両端が−１）のものとすることができる。

また、上述した説明において、ＲＡＷ画像に対してノイズ低減処理を施す場合、注目画素及び周辺画素は、同色の信号値を備える画素を指すものとすると好ましい。ＲＡＷ画像を用いる場合の注目画素及び周辺画素の設定方法の一例について、図面を参照して説明する。図１２は、ＲＡＷ画像の画素の配列の一例を示す図である。なお、図１２では、Ｒの画素が（２ｎ，２ｍ−１）に位置し、Ｂの画素が（２ｎ−１，２ｍ）に位置し、ＧＲ（Ｒが存在する行（水平方向）のＧ）の画素が（２ｎ−１，２ｍ−１）に位置し、ＧＢ（Ｂが存在する行のＧ）の画素が（２ｎ，２ｍ）に位置する場合について示している（ｎ，ｍは自然数）。また、左上のＧＲ１の位置を（１，１）とし、右下のＧＢ１６の位置を（８，８）とする。

注目画素の位置を（Ｘ，Ｙ）とすると、周辺画素は注目画素の周囲の８個の画素（Ｘ−２，Ｙ−２）、（Ｘ，Ｙ−２）、（Ｘ＋２，Ｙ−２）、（Ｘ−２，Ｙ）、（Ｘ＋２，Ｙ）、（Ｘ−２，Ｙ＋２）、（Ｘ，Ｙ＋２）、（Ｘ＋２，Ｙ＋２）となる。例えば、図１２のＲ６を注目画素とすると、周辺画素はＲ１，Ｒ２，Ｒ３，Ｒ５，Ｒ７，Ｒ９，Ｒ１０，Ｒ１１となる。なお、Ｂ、ＧＢ、ＧＲについても同様の関係となる。

また、色同時化画像を用いる場合は、注目画素と隣接する画素を周辺画素とすることができる。また、注目画素及び周辺画素を３×３＝９個とする場合を例に挙げて説明したが、これ以外の個数（例えば、５×５や７×５など）としても構わない。ただし、注目画素の位置を領域の中心とすると好ましい。

また、ノイズ検出部６１１から出力される検出結果と、これに基づいて行われるノイズ低減部６１２の処理と、の関係については、以下の各実施例において詳細に説明する。

［第１実施例］
次に、第１及び第２インパルスノイズ低減部の第１実施例について図面を参照して説明する。図１３は、第１及び第２インパルスノイズ低減部の第１実施例の構成を示すブロック図である。なお、インパルスノイズ低減部の基本構成について示した図９と同様となる部分には、同様の名称を付してその詳細な説明については省略するものとする。

図１３に示すように、本実施例の第１インパルスノイズ低減部６１ａ１は、第１ノイズ低減部６１２ａを備える。なお、第１ノイズ低減部６１２ａによるインパルスノイズを低減する処理は、図９に示したノイズ低減部６１２の処理と同様のものとなる。

また、本実施例の第２インパルスノイズ低減部６１ｂ１は、第２ノイズ検出部６１１ｂと、第２ノイズ低減部６１２ｂと、を備える。なお、第２ノイズ検出部６１１ｂによるインパルスノイズを検出する処理や、第２ノイズ低減部６１２ｂによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。

また、本実施例の第１及び第２インパルスノイズ低減部６１ａ１，６１ｂ１では、第２ノイズ検出部６１１ｂによって生成される第２検出結果が、第１ノイズ低減部６１２ａと、第２ノイズ低減部６１２ｂと、にそれぞれ入力される。

また、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂにおいてある処理タイミングに処理されるそれぞれの注目画素は、現フレームの入力画像及び前フレームの出力画像中の対応する位置（即ち、同じ位置）のものとなる。

第１及び第２インパルスノイズ低減部６１ａ１，６１ｂ１の動作の一例について図面を参照して説明する。図１４は、第１及び第２インパルスノイズ低減部の第１実施例の動作例を示すフローチャートである。なお、図１４に示すフローチャートは、図３に示すフローチャートのＳＴＥＰ２ａ〜２ｃの動作（インパルスノイズの検出及び低減処理）の詳細を示すものである。

図１４に示すように、本実施例の第１及び第２インパルスノイズ低減部６１ａ１，６１ｂ１の動作が開始されると、まず、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂのそれぞれにおいて、処理対象となる注目画素及び周辺画素の画素値が取得される（ＳＴＥＰ２０１）。

次に、ＳＴＥＰ２０１で画素値が取得された注目画素に対して、第２ノイズ検出部６１１ｂがインパルスノイズの有無を検出し、第２検出結果を生成及び出力する。第２検出結果が検出結果Ａ（注目画素の画素値にインパルスノイズが含まれない）である場合（ＳＴＥＰ２０２、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２０３）。

第２検出結果が、検出結果Ａではなく（ＳＴＥＰ２０２、ＮＯ）、検出結果Ｂ（注目画素の画素値にインパルスノイズが含まれる）である場合（ＳＴＥＰ２０４、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２０５）。

第２検出結果が検出結果Ｂではない場合（ＳＴＥＰ２０４、ＮＯ）、第２検出結果は検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）である。この場合、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２０６）。

そして、ＳＴＥＰ２０３、ＳＴＥＰ２０５またはＳＴＥＰ２０６の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像の全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２０７、ＮＯ）、ＳＴＥＰ２０１に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２０７、ＹＥＳ）、終了する。

このように構成すると、第２ノイズ検出部６１１ｂにおいて、ランダムノイズが低減された前フレームの出力画像に対してインパルスノイズの検出が行われることとなる。そのため、インパルスノイズの検出精度を高めることが可能となる。したがって、第１ノイズ低減部６１２ａにおいて、現フレームの入力画像から精度良くインパルスノイズを低減することが可能となる。

また、第１ノイズ低減部６１２ａと同様に、第２ノイズ低減部６１２ｂにおいても、前フレームの出力画像からインパルスノイズが低減される。そのため、巡回型ノイズ低減部６２に入力される２つの画像が、インパルスノイズが低減されたものとなる。

巡回型ノイズ低減部６２に入力される一方の画像にでもインパルスノイズが含まれていると、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留する。しかしながら、本実施例のように巡回型ノイズ低減部６２に入力される２つの画像から揃ってインパルスノイズを低減することとすると、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。

さらに、第２インパルスノイズ低減部６１ｂ１のみがインパルスノイズの検出を行うだけで、第１インパルスノイズ低減部６１ａ１及び第２インパルスノイズ低減部６１ｂ１の両方で、インパルスノイズを低減することが可能となる。したがって、構成を簡略化することが可能となる。

［第２実施例］
次に、第１及び第２インパルスノイズ低減部の第２実施例について図面を参照して説明する。図１５は、第１及び第２インパルスノイズ低減部の第２実施例の構成を示すブロック図である。なお、インパルスノイズ低減部の基本構成について示した図９と同様となる部分には、同様の名称を付してその詳細な説明については省略するものとする。

図１５に示すように、本実施例の第１インパルスノイズ低減部６１ａ２は、第１ノイズ検出部６１１ａと、第１ノイズ低減部６１２ａと、第１ノイズ検出部６１１ａから出力される第１検出結果を調整して第１ノイズ低減部６１２ａに出力する第１検出結果調整部６１３ａと、を備える。なお、第１ノイズ検出部６１１ａによるインパルスノイズを検出する処理や、第１ノイズ低減部６１２ａによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。

また、本実施例の第２インパルスノイズ低減部６１ｂ２は、第２ノイズ検出部６１１ｂと、第２ノイズ低減部６１２ｂと、を備える。なお、第２ノイズ検出部６１１ｂによるインパルスノイズを検出する処理や、第２ノイズ低減部６１２ｂによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。

また、本実施例の第１及び第２インパルスノイズ低減部６１ａ２，６１ｂ２では、第２ノイズ検出部６１１ｂによって生成される第２検出結果が、第１検出結果調整部６１３ａと、第２ノイズ低減部６１２ｂと、にそれぞれ入力される。

また、第１実施例と同様に、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂにおいてある処理タイミングに処理されるそれぞれの注目画素は、現フレームの入力画像及び前フレームの出力画像中の対応する位置（即ち、同じ位置）のものとなる。

第１及び第２インパルスノイズ低減部６１ａ２，６１ｂ２の動作の一例について図面を参照して説明する。図１６は、第１及び第２インパルスノイズ低減部の第２実施例の動作例を示すフローチャートである。なお、図１６に示すフローチャートは、図３に示すフローチャートのＳＴＥＰ２ａ〜２ｃの動作（インパルスノイズの検出及び低減処理）の詳細を示すものである。

図１６に示すように、本実施例の第１及び第２インパルスノイズ低減部６１ａ２，６１ｂ２の動作が開始されると、まず、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂのそれぞれにおいて、処理対象となる注目画素及び周辺画素の画素値が取得される（ＳＴＥＰ２１０）。

次に、ＳＴＥＰ２１０で画素値が取得された注目画素に対して、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂのそれぞれがインパルスノイズの有無を検出し、第１検出結果及び第２検出結果を出力する。第１検出結果が検出結果Ａ（注目画素の画素値にインパルスノイズが含まれない）である場合（ＳＴＥＰ２１１、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２１２）。

第１検出結果が、検出結果Ａではなく（ＳＴＥＰ２１１、ＮＯ）、検出結果Ｂ（注目画素の画素値にインパルスノイズが含まれる）である場合（ＳＴＥＰ２１３、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２１４）。

上記のように、第１検出結果が検出結果Ａまたは検出結果Ｂである場合（ＳＴＥＰ２１１またはＳＴＥＰ２１３、ＹＥＳ）、第１検出結果調整部６１３ａは、第１ノイズ検出部６１１ａから出力される第１検出結果を調整することなく、第１ノイズ低減部６１２ａに入力させる。またこの場合、第２検出結果が検出結果Ｂであれば（ＳＴＥＰ２１５、ＹＥＳ）、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２１６）。

一方、第２検出結果が検出結果Ｂでなければ（ＳＴＥＰ２１５、ＮＯ）、即ち、第２検出結果が検出結果Ａまたは検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）であれば、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２１７）。

そして、ＳＴＥＰ２１６またはＳＴＥＰ２１７の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２１８、ＮＯ）、ＳＴＥＰ２１０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２１８、ＹＥＳ）、終了する。

上記の動作は、第１検出結果が検出結果Ａまたは検出結果Ｂの場合である（ＳＴＥＰ２１１またはＳＴＥＰ２１３、ＹＥＳ）。これ以外の場合（ＳＴＥＰ２１１及びＳＴＥＰ２１３、ＮＯ）、即ち、第１検出結果が検出結果Ｃである場合は、以下のような動作になる。

第２検出結果が検出結果Ａである場合（ＳＴＥＰ２１９、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２２０）。

第２検出結果が、検出結果Ａではなく（ＳＴＥＰ２１９、ＮＯ）、検出結果Ｂである場合（ＳＴＥＰ２２１、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２２２）。

第２検出結果が検出結果Ｂではない場合（ＳＴＥＰ２２１、ＮＯ）、第２検出結果は検出結果Ｃである。この場合、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２２３）。

上記のように、第１検出結果が検出結果Ｃである場合、第１検出結果調整部６１３ａは、第２検出結果に基づいて第１ノイズ検出部６１１ａから出力される第１検出結果を調整し、第１ノイズ低減部６１２ａに入力させる。そして、ＳＴＥＰ２２０、ＳＴＥＰ２２２及びＳＴＥＰ２２３のように第１ノイズ低減部６１２ａを動作させる。

ＳＴＥＰ２２０、ＳＴＥＰ２２２またはＳＴＥＰ２２３の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２１８、ＮＯ）、ＳＴＥＰ２１０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２１８、ＹＥＳ）、終了する。

このように構成すると、第１ノイズ検出部６１１ａにおける第１検出結果が検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）となる場合に、第１ノイズ低減部６１２ａが第２ノイズ検出部６１１ｂの第２検出結果に基づいてインパルスノイズを低減することとなる。したがって、第１ノイズ低減部６１２ａにおいて、現フレームの入力画像から精度良くインパルスノイズを低減することが可能となる。

また、第１ノイズ低減部６１２ａと同様に、第２ノイズ低減部６１２ｂにおいても、前フレームの出力画像からインパルスノイズが低減される。そのため、巡回型ノイズ低減部６２に入力される２つの画像が、インパルスノイズが低減されたものとなる。したがって、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。

［第３実施例］
次に、第１及び第２インパルスノイズ低減部の第３実施例について図面を参照して説明する。図１７は、第１及び第２インパルスノイズ低減部の第３実施例の構成を示すブロック図である。なお、インパルスノイズ低減部の基本構成について示した図９と同様となる部分には、同様の名称を付してその詳細な説明については省略するものとする。

図１７に示すように、本実施例の第１インパルスノイズ低減部６１ａ３は、第１ノイズ検出部６１１ａと、第１ノイズ低減部６１２ａと、第１ノイズ検出部６１１ａから出力される第１検出結果を調整して第１ノイズ低減部６１２ａに出力する第１検出結果調整部６１３ａと、を備える。なお、第１ノイズ検出部６１１ａによるインパルスノイズを検出する処理や、第１ノイズ低減部６１２ａによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。

また、本実施例の第２インパルスノイズ低減部６１ｂ３は、第２ノイズ検出部６１１ｂと、第２ノイズ低減部６１２ｂと、第２ノイズ検出部６１１ｂから出力される第２検出結果を調整して第２ノイズ低減部６１２ｂに出力する第２検出結果調整部６１３ｂと、を備える。なお、第２ノイズ検出部６１１ｂによるインパルスノイズを検出する処理や、第２ノイズ低減部６１２ｂによるインパルスノイズを低減する処理は、図９に示したノイズ検出部６１１やノイズ低減部６１２の処理と同様のものとなる。

また、本実施例の第１及び第２インパルスノイズ低減部６１ａ３，６１ｂ３では、第１ノイズ検出部６１１ａによって生成される第１検出結果が、第２検出結果調整部６１３ｂにも入力される。また、第２ノイズ検出部６１１ｂによって生成される第２検出結果が、第１検出結果調整部６１３ａにも入力される。

第１及び第２インパルスノイズ低減部６１ａ３，６１ｂ３の動作の一例について図面を参照して説明する。図１８は、第１及び第２インパルスノイズ低減部の第３実施例の動作例を示すフローチャートである。なお、図１８に示すフローチャートは、図３に示すフローチャートのＳＴＥＰ２ａ〜２ｃの動作（インパルスノイズの検出及び低減処理）の詳細を示すものである。

図１８に示すように、本実施例の第１及び第２インパルスノイズ低減部６１ａ３，６１ｂ３の動作が開始されると、まず、第１ノイズ検出部６１１ａ、第１ノイズ低減部６１２ａ、第２ノイズ検出部６１１ｂ及び第２ノイズ低減部６１２ｂのそれぞれにおいて、処理対象となる注目画素及び周辺画素の画素値が取得される（ＳＴＥＰ２３０）。

次に、ＳＴＥＰ２３０で画素値が取得された注目画素に対して、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂのそれぞれがインパルスノイズの有無を検出し、第１検出結果及び第２検出結果を出力する。第１検出結果が検出結果Ａ（注目画素の画素値にインパルスノイズが含まれない）である場合（ＳＴＥＰ２３１、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２３２）。

このとき、第２検出結果が検出結果Ｂ（注目画素の画素値にインパルスノイズが含まれる）であれば（ＳＴＥＰ２３３、ＹＥＳ）、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２３４）。一方、第２検出結果が検出結果Ｂでなければ（ＳＴＥＰ２３３、ＮＯ）、即ち、第２検出結果が検出結果Ａまたは検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）であれば、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２３５）。

第１検出結果が、検出結果Ａではなく（ＳＴＥＰ２３１、ＮＯ）、検出結果Ｂである場合（ＳＴＥＰ２３６、ＹＥＳ）、第１ノイズ低減部６１２ａは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２３７）。

このとき、第２検出結果が検出結果Ａであれば（ＳＴＥＰ２３８、ＹＥＳ）、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２３５）。一方、第２検出結果が検出結果Ａでなければ（ＳＴＥＰ２３８、ＮＯ）、即ち、第２検出結果が検出結果Ｂまたは検出結果Ｃであれば、第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２３４）。

上記のように、第１検出結果が検出結果Ａまたは検出結果Ｂである場合（ＳＴＥＰ２３１またはＳＴＥＰ２３６、ＹＥＳ）、第１検出結果調整部６１３ａは、第１ノイズ検出部６１１ａから出力される第１検出結果を調整することなく、第１ノイズ低減部６１２ａに入力させる。第２検出結果が検出結果Ａまたは検出結果Ｂである場合も同様であり、第２検出結果調整部６１３ｂは、第２ノイズ検出部６１１ｂから出力される第２検出結果を調整することなく、第２ノイズ低減部６１２ｂに入力させる。

ここで、第２検出結果が検出結果Ｃの場合、第２検出結果調整部６１３ｂは、第１検出結果に基づいて第２ノイズ検出部６１１ａから出力される第２検出結果を調整して、第２ノイズ低減部６１２ｂに入力させる。具体的には、第１検出結果が検出結果Ａであれば、第２ノイズ低減部６１２ｂが注目画素に対してインパルスノイズの低減処理を施さないように、第２検出結果の調整を行う。また、第１検出結果が検出結果Ｂであれば、第２ノイズ低減部６１２ｂが注目画素に対してインパルスノイズの低減処理を施すように、第２検出結果の調整を行う。

そして、ＳＴＥＰ２３４またはＳＴＥＰ２３５の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２３９、ＮＯ）、ＳＴＥＰ２３０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２３９、ＹＥＳ）、終了する。

上記の動作は、第１検出結果が検出結果ＡまたはＢの場合である（ＳＴＥＰ２３１またはＳＴＥＰ２３６、ＹＥＳ）。これ以外の場合（ＳＴＥＰ２３１及びＳＴＥＰ２３６、ＮＯ）、即ち、第１検出結果が検出結果Ｃである場合は、以下のような動作になる。

第２検出結果が検出結果Ａである場合（ＳＴＥＰ２４０、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２４１）。

第２検出結果が、検出結果Ａではなく（ＳＴＥＰ２４０、ＮＯ）、検出結果Ｂである場合（ＳＴＥＰ２４２、ＹＥＳ）、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施すこととする（ＳＴＥＰ２４３）。

第２検出結果が検出結果Ｂではない場合（ＳＴＥＰ２４２、ＮＯ）、第２検出結果は検出結果Ｃである。この場合、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂは、注目画素に対してインパルスノイズの低減処理を施さないこととする（ＳＴＥＰ２４４）。このとき、第２検出結果調整部６１３ｂは、第１検出結果に基づいて第２ノイズ検出部６１１ｂから出力される第２検出結果を調整して、注目画素に対してインパルスノイズの低減処理を施さないように第２ノイズ低減部６１２ｂを動作させる。

上記のように、第１検出結果が検出結果Ｃである場合（ＳＴＥＰ２３６、ＮＯ）、第１検出結果調整部６１３ａは、第２検出結果に基づいて第１ノイズ検出部６１１ａから出力される第１検出結果を調整して、第１ノイズ低減部６１２ａに入力させる。そして、ＳＴＥＰ２４１、ＳＴＥＰ２４３及びＳＴＥＰ２４４のように第１ノイズ低減部６１２ａを動作させる。

ＳＴＥＰ２４１、ＳＴＥＰ２４３またはＳＴＥＰ２４４の動作が行われると、この注目画素に対する処理を終了する。このとき、現フレームの入力画像及び前フレームの出力画像において、全ての画素に対して処理が終わっていない場合（ＳＴＥＰ２３９、ＮＯ）、ＳＴＥＰ２３０に戻って次の注目画素及び周辺画素の画素値を取得する。一方、全ての画素に対して処理が終わっている場合（ＳＴＥＰ２３９、ＹＥＳ）、終了する。

このように構成すると、第１ノイズ検出部６１１ａにおける第１検出結果が検出結果Ｃ（注目画素の画素値がインパルスノイズによって突出したのかエッジ部であるために突出したのかが判別不能）となる場合に、第１ノイズ低減部６１２ａが第２ノイズ検出部６１１ｂの第２検出結果に基づいてインパルスノイズを低減することとなる。また、第２ノイズ検出部６１１ｂにおける第２検出結果が検出結果Ｃとなる場合に、第２ノイズ低減部６１２ｂが第１ノイズ検出部６１１ａの第１検出結果に基づいてインパルスノイズを低減することとなる。したがって、第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂにおいて、現フレームの入力画像及び前フレームの出力画像から精度良くインパルスノイズを低減することが可能となる。

また、巡回型ノイズ低減部６２に入力される２つの画像が、インパルスノイズが低減されたものとなる。したがって、巡回型ノイズ低減部６２から出力される出力画像中にインパルスノイズが残留することを抑制することが可能となる。

［変形例］
上記の各実施例では、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂが出力する第１及び第２検出結果を、検出結果Ａ〜Ｃの各状態を持つものとしたが、注目画素に対するインパルスノイズの有無の確からしさを示すパラメータであるノイズ判定値Ｋを用いても構わない。

具体的に例えば、ノイズ判定値Ｋは０以上１以下の値を取るものとし、大きいほど注目画素にインパルスノイズが含まれる可能性が高いものとする。このノイズ判定値Ｋの算出方法の一例について図面を参照して説明する。図１９は、ノイズ判定値Ｋの算出方法の一例について説明するグラフである。

図１９に示すように、ノイズ判定値Ｋは、所定の閾値α₁よりも｜Ｘ_ave−Ｘ_c｜が小さい場合は値を０とする。また、所定の閾値α₂よりも｜Ｘ_ave−Ｘ_c｜が大きい場合は値を１とする。さらに、｜Ｘ_ave−Ｘ_c｜が閾値α₁以上閾値α₂以下である場合、
Ｋ＝｜Ｘ_ave−Ｘ_c｜／（α₂−α₁）−α₁／（α₂−α₁）
とする。

また、ノイズ判定値Ｋを用いた第１ノイズ低減部６１２ａ及び第２ノイズ低減部６１２ｂによる注目画素の処理方法の具体例について説明する。本例では、下記式（４）のように、処理対象となる注目画素の画素値Ｘ_cと、［基本構成］において説明した補正画素値Ｘ_ceと、を加重加算して処理後の注目画素の画素値Ｘ_cpを算出する。なお、インパルスノイズの低減をしない場合は、Ｋ＝０として、Ｘ_cp＝Ｘ_cとする。
Ｘ_cp＝Ｋ×Ｘ_ce＋（１−Ｋ）×Ｘ_c …（４）

また、第２及び第３実施例の第１検出結果調整部６１３ａ及び第２検出結果調整部６１３ｂは、第１検出結果及び第２検出結果であるノイズ判定値の値を変更することによって調整を行う。このとき、インパルスノイズを低減する処理の有無だけでなく、程度の大小の調整をも行うことが可能となる。例えば、第１検出結果調整部６１３ａに入力される第１検出結果であるノイズ判定値が小さく、第２検出結果であるノイズ判定値が大きい場合に、第１検出結果調整部６１３ａが、これらのノイズ判定値の中間の値を調整後の第１検出結果として第１ノイズ低減部６１２ａに出力することとしても構わない。

なお、閾値α₁と図１０（ｂ）に示した閾値αとが略等しい値となるようにしても構わない。

また、上記の各実施例について、手ぶれ補正処理が施された入力画像が入力されるものとしても構わない。まず、手ぶれ補正について図面を参照して説明する。図２０は、手ぶれ補正の一例について説明する図である。なお、図２０に示す手ぶれ補正は、撮像して得られた撮像画像（実線の領域）１００，１１０から、入力画像（破線の領域）１０１，１１１を切り出して生成することによって、ぶれを補正するものである。また、図２０（ａ）は前フレーム、図２０（ｂ）は現フレームを示すものである。

図２０（ａ），図２０（ｂ）に示すように、現フレームと前フレームとの間に撮像装置がぶれたため、撮像画像１００，１１０のそれぞれにおける被写体Ｓの位置は異なるものとなっている。しかしながら、撮像画像１００，１１０を切り出して生成されるそれぞれの入力画像１０１，１１１における被写体Ｓの位置は、略等しいものとなる。

入力画像１０１，１１１のそれぞれにおける被写体Ｓの位置を略等しいものとするために、例えば動き検出が行われる。動き検出には、例えば、公知又は周知の画像マッチング法（例えば、ブロックマッチング法や代表点マッチング法）を用いることができる。例えば、撮像画像１００，１０１を所定の分割領域に分割して、分割領域毎にこれらの方法を用いて動きベクトルを検出する。そして、検出された分割領域毎の動きベクトルを平均化することにより、撮像画像１００，１１０間の全体の動きベクトルを算出することができる。

得られた動きベクトルが示す動きがなくなるように、現フレームの撮像画像１１０から入力画像１１１の切り出しを行う。具体的に、本例のように動きベクトルが右向きの場合であれば、入力画像１１１の切り出し位置を右方向にずらすことで、入力画像１１１中の被写体Ｓの位置を、前フレームの入力画像１１０における被写体Ｓの位置と略等しくする。

ところで、上述のようにインパルスノイズＩＭは、撮像画像１００，１０１の決まった位置に発生しやすい。そのため、このような手ぶれ補正を行う場合、入力画像１０１，１１１中のインパルスノイズＩＭの位置が、前フレームと現フレームとで異なるものとなる。

このような手ぶれ補正処理が入力画像に施されている場合、インパルスノイズＩＭの位置が異なることを利用して、検出及び低減することができる。具体的には、第２及び第３実施例に示したように、第１ノイズ検出部６１１ａ及び第２ノイズ検出部６１１ｂのそれぞれでインパルスノイズの検出を行い、第１検出結果と第２検出結果とを比較することで、インパルスノイズの有無を判定することができる。例えば、一方の検出結果が平坦（所定の領域内の画素値の変動が小さい）であり、他方の検出結果が突出（注目画素の画素値が周辺画素の画素値から突出した値となる）であれば、他方の画像の注目画素はインパルスノイズである可能性が高いものとなる。

このように、手ぶれ補正と組み合わせる場合、インパルスノイズを精度良く検出して効果的に低減することが可能となる。特に、常にある位置で発生するインパルスノイズを好適に検出及び除去することが可能となる。

＜その他の構成例＞
なお、上述したノイズ低減処理は、例えば、動画の撮像時や再生時、静止画の撮像時などに利用することが可能である。ただし、静止画の撮像時に利用する場合、撮像時に複数フレームの画像を取得することとする。

また、本発明の実施形態における撮像装置１について、画像処理部６やノイズ低減処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１、図２のノイズ低減処理部６０、図１３、図１５及び図１７の第１インパルスノイズ低減部６１ａ１〜６１ａ３及び第２インパルスノイズ低減部６１ｂ１〜６１ｂ３は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１やノイズ低減処理部６０、第１及び第２インパルスノイズ低減部６１ａ１〜６１ａ３，６１ｂ１〜６１ｂ３を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。

本発明は、入力される画像に対してノイズ低減処理を施す画像処理装置撮像装置に適用することが可能である。また、この画像処理装置を備えたデジタルビデオカメラなどの撮像装置に適用可能である。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の基本構成を示すブロック図である。は、ノイズ低減処理部の動作を示すフローチャートである。は、巡回型ノイズ低減部の構成例を示すブロック図である。は、ノイズ除去量算出部の構成例を示すブロック図である。は、ノイズ除去量の設定方法の一例を示すグラフである。は、ノイズ除去量算出部の構成例を示すブロック図である。は、帰還係数の設定方法の一例を示すグラフである。は、インパルスノイズ低減部の基本構成を示すブロック図である。は、ノイズ検出部の判定動作の一例について説明する図である。は、エッジ方向に基づいて補正画素値を算出する方法の一例を説明する図である。は、ＲＡＷ画像の画素の配列の一例を示す図である。は、第１及び第２インパルスノイズ低減部の第１実施例の構成を示すブロック図である。は、第１及び第２インパルスノイズ低減部の第１実施例の動作例を示すフローチャートである。は、第１及び第２インパルスノイズ低減部の第２実施例の構成を示すブロック図である。は、第１及び第２インパルスノイズ低減部の第２実施例の動作例を示すフローチャートである。は、第１及び第２インパルスノイズ低減部の第３実施例の構成を示すブロック図である。は、第１及び第２インパルスノイズ低減部の第３実施例の動作例を示すフローチャートである。は、ノイズ判定値Ｋの算出方法の一例について説明するグラフである。は、手ぶれ補正の一例について説明する図である。

符号の説明

１撮像装置
２イメージサンサ
３レンズ部
４ＡＦＥ
５集音部
６画像処理部
６０ノイズ低減処理部
６１インパルスノイズ低減部
６１１ノイズ検出部
６１１ａ第１ノイズ検出部
６１１ｂ第１ノイズ検出部
６１２ノイズ低減部
６１２ａ第１ノイズ低減部
６１２ｂ第２ノイズ低減部
６１３ａ第１検出結果調整部
６１３ｂ第２検出結果調整部
６１ａ第１インパルスノイズ低減部
６１ｂ第２インパルスノイズ低減部
６２巡回型ノイズ低減部
７音声処理部
８圧縮処理部
９ドライバ部
１０外部メモリ
１１伸長処理部
１２画像出力回路部
１３音声出力回路部
１４ＣＰＵ
１５メモリ
１６操作部
１７ＴＧ部
１８バス
１９バス
２０フレームメモリ

Claims

入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、
前記ノイズ低減処理部が、
前記入力画像である第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、が入力されるとともに、前記第１入力画像と前記第２出力画像との差分に基づいて、前記第１入力画像からランダムノイズを低減させて前記出力画像である第１出力画像を生成する巡回型ノイズ低減部と、
前記巡回型ノイズ低減部に入力される前記第１入力画像からインパルスノイズを低減する第１インパルスノイズ低減部と、
前記巡回型ノイズ低減部に入力される前記第２出力画像からインパルスノイズを低減する第２インパルスノイズ低減部と、
を備えることを特徴とする画像処理装置。
前記第１インパルスノイズ低減部及び前記第２インパルスノイズ低減部の少なくとも一方がインパルスノイズの検出を行い、その検出結果を他方に出力し、
他方が前記検出結果を用いてインパルスノイズを低減することを特徴とする請求項１に記載の画像処理装置。
前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、
前記第１インパルスノイズ低減部が、前記第２検出結果に基づいて前記第１入力画像からインパルスノイズを低減することを特徴とする請求項２に記載の画像処理装置。
前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、
前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、当該第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減することを特徴とする請求項２に記載の画像処理装置。
前記第１インパルスノイズ低減部が、前記第１入力画像からインパルスノイズを検出して第１検出結果を生成し、前記第２インパルスノイズ低減部へ出力し、
前記第２インパルスノイズ低減部が、前記第２出力画像からインパルスノイズを検出して第２検出結果を生成し、前記第１インパルスノイズ低減部へ出力し、
前記第１インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第１入力画像からインパルスノイズを低減し、
前記第２インパルスノイズ低減部が、前記第１検出結果と前記第２検出結果とに基づいて前記第２出力画像からインパルスノイズを低減することを特徴とする請求項２に記載の画像処理装置。
撮像して前記入力画像を順次生成する撮像部と、
請求項１〜請求項５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。