JP2008124764A - 撮像システム、画像処理プログラム - Google Patents

撮像システム、画像処理プログラム Download PDF

Info

Publication number
JP2008124764A
JP2008124764A JP2006305916A JP2006305916A JP2008124764A JP 2008124764 A JP2008124764 A JP 2008124764A JP 2006305916 A JP2006305916 A JP 2006305916A JP 2006305916 A JP2006305916 A JP 2006305916A JP 2008124764 A JP2008124764 A JP 2008124764A
Authority
JP
Japan
Prior art keywords
noise reduction
noise
unit
target pixel
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006305916A
Other languages
English (en)
Other versions
JP4653059B2 (ja
Inventor
Takeo Tsuruoka
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006305916A priority Critical patent/JP4653059B2/ja
Priority to PCT/JP2007/071088 priority patent/WO2008056565A1/ja
Publication of JP2008124764A publication Critical patent/JP2008124764A/ja
Priority to US12/463,472 priority patent/US8184181B2/en
Application granted granted Critical
Publication of JP4653059B2 publication Critical patent/JP4653059B2/ja
Priority to US13/274,087 priority patent/US8488026B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影状況に最適化された高精度なノイズ低減処理を可能とする撮像システム等を提供する。
【解決手段】ＣＣＤ１からの映像信号から注目画素と近傍画素とを含む局所領域を抽出し、局所領域内において注目画素に対してエッジ保存型の適用的なノイズ低減処理を行うことによりエッジ成分の影響を概略的に除去する第１ノイズ低減部１１４と、この第１ノイズ低減部１１４によりノイズ低減された注目画素値に基づいて注目画素に関するノイズ量を動的に推定するノイズ推定部１１５と、第１ノイズ低減部１１４によりノイズ低減された注目画素値と、ノイズ推定部１１５により推定されたノイズ量と、に基づき、注目画素に対してノイズ低減処理を行う第２ノイズ低減部１１６と、を備えた撮像システム。
【選択図】図１

Description

本発明は、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システム、画像処理プログラムに関する。
撮像系は、撮像素子と、この撮像素子に付随するアナログ回路およびＡ／Ｄコンバータなどと、を備えて構成されている。この撮像系から得られる映像信号は、一般にノイズ成分を含有しており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。
上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。
一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。
後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂcDにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適用的なノイズ低減処理が行われるようになっている。
また、特開２００６−２３９５９号公報には、ノイズモデルに基づいてノイズ量をブロック単位に推定し、ブロック単位にノイズ低減処理を制御する技術が記載されている。さらに、該公報には、ノイズ量を推定するにあたりブロック内で注目画素と類似する領域を選択して、選択された領域の平均値を用いることが記載されている。これにより、エッジ部の影響を抑制したスペースバリアントなノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
さらに、特開２００６−２４６０８０号公報には、バイラテラルフィルタと呼ばれるエッジ保存型の平滑化処理と鮮鋭化処理とを組み合わせた技術が記載されている。これにより、ノイズを低減しながらエッジ成分の劣化が小さい画像を得ることができる。
ところで近年、ノイズ等の劣化要因により劣化した画像を、非線形拡散方程式に基づき拡散画像を算出することにより回復する技術が提案されており、例えば、「IEEE SIGNAL PROCESSING MAGAZINE, SEPTEMBER 2002」の第１６頁〜第２５頁に、該技術の一例が記載されている。
特開２００１−１５７０５７号公報 特開２００６−２３９５９号公報 特開２００６−２４６０８０号公報
しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開２００１−１５７０５７号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、該公報には、ノイズ量からフィルタリングの周波数特性を制御することが記載されているが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズとを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。
これに対して、上記特開２００６−２３９５９号公報に記載されたものでは、注目画素と類似する領域を選択して平均値を算出するために、エッジ成分の影響を抑制することができる。しかし、ブロック内に存在するエッジ成分の割合が増加すると、選択される類似領域が減少し、平均値の算出精度が低下する。このために、複雑なエッジ領域においては、ノイズ量の推定精度が低下してしまうという課題がある。
さらに、上記特開２００６−２４６０８０号公報に記載されたバイラテラルフィルタは、注目画素と近傍画素との距離および信号差に基づき、該近傍画素に関する重み係数を適用的に求めてフィルタリング処理を行うものである。ここで、距離および信号差に基づき重み係数を導く過程においてはガウス関数を用いているが、該公報に記載の技術では、このガウス関数のパラメータは静的に与えられる。しかし、ノイズ量は信号レベルに応じて動的に変化するために、ノイズの発生量に応じた最適な重み係数を算出することができず、ノイズ低減の精度が劣るという課題がある。
本発明は上記事情に鑑みてなされたものであり、撮影状況に最適化された高精度なノイズ低減処理を可能とする撮像システム、画像処理プログラムを提供することを目的としている。
また、本発明は、複雑なエッジ構造部においてもノイズ低減処理の精度が低下することのない、安定的かつ信頼性の高い撮像システム、画像処理プログラムを提供することを目的としている。
上記の目的を達成するために、本発明による撮像システムは、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、上記映像信号からノイズ低減処理を行う対象である注目画素と上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素とを含む局所領域を抽出する局所領域抽出手段と、上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて上記注目画素に関するノイズ量を推定するノイズ推定手段と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と上記ノイズ推定手段により推定されたノイズ量とに基づき上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、を具備したものである。
また、本発明による画像処理プログラムは、コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号からノイズ低減処理を行う対象である注目画素と上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素とを含む局所領域を抽出する局所領域抽出ステップと、上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて上記注目画素に関するノイズ量を推定するノイズ推定ステップと、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と上記ノイズ推定ステップにより推定されたノイズ量とに基づき上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、を行わせるためのプログラムである。
本発明の撮像システム、画像処理プログラムによれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となる。
また、本発明の撮像システム、画像処理プログラムによれば、複雑なエッジ構造部においてもノイズ低減処理の精度が低下することがなく、安定的となりかつ信頼性が高くなる。
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
図１から図２４は本発明の実施形態１を示したものであり、図１は撮像システムの構成を示すブロック図、図２は局所領域におけるベイヤー（Bayer）型原色フィルタの配置を示す図、図３は局所領域において分離されたＲ色信号を示す図、図４は局所領域において分離されたＧｒ色信号を示す図、図５は局所領域において分離されたＧｂ色信号を示す図、図６は局所領域において分離されたＢ色信号を示す図、図７は局所領域における色差線順次型補色フィルタの配置を示す図、図８は局所領域において分離されたＣｙ色信号を示す図、図９は局所領域において分離されたＹｅ色信号を示す図、図１０は局所領域において分離されたＧ色信号を示す図、図１１は局所領域において分離されたＭｇ色信号を示す図、図１２は３成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図、図１３は２成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図、図１４は１成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図、図１５はノイズ推定部の構成を示すブロック図、図１６は信号レベルに対して推定されるノイズ量の関係を示す線図、図１７は図１６に示すノイズモデルを簡略化して得られるノイズモデルを示す線図、図１８は図１７に示した簡略化されたノイズモデルからノイズ量を算出する方法を説明するための線図、図１９は第２ノイズ低減部の構成を示すブロック図、図２０は撮像部が別体である撮像システムの構成を示すブロック図、図２１は画像処理プログラムによる処理全体の流れを示すフローチャート、図２２は図２１のＳ４における第１ノイズ低減処理の詳細を示すフローチャート、図２３は図２１のＳ５におけるノイズ量推定処理の詳細を示すフローチャート、図２４は図２１のＳ６における第２ノイズ低減処理の詳細を示すフローチャート、である。
図１に示すように、この撮像システムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、温度センサ１０３と、増幅部１０４と、Ａ／Ｄ変換部１０５と、バッファ１０６と、プレホワイトバランス部１０７と、測光評価部１０８と、合焦点検出部１０９と、ＡＦモータ１１０と、色信号分離手段たる色信号分離部１１１と、バッファ１１２と、局所領域抽出手段たる抽出部１１３と、第１のノイズ低減手段たる第１ノイズ低減部１１４と、ノイズ推定手段たるノイズ推定部１１５と、第２のノイズ低減手段たる第２ノイズ低減部１１６と、信号処理部１１７と、出力部１１８と、収集手段であり信号制御手段たる制御部１１９と、外部Ｉ／Ｆ部１２０と、を備えている。
レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影し出力されたアナログの映像信号は、増幅部１０４によって増幅され、Ａ／Ｄ変換部１０５によってデジタル信号へ変換される。
このＡ／Ｄ変換部１０５からの映像信号は、バッファ１０６を介して色信号分離部１１１へ転送される。バッファ１０６は、プレホワイトバランス部１０７と測光評価部１０８と合焦点検出部１０９とへも接続されている。
プレホワイトバランス部１０７は増幅部１０４へ、測光評価部１０８は絞り１０１とＣＣＤ１０２と増幅部１０４とへ、合焦点検出部１０９はＡＦモータ１１０へ、それぞれ接続されている。
色信号分離部１１１からの信号は、バッファ１１２を介して抽出部１１３へ接続されている。抽出部１１３は、第１ノイズ低減部１１４とノイズ推定部１１５と第２ノイズ低減部１１６とへ接続されている。
第１ノイズ低減部１１４は、ノイズ推定部１１５と第２ノイズ低減部１１６とへ接続されている。ノイズ推定部１１５は、第２ノイズ低減部１１６へ接続されている。第２ノイズ低減部１１６は、信号処理部１１７を介してメモリカードなどの出力部１１８へ接続されている。
制御部１１９は、例えばマイクロコンピュータにより構成されていて、増幅部１０４，Ａ／Ｄ変換部１０５，プレホワイトバランス部１０７，測光評価部１０８，合焦点検出部１０９，色信号分離部１１１，抽出部１１３，第１ノイズ低減部１１４，ノイズ推定部１１５，第２ノイズ低減部１１６，信号処理部１１７，出力部１１８と双方向に接続されており、これらを制御するようになっている。
また、外部Ｉ／Ｆ部１２０も制御部１１９と双方向に接続されている。この外部Ｉ／Ｆ部１２０は、電源スイッチ，シャッタボタン，撮影時の各種モードの切り替えを行うためのモードボタン等を備えたインタフェースである。
さらに、温度センサ１０３からの信号も制御部１１９へ接続されている。この温度センサ１０３は、ＣＣＤ１０２の近傍に配置されていて、該ＣＣＤ１０２の温度を実質的に測定するためのものである。
次に、図１に示したような撮像システムの作用を、映像信号の流れに沿って説明する。
ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１２０を介してＩＳＯ感度などの撮影条件を設定する。
その後、ユーザが、外部Ｉ／Ｆ部１２０の２段式スイッチでなるシャッタボタンを半押しすると、この撮像システムがプリ撮像モードに入る。
レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。
，絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。
ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力する。
なお、本実施形態においては、ＣＣＤ１０２として、ベイヤー（Bayer）型原色フィルタを前面に配置した単板ＣＣＤを想定している。
ここに、図２を参照して、ベイヤー（Bayer）型原色フィルタの構成について説明する。
ベイヤー（Bayer）型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇｒ，Ｇｂ）フィルタがそれぞれ、配置されたものとなっている。なお、緑フィルタＧｒと緑フィルタＧｂとは光学特性は同一であるが、本実施形態においては処理の便宜上、これらを区別している。ここに、赤（Ｒ）フィルタと同一ラインにある緑フィルタがＧｒ、青（Ｂ）フィルタと同一ラインにある緑フィルタがＧｂである。
こうしてＣＣＤ１０２から出力されたアナログ信号は、増幅部１０４によって所定量だけの増幅が行われた後に、Ａ／Ｄ変換部１０５によってデジタル信号へ変換されてバッファ１０６へ転送される。なお、本実施形態においては、デジタル化された映像信号の階調幅が例えば１２ビット（ｂｉｔ）であるものとする。
このバッファ１０６内に記憶された映像信号は、プレホワイトバランス部１０７と、測光評価部１０８と、合焦点検出部１０９と、へそれぞれ転送される。
プレホワイトバランス部１０７は、所定範囲内のレベルの信号を色信号毎に積算（つまり、累計的に加算）することにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部１０７は、算出した簡易ホワイトバランス係数を増幅部１０４へ転送して、色信号毎に異なるゲインを乗算させることにより、簡易ホワイトバランス処理を行わせる。
測光評価部１０８は、映像信号に基づき、設定されたＩＳＯ感度，手ぶれ限界のシャッタ速度などを考慮して、上述した絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０４の増幅率などを適正露光となるように制御する。
また、合焦点検出部１０９は、映像信号中のエッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１１０を制御して、合焦信号を得る。
こうして、簡易ホワイトバランス処理や焦点調節、露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１２０の２段式スイッチでなるシャッタボタンを全押しにすると、この撮像システムが本撮像モードに入る。
すると、プリ撮像と同様にして、映像信号がバッファ１０６へ転送される。この本撮像は、プレホワイトバランス部１０７によって求められた簡易ホワイトバランス係数と、測光評価部１０８によって求められた露光条件と、合焦点検出部１０９によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１９へ転送される。
本撮像によって得られたバッファ１０６内の映像信号は、色信号分離部１１１へ転送される。
色信号分離部１１１は、制御部１１９の制御に基づき、転送されてきた映像信号をＣＣＤ１０２で使用されている色フィルタ単位の色信号に分離する。すなわち、本実施形態においては、色信号分離部１１１は、図３に示すようなＲ色信号と、図４に示すようなＧｒ色信号と、図５に示すようなＧｂ色信号と、図６に示すようなＢ色信号と、の４種類に分離する。そして、色信号分離部１１１は、分離した各色信号をバッファ１１２へ転送する。
抽出部１１３は、制御部１１９の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に位置する近傍画素と、を含む局所領域を順次抽出して、第１ノイズ低減部１１４とノイズ推定部１１５と第２ノイズ低減部１１６とへそれぞれ転送する。
ここに、抽出部１１３は、本実施形態においては、図３〜図６に示したような注目画素を中心とする５×５画素の領域を局所領域として抽出するようになっている。そして、ノイズ低減処理は１画素単位で行われるために、上記５×５画素の局所領域は、注目画素の画素位置を１画素ずつずらしながら順に抽出されることになる。従って、ある位置の注目画素に対する局所領域と、前記注目画素から１画素ずらした位置の新たな注目画素に対する局所領域とは、４行または４列だけ重複していることになる。なお、抽出部１１３による上記抽出は、色信号毎に独立に行われる。そして、これ以降は、局所領域内の画素値をＣij（Ｃは色信号であってＣ＝Ｒ，Ｇｒ，Ｇｂ，Ｂ、ｉは局所領域内におけるＸ座標（横方向座標）であってｉ＝０〜４、ｊは局所領域内におけるＹ座標（縦方向座標）であってｊ＝０〜４）により表記することにする。この表記に従えば、局所領域が５×５画素である場合には、注目画素値はＣ22となる。
第１ノイズ低減部１１４は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域の注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値Ｃ'22をノイズ推定部１１５と第２ノイズ低減部１１６とへ転送する。
ノイズ推定部１１５は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域と、第１ノイズ低減部１１４から転送されるノイズ低減処理がなされた注目画素値と、制御部１１９から転送される撮影時の条件と、に基づいて、注目画素に関するノイズ量Ｎ22を推定する。そして、ノイズ推定部１１５は、推定したノイズ量を第２ノイズ低減部１１６へ転送する。
第２ノイズ低減部１１６は、制御部１１９の制御に基づき、第１ノイズ低減部１１４から転送されるノイズ低減処理がなされた注目画素値Ｃ'22と、ノイズ推定部１１５から転送されるノイズ量Ｎ22と、に基づいて、抽出部１１３からの注目画素（注目画素値Ｃ22）に対して第２のノイズ低減処理を行い、ノイズ低減処理後の注目画素値Ｃ"22を算出する。そして、第２ノイズ低減部１１６は、算出した注目画素値Ｃ"22を信号処理部１１７へ転送する。
なお、上述した抽出部１１３，第１ノイズ低減部１１４，ノイズ推定部１１５，第２ノイズ低減部１１６における各処理は、制御部１１９の制御に基づき、局所領域単位で同期して行われるようになっている。
信号処理部１１７は、制御部１１９の制御に基づき、ノイズ低減後の映像信号に対して、公知の補間処理、強調処理、および圧縮処理などを行い、処理後の映像信号を出力部１１８へ転送する。
出力部１１８は、映像信号をメモリカードなどの記録媒体に記録して保存する。
次に、図１２を参照して、第１ノイズ低減部１１４の構成の一例について説明する。
この第１ノイズ低減部１１４は、重み係数算出手段でありビットシフト手段たるビットシフト部２００と、第１バッファ２０１と、重み係数算出手段たる差成分算出部２０２と、第２バッファ２０３と、重み係数算出手段，テーブル手段，第１のテーブル手段を兼ねた差成分用テーブル２０４と、昇順積算部２０５と、重み係数算出手段であり第３のテーブル手段たる孤立点用テーブル２０６と、重み係数算出手段であり第２のテーブル手段たる座標用テーブル２０７と、重み係数算出手段であり合成手段たる重み係数合成部２０８と、フィルタリング手段たるフィルタリング部２０９と、を備えている。
抽出部１１３は、ビットシフト部２００とフィルタリング部２０９とへ接続されている。ビットシフト部２００は、第１バッファ２０１と差成分算出部２０２とを介して第２バッファ２０３へ接続されている。第２バッファ２０３は、差成分用テーブル２０４と昇順積算部２０５とへ接続されている。昇順積算部２０５は、孤立点用テーブル２０６へ接続されている。差成分用テーブル２０４と孤立点用テーブル２０６と座標用テーブル２０７とは、重み係数合成部２０８へ接続されている。重み係数合成部２０８は、フィルタリング部２０９へ接続されている。フィルタリング部２０９は、ノイズ推定部１１５と第２ノイズ低減部１１６とへ接続されている。
制御部１１９は、ビットシフト部２００，差成分算出部２０２，差成分用テーブル２０４，昇順積算部２０５，孤立点用テーブル２０６，座標用テーブル２０７，重み係数合成部２０８，フィルタリング部２０９と双方向に接続されており、これらを制御するようになっている。
ビットシフト部２００は、制御部１１９の制御に基づき、抽出部１１３からの局所領域内の注目画素値と近傍画素値とに対して所定ビット数の上位ビット成分を抽出する処理を行う。上述したように、本実施形態においては、Ａ／Ｄ変換部１０５が１２ビット（ｂｉｔ）階調でデジタル化することを想定している。この場合に、ビットシフト部２００は、例えば下位７ビット（ｂｉｔ）をビットシフト処理することにより微小変動成分を除去して、５ビット（ｂｉｔ）の信号に変換し第１バッファ２０１へ転送する。
差成分算出部２０２は、ビットシフト処理が行われた局所領域の信号を第１バッファ２０１から読み出して、次の数式１に示すように、局所領域内の画素値Ｃijと注目画素値Ｃ22との差成分の絶対値Δijを算出する。
［数１］
Δij＝｜Ｃij−Ｃ22｜
そして、差成分算出部２０２は、算出した差成分の絶対値Δijを第２バッファ２０３へ転送する。
差成分用テーブル２０４は、制御部１１９の制御に基づき、差成分の絶対値Δijを第２バッファ２０３から読み出して、差成分の絶対値Δijに対応する第１の重み係数ｗ１ijをテーブル参照して求める。この差成分用テーブル２０４に記録されているテーブルは、例えば次の数式２に示すような関数式に基づき予め算出されたものとなっている。
［数２］
Figure 2008124764
ここに、σ１は調整用のパラメータであり、σ１＝１〜１０程度の値を用いるようになっている。
なお、本実施形態においては、差成分の絶対値Δijが上述したように５ビット（ｂｉｔ）の信号（０〜３１までの値をとる信号）であるために、差成分用テーブル２０４は３２個のテーブルサイズとなる。
そして、差成分用テーブル２０４は、求めた第１の重み係数ｗ１ijを重み係数合成部２０８へ転送する。
一方、昇順積算部２０５は、制御部１１９の制御に基づき、第２バッファ２０３から差成分の絶対値Δijを読み出して、昇順にソートした後に、次の数式３に示すように、最小値から所定数ｍまでを積算した積算値Ｒを算出する。
［数３］
Figure 2008124764
ここに、Ｓk（）は昇順にソートしたｋ番目の値を与える関数である。また、ｍは注目画素の孤立点の程度を検出するために用いられる近傍画素数を定めるための数であり、例えば使用する画素の総数の半数程度を用いる。従って、５×５＝２５画素の局所領域を用いている本実施形態においては、ｍ＝１２程度を用いることになる。
この積算値Ｒは、局所領域内において、注目画素に画素値が近いｍ個の近傍画素との差成分の絶対値Δijを加算したものであるために、積算値Ｒが小さければ注目画素と近傍画素との相関性が高く、積算値が大きければ孤立点の可能性が高いことを示すものとなっている。
そして、昇順積算部２０５は、算出した積算値Ｒと、第２バッファ２０３からの差成分の絶対値Δijとを、孤立点用テーブル２０６へ転送する。
孤立点用テーブル２０６は、制御部１１９の制御に基づき、積算値Ｒに対応する第２の重み係数ｗ２と、差成分の絶対値Δijに対応する混合係数εijと、をテーブル参照することにより求める。
ここに、孤立点用テーブル２０６が記録する第２の重み係数ｗ２用のテーブルは、次の数式４に示すような関数式に基づき予め算出されたものである。
［数４］
Figure 2008124764
ここに、σ２は調整用のパラメータであり、σ２＝２５〜５０程度の値を用いるようになっている。
また、孤立点用テーブル２０６が記録する混合係数εij用のテーブルは、次の数式５に示すような関数式に基づき予め算出されたものである。
［数５］
Figure 2008124764
ここに、σ３は調整用のパラメータであり、σ３＝３０〜６０程度の値を用いるようになっている。また、混合係数εijが取り得る値の範囲は０〜１である。
この混合係数εijは、上述した第１の重み係数ｗ１ijと第２の重み係数ｗ２との混合割合を定めるものである。
なお、本実施形態においては、上述したように、差成分の絶対値Δijが５ビット（ｂｉｔ）の信号であって、かつｍ＝１２であることを想定しているために、第２の重み係数ｗ２用として５ビット（ｂｉｔ）×１２→３８４のテーブルサイズ、混合係数εij用として５ビット（ｂｉｔ）→３２のテーブルサイズが必要となり、合計で４１６個のテーブルサイズとなる。
そして、孤立点用テーブル２０６は、求めた第２の重み係数ｗ２と混合係数εijとを、重み係数合成部２０８へ転送する。
また、座標用テーブル２０７は、制御部１１９の制御に基づき、局所領域内の画素の座標値（ｉ，ｊ）に対応する第３の重み係数ｗ３ijをテーブル参照することにより求める。ここに、座標用テーブル２０７が記録する第３の重み係数ｗ３ij用のテーブルは、例えば次の数式６に示すような関数式に基づき予め算出されたものである。
［数６］
Figure 2008124764
ここに、σ４は調整用のパラメータであり、σ４＝１〜１０程度の値を用いるようになっている。また、Ｔiは注目画素のＸ座標、Ｔjは注目画素のＹ座標をそれぞれ意味している。従って、局所領域として５×５画素の領域を想定する本実施形態においては、Ｔi＝２，Ｔj＝２となる。
なお、本実施形態においては、局所領域が５×５画素の領域であるために、座標用テーブル２０７は２５個のテーブルサイズとなる。
そして、座標用テーブル２０７は、求めた第３の重み係数ｗ３ijを重み係数合成部２０８へ転送する。
重み係数合成部２０８は、制御部１１９の制御に基づき、差成分用テーブル２０４からの第１の重み係数ｗ１ijと、孤立点用テーブル２０６からの第２の重み係数ｗ２および混合係数εijと、座標用テーブル２０７からの第３の重み係数ｗ３ijと、に基づき、次の数式７に示すように重み係数ｗijを算出する。
［数７］
ｗij＝（１−εij）・ｗ１ij・εij・ｗ２・ｗ３ij
そして、重み係数合成部２０８は、算出した重み係数ｗijをフィルタリング部２０９へ転送する。
フィルタリング部２０９は、制御部１１９の制御に基づき、抽出部１１３からの局所領域に対して重み係数合成部２０８からの重み係数ｗijを用いて次の数式８に示すようにフィルタリング処理を行い、ノイズ低減がなされた注目画素値Ｃ'22を算出する。
［数８］
Figure 2008124764
なお、数式８を見れば分かるように、このフィルタリング部２０９が行うフィルタリング処理には、重み係数ｗijの総和により正規化を行う過程も含まれている。
そして、フィルタリング部２０９は、ノイズ低減がなされた注目画素値Ｃ'22を、ノイズ推定部１１５と第２ノイズ低減部１１６とへ転送する。
なお、図１２に示した構成の第１ノイズ低減部１１４は、３つの重み係数を合成してフィルタリング処理を行う構成のものとなっていたが、これに限定されるものではない。例えば、使用する重み係数の種類を減らした第１ノイズ低減部１１４の構成も可能である。
図１３は、図１２に示したような第１ノイズ低減部１１４の構成から、昇順積算部２０５と孤立点用テーブル２０６とを除去して、２つの重み係数を合成する構成例を示したものとなっている。この場合に、重み係数合成部２０８は、次の数式９に基づいて、重み係数ｗijを算出する。
［数９］
ｗij＝ｗ１ij・ｗ３ij
また、図１４は、図１２に示したような第１ノイズ低減部１１４の構成から、昇順積算部２０５と孤立点用テーブル２０６と座標用テーブル２０７と重み係数合成部２０８とを除去して、１つの重み係数を用いる構成例を示したものとなっている。なお、この図１４に示す構成においては、差成分用テーブル２０４は、フィルタリング部２０９へ接続されている。そして、この場合には、第１ノイズ低減部１１４は、重み係数ｗijとしてｗ１ijを用いることになる。
これら図１３または図１４に示したような構成を採用すれば、図１２に示した構成よりも、低コスト化と処理速度の高速化とを図ることが可能となる。
次に、図１５を参照して、ノイズ推定部１１５の構成の一例について説明する。
このノイズ推定部１１５は、収集手段たるゲイン算出部３００と、付与手段たる標準値付与部３０１と、パラメータ記録手段たるパラメータ用ＲＯＭ３０２と、パラメータ選択手段たるパラメータ選択部３０３と、補間手段たる補間部３０４と、補間手段であり補正手段たる補正部３０５と、バッファ３０６と、孤立点検出手段たる孤立点検出部３０７と、を備えている。
抽出部１１３は、バッファ３０６を介して孤立点検出部３０７へ接続されている。第１ノイズ低減部１１４とゲイン算出部３００と標準値付与部３０１とパラメータ用ＲＯＭ３０２とは、パラメータ選択部３０３へ接続されている。パラメータ選択部３０３は、補間部３０４と補正部３０５とへ接続されている。さらに、補間部３０４と孤立点検出部３０７とは、補正部３０５へ接続されている。補正部３０５は、第２ノイズ低減部１１６へ接続されている。
制御部１１９は、ゲイン算出部３００，標準値付与部３０１，パラメータ選択部３０３，補間部３０４，補正部３０５，孤立点検出部３０７と双方向に接続されており、これらを制御するようになっている。
第１ノイズ低減部１１４は、制御部１１９の制御に基づき、フィルタリング処理によりノイズ低減がなされた注目画素値Ｃ'22をパラメータ選択部３０３へ転送する。
ゲイン算出部３００は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０４における増幅量を求めて、求めた増幅量をパラメータ選択部３０３へ転送する。
また、制御部１１９は、温度センサ１０３からＣＣＤ１０２の温度情報を取得して、取得した温度情報をパラメータ選択部３０３へ転送する。
パラメータ選択部３０３は、第１ノイズ低減部１１４からのノイズ低減がなされた注目画素値Ｃ'22と、ゲイン算出部３００からのゲインの情報と、制御部１１９からの温度情報と、に基づきノイズ量を推定するためのパラメータの選択を行う。
ここで、パラメータ選択部３０３、補間部３０４、および補正部３０５により行われるノイズ量の推定について、図１６〜図１８を参照して説明する。
図１６は、信号レベルＬに対して推定されるノイズ量Ｎをプロットしたものである。図示のように、ノイズ量Ｎは、信号レベルＬに対して例えば２次曲線的に増加している。この図１６に示すようなノイズ量Ｎの変化を２次関数を用いてモデル化すると、例えば次の数式１０に示すようになる。
［数１０］
Ｎ＝αＬ2＋βＬ＋γ
ここに、α，β，γは、２次関数の関数形状を決める定数項である。
ただし、ノイズ量Ｎは、信号レベルＬにのみ依存するわけではなく、撮像素子の温度やゲインによっても変化する。そこで、図１６は、ある温度下において、ゲインに関連する３種類のＩＳＯ感度１００，２００，４００に対するノイズ量を、一例としてプロットしたものとなっている。
図１６に示す個々の曲線は、数式１０に示すような曲線形状となっているが、その定数項α，β，γは、ゲインに関連するＩＳＯ感度により異なっている。さらに、定数項α，β，γは、温度によっても異なる。そこで、温度をｔ、ゲインをｇとして、これら温度ｔやゲインｇへの依存性も考慮してノイズモデルの定式化を行うと、次の数式１１に示すようになる。
［数１１］
Ｎ＝αgtＬ2＋βgtＬ＋γgt
ここに、αgt，βgt，γgtは、２次関数の関数形状を決める定数項であり、上述したように温度ｔおよびゲインｇに依存して決まる定数項である。
ただし、数式１１に示すような関数を温度ｔとゲインｇとの組み合わせに応じて複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図１７に示すようなモデルの簡略化を行う。
この簡略化モデルにおいては、まず、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択して、この基準ノイズモデルを所定数の折れ線により近似する（図１７の実線で示す折れ線参照）。
この折れ線の変曲点は、信号レベルＬとノイズ量Ｎとを成分とする座標データ（Ｌn，Ｎn）により表す。ここに、ｎは、変曲点が、信号レベルＬの値が小さい方から何番目の変曲点であるかを示す数である。
さらに、簡略化モデルにおいては、上述した基準ノイズモデルから、他のノイズモデルを導出するための補正係数ｋgtも用意する。この補正係数ｋgtは、各ノイズモデルと基準ノイズモデルとの間において最小自乗法により予め算出して求められたものである。そして、この補正係数ｋgtは、パラメータ用ＲＯＭ３０２に予め記憶されている。
基準ノイズモデルから他のノイズモデルを導出するには、温度ｔおよびゲインｇに応じた補正係数ｋgtをパラメータ用ＲＯＭ３０２から探索して、探索した補正係数ｋgtを基準ノイズモデルに乗算することにより行われる。
図１８を参照して、図１７に示したような簡易化されたノイズモデルから、ノイズ量を算出する方法について説明する。
例えば、与えられた信号レベルをｌ、ゲインをｇ、温度をｔとし、これらの条件に対応するノイズ量Ｎを求めることを想定する。
このときには、まず、信号レベルｌが、基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルｌが、例えば（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）との間の区間に属するものとする。すると、基準ノイズモデルにおける基準ノイズ量Ｎlを、次の数式１２に示すような線形補間によって求める。
［数１２］
Figure 2008124764
次に、求めた基準ノイズ量Ｎlに補正係数ｋgtを乗算することにより、次の数式１３に示すように、ノイズ量Ｎを求める。
［数１３］
Ｎ＝ｋgt・Ｎl
このような原理に沿って、パラメータ選択部３０３、補間部３０４、および補正部３０５により、ノイズ量の推定が次のように行われる。
すなわち、まず、パラメータ選択部３０３は、第１ノイズ低減部１１４からのノイズ低減がなされた注目画素値Ｃ'22から信号レベルｌを、ゲイン算出部３００からのゲインの情報からゲインｇを、制御部１１９からの温度情報から温度ｔを、それぞれ設定する。
次に、パラメータ選択部３０３は、信号レベルｌが属する区間の座標データである（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）とを、パラメータ用ＲＯＭ３０２から探索して、探索した各座標データを補間部３０４へ転送する。
さらに、パラメータ選択部３０３は、ゲインｇおよび温度ｔに対応する補正係数ｋgtをパラメータ用ＲＯＭ３０２から探索して、探索した補正係数ｋgtを補正部３０５へ転送する。
続いて、補間部３０４は、制御部１１９の制御に基づき、パラメータ選択部３０３からの信号レベルｌと、区間の座標データ（Ｌn，Ｎn）および（Ｌn+1，Ｎn+1）と、に基づき、数式１２を用いて基準ノイズモデルにおける基準ノイズ量Ｎlを算出する。そして、補間部３０４は、算出した基準ノイズ量Ｎlを補正部３０５へ転送する。
その後、補正部３０５は、制御部１１９の制御に基づき、パラメータ選択部３０３からの補正係数ｋgtと、補間部３０４からの基準ノイズ量Ｎlと、に基づき、数式１３を用いてノイズ量Ｎを算出する。
一方、抽出部１１３は、制御部１１９の制御に基づき、局所領域をバッファ３０６へ転送する。
孤立点検出部３０７は、バッファ３０６上の局所領域に関して、該局所領域内の注目画素が孤立点であるか否かを検出する。この検出は、注目画素と、該注目画素の周囲８近傍画素と、の大小関係に基づき行われる。ここに、本実施形態の局所領域は、図３〜図６に示すような５×５画素の局所領域となっているが、このような局所領域内において、数式１４または数式１５の何れかが成立する場合に、孤立点検出部３０７は、孤立点が検出されたと判断し、数式１４が成立せずかつ数式１５が成立しない場合に孤立点が検出されないと判断するようになっている。
［数１４］
Ｃ22＞Ｃ11 かつ Ｃ22＞Ｃ21 かつ Ｃ22＞Ｃ31 かつ Ｃ22＞Ｃ12
かつ Ｃ22＞Ｃ32 かつ Ｃ22＞Ｃ13 かつ Ｃ22＞Ｃ23 かつ Ｃ22＞Ｃ33
［数１５］
Ｃ22＜Ｃ11 かつ Ｃ22＜Ｃ21 かつ Ｃ22＜Ｃ31 かつ Ｃ22＜Ｃ12
かつ Ｃ22＜Ｃ32 かつ Ｃ22＜Ｃ13 かつ Ｃ22＜Ｃ23 かつ Ｃ22＜Ｃ33
ここに、数式１４は、注目画素値Ｃ22が周囲８近傍画素の何れよりも大きいことを示す条件式であり、数式１５は、注目画素値Ｃ22が周囲８近傍画素の何れよりも小さいことを示す条件式である。
そして、孤立点検出部３０７は、このような孤立点検出の結果を、補正部３０５へ転送する。
補正部３０５は、制御部１１９の制御に基づき、孤立点検出部３０７から孤立点が検出されたとの判断結果が転送された場合にのみ、上記ノイズ量Ｎに所定の補正係数ｋi、例えばｋi＝１．５〜４を乗算する。
そして、補正部３０５は、補正したノイズ量Ｎを、注目画素値Ｃ22に対して推定されたノイズ量Ｎ22として、第２ノイズ低減部１１６へ転送する。
なお、上述では温度ｔやゲインｇなどの情報を撮影毎に求めて、ノイズ量の算出に用いるようにしているが、これに限るものではない。例えば、任意の情報を標準値付与部３０１に予め記録しておき、ノイズ量の算出時に標準値付与部３０１に記録されている情報を読み出して使用することにより、算出過程を省略することも可能である。このような構成を採用すれば、処理の高速化や省電力化などを図ることが可能となる。
次に、図１９を参照して、第２ノイズ低減部１１６の構成の一例について説明する。
この第２ノイズ低減部１１６は、ノイズ範囲設定手段たる範囲設定部４００と、切り換え部４０１と、第１のスムージング手段たる第１スムージング部４０２と、第２のスムージング手段たる第２スムージング部４０３と、を備えている。
第１ノイズ低減部１１４とノイズ推定部１１５とは、範囲設定部４００へ接続されている。範囲設定部４００は、切り換え部４０１と第１スムージング部４０２と第２スムージング部４０３とへ接続されている。抽出部１１３は、切り換え部４０１へ接続されている。切り換え部４０１は、第１スムージング部４０２と第２スムージング部４０３とへ接続されている。第１スムージング部４０２と第２スムージング部４０３とは、信号処理部１１７へ接続されている。
制御部１１９は、範囲設定部４００，切り換え部４０１，第１スムージング部４０２，第２スムージング部４０３と双方向に接続されており、これらを制御するようになっている。
第１ノイズ低減部１１４は、第１のノイズ低減がなされた注目画素値Ｃ'22を範囲設定部４００へ転送する。また、ノイズ推定部１１５は、注目画素に関して推定されたノイズ量Ｎ22を、範囲設定部４００へ転送する。
範囲設定部４００は、制御部１１９の制御に基づき、ノイズ量に関する許容範囲の上限Ｕｐと下限Ｌｏｗとを、次の数式１６に示すように設定する。
［数１６］
Ｕｐ ＝Ｃ'22＋Ｎ22／２
Ｌｏｗ＝Ｃ'22−Ｎ22／２
そして、範囲設定部４００は、設定した許容範囲の上限Ｕｐおよび下限Ｌｏｗを、切り換え部４０１へ転送する。さらに、範囲設定部４００は、ノイズ量Ｎ22と第１のノイズ低減がなされた注目画素値Ｃ'22とを、第１スムージング部４０２と第２スムージング部４０３とへ転送する。
切り換え部４０１は、制御部１１９の制御に基づき、抽出部１１３からの注目画素値Ｃ22を読み込んで、この注目画素値Ｃ22が、範囲設定部４００から転送された許容範囲に属するか否かを判断する。この判断の結果は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りの何れかとなる。
そして、切り換え部４０１は、注目画素値Ｃ22が「ノイズ範囲に属している」と判断した場合には、該注目画素値Ｃ22を第１スムージング部４０２へ転送し、それ以外の判断を行った場合には、注目画素値Ｃ22を第２スムージング部４０３へ転送する。
第１スムージング部４０２は、切り換え部４０１から注目画素値Ｃ22が転送された場合には、数式１７に示すように、範囲設定部４００からの第１のノイズ低減がなされた注目画素値Ｃ'22を、第２のノイズ低減がなされた注目画素値Ｃ"22に代入する。
［数１７］
Ｃ"22＝Ｃ'22
そして、第１スムージング部４０２は、第２のノイズ低減処理がなされた注目画素値Ｃ"22を信号処理部１１７へ転送する。
一方、第２スムージング部４０３は、切り換え部４０１から注目画素値Ｃ22が転送された場合には、該注目画素値Ｃ22を、範囲設定部４００からのノイズ量Ｎ22に基づき補正する処理を行う。
すなわち、第２スムージング部４０３は、注目画素値Ｃ22が「ノイズ範囲を上回っている」と判断された場合には、次の数式１８に示すように注目画素値Ｃ22を補正して、第２のノイズ低減処理がなされた注目画素値Ｃ"22を算出する。
［数１８］
Ｃ"22＝Ｃ22−Ｎ22／２
また、第２スムージング部４０３は、注目画素値Ｃ22が「ノイズ範囲を下回っている」と判断された場合には、次の数式１９に示すように注目画素値Ｃ22を補正して、第２のノイズ低減処理がなされた注目画素値Ｃ"22を算出する。
［数１９］
Ｃ"22＝Ｃ22＋Ｎ22／２
そして、第２スムージング部４０３は、数式１８または数式１９により算出した第２のノイズ低減がなされた注目画素値Ｃ"22を、信号処理部１１７へ転送する。
なお、上述では、撮像素子としてベイヤー（Bayer）型原色フィルタを用いる構成を例に挙げたが、このような構成に限定されるものではない。例えば、図７に示すような色差線順次型補色フィルタを用いる構成を採用することも可能であるし、二板撮像素子あるいは三板撮像素子の構成を採用しても良い。例えば、図７に示すような色差線順次型補色フィルタを用いる構成を採用する場合には、色信号分離部１１１は、撮像素子からの映像信号を、図８に示すようなＣｙ（シアン）の色信号と、図９に示すようなＹｅ（イエロー）の色信号と、図１０に示すようなＧ（緑）の色信号と、図１１に示すようなＭｇ（マゼンタ）の色信号と、の４種類の色信号に分離することになる。そして、抽出部１１３は、これら図８〜図１１に示すように、注目画素を中心とする５×５画素を局所領域として設定することになる。また、局所領域内の画素値Ｃijを表記するＣは、Ｃ＝Ｃｙ，Ｍｇ，Ｙｅ，Ｇとなる。
また、上述ではレンズ系１００，絞り１０１，ＣＣＤ１０２，温度センサ１０３，増幅部１０４，Ａ／Ｄ変換部１０５，プレホワイトバランス部１０７，測光評価部１０８，合焦点検出部１０９，ＡＦモータ１１０を含む撮像部（撮像系）を一体化した構成の撮像システムについて説明したが、撮像システムとしてはこのような構成に限定される必要はない。例えば、図２０に示すように、撮像部が別体であっても構わない。すなわち、図２０に示す撮像システムは、別体の撮像部により撮像され、未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度や露光条件などの付随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部からこの撮像システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
この図２０に示す撮像システムは、図１に示した撮像システムから、レンズ系１００，絞り１０１，ＣＣＤ１０２，温度センサ１０３，増幅部１０４，Ａ／Ｄ変換部１０５，プレホワイトバランス部１０７，測光評価部１０８，合焦点検出部１０９，ＡＦモータ１１０を省略して、入力部５００，ヘッダ情報解析部５０１を追加した構成となっている。この図２０に示す撮像システムにおけるその他の基本的な構成は図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
入力部５００は、バッファ１０６およびヘッダ情報解析部５０１へ接続されている。制御部１１９は、入力部５００，ヘッダ情報解析部５０１と双方向に接続されていて、これらを制御するようになっている。
次に、この図２０に示す撮像システムにおいて異なる作用は、以下のようになっている。
例えばマウスやキーボードなどの外部Ｉ／Ｆ部１２０を介して再生操作を開始すると、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部５００を介して読み込まれる。
入力部５００から読み込まれた情報の内の、映像信号はバッファ１０６へ、ヘッダ情報はヘッダ情報解析部５０１へ、それぞれ転送される。
ヘッダ情報解析部５０１は、入力部５００から転送されたヘッダ情報に基づき、撮影時の情報（すなわち、上述したような露光条件、撮像素子の温度など）を抽出して制御部１１９へ転送する。
これ以降の処理は、図１に示したような撮像システムと同様である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１９からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図２１を参照して、画像処理プログラムによる処理全体の流れについて説明する。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、撮像素子に使用されている色フィルタの色毎に、映像信号を色信号へ分離する（ステップＳ２）。
続いて、図３〜図６に示したように、注目画素を中心とする局所領域を抽出する（ステップＳ３）。
そして、後で図２２を参照して説明するように、注目画素に対して第１ノイズ低減処理を行う（ステップＳ４）。
さらに、後で図２３を参照して説明するように、注目画素に関するノイズ量を推定する（ステップＳ５）。
その後、後で図２４を参照して説明するように、注目画素に対して第２ノイズ低減処理を行う（ステップＳ６）。
次に、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ７）。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップＳ３へ戻って未処理の局所領域について上述したような処理を行う。
一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての色信号についての処理が完了したか否かを判断する（ステップＳ８）。ここで、全ての色信号についての処理が完了していないと判断された場合には、ステップＳ２へ戻って、未処理の色信号について上述したような処理を行う。
また、全ての色信号についての処理が完了したと判断された場合には、公知の補間処理、強調処理、圧縮処理などを行う（ステップＳ９）。
そして、処理後の映像信号を出力して（ステップＳ１０）、この処理を終了する。
次に、図２２を参照して、上記ステップＳ４における第１ノイズ低減処理の詳細を説明する。
この処理を開始すると、数式２，数式４，数式５，数式６に示したような関数式に基づいて算出された３つの重み係数および混合係数を記録するテーブルを入力する（ステップＳ２０）。
続いて、局所領域内における各画素の画素値と注目画素値との差成分の絶対値Δijを、数式１に示したように算出する（ステップＳ２１）。
そして、差成分の絶対値Δijに対応する第１の重み係数ｗ１ijをテーブルから求める（ステップＳ２２）。
さらに、数式３に示したように、差成分の絶対値Δijを昇順にソートした後に、最小値から所定数ｍまでを積算した積算値Ｒを算出する（ステップＳ２３）。
次に、積算値Ｒに対応する第２の重み係数ｗ２と、差成分の絶対値Δijに対応する混合係数εijと、をテーブルから求める（ステップＳ２４）。
続いて、局所領域内の座標値に対応する第３の重み係数ｗ３ijをテーブルから求める（ステップＳ２５）。
さらに、数式７に示したように、重み係数ｗijを算出する（ステップＳ２６）。
そして、重み係数ｗijを用いて局所領域に対して数式８に示したようにフィルタリング処理を行い、ノイズ低減がなされた注目画素値を算出する（ステップＳ２７）。
その後、第１のノイズ低減がなされた注目画素値を出力して（ステップＳ２８）、図２１に示した処理へリターンする。
次に、図２３を参照して、上記ステップＳ５におけるノイズ量推定処理の詳細を説明する。
この処理を開始すると、まず、読み込まれたヘッダ情報から、温度やゲインなどの情報を設定する。ここで、もしヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる（ステップＳ３０）。
続いて、基準ノイズモデルの座標データと補正係数とを読み込む（ステップＳ３１）。
さらに、第１のノイズ低減がなされた注目画素値が属する基準ノイズモデルの区間の座標データと、温度やゲインに対応する補正係数と、を選択する（ステップＳ３２）。
そして、数式１２に示したような補間処理を行って、基準ノイズ量を求める（ステップＳ３３）。
また、数式１４および数式１５の処理を行って、注目画素が孤立点であるか否かを検出する（ステップＳ３４）。
次に、数式１３に示したような補正処理を行うことによりノイズ量を算出する。なお、注目画素が孤立点であると検出された場合には、算出したノイズ量に所定の補正係数をさらに乗算する（ステップＳ３５）。
その後、算出されたノイズ量を出力して（ステップＳ３６）、図２１に示した処理へリターンする。
次に、図２４を参照して、上記ステップＳ６における第２ノイズ低減処理の詳細を説明する。
この処理を開始すると、まず、注目画素値に関して数式１６に示すような許容範囲を設定する（ステップＳ４０）。
続いて、注目画素値が許容範囲内に属するか否かを判断する（ステップＳ４１）。
ここで、注目画素値が許容範囲内に属すると判断された場合には、数式１７に示したような処理を行う（ステップＳ４２）。
また、ステップＳ４１において、注目画素値が許容範囲内に属さないと判断された場合には、注目画素値がノイズ範囲を上回っているか下回っているかに応じて、数式１８または数式１９に示したような処理を行う（ステップＳ４３）。
その後、第２のノイズ低減がなされた注目画素値を出力して（ステップＳ４４）、図２１に示した処理へリターンする。
なお、処理の対象となる映像信号は、静止画の映像信号だけではなく、時系列的に取り込まれる複数の映像信号（いわゆる動画の映像信号）であっても良い。
このような実施形態１によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
また、複雑なエッジ領域においてもエッジ成分の影響を抑制しているために、高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができる。
第１のノイズ低減処理は、信号のレベル差に基づき重み係数を求めているためにエッジ成分の影響を効果的に抑制することができ、座標位置に基づき重み係数を求めているためにフィルタリング処理における副作用の発生を低減することができ、信号のレベル差から孤立点を検出して孤立点の検出結果に基づき重み係数を求めているために孤立点ノイズを効果的に抑制することができる。また、テーブルにより重み係数を求めているために、処理速度を高速化することができる。さらに、ビットシフト処理をした映像信号から重み係数を求めているために、テーブルサイズを縮小することができ、撮像システムの低コスト化を図ることができる。そして、ビットシフトにより微小なノイズ成分が除去されるために、処理の安定性および信頼性を向上することができる。
また、ノイズ量の推定においてはモデルを用いているために、ノイズ量を高精度に推定することが可能となる。さらに、補間処理は実装が容易であるために、システムを低コストに構築することが可能となる。そして、孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。
さらに、第２のノイズ低減処理は、ノイズ量に基づきノイズ低減処理に関する判断を行う処理であるために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。そして、ベイヤー（Bayer）型原色フィルタを前面に配置した撮像素子を使用する場合には、従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。加えて、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。
［実施形態２］
図２５から図３６は本発明の実施形態２を示したものであり、図２５は撮像システムの構成を示すブロック図、図２６は色差線順次型補色フィルタの配置と２画素混合により出力されるフィールド信号と局所領域とを説明するための図、図２７は図２６（Ｂ）に示した偶数フィールド信号におけるＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅ色信号への分離を説明するための図、図２８は第１ノイズ低減部の構成を示すブロック図、図２９は領域分割部により分割される方向別領域を説明するための図、図３０はノイズ推定部の構成を示すブロック図、図３１は第２ノイズ低減部の構成を示すブロック図、図３２は第２ノイズ低減部により用いる近傍画素を説明するための図、図３３は画像処理プログラムによる処理全体の流れを示すフローチャート、図３４は図３３のステップＳ５１における第１ノイズ低減処理の詳細を示すフローチャート、図３５は図３３のステップＳ５２におけるノイズ量推定処理の詳細を示すフローチャート、図３６は図３３のステップＳ５３における第２ノイズ低減処理の詳細を示すフローチャート、である。
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の撮像システムは、上述した実施形態１の図１に示した撮像システムに、信号記録手段たるバッファ６０３，フレーム合成部６０４を追加し、第１ノイズ低減部１１４，ノイズ推定部１１５，第２ノイズ低減部１１６を第１のノイズ低減手段たる第１ノイズ低減部６００，ノイズ推定手段たるノイズ推定部６０１，第２のノイズ低減手段たる第２ノイズ低減部６０２にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
抽出部１１３は、第１ノイズ低減部６００とノイズ推定部６０１と第２ノイズ低減部６０２とへ接続されている。第１ノイズ低減部６００は、ノイズ推定部６０１へ接続されている。ノイズ推定部６０１は、第２ノイズ低減部６０２へ接続されている。第２ノイズ低減部６０２は、バッファ６０３と双方向に接続されている。バッファ６０３は、フレーム合成部６０４へ接続されている。フレーム合成部６０４は、信号処理部１１７へ接続されている。
制御部１１９は、第１ノイズ低減部６００，ノイズ推定部６０１，第２ノイズ低減部６０２，フレーム合成部６０４とも双方向に接続されており、これらも制御するようになっている。
次に、図２５に示したような撮像システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
本実施形態においては、ＣＣＤ１０２として、色差線順次型補色フィルタを前面に配置した単板ＣＣＤを想定している。さらに、本実施形態においては、映像信号として、時系列的に取り込まれる複数の映像信号により構成される動画像を想定している。
ここに、図２６（Ａ）は、色差線順次型補色フィルタの構成を示している。この色差線順次型補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）およびイエロー（Ｙｅ）が２×２画素の同一ラインに、マゼンタ（Ｍｇ）および緑（Ｇ）が２×２画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Ｍｇ），緑（Ｇ）の位置は、ライン毎に反転するように構成されている。
ＣＣＤ１０２からの出力は、図２６（Ｂ）に示すような偶数フィールド信号と、図２６（Ｃ）に示すように奇数フィールド信号と、に分かれている。そして、これらが時系列的に交互に出力されることになる。
ここに、図２６（Ｂ）は２画素混合による偶数フィールド信号と注目画素とを示し、図２６（Ｃ）は２画素混合による奇数フィールド信号と注目画素とを示している。
偶数フィールド信号は、図２６（Ｂ）に示すように、（２ｎ−１）ラインと２ｎラインとの間で垂直方向に２画素混合された信号となっている。また、奇数フィールド信号は、図２６（Ｃ）に示すように、２ｎラインと（２ｎ＋１）ラインとの間で垂直方向に２画素混合された信号となっている。ここに、ｎは１以上の整数である。
このような混合を行うことにより、偶数フィールド信号および奇数フィールド信号は、Ｇ＋Ｃｙ（以降はＧＣｙと表記する）と、Ｍｇ＋Ｙｅ（以降はＭｇＹｅと表記する）と、Ｍｇ＋Ｃｙ（以降はＭｇＣｙと表記する）と、Ｇ＋Ｙｅ（以降はＧＹｅと表記する）と、の４種類の色信号により構成されることになる。
そして、上述したような偶数フィールド信号と奇数フィールド信号とを合成することにより、１枚の映像信号（以降は、フレーム信号と表記する）が完成する。
バッファ１０６は、２フレーム分、すなわち４フィールド分の映像信号を記録するものとする。このとき、バッファ１０６上の映像信号は、時系列的に過去のものから上書きされて、新しい映像信号に置換される。
色信号分離部１１１は、制御部１１９の制御に基づき、例えば図２７に示すように、フィールド信号をＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅの４種類の色信号に分離して、バッファ１１２へ転送する。なお、図２７は、図２６（Ｂ）に示した偶数フィールド信号を分離する様子を示している。
続くバッファ１１２は、４種類の色信号を、２フレーム分、すなわち４フィールド分記録するものとする。このバッファ１１２の色信号も、上述したバッファ１０６と同様に、時系列的に過去のものから上書きされて、新しい色信号に置換される。
抽出部１１３は、制御部１１９の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に存在する近傍画素と、を含む局所領域を複数のフィールド信号、例えば本実施形態においては３フィールドの信号から順次抽出して、第１ノイズ低減部６００とノイズ推定部６０１と第２ノイズ低減部６０２とへ転送する。
本実施形態においては、抽出部１１３は、図２７に示すように１フィールドの各色信号から注目画素を中心とする５×３画素を抽出して、これを３フィールド分まとめて局所領域として設定する。従って、近傍画素は、注目画素の空間的近傍に位置しかつ時間的近傍に位置する画素となる。ここに、図３２（Ａ）は、２次元空間および時間に分布する（つまり３次元的に分布する）局所領域の状態を示している。なお、注目画素の座標位置は、偶数フィールド信号と奇数フィールド信号とで１ライン分異なっている。
また、これ以降は、局所領域内の画素値をＣk ij（Ｃは色信号であってＣ＝ＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅ、ｉは局所領域内におけるＸ座標（横方向座標）であってｉ＝０〜４、ｊは局所領域内におけるＹ座標（縦方向座標）であって偶数フィールドの場合にはｊ＝０，４，８，奇数フィールドの場合にはｊ＝１，５，９、ｋはフィールド信号の時刻であって、現フィールドをｔとした場合にｋ＝ｔ，ｔ−１，ｔ−２）により表記することにする。この表記に従えば、注目画素値は、偶数フィールドの場合にはＣt 24、奇数フィールドの場合にはＣt 25となる。
第１ノイズ低減部６００は、制御部１１９の制御に基づき、抽出部１１３からの注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値をノイズ推定部６０１と第２ノイズ低減部６０２とへ転送する。
ノイズ推定部６０１は、制御部１１９の制御に基づき、抽出部１１３からの局所領域と、第１ノイズ低減部６００からのノイズ低減処理がなされた注目画素値と、制御部１１９からの撮影時の条件と、を用いて、注目画素に関するノイズ量を推定する。ノイズ推定部６０１は、推定したノイズ量を、第２ノイズ低減部６０２へ転送する。
第２ノイズ低減部６０２は、制御部１１９の制御に基づき、ノイズ推定部６０１からのノイズ量と、バッファ６０３からの時系列的に過去にノイズ低減処理がなされた映像信号と、を用いて、抽出部１１３からの注目画素に対してノイズ低減処理を行う。第２ノイズ低減部６０２は、ノイズ低減処理後の注目画素値を、バッファ６０３へ転送する。
なお、上述した抽出部１１３，第１ノイズ低減部６００，ノイズ推定部６０１，第２ノイズ低減部６０２における各処理は、制御部１１９の制御に基づき、局所領域単位で同期して行われるようになっている。
フレーム合成部６０４は、制御部１１９の制御に基づき、バッファ６０３からノイズ低減処理がなされた偶数フィールド信号とノイズ低減処理がなされた奇数フィールド信号とを読み出して、１枚のフレーム信号を合成する。さらに、フレーム合成部６０４は、本実施形態においては、フレーム信号を合成するときに、次の数式２０に示すように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへの変換も同時に行う。
［数２０］
Ｙ＝ＧＣｙ＋ＭｇＹｅ または Ｙ＝ＭｇＣｙ＋ＧＹｅ
Ｃｂ＝ＭｇＣｙ−ＧＹｅ
Ｃｒ＝ＭｇＹｅ−ＧＣｙ
そして、フレーム合成部６０４は、フレーム信号へ合成して、さらに輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ変換した映像信号を、信号処理部１１７へ転送する。
信号処理部１１７は、制御部１１９の制御に基づき、ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部１１８へ転送する。
出力部１１８は、映像信号をメモリカードやディスク媒体などの記録媒体に順次記録して保存する。
次に、図２８を参照して、第１ノイズ低減部６００の構成の一例について説明する。
この第１ノイズ低減部６００は、領域分割手段たる領域分割部７００と、第１バッファ７０１と、分散算出手段たる分散算出部７０２と、第２バッファ７０３と、領域選択手段たる領域選択部７０４と、平均値算出手段たる平均値算出部７０５と、を備えている。
抽出部１１３は、領域分割部７００を介して第１バッファ７０１へ接続されている。第１バッファ７０１は、分散算出部７０２と領域選択部７０４とへ接続されている。分散算出部７０２は、第２バッファ７０３を介して領域選択部７０４へ接続されている。領域選択部７０４は、平均値算出部７０５へ接続されている。平均値算出部７０５は、ノイズ推定部６０１と第２ノイズ低減部６０２とへ接続されている。
制御部１１９は、領域分割部７００，分散算出部７０２，領域選択部７０４，平均値算出部７０５と双方向に接続されており、これらを制御するようになっている。
領域分割部７００は、制御部１１９の制御に基づき、抽出部１１３からの局所領域の一部、本実施形態においては現フィールド信号の時刻ｔにおける映像信号を抽出して、注目画素を基点として所定方向の複数の方向別領域へ分割する。ここに、図２９は、偶数フィールド信号における方向別領域の一例を示すものである。この図２９に示す方向別領域は、０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の８方向の方向別領域となっている。そして、各方向別領域は、何れも、注目画素を含む４画素から構成される（従って、２つの方向別領域の境界線上に位置する画素は、これら２つの方向別領域の両方に含まれることになる。また、注目画素は全ての方向別領域に含まれることになる）。
方向別領域に分割された映像信号は、第１バッファ７０１へ転送される。分散算出部７０２は、制御部１１９の制御に基づき、方向別領域を順次読み込んで、各方向別領域の分散値を算出する。分散算出部７０２は、算出した分散値を第２バッファ７０３へ転送する。
領域選択部７０４は、制御部１１９の制御に基づき、第２バッファ７０３から方向別領域の分散値を読み込んで、最小の分散値を与える方向別領域を選択する。次に、領域選択部７０４は、選択した方向別領域に属する映像信号を第１バッファ７０１から読み込んで、この映像信号を平均値算出部７０５へ転送する。
平均値算出部７０５は、制御部１１９の制御に基づき、領域選択部７０４から転送される方向別領域の平均値を算出する。平均値算出部７０５は、算出した平均値を、ノイズ低減がなされた注目画素値Ｃ't 24（偶数フィールド信号の場合）またはＣ't 25、（奇数フィールド信号の場合）としてノイズ推定部６０１および第２ノイズ低減部６０２へ転送する。
次に、図３０を参照して、ノイズ推定部６０１の構成の一例について説明する。
このノイズ推定部６０１は、上述した実施形態１の図１５に示したノイズ推定部１１５にノイズテーブル手段たるノイズテーブル部８００を追加し、パラメータ用ＲＯＭ３０２とパラメータ選択部３０３と補間部３０４とを省略した構成になっている。その他の基本的な構成は図１５に示したノイズ推定部１１５と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
第１ノイズ低減部６００とゲイン算出部３００と標準値付与部３０１とは、ノイズテーブル部８００へ接続されている。ノイズテーブル部８００と孤立点検出部３０７とは、補正部３０５へ接続されている。
制御部１１９は、ノイズテーブル部８００とも双方向に接続されており、これも制御するようになっている。
第１ノイズ低減部６００は、制御部１１９の制御に基づき、ノイズ低減がなされた注目画素値Ｃ't 24（偶数フィールド信号の場合）またはＣ't 25、（奇数フィールド信号の場合）をノイズテーブル部８００へ転送する。
ゲイン算出部３００は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０４における増幅量を求めて、求めた増幅量をノイズテーブル部８００へ転送する。
また、制御部１１９は、温度センサ１０３からＣＣＤ１０２の温度情報を取得して、取得した温度情報をノイズテーブル部８００へ転送する。
ノイズテーブル部８００は、第１ノイズ低減部６００からのノイズ低減がなされた注目画素値と、ゲイン算出部３００からのゲインの情報と制御部１１９からの温度情報と、に基づいてノイズ量を求める。このノイズテーブル部８００は、温度，信号レベル，ゲインと、ノイズ量と、の間の関係を記録するルックアップテーブルであり、上述した実施形態１と同様の手段により構築されたものである。ノイズテーブル部８００は、求めたノイズ量Ｎを補正部３０５へ転送する。
補正部３０５は、上述した実施形態１と同様に、孤立点検出部３０７から孤立点が検出されたとの判断結果が転送された場合にのみ、上記ノイズ量Ｎに所定の補正係数ｋi、例えばｋi＝１．５〜４を乗算する。補正部３０５で補正されたノイズ量Ｎは、注目画素値Ｃt 24（偶数フィールド信号の場合）のノイズ量Ｎ24、または注目画素値Ｃt 25（奇数フィールド信号の場合）のノイズ量Ｎ25として、第２ノイズ低減部６０２へ転送される。
次に、図３１を参照して、第２ノイズ低減部６０２の構成の一例について説明する。
この第２ノイズ低減部６０２は、前局所領域抽出手段たる前局所領域抽出部９００と、第１の差分手段たる第１差分部９０１と、バッファ９０２と、動き量推定手段たる動き推定部９０３と、差分成分選択手段たる差分成分選択部９０４と、動き量補償手段たる動き補償部９０５と、第２の差分手段たる第２差分部９０６と、を備えている。
抽出部１１３は、第１差分部９０１と第２差分部９０６とへ接続されている。バッファ６０３は、前局所領域抽出部９００を介して第１差分部９０１へ接続されている。第１差分部９０１は、バッファ９０２へ接続されている。バッファ９０２は、動き推定部９０３と動き補償部９０５とへ接続されている。ノイズ推定部６０１は、動き推定部９０３へ接続されている。動き推定部９０３は、差分成分選択部９０４を介して動き補償部９０５へ接続されている。動き補償部９０５は、第２差分部９０６へ接続されている。第２差分部９０６は、バッファ６０３へ接続されている。
制御部１１９は、前局所領域抽出部９００，第１差分部９０１，動き推定部９０３，差分成分選択部９０４，動き補償部９０５，第２差分部９０６と双方向に接続されており、これらを制御するようになっている。
前局所領域抽出部９００は、制御部１１９の制御に基づき、バッファ６０３から時系列的に過去のノイズ低減処理がなされた複数の映像信号から、現注目画素に関する局所領域（図３２（Ａ）参照）と同一位置に存在する映像信号を前局所領域（図３２（Ｂ）参照）として少なくとも１つ抽出する（なお、この前局所領域も、局所領域と同様に、２次元空間および時間に分布する（つまり３次元的に分布する）領域となっている。）。本実施形態においては、前局所領域抽出部９００が抽出する前局所領域は、１つであることを想定している。前局所領域抽出部９００は、抽出した前局所領域を第１差分部９０１へ転送する。
一方、第１差分部９０１は、制御部１１９の制御に基づき、抽出部１１３から局所領域を受領する。ここに、図３２（Ａ）は抽出部１１３からの局所領域の画素配置を、図３２（Ｂ）は前局所領域抽出部９００からの前局所領域の画素配置を、それぞれ示している。
図３２に示す例においては、注目画素値が偶数フィールド信号のＣt 24であるものとしている。これ以降の説明においては、注目画素値が偶数フィールド信号のＣt 24であるものとして説明するが、注目画素が奇数フィールド信号のＣt 25である場合にも、同様の技術を適用することができる。
第１差分部９０１は、未処理の局所領域と、第２のノイズ低減処理がなされた前局所領域と、の間で差分処理を行う。この差分処理は、時刻的には「現フィールド（時刻ｔ）と現フィールド（時刻ｔ）との間」、「現フィールド（時刻ｔ）と１フィールド前のフィールド（時刻ｔ−１）との間」、「現フィールド（時刻ｔ）と２フィールド前のフィールド（時刻ｔ−２）との間」の三種類に対して行われる。また、差分は、所定サイズの基準領域と、比較領域と、の間で行われる。本実施形態においては、差分は、１×５画素サイズ、つまりＸ座標方向のライン間で行われる。すなわち、第１差分部９０１は、次の数式２１に示すように差分処理を行う。
［数２１］
ｄt i ＝Ｃ"t i0−Ｃt i4
ｄt-1 i＝（Ｃ"t-1 i1＋３Ｃ"t-1 i5）／４−Ｃt i4
ｄt-2 i＝Ｃ"t-2 i4−Ｃt i4
ここに、ｉはＸ座標方向の座標を意味し、本実施形態においてはｉ＝０〜４をとる。従って、三種類の差分成分ｄt i，ｄt-1 i，ｄt-2 iは、それぞれ５個ずつ算出されることになる。また、Ｃは未処理の画素値を、Ｃ"は第２のノイズ低減処理がなされた画素値を、それぞれ意味している。
そして、第１差分部９０１は、算出した三種類の差分成分ｄt i，ｄt-1 i，ｄt-2 iを、バッファ９０２へ転送する。
動き推定部９０３は、制御部１１９の制御に基づき、バッファ９０２から三種類の差分成分ｄt i，ｄt-1 i，ｄt-2 iを読み込むとともに、ノイズ推定部６０１から注目画素値Ｃt 24のノイズ量Ｎ24を読み込む。そして、動き推定部９０３は、差分成分の絶対値とノイズ量Ｎ24とを差分成分の種類毎に各画素単位で順次比較して、ノイズ量Ｎ24以上の絶対値を与える差分成分を、動きに起因する動き画素に係る差分成分であると判断してラベルを付加する。その後、動き推定部９０３は、ラベル情報とノイズ量Ｎ24とを、差分成分選択部９０４へ転送する。
差分成分選択部９０４は、制御部１１９の制御に基づき、動き推定部９０３から差分成分に関するラベル情報を読み込んで、動き量が最小（動き画素に係る差分成分であると判断された数が最小）となる種類の差分成分（すなわち、三種類の差分成分ｄt i，ｄt-1 i，ｄt-2 iの内の何れか一種類の差分成分）を選択する。上記選択は、ラベルが付加された数が最小となる種類の差分成分を選択することにより行われる。そして、差分成分選択部９０４は、選択情報とノイズ量Ｎ24とを動き補償部９０５へ転送する。
動き補償部９０５は、制御部１１９の制御に基づき、差分成分選択部９０４から選択情報を読み込み、読み込んだ選択情報に基づいて、動き量が最小とされる種類の差分成分をバッファ９０２から読み出す。これ以降は、選択された差分成分（動き量が最小となる種類の差分成分）をｄiにより表記するものとする。動き補償部９０５は、差分成分ｄi中の注目画素位置に関する差分成分ｄ2に関して、差分成分選択部９０４からのノイズ量Ｎ24に基づき補償処理を行い、ｄ'2を算出する。
この補償処理は、差分成分ｄ2がノイズ量Ｎ24を「上回っている」場合には、次の数式２２により行われる。
［数２２］
ｄ'2＝Ｎ24
また、補償処理は、差分成分ｄ2がノイズ量Ｎ24を「下回っている」場合は、次の数式２３により行われる。
［数２３］
ｄ'2＝−Ｎ24
さらに、補償処理は、上述以外の場合は、次の数式２４により行われる。
［数２４］
ｄ'2＝ｄ2
動き補償部９０５は、補償処理後の注目画素位置に関する差分成分ｄ'2を、第２差分部９０６へ転送する。
第２差分部９０６は、制御部１１９の制御に基づき、抽出部１１３からの注目画素値Ｃt 24と、動き補償部９０５からの補償処理後の差分成分ｄ'2と、の間で次の数式２５に示すように差分処理を行い、第２のノイズ低減処理後の注目画素値Ｃ"t 24を算出する。
［数２５］
Ｃ"t 24＝Ｃt 24−ｄ'2
第２差分部９０６は、算出した第２のノイズ低減処理後の注目画素値Ｃ"t 24を、バッファ６０３へ転送する。
なお、上述では、撮像素子として色差線順次型補色フィルタを用いる構成を例に挙げたが、このような構成に限定されるものではない。例えば、図２に示したようなベイヤー（Bayer）型原色フィルタを用いる構成を採用することも可能であるし、二板撮像素子あるいは三板撮像素子の構成を採用しても良い。
そして、上述では、第１のノイズ低減処理に方向別の処理を用い、第２のノイズ低減処理に時系列的な複数の映像信号を用いる構成を採用していたが、このような構成に限定されるものでもない。例えば、実施形態１において図１２を参照して説明したような適用的な重み係数を用いるフィルタリング処理や、図１９を参照して説明したような１枚の画像内においてノイズを低減する処理などを適用することも可能である。ここに、重み係数を用いるフィルタリング処理においては、注目画素と近傍画素との間の空間的関連性や画素値的関連性に基づいて重み係数を算出するだけでなく、さらに、注目画素と近傍画素との間の時間的関連性に基づいて重み係数を算出すると良い。
また、上述した実施形態１と同様に、撮像部は別体であって、この別体の撮像部により撮像された複数の映像信号を未処理のままのＲａｗデータとして記録媒体等を介して取り込むとともに、さらに撮影時の撮像素子の温度や露光条件などの付随情報をヘッダ部などにより記録媒体等を介して取り込んで、上述したような処理を行うことも可能である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの複数の映像信号を未処理のままのＲａｗデータとして記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１９からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図３３を参照して、画像処理プログラムによる処理全体の流れについて説明する。なお、この図３３において、上述した実施形態１の図２１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。
この処理を開始すると、まず、複数の映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、読み込んだ映像信号を、図２６（Ｂ）に示すような偶数フィールド信号と、図２６（Ｃ）に示すような奇数フィールド信号と、へ分離する（ステップＳ５０）。
続いて、図２７に示すように、撮像素子に使用されている色フィルタの色毎に、フィールド信号を色信号へ分離する（ステップＳ２）。
そして、図３２（Ａ）に示すように、注目画素を包含する局所領域を抽出する（ステップＳ３）。
さらに、後で図３４を参照して説明するように、注目画素に対して第１ノイズ低減処理を行う（ステップＳ５１）。
その後、後で図３５を参照して説明するように、注目画素に関するノイズ量を推定する（ステップＳ５２）。
加えて、後で図３６を参照して説明するように、注目画素に対して第２ノイズ低減処理を行う（ステップＳ５３）。
次に、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ７）。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップＳ３へ戻って未処理の局所領域について上述したような処理を行う。
一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての色信号についての処理が完了したか否かを判断する（ステップＳ８）。ここで、全ての色信号についての処理が完了していないと判断された場合には、ステップＳ２へ戻って、未処理の色信号について上述したような処理を行う。
また、全ての色信号についての処理が完了したと判断された場合には、偶数フィールド信号と奇数フィールド信号とを合成して、フレーム信号を算出する（ステップＳ５４）。
そして、フレーム信号に、公知の強調処理および圧縮処理などを行う（ステップＳ９）。
続いて、処理後のフレーム信号を出力する（ステップＳ１０）。
その後、全ての映像信号についての処理が完了したか否かを判断する（ステップＳ５５）。ここで、全ての映像信号についての処理が完了していないと判断された場合には、ステップＳ５０へ戻って、未処理の映像信号について上述したような処理を行う。
一方、全ての映像信号についての処理が完了したと判断された場合には、この処理を終了する。
次に、図３４を参照して、上記ステップＳ５１における第１ノイズ低減処理の詳細を説明する。
この処理を開始すると、まず、図２９に示すように、局所領域の一部を、注目画素を基点とする所定数の方向別領域へ分割する（ステップＳ６０）。
次に、各方向別領域の分散値を算出する（ステップＳ６１）。
続いて、最小の分散値を与える方向別領域を選択する（ステップＳ６２）。
さらに、選択された方向別領域の平均値を算出する（ステップＳ６３）。
その後、平均値を、第１のノイズ低減がなされた注目画素値として出力して（ステップＳ６４）、図３３に示した処理へリターンする。
次に、図３５を参照して、上記ステップＳ５２におけるノイズ量推定処理の詳細を説明する。なお、この図３５において、上述した実施形態１の図２３に示したノイズ量推定処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。
この処理を開始すると、まず、読み込まれたヘッダ情報から、温度やゲインなどの情報を設定する。ここで、もしヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる（ステップＳ３０）。
続いて、温度やゲインに対応するノイズ量テーブルを入力して、画素値に応じたノイズ量を求める（ステップＳ７０）。
さらに、近傍画素を用いて数式１４および数式１５の処理を行い、注目画素が孤立点であるか否かを検出する（ステップＳ３４）。
そして、注目画素が孤立点であることが検出された場合には、求められたノイズ量に所定の補正係数をさらに乗算する（ステップＳ３５）。
その後、算出されたノイズ量を出力して（ステップＳ３６）、図３３に示した処理へリターンする。
次に、図３６を参照して、上記ステップＳ５３における第２ノイズ低減処理の詳細を説明する。
この処理を開始すると、ノイズ低減処理が完了した時系列的に過去のフィールド信号を読み込む（ステップＳ８０）。
続いて、図３２（Ｂ）に示したような、現注目画素に関する局所領域と同一位置に存在するノイズ低減処理がなされた映像信号を前局所領域として抽出する（ステップＳ８１）。
さらに、数式２１に示したように、三種類の差分成分を算出する（ステップＳ８２）。
そして、差分成分の絶対値とノイズ量とを各画素単位で順次比較して、ノイズ量以上の絶対値を与える差分成分を、動きに起因する動き画素に係る差分成分であると判断する（ステップＳ８３）。
その後、三種類の差分成分の内の、動き画素に係る差分成分であると判断された数が最小となる種類の差分成分を選択する（ステップＳ８４）。
次に、動き量が最小であるとして選択された種類の差分成分の中の注目画素位置に関する差分成分に対して、ノイズ量Ｎ24に基づき、数式２２、数式２３、または数式２４に示したような補償処理を行う（ステップＳ８５）。
続いて、注目画素値と補償処理後の差分成分との差分処理を数式２５に示したように行い、第２のノイズ低減処理後の注目画素値を取得する（ステップＳ８６）。
その後、第２のノイズ低減がなされた注目画素値を出力して（ステップＳ８７）、図３３に示した処理へリターンする。
このような実施形態２によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
また、時系列的に撮影された複数の映像信号に関して巡回型のノイズ低減処理を行うようにしたために、ノイズ低減処理の平滑化性能とエッジ部の保存性能とを向上することが可能となる。
さらに、第１のノイズ低減処理は、分散値が最小となる領域を選択して行う処理であるために、複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。また、第１のノイズ低減処理は、処理が比較的単純であるために、低コスト化を図ることが可能となる。
そして、ノイズ量の推定においてはモデルを用いているために、ノイズ量を高精度に推定することが可能となる。このとき、ノイズ量を求める際にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。そして、孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。
さらに、第２のノイズ低減処理は、ノイズ量に基づきノイズ低減処理に関する判断を行う処理であるために、最適なノイズ低減処理を行うことが可能となる。また、第２のノイズ低減処理は、時系列的に過去の映像信号を利用する処理であるために、より効果の大きいノイズ低減処理を行うことが可能となる。そして、動き量に基づいて過去の映像信号または現在の映像信号を選択しているために、動き量の大きい領域であっても副作用の少ないノイズ低減処理を行うことが可能となる。さらに、色差線順次型補色フィルタを前面に配置した撮像素子を使用する場合には、従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。加えて、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。
［実施形態３］
図３７から図５３は本発明の実施形態３を示したものであり、図３７は撮像システムの構成を示すブロック図、図３８は局所領域における第１ＣＣＤの色フィルタ配置を示す図、図３９は局所領域における第２ＣＣＤの色フィルタ配置を示す図、図４０は第２ＣＣＤの出力を補間処理して得られる局所領域のＲ色信号を示す図、図４１は第２ＣＣＤの出力を補間処理して得られる局所領域のＢ色信号を示す図、図４２は図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＹ信号を示す図、図４３は図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｂ信号を示す図、図４４は図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｒ信号を示す図、図４５は第１ノイズ低減部の一構成例を示すブロック図、図４６は第１ノイズ低減部の他の構成例を示すブロック図、図４７は第２ノイズ低減部の構成を示すブロック図、図４８は５×５画素の平滑化フィルタを示す図、図４９は３×３画素の平滑化フィルタを示す図、図５０はノイズ量に応じてどのタイプの平滑化フィルタが選択されるかを示す線図、図５１は画像処理プログラムによる処理全体の流れを示すフローチャート、図５２は図５１のステップＳ９１における第１ノイズ低減処理の詳細を示すフローチャート、図５３は図５１のステップＳ９２における第２ノイズ低減処理の詳細を示すフローチャート、である。
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の撮像システムは、上述した実施形態１の図１に示した撮像システムにおいて、ＣＣＤ１０２を第１ＣＣＤ１０００および第２ＣＣＤ１００１に置換し、さらに色信号分離部１１１，第１ノイズ低減部１１４，第２ノイズ低減部１１６を輝度色差分離手段たるＹ／Ｃ分離部１００２，第１のノイズ低減手段たる第１ノイズ低減部１００３，第２のノイズ低減手段たる第２ノイズ低減部１００４にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
レンズ系１００および絞り１０１を介して入射された光束は、例えばダイクロイック面を有するプリズム系により、波長帯域の異なる２つの光に分割されて２方向へ射出される。そして、分割された内の一方の光が第１ＣＣＤ１０００へ到達し、他方の光が第２ＣＣＤ１００１へ到達する。第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とは、増幅部１０４によって増幅され、Ａ／Ｄ変換部１０５によってデジタル信号へ変換されて、バッファ１０６へ転送される。
測光評価部１０８は、絞り１０１と第１ＣＣＤ１０００と第２ＣＣＤ１００１と増幅部１０４とへ接続されている。バッファ１０６は、プレホワイトバランス部１０７と測光評価部１０８と合焦点検出部１０９とＹ／Ｃ分離部１００２とへ接続されている。Ｙ／Ｃ分離部１００２は、バッファ１１２へ接続されている。抽出部１１３は、第１ノイズ低減部１００３とノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。第１ノイズ低減部１００３は、ノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。ノイズ推定部１１５は、第２ノイズ低減部１００４へ接続されている。第２ノイズ低減部１００４は、信号処理部１１７へ接続されている。
制御部１１９は、Ｙ／Ｃ分離部１００２，第１ノイズ低減部１００３，第２ノイズ低減部１００４とも双方向に接続されており、これらも制御するようになっている。
さらに、温度センサ１０３は、第２ＣＣＤ１００１の近傍に配置されていて、この温度センサ１０３からの信号は、制御部１１９へ接続されている。
次に、図３７に示したような撮像システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
レンズ系１００および絞り１０１を介して入射された光束は、プリズム系により、緑色の波長帯域の第１の光と、それ以外の波長帯域の第２の光と、に分割される。そして、これらの内の第１の光は第１ＣＣＤ１０００に、第２の光は第２ＣＣＤ１００１に、それぞれ入射する。
ここに、本実施形態においては、第１ＣＣＤ１０００は図３８に示すような緑（Ｇ）フィルタのみを前面に配置したＣＣＤ、第２ＣＣＤ１００１は図３９に示すような赤（Ｒ）フィルタと青（Ｂ）フィルタとを格子状に配置したＣＣＤであることを想定している。なお、プリズム系が上述したようにダイクロイック面を備えたものである場合には、緑色の波長帯域の光の光路上に配置される第１ＣＣＤ１０００の前面には、必ずしも緑（Ｇ）のフィルタを設けなくても構わない。
そして、第１ＣＣＤ１０００および第２ＣＣＤ１００１は、それぞれ映像信号を生成して出力する。
第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とは、増幅部１０４，Ａ／Ｄ変換部１０５を介してバッファ１０６へ転送される。そして、このバッファ１０６には、第１ＣＣＤ１０００からの映像信号と、第２ＣＣＤ１００１からの映像信号と、の両方が記録されるものとする。
Ｙ／Ｃ分離部１００２は、制御部１１９の制御に基づき、バッファ１０６から、第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とを読み込む。そして、Ｙ／Ｃ分離部１００２は、第２ＣＣＤ１００１からのＲフィルタの信号とＢフィルタの信号とに関しては、公知の補間処理を行うことにより、図４０および図４１に示すような欠落のない信号を生成する。次に、Ｙ／Ｃ分離部１００２は、生成した欠落のないＲフィルタの信号（図４０）と、欠落のないＢフィルタの信号（図４１）と、第１ＣＣＤ１０００からのＧフィルタの信号（図３８）と、に基づき、次の数式２６に示すように、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）とを算出する。
［数２６］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
Ｙ／Ｃ分離部１００２は、算出した輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）とを、バッファ１１２へ転送する。
抽出部１１３は、制御部１１９の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に存在する近傍画素と、を含む局所領域を順次抽出して、第１ノイズ低減部１００３とノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。
ここに、抽出部１１３は、本実施形態においては、図４２〜図４４に示すような、注目画素を中心とする５×５画素の領域を、局所領域として抽出するようになっている。そして、ノイズ低減処理は１画素単位で行われるために、上記５×５画素の局所領域は、注目画素の画素位置を１画素ずつずらしながら順に抽出されることになる。従って、ある位置の注目画素に対する局所領域と、前記注目画素から１画素ずらした位置の新たな注目画素に対する局所領域とは、４行または４列だけ重複していることになる。なお、抽出部１１３による上記抽出は、色信号毎に独立に行われる。そして、これ以降は、局所領域内の画素をＣij（Ｃは色信号であってＣ＝Ｙ，Ｃｂ，Ｃｒ、ｉは局所領域内におけるＸ座標（横方向座標）であってｉ＝０〜４、ｊは局所領域内におけるＹ座標（縦方向座標）であってｊ＝０〜４）により表記することにする。この表記に従えば、局所領域が５×５画素である場合には、注目画素値はＣ22となる。
第１ノイズ低減部１００３は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域の注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値をノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。
ノイズ推定部１１５は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域と、第１ノイズ低減部１００３から転送されるノイズ低減処理がなされた注目画素値と、制御部１１９から転送される撮影時の条件と、に基づいて、注目画素に関するノイズ量を推定する。そして、ノイズ推定部１１５は、推定したノイズ量を第２ノイズ低減部１００４へ転送する。
第２ノイズ低減部１００４は、制御部１１９の制御に基づき、第１ノイズ低減部１００３から転送されるノイズ低減処理がなされた注目画素値と、ノイズ推定部１１５から転送されるノイズ量と、に基づいて、抽出部１１３からの注目画素に対して第２のノイズ低減処理を行う。そして、第２ノイズ低減部１００４は、ノイズ低減処理後の注目画素値を信号処理部１１７へ転送する。
なお、上述した抽出部１１３，第１ノイズ低減部１００３，ノイズ推定部１１５，第２ノイズ低減部１００４における各処理は、制御部１１９の制御に基づき、局所領域単位で同期して行われるようになっている。
信号処理部１１７は、制御部１１９の制御に基づき、ノイズ低減後の映像信号に対して、強調処理および圧縮処理などを行い、処理後の映像信号を出力部１１８へ転送する。
出力部１１８は、映像信号をメモリカードなどの記録媒体に記録して保存する。
次に図４５を参照して、第１ノイズ低減部１００３の構成の一例について説明する。
この第１ノイズ低減部１００３は、拡散画像記録手段たるバッファ１１００と、拡散画像算出手段たるＴＶノルム算出部１１０１と、拡散画像算出手段たる拡散画像算出部１１０２と、反復処理制御手段であり変化成分算出手段たる変化成分算出部１１０３と、反復処理制御手段であり停止手段たる拡散制御部１１０４と、を備えている。
抽出部１１３は、バッファ１１００へ接続されている。バッファ１１００は、ＴＶノルム算出部１１０１と拡散画像算出部１１０２とへ接続されている。ＴＶノルム算出部１１０１は、拡散画像算出部１１０２と変化成分算出部１１０３とへ接続されている。拡散画像算出部１１０２は、バッファ１１００とノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。変化成分算出部１１０３は、拡散制御部１１０４を介して拡散画像算出部１１０２へ接続されている。
制御部１１９は、ＴＶノルム算出部１１０１，拡散画像算出部１１０２，変化成分算出部１１０３，拡散制御部１１０４と双方向に接続されており、これらを制御するようになっている。
抽出部１１３からの局所領域は、バッファ１１００へ転送される。
ＴＶノルム算出部１１０１は、制御部１１９の制御に基づき、バッファ１１００に記憶されている局所領域に関する全変動（ＴＶ；Total Variation）ノルムを次の数式２７に示すように算出する。
［数２７］
Figure 2008124764
ここに、▽Ｒは、局所領域Ｒの勾配（Gradient）を意味している。
ＴＶノルム算出部１１０１は、算出したＴＶノルムを、拡散画像算出部１１０２と変化成分算出部１１０３とへ転送する。
拡散画像算出部１１０２は、制御部１１９の制御に基づき、バッファ１１００からの局所領域と、ＴＶノルム算出部１１０１からのＴＶノルムと、を用いて、局所領域に関する拡散画像を算出する。この拡散画像は、次の数式２８に示すようなエネルギー関数Ｅ（）を最小化する復元画像として、反復的に算出される。
［数２８］
Figure 2008124764
ここに、ρ（）は所定のコスト関数を、φはノイズによる劣化作用素を、Ｏはノイズのない原画像を、λは所定の定数項を意味している。
そして、拡散画像算出部１１０２は、拡散画像を次の数式２９に基づき算出する。
［数２９］
Figure 2008124764
ここに、φ*はノイズによる劣化作用素の随伴作用素を、∂ｔは仮想時間パラメータｔに関する一階偏微分を意味している。
拡散画像算出部１１０２は、数式２９に基づき仮想時間パラメータｔを更新することにより拡散画像Ｒ(t)を算出する。なお、算出の際の初期条件として、Ｒ(0)＝Ｒを用いる。
拡散画像算出部１１０２は、算出した拡散画像Ｒ(t)を、バッファ１１００へ転送する。
ＴＶノルム算出部１１０１は、制御部１１９の制御に基づき、バッファ１１００に記憶された局所領域に関するＴＶノルムを再度算出する。そして、ＴＶノルム算出部１１０１は、再度算出したＴＶノルムを、拡散画像算出部１１０２と変化成分算出部１１０３とへ転送する。
変化成分算出部１１０３は、制御部１１９の制御に基づき、ＴＶノルム算出部１１０１からのＴＶノルムの変化を求める。以下では、仮想時間パラメータｔにおける拡散画像Ｒ(t)のＴＶノルムをＴＶ(t)、拡散画像算出部１１０２によって仮想時間パラメータが更新されて（ｔ＋１）となった拡散画像Ｒ(t+1)のＴＶノルムをＴＶ(t+1)とする。このとき、ＴＶノルムの変化は、ＴＶ(t)とＴＶ(t+1)との差の絶対値として求められる。変化成分算出部１１０３は、算出したＴＶノルムの変化を、拡散制御部１１０４へ転送する。
拡散制御部１１０４は、制御部１１９の制御に基づき、変化成分算出部１１０３からのＴＶノルムの変化と所定の閾値とを比較して、ＴＶノルムの変化が所定の閾値以下になった場合に反復処理が収束したと判断して、処理を停止させる制御信号を拡散画像算出部１１０２へ転送する。
拡散画像算出部１１０２は、拡散制御部１１０４から制御信号が転送された場合に、拡散画像から注目画素位置に対応する画素値を抽出して、抽出した画素値をノイズ低減がなされた注目画素値Ｃ'22としてノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。一方、拡散画像算出部１１０２は、拡散制御部１１０４から制御信号が転送されない場合には、バッファ１１００に記憶されている局所領域に対して再度の拡散画像を算出する。
なお、上述ではＴＶノルムに基づき拡散処理を行う例について説明したが、このような構成に限定されるものではない。例えば、図４６に示すような一般的なエネルギー関数と偏微分方程式（ＰＤＥｓ；Partial Differential Equations）とを組み合わせた構成を採用することも可能である。
図４６を参照して、第１ノイズ低減部１００３の他の構成例について説明する。
この図４６に示す第１ノイズ低減部１００３は、図４５に示した第１ノイズ低減部１００３の構成において、ＴＶノルム算出部１１０１を除去するとともに、拡散画像算出部１１０２を拡散画像算出手段たるＰＤＥｓ算出部１１０６へ、変化成分算出部１１０３を反復処理制御手段であり処理回数算出手段たる処理回数算出部１１０５へ、それぞれ置換したものとなっている。その他の基本的な構成は図４５に示す第１ノイズ低減部１００３と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ１１００は、処理回数算出部１１０５とＰＤＥｓ算出部１１０６とへ接続されている。処理回数算出部１１０５は、拡散制御部１１０４へ接続されている。拡散制御部１１０４は、ＰＤＥｓ算出部１１０６へ接続されている。ＰＤＥｓ算出部１１０６は、バッファ１１００とノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。
制御部１１９は、処理回数算出部１１０５，ＰＤＥｓ算出部１１０６とも双方向に接続されており、これらも制御するようになっている。
ＰＤＥｓ算出部１１０６は、制御部１１９の制御に基づき、バッファ１１００に記憶されている局所領域Ｒに対して、非線形拡散方程式に関するＰＤＥｓを算出する。ここに、非線形拡散方程式は、一般に、次の数式３０に示すような数式として与えられる。
［数３０］
Figure 2008124764
ここに、ｃ（）は目的とする画像を得るためのエネルギー関数を、∂ｔは仮想時間パラメータｔに関する一階偏微分を、それぞれ意味している。
ＰＤＥｓ算出部１１０６は、数式３０に基づき、仮想時間パラメータｔを更新することにより更新画像Ｒ(t)を算出する。なお、算出の際の初期条件として、Ｒ(0)＝Ｒを用いる。ＰＤＥｓ算出部１１０６は、算出した更新画像Ｒ(t)をバッファ１１００へ転送する。
処理回数算出部１１０５は、制御部１１９の制御に基づき、バッファ１１００へ書き込まれる更新画像Ｒ(t)の回数をカウントして、カウントした回数を拡散制御部１１０４へ転送する。
拡散制御部１１０４は、制御部１１９の制御に基づき、処理回数算出部１１０５からの更新の回数と所定の閾値とを比較して、更新の回数が所定の閾値以上になった場合に、処理を停止させる制御信号をＰＤＥｓ算出部１１０６へ転送する。
ＰＤＥｓ算出部１１０６は、拡散制御部１１０４から制御信号が転送された場合に、更新画像から注目画素位置に対応する画素値を抽出して、抽出した画素値をノイズ低減がなされた注目画素値Ｃ'22としてノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。一方、ＰＤＥｓ算出部１１０６は、拡散制御部１１０４から制御信号が転送されない場合には、バッファ１１００に記憶されている局所領域に対して再度の更新画像を算出する。
なお、上述したような拡散画像を用いる技術については、例えば上述した「IEEE SIGNAL PROCESSING MAGAZINE, SEPTEMBER 2002」の第１６頁〜第２５頁などに記載されている。
次に、図４７を参照して、第２ノイズ低減部１００４の構成の一例について説明する。
この第２ノイズ低減部１００４は、平滑化フィルタ選択手段たるフィルタ選択部１２００と、平滑化フィルタ記録手段たるフィルタ記録部１２０１と、スムージング手段たるスムージング部１２０２と、を備えている。
第１ノイズ低減部１００３とノイズ推定部１１５とフィルタ記録部１２０１とは、フィルタ選択部１２００へ接続されている。フィルタ選択部１２００と抽出部１１３とは、スムージング部１２０２へ接続されている。スムージング部１２０２は、信号処理部１１７へ接続されている。
制御部１１９は、フィルタ選択部１２００，フィルタ記録部１２０１，スムージング部１２０２と双方向に接続されており、これらを制御するようになっている。
フィルタ選択部１２００は、制御部１１９の制御に基づき、第１ノイズ低減部１００３から第１のノイズ低減がなされた注目画素値Ｃ'22を読み込むとともに、ノイズ推定部１１５から注目画素のノイズ量Ｎ22を読み込んで、フィルタ記録部１２０１に記録されている平滑化フィルタを選択する。ここに、フィルタ記録部１２０１には、例えば、図４８（Ａ）〜図４８（Ｄ）に示すような５×５サイズの周波数特性が異なる４種類（タイプ（Ｔｙｐｅ）１〜４）の平滑化フィルタと、図４９（Ａ）〜図４９（Ｄ）に示すような３×３サイズの周波数特性が異なる４種類（タイプ（Ｔｙｐｅ）１〜４）の平滑化フィルタと、の合計８種類の平滑化フィルタが記録されている。
なお、タイプ（Ｔｙｐｅ）１の平滑化フィルタは高周波成分を残存させる周波数特性のフィルタとなっており、タイプ（Ｔｙｐｅ）１からタイプ（Ｔｙｐｅ）４へと向かうにつれて、高周波成分をより抑制する周波数特性のフィルタとなるように構成されている。また、図４８および図４９に示すフィルタ係数は、１２８倍した値を記載している。従って、実際に用いるフィルタ係数は、図４８および図４９に示すフィルタ係数の１２８分の１である。
フィルタ選択部１２００は、まず、第１ノイズ低減部１００３から転送される注目画素値Ｃ'22と所定の閾値とを比較して、注目画素値Ｃ'22が所定の閾値以下である場合には５×５サイズの平滑化フィルタを、また注目画素値Ｃ'22が所定の閾値よりも大きい場合には３×３サイズの平滑化フィルタを選択する、これは、一般に、暗部領域においてはノイズが顕著になるために、暗部領域に対してよりノイズ抑制効果の大きい平滑化フィルタを適用することを意味している。
次に、フィルタ選択部１２００は、ノイズ推定部１１５から転送される注目画素のノイズ量Ｎ22に基づいて、周波数特性のタイプ（Ｔｙｐｅ）１〜タイプ（Ｔｙｐｅ）４を選択する。この選択は、例えば図５０に示すようなノイズ量Ｎとフィルタの種類（Ｔｙｐｅ）との間の関係に基づいて行われる。すなわち、ノイズ量Ｎが小さい場合にはタイプ（Ｔｙｐｅ）１の平滑化フィルタを選択し、ノイズ量Ｎが増加するにつれて、選択する平滑化フィルタがタイプ（Ｔｙｐｅ）２、タイプ（Ｔｙｐｅ）３、タイプ（Ｔｙｐｅ）４と順に変更される。これにより、ノイズ量Ｎが大きいほど、高周波成分をより抑制する周波数特性の平滑化フィルタが選択されることになる。
そして、フィルタ選択部１２００は、選択したサイズおよび周波数特性の平滑化フィルタ係数を、スムージング部１２０２へ転送する。
スムージング部１２０２は、制御部１１９の制御に基づき、フィルタ選択部１２００からの平滑化フィルタ係数を用いて、抽出部１１３からの局所領域に対して平滑化フィルタ処理を行う。そして、スムージング部１２０２は、フィルタリング処理後の注目画素値を、第２のノイズ低減がなされた注目画素値Ｃ"22として信号処理部１１７へ転送する。
なお、上述では撮像系として二板ＣＣＤを用いる例を挙げたが、このような構成に限定されるものではない。例えば、図２に示したようなベイヤー（Bayer）型原色フィルタ、もしくは図７に示したような色差線順次型補色フィルタを用いる単板ＣＣＤを採用しても良いし、または三板ＣＣＤを採用することも可能である。
また、上述した実施形態１と同様に、撮像部は別体であって、この別体の撮像部により撮像された映像信号を未処理のままのＲａｗデータとして記録媒体等を介して取り込むとともに、さらに撮影時の撮像素子の温度や露光条件などの付随情報をヘッダ部などにより記録媒体等を介して取り込んで、上述したような処理を行うことも可能である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とを未処理のままのＲａｗデータとして記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１９からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図５１を参照して、画像処理プログラムによる処理全体の流れについて説明する。なお、この図５１において、上述した実施形態１の図２１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、欠落画素が存在するＲフィルタの信号とＢフィルタの信号とに関して、公知の補間処理を行い、その後に、数式２６に示したように輝度信号と色差信号とに分離する（ステップＳ９０）。
続いて、図４２〜図４４に示したように、輝度信号および色差信号毎に、注目画素を中心とする局所領域を抽出する（ステップＳ３）。
そして、後で図５２を参照して説明するように、注目画素に対して第１ノイズ低減処理を行う（ステップＳ９１）。
さらに、図２３に示したように、注目画素に関するノイズ量を推定する（ステップＳ５）。
加えて、後で図５３を参照して説明するように、注目画素に対して第２ノイズ低減処理を行う（ステップＳ９２）。
次に、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ７）。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップＳ３へ戻って未処理の局所領域について上述したような処理を行う。
一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての輝度信号および色差信号についての処理が完了したか否かを判断する（ステップＳ９３）。ここで、全ての輝度信号および色差信号についての処理が完了していないと判断された場合には、ステップＳ９０へ戻って未処理の輝度信号または色差信号について上述したような処理を行う。
また、全ての輝度信号および色差信号についての処理が完了したと判断された場合には、公知の強調処理や圧縮処理などを行う（ステップＳ９）。
その後、処理後の映像信号を出力して（ステップＳ１０）、この処理を終了する。
次に、図５２を参照して、上記ステップＳ９１における第１ノイズ低減処理の詳細を説明する。
この処理を開始すると、まず、局所領域に対して数式２７に示すようにＴＶ（Total Variation）ノルムを算出する（ステップＳ１００）。
続いて、数式２９に基づいて拡散画像を算出する（ステップＳ１０１）。
さらに、拡散画像に対して、数式２７に示すようにＴＶノルムを算出する（ステップＳ１０２）。
そして、ＴＶノルム間の差の絶対値を変化成分として算出する（ステップＳ１０３）。
次に、変化成分と所定の閾値とを比較する（ステップＳ１０４）。ここで、変化成分が所定の閾値よりも大きいと判断された場合には、ステップＳ１０１へ戻って上述したような処理を繰り返して行う。
一方、変化成分が所定の閾値以下であると判断された場合には、拡散画像から注目画素位置に対応する画素値を抽出して、抽出した画素値を第１のノイズ低減がなされた注目画素値として出力し（ステップＳ１０５）、図５１に示した処理へリターンする。
次に、図５３を参照して、上記ステップＳ９２における第２ノイズ低減処理の詳細を説明する。
この処理を開始すると、まず、第１のノイズ低減がなされた注目画素値と、ノイズ量と、に基づいて、図４８および図４９に示すような平滑化フィルタの何れかを選択する（ステップＳ１１０）。
続いて、選択された平滑化フィルタを読み込む（ステップＳ１１１）。
さらに、選択された平滑化フィルタを用いて、局所領域に平滑化フィルタ処理を行う（ステップＳ１１２）。
そして、フィルタリング処理後の注目画素値を第２のノイズ低減がなされた注目画素値として出力して（ステップＳ１１３）、図５１に示した処理へリターンする。
なお、処理の対象となる映像信号は、静止画の映像信号だけではなく、時系列的に取り込まれる複数の映像信号（いわゆる動画の映像信号）であっても良い。
このような実施形態３によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
また、複雑なエッジ領域においてもエッジ成分の影響を抑制しているために、高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができる。
第１のノイズ低減処理は、ＴＶノルムまたは偏微分方程式を用いて拡散処理を行っている。これらの内のＴＶノルムは、エッジ成分の分離能に優れているために、該ＴＶノルムを用いると、複雑なエッジ領域においてもエッジ成分の影響を抑制することができる。一方、偏微分方程式は処理の自由度が高いために、該偏微分方程式を用いると、多様な画質調整を行うことが可能となる。また、拡散処理が定常状態へ移行するのに応じて反復処理を停止するようにしたために、安定的な画質の映像信号を得ることができる。そして、拡散処理の反復回数に基づいて反復処理を停止するようにしたために、処理速度が一定化し、システムの操作性が向上する。
さらに、第２のノイズ低減処理は、ノイズ量と第１のノイズ低減処理がなされた注目画素値とに基づき平滑化フィルタを選択する処理であるために、最適なノイズ低減処理を行うことが可能となる。また、平滑化フィルタを用いると特定周波数域に対するノイス低減処理を容易に行うことができるために、主観的に好ましい映像信号を得ることができる。そして、ノイズ低減処理を輝度信号および色差信号毎に独立して行うようにしたために、最適な輝度ノイズ低減と色ノイズ低減とを行うことが可能となり、高品位な映像信号を得ることができる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成、作用、効果を得ることができる。
（付記１）
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記ノイズ推定手段により推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
を具備したことを特徴とする撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１、実施形態２、および実施形態３に記載されている。局所領域抽出手段は図１，図２０，図２５，図３７に示される抽出部１１３が、第１のノイズ低減手段は図１，図１２，図１３，図１４，図２０に示される第１ノイズ低減部１１４および図２５，図２８に示される第１のノイズ低減部６００および図３７，図４５，図４６に示される第１のノイズ低減部１００３が、ノイズ推定手段は図１，図１５，図２０，図３７に示されるノイズ推定部１１５および図２５，図３０に示されるノイズ推定部６０１が、第２のノイズ低減手段は図１，図１９，図２０に示される第２ノイズ低減部１１６および図２５，図３１に示される第２のノイズ低減部６０２および図３７，図４７に示される第２のノイズ低減部１００４が、それぞれ該当する。
この発明の好ましい適用例は、抽出部１１３によってノイズ低減処理を行う対象である注目画素とこの注目画素の空間的近傍に位置する少なくとも１つの近傍画素とを含む局所領域を抽出し、第１ノイズ低減部１１４，第１のノイズ低減部６００，第１のノイズ低減部１００３によって局所領域内において注目画素に対して適用的なノイズ低減処理を行い、ノイズ推定部１１５，ノイズ推定部６０１によって第１ノイズ低減部１１４，第１のノイズ低減部６００，第１のノイズ低減部１００３によりノイズ低減処理がなされた注目画素値に基づいて注目画素に関するノイズ量を推定し、第２ノイズ低減部１１６，第２のノイズ低減部６０２，第２のノイズ低減部１００４によって第１ノイズ低減部１１４，第１のノイズ低減部６００，第１のノイズ低減部１００３によりノイズ低減処理がなされた注目画素値とノイズ推定部１１５，ノイズ推定部６０１により推定されたノイズ量とに基づき注目画素に対してノイズ低減処理を行う撮像システムである。
（作用）
映像信号から注目画素を含む局所領域を抽出し、局所領域内においてエッジ保存型の適用的な第１のノイズ低減処理を行い、第１のノイズ低減処理後の注目画素値からノイズ量を推定し、第１のノイズ低減処理後の注目画素値とノイズ量とに基づき注目画素に対して第２のノイズ低減処理を行う。
（効果）
撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。また、複雑なエッジ領域においても高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができる。
（付記２）
上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１、実施形態２、および実施形態３に記載されている。
この発明の好ましい適用例は、複数の映像信号が撮像系から時系列的に取り込まれる撮像システムである。
（作用）
撮像系から時系列的に取り込まれた複数の映像信号に対して、ノイズ低減処理を行う。
（効果）
時系列的に撮影された複数の映像信号を用いるために、動画像に対するノイズ低減処理の性能を改善することができる。
（付記３）
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ推定手段により推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減手段によってノイズ低減処理がなされた注目画素値を順次記録する信号記録手段と、
を具備したことを特徴とする撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。信号記録手段は図２５に示されるバッファ６０３が該当する。局所領域抽出手段、第１のノイズ低減手段、ノイズ推定手段、第２のノイズ低減手段については、付記１の実施形態２と同様である。
この発明の好ましい適用例は、バッファ６０３によって第２のノイズ低減部６０２によりノイズ低減処理がなされた注目画素値を記録し、第２のノイズ低減部６０２によってノイズ量と、バッファ６０３に記録されている時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、注目画素のノイズを低減する撮像システムである。
（作用）
時系列的に取り込まれた複数の映像信号に対して、第２のノイズ低減処理を行った映像信号を記録し、第２のノイズ低減処理によってノイズ量と時系列的に過去の第２のノイズ低減処理を行った映像信号とに基づき注目画素のノイズを低減する。
（効果）
時系列的に撮影された複数の映像信号に関して巡回型のノイズ低減処理を行うようにしたために、ノイズ低減処理の平滑化性能とエッジ部の保存性能とを向上することが可能となる。
（付記４）
上記第１のノイズ低減手段は、
上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出手段と、
上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリング手段と、
を有して構成されたものであることを特徴とする付記１または付記２に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。重み係数算出手段は図１２，図１３，図１４に示されるビットシフト部２００，差成分算出部２０２，差成分用テーブル２０４および図１２，図１３に示される座標用テーブル２０７，重み係数合成部２０８および図１２に示される昇順積算部２０５，孤立点用テーブル２０６が、フィルタリング手段は図１２，図１３，図１４に示されるフィルタリング部２０９が、それぞれ該当する。
この発明の好ましい適用例は、ビットシフト部２００，差成分算出部２０２，差成分用テーブル２０４，昇順積算部２０５，孤立点用テーブル２０６，座標用テーブル２０７，重み係数合成部２０８によって注目画素と近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき注目画素および近傍画素に関する重み係数を算出し、フィルタリング部２０９によって重み係数に基づき局所領域に対してフィルタリング処理を行う撮像システムである。
（作用）
注目画素と近傍画素との間の関連性に基づき重み係数を算出し、重み係数に基づきフィルタリング処理を行う。
（効果）
複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。
（付記５）
上記重み係数算出手段は、上記注目画素値と上記近傍画素値との差成分に基づき重み係数を出力するテーブル手段を有して構成されたものであることを特徴とする付記４に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。テーブル手段は図１４に示される差成分用テーブル２０４が該当する。
この発明の好ましい適用例は、差成分用テーブル２０４によって注目画素値と近傍画素値との差成分に基づき重み係数を出力する撮像システムである。
（作用）
注目画素値と近傍画素値との差成分に基づき重み係数を出力する。
（効果）
信号のレベル差に基づき重み係数を求めているために、エッジ成分の影響を効果的に抑制することができる。また、テーブルにより重み係数を求めているために、処理速度を高速化することができる。
（付記６）
上記重み係数算出手段は、
上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
上記第１の重み係数と上記第２の重み係数とに基づき上記重み係数を合成する合成手段と、
を有して構成されたものであることを特徴とする付記４に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。第１のテーブル手段は図１３に示される差成分用テーブル２０４が、第２のテーブル手段は図１３に示される座標用テーブル２０７が、合成手段は図１３に示される重み係数合成部２０８が、それぞれ該当する。
この発明の好ましい適用例は、差成分用テーブル２０４によって注目画素値と近傍画素値との差成分に基づき第１の重み係数を出力し、座標用テーブル２０７によって注目画素と近傍画素との相対的な座標位置に基づき第２の重み係数を出力し、重み係数合成部２０８によって第１の重み係数と第２の重み係数とに基づき重み係数を合成する撮像システムである。
（作用）
注目画素値と近傍画素値との差成分と、注目画素と近傍画素との相対的な座標位置と、に基づいて２つの重み係数を求め、これらを合成することにより重み係数を求める。
（効果）
信号のレベル差に基づき重み係数を求めているために、エッジ成分の影響を効果的に抑制することができる。また、座標位置に基づき重み係数を求めているために、フィルタリング処理における副作用の発生を低減することができる。さらに、テーブルにより２つの重み係数を求めているために、処理速度を高速化することができる。
（付記７）
上記重み係数算出手段は、
上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
上記注目画素値と上記近傍画素値との差成分に基づき第３の重み係数を出力する第３のテーブル手段と、
上記第１の重み係数と上記第２の重み係数と上記第３の重み係数とに基づき上記重み係数を合成する合成手段と、
を有して構成されたものであることを特徴とする付記４に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。第１のテーブル手段は図１２に示される差成分用テーブル２０４が、第２のテーブル手段は図１２に示される座標用テーブル２０７が、第３のテーブル手段は図１２に示される孤立点用テーブル２０６が、合成手段は図１２に示される重み係数合成部２０８が、それぞれ該当する。
この発明の好ましい適用例は、差成分用テーブル２０４によって注目画素値と近傍画素値との差成分に基づき第１の重み係数を出力し、座標用テーブル２０７によって注目画素と近傍画素との相対的な座標位置に基づき第２の重み係数を出力し、孤立点用テーブル２０６によって注目画素値と近傍画素値との差成分に基づき第３の重み係数を出力し、重み係数合成部２０８によって第１の重み係数と第２の重み係数と第３の重み係数とに基づき重み係数を合成する撮像システムである。
（作用）
注目画素値と近傍画素値との差成分と、注目画素と近傍画素との相対的な座標位置と、に基づき３つの重み係数を求め、これらを合成することにより重み係数を求める。
（効果）
信号のレベル差に基づき重み係数を求めているために、エッジ成分の影響を効果的に抑制することができる。また、座標位置に基づき重み係数を求めているために、フィルタリング処理における副作用の発生を低減することができる。また、信号のレベル差から孤立点を検出して、孤立点の検出結果に基づき重み係数を求めているために、孤立点ノイズを効果的に抑制することができる。さらに、テーブルにより３つの重み係数を求めているために、処理速度を高速化することができる。
（付記８）
上記重み係数算出手段は、上記注目画素値と上記近傍画素値とに関して所定ビット数の上位ビット成分を抽出するビットシフト手段をさらに有して構成されたものであることを特徴とする付記５〜７の何れか一項に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。ビットシフト手段は図１２，図１３，図１４に示されるビットシフト部２００が該当する。
この発明の好ましい適用例は、ビットシフト部２００によって注目画素値と近傍画素値とに関して所定ビット数の上位ビット成分を抽出する撮像システムである。
（作用）
注目画素値と近傍画素値とに関して所定ビット数の上位ビット成分を抽出する。
（効果）
重み係数を求めるためのテーブルサイズを縮小することができ、撮像システムの低コスト化を図ることができる。また、ビットシフトにより微小なノイズ成分が除去されるために、処理の安定性および信頼性を向上することができる。
（付記９）
上記第１のノイズ低減手段は、
所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出手段と、
上記拡散処理された映像信号を記録する拡散画像記録手段と、
上記拡散画像記録手段に記録された映像信号に対して、上記拡散画像算出手段により再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録手段に記録させる反復処理を制御する反復処理制御手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。拡散画像算出手段は図４５に示されるＴＶノルム算出部１１０１，拡散画像算出部１１０２および図４６に示されるＰＤＥｓ算出部１１０６が、拡散画像記録手段は図４５，図４６に示されるバッファ１１００が、反復処理制御手段は図４５に示される変化成分算出部１１０３，拡散制御部１１０４および図４６に示される処理回数算出部１１０５，拡散制御部１１０４が、それぞれ該当する。
この発明の好ましい適用例は、ＴＶノルム算出部１１０１，拡散画像算出部１１０２，ＰＤＥｓ算出部１１０６によって拡散処理された映像信号を算出し、バッファ１１００によって拡散処理された映像信号を記録し、変化成分算出部１１０３，拡散制御部１１０４，処理回数算出部１１０５によって拡散処理された映像信号に対して再度拡散処理を行い、この映像信号を再度記録する反復処理を制御する撮像システムである。
（作用）
拡散処理された映像信号を算出，記録し、再度拡散処理を行うように反復処理を制御する。
（効果）
複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。また、処理の自由度が高く、多様な画質調整が可能となる。
（付記１０）
上記反復処理制御手段は、
上記拡散画像記録手段に記録された映像信号と、該拡散画像記録手段に記録された映像信号に対して上記拡散画像算出手段により再度拡散処理された映像信号と、の間の変化成分を算出する変化成分算出手段と、
上記変化成分が所定の閾値以下になった場合に上記反復処理を停止させる停止手段と、
を有して構成されたものであることを特徴とする付記９に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。変化成分算出手段は図４５に示される変化成分算出部１１０３が、停止手段は図４５に示される拡散制御部１１０４が、それぞれ該当する。
この発明の好ましい適用例は、変化成分算出部１１０３によって拡散処理による映像信号の変化成分を検出し、拡散制御部１１０４によって変化成分が所定の閾値以下になった場合に処理を停止する撮像システムである。
（作用）
拡散処理による映像信号の変化成分に基づき、拡散処理の反復を停止する。
（効果）
拡散処理が定常状態へ移行するのに応じて反復処理を停止するようにしたために、安定的な画質の映像信号を得ることができる。
（付記１１）
上記反復処理制御手段は、
上記反復処理の回数を算出する処理回数算出手段と、
上記反復処理の回数が所定の回数に達した場合に上記反復処理を停止させる停止手段と、
を有して構成されたものであることを特徴とする付記９に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。処理回数算出手段は図４６に示される処理回数算出部１１０５が、停止手段は図４６に示される拡散制御部１１０４が、それぞれ該当する。
この発明の好ましい適用例は、処理回数算出部１１０５によって反復処理の回数を算出し、拡散制御部１１０４によって反復処理の回数が所定の回数に達した場合に処理を停止する撮像システムである。
（作用）
拡散処理の反復回数に基づいて、拡散処理の反復を停止する。
（効果）
拡散処理の反復回数に基づいて反復処理を停止するようにしたために、処理速度が一定化して、システムの操作性が向上する。
（付記１２）
上記非線形拡散方程式は、全変動（ＴＶ；Total Variation）ノルムに基づく方程式、または偏微分方程式（ＰＤＥｓ；Partial Differential Equations）に基づく方程式であることを特徴とする付記９に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。全変動（ＴＶ；Total Variation）ノルムは図４５に示されるＴＶノルム算出部１１０１，拡散画像算出部１１０２により、偏微分方程式（ＰＤＥｓ；Partial Differential Equations）は図４６に示されるＰＤＥｓ算出部１１０６により、それぞれ使用される。
この発明の好ましい適用例は、ＴＶノルム算出部１１０１，拡散画像算出部１１０２によってＴＶノルムを、ＰＤＥｓ算出部１１０６によって偏微分方程式を、それぞれ用いて拡散処理を行う撮像システムである。
（作用）
ＴＶノルムまたは偏微分方程式を用いて拡散処理を行う。
（効果）
ＴＶノルムはエッジ成分の分離能に優れているために、複雑なエッジ領域においてもエッジ成分の影響を抑制することができる。また、偏微分方程式は処理の自由度が高いために、多様な画質調整を行うことが可能となる。
（付記１３）
上記第１のノイズ低減手段は、
上記注目画素を基点として上記局所領域を所定方向の複数の方向別領域へ分割する領域分割手段と、
上記各方向別領域に関して分散値を算出する分散算出手段と、
上記分散値に基づき分散値が最小となる方向別領域を選択する領域選択手段と、
上記選択された方向別領域に関して平均値を算出する平均値算出手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。領域分割手段は図２８に示される領域分割部７００が、分散算出手段は図２８に示される分散算出部７０２が、領域選択手段は図２８に示される領域選択部７０４が、平均値算出手段は図２８に示される平均値算出部７０５が、それぞれ該当する。
この発明の好ましい適用例は、領域分割部７００によって注目画素を基点として局所領域を所定方向の複数の方向別領域へ分割し、分散算出部７０２によって各方向別領域に関して分散値を算出し、領域選択部７０４によって分散値が最小となる方向別領域を選択し、平均値算出部７０５によって選択された方向別領域に関して平均値を算出する撮像システムである。
（作用）
局所領域を所定方向の複数の方向別領域へ分割し、分散値に基づき方向別領域を選択し、選択された方向別領域に関して平均値を算出する。
（効果）
複雑なエッジ領域においてもエッジ成分の影響を抑制することができるために、後段のノイズ量推定の精度を向上することができる。また、処理が比較的単純であるために、低コスト化を図ることが可能となる。
（付記１４）
上記ノイズ推定手段は、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、に基づき、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記選択されたパラメータと、に基づき、補間演算によりノイズ量を求める補間手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。パラメータ記録手段は図１５に示されるパラメータ用ＲＯＭ３０２が、収集手段は図１５に示されるゲイン算出部３００，制御部１１９が、付与手段は図１５に示される標準値付与部３０１が、パラメータ選択手段は図１５に示されるパラメータ選択部３０３が、補間手段は図１５に示される補間部３０４，補正部３０５が、それぞれ該当する。
この発明の好ましい適用例は、パラメータ用ＲＯＭ３０２に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、ゲイン算出部３００，制御部１１９によって映像信号を撮像する際に用いた撮像素子の温度値に関する情報と映像信号に対するゲインに関する情報とを収集し、標準値付与部３０１によってゲイン算出部３００，制御部１１９からの情報が得られない場合に標準値を付与し、パラメータ選択部３０３によってゲイン算出部３００，制御部１１９または標準値付与部３０１からの情報と第１ノイズ低減部１１４によりノイズ低減処理がなされた注目画素値とに基づきパラメータ群から必要となるパラメータを選択し、補間部３０４，補正部３０５によって第１ノイズ低減部１１４によりノイズ低減処理がなされた注目画素値と選択されたパラメータとに基づき補間演算によりノイズ量を求める撮像システムである。
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、基準ノイズモデルに基づき補間処理を行うことによりノイズ量を求める。
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にモデルを用いているために、ノイズ量を高精度に推定することが可能となる。また、補間処理は実装が容易であるために、システムを低コストに構築することが可能となる。
（付記１５）
上記ノイズ推定手段は、
上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、を入力として、ノイズ量を出力するノイズテーブル手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。収集手段は図３０に示されるゲイン算出部３００，制御部１１９が、付与手段は図３０に示される標準値付与部３０１が、ノイズテーブル手段は図３０に示されるノイズテーブル部８００が、それぞれ該当する。
この発明の好ましい適用例は、ゲイン算出部３００，制御部１１９によって映像信号を撮像する際に用いた撮像素子の温度値に関する情報と映像信号に対するゲインに関する情報とを収集し、標準値付与部３０１によってゲイン算出部３００，制御部１１９からの情報が得られない場合に標準値を付与し、ノイズテーブル部８００によってゲイン算出部３００，制御部１１９または標準値付与部３０１からの情報と第１のノイズ低減部６００によりノイズ低減処理がなされた注目画素値とに基づきノイズ量を求める撮像システムである。
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、ルックアップテーブルからノイズ量を求める。
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量を求める際にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。
（付記１６）
上記ノイズ推定手段は、
上記注目画素に関する孤立点の度合いを検出する孤立点検出手段と、
上記孤立点の度合いに基づき上記ノイズ量を補正する補正手段と、
をさらに有して構成されたものであることを特徴とする付記１４または付記１５に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１および実施形態２に記載されている。孤立点検出手段は図１５，図３０に示される孤立点検出部３０７が、補正手段は図１５，図３０に示される補正部３０５が、それぞれ該当する。
この発明の好ましい適用例は、孤立点検出部３０７によって注目画素に関する孤立点の度合いを検出し、補正部３０５によって孤立点の度合いに基づきノイズ量を補正する撮像システムである。
（作用）
注目画素に関する孤立点の度合いを検出し、孤立点の度合いに基づきノイズ量を補正する。
（効果）
孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。
（付記１７）
上記第２のノイズ低減手段は、
上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定手段と、
上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージング手段と、
上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージング手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。ノイズ範囲設定手段は図１９に示される範囲設定部４００が、第１のスムージング手段は図１９に示される第１スムージング部４０２が、第２のスムージング手段は図１９に示される第２スムージング部４０３が、それぞれ該当する。
この発明の好ましい適用例は、範囲設定部４００によってノイズ量に基づき注目画素値に関するノイズ範囲を設定し、第１スムージング部４０２によって注目画素値がノイズ範囲に属する場合に第１ノイズ低減部１１４によりノイズ低減処理がなされた注目画素値に基づき注目画素値の平滑化を行い、第２スムージング部４０３によって注目画素値がノイズ範囲に属さない場合に注目画素値の補正を行う撮像システムである。
（作用）
推定した注目画素のノイズ量に基づき注目画素値がノイズ範囲に属するか否かを判断し、ノイズに属する場合には平滑化処理を、ノイズに属さない場合には補正処理を行う。
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
（付記１８）
上記第２のノイズ低減手段は、
複数の平滑化フィルタを記録する平滑化フィルタ記録手段と、
上記ノイズ量と上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき、上記平滑化フィルタを選択する平滑化フィルタ選択手段と、
上記選択された平滑化フィルタに基づき平滑化を行うスムージング手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。平滑化フィルタ記録手段は図４７に示されるフィルタ記録部１２０１が、平滑化フィルタ選択手段は図４７に示されるフィルタ選択部１２００が、スムージング手段は図４７に示されるスムージング部１２０２が、それぞれ該当する。
この発明の好ましい適用例は、フィルタ記録部１２０１によって複数の平滑化フィルタを記録し、フィルタ選択部１２００によってノイズ量と第１のノイズ低減部１００３によりノイズ低減処理がなされた注目画素値とに基づき平滑化フィルタを選択し、スムージング部１２０２によって選択された平滑化フィルタに基づき注目画素に平滑化を行う撮像システムである。
（作用）
ノイズ量と第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき予め記録しておいた平滑化フィルタを選択し、選択された平滑化フィルタに基づき注目画素に平滑化を行う。
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、平滑化フィルタを用いると特定周波数域に対するノイズ低減処理を容易に行うことができるために、主観的に好ましい映像信号を得ることができる。
（付記１９）
上記第２のノイズ低減手段は、
上記信号記録手段に記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出手段と、
上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分手段と、
上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定手段と、
上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択手段と、
上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償手段と、
上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分手段と、
を有して構成されたものであることを特徴とする付記３に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。前局所領域抽出手段は図３１に示される前局所領域抽出部９００が、第１の差分手段は図３１に示される第１差分部９０１が、動き量推定手段は図３１に示される動き推定部９０３が、差分成分選択手段は図３１に示される差分成分選択部９０４が、動き量補償手段は図３１に示される動き補償部９０５が、第２の差分手段は図３１に示される第２差分部９０６が、それぞれ該当する。
この発明の好ましい適用例は、前局所領域抽出部９００によって時系列的に過去にノイズ低減処理がなされた複数の映像信号から局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出し、第１差分部９０１によって局所領域における注目画素を含む所定サイズの基準領域と、この基準領域と同一サイズの前局所領域における少なくとも１つの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出し、動き推定部９０３によってノイズ量と差分成分とに基づいて動き量を推定し、差分成分選択部９０４によって動き量に基づいて動き量が最小となる差分成分を選択し、動き補償部９０５によって選択された差分成分に関して動き量に基づき動き量補償を行い、第２差分部９０６によって基準領域と動き量補償が行われた差分成分との間で差分処理を行う撮像システムである。
（作用）
時系列的に過去のノイズ低減処理がなされた複数の映像信号から前局所領域を抽出し、局所領域と前局所領域において注目画素を含む基準領域と時系列的に過去のノイズ低減処理がなされた少なくとも１つの比較領域との間で差分成分を算出し、差分成分から動き量を推定し、動き量に基づいて動き量が最小となる差分成分を選択し、選択された差分成分に関して動き量補償を行い、基準領域と動き量補償が行われた差分成分との間で差分処理を行う。
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、時系列的に過去の映像信号を利用するために、より効果の大きいノイズ低減処理を行うことが可能となる。さらに、動き量に基づき過去の映像信号または現在の映像信号を選択しているために、動き量の大きい領域であっても副作用の少ないノイズ低減処理を行うことが可能となる。
（付記２０）
上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
上記色フィルタの複数色毎に、上記映像信号を複数の色信号に分離する色信号分離手段と、
上記色信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
をさらに具備したことを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１および実施形態２に記載されている。色信号分離手段は図１，図２０，図２５に示される色信号分離部１１１が、信号制御手段は図１，図２０，図２５に示される制御部１１９が、それぞれ該当する。
この発明の好ましい適用例は、色信号分離部１１１によって撮像素子に使用される色フィルタ毎に映像信号を複数の色信号に分離し、制御部１１９によって色信号毎に抽出部１１３と第１ノイズ低減部１１４，第１のノイズ低減部６００とノイズ推定部１１５，ノイズ推定部６０１と第２ノイズ低減部１１６，第２のノイズ低減部６０２とを順次適用するように制御する撮像システムである。
なお、「実質的に複数色の色フィルタを前面に配列する」とは、例えば、ダイクロイック面を用いることにより、実際に色フィルタを用いなくても色分解をすることができる場合を含む。
（作用）
実質的に色フィルタを前面に配置した撮像素子を用い、映像信号を複数の色信号に分離した後にノイズ低減処理を行う。
（効果）
従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。また、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。
（付記２１）
上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
上記映像信号を輝度信号と色差信号とに分離する輝度色差分離手段と、
上記輝度信号および色差信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
をさらに具備したことを特徴とする付記１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。輝度色差分離手段は図３７に示されるＹ／Ｃ分離部１００２が、信号制御手段は図３７に示される制御部１１９が、それぞれ該当する。
この発明の好ましい適用例はＹ／Ｃ分離部１００２によって映像信号を輝度信号と色差信号とに分離し、制御部１１９によって輝度信号および色差信号毎に抽出部１１３と第１のノイズ低減部１００３とノイズ推定部１１５と第２の第２のノイズ低減部１００４とを順次適用するように制御する撮像システムである。
なお、「実質的に複数色の色フィルタを前面に配列する」とは、例えば、ダイクロイック面を用いることにより、実際に色フィルタを用いなくても色分解をすることができる場合を含む。
（作用）
実質的に色フィルタを前面に配置した撮像素子を用い、映像信号を輝度信号と色差信号とに分離した後にノイズ低減処理を行う。
（効果）
従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。また、ノイズ低減処理を輝度信号および色差信号毎に独立して行うようにしたために、最適な輝度ノイズ低減と色ノイズ低減とを行うことが可能となり、高品位な映像信号を得ることができる。
（付記２２）
上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする付記２０または付記２１に記載の撮像システム。
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１、実施形態２、および実施形態３に記載されている。ベイヤー（Bayer）型原色フィルタは図２に、色差線順次型補色フィルタは図７，図２６（Ａ）に示される。
この発明の好ましい適用例は、図２に示されるベイヤー（Bayer）型原色フィルタ、または図７，図２６（Ａ）に示される色差線順次型補色フィルタを前面に配置した撮像素子を使用する撮像システムである。
（作用）
ベイヤー（Bayer）型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。
（効果）
従来の撮像系との親和性および互換性が高いために、多くの撮像システムへの適用が可能となる。
（付記２３）
コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と、上記ノイズ推定ステップにより推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
を行わせるための画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１と同様である。
（付記２４）
上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする付記２３に記載の画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記２と同様である。
（付記２５）
コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
上記ノイズ推定ステップにより推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減ステップによってノイズ低減処理がなされた注目画素値を順次記録する信号記録ステップと、
を行わせるための画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記３と同様である。
（付記２６）
上記第１のノイズ低減ステップは、
上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出ステップと、
上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリングステップと、
を含むステップであることを特徴とする付記２３または付記２４に記載の画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記４と同様である。
（付記２７）
上記第１のノイズ低減ステップは、
所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出ステップと、
上記拡散処理された映像信号を記録する拡散画像記録ステップと、
上記拡散画像記録ステップにより記録された映像信号に対して、上記拡散画像算出ステップにより再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録ステップにより記録させる反復処理を制御する反復処理制御ステップと、
を含むステップであることを特徴とする付記２３に記載の画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記９と同様である。
（付記２８）
上記第２のノイズ低減ステップは、
上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定ステップと、
上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージングステップと、
上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージングステップと、
を含むステップであることを特徴とする付記２３に記載の画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１７と同様である。
（付記２９）
上記第２のノイズ低減ステップは、
上記ノイズ量と上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値とに基づき、複数の平滑化フィルタの内の１つの平滑化フィルタを選択する平滑化フィルタ選択ステップと、
上記選択された平滑化フィルタに基づき平滑化を行うスムージングステップと、
を含むステップであることを特徴とする付記２３に記載の画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１８と同様である。
（付記３０）
上記第２のノイズ低減ステップは、
上記信号記録ステップにより記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出ステップと、
上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分ステップと、
上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定ステップと、
上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択ステップと、
上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償ステップと、
上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分ステップと、
を含むステップであることを特徴とする付記２５に記載の画像処理プログラム。
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１９と同様である。
本発明は、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システム、画像処理プログラムに好適に利用することができる。
本発明の実施形態１における撮像システムの構成を示すブロック図。 上記実施形態１の局所領域におけるベイヤー（Bayer）型原色フィルタの配置を示す図。 上記実施形態１の局所領域において分離されたＲ色信号を示す図。 上記実施形態１の局所領域において分離されたＧｒ色信号を示す図。 上記実施形態１の局所領域において分離されたＧｂ色信号を示す図。 上記実施形態１の局所領域において分離されたＢ色信号を示す図。 上記実施形態１の局所領域における色差線順次型補色フィルタの配置を示す図。 上記実施形態１の局所領域において分離されたＣｙ色信号を示す図。 上記実施形態１の局所領域において分離されたＹｅ色信号を示す図。 上記実施形態１の局所領域において分離されたＧ色信号を示す図。 上記実施形態１の局所領域において分離されたＭｇ色信号を示す図。 上記実施形態１において、３成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図。 上記実施形態１において、２成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図。 上記実施形態１において、１成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図。 上記実施形態１におけるノイズ推定部の構成を示すブロック図。 上記実施形態１において、信号レベルに対して推定されるノイズ量の関係を示す線図。 上記実施形態１において、図１６に示すノイズモデルを簡略化して得られるノイズモデルを示す線図。 上記実施形態１において、図１７に示した簡略化されたノイズモデルからノイズ量を算出する方法を説明するための線図。 上記実施形態１における第２ノイズ低減部の構成を示すブロック図。 上記実施形態１において、撮像部が別体である撮像システムの構成を示すブロック図。 上記実施形態１における画像処理プログラムによる処理全体の流れを示すフローチャート。 上記実施形態１において、図２１のステップＳ４における第１ノイズ低減処理の詳細を示すフローチャート。 上記実施形態１において、図２１のステップＳ５におけるノイズ量推定処理の詳細を示すフローチャート。 上記実施形態１において、図２１のステップＳ６における第２ノイズ低減処理の詳細を示すフローチャート。 本発明の実施形態２における撮像システムの構成を示すブロック図。 上記実施形態２において、色差線順次型補色フィルタの配置と２画素混合により出力されるフィールド信号と局所領域とを説明するための図。 上記実施形態２において、図２６（Ｂ）に示した偶数フィールド信号におけるＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅ色信号への分離を説明するための図。 上記実施形態２における第１ノイズ低減部の構成を示すブロック図。 上記実施形態２において、領域分割部により分割される方向別領域を説明するための図。 上記実施形態２におけるノイズ推定部の構成を示すブロック図。 上記実施形態２における第２ノイズ低減部の構成を示すブロック図。 上記実施形態２において、第２ノイズ低減部により用いる近傍画素を説明するための図。 上記実施形態２における画像処理プログラムによる処理全体の流れを示すフローチャート。 上記実施形態２において、図３３のステップＳ５１における第１ノイズ低減処理の詳細を示すフローチャート。 上記実施形態２において、図３３のステップＳ５２におけるノイズ量推定処理の詳細を示すフローチャート。 上記実施形態２において、図３３のステップＳ５３における第２ノイズ低減処理の詳細を示すフローチャート。 本発明の実施形態３における撮像システムの構成を示すブロック図。 上記実施形態３の局所領域における第１ＣＣＤの色フィルタ配置を示す図。 上記実施形態３の局所領域における第２ＣＣＤの色フィルタ配置を示す図。 上記実施形態３において、第２ＣＣＤの出力を補間処理して得られる局所領域のＲ色信号を示す図。 上記実施形態３において、第２ＣＣＤの出力を補間処理して得られる局所領域のＢ色信号を示す図。 上記実施形態３において、図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＹ信号を示す図。 上記実施形態３において、図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｂ信号を示す図。 上記実施形態３において、図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｒ信号を示す図。 上記実施形態３における第１ノイズ低減部の一構成例を示すブロック図。 上記実施形態３における第１ノイズ低減部の他の構成例を示すブロック図。 上記実施形態３における第２ノイズ低減部の構成を示すブロック図。 上記実施形態３における５×５画素の平滑化フィルタを示す図。 上記実施形態３における３×３画素の平滑化フィルタを示す図。 上記実施形態３において、ノイズ量に応じてどのタイプの平滑化フィルタが選択されるかを示す線図。 上記実施形態３における画像処理プログラムによる処理全体の流れを示すフローチャート。 上記実施形態３において、図５１のステップＳ９１における第１ノイズ低減処理の詳細を示すフローチャート。 上記実施形態３において、図５１のステップＳ９２における第２ノイズ低減処理の詳細を示すフローチャート。
符号の説明
１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…温度センサ
１０４…増幅部
１０５…Ａ／Ｄ変換部
１０６…バッファ
１０７…プレホワイトバランス部
１０８…測光評価部
１０９…合焦点検出部
１１０…ＡＦモータ
１１１…色信号分離部（色信号分離手段）
１１２…バッファ
１１３…抽出部（局所領域抽出手段）
１１４…第１ノイズ低減部（第１のノイズ低減手段）
１１５…ノイズ推定部（ノイズ推定手段）
１１６…第２ノイズ低減部（第２のノイズ低減手段）
１１７…信号処理部
１１８…出力部
１１９…制御部（収集手段，信号制御手段）
１２０…外部Ｉ／Ｆ部
２００…ビットシフト部（重み係数算出手段，ビットシフト手段）
２０１…第１バッファ
２０２…差成分算出部（重み係数算出手段）
２０３…第２バッファ
２０４…差成分用テーブル（重み係数算出手段，テーブル手段，第１のテーブル手段）
２０５…昇順積算部（重み係数算出手段）
２０６…孤立点用テーブル（重み係数算出手段，第３のテーブル手段）
２０７…座標用テーブル（重み係数算出手段，第２のテーブル手段）
２０８…重み係数合成部（重み係数算出手段，合成手段）
２０９…フィルタリング部（フィルタリング手段）
３００…ゲイン算出部（収集手段）
３０１…標準値付与部（付与手段）
３０２…パラメータ用ＲＯＭ（パラメータ記録手段）
３０３…パラメータ選択部（パラメータ選択手段）
３０４…補間部（補間手段）
３０５…補正部（補間手段，補正手段）
３０６…バッファ
３０７…孤立点検出部（孤立点検出手段）
４００…範囲設定部（ノイズ範囲設定手段）
４０１…切り換え部
４０２…第１スムージング部（第１のスムージング手段）
４０３…第２スムージング部（第２のスムージング手段）
５００…入力部
５０１…ヘッダ情報解析部
６００…第１ノイズ低減部（第１のノイズ低減手段）
６０１…ノイズ推定部（ノイズ推定手段）
６０２…第２ノイズ低減部（第２のノイズ低減手段）
６０３…バッファ（信号記録手段）
６０４…フレーム合成部
７００…領域分割部（領域分割手段）
７０１…第１バッファ
７０２…分散算出部（分散算出手段）
７０３…第２バッファ
７０４…領域選択部（領域選択手段）
７０５…平均値算出部（平均値算出手段）
８００…ノイズテーブル部（ノイズテーブル手段）
９００…前局所領域抽出部（前局所領域抽出手段）
９０１…第１差分部（第１の差分手段）
９０２…バッファ
９０３…動き推定部（動き量推定手段）
９０４…差分成分選択部（差分成分選択手段）
９０５…動き補償部（動き量補償手段）
９０６…第２差分部（第２の差分手段）
１０００…第１ＣＣＤ
１００１…第２ＣＣＤ
１００２…Ｙ／Ｃ分離部（輝度色差分離手段）
１００３…第１ノイズ低減部（第１のノイズ低減手段）
１００４…第２ノイズ低減部（第２のノイズ低減手段）
１１００…バッファ（拡散画像記録手段）
１１０１…ＴＶノルム算出部（拡散画像算出手段）
１１０２…拡散画像算出部（拡散画像算出手段）
１１０３…変化成分算出部（反復処理制御手段，変化成分算出手段）
１１０４…拡散制御部（反復処理制御手段，停止手段）
１１０５…処理回数算出部（反復処理制御手段，処理回数算出手段）
１１０６…ＰＤＥｓ算出部（拡散画像算出手段）
１２００…フィルタ選択部（平滑化フィルタ選択手段）
１２０１…フィルタ記録部（平滑化フィルタ記録手段）
１２０２…スムージング部（スムージング手段）

Claims (30)

  1. 撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
    上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
    上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
    上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
    上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記ノイズ推定手段により推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
    を具備したことを特徴とする撮像システム。
  2. 上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする請求項１に記載の撮像システム。
  3. 撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
    上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
    上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
    上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
    上記ノイズ推定手段により推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
    ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減手段によってノイズ低減処理がなされた注目画素値を順次記録する信号記録手段と、
    を具備したことを特徴とする撮像システム。
  4. 上記第１のノイズ低減手段は、
    上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出手段と、
    上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリング手段と、
    を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
  5. 上記重み係数算出手段は、上記注目画素値と上記近傍画素値との差成分に基づき重み係数を出力するテーブル手段を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
  6. 上記重み係数算出手段は、
    上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
    上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
    上記第１の重み係数と上記第２の重み係数とに基づき上記重み係数を合成する合成手段と、
    を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
  7. 上記重み係数算出手段は、
    上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
    上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
    上記注目画素値と上記近傍画素値との差成分に基づき第３の重み係数を出力する第３のテーブル手段と、
    上記第１の重み係数と上記第２の重み係数と上記第３の重み係数とに基づき上記重み係数を合成する合成手段と、
    を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
  8. 上記重み係数算出手段は、上記注目画素値と上記近傍画素値とに関して所定ビット数の上位ビット成分を抽出するビットシフト手段をさらに有して構成されたものであることを特徴とする請求項５〜７の何れか一項に記載の撮像システム。
  9. 上記第１のノイズ低減手段は、
    所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出手段と、
    上記拡散処理された映像信号を記録する拡散画像記録手段と、
    上記拡散画像記録手段に記録された映像信号に対して、上記拡散画像算出手段により再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録手段に記録させる反復処理を制御する反復処理制御手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
  10. 上記反復処理制御手段は、
    上記拡散画像記録手段に記録された映像信号と、該拡散画像記録手段に記録された映像信号に対して上記拡散画像算出手段により再度拡散処理された映像信号と、の間の変化成分を算出する変化成分算出手段と、
    上記変化成分が所定の閾値以下になった場合に上記反復処理を停止させる停止手段と、
    を有して構成されたものであることを特徴とする請求項９に記載の撮像システム。
  11. 上記反復処理制御手段は、
    上記反復処理の回数を算出する処理回数算出手段と、
    上記反復処理の回数が所定の回数に達した場合に上記反復処理を停止させる停止手段と、
    を有して構成されたものであることを特徴とする請求項９に記載の撮像システム。
  12. 上記非線形拡散方程式は、全変動（ＴＶ；Total Variation）ノルムに基づく方程式、または偏微分方程式（ＰＤＥｓ；Partial Differential Equations）に基づく方程式であることを特徴とする請求項９に記載の撮像システム。
  13. 上記第１のノイズ低減手段は、
    上記注目画素を基点として上記局所領域を所定方向の複数の方向別領域へ分割する領域分割手段と、
    上記各方向別領域に関して分散値を算出する分散算出手段と、
    上記分散値に基づき分散値が最小となる方向別領域を選択する領域選択手段と、
    上記選択された方向別領域に関して平均値を算出する平均値算出手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
  14. 上記ノイズ推定手段は、
    基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
    上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
    上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
    上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、に基づき、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記選択されたパラメータと、に基づき、補間演算によりノイズ量を求める補間手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
  15. 上記ノイズ推定手段は、
    上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
    上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
    上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、を入力として、ノイズ量を出力するノイズテーブル手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
  16. 上記ノイズ推定手段は、
    上記注目画素に関する孤立点の度合いを検出する孤立点検出手段と、
    上記孤立点の度合いに基づき上記ノイズ量を補正する補正手段と、
    をさらに有して構成されたものであることを特徴とする請求項１４または請求項１５に記載の撮像システム。
  17. 上記第２のノイズ低減手段は、
    上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定手段と、
    上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージング手段と、
    上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージング手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
  18. 上記第２のノイズ低減手段は、
    複数の平滑化フィルタを記録する平滑化フィルタ記録手段と、
    上記ノイズ量と上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき、上記平滑化フィルタを選択する平滑化フィルタ選択手段と、
    上記選択された平滑化フィルタに基づき平滑化を行うスムージング手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
  19. 上記第２のノイズ低減手段は、
    上記信号記録手段に記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出手段と、
    上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分手段と、
    上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定手段と、
    上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択手段と、
    上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償手段と、
    上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
  20. 上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
    上記色フィルタの複数色毎に、上記映像信号を複数の色信号に分離する色信号分離手段と、
    上記色信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
    をさらに具備したことを特徴とする請求項１に記載の撮像システム。
  21. 上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
    上記映像信号を輝度信号と色差信号とに分離する輝度色差分離手段と、
    上記輝度信号および色差信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
    をさらに具備したことを特徴とする請求項１に記載の撮像システム。
  22. 上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする請求項２０または請求項２１に記載の撮像システム。
  23. コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
    上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
    上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
    上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
    上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と、上記ノイズ推定ステップにより推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
    を行わせるための画像処理プログラム。
  24. 上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする請求項２３に記載の画像処理プログラム。
  25. コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
    上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
    上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
    上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
    上記ノイズ推定ステップにより推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
    ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減ステップによってノイズ低減処理がなされた注目画素値を順次記録する信号記録ステップと、
    を行わせるための画像処理プログラム。
  26. 上記第１のノイズ低減ステップは、
    上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出ステップと、
    上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリングステップと、
    を含むステップであることを特徴とする請求項２３または請求項２４に記載の画像処理プログラム。
  27. 上記第１のノイズ低減ステップは、
    所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出ステップと、
    上記拡散処理された映像信号を記録する拡散画像記録ステップと、
    上記拡散画像記録ステップにより記録された映像信号に対して、上記拡散画像算出ステップにより再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録ステップにより記録させる反復処理を制御する反復処理制御ステップと、
    を含むステップであることを特徴とする請求項２３に記載の画像処理プログラム。
  28. 上記第２のノイズ低減ステップは、
    上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定ステップと、
    上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージングステップと、
    上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージングステップと、
    を含むステップであることを特徴とする請求項２３に記載の画像処理プログラム。
  29. 上記第２のノイズ低減ステップは、
    上記ノイズ量と上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値とに基づき、複数の平滑化フィルタの内の１つの平滑化フィルタを選択する平滑化フィルタ選択ステップと、
    上記選択された平滑化フィルタに基づき平滑化を行うスムージングステップと、
    を含むステップであることを特徴とする請求項２３に記載の画像処理プログラム。
  30. 上記第２のノイズ低減ステップは、
    上記信号記録ステップにより記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出ステップと、
    上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分ステップと、
    上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定ステップと、
    上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択ステップと、
    上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償ステップと、
    上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分ステップと、
    を含むステップであることを特徴とする請求項２５に記載の画像処理プログラム。
JP2006305916A 2006-11-10 2006-11-10 撮像システム、画像処理プログラム Expired - Fee Related JP4653059B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006305916A JP4653059B2 (ja) 2006-11-10 2006-11-10 撮像システム、画像処理プログラム
PCT/JP2007/071088 WO2008056565A1 (fr) 2006-11-10 2007-10-30 Système d'analyse d'image et programme de traitement d'image
US12/463,472 US8184181B2 (en) 2006-11-10 2009-05-11 Image capturing system and computer readable recording medium for recording image processing program
US13/274,087 US8488026B2 (en) 2006-11-10 2011-10-14 Image capturing system and computer readable recording medium for recording image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006305916A JP4653059B2 (ja) 2006-11-10 2006-11-10 撮像システム、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2008124764A true JP2008124764A (ja) 2008-05-29
JP4653059B2 JP4653059B2 (ja) 2011-03-16

Family

ID=39364385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006305916A Expired - Fee Related JP4653059B2 (ja) 2006-11-10 2006-11-10 撮像システム、画像処理プログラム

Country Status (3)

Country Link
US (2) US8184181B2 (ja)
JP (1) JP4653059B2 (ja)
WO (1) WO2008056565A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011072A (ja) * 2008-06-26 2010-01-14 Olympus Corp 撮像システム、画像処理方法および画像処理プログラム
JP2010211552A (ja) * 2009-03-11 2010-09-24 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
US8199223B2 (en) 2009-04-08 2012-06-12 Olympus Corporation Image processing device, image processing method, and computer readable storage medium storing image processing program
JP2012165224A (ja) * 2011-02-08 2012-08-30 Nikon Corp 画像処理装置、電子カメラ及び画像処理プログラム
JP2012174275A (ja) * 2011-02-22 2012-09-10 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1798956A1 (en) * 2005-12-16 2007-06-20 Perkinelmer Singapore PTE Ltd. A method of processing data from a CCD and a CCD imaging apparatus
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
JP5052319B2 (ja) * 2007-12-17 2012-10-17 オリンパス株式会社 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法
KR101493695B1 (ko) * 2008-08-01 2015-03-02 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP5143038B2 (ja) 2009-02-02 2013-02-13 オリンパス株式会社 画像処理装置及び画像処理方法
US8948488B2 (en) * 2009-07-31 2015-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
KR20110048922A (ko) * 2009-11-03 2011-05-12 삼성전자주식회사 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법
US8345130B2 (en) 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
US8295631B2 (en) 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
US8687125B2 (en) * 2010-05-18 2014-04-01 Sharp Kabushiki Kaisha Image processing system and display device for carrying out subtraction or addition of a pixel value of a target pixel in accordance with a value equivalent to a noise quantity
CN103578081B (zh) * 2012-08-08 2018-12-28 北京三星通信技术研究有限公司 用于提高图像质量的图像处理方法和系统
US9275446B2 (en) 2013-10-15 2016-03-01 Samsung Electronics Co., Ltd. Large radius edge-preserving low-pass filtering
JP2015138417A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 画像処理装置および画像処理方法
JP6444233B2 (ja) * 2015-03-24 2018-12-26 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
CN109462728B (zh) * 2017-09-06 2020-01-14 浙江宇视科技有限公司 码率控制方法、装置、图像采集设备及可读存储介质
JP7100574B2 (ja) * 2018-12-21 2022-07-13 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
CN109639982B (zh) * 2019-01-04 2020-06-30 Oppo广东移动通信有限公司 一种图像降噪方法、装置、存储介质及终端
JP2020136903A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
CN116347186A (zh) * 2021-12-15 2023-06-27 超威半导体(上海)有限公司 用于图像去马赛克的装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923775A (en) * 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
JP2000348018A (ja) * 1999-06-07 2000-12-15 Sony Corp データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法
JP2000354179A (ja) * 1999-06-11 2000-12-19 Nikon Corp 信号変換方法、および信号変換プログラムを記録した記録媒体
WO2006064913A1 (ja) * 2004-12-17 2006-06-22 Nikon Corporation 画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157057A (ja) 1999-11-30 2001-06-08 Konica Corp 画像読取装置
KR100327385B1 (en) * 2000-07-18 2002-03-13 Lg Electronics Inc Spatio-temporal three-dimensional noise filter
FR2820227B1 (fr) * 2001-01-30 2003-04-18 France Telecom Procede et dispositif de reduction de bruit
JP2006023959A (ja) 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
ATE530015T1 (de) * 2005-01-18 2011-11-15 Lg Electronics Inc Anordnung zur entfernung von rauschen aus einem videosignal
JP4577565B2 (ja) 2005-03-03 2010-11-10 ソニー株式会社 画像処理方法、画像処理装置、プログラム、および撮影装置
JP5079257B2 (ja) 2005-05-16 2012-11-21 株式会社三和化学研究所 Ｂｕｒｋｈｏｌｄｅｒｉａｃｅｐａｃｉａに対する保存剤
JP4465002B2 (ja) * 2007-11-16 2010-05-19 オリンパス株式会社 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP5123756B2 (ja) * 2008-06-26 2013-01-23 オリンパス株式会社 撮像システム、画像処理方法および画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923775A (en) * 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
JP2000348018A (ja) * 1999-06-07 2000-12-15 Sony Corp データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法
JP2000354179A (ja) * 1999-06-11 2000-12-19 Nikon Corp 信号変換方法、および信号変換プログラムを記録した記録媒体
WO2006064913A1 (ja) * 2004-12-17 2006-06-22 Nikon Corporation 画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011072A (ja) * 2008-06-26 2010-01-14 Olympus Corp 撮像システム、画像処理方法および画像処理プログラム
JP2010211552A (ja) * 2009-03-11 2010-09-24 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
US8199223B2 (en) 2009-04-08 2012-06-12 Olympus Corporation Image processing device, image processing method, and computer readable storage medium storing image processing program
JP2012165224A (ja) * 2011-02-08 2012-08-30 Nikon Corp 画像処理装置、電子カメラ及び画像処理プログラム
JP2012174275A (ja) * 2011-02-22 2012-09-10 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
US8184181B2 (en) 2012-05-22
US20120033109A1 (en) 2012-02-09
JP4653059B2 (ja) 2011-03-16
US20090219417A1 (en) 2009-09-03
US8488026B2 (en) 2013-07-16
WO2008056565A1 (fr) 2008-05-15

Similar Documents

Publication Publication Date Title
JP4653059B2 (ja) 撮像システム、画像処理プログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP4768448B2 (ja) 撮像装置
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
JP4660342B2 (ja) 画像処理システム、画像処理プログラム
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
US20070206246A1 (en) Image processing apparatus
JPWO2007049418A1 (ja) 画像処理システム、画像処理プログラム
KR20080082902A (ko) 화상 처리 장치, 촬상 장치, 및 화상 처리 방법, 및 컴퓨터프로그램
JP2007259401A (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
JP2006023959A (ja) 信号処理システム及び信号処理プログラム
WO2005099356A2 (ja) 撮像装置
JP4441321B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4321317B2 (ja) 電子カメラ、カメラシステムおよび電子カメラの黒点補正方法
JP2009100207A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム
JP2008271101A (ja) 映像処理装置及び映像処理プログラム
JP2009027615A (ja) 映像処理装置および映像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101216

R151 Written notification of patent or utility model registration

Ref document number: 4653059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees