JP2008172431A - 画像処理装置および撮像装置 - Google Patents

画像処理装置および撮像装置 Download PDF

Info

Publication number
JP2008172431A
JP2008172431A JP2007002655A JP2007002655A JP2008172431A JP 2008172431 A JP2008172431 A JP 2008172431A JP 2007002655 A JP2007002655 A JP 2007002655A JP 2007002655 A JP2007002655 A JP 2007002655A JP 2008172431 A JP2008172431 A JP 2008172431A
Authority
JP
Japan
Prior art keywords
component
noise reduction
signal
noise
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007002655A
Other languages
English (en)
Other versions
JP4523008B2 (ja
Inventor
Takahiro Saito
▲隆▼弘 齊▲藤▼
Yuuki Ishii
勇樹 石井
Nobuyuki Watanabe
伸之 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanagawa University
Olympus Corp
Original Assignee
Kanagawa University
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanagawa University, Olympus Corp filed Critical Kanagawa University
Priority to JP2007002655A priority Critical patent/JP4523008B2/ja
Priority to PCT/JP2007/070770 priority patent/WO2008084585A1/ja
Publication of JP2008172431A publication Critical patent/JP2008172431A/ja
Priority to US12/498,845 priority patent/US8189940B2/en
Application granted granted Critical
Publication of JP4523008B2 publication Critical patent/JP4523008B2/ja
Priority to US13/477,225 priority patent/US8538186B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】信号レベルに依存するノイズ成分をより効果的に低減する。
【解決手段】原画像信号Iを、骨格成分である第１成分Uと、原画像信号Iに対する第１成分Uの残差から得られる第２成分Vと、を含む複数の成分に分離し（Ｓ１１）、第１成分Uの信号レベルに基づきノイズ低減処理パラメータT1、T2を設定し（Ｓ１２）、ノイズ低減処理パラメータT1、T2を用いて第２成分Vのノイズを低減する（Ｓ１３）。
【選択図】図３

Description

本発明は、画像信号に含まれるノイズの低減、特に信号レベルに依存するノイズの低減に関する。
特許文献１では、輝度ノイズ量Nと濃度値に変換した信号レベルDの関係を、N=abcDにより関数化している。a、b、cは定数項であり、静的に与えられる。しかしながら、輝度ノイズ量は、撮影時の温度、露光時間、ゲインなどの要因により動的に変化するため、静的な定数項を用いるこの方法では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣っていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは画像上の平坦部、エッジ部を区別することなく同等に処理するため、信号レベルからノイズ量が大と推定された領域にあるエッジ部が劣化してしまい、原信号の保存性が低かった。さらに、各色信号間に発生する色ノイズに関しては対応できない。
また、特許文献２では、入力信号を輝度信号と色差信号とに分離し、これらの信号に基づきエッジ強度を求め、エッジ部以外の平坦な領域で色差信号に平滑化処理を行っており、この平滑化処理は信号レベルにかかわらず固定的に行われる。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することができず、色ノイズ成分の残存や原信号の劣化などが発生してしまう可能性がある。
そこで出願人は、ノイズモデルに基づくノイズコアリング処理において、色相の類似度を求め、領域に分割し、領域別にノイズモデルを適用する手法を提案している（特許文献３）。さらに、ノイズモデルに基づくノイズコアリング処理において、輝度レベルを推定するために注目画素とその周辺の平均値を用いてノイズモデルに基づくコアリングの閾値を求め、さらに、閾値内に属する画素の類似度に応じて、再度画像のセグメンテーションを行い、領域別にノイズモデルを適用する手法を提案している（特許文献４）。
特開２００１−１５７０５７公報 特開２００１−１７５８４３公報 特開２００６−０２３９５９公報 特開２００６−１０１００６公報 Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67, Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006
しかしながら、従来の平均値を求める方法であると、特にノイズのエネルギーが大きい画像においては、そのノイズ量除いた値を平均値フィルタで除くために大きなカーネルのフィルタが必要となる。この場合、副作用として、エッジ部近辺において、近傍の画素レベルの影響によって正しい推定値が得られず、ノイズモデルを正しく適用することができない場合がある。また、ノイズモデルの類似度に応じたセグメンテーションにおいても、画像の構造要素を考慮していないので、エッジ部付近での挙動が期待通りの効果を示さない場合がある。
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、信号レベルに依存するノイズ成分をより効果的に低減し、高画質なノイズ低減処理を行えるようにすることを目的とする。
第１の発明は、画像処理装置において、原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、前記第１成分の信号レベルを取得する信号レベル取得手段と、前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、を備えたことを特徴とするものである。
第２の発明は、第１の発明による画像処理装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とするものである。
第３の発明は、第１または第２の発明による画像処理装置において、前記原画像信号はモノクロであり、前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とするものである。
第４の発明は、第１または第２の発明による画像処理装置において、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第５の発明は、第１または第２の発明による画像処理装置において、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第６の発明は、第１または第２の発明による画像処理装置において、前記原画像信号は複数の色成分から構成され、前記画像処理装置は、前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
第７の発明は、第６の発明による画像処理装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
第８の発明は、第７の発明による画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とするものである。
第９の発明は、第６から第８の発明による画像処理装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
第１０の発明は、第６から第９の発明による画像処理装置において、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第１１の発明は、第６から第９の発明による画像処理装置において、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第１２の発明は、第１から第１１の発明による画像処理装置において、前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とするものである。
第１３の発明は、第１から第１２の発明による画像処理装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とするものである。
第１４の発明は、第１から第１３の発明による画像処理装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とするものである。
第１５の発明は、第１から第１４の発明による画像処理装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
第１６の発明は、第１から第１４の発明による画像処理装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
第１７の発明は、第１から第１６の発明による画像処理装置において、階調変換を行うデジタル信号処理手段を備え、前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とするものである。
第１８の発明は、第１２の発明による画像処理装置において、前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とするものである。
第１９の発明は、撮像装置において、撮像素子と、前記撮像素子から得られた原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、前記第１成分の信号レベルを取得する信号レベル取得手段と、前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、を備えたことを特徴とするものである。
第２０の発明は、第１９の発明による撮像装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とするものである。
第２１の発明は、第１９または第２０の発明による撮像装置において、前記原画像信号はモノクロであり、前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とするものである。
第２２の発明は、第１９または第２０の発明による撮像装置において、前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第２３の発明は、第１９または第２０の発明による撮像装置において、前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第２４の発明は、第１９または第２０の発明による撮像装置において、前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、前記撮像装置は、前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
第２５の発明は、第２４の発明による撮像装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
第２６の発明は、第２５の発明による撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とするものである。
第２７の発明は、第２４から第２６の発明による撮像装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
第２８の発明は、第２４から第２７の発明による撮像装置において、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第２９の発明は、第２４から第２７の発明による撮像装置において、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
第３０の発明は、第１９から第２９の発明による撮像装置において、前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とするものである。
第３１の発明は、第１９から第３０の発明による撮像装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とするものである。
第３２の発明は、第１９から第３１の発明による撮像装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とするものである。
第３３の発明は、第１９から第３２の発明による撮像装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
第３４の発明は、第１９から第３２の発明による撮像装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
第３５の発明は、第１９から第３４の発明による撮像装置において、階調変換を行うデジタル信号処理手段を備え、前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とするものである。
第３６の発明は、第３０の発明による撮像装置において、前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とするものである。
第３７の発明は、複数の色成分を含む原画像信号を対象とした画像処理装置において、前記原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記画像信号のノイズを低減するノイズ低減手段と、前記原画像信号に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
第３８の発明は、第３７の発明による画像処理装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とするものである。
第３９の発明は、第３７または第３８の発明による画像処理装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
第４０の発明は、第３９の発明による画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。
第４１の発明は、第３７または第４０の発明による画像処理装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
第４２の発明は、撮像装置において、色フィルタアレイを前面に配置した撮像素子と、前記撮像素子から得られた複数の色成分を含む原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記原画像信号のノイズを低減するノイズ低減手段と、前記原画像信号に対して、前記注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
第４３の発明は、第４２の発明による撮像装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とするものである。
第４４の発明は、第４２または第４３の発明による撮像装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
第４５の発明は、第４４の発明による撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とするものである。
第４６の発明は、第４２から第４５の発明による撮像装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
原画像信号に含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号を推定する必要があるが、骨格成分である第１成分の信号レベルを用いれば原画像信号に含まれるノイズを精度良く推定することができる。その一方で、原画像信号に対する第１成分の残差から得られる第２成分には、原画像信号に含まれていたノイズ成分と同等のノイズ成分が分離される。
したがって、第１から第３６の発明のように、第１成分の信号レベルに基づきノイズ低減処理パラメータを設定し、これを用いて第２成分のノイズを低減するようにすれば、第２成分のノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。骨格成分は第１成分として分離されているので、ノイズ低減処理により骨格成分が劣化することもない。
また、第１７、第３６の発明によれば、デジタル画像処理部の前段において上記成分分離、ノイズ低減処理を行うので、成分分離における骨格成分とノイズ成分の分離能力が向上する。
また、第６から第１１、第２４から第２９、第３７から第４６の発明によれば、色成分間の相関に応じてノイズ低減処理パラメータを補正するようにしたことにより、画像信号に含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
以下、添付図面を参照しながら本発明の実施形態について説明する。
＜第１の実施形態＞
図１は本発明の第1の実施形態に係る撮像装置のシステム構成図である。図１において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
原画像は、レンズ1001を通してCCD、CMOS等の固体撮像素子1002で電気信号に変換され、撮像信号処理部1003においてCDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われる。その後、A/D変換部1004でデジタル信号に変換され、デジタル信号処理部1005で所定の階調の画像信号（原画像信号I）に変換される。第１の実施形態においては、固体撮像素子1002はモノクロ用撮像素子、原画像信号Iはモノクロ信号である。
成分分離部3001では、原画像信号Iを第１成分Uと第２成分Vに分離する。第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Iの骨格成分（幾何学的画像構造）であり、第２成分Vは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分である。原画像信号Iがモノクロ信号であるので、原画像信号Iから分離される各成分U、Vはいずれも輝度成分となる。
なお、ここでは、説明を簡単にするために、原画像信号Iを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。また、成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。
ノイズ低減処理パラメータ設定部3004では、図２に示す信号レベル−ノイズ分散モデルまたはその近似データを参照して第１成分Uの信号レベルに対応するノイズの分散σ（ノイズ量）を取得する。第１成分Uは原画像信号Iの骨格成分であるので、第１成分Uの信号レベルから得られるノイズの分散σは、原画像信号Iに含まれていたノイズの分散σにほぼ等しい。そして、ノイズの分散σに応じたノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002に伝送する。
ノイズ低減処理パラメータT1、T2は、例えば、次式(1)：
により、それぞれノイズの分散σに比例する値に設定される。kは係数で、例えば1/2である。信号レベル−ノイズ分散モデルの詳細については後述する。
ノイズ低減処理部3002では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理（コアリング処理）を行う。第２成分Vは原画像信号Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第２成分Vに含まれるノイズを効果的に低減することができる。そして、得られた値を補正第２成分V'として成分合成処理部3005に伝送する。軟判定閾値処理の詳細については後述する。
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。合成成分I'は、LCD等の表示素子2001に伝送されるとともに、圧縮回路2002を介して、フラッシュメモリ等で構成される記憶メディア2003に伝送される。
図３は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。図中参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ１１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ１２では、第１成分Uの信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得する。そして、ノイズ低減処理パラメータT1、T2をノイズの分散σに応じて設定する。
ステップＳ１３では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、第２成分Vに含まれているノイズを低減し、補正第２成分V'を得る。
ステップＳ１４では、第１成分Uと補正第２成分V'を合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
続いて、成分分離部3001において行う原画像信号Iの成分分離の詳細について説明する。原画像信号Iから第１成分Uを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。成分分離の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
加算型分離
加算型分離では、原画像信号Iが次式(2)で示すように、第１成分Uと第２成分Vの和として表される。
ここでは、まず、有界変動関数とノルムを用いた分離方法を説明する。
分離を行うために、非特許文献１に記載のA2BC変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。
最適解として求められる第１成分Uの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、第１成分Uのエネルギーは次式(3)のTV(Total Variation)ノルムJ(U)で定義される。
一方、式(2)中の第２成分Vの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって次式(4)のように表現された関数の空間であり、そのエネルギーは次式(5)のGノルム‖V‖Gとして定義される。
原画像信号Iの分離問題は、エネルギー汎関数を最小化する次式(6)の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けるが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
その他の加算型分離方法の例としては、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。
例１：第１成分Uを原画像信号Iに対する直交基底展開の低次の成分とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例２：第１成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例３：第１成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第２成分Vを原画像信号Ｉに対する第１成分Uの残差とする方法
例４： 第１成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例５：第１成分Uを原画像信号IにBilateral Filterを施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第１成分Uと第２成分Vの積によって表されるが、原画像信号Iを対数変換して対数原画像信号fとすると、次式(7)のように加算型分離問題に変換することができる。
ここでは、前述と同様に有界変動関数とノルムを用いた分離方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にA2BC変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるA2BC変分モデルについて簡単に述べる。
式(7)中の対数第１成分uの関数空間は、前述の加算型分離モデルの第１成分Uと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、対数第１成分uのエネルギーは次式(8)のTV(Total Variation)ノルムJ(u)で定義される。
一方、式(7)中の対数第２成分vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(9)のように表現された関数の空間であり、そのエネルギーは式(10)のGノルム‖v‖Gとして定義される。
したがって、対数原画像信号fの分離問題は、エネルギー汎関数を最小化する次式(11)の変分問題として定式化される。
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けているが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
続いて、ノイズ低減処理パラメータ設定部3004で参照する信号レベル−ノイズ分散モデルについて説明する。
原画像信号Iに含まれるノイズをガウスノイズとすると、ノイズの分散σ（ノイズ量）は、A/D変換直後の信号レベルL0に対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、次式(12)が得られる。
ここで、α、β、γは定数項である。しかしながら、ノイズの分散σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズの分散σをプロットしている。個々の曲線は式(12)に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形で信号レベル−ノイズ分散モデルの定式化を行うと、
となる。ここで、αgt、βgt、γgtは温度t、ゲインgに応じて決まる定数項である。フルカラーの場合、このノイズモデルは各色独立に適用することができる。
しかしながら、第１の実施形態では、デジタル信号処理部1005の後段で成分分離、ノイズ低減処理を行うので、上記モデルをそのまま用いることはできない。そこで、上記信号レベル−ノイズ分散モデルの特性に加え、デジタル信号処理部1005の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル−ノイズ分散モデルを得る。
例えば、デジタル信号処理部1005が、12bitの入力信号を8bit出力信号に階調変換するKnee処理又はγ変換である場合、デジタル信号処理部1005は図５の様な入出力信号特性を有している。図中、L(12)はA/D変換直後の信号レベル、L(8)はデジタル信号処理後の信号レベルを表す。
したがって、式(12)あるいは(13)のA/D変換直後の信号レベル−ノイズ分散の特性と、図５の様なデジタル信号処理部1005の特性を考慮すると、デジタル信号処理後の信号レベルY(8)とノイズの分散σは、図２に示した単峰の曲線の関係（信号レベル−ノイズ分散モデル）となる。
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定している。なお、簡略化のために、図２に代えて、図２を折れ線で近似したデータを参照するようにしてもよい。
続いて、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理について説明する。
原画像信号Iから分離された第２成分Vは上記の通りノイズを含むので、ノイズ低減処理部3002では、以下に説明する軟判定閾値処理（コアリング処理）により第２成分Vに含まれるノイズを低減する。
軟判定閾値処理は、基準値をB、上限閾値をC1=B+T1 (T1>0)、下限閾値をC2=B+T2 (T2<0)とし、処理前の信号値Aと処理後の信号値Dの関係が次式(14)で表される信号処理である。
図６は軟判定閾値処理が行われる様子を示している。図６(a)に示す１次元の信号値Aに対して軟判定閾値処理を行うと、図６(b)に示す信号値Dが得られる。このとき基準値Bには信号値Aの移動平均を用いている。
第１の実施形態では、原画像信号Iから分離された第２成分Vに対して上記軟判定閾値処理を行う。第２成分Vは、原画像信号Iから骨格成分である第１成分を除いたものであるので、基準値Bは0と考えて良い。
図７は、上記成分分離、ノイズ低減処理により原画像信号Iのノイズが低減される様子を示している。
図７(a)は、１次元で表した原画像信号Iを示しており、ノイズを含んでいる。
図７(b)は、成分分離部3001によって原画像信号Iから分離された第１成分Uを示している。第１成分Uは平坦成分とエッジ成分を含む骨格成分であり、ノイズを殆ど含んでいない。
図７(c）は、成分分離部3001によって得られた第２成分Vを示している。第２成分Vは原画像信号Iに対する第１成分Uの残差成分であり、原画像信号Iに含まれていたノイズと同等のノイズを含んでいる。
図７(d)は、第２成分Vに対して軟判定閾値処理を行った結果である。補正第２成分V'は第２成分Vに比べてノイズが低減されている。信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第１の実施形態では、これに代えて骨格成分である第１成分Uの信号レベルを用いてノイズの分散σを取得するようにしている。なお、ここでは、簡単のために、図２に示した信号レベル−ノイズ分散モデルを折れ線で近似したデータを参照してノイズの分散σを取得した。
図７(e)は、成分合成処理部3005で図７(b)の第１成分Uと図７(d)の補正第２成分V'とを1:1で合成した結果である。図７の(a)と(e)を比較するとわかるように、合成成分I'は原画像信号Iに対してエッジ成分を保存しつつ、ノイズが低減されている。なお、合成時の混合比は任意に設定することができる。
続いて第１の実施形態の作用効果について説明する。
原画像信号Iに含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号Iを推定する必要があるが、骨格成分である第１成分Uの信号レベルを用いれば原画像信号Iに含まれるノイズを精度良く推定することができる。その一方で、原画像信号Iに対する第１成分Uの残差成分である第２成分Vには、原画像信号Iに含まれていたノイズと同等のノイズが分離される。
したがって、第１成分Uの信号レベルに基づき、第２成分Vのノイズを低減するためのノイズ低減処理パラメータT1、T2を設定し、これを用いて第２成分Vのノイズを低減するようにすれば、第２成分Vのノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。エッジ成分は骨格成分である第１成分に含まれるので、ノイズ低減処理によってエッジが劣化することはない。
なお、ノイズ低減処理の方法としては、信号レベル依存の信号処理であれば何れの方法でもよく、例えば、上記の通り、ノイズ低減処理パラメータT1、T2に応じた閾値と第２成分Vを比較して第２成分Vを補正する軟判定閾値処理を利用することができる。
また、成分分離の手法は、上記した加算型分離、乗算型分離の何れを用いても良く、また、２成分への分離のみならず、３成分以上に分離するようにしても構わない。また第２〜第Ｎ成分に対するノイズ低減処理は、上記軟判定閾値処理に限定されず、信号レベルに基づきノイズを低減する処理であれば、何れの方法でもよい。
＜第２の実施形態＞
第２の実施形態以降の実施形態はフルカラーに対応した実施形態である。第１の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
図８は第２の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子1012は色フィルタアレイを前面に配置したフルカラー用撮像素子である。固体撮像素子1012は、単板方式、複数板方式のいずれでも良い。
色成分分離部3008では第１成分Uを各色成分（R成分、G成分、B成分）に分離し、各色成分の信号レベルを取得する。
ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照し、ノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、第１の実施形態で説明した軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
図９は成分分離部3001から成分合成処理部3005までの処理の流れを示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ２１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ２２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
ステップＳ２３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照してノイズの分散σを色成分毎に取得する。そして各色成分のノイズの分散σに応じて第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2を設定する。
ステップＳ２４では、第２成分Vを各色成分に分離する。
ステップＳ２５では、第２成分Vの各色成分に対して、対応する色成分のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、軟判定閾値処理後の値を補正第２成分V'とする。
ステップＳ２６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
この第２の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
＜第３の実施形態＞
図１０は第３の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第３の実施形態では色成分分離部3008に代えてY/C分離部3018を備える。Y/C分離部3018では、第１成分Uを輝度成分Yと色差成分Cb、Crに分離し、輝度成分Yの信号レベルを取得する。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、次式(15)により行われる。
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照して輝度成分Yの信号レベルに応じた各色成分のノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。ノイズ低減処理部3002は上記軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
図１１は成分分離部3001から成分合成処理部3005までの処理を示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ３１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ３２では、第１成分UをY/C成分に分離し、輝度成分Yの信号レベルを得る。
ステップＳ３３では、第１成分Uの輝度成分Yの信号レベルに応じ、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じた第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
ステップＳ３４では、第２成分Vを各色成分に分離する。
ステップＳ３５では、第２成分Vの各色成分に対して、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、補正第２成分V'を得る。
ステップＳ３６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
この第３の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、この実施形態においては、第１成分から輝度成分Yを分離し、輝度成分Yの信号レベルに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしても構わない。
＜第４の実施形態＞
図１２は第４の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第１の実施形態では、デジタル信号処理部1005の後段に、成分分離部3001〜成分合成処理部3005を配置しているが、第４の実施形態では、図１２に示すように、デジタル信号処理部1005の前段にこれらの要素を配置し、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
そして、第４の実施形態では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散モデルを用いてノイズ低減処理パラメータT1、T2を色成分毎に設定する。第４の実施形態では、デジタル信号処理の前段で信号分離、ノイズ低減処理を行うので、信号レベル−ノイズ分散モデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照してノイズの分散σを取得する。
その後の、軟判定閾値処理による第２成分Vのノイズ低減処理、第１成分Uと補正第２成分V'の合成処理に関しては、第２の実施形態と同様である。
この第４の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合に適応し、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。また、デジタル画像処理部の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、この第４の実施形態では各色成分の信号レベルに基づきノイズの分散σを取得し、これに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、各色成分の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしてもよい。
＜第５の実施形態＞
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数（以下、「相関係数」という。）は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
そこで、第５の実施形態では、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正する。これにより、相関が高い領域では軟判定閾値処理での幅が狭まり、原画像信号Iを保持する様に作用する一方で、相関の低い領域では軟判定閾値処理での幅が広がって、原画像信号Iを平坦化することができ、より高精度のノイズ低減処理が実現できる。
図１４は第５の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
デジタル信号処理部1005から出力された原画像信号I（フルカラー信号）は色成分分離部3022、相関演算処理部3006及びノイズ低減処理部3002に伝送される。
色成分分離部3022は原画像信号Iを各色成分に分離し、代表信号レベル算出部3023では、分離された各色成分について所定の画素位置近傍の代表信号レベルを算出する。代表信号レベルを算出するにあたっては、線形フィルタ、メジアンフィルタ等の非線形フィルタ、バイラテラルフィルタ等の非線形拡散フィルタ、モホロジフィルタ等を使用することができる。
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照して、各色成分の代表信号レベルに応じたノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
相関演算処理部3006では、後述する様に、注目画素位置を含む近傍領域での各色成分の相関係数を演算し、その最小値である最小相関係数rを出力する。
パラメータ補正部3007では、最小相関係数rに基づき補正係数Cを算出し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けることで各色成分のノイズ低減処理パラメータT1、T2を補正する。
ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために原画像信号Iが１次元であるとして説明する。
図１５、図１６は、原画像信号Iの画素位置と各色成分の信号レベルとの関係を示している。図１５に示す例では、色成分間に相関がなく、この場合、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 150 180 130
2 220 120 140
3 160 150 100
4 200 140 160
5 140 100 200
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.15836 -0.69668 -0.14106
となり、最小相関係数rは、-0.69668となる。
一方、図１６に示す例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 100 120 150
2 150 160 180
3 170 160 180
4 100 120 90
5 90 100 100
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.962099 0.866459 0.848117
となり、最小相関係数rは、0.848117となる。
第５の実施形態では、最小相関係数rを用いてノイズ低減処理パラメータT1、T2をそれぞれ、次式(16)により補正する。
c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１５の場合、2.878739で、図１６の場合、0.023069となる。
したがって、図１５の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、原信号をより平滑化するように作用する。一方で、図１６の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
このように、第５の実施形態によれば、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
＜第６の実施形態＞
図１７は第６の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第６の実施形態では、第４の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して軟判定閾値処理を行う。したがって、第６の実施形態では、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で色フィルタアレイを通して得られた信号をデモザイキングする。
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベル−ノイズの分散σのモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照して各色成分のノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を色成分毎に設定する。ノイズ低減処理パラメータT1、T2は、例えば、ノイズの分散σに比例する値に設定する。
色成分間の相関による軟判定閾値処理のノイズ低減処理パラメータT1、T2の補正は、パラメータ補正部3007において第５の実施形態と同様に式(16)により行われる、また、ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を原画像信号Iに対して行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
色フィルタアレイ信号抽出部5000では、ノイズ低減処理後の画像信号から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。デジタル信号処理後の信号は後段の表示素子2001、記憶メディア2003へと伝送される。
第６の実施形態では、第５の実施形態と同様に色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理により後者の成分が劣化するのを抑えることができる。
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
＜第７の実施形態＞
図１８は第７の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第７の実施形態では、第２の実施形態に示した成分分離後の軟判定閾値処理と、第５、第６の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正を兼備する。ただし、第５、第６の実施形態と異なり、色成分間の相関演算は原画像信号Iから分離された第２成分Vに対して行う。
原画像信号Iから分離された第１成分Uは色成分分離部3008に送られ、色成分分離部3008では各色成分の信号レベルを取得する。
ノイズ低減処理パラメータ取得部3004では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3006に伝送され、相関演算処理部3006では、第２成分Vに対して第５、第６の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として出力する。
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第２成分Vが１次元であるとして説明する。第２成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分であるので、第２成分Vはゼロを中心として変動する成分である。
図１９、図２０は第２成分Vの画素位置と各色成分の信号レベルとの関係を示している。
図１９に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 -5 7 2
2 4 -2 2
3 -2 4 4
4 1 -5 5
5 6 -1 2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
一方、図２０の例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 1 0 -1
2 4 3 3
3 5 3 4
4 -2 -1 0
5 -1 0 -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
以上のようにして最小相関係数rを算出したら、ノイズ低減処理パラメータT1、T2は、第５の実施形態で用いた式(16)によりそれぞれ補正される。c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１９の場合で3.0677、図２０の場合で0.01590となる。
したがって、図１９の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより平滑化するように作用する。一方で、図２０の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
図２１は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
ステップＳ７４では、第２成分Vを各色成分に分離する。
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
ステップＳ７８では、第１成分Uと補正第２成分V'を合成して、原画像信号Iに対してノイズが低減された合成成分I'を得る。
第７の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分から分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
＜第８の実施形態＞
図２２は第８の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第８の実施形態では、第４、第６の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004は、各色成分の信号レベル−ノイズ分散のモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを用いてノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
その後の軟判定閾値処理によるノイズ低減処理は他の実施形態と同様である。また、色成分間の相関によるノイズ低減処理パラメータT1、T2の補正は第５の実施形態と同様であり、最小相関係数rに応じて式(16)によりノイズ低減処理パラメータT1、T2が補正される。
ノイズ低減処理部3002から出力される補正第２成分V'は、成分合成処理部3005で第１成分Uと合成される。色フィルタアレイ信号抽出部5000では、合成成分I'から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。
この第８の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
また、デジタル信号処理部1005の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
第１の実施形態に係る撮像装置のシステム構成図である。 デジタル信号処理後の信号レベル−ノイズ分散モデルである。 第１の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。 A/D変換直後の信号レベルとノイズの分散の関係を示した特性図である。 デジタル信号処理部の入出力特性を示す特性図である。 軟判定閾値処理を説明するための図である。 ノイズ低減処理によりノイズが低減される様子を示した図である。 第２の実施形態に係る撮像装置のシステム構成図である。 第２の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。 第３の実施形態に係る撮像装置のシステム構成図である。 第３の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。 第４の実施形態に係る撮像装置のシステム構成図である。 デジタル信号処理前の信号レベル−ノイズ分散モデルである。 第５の実施形態に係る撮像装置のシステム構成図である。 色成分間に相関のない１次元の画像信号の例を示した図である。 色成分間に相関のある１次元の画像信号の例を示した図である。 第６の実施形態に係る撮像装置のシステム構成図である。 第７の実施形態に係る撮像装置のシステム構成図である。 色成分間に相関のない１次元の画像信号の例を示した図である。 色成分間に相関のある１次元の画像信号の例を示した図である。 第７の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。 第８の実施形態に係る撮像装置のシステム構成図である。
符号の説明
1000 システムコントローラー
1002 固体撮像装置（モノクロ）
1012 固体撮像装置（フルカラー）
1005 デジタル信号処理部（デジタル信号処理手段）
3001 成分分離部（成分分離手段）
3002 ノイズ低減処理部（ノイズ低減手段）
3004 ノイズ低減処理パラメータ設定部（パラメータ設定手段）
3006 相関演算処理部（相関演算処理手段）
3007 パラメータ補正部（パラメータ補正手段）
3005 成分合成処理部（合成手段）
3008 色成分分離部（信号レベル取得手段）
3018 Y/C分離部（信号レベル取得手段）
3023 代表信号レベル算出部（信号レベル取得手段）

Claims (46)

  1. 原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
    前記第１成分の信号レベルを取得する信号レベル取得手段と、
    前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
    前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、
    を備えたことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とする画像処理装置。
  3. 請求項１または２に記載の画像処理装置において、
    前記原画像信号はモノクロであり、
    前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とする画像処理装置。
  4. 請求項１または２に記載の画像処理装置において、
    前記原画像信号は複数の色成分から構成され、
    前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  5. 請求項１または２に記載の画像処理装置において、
    前記原画像信号は複数の色成分から構成され、
    前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  6. 請求項１または２に記載の画像処理装置において、
    前記原画像信号は複数の色成分から構成され、
    前記画像処理装置は、
    前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、
    前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
    を備えたことを特徴とする画像処理装置。
  7. 請求項６に記載の画像処理装置において、
    前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
  8. 請求項７に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
    C = (1-r)2
    r:注目画素を含む近傍領域での色成分間の相関係数
    により算出することを特徴とする画像処理装置。
  9. 請求項６から８のいずれか一つに記載の画像処理装置において、
    前記原画像信号は３種以上の色成分を含み、
    前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。
  10. 請求項６から９のいずれか一つ記載の画像処理装置において、
    前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  11. 請求項６から９のいずれか一つに記載の画像処理装置において、
    前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  12. 請求項１から１１のいずれか一つに記載の画像処理装置において、
    前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とする画像処理装置。
  13. 請求項１から１２のいずれか一つに記載の画像処理装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とする画像処理装置。
  14. 請求項１から１３のいずれか一つに記載の画像処理装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とする画像処理装置。
  15. 請求項１から１４のいずれか一つに記載の画像処理装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする画像処理装置。
  16. 請求項１から１４のいずれか一つに記載の画像処理装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする画像処理装置。
  17. 請求項１から１６のいずれか一つに記載の画像処理装置において、
    階調変換を行うデジタル信号処理手段を備え、
    前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする画像処理装置。
  18. 請求項１２に記載の画像処理装置において、
    前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とする画像処理装置。
  19. 撮像素子と、
    前記撮像素子から得られた原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
    前記第１成分の信号レベルを取得する信号レベル取得手段と、
    前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
    前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、
    を備えたことを特徴とする撮像装置。
  20. 請求項１９に記載の撮像装置において、
    前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とする撮像装置。
  21. 請求項１９または２０に記載の撮像装置において、
    前記原画像信号はモノクロであり、
    前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とする撮像装置。
  22. 請求項１９または２０に記載の撮像装置において、
    前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、
    前記原画像信号は複数の色成分から構成され、
    前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする撮像装置。
  23. 請求項１９または２０に記載の撮像装置において、
    前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、
    前記原画像信号は複数の色成分から構成され、
    前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする撮像装置。
  24. 請求項１９または２０に記載の撮像装置において、
    前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、
    前記撮像装置は、
    前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、
    前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
    を備えたことを特徴とする撮像装置。
  25. 請求項２４に記載の撮像装置において、
    前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
  26. 請求項２５に記載の撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
    C = (1-r)2
    r:注目画素を含む近傍領域での色成分間の相関係数
    により算出することを特徴とする撮像装置。
  27. 請求項２４から２６のいずれか一つに記載の撮像装置において、
    前記原画像信号は３種以上の色成分を含み、
    前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
  28. 請求項２４から２７のいずれか一つ記載の撮像装置において、
    前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする撮像装置。
  29. 請求項２４から２７のいずれか一つに記載の撮像装置において、
    前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする撮像装置。
  30. 請求項１９から２９のいずれか一つに記載の撮像装置において、
    前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とする撮像装置。
  31. 請求項１９から３０のいずれか一つに記載の撮像装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とする撮像装置。
  32. 請求項１９から３１のいずれか一つに記載の撮像装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とする撮像装置。
  33. 請求項１９から３２のいずれか一つに記載の撮像装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする撮像装置。
  34. 請求項１９から３２のいずれか一つに記載の撮像装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする撮像装置。
  35. 請求項１９から３４のいずれか一つに記載の撮像装置において、
    階調変換を行うデジタル信号処理手段を備え、
    前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする撮像装置。
  36. 請求項３０に記載の撮像装置において、
    前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とする撮像装置。
  37. 複数の色成分を含む原画像信号を対象とした画像処理装置において、
    前記原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、
    前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
    前記ノイズ低減処理パラメータを用いて前記画像信号のノイズを低減するノイズ低減手段と、
    前記原画像信号に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、
    前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とする画像処理装置。
  38. 請求項３７に記載の画像処理装置において、
    前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする画像処理装置。
  39. 請求項３７または３８に記載の画像処理装置において、
    前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
  40. 請求項３９に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
    C = (1-r)2
    r:注目画素を含む近傍領域での色成分間の相関係数
    により算出することを特徴とする画像処理装置。
  41. 請求項３７から４０のいずれか一つ記載の画像処理装置において、
    前記原画像信号は３種以上の色成分を含み、
    前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。
  42. 色フィルタアレイを前面に配置した撮像素子と、
    前記撮像素子から得られた複数の色成分を含む原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、
    前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
    前記ノイズ低減処理パラメータを用いて前記原画像信号のノイズを低減するノイズ低減手段と、
    前記原画像信号に対して、前記注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、
    前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とする撮像装置。
  43. 請求項４２に記載の撮像装置において、
    前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする撮像装置。
  44. 請求項４２または４３に記載の撮像装置において、
    前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
  45. 請求項４４に記載の撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
    C = (1-r)2
    r:注目画素を含む近傍領域での色成分間の相関係数
    により算出することを特徴とする撮像装置。
  46. 請求項４２から４５のいずれか一つ記載の撮像装置において、
    前記原画像信号は３種以上の色成分を含み、
    前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
JP2007002655A 2007-01-10 2007-01-10 画像処理装置および撮像装置 Expired - Fee Related JP4523008B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007002655A JP4523008B2 (ja) 2007-01-10 2007-01-10 画像処理装置および撮像装置
PCT/JP2007/070770 WO2008084585A1 (ja) 2007-01-10 2007-10-18 画像処理装置および撮像装置
US12/498,845 US8189940B2 (en) 2007-01-10 2009-07-07 Image processing apparatus, imaging apparatus, and image processing method
US13/477,225 US8538186B2 (en) 2007-01-10 2012-05-22 Image processing apparatus, imaging apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007002655A JP4523008B2 (ja) 2007-01-10 2007-01-10 画像処理装置および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010053160A Division JP5277388B2 (ja) 2010-03-10 2010-03-10 画像処理装置および撮像装置

Publications (2)

Publication Number Publication Date
JP2008172431A true JP2008172431A (ja) 2008-07-24
JP4523008B2 JP4523008B2 (ja) 2010-08-11

Family

ID=39608483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007002655A Expired - Fee Related JP4523008B2 (ja) 2007-01-10 2007-01-10 画像処理装置および撮像装置

Country Status (3)

Country Link
US (2) US8189940B2 (ja)
JP (1) JP4523008B2 (ja)
WO (1) WO2008084585A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147568A (ja) * 2008-12-16 2010-07-01 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP2010211552A (ja) * 2009-03-11 2010-09-24 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
DE102013200081A1 (de) 2012-01-11 2013-07-18 Denso Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und greifbares, computerlesbares Speichermedium für Bildverarbeitung
US8718361B2 (en) 2010-02-05 2014-05-06 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium removing noise of color image
JP2015099546A (ja) * 2013-11-20 2015-05-28 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5034003B2 (ja) * 2007-06-25 2012-09-26 オリンパス株式会社 画像処理装置
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8532429B2 (en) * 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
WO2020127031A1 (en) * 2018-12-18 2020-06-25 Agfa Nv Method of decomposing a radiographic image into sub-images of different types

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05347723A (ja) * 1992-06-15 1993-12-27 Toshiba Corp ノイズ低減回路
JPH06178163A (ja) * 1992-12-04 1994-06-24 Casio Comput Co Ltd ノイズリダクション回路
JPH0787418A (ja) * 1993-09-13 1995-03-31 Hitachi Ltd Ｅｄｔｖ垂直補強信号の復調方式
JPH08172552A (ja) * 1994-09-30 1996-07-02 Samsung Electron Co Ltd 映像のノイズ除去及びディテール改善装置
JPH09224172A (ja) * 1996-02-19 1997-08-26 Matsushita Electric Ind Co Ltd 映像信号処理回路

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2586687B2 (ja) * 1990-04-20 1997-03-05 松下電器産業株式会社 雑音除去回路
JP3044501B2 (ja) * 1991-11-29 2000-05-22 松下電器産業株式会社 映像信号処理方法および装置
JPH0950519A (ja) 1995-06-01 1997-02-18 Canon Inc 画像処理装置及び方法
KR0160718B1 (ko) 1995-08-29 1999-01-15 김광호 색신호에 포함된 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로
JP2001157057A (ja) 1999-11-30 2001-06-08 Konica Corp 画像読取装置
JP3689607B2 (ja) 1999-12-15 2005-08-31 キヤノン株式会社 画像処理方法、装置および記憶媒体
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
JP4479429B2 (ja) 2003-09-09 2010-06-09 コニカミノルタホールディングス株式会社 撮像装置
JP2006023959A (ja) * 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
JP4547223B2 (ja) 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP5009004B2 (ja) * 2006-07-31 2012-08-22 株式会社リコー 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05347723A (ja) * 1992-06-15 1993-12-27 Toshiba Corp ノイズ低減回路
JPH06178163A (ja) * 1992-12-04 1994-06-24 Casio Comput Co Ltd ノイズリダクション回路
JPH0787418A (ja) * 1993-09-13 1995-03-31 Hitachi Ltd Ｅｄｔｖ垂直補強信号の復調方式
JPH08172552A (ja) * 1994-09-30 1996-07-02 Samsung Electron Co Ltd 映像のノイズ除去及びディテール改善装置
JPH09224172A (ja) * 1996-02-19 1997-08-26 Matsushita Electric Ind Co Ltd 映像信号処理回路

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147568A (ja) * 2008-12-16 2010-07-01 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP2010211552A (ja) * 2009-03-11 2010-09-24 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
US8718361B2 (en) 2010-02-05 2014-05-06 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium removing noise of color image
DE102013200081A1 (de) 2012-01-11 2013-07-18 Denso Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und greifbares, computerlesbares Speichermedium für Bildverarbeitung
JP2015099546A (ja) * 2013-11-20 2015-05-28 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
US20120293714A1 (en) 2012-11-22
JP4523008B2 (ja) 2010-08-11
US8538186B2 (en) 2013-09-17
US20090324066A1 (en) 2009-12-31
WO2008084585A1 (ja) 2008-07-17
US8189940B2 (en) 2012-05-29

Similar Documents

Publication Publication Date Title
JP4523008B2 (ja) 画像処理装置および撮像装置
JP5034003B2 (ja) 画像処理装置
JP5251637B2 (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
US8248492B2 (en) Edge preserving and tone correcting image processing apparatus and method
US8115833B2 (en) Image-acquisition apparatus
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
JP4869653B2 (ja) 画像処理装置
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
US8310566B2 (en) Image pickup system and image processing method with an edge extraction section
JP2006319781A (ja) 画像処理装置、画像処理プログラム
JPWO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
JP2007011926A (ja) 画像処理方法および装置並びにプログラム
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP5098054B2 (ja) 画像処理装置及び画像処理プログラム
WO2008056566A1 (fr) Appareil, programme et procédé de traitement de signal d&#39;image
JP5234127B2 (ja) 階調変換装置、プログラム、電子カメラ、及びその方法
JP5277388B2 (ja) 画像処理装置および撮像装置
JP4400160B2 (ja) 画像処理装置
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5242750B2 (ja) 画像処理装置
JP2017208719A (ja) 画像処理装置
JP2010199844A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2010147568A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2004289606A (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100526

R150 Certificate of patent or registration of utility model

Ref document number: 4523008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees