JP2012104968A - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP2012104968A
JP2012104968A JP2010250257A JP2010250257A JP2012104968A JP 2012104968 A JP2012104968 A JP 2012104968A JP 2010250257 A JP2010250257 A JP 2010250257A JP 2010250257 A JP2010250257 A JP 2010250257A JP 2012104968 A JP2012104968 A JP 2012104968A
Authority
JP
Japan
Prior art keywords
resolution
image
color
pixel
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010250257A
Other languages
English (en)
Other versions
JP5677040B2 (ja
JP2012104968A5 (ja
Inventor
Yuichi Hirai
雄一 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010250257A priority Critical patent/JP5677040B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2011/075880 priority patent/WO2012063885A1/en
Priority to KR1020137014193A priority patent/KR101460688B1/ko
Priority to EP11796838.8A priority patent/EP2638696B1/en
Priority to CN201180053860.6A priority patent/CN103202022B/zh
Priority to US13/880,953 priority patent/US9137464B2/en
Publication of JP2012104968A publication Critical patent/JP2012104968A/ja
Publication of JP2012104968A5 publication Critical patent/JP2012104968A5/ja
Application granted granted Critical
Publication of JP5677040B2 publication Critical patent/JP5677040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】 偽色と色ノイズの双方を効果的に抑圧可能な画像処理装置およびその制御方法を提供する。
【解決手段】 単板式カラー撮像素子を用いて撮像された画像から、解像度及び周波数帯域の低い低解像度画像を生成し、画像と低解像度画像の各々について偽色及び色ノイズの抑圧処理を行う。その後、低解像度画像については解像度を戻し、画像と重み付け合成する。合成時の比率係数を算出するMIX比率演算部205,225は、着目画素が偽色の発生している領域に属すると判断される場合には、重み付け合成において、解像度の戻された低解像度画像の画素の色信号が合成の結果となるような比率係数を算出する。
【選択図】 図2

Description

本発明は画像処理装置およびその制御方法に関し、特には画像中のノイズや偽色を抑圧可能な画像処理装置に関する。
CCDイメージセンサやCMOSイメージセンサ等の単板式カラー撮像素子を備え、光学像をデジタル画像データとして記憶する、デジタルカメラ等の撮像装置が知られている。このような撮像装置には、高画質な撮像画像が望まれるが、暗い場所や夜間のように十分なS/N比(signal/noise ratio)が得られない環境下では、色成分のノイズ(色ノイズ)が画質を大きく低下させる。また、画質低下の要因として、撮像素子の例えば暗電流などに起因するノイズ成分の重畳が挙げられる。
しかしながら、特に近年は高感度撮影に対する要求が高く、暗所や夜間においてもノイズが少なく、高画質な撮像画像が得られることが望まれている。
このような技術的背景から、色ノイズを抑圧するための様々な方法が提案されている。例えば、特許文献1には、高周波成分について、エッジ成分を保存しつつノイズを除去した後に低周波成分と合成する方法が提案されている。また、特許文献2には、輝度成分、色差成分それぞれについて、解像度の異なる低周波画像および高周波画像を生成し、異なるノイズ抑圧を行った後に合成する方法が提案されている。
特許文献1,2に記載された方法はいずれも、輝度成分、色成分を高周波成分と低周波成分に分け、個別にノイズ抑圧処理した後で合成するという構成である。
また、カラーフィルタを用いた単板式カラー撮像素子で撮像された画像を処理する過程では、空間周波数の高い被写体を撮像した部分に、本来無いはずの色が出現する偽色という問題が生ずる。そのため、従来、被写体の高周波領域に発生する偽色を抑圧する方法として、着目画素の色補間を、着目画素の周囲の画素を用いて行なうことが行われている。
特許文献3及び4では、ベイヤ配列のカラーフィルタを備えた撮像素子から得られる画像に対し、偽色を抑制した色補間を行う方法を提案している。原色ベイヤ配列の単位パターンは、
R |G1
−−+−−
G2| B
である。なお、単位パターン中2つ含まれる緑(G)フィルタのうち、赤(R)フィルタと水平方向に、青(B)フィルタと垂直方向に隣接するGフィルタをG1フィルタ、Rフィルタと垂直方向に、Bフィルタと水平方向に隣接するGフィルタをG2フィルタとする。
特許文献3では、着目画素の色補間を行う際、着目画素の上下に隣接するG1またはG2画素の値の相関度と、左右に隣接するG1またはG2画素の値の相関度の大小関係により、G1画素とG2画素のどちらの値を用いて色差成分を求めるかを決定している。
また、特許文献4では、(R−G1)の値と(R−G2)の値とを、その差に応じた加重平均して色差成分R−Gを、(B−G1)の値と(B−G2)の値とを、その差に応じた加重平均して色差成分B−Gを、それぞれ求めている。
また、特許文献5には、着目画素の水平方向および垂直方向に位置する画素の相関に応じて、補間に用いる画素を適応的に選択して輝度成分を生成することで、モアレを抑圧し、画像全体で違和感がない画像を生成することが提案されている。
特開2008−015741号公報 特開2007−272536号公報 特開2002−300590号公報 特開平8−023541号公報 特開2007−336384号公報
特許文献1,2では、色ノイズの抑圧については考慮されているものの、偽色の抑制については考慮されていない。また、引用文献3〜5では、偽色の抑制については考慮されているが、色ノイズの抑圧については考慮されていない。
色ノイズの抑圧と偽色の抑圧はどちらか一方を行えばよいものではなく、色ノイズと偽色の双方が抑圧された画像が要求されている。しかしながら、従来は、色ノイズの抑圧と偽色の抑圧の両方を効率的に実行するための方法についての提案はされていなかった。
従って、本発明は、偽色と色ノイズの双方を効果的に抑圧可能な画像処理装置およびその制御方法を提供することを目的とする。
上述の目的は、単板式カラー撮像素子を用いて撮像された画像の偽色及び色ノイズを抑圧する画像処理装置であって、画像から、画像よりも解像度及び周波数帯域の低い低解像度画像を生成する解像度低減手段と、画像と低解像度画像の各々について、偽色及び色ノイズを抑圧する抑圧手段と、抑圧手段で処理された低解像度画像の解像度を戻す解像度増加手段と、抑圧手段で処理された画像の画素と、当該画素に対応する、解像度の戻された低解像度画像の画素とを、重み付け合成するための比率係数を算出する算出手段と、比率係数に従って、抑圧手段で処理された画像の画素の色信号と、当該画素に対応する、解像度の戻された低解像度画像の画素の色信号とを重み付け合成する合成手段と、を有し、算出手段は、画像の着目画素が偽色の発生している領域に属すると判断される場合には、解像度の戻された低解像度画像の画素の色信号が重み付け合成の結果となるような比率係数を算出することを特徴とする画像処理装置によって達成される。
本発明によれば、偽色と色ノイズの双方を効果的に抑圧可能な画像処理装置およびその制御方法が実現できる。
本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図。 図1の色差信号処理部109の構成例を示すブロック図。 図2のMIX比率演算部205の構成例を示すブロック図。 CZP(円形ゾーンプレート)を示す図。 CZPの中心部から水平に延びた軸上に位置するG1,G2信号の例を示す図。
以下、図面を参照しながら、本発明をその例示的な実施形態を用いて詳細に説明する。
図1は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。しかしながら、本発明に係る画像処理装置において、撮像を行うための構成は必須でなく、撮像画像を処理可能な任意の装置において実施可能である。
制御部100は、例えばCPU、RAM、ROMなどを有し、ROMに記憶されたプログラムをRAMに展開してCPUで実行することにより、撮像装置の各部の動作を制御する。なお、図1においては、図が煩雑にならないよう、制御部100と各機能ブロックとの接続線を省略している。また、図1において、107〜113の機能ブロックはハードウェアで実現されても良いが、以下の説明においては、制御部100のCPUがソフトウェアを実行することによって実現されるものとする。
例えば操作部116に含まれる撮影ボタンが半押しされるなど、撮影スタンバイの指示が与えられると、制御部100は、同期信号生成部101に対し、画像信号を取得するためのフレーム同期信号(水平同期信号および垂直同期信号)の発生を指示する。
この指示に応答して、同期信号生成部101は、アナログ信号の処理に係るブロックに対するタイミングパルスの供給を、タイミングパルス発生部102に指示する。タイミングパルス発生部102は、同期信号生成部101の指示を受けて、アナログ信号の処理に係る撮像処理部103、CDS/AGC104、A/D変換部105にタイミングパルスを供給する。
CDS/AGC104は、単板式カラー撮像素子を有する撮像処理部103が出力するアナログ画像信号から暗電流成分を除去したり、ゲイン調整を行うことにより画像信号のS/N比を改善する。A/D変換部105はタイミングパルス発生部102より供給されるタイミングに従い、アナログ画像信号をデジタル画像データに変換し、FIFO106に出力する。
FIFO106は、デジタル画像データの一時バッファとして機能する。FIFO106の後段の機能ブロックはデジタル信号処理に係るブロックである。WB処理部107以降のデジタル信号処理に要する時間は一定でなく、A/D変換部105の出力タイミングで直ちにデジタル信号処理を開始できるとは限らないため、FIFO106によりタイミングのずれを吸収する。
WB処理部107は、カラー画像における各色画素間でのゲイン調整(ホワイトバランス調整)を行う。画素補間部108は、カラーフィルタを有する撮像素子で撮像された画像の各画素について、不足する色成分の情報を補間する。例えば、撮像処理部103が上述したベイヤ配列のカラーフィルタを備えた撮像素子を有する場合、着目画素がR画素であればB,Gの色成分をそれぞれ周囲のB,G(G1,G2)画素から補間する。色補間処理は同時化処理とも呼ばれる。補間方法に特に制限はなく、公知の方法のいずれかを採用しうる。
色差信号処理部109は、着目画素のRGB信号から色差信号(Cr,Cb)を生成する。色γ処理部110は、色差信号に対してガンマ処理を施す。Chroma・knee処理部111は、ガンマ処理後の彩度ゲインを調整する。輝度信号処理部112は輝度信号(Y)を生成する。輝度信号処理部112は、例えばY=0.6G+0.3R+0.1Bという式により輝度信号を生成することができる。輝度γ処理部113は輝度信号をガンマ補正する。
なお、色差信号Cr(Cb)はR−Y(B−Y)で定義されるが、人間が緑色光を最も明るく感じるという比視感度特性を有することから、Gを簡易輝度として、CrをR−G、CbをB−Gとして求めても良い。
生成された輝度信号・色差信号(色信号)それぞれは、一時記憶部114に記憶される。記憶制御部115は、制御部100に従い、一時記憶部114の書き込み/読み出しを制御する。
次に、色差信号処理部109の構成及び動作について、図2を用いて説明する。
色差信号処理部109は、入力される着目画素の信号にローパスフィルタ(LPF)とダウンサンプル部(解像度低減手段)を繰り返し適用することで、空間周波数と解像度(画素数)が段階的に低くなる画像を逐次生成する。例えば、水平、垂直方向とも1/2にサイズを縮小していく様なダウンサンプリングを適用する場合、フィルタ係数[1,2,1]のローパスフィルタのように、ナイキスト点の周波数特性を0にする様なローパスフィルタを適用する。
図2では、ローパスフィルタ206及びダウンサンプル部207を適用した水平、垂直とも1/2の解像度の画像と、さらにローパスフィルタ226及びダウンサンプル部227を適用した水平、垂直とも1/4の解像度の画像を生成する構成を例示している。しかし、より低い周波数かつ解像度の画像を生成するようにしても良い。何段階の画像を生成するかは元画像の解像度などを考慮して適宜定めることができる。すなわち、図2では元の解像度を含めた3つの画像のそれぞれについて偽色および色ノイズを抑制したのち、合成する構成を例示しているが、4つ以上の異なる解像度を有する画像を処理するように構成することもできる。
以下の説明では、ある解像度の画像を処理する機能ブロック群240〜242の各々を「階層」として取り扱う。従って、図2は3階層の構成を有する。なお、図2において、元の1/4の解像度を有する画像を処理する階層242については、1/2の解像度を有する画像を処理する階層241と同様の構成を有するため、簡略化して図示している。
以下、各階層の構成及び動作を説明する。第1階層240は、画素補間部108が出力する画像を処理する階層である。偽色抑圧部201は、着目画素の色成分(RGB成分)から、偽色を抑圧した色差信号Cr,Cbを生成する。また、色ノイズ抑圧部202は、偽色抑圧部201が出力する色差信号Cr,Cbに対し、例えば上述の特許文献1や2において帯域分離された画像の1つに実施されるようなノイズ低減処理により、ノイズ抑制を行う。なお、ある画像に対して偽色抑圧及び色ノイズ抑圧を行う方法は本技術分野において周知であり、本発明においてもこれら周知の方法を適宜採用することができるため、偽色抑圧部201及び色ノイズ抑圧部202の処理の具体的な説明は省略する。
MIX比率演算部205は、G信号と、色ノイズ抑圧部202からの色差信号Cr,Cbから、現階層で偽色抑圧及び色ノイズ抑圧を行った色差信号Cr,Cbと、下位階層から供給される色差信号Cr,Cbを合成する比率係数Kを算出する。MIX比率演算部205は、着目画素(もしくは領域)が色変化の少ない領域もしくは偽色の発生している領域に属する画素であると判断される場合には、下位階層からの色差信号Cr,Cbの合成比率が高くなるような比率係数Kを算出する。MIX比率演算部205の構成及び動作の詳細については、図3を参照して後述する。
加算器209は、MIX比率演算部205が出力する比率係数Kを1から減じ、係数(1−K)を算出する。乗算器210は、現階層で偽色抑圧及び色ノイズ抑圧を行った着目画素の色差信号Cr,Cbに対し、比率係数Kを乗じて出力する。乗算器211は、下位階層241から供給される着目画素の色差信号Cr,Cbに対し、係数(1−K)を乗じて出力する。加算器212は、乗算器210及び211の出力を加算し、合成された色差信号Cr,Cbを色差信号処理部109の出力として色γ処理部110へ供給する。
第2階層241は、画素補間部108が出力する画像にローパスフィルタ206及びダウンサンプル部207を適用し、帯域制限された低解像度の画像(第1低解像度画像)を処理する階層である。第2階層における偽色抑圧部221、色ノイズ抑圧部222、MIX比率演算部225、加算器229、乗算器230、乗算器231、加算器232は、第1階層における対応する構成と同様の構成および動作を行うため、説明を省略する。解像度増加手段としてのアップサンプル部208は、加算器232が出力する合成色差信号Cr、Cbの解像度を第1階層で処理した画像と同じ解像度に増加させる。アップサンプル部208は、ダウンサンプル部207により低減された解像度を元に戻す機能を有する。アップサンプル部208は例えば、水平方向、垂直方向それぞれについて、既存画素A,B間に1画素Cを内挿する場合、C=(A/2+B/2)の様な線形補間を用いることができる。なお、解像度を増加させるための画素補間方法に制限はなく、双三次補間法(バイキュービック法)などの周知の補間方法を適宜採用することができる。
第3階層242は、第2階層241のダウンサンプル部207の出力する画像にローパスフィルタ226及びダウンサンプル部227を適用し、さらに帯域制限された低解像度の画像(第2低解像度画像)を処理する階層である。第3階層242の構成及び動作は、処理対象の画像の帯域及び解像度が異なる以外、第2階層241と同様であるため、説明を省略する。第3階層242で処理された色差信号Cr,Cbは、アップサンプル部228により第2階層241で処理される画像と同じ解像度に変換され、乗算器231に供給される。
なお、図2の例では、第3階層242が再下位階層として記載したが、さらに下位の階層を設けることも可能であることは上述したとおりである。また、第3階層が無くても良い。階層数の決定方法に特に制限はないが、元画像の解像度や、マルチレート信号処理のための帯域分離数によって決定することができる。マルチレート信号処理は、各階層で処理する画像のうち、解像度の低い画像はSN比が高く、解像度の高い画像はSN比が低いという特性を利用し、目的に応じた階層の画像を利用して画像処理を行う技術である。このようなマルチレート信号処理は本技術分野において周知であり、また本発明には直接関係しないため、詳細な説明は省略する。
図3は、図2のMIX比率演算部205,225の構成例を示すブロック図である。
色エッジ検出部2051は、着目画素の色差信号Cr、Cbを入力としてそれぞれ信号の急峻な変化の度合いを検出する。色エッジ検出部2051は、例えば、フィルタ係数[−1,2,−1]を有する空間フィルタで実現可能である。係数Kb算出部2052は、色エッジの検出結果としてのフィルタ適用結果のうち、色エッジの度合いが高いと考えられる方を、予め定めた関数によって0〜1の間の係数Kb(第2の比率係数)にマッピングする。例えば係数Kb算出部は、色エッジの度合いが高いと考えられるフィルタ適用結果ほど1に近く、度合いが低いと考えられるフィルタ適用結果ほど0に近い値のKbを出力する。
係数Kbは、値が小さいほど合成時に下位階層の信号に大きな重みを与える。従って、Kb=0であれば、下位階層の(アップサンプルされた)色信号がそのまま上位階層に供給される。また、Kb=1なら自身の階層の色信号がそのまま上位階層に供給される。0<Kb<1の範囲では、自身の階層の信号:下位階層の信号=Kb:1−Kbの比率で重み付け合成される。この重み付け合成は、例えば階層241では加算器229,232及び乗算器230,231によって実行される。
検出される色エッジの度合いが小さい部分は、色の変化が小さい平坦な領域である。このような領域では、色ノイズ抑制部での処理によるノイズ抑制効果より、低周波画像である下位階層の信号を用いた方が良好なノイズ抑制効果が得られる。そのため、検出される色エッジの度合いが小さいほど、下位階層からの画像信号の比率が高い合成がなされるよう、係数Kbの値を小さくする。
簡易輝度演算部2053は、輝度信号を生成する。ここでは、上述の通り、人間の比視感度特性を利用し、G信号を用いて輝度信号を生成する。例えば、簡易輝度演算部2053は、画素補間部108での同時化処理で得られたG信号をそのまま用いても良いし、処理する画素を含んだフィルタパターンに含まれるG1,G2画素の信号の平均値(G1+G2)/2を輝度信号Yとして生成してもよい。
輝度エッジ検出部2054は、輝度信号Yのエッジ(立ち上がり及び立ち下がりエッジ)を検出する。輝度エッジ検出部2054は、例えば、フィルタ係数[−1,0,1]の空間フィルタで実現可能である。係数Ka’算出部2055は、輝度エッジの検出結果を0〜1の間の係数Ka’にマッピングする。例えば係数Ka’算出部は、検出された輝度エッジの度合いが高いほど1に近く、度合いが低いほど0に近い値のKa’を出力する。
係数Ka’は、値が小さいほど合成時に下位階層の信号に大きな重みを与える。従って、Ka’=0であれば、下位階層の信号がそのまま(アップサンプリングされて)上位階層に供給される。また、Ka’=1なら自身の階層の信号がそのまま上位階層に供給される。0<Ka’<1の範囲では、自身の階層の信号:下位階層の信号=Ka’:1−Ka’の比率で重み付け合成される。この重み付け合成は、例えば階層241では加算器229,232及び乗算器230,231によって実行される。
係数Kbは色ノイズの抑制に関し、下位階層の画像と現階層の画像のどちらに重み付けして合成すべきかという指標であったが、係数Ka’は、偽色の抑制に関して下位階層の画像と現階層の画像のどちらに重み付けして合成すべきかという指標である。偽色領域である可能性が高いほど係数Ka’を小さい値にする。
ここで、偽色領域の推定の方法について説明する。図4はCZP(円形ゾーンプレート)と呼ばれる画像を示し、画像の中心を原点とする同心円が、ピッチを狭めながら幾重にも並んだ画像である(中心から外側に向かって空間周波数が高くなる)。図5はCZPの中心部から水平に延びた軸上に位置するG1,G2信号値をプロットしたものである。ここでいうG1,G2信号値は、G1画素値を補間して得られた値と、G2画素値を補間して得られた値である。
図5において、CZPの原点は右端であり、左に向かって空間周波数が増加している。図5(a)の曲線1001及び1002は、図2の色差信号処理部109の入力信号であるG1及びG2信号の変化を示している。また、図5(b)の曲線1003及び1004は、同じG1及びG2信号について、ローパスフィルタ206及びダウンサンプル部207の適用後の状態を示している。さらに、図5(c)の曲線1005及び1006は同じG1及びG2信号について、ローパスフィルタ226及びダウンサンプル部227の適用後の状態を示している。なお、図5においては、説明及び理解を容易にするため、ダウンサンプル部207,227によるダウンサンプルが行われた画像のG1及びG2信号を、それぞれ、図2の色差信号処理部109の入力信号と同じ大きさになるよう拡大して補間したものとする。従って、図5(a),(b),(c)の横軸は共通である。
また、図5に示すF0〜F4は、CZPにおける空間周波数の任意の値を示すものであり、画像(CZP)の中心の空間周波数をF0とし、画像の外側に向かうにつれ、F1,F2,F3,F4の順で空間周波数が高くなる。
図5(a)〜(c)のそれぞれで、G1とG2信号との関係をみると、高周波領域において位相差が生じていることが分かる。G1信号とG2信号とに位相差が発生している領域は偽色領域(偽色信号の発生する領域)と判断できるため、位相差の有無の判定により偽色領域かどうかを判断することができる。
具体的には、ベイヤ配列におけるG1,G2画素それぞれについて隣接する(又は、近傍の)同種画素との傾き(差分で良い)ΔG1,ΔG2を算出し、その傾きの関係が、
ΔG1×ΔG2 < 0・・・(式1)
を満たす場合、偽色領域であると判断することができる。つまり、同方向における傾きの関係が反転している場合には位相差が存在すると判断できる。
なお、傾きを例えば水平および垂直の両方向について算出し、例えば水平方向、垂直方向のいずれかにおいて式1の関係を満たす場合に偽色領域と判断してもよい。また、偽色領域かどうかの判定は、画素単位ではなく複数画素からなる領域単位で求めても良い。例えば、ある領域について、式1を満たす画素の割合が所定の閾値以上であれば、その領域を偽色領域と判断しても良い。
このような方法を適用すると、図5(a)において、色差信号処理部109に入力された時点の画像におけるG1及びG2信号については、空間周波数がF1よりも高くなる領域2〜4が、偽色領域であると判断できる。また、ローパスフィルタ206適用後の画像のG1及びG2信号(図5(b))については、空間周波数がF2よりも高くなる領域3〜4が偽色領域であると判断できる。また、さらにローパスフィルタ226適用後のG1及びG2信号(図5(c))については、空間周波数がF3より高くなる領域4が偽色領域であると判断できる。従って、MIX比率演算部205,225において偽色領域と判断される場合には、色差信号においてもより下位階層の信号の合成比率を高めた方が、偽色の影響を抑圧できる。
位相検出部2056は、式1の関係を利用してG1,G2信号の位相差の発生を検出し、位相差が検出された画素を(又は上述のように領域単位で)偽色領域と判断する。位相検出部2056の出力は0又は1であり、偽色領域と判断したときには1を、偽色領域と判断しないときは0を出力する。
セレクタ2057は、位相検出部2056の判断結果に応じて、算出部2055が算出した係数Ka’か、固定値1のいずれかを、偽色の抑圧を目的とした係数Ka(第1の比率係数)として選択する。これにより、偽色領域でないと判断された画素(又は領域)については、係数Ka’ではなく固定値1、すなわち現階層を100%とする合成比率が係数Kaとして選択される。
係数Kaと、係数Kb算出部2052が算出した係数Kbは、比較器2058とセレクタ2059に入力される。比較器2058は係数Ka及び係数Kbを比較し、Ka<Kbなら0を、Kb<Kaなら1をセレクタ2059に出力する。セレクタ2059は、比較器2058からの値が0であれば係数Kaを、1であれば係数Kbを、現階層の合成係数Kとして選択する。つまり、係数KaとKbのうち、小さい値を有する係数(下位階層により大きく重み付けする係数)が、現階層の合成係数Kとして選択される。
このように、本実施形態においては、原画像から、原画像よりも解像度及び空間周波数帯域が低い低解像度画像を生成する。そして、原画像と低解像度画像の各々に対して色差信号に偽色及び色ノイズの抑制処理を適用した後に、低解像度画像の解像度を戻して原画像と合成する。この際、原画像において少なくとも偽色領域もしくは色変化の少ない領域(画素)については、低解像度画像の合成比率を高くすることにより、効果的に偽色及び色ノイズを抑制した色差信号を生成することができる。
(他の実施形態)
なお、上述の実施形態において階層をより多くした場合、2番目に最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層241と同様に、最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層242と同様に行う。次に、3番目に最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層241と同様に、2番目に最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層242と同様に行う。この処理を順に実行することで、任意の数の階層に対応可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (6)

  1. 単板式カラー撮像素子を用いて撮像された画像の偽色及び色ノイズを抑圧する画像処理装置であって、
    前記画像から、前記画像よりも解像度及び周波数帯域の低い低解像度画像を生成する解像度低減手段と、
    前記画像と前記低解像度画像の各々について、偽色及び色ノイズを抑圧する抑圧手段と、
    前記抑圧手段で処理された前記低解像度画像の解像度を戻す解像度増加手段と、
    前記抑圧手段で処理された前記画像の画素と、当該画素に対応する、前記解像度の戻された前記低解像度画像の画素とを、重み付け合成するための比率係数を算出する算出手段と、
    前記比率係数に従って、前記抑圧手段で処理された前記画像の画素の色信号と、当該画素に対応する、前記解像度の戻された前記低解像度画像の画素の色信号とを重み付け合成する合成手段と、を有し、
    前記算出手段は、前記画像の着目画素が偽色の発生している領域に属すると判断される場合には、前記解像度の戻された低解像度画像の画素の色信号が前記重み付け合成の結果となるような前記比率係数を算出することを特徴とする画像処理装置。
  2. 前記算出手段が、
    前記着目画素について検出される輝度エッジの度合いが低いほど前記解像度の戻された低解像度画像の画素の重みが大きくなるような第1の比率係数と、
    前記着目画素について検出される色エッジの度合いが低いほど前記解像度の戻された低解像度画像の画素の重みが大きくなるような第2の比率係数とを算出し、
    前記着目画素が偽色の発生している領域に属すると判断されない場合には、前記第1の比率係数と前記第2の比率係数のうち、前記解像度の戻された低解像度画像の画素の重みがより大きくなる比率係数を前記合成に用いる比率係数とすることを特徴とする請求項1記載の画像処理装置。
  3. 前記撮像素子が、ベイヤ配列のカラーフィルタを備え、
    前記算出手段は、
    前記着目画素が、前記ベイヤ配列のカラーフィルタにおけるG1画素から得られる輝度信号と、G2画素から得られる輝度信号との位相差が存在する領域に属すると判断される場合には、前記着目画素が前記偽色の発生している領域に属すると判断することを特徴とする請求項1又は請求項2記載の画像処理装置。
  4. 前記解像度低減手段が、段階的に解像度及び周波数帯域が低減された複数の低解像度画像を生成し、
    前記抑圧手段、前記解像度増加手段、前記算出手段、前記合成手段が、前記複数の低解像度画像の各々について、2番目に最も解像度及び周波数帯域が低減された低解像度画像と、最も解像度及び周波数帯域が低減された低解像度画像との組み合わせから順に前記動作を実行するように構成されることを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像処理装置。
  5. 単板式カラー撮像素子を用いて撮像された画像の偽色及び色ノイズを抑圧する画像処理装置の制御方法であって、
    解像度低減手段が、前記画像から、前記画像よりも解像度及び周波数帯域の低い低解像度画像を生成する解像度低減工程と、
    抑圧手段が、前記画像と前記低解像度画像の各々について、偽色及び色ノイズを抑圧する抑圧工程と、
    解像度増加手段が、前記抑圧工程で処理された前記低解像度画像の解像度を戻す解像度増加工程と、
    算出手段が、前記抑圧工程で処理された前記画像の画素と、当該画素に対応する、前記解像度の戻された前記低解像度画像の画素とを、重み付け合成するための比率係数を算出する算出工程と、
    合成手段が、前記比率係数に従って、前記抑圧工程で処理された前記画像の画素の色信号と、当該画素に対応する、前記解像度の戻された前記低解像度画像の画素の色信号とを重み付け合成する合成工程と、を有し、
    前記算出工程において前記算出手段は、前記画像の着目画素が偽色の発生している領域に属すると判断される場合には、前記解像度の戻された低解像度画像の画素の色信号が前記重み付け合成の結果となるような前記比率係数を算出することを特徴とする画像処理装置の制御方法。
  6. コンピュータを、請求項1乃至請求項4のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2010250257A 2010-11-08 2010-11-08 画像処理装置およびその制御方法 Active JP5677040B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010250257A JP5677040B2 (ja) 2010-11-08 2010-11-08 画像処理装置およびその制御方法
KR1020137014193A KR101460688B1 (ko) 2010-11-08 2011-11-02 화상처리장치 및 그 제어 방법
EP11796838.8A EP2638696B1 (en) 2010-11-08 2011-11-02 Image processing apparatus and control method of the same
CN201180053860.6A CN103202022B (zh) 2010-11-08 2011-11-02 图像处理设备及其控制方法
PCT/JP2011/075880 WO2012063885A1 (en) 2010-11-08 2011-11-02 Image processing apparatus and control method of the same
US13/880,953 US9137464B2 (en) 2010-11-08 2011-11-02 Image processing apparatus and control method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010250257A JP5677040B2 (ja) 2010-11-08 2010-11-08 画像処理装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2012104968A true JP2012104968A (ja) 2012-05-31
JP2012104968A5 JP2012104968A5 (ja) 2013-12-19
JP5677040B2 JP5677040B2 (ja) 2015-02-25

Family

ID=45349262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010250257A Active JP5677040B2 (ja) 2010-11-08 2010-11-08 画像処理装置およびその制御方法

Country Status (6)

Country Link
US (1) US9137464B2 (ja)
EP (1) EP2638696B1 (ja)
JP (1) JP5677040B2 (ja)
KR (1) KR101460688B1 (ja)
CN (1) CN103202022B (ja)
WO (1) WO2012063885A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021928A (ja) * 2012-07-23 2014-02-03 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP2014119997A (ja) * 2012-12-17 2014-06-30 Canon Inc 画像処理装置およびその制御方法
JP2015216500A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016201771A (ja) * 2015-04-14 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017216903A1 (ja) * 2016-06-15 2017-12-21 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018160026A (ja) * 2017-03-22 2018-10-11 キヤノン株式会社 画像処理装置および画像処理方法、並びにプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5719148B2 (ja) * 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP5919086B2 (ja) * 2012-05-09 2016-05-18 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
TWI566205B (zh) * 2012-11-02 2017-01-11 輝達公司 圖形驅動程式在顯像圖框中近似動態模糊的方法
CN103973997B (zh) * 2013-02-05 2017-09-26 浙江大华技术股份有限公司 一种图像处理方法及装置
JP2015162706A (ja) * 2014-02-26 2015-09-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6603493B2 (ja) * 2015-06-29 2019-11-06 キヤノン株式会社 撮像装置、画像処理装置、撮像装置が実行する撮像方法、画像処理装置が実行する画像処理方法、及びプログラム
KR102584523B1 (ko) * 2016-11-16 2023-10-05 한화비전 주식회사 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
CN106507066B (zh) * 2016-11-22 2018-04-17 深圳开阳电子股份有限公司 抑制图像伪彩色的方法、装置
JP6580801B2 (ja) * 2016-12-14 2019-09-25 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2019076278A1 (en) 2017-10-19 2019-04-25 Zhejiang Dahua Technology Co., Ltd. METHODS AND DEVICES FOR PROCESSING IMAGES
CN108124141B (zh) * 2017-12-15 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法及装置
JP7311994B2 (ja) * 2019-03-27 2023-07-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN113287147A (zh) * 2019-04-24 2021-08-20 华为技术有限公司 一种图像处理方法及装置
KR20220145694A (ko) * 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311000A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
JP2009200635A (ja) * 2008-02-19 2009-09-03 Olympus Imaging Corp 画像処理装置及びその方法並びにプログラム
JP2010206776A (ja) * 2009-02-03 2010-09-16 Canon Inc 撮像装置及びその制御方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69214229T2 (de) 1991-08-14 1997-04-30 Agfa Gevaert Nv Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
JP3576600B2 (ja) 1994-07-11 2004-10-13 キヤノン株式会社 カラー撮像装置
JP4011861B2 (ja) 2001-03-29 2007-11-21 キヤノン株式会社 信号処理装置及び方法
US7257271B2 (en) 2003-12-17 2007-08-14 Eastman Kodak Company Noise reduction in color digital images using pyramid decomposition
KR101201672B1 (ko) * 2005-12-20 2012-11-15 삼성전자주식회사 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子
WO2007116543A1 (ja) 2006-03-31 2007-10-18 Nikon Corporation 画像処理方法
JP5256582B2 (ja) 2006-03-31 2013-08-07 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP4965903B2 (ja) 2006-06-16 2012-07-04 キヤノン株式会社 画像処理装置及び方法
JP5006067B2 (ja) 2006-06-29 2012-08-22 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP2008015741A (ja) 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
JP4914303B2 (ja) * 2007-07-13 2012-04-11 シリコン ヒフェ ベー.フェー. 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
KR101327789B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
JP5475293B2 (ja) 2009-01-28 2014-04-16 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311000A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
JP2009200635A (ja) * 2008-02-19 2009-09-03 Olympus Imaging Corp 画像処理装置及びその方法並びにプログラム
JP2010206776A (ja) * 2009-02-03 2010-09-16 Canon Inc 撮像装置及びその制御方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021928A (ja) * 2012-07-23 2014-02-03 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP2014119997A (ja) * 2012-12-17 2014-06-30 Canon Inc 画像処理装置およびその制御方法
JP2015216500A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016201771A (ja) * 2015-04-14 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017216903A1 (ja) * 2016-06-15 2017-12-21 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017216903A1 (ja) * 2016-06-15 2019-04-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10755399B2 (en) 2016-06-15 2020-08-25 Olympus Corporation Image processing device, image processing method, and image processing program
JP2018160026A (ja) * 2017-03-22 2018-10-11 キヤノン株式会社 画像処理装置および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
CN103202022A (zh) 2013-07-10
JP5677040B2 (ja) 2015-02-25
EP2638696A1 (en) 2013-09-18
WO2012063885A1 (en) 2012-05-18
KR101460688B1 (ko) 2014-11-12
US9137464B2 (en) 2015-09-15
EP2638696B1 (en) 2019-03-13
US20130222531A1 (en) 2013-08-29
CN103202022B (zh) 2015-07-08
KR20130083464A (ko) 2013-07-22

Similar Documents

Publication Publication Date Title
JP5677040B2 (ja) 画像処理装置およびその制御方法
JP5451782B2 (ja) 画像処理装置および画像処理方法
JP5591261B2 (ja) 画像処理装置
JP4869653B2 (ja) 画像処理装置
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
WO2013061626A1 (ja) 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体
JP5430379B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2010268426A (ja) 画像処理装置、画像処理方法およびプログラム
JP5291788B2 (ja) 撮像装置
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
JP5895195B2 (ja) ノイズ削減装置およびノイズ削減方法
JP2005260908A (ja) 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体
JP2009027537A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP5242750B2 (ja) 画像処理装置
JP4385890B2 (ja) 画像処理方法及び周波数成分補償部、当該周波数成分補償部を含む画像処理装置並びに画像処理プログラム
JP6862272B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP4471748B2 (ja) 画像信号処理装置
JP2007028468A (ja) 画像処理装置及び方法
JP2015179951A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6478482B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2021087083A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141226

R151 Written notification of patent or utility model registration

Ref document number: 5677040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151