JP2012090146A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2012090146A JP2012090146A JP2010236176A JP2010236176A JP2012090146A JP 2012090146 A JP2012090146 A JP 2012090146A JP 2010236176 A JP2010236176 A JP 2010236176A JP 2010236176 A JP2010236176 A JP 2010236176A JP 2012090146 A JP2012090146 A JP 2012090146A
- Authority
- JP
- Japan
- Prior art keywords
- statistic
- pixel value
- interpolation
- frequency signal
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 218
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 49
- 238000002156 mixing Methods 0.000 claims description 15
- 239000000203 mixture Substances 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 description 35
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
【解決手段】単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力し、補間処理対象となる注目画素近傍の高周波信号の強度を検出し、高周波信号の強度に応じて異なる広さを持つ参照領域を設定して異なる参照領域から計算される統計量を用いて補間画素値を決定する。例えば、高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、高周波信号の強度が小さい場合は狭い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行する。あるいは高周波信号の強度に応じて決定した広さを持つ参照領域を用いた処理を実行する。
【選択図】図3
Description
それらの中でも、特許文献2(USP5652621号公報)や特許文献3(特開平7−236147号公報)で述べられている相関の高い方向の信号を用いて不明な色を補間する方法は、信号の高周波成分まで精度良く補間できることが知られている。
また、本発明は、偽色の発生を抑制した高品質な補間画像としてのカラー画像の生成を計算量やハードウェアの大きな追加を行うことなく実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出する統計量算出部であり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出部と、
前記検波部の検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理部を有する画像処理装置にある。
単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定部であり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定部と、
前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出部と、
前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理部を有する画像処理装置にある。
画像処理装置において画素値補間処理を実行する画像処理方法であり、
検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
複数の統計量算出部が、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出するステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出ステップと、
補間処理部が、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理ステップを実行する画像処理方法にある。
画像処理装置において画素値補間処理を実行する画像処理方法であり、
検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
参照領域決定部が、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定ステップと、
統計量算出部が、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出ステップと、
補間処理部が、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理ステップを実行する画像処理方法にある。
画像処理装置において画素値補間処理を実行させるプログラムであり、
検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
複数の統計量算出部に、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出させるステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出させる複数の統計量算出ステップと、
補間処理部に、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させるプログラムにある。
画像処理装置において画素値補間処理を実行させるプログラムであり、
検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
参照領域決定部に、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定させる参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定させる参照領域決定ステップと、
統計量算出部に、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出させる統計量算出ステップと、
補間処理部に、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させるプログラムにある。
これらの処理により、画素領域に高周波信号が多く含まれているか否かに応じた最適な参照領域が設定され、偽色が抑制された高品質な画像を生成することが可能となる。以下、色信号にナイキスト周波数付近の高周波信号が多く含まれている画素領域のことを高周波領域と呼称する。
1.本発明の画像処理装置の実行する処理の概要について
2.本発明の画像処理装置における補間処理実行部の構成と処理について
3.本発明の画像処理装置のハードウェア構成例について
4.図3に示す補間処理実行部100の構成要素の具体的処理例について
(4−1.ナイキスト周波数検波部101の処理について)
(4−2.小領域統計量算出部102の処理について)
(4−3.大領域統計量算出部103の処理について)
(4−4.補間処理部A,104の処理について)
5.図4に示す補間処理実行部150の構成要素の具体的処理例について
(5−1.ナイキスト周波数検波部151の処理について)
(5−2.参照領域決定部152の処理について)
(5−3.統計量算出部153の処理について)
(5−4.補間処理部B,154の処理について)
6.その他の実施例について
まず、本発明の画像処理装置の実行する処理の概要について説明する。
本発明の画像処理装置は、単板カラー撮像素子を用いて撮影されたモザイク画像の補間処理を高精度に行い、高品質なカラー画像の生成を実現する。
本発明は、デジタルカメラのカメラ信号処理に応用できる技術である。本発明を用いることで、従来の補間処理で問題となっていた偽色の問題を低減し、視覚的に好ましい補間結果を得ることができる。
本発明は、このようなエイリアシングが発生する周波数帯域において効果的なノイズ低減対策を施すものである。そのため、3色を超える色数を撮影する単板カラー撮像素子のようにサンプリング周波数が低く、偽色の発生確率が高い場合により効果的である。
xは注目画素位置、
C1(x)、C2(x)は画素位置xにおいて既知のC1,C2の画素値、
tは参照領域を表す座標のオフセット、
Nは参照領域の画素数、
mC1(x)、mC2(x)は画素位置xを含む参照領域におけるC1,C2の画素値の平均値、
を表す。
この(式1)は、位置xを含む参照領域内における既知のC1,C2の画素値を用いて、位置xにおいて未知の色C2の画素値C2(x)を算出する式である。
例えば、C1(x)が既知であれば、不明なC2(x)の値は、C1(x)とmC1(x)、mC2(x)を用いて算出される。
さらに、上記の(式1)を変形すると(式2)が得られる。
この補間処理において、色信号に高周波成分が含まれていると、エイリアシングが生じ、mC1(x)、mC2(x)の計算結果が理想的なLPFの結果から外れ、補間結果に偽色が生じる。
なお、参照領域は注目画素位置の補間画素値を算出するために適用する参照画素の設定領域に対応する。
そのため、色信号に高周波成分が含まれていない画像の大部分の領域においては、色信号にエイリアシングが発生せず、狭い参照領域で計算された統計量は十分に信頼できる。
つまり、参照領域を広げることで、相対的により正しい統計量を計算することが可能になる。
なぜならば、注目画素位置における色信号の相関関係が維持されるのは注目画素位置を含む狭い領域だけであるからである。
色信号の間で強い相関が維持されるのは信号の高周波成分が中心であると言うこともできる。
そこで、本発明では色信号の周波数特性に応じて補間処理に用いる参照領域の面積を変更する。
色信号にナイキスト周波数付近の高周波成分が含まれている場合には広い参照領域を用い、含まれていない場合は狭い参照領域を用いる。
本発明の画像処理装置における補間処理実行部の構成と処理について図3以下を参照して説明する。
図3は、本発明の画像処理装置において補間処理を実行する補間処理実行部100の構成要素を示すブロック図である。
本発明の画像処理装置は、図3に示すように、
ナイキスト周波数検出部101、
小領域統計量算出部102、
大領域統計量算出部103、
補間処理部A,104、
を有する。
補間処理実行部100の出力は補間画像122であり、各画素位置に全ての色の画素値データが設定された補間画像122を出力する。
小領域統計量算出部102は、予め設定された狭い画素領域からなる狭い参照領域を用いた統計量を算出する。
大領域統計量算出部103は、予め設定された広い画素領域からなる広い参照領域を用いた統計量を算出する。
なお、統計量は補間画素値を決定するために用いられる参照領域の画素値から算出される値である。
ナイキスト周波数検波部101で検出された高周波信号があらかじめ設定した閾値以上の強度であり、高周波領域であると判定した場合は大領域統計量算出部103の算出した統計量を使用した補間処理を実行する。
ナイキスト周波数検波部101で検出された高周波信号があらかじめ設定した閾値未満の強度であり、高周波領域でないと判定した場合は小領域統計量算出部102の算出した統計量を使用した補間処理を実行する。また、閾値による単なる切り替えではなく、2つの統計量を高周波信号の強度に応じてブレンドするようにしても良い。
狭い参照領域を利用して統計量を算出する小領域統計量算出部、
中程度の参照領域を利用して統計量を算出する中領域統計量算出部、
広い参照領域を利用して統計量を算出する大領域統計量算出部、
これら3つの統計量算出部を設定した場合は以下のような補間処理を実行する。
ナイキスト周波数検波部101で検出された高周波信号の強度Sに応じて以下のような補間処理を行う。
閾値Th1≦Sの場合、広い参照領域を利用して統計量を算出する大領域統計量算出部の算出した統計量を使用した補間処理を実行する。
閾値Th2≦S<閾値Th1の場合、中程度の参照領域を利用して統計量を算出する中領域統計量算出部の算出した統計量を使用した補間処理を実行する。
S<閾値Th2の場合、狭い参照領域を利用して統計量を算出する小領域統計量算出部の算出した統計量を使用した補間処理を実行する。
このように、より多くの異なる参照領域を用いる構成とすることも可能である。
図4に示す補間処理実行部150は、
ナイキスト周波数検出部151、
参照領域決定部152、
統計量算出部153、
補間処理部B,154、
を有する。
補間処理実行部150の出力は補間画像172であり、各画素位置にすべての色の画素値データが設定された補間画像172を出力する。
具体的には、参照領域決定部152は、以下のような参照領域決定処理を実行する。
ナイキスト周波数検波部151で検出された高周波信号の強度が例えば予め設定した閾値より強く、高周波領域であると判定した場合は、参照領域の広さを大きくする。
また、ナイキスト周波数検波部151で検出された高周波信号の強度が例えば予め設定した閾値より弱く、高周波領域でないと判定した場合は、参照領域の広さを小さくする。
補間処理部B,154は、統計量算出部153の算出した統計量に基づいて不明な色の画素値を決定する補間処理を実行する。
このような処理を実行することで、従来技術では偽色を発生させていた画素領域で偽色を抑えつつ、それ以外の領域では補間性能を従来技術と同等に保つことができる。
本発明は、偽色抑制と補間性能の維持という異なる画質上の課題に対し、参照領域の面積を可変にし、両者のバランスを取る画像処理装置であると言える。
これは、撮像装置(カメラ)によって撮影される自然画においては、色間に強い相関が存在することから、ある色の高周波信号の強度を他の色の高周波成分の強度の代替として用いることができ、また画素数が多い方がハイパスフィルタの設計の自由度が上げられるために、精度良く高周波信号を検波できるからである。
IIRフィルタは非等方のフィルタであるが、非等方性に起因する補間処理の性能劣化は視覚上ほとんど知覚されないことから、問題とはならない。
次に、図5を参照して本発明の画像処理装置の一実施例としての撮像装置(デジタルスチルカメラ)の構成例について説明する。前段で全体像の構成及び動作について説明し、その後各部の構成と動作を説明する。最後に本実施例から派生できる本発明の実施例のバリエーションについて言及する。
先に、図3、図4を参照して説明したように本発明の画像処理装置の補間処理実行部では、参照領域の面積を可変にし、高周波領域では広い領域からなる参照画素領域を利用し、高周波領域ではない領域では狭い領域からなる参照画素領域を利用して統計量を算出し、算出した統計量を用いて補間画素値を決定する。
以下、図3に示す補間処理実行部100において、図2(2)に示すRGBXの4色配列の単板式の撮像素子(単板カラー撮像素子)の出力であるモザイク画像121が入力された場合の具体的な処理例について説明する。
まず、ナイキスト周波数検波部101の処理について説明する。
ナイキスト周波数検波部101では、まず図2(2)に含まれる4つの色(RGBX)よりも画素数が多く、より高い周波数成分を持つ別の色Yの信号を、以下の(式3)を用いて算出する。Yは単板式の撮像素子(単板カラー撮像素子)から直接得られる4つの色(RGBX)よりも画素数が多く、より高い周波数成分を持つ別の色の信号である。
x,yは画素位置を表し、Mosaicはモザイク画像を表す。
Nyq(x,y)が注目画素(x,y)における高周波成分の強度を示す値となる。上記式は、注目画素(x,y)の近傍のY信号の分布に基づいて高周波成分の強度を算出する式である。
補間処理部A,104は、この値に基づいて、異なる2つの参照領域で算出された統計量の内、どちらを優先的に使用するのかどうかを決定する。
ナイキスト周波数検波部101で算出されたNyq(x,y)が大きい場合は大領域統計量算出部103の算出した統計量を優先的に使用した補間処理を実行する。
ナイキスト周波数検波部101で算出されたNyq(x,y)が小さい場合は小領域統計量算出部102の算出した統計量を優先的に使用した補間処理を実行する。
次に、小領域統計量算出部102の処理について説明する。
小領域統計量算出部102は、補間対象画素である注目画素(x,y)を中心とした狭い画素領域、例えば7x7画素の局所領域を参照領域として設定し、この狭い参照領域に含まれているR,G,B,X,Yの画素値の平均値を、補間画素値を決定するために適用する統計量として算出する。
Rの平均値:mHR(x,y)、
Gの平均値:mHG(x,y)、
Bの平均値:mHB(x,y)、
Xの平均値:mHX(x,y)、
Yの平均値:mHY(x,y)、
小領域統計量算出部102は、これらの値を狭い参照領域(例えば7x7画素領域)における統計量として算出する。
次に、大領域統計量算出部103の処理について説明する。
大領域統計量算出部103は、補間対象画素である注目画素(x,y)を中心とした広い画素領域、例えば31x31画素の局所領域を参照領域として設定し、この広い参照領域に含まれているR,G,B,X,Yの画素値の平均値を、補間画素値を決定するために適用する統計量として算出する。
Rの平均値:mLR(x,y)、
Gの平均値:mLG(x,y)、
Bの平均値:mLB(x,y)、
Xの平均値:mLX(x,y)、
Yの平均値:mLY(x,y)、
大領域統計量算出部103は、これらの値を広い参照領域(例えば31x31画素領域)における統計量として算出する。
次に、補間処理部A,104の処理について説明する。
補間処理部A,104では、以下に示す(式5)に従って、補間対象画素位置である注目画素(x,y)における補間画素値、すなわち不明な色の画素値を決定する。
const1は2つの異なる参照領域で計算された統計量を混ぜる割合をコントロールするための係数である。
この係数を変更することで偽色の抑制効果をコントロールすることができる。また、式中のCはR,G,B,Xの何れかの色に置き換えられる。
Yの平均値:mHY(x,y)、
Cの平均値:mHC(x,y)、
と、
大領域統計量算出部103において算出した広い参照領域(例えば31x31画素領域)におけるY信号と、C信号(RGBXいずれか補間対象となる色信号)の平均値、すなわち、
Yの平均値:mLY(x,y)、
Cの平均値:mLC(x,y)、
これらの各平均値のブレンドによって最終的な注目画素の補間画素値C(x,y)を算出する式である。
Blend(x,y)=min(Nyq(x,y)×const1,1)
によって算出される。
すなわち、先に説明した(式4)に従って算出される注目画素(x,y)における高周波成分の強度指標値Nyq(x,y)に予め規定した係数const1を乗算した値(Nyq(x,y)×const1)と1とを比較してより小さい値を選択して、選択値をブレンド比率:Blend(x,y)とする。
(Nyq(x,y)×const1)>1となる。この場合、
Blend(x,y)=min(Nyq(x,y)×const1,1)
上記式によって算出されるブレンド比率:Blend(x,y)は、
Blend(x,y)=1
となる。
広い参照領域(例えば31x31画素領域)におけるY信号と、C信号(RGBXいずれか補間対象となる色信号)の平均値、すなわち、
Yの平均値:mLY(x,y)、
Cの平均値:mLC(x,y)、
これらの値のみによって算出される。
(Nyq(x,y)×const1)<1となる、この場合、
Blend(x,y)=min(Nyq(x,y)×const1,1)
上記式によって算出されるブレンド比率:Blend(x,y)は、
Blend(x,y)=0〜1
となる。
狭い参照領域(例えば7x7画素領域)におけるY信号と、C信号(RGBXいずれか補間対象となる色信号)の平均値、すなわち、
Yの平均値:mHY(x,y)、
Cの平均値:mHC(x,y)、
これらの値の寄与率が0より大きくなる。
Yの平均値:mHY(x,y)、
Cの平均値:mHC(x,y)、
これらの値の寄与率が大きくなる。
これに伴い、広い参照領域(例えば31x31画素領域)におけるY信号と、C信号(RGBXいずれか補間対象となる色信号)の平均値、すなわち、
Yの平均値:mLY(x,y)、
Cの平均値:mLC(x,y)、
これらの値の寄与率が小さくなる。
高周波領域では、大領域統計量算出部103において算出した広い参照領域(例えば31x31画素領域)における統計量(平均値)の寄与率が高く設定され、狭い参照領域(例えば7x7画素領域)における統計量(平均値)の寄与率が低く設定される。
一方、高周波成分の少ない平坦領域では、大領域統計量算出部103において算出した広い参照領域(例えば31x31画素領域)における統計量(平均値)の寄与率が低く設定され、狭い参照領域(例えば7x7画素領域)における統計量(平均値)の寄与率が高く設定される。
次に、図4に示す補間処理実行部150において、図2(2)に示すRGBXの4色配列の単板式の撮像素子(単板カラー撮像素子)の出力であるモザイク画像121が入力された場合の具体的な処理例について説明する。
まず、ナイキスト周波数検波部151の処理について説明する。
ナイキスト周波数検波部151の処理は、図3に示すナイキスト周波数検波部101の処理と同様の処理を実行する。
まず図2(2)に含まれる4つの色(RGBX)よりも画素数が多く、より高い周波数成分を持つ別の色の信号値を、前述の(式3)を用いて算出する。
次に、R,G,B,Xの色成分のナイキスト周波数付近の周波数帯域を通すハイパスフィルタ(HPF)を用いて、前述の(式4)に従ってYの高周波成分の強度を算出する。
参照領域決定部152は、この値に基づいて、参照領域の広さを決定する。
次に、参照領域決定部152の処理について説明する。
参照領域決定部152はナイキスト周波数検波部151で検出された色信号の高周波成分の強度に応じて、注目画素位置を中心とした参照領域を設定する。
ナイキスト周波数検波部151で検出された高周波信号の強度が例えば予め設定した閾値より強く、高周波領域であると判定した場合は、参照領域の広さを大きくする。
また、ナイキスト周波数検波部151で検出された高周波信号の強度が例えば予め設定した閾値より弱く、高周波領域でないと判定した場合は、参照領域の広さを小さくする。
例えば、参照領域は7x7画素から31x31画素の範囲で選ばれる。
const2〜const13は偽色の抑制効果をコントロールするための予め設定した係数であり、
const2<const3<const4<….<const13
である。
参照領域決定部152の決定した参照領域情報は統計量算出部153に提供される。
次に、統計量算出部153の処理について説明する。
統計量算出部153では参照領域決定部152で選ばれた参照領域の範囲に含まれているR,G,B,X,Yを参照画素として、補間画素値の決定に用いる統計量としての画素値の平均値を求める。
Rの平均値:mR(x,y)、
Gの平均値:mG(x,y)、
Bの平均値:mB(x,y)、
Xの平均値:mX(x,y)、
Yの平均値:mY(x,y)、
統計量算出部153は、これらの値を参照領域決定部152で選ばれた参照領域の範囲に含まれているR,G,B,X,Yを参照画素として算出する。
次に、補間処理部B,154の処理について説明する。
補間処理部B,154は、以下に示す(式7)に従って、補間処理の画素位置である注目画素位置(x,y)における不明な色の画素値を決定する。
CはR,G,B,Xの何れかの色に置き換えられる。
上述した実施例において説明した狭い参照領域としての7x7画素領域、および広い参照領域としての31x31画素領域は、一例である。
この参照領域の大きさは、モザイク画像の画素数や、含まれている色数に応じて適切な領域を選べば良い。
重みは参照領域内の画素位置が注目画素位置から離れるに従って小さくなるように設定する。
また、補間画素値を決定するための統計量としては、参照領域における画素の平均値の他、分散や共分散等のデータを用いる構成としてもよい。
例えば、先に説明した(式2)を、より一般的な式として示すと以下の(式8)のように示すことができる。
なお、係数:kの計算方法は、以下に示す(式9)や(式10)等を適用した方法などがある。
xはx方向の座標位置、
Tは時間、
const14は[0:1]の範囲のIIRフィルタの係数、
である。
Cは色配列に含まれる色に置き換えられる。
これらの処理により、画素領域が高周波領域に該当するか否かに応じた最適な参照領域が設定され、偽色が抑制された高品質な画像を生成することが可能となる。
101 ナイキスト周波数検波部
102 小領域統計量算出部
103 大領域統計量算出部
104 補間処理部A
121 モザイク画像
122 補間画像
150 補間処理実行部
151 ナイキスト周波数検波部
152 参照見領域決定部
153 統計量算出部
154 補間処理部B
171 モザイク画像
172 補間画像
201 レンズ
202 絞り
203 CCDイメージセンサ
204 相関2重サンプリング回路
205 A/Dコンバータ
206 DSPブロック
207 タイミングジェネレータ
208 D/Aコンバータ
209 ビデオエンコーダ
210 ビデオモニタ
211 CODEC
212 メモリ
213 CPU
214 入力デバイス
Claims (13)
- 単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出する統計量算出部であり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出部と、
前記検波部の検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理部を有する画像処理装置。 - 前記補間処理部は、
前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、
前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行する請求項1に記載の画像処理装置。 - 単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定部であり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定部と、
前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出部と、
前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理部を有する画像処理装置。 - 前記参照領域決定部は、
前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域を設定し、
前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域を設定する請求項3に記載の画像処理装置。 - 前記検波部は、補間処理対象となる注目画素近傍におけるナイキスト周波数付近の高周波信号の強度を検出する請求項1または3に記載の画像処理装置。
- 前記検波部は、ナイキスト周波数付近の周波数帯域を通すハイパスフィルタ(HPF)を用いて高周波信号の強度を検出する請求項5に記載の画像処理装置。
- 前記検波部は、単板カラー撮像素子による撮影処理によって生成される色モザイク画像には含まれない色信号を算出して、算出信号に基づいて高周波信号の強度を検出する請求項1または3に記載の画像処理装置。
- 前記統計量算出部は、
参照領域に含まれる画素の画素値の平均を統計量として算出する請求項1または3に記載の画像処理装置。 - 前記統計量算出部は、IIR(無限インパルス応答)フィルタを適用した構成である請求項1または3に記載の画像処理装置。
- 画像処理装置において画素値補間処理を実行する画像処理方法であり、
検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
複数の統計量算出部が、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出するステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出ステップと、
補間処理部が、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理ステップを実行する画像処理方法。 - 画像処理装置において画素値補間処理を実行する画像処理方法であり、
検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
参照領域決定部が、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定ステップと、
統計量算出部が、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出ステップと、
補間処理部が、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理ステップを実行する画像処理方法。 - 画像処理装置において画素値補間処理を実行させるプログラムであり、
検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
複数の統計量算出部に、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出させるステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出させる複数の統計量算出ステップと、
補間処理部に、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させるプログラム。 - 画像処理装置において画素値補間処理を実行させるプログラムであり、
検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
参照領域決定部に、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定させる参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定させる参照領域決定ステップと、
統計量算出部に、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出させる統計量算出ステップと、
補間処理部に、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010236176A JP5672941B2 (ja) | 2010-10-21 | 2010-10-21 | 画像処理装置、および画像処理方法、並びにプログラム |
US13/271,996 US20120098991A1 (en) | 2010-10-21 | 2011-10-12 | Image processing apparatus, image processing method and program |
CN2011103197766A CN102572447A (zh) | 2010-10-21 | 2011-10-14 | 图像处理设备、图像处理方法及程序 |
BRPI1106575-3A BRPI1106575A2 (pt) | 2010-10-21 | 2011-10-14 | Aparelho e método de processamento de imagem, e, programa |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010236176A JP5672941B2 (ja) | 2010-10-21 | 2010-10-21 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012090146A true JP2012090146A (ja) | 2012-05-10 |
JP5672941B2 JP5672941B2 (ja) | 2015-02-18 |
Family
ID=45972719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010236176A Expired - Fee Related JP5672941B2 (ja) | 2010-10-21 | 2010-10-21 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120098991A1 (ja) |
JP (1) | JP5672941B2 (ja) |
CN (1) | CN102572447A (ja) |
BR (1) | BRPI1106575A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208093A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 |
JP2017502598A (ja) * | 2014-09-15 | 2017-01-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | デモザイク化の方法 |
CN115168682A (zh) * | 2022-09-05 | 2022-10-11 | 南京师范大学 | 一种大规模时空点数据lod绘制方法及装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
US10598617B2 (en) * | 2017-05-05 | 2020-03-24 | Kla-Tencor Corporation | Metrology guided inspection sample shaping of optical inspection results |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005094120A (ja) * | 2003-09-12 | 2005-04-07 | Canon Inc | 画像処理装置 |
JP2005094119A (ja) * | 2003-09-12 | 2005-04-07 | Canon Inc | 画像処理装置 |
JP2006115408A (ja) * | 2004-10-18 | 2006-04-27 | Mitsubishi Electric Corp | 画素信号生成装置、撮像装置および画素信号生成方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7477803B2 (en) * | 2003-09-12 | 2009-01-13 | Canon Kabushiki Kaisha | Image processing apparatus |
JP2010041336A (ja) * | 2008-08-04 | 2010-02-18 | Toshiba Corp | 画像処理装置、および画像処理方法 |
JP5201408B2 (ja) * | 2008-09-30 | 2013-06-05 | ソニー株式会社 | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
-
2010
- 2010-10-21 JP JP2010236176A patent/JP5672941B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-12 US US13/271,996 patent/US20120098991A1/en not_active Abandoned
- 2011-10-14 CN CN2011103197766A patent/CN102572447A/zh active Pending
- 2011-10-14 BR BRPI1106575-3A patent/BRPI1106575A2/pt not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005094120A (ja) * | 2003-09-12 | 2005-04-07 | Canon Inc | 画像処理装置 |
JP2005094119A (ja) * | 2003-09-12 | 2005-04-07 | Canon Inc | 画像処理装置 |
JP2006115408A (ja) * | 2004-10-18 | 2006-04-27 | Mitsubishi Electric Corp | 画素信号生成装置、撮像装置および画素信号生成方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502598A (ja) * | 2014-09-15 | 2017-01-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | デモザイク化の方法 |
US10565681B2 (en) | 2014-09-15 | 2020-02-18 | Sj Dji Technology Co., Ltd. | System and method for image demosaicing |
JP2016208093A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 |
CN115168682A (zh) * | 2022-09-05 | 2022-10-11 | 南京师范大学 | 一种大规模时空点数据lod绘制方法及装置 |
CN115168682B (zh) * | 2022-09-05 | 2022-12-06 | 南京师范大学 | 一种大规模时空点数据lod绘制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
BRPI1106575A2 (pt) | 2014-02-04 |
US20120098991A1 (en) | 2012-04-26 |
JP5672941B2 (ja) | 2015-02-18 |
CN102572447A (zh) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011158572A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9179113B2 (en) | Image processing device, and image processing method, and program | |
KR101442153B1 (ko) | 저조도 영상 처리 방법 및 시스템 | |
JP4640508B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び撮像装置 | |
JP2012256202A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
JP2007174276A (ja) | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム | |
KR101225056B1 (ko) | 이미지 센서 노이즈 저감 장치 및 방법 | |
JP2010239492A (ja) | 撮像装置および映像信号のノイズ低減方法 | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP5672941B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TW200906174A (en) | Methods, systems and apparatuses for motion detection using auto-focus statistics | |
US20150206280A1 (en) | Image processing apparatus, image processing method, and program | |
KR20210018136A (ko) | 영상 처리 방법 및 장치 | |
WO2015098243A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
US8441543B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP5291788B2 (ja) | 撮像装置 | |
JP2009130632A (ja) | 画像処理装置及び画像処理プログラム | |
JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
Cho et al. | Alternating line high dynamic range imaging | |
US20230020328A1 (en) | Information processing apparatus, imaging apparatus, information processing method, and program | |
JP5158167B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5586031B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP2008079301A (ja) | 撮像装置 | |
JP5234123B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
LAPS | Cancellation because of no payment of annual fees |