JP2014200009A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2014200009A
JP2014200009A JP2013074761A JP2013074761A JP2014200009A JP 2014200009 A JP2014200009 A JP 2014200009A JP 2013074761 A JP2013074761 A JP 2013074761A JP 2013074761 A JP2013074761 A JP 2013074761A JP 2014200009 A JP2014200009 A JP 2014200009A
Authority
JP
Japan
Prior art keywords
image
pixel
value
tap
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013074761A
Other languages
English (en)
Inventor
一郎 藤沢
Ichiro Fujisawa
一郎 藤沢
奥村 明弘
Akihiro Okumura
明弘 奥村
勝俊 安藤
Katsutoshi Ando
勝俊 安藤
隆史 土屋
Takashi Tsuchiya
隆史 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013074761A priority Critical patent/JP2014200009A/ja
Priority to US14/220,361 priority patent/US9380276B2/en
Priority to CN201410108389.1A priority patent/CN104079905A/zh
Publication of JP2014200009A publication Critical patent/JP2014200009A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

【課題】ジッパーノイズを低減することができるようにする。【解決手段】各クラスタップ選択部は、単板式画素部から出力される画像信号により構成される第1の画像から、複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、各クラス分類部は、クラスタップの特徴量に基づいて、第2の画像の注目画素をクラス分類し、各予測タップ選択部は、第1の画像から、複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択し、各積和演算部は、予測タップの第1の色成分に対応する画素に係る画素値を変数とし、読み出された係数を用いた積和演算により、第2の画像の画素値をそれぞれ演算する。本技術は、例えば、単板式カメラにより取得された画像信号に対する画像処理を行う画像処理装置に適用することができる。【選択図】図16

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、ジッパーノイズを低減することができるようにした画像処理装置および方法、並びにプログラムに関する。
イメージセンサを用いた撮像装置には、主に、1つのイメージセンサを用いた単板方式のもの(以下、単板式カメラという)と、3つのイメージセンサを用いた3板方式のもの(以下、3板式カメラという)とがある。
3板式カメラでは、例えばR信号用、G信号用およびB信号用の3つのイメージセンサを用いて、その3つのイメージセンサにより3原色信号を得る。そして、この3原色信号から生成されるカラー画像信号が記録媒体に記録される。
単板式カメラでは、1画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された1つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を1画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、R(Red),G(Green),B(Blue)の原色フィルタアレイや、Ye(Yellow),Cy(Cyanogen),Mg(Magenta)の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより1画素毎に1つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、3板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Gの色フィルタが市松状に配され、残った部分にRとBが一列毎に交互に配されている。
この場合、イメージセンサは、R,G,Bの3原色のうちの1つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Rの色フィルタが配置された画素からは、R成分の画像信号は出力されるが、G成分およびB成分の画像信号は出力されない。同様に、Gの画素からは、G成分の画像信号のみが出力され、R成分およびB成分の画像信号は出力されず、Bの画素からは、B成分の画像信号のみが出力され、R成分およびG成分の画像信号は出力されない。
しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にR成分,G成分およびB成分の画像信号が必要となる。そこで、従来の技術では、n×m(nおよびmは正の整数)個の画素で構成されるイメージセンサの出力から、n×m個のR画素の画像信号、n×m個のG画素の画像信号およびn×m個のB画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。
このような従来の技術としてDLMMSE法が知られている(非特許文献1参照)。
DLMMSE法では、まず、イメージセンサからの入力画像に対し、G成分の画素信号を補間し、G成分を補間した後の色差(B−G,R−G)を用いてB成分の画素信号とR成分の画素信号を補間する。また、このG成分を補間する際には、入力画像の垂直方向と水平方向でそれぞれ、自乗誤差が最小となる補間値を生成する。そして、垂直方向と水平方向の方向性を検出し、その検出結果に応じて垂直方向の補間値と水平方向の補間値を按分することになる。
DLMMSE algorithm from L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. on Image Processing, vol. 14, no. 12, pp. 2167-2178, 2005.
ところで、DLMMSE法を用いた場合に、局所的にR成分だけ存在する絵柄では、平均化した色差が本来の色差よりも減少する現象が発生する。この現象は、いわゆる色抜けと称される現象であり、色差が減少した結果、G成分のレベルが持ち上がることになる。
具体的には、図1に示すように、DLMMSE法を用いて、イメージセンサからの入力画像(図2)におけるR画素を中心画素としたときの左右両隣のG画素を含む3点で計算された色差と、左右両隣のG画素とR画素を含む5点で計算された色差とを比較すると、5点で計算された色差のほうが、3点で計算された色差よりもレベルが低くなる。つまり、R成分だけが存在する絵柄において、中心画素となるR画素のレベルが、左右両隣のR画素のレベルの平均よりも下がっていると、中心のR画素の色差(R−G)のレベルが低下する。その結果、R成分は固定で計算されるので、中心のR画素のG成分のレベルは上昇することになる。
このように1点だけG成分のレベルが持ち上がって白点や黒点が孤立して発生したノイズは、ジッパーノイズと称されている。つまり、DLMMSE法のように、ある方向に色差を平均化して解像感を増加させる方式であると、局所的に色差変化のある箇所でジッパーノイズが発生してしまう可能性がある。なお、図3には3点で計算した場合に得られる画像を示し、図4には5点で計算した場合に得られる画像を示しており、5点で計算した場合に得られる画像ではジッパーノイズが発生している。
本技術はこのような状況に鑑みてなされたものであり、イメージセンサからの入力画像に局所的に色差変化のある箇所があっても、そこで発生するジッパーノイズを低減することができるようにするものである。
本技術の一側面の画像処理装置は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算する積和演算部とを備え、前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される。
前記第1の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記予測タップの前記第1の色成分の画素値を、前記複数の色成分のうち、1の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第1の変換値に変換する第1の色成分変換部とをさらに備え、前記積和演算部は、前記第1の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算する。
前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、1の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第2の変換値に変換する第2の色成分変換部をさらに備え、前記クラス分類部は、前記第2の変換値に基づいて、前記クラスタップの特徴量を決定する。
前記単板式画素部は、R,G,Bの各色成分を有するベイヤー配列の画素部であり、前記代表値演算部は、前記RまたはBの画素の周囲のGの画素に基づいて、前記RまたはBの画素の補間値gを算出し、前記Gの画素の周囲のRの画素またはBの画素に基づいて、それぞれ前記Gの画素の補間値rおよび補間値bを算出し、前記Gの画素から直接得られる入力値Gと前記補間値gとの平均値により、Gの代表値を演算し、前記補間値rと前記入力値Gとの差分、および、前記Rの画素から直接得られる入力値Rと前記補間値gとの差分、並びに前記Gの代表値に基づいてRの代表値を演算し、前記補間値bと前記入力値Gとの差分、および、前記Bの画素から直接得られる入力値Bと前記補間値gとの差分、並びに前記Gの代表値に基づいてBの代表値を演算する。
前記色成分変換部は、前記第2の画像がGの画素のみで構成される画像である場合、前記入力値Rを、前記Rの代表値と前記Gの代表値の差分によりオフセットし、前記入力値Bを、前記Bの代表値と前記Gの代表値の差分によりオフセットし、前記第2の画像がRの画素のみで構成される画像である場合、前記入力値Gを、前記Gの代表値と前記Rの代表値の差分によりオフセットし、前記入力値Bを、前記Bの代表値と前記Rの代表値の差分によりオフセットし、前記第2の画像がBの画素のみで構成される画像である場合、前記入力値Gを、前記Gの代表値と前記Bの代表値の差分によりオフセットし、前記入力値Rを、前記Rの代表値と前記Bの代表値の差分によりオフセットする。
前記第1の画像から、色成分の変化を検出する色変化検出部をさらに備え、前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う。
前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される。
本技術の一側面の画像処理方法またはプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法またはプログラムである。
本技術の一側面の画像処理装置および方法、並びにプログラムにおいては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第1の画像から、前記複数の色成分に対応する画素に係る画素値が、クラスタップとして選択され、前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第2の画像の注目画素が、複数のクラスのうちのいずれかのクラスに分類され、前記クラス分類の結果に基づいて、予め記憶されている係数が読み出され、前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値が、予測タップとして選択され、前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値がそれぞれ演算され、前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像が生成され、前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される。
本技術の一側面によれば、ジッパーノイズを低減することができる。
ジッパーノイズの原理を説明する図である。 入力画像を示す図である。 DLMMSE法(3点計算)により得られる画像を示す図である。 DLMMSE法(5点計算)により得られる画像を示す図である。 単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。 本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 指定エリアの例を示す図である。 補間値gの算出方式の例を説明する図である。 補間値rの算出方式の例を説明する図である。 補間値bの算出方式の例を説明する図である。 図6の画像処理装置に対応する学習装置の構成例を示す図である。 図6の画像処理装置、または、図11の学習装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。 図6の画像処理装置による画像処理の例を説明するフローチャートである。 代表RGB演算処理の例を説明するフローチャートである。 図11の学習装置による係数学習処理の例を説明するフローチャートである。 本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 図16の画像処理装置において取得されるGクラスタップの構造の例を示す図である。 図16の画像処理装置において取得されるG予測タップの構造の例を示す図である。 図16の画像処理装置において取得されるRクラスタップの構造の例を示す図である。 図16の画像処理装置において取得されるR予測タップの構造の例を示す図である。 図16の画像処理装置において取得されるBクラスタップの構造の例を示す図である。 図16の画像処理装置において取得されるB予測タップの構造の例を示す図である。 図16の画像処理装置の他の構成例を示すブロック図である。 本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。 図24の画像処理装置による画像処理の例を説明するフローチャートである。 図16または図24の画像処理装置において取得されるクラスタップの別の構造の例を示す図である。 図16または図24の画像処理装置において取得される予測タップの別の構造の例を示す図である。 コンピュータの構成例を示すブロック図である。
以下、図面を参照しながら本技術の実施の形態について説明する。
<画像信号の取得方式>
図5は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。
この例では、被写体11で反射した光が、光学ローパスフィルタ12を通過してイメージセンサ13により受光されるようになされている。
単板式カメラでは、1画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された1つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を1画素毎に得る。
ここでは、イメージセンサ13においてベイヤー配列の色フィルタアレイが用いられており、Gの色フィルタが市松状に配され、残った部分にRとBが一列毎に交互に配されている。すなわち、イメージセンサ13の中の矩形の領域内の4画素は、2つのGの画素と、それぞれ1つのRの画素およびBの画素により構成されることになる。
単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にR成分,G成分およびB成分の画像信号が必要となる。このため、イメージセンサ13から出力される画素値に基づいて、各画素毎にR成分,G成分およびB成分の画素値を補間演算などにより求める必要がある。
また、イメージセンサ13においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ12を通過するようになされている。しかしながら、このように光学ローパスフィルタ12を通過させることにより、画像がぼけてしまうことがあった。
そこで、本技術では、イメージセンサ13から出力される画素値に基づいて、あたかも枠(図中の点線の矩形)14に、R成分,G成分およびB成分のそれぞれに対応する3つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。
<1.第1の実施の形態>
<画像処理装置の構成>
図6は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置100は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。
画像処理装置100に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図5のイメージセンサ13から出力される信号に対応する画像とされる。従って、入力画像では、Rの色フィルタが配置された画素からは、R成分の画像信号は得られるが、G成分およびB成分の画像信号は得られない。同様に、Gの画素からは、G成分の画像信号のみが得られ、R成分およびB成分の画像信号は得られず、Bの画素からは、B成分の画像信号のみが得られ、R成分およびG成分の画像信号は得られない。
図6の画像処理装置100は、代表RGB演算部101、並びに、それぞれ、R、G、Bの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。
代表RGB演算部101は、後述するクラスタップまたは予測タップを取得するための画像の中の領域(以下、指定エリアという)における、R、G、Bの各色成分の画素値の基準となる代表値として、それぞれDr、Db、およびDgを演算する。
例えば、図7の太線の枠で示されるように、指定エリアが設定されるものとする。図7では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたR、G、Bの文字は、各画素の色成分を表している。
指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。
なお、以下の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値G、入力値R、および入力値Bと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのRの色フィルタが配置された画素から直接得られる画素値を入力値Rとし、ベイヤー配列のイメージセンサのGの色フィルタが配置された画素から直接得られる画素値を入力値Gとし、ベイヤー配列のイメージセンサのBの色フィルタが配置された画素から直接得られる画素値を入力値Bとする。
この例では、図中の太線で囲まれた領域であって、中心画素を中心とした25(=5×5)画素により構成される領域が指定エリアとされている。
代表RGB演算部101は、最初に、G成分の代表値Dgを算出する。
このとき、代表RGB演算部101は、図8に示されるように、指定エリア内のR成分の画素、または、B成分の画素を中心画素とし、中心画素の周囲(上下左右)の4つのGの画素である画素G1乃至画素G4の入力値G1乃至入力値G4を平均することにより、中心画素の画素位置における補間されたG成分の値である補間値gを算出する。これにより、入力画像ではG成分を有していなかったR成分の画素とB成分の画素が、補間されたG成分(補間値g)を有することになる。
そして、代表RGB演算部101は、指定エリア内の全てのGの画素(この例では12個)の入力値Gと補間値gとの平均値を代表値Dgとして算出する。
次に、代表RGB演算部101は、R成分の代表値Drを算出する。この際、代表RGB演算部101は、指定エリア内のGの画素のそれぞれの画素位置における補間されたR成分の値である補間値rを算出する。例えば、図8の画素G1または画素G4に示される位置の補間値rを算出する場合、図9に示されるように、この場合、Gの画素の左右両隣に位置する画素R1と画素R2の平均値が補間値rとされる。
これにより、指定エリア内のGの画素の画素位置では、入力値Gおよび補間値rを得ることができ、指定エリア内のRの画素の画素位置では、入力値Rおよび補間値gを得ることができる。
そして、各画素位置において、(補間値r−入力値G)および(入力値R−補間値g)が算出され、算出されたそれぞれの(補間値r−入力値G)および(入力値R−補間値g)の平均値に、代表値Dgを加算した値として代表値Drが算出される。
さらに、代表RGB演算部101は、B成分の代表値Dbを算出する。この際、代表RGB演算部101は、指定エリア内のGの画素のそれぞれの画素位置における補間されたB成分の値である補間値bを算出する。例えば、図8の画素G1または画素G4に示される位置の補間値bを算出する場合、図10に示されるように、Gの画素の上下両隣に位置する画素B1と画素B2の平均値が補間値bとされる。
これにより、指定エリア内のGの画素の画素位置では、入力値Gおよび補間値bを得ることができ、指定エリア内のBの画素の画素位置では、入力値Bおよび補間値gを得ることができる。
そして、各画素位置において、(補間値b−入力値G)および(入力値B−補間値g)が算出され、算出されたそれぞれの(補間値b−入力値G)および(入力値B−補間値g)の平均値に、代表値Dgを加算した値として代表値Dbが算出される。
図6に戻って、Gクラスタップ選択部102−1は、G成分の画像を生成するため必要となるクラスタップであるGクラスタップを入力画像から選択して取得する。Gクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
Gクラスタップ選択部102−1により選択されたGクラスタップは、G変換部105−11に供給される。G変換部105−11は、Gクラスタップを構成する各画素値にG変換処理を施すものとされる。
G変換処理は、例えば、次のようにして行われる。Gクラスタップを構成する画素値が入力値Gである場合、変換値G´を演算し、Gクラスタップを構成する画素値が入力値Rである場合、変換値R´を演算し、Gクラスタップを構成する画素値が入力値Bである場合、変換値B´を演算する。
ここで、変換値G´、変換値R´、および変換値B´は、それぞれ式(1)乃至式(3)により演算される。
Figure 2014200009
・・・(1)
Figure 2014200009
・・・(2)
Figure 2014200009
・・・(3)
このようなG変換処理が施されることにより、Gクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のRの画素およびBの画素のそれぞれの画素値が、Gの画素の画素値を基準としてオフセットされることになり、Gクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
図6に戻って、G変換部105−11から出力されるGクラスタップは、Gクラス分類部106−1に供給される。なお、G変換部105−11から出力されるGクラスタップは、上述した式(1)乃至式(3)により演算された変換値G´、変換値R´、および変換値B´により構成されることになる。
Gクラス分類部106−1は、供給されたGクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、G係数メモリ107−1に出力される。
G係数メモリ107−1は、Gクラス分類部106−1から出力されたクラスコードに対応づけられて記憶されている係数を読み出してG積和演算部108−1に供給する。なお、G係数メモリ107−1には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
G予測タップ選択部103−1は、G成分の画像を生成するため必要となる予測タップであるG予測タップを入力画像から選択して取得する。G予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
G予測タップ選択部103−1により選択されたG予測タップは、G変換部105−12に供給される。G変換部105−12は、G予測タップを構成する各画素値にG変換処理を施すものとされる。
G変換部105−12によるG変換処理は、G変換部105−11によるものと同様である。すなわち、上述した式(1)乃至式(3)により、G予測タップを構成する画素値が入力値Gである場合、変換値G´を演算し、G予測タップを構成する画素値が入力値Rである場合、変換値R´を演算し、G予測タップを構成する画素値が入力値Bである場合、変換値B´を演算する。
G変換部105−12から出力されるG予測タップは、G積和演算部108−1に供給される。なお、G変換部105−12から出力されるG予測タップは、上述した式(1)乃至式(3)により演算された変換値G´、変換値R´、および変換値B´により構成されることになる。
G積和演算部108−1は、予め設定された線形一次式において、G変換部105−12から出力されるG予測タップを変数として代入し、G係数メモリ107−1から供給された係数を用いて予測値の演算を行う。すなわち、G積和演算部108−1は、出力画像となるG成分の画像(以下、G出力画像という)における注目画素の画素値を、G予測タップに基づいて予測演算する。
ここで、出力画像の注目画素の画素値の予測演算について説明する。
いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第1の画像データとし、図5の枠14に配置されたG成分のイメージセンサから出力される画像データを第2の画像データとする。そして、第1の画像データの画素値から第2の画像データの画素値を所定の予測演算により求めることを考える。
所定の予測演算として、例えば、線形1次予測演算を採用することとすると、第2の画像データ(以下、適宜、第2の画像の画素という)の画素の画素値yは、次の線形1次式によって求められることになる。
Figure 2014200009
但し、式(4)において、xnは、第2の画像の画素yについての予測タップを構成する、n番目の第1の画像データの画素(以下、適宜、第1の画像の画素という)の画素値を表し、wnは、n番目の第1の画像の画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(4)では、予測タップが、N個の第1の画像の画素x1,x2,・・・,xNで構成されるものとしてある。
ここで、第2の画像の画素の画素値yは、式(4)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第kサンプルの第2の画像の画素の画素値の真値をykと表すとともに、式(4)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
Figure 2014200009
いま、式(5)の予測値yk’は、式(4)にしたがって求められるため、式(5)のyk’を、式(4)にしたがって置き換えると、次式が得られる。
Figure 2014200009
但し、式(6)において、xn,kは、第kサンプルの第2の画像の画素についての予測タップを構成するn番目の第1の画像の画素を表す。
式(6)(または式(5))の予測誤差ekを0とするタップ係数wnが、第2の画像の画素を予測するのに最適なものとなるが、全ての第2の画像の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
Figure 2014200009
但し、式(7)において、Kは、第2の画像の画素ykと、その第2の画像の画素ykについての予測タップを構成する第1の画像の画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(7)の自乗誤差の総和Eの最小値(極小値)は、式(8)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
Figure 2014200009
そこで、上述の式(6)をタップ係数wnで偏微分すると、次式が得られる。
Figure 2014200009
式(8)と(9)から、次式が得られる。
Figure 2014200009
式(10)のekに、式(6)を代入することにより、式(10)は、式(11)に示す正規方程式で表すことができる。
Figure 2014200009
式(11)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
式(11)の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。例えば、このようにして求められたタップ係数wnが、G係数メモリ107−1にG係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。
例えば、式(4)の画素x1,x2,・・・,xNに、G変換部105−12の処理を経たG予測タップを代入し、式(4)におけるタップ係数wnが、G係数メモリ107−1から供給され、G積和演算部108−1で式(4)の演算が行われることによって、出力画像の注目画像の画素値が予測される。
このように、各注目画素のそれぞれについて予測することにより、G出力画像を得ることができる。
Rクラスタップ選択部102−2は、R成分の画像を生成するため必要となるクラスタップであるRクラスタップを入力画像から選択して取得する。Rクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
Rクラスタップ選択部102−2により選択されたRクラスタップは、R変換部105−21に供給される。R変換部105−21は、Rクラスタップを構成する各画素値にR変換処理を施すものとされる。
R変換処理は、例えば、次のようにして行われる。Rクラスタップを構成する画素値が入力値Gである場合、変換値G´を演算し、Rクラスタップを構成する画素値が入力値Rである場合、変換値R´を演算し、Rクラスタップを構成する画素値が入力値Bである場合、変換値B´を演算する。
ここで、変換値G´、変換値R´、および変換値B´は、それぞれ式(12)乃至式(14)により演算される。
Figure 2014200009
・・・(12)
Figure 2014200009
・・・(13)
Figure 2014200009
・・・(14)
このようなR変換処理が施されることにより、Rクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のGの画素およびBの画素のそれぞれの画素値が、Rの画素の画素値を基準としてオフセットされることになり、Rクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
図6に戻って、R変換部105−21から出力されるRクラスタップは、Rクラス分類部106−2に供給される。なお、R変換部105−21から出力されるRクラスタップは、上述した式(12)乃至式(14)により演算された変換値G´、変換値R´、および変換値B´により構成されることになる。
Rクラス分類部106−2は、供給されたRクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、R係数メモリ107−2に出力される。
R係数メモリ107−2は、Rクラス分類部106−2から出力されたクラスコードに対応づけられて記憶されている係数を読み出してR積和演算部108−2に供給する。なお、R係数メモリ107−2には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
R予測タップ選択部103−2は、R成分の画像を生成するため必要となる予測タップであるR予測タップを入力画像から選択して取得する。R予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
R予測タップ選択部103−2により選択されたR予測タップは、R変換部105−22に供給される。R変換部105−22は、R予測タップを構成する各画素値にR変換処理を施すものとされる。
R変換部105−22によるR変換処理は、R変換部105−21によるものと同様である。すなわち、上述した式(12)乃至式(14)により、R予測タップを構成する画素値が入力値Gである場合、変換値G´を演算し、R予測タップを構成する画素値が入力値Rである場合、変換値R´を演算し、R予測タップを構成する画素値が入力値Bである場合、変換値B´を演算する。
R変換部105−22から出力されるR予測タップは、R積和演算部108−2に供給される。なお、R変換部105−21から出力されるR予測タップは、上述した式(12)乃至式(14)により演算された変換値G´、変換値R´、および変換値B´により構成されることになる。
R積和演算部108−2は、予め設定された線形一次式において、R変換部105−22から出力されるR予測タップを変数として代入し、R係数メモリ107−2から供給された係数を用いて予測値の演算を行う。すなわち、R積和演算部108−2は、出力画像となるR成分の画像(以下、R出力画像という)における注目画素の画素値を、R予測タップに基づいて予測演算する。
例えば、式(4)の画素x1,x2,・・・,xNに、R変換部105−22の処理を経たR予測タップを代入し、式(4)におけるタップ係数wnが、R係数メモリ107−2から供給され、R積和演算部108−2で式(4)の演算が行われることによって、出力画像の注目画像の画素値が予測される。
このように、各注目画素のそれぞれについて予測することにより、R出力画像を得ることができる。
Bクラスタップ選択部102−3は、B成分の画像を生成するため必要となるクラスタップであるBクラスタップを入力画像から選択して取得する。Bクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
Bクラスタップ選択部102−3により選択されたBクラスタップは、B変換部105−31に供給される。B変換部105−31は、Bクラスタップを構成する各画素値にB変換処理を施すものとされる。
B変換処理は、例えば、次のようにして行われる。Bクラスタップを構成する画素値が入力値Gである場合、変換値G´を演算し、Bクラスタップを構成する画素値が入力値Rである場合、変換値R´を演算し、Bクラスタップを構成する画素値が入力値Bである場合、変換値B´を演算する。
ここで、変換値G´、変換値R´、および変換値B´は、それぞれ式(15)乃至式(17)により演算される。
Figure 2014200009
・・・(15)
Figure 2014200009
・・・(16)
Figure 2014200009
・・・(17)
このようなB変換処理が施されることにより、Bクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のGの画素およびRの画素のそれぞれの画素値が、Bの画素の画素値を基準としてオフセットされることになり、Bクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。
図6に戻って、B変換部105−31から出力されるBクラスタップは、Bクラス分類部106−3に供給される。なお、B変換部105−31から出力されるBクラスタップは、上述した式(15)乃至式(17)により演算された変換値G´、変換値R´、および変換値B´により構成されることになる。
Bクラス分類部106−3は、供給されたBクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、B係数メモリ107−3に出力される。
B係数メモリ107−3は、Bクラス分類部106−3から出力されたクラスコードに対応づけられて記憶されている係数を読み出してB積和演算部108−3に供給する。なお、B係数メモリ107−3には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
B予測タップ選択部103−3は、B成分の画像を生成するため必要となる予測タップであるB予測タップを入力画像から選択して取得する。B予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
B予測タップ選択部103−3により選択されたB予測タップは、B変換部105−32に供給される。B変換部105−32は、B予測タップを構成する各画素値にB変換処理を施すものとされる。
B変換部105−32によるB変換処理は、B変換部105−31によるものと同様である。すなわち、上述した式(15)乃至式(17)により、B予測タップを構成する画素値が入力値Gである場合、変換値G´を演算し、B予測タップを構成する画素値が入力値Rである場合、変換値R´を演算し、B予測タップを構成する画素値が入力値Bである場合、変換値B´を演算する。
B変換部105−32から出力されるB予測タップは、B積和演算部108−3に供給される。なお、B変換部105−31から出力されるB予測タップは、上述した式(15)乃至式(17)により演算された変換値G´、変換値R´、および変換値B´により構成されることになる。
B積和演算部108−3は、予め設定された線形一次式において、B変換部105−32から出力されるB予測タップを変数として代入し、B係数メモリ107−3から供給された係数を用いて予測値の演算を行う。すなわち、B積和演算部108−3は、出力画像となるB成分の画像(以下、B出力画像という)における注目画素の画素値を、B予測タップに基づいて予測演算する。
例えば、式(4)の画素x1,x2,・・・,xNに、B変換部105−32の処理を経たB予測タップを代入し、式(4)におけるタップ係数wnが、B係数メモリ107−3から供給され、B積和演算部108−3で式(4)の演算が行われることによって、出力画像の注目画像の画素値が予測される。
このように、各注目画素のそれぞれについて予測することにより、B出力画像を得ることができる。
<学習装置の構成>
次に、G係数メモリ107−1、R係数メモリ107−2、およびB係数メモリ107−3に記憶される係数の学習について説明する。
図11は、図6の画像処理装置100に対応する学習装置の構成例を示すブロック図である。
図11に示される学習装置200は、注目画素選択部201、生徒画像生成部202、代表RGB演算部203、クラスタップ選択部204、予測タップ選択部205、色変換部206−1、色変換部206−2、クラス分類部207、正規方程式加算部208、および係数データ生成部209を備えている。
学習装置200において係数の学習を行う場合、例えば、図5の枠14に、R成分,G成分およびB成分のそれぞれに対応する3つのイメージセンサを配置して得られたG成分の画像、R成分の画像、およびB成分の画像を教師画像として用意する。
生徒画像生成部202は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。
注目画素選択部201は、教師画像の中の任意の1画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表RGB演算部203、クラスタップ選択部204、および、予測タップ選択部205に供給されるようになされている。
代表RGB演算部203は、生徒画像の中の指定エリア内の画素について、図6の代表RGB演算部101の場合と同様に、代表値Dg、代表値Dr、代表値Dbを算出する。なお、指定エリアは、注目画素選択部201により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。
クラスタップ選択部204は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、注目画素選択部201が、教師画像の中のG成分の画像から注目画素を選択した場合、クラスタップ選択部204は、Gクラスタップを選択するようになされている。また、注目画素選択部201が、教師画像の中のR成分の画像から注目画素を選択した場合、クラスタップ選択部204は、Rクラスタップを選択し、注目画素選択部201が、教師画像の中のB成分の画像から注目画素を選択した場合、クラスタップ選択部204は、Bクラスタップを選択するようになされている。
予測タップ選択部205は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、注目画素選択部201が、教師画像の中のG成分の画像から注目画素を選択した場合、予測タップ選択部205は、G予測タップを選択するようになされている。また、注目画素選択部201が、教師画像の中のR成分の画像から注目画素を選択した場合、予測タップ選択部205は、R予測タップを選択し、注目画素選択部201が、教師画像の中のB成分の画像から注目画素を選択した場合、予測タップ選択部205は、B予測タップを選択するようになされている。
色変換部206−1は、クラスタップ選択部204により取得されたクラスタップに所定の変換処理を施す。ここで、クラスタップ選択部204によりGクラスタップが取得された場合、色変換部206−1は、G変換処理を施すようになされている。また、クラスタップ選択部204によりRクラスタップが取得された場合、色変換部206−1は、R変換処理を施し、クラスタップ選択部204によりBクラスタップが取得された場合、色変換部206−1は、B変換処理を施すようになされている。
色変換部206−1の処理を経たクラスタップは、クラス分類部207に供給される。
色変換部206−2は、予測タップ選択部205により取得された予測タップに所定の変換処理を施す。ここで、予測タップ選択部205によりG予測タップが取得された場合、色変換部206−2は、G変換処理を施すようになされている。また、予測タップ選択部205によりR予測タップが取得された場合、色変換部206−2は、R変換処理を施し、予測タップ選択部205によりB予測タップが取得された場合、色変換部206−2は、B変換処理を施すようになされている。
色変換部206−2の処理を経た予測タップは、正規方程式加算部208に供給される。
クラス分類部207は、供給されたクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部208に供給される。
正規方程式加算部208は、例えば、上述した式(4)に示される線形1次式を生成する。このとき、色変換部の処理を経たクラスタップが式(4)の画素x1,x2,・・・,xNとして用いられる。
注目画素選択部201が新たな注目画素を選択すると、上述した場合と同様にして新たに線形1次式が生成されることになる。正規方程式加算部208は、このように生成される線形1次式をクラスコード毎に加算し、式(11)の正規方程式を生成する。
係数データ生成部209は、式(11)の正規方程式を、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部209は、注目画素が設定された教師画像の種類(G成分の画像、R成分の画像、または、B成分の画像)に応じて、得られたタップ係数wnを、G出力画像の予測演算を行うために必要となるG係数、R出力画像の予測演算を行うために必要となるR係数、または、B出力画像の予測演算を行うために必要となるB係数として出力する。
このようにして、得られたクラスコード毎のG係数、R係数、およびB係数が、図6のG係数メモリ107−1、R係数メモリ107−2、B係数メモリ107−3に記憶されることになる。
このようにして、係数の学習が行われる。
<クラスタップまたは予測タップの構造の例>
図12は、図6の画像処理装置100、または、図11の学習装置200において取得されるクラスタップまたは予測タップの構造の例を示す図である。ここで、クラスタップは、上述したGクラスタップ、Rクラスタップ、およびBクラスタップを総称しており、予測タップは、上述したG予測タップ、R予測タップ、およびB予測タップを総称している。
図12の例では、出力画像の注目画素に対応する入力画像の画素(中心画素)を中心とした9(=3×3)個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。
図12Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
図12Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
図12Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
図12Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。
なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Gクラスタップ、Rクラスタップ、およびBクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、G予測タップ、R予測タップ、およびB予測タップの構造が同じであってもよいし、異なってもよい。
<画像処理装置による画像処理>
図13は、図6の画像処理装置100による画像処理の例を説明するフローチャートである。
ステップS21において、画像処理の対象となる画像(入力画像)が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップS21において、画像が入力されたと判定された場合、処理は、ステップS22に進む。
なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Rの色フィルタが配置された画素からは、R成分の画像信号は得られるが、G成分およびB成分の画像信号は得られない。同様に、Gの画素からは、G成分の画像信号のみが得られ、R成分およびB成分の画像信号は得られず、Bの画素からは、B成分の画像信号のみが得られ、R成分およびG成分の画像信号は得られない。
ステップS22において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。
ステップS23において、代表RGB演算部101は、図14を参照して後述する代表RGB演算処理を実行する。これにより、上述した代表値Dg、代表値Dr、および代表値Dbが演算される。
ステップS24において、Gクラスタップ選択部102−1、Rクラスタップ選択部102−2、または、Bクラスタップ選択部102−3は、それぞれGクラスタップ、Rクラスタップ、または、Bクラスタップを取得する。
なお、G出力画像を生成する場合は、Gクラスタップが取得され、R出力画像を生成する場合は、Rクラスタップが取得され、B出力画像を生成する場合は、Bクラスタップが取得される。これ以降は、説明を簡単にするため、G出力画像を生成する場合について説明する。
ステップS25において色変換が行われる。例えば、G出力画像を生成する場合、G変換部105−11がG変換を行う。このとき、上述した式(1)乃至式(3)により、変換値G´、変換値R´、および変換値B´が演算される。
ステップS26においてクラス分類が行われる。例えば、G出力画像を生成する場合、Gクラス分類部106−1が、供給されたGクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成することでクラス分類する。
ステップS27において、予測タップが取得される。例えば、G出力画像を生成する場合、G予測タップ取得部103−1がG予測タップを取得する。
ステップS28において、色変換が行われる。例えば、G出力画像を生成する場合、G変換部105−12がG変換を行う。このとき、上述した式(1)乃至式(3)により、変換値G´、変換値R´、および変換値B´が演算される。
ステップS29において、係数が読み出される。例えば、G出力画像を生成する場合、G係数メモリ107−1から、ステップS26の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。
ステップS30において、注目画素値が予測される。例えば、G出力画像を生成する場合、式(4)の画素x1,x2,・・・,xNに、ステップS28の処理で色変換されたG予測タップを代入し、式(4)におけるタップ係数wnとして、ステップS29の処理で読み出された係数が供給され、G積和演算部108−1が式(4)の演算を行うことによって、出力画像の注目画像の画素値が予測される。
ステップS31において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップS22に戻り、それ以降の処理が繰り返し実行される。
ステップS31において、次の注目画素がないと判定された場合、処理は終了する。
このようにして、画像生成処理が実行される。
<代表RGB演算処理>
次に、図14のフローチャートを参照して、図13のステップS23の代表RGB演算処理の詳細な例について説明する。
ステップS41において、代表RGB演算部101は、入力画像の中の指定エリアにおいて、R成分の画素とB成分の画素の補間値gを算出する。このとき、例えば、図8に示されるように、指定エリア内の中心画素の周囲(上下左右)の4つのGの画素である画素G1乃至画素G4の入力値G1乃至入力値G4を平均することにより、中心画素の画素位置における補間されたG成分の値である補間値gを算出する。
ステップS42において、代表RGB演算部101は、代表値Dgを算出する。このとき、指定エリア内の全てのGの画素の入力値GとステップS41で算出された補間値gとの平均値が代表値Dgとして算出される。
ステップS43において、代表RGB演算部101は、G成分の画素の補間値rを算出する。例えば、図8の画素G1または画素G4に示される位置の補間値rを算出する場合、図9に示されるように、この場合、Gの画素の左右両隣に位置する画素R1と画素R2の平均値が補間値rとされる。
これにより、指定エリア内のGの画素の画素位置では、入力値Gおよび補間値rを得ることができ、指定エリア内のRの画素の画素位置では、入力値Rおよび補間値gを得ることができる。
ステップS44において、代表RGB演算部101は、代表値Drを算出する。このとき、各画素位置において、(補間値r−入力値G)および(入力値R−補間値g)が算出され、算出されたそれぞれの(補間値r−入力値G)および(入力値R−補間値g)の平均値に、代表値Dgを加算した値として代表値Drが算出される。
ステップS45において、代表RGB演算部101は、G成分の画素の補間値bを算出する。例えば、図8の画素G1または画素G4に示される位置の補間値bを算出する場合、図10に示されるように、Gの画素の上下両隣に位置する画素B1と画素B2の平均値が補間値bとされる。
これにより、指定エリア内のGの画素の画素位置では、入力値Gおよび補間値bを得ることができ、指定エリア内のBの画素の画素位置では、入力値Bおよび補間値gを得ることができる。
ステップS46において、代表RGB演算部101は、代表値Dbを算出する。このとき、各画素位置において、(補間値b−入力値G)および(入力値B−補間値g)が算出され、算出されたそれぞれの(補間値b−入力値G)および(入力値B−補間値g)の平均値に、代表値Dgを加算した値として代表値Dbが算出される。
このようにして、代表RGB演算処理が実行される。
<学習装置による係数学習処理>
次に、図15のフローチャートを参照して、図11の学習装置200による係数学習処理の例について説明する。
ステップS61において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップS61において、教師画像が入力されたと判定された場合、処理は、ステップS62に進む。
なお、上述したように、教師画像は、例えば、図5の枠14に、R成分,G成分およびB成分のそれぞれに対応する3つのイメージセンサを配置して得られたG成分の画像、R成分の画像、およびB成分の画像とされる。
ステップS62において、生徒画像生成部202は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。
ステップS63において、注目画素選択部201は、教師画像の中の任意の1画素を注目画素として選択(設定)する。これにより、生徒画像の中の中心画素が定まることになる。
ステップS64において、代表RGB演算部203は、図14のフローチャートを参照して上述した代表RGB演算処理を実行する。これにより、代表値Dg、代表値Dr、代表値Dbが算出される。
ステップS65において、クラスタップ選択部204は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。
ここで、注目画素選択部201が、教師画像の中のG成分の画像から注目画素を選択した場合、クラスタップ選択部204は、Gクラスタップを選択するようになされている。また、注目画素選択部201が、教師画像の中のR成分の画像から注目画素を選択した場合、クラスタップ選択部204は、Rクラスタップを選択し、注目画素選択部201が、教師画像の中のB成分の画像から注目画素を選択した場合、クラスタップ選択部204は、Bクラスタップを選択するようになされている。
ステップS66において、色変換部206−1は、ステップS65の処理で取得されたクラスタップに所定の変換処理を施す。
ここで、クラスタップ選択部204によりGクラスタップが取得された場合、色変換部206−1は、G変換処理を施すようになされている。また、クラスタップ選択部204によりRクラスタップが取得された場合、色変換部206−1は、R変換処理を施し、クラスタップ選択部204によりBクラスタップが取得された場合、色変換部206−1は、B変換処理を施すようになされている。
ステップS67において、クラス分類部207は、供給されたクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部208に供給される。
ステップS68において、予測タップ選択部205は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。
ここで、注目画素選択部201が、教師画像の中のG成分の画像から注目画素を選択した場合、予測タップ選択部205は、G予測タップを選択するようになされている。また、注目画素選択部201が、教師画像の中のR成分の画像から注目画素を選択した場合、予測タップ選択部205は、R予測タップを選択し、注目画素選択部201が、教師画像の中のB成分の画像から注目画素を選択した場合、予測タップ選択部205は、B予測タップを選択するようになされている。
ステップS69において、色変換部206−2は、ステップS68の処理で取得された予測タップに所定の変換処理を施す。
ここで、予測タップ選択部205によりG予測タップが取得された場合、色変換部206−2は、G変換処理を施すようになされている。また、予測タップ選択部205によりR予測タップが取得された場合、色変換部206−2は、R変換処理を施し、予測タップ選択部205によりB予測タップが取得された場合、色変換部206−2は、B変換処理を施すようになされている。
ステップS70において、正規方程式加算部208は、正規方程式の足し込みを行う。
上述したように、正規方程式加算部208は、例えば、上述した式(4)に示される線形1次式を生成し、色変換部の処理を経たクラスタップが式(4)の画素x1,x2,・・・,xNとして用いられる。そして、正規方程式加算部208は、このようにして生成した線形1次式を、ステップS67の処理で生成されたクラスコード毎に足し込んで、式(11)の正規方程式を生成する。
ステップS71において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップS63に戻り、それ以降の処理が繰り返し実行される。
一方、ステップS71において、次の注目画素がないと判定された場合、処理は、ステップS72に進む。
ステップS72において、係数データ生成部209は、係数を算出する。
このとき、上述したように、係数データ生成部209は、式(11)の正規方程式を、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解く。そして、係数データ生成部209は、注目画素が設定された教師画像の種類(G成分の画像、R成分の画像、または、B成分の画像)に応じて、得られたタップ係数wnを、G出力画像の予測演算を行うために必要となるG係数、R出力画像の予測演算を行うために必要となるR係数、または、B出力画像の予測演算を行うために必要となるB係数として出力する。
このようにして、得られたクラスコード毎のG係数、R係数、およびB係数が、図6のG係数メモリ107−1、R係数メモリ107−2、B係数メモリ107−3に記憶され、図13のステップS29の処理で読み出されることになる。
このようにして、係数学習処理が実行される。
<2.第2の実施の形態>
ところで、図6を参照して上述した実施の形態では、G出力画像、R出力画像、およびB出力画像が同時に生成され得るものとされていた。しかしながら、ベイヤー配列においては、単位面積あたりのGの画素数が多いため、予測精度が高い。また、カラーフィルタの特性上、Gの方がRまたはBと比較してSN比が良好となる。このため、例えば、先にG出力画像を生成してから、その生成したG出力画像を用いてR出力画像とB出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度(周波数特性)の面でより品質の高い画像処理を行うことが可能となる。
また、ジッパーノイズは、入力画像において局所的に色差変化のある箇所で発生するため、各予測タップにおいてG成分の画素のみを用いることで、R成分およびB成分の画素値の局所的な変化の影響を受けないようにすることができる。このようにすることで、中心画素の周辺でR成分またはB成分の画素値に局所的な変化が発生しても、G成分の画素値の変化が少なければ、出力画像において発生するジッパーノイズを低減することが可能となる。
<画像処理装置の構成>
図16は、本技術を適用した画像処理装置の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置150は、先にG出力画像を生成してから、その生成したG出力画像を用いてR出力画像とB出力画像を生成するようになされている。また、同図に示される画像処理装置150では、出力画像において発生するジッパーノイズを低減する対策として、各予測タップがG成分の画素のみから構成されるようになされている。
図16における代表RGB演算部151は、図6の代表RGB演算部101と同様に構成されるものなので詳細な説明は省略する。
Gクラスタップ選択部152−1は、G成分の画像を生成するため必要となるクラスタップであるGクラスタップを入力画像から選択して取得する。Gクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
Gクラスタップ選択部152−1により選択されたGクラスタップは、G変換部155−11に供給される。G変換部155−11は、Gクラスタップを構成する各画素値にG変換処理を施すものとされる。
G変換部155−11によるG変換処理は、図6のG変換部105−11によるものと同様である。すなわち、上述した式(1)乃至式(3)により、Gクラスタップを構成する画素値が入力値Gである場合、変換値G´を演算し、Rクラスタップを構成する画素値が入力値Rである場合、変換値R´を演算し、Rクラスタップを構成する画素値が入力値Bである場合、変換値B´を演算する。
G変換部155−11から出力されるGクラスタップは、Gクラス分類部156−1に供給される。
Gクラス分類部156−1は、供給されたGクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、G係数メモリ157−1に出力される。
G係数メモリ157−1は、Gクラス分類部156−1から出力されたクラスコードに対応づけられて記憶されている係数を読み出してG積和演算部158−1に供給する。なお、G係数メモリ157−1には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
なお、図16の構成の画像処理装置150を用いる場合、G係数メモリ157−1に記憶される係数の学習の際には、例えば、図5の枠14に、G成分に対応するイメージセンサを配置して得られたG成分の画像を教師画像としてG出力画像を生成するための学習が行われるものとする。
G予測タップ選択部153−1は、G成分の画像を生成するため必要となる予測タップであるG予測タップを入力画像から選択して取得する。G予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図6の場合とは異なり、図16の場合、G予測タップ選択部153−1により入力画像からG成分の画素のみが選択される。従って、いまの場合、G予測タップは、全てG成分の画素により構成されていることになる。
G予測タップ選択部153−1により選択されたG予測タップは、G変換部155−12に供給される。G変換部155−12は、G予測タップを構成する各画素値にG変換処理を施すものとされる。
ここでのG変換処理は、例えば、次のようにして行われる。
図16においても、G予測タップ選択部153−1により入力画像からG予測タップが選択されるが、図6の場合とは異なり、G予測タップは、全てG成分の画素により構成されていることになる。従って、G変換部155−12は、G予測タップを構成する各画素値に上述の式(1)の演算を施して変換値G´を算出する。G変換部155−12から出力されるG予測タップは、G積和演算部158−1に供給される。
G積和演算部158−1は、図6のG積和演算部108−1と同様に構成されるものであるが、G出力画像における注目画素の画素値を、G予測タップに基づいて予測演算する。
このように、各注目画素のそれぞれについて予測することにより、G出力画像を得ることができる。但し、ここで得られるG出力画像は、予め設定された線形一次式において、G成分のみから構成されるG予測タップを変数として代入し、R,G,Bの各成分から構成されるGクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。
このようにして得られるG出力画像は、G予測タップにおいてG成分の画素のみを用いているため、R成分およびB成分の画素値の局所的な変化の影響を受けにくい。また、GクラスタップにおいてはR,G,Bの各成分の画素を用いているため、R成分およびB成分の画素をクラスコードに対応づけることができるので、G予測タップがG成分の画素のみから構成されるようにしても、G出力画像の解像度が低下することはない。
また、図16の構成の場合、図6の場合とは異なり、入力画像が遅延部161−1を介して、Rクラスタップ選択部152−2およびBクラスタップ選択部152−3に供給されるようになされている。また、図16の構成の場合、図6の場合とは異なり、代表RGB演算部151から出力されるデータが、遅延部161−2を介して、R変換部155−21およびR変換部155−22、並びに、B変換部155−31およびB変換部155−32に供給されるようになされている。
また、図16の構成の場合、図6の場合とは異なり、G積和演算部158−1から出力されるデータが、R予測タップ選択部153−2およびB予測タップ選択部153−3に供給されるようになされている。
Rクラスタップ選択部152−2は、R成分の画像を生成するため必要となるクラスタップであるRクラスタップを入力画像から選択して取得する。Rクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
Rクラスタップ選択部152−2により選択されたRクラスタップは、R変換部155−21に供給される。R変換部155−21は、Rクラスタップを構成する各画素値にR変換処理を施すものとされる。
R変換部155−21によるR変換処理は、図6のR変換部105−21によるものと同様である。すなわち、上述した式(12)乃至式(14)により、Rクラスタップを構成する画素値が入力値Gである場合、変換値G´を演算し、Rクラスタップを構成する画素値が入力値Rである場合、変換値R´を演算し、Rクラスタップを構成する画素値が入力値Bである場合、変換値B´を演算する。
R変換部155−21から出力されるRクラスタップは、Rクラス分類部156−2に供給される。
Rクラス分類部156−2は、供給されたRクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、R係数メモリ157−2に出力される。
R係数メモリ157−2は、Rクラス分類部156−2から出力されたクラスコードに対応づけられて記憶されている係数を読み出してR積和演算部158−2に供給する。なお、R係数メモリ157−2には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
なお、図16の構成の画像処理装置150を用いる場合、R係数メモリ157−2に記憶される係数の学習の際には、例えば、図5の枠14に、R成分に対応するイメージセンサを配置して得られたR成分の画像を教師画像としてR出力画像を生成するための学習が行われるものとする。
R予測タップ選択部153−2は、R成分の画像を生成するため必要となる予測タップであるR予測タップをG出力画像から選択して取得する。R予測タップは、例えば、出力画像の注目画素に対応する位置のG出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図6の場合とは異なり、図16の場合、R予測タップ選択部153−2によりG出力画像からR予測タップが選択される。従って、いまの場合、R予測タップは、全てG成分の画素により構成されていることになる。
R予測タップ選択部153−2により選択されたR予測タップは、R変換部155−22に供給される。R変換部155−22は、R予測タップを構成する各画素値にR変換処理を施すものとされる。
ここでのR変換処理は、例えば、次のようにして行われる。
図6の場合とは異なり、図16の場合、R予測タップ選択部153−2によりG出力画像からR予測タップが選択される。従って、いまの場合、R予測タップは、全てG成分の画素により構成されていることになる。いま、G出力画像のG成分の画素を予測値Gpで表すことにする。
Figure 2014200009
・・・(18)
このようなR変換処理が施されることにより、R予測タップを構成する各画素値の相関性を高めることができる。すなわち、G出力画像の画素値が、入力画像のRの画素の画素値を基準としてオフセットされることになり、R予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。
R変換部155−22から出力されるR予測タップは、R積和演算部158−2に供給される。なお、R変換部155−21から出力されるR予測タップは、上述した式(18)により演算された変換値Gp´により構成されることになる。
R積和演算部158−2は、図6のR積和演算部108−2と同様に構成されるものであるが、R出力画像における注目画素の画素値を、R予測タップに基づいて予測演算する。
このように、各注目画素のそれぞれについて予測することにより、R出力画像を得ることができる。但し、ここで得られるR出力画像は、予め設定された線形一次式において、G成分のみから構成されるR予測タップを変数として代入し、R,G,Bの各成分から構成されるRクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。
このようにして得られるR出力画像は、R予測タップにおいてG成分の画素のみを用いているため、R成分およびB成分の画素値の局所的な変化の影響を受けにくい。また、RクラスタップにおいてはR,G,Bの各成分の画素を用いているため、R成分およびB成分の画素をクラスコードに対応づけることができるので、R予測タップがG成分の画素のみから構成されるようにしても、R出力画像の解像度が低下することはない。
また、図16の構成の場合、Bクラスタップ選択部152−3は、B成分の画像を生成するため必要となるクラスタップであるBクラスタップを入力画像から選択して取得する。Bクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。
Bクラスタップ選択部152−3により選択されたBクラスタップは、B変換部155−31に供給される。B変換部155−31は、Bクラスタップを構成する各画素値にB変換処理を施すものとされる。
B変換部155−31によるB変換処理は、図6のB変換部105−31によるものと同様である。すなわち、上述した式(15)乃至式(17)により、Rクラスタップを構成する画素値が入力値Gである場合、変換値G´を演算し、Rクラスタップを構成する画素値が入力値Rである場合、変換値R´を演算し、Rクラスタップを構成する画素値が入力値Bである場合、変換値B´を演算する。
B変換部155−31から出力されるBクラスタップは、Bクラス分類部156−3に供給される。
Bクラス分類部156−3は、供給されたBクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成する。ここで生成されたクラスコードは、B係数メモリ157−3に出力される。
B係数メモリ157−3は、Bクラス分類部156−3から出力されたクラスコードに対応づけられて記憶されている係数を読み出してB積和演算部158−3に供給する。なお、B係数メモリ157−3には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
なお、図16の構成の画像処理装置150を用いる場合、B係数メモリ157−3に記憶される係数の学習の際には、例えば、図5の枠14に、B成分に対応するイメージセンサを配置して得られたB成分の画像を教師画像としてB出力画像を生成するための学習が行われるものとする。
B予測タップ選択部153−3は、B成分の画像を生成するため必要となる予測タップであるB予測タップをG出力画像から選択して取得する。B予測タップは、例えば、出力画像の注目画素に対応する位置のG出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図6の場合とは異なり、図16の場合、B予測タップ選択部153−3によりG出力画像からB予測タップが選択される。従って、いまの場合、B予測タップは、全てG成分の画素により構成されていることになる。
B予測タップ選択部153−3により選択されたB予測タップは、B変換部155−32に供給される。B変換部155−32は、B予測タップを構成する各画素値にB変換処理を施すものとされる。
ここでのB変換処理は、例えば、次のようにして行われる。
図6の場合とは異なり、図16の場合、B予測タップ選択部153−3によりG出力画像からB予測タップが選択される。従って、いまの場合、B予測タップは、全てG成分の画素により構成されていることになる。いま、G出力画像のG成分の画素を予測値Gpで表すことにする。
Figure 2014200009
・・・(19)
このようなB変換処理が施されることにより、B予測タップを構成する各画素値の相関性を高めることができる。すなわち、G出力画像の画素値が、入力画像のBの画素の画素値を基準としてオフセットされることになり、B予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。
B変換部155−32から出力されるB予測タップは、B積和演算部158−3に供給される。なお、B変換部155−32から出力されるB予測タップは、上述した式(19)により演算された変換値Gp´により構成されることになる。
B積和演算部158−3は、図6のB積和演算部108−3と同様に構成されるものであるが、B出力画像における注目画素の画素値を、B予測タップに基づいて予測演算する。
このように、各注目画素のそれぞれについて予測することにより、B出力画像を得ることができる。但し、ここで得られるB出力画像は、予め設定された線形一次式において、G成分のみから構成されるB予測タップを変数として代入し、R,G,Bの各成分から構成されるBクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。
このようにして得られるB出力画像は、B予測タップにおいてG成分の画素のみを用いているため、R成分およびB成分の画素値の局所的な変化の影響を受けにくい。また、BクラスタップにおいてはR,G,Bの各成分の画素を用いているため、R成分およびB成分の画素をクラスコードに対応づけることができるので、B予測タップがG成分の画素のみから構成されるようにしても、B出力画像の解像度が低下することはない。
<クラスタップまたは予測タップの構造の例>
(Gクラスタップの構造)
図17は、図16の画像処理装置150において取得されるGクラスタップの構造の例を示す図である。
図17の例では、G出力画像の注目画素に対応する入力画像の画素(中心画素)を中心とした9(=3×3)個の画素により構成されるGクラスタップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、Gクラスタップの構造の例が示されている。
図17Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のGクラスタップの例を示す図である。
図17Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のGクラスタップの例を示す図である。
図17Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のGクラスタップの例を示す図である。
図17Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のGクラスタップの例を示す図である。
(G予測タップの構造)
図18は、図16の画像処理装置150において取得されるG予測タップの構造の例を示す図である。
図18の例では、G出力画像の注目画素に対応する入力画素の画素(中心画素)を中心とした9(=3×3)個の画素のうち、G成分の画素のみから構成されるG予測タップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、G予測タップの構造の例が示されている。
図18Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のG予測タップの例を示す図である。
図18Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のG予測タップの例を示す図である。
図18Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のG予測タップの例を示す図である。
図18Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のG予測タップの例を示す図である。
なお、Gクラスタップは、R,G,Bの各成分の画素から構成され、G予測タップは、G成分の画素のみから構成されるものであれば、GクラスタップとG予測タップは同じ構造としてもよいし、異なる構造としてもよい。
(Rクラスタップの構造)
図19は、図16の画像処理装置150において取得されるRクラスタップの構造の例を示す図である。
図19の例では、R出力画像の注目画素に対応する入力画像の画素(中心画素)を中心とした十字型の5個の画素により構成されるRクラスタップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、Rクラスタップの構造の例が示されている。
図19Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のRクラスタップの例を示す図である。
図19Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のRクラスタップの例を示す図である。
図19Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のRクラスタップの例を示す図である。
図19Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のRクラスタップの例を示す図である。
(R予測タップの構造)
図20は、図16の画像処理装置150において取得されるR予測タップの構造の例を示す図である。同図に示されるように、R予測タップは、G出力画像から取得されるので、図中の円の中は、全てGpと記載されている。
図20の例では、R出力画像の注目画素に対応する入力画像の画素(中心画素)を中心とした十字型の5個の画素により構成されるR予測タップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、R予測タップの構造の例が示されている。
図20Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のR予測タップの例を示す図である。
図20Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のR予測タップの例を示す図である。
図20Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のR予測タップの例を示す図である。
図20Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のR予測タップの例を示す図である。
なお、RクラスタップとR予測タップは同じ構造としてもよいし、異なる構造としてもよい。
(Bクラスタップの構造)
図21は、図16の画像処理装置150において取得されるBクラスタップの構造の例を示す図である。
図21の例では、B出力画像の注目画素に対応する入力画像の画素(中心画素)を中心とした十字型の5個の画素により構成されるBクラスタップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、Bクラスタップの構造の例が示されている。
図21Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のBクラスタップの例を示す図である。
図21Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のBクラスタップの例を示す図である。
図21Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のBクラスタップの例を示す図である。
図21Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のBクラスタップの例を示す図である。
(B予測タップの構造)
図22は、図16の画像処理装置150において取得されるB予測タップの構造の例を示す図である。同図に示されるように、B予測タップは、G出力画像から取得されるので、図中の円の中は、全てGpと記載されている。
図22の例では、B出力画像の注目画素に対応する入力画像の画素(中心画素)を中心とした十字型の5個の画素により構成されるB予測タップが示されている。また、ここでは、4個の画素(R成分の画素1個、B成分の画素1個、G成分の画素2個)を単位として構成されるベイヤー配列の画素において、4個の単位画素のそれぞれを中心画素とする場合について、B予測タップの構造の例が示されている。
図22Aは、ベイヤー配列の画素におけるR成分の画素を中心画素とする場合のB予測タップの例を示す図である。
図22Bは、ベイヤー配列の画素におけるG成分の画素を中心画素とする場合のB予測タップの例を示す図である。
図22Cは、ベイヤー配列の画素における別のG成分の画素を中心画素とする場合のB予測タップの例を示す図である。
図22Dは、ベイヤー配列の画素におけるB成分の画素を中心画素とする場合のB予測タップの例を示す図である。
なお、BクラスタップとB予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Gクラスタップ、Rクラスタップ、およびBクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、G予測タップ、R予測タップ、およびB予測タップの構造が同じであってもよいし、異なってもよい。
以上のように、図16に示されるように画像処理装置を構成することで、例えば、図6の構成の場合と比較して、ノイズ量や解像度(周波数特性)の面でより品質の高い画像処理を行うことが可能となる。また、各予測タップにおいて、G成分の画素のみを用いることで、R成分およびB成分の画素値の局所的な変化の影響を受けにくくなるため、出力画像におけるジッパーノイズを低減することができる。その際に、各クラスタップにおいてはR,G,Bの各成分の画素を用いているため、R成分およびB成分の画素をクラスコードに対応づけることができるので、各予測タップがG成分の画素のみから構成されるようにしても、出力画像の解像度が低下することはない。
<画像処理装置の他の構成>
なお、図16の画像処理装置150において、Rクラスタップ選択部152−2は、入力画像からRクラスタップを選択すると説明したが、図23に示すように、G出力画像からRクラスタップを選択するようにしてもよい。この場合、Rクラスタップは、全てG成分の画素により構成されていることになるので、R変換部155−21によるR変換処理としては、G出力画像のG成分の画素を予測値Gpとすれば、上述した式(18)により変換値Gp´が演算されることになる。
また、図16の画像処理装置150において、Bクラスタップ選択部152−3は、入力画像からBクラスタップを選択すると説明したが、図23に示すように、G出力画像からBクラスタップを選択するようにしてもよい。この場合、Bクラスタップは、全てG成分の画素により構成されていることになるので、B変換部155−31によるB変換処理としては、G出力画像のG成分の画素を予測値Gpとすれば、上述した式(19)により変換値Gp´が演算されることになる。
<3.第3の実施の形態>
ところで、ジッパーノイズは、タップ内の画素の色差変化が大きい場合に発生する現象である。従って、各クラス分類部により生成されるクラスコードに、入力画像における色成分の変化の検出結果を含ませることで、ジッパーノイズを低減させる精度をさらに向上させることができる。
<画像処理装置の構成>
図24は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置180は、先にG出力画像を生成してから、その生成したG出力画像を用いてR出力画像とB出力画像を生成するようになされている。また、同図に示される画像処理装置180では、出力画像において発生するジッパーノイズを低減する対策として、各予測タップがG成分の画素のみから構成されるようになされている。さらに、図16の場合とは異なり、図24の場合、色変化検出部190が設けられており、出力画像において発生するジッパーノイズを低減する対策として、色変化検出部190による色成分の変化の検出結果がクラスコードに含まれるようになされている。
図24における代表RGB演算部181は、図16の代表RGB演算部151と同様に構成されるものなので詳細な説明は省略するが、代表RGB演算部181により演算された代表値Dr、代表値Dbおよび代表値Dgのうち、G成分の代表値Dgは、色変化検出部190にも供給される。
色変化検出部190は、入力画像から、R成分の色変化量およびB成分の色変化量を算出する。いま、R成分の色変化量をΔRで表すことにすると、色変化検出部190は、式(20)の演算を行うことで、ΔRを算出する。
Figure 2014200009
・・・(20)
但し、式(20)において、DRはダイナミックレンジを表している。また、Rは画素Rの入力値R、gは補間値g、Dgは代表値Dgをそれぞれ表している。これにより、G成分に対するR成分の変化量が求められる。
色変化検出部190は、ΔRの値が所定の閾値を超えるか否かを判定する。色変化検出部190は、例えば、ΔRの値が所定の閾値以上となる場合、R成分の色変化量が大きいと判定し、ΔRの値が所定の閾値未満となる場合には、R成分の色変化量が小さいと判定する。
また、B成分の色変化量をΔBで表すことにすると、色変化検出部190は、式(21)の演算を行うことで、ΔBを算出する。
Figure 2014200009
・・・(21)
但し、式(21)において、DRはダイナミックレンジを表している。また、Bは画素Bの入力値B、gは補間値g、Dgは代表値Dgをそれぞれ表している。これにより、G成分に対するB成分の変化量が求められる。
色変化検出部190は、ΔBの値が所定の閾値を超えるか否かを判定する。色変化検出部190は、例えば、ΔBの値が所定の閾値以上となる場合、B成分の色変化量が大きいと判定し、ΔBの値が所定の閾値未満となる場合には、B成分の色変化量が小さいと判定する。
このようにして求められた色変化の検出結果は、Gクラス分類部186−1、並びに、遅延部191−3を介して、Rクラス分類部186−2およびBクラス分類部186−3に供給されるようになされている。すなわち、いまの場合、色変化の検出結果としては、R成分の色変化量の大小のいずれかを示す情報と、B成分の色変化量の大小のいずれかを示す情報が含まれることになる。
図24において、G出力画像の生成に係る機能ブロックである、Gクラスタップ選択部182−1、G変換部185−11、Gクラス分類部186−1、G係数メモリ187−1、G予測タップ選択部183−1、G変換部185−12、およびG積和演算部188−1は、それぞれ図16のGクラスタップ選択部152−1、G変換部155−11、Gクラス分類部156−1、G係数メモリ157−1、G予測タップ選択部153−1、G変換部155−12、およびG積和演算部158−1と基本的に同様に構成されるものなので詳細な説明は省略する。
但し、Gクラス分類部186−1は、GクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部190による色変化の検出結果を示すコードが含まれることになる。なお、G係数メモリ187−1には、予め学習により求められた係数であって、G積和演算部158−1による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
なお、図24の構成の画像処理装置180を用いる場合、G係数メモリ187−1に記憶される係数の学習の際には、例えば、図5の枠14に、G成分に対応するイメージセンサを配置して得られたG成分の画像を教師画像としてG出力画像を生成するための学習が行われるものとする。
このようにして得られるG出力画像は、R成分の色変化量およびB成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。
また、図24において、R出力画像の生成に係る機能ブロックである、Rクラスタップ選択部182−2、R変換部185−21、Rクラス分類部186−2、R係数メモリ187−2、R予測タップ選択部183−2、R変換部185−22、およびR積和演算部188−2は、それぞれ図16のRクラスタップ選択部152−2、R変換部155−21、Rクラス分類部156−2、R係数メモリ157−2、R予測タップ選択部153−2、R変換部155−22、およびR積和演算部158−2と基本的に同様に構成されるものなので詳細な説明は省略する。
但し、Rクラス分類部186−2は、RクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部190による色変化の検出結果を示すコードが含まれることになる。なお、R係数メモリ187−2には、予め学習により求められた係数であって、R積和演算部158−2による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
なお、図24の構成の画像処理装置180を用いる場合、R係数メモリ187−2に記憶される係数の学習の際には、例えば、図5の枠14に、R成分に対応するイメージセンサを配置して得られたR成分の画像を教師画像としてR出力画像を生成するための学習が行われるものとする。
このようにして得られるR出力画像は、R成分の色変化量およびB成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。
また、図24において、B出力画像の生成に係る機能ブロックである、Bクラスタップ選択部182−3、B変換部185−31、Bクラス分類部186−3、B係数メモリ187−3、B予測タップ選択部183−3、B変換部185−32、およびB積和演算部188−3は、それぞれ図16のBクラスタップ選択部152−3、B変換部155−31、Bクラス分類部156−3、B係数メモリ157−3、B予測タップ選択部153−3、B変換部155−32、およびB積和演算部158−3と基本的に同様に構成されるものなので詳細な説明は省略する。
但し、Bクラス分類部186−3は、BクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部190による色変化の検出結果を示すコードが含まれることになる。なお、B係数メモリ187−3には、予め学習により求められた係数であって、B積和演算部158−3による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。
なお、図24の構成の画像処理装置180を用いる場合、B係数メモリ187−3に記憶される係数の学習の際には、例えば、図5の枠14に、B成分に対応するイメージセンサを配置して得られたB成分の画像を教師画像としてB出力画像を生成するための学習が行われるものとする。
このようにして得られるB出力画像は、R成分の色変化量およびB成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。
なお、上述の説明では、R成分の色変化量であるΔRは、式(20)の演算を行うことで算出されると説明したが、R成分の色変化量を算出可能な他の演算式により求めるようにしてもよい。また、B成分の色変化量であるΔBは、式(21)の演算を行うことで算出されると説明したが、B成分の色変化量を算出可能な他の演算式により求めるようにしてもよい。
また、上述の説明では、Gクラス分類部186−1、Rクラス分類部186−2、およびBクラス分類部186−3の全てにおいて色変化の検出結果を示すコードが含まれるクラスコードを生成すると説明したが、各クラス分類部においては必ずしもクラスコードに色変化の検出結果を示すコードを含ませる必要はない。例えば、Gクラス分類部186−1のみが、色変化の検出結果を示すコードをクラスコードに含ませてもよい。
さらに、上述の説明では、色変化の検出結果には、R成分の色変化量の大小のいずれかを示す情報と、B成分の色変化量の大小のいずれかを示す情報の両方を含ませると説明したが、それらの情報のうち少なくとも一方を含ませるようにすればよい。また、所定の演算式により求められるG成分の色変化量の大小のいずれかを示す情報が、色変化の検出結果に含まれるようにしてもよい。例えば、Rクラス分類部186−2では、色変化の検出結果として、R成分の色変化量の大小のいずれかを示す情報のみを示すコードが含まれるクラスコードを生成して、R出力画像が得られるようにすることができる。また、Bクラス分類部186−3では、B成分の色変化量の大小のいずれかを示す情報のみを示すコードが含まれるクラスコードを生成して、B出力画像が得られるようにすることができる。
<画像処理装置による画像処理>
図25は、図24の画像処理装置180による画像処理の例を説明するフローチャートである。
ステップS81において、画像処理の対象となる画像(入力画像)が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップS81において、画像が入力されたと判定された場合、処理は、ステップS82に進む。
ステップS82において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。
ステップS83において、代表RGB演算部181は、図14を参照して後述する代表RGB演算処理を実行する。これにより、上述した代表値Dg、代表値Dr、および代表値Dbが演算される。
ステップS84において、色変化検出部190は、入力画像から、色成分の変化を検出する。例えば、色変化の検出結果として、R成分の色変化量の大小のいずれかを示す情報と、B成分の色変化量の大小のいずれかを示す情報が得られる。
ステップS85において、Gクラスタップ選択部182−1、Rクラスタップ選択部182−2、または、Bクラスタップ選択部182−3は、それぞれGクラスタップ、Rクラスタップ、または、Bクラスタップを取得する。
なお、G出力画像を生成する場合は、Gクラスタップが取得され、R出力画像を生成する場合は、Rクラスタップが取得され、B出力画像を生成する場合は、Bクラスタップが取得される。これ以降は、説明を簡単にするため、G出力画像を生成する場合について説明する。但し、上述したように、Gクラスタップは、R,G,Bの各成分から構成されていることになる。
ステップS86において色変換が行われる。例えば、G出力画像を生成する場合、G変換部185−11がG変換を行う。このとき、上述した式(1)乃至式(3)により、変換値G´、変換値R´、および変換値B´が演算される。
ステップS87においてクラス分類が行われる。例えば、G出力画像を生成する場合、Gクラス分類部186−1が、供給されたGクラスタップをADRC(Adaptive Dynamic Range Coding)により符号化してクラスコードを生成することでクラス分類する。ここで生成されたクラスコードには、色変化の検出結果を示すコードが含まれる。
ステップS88において、予測タップが取得される。例えば、G出力画像を生成する場合、G予測タップ取得部183−1がG予測タップを取得する。但し、上述したように、G予測タップは、全てG成分の画素により構成されていることになる。
ステップS89において、色変換が行われる。例えば、G出力画像を生成する場合、G変換部185−12がG変換を行う。このとき、G予測タップは、全てG成分の画素により構成されているので、上述した式(1)により、変換値G´が演算される。
ステップS90において、係数が読み出される。例えば、G出力画像を生成する場合、G係数メモリ187−1から、ステップS87の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。
ステップS91において、注目画素値が予測される。例えば、G出力画像を生成する場合、式(4)の画素x1,x2,・・・,xNに、ステップS89の処理で色変換されたG予測タップを代入し、式(4)におけるタップ係数wnとして、ステップS90の処理で読み出された係数が供給され、G積和演算部188−1が式(4)の演算を行うことによって、出力画像の注目画像の画素値が予測される。
ステップS92において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップS82に戻り、それ以降の処理が繰り返し実行される。
ステップS92において、次の注目画素がないと判定された場合、処理は終了する。
このようにして、画像生成処理が実行される。
<色フィルタアレイの配列の他の例>
なお、上述の説明では、色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられる例を説明したが、ベイヤー配列以外の色フィルタアレイが用いられるようにしてもよい。例えば、ベイヤー配列の1水平ライン毎に画素の配置位置を1/2画素ずつシフトさせた画素配列(以下、斜めベイヤー配列という)を用いることができる。図26および図27には、斜めベイヤー配列を用いた場合のクラスタップおよび予測タップの構造の例を示している。
(クラスタップの構造)
図26は、図16の画像処理装置150、または、図24の画像処理装置180において取得されるクラスタップの構造の例を示す図である。ここで、クラスタップは、上述したGクラスタップ、Rクラスタップ、およびBクラスタップを総称している。
図26の例では、斜めベイヤー配列で配された13個の画素により構成されるクラスタップが示されている。図16の画像処理装置150、または、図24の画像処理装置180において、各クラスタップは、R,G,Bの各成分の画素から構成されることになる。
(予測タップの構造)
図27は、図16の画像処理装置150、または、図24の画像処理装置180において取得される予測タップの構造の例を示す図である。ここで、予測タップは、上述したG予測タップ、R予測タップ、およびB予測タップを総称している。
図27の例では、図26のクラスタップに対応する13個の画素のうち、G成分となる9個の画素のみから構成される予測タップが示されている。すなわち、図16の画像処理装置150、または、図24の画像処理装置180において、各予測タップは、G成分の画素のみから構成されることになる。
なお、斜めベイヤー配列を用いた場合であっても、上述のベイヤー配列と同様に、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Gクラスタップ、Rクラスタップ、およびBクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、G予測タップ、R予測タップ、およびB予測タップの構造が同じであってもよいし、異なってもよい。
<コンピュータの構成>
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図28に示されるような汎用のコンピュータ900などに、ネットワークや記録媒体からインストールされる。
図28において、CPU(Central Processing Unit)901は、ROM(Read Only Memory)902に記憶されているプログラム、または記憶部908からRAM(Random Access Memory)903にロードされたプログラムに従って各種の処理を実行する。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU901、ROM902、およびRAM903は、バス904を介して相互に接続されている。このバス904にはまた、入出力インタフェース905も接続されている。
入出力インタフェース905には、キーボード、マウスなどよりなる入力部906、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部907、ハードディスクなどより構成される記憶部908、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部909が接続されている。通信部909は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース905にはまた、必要に応じてドライブ910が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア911が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部908にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア911などからなる記録媒体からインストールされる。
なお、この記録媒体は、図28に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア911により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM902や、記憶部908に含まれるハードディスクなどで構成されるものも含む。
本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算する積和演算部と
を備え、
前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、
前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される
画像処理装置。
(2)
前記第1の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの前記第1の色成分の画素値を、前記複数の色成分のうち、1の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第1の変換値に変換する第1の色成分変換部と
をさらに備え、
前記積和演算部は、前記第1の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算する
(1)に記載の画像処理装置。
(3)
前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、1の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第2の変換値に変換する第2の色成分変換部をさらに備え、
前記クラス分類部は、前記第2の変換値に基づいて、前記クラスタップの特徴量を決定する
(2)に記載の画像処理装置。
(4)
前記単板式画素部は、R,G,Bの各色成分を有するベイヤー配列の画素部であり、
前記代表値演算部は、
前記RまたはBの画素の周囲のGの画素に基づいて、前記RまたはBの画素の補間値gを算出し、
前記Gの画素の周囲のRの画素またはBの画素に基づいて、それぞれ前記Gの画素の補間値rおよび補間値bを算出し、
前記Gの画素から直接得られる入力値Gと前記補間値gとの平均値により、Gの代表値を演算し、
前記補間値rと前記入力値Gとの差分、および、前記Rの画素から直接得られる入力値Rと前記補間値gとの差分、並びに前記Gの代表値に基づいてRの代表値を演算し、
前記補間値bと前記入力値Gとの差分、および、前記Bの画素から直接得られる入力値Bと前記補間値gとの差分、並びに前記Gの代表値に基づいてBの代表値を演算する
(2)または(3)に記載の画像処理装置。
(5)
前記色成分変換部は、
前記第2の画像がGの画素のみで構成される画像である場合、
前記入力値Rを、前記Rの代表値と前記Gの代表値の差分によりオフセットし、
前記入力値Bを、前記Bの代表値と前記Gの代表値の差分によりオフセットし、
前記第2の画像がRの画素のみで構成される画像である場合、
前記入力値Gを、前記Gの代表値と前記Rの代表値の差分によりオフセットし、
前記入力値Bを、前記Bの代表値と前記Rの代表値の差分によりオフセットし、
前記第2の画像がBの画素のみで構成される画像である場合、
前記入力値Gを、前記Gの代表値と前記Bの代表値の差分によりオフセットし、
前記入力値Rを、前記Rの代表値と前記Bの代表値の差分によりオフセットする
(4)に記載の画像処理装置。
(6)
前記第1の画像から、色成分の変化を検出する色変化検出部をさらに備え、
前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う
(1)乃至(5)のいずれか一項に記載の画像処理装置。
(7)
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
(1)乃至(6)のいずれか一項に記載の画像処理装置。
(8)
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、
前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される
ステップを含む画像処理方法。
(9)
第1の画像から第2の画像を生成する画像処理をコンピュータに行わせるプログラムにおいて、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される前記第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である前記第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、
前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される
ステップを含むプログラム。
150 画像処理装置, 151 代表RGB演算部, 152−1 Gクラスタップ選択部, 152−2, Rクラスタップ選択部, 152−3 Bクラスタップ選択部, 153−1 G予測タップ選択部, 153−2, R予測タップ選択部, 153−3 B予測タップ選択部, 155−11 G変換部, 155−12 G変換部, 155−21 R変換部, 155−22 R変換部, 155−31 B変換部, 155−32 B変換部, 156−1 Gクラス分類部, 156−2 Rクラス分類部, 156−3 Bクラス分類部, 157−1 G係数メモリ, 157−2 R係数メモリ, 157−3 B係数メモリ, 158−1 G積和演算部, 158−2 R積和演算部, 158−3 B積和演算部, 180 画像処理装置, 181 代表RGB演算部, 182−1 Gクラスタップ選択部, 182−2, Rクラスタップ選択部, 182−3 Bクラスタップ選択部, 183−1 G予測タップ選択部, 183−2, R予測タップ選択部, 183−3 B予測タップ選択部, 185−11 G変換部, 185−12 G変換部, 185−21 R変換部, 185−22 R変換部, 185−31 B変換部, 185−32 B変換部, 186−1 Gクラス分類部, 186−2 Rクラス分類部, 186−3 Bクラス分類部, 187−1 G係数メモリ, 187−2 R係数メモリ, 187−3 B係数メモリ, 188−1 G積和演算部, 188−2 R積和演算部, 188−3 B積和演算部, 190 色変化検出部, 900 コンピュータ, 901 CPU

Claims (9)

  1. 複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
    前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
    前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
    前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
    前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算する積和演算部と
    を備え、
    前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、
    前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される
    画像処理装置。
  2. 前記第1の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
    前記予測タップの前記第1の色成分の画素値を、前記複数の色成分のうち、1の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第1の変換値に変換する第1の色成分変換部と
    をさらに備え、
    前記積和演算部は、前記第1の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算する
    請求項1に記載の画像処理装置。
  3. 前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、1の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第2の変換値に変換する第2の色成分変換部をさらに備え、
    前記クラス分類部は、前記第2の変換値に基づいて、前記クラスタップの特徴量を決定する
    請求項2に記載の画像処理装置。
  4. 前記単板式画素部は、R,G,Bの各色成分を有するベイヤー配列の画素部であり、
    前記代表値演算部は、
    前記RまたはBの画素の周囲のGの画素に基づいて、前記RまたはBの画素の補間値gを算出し、
    前記Gの画素の周囲のRの画素またはBの画素に基づいて、それぞれ前記Gの画素の補間値rおよび補間値bを算出し、
    前記Gの画素から直接得られる入力値Gと前記補間値gとの平均値により、Gの代表値を演算し、
    前記補間値rと前記入力値Gとの差分、および、前記Rの画素から直接得られる入力値Rと前記補間値gとの差分、並びに前記Gの代表値に基づいてRの代表値を演算し、
    前記補間値bと前記入力値Gとの差分、および、前記Bの画素から直接得られる入力値Bと前記補間値gとの差分、並びに前記Gの代表値に基づいてBの代表値を演算する
    請求項3に記載の画像処理装置。
  5. 前記色成分変換部は、
    前記第2の画像がGの画素のみで構成される画像である場合、
    前記入力値Rを、前記Rの代表値と前記Gの代表値の差分によりオフセットし、
    前記入力値Bを、前記Bの代表値と前記Gの代表値の差分によりオフセットし、
    前記第2の画像がRの画素のみで構成される画像である場合、
    前記入力値Gを、前記Gの代表値と前記Rの代表値の差分によりオフセットし、
    前記入力値Bを、前記Bの代表値と前記Rの代表値の差分によりオフセットし、
    前記第2の画像がBの画素のみで構成される画像である場合、
    前記入力値Gを、前記Gの代表値と前記Bの代表値の差分によりオフセットし、
    前記入力値Rを、前記Rの代表値と前記Bの代表値の差分によりオフセットする
    請求項4に記載の画像処理装置。
  6. 前記第1の画像から、色成分の変化を検出する色変化検出部をさらに備え、
    前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う
    請求項1に記載の画像処理装置。
  7. 前記係数読み出し部により読み出される係数は、予め学習により求められ、
    前記学習では、
    前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
    前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
    前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
    請求項1に記載の画像処理装置。
  8. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
    前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
    前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
    前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択し、
    前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算し、
    前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、
    前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される
    ステップを含む画像処理方法。
  9. 第1の画像から第2の画像を生成する画像処理をコンピュータに行わせるプログラムにおいて、
    複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される前記第1の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
    前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である前記第2の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
    前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
    前記第1の画像から、前記複数の色成分のうち、第1の色成分に対応する画素に係る画素値を、予測タップとして選択し、
    前記予測タップの前記第1の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第2の画像の画素値をそれぞれ演算し、
    前記複数の色成分の画像のうち、前記第1の色成分のみで構成される第2の画像を生成し、
    前記複数の色成分の画像のうち、前記第1の色成分とは異なる第2の色成分のみで構成される第2の画像を生成する場合、前記第1の色成分のみで構成される第2の画像から、前記予測タップが取得される
    ステップを含むプログラム。
JP2013074761A 2013-03-29 2013-03-29 画像処理装置および方法、並びにプログラム Pending JP2014200009A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013074761A JP2014200009A (ja) 2013-03-29 2013-03-29 画像処理装置および方法、並びにプログラム
US14/220,361 US9380276B2 (en) 2013-03-29 2014-03-20 Image processing apparatus and method, and program
CN201410108389.1A CN104079905A (zh) 2013-03-29 2014-03-21 图像处理设备、图像处理方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013074761A JP2014200009A (ja) 2013-03-29 2013-03-29 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2014200009A true JP2014200009A (ja) 2014-10-23

Family

ID=51600918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013074761A Pending JP2014200009A (ja) 2013-03-29 2013-03-29 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US9380276B2 (ja)
JP (1) JP2014200009A (ja)
CN (1) CN104079905A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2014200009A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200001A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6251029B2 (ja) * 2013-12-12 2017-12-20 キヤノン株式会社 制御装置、画像処理装置、制御方法、およびプログラム
JP6992179B2 (ja) * 2018-06-13 2022-01-13 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4175124B2 (ja) * 2003-01-24 2008-11-05 ソニー株式会社 画像信号処理装置
EP1511004A3 (en) * 2003-08-19 2010-01-27 Sony Corporation Memory controller, memory control method, rate conversion apparatus, rate conversion method, image-signal-processing apparatus, image-signal-processing method, and program for executing these methods
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2014042176A (ja) * 2012-08-23 2014-03-06 Sony Corp 画像処理装置および方法、プログラム、並びに、固体撮像装置
JP2014200009A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200001A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20140293088A1 (en) 2014-10-02
US9380276B2 (en) 2016-06-28
CN104079905A (zh) 2014-10-01

Similar Documents

Publication Publication Date Title
JP4840468B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014200009A (ja) 画像処理装置および方法、並びにプログラム
JP2014200008A (ja) 画像処理装置および方法、並びにプログラム
US7760255B2 (en) Method and apparatus for interpolation of interlaced CMYG color format
JP2011091483A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN103765876A (zh) 图像处理设备以及图像处理方法和程序
JP2014072658A (ja) 画素補間装置、撮像装置、プログラムおよび集積回路
US20100150440A1 (en) Color interpolation apparatus
KR100768619B1 (ko) 화소 신호 처리 장치 및 방법
JP6276580B2 (ja) 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP2014200000A (ja) 画像処理装置および方法、並びにプログラム
JP2014042176A (ja) 画像処理装置および方法、プログラム、並びに、固体撮像装置
CN105046631A (zh) 图像处理设备和图像处理方法
JP2014200001A (ja) 画像処理装置および方法、並びにプログラム
JP2004519156A (ja) 画像検知器の出力信号用の輪郭フィルタ
WO2014156732A1 (ja) 画像処理装置および方法、並びにプログラム
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP6435560B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP5981824B2 (ja) 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP6932260B2 (ja) 画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体
JP2006229299A (ja) 画素信号処理装置及び方法
JP6276581B2 (ja) 画素補間処理装置、撮像装置、プログラムおよび集積回路
US20080080029A1 (en) Apparatus, method, and medium for interpolating multiple channels
JP2010028373A (ja) 画像処理装置および画像信号の補間処理方法