JP2012119915A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 少ないメモリ容量で縮小ＲＡＷ画像を生成可能な画像処理装置を提供する。
【解決手段】 各画素が単色輝度情報を有するＲＡＷ画像から、まず、水平方向の空間周波数の帯域制限を行い、かつ、水平方向の画素数を削減した水平縮小ＲＡＷ画像を第１の生成部１１０で生成する。そして、水平縮小ＲＡＷ画像をラインメモリ１０５に格納し、第２生成部１２０で水平縮小ＲＡＷ画像に対して少なくとも垂直方向の画素を削減することにより、縮小ＲＡＷ画像を生成する。
【選択図】 図１

Description

本発明は画像処理装置ならびにその制御方法に関し、特には画像縮小処理のための画像処理装置並びにその制御方法に関する。

デジタルカメラなどの撮像装置に搭載されている、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子が備える画素の数は、１０００万を超えるものも珍しくなくなっている。画素数の増大は画像データ量の増大を招くため、撮像で得られた全画素を用いる必要のない処理については、原画像を縮小してから処理を行うことが、処理時間の短縮はもちろん、メモリなどのハードウェア資源や電源の節約という観点から好ましい。

一般的な単板式のカラー撮像素子には画素毎に特定色を有するカラーフィルタが設けられ、各画素は一色のカラーフィルタの透過光を受光する。カラーフィルタの色配列パターンとしては、一方の対角２画素に緑色（Ｇｒ，Ｇｂ）を、残りの２画素に赤（Ｒ）と青（Ｂ）を１つずつ配列した２×２画素のパターンを有するベイヤー配列が広く知られている。カラーフィルタを用いる撮像素子では、各画素では単色の輝度情報のみが得られるため、カラー画像を得るには、周辺の他色画素の情報を用いて各画素における色情報を補間する処理（同時化処理とも呼ぶ）が必要である。

従って、各色の２次元的再現帯域（再現できる２次元空間周波数帯域）は、カラーフィルタの配列に影響される。例えば、ベイヤー配列のカラーフィルタを用いた場合、緑の再現帯域の大きさは、垂直、水平方向を１とすると斜め４５度方向では１／√２である。また、赤および青の再現帯域の大きさは垂直、水平方向を１とすると斜め４５度方向では√２である。また、緑の再現帯域の大きさは斜め４５度方向では赤、青と等しいが、垂直、水平方向は２倍である。

また、画像の縮小は、画素を間引いたり、補間・合成などにより複数画素から１つの画素を形成することによって画素数を削減することで実現される。このような画素の間引きや補間によって高周波成分が折り返しノイズとして現れることを抑制するため、処理前に帯域制限フィルタ（ローパスフィルタ）を用いて原画像の高空間周波数成分を除去する。

特許文献１は、各画素が単色輝度情報を有する同時化処理前の画像（ＲＡＷ画像という）から縮小画像（縮小ＲＡＷ画像）を得る場合に、各色画素に適用するローパスフィルタの帯域特性を制御することにより、質の良い縮小ＲＡＷ画像を得る構成を開示している。具体的には、縮小率×サンプリング周波数ｆｓ／２の帯域特性を有するとともに、各色の再現帯域と類似した帯域特性を有するローパスフィルタを適用する構成を開示している。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子で得られたＲＡＷ画像であれば、Ｇ成分には斜め４５度方向の帯域が減らされたローパスフィルタを、Ｒ、Ｂ成分には斜め４５度方向の帯域を減らさないローパスフィルタを適用する。これにより、同時処理などの画像処理を適用した後のカラー画像における偽色の発生を抑制可能な、質の良い縮小ＲＡＷ画像を得ることができる。

特許第４０９６６２６号公報

しかしながら、特許文献１の技術では、ＲＡＷ画像をそのままローパスフィルタに入力するため、ＲＡＷ画像の水平画素数が多い場合にはローパスフィルタを実現するために必要なラインメモリの容量も大きくなる。また、垂直方向の縮小を行うには、ラインメモリを垂直方向に並べる必要があるので、１ラインあたりの容量が大きくなると、２次元縮小を行うために必要なラインメモリの総容量はますます増加する。

本発明はこのような従来技術の課題に鑑みてなされたものであり、特には少ないメモリ容量で縮小ＲＡＷ画像を得ることのできる画像処理装置及びその制御方法を提供することを目的とする。

上述の目的は、カラーフィルタを備えた撮像素子で得られた画像であって、画像を構成する各画素が単色輝度情報を有するＲＡＷ画像から、当該ＲＡＷ画像を水平方向及び垂直方向に縮小した縮小ＲＡＷ画像を生成する画像処理装置であって、入力されたＲＡＷ画像に水平方向の空間周波数成分の帯域制限を行い、帯域制限を行ったＲＡＷ画像から、水平方向の画素数を削減した水平縮小ＲＡＷ画像を生成する第１生成手段と、水平縮小ＲＡＷ画像を格納するための記憶手段と、記憶手段に格納された水平縮小ＲＡＷ画像の少なくとも垂直方向の画素を削減することにより、縮小ＲＡＷ画像を生成する第２生成手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、同時化等の信号処理を経ていない未加工の原画像から縮小原画像を得る際に、原信号の１次元的再現帯域と相似な１次元的帯域特性を有する水平ローパスフィルタを施し、水平縮小画像を生成するのでラインメモリを大幅に削減できる。

また、水平縮小された画像をラインメモリに置くことによって垂直縮小用のフィルタと欠陥画素の補正のフィルタに必要なメモリが共通化できるので、更なるラインメモリの削減が可能となる。

本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図。 本発明の第１の実施形態において、原画像を１／２に縮小する場合における、Pre-H-LPF１０２、水平縮小部１０３及び画素再配置部１０４の構成及び動作の例を説明する図。 従来の方法で必要なラインメモリの容量と、本発明の方法で必要なラインメモリの容量を説明する図。 本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図。 本発明の第２の実施形態におけるPre-H-LPF１０２の動作を説明する図。 本発明の第３の実施形態に係る画像処理装置の動作を説明するフローチャート。

（第１の実施形態）
以下、図面を参照して、本発明に係る画像処理装置およびその制御方法について、例示的な実施形態に基づき詳細に説明する。なお、以下の実施形態においては、各画素が単色輝度情報を有する同時化処理前の画像（ＲＡＷ画像）として、ベイヤー配列のカラーフィルタを用いた撮像素子により得られたＲＡＷ画像の縮小に係る構成を説明する。しかし、本発明はカラーフィルタを用いる単板式カラーイメージセンサに対して適用可能であり、カラーフィルタを構成する色や配列には制限されない。本発明は、例えば補色フィルタのようにＲＧＢ以外の色からなるカラーフィルタや、ハニカム配列のような正方配列以外の配列のカラーフィルタを用いる撮像素子で得られるＲＡＷ画像に対しても適用可能である。また、本発明はイメージセンサの種類（ＣＣＤセンサ、ＣＭＯＳセンサなど）にも依存しない。

図１は、本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
画像処理装置は、ＲＡＷ画像から水平縮小ＲＡＷ画像を生成する第１生成部１１０と、水平縮小ＲＡＷ画像を格納するラインメモリ１０５と、水平ＲＡＷ画像から縮小ＲＡＷ画像を生成する第２生成部１２０とに大別できる。

第１色分離部１０１は、ベイヤー配列のカラーフィルタを有する単板式撮像素子から得られたＲＡＷ画像を、水平ラインごとにＲ，Ｇｒ画素の画像とＧｂ，Ｂ画素の画像とに分離する。例えば、第１色分離部１０１は、ＲＡＷ画像を奇数ライン（Ｒ，Ｇｒ画素）からなる画像と偶数ライン（Ｇｂ，Ｂ画素）からなる画像に分離する。

次に、分離した画像に水平ローパスフィルタ（以下、Pre-H-LPFという）１０２を適用する。Pre-H-LPF１０２は、カラーフィルタの色配列とサンプリング定理から規定される各色の空間周波数座標系における水平方向の高域周波数成分を除去する。

また、Pre-H-LPF１０２により、Ｒ画素についてはＧｒ成分を、Ｇｒ画素についてはＲ成分を、Ｇｂ画素についてはＢ成分を、Ｂ画素についてはＧｂ成分をそれぞれ求める同時化処理を行う。

水平縮小部１０３は、Pre-H-LPF１０２適用後の画素を、縮小率に応じて水平方向に間引くことにより、水平方向に縮小したＲＡＷ画像を生成する。画素再配置部１０４は、水平方向に縮小したＲＡＷ画像を用いて、縮小前と同じ画素配列を有するＲＡＷ画像を再生成する。

図２は、原画像を１／２に縮小する場合における、Pre-H-LPF１０２、水平縮小部１０３及び画素再配置部１０４の構成及び動作の例を説明する図である。

図２（ａ）は、第１色分離部１０１において分離された各水平ラインのうち、奇数ラインの１つを示している。ここで、Pre-H-LPF１０２は、例えばＲ画素が注目画素の場合には、注目画素に対し、［１ ６ １］／８の水平１次元空間ローパスフィルタを適用する。これにより、各画素に対して、水平方向の空間周波数成分の帯域制限を行う。

図２（ａ）に示すように、ローパスフィルタ適用後の注目画素の値は、左右の隣接Ｒ画素の値にそれぞれ１をかけた値と注目画素の値に６をかけた値とを合計し、８で割った値である。さらに、Pre-H-LPF１０２は、図２（ｂ）に示すように、注目画素がＲ画素の場合、隣接する２つのＧｒ画素に［１ １］／２のローパスフィルタを適用して、注目画素のＲ画素のＧ成分（Ｇｒ）を求める（同時化処理）。また、Pre-H-LPF１０２は、Ｇｒについても同様に、水平１次元空間ローパスフィルタの適用とＲ成分の補完を行う。

これにより、図２（ｃ）の最上段に示すように、各画素ともＲ，Ｇｒの成分を有するようになる。水平縮小部１０３は、水平方向に原画像を１／２に縮小する場合、図２（ｃ）の上から２段目に示すように、Pre-H-LPF１０２によって同時化された信号Ｒ，Ｇｒを１画素おきに間引く。そして、画素再配置部１０４は、間引き後の各画素が有する色成分（ここではＲ，Ｇｒ成分）から、ＲＡＷ画像と同一の色配列に戻すために１つの色成分を選択して単色輝度成分を有する画素に戻し、再配置する。Pre-H-LPF１０２、水平縮小部１０３及び画素再配置部１０４は、以上の処理を、Ｇｂ，Ｂの水平ラインについても同様に行う。

画素再配置部１０４は、水平方向に縮小されたＲＡＷ画像（以下、水平縮小ＲＡＷ画像という。）を、水平ライン毎に垂直方向に遅延させてラインメモリ１０５に格納する。ラインメモリ１０５は、例えば図３（ａ），（ｂ）に示すように、複数のラインメモリが垂直方向に配列された構成を有する。ここまでの処理は、ＲＡＷ画像の水平ライン単位で、画素信号が入力される都度、順次行うため、処理に大きなメモリは不要である。

ラインメモリに格納された画像をさらに縮小する場合、第２色分離部１０６により、水平縮小ＲＡＷ画像（１面）を色分離し、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色信号の画像（４面）に分離する。そして、分離されたＲ信号、Ｇｒ信号、Ｂ信号、Ｇｂ信号に対し、縮小率に応じた、また各色の２次元的再現帯域に相似な帯域特性を有する２次元空間ローパスフィルタである水平垂直ローパスフィルタ(Pre-HV-LPF)１０７を適用する。Pre-HV-LPF１０７は、基本的に特許文献１に記載されているような特性の水平垂直ローパスフィルタであってよい。ただし、水平方向には既にPre-H-LPF１０２で帯域制限されているので、水平方向においてさらに縮小する必要がなければ、Pre-HV-LPF１０７によって水平方向の帯域をさらに低域に制限する必要はない。

水平垂直縮小部１０８は、Pre-HV-LPF１０７が適用されたＲ、Ｇｒ、Ｇｂ、Ｂ画素を、水平方向では、水平縮小部１０３における間引きと水平垂直縮小部１０８における間引きの両方によって、目的の縮小率となるように画素を間引く。また、水平垂直縮小部１０８は、垂直方向については水平垂直縮小部１０８単独で目的の縮小率を実現するように間引き、画像を縮小する。

例えば、縦横１／３に縮小した縮小ＲＡＷ画像を生成する場合で、水平縮小部１０３で水平方向に１／２の画素を間引いた場合、水平垂直縮小部１０８は水平縮小ＲＡＷ画像の水平方向の画素数が２／３となるように画素を１／３間引く。また、水平垂直縮小部１０８は、水平縮小ＲＡＷ画像の垂直方向の画素数が１／３となるように画素を２／３間引く。このようにＲＡＷ画像を２段階に分けて水平方向に間引く構成とすることで、ラインメモリ１０５の前段部に配置されたPre-H-LPF１０２および水平縮小部１０３は、常に同じ動作を行えば良いため、これらの回路構成を簡略化することができる。

このように、本実施形態によれば、ＲＡＷ画像を水平方向に縮小してから、水平及び垂直方向の帯域制限及び縮小を行うためのラインメモリ１０５に格納するので、ラインメモリ１０５の容量を大幅に削減することができる。

例えば図３（ａ）に示すように、従来は原画像の水平画素数に対応した容量を有するラインメモリを用意する必要があった。これに対し、水平方向に１／２に縮小した水平縮小ＲＡＷ画像をラインメモリに格納する本願発明の構成（図３（ｂ））では、ラインメモリの容量を半減することができる。あるいは、空いた容量を新たなラインメモリとして利用すれば、従来と同じ総容量のメモリを用いて、垂直方向に２倍の数のラインメモリを実現できる。このように、本実施形態の構成によれば、従来と同じ総容量のメモリで、より大きな原画像に対し、より広範囲な縮小率に対応することが可能になる。

また、各色の再現帯域に相似な帯域特性を有するローパスフィルタを用いれば、良好な品質の縮小ＲＡＷ画像を得ることができる。

なお、本実施形態では、Pre-H-LPF１０２やPre-HV-LPF１０７の前段に色分離部を設け、ＲＧｒとＧｂＢの行に分離した画像をフィルタに供給していた。しかし、フィルタが予めＲＡＷ画像の画素配列を知っていれば、フィルタ側で画素配列を考慮したフィルタ処理を適用することにより、色分離部を省略することができる。

また、本実施形態ではＲＡＷ画像を水平方向に１／２に縮小した水平縮小ＲＡＷ画像を生成する例を説明したが、水平方向の縮小率に特に制限はなく、より大きな、または小さな縮小率としてもよい。画素の間引きと再配置は画質を劣化させるため、メモリ容量の削減効果と、画質劣化とを勘案して適宜縮小率を決定すればよい。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図４において、図１と同じ構成には同じ参照数字を付し、重複する説明は省略する。本実施形態の画像処理装置は、ラインメモリ１０５の後段に欠陥画素補正部２０１を設けたこと、Pre-H-LPF１０２が、欠陥画素補正部２０１を考慮したフィルタ処理を行うことを特徴とする。

本実施形態におけるPre-H-LPF１０２の動作について、図５を用いて説明する。本実施形態においても、水平方向に１／２縮小した水平縮小ＲＡＷ画像を生成するものとする。原画像に欠陥画素が存在しない場合、Pre-H-LPF１０２は第１の実施形態と同様の処理を行う。図２と同様、注目画素をＲとした場合、隣接するＲ信号を用いて［１ ６ １］の１次元空間フィルタ処理を行うが、注目画素Ｒが欠陥画素Ｘである場合は、フィルタ処理を行わず、注目画素が欠陥画素であることを示す値を出力する。これにより、欠陥画素補正部２０１が当該画素が欠陥画素Ｘであることを認識し、適切な欠陥画素補正を実行できる。欠陥画素にフィルタ処理を適用してしまうと、欠陥画素補正部２０１はその画素が欠陥画素であることが認識できない。なお、注目画素が欠陥画素であってもフィルタ処理は行うが、フィルタ処理を行う前の値を出力するようにしても構わない。

また、図５（ｂ）に示すように、注目画素Ｒは欠陥画素Ｘでないが、注目画素Ｒのフィルタ処理に用いる隣接Ｒ画素が欠陥画素Ｘである場合、Pre-H-LPF１０２は、欠陥画素Ｘの値を注目画素Ｒの画素の値に置き換えてフィルタ処理を行う。例えば、図５（ｂ）に示すように、注目画素Ｒの右の隣接Ｒ画素が欠陥画素Ｘである場合、欠陥画素Ｘの値の代わりに注目画素Ｒの値を用いて、［１ ６ １］の１次元空間フィルタ処理を行う。これは、［１ ７ ０］のフィルタ処理と実質的に同等である。

なお、注目画素そのものが欠陥画素でなくても、フィルタ処理に用いる画素の少なくとも一つが欠陥画素Ｘであった場合、注目画素が欠陥画素Ｘであることを示す値を出力するようにしてもよい。また、欠陥画素であることを示す情報を、画素値とは別に保持するようにしてもよい。

このようなフィルタ処理により、原画像に欠陥画素が存在する場合、欠陥画素の影響による水平縮小ＲＡＷ画像の画質劣化を軽減することができる。
なお、画素再配置部１０４において画素の再配置を行う場合、再配置に用いる色成分が欠陥画素を表す値であれば、そのまま再配置に用いる。

欠陥画素補正部２０１は、ラインメモリ１０５に格納された水平縮小ＲＡＷ画像に残っている欠陥画素を認識し、周辺の正常画素値を用いた補間処理などによって補正する。従来、欠陥画素の補正は、ラインメモリ１０５よりも前段で行われており、欠陥画素を補正するためのメモリが別途必要だった。しかし、本実施形態では水平縮小ＲＡＷ画像を格納するラインメモリ１０５（垂直縮小処理用のラインメモリ）を用いて欠陥画素の補正を行うことで、従来必要であった欠陥画素補正用のメモリを別途設ける必要がない。

（第３の実施形態）
上述の実施形態はＲＡＷ画像の水平画素数によらず、水平縮小ＲＡＷ画像を生成していたが、ＲＡＷ画像の水平画素数がラインメモリに収まる画素数以下であれば、水平縮小ＲＡＷ画像を生成する必要はない。例えば、第１色分離部１０１の前段に画素数判定部（図示せず）を設け、図６のフローチャートに示すように、ＲＡＷ画像の水平画素数がラインメモリ１０５に収まる画素数以下かどうかを判定することができる（Ｓ６０１）。そして、画素数判定部は、ＲＡＷ画像の水平画素数がラインメモリ１０５に収まる画素数以下なら、ＲＡＷ画像を水平縮小せずにラインメモリ１０５に格納する（Ｓ６０２）。一方、ＲＡＷ画像の水平画素数がラインメモリ１０５に収まる画素数を超えていれば、画素数判定部はＲＡＷ画像を第１色分離部１０１に供給する（Ｓ６０３）。

これにより、ラインメモリで処理可能な範囲であれば、水平縮小ＲＡＷ画像を生成することなく、縮小ＲＡＷ画像を生成することが可能となる。これにより、水平縮小ＲＡＷ画像を生成する必要のない原画像については、水平縮小ＲＡＷ画像を生成することによる画質劣化を防止することができる。
なお、本実施形態は、第１及び第２の実施形態のいずれとも組み合わせることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. カラーフィルタを備えた撮像素子で得られた画像であって、画像を構成する各画素が単色輝度情報を有するＲＡＷ画像から、当該ＲＡＷ画像を水平方向及び垂直方向に縮小した縮小ＲＡＷ画像を生成する画像処理装置であって、
   入力されたＲＡＷ画像に水平方向の空間周波数成分の帯域制限を行い、帯域制限を行ったＲＡＷ画像から、水平方向の画素数を削減した水平縮小ＲＡＷ画像を生成する第１生成手段と、
   前記水平縮小ＲＡＷ画像を格納するための記憶手段と、
   前記記憶手段に格納された前記水平縮小ＲＡＷ画像の少なくとも垂直方向の画素を削減することにより、前記縮小ＲＡＷ画像を生成する第２生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１生成手段が、
   前記ＲＡＷ画像の水平ラインごとに、各画素に対して、水平方向の空間周波数成分の帯域制限と、同時化処理を行う１次元空間ローパスフィルタと、
   前記ローパスフィルタが適用された水平ラインの画素を間引く水平縮小手段と、
   水平縮小手段により間引きが行われた各水平ラインの各画素が有する色成分のうち１つを選択して、前記ＲＡＷ画像と同一の色配列を有する水平縮小ＲＡＷ画像を生成する再配置手段と、
   を有することを特徴とする請求項１記載の画像処理装置。
3. 前記第２生成手段が、
   前記水平縮小ＲＡＷ画像の各画素に対して、水平方向及び垂直方向のうち少なくとも垂直方向の空間周波数成分の帯域制限を行う２次元空間ローパスフィルタと、
   前記２次元空間ローパスフィルタが適用された水平縮小ＲＡＷ画像の画素を水平方向及び垂直方向のうち少なくとも垂直方向で間引き、前記縮小ＲＡＷ画像を生成する水平垂直縮小手段と、
   を有することを特徴とする請求項１又は請求項２記載の画像処理装置。
4. 前記水平垂直縮小手段は、前記２次元空間ローパスフィルタが適用された水平縮小ＲＡＷ画像の画素を水平方向及び垂直方向で間引き、前記縮小ＲＡＷ画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. さらに、前記記憶手段に格納された前記水平縮小ＲＡＷ画像に含まれる欠陥画素を補正する補正手段を有し、
   前記第２生成手段は、前記補正手段により補正された水平縮小ＲＡＷ画像から前記縮小ＲＡＷ画像を生成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記記憶手段が、垂直方向に配列された複数のラインメモリから構成され、
   前記ＲＡＷ画像の水平画素数が前記ラインメモリに収まる画素数以下であれば前記ＲＡＷ画像を前記記憶手段に格納し、前記ＲＡＷ画像の水平画素数が前記ラインメモリに収まる画素数を超えていれば前記ＲＡＷ画像を前記第１生成手段に供給する画素数判定手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. カラーフィルタを備えた撮像素子で得られた画像であって、画像を構成する各画素が単色輝度情報を有するＲＡＷ画像から、当該ＲＡＷ画像を水平方向及び垂直方向に縮小した縮小ＲＡＷ画像を生成する画像処理装置の制御方法であって、
   第１生成手段が、入力されたＲＡＷ画像に水平方向の空間周波数成分の帯域制限を行い、帯域制限を行ったＲＡＷ画像から、水平方向の画素数を削減した水平縮小ＲＡＷ画像を生成し、前記水平縮小ＲＡＷ画像を記憶手段に格納する第１生成工程と、
   第２生成手段が、前記記憶手段に格納された前記水平縮小ＲＡＷ画像の少なくとも垂直方向の画素を削減することにより、前記縮小ＲＡＷ画像を生成する第２生成工程と、
   を有することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images