JP2008311874A - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

【課題】ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制し、回路規模を小さくすることができる画像処理装置等を提供する。
【解決手段】ＲＧＢベイヤ配列画像から（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出部１０２と、（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像からＧ画素の画素数よりも少ない画素数の同一サンプリング位置への補間を行うことにより、同一画素数の各補間（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）画素を得る帯域制限補間部１０３と、得られた補間（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）画素に基づいてサンプリング位置を同一化したカラー画像を構成する補間ＲＧＢ画素を得るＲＧＢ算出部１０４と、を備えた画像処理装置。
【選択図】図１

Description

本発明は、ＲＧＢベイヤ配列画像からサンプリング位置を同一化したカラー画像を生成する画像処理装置、画像処理プログラム、画像処理方法に関する。

デジタル機器の進歩とパーソナルコンピュータの普及とに伴い、簡易な画像入力手段としてデジタルカメラが普及している。

ここで、図２１は、従来のデジタルカメラの構成の一例を示すブロック図である。このデジタルカメラは、撮像部を備えている。この撮像部は、被写体の光学像を結像するための光学系２１０１と、この光学系２１０１により結像された光学像を光電変換して電気的な画像信号を生成する撮像素子２１０２と、この撮像素子２１０２から出力された画像信号に階調変換処理やホワイトバランス処理等のアナログ前処理を施す前処理部２１０３と、この前処理部２１０３から出力されるアナログ信号をデジタルデータに変換するＡ／Ｄ変換部２１０４と、を備えている。

このデジタルカメラは、さらに、Ａ／Ｄ変換部２１０４からのデジタル画像データを受けて補間処理を行う画像補間部２１０５と、補間処理後の画像のサイズを変更するサイズ変換部２１０６と、サイズ変更後の画像データを輝度信号および色差信号に変換するＹ／Ｃ変換部２１０７と、輝度信号および色差信号に変換された画像データを画像記録するために例えばＪＰＥＧ（Joint Photographic Coding Experts Group）方式により圧縮処理する圧縮記録部２１０８と、を備えている。

ここに、ＪＰＥＧ方式は、デジタルカメラにおいて画像を圧縮する際に一般的に用いられている圧縮方式である。なお、このＪＰＥＧ方式においては、ＲＧＢ信号を輝度信号および色差信号に変換した後に、圧縮処理を行なうことが一般的となっている。

加えて、このデジタルカメラは、光学系２１０１の撮影動作や前処理部２１０３の前処理動作を含むこのデジタルカメラに係る制御を行うための図示しない制御部を備えている。

上述したようなデジタルカメラは、いわゆる民生用のデジタルカメラの構成例を示したものであるが、この民生用のデジタルカメラは、単板式の撮像素子（単板撮像素子）を用いることが一般的となっている。具体的には、撮像素子２１０２として、例えば、原色ベイヤ方式の単板撮像素子が用いられている。この原色ベイヤ方式の単板撮像素子は、本発明の実施形態に係る図６に示すように、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）のフィルタがモザイク状に配列されたものとなっており、各画素においてＲＧＢの内の何れか１色のデータのみが得られ、残りの２色は欠落している。

カラー画像を構成するためには１つの画素位置毎に３原色全てのデータが必要であるために、各画素において欠落している色成分は、撮像後に補間処理部２１０５によって周囲の画素から補間される。

このような欠落した色成分を周囲の画素から補間する処理を行うと、補間した画素位置における本来の色とは異なってしまう場合が生じるために、いわゆる偽色が発生し易いという課題がある。

この偽信号は、輝度信号Ｙよりも色差信号Ｃｒ，Ｃｂのほうにより大きく発生する傾向にある。ここに、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂは、ＲＧＢ信号に基づき、以下に示すように算出される。
Ｙ ＝ ０．２９９００×Ｒ＋０．５８７００×Ｇ＋０．１１４００×Ｂ
Ｃｂ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ
Ｃｒ＝ ０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ

これらの式からわかるように、Ｙ信号はＧの比率が高く、ＣｂはＢの比率が高く、ＣｒはＲの比率が高い。ところで、原色ベイヤ方式の撮像素子においては、色同士の画素数の比は、赤色（Ｒ）：緑色（Ｇ）：青色（Ｂ）＝１：２：１となっている。そして、ベイヤ配列の撮像素子から得られたデータを補間してＲＧＢ信号を作る際に、画素数の少ないＲ信号およびＢ信号の方が、Ｇ信号よりも補間による誤差が大きくなる傾向にある。従って、Ｂ信号の比率が高い色差信号ＣｂおよびＲ信号の比率が高い色差信号Ｃｒの方が、輝度信号Ｙよりも誤差が大きくなるのである。

デジタルカメラは、特に静止画の撮像において、偽色が画質に及ぼす影響が大きいために、この偽色を抑圧することが求められている。このような技術として、例えば、特開平１１−２４３５５４号公報に記載されているように偽色を抑圧する補間方式や、特開２０００−２１７１２３号公報に記載されているようにメディアンフィルタを用いて偽色を低減する方法などが挙げられる。しかし、これら特開平１１−２４３５５４号公報や特開２０００−２１７１２３号公報に記載された技術では、ハードウェア化を行う際に回路規模が増加してしまうという課題がある。

この回路規模の増加という点に対処しながら３原色が揃った画素を生成する技術として、例えば特開２００３−２３５０５２号公報には、図２２に示すように、ベイヤ配列の４画素（２×２画素）からカラー化された１画素を作成する技術が記載されている。ここに図２２は、原色ベイヤ方式の撮像素子により撮影された画像の一部を示す図である。この技術は、撮像素子上における結像位置（空間位置）が異なる画素Ｒs，Ｇs，Ｂsの画素値を、点ＰＡの画素位置において得られた画素値であるものとして処理する技術となっている。ここに、画素Ｇsに関しては２つの画素値があるために、これら２つの画素値の平均値を点ＰＡの画素位置のＧに係る画素値として用いるようになっている。このような技術を用いれば、画像全体を再現する必要がないために、回路規模の増大を抑制することが可能となる。
特開平１１−２４３５５４号公報 特開２０００−２１７１２３号公報 特開２００３−２３５０５２号公報

しかしながら、特開平１１−２４３５５４号公報や特開２０００−２１７１２３号公報に記載された技術は、偽色を低減する効果はあるものの、偽色のない高画質の画像という観点からはまだ十分であるとはいえない。また、画像のサイズ変更は、カラー画像を再現した後に行うことになるために、再現されたカラー画像に偽色がある場合にはサイズ変更後の画像にも偽色が残ってしまうことになる。さらに、この技術では、画像サイズを変更する前に画像全体を再現する処理を行うために、画像サイズを変更する処理が効率的とはいえなかった。

また、特開２００３−２３５０５２号公報に記載された技術も、偽色のない高画質な画像という点からは十分であるとはいえない。

本発明は上記事情に鑑みてなされたものであり、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制することができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

また、本発明は、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、回路規模や処理の負荷を小さくすることができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理装置は、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同一化したカラー画像を生成する画像処理装置であって、上記ＲＧＢベイヤ配列画像からＲ画素の位置に（Ｒ−Ｇ）画素をＢ画素の位置に（Ｂ−Ｇ）画素をそれぞれ作成して（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出手段と、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像から上記ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数のサンプリング位置への補間を行うことにより同一サンプリング位置における補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを同一画素数ずつ得る帯域制限補間手段と、上記帯域制限補間手段により得られた補間（Ｒ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｒ画素を算出するとともに補間（Ｂ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｂ画素を算出することによりサンプリング位置を同一化したカラー画像を構成する補間Ｒ画素と補間Ｇ画素と補間Ｂ画素とを得るＲＧＢ算出手段と、を具備したものである。

第１の発明によれば、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制したカラー画像を得つつ、ハードウェア化を図る際に回路規模を小さくすることができる。

また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記色差算出手段が、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出し、算出したＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、Ｍ種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出手段と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差相関関連値を算出し、この算出したＭ種類の色差相関関連値に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する選択手段と、を有して構成されたものである。

第２の発明によれば、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制し、本来再現されるべき彩度を保ったカラー画像を得ることができる。

さらに、第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記色差候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出し、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出し、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出するものである。

第３の発明によれば、水平方向のエッジに適した補間候補や垂直方向のエッジに適した補間候補が算出され、画像に適応した補間を選択することができるために、エッジの方向に依存することなく偽色を低減することができて、水平、垂直方向の解像度低下を防止することができる。

第４の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記色差候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）をさらに算出するものである。

第４の発明によれば、斜め方向のエッジに適した補間候補がさらに算出され、斜め方向のエッジに対しても偽色の発生を低減することができるために、斜め方向の解像度低下も防止することができる。

第５の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記色差候補算出手段が、上記Ｘ画素の上下左右に隣接する４つのＧ画素の平均として算出されたＧ補間候補に対しては、該Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出し、この修正画素ＸLと該Ｇ補間候補とを用いて色差候補を算出するものである。

第５の発明によれば、Ｒ画素またはＢ画素に対する周波数特性を、隣接４画素によるＧ画素補間の周波数特性に近似するように修正した後に色差を算出するようにしたために、周波数特性の違いにより発生する偽色を低減することができる。

第６の発明による画像処理装置は、上記第４または第５の発明による画像処理装置において、上記選択手段が、上記Ｘ画素の上下左右に隣接する４つのＧ画素の平均として算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との相関関連値に対しては、該Ｘ画素の周辺のＧ画素値の変動量を算出して該変動量に基づいた重み係数を算出し、算出した重み係数を該相関関連値に乗算したものを新たな相関関連値とするものである。

第６の発明によれば、画像平坦部等において複数のＧ補間候補がノイズ等により頻繁に切り替わる誤選択が発生するのを防止することができ、該誤選択の発生に起因する不自然な歪み模様を抑制することができる。

第７の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記選択手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均として算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との相関関連値として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で算出した相関関連値と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の上下に位置する２つの色差候補との間で算出した相関関連値と、の内の相関性が低くないことを示す方の相関関連値を選択するものである。

第７の発明によれば、急峻な垂直エッジ部において、Ｇ補間候補の誤選択を防止して、上下に隣接する２つのＧ画素の平均として算出されたＧ補間候補をより確実に選択することができるために、誤選択に伴う画質の劣化を抑制することができる。

第８の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記選択手段が、上記Ｘ画素の左右に隣接する２つのＧ画素の平均として算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との相関関連値として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で算出した相関関連値と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の左右に位置する２つの色差候補との間で算出した相関関連値と、の内の相関性が低くないことを示す方の相関関連値を選択するものである。

第８の発明によれば、急峻な水平エッジ部において、Ｇ補間候補の誤選択を防止して、左右に隣接する２つのＧ画素の平均として算出されたＧ補間候補をより確実に選択することができるために、誤選択に伴う画質の劣化を抑制することができる。

第９の発明による画像処理装置は、上記第２、第６、第７、または第８の発明による画像処理装置において、上記相関関連値がＧ画素欠落位置の色差候補と該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補との差分絶対値和であり、上記選択手段は、Ｍ種類の該相関関連値の内の相関性が最大であることを示す相関関連値の１つに対応する色差候補を１つ選択し、選択した色差候補を色差とするものである。

第９の発明によれば、ハードウェア化を図る際に回路規模を小さくしながら、最適な色差と補間Ｇ画素とを決定することができる。

第１０の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記帯域制限補間手段が、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を構成する、（Ｒ−Ｇ）画素および（Ｂ−Ｇ）画素に補間フィルタを各用い、Ｇ画素にローパスフィルタおよび補間フィルタを用いて、同一サンプリング位置への補間を行うことにより、上記補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを得るものである。

第１０の発明によれば、補間に伴う偽色と輝度モワレの発生を抑制したカラー画像を得ると共にハードウェア化を図る際に回路規模を小さくすることができる。

第１１の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記帯域制限補間手段が、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を構成する、（Ｒ−Ｇ）画素および（Ｂ−Ｇ）画素に補間フィルタを各用い、Ｇ画素にランチョスフィルタを用いて、同一サンプリング位置への補間を行うことにより、上記補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを得るものである。

第１１の発明によれば、補間に伴う偽色と輝度モワレの発生を抑制したカラー画像を得ると共に補間演算と帯域制限演算とを同時に行うことができるために、ハードウェア化を図る際に回路規模をより小さくすることができる。

第１２の発明による画像処理プログラムは、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同一化したカラー画像を生成する処理を、コンピュータに実行させるための画像処理プログラムであって、コンピュータに、上記ＲＧＢベイヤ配列画像からＲ画素の位置に（Ｒ−Ｇ）画素をＢ画素の位置に（Ｂ−Ｇ）画素をそれぞれ作成して（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出ステップと、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像から上記ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数のサンプリング位置への補間を行うことにより同一サンプリング位置における補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを同一画素数ずつ得る帯域制限補間ステップと、上記帯域制限補間ステップにより得られた補間（Ｒ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｒ画素を算出するとともに補間（Ｂ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｂ画素を算出することによりサンプリング位置を同一化したカラー画像を構成する補間Ｒ画素と補間Ｇ画素と補間Ｂ画素とを得るＲＧＢ算出ステップと、を実行させるためのプログラムである。

第１２の発明によれば、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制したカラー画像を得つつ、処理の負荷を小さくすることができる。

第１３の発明による画像処理方法は、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同一化したカラー画像を生成するための画像処理方法であって、上記ＲＧＢベイヤ配列画像からＲ画素の位置に（Ｒ−Ｇ）画素をＢ画素の位置に（Ｂ−Ｇ）画素をそれぞれ作成して（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出ステップと、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像から上記ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数のサンプリング位置への補間を行うことにより同一サンプリング位置における補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを同一画素数ずつ得る帯域制限補間ステップと、上記帯域制限補間ステップにより得られた補間（Ｒ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｒ画素を算出するとともに補間（Ｂ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｂ画素を算出することによりサンプリング位置を同一化したカラー画像を構成する補間Ｒ画素と補間Ｇ画素と補間Ｂ画素とを得るＲＧＢ算出ステップと、を含む方法である。

第１３の発明によれば、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制したカラー画像を得つつ、処理の負荷を小さくすることができる。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、偽色の発生を抑制することができる。

また、本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、ＲＧＢベイヤ配列画像からサンプリング位置を同一化しサイズを変更したカラー画像を生成する際に、回路規模や処理の負荷を小さくすることができる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１４は本発明の実施形態１を示したものであり、図１は画像処理装置の全体的な構成を示すブロック図である。

この画像処理装置は、図１に示すように、撮像部１０１と、色差算出部１０２と、帯域制限補間部１０３と、ＲＧＢ算出部１０４と、圧縮記録部１０５と、を有している。

撮像部１０１は、図示はしないが、レンズと、ＩＲカットフィルタと、光学ローパスフィルタと、単板撮像素子（以下では単に「撮像素子」などと省略する。）と、増幅器と、Ａ／Ｄ変換器と、撮像素子コントローラと、を有して構成されている。ここに、レンズは、被写体の光学像を撮像素子上に結像するためのものである。ＩＲカットフィルタは、レンズを通過する光束から赤外領域の光をカットするためのものである。光学ローパスフィルタは、レンズにより撮像素子上に結像される光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが発生しない空間周波数特性となるように帯域制限を行う光学フィルタである。撮像素子は、図６に示すようなベイヤ配列のカラーフィルタを備える単板式の撮像素子であり、例えばＣＣＤやＣＭＯＳ等により構成されている。ここに図６は、撮像部１０１の単板撮像素子により撮像された色信号のベイヤ配列を示す図である。増幅器は、この撮像素子から出力される信号をアナログ的に増幅するものである。Ａ／Ｄ変換器は、この増幅器により増幅されたアナログ信号をデジタル信号（色信号Ｒs，Ｇs，Ｂs）に変換するものである。撮像素子コントローラは、撮像素子を制御しながら駆動して撮像を行わせ、撮像後にＡ／Ｄ変換器から出力されるデジタル信号（色信号Ｒs，Ｇs，Ｂs）を色成分に応じて分類して色差算出部１０２へ後述するように出力させるものである。

色差算出部１０２は、入力された色信号Ｒs，Ｂsの画素位置に対応する補間Ｇ画素であるＧiと、これらの各画素位置における色差信号Ｒ−Ｇi，Ｂ−Ｇiと、を算出する。そして、色差算出部１０２は、Ｇs信号および色差信号Ｒ−Ｇi，Ｂ−Ｇiを図７に示すような２次元配列として、ラスタスキャン順に帯域制限補間部１０３へ出力する。ここに図７は、色差算出部１０２から出力される色差信号およびＧs信号の２次元配列を示す図である。この色差算出部１０２については、後でより詳しく説明する。

帯域制限補間部１０３は、空間的に同一な位置における（Ｒ−Ｇ），Ｇ，（Ｂ−Ｇ）画素を得るために、周辺の同一色に係る色差Ｒ−Ｇi、色差Ｂ−Ｇi、または画素Ｇを用いてそれぞれ補間を行い、補間して得られた全画素位置の色差Ｒ−Ｇと全画素位置の色差Ｂ−Ｇと全画素位置の画素Ｇとを、ＲＧＢ算出部１０４へそれぞれ出力する。

ＲＧＢ算出部１０４は、帯域制限補間部１０３から入力される色差信号Ｒ−Ｇ，Ｂ−ＧとＧ信号とを加算することにより線形なＲＧＢ信号を算出し、さらにカラーマッチング処理とガンマ補正処理とを行ってＲγ，Ｇγ，Ｂγ信号を算出し、算出したＲγ，Ｇγ，Ｂγ信号を圧縮記録部１０５へ出力する。

圧縮記録部１０５は、ＲＧＢ算出部１０４から入力されたＲγ，Ｇγ，Ｂγ信号をＹ，Ｃｂ，Ｃｒ信号に変換し、さらに、このＹ，Ｃｂ，Ｃｒ信号をＪＰＥＧやＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データに変換して、この圧縮データを記録媒体に保存する。

次に、図２は、色差算出部１０２の構成を示すブロック図である。

この色差算出部１０２は、メモリ２０１と、メモリ２０２と、縦補間Ｇ算出部２０３と、横補間Ｇ算出部２０４と、４画素平均Ｇ算出部２０５と、減算部２０６と、減算部２０７と、減算部２０８と、メモリ２０９と、メモリ２１０と、メモリ２１１と、メモリ２１２と、周辺類似度算出部２１３と、周辺類似度算出部２１４と、周辺類似度算出部２１５と、選択判定部２１６と、を有している。

撮像部１０１から出力された色信号Ｒs，Ｂsはメモリ２０１に、色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理を実施可能とする画素が揃うまでの遅延を得るために、所定ライン分だけ格納される。図２に示す例においては、メモリ２０１およびメモリ２０２に格納されるライン数は、少なくとも３ラインである。

ここで、欠落Ｇ画素位置にはＲ画素またはＢ画素が配置されていることになるが、これら２つの色信号をまとめてＸ、あるいはＸ画素などと記載して、以後は説明することにする。

縦補間Ｇ算出部２０３は、図８に示すような縦方向の近傍Ｇ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２によりＧ補間候補を算出し、減算部２０６へ出力する色差候補算出手段である。ここに図８は、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

横補間Ｇ算出部２０４は、図９に示すような横方向の近傍Ｇ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２によりＧ補間候補を算出し、減算部２０７へ出力する色差候補算出手段である。ここに図９は、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

４画素補間Ｇ算出部２０５は、図１０に示すような縦横４方向の近傍Ｇ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４によりＧ補間候補を算出し、減算部２０８へ出力する色差候補算出手段である。ここに図１０は、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

なお、ここではＭ＝３種類のＧ補間候補を算出するようにしているが、算出するＧ補間候補の種類Ｍは２以上の任意の種類でも構わない。

減算部２０６は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇvを算出して、メモリ２０９へ出力し記憶させる色差候補算出手段である。

減算部２０７は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇhを算出して、メモリ２１０へ出力し記憶させる色差候補算出手段である。

減算部２０８は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇaを算出して、メモリ２１１へ出力し記憶させる色差候補算出手段である。

なお、メモリ２０９，２１０，２１１に格納される色差信号は、後で周辺類似度算出部２１３，２１４，２１５により相関関連値としての周辺類似度（ここに、「相関値」でなく「「相関関連値」という言葉を用いたのは、相関値は値が大きいときに相関性が高いことを示すものであるのに対して、周辺類似度は後述するように値が小さいときに相関性が高いことを示すものであるためである。）を算出する際に用いられる。そして、周辺類似度算出部２１３，２１４，２１５は、図１１〜図１３に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇaの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは同種色差信号ではなく、また、Ｒ−ＧvとＲ−Ｇhとは同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２０９，２１０，２１１は、周辺類似度算出部２１３，２１４，２１５が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。

こうして、メモリ２０９，２１０，２１１に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２０９，２１０，２１１から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇaが周辺類似度算出部２１３，２１４，２１５へそれぞれ出力される。

周辺類似度算出部２１３は、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｖ（ｋ，ｌ）を次のように算出する。

すなわち、周辺類似度算出部２１３は、まず図１１に示すように、中央の色差信号（Ｘ−Ｇv）k,l（ここに、「（Ｘ−Ｇv）k,l」は、「Ｘ（ｋ，ｌ）−Ｇv（ｋ，ｌ）」を省略して記載したものである。以下同様。）と、その周辺位置の８つの色差信号（Ｘ−Ｇv）k-2,l-2、（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k+2,l-2、（Ｘ−Ｇv）k-2,l、（Ｘ−Ｇv）k+2,l、（Ｘ−Ｇv）k-2,l+2、（Ｘ−Ｇv）k,l+2、（Ｘ−Ｇv）k+2,l+2と、を用いて、第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）を次のように算出する。ここに図１１は、縦方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓｖ1（ｋ，ｌ）＝｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k,l｜
さらに、周辺類似度算出部２１３は、図１１において太線で囲んだ部分における、中央の色差信号（Ｘ−Ｇv）k,lと、その周辺位置の２つの色差信号（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k,l+2と、を用いて差分絶対値和を算出し、さらにこの差分絶対値和に第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）とのバランスを取るための重み付けを行って、第２の色差周辺類似度候補Ｓｖ2（ｋ，ｌ）を算出する。
Ｓｖ2（ｋ，ｌ）＝｛｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜｝×４
そして、周辺類似度算出部２１３は、上述したように算出された第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）と第２の色差周辺類似度候補Ｓｖ2（ｋ，ｌ）とを比較して、値が大きくない方（同値でない場合には、値が小さい方）、つまり類似度が低くない方（同一類似度でない場合には、類似度が高い方）を、色差周辺類似度Ｓｖ（ｋ，ｌ）として採用する。

このように、２つの色差周辺類似度候補Ｓｖ1（ｋ，ｌ）、Ｓｖ2（ｋ，ｌ）の内の、値が大きくない方を色差周辺類似度Ｓｖ（ｋ，ｌ）とすることにより、急峻な縦エッジ境界部と緩やかに変化する縦エッジ境界との両方に対応することができ、判定エラーを低減することが可能となる。

同様にして、周辺類似度算出部２１４は、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｈ（ｋ，ｌ）を次のように算出する。

すなわち、周辺類似度算出部２１４は、まず図１２に示すように、中央の色差信号（Ｘ−Ｇh）k,lと、その周辺位置の８つの色差信号（Ｘ−Ｇh）k-2,l-2、（Ｘ−Ｇh）k,l-2、（Ｘ−Ｇh）k+2,l-2、（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,l、（Ｘ−Ｇh）k-2,l+2、（Ｘ−Ｇh）k,l+2、（Ｘ−Ｇh）k+2,l+2と、を用いて、第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）を次のように算出する。ここに図１２は、横方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓｈ1（ｋ，ｌ）＝｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l｜
さらに、周辺類似度算出部２１４は、図１２において太線で囲んだ部分における、中央の色差信号（Ｘ−Ｇh）k,lと、その周辺位置の２つの色差信号（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,lと、を用いて差分絶対値和を算出し、さらにこの差分絶対値和に第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）とのバランスを取るための重み付けを行って、第２の色差周辺類似度候補Ｓｈ2（ｋ，ｌ）を算出する。
Ｓｈ2（ｋ，ｌ）＝｛｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜｝×４
そして、周辺類似度算出部２１４は、上述したように算出された第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）と第２の色差周辺類似度候補Ｓｈ2（ｋ，ｌ）とを比較して、値が大きくない方（同値でない場合には、値が小さい方）、つまり類似度が低くない方（同一類似度でない場合には、類似度が高い方）を、色差周辺類似度Ｓｈ（ｋ，ｌ）として採用する。

このように、２つの色差周辺類似度候補Ｓｈ1（ｋ，ｌ）、Ｓｈ2（ｋ，ｌ）の内の、値が大きくない方を色差周辺類似度Ｓｈ（ｋ，ｌ）とすることにより、急峻な横エッジ境界部と緩やかに変化する横エッジ境界との両方に対応することができ、判定エラーを低減することが可能となる。

また、周辺類似度算出部２１５は、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓａ（ｋ，ｌ）を次のように算出する。

すなわち、周辺類似度算出部２１５は、図１３に示すように、中央の色差信号（Ｘ−Ｇa）k,lと、その周辺位置の８つの色差信号（Ｘ−Ｇa）k-2,l-2、（Ｘ−Ｇa）k,l-2、（Ｘ−Ｇa）k+2,l-2、（Ｘ−Ｇa）k-2,l、（Ｘ−Ｇa）k+2,l、（Ｘ−Ｇa）k-2,l+2、（Ｘ−Ｇa）k,l+2、（Ｘ−Ｇa）k+2,l+2と、を用いて、以下に示すように差分絶対値和を算出することにより、色差周辺類似度Ｓａ（ｋ，ｌ）を算出する。ここに図１３は、欠落Ｇ信号位置の隣接４画素補間に基づき算出した色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓａ（ｋ，ｌ）＝｜（Ｘ−Ｇa）k-2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l+2−（Ｘ−Ｇa）k,l｜
このようにして周辺類似度算出部２１３，２１４，２１５により各算出された色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）は、選択判定部２１６に入力される。

選択判定部２１６は、これら３つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する色差候補を色差信号として帯域制限補間部１０３へ出力する選択手段である。

また、Ｇ信号に関しては、メモリ２１２にバッファされており、選択判定部２１６から出力される色差信号にあわせて、このメモリ２１２から帯域制限補間部１０３へ出力されるようになっている。

次に、図３は、帯域制限補間部１０３の構成を示すブロック図である。

帯域制限補間部１０３は、ローパスフィルタ３０１と、メモリ３０２と、メモリ３０３と、メモリ３０４と、水平（Ｒ−Ｇ）補間処理部３０５と、水平Ｇ補間処理部３０６と、水平（Ｂ−Ｇ）補間処理部３０７と、垂直（Ｒ−Ｇ）補間処理部３０８と、垂直Ｇ補間処理部３０９と、垂直（Ｂ−Ｇ）補間処理部３１０と、を有している。

色差算出部１０２から帯域制限補間部１０３に入力される信号は、色差信号Ｘ−ＧiとＧs信号とであり、これらの内の色差信号Ｘ−Ｇiは、より詳しくは、色差信号Ｒ−Ｇiと色差信号Ｂ−Ｇiとである。

色差信号Ｒ−Ｇiはメモリ３０２に入力され、色差信号Ｂ−Ｇiはメモリ３０４に入力されて、それぞれ格納される。

また、Ｇs信号は、まずローパスフィルタ３０１に入力されて、このローパスフィルタ３０１により高周波成分をカットされて色差信号Ｒ−Ｇiや色差信号Ｂ−Ｇiと同じ帯域に制限された後に、メモリ３０３に入力されて格納される。

ここに、メモリ３０２には、目標とする補間位置（例えば、図１４において白丸で示す位置ＴＩＰ。ここに図１４は、目標補間位置を２×２画素の中央として、画像サイズを水平方向および垂直方向ともに１／２にする例（すなわち、ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数の補間画素を得る例の１つ）を示す図である。）への補間処理に必要なライン数分の色差信号Ｒ−Ｇiが格納される。メモリ３０２から読み出された色差信号Ｒ−Ｇiは、水平（Ｒ−Ｇ）補間処理部３０５により水平方向の補間フィルタ処理が行われ、続いて垂直（Ｒ−Ｇ）補間処理部３０８により垂直方向の補間フィルタ処理が行われる。

同様に、メモリ３０３には、上記目標とする補間位置（すなわち、（Ｒ−Ｇ）を補間するサンプリング位置と同一のサンプリング位置）への補間処理に必要なライン数分のＧs信号が格納される。メモリ３０３から読み出されたＧs信号は、水平Ｇ補間処理部３０６により水平方向の補間フィルタ処理が行われ、続いて垂直Ｇ補間処理部３０９により垂直方向の補間フィルタ処理が行われる。

さらに、メモリ３０４には、上記目標とする補間位置（すなわち、（Ｒ−Ｇ）およびＧを補間するサンプリング位置と同一のサンプリング位置）への補間処理に必要なライン数分の色差信号Ｂ−Ｇiが格納される。メモリ３０４から読み出された色差信号Ｂ−Ｇiは、水平（Ｂ−Ｇ）補間処理部３０７により水平方向の補間フィルタ処理が行われ、続いて垂直（Ｂ−Ｇ）補間処理部３１０により垂直方向の補間フィルタ処理が行われる。

このような帯域制限補間部１０３の処理により、同一位置に存在しない色差信号Ｒ−Ｇi，Ｂ−ＧiとＧs信号とに基づいて、上記目標とする同一の補間位置に色差信号Ｒ−Ｇ，Ｂ−ＧおよびＧ信号を得ることができる。こうして得られた色差信号Ｒ−Ｇ，Ｂ−ＧとＧ信号とは、ＲＧＢ算出部１０４へ出力される。このような構成をとることにより、一度フルサイズのカラー画像を作成した後に縮小処理する場合に比べて、回路規模を削減することができる。

なお、上述した図３に示した帯域制限補間部１０３の構成は、Ｇs信号に対してローパスフィルタをかけて高周波成分をカットしてから補間を行う構成となっていた。しかし、このような構成では、ハードウェア化を行うときの回路規模をまだ十分削減できているとはいえない。そこで、さらに回路規模を削減するために、帯域制限処理と補間処理とを同時に行うようにした構成を、図４を参照して説明する。ここに、図４は、帯域制限補間部１０３の変形例の構成を示すブロック図である。

この帯域制限補間部１０３は、図３の構成からローパスフィルタ３０１を省略し、水平Ｇ補間処理部３０６に代えて水平Ｇ帯域制限補間処理部４０１を、垂直Ｇ補間処理部３０９に代えて垂直Ｇ帯域制限補間処理部４０２を、それぞれ設けたものとなっている。

色差信号Ｒ−Ｇiはメモリ３０２に、色差信号Ｂ−Ｇiはメモリ３０４に、Ｇs信号はメモリ３０３に、それぞれ入力されて格納される。この図４の構成では、図３のローパスフィルタ３０１と同様の効果を、後段の補間処理において同時に実現するようになっている。

メモリ３０２に格納されている色差信号Ｒ−Ｇiの補間フィルタ処理と、メモリ３０４に格納されている色差信号Ｂ−Ｇiの補間フィルタ処理とは、上述した図３と同様に行われる。

また、メモリ３０３には、上記目標とする補間位置への補間処理に必要なライン数分のＧs信号が格納されるのは、上述と同様である。メモリ３０３から読み出されたＧs信号は、水平Ｇ帯域制限補間処理部４０１により水平方向の帯域制限をかけながら同時に水平方向の補間処理が行われ、続いて垂直Ｇ帯域制限補間処理部４０２により垂直方向の帯域制限をかけながら同時に垂直方向の補間処理が行われる。これら水平Ｇ帯域制限補間処理部４０１と垂直Ｇ帯域制限補間処理部４０２とは、具体的にはランチョスフィルタによって構成される。ここでランチョスフィルタは、図１４に示すような補間位置の場合には、水平方向および垂直方向ともにＧs信号のナイキスト周波数の１／２の周波数以上の帯域の信号をカット（例えばこの帯域の信号を６ｄＢダウン）するローパスフィルタ特性のフィルタとなる。

このような帯域制限補間部１０３の処理により、同一位置に存在しない色差信号Ｒ−Ｇi，Ｂ−ＧiとＧs信号とに基づいて、上記目標とする同一の補間位置に色差信号Ｒ−Ｇ，Ｂ−ＧおよびＧ信号（補間（Ｒ−Ｇ）画素、補間（Ｂ−Ｇ）画素、および補間Ｇ画素）を得ることができる。こうして得られた色差信号Ｒ−Ｇ，Ｂ−ＧとＧ信号とは、ＲＧＢ算出部１０４へ出力される。

なお、上記目標とする補間位置は、図１４に示した位置ＴＩＰに限定されるものではない。例えば画像サイズを水平方向および垂直方向ともに１／４に縮小する場合には、図１４に示した補間位置ＴＩＰをさらに水平方向および垂直方向ともに半分に間引いた位置となる（この例も、ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数の補間画素を得る例の１つ）。さらにこの場合には、Ｇs信号の水平方向および垂直方向のナイキスト周波数の１／４の周波数以上の帯域の信号をカット（上述と同様に、例えばこの帯域の信号を６ｄＢダウン）するローパスフィルタ特性のランチョスフィルタをかけると共に、色差信号Ｒ−Ｇi，Ｂ−Ｇiに対しても、これらの色差信号Ｒ−Ｇi，Ｂ−Ｇiの水平方向および垂直方向のナイキスト周波数の１／２の周波数以上の帯域の信号をカット（同様に、例えばこの帯域の信号を６ｄＢダウン）するローパスフィルタ特性のランチョスフィルタをかけることになる。従って、この場合には、図４に示した各補間処理部３０５，３０８，３０７，３１０も、それぞれ帯域制限補間処理部に置き換えることになる。

これにより、折り返し歪みのない縮小画像を生成することができる。

このような図４の構成によれば、上述した図３の構成に比して、画質の低下を防ぎながら、ハードウェア化するときの回路規模の増加をさらに抑制することが可能となる。

次に、図５は、ＲＧＢ算出部１０４の構成を示すブロック図である。

ＲＧＢ算出部１０４は、加算部５０１と、加算部５０２と、カラーマトリックス処理部５０３と、γ補正部５０４と、γ補正部５０５と、γ補正部５０６と、を有している。

このＲＧＢ算出部１０４には、帯域制限補間部１０３から出力された各画素位置の色差信号Ｒ−Ｇ，Ｂ−ＧとＧ信号とがそれぞれ入力される。

加算部５０１は、入力された色差信号Ｒ−Ｇと同一位置のＧ信号とを加算することによりＲ信号を生成し、カラーマトリックス処理部５０３へ出力する。

加算部５０２は、入力された色差信号Ｂ−Ｇと同一位置のＧ信号とを加算することによりＢ信号を生成し、カラーマトリックス処理部５０３へ出力する。

また、帯域制限補間部１０３からのＧ信号は、そのままカラーマトリックス処理部５０３へ出力される。

このような処理を行うことにより、各画素位置におけるＲ信号、Ｇ信号、Ｂ信号が復元されることになる。

カラーマトリックス処理部５０３は、復元されたＲ信号、Ｇ信号、およびＢ信号が入力されると、これらを例えばｓＲＧＢ空間の信号に変換する。そして、カラーマトリックス処理部５０３は、変換したＲ信号をγ補正部５０４へ、変換したＢ信号をγ補正部５０５へ、変換したＧ信号をγ補正部５０６へ、それぞれ出力する。

γ補正部５０４，５０５，５０６は、カラーマトリックス処理部５０３から入力される変換後のＲ，Ｇ，Ｂ信号が例えば１２ビットの信号であるとすると、これらの信号をそれぞれγ補正して８ビットに変換されたＲγ信号、Ｇγ信号、Ｂγ信号をそれぞれ生成し、圧縮記録部１０５へ出力する。

その後の圧縮記録部１０５による処理は、上述した通りである。

なお、上述では、画像処理装置について述べたが、同様の処理を行う画像処理プログラム、画像処理方法であっても構わない。

このような実施形態１によれば、原色ベイヤ方式の撮像素子から得られた単板の画像データをカラー化（三板化）する際に、まず色差信号を算出し、次に色差信号およびＧ信号で構成されるベイヤ配列画像をＧ信号よりも画素数の少ない画像サイズに変更しながら同時に補間処理して補間画素を得るようにしているために、偽色の発生を抑圧しながら、ハードウェア化するときの回路規模の増大も抑制することが可能となる。

さらに、色差信号を算出する際に、複数の色差候補の中から周辺類似度に応じた最適な色差候補を選択し、この色差候補に基づいて各色信号を復元するようにしているために、偽色の発生をより一層抑圧して、補間に伴う解像度低下や彩度低下を抑圧し、高品位なカラー画像を再現することが可能となる。

また、色差信号およびＧ信号で構成されるベイヤ配列画像から同一サンプリング位置の補間画像を得る際に、Ｇ信号については帯域制限を行っているために、偽色と輝度モワレの発生を効果的に抑制することができる。

加えて、補間処理とＧ信号の帯域制限とを同時に行うように構成した場合には、ハードウェア化するときの回路規模の増大をより一層抑制することも可能となる。

なお、回路規模の増大を抑制する技術は、画像処理プログラムや画像処理方法においては、処理の負荷を小さくすることに繋がる。

［実施形態２］
図１５から図１７は本発明の実施形態２を示したものであり、図１５は色差算出部の構成を示すブロック図、図１６はＧ変動量算出部により使用するＧ信号のベイヤ配列上における位置を示す図、図１７はＧ変動量算出部により算出するＧ変動量と隣接４画素補間を用いて算出した周辺類似度に対する重み係数との関係を示す線図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２は、上述した実施形態１に対して、画像の平坦部における画質の改善をさらに図るようにしたものとなっている。

すなわち、実施形態１において説明した欠落Ｇ画素に対する３つの補間切換判定は、画像平坦部において、画像の局所相関性に伴う色差周辺類似度の３つの差（画像平坦部においては、この差が本来的に小さい）よりも撮像素子固有のノイズ量に伴う変化量が優勢になると、色差類似度の最小値判定において誤判定が発生し、ノイズの空間的な発生パターンに依存して縦補間、横補間、４画素補間が、ランダム性またはある周期性を持って頻繁に切り替わる可能性がある。そして、これに伴って、不自然な模様が現れるような画質劣化が発生する場合があり得る。

そこで、本実施形態においては、このような画質劣化の発生を抑制するために、画像変動量を定量化することによる該変動量の検出処理と、検出した該変動量に適応して４画素補間の優先度を向上させる重み付け処理と、をさらに行うようにしたものである。

すなわち、本実施形態の色差算出部１０２は、上述した実施形態１の色差算出部１０２に対して、Ｇ変動量算出部１５０１と、メモリ１５０２と、乗算部１５０３と、ローパスフィルタ１５０４と、をさらに追加したものとなっている。ここに、上述したメモリ２０２はＧ変動量算出部１５０１に接続され、このＧ変動量算出部１５０１はメモリ１５０２に接続され、メモリ１５０２は乗算部１５０３に接続され、乗算部１５０３は選択判定部２１６へ接続されている。さらに、乗算部１５０３は、周辺類似度算出部２１５とも接続されている。また、メモリ２０１はローパスフィルタ１５０４へ接続され、ローパスフィルタ１５０４は減算部２０８へ接続されている。

この図１５に示したような色差算出部１０２の作用の内の、図２に示した色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、Ｇ変動量算出部１５０１とメモリ１５０２と乗算部１５０３とローパスフィルタ１５０４とに係る部分である。

Ｇ変動量算出部１５０１は、メモリ２０２に格納されているＧs信号の内の、図１６に示すような欠落Ｇ画素位置（ｉ，ｊ）の周辺に配置されたＧs信号を読み込んで、次に示すようにＧ変動量（ｉ，ｊ）を算出する。
Ｇ変動量（ｉ，ｊ）＝Ｄc（ｉ，ｊ）／Ｐ
＋｛Ｄr1（ｉ，ｊ）＋Ｄr2（ｉ，ｊ）＋Ｄr3（ｉ，ｊ）＋Ｄr4（ｉ，ｊ）｝／Ｑ
ここに、ＰとＱはＰ＞０、Ｑ＞０を満たす任意の定数であり、
Ｄc（ｉ，ｊ）＝｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
＋Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）＋Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）＋Ｇs（ｉ，ｊ＋１）｜
Ｄr1（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
＋Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）＋Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ−１，ｊ）｜
Ｄr2（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
＋Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）＋Ｇs（ｉ＋１，ｊ）｜
Ｄr3（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
＋Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）＋Ｇs（ｉ＋１，ｊ＋２）｜
Ｄr4（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
＋Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）＋Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ−１，ｊ＋２）｜
である。

Ｇ変動量算出部１５０１は、このように算出したＧ変動量（ｉ，ｊ）に基づいて、図１７に示すような形状の関数を用いて、重み係数ｗ（ｉ，ｊ）を算出する。ここに、図１７に示す関数は、Ｇ変動量が所定の閾値Ｔｈ以上である場合には重みを１とし、Ｇ変動量がこの閾値Ｔｈ未満である場合にはＧ変動量に比例するような（つまり、Ｇ変動量が小さくなるに従って、重みが小さくなるような）、関数となっている。このようなＧ変動量に対する重み係数ｗ（ｉ，ｊ）の関係は、所定の計算式に基づき算出されるか、あるいは予め記憶されているルックアップテーブルを参照することにより変換されるようになっている。

Ｇ変動量算出部１５０１が算出した重み係数ｗ（ｉ，ｊ）は、メモリ１５０２に出力されて格納される。

一方、Ｇ補間候補Ｇv，Ｇh，Ｇaの算出と、色差信号Ｘ−Ｇv，Ｘ−Ｇhの算出とは図２と同様である。ただし、色差信号Ｘ−Ｇaの算出においては、メモリ２０１からのＸ画素（Ｒs画素またはＢs画素）がローパスフィルタ１５０４によって高周波成分をカットされた後（修正画素ＸLになった後）に減算部２０８へ入力され、色差信号Ｘ−Ｇaが算出される。従って、メモリ２１１から周辺類似度算出部２１５および選択判定部２１６へ転送される色差信号も、このローパスフィルタ処理後のＸ画素（修正画素ＸL）に基づく色差信号Ｘ−Ｇaとなる。

次に、乗算部１５０３は、周辺類似度算出部２１５から出力された４画素補間Ｇaに係る色差Ｘ−Ｇaの周辺類似度Ｓａと、メモリ１５０２に格納されている重み係数ｗの内のこの周辺類似度Ｓａと同一画素位置に対応する重み係数ｗと、を乗算することによりＳａ×ｗを算出し、算出したＳａ×ｗを新たな周辺類似度（新たな相関関連値）として選択判定部２１６へ出力する。

その後の選択判定部２１６による判定処理、あるいはそれ以降の処理は、上述した実施形態１と同様である。

このような処理を行うと、Ｇ変動量が所定閾値Ｔｈ未満である場合（すなわち、ｗ＜１である場合）にはＳａ×ｗはＳａ単体よりも小さい値となるために、選択判定部２１６の判定においてＳａ×ｗが最小値となる可能性が増大することになる。つまり、Ｇ変動量が小さい平坦な領域においては、縦補間Ｇや横補間Ｇが選択される可能性が低減され、４画素補間Ｇがより高い確率で選択されて、ノイズによる影響がキャンセルされるようになっている。

このような実施形態２によれば、エッジ部分においては上述した実施形態１とほぼ同様に偽色の発生を抑制することができるとともに、さらに、平坦な領域における不自然な模様状のノイズの発生を抑制することが可能となる。

［実施形態３］
図１８から図２０は本発明の実施形態３を示したものであり、図１８は色差算出部の構成を示すブロック図、図１９は欠落Ｇ信号位置の斜め方向補間として用いる周辺１２画素のＧ信号のベイヤ配列上における位置を示す図、図２０は周辺１２画素補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態３は、上述した実施形態２に対して、斜め方向の解像度をさらに改善するようにしたものである。

上述した実施形態１，２においては、欠落Ｇ画素の補間を、縦方向、横方向、周辺４画素を用いた線形補間により行っていた。これらの内の縦方向補間は縦方向エッジに、横方向補間は横方向エッジに、それぞれ沿って適用された場合には、該エッジに直交する方向の周波数特性は補間によって変化することはない。つまり、エッジは鈍らされることなく保存される。これに対して、斜め方向のエッジは、実施形態１，２においては対応する方向の補間が存在せず、周辺色差類似度が最小となる補間方法としては主に周辺４画素補間が選択されることになる。

このような場合に発生し得る斜め方向のエッジの鈍りを改善するために、この実施形態３においては、斜め方向における高周波数成分の低下が少ない特性を備えた斜め補間処理をさらに追加するようにしたものとなっている。

このような斜め補間機能を備えた色差算出部１０２の構成について、図１８を参照して説明する。

本実施形態の色差算出部１０２は、上述した実施形態２の色差算出部１０２に対して、色差候補算出手段たる斜め補間Ｇ算出部１８０１と、色差候補算出手段たる減算部１８０２と、メモリ１８０３と、周辺類似度算出部１８０４と、をさらに追加し、選択判定部２１６に代えて選択手段たる選択判定部１８０５を設け、ローパスフィルタ１５０４を省略したものとなっている。

ここに、上述したメモリ２０２は斜め補間Ｇ算出部１８０１に接続され、この斜め補間Ｇ算出部１８０１は減算部１８０２へ接続されている。また、メモリ２０１も減算部１８０２へ接続されている。減算部１８０２は、メモリ１８０３と接続されている。メモリ１８０３は、周辺類似度算出部１８０４および選択判定部１８０５へ接続されている。また、周辺類似度算出部１８０４も選択判定部１８０５へ接続されている。そして、選択判定部１８０５は、帯域制限補間部１０３へ接続されている。

この図１８に示したような色差算出部１０２の作用の内の、図１５に示した色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、斜め補間Ｇ算出部１８０１と減算部１８０２とメモリ１８０３と周辺類似度算出部１８０４と選択判定部１８０５とに係る部分である。

撮像部１０１から出力された色信号Ｒs，Ｂsはメモリ２０１に、色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理が実施可能となる画素が揃うまでの遅延を得るために、所定ライン分が格納されるのは上述と同様である。ただし、この図１８に示す例においては、メモリ２０１およびメモリ２０２に格納されるライン数は、少なくとも５ラインである。

欠落Ｇ画素の補間方法としては、図８、図９、図１０、図１９に示した４種類のＧ画素の配置を使用する。

すなわち、縦補間Ｇ算出部２０３が、図８に示す配置のＧ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２により欠落Ｇ画素の補間候補を算出するのは上述と同様である。

また、横補間Ｇ算出部２０４が、図９に示す配置のＧ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２により欠落Ｇ画素の補間候補を算出するのも上述と同様である。

さらに、４画素補間Ｇ算出部２０５が、図１０に示す配置のＧ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４により欠落Ｇ画素の補間候補を算出するのも上述と同様である。

そして、本実施形態の斜め補間Ｇ算出部１８０１は、図１９に示す配置のＧ画素を用いて、補間式Ｇd＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）×α−（Ｇ5＋Ｇ6＋Ｇ7＋Ｇ8＋Ｇ9＋Ｇ10＋Ｇ11＋Ｇ12）×βにより欠落Ｇ画素の補間候補を算出するようになっている。ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である。

縦補間Ｇ算出部２０３、横補間Ｇ算出部２０４、４画素補間Ｇ算出部２０５、斜め補間Ｇ算出部１８０１によって各算出された補間候補は、それぞれ、減算部２０６，２０７，２０８，１８０２へ出力される。

減算部２０６，２０７，２０８，１８０２は、メモリ２０１から欠落Ｇ画素と同一位置にあるＸ画素を読み込んで、上述したＧ補間候補をそれぞれ減算することにより、色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdをそれぞれ算出する。

こうして算出された色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdは、メモリ２０９，２１０，２１１，１８０３にそれぞれ格納される。

なお、メモリ２０９，２１０，２１１，１８０３に格納される色差信号は、後で周辺類似度算出部２１３，２１４，２１５，１８０４により周辺類似度を算出する際に用いられる。そして、周辺類似度算出部２１３，２１４，２１５，１８０４は、図１１、図１２、図１３、図２０に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇa，Ｇdの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは同種色差信号ではなく、また、Ｒ−ＧvとＲ−Ｇhとは同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２０９，２１０，２１１，１８０３は、周辺類似度算出部２１３，２１４，２１５，１８０４が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。

こうして、メモリ２０９，２１０，２１１，１８０３に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２０９，２１０，２１１，１８０３から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdが周辺類似度算出部２１３，２１４，２１５，１８０４へそれぞれ出力される。

周辺類似度算出部１８０４は、実施形態１，２において説明したＳｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）と同様に、図２０に示すように、中央の色差信号（Ｘ−Ｇd）k,lと、その周辺位置の８つの色差（Ｘ−Ｇd）k-2,l-2、（Ｘ−Ｇd）k,l-2、（Ｘ−Ｇd）k+2,l-2、（Ｘ−Ｇd）k-2,l、（Ｘ−Ｇd）k+2,l、（Ｘ−Ｇd）k-2,l+2、（Ｘ−Ｇd）k,l+2、（Ｘ−Ｇd）k+2,l+2と、を用いて、以下の差分絶対値和を算出することにより、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｄ（ｋ，ｌ）を算出する。
Ｓｄ（ｋ，ｌ）＝｜（Ｘ−Ｇd）k-2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l+2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k,l+2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l+2−（Ｘ−Ｇd）k,l｜
このようにして算出される４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）の内の、４画素補間時の色差周辺類似度Ｓａ（ｋ，ｌ）は、上述した実施形態２と同様に、乗算部１５０３により、Ｇ変動量算出部１５０１によって算出されてメモリ１５０２に格納されている重み係数ｗ（ｋ，ｌ）と乗算される。

こうして、４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が、選択判定部１８０５に入力される。

選択判定部１８０５は、これら４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を帯域制限補間部１０３へ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、選択判定部１８０５は、例えばＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。

具体的には、選択判定部１８０５は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓｄ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇd）k,lを、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇa）k,lを、帯域制限補間部１０３へ出力するようになっている。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、色差を算出するときの未確定パラメータである欠落Ｇ画素を、色差信号は局所的に相関性が高いという前提条件に基づいた最も確からしいものとして、４種類のＧ補間候補の中から１つ選択することができる。その結果として、画像の局所的なエッジに最適な欠落Ｇ画素が補間されるために、偽色の発生を抑制することができるとともに、さらに、水平方向および垂直方向のエッジ部のみならず、斜め方向のエッジ部の解像度低下を抑制することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、ＲＧＢベイヤ配列画像からサンプリング位置を同一化したカラー画像を生成する画像処理装置、画像処理プログラム、画像処理方法に好適に利用することができる。

本発明の実施形態１における画像処理装置の全体的な構成を示すブロック図。 上記実施形態１における色差算出部の構成を示すブロック図。 上記実施形態１における帯域制限補間部の構成を示すブロック図。 上記実施形態１における帯域制限補間部の変形例の構成を示すブロック図。 上記実施形態１におけるＲＧＢ算出部の構成を示すブロック図。 上記実施形態１において、撮像部の単板撮像素子により撮像された色信号のベイヤ配列を示す図。 上記実施形態１において、色差算出部から出力される色差信号およびＧs信号の２次元配列を示す図。 上記実施形態１において、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。 上記実施形態１において、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。 上記実施形態１において、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。 上記実施形態１において、縦方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。 上記実施形態１において、横方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。 上記実施形態１において、欠落Ｇ信号位置の隣接４画素補間に基づき算出した色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。 上記実施形態１において、目標補間位置を２×２画素の中央として、画像サイズを水平方向および垂直方向ともに１／２にする例を示す図。 本発明の実施形態２における色差算出部の構成を示すブロック図。 上記実施形態２において、Ｇ変動量算出部により使用するＧ信号のベイヤ配列上における位置を示す図。 上記実施形態２において、Ｇ変動量算出部により算出するＧ変動量と隣接４画素補間を用いて算出した周辺類似度に対する重み係数との関係を示す線図。 本発明の実施形態３における色差算出部の構成を示すブロック図。 上記実施形態３において、欠落Ｇ信号位置の斜め方向補間として用いる周辺１２画素のＧ信号のベイヤ配列上における位置を示す図。 上記実施形態３において、周辺１２画素補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。 従来のデジタルカメラの構成の一例を示すブロック図。 従来において、原色ベイヤ方式の撮像素子により撮影された画像の一部を示す図。

符号の説明

１０１…撮像部
１０２…色差算出部（色差算出手段）
１０３…帯域制限補間部（帯域制限補間手段）
１０４…ＲＧＢ算出部（ＲＧＢ算出手段）
１０５…圧縮記録部
２０１，２０２…メモリ
２０３…縦補間Ｇ算出部（色差候補算出手段）
２０４…横補間Ｇ算出部（色差候補算出手段）
２０５…４画素平均Ｇ算出部（色差候補算出手段）
２０６，２０７，２０８…減算部（色差候補算出手段）
２０９，２１０，２１１，２１２…メモリ
２１３，２１４，２１５…周辺類似度算出部
２１６…選択判定部（選択手段）
３０１…ローパスフィルタ
３０２，３０３，３０４…メモリ
３０５…水平（Ｒ−Ｇ）補間処理部
３０６…水平Ｇ補間処理部
３０７…水平（Ｂ−Ｇ）補間処理部
３０８…垂直（Ｒ−Ｇ）補間処理部
３０９…垂直Ｇ補間処理部
３１０…垂直（Ｂ−Ｇ）補間処理部
４０１…水平Ｇ帯域制限補間処理部
４０２…垂直Ｇ帯域制限補間処理部
５０１，５０２…加算部
５０３…カラーマトリックス処理部
５０４，５０５，５０６…γ補正部
１５０１…Ｇ変動量算出部
１５０２…メモリ
１５０３…乗算部
１５０４…ローパスフィルタ
１８０１…斜め補間Ｇ算出部（色差候補算出手段）
１８０２…減算部（色差候補算出手段）
１８０３…メモリ
１８０４…周辺類似度算出部
１８０５…選択判定部（選択手段）

Claims (13)

1. Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同一化したカラー画像を生成する画像処理装置であって、
   上記ＲＧＢベイヤ配列画像から、Ｒ画素の位置に（Ｒ−Ｇ）画素を、Ｂ画素の位置に（Ｂ−Ｇ）画素を、それぞれ作成して、（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出手段と、
   上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像から、上記ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数のサンプリング位置への補間を行うことにより、同一サンプリング位置における補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを同一画素数ずつ得る帯域制限補間手段と、
   上記帯域制限補間手段により得られた補間（Ｒ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｒ画素を算出するとともに、補間（Ｂ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｂ画素を算出することにより、サンプリング位置を同一化したカラー画像を構成する補間Ｒ画素と補間Ｇ画素と補間Ｂ画素とを得るＲＧＢ算出手段と、
   を具備したことを特徴とする画像処理装置。
2. 上記色差算出手段は、
   上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出し、算出したＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、Ｍ種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出手段と、
   上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差相関関連値を算出し、この算出したＭ種類の色差相関関連値に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する選択手段と、
   を有して構成されたものであることを特徴とする請求項１に記載の画像処理装置。
3. 上記色差候補算出手段は、
   上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出し、
   該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出し、
   該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出するものであることを特徴とする請求項２に記載の画像処理装置。
4. 上記色差候補算出手段は、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
   Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
   ＋Ｇ（ｘ0，ｙ0＋１）｝×α
   −｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
   ＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
   ＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
   ＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
   （ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）をさらに算出するものであることを特徴とする請求項３に記載の画像処理装置。
5. 上記色差候補算出手段は、上記Ｘ画素の上下左右に隣接する４つのＧ画素の平均として算出されたＧ補間候補に対しては、該Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出し、この修正画素ＸLと該Ｇ補間候補とを用いて色差候補を算出するものであることを特徴とする請求項３に記載の画像処理装置。
6. 上記選択手段は、上記Ｘ画素の上下左右に隣接する４つのＧ画素の平均として算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との相関関連値に対しては、該Ｘ画素の周辺のＧ画素値の変動量を算出して該変動量に基づいた重み係数を算出し、算出した重み係数を該相関関連値に乗算したものを新たな相関関連値とするものであることを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 上記選択手段は、
   上記Ｘ画素の上下に隣接する２つのＧ画素の平均として算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との相関関連値として、
   該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で算出した相関関連値と、
   該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補との間で算出した相関関連値と、
   の内の相関性が低くないことを示す方の相関関連値を選択するものであることを特徴とする請求項３に記載の画像処理装置。
8. 上記選択手段は、
   上記Ｘ画素の左右に隣接する２つのＧ画素の平均として算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との相関関連値として、
   該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で算出した相関関連値と、
   該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補との間で算出した相関関連値と、
   の内の相関性が低くないことを示す方の相関関連値を選択するものであることを特徴とする請求項３に記載の画像処理装置。
9. 上記相関関連値は、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、
   上記選択手段は、Ｍ種類の該相関関連値の内の相関性が最大であることを示す相関関連値の１つに対応する色差候補を１つ選択し、選択した色差候補を色差とするものであることを特徴とする請求項２、請求項６、請求項７、または請求項８に記載の画像処理装置。
10. 上記帯域制限補間手段は、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を構成する、（Ｒ−Ｇ）画素および（Ｂ−Ｇ）画素に補間フィルタを各用い、Ｇ画素にローパスフィルタおよび補間フィルタを用いて、同一サンプリング位置への補間を行うことにより、上記補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを得るものであることを特徴とする請求項１に記載の画像処理装置。
11. 上記帯域制限補間手段は、上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を構成する、（Ｒ−Ｇ）画素および（Ｂ−Ｇ）画素に補間フィルタを各用い、Ｇ画素にランチョスフィルタを用いて、同一サンプリング位置への補間を行うことにより、上記補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを得るものであることを特徴とする請求項１に記載の画像処理装置。
12. Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同一化したカラー画像を生成する処理を、コンピュータに実行させるための画像処理プログラムであって、
    コンピュータに、
    上記ＲＧＢベイヤ配列画像から、Ｒ画素の位置に（Ｒ−Ｇ）画素を、Ｂ画素の位置に（Ｂ−Ｇ）画素を、それぞれ作成して、（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出ステップと、
    上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像から、上記ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数のサンプリング位置への補間を行うことにより、同一サンプリング位置における補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを同一画素数ずつ得る帯域制限補間ステップと、
    上記帯域制限補間ステップにより得られた補間（Ｒ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｒ画素を算出するとともに、補間（Ｂ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｂ画素を算出することにより、サンプリング位置を同一化したカラー画像を構成する補間Ｒ画素と補間Ｇ画素と補間Ｂ画素とを得るＲＧＢ算出ステップと、
    を実行させるための画像処理プログラム。
13. Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同一化したカラー画像を生成するための画像処理方法であって、
    上記ＲＧＢベイヤ配列画像から、Ｒ画素の位置に（Ｒ−Ｇ）画素を、Ｂ画素の位置に（Ｂ−Ｇ）画素を、それぞれ作成して、（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像を生成する色差算出ステップと、
    上記（Ｒ−Ｇ）Ｇ（Ｂ−Ｇ）ベイヤ配列画像から、上記ＲＧＢベイヤ配列画像におけるＧ画素の画素数よりも少ない画素数のサンプリング位置への補間を行うことにより、同一サンプリング位置における補間（Ｒ−Ｇ）画素と補間Ｇ画素と補間（Ｂ−Ｇ）画素とを同一画素数ずつ得る帯域制限補間ステップと、
    上記帯域制限補間ステップにより得られた補間（Ｒ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｒ画素を算出するとともに、補間（Ｂ−Ｇ）画素と補間Ｇ画素とに基づいて補間Ｂ画素を算出することにより、サンプリング位置を同一化したカラー画像を構成する補間Ｒ画素と補間Ｇ画素と補間Ｂ画素とを得るＲＧＢ算出ステップと、
    を含むことを特徴とする画像処理方法。

Images