JP2009044676A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】単板撮像素子で得たカラー撮像信号に対し、欠落色信号の補間処理時に、周波数折返りなどの現象が含まれていても、ジャギーなどの副作用の発生を抑える。
【解決手段】カラーフィルタを有する撮像デバイスを含む撮像部101と、カラー撮像信号中でエッジを生じている方向を判断し、エッジ方向が特定の方向以外と判断した場合、画素値が所定以上の高色差となる領域を判定し、高色差と判定した場合、さらにエッジの方向を判断するＧ補間色差算出部102と、斜め方向のエッジ部分に沿って各撮像素子の画素値を補間して平滑化する一方で、エッジがない場合は各撮像素子の画素値を周囲の画素位置の画素値により全方向で平滑化する補間処理部103とを備える。
【選択図】 図１

Description

本発明は、異なる分光感度を有する複数種類の撮像素子を単一面上に規則配列した撮像デバイスで得たカラー撮像信号を処理する画像処理装置、画像処理方法及びプログラムに関する。

カラー画像を電気的に撮像する装置としては、１つの画素位置で３つの色（Ｒ，Ｇ，Ｂ）信号を同時に得ることができる３板撮像素子構成のものと、１つの画素位置毎に３つの色信号のうちの１つの色信号しか得ることができない単板撮像素子構成のものに大別される。現在市販されているデジタルカメラは単板撮像素子構成が一般的である。

３板撮像素子構成は、構造が複雑で部品点数も多くなるために高価格ではあるが、撮像画像の各画素位置で３つの色信号を同時に得ることができるので、一般的に高画質である。

一方、単板撮像素子構成は構造が簡単であるが、３つの色信号を得るために画素毎にＲ，Ｇ，Ｂフィルタを例えば図１４に示すベイヤ配列と称されるモザイク状に配置する必要があり、撮像画像の各画素位置で単一色成分の信号のみしか得ることができない。

このようなベイヤ配列においては、各画素位置で欠落している色信号を周辺の画素位置の色信号を用いて補間することで、画素当り３つの色信号を得ている。

しかしながら、画像中のエッジなどの高い空間周波数を持った撮像領域では、Ｇ信号に対してＲとＢ信号のサンプリング間隔が異なることに伴い、Ｇ信号で表現可能な高い空間周波数がＲとＢ信号では低周波数側に折り返してしまうために、各色信号で補間処理したのではエッジ周辺部等で偽色と称される本来無い色が発生するという不具合がある。

このような偽色を低減する最も簡単な方法は、ベイヤ配列のＲ信号あるいはＢ信号のサンプリング間隔が再現できる空間周波数までレンズ、あるいは光学ローパスフィルタの特性を落とした画像を撮像素子上に結像させることである。

ただし、この方法での撮像画像は、本来再現可能な空間周波数の半分しか得られないことになり、解像度の低いボケた画像となってしまうという不具合が発生する。そのため、撮像素子上に結像させる画像解像度がＧ信号のサンプリング間隔で折り返し歪みによるモワレが発生しない空間周波数特性となるように光学系を設計するのが一般的である。

このような光学系を用い、且つ偽色低減を行なう方法が今までにも種々提案されている。

その例として特許文献１では、画像の局所領域のＧ信号類似度やＧ信号とＲ信号、あるいはＧ信号とＢ信号の色信号間類似度の方向依存に適応して補間フィルタを切り替える方法が提案されている。

すなわち特許文献１では、欠落しているＧ信号の画素位置に対して周辺の上下左右計４つのＧ信号間の水平、垂直方向の類似度を算出し、予め決定された閾値との比較により、Ｇ信号を使った３つの線形補間方法の中から１つ選択する。

図１５にこの補間方法を示す。図１５（Ａ）は、中心となるＧ信号の値Ｘに対し、垂直方向で隣接するＧ信号の類似度｜Ｇ１−Ｇ２｜を算出し、さらに線形補間演算「（Ｇ１＋Ｇ２）／２」を行なう方法である。図１５（Ｂ）は、中心となるＧ信号の値Ｘに対し、水平方向で隣接するＧ信号の類似度｜Ｇ３−Ｇ４｜を算出し、さらに線形補間演算「（Ｇ３＋Ｇ４）／２」を行なう方法である。そして、図１５（Ｃ）は、中心となるＧ信号の値Ｘに対し、垂直水平各方向で隣接するＧ信号の類似度｜Ｇ１−Ｇ２｜，｜Ｇ３−Ｇ４｜を算出し、さらに線形補間演算「（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４」を行なう方法である。

上述した如く特許文献１に記載された技術では、前記３つの線形補間方法から１つを選択するものとしている。

このような方法は、入力された単板カラー撮像信号が、光学ローパスフィルタなどでの帯域制限効果が薄く、光電変換時の周波数折返りによる色モアレなどの現象が既に含まれているものであった場合に、斜めエッジにジャギーを作り出すという不具合があった。（特許文献１）
特開平０７−０５９０９８号公報

本発明の目的は、単板撮像素子で撮像されたカラー撮像信号に対して、欠落色信号の補間処理を行なうのに際して、入力時点ですでに周波数折返りなどの現象が含まれているカラー撮像信号を処理したとしても、ジャギーやアーティファクトなどの副作用の発生を抑える画像処理装置、画像処理方法及びプログラムを提供することにある。

本発明の一態様は、異なる分光感度を有する複数種類の撮像素子を単一面上に配列し、カラー撮像信号を得る撮像デバイスと、前記各撮像素子の画素値により前記カラー撮像信号中でエッジを生じている方向を判断する第１のエッジ方向判定手段と、前記第１のエッジ方向判定手段でエッジ方向が特定の方向以外と判断した場合、画素値が所定以上の高色差となる領域を判定する高色差領域判定手段と、前記高色差判定手段で高色差と判定した場合、さらにエッジの方向を判断する第２のエッジ方向判別手段と、前記第２のエッジ方向判別手段で判断した方向に沿って各撮像素子の画素値を補間して平滑化する方向依存平滑化手段と、前記第２のエッジ方向判別手段でいずれの方向にもエッジがないと判断した場合、各撮像素子の画素値を周囲の画素位置の画素値により全方向で平滑化する全方向平滑化手段とを備えたことを特徴とする。

本発明の一態様によれば、入力時点ですでに周波数折返りなどの現象が生じているカラー撮像信号を処理した場合でも、水平及び垂直の各方向以外のエッジのある領域において入力信号を全方向に平滑化しないため、エッジにジャギーやアーティファクトなどの副作用の発生を抑えたカラー画像を復元することができる。

以下図面を参照して本発明の一実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を含む全体構成を示す機能ブロック図である。同図に示す如く画像処理装置１００は、撮像部１０１、Ｇ補間色差算出部１０２、補間処理部１０３からなる。

撮像部１０１は、図示しない光学系のレンズ、Ｉｒ（赤外線）カットフィルタ、光学ローパスフィルタ、Ｒ，Ｇ，Ｂのカラーフィルタを備えた単板のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳイメージセンサ等の個体撮像デバイスでなる撮像素子、及び該撮像素子のコントローラからなり、該レンズ、Ｉｒカットフィルタ、光学ローパスフィルタを介して単板の撮像素子上に結像した光が、当該素子の各画素毎に形成されている所定色（ＲＧＢ）フィルタを透過した後に各画素で光電変換される。

該光電変換された各画素の電気信号は増幅器にて増幅され、Ａ／Ｄ変換されて、この撮像部１０１より色信号Ｒｓ，Ｇｓ，ＢｓとしてＧ補間色差算出部１０２へ出力される。このとき、前記撮像部１０１内のコントローラは、色信号Ｒｓ，Ｂｓと色信号Ｇｓとをそれぞれ分けてＧ補間色差算出部１０２に出力する。

さらに前記コントローラは、各色信号Ｒｓ，Ｂｓと色信号Ｇｓに対するノイズ低減処理機能及びホワイトバランス処理機能等を備えており、Ｇ補間色差算出部１０２へ出力されるＲｓ，ＢｓとＧｓにはこれらの処理が施されている。

Ｇ補間色差算出部１０２は、入力された色信号Ｒｓ，Ｂｓの画素位置に対応する補間Ｇ画素であるＧｉと該画素位置での色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉを算出し、色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉについては図５（Ｂ）にあるような２次元配列に従ってラスタスキャン順で補間処理部１０３へ出力する一方で、Ｇ信号についても図５（Ａ）にあるような２次元配列にしたがってラスタスキャン順に補間処理部１０３へ出力する。

補間処理部１０３は、前記図５（Ｂ）に配置されていない欠落した色差信号Ｒ−Ｇ、Ｂ−Ｇをそれぞれ周辺の同一色差信号Ｒ−Ｇｉ、あるいはＢ−Ｇｉを用いて補間し、全画素位置での色差信号Ｒ−ＧとＢ−Ｇをそれぞれ画質調整部１０４へ出力する。一方で補間処理部１０３は、色信号Ｇについても同様に前記図５（Ａ）に配置した周辺のＧｓ，Ｇｉを用いて補間し、画質調整部１０４へ出力する。

こうして画質調整部１０４には、前記補間処理部１０３で算出した各画素位置のＲ，Ｇ，Ｂ信号が入力される。

図４に画質調整部１０４のより詳細な回路構成を示す。同図で、画質調整部１０４に入力されたＲ，Ｇ，Ｂ信号は、カラーマトリックス処理部４０１に入力され、例えばｓＲＧＢ等の所定色空間に変換される。

カラーマトリックス処理部４０１の出力する変換後のＲ，Ｇ，Ｂ信号は、例えば各１２ビットの階調信号がγ補正部４０２，４０３，４０４にてそれぞれγ補正され、８ビットの信号に変換されたＲγ、Ｇγ、Ｂγ信号として、画質調整部１０４の次段の圧縮記録部１０５に出力される。

圧縮記録部１０５では、γ補正された信号Ｒ，Ｇ，Ｂを画像圧縮し、記録媒体を構成するフラッシュメモリやハードディスク装置、あるいは磁気テープ等に記録する。

次いで図２により前記Ｇ補間色差算出部１０２の詳細な回路構成について説明する。
図２において、前記撮像部１０１から出力された色信号Ｒｓ、Ｂｓはメモリ２０１に、色信号Ｇｓはメモリ２０２に、それぞれ欠落Ｇ画素位置の２次元的な補間処理が実施可能となる画素分が揃うまでの遅延を得るために所定ライン分が格納される。この図２の例では、メモリ２０１，２０２に格納されるライン数は最低３ラインである。

欠落Ｇ画素の位置にはＲ画素あるいはＢ画素が配置されているが、これら２つの色信号をＸ、あるいはＸ画素と記すものとして以下に説明する。

欠落Ｇ画素の補間方法としては前記図１５（Ａ）〜図１５（Ｃ）でも示した３種類のＧ画素の配置を使用する。それぞれの補間式は
Ｇｖ＝(Ｇ1＋Ｇ2)/2、
Ｇｈ＝(Ｇ3＋Ｇ4)/2、
Ｇａ＝(Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4)/4
となる。これらの各補間値は縦補間Ｇ算出部２０３、横補間Ｇ算出部２０４、４画素補間Ｇ算出部２０５にて算出された後に、減算部２０７，２０８，２０９に入力される。

前記メモリ２０１に格納されている欠落Ｇ画素と同一位置にあるＸ画素が、減算部２０７，２０８に入力され、さらにローパスフィルタ２０６を介して高周波成分が除去されたＸＬ画素として減算部２０９に入力される。

ここでローパスフィルタ２０６は、例えば図６に示すように処理対象となっている欠落Ｇ画素とその上下左右に位置する同種Ｘ画素の計５画素、すなわち
Ｘ(i,j),Ｘ(i,j+2),Ｘ(i,j-2),Ｘ(i-2,j),Ｘ(i+2,j)
により算出され、前記ローパスフィルタは以下の式
ＸＬ(i,j)＝αＸ(i,j)
＋β(Ｘ(i,j+2)＋Ｘ(i,j-2)
＋Ｘ(i-2,j)＋Ｘ(i+2,j))
（但し、α,β：欠落Ｇ画素の周辺４画素平均で算出したＧａの斜め４５度方向の空間周波数特性に近似させる重み値。）
に従ってフィルタリング処理を実行する。

減算部２０７，２０８，２０９が算出する色差信号Ｘ−Ｇｖ、Ｘ−Ｇｈ、ＸＬ−Ｇａを、それぞれメモリ２１０，２１１，２１２が格納する。

メモリ２１０，２１１，２１２は、それぞれ該色差信号に対し、図７（Ａ）〜図７（Ｃ）に示す色差信号が３行３列分含まれる近傍領域で類似度算出処理を実施するための遅延を得るべく設ける。本実施形態では、メモリ２１０，２１１，２１２が格納するライン数は最小で５ラインとなる。

メモリ２１０，２１１，２１２に色差の周辺類似度算出処理ができるだけの色差信号が格納された時点で、これらメモリ２１０，２１１，２１２からそれぞれの所定色差信号Ｘ−Ｇｖ、Ｘ−Ｇｈ、ＸＬ−Ｇａを周辺類似度算出部２１３，２１４，２１５に出力する。

周辺類似度算出部２１３は、欠落Ｇ画素位置（ｋ，ｌ）での色差周辺類似度Ｓｖ（ｋ，ｌ）を前記図７（Ａ）に示したように中央の色差信号(Ｘ−Ｇｖ)_{k, l}とその周辺位置の８つの色差
(Ｘ−Ｇｖ)_{k-2, l-2}、(Ｘ−Ｇｖ)_{k, l-2}、
(Ｘ−Ｇｖ)_{k+2, l-2}、(Ｘ−Ｇｖ)_{k-2, l}、
(Ｘ−Ｇｖ)_{k+2, l}、(Ｘ−Ｇｖ)_{k-2, l+2}、
(Ｘ−Ｇｖ)_{k, l+2}、(Ｘ−Ｇｖ)_{k+2, l+2}
を使用したＳｖ1(k, l)と、

同様に周辺類似度算出部２１４は、欠落Ｇ画素位置（ｋ，ｌ）での色差周辺類似度Ｓｈ（ｋ，ｌ）を前記図７（Ｂ）に示したように中央の色差信号(Ｘ−Ｇｈ)_{k, l}とその周辺位置の８つの色差
(Ｘ−Ｇｈ)_{k-2, l-2}、(Ｘ−Ｇｈ)_{k, l-2}、
(Ｘ−Ｇｈ)_{k+2, l-2}、(Ｘ−Ｇｈ)_{k-2, l}、
(Ｘ−Ｇｈ)_{k+2, l}、(Ｘ−Ｇｈ)_{k-2, l+2}、
(Ｘ−Ｇｈ)_{k, l+2}、(Ｘ−Ｇｈ)_{k+2, l+2}
を使用したＳｈ1(k, l)と、

さらに周辺類似度算出部２１５は、欠落Ｇ画素位置（ｋ，ｌ）での色差周辺類似度Ｓａ（ｋ，ｌ）を前記図７（Ｃ）に示したように中央の色差信号(Ｘ_Ｌ−Ｇａ)_{k, l}とその周辺位置の８つの色差
(Ｘ_L−Ｇａ)_{k-2, l-2}、(Ｘ_L−Ｇａ)_{k, l-2}、
(Ｘ_L−Ｇａ)_{k+2, l-2}、(Ｘ_L−Ｇａ)_{k-2, l}、
(Ｘ_L−Ｇａ)_{k+2, l}、(Ｘ_L−Ｇａ)_{k-2, l+2}、
(Ｘ_L−Ｇａ)_{k, l+2}、(Ｘ_L−Ｇａ)_{k+2, l+2}
を使用したＳａ1(k, l)と、

算出された３つの色差周辺類似度Ｓｖ（ｋ，ｌ），Ｓｈ（ｋ，ｌ），Ｓａ（ｋ，ｌ）は判定部２１６に入力される。
この判定部２１６には、前記３つの色差周辺類似度Ｓｖ（ｋ，ｌ），Ｓｈ（ｋ，ｌ），Ｓａ（ｋ，ｌ）が最小となる１つを選択し、選択した色差周辺類似度に対応する方向を示す選択信号を色差選択部２１７と高色差判定部２１９に入力する。このように、判定部２１６で色差周辺類似度Ｓｖ（ｋ，ｌ），Ｓｈ（ｋ，ｌ），Ｓａ（ｋ，ｌ）が最小となる１つを選択することで、いずれの方向にエッジが生じているかを判断する。

色差選択部２１７には、前記メモリ２１０，２１１，２１２から欠落Ｇ画素位置（ｋ，ｌ）に対応する色差候補(Ｘ−Ｇｖ)ｋ，ｌ、(Ｘ−Ｇｈ)ｋ，ｌ、(ＸL−Ｇａ)ｋ，ｌが入力されており、前記判定部２１６から入力される選択信号に対応する１つの色差を選択して出力する。

具体的には、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小となると、（Ｘ−Ｇｖ）ｋ，ｌが出力される。同様にＳｈ（ｋ，ｌ）が最小となると(Ｘ−Ｇ_h)ｋ，ｌが出力され、Ｓａ（ｋ，ｌ）が最小となると(ＸＬ−Ｇａ)ｋ，ｌが出力される。

この色差信号は、前記図５（Ｂ）に示したような２次元配列を左上から右下へ走査するラスタスキャン順で色差補間処理部１０３に出力される。補間処理部１０３は、Ｒ−ＧｉとＢ−Ｇｉに分け、それぞれに欠落している色差信号の画素位置について周辺のＲ−Ｇｉ、あるいはＢ−Ｇｉを用いて補間する。

さらに前記メモリ２１８は、撮像画素として存在するＸ画素値の一時退避用として設けられ、前記色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのいずれか１つを選択、出力するタイミングにあわせるためのものであり、その保持内容を減算部２２０に読出す。

減算部２２０は、同一画素位置の色差Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのいずれか１つとＸとで以下の減算処理を行ない、欠落Ｇ画素位置のＧｉ信号を算出する。すなわち、
色差Ｘ−Ｇｖを選択した場合：Ｇｉ＝Ｘ−(Ｘ−Ｇｖ)
色差Ｘ−Ｇｈを選択した場合：Ｇｉ＝Ｘ−(Ｘ−Ｇｈ)
色差ＸＬ−Ｇａを選択した場合：Ｇｉ＝Ｘ−(ＸＬ−Ｇａ)
さらに高色差判定部２１９にはメモリ２１２に格納されている色差(ＸＬ−Ｇａ)が入力され、高色差判定部２１９は予め決定されている所定閾値ＴＨｃ（例えば最大階調値／１０程度の値）と比較する。

比較の結果、色差(ＸＬ−Ｇａ）＞ＴＨｃとなり、さらに判定部２１６からの出力である選択信号が色差(ＸＬ−Ｇａ)に対応する方向を選択した場合に、高色差判定部２１９はＧ補間を変更するための変更要求信号として「非高色差：００」または「高色差：０１」をエッジ判定部２２１に出力する。高色差判定部２１９は、色差(ＸＬ−Ｇａ）＞ＴＨｃのときに「高色差：０１」を出力し、色差(ＸＬ−Ｇａ）≦ＴＨｃのときに「非高色差：００」を出力する。

エッジ判定部２２１は、高色差判定部２１９からの変更要求信号が「非高色差：００」の場合、その変更要求信号をそのままＧ補間選択部２２７に出力する。

一方でエッジ判定部２２１は、高色差判定部２１９からの要求信号が「高色差：０１」の場合、後述する、斜４５度Ｇ算出部２２５から入力される斜め４５度エッジ補間値ｓ４５と、斜１３５度Ｇ算出部２２６から入力される斜め１３５度エッジ補間値ｓ１３５とを比較して、エッジが存在するかを判定する。例えば、斜め４５度エッジ補間値ｓ４５と斜め１３５度エッジ補間値ｓ１３５の差を所定の閾値ＥｄｇｅＴＨ（例えば最大階調値／１６程度の値）と比較し、
｜ｓ４５−ｓ１３５｜＞ＥｄｇｅＴＨ
となるような場合にエッジがあると判定する。また、
｜ｓ４５−ｓ１３５｜≦ＥｄｇｅＴＨ
となるような場合にはエッジがない（平坦部）と判定する。

エッジが存在した場合、エッジ判定部２２１はさらにいずれの方向にエッジが存在するかを判定する。例えば、減算部２２０からの出力Ｇｉと斜め４５度エッジ補間値ｓ４５の差と減算部２２０からの出力Ｇｉと斜め１３５度エッジ補間値ｓ１３５の差を比較し、
｜Ｇｉ−ｓ４５｜＜｜Ｇｉ−ｓ１３５｜
となるような場合に４５度方向にエッジがあると判別する。また、
｜Ｇｉ−ｓ４５｜≧｜Ｇｉ−ｓ１３５｜
となるような場合には１３５度方向にエッジがあると判別する。

そして、その判定結果に伴って変更要求信号として「高色差且つ非エッジ：０１」または「高色差且つ４５度エッジ：１０」または「高色差且つ１３５度エッジ：１１」をＧ補間選択部２２７に出力する。

４画素平均Ｇ算出部２２３は、メモリ２２２に格納されているＧ信号から画素Ｘ（ｋ，ｌ）の上下左右に隣接する４画素分、Ｇ（ｋ−１，ｌ），Ｇ（ｋ，ｌ−１），Ｇ（ｋ＋１，ｌ），Ｇ（ｋ，ｌ＋１）の平均値を欠落Ｇ画素位置（ｋ，ｌ）の補間Ｇａとして作成し、Ｇ補間選択部２２７に出力する。

斜Ｇ補間算出部２２４は、前記メモリ２２２に格納されているＧ（Ｇｉ）信号から画素Ｘ（ｋ，ｌ）の斜めに位置するＸ（ｋ−１，ｌ−１），Ｘ（ｋ−１，ｌ＋１），Ｘ（ｋ＋１，ｌ−１），Ｘ（ｋ＋１，ｌ＋１）にそれぞれ上下左右に隣接するＧ画素値の平均値Ｇｍｍ，Ｇｍｐ，Ｇｐｍ，Ｇｐｐを算出し、斜４５度Ｇ算出部２２５と斜１３５度Ｇ算出部２２６に出力する。図９に示すＧｍｍ，Ｇｍｐ，Ｇｐｍ，Ｇｐｐは以下のようになる。すなわち、
Ｇmm＝(Ｇ(i-1,j-2)＋Ｇ(i,j-1)
＋Ｇ(i-1,j-2)＋Ｇ(i-1,j))/4
Ｇmp＝(Ｇ(i,j-1)＋Ｇ(i+2,j-1)
＋Ｇ(i+1,j-2)＋Ｇ(i+1,j))/4
Ｇpm＝((i-2,j+1)＋Ｇ(i,j+1)
＋Ｇ(i-1,j)＋Ｇ(i-1,j+2))/4
Ｇpp＝(Ｇ(i,j+1)＋Ｇ(i+2,j+1)
＋Ｇ(i+1,j)＋Ｇ(i+1,j+2))/4
斜４５度Ｇ算出部２２５と斜１３５度Ｇ算出部２２６は、斜Ｇ補間算出部２２４から入力された画素Ｘ（ｋ，ｌ）の斜め位置にある前記Ｇ画素補間値Ｇｍｍ，Ｇｍｐ，Ｇｐｍ，Ｇｐｐと、減算部２２０にて算出されたＧ補間値Ｇｉとに基づいて、それぞれ斜め４５度補間値ｓ４５と斜め１３５度補間値ｓ１３５とを算出し、エッジ判定部２２１及びＧ補間選択部２２７へ出力する。

この点を詳述すると、前記図９において
ｓ45＝((2*Ｇi)＋Ｇmm＋Ｇpp)/4
ｓ135＝((2*Ｇi)＋Ｇmp＋Ｇpm)/4
となる。

Ｇ補間選択部２２７は、減算部２２０の出力である欠落Ｇ画素位置（ｋ，ｌ）のＧ信号補間値Ｇｉ、４画素平均Ｇ算出部２２３の出力である補間値Ｇａ、斜４５度Ｇ算出部２２５の出力である斜め４５度補間値ｓ４５、及び斜１３５度Ｇ算出部２２６の出力である斜１３５度補間値ｓ１３５と、エッジ判定部２２１からの変更要求信号を入力し、該変更要求信号の内容に応じた選択を行なって、選択結果を次段の補間処理部１０３へ出力する。

すなわち、変更要求信号が「非高色差：００」の場合は、減算部２２０にて算出したＧ補間値Ｇｉを選択する。変更要求信号が「高色差且つ非エッジ：０１」の場合には、４画素平均Ｇ算出部２２３の出力であるＧａを選択する。変更要求が「高色差且つ４５度エッジ：１０」の場合には、斜４５度Ｇ算出部２２５の出力であるｓ４５を選択する。そして、変更要求が「高色差且つ１３５度エッジ：１１」の場合には、斜１３５度Ｇ算出部２２６の出力であるｓ１３５を選択する。

次に図３を用いて補間処理部１０３の詳細について説明する。
補間処理部１０３には、前段のＧ補間色差算出部１０２から出力される前記図５（Ａ）の２次元配列構造を持ったＧ信号と、図５（Ｂ）の２次元配列構造を持った色差Ｘ−Ｇｉ信号とが入力される。

Ｇ補間色差算出処理部１０２から出力されるこの色差Ｘ−Ｇi信号は、補間処理部１０３内にてまず色差選別部３０１に入力される。この色差選別部３０１は、色差Ｘ−Ｇi信号を色差Ｒ−Ｇｉ信号と色差Ｂ−Ｇｉ信号とに分離してメモリ３０２，３０３に格納させる。

メモリ３０２，３０３に格納される色差Ｒ−Ｇｉ信号と色差Ｂ−Ｇｉ信号は、それぞれ所定位置への補間処理に必要なライン数分が格納され、補間処理が開始可能となった時点でその補間処理に必要な画素が補間算出部３０４，３０５に読出される。

補間算出部３０４，３０５では、制御部３１０から送られてくる補間フィルタ係数に基づいて補間画素である色差Ｒ−Ｇ信号及び色差Ｂ−Ｇ信号を算出して出力する。

一方、前段のＧ補間色差算出部１０２からのＧ信号はメモリ３０６に格納される。このメモリ３０６に格納されるＧ信号は、それぞれ所定位置への補間処理に必要なライン数分が格納され、補間処理が開始可能となった時点でその補間処理に必要な画素が補間算出部３０７に読出される。

この補間算出部３０７では、制御部３１０から送られてくる補間フィルタ係数により基づいて補間画素であるＧ信号を算出して出力する。

前記補間算出部３０４，３０５，３０７での補間算出処理は、例えば図８に示す８×８画素の領域に対するもので、撮像素子と同一解像度の画像サイズを指定した場合の例として水平、垂直各方向共に１／２画素位置に画素を作成するものである。

補間算出処理で使用する補間フィルタの例としては、Ｌａｎｃｚｏｓフィルタ等の畳み込みフィルタを使用するものとし、水平方向に処理した１次元フィルタリングの結果に垂直方向の１次元フィルタリングを施すことで補間画素を算出する。

これら１次元のフィルタリングは２次元フィルタリングとすることも可能であり、例えば図１０に８×８タップの２次元フィルタの例を示す。図１０（Ａ）は、Ｇ信号に対するフィルタである。

また、図１０（Ｂ）〜図１０（Ｅ）は色差Ｒ−Ｇｉ信号と色差Ｂ−Ｇｉ信号に対するフィルタであり、補間画素位置と処理対象の色差Ｒ−ＧｉあるいはＢ−Ｇｉの位置関係により、これら４つのフィルタを制御部３１０にて適宜切換えて処理する。

ここでＧ信号に対する補間フィルタ係数ｆｉｊと色差に対する補間フィルタ係数ｆｉｊとは同一係数ｆｉｊ＝ｆｉｊでも良いし、色差に対してより帯域制限をかけた異なるフィルタ係数ｆｉｊ≠ｆｉｊとしても良い。

また補間フィルタのタップ数を８×８タップとしたが、ハードウェアの規模とフィルタ特性の設計自由度とのトレードオフにより、Ｎ×Ｎタップ（ここでＮは４の倍数）としても良い。なお、当然ながらＧ信号と色差Ｒ−Ｇｉ信号と色差Ｂ−Ｇｉ信号とで異なるタップ数としても良いのは言うまでもなく、この場合、Ｇ信号に対してはＮが２の倍数のタップ数のフィルタを用いても良い。

上述のＧ補間色差算出部１０２及び補間処理部１０３の処理は、ハードウェア回路により実現するものとして説明したが、同じ機能を所謂、画像エンジンと称されるＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いてソフトウェア処理により実現することも容易に可能である。

以下に、ソフトウェア処理によりＧ補間色差算出部１０２の機能を実現する場合の具体的な手順を図１１、図１２のフローチャートに基づいて説明する。

まず、撮像部１０１で撮像された後、メモリに格納されているカラー画像信号が、ラスタスキャン順にＧ補間色差算出部１０２に入力され、メモリ２０１，２０２に所定データ分が格納されている状態で、欠落Ｇ信号の補間候補値と色差候補値をメモリに格納するライン数×ライン画素数＝Ｎ画素数を初期値、例えば本実施形態ではライン数＝５、にセットする。（ステップＳ２０００）
次いで、Ｇ信号欠落位置（ｉ，ｊ）に対して上下隣接Ｇ信号の平均値Ｇｖ（ｉ，ｊ）を算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲまたはＢ）と前記補間候補Ｇｖ（ｉ，ｊ）に基づいて色差(Ｘ−Ｇｖ)ｉ，ｊを算出してメモリに格納する。（ステップＳ２００１）
続いてＧ信号欠落位置（ｉ，ｊ）に対して左右隣接Ｇ信号の平均値Ｇｈ（ｉ，ｊ）を算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲまたＢ）と前記補間候補Ｇｈ（ｉ，ｊ）に基づいて色差(Ｘ−Ｇｈ)ｉ，ｊを算出してメモリに格納する。（ステップＳ２００２）
さらにＧ信号欠落位置（ｉ，ｊ）に対して上下左右隣接Ｇ信号の平均値Ｇａ（ｉ，ｊ）を算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲまたはＢ）とその周辺上下左右のＸ（ｉ−２，ｊ），Ｘ（ｉ＋２，ｊ），Ｘ（ｉ，ｊ−２），Ｘ（ｉ，ｊ＋２）とを用いて、斜め４５度方向の周波数特性を該平均値Ｇａ（ｉ，ｊ）算出時の補間フィルタの特性に近似させる帯域制限処理（ローパスフィルタ）を実施し、算出したＸＬ（ｉ，ｊ）と該補間候補Ｇａ（ｉ，ｊ）に基づいて色差(ＸＬ−Ｇａ)ｉ，ｊを算出してメモリに格納する。（ステップＳ２００３）
この時点でＮ画素分の処理が終了したかを判定する。（ステップ２００４）
Ｎ画素分の処理が終了していなければ前記ステップＳ２００１に戻り、(Ｘ−Ｇｖ)ｉ，ｊ、(Ｘ−Ｇｈ)ｉ，ｊ、(ＸＬ−Ｇａ)ｉ，ｊを算出してメモリに格納する動作を続行する。

一方、前記ステップＳ２００４でＮ画素分の処理が終了したと判定された時点で、Ｎを１にセットする。（ステップＳ２００５）
そして、前記ステップＳ２００１からステップＳ２００４の処理ループにおいてメモリに格納したＧ信号欠落位置（ｋ，ｌ）の同一補間種で算出された色差(Ｘ−Ｇｖ)ｋ，ｌとその近傍８方向の同種色差
（Ｘ−Ｇｖ）_k+n,l+m
（但し、ｎ：−２，０，２、
ｍ： −２，０，２。）
とに基づいて周辺類似度Ｓｖ1（ｋ，ｌ）を算出する。

一方で、色差(Ｘ−Ｇｖ)ｋ，ｌの周辺異種色差
（Ｘ−Ｇｖ）_k+n,l+m
（但し、ｎ：−１，１、
ｍ：−１，１。）
に基づいて周辺類似度Ｓｖ2（ｋ，ｌ）を算出する。

これら２つの周辺類似度Ｓｖ1（ｋ，ｌ）とＳｖ2（ｋ，ｌ）を加算して周辺類似度Ｓｖ（ｋ，ｌ）を算出する。（ステップＳ２００７）
続いて、同様にメモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種で算出された色差（Ｘ−Ｇｈ）ｋ，ｌとその近傍８方向の同種色差
（Ｘ−Ｇｈ）_k+n,l+m
（但し、ｎ：−２，０，２、
ｍ：−２，０，２。）
とに基づいて周辺類似度Ｓｈ1（ｋ，ｌ）を算出する。

一方で、色差（Ｘ−Ｇｈ）ｋ，ｌの周辺異種色差
（Ｘ−Ｇｈ）_k+n,l+m
（但し、ｎ：−１，１、
ｍ：−１，１。）
に基づいて周辺類似度Ｓｈ2（ｋ，ｌ）を算出する。

これら２つの周辺類似度Ｓｈ1（ｋ，ｌ）とＳｈ2（ｋ，ｌ）を加算して周辺類似度Ｓｈ（ｋ，ｌ）を算出する。（ステップＳ２００８）
同様に、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種で算出された色差(ＸＬ−Ｇａ)ｋ，ｌとその近傍８方向の同種色差
（ＸＬ−Ｇａ）_k+n,l+m
（但し、ｎ：−２，０，２、
ｍ：−２，０，２。）
とに基づいて周辺類似度Ｓａ1（ｋ，ｌ）を算出する。

一方で、色差（ＸＬ−Ｇａ）ｋ，ｌの周辺異種色差
（ＸＬ−Ｇａ）_k+n,l+m
（但し、ｎ：−１，１、
ｍ：−１，１。）
に基づいて周辺類似度Ｓａ2（ｋ，ｌ）を算出する。

これら２つの周辺類似度Ｓａ1（ｋ，ｌ）とＳａ2（ｋ，ｌ）を加算して周辺類似度Ｓａ（ｋ，ｌ）を算出する。（ステップＳ２００９）
ここで周辺類似度Ｓｖ（ｋ，ｌ），Ｓｈ（ｋ，ｌ），Ｓａ（ｋ，ｌ）はいずれも、値が小さい程、類似性が高くなる量であり、続いて類似性が最大、換言すれば類似度の値としては最小となる１つの色差選択を行なう。

すなわち、前記３つの周辺類似度Ｓｖ（ｋ，ｌ），Ｓｈ（ｋ，ｌ），Ｓａ（ｋ，ｌ）が算出された時点で、周辺類似度Ｓｖ（ｋ，ｌ）とＳｈ（ｋ，ｌ）を比較する。（ステップＳ２０１０）
ここでＳｖ（ｋ，ｌ）の方が小さい場合は、さらにＳｖ（ｋ，ｌ）とＳａ（ｋ，ｌ）とを比較する。（ステップＳ２０１２）。

比較の結果、Ｓｖ（ｋ，ｌ）が小さいと判定した場合はステップ２０１３に進む。また、前記ステップＳ２０１２でＳｖ（ｋ，ｌ）が大きいと判定するか、あるいはＳｖ（ｋ，ｌ）とＳａ（ｋ，ｌ）が等しいと判定した場合はステップ２０１４に進む。

また、前記ステップＳ２０１０で周辺類似度Ｓｖ（ｋ，ｌ）とＳｈ（ｋ，ｌ）の比較でＳｖ（ｋ，ｌ）が大きいか、Ｓｖ（ｋ，ｌ）とＳｈ（ｋ，ｌ）が等しいと判定した場合は、次にＳｈ（ｋ，ｌ）とＳａ（ｋ，ｌ）とを比較する（ステップＳ２０１１）。

ここで、Ｓｈ（ｋ，ｌ）が小さいと判定した場合はステップＳ２０１５に、Ｓｈ（ｋ，ｌ）が大きいか、またはＳｈ（ｋ，ｌ）とＳａ（ｋ，ｌ）が等しいと判定した場合はステップＳ２０１４に進む。

ステップＳ２０１３では、Ｇ信号欠落位置（ｋ，ｌ）の色差（ｋ，ｌ）を（Ｘ−Ｇｖ）ｋ，ｌに決定してメモリに格納する。

ステップＳ２０１４では、Ｇ信号欠落位置（ｋ，ｌ）の色差（ｋ，ｌ）を（ＸＬ−Ｇａ）ｋ，ｌに決定してメモリに格納する。

ステップＳ２０１５では、Ｇ信号欠落位置（ｋ，ｌ）の色差（ｋ，ｌ）を（Ｘ−Ｇｈ）ｋ，ｌに決定してメモリに格納する。

前記ステップＳ２０１３〜Ｓ２０１５いずれかのメモリ格納処理後、Ｇ信号欠落位置（ｋ，ｌ）で決定された色差（ｋ，ｌ）をＸ（ｋ，ｌ）から減算することでＧ（ｋ，ｌ）を算出してメモリに格納する。（ステップＳ２０１６）
その後、さらに高色差領域処理（ステップＳ２０１７）を行なうが、これは図１２のサブルーチンのフローチャートに基付いて後述する。

高色差領域処理後、出力画像としての総画素数分の処理を終了したかを判定する。（ステップＳ２０１８）。総画素数分の処理が終了していないと判定すると、再び前記ステップＳ２００１からの処理に戻り、メモリに格納されている不必要となった（Ｘ−Ｇｖ），（Ｘ−Ｇｈ），（ＸＬ−Ｇａ），Ｓｖ，Ｓｈ，Ｓａを新しく算出される値で置換しながら前述した一連の処理を継続する。

しかして、総画素数分の処理を全て終了した時点で、前記ステップＳ２０１８によりその状態を判定し、以上で図１１のＧ補間色差算出処理を終了する。

続いて図１２により前記高色差領域処理の詳細な処理内容を示す。
図１２は、高色差領域処理のサブルーチンを示すフローチャートである。その当初、Ｇ信号欠落位置（ｋ，ｌ）の周辺４画素Ｇ（ｋ−１，ｌ）、Ｇ（ｋ＋１，ｌ）、Ｇ（ｋ，ｌ−１）、Ｇ（ｋ，ｌ＋１）の平均値Ｇａを算出する。（ステップＳ３０００）
その算出結果によりＧ信号欠落位置（ｋ，ｌ）で決定された色差（ｋ，ｌ）が(ＸＬ−Ｇａ)ｋ，ｌであり、且つその値がしきい値ＴＨｃより大きいか否かを判定する。（ステップＳ３００１）。

ここで色差（ｋ，ｌ）が(ＸＬ−Ｇａ)ｋ，ｌであり、且つその値がしきい値ＴＨｃより大きいと判定した場合には、次いでＧ信号欠落位置の斜め４位置に上下左右隣接Ｇの平均値Ｇｍｍ，Ｇｍｐ，Ｇｐｍ，Ｇｐｐを算出する。（ステップＳ３００２）
このとき、直前の前記ステップＳ２０１６で算出したＧ（ｋ，ｌ）と前記ステップＳ３００２で算出したＧｍｍ，Ｇｍｐ，Ｇｐｍ，Ｇｐｐとから４５度方向平均値ｓ４５と、１３５度方向平均値ｓ１３５とを算出する。（ステップＳ３００３）
このステップＳ３００３で算出した４５度方向平均値ｓ４５と１３５度方向平均値ｓ１３５とを使用して平坦であるか否か判定を行なう。（ステップＳ３００４）
ここで平坦であると判定した場合は、Ｇ（ｋ，ｌ）を周辺４画素平均値Ｇａに置換する。（ステップＳ３００５）
一方、前記ステップＳ３００４で平坦ではないと判定した場合には、ついで４５度方向平均値ｓ４５、及び１３５度方向平均値ｓ１３５と直前の前記ステップＳ２０１６で算出したＧ（ｋ，ｌ）を使用してエッジ方向を判定する。（ステップＳ３００６）
ここでエッジ方向が４５度であると判定した場合は、信号Ｇ（ｋ，ｌ）を４５度方向平均値ｓ４５に置換する。（ステップＳ３００８）
一方、前記ステップＳ３００６でエッジ方向が４５度ではないと判定した場合は、Ｇ（ｋ，ｌ）を１３５度方向平均値ｓ１３５に置換する。（ステップＳ３００７）
前記ステップＳ３００５，Ｓ３００７，Ｓ３００８いずれかの処理の実行によりこの図１２のサブルーチンを終え、前記図１１のメインルーチンにリターンする。

以上詳述した如く本実施形態によれば、入力時点ですでに周波数折返りなどの現象が生じているカラー撮像信号を処理した場合でも、水平及び垂直の各方向以外のエッジのある領域において入力信号を全方向に平滑化しないため、エッジにジャギーやアーティファクトなどの副作用を発生させることのないカラー画像を復元することができる。

なお前記実施形態では、Ｇ補間色差算出部１０２にて、エッジ判定部２２１が斜４５度Ｇ算出部２２５、斜１３５度Ｇ算出部２２６の出力により斜め方向に平滑化した複数の画素補間値の差から平坦度を判定するものとしたことで、より正確にエッジ判定を行なうことができる。

また前記実施形態では、Ｇ補間色差算出部１０２にて、エッジ判定部２２１が斜４５度Ｇ算出部２２５、斜１３５度Ｇ算出部２２６の出力により斜め方向に平滑化した複数の画素補間値と、前記カラー撮像信号と前記高色差判定部２１９で算出した画素補間値との差を比較した比較結果により前記図１２でも示した如く前記エッジの方向を判定するものとしたことで、より適切なエッジ判定を行なうことができる。

さらに前記実施形態では、補間処理部１０３にて、補間算出部３０７が前記エッジ判定部２２１で判定に用いた複数の斜め方向に平滑化した画素補間値のうちのいずれかを選択して最終結果に用いるものとしたので、カラー画像中からエッジにジャギーやアーティファクトなどの不具合を確実に除去することができる。

なお前記実施形態では、色差類似度を使用して水平／垂直／それ以外とエッジの方向を判定しているが、例えば、水平及び垂直に並ぶＧ画素の差分をそれぞれ算出して比較し、垂直差分が水平差分よりも大きく場合は垂直方向のエッジ、水平差分が垂直差分よりも大きい場合は水平方向のエッジ、垂直平均値と水平平均値の差が小さい場合は水平及び垂直方向以外のエッジであると判定することも可能であり、さらにその判定基準とするのは色差類似度に限るものでもない。

また前述した実施形態では、４５度方向平均値ｓ４５及び１３５度方向平均値ｓ１３５を算出するために、欠落Ｇ位置（ｋ，ｌ）の斜め４位置のＧｍｍ，Ｇｍｐ，Ｇｐｍ，Ｇｐｐを算出するものとして説明したが、これらの算出方法を採らず、例えば図１３（Ａ）、図１３（Ｂ）に示すような中心位置に重きを置いて各斜め方向の画素値を半減させるようなフィルタ処理を行なった結果を４５度方向平均値ｓ４５、１３５度方向平均値ｓ１３５として算出しても、全く同様の結果を得ることができることは言うまでもない。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

本発明の一実施形態に係る画像処理装置を含む全体構成を示す機能ブロック図。 同実施形態に係る図１のＧ補間色差算出部の詳細な回路構成を示す機能ブロック図。 同実施形態に係る図１の補間処理部の詳細な回路構成を示す機能ブロック図。 同実施形態に係る図１の画質調整部の詳細な回路構成を示す機能ブロック図。 同実施形態に係るＧ補間色差算出部が出力すＧ信号、Ｘ−Ｇ信号の各２次元配列を示す図。 同実施形態に係るローパスフィルタ処理部でローパスフィルタを構成する色信号Ｘのベイヤ配列上の位置を示した図。 同実施形態に係る欠落Ｇ信号位置の縦方向補間、横方向補間、及び隣接４画素補間で算出した各色差信号のベイヤ配列上の位置を示した図。 同実施形態に係る補間処理部でのＧ信号、Ｒ−Ｇｉ信号、Ｂ−Ｇｉ信号の各補間処理単位の一例を示す図。 同実施形態に係る欠落Ｇ信号の斜め４画素位置に求める補間値と、上下左右方向の隣接Ｇ信号のベイヤ配列上の位置を示した図。 同実施形態に係る補間処理部でのＧ信号、Ｒ−Ｇｉ信号、あるいはＢ−Ｇｉ信号に対する補間フィルタ係数を示す図。 同実施形態に係るＧ補間色差算出処理のメインルーチンを示すフローチャート。 同実施形態に係る図１１の高色差領域処理のサブルーチンを示すフローチャート。 同実施形態に係る４５度方向平均値、及び１３５度方向平均値の他の算出方法を示す図。 一般的なカラー撮像デバイスに用いられるカラーフィルタのベイヤ配列を示す図。 欠落Ｇ信号位置の縦方向補間、横方向補間、及び隣接４画素補間で用いる隣接Ｇ信号のベイヤ配列上の位置を示した図。

符号の説明

１００…画像処理装置、１０１…撮像部、１０２…Ｇ補間色差算出部、１０３…補間処理部、１０４…画質調整部、１０５…圧縮記録部、２０１，２０２…メモリ、２０３…縦補間Ｇ算出部、２０４…横補間Ｇ算出部、２０５…４画素補間Ｇ算出部、２０６…ローパスフィルタ、２１０〜２１２…メモリ、２１３〜２１５…周辺類似度算出部、２１６…判定部、２１７…色差選択部、２１８…メモリ、２１９…高色差判定部、２２１…エッジ判定部、２２２…メモリ、２２３…４画素平均Ｇ算出部、２２４…斜Ｇ補間算出部、２２５…斜４５度Ｇ算出部、２２６…斜１３５度Ｇ算出部、２２７…Ｇ補間選択部、３０１…色差選別部、３０２，３０３…メモリ、３０４，３０５…補間算出部、３０６…メモリ、３０７…補間算出部、３１０…制御部、３１３…メモリ、４０１…カラーマトリックス処理部、４０２〜４０４…γ補正部。

Claims (6)

1. 異なる分光感度を有する複数種類の撮像素子を単一面上に配列し、カラー撮像信号を得る撮像デバイスと、
   前記各撮像素子の画素値により前記カラー撮像信号中でエッジを生じている方向を判断する第１のエッジ方向判定手段と、
   前記第１のエッジ方向判定手段でエッジ方向が特定の方向以外と判断した場合、画素値が所定以上の高色差となる領域を判定する高色差領域判定手段と、
   前記高色差判定手段で高色差と判定した場合、さらにエッジの方向を判断する第２のエッジ方向判別手段と、
   前記第２のエッジ方向判別手段で判断した方向に沿って各撮像素子の画素値を補間して平滑化する方向依存平滑化手段と、
   前記第２のエッジ方向判別手段でいずれの方向にもエッジがないと判断した場合、各撮像素子の画素値を周囲の画素位置の画素値により全方向で平滑化する全方向平滑化手段と
   を備えたことを特徴とする画像処理装置。
2. 前記第２のエッジ方向判定手段は、
   前記特定の方向とは異なる方向に平滑化した複数の画素補間値の差から平坦度を判定することで、いずれの方向にもエッジがないと判断することを特徴とする請求項１記載の画像処理装置。
3. 前記第２のエッジ方向判定手段は、
   前記特定の方向とは異なる方向に平滑化した複数の画素補間値と、前記カラー撮像信号と前記高色差から算出した画素補間値との差を比較した比較結果によりエッジの方向を判定することを特徴とする請求項１記載の画像処理装置。
4. 前記方向依存平滑化手段は、
   前記第２のエッジ方向判別手段で判定に用いた前記特定の方向とは異なる複数の方向に平滑化した画素補間値のうちのいずれかを選択して最終結果に用いる補間値選択手段を備えることを特徴とする請求項１記載の画像処理装置。
5. 異なる分光感度を有する複数種類の撮像素子を単一面上に配列し、カラー撮像信号を得る撮像デバイスからの各撮像素子の画素値により、前記カラー撮像信号中でエッジを生じている方向を判断する第１のエッジ方向判定工程と、
   前記第１のエッジ方向判定工程でエッジ方向が特定の方向以外と判断した場合、画素値が所定以上の高色差となる領域を判定する高色差領域判定工程と、
   前記高色差判定工程で高色差と判定した場合、さらにエッジの方向を判断する第２のエッジ方向判別工程と、
   前記第２のエッジ方向判別工程で判断した方向に沿って各撮像素子の画素値を補間して平滑化する方向依存平滑化工程と、
   前記第２のエッジ方向判別工程でいずれの方向にもエッジがないと判断した場合、各撮像素子の画素値を周囲の画素位置の画素値により全方向で平滑化する全方向平滑化工程と
   を有したことを特徴とする画像処理方法。
6. 異なる分光感度を有する複数種類の撮像素子を単一面上に配列し、カラー撮像信号を得る撮像デバイスを備えた装置が内蔵したコンピュータが実行するプログラムであって、
   前記各撮像素子の画素値により、前記カラー撮像信号中でエッジを生じている方向を判断する第１のエッジ方向判定ステップと、
   前記第１のエッジ方向判定ステップでエッジ方向が特定の方向以外と判断した場合、画素値が所定以上の高色差となる領域を判定する高色差領域判定ステップと、
   前記高色差判定ステップで高色差と判定した場合、さらにエッジの方向を判断する第２のエッジ方向判別ステップと、
   前記第２のエッジ方向判別ステップで判断した方向に沿って各撮像素子の画素値を補間して平滑化する方向依存平滑化ステップと、
   前記第２のエッジ方向判別ステップでいずれの方向にもエッジがないと判断した場合、各撮像素子の画素値を周囲の画素位置の画素値により全方向で平滑化する全方向平滑化ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images