JP2004153753A

JP2004153753A - 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法

Info

Publication number: JP2004153753A
Application number: JP2002319541A
Authority: JP
Inventors: Yoshito Abe; 淑人阿部
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2002-11-01
Filing date: 2002-11-01
Publication date: 2004-05-27
Anticipated expiration: 2022-11-01
Also published as: JP4139672B2

Abstract

【課題】ハニカム型の単板式カラーイメージセンサによって撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる画像の補間装置および方法を提供する。
【解決手段】撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であってハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、近似補間分色画像をｆ、未補間分色画像をｇ、撮像模擬過程をＡ、再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素を補間し、近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段とを有するようにした補間装置、およびその装置に適用される方法。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、単板式カラーディジタルカメラの技術分野に属する。特に、ハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の分色画像における欠落画素を補間し、すべての分色画像を同一画素数の画像（フル画像）とする補間装置および補間方法に関する。
【０００２】
【従来技術】
ディジタルスチルカメラ、カラービデオカメラ、等の一般の撮像装置においては、単板式カラーイメージセンサが使用される。イメージセンサは２次元に配列する受光素子によって構成される。一般的な２次元配列は、縦（垂直）格子と横（水平）格子によって区切られた矩形の領域に受光素子が存在する配列である。これに対し、その配列を４５度の角度で傾けた配列が存在し、そのような２次元配列をハニカム型配列と呼ぶ。すなわち、ハニカム型配列は、４５度右上がり斜め格子と４５度右下がり斜め格子によって区切られた矩形の領域に受光素子が存在する配列である。
【０００３】
単板式カラーイメージセンサにおいては、フルカラー画像を得るために、受光素子の各々が所定の分光感度を有するようにする。すなわち、それらの受光素子の直前に所定の分光感度を付与するためのカラーフィルタが配置されている。このカラーフィルタにはＲＧＢ（ｒｅｄ，ｇｒｅｅｎ，ｂｌｕｅ）の原色系とＣＭＹ（ｃｙａｎ，ｍａｇｅｎｔａ，ｙｅｌｌｏｗ）の補色系がある。前者は色再現性に優れ、後者は解像度的に優れると言われている。すべての受光素子の各々に対しては、この３色のフィルタのいずれかが適用され、いずれかの分光感度が付与される。したがって、単色（白黒）のイメージセンサと比較すると、カラーイメージセンサの各色については、１／２〜１／４程度の画素数（受光素子数）しか有効ではない。
【０００４】
単板式カラーイメージセンサにおけるＲＧＢフィルターの配置の一例を図５に示す。図５に示す一例は、Ｂａｙｅｒ型と呼ばれるＲＧＢフィルターの配置である。また、図６に示す一例は、ハニカム型の単板式カラーイメージセンサのためのＲＧＢフィルターの配置である。図５に示すＢａｙｅｒ型配置に対して、図６に示すハニカム型配置は４５度の角度で傾けた配置であることが判る。
【０００５】
ハニカム型配置における各色フィルターの占める位置を判り易いように分離して図７（Ａ）〜（Ｃ）に示す。図７（Ａ）〜（Ｃ）において、”×”は、その色の分色画像における欠落画素を示している。図７（Ａ）〜（Ｃ）に示すように、全体の画素数に対する各色の画素数が占める割合は、Ｇ色の画素数は全体の１／４を占め、Ｒ色とＢ色の画素数は１／８を占める。
【０００６】
図７（Ａ）〜（Ｃ）において、”×”で示す欠落画素を補間法によって生成し、すべての分色画像を同一画素数の画像（フル画像）とすることが行なわれる。補間法としては、たとえば、双一次補間や双三次補間が適用される。これにより、Ｇ色の画素数を４倍に、Ｒ色とＢ色の画素数を各々８倍に補間する。
【０００７】
【発明が解決しようとする課題】
このような補間によって各分色画像の画素数は撮像素子の有効画素数と同一となり、その後の画像処理や画像表示に用いることが可能となる。しかし、偽色を含んでおり、またボケも含んでおり尖鋭度の低い低品位な画像であることは否めない。
【０００８】
本発明はこのような課題を解決するためになされたものであり、その目的は、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題は下記の本発明によって解決される。すなわち、
本発明の請求項１に係る補間装置は、カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、近似補間分色画像をｆ、前記未補間分色画像をｇ、撮像模擬過程をＡ、再生模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段とを有するようにしたものである。
【００１０】
本発明によれば、未補間分色画像生成手段によりディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子のハニカム型配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成手段により近似補間分色画像をｆ、未補間分色画像をｇ、撮像模擬過程をＡ、再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
【００１１】
また本発明の請求項２に係る補間装置は、請求項１に係る補間装置において、前記撮像模擬過程Ａは近似補間分色画像ｆに対するローパスフィルタ処理と間引き処理からなるようにしたものである。本発明によれば、撮像模擬過程Ａは近似補間分色画像ｆに対するローパスフィルタ処理と間引き処理からなる。
【００１２】
また本発明の請求項３に係る補間装置は、請求項２に係る補間装置において、前記ローパスフィルタ処理は下記数１に示すローパスフィルタ（ａ_ｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、撮像模擬過程Ａにおけるローパスフィルタ処理は数１に示すローパスフィルタ（ａ_ｉｊ）の畳み込み演算処理である。
（数１）
ａ_１１＝ａ_１２＝ａ_１４＝ａ_１５＝ａ_２１＝ａ_２５＝ａ_４１＝ａ_４５＝ａ_５１＝ａ_５２＝ａ_５４＝ａ_５５＝０、ａ_１３＝ａ_３１＝ａ_３５＝ａ_５３＝１／３２、ａ_２２＝ａ_２４＝ａ_４２＝ａ_４４＝１／１６、ａ_２３＝ａ_３２＝ａ_３３＝ａ_３４＝ａ_４３＝１／８
【００１３】
また本発明の請求項４に係る補間装置は、請求項２または３に係る補間装置において、前記間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理であるようにしたものである。本発明によれば、撮像模擬過程Ａにおける間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理である。
【００１４】
また本発明の請求項５に係る補間装置は、請求項１〜４のいずれかに係る補間装置において、前記再生模擬過程Ｂは、すくなくとも間引いた画素の補間処理を含むようにしたものである。本発明によれば、再生模擬過程Ｂはすくなくとも間引いた画素の補間処理を含む。
【００１５】
また本発明の請求項６に係る補間装置は、請求項５に係る補間装置において、前記再生模擬過程Ｂは、高域強調処理を含むようにしたものである。本発明によれば、再生模擬過程Ｂは高域強調処理を含む。
【００１６】
また本発明の請求項７に係る補間装置は、請求項５または６に係る補間装置において、１／４の間引き率の分色画像に対する前記補間処理は下記数２に示すフィルタ（ｂ_ｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、再生模擬過程Ｂにおける１／４の間引き率の分色画像に対する補間処理は下記数２に示すフィルタ（ｂ_ｉｊ）の畳み込み演算処理である。
（数２）
ｂ_１１＝ｂ_１３＝ｂ_３１＝ｂ_３３＝１／４、ｂ_１２＝ｂ_２１＝ｂ_２３＝ｂ_３２＝１／２、ｂ_２２＝１
【００１７】
また本発明の請求項８に係る補間装置は、請求項５〜７のいずれかに係る補間装置において、１／８の間引き率の分色画像に対する前記補間処理は下記数３に示すフィルタ（ｃ_ｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、再生模擬過程Ｂにおける１／８の間引き率の分色画像に対する補間処理は下記数３に示すフィルタ（ｃ_ｉｊ）の畳み込み演算処理である。
（数３）
ｃ_１１＝ｃ_１２＝ｃ_１４＝ｃ_１５＝ｃ_２１＝ｃ_２５＝ｃ_４１＝ｃ_４５＝ｃ_５１＝ｃ_５２＝ｃ_５４＝ｃ_５５＝０、ｃ_１３＝ｃ_３１＝ｃ_３５＝ｃ_５３＝１／４、ｃ_２２＝ｃ_２４＝ｃ_４２＝ｃ_４４＝１／２、ｃ_２３＝ｃ_３２＝ｃ_３３＝ｃ_３４＝ｃ_４３＝１
【００１８】
また本発明の請求項９に係る補間装置は、請求項１〜８のいずれかに係る補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有するようにしたものである。本発明によれば、反復アルゴリズムにおける収束が速められる。
【００１９】
また本発明の請求項１０に係る補間方法は、カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、近似補間分色画像をｆ、前記未補間分色画像をｇ、撮像模擬過程をＡ、再生模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成過程とを有するようにしたものである。
【００２０】
本発明によれば、未補間分色画像生成過程においてディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子のハニカム型配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成過程において近似補間分色画像をｆ、未補間分色画像をｇ、撮像模擬過程をＡ、再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【００２１】
【発明の実施の形態】
次に、本発明について実施の形態を説明する。最初に、反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）について説明しておく。ここで、ｆは近似補間分色画像、ｇは未補間分色画像、Ａは撮像模擬過程、Ｂは再現模擬過程を表す。一般に画像は連続関数の形式を適用してｆ（ｘ，ｙ）で表すことができる。また、ベクトル形式を適用してベクトルｆで表すことができる。また、行列形式を適用して［ｆ］で表すこともできる。いずれの形式を適用するかは関係なく、ここでは、画像を記号的にｆ，ｇと表すものとする。
【００２２】
そして、その画像に対する演算についても同様に、記号的にＡ，Ｂと表すものとする。このような形式に依らない表現によって、反復アルゴリズムの意味するところが明快に現れてくる。ｆ←ｆ＋Ｂ（ｇ−Ａｆ）という表現は、そのように反復アルゴリズムを表現した演算式である。この演算式は、ｆ_ｎ＝ｆ_ｎ−１＋Ｂ×（ｇ−Ａ×ｆ_ｎ−１）と同一の演算式である。
【００２３】
次に、演算式ｆ←ｆ＋Ｂ（ｇ−Ａｆ）の意味するところについて説明する。演算式から明らかなように、近似補間分色画像ｆは、未補間分色画像ｇに基づいて生成される画像である。そして近似補間分色画像ｆにおいては、図５（Ａ）〜（Ｃ）に示す未補間分色画像ｇのような欠落画素”×”に対応する画素に対して演算された画素値が与えられる。また、未補間分色画像ｇの非欠落画素に対応する画素に対しても、近似補間分色画像ｆにおいては演算された別の画素値が与えられる。
【００２４】
近似補間分色画像ｆは撮像対象そのものを推定し近似した分色画像である。ここで「撮像対象」は、撮像するときには画像と見なせるから、一般的に「原画像」と呼ぶことができる。これに対して、未補間分色画像ｇは撮像対象（原画像）を撮像して得た撮像画像の分色画像である。したがって、近似補間分色画像ｆに対し撮像模擬過程Ａを適用して得られるＡｆは、近似補間分色画像ｆが撮像対象（原画像）と良く一致し、撮像模擬過程Ａが適正であるならば、未補間分色画像ｇと良く一致することとなる。そのとき、演算式における（ｇ−Ａｆ）の項の値は”０”に近い値となり、反復演算により近似補間分色画像ｆが収束した状態となる。
【００２５】
撮像模擬過程Ａは、ディジタルカメラで撮像対象を撮像する過程を模擬する過程である。たとえば、撮像系の特性によってボケ等の画像劣化を含む撮像画像が得られるとすれば、撮像模擬過程Ａは、ボケを生じる過程を模擬するローパスフィルタとすることができる。ここに示す一例においては、ディジタルカメラが単板式カラーディジタルカメラであるから、そのボケを生じる過程とともに、各色の未補間分色画像ｇで示されるような欠落画素を生じる過程、すなわち間引きを行なう過程を模擬する。したがって、撮像模擬過程Ａは、ローパスフィルタ処理と間引き処理を含んでいる。
【００２６】
再現模擬過程Ｂは、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬する過程である。演算式における（ｇ−Ａｆ）は、撮像対象（原画像）の撮像画像と、近似補間分色画像ｆの撮像画像との差異に相当する項である。この項に対し、再現模擬過程Ｂを適用して得られるＢ（ｇ−Ａｆ）は、撮像対象（原画像）と、近似補間分色画像ｆとの差異に相当する項である。したがって、近似補間分色画像ｆに対してＢ（ｇ−Ａｆ）を加算したｆ＋Ｂ（ｇ−Ａｆ）は、その差異を修正することとなる。このｆ＋Ｂ（ｇ−Ａｆ）を新しいｆとすれば、すなわち、ｆ←ｆ＋Ｂ（ｇ−Ａｆ）とすれば、近似補間分色画像ｆは撮像対象（原画像）に近似することとなる。
【００２７】
以上、反復アルゴリズムについて説明を行なった。次に、本発明における具体的な補間処理の過程について図１を参照して説明する。図１は、本発明における補間処理の過程を示すフロー図である。
まず、図１のステップＳ１において、撮像画像を入力する。ここでは、撮像画像におけるＲＧＢフィルターの配置は、図６に示すようなハニカム型配置となっているものとする。
【００２８】
次に、ステップＳ２において、撮像画像から未補間分色画像を生成する。未補間分色画像は、Ｇ色の未補間分色画像、Ｒ色の未補間分色画像、Ｂ色の未補間分色画像の３つの未補間分色画像が存在する。Ｇ色の未補間分色画像は、撮像画像におけるＧフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ａ）において、”Ｇ”で示す画素がＧフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００２９】
同様に、Ｂ色の未補間分色画像は、撮像画像におけるＢフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ｂ）において、”Ｂ”で示す画素がＢフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
同様に、Ｒ色の未補間分色画像は、撮像画像におけるＲフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ｃ）において、”Ｒ”で示す画素がＲフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００３０】
上述のステップにより、ＲＧＢ各色の３つの未補間分色画像が得られる。図１に示す一例においては、以降のステップ、すなわちステップＳ３〜Ｓ８における処理は、各々の未補間分色画像ごとに並行して行なうことができる。並行処理とすることにより処理速度を高速化することができる。勿論、並行処理としないで順次処理とすることもできる。
【００３１】
図２にはそのような処理を高速で行なう装置の構成が示されている。図２において、破線で境界が示される領域の内部が図１に処理のフローを示す補間処理を行なう部分である。
撮像対象（原画像）の光像は結像レンズによってハニカム型の単板カラーイメージセンサ（撮像素子）の受光面に結像する。受光面には赤外線カットフィルター、光学ローパスフィルタ（たとえば水晶板の複屈折を利用）等が設けられている。すなわち、この過程は画像のローパスフィルタ処理（ボケ処理）とみなすことができる。
次に、受光面に設けられているＣＦ（カラーフィルタ）によって各色に選別され透過した光だけを受光素子が受光する。すなわち、間引き処理であって図６または図７（Ａ）〜（Ｃ）に示すような配列の未補間画像（モザイク画像）が撮像素子に形成される。
【００３２】
撮像素子が出力する信号はＡ／Ｄ変換されてデジタル信号となり、撮像画像（未補間画像）として演算メモリに一時記憶される。この未補間画像は、ＤＳＰ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）等の信号処理装置において補間処理（デモザイク処理）が行なわれた後に補間画像として出力ポートから出力が行なわれる。
なお、デジタルカメラにこの機能を実装することができる。また、未補間画像（モザイク画像）を記録媒体等に保存しておくようにすれば、補間処理をプリンタやパーソナルコンピュータで行なうことができる。
【００３３】
図１に戻り補間処理のフローについて説明を続ける。図１のステップＳ３〜Ｓ８には、Ｇ色の未補間分色画像に対する処理だけを示してある。Ｒ色とＢ色の未補間分色画像に対する処理については、ほぼ同様の処理であるから図１においては省略されており、相違点についてだけ後述する。
【００３４】
ステップＳ３において、近似補間分色画像ｆ_ｎの初期値ｆ_０を設定する。近似補間分色画像ｆ_ｎの初期値ｆ_０は、すべての画素の画素値を”０”とした画像であってもよい。しかし、収束速度を速めるため、未補間分色画像ｇを補間した画像を初期値ｆ_０とすると好適である。たとえば、双一次補間、双三次補間、等の周知の補間法に基づいて補間を行なった画像を初期値ｆ_０とすることができる。
【００３５】
次に、撮像模擬過程Ａと再現模擬過程Ｂを設定する。撮像模擬過程Ａは、すでに説明したように、ボケと間引きを行なう過程とすることができる。ボケについては、たとえば、図３に示すローパスフィルタ、すなわち前述の数１にに示すローパスフィルタよる畳込みを行なう。その後、図７（Ａ）〜（Ｃ）に示す画素配列に基づいて”×”の画素を”０”とする間引きを行なう。
【００３６】
再現模擬過程Ｂは、すでに説明したように、間引いた画素の補間と高域強調を行なう過程とすることができる。また、単純な補間だけで済ませることもできる。補間については、分色画像（未補間分色画像ｇと近似補間分色画像ｆ_ｎ）がＧ（ｇｒｅｅｎ）の画像であれば、たとえば、図４（Ａ）に示すローパスフィルタ（補間フィルタ）、すなわち前述の数２に示すローパスフィルタによる畳込みを行なう。Ｇ（ｇｒｅｅｎ）の画像は画素数が１／４に間引きされているから、図４（Ａ）に示すローパスフィルタのゲインが４となるように設定されている。
【００３７】
Ｇ色の分色画像に対する処理（ステップＳ３〜Ｓ８）ではなく、分色画像がＲ（ｒｅｄ）とＢ（ｂｌｕｅ）の画像であれば、たとえば、図４（Ｂ）に示すローパスフィルタ（補間フィルタ）、すなわち前述の数３に示すローパスフィルタによる畳込みを行なう。Ｒ（ｒｅｄ）とＢ（ｂｌｕｅ）の画像は画素数が１／８に間引きされているから、図４（Ｂ）に示すローパスフィルタのゲインが８となるように設定されている。
なお高域強調については、周知の高域強調フィルタ、たとえばラプラシアンを適用することができる。
【００３８】
次に、ステップＳ５において、反復回数ｎをｎ＝１とする。
次に、ステップＳ６において、近似補間分色画像ｆ_ｎ−１から近似補間分色画像ｆ_ｎを演算する。前述した反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）は、演算式ｆ_ｎ＝ｆ_ｎ−１＋Ｂ×（ｇ−Ａ×ｆ_ｎ−１）と同一である。設定した初期値ｆ_０に基づいて反復演算することにより、反復回数ｎ＝１，２，・・・に対するｆ_ｎを得ることができる。以下に説明するステップは、その反復演算のステップである。
【００３９】
次に、ステップＳ７において、収束したか否かの判定を行なう。この判定は収束条件をどのように設定するかに依っている。たとえば、反復回数を収束条件として１０＜ｎのときに収束とすることができる。またたとえば、Ｂ×（ｇ−Ａ×ｆ_ｎ−１）をベクトル形式で表したときのベクトルの大きさが所定値よりも小さいときに収束とすることができる。収束してないと判定されたときには、ステップＳ８に進む。収束していると判定されたときには、補間処理を終了する。
【００４０】
次に、ステップＳ８において、ｎ←ｎ＋１として、すなわち反復回数ｎの値に１を加算して、ステップＳ６に戻る。そして、上述した以降のステップを繰り返す。
【００４１】
以上、本発明における具体的な補間処理の過程について説明した。この補間処理によって生成される近似補間分色画像ｆ_ｎは、撮像対象（原画像）に近い高品位な画像である。
【００４２】
【発明の効果】
以上のとおりであるから、本発明の請求項１に係る補間装置によれば、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
また本発明の請求項２に係る補間装置によれば、撮像模擬過程Ａは近似補間分色画像ｆに対するローパスフィルタ処理と間引き処理からなる。
また本発明の請求項３に係る補間装置によれば、撮像模擬過程Ａにおけるローパスフィルタ処理は前述の数１に示すローパスフィルタ（ａ_ｉｊ）の畳み込み演算処理である。
また本発明の請求項４に係る補間装置によれば、撮像模擬過程Ａにおける間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理である。
また本発明の請求項５に係る補間装置によれば、再生模擬過程Ｂはすくなくとも間引いた画素の補間処理を含む。
また本発明の請求項６に係る補間装置によれば、再生模擬過程Ｂは高域強調処理を含む。
また本発明の請求項７に係る補間装置によれば、再生模擬過程Ｂにおける１／４の間引き率の分色画像に対する補間処理は前述の数２に示すフィルタ（ｂ_ｉｊ）の畳み込み演算処理である。
また本発明の請求項８に係る補間装置によれば、再生模擬過程Ｂにおける１／８の間引き率の分色画像に対する補間処理は前述の数３に示すフィルタ（ｃ_ｉｊ）の畳み込み演算処理である。
また本発明の請求項９に係る補間装置によれば、反復アルゴリズムにおける収束が速められる。
また本発明の請求項１０に係る補間方法によれば、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【図面の簡単な説明】
【図１】本発明における補間処理の過程を示すフロー図である。
【図２】補間処理を行なう装置構成の一例を示す図である。
【図３】撮像模擬過程Ａに適用するローパスフィルタの一例を示す図である。
【図４】（Ａ）はＧ画像、（Ｂ）はＢ画像とＲ画像の再現模擬過程Ｂに適用するローパスフィルタの一例を示す図である。
【図５】単板式カラーイメージセンサにおけるＲＧＢフィルターの配置（Ｂａｙｅｒ型配置）の一例を示す図である。
【図６】単板式カラーイメージセンサにおけるの一例を示す図である。
【図７】ハニカム型配置における各色フィルターの占める位置を判り易いように分離して示す図である。

Claims

カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、
前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、
近似補間分色画像をｆ、前記未補間分色画像をｇ、撮像模擬過程をＡ、再生模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段と、
を有することを特徴とする補間装置。
請求項１記載の補間装置において、前記撮像模擬過程Ａは近似補間分色画像ｆに対するローパスフィルタ処理と間引き処理からなることを特徴とする補間装置。
請求項２記載の補間装置において、前記ローパスフィルタ処理は下記数１に示すローパスフィルタ（ａ_ｉｊ）の畳み込み演算処理であることを特徴とする補間装置。
請求項２または３記載の補間装置において、前記間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理であることを特徴とする補間装置。
請求項１〜４のいずれかに記載の補間装置において、前記再生模擬過程Ｂは、すくなくとも間引いた画素の補間処理を含むことを特徴とする補間装置。
請求項５記載の補間装置において、前記再生模擬過程Ｂは、高域強調処理を含むことを特徴とする補間装置。
請求項５または６記載の補間装置において、１／４の間引き率の分色画像に対する前記補間処理は下記数２に示すフィルタ（ｂ_ｉｊ）の畳み込み演算処理であることを特徴とする補間装置。
請求項５〜７のいずれかに記載の補間装置において、１／８の間引き率の分色画像に対する前記補間処理は下記数３に示すフィルタ（ｃ_ｉｊ）の畳み込み演算処理であることを特徴とする補間装置。
請求項１〜８のいずれかに記載の補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有することを特徴とする補間装置。
カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、
前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、
近似補間分色画像をｆ、前記未補間分色画像をｇ、撮像模擬過程をＡ、再生模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成過程と、
を有することを特徴とする補間方法。