JP2003179941A - 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 - Google Patents
単板式カラーディジタルカメラにおける撮像画像の補間装置および方法Info
- Publication number
- JP2003179941A JP2003179941A JP2001380071A JP2001380071A JP2003179941A JP 2003179941 A JP2003179941 A JP 2003179941A JP 2001380071 A JP2001380071 A JP 2001380071A JP 2001380071 A JP2001380071 A JP 2001380071A JP 2003179941 A JP2003179941 A JP 2003179941A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- separated
- interpolated
- uninterpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004088 simulation Methods 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 239000003086 colorant Substances 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 abstract 1
- 238000004220 aggregation Methods 0.000 abstract 1
- 230000008929 regeneration Effects 0.000 abstract 1
- 238000011069 regeneration method Methods 0.000 abstract 1
- 238000000926 separation method Methods 0.000 description 29
- 230000014509 gene expression Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
(57)【要約】
【課題】偽色信号の発生を低減するとともに、尖鋭度の
高い高品位な画像を生成することができる、単板式カラ
ーディジタルカメラにおける撮像画像の補間装置および
方法を提供する。 【解決手段】撮像信号に基づいてカラーフィルタの各色
に対応する受光素子の画素値の集合であって２次元配列
における欠落画素が含まれる未補間分色画像を生成する
未補間分色画像生成手段と、近似補間分色画像をｆ、未
補間分色画像をｇ、撮像模擬過程をＡ、再現模擬過程を
Ｂとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａ
ｆ）を適用することにより欠落画素を補間し、近似補間
画像の収束画像として補間済分色画像を生成する補間済
分色画像生成手段とを有するようにした補間装置、およ
びその装置に適用される方法。
高い高品位な画像を生成することができる、単板式カラ
ーディジタルカメラにおける撮像画像の補間装置および
方法を提供する。 【解決手段】撮像信号に基づいてカラーフィルタの各色
に対応する受光素子の画素値の集合であって２次元配列
における欠落画素が含まれる未補間分色画像を生成する
未補間分色画像生成手段と、近似補間分色画像をｆ、未
補間分色画像をｇ、撮像模擬過程をＡ、再現模擬過程を
Ｂとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａ
ｆ）を適用することにより欠落画素を補間し、近似補間
画像の収束画像として補間済分色画像を生成する補間済
分色画像生成手段とを有するようにした補間装置、およ
びその装置に適用される方法。
Description
【０００１】
【発明の属する技術分野】本発明は、単板式カラーディ
ジタルカメラの技術分野に属する。特に、その撮像画像
の分色画像における欠落画素を補間し、すべての分色画
像を同一画素数の画像（フル画像）とする補間装置およ
び補間方法に関する。
ジタルカメラの技術分野に属する。特に、その撮像画像
の分色画像における欠落画素を補間し、すべての分色画
像を同一画素数の画像（フル画像）とする補間装置およ
び補間方法に関する。
【０００２】
【従来技術】ディジタルスチルカメラ、カラービデオカ
メラ、等の一般の撮像装置においては、単板式カラーイ
メージセンサが使用される。イメージセンサは２次元に
配列する受光素子によって構成される。単板式カラーイ
メージセンサにおいては、フルカラー画像を得るため
に、受光素子の各々が所定の分光感度を有するようにす
る。すなわち、それらの受光素子の直前に所定の分光感
度を付与するためのカラーフィルタが配置されている。
メラ、等の一般の撮像装置においては、単板式カラーイ
メージセンサが使用される。イメージセンサは２次元に
配列する受光素子によって構成される。単板式カラーイ
メージセンサにおいては、フルカラー画像を得るため
に、受光素子の各々が所定の分光感度を有するようにす
る。すなわち、それらの受光素子の直前に所定の分光感
度を付与するためのカラーフィルタが配置されている。
【０００３】このカラーフィルタにはＲＧＢ（red,gree
n,blue）の原色系とＣＭＹ（cyan,magenta,yellow）の
補色系がある。前者は色再現性に優れ、後者は解像度的
に優れると言われている。すべての受光素子の各々に対
しては、この３色のフィルタのいずれかが適用され、い
ずれかの分光感度が付与される。したがって、単色（白
黒）のイメージセンサと比較すると、カラーイメージセ
ンサの各色については、１／２〜１／４程度の画素数
（受光素子数）しか有効ではない。
n,blue）の原色系とＣＭＹ（cyan,magenta,yellow）の
補色系がある。前者は色再現性に優れ、後者は解像度的
に優れると言われている。すべての受光素子の各々に対
しては、この３色のフィルタのいずれかが適用され、い
ずれかの分光感度が付与される。したがって、単色（白
黒）のイメージセンサと比較すると、カラーイメージセ
ンサの各色については、１／２〜１／４程度の画素数
（受光素子数）しか有効ではない。
【０００４】単板式カラーイメージセンサにおけるＲＧ
Ｂフィルターの配置の一例を図４に示す。図４に示す一
例は、Ｂａｙｅｒ型と呼ばれる配置である。Ｂａｙｅｒ
型配置における各色フィルターの占める位置を判り易い
ように分離して図５（Ａ）〜（Ｃ）に示す。図５（Ａ）
〜（Ｃ）において、”×”は、その色の分色画像におけ
る欠落画素を示している。図５（Ａ）〜（Ｃ）に示すよ
うに、全体の画素数に対する各色の画素数が占める割合
は、Ｇ色の画素数は全体の１／２を占め、Ｒ色とＢ色の
画素数は１／４を占める。
Ｂフィルターの配置の一例を図４に示す。図４に示す一
例は、Ｂａｙｅｒ型と呼ばれる配置である。Ｂａｙｅｒ
型配置における各色フィルターの占める位置を判り易い
ように分離して図５（Ａ）〜（Ｃ）に示す。図５（Ａ）
〜（Ｃ）において、”×”は、その色の分色画像におけ
る欠落画素を示している。図５（Ａ）〜（Ｃ）に示すよ
うに、全体の画素数に対する各色の画素数が占める割合
は、Ｇ色の画素数は全体の１／２を占め、Ｒ色とＢ色の
画素数は１／４を占める。
【０００５】図５（Ａ）〜（Ｃ）において、”×”で示
す欠落画素を補間法によって生成し、すべての分色画像
を同一画素数の画像（フル画像）とすることが行なわれ
る。図４に示すＢａｙｅｒ型配置において、たとえば、
対象画素Ｇ３３の位置には、数１〜数３を適用して、Ｒ
ＧＢ分色画像の各々に対応して、ｒ３３、ｇ３３、ｂ３
３の画素値の画素を生成する。Ｇ３３に替えてｇ３３を
適用するのは、輪郭部における偽色信号の発生を低減す
るため、各分色画像における周波数特性を近づけるため
である。
す欠落画素を補間法によって生成し、すべての分色画像
を同一画素数の画像（フル画像）とすることが行なわれ
る。図４に示すＢａｙｅｒ型配置において、たとえば、
対象画素Ｇ３３の位置には、数１〜数３を適用して、Ｒ
ＧＢ分色画像の各々に対応して、ｒ３３、ｇ３３、ｂ３
３の画素値の画素を生成する。Ｇ３３に替えてｇ３３を
適用するのは、輪郭部における偽色信号の発生を低減す
るため、各分色画像における周波数特性を近づけるため
である。
【数１】
【数２】
【数３】
【０００６】また、対象画素Ｇ３３の位置の色フィルタ
がＲかＢの場合には、対象画素の色をＰ、対象画素以外
の色をＧとＱとすると、その対象画素の位置には、、数
４〜数６を適用して、ＰＱＧ分色画像の各々に対応し
て、ｐ３３、ｑ３３、ｇ３３の画素値の画素を生成す
る。
がＲかＢの場合には、対象画素の色をＰ、対象画素以外
の色をＧとＱとすると、その対象画素の位置には、、数
４〜数６を適用して、ＰＱＧ分色画像の各々に対応し
て、ｐ３３、ｑ３３、ｇ３３の画素値の画素を生成す
る。
【数４】
【数５】
【数６】
【０００７】
【発明が解決しようとする課題】これらの処理によって
各分色画像の画素数は撮像素子の有効画素数と同一とな
り、その後の画像処理や画像表示に用いることが可能と
なる。しかし、偽色信号の発生を低減したとはいえ偽色
を含んでおり、またボケも含んでおり尖鋭度の低い低品
位な画像であることは否めない。
各分色画像の画素数は撮像素子の有効画素数と同一とな
り、その後の画像処理や画像表示に用いることが可能と
なる。しかし、偽色信号の発生を低減したとはいえ偽色
を含んでおり、またボケも含んでおり尖鋭度の低い低品
位な画像であることは否めない。
【０００８】本発明はこのような課題を解決するために
なされたものであり、その目的は、偽色信号の発生を低
減するとともに、尖鋭度の高い高品位な画像を生成する
ことができる補間装置および方法を提供することにあ
る。
なされたものであり、その目的は、偽色信号の発生を低
減するとともに、尖鋭度の高い高品位な画像を生成する
ことができる補間装置および方法を提供することにあ
る。
【０００９】
【課題を解決するための手段】上記課題は下記の本発明
によって解決される。すなわち、本発明の請求項１に係
る補間装置は、カラーフィルタと受光素子とを２次元配
列して成る単板式カラーイメージセンサを有するディジ
タルカメラにおける撮像画像の補間装置であって、前記
ディジタルカメラの撮像信号に基づいて、前記カラーフ
ィルタの各色に対応する受光素子の画素値の集合であっ
て前記２次元配列における欠落画素が含まれる未補間分
色画像を生成する未補間分色画像生成手段と、近似補間
分色画像をｆ、前記未補間分色画像をｇ、撮像模擬過程
をＡ、再現模擬過程をＢとし、反復アルゴリズムとして
ｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落
画素を補間し、前記近似補間画像の収束画像として補間
済分色画像を生成する補間済分色画像生成手段とを有す
るようにしたものである。
によって解決される。すなわち、本発明の請求項１に係
る補間装置は、カラーフィルタと受光素子とを２次元配
列して成る単板式カラーイメージセンサを有するディジ
タルカメラにおける撮像画像の補間装置であって、前記
ディジタルカメラの撮像信号に基づいて、前記カラーフ
ィルタの各色に対応する受光素子の画素値の集合であっ
て前記２次元配列における欠落画素が含まれる未補間分
色画像を生成する未補間分色画像生成手段と、近似補間
分色画像をｆ、前記未補間分色画像をｇ、撮像模擬過程
をＡ、再現模擬過程をＢとし、反復アルゴリズムとして
ｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落
画素を補間し、前記近似補間画像の収束画像として補間
済分色画像を生成する補間済分色画像生成手段とを有す
るようにしたものである。
【００１０】本発明によれば、未補間分色画像生成手段
によりディジタルカメラの撮像信号に基づいてカラーフ
ィルタの各色に対応する受光素子の画素値の集合であっ
て受光素子の２次元配列における欠落画素が含まれる未
補間分色画像が生成され、補間済分色画像生成手段によ
り近似補間分色画像をｆ、未補間分色画像をｇ、撮像模
擬過程をＡ、再現模擬過程をＢとし、反復アルゴリズム
としてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠
落画素が補間され、近似補間画像の収束画像として補間
済分色画像が生成される。この反復アルゴリズムによれ
ば、近似補間分色画像ｆは、反復処理によって撮像対象
である原画像に逐次近似される。したがって、偽色信号
の発生を低減するとともに、尖鋭度の高い高品位な画像
を生成することができる補間装置が提供される。
によりディジタルカメラの撮像信号に基づいてカラーフ
ィルタの各色に対応する受光素子の画素値の集合であっ
て受光素子の２次元配列における欠落画素が含まれる未
補間分色画像が生成され、補間済分色画像生成手段によ
り近似補間分色画像をｆ、未補間分色画像をｇ、撮像模
擬過程をＡ、再現模擬過程をＢとし、反復アルゴリズム
としてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠
落画素が補間され、近似補間画像の収束画像として補間
済分色画像が生成される。この反復アルゴリズムによれ
ば、近似補間分色画像ｆは、反復処理によって撮像対象
である原画像に逐次近似される。したがって、偽色信号
の発生を低減するとともに、尖鋭度の高い高品位な画像
を生成することができる補間装置が提供される。
【００１１】また本発明の請求項２に係る補間装置は、
請求項１に係る補間装置において、周知の補間法を前記
未補間分色画像に適用することによって前記近似補間分
色画像の初期画像を生成する初期画像生成手段を有する
有するようにしたものである。本発明によれば、反復ア
ルゴリズムにおける収束が速められる。
請求項１に係る補間装置において、周知の補間法を前記
未補間分色画像に適用することによって前記近似補間分
色画像の初期画像を生成する初期画像生成手段を有する
有するようにしたものである。本発明によれば、反復ア
ルゴリズムにおける収束が速められる。
【００１２】また本発明の請求項３に係る補間装置は、
請求項１または２に係る補間装置において、前記カラー
フィルターの各色に対応する処理を並列して実行する並
列処理手段を有するようにしたものである。本発明によ
れば、処理速度が高められる。
請求項１または２に係る補間装置において、前記カラー
フィルターの各色に対応する処理を並列して実行する並
列処理手段を有するようにしたものである。本発明によ
れば、処理速度が高められる。
【００１３】また本発明の請求項４に係る補間方法は、
カラーフィルタと受光素子とを２次元配列して成る単板
式カラーイメージセンサを有するディジタルカメラにお
ける撮像画像の補間方法であって、前記ディジタルカメ
ラの撮像信号に基づいて、前記カラーフィルタの各色に
対応する受光素子の画素値の集合であって前記２次元配
列における欠落画素が含まれる未補間分色画像を生成す
る未補間分色画像生成過程と、近似補間分色画像をｆ、
前記未補間分色画像をｇ、撮像模擬過程をＡ、再現模擬
過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ
−Ａｆ）を適用することにより前記欠落画素を補間し、
前記近似補間画像の収束画像として補間済分色画像を生
成する補間済分色画像生成過程とを有するようにしたも
のである。
カラーフィルタと受光素子とを２次元配列して成る単板
式カラーイメージセンサを有するディジタルカメラにお
ける撮像画像の補間方法であって、前記ディジタルカメ
ラの撮像信号に基づいて、前記カラーフィルタの各色に
対応する受光素子の画素値の集合であって前記２次元配
列における欠落画素が含まれる未補間分色画像を生成す
る未補間分色画像生成過程と、近似補間分色画像をｆ、
前記未補間分色画像をｇ、撮像模擬過程をＡ、再現模擬
過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ
−Ａｆ）を適用することにより前記欠落画素を補間し、
前記近似補間画像の収束画像として補間済分色画像を生
成する補間済分色画像生成過程とを有するようにしたも
のである。
【００１４】本発明によれば、未補間分色画像生成過程
においてディジタルカメラの撮像信号に基づいてカラー
フィルタの各色に対応する受光素子の画素値の集合であ
って受光素子の２次元配列における欠落画素が含まれる
未補間分色画像が生成され、補間済分色画像生成過程に
おいて近似補間分色画像をｆ、未補間分色画像をｇ、撮
像模擬過程をＡ、再現模擬過程をＢとし、反復アルゴリ
ズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することによ
り欠落画素が補間され、近似補間画像の収束画像として
補間済分色画像が生成される。この反復アルゴリズムに
よれば、近似補間分色画像ｆは、反復処理によって撮像
対象である原画像に逐次近似される。したがって、偽色
信号の発生を低減するとともに、尖鋭度の高い高品位な
画像を生成することができる補間方法が提供される。
においてディジタルカメラの撮像信号に基づいてカラー
フィルタの各色に対応する受光素子の画素値の集合であ
って受光素子の２次元配列における欠落画素が含まれる
未補間分色画像が生成され、補間済分色画像生成過程に
おいて近似補間分色画像をｆ、未補間分色画像をｇ、撮
像模擬過程をＡ、再現模擬過程をＢとし、反復アルゴリ
ズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することによ
り欠落画素が補間され、近似補間画像の収束画像として
補間済分色画像が生成される。この反復アルゴリズムに
よれば、近似補間分色画像ｆは、反復処理によって撮像
対象である原画像に逐次近似される。したがって、偽色
信号の発生を低減するとともに、尖鋭度の高い高品位な
画像を生成することができる補間方法が提供される。
【００１５】
【発明の実施の形態】次に、本発明について実施の形態
を説明する。最初に、反復アルゴリズムｆ←ｆ＋Ｂ（ｇ
−Ａｆ）について説明しておく。ここで、ｆは近似補間
分色画像、ｇは未補間分色画像、Ａは撮像模擬過程、Ｂ
は再現模擬過程を表す。一般に画像は連続関数の形式を
適用してｆ（ｘ，ｙ）で表すことができる。また、ベク
トル形式を適用してベクトルｆで表すことができる。ま
た、行列形式を適用して［ｆ］で表すこともできる。い
ずれの形式を適用するかは関係なく、ここでは、画像を
記号的にｆ，ｇと表すものとする。
を説明する。最初に、反復アルゴリズムｆ←ｆ＋Ｂ（ｇ
−Ａｆ）について説明しておく。ここで、ｆは近似補間
分色画像、ｇは未補間分色画像、Ａは撮像模擬過程、Ｂ
は再現模擬過程を表す。一般に画像は連続関数の形式を
適用してｆ（ｘ，ｙ）で表すことができる。また、ベク
トル形式を適用してベクトルｆで表すことができる。ま
た、行列形式を適用して［ｆ］で表すこともできる。い
ずれの形式を適用するかは関係なく、ここでは、画像を
記号的にｆ，ｇと表すものとする。
【００１６】そして、その画像に対する演算についても
同様に、記号的にＡ，Ｂと表すものとする。このような
形式に依らない表現によって、反復アルゴリズムの意味
するところが明快に現れてくる。ｆ←ｆ＋Ｂ（ｇ−Ａ
ｆ）という表現は、そのように反復アルゴリズムを表現
した演算式である。この演算式は、ｆn＝ｆn-1＋Ｂ×
（ｇ−Ａ×ｆn-1）と同一の演算式である。
同様に、記号的にＡ，Ｂと表すものとする。このような
形式に依らない表現によって、反復アルゴリズムの意味
するところが明快に現れてくる。ｆ←ｆ＋Ｂ（ｇ−Ａ
ｆ）という表現は、そのように反復アルゴリズムを表現
した演算式である。この演算式は、ｆn＝ｆn-1＋Ｂ×
（ｇ−Ａ×ｆn-1）と同一の演算式である。
【００１７】次に、演算式ｆ←ｆ＋Ｂ（ｇ−Ａｆ）の意
味するところについて説明する。演算式から明らかなよ
うに、近似補間分色画像ｆは、未補間分色画像ｇに基づ
いて生成される画像である。そして近似補間分色画像ｆ
においては、図５（Ａ）〜（Ｃ）に示す未補間分色画像
ｇのような欠落画素”×”に対応する画素に対して演算
された画素値が与えられる。また、未補間分色画像ｇの
非欠落画素に対応する画素に対しても、近似補間分色画
像ｆにおいては演算された別の画素値が与えられる。
味するところについて説明する。演算式から明らかなよ
うに、近似補間分色画像ｆは、未補間分色画像ｇに基づ
いて生成される画像である。そして近似補間分色画像ｆ
においては、図５（Ａ）〜（Ｃ）に示す未補間分色画像
ｇのような欠落画素”×”に対応する画素に対して演算
された画素値が与えられる。また、未補間分色画像ｇの
非欠落画素に対応する画素に対しても、近似補間分色画
像ｆにおいては演算された別の画素値が与えられる。
【００１８】近似補間分色画像ｆは撮像対象そのものを
推定し近似した分色画像である。ここで「撮像対象」
は、撮像するときには画像と見なせるから、一般的に
「原画像」と呼ぶことができる。これに対して、未補間
分色画像ｇは撮像対象（原画像）を撮像して得た撮像画
像の分色画像である。したがって、近似補間分色画像ｆ
に対し撮像模擬過程Ａを適用して得られるＡｆは、近似
補間分色画像ｆが撮像対象（原画像）と良く一致し、撮
像模擬過程Ａが適正であるならば、未補間分色画像ｇと
良く一致することとなる。そのとき、演算式における
（ｇ−Ａｆ）の項の値は”０”に近い値となり、反復演
算により近似補間分色画像ｆが収束した状態となる。
推定し近似した分色画像である。ここで「撮像対象」
は、撮像するときには画像と見なせるから、一般的に
「原画像」と呼ぶことができる。これに対して、未補間
分色画像ｇは撮像対象（原画像）を撮像して得た撮像画
像の分色画像である。したがって、近似補間分色画像ｆ
に対し撮像模擬過程Ａを適用して得られるＡｆは、近似
補間分色画像ｆが撮像対象（原画像）と良く一致し、撮
像模擬過程Ａが適正であるならば、未補間分色画像ｇと
良く一致することとなる。そのとき、演算式における
（ｇ−Ａｆ）の項の値は”０”に近い値となり、反復演
算により近似補間分色画像ｆが収束した状態となる。
【００１９】撮像模擬過程Ａは、ディジタルカメラで撮
像対象を撮像する過程を模擬する過程である。たとえ
ば、撮像系の特性によってボケ等の画像劣化を含む撮像
画像が得られるとすれば、撮像模擬過程Ａは、ボケを生
じる過程を模擬するローパスフィルタとすることができ
る。ここに示す一例においては、ディジタルカメラが単
板式カラーディジタルカメラであるから、そのボケを生
じる過程とともに、各色の未補間分色画像ｇで示される
ような欠落画素を生じる過程、すなわち間引きを行なう
過程を模擬する。したがって、撮像模擬過程Ａは、ロー
パスフィルタ処理と間引き処理を含んでいる。
像対象を撮像する過程を模擬する過程である。たとえ
ば、撮像系の特性によってボケ等の画像劣化を含む撮像
画像が得られるとすれば、撮像模擬過程Ａは、ボケを生
じる過程を模擬するローパスフィルタとすることができ
る。ここに示す一例においては、ディジタルカメラが単
板式カラーディジタルカメラであるから、そのボケを生
じる過程とともに、各色の未補間分色画像ｇで示される
ような欠落画素を生じる過程、すなわち間引きを行なう
過程を模擬する。したがって、撮像模擬過程Ａは、ロー
パスフィルタ処理と間引き処理を含んでいる。
【００２０】再現模擬過程Ｂは、画像劣化を含む撮像画
像から撮像対象を再現する過程を模擬する過程である。
演算式における（ｇ−Ａｆ）は、撮像対象（原画像）の
撮像画像と、近似補間分色画像ｆの撮像画像との差異に
相当する項である。この項に対し、再現模擬過程Ｂを適
用して得られるＢ（ｇ−Ａｆ）は、撮像対象（原画像）
と、近似補間分色画像ｆとの差異に相当する項である。
したがって、近似補間分色画像ｆに対してＢ（ｇ−Ａ
ｆ）を加算したｆ＋Ｂ（ｇ−Ａｆ）は、その差異を修正
することとなる。このｆ＋Ｂ（ｇ−Ａｆ）を新しいｆと
すれば、すなわち、ｆ←ｆ＋Ｂ（ｇ−Ａｆ）とすれば、
近似補間分色画像ｆは撮像対象（原画像）に近似するこ
ととなる。
像から撮像対象を再現する過程を模擬する過程である。
演算式における（ｇ−Ａｆ）は、撮像対象（原画像）の
撮像画像と、近似補間分色画像ｆの撮像画像との差異に
相当する項である。この項に対し、再現模擬過程Ｂを適
用して得られるＢ（ｇ−Ａｆ）は、撮像対象（原画像）
と、近似補間分色画像ｆとの差異に相当する項である。
したがって、近似補間分色画像ｆに対してＢ（ｇ−Ａ
ｆ）を加算したｆ＋Ｂ（ｇ−Ａｆ）は、その差異を修正
することとなる。このｆ＋Ｂ（ｇ−Ａｆ）を新しいｆと
すれば、すなわち、ｆ←ｆ＋Ｂ（ｇ−Ａｆ）とすれば、
近似補間分色画像ｆは撮像対象（原画像）に近似するこ
ととなる。
【００２１】以上、反復アルゴリズムについて説明を行
なった。次に、本発明における具体的な補間処理の過程
について図１を参照して説明する。図１は、本発明にお
ける補間処理の過程を示すフロー図である。まず、図１
のステップＳ１において、撮像画像を入力する。ここで
は、撮像画像におけるＲＧＢフィルターの配置は、図４
に示すようなＢｙｅｒ型配置となっているものとする。
なった。次に、本発明における具体的な補間処理の過程
について図１を参照して説明する。図１は、本発明にお
ける補間処理の過程を示すフロー図である。まず、図１
のステップＳ１において、撮像画像を入力する。ここで
は、撮像画像におけるＲＧＢフィルターの配置は、図４
に示すようなＢｙｅｒ型配置となっているものとする。
【００２２】次に、ステップＳ２において、撮像画像か
ら未補間分色画像を生成する。未補間分色画像は、Ｇ色
の未補間分色画像、Ｒ色の未補間分色画像、Ｂ色の未補
間分色画像の３つの未補間分色画像が存在する。Ｇ色の
未補間分色画像は、撮像画像におけるＧフィルターの画
素の画素値をそのままに他の画素の画素値を”０”とし
たものである。図５（Ａ）において、”Ｇ”で示す画素
がＧフィルターの画素の画素値となる画素であり、”
×”で示す画素が”０”の画素値となる画素である。
ら未補間分色画像を生成する。未補間分色画像は、Ｇ色
の未補間分色画像、Ｒ色の未補間分色画像、Ｂ色の未補
間分色画像の３つの未補間分色画像が存在する。Ｇ色の
未補間分色画像は、撮像画像におけるＧフィルターの画
素の画素値をそのままに他の画素の画素値を”０”とし
たものである。図５（Ａ）において、”Ｇ”で示す画素
がＧフィルターの画素の画素値となる画素であり、”
×”で示す画素が”０”の画素値となる画素である。
【００２３】同様に、Ｒ色の未補間分色画像は、撮像画
像におけるＲフィルターの画素の画素値をそのままに他
の画素の画素値を”０”としたものである。図５（Ｂ）
において、”Ｒ”で示す画素がＲフィルターの画素の画
素値となる画素であり、”×”で示す画素が”０”の画
素値となる画素である。同様に、Ｂ色の未補間分色画像
は、撮像画像におけるＢフィルターの画素の画素値をそ
のままに他の画素の画素値を”０”としたものである。
図５（Ｃ）において、”Ｂ”で示す画素がＢフィルター
の画素の画素値となる画素であり、”×”で示す画素
が”０”の画素値となる画素である。
像におけるＲフィルターの画素の画素値をそのままに他
の画素の画素値を”０”としたものである。図５（Ｂ）
において、”Ｒ”で示す画素がＲフィルターの画素の画
素値となる画素であり、”×”で示す画素が”０”の画
素値となる画素である。同様に、Ｂ色の未補間分色画像
は、撮像画像におけるＢフィルターの画素の画素値をそ
のままに他の画素の画素値を”０”としたものである。
図５（Ｃ）において、”Ｂ”で示す画素がＢフィルター
の画素の画素値となる画素であり、”×”で示す画素
が”０”の画素値となる画素である。
【００２４】上述のステップにより、ＲＧＢ各色の３つ
の未補間分色画像が得られる。図１に示す一例において
は、以降のステップ、すなわちステップＳ３〜Ｓ８にお
ける処理は、各々の未補間分色画像ごとに並行して行な
われる。並行処理とすることにより処理速度を高速化す
ることができる。勿論、並行処理としないで順次処理と
することもできる。図１のステップＳ３〜Ｓ８には、Ｇ
色の未補間分色画像に対する処理だけを示してある。Ｒ
色とＢ色の未補間分色画像に対する処理については、ほ
ぼ同様の処理であるから図１においては省略されてお
り、相違点についてだけ後述する。
の未補間分色画像が得られる。図１に示す一例において
は、以降のステップ、すなわちステップＳ３〜Ｓ８にお
ける処理は、各々の未補間分色画像ごとに並行して行な
われる。並行処理とすることにより処理速度を高速化す
ることができる。勿論、並行処理としないで順次処理と
することもできる。図１のステップＳ３〜Ｓ８には、Ｇ
色の未補間分色画像に対する処理だけを示してある。Ｒ
色とＢ色の未補間分色画像に対する処理については、ほ
ぼ同様の処理であるから図１においては省略されてお
り、相違点についてだけ後述する。
【００２５】次に、ステップＳ３において、近似補間分
色画像ｆnの初期値ｆ0を設定する。近似補間分色画像ｆ
nの初期値ｆ0は、すべての画素の画素値を”０”とした
画像であってもよい。しかし、収束速度を速めるため、
未補間分色画像ｇを補間した画像を初期値ｆ0とすると
好適である。たとえば、前述の数１〜数６の数式に基づ
いて補間を行なった画像を初期値ｆ0とすることができ
る。
色画像ｆnの初期値ｆ0を設定する。近似補間分色画像ｆ
nの初期値ｆ0は、すべての画素の画素値を”０”とした
画像であってもよい。しかし、収束速度を速めるため、
未補間分色画像ｇを補間した画像を初期値ｆ0とすると
好適である。たとえば、前述の数１〜数６の数式に基づ
いて補間を行なった画像を初期値ｆ0とすることができ
る。
【００２６】次に、撮像模擬過程Ａと再現模擬過程Ｂを
設定する。撮像模擬過程Ａは、すでに説明したように、
ボケと間引きを行なう過程とすることができる。ボケに
ついては、たとえば、図２に示すローパスフィルタによ
る畳込みを行なう。その後、図５（Ａ）〜（Ｃ）に示す
画素配列に基づいて”×”の画素を”０”とする間引き
を行なう。
設定する。撮像模擬過程Ａは、すでに説明したように、
ボケと間引きを行なう過程とすることができる。ボケに
ついては、たとえば、図２に示すローパスフィルタによ
る畳込みを行なう。その後、図５（Ａ）〜（Ｃ）に示す
画素配列に基づいて”×”の画素を”０”とする間引き
を行なう。
【００２７】再現模擬過程Ｂは、すでに説明したよう
に、間引いた画素の補間と高域強調を行なう過程とする
ことができる。また、単純な補間だけで済ませることも
できる。補間については、分色画像（未補間分色画像ｇ
と近似補間分色画像ｆn）がＧ（green）の画像であれ
ば、たとえば、図３に示すローパスフィルタ（補間フィ
ルタ）による畳込みを行なう。Ｇ（green）の画像は画
素数が１／２に間引きされているから、図３に示すロー
パスフィルタのゲインが２となるように設定されてい
る。
に、間引いた画素の補間と高域強調を行なう過程とする
ことができる。また、単純な補間だけで済ませることも
できる。補間については、分色画像（未補間分色画像ｇ
と近似補間分色画像ｆn）がＧ（green）の画像であれ
ば、たとえば、図３に示すローパスフィルタ（補間フィ
ルタ）による畳込みを行なう。Ｇ（green）の画像は画
素数が１／２に間引きされているから、図３に示すロー
パスフィルタのゲインが２となるように設定されてい
る。
【００２８】Ｇ色の分色画像に対する処理（ステップＳ
３〜Ｓ８）ではなく、分色画像がＲ（red）とＢ（blu
e）の画像であれば、画素数が１／４に間引きされてい
るから、図３に示すローパスフィルタのゲインが４とな
るように、図３に示すローパスフィルタにおける各々の
値を２倍に設定する。なお高域強調については、周知の
高域強調フィルタ、たとえばラプラシアンを適用するこ
とができる。
３〜Ｓ８）ではなく、分色画像がＲ（red）とＢ（blu
e）の画像であれば、画素数が１／４に間引きされてい
るから、図３に示すローパスフィルタのゲインが４とな
るように、図３に示すローパスフィルタにおける各々の
値を２倍に設定する。なお高域強調については、周知の
高域強調フィルタ、たとえばラプラシアンを適用するこ
とができる。
【００２９】次に、ステップＳ５において、反復回数ｎ
をｎ＝１とする。次に、ステップＳ６において、近似補
間分色画像ｆn-1から近似補間分色画像ｆnを演算する。
前述した反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）は、
演算式ｆn＝ｆn-1＋Ｂ×（ｇ−Ａ×ｆn-1）と同一であ
る。設定した初期値ｆ0に基づいて反復演算することに
より、反復回数ｎ＝１，２，・・・に対するｆnを得る
ことができる。以下に説明するステップは、その反復演
算のステップである。
をｎ＝１とする。次に、ステップＳ６において、近似補
間分色画像ｆn-1から近似補間分色画像ｆnを演算する。
前述した反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）は、
演算式ｆn＝ｆn-1＋Ｂ×（ｇ−Ａ×ｆn-1）と同一であ
る。設定した初期値ｆ0に基づいて反復演算することに
より、反復回数ｎ＝１，２，・・・に対するｆnを得る
ことができる。以下に説明するステップは、その反復演
算のステップである。
【００３０】次に、ステップＳ７において、収束したか
否かの判定を行なう。この判定は収束条件をどのように
設定するかに依っている。たとえば、反復回数を収束条
件として１０＜ｎのときに収束とすることができる。ま
たたとえば、Ｂ×（ｇ−Ａ×ｆn-1）をベクトル形式で
表したときのベクトルの大きさが所定値よりも小さいと
きに収束とすることができる。収束してないと判定され
たときには、ステップＳ８に進む。収束していると判定
されたときには、補間処理を終了する。
否かの判定を行なう。この判定は収束条件をどのように
設定するかに依っている。たとえば、反復回数を収束条
件として１０＜ｎのときに収束とすることができる。ま
たたとえば、Ｂ×（ｇ−Ａ×ｆn-1）をベクトル形式で
表したときのベクトルの大きさが所定値よりも小さいと
きに収束とすることができる。収束してないと判定され
たときには、ステップＳ８に進む。収束していると判定
されたときには、補間処理を終了する。
【００３１】次に、ステップＳ８において、ｎ←ｎ＋１
として、すなわち反復回数ｎの値に１を加算して、ステ
ップＳ６に戻る。そして、上述した以降のステップを繰
り返す。
として、すなわち反復回数ｎの値に１を加算して、ステ
ップＳ６に戻る。そして、上述した以降のステップを繰
り返す。
【００３２】以上、本発明における具体的な補間処理の
過程について説明した。この補間処理によって生成され
る近似補間分色画像ｆnは、撮像対象（原画像）に近い
高品位な画像である。
過程について説明した。この補間処理によって生成され
る近似補間分色画像ｆnは、撮像対象（原画像）に近い
高品位な画像である。
【００３３】
【発明の効果】以上のとおりであるから、本発明の請求
項１に係る補間装置によれば、偽色信号の発生を低減す
るとともに、尖鋭度の高い高品位な画像を生成すること
ができる補間装置が提供される。また本発明の請求項２
に係る補間装置によれば、反復アルゴリズムにおける収
束を速めることができる。また本発明の請求項３に係る
補間装置によれば、処理速度を高めることができる。ま
た本発明の請求項４に係る補間方法によれば、偽色信号
の発生を低減するとともに、尖鋭度の高い高品位な画像
を生成することができる補間方法が提供される。
項１に係る補間装置によれば、偽色信号の発生を低減す
るとともに、尖鋭度の高い高品位な画像を生成すること
ができる補間装置が提供される。また本発明の請求項２
に係る補間装置によれば、反復アルゴリズムにおける収
束を速めることができる。また本発明の請求項３に係る
補間装置によれば、処理速度を高めることができる。ま
た本発明の請求項４に係る補間方法によれば、偽色信号
の発生を低減するとともに、尖鋭度の高い高品位な画像
を生成することができる補間方法が提供される。
【図１】本発明における補間処理の過程を示すフロー図
である。
である。
【図２】撮像模擬過程Ａに適用するローパスフィルタの
一例を示す図である。
一例を示す図である。
【図３】再現模擬過程Ｂに適用するローパスフィルタ
（補間）の一例を示す図である。
（補間）の一例を示す図である。
【図４】単板式カラーイメージセンサにおけるＲＧＢフ
ィルターの配置（Ｂａｙｅｒ型配置）の一例を示す図で
ある。
ィルターの配置（Ｂａｙｅｒ型配置）の一例を示す図で
ある。
【図５】Ｂａｙｅｒ型配置における各色フィルターの占
める位置を判り易いように分離して示す図である。
める位置を判り易いように分離して示す図である。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12
CA16 CB01 CB08 CB12 CB16
CC01 CD06 CE05 DB02 DB06
DB09 DC32
5C065 AA01 BB13 CC01 DD01 EE05
EE10 GG21 GG22 GG23
Claims (4)
- 【請求項１】カラーフィルタと受光素子とを２次元配列
して成る単板式カラーイメージセンサを有するディジタ
ルカメラにおける撮像画像の補間装置であって、 前記ディジタルカメラの撮像信号に基づいて、前記カラ
ーフィルタの各色に対応する受光素子の画素値の集合で
あって前記２次元配列における欠落画素が含まれる未補
間分色画像を生成する未補間分色画像生成手段と、 近似補間分色画像をｆ、前記未補間分色画像をｇ、撮像
模擬過程をＡ、再生模擬過程をＢとし、反復アルゴリズ
ムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより
前記欠落画素を補間し、前記近似補間画像の収束画像と
して補間済分色画像を生成する補間済分色画像生成手段
と、 を有することを特徴とする補間装置。 - 【請求項２】請求項１記載の補間装置において、周知の
補間法を前記未補間分色画像に適用することによって前
記近似補間分色画像の初期画像を生成する初期画像生成
手段を有することを特徴とする補間装置。 - 【請求項３】請求項１または２記載の補間装置におい
て、前記カラーフィルターの各色に対応する処理を並列
して実行する並列処理手段を有することを特徴とする補
間装置。 - 【請求項４】カラーフィルタと受光素子とを２次元配列
して成る単板式カラーイメージセンサを有するディジタ
ルカメラにおける撮像画像の補間方法であって、 前記ディジタルカメラの撮像信号に基づいて、前記カラ
ーフィルタの各色に対応する受光素子の画素値の集合で
あって前記２次元配列における欠落画素が含まれる未補
間分色画像を生成する未補間分色画像生成過程と、 近似補間分色画像をｆ、前記未補間分色画像をｇ、撮像
模擬過程をＡ、再生模擬過程をＢとし、反復アルゴリズ
ムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより
前記欠落画素を補間し、前記近似補間画像の収束画像と
して補間済分色画像を生成する補間済分色画像生成過程
と、 を有することを特徴とする補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380071A JP4139587B2 (ja) | 2001-12-13 | 2001-12-13 | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380071A JP4139587B2 (ja) | 2001-12-13 | 2001-12-13 | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003179941A true JP2003179941A (ja) | 2003-06-27 |
| JP4139587B2 JP4139587B2 (ja) | 2008-08-27 |
Family
ID=19187073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001380071A Expired - Fee Related JP4139587B2 (ja) | 2001-12-13 | 2001-12-13 | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4139587B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706608B2 (en) | 2004-06-14 | 2010-04-27 | Canon Kabushiki Kaisha | Image processing device, image processing method and image processing program |
| EP2763417A4 (en) * | 2011-09-29 | 2015-08-19 | Fujifilm Corp | IMAGE PROCESSING DEVICE, METHOD, AND PROGRAM, RECORDING MEDIUM, AND IMAGING DEVICE |
-
2001
- 2001-12-13 JP JP2001380071A patent/JP4139587B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706608B2 (en) | 2004-06-14 | 2010-04-27 | Canon Kabushiki Kaisha | Image processing device, image processing method and image processing program |
| EP2763417A4 (en) * | 2011-09-29 | 2015-08-19 | Fujifilm Corp | IMAGE PROCESSING DEVICE, METHOD, AND PROGRAM, RECORDING MEDIUM, AND IMAGING DEVICE |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4139587B2 (ja) | 2008-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9344639B2 (en) | High dynamic range array camera | |
| US11625815B2 (en) | Image processor and method | |
| US20070247532A1 (en) | Image processing apparatus | |
| TWI737979B (zh) | 圖像去馬賽克裝置及方法 | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH10164602A (ja) | 画素補間装置及びその画素補間方法 | |
| CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
| JPH10322711A (ja) | カラーセンサの空間的不均一性の補正システム | |
| TWI338511B (ja) | ||
| JP4578567B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
| JPH11313336A (ja) | 信号処理装置および撮像用信号処理方法 | |
| JP4333544B2 (ja) | 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JPH11146410A (ja) | ビデオカメラ | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4139672B2 (ja) | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 | |
| JP5494249B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| JP2003070010A (ja) | ２板式画像取り込み装置 | |
| JP2004056640A (ja) | 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ | |
| JP4334150B2 (ja) | 画像補間装置 | |
| JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| JPH0795595A (ja) | カラー撮像装置 | |
| JPH1013845A (ja) | 画像処理装置 | |
| JP4334151B2 (ja) | 画像補間装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |