JP2002125240A - カラー撮像装置 - Google Patents

カラー撮像装置

Info

Publication number
JP2002125240A
JP2002125240A JP2000316665A JP2000316665A JP2002125240A JP 2002125240 A JP2002125240 A JP 2002125240A JP 2000316665 A JP2000316665 A JP 2000316665A JP 2000316665 A JP2000316665 A JP 2000316665A JP 2002125240 A JP2002125240 A JP 2002125240A
Authority
JP
Japan
Prior art keywords
color
signal
color signal
interpolation
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000316665A
Other languages
English (en)
Inventor
Hidehiko Watanabe
秀彦 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000316665A priority Critical patent/JP2002125240A/ja
Publication of JP2002125240A publication Critical patent/JP2002125240A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 画像の解像度を変換する際に、より高精度な
画像が得られる、カラー撮像装置を提供することを課題
とする。 【解決手段】 2×2画素を1つの配列パターンとする
CCD102と、CCD102からの色信号を記憶する
記憶回路106と、CCD102の画素の配列上に、C
CD102の画素と異なる解像度に応じた輝度生成位置
を設定し、この輝度生成位置に対応した4つ色信号補間
位置を設定し、この色信号補間位置における色信号を、
周辺にある画素の色信号を補間して求める色信号補間回
路108と、これにより得られた色信号補間位置の色信
号から輝度生成位置の輝度信号を生成する輝度生成手段
112とを備えた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カラー撮像装置に
関し、特にカラー撮像素子から読み込んだ色信号を処理
し、より高い解像度の画像を得るための信号処理を行う
カラー撮像装置に関するものである。
【0002】
【従来の技術】従来、CCD(Charge-Coupled Devices
)等を用いたカラー撮像素子からの映像信号を高解像度
化するためには、まず、各カラーフィルタがついたCC
Dの各画素から得られる色信号のうちの、互いに縦横に
隣接する4画素から得られる色信号を用いて、その4画
素が交わる交点位置の輝度信号を順次生成した後に、こ
れらの輝度信号を用いて、解像度変換を行っていた。
【0003】図2は、一般的な従来のカラー撮像装置の
構成を示すブロック図であり、図において、光学系20
1は、被写体をカラー撮像装置217のCCD202表
面上に結像させる。CCD202は、結像された被写体
像を電気信号に変換するものであり、各画素毎に色分離
フィルタを乗せることにより、カラー情報を取り出させ
るようにしたものである。CCD202から出力される
色信号203はアナログ量であり、CCD202の各画
素毎にフィルタの透過信号、即ちその色分離フィルタを
通過した光の強さに応じた電圧値を持っている。カラー
撮像装置217のA/D変換器204は、アナログ色信号
203をデジタル化し、各画素毎に、0〜255の25
6階調を持つデジタル色信号205に変換する。カラー
撮像装置217の記憶回路206は後に示す信号処理に
おいて、周囲画素との演算を可能とするために、上記デ
ジタル色信号205を記憶し、各色信号値のランダムア
クセスを可能にする。カラー撮像装置217の輝度信号
生成回路208は、記憶回路206に記憶されたデジタ
ル色信号205から輝度信号を求める処理を行う。ま
た、カラー撮像装置217の色差信号生成回路213
は、記憶回路206に記憶されたデジタル色信号205
から色差信号を求める処理を行う。輝度信号生成回路2
08は、輝度信号209を出力し、色差信号生成回路2
13は、色差信号214を出力する。また、より高い解
像度が求められる場合には、輝度信号補間回路210を
設け、この輝度信号補間回路210により、輝度信号生
成回路208から出力された輝度信号209を用いて補
間処理を行い、輝度信号を新規に作成し、輝度信号生成
回路208から出力された輝度信号209よりも多くの
輝度信号211を出力する。また、色差信号についても
同様に、色差信号補間回路215を設け、この色差信号
補間回路215により、色差信号生成回路213から出
力された色差信号214を用いて補間処理を行い、色差
信号を新規作成し、上記色差信号生成回路213から出
力された色差信号214よりも多くの色差信号216を
出力する。
【0004】次に、輝度信号生成回路208と色差信号
生成回路213の処理内容について説明する。図3は、
従来のカラー撮像装置におけるCCD202の色フィル
タ配置の一例を示す図であり、図において、Mgは、マ
ゼンダの色成分を透過するフィルタをかけた画素であ
り、Gは緑の色成分を透過するフィルタをかけた画素で
あり、Cyはシアンの色成分を透過するフィルタをかけ
た画素であり、Yeは黄の色成分を透過するフィルタを
かけた画素である。CCD202上では、これらのパタ
ーンが市松状に並んでおり、図中に太枠で囲んだ範囲3
01に示されるような、互いに縦横に並んだ画素Mg、
画素Cy、画素G、及び画素Yeからなる4つの画素群
からなるパターンの繰り返しとなっている。
【0005】輝度信号生成回路208では、これら各色
フィルタを持つ画素から得られる色信号から、輝度信号
を求める処理を行う。輝度信号の生成には、CCD上の
互いに縦横に隣接する2×2画素が持つ色信号を用い、
輝度信号の生成位置は、2×2画素の交点となる。
【0006】図4は、図3の一部を拡大して示した図で
あり、図において図3と同一符号は同一または相当する
部分を示している。図4の縦横に隣接する2×2画素
を、例えばMg00、G01、Cy10、Ye11とし、この4
画素の交点401の輝度信号を求める場合は、この4画
素の加算平均、すなわち(Mg00+G01+Cy10+Ye
11)/4を求めて輝度値とする。また、交点402での
輝度信号を求める場合も、交点401の輝度信号を求め
る場合と同様に、交点を中心とする縦横に隣接する2×
2画素Mg02、G01、Cy12、Ye11の加算平均を求
め、これを輝度値とする。このようにして、交点40
3、404でも同様に輝度信号を求めることができる。
【0007】以上のように、いずれの場合であっても常
にMg、G、Cy、Yeを各1つずつ含む、縦横に隣接
する2×2画素の色信号の加算平均値を求め、これを2
×2画素の交点の輝度値とすることにより、CCD20
2の各画素の持つ色信号から輝度信号を求めることがで
きる。
【0008】また、色差信号生成回路213では、CC
D202の各画素が持つ色信号から、色差信号を求める
処理を行う。色差信号は、赤成分と輝度信号の差を表す
Cr信号と、青成分と輝度信号の差を表すCb信号によって
特定される。色差信号は、輝度信号と同様に、縦横に隣
接する2×2画素が持つ色信号を用いて算出され、その
生成位置は、2×2画素の交点となる。図4において、
縦横に隣接する2×2画素を、例えば、Mg00、G01
Cy10、Ye11とし、この4画素の交点401の色差信
号を求める場合は、Cr信号は、(Ye11+Mg00)−
(Cy10+G01)で求められ、Cb信号は、(Cy10+M
00)−(Ye11+G01)で求められる。そして、この
Cr信号、Cb信号が、上記で求めた交点401の輝度信号
に対応する色差信号となる。交点402、403、40
4でも交点401と同様に色差信号を求めることができ
る。
【0009】以上のように、従来からカラー撮像装置2
17から出力する輝度信号209と色差信号214と
は、CCD202における、縦横に隣接する2×2画素
が持つ色信号を用いて、その2×2画素の交点位置に対
して生成される。
【0010】次に、輝度信号209を用いて解像度の変
換を行う輝度信号補間回路210と、色差信号214を
用いて解像度変換を行う色差信号補間回路215の処理
内容について説明する。
【0011】解像度変換のための、輝度信号や色差信号
の補間方法については非常に多くの方法が提案されてい
るが、一般的に最も多く用いられている方法としては、
補間したい位置の輝度信号や色差信号を、その補間した
い位置の周囲信号を用いて線形に補間して生成する線形
補間法がある。
【0012】図5は、線形補間法を説明するための図で
あり、図において、信号Eは、解像度を変更するために
新規作成する信号であり、新規作成信号Eを囲む最も近
い位置にある信号が、元の信号である信号A、信号B、信
号C、信号Dである。線形補間は、元の信号に対して新規
作成信号を内挿する処理を行う。なお、hは信号Aを注
目信号とした場合の新規作成信号Eまでの水平方向の距
離、vは信号Aを注目信号とした場合の新規作成信号Eま
での垂直方向の距離を示す。
【0013】線形補間では、線形の内挿処理を行うた
め、元の信号間の距離を1とし、0≦h<1かつ0≦v
<1において E=(1−v)(1−h)A+(1−v)hB+v(1−
h)C+vhD という信号の演算を行うことにより新規作成信号Eを求
めることができる。
【0014】以上の線形補間処理を、図2に示した輝度
信号補間回路210の輝度信号補間処理、色差信号補間
回路215の色差信号補間処理として行うことにより、
新規作成輝度信号、新規作成色差信号を求めることがで
きる。例えば、図4の交点401、402、403、4
04により囲まれた領域内にある位置に新規作成輝度信
号を求める場合について説明する。
【0015】図6は輝度信号補間回路210による線形
補間処理を説明するための図であり、図4に示したYe
11画素を示した図である。図において、Y’は新規作成
する輝度信号であり、輝度信号生成回路208により、
Ye11画素に縦横に隣接するYe11画素を含む2×2画
素の交点401、交点402、交点403、及び交点4
04に対してそれぞれ得られた輝度信号をそれぞれY
401、Y402、Y403、及びY404とする。この場合、図5
において、新規作成信号EをY’に、信号AをY
401に、信号BをY402に、信号CをY403に、信号Dを
404に置き換えたことと同じこととなる。このため、
交点間の距離を1とし、信号Y401を注目信号とした場
合の新規作成信号Y’までの水平方向の距離をh(0≦
h<1)とし、信号Y401を注目信号とした場合の新規
作成信号Y’までの垂直方向の距離をv(0≦v<1)
としたとき、新規作成輝度信号Y’は、 Y’=(1−v)(1−h)Y401+(1−v)hY402
+v(1−h)Y403+vhY404 で求められる。
【0016】以上のように、従来のカラー撮像素子から
の映像信号を高解像度化するためには、まず、各カラー
フィルタがついたCCD上の、縦横に隣接する2×2画
素の持つ色信号を用いて2×2画素の交点位置に対して
輝度信号を求め、次に、新規作成輝度信号を、それぞれ
その内挿位置を囲む周辺の2×2画素の交点位置の輝度
信号を用いて補間処理を行うことにより作成していた。
また、新規作成色差信号を、それぞれその内挿位置を囲
む周辺において求めた色差信号を用いて補間処理を行う
ことにより作成していた。
【0017】
【発明が解決しようとしている課題】以上のように、従
来のカラー撮像装置においては、色信号から求めた4つ
の輝度信号を線形補間に用いて新規の輝度生成位置にお
ける輝度信号を生成していた。しかしながら、この線形
補間に用いる4つの輝度信号は、新規の輝度生成位置が
含まれる画素の4つの頂点位置に対して、それぞれこの
頂点位置の周囲の4つの画素の色信号を加重平均して求
めた信号となっており、新規の輝度生成位置に応じて線
形補間に用いる4つの輝度信号の位置を自由に設定する
ことができなかった。通常、輝度生成位置に対して、よ
り近くに位置する4つの信号を補間に用いたほうが、精
度の高い輝度信号を生成することが可能であるが、従来
のカラー撮像装置においては、輝度生成位置が定まる
と、線形補間に用いる信号も、この輝度生成位置が含ま
れる画素の4つの頂点位置の輝度信号に設定されてしま
うため、この4つの輝度信号から線形補間により得られ
る輝度信号よりも高精度な輝度信号を得ることができな
い、という問題点があった。
【0018】本発明は、上記のような問題点を鑑みてな
されたものであり、画像の解像度を変換する際に、より
高精度な画像が得られる、カラー撮像装置を提供するこ
とを目的とする。
【0019】
【課題を解決するための手段】本発明に係るカラー撮像
装置は、縦横に隣接する2×2画素を1つの配列パター
ンとする、色分離フィルタを有する複数の画素を備えた
撮像素子と、上記撮像素子からの各画素毎の色信号を記
憶する記憶手段と、上記撮像素子の画素の配列上に、上
記撮像素子の画素と異なる解像度に応じた輝度生成位置
を設定するとともに、該輝度生成位置に対応した1つ以
上の色信号補間位置を設定し、該色信号補間位置におけ
る色信号を、上記記憶回路に記憶されている該色信号補
間位置の周辺にある画素の色信号を補間して求める色信
号補間手段と、該色信号補間回路により得られた上記色
信号補間位置の色信号を用いて、上記輝度生成位置にお
ける輝度信号を生成する輝度生成手段とを備えるように
したものである。
【0020】また、上記カラー撮像装置において、上記
色信号補間手段が、上記輝度生成位置に対応した4つの
色信号補間位置を設定し、上記輝度生成手段が、上記色
信号補間手段により上記4つの色信号補間位置から得ら
れる4つの色信号を用いて輝度信号を生成するようにし
たものである。
【0021】また、上記カラー撮像装置において、上記
色信号補間手段が、上記4つの色信号補間位置として、
上記輝度生成位置に最も近い位置にある画素の中心位置
と、該画素の中心位置を基点とし、上記輝度生成位置に
対して縦方向に対称である位置と、上記画素の中心位置
を基点とし、上記輝度生成位置に対して横方向に対称で
ある位置と、上記画素の中心位置を基点とし、上記輝度
生成位置に対して点対象な位置とを設定するようにした
ものである。
【0022】また、上記カラー撮像装置において、上記
色信号補間手段が、上記4つの色信号補間位置として、
上記輝度生成位置を中心として配置した上記撮像素子の
画素と異なる解像度に応じた1画素と同じ大きさの領域
の4つの頂点位置を設定するようにしたものである。
【0023】また、上記カラー撮像装置において、上記
色信号補間手段が、上記4つの色信号補間位置として、
輝度生成位置と同じ位置を設定するようにしたものであ
る。
【0024】また、上記カラー撮像装置において、上記
色信号補間手段が、上記4つの色信号補間位置において
色信号を生成する際に、上記各色信号補間位置が補間対
象とする色信号を、上記輝度生成位置を含み、かつ上記
輝度生成位置に最も近い位置にある縦横に隣接する2×
2画素が持つ色信号の中から選択するようにしたもので
ある。
【0025】また、上記カラー撮像装置において、上記
色信号補間手段が、上記4つの色信号補間位置において
色信号を生成する際に、上記輝度生成位置を含み、かつ
上記輝度生成位置に最も近い位置にある縦横に隣接する
2×2画素の各画素の色信号を、上記各画素の中心位置
からの距離が最短となる上記4つの色信号補間位置のう
ちの1つの補間対象とする色信号として、上記4つの色
信号補間位置に対して1対1で割り当てるようにしたも
のである。
【0026】また、上記カラー撮像装置において、上記
色信号補間手段が、上記各色信号補間位置が補間対象と
する色信号を持つ画素を補間対象画素として、上記各色
信号補間位置に新規に作成する色信号の値を、(補間対
象画素に上下に隣接する画素が持つ色信号値の差分)×
(新規作成する色信号補間位置と補間対象画素の中心位
置との距離に応じた係数)×(色フィルタの透過率に応
じた値)+(補間対象画素に左右に隣接する画素が持つ
色信号値の差分)×(新規作成する色信号補間位置と補
間対象画素の中心位置との距離に応じた係数)×(色フ
ィルタの透過率に応じた値)+(補間対象の色信号値)
の式の値として算出するようにしたものである。
【0027】また、上記カラー撮像装置において、上記
色信号補間手段が、上記各色信号補間位置が補間対象と
する色信号を持つ画素を補間対象画素として、上記各色
信号補間位置に新規に作成する色信号の値を、(補間対
象画素と間に1つ画素をはさんで上下に隣接する画素が
持つ色信号値の差分)×(新規作成する色信号補間位置
と補間対象画素の中心位置との距離に応じた値)+(補
間対象画素と間に1つ画素をはさんで左右に隣接する画
素が持つ色信号値の差分)×(新規作成する色信号補間
位置と補間対象画素の中心位置との距離に応じた値)+
(補間対象の色信号値)の式の値として算出するように
したものである。
【0028】また、上記カラー撮像装置において、上記
色信号補間手段により上記4つの色信号補間位置におい
て求めた4つの色信号を用いて、上記輝度生成位置にお
ける色差信号を生成する色差信号生成手段を備えるよう
にしたものである。
【0029】また、上記カラー撮像装置において、上記
撮像素子の縦横に隣接する2×2画素の交点位置のうち
の、輝度生成位置に最も近い位置にある交点位置におい
て生成した色差信号、または該輝度生成位置に最も近い
位置にある交点位置の上下にある2つの交点位置におい
て生成した2つの色差信号、または上記輝度生成位置に
最も近い位置にある交点位置の左右にある2つの交点位
置において生成した2つの色差信号、もしくは上記輝度
生成位置に最も近い位置にある交点位置に対して斜め方
向に位置する4つの交点位置において生成した4つの色
差信号のうちのいずれか、もしくは複数を求める色差信
号生成手段と、該色差信号生成手段により求めた色差信
号を用いて、輝度生成位置の色差信号を求める色差信号
補間手段とを備えるようにしたものである。
【0030】また、上記カラー撮像装置において、上記
撮像素子の縦横に隣接する2×2画素の交点位置のうち
の、上記輝度生成位置に最も近い位置にある交点位置に
対して斜め方向に位置する4つの交点位置において生成
した4つの色差信号を求める色差信号生成手段と、該4
つの色差信号を線形補間して、輝度生成位置の色差信号
を求める色差信号補間手段とを備えるようにしたもので
ある。
【0031】
【発明の実施の形態】(実施の形態1)図1は、本発明
の実施の形態1に係るカラー撮像装置の構成を示すブロ
ック図であり、図において、レンズ等の光学系101
は、被写体をCCD102の表面上に結像させる。カラ
ー撮像装置114のCCD102は、結像された被写体
像を電気信号に変換するものであり、各画素毎に色分離
フィルタを乗せることにより、カラー情報を取り出させ
るようにしたものである。CCD102から出力される
色信号103はアナログ量であり、CCD102の各素
子毎にフィルタの透過信号、即ちその色分離フィルタを
通過した光の強さに応じた電圧値を持っている。カラー
撮像装置114のA/D変換器104は、アナログ色信号
103をデジタル化し、各画素毎に、0〜255の25
6階調を持つデジタル色信号105に変換する。記憶回
路106は後に示す信号処理において、周囲画素との演
算を可能とするために、A/D変換器104により得られ
るデジタル色信号105を記憶し、各色信号値のランダ
ムアクセスを可能にする。色信号補間回路108は、記
憶回路106に記憶されているデジタル色信号105を
用いて、CCD102を構成する画素の配列上に解像度
変更のために輝度信号を生成する輝度生成位置が与えら
れたとき、この輝度生成位置の輝度信号を生成するため
に用いる色信号を周辺画素が持つ色信号を補間して求め
る。輝度信号生成回路110は、色信号補間回路108
で求めた色信号109を用いて、上述した輝度生成位置
における輝度信号を求め、輝度信号111としてカラー
撮像装置114の外部に出力する。また、色差信号生成
回路112は、色信号補間回路108により得られた、
輝度生成位置に対する輝度信号を生成するために用いら
れる色信号を用いて、輝度生成位置で生成した輝度信号
に対応する色差信号113を求め、カラー撮像装置11
3の外部に出力する。以上のようにして、輝度信号生成
回路110は外部に対して、CCD102本来の画素数
に対応して得られる輝度信号数の任意倍の輝度信号11
1を、色差信号生成回路112は外部に対して、CCD
102本来の画素数に対応して得られる色差信号数の任
意倍の色差信号113を出力する。
【0032】次に、色信号補間回路108における処理
内容について説明する。図7は、CCD102の主要部
の構成を示す図であり、CCD102の色フィルタ配置
の一例を示している。図において、Mgは、マゼンダの
色成分を透過するフィルタをかけた素子であり、Gは緑
の色成分を透過するフィルタをかけた素子であり、Cy
はシアンの色成分を透過するフィルタをかけた素子であ
り、Yeは黄の色成分を透過するフィルタをかけた素子
である。CCD102上では、これらのパターンが市松
状に並んでいる。
【0033】ここで、解像度変換を行う際の輝度生成位
置の一つである図7の位置701の輝度信号を求める場
合、上述した従来の技術であれば、位置701は、本来
の輝度信号を生成する位置である縦横に隣接する2×2
画素の交点にないので、まず、輝度生成位置である位置
701を含む画素とこの画素と隣接する周辺の画素との
交点位置の輝度信号を求め、その上で位置701の輝度
信号を交点位置で求めた輝度信号を補間して求める。
【0034】これに対して本実施の形態1のカラー撮像
装置では、従来のように輝度信号生成回路により周辺交
点位置の輝度信号を予め求めるのではなく、まず、輝度
生成位置701に対して、色信号補間回路108により
色信号を補間する色信号補間位置を決め、この色信号補
間位置における色信号を周辺の画素の色信号から補間に
より求め、この補間した色信号から輝度信号生成回路1
10により輝度生成位置における輝度信号を求める。縦
横に隣接する2×2画素を1つの配列パターンとする色
分離フィルタを持つ撮像素子を用いたカラー撮像装置で
は、輝度信号の生成に4つの色信号を必要とするので、
色信号補間位置は4つ必要となる。
【0035】図8は、図7に示したCCD102の主要
部のうちの一部を示す図であり、図において、図7と同
一符号は同一または相当する部分を示しており、輝度生
成位置801は、解像度変更に伴い新たに与えられた輝
度生成を行う位置とする。また、各画素が持つ色信号の
代表位置を各画素の中心とする。即ち、画素Ye11の中
心位置802の色信号は色信号Ye11とし、画素Cy12
の中心位置809の色信号は色信号Cy12とし、画素G
21の中心位置807の色信号は色信号G21とし、画素M
22の中心位置806の色信号は色信号Mg22とし、画
素G23の中心位置808の色信号は色信号G23とし、画
素Cy32の中心位置810の色信号は色信号Cy32とす
る。
【0036】以下、図8を用いて色信号補間回路108
における、与えられた輝度生成位置に対する4つの色信
号補間位置の求め方について説明する。本実施の形態1
では、与えられた輝度生成位置、即ち解像度の変更に伴
い、新たに輝度信号の生成が必要となった輝度生成位置
に対して、以下に挙げる4つの色信号補間位置を設定す
る。なお、ここではCCDの画素が水平方向及び垂直方
向、即ち縦横にマトリクス状に配列されているものとす
る。
【0037】(1) 与えられた輝度生成位置に最も近
い位置にある画素の中心位置。 (2) (1)の中心位置を基点として、(1)の輝度
生成位置に対して水平方向、即ち横方向に対称である位
置。 (3) (1)の中心位置を基点として、(1)の輝度
生成位置に対して垂直方向、即ち縦方向に対称である位
置。 (4) (1)の中心位置を基点として、(1)の輝度
生成位置に対して点対称である位置。
【0038】以上の4つの色信号補間位置を、図8で示
すと、与えられた輝度生成位置801に対して、最も近
い位置にある画素の中心位置は位置802となり、位置
802を基点として、輝度生成位置801に対して水平
方向に対称である位置は位置803となり、位置802
を基点として、輝度生成位置801に対して垂直方向に
対称である位置は位置804となり、位置802を基点
として、801の輝度生成位置に対して点対称である位
置は位置805となる。したがって、4つの色信号補間
位置として、位置802,位置803,位置804,位
置805が設定される。即ち、輝度生成位置801を中
心とし、輝度生成位置801を含む画素の中心位置80
2を1つの頂点とした正方形の、4つの頂点位置に輝度
生成位置を設定したこととなる。
【0039】次に、色信号補間回路108では、上記の
ように与えられた輝度生成位置の4つの色信号補間位置
802、803、804、805に対して、色信号を補
間により生成する。このとき、色信号補間位置が画素の
中心位置にある場合は、その画素の持つ色信号を、その
色信号補間位置の色信号とする。図8では、輝度生成位
置801に対して、Ye11画素の中心位置802が色信
号補間位置の1つとなるので、この色信号補間位置80
2の色信号は色信号Ye11とする。また、色信号補間位
置が画素の中心にない場合は、その色信号補間位置にお
いて補間対象とする色信号を、輝度生成位置を含み、か
つこの輝度生成位置に最も近い位置にある互いに縦横に
隣接する2×2画素の持つ色信号に割り当てる。例え
ば、図8では、色信号Ye11、色信号Cy12、色信号G
21、色信号Mg22を補間対象の色信号とする。そして、
4つの色信号補間位置のそれぞれに、補間対象の4つの
色信号を1対1で割り当てる。これには、4つの色信号
補間位置のうちの1つの色信号補間位置が補間対象とす
る色信号を、上記2×2画素のうち、画素の中心位置と
の距離が4つの色信号補間位置の中で最も近い画素の持
つ色信号として割り当てる。例えば、図8では、色信号
補間位置803は、他の3つの色信号補間位置802、
804、805よりCy12画素の中心位置809に近い
位置にあるので、色信号Cy12を補間対象の色信号とす
る。同様に、色信号位置804は、他の3つの色信号補
間位置802、803、805よりG21画素の中心位置
807に近い位置にあるので、色信号G21を補間対象の
色信号とし、色信号補間位置位置805は、他の3つの
色信号補間位置802、803、804よりMg22画素
の中心位置806に近い位置にあるので、色信号Mg22
を補間対象の色信号とする。このように割り当てること
により、精度の高い色信号を各色信号補間位置で得るこ
とが可能となる。
【0040】次に、上記のように色信号補間位置と、各
色信号補間位置に対する補間対象の色信号とが決められ
た後の、補間処理について説明する。図9は、色信号補
間回路108が行う色信号の補間処理を説明するための
模式図であり、図において、画素新規作成信号Gに対す
る補間対象の信号をAとし、信号Aに隣接する信号が信
号B〜信号Eとする。互いに隣接する信号A〜E間の距
離は1とし、信号Aを注目信号とした場合の新規作成信
号Gまでの水平方向の距離(−1.0<h<1.0)を
hとし、信号Aを注目信号とした場合の新規作成信号G
までの垂直方向の距離(−1.0<v<−1.0)をv
とする。このとき新規作成信号Gは、信号A、及び信号
Bから信号Cへの水平方向の変化量、並びに信号Dから
信号Eへの垂直方向の変化量を用いて、 G=A+h×(C−B)/2+v×(E−D)/2 で求められる。上記のように、新規作成信号を求めるに
は、補間対象の色信号と、補間対象の色信号に上下、左
右に隣接する信号を必要とする。
【0041】ここで、例えば図8に示す色信号補間位置
805の新規に作成する色信号Mg 805を求めるには、
補間対象の色信号Mg22と、色信号Mg22の上下、左右
に隣接する色信号を必要とする。この時、本実施の形態
1においては、色信号Mg22の上下に隣接する色信号と
しては、Mg22画素の上下に隣接するCy12画素及びC
32画素の持つ色信号Cy12と色信号Cy32とを用い、
色信号Mg22の左右に隣接する色信号としては、Mg22
画素の左右に隣接するG21画素及びG23画素の持つ色信
号G21と色信号G23とを用いる。即ち、補間対象の色信
号を持つ画素を補間対象画素とすると、CCD画素上の
新規作成色信号を求めるには、補間対象の色信号と補間
対象画素に上下、左右に隣接する画素が持つ色信号とが
用いられる。
【0042】ここで、図9のAに対応する信号を、図8
の色信号補間位置806の色信号Mg22とし、Bに対応
する信号を色信号補間位置807の色信号G21とし、C
に対応する信号を色信号補間位置808の色信号G23
し、Dに対応する信号を色信号補間位置809の色信号
Cy12とし、Eに対応する信号を色信号補間位置810
の色信号Cy32として、図9の新規作成信号Gに対応す
る図8の色信号補間位置805の新規作成色信号Mg
805を補間する場合、色信号補間位置807から色信号
補間位置808の水平方向の変化量(G23−G21)と、
色信号補間位置809から色信号補間位置810の垂直
方向の変化量(Cy32−Cy12)とを用いる。このと
き、水平方向の変化量は緑色成分の変化量であり、垂直
方向の変化量はシアン色成分の変化量なので、求める新
規作成色信号Mg805のマゼンダ色成分とは異なる。し
かし、自然画においては、特定の光のみが変化すること
はまれであり、一般に全ての色成分が等比率で変化す
る。したがって、本実施の形態1では、ある色成分を持
つ色信号の変化量は、同じ位置における異なる色成分を
持つ色信号の変化量に比例するものとして、その変化量
を求める。これは、図9の新規作成信号Gでは、新規作
成信号Gの信号成分のフィルタ透過率に対する水平方向
の信号成分B、Cのフィルタ透過率をQとし、新規作成
信号Gの信号成分のフィルタ透過率に対する垂直方向の
信号成分D、Eのフィルタ透過率をRとすると、 G=A+(h/2)×(C−B)/Q−(v/2)×
(E−D)/R で表される。そして、図8の色信号補間位置805の新
規作成色信号Mg805を求める場合は、Q値として略
0.7を用い、R値として略0.6を用いると、 Mg805=Mg22+h×(G23−G21)/0.7/2+
v×(Cy32−Cy12)/0.6/2 により求めることができる。以上のようにして色信号補
間位置における色信号を得ることにより、色信号補間位
置が補間対象とする画素の色成分と、これに隣接するが
その色成分とが異なる場合においても、隣接する画素を
用いて精度の高い色信号を色信号補間位置で得ることが
できる。
【0043】なお、図7に示すように、Mg22に対して
間に1つ画素はさんで上下に隣接する画素のMg02とM
42と、Mg22に対して間に1つ画素をはさんで左右に
隣接する画素Mg20とMg24とは、それぞれ同じ色成分
を持つ色信号である。よって、これらの色信号を用いる
ことにより、透過率Q、Rを用いず、新規作成色信号M
805を Mg805=Mg22+h×(Mg24−Mg20)/4+v×
(Mg42−Mg02)/4 により求めるようにしてもよい。このようにして求める
ことにより、色信号補間位置が補間対象とする画素の色
成分と、これに隣接するがその色成分とが異なる場合に
おいても、補間対象とする画素に対して1画素挟んだ色
成分が補間対象画素と同じ画素の色信号を用いて色信号
を算出することで、精度の高い色信号を色信号補間位置
で得ることができる。
【0044】また、図8に示す色信号補間位置803の
新規作成色信号Cy803、色信号補間位置804の新規
作成色信号G804についても透過率Q、Rを変えるだけ
で色信号補間位置805の新規作成色信号Mg805を求
める場合と同様に求めることができる。
【0045】次に、輝度信号生成回路110の処理内容
について説明する。上記で説明したように色信号補間回
路108において、与えられた輝度生成位置に対応して
設定された4つの色信号補間位置について算出したM
g、G、Cy、Yeの色信号を用いて、輝度信号生成回
路110は、その加算平均により輝度信号を生成する。
【0046】続いて、色差信号生成回路112の処理内
容について説明する。色差信号生成回路112は色信号
補間回路108が求めた色信号を用いて色差信号生成を
行う。上記で説明した色差信号生成回路112において
は、例えば図8に示すように、与えられた輝度生成位置
801に対して、4つの色信号補間位置802、80
3、804、805を設定し、4つの色信号補間位置そ
れぞれについて、Ye11、Cy803、G804、Mg805
4つの色信号を補間して求めた。色差信号生成回路11
2では、これらの求まった4つの色信号を用い、輝度生
成位置801の輝度信号に対応する色差信号Cr、Cb
を生成する。色差信号Cr、Cbは4つの色信号補間位
置について求められた4つの色信号を用いて算出され、
その生成位置は、輝度生成位置と同じ位置となる。この
色信号補間位置について求められた4つの色信号がY
e、Cy、G、Mgの4つの色信号であるとすると、こ
の4つの色信号補間位置の交点である輝度生成位置の色
差信号のうちの、Cr信号は、(Ye+Mg)−(Cy+
G)で求められ、Cb信号は、(Cy+Mg)−(Ye+
G)で求められる。このようにして色信号補間回路10
8で得られた色信号を用いることで、輝度信号生成位置
に対応した色差信号を容易に得ることができる。
【0047】以上のように本実施の形態1によれば、新
規の輝度生成位置801に対応した4つの色信号補間位
置802〜805を設定し、この色信号補間位置802
〜805のそれぞれの色信号を補間により生成し、この
色信号補間位置802〜805の色信号を用いて輝度生
成位置801の輝度信号を生成するようにしたので、新
規の輝度生成位置801における輝度信号の生成に用い
る色信号を得る位置を、新規の輝度生成位置801を含
む画素の4つの頂点以外、即ち4画素の交点位置以外の
自由な位置に設定することができ、画像の解像度変更に
対する設計の自由度を向上させることができる効果があ
り、例えば、色信号を得る位置を、輝度生成位置801
を含む画素の4つの頂点よりも、輝度生成位置に対して
近い位置に設定することで、より精度の高い輝度信号を
えることができ、精度の高い画像を得ることができる効
果がある。
【0048】また、色信号補間位置を4つ設定するよう
にしたことにより、輝度信号を生成するために最低限必
要な4つの色信号を、輝度生成位置周辺の4つの色信号補
間位置において求めることができ、効率よく解像度変更
時の輝度信号を作成できる効果がある。
【0049】さらに4つの色信号補間位置802〜80
5を、輝度生成位置801を中心とし、輝度生成位置8
01を含む画素の中心位置802を1つの頂点とした正
方形の、4つの頂点に設定するようにしたので、従来の
ように輝度生成位置を含む画素の4つの頂点でそれぞれ
輝度信号をもとめる場合に比べて、輝度生成位置801
と、輝度生成に用いる4つの信号を算出する位置802
〜805との距離が短くでき、新規の輝度生成位置80
1において高精度な輝度信号を生成することができると
ともに、輝度生成位置801を含む画素の中心位置を色
信号補間位置の1つである位置802とすることで、こ
の輝度生成位置802の色信号の値をこの輝度生成位置
を含む画素の色信号の値として、この色信号補間位置の
色信号を求める演算を省略でき、輝度信号を求めるため
の演算量を低減できる効果がある。
【0050】なお、本発明においては、4つの色信号補
間位置は、この色信号補間位置と新規の輝度生成位置と
の間の距離が、輝度生成位置と輝度生成位置を含む画素
の4つの頂点との距離よりも短くなるような位置であれ
ばどのような位置に設定してもよく、このような場合に
おいても、上記実施の形態1と同様の効果を奏する。
【0051】(実施の形態2)図10は、本発明の実施
の形態2に係るカラー撮像装置の構成を示すブロック図
であり、図において、図1と同一符号は同一または相当
する部分を示しており、カラー撮像装置1017の色信
号補間回路1008は、上記記憶回路106に記憶され
ているデジタル色信号105を持つ画素上に、解像度変
更に伴い輝度信号を新規に生成する輝度生成位置が与え
られたとき、この輝度生成位置の輝度信号を生成するた
めに用いる色信号を、輝度生成位置の周辺の画素が持つ
色信号107を補間して求める。輝度信号生成回路10
10は、色信号補間回路1008で求めた色信号100
9を用いて、輝度信号を求め、外部に対して、任意倍の
輝度信号1011を出力する。色差信号生成回路101
3は、記憶回路106から得られる色信号107から色
差信号を求める処理を行う。色差信号補間回路1015
は、色差信号生成回路1013で求めた色差信号101
4を用いて解像度変換を行い、色差信号1014の信号
数より多い色差信号1016を出力する。
【0052】図11は本発明の実施の形態2に係る色信
号補間回路1008の処理内容を説明するための図であ
り、CCD102に配列されている画素の主要部を示す
図であり、輝度生成位置1101が新規に与えられたも
のとし、各画素が持つ色信号の代表位置が、各画素の中
心に位置するとする。即ち、位置1102の色信号は、
色信号Ye11とし、1103の位置の色信号は色信号C
12とし、1104の位置の色信号は色信号G21とし、
1105の位置の色信号は色信号Mg22とする。
【0053】以下、図11を用いて色信号補間回路10
08の処理内容について説明する。色信号補間回路10
08においては、上述した実施の形態1と同様に、ま
ず、与えられた輝度生成位置に対して4つの色信号補間
位置が設定されるが、本実施の形態2では、色信号を持
つ画素の配列に対して、与えられた輝度生成位置を中心
として解像度変換後の1画素を重ね合わせたときの、そ
の1画素の4つの頂点を、それぞれ色信号補間位置とす
る。これを図11で示すと、与えられた輝度生成位置1
101を中心とする解像度変換後の1画素が、太枠で示
される1画素である場合、この1画素の4つの頂点の位
置である位置1106、位置1107、位置1108、
位置1109が、それぞれ色信号補間位置となる。
【0054】次に、色信号補間回路1008では、上記
のように与えられた輝度生成位置の4つの色信号補間位
置1106、1107、1108、1109に対して、
それぞれの位置の色信号を補間により求める。色信号補
間位置が画素の中心位置にある場合は、その画素の持つ
色信号を、その色信号補間位置の色信号とする。また、
色信号補間位置が画素の中心にない場合は、その色信号
補間位置において補間対象とする色信号を、輝度生成位
置を含みかつこの輝度生成位置に最も近い位置にある互
いに縦横に隣接する2×2画素の持つ色信号に割り当て
る。例えば、図11では、色信号Ye11、色信号C
12、色信号G21、色信号Mg22を補間対象の色信号と
する。そして、4つの色信号補間位置のそれぞれに、補
間対象の4つの色信号を1対1で割り当てる。これに
は、上記2×2画素の各画素の色信号を、各画素の中心
位置からの距離が最短となる上記4つの色信号補間位置
のうちの1つが補間対象とする色信号として、上記4つ
の色信号補間位置に対して1対1で割り当てる。例え
ば、図11では、色信号補間位置1106は、他の3つ
の色信号補間位置1107、1108、1109よりY
11画素の中心位置1102に近い位置にあるので、色
信号Ye11を補間対象の色信号とする。同様に、色信号
補間位置1107は、他の3つの色信号補間位置110
6、1108、1109よりCy12画素の中心位置11
03に近い位置にあるので、色信号Cy12を補間対象の
色信号とし、色信号位置1108は、他の3つの色信号
補間位置1106、1107、1109よりG21画素の
中心位置1104に近い位置にあるので、色信号G21
補間対象の色信号とし、色信号補間位置1109は、他
の3つの色信号補間位置1106、1107、1108
よりMg22画素の中心位置1105に近い位置にあるの
で、色信号Mg22を補間対象の色信号とする。そして、
これらの4つの色信号補間位置について周囲の画素の色
信号から補間により色信号を求めるが、この色信号補間
位置の補間処理については、上述した実施の形態1にお
ける色信号補間位置の補間処理と同様の処理を行えばよ
いのでここでは説明を省略する。
【0055】続いて、輝度信号生成回路1010におい
て、色信号補間回路1008により得られた色信号補間
位置の色信号を用いて、輝度生成位置の輝度信号を算出
するが、この輝度信号を算出する処理は、上述した実施
の形態1における輝度信号生成回路の処理と同様の処理
を行えばよいのでここでは説明を省略する。
【0056】次に、色差信号生成回路1013と色差信
号補間回路1015の処理内容について説明する。新規
に与えられた輝度生成位置の輝度信号に対応する色差信
号の生成については、色差信号を生成する位置が縦横に
隣接する2×2画素の交点位置にない場合は、先に、輝
度生成位置の周辺の交点位置の色差信号を求め、この求
めた周辺交点位置の色差信号を用いて輝度生成位置に対
応する色差信号を補間により求める。
【0057】図12は、色差信号生成回路1013によ
る補間に用いる色差信号の取り出す位置を説明するため
の図であり、CCD1002の色フィルタ配置の一例を
示している。図において、輝度生成位置1201は解像
度変更により新規に与えられた位置、位置1202から
位置1210は、周辺の色差生成位置であり、本実施の
形態2においては、輝度生成位置1201の輝度信号に
対応する色差信号を色差生成位置1202から色差生成
位置1210の色差信号を用いて求める。
【0058】本実施の形態2では、輝度生成位置を含
み、かつこの輝度生成位置に最も近い位置にある互いに
縦横に隣接する2×2画素の持つ色信号に対応した色信
号を補間により生成し、これらを用いて輝度信号の生成
を行う。このため色差信号補間回路1015において、
与えられた輝度生成位置の輝度信号に対応する色差信号
を補間する場合、この2×2画素に対して、偏りのない
ように周辺の色差信号を選択して用いる必要がある。こ
れには与えられた輝度生成位置に最も近い位置にある2
×2画素の交点位置を中心位置とし、この中心位置の色
差信号、あるいは中心位置に対して対称な関係にある位
置の色差信号のいずれか、またはこれらのいくつかの組
み合わせを用いて色差信号を補間する。図12で例を示
すと、与えられた輝度生成位置1201を含み、かつ最
も近い位置にある互いに縦横に隣接する2×2画素は、
図中太枠で囲んだ4画素である。輝度生成位置1201
の位置の輝度信号に対応した色差信号を生成する場合、
太枠で囲んだ4画素の中心位置1206の色差信号、あ
るいは、中心位置1206に対して上下に対称な4画素
の交点位置1203及び位置1209の2つの色差信
号、中心位置1206に対して左右に対称な4画素の交
点位置1205及び位置1207の2つの色差信号、中
心位置1206に対して対称な4画素の交点位置120
2及び位置1210並びに位置1204及び位置120
8の4つの色差信号、のいずれか、またはこれらのいく
つかの組み合わせを用いて色差信号を補間する。色差信
号生成回路1013によるCCDの画素の交点位置にお
ける色差信号は、縦横に隣接する2×2画素が持つ色信
号を用いて算出され、その生成位置は、2×2画素の交
点となる。縦横に隣接する2×2画素を、例えば、M
g、G、Cy、Yeとし、この4画素の交点の色差信号
を求める場合は、Cr信号は、(Ye+Mg)−(Cy+
G)で求められ、Cb信号は、(Cy+Mg)−(Ye+
G)で求められる。
【0059】ここで、図12において、輝度生成位置1
201の輝度信号に対応する新規作成色差信号をCr
1201、Cb1201とし、位置1202に対応する色差信号
をCr 1202、Cb1202とし、位置1203に対応する色
差信号をCr1203、Cb1203とし、位置1204に対応
する色差信号をCr1204、Cb1204とし、位置1205
に対応する色差信号をCr1205、Cb1205とし、位置1
206に対応する色差信号をCr1206、Cb1206とし、
位置1207に対応する色差信号をCr1207、Cb1207
とし、位置1208に対応する色差信号をCr1208、C
1208とし、位置1209に対応する色差信号をCr
1209、Cb1209とし、位置1210に対応する色差信号
をCr1210、Cb1210とする。そして、例えば、輝度生
成位置1201の位置に最も近い位置にある位置120
6の色差信号を用いて最近傍補間を行うとともに、これ
とあわせて位置1206の上下に対称な位置関係にある
位置1203及び位置1209の色差信号と、位置12
06の左右に対称な位置関係にある位置1205及び位
置1207の色差信号を用いて、いわゆるローパス処理
を行い、位置1201の色差信号Cr1201、Cb1201
生成する場合を考えると、 Cr1201=Cr1206/2+(Cr1203+Cr1205+Cr
1207+Cr1209)/8 Cb1201=Cb1206/2+(Cb1203+Cb1205+Cb
1207+Cb1209)/8 の2式により色差信号を求めることができる。
【0060】以上のように本実施の形態2によれば、解
像度変更によって必要となる新規の輝度生成位置110
1に対応した4つの色信号補間位置1106ないし11
09を設定し、この色信号補間位置1106ないし11
09の色信号を補間により生成し、この色信号補間位置
1106ないし1109の色信号を用いて輝度生成位置
1101の輝度信号を生成するとともに、上記4つの色
信号補間位置1106ないし1109を、輝度生成位置
1101を中心として配置した解像度変更後の1画素の
4つの頂点位置としたので、従来のように輝度生成位置
を含む画素の4つの頂点でそれぞれ輝度を求める場合に
比べて、輝度生成位置1101と、輝度生成に用いる4
つの色信号を得るための補間位置1106ないし110
9との距離が短くでき、新規の輝度生成位置において高
精度な輝度信号を生成することができるとともに、輝度
生成位置1101と、4つの色信号補間位置1106な
いし1109との距離を一定として、色信号補間位置を
求める演算を簡単にでき、演算量を低減できる効果があ
る。
【0061】また、本実施の形態2においては、色差信
号生成回路1013により、輝度生成位置1201に最
も近い位置にある2×2画素の交点位置1206を中心
位置とし、この中心位置1206、あるいは中心位置1
206に対して対称な関係にある位置の少なくともいず
れか1つを選択し、この選択した位置について色差信号
を補間により生成し、色差信号補間回路1015により
この生成した色差信号を用いて輝度生成位置の色差信号
を補間により形成するようにしたので、輝度生成位置1
201の輝度信号の生成に用いる2×2画素のもつ4つ
の色信号に対して偏りのないように選択した色差信号を
用いて、輝度生成位置1201の色差信号を補間により
求めることができ、人間の目に対して解像度が低い色差
について、値の突発的な変化をなくして、偽色の発生な
どによる画質の劣化を防ぐことができる効果がある。
【0062】(実施の形態3)図14は本発明の実施の
形態3に係るカラー撮像装置の構成を示すブロック図で
あり、図において、図10と同一符号は同一または相当
する部分を示している。本実施の形態3によるカラー撮
像装置2017は、図10を用いて説明した上記実施の
形態2に係るカラー撮像装置において、色信号補間回路
として色信号2009を出力する色信号補間回路200
8を設け、色差信号生成回路として色差信号2014を
出力する色差信号生成回路2013、色差信号補間回路
として色差信号補間回路2015を設けるようにしたも
のであり、色信号補間回路2008及び色差信号補間回
路2015以外の各構成要素については説明を省略し、
以下、色信号補間回路2008及び色差信号補間回路1
015の処理内容について説明を行う。
【0063】色信号補間回路2008においては、ま
ず、与えられた輝度生成位置に対して4つの色信号補間
位置を決める。図13は本実施の形態3の色信号補間回
路2008における、与えられた輝度生成位置に対する
4つの色信号補間位置の求め方を説明するための図であ
り、CCDの画素の主要部を示す図である。輝度生成位
置1301は、解像度変更に伴い新たに与えられた輝度
生成を行う位置とする。各画素が持つ色信号の代表位置
は、各画素の中心に位置するものとする。即ち、位置1
302の色信号は、色信号Ye11とし、位置1303の
色信号は色信号Cy12とし、位置1304の色信号は色
信号G21とし、位置1305の色信号は色信号Mg22
する。
【0064】ここで、本発明の実施の形態3では、与え
られた輝度生成位置に対する4つの色信号補間位置を、
与えられた輝度生成位置と同じ位置とする。すなわち、
求める色信号は4つであるが、その4つの色信号を補間
する位置は1つとする。これを、図13で示すと、与え
られた輝度生成位置1301と同じ位置が、4つの色信
号補間位置となる。
【0065】次に、色信号補間回路2008では、上記
のように輝度生成位置1301を4つの色信号補間位置
とし、4つの色信号を補間するが、輝度生成位置110
1を含み、かつ最も近い位置にある縦横に隣接する2×
2画素の持つ4つの色信号を4つの色信号補間位置の各
色信号に割り当てて補間する。図13では、色信号Ye
11、色信号Cy12、色信号G21、色信号Mg22の4つの
色信号を色信号補間位置1101の1点に対して補間す
る。色信号補間位置の色信号の補間処理については、上
述した実施の形態1と同様の処理を行えばよいのでここ
では省略する。
【0066】次に、本発明の実施の形態3の色差信号生
成回路2013及び色差信号補間回路2015の処理内
容について説明する。与えられた輝度生成位置の輝度信
号に対応する色差信号の生成については、上記実施の形
態2と同様に、色差信号生成回路2013により、色差
信号を生成する位置が縦横に隣接する2×2画素の交点
位置にない場合は、先に周辺交点位置の色差信号を求
め、その上で色差信号補間回路2015により輝度信号
に対応する色差信号を、求めた周辺交点位置の色差信号
を用いて補間により求める。本実施の形態3において
は、色差信号生成回路2013において、与えられた輝
度生成位置を含み、かつ最も近い位置にある2×2画素
の交点位置を中心位置とし、この中心位置の斜め方向に
おいて互いに対称位置にある2×2画素の交点位置の色
差信号を補間により求め、この色差信号を用いて、色差
信号補間回路2015により与えられた輝度生成位置の
輝度信号に対応する色差信号を線形補間により求める。
上記実施の形態2において述べた図12で示すと、与え
られた輝度生成位置1201を含み、かつ最も近い位置
にある縦横に隣接する2×2画素は、太枠で囲んだ4画
素である。位置1201の輝度信号に対応した色差信号
を生成する場合、太枠で囲んだ4画素の中心位置120
6の斜め方向に対称な位置にある位置1202、位置1
210、位置1204、位置1208の4つの色差信号
を求め、これら用いて輝度生成位置1201の輝度信号
を線形補間により求める。なお、これらの4つの色差信
号の求め方については、上記実施の形態2において説明
した色差信号生成回路による色差信号の求め方と同様で
あるので、ここでは説明を省略する。
【0067】ここで、上述した図12において、輝度生
成位置1201の輝度信号に対応する新規作成色差信号
をCr1201、Cb1201とし、位置1202に対応する色
差信号をCr1202、Cb1202とし、位置1204に対応
する色差信号をCr1204、Cb1204とし、位置1208
に対応する色差信号をCr1208、Cb1208とし、位置1
210に対応する色差信号をCr1210、Cb1210とす
る。また、4画素の交点位置間の距離を1とし、位置1
202の色差信号を注目色差信号とした場合の輝度生成
位置1201までの水平方向の距離(0≦h<2)をh
とし、位置1202の色差信号を注目色差信号とした場
合の輝度生成位置1201までの垂直方向の距離(0≦
v<2)をvとする。そして、色差信号補間回路201
5により、輝度生成位置1201に最も近い位置にある
2×2画素の交点位置1206の斜め方向において互い
に対称な位置関係にある4画素の交点位置1202及び
位置1208、並びに位置1204及び位置1208の
4つの位置の色差信号を用いて、輝度生成位置1201
の色差信号Cr1201、Cb1201を線形補間により生成す
る場合は、 Cr1201=((2−h)(2−v)Cr1202+h(1−
v)Cr1204+(1−h)vCr1208+hvCr1210
/4 Cb1201=((1−h)(1−v)Cb1202+h(1−
v)Cb1204+(1−h)vCb1208+hvCb1210
/4 の式を用いて求めることができる。
【0068】以上のように、本実施の形態3において
は、解像度変更によって必要となる新規の輝度生成位置
1301に対応した4つの色信号補間位置を設定し、こ
の色信号補間位置の色信号を補間により生成し、この色
信号補間位置の色信号を用いて輝度生成位置の輝度信号
を生成するとともに、上記4つの色信号補間位置を、輝
度生成位置と同じ位置1301に設定するようにしたの
で、輝度生成位置1301と、輝度生成に用いる4つの
色信号補間位置との距離を最短とすることができ、新規
の輝度生成位置において高精度な輝度信号を生成するこ
とができる効果がある。
【0069】また、本実施の形態3においては、色差信
号生成回路2013により、輝度生成位置1201に最
も近い位置にある2×2画素の交点位置1206を中心
位置とし、この中心位置に対して、斜め方向に位置する
4つの交点位置1202,1204,1208,121
0について色差信号を補間により生成し、色差信号補間
回路2015によりこの生成した4つの色差信号を用い
て輝度生成位置1201の色差信号を線形補間により形
成するようにしたので、輝度生成位置1201の輝度信
号の生成に用いる2×2画素のもつ4つの色信号に対し
て偏りのないように選択した色差信号を用いて、輝度生
成位置1201の色差信号を補間により求めることがで
き、人間の目に対して解像度が低い色差について、値の
突発的な変化をなくして、偽色の発生などによる画質の
劣化を防ぐことができる効果がある。
【0070】なお、上記実施の形態1ないし3において
は、輝度生成位置における色差信号を求める手段として
互いに異なる手段を用いた場合について説明したが、本
発明においては、色差信号を求める手段を必要に応じて
入れ替えて用いるようにしてもよく、このような場合に
おいても上記各実施の形態と同様の効果を奏する。
【0071】また、上記実施の形態1ないし3において
は、CCDの縦横に隣接する2×2画素の色フィルタを
Mg、G、Cy、Yeとする場合について説明したが、
本発明においては、これらの色フィルタとは異なる色フ
ィルタを用いるようにしても良く、このような場合にお
いても上記各実施の形態と同様の効果を奏する。
【0072】
【発明の効果】以上のように、本発明によれば、縦横に
隣接する2×2画素を1つの配列パターンとする、色分
離フィルタを有する複数の画素を備えた撮像素子と、上
記撮像素子からの各画素毎の色信号を記憶する記憶手段
と、上記撮像素子の画素の配列上に、上記撮像素子の画
素と異なる解像度に応じた輝度生成位置を設定するとと
もに、該輝度生成位置に対応した1つ以上の色信号補間
位置を設定し、該色信号補間位置における色信号を、上
記記憶回路に記憶されている該色信号補間位置の周辺に
ある画素の色信号を補間して求める色信号補間手段と、
該色信号補間回路により得られた上記色信号補間位置の
色信号を用いて、上記輝度生成位置における輝度信号を
生成する輝度生成手段とを備えるようにしたから、解像
度変更の際の新規の輝度生成位置における輝度信号の生
成に用いる色信号を求める位置を、画素の4つの頂点以
外の位置に自由に設定することができ、画像の解像度変
更に対する設計の自由度を向上させることができ、精度
の高い輝度信号を得ることができ、高精度な画像が得ら
れる効果がある。
【0073】また、本発明によれば、上記色信号補間手
段が、上記輝度生成位置に対応した4つの色信号補間位
置を設定し、上記輝度生成手段が、上記色信号補間手段
により上記4つの色信号補間位置から得られる4つの色
信号を用いて輝度信号を生成するようにしたから、輝度
信号を生成するために最低限必要な4つの色信号を、輝
度生成位置周辺の4つの色信号補間位置において求める
ことができ、効率よく解像度変更時の輝度信号を作成で
きる効果がある。
【0074】また、本発明によれば、上記色信号補間手
段が、上記4つの色信号補間位置として、上記輝度生成
位置に最も近い位置にある画素の中心位置と、該画素の
中心位置を基点とし、上記輝度生成位置に対して縦方向
に対称である位置と、上記画素の中心位置を基点とし、
上記輝度生成位置に対して横方向に対称である位置と、
上記画素の中心位置を基点とし、上記輝度生成位置に対
して点対象な位置とを設定するようにしたから、上記輝
度生成位置に最も近い位置にある画素の中心位置の色信
号として、その画素の持つ色信号の値を用いて輝度信号
を求める演算ができ、演算量を低減できる効果がある。
【0075】また、本発明によれば、上記色信号補間手
段が、上記4つの色信号補間位置として、上記輝度生成
位置を中心として配置した上記撮像素子の画素と異なる
解像度に応じた1画素と同じ大きさの領域の4つの頂点
位置を設定するようにしたから、輝度生成位置と、4つ
の色信号補間位置との距離を一定として、色信号補間位
置を求める演算を簡単にでき、演算量を低減できる効果
がある。
【0076】また、本発明によれば、上記色信号補間手
段が、上記4つの色信号補間位置として、輝度生成位置
と同じ位置を設定するようにしたから、4つの色信号補
間位置を求める演算を省略できるため、演算量を低減で
きる効果がある。
【0077】また、本発明によれば、上記色信号補間手
段が、上記4つの色信号補間位置において色信号を生成
する際に、上記各色信号補間位置が補間対象とする色信
号を、上記輝度生成位置を含み、かつ上記輝度生成位置
に最も近い位置にある縦横に隣接する2×2画素が持つ
色信号の中から選択するようにしたから、輝度生成位置
近傍に設定した色信号補間位置の4つの色信号の補間対
象とする色信号を、輝度生成位置に最も近い2×2画素
が持つ色信号に対応して求めることができ、精度の高い
輝度信号を得ることができる。
【0078】また、本発明によれば、上記色信号補間手
段が、上記4つの色信号補間位置において色信号を生成
する際に、上記輝度生成位置を含み、かつ上記輝度生成
位置に最も近い位置にある縦横に隣接する2×2画素の
各画素の色信号を、上記各画素の中心位置からの距離が
最短となる上記4つの色信号補間位置のうちの1つの補
間対象とする色信号として、上記4つの色信号補間位置
に対して1対1で割り当てるようにしたから、補間対象
とする4つの色信号を、それぞれに最も近い色信号補間
位置において補間により求めるため、より精度の高い色
信号を各色信号補間位置において得ることができる効果
がある。
【0079】また、本発明によれば、上記色信号補間手
段が、上記各色信号補間位置が補間対象とする色信号を
持つ画素を補間対象画素として、上記各色信号補間位置
に新規に作成する色信号の値を、(補間対象画素に上下
に隣接する画素が持つ色信号値の差分)×(新規作成す
る色信号補間位置と補間対象画素の中心位置との距離に
応じた係数)×(色フィルタの透過率に応じた値)+
(補間対象画素に左右に隣接する画素が持つ色信号値の
差分)×(新規作成する色信号補間位置と補間対象画素
の中心位置との距離に応じた係数)×(色フィルタの透
過率に応じた値)+(補間対象の色信号値)の式の値と
して算出するようにしたから、色信号補間位置が補間対
象とする画素の色成分と、これに隣接するがその色成分
とが異なる場合においても、隣接する画素を用いて精度
の高い色信号を色信号補間位置で得ることができる効果
がある。
【0080】また、本発明によれば、上記色信号補間手
段が、上記各色信号補間位置が補間対象とする色信号を
持つ画素を補間対象画素として、上記各色信号補間位置
に新規に作成する色信号の値を、(補間対象画素と間に
1つ画素をはさんで上下に隣接する画素が持つ色信号値
の差分)×(新規作成する色信号補間位置と補間対象画
素の中心位置との距離に応じた値)+(補間対象画素と
間に1つ画素をはさんで左右に隣接する画素が持つ色信
号値の差分)×(新規作成する色信号補間位置と補間対
象画素の中心位置との距離に応じた値)+(補間対象の
色信号値)の式の値として算出するようにしたから、色
信号補間位置が補間対象とする画素の色成分と、これに
隣接するがその色成分とが異なる場合においても、補間
対象とする画素に対して1画素挟んだ色成分が補間対象
画素と同じ画素の色信号を用いて色信号を算出すること
で、精度の高い色信号を色信号補間位置で得ることがで
きる効果がある。
【0081】また、本発明によれば、上記色信号補間手
段により上記4つの色信号補間位置において求めた4つ
の色信号を用いて、上記輝度生成位置における色差信号
を生成する色差信号生成手段を備えるようにしたから、
輝度生成位置の輝度信号を生成する際に求める4つの色
信号を用いて色差信号を求める演算を行うことができ、
輝度信号に対応した色差信号を容易に得ることができる
効果がある。
【0082】また、本発明によれば、上記撮像素子の縦
横に隣接する2×2画素の交点位置のうちの、輝度生成
位置に最も近い位置にある交点位置において生成した色
差信号、または該輝度生成位置に最も近い位置にある交
点位置の上下にある2つの交点位置において生成した2
つの色差信号、または上記輝度生成位置に最も近い位置
にある交点位置の左右にある2つの交点位置において生
成した2つの色差信号、もしくは上記輝度生成位置に最
も近い位置にある交点位置に対して斜め方向に位置する
4つの交点位置において生成した4つの色差信号のうち
のいずれか、もしくは複数を求める色差信号生成手段
と、該色差信号生成手段により求めた色差信号を用い
て、輝度生成位置の色差信号を求める色差信号補間手段
とを備えるようにしたから、輝度生成位置の輝度信号の
生成に用いる2×2画素のもつ4つの色信号に対して、
偏りのないように選択した色差信号を用いて輝度生成位
置の色差信号を補間により求めることができ、人間の目
に対して解像度が低い色差について、値の突発的な変化
をなくして、画質の劣化を防ぐことができる効果があ
る。
【0083】また、本発明によれば、上記撮像素子の縦
横に隣接する2×2画素の交点位置のうちの、上記輝度
生成位置に最も近い位置にある交点位置に対して斜め方
向に位置する4つの交点位置において生成した4つの色
差信号を求める色差信号生成手段と、該4つの色差信号
を線形補間して、輝度生成位置の色差信号を求める色差
信号補間手段とを備えるようにしたから、輝度生成位置
の輝度信号の生成に用いる2×2画素のもつ4つの色信
号に対して、偏りのないように選択した色差信号を用い
て輝度生成位置の色差信号を補間により求めることがで
き、人間の目に対して解像度が低い色差について、値の
突発的な変化をなくして、画質の劣化を防ぐことができ
る効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態1によるカラー撮像装置の
ブロック図である。
【図2】従来のカラー撮像装置のブロック図である。
【図3】従来のカラー撮像装置によるCCDの色フィル
タの配置の一例を示す図である。
【図4】従来のカラー撮像装置によるCCDの色フィル
タの配置の一例を示す図である。
【図5】従来のカラー撮像装置による線形補間法を説明
するための説明図である。
【図6】従来のカラー撮像装置における解像度変換回路
が行う補間処理を説明するための説明図である。
【図7】本発明の実施の形態1によるカラー撮像装置に
よるCCDの色フィルタの配置の一例を示す図である。
【図8】本発明の実施の形態1によるカラー撮像装置に
おける色信号補間回路が行う処理内容を説明するための
説明図である。
【図9】本発明の実施の形態1によるカラー撮像装置に
おける色信号補間回路が行う補間処理を説明するための
説明図である。
【図10】本発明の実施の形態2によるカラー撮像装置
のブロック図である。
【図11】本発明の実施の形態2によるカラー撮像装置
における色信号補間回路が行う処理内容を説明するため
の説明図である。
【図12】本発明の実施の形態2及び実施の形態3によ
るカラー撮像装置における色差信号補間回路が行う補間
処理を説明するための説明図である。
【図13】本発明の実施の形態3によるカラー撮像装置
における色信号補間回路が行う処理内容を説明するため
の説明図である。
【図14】本発明の実施の形態3によるカラー撮像装置
のブロック図である。
【符号の説明】
101、201 光学系 102、202 CCD 103、203 CCD出力のアナログ色信号 104、204 A/D変換器 105、205 CCD出力のデジタル色信号 106、206 記憶回路 107、207 デジタル色信号 108、1008、2008 色信号補間回路 109、1009、2009 補間された色信号 110、208、1010 輝度信号生成回路 111、211、1011 任意倍の輝度信号 112、213、1013、2013 色差信号生成回
路 113、216、1016 任意倍の色差信号 114、217、1017、2017 カラー撮像装置 209 輝度信号 210 輝度信号補間回路 214、1014、2014 色差信号 215、1015、2015 色差信号補間回路

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 縦横に隣接する2×2画素を1つの配列
    パターンとする、色分離フィルタを有する複数の画素を
    備えた撮像素子と、 上記撮像素子からの各画素毎の色信号を記憶する記憶手
    段と、 上記撮像素子の画素の配列上に、上記撮像素子の画素と
    異なる解像度に応じた輝度生成位置を設定するととも
    に、該輝度生成位置に対応した1つ以上の色信号補間位
    置を設定し、該色信号補間位置における色信号を、上記
    記憶回路に記憶されている該色信号補間位置の周辺にあ
    る画素の色信号を補間して求める色信号補間手段と、 該色信号補間回路により得られた上記色信号補間位置の
    色信号を用いて、上記輝度生成位置における輝度信号を
    生成する輝度生成手段と、 を備えたことを特徴とするカラー撮像装置。
  2. 【請求項2】 請求項1に記載のカラー撮像装置におい
    て、 上記色信号補間手段が、上記輝度生成位置に対応した4
    つの色信号補間位置を設定し、 上記輝度生成手段が、上記色信号補間手段により上記4
    つの色信号補間位置から得られる4つの色信号を用いて
    輝度信号を生成することを特徴とするカラー撮像装置。
  3. 【請求項3】 請求項2に記載のカラー撮像装置におい
    て、 上記色信号補間手段が、上記4つの色信号補間位置とし
    て、 上記輝度生成位置に最も近い位置にある画素の中心位置
    と、 該画素の中心位置を基点とし、上記輝度生成位置に対し
    て縦方向に対称である位置と、 上記画素の中心位置を基点とし、上記輝度生成位置に対
    して横方向に対称である位置と、 上記画素の中心位置を基点とし、上記輝度生成位置に対
    して点対象な位置とを設定することを特徴とするカラー
    撮像装置。
  4. 【請求項4】 請求項2に記載のカラー撮像装置におい
    て、 上記色信号補間手段が、上記4つの色信号補間位置とし
    て、上記輝度生成位置を中心として配置した上記撮像素
    子の画素と異なる解像度に応じた1画素と同じ大きさの
    領域の4つの頂点位置を設定することを特徴とするカラ
    ー撮像装置。
  5. 【請求項5】 請求項2に記載のカラー撮像装置におい
    て、 上記色信号補間手段が、上記4つの色信号補間位置とし
    て、輝度生成位置と同じ位置を設定することを特徴とす
    るカラー撮像装置。
  6. 【請求項6】 請求項2ないし請求項5のいずれかに記
    載のカラー撮像装置において、 上記色信号補間手段が、上記4つの色信号補間位置にお
    いて色信号を生成する際に、上記各色信号補間位置が補
    間対象とする色信号を、上記輝度生成位置を含み、かつ
    上記輝度生成位置に最も近い位置にある縦横に隣接する
    2×2画素が持つ色信号の中から選択することを特徴と
    するカラー撮像装置。
  7. 【請求項7】 請求項3または請求項4のいずれかに記
    載のカラー撮像装置において、 上記色信号補間手段が、上記4つの色信号補間位置にお
    いて色信号を生成する際に、上記輝度生成位置を含み、
    かつ上記輝度生成位置に最も近い位置にある縦横に隣接
    する2×2画素の各画素の色信号を、上記各画素の中心
    位置からの距離が最短となる上記4つの色信号補間位置
    のうちの1つが補間対象とする色信号として、上記4つ
    の色信号補間位置に対して1対1で割り当てることを特
    徴とするカラー撮像装置。
  8. 【請求項8】 請求項6または請求項7のいずれかに記
    載のカラー撮像装置において、 上記色信号補間手段が、 上記各色信号補間位置が補間対象とする色信号を持つ画
    素を補間対象画素として、上記各色信号補間位置に新規
    に作成する色信号の値を、 (補間対象画素に上下に隣接する画素が持つ色信号値の
    差分)×(新規作成する色信号補間位置と補間対象画素
    の中心位置との距離に応じた係数)×(色フィルタの透
    過率に応じた値)+(補間対象画素に左右に隣接する画
    素が持つ色信号値の差分)×(新規作成する色信号補間
    位置と補間対象画素の中心位置との距離に応じた係数)
    ×(色フィルタの透過率に応じた値)+(補間対象の色
    信号値)の式の値として算出することを特徴とするカラ
    ー撮像装置。
  9. 【請求項9】 請求項6または請求項7のいずれかに記
    載のカラー撮像装置において、 上記色信号補間手段が、 上記各色信号補間位置が補間対象とする色信号を持つ画
    素を補間対象画素として、上記各色信号補間位置に新規
    に作成する色信号の値を、 (補間対象画素と間に1つ画素をはさんで上下に隣接す
    る画素が持つ色信号値の差分)×(新規作成する色信号
    補間位置と補間対象画素の中心位置との距離に応じた
    値)+(補間対象画素と間に1つ画素をはさんで左右に
    隣接する画素が持つ色信号値の差分)×(新規作成する
    色信号補間位置と補間対象画素の中心位置との距離に応
    じた値)+(補間対象の色信号値)の式の値として算出
    することを特徴とするカラー撮像装置。
  10. 【請求項10】 請求項2ないし請求項9のいずれかに
    記載のカラー撮像装置において、 上記色信号補間手段により上記4つの色信号補間位置に
    おいて求めた4つの色信号を用いて、上記輝度生成位置
    における色差信号を生成する色差信号生成手段を備えた
    ことを特徴とするカラー撮像装置。
  11. 【請求項11】 請求項2ないし請求項9のいずれかに
    記載のカラー撮像装置において、 上記撮像素子の縦横に隣接する2×2画素の交点位置の
    うちの、輝度生成位置に最も近い位置にある交点位置に
    おいて生成した色差信号、または該輝度生成位置に最も
    近い位置にある交点位置の上下にある2つの交点位置に
    おいて生成した2つの色差信号、または上記輝度生成位
    置に最も近い位置にある交点位置の左右にある2つの交
    点位置において生成した2つの色差信号、もしくは上記
    輝度生成位置に最も近い位置にある交点位置に対して斜
    め方向に位置する4つの交点位置において生成した4つ
    の色差信号のうちのいずれか、もしくは複数を求める色
    差信号生成手段と、 該色差信号生成手段により求めた色差信号を用いて、輝
    度生成位置の色差信号を求める色差信号補間手段とを備
    えたことを特徴とするカラー撮像装置。
  12. 【請求項12】 請求項2ないし請求項9のいずれかに
    記載のカラー撮像装置において、 上記撮像素子の縦横に隣接する2×2画素の交点位置の
    うちの、上記輝度生成位置に最も近い位置にある交点位
    置に対して斜め方向に位置する4つの交点位置において
    生成した4つの色差信号を求める色差信号生成手段と、 該4つの色差信号を線形補間して、輝度生成位置の色差
    信号を求める色差信号補間手段とを備えたことを特徴と
    するカラー撮像装置。
JP2000316665A 2000-10-17 2000-10-17 カラー撮像装置 Pending JP2002125240A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000316665A JP2002125240A (ja) 2000-10-17 2000-10-17 カラー撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000316665A JP2002125240A (ja) 2000-10-17 2000-10-17 カラー撮像装置

Publications (1)

Publication Number Publication Date
JP2002125240A true JP2002125240A (ja) 2002-04-26

Family

ID=18795581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000316665A Pending JP2002125240A (ja) 2000-10-17 2000-10-17 カラー撮像装置

Country Status (1)

Country Link
JP (1) JP2002125240A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720993B1 (en) * 1999-10-05 2004-04-13 Samsung Electronics Co., Ltd. Apparatus and method for expanding dynamic range in image processing system
JP2009524282A (ja) * 2006-01-12 2009-06-25 マイクロン テクノロジー, インク. 撮像装置のためのベイヤパターンの色モザイク補間を生成する方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720993B1 (en) * 1999-10-05 2004-04-13 Samsung Electronics Co., Ltd. Apparatus and method for expanding dynamic range in image processing system
JP2009524282A (ja) * 2006-01-12 2009-06-25 マイクロン テクノロジー, インク. 撮像装置のためのベイヤパターンの色モザイク補間を生成する方法および装置

Similar Documents

Publication Publication Date Title
US7227574B2 (en) Image capturing apparatus
US6091851A (en) Efficient algorithm for color recovery from 8-bit to 24-bit color pixels
KR20120125344A (ko) 화상 처리장치 및 화상 처리방법
JP2008199177A (ja) 画像処理装置およびその方法と電子カメラ
WO2006048962A1 (ja) 画素信号処理装置及び画素信号処理方法
CN103597821A (zh) 图像拾取设备和信号值校正方法
JP2008070853A (ja) 画像配列データの補償方法
JP2009077274A (ja) 画像処理装置、画像処理方法、及び撮像装置
US7801355B2 (en) Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium
JP3458080B2 (ja) カラー撮像装置
JP2001197512A (ja) 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
EP4117282A1 (en) Image sensor, imaging apparatus, electronic device, image processing system and signal processing method
US6747698B2 (en) Image interpolating device
JP2004519156A (ja) 画像検知器の出力信号用の輪郭フィルタ
JP2002112276A (ja) カラー固体撮像装置
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
JP2002125240A (ja) カラー撮像装置
JP2815497B2 (ja) カラービデオカメラ
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP2001231052A (ja) 固体撮像素子出力信号処理方法およびそれを用いたカメラ
JP2000115791A (ja) カラ―画像記録装置における色値計算方法
JP2003134523A (ja) 撮像装置及び撮像方法
JP3926019B2 (ja) 撮像装置
JP4334484B2 (ja) 画素信号処理装置及び方法