JP2002191053A - 画像信号処理方法 - Google Patents
画像信号処理方法Info
- Publication number
- JP2002191053A JP2002191053A JP2000390121A JP2000390121A JP2002191053A JP 2002191053 A JP2002191053 A JP 2002191053A JP 2000390121 A JP2000390121 A JP 2000390121A JP 2000390121 A JP2000390121 A JP 2000390121A JP 2002191053 A JP2002191053 A JP 2002191053A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- data
- target pixel
- correlation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 190
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000000295 complement effect Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 102
- 230000008569 process Effects 0.000 claims description 69
- 239000003086 colorant Substances 0.000 claims description 23
- 230000002596 correlated effect Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims 1
- 230000006866 deterioration Effects 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 16
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 230000006837 decompression Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002265 prevention Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 101150080287 SUB3 gene Proteins 0.000 description 4
- 101150004790 SUB8 gene Proteins 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 101150086029 SUB5 gene Proteins 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 102100036464 Activated RNA polymerase II transcriptional coactivator p15 Human genes 0.000 description 2
- 101000713904 Homo sapiens Activated RNA polymerase II transcriptional coactivator p15 Proteins 0.000 description 2
- 229910004444 SUB1 Inorganic materials 0.000 description 2
- 229910004438 SUB2 Inorganic materials 0.000 description 2
- 101150023658 SUB4 gene Proteins 0.000 description 2
- 101150029328 SUB6 gene Proteins 0.000 description 2
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 101150018444 sub2 gene Proteins 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100029774 Eukaryotic translation initiation factor 1b Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101001012792 Homo sapiens Eukaryotic translation initiation factor 1b Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 101150061527 SUB7 gene Proteins 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 仮想画素の補間処理により生じる画質劣化を
回避することのできる画像信号処理方法の提供。 【解決手段】 ディジタルカメラ10は、撮像部26から信
号処理部30に撮像した画素データを供給し、信号処理部
30では緑色の画素データを高周波輝度データYHとして用
い、赤色および青色の一方を輝度生成の対象の画素とす
る際にこの画素と水平および垂直方向に位置する同一色
の画素データとを用いてどの方向に相関があるかを判定
し、対象の画素と判定に応じた方向の画素データとを用
いて緑色の補色を高周波輝度データYHとして生成し、相
関方向を示すフラグを画素データに対応させ、さらにフ
ラグパターンを比較して補正し、補正した対象の画素の
フラグに基づく方向の画素データから高周波輝度データ
YHを生成して、長手方向に見て隣接する画素同士に生じ
ていた輝度データのレベル差をなくしている。
回避することのできる画像信号処理方法の提供。 【解決手段】 ディジタルカメラ10は、撮像部26から信
号処理部30に撮像した画素データを供給し、信号処理部
30では緑色の画素データを高周波輝度データYHとして用
い、赤色および青色の一方を輝度生成の対象の画素とす
る際にこの画素と水平および垂直方向に位置する同一色
の画素データとを用いてどの方向に相関があるかを判定
し、対象の画素と判定に応じた方向の画素データとを用
いて緑色の補色を高周波輝度データYHとして生成し、相
関方向を示すフラグを画素データに対応させ、さらにフ
ラグパターンを比較して補正し、補正した対象の画素の
フラグに基づく方向の画素データから高周波輝度データ
YHを生成して、長手方向に見て隣接する画素同士に生じ
ていた輝度データのレベル差をなくしている。
Description
【０００１】
【発明の属する技術分野】本発明は、画像信号処理方法
に関し、特にディジタルカメラや画像入力装置等におけ
る実在しない仮想画素に対して実在する画素からの画素
データを用いて補間を施す信号処理に適用して良好な結
果を得るものである。
に関し、特にディジタルカメラや画像入力装置等におけ
る実在しない仮想画素に対して実在する画素からの画素
データを用いて補間を施す信号処理に適用して良好な結
果を得るものである。
【０００２】
【従来の技術】ディジタルカメラでは、固体撮像デバイ
スに２次元配列された撮像素子、いわゆる画素数によっ
て得られる画像の解像度が左右されてきた。固体撮像デ
バイスの一定の面積に形成する画素数が多いほど解像度
の向上が期待されている。また、撮像素子が同数の場合
撮像素子のサイズが大きいほどノイズの影響等が少な
く、高感度な画質が得られる。
スに２次元配列された撮像素子、いわゆる画素数によっ
て得られる画像の解像度が左右されてきた。固体撮像デ
バイスの一定の面積に形成する画素数が多いほど解像度
の向上が期待されている。また、撮像素子が同数の場合
撮像素子のサイズが大きいほどノイズの影響等が少な
く、高感度な画質が得られる。
【０００３】上述した解像度と高感度を同時に考慮す
る。このとき、一定の面積に形成する画素数の増加にと
もない撮像素子のサイズが小さくなる関係は二律背反的
にたとえば、画素数の向上による解像度向上効果とサイ
ズ減少の感度低下効果とが同時に作用することになる。
これによって固体撮像デバイスで得られる画像には画質
に限界が生じる。
る。このとき、一定の面積に形成する画素数の増加にと
もない撮像素子のサイズが小さくなる関係は二律背反的
にたとえば、画素数の向上による解像度向上効果とサイ
ズ減少の感度低下効果とが同時に作用することになる。
これによって固体撮像デバイスで得られる画像には画質
に限界が生じる。
【０００４】特開2000-184386 号公報に記載の固体撮像
装置および信号処理方法で固体撮像デバイスは、この問
題を考慮して、撮像素子が隣接する素子に対して行列
（縦横）方向に画素ピッチの半分ずつ画素ずらして撮像
素子を配設形成させている。この画素配列、いわゆるハ
ニカム配列によって所定の空間において最も多くの画素
数が形成される。この際に、撮像素子の感度も十分得ら
れるようにサイズを画素数の割りに大きな撮像素子にし
て画質の低下を防止している。そして、得られた画素デ
ータをさらに有効に利用するため、撮像素子が存在する
実在画素に対して撮像素子の存在しない位置に仮想画素
を補間生成する信号処理を行う。実在画素および仮想画
素を合わせて画素とみなすことで、得られる画像は解像
度を向上させている。また、信号処理では、得られる輝
度データおよび色データの信号成分を高域化することに
よっても画像の画質を高めている。
装置および信号処理方法で固体撮像デバイスは、この問
題を考慮して、撮像素子が隣接する素子に対して行列
（縦横）方向に画素ピッチの半分ずつ画素ずらして撮像
素子を配設形成させている。この画素配列、いわゆるハ
ニカム配列によって所定の空間において最も多くの画素
数が形成される。この際に、撮像素子の感度も十分得ら
れるようにサイズを画素数の割りに大きな撮像素子にし
て画質の低下を防止している。そして、得られた画素デ
ータをさらに有効に利用するため、撮像素子が存在する
実在画素に対して撮像素子の存在しない位置に仮想画素
を補間生成する信号処理を行う。実在画素および仮想画
素を合わせて画素とみなすことで、得られる画像は解像
度を向上させている。また、信号処理では、得られる輝
度データおよび色データの信号成分を高域化することに
よっても画像の画質を高めている。
【０００５】
【発明が解決しようとする課題】ところで、前述した仮
想画素の補間処理では、まず各画素の相関検出を斜め方
向、縦横方向について行い、相関の高い方向を検出す
る。次に検出した相関の高い方向に位置する画素を用い
て仮想画素に対する補間処理が行われている。この補間
処理により、画像を高画質化させている（適応型補間処
理）。
想画素の補間処理では、まず各画素の相関検出を斜め方
向、縦横方向について行い、相関の高い方向を検出す
る。次に検出した相関の高い方向に位置する画素を用い
て仮想画素に対する補間処理が行われている。この補間
処理により、画像を高画質化させている（適応型補間処
理）。
【０００６】しかしながら、この仮想画素の補間処理に
よって得られる画像に画質劣化が生じてしまう場合があ
る。この画質劣化が生じる状況は、被写体が特定幅の中
に有色と無彩色のライン形状を含む際に被写体のこの形
状にともなう長手方向に輝度レベルの差が発生する。ま
た、解像度チャートを撮影した際の画像には、解像力の
指標となるくさび型のチャート部分に十字に交差するよ
うな偽信号の発生や直線が切断して見えるような現象が
現れる。
よって得られる画像に画質劣化が生じてしまう場合があ
る。この画質劣化が生じる状況は、被写体が特定幅の中
に有色と無彩色のライン形状を含む際に被写体のこの形
状にともなう長手方向に輝度レベルの差が発生する。ま
た、解像度チャートを撮影した際の画像には、解像力の
指標となるくさび型のチャート部分に十字に交差するよ
うな偽信号の発生や直線が切断して見えるような現象が
現れる。
【０００７】本発明はこのような従来技術の欠点を解消
し、仮想画素の補間処理により生じる画質劣化を回避す
ることのできる画像信号処理方法を提供することを目的
とする。
し、仮想画素の補間処理により生じる画質劣化を回避す
ることのできる画像信号処理方法を提供することを目的
とする。
【０００８】
【課題を解決するための手段】本発明は上述の課題を解
決するために、被写界からの入射光を三原色に分解し、
得られた三原色の入射光を光電変換する複数の撮像素子
が隣接する撮像素子の幾何学的な中心に対して行および
／または列方向に半ピッチずらして配設され、この撮像
素子を実在画素とし、この撮像素子から得られる撮像信
号のそれぞれをディジタルの画素データにして、この画
素データを用いて画素間に新たな画素を仮想画素として
生成する補間処理を施し、輝度および色差データを生成
する画像信号処理方法において、この方法は、画素デー
タを２次元に表示した際に、画素データの緑色が正方格
子状に得られ、緑色を挟む一方の対角位置の実在画素か
らの赤色の画素データと、他方の対角位置の実在画素か
らの青色の画素データとをそれぞれ得る第１の工程と、
赤色および青色の実在画素のいずれか一方を対象の画素
とした際に、この対象の画素に対して相関精度を向上さ
せる判定を行いながら、この相関方向に位置するこの対
象の画素と異色の周囲の他方の複数の画素データを用い
て緑色の補色の画素データを生成する第２の工程と、こ
の補色の画素データと緑色の画素データを用いて水平ま
たは垂直方向に位置する同一色の画素データから仮想画
素を補間生成する第３の工程と、この補間生成に用いた
方向と直交する方向に帯域制限処理を行う第４の工程と
を含むことを特徴とする。
決するために、被写界からの入射光を三原色に分解し、
得られた三原色の入射光を光電変換する複数の撮像素子
が隣接する撮像素子の幾何学的な中心に対して行および
／または列方向に半ピッチずらして配設され、この撮像
素子を実在画素とし、この撮像素子から得られる撮像信
号のそれぞれをディジタルの画素データにして、この画
素データを用いて画素間に新たな画素を仮想画素として
生成する補間処理を施し、輝度および色差データを生成
する画像信号処理方法において、この方法は、画素デー
タを２次元に表示した際に、画素データの緑色が正方格
子状に得られ、緑色を挟む一方の対角位置の実在画素か
らの赤色の画素データと、他方の対角位置の実在画素か
らの青色の画素データとをそれぞれ得る第１の工程と、
赤色および青色の実在画素のいずれか一方を対象の画素
とした際に、この対象の画素に対して相関精度を向上さ
せる判定を行いながら、この相関方向に位置するこの対
象の画素と異色の周囲の他方の複数の画素データを用い
て緑色の補色の画素データを生成する第２の工程と、こ
の補色の画素データと緑色の画素データを用いて水平ま
たは垂直方向に位置する同一色の画素データから仮想画
素を補間生成する第３の工程と、この補間生成に用いた
方向と直交する方向に帯域制限処理を行う第４の工程と
を含むことを特徴とする。
【０００９】本発明の画像信号処理方法は、読み出した
緑色の画素データを輝度データとみなし、そのまま用
い、対象の画素に対して相関精度を向上させる判定を行
いながら、この相関方向に位置するこの対象の画素と異
色の周囲の他方の複数の画素データを用いた緑色の補色
の画素データの生成、すなわち、赤色および青色の実在
画素の一方を対象の画素として赤色には周囲の青色を考
慮した加算、青色には周囲の赤色を考慮した加算を行っ
て緑色の補色（すなわち、マゼンタ）の画素データを生
成することにより、この緑色の補色も輝度データとみな
し、たとえば有彩色・無彩色の画素データが長手方向に
細線を有する被写体を撮影しても長手方向に見て隣接す
る画素間に生じていた輝度データのレベル差をなくし、
得られたこれらの画素データを用いて水平または垂直方
向に位置する同一色の画素データから仮想画素を補間生
成し、この補間生成に用いた方向と直交する方向に帯域
制限処理を行うことにより、画質低下の発生を抑えてい
る。
緑色の画素データを輝度データとみなし、そのまま用
い、対象の画素に対して相関精度を向上させる判定を行
いながら、この相関方向に位置するこの対象の画素と異
色の周囲の他方の複数の画素データを用いた緑色の補色
の画素データの生成、すなわち、赤色および青色の実在
画素の一方を対象の画素として赤色には周囲の青色を考
慮した加算、青色には周囲の赤色を考慮した加算を行っ
て緑色の補色（すなわち、マゼンタ）の画素データを生
成することにより、この緑色の補色も輝度データとみな
し、たとえば有彩色・無彩色の画素データが長手方向に
細線を有する被写体を撮影しても長手方向に見て隣接す
る画素間に生じていた輝度データのレベル差をなくし、
得られたこれらの画素データを用いて水平または垂直方
向に位置する同一色の画素データから仮想画素を補間生
成し、この補間生成に用いた方向と直交する方向に帯域
制限処理を行うことにより、画質低下の発生を抑えてい
る。
【００１０】また、本発明は上述の課題を解決するため
に、被写界からの入射光を三原色に分解し、得られた三
原色の入射光を光電変換する複数の撮像素子が隣接する
撮像素子の幾何学的な中心に対して行および／または列
方向に半ピッチずらして配設され、この撮像素子を実在
画素とし、この撮像素子から得られる撮像信号のそれぞ
れをディジタルの画素データにして、この画素データを
用いて画素間に新たな画素を仮想画素として生成する補
間処理を施し、輝度および色差データを生成する画像信
号処理方法において、この方法は、画素データを２次元
に表示した際に、画素データの緑色が正方格子状に得ら
れ、緑色を挟む一方の対角位置の実在画素からの赤色の
画素データと、他方の対角位置の実在画素からの青色の
画素データとをそれぞれ得る第１の工程と、読み出した
緑色の画素データを用いて仮想画素も補間処理しながら
緑色の画面を作成する第２の工程と、読み出した画素デ
ータのうち、赤色および青色の実在画素のいずれか一方
を対象の画素とした際に、この対象の画素に対して相関
精度を向上させる判定を行いながら、この相関方向に位
置するこの対象の画素と異色の周囲の他方の複数の画素
データを用いて緑色の補色の画素データを生成するとと
もに、この補色の画素データを用いて仮想画素も補間処
理し、この補色の画面を作成する第３の工程と、得られ
た緑色の画面と補色の画面とを加算処理する第４の工程
と、この加算処理して得られた画素データに水平方向ま
たは垂直方向のいずれか一方に帯域制限処理を行う第５
の工程とを含むことを特徴とする。
に、被写界からの入射光を三原色に分解し、得られた三
原色の入射光を光電変換する複数の撮像素子が隣接する
撮像素子の幾何学的な中心に対して行および／または列
方向に半ピッチずらして配設され、この撮像素子を実在
画素とし、この撮像素子から得られる撮像信号のそれぞ
れをディジタルの画素データにして、この画素データを
用いて画素間に新たな画素を仮想画素として生成する補
間処理を施し、輝度および色差データを生成する画像信
号処理方法において、この方法は、画素データを２次元
に表示した際に、画素データの緑色が正方格子状に得ら
れ、緑色を挟む一方の対角位置の実在画素からの赤色の
画素データと、他方の対角位置の実在画素からの青色の
画素データとをそれぞれ得る第１の工程と、読み出した
緑色の画素データを用いて仮想画素も補間処理しながら
緑色の画面を作成する第２の工程と、読み出した画素デ
ータのうち、赤色および青色の実在画素のいずれか一方
を対象の画素とした際に、この対象の画素に対して相関
精度を向上させる判定を行いながら、この相関方向に位
置するこの対象の画素と異色の周囲の他方の複数の画素
データを用いて緑色の補色の画素データを生成するとと
もに、この補色の画素データを用いて仮想画素も補間処
理し、この補色の画面を作成する第３の工程と、得られ
た緑色の画面と補色の画面とを加算処理する第４の工程
と、この加算処理して得られた画素データに水平方向ま
たは垂直方向のいずれか一方に帯域制限処理を行う第５
の工程とを含むことを特徴とする。
【００１１】また、本発明の画像信号処理方法は、読み
出した緑色の画素データを用いて仮想画素も補間処理し
て緑色の画面を作成し、また、読み出した画素データの
うち、赤色および青色の実在画素のいずれか一方を対象
の画素とした際に、この対象の画素に対して相関精度を
向上させる判定を行いながら、この相関方向に位置する
この対象の画素と異色の周囲の他方の複数の画素データ
を用いて緑色の補色の画素データを生成し、この補色の
画素データを用いて仮想画素も補間処理し、この補色の
画面を作成して、この緑色および緑色の補色を輝度デー
タとみなし、たとえば有彩色・無彩色の画素データが長
手方向に細線を有する被写体を撮影しても長手方向に見
て隣接する画素同士に生じていた輝度データのレベル差
をなくし、これら緑色の画面と補色の画面とを加算処理
し、得られる画素データに水平方向または垂直方向のい
ずれか一方に帯域制限処理を行うことにより、このよう
な場合における画像の画質劣化を抑制している。
出した緑色の画素データを用いて仮想画素も補間処理し
て緑色の画面を作成し、また、読み出した画素データの
うち、赤色および青色の実在画素のいずれか一方を対象
の画素とした際に、この対象の画素に対して相関精度を
向上させる判定を行いながら、この相関方向に位置する
この対象の画素と異色の周囲の他方の複数の画素データ
を用いて緑色の補色の画素データを生成し、この補色の
画素データを用いて仮想画素も補間処理し、この補色の
画面を作成して、この緑色および緑色の補色を輝度デー
タとみなし、たとえば有彩色・無彩色の画素データが長
手方向に細線を有する被写体を撮影しても長手方向に見
て隣接する画素同士に生じていた輝度データのレベル差
をなくし、これら緑色の画面と補色の画面とを加算処理
し、得られる画素データに水平方向または垂直方向のい
ずれか一方に帯域制限処理を行うことにより、このよう
な場合における画像の画質劣化を抑制している。
【００１２】
【発明の実施の形態】次に添付図面を参照して本発明を
適用したディジタルカメラ10の実施例を詳細に説明す
る。
適用したディジタルカメラ10の実施例を詳細に説明す
る。
【００１３】本実施例は、本発明と直接関係のない部分
について図示および説明を省略する。ここで、信号の参
照符号はその現れる接続線の参照番号で表す。
について図示および説明を省略する。ここで、信号の参
照符号はその現れる接続線の参照番号で表す。
【００１４】ディジタルカメラ10には、光学レンズ系1
2、操作部14、システム制御部18、タイミング信号発生
部20、ドライバ部22、メカニカルシャッタ24、撮像部2
6、前処理部28、信号処理部30、圧縮／伸長処理部32、
ストレージ部34、およびモニタ36が備えられている。こ
れら各部を順次説明する。
2、操作部14、システム制御部18、タイミング信号発生
部20、ドライバ部22、メカニカルシャッタ24、撮像部2
6、前処理部28、信号処理部30、圧縮／伸長処理部32、
ストレージ部34、およびモニタ36が備えられている。こ
れら各部を順次説明する。
【００１５】光学レンズ系12は、たとえば、複数枚の光
学レンズを組み合わせて構成されている。光学レンズ系
12には、図示しないが、これら光学レンズの配置する位
置を調節して画面の画角を操作部14からの操作信号14a
に応じて調節するズーム機構や被写体とカメラ10との距
離に応じてピント調節する、AF（Automatic Focus ：自
動焦点）調節機構が含まれている。後述するように操作
信号14a は、システムバス16、データバス18a を介して
システム制御部18に供給される。システム制御部18は制
御信号18b をシステムバス16に供給する。制御信号18c
は、システムバス16から制御信号18c としてタイミング
信号発生部20およびドライバ部22に供給される。タイミ
ング信号発生部20およびドライバ部22は供給される制御
信号18cに応じて動作して光学レンズ系12に駆動信号22a
を出力する。
学レンズを組み合わせて構成されている。光学レンズ系
12には、図示しないが、これら光学レンズの配置する位
置を調節して画面の画角を操作部14からの操作信号14a
に応じて調節するズーム機構や被写体とカメラ10との距
離に応じてピント調節する、AF（Automatic Focus ：自
動焦点）調節機構が含まれている。後述するように操作
信号14a は、システムバス16、データバス18a を介して
システム制御部18に供給される。システム制御部18は制
御信号18b をシステムバス16に供給する。制御信号18c
は、システムバス16から制御信号18c としてタイミング
信号発生部20およびドライバ部22に供給される。タイミ
ング信号発生部20およびドライバ部22は供給される制御
信号18cに応じて動作して光学レンズ系12に駆動信号22a
を出力する。
【００１６】操作部14には、図示しないがレリーズシャ
ッタボタンやたとえばモニタ画面に各種の項目を表示さ
せ、表示項目のなかからカーソルを用いて選択する選択
機能等がある。操作部14には、これら各種の機能選択の
うち、静止画・動画設定部が含まれている。静止画・動
画設定部は、設定した結果が別な操作信号として出力し
ている（図示せず）。操作部14で選択された操作は操作
信号14a がシステムバス16を介してシステム制御部18に
報知される。
ッタボタンやたとえばモニタ画面に各種の項目を表示さ
せ、表示項目のなかからカーソルを用いて選択する選択
機能等がある。操作部14には、これら各種の機能選択の
うち、静止画・動画設定部が含まれている。静止画・動
画設定部は、設定した結果が別な操作信号として出力し
ている（図示せず）。操作部14で選択された操作は操作
信号14a がシステムバス16を介してシステム制御部18に
報知される。
【００１７】システム制御部18は、たとえば CPU（Cent
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部18には、ディジタルカメラ10の動作手順
が書き込まれた ROM（Read Only Memory：読み出し専用
メモリ）がある。システム制御部18は、信号線18a を介
してたとえば、ユーザの操作に伴って操作部14から供給
される情報、すなわち操作信号14a とこの ROMが有する
情報とを用いて各部の動作を制御する制御信号18b を生
成する。システム制御部18は、生成した制御信号18b を
システムバス16を介して上述した光学レンズ系12の駆動
だけでなく、タイミング信号発生部20、ドライバ部22に
供給するとともに、図示していないが前処理部28、信号
処理部30、圧縮／伸長処理部32、ストレージ部34および
モニタ36にも供給している。
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部18には、ディジタルカメラ10の動作手順
が書き込まれた ROM（Read Only Memory：読み出し専用
メモリ）がある。システム制御部18は、信号線18a を介
してたとえば、ユーザの操作に伴って操作部14から供給
される情報、すなわち操作信号14a とこの ROMが有する
情報とを用いて各部の動作を制御する制御信号18b を生
成する。システム制御部18は、生成した制御信号18b を
システムバス16を介して上述した光学レンズ系12の駆動
だけでなく、タイミング信号発生部20、ドライバ部22に
供給するとともに、図示していないが前処理部28、信号
処理部30、圧縮／伸長処理部32、ストレージ部34および
モニタ36にも供給している。
【００１８】タイミング信号発生部20は、ディジタルカ
メラ10を動作させる基本クロック（システムクロック）
を発生する発振器（図示せず）を有する。発振器にはた
とえば、VCO (Voltage Controlled Oscillator）方式等
が用いられている。また、タイミング信号発生部20はこ
の基本クロックをシステム制御部18や信号処理部30等必
要とするほとんどすべてのブロックに供給するととも
に、基本クロックを分周して様々な信号も生成してい
る。
メラ10を動作させる基本クロック（システムクロック）
を発生する発振器（図示せず）を有する。発振器にはた
とえば、VCO (Voltage Controlled Oscillator）方式等
が用いられている。また、タイミング信号発生部20はこ
の基本クロックをシステム制御部18や信号処理部30等必
要とするほとんどすべてのブロックに供給するととも
に、基本クロックを分周して様々な信号も生成してい
る。
【００１９】特にタイミング信号発生部20は、この基本
クロックを用い、制御信号18b に基づいて各部の動作を
タイミング調節するタイミング信号20a, 20bを生成する
回路を含む。タイミング信号発生部20は、ドライバ部22
に生成したタイミング信号20a を供給する。また、タイ
ミング信号発生部20は、前処理部28等の動作タイミング
として供給するようにタイミング信号20b も生成し、供
給している。この他、図１に示すように各部にも図示し
ていないが各種のタイミング信号が供給されている。
クロックを用い、制御信号18b に基づいて各部の動作を
タイミング調節するタイミング信号20a, 20bを生成する
回路を含む。タイミング信号発生部20は、ドライバ部22
に生成したタイミング信号20a を供給する。また、タイ
ミング信号発生部20は、前処理部28等の動作タイミング
として供給するようにタイミング信号20b も生成し、供
給している。この他、図１に示すように各部にも図示し
ていないが各種のタイミング信号が供給されている。
【００２０】ドライバ部22は、供給されるタイミング信
号20a を用いて、所望の駆動信号22a, 22b,および 22c
をそれぞれ、生成し、光学レンズ系12、メカニカルシャ
ッタ24、および撮像部26に供給する。駆動信号22c は、
静止画用と動画用のモードにも対応して供給している。
号20a を用いて、所望の駆動信号22a, 22b,および 22c
をそれぞれ、生成し、光学レンズ系12、メカニカルシャ
ッタ24、および撮像部26に供給する。駆動信号22c は、
静止画用と動画用のモードにも対応して供給している。
【００２１】メカニカルシャッタ24は、操作部14のレリ
ーズシャッタボタンの押圧操作に応じて動作する。動作
順序は、レリーズシャッタボタンの押圧操作により、た
とえば、システムバス16を介して操作信号14a がシステ
ム制御部18に供給され、システム制御部18からの制御信
号18b がシステムバス16、および信号線18c を介してド
ライバ部22に供給される。メカニカルシャッタ24はドラ
イバ部22から供給される駆動信号22b に応じて動作す
る。メカニカルシャッタ24は、このような順序で動作し
て制御される。
ーズシャッタボタンの押圧操作に応じて動作する。動作
順序は、レリーズシャッタボタンの押圧操作により、た
とえば、システムバス16を介して操作信号14a がシステ
ム制御部18に供給され、システム制御部18からの制御信
号18b がシステムバス16、および信号線18c を介してド
ライバ部22に供給される。メカニカルシャッタ24はドラ
イバ部22から供給される駆動信号22b に応じて動作す
る。メカニカルシャッタ24は、このような順序で動作し
て制御される。
【００２２】撮像部26は光学ローパスフィルタ26a およ
び色フィルタ26b が固体撮像素子 (Charge Coupled Dev
ice：CCD ）26c の入射光側に一体的に設けられた単板
カラーCCD センサである。これは、光学レンズ系12で結
像された光学像が固体撮像素子26c の受光部の各撮像素
子に到達した光量に応じた出力信号27を出力する。
び色フィルタ26b が固体撮像素子 (Charge Coupled Dev
ice：CCD ）26c の入射光側に一体的に設けられた単板
カラーCCD センサである。これは、光学レンズ系12で結
像された光学像が固体撮像素子26c の受光部の各撮像素
子に到達した光量に応じた出力信号27を出力する。
【００２３】撮像部26は、入射光の側から順次に光学ロ
ーパスフィルタ26a 、色フィルタ26b 、および固体撮像
素子26c が配設され、一体的に形成されている。色フィ
ルタ26b は単板である。色フィルタ26b の色フィルタセ
グメント260 と撮像素子262とは、一対一の対応関係に
ある。色フィルタ26b は、たとえば、図２に示すような
三原色RGB の色フィルタセグメント260 が配置されてい
る。この色フィルタセグメント260 の配置パターンは、
色G が正方格子状に配され、さらに色G を挟んで対角位
置に同色R,または Bが配される完全市松に配するパター
ンである。
ーパスフィルタ26a 、色フィルタ26b 、および固体撮像
素子26c が配設され、一体的に形成されている。色フィ
ルタ26b は単板である。色フィルタ26b の色フィルタセ
グメント260 と撮像素子262とは、一対一の対応関係に
ある。色フィルタ26b は、たとえば、図２に示すような
三原色RGB の色フィルタセグメント260 が配置されてい
る。この色フィルタセグメント260 の配置パターンは、
色G が正方格子状に配され、さらに色G を挟んで対角位
置に同色R,または Bが配される完全市松に配するパター
ンである。
【００２４】この色パターンは、以後、この色フィルタ
配置はハニカム型G 正方格子RB完全市松パターンとい
う。図２に示した画素数は、14個のうち、本来の色G が
６個、色R, Bがそれぞれ４個ずつである。上述した色G
の正方格子状とは、画素の形状を示すものでなく、画素
の配置形状を示している。画素の形状は多角形で、たと
えば四角形、六角形、八角形等がある。
配置はハニカム型G 正方格子RB完全市松パターンとい
う。図２に示した画素数は、14個のうち、本来の色G が
６個、色R, Bがそれぞれ４個ずつである。上述した色G
の正方格子状とは、画素の形状を示すものでなく、画素
の配置形状を示している。画素の形状は多角形で、たと
えば四角形、六角形、八角形等がある。
【００２５】撮像素子には、CCD や後段で示すMOS（Met
al Oxide Semiconductor: 金属酸化型半導体）タイプの
固体撮像デバイスが適用される。撮像部26では、供給さ
れる駆動信号22c に応じて光電変換によって得られた信
号電荷を所定のタイミングとして、たとえば、垂直ブラ
ンキング期間にフィールドシフトにより垂直転送路に読
み出され、この垂直転送路をラインシフトした信号電荷
が水平転送路に供給される。この水平転送路を経た信号
電荷は図示しない出力回路による電荷／電圧変換によっ
てアナログ電圧信号27にされて前処理部28に出力され
る。固体撮像素子26c は、CCD タイプでは信号電荷の読
出しモードに応じて間引き読出しや全画素読出しを用い
る。
al Oxide Semiconductor: 金属酸化型半導体）タイプの
固体撮像デバイスが適用される。撮像部26では、供給さ
れる駆動信号22c に応じて光電変換によって得られた信
号電荷を所定のタイミングとして、たとえば、垂直ブラ
ンキング期間にフィールドシフトにより垂直転送路に読
み出され、この垂直転送路をラインシフトした信号電荷
が水平転送路に供給される。この水平転送路を経た信号
電荷は図示しない出力回路による電荷／電圧変換によっ
てアナログ電圧信号27にされて前処理部28に出力され
る。固体撮像素子26c は、CCD タイプでは信号電荷の読
出しモードに応じて間引き読出しや全画素読出しを用い
る。
【００２６】前処理部28は、図示しないが相関二重サン
プリング部（Correlated Double Sampling :以下、CDS
という）およびA/D 変換部を有している。CDS 部は、ア
ナログ電圧信号に含まれる1/f 雑音やリセット雑音の低
減に寄与して、ノイズ除去を行う。また、前処理部28は
ここでガンマ補正を行うようにしてもよい。ノイズ成分
が除去された出力信号がA/D 変換部に送られる。A/D 変
換部は、供給されるアナログ信号の信号レベルを所定の
量子化レベルにより量子化してディジタル信号29に変換
するA/D 変換器を有する。A/D 変換部は、タイミング信
号発生部20から供給される変換クロック等のタイミング
信号20b により変換したディジタル信号29を信号処理部
30に出力する。
プリング部（Correlated Double Sampling :以下、CDS
という）およびA/D 変換部を有している。CDS 部は、ア
ナログ電圧信号に含まれる1/f 雑音やリセット雑音の低
減に寄与して、ノイズ除去を行う。また、前処理部28は
ここでガンマ補正を行うようにしてもよい。ノイズ成分
が除去された出力信号がA/D 変換部に送られる。A/D 変
換部は、供給されるアナログ信号の信号レベルを所定の
量子化レベルにより量子化してディジタル信号29に変換
するA/D 変換器を有する。A/D 変換部は、タイミング信
号発生部20から供給される変換クロック等のタイミング
信号20b により変換したディジタル信号29を信号処理部
30に出力する。
【００２７】信号処理部30には、フレームメモリ機能を
有するデータ補正部30a 、補間処理部30b 、および広帯
域化処理部30c が含まれる。さらに、データ補正部30a
には、図示しないがバッファ機能としてフレームメモリ
および補正処理部が含まれている。補間処理部30b は、
あらわに示していないがガンマ補正やホワイトバランス
等の調整を行う機能を有する。ここでのガンマ補正は、
消費電力や回路規模を小さくして信号処理のビット数を
低減すること等も可能にしている。このガンマ補正処理
をたとえば、前処理部28ですでに行っている場合、省略
する。A/D 変換によりディジタル化された画像データ29
がデータ補正部30a のフレームメモリに供給され、そこ
に記憶される。フレームメモリは、読み出す領域をずら
しながら繰り返して画素データを読み出すことから、非
破壊型のメモリを用いると有利である。また、フレーム
メモリには、システム制御部18からの制御信号18b に含
まれる書込み／読出しイネーブル信号、クロック信号等
の制御に関わる信号をシステムバス16を介した制御信号
18d として供給されている。データ補正部30a は、処理
として、たとえば、各色フィルタに対応した画像データ
のレベルを後段の信号処理に適したレベルに合わせるた
め各色フィルタごとにゲイン調整も行っている。また、
データ補正部30a は、記憶した画像データを所定の順序
で画像データ38を補間処理部30b に出力する。
有するデータ補正部30a 、補間処理部30b 、および広帯
域化処理部30c が含まれる。さらに、データ補正部30a
には、図示しないがバッファ機能としてフレームメモリ
および補正処理部が含まれている。補間処理部30b は、
あらわに示していないがガンマ補正やホワイトバランス
等の調整を行う機能を有する。ここでのガンマ補正は、
消費電力や回路規模を小さくして信号処理のビット数を
低減すること等も可能にしている。このガンマ補正処理
をたとえば、前処理部28ですでに行っている場合、省略
する。A/D 変換によりディジタル化された画像データ29
がデータ補正部30a のフレームメモリに供給され、そこ
に記憶される。フレームメモリは、読み出す領域をずら
しながら繰り返して画素データを読み出すことから、非
破壊型のメモリを用いると有利である。また、フレーム
メモリには、システム制御部18からの制御信号18b に含
まれる書込み／読出しイネーブル信号、クロック信号等
の制御に関わる信号をシステムバス16を介した制御信号
18d として供給されている。データ補正部30a は、処理
として、たとえば、各色フィルタに対応した画像データ
のレベルを後段の信号処理に適したレベルに合わせるた
め各色フィルタごとにゲイン調整も行っている。また、
データ補正部30a は、記憶した画像データを所定の順序
で画像データ38を補間処理部30b に出力する。
【００２８】補間処理部30b は、本実施例では静止画補
間および動画補間を行う機能を有し、供給される画像デ
ータ38の供給先をユーザの要望に応じて切り換えて各部
に供給している。このうち、静止画補間を行う構成につ
いて説明する。補間処理部30b は、図３に示すように、
輝度補間展開部40および色補間展開部42を備えている。
補間処理部30b は、実在画素および実在画素の中間に位
置する仮想画素において高域成分を含む高周波輝度デー
タYHおよび三原色データを補間生成する機能を有する。
輝度補間展開部40および色補間展開部42には、データ補
正部30a から画像データ38がそれぞれ供給されている。
画像データ38は、撮像素子の実在する実在画素からの画
素データである。
間および動画補間を行う機能を有し、供給される画像デ
ータ38の供給先をユーザの要望に応じて切り換えて各部
に供給している。このうち、静止画補間を行う構成につ
いて説明する。補間処理部30b は、図３に示すように、
輝度補間展開部40および色補間展開部42を備えている。
補間処理部30b は、実在画素および実在画素の中間に位
置する仮想画素において高域成分を含む高周波輝度デー
タYHおよび三原色データを補間生成する機能を有する。
輝度補間展開部40および色補間展開部42には、データ補
正部30a から画像データ38がそれぞれ供給されている。
画像データ38は、撮像素子の実在する実在画素からの画
素データである。
【００２９】輝度補間展開部40には、高周波輝度データ
作成部400 および輝度データ補間処理部402 が含まれ
る。高周波輝度データ作成部400 は、供給される画素デ
ータを用いて実在画素または仮想画素の位置における高
域成分を含む高周波輝度データYH（404)を生成する。本
実施例の高周波輝度データ作成部400 は、実在画素の位
置での高周波輝度データYHの算出を行う。この算出は、
供給される画素データ38を用いてたとえば、供給される
色に対する相関関係がどの方向にあるか検出し、検出結
果に応じた高周波輝度データYH（404)を生成している。
より詳細な算出については後段で説明する。輝度データ
補間展開部402 は、供給される高周波輝度データYH（40
4)を用いて仮想画素の位置における高周波輝度データYH
を生成する。輝度補間展開部40は、このように高周波輝
度データYHの生成および補間により実在画素および仮想
画素すべての位置での高周波輝度データYH (44) を広帯
域化処理部30c に出力する。
作成部400 および輝度データ補間処理部402 が含まれ
る。高周波輝度データ作成部400 は、供給される画素デ
ータを用いて実在画素または仮想画素の位置における高
域成分を含む高周波輝度データYH（404)を生成する。本
実施例の高周波輝度データ作成部400 は、実在画素の位
置での高周波輝度データYHの算出を行う。この算出は、
供給される画素データ38を用いてたとえば、供給される
色に対する相関関係がどの方向にあるか検出し、検出結
果に応じた高周波輝度データYH（404)を生成している。
より詳細な算出については後段で説明する。輝度データ
補間展開部402 は、供給される高周波輝度データYH（40
4)を用いて仮想画素の位置における高周波輝度データYH
を生成する。輝度補間展開部40は、このように高周波輝
度データYHの生成および補間により実在画素および仮想
画素すべての位置での高周波輝度データYH (44) を広帯
域化処理部30c に出力する。
【００３０】なお、輝度補間展開部40は、仮想画素の位
置に対応する高周波輝度データYHを作成し、この仮想画
素の高周波輝度データYHを用いて実在画素の位置に対応
する高周波輝度データYHを作成するようにしてもよい。
置に対応する高周波輝度データYHを作成し、この仮想画
素の高周波輝度データYHを用いて実在画素の位置に対応
する高周波輝度データYHを作成するようにしてもよい。
【００３１】色補間展開部42は、仮想画素および実在画
素の対応していない色に対して実在画素の色配置を考慮
して補間処理を行い、画面全体の三原色データを生成す
る機能を有する。このため、色補間展開部42には、各色
ごとの補間展開部がある。これがR 補間展開部420 、G
補間展開部422 、およびB 補間展開部424 である。各補
間展開部420, 422, 424 は供給される画像データ38のう
ち、色ごとにそれぞれ色データ38a, 38b, 38c を入力
し、入力したそれぞれの色データで補間展開処理を行う
ことにより実在画素および仮想画素すべての位置で色デ
ータを生成する。これにより三原色RGB をすべてそろえ
る、RGB 同時化処理を行って三原色データ46, 48, 50を
広帯域化処理部30c に出力する。これらの三原色データ
RGB の補間処理についても後段で詳述する。
素の対応していない色に対して実在画素の色配置を考慮
して補間処理を行い、画面全体の三原色データを生成す
る機能を有する。このため、色補間展開部42には、各色
ごとの補間展開部がある。これがR 補間展開部420 、G
補間展開部422 、およびB 補間展開部424 である。各補
間展開部420, 422, 424 は供給される画像データ38のう
ち、色ごとにそれぞれ色データ38a, 38b, 38c を入力
し、入力したそれぞれの色データで補間展開処理を行う
ことにより実在画素および仮想画素すべての位置で色デ
ータを生成する。これにより三原色RGB をすべてそろえ
る、RGB 同時化処理を行って三原色データ46, 48, 50を
広帯域化処理部30c に出力する。これらの三原色データ
RGB の補間処理についても後段で詳述する。
【００３２】広帯域化処理部30c には、ハイパスフィル
タ回路52、加算部54、色差マトリクス部56、歪み防止処
理部58、アパーチャ調整部60および色差ゲイン調整部6
2, 64が備えられている（図４を参照）。ハイパスフィ
ルタ回路（以下、HPF という）52は、供給される高周波
輝度データ44から高周波成分を抽出するフィルタであ
る。HPF 52は、抽出した高周波成分Yhの信号52a を加算
部54に出力する。また、色G に関してHPF 52と加算器54
0 の間に新たな切換スイッチ（図示せず）を配設して、
色G には直接的に高周波成分が供給されないようにして
もよい。この場合、切換スイッチには、システム制御部
18から切換制御信号が供給される。
タ回路52、加算部54、色差マトリクス部56、歪み防止処
理部58、アパーチャ調整部60および色差ゲイン調整部6
2, 64が備えられている（図４を参照）。ハイパスフィ
ルタ回路（以下、HPF という）52は、供給される高周波
輝度データ44から高周波成分を抽出するフィルタであ
る。HPF 52は、抽出した高周波成分Yhの信号52a を加算
部54に出力する。また、色G に関してHPF 52と加算器54
0 の間に新たな切換スイッチ（図示せず）を配設して、
色G には直接的に高周波成分が供給されないようにして
もよい。この場合、切換スイッチには、システム制御部
18から切換制御信号が供給される。
【００３３】加算部54には、三原色に対応して３つの加
算器540, 542, 544 がある。加算器540, 542, 544 の一
端540a, 542a, 544aにはそれぞれ、三原色データRGB が
供給されている。また、加算器540, 542, 544 の他端54
0b, 542b, 544bには高周波成分が供給されている。加算
部54は、三原色RGB のそれぞれにHPF 52からの高周波成
分Yhを加算することにより三原色データの周波数帯域を
広帯域化する。ところで色G の画素データ自体には高周
波成分が含まれているので広帯域化されているとみなす
こともできる。
算器540, 542, 544 がある。加算器540, 542, 544 の一
端540a, 542a, 544aにはそれぞれ、三原色データRGB が
供給されている。また、加算器540, 542, 544 の他端54
0b, 542b, 544bには高周波成分が供給されている。加算
部54は、三原色RGB のそれぞれにHPF 52からの高周波成
分Yhを加算することにより三原色データの周波数帯域を
広帯域化する。ところで色G の画素データ自体には高周
波成分が含まれているので広帯域化されているとみなす
こともできる。
【００３４】色差マトリクス部56は、広帯域化した三原
色データ54a, 54b, 54c を用いて輝度データY 、色差デ
ータCr, Cbを生成している。色差マトリクス部56は、こ
こで行うマトリクス演算にはこれまで用いてきた従来の
算出式を用いている。色差マトリクス部56は、生成した
輝度データY (56a）および色差データCr(56b）, Cb(56
c）を歪み防止処理部58に供給する。
色データ54a, 54b, 54c を用いて輝度データY 、色差デ
ータCr, Cbを生成している。色差マトリクス部56は、こ
こで行うマトリクス演算にはこれまで用いてきた従来の
算出式を用いている。色差マトリクス部56は、生成した
輝度データY (56a）および色差データCr(56b）, Cb(56
c）を歪み防止処理部58に供給する。
【００３５】歪み防止処理部58には、供給される３つの
信号の帯域を損なうことなく、折返し歪みを発生させな
いように高域にまで帯域のあるローパスフィルタ（以
下、LPF という）580, 582, 584 がある。その中でもLP
F 580 は輝度データY に応じて最も高い周波数まで通す
特性を有している。また、歪み防止処理部58では、水平
および垂直方向の周波数帯域の重複している領域に対し
て一方の方向の重複する周波数帯域を制限している。こ
れにより、周波数の重複による画質劣化を回避してい
る。このように処理された輝度データY (58a）および色
差データCr(58b）,Cb(58c）がそれぞれ、アパーチャ調
整部60、色差ゲイン調整部62, 64に供給される。
信号の帯域を損なうことなく、折返し歪みを発生させな
いように高域にまで帯域のあるローパスフィルタ（以
下、LPF という）580, 582, 584 がある。その中でもLP
F 580 は輝度データY に応じて最も高い周波数まで通す
特性を有している。また、歪み防止処理部58では、水平
および垂直方向の周波数帯域の重複している領域に対し
て一方の方向の重複する周波数帯域を制限している。こ
れにより、周波数の重複による画質劣化を回避してい
る。このように処理された輝度データY (58a）および色
差データCr(58b）,Cb(58c）がそれぞれ、アパーチャ調
整部60、色差ゲイン調整部62, 64に供給される。
【００３６】アパーチャ調整部60は、たとえば、LPF 処
理によって高域成分の低下をなくすように処理して出力
する。この結果、画像には輪郭（エッジ）強調処理が施
されたと同様の効果がもたらされる。また、色差ゲイン
調整部62, 64は、供給される色差データCr(58b）, Cb(5
8c）に対してゲイン調整を行い、所定のレベルに揃えて
いる。このようにして信号処理部30は、生成した輝度デ
ータY (66a）、色差データCr(66b）, Cb(66c）を圧縮／
伸長処理部32に供給する。
理によって高域成分の低下をなくすように処理して出力
する。この結果、画像には輪郭（エッジ）強調処理が施
されたと同様の効果がもたらされる。また、色差ゲイン
調整部62, 64は、供給される色差データCr(58b）, Cb(5
8c）に対してゲイン調整を行い、所定のレベルに揃えて
いる。このようにして信号処理部30は、生成した輝度デ
ータY (66a）、色差データCr(66b）, Cb(66c）を圧縮／
伸長処理部32に供給する。
【００３７】図１に戻って圧縮／伸長処理部32は、信号
処理部30から供給された１フレーム分の輝度データY と
色差データCr, Cbを一時的に記憶するフレームメモリ
と、たとえば、直交変換を用いたJPEG（Joint Photogra
phic Experts Group）規格での圧縮を施す回路と、この
圧縮した画像を再び元のデータに伸長する回路とを有す
る。ここで、フレームメモリは、信号処理部30のフレー
ムメモリと兼用してもよい。ここで、複数のフレームメ
モリを所有すると、動画の記録、すなわち連写等の処理
において有利である。また、圧縮はJPEGに限定されるも
のでなく、MPEG（Moving Picture coding Experts Grou
p ）や動画像の１枚いちまいのフレームにJPEGを適用す
るモーションJPEG等の圧縮方法がある。
処理部30から供給された１フレーム分の輝度データY と
色差データCr, Cbを一時的に記憶するフレームメモリ
と、たとえば、直交変換を用いたJPEG（Joint Photogra
phic Experts Group）規格での圧縮を施す回路と、この
圧縮した画像を再び元のデータに伸長する回路とを有す
る。ここで、フレームメモリは、信号処理部30のフレー
ムメモリと兼用してもよい。ここで、複数のフレームメ
モリを所有すると、動画の記録、すなわち連写等の処理
において有利である。また、圧縮はJPEGに限定されるも
のでなく、MPEG（Moving Picture coding Experts Grou
p ）や動画像の１枚いちまいのフレームにJPEGを適用す
るモーションJPEG等の圧縮方法がある。
【００３８】圧縮／伸長処理部32は、システム制御部18
の制御により記録時には圧縮したデータをシステムバス
16を介してストレージ部34に供給する。圧縮／伸長処理
部32は、供給される輝度データY (66a）、色差データCr
(66b）, Cb (66c）をシステム制御部18の制御によりス
ルーさせてシステムバス16に供給したり、または信号処
理部30からの信号をシステムバス16を介してモニタ36に
供給することもできる。圧縮／伸長処理部32が伸長処理
を行う場合、逆にストレージ部34から読み出したデータ
をシステムバス16を介して圧縮／伸長処理部32に取り込
んで処理する。ここで処理されたデータはフレームメモ
リに記憶された後、システム制御部18の制御により圧縮
／伸長処理部32は、所要の順序でフレームメモリのデー
タを読み出し、モニタ36に供給して表示させる。
の制御により記録時には圧縮したデータをシステムバス
16を介してストレージ部34に供給する。圧縮／伸長処理
部32は、供給される輝度データY (66a）、色差データCr
(66b）, Cb (66c）をシステム制御部18の制御によりス
ルーさせてシステムバス16に供給したり、または信号処
理部30からの信号をシステムバス16を介してモニタ36に
供給することもできる。圧縮／伸長処理部32が伸長処理
を行う場合、逆にストレージ部34から読み出したデータ
をシステムバス16を介して圧縮／伸長処理部32に取り込
んで処理する。ここで処理されたデータはフレームメモ
リに記憶された後、システム制御部18の制御により圧縮
／伸長処理部32は、所要の順序でフレームメモリのデー
タを読み出し、モニタ36に供給して表示させる。
【００３９】ストレージ部34は、記録媒体に記録する記
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディア（登録商
標）のような半導体メモリや磁気ディスク、光ディスク
等がある。磁気ディスク、光ディスクを用いる場合、画
像データを変調する変調部とともに、この画像データを
書き込むヘッドがある。
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディア（登録商
標）のような半導体メモリや磁気ディスク、光ディスク
等がある。磁気ディスク、光ディスクを用いる場合、画
像データを変調する変調部とともに、この画像データを
書き込むヘッドがある。
【００４０】モニタ36は、システム制御部18の制御に応
じてシステムバス16を介して供給される輝度データY お
よび色差データCr, Cbまたは三原色RGB のデータを画面
の大きさを考慮するとともに、タイミング調整して表示
する機能を有する。
じてシステムバス16を介して供給される輝度データY お
よび色差データCr, Cbまたは三原色RGB のデータを画面
の大きさを考慮するとともに、タイミング調整して表示
する機能を有する。
【００４１】このようにディジタルカメラ10は構成して
撮像した画像に対して信号処理を施し、記録している。
また、記録した画像データを再生してモニタ36に表示さ
せることも行っている。
撮像した画像に対して信号処理を施し、記録している。
また、記録した画像データを再生してモニタ36に表示さ
せることも行っている。
【００４２】次に、ディジタルカメラ10の動作について
説明する。必要に応じて前述の構成で用いた図面も参照
する。ディジタルカメラ10は、たとえば、図５に示す撮
影におけるメインフローチャートに従って動作する。こ
の動作手順は前述したように静止画撮影に着目して説明
している。ディジタルカメラ10は図示していないが、電
源投入後、カメラ10が有する複数のモードのうち、どの
ようなモードで動作させるか選択する。撮影モードが選
択されている場合、光学レンズ系12を介して採り込む被
写界の像をディジタル処理して連続的にモニタ36に表示
する（ステップS10 ）。特に、操作部14のレリーズシャ
ッタボタン(図示せず）を１段階押すと、カメラ10は、
撮像した被写界の画像をモニタ36に表示させるだけでな
く、本撮像を前に露光条件の設定処理および露光対象と
の焦点距離の調節等をシステム制御部18で行い、本撮像
に備えている。露光条件の設定に関わるパラメータ設定
処理は、信号処理部30で行ってもよい。
説明する。必要に応じて前述の構成で用いた図面も参照
する。ディジタルカメラ10は、たとえば、図５に示す撮
影におけるメインフローチャートに従って動作する。こ
の動作手順は前述したように静止画撮影に着目して説明
している。ディジタルカメラ10は図示していないが、電
源投入後、カメラ10が有する複数のモードのうち、どの
ようなモードで動作させるか選択する。撮影モードが選
択されている場合、光学レンズ系12を介して採り込む被
写界の像をディジタル処理して連続的にモニタ36に表示
する（ステップS10 ）。特に、操作部14のレリーズシャ
ッタボタン(図示せず）を１段階押すと、カメラ10は、
撮像した被写界の画像をモニタ36に表示させるだけでな
く、本撮像を前に露光条件の設定処理および露光対象と
の焦点距離の調節等をシステム制御部18で行い、本撮像
に備えている。露光条件の設定に関わるパラメータ設定
処理は、信号処理部30で行ってもよい。
【００４３】ユーザが所望のタイミングでレリーズシャ
ッタボタンを２段階まで押し切って本撮像を行う（ステ
ップS12 ）。本撮像が行われると、システム制御部18に
は、操作信号14a から供給される。システム制御部18は
このタイミングであらかじめ設定した制御信号18b をシ
ステムバス16、信号線18c を介してタイミング信号発生
部20およびドライバ部22に送る。カメラ10は、タイミン
グ信号発生部20およびドライバ部22からのタイミング信
号および駆動信号に応じて動作する。図２に示すよう
に、固体撮像素子26c は、ハニカム型G 正方格子RB完全
市松パターンの色フィルタ26b を介して色フィルタセグ
メントRGB に対応した画素から読み出した信号電荷をア
ナログ信号27にしている。読み出したアナログ信号27が
前処理部28に供給される。
ッタボタンを２段階まで押し切って本撮像を行う（ステ
ップS12 ）。本撮像が行われると、システム制御部18に
は、操作信号14a から供給される。システム制御部18は
このタイミングであらかじめ設定した制御信号18b をシ
ステムバス16、信号線18c を介してタイミング信号発生
部20およびドライバ部22に送る。カメラ10は、タイミン
グ信号発生部20およびドライバ部22からのタイミング信
号および駆動信号に応じて動作する。図２に示すよう
に、固体撮像素子26c は、ハニカム型G 正方格子RB完全
市松パターンの色フィルタ26b を介して色フィルタセグ
メントRGB に対応した画素から読み出した信号電荷をア
ナログ信号27にしている。読み出したアナログ信号27が
前処理部28に供給される。
【００４４】前処理部28では、タイミング信号20b に応
じて供給されたアナログ信号27に含まれる雑音を除去
し、雑音除去された信号にA/D 変換処理を施してディジ
タル信号29に変換する（ステップS14 ）。ディジタル信
号29が撮像された画像データとして信号処理部30に供給
される。
じて供給されたアナログ信号27に含まれる雑音を除去
し、雑音除去された信号にA/D 変換処理を施してディジ
タル信号29に変換する（ステップS14 ）。ディジタル信
号29が撮像された画像データとして信号処理部30に供給
される。
【００４５】信号処理部30では供給される画像データに
対して静止画補間信号処理（サブルーチンSUB1）および
静止画用広帯域化処理（サブルーチンSUB2）を順に行
う。供給される画像データ29は、たとえば図６に示す画
素配置関係の画素データにあるとする。八角形の実線は
実在画素、八角形の破線は仮想画素を表す。また、八角
形の内部に記した記号R, G, B は各画素が生成する色を
示す。記号R, G, B に付される添字は画素の位置を行列
表示で示している。
対して静止画補間信号処理（サブルーチンSUB1）および
静止画用広帯域化処理（サブルーチンSUB2）を順に行
う。供給される画像データ29は、たとえば図６に示す画
素配置関係の画素データにあるとする。八角形の実線は
実在画素、八角形の破線は仮想画素を表す。また、八角
形の内部に記した記号R, G, B は各画素が生成する色を
示す。記号R, G, B に付される添字は画素の位置を行列
表示で示している。
【００４６】画像データ29には静止画補間信号処理を行
う前にデータ補正部30a で各画素に対応する画素データ
にガンマ補正、ホワイトバランス補正等の各種補正が施
される。データ補正部30a にはフレームメモリ（図示せ
ず）を備えてもよい。この場合画像データは供給された
際に一時的に記憶し、その後各画素ごとに読み出して上
述した補正が施される。この補正された画像データ38
は、フレームメモリにふたたび格納してもよいし、補間
処理部30b に供給してもよい。
う前にデータ補正部30a で各画素に対応する画素データ
にガンマ補正、ホワイトバランス補正等の各種補正が施
される。データ補正部30a にはフレームメモリ（図示せ
ず）を備えてもよい。この場合画像データは供給された
際に一時的に記憶し、その後各画素ごとに読み出して上
述した補正が施される。この補正された画像データ38
は、フレームメモリにふたたび格納してもよいし、補間
処理部30b に供給してもよい。
【００４７】補間処理部30b では供給される画像データ
38に基づいて静止画用の補間信号処理が施される。後段
で詳述するが、この補間信号処理で、ハニカム型G 正方
格子RB完全市松パターンにおいて効果的な解像度を高め
る処理が施される。生成した高周波輝度データYH (44)
およびプレーンな色データ46, 48, 50がそれぞれ広帯域
化処理部30c に出力される。
38に基づいて静止画用の補間信号処理が施される。後段
で詳述するが、この補間信号処理で、ハニカム型G 正方
格子RB完全市松パターンにおいて効果的な解像度を高め
る処理が施される。生成した高周波輝度データYH (44)
およびプレーンな色データ46, 48, 50がそれぞれ広帯域
化処理部30c に出力される。
【００４８】広帯域化処理部30c では、それぞれ供給さ
れた高周波輝度データYH (44) およびプレーンな色デー
タ46, 48, 50に対して広帯域化処理を施して広帯域な輝
度データY (66a) 、および色差データ（B-Y) (66b), (R
-Y）(66c) を生成する。
れた高周波輝度データYH (44) およびプレーンな色デー
タ46, 48, 50に対して広帯域化処理を施して広帯域な輝
度データY (66a) 、および色差データ（B-Y) (66b), (R
-Y）(66c) を生成する。
【００４９】次に信号処理により得られた画像データ66
a, 66b, 66c に対して圧縮処理を施す（ステップS16
）。圧縮処理もあらわに図示していないが、動画モー
ドでは、１フレームごとに圧縮処理を施すモーションJP
EG（Joint Photographic codingExperts Group ）ある
いはMPEG（Moving Picture coding Experts Group ）な
どで処理される。また、静止画モードではJPEG等が圧縮
信号処理として適用される。そして、この圧縮処理が施
された画像データは、ストレージ部34の記録再生装置に
装着された記録媒体に記録保存される（ステップS18
）。
a, 66b, 66c に対して圧縮処理を施す（ステップS16
）。圧縮処理もあらわに図示していないが、動画モー
ドでは、１フレームごとに圧縮処理を施すモーションJP
EG（Joint Photographic codingExperts Group ）ある
いはMPEG（Moving Picture coding Experts Group ）な
どで処理される。また、静止画モードではJPEG等が圧縮
信号処理として適用される。そして、この圧縮処理が施
された画像データは、ストレージ部34の記録再生装置に
装着された記録媒体に記録保存される（ステップS18
）。
【００５０】最後に、ディジタルカメラ10の動作を終了
させるかどうかを判定する（ステップS20 ）。まだ動作
を継続するとき（NO）、ステップS10 に戻って一連の処
理を継続する。また、動作を終了するとき（YES ）、デ
ィジタルカメラ10の電源をオフにする。このように動作
させている。
させるかどうかを判定する（ステップS20 ）。まだ動作
を継続するとき（NO）、ステップS10 に戻って一連の処
理を継続する。また、動作を終了するとき（YES ）、デ
ィジタルカメラ10の電源をオフにする。このように動作
させている。
【００５１】次に補間処理について概略的に説明する
（サブルーチンSUB1：図７を参照）。補間処理はサブル
ーチンSUB3, SUB4, SUB5が含まれ、図３の高周波輝度デ
ータ作成部400 、輝度データ補間処理部402 、および色
補間展開部42での処理にそれぞれ対応している。本実施
例で高周波輝度データ作成処理は高周波輝度データ作成
部400 で市松状に実在画素の位置に対して高周波輝度デ
ータYHを作成する。この処理後、作成した高周波輝度デ
ータYHを用いて輝度データの補間処理を行う。ここでの
補間は、仮想画素に対して行う処理である。また、高周
波輝度データ作成処理が仮想画素に対して行われた場
合、輝度の補間処理は実在画素に対して行うことにな
る。
（サブルーチンSUB1：図７を参照）。補間処理はサブル
ーチンSUB3, SUB4, SUB5が含まれ、図３の高周波輝度デ
ータ作成部400 、輝度データ補間処理部402 、および色
補間展開部42での処理にそれぞれ対応している。本実施
例で高周波輝度データ作成処理は高周波輝度データ作成
部400 で市松状に実在画素の位置に対して高周波輝度デ
ータYHを作成する。この処理後、作成した高周波輝度デ
ータYHを用いて輝度データの補間処理を行う。ここでの
補間は、仮想画素に対して行う処理である。また、高周
波輝度データ作成処理が仮想画素に対して行われた場
合、輝度の補間処理は実在画素に対して行うことにな
る。
【００５２】この高周波輝度データYH (44) の作成を行
うとともに、色補間処理が行われる（サブルーチンSUB
5: RGB 同時化処理）。この処理により、実在画素だけ
でなく、仮想画素も含めた画素全面において原色R, G,
B の画素データ46, 48, 50を生成している。
うとともに、色補間処理が行われる（サブルーチンSUB
5: RGB 同時化処理）。この処理により、実在画素だけ
でなく、仮想画素も含めた画素全面において原色R, G,
B の画素データ46, 48, 50を生成している。
【００５３】さらに高周波輝度データ作成処理（サブル
ーチンSUB3）の手順について説明する（図８〜図11を参
照）。まず、本実施例において、図８に示すように各画
素から得られた画素データを用いて画素データ間の相関
性の有無を考慮しながら、高周波輝度データYHを生成す
る、適応型処理を行うかどうか判断する（サブステップ
SS30）。適応型処理の実行の可否はあらかじめ操作部14
で設定しておくとよい。たとえば、この設定のデフォル
トは適応型処理を行うように設定されている。適応型処
理を行う場合（YES ）、サブルーチンSUB6に進む。適応
型処理については後段でさらに詳述する。適応型処理を
行わない場合（NO）、正方格子状に配されている周囲４
画素の画素データを平均して高周波輝度データYHを生成
する（サブステップSS32）。算出式は後段で示す。
ーチンSUB3）の手順について説明する（図８〜図11を参
照）。まず、本実施例において、図８に示すように各画
素から得られた画素データを用いて画素データ間の相関
性の有無を考慮しながら、高周波輝度データYHを生成す
る、適応型処理を行うかどうか判断する（サブステップ
SS30）。適応型処理の実行の可否はあらかじめ操作部14
で設定しておくとよい。たとえば、この設定のデフォル
トは適応型処理を行うように設定されている。適応型処
理を行う場合（YES ）、サブルーチンSUB6に進む。適応
型処理については後段でさらに詳述する。適応型処理を
行わない場合（NO）、正方格子状に配されている周囲４
画素の画素データを平均して高周波輝度データYHを生成
する（サブステップSS32）。算出式は後段で示す。
【００５４】たとえば、ある画素における高周波輝度デ
ータYHの生成が終了したとき、この時点で１フレーム分
の実在画素に対する補間処理が終了したかどうかの判断
を行う（サブステップSS34）。１フレーム分の補間処理
がまだ完了していない場合（NO）、サブルーチンSUB3の
先頭に戻る。また、この補間処理が完了した場合（YES
）、得られた１フレームの画像データ内の各画素デー
タに対する比較補正を行う（サブステップSS36）。比較
補正後、リターンに移行してサブルーチンSUB3を終了す
る。この比較補正については後段でふたたび説明する。
ータYHの生成が終了したとき、この時点で１フレーム分
の実在画素に対する補間処理が終了したかどうかの判断
を行う（サブステップSS34）。１フレーム分の補間処理
がまだ完了していない場合（NO）、サブルーチンSUB3の
先頭に戻る。また、この補間処理が完了した場合（YES
）、得られた１フレームの画像データ内の各画素デー
タに対する比較補正を行う（サブステップSS36）。比較
補正後、リターンに移行してサブルーチンSUB3を終了す
る。この比較補正については後段でふたたび説明する。
【００５５】次に適応型処理につい説明する。適応型処
理はユーザの設定に応じて斜め方向、水平方向、および
／または垂直方向の相関判定処理に基づいて高周波輝度
データYHを算出する。まず、図９に示すように、斜め相
関判定処理を行うかどうかの判断を行う（サブステップ
SS60）この場合も処理の可否をカメラ10に設定されてい
るフラグのオン／オフを用いて判断するとよい。斜め相
関処理を行う場合（YES ）、実際に相関判定処理に応じ
た高周波輝度データYHの算出を行う（サブルーチンSUB
7）。斜め相関判定処理を行わない場合（NO）、垂直／
水平相関に基づく高周波輝度データYHの算出処理に進む
（サブルーチンSUB8）。
理はユーザの設定に応じて斜め方向、水平方向、および
／または垂直方向の相関判定処理に基づいて高周波輝度
データYHを算出する。まず、図９に示すように、斜め相
関判定処理を行うかどうかの判断を行う（サブステップ
SS60）この場合も処理の可否をカメラ10に設定されてい
るフラグのオン／オフを用いて判断するとよい。斜め相
関処理を行う場合（YES ）、実際に相関判定処理に応じ
た高周波輝度データYHの算出を行う（サブルーチンSUB
7）。斜め相関判定処理を行わない場合（NO）、垂直／
水平相関に基づく高周波輝度データYHの算出処理に進む
（サブルーチンSUB8）。
【００５６】斜め相関判定処理後、対象の画素から得ら
れた画素データに対して他の相関判定処理をしないかど
うかを判断する。他の相関判定処理を行う場合（NO）、
サブルーチンSUB8に進む。また、他の相関判定処理を行
わない場合（YES ）、リターンに移行してサブルーチン
SUB6を終了する。
れた画素データに対して他の相関判定処理をしないかど
うかを判断する。他の相関判定処理を行う場合（NO）、
サブルーチンSUB8に進む。また、他の相関判定処理を行
わない場合（YES ）、リターンに移行してサブルーチン
SUB6を終了する。
【００５７】次に斜め相関判定処理について説明する
（図10を参照）。斜め相関判定処理における比較データ
の算出を行う（サブステップSS70）。 比較データは、
たとえば適応処理を施す対象の画素データを中心にして
その周囲の画素データがどの方向に相関しているかの判
別に用いる。たとえば、その対象の画素データが図６に
示す色B46 の場合、比較データAGは、周囲の画素データ
G35, G55, G37, G57を用いて、
（図10を参照）。斜め相関判定処理における比較データ
の算出を行う（サブステップSS70）。 比較データは、
たとえば適応処理を施す対象の画素データを中心にして
その周囲の画素データがどの方向に相関しているかの判
別に用いる。たとえば、その対象の画素データが図６に
示す色B46 の場合、比較データAGは、周囲の画素データ
G35, G55, G37, G57を用いて、
【００５８】
【数１】 AG＝｜G35 ＋G57 −(G37 ＋G55) ｜ ・・・(1) から得られる。画素データが色R の場合も周囲の画素デ
ータG から算出する。この算出により、左右のいずれか
一方に傾きを有する大きい方の値が比較データAGとして
得られることになる。
ータG から算出する。この算出により、左右のいずれか
一方に傾きを有する大きい方の値が比較データAGとして
得られることになる。
【００５９】この演算の後、対象の画素データを挟んで
斜めに位置する画素データに相関（すなわち、斜め相
関）があるかどうか判定を行う（サブステップSS70）。
この判定には、判定基準値としてJ1が設定されている。
比較データAGが判定基準値J1以上に大きいとき（YES
）、斜め相関があると判定して高周波輝度データYHの
生成を行う（サブステップSS74）。高周波輝度データYH
の生成は、比較データAGの算出に用いた４つの画素デー
タG を平均して行う。 また、比較データAGが判定基準
値J1よりも小さいとき（NO）、他の相関判定処理用フラ
グをオンにする（サブステップSS76）。
斜めに位置する画素データに相関（すなわち、斜め相
関）があるかどうか判定を行う（サブステップSS70）。
この判定には、判定基準値としてJ1が設定されている。
比較データAGが判定基準値J1以上に大きいとき（YES
）、斜め相関があると判定して高周波輝度データYHの
生成を行う（サブステップSS74）。高周波輝度データYH
の生成は、比較データAGの算出に用いた４つの画素デー
タG を平均して行う。 また、比較データAGが判定基準
値J1よりも小さいとき（NO）、他の相関判定処理用フラ
グをオンにする（サブステップSS76）。
【００６０】ところで、この場合でも、偽色を発生させ
てしまうおそれがある。そこで、このおそれのある画素
の境界近傍に位置する画素データR における画質は高周
波輝度データYHを上述した演算により算出すると、画像
全体として見た際に色境界での偽色の発生を良好に抑圧
することができる。具体的な説明を省略するが画素デー
タB ＝B24 に対しても同様に比較データを算出し斜め相
関の有無に基づいた適応的な高周波輝度データYHを作成
することができる。この処理の後、リターンに移行して
サブルーチンSUB7を終了する。
てしまうおそれがある。そこで、このおそれのある画素
の境界近傍に位置する画素データR における画質は高周
波輝度データYHを上述した演算により算出すると、画像
全体として見た際に色境界での偽色の発生を良好に抑圧
することができる。具体的な説明を省略するが画素デー
タB ＝B24 に対しても同様に比較データを算出し斜め相
関の有無に基づいた適応的な高周波輝度データYHを作成
することができる。この処理の後、リターンに移行して
サブルーチンSUB7を終了する。
【００６１】次に垂直／水平相関判定処理について説明
する（図11を参照）。垂直／水平相関判定処理も図６に
示した配置パターンを利用するとともに、処理の対象画
素を色B46 にして説明する。垂直／水平相関判定には対
象画素B46 を中心としこの周辺に位置する８つの実在画
素（R26, G35, G37, R44, R48, G55, G57, R66）を含む
領域68が用いられている。
する（図11を参照）。垂直／水平相関判定処理も図６に
示した配置パターンを利用するとともに、処理の対象画
素を色B46 にして説明する。垂直／水平相関判定には対
象画素B46 を中心としこの周辺に位置する８つの実在画
素（R26, G35, G37, R44, R48, G55, G57, R66）を含む
領域68が用いられている。
【００６２】本実施例では、垂直／水平相関判定の精度
をさらに向上させるため領域68を囲む領域70も考慮す
る。実際に相関判定に用いる画素は領域70のうち、対象
画素B4 6 と同色、かつ領域70の四隅に位置する４つの実
在画素（B06, B42, B410, B86）である。すなわち、対
象画素B46 に対して水平・垂直な十字方向に位置する同
色画素のデータを用いる。
をさらに向上させるため領域68を囲む領域70も考慮す
る。実際に相関判定に用いる画素は領域70のうち、対象
画素B4 6 と同色、かつ領域70の四隅に位置する４つの実
在画素（B06, B42, B410, B86）である。すなわち、対
象画素B46 に対して水平・垂直な十字方向に位置する同
色画素のデータを用いる。
【００６３】本実施例において比較データは、領域68、
領域70に対して算出する（サブステップSS800 ）。領域
68における比較データがARBH, ARBV, ACBH, ACBV, AGBH
および／またはAGBVで、領域70における比較データがAC
BBH, ACBBVである。比較データを表す第１の文字“A ”
は算術演算、第２の文字“R ”や“G ”は算術演算に用
いる画素の色、または“C ”は対象画素との比較演算、
第３の文字“B ”は算術演算に用いる画素の色、または
対象画素の色、第４の文字は対象画素の色、そして第３
または第４の文字に対する添字H, Vは、それぞれ水平、
垂直を表している。
領域70に対して算出する（サブステップSS800 ）。領域
68における比較データがARBH, ARBV, ACBH, ACBV, AGBH
および／またはAGBVで、領域70における比較データがAC
BBH, ACBBVである。比較データを表す第１の文字“A ”
は算術演算、第２の文字“R ”や“G ”は算術演算に用
いる画素の色、または“C ”は対象画素との比較演算、
第３の文字“B ”は算術演算に用いる画素の色、または
対象画素の色、第４の文字は対象画素の色、そして第３
または第４の文字に対する添字H, Vは、それぞれ水平、
垂直を表している。
【００６４】たとえば、対象画素B46 に対する比較デー
タはつぎのような演算
タはつぎのような演算
【００６５】
【数２】 ARBH＝｜R44 −R48 ｜ ・・・(2a) ARBV＝｜R26 −R66 ｜ ・・・(2b) ACBH＝｜R44 −B46 ｜＋｜R48 −B46 ｜ ・・・(2c) ACBV＝｜R26 −B46 ｜＋｜R66 −B46 ｜ ・・・(2d) AGBH＝｜G35 −G37 ｜＋｜G55 −G57 ｜ ・・・(2e) AGBV＝｜G35 −G55 ｜＋｜G37 −G57 ｜ ・・・(2f) ACBBH ＝｜B42 −B46 ｜＋｜B410−B46 ｜ ・・・(2g) ACBBV ＝｜B06 −B46 ｜＋｜B86 −B46 ｜ ・・・(2h) を行って得られる。また、比較データは各垂直／水平方
向の相関判定前にそれぞれ行うようにしてもよい。垂直
／水平方向の相関判定には、あらかじめ垂直・水平の一
組に一つずつ判定基準値J2, J3, J4が設定されている。
これらの値J2, J3, J4は、経験的に設定される。
向の相関判定前にそれぞれ行うようにしてもよい。垂直
／水平方向の相関判定には、あらかじめ垂直・水平の一
組に一つずつ判定基準値J2, J3, J4が設定されている。
これらの値J2, J3, J4は、経験的に設定される。
【００６６】次に対象の画素データB ＝B46 を挟んで垂
直に位置する画素データに相関（すなわち、垂直相関）
があるかどうか判定を行う（サブステップSS802 ）。こ
の判定は、垂直方向の比較データARBVと水平方向の比較
データARBHの値を用いてさらに相関値（ARBH−ARBV）が
算出された際に、新たに設けられた所定の判定基準値J2
よりも小さいとき（NO）、垂直相関がないものとみなし
水平相関判定に進む。また、相関値（ARBH−ARBV）が判
定基準値J2以上のとき（YES ）、垂直相関があるとみな
して高周波輝度データYHの生成に進む。相関のあるとは
画素データ同士の値が近いことを意味するからである。
直に位置する画素データに相関（すなわち、垂直相関）
があるかどうか判定を行う（サブステップSS802 ）。こ
の判定は、垂直方向の比較データARBVと水平方向の比較
データARBHの値を用いてさらに相関値（ARBH−ARBV）が
算出された際に、新たに設けられた所定の判定基準値J2
よりも小さいとき（NO）、垂直相関がないものとみなし
水平相関判定に進む。また、相関値（ARBH−ARBV）が判
定基準値J2以上のとき（YES ）、垂直相関があるとみな
して高周波輝度データYHの生成に進む。相関のあるとは
画素データ同士の値が近いことを意味するからである。
【００６７】垂直相関があると判定された際に、対象の
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS804 ）。高周波輝度デー
タYHは、基本的に画素データG と色G の補色、すなわち
マゼンタMgのいずれか一方で表すことができる。マゼン
タMgは、画素データR と画素データB の加算平均（0.5*
R ＋0.5*B ）で算出できることが知られている。この場
合、高周波輝度データYH46は、
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS804 ）。高周波輝度デー
タYHは、基本的に画素データG と色G の補色、すなわち
マゼンタMgのいずれか一方で表すことができる。マゼン
タMgは、画素データR と画素データB の加算平均（0.5*
R ＋0.5*B ）で算出できることが知られている。この場
合、高周波輝度データYH46は、
【００６８】
【数３】 YH46＝B46/2 ＋(R26 ＋R66)/4 ・・・(3) により得られる。高周波輝度データYHには垂直相関を示
すフラグv が付されている。この後、この画素B46 にお
ける高周波輝度データYHの算出を終了したものとみなし
てリターンに進む。
すフラグv が付されている。この後、この画素B46 にお
ける高周波輝度データYHの算出を終了したものとみなし
てリターンに進む。
【００６９】次に対象の画素データB ＝B46 を挟んで水
平に位置する画素データに相関（すなわち、水平相関）
があるかどうか判定を行う（サブステップSS806 ）。相
関値（ARBV−ARBH）が算出された際に、判定基準値J2よ
りも小さいとき（NO）、水平相関がないものとみなし次
の垂直相関判定に進む。また、相関値（ARBV−ARBH）が
判定基準値J2以上のとき（YES ）、水平相関があるとみ
なして高周波輝度データYHの生成に進む。
平に位置する画素データに相関（すなわち、水平相関）
があるかどうか判定を行う（サブステップSS806 ）。相
関値（ARBV−ARBH）が算出された際に、判定基準値J2よ
りも小さいとき（NO）、水平相関がないものとみなし次
の垂直相関判定に進む。また、相関値（ARBV−ARBH）が
判定基準値J2以上のとき（YES ）、水平相関があるとみ
なして高周波輝度データYHの生成に進む。
【００７０】水平相関があると判定された際に、対象の
画素B46 および画素R44, R48を用いて高周波輝度データ
YHを算出する（サブステップSS808 ）。この場合、高周
波輝度データYH46は、
画素B46 および画素R44, R48を用いて高周波輝度データ
YHを算出する（サブステップSS808 ）。この場合、高周
波輝度データYH46は、
【００７１】
【数４】 YH46＝B46/2 ＋(R44 ＋R48)/4 ・・・(4) により得られる。高周波輝度データYHには水平相関を示
すフラグh が付されている。この後、この画素B46 にお
ける高周波輝度データYHの算出を終了したものとみなし
てリターンに進む。
すフラグh が付されている。この後、この画素B46 にお
ける高周波輝度データYHの算出を終了したものとみなし
てリターンに進む。
【００７２】次に高周波輝度データYHを算出する対象画
素B46 の周囲に位置する実在画素を用いて垂直相関判定
を行う（サブステップSS810 ）。対象画素B46 と周囲の
画素との距離を近づけて垂直相関判定する場合、比較デ
ータACBH, ACBVおよび所定の判定基準値J3を用いて行
う。すなわち、相関値（ACBH−ACBV）が判定基準値J3よ
り小さいとき（NO）、垂直相関がないと判定して、次の
水平相関判定に進む。また、相関値（ACBH−ACBV）が判
定基準値J3以上のとき（YES ）、垂直相関有りと判定し
て、高周波輝度データYHの算出に進む。
素B46 の周囲に位置する実在画素を用いて垂直相関判定
を行う（サブステップSS810 ）。対象画素B46 と周囲の
画素との距離を近づけて垂直相関判定する場合、比較デ
ータACBH, ACBVおよび所定の判定基準値J3を用いて行
う。すなわち、相関値（ACBH−ACBV）が判定基準値J3よ
り小さいとき（NO）、垂直相関がないと判定して、次の
水平相関判定に進む。また、相関値（ACBH−ACBV）が判
定基準値J3以上のとき（YES ）、垂直相関有りと判定し
て、高周波輝度データYHの算出に進む。
【００７３】なお、領域68内で対象画素B46 と最も距離
の近い画素、すなわち色G の画素を用いて垂直相関判定
してもよい。この場合、比較データAGBH, AGBVを用い
る。相関値（AGBH−AGBV）と判定基準値J3とを比較判定
するとよい。比較判定の大小基準は前述と同じである。
の近い画素、すなわち色G の画素を用いて垂直相関判定
してもよい。この場合、比較データAGBH, AGBVを用い
る。相関値（AGBH−AGBV）と判定基準値J3とを比較判定
するとよい。比較判定の大小基準は前述と同じである。
【００７４】垂直相関があると判定された際に、対象の
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS812 ）。この場合、高周
波輝度データYH46は、式(3) により得られる。高周波輝
度データYHには垂直相関を示すフラグv が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS812 ）。この場合、高周
波輝度データYH46は、式(3) により得られる。高周波輝
度データYHには垂直相関を示すフラグv が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
【００７５】次に高周波輝度データYHを算出する対象画
素B46 の周囲に位置する実在画素を用いて水平相関判定
を行う（サブステップSS814 ）。対象画素B46 と周囲の
画素との距離を近づけて水平相関判定する場合、この場
合も比較データACBH, ACBVおよび所定の判定基準値J3を
用いて行う。相関値は（ACBV−ACBH）である。相関値
（ACBV−ACBH）が判定基準値J3より小さいとき（NO）、
水平相関がないと判定して、次の垂直相関判定に進む。
また、相関値（ACBV−ACBH）が判定基準値J3以上のとき
（YES ）、水平相関有りと判定して、高周波輝度データ
YHの算出に進む。
素B46 の周囲に位置する実在画素を用いて水平相関判定
を行う（サブステップSS814 ）。対象画素B46 と周囲の
画素との距離を近づけて水平相関判定する場合、この場
合も比較データACBH, ACBVおよび所定の判定基準値J3を
用いて行う。相関値は（ACBV−ACBH）である。相関値
（ACBV−ACBH）が判定基準値J3より小さいとき（NO）、
水平相関がないと判定して、次の垂直相関判定に進む。
また、相関値（ACBV−ACBH）が判定基準値J3以上のとき
（YES ）、水平相関有りと判定して、高周波輝度データ
YHの算出に進む。
【００７６】ここでも、前述したように領域68内で対象
画素B46 と最も距離の近い画素、すなわち色G の画素を
用いてより狭い領域で水平相関判定してもよい。この場
合、比較データAGBH, AGBVを用いる。相関値（AGBV−AG
BH）と判定基準値J3とを比較判定するとよい。比較判定
の大小基準は前述の通りである。
画素B46 と最も距離の近い画素、すなわち色G の画素を
用いてより狭い領域で水平相関判定してもよい。この場
合、比較データAGBH, AGBVを用いる。相関値（AGBV−AG
BH）と判定基準値J3とを比較判定するとよい。比較判定
の大小基準は前述の通りである。
【００７７】水平相関があると判定された際に、対象の
画素B46 および画素R44, R48を用いて高周波輝度データ
YHを算出する（サブステップSS816 ）。この場合、高周
波輝度データYH46は、式(4) により得られる。高周波輝
度データYHには水平相関を示すフラグh が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
画素B46 および画素R44, R48を用いて高周波輝度データ
YHを算出する（サブステップSS816 ）。この場合、高周
波輝度データYH46は、式(4) により得られる。高周波輝
度データYHには水平相関を示すフラグh が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
【００７８】垂直／水平相関の検出を高めるため、前述
したように、垂直・水平相関の検出判定を２段階ずつ行
っている。この２段階の相関判定は、相関検出の範囲を
対象画素に対して狭める方向で行われている。しかしな
がら、たとえば特定の幅で長手線状の被写体を撮像した
とき、適切な高周波輝度データYHが得られないことから
画質を損なう場合があった。このような特定の幅での画
質低下を防止するように相関検出の範囲を領域68よりも
広い領域70で行う。
したように、垂直・水平相関の検出判定を２段階ずつ行
っている。この２段階の相関判定は、相関検出の範囲を
対象画素に対して狭める方向で行われている。しかしな
がら、たとえば特定の幅で長手線状の被写体を撮像した
とき、適切な高周波輝度データYHが得られないことから
画質を損なう場合があった。このような特定の幅での画
質低下を防止するように相関検出の範囲を領域68よりも
広い領域70で行う。
【００７９】次に領域70において高周波輝度データYHを
算出する対象画素B46 の周囲に位置する実在画素を用い
て垂直相関判定を行う（サブステップSS818 ）。この場
合、対象画素B46 と４つの周囲の画素B06, B42, B410,
B86 を用いる。用いる周囲の画素は対象の画素と同色で
ある。比較データACBBH, ACBBV から算出した相関値（A
CBBH −ACBBV ）が判定基準値J4より小さいとき（N
O）、次の水平相関判定に進む。また、相関値（ACBBH
−ACBBV ）が判定基準値J4以上のとき（YES ）、垂直相
関があると判定して、高周波輝度データYHの算出に進
む。
算出する対象画素B46 の周囲に位置する実在画素を用い
て垂直相関判定を行う（サブステップSS818 ）。この場
合、対象画素B46 と４つの周囲の画素B06, B42, B410,
B86 を用いる。用いる周囲の画素は対象の画素と同色で
ある。比較データACBBH, ACBBV から算出した相関値（A
CBBH −ACBBV ）が判定基準値J4より小さいとき（N
O）、次の水平相関判定に進む。また、相関値（ACBBH
−ACBBV ）が判定基準値J4以上のとき（YES ）、垂直相
関があると判定して、高周波輝度データYHの算出に進
む。
【００８０】垂直相関があると判定された際に、対象の
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS820 ）。この場合、高周
波輝度データYH46は、式(3) により得られる。高周波輝
度データYHには垂直相関を示すフラグv が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS820 ）。この場合、高周
波輝度データYH46は、式(3) により得られる。高周波輝
度データYHには垂直相関を示すフラグv が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
【００８１】次に前述と同様に領域70において高周波輝
度データYHを算出する対象画素B46の周囲に位置する実
在画素を用いて垂直相関判定を行う（サブステップSS82
2 ）。この場合も、対象画素B46 と同色の４つの周囲の
画素B06, B42, B410, B86 を用いる。比較データACBBH,
ACBBVから相関値（ACBBV −ACBBH ）を算出する。相関
値（ACBBV −ACBBH ）が判定基準値J4より小さいとき
（NO）、相関なしと判定して、周囲の４画素平均処理に
進む。また、相関値（ACBBV −ACBBH ）が判定基準値J4
以上のとき（YES ）、水平相関があると判定して、高周
波輝度データYHの算出に進む。
度データYHを算出する対象画素B46の周囲に位置する実
在画素を用いて垂直相関判定を行う（サブステップSS82
2 ）。この場合も、対象画素B46 と同色の４つの周囲の
画素B06, B42, B410, B86 を用いる。比較データACBBH,
ACBBVから相関値（ACBBV −ACBBH ）を算出する。相関
値（ACBBV −ACBBH ）が判定基準値J4より小さいとき
（NO）、相関なしと判定して、周囲の４画素平均処理に
進む。また、相関値（ACBBV −ACBBH ）が判定基準値J4
以上のとき（YES ）、水平相関があると判定して、高周
波輝度データYHの算出に進む。
【００８２】水平相関があると判定された際に、対象の
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS824 ）。この場合、高周
波輝度データYH46は、式(4) により得られる。高周波輝
度データYHには水平相関を示すフラグh が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
画素B46 および画素R26, R66を用いて高周波輝度データ
YHを算出する（サブステップSS824 ）。この場合、高周
波輝度データYH46は、式(4) により得られる。高周波輝
度データYHには水平相関を示すフラグh が付されてい
る。この後、この画素B46 における高周波輝度データYH
の算出を終了したものとみなしてリターンに進む。
【００８３】相関なしと判定された際に周囲の４画素平
均処理を行う（サブステップSS826）。対象画素B46 の
高周波輝度データYHは、領域68内に実在画素すべてから
得られる画素データを用いて算出する。高周波輝度デー
タYHは、
均処理を行う（サブステップSS826）。対象画素B46 の
高周波輝度データYHは、領域68内に実在画素すべてから
得られる画素データを用いて算出する。高周波輝度デー
タYHは、
【００８４】
【数５】 YH46＝B46/2 ＋(R26＋R44 ＋R410＋R66) ・・・(5) により得られる。高周波輝度データYHには、相関なしで
算出されたことを示すフラグ+ が付されている。フラグ
+ は対象画素の色と対象画素の色に対して異なる色を加
算してマゼンタMgを生成することを意味している。すな
わち、フラグ+ は周囲の画素すべての加算である。この
後、、この画素B46 における高周波輝度データYHの算出
を終了したものとみなしてリターンに進む。リターンを
介してサブルーチンSUB8を終了する。この結果、撮像に
より得られた色G の実在画素とともに、新たに色R, Bの
位置に色Mgの画素データが算出される（図12を参照）。
これら色G, Mg の画素データは高周波輝度データYHとし
て扱えることから、図13に示す実在画素の位置すべてに
対応して高周波輝度データYHが生成される。
算出されたことを示すフラグ+ が付されている。フラグ
+ は対象画素の色と対象画素の色に対して異なる色を加
算してマゼンタMgを生成することを意味している。すな
わち、フラグ+ は周囲の画素すべての加算である。この
後、、この画素B46 における高周波輝度データYHの算出
を終了したものとみなしてリターンに進む。リターンを
介してサブルーチンSUB8を終了する。この結果、撮像に
より得られた色G の実在画素とともに、新たに色R, Bの
位置に色Mgの画素データが算出される（図12を参照）。
これら色G, Mg の画素データは高周波輝度データYHとし
て扱えることから、図13に示す実在画素の位置すべてに
対応して高周波輝度データYHが生成される。
【００８５】ところで、前述したように被写体に特定幅
で長手線状に輝度が得られる場合がある。このとき、長
手方向に輝度レベル差が発生する。具体例として、図14
に示すように被写体の中の、白色W の間に黄色yeが挟ま
れる部分で輝度レベル差が生じる。ただし、色G は省略
している。白色W の領域は、たとえば三原色RGB の画素
データが同じ程度のレベルで得られる。また、黄色yeの
領域72（b+, R+, b+,R+, b+）は、たとえば色R と色G
の画素データが同程度のレベルにし、色B を小さいレベ
ルb の画素データで黄色を表している。黄色領域72にお
ける高周波輝度データYHの生成はフラグ+ が示すように
周囲の４画素の加算平均により得られる。画素R+, b+に
対する高周波輝度データYHを、それぞれYH(R+), YH(b+)
とすると、式(6a), (6b)
で長手線状に輝度が得られる場合がある。このとき、長
手方向に輝度レベル差が発生する。具体例として、図14
に示すように被写体の中の、白色W の間に黄色yeが挟ま
れる部分で輝度レベル差が生じる。ただし、色G は省略
している。白色W の領域は、たとえば三原色RGB の画素
データが同じ程度のレベルで得られる。また、黄色yeの
領域72（b+, R+, b+,R+, b+）は、たとえば色R と色G
の画素データが同程度のレベルにし、色B を小さいレベ
ルb の画素データで黄色を表している。黄色領域72にお
ける高周波輝度データYHの生成はフラグ+ が示すように
周囲の４画素の加算平均により得られる。画素R+, b+に
対する高周波輝度データYHを、それぞれYH(R+), YH(b+)
とすると、式(6a), (6b)
【００８６】
【数６】 YH(R+)＝R/2 ＋(B+b+B+b)/8 ＝R/2 ＋(B+b)/4 ・・・(6a) YH(b+)＝b/2 ＋(R+R+R+R)/8 ＝R/2 ＋R/2 ・・・(6b) により得られる。長手方向の輝度データのレベル差と
は、高周波輝度データYH(R+), YH(b+)のレベル差をΔYH
とすると、
は、高周波輝度データYH(R+), YH(b+)のレベル差をΔYH
とすると、
【００８７】
【数７】 ΔYH＝YH(R+)−YH(b+)＝（B−b)/4 ・・・(7) が得られる。輝度レベル差ΔYHが凸凹を発生させる原因
である。
である。
【００８８】この対策として図６に示した領域70での垂
直／水平相関判定処理を設ける。新たに加えられる垂直
／水平相関判定処理は、対象の画素を含めた同色の画素
を用いて行う。図14に示した用いる画素データは矢印74
の指し示した先の画素データである。図11に示したサブ
ステップSS818 以降の手順により、図15の太線で描かれ
た色B の画素はフラグ+ からフラグh で相関判定処理さ
れたことを示している。このようにして１フレーム分の
高周波輝度データYHの算出処理が行われる。１フレーム
分の高周波輝度データYHに対してフラグパターンの比較
補正を施す（図８のサブステップSS36を参照）。
直／水平相関判定処理を設ける。新たに加えられる垂直
／水平相関判定処理は、対象の画素を含めた同色の画素
を用いて行う。図14に示した用いる画素データは矢印74
の指し示した先の画素データである。図11に示したサブ
ステップSS818 以降の手順により、図15の太線で描かれ
た色B の画素はフラグ+ からフラグh で相関判定処理さ
れたことを示している。このようにして１フレーム分の
高周波輝度データYHの算出処理が行われる。１フレーム
分の高周波輝度データYHに対してフラグパターンの比較
補正を施す（図８のサブステップSS36を参照）。
【００８９】比較補正は、対象画素の色B を含む13個の
実在画素を用いる（図16を参照）。13個の実在画素を含
む領域76は、最上位の行の画素をu1, u2, u3、中段の行
の２画素をm1, m2、そして最下位の行の画素をd1, d2,
d3とする。このように比較補正の対象画素に対して周辺
の８画素を用いて色R, Bの位置のフラグの訂正を行うか
どうか判定する。
実在画素を用いる（図16を参照）。13個の実在画素を含
む領域76は、最上位の行の画素をu1, u2, u3、中段の行
の２画素をm1, m2、そして最下位の行の画素をd1, d2,
d3とする。このように比較補正の対象画素に対して周辺
の８画素を用いて色R, Bの位置のフラグの訂正を行うか
どうか判定する。
【００９０】判定条件は、最上位および最下位の行の画
素のフラグが同じとき、または比較補正の対象画素に対
して左右の列の画素のフラグが同じとき比較補正の対象
画素のフラグを周辺画素のフラグに訂正する。たとえ
ば、各画素がu1=u2=u3=d1=d2=d3 またはu1=m1=d1=u3=m2
=d3 のフラグが水平相関h を示しているとき比較補正の
対象画素b のフラグを水平相関h にセットする。より具
体例としては図17の色Bhを参照されたい。このフラグ訂
正と同時に、水平相関に基づく高周波輝度データYHの算
出を行う。
素のフラグが同じとき、または比較補正の対象画素に対
して左右の列の画素のフラグが同じとき比較補正の対象
画素のフラグを周辺画素のフラグに訂正する。たとえ
ば、各画素がu1=u2=u3=d1=d2=d3 またはu1=m1=d1=u3=m2
=d3 のフラグが水平相関h を示しているとき比較補正の
対象画素b のフラグを水平相関h にセットする。より具
体例としては図17の色Bhを参照されたい。このフラグ訂
正と同時に、水平相関に基づく高周波輝度データYHの算
出を行う。
【００９１】また、各画素がu1=u2=u3=d1=d2=d3 または
u1=m1=d1=u3=m2=d3 のフラグが垂直相関v を示している
とき比較補正の対象画素b のフラグを垂直相関v にセッ
トするとともに、垂直相関に基づく高周波輝度データYH
の算出を行う。そして、比較補正に基づいて算出した高
周波輝度データYHを用いることにする。これにより、輝
度レベル差ΔYHをなくしている。
u1=m1=d1=u3=m2=d3 のフラグが垂直相関v を示している
とき比較補正の対象画素b のフラグを垂直相関v にセッ
トするとともに、垂直相関に基づく高周波輝度データYH
の算出を行う。そして、比較補正に基づいて算出した高
周波輝度データYHを用いることにする。これにより、輝
度レベル差ΔYHをなくしている。
【００９２】次に輝度データ補間処理について説明する
（サブルーチンSUB4: 図18を参照）。図13に示した配置
で得られた高周波輝度データYHに基づいて仮想画素の位
置での高周波輝度データYHの生成を行う（サブステップ
SS40）。このとき、仮想画素のそれぞれに対して垂直お
よび水平方向に補間処理を行う。この補間処理は、たと
えば図19に示すLPF (Low Pass Filter）で行う。
（サブルーチンSUB4: 図18を参照）。図13に示した配置
で得られた高周波輝度データYHに基づいて仮想画素の位
置での高周波輝度データYHの生成を行う（サブステップ
SS40）。このとき、仮想画素のそれぞれに対して垂直お
よび水平方向に補間処理を行う。この補間処理は、たと
えば図19に示すLPF (Low Pass Filter）で行う。
【００９３】このLPF について簡単に説明する。実在画
素d(-3), d(-1), d(1), d(3)は実線で示し、仮想画素は
破線で示し、仮想画素が４つの実在画素の間に配した関
係になっている。仮想画素dn(-4), dn(-2), dn(0), d
n(2), dn(4) には、実在画素との対応を考慮して、何も
データが入っていない状態と同じ関係として扱うとよ
い。すなわち、これらの画素には、たとえばゼロが予め
設定されている（ゼロ埋込み）。たとえば図19(a) に示
すように画素dn(0) を水平方向に補間するとき、ディジ
タルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・,k
n として整理すると、高周波輝度データYH(0) が式(8)
素d(-3), d(-1), d(1), d(3)は実線で示し、仮想画素は
破線で示し、仮想画素が４つの実在画素の間に配した関
係になっている。仮想画素dn(-4), dn(-2), dn(0), d
n(2), dn(4) には、実在画素との対応を考慮して、何も
データが入っていない状態と同じ関係として扱うとよ
い。すなわち、これらの画素には、たとえばゼロが予め
設定されている（ゼロ埋込み）。たとえば図19(a) に示
すように画素dn(0) を水平方向に補間するとき、ディジ
タルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・,k
n として整理すると、高周波輝度データYH(0) が式(8)
【００９４】
【数８】 YH(0)＝k0*dn(0)+k1*(d(1)+d(-1))+k2*(dn(-2)+dn(2))+k3*(d(-3)+d(3)) +k4*(dn(-4)+dn(4))+・・・kn*(dn(-n)+dn(n)) ・・・(8) で表されるように得られる。ただし、この場合、図19
(a) から明らかなように、ゼロのデータが交互に入るの
で、係数が２倍になる。この関係は、図19(a) における
この他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)
に対しても当てはめる。これらの補間処理が施されるこ
とにより、高周波輝度データYH(-4), YH(-2), YH(2), Y
H(4)が得られる（図19(b) を参照）。
(a) から明らかなように、ゼロのデータが交互に入るの
で、係数が２倍になる。この関係は、図19(a) における
この他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)
に対しても当てはめる。これらの補間処理が施されるこ
とにより、高周波輝度データYH(-4), YH(-2), YH(2), Y
H(4)が得られる（図19(b) を参照）。
【００９５】そして、１フレーム分に対する上述した仮
想画素の補間処理が完了したかどうかの判定を行う（サ
ブステップSS42）。この補間処理が未完のとき（NO）、
補間処理のされていない仮想画素に対して補間処理を施
す(サブステップSS40に戻る）。また、１フレーム内の
仮想画素すべての補間処理が完了したとき（YES ）、補
間処理完了としてリターンに移行する。この結果、実在
画素および仮想画素の高周波輝度データYHは図20に示す
ように色G, Mg で表す関係に得られる。LPF 処理は、垂
直方向に対しても行われる。この処理では図21に示すよ
うに各列方向に列ごとに色G, Mg が生成される。
想画素の補間処理が完了したかどうかの判定を行う（サ
ブステップSS42）。この補間処理が未完のとき（NO）、
補間処理のされていない仮想画素に対して補間処理を施
す(サブステップSS40に戻る）。また、１フレーム内の
仮想画素すべての補間処理が完了したとき（YES ）、補
間処理完了としてリターンに移行する。この結果、実在
画素および仮想画素の高周波輝度データYHは図20に示す
ように色G, Mg で表す関係に得られる。LPF 処理は、垂
直方向に対しても行われる。この処理では図21に示すよ
うに各列方向に列ごとに色G, Mg が生成される。
【００９６】なお、仮想画素の補間処理は、LPF 処理を
用いる方法だけでなく、各対象の画素の周囲の実在画素
との相関関係を考慮して垂直・水平方向の補間処理を施
すようにしてもよい。生成した高周波輝度データYHには
水平方向と垂直方向の共通する帯域の一方をなくす重複
防止処理を施してもよい。
用いる方法だけでなく、各対象の画素の周囲の実在画素
との相関関係を考慮して垂直・水平方向の補間処理を施
すようにしてもよい。生成した高周波輝度データYHには
水平方向と垂直方向の共通する帯域の一方をなくす重複
防止処理を施してもよい。
【００９７】次に色補間処理について説明する（図22を
参照: サブルーチンSUB5）。色補間処理は図３に示す色
補間展開部42で行われる。色補間展開部42には、データ
補正部30a から読み出した画素データ38、すなわち三原
色データがR 補間展開部420,G補間展開部422,およびB
補間展開部424 にそれぞれ、供給されている。これらの
供給される画素データを用いて色毎に実在画素および仮
想画素の画素データの補間生成をフローチャートに従っ
て説明する（図22を参照）。この場合、画素データG の
補間処理をサブステップSS500 で最初に行う。このと
き、図６に示すようにハニカム型G 正方格子RB完全市松
のパターンを用いていることから、既存の画素データG
を有する実在画素は、実線の八角形で表す。また、画素
データG を持たない画素、すなわち仮想画素および既存
の画素データを有していながら、色G と異なる色の画素
は、破線の八角形で表す。ここでは、この画素データG
を持たない画素も仮想画素と呼ぶ。補間処理には、４つ
ずつ既存の画素データを用いる。
参照: サブルーチンSUB5）。色補間処理は図３に示す色
補間展開部42で行われる。色補間展開部42には、データ
補正部30a から読み出した画素データ38、すなわち三原
色データがR 補間展開部420,G補間展開部422,およびB
補間展開部424 にそれぞれ、供給されている。これらの
供給される画素データを用いて色毎に実在画素および仮
想画素の画素データの補間生成をフローチャートに従っ
て説明する（図22を参照）。この場合、画素データG の
補間処理をサブステップSS500 で最初に行う。このと
き、図６に示すようにハニカム型G 正方格子RB完全市松
のパターンを用いていることから、既存の画素データG
を有する実在画素は、実線の八角形で表す。また、画素
データG を持たない画素、すなわち仮想画素および既存
の画素データを有していながら、色G と異なる色の画素
は、破線の八角形で表す。ここでは、この画素データG
を持たない画素も仮想画素と呼ぶ。補間処理には、４つ
ずつ既存の画素データを用いる。
【００９８】この関係を具体的に図20に示す。図20のパ
ターンが示すように、一行の半分が色G の実在画素で、
たとえば残りの半分のG12, G14, G16, G18, G110, G112
が仮想画素, 色G をまったく含まない行が交互には, G
32, G34, G36 を補間する場合、補間処理は隣接する４
つずつの画素データG11, G13, G31, G33や画素データG1
3, G15, G33, G35等を用いる。たとえば、補間対象であ
る仮想画素の画素データG21 の補間は、同一の列方向の
２つの画素に対応する実在画素のデータを用いて
ターンが示すように、一行の半分が色G の実在画素で、
たとえば残りの半分のG12, G14, G16, G18, G110, G112
が仮想画素, 色G をまったく含まない行が交互には, G
32, G34, G36 を補間する場合、補間処理は隣接する４
つずつの画素データG11, G13, G31, G33や画素データG1
3, G15, G33, G35等を用いる。たとえば、補間対象であ
る仮想画素の画素データG21 の補間は、同一の列方向の
２つの画素に対応する実在画素のデータを用いて
【００９９】
【数９】 G21 ＝(G11+G31)/2 ・・・(9) から得られる。式(9) の計算式に画素データG13, G33を
適用すると、仮想画素G2 3 を補間することができる。ま
た、仮想画素G12 の補間は、同一の行方向の２つの画素
に対応する実在画素のデータを用いて
適用すると、仮想画素G2 3 を補間することができる。ま
た、仮想画素G12 の補間は、同一の行方向の２つの画素
に対応する実在画素のデータを用いて
【０１００】
【数１０】 G12 ＝(G11+G13)/2 ・・・(10) から得られる。式(10)の計算式に画素データG31, G33を
適用すると、仮想画素G3 2 を補間することができる。そ
して、４つずつの画素データG11, G13, G31, G33の中心
に位置する画素データG22 は、これら４つの位置の画素
データを用いて
適用すると、仮想画素G3 2 を補間することができる。そ
して、４つずつの画素データG11, G13, G31, G33の中心
に位置する画素データG22 は、これら４つの位置の画素
データを用いて
【０１０１】
【数１１】 G22＝(G11+G13+G31+G33)/4 ・・・(11) から得られる。式(11)の計算式に周囲の画素データG13,
G15, G33, G35を用いると、仮想画素G24 を補間するこ
とができる。実在画素の４つ画素データG13, G15, G33,
G35を一組のデータとみなして補間し、すでに画素デー
タG23 は算出されているので、残る画素データG14,
G34, G25 を上述した演算により算出すればよい。この
実在画素を用いた補間処理を繰り返し行うことにより、
画素データG のプレーン画像を作成する。ただし、プレ
ーン画像の最外縁は、このような関係にならないので、
厳密に補間を行う場合、境界値として設定しておくとよ
い。また、有効画面を考慮すると、この周辺部のデータ
は有効画面の範囲外にあるので算出しなくても構わな
い。
G15, G33, G35を用いると、仮想画素G24 を補間するこ
とができる。実在画素の４つ画素データG13, G15, G33,
G35を一組のデータとみなして補間し、すでに画素デー
タG23 は算出されているので、残る画素データG14,
G34, G25 を上述した演算により算出すればよい。この
実在画素を用いた補間処理を繰り返し行うことにより、
画素データG のプレーン画像を作成する。ただし、プレ
ーン画像の最外縁は、このような関係にならないので、
厳密に補間を行う場合、境界値として設定しておくとよ
い。また、有効画面を考慮すると、この周辺部のデータ
は有効画面の範囲外にあるので算出しなくても構わな
い。
【０１０２】次に画素データR の算出を行う（サブステ
ップSS502 ）。画素データR における実在画素のデータ
は、図６に示すように１ラインおきにR00, R04, R08, R
012,R22, R26, R210, R40, R44, R46,・・・ しかない。こ
の場合、補間対象の仮想画素に対して斜めに隣接してい
る画素データを用いる。たとえば、仮想画素R11 の画素
データは、画素R00, R22の画素データを用いて、
ップSS502 ）。画素データR における実在画素のデータ
は、図６に示すように１ラインおきにR00, R04, R08, R
012,R22, R26, R210, R40, R44, R46,・・・ しかない。こ
の場合、補間対象の仮想画素に対して斜めに隣接してい
る画素データを用いる。たとえば、仮想画素R11 の画素
データは、画素R00, R22の画素データを用いて、
【０１０３】
【数１２】 R11 ＝(R00+R22)/2 ・・・(12) によって算出される。同様に、仮想画素R31, R33 は、
式(12)と同じ関係にそれぞれ画素データR40, R22および
画素データR44, R22を適用して算出する。既存の画素デ
ータR26 も考慮して算出すると、隣接斜め補間処理によ
り仮想画素R15, R 35も作成することができる。
式(12)と同じ関係にそれぞれ画素データR40, R22および
画素データR44, R22を適用して算出する。既存の画素デ
ータR26 も考慮して算出すると、隣接斜め補間処理によ
り仮想画素R15, R 35も作成することができる。
【０１０４】次に一つ前の処理で算出された画素によっ
て囲まれた画素を補間対象の画素とし、補間に際して算
出されたこれら４つの画素データを用いて補間処理を行
う（サブステップSS504 ）。たとえば、算出対象とする
仮想画素R24 を中心に図６から判るように、その周囲の
画素データR13, R15, R33, R35の位置のデータを用い
て、
て囲まれた画素を補間対象の画素とし、補間に際して算
出されたこれら４つの画素データを用いて補間処理を行
う（サブステップSS504 ）。たとえば、算出対象とする
仮想画素R24 を中心に図６から判るように、その周囲の
画素データR13, R15, R33, R35の位置のデータを用い
て、
【０１０５】
【数１３】 R24 ＝(R13+R15+R33+R35)/4 ・・・(13) によって算出される。式(13)と同等の関係が周辺の画素
から得られるとき、補間を施すことによって、画素デー
タR02, R20, R42 が得られる。換言すると、補間対象の
画素にから見れば、補間に使用する画素データはすべて
斜めに位置している。
から得られるとき、補間を施すことによって、画素デー
タR02, R20, R42 が得られる。換言すると、補間対象の
画素にから見れば、補間に使用する画素データはすべて
斜めに位置している。
【０１０６】次にこれまでに得られた画素データを用い
るとともに、これらの画素の内、補間対象の画素に対し
て上下左右に位置する画素データから補間を行う（サブ
ステップSS506 ）。たとえば、画素データR12 を中心に
上下左右の４つの画素データを用いて
るとともに、これらの画素の内、補間対象の画素に対し
て上下左右に位置する画素データから補間を行う（サブ
ステップSS506 ）。たとえば、画素データR12 を中心に
上下左右の４つの画素データを用いて
【０１０７】
【数１４】 R12 ＝(R02+R11+R13+R22)/4 ・・・(14) によって算出される。同様の位置関係にある画素データ
R14, R32, R14, R34等は、式(14)に対応する周辺の画素
データR を代入すると算出できる。
R14, R32, R14, R34等は、式(14)に対応する周辺の画素
データR を代入すると算出できる。
【０１０８】なお、周辺部には未補間の仮想画素が残っ
てしまうので、この仮想画素に対して周囲を囲む、たと
えば３つの画素から補間するようにしてもよい。この補
間の場合も前述した補間の手法を用いると、仮想画素の
画素データR01 は、
てしまうので、この仮想画素に対して周囲を囲む、たと
えば３つの画素から補間するようにしてもよい。この補
間の場合も前述した補間の手法を用いると、仮想画素の
画素データR01 は、
【０１０９】
【数１５】 R01 ＝(R00+R02+R11)/3 ・・・(15) によって算出される。このようにしてこの他、画素デー
タR03, R05, R10, R30,R41, R43, R45 が補間される。
最終的に画素データR に関するプレーン画面全体が補間
される。
タR03, R05, R10, R30,R41, R43, R45 が補間される。
最終的に画素データR に関するプレーン画面全体が補間
される。
【０１１０】次に画素データB に対する補間処理が行わ
れる（サブステップSS508, SS510,SS512 で行われる。
これらの処理は、それぞれ、画素データB における隣接
斜め補間処理、４つの補間データによる中央補間処理お
よび上下左右の４画素による中央補間処理である。これ
らの補間処理は、前述した画素データR の補間処理（す
なわち、サブステップSS502, SS504, SS506 ）に準拠し
ている。これは、画素データR と画素データB の画素配
置の関係から明らかである。すなわち、画素データB の
画素配置は、各色の添字に表される行列表示から、画素
データR を水平（すなわち、行）方向に２列ずつ全体に
シフトした配置になっている。このことから、これまで
挙げた算出式を適用して仮想画素を補間する場合、行列
表示で列の数字が２以上の右側で各画素データの添字の
列の数字に+2だけ加算した関係で算出を行うとよい。こ
の関係に注意して補間処理を行うと、画素データB に関
するプレーン補間展開を行うことができる。この処理の
後、プレーン補間の終了かどうかの判定に進む。
れる（サブステップSS508, SS510,SS512 で行われる。
これらの処理は、それぞれ、画素データB における隣接
斜め補間処理、４つの補間データによる中央補間処理お
よび上下左右の４画素による中央補間処理である。これ
らの補間処理は、前述した画素データR の補間処理（す
なわち、サブステップSS502, SS504, SS506 ）に準拠し
ている。これは、画素データR と画素データB の画素配
置の関係から明らかである。すなわち、画素データB の
画素配置は、各色の添字に表される行列表示から、画素
データR を水平（すなわち、行）方向に２列ずつ全体に
シフトした配置になっている。このことから、これまで
挙げた算出式を適用して仮想画素を補間する場合、行列
表示で列の数字が２以上の右側で各画素データの添字の
列の数字に+2だけ加算した関係で算出を行うとよい。こ
の関係に注意して補間処理を行うと、画素データB に関
するプレーン補間展開を行うことができる。この処理の
後、プレーン補間の終了かどうかの判定に進む。
【０１１１】プレーン補間展開が各色毎にすべて終了し
たかどうかの判定を行う（サブステップSS514 ）。一連
の処理がまだ終了していないとき（NO）、サブステップ
SS500に戻って処理を繰り返す。なお、各色毎にこの確
認処理を行ってもよい。また、一連の処理が終了したと
き（YES ）、リターンに移行する。この移行後、サブル
ーチンSUB5の処理を終了する。
たかどうかの判定を行う（サブステップSS514 ）。一連
の処理がまだ終了していないとき（NO）、サブステップ
SS500に戻って処理を繰り返す。なお、各色毎にこの確
認処理を行ってもよい。また、一連の処理が終了したと
き（YES ）、リターンに移行する。この移行後、サブル
ーチンSUB5の処理を終了する。
【０１１２】次に広帯域化処理を説明する（図23を参
照）。供給される高周波輝度データYH(44)にハイパスフ
ィルタ（HPF ）処理を施す（サブステップSS200 ）。す
なわち、所定の高周波帯域より高い周波数を通過させる
処理を高周波輝度データYH (44) に施す。この処理によ
り高周波輝度データの高周波成分が信号として抽出され
る。この高周波成分をYhとする。高周波成分Yhは図４の
加算部54に出力される。加算器540, 542, 544の一端側5
40a, 542a, 544aには、それぞれプレーンな画素データR
(46), G (48), B (50)が供給され、他端側540b, 542b,
544bには供給される画素データに対応する高周波成分
の信号Yhが供給される。
照）。供給される高周波輝度データYH(44)にハイパスフ
ィルタ（HPF ）処理を施す（サブステップSS200 ）。す
なわち、所定の高周波帯域より高い周波数を通過させる
処理を高周波輝度データYH (44) に施す。この処理によ
り高周波輝度データの高周波成分が信号として抽出され
る。この高周波成分をYhとする。高周波成分Yhは図４の
加算部54に出力される。加算器540, 542, 544の一端側5
40a, 542a, 544aには、それぞれプレーンな画素データR
(46), G (48), B (50)が供給され、他端側540b, 542b,
544bには供給される画素データに対応する高周波成分
の信号Yhが供給される。
【０１１３】加算部54では、供給される高周波成分Yhと
画素データR, G, B とを各画素ごとに加算が施される
（サブステップSS202 ）。一般的に、各画素の位置（i,
j）として、行列表示し、三原色RGB の各画素データが
広帯域化する。この広帯域化を添字H で表す。このと
き、広帯域化した画素データRHij, GHij, BHijは、
画素データR, G, B とを各画素ごとに加算が施される
（サブステップSS202 ）。一般的に、各画素の位置（i,
j）として、行列表示し、三原色RGB の各画素データが
広帯域化する。この広帯域化を添字H で表す。このと
き、広帯域化した画素データRHij, GHij, BHijは、
【０１１４】
【数１６】 RHij＝Rij ＋Yhij ・・・(16a) GHij＝Gij ＋Yhij ・・・(16b) BHij＝Bij ＋Yhij ・・・(16c) となる。ここで算出された画素データRHij, GHij, BHij
が色差マトリクス部56に供給される。
が色差マトリクス部56に供給される。
【０１１５】次に供給された画素データRHij, GHij, B
Hijを用いて各実在画素および仮想画素のそれぞれの位
置に対して色差マトリクス演算処理をすることにより広
帯域化した輝度データY 、色差データCr, Cbを生成する
（サブステップSS204 ）。
Hijを用いて各実在画素および仮想画素のそれぞれの位
置に対して色差マトリクス演算処理をすることにより広
帯域化した輝度データY 、色差データCr, Cbを生成する
（サブステップSS204 ）。
【０１１６】次に得られた輝度データY 、色差データ
Cr, Cbに対して歪み防止処理を施す（サブステップSS20
6 ）。広帯域化して延ばした輝度データY 、色差データ
Cr, Cbそれぞれの周波数帯域を通すとともに、これら３
つのデータに折返し歪みが生じないようにローパスフィ
ルタ処理を施す。また、歪み防止処理としては、水平お
よび垂直方向の周波数帯域の重複している領域に対して
一方の方向の重複する周波数帯域を制限している。これ
により、周波数の重複に伴って生じる画質劣化を回避し
ている。
Cr, Cbに対して歪み防止処理を施す（サブステップSS20
6 ）。広帯域化して延ばした輝度データY 、色差データ
Cr, Cbそれぞれの周波数帯域を通すとともに、これら３
つのデータに折返し歪みが生じないようにローパスフィ
ルタ処理を施す。また、歪み防止処理としては、水平お
よび垂直方向の周波数帯域の重複している領域に対して
一方の方向の重複する周波数帯域を制限している。これ
により、周波数の重複に伴って生じる画質劣化を回避し
ている。
【０１１７】次に歪み防止処理を受けた輝度データY に
対してアパーチャ調整を施す（サブステップSS208 ）。
アパーチャ調整は、輪郭強調処理に相当する処理であ
る。そして、歪み防止処理を受けた色差データCr, Cbに
対してゲイン調整を施す（サブステップSS210 ）。この
ように処理して１フレーム分の処理が終了したかどうか
判定を行う（サブステップSS212 ）。１フレーム分の処
理が終了していない場合（NO）、最初（サブステップSS
200 ）に戻って一連の処理を繰り返す。また、１フレー
ム分の処理が終了している場合（YES ）、リターンに進
んでこのサブルーチンSUB2を終了し、リターンを介して
メインルーチンに移行する。
対してアパーチャ調整を施す（サブステップSS208 ）。
アパーチャ調整は、輪郭強調処理に相当する処理であ
る。そして、歪み防止処理を受けた色差データCr, Cbに
対してゲイン調整を施す（サブステップSS210 ）。この
ように処理して１フレーム分の処理が終了したかどうか
判定を行う（サブステップSS212 ）。１フレーム分の処
理が終了していない場合（NO）、最初（サブステップSS
200 ）に戻って一連の処理を繰り返す。また、１フレー
ム分の処理が終了している場合（YES ）、リターンに進
んでこのサブルーチンSUB2を終了し、リターンを介して
メインルーチンに移行する。
【０１１８】このように動作させ、相関処理の精度を高
めることができることから、たとえば黄色の細線が白に
挟まれるような状況を含む被写体を撮像しても撮像した
画像の黄色の細線部分に段差が現れ、画質を低下させて
しまうようなことを避けることができ、高画質な画像を
得ることができる。
めることができることから、たとえば黄色の細線が白に
挟まれるような状況を含む被写体を撮像しても撮像した
画像の黄色の細線部分に段差が現れ、画質を低下させて
しまうようなことを避けることができ、高画質な画像を
得ることができる。
【０１１９】このような段差を有する細線が得られる状
況は、上述した被写界を撮像した場合だけに限られるも
のではない。たとえば明るい領域に挟まれた暗い領域の
細線間隔が大きい場合や細線間隔が小さい場合でも段差
が生じる。暗い領域の細線に生じる段差のうち、前者の
場合についてサブルーチンSUB8のサブステップSS816ま
での処理で得られるフラグを図24に示す。
況は、上述した被写界を撮像した場合だけに限られるも
のではない。たとえば明るい領域に挟まれた暗い領域の
細線間隔が大きい場合や細線間隔が小さい場合でも段差
が生じる。暗い領域の細線に生じる段差のうち、前者の
場合についてサブルーチンSUB8のサブステップSS816ま
での処理で得られるフラグを図24に示す。
【０１２０】図24では信号レベルの大きい画素データを
大文字で表し、信号レベルの小さい画素データを小文字
で表している。明るい領域の三原色RGB は大きく、色G
に挟まれた画素R, B の画素データは周辺４画素平均か
ら算出される。明暗の境界の画素R, Bの画素データは水
平相関があることを示している。さらに、色g に挟まれ
た暗い領域内の画素r, bは、４画素平均から算出されて
いる。これらの高周波輝度データYH(r+), YH(b+)は、そ
れぞれ
大文字で表し、信号レベルの小さい画素データを小文字
で表している。明るい領域の三原色RGB は大きく、色G
に挟まれた画素R, B の画素データは周辺４画素平均か
ら算出される。明暗の境界の画素R, Bの画素データは水
平相関があることを示している。さらに、色g に挟まれ
た暗い領域内の画素r, bは、４画素平均から算出されて
いる。これらの高周波輝度データYH(r+), YH(b+)は、そ
れぞれ
【０１２１】
【数１７】 YH(r+)＝r/2 ＋(B+b+B+b)/8 ＝r/2 ＋(B+b)/4 ・・・(17a) YH(b+)＝b/2 ＋(R+r+R+r)/8 ＝b/2 ＋(R+r)/4 ・・・(17b) により得られる。長手方向の輝度データのレベル差とは
高周波輝度データYH(R+), YH(b+)のレベル差をΔYHとす
ると、
高周波輝度データYH(R+), YH(b+)のレベル差をΔYHとす
ると、
【０１２２】
【数１８】 ΔYH＝YH(r+)−YH(b+)＝（r−R＋B−b)/4 ・・・(18) が得られる。
【０１２３】この現状を踏まえてサブステップSS818 〜
SS824 の処理を施すと、色G や色gに挟まれている周辺
４画素平均を行うことを示していたフラグ（+)が水平方
向に相関があると判定され、これによりフラグ（h)にな
る（図25の太線の枠を参照）。このフラグ（h)に基づく
画素データを用いて高周波輝度データYHを算出すると、
式(18) のレベル差はゼロになっている。画素R, B, r,
bに対するフラグの関係も同一になっていることから、
この場合フラグパターンの比較補正は行わなくてもよ
い。
SS824 の処理を施すと、色G や色gに挟まれている周辺
４画素平均を行うことを示していたフラグ（+)が水平方
向に相関があると判定され、これによりフラグ（h)にな
る（図25の太線の枠を参照）。このフラグ（h)に基づく
画素データを用いて高周波輝度データYHを算出すると、
式(18) のレベル差はゼロになっている。画素R, B, r,
bに対するフラグの関係も同一になっていることから、
この場合フラグパターンの比較補正は行わなくてもよ
い。
【０１２４】また、後者の細線間隔が狭い場合、明るい
領域に挟まれた暗い領域の画素r, bはフラグ（+)が示す
ように４画素平均と判定されている（図26を参照）。こ
のとき、高周波輝度データYH(r+), YH(b+)は、それぞれ
式(17a), (17b)で得られる。したがって、レベル差ΔYH
は式(18)となる。このレベル差を解消するように前述し
たサブステップSS818 〜824 の処理を施す。しかしなが
ら、この場合暗い領域の画素r, bのフラグには相関精度
の向上を目指して処理しても図26と同じ状況で何等改善
されない（図27を参照）。
領域に挟まれた暗い領域の画素r, bはフラグ（+)が示す
ように４画素平均と判定されている（図26を参照）。こ
のとき、高周波輝度データYH(r+), YH(b+)は、それぞれ
式(17a), (17b)で得られる。したがって、レベル差ΔYH
は式(18)となる。このレベル差を解消するように前述し
たサブステップSS818 〜824 の処理を施す。しかしなが
ら、この場合暗い領域の画素r, bのフラグには相関精度
の向上を目指して処理しても図26と同じ状況で何等改善
されない（図27を参照）。
【０１２５】この状況を踏まえて、適応処理後フラグパ
ターンの比較補正を行う（サブステップSS36）。対象の
画素に対して上下のラインに位置する画素データB, Rを
比較すると、上下のラインに位置する画素データB, Rの
画素データはフラグ（h)になっていることから対象の画
素のフラグを水平方向（h)に補正する。この補正に対応
して高周波輝度データYHを生成すると、太線の枠で囲ま
れた画素位置の高周波輝度データYHにレベル差を生じさ
せない（図28を参照）。
ターンの比較補正を行う（サブステップSS36）。対象の
画素に対して上下のラインに位置する画素データB, Rを
比較すると、上下のラインに位置する画素データB, Rの
画素データはフラグ（h)になっていることから対象の画
素のフラグを水平方向（h)に補正する。この補正に対応
して高周波輝度データYHを生成すると、太線の枠で囲ま
れた画素位置の高周波輝度データYHにレベル差を生じさ
せない（図28を参照）。
【０１２６】このような明暗領域が特定の幅で長手方向
にある被写体において発生していたレベル差を解消して
高周波輝度データYHを生成することにより出力画像を高
画質にすることができる。
にある被写体において発生していたレベル差を解消して
高周波輝度データYHを生成することにより出力画像を高
画質にすることができる。
【０１２７】ところで、前述した輝度補間処理では、混
在した色G, Mg を水平・垂直方向にLPF 補間を施して全
面の高周波輝度データYHを生成したが、色G, Mg のそれ
ぞれに着目して補間してもよい。色G に着目すると、図
29に示すパターンが得られ、色Mgに着目すると、図30に
示すパターンが得られる。各パターンを補間すると、図
31および図32のプレーンな画素データG, Mg が得られ
る。さらに、輝度補間処理ではたとえば、プレーンな画
素データG, Mg を対応する画素ごとに加算処理して得ら
れるデータを高周波輝度データYHとして用いるようにし
てもよい。
在した色G, Mg を水平・垂直方向にLPF 補間を施して全
面の高周波輝度データYHを生成したが、色G, Mg のそれ
ぞれに着目して補間してもよい。色G に着目すると、図
29に示すパターンが得られ、色Mgに着目すると、図30に
示すパターンが得られる。各パターンを補間すると、図
31および図32のプレーンな画素データG, Mg が得られ
る。さらに、輝度補間処理ではたとえば、プレーンな画
素データG, Mg を対応する画素ごとに加算処理して得ら
れるデータを高周波輝度データYHとして用いるようにし
てもよい。
【０１２８】以上のように構成することにより、たとえ
ば有彩色・無彩色の長手方向に長いライン状の被写体に
対して対象の画素と同色の画素を幅広い領域にわたって
相関検出を行うことにより、長手方向の輝度レベル差の
発生を防ぎ、さらにどのような相関かを示すフラグのパ
ターンを考慮して補正することにより相関精度を向上さ
せることから、解像度チャートのくさび型形状と十字に
交差する偽信号や直線のラインの切断等の現象の発生を
抑えることができる。これにより、このような被写体を
撮影した際に生じた現象を従来よりも大幅に改善するこ
とができる。
ば有彩色・無彩色の長手方向に長いライン状の被写体に
対して対象の画素と同色の画素を幅広い領域にわたって
相関検出を行うことにより、長手方向の輝度レベル差の
発生を防ぎ、さらにどのような相関かを示すフラグのパ
ターンを考慮して補正することにより相関精度を向上さ
せることから、解像度チャートのくさび型形状と十字に
交差する偽信号や直線のラインの切断等の現象の発生を
抑えることができる。これにより、このような被写体を
撮影した際に生じた現象を従来よりも大幅に改善するこ
とができる。
【０１２９】
【発明の効果】このように本発明の画像信号処理方法に
よれば、読み出した緑色の画素データを輝度データとみ
なし、そのまま用い、対象の画素に対して相関精度を向
上させる判定処理（たとえば、対象の画素と同色の画素
を幅広い領域にわたる相関検出および対象の画素に対し
て周囲の画素がどのような相関かを示すフラグのパター
ンを考慮した補正）を行いながら、この相関方向に位置
するこの対象の画素と異色の周囲の他方の複数の画素デ
ータを用いた緑色の補色の画素データの生成、すなわ
ち、赤色および青色の実在画素の一方を対象の画素とし
て赤色には周囲の青色を考慮した加算、青色には周囲の
赤色を考慮した加算を行って緑色の補色（すなわち、マ
ゼンタ）の画素データの生成を行って、この緑色の補色
も輝度データとみなし、たとえば有彩色・無彩色の画素
データが長手方向に細線を有する被写体を撮影しても長
手方向に見て隣接する画素間に生じていた輝度データの
レベル差をなくし、得られたこれらの画素データを用い
て水平または垂直方向に位置する同一色の画素データか
ら仮想画素を補間生成し、この補間生成に用いた方向と
直交する方向に帯域制限処理を行って画質低下の発生を
抑えて解像度チャートのくさび型形状と十字に交差する
偽信号や直線のラインの切断等の現象の発生を抑えるこ
とができる。これにより、このような被写体を撮影した
際に生じた現象を従来よりも大幅に改善することができ
る。
よれば、読み出した緑色の画素データを輝度データとみ
なし、そのまま用い、対象の画素に対して相関精度を向
上させる判定処理（たとえば、対象の画素と同色の画素
を幅広い領域にわたる相関検出および対象の画素に対し
て周囲の画素がどのような相関かを示すフラグのパター
ンを考慮した補正）を行いながら、この相関方向に位置
するこの対象の画素と異色の周囲の他方の複数の画素デ
ータを用いた緑色の補色の画素データの生成、すなわ
ち、赤色および青色の実在画素の一方を対象の画素とし
て赤色には周囲の青色を考慮した加算、青色には周囲の
赤色を考慮した加算を行って緑色の補色（すなわち、マ
ゼンタ）の画素データの生成を行って、この緑色の補色
も輝度データとみなし、たとえば有彩色・無彩色の画素
データが長手方向に細線を有する被写体を撮影しても長
手方向に見て隣接する画素間に生じていた輝度データの
レベル差をなくし、得られたこれらの画素データを用い
て水平または垂直方向に位置する同一色の画素データか
ら仮想画素を補間生成し、この補間生成に用いた方向と
直交する方向に帯域制限処理を行って画質低下の発生を
抑えて解像度チャートのくさび型形状と十字に交差する
偽信号や直線のラインの切断等の現象の発生を抑えるこ
とができる。これにより、このような被写体を撮影した
際に生じた現象を従来よりも大幅に改善することができ
る。
【図１】本発明に係る画像信号処理方法を適用したディ
ジタルカメラの概略的なブロック図である。
ジタルカメラの概略的なブロック図である。
【図２】図１のディジタルカメラにて用いた撮像部を入
射光側から見た模式図である。
射光側から見た模式図である。
【図３】図１のディジタルカメラの補間処理部の概略的
な構成を示すブロック図である。
な構成を示すブロック図である。
【図４】図１のディジタルカメラの広帯域化処理部の概
略的な構成を示すブロック図である。
略的な構成を示すブロック図である。
【図５】図１のディジタルカメラの動作を説明するメイ
ンフローチャートである。
ンフローチャートである。
【図６】図５の本撮像時に得られる実在画素の位置およ
び色の関係を説明する模式図である。
び色の関係を説明する模式図である。
【図７】図５に示した静止画補間信号処理の手順を説明
するフローチャートである。
するフローチャートである。
【図８】図７に示した高周波輝度データYHを市松状に生
成する手順を説明するフローチャートである。
成する手順を説明するフローチャートである。
【図９】図８に示した適応処理の手順を説明するフロー
チャートである。
チャートである。
【図１０】図９に示した斜め相関処理の手順を説明する
フローチャートである。
フローチャートである。
【図１１】図９に示した垂直／水平相関処理の手順を説
明するフローチャートである。
明するフローチャートである。
【図１２】図８に示した手順により生成された画素デー
タMgおよび撮像時に得られた画素データG の位置関係を
説明する模式図である。
タMgおよび撮像時に得られた画素データG の位置関係を
説明する模式図である。
【図１３】図12の画素データG, Mg を高周波輝度データ
YHとして扱った際のパターンを示す模式図である。
YHとして扱った際のパターンを示す模式図である。
【図１４】撮像により画素から得られる色および信号レ
ベルならびに従来のアルゴリズムで生成する高周波輝度
データYHの方向を示すフラグで表した模式図である。
ベルならびに従来のアルゴリズムで生成する高周波輝度
データYHの方向を示すフラグで表した模式図である。
【図１５】図11の処理手順のうち、新たに追加した垂直
／水平相関判定処理による訂正箇所を示す模式図であ
る。
／水平相関判定処理による訂正箇所を示す模式図であ
る。
【図１６】図８のフラグパターンの比較補正処理に用い
る画素の位置関係を示す模式図である。
る画素の位置関係を示す模式図である。
【図１７】図８のフラグパターンの比較補正処理の結果
を示す模式図である。
を示す模式図である。
【図１８】図７の輝度補間処理の手順を説明するフロー
チャートである。
チャートである。
【図１９】図18の輝度補間処理に用いるLPF 処理の原理
を説明する模式図である。
を説明する模式図である。
【図２０】図19のLPF 処理のうち、水平方向に補間処理
して得られる補間パターンである。
して得られる補間パターンである。
【図２１】図19のLPF 処理のうち、垂直方向に補間処理
して得られる補間パターンである。
して得られる補間パターンである。
【図２２】図７の色補間処理の手順を説明するフローチ
ャートである。
ャートである。
【図２３】図５の静止画用広帯域化処理の手順を説明す
るフローチャートである。
るフローチャートである。
【図２４】被写界の細線間隔が比較的大きい場合の細線
と各画素データの色、信号レベル、およびフラグの関係
を示す模式図である。
と各画素データの色、信号レベル、およびフラグの関係
を示す模式図である。
【図２５】図11の処理手順のうち、新たに追加した垂直
／水平相関判定処理による訂正箇所を示す模式図であ
る。
／水平相関判定処理による訂正箇所を示す模式図であ
る。
【図２６】被写界の細線間隔が比較的小さい場合の細線
と各画素データの色、信号レベル、およびフラグの関係
を示す模式図である。
と各画素データの色、信号レベル、およびフラグの関係
を示す模式図である。
【図２７】図11の処理手順のうち、新たに追加した垂直
／水平相関判定処理による訂正箇所を示す模式図であ
る。
／水平相関判定処理による訂正箇所を示す模式図であ
る。
【図２８】図８のフラグパターンの比較補正処理の結果
を示す模式図である。
を示す模式図である。
【図２９】色G に着目した画素パターンを示す模式図で
ある。
ある。
【図３０】色Mgに着目した画素パターンを示す模式図で
ある。
ある。
【図３１】色G での補間を施して得られるプレーンな画
面を示す模式図である。
面を示す模式図である。
【図３２】色G での補間を施して得られるプレーンな画
面を示す模式図である。
面を示す模式図である。
10 ディジタルカメラ 12 光学レンズ系 14 操作部 16 システムバス 18 システム制御部 26 撮像部 30 信号処理部 30a データ補正部 30b 補間処理部 30c 広帯域化処理部 32 圧縮／伸長処理部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/387 １０１ Ｈ０４Ｎ 9/64 Ｒ ５Ｃ０７７ 1/60 Ｈ０１Ｌ 27/14 Ｄ ５Ｃ０７９ 1/46 Ｈ０４Ｎ 1/40 Ｄ 9/64 1/46 Ｚ Ｆターム(参考） 4M118 AA10 AB01 BA10 BA14 CA20 FA01 FA06 GC08 GC14 GC20 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD06 CE06 CE16 CH09 DB02 DB06 DB09 DC25 5C065 AA01 AA03 BB02 BB08 BB10 BB11 BB12 BB14 CC01 CC03 CC08 DD02 EE03 EE12 FF02 GG12 GG13 GG18 GG21 GG30 GG31 GG32 GG38 GG49 5C066 AA01 CA06 CA07 CA27 EA14 EC02 EC05 EF14 EF15 GA01 GA05 GA09 GB01 HA03 HA04 KA12 KB02 KC02 KC03 KE02 KE04 KE05 KE19 KM02 5C076 AA21 BA01 BA06 BB04 BB15 BB25 BB40 5C077 LL02 LL19 MM03 MP08 PP01 PP32 PP34 PP47 PP48 PP68 PQ12 PQ18 PQ20 RR19 TT09 5C079 HB01 HB04 HB11 JA12 JA23 LA01 LA14 LA17 LA37 MA11 NA02 PA00
Claims (14)
- 【請求項１】 被写界からの入射光を三原色に分解し、
得られた三原色の入射光を光電変換する複数の撮像素子
が隣接する撮像素子の幾何学的な中心に対して行および
／または列方向に半ピッチずらして配設され、該撮像素
子を実在画素とし、該撮像素子から得られる撮像信号の
それぞれをディジタルの画素データにして、該画素デー
タを用いて画素間に新たな画素を仮想画素として生成す
る補間処理を施し、輝度および色差データを生成する画
像信号処理方法において、該方法は、 前記画素データを２次元に表示した際に、前記画素デー
タの緑色が正方格子状に得られ、前記緑色を挟む一方の
対角位置の実在画素からの赤色の画素データと、他方の
対角位置の実在画素からの青色の画素データとをそれぞ
れ得る第１の工程と、 前記赤色および前記青色の実在画素のいずれか一方を対
象の画素とした際に、該対象の画素に対して相関精度を
向上させる判定を行いながら、該相関方向に位置する該
対象の画素と異色の周囲の他方の複数の画素データを用
いて緑色の補色の画素データを生成する第２の工程と、 該補色の画素データと前記緑色の画素データを用いて水
平および／または垂直方向に位置する同一色の画素デー
タから前記仮想画素を補間生成する第３の工程と、 該補間生成に用いた方向と直交する方向に帯域制限処理
を行う第４の工程とを含むことを特徴とする画像信号処
理方法。 - 【請求項２】 請求項１に記載の方法において、第２の
工程は、前記対象の画素と同色で水平および垂直方向に
位置する画素データを用いて水平／垂直方向の相関判別
を行う第５の工程とを含むことを特徴とする画像信号処
理方法。 - 【請求項３】 請求項２に記載の方法において、第５の
工程は、前記相関判別を行う前に、前記対象の画素デー
タの左水平方向に位置する前記対象の画素と同色の画素
データと前記対象の画素データとの差分絶対値を第１水
平差分絶対値とし、前記対象の画素データと前記対象の
画素データの右水平方向に位置する前記対象の画素と同
色の画素データとの差分絶対値を第２水平差分絶対値と
し、前記第１および第２水平差分絶対値の加算値を水平
比較データとし、前記対象の画素データの上垂直方向に
位置する前記対象の画素データと同色の画素データと前
記対象の画素データとの差分絶対値を第１垂直差分絶対
値とし、前記対象の画素データと前記対象の画素データ
の下垂直方向に位置する前記対象の画素と同色の画素デ
ータとの差分絶対値を第２垂直差分絶対値とし、前記第
１および第２垂直差分絶対値の加算値を垂直比較データ
としてそれぞれあらかじめ算出し、 前記水平比較データから前記垂直比較データを減算した
結果が所定の値以上の大きさのとき、垂直相関があると
判定する第１の判定工程と、 前記垂直比較データから前記水平比較データを減算した
結果が所定の値以上の大きさのとき、水平相関があると
判定する第２の判定工程と、 第１および第２の判定のいずれとも異なるとき無相関と
判定する第３の判定工程とを含むことを特徴とする画像
信号処理方法。 - 【請求項４】 請求項３に記載の方法において、第１ま
たは第２の判定工程の結果、前記相関判別で相関が有る
場合、前記対象の画素データを挟んで該対象の画素デー
タと異色で、かつ前記相関方向の近傍に位置する一対の
画素データの加算平均と前記対象の画素の画素データと
にそれぞれ半分の重み係数を乗算した和をとる第６の工
程と、 前記相関判別で無相関の場合、前記対象の画素データと
前記対象の画素データ対して周辺に位置する異色の画素
データの加算平均とにそれぞれ半分の重み係数を乗算し
た和をとる第７の工程とを含むことを特徴とする画像信
号処理方法。 - 【請求項５】 請求項３に記載の方法において、第２の
工程は、前記実在画素に対する相関判別を行った後に、
前記対象の画素に対して該対象の画素と異なる周囲の赤
色および青色の一方の画素データのうち、前記対象の画
素を挟む上下の画素データまたは左右の画素データがい
ずれの方向に相関があるか前記フラグを用いて比較する
第８の工程と、 該比較した画素データがすべて同方向に相関している場
合、該対象の画素の相関も周囲の画素と同じ方向に相関
があると判定して補正し、該補正した結果に応じて前記
対象の画素データと前記対象の画素データを挟んで該対
象の画素データと異色で、かつ前記相関方向の近傍に位
置する一対の画素データの加算平均と前記対象の画素の
画素データとにそれぞれ半分の重み係数を乗算した和を
とる第９の工程と、 前記判定した画素データの一つでも異なる方向の相関が
ある場合、前記対象の画素に対して割り当てられた相関
をそのまま用いる第10の工程とを含むことを特徴とする
画像信号処理方法。 - 【請求項６】 請求項５に記載の方法において、第９の
工程は、前記対象の画素を前記周辺の画素の相関のう
ち、最も多い相関方向と同方向に相関があると判定し、
該判断結果に応じて前記対象の画素データと前記対象の
画素データを挟んで該対象の画素データと異色で、かつ
前記相関方向の近傍に位置する一対の画素データの加算
平均と前記対象の画素の画素データとにそれぞれ半分の
重み係数を乗算した和をとることを特徴とする画像信号
処理方法。 - 【請求項７】 請求項１ないし６のいずれか一項に記載
の方法において、第３の工程は、前記仮想画素にあらか
じめ所定のデータを挿入後、垂直方向および／または水
平方向にローパスフィルタ処理を施すことを特徴とする
画像信号処理方法。 - 【請求項８】 被写界からの入射光を三原色に分解し、
得られた三原色の入射光を光電変換する複数の撮像素子
が隣接する撮像素子の幾何学的な中心に対して行および
／または列方向に半ピッチずらして配設され、該撮像素
子を実在画素とし、該撮像素子から得られる撮像信号の
それぞれをディジタルの画素データにして、該画素デー
タを用いて画素間に新たな画素を仮想画素として生成す
る補間処理を施し、輝度および色差データを生成する画
像信号処理方法において、該方法は、 前記画素データを２次元に表示した際に、前記画素デー
タの緑色が正方格子状に得られ、前記緑色を挟む一方の
対角位置の実在画素からの赤色の画素データと、他方の
対角位置の実在画素からの青色の画素データとをそれぞ
れ得る第１の工程と、 読み出した緑色の画素データを用いて前記仮想画素も補
間処理しながら緑色の画面を作成する第２の工程と、 読み出した画素データのうち、前記赤色および前記青色
の実在画素のいずれか一方を対象の画素とした際に、該
対象の画素に対して相関精度を向上させる判定を行いな
がら、該相関方向に位置する該対象の画素と異色の周囲
の他方の複数の画素データを用いて緑色の補色の画素デ
ータを生成するとともに、該補色の画素データを用いて
前記仮想画素も補間処理し、該補色の画面を作成する第
３の工程と、 得られた緑色の画面と前記補色の画面とを加算処理する
第４の工程と、 該加算処理して得られた画素データに水平方向または垂
直方向のいずれか一方に帯域制限処理を行う第５の工程
とを含むことを特徴とする画像信号処理方法。 - 【請求項９】 請求項８に記載の方法において、第３の
工程は、前記対象の画素と同色で水平および垂直方向に
位置する画素データを用いて水平／垂直方向の相関判別
を行う第６の工程とを含むことを特徴とする画像信号処
理方法。 - 【請求項１０】 請求項９に記載の方法において、第６
の工程は、前記相関判別を行う前に、前記対象の画素デ
ータの左水平方向に位置する前記対象の画素と同色の画
素データと前記対象の画素データとの差分絶対値を第１
水平差分絶対値とし、前記対象の画素データと前記対象
の画素データの右水平方向に位置する前記対象の画素と
同色の画素データとの差分絶対値を第２水平差分絶対値
とし、前記第１および第２水平差分絶対値の加算値を水
平比較データとし、前記対象の画素データの上垂直方向
に位置する前記対象の画素データと同色の画素データと
前記対象の画素データとの差分絶対値を第１垂直差分絶
対値とし、前記対象の画素データと前記対象の画素デー
タの下垂直方向に位置する前記対象の画素と同色の画素
データとの差分絶対値を第２垂直差分絶対値とし、前記
第１および第２垂直差分絶対値の加算値を垂直比較デー
タとしてそれぞれあらかじめ算出し、 前記水平比較データから前記垂直比較データを減算した
結果が所定の値以上の大きさのとき、垂直相関があると
判定する第１の判定工程と、 前記垂直比較データから前記水平比較データを減算した
結果が所定の値以上の大きさのとき、水平相関があると
判定する第２の判定工程と、 第１および第２の判定のいずれとも異なるとき無相関と
判定する第３の判定工程とを含むことを特徴とする画像
信号処理方法。 - 【請求項１１】 請求項10に記載の方法において、第１
または第２の判定工程の結果、前記相関判別で相関が有
る場合、前記対象の画素データを挟んで該対象の画素デ
ータと異色で、かつ前記相関方向の近傍に位置する一対
の画素データの加算平均と前記対象の画素の画素データ
とにそれぞれ半分の重み係数を乗算した和をとる第７の
工程と、 前記相関判別で無相関の場合、前記対象の画素データと
前記対象の画素データ対して周辺に位置する異色の画素
データの加算平均とにそれぞれ半分の重み係数を乗算し
た和をとる第８の工程とを含むことを特徴とする画像信
号処理方法。 - 【請求項１２】 請求項10に記載の方法において、第３
の工程は、前記実在画素に対する相関判別を行った後
に、前記対象の画素に対して該対象の画素と異なる周囲
の赤色および青色の一方の画素データのうち、前記対象
の画素を挟む上下の画素データまたは左右の画素データ
がいずれの方向に相関があるか前記フラグを用いて比較
する第９の工程と、 該比較した画素データがすべて同方向に相関している場
合、該対象の画素の相関も周囲の画素と同じ方向に相関
があると判定して補正し、該補正した結果に応じて前記
対象の画素データと前記対象の画素データを挟んで該対
象の画素データと異色で、かつ前記相関方向の近傍に位
置する一対の画素データの加算平均と前記対象の画素の
画素データとにそれぞれ半分の重み係数を乗算した和を
とる第10の工程と、 前記判定した画素データの一つでも異なる方向の相関が
ある場合、前記対象の画素に対して割り当てられた相関
をそのまま用いる第11の工程とを含むことを特徴とする
画像信号処理方法。 - 【請求項１３】 請求項12に記載の方法において、第11
の工程は、前記対象の画素を前記周辺の画素の相関のう
ち、最も多い相関方向と同方向に相関があると判定し、
該判断結果に応じて前記対象の画素データと前記対象の
画素データを挟んで該対象の画素データと異色で、かつ
前記相関方向の近傍に位置する一対の画素データの加算
平均と前記対象の画素の画素データとにそれぞれ半分の
重み係数を乗算した和をとることを特徴とする画像信号
処理方法。 - 【請求項１４】 請求項８に記載の方法において、第２
および第３の工程で行う前記仮想画素の補間処理は、そ
れぞれの工程で前記仮想画素にあらかじめ所定のデータ
を挿入後、垂直方向および／または水平方向にローパス
フィルタ処理または前記仮想画素の周辺に位置する画素
データの相関判断に応じた前記緑色および前記緑色の補
色の生成を行うことを特徴とする画像信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000390121A JP4503823B2 (ja) | 2000-12-22 | 2000-12-22 | 画像信号処理方法 |
| US10/020,919 US6897425B2 (en) | 2000-12-22 | 2001-12-19 | Method of processing an image signal with the result from decision on a correlation corrected |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000390121A JP4503823B2 (ja) | 2000-12-22 | 2000-12-22 | 画像信号処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009236043A Division JP4934183B2 (ja) | 2009-10-13 | 2009-10-13 | 画像信号処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002191053A true JP2002191053A (ja) | 2002-07-05 |
| JP2002191053A5 JP2002191053A5 (ja) | 2005-11-04 |
| JP4503823B2 JP4503823B2 (ja) | 2010-07-14 |
Family
ID=18856545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000390121A Expired - Fee Related JP4503823B2 (ja) | 2000-12-22 | 2000-12-22 | 画像信号処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6897425B2 (ja) |
| JP (1) | JP4503823B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129264A (ja) * | 2004-10-29 | 2006-05-18 | Fuji Photo Film Co Ltd | 色信号補正方法、装置及びプログラム |
| JP2006135919A (ja) * | 2004-11-09 | 2006-05-25 | Eastman Kodak Co | カラー撮像画像データの補間方法およびプログラム |
| CN1326088C (zh) * | 2004-02-10 | 2007-07-11 | 华晶科技股份有限公司 | 补足像素色彩的内插法 |
| US7656444B2 (en) | 2006-07-07 | 2010-02-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2016219622A (ja) * | 2015-05-21 | 2016-12-22 | 株式会社デンソー | 受光装置 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4423452B2 (ja) * | 2000-12-27 | 2010-03-03 | 富士フイルム株式会社 | 固体撮像装置 |
| JP4125927B2 (ja) * | 2002-08-16 | 2008-07-30 | 富士フイルム株式会社 | 固体撮像装置および固体撮像素子 |
| JP4284282B2 (ja) * | 2004-07-21 | 2009-06-24 | 富士フイルム株式会社 | 撮像装置及び固体撮像素子 |
| US20060104537A1 (en) * | 2004-11-12 | 2006-05-18 | Sozotek, Inc. | System and method for image enhancement |
| US7525583B2 (en) * | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
| US7697046B2 (en) * | 2005-12-07 | 2010-04-13 | Hoya Corporation | Image signal processing device and method of image signal processing including pixel array pattern determination |
| JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
| US8077234B2 (en) * | 2007-07-27 | 2011-12-13 | Kabushiki Kaisha Toshiba | Image pickup device and method for processing an interpolated color signal |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
| US8797391B2 (en) * | 2011-01-14 | 2014-08-05 | Himax Media Solutions, Inc. | Stereo image displaying method |
| US8698885B2 (en) * | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
| WO2013035679A1 (ja) * | 2011-09-07 | 2013-03-14 | シャープ株式会社 | 多原色表示装置 |
| KR101615332B1 (ko) * | 2012-03-06 | 2016-04-26 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치의 화소 배열 구조 |
| US10832616B2 (en) | 2012-03-06 | 2020-11-10 | Samsung Display Co., Ltd. | Pixel arrangement structure for organic light emitting diode display |
| EP3780113A1 (en) * | 2012-09-13 | 2021-02-17 | Samsung Display Co., Ltd. | Pixel arrangement structure for organic light emitting diode display |
| KR101427593B1 (ko) | 2013-04-26 | 2014-08-07 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 |
| JP6407643B2 (ja) | 2014-09-19 | 2018-10-17 | キヤノンメディカルシステムズ株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
| WO2016056332A1 (ja) * | 2014-10-06 | 2016-04-14 | オリンパス株式会社 | 撮像システム |
| JP6408884B2 (ja) * | 2014-11-28 | 2018-10-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CA3144532A1 (en) * | 2019-07-19 | 2021-01-28 | Basf Coatings Gmbh | Method and system for simulating texture features of a coating |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08298669A (ja) * | 1995-03-17 | 1996-11-12 | Eastman Kodak Co | 適応カラー補間単一センサカラー電子カメラ |
| JP2000152263A (ja) * | 1998-11-17 | 2000-05-30 | Fuji Photo Film Co Ltd | 固体撮像装置および画像データ作成方法 |
| JP2000184686A (ja) * | 1998-12-16 | 2000-06-30 | Shinko Electric Co Ltd | リニアモータおよびリニアモータにおける電磁ブレーキ装置 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2000197067A (ja) * | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4607265B2 (ja) | 1998-01-08 | 2011-01-05 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
| JP4372955B2 (ja) * | 2000-03-31 | 2009-11-25 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
-
2000
- 2000-12-22 JP JP2000390121A patent/JP4503823B2/ja not_active Expired - Fee Related
-
2001
- 2001-12-19 US US10/020,919 patent/US6897425B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08298669A (ja) * | 1995-03-17 | 1996-11-12 | Eastman Kodak Co | 適応カラー補間単一センサカラー電子カメラ |
| JP2000152263A (ja) * | 1998-11-17 | 2000-05-30 | Fuji Photo Film Co Ltd | 固体撮像装置および画像データ作成方法 |
| JP2000184686A (ja) * | 1998-12-16 | 2000-06-30 | Shinko Electric Co Ltd | リニアモータおよびリニアモータにおける電磁ブレーキ装置 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2000197067A (ja) * | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1326088C (zh) * | 2004-02-10 | 2007-07-11 | 华晶科技股份有限公司 | 补足像素色彩的内插法 |
| JP2006129264A (ja) * | 2004-10-29 | 2006-05-18 | Fuji Photo Film Co Ltd | 色信号補正方法、装置及びプログラム |
| US7728881B2 (en) | 2004-10-29 | 2010-06-01 | Fujifilm Corporation | Color signal correcting method, apparatus, and program |
| JP4581633B2 (ja) * | 2004-10-29 | 2010-11-17 | 富士フイルム株式会社 | 色信号補正方法、装置及びプログラム |
| JP2006135919A (ja) * | 2004-11-09 | 2006-05-25 | Eastman Kodak Co | カラー撮像画像データの補間方法およびプログラム |
| US7656444B2 (en) | 2006-07-07 | 2010-02-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2016219622A (ja) * | 2015-05-21 | 2016-12-22 | 株式会社デンソー | 受光装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6897425B2 (en) | 2005-05-24 |
| US20020113195A1 (en) | 2002-08-22 |
| JP4503823B2 (ja) | 2010-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002191053A (ja) | 画像信号処理方法 | |
| EP0732858B1 (en) | Adaptive color plane interpolation in single sensor color electronic camera | |
| JP3510037B2 (ja) | 適応カラー補間単一センサカラー電子カメラ | |
| US9729805B2 (en) | Imaging device and defective pixel correction method | |
| US7652701B2 (en) | Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor | |
| US5596367A (en) | Averaging green values for green photosites in electronic cameras | |
| US5382976A (en) | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients | |
| US6075889A (en) | Computing color specification (luminance and chrominance) values for images | |
| JP2004304706A (ja) | 固体撮像装置およびその補間処理方法 | |
| JP2002084547A (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| JP2010062640A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| JP3298545B2 (ja) | デジタルカメラ及び画像処理方法並びに記憶媒体 | |
| US6542187B1 (en) | Correcting for chrominance interpolation artifacts | |
| US20100086202A1 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| JP2001285885A (ja) | 固体撮像装置および信号処理方法 | |
| JP5621053B2 (ja) | 画像処理装置、方法及びプログラム並びに撮像装置 | |
| JP2007274504A (ja) | デジタルカメラ | |
| JP2000197067A (ja) | 固体撮像装置および画像デ―タ作成方法 | |
| JP4934183B2 (ja) | 画像信号処理方法 | |
| JP2001251636A (ja) | 固体撮像装置および画素欠陥検出方法 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP4243412B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP2001054127A (ja) | 固体撮像装置および画素欠陥補償方法 | |
| JP2001036809A (ja) | 固体撮像装置および画像処理方法 | |
| JP2002209100A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050909 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050909 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090619 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091013 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100422 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |