JP2000197067A - 固体撮像装置および画像デ―タ作成方法 - Google Patents

固体撮像装置および画像デ―タ作成方法

Info

Publication number
JP2000197067A
JP2000197067A JP10374561A JP37456198A JP2000197067A JP 2000197067 A JP2000197067 A JP 2000197067A JP 10374561 A JP10374561 A JP 10374561A JP 37456198 A JP37456198 A JP 37456198A JP 2000197067 A JP2000197067 A JP 2000197067A
Authority
JP
Japan
Prior art keywords
data
luminance
pixel
pixel data
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10374561A
Other languages
English (en)
Inventor
Masaru Osada
勝 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP10374561A priority Critical patent/JP2000197067A/ja
Publication of JP2000197067A publication Critical patent/JP2000197067A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ソフトウェアによる信号処理で解像度を従来
より向上させ、かつ処理時間を短縮化できる固体撮像装
置および画像データ作成方法の提供。 【解決手段】 ディジタルスチルカメラ10は、ベイヤパ
ターンのカラーフィルタCFを含む撮像部18からの撮像信
号をA/D 変換部20でディジタルにし、得られたデータを
用いて輝度データ作成部24a で輝度データYHが算出され
る。高域輝度データ作成部24b は輝度データYHにローパ
スフィルタ処理を施し信号に広域化を施す。プレーン補
間展開部24c は広帯域化された輝度データYhと本来の得
られたRGB の各色データとを用い画素に対応しない色デ
ータを作成する。マトリクス部24d はプレーンデータか
ら輝度信号Y および色差信号Cr, Cbを作成する。アパー
チャ調整部24e は供給する輝度信号Y の高域側の周波数
特性を改善させる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、色分解された入射
光を受光して、この入射光に応じた信号電荷を生成する
複数の受光素子からの信号を基に信号処理を施して画像
データを作成する固体撮像装置および画像データ作成方
法に関し、特に、たとえば、原色フィルタ配列の色分解
フィルタを用いるディジタルスチルカメラや画像入力装
置等に適用して好適なものである。
【０００２】
【従来の技術】画像の高品質化が望まれている。画像の
垂直解像度を向上させる方法には、一般に、全画素読出
し方法が一手法として適用される。さらに、カラー化で
は、色フィルタの配置も考慮して高画質化がソフトウェ
アを駆使したシミュレーションにより評価・検討され、
報告されてきている。この報告の一つに、前中章弘らに
よるビデオカメラの相関判別色分離方式（New Color In
terpolation Method using Correlation）、（テレビジ
ョン学会年次大会（Institute of Telecommunications
Engineers ）p113-p114, (1994) ）がある。
【０００３】この方式は、色分離する色フィルタが単板
のベイヤ配置にされた色分解フィルタを用いた場合を想
定している。この方式では、相関値検出ブロックと可変
ディジタルフィルタブロックの２つを用いてシミュレー
ションをしている。相関値検出ブロックは輝度に相当す
る信号の相関方向を画素毎に検出する。この検出処理
は、特開平7ー298275号公報に記載されているビデオカメ
ラの信号処理回路で行われる信号処理を用いている。信
号処理は、水平および／または垂直方向のアパーチャ信
号の作成と、水平および／または垂直方向の相関値の検
出と、この相関値に基づき水平／垂直の混合比率を制御
されたアパーチャ信号を出力している。相関値検出ブロ
ックでは水平／垂直の相関値を検出し可変ディジタルフ
ィルタブロックに送る。可変ディジタルフィルタブロッ
クでは、この相関値に応じて色信号内挿処理結果に重み
付け加算してアパーチャ信号を作成している。これによ
り、入力画像が無彩色のとき、水平・垂直方向に限界周
波数まで帯域を延ばすことができる。
【０００４】
【発明が解決しようとする課題】ところで、一般画像に
おいてG 信号の水平相関値の比重が大きくなる。換言す
ると、色G だけを用いていることになる。この場合、特
に、無彩色画像では水平限界周波数まで相関検出が可能
になる。しかしながら、色G だけの場合と色R, Bも同時
に用いた場合と比較して解像度が限界まで延びていな
い。
【０００５】また、相関値検出ブロックでの演算量が多
いことから、前述した信号処理をソフトウェアだけで行
うと、カメラの負担が大きく、処理時間を要してしま
う。したがって、カメラでの信号処理を短縮化しようと
してもこの手法では処理時間の短縮化は難しい。
【０００６】本発明はこのような従来技術の欠点を解消
し、ソフトウェアによる信号処理で解像度を従来より向
上させ、かつ処理時間を短縮化させることのできる固体
撮像装置および画像データ作成方法を提供することを目
的とする。
【０００７】
【課題を解決するための手段】本発明は上述の課題を解
決するために、被写界からの入射光を三原色RGB 色分解
する色フィルタがベイヤパターンに配された色分解手段
およびこの色分解手段の色フィルタに対応して行および
列方向に配列され色分解された入射光を受光してこの入
射光に応じた信号電荷を生成する複数の受光素子を含む
撮像手段、複数の受光素子からの撮像出力をディジタル
信号のデータに変換するディジタル変換手段、このディ
ジタル変換手段からの出力に基づいて受光素子のそれぞ
れに対する輝度データを作成する輝度演算手段、この輝
度演算手段からの出力に帯域制限を施して元の帯域より
広い帯域の輝度データを作成する輝度広帯域化手段、こ
の輝度広帯域化手段で作成された輝度データと受光素子
から得られたRGB の各色データとを用いて各色における
画面全体のプレーンデータを作成するプレーン演算手
段、このプレーン演算手段により作成されたプレーンデ
ータを用いて輝度データ、色差データを生成するマトリ
クス手段、ならびにこのマトリクス手段からの出力のう
ちで前記輝度データに対して輪郭強調処理を施すアパー
チャ調整手段を含むことを特徴とする。
【０００８】ここで、輝度演算手段は、作成する対象の
輝度データを画素データG と作成する対象の輝度データ
およびその周囲に位置する画素データR, Bとを用いて輝
度データを算出する対象演算手段、あるいは斜め方向、
水平方向および／または垂直方向の色境界の判断による
適応処理が考慮された輝度データの算出が行われる適応
演算手段のいずれかを含むことが好ましい。
【０００９】適応演算手段は、少なくとも、斜め方向の
演算の開始前と終了後に画素データを45°回転させる機
能を有することが有利である。開始時の回転により、撮
像により得られた画素データはベイヤパターンからG ス
トライプRG市松パターンになる。この状態で信号処理を
行い、この信号処理の終了時には回転方向を開始時に回
転させた方向と逆方向に回転させて元のベイヤパターン
に戻す。
【００１０】輝度広帯域化手段は、供給される輝度デー
タのうち、水平および／または垂直方向または斜め方向
の輝度データにローパスフィルタ処理を施す手段が用い
られことが望ましい。
【００１１】プレーン演算手段は、本来の撮像により得
られた色のデータを用いて補間演算が行われる補間演算
手段と、輝度広帯域化手段から供給される輝度データの
うち、補間対象の受光素子の位置に対応する輝度データ
から補間対象の受光素子の周囲に位置する輝度データの
平均を減算する補正演算手段と、補間演算手段および補
正演算手段からの各出力を加算する加算手段とを含むと
有利である。
【００１２】本発明の固体撮像装置は、ベイヤパターン
に配された撮像手段の受光素子からの撮像信号をディジ
タル変換手段で変換し、得られたデータを用いて輝度演
算手段で輝度データが算出される。この輝度データが輝
度広帯域化手段でのディジタル演算によりローパスのフ
ィルタリングが施されこの際の遮断周波数を高域側に設
定して得られる信号の広域化および折り返し歪みの除去
が図られる。プレーン演算手段ではこの広帯域化された
輝度データと受光素子から得られたRGB の各色データと
を用いて各色における全面のデータを作成する。すなわ
ち、単板のベイヤパターンを用いていることから、実際
に受光素子から１つの色データしか直接的に供給されな
いので他の２色の色データは存在しない。したがって、
プレーン演算手段では各受光素子に対応しないそれぞれ
の色のデータが演算により作成される。得られたプレー
ンデータをマトリクス手段を通して得られる輝度信号お
よび色差信号のうち、輝度信号をアパーチャ調整手段に
供給して高域側の周波数特性を改善させることにより、
信号特性を向上させるとともに、複雑な処理を行うこと
なく、処理時間を短くできる。
【００１３】また本発明は被写界からの入射光を三原色
RGB 色分解する色フィルタがベイヤパターンに配された
色分解手段とこの色分解手段の色フィルタに対応して行
および列方向に配列され、色分解された入射光を受光し
て、この入射光に応じた信号電荷を生成する複数の受光
素子を含む撮像手段を用意し、この撮像手段からの撮像
出力を用いて画像データを作成する画像データ作成方法
において、撮像手段からの撮像出力をディジタル信号の
データに変換するディジタル変換工程と、このディジタ
ル変換工程からの出力に基づいて受光素子のそれぞれに
対する輝度データを演算により作成する輝度算出工程
と、この輝度算出工程からの出力に帯域制限を施して元
の帯域より広い帯域の輝度データを作成する広帯域化工
程と、この広帯域化工程で作成された輝度データと受光
素子から得られたRGB の各色データを用いて各色におけ
る画面全体のプレーンデータを演算により作成するプレ
ーン演算工程と、このプレーン演算工程により作成され
たプレーンデータを用いて輝度データ、色差データを生
成するマトリクス工程と、このマトリクス工程により得
られる出力データのうちで輝度データに対して輪郭強調
処理を施すアパーチャ調整工程とを含むことを特徴とす
る。
【００１４】ここで、輝度算出工程は、作成する対象の
輝度データを画素データG と作成する対象位置の画素デ
ータの周囲に位置する画素データR, Bとを用いて対象の
輝度データを算出する対象算出工程、あるいは斜め方
向、水平方向および／または垂直方向の色境界の判断に
よる適応処理を考慮して輝度データの算出を行う適応算
出工程のいずれかにより輝度データの算出を行うことが
好ましい。
【００１５】適応算出工程は、輝度データの算出処理を
行う前に、この画像データに対して水平方向および垂直
方向の第１相関値をそれぞれ算出し、第１の所定の値と
各算出結果をそれぞれ比較し、この比較した結果が水平
方向に相関があると判断した際に、輝度データの算出を
水平方向の画素データを用いて加算し、この加算結果を
加算した画素データの個数を倍した値で割って周囲画素
データとする第１の水平輝度算出工程と、この比較した
結果が垂直方向に相関があると判断した際に、輝度デー
タの算出を垂直方向の画素データを用いて加算し、この
加算結果を加算した画素データの個数を倍した値で割っ
て周囲画素データとする第１の垂直輝度算出工程と、こ
の比較した結果が水平方向の第１相関値および垂直方向
の第１相関値が第１の所定の値より小さいとき、周囲画
素データとしてこの作成対象の周囲に最も近傍、かつ等
距離に位置する他方の画素データを加算し、この加算結
果を加算した画素データの個数を倍した値で割って算出
する平均輝度算出工程とを含み、作成対象の半値データ
と、第１の水平輝度算出工程、第１の垂直輝度算出工
程、および平均輝度算出工程のいずれか一つから得られ
る周囲画素データとから輝度データのパターンを作成す
ることが好ましい。
【００１６】適応算出工程は、輝度データの算出処理を
行う前に、水平方向および垂直方向の第１相関値をそれ
ぞれ算出し、第１の所定の値と各算出結果をそれぞれ比
較し、この比較結果に応じて第１の水平輝度算出工程あ
るいは第１の垂直輝度算出工程を行い、さらに、画素デ
ータR, G, B のうち、一方の画素データを作成対象とし
た際に、この作成対象の画素データを介して水平方向に
位置する他方の２つの画素データとこの作成対象の画素
データとを用いてそれぞれ得られた相関値を加算し、水
平方向および垂直方向の第２相関値をそれぞれ算出し、
第２の所定の値と各算出結果をそれぞれ比較し、この比
較した結果が水平方向に相関があるとの判断に応じて行
う第２の水平輝度算出工程と、この比較した結果が垂直
方向に相関があるとの判断に応じて行う第２の垂直輝度
算出工程と、この比較した結果がいずれの相関とも異な
る際に行う平均輝度算出工程とを含み、作成対象の半値
データと、第２の水平輝度算出工程、第２の垂直輝度算
出工程、および平均輝度算出工程のいずれか一つから得
られる周囲画素データとから輝度データのパターンを作
成することが望ましい。
【００１７】斜め方向の処理を簡単に行う場合、適応算
出工程は、作成対象の画素を介して相対する画素データ
G をそれぞれ加算し、得られた加算結果の差の絶対値に
より得られた値が第３の所定の値以上の場合、この作成
対象の周囲に等距離に位置する他方の画素データを加算
し、この加算結果を加算した画素データの個数を倍した
値で割って算出する周囲画素データと作成対象の画素の
半値データとを加算して輝度データを算出するとよい。
【００１８】また、適応算出工程は、輝度データの算出
処理を行う前に、少なくとも、 斜め方向の相関を求める
際に供給される画素データを45°回転させる回転処理工
程と、この回転処理工程により回転した位置関係におい
て、色R および／または色Bをそれぞれ作成対象の画素
にし、この作成対象画素を挟んで位置するこの対象画素
と異なる色の２つの画素データの差の絶対値から水平方
向および垂直方向の第３相関値をそれぞれ算出し、第４
の所定の値と各算出結果をそれぞれ比較し、この比較し
た結果が水平方向に相関があると判断した際に、輝度デ
ータの算出を水平方向の画素データを用いて加算し、こ
の加算結果を加算した画素データの個数を倍した値で割
って周囲画素データとする第１の水平輝度算出工程と、
この比較した結果が垂直方向に相関があると判断した際
に、輝度データの算出を垂直方向の画素データを用いて
加算し、この加算結果を加算した画素データの個数を倍
した値で割って周囲画素データとする第１の垂直輝度算
出工程と、この比較した結果が水平方向の第１相関値お
よび垂直方向の第１相関値が第１の所定の値より小さい
とき、周囲画素データとしてこの作成対象の周囲に等距
離に位置する他方の画素データを加算し、この加算結果
を加算した画素データの個数を倍した値で割って算出す
る平均輝度算出工程とを含み、作成対象の半値データ
と、第１の水平輝度算出工程、第１の垂直輝度算出工
程、および平均輝度算出工程のいずれか一つから得られ
る周囲画素データとから輝度データのパターンを作成す
る第１の場合と、この作成対象の画素を挟んで同一方向
に配された２対の色G の差の絶対値を加算してそれぞれ
水平方向の第４相関値および垂直方向の第４相関値を算
出し、これら第４相関値の差と第５の所定の値とそれぞ
れ比較し、この比較結果が第５の所定の値以上の場合、
作成対象の半値データと、水平輝度算出工程、垂直輝度
算出工程、および平均輝度算出工程のいずれか一つから
得られる周囲画素データを用いて算出し、算出後の画素
の回転を元に戻すことが好ましい。これにより、斜めの
適応処理を水平・垂直方向にみなしながら、処理の適用
範囲を広い範囲と狭い範囲の２段階で評価して輝度デー
タを算出することができる。
【００１９】広帯域化工程は、供給される輝度データの
うち、水平および／または垂直方向または水平、垂直方
向および／または斜め方向の輝度データにローパスフィ
ルタ処理を施すことが望ましい。
【００２０】プレーン演算工程は、ディジタル変換工程
により得られた各色の画素データと、広帯域化工程で得
られた輝度データを用い、画素データのG のプレーン補
間には、補間対象画素に対して水平方向および／または
垂直方向に隣接する画素データG の平均と補間対象画素
に対して水平方向および／または垂直方向に隣接してい
る輝度データの加算平均との差に補間対象画素の位置に
対応する輝度データを加算して得られる工程と、画素デ
ータのR のプレーン補間には、補間対象画素に対して斜
め方向に隣接する画素データR の平均と補間対象画素に
対して斜め方向と同方向に隣接している輝度データの加
算平均との差に補間対象画素の位置に対応する輝度デー
タを加算して得られる第１のR 工程と、色R の補間対象
画素に対して隣接した水平に位置する画素データの加算
平均とこの画素データ位置の輝度データの加算平均との
差に補間対象画素の輝度データを加算して得られる第２
のR 工程と、色R の補間対象画素に対して隣接した垂直
に位置する画素データの加算平均とこの画素データ位置
の輝度データの加算平均との差に補間対象画素の輝度デ
ータを加算して得られる第３のR 工程とを含み、さら
に、色B の補間対象画素に対して隣接した水平に位置す
る画素データの加算平均とこの画素データ位置の輝度デ
ータの加算平均との差に補間対象画素の輝度データを加
算して得られる第２のB 工程と、色B の補間対象画素に
対して隣接した垂直に位置する画素データの加算平均と
この画素データ位置の輝度データの加算平均との差に補
間対象画素の輝度データを加算して得られる第３のB 工
程とを含むことが好ましい。
【００２１】本発明の画像データ作成方法は、撮像によ
り得られた信号にディジタル変換処理を施し得られたデ
ータを用いて受光素子のそれぞれに対する輝度データを
算出する。この輝度データには広帯域化が施される。こ
れらの得られた輝度データおよび受光素子から得られた
RGB の各色データを用いて各色における画面全体のプレ
ーンデータを演算により作成して各色での補間が行われ
る。作成されたプレーンデータを用いて生成した輝度デ
ータ、色差データのうちで輝度データに対して輪郭強調
処理を施して出力することにより、得られる信号の特性
を向上させるとともに、複雑な処理を行うことなく、処
理時間を短くできる。
【００２２】
【発明の実施の形態】次に添付図面を参照して本発明に
よる固体撮像装置および画像データ作成方法の実施例を
詳細に説明する。
【００２３】本発明の固体撮像装置は、ベイヤパターン
により各色に分解して得られた撮像手段からの出力をデ
ィジタル変換手段でディジタルデータにして、輝度演算
手段で高域の輝度データが生成され、この輝度データが
輝度広帯域化手段で信号の広域化が図られる。この広帯
域化された輝度データと受光素子から得られたRGB の各
色データとを用いてプレーン演算手段では色の空隙位置
の輝度データを生成することにより各色における全面の
データを作成する。このようにして得られたプレーンデ
ータをマトリクス手段を通して得られる輝度信号および
色差信号のうち、輝度信号をアパーチャ調整手段に供給
して高域側の周波数特性を改善させる簡単な処理によ
り、信号特性を向上させて、かつ処理の短縮化も実現さ
せるという点に特徴がある。
【００２４】本実施例は、本発明の固体撮像装置を、た
とえば、ディジタルスチルカメラ10に適用した場合につ
いて図１〜図25を参照しながら説明する。特に、本実施
例は、ディジタルスチルカメラ10が記録モードに設定さ
れているときを念頭においてこの作成に必要な構成およ
びその画像データ作成の手順について説明する。ディジ
タルスチルカメラ10には、光学系12、レリーズシャッタ
14、システム制御部16、色分解フィルタCFを含めた撮像
部18、A/D 変換部20、バッファメモリ22、および信号処
理部24が備えられている。
【００２５】光学系12は、複数の光学レンズを有してい
る。光学系12は、たとえば、レリーズシャッタ14の第１
段の押圧操作（すなわち、半押し）によりこれらの光学
レンズの透過光を基に被写体との焦点距離や入射光量を
測光が行われる。この測光値に基づいてシステム制御部
16により図示しないが自動的に焦点距離を合わせたり露
光制御が行われる。レリーズシャッタ14は、上述したよ
うに撮像をする上に必要な情報を取り込む選択キーであ
り、第１段の押圧操作により深い押圧操作を行うとき
（すなわち、全押し）、ユーザが所望する撮像タイミン
グをシステム制御部16に供給するタイミングスイッチの
役割を有している。
【００２６】システム制御部16は、光学系12（測距・露
出制御を含む）、撮像部18、A/D 変変換部20、バッファ
メモリ22および信号処理部24を制御するように中央演算
処理装置が含まれている。また、システム制御部16に
は、レリーズシャッタ14からタイミング、設定が動作制
御を行う上で必要な情報として供給されている。
【００２７】撮像部18には、色分解フィルタCFが入射光
の側に配され、色分解フィルタCFを透過した光を光電変
換する受光素子が２次元に配されている。色分解フィル
タCFは、単板である。したがって、色分解フィルタCFの
色フィルタと受光素子とは、一対一の対応関係にある。
色分解フィルタCFは、たとえば、図２に示すような三原
色RGB の色フィルタが配置されている。この色パターン
は、正方格子の形状に色フィルタがベイヤ配置されてい
る。図２に示した画素数は、14個のうち、本来の色G が
８個、色R, Bがそれぞれ４個ずつである。
【００２８】受光素子は、たとえば、電荷結合素子（CC
D ）や金属酸化膜型半導体（MOS ）等のいずれでもよ
い。撮像部18は、この受光素子を２次元に上述した間隔
（ピッチ）での配置となるように形成してイメージセン
サを構成する。撮像部18は、受光素子により得られた信
号電荷をI/V 変換することにより、電圧レベルのアナロ
グ信号にしてA/D 変換部20に出力する。この撮像部18と
A/D 変換部20との間に相関二重サンプリング部を設けて
ノイズ除去を行ってもよい。また、ここで、ガンマ変換
によりガンマ補正を行ってもよい。
【００２９】A/D 変換部20は、撮像部18で得られた撮像
信号（アナログ信号）をディジタル信号に変換する。A/
D 変換部20は、撮像信号の信号レベルを情報の単位であ
るビットで表すため、たとえば、量子化レベルでスライ
スして得られるビット数に変換する。これにより、撮像
信号がビットで表されるディジタル信号に変換される。
【００３０】バッファメモリ22は、ディジタルデータを
一時的に記憶する機能を有するメモリである。バッファ
メモリ22は、複数枚の画像を記憶する容量を有してい
る。A/D 変換部20によりディジタル信号に変換された画
像データがバッファメモリ22にシステム制御部16の制御
により各画像毎に格納される。このように画像データを
格納しているので、バッファメモリ22は、画像データ単
位に画像データを読み出させることもできる。このバッ
ファメモリ22からの画像データ読出しもシステム制御部
16により制御される。このような一時的な記憶が必要な
い信号処理が後段で行われる場合、バッファメモリ22は
不要である。
【００３１】信号処理部24には、輝度データ作成部24a
、高域輝度データ作成部24b 、プレーン補間展開部24c
、マトリクス部24d およびアパーチャ調整部24e が備
えられる。輝度データ作成部24a は、実在する受光素子
の位置での輝度データの作成を行う。この作成は、演算
処理機能を用いて行われる。輝度データ作成部24a は、
各色R, G, B の各受光素子の各対象位置での輝度データ
Y を演算処理によって作成する。
【００３２】高域輝度データ作成部24b は、輝度データ
作成部24a で作成された各位置における輝度データY を
用いてフィルタ処理を行うディジタルフィルタである。
このディジタルフィルタはローパスフィルタで、得られ
る輝度データの通過周波数帯域を高域まで延びたアンチ
エリアシングフィルタである。高域輝度データ作成部24
b では、水平１次元、垂直１次元または水平・垂直の２
次元にLPF 処理を行ったり、対象の画素に対して斜め方
向の画素データを抽出してたすきがけにLPF 処理を施
す。このようにして得られた高域輝度データYhを高域輝
度データ作成部24b は、プレーン補間展開部24c に出力
する。
【００３３】プレーン補間展開部24c には、図３に示す
ようにR 補間展開部240a、G 補間展開部240bおよびB 補
間展開部240cが備えられている。これら各部は、演算部
である。R 補間展開部240a、G 補間展開部240bおよびB
補間展開部240cには、それぞれ一端側に高域輝度データ
Yhが供給され、もう一つの端子側から補間する色に対応
する画素データ、すなわちR データ、G データ、B デー
タが供給されている。このプレーン補間展開を行う際
に、演算処理により得られた画素データを用いてさらに
周辺に位置する対象の色に対する仮想画素を求めてい
る。R, G, B 補間展開部240a, 240b, 240cには、それぞ
れに、基本的に図４に示すように、補間演算部2400、補
正演算部2402および加算器2404が備えられている。補間
演算部2400は、本来の撮像により得られた色の画素デー
タを用いて補間演算を行う。補正演算部2402は、高域輝
度データ作成部24b から供給される輝度データのうち、
補間対象の受光素子の位置に対応する輝度データYHから
補間対象の受光素子の周囲に位置する輝度データの平均
を減算することで補正データを演算する。この演算によ
り高域アパーチャ成分が生成される。加算器2404は、補
間演算部2400および補正演算部2402からの各出力を加算
してない色の補間輝度データを算出している。より詳し
い算出の手順は、後段で述べる。
【００３４】マトリクス部24d は、供給される画像デー
タに基づいて輝度データY と色差データCr, Cbを生成す
る。マトリクス部24d には、プレーン補間展開部24c か
らの各RGB の補間展開された画像データが供給されてい
る。マトリクス部24d には、これらのデータを生成する
ように演算部（図示せず）が含まれている。マトリクス
部24d は、演算処理により輝度データY と色差データCr
=R-Yh, Cb=B-Yhを生成する。
【００３５】アパーチャ調整部24e には、輝度データY
に対してアパーチャ効果、たとえば輪郭強調等を従来の
構成を用いる。すなわち、アパーチャ調整部24e は、周
波数的に帯域制限周波数の近傍での信号レベルの低下を
抑制するようにこの高周波領域の信号レベルをアップさ
せるように調整する。
【００３６】なお、ディジタルスチルカメラ10は、図１
に図示していない圧縮／伸張処理部で、このようにして
得られた画像データに圧縮処理をシステム制御16の制御
により施す。圧縮された画像データは、システム制御16
の制御を受ける内蔵あるいは一体的に装着された記録再
生装置を介して記録媒体に記録される。逆に、記録媒体
に記録した圧縮された画像データを再生するとき、記録
時と同様に制御を受けて記録再生装置から画像データを
再生する。再生した画像データには、圧縮処理が施され
ているので、圧縮／伸張処理部で伸張処理を施して表示
部に供給し、表示させるようにしてもよい。このように
構成してベイヤパターンで得られた画像データを高品質
にしている。
【００３７】次にディジタルスチルカメラ10の動作につ
いて説明する。必要に応じて前述の構成で用いた図面も
参照する。ディジタルスチルカメラ10は、図５に示す撮
影および撮影した信号を圧縮して記録媒体（図示せず）
記録する一連の操作をメインフローチャートに従って行
う。ディジタルスチルカメラ10は、開始において電源を
投入してオン状態にして予め記憶されている初期設定に
設定する。この後、撮影準備段階としてレリーズシャッ
タ14を半押しする。この操作によりディジタルスチルカ
メラ10は、被写界から入射する光を測光する。この測光
に基づいて露出値の設定を行う露出制御、被写体との焦
点距離を調節するフォーカス制御が行われる。このよう
な制御・調節により撮影準備が行われる。さらに、レリ
ーズシャッタ14が深く押圧操作されると、レリーズシャ
ッタ14の全押しにより撮像タイミングがシステム制御部
16に供給される。
【００３８】ステップS10 では、撮像タイミングに応じ
て被写界の撮像が行われる。この撮像に際して、システ
ム制御部16は露出や焦点距離等が最適となるように設定
をして、そして撮像信号を撮像部18から出力させる。こ
の撮像信号は、図２のベイヤパターンの色フィルタ配列
により色分解された光を受光素子で光電変換して得られ
た信号である。撮像部18は、電荷の信号を電圧信号に変
換し、この撮像信号をA/D 変換部20に供給する。
【００３９】次にステップS12 では、供給される撮像信
号をディジタル信号に変換する。この変換は、A/D 変換
部20で行われる。A/D 変換部20で量子化された画像デー
タはバッファメモリ22に供給される。バッファメモリ22
は、後段での演算処理に同じ画素データを用いたりする
場合に一時的に蓄積させておくと有利である。しかしな
がら、演算処理が同時に画素データを処理できる場合不
要である。得られた画素データは信号処理部24に供給さ
れる。この後、サブルーチンSUB1に進む。
【００４０】サブルーチンSUB1では、システム制御部16
の制御を受けながら、供給される画素データから輝度デ
ータ（YH）を生成し、輝度データ（YH）を広帯域化によ
る輝度データ（Yh）にした後、プレーン補間処理を行
う。この手順については後段で詳述する。このサブルー
チンSUB1の後、サブルーチンSUB2に進む。
【００４１】サブルーチンSUB2では、サブルーチンSUB1
で得られたRGB 画素それぞれに対するプレーンデータを
用いて信号処理を行う。ここでの信号処理とは、輝度信
号Yと色差信号Cr, Cbとを生成し、さらに輝度信号Y に
対してアパーチャ調整を施す。このように生成されたデ
ータを図示しない圧縮処理部に供給してサブルーチンSU
B2を終える。
【００４２】次にステップS16 では、生成された信号、
すなわち輝度データY および色差データCr, Cbに対して
圧縮処理を施す。圧縮処理には、JPEG（Joint Photogra
phiccoding Experts Group ）や連続撮影した際に得ら
れる動画にMPEG（Moving Picture coding Experts Grou
p ）等を適用する。この処理が適用された後の信号を記
録装置（図示せず）に送る。この処理後、ステップS18
に進む。ステップS18では、記録装置を用いて記録媒体
に供給された信号を記録する。この記録後ただちにステ
ップS20 に進む。
【００４３】ステップS20 では、たとえば、静止画撮影
か動画撮影かに応じて処理手順を制御する。静止画撮影
と動画撮影は、たとえば、予めモード設定されており、
この設定時のデータを検出して判定する。検出したデー
タが動画撮影を示す場合、終了コマンドが供給されるな
いとき（NO）、ステップS10 に戻って前述した処理を繰
り返す。また、終了コマンドが供給された場合（YES
）、ディジタルスチルカメラ10の処理を終了する。こ
れとは別に静止画撮影を示すデータが検出された場合、
たとえば、カメラに搭載されているキーのどれかが操作
されたときもステップS10 に戻る。特に連写のような場
合に対応する。また、この場合、たとえば、キーが所定
の時間経過しても操作されなかったとき、無駄な電力消
費を避けるようにカメラの処理を終了する。このような
手順で処理することにより、従来の処理時間に比べて短
時間で処理することができる。
【００４４】さらにメインルーチンに用いたサブルーチ
ンSUB1, SUB2の処理およびこの処理により得られた信号
特性について説明する。この説明に先立ち、撮像部18か
らの撮像出力は、空間周波数表示（fh, fv）すると図６
に示す関係にある。すなわち、図２に示したベイヤパタ
ーンでRGB それぞれの撮像信号が得られるので、色Gと
色R, Bの信号は、それぞれ座標軸に対して45°傾斜した
四角形（G ）とこの四角形内に入れ子で、かつ各辺が座
標軸に平行な四角形（RB）になっている。四角形（G ）
の各点は、水平空間周波数軸に示すようにfs/2の位置で
ある。
【００４５】この撮像信号がA/D 変換部20を介してディ
ジタル信号に変換される。このとき、色と各受光素子の
位置、すなわち画素位置との関係を図７に示す。画素位
置は、たとえば、16画素を行列表現に基づく添字の数字
00〜33で表す。このように定義された画素データが信号
処理部24に供給される。信号処理部24の処理に対応して
順次サブルーチンSUB1, SUB2が動作する。
【００４６】サブルーチンSUB1では、図８に示すよう
に、供給された画素データからの輝度データYHの作成
（サブルーチンSUB3）、広帯域化処理（サブルーチンSU
B4での折り返し歪み防止を含む）およびRGB のプレーン
補間処理（サブルーチンSUB5）が行われる。このうち、
サブルーチンSUB3では、図９に示すように、まず、サブ
ステップSS30で適応処理を行うかどうかの判定を行う。
適応処理を行う場合（YES）にサブルーチンSUB6に進
む。また、適応処理を行わない場合（NO）、サブステッ
プSS32に進む。この場合サブステップSS32では、ベイヤ
対応の輝度信号を作成する（図10を参照）。このサブス
テップ32での輝度信号の作成は、一般的に行われている
演算手法である。基本的に輝度データY は、画素データ
G と画素データR, Bを用いて（0.5*R+0.5B）で算出でき
ることが知られている。この場合、画素データG は、そ
のまま輝度データとみなして扱われる（画素データG=輝
度データ）。たとえば、色B に関して、図７の画素B11
に対応する図10の輝度データYH=YB11 を算出するとき、
画素データR00, R02, R20, R22と輝度データの算出位置
である対象位置の画素データB11 を用いて、輝度データ
YB11は
【００４７】
【数１】 YB11=B11/2+(R00+R02+R20+R22)/8 ・・・(1) により算出される。
【００４８】また、色R に関して、図７の画素R22 にお
ける輝度データYH=YR22 を算出するとき、画素データB
11, B13, B31, B33と輝度データの算出位置である対象
位置の画素データR22 を用いて、輝度データYR22は、
【００４９】
【数２】 YR22=R22/2+(B11+B13+B31+B33)/8 ・・・(2) により算出される。
【００５０】色G についてはベイヤパターンが元々有す
る画素G を輝度データYHに用いる。したがって、図10の
場合、輝度データYG01=G01, YG10=G10, YG12=G12, YG21
=G21, YG23=G23, YG30=G30, およびYG32=G32となる。
【００５１】次のサブステップSS34では、この一連の処
理が１フレーム分終了したかの確認を行う。まだ処理が
終了していないとき（NO）、サブステップSS32に戻って
１フレームの画素データに対してこの関係から各画素に
対応する輝度データが算出できるように複数の画素デー
タをまとめ（すなわちブロック化し）て水平および垂直
方向に１画素分ずつずらしながら、輝度データの算出を
継続する。一方、処理が１フレーム終了したとき（YES
）、リターンに進む。
【００５２】前述した適応処理により輝度データYHを算
出する場合、図11〜図14に示すように、サブルーチンSU
B6の手順で処理を行う。最初に、図11のサブステップSS
600で斜め相関処理を行うかどうか選択を行う。斜め相
関処理を行う場合（YES ）、サブステップSS602 に進
む。また、斜め相関処理を行わない場合（NO）、接続子
A を介して図12のサブステップSS604 に進む。サブステ
ップSS604 の処理については後段で説明する。
【００５３】サブステップSS602 では、ベイヤパターン
の画素データを45°回転させる。この回転の結果、図15
に示すような関係に配されることになる。このパターン
は、G ストライプRB完全市松パターンになる。このパタ
ーンを利用してサブステップSS602 以後の斜め処理を行
うことにする。この画像データの回転処理後、サブステ
ップSS606 に進む。サブステップSS606 では、この斜め
処理を複数の段階を踏んで行うかどうかの判断を行う。
複数の段階を踏んで詳細に検討する場合（YES）サブス
テップSS608 に進む。また、複数の段階を踏んで行わな
い場合（NO）、サブステップSS610 に進む。サブステッ
プSS610 の処理は後段で説明する。
【００５４】サブステップSS608 では、比較データの算
出を行う。比較データは、たとえば適応処理を施す対象
の画素データを中心にしてその周囲の画素データがどの
方向に相関しているかの判別に用いる。たとえば、その
対象の画素データがB11 の場合、比較データARBH, ARBV
は、周囲の画素データR00, R22, R02, R20 を用いて、
【００５５】
【数３】 ARBH= ｜R00-R22 ｜ ・・・(3a) ARBV= ｜R02-R20 ｜ ・・・(3b) を算出する。反時計方向に45°の回転を行っているか
ら、斜めのたすきがけに算出する比較データが矢印H45,
V45が示す水平・垂直方向で演算することになる。これ
に対して、回転前の水平・垂直方向は矢印H, Vで表され
る（図15を参照）。本実施例では説明しないが、適応す
る画素データがR の場合は周囲の画素データB から算出
できる。この算出により、上下方向と左右方向の傾きを
表す比較データARBH, ARBVが得られることになる。この
演算の後、サブステップSS612 に進む。
【００５６】サブステップSS612 では、垂直相関の有無
を判定する。上述したように回転しているので、右斜め
方向の相関を判定していることになる。この判定には、
判定基準値としてJ0が設定されている。比較データARBH
と比較データARBVとの差（ARBH-ARBV ）が判定基準値J0
より大きいとき（YES ）、サブステップSS614 に進む。
また、この差（ARBH-ARBV ）が判定基準値J0より小さい
とき（NO）、サブステップSS616 に進む。
【００５７】サブステップSS614 では、右斜め方向に相
関があるものとして輝度データYHの作成を行う。相関の
ある作成対象の画素に対して、たとえば、画素データB
11 の場合、図15に示すように、その画素の垂直方向に
位置する縦２画素データR02, R20および作成対象の画素
データB11 を用いて輝度データYB11を式(4)
【００５８】
【数４】 YB11=B11/2+(R02+R20)/4 ・・・(4) により算出する。回転していないベイヤパターンでは、
相関のある右斜め方向の演算を行うと同じである。この
算出後、接続子B を介して図14のサブステップSS618 に
進む。
【００５９】サブステップSS618 では、１フレーム分の
画素データすべてに対して斜め相関処理を行ったかどう
かの判定を行っている。斜め相関処理が完了していない
とき（NO）、接続子C を介してサブステップSS608 に戻
る。そして、前述した処理を繰り返す。また、斜め相関
処理が完了しているとき（YES ）、サブステップSS620
に進む。サブステップSS620 では、回転を受けた方向と
逆方向に回転させて画素データの配置を戻す。
【００６０】サブステップSS616 では、サブステップSS
612 に対して水平相関の有無を判定する。この場合は左
斜め方向の相関を判定していることになる。この判定に
も、判定基準値としてJ0が設定されている。判定値は方
向により変えてもよい。比較データARBVと比較データAR
BHとの差（ARBV-ARBH ）が判定基準値J0より大きいとき
（YES ）、サブステップSS622 に進む。また、この差
（ARBV-ARBH ）が判定基準値J0より小さいとき（NO）、
サブステップSS624 に進む。
【００６１】サブステップSS622 では、左斜め方向に相
関があるものとして輝度データYHの作成を行う。相関の
ある作成対象の画素に対して、たとえば、画素データB
11 の場合、図15に示すように、その画素の水平方向に
位置する横２画素データR00, R22および作成対象の画素
データB11 を用いて輝度データYB11を式(5)
【００６２】
【数５】 YB11=B11/2+(R00+R22)/4 ・・・(5) により算出する。回転していないベイヤパターンでは、
相関のある左斜め方向の演算を行うと同じである。この
算出後、接続子B を介して図14のサブステップSS618 に
進む。
【００６３】サブステップSS624 では、新たに比較デー
タの算出を行う。比較データは、たとえば、適応処理を
施す対象の画素データを中心にしてその周囲の画素デー
タがどの方向に相関しているかの判別に用いる。たとえ
ば、その対象の画素データがB11 の場合、比較データAG
H, AGVは、周囲の画素データG01, G12, G10, G21を用い
て、
【００６４】
【数６】 AGH=｜G01-G12 ｜+ ｜G10-G21 ｜ ・・・(6a) AGV=｜G01-G10 ｜+ ｜G12-G21 ｜ ・・・(6b) を算出する。45°の回転を行っているから、斜めのたす
きがけに算出する比較データが矢印H45, V45が示す水平
・垂直方向の演算することになる。これに対して、回転
前の水平・垂直方向は矢印H, Vで表される。画素データ
がR の場合も周囲の画素データG から算出できる。この
算出により、先の比較データの算出範囲よりも作成対象
画素に距離的に近い範囲で比較データが得られている。
式(6a), (6b)に示すように同一方向の差の絶対値を加算
することで水平方向と垂直方向の相関値の総和を比較デ
ータAGH, AGVとして算出している。この演算の後、サブ
ステップSS626 に進む。
【００６５】サブステップSS626 では、対象の画素を挟
んで狭い範囲における右斜め相関の有無を判定してい
る。回転後の場合、垂直相関の有無を判定する。この判
定には判定基準値としてJ1が設定されている。比較デー
タAGH と比較データAGV との差（AGH-AGV ）が判定基準
値J1以上に大きいとき（YES ）、サブステップSS628 に
進む。また、この差（AGV-AGH ）が判定基準値よりも小
さいとき（NO）、サブステップSS630 に進む。
【００６６】サブステップSS628 では、右斜め方向に相
関があるものとして輝度データYHの作成を行う。相関の
ある作成対象画素が、たとえば、画素データB11 の場
合、式(4) を適用して算出する。この算出後、接続子D
を介して後段で説明する図14のサブステップSS634 に進
む。
【００６７】一方、サブステップSS626 の判定によりサ
ブステップSS630 に進んだ場合、対象の画素データを挟
んで斜めに位置する画素データに相関（すなわち、左斜
め相関）があるかどうか判定を行う。比較データAGV と
比較データAGH との差（AGV-AGH ）が判定基準値J1以上
に大きいとき（YES ）、サブステップSS632 に進む。ま
た、この差（AGV-AGH ）が判定基準値J1よりも小さいと
き（No）、接続子D を介して図14のサブステップSS634
に進む。サブステップSS632 では、左斜め方向に相関が
あるものとして輝度データYHの作成を行う。相関のある
作成対象画素が、たとえば、画素データB11 の場合、式
(5) を適用して算出する。この算出後、接続子D を介し
て後段で説明する図14のサブステップSS634 に進む。
【００６８】サブステップSS634 では、１フレーム分の
画素データすべてに対して斜め相関処理を行ったかどう
かの判定を行っている。斜め相関処理が完了していない
とき（NO）、接続子E を介してサブステップSS624 に戻
る。そして、前述した処理を繰り返す。また、斜め相関
処理が完了しているとき（YES ）、サブステップSS620
に進む。サブステップSS620 では、回転を受けた方向と
逆方向に回転させて画素データの配置を戻す。この後、
接続子A を介して図12のサブステップSS604 に移行す
る。
【００６９】一方、サブステップSS606 で段階的な手順
を踏まず、簡易的に斜め方向の相関判定を行う場合（N
O）、前述したようにサブステップSS610 に移行する。
サブステップSS10では、簡易的な判定のための比較デー
タAGの算出を行う。算出に用いる画素データは、対象画
素データをたとえば、画素B11 とした場合、図15から明
らかなように、画素B11 の周囲に位置する画素G01,
G12, G10, G21を用いる。比較データAGは、式(7)
【００７０】
【数７】 AG=|G01+G21-(G12+G10) ｜ ・・・(7) から算出する。この後、サブステップSS636 に進む。サ
ブステップSS636 では、たとえば、判定基準値J0を用い
て比較データAGと判定基準値J0との大きさを比較し、判
定する。比較データAGが判定基準値J0以上の大きさがあ
る場合（YES ）、サブステップSS638 に進む。また、比
較データAGが判定基準値J0より小さい場合（NO）、接続
子A を介して図12のサブステップSS604 に進む。サブス
テップSS638 では、斜め方向に相関があるとして輝度デ
ータYHの作成を行う。このとき、作成対象の画素の周囲
の４画素を加算平均して周囲データを算出する。この算
出後、接続子D を介して図14のサブステップSS634 に移
行して、前述した手順に従って動作する。次のサブステ
ップSS604 以降の手順は、水平・垂直方向の相関に応じ
て適応判断を下している。
【００７１】次にサブステップSS604 では、さらに相関
処理を行うかどうかの判断を行う。相関処理を行う場合
（YES ）、サブステップSS640 に進む。また、相関処理
をしない場合（NO）、サブステップSS642 に進む。サブ
ステップSS642 では、前述した斜め相関の判定結果、そ
の相関がなかったことおよび以後の相関処理をしないこ
とを踏まえて画素データの算出を行う。この場合、対象
の画素の周囲に位置する４つの画素データの平均を算出
する。たとえば、画素B11 の場合、周囲の４画素には、
画素データR00, R02, R20, R22を用いて
【００７２】
【数８】 YB11=B11/2+(R00+R02+R20+R22)/8 ・・・(8) により算出する。この関係は式(1) と全く同じである。
【００７３】画素データR22 を対象の画素にした場合、
この斜め相関により、図16の６パターンについて判別さ
れることになる。ところで、図16(a) 〜(f) の斜線部分
と斜線のない領域の境界近傍に偽色が発生してしまう虞
れが大きくなる。この配置は回転させていない状態で示
している。しかしながら、境界近傍に位置する画素デー
タR22 における輝度データYHが、上述した演算により算
出されると、画像全体として見た際に色境界での偽色の
発生を良好に抑圧することができる。具体的な説明を省
略するが、たとえば、画素データB=B11 に対しても後述
するように比較データを算出し斜め相関の有無に基づい
た適応的な輝度データYHを作成することができる。
【００７４】サブステップSS604 での判断により相関処
理を継続して行う場合、サブステップSS640 に進んで比
較データの算出を行う。たとえば、画素データB=B11 に
対する垂直方向の比較データABBVと水平方向の比較デー
タABBHを周囲に配置されている画素データB を用いて
【００７５】
【数９】 ABBH= ｜B-11-B31｜ ・・・(9a) ABBV= ｜B1-1-B13｜ ・・・(9b) を算出する。この算出した比較データARBV, ARBHの値を
用いてさらに相関値（ABBH-ABBV ）, （ABBV-ABBH ）を
算出する。この処理の後、サブステップSS644 に進む。
【００７６】サブステップSS644 では、算出された相関
値の差を新たに設けられた所定の判定基準値J2と比較し
て垂直相関の有無を判定する。この判定には、判定基準
値としてJ2a が設定されている。比較データABBHと比較
データABBVの差（ABBH-ABBV）が判定基準値J2a 以上に
大きいとき（YES ）、垂直相関があると判定してサブス
テップSS646 に進む。また、比較データの差(ABBH-AB
BV) が判定基準値J2a よりも小さいとき（NO）、垂直相
関がないものとみなしサブステップSS648 に進む。
【００７７】サブステップSS646 では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、図15に示す画素データB-11, B31 および画素データ
B11 を用いて輝度データYHを算出する。この場合、輝度
データYH=YB11 は、式(10)
【００７８】
【数１０】 YB11=B11/2+(B-11+B31)/4 ・・・(10) により算出される。この後、接続子F を介して図13のサ
ブステップSS650 に進む。
【００７９】サブステップSS648 では、対象の画素デー
タを挟んで水平に位置する画素データに相関（すなわ
ち、水平相関）があるかどうか判定を行う。この判定に
は、判定基準値として前述したJ2b を用いる。比較デー
タABBVと比較データABBHの差（ABBV-ABBH ）が判定基準
値J2b 以上に大きいとき（YES ）、水平相関があると判
定してサブステップSS652 に進む。また、比較データの
差(ABBV-ABBH) が判定基準値J2b よりも小さいとき（N
o）、水平相関がないと判定し、サブステップSS654 に
進む。
【００８０】サブステップSS652 では、相関のあるとし
て画素データB1-1, B13 および画素データB11 を用いて
輝度データYH=YB11 を算出する。この場合、輝度データ
YB11は、式(11)
【００８１】
【数１１】 YB11=B11/2+(B1-1+B13)/4 ・・・(11) により得られる。この後、この画素データにおける輝度
データYHの算出を終了したものとみなして接続子F を介
して図13のサブステップSS650 に進む。
【００８２】次にサブステップSS654 では、たとえば、
色B の画素に対して周囲の色G の画素を用いて相関判定
を行うかどうかを選択する。色G の画素が周囲の色R の
画素に対して中央位置に配されているので、サブステッ
プSS644, SS648において比較した画素間の距離よりも短
い。したがって、より狭い範囲に対して相関があるかど
うかの判定を以後の処理で行うことになる。この相関判
定を行う場合（YES ）、サブステップSS656 に進む。ま
た、この相関判定を行わない場合（NO）、サブステップ
SS642 に進む。この場合、判定基準値J2と異なる判定基
準値J2a, J2bのいずれの基準を満たさなかったものと判
定される。なお、以後の処理を行わない処理手順にして
もよい。
【００８３】サブステップSS656 では、比較データを算
出する。この場合の比較データは、対象の画素データと
周囲の画素データの各相関を求め、得られた各相関値を
加算することにより垂直方向および水平方向に対する算
出がされる。前述の場合と同様に画素データB11 に対す
る輝度データYHの算出は、垂直方向の比較データACBVと
水平方向の比較データACBHを周囲に配置されているもう
一方の色の画素データ、すなわち画素データB11=B を用
いて
【００８４】
【数１２】 ACBH= ｜G10-B ｜+ ｜G12-B ｜ ・・・(12a) ACBV= ｜G01-B ｜+ ｜G21-B ｜ ・・・(12b) を算出する。この処理の後、サブステップSS658 に進
む。この比較データを用いることにより、より一層画素
データの距離を画素データと近づけて相関値が求められ
ることになるので、先のサブステップSS644 〜SS652 の
手順での相関値の測定の範囲よりも狭い範囲に関して相
関の有無を調べることができる。
【００８５】サブステップSS658 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ3が設定されている。ここで、判
定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよ
い。比較データACBHと比較データACBVの差（ACBH-ACB
V ）が判定基準値J3以上に大きいとき（YES ）、垂直相
関があると判定してサブステップSS660 に進む。また、
比較データの差(ACBH-ACBV) が判定基準値J3よりも小さ
いとき（NO）、垂直相関がないと判定してサブステップ
SS662 に進む。
【００８６】サブステップSS660 では、垂直相関がある
ものとして、画素データG01, G21および画素データB11
を用いて輝度データYH=YB11 を算出する。この場合、輝
度データYB11は、式(13)
【００８７】
【数１３】 YB11=B11/2+(G01+G21)/4 ・・・(13) により得られる。また、サブステップSS662 では、対象
の画素データを挟んで水平に位置する画素データに相関
（すなわち、水平相関）があるかどうかの判定を行う。
この判定にも判定基準値J3が用いられる。
【００８８】サブステップSS662 において、比較データ
の差(ACBV-ACBH) が判定基準値J3以上のとき（YES ）、
水平相関があると判定してサブステップSS664 に進む。
この場合、サブステップSS640 での輝度データYHはサブ
ステップSS622 で前述したように画素データを用い、式
(5) に基づいて算出してもよい。この後、接続子F を介
して図13のサブステップSS650 に進む。また、サブステ
ップSS662 で比較データの差(ACBV-ACBH) が判定基準値
J3より小さいとき（No）、水平相関がないと判定してサ
ブステップSS642 に進む。
【００８９】サブステップSS664 では、水平相関がある
ものとして、画素データG10, G12および画素データB11
を用いて輝度データYH=YB11 を算出する。この場合、輝
度データYB11は、式(14)
【００９０】
【数１４】 YB11=B11/2+(G10+G12)/4 ・・・(14) により得られる。このように対象の画素データと周囲の
もう一方の色の画素データ（この場合、画素データG ）
を加算平均し0.5 の係数を乗算して輝度データYHを算出
している。この算出後、接続子F を介してサブステップ
SS650 に進む。これまでの斜め相関処理、水平・垂直相
関処理は、色B についての処理である。同様に色R につ
いても処理することができる。説明の簡略化をするため
斜め相関処理の説明を省略し、色R の水平・垂直相関処
理をサブステップSS666 以降で説明する。
【００９１】サブステップSS666 では、色R の相関処理
を行うかどうかの判断を行う。相関処理を行う場合（YE
S ）、サブステップSS666 に進む。また、相関処理をし
ない場合（NO）、サブステップSS668 に進む。サブステ
ップSS666 では比較データの算出を行う。たとえば、画
素データR=R22 に対する垂直方向の比較データARRVと水
平方向の比較データARRHを周囲に配置されている画素デ
ータR を用いて
【００９２】
【数１５】 ARRH= ｜R20-R24 ｜ ・・・(15a) ARRV= ｜R02-R42 ｜ ・・・(15b) を算出する。この算出した比較データARRV, ARRHの値を
用いてさらに相関値（ARRH-ARRV ）, （ARRV-ARRH ）を
算出する。この処理の後、サブステップSS670 に進む。
【００９３】サブステップSS670 では、算出された相関
値の差を新たに設けられた所定の判定基準値J4と比較し
て垂直相関の有無を判定する。この判定には、判定基準
値としてJ4a が設定されている。比較データARRHと比較
データARRVの差（ARRH-ARRV）が判定基準値J4a 以上に
大きいとき（YES ）、垂直相関があると判定してサブス
テップSS672 に進む。また、比較データの差(ARRH-AR
RV) が判定基準値J4a よりも小さいとき（NO）、垂直相
関がないものとみなしサブステップSS674 に進む。
【００９４】サブステップSS672 では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、図15に示す画素データR02, R42および画素データR
22 を用いて輝度データYHを算出する。この場合、輝度
データYH=YR22 は、式(16)
【００９５】
【数１６】 YR22=R22/2+(R02+R42)/4 ・・・(16) により算出される。この後、接続子G を介して図14のサ
ブステップSS676 に進む。
【００９６】サブステップSS674 では、対象の画素デー
タを挟んで水平に位置する画素データに相関（すなわ
ち、水平相関）があるかどうか判定を行う。この判定に
は、判定基準値として前述したJ4b を用いる。比較デー
タARRVと比較データARRHの差（ARRV-ARRH ）が判定基準
値J4b 以上に大きいとき（YES ）、水平相関があると判
定してサブステップSS678 に進む。また、比較データの
差(ARRV-ARRH) が判定基準値J4b よりも小さいとき（N
o）、水平相関がないと判定し、サブステップSS680 に
進む。
【００９７】サブステップSS678 では、相関のあるとし
て画素データR20, R24および画素データR22 を用いて輝
度データYH=YR22 を算出する。この場合、輝度データY
R22は、式(17)
【００９８】
【数１７】 YR22=R22/2+(R20+R24)/4 ・・・(17) により得られる。この後、この画素データにおける輝度
データYHの算出を終了したものとみなして接続子G を介
してサブステップSS676 に進む。
【００９９】次にサブステップSS680 では、たとえば、
色R の画素に対して周囲の色G の画素を用いた相関判定
を行うかどうかを選択する。色G の画素が周囲の色R の
画素に対して中央位置に配されているので、サブステッ
プSS670 〜SS674, SS678での処理に用いる画素間の距離
よりも短い。したがって、より狭い範囲に対して相関が
あるかどうかの判定を以後の処理で行うことになる。こ
の相関判定を行う場合（YES ）、サブステップSS682 に
進む。また、この相関判定を行わない場合（NO）、サブ
ステップSS668 に進む。この場合、判定基準値J4と異な
る判定基準値J4a, J4bのいずれの基準を満たさなかった
ものと判定される。なお、以後の処理を行わない処理手
順にしてもよい。
【０１００】サブステップSS682 では、比較データを算
出する。この場合の比較データは、対象の画素データと
周囲の画素データの各相関を求め、得られた各相関値を
加算することにより垂直方向および水平方向に対する算
出がされる。前述の場合と同様に画素データR22 に対す
る輝度データYHの算出は、垂直方向の比較データACRVと
水平方向の比較データACRHを周囲に配置されているもう
一方の色の画素データ、すなわち画素データR22=R を用
いて式(18a), (18b)
【０１０１】
【数１８】 ACRH= ｜G21-R ｜+ ｜G23-R ｜ ・・・(18a) ACRV= ｜G12-R ｜+ ｜G32-R ｜ ・・・(18b) を算出する。この処理の後、サブステップSS684 に進
む。この比較データを用いることにより、より一層画素
データの距離を画素データと近づけて相関値が求められ
ることになるので、先のサブステップSS670 〜SS674 お
よびSS678 の手順での相関値の測定の範囲よりも狭い範
囲に関して相関の有無を調べることができる。
【０１０２】サブステップSS684 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ5が設定されている。ここで、判
定基準値J5は、水平と垂直用にJ5a, J5bと分けてもよ
い。比較データACRHと比較データACRVの差（ACRH-ACR
V ）が判定基準値J5以上に大きいとき（YES ）、垂直相
関があると判定してサブステップSS686 に進む。また、
比較データの差(ACRH-ACRV) が判定基準値J5よりも小さ
いとき（NO）、垂直相関がないと判定してサブステップ
SS666 に進む。
【０１０３】サブステップSS686 では、垂直相関がある
ものとして、画素データG12, G32および画素データB11
を用いて輝度データYH=YB11 を算出する。この場合、輝
度データYB11は、式(19)
【０１０４】
【数１９】 YB11=B11/2+(G12+G32)/4 ・・・(19) により得られる。この算出後、接続子G を介してサブス
テップSS676 に進む。次にサブステップSS688 では、対
象の画素データを挟んで水平に位置する画素データに相
関（すなわち、水平相関）があるかどうかの判定を行
う。この判定にも判定基準値J5が用いられる。
【０１０５】サブステップSS688 において、比較データ
の差(ACRV-ACRH) が判定基準値J5以上のとき（YES ）、
水平相関があると判定してサブステップSS690 に進む。
また、サブステップSS688 で比較データの差(ACRV-AC
RH) が判定基準値J5より小さいとき（No）、水平相関が
ないと判定してサブステップSS668 に進む。サブステッ
プSS690 では水平相関があるとして、画素データG21, G
23および画素データB11を用いて輝度データYH=YB11 を
算出する。この場合、輝度データYB11は、式(20)
【０１０６】
【数２０】 YB11=B11/2+(G21+G23)/4 ・・・(20) により得られる。この輝度データYHの算出後、接続子G
を介してサブステップSS676 に進む。一方、サブステッ
プSS668 では、式(21)
【０１０７】
【数２１】 YR22=R22/2+(B11+B33+B13+B31)/8 ・・・(21) により対象の画素データと周囲のもう一方の色の画素デ
ータ（この場合、画素データB ）を加算平均し0.5 の係
数を乗算して輝度データYHを算出している。この算出
後、接続子G を介してサブステップSS676 に進む。
【０１０８】サブステップSS676 では、輝度データのデ
ータ作成が１フレーム分、完了したかどうかの判定を行
っている。この判定は、たとえば算出した輝度データYH
の個数をカウントし、このカウント値と受光素子の数と
が一致するかどうかで容易に行うことができる。カウン
ト値が受光素子の数より小さい値のとき（NO）、まだ処
理が完了していないと判定する。この結果、輝度データ
YHの算出処理を接続子H を介して図12のサブステップSS
604 にまで戻して、これまでの一連の処理を繰り返す。
また、カウント値が受光素子の数に一致したとき（YES
）、１フレーム分、完了したものとしてリターンに進
み、このサブルーチンSUB6を終了してサブルーチンSUB3
に移行させる。このようにして輝度データYHを算出した
後、サブルーチンSUB4に移行する。
【０１０９】ところで、このように水平・垂直方向の相
関に応じて輝度データを算出することにより、図18に示
すような色境界を含む画像は、色境界の方向を相関の方
向から推定することができる。なお、斜め、水平および
垂直相関を行うかどうかについては、初期設定で設定す
る際にフラグ等で設定しておくとよい。
【０１１０】次にサブルーチンSUB4の動作を説明する。
サブルーチンSUB4の動作は、前述したように高域輝度デ
ータ作成部24b のディジタルフィルタの構成に基づいて
ローパスフィルタ処理を行う。最初にサブステップSS40
では、斜めのローパスフィルタ処理（以下、斜め処理と
いう）を行うかどうかの判断を行う。斜め処理を行うと
き（YES ）、サブステップSS41に進む。また、斜め処理
をしないとき（NO）、サブステップSS42に進む。
【０１１１】サブステップSS41では、斜め方向のLPF 処
理を行う。この斜め処理は、対象の画素に対して右斜め
および左斜めの方向に、いわゆるたすきがけに画素デー
タをサンプリングして得られた画素データをディジタル
フィルタに通す。この信号入力によって画素データに広
帯域な演算が施される。この処理は１フレーム分の画素
に対して施される。この後、サブステップSS43に進む。
【０１１２】サブステップSS42では、水平方向にローパ
スフィルタ処理を行うかどうかの判断を行う。水平処理
を行うとき（YES ）、サブステップSS44に進む。また、
水平処理を行わないとき（NO）、サブステップSS46に進
む。サブステップSS44では、水平方向に画素データをサ
ンプリングして広帯域なLPF 処理を施す。この後、サブ
ステップSS46に進む。サブステップSS46では、垂直方向
にローパスフィルタ処理を行うかどうかの判断を行う。
垂直処理を行うとき（YES ）、サブステップSS48に進
む。また、垂直処理を行わないとき（NO）、サブステッ
プSS43に進む。サブステップSS48では、垂直方向に画素
データをサンプリングして広帯域なLPF 処理を施す。こ
の後、サブステップSS43に進む。
【０１１３】サブステップSS43では、１フレーム分の処
理が終了したかどうかの判断を行う。まだ１フレームの
フィルタ処理が終了していないとき（NO）、サブステッ
プSS40に戻る。１フレーム分の処理が終了しているとき
（YES ）、リターンに進む。そしてこのサブルーチンSU
B4を終了する。このようにして広帯域な輝度信号Yhが図
19に示すように生成される。この結果、広帯域な輝度信
号Yhを空間周波数fh,fvで表すと、図５に示すように最
も広い空間周波数となることが判る。なお、水平・垂直
方向のフィルタ処理は、それぞれ各方向毎に行ったが、
２次元のディジタルフィルタで一度に処理してしまう方
法でもよい。
【０１１４】次にサブルーチンSUB5に進んで単板フィル
タを使用することにより画素毎に３原色のうち、２つ色
のない画素になってしまうので、これらの色について補
間処理を施す。この補間処理によって３原色のプレーン
画像が生成される。この処理手順を図20を参照しながら
説明する。３原色のプレーン画像の生成は、プレーン補
間展開部24c 内に含まれる図３に示すR 補間展開部240
a, G 補間展開部240b,B 補間展開部240cでそれぞれ行わ
れる。サブルーチンSUB5ではたとえば、最初にサブステ
ップSS50でR 補間処理を行う。図21に示すように、画素
データR の輝度データYhは、Yr00, Yr02, Yr20, Yr22が
実際に得られる。これらの画素データを用いて、行列表
示でr01, r11, r12 の位置の画素データをそれぞれ算出
する。たとえば、画素データYr01は、両端に位置する画
素データR00, R02の加算平均とこれらの位置における広
帯域な輝度データYr00, Yr02の加算平均との差に補間対
象の画素における広帯域な輝度データYg02を加算する式
(22)
【０１１５】
【数２２】 Yr01=(R00+R02)/2-(Yr00+Yr02)/2+Yg01 ・・・(22) により算出される。たとえば、周囲の４画素に対する中
心に位置する画素データYr11は、周囲の４画素データR
00, R02, R20, R22の加算平均とこれらの位置における
広帯域な輝度データYr00, Yr02, Yr20, Yr22との差に補
間対象の画素における広帯域な輝度データYb11を加算す
る式(23)
【０１１６】
【数２３】 Yr11=(R00+R02+R20+R22)/4-(Yr00+Yr02+Yr20+Yr22)/4+Yb11 ・・・(23) により算出される。また、たとえば、画素データY
r12は、上下に位置する画素データR02, R22の加算平均
とこれらの位置における広帯域な輝度データYr02, Yr22
の加算平均との差に補間対象の画素における広帯域な輝
度データYg12を加算する式(24)
【０１１７】
【数２４】 Yr12=(R02+R22)/2-(Yr02+Yr22)/2+Yg12 ・・・(24) により算出される。図21に示すようにこれら３つの式(2
2)-(24) を用いると「L」字型の画素領域を補間するこ
とができる。このように画素領域を選んで補間すると、
この３式のパターンだけで１フレーム分を補間すること
ができる。このような処理を行った後にサブステップSS
52に進む。
【０１１８】サブステップSS52では、G 補間処理を行
う。この処理は、図22に示すように、画素データG の輝
度データYhは、Yg01, Yg03, Yg10, Yg12, Yg21, Yg23,
Yg30,Yg32が実際に得られる。これらの画素データを用
いて、行列表示でg11, g22等の位置の画素データをそれ
ぞれ算出する。たとえば、画素データYg11は、補間対象
の画素データを囲む画素データG01, G03, G10, G12の加
算平均とこれらの位置における広帯域な輝度データ
Yg01, Yg03, Yg10, Yg12の加算平均との差に補間対象の
画素における広帯域な輝度データYb11を加算する式(25)
【０１１９】
【数２５】 Yg11=(G01+G03+G10+G12)/4-(Yg01+Yg03+Yg10+Yg12)/4+Yb11 ・・・(25) により算出される。このように画素データG は、対象を
囲む周囲の画素位置関係を用いて容易に算出する。この
式を用いて、１フレーム分の算出を行って、サブステッ
プSS54に進む。
【０１２０】サブステップSS54では、色B の補間処理を
行う。形成されるパターン位置は異なるが、色R の場合
と同様の「L 」字型パターンであることを参照すると考
え易い。図23に示すように、画素データB の輝度データ
Yhは、Yb11, Yb13, Yb31, Yb33が実際に得られる。これ
らの画素データを用いて、行列表示でb12, b22, b23の
位置の画素データをそれぞれ算出する。たとえば、画素
データYb11は、両端に位置する画素データB11, B13の加
算平均とこれらの位置における広帯域な輝度データ
Yb11, Yb13の加算平均との差に補間対象の画素における
広帯域な輝度データYg12を加算する式(26)
【０１２１】
【数２６】 Yb12=(B11+B13)/2-(Yb11+Yb13)/2+Yg12 ・・・(26) により算出される。たとえば、周囲の４画素に対する中
心に位置する画素データYb22は、周囲の４画素データB
11, B13, B31, B33の加算平均とこれらの位置における
広帯域な輝度データYb11, Yb13, Yb31, Yb33との差に補
間対象の画素における広帯域な輝度データYr22を加算す
る式(27)
【０１２２】
【数２７】 Yb22=(B11+B13+B31+B33)/4-(Yb11+Yb13+Yb31+Yb33)/4+Yr22 ・・・(27) により算出される。また、たとえば、画素データY
b23は、上下に位置する画素データB13, B33の加算平均
とこれらの位置における広帯域な輝度データYb13, Yb33
の加算平均との差に補間対象の画素における広帯域な輝
度データYg23を加算する式(28)
【０１２３】
【数２８】 Yb23=(B13+B33)/2-(Yb13+Yb33)/2+Yg23 ・・・(28) により算出される。図22に示すようにこれら３つの式(2
6)-(28) を用いると「L」字型の画素領域を補間するこ
とができる。このように画素領域を選んで補間すると、
この３式のパターンだけで１フレーム分を補間すること
ができる。このような処理を行った後にサブステップSS
56に進む。
【０１２４】サブステップSS56では、１フレーム分の処
理が終了したかどうかの判断をしている。まだ処理が終
了していないとき（NO）、サブステップSS50に戻って処
理を繰り返す。また、処理が終了しているとき（YES
）、リターンに進む。リターンを介してプレーン補間
処理を終了させてサブルーチンSUB1が終了する。このよ
うにサブルーチンSUB1の処理による信号の空間周波数の
変化を示す。図23(a) は、本来の色R/B が有する帯域で
ある。図23(b) は、サブルーチンSUB4の処理により得ら
れる広帯域化された輝度データYhを示したものである。
ここでの輝度データYhは、対象位置の輝度データと周囲
の画素位置における輝度データの加算平均との差（高域
アパーチャ成分）を意味している。さらに、RGB それぞ
れに対する補間が行われるとともに、この補間された画
素データと上述した輝度データYhとを加算した際の帯域
が図23(c) のようになる。
【０１２５】次にサブルーチンSUB2の動作を図24を用い
て説明する。サブステップSS200 では、信号処理部24の
プレーン補間展開部24c から出力されたRGB のプレーン
データを用いてマトリクス処理をマトリクス部24d で行
う。このマトリクス処理により輝度データY 、色差デー
タ(R-Y), (B-Y)が生成される。この処理後、サブステッ
プSS202 に進む。サブステップSS202 では、輝度データ
Y にアパーチャ調整を施す。このアパーチャ調整は、図
１のアパーチャ調整部24e で行われている。アパーチャ
調整は、輝度データY の高域側が低下することを防止す
るため信号の高域を上げる調整を施している。このよう
に処理して高域まで帯域の延びた輝度データY が得られ
る。この処理の後、サブステップSS206 に進む。ここで
も１フレーム分の信号処理が終了したかどうか判断して
いる。まだ終了していないとき（NO）、サブステップSS
200 に戻って前述の処理を繰り返す。処理が終了してい
るとき（YES ）、リターンに進み、サブルーチンSUB2を
終了してディジタルスチルカメラ10のメインルーチンに
戻る。
【０１２６】このように前述した処理を行うことによっ
て、得られた撮像信号を本来の解像度に比べて高解像度
の信号（データ）にすることができるとともに、色境界
で生じていた偽信号を良好に抑圧することができる。こ
れにより、得られる画像の画質をよりよい画質にするこ
とができる。これらの信号処理は、単純な演算で行なっ
ているので信号処理の時間を短縮化することができる。
そして、ソフトウェア処理で十分に可能なので、装置構
成の簡略化も図ることが容易にできる。本実施例では、
画像データを45°回転する処理した後のデータ処理を説
明したが、45°回転させる箇所を斜め処理だけに施して
斜め処理を水平・垂直方向の処理とみなして処理させる
ようにしてもよい。
【０１２７】
【発明の効果】このように本発明の固体撮像装置によれ
ば、ベイヤパターンに配された撮像手段の受光素子から
の撮像信号をディジタル変換手段で変換し、得られたデ
ータを用いて輝度演算手段で輝度データが算出される。
この輝度データが輝度広帯域化手段でのディジタル演算
によりローパスのフィルタリングが施されこの際の遮断
周波数を高域側に設定して得られる信号の広域化が図ら
れる。プレーン演算手段ではこの広帯域化された輝度デ
ータと受光素子から得られたRGB の各色データとを用い
て各色における全面のデータを作成する。すなわち、単
板のベイヤパターンを用いていることから、実際に受光
素子から必ず１つの色データが直接的に供給されるが、
他の２色の色データは存在しない。したがって、プレー
ン演算手段では各受光素子に対してそれぞれの色のデー
タが演算により作成される。得られたプレーンデータを
マトリクス手段を通して得られる輝度信号および色差信
号のうち、輝度信号をアパーチャ調整手段に供給して高
域側の周波数特性を改善させることにより、信号特性を
向上させるとともに、複雑な処理を行うことなく、ソフ
トウェアでの処理が可能になり、その処理時間も短くで
きる。ソフトウェアにより実現することから、装置構成
も簡略化することができる。
【０１２８】また、本発明の画像データ作成方法によれ
ば、撮像により得られた信号にディジタル変換処理を施
し得られたデータを用いて受光素子のそれぞれに対する
輝度データを算出する。この輝度データには広帯域化が
施される。これらの得られた輝度データおよび受光素子
から得られたRGB の各色データを用いて各色における画
面全体のプレーンデータを演算により作成して各色での
補間が行われる。作成されたプレーンデータを用いて生
成した輝度データ、色差データのうちで輝度データに対
して輪郭強調処理を施して出力して、得られる信号の特
性を向上させるとともに、複雑な処理を行うことなく、
処理時間も短くできることにより、従来のベイヤパター
ンで得られる信号よりも高画質の信号を高速に提供でき
る。
【図面の簡単な説明】
【図１】本発明の固体撮像装置をディジタルスチルカメ
ラに適用した際の概略的な構成を示すブロック図であ
る。
【図２】図１の撮像部に用いる色フィルタのベイヤパタ
ーンを示す模式図である。
【図３】図１の信号処理部におけるプレーン補間展開部
の概略的な構成を示すブロック図である。
【図４】図３のプレーン補間展開部の基本的な構成を示
すブロック図である。
【図５】図１のディジタルスチルカメラの動作手順を示
すメインフローチャートである。
【図６】図１のディジタルスチルカメラが扱う信号の空
間周波数分布を示す図である。
【図７】図１の撮像部における受光素子と色フィルタと
の関係を表す模式図である。
【図８】図４のメインフローチャートにおけるサブルー
チンSUB1の処理手順を説明するフローチャートである。
【図９】図８のサブルーチンSUB1における輝度データの
作成手順を説明するサブルーチンSUB3のフローチャート
である。
【図１０】図９の処理手順により得られる輝度データYH
の色の情報を含めた配置関係を示すパターンの模式図で
ある。
【図１１】図９のサブルーチンSUB3で行なう適応処理の
手順を説明するサブルーチンSUB6のフローチャートであ
る。
【図１２】図11のサブルーチンSUB6の適応処理の手順を
継続して説明するフローチャートである。
【図１３】図12のサブルーチンSUB6の適応処理の手順を
継続して説明するフローチャートである。
【図１４】図13のサブルーチンSUB6の適応処理の手順を
継続して説明するフローチャートである。
【図１５】図７のベイヤパターンを45°回転させた場合
の位置関係を説明する模式図である。
【図１６】図11〜図14の適応処理により判定可能な斜め
方向の色境界のパターンを示す模式図である。
【図１７】図11〜図14の適応処理により判定可能な水平
・垂直方向の色境界のパターンを示す模式図である。
【図１８】図８のサブルーチンSUB4が行なう広帯域化処
理の手順を説明するフローチャートである。
【図１９】図18の広帯域化処理により得られる輝度デー
タYhの色を含めた配置パターンを示す模式図である。
【図２０】図８のRGB プレーン補間処理を行なうサブル
ーチンSUB5の処理手順を説明するフローチャートであ
る。
【図２１】図19の輝度データYhのうち、実際に得られる
色R の輝度データとこれらの輝度データ間の補間される
画素との位置関係を示す模式図である。
【図２２】図19の輝度データYhのうち、実際に得られる
色G の輝度データとこれらの輝度データ間の補間される
画素との位置関係を示す模式図である。
【図２３】図19の輝度データYhのうち、実際に得られる
色B の輝度データとこれらの輝度データ間の補間される
画素との位置関係を示す模式図である。
【図２４】図５のサブルーチンSUB1の処理手順により得
られる信号を水平空間周波数と信号レベルの関係を表す
周波数分布図である。
【図２５】図５のメインルーチンにおける信号処理の処
理手順を説明するサブルーチンSUB2のフローチャートで
ある。
【符号の説明】 10 ディジタルスチルカメラ 12 光学系 14 レリーズシャッタ 16 システム制御部 18 撮像部 20 A/D 変換部 22 バッファメモリ 24 信号処理部 24a 輝度データ作成部 24b 高域輝度データ作成部 24c プレーン補間展開部 24d マトリクス部 24e アパーチャ調整部

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 被写界からの入射光を三原色RGB 色分解
    する色フィルタがベイヤパターンに配された色分解手段
    および該色分解手段の色フィルタに対応して行および列
    方向に配列され色分解された入射光を受光して該入射光
    に応じた信号電荷を生成する複数の受光素子を含む撮像
    手段、 前記複数の受光素子からの撮像出力をディジタル信号の
    データに変換するディジタル変換手段、 該ディジタル変換手段からの出力に基づいて前記受光素
    子のそれぞれに対する輝度データを作成する輝度演算手
    段、 該輝度演算手段からの出力に帯域制限を施して元の帯域
    より広い帯域の輝度データを作成する輝度広帯域化手
    段、 該輝度広帯域化手段で作成された輝度データと前記受光
    素子から得られたRGBの各色データとを用いて各色にお
    ける画面全体のプレーンデータを作成するプレーン演算
    手段、 該プレーン演算手段により作成されたプレーンデータを
    用いて輝度データ、色差データを生成するマトリクス手
    段、ならびに該マトリクス手段からの出力のうちで前記
    輝度データに対して輪郭強調処理を施すアパーチャ調整
    手段を含むことを特徴とする固体撮像装置。
  2. 【請求項２】 請求項１に記載の装置において、前記輝
    度演算手段は、作成する対象の輝度データを画素データ
    G と作成する対象位置の画素データおよびその周囲に位
    置する画素データR, Bとを用いて輝度データを算出する
    対象演算手段、あるいは斜め方向、水平方向および／ま
    たは垂直方向の色境界の判断による適応処理が考慮され
    た輝度データの算出が行われる適応演算手段のいずれか
    を含むことを特徴とする固体撮像装置。
  3. 【請求項３】 請求項１に記載の装置において、前記適
    応演算手段は、少なくとも、斜め方向の演算の開始前と
    終了後に画素データを45°回転させる機能を有すること
    を特徴とする固体撮像装置。
  4. 【請求項４】 請求項１に記載の装置において、前記輝
    度広帯域化手段は、供給される輝度データのうち、水平
    および／または垂直方向または斜め方向の輝度データに
    ローパスフィルタ処理を施す手段が用いられことを特徴
    とする固体撮像装置。
  5. 【請求項５】 請求項１に記載の装置において、前記プ
    レーン演算手段は、本来の撮像により得られた色のデー
    タを用いて補間演算が行われる補間演算手段と、 前記輝度広帯域化手段から供給される輝度データのう
    ち、補間対象の受光素子の位置に対応する輝度データか
    ら補間対象の受光素子の周囲に位置する輝度データの平
    均を減算する補正演算手段と、 前記補間演算手段および前記補正演算手段からの各出力
    を加算する加算手段とを含む固体撮像装置。
  6. 【請求項６】 被写界からの入射光を三原色RGB 色分解
    する色フィルタがベイヤパターンに配された色分解手段
    と該色分解手段の色フィルタに対応して行および列方向
    に配列され色分解された入射光を受光して該入射光に応
    じた信号電荷を生成する複数の受光素子を含む撮像手段
    を用意し、該撮像手段からの撮像出力を用いて画像デー
    タを作成する画像データ作成方法において、該方法は、 前記撮像手段からの撮像出力をディジタル信号のデータ
    に変換するディジタル変換工程と、 該ディジタル変換工程からの出力に基づいて前記受光素
    子のそれぞれに対する輝度データを演算により作成する
    輝度算出工程と、 該輝度算出工程からの出力に帯域制限を施して元の帯域
    より広い帯域の輝度データを作成する広帯域化工程と、 該広帯域化工程で作成された輝度データと前記受光素子
    から得られたRGB の各色データを用いて各色における画
    面全体のプレーンデータを演算により作成するプレーン
    演算工程と、 該プレーン演算工程により作成されたプレーンデータを
    用いて輝度データ、色差データを生成するマトリクス工
    程と、 該マトリクス工程により得られる出力データのうちで前
    記輝度データに対して輪郭強調処理を施すアパーチャ調
    整工程とを含むことを特徴とする画像データ作成方法。
  7. 【請求項７】 請求項６に記載の方法において、前記輝
    度算出工程は、作成する対象位置の輝度データを画素デ
    ータG および作成する対象位置の画素データとその周囲
    に位置する画素データR, Bを用いて前記対象位置の輝度
    データを算出する対象算出工程、あるいは斜め方向、水
    平方向および／または垂直方向の色境界の判断による適
    応処理を考慮して輝度データの算出を行う適応算出工程
    のいずれかにより輝度データの算出を行うことを特徴と
    する画像データ作成方法。
  8. 【請求項８】 請求項７に記載の方法において、前記適
    応算出工程は、前記輝度データの算出処理を行う前に、
    画像データに対して水平方向および垂直方向の第１相関
    値をそれぞれ算出し、第１の所定の値と各算出結果をそ
    れぞれ比較し、 該比較した結果が水平方向に相関があると判断した際
    に、前記輝度データの算出を水平方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする第１の水平輝度
    算出工程と、 該比較した結果が垂直方向に相関があると判断した際
    に、前記輝度データの算出を垂直方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする第１の垂直輝度
    算出工程と、 該比較した結果が前記水平方向の第１相関値および前記
    垂直方向の第１相関値が前記第１の所定の値より小さい
    とき、前記周囲画素データとして該作成対象の周囲に最
    も近傍、かつ等距離に位置する他方の画素データを加算
    し、該加算結果を加算した画素データの個数を倍した値
    で割って算出する平均輝度算出工程とを含み、 前記作成対象の半値データと、前記第１の水平輝度算出
    工程、前記第１の垂直輝度算出工程、および前記平均輝
    度算出工程のいずれか一つから得られる周囲画素データ
    とから輝度データのパターンを作成することを特徴とす
    る画像データ作成方法。
  9. 【請求項９】 請求項７に記載の方法において、前記適
    応算出工程は、前記輝度データの算出処理を行う前に、
    前記水平方向および前記垂直方向の第１相関値をそれぞ
    れ算出し、第１の所定の値と各算出結果をそれぞれ比較
    し、この比較結果に応じて前記第１の水平輝度算出工程
    あるいは前記第１の垂直輝度算出工程を行い、 さらに該方法は、 前記画素データR, BあるいはG のうち、一方の画素デー
    タを作成対象とした際に、該作成対象の輝度データを介
    して水平方向に位置する他方の２つの画素データと該作
    成対象の画素データとを用いてそれぞれ得られた相関値
    を加算し、水平方向および垂直方向の第２相関値をそれ
    ぞれ算出し、第２の所定の値と各算出結果をそれぞれ比
    較し、該比較した結果が水平方向に相関があるとの判断
    に応じて行う第２の水平輝度算出工程と、 該比較した結果が垂直方向に相関があるとの判断に応じ
    て行う第２の垂直輝度算出工程と、 該比較した結果がいずれの相関とも異なる際に行う平均
    輝度算出工程とを含み、 前記作成対象の半値データと、前記第２の水平輝度算出
    工程、前記第２の垂直輝度算出工程、および前記平均輝
    度算出工程のいずれか一つから得られる周囲画素データ
    とから輝度データのパターンを作成することを特徴とす
    る信号処理方法。
  10. 【請求項１０】 請求項７に記載の方法において、前記
    適応算出工程は、前記作成対象の画素を介して相対する
    画素データG をそれぞれ加算し、得られた加算結果の差
    の絶対値により得られた値が第３の所定の値以上の場
    合、該作成対象の周囲に等距離に位置する他方の画素デ
    ータを加算し、該加算結果を加算した画素データの個数
    を倍した値で割って算出する周囲画素データと前記作成
    対象の画素の半値データとを加算して輝度データを算出
    することを特徴とする信号処理方法。
  11. 【請求項１１】 請求項７に記載の方法において、前記
    適応算出工程は、前記輝度データの算出処理を行う前
    に、少なくとも、 斜め方向の相関を求める際に供給され
    る画素データを45°回転させる回転処理工程と、 該回転処理工程により回転した位置関係において、色R
    および／または色B をそれぞれ作成対象の画素にし、該
    作成対象画素を挟んで位置する該対象画素と異なる色の
    ２つの画素データの差の絶対値から前記水平方向および
    前記垂直方向の第３相関値をそれぞれ算出し、第４の所
    定の値と各算出結果をそれぞれ比較し、 該比較した結果が水平方向に相関があると判断した際
    に、前記輝度データの算出を水平方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする第１の水平輝度
    算出工程と、 該比較した結果が垂直方向に相関があると判断した際
    に、前記輝度データの算出を垂直方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする第１の垂直輝度
    算出工程と、 該比較した結果が前記水平方向の第１相関値および前記
    垂直方向の第１相関値が前記第１の所定の値より小さい
    とき、前記周囲画素データとして該作成対象の周囲に等
    距離に位置する他方の画素データを加算し、該加算結果
    を加算した画素データの個数を倍した値で割って算出す
    る平均輝度算出工程とを含み、 前記作成対象の半値データと、前記第１の水平輝度算出
    工程、前記第１の垂直輝度算出工程、および前記平均輝
    度算出工程のいずれか一つから得られる周囲画素データ
    とから輝度データのパターンを作成する第１の場合と、 該作成対象の画素を挟んで同一方向に配された２対の色
    G の差の絶対値を加算してそれぞれ水平方向の第４相関
    値および垂直方向の第４相関値を算出し、これら第４相
    関値の差と第５の所定の値とそれぞれ比較し、該比較結
    果が前記第５の所定の値以上の場合、前記作成対象の半
    値データと、前記水平輝度算出工程、前記垂直輝度算出
    工程、および前記平均輝度算出工程のいずれか一つから
    得られる周囲画素データを用いて算出し、算出後の画素
    の回転を元に戻すことを特徴とする信号処理方法。
  12. 【請求項１２】 請求項６に記載の方法において、前記
    広帯域化工程は、供給される輝度データのうち、水平お
    よび／または垂直方向または水平、垂直方向および／ま
    たは斜め方向の輝度データにローパスフィルタ処理を施
    すことを特徴とする画像データ作成方法。
  13. 【請求項１３】 請求項６に記載の方法において、前記
    プレーン演算工程は、前記ディジタル変換工程により得
    られた各色の画素データと、前記広帯域化工程で得られ
    た輝度データを用い、 前記画素データのG のプレーン補間には、補間対象画素
    に対して水平方向および／または垂直方向に隣接する画
    素データG の平均と前記補間対象画素に対して水平方向
    および／または垂直方向に隣接している輝度データの加
    算平均との差に前記補間対象画素の位置に対応する輝度
    データを加算して得られる工程と、 前記画素データのR のプレーン補間には、補間対象画素
    に対して斜め方向に隣接する画素データR の平均と前記
    補間対象画素に対して前記斜め方向と同方向に隣接して
    いる輝度データの加算平均との差に前記補間対象画素の
    位置に対応する輝度データを加算して得られる第１のR
    工程と、 前記色R の補間対象画素に対して隣接した水平に位置す
    る画素データの加算平均と該画素データ位置の輝度デー
    タの加算平均との差に前記補間対象画素の輝度データを
    加算して得られる第２のR 工程と、 前記色R の補間対象画素に対して隣接した垂直に位置す
    る画素データの加算平均と該画素データ位置の輝度デー
    タの加算平均との差に前記補間対象画素の輝度データを
    加算して得られる第３のR 工程とを含み、 さらに該方法は、 前記色B の補間対象画素に対して隣接した水平に位置す
    る画素データの加算平均と該画素データ位置の輝度デー
    タの加算平均との差に前記補間対象画素の輝度データを
    加算して得られる第２のB 工程と、 前記色B の補間対象画素に対して隣接した垂直に位置す
    る画素データの加算平均と該画素データ位置の輝度デー
    タの加算平均との差に前記補間対象画素の輝度データを
    加算して得られる第３のB 工程とを含むことを特徴とす
    る画像データ作成方法。
JP10374561A 1998-12-28 1998-12-28 固体撮像装置および画像デ―タ作成方法 Withdrawn JP2000197067A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10374561A JP2000197067A (ja) 1998-12-28 1998-12-28 固体撮像装置および画像デ―タ作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10374561A JP2000197067A (ja) 1998-12-28 1998-12-28 固体撮像装置および画像デ―タ作成方法

Publications (1)

Publication Number Publication Date
JP2000197067A true JP2000197067A (ja) 2000-07-14

Family

ID=18504051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10374561A Withdrawn JP2000197067A (ja) 1998-12-28 1998-12-28 固体撮像装置および画像デ―タ作成方法

Country Status (1)

Country Link
JP (1) JP2000197067A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021849A1 (fr) * 2000-09-07 2002-03-14 Nikon Corporation Processeur d'image et procede de conversion de systeme colorimetrique
JP2002191053A (ja) * 2000-12-22 2002-07-05 Fuji Photo Film Co Ltd 画像信号処理方法
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
WO2003096702A1 (en) 2002-05-08 2003-11-20 Matsushita Electric Industrial Co., Ltd. Image signal processing device, image signal processing circuit, image signal processing method, program, and recording medium
KR100566270B1 (ko) 2004-03-31 2006-03-29 삼성전자주식회사 영상 보간방법
US7236628B2 (en) 1999-12-21 2007-06-26 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recording therein
US7289665B2 (en) 2001-03-05 2007-10-30 Nikon Corporation Image processing device and image processing program
JP2008187274A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 固体撮像装置
JP2010016883A (ja) * 2009-10-13 2010-01-21 Fujifilm Corp 画像信号処理方法
KR101001072B1 (ko) 2004-12-27 2010-12-14 로베르트 보쉬 게엠베하 색상 분리

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236628B2 (en) 1999-12-21 2007-06-26 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recording therein
US7362897B2 (en) 1999-12-21 2008-04-22 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
WO2002021849A1 (fr) * 2000-09-07 2002-03-14 Nikon Corporation Processeur d'image et procede de conversion de systeme colorimetrique
US7146042B2 (en) 2000-09-07 2006-12-05 Nikon Corporation Image processing apparatus and colorimetric system conversion method
JP2002191053A (ja) * 2000-12-22 2002-07-05 Fuji Photo Film Co Ltd 画像信号処理方法
JP4503823B2 (ja) * 2000-12-22 2010-07-14 富士フイルム株式会社 画像信号処理方法
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
US7565007B2 (en) 2001-01-25 2009-07-21 Nikon Corporation Image processing method, image processing program, and image processing apparatus
US7289665B2 (en) 2001-03-05 2007-10-30 Nikon Corporation Image processing device and image processing program
CN1326402C (zh) * 2002-05-08 2007-07-11 松下电器产业株式会社 图像信号处理的装置、电路、方法、程序及记录媒体
US7499086B2 (en) 2002-05-08 2009-03-03 Panasonic Corporation Image signal processing apparatus, image signal processing circuit, image signal processing method, program, and recording medium
KR100960176B1 (ko) 2002-05-08 2010-05-26 파나소닉 주식회사 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체
WO2003096702A1 (en) 2002-05-08 2003-11-20 Matsushita Electric Industrial Co., Ltd. Image signal processing device, image signal processing circuit, image signal processing method, program, and recording medium
KR100566270B1 (ko) 2004-03-31 2006-03-29 삼성전자주식회사 영상 보간방법
KR101001072B1 (ko) 2004-12-27 2010-12-14 로베르트 보쉬 게엠베하 색상 분리
JP2008187274A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 固体撮像装置
JP2010016883A (ja) * 2009-10-13 2010-01-21 Fujifilm Corp 画像信号処理方法

Similar Documents

Publication Publication Date Title
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
US7148925B2 (en) Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor
US5506619A (en) Adaptive color plan interpolation in single sensor color electronic camera
JP4503823B2 (ja) 画像信号処理方法
US6847397B1 (en) Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
US8320714B2 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
JP2004128985A (ja) 撮像システム、再生システム、撮像プログラム、再生プログラム
JP4372955B2 (ja) 固体撮像装置および信号処理方法
JP2006165975A (ja) 撮像素子、撮像装置、画像処理方法
JP2002209223A (ja) 画像処理装置および方法、並びに記録媒体
JP2000197067A (ja) 固体撮像装置および画像デ―タ作成方法
JP4272443B2 (ja) 画像処理装置および画像処理方法
JP5291788B2 (ja) 撮像装置
Lukac Single-sensor digital color imaging fundamentals
JP4077161B2 (ja) 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
US7551204B2 (en) Imaging apparatus having a color image data measuring function
JP4934183B2 (ja) 画像信号処理方法
JP4243412B2 (ja) 固体撮像装置および信号処理方法
JP2002209100A (ja) 画像処理装置および画像処理方法
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP2001036809A (ja) 固体撮像装置および画像処理方法
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP4278893B2 (ja) 固体撮像装置
JP2008079301A (ja) 撮像装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060307