JP2001326942A

JP2001326942A - 固体撮像装置および信号処理方法

Info

Publication number: JP2001326942A
Application number: JP2000144634A
Authority: JP
Inventors: Masaru Osada; 勝長田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2000-05-12
Filing date: 2000-05-12
Publication date: 2001-11-22
Anticipated expiration: 2020-05-12
Also published as: JP4243412B2

Abstract

(57)【要約】【課題】画素ずらし配置でも動画像・静止画像の両方
で高品位な画像の得ることのできる固体撮像装置および
信号処理方法の提供。【解決手段】ディジタルカメラ10は、操作部14の静止
画・動画設定部142で設定したモードに応じて撮像部28
から撮像して得られた信号電荷をアナログ信号として読
み出し、この信号をディジタル信号に変換してディジタ
ル画像を生成し、このディジタル画像の画素データに信
号処理部34で補正を施し、上述したモードに応じて行う
補間処理を静止画補間部44および動画補間部46のいずれ
か一方で行い、静止画補間部44および動画補間部46をそ
れぞれ供給元にし、この設定したモードに応じて供給元
からの実在画素および／または補間処理した画素データ
を選択スイッチ48で選択し、選択スイッチ48を介して供
給される処理結果を基に広帯域化処理部34c でそれぞ
れ、輝度信号および色差信号を生成している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、固体撮像装置およ
び信号処理方法に関し、特に、画素ずらしした、いわゆ
るハニカム配置した固体撮像素子を用いて撮像し、静止
画像および／または動画像を生成するたとえば、ディジ
タルカメラ、画像入力装置等に用いて好適なものであ
る。

【０００２】

【従来の技術】従来より静止画と動画とを切り換えて撮
像する装置が多数商品化されている。これら商品のう
ち、民生用の商品には動画と静止画のいずれか一方を主
な用途とした商品が多い。動画を主用途とする例として
たとえば、特開平9-233410号公報のディジタルビデオカ
メラがある。このディジタルビデオカメラは、動画記録
中に静止画取込み要求があった場合、静止画を一旦記憶
して動画記録が終了すると同時に記憶した静止画を読み
出して記録させている。

【０００３】また、特開平7-67027 号公報の静止画・動
画両用カメラは、静止画を主に検討されたカメラであ
る。このカメラは、静止画の単写モードと連写モードの
スイッチの投入、切換えが簡単にでき、かつ動画撮影が
行われている間でも動画撮影を中止し、自動的または選
択により静止画記録を行う機能を有している。

【０００４】このように静止画および動画に対応するビ
デオカメラにおいて、動画モードのシャッタ速度は1/60
秒に設定されている。静止画モードでの撮影では、屋外
の場合手振れや画面の動きによるボケをなくし、蛍光灯
下のフリッカーの影響をなくすように検出した撮像出力
レベルに応じて露光制御する際にビデオカメラ装置はた
とえば、1/100 秒の高速シャッタが切れるように制御さ
れる。このような制御を行って使い勝手をよくしたビデ
オカメラ装置が特開平9-83945 号公報にある。

【０００５】さらに、動画・静止画の両方ともに高品位
な画像を得るには、画素数の多い動画用のプロ仕様の機
材が用いられる。プロ仕様の機材としては、業務用また
はHDTV（High Definition TeleVision：高精細度テレビ
ジョン）等がある。特開平10-108121 号公報の電子カメ
ラは、撮像手段で撮像した画像情報を画素密度変換手段
で表示画面の走査形式に適合した画素密度に変換して動
画記録手段と静止画記録手段とにそれぞれ動画像と静止
画像とを記録させている。

【０００６】また、静止画像と動画像とを一つの情報記
録媒体に記録する構成として、従来の機器を単に組合せ
る構成にすると機器が大きくなるので、機器の携帯性お
よび操作性が悪くなるとともに、両画像を所望の品質で
記録する困難さも生じることが知られている。これらを
改善するように特開平6-315107号公報のディジタルカメ
ラが提案されている。ディジタルカメラは、状態検出手
段で検出した状態に応じて動作モードを設定し、駆動手
段では設定した動作モードに応じて撮像手段を駆動し格
納手段に格納し、この格納手段から読出し手段で画像デ
ータを読み出して圧縮手段で動作モードに応じた圧縮を
施して書込み手段により情報記録媒体に記録している。

【０００７】

【発明が解決しようとする課題】ところが、画素ずらし
をともなう構成の撮像部を用い、前述してきたように動
画・静止画の両方ともに高品位な画像を得ようとして
も、従来の撮像部の駆動をそのまま適用できない。した
がって、動画・静止画の高品位な画像を得る場合には新
たな信号電荷の読出し方法を用いることが思料される。

【０００８】本発明はこのような従来技術の欠点を解消
し、画素ずらし配置でも動画像・静止画像の両方で高品
位な画像の得ることのできる固体撮像装置および信号処
理方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上述の課題を解
決するために、入射光を色分解し、この色分解した入射
光を光電変換して撮像し、この撮像により得られた信号
に信号処理を施して広帯域な信号にする固体撮像装置に
おいて、この装置は、入射光を異なる分光特性の複数の
色に色分解する色フィルタセグメントを含む色分解手
段、この色分解手段の色フィルタセグメントを通った入
射光を光電変換する受光素子とこの受光素子に隣接した
受光素子とが互いに垂直方向および／または水平方向に
ずらされて２次元配置された受光部、およびこの受光部
の受光素子で光電変換されて蓄積された信号電荷を所定
の順序で順次読み出し、外部の出力信号として出力する
読出し手段を含む撮像手段と、この撮像手段から供給さ
れる信号をディジタル変換して画素データにするディジ
タル変換手段と、この撮像手段から信号電荷を読み出す
複数のモードおよびこの複数のモードに応じて施す信号
処理の設定を切り換えるモード設定手段と、画素データ
に補正を施し、この複数のモードに応じた画像データに
対する補間処理を行う補間手段、およびディジタル変換
した画像データおよび／または補間処理の施された画像
データから得られる輝度信号と色差信号の帯域を広げる
処理を行う広帯域化手段を含む信号処理手段とを含み、
受光素子の実在する位置から得られる画素を実在画素と
し、受光素子の中間の位置の画素を仮想画素とし、補間
手段は、補正した画素データを用いて、モード設定手段
が設定した静止画像生成のモードに対応したデータを補
間生成する第１の補間手段と、補正した画素データを用
いて、モード設定手段が設定した動画像生成のモードで
の各位置に画素データを対応させてデータを補間する第
２の補間手段とを含み、第１の補間手段が生成する高周
波成分を含む高周波輝度データと第２の補間手段から得
られる色G の色データをモード設定手段の設定に応じて
切換え選択する選択手段が広帯域化手段の前に配される
ことを特徴とする。

【００１０】本発明の固体撮像装置は、モード設定手段
で設定したモードに応じて撮像手段から信号電荷をアナ
ログ信号として読み出し、アナログ信号をディジタル信
号に変換してディジタル画像を生成し、このディジタル
画像の画素データに信号処理手段で補正を施し、上述し
たモードに応じて行う補間処理を第１および第２の補間
手段のいずれか一方で行い、第１および第２の補間手段
をそれぞれ供給元にし、この設定したモードに応じて供
給元からの実在画素および／または補間処理した画素デ
ータを選択手段で選択し、選択手段を介して供給される
処理結果を基に広帯域化処理手段でそれぞれ、輝度信号
および色差信号を生成するとともに、生成した輝度信号
および色差信号の帯域を高くしている。

【００１１】また、本発明は上述した課題を解決するた
めに、被写界からの入射光を集光させこの入射光を三原
色RGB に色分解する色フィルタセグメントが配された色
フィルタを用い、さらに、この入射光を光電変換する複
数の受光素子を用意し、この複数の受光素子のそれぞれ
が、隣接する互いの受光素子に対して各受光素子の幾何
学的な形状の中心が互いに行方向および／または列方向
に該受光素子のピッチの半分に相当する距離だけずれて
配され、この受光素子によって得られた信号電荷を読み
出し、ディジタル変換して得られた画像データに施す信
号処理方法において、この方法は、撮像した画像に対し
て設定する複数のモードのうち、静止画または動画のモ
ードを設定するモード設定工程と、色フィルタが一方の
色G を正方格子状に配され、この色フィルタの色G を挟
んで対角位置に同色R,またはB が配される完全市松パタ
ーンにより色分解され、受光素子で得られた信号電荷を
読み出す撮像工程と、この得られた信号電荷をディジタ
ル変換して画素データにするディジタル変換工程と、こ
の得られた画素データを記憶させる画像記憶工程と、画
素データに補正を施し、この複数のモードに応じた画像
データに対する補間処理を行い、ディジタル変換した画
像データおよび／または補間処理の施された画像データ
から得られる輝度信号と色差信号の帯域を広げる処理を
行う信号処理工程とを含み、受光素子の実在する位置か
ら得られる画素を実在画素とし、受光素子の中間の位置
の画素を仮想画素とし、信号処理工程は、補正した画素
データを用いて、設定した静止画像生成のモードに対応
したデータを補間生成する第１補間工程と、補正した画
素データを用いて、設定した動画像生成のモードでの各
位置に画素データを対応させてデータを補間する第２補
間工程と、モード設定に応じた処理に用いる供給元を、
第１の補間工程で生成した高周波成分を含む高周波輝度
データおよび第２の補間工程から得られる色G の色デー
タのいずれか一方を選択する選択工程とを含むことを特
徴とする。

【００１２】本発明の信号処理方法は、静止画または動
画のモードに設定した際に撮像を受光素子に行わせ、受
光素子に蓄積した信号電荷の読出しを設定したモードに
応じて行い、信号電荷をディジタル信号に変換して実在
画素の画素データを一時記憶し、これら画素データに補
正を施し、補正を設定したモードに応じてデータ補間を
行い、静止画生成のモードで高周波輝度データを、動画
生成のモードで色G の色データを用いて広帯域化を図る
ことにより、各モードで形成した画像を高画質化させる
ことができる。特に所定の時間内に画像の形成が要求さ
れる動画でも高画質化を可能にする。

【００１３】

【発明の実施の形態】次に添付図面を参照して本発明に
よる固体撮像装置の実施例を詳細に説明する。

【００１４】本発明の固体撮像装置は、モード設定部の
設定したモードに応じて撮像部から信号電荷をアナログ
信号として読み出し、アナログ信号をディジタル信号に
変換してディジタル画像を生成し、このディジタル画像
の画素データに信号処理部で補正を施し、上述したモー
ドに応じて行う補間処理を第１および第２補間部のいず
れか一方で行い、第１および第２補間部をそれぞれ供給
元にし、この設定したモードに応じて供給元からの実在
画素および／または補間処理した画素データを選択部で
選択し、選択部を介して供給される処理結果を基に広帯
域化処理部でそれぞれ、輝度信号および色差信号を生成
するとともに、生成した輝度信号および色差信号の帯域
を高くすることに特徴がある。

【００１５】本実施例は、本発明の固体撮像装置を適用
したディジタルカメラ10について説明する。本発明と直
接関係のない部分に関して図面および説明を省略する。
ここで、信号の参照符号はその現れる接続線の参照番号
で表す。

【００１６】ディジタルカメラ10は、光学レンズ系12、
操作部14、システム制御部18、信号発生部20、タイミン
グ信号発生部22、ドライバ部24、メカニカルシャッタ2
6、撮像部28、前処理部30、A/D 変換部32、信号処理部3
4、圧縮／伸張部36、ストレージ部38、および液晶表示
部40が備えられている。これら各部を順次説明する。

【００１７】光学レンズ系12は、たとえば、複数枚の光
学レンズを組み合わせて構成されている。光学レンズ系
12には、図示しないが、これら光学レンズの配置する位
置を調節して画面の画角を操作部14からの操作信号14a
に応じて調節するズーム機構や被写体とカメラ10との距
離に応じてピント調節する、AF（Automatic Focus ：自
動焦点）調節機構が含まれている。後述するように操作
信号14a は、システムバス16を介してシステム制御部18
に供給される。光学レンズ系12には、システム制御部18
からの制御信号18a が信号線16a を介して供給される。

【００１８】操作部14には、レリーズボタン140 やたと
えばモニタ画面に各種の項目を表示させ、表示項目のな
かからカーソルを用いて選択する選択機能等がある。操
作に部14には、これら各種の機能選択のうち、静止画・
動画設定部142 が含まれている。静止画・動画設定部14
2 は、設定した結果が操作信号14b として出力してい
る。操作部14で選択された操作は操作信号14a, 14bがシ
ステムバス16を介してシステム制御部18に報知される。

【００１９】システム制御部18は、たとえば CPU（Cent
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部18には、ディジタルカメラ10の動作手順
が書き込まれた ROM（Read Only Memory：読み出し専用
メモリ）がある。システム制御部18は、たとえば、ユー
ザの操作に伴って操作部14から供給される情報14a, 14b
とこの ROMが有する情報とを用いて各部の動作を制御す
る制御信号18a を生成する。システム制御部18は、生成
した制御信号18a をシステムバス16を介して上述した光
学レンズ系12だけでなく、信号発生部20、タイミング信
号発生部22、ドライバ部24、メカニカルシャッタ26、前
処理部30、A/D 変換部32、信号処理部34、圧縮／伸張処
理部36、ストレージ部38および液晶表示部40にも供給す
る。

【００２０】信号発生部20は、ディジタルカメラ10を動
作させる基本クロック（システムクロック）20a を発生
する発振器（図示せず）を有する。発振器にはたとえ
ば、VCO (Voltage Controlled Oscillator) 方式等が用
いられている。また、信号発生部20は基本クロック20a
をシステム制御部18、タイミング信号発生部22、および
信号処理部34等の基本クロック20a を必要とするほとん
どすべてのブロックに供給するとともに、基本クロック
20a を分周して様々な信号も生成している。

【００２１】タイミング信号発生部22は、この基本クロ
ック20a を用い、制御信号18a に基づいて各部の動作を
タイミング調節するタイミング信号22a を生成する回路
を含む。タイミング信号発生部22は、生成したタイミン
グ信号22a を図１に示すように前処理部30やA/D 変換部
32等の各部に出力するとともに、ドライバ部24にも供給
する。ドライバ部24は、供給されるタイミング信号22a
を用いて、所望の駆動パルス24a を撮像部28に供給す
る。駆動パルス24a は、静止画用と動画用のモードに対
応している。

【００２２】メカニカルシャッタ26は、操作部14のレリ
ーズボタン140 の押圧操作に応じて動作する。動作順序
は、レリーズボタン140 の押圧操作により、たとえば、
システムバス16を介して操作信号14a がシステム制御部
18に供給され、システム制御部18からの制御信号18a が
システムバス16、および信号線16a を介して供給され
る。メカニカルシャッタ26はこの順序で動作して制御さ
れる。

【００２３】撮像部28は光学ローパスフィルタ28a およ
び色フィルタ28b が固体撮像素子 (Charge Coupled Dev
ice ：CCD ）28c の入射光側に一体的に設けられた単板
カラーCCD センサである。これは、光学レンズ系12で結
像された光学像が固体撮像素子28c の受光部の各受光素
子に到達した光量に応じた出力信号27を出力する。撮像
部28については後段でさらに詳述する。

【００２４】撮像素子には、CCD （電荷結合素子）や後
段で示すMOS （Metal Oxide Semiconductor:金属酸化型
半導体）タイプの固体撮像デバイスが適用される。撮像
部28では、供給される駆動信号24a に応じて光電変換に
よって得られた信号電荷を所定のタイミングとして、た
とえば、垂直ブランキング期間にフィールドシフトによ
り垂直転送路に読み出され、この垂直転送路をラインシ
フトした信号電荷が水平転送路に供給される。この水平
転送路を経た信号電荷は図示しない出力回路による電流
／電圧変換によってアナログ電圧信号29にされて前処理
部30に出力される。固体撮像素子28c は、CCD タイプで
は信号電荷の読出しモードに応じて間引き読出しや全画
素読出しを用いる。これらの信号読出し方式については
さらに後段で詳述する。

【００２５】前処理部30は、撮像部28とA/D 変換部32と
の間に相関二重サンプリング部を設けてノイズ除去を行
ってもよい。また、ここで、ガンマ変換を行ってもよ
い。撮像信号29からノイズ成分を除去してアナログ出力
信号31がA/D 変換部32に送られる。A/D 変換部32は、供
給されるアナログ信号31の信号レベルを所定の量子化レ
ベルにより量子化してディジタル信号33に変換するA/D
変換器を有する。A/D 変換部32は、タイミング信号発生
部22から供給される変換クロック等のタイミング信号22
a により変換したディジタル信号33を信号処理部34に出
力する。

【００２６】信号処理部34には、フレームメモリ機能を
有するデータ補正部34a 、補間処理部34b 、および広帯
域化処理部34c が含まれる。さらに、データ補正部34a
には、図示しないがバッファ機能としてフレームメモリ
および補正処理部が含まれている。補正処理部は、ガン
マ補正やホワイトバランス等の調整を行う機能を有す
る。ここでのガンマ補正は、消費電力や回路規模を小さ
くして信号処理のビット数を低減すること等も可能にし
ている。このガンマ補正処理をたとえば、前処理部30で
すでに行っている場合、省略する。A/D 変換部32から供
給される画像データ33がデータ補正部34a のフレームメ
モリに供給され、そこに記憶される。フレームメモリ
は、読み出す領域をずらしながら繰り返して画素データ
を読み出すことから、非破壊型のメモリを用いると有利
である。また、フレームメモリには、システム制御部18
からの制御信号18a に含まれる書込み／読出しイネーブ
ル信号、クロック信号等の制御に関わる信号をまとめた
制御信号（図示せず）が供給されている。データ補正部
34a は、処理として、たとえば、各色フィルタに対応し
た画像データのレベルを後段の信号処理に適したレベル
に合わせるため各色フィルタごとにゲイン調整も行って
いる。また、データ補正部34a は、記憶した画像データ
を所定の順序で画像データ42を補間処理部34b に出力す
る。

【００２７】補間処理部34b は、本実施例では静止画補
間部44および動画補間部46を含んでいる。静止画補間部
44は、図２に示すように、輝度補間展開部44a および色
補間展開部44b を備えている。静止画補間部44は、供給
される受光素子からの画素データ42を用いて受光素子の
実在する実在画素および実在画素の中間に位置する仮想
画素において高域成分を含む高周波輝度データY_Hおよび
三原色データを補間生成する機能を有する。輝度補間展
開部44a は、仮想画素の位置に対応する高周波輝度デー
タY_Hを作成する高周波輝度データ作成部440 と、仮想画
素の高周波輝度データY_Hを用いて実在画素の位置に対応
する高周波輝度データY_Hを作成する輝度データ補間処理
部442 とを有する。

【００２８】高周波輝度データ作成部440 は、データ補
正部34a から供給される画素データ42を用いてたとえ
ば、供給される色に対する相関関係がどの方向にあるか
検出し、検出結果に応じた高周波輝度データY_H (47) を
生成し、輝度データ補間処理部442 に供給する。輝度デ
ータ補間処理部442 は、供給される高周波輝度データY_H
(47) に基づいて実在画素の位置における高周波輝度デ
ータY_Hを補間により作成して実在画素および仮想画素す
べての位置での高周波輝度データY_H (50a ) を出力す
る。

【００２９】色補間展開部44b は、仮想画素および実在
画素の対応していない色に対して実在画素の色配置を考
慮して補間処理を行い、画面全体の三原色データを生成
する機能を有する。このため、色補間展開部44b には、
各色ごとの補間展開部がある。これがR 補間展開部444
、G 補間展開部446 、およびB 補間展開部448 であ
る。各補間展開部444, 446, 448 は三原色データ42R, 4
2G, 42B を入力し、それぞれで補間展開処理を行うこと
により実在画素および仮想画素すべての位置で色データ
を生成しRGB 同時化処理を行って三原色データ50b, 50
c, 50d を広帯域化処理部34c に出力する。これらの高
周波輝度データY_Hおよび三原色データRGB の補間処理に
ついては後段で詳述する。

【００３０】動画補間部46には、図３に示すように、ア
ドレス制御部460 またはアドレス制御部460 およびRB演
算部462 が備えられている。アドレス制御部460 は、シ
ステム制御部18から信号線18a 、システムバス16、およ
び信号線18b を介して供給される制御信号180 に応じて
データ補正部34a のフレームメモリに読出しアドレス制
御信号182 を供給している（図３を参照）。図１ではア
ドレス制御信号182 は図面の煩雑さを避けるため図示し
ていない。動画補間部46がイネーブルなとき、データ補
正部34a から読み出される画素データは単に読み出され
るのではなく、読出しアドレス制御信号182 に対応した
画素データである。このため、読み出される画素データ
は図１に示した画素データ42と別に図３では画素データ
42S とする。後段で詳述するが、読み出した画素データ
は色G の周囲に位置する別な色の画素データを２つずつ
組み合わせて色G の位置の画素データとして扱う。これ
に応じるように、実在画素色G だけでなく、たとえばこ
の色G のラインの上または下のラインの色R, Bが読み出
される。そして、色R, Bがこの色G の位置における色R,
Bとして用いられる。アドレス制御部460 は、この場
合、サンプリング制御する部分と同じ機能を発揮するこ
とになる。この他、別にサンプリング回路を設けてもよ
い。

【００３１】また、アドレス制御部460 およびRB演算部
462 がともに用いられる構成でもよい。この場合、アド
レス制御部460 は、色G を挟んだ上下のラインを読み出
すようにアドレス制御する。したがって、１ライン形成
するために計３ラインが用いられる。RB演算部462 は読
み出した色G を挟んで対角に位置する画素データの色R,
Bを同色同士の加算平均し、得られた色R, Bの画素デー
タを中央ラインの色Gの位置における色R, Bとする。

【００３２】再び図１に戻って、静止画補間部44は、生
成した高周波輝度データY_Hを選択スイッチ48の端子a に
出力する。また、動画補間部46は、生成した色G を選択
スイッチ48の端子b に出力するとともに、広帯域化処理
部34c にも供給する。静止画補間部44と動画補間部46
は、同時に動作しないので、静止画補間部44と動画補間
部46からの三原色データRGB が各色ごとに共通接続に
し、広帯域化処理部34c に供給している。

【００３３】選択スイッチ48は、選択したデータを端子
c を介して供給先に送る選択機能を有する。選択スイッ
チ48には信号線18b を介して選択信号51が供給され、静
止画補間部44と動画補間部46の動作選択を行う。この選
択スイッチ48は、選択したデータ52を広帯域化処理部34
c に送る。

【００３４】広帯域化処理部34c には、ハイパスフィル
タ回路54、切換スイッチ54a 、加算部56、色差マトリク
ス部58、およびアパーチャ調整部60が備えられている
（図４を参照）。ハイパスフィルタ回路（以下、HPF と
いう）54は、供給されるデータ52が含む高周波成分を抽
出するフィルタである。HPF 54は、抽出した高周波成分
を加算部56に出力する。切換スイッチ54a は色G に関す
るHPF 54と加算部56の間に配設する。これにより、高周
波成分は色R, Bに供給され、色G には直接的に高周波成
分が供給されないように構成する。ここで、切換スイッ
チ54a には、システム制御部18から切換制御信号184 が
供給される。切換制御信号184 は静止画のモード設定で
切換スイッチ54a を端子57a 側に切り換えさせ、動画の
モード設定で切換スイッチ54a を端子57b 側に切り換え
させる。この切換動作により、静止画の対応モードで
は、加算器562 に高周波成分Y_hが供給され、動画の対応
モードでは、加算器562 には高周波成分G_hが供給される
のではなく、ゼロレベルの信号が供給されることにな
る。

【００３５】加算部56は、三原色に対応して３つの加算
器560, 562, 564 がある。加算器560, 562, 564 の一端
560a, 562a, 564aにはそれぞれ、三原色データRGB が供
給されている。また、加算器560, 562, 564 の他端560
b, 562b, 564bには高周波成分が供給されている。加算
部56は、静止画のモードで三原色RGB のそれぞれに高周
波成分Y_hを加算することにより三原色データを広帯域化
する。また、加算部56は、動画のモードで色R, Bに対し
て高周波成分を加算して広帯域化し、色G に対して前述
したように加算されないそのままの画素データを用い
る。しかしながら、色G の画素データ自体には高周波成
分が含まれているので広帯域化されているとみなすこと
ができる。

【００３６】ところで、この広帯域化は、静止画ではこ
れまで行われている（アウトオブY）。上述したように
動画に対して、本実施例は色G のデータを高周波輝度デ
ータY_Hの代わりに用いる。このように色G を用いて高周
波成分G_hを三原色データのうち、色R, Bに加算する方式
をいわゆる、アウトオブグリーン方式と呼ぶ。

【００３７】色差マトリクス部58は、広帯域化した三原
色データを用いて輝度データY 、色差データC_r, C_bを生
成している。色差マトリクス部58は、ここで行うマトリ
クス演算にはこれまで用いてきた従来の算出式を用いて
いる。また、色差マトリクス部58は、生成した輝度デー
タY をアパーチャ調整部60に出力する。アパーチャ調整
部60は、輪郭強調処理を施して出力する。このようにし
て生成した輝度データY 、色差データC_r, C_bを信号処理
部34から圧縮／伸張処理部36に供給される。

【００３８】図１に戻って圧縮／伸張処理部36は、信号
処理部34から供給された１フレーム分の輝度データと色
差データを一時的に記憶するフレームメモリと、たとえ
ば、直交変換を用いたJPEG（Joint Photographic Exper
ts Group）規格での圧縮を施す回路と、この圧縮した画
像を再び元のデータに伸張する回路とを有する。ここ
で、フレームメモリは、信号処理部34のフレームメモリ
と兼用してもよい。ここで、複数のフレームメモリを所
有すると、動画の記録、すなわち連写等の処理において
有利である。また、圧縮はJPEGに限定されるものでな
く、MPEG（Moving Picture coding Experts Group ）や
動画像の１枚いちまいのフレームにJPEGを適用するモー
ションJPEG等の圧縮方法がある。

【００３９】圧縮／伸張処理部36は、システム制御部18
の制御により記録時には圧縮したデータをシステムバス
16を介してストレージ部38に供給する。圧縮／伸張処理
部36は、供給される輝度データY 、色差データC_r, C_bを
システム制御部18の制御によりスルーさせてシステムバ
ス16に供給したり、または信号処理部82からの信号をシ
ステムバス16を介して液晶表示部40に供給することもで
きる。圧縮／伸張処理部36が伸張処理を行う場合、逆に
ストレージ部38から読み出したデータをシステムバス16
を介して圧縮／伸張処理部36に取り込んで処理する。こ
こで処理されたデータはフレームメモリに記憶された
後、システム制御部18の制御により圧縮／伸張処理部36
は、所要の順序でフレームメモリのデータを読み出し、
液晶表示部40に供給して表示させる。

【００４０】ストレージ部38は、記録媒体に記録する記
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディアのような半
導体メモリや磁気ディスク、光ディスク等がある。磁気
ディスク、光ディスクを用いる場合、画像データを変調
する変調部とともに、この画像データを書き込むヘッド
がある。液晶表示部40は、システム制御部18の制御に応
じてシステムバス16を介して供給される輝度データおよ
び色差データまたは三原色RGB のデータを画面の大きさ
を考慮するとともに、タイミング調整して表示する機能
を有する。

【００４１】次にディジタルカメラ10の動作を説明する
前に、撮像部28について簡単に説明する。撮像部28に
は、光学ローパスフィルタ28a 、色フィルタ28b 、およ
び固体撮像素子28c が入射光の側から順次に一体的に配
設形成されている。色フィルタ28b は、単板である。色
フィルタ28b の色フィルタセグメント62と受光素子64と
は、一対一の対応関係にある。色フィルタ28b は、たと
えば、図５に示すような三原色RGB の色フィルタセグメ
ント62が配置されている。この色フィルタセグメントの
配置パターンは、色G が正方格子状に配され、さらに色
G を挟んで対角位置に同色R,または Bが配される完全市
松に配するパターンである。

【００４２】この色パターンは、以後、図５の色フィル
タ配置はハニカム型G 正方格子RB完全市松パターンとい
う。図５に示した画素数は、14個のうち、本来の色G が
６個、色R, Bがそれぞれ４個ずつである。上述した色G
の正方格子状とは、画素の形状を示すものでなく、画素
の配置形状を示している。画素の形状は、多角形でたと
えば四角形、六角形、八角形等がある。

【００４３】また、図６に示すように、色フィルタセグ
メント62（および受光素子64）は、隣接する互いの配置
位置に対して各色フィルタセグメント62（および受光素
子64）の幾何学的な形状の中心が互いに行方向および列
方向にこの色フィルタセグメント62（および受光素子6
4）のピッチPPの半分に相当する距離だけずれて配され
ている。また、受光素子64は、２次元に配され、色フィ
ルタ28b を透過した光を光電変換している。受光素子64
の存在する位置から得られる画素を実在画素、受光素子
64間の中間または画素中心の位置に新たに仮想的な画素
を設けて仮想画素としている。

【００４４】次にディジタルカメラ10の動作について説
明する。必要に応じて前述の構成で用いた図面も参照す
る。ディジタルカメラ10は、たとえば、図７に示す撮影
におけるメインフローチャートに従って動作する。ディ
ジタルカメラ10での動作をどのようなモードにするかオ
ペレータであるユーザ自身が設定する（ステップS1
0）。モードには、複数あり、たとえば、静止画撮影モ
ード、動画（ムービー）モード、図示しないが、インデ
ックス表示モード、および高画質表示モード等がある。
このいずれかをオペレータは設定して選択した設定モー
ドが操作部14からシステム制御部18に供給される。シス
テム制御部18は、この設定モードや他の条件を踏まえ
て、ディジタルカメラ10を撮影可能状態にする。この
後、ステップS12に進む。

【００４５】次に被写界の撮影を行う（ステップS12 ：
撮像工程）。この段階の直前には、レリーズボタン140
を半押しして露光・測距を行って適正な露光およびピン
ト調節が行われている。この後、オペレータは、所望の
タイミングでレリーズボタン140 を完全に押圧して被写
界の撮像を行う。撮像部28では、光学レンズ系12を介し
て供給される入射光が単板の色フィルタ28b により色分
解される。この色分解された光が撮像部28のハニカム型
に２次元配列された受光素子64に供給される。色フィル
タ28b は、図５に示したハニカム型G 正方（格子）RB完
全市松パターンである。受光素子64は、それぞれ色フィ
ルタセグメント62を透過した光を受光し、光電変換して
いる。光電変換された信号電荷は、撮像部28の垂直転送
レジスタ、水平転送レジスタ（ともに図示せず）を介し
て各受光素子64で検出した画素データとして出力する。
撮像部28では、電流形態の検出した信号電荷を電圧で表
すことができるようにI/V 変換が行われ、前処理部30、
を介してA/D 変換部32に出力される。

【００４６】次に撮像部28から供給された信号レベルを
量子化してビット情報として扱えるディジタル信号、す
なわち画像データに変換する（ステップS14 ）。この変
換処理の後、ただちに画像データは、データ補正部34a
のフレームメモリに供給される。

【００４７】次にこのフレームメモリに画像データを一
時記憶させる（ステップS16 ）。この画像データの供給
において、システム制御部18の制御およびアドレス制御
部460 の制御により所定のアドレスに、たとえば、画像
単位で画像データが書き込まれる。アドレス制御部460
は、システム制御部18により制御されている。フレーム
メモリには、複数の撮像された画像データを格納するこ
とができる。この撮影の前にすでに撮影された画像が記
憶されていてもよい。

【００４８】次にステップS18 に進む。ここでは、予め
設定したモードが動画モードかどうかを判定している。
動画、すなわち所定の時間内に表示させるモードが設定
されている場合（YES ）、サブルーチンSUB1に進む。ま
た、動画モードが設定されていない場合（NO）、静止画
モードと判断してサブルーチンSUB2に進む。このモード
の設定は、ステップS10 で行ったモードをシステム制御
部18で検出・判定することにとって行われる。結果とし
て、フレームメモリからの画像データの読出しは、この
システム制御部18の判定に応じて読み出されることにな
る。読出しは異なるが供給される画素データは、データ
補正部34a から補間処理部34b の静止画補間部44と動画
補間部46とにそれぞれ供給されている。

【００４９】システム制御部18は、判定結果に応じて制
御信号180, 184を供給して静止画補間部44と動画補間部
46のいずれか一方をイネーブルにする。このイネーブル
によって結果的に出力先選択が行われたことになる。

【００５０】サブルーチンSUB1では、アドレス制御に応
じて出力させた画像データに基づいて動画用の補間信号
処理が施される。この場合、動画補間部46では、演算処
理のような時間を要する処理を行わずにデータ補正部34
a のフレームメモリから画像データ42を読み出して色G
の位置に基づいて周囲の色R, Bを組み合わせてまとめ、
広帯域化処理部34c に出力する。この処理については後
段で詳述する。

【００５１】また、サブルーチンSUB2では、データ補正
部34a のフレームメモリから読み出した画像データに基
づいて静止画用の補間信号処理が施される。後段で詳述
するが、この信号処理で、ハニカム型G 正方格子RB完全
市松パターンにおいて効果的な解像度を高める処理が施
される。サブルーチンSUB1, SUB2では、それぞれの信号
処理により全く異なる処理を受けた三原色データが静止
画補間部44と動画補間部46からそれぞれ広帯域化処理部
34c に出力される。静止画補間部44は、生成した高周波
輝度データY_Hを選択スイッチ48の端子a に供給する。選
択スイッチ48の端子b には動画補間部46から出力された
色データG が供給される。

【００５２】次に選択スイッチ48による高周波輝度デー
タY_Hと色データG のいずれか一方を選択する（ステップ
S20 ）。すなわち、色データG を選択する場合（YES
）、動画用広帯域化処理に進む（サブルーチンSUB
3）。また、色データG を選択しない場合（NO）、選択
スイッチ48の端子a 側を介して高周波輝度データY_Hを選
択し、静止画用広帯域化処理に進む（サブルーチンSUB
4）。

【００５３】サブルーチンSUB3、SUB4ではそれぞれ選択
したデータを用いて生成する輝度データY 、色差データ
（B-Y ), (R-Y ）を広帯域化し得られた輝度データY に
対してアパーチャ調整を施している。さらにこれら広帯
域化した３つの信号の各帯域をそれぞれ通すフィルタ処
理を施してもよい。このようにして得られた画像データ
のうち、間引いた画像データが、図示していないが設定
モードにかかわらず、液晶表示部40に供給され、表示さ
れる。

【００５４】次に信号処理により得られた画像データに
対して圧縮処理を施す（ステップS22 ）。圧縮処理もあ
らわに図示していないが、動画モードでは、１フレーム
ごとに圧縮処理を施すモーションJPEG（Joint Photogra
phic coding Experts Group）あるいはMPEG（Moving Pi
cture coding Experts Group ）などで処理される。ま
た、静止画モードではJPEG等が圧縮信号処理として適用
される。

【００５５】そして、この圧縮処理が施された画像デー
タは、ストレージ部38の記録再生装置に装着された記録
媒体に記録保存される（ステップS24 ）。

【００５６】最後に、ディジタルカメラ10の動作を終了
させるかどうかを判定する。まだ動作を継続するとき
（NO）、ステップS12 に戻って一連の処理を継続する。
また、動作を終了するとき（YES ）、ディジタルカメラ
10の電源をオフにする。このように受光素子がハニカム
型に配置された撮像部を有するディジタルカメラ10に
は、これまでと同様に静止画モードで良好な画質を提供
するだけでなく、動画モードでも適切な信号処理を選択
し処理することにより、所定の時間内に画質も向上した
画像を表示・記録させることができ、よりユーザの要求
を満足させることができるようになる。

【００５７】次に動画補間部46の補間処理についてサブ
ルーチンSUB1を説明する。３つの色RGB において、色G
の位置の色として用いる色R, Bで三角形を形成し、この
三角形の色G の頂点の向きに基づいてサンプリングにお
けるデータの組合せの形態を選択する。この組合せの形
態には、ひとまとめにみなす三角形の形状が４通りあ
る。予めこの組合せの形態の設定は、たとえば、４つの
うち、一つの組合せをデフォルトで設定しており、その
他の３つの組合せは、たとえば、モード設定の段階で設
定できるようにしておく。サブルーチンSUB1では、最初
にどの組合せが設定されているか判定していく。

【００５８】まず、サブステップSS10では、三角形の頂
点に位置する色G が下側にあるか判定する。下側にある
とき（YES ）、サブステップSS12に進む。また、この状
態にないと判定されたとき（NO）、サブステップSS14に
進む。

【００５９】サブステップSS12では、色R, Bの受光素子
（以後、画素という）が色G の画素の上側に横並びにな
っている。この色G の画素位置における色R, Bに対応す
る画素は実際に存在しないが、上述した位置の色R, Bの
値を代わりに用いるサンプリングを可能にするようアド
レス制御部460 がデータ補正部34a のフレームメモリの
読出しを制御する。たとえば、図9(a)のハニカム型G 正
方格子RB完全市松パターンにおいて、この読出しが行わ
れると、図9(b)のように組合せでまとめられたパターン
が形成される。すなわち、色G₁₁ に対して色R₀₀, B₀₂を
グループとする画素データとみなす。次の隣接するグル
ープは、色G₁₃ に対して色B₀₂, R₀₄をグループとする画
素データである。このように色R, Bについては、少なく
とも一つの色が含まれるようにしてグループ化されてい
る。

【００６０】サブステップSS14では、三角形の頂点に位
置する色G が上側にあるか判定する。上側にあるとき
（YES ）、サブステップSS16に進む。また、この状態に
ないと判定されたとき（NO）、サブステップSS18に進
む。

【００６１】サブステップSS16では、色R, Bの画素が色
G の画素の下側に横並びになっている。この場合も、こ
の色G の画素位置における色R, Bに対応する画素は実際
に存在しないが、上述した位置の色R, Bの値を代わりに
用いるサンプリングを可能にするようアドレス制御部46
0 がフレームメモリの読出しを制御する。たとえば、図
9(a)のハニカム型G 正方格子RB完全市松パターンにおい
て、この読出しが行われると、色G₁₁ に対して色B₂₀, R
₂₂をグループとする画素データとみなす。次の隣接する
グループは、色G₁₃ に対して色R₂₂, B₂₄をグループとす
る画素データである。このように色R, Bについては、少
なくとも一つの色が含まれるようにしてグループ化され
ている。

【００６２】サブステップSS18では、三角形の頂点に位
置する色G が右側にあるか判定する。右側にあるとき
（YES ）、サブステップSS20に進む。また、この状態に
ないと判定されたとき（NO）、サブステップSS22に進
む。

【００６３】サブステップSS20では、色R, Bの画素が色
G の画素の左側に縦並びになっている。この場合も、こ
の色G の画素位置における色R, Bに対応する画素は実際
に存在しないが、上述した位置の色R, Bの値を代わりに
用いるサンプリングを可能にするようアドレス制御部46
0 がフレームメモリの読出しを制御する。たとえば、図
9(a)のハニカム型G 正方格子RB完全市松パターンにおい
て、この読出しが行われると、色G₁₁ に対して色R₀₀, B
₂₀をグループとする画素データとみなす。次の隣接する
グループは、色G₁₃ に対して色B₀₂, R₂₂をグループとす
る画素データである。このように色R, Bについては、少
なくとも一つの色が含まれるようにしてグループ化され
ている。

【００６４】さらに、サブステップSS22では、三角形の
頂点に位置する色G が左側にあるか判定する。左側にあ
るとき（YES ）、サブステップSS24に進む。また、この
状態にないと判定されたとき（NO）、該当する設定でな
いとしてリターンに移行する。

【００６５】サブステップSS24では、色R, Bの画素が色
G の画素の右側に縦並びになっている。この場合も、こ
の色G の画素位置における色R, Bに対応する画素は実際
に存在しないが、上述した位置の色R, Bの値を代わりに
用いるサンプリングを可能にするようアドレス制御部46
0 がフレームメモリの読出しを制御する。たとえば、図
9(a)のハニカム型G 正方格子RB完全市松パターンにおい
て、この読出しが行われると、色G₁₁ に対して色B₀₂, R
₂₂をグループとする画素データとみなす。次の隣接する
グループは、色G₁₃ に対して色R₀₄, B₂₄をグループとす
る画素データである。このように色R, Bについては、少
なくとも一つの色が含まれるようにしてグループ化され
ている。

【００６６】このようにしてデータ補正部34a のフレー
ムメモリから画像データを読み出すパターンの関係が判
ったとき、各設定で画像の読出しが完了したかどうかの
判定を行う（各サブステップSS26, SS28, SS30, SS3
2）。まだ読出し完了していない場合（NO）、それぞれ
１ステップ前のサブステップSS12, SS16, SS20, SS24に
戻って画像データの読出しを継続する。一方、読出しが
すべて完了している場合（YES ）、リターンに移行す
る。この処理によって画像データは、総画素数の半分の
画素データとして読み出される。このパターンでは、読
出し画素数が色G の配設されている画素数に同じにな
る。本実施例では、本来得られた画像データに何等演算
を施すことなく画像データの読出しが行われる。この結
果、読み出す速度は、前述した３画素（RGB ）をひとま
とめとして高速に読み出す場合と同程度の読出し速度を
維持しながら、総画素数に対する読出し画素数を半分の
減少に抑えて読み出すことができる。これにより、解像
度の面で従来の総画素数の1/3 しか読み出せなかった場
合よりも向上させることができる。

【００６７】ところで、色分解フィルタCFのハニカム型
G 正方格子RB完全市松パターンで撮像した信号を空間周
波数で表すと、図10に示すように各色は分布している。
すなわち、色R, Bの周波数分布は、正方形を45°回転さ
せた分布になる。この分布は、斜め方向のサンプル周波
数が低いことを示している。このため、この画像データ
を用いて得られる画像には、斜め方法での折り返し歪み
による偽信号が発生し易い。なお、色G の空間周波数の
分布は、正方格子状に配設されていることから、色R, B
の周波数分布を内包する正方形の分布になる。

【００６８】このような偽信号の発生に対処しながら、
高速に画像データを読み出す構成を前述した実施例の変
形例として説明する。この場合、動画補間部46には、ア
ドレス制御部460 だけでなく、RB演算部462 も設ける
（図３を参照）。RB演算部462は、色G の周囲に位置す
る色R, Bの画素データを用い、これらの画素データに演
算を施す演算部である。したがって、図３に示すように
RB演算部462 は、供給される画素データ42S のうち、色
G の画素データをそのまま広帯域化処理部34c にスルー
させ、色R, Bの画素データだけをそれぞれ入力させてい
る。

【００６９】この演算は、色G を挟んで対角に位置する
画素データ（この場合同色同士）を加算し、その平均を
とる、いわゆる加算平均処理を行っている。このとき、
この加算平均によって得られる画素は、それぞれ色G と
ともに、ひとまとめのグループとして扱う色R, Bの画素
データである。結果として色G 画素における色R, B画素
と同じことを意味する。具体的に例示すると、図11に示
す関係になる。すなわち、色G₁₁ を挟んで位置する色R
₀₀, R₂₂と色B₀₂, B₂₀および色G₁₃ を挟んで位置する色B
₀₂, B₂₄と色R₀₄, R₂₂を用いて演算する（図11(a) を参
照）。最終的に、色G の位置の色R, Bの画素データとな
ることから、これを識別するため、得られた画素データ
を小文字r, bで表すとともに、添字を色G の数値と同じ
にする（図11(b) を参照）。したがって、演算は、

【００７０】

【数１】 r₁₁＝(R₀₀＋R₂₂ )/2 b₁₁ ＝(B₀₂＋B₂₀ )/2 ・・・(1a) r₁₃ ＝(R₀₄＋R₂₂ )/2 b₁₃ ＝(B₀₂＋B₂₄ )/2 ・・・(1b) と表される。換言すると、画素データr₁₁ は、新たに算
出された色R₀₀ と言える。同様に、画素データb₁₁,
b₁₃, r₁₃ は、それぞれ算出された色B₀₂, B₀₂, R₀₄であ
る。ここで特徴的な点は、色B₀₂, B₀₂と同じ位置につい
ての算出でありながら、扱うグループが異なっている点
である。このように一つのグループには、隣接する画素
が少なくとも１つないし２つの重なりが含まれている。
１つの重なりは、境界近傍の値の場合であり、２つの重
なりは、その境界として扱う画素よりも内側に位置する
場合である。このように算出した画素データを広帯域化
処理部34c に出力する。

【００７１】これらの算出された色R, Bの画素データを
用いると、原信号に対してローパス効果が発揮され、色
R, Bの信号のS/N も改善されることになる。これによ
り、ハニカム型G 正方格子RB完全市松パターンでの偽信
号の発生が抑制される。また、ここでの演算は単純な加
算平均だけなので、図示しないが加算器とビットシフト
させるハードウェア構成で容易に実現させることができ
る。ハードウェアによる演算であるので、ソフトウェア
的な演算に比べて高速な処理が可能になる。さらに、前
述の構成でも述べたように、輝度信号の生成に用いる最
も重要な色G をそのままスルーさせて、何等変更を加え
ないことから、このモードで広帯域化する際に得られる
輝度データY の生成における忠実度を維持し、かつ最終
的に扱える画素数も色G の数だけ確保することができ
る。これにより。偽色改善と輝度信号の向上が図れるの
で、先の実施例に比べて画質を向上させることができ
る。

【００７２】次に静止画補間部44における補間処理の手
順を説明する（サブルーチンSUB2：図12を参照）。静止
画補間部44はサブルーチンSUB5、SUB6およびSUB7の順に
動作させている。サブルーチンSUB5では実在画素から得
られる色を考慮して市松状に高周波成分を含む高周波輝
度データY_Hを作成する。サブルーチンSUB5では、あらか
じめ設定されたモードに従って後述するように高周波輝
度データ作成部440 で高周波輝度データY_Hを算出する。
サブルーチンSUB6では、得られた高周波輝度データY_Hに
基づいて仮想画素での高周波輝度データY_Hを生成する。
また、サブルーチンSUB6は、供給される三原色データを
それぞれ用いて補間することにより実在画素および仮想
画素のすべてにおいて三原色データを生成するプレーン
展開処理を行っている。

【００７３】各サブルーチンSUB5、SUB6およびSUB7の動
作を順に説明する。図13に示すサブルーチンSUB5におい
て、高周波輝度データ作成部440 はまず、モードが適応
処理モードかどうか判別する（サブステップSS500 ）。
モードが適応処理モードでなかった場合（NO）、接続子
B を介して図14のサブステップSS502 に進む。また、適
応処理モードの場合（YES ）、サブステップSS501 に進
む。サブステップSS501 では、斜め相関処理を行うかど
うか選択を行う。斜め相関処理を行う場合（YES ）、サ
ブステップSS504 に進む。また、斜め相関処理を行わな
い場合（NO）、サブステップSS510 に進む。

【００７４】上述したサブステップSS502 では、適応処
理モードと関係なく輝度データの算出が行われる。この
処理を行うにあたり撮像部28の固体撮像素子28c が本来
図15(a) に示すように２次元配列されている。ここで、
添字は、各受光素子の画素としての位置を行列表現で表
した際の位置である。また、実在画素は実線で、仮想画
素は、破線で表している。基本的に高周波輝度データY_H
は、画素データG と画素データR, Bを用いて（0.5*R+0.
5B）で算出できることが知られている。この場合も画素
データG は、そのまま輝度データとみなして扱われる
（画素データG=輝度データ）。また、画素データR, Bに
よる高周波輝度データは、実在画素の色がG でなくR/B
の場合に、たとえば図15(a) の画素データR₂₂ の位置に
対する高周波輝度データY_H22は、画素データR₂₂ とその
周囲に位置する画素データB の４画素、すなわち画素デ
ータB₀₂, B₂₀, B₂₄, B₄₂を用いて

【００７５】

【数２】 Y_H22＝R₂₂/2 ＋(B₀₂＋B₂₀ ＋B₂₄ ＋B₄₂)/8 ・・・(2) から得られる。また、画素データB₂₄ の位置に対応する
高周波輝度データY_H24は、画素データB₂₄ とその周囲に
位置する画素データR の４画素、すなわち画素データR
₀₄, R₂₂, R₂₆, R₄₄を用いて

【００７６】

【数３】 Y_H24＝B₂₄ /2＋(R₀₄＋R₂₂ ＋R₂₆ ＋R₄₄)/8 ・・・(3) から得られる。各画素に対してこの演算を行って高周波
輝度データY_Hを求めている。このようにして得られた結
果、図15(b) に示す輝度データの市松状のパターンが得
られる。なお、このような演算は、斜め方向、垂直方向
および水平方向のに相関がないときにも行われる。この
処理の後、サブステップSS530 に進む。

【００７７】ところで、サブステップSS504 では、比較
データの算出を行う。比較データは、たとえば適応処理
を施す対象の画素データを中心にしてその周囲の画素デ
ータがどの方向に相関しているかの判別に用いる。たと
えば、その対象の画素データがR₂₂ の場合、比較データ
AGは、周囲の画素データG₁₁, G₁₃, G₃₁, G₃₃を用いて、

【００７８】

【数４】 AG＝｜G₁₁ ＋G₃₃ −(G₁₃＋G₃₁)｜・・・(4) から得られる。画素データがB の場合も周囲の画素デー
タG から算出する。この算出により、左右のいずれか一
方に傾きを有する大きい方の値が比較データAGとして得
られることになる。この演算の後、サブステップSS506
に進む。

【００７９】サブステップSS506 では、対象の画素デー
タを挟んで斜めに位置する画素データに相関（すなわ
ち、斜め相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ1が設定されている。比較データ
AGが判定基準値J1以上に大きいとき（YES ）、サブステ
ップSS508 に進む。また、比較データAGが判定基準値J1
よりも小さいとき（NO）、サブステップSS510 に進む。

【００８０】サブステップSS508 では、比較データAGの
算出に用いた４つの画素データG を平均して高周波輝度
データY_Hを算出する。この斜め相関により少なくとも図
示しないが６パターンが画素データR ＝R₂₂ に対して判
別されることになる。ところで、この場合でも、偽色を
発生させてしまうおそれがある。そこで、このおそれの
ある画素の境界近傍に位置する画素データR における画
質は高周波輝度データY_Hを上述した演算により算出する
と、画像全体として見た際に色境界での偽色の発生を良
好に抑圧することができる。具体的な説明を省略するが
画素データB ＝B₂₄ に対してもサブステップSS506, SS5
08と同様に比較データを算出し斜め相関の有無に基づい
た適応的な高周波輝度データY_Hを作成することができ
る。この処理の後、接続子C を介して図14のサブステッ
プSS530 に進む。

【００８１】前述したようにサブステップSS510 では、
画素データR ＝R₂₂ に対する垂直方向の比較データABR_V
と水平方向の比較データABR_Hを周囲に配置されているも
う一方の色の画素データ、すなわち画素データB を用い
て

【００８２】

【数５】 ABR_V＝｜B₀₂ −B₄₂ ｜・・・(5a) ABR_H＝｜B₂₀ −B₂₄ ｜・・・(5b) を算出する。この処理の後、サブステップSS511 に進
む。

【００８３】サブステップSS511 では、算出した比較デ
ータABR_V, ABR_Hの値を用いてさらに相関値（ABR_H−AB
R_V）, （ABR_V−ABR_H）が算出された際に、新たに設けら
れた所定の判定基準値J2よりもこれら相関値のそれぞれ
がともに小さいとき（YES ）、水平および垂直方向に相
関がないと判断して接続子B を介してサブステップSS50
2 に進む。また、上述した条件が満たされないとき（N
O) 、何らかの相関があるとしてサブステップSS512 に
進む。また、この段階で処理を終了する場合、図示しな
いが接続子C を介してサブステップSS530 に進んでもよ
い。

【００８４】サブステップSS512 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ2a が設定されている。比較デー
タABR_Hと比較データABR_Vの差が判定基準値J2a 以上に大
きいとき（YES ）、垂直相関があると判定してサブステ
ップSS514 に進む。また、比較データの差(ABR_H −AB
R_V) が判定基準値J2a よりも小さいとき（NO）、垂直相
関がないものとみなしサブステップSS516 に進む。

【００８５】サブステップSS514 では、相関のあるとは
画素データ同士の値が近いことを意味するから、画素デ
ータB₀₂, B₄₂を用いて高周波輝度データY_Hを算出する。
この場合、高周波輝度データY_H22は、

【００８６】

【数６】 Y_H22 ＝R₂₂/2 ＋(B₀₂＋B₄₂ )/4 ・・・(6) により得られる。この後、この画素データにおける高周
波輝度データY_Hの算出を終了したものとみなして接続子
C を介してサブステップSS530 に進む。

【００８７】次にサブステップSS516 では、対象の画素
データを挟んで水平に位置する画素データに相関（すな
わち、水平相関）があるかどうか判定を行う。この判定
には、判定基準値として前述したJ2b を用いる。比較デ
ータABR_Vと比較データABR_Hの差が判定基準値J2b 以上に
大きいとき（YES ）、水平相関があると判定してサブス
テップSS418 に進む。また、比較データの差（ABR_V−AB
R_H) が判定基準値J2bよりも小さいとき（NO）、水平相
関がないと判定し、接続子D を介してサブステップSS51
9 に進む。

【００８８】サブステップSS518 では、相関のあるとし
て画素データB₂₀, B₂₄を用いて高周波輝度データY_Hを算
出する。この場合、輝度データY_H22は、

【００８９】

【数７】 Y_H22＝R₂₂/2 ＋(B₂₀＋B₂₄ )/4 ・・・(7) により得られる。この後、この画素データにおける高周
波輝度データY_Hの算出を終了したものとみなして接続子
C を介してサブステップSS530 に進む。

【００９０】次に接続子D を介してサブステップSS519
では、たとえば、色R の画素に対する周囲の色B の画素
の相関判定を行うかどうかを選択する。色R の画素が周
囲の色B の画素の中央位置に配されているので、サブス
テップSS512, SS516における画素間の距離が短い。した
がって、より狭い範囲に対して相関があるかどうかの判
定を以後の処理で行うことになる。この相関判定を行う
場合（YES ）、サブステップSS520 に進む。また、この
相関判定を行わない場合（NO）、サブステップSS502 に
進む。この場合、判定基準値J2と異なる判定基準値J2a,
J2bのいずれの基準を満たさなかったものと判定され
る。なお、以後の処理を行わない処理手順にしてもよ
い。この場合、単に接続子D を介してサブステップSS50
2 に進む。

【００９１】サブステップSS520 では、再び比較データ
を算出する。この場合の比較データは、対象の画素デー
タと周囲の画素データの各相関を求め、得られた各相関
値を加算することにより垂直方向および水平方向に対す
る算出がされる。前述の場合と同様に画素データR₂₂ に
対する高周波輝度データY_Hの算出は、垂直方向の比較デ
ータACR_Vと水平方向の比較データACR_Hを周囲に配置され
ているもう一方の色の画素データ、すなわち画素データ
B を用いて

【００９２】

【数８】 ACR_V＝｜B₀₂ −R ｜＋｜B₄₂ −R ｜・・・(8a) ACR_H＝｜B₂₀ −R ｜＋｜B₂₄ −R ｜・・・(8b) を算出する。この処理の後、サブステップSS512 に進
む。この比較データを用いることにより、より一層画素
データの距離を画素データと近づけて相関値が求められ
ることになるので、先のサブステップSS512 〜SS518 の
手順での相関値の算出に定義した範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS522 に進む。

【００９３】サブステップSS522 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ3が設定されている（ここで、判
定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよ
い）。比較データACR_Hと比較データACR_Vの差が判定基準
値J3以上に大きいとき（YES ）、垂直相関があると判定
してサブステップSS424 に進む。また、比較データの差
（ACR_H−ACR_V) が判定基準値J3よりも小さいとき（N
O）、垂直相関がないと判定してサブステップSS526 に
進む。

【００９４】サブステップSS524 では、前述したサブス
テップSS514 での処理と同じ処理を行う。したがって、
演算には式(6) が用いられる。また、サブステップSS52
6 では、対象の画素データを挟んで水平に位置する画素
データに相関（すなわち、水平相関）があるかどうかの
判定を行う。この判定にも判定基準値J3が用いられる。

【００９５】サブステップSS526 において、比較データ
の差（ACR_V−ACR_H) が判定基準値J3以上のとき（YES
）、水平相関があると判定してサブステップSS528 に
進む。この場合、サブステップSS528 での高周波輝度デ
ータY_HはサブステップSS518 で前述したような位置関係
の画素データを用い、式(7) に基づいて算出される。こ
の後、サブステップSS530 に進む。また、サブステップ
SS526 で比較データの差（ACR_V−ACR_H) が判定基準値J3
より小さいとき（NO）、水平相関がないと判定してサブ
ステップSS502 に進む。サブステップSS502 では、式
(2) により対象の画素データと周囲のもう一方の色の画
素データ（この場合、画素データB ）を加算平均し0.5
の係数を乗算して高周波輝度データY_Hを算出している。
この算出後、サブステップSS530 に進む。

【００９６】サブステップSS530 では、市松状の高周波
輝度データY_Hのデータ作成が１フレーム分、完了したか
どうかの判定を行っている。この判定は、たとえば算出
した高周波輝度データY_Hの個数をカウントし、このカウ
ント値と受光素子の数とが一致するかどうかで容易に行
うことができる。カウント値が受光素子の数より小さい
値のとき（NO）、まだ処理が完了していないと判定す
る。この結果、輝度データY の算出処理を接続子E を介
して図13のサブステップSS500 にまで戻して、これまで
の一連の処理を繰り返す。また、カウント値が受光素子
の数に一致したとき（YES ）、処理をリターンに移行さ
せる。このリターンを経て処理をサブルーチンSUB6に移
行させる。このようにして高周波輝度データY_Hを算出す
ることにより、図15(b) のように市松状の実在する受光
素子に位置（受光画素の位置）にデータが作成される。

【００９７】次にサブルーチンSUB6の動作をフローチャ
ートで説明する（図16を参照）。サブルーチンSUB6の動
作は、前述したように輝度データ補間処理部442 ( 図２
を参照）のディジタルフィルタの構成に基づいて行われ
る。

【００９８】図16に示すように、このディジタルフィル
タの特徴であるローパスフィルタ処理を施すとともに、
この処理により仮想画素における画素データが生成され
てデータ補間が行われる（サブステップSS50）。この関
係を簡単に図17に示す。図17でも実在画素d₍₃₎, d₍₁₎,
d₍₁₎, d₍₃₎は実線で示し、仮想画素は破線で示し、４つ
の実在画素の間に配した関係になっている。仮想画素d
_n(4), d_n(2), d_n(0), d_n(2), d_n(4) には、実在画素と
の対応を考慮して、何もデータが入っていない状態と同
じ関係として扱う。すなわち、これらの画素には、ゼロ
が予め設定されている。たとえば図17(a) に示すように
画素d_n(0) を水平方向に補間するとき、ディジタルフィ
ルタのタップ係数をk₀, k₁, k₂, k₃, k₄,・・・,k_n として
整理すると、高周波輝度データY_H(0) が式(9)

【００９９】

【数９】 Y_H(0) ＝k₀*d_n(0)+k₁*(d₍₁₎+d₍₁₎)+k₂*(d_n(2)+d_n(2))+k₃*(d₍₃₎+d₍₃₎) +k₄*(d_n(4)+d_n(4))+・・・k_n*(d_n(n)+d_n(n)) ・・・(9) で表されるように得られる。ただし、この場合、図17
(a) から明らかなように、ゼロのデータが交互に入るの
で、係数が２倍になる。この関係は、図17(a) における
この他の補間対象の画素d_n(4), d_n(2), d_n(2), d_n(4)に
対しても当てはめる。これらの補間処理が施されること
により、高周波輝度データY_H(-4), Y_H(2), Y_H(2), Y
_H(4) が得られる（図17(b) を参照）。

【０１００】また、垂直方向に対しても図示していない
がローパスフィルタ処理を輝度データ補間処理部442 で
ディジタルフィルタにより行う。この場合、既に水平方
向の補間処理によって仮想画素のデータが補間されてい
るので、画素データは密に入っている。したがって、ロ
ーパスフィルタの係数は通常と同じにして済ませること
ができる。このようにして得られた高域成分を含む輝度
データを図15(b) に示したように行列表現で表すと、図
18に示すように高周波輝度データY_Hが作成される。

【０１０１】次にサブルーチンSUB7の動作について説明
する。サブルーチンSUB7は、図２に示すように色補間展
開部44b で行われる。色補間展開部44b には、データ補
正部34a から読み出した画素データ、すなわち三原色デ
ータ42がR 補間展開部444, G補間展開部446,およびB 補
間展開部448 にそれぞれ、供給されている。これらの供
給される画素データを用いて色毎に実在画素および仮想
画素の画素データの補間生成をフローチャートに従って
説明する（図19を参照）。この場合、画素データG の補
間処理をサブステップSS70で最初に行う。このとき、図
20に示すようにハニカム型G 正方格子RB完全市松のパタ
ーンを用いていることから、既存の画素データG を有す
る画素（実在画素）は、実線の八角形格子で表す。ま
た、画素データG を持たない画素、すなわち仮想画素お
よび既存の画素データを有していながら、色G と異なる
色の画素は、破線の八角形格子で表す。ここでは、この
画素データG を持たない画素を仮想画素と呼ぶ。補間処
理には、４つずつ既存の画素データを用いる。

【０１０２】この関係を具体的に図20に示す。図20のパ
ターンが示すように、仮想画素G₁₂,G₁₄, G₁₆, G₂₁〜G₂₆
の一行, G₃₂, G₃₄, G₃₆ を補間する場合、補間処理は
隣接する４つずつの画素データG₁₁, G₁₃, G₃₁, G₃₃や画
素データG₁₃, G₁₅, G₃₃, G₃₅等を用いる。たとえば、補
間対象である仮想画素の画素データG₂₁ の補間は、同一
の列方向の２つの画素に対応する実在画素のデータを用
いて

【０１０３】

【数１０】 G₂₁ ＝(G₁₁+G₃₁)/2 ・・・(10) から得られる。式(10)の計算式に画素データG₁₃, G₃₃を
適用すると、仮想画素G₂₃ を補間することができる。ま
た、仮想画素G₁₂ の補間は、同一の行方向の２つの画素
に対応する実在画素のデータを用いて

【０１０４】

【数１１】 G₁₂ ＝(G₁₁+G₁₃)/2 ・・・(11) から得られる。式(11)の計算式に画素データG₃₁, G₃₃を
適用すると、仮想画素G₃₂ を補間することができる。そ
して、４つずつの画素データG₁₁, G₁₃, G₃₁, G₃₃の中心
に位置する画素データG₂₂ は、これら４つの位置の画素
データを用いて

【０１０５】

【数１２】 G₂₂ ＝(G₁₁+G₁₃+G₃₁+G₃₃)/4 ・・・(12) から得られる。式(12)の計算式に周囲の画素データG₁₁,
G₁₃, G₃₁, G₃₃を用いると、仮想画素G₂₃ を補間するこ
とができる。画素データG₁₃, G₁₅, G₃₃, G₃₅を４つを一
組のデータとみなして補間する場合、すでに画素データ
G₂₃ は算出されているので、残る画素データG₁₄, G₃₄,
G₂₅ を上述した演算により算出すればよい。この処理を
繰り返し行うことにより、画素データG のプレーン画像
を作成する。ただし、プレーン画像の最外縁は、このよ
うな関係にならないので、厳密に補間を行う場合、境界
値として設定しておくとよい。また、有効画面を考慮す
ると、この周辺部のデータは有効画面の範囲外にあるの
で算出しなくても構わない。

【０１０６】次に画素データR の算出をサブステップSS
72で行う。この場合も既存データおよび演算によって算
出された画素データに対応する画素は、実線の正方格子
で表し、仮想画素を含む未算出の画素は破線の八角形格
子で表す。画素データR における実在画素のデータは、
図20に示すようにR₀₀, R₀₄, R₂₂, R₂₆, R₄₀, R₄₄しかな
い。この場合、サブステップSS72では、補間対象の仮想
画素に対して斜めに隣接している画素データを用いる。
たとえば、画素データR₁₁ は、画素データR₀₀,R₂₂を用
いて、

【０１０７】

【数１３】 R₁₁ ＝(R₀₀+R₂₂)/2 ・・・(13) によって算出される。同様に、仮想画素R₁₁, R₃₁, R₃₃
は、式(13)と同じ関係にそれぞれ画素データR₀₄, R₂₂、
画素データR₄₀, R₂₂および画素データR₄₄, R₂₂を適用し
て算出する。既存の画素データR₂₆ も考慮して算出する
と、隣接斜め補間処理により仮想画素R₁₅, R₃₅も作成す
ることができる。この結果が図21に示されている。

【０１０８】次にサブステップSS74では、一つ前のサブ
ステップSS72で算出された画素によって囲まれた画素を
補間対象の画素とし、補間に際して算出されたこれら４
つの画素データを用いて補間処理を行う。たとえば、画
素データR₂₄ を中心に図22から判るように、その周囲の
画素データR₁₃, R₁₅, R₃₃, R₃₅の位置のデータを用い
て、

【０１０９】

【数１４】 R₂₄ ＝(R₁₃+R₁₅+R₃₃+R₃₅)/4 ・・・(14) によって算出される。式(14)と同等の関係が周辺の画素
から得られるとき、補間を施すことによって、図23に示
すように画素データR₀₂, R₂₀, R₄₂ が得られる。換言す
ると、補間対象の画素にから見れば、補間に使用する画
素データはすべて斜めに位置している。

【０１１０】次にサブステップSS76では、これまでに得
られた画素データを用いるとともに、これらの画素の
内、補間対象の画素に対して上下左右に位置する画素デ
ータから補間を行う。たとえば、画素データR₁₂ を中心
に上下左右の４つの画素データを用いて

【０１１１】

【数１５】 R₁₂ ＝(R₀₂+R₁₁+R₁₃+R₂₂)/4 ・・・(15) によって算出される。同様の位置関係にある画素データ
R₁₄, R₃₂, R₁₄, R₃₄は、式(15)に対応する周辺の画素デ
ータR を代入すると算出できる。さらに、図22の右側に
画素が継続していると、画素データR₁₆, R₃₆も算出する
ことができる。

【０１１２】なお、図24に示すように周辺部には未補間
の仮想画素が残ってしまうので、この仮想画素に対して
周囲を囲む、たとえば３つの画素から補間するようにし
てもよい。この補間の場合も前述した補間の手法を用い
ると、仮想画素の画素データR₀₁ は、

【０１１３】

【数１６】 R₀₁ ＝(R₀₀+R₀₂+R₁₁)/3 ・・・(16) によって算出される。このようにしてこの他、画素デー
タR₀₃, R₀₅, R₁₀, R₃₀,R₄₁, R₄₃, R₄₅ が補間される。
最終的に画素データR に関するプレーン画面全体が補間
される。

【０１１４】次に画素データB に対する補間処理がサブ
ステップSS78, SS80, SS82で行われる。サブステップSS
78, SS80, SS82は、それぞれ、画素データB における隣
接斜め補間処理、４つの補間データによる中央補間処理
および上下左右の４画素による中央補間処理である。こ
れらの補間処理は、前述した画素データR の補間処理
（すなわち、サブステップSS72, SS74, SS76）に準拠し
ている。これは、図21の画素データR と図25の画素デー
タB の画素配置の関係から判る。すなわち、図25の画素
データB の画素配置は、各色の添字に表される行列表示
から、図21の画素データR を水平（すなわち、行）方向
に２列ずつ全体にシフトした配置になっている。このこ
とから、これまで挙げた算出式を適用して仮想画素を補
間する場合、行列表示で列の数字が２以上の右側で各画
素データの添字の列の数字に+2だけ加算した関係で算出
を行うとよい。たとえば、画素データB₁₃ や画素データ
B₃₃は、式(13)の色R を色B に置換し、画素データR₀₀,
R₃₁の位置関係を画素データB₀₂, B₃₃にして

【０１１５】

【数１７】 B₁₁₊₂ ＝(B₀₀₊₂+B₂₂₊₂)/2 B₁₃ ＝(B₀₂+B₂₄)/2 ・・・(17a) B₃₁₊₂ ＝(B₂₂₊₂+B₄₀₊₂)/2 B₃₃ ＝(B₂₄+B₄₂)/2 ・・・(17b) のように演算処理することにより算出される。また、画
素データの行列表示における列の数字が２より小さい左
側で各画素データの補間処理を行う場合には、画素デー
タR₀₄, R₂₂を用いて画素データR₁₃ を算出する関係を用
い、添字の数字から-2だけ減算させて算出するとよい。
たとえば、画素データB₁₁ は、

【０１１６】

【数１８】 B₁₃₂＝(B₀₄₂+B₂₂₂)/2 B₁₁ ＝(B₀₂+B₂₀)/2 ・・・(18) から得られる。他の式(13)〜式(16)の関係においても同
様の関係が成立している。この関係に注意してサブステ
ップSS80, SS82で補間処理を行うと、画素データB に関
するプレーン補間展開を行うことができる。この処理の
後、サブステップSS84に進む。

【０１１７】サブステップSS84では、プレーン補間展開
が各色毎にすべて終了したかどうかの判定を行う。一連
の処理がまだ終了していないとき（NO）、サブステップ
SS70に戻って処理を繰り返す。なお、各色毎にこの確認
処理を行ってもよい。また、一連の処理が終了したとき
（YES ）、リターンに移行する。この移行後、サブルー
チンSUB7の処理が終了し、ステップS20 に進む。

【０１１８】次に広帯域化処理を動画または静止画で行
う処理手順を簡単に説明する（サブルーチンSUB3, SUB
4）。供給される動画像に対して広帯域化処理はサブル
ーチンSUB3に従って行われる。色G の画素データが選択
スイッチ48を介して広帯域化処理部34c のHPF 54に供給
される。広帯域化処理では、まずこの色G の画素データ
にHPF 処理を施す（サブステップSS300 ）。この処理に
より色G の画素データが含む高周波成分が信号として抽
出される。この高周波成分をG_hとする。高周波成分G_hは
加算部56の加算器560, 564の一端側560b, 564bに供給さ
れるとともに、切換スイッチ54a の一端側57a にも供給
されている。

【０１１９】このとき、切換スイッチ54a は、切換制御
信号184 に応じて他端側57b に切換制御される（サブス
テップSS302 ）。これにより、高周波成分G_hが加算器56
2 に供給されなくなり、ゼロレベルの信号が供給され
る。この遮断は、加算器562 において高周波成分G_hを含
む色G の画素データに対してさらに高周波成分G_hを加算
した際に生じる異常を防止することになる。

【０１２０】加算部56では、供給される高周波成分G_hと
画素データR, Bとを各画素ごとに加算が施され、画素デ
ータG はゼロレベルが供給されるので、結果的にそのま
まスルーさせた場合と同じになる（サブステップSS304
）。一般的に、各画素の位置（i, j）とし、行列表示
させると、広帯域化した画素データR_Hij, G_Hij, B
_Hijは、

【０１２１】

【数１９】 R_Hij＝R_ij ＋G_hij ・・・(19a) G_Hij＝G_ij ・・・(19b) B_Hij＝B_ij ＋G_hij ・・・(19c) となる。ここで算出された画素データR_Hij, G_Hij, B_Hij
が色差マトリクス部58に供給される。

【０１２２】次に供給された画素データR_Hij, G_Hij, B
_Hijを用いて各実在画素および仮想画素のそれぞれに対
して演算することにより広帯域化した輝度データY 、色
差データC_r, C_bを生成する（サブステップSS306 ）。さ
らに、生成した輝度データY に対してアパーチャ調整を
施す（サブステップSS308 ）。アパーチャ調整は、輪郭
強調処理に相当する処理である。このように処理して１
フレーム分の処理が終了したかどうか判定を行う（サブ
ステップSS310 ）。１フレーム分の処理が終了していな
い場合（NO）、サブステップSS300 に戻って一連の処理
を繰り返す。また、１フレーム分の処理が終了している
場合（YES ）、リターンに進んでこのサブルーチンSUB3
を終了し、リターンを介してメインルーチンに移行す
る。

【０１２３】また、供給される静止画像に対して広帯域
化処理はサブルーチンSUB4に従って行われる。この場
合、高周波輝度データY_Hが選択スイッチ48を介して広帯
域化処理部34c のHPF 54に供給される。広帯域化処理で
は、まずこの高周波輝度データY_HにHPF 処理を施す（サ
ブステップSS400 ）。この処理により高周波輝度データ
の高周波成分が信号として抽出される。この高周波成分
をY_hとする。高周波成分Y_hは加算部56の加算器560, 564
の一端側560b, 564bに供給されるとともに、切換スイッ
チ54a の一端側57a にも供給されている。

【０１２４】このとき、切換スイッチ54a は、切換制御
信号184 に応じて閉状態に制御される（サブステップSS
402 ）。これにより、加算器562 にも高周波成分Y_hが供
給される。

【０１２５】加算部56では、供給される高周波成分Y_hと
画素データR, G, B とを各画素ごとに加算が施される
（サブステップSS404 ）。一般的に、各画素の位置（i,
j）とし、行列表示させると、広帯域化した画素データ
R_Hij, G_Hij, B_Hijは、

【０１２６】

【数２０】 R_Hij＝R_ij ＋Y_hij ・・・(20a) G_Hij＝G_ij ＋Y_hij ・・・(20b) B_Hij＝B_ij ＋Y_hij ・・・(20c) となる。ここで算出された画素データR_Hij, G_Hij, B_Hij
が色差マトリクス部58に供給される。

【０１２７】次に供給された画素データR_Hij, G_Hij, B
_Hijを用いて各実在画素および仮想画素のそれぞれに対
して演算することにより広帯域化した輝度データY 、色
差データC_r, C_bを生成する（サブステップSS406 ）。さ
らに、生成した輝度データY に対してアパーチャ調整を
施す（サブステップSS408 ）。アパーチャ調整は、輪郭
強調処理に相当する処理である。このように処理して１
フレーム分の処理が終了したかどうか判定を行う（サブ
ステップSS410 ）。１フレーム分の処理が終了していな
い場合（NO）、サブステップSS300 に戻って一連の処理
を繰り返す。また、１フレーム分の処理が終了している
場合（YES ）、リターンに進んでこのサブルーチンSUB3
を終了し、リターンを介してメインルーチンに移行す
る。

【０１２８】以上のように構成することにより、いわゆ
るハニカム型の配置で色フィルタにG 正方格子RB完全市
松パターンを適用したディジタルカメラ10において、静
止画および動画のモードのそれぞれに対応した信号処理
を行うことにより画像に異常をきたすことなく、従来よ
りも画質を高めることができる。特に、動画での画質を
向上させることができる。

【０１２９】

【発明の効果】このように本発明の固体撮像装置によれ
ば、静止画または動画のモードに設定した際に撮像を受
光素子に行わせ、受光素子に蓄積した信号電荷の読出し
を設定したモードに応じて行い、信号電荷をディジタル
信号に変換して実在画素の画素データを一時記憶し、こ
れら画素データに補正を施し、補正を設定したモードに
応じてデータ補間を行い、静止画生成のモードで高周波
輝度データを、動画生成のモードで色G の色データを用
いて広帯域化を図ることにより、各モードで形成した画
像を高画質化させることができる。特に所定の時間内に
画像の形成が要求される動画でも高画質化を満足させる
ことができる。

【０１３０】また、本発明の信号処理方法によれば、静
止画または動画のモードに設定した際に撮像を受光素子
に行わせ、受光素子に蓄積した信号電荷の読出しを設定
したモードに応じて行い、信号電荷をディジタル信号に
変換して実在画素の画素データを一時記憶し、これら画
素データに補正を施し、補正を設定したモードに応じて
データ補間を行い、静止画生成のモードで高周波輝度デ
ータを、動画生成のモードで色G の色データを用いて広
帯域化を図ることにより、各モードで形成した画像を高
画質化させることができる。特に所定の時間内に画像の
形成が要求される動画でも高画質化を満足させることが
できる。

【図面の簡単な説明】

【図１】本発明の固定撮像装置を適用したディジタルカ
メラの概略的な構成を示すブロック図である。

【図２】図１の静止画補間部の概略的な構成を示すブロ
ック図である。

【図３】図１の動画補間部のデータ補正部の構成を示す
ブロック図である。

【図４】図１の広帯域化処理部の概略的な構成を示すブ
ロック図である。

【図５】図１の撮像部に適用する色フィルタの色フィル
タセグメントの配置パターンを説明する模式図である。

【図６】図１の撮像部を入射光側から見た際の受光素子
位置および接続関係を説明する模式図である。

【図７】ディジタルカメラの動作を説明するメインフロ
ーチャートである。

【図８】図７のサブルーチンSUB1の動作手順を説明する
フローチャートである。

【図９】図８の動作によりまとめて扱う画素データの関
係を説明する模式図である。

【図１０】図１のディジタルカメラで生成される各種デ
ータの空間周波数の分布を示すグラフである。

【図１１】図８の処理を改善し得られた画素データをま
とめて扱う関係を説明する模式図である。

【図１２】図７のサブルーチンSUB2の動作手順を説明す
るフローチャートである。

【図１３】図12において適用するサブルーチンSUB5の動
作手順を説明するフローチャートである。

【図１４】図13のサブルーチンSUB5の動作説明の続きを
説明するフローチャートである。

【図１５】図13および図14の動作により実在画素と生成
される高周波輝度データY_Hとの関係を示す模式図であ
る。

【図１６】図12において適用するサブルーチンSUB6の動
作手順を説明するフローチャートである。

【図１７】図16のサブルーチンSUB6で行う高周波輝度デ
ータY_Hの補間処理を説明する模式図である。

【図１８】図16のサブルーチンSUB6の処理により生成さ
れる高周波輝度データY_Hの位置関係を説明する模式図で
ある。

【図１９】図12において適用するサブルーチンSUB7の動
作手順を説明するフローチャートである。

【図２０】図19のサブルーチンSUB7における色G の画素
補間展開を説明する模式図である。

【図２１】図19のサブルーチンSUB7における補間展開す
る対象の画素と実在画素の位置関係を示す模式図であ
る。

【図２２】図21の位置関係に隣接斜め補間処理した結果
を加えた際の位置関係を示す模式図である。

【図２３】図22の位置関係に隣接斜め補間処理により得
られた４つの画素データを用いて補間処理した結果を加
えた際の位置関係を示す模式図である。

【図２４】図23の位置関係に補間対象の画素に対して上
下左右に位置する画素データを用いて補間処理した結果
を加えた際の位置関係を示す模式図である。

【図２５】図19のサブルーチンSUB7での画素データB に
関する補間対象の画素と実在画素の位置関係を示す模式
図である。

【図２６】図７のサブルーチンSUB3の動作手順を説明す
るフローチャートである。

【図２７】図７のサブルーチンSUB4の動作手順を説明す
るフローチャートである。

【符号の説明】

10 ディジタルカメラ 12 光学レンズ系 14 操作部 16 システムバス 18 システム制御部 28 撮像部 30 前処理部 32 A/D 変換部 34 信号処理部 36 圧縮／伸張処理部 44 静止画補間部 46 動画補間部 48 選択スイッチ 140 レリーズボタン 142 静止画・動画設定部 28a 光学ローパスフィルタ 28b 色フィルタ 28c 固体撮像素子 34a データ補正部 34b 補間処理部 34c 広帯域化処理部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０１Ｌ 27/14 Ｈ０１Ｌ 27/14 ＡＨ０４Ｎ 9/64 ＤＦターム(参考） 2H054 AA01 4M118 AA10 AB01 BA10 BA14 FA06 GC08 GC14 5C065 AA01 BB01 BB10 BB30 BB48 CC01 CC07 DD02 EE03 GG02 GG13 GG21 GG32 GG50 5C066 AA01 CA06 DC01 DD07 EC11 GA31 HA02 KE02 KE11 KE17 KM02 KM05

Claims

【特許請求の範囲】

【請求項１】入射光を色分解し、該色分解した入射光
を光電変換して撮像し、該撮像により得られた信号に信
号処理を施して広帯域な信号にする固体撮像装置におい
て、該装置は、前記入射光を異なる分光特性の複数の色に色分解する色
フィルタセグメントを含む色分解手段、該色分解手段の前記色フィルタセグメントを通った入射
光を光電変換する受光素子と該受光素子に隣接した受光
素子とが互いに垂直方向および／または水平方向にずら
されて２次元配置された受光部、および該受光部の前記
受光素子で光電変換されて蓄積された信号電荷を所定の
順序で順次読み出し、外部の出力信号として出力する読
出し手段を含む撮像手段と、該撮像手段から供給される信号をディジタル変換して画
素データにするディジタル変換手段と、該撮像手段から前記信号電荷を読み出す複数のモードお
よび該複数のモードに応じて施す信号処理の設定を切り
換えるモード設定手段と、前記画素データに補正を施し、該複数のモードに応じた
前記画像データに対する補間処理を行う補間手段、およ
び前記ディジタル変換した画像データおよび／または前
記補間処理の施された画像データから得られる輝度信号
と色差信号の帯域を広げる処理を行う広帯域化手段を含
む信号処理手段とを含み、前記受光素子の実在する位置から得られる画素を実在画
素とし、前記受光素子の中間の位置の画素を仮想画素と
し、前記補間手段は、前記補正した画素データを用いて、前
記モード設定手段が設定した静止画像生成のモードに対
応したデータを補間生成する第１の補間手段と、前記補正した画素データを用いて、前記モード設定手段
が設定した動画像生成のモードでの各位置に前記画素デ
ータを対応させてデータを補間する第２の補間手段とを
含み、第１の補間手段が生成する高周波成分を含む高周波輝度
データと第２の補間手段から得られる色G の色データを
前記モード設定手段の設定に応じて切換え選択する選択
手段が前記広帯域化手段の前に配されることを特徴とす
る固体撮像装置。
【請求項２】請求項１に記載の装置において、第１の
補間手段は、前記補正した画素データを用いて水平およ
び／または垂直方向の相関検出を行い、前記相関検出結
果に基づいて前記仮想画素および前記実在画素のいずれ
か一方の画素に対する前記高周波輝度データを補間生成
し、他方の画素に対する前記高周波輝度データを補間生
成するとともに、供給される画素データの色配置を考慮
して前記仮想画素および前記実在画素に対する三原色デ
ータを補間生成することを特徴とする固体撮像装置。
【請求項３】請求項１または２に記載の装置におい
て、第２の補間手段は、前記補正した画素データを用い
て、該色G に対して斜め方向に配されるとともに、同一
の行方向に配される色R, Bを該色G の位置における三原
色の組合せデータとしてサンプリングを行う第１抽出手
段を含み、第１抽出手段は、前記組合せデータの色R, Bの少なくと
も一つが隣接する組合せデータを重複してサンプリング
が行われることを特徴とする固体撮像装置。
【請求項４】請求項１または２に記載の装置におい
て、第２の補間手段は、前記補正した画素データを用い
て、色G に対して斜めに配される同一色R または Bのデ
ータを該色G の位置におけるデータとしてサンプリング
を行う第２抽出手段と、第２抽出手段により抽出されたデータを用いて、該デー
タの加算平均で色R, Bがそれぞれ算出されるRB演算手段
とを含み、前記RB演算手段での算出値を該色G の位置における三原
色を表す組合せデータとすることを特徴とする固体撮像
装置。
【請求項５】請求項１ないし４のいずれか一項に記載
の装置において、前記広帯域化手段は、前記選択手段か
らの前記高周波輝度データまたは前記色G の色データの
所定の高周波成分を通すフィルタ手段と、前記静止画像生成のモードにて前記高周波輝度データを
供給し、前記動画像生成のモードにて前記色G の所定の
高周波成分の供給を禁止する切換え手段と、該フィルタ
手段から抽出した所定の高周波成分のデータを前記三原
色データR, G, Bに加算する加算手段と、該加算手段から供給される三原色データに基づいて輝度
データおよび色差データを生成するマトリクス手段と、該輝度データに対して輪郭強調させる処理を施すアパー
チャ調整手段とを含むことを特徴とする固体撮像装置。
【請求項６】被写界からの入射光を集光させ該入射光
を三原色RGB に色分解する色フィルタセグメントが配さ
れた色フィルタを用い、さらに、該入射光を光電変換す
る複数の受光素子を用意し、該複数の受光素子のそれぞ
れが、隣接する互いの受光素子に対して各受光素子の幾
何学的な形状の中心が互いに行方向および／または列方
向に該受光素子のピッチの半分に相当する距離だけずれ
て配され、該受光素子によって得られた信号電荷を読み
出し、ディジタル変換して得られた画像データに施す信
号処理方法において、該方法は、前記撮像した画像に対して設定する複数のモードのう
ち、静止画または動画のモードを設定するモード設定工
程と、前記色フィルタが一方の色G を正方格子状に配され、該
色フィルタの色G を挟んで対角位置に同色R,またはB が
配される完全市松パターンにより色分解され、前記受光
素子で得られた信号電荷を読み出す撮像工程と、該得られた信号電荷をディジタル変換して画素データに
するディジタル変換工程と、該得られた画素データを記憶させる画像記憶工程と、前記画素データに補正を施し、該複数のモードに応じた
前記画像データに対する補間処理を行い、前記ディジタ
ル変換した画像データおよび／または前記補間処理の施
された画像データから得られる輝度信号と色差信号の帯
域を広げる処理を行う信号処理工程とを含み、前記受光素子の実在する位置から得られる画素を実在画
素とし、前記受光素子の中間の位置の画素を仮想画素と
し、前記信号処理工程は、前記補正した画素データを用い
て、前記設定した静止画像生成のモードに対応したデー
タを補間生成する第１補間工程と、前記補正した画素データを用いて、前記設定した動画像
生成のモードでの各位置に前記画素データを対応させて
データを補間する第２補間工程と、前記モード設定に応じた処理に用いる供給元を、第１補
間工程で生成した高周波成分を含む高周波輝度データお
よび第２補間工程から得られる前記色G の色データのい
ずれか一方を選択する選択工程とを含むことを特徴とす
る信号処理方法。
【請求項７】請求項６に記載の方法において、第１補
間工程は、前記補正した画素データを用いて水平および
／または垂直方向の相関検出を行い、前記相関検出結果
に基づいて前記仮想画素および前記実在画素のいずれか
一方の画素に対する前記高周波輝度データを補間生成
し、他方の画素に対する前記高周波輝度データを補間生
成するとともに、供給される画素データの色配置を考慮
して前記仮想画素および前記実在画素に対する三原色デ
ータを補間生成することを特徴とする信号処理方法。
【請求項８】請求項６または７に記載の方法におい
て、第２補間工程は、前記補正した画素データを用い
て、該色G に対して斜め方向に配されるとともに、同一
の行方向に配される色R, Bを該色G の位置における三原
色の組合せデータとしてサンプリングを行う第１工程を
含み、第１工程は、前記組合せデータの色R, Bの少なくとも一
つが隣接する組合せデータを重複してサンプリングを行
うことを特徴とする信号処理方法。
【請求項９】請求項６または７に記載の方法におい
て、第２補間工程は、前記補正した画素データを用い
て、該色G に対して斜めに配される同一色R または Bの
データを該色G の位置におけるデータとしてサンプリン
グを行う第２工程と、該抽出したデータを用いて、前記色R, Bの加算平均をそ
れぞれ算出し、該色Gの位置における三原色を表す組合
せデータを生成する工程とを含むことを特徴とする信号
処理方法。
【請求項１０】請求項６ないし９のいずれか一項に記
載の方法において、前記信号処理工程は、供給元からの
前記高周波輝度データまたは前記色G の色データの所定
の高周波成分を通す工程と、前記静止画像生成のモードにおいて前記高周波輝度デー
タを供給し、前記動画像生成のモードにおいて前記色G
の所定の高周波成分の供給を禁止する選択工程と、該抽出した高周波成分のデータを前記三原色データR, B
および／またはG に加算する工程と、該高周波成分のデータを加算した三原色データに基づい
て輝度データおよび色差データを生成するマトリクス処
理工程と、該輝度データに対して輪郭強調させる処理を施すアパー
チャ調整工程とを含むことを特徴とする信号処理方法。