JP2002064836A - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 単板ＣＣＤイメージセンサ出力から精度の良
い３板ＣＣＤイメージセンサ出力を得るようにする。 【解決手段】 ブロック化部２８により、画素位置毎に
複数の色のうちのいずれか１つを表す色成分を持つ入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を抽出し、上記複数の色成分のうち最も高密度である
色成分を有する複数の画素の各信号値から第１の特徴情
報を第１のＡＤＲＣ処理部２９Ａで生成するとともに、
上記注目画素近傍に位置する各色成分の複数の画素の各
信号値から各色信号間の関係を示す第２の特徴情報を第
２のＡＤＲＣ処理部２９Ｂで生成し、第１及び第２の特
徴情報に基づいてクラス分類部３０により１つのクラス
を決定し、そのクラスに基づいて、少なくとも上記注目
画素が持つ色成分と異なる色成分を持つ画素を適応処理
部３１により生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像信号処理装置、
画像信号処理方法、学習装置、学習方法及び記録媒体に
関し、特に、１つの固体イメージセンサにより得られる
画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成
分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつよ
うに、クラス分類適応処理を用いて色成分を補間する画
像信号処理装置、画像信号処理方法、学習装置、学習方
法及び記録媒体に関する。

【０００２】

【従来の技術】ＣＣＤ(Charge Coupled Device) イメー
ジセンサなどの固体イメージセンサを用いた撮像装置に
は、主に、１つのＣＣＤイメージセンサを用いた単板方
式のもの（以後、単板式カメラという）と、３つのＣＣ
Ｄイメージセンサを用いた３板方式のもの（以後、３板
式カメラという）とがある。

【０００３】３板式カメラでは、例えばＲ信号用、Ｇ信
号用及びＢ信号用の３つのＣＣＤイメージセンサを用い
て、その３つのＣＣＤイメージセンサにより３原色信号
を得る。そして、この３原色信号から生成されるカラー
画像信号が記録媒体に記録される。

【０００４】単板式カメラでは、１画素毎に割り当てら
れた色フィルタアレイからなる色コーディングフィルタ
が前面に設置された１つのＣＣＤイメージセンサを用い
て、上記色コーディングフィルタにより色コーディング
された色成分の信号を１画素毎に得る。上記色コーディ
ングフィルタを構成する色フィルタアレイとしては、例
えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィル
タアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Ma
genta) の補色フィルタアレイが用いられている。そし
て、単板式カメラにおいては、ＣＣＤイメージセンサに
より１画素毎に１つの色成分の信号を得て、各画素が持
っている色成分の信号以外の色信号を線形補間処理によ
り生成して、３板式カメラにより得られる画像に近い画
像を得るようしていた。ビデオカメラなどにおいて、小
型化、軽量化を図る場合に、単板式が採用されている。

【０００５】単板式カメラにおいて、例えば図２１の
（Ａ）に示すような色配列の色フィルタアレイにより構
成された色コーディングフィルタが設けられたＣＣＤイ
メージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色
のフィルタが配置された各画素から、そのフィルタの色
に対応する画像信号のみが出力される。すなわち、Ｒの
色フィルタが配置された画素からは、Ｒ成分の画像信号
は出力されるが、Ｇ成分及びＢ成分の画像信号は出力さ
れない。同様に、Ｇの画素からは、Ｇ成分の画像信号の
みが出力され、Ｒ成分及びＢ成分の画像信号は出力され
ず、Ｂの画素からは、Ｂ成分の画像信号のみが出力さ
れ、Ｒ成分及びＧ成分の画像信号は出力されない。

【０００６】ここで、図２１の（Ａ）に示す色フィルタ
アレイの色配列は、ベイヤー配列と称される。この場合
においては、Ｇの色フィルタが市松状に配され、残った
部分にＲとＢが一列毎に交互に配されている。

【０００７】しかしながら、後段において各画素の信号
を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の
画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及び
ｍは正の整数）個の画素で構成されるＣＣＤイメージセ
ンサの出力から、図２１の（Ｂ）に示すように、ｎ×ｍ
個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及
びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメ
ラのＣＣＤ出力相当の画像信号が、それぞれ補間演算に
より求められ、それらの画像信号が後段に出力される。

【０００８】そして、さらに、例えば４倍密度の画像信
号を生成する場合、図２１の（Ｃ）に示すように、ｎ×
ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画
像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の
画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演
算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信
号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算に
より求められる。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た単板式カメラでは、線形処理を行うことにより色信号
の補間を行っているので、画像の波形が鈍ってしまい、
画像全体が不鮮明となってしまうので、輪郭強調処理等
の処理を行って、見掛けの解像度を上げる処理が必要で
あった。また、その撮像出力として得られる画像信号に
よる画像の解像度が、３板式カメラの撮像出力として得
られる画像信号による画像と比較して低く、上記線形処
理の影響により全体的にぼやけた画像となってしまうと
いった問題点があった。

【００１０】また、単板式カメラのＣＣＤイメージセン
サの出力から、同一解像度の３原色の成分を各画素毎に
生成し、その画像信号から、さらにより高密度の画像信
号を演算することにより、画素密度を大きくしたとして
も、十分な精細度を得ることができないという問題点が
あった。

【００１１】さらに、線形補間と異なる処理方法とし
て、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原
色の各画像信号毎に独立にクラス分類適応処理を行うこ
とよって３板式カメラのＣＣＤ出力に相当する画像信号
を生成することが提案されている（国際公開番号：ＷＯ
９６／０７２７５）。しかしながら、Ｒ，Ｇ，Ｂの各色
信号毎に独立にクラス分類適応処理を行ったのでは、図
２１の（Ａ）、（Ｂ）からわかるように、ベイヤー配列
の色フィルタアレイが用いられる場合、ｍ×ｎ（ｍ及び
ｎは正の整数）個の画素のうちＲ画素とＢ画素に関して
は４画素に１個の割合でしか存在しないにも拘わらずＧ
（４画素に２個の割合で存在する）と同様の処理がなさ
れることになる。このため、Ｒ成分の画像信号とＢ成分
の画像信号に関しては精度の良い予測処理を行うことが
できない。

【００１２】本発明は、このような状況に鑑みてなされ
たものであり、確実に且つ効率よく高精細度の画像信号
を得ることができるようにすることを目的とするもので
ある。

【００１３】

【課題を解決するための手段】本発明は、画素位置毎に
複数の色のうちのいずれか１つを表す色成分を持つ入力
画像信号を処理する画像信号処理装置において、上記入
力画像信号の注目画素毎に、上記注目画素近傍の複数の
画素を抽出する抽出手段と、上記画素抽出手段で抽出さ
れた上記複数の色成分のうち最も高密度である色成分を
有する複数の画素の各信号値から第１の特徴情報を生成
する第１の特徴情報生成手段と、上記画素抽出手段で抽
出された上記注目画素近傍に位置する各色成分の複数の
画素の各信号値から各色信号間の関係を示す第２の特徴
情報を生成する第２の特徴情報生成手段と、上記第１及
び第２の特徴情報生成手段により生成された第１及び第
２の特徴情報に基づいて１つのクラスを決定するクラス
決定手段と、上記クラス決定手段で決定されたクラスに
基づいて、少なくとも上記注目画素が持つ色成分と異な
る色成分を持つ画素を生成する画素生成手段とを備える
ことを特徴とする。

【００１４】また、本発明は、画素位置毎に複数の色の
うちのいずれか１つを表す色成分を持つ入力画像信号を
処理する画像信号処理方法において、上記入力画像信号
の注目画素毎に、上記注目画素近傍の複数の画素を抽出
する抽出ステップと、上記画素抽出ステップで抽出され
た上記複数の色成分のうち最も高密度である色成分を有
する複数の画素の各信号値から第１の特徴情報を生成す
る第１の特徴情報生成ステップと、上記画素抽出ステッ
プで抽出された上記注目画素近傍に位置する各色成分の
複数の画素の各信号値から各色信号間の関係を示す第２
の特徴情報を生成する第２の特徴情報生成ステップと、
上記第１及び第２の特徴情報生成ステップで生成された
第１及び第２の特徴情報に基づいて１つのクラスを決定
するクラス決定ステップと、上記クラス決定ステップで
決定されたクラスに基づいて、少なくとも上記注目画素
が持つ色成分と異なる色成分を持つ画素を生成する画素
生成ステップとを備えることを特徴とする。

【００１５】また、本発明は、画素位置毎に複数のうち
の何れか一つを表す色成分を持つ入力画像信号を処理す
る画像信号処理を行うコンピュータ制御可能なプログラ
ムが記録された記録媒体において、上記プログラムは、
上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を抽出する抽出ステップと、上記画素抽出ス
テップで抽出された上記複数の色成分のうち最も高密度
である色成分を有する複数の画素の各信号値から第１の
特徴情報を生成する第１の特徴情報生成ステップと、上
記画素抽出ステップで抽出された上記注目画素近傍に位
置する各色成分の複数の画素の各信号値から各色信号間
の関係を示す第２の特徴情報を生成する第２の特徴情報
生成ステップと、上記第１及び第２の特徴情報生成ステ
ップで生成された第１及び第２の特徴情報に基づいて１
つのクラスを決定するクラス決定ステップと、上記クラ
ス決定ステップで決定されたクラスに基づいて、少なく
とも上記注目画素が持つ色成分と異なる色成分を持つ画
素を生成する画素生成ステップとを備えることを特徴と
する。

【００１６】また、本発明に係る学習装置は、画素位置
毎に一つの色成分を持つ生徒画像信号の注目画素の近傍
の複数の画素を抽出する第１の画素抽出手段と、上記第
１の画素抽出手段で抽出された上記複数の色成分のうち
最も高密度である色成分を有する複数の画素の各信号値
から第１の特徴情報を生成する第１の特徴情報生成手段
と、上記第１の画素抽出手段で抽出された上記注目画素
近傍に位置する各色成分の複数の画素の各信号値から各
色信号間の関係を示す第２の特徴情報を生成する第２の
特徴情報生成手段と、上記第１及び第２の特徴情報生成
手段により生成された第１及び第２の特徴情報に基づい
て１つのクラスを決定するクラス決定手段と、上記生徒
画像信号と対応する画像信号であり、画素位置毎に複数
の色成分を持つ教師画像信号から、上記生徒画像信号の
注目画素の位置に相当する位置の近傍の複数の画素を抽
出する第２の画素抽出手段と、上記第１及び第２の画素
抽出手段で抽出された複数の画素の画素値に基づいて、
上記クラス毎に、上記生徒画像信号に相当する画像信号
から上記教師画像信号に相当する画像信号を生成するた
めの予測演算に用いる予測係数セットを生成する予測係
数生成手段とを備えることを特徴とする。

【００１７】また、本発明に係る学習方法は、画素位置
毎に一つの色成分を持つ生徒画像信号の注目画素の近傍
の複数の画素を抽出する第１の画素抽出ステップと、上
記第１の画素抽出ステップで抽出された上記複数の色成
分のうち最も高密度である色成分を有する複数の画素の
各信号値から第１の特徴情報を生成する第１の特徴情報
生成ステップと、上記第１の画素抽出ステップで抽出さ
れた上記注目画素近傍に位置する各色成分の複数の画素
の各信号値から各色信号間の関係を示す第２の特徴情報
を生成する第２の特徴情報生成ステップと、上記第１及
び第２の特徴情報生成ステップで生成された第１及び第
２の特徴情報に基づいて１つのクラスを決定するクラス
決定ステップと、上記生徒画像信号と対応する画像信号
であり、画素位置毎に複数の色成分を持つ教師画像信号
から、上記生徒画像信号の注目画素の位置に相当する位
置の近傍の複数の画素を抽出する第２の画素抽出ステッ
プと、上記第１及び第２の画素抽出ステップで抽出され
た複数の画素の画素値に基づいて、上記クラス毎に、上
記生徒画像信号に相当する画像信号から上記教師画像信
号に相当する画像信号を生成するための予測演算に用い
る予測係数セットを生成する予測係数生成ステップとを
備えることを特徴とする。

【００１８】さらに、本発明は、クラスに応じた予測係
数セットを生成するための学習処理を行うコンピュータ
制御可能なプログラムが記録された記録媒体において、
上記プログラムは、画素位置毎に一つの色成分を持つ生
徒画像信号の注目画素の近傍の複数の画素を抽出する第
１の画素抽出ステップと、上記第１の画素抽出ステップ
で抽出された上記複数の色成分のうち最も高密度である
色成分を有する複数の画素の各信号値から第１の特徴情
報を生成する第１の特徴情報生成ステップと、上記第１
の画素抽出ステップで抽出された上記注目画素近傍に位
置する各色成分の複数の画素の各信号値から各色信号間
の関係を示す第２の特徴情報を生成する第２の特徴情報
生成ステップと、上記第１及び第２の特徴情報生成ステ
ップで生成された第１及び第２の特徴情報に基づいて１
つのクラスを決定するクラス決定ステップと、上記生徒
画像信号と対応する画像信号であり、画素位置毎に複数
の色成分を持つ教師画像信号から、上記生徒画像信号の
注目画素の位置に相当する位置の近傍の複数の画素を抽
出する第２の画素抽出ステップと、上記第１及び第２の
画素抽出ステップで抽出された複数の画素の画素値に基
づいて、上記クラス毎に、上記生徒画像信号に相当する
画像信号から上記教師画像信号に相当する画像信号を生
成するための予測演算に用いる予測係数セットを生成す
る予測係数生成ステップとを備えることを特徴とする。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００２０】本発明は、例えば図１に示すような構成の
デジタルスチルカメラ１に適用される。このデジタルス
チルカメラ１は、１画素毎に割り当てられた色フィルタ
からなる色コーディングフィルタ４が前面に設置された
１つのＣＣＤイメージセンサ５を用いてカラー撮像を行
う単板式カメラであって、被写体からの入射光が、レン
ズ２により集光され、アイリス３及び色コーディングフ
ィルタ４を介してＣＣＤイメージセンサ５に入射される
ようになっている。上記ＣＣＤイメージセンサ５の撮像
面上には、上記アイリス３により所定レベルの光量とさ
れた入射光により被写体像が結像される。なお、このデ
ジタルスチルカメラ１においては、色コーディングフィ
ルタ４とＣＣＤイメージセンサ５は別体としたが、一体
化した構造とすることができる。

【００２１】上記ＣＣＤイメージセンサ５は、タイミン
グジェネレータ９からのタイミング信号により制御され
る電子シャッタに応じて所定時間にわたって露光を行
い、色コーディングフィルタ４を透過した入射光の光量
に応じた信号電荷（アナログ量）を画素毎に発生するこ
とにより、上記入射光により結像された被写体像を撮像
して、その撮像出力として得られる画像信号を信号調整
部６に供給する。

【００２２】信号調整部６は、画像信号の信号レベルが
一定となるようにゲインを調整するＡＧＣ(Automatic G
ain Contorol) 回路と、ＣＣＤイメージセンサ５が発生
する１／ｆのノイズを除去するＣＤＳ(Correiated Doub
le Sampling)回路からなる。

【００２３】上記信号調整部６から出力される画像信号
は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信
号に変換されて、画像信号処理部８に供給される。上記
Ａ／Ｄ変換部７では、タイミングジェネレータ９からの
タイミング信号に応じて、例えば１サンプル１０ビット
のディジタル撮像信号を生成する。

【００２４】このデジタルスチルカメラ１において、タ
イミングジェネレータ９は、ＣＣＤイメージセンサ５、
信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Pro
cessing Unit) １０に各種タイミング信号を供給する。
ＣＰＵ１０は、モータ１１を駆動することにより、アイ
リス３を制御する。また、ＣＰＵ１０は、モータ１２を
駆動することにより、レンズ２などを移動させ、ズーム
やオートフォーカスなどの制御をする。さらに、ＣＰＵ
１０は、必要に応じ、フラッシュ１３により閃光を発す
る制御を行うようにされている。

【００２５】画像信号処理部８は、Ａ／Ｄ変換部７から
供給された画像信号に対し、欠陥補正処理、ディジタル
クランプ処理、ホワイトバランス調整処理、ガンマ補正
処理、クラス分類適応処理を用いた予測処理等の処理を
行う。

【００２６】この画像信号処理部８に接続されたメモリ
１５は、例えば、ＲＡＭ(Random Access Memory)で構成
され、画像信号処理部８が画像処理を行う際に必要な信
号を記憶する。画像信号処理部８により処理された画像
信号は、インタフェース１４を介してメモリ１６に記憶
される。このメモリ１６に記憶された画像信号は、イン
タフェース１４を介してデジタルスチルカメラ１に対し
て着脱可能な記録媒体１７に記録される。

【００２７】なお、モータ１１は、ＣＰＵ１０からの制
御情報に基づいてアイリス３を駆動し、レンズ２を介し
て入射される光の量を制御する。また、モータ１２は、
ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤ
イメージセンサ２に対するフォーカス状態を制御する。
これにより、自動絞り制御動作や自動焦点制御動作が実
現される。また、フラッシュ１３は、ＣＰＵ１０による
制御の下で、被写体に対して所定の閃光を照射する。

【００２８】また、インターフェース１４は、画像信号
処理部８からの画像信号を必要に応じてメモリ１６に記
憶し、所定のインターフェース処理を実行した後、記録
媒体１７に供給し、記憶させる。記録媒体１７として
は、デジタルスチルカメラ１の本体に対して着脱可能な
記録媒体、例えばフロッピー（登録商標）ディスク、ハ
ードディスク等のディスク記録媒体、メモリカード等の
フラッシュメモリ等を用いることができる。

【００２９】コントローラ１８は、ＣＰＵ１０の制御の
下で、画像信号処理部８及びインターフェース１４に制
御情報を供給してそれぞれを制御する。ＣＰＵ１０に
は、シャッタボタンやズームボタンなどの操作ボタンか
ら構成される操作部２０からユーザによる操作情報が入
力される。ＣＰＵ１０は、入力された操作情報を基に、
上述した各部を制御する。電源部１９は、バッテリ１９
ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／
ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を
所定の値の直流電圧に変換し、装置内の各構成要素に供
給する。充電可能なバッテリ１９Ａは、デジタルスチル
カメラ１の本体に着脱可能とされている。

【００３０】次に、図２のフローチャートを参照し、図
１に示したデジタルスチルカメラ１の動作について説明
する。このデジタルスチルカメラ１は、ステップＳ１に
おいて、電源がオンされることにより、被写体の撮像を
開始する。すなわち、ＣＰＵ１０は、モータ１１及びモ
ータ１２を駆動し、焦点を合わせたりアイリス３を調整
することにより、レンズ２を介してＣＣＤイメージセン
サ５上に被写体像を結像させる。

【００３１】ステップＳ２では、結像された像をＣＣＤ
イメージセンサ５により撮像した画像信号が、信号調整
部６において、信号レベルが一定となるようにゲイン調
整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換
部７によりデジタル化される。

【００３２】また、ステップＳ３では、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号に対して、画像信
号処理部８によりクラス分類適応処理を含む画像信号処
理を行う。

【００３３】ここで、被写体像は、ＣＣＤイメージセン
サ５の撮像出力として得られる画像信号を電子ビューフ
ァインダに表示するよりユーザが確認できるようになっ
ている。なお、被写体像は、光学的ビューファインダに
よりユーザが確認できるようにすることもできる。

【００３４】そして、ユーザは、ビューファインダによ
り確認した被写体像の画像を記録媒体１７に記録したい
場合、操作部２０のシャッタボタンを操作する。デジタ
ルスチルカメラ１のＣＰＵ１０は、ステップＳ４におい
て、シャッタボタンが操作されたか否かを判断する。デ
ジタルスチルカメラ１は、シャッタボタンが操作された
と判断するまで、ステップＳ２〜Ｓ３の処理を繰り返
し、シャッタボタンが操作されたと判断すると、ステッ
プＳ５に進む。

【００３５】そして、ステップＳ５では、画像信号処理
部８による画像信号処理が施された画像信号をインター
フェース１４を介して記録媒体１７に記録する。

【００３６】次に、図３を参照して画像信号処理部８に
ついて説明する。

【００３７】この画像信号処理部８は、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号が供給される欠陥
補正部２１を備える。ＣＣＤイメージセンサ５の画素の
中で、何らかの原因により入射光に反応しない画素や、
入射光に依存せず、電荷が常に蓄えられている画素、換
言すれば、欠陥がある画素を検出し、その検出結果に従
って、それらの欠陥画素の影響が露呈しないように、画
像信号を補正する処理を行う。

【００３８】Ａ／Ｄ変換部７では、負の値がカットされ
るのを防ぐため、一般に信号値を若干正の方向ヘシフト
させた状態でＡ／Ｄ変換が行われている。クランプ部２
２は、欠陥補正部２１により欠陥補正された画像信号に
対し、上述したシフト量がなくなるようにクランプす
る。

【００３９】クランプ部２２によりクランプされた画像
信号は、ホワイトバランス調整部２３に供給される。ホ
ワイトバランス調整部２３は、クランプ部２２から供給
された画像信号のゲインを補正することにより、ホワイ
トバランスを調整する。このホワイトバランス調整部２
３によりホワイトバランスが調整された画像信号は、ガ
ンマ補正部２４に供給される。ガンマ補正部２４は、ホ
ワイトバランス調整部２３によりホワイトバランスが調
整された画像信号の信号レベルをガンマ曲線に従って補
正する。このガンマ補正部２４によりガンマ補正された
画像信号は、予測処理部２５に供給される。

【００４０】予測処理部２５は、クラス分類適応処理を
行うことによってガンマ補正部２４の出力を例えば３板
式カメラのＣＣＤ出力相当の画像信号に変換して、補正
部２６に供給する。上記予測処理部２５は、ブロック化
部２８、第１及び第２のＡＤＲＣ(Adaptive Dynamic Ra
nge Coding) 処理部２９Ａ，２９Ｂ、クラス分類部３
０、適応処理部３１、係数メモリ３２等からなる。

【００４１】ブロック化部２８は、後述するクラスタッ
プの画像信号として複数の色成分のうち最も高密度であ
る色成分を有する複数の画素の各信号値を第１のＡＤＲ
Ｃ処理部２９Ａに供給するとともに各色成分の信号値を
第２のＡＤＲＣ処理部２９Ｂに供給し、また、予測タッ
プの画像信号を適応処理部３１に供給する。

【００４２】第１のＡＤＲＣ処理部２９Ａは、クラスタ
ップの画像信号として入力される複数の色成分のうち最
も高密度である色成分を有する複数の画素の各信号値に
対してＡＤＲＣ処理を行って再量子化コードを生成し、
この再量子化コードを第１の特徴情報としてクラス分類
部３０に供給する。また、第２のＡＤＲＣ処理部２９Ｂ
は、入力された各色成分の画像信号の平均値に対して各
色成分毎にＡＤＲＣ処理を行って各色信号間のレベルの
相関関係を示す再量子化コードを生成し、この再量子化
コードを第２の特徴情報としてクラス分類部３０に供給
する。

【００４３】クラス分類部３０は、第１及び第２のＡＤ
ＲＣ処理部２９Ａ，２９Ｂから供給される第１及び第２
の特徴情報に基づいて、画像信号パターンの分類を行
い、分類結果を示すクラス番号（クラスコード）を生成
する。係数メモリ３２は、クラス分類部３０により分類
されたクラス番号に対応する係数セットを適応処理部３
１に供給する。適応処理部３１は、係数セットメモリ３
２から供給された係数セットを用いて、ブロック化部２
８から供給された予測タップの画像信号から予測画素値
を求める処理を行う。

【００４４】補正部２６は、上記予測処理部２５により
処理された画像信号に対してエッジ強調等の画像を視覚
的に良く見せるために必要ないわゆる画作りのための処
理を行う。

【００４５】そして、色空間変換部２７は、補正部２６
によりエッジ強調などの処理が施された画像信号（ＲＧ
Ｂ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差
Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの
画像信号に変換する。ただし、マトリクス変換処理を行
わず、色空間変換部２７からＲＧＢ信号をそのまま出力
させても良い。この発明の一実施形態では、例えばユー
ザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出
力するかを切り換えることが可能とされている。色空間
変換部２７により変換された画像信号は、上述のインタ
フェース１４に供給される。

【００４６】ここで、上記図２に示したフローチャート
のステップＳ３において、画像信号処理部８により行わ
れる画像信号処理について、図４のフローチャートを参
照して説明する。

【００４７】すなわち、画像信号処理部８では、Ａ／Ｄ
変換部７によりデジタル化された画像信号に対する画像
信号処理を開始すると、先ず、ステップＳ１１におい
て、ＣＣＤイメージセンサ５の欠陥の影響が出ないよう
に、欠陥補正部２１により画像信号の欠陥補正を行う。
そして、次のステップＳ１２では、欠陥補正部２１によ
り欠陥補正された画像信号に対して、正の方向にシフト
されていた量をもとに戻すクランプ処理をクランプ部２
２により行う。

【００４８】次のステップＳ１３では、クランプ部２２
によりクランプされた画像信号に対して、ホワイトバラ
ンス調整部２３によりホワイトバランスの調整を行い各
色信号間のゲインを調整する。さらに、ステップＳ１４
では、ホワイトバランスが調整された画像信号に対し
て、ガンマ補正部２４によりガンマ曲線に従った補正を
施す。

【００４９】ステップＳ１５では、クラス分類適応処理
を用いた予測処理を行う。かかる処理は、ステップＳ１
５１〜ステップＳ１５５までのステップからなる。

【００５０】ステップＳ１５１では、ガンマ補正部２４
によりガンマ補正された画像信号に対してブロック化部
２８によりブロック化、すなわち、クラスタップ及び予
測タップの切り出しを行う。ここで、クラスタップは、
複数種類の色信号に対応する画素を含む。

【００５１】ステップＳ１５２では、ブロック化部２８
によりクラスタップの画像信号として抽出された注目画
素近傍の各画素により得られた画像信号の信号値につい
て、第１のＡＤＲＣ処理部２９ＡによりＡＤＲＣ処理を
行い、第１の特徴情報を生成する。ここで、第１のＡＤ
ＲＣ処理部２９Ａにより生成される第１の特徴情報は、
注目画素近傍における複数の色成分のうち最も高密度で
ある色成分を有する複数の画素により得られる色信号の
波形分類情報である。

【００５２】また、ステップＳ１５２Ａでは、ブロック
化部２８によりクラスタップの画像信号として抽出され
た注目画素近傍の各画素により得られた各色信号の信号
レベルの平均値を各色信号毎に求める。そして、ステッ
プＳ１５２Ｂでは、上記ステップＳ１５２Ａで求められ
た各色信号の信号レベルの平均値に対して第２のＡＤＲ
Ｃ処理部２９ＢによりＡＤＲＣ処理を行い、第２の特徴
情報を生成する。ここで、第２のＡＤＲＣ処理部２９Ｂ
により生成される第２の特徴情報は、注目画素近傍にお
ける複数の色成分画素により得られる各色信号間のレベ
ルの相関関係を示す指標情報である。

【００５３】ステップＳ１５３では、クラス分類部３０
において上記第１及び第２の特徴情報に基づいてクラス
を分類するクラス分類処理を行う。そして、分類された
クラスに対応するクラス番号を適応処理部３１に与え
る。

【００５４】ステップＳ１５４において、適応処理部３
１は、クラス分類部３０より与えられたクラス番号に対
応する予測係数セットを係数メモリ３２から読み出し、
その予測係数セットを対応する予測タップの画像信号に
乗算し、それらの総和をとることで、予測画素値を演算
する。

【００５５】ステップＳ１５５では、すべての領域に対
して処理が行われたか否かを判定する。すべての領域に
対して処理が行われたと判定される場合にはステップＳ
１６に移行し、それ以外の場合にはステップＳ１５１に
移行し、次の領域に対する処理を行う。

【００５６】ステップＳ１６では、ステップＳ１５によ
って得られた３板式カメラのＣＣＤ出力相当の画像に対
して、視覚的に良く見せるための補正処理（いわゆる画
作り）を行う。ステップＳ１７では、ステップＳ１６に
よって得られた画像に例えばＲＧＢ信号をＹＵＶ信号に
変換するなどの色空間の変換処理を施す。これにより、
例えば記録信号として好適な信号フォーマットを有する
出力画像が生成される。

【００５７】ここで、クラス分類適応処理について説明
する。クラス分類適応処理を用いた予測演算を行うため
の一般的な構成例を図５に示す。入力画像信号が領域切
り出し部１０１、１０２に供給される。領域切り出し部
１０１は、入力画像信号から所定の画像領域（クラスタ
ップと称される）を抽出し、クラスタップの信号をＡＤ
ＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３
は、供給される信号にＡＤＲＣ処理を施すことにより、
再量子化コードを生成する。なお、再量子化コードを生
成する方法として、ＡＤＲＣ以外の方法を用いても良
い。

【００５８】ＡＤＲＣは、信号レベルの局所的なパター
ンを短い語調で効率的に表現できるという特徴を有す
る。このため、クラス分類のコードを発生するための、
画像信号の時空間内でのパターンすなわち空間アクティ
ビティの検出に使用することができる。ＡＤＲＣ処理部
１０３では、以下の式（１）により、クラスタップとし
て切り出される領域内の最大値ＭＡＸと最小値ＭＩＮと
の間を指定されたビット数で均等に分割して再量子化す
る。

【００５９】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ ／ＤＲ〕 （１） ここで、ＤＲは領域内のダイナミックレンジである。ま
た、ｎはビット割当て数であり、例えばｎ＝２とするこ
とができる。また、Ｌは領域内画素の信号レベルであ
り、Ｑが再量子化コードである。ただし、大かっこ
（〔・・・〕）は小数点以下を切り捨てる処理を意味す
る。

【００６０】これにより、１画素当たり例えば８ビット
からなるクラスタップの画像信号が例えば２ビットの再
量子化コード値に変換される。このようにして生成され
る再量子化コード値により、クラスタップの信号におけ
るレベル分布のパターンがより少ない情報量によって表
現される。例えば７画素からなるクラスタップ構造を用
いる場合、上述したような処理により、各画素に対応す
る７個の再量子化コードｑ１〜ｑ７が生成される。クラ
スコードclass は、次の式（２）のようなものである。

【００６１】

【数１】

【００６２】ここで、ｎはクラスタップとして切り出さ
れる画素の数である。また、ｐの値としては、例えばp
＝２とすることができる。

【００６３】クラスコードclass は、時空間内での画像
信号のレベル分布のパターンすなわち空間アクティビテ
ィを特徴情報として分類してなるクラスを表現してい
る。クラスコードclass は、予測係数メモリ１０４に供
給される。予測係数メモリ１０４は、後述するようにし
て予め決定されたクラス毎の予測係数セットを記憶して
おり、供給される再量子化コードによって表現されるク
ラスの予測係数セットを出力する。一方、領域切り出し
部１０２は、入力画像から所定の画像領域（予測タップ
と称される）を抽出し、予測タップの画像信号を予測演
算部１０５に供給する。予測演算部１０５は、領域切り
出し部１０２の出力と、予測係数メモリ１０４から供給
される予測係数セットとに基づいて以下の式（３）のよ
うな演算を行うことにより、出力画像信号ｙを生成す
る。

【００６４】 ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋・・・＋ｗ_n×ｘ_n （３） ここで、ｘ₁ ，・・・，ｘ_n が各予測タップの画素値で
あり、ｗ₁ ，・・・，ｗ_n が各予測係数である。

【００６５】また、予測係数セットを決定するための処
理について図６を参照して説明する。出力画像信号と同
一の画像信号形式を有するＨＤ(High Definition) 画像
信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供
給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を
行うことにより、ＨＤ画像信号を入力画像信号と同等の
解像度（画素数）の画像信号（以下、ＳＤ(Standard De
finition) 画像信号という）に変換する。このＳＤ画像
信号が領域切り出し部２０２、２０３に供給される。領
域切り出し部２０２は、上記領域切り出し部１０１と同
様に、ＳＤ画像信号からクラスタップを切り出し、クラ
スタップの画像信号をＡＤＲＣ処理部２０４に供給す
る。

【００６６】ＡＤＲＣ処理部２０４は、図５中のＡＤＲ
Ｃ処理部１０３と同様なＡＤＲＣ処理を行い、供給され
る信号に基づく再量子化コードを生成する。再量子化コ
ードは、クラスコード生成部２０５に供給される。クラ
スコード生成部２０５は、供給される再量子化コードに
対応するクラスを示すクラスコードを生成し、クラスコ
ードを正規方程式加算部２０６に供給する。一方、領域
切り出し部２０３は、図６中の領域切り出し部１０２と
同様に、供給されるＳＤ画像信号から予測タップを切り
出し、切り出した予測タップの画像信号を正規方程式加
算部２０６に供給する。

【００６７】正規方程式加算部２０６は、領域切り出し
部２０３から供給される画像信号と画素抽出部２０８か
ら供給される画像信号について、クラスコード生成部２
０５から供給されるクラスコード毎に加算し、加算した
各クラス毎の信号を予測係数決定部２０７に供給する。
予測係数決定部２０７は、供給される各クラス毎の信号
に基づいて各クラス毎に予測係数セットを決定する。

【００６８】さらに、予測係数セットを決定するための
演算について説明する。予測係数ｗ _i は、図６に示した
ような構成に対し、ＨＤ画像信号として複数種類の画像
信号を供給することにより、次のよう演算される。これ
らの画像信号の種類数をｍと表記する場合、式（３）か
ら、以下の式（４）が設定される。

【００６９】 ｙ_k ＝ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋・・・＋ｗ_n ×ｘ_kn （４） （ｋ＝１，２，・・・，ｍ） ｍ＞ｎの場合には、ｗ₁ ，・・・，ｗ_n は一意に決まら
ないので、誤差ベクトルｅの要素ｅｋを以下の式（５）
で定義して、式（６）によって定義される誤差ベクトル
ｅの２乗を最小とするように予測係数セットを定めるよ
うにする。すなわち、いわゆる最小２乗法によって予測
係数セットを一意に定める。

【００７０】 ｅ_k ＝ｙ_k−｛w₁ ×ｘ_k1＋ｗ₂ ×ｋ₂ ＋・・・＋ｗ_n ×ｋ_n ｝ （５） （ｋ＝１，２，・・・ｍ）

【００７１】

【数２】

【００７２】式（６）のｅ² を最小とする予測係数セッ
トを求めるための実際的な計算方法としては、ｅ² を予
測係数ｗ_i （ｉ＝１，２，・・・）で偏微分し（式
（７））、ｉの各値について偏微分値が０となるように
各予測係数ｗ_i を決定すればよい。

【００７３】

【数３】

【００７４】式（７）から各予測係数ｗ_i を決定する具
体的な手順について説明する。式（８），（９）のよう
にＸ_ji，Ｙ_i を定義すると、式（７）は、式（１０）の
行列式の形に書くことができる。

【００７５】

【数４】

【００７６】

【数５】

【００７７】

【数６】

【００７８】式（１０）が一般に正規方程式と呼ばれる
ものである。正規方程式加算部２０５は、供給される信
号に基づいて式（８），（９）に示すような演算を行う
ことにより、Ｘ_ji，Ｙ_i （ｉ＝１，２，・・・，ｎ）を
それぞれ計算する。予測係数決定部２０７は、掃き出し
法等の一般的な行列解法に従って正規方程式（１０）を
解くことにより、予測係数ｗ_i （ｉ＝１，２，・・・）
を算出する。

【００７９】ここでは、注目画素の特徴情報に対応した
予測係数セットと予測タップを用いて、上述の式（３）
における線形１次結合モデルの演算を行うことにより、
適応処理を行う。なお、適応処理に用いる注目画素の特
徴情報に対応した予測係数セットは、学習により得る
が、クラス対応の画素値を用いたり、非線形モデルの演
算により適応処理を行うこともできる。

【００８０】上述したようなクラス分類適応処理によ
り、入力画像信号から、例えばノイズが除去された画像
信号、走査線構造が変換されてなる画像信号等を出力画
像信号として生成する種々の画像信号変換処理が実現さ
れる。

【００８１】このデジタルスチルカメラ１では、例え
ば、単板式カメラのＣＣＤイメージセンサによって生成
される画素位置毎に複数のうちの何れか一つを表す色成
分を持つ入力画像信号から、入力画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を抽出し、抽出され
た複数の画素のうち最も高密度の画素の色の成分の色信
号の波形分類情報である第１の特徴情報と、各色信号間
のレベルの相関関係を示す指標情報である第２の特徴情
報を組み合わせたクラス分類適応処理によりクラスを決
定し、決定されたクラスに基づいて、上記注目画素の位
置に、上記注目画素が持つ色成分と異なる色成分を持つ
画素を生成するクラス分類適応処理を上記予測処理部２
５で行うことによって、３板式カメラのＣＣＤ出力相当
の画像信号を得る。

【００８２】すなわち、上記デジタルスチルカメラ１の
ＣＣＤイメージセンサ５にＣＣＤイメージセンサ５に用
いることのできる色コーディングフィルタ４を構成する
色フィルタアレイの構成は、各種存在するが、色フィル
タアレイの中で各信号値が有する情報の密度に差がある
場合、各色信号毎に独立にクラス分類適応処理を行った
のでは、情報の密度差により予測精度に差が生じる。例
えば、ベイヤー配列の色フィルタアレイが用いられる場
合に、Ｒ，Ｇ、Ｂの各色信号毎に独立にクラス分類適応
処理を行ったのでは、ｍ×ｎ（ｍ及びｎは正の整数）個
の画素のうちＲ画素とＢ画素に関しては４画素に１個の
割合でしか存在しないにも拘わらずＧ（４画素に２個の
割合で存在する）と同様の処理がなされることになる。
このため、ＲとＢに関してはＧと比較して精度の良い予
測処理を行うことができない。

【００８３】そこで、本発明では、情報の密度に差があ
る場合に、最も高密度に配置されている色成分のみを利
用して、画素位置毎に複数の色のうちのいずれか１つを
表す色成分を持つ入力画像信号の注目画素毎に、上記複
数の色成分のうち最も高密度である色成分を有し、上記
注目画素近傍に位置する複数の画素を抽出し、抽出され
た複数の画素により得られる色信号の波形分類情報であ
る第１の特徴情報と、各色信号間のレベルの相関関係を
示す指標情報である第２の特徴情報を組み合わせたクラ
ス分類適応処理により決定されたクラスに基づいて、上
記注目画素が持つ色成分と異なる色成分を持つ画素を生
成することにより予測精度を向上させることができる。

【００８４】この場合のベイヤー配列の色フィルタアレ
イにより色コーディングされた画像信号に対するクラス
タップと予測タップの具体例について説明する。例えば
図７に示すように、Ｂ画素を予測画素位置とする場合、
図８に示すように、その予測画素位置にあるＢ画素の上
下左右に隣接する４個のＧ画素、左側に隣接するＧ画素
の左上と左下に隣接する２個のＧ画素、さらに、予測画
素位置にあるＢ画素の右側に隣接するＧ画素の右上と右
下に隣接する２個のＧ画素の合計８個のＧ画素がクラス
タップとされる。そして、この場合における予測タップ
としては、図９に示すように、中央のＢ画素を中心とす
る５×５個のＲＧＢの各成分を含む画素が用いられる。

【００８５】また、図１０に示すように、Ｒ画素が予測
画素位置とされる場合、図１１に示すように、その予測
画素位置にあるＲ画素の上下左右に隣接する４個のＧ画
素、左側に隣接するＧ画素の左上と左下に隣接する２個
のＧ画素、さらに、右側に隣接するＧ画素の右上と右下
に隣接する２個の画素の合計８個のＧ画素がクラスタッ
プとされる。この場合における予測タップとしては、図
１２に示すように、予測画素にあるＲ画素を中心とする
５×５個のＲＧＢの各色成分を含む２５個の画素が用い
られる。

【００８６】さらに、図１３に示すように、Ｇ画素が予
測画素位置とされる場合、予測画素位置にあるＧ画素と
隣接する画素の色の違いに対応して図１４に示すような
画素がクラスタップとして用いられる。すなわち、図１
４の（Ａ）に示すクラスタップは、予測画素位置にある
Ｇ画素の左上、左下、右上及び右下に隣接する４個のＧ
画素、予測画素位置にあるＧ画素のから上下方向にＲ画
素を介して隣接する２個のＧ画素、及び水平方向にＢ画
素を介して隣接する２個のＧ画素、並びに自分自身を含
む合計９個のＧ画素により構成されている。また、図１
４の（Ｂ）に示すクラスタップは、予測画素位置にある
Ｇ画素の左上、左下、右上及び右下に隣接する４個のＧ
画素、予測画素位置にあるＧ画素のから上下方向にＢ画
素を介して隣接する２個のＧ画素、及び水平方向にＲ画
素を介して隣接する２個のＧ画素、並びに自分自身を含
む合計９個のＧ画素により構成されている。さらに、こ
の場合における予測タップとしては、図１５の（Ａ），
（Ｂ）に示すように、予測画素位置にある画素を含む、
その周囲の５×５個のＲＧＢの各色成分を含む画素が用
いられる。

【００８７】ＲＧＢの各信号値から、輝度信号Ｙは、次
式に従って演算される。

【００８８】 Ｙ＝０．５９Ｇ＋０．３０Ｒ＋０．１１Ｂ このように、輝度信号に与える影響はＧ成分が最も大き
く、したがって、図７に示すように、ベイヤー配列の場
合においても、Ｇ成分の画素が最も高密度に配置されて
いる。輝度信号Ｙは、人間の視覚特性、解像度に影響す
る情報を多量に含んでいる。

【００８９】そこで、クラスタップをＧ成分の画像信号
をＧ画素のみから構成すれば、より精度良く、クラスを
決定することができ、精度の良いクラス分類適応処理が
可能となる。

【００９０】上記予測係数セットは、予め学習により得
られるもので、上記係数メモリ３２に記憶されている。

【００９１】ここで、この学習について説明する。図１
６は、予測係数セットを学習により得る学習装置４０の
構成を示すブロック図である。

【００９２】この学習装置４０では、クラス分類適応処
理の結果として生成されるべき出力画像信号、すなわち
３板式カメラのＣＣＤ出力相当の画像信号と同一の信号
形式を有する画像信号が教師画像信号として間引き部４
１及び教師画像ブロック化部４５に供給される。間引き
部４１は、教師画像信号から、色フィルタアレイの各色
の配置に従って画素を間引く。間引き処理は、ＣＣＤイ
メージセンサ５に対して着される光学ローパスフィルタ
を想定したフィルタをかけることによって行う。すなわ
ち、実際の光学系を想定した間引き処理を行う。間引き
部４１の出力が生徒画像信号として生徒画像ブロック化
部４２に供給される。

【００９３】生徒画像ブロック化部４２は、間引き部４
１により生成された生徒信号から、ブロック毎に教師画
像信号の予測画素との対応を取りながら、注目画素に基
づくクラスタップ及び予測タップを抽出することによ
り、生徒画像信号をブロック化して第１及び射第２のＡ
ＤＲＣ処理部４３Ａ，４３Ｂと演算部４６に供給する。

【００９４】第１のＡＤＲＣ処理部４３Ａは、クラスタ
ップの画像信号として入力される複数の色成分のうち最
も高密度である色成分を有する複数の画素の各信号値に
対してＡＤＲＣ処理を行って再量子化コードを生成し、
この再量子化コードを第１の特徴情報としてクラス分類
部４４に供給する。また、第２のＡＤＲＣ処理部４３Ｂ
は、入力された各色成分の画像信号の平均値に対して各
色成分毎にＡＤＲＣ処理を行って各色信号間のレベルの
相関関係を示す再量子化コードを生成し、この再量子化
コードを第２の特徴情報としてクラス分類部４４に供給
する。クラス分類部４４は、入力された第１及び第２の
特徴情報からクラスコードを発生し、演算部４６に出力
する。

【００９５】ここでは、教師画像信号は、３板式カメラ
のＣＣＤ出力相当の解像度をもつ画像信号であり、生徒
画像信号は、単板式カメラのＣＣＤ出力相当の解像度を
もつ画像信号、換言すれば、３板式カメラより解像度の
低い画像信号である。さらに換言するに、教師画像信号
は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色
成分をもつ画像信号であり、生徒画像信号は、１画素が
Ｒ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみを
もつ画像信号である。

【００９６】一方、教師画像ブロック化部４５は、生徒
画像信号におけるクラスタップとの対応を取りながら、
教師画像信号から予測画素の画像信号を切り出し、切り
出した予測画像信号を演算部４６に供給する。演算部４
６は、生徒画像ブロック化部４２から供給される予測タ
ップの画像信号と、教師画像ブロック化部４５より供給
される予測画画像信号との対応を取りながら、クラス分
類部４４より供給されるクラス番号に従って、予測係数
セットを解とする方程式である正規方程式のデータを生
成する演算を行う。上記演算部４６によって生成される
正規方程式のデータが学習データメモリ４７に逐次読み
込まれ、記憶される。

【００９７】演算部４８は、学習データメモリ４７に蓄
積された正規方程式のデータを用いて正規方程式を解く
処理を実行する。これにより、クラス毎の予測係数セッ
トが算出される。算出された予測係数セットは、クラス
に対応させて係数メモリ４９に記憶される。係数メモリ
４９の記憶内容は、上述の係数メモリ３２にロードさ
れ、クラス分類適応処理を行う際に使用される。

【００９８】次に、図１７のフローチャートを参照し
て、学習装置４０の動作について説明する。

【００９９】この学習装置４０に入力されるデジタル画
像信号は、３板式カメラで撮像された画像に相当する画
質が得られる画像信号である。なお、３板式カメラで得
られる画像信号（教師画像信号）は、１画素の画像信号
としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、
単板式カメラで得られる画像信号（生徒画像信号）は、
１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の
１つの色信号のみを含んでいる。例えば図１８の（Ａ）
に示すように３板式カメラで撮像されたＨＤ画像信号を
フィルタリングして図１８の（Ｂ）に示すように１／４
サイズのＳＤ画像信号に変換した教師画像信号が、この
学習装置４０に入力される。

【０１００】ステップＳ３１では、教師画像ブロック化
部４５において、入力された教師画像信号をブロック化
し、入力された教師画像信号から生徒画像ブロック化部
４２が注目画素として設定する画素に対応する位置に位
置する予測画素の画素値を抽出して、演算部４６に出力
する。

【０１０１】また、ステップＳ３２では、３板式カメラ
で撮像された画像に相当する画質が得られる教師画像信
号に対して間引き部４１により単板カメラのＣＣＤイメ
ージセンサ５に用いられる色コーディングフィルタ４に
相当するフィルタをかける間引き処理を実行すること
で、図１８の（Ｃ）に示すように単板式カメラのＣＣＤ
イメージセンサ５が出力する画像信号に対応する生徒画
像信号を教師画像信号から生成し、生成した生徒画像信
号を生徒画像ブロック化部４２に出力する。

【０１０２】ステップＳ３３では、生徒画像ブロック化
部４２において、入力された生徒画像信号のブロック化
を行い、各ブロック毎に、注目画素に基づいて、クラス
タップと予測タップを生成する。

【０１０３】ステップＳ３４では、生徒画像ブロック化
部４２により生徒画像信号から切り出されたクラスタッ
プの信号として抽出された注目画素近傍の各画素により
得られた画像信号の信号値について、第１のＡＤＲＣ処
理部４３ＡによりＡＤＲＣ処理を行い、第１の特徴情報
を生成する。ここで、第１のＡＤＲＣ処理部４３Ａによ
り生成される第１の特徴情報は、注目画素近傍における
複数の色成分のうち最も高密度である色成分を有する複
数の画素により得られる色信号の波形分類情報である。

【０１０４】また、ステップＳ３４Ａでは、生徒画像ブ
ロック化部４２により生徒画像信号から切り出されたク
ラスタップの信号として抽出された注目画素近傍の注目
画素近傍の各画素により得られた各色信号の信号レベル
の平均値を各色信号毎に求める。そして、ステップＳ３
４Ｂでは、上記ステップＳ３４Ａで求められた各色信号
の信号レベルの平均値に対して第２のＡＤＲＣ処理部４
３ＢによりＡＤＲＣ処理を行い、第２の特徴情報を生成
する。ここで、第２のＡＤＲＣ処理部４３Ｂにより生成
される第２の特徴情報は、注目画素近傍における複数の
色成分画素により得られる各色信号間のレベルの相関関
係を示す指標情報である。

【０１０５】ステップＳ３５では、クラス分類部４４に
おいて、ステップＳ３４及びステップＳ３４Ｂにおける
ＡＤＲＣ処理の結果として得られる第１及び第２の特徴
情報に基づいてクラス分類し、分類されるクラスに対応
するクラス番号を示す信号を出力する。

【０１０６】ステップＳ３６では、演算部４６におい
て、クラス分類部４４より供給されたクラス毎に、生徒
画像ブロック化部４２より供給された予測タップと、教
師画像ブロック化部４５より供給される予測画像に基づ
いて、上述の式（１０）の正規方程式を生成する処理を
実行する。正規方程式は、学習データメモリ４７に記憶
される。

【０１０７】ステップＳ３７では、演算部４６によりす
べてのブロックについての処理が終了したか否かを判定
する。まだ処理していないブロックが存在する場合に
は、ステップＳ３６に戻り、それ以降の処理を繰り返し
実行する。そして、ステップＳ３７において、すべての
ブロックについての処理が終了したと判定された場合、
ステップＳ３８に進む。

【０１０８】ステップＳ３８では、演算部４８におい
て、学習データメモリ４７に記憶された正規方程式を例
えば掃き出し法(Gauss-Jordan の消去法) やコレスキー
分解法を用いて解く処理を実行することにより、予測係
数セットを算出する。このようにして算出された予測係
数セットはクラス分類部４４により出力されたクラスコ
ードと関連付けられ、係数メモリ４９に記憶される。

【０１０９】ステップＳ３９において、演算部４８にお
いてすべてのクラスについての正規方程式を解く処理を
実行したか否かを判定し、まだ実行していないクラスが
残っている場合には、ステップＳ３８に戻り、それ以降
の処理を繰り返し実行する。

【０１１０】ステップＳ３９において、すべてのクラス
についての正規方程式を解く処理が完了したと判定され
た場合、処理は終了される。

【０１１１】この学習装置４０では、注目画素近傍にお
ける複数の色成分のうち最も高密度である色成分を有す
る複数の画素により得られる色信号の波形分類情報であ
る第１の特徴情報と、注目画素近傍における複数の色成
分画素により得られる各色信号間のレベルの相関関係を
示す指標情報である第２の特徴情報に基づいてクラスを
決定することにより、上述のようなクラス適応処理を行
うための予測係数セットを得ることができる。

【０１１２】このようにしてクラスコードと関連付けら
れて係数メモリ４９に記憶された予測係数セットは、図
３に示した画像信号処理部８の係数メモリ３２に記憶さ
れることになる。そして、画像信号処理部８の適応処理
部３１は、上述したように、係数メモリ３２に記憶され
ている予測係数セットを用いて、式（３）に示した線形
１次結合モデルにより、注目画素に対して適応処理を行
う。このように、入力された画像内の注目画素に基づい
て、クラスタップと予測タップを抽出し、抽出されたク
ラスタップからクラスコードを生成し、その生成された
クラスコードに対応する予測係数セットと予測タップを
用いて、注目画素の位置にＲＧＢ全ての色信号を生成す
るようにしたので、解像度の高い画像を得ることが可能
となる。そして、上記クラスタップとして、最も高密度
に配置されている色成分の画素のみを利用することによ
り、予測精度を向上させることができる。

【０１１３】以上の実施の形態の効果を評価するため、
色フィルタアレイとしてベイヤー配列のものを用いた場
合を想定し、ＩＴＥ(Institute of Television Enginee
rs)のハイビジョン標準画像９枚を使用し、予測係数セ
ットの算出に関してもその９枚を用いてシミュレーショ
ンを行った。３板式カメラのＣＣＤ出力相当の画像信号
から、クラス分類適応処理の倍率と画素の位置関係を考
慮した間引き操作により、単板式カメラのＣＣＤ出力相
当の画像信号を生成し、学習装置４０と同様の処理を行
うアルゴリズムで予測係数セットを生成するとともに、
単板式カメラのＣＣＤイメージセンサの出力に対し、上
述したクラス分類適応処理により予測処理を行い、縦と
横それぞれ２倍ずつの画素数を有する画像信号に変換し
た結果、Ｒ（Ｇ又はＢも同様）の画素を予測する場合の
クラスタップを、ＲＧＢが混合する画素としたときよ
り、エッジや細部の鮮鋭度が向上しており、より高い解
像度の画像が得られた。クラス分類適応処理に代えて、
線形補間処理についてもシミュレーションしてみたが、
クラス分類した方が、解像度も、Ｓ／Ｎ比も良好な結果
が得られた。

【０１１４】なお、上述した説明では、色コーディング
フィルタ４として、ベイヤー配列のものを用いた場合を
説明したが、他の構成のであっても情報の密度に差があ
る構成の色コーディングフィルタを用いる場合には本発
明を適応するができる。

【０１１５】ここで、このデジタルスチルカメラ１のＣ
ＣＤイメージセンサ５に用いることのできる色コーディ
ングフィルタ４を構成する色フィルタアレイの構成例を
図１９に示す。

【０１１６】図１９の（Ａ）〜（Ｅ）は、原色（Ｒ，
Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成さ
れた色コーディングフィルタ４における緑（Ｇ）・赤
（Ｒ）・青（Ｂ）の色配列の例を示している。図１９の
（Ａ）はベイヤー配列を示し、図１９の（Ｂ）はインタ
ライン配列を示し、図１９の（Ｃ）はＧストライプＲＢ
市松配列を示し、図１９の（Ｄ）はＧストライプＲＢ完
全市松配列を示し、図１９の（Ｅ）は原色色差配列を示
す。

【０１１７】このように、本発明を適用したデジタルス
チルカメラ１においては、注目画素近傍における複数の
色成分のうち最も高密度である色成分を有する複数の画
素により得られる色信号の波形分類情報である第１の特
徴情報と、注目画素近傍における複数の色成分画素によ
り得られる各色信号間のレベルの相関関係を示す指標情
報である第２の特徴情報を組み合わせて決定されたクラ
スに基づいて、各色成分を演算するようにしたので、よ
り精度良く、画像信号を生成することができる。しか
も、クラス分類適応処理により、３板式カメラのＣＣＤ
出力相当の各色信号Ｒ，Ｇ，Ｂを得るので、エッジ部分
や細部の鮮鋭度が増し、Ｓ／Ｎ比の評価値も向上する。
すなわち、クラス分類適応処理により単板式カメラのＣ
ＣＤ出力相当の画像信号から得られる３板式カメラのＣ
ＣＤ出力相当の画像信号は、従来の線形補間処理による
場合と比較して、鮮明な画像となる。

【０１１８】なお、以上においては、画像信号のクラス
削減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ
(Discrete Cosine Transform) 、ＶＱ（ベクトル量子
化）、ＤＰＣＭ(Differential Pulse Code Modulatio
n)、ＢＴＣ(Block Trancation Coding) 、非線形量子化
などを用いても良い。

【０１１９】また、ＣＣＤイメージセンサの全画素数に
比べて、ＲＧＢの画素が例えば縦横それぞれ２倍で計４
倍の解像度を有するなど、解像度等が異なる画像信号を
生成する場合にも、この発明を適用することができる。
すなわち、生成したい画像信号を教師画像信号とし、デ
ジタルスチルカメラ１に搭載されるＣＣＤイメージセン
サ５からの出力画像信号を生徒画像信号として学習を行
うことによって生成される予測係数セットを使用してク
ラス分類適応処理を行うようにすれば良い。

【０１２０】また、この発明は、デジタルスチルカメラ
以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例
えば放送業務に用いられる画像処理装置、さらには、例
えばプリンタやスキャナ等に対しても適用することがで
きる。

【０１２１】さらに、上記予測処理部２５におけるクラ
ス分類適応処理や、上記学習装置４０において予測係数
セットを得るための学習処理は、例えば図２０に示すよ
うに、バス３１１に接続されたＣＰＵ(Central Process
ing Unit) ３１２、メモリ３１３、入力インターフェー
ス３１４、ユーザインターフェース３１５や出力インタ
ーフェース３１６などにより構成される一般的なコンピ
ュータシステム３１０により実行することができる。上
記処理を実行するコンピュータプログラムは、記録媒体
に記録されて、画素位置毎に複数のうちの何れか一つを
表す色成分を持つ入力画像信号を処理する画像信号処理
を行うコンピュータ制御可能なプログラムが記録された
記録媒体、又は、クラスに応じた予測係数セットを生成
するための学習処理を行うコンピュータ制御可能なプロ
グラムが記録された記録媒体として、ユーザに提供され
る。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭな
どの情報記録媒体の他、インターネット、デジタル衛星
などのネットワークによる伝送媒体も含まれる。

【０１２２】

【発明の効果】以上の如く本発明によれば、本発明は、
画素位置毎に複数の色のうちのいずれか１つを表す色成
分を持つ入力画像信号の注目画素毎に、上記注目画素近
傍の複数の画素を抽出し、上記複数の色成分のうち最も
高密度である色成分を有する複数の画素の各信号値から
第１の特徴情報を生成するとともに、上記注目画素近傍
に位置する各色成分の複数の画素の各信号値から各色信
号間の関係を示す第２の特徴情報を生成し、第１及び第
２の特徴情報に基づいて１つのクラスを決定し、そのク
ラスに基づいて、少なくとも上記注目画素が持つ色成分
と異なる色成分を持つ画素を生成することにより、より
精度良く、解像度の高い画像信号を得ることができる。

【０１２３】また、本発明によれば、画素位置毎に一つ
の色成分を持つ生徒画像信号の注目画素の近傍の複数の
画素を抽出し、抽出された複数の色成分のうち最も高密
度である色成分を有する複数の画素の各信号値から第１
の特徴情報を生成するとともに、上記注目画素近傍に位
置する各色成分の複数の画素の各信号値から各色信号間
の関係を示す第２の特徴情報を生成し、上記第１及び第
２の特徴情報に基づいて１つのクラスを決定し、上記生
徒画像信号と対応する画像信号であり、画素位置毎に複
数の色成分を持つ教師画像信号から、上記生徒画像信号
の注目画素の位置に相当する位置の近傍の複数の画素を
抽出し、抽出された複数の画素の画素値に基づいて、上
記クラス毎に、上記生徒画像信号に相当する画像信号か
ら上記教師画像信号に相当する画像信号を生成するため
の予測演算に用いる予測係数セットを生成するので、解
像度の高い画像信号を得るための処理を行う画像信号処
理装置が用いる予測係数セットを算出することができ
る。

【０１２４】

【図面の簡単な説明】

【図１】本発明を適用したデジタルスチルカメラの構成
を示すブロック図である。

【図２】上記デジタルスチルカメラの動作を説明するた
めのフローチャートである。

【図３】上記デジタルスチルカメラにおける画像信号処
理部の構成を示すブロック図である。

【図４】上記画像信号処理部により行われる画像信号処
理を説明するためのフローチャートである。

【図５】クラス分類適応処理を用いた予測演算を行うた
めの構成例を示す示すブロック図である。

【図６】予測係数セットを決定するための構成例を示す
ブロック図である。

【図７】予測画素を説明する図である。

【図８】クラスタップを説明する図である。

【図９】予測タップを説明する図である。

【図１０】予測画素を説明する図である。

【図１１】クラスタップを説明する図である。

【図１２】予測タップを説明する図である。

【図１３】予測画素を説明する図である。

【図１４】クラスタップを説明する図である。

【図１５】予測タップを説明する図である。

【図１６】予測係数セットを学習により得る学習装置の
構成例を示すブロック図である。

【図１７】上記学習装置の動作を説明するためのフロー
チャートである。

【図１８】上記学習装置による学習処理の一例を模式的
に示す図である。

【図１９】上記デジタルスチルカメラのＣＣＤイメージ
センサに用いることのできる色コーディングフィルタの
色フィルタアレイの構成例を模式的に示す図である。

【図２０】上記クラス分類適応処理や予測係数セットを
得るための学習処理を行うコンピュータシステムの一般
的な構成を示すブロック図である。

【図２１】従来の線形補間による画像信号処理を模式的
に示す図である。

【符号の説明】

１ デジタルスチルカメラ、５ ＣＣＤイメージセン
サ、８ 画像信号処理部、２５ 予測処理部、２８ ブ
ロック化部、２９Ａ，２９Ｂ ＡＤＲＣ処理部、３０
クラス分類部、３１ 適応処理部、３２ 係数セットメ
モリ、４０ 学習装置、４１ 間引き部、４２ 生徒画
像ブロック化部、４３Ａ，４３Ｂ ＡＤＲＣ処理部、４
４ クラス分類部、４５ 教師画像ブロック化部、４６
演算部、４７ 学習データメモリ、４８ 演算部、４
９ 係数メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/64 Ｈ０４Ｎ 101:00 // Ｈ０４Ｎ 101:00 1/46 Ｚ (72)発明者 沢尾 貴志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE16 DB02 DB06 DB09 DC25 DC40 5C065 AA02 BB02 BB08 BB11 BB12 BB23 BB48 DD02 DD17 EE05 EE12 EE20 FF03 FF05 FF10 GG08 GG13 GG15 GG18 GG29 GG30 GG31 GG49 5C066 AA01 CA05 CA21 EA14 EA19 EC02 EC05 KE07 KE17 KE19 KH00 KM02 KM05 5C079 HB01 JA23 LA02 LA17 MA02 MA11 NA04 NA29 PA00 5J064 AA02 BA15 BB03 BB04 BB12 BC01 BC06 BD03

Claims (36)

【特許請求の範囲】
1. 【請求項１】 画素位置毎に複数の色のうちのいずれか
   １つを表す色成分を持つ入力画像信号を処理する画像信
   号処理装置において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
   複数の画素を抽出する抽出手段と、 上記画素抽出手段で抽出された上記複数の色成分のうち
   最も高密度である色成分を有する複数の画素の各信号値
   から第１の特徴情報を生成する第１の特徴情報生成手段
   と、 上記画素抽出手段で抽出された上記注目画素近傍に位置
   する各色成分の複数の画素の各信号値から各色信号間の
   関係を示す第２の特徴情報を生成する第２の特徴情報生
   成手段と、 上記第１及び第２の特徴情報生成手段により生成された
   第１及び第２の特徴情報に基づいて１つのクラスを決定
   するクラス決定手段と、 上記クラス決定手段で決定されたクラスに基づいて、少
   なくとも上記注目画素が持つ色成分と異なる色成分を持
   つ画素を生成する画素生成手段とを備えることを特徴と
   する画像信号処理装置。
2. 【請求項２】 上記画素生成手段は、上記注目画素の位
   置に、すべての色成分を持つ画素を生成することを特徴
   とする請求項１記載の画像信号処理装置。
3. 【請求項３】 上記画素生成手段は、各クラス毎の予測
   係数セットを記憶する記憶手段と、上記クラス決定手段
   で決定されたクラスに応じた予測係数セットと、上記画
   素抽出手段によって抽出された上記注目画素近傍の複数
   の画素に基づく演算を行うことにより、上記異なる色成
   分を持つ画素を生成する演算手段とを備える特徴とする
   請求項１記載の画像信号処理装置。
4. 【請求項４】 上記演算手段は、上記予測係数セットと
   上記注目画素近傍の複数の画素値との線形一次結合に基
   づく演算を行うことを特徴とする請求項３記載の画像信
   号処理装置。
5. 【請求項５】 上記画素抽出手段は、上記クラス決定手
   段と上記演算手段に対して、少なくとも１画素は異なる
   画素を抽出することを特徴とする請求項３記載の画像信
   号処理装置。
6. 【請求項６】 上記第１及び第２の特徴情報生成手段
   は、ＡＤＲＣ(AdaptiveDynamic Range Coding) 処理に
   よって上記第１及び第２の特徴情報を生成することを特
   徴とする請求項１記載の画像信号処理装置。
7. 【請求項７】 上記色成分で表される色は、赤、青、緑
   の何れかであることを特徴とする請求項１記載の画像信
   号処理装置。
8. 【請求項８】 画素位置毎に複数の色のうち何れか１つ
   を表す色成分を持つ上記画像信号を取得する取得手段を
   さらに備えることを特徴とする請求項１記載の画像信号
   処理装置。
9. 【請求項９】 上記取得手段は、固体撮像素子であるこ
   とを特徴とする請求項８記載の画像信号処理装置。
10. 【請求項１０】 上記固体撮像素子は、ベイヤー配列の
    ＣＣＤイメージセンサであることを特徴とする請求項９
    記載の画像信号処理装置。
11. 【請求項１１】 画素位置毎に複数の色のうちのいずれ
    か１つを表す色成分を持つ入力画像信号を処理する画像
    信号処理方法において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記画素抽出ステップで抽出された上記複数の色成分の
    うち最も高密度である色成分を有する複数の画素の各信
    号値から第１の特徴情報を生成する第１の特徴情報生成
    ステップと、 上記画素抽出ステップで抽出された上記注目画素近傍に
    位置する各色成分の複数の画素の各信号値から各色信号
    間の関係を示す第２の特徴情報を生成する第２の特徴情
    報生成ステップと、 上記第１及び第２の特徴情報生成ステップで生成された
    第１及び第２の特徴情報に基づいて１つのクラスを決定
    するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、少なくとも上記注目画素が持つ色成分と異なる色成
    分を持つ画素を生成する画素生成ステップとを備えるこ
    とを特徴とする画像信号処理方法。
12. 【請求項１２】 上記画素生成ステップでは、上記注目
    画素の位置に、すべての色成分を持つ画素を生成するこ
    とを特徴とする請求項１１記載の画像信号方法方法。
13. 【請求項１３】 上記画素生成ステップでは、各クラス
    毎の予測係数セットを記憶し、上記クラス決定ステップ
    で決定されたクラスに応じた予測係数セットと、上記画
    素抽出ステップで抽出された上記注目画素近傍の複数の
    画素に基づく演算を行うことにより、上記異なる色成分
    を持つ画素を生成することを特徴とする請求項１１記載
    の画像信号処理方法。
14. 【請求項１４】 上記画素生成ステップでは、上記予測
    係数セットと上記注目画素近傍の複数の画素値との線形
    一次結合に基づく演算を行うことを特徴とする請求項１
    ３記載の画像信号処理方法。
15. 【請求項１５】 上記画素抽出ステップでは、上記クラ
    ス決定ステップと上記画素生成ステップに対して、少な
    くとも１画素は異なる画素を抽出することを特徴とする
    請求項１３記載の画像信号処理方法。
16. 【請求項１６】 上記第１及び第２の特徴情報生成ステ
    ップでは、ＡＤＲＣ(Adaptive Dynamic Range Coding)
    処理によって上記第１及び第２の特徴情報を生成するこ
    とを特徴とする請求項１１記載の画像信号処理方法。
17. 【請求項１７】 上記色成分で表される色は、赤、青、
    緑の何れかであることを特徴とする請求項１１記載の画
    像信号処理方法。
18. 【請求項１８】 画素位置毎に複数の色のうち何れか１
    つを表す色成分を持つ上記画像信号を取得する取得ステ
    ップをさらに備えることを特徴とする請求項１１記載の
    画像信号処理方法。
19. 【請求項１９】 上記取得ステップでは、固体撮像素子
    により上記画像信号を取得することを特徴とする請求項
    １８記載の画像信号処理方法。
20. 【請求項２０】 上記取得ステップでは、ベイヤー配列
    のＣＣＤイメージセンサにより上記画像信号を取得する
    ことを特徴とする請求項９記載の画像信号処理方法。
21. 【請求項２１】 画素位置毎に複数のうちの何れか一つ
    を表す色成分を持つ入力画像信号を処理する画像信号処
    理を行うコンピュータ制御可能なプログラムが記録され
    た記録媒体において、 上記プログラムは、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記画素抽出ステップで抽出された上記複数の色成分の
    うち最も高密度である色成分を有する複数の画素の各信
    号値から第１の特徴情報を生成する第１の特徴情報生成
    ステップと、 上記画素抽出ステップで抽出された上記注目画素近傍に
    位置する各色成分の複数の画素の各信号値から各色信号
    間の関係を示す第２の特徴情報を生成する第２の特徴情
    報生成ステップと、 上記第１及び第２の特徴情報生成ステップで生成された
    第１及び第２の特徴情報に基づいて１つのクラスを決定
    するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、少なくとも上記注目画素が持つ色成分と異なる色成
    分を持つ画素を生成する画素生成ステップとを備えるこ
    とを特徴とする記録媒体。
22. 【請求項２２】 上記画素生成ステップでは、上記注目
    画素の位置に、すべての色成分を持つ画素を生成するこ
    とを特徴とする請求項２１記載の記録媒体。
23. 【請求項２３】 上記画素生成ステップでは、各クラス
    毎の予測係数セットを記憶し、上記クラス決定ステップ
    で決定されたクラスに応じた予測係数セットと、上記画
    素抽出ステップで抽出された上記注目画素近傍の複数の
    画素に基づく演算を行うことにより、上記異なる色成分
    を持つ画素を生成することを特徴とする請求項２１記載
    の記録媒体。
24. 【請求項２４】 上記画素生成ステップでは、上記予測
    係数セットと上記注目画素近傍の複数の画素値との線形
    一次結合に基づく演算を行うことを特徴とする請求項２
    ３記載の記録媒体。
25. 【請求項２５】 上記画素抽出ステップでは、上記クラ
    ス決定ステップと上記画素生成ステップに対して、少な
    くとも１画素は異なる画素を抽出することを特徴とする
    請求項２３記載の記録媒体。
26. 【請求項２６】 上記第１及び第２の特徴情報生成ステ
    ップでは、ＡＤＲＣ(Adaptive Dynamic Range Coding)
    処理によって上記第１及び第２の特徴情報を生成するこ
    とを特徴とする請求項２１記載の記録媒体。
27. 【請求項２７】 上記色成分で表される色は、赤、青、
    緑の何れかであることを特徴とする請求項２１記載の記
    録媒体。
28. 【請求項２８】 画素位置毎に複数の色のうち何れか１
    つを表す色成分を持つ上記画像信号を取得する取得ステ
    ップをさらに備えることを特徴とする請求項２１記載の
    記録媒体。
29. 【請求項２９】 上記取得ステップでは、固体撮像素子
    により上記画像信号を取得することを特徴とする請求項
    ２８記載の記録媒体。
30. 【請求項３０】 上記取得ステップでは、ベイヤー配列
    のＣＣＤイメージセンサにより上記画像信号を取得する
    ことを特徴とする請求項２９記載の記録媒体。
31. 【請求項３１】 画素位置毎に一つの色成分を持つ生徒
    画像信号の注目画素の近傍の複数の画素を抽出する第１
    の画素抽出手段と、 上記第１の画素抽出手段で抽出された上記複数の色成分
    のうち最も高密度である色成分を有する複数の画素の各
    信号値から第１の特徴情報を生成する第１の特徴情報生
    成手段と、 上記第１の画素抽出手段で抽出された上記注目画素近傍
    に位置する各色成分の複数の画素の各信号値から各色信
    号間の関係を示す第２の特徴情報を生成する第２の特徴
    情報生成手段と、 上記第１及び第２の特徴情報生成手段により生成された
    第１及び第２の特徴情報に基づいて１つのクラスを決定
    するクラス決定手段と、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記生徒画
    像信号の注目画素の位置に相当する位置の近傍の複数の
    画素を抽出する第２の画素抽出手段と、 上記第１及び第２の画素抽出手段で抽出された複数の画
    素の画素値に基づいて、上記クラス毎に、上記生徒画像
    信号に相当する画像信号から上記教師画像信号に相当す
    る画像信号を生成するための予測演算に用いる予測係数
    セットを生成する予測係数生成手段とを備えることを特
    徴とする学習装置。
32. 【請求項３２】 上記第１及び第２の特徴情報生成手段
    では、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理
    によって上記第１及び第２の特徴情報を生成することを
    特徴とする請求項３１記載の学習装置。
33. 【請求項３３】 画素位置毎に一つの色成分を持つ生徒
    画像信号の注目画素の近傍の複数の画素を抽出する第１
    の画素抽出ステップと、 上記第１の画素抽出ステップで抽出された上記複数の色
    成分のうち最も高密度である色成分を有する複数の画素
    の各信号値から第１の特徴情報を生成する第１の特徴情
    報生成ステップと、 上記第１の画素抽出ステップで抽出された上記注目画素
    近傍に位置する各色成分の複数の画素の各信号値から各
    色信号間の関係を示す第２の特徴情報を生成する第２の
    特徴情報生成ステップと、 上記第１及び第２の特徴情報生成ステップで生成された
    第１及び第２の特徴情報に基づいて１つのクラスを決定
    するクラス決定ステップと、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記生徒画
    像信号の注目画素の位置に相当する位置の近傍の複数の
    画素を抽出する第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを備える
    ことを特徴とする学習方法。
34. 【請求項３４】 上記第１及び第２の特徴情報生成ステ
    ップでは、ＡＤＲＣ(Adaptive Dynamic Range Coding)
    処理によって上記第１及び第２の特徴情報を生成するこ
    とを特徴とする請求項３１記載の学習方法。
35. 【請求項３５】 クラスに応じた予測係数セットを生成
    するための学習処理を行うコンピュータ制御可能なプロ
    グラムが記録された記録媒体において、 上記プログラムは、 画素位置毎に一つの色成分を持つ生徒画像信号の注目画
    素の近傍の複数の画素を抽出する第１の画素抽出ステッ
    プと、 上記第１の画素抽出ステップで抽出された上記複数の色
    成分のうち最も高密度である色成分を有する複数の画素
    の各信号値から第１の特徴情報を生成する第１の特徴情
    報生成ステップと、 上記第１の画素抽出ステップで抽出された上記注目画素
    近傍に位置する各色成分の複数の画素の各信号値から各
    色信号間の関係を示す第２の特徴情報を生成する第２の
    特徴情報生成ステップと、 上記第１及び第２の特徴情報生成ステップで生成された
    第１及び第２の特徴情報に基づいて１つのクラスを決定
    するクラス決定ステップと、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記生徒画
    像信号の注目画素の位置に相当する位置の近傍の複数の
    画素を抽出する第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを備える
    ことを特徴とする記録媒体。
36. 【請求項３６】 上記第１及び第２の特徴情報生成ステ
    ップでは、ＡＤＲＣ(Adaptive Dynamic Range Coding)
    処理によって上記第１及び第２の特徴情報を生成するこ
    とを特徴とする請求項３６記載の記録媒体。