JP2002064819A - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 補間処理の破綻を回避し、色再現性の向上を
図り、解像度が高く、滑らかで且つ自然な色の変化を再
現できる画像信号を単板式カメラのＣＣＤ出力から得ら
れるようにする。 【解決手段】 クラスタップ抽出回路３１により、入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を抽出し、上記注目画素近傍に位置する各色成分の複
数の画素の信号値に基づいて色空間内におけるベクトル
量子化をベクトル量子化回路３２により行い、そのベク
トル量子化の結果に基づいて１つのクラスをクラス分類
回路３３により決定し、そのクラスに基づいて、少なく
とも上記注目画素が持つ色成分と異なる色成分を持つ画
素を適応処理回路３６により生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像信号処理装置、
画像信号処理方法、学習装置、学習方法及び記録媒体に
関し、特に、１つの固体イメージセンサにより得られる
画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成
分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつよ
うに、クラス分類適応処理を用いて色成分を補間する画
像信号処理装置、画像信号処理方法、学習装置、学習方
法及び記録媒体に関する。

【０００２】

【従来の技術】ＣＣＤ(Charge Coupled Device) イメー
ジセンサなどの固体イメージセンサを用いた撮像装置に
は、主に、１つのＣＣＤイメージセンサを用いた単板方
式のもの（以後、単板式カメラという）と、３つのＣＣ
Ｄイメージセンサを用いた３板方式のもの（以後、３板
式カメラという）とがある。

【０００３】３板式カメラでは、例えばＲ信号用、Ｇ信
号用及びＢ信号用の３つのＣＣＤイメージセンサを用い
て、その３つのＣＣＤイメージセンサにより３原色信号
を得る。そして、この３原色信号から生成されるカラー
画像信号が記録媒体に記録される。

【０００４】単板式カメラでは、１画素毎に割り当てら
れた色フィルタアレイからなる色コーディングフィルタ
が前面に設置された１つのＣＣＤイメージセンサを用い
て、上記色コーディングフィルタにより色コーディング
された色成分の信号を１画素毎に得る。上記色コーディ
ングフィルタを構成する色フィルタアレイとしては、例
えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィル
タアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Ma
genta) の補色フィルタアレイが用いられている。そし
て、単板式カメラにおいては、ＣＣＤイメージセンサに
より１画素毎に１つの色成分の信号を得て、各画素が持
っている色成分の信号以外の色信号を線形補間処理によ
り生成して、３板式カメラにより得られる画像に近い画
像を得るようにしていた。ビデオカメラなどにおいて、
小型化、軽量化を図る場合に、単板式が採用されてい
る。

【０００５】単板式カメラにおいて、例えば図２２の
（Ａ）に示すような色配列の色フィルタアレイにより構
成された色コーディングフィルタが設けられたＣＣＤイ
メージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色
のフィルタが配置された各画素から、そのフィルタの色
に対応する画像信号のみが出力される。すなわち、Ｒの
色フィルタが配置された画素からは、Ｒ成分の画像信号
は出力されるが、Ｇ成分及びＢ成分の画像信号は出力さ
れない。同様に、Ｇの画素からは、Ｇ成分の画像信号の
みが出力され、Ｒ成分及びＢ成分の画像信号は出力され
ず、Ｂの画素からは、Ｂ成分の画像信号のみが出力さ
れ、Ｒ成分及びＧ成分の画像信号は出力されない。

【０００６】ここで、図２２の（Ａ）に示す色フィルタ
アレイの色配列は、ベイヤー配列と称される。この場合
においては、Ｇの色フィルタが市松状に配され、残った
部分にＲとＢが一列毎に交互に配されている。

【０００７】しかしながら、後段において各画素の信号
を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の
画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及び
ｍは正の整数）個の画素で構成されるＣＣＤイメージセ
ンサの出力から、図２２の（Ｂ）に示すように、ｎ×ｍ
個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及
びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメ
ラのＣＣＤ出力相当の画像信号が、それぞれ補間演算に
より求められ、それらの画像信号が後段に出力される。

【０００８】そして、さらに、例えば４倍密度の画像信
号を生成する場合、図２２の（Ｃ）に示すように、ｎ×
ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画
像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の
画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演
算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信
号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算に
より求められる。

【０００９】

【発明が解決しようとする課題】ＣＣＤイメージセンサ
により１画素毎に１つの色成分の信号を得て、各画素が
持っている色成分の信号以外の色信号を線形補間処理に
より生成する単板式カメラにおいては、画像の斜め線や
細線の部分で上記線形補間処理に破綻を生じ易いという
問題点がある。また、線形処理を行うことにより色信号
の補間を行っているので、画像の波形が鈍つてしまい、
画像全体が不鮮明となってしまうので、輪郭強調処理等
の処理を行って、見掛けの解像度を上げる処理が必要で
あった。また、その撮像出力として得られる画像信号に
よる画像の解像度が、３板式カメラの撮像出力として得
られる画像信号による画像と比較して低く、上記線形処
理の影響により全体的にぼやけた画像となってしまうと
いった問題点があった。

【００１０】また、単板式カメラのＣＣＤイメージセン
サの出力から、同一解像度の３原色の成分を各画素毎に
生成し、その画像信号から、さらにより高密度の画像信
号を演算することにより、画素密度を大きくしたとして
も、十分な精細度を得ることができないという問題点が
あった。

【００１１】さらに、線形補間と異なる処理方法とし
て、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原
色の各画像信号毎に独立にクラス分類適応処理を行うこ
とよって３板式カメラのＣＣＤ出力に相当する画像信号
を生成することが提案されている（国際公開番号：ＷＯ
９６／０７２７５）。しかしながら、クラス分類適応処
理においても、基本的に波形によるクラス分類を行って
いるため、色信号間の波形に違いが見られる箇所では破
綻を招くことが確認されている。本発明は、このような
状況に鑑みてなされたものであり、補間処理の破綻を回
避し、色再現性の向上を図り、解像度が高く、滑らかで
且つ自然な色の変化を再現できる画像信号を単板式カメ
ラのＣＣＤ出力から得られるようにすることを目的とす
る。

【００１２】

【課題を解決するための手段】本発明は、画素位置毎に
輝度あるいは複数の色のうちのいずれか１つを表す成分
を持つ入力画像信号を処理する画像信号処理装置におい
て、上記入力画像信号の注目画素毎に、上記注目画素近
傍の複数の画素を抽出する抽出手段と、上記画素抽出手
段で抽出された上記注目画素近傍に位置する複数の画素
それぞれの色成分の信号値に基づいて、複数の色成分に
よって表される色空間内におけるベクトル量子化を行う
ベクトル量子化手段と、上記ベクトル量子化手段による
ベクトル量子化の結果に基づいて１つのクラスを決定す
るクラス決定手段と、上記クラス決定手段で決定された
クラスに基づいて、少なくとも上記注目画素が持つ色成
分と異なる色成分を持つ画素を生成する画素生成手段と
を備えることを特徴とする。

【００１３】また、本発明は、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つを表す成分を持つ入力
画像信号を処理する画像信号処理方法において、上記入
力画像信号の注目画素毎に、上記注目画素近傍の複数の
画素を抽出する抽出ステップと、上記画素抽出手段で抽
出された上記注目画素近傍に位置する複数の画素それぞ
れの色成分の信号値に基づいて、複数の色成分によって
表される色空間内におけるベクトル量子化を行うベクト
ル量子化ステップと、上記ベクトル量子化の結果に基づ
いて１つのクラスを決定するクラス決定ステップと、上
記クラス決定ステップで決定されたクラスに基づいて、
少なくとも上記注目画素が持つ色成分と異なる色成分を
持つ画素を生成する画素生成ステップとを備えることを
特徴とする。

【００１４】また、本発明は、画素位置毎に複数のうち
の何れか一つを表す色成分を持つ入力画像信号を処理す
る画像信号処理を行うコンピュータ制御可能なプログラ
ムが記録された記録媒体において、上記プログラムは、
上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を抽出する抽出ステップと、上記画素抽出手
段で抽出された上記注目画素近傍に位置する複数の画素
それぞれの色成分の信号値に基づいて、複数の色成分に
よって表される色空間内におけるベクトル量子化を行う
ベクトル量子化ステップと、上記ベクトル量子化の結果
に基づいて１つのクラスを決定するクラス決定ステップ
と、上記クラス決定ステップで決定されたクラスに基づ
いて、少なくとも上記注目画素が持つ色成分と異なる色
成分を持つ画素を生成する画素生成ステップとを備える
ことを特徴とする。

【００１５】また、本発明に係る学習装置は、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つを表す
成分を持つ生徒画像信号の注目画素の近傍の複数の画素
を抽出する第１の画素抽出手段と、上記第１の画素抽出
手段で抽出された上記注目画素近傍に位置する複数の画
素それぞれの色成分の信号値に基づいて、複数の色成分
で表される色空間内におけるベクトル量子化を行うベク
トル量子化手段と、上記ベクトル量子化手段によるベク
トル量子化の結果に基づいて１つのクラスを決定するク
ラス決定手段と、上記生徒画像信号と対応する画像信号
であり、画素位置毎に輝度あるいは複数の色のうちのい
ずれか１つを表す成分を持つ教師画像信号から、上記生
徒画像信号の注目画素の位置に相当する位置の近傍の複
数の画素を抽出する第２の画素抽出手段と、上記第１及
び第２の画素抽出手段で抽出された複数の画素の画素値
に基づいて、上記クラス毎に、上記生徒画像信号に相当
する画像信号から上記教師画像信号に相当する画像信号
を生成するための予測演算に用いる予測係数セットを生
成する予測係数生成手段とを備えることを特徴とする。

【００１６】また、本発明に係る学習方法は、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つを表す
成分を持つ生徒画像信号の注目画素の近傍の複数の画素
を抽出する第１の画素抽出ステップと、上記第１の画素
抽出ステップで抽出された上記注目画素近傍に位置する
複数の画素それぞれの色成分の信号値に基づいて、複数
の色成分によって表される色空間内におけるベクトル量
子化を行うベクトル量子化ステップと、上記ベクトル量
子化ステップにおけるベクトル量子化の結果に基づいて
１つのクラスを決定するクラス決定ステップと、上記生
徒画像信号と対応する画像信号であり、画素位置毎に輝
度あるいは複数の色のうちのいずれか１つを表す成分を
持つ教師画像信号から、上記生徒画像信号の注目画素の
位置に相当する位置の近傍の複数の画素を抽出する第２
の画素抽出ステップと、上記第１及び第２の画素抽出ス
テップで抽出された複数の画素の画素値に基づいて、上
記クラス毎に、上記生徒画像信号に相当する画像信号か
ら上記教師画像信号に相当する画像信号を生成するため
の予測演算に用いる予測係数セットを生成する予測係数
生成ステップとを有することを特徴とする。

【００１７】さらに、本発明は、クラスに応じた予測係
数セットを生成するための学習処理を行うコンピュータ
制御可能なプログラムが記録された記録媒体において、
上記プログラムは、画素位置毎に輝度あるいは複数の色
のうちのいずれか１つを表す成分を持つ生徒画像信号の
注目画素の近傍の複数の画素を抽出する第１の画素抽出
ステップと、上記第１の画素抽出ステップで抽出された
上記注目画素近傍に位置する複数の画素それぞれの色成
分の信号値に基づいて、複数の色成分によって表される
色空間内におけるベクトル量子化を行うベクトル量子化
ステップと、上記ベクトル量子化ステップにおけるベク
トル量子化の結果に基づいて１つのクラスを決定するク
ラス決定ステップと、上記生徒画像信号と対応する画像
信号であり、画素位置毎に輝度あるいは複数の色のうち
のいずれか１つを表す成分を持つ教師画像信号から、上
記生徒画像信号の注目画素の位置に相当する位置の近傍
の複数の画素を抽出する第２の画素抽出ステップと、上
記第１及び第２の画素抽出ステップで抽出された複数の
画素の画素値に基づいて、上記クラス毎に、上記生徒画
像信号に相当する画像信号から上記教師画像信号に相当
する画像信号を生成するための予測演算に用いる予測係
数セットを生成する予測係数生成ステップとを有するこ
とを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００１９】本発明は、例えば図１に示すような構成の
デジタルスチルカメラ１に適用される。このデジタルス
チルカメラ１は、１画素毎に割り当てられたベイヤ配列
などの色フィルタからなる色コーディングフィルタ４が
前面に設置された１つのＣＣＤイメージセンサ５を用い
てカラー撮像を行う単板式カメラであって、被写体から
の入射光が、レンズ２により集光され、アイリス３及び
色コーディングフィルタ４を介してＣＣＤイメージセン
サ５に入射されるようになっている。上記ＣＣＤイメー
ジセンサ５の撮像面上には、上記アイリス３により所定
レベルの光量とされた入射光により被写体像が結像され
る。なお、このデジタルスチルカメラ１においては、色
コーディングフィルタ４とＣＣＤイメージセンサ５は別
体としたが、一体化した構造とすることができる。

【００２０】上記ＣＣＤイメージセンサ５は、タイミン
グジェネレータ９からのタイミング信号により制御され
る電子シャッタに応じて所定時間にわたって露光を行
い、色コーディングフィルタ４を透過した入射光の光量
に応じた信号電荷（アナログ量）を画素毎に発生するこ
とにより、上記入射光により結像された被写体像を撮像
して、その撮像出力として得られる画像信号を信号調整
部６に供給する。

【００２１】信号調整部６は、画像信号の信号レベルが
一定となるようにゲインを調整するＡＧＣ(Automatic G
ain Contorol) 回路と、ＣＣＤイメージセンサ５が発生
する１／ｆのノイズを除去するＣＤＳ(Correiated Doub
le Sampling)回路からなる。

【００２２】上記信号調整部６から出力される画像信号
は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信
号に変換されて、画像信号処理部８に供給される。上記
Ａ／Ｄ変換部７では、タイミングジェネレータ９からの
タイミング信号に応じて、例えば１サンプル１０ビット
のディジタル撮像信号を生成する。

【００２３】このデジタルスチルカメラ１において、タ
イミングジェネレータ９は、ＣＣＤイメージセンサ５、
信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Pro
cessing Unit) １０に各種タイミング信号を供給する。
ＣＰＵ１０は、モータ１１を駆動することにより、アイ
リス３を制御する。また、ＣＰＵ１０は、モータ１２を
駆動することにより、レンズ２などを移動させ、ズーム
やオートフォーカスなどの制御をする。さらに、ＣＰＵ
１０は、必要に応じ、フラッシュ１３により閃光を発す
る制御を行うようにされている。

【００２４】画像信号処理部８は、Ａ／Ｄ変換部７から
供給された画像信号に対し、欠陥補正処理、ディジタル
クランプ処理、ホワイトバランス調整処理、ガンマ補正
処理、クラス分類適応処理を用いた予測処理等の処理を
行う。

【００２５】この画像信号処理部８に接続されたメモリ
１５は、例えば、ＲＡＭ(Random Access Memory)で構成
され、画像信号処理部８が画像処理を行う際に必要な信
号を記憶する。画像信号処理部８により処理された画像
信号は、インタフェース１４を介してメモリ１６に記憶
される。このメモリ１６に記憶された画像信号は、イン
タフェース１４を介してデジタルスチルカメラ１に対し
て着脱可能な記録媒体１７に記録される。

【００２６】なお、モータ１１は、ＣＰＵ１０からの制
御情報に基づいてアイリス３を駆動し、レンズ２を介し
て入射される光の量を制御する。また、モータ１２は、
ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤ
イメージセンサ２に対するフォーカス状態を制御する。
これにより、自動絞り制御動作や自動焦点制御動作が実
現される。また、フラッシュ１３は、ＣＰＵ１０による
制御の下で、被写体に対して所定の閃光を照射する。

【００２７】また、インターフェース１４は、画像信号
処理部８からの画像信号を必要に応じてメモリ１６に記
憶し、所定のインターフェース処理を実行した後、記録
媒体１７に供給し、記憶させる。記録媒体１７として
は、デジタルスチルカメラ１の本体に対して着脱可能な
記録媒体、例えばフロッピー（登録商標）ディスク、ハ
ードディスク等のディスク記録媒体、メモリカード等の
フラッシュメモリ等を用いることができる。

【００２８】コントローラ１８は、ＣＰＵ１０の制御の
下で、画像信号処理部８及びインターフェース１４に制
御情報を供給してそれぞれを制御する。ＣＰＵ１０に
は、シャッタボタンやズームボタンなどの操作ボタンか
ら構成される操作部２０からユーザによる操作情報が入
力される。ＣＰＵ１０は、入力された操作情報を基に、
上述した各部を制御する。電源部１９は、バッテリ１９
ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／
ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を
所定の値の直流電圧に変換し、装置内の各構成要素に供
給する。充電可能なバッテリ１９Ａは、デジタルスチル
カメラ１の本体に着脱可能とされている。

【００２９】次に、図２のフローチャートを参照し、図
１に示したデジタルスチルカメラ１の動作について説明
する。このデジタルスチルカメラ１は、ステップＳ１に
おいて、電源がオンされることにより、被写体の撮像を
開始する。すなわち、ＣＰＵ１０は、モータ１１及びモ
ータ１２を駆動し、焦点を合わせたりアイリス３を調整
することにより、レンズ２を介してＣＣＤイメージセン
サ５上に被写体像を結像させる。

【００３０】ステップＳ２では、結像された像をＣＣＤ
イメージセンサ５により撮像した画像信号が、信号調整
部６において、信号レベルが一定となるようにゲイン調
整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換
部７によりデジタル化される。

【００３１】また、ステップＳ３では、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号に対して、画像信
号処理部８によりクラス分類適応処理を含む画像信号処
理を行う。

【００３２】ここで、被写体像は、ＣＣＤイメージセン
サ５の撮像出力として得られる画像信号を電子ビューフ
ァインダに表示するよりユーザが確認できるようになっ
ている。なお、被写体像は、光学的ビューファインダに
よりユーザが確認できるようにすることもできる。

【００３３】そして、ユーザは、ビューファインダによ
り確認した被写体像の画像を記録媒体１７に記録したい
場合、操作部２０のシャッタボタンを操作する。デジタ
ルスチルカメラ１のＣＰＵ１０は、ステップＳ４におい
て、シャッタボタンが操作されたか否かを判断する。デ
ジタルスチルカメラ１は、シャッタボタンが操作された
と判断するまで、ステップＳ２〜Ｓ３の処理を繰り返
し、シャッタボタンが操作されたと判断すると、ステッ
プＳ５に進む。

【００３４】そして、ステップＳ５では、画像信号処理
部８による画像信号処理が施された画像信号をインター
フェース１４を介して記録媒体１７に記録する。

【００３５】次に、図３を参照して画像信号処理部８に
ついて説明する。

【００３６】この画像信号処理部８は、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号が供給される欠陥
補正部２１を備える。ＣＣＤイメージセンサ５の画素の
中で、何らかの原因により入射光に反応しない画素や、
入射光に依存せず、電荷が常に蓄えられている画素、換
言すれば、欠陥がある画素を検出し、その検出結果に従
って、それらの欠陥画素の影響が露呈しないように、画
像信号を補正する処理を行う。

【００３７】Ａ／Ｄ変換部７では、負の値がカットされ
るのを防ぐため、一般に信号値を若干正の方向ヘシフト
させた状態でＡ／Ｄ変換が行われている。クランプ部２
２は、欠陥補正部２１により欠陥補正された画像信号に
対し、上述したシフト量がなくなるようにクランプす
る。

【００３８】クランプ部２２によりクランプされた画像
信号は、ホワイトバランス調整部２３に供給される。ホ
ワイトバランス調整部２３は、クランプ部２２から供給
された画像信号のゲインを補正することにより、ホワイ
トバランスを調整する。このホワイトバランス調整部２
３によりホワイトバランスが調整された画像信号は、ク
ラス分類適応処理２４に供給される。

【００３９】クラス分類適応処理２４では、ホワイトバ
ランス調整部２３によりホワイトバランスが調整された
画像信号について、局所的な画像の特徴量を抽出し、各
特徴に基づいてクラスを作成して、クラス毎の処理を行
う。具体的な処理としては、単板画像から３板相当画像
の変換、任意の画素数への変換、又はそれらの処理を同
時に行うなどの各種処理が可能である。ここでは、斜め
線や細線に対して特別なクラスを用意することにより、
斜め線や細線部分における処理の破綻に対処することが
できる。このクラス分類適応処理２４によりクラス分類
適応処理された画像信号は、ガンマ補正部２５に供給さ
れる。

【００４０】ガンマ補正部２５は、クラス分類適応処理
された画像信号の信号レベルをガンマ曲線に従って補正
する。このガンマ補正部２５によりガンマ補正された画
像信号は、補正部２６に供給される。

【００４１】補正部２６は、上記ガンマ補正部２５によ
りガンマ補正された画像信号に対してエッジ強調等の画
像を視覚的に良く見せるために必要ないわゆる画作りの
ための処理を行う。

【００４２】そして、色空間変換部２７は、補正部２６
によりエッジ強調などの処理が施された画像信号（ＲＧ
Ｂ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差
Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの
画像信号に変換する。ただし、マトリクス変換処理を行
わず、色空間変換部２７からＲＧＢ信号をそのまま出力
させても良い。この発明の一実施形態では、例えばユー
ザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出
力するかを切り換えることが可能とされている。色空間
変換部２７により変換された画像信号は、上述のインタ
フェース１４に供給される。

【００４３】ここで、上記図２に示したフローチャート
のステップＳ３において、画像信号処理部８により行わ
れる画像信号処理について、図４のフローチャートを参
照して説明する。

【００４４】すなわち、画像信号処理部８では、Ａ／Ｄ
変換部７によりデジタル化された画像信号に対する画像
信号処理を開始すると、先ず、ステップＳ１１におい
て、ＣＣＤイメージセンサ５の欠陥の影響が出ないよう
に、欠陥補正部２１により画像信号の欠陥補正を行う。
そして、次のステップＳ１２では、欠陥補正部２１によ
り欠陥補正された画像信号に対して、正の方向にシフト
されていた量をもとに戻すクランプ処理をクランプ部２
２により行う。

【００４５】次のステップＳ１３では、クランプ部２２
によりクランプされた画像信号に対して、ホワイトバラ
ンス調整部２３によりホワイトバランスの調整を行い各
色信号間のゲインを調整する。さらに、ステップＳ１４
では、ホワイトバランスが調整された画像信号に対し
て、クラス分類適応処理部２４により単板画像から３板
相当画像の変換を含むクラス分類適応処理を行う。

【００４６】ステップＳ１５では、クラス分類適応処理
されたステップＳ１５によって得られた３板式カメラの
ＣＣＤ出力相当の画像信号に対して、ガンマ補正部２５
によりガンマ曲線に従った補正を施す。

【００４７】ステップＳ１６では、ステップＳ１５でガ
ンマ補正された画像信号に対して、視覚的に良く見せる
ための補正処理（いわゆる画作り）を行う。ステップＳ
１７では、ステップＳ１６によって得られた画像に例え
ばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変
換処理を施す。これにより、例えば記録信号として好適
な信号フォーマットを有する出力画像が生成される。

【００４８】この画像信号処理部８におけるクラス分類
適応処理部２４は、図５に示すようにクラスタップ抽出
回路３１、ベクトル量子化回路３２、クラス分類回路３
３、係数メモリ３４、予測タップ抽出回路３５及び適応
処理回路３６からなる。

【００４９】クラスタップ抽出回路３１は、注目領域か
ら指定されたタップ位置の画素値を抽出してベクトル量
子化回路３２に渡す。ベクトル量子化回路３２は、クラ
スタップ抽出回路３１から渡された画素値がコードブッ
クに書かれた色空間のどの代表点に近いかを評価して最
も近い代表点をクラス分類回路３３に出力する。クラス
分類回路３３は、ベクトル量子化回路３２から受け取っ
たクラスタップの画素値が最も近い代表点の結果からク
ラスを決定してクラス番号を係数メモリ３４に出力す
る。係数メモリ３４は、クラス分類回路３３から受け取
ったクラス番号に対応した予測係数セットを読み出して
適応処理回路３６に渡す。また、予測タップ抽出回路３
５は、注目領域から指定されたタップ位置の画素値を抽
出して適応処理回路３６に渡す。

【００５０】そして、適応処理回路３６は、予測タップ
抽出回路３５から渡された予測タップの画素値に、係数
メモリ３４から読み出されるクラス番号に対応した予測
係数セットを乗算し、線形和をもって予測画素値として
出力する。

【００５１】すなわち、クラス分類適応処理部２４で
は、図６のフローチャートに示す手順に従ってクラス分
類適応処理を行う。

【００５２】ステップＳ２１では、ホワイトバランス調
整部２３によりホワイトバランスが調整された画像信号
について、クラスタップ抽出回路３１及び予測タップ抽
出回路３５によりクラスタップ及び予測タップの画素値
を抽出するブロック化処理を行う。

【００５３】次のステップＳ２２では、クラスタップ抽
出回路３１により抽出されたクラスタップの画素値に対
して、ベクトル量子化回路３２により、色空間内におけ
るベクトル量子化のコードブックから、最も距離の近い
代表点を判別して出力する。

【００５４】次のステップＳ２３では、ベクトル量子化
回路３２によるベクトル量子化の結果に基づいて、クラ
ス分類回路３３によりクラス番号を出力する。

【００５５】次のステップＳ２４では、予測タップ抽出
回路３５により抽出された予測タップの画素値に、適応
処理回路３６によりクラス番号に対応した予測係数セッ
トを乗算し、それらの線形和を予測画素値とする。次の
ステップＳ２５では、全てのブロックについての処理が
終了したか否かを判定し、まだ処理していないブロック
が存在する場合には、ステップＳ２１に戻り、それ以降
の処理を繰り返し実行する。そして、ステップＳ２５に
おいて、全てのブロックについての処理が終了したと判
定された場合には、クラス分類適応処理を終了して、上
述のステップＳ１６に移行する。

【００５６】ここで、ベクトル量子化においては、入力
される種々のベクトルの代表的なパターンを予め学習等
によって決定して、それぞれに符号（インデクス）を与
えてコードブックに蓄えておき、入力ベクトルとコード
ブックの各パターン（コードベクトル）との比較、すな
わちパターンマッチングを行い、最も類似度や相関性の
高いパターンの符号を出力する。この類似度や相関性
は、入力ベクトルと各コードベクトルとの間の歪尺度や
誤差エネルギ等を計算することにより求められ、歪や誤
差が小さいほど類似度や相関性が高いことになる。ベク
トル量子化のコードブックの作成アルゴリズムとして
は、リンデ（Linde）、ブゾー（Buzo）、グレイ（Gra
y）によって提案されたＬＢＧアルゴリズムが広く知ら
れている。ＬＢＧアルゴリズムは、いわゆるバッチ型学
習アルゴリズムで、学習サンプルとしての特徴ベクトル
とコードベクトル（最初は、適当な初期値が与えられ
る）との距離に対応して、特徴ベクトル空間を最適分割
するボロノイス分割と、ボロノイス分割により得られ
る、特徴ベクトル空間の各部分領域の重心への、コード
ベクトルの更新とを繰り返し行うことにより、コードブ
ックのコードベクトルを、局所的に最適な位置に収束さ
せる。

【００５７】上記ベクトル量子化回路３２では、色空間
内におけるベクトル量子化のコードブックとして、一般
的なコードブックの作成方法を採用し、注目する領域か
ら量子化を行う画素を抽出し、ベクトル空間内にプロッ
トした結果から、空間内のプロットの頻度に従って代表
点を設定する。このとき、ベクトル空間の次元を多く取
りとり、同一の色信号の軸を複数作ることにより、波形
の特徴も含めることができるようにする。ベクトル量子
化におけるクラスは、クラスタップ数をｎとするとｎ次
元のベクトル空間で色空間を定義してベクトル量子化の
コードブックを作成することができ、例えばクラスタッ
プ数を３とすれば、図７に示すような３次元のベクトル
空間で色空間を定義して各クラスタップの画素値に応じ
て例えばクラス０〜クラス４に分類することができる。
なお、本来、クラスタップ及び予測タップの位置は、そ
れぞれ最も効率のよいように配置される。そして、クラ
スタップ及び予測タップは、数多くする使用する方が、
処理の精度は向上する。

【００５８】また、上記予測係数セットは、予め学習に
より得られるもので、上記係数メモリ３２に記憶されて
いる。

【００５９】ここで、この学習について説明する。図８
は、予測係数セットを学習により得る学習装置４０の構
成を示すブロック図である。

【００６０】この学習装置４０では、クラス分類適応処
理の結果として生成されるべき出力画像信号、すなわち
３板式カメラのＣＣＤ出力相当の画像信号と同一の信号
形式を有する高解像度の教師画像信号が間引き回路４１
及び予測対象画素抽出回路４６に供給される。間引き回
路４１は、教師画像信号から、色フィルタアレイの各色
の配置に従つて画素を間引く。間引き処理は、ＣＣＤイ
メージセンサ５に対して着される光学ローパスフィルタ
を想定したフィルタをかけることによって行う。すなわ
ち、実際の光学系を想定した間引き処理を行う。間引き
回路４１の出力が生徒画像信号としてクラスタップ抽出
回路４２及び予測タップ抽出回路４５に供給される。な
お、教師画像信号と生徒画像信号を個別に準備しておく
ことにより、上記間引き回路４１を省略することもでき
る。

【００６１】クラスタップ抽出回路４２は、間引き回路
４１により生成された生徒画像信号から、クラス分類に
用いるクラスタップを抽出してベクトル量子化回路４３
に渡す。

【００６２】ベクトル量子化回路４３は、クラスタップ
抽出回路３１から渡された画素値に基づいて、色空間内
のベクトル量子化を行い、その結果をクラス分類回路４
４に出力する。ベクトル量子化は、基本的には色空間内
の色間の関係のみによって量子化する手法であるが、ク
ラスタップを多く取り、同じ色信号に対して複数のタッ
プをとることにより、色信号間だけでなく波形の特徴も
クラスに取り込むことができる。

【００６３】クラス分類回路４４は、ベクトル量子化回
路４３から受け取ったクラスタップの画素値に基づく色
空間内のベクトル量子化の結果からクラスを決定してク
ラス番号を第１の演算回路４７に出力する。

【００６４】予測タップ抽出回路４５は、生徒画像にお
けるクラスタップとの対応をとりながら、間引き回路４
１により生成された生徒画像信号から予測タップを抽出
して第１の演算回路４７に出力する。ここでは、全色信
号から予測タップを抽出するものとする。

【００６５】予測対象画素抽出回路４６は、生徒画像か
ら抽出されるクラスタップ及び予測タップとの対応をと
りながら、予測の対象となる画素値を教師画像信号から
抽出して第１の演算回路４７に出力する。

【００６６】第１の演算回路４７は、クラス分類回路４
４から出力されたクラス番号毎に、予測タップの画素値
と予測対象画素の画素値を、最小自乗法を解くための正
規方程式に足し込み、予測係数セットを解とする方程式
である正規方程式のマトリクスの係数を演算する。上記
第１の演算回路４７によって生成される正規方程式のマ
トリクスの係数が学習データメモリ４８に逐次読み込ま
れ、蓄積される。

【００６７】第２の演算回路４９は、学習データメモリ
４８に蓄積された正規方程式のマトリクスの係数を用い
て、コレスキー分解など手法により正規方程式を解く処
理を実行する。これにより、クラス毎の予測係数セット
が算出される。算出された予測係数セットは、クラスに
対応させて係数メモリ５０に記憶される。係数メモリ５
０の記憶内容は、上述の係数メモリ３４にロードされ、
クラス分類適応処理を行う際に使用される。

【００６８】次に、図９のフローチャートを参照して、
学習装置４０の動作について説明する。

【００６９】この学習装置４０に入力されるデジタル画
像信号は、３板式カメラで撮像された画像に相当する画
質が得られる画像信号である。なお、３板式カメラで得
られる画像信号（教師画像信号）は、１画素の画像信号
としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、
単板式カメラで得られる画像信号（生徒画像信号）は、
１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の
１つの色信号のみを含んでいる。例えば図１０の（Ａ）
に示すように３板式カメラで撮像されたＨＤ画像信号を
フィルタリングして図１０の（Ｂ）に示すように１／４
サイズのＳＤ画像信号に変換した教師画像信号が、この
学習装置４０に入力される。

【００７０】ステップＳ３１では、３板式カメラで撮像
された画像に相当する画質が得られる教師画像信号に対
して間引き回路４１により単板カメラのＣＣＤイメージ
センサ５に用いられる色コーディングフィルタ４に相当
するフィルタをかける間引き処理を実行することで、図
１０の（Ｃ）に示すように単板式カメラのＣＣＤイメー
ジセンサ５が出力する画像信号に対応する生徒画像信号
を教師画像信号から生成し、生成した生徒画像信号をク
ラスタップ抽出回路４２及び予測タップ抽出回路４５に
供給する。

【００７１】ステップＳ３２では、間引き回路４１によ
り生成された生徒画像信号から、クラスタップ抽出回路
４２及び予測タップ抽出回路４５によりクラスタップ及
び予測タップの画素値を抽出するブロック化処理を行
う。また、予測対象画素抽出回路４６により、生徒画像
から抽出されるクラスタップ及び予測タップとの対応を
とりながら、予測対象画素の画素値を教師画像信号から
抽出する。

【００７２】ステップＳ３３では、ベクトル量子化回路
４３により、クラスタップ抽出回路４２から渡されたク
ラスタップの画素値に基づいて、色空間内のベクトル量
子化を行う。

【００７３】ステップＳ３４では、ベクトル量子化回路
４３によるベクトル量子化の結果から、クラス分類回路
４４によりクラスを決定してクラス番号を出力する。

【００７４】ステップＳ３５では、第１の演算回路４７
により、クラス分類回路４４から出力されたクラス番号
にしたがって予測タップの画素値と予測対象画素の画素
値を正規方程式に足し込む。

【００７５】ステップＳ３６では、第１の演算回路４７
による正規方程式への足し込みの処理が、学習の対象画
素の全てに対して行われたか否かを判定する。まだ処理
していない対象画素が存在する場合には、ステップＳ３
２に戻り、また、全て対象画素についての処理が行われ
ていればステップＳ３７に進む。

【００７６】ステップＳ３７では、第２の演算回路４９
は、学習データメモリ４８に蓄積された正規方程式のマ
トリクスの係数を用いて、コレスキー分解などの手法に
より正規方程式を解く処理を実行する。

【００７７】ステップＳ３８では、第２の演算回路４９
による正規方程式を解く処理が、全てのクラス番号の正
規方程式について行われたか否かを判定する。まだ処理
していない正規方程式が存在する場合には、ステップＳ
３７に戻り、また、全ての処理が行われていれば、学習
処理を終了する。

【００７８】このようにしてクラスコードと関連付けら
れて係数メモリ５０に記憶された予測係数セットは、図
５に示したクラス分類適応処理部２４の係数メモリ３４
に記憶されることになる。そして、画像信号処理部８の
クラス分類適応処理部２４は、上述したように、係数メ
モリ３４に記憶されている予測係数セットを用いて、線
形１次結合モデルにより、注目画素に対して適応処理を
行う。

【００７９】例えば、図１１の（Ａ）に示すｎ×ｍ（ｎ
及びｍは正の整数）個の画素で構成されるＣＣＤイメー
ジセンサにより得られるベイヤー配列の色フィルタアレ
イにより色コーディングされた出力画像信号から、図１
１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２
ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画
素の画像信号を、それぞれ直接生成する適応処理を行う
ことにより、４倍密度の画像を生成する。この場合、画
像信号処理部８では、クラスタップ抽出部３０により入
力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロッ
クに分割し、各ブロック毎にクラスタップを抽出する。
この場合、例えば、図１２乃至図１５に示すようような
構造のクラスタップ、及び、図１６乃至図１９に示すよ
うような構造の予測タップが使用される。

【００８０】図１２の（Ａ）、図１３の（Ａ）、図１４
の（Ａ）及び図１５の（Ａ）に示される注目画素の斜め
方向に隣接する位置に×印で示される予測画素のＲ信
号、Ｇ信号又はＢ信号を生成する場合、及び、そのため
の予測係数セットを算出する際に、クラスを決定するの
に用いられるにクラスタップの一例の構造を図１２の
（Ｂ）、図１３の（Ｂ）、図１４の（Ｂ）及び図１５の
（Ｂ）に示す。図１２の（Ｂ）、図１３の（Ｂ）、図１
４の（Ｂ）及び図１５の（Ｂ）において、△はＢ信号の
クラスタップを示し、○はＧ信号のクラスタップを示
し、さらに、□はＲ信号のクラスタップを示している。

【００８１】また、図１６の（Ａ）、図１７の（Ａ）、
図１８の（Ａ）及び図１９の（Ａ）に示される注目画素
の斜め方向に隣接する位置に×印で示される予測画素の
Ｒ信号、Ｇ信号又はＢ信号を生成する場合、及び、その
ための予測係数セットを算出する際に用いられるに予測
タップの一例の構造を図１６の（Ｂ）、図１７の
（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に示す。す
なわち、予測タップは、図１６の（Ｂ）、図１７の
（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に○を付し
て示すように注目画素を含む５×５の２５個の画素にて
構成される。

【００８２】なお、本来、クラスタップ及び予測タップ
の位置は、それぞれ最も効率の良いように配置される。
そして、クラスタップ及び予測タップは数多く使用する
方が、処理の精度は向上する。

【００８３】なお、この実施の形態では、ＲＧＢの３つ
の情報を基にクラス分類を行っているが、ＹＵＶの３つ
の情報を基にクラス分類を行うこともできる。

【００８４】以上の実施の形態の効果を評価するため、
色フィルタアレイとしてベイヤー配列のものを用いた場
合を想定したシミュレーションを行った。

【００８５】学習装置４０と同様の処理を行うアルゴリ
ズムで予測係数セットを生成し、３板式カメラのＣＣＤ
出力相当の画像信号から、クラス分類適応処理の倍率と
画素の位置関係を考慮した間引き操作により、単板式カ
メラのＣＣＤ出力相当の画像信号を生成し、上述したク
ラス分類適応処理による補間を行ったところ、従来の線
形補間、また、ＲＧＢそれぞれのＡＤＲＣの波形分類を
組み合わせたクラス分類などとの対比の結果、本発明の
優位性を確認することができた。

【００８６】シミュレーションには、ＩＴＥ(Institute
of Television Engineers) のハイビジョン標準画像９
枚を使用し、予測係数セットの算出に関してもその９枚
を用いてシミュレーションを行った。その結果、線形補
間との比較では、殆どの画像の色の変化部分での滑らか
さが向上し、急峻な色変化部分に見られた破綻もなくす
ことができた。

【００８７】なお、上述した説明では、色コーディング
フィルタ４として、ベイヤー配列のものを用いた場合を
説明したが、他の構成のであっても情報の密度に差があ
る構成の色コーディングフィルタを用いる場合には本発
明を適応するができる。

【００８８】ここで、このデジタルスチルカメラ１のＣ
ＣＤイメージセンサ５に用いることのできる色コーディ
ングフィルタ４を構成する色フィルタアレイの構成例を
図２０の（Ａ）〜（Ｎ）に示す。

【００８９】図２０の（Ａ）〜（Ｇ）は、原色（Ｒ，
Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成さ
れた色コーディングフィルタ４における緑（Ｇ）・赤
（Ｒ）・青（Ｂ）の色配列の例を示している。

【００９０】図２０の（Ａ）はベイヤー配列を示し、図
２０の（Ｂ）はインタライン配列を示し、図２０の
（Ｃ）はＧストライプＲＢ市松配列を示し、図２０の
（Ｄ）はＧストライプＲＢ完全市松配列を示し、図２０
の（Ｅ）はストライプ配列を示し、図２０の（Ｆ）は斜
めストライプ配列を示し、図２０の（Ｇ）は原色色差配
列を示す。

【００９１】また、図２０の（Ｈ）〜（Ｎ）は、補色
（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタ
アレイで構成された色コーディングフィルタ４における
マゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の
色配列を示す。図２０の（Ｈ）はフィールド色差順次配
列を示し、図２０の（Ｉ）がフレーム色差順次配列を示
し、図２０の（Ｊ）はＭＯＳ型配列を示し、図２０の
（Ｋ）は改良ＭＯＳ型配列を示し、図２０の（Ｌ）はフ
レームインターリーブ配列を示し、図１９の（Ｍ）はフ
ィールドインターリーブ配列を示し、図２０の（Ｎ）は
ストライプ配列を示す。

【００９２】なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分
は、 Ｙ＝Ｇ＋Ｒ Ｍ＝Ｒ＋Ｂ Ｃ＝Ｇ＋Ｂ Ｗ＝Ｒ＋Ｇ＋Ｂ にて与えられる。また、図２０の（Ｉ）に示すフレーム
色差順対応の色コーディングフィルタ４を通過する各色
（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、 ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ にて与えられる。

【００９３】また、このデジタルスチルカメラ１では、
単板のＣＣＤイメージセンサ５により撮像された画像信
号から４倍密度の画像信号をクラス分類適応処理により
生成するようにしたが、単板画像から３板相当画像への
変換に限られることなく、任意の画素数への変換をクラ
ス分類適応処理により行うようにすることができ、ま
た、それらの処理を同時に行うなどの各種処理をクラス
分類適応処理により行うようにすることができる。

【００９４】さらに、上記クラス分類適応処理部２４に
おけるクラス分類適応処理や、上記学習装置４０におい
て予測係数セットを得るための学習処理は、例えば図２
１に示すように、バス３１１に接続されたＣＰＵ(Centr
al Processing Unit) ３１２、メモリ３１３、入力イン
ターフェース３１４、ユーザインターフェース３１５や
出力インターフェース３１６などにより構成される一般
的なコンピュータシステム３１０により実行することが
できる。上記処理を実行するコンピュータプログラム
は、記録媒体に記録されて、画素位置毎に複数のうちの
何れか一つを表す色成分を持つ入力画像信号を処理する
画像信号処理を行うコンピュータ制御可能なプログラム
が記録された記録媒体、又は、クラスに応じた予測係数
セットを生成するための学習処理を行うコンピュータ制
御可能なプログラムが記録された記録媒体として、ユー
ザに提供される。上記記録媒体には、磁気ディスク、Ｃ
Ｄ−ＲＯＭなどの情報記録媒体の他、インターネット、
デジタル衛星などのネットワークによる伝送媒体も含ま
れる。

【００９５】

【発明の効果】以上の如く本発明によれば、画素位置毎
に輝度あるいは複数の色のうちのいずれか１つを表す成
分を持つ入力画像信号の注目画素毎に、上記注目画素近
傍の複数の画素を抽出し、、上記注目画素近傍に位置す
る複数の画素それぞれの色成分の信号値に基づいて、複
数の色成分によって表される色空間内におけるベクトル
量子化を行い、そのベクトル量子化の結果に基づいて１
つのクラスを決定し、決定されたクラスに基づいて、少
なくとも上記注目画素が持つ色成分と異なる色成分を持
つ画素を生成することにより、補間処理の破綻を回避
し、色再現性の向上を図り、解像度が高く、滑らかで且
つ自然な色の変化を再現できる画像信号を得ることがで
きる。

【００９６】また、本発明によれば、画素位置毎に輝度
あるいは複数の色のうちのいずれか１つを表す成分を持
つ生徒画像信号の注目画素の近傍の複数の画素を抽出
し、抽出された上記注目画素近傍に位置する複数の画素
それぞれの色成分の信号値に基づいて、複数の色成分で
表される色空間内におけるベクトル量子化を行い、その
ベクトル量子化の結果に基づいて１つのクラスを決定
し、上記生徒画像信号と対応する画像信号であり、画素
位置毎に輝度あるいは複数の色のうちのいずれか１つを
表す成分を持つ教師画像信号から、上記生徒画像信号の
注目画素の位置に相当する位置の近傍の複数の画素を抽
出し、抽出された複数の画素の画素値に基づいて、上記
クラス毎に、上記生徒画像信号に相当する画像信号から
上記教師画像信号に相当する画像信号を生成するための
予測演算に用いる予測係数セットを生成するので、補間
処理の破綻を回避し、色再現性の向上を図り、解像度が
高く、滑らかで且つ自然な色の変化を再現できる画像信
号を得るための処理行う画像信号処理装置が用いる予測
係数セットを算出することができる。

【００９７】

【図面の簡単な説明】

【図１】本発明を適用したデジタルスチルカメラの構成
を示すブロック図である。

【図２】上記デジタルスチルカメラの動作を説明するた
めのフローチャートである。

【図３】上記デジタルスチルカメラにおける画像信号処
理部の構成を示すブロック図である。

【図４】上記画像信号処理部により行われる画像信号処
理を説明するためのフローチャートである。

【図５】クラス分類適応処理を行うクラス分類適応処理
部の構成例を示す示すブロック図である。

【図６】上記クラス分類適応処理部により行われるクラ
ス分類適応処理を説明するためのフローチャートであ
る。

【図７】上記クラス分類適応処理部により行われるベク
トル量子化におけるクラスの生成方法を模式的に示す図
である。

【図８】上記クラス分類適応処理部におけるクラス分類
適応処理に用いる予測係数セットを学習により得る学習
装置の構成例を示すブロック図である。

【図９】上記学習装置の動作を説明するためのフローチ
ャートである。

【図１０】上記学習装置による学習処理の一例を模式的
に示す図である。

【図１１】上記画像信号処理部におけるクラス適応処理
による画像信号処理の一例を模式的に示す図である。

【図１２】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。

【図１３】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。

【図１４】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。

【図１５】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。

【図１６】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。

【図１７】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。

【図１８】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。

【図１９】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。

【図２０】上記デジタルスチルカメラのＣＣＤイメージ
センサに用いることのできる色コーディングフィルタの
色フィルタアレイの構成例を模式的に示す図である。

【図２１】上記クラス分類適応処理や予測係数セットを
得るための学習処理を行うコンピュータシステムの一般
的な構成を示すブロック図である。

【図２２】従来の線形補間による画像信号処理を模式的
に示す図である。

【符号の説明】

１ デジタルスチルカメラ、５ ＣＣＤイメージセン
サ、８ 画像信号処理部、２４ クラス分類適応処理
部、３１ クラスタップ抽出回路、３２ ベクトル量子
化回路、３３ クラス分類回路、３４ 係数セットメモ
リ、３５ 予測タップ抽出回路、３６ 適応処理回路、
４０ 学習装置、４１ 間引き部、４２ クラスタップ
抽出回路、４３ ベクトル量子化回路、４４ クラス分
類回路、４５予測タップ抽出回路、４６ 予測対象画素
抽出回路、４７ 第１の演算回路、４８ 学習データメ
モリ、４９ 第２の演算回路、５０ 係数メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 7/13 Ｚ (72)発明者 沢尾 貴志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B057 BA02 CA01 CA08 CA13 CB01 CB08 CB16 CC01 CE16 CE17 CG06 5C059 KK00 LA00 MD07 PP01 SS15 TA09 TB10 TC04 TD13 UA38 5C065 AA03 BB02 BB08 BB11 BB12 BB23 BB48 CC01 DD02 EE03 FF05 GG11 GG13 GG18 GG26 GG32 5J064 BA13 BB03 BB12 BC01 BC06 BC24 BD03

Claims (33)

【特許請求の範囲】
1. 【請求項１】 画素位置毎に輝度あるいは複数の色のう
   ちのいずれか１つを表す成分を持つ入力画像信号を処理
   する画像信号処理装置において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
   複数の画素を抽出する抽出手段と、 上記画素抽出手段で抽出された上記注目画素近傍に位置
   する複数の画素それぞれの色成分の信号値に基づいて、
   複数の色成分によって表される色空間内におけるベクト
   ル量子化を行うベクトル量子化手段と、 上記ベクトル量子化手段によるベクトル量子化の結果に
   基づいて１つのクラスを決定するクラス決定手段と、 上記クラス決定手段で決定されたクラスに基づいて、少
   なくとも上記注目画素が持つ色成分と異なる色成分を持
   つ画素を生成する画素生成手段とを備えることを特徴と
   する画像信号処理装置。
2. 【請求項２】 上記画素生成手段は、上記注目画素の位
   置に、すべての色成分を持つ画素を生成することを特徴
   とする請求項１記載の画像信号処理装置。
3. 【請求項３】 上記画素生成手段は、各クラス毎の予測
   係数セットを記憶する記憶手段と、上記クラス決定手段
   で決定されたクラスに応じた予測係数セットと、上記画
   素抽出手段によって抽出された上記注目画素近傍の複数
   の画素に基づく演算を行うことにより、上記異なる色成
   分を持つ画素を生成する演算手段とを備える特徴とする
   請求項１記載の画像信号処理装置。
4. 【請求項４】 上記演算手段は、上記予測係数セットと
   上記注目画素近傍の複数の画素値との演算を行うことを
   特徴とする請求項３記載の画像信号処理装置。
5. 【請求項５】 上記画素抽出手段は、上記クラス決定手
   段と上記演算手段に対して、少なくとも１画素は異なる
   画素を抽出することを特徴とする請求項３記載の画像信
   号処理装置。
6. 【請求項６】 上記色成分で表される色は、赤、青、緑
   の何れかであることを特徴とする請求項１記載の画像信
   号処理装置。
7. 【請求項７】 画素位置毎に輝度あるいは複数の色のう
   ちのいずれか１つを表す成分を持つ上記画像信号を取得
   する取得手段をさらに備えることを特徴とする請求項１
   記載の画像信号処理装置。
8. 【請求項８】 上記取得手段は、固体撮像素子であるこ
   とを特徴とする請求項７記載の画像信号処理装置。
9. 【請求項９】 上記固体撮像素子は、ベイヤー配列のＣ
   ＣＤイメージセンサであることを特徴とする請求項８記
   載の画像信号処理装置。
10. 【請求項１０】 画素位置毎に輝度あるいは複数の色の
    うちのいずれか１つを表す成分を持つ入力画像信号を処
    理する画像信号処理方法において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記画素抽出ステップで抽出された上記注目画素近傍に
    位置する複数の画素のそれぞれの色成分の信号値に基づ
    いて、複数の色成分によって表される色空間内における
    ベクトル量子化を行うベクトル量子化ステップと、 上記ベクトル量子化ステップにおけるベクトル量子化の
    結果に基づいて１つのクラスを決定するクラス決定ステ
    ップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、少なくとも上記注目画素が持つ色成分と異なる色成
    分を持つ画素を生成する画素生成ステップとを備えるこ
    とを特徴とする画像信号処理方法。
11. 【請求項１１】 上記画素生成ステップでは、上記注目
    画素の位置に、すべての色成分を持つ画素を生成するこ
    とを特徴とする請求項１０記載の画像信号処理方法。
12. 【請求項１２】 上記画素生成ステップでは、上記クラ
    ス決定ステップで決定されたクラスに応じた予測係数セ
    ットと上記抽出ステップで抽出された上記注目画素近傍
    の複数の画素に基づく演算を行うことにより、上記異な
    る色成分を持つ画素を生成することを特徴とする請求項
    １０記載の画像信号処理方法。
13. 【請求項１３】 上記画素生成ステップでは、上記予測
    係数セットと上記注目画素近傍の複数の画素値との演算
    を行うことを特徴とする請求項１２記載の画像信号処理
    方法。
14. 【請求項１４】 上記抽出ステップでは、上記クラス決
    定ステップと上記画素生成ステップに対して、少なくと
    も１画素は異なる画素を抽出することを特徴とする請求
    項１２記載の画像信号処理方法。
15. 【請求項１５】 上記色成分で表される色は、赤、青、
    緑の何れかであることを特徴とする請求項１０記載の画
    像信号処理方法。
16. 【請求項１６】 画素位置毎に輝度あるいは複数の色の
    うちのいずれか１つを表す成分を持つ上記画像信号を取
    得する取得ステップをさらに有することを特徴とする請
    求項１０記載の画像信号処理方法。
17. 【請求項１７】 上記取得ステップでは、固体撮像素子
    により上記画像信号を取得することを特徴とする請求項
    １６記載の画像信号処理方法。
18. 【請求項１８】 上記取得ステップでは、ベイヤー配列
    のＣＣＤイメージセンサにより上記画像信号を取得する
    ことを特徴とする請求項１７記載の画像信号処理方法。
19. 【請求項１９】 画素位置毎に輝度あるいは複数の色の
    うちのいずれか１つを表す成分を持つ入力画像信号を処
    理する画像信号処理を行うコンピュータ制御可能なプロ
    グラムが記録された記録媒体において、 上記プログラムは、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記画素抽出手段で抽出された上記注目画素近傍に位置
    する複数の画素それぞれの色成分の信号値に基づいて、
    複数の色成分によって表される色空間内におけるベクト
    ル量子化を行うベクトル量子化ステップと、 上記ベクトル量子化ステップにおけるベクトル量子化の
    結果に基づいて１つのクラスを決定するクラス決定ステ
    ップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、少なくとも上記注目画素が持つ色成分と異なる色成
    分を持つ画素を生成する画素生成ステップとを有するこ
    とを特徴とする記録媒体。
20. 【請求項２０】 上記画素生成ステップでは、上記注目
    画素の位置に、すべての色成分を持つ画素を生成するこ
    とを特徴とする請求項１９記載の記録媒体。
21. 【請求項２１】 上記画素生成ステップでは、上記クラ
    ス決定ステップで決定されたクラスに応じた予測係数セ
    ットと、上記抽出ステップで抽出された上記注目画素近
    傍の複数の画素に基づく演算を行うことにより、上記異
    なる色成分を持つ画素を生成する演算手段とを特徴とす
    る請求項１９記載の記録媒体。
22. 【請求項２２】 上記画素生成ステップでは、上記予測
    係数セットと上記注目画素近傍の複数の画素値との演算
    を行うことを特徴とする請求項２１記載の記録媒体。
23. 【請求項２３】 上記抽出ステップでは、上記クラス決
    定ステップと上記画素生成ステップに対して、少なくと
    も１画素は異なる画素を抽出することを特徴とする請求
    項２１記載の記録媒体。
24. 【請求項２４】 上記色成分で表される色は、赤、青、
    緑の何れかであることを特徴とする請求項１９記載の記
    録媒体。
25. 【請求項２５】 画素位置毎に輝度あるいは複数の色の
    うちのいずれか１つを表す成分を持つ上記画像信号を取
    得する取得ステップをさらに有することを特徴とする請
    求項１９記載の記録媒体。
26. 【請求項２６】 上記取得ステップでは、固体撮像素子
    により上記画像信号を取得することを特徴とする請求項
    ２５記載の記録媒体。
27. 【請求項２７】 上記取得ステップでは、ベイヤー配列
    のＣＣＤイメージセンサにより上記画像信号を取得する
    ことを特徴とする請求項２６記載の記録媒体。
28. 【請求項２８】 画素位置毎に輝度あるいは複数の色の
    うちのいずれか１つを表す成分を持つ生徒画像信号の注
    目画素の近傍の複数の画素を抽出する第１の画素抽出手
    段と、 上記第１の画素抽出手段で抽出された上記注目画素近傍
    に位置する複数の画素それぞれの色成分の信号値に基づ
    いて、複数の色成分で表される色空間内におけるベクト
    ル量子化を行うベクトル量子化手段と、 上記ベクトル量子化手段によるベクトル量子化の結果に
    基づいて１つのクラスを決定するクラス決定手段と、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に輝度あるいは複数の色のうちのいずれか１つを表す
    成分を持つ教師画像信号から、上記生徒画像信号の注目
    画素の位置に相当する位置の近傍の複数の画素を抽出す
    る第２の画素抽出手段と、 上記第１及び第２の画素抽出手段で抽出された複数の画
    素の画素値に基づいて、上記クラス毎に、上記生徒画像
    信号に相当する画像信号から上記教師画像信号に相当す
    る画像信号を生成するための予測演算に用いる予測係数
    セットを生成する予測係数生成手段とを備えることを特
    徴とする学習装置。
29. 【請求項２９】 上記第１の画素抽出手段は、上記注目
    画素の位置と、上記注目画素が持つ色成分に基づいて、
    上記注目画素の近傍の複数の画素を抽出することを特徴
    とする請求項２８記載の学習装置。
30. 【請求項３０】 画素位置毎に輝度あるいは複数の色の
    うちのいずれか１つを表す成分を持つ生徒画像信号の注
    目画素の近傍の複数の画素を抽出する第１の画素抽出ス
    テップと、 上記第１の画素抽出ステップで抽出された上記注目画素
    近傍に位置する複数の画素それぞれの色成分の信号値に
    基づいて、複数の色成分によって表される色空間内にお
    けるベクトル量子化を行うベクトル量子化ステップと、 上記ベクトル量子化ステップにおけるベクトル量子化の
    結果に基づいて１つのクラスを決定するクラス決定ステ
    ップと、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に輝度あるいは複数の色のうちのいずれか１つを表す
    成分を持つ教師画像信号から、上記生徒画像信号の注目
    画素の位置に相当する位置の近傍の複数の画素を抽出す
    る第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを有する
    ことを特徴とする学習方法。
31. 【請求項３１】 上記第１の画素抽出ステップでは、上
    記注目画素の位置と、上記注目画素が持つ色成分に基づ
    いて、上記注目画素の近傍の複数の画素を抽出すること
    を特徴とする請求項３０記載の学習方法。
32. 【請求項３２】 クラスに応じた予測係数セットを生成
    するための学習処理を行うコンピュータ制御可能なプロ
    グラムが記録された記録媒体において、 上記プログラムは、 画素位置毎に輝度あるいは複数の色のうちのいずれか１
    つを表す成分を持つ生徒画像信号の注目画素の近傍の複
    数の画素を抽出する第１の画素抽出ステップと、 上記第１の画素抽出ステップで抽出された上記注目画素
    近傍に位置する複数の画素それぞれの色成分の信号値に
    基づいて、複数の色成分によって表される色空間内にお
    けるベクトル量子化を行うベクトル量子化ステップと、 上記ベクトル量子化ステップにおけるベクトル量子化の
    結果に基づいて１つのクラスを決定するクラス決定ステ
    ップと、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に輝度あるいは複数の色のうちのいずれか１つを表す
    成分を持つ教師画像信号から、上記生徒画像信号の注目
    画素の位置に相当する位置の近傍の複数の画素を抽出す
    る第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを有する
    ことを特徴とする記録媒体。
33. 【請求項３３】 上記第１の画素抽出ステップでは、上
    記注目画素の位置と、上記注目画素が持つ色成分に基づ
    いて、上記注目画素の近傍の複数の画素を抽出すること
    を特徴とする請求項３２記載の記録媒体。