JP2000308079A - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ３板式カメラのＣＣＤ出力に相当する画像信
号を単板式カメラのＣＣＤイメージセンサで得られるよ
うにする。 【解決手段】 ＣＣＤイメージセンサによ得られた画像
信号は、画像信号処理部２５のブロック化部２８によ
り、クラスタップと予測タップが抽出されて、クラスタ
ップはＡＤＲＣ処理部２９に、予測タップは適応処理部
３１に、それぞれ出力される。ＡＤＲＣ処理部２９は、
入力された画像信号にＡＤＲＣ処理を施すことにより特
徴情報を生成する。クラス分類部３０は、生成された特
徴情報に対応するクラスコードを生成して適応処理部３
１に供給する。適応処理部３１は、そのクラスコードに
対応する予測係数セットを係数セットメモリ３２から読
み出し、予測係数セットと予測タップを用いて、処理対
象となっている画素の位置に新たな色信号を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像信号処理装置、
画像信号処理方法、学習装置、学習方法及び記録媒体に
関し、特に、１つの固体イメージセンサにより得られる
画像に対し、その画像信号の１画素が赤（Ｒ：Red）成
分、緑（Ｇ：Green）成分及び青（Ｂ：Blue）成分をも
つように、クラス分類適応処理を用いて色成分を補間す
る画像信号処理装置、画像信号処理方法、学習装置、学
習方法及び記録媒体に関する。

【０００２】

【従来の技術】ＣＣＤ（Charge Coupled Device）イメ
ージセンサなどの固体イメージセンサを用いた撮像装置
には、主に、１つのＣＣＤイメージセンサを用いた単板
方式のもの（以後、単板式カメラという）と、３つのＣ
ＣＤイメージセンサを用いた３板方式のもの（以後、３
板式カメラという）とがある。

【０００３】３板式カメラでは、例えばＲ信号用、Ｇ信
号用及びＢ信号用の３つのＣＣＤイメージセンサを用い
て、その３つのＣＣＤイメージセンサにより３原色信号
を得る。そして、この３原色信号から生成されるカラー
画像信号が記録媒体に記録される。

【０００４】単板式カメラでは、１画素毎に割り当てら
れた色フィルタアレイからなる色コーディングフィルタ
が前面に設置された１つのＣＣＤイメージセンサを用い
て、上記色コーディングフィルタにより色コーディング
された色成分の信号を１画素毎に得る。上記色コーディ
ングフィルタを構成する色フィルタアレイとしては、例
えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィ
ルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍ
ｇ（Magenta）の補色フィルタアレイが用いられてい
る。そして、単板式カメラにおいては、ＣＣＤイメージ
センサにより１画素毎に１つの色成分の信号を得て、各
画素が持っている色成分の信号以外の色信号を線形補間
処理により生成して、３板式カメラにより得られる画像
に近い画像を得るようしていた。ビデオカメラなどにお
いて、小型化、軽量化を図る場合に、単板式が採用され
ている。

【０００５】単板式カメラにおいて、例えば図２１の
（Ａ）に示すような色配列の色フィルタアレイにより構
成された色コーディングフィルタが設けられたＣＣＤイ
メージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色
のフィルタが配置された各画素から、そのフィルタの色
に対応する画像信号のみが出力される。すなわち、Ｒの
色フィルタが配置された画素からは、Ｒ成分の画像信号
は出力されるが、Ｇ成分及びＢ成分の画像信号は出力さ
れない。同様に、Ｇの画素からは、Ｇ成分の画像信号の
みが出力され、Ｒ成分及びＢ成分の画像信号は出力され
ず、Ｂの画素からは、Ｂ成分の画像信号のみが出力さ
れ、Ｒ成分及びＧ成分の画像信号は出力されない。

【０００６】ここで、図２１の（Ａ）に示す色フィルタ
アレイの色配列は、ベイヤー配列と称される。この場合
においては、Ｇの色フィルタが市松状に配され、残った
部分にＲとＢが一列毎に交互に配されている。

【０００７】しかしながら、後段において各画素の信号
を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の
画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及び
ｍは正の整数）個の画素で構成されるＣＣＤイメージセ
ンサの出力から、図２１の（Ｂ）乃至（Ｄ）に示すよう
に、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の
画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、
３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ
線形補間演算により求められ、それらの画像信号が後段
に出力される。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
た単板式カメラでは、線形処理を行うことにより色信号
の補間を行っているので、その撮像出力として得られる
画像信号による画像の解像度が、３板式カメラの撮像出
力として得られる画像信号による画像と比較して低く、
上記線形処理の影響により全体的にぼやけた画像となっ
てしまうといった問題点があった。

【０００９】本発明は、このような状況に鑑みてなされ
たものであり、色信号の予測処理をクラス分類適応処理
を用いて行うにより、単板式カメラにおいて、３板式カ
メラの撮像出力として得られる画像信号による匹敵する
画像信号を得られるようにすることを目的とする。

【００１０】

【課題を解決するための手段】本発明は、画素位置毎に
複数のうちの何れか一つを表す色成分を持つ入力画像信
号を処理する画像信号処理装置において、上記入力画像
信号の注目画素毎に、上記注目画素近傍の複数の画素を
抽出する抽出手段と、上記抽出手段で抽出された複数の
画素に基づいて、クラスを決定するクラス決定手段と、
上記クラス決定手段で決定されたクラスに基づいて、上
記注目画素の位置に、少なくとも上記注目画素が持つ色
成分と異なる色成分を持つ画素を生成する画素生成手段
とを備えることを特徴とする。

【００１１】また、本発明は、画素位置毎に複数のうち
の何れか一つを表す色成分を持つ入力画像信号を処理す
る画像信号処理方法において、上記入力画像信号の注目
画素毎に、上記注目画素近傍の複数の画素を抽出する抽
出ステップと、上記画素抽出ステップで抽出された複数
の画素に基づいて、クラスを決定するクラス決定ステッ
プと、上記クラス決定ステップで決定されたクラスに基
づいて、上記注目画素の位置に、少なくとも上記注目画
素が持つ色成分と異なる色成分を持つ画素を生成する画
素生成ステップを有することを特徴とする。

【００１２】また、本発明は、画素位置毎に複数のうち
の何れか一つを表す色成分を持つ入力画像信号を処理す
る画像信号処理を行うコンピュータ制御可能なプログラ
ムが記録された記録媒体において、上記プログラムは、
上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を抽出する抽出ステップと、上記画素抽出ス
テップで抽出された複数の画素に基づいて、クラスを決
定するクラス決定ステップと、上記クラス決定ステップ
で決定されたクラスに基づいて、上記注目画素の位置
に、少なくとも上記注目画素が持つ色成分と異なる色成
分を持つ画素を生成する画素生成ステップを有すること
を特徴とする。

【００１３】また、本発明に係る学習装置は、画素位置
毎に一つの色成分を持つ生徒画像信号の注目画素の近傍
の複数の画素を抽出する第１の画素抽出手段と、上記第
１の画素抽出手段で抽出された複数の画素に基づいて、
クラスを決定するクラス決定手段と、上記生徒画像信号
と対応する画像信号であり、画素位置毎に複数の色成分
を持つ教師画像信号から、上記生徒画像信号の注目画素
の位置に相当する位置の近傍の複数の画素を抽出する第
２の画素抽出手段と、上記第１及び第２の画素抽出手段
で抽出された複数の画素の画素値に基づいて、上記クラ
ス毎に、上記生徒画像信号に相当する画像信号から上記
教師画像信号に相当する画像信号を生成するための予測
演算に用いる予測係数セットを生成する予測係数生成手
段とを備えることを特徴とする。

【００１４】また、本発明に係る学習方法は、画素位置
毎に一つの色成分を持つ生徒画像信号の注目画素の近傍
の複数の画素を抽出する第１の画素抽出ステップと、上
記第１の画素抽出ステップで抽出された複数の画素に基
づいて、クラスを決定するクラス決定ステップと、上記
生徒画像信号と対応する画像信号であり、画素位置毎に
複数の色成分を持つ教師画像信号から、上記生徒画像信
号の注目画素の位置に相当する位置の近傍の複数の画素
を抽出する第２の画素抽出ステップと、上記第１及び第
２の画素抽出ステップで抽出された複数の画素の画素値
に基づいて、上記クラス毎に、上記生徒画像信号に相当
する画像信号から上記教師画像信号に相当する画像信号
を生成するための予測演算に用いる予測係数セットを生
成する予測係数生成ステップとを有することを特徴とす
る。

【００１５】さらに、本発明は、クラスに応じた予測係
数セットを生成するための学習処理を行うコンピュータ
制御可能なプログラムが記録された記録媒体において、
上記プログラムは、画素位置毎に一つの色成分を持つ生
徒画像信号の注目画素の近傍の複数の画素を抽出する第
１の画素抽出ステップと、上記第１の画素抽出ステップ
で抽出された複数の画素に基づいて、クラスを決定する
クラス決定ステップと、上記生徒画像信号と対応する画
像信号であり、画素位置毎に複数の色成分を持つ教師画
像信号から、上記生徒画像信号の注目画素の位置に相当
する位置の近傍の複数の画素を抽出する第２の画素抽出
ステップと、上記第１及び第２の画素抽出ステップで抽
出された複数の画素の画素値に基づいて、上記クラス毎
に、上記生徒画像信号に相当する画像信号から上記教師
画像信号に相当する画像信号を生成するための予測演算
に用いる予測係数セットを生成する予測係数生成ステッ
プとを有することを特徴とする。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００１７】本発明は、例えば図１に示すような構成の
デジタルスチルカメラ１に適用される。このデジタルス
チルカメラ１は、１画素毎に割り当てられた色フィルタ
からなる色コーディングフィルタ４が前面に設置された
１つのＣＣＤイメージセンサ５を用いてカラー撮像を行
う単板式カメラであって、被写体からの入射光が、レン
ズ２により集光され、アイリス３及び色コーディングフ
ィルタ４を介してＣＣＤイメージセンサ５に入射される
ようになっている。上記ＣＣＤイメージセンサ５の撮像
面上には、上記アイリス３により所定レベルの光量とさ
れた入射光により被写体像が結像される。なお、このデ
ジタルスチルカメラ１においては、色コーディングフィ
ルタ４とＣＣＤイメージセンサ５は別体としたが、一体
化した構造とすることができる。

【００１８】上記ＣＣＤイメージセンサ５は、タイミン
グジェネレータ９からのタイミング信号により制御され
る電子シャッタに応じて所定時間にわたって露光を行
い、色コーディングフィルタ４を透過した入射光の光量
に応じた信号電荷（アナログ量）を画素毎に発生するこ
とにより、上記入射光により結像された被写体像を撮像
して、その撮像出力として得られる画像信号を信号調整
部６に供給する。

【００１９】信号調整部６は、画像信号の信号レベルが
一定となるようにゲインを調整するＡＧＣ(Automatic G
ain Contorol) 回路と、ＣＣＤイメージセンサ５が発生
する１／ｆのノイズを除去するＣＤＳ(Correiated Doub
le Sampling)回路からなる。

【００２０】上記信号調整部６から出力される画像信号
は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信
号に変換されて、画像信号処理部８に供給される。上記
Ａ／Ｄ変換部７では、タイミングジェネレータ９からの
タイミング信号に応じて、例えば１サンプル１０ビット
のディジタル撮像信号を生成する。

【００２１】このデジタルスチルカメラ１において、タ
イミングジェネレータ９は、ＣＣＤイメージセンサ５、
信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Pro
cessing Unit) １０に各種タイミング信号を供給する。
ＣＰＵ１０は、モータ１１を駆動することにより、アイ
リス３を制御する。また、ＣＰＵ１０は、モータ１２を
駆動することにより、レンズ２などを移動させ、ズーム
やオートフォーカスなどの制御をする。さらに、ＣＰＵ
１０は、必要に応じ、フラッシュ１３により閃光を発す
る制御を行うようにされている。

【００２２】画像信号処理部８は、Ａ／Ｄ変換部７から
供給された画像信号に対し、欠陥補正処理、ディジタル
クランプ処理、ホワイトバランス調整処理、ガンマ補正
処理、クラス分類適応処理を用いた予測処理等の処理を
行う。

【００２３】この画像信号処理部８に接続されたメモリ
１５は、例えば、ＲＡＭ(Random Access Memory)で構成
され、画像信号処理部８が画像処理を行う際に必要な信
号を記憶する。画像信号処理部８により処理された画像
信号は、インタフェース１４を介してメモリ１６に記憶
される。このメモリ１６に記憶された画像信号は、イン
タフェース１４を介してデジタルスチルカメラ１に対し
て着脱可能な記録媒体１７に記録される。

【００２４】なお、モータ１１は、ＣＰＵ１０からの制
御情報に基づいてアイリス３を駆動し、レンズ２を介し
て入射される光の量を制御する。また、モータ１２は、
ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤ
イメージセンサ２に対するフォーカス状態を制御する。
これにより、自動絞り制御動作や自動焦点制御動作が実
現される。また、フラッシュ１３は、ＣＰＵ１０による
制御の下で、被写体に対して所定の閃光を照射する。

【００２５】また、インターフェース１４は、画像信号
処理部８からの画像信号を必要に応じてメモリ１６に記
憶し、所定のインターフェース処理を実行した後、記録
媒体１７に供給し、記憶させる。記録媒体１７として
は、デジタルスチルカメラ１の本体に対して着脱可能な
記録媒体、例えばフロッピーディスク、ハードディスク
等のディスク記録媒体、メモリカード等のフラッシュメ
モリ等を用いることができる。

【００２６】コントローラ１８は、ＣＰＵ１０の制御の
下で、画像信号処理部８及びインターフェース１４に制
御情報を供給してそれぞれを制御する。ＣＰＵ１０に
は、シャッタボタンやズームボタンなどの操作ボタンか
ら構成される操作部２０からユーザによる操作情報が入
力される。ＣＰＵ１０は、入力された操作情報を基に、
上述した各部を制御する。電源部１９は、バッテリ１９
ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／
ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を
所定の値の直流電圧に変換し、装置内の各構成要素に供
給する。充電可能なバッテリ１９Ａは、デジタルスチル
カメラ１の本体に着脱可能とされている。

【００２７】次に、図２のフローチャートを参照し、図
１に示したデジタルスチルカメラ１の動作について説明
する。このデジタルスチルカメラ１は、ステップＳ１に
おいて、電源がオンされることにより、被写体の撮像を
開始する。すなわち、ＣＰＵ１０は、モータ１１及びモ
ータ１２を駆動し、焦点を合わせたりアイリス３を調整
することにより、レンズ２を介してＣＣＤイメージセン
サ５上に被写体像を結像させる。

【００２８】ステップＳ２では、結像された像をＣＣＤ
イメージセンサ５により撮像した画像信号が、信号調整
部６において、信号レベルが一定となるようにゲイン調
整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換
部７によりデジタル化される。

【００２９】また、ステップＳ３では、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号に対して、画像信
号処理部８によりクラス分類適応処理を含む画像信号処
理を行う。

【００３０】ここで、被写体像は、ＣＣＤイメージセン
サ５の撮像出力として得られる画像信号を電子ビューフ
ァインダに表示するよりユーザが確認できるようになっ
ている。なお、被写体像は、光学的ビューファインダに
よりユーザが確認できるようにすることもできる。

【００３１】そして、ユーザは、ビューファインダによ
り確認した被写体像の画像を記録媒体１７に記録したい
場合、操作部２０のシャッタボタンを操作する。デジタ
ルスチルカメラ１のＣＰＵ１０は、ステップＳ４におい
て、シャッタボタンが操作されたか否かを判断する。デ
ジタルスチルカメラ１は、シャッタボタンが操作された
と判断するまで、ステップＳ２〜Ｓ３の処理を繰り返
し、シャッタボタンが操作されたと判断すると、ステッ
プＳ５に進む。

【００３２】そして、ステップＳ５では、画像信号処理
部８による画像信号処理が施された画像信号をインター
フェース１４を介して記録媒体１７に記録する。

【００３３】次に、図３を参照して画像信号処理部８に
ついて説明する。

【００３４】この画像信号処理部８は、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号が供給される欠陥
補正部２１を備える。ＣＣＤイメージセンサ５の画素の
中で、何らかの原因により入射光に反応しない画素や、
入射光に依存せず、電荷が常に蓄えられている画素、換
言すれば、欠陥がある画素を検出し、その検出結果に従
って、それらの欠陥画素の影響が露呈しないように、画
像信号を補正する処理を行う。

【００３５】Ａ／Ｄ変換部７では、負の値がカットされ
るのを防ぐため、一般に信号値を若干正の方向ヘシフト
させた状態でＡ／Ｄ変換が行われている。クランプ部２
２は、欠陥補正部２１により欠陥補正された画像信号に
対し、上述したシフト量がなくなるようにクランプす
る。

【００３６】クランプ部２２によりクランプされた画像
信号は、ホワイトバランス調整部２３に供給される。ホ
ワイトバランス調整部２３は、クランプ部２２から供給
された画像信号のゲインを補正することにより、ホワイ
トバランスを調整する。このホワイトバランス調整部２
３によりホワイトバランスが調整された画像信号は、ガ
ンマ補正部２４に供給される。ガンマ補正部２４は、ホ
ワイトバランス調整部２３によりホワイトバランスが調
整された画像信号の信号レベルをガンマ曲線に従って補
正する。このガンマ補正部２４によりガンマ補正された
画像信号は、予測処理部２５に供給される。

【００３７】予測処理部２５は、クラス分類適応処理を
行うことによってガンマ補正部２４の出力を例えば３板
式カメラのＣＣＤ出力相当の画像信号に変換して、補正
部２６に供給する。上記予測処理部２５は、ブロック化
部２８、ＡＤＲＣ(AdaptiveDynamic Range Coding) 処
理部２９、クラス分類部３０、適応処理部３１、係数メ
モリ３２等からなる。

【００３８】ブロック化部２８は、後述するクラスタッ
プの画像信号をＡＤＲＣ処理部２９に供給するととも
に、予測タップの画像信号を適応処理部３１に供給す
る。ＡＤＲＣ処理部２９は、入力されたクラスタップの
画像信号に対してＡＤＲＣ処理を行って再量子化コード
を生成し、この再量子化コードを特徴情報としてクラス
分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ
処理部２９から供給される特徴情報に基づいて、画像信
号パターンの分類を行い、分類結果を示すクラス番号
（クラスコード）を生成する。係数メモリ３２は、クラ
ス分類部３０により分類されたクラス番号に対応する係
数セットを適応処理部３１に供給する。適応処理部３１
は、係数セットメモリ３２から供給された係数セットを
用いて、ブロック化部２８から供給された予測タップの
画像信号から予測画素値を求める処理を行う。

【００３９】補正部２６は、上記予測処理部２５により
処理された画像信号に対してエッジ強調等の画像を視覚
的に良く見せるために必要ないわゆる画作りのための処
理を行う。

【００４０】そして、色空間変換部２７は、補正部２６
によりエッジ強調などの処理が施された画像信号（ＲＧ
Ｂ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差
Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの
画像信号に変換する。ただし、マトリクス変換処理を行
わず、色空間変換部２７からＲＧＢ信号をそのまま出力
させても良い。この発明の一実施形態では、例えばユー
ザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出
力するかを切り換えることが可能とされている。色空間
変換部２７により変換された画像信号は、上述のインタ
フェース１４に供給される。

【００４１】ここで、上記図２に示したフローチャート
のステップＳ３において、画像信号処理部８により行わ
れる画像信号処理について、図４のフローチャートを参
照して説明する。

【００４２】すなわち、画像信号処理部８では、Ａ／Ｄ
変換部７によりデジタル化された画像信号に対する画像
信号処理を開始すると、先ず、ステップＳ１１におい
て、ＣＣＤイメージセンサ５の欠陥の影響が出ないよう
に、欠陥補正部２１により画像信号の欠陥補正を行う。
そして、次のステップＳ１２では、欠陥補正部２１によ
り欠陥補正された画像信号に対して、正の方向にシフト
されていた量をもとに戻すクランプ処理をクランプ部２
２により行う。

【００４３】次のステップＳ１３では、クランプ部２２
によりクランプされた画像信号に対して、ホワイトバラ
ンス調整部２３によりホワイトバランスの調整を行い各
色信号間のゲインを調整する。さらに、ステップＳ１４
では、ホワイトバランスが調整された画像信号に対し
て、ガンマ補正部２４によりガンマ曲線に従った補正を
施す。

【００４４】ステップＳ１５では、クラス分類適応処理
を用いた予測処理を行う。かかる処理は、ステップＳ１
５１〜ステップＳ１５５までのステップからなる。ステ
ップＳ１５１では、ガンマ補正部２４によりガンマ補正
された画像信号に対してブロック化部２８によりブロッ
ク化、すなわち、クラスタップ及び予測タップの切り出
しを行う。ここで、クラスタップは、複数種類の色信号
に対応する画素を含む。 ステップＳ１５２では、ＡＤ
ＲＣ処理部２９によりＡＤＲＣ処理を行う。

【００４５】ステップＳ１５３では、クラス分類部３０
においてＡＤＲＣ処理の結果と各色信号間の関係とから
クラスを分類するクラス分類処理を行う。そして、分類
されたクラスに対応するクラス番号を適応処理部３１に
与える。

【００４６】ステップＳ１５４において、適応処理部３
１は、クラス分類部３０より与えられたクラス番号に対
応する予測係数セットを係数メモリ３２から読み出し、
その予測係数セットを対応する予測タップの画像信号に
乗算し、それらの総和をとることで、予測画素値を演算
する。

【００４７】ステップＳ１５５では、すべての領域に対
して処理が行われたか否かを判定する。すべての領域に
対して処理が行われたと判定される場合にはステップＳ
１６に移行し、それ以外の場合にはステップＳ１５１に
移行し、次の領域に対する処理を行う。

【００４８】ステップＳ１６では、ステップＳ１５によ
つて得られた３板式カメラのＣＣＤ出力相当の画像に対
して、視覚的に良く見せるための補正処理（いわゆる画
作り）を行う。ステップＳ１７では、ステップＳ１６に
よつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に
変換するなどの色空間の変換処理を施す。これにより、
例えば記録信号として好適な信号フォーマットを有する
出力画像が生成される。

【００４９】ここで、クラス分類適応処理について説明
する。クラス分類適応処理を用いた予測演算を行うため
の一般的な構成例を図５に示す。入力画像信号が領域切
り出し部１０１、１０２に供給される。領域切り出し部
１０１は、入力画像信号から所定の画像領域（クラスタ
ップと称される）を抽出し、クラスタップの信号をＡＤ
ＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３
は、供給される信号にＡＤＲＣ処理を施すことにより、
再量子化コードを生成する。なお、再量子化コードを生
成する方法として、ＡＤＲＣ以外の方法を用いても良
い。

【００５０】ＡＤＲＣは、本来、ＶＴＲ(Video Tape Re
corder) 用の高能率符号化のために開発された適応的再
量子化法であるが、信号レベルの局所的なパターンを短
い語調で効率的に表現できるという特徴を有する。この
ため、クラス分類のコードを発生するための、画像信号
の時空間内でのパターンすなわち空間アクティビティの
検出に使用することができる。ＡＤＲＣ処理部１０３で
は、以下の式（１）により、クラスタップとして切り出
される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指
定されたビット数で均等に分割して再量子化する。

【００５１】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ ／ＤＲ〕 （１） ここで、ＤＲは領域内のダイナミックレンジである。ま
た、ｎはビット割当て数であり、例えばｎ＝２とするこ
とができる。また、Ｌは領域内画素の信号レベルであ
り、Ｑが再量子化コードである。ただし、大かっこ
（〔・・・〕）は小数点以下を切り捨てる処理を意味す
る。

【００５２】これにより、１画素当たり例えば８ビット
からなるクラスタップの画像信号が例えば２ビットの再
量子化コード値に変換される。このようにして生成され
る再量子化コード値により、クラスタップの信号におけ
るレベル分布のパターンがより少ない情報量によつて表
現される。例えば７画素からなるクラスタップ構造を用
いる場合、上述したような処理により、各画素に対応す
る７個の再量子化コードｑ１〜ｑ７が生成される。クラ
スコードclass は、次の式（２）のようなものである。

【００５３】

【数１】

【００５４】ここで、ｎはクラスタップとして切り出さ
れる画素の数である。また、ｐの値としては、例えばp
＝２とすることができる。

【００５５】クラスコードclass は、時空間内での画像
信号のレベル分布のパターンすなわち空間アクティビテ
ィを特徴情報として分類してなるクラスを表現してい
る。クラスコードclass は、予測係数メモリ１０４に供
給される。予測係数メモリ１０４は、後述するようにし
て予め決定されたクラス毎の予測係数セットを記憶して
おり、供給される再量子化コードによって表現されるク
ラスの予測係数セットを出力する。一方、領域切り出し
部１０２は、入力画像から所定の画像領域（予測タップ
と称される）を抽出し、予測タップの画像信号を予測演
算部１０５に供給する。予測演算部１０５は、領域切り
出し部１０２の出力と、予測係数メモリ１０４から供給
される予測係数セットとに基づいて以下の式（３）のよ
うな演算を行うことにより、出力画像信号ｙを生成す
る。

【００５６】 ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋・・・＋ｗ_n×ｘ_n （３） ここで、ｘ₁ ，・・・，ｘ_n が各予測タップの画素値で
あり、ｗ₁ ，・・・，ｗ_n が各予測係数である。

【００５７】また、予測係数セットを決定するための処
理について図６を参照して説明する。出力画像信号と同
一の画像信号形式を有するＨＤ(High Definition) 画像
信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供
給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を
行うことにより、ＨＤ画像信号を入力画像信号と同等の
解像度（画素数）の画像信号（以下、ＳＤ(Standard De
finition) 画像信号という）に変換する。このＳＤ画像
信号が領域切り出し部２０２、２０３に供給される。領
域切り出し部２０２は、上記領域切り出し部１０１と同
様に、ＳＤ画像信号からクラスタップを切り出し、クラ
スタップの画像信号をＡＤＲＣ処理部２０４に供給す
る。

【００５８】ＡＤＲＣ処理部２０４は、図６中のＡＤＲ
Ｃ処理部１０３と同様なＡＤＲＣ処理を行い、供給され
る信号に基づく再量子化コードを生成する。再量子化コ
ードは、クラスコード生成部２０５に供給される。クラ
スコード生成部２０５は、供給される再量子化コードに
対応するクラスを示すクラスコードを生成し、クラスコ
ードを正規方程式加算部２０６に供給する。一方、領域
切り出し部２０３は、図６中の領域切り出し部１０２と
同様に、供給されるＳＤ画像信号から予測タップを切り
出し、切り出した予測タップの画像信号を正規方程式加
算部２０６に供給する。

【００５９】正規方程式加算部２０６は、領域切り出し
部２０３から供給される画像信号と画素抽出部２０８か
ら供給される画像信号について、クラスコード生成部２
０５から供給されるクラスコード毎に加算し、加算した
各クラス毎の信号を予測係数決定部２０７に供給する。
予測係数決定部２０７は、供給される各クラス毎の信号
に基づいて各クラス毎に予測係数セットを決定する。

【００６０】さらに、予測係数セットを決定するための
演算について説明する。予測係数ｗ_i は、図６に示した
ような構成に対し、ＨＤ画像信号として複数種類の画像
信号を供給することにより、次のよう演算される。これ
らの画像信号の種類数をｍと表記する場合、式（３）か
ら、以下の式（４）が設定される。

【００６１】 ｙ_k ＝ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋・・・＋ｗ_n ×ｘ_kn （４） （ｋ＝１，２，・・・，ｍ） ｍ＞ｎの場合には、ｗ₁ ，・・・，ｗ_n は一意に決まら
ないので、誤差ベクトルｅの要素ｅｋを以下の式（５）
で定義して、式（６）によつて定義される誤差ベクトル
ｅの２乗を最小とするように予測係数セットを定めるよ
うにする。すなわち、いわゆる最小２乗法によつて予測
係数セットを一意に定める。

【００６２】 ｅ_k ＝ｙ_k−｛w₁ ×ｘ_k1＋ｗ₂ ×ｋ₂ ＋・・・＋ｗ_n ×ｋ_n ｝ （５） （ｋ＝１，２，・・・ｍ）

【００６３】

【数２】

【００６４】式（６）のｅ² を最小とする予測係数セッ
トを求めるための実際的な計算方法としては、ｅ² を予
測係数ｗ_i （ｉ＝１，２，・・・）で偏微分し（式
（７））、ｉの各値について偏微分値が０となるように
各予測係数ｗ_i を決定すればよい。

【００６５】

【数３】

【００６６】式（７）から各予測係数ｗ_i を決定する具
体的な手順について説明する。式（８），（９）のよう
にＸ_ji，Ｙ_i を定義すると、式（７）は、式（１０）の
行列式の形に書くことができる。

【００６７】

【数４】

【００６８】

【数５】

【００６９】

【数６】

【００７０】式（１０）が一般に正規方程式と呼ばれる
ものである。正規方程式加算部２０５は、供給される信
号に基づいて式（８），（９）に示すような演算を行う
ことにより、Ｘ_ji，Ｙ_i （ｉ＝１，２，・・・，ｎ）を
それぞれ計算する。予測係数決定部２０７は、掃き出し
法等の一般的な行列解法に従って正規方程式（１０）を
解くことにより、予測係数ｗ_i （ｉ＝１，２，・・・）
を算出する。

【００７１】ここでは、注目画素の特徴情報に対応した
予測係数セットと予測タップを用いて、上述の式（３）
における線形１次結合モデルの演算を行うことにより、
適応処理を行う。なお、適応処理に用いる注目画素の特
徴情報に対応した予測係数セットは、学習により得る
が、クラス対応の画素値を用いたり、非線形モデルの演
算により適応処理を行うこともできる。

【００７２】上述したようなクラス分類適応処理によ
り、入力画像信号から、例えばノイズが除去された画像
信号、走査線構造が変換されてなる画像信号等を出力画
像信号として生成する種々の画像信号変換処理が実現さ
れる。

【００７３】このデジタルスチルカメラ１では、例え
ば、単板式カメラのＣＣＤイメージセンサによって生成
される画素位置毎に複数のうちの何れか一つを表す色成
分を持つ入力画像信号から、入力画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を抽出し、抽出され
た複数の画素に基づいてクラスを決定し、決定されたク
ラスに基づいて、上記注目画素の位置に、上記注目画素
が持つ色成分と異なる色成分を持つ画素を生成するクラ
ス分類適応処理を上記予測処理部２５で行うことによっ
て、３板式カメラのＣＣＤ出力相当の画像信号を得るこ
とができる。

【００７４】ここで、図７に予測タップの構造の一例を
示す。予測タップは、注目画素（処理対象となる画素）
を中心とし、隣接する３×３個の９画素から構成されて
いる。ブロック化部２８は、注目画素毎に予測タップを
抽出することにより、予測タップに対応する注目画素を
中心とする９画素からなるブロックを複数個生成する。
この注目画素は、１フレームを構成するすべての画素が
対象となる。

【００７５】適応処理部３１により行われる適応処理に
より、注目画素の画素信号がＲ信号である場合、そのＲ
信号の画素の位置に、Ｒ信号、Ｇ信号及びＢ信号が生成
される。同様に、注目画素の画素信号がＧ信号又はＢ信
号の場合も、Ｒ信号、Ｇ信号及びＢ信号が、それぞれ生
成される。すなわち、１フレーム分の画素信号の内、図
８の（Ａ）に示すように８×６画素から構成される部分
を考えた場合、この８×６画素すべてを順次、注目画素
として適応処理することにより、図８の（Ｂ），（Ｃ）
及び（Ｄ）に示すように、Ｒ信号のみから構成される８
×６画素、Ｇ信号のみから構成される８×６画素及びＢ
信号のみから構成される８×６画素が、それぞれ得られ
る。換言すれば、３板カメラのＣＣＤ出力相当の画像信
号が得られる。

【００７６】このように、本発明を適用したデジタルス
チルカメラ１においては、クラス分類適応処理を用い
て、３板式カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，
Ｂを得ることことにより、エッジ部分や細部の鮮鋭度が
増し、Ｓ／Ｎ比の評価値も向上する。

【００７７】この場合、例えば図９の（Ａ）に示すよう
な３×３画素（Ｇ₁₁，Ｂ₁₂，・・・Ｂ₃₂，Ｇ₃₃）の中心
画素（Ｇ₂₂）にＲ信号を生成するためには、３×３画素
（Ｇ₁₁，Ｂ₁₂，・・・Ｂ₃₂，Ｇ₃₃）に対応して図９の
（Ｂ）に示すような予測係数セット（ｗ₁ 〜ｗ₉ ）が用
いられる。図９の（Ａ）及び（Ｂ）は、注目画素
（Ｇ₂₂）がＧ信号であり、このＧ信号の注目画素
（Ｇ₂₂）に隣接する上下方向にＢ信号の画素（Ｂ₁₂，Ｂ
₃₂）、左右方向にＲ信号の画素（Ｒ₂₁，Ｒ₂₂）、斜め方
向にＧ信号の画素（Ｇ₁₁，Ｇ₁₃，Ｇ₃₁，Ｇ₃₃）が位置し
ている場合で、この注目画素（Ｇ₂₂）であるＧ信号の位
置にＲ信号を生成する場合に用いる予測係数セット（ｗ
₁ 〜ｗ₉ ）の一例を示している。

【００７８】また、図１０の（Ａ）に示すような３×３
画素（Ｇ₁₁，Ｒ₁₂，・・・Ｒ₃₂，Ｇ₃₃）の中心画素（Ｇ
₂₂）にＲ信号を生成するためには、３×３画素（Ｇ₁₁，
Ｒ₁₂，・・・Ｒ₃₂，Ｇ₃₃）に対応して図１０の（Ｂ）に
示すような予測係数セット（ｗ₁ 〜ｗ₉ ）が用いられ
る。図１０の（Ａ）及び（Ｂ）は、注目画素（Ｇ₂₂）が
Ｇ信号であり、この注目画素（Ｇ₂₂）のＧ信号の位置に
Ｒ信号を生成する場合であるが、注目画素（Ｇ₂₂）であ
るＧ信号に隣接する上下方向にはＲ信号の画素（Ｒ₁₂，
Ｒ₃₂）が、左右方向にはＢ信号の画素（Ｂ₂₁，Ｂ₂₂）
が、それぞれ位置している場合で、この注目画素
（Ｇ₂₂）であるＧ信号の位置にＲ信号を生成する場合の
予測係数セット（ｗ₁ 〜ｗ₉ ）の一例を示している。

【００７９】さらに、図１１の（Ａ）に示すような３×
３画素（Ｒ₁₁，Ｇ₁₂，・・・Ｇ₃₂，Ｒ₃₃）の中心画素
（Ｂ₂₂）にＲ信号を生成するためには、３×３画素（Ｒ
₁₁，Ｇ₁₂，・・・Ｇ₃₂，Ｒ₃₃）に対応して図１１の
（Ｂ）に示すような予測係数セット（ｗ₁ 〜ｗ₉ ）が用
いられる。図１１の（Ａ）及び（Ｂ）は、注目画素（Ｂ
₂₂）がＢ信号であり、この注目画素（Ｂ₂₂）の上下左右
方向にＧ信号の画素（Ｇ₁₂，Ｇ₂₁，Ｇ₂₃，Ｇ₃₂）、斜め
方向にＲ信号の画素（Ｒ₁₁，Ｒ₁₃，Ｒ₃₁，Ｒ₃₃）が位置
している場合で、この注目画素（Ｂ₂₂）であるＢ信号の
位置にＲ信号を生成する場合の予測係数セット（ｗ₁ 〜
ｗ₉ ）を示している。

【００８０】上記予測係数セットは、予め学習により得
られるもので、上記係数メモリ３２に記憶されている。

【００８１】ここで、この学習について説明する。図１
２は、予測係数セットを学習により得る学習装置４０の
構成を示すブロック図である。

【００８２】この学習装置４０では、クラス分類適応処
理の結果として生成されるべき出力画像信号、すなわち
３板式カメラのＣＣＤ出力相当の画像信号と同一の信号
形式を有する画像信号が教師画像信号として間引き部４
１及び教師画像ブロック化部４５に供給される。間引き
部４１は、教師画像信号から、色フィルタアレイの各色
の配置に従つて画素を間引く。間引き処理は、ＣＣＤイ
メージセンサ５に対して着される光学ローパスフィルタ
を想定したフィルタをかけることによって行う。すなわ
ち、実際の光学系を想定した間引き処理を行う。間引き
部４１の出力が生徒画像信号として生徒画像ブロック化
部４２に供給される。

【００８３】生徒画像ブロック化部４２は、間引き部４
１により生成された生徒信号から、ブロック毎に教師画
像信号の予測画素との対応を取りながら、注目画素に基
づくクラスタップ及び予測タップを抽出することによ
り、生徒画像信号をブロック化してＡＤＲＣ処理部４３
と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒
画像ブロック化部４２から供給された生徒画像信号にＡ
ＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４
に供給する。クラス分類部４４は、入力された特徴情報
からクラスコードを発生し、演算部４６に出力する。

【００８４】ここでは、教師画像信号は、３板式カメラ
のＣＣＤ出力相当の解像度をもつ画像信号であり、生徒
画像信号は、単板式カメラのＣＣＤ出力相当の解像度を
もつ画像信号、換言すれば、３板式カメラより解像度の
低い画像信号である。さらに換言するに、教師画像信号
は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色
成分をもつ画像信号であり、生徒画像信号は、１画素が
Ｒ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみを
もつ画像信号である。

【００８５】一方、教師画像ブロック化部４５は、生徒
画像信号におけるクラスタップとの対応を取りながら、
教師画像信号から予測画素の画像信号を切り出し、切り
出した予測画像信号を演算部４６に供給する。演算部４
６は、生徒画像ブロック化部４２から供給される予測タ
ップの画像信号と、教師画像ブロック化部４５より供給
される予測画画像信号との対応を取りながら、クラス分
類部４４より供給されるクラス番号に従って、予測係数
セットを解とする方程式である正規方程式のデータを生
成する演算を行う。上記演算部４６によつて生成される
正規方程式のデータが学習データメモリ４７に逐次読み
込まれ、記憶される。

【００８６】演算部４８は、学習データメモリ４７に蓄
積された正規方程式のデータを用いて正規方程式を解く
処理を実行する。これにより、クラス毎の予測係数セッ
トが算出される。算出された予測係数セットは、クラス
に対応させて係数メモリ４９に記憶される。係数メモリ
４９の記憶内容は、上述の係数メモリ３２にロードさ
れ、クラス分類適応処理を行う際に使用される。

【００８７】次に、図１３のフローチャートを参照し
て、学習装置４０の動作について説明する。

【００８８】この学習装置４０に入力されるデジタル画
像信号は、３板式カメラで撮像された画像に相当する画
質が得られる画像信号である。なお、３板式カメラで得
られる画像信号（教師画像信号）は、１画素の画像信号
としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、
単板式カメラで得られる画像信号（生徒画像信号）は、
１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の
１つの色信号のみを含んでいる。例えば図１４の（Ａ）
に示すように３板式カメラで撮像されたＨＤ画像信号を
フィルタリングして図１４の（Ｂ）に示すように１／４
サイズのＳＤ画像信号に変換した教師画像信号が、この
学習装置４０に入力される。

【００８９】ステップＳ３１では、教師画像ブロック化
部４５において、入力された教師画像信号をブロック化
し、入力された教師画像信号から生徒画像ブロック化部
４２が注目画素として設定する画素に対応する位置に位
置する予測画素の画素値を抽出して、演算部４６に出力
する。

【００９０】また、ステップＳ３２では、３板式カメラ
で撮像された画像に相当する画質が得られる教師画像信
号に対して間引き部４１により単板カメラのＣＣＤイメ
ージセンサ５に用いられる色コーディングフィルタ４に
相当するフィルタをかける間引き処理を実行すること
で、図１４の（Ｃ）に示すように単板式カメラのＣＣＤ
イメージセンサ５が出力する画像信号に対応する生徒画
像信号を教師画像信号から生成し、生成した生徒画像信
号を生徒画像ブロック化部４２に出力する。

【００９１】ステップＳ３３では、生徒画像ブロック化
部４２において、入力された生徒画像信号のブロック化
を行い、各ブロック毎に、注目画素に基づいて、クラス
タップと予測タップを生成する。

【００９２】ステップＳ３４では、ＡＤＲＣ処理部４３
において、生徒画像信号から切り出されたクラスタップ
の信号を各色信号毎にＡＤＲＣ処理する。

【００９３】ステップＳ３５では、クラス分類部４４に
おいて、ステップＳ３３におけるＡＤＲＣ処理の結果に
基づいてクラス分類し、分類されるクラスに対応するク
ラス番号を示す信号を出力する。

【００９４】ステップＳ３６では、演算部４６におい
て、クラス分類部４４より供給されたクラス毎に、生徒
画像ブロック化部４２より供給された予測タップと、教
師画像ブロック化部４５より供給される予測画像に基づ
いて、上述の式（１０）の正規方程式を生成する処理を
実行する。正規方程式は、学習データメモリ４７に記憶
される。

【００９５】ステップＳ３７では、演算部４６によりす
べてのブロックについての処理が終了したか否かを判定
する。まだ処理していないブロックが存在する場合に
は、ステップＳ３６に戻り、それ以降の処理を繰り返し
実行する。そして、ステップＳ３７において、すべての
ブロックについての処理が終了したと判定された場合、
ステップＳ３８に進む。

【００９６】ステップＳ３８では、演算部４８におい
て、学習データメモリ４７に記憶された正規方程式を例
えば掃き出し法(Gauss-Jordan の消去法) やコレスキー
分解法を用いて解く処理を実行することにより、予測係
数セットを算出する。このようにして算出された予測係
数セットはクラス分類部４４により出力されたクラスコ
ードと関連付けられ、係数メモリ４９に記憶される。

【００９７】ステップＳ３９において、演算部４８にお
いてすべてのクラスについての正規方程式を解く処理を
実行したか否かを判定し、まだ実行していないクラスが
残っている場合には、ステップＳ３８に戻り、それ以降
の処理を繰り返し実行する。

【００９８】ステップＳ３９において、すべてのクラス
についての正規方程式を解く処理が完了したと判定され
た場合、処理は終了される。

【００９９】このようにしてクラスコードと関連付けら
れて係数メモリ４９に記憶された予測係数セットは、図
３に示した画像信号処理部８の係数メモリ３２に記憶さ
れることになる。そして、画像信号処理部８の適応処理
部３１は、上述したように、係数メモリ３２に記憶され
ている予測係数セットを用いて、式（３）に示した線形
１次結合モデルにより、注目画素に対して適応処理を行
う。

【０１００】図１５、図１６、図１７及び図１８は、ベ
イヤー配列の色フィルタアレイにより色コーディングさ
れた画像信号に対し、注目画素（図中、斜線を付けた画
素）の位置に、Ｒ信号、Ｇ信号又はＢ信号を生成する場
合、及び、そのための予測係数セットを算出する際に、
クラスを決定するの用いられるにクラスタップの一例の
構造を示す。

【０１０１】図１５の（Ａ）〜（Ｃ）に示すクラスタッ
プ１は、左右方向にＲ信号の画素が隣接するＧ信号の画
素を注目画素とした場合を示している。

【０１０２】図１５の（Ａ）に示したクラスタップ１
は、注目画素のＧ信号の位置にＲ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｇ信
号の注目画素に隣接する左右方向に位置するＲ信号の画
素と、それらのＲ信号の画素より１画素離れた上方向、
下方向、及び右方向又は左方向に位置するＲ信号の画
素、合計８画素から構成される。

【０１０３】図１５の（Ｂ）に示したクラスタップ１
は、注目画素のＧ信号の位置にＧ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｇ信
号の注目画素に隣接する斜め方向に位置するＧ信号の画
素と、Ｇ信号の注目画素より１画素離れた上方向又は下
方向、及び右方向又は左方向に位置するＧ信号の画素
の、合計９画素（注目画素を含む）から構成されてい
る。

【０１０４】図１５の（Ｃ）に示したクラスタップ１
は、注目画素のＧ信号の位置にＢ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｇ信
号の注目画素に隣接する上下方向に位置するＢ信号の画
素と、それらのＢ信号の画素より１画素離れた上方向又
は下方向、及び右方向又は左方向に位置するＢ信号の画
素の、合計８画素から構成されている。

【０１０５】図１６に示すクラスタップ２は、左右方向
にＢ信号の画素が隣接するＧ信号の画素を注目画素とし
た場合を示している。

【０１０６】図１６の（Ａ）に示したクラスタップ２
は、注目画素のＧ信号の位置にＲ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｇ信
号の注目画素に隣接する上下方向に位置するＲ信号の画
素と、それらのＲ信号の画素より１画素離れた上方向、
下方向、及び右方向又は左方向に位置するＲ信号の画
素、合計８画素から構成される。

【０１０７】図１６の（Ｂ）に示したクラスタップ２
は、注目画素のＧ信号の位置にＧ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｇ信
号の注目画素に隣接する斜め方向に位置するＧ信号の画
素と、Ｇ信号の注目画素より１画素離れた上方向又は下
方向、及び右方向又は左方向に位置するＧ信号の画素
の、合計９画素（注目画素を含む）から構成されてい
る。

【０１０８】図１６の（Ｃ）に示したクラスタップ２
は、注目画素のＧ信号の位置にＢ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｇ信
号の注目画素に隣接する左右方向に位置するＢ信号の画
素と、それらのＢ信号の画素より１画素離れた上方向又
は下方向、及び右方向又は左方向に位置するＢ信号の画
素の、合計８画素から構成されている。

【０１０９】図１７に示すクラスタップ３は、左右方向
にＧ信号の画素が隣接するＢ信号の画素を注目画素とし
た場合を示している。

【０１１０】図１７の（Ａ）に示したクラスタップ３
は、注目画素のＢ信号の位置にＲ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｂ信
号に隣接する斜め方向に位置するＲ信号の画素と、それ
らのＲ信号の画素より１画素離れた上方向、下方向、右
方向、あるいは、左方向に位置するＲ信号の画素の、合
計８画素から構成されている。

【０１１１】図１７の（Ｂ）に示したクラスタップ３
は、注目画素のＢ信号の位置にＧ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｂ信
号の注目画素に隣接する上下左右方向に位置するＧ信号
の画素と、それらのＧ信号の画素の斜め上方向、あるい
は斜め下方向に位置するＧ信号の画素の、合計８画素か
ら構成されている。

【０１１２】図１７の（Ｃ）に示したクラスタップ３
は、注目画素のＢ信号の位置にＢ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｂ信
号の注目画素より１画素離れて上下方向、右左方向及び
斜め方向に位置するＲ信号の画素の、合計９画素（注目
画素を含む）から構成されている。

【０１１３】図１８に示すクラスタップ４は、左右方向
にＧ信号の画素が隣接するＲ信号の画素を注目画素とし
た場合を示している。

【０１１４】図１８の（Ａ）に示したクラスタップ４
は、注目画素のＲ信号の位置にＲ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｒ信
号の注目画素より１画素離れて上下方向、右左方向及び
斜め方向に位置するＲ信号の画素の、合計９画素（注目
画素を含む）から構成されている。

【０１１５】図１８の（Ｂ）に示したクラスタップ４
は、注目画素のＲ信号の位置にＧ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｒ信
号の注目画素に隣接する上下左右方向に位置するＧ信号
の画素と、それらのＧ信号の画素の斜め上方向、あるい
は斜め下方向に位置するＧ信号の画素の、合計８画素か
ら構成されている。

【０１１６】図１８の（Ｃ）に示したクラスタップ４
は、注目画素のＲ信号の位置にＢ信号を生成する際に用
いられる予測係数セットを算出する際に用いられ、Ｒ信
号に隣接する斜め方向に位置するＢ信号の画素と、それ
らのＲ信号の画素より１画素離れた上方向、下方向、右
方向、あるいは、左方向に位置するＲ信号の画素の、合
計８画素から構成されている。

【０１１７】このデジタルスチルカメラ１では、ブロッ
ク化部２８において、注目画素の画像信号の色の種類
と、その注目画素の位置に生成する画像信号の色の種類
により、上述したクラスタップ１乃至４を使い分けて抽
出された複数の画素に基づいてクラスタップを抽出し、
抽出されたクラスタップに対してＡＤＲＣ処理部２９で
ＡＤＲＣ処理を施すことにより特徴情報を生成する。そ
して、適応処理部３１において、ＡＤＲＣ処理により生
成された特徴情報をクラス分類部３０で分類することに
より得られるクラス番号（クラスコード）に対応する係
数セットを係数メモリ３２から読み出して、式（３）に
示した線形１次結合モデルにより、注目画素に対して適
応処理を行うことによって、上記注目画素の位置に、す
べての色成分と異なる色成分を持つ画素を生成すること
ができる。

【０１１８】このように、入力された画像内の注目画素
に基づいて、クラスタップと予測タップを抽出し、抽出
されたクラスタップからクラスコードを生成し、その生
成されたクラスコードに対応する予測係数セットと予測
タップを用いて、注目画素の位置にＲＧＢ全ての色信号
を生成するようにしたので、解像度の高い画像を得るこ
とが可能となる。

【０１１９】なお、上述した説明においては、画像信号
処理部８が適応処理に用いる予測タップと、学習装置４
０が予測係数セットを算出する際に用いるクラスタップ
は、異なる構造としたが、同一の構造としても良い。ま
た、予測タップとクラスタップは、上述した構造に限定
されるものではない。

【０１２０】さらに、上述した説明では、色コーディン
グフィルタ４として、ベイヤー配列のものを用いた場合
を説明したが、他の色コーディングフィルタを用いた場
合においても、本発明を適応する事は可能である。

【０１２１】ここで、このデジタルスチルカメラ１のＣ
ＣＤイメージセンサ５に用いることのできる色コーディ
ングフィルタ４を構成する色フィルタアレイの構成例を
図１９に示す。

【０１２２】図１９の（Ａ）〜（Ｇ）は、原色（Ｒ，
Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成さ
れた色コーディングフィルタ４における緑（Ｇ）・赤
（Ｒ）・青（Ｂ）の色配列の例を示している。

【０１２３】図１９の（Ａ）はベイヤー配列を示し、図
１９の（Ｂ）はインタライン配列を示し、図１９の
（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の
（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９
の（Ｅ）はストライプ配列を示し、図１９の（Ｆ）は斜
めストライプ配列を示し、図１９の（Ｇ）は原色色差配
列を示す。

【０１２４】また、図１９の（Ｈ）〜（Ｎ）は、補色
（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタ
アレイで構成された色コーディングフィルタ４における
マゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の
色配列を示す。図１９の（Ｈ）はフィールド色差順次配
列を示し、図１９の（Ｉ）がフレーム色差順次配列を示
し、図１９の（Ｊ）はＭＯＳ型配列を示し、図１９の
（Ｋ）は改良ＭＯＳ型配列を示し、図１９の（Ｌ）はフ
レームインターリーブ配列を示し、図１９の（Ｍ）はフ
ィールドインターリーブ配列を示し、図１９の（Ｎ）は
ストライプ配列を示す。

【０１２５】なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分
は、 Ｙ＝Ｇ＋Ｒ Ｍ＝Ｒ＋Ｂ Ｃ＝Ｇ＋Ｂ Ｗ＝Ｒ＋Ｇ＋Ｂ にて与えられる。また、図１９の（Ｉ）に示すフレーム
色差順対応の色コーディングフィルタ４を通過する各色
（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、 ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ， ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ， ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ にて与えられる。

【０１２６】このようにして適応処理により単板式カメ
ラのＣＣＤ出力相当の画像信号から得られる３板式カメ
ラのＣＣＤ出力相当の画像信号は、従来の線形補間処理
による場合と比較して、鮮明な画像となる。

【０１２７】このように、本発明を適用したデジタルス
チルカメラ１においては、クラス分類を用いて、３板式
カメラのＣＣＤ出力相当の各色信号Ｒ，Ｇ，Ｂを得るこ
とができるので、エッジ部分や細部の鮮鋭度が増し、Ｓ
Ｎの評価値も向上する。

【０１２８】なお、上述した説明においては、画像信号
処理部８が適応処理に用いる予測タップと、学習装置５
１が予測係数セットを算出する際に用いるクラスタップ
は、異なる構造としたが、同一の構造としても良い。ま
た、予測タップとクラスタップは、上述した構造に限定
されるものではない。

【０１２９】また、上述した説明では、色コーディング
フィルタとして、ベイヤー配列のものを用いた場合を説
明したが、他の色コーディングフィルタを用いた場合に
おいても、本発明を適応する事は可能である。また、信
号のクラス削減方式として、ＡＤＲＣを用いたが、例え
ば、ＤＣＴ(Discrete Cosine Transform) 、ＶＱ（ベク
トル量子化）、ＤＰＣＭ(Differential Pulse Code Mod
ulation)、ＢＴＣ(Block Trancation Coding) 、非線形
量子化などを用いても良い。さらに、この発明は、デジ
タルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等
の映像機器や、例えば放送業務に用いられる画像処理装
置、さらには、例えばプリンタやスキャナ等に対しても
適用することができる。

【０１３０】さらに、上記予測処理部２５におけるクラ
ス分類適応処理や、上記学習装置４０において予測係数
セットを得るための学習処理は、例えば図２０に示すよ
うに、バス３１１に接続されたＣＰＵ(Central Process
ing Unit) ３１２、メモリ３１３、入力インターフェー
ス３１４、ユーザインターフェース３１５や出力インタ
ーフェース３１６などにより構成される一般的なコンピ
ュータシステム３１０により実行することができる。上
記処理を実行するコンピュータプログラムは、記録媒体
に記録されて、画素位置毎に複数のうちの何れか一つを
表す色成分を持つ入力画像信号を処理する画像信号処理
を行うコンピュータ制御可能なプログラムが記録された
記録媒体、又は、クラスに応じた予測係数セットを生成
するための学習処理を行うコンピュータ制御可能なプロ
グラムが記録された記録媒体として、ユーザに提供され
る。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭな
どの情報記録媒体の他、インターネット、デジタル衛星
などのネットワークによる伝送媒体も含まれる。

【０１３１】

【発明の効果】以上の如く本発明によれば、入力画像信
号の注目画素に基づいて、クラスタップと予測タップを
抽出し、抽出されたクラスタップからクラスコードを生
成し、その生成されたクラスコードに対応する予測係数
セットと予測タップを用いて、注目画素の位置にＲＧＢ
全ての色信号を生成するようにしたので、解像度の高い
画像を得ることが可能となる。

【０１３２】また、本発明によれば、入力された教師画
像信号から生徒画像信号を生成し、その生徒画像信号の
注目画素に基づいて、クラスタップを抽出し、生徒画像
信号の注目画素に対応する位置に位置する教師画像信号
の画素値を抽出し、抽出されたクラスタタップからクラ
スコードを生成し、抽出されたクラスタップと画素値を
用いて、生徒画像の注目画素の位置に新たな色信号を生
成するための演算に用いる予測係数セットを算出し、算
出された予測係数セットとクラスコードを関連付けて記
憶するようにしたので、解像度の高い画像を得るための
処理を行う画像信号処理装置が用いる予測係数セットを
算出することができる。

【図面の簡単な説明】

【図１】本発明を適用したデジタルスチルカメラの構成
を示すブロック図である。

【図２】上記デジタルスチルカメラの動作を説明するた
めのフローチャートである。

【図３】上記デジタルスチルカメラにおける画像信号処
理部の構成を示すブロック図である。

【図４】上記画像信号処理部により行われる画像信号処
理を説明するためのフローチャートである。

【図５】クラス分類適応処理を用いた予測演算を行うた
めの構成例を示す示すブロック図である。

【図６】予測係数セットを決定するための構成例を示す
ブロック図である。

【図７】予測タップの構造例を模式的に示す図である。

【図８】上記画像信号処理部におけるクラス適応処理に
よる画像信号処理の一例を模式的に示す図である。

【図９】予測係数セットの一例を示す図である。

【図１０】予測係数セットの一例を示す図である。

【図１１】予測係数セットの一例を示す図である。

【図１２】予測係数セットを学習により得る学習装置の
構成例を示すブロック図である。

【図１３】上記学習装置の動作を説明するためのフロー
チャートである。

【図１４】上記学習装置による学習処理の一例を模式的
に示す図である。

【図１５】クラスタップを模式的に示す図である。

【図１６】クラスタップを模式的に示す図である。

【図１７】クラスタップを模式的に示す図である。

【図１８】クラスタップを模式的に示す図である。

【図１９】上記デジタルスチルカメラのＣＣＤイメージ
センサに用いることのできる色コーディングフィルタの
色フィルタアレイの構成例を模式的に示す図である。

【図２０】上記クラス分類適応処理や予測係数セットを
得るための学習処理を行うコンピュータシステムの一般
的な構成を示すブロック図である。

【図２１】従来の線形補間による画像信号処理を模式的
に示す図である。

【符号の説明】

１ デジタルスチルカメラ、５ ＣＣＤイメージセン
サ、８ 画像信号処理部、２５ 予測処理部、２８ ブ
ロック化部、２９ ＡＤＲＣ処理部、３０ クラス分類
部、３１ 適応処理部、３２ 係数セットメモリ、４０
学習装置、４１間引き部、４２ 生徒画像ブロック化
部、４３ ＡＤＲＣ処理部、４４ クラス分類部、４５
教師画像ブロック化部、４６ 演算部、４７ 学習デ
ータメモリ、４８ 演算部、４９ 係数メモリ

Claims (36)

【特許請求の範囲】
1. 【請求項１】 画素位置毎に複数のうちの何れか一つを
   表す色成分を持つ入力画像信号を処理する画像信号処理
   装置において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
   複数の画素を抽出する抽出手段と、 上記抽出手段で抽出された複数の画素に基づいて、クラ
   スを決定するクラス決定手段と、 上記クラス決定手段で決定されたクラスに基づいて、上
   記注目画素の位置に、少なくとも上記注目画素が持つ色
   成分と異なる色成分を持つ画素を生成する画素生成手段
   とを備えることを特徴とする画像信号処理装置。
2. 【請求項２】 上記画素生成手段は、上記注目画素の位
   置に、すべての色成分を持つ画素を生成することを特徴
   とする請求項１記載の画像信号処理装置。
3. 【請求項３】 上記画素生成手段は、各クラス毎の予測
   係数セットを記憶する記憶手段と、上記クラス決定手段
   で決定されたクラスに応じた予測係数セットと、上記抽
   出手段によって抽出された上記注目画素近傍の複数の画
   素に基づく演算を行うことにより、上記異なる色成分を
   持つ画素を生成する演算手段とを備えることを特徴とす
   る請求項１記載の画像信号処理装置。
4. 【請求項４】 上記演算手段は、上記予測係数セットと
   上記注目画素近傍の複数の画素値との線形一次結合に基
   づく演算を行うことを特徴とする請求項３記載の画像信
   号処理装置。
5. 【請求項５】 上記抽出手段は、上記クラス決定手段と
   上記演算手段に対して、少なくとも１画素は異なる画素
   を抽出することを特徴とする請求項３記載の画像信号処
   理装置。
6. 【請求項６】 上記色成分で表される色は、赤、青、緑
   の何れかであることを特徴とする請求項１記載の画像信
   号処理装置。
7. 【請求項７】 画素位置毎に複数の色のうち何れか１つ
   を表す色成分を持つ上記画像信号を取得する取得手段を
   さらに備えることを特徴とする請求項１記載の画像信号
   処理装置。
8. 【請求項８】 上記取得手段は、固体撮像素子であるこ
   とを特徴とする請求項７記載の画像信号処理装置。
9. 【請求項９】 上記固体撮像素子は、ベイヤー配列のＣ
   ＣＤイメージセンサであることを特徴とする請求項８記
   載の画像信号処理装置。
10. 【請求項１０】 画素位置毎に複数のうちの何れか一つ
    を表す色成分を持つ入力画像信号を処理する画像信号処
    理方法において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記画素抽出ステップで抽出された複数の画素に基づい
    て、クラスを決定するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、上記注目画素の位置に、少なくとも上記注目画素が
    持つ色成分と異なる色成分を持つ画素を生成する画素生
    成ステップを有することを特徴とする画像信号処理方
    法。
11. 【請求項１１】 上記画素生成ステップでは、上記注目
    画素の位置に、すべての色成分を持つ画素を生成するこ
    とを特徴とする請求項１０記載の画像信号処理方法。
12. 【請求項１２】 上記画素生成ステップでは、上記クラ
    ス決定ステップで決定されたクラスに応じた予測係数セ
    ットと上記抽出ステップで抽出された上記注目画素近傍
    の複数の画素に基づく演算を行うことにより、上記異な
    る色成分を持つ画素を生成する演算手段とを特徴とする
    請求項１０記載の画像信号処理方法。
13. 【請求項１３】 上記画素生成ステップでは、上記予測
    係数セットと上記注目画素近傍の複数の画素値との線形
    一次結合に基づく演算を行うことを特徴とする請求項１
    ２記載の画像信号処理方法。
14. 【請求項１４】 上記抽出ステップでは、上記クラス決
    定ステップと上記画素生成ステップに対して、少なくと
    も１画素は異なる画素を抽出することを特徴とする請求
    項１２記載の画像信号処理方法。
15. 【請求項１５】 上記色成分で表される色は、赤、青、
    緑の何れかであることを特徴とする請求項１０記載の画
    像信号処理方法。
16. 【請求項１６】 画素位置毎に複数の色のうち何れか１
    つを表す色成分を持つ上記画像信号を取得する取得ステ
    ップをさらに有することを特徴とする請求項１０記載の
    画像信号処理方法。
17. 【請求項１７】 上記取得ステップでは、固体撮像素子
    により上記画像信号を取得することを特徴とする請求項
    １６記載の画像信号処理方法。
18. 【請求項１８】 上記取得ステップでは、ベイヤー配列
    のＣＣＤイメージセンサにより上記画像信号を取得する
    ことを特徴とする請求項１７記載の画像信号処理方法。
19. 【請求項１９】 画素位置毎に複数のうちの何れか一つ
    を表す色成分を持つ入力画像信号を処理する画像信号処
    理を行うコンピュータ制御可能なプログラムが記録され
    た記録媒体において、 上記プログラムは、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記画素抽出ステップで抽出された複数の画素に基づい
    て、クラスを決定するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、上記注目画素の位置に、少なくとも上記注目画素が
    持つ色成分と異なる色成分を持つ画素を生成する画素生
    成ステップを有することを特徴とする記録媒体。
20. 【請求項２０】 上記画素生成ステップでは、上記注目
    画素の位置に、すべての色成分を持つ画素を生成するこ
    とを特徴とする請求項１９記載の記録媒体。
21. 【請求項２１】 上記画素生成ステップでは、上記クラ
    ス決定ステップで決定されたクラスに応じた予測係数セ
    ットと、上記抽出ステップで抽出された上記注目画素近
    傍の複数の画素に基づく演算を行うことにより、上記異
    なる色成分を持つ画素を生成する演算手段とを特徴とす
    る請求項１９記載の記録媒体。
22. 【請求項２２】 上記画素生成ステップでは、上記予測
    係数セットと上記注目画素近傍の複数の画素値との線形
    一次結合に基づく演算を行うことを特徴とする請求項２
    １記載の記録媒体。
23. 【請求項２３】 上記抽出ステップでは、上記クラス決
    定ステップと上記画素生成ステップに対して、少なくと
    も１画素は異なる画素を抽出することを特徴とする請求
    項２１記載の記録媒体。
24. 【請求項２４】 上記色成分で表される色は、赤、青、
    緑の何れかであることを特徴とする請求項１９記載の記
    録媒体。
25. 【請求項２５】 画素位置毎に複数の色のうち何れか１
    つを表す色成分を持つ上記画像信号を取得する取得ステ
    ップをさらに有することを特徴とする請求項１９記載の
    記録媒体。
26. 【請求項２６】 上記取得ステップでは、固体撮像素子
    により上記画像信号を取得することを特徴とする請求項
    ２５記載の記録媒体。
27. 【請求項２７】 上記取得ステップでは、ベイヤー配列
    のＣＣＤイメージセンサにより上記画像信号を取得する
    ことを特徴とする請求項２６記載の記録媒体。
28. 【請求項２８】 画素位置毎に一つの色成分を持つ生徒
    画像信号の注目画素の近傍の複数の画素を抽出する第１
    の画素抽出手段と、 上記第１の画素抽出手段で抽出された複数の画素に基づ
    いて、クラスを決定するクラス決定手段と、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記生徒画
    像信号の注目画素の位置に相当する位置の近傍の複数の
    画素を抽出する第２の画素抽出手段と、 上記第１及び第２の画素抽出手段で抽出された複数の画
    素の画素値に基づいて、上記クラス毎に、上記生徒画像
    信号に相当する画像信号から上記教師画像信号に相当す
    る画像信号を生成するための予測演算に用いる予測係数
    セットを生成する予測係数生成手段とを備えることを特
    徴とする学習装置。
29. 【請求項２９】 上記第１の画素抽出手段は、上記注目
    画素の位置と、上記注目画素が持つ色成分に基づいて、
    上記注目画素の近傍の複数の画素を抽出することを特徴
    とする請求項２８記載の学習装置。
30. 【請求項３０】 上記クラス決定手段は、上記第１の画
    素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ
    (Adaptive Dynamic Range Coding) 処理により特徴情報
    を生成し、特徴情報に基づいてクラスを決定することを
    特徴とする請求項２８記載の学習装置。
31. 【請求項３１】 画素位置毎に一つの色成分を持つ生徒
    画像信号の注目画素の近傍の複数の画素を抽出する第１
    の画素抽出ステップと、 上記第１の画素抽出ステップで抽出された複数の画素に
    基づいて、クラスを決定するクラス決定ステップと、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記生徒画
    像信号の注目画素の位置に相当する位置の近傍の複数の
    画素を抽出する第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを有する
    ことを特徴とする学習方法。
32. 【請求項３２】 上記第１の画素抽出ステップでは、上
    記注目画素の位置と、上記注目画素が持つ色成分に基づ
    いて、上記注目画素の近傍の複数の画素を抽出すること
    を特徴とする請求項３１記載の学習方法。
33. 【請求項３３】 上記クラス決定ステップでは、上記第
    １の画素抽出手段で抽出された複数の画素に対して、Ａ
    ＤＲＣ(Adaptive Dynamic Range Coding) 処理により生
    成される特徴情報を生成し、特徴情報に基づいてクラス
    を決定することを特徴とする請求項３１記載の学習方
    法。
34. 【請求項３４】 クラスに応じた予測係数セットを生成
    するための学習処理を行うコンピュータ制御可能なプロ
    グラムが記録された記録媒体において、 上記プログラムは、 画素位置毎に一つの色成分を持つ生徒画像信号の注目画
    素の近傍の複数の画素を抽出する第１の画素抽出ステッ
    プと、 上記第１の画素抽出ステップで抽出された複数の画素に
    基づいて、クラスを決定するクラス決定ステップと、 上記生徒画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記生徒画
    像信号の注目画素の位置に相当する位置の近傍の複数の
    画素を抽出する第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを有する
    ことを特徴とする記録媒体。
35. 【請求項３５】 上記第１の画素抽出ステップでは、上
    記注目画素の位置と、上記注目画素が持つ色成分に基づ
    いて、上記注目画素の近傍の複数の画素を抽出すること
    を特徴とする請求項３４記載の記録媒体。
36. 【請求項３６】 上記クラス決定ステップでは、上記第
    １の画素抽出手段で抽出された複数の画素に対して、Ａ
    ＤＲＣ(Adaptive Dynamic Range Coding) 処理により生
    成される特徴情報を生成し、特徴情報に基づいてクラス
    を決定することを特徴とする請求項３４記載の記録媒
    体。