JP2000341705A - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents

画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体

Info

Publication number
JP2000341705A
JP2000341705A JP2000048984A JP2000048984A JP2000341705A JP 2000341705 A JP2000341705 A JP 2000341705A JP 2000048984 A JP2000048984 A JP 2000048984A JP 2000048984 A JP2000048984 A JP 2000048984A JP 2000341705 A JP2000341705 A JP 2000341705A
Authority
JP
Japan
Prior art keywords
image signal
pixel
class
pixels
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000048984A
Other languages
English (en)
Other versions
JP4547757B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Hideo Nakaya
秀雄 中屋
Takashi Sawao
貴志 沢尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000048984A priority Critical patent/JP4547757B2/ja
Publication of JP2000341705A publication Critical patent/JP2000341705A/ja
Application granted granted Critical
Publication of JP4547757B2 publication Critical patent/JP4547757B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 より高精細度の画像が得られるようにする。 【解決手段】 ｎ×ｍ個の各画素が、ＲＧＢのうちの１
つの色の値のみを有するＣＣＤイメージセンサの出力か
ら、２ｎ×２ｍ個のＲ画素の４倍密度の画像信号、２ｎ
×２ｍ個のＧの４倍密度の画像データ及び２ｎ×２ｍ個
のＢ画素の４倍密度の画像信号をクラス適応処理により
演算する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像信号処理装
置、画像信号処理方法、学習装置、学習方法及び記録媒
体に関し、特に、より高精細度の画像を得ることができ
るようにした画像信号処理装置、画像信号処理方法、学
習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】ＣＣＤ（Charge Coupled Device）イメ
ージセンサなどの固体イメージセンサを用いた撮像装置
には、主に、１つのＣＣＤイメージセンサを用いた単板
方式のもの（以後、単板式カメラという）と、３つのＣ
ＣＤイメージセンサを用いた３板方式のもの（以後、３
板式カメラという）とがある。
【０００３】３板式カメラでは、例えばＲ信号用、Ｇ信
号用及びＢ信号用の３つのＣＣＤイメージセンサを用い
て、その３つのＣＣＤイメージセンサにより３原色信号
を得る。そして、この３原色信号から生成されるカラー
画像信号が記録媒体に記録される。
【０００４】単板式カメラでは、１画素毎に割り当てら
れた色フィルタアレイからなる色コーディングフィルタ
が前面に設置された１つのＣＣＤイメージセンサを用い
て、上記色コーディングフィルタにより色コーディング
された色成分の信号を１画素毎に得る。上記色コーディ
ングフィルタを構成する色フィルタアレイとしては、例
えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィ
ルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍ
ｇ（Magenta）の補色フィルタアレイが用いられてい
る。そして、単板式カメラにおいては、ＣＣＤイメージ
センサにより１画素毎に１つの色成分の信号を得て、各
画素が持っている色成分の信号以外の色信号を線形補間
処理により生成して、３板式カメラにより得られる画像
に近い画像を得るようしていた。ビデオカメラなどにお
いて、小型化、軽量化を図る場合に、単板式が採用され
ている。
【０００５】単板式カメラにおいて、例えば図２１の
（Ａ）に示すような色配列の色フィルタアレイにより構
成された色コーディングフィルタが設けられたＣＣＤイ
メージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色
のフィルタが配置された各画素から、そのフィルタの色
に対応する画像信号のみが出力される。すなわち、Ｒの
色フィルタが配置された画素からは、Ｒ成分の画像信号
は出力されるが、Ｇ成分及びＢ成分の画像信号は出力さ
れない。同様に、Ｇの画素からは、Ｇ成分の画像信号の
みが出力され、Ｒ成分及びＢ成分の画像信号は出力され
ず、Ｂの画素からは、Ｂ成分の画像信号のみが出力さ
れ、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】ここで、図２１の（Ａ）に示す色フィルタ
アレイの色配列は、ベイヤー配列と称される。この場合
においては、Ｇの色フィルタが市松状に配され、残った
部分にＲとＢが一列毎に交互に配されている。
【０００７】しかしながら、後段において各画素の信号
を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の
画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及び
ｍは正の整数）個の画素で構成されるＣＣＤイメージセ
ンサの出力から、図２１の（Ｂ）に示すように、ｎ×ｍ
個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及
びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメ
ラのＣＣＤ出力相当の画像信号が、それぞれ補間演算に
より求められ、それらの画像信号が後段に出力される。
【０００８】そして、さらに、例えば４倍密度の画像信
号を生成する場合、図２１の（Ｃ）に示すように、ｎ×
ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画
像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の
画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演
算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信
号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算に
より求められる。
【０００９】
【発明が解決しようとする課題】従来の装置において
は、このように、単板式カメラのＣＣＤイメージセンサ
の出力から、同一解像度の３原色の成分を各画素毎に生
成し、その画像信号から、さらにより高密度の画像信号
を演算するようにしている。その結果、画素密度を大き
くしたとしても、十分な精細度を得ることができないと
いう問題点があった。
【００１０】本発明は、このような状況に鑑みてなされ
たものであり、確実に高精細度の画像を得ることができ
るようにすることを目的とするものである。
【００１１】
【課題を解決するための手段】本発明は、複数の色のう
ちのいずれか１つを表す色成分を画素位置毎に持つ所定
数のサンプル値によって、１枚の画像が構成される入力
画像信号を処理する画像信号処理装置において、上記入
力画像信号の注目画素毎に、上記注目画素近傍の複数の
画素を抽出する抽出手段と、上記抽出手段で抽出された
複数の画素に基づいて、クラスを決定するクラス決定手
段と、上記クラス決定手段で決定されたクラスに基づい
て、上記入力画像信号の各画素に処理を行うことによっ
て、上記所定数のサンプル値より多いサンプル値を上記
複数の色それぞれに関して有する出力画像信号を生成す
る出力画像生成手段とを備えることを特徴とする。
【００１２】また、複数の色のうちのいずれか１つを表
す色成分を画素位置毎に持つ所定数のサンプル値によっ
て、１枚の画像が構成される入力画像信号を処理する画
像信号処理方法において、上記入力画像信号の注目画素
毎に、上記注目画素近傍の複数の画素を抽出する抽出ス
テップと、上記抽出ステップで抽出された複数の画素に
基づいて、クラスを決定するクラス決定ステップと、上
記クラス決定ステップで決定されたクラスに基づいて、
上記入力画像信号の各画素に処理を行うことによって、
上記所定数のサンプル値より多いサンプル値を上記複数
の色それぞれに関して有する出力画像信号を生成する出
力画像生成ステップとを有することを特徴とする。
【００１３】また、本発明は、複数の色のうちのいずれ
か１つを表す色成分を画素位置毎に持つ所定数のサンプ
ル値によって、１枚の画像が構成される入力画像信号を
処理する画像信号処理を行うコンピュータ制御可能なプ
ログラムが記録された記録媒体において、上記プログラ
ムは、上記入力画像信号の注目画素毎に、上記注目画素
近傍の複数の画素を抽出する抽出ステップと、上記抽出
ステップで抽出された複数の画素に基づいて、クラスを
決定するクラス決定ステップと、上記クラス決定ステッ
プで決定されたクラスに基づいて、上記入力画像信号の
各画素に処理を行うことによって、上記所定数のサンプ
ル値より多いサンプル値を上記複数の色それぞれに関し
て有する出力画像信号を生成する出力画像生成ステップ
とを有することを特徴とする。
【００１４】また、本発明に係る学習装置は、複数の色
のうちのいずれか１つを表す色成分を画素位置毎に持つ
所定数のサンプル値によって、１枚の画像が構成される
生徒画像信号から、上記所定数のサンプル値より多いサ
ンプル値を有する予測画像信号の注目画素の近傍の複数
の画素を抽出する第１の画素抽出手段と、上記第１の画
素抽出手段で抽出された複数の画素に基づいて、クラス
を決定するクラス決定手段と、上記予測画像信号と対応
する画像信号であり、画素位置毎に複数の色成分を持つ
教師画像信号から、上記注目画素の位置に相当する位置
の近傍の複数の画素を抽出する第２の画素抽出手段と、
上記第１及び第２の画素抽出手段で抽出された複数の画
素の画素値に基づいて、上記クラス毎に、上記生徒画像
信号に相当する画像信号から上記教師画像信号に相当す
る画像信号を生成するための予測演算に用いる予測係数
セットを生成する予測係数生成手段とを備えることを特
徴とする。
【００１５】また、本発明に係る学習方法は、複数の色
のうちのいずれか１つを表す色成分を画素位置毎に持つ
所定数のサンプル値によって、１枚の画像が構成される
生徒画像信号から、上記所定数のサンプル値より多いサ
ンプル値を有する予測画像信号の注目画素の近傍の複数
の画素を抽出する第１の画素抽出ステップと、上記第１
の画素抽出ステップで抽出された複数の画素に基づい
て、クラスを決定するクラス決定ステップと、上記予測
画像信号と対応する画像信号であり、画素位置毎に複数
の色成分を持つ教師画像信号から、上記注目画素の位置
に相当する位置の近傍の複数の画素を抽出する第２の画
素抽出ステップと、上記第１及び第２の画素抽出ステッ
プで抽出された複数の画素の画素値に基づいて、上記ク
ラス毎に、上記生徒画像信号に相当する画像信号から上
記教師画像信号に相当する画像信号を生成するための予
測演算に用いる予測係数セットを生成する予測係数生成
ステップとを備えることを特徴とする。
【００１６】さらに、本発明は、クラスに応じた予測係
数セットを生成するための学習処理を行うコンピュータ
制御可能なプログラムが記録された記録媒体において、
上記プログラムは、複数の色のうちのいずれか１つを表
す色成分を画素位置毎に持つ所定数のサンプル値によっ
て、１枚の画像が構成される生徒画像信号から、上記所
定数のサンプル値より多いサンプル値を有する予測画像
信号の注目画素の近傍の複数の画素を抽出する第１の画
素抽出ステップと、上記第１の画素抽出ステップで抽出
された複数の画素に基づいて、クラスを決定するクラス
決定ステップと、上記予測画像信号と対応する画像信号
であり、画素位置毎に複数の色成分を持つ教師画像信号
から、上記注目画素の位置に相当する位置の近傍の複数
の画素を抽出する第２の画素抽出ステップと、上記第１
及び第２の画素抽出ステップで抽出された複数の画素の
画素値に基づいて、上記クラス毎に、上記生徒画像信号
に相当する画像信号から上記教師画像信号に相当する画
像信号を生成するための予測演算に用いる予測係数セッ
トを生成する予測係数生成ステップとを備えることを特
徴とする。
【００１７】
【発明の実施の形態】図１は、ＣＣＤイメージセンサの
出力から、より高密度（この例の場合、４倍密度）の画
像信号を生成する処理の原理を表している。本発明にお
いては、図１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整
数）個の画素で構成されるＣＣＤイメージセンサの出力
画像信号から、図１の（Ｂ）に示す２ｎ×２ｍ個のＲ画
素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２
ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成す
る適応処理を行う。
【００１８】図２は、以上のような原理に従って、被写
体を撮像するデジタルスチルカメラ１の構成例を示す。
【００１９】このデジタルスチルカメラ１は、１画素毎
に割り当てられた色フィルタからなる色コーディングフ
ィルタ４が前面に設置された１つのＣＣＤイメージセン
サ５を用いてカラー撮像を行う単板式カメラであって、
被写体からの入射光が、レンズ２により集光され、アイ
リス３及び色コーディングフィルタ４を介してＣＣＤイ
メージセンサ５に入射されるようになっている。上記Ｃ
ＣＤイメージセンサ５の撮像面上には、上記アイリス３
により所定レベルの光量とされた入射光により被写体像
が結像される。なお、このデジタルスチルカメラ１にお
いては、色コーディングフィルタ４とＣＣＤイメージセ
ンサ５は別体としたが、一体化した構造とすることがで
きる。
【００２０】上記ＣＣＤイメージセンサ５は、タイミン
グジェネレータ９からのタイミング信号により制御され
る電子シャッタに応じて所定時間にわたって露光を行
い、色コーディングフィルタ４を透過した入射光の光量
に応じた信号電荷（アナログ量）を画素毎に発生するこ
とにより、上記入射光により結像された被写体像を撮像
して、その撮像出力として得られる画像信号を信号調整
部６に供給する。
【００２１】信号調整部６は、画像信号の信号レベルが
一定となるようにゲインを調整するＡＧＣ(Automatic G
ain Contorol) 回路と、ＣＣＤイメージセンサ５が発生
する１／ｆのノイズを除去するＣＤＳ(Correiated Doub
le Sampling)回路からなる。
【００２２】上記信号調整部６から出力される画像信号
は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信
号に変換されて、画像信号処理部８に供給される。上記
Ａ／Ｄ変換部７では、タイミングジェネレータ９からの
タイミング信号に応じて、例えば１サンプル１０ビット
のディジタル撮像信号を生成する。
【００２３】このデジタルスチルカメラ１において、タ
イミングジェネレータ９は、ＣＣＤイメージセンサ５、
信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Pro
cessing Unit) １０に各種タイミング信号を供給する。
ＣＰＵ１０は、モータ１１を駆動することにより、アイ
リス３を制御する。また、ＣＰＵ１０は、モータ１２を
駆動することにより、レンズ２などを移動させ、ズーム
やオートフォーカスなどの制御をする。さらに、ＣＰＵ
１０は、必要に応じ、フラッシュ１３により閃光を発す
る制御を行うようにされている。
【００２４】画像信号処理部８は、Ａ／Ｄ変換部７から
供給された画像信号に対し、欠陥補正処理、ディジタル
クランプ処理、ホワイトバランス調整処理、ガンマ補正
処理、クラス分類適応処理を用いた予測処理等の処理を
行う。
【００２５】この画像信号処理部８に接続されたメモリ
１５は、例えば、ＲＡＭ(Random Access Memory)で構成
され、画像信号処理部８が画像処理を行う際に必要な信
号を記憶する。画像信号処理部８により処理された画像
信号は、インタフェース１４を介してメモリ１６に記憶
される。このメモリ１６に記憶された画像信号は、イン
タフェース１４を介してデジタルスチルカメラ１に対し
て着脱可能な記録媒体１７に記録される。
【００２６】なお、モータ１１は、ＣＰＵ１０からの制
御情報に基づいてアイリス３を駆動し、レンズ２を介し
て入射される光の量を制御する。また、モータ１２は、
ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤ
イメージセンサ２に対するフォーカス状態を制御する。
これにより、自動絞り制御動作や自動焦点制御動作が実
現される。また、フラッシュ１３は、ＣＰＵ１０による
制御の下で、被写体に対して所定の閃光を照射する。
【００２７】また、インターフェース１４は、画像信号
処理部８からの画像信号を必要に応じてメモリ１６に記
憶し、所定のインターフェース処理を実行した後、記録
媒体１７に供給し、記憶させる。記録媒体１７として
は、デジタルスチルカメラ１の本体に対して着脱可能な
記録媒体、例えばフロッピーディスク、ハードディスク
等のディスク記録媒体、メモリカード等のフラッシュメ
モリ等を用いることができる。
【００２８】コントローラ１８は、ＣＰＵ１０の制御の
下で、画像信号処理部８及びインターフェース１４に制
御情報を供給してそれぞれを制御する。ＣＰＵ１０に
は、シャッタボタンやズームボタンなどの操作ボタンか
ら構成される操作部２０からユーザによる操作情報が入
力される。ＣＰＵ１０は、入力された操作情報を基に、
上述した各部を制御する。電源部１９は、バッテリ１９
ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／
ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を
所定の値の直流電圧に変換し、装置内の各構成要素に供
給する。充電可能なバッテリ１９Ａは、デジタルスチル
カメラ１の本体に着脱可能とされている。
【００２９】次に、図３のフローチャートを参照し、図
２に示したデジタルスチルカメラ１の動作について説明
する。このデジタルスチルカメラ１は、ステップＳ１に
おいて、電源がオンされることにより、被写体の撮像を
開始する。すなわち、ＣＰＵ１０は、モータ１１及びモ
ータ１２を駆動し、焦点を合わせたりアイリス３を調整
することにより、レンズ２を介してＣＣＤイメージセン
サ５上に被写体像を結像させる。
【００３０】ステップＳ２では、結像された像をＣＣＤ
イメージセンサ５により撮像した画像信号が、信号調整
部６において、信号レベルが一定となるようにゲイン調
整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換
部７によりデジタル化される。
【００３１】また、ステップＳ３では、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号に対して、画像信
号処理部８によりクラス分類適応処理を含む画像信号処
理を行う。
【００３２】ここで、被写体像は、ＣＣＤイメージセン
サ５の撮像出力として得られる画像信号を電子ビューフ
ァインダに表示するよりユーザが確認できるようになっ
ている。なお、被写体像は、光学的ビューファインダに
よりユーザが確認できるようにすることもできる。
【００３３】そして、ユーザは、ビューファインダによ
り確認した被写体像の画像を記録媒体１７に記録したい
場合、操作部２０のシャッタボタンを操作する。デジタ
ルスチルカメラ１のＣＰＵ１０は、ステップＳ４におい
て、シャッタボタンが操作されたか否かを判断する。デ
ジタルスチルカメラ１は、シャッタボタンが操作された
と判断するまで、ステップＳ２〜Ｓ３の処理を繰り返
し、シャッタボタンが操作されたと判断すると、ステッ
プＳ５に進む。
【００３４】そして、ステップＳ５では、画像信号処理
部８による画像信号処理が施された画像信号をインター
フェース１４を介して記録媒体１７に記録する。
【００３５】次に、図４を参照して画像信号処理部８に
ついて説明する。
【００３６】この画像信号処理部８は、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号が供給される欠陥
補正部２１を備える。ＣＣＤイメージセンサ５の画素の
中で、何らかの原因により入射光に反応しない画素や、
入射光に依存せず、電荷が常に蓄えられている画素、換
言すれば、欠陥がある画素を検出し、その検出結果に従
って、それらの欠陥画素の影響が露呈しないように、画
像信号を補正する処理を行う。
【００３７】Ａ／Ｄ変換部７では、負の値がカットされ
るのを防ぐため、一般に信号値を若干正の方向ヘシフト
させた状態でＡ／Ｄ変換が行われている。クランプ部２
２は、欠陥補正部２１により欠陥補正された画像信号に
対し、上述したシフト量がなくなるようにクランプす
る。
【００３８】クランプ部２２によりクランプされた画像
信号は、ホワイトバランス調整部２３に供給される。ホ
ワイトバランス調整部２３は、クランプ部２２から供給
された画像信号のゲインを補正することにより、ホワイ
トバランスを調整する。このホワイトバランス調整部２
３によりホワイトバランスが調整された画像信号は、ガ
ンマ補正部２４に供給される。ガンマ補正部２４は、ホ
ワイトバランス調整部２３によりホワイトバランスが調
整された画像信号の信号レベルをガンマ曲線に従って補
正する。このガンマ補正部２４によりガンマ補正された
画像信号は、予測処理部２５に供給される。
【００３９】予測処理部２５は、クラス分類適応処理を
行うことによってガンマ補正部２４の出力を例えば３板
式カメラのＣＣＤ出力相当の画像信号に変換して、補正
部２６に供給する。上記予測処理部２５は、ブロック化
部２８、ＡＤＲＣ(AdaptiveDynamic Range Coding) 処
理部２９、クラス分類部３０、適応処理部３１、係数メ
モリ３２等からなる。
【００４０】ブロック化部２８は、後述するクラスタッ
プの画像信号をＡＤＲＣ処理部２９に供給するととも
に、予測タップの画像信号を適応処理部３１に供給す
る。ＡＤＲＣ処理部２９は、入力されたクラスタップの
画像信号に対してＡＤＲＣ処理を行って再量子化コード
を生成し、この再量子化コードを特徴情報としてクラス
分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ
処理部２９から供給される特徴情報に基づいて、画像信
号パターンの分類を行い、分類結果を示すクラス番号
（クラスコード）を生成する。係数メモリ３２は、クラ
ス分類部３０により分類されたクラス番号に対応する係
数セットを適応処理部３１に供給する。適応処理部３１
は、係数セットメモリ３２から供給された係数セットを
用いて、ブロック化部２８から供給された予測タップの
画像信号から予測画素値を求める処理を行う。
【００４１】補正部２６は、上記予測処理部２５により
処理された画像信号に対してエッジ強調等の画像を視覚
的に良く見せるために必要ないわゆる画作りのための処
理を行う。
【００４２】そして、色空間変換部２７は、補正部２６
によりエッジ強調などの処理が施された画像信号（ＲＧ
Ｂ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差
Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの
画像信号に変換する。ただし、マトリクス変換処理を行
わず、色空間変換部２７からＲＧＢ信号をそのまま出力
させても良い。この発明の一実施形態では、例えばユー
ザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出
力するかを切り換えることが可能とされている。色空間
変換部２７により変換された画像信号は、上述のインタ
フェース１４に供給される。
【００４３】ここで、上記図３に示したフローチャート
のステップＳ３において、画像信号処理部８により行わ
れる画像信号処理について、図５のフローチャートを参
照して説明する。
【００４４】すなわち、画像信号処理部８では、Ａ／Ｄ
変換部７によりデジタル化された画像信号に対する画像
信号処理を開始すると、先ず、ステップＳ１１におい
て、ＣＣＤイメージセンサ５の欠陥の影響が出ないよう
に、欠陥補正部２１により画像信号の欠陥補正を行う。
そして、次のステップＳ１２では、欠陥補正部２１によ
り欠陥補正された画像信号に対して、正の方向にシフト
されていた量をもとに戻すクランプ処理をクランプ部２
２により行う。
【００４５】次のステップＳ１３では、クランプ部２２
によりクランプされた画像信号に対して、ホワイトバラ
ンス調整部２３によりホワイトバランスの調整を行い各
色信号間のゲインを調整する。さらに、ステップＳ１４
では、ホワイトバランスが調整された画像信号に対し
て、ガンマ補正部２４によりガンマ曲線に従った補正を
施す。
【００４６】ステップＳ１５では、クラス分類適応処理
を用いた予測処理を行う。かかる処理は、ステップＳ１
５１〜ステップＳ１５５までのステップからなる。
【００４７】ステップＳ１５１では、ガンマ補正部２４
によりガンマ補正された画像信号に対してブロック化部
２８によりブロック化、すなわち、クラスタップ及び予
測タップの切り出しを行う。ここで、クラスタップは、
複数種類の色信号に対応する画素を含む。
【００４８】ステップＳ１５２では、ＡＤＲＣ処理部２
９によりＡＤＲＣ処理を行う。
【００４９】ステップＳ１５３では、クラス分類部３０
においてＡＤＲＣ処理の結果に基づいてクラスを分類す
るクラス分類処理を行う。そして、分類されたクラスに
対応するクラス番号を適応処理部３１に与える。
【００５０】ステップＳ１５４において、適応処理部３
１は、クラス分類部３０より与えられたクラス番号に対
応する予測係数セットを係数メモリ３２から読み出し、
その予測係数セットを対応する予測タップの画像信号に
乗算し、それらの総和をとることで、予測画素値を演算
する。
【００５１】ステップＳ１５５では、すべての領域に対
して処理が行われたか否かを判定する。すべての領域に
対して処理が行われたと判定される場合にはステップＳ
１６に移行し、それ以外の場合にはステップＳ１５２に
移行し、次の領域に対する処理を行う。
【００５２】ステップＳ１６では、ステップＳ１５によ
つて得られた３板式カメラのＣＣＤ出力相当の画像に対
して、視覚的に良く見せるための補正処理（いわゆる画
作り）を行う。ステップＳ１７では、ステップＳ１６に
よつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に
変換するなどの色空間の変換処理を施す。これにより、
例えば記録信号として好適な信号フォーマットを有する
出力画像が生成される。
【００５３】このデジタルスチルカメラ１における画像
信号処理部８では、ブロック化部２８により入力画像信
号をｐ×ｑ（ｐ及びｑは正の整数）個のブロックに分割
し、ＡＤＲＣ処理部２９において、各ブロック毎に次の
ようなクラスタップを抽出し、そのクラスタップにＡＤ
ＲＣ処理を施す。
【００５４】ここで、クラス分類適応処理について説明
する。クラス分類適応処理を用いた予測演算を行うため
の構成例を図６に示す。入力画像信号が領域切り出し部
１０１、１０２に供給される。領域切り出し部１０１
は、入力画像信号から所定の画像領域（クラスタップと
称される）を抽出し、クラスタップの信号をＡＤＲＣ処
理部１０３に供給する。ＡＤＲＣ処理部１０３は、供給
される信号にＡＤＲＣ処理を施すことにより、再量子化
コードを生成する。なお、再量子化コードを生成する方
法として、ＡＤＲＣ以外の方法を用いても良い。
【００５５】ＡＤＲＣは、本来、ＶＴＲ(Video Tape Re
corder) 用の高能率符号化のために開発された適応的再
量子化法であるが、信号レベルの局所的なパターンを短
い語調で効率的に表現できるという特徴を有する。この
ため、クラス分類のコードを発生するための、画像信号
の時空間内でのパターンすなわち空間アクティビティの
検出に使用することができる。ＡＤＲＣ処理部１０３で
は、以下の式（１）により、クラスタップとして切り出
される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指
定されたビット数で均等に分割して再量子化する。
【００５６】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ ／ＤＲ〕 （１） ここで、ＤＲは領域内のダイナミックレンジである。ま
た、ｎはビット割当て数であり、例えばｎ＝２とするこ
とができる。また、Ｌは領域内画素の信号レベルであ
り、Ｑが再量子化コードである。ただし、大かっこ
（〔・・・〕）は小数点以下を切り捨てる処理を意味す
る。
【００５７】これにより、１画素当たり例えば８ビット
からなるクラスタップの画像信号が例えば２ビットの再
量子化コード値に変換される。このようにして生成され
る再量子化コード値により、クラスタップの信号におけ
るレベル分布のパターンがより少ない情報量によつて表
現される。例えば７画素からなるクラスタップ構造を用
いる場合、上述したような処理により、各画素に対応す
る７個の再量子化コードｑ１〜ｑ７が生成される。クラ
スコードclass は、次の式（２）のようなものである。
【００５８】
【数１】
【００５９】ここで、ｎはクラスタップとして切り出さ
れる画素の数である。また、ｐの値としては、例えばp
＝２とすることができる。
【００６０】クラスコードclass は、時空間内での画像
信号のレベル分布のパターンすなわち空間アクティビテ
ィを特徴情報として分類してなるクラスを表現してい
る。クラスコードclass は、予測係数メモリ１０４に供
給される。予測係数メモリ１０４は、後述するようにし
て予め決定されたクラス毎の予測係数セットを記憶して
おり、供給される再量子化コードによって表現されるク
ラスの予測係数セットを出力する。一方、領域切り出し
部１０２は、入力画像から所定の画像領域（予測タップ
と称される）を抽出し、予測タップの画像信号を予測演
算部１０５に供給する。予測演算部１０５は、領域切り
出し部１０２の出力と、予測係数メモリ１０４から供給
される予測係数セットとに基づいて以下の式（３）のよ
うな演算を行うことにより、出力画像信号ｙを生成す
る。
【００６１】 ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋・・・＋ｗn×ｘn （３） ここで、ｘ1 ，・・・，ｘn が各予測タップの画素値で
あり、ｗ1 ，・・・，ｗn が各予測係数である。
【００６２】また、予測係数セットを決定するための処
理について図７を参照して説明する。出力画像信号と同
一の画像信号形式を有するＨＤ(High Definition) 画像
信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供
給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を
行うことにより、ＨＤ画像信号を入力画像信号と同等の
解像度（画素数）の画像信号（以下、ＳＤ(Standard De
finition) 画像信号という）に変換する。このＳＤ画像
信号が領域切り出し部２０２、２０３に供給される。領
域切り出し部２０２は、上記領域切り出し部１０１と同
様に、ＳＤ画像信号からクラスタップを切り出し、クラ
スタップの画像信号をＡＤＲＣ処理部２０４に供給す
る。
【００６３】ＡＤＲＣ処理部２０４は、図６中のＡＤＲ
Ｃ処理部１０３と同様なＡＤＲＣ処理を行い、供給され
る信号に基づく再量子化コードを生成する。再量子化コ
ードは、クラスコード生成部２０５に供給される。クラ
スコード生成部２０５は、供給される再量子化コードに
対応するクラスを示すクラスコードを生成し、クラスコ
ードを正規方程式加算部２０６に供給する。一方、領域
切り出し部２０３は、図６中の領域切り出し部１０２と
同様に、供給されるＳＤ画像信号から予測タップを切り
出し、切り出した予測タップの画像信号を正規方程式加
算部２０６に供給する。
【００６４】正規方程式加算部２０６は、領域切り出し
部２０３から供給される画像信号と画素抽出部２０８か
ら供給される画像信号について、クラスコード生成部２
０５から供給されるクラスコード毎に加算し、加算した
各クラス毎の信号を予測係数決定部２０７に供給する。
予測係数決定部２０７は、供給される各クラス毎の信号
に基づいて各クラス毎に予測係数セットを決定する。
【００６５】さらに、予測係数セットを決定するための
演算について説明する。予測係数ｗi は、図７に示した
ような構成に対し、ＨＤ画像信号として複数種類の画像
信号を供給することにより、次のよう演算される。これ
らの画像信号の種類数をｍと表記する場合、式（３）か
ら、以下の式（４）が設定される。
【００６６】 ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・＋ｗn ×ｘkn （４） （ｋ＝１，２，・・・，ｍ） ｍ＞ｎの場合には、ｗ1 ，・・・，ｗn は一意に決まら
ないので、誤差ベクトルｅの要素ｅｋを以下の式（５）
で定義して、式（６）によつて定義される誤差ベクトル
ｅの２乗を最小とするように予測係数セットを定めるよ
うにする。すなわち、いわゆる最小２乗法によつて予測
係数セットを一意に定める。
【００６７】 ｅk ＝ｙk−｛w1 ×ｘk1＋ｗ2 ×ｋ2 ＋・・・＋ｗn ×ｋn ｝ (５） （ｋ＝１，２，・・・ｍ）
【００６８】
【数２】
【００６９】式（６）のｅ2 を最小とする予測係数セッ
トを求めるための実際的な計算方法としては、ｅ2 を予
測係数ｗi （ｉ＝１，２，・・・）で偏微分し（式
（７））、ｉの各値について偏微分値が０となるように
各予測係数ｗi を決定すればよい。
【００７０】
【数３】
【００７１】式（７）から各予測係数ｗi を決定する具
体的な手順について説明する。式（８），（９）のよう
にＸji，Ｙi を定義すると、式（７）は、式（１０）の
行列式の形に書くことができる。
【００７２】
【数４】
【００７３】
【数５】
【００７４】
【数６】
【００７５】式（１０）が一般に正規方程式と呼ばれる
ものである。正規方程式加算部２０５は、供給される信
号に基づいて式（８），（９）に示すような演算を行う
ことにより、Ｘji，Ｙi （ｉ＝１，２，・・・，ｎ）を
それぞれ計算する。予測係数決定部２０７は、掃き出し
法等の一般的な行列解法に従って正規方程式（１０）を
解くことにより、予測係数ｗi （ｉ＝１，２，・・・）
を算出する。
【００７６】ここでは、注目画素の特徴情報に対応した
予測係数セットと予測タップを用いて、上述の式（３）
における線形１次結合モデルの演算を行うことにより、
適応処理を行う。なお、適応処理に用いる注目画素の特
徴情報に対応した予測係数セットは、学習により得る
が、クラス対応の画素値を用いたり、非線形モデルの演
算により適応処理を行うこともできる。
【００７７】上述したようなクラス分類適応処理によ
り、入力画像信号から、例えばノイズが除去された画像
信号、走査線構造が変換されてなる画像信号等を出力画
像信号として生成する種々の画像信号変換処理が実現さ
れる。
【００７８】このデジタルスチルカメラ１では、例え
ば、単板式カメラのＣＣＤイメージセンサによって生成
される画素位置毎に複数のうちの何れか一つを表す色成
分を持つ入力画像信号から、入力画像信号の注目画素毎
に、複数の色のうちのいずれか１つを表す色成分を画素
位置毎に持つ所定数のサンプル値によって、１枚の画像
が構成される入力画像信号の注目画素毎に、上記注目画
素近傍の複数の画素を抽出し、抽出された複数の画素に
基づいてクラスを決定し、決定されたクラスに基づい
て、上記所定数のサンプル値より多いサンプル値を上記
複数の色それぞれに関して有する出力画像信号を生成す
るクラス分類適応処理を上記予測処理部２５で行うこと
より、高精細度の画像信号を得ることができる。このよ
うに、本発明を適用したデジタルスチルカメラ１におい
ては、クラス分類適応処理を用いて、単板カメラのＣＣ
Ｄ出力を４倍密度の画像信号の各色信号Ｒ，Ｇ，Ｂを得
ることができるので、エッジ部分や細部の鮮鋭度が増
し、Ｓ／Ｎ比の評価値も向上する。
【００７９】図８乃至図１１は、クラスタップの例を表
している。この例においては、ＣＣＤイメージセンサ５
の色フィルタアレイがベイヤー配列のものである場合の
例を示している。図８は、１個のＲ画素の周囲に４倍の
密度のＲＧＢ全ての画素を生成する場合のクラスタップ
の例を表している。図中、生成する画素は×印で表され
ており、クラスタップは太い枠で示されている。
【００８０】図９と図１０は、１個のＧの画素の周囲に
４倍密度のＲＧＢ全ての画素を生成する場合のクラスタ
ップを表しており、図７は、Ｒ画素が存在する行のＧ画
素の周囲に画素を生成する場合のクラスタップの例を表
し、図８は、Ｂ画素が存在する行のＧ画素の周囲に４倍
密度のＲＧＢ全ての画素を生成する場合のクラスタップ
の例を表している。
【００８１】図１１は、１個のＢ画素の周囲に４倍密度
のＲＧＢ全ての画素を生成する場合のクラスタップの例
を表している。
【００８２】ＡＤＲＣ処理部２９は、例えば、Ｒ画素の
周囲の４画素のＲ，Ｇ，Ｂの各色成分の画像信号を生成
する場合、図８の太枠で示す２６個の画素のうちの対応
する色の画素をクラスタップとして抽出し、それぞれの
Ｒ，Ｇ，Ｂの成分の信号値をＡＤＲＣ処理する。
【００８３】クラス分類部３０は、ステップＳ１７にお
いて、ＡＤＲＣ処理部３１より入力された信号から、ク
ラス分類処理を行う。すなわち、例えば図６に示すよう
な２６個の画素のうち抽出された色の画素をＡＤＲＣ処
理して得られた信号値に対応するクラスを決定し、その
クラス番号を適応処理部３１に供給する。適応処理部３
１は、ステップＳ１８において、クラス分類部３０より
供給されたクラス番号に対応する予測係数セットを係数
メモリ３２から読み出し、その予測係数セットを対応す
る予測タップに乗算し、その和を求めることで、４倍密
度の画素の画像信号を生成する。
【００８４】図１２乃至図１５は、予測タップの例を表
している。図１２は、１個のＲ画素の周囲に４倍密度の
４個の画素を生成する場合の予測タップの例を表してい
る。図１３と図１４は、１個のＧ画素の周囲に４倍密度
の４個の画素を生成する場合の予測タップの例を表し、
図１３は、Ｒ画素が存在する行のＧ画素の周囲に４倍密
度の画素を生成する場合の予測タップを表しており、図
１４は、Ｂ画素が存在する行のＧ画素の周囲に４倍密度
の画素を生成する場合の予測タップの例を表している。
【００８５】図１５は、１個のＢ画素の周囲に４倍密度
の４個の画素を生成する場合の予測タップの例を表して
いる。
【００８６】図１２乃至図１５を参照して明らかなよう
に、この例では、４倍密度の４個のＲＧＢ全ての画素に
対応する注目画素の周囲の５×５個の画素が予測タップ
とされる。
【００８７】適応処理部３１は、例えば図１２に示す１
個のＲの画素の左上の４倍密度の画素を予測する場合、
クラス分類部３０より供給されたクラス番号の係数セッ
トのうち、左上の画素を予測する場合の予測係数セット
を対応する予測タップに乗算し、その和を求める。同様
の処理が、右上、左下、右下の各予測画素を生成する場
合にも行われる。
【００８８】このようなクラス分類適応処理により、図
１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画
素で構成されるＣＣＤイメージセンサの出力画像信号
（各画素は１つの色の信号のみを有している）から、図
１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２
ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画
素の画像信号を、それぞれ直接生成することによって、
一旦、ｎ×ｍ個のＲの画像信号、ｎ×ｍ個のＧ画素の画
像信号及びｎ×ｍ個のＢ画素の画像信号を生成してか
ら、４倍密度の画像信号を生成する場合に較べて、より
高精細度の画像を得ることが可能となる。
【００８９】上記クラス分類適応処理に用いられる予測
係数セットは、予め学習により得られるもので、上記係
数メモリ３２に記憶されている。
【００９０】ここで、この学習について説明する。図１
６は、予測係数セットを学習により得る学習装置４０の
構成を示すブロック図である。
【００９１】この学習装置４０では、クラス分類適応処
理の結果として生成されるべき出力画像信号、すなわち
３板式カメラのＣＣＤ出力相当の画像信号と同一の信号
形式を有する画像信号が教師画像信号として間引き部４
１及び教師画像ブロック化部４５に供給される。間引き
部４１は、教師画像信号から、色フィルタアレイの各色
の配置に従つて画素を間引く。間引き処理は、ＣＣＤイ
メージセンサ５に対して着される光学ローパスフィルタ
を想定したフィルタをかけることによって行う。すなわ
ち、実際の光学系を想定した間引き処理を行う。間引き
部４１の出力が生徒画像信号として生徒画像ブロック化
部４２に供給される。
【００９２】生徒画像ブロック化部４２は、間引き部４
１により生成された生徒信号から、ブロック毎に教師画
像信号の予測画素との対応を取りながら、注目画素に基
づくクラスタップ及び予測タップを抽出することによ
り、生徒画像信号をブロック化してＡＤＲＣ処理部４３
と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒
画像ブロック化部４２から供給された生徒画像信号にＡ
ＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４
に供給する。クラス分類部４４は、入力された特徴情報
からクラスコードを発生し、演算部４６に出力する。
【００９３】ここでは、教師画像信号は、３板式カメラ
のＣＣＤ出力相当の解像度をもつ画像信号であり、生徒
画像信号は、単板式カメラのＣＣＤ出力相当の解像度を
もつ画像信号、換言すれば、３板式カメラより解像度の
低い画像信号である。さらに換言するに、教師画像信号
は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色
成分をもつ画像信号であり、生徒画像信号は、１画素が
Ｒ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみを
もつ画像信号である。
【００９４】一方、教師画像ブロック化部４５は、生徒
画像信号におけるクラスタップとの対応を取りながら、
教師画像信号から予測画素の画像信号を切り出し、切り
出した予測画像信号を演算部４６に供給する。演算部４
６は、生徒画像ブロック化部４２から供給される予測タ
ップの画像信号と、教師画像ブロック化部４５より供給
される予測画画像信号との対応を取りながら、クラス分
類部４４より供給されるクラス番号に従って、予測係数
セットを解とする方程式である正規方程式のデータを生
成する演算を行う。上記演算部４６によつて生成される
正規方程式のデータが学習データメモリ４７に逐次読み
込まれ、記憶される。
【００９５】演算部４８は、学習データメモリ４７に蓄
積された正規方程式のデータを用いて正規方程式を解く
処理を実行する。これにより、クラス毎の予測係数セッ
トが算出される。算出された予測係数セットは、クラス
に対応させて係数メモリ４９に記憶される。係数メモリ
４９の記憶内容は、上述の係数メモリ３２にロードさ
れ、クラス分類適応処理を行う際に使用される。
【００９６】次に、図１７のフローチャートを参照し
て、学習装置４０の動作について説明する。
【００９７】この学習装置４０に入力されるデジタル画
像信号は、３板式カメラで撮像された画像に相当する画
質が得られる画像信号である。なお、３板式カメラで得
られる画像信号（教師画像信号）は、１画素の画像信号
としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、
単板式カメラで得られる画像信号（生徒画像信号）は、
１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の
１つの色信号のみを含んでいる。例えば図１８の（Ａ）
に示すように３板式カメラで撮像されたＨＤ画像信号を
フィルタリングして図１８の（Ｂ）に示すように１／４
サイズのＳＤ画像信号に変換した教師画像信号が、この
学習装置４０に入力される。
【００９８】ステップＳ３１では、教師画像ブロック化
部４５において、入力された教師画像信号をブロック化
し、入力された教師画像信号から生徒画像ブロック化部
４２が注目画素として設定する画素に対応する位置に位
置する予測画素の画素値を抽出して、演算部４６に出力
する。
【００９９】また、ステップＳ３２では、３板式カメラ
で撮像された画像に相当する画質が得られる教師画像信
号に対して間引き部４１により単板カメラのＣＣＤイメ
ージセンサ５に用いられる色コーディングフィルタ４に
相当するフィルタをかける間引き処理を実行すること
で、図１８の（Ｃ）に示すように単板式カメラのＣＣＤ
イメージセンサ５が出力する画像信号に対応する生徒画
像信号を教師画像信号から生成し、生成した生徒画像信
号を生徒画像ブロック化部４２に出力する。
【０１００】ステップＳ３３では、生徒画像ブロック化
部４２において、入力された生徒画像信号のブロック化
を行い、各ブロック毎に、注目画素に基づいて、クラス
タップと予測タップを生成する。
【０１０１】ステップＳ３４では、ＡＤＲＣ処理部４３
において、生徒画像信号から切り出されたクラスタップ
の信号を各色信号毎にＡＤＲＣ処理する。
【０１０２】ステップＳ３５では、クラス分類部４４に
おいて、ステップＳ３３におけるＡＤＲＣ処理の結果に
基づいてクラス分類し、分類されるクラスに対応するク
ラス番号を示す信号を出力する。
【０１０３】ステップＳ３６では、演算部４６におい
て、クラス分類部４４より供給されたクラス毎に、生徒
画像ブロック化部４２より供給された予測タップと、教
師画像ブロック化部４５より供給される予測画像に基づ
いて、上述の式（１０）の正規方程式を生成する処理を
実行する。正規方程式は、学習データメモリ４７に記憶
される。
【０１０４】ステップＳ３７では、演算部４６によりす
べてのブロックについての処理が終了したか否かを判定
する。まだ処理していないブロックが存在する場合に
は、ステップＳ３６に戻り、それ以降の処理を繰り返し
実行する。そして、ステップＳ３７において、すべての
ブロックについての処理が終了したと判定された場合、
ステップＳ３８に進む。
【０１０５】ステップＳ３８では、演算部４８におい
て、学習データメモリ４７に記憶された正規方程式を例
えば掃き出し法(Gauss-Jordan の消去法) やコレスキー
分解法を用いて解く処理を実行することにより、予測係
数セットを算出する。このようにして算出された予測係
数セットはクラス分類部４４により出力されたクラスコ
ードと関連付けられ、係数メモリ４９に記憶される。
【０１０６】ステップＳ３９において、演算部４８にお
いてすべてのクラスについての正規方程式を解く処理を
実行したか否かを判定し、まだ実行していないクラスが
残っている場合には、ステップＳ３８に戻り、それ以降
の処理を繰り返し実行する。
【０１０７】ステップＳ３９において、すべてのクラス
についての正規方程式を解く処理が完了したと判定され
た場合、処理は終了される。
【０１０８】このようにしてクラスコードと関連付けら
れて係数メモリ４９に記憶された予測係数セットは、図
４に示した画像信号処理部８の係数メモリ３２に記憶さ
れることになる。そして、画像信号処理部８の適応処理
部３１は、上述したように、係数メモリ３２に記憶され
ている予測係数セットを用いて、式（３）に示した線形
１次結合モデルにより、注目画素に対して適応処理を行
う。
【０１０９】上述した説明では、色コーディングフィル
タ４として、ベイヤー配列のものを用いた場合を説明し
たが、他の色コーディングフィルタを用いた場合におい
ても、本発明を適応することができる。
【０１１０】ここで、このデジタルスチルカメラ１のＣ
ＣＤイメージセンサ５に用いることのできる色コーディ
ングフィルタ４を構成する色フィルタアレイの構成例を
図１９に示す。
【０１１１】図１９の（Ａ）〜（Ｇ）は、原色（Ｒ，
Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成さ
れた色コーディングフィルタ４における緑（Ｇ）・赤
（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１１２】図１９の（Ａ）はベイヤー配列を示し、図
１９の（Ｂ）はインタライン配列を示し、図１９の
（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の
（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９
の（Ｅ）はストライプ配列を示し、図１９の（Ｆ）は斜
めストライプ配列を示し、図１９の（Ｇ）は原色色差配
列を示す。
【０１１３】また、図１９の（Ｈ）〜（Ｎ）は、補色
（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタ
アレイで構成された色コーディングフィルタ４における
マゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の
色配列を示す。図１９の（Ｈ）はフィールド色差順次配
列を示し、図１９の（Ｉ）がフレーム色差順次配列を示
し、図１９の（Ｊ）はＭＯＳ型配列を示し、図１９の
（Ｋ）は改良ＭＯＳ型配列を示し、図１９の（Ｌ）はフ
レームインターリーブ配列を示し、図１９の（Ｍ）はフ
ィールドインターリーブ配列を示し、図１９の（Ｎ）は
ストライプ配列を示す。
【０１１４】なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分
は、 Ｙ＝Ｇ＋Ｒ Ｍ＝Ｒ＋Ｂ Ｃ＝Ｇ＋Ｂ Ｗ＝Ｒ＋Ｇ＋Ｂ にて与えられる。また、図１９の（Ｉ）に示すフレーム
色差順対応の色コーディングフィルタ４を通過する各色
（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、 ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ， ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ， ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ にて与えられる。
【０１１５】以上の実施の形態の効果を評価するため、
色フィルタアレイとしてベイヤー配列のものを用いた場
合を想定し、ＩＴＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅ
ｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のハイビジョ
ン標準画像９枚を使用し、予測係数セットの算出に関し
てもその９枚を用いてシミュレーションを行った。
【０１１６】３板式カメラのＣＣＤ出力相当の画像信号
から、クラス分類適応処理の倍率と画素の位置関係を考
慮した間引き操作により、単板式カメラのＣＣＤ出力相
当の画像信号を生成し、学習装置４０と同様の処理を行
うアルゴリズムで予測係数セットを生成した。そして、
単板式カメラのＣＣＤイメージセンサの出力を、縦と横
それぞれ２倍ずつの画素数を有する変換処理を、その予
測係数セットを用いて、クラス分類適応処理により予測
生成した。クラスタップ及び予測タップは、図８乃至図
１５に示すものを用いた。クラスタップについては、Ｒ
ＧＢそれぞれ独立に扱い、予測タップは、ＲＧＢを混合
して使用した。
【０１１７】シミュレーションの結果、単板式カメラの
ＣＣＤ出力から、３板式カメラのＣＣＤ出力相当の画像
信号を介して、４倍密度の画像信号を得る場合より、エ
ッジや細部の鮮鋭度が向上しており、より高い解像度の
画像が得られた。クラス分類適応処理に代えて、線形補
間処理についてもシミュレーションしてみたが、クラス
分類した方が、解像度も、Ｓ／Ｎ比も良好な結果が得ら
れた。
【０１１８】このように、本発明を適用したデジタルス
チルカメラ１においては、クラス分類適応処理を用い
て、単板カメラのＣＣＤ出力を４倍密度の画像信号の各
色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分
や細部の鮮鋭度が増し、ＳＮの評価値も向上する。
【０１１９】なお、以上においては、単板カメラのＣＣ
Ｄ出力を４倍密度の画像信号とするようにしたが、それ
以外の倍率の画像信号を生成する場合にも、本発明は適
用することが可能である。上述した説明においては、画
像信号処理部８が適応処理に用いる予測タップと、学習
装置５１が予測係数セットを算出する際に用いるクラス
タップは、異なる構造としたが、同一の構造としても良
い。また、予測タップとクラスタップは、上述した構造
に限定されるものではない。また、画像信号のクラス削
減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ
（Ｄｉｓｃｒｅｔｅ ＣｏｓｉｎｅＴｒａｎｓｆｏｒ
ｍ） 、ＶＱ（ベクトル量子化）、ＤＰＣＭ(Different
ial Pulse Code Modulation)、ＢＴＣ(Block Trancatio
n Coding) 、非線形量子化などを用いても良い。さら
に、この発明は、デジタルスチルカメラ以外に、例えば
カメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に
用いられる画像処理装置、さらには、例えばプリンタや
スキャナ等に対しても適用することができる。
【０１２０】さらに、上記予測処理部２５におけるクラ
ス分類適応処理や、上記学習装置４０において予測係数
セットを得るための学習処理は、例えば図２０に示すよ
うに、バス３１１に接続されたＣＰＵ(Central Process
ing Unit) ３１２、メモリ３１３、入力インターフェー
ス３１４、ユーザインターフェース３１５や出力インタ
ーフェース３１６などにより構成される一般的なコンピ
ュータシステム３１０により実行することができる。上
記処理を実行するコンピュータプログラムは、記録媒体
に記録されて、画素位置毎に複数のうちの何れか一つを
表す色成分を持つ入力画像信号を処理する画像信号処理
を行うコンピュータ制御可能なプログラムが記録された
記録媒体、又は、クラスに応じた予測係数セットを生成
するための学習処理を行うコンピュータ制御可能なプロ
グラムが記録された記録媒体として、ユーザに提供され
る。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭな
どの情報記録媒体の他、インターネット、デジタル衛星
などのネットワークによる伝送媒体も含まれる。
【０１２１】
【発明の効果】以上の如く、本発明では、複数の色のう
ちのいずれか１つを表す色成分を画素位置毎に持つ所定
数のサンプル値によって、１枚の画像が構成される入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を抽出し、抽出された複数の画素に基づいてクラスを
決定し、決定されたクラスに基づいて、上記入力画像信
号の各画素に処理を行うことによって、上記所定数のサ
ンプル値より多いサンプル値を上記複数の色それぞれに
関して有する出力画像信号を生成することより、高精細
度の画像信号を得ることができる。
【０１２２】また、本発明によれば、複数の色のうちの
いずれか１つを表す色成分を画素位置毎に持つ所定数の
サンプル値によって、１枚の画像が構成される生徒画像
信号から、上記所定数のサンプル値より多いサンプル値
を有する予測画像信号の注目画素の近傍の複数の画素を
抽出し、抽出された複数の画素に基づいてクラスを決定
し、上記予測画像信号と対応する画像信号であり、画素
位置毎に複数の色成分を持つ教師画像信号から、上記注
目画素の位置に相当する位置の近傍の複数の画素を抽出
し、抽出された複数の画素の画素値に基づいて、上記ク
ラス毎に、上記生徒画像信号に相当する画像信号から上
記教師画像信号に相当する画像信号を生成するための予
測演算に用いる予測係数セットを生成することにより、
より高精細度の良好な画像信号を得ることのできるクラ
ス適応処理に用いる係数セットを得ることができる。
【図面の簡単な説明】
【図１】本発明により４倍密度の画像を得る原理を説明
する図である。
【図２】本発明を適用したデジタルスチルカメラの構成
を示すブロック図である。
【図３】上記デジタルスチルカメラの動作を説明するた
めのフローチャートである。
【図４】上記デジタルスチルカメラにおける画像信号処
理部の構成を示すブロック図である。
【図５】上記画像信号処理部により行われる画像信号処
理を説明するためのフローチャートである。
【図６】クラス分類適応処理を用いた予測演算を行うた
めの構成例を示す示すブロック図である。
【図７】予測係数セットを決定するための構成例を示す
ブロック図である。
【図８】上記画像信号処理部のＡＤＲＣ処理部において
抽出されるクラスタップの例を示す図である。
【図９】上記ＡＤＲＣ処理部において抽出されるクラス
タップの例を示す図である。
【図１０】上記ＡＤＲＣ処理部において抽出されるクラ
スタップの例を示す図である
【図１１】上記ＡＤＲＣ処理部において抽出されるクラ
スタップの例を示す図である
【図１２】上記ＡＤＲＣ処理部において抽出される予測
タップの例を示す図である。
【図１３】上記ＡＤＲＣ処理部において抽出される予測
タップの例を示す図である。
【図１４】上記ＡＤＲＣ処理部において抽出される予測
タップの例を示す図である。
【図１５】上記ＡＤＲＣ処理部において抽出される予測
タップの例を示す図である。
【図１６】予測係数セットを学習により得る学習装置の
構成例を示すブロック図である。
【図１７】上記学習装置の動作を説明するためのフロー
チャートである。
【図１８】上記学習装置による学習処理の一例を模式的
に示す図である。
【図１９】上記デジタルスチルカメラのＣＣＤイメージ
センサに用いることのできる色コーディングフィルタの
色フィルタアレイの構成例を模式的に示す図である。
【図２０】上記クラス分類適応処理や予測係数セットを
得るための学習処理を行うコンピュータシステムの一般
的な構成を示すブロック図である。
【図２１】従来の線形補間による画像信号処理を模式的
に示す図である。
【符号の説明】
１ デジタルスチルカメラ、５ ＣＣＤイメージセン
サ、８ 画像信号処理部、２５ 予測処理部、２８ ブ
ロック化部、２９ ＡＤＲＣ処理部、３０ クラス分類
部、３１ 適応処理部、３２ 係数セットメモリ、４０
学習装置、４１間引き部、４２ 生徒画像ブロック化
部、４３ ＡＤＲＣ処理部、４４ クラス分類部、４５
教師画像ブロック化部、４６ 演算部、４７ 学習デ
ータメモリ、４８ 演算部、４９ 係数メモリ

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 複数の色のうちのいずれか１つを表す色
    成分を画素位置毎に持つ所定数のサンプル値によって、
    １枚の画像が構成される入力画像信号を処理する画像信
    号処理装置において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出手段と、 上記抽出手段で抽出された複数の画素に基づいて、クラ
    スを決定するクラス決定手段と、 上記クラス決定手段で決定されたクラスに基づいて、上
    記入力画像信号の各画素に処理を行うことによって、上
    記所定数のサンプル値より多いサンプル値を上記複数の
    色それぞれに関して有する出力画像信号を生成する出力
    画像生成手段とを備えることを特徴とする画像信号処理
    装置。
  2. 【請求項２】 上記出力画像生成手段は、各クラス毎の
    予測係数セットを記憶する記憶手段と、上記クラス決定
    手段で決定されたクラスに応じた予測係数セットと上記
    抽出手段によって抽出された上記注目画素近傍の複数の
    画素に基づく演算を行うことにより、上記出力画像信号
    を生成する演算手段とを備えることを特徴とする請求項
    １記載の画像信号処理装置。
  3. 【請求項３】 複数の色のうちのいずれか１つを表す色
    成分を画素位置毎に持つ所定数のサンプル値によって、
    １枚の画像が構成される入力画像信号を処理する画像信
    号処理方法において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記抽出ステップで抽出された複数の画素に基づいて、
    クラスを決定するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、上記入力画像信号の各画素に処理を行うことによっ
    て、上記所定数のサンプル値より多いサンプル値を上記
    複数の色それぞれに関して有する出力画像信号を生成す
    る出力画像生成ステップとを有することを特徴とする画
    像信号処理方法。
  4. 【請求項４】 上記出力画像生成ステップでは、上記ク
    ラス決定ステップで決定されたクラスに応じた予測係数
    セットと上記抽出ステップで抽出された上記注目画素近
    傍の複数の画素に基づく演算を行うことにより、上記出
    力画像信号を生成することを特徴とする請求項３記載の
    画像信号処理方法。
  5. 【請求項５】 複数の色のうちのいずれか１つを表す色
    成分を画素位置毎に持つ所定数のサンプル値によって、
    １枚の画像が構成される入力画像信号を処理する画像信
    号処理を行うコンピュータ制御可能なプログラムが記録
    された記録媒体において、 上記プログラムは、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
    複数の画素を抽出する抽出ステップと、 上記抽出ステップで抽出された複数の画素に基づいて、
    クラスを決定するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
    て、上記入力画像信号の各画素に処理を行うことによっ
    て、上記所定数のサンプル値より多いサンプル値を上記
    複数の色それぞれに関して有する出力画像信号を生成す
    る出力画像生成ステップとを有することを特徴とする記
    録媒体。
  6. 【請求項６】 上記出力画像生成ステップでは、上記ク
    ラス決定ステップで決定されたクラスに応じた予測係数
    セットと上記抽出ステップで抽出された上記注目画素近
    傍の複数の画素に基づく演算を行うことにより、上記出
    力画像信号を生成することを特徴とする請求項５記載の
    記録媒体。
  7. 【請求項７】 複数の色のうちのいずれか１つを表す色
    成分を画素位置毎に持つ所定数のサンプル値によって、
    １枚の画像が構成される生徒画像信号から、上記所定数
    のサンプル値より多いサンプル値を有する予測画像信号
    の注目画素の近傍の複数の画素を抽出する第１の画素抽
    出手段と、 上記第１の画素抽出手段で抽出された複数の画素に基づ
    いて、クラスを決定するクラス決定手段と、 上記予測画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記注目画
    素の位置に相当する位置の近傍の複数の画素を抽出する
    第２の画素抽出手段と、 上記第１及び第２の画素抽出手段で抽出された複数の画
    素の画素値に基づいて、上記クラス毎に、上記生徒画像
    信号に相当する画像信号から上記教師画像信号に相当す
    る画像信号を生成するための予測演算に用いる予測係数
    セットを生成する予測係数生成手段とを備えることを特
    徴とする学習装置。
  8. 【請求項８】 上記クラス決定手段は、上記第１の画素
    抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(A
    daptive Dynamic Range Coding) 処理により特徴情報を
    生成し、特徴情報に基づいてクラスを決定することを特
    徴とする請求項７記載の学習装置。
  9. 【請求項９】 複数の色のうちのいずれか１つを表す色
    成分を画素位置毎に持つ所定数のサンプル値によって、
    １枚の画像が構成される生徒画像信号から、上記所定数
    のサンプル値より多いサンプル値を有する予測画像信号
    の注目画素の近傍の複数の画素を抽出する第１の画素抽
    出ステップと、 上記第１の画素抽出ステップで抽出された複数の画素に
    基づいて、クラスを決定するクラス決定ステップと、 上記予測画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記注目画
    素の位置に相当する位置の近傍の複数の画素を抽出する
    第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを備える
    ことを特徴とする学習方法。
  10. 【請求項１０】 上記クラス決定手段は、上記第１の画
    素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ
    (Adaptive Dynamic Range Coding) 処理により特徴情報
    を生成し、特徴情報に基づいてクラスを決定することを
    特徴とする請求項９記載の学習方法。
  11. 【請求項１１】 クラスに応じた予測係数セットを生成
    するための学習処理を行うコンピュータ制御可能なプロ
    グラムが記録された記録媒体において、 上記プログラムは、 複数の色のうちのいずれか１つを表す色成分を画素位置
    毎に持つ所定数のサンプル値によって、１枚の画像が構
    成される生徒画像信号から、上記所定数のサンプル値よ
    り多いサンプル値を有する予測画像信号の注目画素の近
    傍の複数の画素を抽出する第１の画素抽出ステップと、 上記第１の画素抽出ステップで抽出された複数の画素に
    基づいて、クラスを決定するクラス決定ステップと、 上記予測画像信号と対応する画像信号であり、画素位置
    毎に複数の色成分を持つ教師画像信号から、上記注目画
    素の位置に相当する位置の近傍の複数の画素を抽出する
    第２の画素抽出ステップと、 上記第１及び第２の画素抽出ステップで抽出された複数
    の画素の画素値に基づいて、上記クラス毎に、上記生徒
    画像信号に相当する画像信号から上記教師画像信号に相
    当する画像信号を生成するための予測演算に用いる予測
    係数セットを生成する予測係数生成ステップとを備える
    ことを特徴とする記録媒体。
  12. 【請求項１２】 上記クラス決定手段は、上記第１の画
    素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ
    (Adaptive Dynamic Range Coding) 処理により特徴情報
    を生成し、特徴情報に基づいてクラスを決定することを
    特徴とする請求項１１記載の記録媒体。
JP2000048984A 1999-03-25 2000-02-21 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 Expired - Fee Related JP4547757B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000048984A JP4547757B2 (ja) 1999-03-25 2000-02-21 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8222799 1999-03-25
JP11-82227 1999-03-25
JP2000048984A JP4547757B2 (ja) 1999-03-25 2000-02-21 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2000341705A true JP2000341705A (ja) 2000-12-08
JP4547757B2 JP4547757B2 (ja) 2010-09-22

Family

ID=26423239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000048984A Expired - Fee Related JP4547757B2 (ja) 1999-03-25 2000-02-21 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体

Country Status (1)

Country Link
JP (1) JP4547757B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1324607A3 (en) * 2001-12-28 2006-11-02 Sony Corporation Data processing
US9256923B2 (en) 2013-03-29 2016-02-09 Sony Corporation Image processing apparatus, image processing method, and program
US9275444B2 (en) 2013-03-29 2016-03-01 Sony Corporation Image processing apparatus, image processing method, and program to prevent degradation of image quality
US9519953B2 (en) 2013-03-29 2016-12-13 Sony Corporation Image processing of a color image produced by a one-chip pixel unit using interpolation of color components produced by the one-chip pixel unit
JPWO2021019865A1 (ja) * 2019-07-28 2021-02-04

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1098695A (ja) * 1996-09-21 1998-04-14 Sony Corp 画像情報変換装置および方法並びに積和演算装置
JPH10164602A (ja) * 1996-11-26 1998-06-19 Minolta Co Ltd 画素補間装置及びその画素補間方法
JP2000032402A (ja) * 1998-07-10 2000-01-28 Sony Corp 画像変換装置および方法、並びに提供媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1098695A (ja) * 1996-09-21 1998-04-14 Sony Corp 画像情報変換装置および方法並びに積和演算装置
JPH10164602A (ja) * 1996-11-26 1998-06-19 Minolta Co Ltd 画素補間装置及びその画素補間方法
JP2000032402A (ja) * 1998-07-10 2000-01-28 Sony Corp 画像変換装置および方法、並びに提供媒体

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1324607A3 (en) * 2001-12-28 2006-11-02 Sony Corporation Data processing
EP1921849A2 (en) 2001-12-28 2008-05-14 Sony Corporation Data processing
EP1921850A3 (en) * 2001-12-28 2008-11-19 Sony Corporation Data processing
EP1921849A3 (en) * 2001-12-28 2008-11-19 Sony Corporation Data processing
EP1921851A3 (en) * 2001-12-28 2008-11-19 Sony Corporation Data processing
US7760270B2 (en) 2001-12-28 2010-07-20 Sony Corporation Storage device, data processing apparatus, data processing method, program, storage medium, and data processing system
US8023045B2 (en) 2001-12-28 2011-09-20 Sony Corporation Storage device, data processing apparatus, data processing method, program, storage medium and data processing system
US9256923B2 (en) 2013-03-29 2016-02-09 Sony Corporation Image processing apparatus, image processing method, and program
US9275444B2 (en) 2013-03-29 2016-03-01 Sony Corporation Image processing apparatus, image processing method, and program to prevent degradation of image quality
US9519953B2 (en) 2013-03-29 2016-12-13 Sony Corporation Image processing of a color image produced by a one-chip pixel unit using interpolation of color components produced by the one-chip pixel unit
JPWO2021019865A1 (ja) * 2019-07-28 2021-02-04
WO2021019865A1 (ja) * 2019-07-28 2021-02-04 株式会社アドバンテスト 検査装置、検査方法、および、検査プログラム、ならびに、学習装置、学習方法、および、学習プログラム
US11244443B2 (en) 2019-07-28 2022-02-08 Advantest Corporation Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
JP7190047B2 (ja) 2019-07-28 2022-12-14 株式会社アドバンテスト 検査装置、検査方法、および、検査プログラム、ならびに、学習装置、学習方法、および、学習プログラム

Also Published As

Publication number Publication date
JP4547757B2 (ja) 2010-09-22

Similar Documents

Publication Publication Date Title
KR100745386B1 (ko) 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체
US7652701B2 (en) Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor
US7253836B1 (en) Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP4677753B2 (ja) 動画像処理装置及び方法
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
JP2002084547A (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP2921973B2 (ja) 特定物体の画像抽出方法及び画像抽出装置
JP4433545B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4547757B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4730106B2 (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4581199B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4839543B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体
US7551204B2 (en) Imaging apparatus having a color image data measuring function
JP4547758B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4433546B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4529253B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP4483048B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2006279389A (ja) 固体撮像装置およびその信号処理方法
JP2000232618A (ja) フォトフィニッシング方法およびシステム並びに記録媒体
JP4730105B2 (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4691762B2 (ja) 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JPH0775006A (ja) ディジタルスチルビデオカメラ
JPH08294132A (ja) デジタル電子スチルカメラ装置
JP2003179804A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100304

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100628

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees