JP2002064835A - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents
画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体Info
- Publication number
- JP2002064835A JP2002064835A JP2000251497A JP2000251497A JP2002064835A JP 2002064835 A JP2002064835 A JP 2002064835A JP 2000251497 A JP2000251497 A JP 2000251497A JP 2000251497 A JP2000251497 A JP 2000251497A JP 2002064835 A JP2002064835 A JP 2002064835A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- class
- feature information
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000000605 extraction Methods 0.000 claims abstract description 71
- 230000003044 adaptive effect Effects 0.000 claims abstract description 58
- 239000000284 extract Substances 0.000 claims abstract description 11
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 claims abstract 2
- 239000003086 colorant Substances 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 18
- 230000006978 adaptation Effects 0.000 description 9
- 230000007547 defect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- JMANVNJQNLATNU-UHFFFAOYSA-N oxalonitrile Chemical compound N#CC#N JMANVNJQNLATNU-UHFFFAOYSA-N 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
(57)【要約】
【課題】 画像の斜め線や細線の部分に対応したクラス
分類適応処理により、解像度が高く、細部まで鮮明な画
像を再現できる画像信号を単板式カメラのＣＣＤ出力か
ら得られるようにする。 【解決手段】 クラスタップ抽出回路３２により、入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を抽出し、上記注目画素近傍に位置する複数の画素の
信号値についてＡＤＲＣ処理を行うことにより第１の特
徴情報を生成するとともに、斜め線・細線抽出回路３１
により、上記入力画像信号の急峻なエッジ部分の画素の
信号値を第２の特徴情報として抽出し、上記第１の特徴
情報及び第２の特徴情報に基づいて１つのクラスをクラ
ス分類回路３４により決定し、そのクラスに基づいて、
少なくとも上記注目画素が持つ色成分と異なる色成分を
持つ画素を適応処理回路３７により生成する。
分類適応処理により、解像度が高く、細部まで鮮明な画
像を再現できる画像信号を単板式カメラのＣＣＤ出力か
ら得られるようにする。 【解決手段】 クラスタップ抽出回路３２により、入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を抽出し、上記注目画素近傍に位置する複数の画素の
信号値についてＡＤＲＣ処理を行うことにより第１の特
徴情報を生成するとともに、斜め線・細線抽出回路３１
により、上記入力画像信号の急峻なエッジ部分の画素の
信号値を第２の特徴情報として抽出し、上記第１の特徴
情報及び第２の特徴情報に基づいて１つのクラスをクラ
ス分類回路３４により決定し、そのクラスに基づいて、
少なくとも上記注目画素が持つ色成分と異なる色成分を
持つ画素を適応処理回路３７により生成する。
Description
【０００１】
【発明の属する技術分野】本発明は画像信号処理装置、
画像信号処理方法、学習装置、学習方法及び記録媒体に
関し、特に、１つの固体イメージセンサにより得られる
画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成
分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつよ
うに、クラス分類適応処理を用いて色成分を補間する画
像信号処理装置、画像信号処理方法、学習装置、学習方
法及び記録媒体に関する。
画像信号処理方法、学習装置、学習方法及び記録媒体に
関し、特に、１つの固体イメージセンサにより得られる
画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成
分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつよ
うに、クラス分類適応処理を用いて色成分を補間する画
像信号処理装置、画像信号処理方法、学習装置、学習方
法及び記録媒体に関する。
【０００２】
【従来の技術】ＣＣＤ(Charge Coupled Device) イメー
ジセンサなどの固体イメージセンサを用いた撮像装置に
は、主に、１つのＣＣＤイメージセンサを用いた単板方
式のもの（以後、単板式カメラという）と、３つのＣＣ
Ｄイメージセンサを用いた３板方式のもの（以後、３板
式カメラという）とがある。
ジセンサなどの固体イメージセンサを用いた撮像装置に
は、主に、１つのＣＣＤイメージセンサを用いた単板方
式のもの（以後、単板式カメラという）と、３つのＣＣ
Ｄイメージセンサを用いた３板方式のもの（以後、３板
式カメラという）とがある。
【０００３】３板式カメラでは、例えばＲ信号用、Ｇ信
号用及びＢ信号用の３つのＣＣＤイメージセンサを用い
て、その３つのＣＣＤイメージセンサにより３原色信号
を得る。そして、この３原色信号から生成されるカラー
画像信号が記録媒体に記録される。
号用及びＢ信号用の３つのＣＣＤイメージセンサを用い
て、その３つのＣＣＤイメージセンサにより３原色信号
を得る。そして、この３原色信号から生成されるカラー
画像信号が記録媒体に記録される。
【０００４】単板式カメラでは、１画素毎に割り当てら
れた色フィルタアレイからなる色コーディングフィルタ
が前面に設置された１つのＣＣＤイメージセンサを用い
て、上記色コーディングフィルタにより色コーディング
された色成分の信号を１画素毎に得る。上記色コーディ
ングフィルタを構成する色フィルタアレイとしては、例
えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィル
タアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Ma
genta) の補色フィルタアレイが用いられている。そし
て、単板式カメラにおいては、ＣＣＤイメージセンサに
より１画素毎に１つの色成分の信号を得て、各画素が持
っている色成分の信号以外の色信号を線形補間処理によ
り生成して、３板式カメラにより得られる画像に近い画
像を得るようにしていた。ビデオカメラなどにおいて、
小型化、軽量化を図る場合に、単板式が採用されてい
る。
れた色フィルタアレイからなる色コーディングフィルタ
が前面に設置された１つのＣＣＤイメージセンサを用い
て、上記色コーディングフィルタにより色コーディング
された色成分の信号を１画素毎に得る。上記色コーディ
ングフィルタを構成する色フィルタアレイとしては、例
えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィル
タアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Ma
genta) の補色フィルタアレイが用いられている。そし
て、単板式カメラにおいては、ＣＣＤイメージセンサに
より１画素毎に１つの色成分の信号を得て、各画素が持
っている色成分の信号以外の色信号を線形補間処理によ
り生成して、３板式カメラにより得られる画像に近い画
像を得るようにしていた。ビデオカメラなどにおいて、
小型化、軽量化を図る場合に、単板式が採用されてい
る。
【０００５】単板式カメラにおいて、例えば図２２の
（Ａ）に示すような色配列の色フィルタアレイにより構
成された色コーディングフィルタが設けられたＣＣＤイ
メージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色
のフィルタが配置された各画素から、そのフィルタの色
に対応する画像信号のみが出力される。すなわち、Ｒの
色フィルタが配置された画素からは、Ｒ成分の画像信号
は出力されるが、Ｇ成分及びＢ成分の画像信号は出力さ
れない。同様に、Ｇの画素からは、Ｇ成分の画像信号の
みが出力され、Ｒ成分及びＢ成分の画像信号は出力され
ず、Ｂの画素からは、Ｂ成分の画像信号のみが出力さ
れ、Ｒ成分及びＧ成分の画像信号は出力されない。
（Ａ）に示すような色配列の色フィルタアレイにより構
成された色コーディングフィルタが設けられたＣＣＤイ
メージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色
のフィルタが配置された各画素から、そのフィルタの色
に対応する画像信号のみが出力される。すなわち、Ｒの
色フィルタが配置された画素からは、Ｒ成分の画像信号
は出力されるが、Ｇ成分及びＢ成分の画像信号は出力さ
れない。同様に、Ｇの画素からは、Ｇ成分の画像信号の
みが出力され、Ｒ成分及びＢ成分の画像信号は出力され
ず、Ｂの画素からは、Ｂ成分の画像信号のみが出力さ
れ、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】ここで、図２２の（Ａ）に示す色フィルタ
アレイの色配列は、ベイヤー配列と称される。この場合
においては、Ｇの色フィルタが市松状に配され、残った
部分にＲとＢが一列毎に交互に配されている。
アレイの色配列は、ベイヤー配列と称される。この場合
においては、Ｇの色フィルタが市松状に配され、残った
部分にＲとＢが一列毎に交互に配されている。
【０００７】しかしながら、後段において各画素の信号
を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の
画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及び
ｍは正の整数）個の画素で構成されるＣＣＤイメージセ
ンサの出力から、図２２の（Ｂ）に示すように、ｎ×ｍ
個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及
びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメ
ラのＣＣＤ出力相当の画像信号が、それぞれ補間演算に
より求められ、それらの画像信号が後段に出力される。
を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の
画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及び
ｍは正の整数）個の画素で構成されるＣＣＤイメージセ
ンサの出力から、図２２の（Ｂ）に示すように、ｎ×ｍ
個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及
びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメ
ラのＣＣＤ出力相当の画像信号が、それぞれ補間演算に
より求められ、それらの画像信号が後段に出力される。
【０００８】そして、さらに、例えば４倍密度の画像信
号を生成する場合、図２２の（Ｃ）に示すように、ｎ×
ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画
像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の
画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演
算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信
号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算に
より求められる。
号を生成する場合、図２２の（Ｃ）に示すように、ｎ×
ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画
像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の
画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演
算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信
号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算に
より求められる。
【０００９】
【発明が解決しようとする課題】ＣＣＤイメージセンサ
により１画素毎に１つの色成分の信号を得て、各画素が
持っている色成分の信号以外の色信号を線形補間処理に
より生成する単板式カメラにおいては、画像の斜め線や
細線の部分で上記線形補間処理に破綻を生じ易いという
問題点がある。
により１画素毎に１つの色成分の信号を得て、各画素が
持っている色成分の信号以外の色信号を線形補間処理に
より生成する単板式カメラにおいては、画像の斜め線や
細線の部分で上記線形補間処理に破綻を生じ易いという
問題点がある。
【００１０】また、線形処理を行うことにより色信号の
補間を行っているので、画像の波形が鈍つてしまい、画
像全体が不鮮明となってしまうので、輪郭強調処理等の
処理を行って、見掛けの解像度を上げる処理が必要であ
った。
補間を行っているので、画像の波形が鈍つてしまい、画
像全体が不鮮明となってしまうので、輪郭強調処理等の
処理を行って、見掛けの解像度を上げる処理が必要であ
った。
【００１１】さらに、線形補間と異なる処理方法とし
て、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原
色の各画像信号毎に独立にクラス分類適応処理を行うこ
とよって３板式カメラのＣＣＤ出力に相当する画像信号
を生成することが提案されている（国際公開番号：ＷＯ
９６／０７２７５）。しかしながら、クラス分類適応処
理においても、基本的に波形によるクラス分類を行って
いるため、画像の斜め線や細線の部分で波形の連続性が
壊れる等の破綻を生じる傾向にあった。これは、ベイヤ
配列等の色フィルタの配列に起因する問題であって、通
常の波形によるクラス分類では対応できないのが現状で
あった。
て、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原
色の各画像信号毎に独立にクラス分類適応処理を行うこ
とよって３板式カメラのＣＣＤ出力に相当する画像信号
を生成することが提案されている（国際公開番号：ＷＯ
９６／０７２７５）。しかしながら、クラス分類適応処
理においても、基本的に波形によるクラス分類を行って
いるため、画像の斜め線や細線の部分で波形の連続性が
壊れる等の破綻を生じる傾向にあった。これは、ベイヤ
配列等の色フィルタの配列に起因する問題であって、通
常の波形によるクラス分類では対応できないのが現状で
あった。
【００１２】本発明は、このような状況に鑑みてなされ
たものであり、画像の斜め線や細線の部分に対応したク
ラス分類適応処理により、解像度が高く、細部まで鮮明
な画像を再現できる画像信号を単板式カメラのＣＣＤ出
力から得られるようにすることを目的とする。
たものであり、画像の斜め線や細線の部分に対応したク
ラス分類適応処理により、解像度が高く、細部まで鮮明
な画像を再現できる画像信号を単板式カメラのＣＣＤ出
力から得られるようにすることを目的とする。
【００１３】
【課題を解決するための手段】本発明は、画素位置毎に
輝度あるいは複数の色のうちのいずれか１つを表す色成
分を画素データとして持つ入力画像信号を処理する画像
信号処理装置において、上記入力画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を第１の画素として
抽出する第１の抽出手段と、上記第１の抽出手段で抽出
された複数の画素の各画素データに基づいて第１の特徴
情報を生成する第１の特徴情報生成手段と、上記入力画
像信号の注目画素毎に、上記注目画素近傍の複数の画素
を第２の画素として抽出する第２の抽出手段と、上記第
２の画素の各画素データに基づいて、上記注目画素近傍
のエッジ情報を第２の特徴情報として生成する第２の特
徴情報生成手段と、上記第１の特徴情報及び第２の特徴
情報に基づいて１つのクラスを決定するクラス決定手段
と、上記クラス決定手段で決定されたクラスに基づい
て、少なくとも上記注目画素の位置に、上記色成分であ
る上記画素データを生成する画素生成手段とを備えるこ
とを特徴とする。
輝度あるいは複数の色のうちのいずれか１つを表す色成
分を画素データとして持つ入力画像信号を処理する画像
信号処理装置において、上記入力画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を第１の画素として
抽出する第１の抽出手段と、上記第１の抽出手段で抽出
された複数の画素の各画素データに基づいて第１の特徴
情報を生成する第１の特徴情報生成手段と、上記入力画
像信号の注目画素毎に、上記注目画素近傍の複数の画素
を第２の画素として抽出する第２の抽出手段と、上記第
２の画素の各画素データに基づいて、上記注目画素近傍
のエッジ情報を第２の特徴情報として生成する第２の特
徴情報生成手段と、上記第１の特徴情報及び第２の特徴
情報に基づいて１つのクラスを決定するクラス決定手段
と、上記クラス決定手段で決定されたクラスに基づい
て、少なくとも上記注目画素の位置に、上記色成分であ
る上記画素データを生成する画素生成手段とを備えるこ
とを特徴とする。
【００１４】また、本発明は、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つを表す色成分を画素デ
ータとして持つ入力画像信号を処理する画像信号処理方
法において、上記入力画像信号の注目画素毎に、上記注
目画素近傍の複数の画素を第１の画素として抽出する第
１の抽出ステップと、上記入力画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を第２の画素として
抽出する第２の抽出ステップと、上記第２の画素の各画
素データに基づいて、上記注目画素近傍のエッジ情報を
第２の特徴情報として生成する第２の特徴情報生成ステ
ップと、上記第１の特徴情報及び第２の特徴情報に基づ
いて１つのクラスを決定するクラス決定ステップと、上
記クラス決定ステップで決定されたクラスに基づいて、
少なくとも上記注目画素の位置に、上記色成分である上
記画素データを生成する画素生成ステップとを備えるこ
とを特徴とする。
は複数の色のうちのいずれか１つを表す色成分を画素デ
ータとして持つ入力画像信号を処理する画像信号処理方
法において、上記入力画像信号の注目画素毎に、上記注
目画素近傍の複数の画素を第１の画素として抽出する第
１の抽出ステップと、上記入力画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を第２の画素として
抽出する第２の抽出ステップと、上記第２の画素の各画
素データに基づいて、上記注目画素近傍のエッジ情報を
第２の特徴情報として生成する第２の特徴情報生成ステ
ップと、上記第１の特徴情報及び第２の特徴情報に基づ
いて１つのクラスを決定するクラス決定ステップと、上
記クラス決定ステップで決定されたクラスに基づいて、
少なくとも上記注目画素の位置に、上記色成分である上
記画素データを生成する画素生成ステップとを備えるこ
とを特徴とする。
【００１５】また、本発明は、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つを表す色成分を画素デ
ータとして持つ入力画像信号を処理する画像信号処理を
行うコンピュータ制御可能なプログラムが記録された記
録媒体において、上記プログラムは、上記入力画像信号
の注目画素毎に、上記注目画素近傍の複数の画素を第１
の画素として抽出する第１の抽出ステップと、上記入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を第２の画素として抽出する第２の抽出ステップと、
上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成ステップと、上記第１の特徴情報及び
第２の特徴情報に基づいて１つのクラスを決定するクラ
ス決定ステップと、上記クラス決定ステップで決定され
たクラスに基づいて、少なくとも上記注目画素の位置
に、上記色成分である上記画素データを生成する画素生
成ステップとを備えることを特徴とする。
は複数の色のうちのいずれか１つを表す色成分を画素デ
ータとして持つ入力画像信号を処理する画像信号処理を
行うコンピュータ制御可能なプログラムが記録された記
録媒体において、上記プログラムは、上記入力画像信号
の注目画素毎に、上記注目画素近傍の複数の画素を第１
の画素として抽出する第１の抽出ステップと、上記入力
画像信号の注目画素毎に、上記注目画素近傍の複数の画
素を第２の画素として抽出する第２の抽出ステップと、
上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成ステップと、上記第１の特徴情報及び
第２の特徴情報に基づいて１つのクラスを決定するクラ
ス決定ステップと、上記クラス決定ステップで決定され
たクラスに基づいて、少なくとも上記注目画素の位置
に、上記色成分である上記画素データを生成する画素生
成ステップとを備えることを特徴とする。
【００１６】また、本発明に係る学習装置は、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ生徒画像信号の注目画素の近
傍の複数の画素を第１の画素として抽出する第１の抽出
手段と、上記第１の抽出手段で抽出された複数の画素の
各画素データに基づいて第１の特徴情報を生成する第１
の特徴情報生成手段と、上記生徒画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を第２の画素として
抽出する第２の抽出手段と、上記第２の画素の各画素デ
ータに基づいて、上記注目画素近傍のエッジ情報を第２
の特徴情報として生成する第２の特徴情報生成手段と、
上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定手段と、上記生徒画像信
号と対応する画像信号であり、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つの色成分を画像データ
として持つ教師画像信号から、上記生徒画像信号の注目
画素の位置に相当する位置の近傍の複数の画素を第３の
画素として抽出する第３の抽出手段と、上記第１及び第
３の抽出手段で抽出された複数の画素の各画素データに
基づいて、上記クラス毎に、上記生徒画像信号に相当す
る画像信号から上記教師画像信号に相当する画像信号を
生成するための予測演算に用いる予測係数セットを生成
する予測係数生成手段とを備えることを特徴とする。
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ生徒画像信号の注目画素の近
傍の複数の画素を第１の画素として抽出する第１の抽出
手段と、上記第１の抽出手段で抽出された複数の画素の
各画素データに基づいて第１の特徴情報を生成する第１
の特徴情報生成手段と、上記生徒画像信号の注目画素毎
に、上記注目画素近傍の複数の画素を第２の画素として
抽出する第２の抽出手段と、上記第２の画素の各画素デ
ータに基づいて、上記注目画素近傍のエッジ情報を第２
の特徴情報として生成する第２の特徴情報生成手段と、
上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定手段と、上記生徒画像信
号と対応する画像信号であり、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つの色成分を画像データ
として持つ教師画像信号から、上記生徒画像信号の注目
画素の位置に相当する位置の近傍の複数の画素を第３の
画素として抽出する第３の抽出手段と、上記第１及び第
３の抽出手段で抽出された複数の画素の各画素データに
基づいて、上記クラス毎に、上記生徒画像信号に相当す
る画像信号から上記教師画像信号に相当する画像信号を
生成するための予測演算に用いる予測係数セットを生成
する予測係数生成手段とを備えることを特徴とする。
【００１７】また、本発明に係る学習方法は、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ生徒画像信号の注目画素の近
傍の複数の画素を第１の画素として抽出する第１の抽出
ステップと、上記第１の抽出ステップで抽出された複数
の画素の各画素データに基づいて第１の特徴情報を生成
する第１の特徴情報生成ステップと、上記生徒画像信号
の注目画素毎に、上記注目画素近傍の複数の画素を第２
の画素として抽出する第２の抽出ステップと、上記第２
の画素の各画素データに基づいて、上記注目画素近傍の
エッジ情報を第２の特徴情報として生成する第２の特徴
情報生成ステップと、上記第１の特徴情報及び第２の特
徴情報に基づいて１つのクラスを決定するクラス決定ス
テップと、上記生徒画像信号と対応する画像信号であ
り、画素位置毎に輝度あるいは複数の色のうちのいずれ
か１つの色成分を画像データとして持つ教師画像信号か
ら、上記生徒画像信号の注目画素の位置に相当する位置
の近傍の複数の画素を第３の画素として抽出する第３の
抽出ステップと、上記第１及び第３の抽出ステップで抽
出された複数の画素の各画素データに基づいて、上記ク
ラス毎に、上記生徒画像信号に相当する画像信号から上
記教師画像信号に相当する画像信号を生成するための予
測演算に用いる予測係数セットを生成する予測係数生成
ステップとを備えることを特徴とする。
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ生徒画像信号の注目画素の近
傍の複数の画素を第１の画素として抽出する第１の抽出
ステップと、上記第１の抽出ステップで抽出された複数
の画素の各画素データに基づいて第１の特徴情報を生成
する第１の特徴情報生成ステップと、上記生徒画像信号
の注目画素毎に、上記注目画素近傍の複数の画素を第２
の画素として抽出する第２の抽出ステップと、上記第２
の画素の各画素データに基づいて、上記注目画素近傍の
エッジ情報を第２の特徴情報として生成する第２の特徴
情報生成ステップと、上記第１の特徴情報及び第２の特
徴情報に基づいて１つのクラスを決定するクラス決定ス
テップと、上記生徒画像信号と対応する画像信号であ
り、画素位置毎に輝度あるいは複数の色のうちのいずれ
か１つの色成分を画像データとして持つ教師画像信号か
ら、上記生徒画像信号の注目画素の位置に相当する位置
の近傍の複数の画素を第３の画素として抽出する第３の
抽出ステップと、上記第１及び第３の抽出ステップで抽
出された複数の画素の各画素データに基づいて、上記ク
ラス毎に、上記生徒画像信号に相当する画像信号から上
記教師画像信号に相当する画像信号を生成するための予
測演算に用いる予測係数セットを生成する予測係数生成
ステップとを備えることを特徴とする。
【００１８】さらに、本発明は、クラスに応じた予測係
数セットを生成するための学習処理を行うコンピュータ
制御可能なプログラムが記録された記録媒体において、
上記プログラムは、画素位置毎に輝度あるいは複数の色
のうちのいずれか１つの色成分を画像データとして持つ
生徒画像信号の注目画素の近傍の複数の画素を第１の画
素として抽出する第１の抽出ステップと、上記第１の抽
出ステップで抽出された複数の画素の各画素データに基
づいて第１の特徴情報を生成する第１の特徴情報生成ス
テップと、上記生徒画像信号の注目画素毎に、上記注目
画素近傍の複数の画素を第２の画素として抽出する第２
の抽出ステップと、上記第２の画素の各画素データに基
づいて、上記注目画素近傍のエッジ情報を第２の特徴情
報として生成する第２の特徴情報生成ステップと、上記
第１の特徴情報及び第２の特徴情報に基づいて１つのク
ラスを決定するクラス決定ステップと、上記生徒画像信
号と対応する画像信号であり、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つの色成分を画像データ
として持つ教師画像信号から、上記生徒画像信号の注目
画素の位置に相当する位置の近傍の複数の画素を第３の
画素として抽出する第３の抽出ステップと、上記第１及
び第３の抽出ステップで抽出された複数の画素の各画素
データに基づいて、上記クラス毎に、上記生徒画像信号
に相当する画像信号から上記教師画像信号に相当する画
像信号を生成するための予測演算に用いる予測係数セッ
トを生成する予測係数生成ステップとを備えることを特
徴とする。
数セットを生成するための学習処理を行うコンピュータ
制御可能なプログラムが記録された記録媒体において、
上記プログラムは、画素位置毎に輝度あるいは複数の色
のうちのいずれか１つの色成分を画像データとして持つ
生徒画像信号の注目画素の近傍の複数の画素を第１の画
素として抽出する第１の抽出ステップと、上記第１の抽
出ステップで抽出された複数の画素の各画素データに基
づいて第１の特徴情報を生成する第１の特徴情報生成ス
テップと、上記生徒画像信号の注目画素毎に、上記注目
画素近傍の複数の画素を第２の画素として抽出する第２
の抽出ステップと、上記第２の画素の各画素データに基
づいて、上記注目画素近傍のエッジ情報を第２の特徴情
報として生成する第２の特徴情報生成ステップと、上記
第１の特徴情報及び第２の特徴情報に基づいて１つのク
ラスを決定するクラス決定ステップと、上記生徒画像信
号と対応する画像信号であり、画素位置毎に輝度あるい
は複数の色のうちのいずれか１つの色成分を画像データ
として持つ教師画像信号から、上記生徒画像信号の注目
画素の位置に相当する位置の近傍の複数の画素を第３の
画素として抽出する第３の抽出ステップと、上記第１及
び第３の抽出ステップで抽出された複数の画素の各画素
データに基づいて、上記クラス毎に、上記生徒画像信号
に相当する画像信号から上記教師画像信号に相当する画
像信号を生成するための予測演算に用いる予測係数セッ
トを生成する予測係数生成ステップとを備えることを特
徴とする。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。
て、図面を参照して詳細に説明する。
【００２０】本発明は、例えば図１に示すような構成の
デジタルスチルカメラ１に適用される。このデジタルス
チルカメラ１は、１画素毎に割り当てられたベイヤ配列
などの色フィルタからなる色コーディングフィルタ４が
前面に設置された１つのＣＣＤイメージセンサ５を用い
てカラー撮像を行う単板式カメラであって、被写体から
の入射光が、レンズ２により集光され、アイリス３及び
色コーディングフィルタ４を介してＣＣＤイメージセン
サ５に入射されるようになっている。上記ＣＣＤイメー
ジセンサ５の撮像面上には、上記アイリス３により所定
レベルの光量とされた入射光により被写体像が結像され
る。なお、このデジタルスチルカメラ１においては、色
コーディングフィルタ４とＣＣＤイメージセンサ５は別
体としたが、一体化した構造とすることができる。
デジタルスチルカメラ１に適用される。このデジタルス
チルカメラ１は、１画素毎に割り当てられたベイヤ配列
などの色フィルタからなる色コーディングフィルタ４が
前面に設置された１つのＣＣＤイメージセンサ５を用い
てカラー撮像を行う単板式カメラであって、被写体から
の入射光が、レンズ２により集光され、アイリス３及び
色コーディングフィルタ４を介してＣＣＤイメージセン
サ５に入射されるようになっている。上記ＣＣＤイメー
ジセンサ５の撮像面上には、上記アイリス３により所定
レベルの光量とされた入射光により被写体像が結像され
る。なお、このデジタルスチルカメラ１においては、色
コーディングフィルタ４とＣＣＤイメージセンサ５は別
体としたが、一体化した構造とすることができる。
【００２１】上記ＣＣＤイメージセンサ５は、タイミン
グジェネレータ９からのタイミング信号により制御され
る電子シャッタに応じて所定時間にわたって露光を行
い、色コーディングフィルタ４を透過した入射光の光量
に応じた信号電荷（アナログ量）を画素毎に発生するこ
とにより、上記入射光により結像された被写体像を撮像
して、その撮像出力として得られる画像信号を信号調整
部６に供給する。
グジェネレータ９からのタイミング信号により制御され
る電子シャッタに応じて所定時間にわたって露光を行
い、色コーディングフィルタ４を透過した入射光の光量
に応じた信号電荷（アナログ量）を画素毎に発生するこ
とにより、上記入射光により結像された被写体像を撮像
して、その撮像出力として得られる画像信号を信号調整
部６に供給する。
【００２２】信号調整部６は、画像信号の信号レベルが
一定となるようにゲインを調整するＡＧＣ(Automatic G
ain Contorol) 回路と、ＣＣＤイメージセンサ５が発生
する１／ｆのノイズを除去するＣＤＳ(Correiated Doub
le Sampling)回路からなる。
一定となるようにゲインを調整するＡＧＣ(Automatic G
ain Contorol) 回路と、ＣＣＤイメージセンサ５が発生
する１／ｆのノイズを除去するＣＤＳ(Correiated Doub
le Sampling)回路からなる。
【００２３】上記信号調整部６から出力される画像信号
は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信
号に変換されて、画像信号処理部８に供給される。上記
Ａ／Ｄ変換部７では、タイミングジェネレータ９からの
タイミング信号に応じて、例えば１サンプル１０ビット
のディジタル撮像信号を生成する。
は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信
号に変換されて、画像信号処理部８に供給される。上記
Ａ／Ｄ変換部７では、タイミングジェネレータ９からの
タイミング信号に応じて、例えば１サンプル１０ビット
のディジタル撮像信号を生成する。
【００２４】このデジタルスチルカメラ１において、タ
イミングジェネレータ９は、ＣＣＤイメージセンサ５、
信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Pro
cessing Unit) １０に各種タイミング信号を供給する。
ＣＰＵ１０は、モータ１１を駆動することにより、アイ
リス３を制御する。また、ＣＰＵ１０は、モータ１２を
駆動することにより、レンズ２などを移動させ、ズーム
やオートフォーカスなどの制御をする。さらに、ＣＰＵ
１０は、必要に応じ、フラッシュ１３により閃光を発す
る制御を行うようにされている。
イミングジェネレータ９は、ＣＣＤイメージセンサ５、
信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Pro
cessing Unit) １０に各種タイミング信号を供給する。
ＣＰＵ１０は、モータ１１を駆動することにより、アイ
リス３を制御する。また、ＣＰＵ１０は、モータ１２を
駆動することにより、レンズ２などを移動させ、ズーム
やオートフォーカスなどの制御をする。さらに、ＣＰＵ
１０は、必要に応じ、フラッシュ１３により閃光を発す
る制御を行うようにされている。
【００２５】画像信号処理部８は、Ａ／Ｄ変換部７から
供給された画像信号に対し、欠陥補正処理、ディジタル
クランプ処理、ホワイトバランス調整処理、ガンマ補正
処理、クラス分類適応処理を用いた予測処理等の処理を
行う。
供給された画像信号に対し、欠陥補正処理、ディジタル
クランプ処理、ホワイトバランス調整処理、ガンマ補正
処理、クラス分類適応処理を用いた予測処理等の処理を
行う。
【００２６】この画像信号処理部８に接続されたメモリ
１５は、例えば、ＲＡＭ(Random Access Memory)で構成
され、画像信号処理部８が画像処理を行う際に必要な信
号を記憶する。画像信号処理部８により処理された画像
信号は、インタフェース１４を介してメモリ１６に記憶
される。このメモリ１６に記憶された画像信号は、イン
タフェース１４を介してデジタルスチルカメラ１に対し
て着脱可能な記録媒体１７に記録される。
１５は、例えば、ＲＡＭ(Random Access Memory)で構成
され、画像信号処理部８が画像処理を行う際に必要な信
号を記憶する。画像信号処理部８により処理された画像
信号は、インタフェース１４を介してメモリ１６に記憶
される。このメモリ１６に記憶された画像信号は、イン
タフェース１４を介してデジタルスチルカメラ１に対し
て着脱可能な記録媒体１７に記録される。
【００２７】なお、モータ１１は、ＣＰＵ１０からの制
御情報に基づいてアイリス３を駆動し、レンズ２を介し
て入射される光の量を制御する。また、モータ１２は、
ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤ
イメージセンサ２に対するフォーカス状態を制御する。
これにより、自動絞り制御動作や自動焦点制御動作が実
現される。また、フラッシュ１３は、ＣＰＵ１０による
制御の下で、被写体に対して所定の閃光を照射する。
御情報に基づいてアイリス３を駆動し、レンズ２を介し
て入射される光の量を制御する。また、モータ１２は、
ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤ
イメージセンサ２に対するフォーカス状態を制御する。
これにより、自動絞り制御動作や自動焦点制御動作が実
現される。また、フラッシュ１３は、ＣＰＵ１０による
制御の下で、被写体に対して所定の閃光を照射する。
【００２８】また、インターフェース１４は、画像信号
処理部８からの画像信号を必要に応じてメモリ１６に記
憶し、所定のインターフェース処理を実行した後、記録
媒体１７に供給し、記憶させる。記録媒体１７として
は、デジタルスチルカメラ１の本体に対して着脱可能な
記録媒体、例えばフロッピー（登録商標）ディスク、ハ
ードディスク等のディスク記録媒体、メモリカード等の
フラッシュメモリ等を用いることができる。
処理部８からの画像信号を必要に応じてメモリ１６に記
憶し、所定のインターフェース処理を実行した後、記録
媒体１７に供給し、記憶させる。記録媒体１７として
は、デジタルスチルカメラ１の本体に対して着脱可能な
記録媒体、例えばフロッピー（登録商標）ディスク、ハ
ードディスク等のディスク記録媒体、メモリカード等の
フラッシュメモリ等を用いることができる。
【００２９】コントローラ１８は、ＣＰＵ１０の制御の
下で、画像信号処理部８及びインターフェース１４に制
御情報を供給してそれぞれを制御する。ＣＰＵ１０に
は、シャッタボタンやズームボタンなどの操作ボタンか
ら構成される操作部２０からユーザによる操作情報が入
力される。ＣＰＵ１０は、入力された操作情報を基に、
上述した各部を制御する。電源部１９は、バッテリ１９
ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／
ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を
所定の値の直流電圧に変換し、装置内の各構成要素に供
給する。充電可能なバッテリ１９Ａは、デジタルスチル
カメラ１の本体に着脱可能とされている。
下で、画像信号処理部８及びインターフェース１４に制
御情報を供給してそれぞれを制御する。ＣＰＵ１０に
は、シャッタボタンやズームボタンなどの操作ボタンか
ら構成される操作部２０からユーザによる操作情報が入
力される。ＣＰＵ１０は、入力された操作情報を基に、
上述した各部を制御する。電源部１９は、バッテリ１９
ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／
ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を
所定の値の直流電圧に変換し、装置内の各構成要素に供
給する。充電可能なバッテリ１９Ａは、デジタルスチル
カメラ１の本体に着脱可能とされている。
【００３０】次に、図２のフローチャートを参照し、図
１に示したデジタルスチルカメラ１の動作について説明
する。このデジタルスチルカメラ１は、ステップＳ１に
おいて、電源がオンされることにより、被写体の撮像を
開始する。すなわち、ＣＰＵ１０は、モータ１１及びモ
ータ１２を駆動し、焦点を合わせたりアイリス３を調整
することにより、レンズ２を介してＣＣＤイメージセン
サ５上に被写体像を結像させる。
１に示したデジタルスチルカメラ１の動作について説明
する。このデジタルスチルカメラ１は、ステップＳ１に
おいて、電源がオンされることにより、被写体の撮像を
開始する。すなわち、ＣＰＵ１０は、モータ１１及びモ
ータ１２を駆動し、焦点を合わせたりアイリス３を調整
することにより、レンズ２を介してＣＣＤイメージセン
サ５上に被写体像を結像させる。
【００３１】ステップＳ２では、結像された像をＣＣＤ
イメージセンサ５により撮像した画像信号が、信号調整
部６において、信号レベルが一定となるようにゲイン調
整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換
部７によりデジタル化される。
イメージセンサ５により撮像した画像信号が、信号調整
部６において、信号レベルが一定となるようにゲイン調
整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換
部７によりデジタル化される。
【００３２】また、ステップＳ３では、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号に対して、画像信
号処理部８によりクラス分類適応処理を含む画像信号処
理を行う。
部７によりデジタル化された画像信号に対して、画像信
号処理部８によりクラス分類適応処理を含む画像信号処
理を行う。
【００３３】ここで、被写体像は、ＣＣＤイメージセン
サ５の撮像出力として得られる画像信号を電子ビューフ
ァインダに表示するよりユーザが確認できるようになっ
ている。なお、被写体像は、光学的ビューファインダに
よりユーザが確認できるようにすることもできる。
サ５の撮像出力として得られる画像信号を電子ビューフ
ァインダに表示するよりユーザが確認できるようになっ
ている。なお、被写体像は、光学的ビューファインダに
よりユーザが確認できるようにすることもできる。
【００３４】そして、ユーザは、ビューファインダによ
り確認した被写体像の画像を記録媒体１７に記録したい
場合、操作部２０のシャッタボタンを操作する。デジタ
ルスチルカメラ１のＣＰＵ１０は、ステップＳ４におい
て、シャッタボタンが操作されたか否かを判断する。デ
ジタルスチルカメラ１は、シャッタボタンが操作された
と判断するまで、ステップＳ２〜Ｓ３の処理を繰り返
し、シャッタボタンが操作されたと判断すると、ステッ
プＳ５に進む。
り確認した被写体像の画像を記録媒体１７に記録したい
場合、操作部２０のシャッタボタンを操作する。デジタ
ルスチルカメラ１のＣＰＵ１０は、ステップＳ４におい
て、シャッタボタンが操作されたか否かを判断する。デ
ジタルスチルカメラ１は、シャッタボタンが操作された
と判断するまで、ステップＳ２〜Ｓ３の処理を繰り返
し、シャッタボタンが操作されたと判断すると、ステッ
プＳ５に進む。
【００３５】そして、ステップＳ５では、画像信号処理
部８による画像信号処理が施された画像信号をインター
フェース１４を介して記録媒体１７に記録する。
部８による画像信号処理が施された画像信号をインター
フェース１４を介して記録媒体１７に記録する。
【００３６】次に、図３を参照して画像信号処理部８に
ついて説明する。
ついて説明する。
【００３７】この画像信号処理部８は、上記Ａ／Ｄ変換
部７によりデジタル化された画像信号が供給される欠陥
補正部２１を備える。ＣＣＤイメージセンサ５の画素の
中で、何らかの原因により入射光に反応しない画素や、
入射光に依存せず、電荷が常に蓄えられている画素、換
言すれば、欠陥がある画素を検出し、その検出結果に従
って、それらの欠陥画素の影響が露呈しないように、画
像信号を補正する処理を行う。
部７によりデジタル化された画像信号が供給される欠陥
補正部２１を備える。ＣＣＤイメージセンサ５の画素の
中で、何らかの原因により入射光に反応しない画素や、
入射光に依存せず、電荷が常に蓄えられている画素、換
言すれば、欠陥がある画素を検出し、その検出結果に従
って、それらの欠陥画素の影響が露呈しないように、画
像信号を補正する処理を行う。
【００３８】Ａ／Ｄ変換部７では、負の値がカットされ
るのを防ぐため、一般に信号値を若干正の方向ヘシフト
させた状態でＡ／Ｄ変換が行われている。クランプ部２
２は、欠陥補正部２１により欠陥補正された画像信号に
対し、上述したシフト量がなくなるようにクランプす
る。
るのを防ぐため、一般に信号値を若干正の方向ヘシフト
させた状態でＡ／Ｄ変換が行われている。クランプ部２
２は、欠陥補正部２１により欠陥補正された画像信号に
対し、上述したシフト量がなくなるようにクランプす
る。
【００３９】クランプ部２２によりクランプされた画像
信号は、ホワイトバランス調整部２３に供給される。ホ
ワイトバランス調整部２３は、クランプ部２２から供給
された画像信号のゲインを補正することにより、ホワイ
トバランスを調整する。このホワイトバランス調整部２
３によりホワイトバランスが調整された画像信号は、ク
ラス分類適応処理２４に供給される。
信号は、ホワイトバランス調整部２３に供給される。ホ
ワイトバランス調整部２３は、クランプ部２２から供給
された画像信号のゲインを補正することにより、ホワイ
トバランスを調整する。このホワイトバランス調整部２
３によりホワイトバランスが調整された画像信号は、ク
ラス分類適応処理２４に供給される。
【００４０】クラス分類適応処理２４では、ホワイトバ
ランス調整部２３によりホワイトバランスが調整された
画像信号について、ＡＤＲＣ(Adaptive Dynamic Range
Coding) 処理などにより局所的な画像の特徴量を抽出
し、各特徴に基づいてクラスを作成して、クラス毎の処
理を行う。具体的な処理としては、単板画像から３板相
当画像の変換、任意の画素数への変換、又はそれらの処
理を同時に行うなどの各種処理が可能である。ここで
は、斜め線や細線に対して特別なクラスを用意すること
により、斜め線や細線部分における処理の破綻に対処す
る。このクラス分類適応処理２４によりクラス分類適応
処理された画像信号は、ガンマ補正部２５に供給され
る。
ランス調整部２３によりホワイトバランスが調整された
画像信号について、ＡＤＲＣ(Adaptive Dynamic Range
Coding) 処理などにより局所的な画像の特徴量を抽出
し、各特徴に基づいてクラスを作成して、クラス毎の処
理を行う。具体的な処理としては、単板画像から３板相
当画像の変換、任意の画素数への変換、又はそれらの処
理を同時に行うなどの各種処理が可能である。ここで
は、斜め線や細線に対して特別なクラスを用意すること
により、斜め線や細線部分における処理の破綻に対処す
る。このクラス分類適応処理２４によりクラス分類適応
処理された画像信号は、ガンマ補正部２５に供給され
る。
【００４１】ガンマ補正部２５は、クラス分類適応処理
された画像信号の信号レベルをガンマ曲線に従って補正
する。このガンマ補正部２５によりガンマ補正された画
像信号は、補正部２６に供給される。
された画像信号の信号レベルをガンマ曲線に従って補正
する。このガンマ補正部２５によりガンマ補正された画
像信号は、補正部２６に供給される。
【００４２】補正部２６は、上記ガンマ補正部２５によ
りガンマ補正された画像信号に対してエッジ強調等の画
像を視覚的に良く見せるために必要ないわゆる画作りの
ための処理を行う。
りガンマ補正された画像信号に対してエッジ強調等の画
像を視覚的に良く見せるために必要ないわゆる画作りの
ための処理を行う。
【００４３】そして、色空間変換部２７は、補正部２６
によりエッジ強調などの処理が施された画像信号（ＲＧ
Ｂ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差
Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの
画像信号に変換する。ただし、マトリクス変換処理を行
わず、色空間変換部２７からＲＧＢ信号をそのまま出力
させても良い。この発明の一実施形態では、例えばユー
ザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出
力するかを切り換えることが可能とされている。色空間
変換部２７により変換された画像信号は、上述のインタ
フェース１４に供給される。
によりエッジ強調などの処理が施された画像信号（ＲＧ
Ｂ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差
Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの
画像信号に変換する。ただし、マトリクス変換処理を行
わず、色空間変換部２７からＲＧＢ信号をそのまま出力
させても良い。この発明の一実施形態では、例えばユー
ザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出
力するかを切り換えることが可能とされている。色空間
変換部２７により変換された画像信号は、上述のインタ
フェース１４に供給される。
【００４４】ここで、上記図２に示したフローチャート
のステップＳ３において、画像信号処理部８により行わ
れる画像信号処理について、図４のフローチャートを参
照して説明する。
のステップＳ３において、画像信号処理部８により行わ
れる画像信号処理について、図４のフローチャートを参
照して説明する。
【００４５】すなわち、画像信号処理部８では、Ａ／Ｄ
変換部７によりデジタル化された画像信号に対する画像
信号処理を開始すると、先ず、ステップＳ１１におい
て、ＣＣＤイメージセンサ５の欠陥の影響が出ないよう
に、欠陥補正部２１により画像信号の欠陥補正を行う。
そして、次のステップＳ１２では、欠陥補正部２１によ
り欠陥補正された画像信号に対して、正の方向にシフト
されていた量をもとに戻すクランプ処理をクランプ部２
２により行う。
変換部７によりデジタル化された画像信号に対する画像
信号処理を開始すると、先ず、ステップＳ１１におい
て、ＣＣＤイメージセンサ５の欠陥の影響が出ないよう
に、欠陥補正部２１により画像信号の欠陥補正を行う。
そして、次のステップＳ１２では、欠陥補正部２１によ
り欠陥補正された画像信号に対して、正の方向にシフト
されていた量をもとに戻すクランプ処理をクランプ部２
２により行う。
【００４６】次のステップＳ１３では、クランプ部２２
によりクランプされた画像信号に対して、ホワイトバラ
ンス調整部２３によりホワイトバランスの調整を行い各
色信号間のゲインを調整する。さらに、ステップＳ１４
では、ホワイトバランスが調整された画像信号に対し
て、クラス分類適応処理部２４により単板画像から３板
相当画像の変換を含むクラス分類適応処理を行う。
によりクランプされた画像信号に対して、ホワイトバラ
ンス調整部２３によりホワイトバランスの調整を行い各
色信号間のゲインを調整する。さらに、ステップＳ１４
では、ホワイトバランスが調整された画像信号に対し
て、クラス分類適応処理部２４により単板画像から３板
相当画像の変換を含むクラス分類適応処理を行う。
【００４７】ステップＳ１５では、クラス分類適応処理
されたステップＳ１５によって得られた３板式カメラの
ＣＣＤ出力相当の画像信号に対して、ガンマ補正部２５
によりガンマ曲線に従った補正を施す。
されたステップＳ１５によって得られた３板式カメラの
ＣＣＤ出力相当の画像信号に対して、ガンマ補正部２５
によりガンマ曲線に従った補正を施す。
【００４８】ステップＳ１６では、ステップＳ１５でガ
ンマ補正された画像信号に対して、視覚的に良く見せる
ための補正処理（いわゆる画作り）を行う。ステップＳ
１７では、ステップＳ１６によって得られた画像に例え
ばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変
換処理を施す。これにより、例えば記録信号として好適
な信号フォーマットを有する出力画像が生成される。
ンマ補正された画像信号に対して、視覚的に良く見せる
ための補正処理（いわゆる画作り）を行う。ステップＳ
１７では、ステップＳ１６によって得られた画像に例え
ばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変
換処理を施す。これにより、例えば記録信号として好適
な信号フォーマットを有する出力画像が生成される。
【００４９】この画像信号処理部８におけるクラス分類
適応処理部２４は、図５に示すように斜め線・細線抽出
回路３１、クラスタップ抽出回路３２、ＡＤＲＣ処理回
路３３、クラス分類回路３４、係数メモリ３５、予測タ
ップ抽出回路３６及び適応処理回路３７からなる。
適応処理部２４は、図５に示すように斜め線・細線抽出
回路３１、クラスタップ抽出回路３２、ＡＤＲＣ処理回
路３３、クラス分類回路３４、係数メモリ３５、予測タ
ップ抽出回路３６及び適応処理回路３７からなる。
【００５０】斜め線・細線抽出回路３１は、入力画像信
号の急峻なエッジ部分の画素の信号値を第２の特徴情報
として抽出する第２の抽出手段として機能するものであ
って、注目領域に対してフィルタ等を用いて斜め線や細
線等の補間処理の難しい波形の有無を判定し、そのよう
な波形が存在する場合は、その種類を第２の特徴情報と
してクラス分類回路３４に渡す。
号の急峻なエッジ部分の画素の信号値を第２の特徴情報
として抽出する第２の抽出手段として機能するものであ
って、注目領域に対してフィルタ等を用いて斜め線や細
線等の補間処理の難しい波形の有無を判定し、そのよう
な波形が存在する場合は、その種類を第２の特徴情報と
してクラス分類回路３４に渡す。
【００５１】クラスタップ抽出回路３２は、注目領域か
ら指定されたタップ位置の画素値を抽出してＡＤＲＣ処
理回路３３に渡す。ＡＤＲＣ処理回路３３は、クラスタ
ップ抽出回路３２から渡されたクラスタップの画素値に
対してＡＤＲＣ処理を行い、各画素に数ビットの符号を
与えたＡＤＲＣ処理の結果を第１の特徴情報としてクラ
ス分類回路３４に渡す。
ら指定されたタップ位置の画素値を抽出してＡＤＲＣ処
理回路３３に渡す。ＡＤＲＣ処理回路３３は、クラスタ
ップ抽出回路３２から渡されたクラスタップの画素値に
対してＡＤＲＣ処理を行い、各画素に数ビットの符号を
与えたＡＤＲＣ処理の結果を第１の特徴情報としてクラ
ス分類回路３４に渡す。
【００５２】クラス分類回路３４は、ＡＤＲＣ処理回路
３３から受け取ったクラスタップのＡＤＲＣ処理結果す
なわち第１の特徴情報と、斜め線・細線抽出回路３１か
ら受け取った斜め線や細線等の急峻なエッジ部分の画素
を示す第２の特徴情報からクラスを決定してクラス番号
を係数メモリ３５に出力する。係数メモリ３５は、クラ
ス分類回路３４から受け取ったクラス番号に対応した予
測係数セットを読み出して適応処理回路３７に渡す。ま
た、予測タップ抽出回路３６は、注目領域から指定され
たタップ位置の画素値を抽出して適応処理回路３７に渡
す。
３３から受け取ったクラスタップのＡＤＲＣ処理結果す
なわち第１の特徴情報と、斜め線・細線抽出回路３１か
ら受け取った斜め線や細線等の急峻なエッジ部分の画素
を示す第２の特徴情報からクラスを決定してクラス番号
を係数メモリ３５に出力する。係数メモリ３５は、クラ
ス分類回路３４から受け取ったクラス番号に対応した予
測係数セットを読み出して適応処理回路３７に渡す。ま
た、予測タップ抽出回路３６は、注目領域から指定され
たタップ位置の画素値を抽出して適応処理回路３７に渡
す。
【００５３】そして、適応処理回路３７は、予測タップ
抽出回路３６から渡された予測タップの画素値に、係数
メモリ３５から読み出されるクラス番号に対応した予測
係数セットを乗算し、線形和をもって予測画素値として
出力する。
抽出回路３６から渡された予測タップの画素値に、係数
メモリ３５から読み出されるクラス番号に対応した予測
係数セットを乗算し、線形和をもって予測画素値として
出力する。
【００５４】すなわち、クラス分類適応処理部２４で
は、図６のフローチャートに示す手順に従ってクラス分
類適応処理を行う。
は、図６のフローチャートに示す手順に従ってクラス分
類適応処理を行う。
【００５５】ステップＳ２１では、ホワイトバランス調
整部２３によりホワイトバランスが調整された画像信号
について、クラスタップ抽出回路３２及び予測タップ抽
出回路３６によりクラスタップ及び予測タップの画素値
を抽出するブロック化処理を行う。
整部２３によりホワイトバランスが調整された画像信号
について、クラスタップ抽出回路３２及び予測タップ抽
出回路３６によりクラスタップ及び予測タップの画素値
を抽出するブロック化処理を行う。
【００５６】次のステップＳ２２では、斜め線・細線抽
出回路３１により、注目画素に対して、フィルタなどの
処理により斜め線や細線が存在するか否かを判定し、そ
の結果を第２の特徴情報としてクラス分類回路３４に渡
して、クラス分類に反映させる。
出回路３１により、注目画素に対して、フィルタなどの
処理により斜め線や細線が存在するか否かを判定し、そ
の結果を第２の特徴情報としてクラス分類回路３４に渡
して、クラス分類に反映させる。
【００５７】次のステップＳ２３では、クラスタップ抽
出回路３２から渡されたクラスタップの画素値に対して
ＡＤＲＣ処理を行い、各タップに数ビットの符号を与え
る。
出回路３２から渡されたクラスタップの画素値に対して
ＡＤＲＣ処理を行い、各タップに数ビットの符号を与え
る。
【００５８】次のステップＳ２４では、クラス分類回路
３４により、ＡＤＲＣ処理回路３３によるＡＤＲＣ処理
結果すなわち第１の特徴情報と、斜め線・細線抽出回路
３１によるからの第２の特徴情報からクラスを決定して
クラス番号を出力する。
３４により、ＡＤＲＣ処理回路３３によるＡＤＲＣ処理
結果すなわち第１の特徴情報と、斜め線・細線抽出回路
３１によるからの第２の特徴情報からクラスを決定して
クラス番号を出力する。
【００５９】次のステップＳ２５では、予測タップ抽出
回路３６により抽出された予測タップの画素値に、適応
処理回路３７によりクラス番号に対応した予測係数セッ
トを乗算し、それらの線形和を予測画素値とする。
回路３６により抽出された予測タップの画素値に、適応
処理回路３７によりクラス番号に対応した予測係数セッ
トを乗算し、それらの線形和を予測画素値とする。
【００６０】次のステップＳ２６では、全てのブロック
についての処理が終了したか否かを判定し、まだ処理し
ていないブロックが存在する場合には、ステップＳ２１
に戻り、それ以降の処理を繰り返し実行する。そして、
ステップＳ２６において、全てのブロックについての処
理が終了したと判定された場合には、クラス分類適応処
理を終了して、上述のステップＳ１６に移行する。
についての処理が終了したか否かを判定し、まだ処理し
ていないブロックが存在する場合には、ステップＳ２１
に戻り、それ以降の処理を繰り返し実行する。そして、
ステップＳ２６において、全てのブロックについての処
理が終了したと判定された場合には、クラス分類適応処
理を終了して、上述のステップＳ１６に移行する。
【００６１】ここで、上記クラス分類適応処理に用いる
予測係数セットは、予め学習により得られるもので、上
記係数メモリ３５に記憶されている。
予測係数セットは、予め学習により得られるもので、上
記係数メモリ３５に記憶されている。
【００６２】次に、この学習について説明する。図７
は、予測係数セットを学習により得る学習装置４０の構
成を示すブロック図である。
は、予測係数セットを学習により得る学習装置４０の構
成を示すブロック図である。
【００６３】この学習装置４０では、クラス分類適応処
理の結果として生成されるべき出力画像信号、すなわち
３板式カメラのＣＣＤ出力相当の画像信号と同一の信号
形式を有する高解像度の教師画像信号が間引き回路４１
及び予測対象画素抽出回路４７に供給される。間引き回
路４１は、教師画像信号から、色フィルタアレイの各色
の配置に従つて画素を間引く。間引き処理は、ＣＣＤイ
メージセンサ５に対して着される光学ローパスフィルタ
を想定したフィルタをかけることによって行う。すなわ
ち、実際の光学系を想定した間引き処理を行う。間引き
回路４１の出力が生徒画像信号として、斜め線・細線抽
出回路４２、クラスタップ抽出回路４３及び予測タップ
抽出回路４６に供給される。なお、教師画像信号と生徒
画像信号を個別に準備しておくことにより、上記間引き
回路４１を省略することもできる。
理の結果として生成されるべき出力画像信号、すなわち
３板式カメラのＣＣＤ出力相当の画像信号と同一の信号
形式を有する高解像度の教師画像信号が間引き回路４１
及び予測対象画素抽出回路４７に供給される。間引き回
路４１は、教師画像信号から、色フィルタアレイの各色
の配置に従つて画素を間引く。間引き処理は、ＣＣＤイ
メージセンサ５に対して着される光学ローパスフィルタ
を想定したフィルタをかけることによって行う。すなわ
ち、実際の光学系を想定した間引き処理を行う。間引き
回路４１の出力が生徒画像信号として、斜め線・細線抽
出回路４２、クラスタップ抽出回路４３及び予測タップ
抽出回路４６に供給される。なお、教師画像信号と生徒
画像信号を個別に準備しておくことにより、上記間引き
回路４１を省略することもできる。
【００６４】斜め線・細線抽出回路４２は、生徒画像信
号について局所的な注目領域に対してフィルタ等を用い
て斜め線や細線等の有無を判定し、その判別結果を第２
の特徴情報としてクラス分類回路４５に渡す。
号について局所的な注目領域に対してフィルタ等を用い
て斜め線や細線等の有無を判定し、その判別結果を第２
の特徴情報としてクラス分類回路４５に渡す。
【００６５】クラスタップ抽出回路４３は、間引き回路
４１により生成された生徒画像信号から、クラス分類に
用いるクラスタップを抽出してＡＤＲＣ処理回路４４に
渡す。
４１により生成された生徒画像信号から、クラス分類に
用いるクラスタップを抽出してＡＤＲＣ処理回路４４に
渡す。
【００６６】ＡＤＲＣ処理回路４４は、クラスタップ抽
出回路４３から渡されたクラスタップの画素値に対して
ＡＤＲＣ処理を行い、タップ位置の波形の起伏をクラス
に反映させるＡＤＲＣ処理結果を第１の特徴情報として
クラス分類回路４５に渡す。
出回路４３から渡されたクラスタップの画素値に対して
ＡＤＲＣ処理を行い、タップ位置の波形の起伏をクラス
に反映させるＡＤＲＣ処理結果を第１の特徴情報として
クラス分類回路４５に渡す。
【００６７】クラス分類回路４５は、ＡＤＲＣ処理回路
４４から受け取ったクラスタップのＡＤＲＣ処理結果す
なわち第１の特徴情報と、斜め線・細線抽出回路４２か
ら受け取った斜め線や細線等の急峻なエッジ部分の画素
を示す第２の特徴情報からクラスを決定してクラス番号
を第１の演算回路４８に出力する。
４４から受け取ったクラスタップのＡＤＲＣ処理結果す
なわち第１の特徴情報と、斜め線・細線抽出回路４２か
ら受け取った斜め線や細線等の急峻なエッジ部分の画素
を示す第２の特徴情報からクラスを決定してクラス番号
を第１の演算回路４８に出力する。
【００６８】予測タップ抽出回路４６は、生徒画像にお
けるクラスタップとの対応をとりながら、間引き回路４
１により生成された生徒画像信号から予測タップを抽出
して第１の演算回路４８に出力する。ここでは、全色信
号から予測タップを抽出するものとする。
けるクラスタップとの対応をとりながら、間引き回路４
１により生成された生徒画像信号から予測タップを抽出
して第１の演算回路４８に出力する。ここでは、全色信
号から予測タップを抽出するものとする。
【００６９】予測対象画素抽出回路４７は、生徒画像か
ら抽出されるクラスタップ及び予測タップとの対応をと
りながら、予測の対象となる画素値を教師画像信号から
抽出して第１の演算回路４８に出力する。
ら抽出されるクラスタップ及び予測タップとの対応をと
りながら、予測の対象となる画素値を教師画像信号から
抽出して第１の演算回路４８に出力する。
【００７０】第１の演算回路４８は、クラス分類回路４
５から出力されたクラス番号毎に、予測タップの画素値
と予測対象画素の画素値を、最小自乗法を解くための正
規方程式に足し込み、予測係数セットを解とする方程式
である正規方程式のマトリクスの係数を演算する。上記
第１の演算回路４８によって生成される正規方程式のマ
トリクスの係数が学習データメモリ４９に逐次読み込ま
れ、蓄積される。
５から出力されたクラス番号毎に、予測タップの画素値
と予測対象画素の画素値を、最小自乗法を解くための正
規方程式に足し込み、予測係数セットを解とする方程式
である正規方程式のマトリクスの係数を演算する。上記
第１の演算回路４８によって生成される正規方程式のマ
トリクスの係数が学習データメモリ４９に逐次読み込ま
れ、蓄積される。
【００７１】第２の演算回路５０は、学習データメモリ
４９に蓄積された正規方程式のマトリクスの係数を用い
て、コレスキー分解など手法により正規方程式を解く処
理を実行する。これにより、クラス毎の予測係数セット
が算出される。算出された予測係数セットは、クラスに
対応させて係数メモリ５１に記憶される。係数メモリ５
１の記憶内容は、上述の係数メモリ３５にロードされ、
クラス分類適応処理を行う際に使用される。
４９に蓄積された正規方程式のマトリクスの係数を用い
て、コレスキー分解など手法により正規方程式を解く処
理を実行する。これにより、クラス毎の予測係数セット
が算出される。算出された予測係数セットは、クラスに
対応させて係数メモリ５１に記憶される。係数メモリ５
１の記憶内容は、上述の係数メモリ３５にロードされ、
クラス分類適応処理を行う際に使用される。
【００７２】次に、図８のフローチャートを参照して、
学習装置４０の動作について説明する。
学習装置４０の動作について説明する。
【００７３】この学習装置４０に入力されるデジタル画
像信号は、３板式カメラで撮像された画像に相当する画
質が得られる画像信号である。なお、３板式カメラで得
られる画像信号（教師画像信号）は、１画素の画像信号
としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、
単板式カメラで得られる画像信号（生徒画像信号）は、
１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の
１つの色信号のみを含んでいる。例えば図９の（Ａ）に
示すように３板式カメラで撮像されたＨＤ画像信号をフ
ィルタリングして図９の（Ｂ）に示すように１／４サイ
ズのＳＤ画像信号に変換した教師画像信号が、この学習
装置４０に入力される。
像信号は、３板式カメラで撮像された画像に相当する画
質が得られる画像信号である。なお、３板式カメラで得
られる画像信号（教師画像信号）は、１画素の画像信号
としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、
単板式カメラで得られる画像信号（生徒画像信号）は、
１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の
１つの色信号のみを含んでいる。例えば図９の（Ａ）に
示すように３板式カメラで撮像されたＨＤ画像信号をフ
ィルタリングして図９の（Ｂ）に示すように１／４サイ
ズのＳＤ画像信号に変換した教師画像信号が、この学習
装置４０に入力される。
【００７４】ステップＳ３１では、３板式カメラで撮像
された画像に相当する画質が得られる教師画像信号に対
して間引き回路４１により単板カメラのＣＣＤイメージ
センサ５に用いられる色コーディングフィルタ４に相当
するフィルタをかける間引き処理を実行することで、図
９の（Ｃ）に示すように単板式カメラのＣＣＤイメージ
センサ５が出力する画像信号に対応する生徒画像信号を
教師画像信号から生成し、生成した生徒画像信号をクラ
スタップ抽出回路４３及び予測タップ抽出回路４６に供
給する。
された画像に相当する画質が得られる教師画像信号に対
して間引き回路４１により単板カメラのＣＣＤイメージ
センサ５に用いられる色コーディングフィルタ４に相当
するフィルタをかける間引き処理を実行することで、図
９の（Ｃ）に示すように単板式カメラのＣＣＤイメージ
センサ５が出力する画像信号に対応する生徒画像信号を
教師画像信号から生成し、生成した生徒画像信号をクラ
スタップ抽出回路４３及び予測タップ抽出回路４６に供
給する。
【００７５】ステップＳ３２では、間引き回路４１によ
り生成された生徒画像信号から、クラスタップ抽出回路
４３及び予測タップ抽出回路４６によりクラスタップ及
び予測タップの画素値を抽出するブロック化処理を行
う。また、予測対象画素抽出回路４７により、生徒画像
から抽出されるクラスタップ及び予測タップとの対応を
とりながら、予測対象画素の画素値を教師画像信号から
抽出する。
り生成された生徒画像信号から、クラスタップ抽出回路
４３及び予測タップ抽出回路４６によりクラスタップ及
び予測タップの画素値を抽出するブロック化処理を行
う。また、予測対象画素抽出回路４７により、生徒画像
から抽出されるクラスタップ及び予測タップとの対応を
とりながら、予測対象画素の画素値を教師画像信号から
抽出する。
【００７６】ステップＳ３３では、斜め線・細線抽出回
路４２において生徒画像信号について局所的な注目領域
に対してフィルタをかけることにより斜め線や細線等の
有無を判定し、その判別結果を第２の特徴情報としてク
ラス分類回路４５に渡す。
路４２において生徒画像信号について局所的な注目領域
に対してフィルタをかけることにより斜め線や細線等の
有無を判定し、その判別結果を第２の特徴情報としてク
ラス分類回路４５に渡す。
【００７７】ステップＳ３４では、ＡＤＲＣ処理回路４
４により、クラスタップ抽出回路４３から渡されたクラ
スタップの画素値についてＡＤＲＣ処理を行う。
４により、クラスタップ抽出回路４３から渡されたクラ
スタップの画素値についてＡＤＲＣ処理を行う。
【００７８】ステップＳ３５では、ＡＤＲＣ処理回路４
４によるクラスタップのＡＤＲＣ処理の結果から、クラ
ス分類回路４５によりクラスを決定してクラス番号を出
力する。
４によるクラスタップのＡＤＲＣ処理の結果から、クラ
ス分類回路４５によりクラスを決定してクラス番号を出
力する。
【００７９】ステップＳ３６では、第１の演算回路４８
により、クラス分類回路４５から出力されたクラス番号
にしたがって予測タップの画素値と予測対象画素の画素
値を正規方程式に足し込む。
により、クラス分類回路４５から出力されたクラス番号
にしたがって予測タップの画素値と予測対象画素の画素
値を正規方程式に足し込む。
【００８０】ステップＳ３７では、第１の演算回路４８
による正規方程式への足し込みの処理が、学習の対象画
素の全てに対して行われたか否かを判定する。まだ処理
していない対象画素が存在する場合には、ステップＳ３
２に戻り、また、全て対象画素についての処理が行われ
ていればステップＳ３８に進む。
による正規方程式への足し込みの処理が、学習の対象画
素の全てに対して行われたか否かを判定する。まだ処理
していない対象画素が存在する場合には、ステップＳ３
２に戻り、また、全て対象画素についての処理が行われ
ていればステップＳ３８に進む。
【００８１】ステップＳ３８では、第２の演算回路５０
は、学習データメモリ４９に蓄積された正規方程式のマ
トリクスの係数を用いて、コレスキー分解などの手法に
より正規方程式を解く処理を実行する。
は、学習データメモリ４９に蓄積された正規方程式のマ
トリクスの係数を用いて、コレスキー分解などの手法に
より正規方程式を解く処理を実行する。
【００８２】ステップＳ３９では、第２の演算回路５０
による正規方程式を解く処理が、全てのクラス番号の正
規方程式について行われたか否かを判定する。まだ処理
していない正規方程式が存在する場合には、ステップＳ
３８に戻り、また、全ての処理が行われていれば、学習
処理を終了する。
による正規方程式を解く処理が、全てのクラス番号の正
規方程式について行われたか否かを判定する。まだ処理
していない正規方程式が存在する場合には、ステップＳ
３８に戻り、また、全ての処理が行われていれば、学習
処理を終了する。
【００８３】このようにしてクラスコードと関連付けら
れて係数メモリ５１に記憶された予測係数セットは、図
５に示したクラス分類適応処理部２４の係数メモリ３５
に記憶されることになる。そして、画像信号処理部８の
クラス分類適応処理部２４は、上述したように、係数メ
モリ３５に記憶されている予測係数セットを用いて、線
形１次結合モデルにより、注目画素に対して適応処理を
行う。
れて係数メモリ５１に記憶された予測係数セットは、図
５に示したクラス分類適応処理部２４の係数メモリ３５
に記憶されることになる。そして、画像信号処理部８の
クラス分類適応処理部２４は、上述したように、係数メ
モリ３５に記憶されている予測係数セットを用いて、線
形１次結合モデルにより、注目画素に対して適応処理を
行う。
【００８４】例えば、図１０の（Ａ）に示すｎ×ｍ（ｎ
及びｍは正の整数）個の画素で構成されるＣＣＤイメー
ジセンサにより得られるベイヤー配列の色フィルタアレ
イにより色コーディングされた出力画像信号から、図１
０の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２
ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画
素の画像信号を、それぞれ直接生成する適応処理を行う
ことにより、４倍密度の画像を生成する。この場合、画
像信号処理部８では、クラスタップ抽出部３０により入
力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロッ
クに分割し、各ブロック毎にクラスタップを抽出する。
及びｍは正の整数）個の画素で構成されるＣＣＤイメー
ジセンサにより得られるベイヤー配列の色フィルタアレ
イにより色コーディングされた出力画像信号から、図１
０の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２
ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画
素の画像信号を、それぞれ直接生成する適応処理を行う
ことにより、４倍密度の画像を生成する。この場合、画
像信号処理部８では、クラスタップ抽出部３０により入
力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロッ
クに分割し、各ブロック毎にクラスタップを抽出する。
【００８５】この場合、例えば、図１１乃至図１４に示
すようような構造のクラスタップが使用される。図１１
の（Ａ）、図１２の（Ａ）、図１３の（Ａ）及び図１４
の（Ａ）に示される注目画素の斜め方向に隣接する位置
に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号
を生成する場合、及び、そのための予測係数セットを算
出する際に、クラスを決定するのに用いられるにクラス
タップの一例の構造を図１１の（Ｂ）、図１２の
（Ｂ）、図１３の（Ｂ）及び図１４の（Ｂ）に示す。図
１１の（Ｂ）、図１２の（Ｂ）、図１３の（Ｂ）及び図
１４の（Ｂ）において、△はＢ信号のクラスタップを示
し、○はＧ信号のクラスタップを示し、さらに、□はＲ
信号のクラスタップを示している。
すようような構造のクラスタップが使用される。図１１
の（Ａ）、図１２の（Ａ）、図１３の（Ａ）及び図１４
の（Ａ）に示される注目画素の斜め方向に隣接する位置
に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号
を生成する場合、及び、そのための予測係数セットを算
出する際に、クラスを決定するのに用いられるにクラス
タップの一例の構造を図１１の（Ｂ）、図１２の
（Ｂ）、図１３の（Ｂ）及び図１４の（Ｂ）に示す。図
１１の（Ｂ）、図１２の（Ｂ）、図１３の（Ｂ）及び図
１４の（Ｂ）において、△はＢ信号のクラスタップを示
し、○はＧ信号のクラスタップを示し、さらに、□はＲ
信号のクラスタップを示している。
【００８６】そして、このような構造のクラスタップを
クラスタップ抽出部３０により抽出し、クラス分類回路
４５では、ＡＤＲＣ処理回路４４によるクラスタップ
（９タップ）の１ビットＡＤＲＣの結果を示す第１の特
徴情報による５１２クラスを、斜め線・細線抽出回路４
２による急峻なエッジパターンの有無の判別結果を示す
第２の特徴情報によりそれぞれ２クラスに分類し、１０
２４クラスに分類する。
クラスタップ抽出部３０により抽出し、クラス分類回路
４５では、ＡＤＲＣ処理回路４４によるクラスタップ
（９タップ）の１ビットＡＤＲＣの結果を示す第１の特
徴情報による５１２クラスを、斜め線・細線抽出回路４
２による急峻なエッジパターンの有無の判別結果を示す
第２の特徴情報によりそれぞれ２クラスに分類し、１０
２４クラスに分類する。
【００８７】ここで、斜め線・細線抽出回路４２に使用
するフィルタとしては、例えば図１５の（Ａ）〜（Ｆ）
に示すようなタップ構造のフィルタを使用することがで
きる。
するフィルタとしては、例えば図１５の（Ａ）〜（Ｆ）
に示すようなタップ構造のフィルタを使用することがで
きる。
【００８８】図１５の（Ａ）は、水平エッジ検出用のフ
ィルタのタップ構造を示している。水平エッジ検出用の
フィルタでは、図１５の（Ａ）に◎で示す注目画素に対
して、□で示すように、上下に隣接する２個のＧ画素
と、これらのＧ画素の左右にある４個のＧ画素の合計６
個のＧ画素がフィルタタップとされる。
ィルタのタップ構造を示している。水平エッジ検出用の
フィルタでは、図１５の（Ａ）に◎で示す注目画素に対
して、□で示すように、上下に隣接する２個のＧ画素
と、これらのＧ画素の左右にある４個のＧ画素の合計６
個のＧ画素がフィルタタップとされる。
【００８９】図１５の（Ｂ）は、垂直エッジ検出用のフ
ィルタのタップ構造を示している。垂直エッジ検出用の
フィルタでは、図１５の（Ｂ）に◎で示す注目画素に対
して、□で示すように、左右に隣接する２個のＧ画素
と、これらのＧ画素の上下にある４個のＧ画素の合計６
個のＧ画素がフィルタタップとされる。
ィルタのタップ構造を示している。垂直エッジ検出用の
フィルタでは、図１５の（Ｂ）に◎で示す注目画素に対
して、□で示すように、左右に隣接する２個のＧ画素
と、これらのＧ画素の上下にある４個のＧ画素の合計６
個のＧ画素がフィルタタップとされる。
【００９０】図１５の（Ｃ），（Ｄ）は、それぞれ斜め
エッジ検出用のフィルタのタップ構造を示している。斜
めエッジ検出用のフィルタでは、図１５の（Ｃ），
（Ｄ）に◎で示す注目画素に対して、□で示すように、
上下左右に隣接する４個のＧ画素がフィルタタップとさ
れる。
エッジ検出用のフィルタのタップ構造を示している。斜
めエッジ検出用のフィルタでは、図１５の（Ｃ），
（Ｄ）に◎で示す注目画素に対して、□で示すように、
上下左右に隣接する４個のＧ画素がフィルタタップとさ
れる。
【００９１】図１５の（Ｅ）は、水平細線検出用のフィ
ルタのタップ構造を示している。水平細線検出用のフィ
ルタでは、図１５の（Ｅ）に◎で示す注目画素に対し
て、□で示すように、左右に隣接する２個のＧ画素を上
記水平エッジ検出用のフィルタにおける６個のＧ画素に
加えた合計８個のＧ画素がフィルタタップとされる。
ルタのタップ構造を示している。水平細線検出用のフィ
ルタでは、図１５の（Ｅ）に◎で示す注目画素に対し
て、□で示すように、左右に隣接する２個のＧ画素を上
記水平エッジ検出用のフィルタにおける６個のＧ画素に
加えた合計８個のＧ画素がフィルタタップとされる。
【００９２】図１５の（Ｆ）は、垂直細線検出用のフィ
ルタのタップ構造を示している。垂直細線検出用のフィ
ルタでは、図１５の（Ｆ）に◎で示す注目画素に対し
て、□で示すように、上下に隣接する２個のＧ画素を上
記垂直エッジ検出用のフィルタにおける６個のＧ画素に
加えた合計８個のＧ画素がフィルタタップとされる。
ルタのタップ構造を示している。垂直細線検出用のフィ
ルタでは、図１５の（Ｆ）に◎で示す注目画素に対し
て、□で示すように、上下に隣接する２個のＧ画素を上
記垂直エッジ検出用のフィルタにおける６個のＧ画素に
加えた合計８個のＧ画素がフィルタタップとされる。
【００９３】斜め線・細線抽出回路４２における急峻な
エッジの判別は、これらのフィルタの結果に閾値による
判定を加えることにより行われる。
エッジの判別は、これらのフィルタの結果に閾値による
判定を加えることにより行われる。
【００９４】このようなフィルタは、問題を生じるエッ
ジや波形に従って設計することが可能であり、ＣＣＤイ
メージセンサの色フィルタの特性によっても調整するこ
とができる。
ジや波形に従って設計することが可能であり、ＣＣＤイ
メージセンサの色フィルタの特性によっても調整するこ
とができる。
【００９５】また、予測タップ抽出部３６では、図１６
乃至図１９に示すようような構造の予測タップを抽出す
る。図１６の（Ａ）、図１７の（Ａ）、図１８の（Ａ）
及び図１９の（Ａ）に示される注目画素の斜め方向に隣
接する位置に×印で示される予測画素のＲ信号、Ｇ信号
又はＢ信号を生成する場合、及び、そのための予測係数
セットを算出する際に用いられるに予測タップの一例の
構造を図１６の（Ｂ）、図１７の（Ｂ）、図１８の
（Ｂ）及び図１９の（Ｂ）に示す。すなわち、予測タッ
プは、図１６の（Ｂ）、図１７の（Ｂ）、図１８の
（Ｂ）及び図１９の（Ｂ）に○を付して示すように注目
画素を含む５×５の２５個の画素にて構成される。
乃至図１９に示すようような構造の予測タップを抽出す
る。図１６の（Ａ）、図１７の（Ａ）、図１８の（Ａ）
及び図１９の（Ａ）に示される注目画素の斜め方向に隣
接する位置に×印で示される予測画素のＲ信号、Ｇ信号
又はＢ信号を生成する場合、及び、そのための予測係数
セットを算出する際に用いられるに予測タップの一例の
構造を図１６の（Ｂ）、図１７の（Ｂ）、図１８の
（Ｂ）及び図１９の（Ｂ）に示す。すなわち、予測タッ
プは、図１６の（Ｂ）、図１７の（Ｂ）、図１８の
（Ｂ）及び図１９の（Ｂ）に○を付して示すように注目
画素を含む５×５の２５個の画素にて構成される。
【００９６】なお、本来、クラスタップ及び予測タップ
の位置は、それぞれ最も効率の良いように配置される。
そして、クラスタップ及び予測タップは数多く使用する
方が、処理の精度は向上する。
の位置は、それぞれ最も効率の良いように配置される。
そして、クラスタップ及び予測タップは数多く使用する
方が、処理の精度は向上する。
【００９７】以上の実施の形態の効果を評価するため、
色フィルタアレイとしてベイヤー配列のものを用いた場
合を想定したシミュレーションを行った。
色フィルタアレイとしてベイヤー配列のものを用いた場
合を想定したシミュレーションを行った。
【００９８】学習装置４０と同様の処理を行うアルゴリ
ズムで予測係数セットを生成し、３板式カメラのＣＣＤ
出力相当の画像信号から、クラス分類適応処理の倍率と
画素の位置関係を考慮した間引き操作により、単板式カ
メラのＣＣＤ出力相当の画像信号を生成し、上述したク
ラス分類適応処理による補間を行ったところ、従来の線
形補間、また、ＲＧＢそれぞれのＡＤＲＣの波形分類を
組み合わせたクラス分類などとの対比の結果、本発明の
優位性を確認することができた。
ズムで予測係数セットを生成し、３板式カメラのＣＣＤ
出力相当の画像信号から、クラス分類適応処理の倍率と
画素の位置関係を考慮した間引き操作により、単板式カ
メラのＣＣＤ出力相当の画像信号を生成し、上述したク
ラス分類適応処理による補間を行ったところ、従来の線
形補間、また、ＲＧＢそれぞれのＡＤＲＣの波形分類を
組み合わせたクラス分類などとの対比の結果、本発明の
優位性を確認することができた。
【００９９】シミュレーションには、ＩＴＥ(Institute
of Television Engineers) のハイビジョン標準画像９
枚を使用し、予測係数セットの算出に関してもその９枚
を用いてシミュレーションを行った。その結果、線形補
間との比較では、全ての画像のＲＧＢにおいて斜め線や
エッジ部分、細部の鮮鋭度が増加し、ＳＮも向上するこ
とができた。
of Television Engineers) のハイビジョン標準画像９
枚を使用し、予測係数セットの算出に関してもその９枚
を用いてシミュレーションを行った。その結果、線形補
間との比較では、全ての画像のＲＧＢにおいて斜め線や
エッジ部分、細部の鮮鋭度が増加し、ＳＮも向上するこ
とができた。
【０１００】なお、上述した説明では、色コーディング
フィルタ４として、ベイヤー配列のものを用いた場合を
説明したが、他の構成のであっても情報の密度に差があ
る構成の色コーディングフィルタを用いる場合には本発
明を適応するができる。
フィルタ４として、ベイヤー配列のものを用いた場合を
説明したが、他の構成のであっても情報の密度に差があ
る構成の色コーディングフィルタを用いる場合には本発
明を適応するができる。
【０１０１】ここで、このデジタルスチルカメラ１のＣ
ＣＤイメージセンサ５に用いることのできる色コーディ
ングフィルタ４を構成する色フィルタアレイの構成例を
図２０の（Ａ）〜（Ｎ）に示す。
ＣＤイメージセンサ５に用いることのできる色コーディ
ングフィルタ４を構成する色フィルタアレイの構成例を
図２０の（Ａ）〜（Ｎ）に示す。
【０１０２】図２０の（Ａ）〜（Ｇ）は、原色（Ｒ，
Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成さ
れた色コーディングフィルタ４における緑（Ｇ）・赤
（Ｒ）・青（Ｂ）の色配列の例を示している。
Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成さ
れた色コーディングフィルタ４における緑（Ｇ）・赤
（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１０３】図２０の（Ａ）はベイヤー配列を示し、図
２０の（Ｂ）はインタライン配列を示し、図２０の
（Ｃ）はＧストライプＲＢ市松配列を示し、図２０の
（Ｄ）はＧストライプＲＢ完全市松配列を示し、図２０
（Ｅ）はストライプ配列を示し、図２０の（Ｆ）は斜め
ストライプ配列を示し、図２０の（Ｇ）は原色色差配列
を示す。
２０の（Ｂ）はインタライン配列を示し、図２０の
（Ｃ）はＧストライプＲＢ市松配列を示し、図２０の
（Ｄ）はＧストライプＲＢ完全市松配列を示し、図２０
（Ｅ）はストライプ配列を示し、図２０の（Ｆ）は斜め
ストライプ配列を示し、図２０の（Ｇ）は原色色差配列
を示す。
【０１０４】また、図２０の（Ｈ）〜（Ｎ）は、補色
（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタ
アレイで構成された色コーディングフィルタ４における
マゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の
色配列を示す。図２０の（Ｈ）はフィールド色差順次配
列を示し、図２０の（Ｉ）がフレーム色差順次配列を示
し、図２０の（Ｊ）はＭＯＳ型配列を示し、図２０の
（Ｋ）は改良ＭＯＳ型配列を示し、図２０の（Ｌ）はフ
レームインターリーブ配列を示し、図２０の（Ｍ）はフ
ィールドインターリーブ配列を示し、図２０の（Ｎ）は
ストライプ配列を示す。
（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタ
アレイで構成された色コーディングフィルタ４における
マゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の
色配列を示す。図２０の（Ｈ）はフィールド色差順次配
列を示し、図２０の（Ｉ）がフレーム色差順次配列を示
し、図２０の（Ｊ）はＭＯＳ型配列を示し、図２０の
（Ｋ）は改良ＭＯＳ型配列を示し、図２０の（Ｌ）はフ
レームインターリーブ配列を示し、図２０の（Ｍ）はフ
ィールドインターリーブ配列を示し、図２０の（Ｎ）は
ストライプ配列を示す。
【０１０５】なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分
は、 Ｙ＝Ｇ＋Ｒ Ｍ＝Ｒ＋Ｂ Ｃ＝Ｇ＋Ｂ Ｗ＝Ｒ＋Ｇ＋Ｂ にて与えられる。また、図２０の（Ｉ）に示すフレーム
色差順対応の色コーディングフィルタ４を通過する各色
（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、 ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ にて与えられる。
は、 Ｙ＝Ｇ＋Ｒ Ｍ＝Ｒ＋Ｂ Ｃ＝Ｇ＋Ｂ Ｗ＝Ｒ＋Ｇ＋Ｂ にて与えられる。また、図２０の（Ｉ）に示すフレーム
色差順対応の色コーディングフィルタ４を通過する各色
（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、 ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ にて与えられる。
【０１０６】また、このデジタルスチルカメラ１では、
単板のＣＣＤイメージセンサ５により撮像された画像信
号から４倍密度の画像信号をクラス分類適応処理により
生成するようにしたが、単板画像から３板相当画像への
変換に限られることなく、任意の画素数への変換をクラ
ス分類適応処理により行うようにすることができ、ま
た、それらの処理を同時に行うなどの各種処理をクラス
分類適応処理により行うようにすることができる。
単板のＣＣＤイメージセンサ５により撮像された画像信
号から４倍密度の画像信号をクラス分類適応処理により
生成するようにしたが、単板画像から３板相当画像への
変換に限られることなく、任意の画素数への変換をクラ
ス分類適応処理により行うようにすることができ、ま
た、それらの処理を同時に行うなどの各種処理をクラス
分類適応処理により行うようにすることができる。
【０１０７】上記クラス分類適応処理を行うためのクラ
ス分類の手法には、クラスタップの画素値について、波
形の特徴をＡＤＲＣによって表す以外にも、クラスタッ
プの画素値のＭＳＢ数ビットを用いるなどの手法がある
が、本発明は基本的のどのクラス分類を採用することも
できる。
ス分類の手法には、クラスタップの画素値について、波
形の特徴をＡＤＲＣによって表す以外にも、クラスタッ
プの画素値のＭＳＢ数ビットを用いるなどの手法がある
が、本発明は基本的のどのクラス分類を採用することも
できる。
【０１０８】さらに、上記クラス分類適応処理部２４に
おけるクラス分類適応処理や、上記学習装置４０におい
て予測係数セットを得るための学習処理は、例えば図２
１に示すように、バス３１１に接続されたＣＰＵ(Centr
al Processing Unit) ３１２、メモリ３１３、入力イン
ターフェース３１４、ユーザインターフェース３１５や
出力インターフェース３１６などにより構成される一般
的なコンピュータシステム３１０により実行することが
できる。上記処理を実行するコンピュータプログラム
は、記録媒体に記録されて、画素位置毎に複数のうちの
何れか一つを表す色成分を持つ入力画像信号を処理する
画像信号処理を行うコンピュータ制御可能なプログラム
が記録された記録媒体、又は、クラスに応じた予測係数
セットを生成するための学習処理を行うコンピュータ制
御可能なプログラムが記録された記録媒体として、ユー
ザに提供される。上記記録媒体には、磁気ディスク、Ｃ
Ｄ−ＲＯＭなどの情報記録媒体の他、インターネット、
デジタル衛星などのネットワークによる伝送媒体も含ま
れる。
おけるクラス分類適応処理や、上記学習装置４０におい
て予測係数セットを得るための学習処理は、例えば図２
１に示すように、バス３１１に接続されたＣＰＵ(Centr
al Processing Unit) ３１２、メモリ３１３、入力イン
ターフェース３１４、ユーザインターフェース３１５や
出力インターフェース３１６などにより構成される一般
的なコンピュータシステム３１０により実行することが
できる。上記処理を実行するコンピュータプログラム
は、記録媒体に記録されて、画素位置毎に複数のうちの
何れか一つを表す色成分を持つ入力画像信号を処理する
画像信号処理を行うコンピュータ制御可能なプログラム
が記録された記録媒体、又は、クラスに応じた予測係数
セットを生成するための学習処理を行うコンピュータ制
御可能なプログラムが記録された記録媒体として、ユー
ザに提供される。上記記録媒体には、磁気ディスク、Ｃ
Ｄ−ＲＯＭなどの情報記録媒体の他、インターネット、
デジタル衛星などのネットワークによる伝送媒体も含ま
れる。
【０１０９】
【発明の効果】以上の如く本発明によれば、本発明は、
画素位置毎に輝度あるいは複数の色のうちのいずれか１
つを表す色成分を画素データとして持つ入力画像信号の
注目画素毎に、上記注目画素近傍の複数の画素を第１の
画素として抽出し、抽出された複数の画素の各信号値か
ら第１の特徴情報を生成するとともに、上記入力画像信
号の注目画素毎に、上記注目画素近傍の複数の画素を第
２の画素として抽出し、上記第２の画素の各画素データ
に基づいて、上記注目画素近傍のエッジ情報を第２の特
徴情報として生成し、上記第１の特徴情報及び第２の特
徴情報に基づいて１つのクラスを決定し、そのクラスに
基づいて、少なくとも上記注目画素の位置に、上記色成
分である上記画素データを生成するので、画像の斜め線
や細線の部分に対応したクラス分類適応処理により、解
像度が高く、細部まで鮮明な画像を再現できる画像信号
を単板式カメラのＣＣＤ出力から得ることができる。
画素位置毎に輝度あるいは複数の色のうちのいずれか１
つを表す色成分を画素データとして持つ入力画像信号の
注目画素毎に、上記注目画素近傍の複数の画素を第１の
画素として抽出し、抽出された複数の画素の各信号値か
ら第１の特徴情報を生成するとともに、上記入力画像信
号の注目画素毎に、上記注目画素近傍の複数の画素を第
２の画素として抽出し、上記第２の画素の各画素データ
に基づいて、上記注目画素近傍のエッジ情報を第２の特
徴情報として生成し、上記第１の特徴情報及び第２の特
徴情報に基づいて１つのクラスを決定し、そのクラスに
基づいて、少なくとも上記注目画素の位置に、上記色成
分である上記画素データを生成するので、画像の斜め線
や細線の部分に対応したクラス分類適応処理により、解
像度が高く、細部まで鮮明な画像を再現できる画像信号
を単板式カメラのＣＣＤ出力から得ることができる。
【０１１０】また、本発明によれば、画素位置毎に輝度
あるいは複数の色のうちのいずれか１つの色成分を画像
データとして持つ生徒画像信号の注目画素の近傍の複数
の画素を第１の画素として抽出し、抽出された複数の画
素の各画素データに基づいて第１の特徴情報を生成する
とともに、上記生徒画像信号の注目画素毎に、上記注目
画素近傍の複数の画素を第２の画素として抽出し、上記
第２の画素の各画素データに基づいて、上記注目画素近
傍のエッジ情報を第２の特徴情報として生成し、上記第
１の特徴情報及び第２の特徴情報に基づいて１つのクラ
スを決定する。そして、上記生徒画像信号と対応する画
像信号であり、画素位置毎に輝度あるいは複数の色のう
ちのいずれか１つの色成分を画像データとして持つ教師
画像信号から、上記生徒画像信号の注目画素の位置に相
当する位置の近傍の複数の画素を第３の画素として抽出
し、上記第１の画素及び第３の画素として抽出された複
数の画素の各画素データに基づいて、上記クラス毎に、
上記生徒画像信号に相当する画像信号から上記教師画像
信号に相当する画像信号を生成するための予測演算に用
いる予測係数セットを生成するので、画像の斜め線や細
線の部分に対応したクラス分類適応処理により、解像度
が高く、細部まで鮮明な画像を再現できる画像信号を得
るための処理行う画像信号処理装置が用いる予測係数セ
ットを算出することができる。
あるいは複数の色のうちのいずれか１つの色成分を画像
データとして持つ生徒画像信号の注目画素の近傍の複数
の画素を第１の画素として抽出し、抽出された複数の画
素の各画素データに基づいて第１の特徴情報を生成する
とともに、上記生徒画像信号の注目画素毎に、上記注目
画素近傍の複数の画素を第２の画素として抽出し、上記
第２の画素の各画素データに基づいて、上記注目画素近
傍のエッジ情報を第２の特徴情報として生成し、上記第
１の特徴情報及び第２の特徴情報に基づいて１つのクラ
スを決定する。そして、上記生徒画像信号と対応する画
像信号であり、画素位置毎に輝度あるいは複数の色のう
ちのいずれか１つの色成分を画像データとして持つ教師
画像信号から、上記生徒画像信号の注目画素の位置に相
当する位置の近傍の複数の画素を第３の画素として抽出
し、上記第１の画素及び第３の画素として抽出された複
数の画素の各画素データに基づいて、上記クラス毎に、
上記生徒画像信号に相当する画像信号から上記教師画像
信号に相当する画像信号を生成するための予測演算に用
いる予測係数セットを生成するので、画像の斜め線や細
線の部分に対応したクラス分類適応処理により、解像度
が高く、細部まで鮮明な画像を再現できる画像信号を得
るための処理行う画像信号処理装置が用いる予測係数セ
ットを算出することができる。
【図１】本発明を適用したデジタルスチルカメラの構成
を示すブロック図である。
を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するた
めのフローチャートである。
めのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処
理部の構成を示すブロック図である。
理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処
理を説明するためのフローチャートである。
理を説明するためのフローチャートである。
【図５】クラス分類適応処理を行うクラス分類適応処理
部の構成例を示す示すブロック図である。
部の構成例を示す示すブロック図である。
【図６】上記クラス分類適応処理部により行われるクラ
ス分類適応処理を説明するためのフローチャートであ
る。
ス分類適応処理を説明するためのフローチャートであ
る。
【図７】上記クラス分類適応処理部におけるクラス分類
適応処理に用いる予測係数セットを学習により得る学習
装置の構成例を示すブロック図である。
適応処理に用いる予測係数セットを学習により得る学習
装置の構成例を示すブロック図である。
【図８】上記学習装置の動作を説明するためのフローチ
ャートである。
ャートである。
【図９】上記学習装置による学習処理の一例を模式的に
示す図である。
示す図である。
【図１０】上記画像信号処理部におけるクラス適応処理
による画像信号処理の一例を模式的に示す図である。
による画像信号処理の一例を模式的に示す図である。
【図１１】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。
の構造を模式的に示す図である。
【図１２】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。
の構造を模式的に示す図である。
【図１３】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。
の構造を模式的に示す図である。
【図１４】上記クラス適応処理に使用するクラスタップ
の構造を模式的に示す図である。
の構造を模式的に示す図である。
【図１５】上記クラス適応処理部における斜め線・細線
抽出回路に使用するフィルタのタップ構造を模式的に示
す図である。
抽出回路に使用するフィルタのタップ構造を模式的に示
す図である。
【図１６】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。
構造を模式的に示す図である。
【図１７】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。
構造を模式的に示す図である。
【図１８】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。
構造を模式的に示す図である。
【図１９】上記クラス適応処理に使用する予測タップの
構造を模式的に示す図である。
構造を模式的に示す図である。
【図２０】上記デジタルスチルカメラのＣＣＤイメージ
センサに用いることのできる色コーディングフィルタの
色フィルタアレイの構成例を模式的に示す図である。
センサに用いることのできる色コーディングフィルタの
色フィルタアレイの構成例を模式的に示す図である。
【図２１】上記クラス分類適応処理や予測係数セットを
得るための学習処理を行うコンピュータシステムの一般
的な構成を示すブロック図である。
得るための学習処理を行うコンピュータシステムの一般
的な構成を示すブロック図である。
【図２２】従来の線形補間による画像信号処理を模式的
に示す図である。
に示す図である。
１ デジタルスチルカメラ、５ ＣＣＤイメージセン
サ、８ 画像信号処理部、２４ クラス分類適応処理
部、３１ 斜め線・細線抽出回路、３２ クラスタップ
抽出回路、３３ ＡＤＲＣ処理回路、３４ クラス分類
回路、３５ 係数セットメモリ、３６ 予測タップ抽出
回路、３７ 適応処理回路、４０ 学習装置、４１ 間
引き部、４２ 斜め線・細線抽出回路、４３ クラスタ
ップ抽出回路、４４ ＡＤＲＣ処理回路、４５ クラス
分類回路、４６ 予測タップ抽出回路、４７ 予測対象
画素抽出回路、４８ 第１の演算回路、４９ 学習デー
タメモリ、５０ 第２の演算回路、５１ 係数メモリ
サ、８ 画像信号処理部、２４ クラス分類適応処理
部、３１ 斜め線・細線抽出回路、３２ クラスタップ
抽出回路、３３ ＡＤＲＣ処理回路、３４ クラス分類
回路、３５ 係数セットメモリ、３６ 予測タップ抽出
回路、３７ 適応処理回路、４０ 学習装置、４１ 間
引き部、４２ 斜め線・細線抽出回路、４３ クラスタ
ップ抽出回路、４４ ＡＤＲＣ処理回路、４５ クラス
分類回路、４６ 予測タップ抽出回路、４７ 予測対象
画素抽出回路、４８ 第１の演算回路、４９ 学習デー
タメモリ、５０ 第２の演算回路、５１ 係数メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/46 Ｈ０４Ｎ 101:00 ５Ｃ０７９ 9/64 1/40 Ｄ 9/68 １０３ １０１Ｄ 9/79 1/46 Ｚ // Ｈ０４Ｎ 101:00 9/79 Ｇ (72)発明者 沢尾 貴志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD06 CD07 CE03 CE05 CE06 CE17 CH11 DC16 5C055 AA03 BA03 BA06 EA02 EA04 EA05 EA06 HA31 HA36 HA37 5C065 AA03 BB10 BB13 BB48 CC01 CC08 CC09 DD02 DD17 EE05 EE06 FF05 GG08 GG13 GG15 GG18 GG20 GG26 GG32 GG49 5C066 AA01 AA05 AA11 BA01 BA13 CA06 CA17 DD07 EA03 EA11 EA14 EA19 EC04 EC05 GA01 HA03 KA12 KC02 KE03 KE09 KE19 KM02 KM05 KP02 KP05 LA02 5C077 LL08 LL19 MM03 MP08 PP01 PP03 PP27 PP28 PP32 PP34 PP37 PP47 PP66 PP68 PQ12 PQ15 PQ22 RR18 RR19 TT09 5C079 HB01 JA23 LA02 LA15 MA01 MA11 NA03 NA04
Claims (39)
- 【請求項１】 画素位置毎に輝度あるいは複数の色のう
ちのいずれか１つを表す色成分を画素データとして持つ
入力画像信号を処理する画像信号処理装置において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第１の画素として抽出する第１の抽出手段
と、 上記第１の抽出手段で抽出された複数の画素の各画素デ
ータに基づいて第１の特徴情報を生成する第１の特徴情
報生成手段と、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第２の画素として抽出する第２の抽出手段
と、 上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成手段と、 上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定手段と、 上記クラス決定手段で決定されたクラスに基づいて、少
なくとも上記注目画素の位置に、上記色成分である上記
画素データを生成する画素生成手段とを備えることを特
徴とする画像信号処理装置。 - 【請求項２】 上記画素生成手段は、上記注目画素の位
置に、すべての色成分を持つ画素を生成することを特徴
とする請求項１記載の画像信号処理装置。 - 【請求項３】 上記画素生成手段は、上記注目画素とは
異なる上記画素データを生成することを特徴とする請求
項１記載の画像信号処理装置。 - 【請求項４】 上記画素生成手段は、各クラス毎の予測
係数セットを記憶する記憶手段と、上記クラス決定手段
で決定されたクラスに応じた予測係数セットと、上記画
素抽出手段によって抽出された上記注目画素近傍の複数
の画素に基づく演算を行うことにより、上記異なる色成
分を持つ画素を生成する演算手段とを備える特徴とする
請求項１記載の画像信号処理装置。 - 【請求項５】 上記演算手段は、上記予測係数セットと
上記注目画素近傍の複数の画素値との演算を行うことを
特徴とする請求項４記載の画像信号処理装置。 - 【請求項６】 上記画素抽出手段は、上記クラス決定手
段と上記演算手段に対して、少なくとも１画素は異なる
画素を抽出することを特徴とする請求項４記載の画像信
号処理装置。 - 【請求項７】 上記特徴情報生成手段は、ＡＤＲＣ(Ada
ptive Dynamic RangeCoding) 処理によって上記第１の
特徴情報を生成することを特徴とする請求項１記載の画
像信号処理装置。 - 【請求項８】 上記色成分で表される色は、赤、青、緑
の何れかであることを特徴とする請求項１記載の画像信
号処理装置。 - 【請求項９】 画素位置毎に複数の色のうち何れか１つ
を表す色成分を持つ上記画像信号を取得する取得手段を
さらに備えることを特徴とする請求項１記載の画像信号
処理装置。 - 【請求項１０】 上記取得手段は、固体撮像素子である
ことを特徴とする請求項９記載の画像信号処理装置。 - 【請求項１１】 上記固体撮像素子は、ベイヤー配列の
ＣＣＤイメージセンサであることを特徴とする請求項１
０記載の画像信号処理装置。 - 【請求項１２】 画素位置毎に輝度あるいは複数の色の
うちのいずれか１つを表す色成分を画素データとして持
つ入力画像信号を処理する画像信号処理方法において、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第１の画素として抽出する第１の抽出ステ
ップと、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第２の画素として抽出する第２の抽出ステ
ップと、 上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成ステップと、 上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
て、少なくとも上記注目画素の位置に、上記色成分であ
る上記画素データを生成する画素生成ステップとを備え
ることを特徴とする画像信号処理方法。 - 【請求項１３】 上記画素生成ステップは、上記注目画
素の位置に、すべての色成分を持つ画素を生成すること
を特徴とする請求項１２記載の画像信号処理方法。 - 【請求項１４】 上記画素生成ステップは、上記注目画
素とは異なる上記画素データを生成することを特徴とす
る請求項１２記載の画像信号処理方法。 - 【請求項１５】 上記画素生成ステップは、各クラス毎
の予測係数セットを記憶する記憶ステップと、上記クラ
ス決定ステップで決定されたクラスに応じた予測係数セ
ットと、上記画素抽出ステップによって抽出された上記
注目画素近傍の複数の画素に基づく演算を行うことによ
り、上記異なる色成分を持つ画素を生成する演算ステッ
プとを備える特徴とする請求項１２記載の画像信号処理
方法。 - 【請求項１６】 上記演算ステップは、上記予測係数セ
ットと上記注目画素近傍の複数の画素値との演算を行う
ことを特徴とする請求項１５記載の画像信号処理方法。 - 【請求項１７】 上記画素抽出ステップは、上記クラス
決定ステップと上記演算ステップに対して、少なくとも
１画素は異なる画素を抽出することを特徴とする請求項
１５記載の画像信号処理方法。 - 【請求項１８】 上記特徴情報生成ステップは、ＡＤＲ
Ｃ(Adaptive DynamicRange Coding) 処理によって上記
第１の特徴情報を生成することを特徴とする請求項１２
記載の画像信号処理方法。 - 【請求項１９】 上記色成分で表される色は、赤、青、
緑の何れかであることを特徴とする請求項１２記載の画
像信号処理方法。 - 【請求項２０】 画素位置毎に複数の色のうち何れか１
つを表す色成分を持つ上記画像信号を取得する取得ステ
ップをさらに備えることを特徴とする請求項１２記載の
画像信号処理方法。 - 【請求項２１】 上記取得ステップは、固体撮像素子で
あることを特徴とする請求項２０記載の画像信号処理方
法。 - 【請求項２２】 上記固体撮像素子は、ベイヤー配列の
ＣＣＤイメージセンサであることを特徴とする請求項２
１記載の画像信号処理方法。 - 【請求項２３】 画素位置毎に輝度あるいは複数の色の
うちのいずれか１つを表す色成分を画素データとして持
つ入力画像信号を処理する画像信号処理を行うコンピュ
ータ制御可能なプログラムが記録された記録媒体におい
て、 上記プログラムは、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第１の画素として抽出する第１の抽出ステ
ップと、 上記入力画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第２の画素として抽出する第２の抽出ステ
ップと、 上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成ステップと、 上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定ステップと、 上記クラス決定ステップで決定されたクラスに基づい
て、少なくとも上記注目画素の位置に、上記色成分であ
る上記画素データを生成する画素生成ステップとを備え
ることを特徴とする記録媒体。 - 【請求項２４】 上記画素生成ステップは、上記注目画
素の位置に、すべての色成分を持つ画素を生成すること
を特徴とする請求項２３記載の記録媒体。 - 【請求項２５】 上記画素生成ステップは、上記注目画
素とは異なる上記画素データを生成することを特徴とす
る請求項２３記載の記録媒体。 - 【請求項２６】 上記画素生成ステップは、各クラス毎
の予測係数セットを記憶する記憶ステップと、上記クラ
ス決定ステップで決定されたクラスに応じた予測係数セ
ットと、上記画素抽出ステップによって抽出された上記
注目画素近傍の複数の画素に基づく演算を行うことによ
り、上記異なる色成分を持つ画素を生成する演算ステッ
プとを備える特徴とする請求項２３記載の記録媒体。 - 【請求項２７】 上記演算ステップは、上記予測係数セ
ットと上記注目画素近傍の複数の画素値との演算を行う
ことを特徴とする請求項２６記載の記録媒体。 - 【請求項２８】 上記画素抽出ステップは、上記クラス
決定ステップと上記演算ステップに対して、少なくとも
１画素は異なる画素を抽出することを特徴とする請求項
２６記載の記録媒体。 - 【請求項２９】 上記特徴情報生成ステップは、ＡＤＲ
Ｃ(Adaptive DynamicRange Coding) 処理によって上記
第１の特徴情報を生成することを特徴とする請求項２３
記載の記録媒体。 - 【請求項３０】 上記色成分で表される色は、赤、青、
緑の何れかであることを特徴とする請求項２３記載の記
録媒体。 - 【請求項３１】 画素位置毎に複数の色のうち何れか１
つを表す色成分を持つ上記画像信号を取得する取得ステ
ップをさらに備えることを特徴とする請求項２３記載の
記録媒体。 - 【請求項３２】 上記取得ステップは、固体撮像素子で
あることを特徴とする請求項３１記載の記録媒体。 - 【請求項３３】 上記固体撮像素子は、ベイヤー配列の
ＣＣＤイメージセンサであることを特徴とする請求項３
２記載の記録媒体。 - 【請求項３４】 画素位置毎に輝度あるいは複数の色の
うちのいずれか１つの色成分を画像データとして持つ生
徒画像信号の注目画素の近傍の複数の画素を第１の画素
として抽出する第１の抽出手段と、 上記第１の抽出手段で抽出された複数の画素の各画素デ
ータに基づいて第１の特徴情報を生成する第１の特徴情
報生成手段と、 上記生徒画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第２の画素として抽出する第２の抽出手段
と、 上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成手段と、 上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定手段と、 上記生徒画像信号と対応する画像信号であり、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ教師画像信号から、上記生徒
画像信号の注目画素の位置に相当する位置の近傍の複数
の画素を第３の画素として抽出する第３の抽出手段と、 上記第１及び第３の抽出手段で抽出された複数の画素の
各画素データに基づいて、上記クラス毎に、上記生徒画
像信号に相当する画像信号から上記教師画像信号に相当
する画像信号を生成するための予測演算に用いる予測係
数セットを生成する予測係数生成手段とを備えることを
特徴とする学習装置。 - 【請求項３５】 上記特徴情報生成手段では、ＡＤＲＣ
(Adaptive Dynamic Range Coding) 処理によって上記第
１の特徴情報を生成することを特徴とする請求項３４記
載の学習装置。 - 【請求項３６】 画素位置毎に輝度あるいは複数の色の
うちのいずれか１つの色成分を画像データとして持つ生
徒画像信号の注目画素の近傍の複数の画素を第１の画素
として抽出する第１の抽出ステップと、 上記第１の抽出ステップで抽出された複数の画素の各画
素データに基づいて第１の特徴情報を生成する第１の特
徴情報生成ステップと、 上記生徒画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第２の画素として抽出する第２の抽出ステ
ップと、 上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成ステップと、 上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定ステップと、 上記生徒画像信号と対応する画像信号であり、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ教師画像信号から、上記生徒
画像信号の注目画素の位置に相当する位置の近傍の複数
の画素を第３の画素として抽出する第３の抽出ステップ
と、 上記第１及び第３の抽出ステップで抽出された複数の画
素の各画素データに基づいて、上記クラス毎に、上記生
徒画像信号に相当する画像信号から上記教師画像信号に
相当する画像信号を生成するための予測演算に用いる予
測係数セットを生成する予測係数生成ステップとを備え
ることを特徴とする学習方法。 - 【請求項３７】 上記特徴情報生成ステップでは、ＡＤ
ＲＣ(Adaptive Dynamic Range Coding) 処理によって上
記第１の特徴情報を生成することを特徴とする請求項３
４記載の学習方法。 - 【請求項３８】 クラスに応じた予測係数セットを生成
するための学習処理を行うコンピュータ制御可能なプロ
グラムが記録された記録媒体において、 上記プログラムは、 画素位置毎に輝度あるいは複数の色のうちのいずれか１
つの色成分を画像データとして持つ生徒画像信号の注目
画素の近傍の複数の画素を第１の画素として抽出する第
１の抽出ステップと、 上記第１の抽出ステップで抽出された複数の画素の各画
素データに基づいて第１の特徴情報を生成する第１の特
徴情報生成ステップと、 上記生徒画像信号の注目画素毎に、上記注目画素近傍の
複数の画素を第２の画素として抽出する第２の抽出ステ
ップと、 上記第２の画素の各画素データに基づいて、上記注目画
素近傍のエッジ情報を第２の特徴情報として生成する第
２の特徴情報生成ステップと、 上記第１の特徴情報及び第２の特徴情報に基づいて１つ
のクラスを決定するクラス決定ステップと、 上記生徒画像信号と対応する画像信号であり、画素位置
毎に輝度あるいは複数の色のうちのいずれか１つの色成
分を画像データとして持つ教師画像信号から、上記生徒
画像信号の注目画素の位置に相当する位置の近傍の複数
の画素を第３の画素として抽出する第３の抽出ステップ
と、 上記第１及び第３の抽出ステップで抽出された複数の画
素の各画素データに基づいて、上記クラス毎に、上記生
徒画像信号に相当する画像信号から上記教師画像信号に
相当する画像信号を生成するための予測演算に用いる予
測係数セットを生成する予測係数生成ステップとを備え
ることを特徴とする記録媒体。 - 【請求項３９】 上記特徴情報生成ステップでは、ＡＤ
ＲＣ(Adaptive Dynamic Range Coding) 処理によって上
記第１の特徴情報を生成することを特徴とする請求項３
８記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000251497A JP4581199B2 (ja) | 2000-08-22 | 2000-08-22 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000251497A JP4581199B2 (ja) | 2000-08-22 | 2000-08-22 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002064835A true JP2002064835A (ja) | 2002-02-28 |
| JP2002064835A5 JP2002064835A5 (ja) | 2007-04-19 |
| JP4581199B2 JP4581199B2 (ja) | 2010-11-17 |
Family
ID=18740896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000251497A Expired - Fee Related JP4581199B2 (ja) | 2000-08-22 | 2000-08-22 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4581199B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004068862A1 (ja) * | 2003-01-31 | 2004-08-12 | The Circle For The Promotion Of Science And Engineering | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
| JP2007251689A (ja) * | 2006-03-16 | 2007-09-27 | Sony Corp | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP2007251687A (ja) * | 2006-03-16 | 2007-09-27 | Sony Corp | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
| WO2014017153A1 (ja) | 2012-07-27 | 2014-01-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| WO2016031764A1 (ja) * | 2014-08-28 | 2016-03-03 | 株式会社日立国際電気 | 撮像装置及び撮像方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1013845A (ja) * | 1996-06-19 | 1998-01-16 | Olympus Optical Co Ltd | 画像処理装置 |
| JPH1098695A (ja) * | 1996-09-21 | 1998-04-14 | Sony Corp | 画像情報変換装置および方法並びに積和演算装置 |
| JPH10155139A (ja) * | 1996-11-21 | 1998-06-09 | Sony Corp | 画像処理装置および画像処理方法 |
-
2000
- 2000-08-22 JP JP2000251497A patent/JP4581199B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1013845A (ja) * | 1996-06-19 | 1998-01-16 | Olympus Optical Co Ltd | 画像処理装置 |
| JPH1098695A (ja) * | 1996-09-21 | 1998-04-14 | Sony Corp | 画像情報変換装置および方法並びに積和演算装置 |
| JPH10155139A (ja) * | 1996-11-21 | 1998-06-09 | Sony Corp | 画像処理装置および画像処理方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004068862A1 (ja) * | 2003-01-31 | 2004-08-12 | The Circle For The Promotion Of Science And Engineering | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
| US7515747B2 (en) | 2003-01-31 | 2009-04-07 | The Circle For The Promotion Of Science And Engineering | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image |
| JP2007251689A (ja) * | 2006-03-16 | 2007-09-27 | Sony Corp | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP2007251687A (ja) * | 2006-03-16 | 2007-09-27 | Sony Corp | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
| JP4605468B2 (ja) * | 2006-03-16 | 2011-01-05 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP4683294B2 (ja) * | 2006-03-16 | 2011-05-18 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
| WO2014017153A1 (ja) | 2012-07-27 | 2014-01-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| WO2016031764A1 (ja) * | 2014-08-28 | 2016-03-03 | 株式会社日立国際電気 | 撮像装置及び撮像方法 |
| JPWO2016031764A1 (ja) * | 2014-08-28 | 2017-06-08 | 株式会社日立国際電気 | 撮像装置及び撮像方法 |
| US10348984B2 (en) | 2014-08-28 | 2019-07-09 | Hitachi Kokusai Electric Inc. | Image pickup device and image pickup method which performs diagonal pixel offset and corrects a reduced modulation depth in a diagonal direction |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4581199B2 (ja) | 2010-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100745386B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 | |
| JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| US7148925B2 (en) | Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor | |
| US7903155B2 (en) | Image capturing apparatus and program | |
| JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
| US20070268379A1 (en) | Digital camera, storage medium for image signal processing, carrier wave and electronic camera | |
| JP2000299874A (ja) | 信号処理装置及び方法並びに撮像装置及び方法 | |
| JP2002354498A (ja) | 電子カメラ | |
| JPH0823473A (ja) | 撮像装置 | |
| US20060050956A1 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
| WO2008150017A1 (ja) | 信号処理方法および信号処理装置 | |
| JP4057216B2 (ja) | 固体撮像装置および画素欠陥検出方法 | |
| JP2002064835A (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4730106B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4433545B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4547757B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4839543B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 | |
| US7551204B2 (en) | Imaging apparatus having a color image data measuring function | |
| JP4547758B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4433546B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4529253B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4483048B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4691762B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4730105B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP2005184689A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |