JP2007201572A - 学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラム - Google Patents

Abstract

【課題】撮像素子が出力する画像信号を、より高画質の画像信号に変換することができるようにする。
【解決手段】テストチャート１１３の画像が、CCDセンサ１１７に投影される。CCDセンサ交換部１２１によりCCDセンサ１１７が適宜交換され、多数のCCDセンサ１１７についての画像信号がメモリ１２０に記憶される。メモリ１２０に記憶された画像信号に基づいて、CCDセンサより出力される画像信号を補正する予測係数が演算される。本発明は、撮像素子が出力する画像をより高画質に変換する画像変換処理のための予測係数を学習する学習装置に適用できる。
【選択図】図７

Description

本発明は、学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラムに関し、特に、撮像素子が出力する画像信号を、より高画質の画像信号に変換することができる学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラムに関する。

本出願人は、第１の画像信号を第２の画像信号に変換する信号処理として、クラス分類適応処理を、先に提案している（例えば、特許文献１，２、および３参照）。ここで、第１の画像信号が、ノイズが含まれている画像信号であり、第２の画像信号が、ノイズが除去（低減）された画像信号であれば、このクラス分類適応処理は、ノイズ除去処理であるということができ、また、第１の画像信号が、単板CCD(Charge Coupled Device)センサから得られる画像信号であり、第２の画像信号が、３板CCDセンサから得られるのと同等の画像信号であれば、このクラス分類適応処理は、単板CCDセンサの画像信号を３板CCDセンサ相当の画像信号に変換する変換処理であるということができ、さらに、第１の画像信号が、画像信号を出力しない欠陥画素を有するCCDセンサから得られる画像信号であり、第２の画像信号が、欠陥が補正された画像信号が出力されるように変換された画像信号であれば、このクラス分類適応処理は、欠陥画素を補正する処理であるということができる。

クラス分類適応処理では、第１の画像信号の所定領域の複数画素の画素値と、教師画像データと生徒画像データとを用いた学習処理により求められた予測係数との線形１次式が演算される。

この学習処理の生徒画像データは、従来、教師画像データから生成されていた。例えば、ノイズ除去処理としてクラス分類適応処理を行う場合の教師画像データには、ノイズが除去された画像信号が用いられ、生徒画像データには、教師画像データにノイズを付加した画像信号が用いられる。

特開２０００−３０８０７９号公報 特開２００１−２９８７３６号公報 特開２０００−５９６５２号公報

しかしながら、CCDセンサやCMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子が出力する画像信号に対してクラス分類適応処理を行って画像を補正する場合、より好ましい予測係数を得ることが困難であった。

本発明は、このような状況に鑑みてなされたものであり、撮像素子が出力する画像信号を、より高画質の画像信号に変換することができるようにするものである。

本発明の第１の側面の学習装置は、撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する学習装置であって、画像を撮像素子に投影する投影手段と、投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整する位置調整手段と、前記撮像素子により撮像された複数の画像を記憶する記憶手段とを備える。

本発明の第１の側面の学習装置は、記憶された前記複数の画像のうちの少なくとも１つを用いて得られる画像を、前記予測係数を演算する場合の教師画像とするとともに、記憶された前記複数の画像を、前記予測係数を演算する場合の生徒画像とし、前記教師画像の画素である注目画素を求めるのに用いる複数の画素を、前記生徒画像から抽出する抽出手段と、抽出された前記複数の画素に基づいて、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段とをさらに設けることができる。

前記教師画像は、前記記憶手段に記憶された前記複数の画像のうちの最高画質の画像、または前記記憶手段に記憶された前記複数の画像を統計処理した画像であるようにさせることができる。

本発明の第１の側面の学習装置は、前記撮像素子を交換する交換手段をさらに設けることができる。

前記撮像素子は、R信号を出力する画素、G信号を出力する画素、およびB信号を出力する画素がベイヤ配列されており、前記位置調整手段には、R信号、G信号、またはB信号のうちの１つの信号を出力する画素の位置に、他の２つの信号を出力する画素が位置するように位置を調整させることができる。

本発明の第１の側面の学習方法は、撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する学習方法であって、画像を撮像素子に投影し、投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整し、前記撮像素子により撮像された複数の画像を記憶するステップを含む。

本発明の第1の側面のプログラムは、撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する処理をコンピュータに実行させるプログラムであって、画像を撮像素子に投影し、投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整し、前記撮像素子により撮像された複数の画像を記憶するステップを含む。

本発明の第１の側面においては、画像が撮像素子に投影され、投影された画像の各画素が撮像素子により対応する位置の画素として撮像されるように、撮像の位置が相対的に調整される。撮像素子により撮像された複数の画像が記憶される。

本発明の第２の側面の信号処理装置は、被写体を撮像する撮像手段と、前記撮像手段が出力する第１の画像信号を、その特徴に応じてクラスに分類するクラス分類手段と、前記撮像手段と同型の複数の撮像手段を用いた学習により獲得された前記クラスごとの予測係数を出力する予測係数出力手段と、前記撮像手段が出力する前記第１の画像信号を、前記クラス分類手段において得られた前記クラスの予測係数を用いて演算することで第２の画像信号を求める演算手段とを備える。

本発明の第２の側面の信号処理方法は、被写体を撮像素子により撮像し、撮像されて得られる第１の画像信号を、その特徴に応じてクラスに分類し、撮像に使用した撮像素子と同型の複数の撮像素子を用いた学習により獲得された前記クラスごとの予測係数を出力し、前記第１の画像信号を、前記第１の画像信号の前記クラスの予測係数を用いて演算することで第２の画像信号を求めるステップを含む。

本発明の第２の側面のプログラムは、被写体を撮像素子により撮像し、撮像されて得られる第１の画像信号を、その特徴に応じてクラスに分類し、撮像に使用した撮像素子と同型の複数の撮像素子を用いた学習により獲得された前記クラスごとの予測係数を出力し、前記第１の画像信号を、前記第１の画像信号の前記クラスの予測係数を用いて演算することで第２の画像信号を求めるステップを含む処理をコンピュータに実行させる。

本発明の第２の側面においては、被写体を撮像して得られる第１の画像信号が、その特徴に応じてクラスに分類され、撮像に使用した撮像手段または撮像素子と同型の複数の撮像手段または撮像素子を用いた学習により獲得されたクラスごとの予測係数が出力され、第１の画像信号を、第１の画像信号のクラスの予測係数を用いて演算することで第２の画像信号が求められる。

本発明によれば、撮像素子が出力する画像信号を、より高画質の画像信号に変換することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の学習装置は、撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する学習装置（例えば、図５の学習装置３１）であって、画像を撮像素子（例えば、図７のCCDセンサ１１７）に投影する投影手段（例えば、図７のテストチャート１１３）と、投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整する位置調整手段（例えば、図７の３Dステージ１１８）と、撮像された複数の画像を記憶する記憶手段（例えば、図７のメモリ１２０）とを備える。

本発明の第１の側面の学習装置は、記憶された前記複数の画像のうちの少なくとも１つを用いて得られる画像を、前記予測係数を演算する場合の教師画像とするとともに、記憶された前記複数の画像を、前記予測係数を演算する場合の生徒画像とし、前記教師画像の画素である注目画素を求めるのに用いる複数の画素を、前記生徒画像から抽出する抽出手段（例えば、図５の予測タップ抽出部４３）と、抽出された前記複数の画素に基づいて、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段（例えば、図５の予測係数算出部４７）とさらに備える。

本発明の第１の側面の学習装置は、前記撮像素子を交換する交換手段（例えば、図７のCCDセンサ交換部１２１）をさらに備える。

本発明の第１の側面の学習方法は、撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する学習方法（例えば、図６と図１１の学習方法）であって、画像を撮像素子に投影し（例えば、図１１のステップＳ４１およびＳ４２の処理）、投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整し（例えば、図１１のステップＳ４５の処理）、前記撮像素子により撮像された複数の画像を記憶する（例えば、図１１のステップＳ４９の処理）ステップを含む。

本発明の第２の側面の信号処理装置（例えば、図１の撮像装置１）は、被写体を撮像する撮像手段（例えば、図１のCCDセンサ１２）と、前記撮像手段が出力する第１の画像信号を、その特徴に応じてクラスに分類するクラス分類手段（例えば、図２のクラスタップ抽出部２２およびクラスコード発生部２３）と、前記撮像手段と同型の複数の撮像手段を用いた学習により獲得された前記クラスごとの予測係数を出力する予測係数出力手段（例えば、図２の係数発生部２４）と、前記撮像手段が出力する前記第１の画像信号を、前記クラス分類手段において得られた前記クラスの予測係数を用いて演算することで第２の画像信号を求める演算手段（例えば、図２の予測演算部２５）とを備える。

本発明の第２の側面の信号処理方法（例えば、図４の変換処理方法）は、被写体を撮像素子により撮像し（例えば、図４のステップＳ１の処理）、撮像されて得られる第１の画像信号を、その特徴に応じてクラスに分類し（例えば、図４のステップＳ２およびＳ３の処理）、撮像に使用した撮像素子と同型の複数の撮像素子を用いた学習により獲得された前記クラスごとの予測係数を出力し（例えば、図４のステップＳ４の処理）、前記第１の画像信号を、前記第１の画像信号の前記クラスの予測係数を用いて演算することで第２の画像信号を求める（例えば、図４のステップＳ６の処理）ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した撮像装置の一実施の形態の構成例を示している。

図１の撮像装置１は、レンズ１１、CCD(Charge Coupled Device)センサ１２、A/D（Analog/Digital）コンバータ１３、DRC(Digital Reality Creation)回路１４、圧縮処理回路１５、記録回路１６、および表示装置１７から構成され、被写体からの光（被写体光）を受光し、被写体に対応する高画質の画像信号を記録媒体に記録したり、その高画質の画像信号から得られる画像を表示するようになっている。この撮像装置１は、例えば、ビデオカメラ、デジタルスチルカメラ、携帯電話機などに適用することができる。

レンズ１１は、被写体光をCCDセンサ１２に集光する。CCDセンサ１２は、被写体光を受光し、その受光量に応じたアナログの電気信号をA/Dコンバータ１３に供給する。

A/Dコンバータ１３は、画像信号としてのアナログの電気信号を、デジタルの電気信号に変換してDRC回路１４に供給する。

DRC回路１４は、A/Dコンバータ１３から供給される画像信号を対象に信号処理を行い、その画像信号よりも高画質の画像信号（以下、適宜、高画質画像信号という）を生成して出力する。

圧縮処理回路１５は、JPEG(Joint Photographic Experts Group）などの所定のフォーマットに従い、指定された圧縮比で高画質画像信号を圧縮符号化し、記録回路１６に供給する。また、圧縮処理回路１５は、撮像された画像のサイズを縮小または拡大する、高画質画像信号の解像度変換処理も必要に応じて行う。

記録回路１６は、圧縮符号化された高画質画像信号を、記録媒体としてのメモリスティック（商標）などの半導体メモリに記録（記憶）する。なお、高画質画像信号を記録する記録媒体としては、半導体メモリの他、DVD(Digital Versatile Disc)などの光ディスク、またはハードディスク等とすることもできる。

表示装置１７は、LCD(Liquid Crystal display)などにより構成され、DRC回路１４から供給される高画質画像信号に対応する画像を表示する。

従って、図１の撮像装置１によれば、CCDセンサ１２が被写体光を受光して画像信号を出力し、DRC回路１４が、その画像信号を対象として信号処理を行い、その処理結果としての、高画質の画像信号を後段の圧縮処理回路１５に出力する。圧縮処理回路１５などは、現在、DSP（Digital Signal Processor）などを用いて１チップ（SOC :System On Chip）で構成されていることが多いため、撮像装置１は、１チップで構成される信号処理回路に画像信号を入力する前に、DRC回路１４において、撮像して得られた画像信号を高画質の画像信号に変換することを特徴としている。

図２は、図１のDRC回路１４の構成を示すブロック図である。

DRC回路１４は、予測タップ抽出部２１、クラスタップ抽出部２２、クラスコード発生部２３、係数発生部２４、および予測演算部２５から構成され、第１の画像信号を第２の画像信号に変換する画像変換処理を行う。ここで、第１の画像信号は、A/Dコンバータ１３から供給される画像信号であり、第２の画像信号は、高画質画像信号となる。

例えば、第１の画像信号を、画素に欠陥があるCCDセンサで得られた画像信号とするとともに、第２の画像信号を、画素に欠陥のないCCDセンサと同等の画像信号とすれば、画像変換処理は、欠陥画素の画像信号を補正する欠陥画素補正処理ということができる。また、例えば、第１の画像信号を、ランダムノイズが含まれている低Ｓ／Ｎ(Signal/Noise)の画像信号とするとともに、第２の画像信号を、高Ｓ／Ｎの画像信号とすれば、画像変換処理は、ランダムノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像信号を、各画素からR(Red)信号、G(Green)信号、またはB(Blue)信号のいずれか１つのみが出力される単板CCDセンサの画像信号とするとともに、第２の画像信号を、各画素からR(Red)信号、G(Green)信号、およびB(Blue)信号のいずれも出力される３板CCDセンサと同等の画像信号とすれば、画像変換処理は、単板CCDセンサの画像信号を３板CCDセンサの画像信号に変換する単板３板変換処理ということができる。

従って、画像変換処理によれば、第１および第２の画像信号をどのように定義するかによって、様々な処理を実現することができる。

CCDセンサ１２（図１）から出力される画像信号は、第１の画像信号として、予測タップ抽出部２１およびクラスタップ抽出部２２に供給される。

予測タップ抽出部２１は、予測する第２の画像信号を構成する画素を、順次、注目画素とし、その注目画素の画素値を予測するのに用いる第１の画像信号を構成する画素（の画素値）を、予測タップとして抽出する。

具体的には、予測タップ抽出部２１は、注目画素に対応する第１の画像信号の画素（例えば、注目画素に対して空間的に最も近い位置にある第１の画像信号の画素）に対して、空間的に近い位置にある複数の画素を、第１の画像信号から、予測タップとして抽出する。

クラスタップ抽出部２２は、第1の画像信号を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる第１の画像信号を構成する画素の幾つかを、クラスタップとして抽出する。

なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。

予測タップ抽出部２１で得られた予測タップは、予測演算部２５に供給され、クラスタップ抽出部２２で得られたクラスタップは、クラスコード発生部２３に供給される。

クラスコード発生部２３は、クラスタップ抽出部２２からのクラスタップを構成する画素に基づき、クラス分類を行い、その結果得られるクラスに対応するクラスコードを発生して、係数発生部２４に供給する。

クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。

ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラスコード発生部２３は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして発生（出力）する。

なお、クラスコード発生部２３は、その他、例えば、クラスタップを構成する画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によってクラス分類を行うことも可能である。

クラスタップ抽出部２２において、CCDセンサ１２が出力する画像信号からクラスタップが得られ、クラスコード発生部２３において、そのクラスタップからクラスコードが得られる。従って、クラスタップ抽出部２２およびクラスコード発生部２３において、クラス分類を行うクラス分類部が構成されているとみることができる。

係数発生部２４は、図５を参照して後述する学習によって求められたクラスごとの予測係数を記憶し、さらに、その記憶した予測係数のうちの、クラスコード発生部２３から供給されるクラスコードに対応するアドレスに記憶されている予測係数（クラスコード発生部２３から供給されるクラスコードが表すクラスの予測係数）を、予測演算部２５に供給（出力）する。

予測演算部２５は、予測タップ抽出部２１が出力する予測タップと、係数発生部２４が出力する予測係数とを取得し、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。

図３は、予測タップとクラスタップのタップ構造の例を示している。なお、予測タップとクラスタップのタップ構造は、図３に示されている以外の構造とすることが可能である。

図３Ａは、クラスタップのタップ構造の例を示している。図３Ａでは、９個の画素で、クラスタップが構成されている。即ち、図３Ａでは、CCDセンサ１２が出力する画像信号のうちの、注目画素に対応する画素Ｐ５と、その画素の上方向、下方向、左方向、右方向にそれぞれ隣接する２画素Ｐ２，Ｐ１，Ｐ８，Ｐ９，Ｐ４，Ｐ３，Ｐ６，Ｐ７とから、いわば十字形状のクラスタップが構成されている。

図３Ｂは、予測タップのタップ構造の例を示している。図３Ｂでは、１３個の画素で、予測タップが構成されている。即ち、図３Ｂでは、CCDセンサ１２が出力する画像信号のうちの、注目画素に対応する画素Ｐ２７を中心として縦方向に並ぶ５画素Ｐ２１，Ｐ２３，Ｐ２７，Ｐ３１，Ｐ３３、注目画素に対応する画素Ｐ２７の左と右に隣接する画素Ｐ２６，Ｐ２８それぞれを中心として縦方向に並ぶ３画素Ｐ２２，Ｐ２６，Ｐ３０，Ｐ２４，Ｐ２８，Ｐ３２、および注目画素に対応する画素Ｐ２７から左と右に１画素だけ離れた画素Ｐ２５，Ｐ２９から、いわばひし形状の予測タップが構成されている。

次に、図２の予測演算部２５における予測演算と、その予測演算に用いられる予測係数の学習について説明する。

いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をLPF(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップと予測係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。

いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。

但し、式（１）において、ｘ_nは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という）の画素値を表し、ｗ_nは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルの高画質画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k'と表すと、その予測誤差ｅ_kは、次式で表される。

いま、式（２）の予測値ｙ_k'は、式（１）にしたがって求められるため、式（２）のｙ_k'を、式（１）にしたがって置き換えると、次式が得られる。

但し、式（３）において、ｘ_n,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。

式（３）（または式（２））の予測誤差ｅ_kを０とする予測係数ｗ_nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような予測係数ｗ_nを求めることは、一般には困難である。

そこで、予測係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗ_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

但し、式（４）において、Ｋは、高画質画素ｙ_kと、その高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗ_nで偏微分したものを０とするｗ_nによって与えられる。

そこで、上述の式（３）を予測係数ｗ_nで偏微分すると、次式が得られる。

式（５）と式（６）から、次式が得られる。

式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。

式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗ_nについて解くことができる。

式（８）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗ_nを、クラスごとに求めることができる。

図４のフローチャートを参照して、撮像装置１が行う、CCDセンサ１２で撮像された画像信号（第１の画像信号）を高画質画像信号（第２の画像信号）に変換する変換処理について説明する。なお、ここでは、高画質画像信号に対応するフレーム画像（フィールド画像）のある画素を注目画素として、その注目画素を予測するものとする。

初めに、ステップＳ１において、CCDセンサ１２は、被写体を撮像する。即ち、CCDセンサ１２は、被写体光を受光し、その受光量に応じたアナログの電気信号をA/Dコンバータ１３に供給する。また、ステップＳ１において、A/Dコンバータ１３は、画像信号としてのアナログの電気信号を、デジタルの電気信号に変換してDRC回路１４に供給する。

ステップＳ２において、DRC回路１４のクラスタップ抽出部２２は、A/Dコンバータ１３が出力した画像信号から、注目画素の位置に最も近い位置の画素を中心とする十字形状の画素を、注目画素のクラスタップ（図３Ａ）として抽出する。抽出されたクラスタップは、クラスコード発生部２３に供給される。

ステップＳ３において、クラスコード発生部２３は、クラスタップ抽出部２２から供給されるクラスタップを１ビットADRC処理することによって、注目画素のクラスコードを求め、係数発生部２４に供給する。

ステップＳ４において、係数発生部２４は、クラスコード発生部２３から供給される注目画素のクラスコードが表すクラスの予測係数を予測演算部２５に出力する。

ステップＳ５において、予測タップ抽出部２１は、CCDセンサ１２が出力する画像信号から、注目画素の位置に最も近い位置の画素を中心とするひし形状の画素を、注目画素の予測タップ（図３Ｂ）として抽出し、予測演算部２５に供給する。

ステップＳ６において、予測演算部２５は、予測タップ抽出部２１から供給される予測タップと、係数発生部２４から供給される予測係数とを用い、式（１）の演算（予測演算）を行うことにより、注目画素（の画素値）を求め、処理を終了する。

以上の処理が、高画質画像信号に対応するフレーム画像の各画素を、順次、注目画素として行われ、さらには、次以降のフレーム（フィールド）についても行われる。

図５は、式（８）の正規方程式をたてて解くことによりクラスごとの予測係数ｗ_nを求める学習を行う学習装置３１の構成例を示している。

学習装置３１には、予測係数ｗ_nの学習に用いられる学習用画像信号としての教師データと生徒データとが入力されるようになっている。この学習用画像信号の生成については図７を参照して後述するが、ここでは、教師データとしての画像信号を高画質画像信号とし、その高画質画像信号の解像度を劣化させた低画質画像信号を生徒データとして説明する。

教師データ記憶部４１は、入力される教師データとしての高画質画像信号を記憶する。生徒データ記憶部４２は、入力される生徒データとしての低画質画像信号を記憶する。

予測タップ抽出部４３は、教師データ記憶部４１に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部４２に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２の予測タップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部４６に供給する。

クラスタップ抽出部４４は、注目教師画素について、生徒データ記憶部４２に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２のクラスタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部４５に供給する。

クラスコード発生部４５は、クラスタップ抽出部４４が出力するクラスタップに基づき、図２のクラスコード発生部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４６に出力する。

足し込み部４６は、教師データ記憶部４１から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部４３から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部４５から供給されるクラスコードごとに行う。

即ち、足し込み部４６には、教師データ記憶部４１に記憶された教師データｙ_k、予測タップ抽出部４３が出力する予測タップｘ_n,k、クラスコード発生部４５が出力するクラスコードが供給される。

そして、足し込み部４６は、クラスコード発生部４５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_n,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部４６は、やはり、クラスコード発生部４５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_n,kと教師データｙ_kを用い、式（８）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部４６は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目教師画素とされた教師データについて、その教師データｙ_k+1および生徒データｘ_n,k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（８）のサメーションで表される加算を行う）。

そして、足し込み部４６は、教師データ記憶部４１に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部４７に供給する。

予測係数算出部４７は、足し込み部４６から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な予測係数ｗ_nを求めて出力する。

図２のDRC回路１４における係数発生部２４には、例えば、以上のようにして求められたクラスごとの予測係数ｗ_mが記憶されている。

なお、上述の場合には、高画質画像信号を、第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、予測係数の学習を行うようにしたことから、予測係数としては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。

第１の画像信号（第１の画像）に対応する生徒データ（生徒画像）と、第２の画像信号（第２の画像）に対応する教師データ（教師画像）とする画像信号（画像）の選択の仕方によって、予測係数としては、各種の画像変換処理を行うものを得ることができる。

即ち、例えば、ランダムノイズを含まない画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ランダムノイズを重畳した高画質画像信号を生徒データとして、学習処理を行うことにより、予測係数としては、第１の画像信号を、そこに含まれるランダムノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。

次に、図６のフローチャートを参照して、図５の学習装置３１の処理（学習処理）について説明する。

最初に、ステップＳ１１において、教師データ記憶部４１および生徒データ記憶部４２それぞれは、そこに入力される教師データおよび生徒データを記憶する。この教師データおよび生徒データとして、後述する図１１の学習用画像信号生成処理で生成されたデータが用いられる。

ステップＳ１２において、予測タップ抽出部４３は、教師データ記憶部４１に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ１２では、予測タップ抽出部４３は、注目教師画素について、生徒データ記憶部４２に記憶された生徒データから予測タップを抽出し、足し込み部４６に供給する。

ステップＳ１３において、クラスタップ抽出部４４は、注目教師画素について、生徒データ記憶部４２に記憶された生徒データからクラスタップを抽出し、クラスコード発生部４５に供給する。

そして、ステップＳ１４において、クラスコード発生部４５は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４６に出力する。

ステップＳ１５において、足し込み部４６は、教師データ記憶部４１から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部４３から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラスコード発生部４５から供給されるクラスコード（クラス）ごとに行う。

ステップＳ１６において、予測タップ抽出部４３は、教師データ記憶部４１に、まだ注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１６で、注目教師画素としていない教師データが、教師データ記憶部４１にまだ記憶されていると判定された場合、処理はステップＳ１２に戻り、予測タップ抽出部４３は、まだ注目教師画素としていない教師データを、新たに注目教師画素として、以下、同様の処理が繰り返される。

一方、ステップＳ１６で、注目教師画素としていない教師データが、教師データ記憶部４１に記憶されていないと判定された場合、ステップＳ１７において、足し込み部４６は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部４７に供給する。

また、ステップＳ１７では、予測係数算出部４７は、足し込み部４６から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに予測係数ｗ_nを求め、出力し、処理を終了する。

なお、学習用画像信号の数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部４７は、例えば、デフォルトの予測係数を出力するようになっている。

次に、図５の学習装置３１に学習用画像信号として供給される教師データと生徒データの生成について説明する。

図７は、学習用画像信号を生成する生成システム１０１の構成例を示している。この生成システム１０１は、図５の教師データ記憶部４１と生徒データ記憶部４２の前段に配置され、それらに教師データまたは生徒データを供給する。その意味で、生成システム１０１は、図５の学習装置３１の一部を構成している。

生成システム１０１は、光源１１１、コリメータレンズ１１２、テストチャート１１３、ステージ１１４、IRカットフィルタ１１５、レンズフィルタ１１６、CCDセンサ１１７、３Dステージ１１８、A/Dコンバータ１１９、メモリ１２０、CCDセンサ交換部１２１、およびテストチャート交換部１２２により構成されている。

光源１１１から出射される光が、コリメータレンズ１１２により平行光とされ、テストチャート１１３に入射される。この光源１１１は、例えば、３２００K（カンデラ）の光を出力する。テストチャート１１３には、図８に示すように、間隔、エッジ角度、パターン濃度を様々に変えた画像パターン１１３Ｐが描画されており、投影手段として機能するテストチャート１１３は、コリメータレンズ１１２からの平行光を、画像パターン１１３Ｐに応じて遮光する。なお、テストチャート１１３は、ステージ１１４のテーブル上に設置されている。また、テストチャート１１３は、テストチャート交換部１２２により必要に応じて交換される。

テストチャート１１３からの光（平行光）は、IR（Infrared Radiation）カットフィルタ１１５およびレンズフィルタ１１６を通過してCCDセンサ１１７に入射される。即ち、投影された画像パターン１１３ＰをCCDセンサ１１７が撮像する。このCCDセンサ１１７は、図１の撮像装置１において使用されるCCDセンサ１２と同型のCCDセンサである（撮像装置１に用いられるCCDセンサ１２と同一の型番号のCCDセンサである）。CCDセンサ１１７は、CCDセンサ交換部１２１により必要に応じて交換される。

IRカットフィルタ１１５は、テストチャート１１３を通過した光のうち可視光を通過させ、赤外光をカットする。レンズフィルタ１１６は、所定の光学特性を持つ、例えば、ND( Neutral Density)フィルタなどとされ、必要に応じてIRカットフィルタ１１５およびCCDセンサ１１７の間に挿入される。

IRカットフィルタ１１５、レンズフィルタ１１６、およびCCDセンサ１１７は、X軸、Y軸、およびZ軸の３軸方向に移動させることが可能な３Dステージ１１８のテーブル上に設置され、３Dステージ１１８は、テーブルをX軸、Y軸、またはZ軸方向に所定量移動させることにより、投影された画像パターン１１３ＰがCCDセンサ１１７の受光領域（撮像領域）に１対１に入射するように、IRカットフィルタ１１５、レンズフィルタ１１６、およびCCDセンサ１１７の位置を一体的に調整する。ここで、投影された画像パターン１１３Pの領域（画素）とCCDセンサ１１７の画素の有効領域（受光領域）とが１対１に対応するように配置させたCCDセンサ１１７の位置を正位置と称する。また、３Dステージ１１８は、CCDセンサ１１７がCCDセンサ交換部１２１により順次交換された場合にも、セットされた次のCCDセンサ１１７が画像パターン１１３Ｐに対して正位置となるように調整する。

なお、本実施の形態では、IRカットフィルタ１１５、レンズフィルタ１１６、およびCCDセンサ１１７の位置を３Dステージ１１８によってX軸、Y軸、またはZ軸の３軸方向に移動させ、テストチャート１１３とCCDセンサ１１７との位置関係を一体的に調整するようにしたが、３Dステージ１１８を固定式のステージに変更し、ステージ１１４を３軸方向に移動可能な３Dステージに変更して、テストチャート１１３の位置を移動させることにより、テストチャート１１３とCCDセンサ１１７との位置関係を調整するようにしてもよい。また、ステージ１１４と３Dステージ１１８の両方を３軸に移動可能な３Dステージとして、テストチャート１１３とIRカットフィルタ１１５、レンズフィルタ１１６、およびCCDセンサ１１７の位置の両方を移動させることにより、テストチャート１１３とCCDセンサ１１７との位置関係を調整するようにしてもよい。要するに、投影された画像の任意の画素が、CCDセンサ１１７の特定の画素に対応付けられるように相対的に位置調整ができればよい。

図１のCCDセンサ１２と同型のCCDセンサ１１７は、そこに入射される光を受光し、その受光量に応じたアナログの電気信号をA/Dコンバータ１１９に出力する。このアナログの電気信号は、画像パターン１１３Ｐに対応する画像信号である。A/Dコンバータ１１９は、図１のA/Dコンバータ１３と同様に、入力されるアナログの電気信号をデジタルの電気信号に変換してメモリ１２０に出力する。

メモリ１２０は、画像パターン１１３Ｐに対応する画像信号を記憶する。

図９は、図７のCCDセンサ１１７の詳細な構成例を示す断面図である。

CCDセンサ１１７は、レンズフィルタ１１６（図７）に近い側から、オンチップマイクロレンズ１３１、カラーフィルタ１３２の順に配置され、その次の同一面上に、PD（フォトダイオード）１３３、読み出しゲート１３４、およびチャネルストップ１３５が配置されている。

テストチャート１１３の画像パターン１１３Ｐを通過した光は、オンチップマイクロレンズ１３１によって集光される。そして、集光された光は、R(Red)成分，G(Green)成分、またはB(Blue)成分の（画素毎に異なる）カラーフィルタ１３２を通過して、読み出しゲート１３４とチャネルストップ１３５との間の、対応する位置のPD（フォトダイオード）１３３に入射される。オンチップマイクロレンズ１３１は、F値が、例えば、Ｆ５．８（感度）およびＦ２．８（飽和度）程度のものが採用される。

PD１３３は、入射された光に応じた電荷を蓄積し、読み出しゲート１３４がオンされると、そこに蓄積された電荷を転送レジスタ（不図示）に移動させる。

図１０は、生成システム１０１の制御に関する機能ブロック図を示している。なお、図７と対応する部分については同一の符号を付してあり、その説明を適宜省略する。

制御部１５１は、画像パターン１１３Ｐに対応する画像信号をA/Dコンバータ１１９から取得し、メモリ１２０に記憶するための制御を行う。即ち、制御部１５１は、照度を表す照射パラメータを光源制御部１５２に供給する。光源制御部１５２は、供給された照射パラメータに基づいて、光源１１１を制御する。これにより、光源１１１から指定された照度の光が出射される。

また、制御部１５１は、撮像タイミングを決定するタイミング信号をCCDセンサ１１７に対して供給し、そのタイミング信号によって撮像され、出力された画像パターン１１３Pに対応する画像信号をA/Dコンバータ１１９を介して取得する。さらに、制御部１５１は、取得した画像信号から、CCDセンサ１１７が画像パターン１１３Ｐに対して正位置に、３Dステージ１１８のテーブル上に配置されているかどうかを検証する。CCDセンサ１１７が画像パターン１１３Pに対して正位置に配置されていない場合、制御部１５１は、正位置となるために移動させるべきX軸、Y軸、およびZ軸方向それぞれについてのCCDセンサ１１７の移動量を計算し、ステージ制御部１５３に供給する。

ステージ制御部１５３は、供給された移動量に基づいて、３Dステージ１１８に移動命令を出力する。これにより、３Dステージ１１８は、指定された量だけテーブルを移動し、これにより、画像パターン１１３Pが正位置となるようにCCDセンサ１１７が位置補正される。

このような、CCDセンサ１１７が画像パターン１１３Pに対して正位置となるように位置調整する処理をアライメント（処理）という。アライメントのための画像パターンとしては、例えば、十字マークのようなアライメント専用の画像パターンをテストチャート１１３に設け、その画像信号を取得して、CCDセンサ１１７が画像パターン１１３Pに対して正位置となるように位置調整してもよいし、画像パターン１１３Pの一部の画像パターンをアライメント用の画像パターンとし、その画像パターン１１３Pの一部（または全部）の画像信号を取得して、位置調整してもよい。

そして、制御部１５１は、正位置で撮像された画像パターン１１３Pの画像信号を、そのときの照射パラメータとともに、メモリ１２０に記憶させる。

さらに、制御部１５１は、テストチャート交換部１２２およびCCDセンサ交換部１２１に交換信号を供給する。これにより、テストチャート交換部１２２は、ステージ１１４のテーブル上に設置されたテストチャート１１３を他のテストチャート１１３に交換し、CCDセンサ交換部１２１は、３Dステージ１１８のテーブル上に設置されたCCDセンサ１１７を他のCCDセンサ１１７に交換する。

次に、図１１のフローチャートを参照して、生成システム１０１の学習用画像信号生成処理について説明する。この処理により生成された信号が、上述した図６のステップＳ１１で教師データおよび生徒データとされるので、その意味で、この処理は、図６の学習方法の一部を構成している。

初めに、ステップＳ４１において、光源制御部１５２は、光源をONして点灯させ、ステップＳ４２において、制御部１５１は、照射パラメータを設定し、光源制御部１５２に供給する。光源制御部１５２は、供給された照射パラメータに基づいて、光源１１１を制御する。これにより、テストチャート１１３の画像パターン１１３Pが、後述するステップＳ４３で設置されたＣＣＤセンサ１１７上に投影される。

ステップＳ４３において、CCDセンサ交換部１２１は、制御部１５１からの交換信号に基づいて、学習対象とする型番号のCCDセンサ１１７のうちの所定のものを選択し、３Dステージ１１８のテーブル上に設置する。

ステップＳ４４において、テストチャート交換部１２２は、制御部１５１からの交換信号に基づいて、テストチャート１１３のうちの所定のものを選択し、ステージ１１４のテーブル上に設置する。

ステップＳ４５において、制御部１５１は、アライメントを行う。即ち、制御部１５１は、撮像タイミングを決定するタイミング信号をCCDセンサ１１７に供給し、そのタイミング信号によって撮像されたアライメントのための画像パターンに対応する画像信号をA/Dコンバータ１１９から取得する。そして、制御部１５１は、取得した画像信号から、CCDセンサ１１７が画像パターン１１３Ｐに対して正位置に、３Dステージ１１８のテーブル上に配置されているかどうかを検証する。CCDセンサ１１７が画像パターン１１３Pに対して正位置に配置されていない場合、制御部１５１は、正位置とするために移動させるべきX軸、Y軸、およびZ軸方向それぞれについてのCCDセンサ１１７の移動量を計算し、ステージ制御部１５３に供給する。ステージ制御部１５３は、供給された移動量だけ３Dステージ１１８のテーブルを移動させる。

ステップＳ４６において、制御部１５１は、CCDセンサ１１７に画像パターン１１３Ｐを撮像させる。制御部１５１は、タイミング信号をCCDセンサ１１７に供給し、CCDセンサ１１７は、タイミング信号によって画像パターン１１３Ｐを撮像し、その結果得られる画像信号をA/Dコンバータ１１９に出力する。

ステップＳ４７において、A/Dコンバータ１１９は、CCDセンサ１１７からの画像信号をA/D変換して、制御部１５１に出力する。

ステップＳ４８において、制御部１５１は、A/Dコンバータ１１９から供給される、画像パターン１１３Pの画像信号に基づいて、アライメントを再度行う必要があるかどうかを判定する。ステップＳ４８で、アライメントを再度行う必要があると判定された場合、即ち、CCDセンサ１１７が画像パターン１１３Pに対して正位置となるように３Dステージ１１８のテーブル上に位置していない場合、処理はステップＳ４５に戻り、それ以降の処理が繰り返される。

一方、ステップＳ４８で、アライメントを再度行う必要がないと判定された場合、即ち、CCDセンサ１７が画像パターン１１３Pに対して正位置となるように３Dステージ１１８のテーブル上に位置している場合、ステップＳ４９において、制御部１５１は、いま取得した画像パターン１１３Ｐの画像信号をメモリ１２０に記憶させる。そして、ステップＳ５０において、制御部１５１は、いま取得した画像パターン１１３Ｐの画像信号における照射パラメータをメモリ１２０に記憶させる。

ステップＳ５１において、制御部１５１は、全てのテストチャートを使用したかどうかを判定する。ステップＳ５１で、まだ全てのテストチャートを使用していないと判定された場合、ステップＳ４４に処理が戻される。その結果、テストチャート交換部１２２によりテストチャートが次のテストチャートに交換され、上述した場合と同様の処理が繰り返される。

一方、ステップＳ５１で、全てのテストチャートを使用したと判定された場合、ステップＳ５２において、制御部１５１は、全てのCCDセンサ１１７を使用したかどうかを判定する。ステップＳ５２で、まだ全てのCCDセンサ１１７を使用していないと判定された場合、ステップＳ４３に処理が戻される。そして、CCDセンサ交換部１２１によりCCDセンサ１１７が次のものに交換され、同様の処理が実行される。

一方、ステップＳ５２で、全てのCCDセンサ１１７を使用したと判定された場合、処理は終了する。

以上のようにして、３Ｄステージ１１８のテーブル上にセットされた、学習対象とされるCCDセンサ１２（図１）と同型のCCDセンサ１１７について、テストチャート１１３の画像信号をメモリ１２０に記憶させることができる。

メモリ１２０には、CCDセンサ製造時に生じる欠陥画素によるもの、重畳されているランダムノイズの大きいもの、または小さいもの、カラーフィルタ１３２による色ムラが大きいもの、小さいものなど、様々な個体差のある画像信号が蓄積されることになる。

そこで、撮像装置１のDRC回路１４において、入力される第１の画像信号を、どのような第２の画像信号に変換する処理を行うかに応じて、その処理に最適な画像信号が、教師データまたは生徒データとして抽出され、メモリ１２０から教師データ記憶部４１または生徒データ記憶部４２に供給される。

例えば、メモリ１２０に蓄積されている画像信号の中から、理想の画像信号に最も近い画像信号、即ち、欠陥画素がなく、色ムラなどもなく、高Ｓ／Ｎの画像信号が、チャンピォンデータ（最高画質の画像信号）として選択、決定される。メモリ１２０は、そのチャンピォンデータを、教師データとして教師データ記憶部４１に供給する。一方、生徒データとしては、メモリ１２０に蓄積されている画像信号の中から、補正対象とする内容を含むものが選択され、生徒データ記憶部４２に供給される。

例えば、ランダムノイズを含む画像信号を生徒データとした場合、学習装置３１は、第１の画像信号を、そこに含まれるランダムノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としてDRC回路１４を機能させる予測係数を生成することができる。

また例えば、生徒データとして、いずれかの画素に欠陥画素が含まれていたCCDセンサ１１７で取得された画像信号を採用した場合、学習装置３１は、CCDセンサ製造時に生じた欠陥画素を含むCCDセンサから出力される第１の画像信号を、欠陥画素のない第２の画像信号に変換する欠陥画素補正処理としてDRC回路１４を機能させる予測係数を生成することができる。

さらに例えば、生徒データとして、メモリ１２０に蓄積されている画像信号のうちの、画像の一部または全部にカラーフィルタによる色ムラが生じている画像信号を採用した場合、学習装置３１は、第１の画像信号を、色ムラのない第２の画像信号に変換する色ムラ補正処理としてDRC回路１４を機能させる予測係数を生成することができる。

なお、教師データとしては、上述したチャンピォンデータの代わりに、メモリ１２０に蓄積されている全ての画像信号の平均をとった画像信号や、その平均以上の画質の画像信号のみを集めた画像信号など、統計処理後の画像信号を採用しても良い。また、生徒データとしては、メモリ１２０に蓄積されている画像信号のすべてとしても良い。

さらに、教師データとしては、メモリ１２０に蓄積されている画像信号を、ユーザ（人間）が最適と思われる信号に人為的に加工したものや、CCDセンサ設計時においてPD１３３（図９）の受光量をシミュレーションするソフトウェアから得られた理想（仮想）の画像信号とすることもできる。

また例えば、CCDセンサ１２の画素ごとの応答特性のばらつきを補正する補正処理としてDRC回路１４を機能させる予測係数を生成する場合には、教師データとして、各画素の応答特性が安定した後に取得した画像信号を採用し、生徒データとして、製品として出荷可能な仕様の範囲内ではあるが応答特性にばらつきのある画像信号を採用することができる。

次に、第１の画像信号を、１画素に対してR信号、G信号、またはB信号のいずれか１つのみが出力される単板CCDセンサの画像信号とするとともに、第２の画像信号を、１画素に対してR信号、G信号、およびB信号のいずれも出力される３板CCDセンサと同等の画像信号として、単板CCDセンサの画像信号を３板CCDセンサと同等の画像信号に変換する単板３板変換処理としてDRC回路１４が機能するための予測係数を学習するのに必要な学習用画像信号の生成について説明する。

この学習用画像信号の生成では、生成システム１０１に用いるCCDセンサ１１７は、図１２Aに示すように、各画素がR信号、G信号、またはB信号のいずれか１つのみを出力するベイヤ配列の単板CCDセンサとされる。

なお、以下の説明では、各画素の位置を特定するために、CCDセンサ１１７の画素のうち、図１２Bに示すように、最も左上の画素を基点として、横（右）方向をX方向、縦（下）方向をY方向とする座標系を設定し、最も左上の画素からｘ行ｙ列目（１≦ｘ，ｙ≦４）の位置の各画素を（ｘ，ｙ）画素と称することにする。

生徒データとしては、図１１を参照して説明した学習用画像信号生成処理によってメモリ１２０に記憶されている、単板CCDセンサであるCCDセンサ１１７の画像信号、即ち、R信号、G信号、またはB信号のいずれか１つが各画素で得られている画像信号が採用され、生徒データ記憶部４２に供給される。

これに対して、教師データとしては、CCDセンサ１１７を構成する各画素について、R信号、G信号、およびB信号のすべてを有する画像信号が、教師データ記憶部４１に記憶される必要がある。

そこで、図１３乃至図１５に示すように、R信号、G信号、またはB信号のうちの１つの信号を出力する画素の位置に、他の２つの信号を出力する画素が位置するように、CCDセンサ１１７の位置を調整して撮像することにより、CCDセンサ１１７を構成する各画素について、R信号、G信号、およびB信号のすべてを有する画像信号を生成することができる。

図１３は、CCDセンサ１１７の全画素分のG信号を生成する例を示している。

生成システム１０１は、図１３A乃至図１３Cに示す第１乃至第３の位置で画像パターン１１３Pを撮像し、その第１乃至第３の位置で得られた３つの画像信号を組み合わせることにより、CCDセンサ１１７の全画素分のG信号を生成する。

即ち、ステージ制御部１５３は、第１の位置として、図１３Aに示すように、正位置となるようにCCDセンサ１１７を移動させる（CCDセンサ１１７が設置された３Dステージ１１８を移動させる）。

第１の位置でCCDセンサ１１７が撮像した場合、図１３Aで“G₁”として示されている、CCDセンサ１１７の（１，１）画素、（３，１）画素、（２，２）画素、（４，２）画素、（１，３）画素、（３，３）画素、（２，４）画素、および（４，４）画素でG信号を得ることができる。

また、ステージ制御部１５３は、第２の位置として、図１３Bに示すように、正位置に対して右方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第２の位置でCCDセンサ１１７が撮像した場合、図１３Bで“G₂”として示されている、CCDセンサ１１７が正位置のときの（２，１）画素、（４，１）画素、（３，２）画素、（２，３）画素、（４，３）画素、および（３，４）画素に相当するG信号を得ることができる。

さらに、ステージ制御部１５３は、第３の位置として、図１３Cに示すように、正位置に対して左方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第３の位置でCCDセンサ１１７が撮像した場合、図１３Cで“G₃”として示されている、CCDセンサ１１７が正位置のときの（２，１）画素、（１，２）画素、（３，２）画素、（２，３）画素、（１，４）画素、および（３，４）画素に相当するG信号を得ることができる。

従って、第１乃至第３の位置で得られた各画素のG信号を集めると、図１３Dに示すように、CCDセンサ１１７の全画素分のG信号を得ることができる。なお、（３，２）画素と（３，４）画素については、第２の位置と第３の位置の両方でG信号が得られるが、いずれか一方の位置で得られたG信号を用いてもよいし、２つの平均値を、その画素のG信号としてもよい。図１３Dでは、第２の位置のG信号を採用している。

図１４は、CCDセンサ１１７の全画素分のB信号を生成する例を示している。

生成システム１０１は、図１４A乃至図１４Dに示す第１乃至第４の位置で画像パターン１１３Pを撮像し、その第１乃至第４の位置で得られた４つの画像信号を組み合わせることにより、CCDセンサ１１７の全画素分のB信号を生成する。

即ち、ステージ制御部１５３は、第１の位置として、図１４Aに示すように、正位置となるようにCCDセンサ１１７を移動させる（CCDセンサ１１７が設置された３Dステージ１１８を移動させる）。

第１の位置でCCDセンサ１１７が撮像した場合、図１４Aで“B₁”として示されている、CCDセンサ１１７の（２，１）画素、（４，１）画素、（２，３）画素、および（４，３）画素でB信号を得ることができる。

また、ステージ制御部１５３は、第２の位置として、図１４Bに示すように、正位置に対して下方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第２の位置でCCDセンサ１１７が撮像した場合、図１４Bで“B₂”として示されている、CCDセンサ１１７が正位置のときの（２，２）画素、（４，２）画素、（２，４）画素、および（４，４）画素に相当するB信号を得ることができる。

さらに、ステージ制御部１５３は、第３の位置として、図１４Cに示すように、正位置に対して左方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第３の位置でCCDセンサ１１７が撮像した場合、図１４Cで“B₃”として示されている、CCDセンサ１１７が正位置のときの（１，１）画素、（３，１）画素、（１，３）画素、および（３，３）画素に相当するB信号を得ることができる。

また、ステージ制御部１５３は、第４の位置として、図１４Dに示すように、正位置に対して左方向および下方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第４の位置でCCDセンサ１１７が撮像した場合、図１４Dで“B₄”として示されている、CCDセンサ１１７が正位置のときの（１，２）画素、（３，２）画素、（１，４）画素、および（３，４）画素に相当するB信号を得ることができる。

従って、第１乃至第４の位置で得られた各画素のB信号を集めると、図１４Eに示すように、CCDセンサ１１７の全画素分のB信号を得ることができる。

図１５は、CCDセンサ１１７の全画素分のR信号を生成する例を示している。

生成システム１０１は、図１５A乃至図１５Dに示す第１乃至第４の位置で画像パターン１１３Pを撮像し、その第１乃至第４の位置で得られた４つの画像信号を組み合わせることにより、CCDセンサ１１７の全画素分のR信号を生成する。

即ち、ステージ制御部１５３は、第１の位置として、図１５Aに示すように、正位置となるようにCCDセンサ１１７を移動させる（CCDセンサ１１７が設置された３Dステージ１１８を移動させる）。

第１の位置でCCDセンサ１１７が撮像した場合、図１５Aで“R₁”として示されている、CCDセンサ１１７の（１，２）画素、（３，２）画素、（１，４）画素、および（３，４）画素でR信号を得ることができる。

また、ステージ制御部１５３は、第２の位置として、図１５Bに示すように、正位置に対して上方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第２の位置でCCDセンサ１１７が撮像した場合、図１５Bで“R₂”として示されている、CCDセンサ１１７が正位置のときの（１，１）画素、（３，１）画素、（１，３）画素、および（３，３）画素に相当するR信号を得ることができる。

さらに、ステージ制御部１５３は、第３の位置として、図１５Cに示すように、正位置に対して右方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第３の位置でCCDセンサ１１７が撮像した場合、図１５Cで“R₃”として示されている、CCDセンサ１１７が正位置のときの（２，２）画素、（４，２）画素、（２，４）画素、および（４，４）画素に相当するR信号を得ることができる。

また、ステージ制御部１５３は、第４の位置として、図１５Dに示すように、正位置に対して右方向および上方向に１画素分ずれるようにCCDセンサ１１７を移動させる。

第４の位置でCCDセンサ１１７が撮像した場合、図１５Dで“R₄”として示されている、CCDセンサ１１７が正位置のときの（２，１）画素、（４，１）画素、（２，３）画素、および（４，３）画素に相当するR信号を得ることができる。

従って、第１乃至第４の位置で得られた各画素のR信号を集めると、図１５Eに示すように、CCDセンサ１１７の全画素分のR信号を得ることができる。

以上のようにして、３Dステージ１１８によって画像パターン１１３Pに対するCCDセンサ１１７の位置を画素単位で所定量ずらすことにより、CCDセンサ１１７の全画素で、R信号、G信号、およびB信号のすべてを有する画像信号が生成され、メモリ１２０に記憶された後、教師データとして、教師データ記憶部４１に供給される。

なお、ベイヤ配列のカラーフィルタ１３２（図９）を、全画素がR成分のカラーフィルタ、G成分のカラーフィルタ、またはB成分のカラーフィルタにそれぞれ交替したものを特別に用意した場合には、それを用いて、全画素がR信号、G信号、およびB信号を有する画像信号を得ることができる。

次に、生成システム１０１のその他の実施の形態について説明する。

一般的に、CCDセンサには温度特性があり、CCDセンサの継続撮像時間（起動してからの経過時間）に応じて、CCDセンサの製品仕様内ではあるが、撮像して得られる画像信号に違いが生じることがある。

そこで、生成システム１０１の次の実施の形態では、撮像して得られる画像信号を、CCDセンサ１１７の継続撮像時間に応じて別々のデータとしてメモリ１２０に記憶させ、継続撮像時間ごとに異なる予測係数を求めることができるようにする。

図１６は、CCDセンサ１１７の継続撮像時間ごとに異なる予測係数を求める場合の、図１０に代わる生成システム１０１の機能ブロック図である。

図１６では、タイマ１７１が新たに設けられている点を除いて、図１０と共通に構成されており、共通な部分についての説明を省略する。

制御部１５１は、タイマ１７１から供給される時間情報に基づいて、CCDセンサ１１７の継続撮像時間をカウントする。そして、制御部１５１は、CCDセンサ１１７を起動してから、例えば、１分後、３分後、５分後、１０分後、・・・・などの予め決めておいた時間に、CCDセンサ１１７で画像パターン１１３Pを撮像して得られた画像信号を、メモリ１２０に記憶させる。

そのようにしてメモリ１２０に記憶された、所定の継続撮像時間ごとの多数のCCDセンサ１１７の画像信号のうち、例えば、CCDセンサ１１７を起動してから１分後の画像信号のみを学習用画像信号として教師データ記憶部４１および生徒データ記憶部４２（図５）に供給し、学習させることにより、CCDセンサ１１７を起動してから１分後の第１の画像信号を、高画質の第２の画像信号に変換するための予測係数を求めることができる。

また、メモリ１２０に記憶された、所定の継続撮像時間ごとの多数のCCDセンサ１１７の画像信号のうち、例えば、CCDセンサ１１７を起動してから３分後の画像信号のみを学習用画像信号として教師データ記憶部４１および生徒データ記憶部４２（図５）に供給し、学習させることにより、CCDセンサ１１７を起動してから３分後の第１の画像信号を、高画質の第２の画像信号に変換するための予測係数を求めることができる。

５分後、１０分後等の予測係数についても同様に求めることができる。なお、CCDセンサ１１７の継続撮像時間ごとに異なる画像信号を採用する以外の、例えば、教師データおよび生徒データとしての画像信号の選択方法などは、上述した最初の実施の形態と同様である。

図１７は、CCDセンサ１１７の継続撮像時間ごとに異なる予測係数を用いて、入力される第１の画像信号を、第２の画像信号に変換するDRC回路１４の構成例を示している。なお、図１７において、図２と対応する部分については同一の符号を付してあり、その説明を適宜省略する。

即ち、図１７においては、予測タップ抽出部２１、クラスタップ抽出部２２、クラスコード発生部２３、および予測演算部２５を有する点において図２と共通し、係数発生部２４に代えて係数発生部１８１が設けられている点において図２と相違する。

係数発生部１８１は、係数RAM（Random Access Memory）１９１−１乃至１９１−１０を有している。係数RAM１９１−１乃至１９１−１０は、CCDセンサ１２の所定の継続撮像時間に対応する予測係数を記憶する。例えば、係数RAM１９１−１は、継続撮像時間が１分の画像信号を学習用画像信号として求められた予測係数を記憶している。係数RAM１９１−２は、継続撮像時間が３分の画像信号を学習用画像信号として求められた予測係数を記憶している。係数RAM１９１−３は、継続撮像時間が５分の画像信号を学習用画像信号として求められた予測係数を記憶している。

なお、本実施の形態では、係数発生部１８１が１０個の係数RAM１９１−１乃至１９１−１０を有することとしているが、２乃至９個でも１１個以上でもよい。

係数発生部１８１には、撮像装置１の図示せぬ制御回路から、CCDセンサ１２の継続撮像時間に応じて係数RAM１９１−１乃至１９１−１０のいずれか１つを選択するパラメータｚが供給される。係数発生部１８１は、パラメータｚに応じて、係数RAM１９１−１乃至１９１−１０のいずれか１つを選択し、そこから、クラスコードに対応するアドレスに記憶されている予測係数を予測演算部２５に供給する。

例えば、係数発生部１８１には、CCDセンサ１２の継続撮像時間が１分になるまでの間は、係数RAM１９１−１を選択させるパラメータｚが供給され、CCDセンサ１２の継続撮像時間が１分経過後から３分になるまでの間は、係数RAM１９１−２を選択させるパラメータｚが供給される。

以上のように、CCDセンサ１２（図１）と同型のCCDセンサ１１７について、継続撮像時間に応じて画像パターン１１３Pの画像信号を取得し、それを、学習用画像信号として学習することで、継続撮像時間ごとに異なる予測係数を得ることができ、これにより、CCDセンサ１２が出力する第１の画像信号を、CCDセンサ１２の温度特性を考慮した最適な第２の画像信号に変換することができる。

上述した撮像装置１や学習装置３１が行う一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールしたりすることができる。

コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本実施の形態では、間隔、エッジ角度、パターン濃度を様々に変えた画像パターン１１３Ｐが描画されているテストチャート１１３を採用したが、CCDセンサ全体を均一に評価するために、碁盤の目のようなハッチングが画像パターン１１３Ｐとして描画されているテストチャート１１３を採用しても良い。

また、本実施の形態では、CCDセンサによって画像を撮像するようにしたが、画像を撮像する撮像素子としては、その他、例えば、CMOS（Complementary Mental Oxide Semiconductor）センサを用いることも可能である。また、上述した例では、CCDセンサはモジュールとして撮像装置１に組み込まれていたが、ウエハレベルのCCDセンサやCMOSセンサが出力する画像信号に対して画像変換処理を適用してもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した撮像装置の一実施の形態の構成例を示す図である。 図１のDRC回路の構成を示すブロック図である。 予測タップとクラスタップのタップ構造の例を示す図である。 変換処理について説明するフローチャートである。 本発明を適用した学習装置の構成を示すブロック図である。 学習処理について説明するフローチャートである。 生成システムの構成例を示す図である。 画像パターンを説明する図である。 CCDセンサの詳細な構成例を示す断面図である。 生成システムの制御に関する機能ブロック図である。 学習用画像信号生成処理について説明するフローチャートである。 CCDセンサの画素配置例を説明する図である。 G信号の生成について説明する図である。 B信号の生成について説明する図である。 R信号の生成について説明する図である。 生成システムの制御に関するその他の機能ブロック図である。 DRC回路のその他の構成を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１４ DRC回路， ２１ 予測タップ抽出部， ２２ クラスタップ抽出部， ２３ クラスコード発生部， ２４ 係数発生部， ２５ 予測演算部， ３１ 学習装置， ４１ 教師データ記憶部， ４２ 生徒データ記憶部， ４３ 予測タップ抽出部， ４４ クラスタップ抽出部， ４５ クラスコード発生部， ４６ 足し込み部， ４７ 予測係数算出部， １１１ 光源， １１３ テストチャート， １１４ ステージ， １１７ CCDセンサ， １１８ ３Dステージ， １２０ メモリ， １２１ CCDセンサ交換部， １２２ テストチャート交換部， １５１ 制御部， １５２ 光源制御部， １５３ ステージ制御部， １７１ タイマ， １８１ 係数発生部， １９１−１乃至１９１−１０ 係数RAM

Claims (10)

1. 撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する学習装置であって、
   画像を撮像素子に投影する投影手段と、
   投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整する位置調整手段と、
   前記撮像素子により撮像された複数の画像を記憶する記憶手段と
   を備える学習装置。
2. 記憶された前記複数の画像のうちの少なくとも１つを用いて得られる画像を、前記予測係数を演算する場合の教師画像とするとともに、記憶された前記複数の画像を、前記予測係数を演算する場合の生徒画像とし、前記教師画像の画素である注目画素を求めるのに用いる複数の画素を、前記生徒画像から抽出する抽出手段と、
   抽出された前記複数の画素に基づいて、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段と
   をさらに備える
   請求項１に記載の学習装置。
3. 前記教師画像は、前記記憶手段に記憶された前記複数の画像のうちの最高画質の画像、または前記記憶手段に記憶された前記複数の画像を統計処理した画像である
   請求項１に記載の学習装置。
4. 前記撮像素子を交換する交換手段をさらに備える
   請求項１に記載の学習装置。
5. 前記撮像素子は、R信号を出力する画素、G信号を出力する画素、およびB信号を出力する画素がベイヤ配列されており、
   前記位置調整手段は、R信号、G信号、またはB信号のうちの１つの信号を出力する画素の位置に、他の２つの信号を出力する画素が位置するように位置を調整する
   請求項１に記載の学習装置。
6. 撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する学習方法であって、
   画像を撮像素子に投影し、
   投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整し、
   前記撮像素子により撮像された複数の画像を記憶する
   ステップを含む学習方法。
7. 撮像素子が出力する画像信号を変換するとき用いられる予測係数を学習する処理をコンピュータに実行させるプログラムであって、
   画像を撮像素子に投影し、
   投影された前記画像の各画素が前記撮像素子により対応する位置の画素として撮像されるように、撮像の位置を相対的に調整し、
   前記撮像素子により撮像された複数の画像を記憶する
   ステップを含むプログラム。
8. 被写体を撮像する撮像手段と、
   前記撮像手段が出力する第１の画像信号を、その特徴に応じてクラスに分類するクラス分類手段と、
   前記撮像手段と同型の複数の撮像手段を用いた学習により獲得された前記クラスごとの予測係数を出力する予測係数出力手段と、
   前記撮像手段が出力する前記第１の画像信号を、前記クラス分類手段において得られた前記クラスの予測係数を用いて演算することで第２の画像信号を求める演算手段と
   を備える信号処理装置。
9. 被写体を撮像素子により撮像し、
   撮像されて得られる第１の画像信号を、その特徴に応じてクラスに分類し、
   撮像に使用した撮像素子と同型の複数の撮像素子を用いた学習により獲得された前記クラスごとの予測係数を出力し、
   前記第１の画像信号を、前記第１の画像信号の前記クラスの予測係数を用いて演算することで第２の画像信号を求める
   ステップを含む信号処理方法。
10. 被写体を撮像素子により撮像し、
    撮像されて得られる第１の画像信号を、その特徴に応じてクラスに分類し、
    撮像に使用した撮像素子と同型の複数の撮像素子を用いた学習により獲得された前記クラスごとの予測係数を出力し、
    前記第１の画像信号を、前記第１の画像信号の前記クラスの予測係数を用いて演算することで第２の画像信号を求める
    ステップを含む処理をコンピュータに実行させるプログラム。

Images