JP2006140952A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 ニューラルネットワークによってカラー画像データを処理する画像処理装置において、当該カラー画像データの輝度に応じた期待通りの処理結果を得る。
【解決手段】 カラー画像データＤｏは正規化部１２によって０〜１の値に正規化された後、ＢＰ法学習型のニューラルネットワーク１４のネットワーク部１６に入力される。ネットワーク部１６は、このカラー画像データＤｏに対して、パラメータ設定部１８から設定されるパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて輝度変換処理を施す。このとき、カラー画像データＤｏは四元数として処理される。つまり、当該カラー画像データＤｏを構成するＲ成分，Ｇ成分およびＢ成分の３つの成分が、３次元ベクトルデータとして一括処理される。さらに、ネットワーク部１６に設定されるパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐは、カラー画像データＤｏの輝度に応じて選択される。
【選択図】 図２

Description

この発明は、画像処理装置および画像処理方法に関し、特に例えばニューラルネットワークによってカラー画像データを処理する、画像処理装置および画像処理方法に関する。

この種の画像処理技術として、従来、例えば特許文献１に開示されたものがある。この従来技術は、ディジタルカラー複写機やディジタルカラープリンタ等に適用されるものであり、具体的には、ＲＧＢ信号等の入力カラー画像信号をＣＭＹＫ信号等の他の形式のカラー画像信号に変換するものである。この従来技術によれば、入力カラー画像信号は、一旦、Ｌａｂ信号等のデバイス非依存信号（中間色信号）に変換された後、最終目標とする形式のカラー画像信号に変換される。そして、当該デバイス非依存信号に変換するのに、ニューラルネットワークが用いられる。このように入力カラー画像信号を一旦デバイス非依存信号に変換すると共に、その変換手段としてニューラルネットワークを用いることで、回路規模を増大させることなく容易に入力デバイスの色信号特性に対応することができる。
特開平８−２０４９７３号公報

しかし、上述の従来技術では、処理対象となる入力カラー画像信号は、ニューラルネットワーク内において３つの色成分、例えばＲ成分，Ｇ成分およびＢ成分に分解される。そして、これら３つの色成分のそれぞれは、互いに別個のニューロンユニットによって処理される。このように入力カラー画像信号を構成する３つの色成分、換言すれば互いに関連性のある３つの色成分が、互いに別個のニューロンユニットによって処理されると、当該関連性が失われてしまう。そして、場合によっては、例えば入力カラー画像信号の特性（色彩や明るさ等）が特異な場合には、期待通りの処理結果が得られない、という問題がある。

そこで、この発明は、処理対象となるカラー画像データの特性に応じた期待通りの処理結果を得ることができる画像処理装置および画像処理方法を提供することを、目的とする。

かかる目的を達成するために、この発明のうち第１の発明は、ニューラルネットワークによってカラー画像データを処理する画像処理装置において、当該ニューラルネットワークの処理手順を決める複数種類のパラメータが記憶された記憶手段と、当該カラー画像データの特性に基づいて各パラメータのいずれかを選択する選択手段と、この選択手段によって選択されたパラメータに基づいてカラー画像データを四元数として処理するニューラルネットワークを形成する処理手段と、を具備することを特徴とするものである。

即ち、この第１の発明では、ニューラルネットワークによる処理対象となるカラー画像データは、四元数として取り扱われる。具体的には、当該カラー画像データを構成する３つの色成分は、四元数の虚数部分を構成する３つの実数に代入される。そして、このように四元数という１つの数に格納された状態で、ニューラルネットワークにより一括処理される。従って、処理後においても、これら３つの色成分の関連性は保持される。さらに、記憶手段には、ニューラルネットワークの処理手順を決める複数種類のパラメータが記憶されており、これら複数種類のパラメータのうち、処理対象となるカラー画像データの特性に応じたパラメータが、選択手段によって選択される。そして、処理手段が、当該選択手段によって選択されたパラメータ、つまりカラー画像データの特性に応じたパラメータに基づいて、ニューラルネットワークを形成する。従って、カラー画像データは、自身の特性に応じた処理手順で処理される。

なお、ここで言うカラー画像データを構成する３つの色成分とは、例えば当該カラー画像データが一般に知られているＲＧＢフォーマットのデータである場合には、Ｒ成分，Ｇ成分およびＢ成分のことを言う。また、例えば当該カラー画像データがＹＵＶフォーマットのものである場合には、Ｙ成分，Ｕ（Ｂ−Ｙ）成分およびＶ（Ｒ−Ｙ）成分のことを言う。

また、各パラメータは、互いに特性の異なる複数のテスト用画像データのそれぞれを処理手段に処理させたときに略期待通りの処理結果が得られる値であるのが、望ましい。そして、この場合、選択手段は、当該各パラメータのうちカラー画像データと同様の特性を有するテスト用画像データに対応するパラメータを選択するのが、望ましい。

さらに、選択手段は、カラー画像データの特性を判定する判定手段と、この判定手段による判定結果に基づいてパラメータを選択する選択実行手段と、を備えるものであってもよい。

そして、ここで言うカラー画像データの特性は、当該カラー画像データの輝度を含むものとすることができる。このようにすれば、当該カラー画像データの輝度に応じた処理結果を得ることができ、例えば暗いカラー画像データから明るいカラー画像データを再現する等の期待通りの輝度を示す画像データを得ることができる。

また、カラー画像データは、カメラによる撮影データであってもよい。そしてさらに、かかるカラー画像データの特性は、当該カラー画像データ（撮影データ）が所定の光学フィルタを通して得られたデータであるか否かの条件を含むものとしてもよい。このようにすれば、当該光学フィルタを通して得られたカラー画像データと、そうでないカラー画像データとを、当該光学フィルタの有無に応じた処理手順で処理することができ、ひいては期待通りの処理結果を得ることができる。

なお、ここで言うカメラが、例えば可視用のものであったとしても、当該カメラによっては、可視光線領域以外に赤外線領域にも感度を有する場合がある。そして、この場合、上述の光学フィルタとして、当該赤外線領域を遮断するための赤外線遮断フィルタが用いられることがある。かかる構成においては、例えば昼間は太陽光等に含まれる赤外線による影響（色彩の変化）を排除するために当該赤外線遮断フィルタが用いられ、夜間はより高い感度を得るために当該赤外線遮断フィルタは外される。ところが、このように赤外線遮断フィルタが用いられ（言わばＯＮされ）、または外される（言わばＯＦＦされる）ことによって、当然に両者間の撮影データの色彩に差異が生じる。また、赤外線遮断フィルタがＯＦＦされる夜間に得られる撮影データは、当然に、当該赤外線遮断フィルタがＯＮされる昼間に得られる撮影データよりも暗い。そこで、赤外線遮断フィルタのＯＮ／ＯＦＦ状態に応じて上述のパラメータを選択するようにすれば、当該赤外線遮断フィルタのＯＮ／ＯＦＦに応じた期待通りの処理結果を得ることができる。つまり、色彩を精確に再現し、或いは夜間に撮影された画像でも昼間に撮影されたのと同様の輝度を得ることができる。

さらに、カラー画像データの特性は、当該カラー画像データに含まれる所定の雑音の度合を含んでもよい。この場合、雑音の度合に応じた処理結果を得ることができ、例えば当該雑音が除去された画像データを得ることができる。なお、ここで言う雑音とは、カラー画像データ自体に含まれる電気的なノイズの他に、例えば霧や霞が掛かった状況で得られたカラー画像データの当該霧や霞等の言わば画像を不鮮明にする要因をも含む。

第２の発明は、ニューラルネットワークによってカラー画像データを処理する画像処理方法において、記憶手段に記憶されており当該ニューラルネットワークの処理手順を決める複数種類のパラメータのいずれかをカラー画像データの特性に基づいて選択する選択過程と、この選択過程において選択されたパラメータに基づいてカラー画像データを四元数として処理するニューラルネットワークを形成する処理過程と、を具備することを特徴とするものである。

即ち、この第２の発明は、第１の発明に対応する方法発明であり、よって第１の発明と同様の作用を奏する。

この発明によれば、カラー画像データを構成する３つの色成分は、四元数という１つの数に格納された状態で一括処理されるので、処理後においても当該３つの色成分の関連性が保持される。しかも、当該カラー画像データは、自身の特性に応じた処理手順によって処理される。従って、３つの色成分の関連性が失われてしまい入力カラー画像信号の特性が特異な場合等には期待通りの処理結果が得られない上述の従来技術とは異なり、処理対象となるカラー画像データの特性に応じた期待通りの処理結果を得ることができる。

この発明の具体的な実施形態を説明する前に、まず、四元数について簡単に説明する。

［四元数の定義］
四元数は、超複素数の１つであり、複素数と同様に実数部分と虚数部分とから成る。虚数部分には、３つの虚数単位が含まれており、これをｉ，ｊおよびｋで表すと、四元数ｑは、次の数１によって定義される。

ここで、ａ，ｂ，ｃおよびｄは、実数であり、四元数ｑの成分を表す。従って、四元数全体の集合をＫ^４とすると、この集合Ｋ^４は、１，ｉ，ｊおよびｋを基底とする４次元ベクトル空間になる。

また、四元数ｑの成分ｂ，ｃおよびｄが０（ゼロ）であれば、当該四元数ｑは実数となる。一方、成分ａが０であれば、四元数ｑは、純虚の四元数ｑ＾となる。このことから、四元数ｑは、次の数２によって表すことができる。

つまり、四元数ｑの集合Ｋ^４には、実数ａから成る実数部分Ｒと、純虚の四元数ｑ＾から成る３次元ベクトル空間Ｉとが含まれている、と考えることができる。そして、これら実数部分Ｒと３次元ベクトル空間Ｉとは、互いに直交補空間の関係にある。従って、四元数ｑの共役な四元数ｑ^＊は、次の数３によって表される。

なお、虚数単位ｉ，ｊおよびｋの掛け合わせの規則は、数４によって定義される。

また、四元数ｑの絶対値（norm）｜ｑ｜は、次の数５によって定義される。

［四元数の幾何学的性質］
以上のように定義された四元数には、全ての純虚の四元数が成す３次元ベクトル空間Ｉの任意の回転ｇを次の数６によって表すことができる、という幾何学的性質がある。

ここで、ｑは、｜ｑ｜＝１の四元数（ｑ∈Ｋ^４）であり、ｖは、｜ｖ｜＝１の純虚の四元数（ｖ∈Ｉ）である。回転ｇもまた、｜ｇ｜＝１の純虚の四元数である。

さらに、｜α｜≦πを満たす角αと、｜ｕ｜＝１を満たす純虚の四元数ｕを用いると、四元数ｑは、次の数７で表すことができる。

そして、この数７を数６に代入すると、回転ｇは、次の数８のようになる。

この数８において、例えばベクトルｕとベクトルｖとが互いに垂直の関係にあるとき、当該数８は、次の数９によって表される。

ここで、ｕ×ｖは、ベクトルｕとベクトルｖとの外積である。この数９の関係を図で表すと、図１のようになる。即ち、この図１によれば、回転ｇは、ベクトルｕを軸としてベクトルｖを角度２αだけ回転させたベクトルと一致する。換言すれば、上述の数６は、ベクトルｕを軸としてベクトルｖを角度２αだけ回転させる演算式であることが判る。

一方、ベクトルｕとベクトルｖとが互いに垂直でない場合は、ベクトルｖをベクトルｕに垂直な成分ｖ_１と、ベクトルｕに平行な成分ｖ_２とに分けて考える。この場合、回転ｇは、次の数１０によって表される。

ここで、ベクトルｖ_１はベクトルｕと垂直であることから、当該ベクトルｖ_１はベクトルｕを軸として角度２αだけ回転される。これに対して、ベクトルｖ_２はベクトルｕと平行であることから、ｑｖ_２＝ｖ_２ｑが成り立つ。よって、ベクトルｖ_２は、ｑｖ_２ｑ^＊という演算が施された場合でも、不変である。つまり、数６は、ベクトルｕとベクトルｖとの位置関係に拘らず、ベクトルｖをベクトルｕの周りに角度２αだけ回転させる演算式であることが判る。

［第１実施形態］
このような四元数の定義および幾何学的性質を念頭に置いて、この発明の第１実施形態について説明する。

図２を参照して、この第１実施形態に係る画像処理装置１０は、高感度カメラ等の低照度環境において用いられるいわゆる暗視カメラに適用されるものであり、具体的には輝度の低い（暗い）カラー画像データＤｏ（ｏ：データの番号を表すインデックス）を明るいカラー画像データＺｐに変換するためのものである。

かかる輝度変換処理を実現するために、この画像処理装置１０は、ハードウェア的には、例えばパーソナルコンピュータによって構成され、詳しくは処理対象となるカラー画像データＤｏが入力される正規化部１２を備えている。正規化部１２は、入力されたカラー画像データＤｏの色成分、例えばＲ成分，Ｇ成分およびＢ成分のそれぞれを、０（ゼロ）〜１の範囲内の値に正規化する。正規化されたカラー画像データ（これについても符号Ｄｏで表す。）は、誤差逆伝搬（Back Propagation：以下、ＢＰと言う。）法学習型のニューラルネットワーク１４に入力される。

ニューラルネットワーク１４は、ネットワーク部１６，パラメータ設定部１８，誤差演算部２０およびメモリ部２２を備えており、このうちのネットワーク部１６に上述の正規化されたカラー画像データＤｏが入力される。ネットワーク部１６は、入力されたカラー画像データＤｏ対して上述の輝度変換処理を施す。このネットワーク部１６による処理後のデータＺｐは、外部に出力され、例えば図示しないディスプレイに入力される。これによって、ディスプレイに、当該処理後データ（出力データ）Ｚｐに従うカラー画像、つまりこの画像処理装置１０（ネットワーク部１６）による輝度変換処理後のカラー画像が表示される。

なお、この輝度変換処理の手順は、パラメータ設定部１８からネットワーク部１６に設定されるパラメータ、具体的には後述する結合荷重Ｗｎｍ，Ｗｐｎおよび閾値θｎ，θｐの各値により決定される。そして、これらのパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐの値は、次のような要領で画像処理装置１０に学習を実行させることによって求められる。

即ち、まず、学習用データとして任意の（明るさの）カラー画像データＤｏを入力する。これと同時に、当該学習用データＤｏに対する処理後データＺｐとして期待する（明るさの）データを、教師データＴｐとして、画像処理装置１０に与える。例えば、図示しないＣＣＤ（Charge Coupled Device）型可視カメラによって夜間に或る場所を撮影して得たデータを、カラー画像データＤｏとして入力すると共に、同カメラによって昼間に同場所を撮影して得たデータを、教師データＴｐとして与える。なお、当該カメラによる撮影データに代えて、任意のカラー画像の輝度を低減して得たデータを、カラー画像データＤｏとして入力すると共に、当該カラー画像の元の（明るい）データを、教師データＴｐとして与えてもよい。

教師データＴｐは、ニューラルネットワーク１４内の上述した誤差演算部２０に入力される。また、誤差演算部２０には、ネットワーク部１６による処理後のデータＺｐも入力される。誤差演算部２０は、これら教師データＴｐおよび処理後データＺｐの差、厳密には二乗平均誤差を求め、当該二乗平均誤差を表す誤差関数Ｅをパラメータ設定部１８に供給する。すると、パラメータ設定部１８は、供給された誤差関数Ｅが極小になるように、上述のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを更新し、更新後のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐをネットワーク部１６に設定する。この更新動作、言わば学習動作は繰り返し行われ、これによって各パラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐのそれぞれは或る一定の値に収束し、処理後データＺｐは教師データＴｐに近似するようになる。そして、期待通りの処理後データＺｐを得るためのパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐが決定され、決定されたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐは、上述したメモリ部２２内のパラメータテーブル２４に記憶される。

なお、この第１実施形態において、カラー画像データＤｏに従う入力画像は、図３（ａ）に示すように、横３２０画素×縦２４０画素の計７６，８００画素から成り、それぞれの画素のＲ成分，Ｇ成分およびＢ成分の各情報量（深さ）は、８ビットとされている。そして、任意の画素（注目画素）とその回りを取り囲む８個の画素との計９個の画素が１単位で扱われ、これら９個の画素に基づいて、図３（ｂ）に示すように、当該注目画素に対する処理結果（画素）が得られる。従って、出力画像の画素数は、横３１８画素×縦２３８画素の計７５，６８４画素となる。ただし、それぞれの画素の情報量は、入力画像と変わらない。また、教師データＴｐに従う後述する教師画像についても同様に、横３１８画素×縦２３８画素の計７５，６８４画素のみが、処理の対象（処理後データＺｐとの比較対象）となる。

ところで、この第１実施形態におけるニューラルネットワーク１４は、カラー画像データＤｏを上述した四元数、厳密には純虚の四元数として取り扱う。これを実現するために、ネットワーク部１６は、次のような構成とされている。

即ち、ネットワーク部１６は、図４に示すように、入力層を構成するＭ個（Ｍ≧１）のニューロンユニット３０，３０，…と、中間層を構成するＮ個（Ｎ≧１）のニューロンユニット３２，３２，…と、出力層を構成するＰ個（Ｐ≧１）のニューロンユニット３４，３４，…とを有している。なお、この第１実施形態では、入力層のニューロンユニット３０の数Ｍは、Ｍ＝９個とされており、この９個のニューロンユニット３０，３０，…に、カラー画像データＤｏが入力され、具体的には上述の９個の画素（図３（ａ）参照）に対応するカラー画像データＤｍ（ｍ＝１〜Ｍ：入力層のニューロンユニット３０の番号を表すインデックス）が入力される。そして、中間層のニューロンユニット３２の数Ｎは、２以上必要であり、ここではＮ＝４個とされている。この数Ｎが多いほど、精確な処理結果が得られるが、その反面、演算回数が多くなるので処理速度が低下する。従って、当該数Ｎは、例えばＮ＝２個〜６個が適当である。そして、出力層のニューロンユニット３４の数Ｐは、Ｐ＝１個とされている。

入力層のニューロンユニット３０，３０，…それぞれは、中間層の全てのニューロンユニット３２，３２，…と互いに結合されている。そして、中間層の全てのニューロンユニット３２，３２，…は、出力層のニューロンユニット３４と互いに結合されている。従って、入力層の各ニューロンユニット３０，３０，…に入力されたカラー画像データＤｍは、中間層のニューロンユニット３２，３２，…および出力層のニューロンユニット３４によって順次連鎖的に処理された後、上述の処理後データＺｐとして出力される。

具体的には、入力層のニューロンユニット３０，３０，のそれぞれは、入力されたカラー画像データＤｍを自身の出力データ（これについても符号Ｄｍで表す。）としてそのまま出力し、つまりスルーさせる。そして、この出力データＤｍは、中間層の各ニューロンユニット２４，２４，…に入力される。

中間層のニューロンユニット３２，３２，…のそれぞれは、入力されたカラー画像データＤｍに対して次の数１１に従う演算を施す。

この数１１において、Ｓｎはｎ番目のニューロンユニット３２の内部ポテンシャルである。そして、Ｗｎｍは上述した結合荷重であり、具体的にはｎ番目のニューロンユニット３２と入力層のｍ番目のニューロンユニット３０との結合力を表す四元数のパラメータである。なお、Ｗｎｍ^＊は結合荷重Ｗｎｍの共役であり、｜Ｗｎｍ｜は結合荷重Ｗｎｍの絶対値である。さらに、θｎは上述した閾値であり、詳しくはｎ番目のニューロンユニット３２専用の純虚の四元数である。そして、Ｒｍ，ＧｍおよびＢｍは、カラー画像データＤｍのＲ成分，Ｇ成分およびＢ成分である。つまり、当該カラー画像データＤｍは、自身のＲ成分，Ｇ成分およびＢ成分にそれぞれ虚数単位ｉ，ｊおよびｋが割り当てられた純虚の四元数として扱われる。なお、内部ポテンシャルＳｎもまた、純虚の四元数となる。

そして、Ｈｎが、ニューロンユニット３２の出力データである。この出力データＨｎは、ニューロンユニット３２の非線形性を担保するために、内部ポテンシャルＳｎの関数とされており、ここでは当該関数としてシグモイド関数が用いられる。ただし、純虚の四元数である内部ポテンシャルＳｎをそのままシグモイド関数に代入することは不可能であるので、この第１実施形態では、当該内部ポテンシャルＳｎを３つの虚数単位ｉ，ｊおよびｋにそれぞれ対応するＳｎ^（ｉ），Ｓｎ^（ｊ）およびＳｎ^（ｋ）という３つの成分に分け、これら３つの成分Ｓｎ^（ｉ），Ｓｎ^（ｊ）およびＳｎ^（ｋ）毎にシグモイド関数を適用している。

この数１１から明らかなように、中間層のニューロンユニット３２，３２，…のそれぞれは、自身に入力されるカラー画像データＤｍを純虚の四元数として処理する。換言すれば、個々のニューロンユニット３２は、Ｒ成分，Ｇ成分およびＢ成分から成る当該カラー画像データＤｍを、１つの処理単位として扱う。従って、当該ニューロンユニット３２によって処理されても、これらＲ成分，Ｇ成分およびＢ成分の相互の関連性、言わばトポロジは保持される。

さらに、数１１に示すように、それぞれのニューロンユニット３２に入力されるカラー画像データＤｍは、結合荷重ＷｎｍによってＷｎｍＤｍＥｎｍ^＊／｜Ｗｎｍ｜という重み付けを施される。つまり、結合荷重Ｗｎｍと、カラー画像データ（言わば入力データ）Ｄｍと、結合荷重Ｗｎｍの共役Ｗｎｍ^＊とが、この順番で互いに乗算されると共に、その乗算結果が結合荷重Ｗｎｍの絶対値｜Ｗｎｍ｜によって除算される。このような重み付けが施されることで、次のような作用が得られる。即ち、｜ｑ｜＝１である四元数ｑを用いて結合荷重Ｗｎｍを表すと、次の数１２のようになる。

そして、この数１２に上述の数７を代入すると、当該数１２は次の数１３のようになる。

一方、｜ｖ｜＝１である純虚の四元数ｖを用いて入力データＤｍを表すと、次の数１４のようになる。

そして、これら数１３と数１４とを上述のＷｎｍＤｍＷｎｍ^＊／｜Ｗｎｍ｜に代入すると、当該ＷｎｍＤｍＷｎｍ^＊／｜Ｗｎｍ｜は次の数１５のようになる。

この数１５から明らかなように、ＷｎｍＤｍＷｎｍ^＊／｜Ｗｎｍ｜という重み付けには、ｑｖｑ^＊という上述した回転作用を奏する要素が含まれている。そして、結合荷重Ｗｎｍの絶対値｜Ｗｎｍ｜および入力データＤｍの絶対値｜Ｄｍ｜は、いずれも１以外の値になり得ることから、これらの積は相似変換作用を奏することが判る。このことは、Ｒ成分，Ｇ成分およびＢ成分という３次元の色空間を考えたときに、かかる重み付けが施されることによって、当該色空間において回転作用および相似変換作用が与えられることを、意味する。さらに、数１１によれば、入力データＤｍが総和されること、および閾値θｎが減算されることから、当該数１１は平行移動作用を奏する演算式でもあることが判る。これらのことから、中間層のニューロンユニット３２，３０，…のそれぞれは、それ単体で、回転処理，相似変換処理および平行移動処理という３次元空間（色空間）において想定される全ての処理、いわゆるアフィン変換処理を、実現できることになる。

なお、上述の重み付けの分母にある｜Ｗｎｍ｜は設けなくてもよいが、当該｜Ｗｎｍ｜が無い場合は、数１５は｜Ｗｎｍ｜^２｜Ｄｍ｜ｑｖｑ^＊となる。つまり、２次的関数になる。この場合、上述した学習時に結合荷重Ｗｎｍの変化が重み付けに対して大きく影響するので、当該学習動作が不安定になることがある。このため、この第１実施形態では、重み付けの分母に｜Ｗｎｍ｜を設けることで、当該学習動作の安定化を図っている。

このようなニューロンユニット３２は、概念的には図５に示すような構成となる。即ち、ニューロンユニット３２は、入力データＤｍ（入力層のニューロンユニット３０）の数Ｍと同数の重み付け部４０，４０，…を有している。そして、それぞれの重み付け部４０に、対応する入力データＤｍが入力される。この重み付け部４０にはまた、パラメータ設定部１８によって結合荷重Ｗｎｍが設定される。重み付け部４０は、入力データＤｍに対して結合荷重Ｗｎｍを用いて上述のＷｎｍＤｍＷｎｍ^＊／｜Ｗｎｍ｜という重み付けを施す。各重み付け部４０，４０，…における重み付けの結果は、加算部４２に入力され、ここで加算される。そして、この加算部４２による加算結果は、減算部４４に入力される。減算部４４には、パラメータ設定部１８によって閾値θｎが設定されており、減算部４４は、当該閾値θｎを加算部４２による加算結果から減算する。これによって、上述の内部ポテンシャルＳｎが求められる。そして、求められた内部ポテンシャルＳｎ（減算部４４による減算結果）は、非線形演算部４６に入力され、ここで上述したシグモイド関数に代入される。そして、この非線形演算部４６による演算結果が、ニューロンユニット３２の出力データＨｎとして出力される。この出力データＨｎは、出力層のニューロンユニット３４…に入力される。

出力層のニューロンユニット３４…は、中間層の各ニューロンユニット３２，３２，…から入力されるデータＨｎに対して次の数１６に従う演算を施す。

この数１６において、Ｓｐはｐ番目（ここではｐ＝１）のニューロンユニット３４の内部ポテンシャルである。そして、Ｗｐｎは結合荷重であり、具体的にはｐ番目のニューロンユニット３４と中間層のｎ番目のニューロンユニット３２との結合力を表す四元数のパラメータである。なお、Ｗｐｎ^＊は結合荷重Ｗｐｎの共役であり、｜Ｗｐｎ｜は結合荷重Ｗｐｎの絶対値である。さらに、θｐは閾値であり、詳しくはｐ番目のニューロンユニット３４専用の純虚の四元数である。なお、内部ポテンシャルＳｐもまた、純虚の四元数となる。そして、Ｚｐは、当該ｐ番目のニューロンユニット３４の出力データである。この出力データＺｐもまた、中間層のニューロンユニット３２の出力データＨｎと同様に、内部ポテンシャルＳｐを変数とするシグモイド関数とされている。

この数１６から判るように、出力層のニューロンユニット３４もまた、中間層のニューロンユニット３２と同様に、自身に入力されるデータＨｎを純虚の四元数として取り扱う。従って、この入力データＨｎを構成するＲ成分，Ｇ成分およびＢ成分の相互の関連性は保持される。また、この入力データＨｎに対して、中間層のニューロンユニット３２と同様の重み付けが施される。つまり、出力層のニューロンユニット３４にも、全てのアフィン変換処理を実現するための要素が含まれている。

このようなニューロンユニット３４は、概念的には図６に示すような構成となる。即ち、上述の図５に示したのと同様の重み付け部５０，加算部５２，減算部５４および非線形演算部５６を有している。なお、重み付け部５０は、中間層のニューロンユニット３２と同じ数Ｎだけ設けられる。そして、この重み付け部５０には、当該中間層のニューロンユニット３２の出力データＨｎが入力されると共に、パラメータ設定部１８によって結合荷重Ｗｐｎが設定される。また、減算部５４には、パラメータ設定部１８によって閾値θｐが設定される。そして、非線形演算部５６による演算結果が、この出力層のニューロンユニット３４の出力データ、ひいては画像処理装置１０（ニューラルネットワーク１４）による処理後データＺｐとして出力される。

なお、上述した学習においては、パラメータ設定部１８は、最急降下法を用いて各パラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを更新する。また、この第１実施形態においては、処理対象となるカラー画像データＤｏが全て（全画素分）入力されてからこれらのパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを更新するという、いわゆる一括修正法を採用する。そして、この更新の際、まず、出力層用のパラメータＷｐｎおよび閾値θｐから先に更新を行う。

具体的には、結合荷重Ｗｐｎについては、更新後の結合荷重Ｗｐｎ^ＮＥＷを次の数１７によって定義する。

ここで、Ｗｐｎ^ＯＬＤは更新前の結合荷重であり、ΔＷｐｎは結合荷重Ｗｐｎ^ＮＥＷを得るのに必要な更新量である。そして、この更新量ΔＷｐｎは、四元数であり、次の数１８によって求められる。なお、この数１８において、ΔＷｐｎ^（１），ΔＷｐｎ^（ｉ），ΔＷｐｎ^（ｊ）およびΔＷｐｎ^（ｋ）は、四元数である更新量ΔＷｐｎの各成分を表す。また、ηは、学習係数であり、例えば１．０前後の任意の値が設定される。

一方、閾値θｐについては、更新後の閾値θｐ^ＮＥＷを次の数１９によって定義する。

ここで、θｐ^ＯＬＤは更新前の閾値であり、Δθｐは閾値θｐ^ＮＥＷを得るのに必要な更新量である。そして、この更新量Δθｐは、純虚の四元数であり、次の数１８によって求められる。なお、この数１８において、Δθｐ^（ｉ），Δθｐ^（ｊ）およびΔθｐ^（ｋ）は、純虚の四元数である更新量Δθｐの各成分を表す。

このようにして出力層用のパラメータを更新した後、パラメータ設定部１８は、次に、中間層用のパラメータＷｎｍおよびθｎの更新を行う。

即ち、更新後の結合荷重Ｗｎｍ^ＮＥＷを、上述の数１７と同様に、次の数２１によって定義する。

ここで、Ｗｎｍ^ＯＬＤは更新前の結合荷重であり、ΔＷｎｍは結合荷重Ｗｎｍ^ＮＥＷを得るのに必要な更新量である。そして、この更新量ΔＷｎｍは、四元数であり、上述の数１８と同様、次の数２２によって求められる。なお、この数２２において、ΔＷｎｍ^（１），ΔＷnm^（ｉ），ΔＷｎｍ^（ｊ）およびΔＷｎｍ^（ｋ）は、四元数である更新量ΔＷｎｍの各成分を表す。

そして、更新後の閾値θ_ｎ ^ＮＥＷを、上述の数１９と同様に、次の数２３によって定義する。

ここで、θｎ^ＯＬＤは更新前の閾値であり、Δθｎは閾値θｎ^ＮＥＷを得るのに必要な更新量である。そして、この更新量Δθｎは、純虚の四元数であり、上述の数２０と同様、次の数２４によって求められる。なお、この数２４において、Δθｎ^（ｉ），Δθｎ^（ｊ）およびΔθｎ^（ｋ）は、純虚の四元数である更新量Δθｎの各成分を表す。

さらに、この第１実施形態においては、カラー画像データＤｏとして、様々な明るさのデータが入力されても、その明るさに応じて、期待通りの処理後データＺｐが得られるように、次のような工夫も成されている。

即ち、上述した学習において、学習用データとして、互いに同じ被写体を撮影して得たデータであって、かつ互いに明るさ（輝度）の異なる複数のカラー画像データＤｏを、順次入力する。そして、これらの学習用データＤｏの入力に対して、上述の教師データＴｐを与えて、学習を実行させる。そして、この学習によってそれぞれの学習用データＤｏに対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを、上述のパラメータテーブル２４に記憶させる。

具体的には、図７（ａ）（参考図１（ａ））に示すように、互いに同じ被写体を撮影して得たデータであって、かつ互いに輝度の異なる５つのカラー画像“１”〜“５”のデータを、学習用データＤｏとして入力する。これらのカラー画像、言わば学習画像“１”〜“５”の輝度は、“１”＞“２”＞“３”＞“４”＞“５”という関係にある。そして、これらの学習画像“１”〜“５”の入力に対して、図７（ｂ）に示すような適切な輝度の画像“０”を、教師画像として与える。そして、これらの学習画像および教師画像が入力されている条件下で、それぞれの学習画像毎に、教師画像と略同等な輝度の出力画像（処理後データＺｐ）が得られるまで、学習を実行させる。この学習により最終的に得られた各入力画像のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐは、図８に示すように、パラメータテーブル２４に記憶される。

さらに、パラメータテーブル２４には、各学習画像の平均輝度値Ａｂｒも記憶される。この平均輝度値Ａｂｒは、正規化後のカラー画像データＤｏに基づいて求められ、詳しくは次の数２５の演算式によって求められる。

ここで、Ｘは、学習画像の横（ｘ軸）方向の画素数であり、即ちここではＸ＝２４０である。そして、Ｙは、当該学習画像の縦（ｙ軸）方向の画素数であり、即ちここではＹ＝３２０である。また、ｘおよびｙ（ｘ、ｙ）は、学習画像上の任意の画素の座標を表す。

この数２５に基づく演算は、輝度算出部２６によって行われる。そして、この輝度算出部２６によって算出された平均輝度値ＡＢｒは、パラメータ設定部１８によってパラメータテーブル２４に記憶される。

このような学習を実行させた後、実際に任意のカラー画像を入力し、そのときに得られる処理結果を評価した。具体的には、図９（ａ）（参考図２（ａ））に示すように、学習画像の１つと同じ画像、例えば画像“１”を、入力画像として入力する。そして、この入力画像“１”を、例えば学習画像“１”〜“４”のそれぞれに対応するＮｏ．“１”〜“４”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて処理させる。これによって、図９（ｂ）（参考図２（ｂ））に示すような処理結果が得られた。即ち、この処理結果によれば、輝度（平均輝度値ＡＢｒ）の低い学習画像に対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像ほど、その輝度が高くなることが判る。そして、同図に◎印で示すように、入力画像“１”よりも輝度が１段階低い画像“２”に対応するＮｏ．“２”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像（同図において上から２番目の画像）が、図９（ｃ）（参考図２（ｃ））の目標画像（元の画像“０”）に最も近い輝度を示す。

次に、図１０（ａ）（参考図３（ａ））に示すように、入力画像として画像“２”を入力すると共に、この入力画像“２”を、学習画像“２”〜“５”のそれぞれに対応するＮｏ．“２”〜“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて処理させてみた。この場合も、図１０（ｂ）（参考図３（ｂ））に示すように、輝度の低い学習画像に対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像ほど、その輝度が高くなることが判る。そして、同図に◎印で示すように、入力画像“２”よりも輝度が１段階低い画像“３”に対応するＮｏ．“３”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像（同図において上から２番目の画像）が、図１０（ｃ）（参考図３（ｃ））の目標画像“０”に最も近い輝度を示す。

さらに、図１１（ａ）（参考図４（ａ））に示すように、入力画像として画像“３”を入力すると共に、この入力画像“３”を、学習画像“３”〜“５”のそれぞれに対応するＮｏ．“３”〜“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて処理させた。この場合も同様に、図１１（ｂ）（参考図４（ｂ））に示すように、輝度の低い学習画像に対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像ほど、その輝度が高くなる。そして、同図に◎印で示すように、入力画像“３”よりも輝度が１段階低い画像“４”に対応するＮｏ．“４”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像（同図において中央の画像）が、図１１（ｃ）（参考図４（ｃ））の目標画像“０”に最も近い輝度を示す。

そしてさらに、図１２（ａ）（参考図５（ａ））に示すように、入力画像として画像“４”を入力すると共に、この入力画像“４”を、学習画像“４”および“５”のそれぞれに対応するＮｏ．“４”および“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて処理させた。この場合も、図１２（ｂ）（参考図５（ｂ））に示すように、輝度の低い学習画像に対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像ほど、その輝度が高くなる。そして、同図に◎印で示すように、入力画像“４”よりも輝度が１段階低い画像“５”に対応するＮｏ．“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像（同図において下側の画像）が、画質は落ちるが、図１２（ｃ）（参考図５（ｃ））の目標画像“０”に近い輝度を示す。

また、入力画像として、上述の学習画像とは別の画像、例えば図１３（ａ）（参考図６（ａ））に示すような比較的に輝度の低い画像“１ａ”を入力してみた。そして、この入力画像“１ａ”を、上述の学習画像“１”〜“４”のそれぞれに対応するＮｏ．“１”〜“４”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて処理させてみた。すると、図１３（ｂ）（参考図６（ｂ））に示すような結果が得られた。即ち、学習画像とは別の低輝度な画像“１ａ”を入力した場合も、その輝度を改善することができる。そして、輝度の低い学習画像に対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像ほど、その輝度が高くなる。また、この図１３（ａ）に示す入力画像“１ａ”の平均輝度値ＡＢｒを実際に算出したところ、当該入力画像“１ａ”の平均輝度値ＡＢｒは、学習画像“２”よりも低く、かつ学習画像“３”よりも高かった。そして、図１３（ｂ）に◎印で示すように、当該入力画像“１ａ”よりも少し輝度が低めの学習画像“３”に対応するＮｏ．“３”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像（同図において上から３番目の画像）が、図１３（ｃ）（参考図６（ｃ））の目標画像“０ａ”に最も近い輝度を示す。

さらに、図１４（ａ）（参考図７（ａ））に示すように、上述の入力画像“１ａ”よりも輝度の低い画像“２ａ”を入力してみた。そして、この入力画像“２ａ”を、例えば学習画像“４”および“５”のそれぞれに対応するＮｏ．“４”および“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて処理させた。この場合も、図１４（ｂ）（参考図７（ｂ））に示すように、輝度の低い学習画像に対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像ほど、その輝度が高くなる。また、この図１４（ａ）に示す入力画像“２ａ”の平均輝度値ＡＢｒは、学習画像“４”よりも低く、かつ学習画像“５”よりも高かった。そして、図１４（ｂ）に◎印で示すように、当該入力画像“２ａ”よりも少し輝度が低めの画像“５”に対応するＮｏ．“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて得られた出力画像（同図において下側の画像）が、画質は落ちるが、図１４（ｃ）（参考図７（ｃ））の目標画像“０”に最も近い輝度を示す。

これらの結果から、次のようなことが言える。即ち、任意の入力画像に対して上述の輝度変換処理を施すとき、パラメータテーブルに記憶されているＮｏ．“１”〜“５”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐのうち、当該入力画像の平均輝度値ＡＢｒに最も近く、かつ当該入力画像の平均輝度値ＡＢｒよりも低い輝度平均値ＡＢｒを有する学習画像も対応するパラメータに基づいて、当該輝度変換処理が行われるようにする。このようにすれば、入力画像の輝度に応じて、期待通りの処理結果を得ることができる。

そこで、この第１実施形態では、学習時のみならず、実際の画像処理時（運用時）においても、上述の輝度算出部２６によって、入力画像の平均輝度値ＡＢｒが算出される。そして、この輝度算出部２６による算出結果は、パラメータ設定部１６に入力される。パラメータ設定部１６は、入力された算出結果、つまり入力画像の平均輝度値ＡＢｒに基づいて、パラメータテーブルに記憶されているＮｏ．“１”〜“５”のいずれかのパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを選択する。具体的には、当該入力画像の平均輝度値ＡＢｒに最も近く、かつ当該入力画像の平均輝度値ＡＢｒよりも低い平均輝度値ＡＢｒに対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを選択する。そして、選択したパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを、ネットワーク部１６に設定する。

これによって、入力画像の平均輝度値ＡＢｒに応じたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて、輝度変換処理が施される。例えば、図１５（ａ）（参考図８（ａ））に示すように、入力画像として上述の画像“１”が入力されたときは、当該入力画像“１”よりも１段階輝度の低い学習画像“２”に対応するＮｏ．“２”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて輝度変換処理が行われる。そして、例えば図１５（ｂ）（参考図８（ｂ））に示すように、入力画像として画像“２”が入力されたときは、当該入力画像“２”よりも１段階輝度の低い学習画像“３”に対応するＮｏ．“３”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて輝度変換処理が行われる。さらに、図１５（ｃ）（参考図８（ｃ））に示すように、画像“３”が入力されたときは、当該入力画像“３”よりも１段階輝度の低い学習画像“４”に対応するＮｏ．“４”のパラメータに基づいて処理される。そして、図１５（ｄ）（参考図８（ｄ））に示すように、画像“４”が入力されたときは、当該入力画像“４”よりも１段階輝度の低い学習画像“５”に対応するＮｏ．“５”のパラメータに基づいて処理される。この結果、入力画像の輝度に関係なく、当該輝度に応じた期待通りの（目標画像に近い）出力画像を得ることができる。また、これらの出力画像において目標画像に近い色彩が得られていることも、判る。

また、図１６（ａ）（参考図９（ａ））に示すように、入力画像として学習画像とは異なる画像“１ａ”が入力されたときも、当該入力画像“１ａ”に平均輝度値ＡＢｒが最も近く、かつ当該入力画像“１ａ”よりも平均輝度値ＡＢｒが小さい学習画像“３”に対応するＮｏ．“３”のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて輝度変換処理が行われる。そして、図１６（ｂ）（参考図９（ｂ））に示すように、入力画像としてさらに暗い画像“２ａ”が入力されたときも、当該入力画像“２ａ”の平均輝度値ＡＢｒに応じたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐに基づいて輝度変換処理が行われる。従って、このように学習画像とは異なる画像が入力されたとしても、当該入力画像の輝度に応じた期待通りの出力画像を得ることができる。

以上のように、この第１実施形態の画像処理装置１０によれば、入力画像（カラー画像データＤｏ）を構成するＲ成分，Ｇ成分およびＢ成分は、四元数という１つの数に格納された状態で、言わば３次元ベクトルデータとして、一括的に処理される。従って、処理後においても、これらＲ成分，Ｇ成分およびＢ成分の互いの関連性は保持される。しかも、当該入力画像の輝度に応じて、自動的に適切なパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐが設定される。よって、色彩および輝度（明るさ）の両方の再現性に優れた期待通りの出力画像を得ることができる。

さらに、この第１実施形態の画像処理装置１０によれば、単なる可視カメラをカラー暗視カメラとして使用することができる。しかも、ハードウェア的には、上述したようにパーソナルコンピュータによって実現することができ、換言すればソフトウェア処理によって当該暗視カメラを実現することができる。従って、光電子倍増管等の従前の暗視カメラに比べて、極めて安価に、しかもカラーの暗視カメラを実現することができる。また、例えば、従前の暗視カメラにこの第１実施形態の画像処理装置１０を適用することで、より高感度な暗視カメラを実現することもできる。

なお、この第１実施形態においては、入力画像をＲ成分，Ｇ成分およびＢ成分というＲＧＢフォーマットに従う３つの成分に分割して処理したが、これに限らない。例えば、ＹＵＶフォーマットに従ってＹ成分，Ｕ成分およびＶ成分という３つの成分に分けてもよいし、他のフォーマットに従って分けてもよい。

また、入力画像の輝度に応じて適切なパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐが自動的に設定されるようにしたが、これに限らない。即ち、手動によりＮｏ．“１”〜“５”のうちの任意のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを設定できるようにしてもよい。

さらに、パラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐの選択肢は、上述のＮｏ．“１”〜“５”の５つに限らず、これ以外の数としてもよい。また、ネットワーク部１６を構成する入力層のニューロンユニット３０の数Ｍ，中間層のニューロンユニット３２の数Ｎおよび出力層のニューロンユニット３４の数Ｐについても、上述した数に限定されるものではない。

そして、この第１実施形態においては、可視カメラによる撮影データを処理対象（カラー画像データＤｏ）とする場合について説明したが、これに限らない。例えば、ビデオテープレコーダやディジタルスチルカメラ等の画像再生装置によって再生された画像データを処理対象としてもよい。また、上述した学習作業においては、例えば適切な照度環境の下で撮影された画像を教師画像とすると共に、この教師画像の輝度を市販の画像処理ソフトによって調整した（低下させた）ものを学習画像として、用いてもよい。

そしてさらに、各パラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐの更新アルゴリズムとして、最急降下法を用いたが、これ以外のアルゴリズムを用いてもよい。また、中間層のニューロンユニット３２における処理は、数１１で示されるものに限らない。同様に、出力層のニューロンユニット３４における処理もまた、数１６以外の演算式に基づくものであってもよい。そして、各パラメータＷｎｍ，Ｗｐｎ，θｎおよびを更新する手順として、一括修正法を採用したが、これに代えて、例えば処理対象となるカラー画像データＤｏが入力される度に当該更新を行うという、いわゆる逐次修正法を採用してもよい。因みに、この第１実施形態においては、約２００［ｍｓ］〜３００［ｍｓ］（秒間約３フレーム〜５フレーム）というフレームレートを実現することができた。

［第２実施形態］
次に、この発明の第２実施形態について、図１７を参照して説明する。

この第２実施形態の画像処理装置１０ａもまた、図１７に示すように、ＣＣＤ型可視カメラ６０による撮影データを処理対象（カラー画像データＤｏ）とするものである。ただし、この第２実施形態における可視カメラ６０は、太陽光等に含まれる赤外線を遮断するための赤外線遮断フィルタ６２を備えており、この赤外線遮断フィルタ６２は、手動により任意にＯＮ／ＯＦＦ（図示しないＣＣＤの前面に挿入／非挿入）可能とされている。また、この赤外線遮断フィルタ６２のＯＮ／ＯＦＦ状態に応じて、当該ＯＮ／ＯＦＦ状態を表す切換信号が、撮影データとは別に出力される。

ところで、かかる可視カメラ６０においては、昼間は、上述の如く太陽光等に含まれる赤外線を遮断するために赤外線遮断フィルタ６２はＯＮされるが、夜間は、極力高い感度を得るために当該赤外線遮断フィルタ６２はＯＦＦされることが多い。しかしながら、このように赤外線遮断フィルタ６２がＯＦＦされると、当然に、当該赤外線遮断フィルタ６２がＯＮされた状態で撮影されたときと異なる色彩（色調）の画像が得られ、視覚的に違和感を覚えることがある。また、赤外線遮断フィルタ６２がＯＦＦされる夜間に得られる撮影データは、当然に、昼間に得られる撮影データよりも暗い。そこで、この第２実施形態では、かかる赤外線遮断フィルタ６２のＯＮ／ＯＦＦ状態の如何に拘らず、一定の色彩および輝度の出力画像（出力データＺｐ）が得られるようにする。

これを実現するために、この第２実施形態においては、第１実施形態における輝度算出部２６に代えて、上述の切換信号が入力される切換制御部６４が設けられる。なお、これ以外の構成については、第１実施形態と同様であるので、これら同様な部分には、同一符号を付して、その詳細な説明を省略する。

このように構成された第２実施形態の画像処理装置１０ａにおいては、まず、最初に、学習のための教師データＴｐが採取される。具体的には、例えば赤外線遮断フィルタ６２がＯＮされた状態で可視カメラ６０によって昼間に或る場所を撮影して得たデータが、当該教師データＴｐとして、例えば図示しないハードディスク等の記録装置に記録される。

続いて、赤外線遮断フィルタ６２がＯＮされた状態で可視カメラ６０によって昼間に上述と同じ場所を撮影して得たデータが、学習データＤｏとして入力されると共に、上述の教師データＴｐが、当該画像処理装置１０ａ（誤差演算部２０）に与えられる。この状態で、学習が行われ、当該学習によって求められたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐの値が、フィルタＯＮ時用のパラメータとして、パラメータテーブル２４に記憶される。さらに、赤外線遮断フィルタ６２がＯＦＦされた状態で夜間に可視カメラ６０によって同じ場所を撮影して得たデータが、学習データＤｏとして入力され、同様に学習が行われる。そして、この学習によって求められたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐの値が、フィルタＯＦＦ時用のパラメータとして、パラメータテーブル２４に記憶される。

このようにして学習が行われた後、実際の画像処理（運用）時において、赤外線遮断フィルタ６２がＯＮまたはＯＦＦされると、そのＯＮ／ＯＦＦ状態を表す切換信号が、切換制御部６４に入力される。切換制御部６４は、入力された切換信号に基づいて、フィルタＯＮ時用およびＯＦＦ時用のいずれかのパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを選択するよう、パラメータ設定部１８に指示を与える。この指示に基づいて、パラメータ設定部１８は、フィルタＯＮ時用またはＯＦＦ時用のパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを選択し、選択したパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐをネットワーク部１６に設定する。これによって、赤外線遮断フィルタ６２のＯＮ／ＯＦＦ状態に応じた処理が行われ、期待通りの処理後データＺｐ、つまり一定の色彩かつ一定の輝度の出力画像を、得ることができる。

なお、この第２実施形態においては、赤外線遮断フィルタ６２がＯＮ／ＯＦＦされる場合について説明したが、これに限らない。例えば、帯域通過フィルタや紫外線遮断フィルタ等の当該赤外線遮断フィルタ６２以外のフィルタがＯＮ／ＯＦＦされる場合にも、この第２実施形態と同様の技術を適用することができる。また、この第２実施形態の画像処理装置１０ａに、上述の第１実施形態と同様の技術、即ち入力画像の輝度に応じてパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを選択する技術を、組み込んでもよい。

［第３実施形態］
続いて、この発明の第３実施形態について、図１８を参照して説明する。

この第３実施形態の画像処理装置１０ｂは、所定の雑音を含むカラー画像データＤｏから当該雑音が除去された処理後データＺｐを得るためのものである。これを実現するために、この第３実施形態の画像処理装置１０ｂは、正規化部１２によって正規化されたカラー画像データＤｏが入力されるＳ／Ｎ判定部７０を備えている。

即ち、学習データとして、互いにＳ／Ｎの異なる複数のカラー画像データＤｏが入力される。そして、処理後データＺｐとして期待するデータが、教師データＴｐとして与えられる。この条件下で、それぞれの学習データＤｏに対応するパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐが求められ、求められたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐは、パラメータテーブル２４に記憶される。

そして、実際の画像処理時に、雑音を含む任意のカラー画像データＤｏが入力される。このカラー画像データＤｏは、正規化部１２によって正規化された後、ニューラルネットワーク１４に入力されると共に、Ｓ／Ｎ判定部７０に入力される。Ｓ／Ｎ判定部７０は、入力されたカラー画像データＤｏのＳ／Ｎを判定し、その判定結果をパラメータ設定部１８に与える。パラメータ設定部１８は、Ｓ／Ｎ判定部７０による判定結果に基づいて、カラー画像データＤｏのＳ／Ｎに最も近いＳ／Ｎの学習データ基づくパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐを、パラメータテーブル２４から読み出す。読み出されたパラメータＷｎｍ，Ｗｐｎ，θｎおよびθｐは、ネットワーク部１４に設定され、これによって、当該カラー画像データＤｏのＳ／Ｎに応じた処理が実行され、雑音が除去される。

このようにこの第３実施形態によれば、所定の雑音を含むカラー画像データＤｏの当該雑音を除去することができる。しかも、上述したように処理後データＺｐ（出力画像）の各色成分（Ｒ成分，Ｇ成分およびＢ成分）の関連性が保たれ、つまり新規な雑音除去技術を提供することができる。

なお、ここで言う雑音とは、カラー画像データＤｏに含まれる電気的なノイズの他に、霧や霞が掛かった状況下で得られた撮影データの当該霧や霞等の画像を不鮮明にする要因をも含む。つまり、この第３実施形態によれば、かかる霧や霞等を排除した出力画像を得ることも期待できる。

この発明に利用される四元数の幾何学的性質を説明するための図解図である。 この発明の第１実施形態の概略構成を示すブロック図である。 同第１実施形態における入力画像と出力画像および教師画像との関係を示す図解図である。 図１におけるネットワーク部の詳細を示す図解図である。 図４における中間層のニューロンユニットの詳細を示す図解図である。 図４における出力層のニューロンユニットの詳細を示す図解図である。 同第１実施形態において学習作業で用いられる学習画像および教師画像を示す図解図である。 図１におけるパラメータテーブルの内容を概念的に示す図解図である。 同第１実施形態において実際の運用時の或る入力画像に対する処理結果を示す図解図である。 図９とは異なる入力画像に対する処理結果を示す図解図である。 図１０とはさらに異なる入力画像に対する処理結果を示す図解図である。 図１１とはさらに異なる入力画像に対する処理結果を示す図解図である。 図１２とはさらに異なる入力画像に対する処理結果を示す図解図である。 図１３とはさらに異なる入力画像に対する処理結果を示す図解図である。 同第１実施形態において自動的にパラメータを選択して得られた処理結果を示す図解図である。 図１５とは異なる入力画像に対する処理結果を示す図解図である。 この発明の第２実施形態の概略構成を示すブロック図である。 この発明の第３実施形態の概略構成を示すブロック図である。

符号の説明

１０ 画像処理装置
１２ 正規化部
１４ ニューラルネットワーク
１６ ネットワーク部
１８ パラメータ設定部
２０ 誤差演算部
２２ メモリ部
２４ パラメータテーブル
２６ 輝度算出部

Claims (8)

1. ニューラルネットワークによってカラー画像データを処理する画像処理装置において、
   上記ニューラルネットワークの処理手順を決める複数種類のパラメータが記憶された記憶手段と、
   上記カラー画像データの特性に基づいて上記複数種類のパラメータのいずれかを選択する選択手段と、
   上記選択手段によって選択された上記パラメータに基づいて上記カラー画像データを四元数として処理する上記ニューラルネットワークを形成する処理手段と、
   を具備することを特徴とする、画像処理装置。
2. 上記複数種類のパラメータは互いに特性の異なる複数のテスト用画像データのそれぞれを上記処理手段に処理させたときに略期待通りの処理結果が得られる値とされており、
   上記選択手段は上記複数種類のパラメータのうち上記カラー画像データと同様の特性を有する上記テスト用画像データに対応するパラメータを選択する、
   請求項１に記載の画像処理装置。
3. 上記選択手段は、上記カラー画像データの特性を判定する判定手段と、該判定手段による判定結果に基づいて上記パラメータを選択する選択実行手段と、を備える、請求項１に記載の画像処理装置。
4. 上記カラー画像データの特性は該カラー画像データの輝度を含む、請求項１ないし３のいずれかに記載の画像処理装置。
5. 上記カラー画像データはカメラによる撮影データであり、
   上記カラー画像データの特性は該カラー画像データが所定の光学フィルタを通して得られたデータであるか否かの条件を含む、
   請求項１ないし４のいずれかに記載の画像処理装置。
6. 上記カメラは少なくとも可視光線領域および赤外線領域に感度を有し、
   上記所定の光学フィルタは上記赤外線領域を遮断する赤外線遮断フィルタである、
   請求項５に記載の画像処理装置。
7. 上記カラー画像データの特性は該カラー画像データに含まれる所定の雑音の度合を含む、請求項１ないし６のいずれかに記載の画像処理装置。
8. ニューラルネットワークによってカラー画像データを処理する画像処理方法において、
   記憶手段に記憶されており上記ニューラルネットワークの処理手順を決める複数種類のパラメータのいずれかを上記カラー画像データの特性に基づいて選択する選択過程と、
   上記選択過程において選択された上記パラメータに基づいて上記カラー画像データを四元数として処理する上記ニューラルネットワークを形成する処理過程と、
   を具備することを特徴とする、画像処理方法。