JP2010022595A - 信号処理システム及び信号処理プログラム - Google Patents

Abstract

【課題】既知の分光特性を有する被写体を映像信号から信頼性高く識別すること。
【解決手段】算出部１１３は、例えば基底ベクトルＲＯＭ１１４より、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得し、システム分光特性ＲＯＭ１１５より、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性とを取得し、上記カラー撮像系で得た複数の色信号からなる映像信号と、上記基底ベクトル及び上記撮像システムの分光特性とから、上記基底ベクトルに関する重み係数を所定の波長域ごとに独立に算出し、正規化部１１６及び疑似カラー化部１１７は、その重み係数に基づき上記識別対象となる被写体の識別結果としての出力信号を算出して、第１出力部１１８より出力する。
【選択図】 図１

Description

本発明は、被写体の識別を行う信号処理システム及びコンピュータにそのような信号処理システムの手順を実行させる信号処理プログラムに関する。

特許文献１には、広帯域光を観察光として用いて、信号処理にて特定の狭帯域の映像信号を算出する例が開示されている。これにより、ノイズの少ない高品位な狭帯域の映像信号が得られ、血管などの特定の分光特性を有する被写体を識別して、表示モニタに表示出力することで、その識別対象被写体の観察が容易となる。
特開２００３−９３３３６号公報

上記特許文献１に開示されている技術では、広帯域の通常光を用いるため照度が高く、ノイズの少ない高品位な映像信号が得られる。しかしながら、得られた映像信号から信号処理により狭帯域の信号を生成する過程で最小自乗法に基づく近似を行うため、負の感度特性という本来はあり得ない結果が発生するなど、信号処理に起因する誤差が生じてしまう。このため、識別対象の被写体の識別結果の信頼性が低いという課題がある。

本発明は、上記の点に鑑みてなされたもので、高い信頼性を持って識別対象の被写体を識別することを可能とする信号処理システム及び信号処理プログラムを提供することを目的とする。

本発明の信号処理システムの一態様は、
分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得する基底ベクトル取得部と、
上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離する分離部と、
上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
上記分離部にて分離した上記複数の波長域の映像信号、上記基底ベクトル取得部によって取得した上記基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記基底ベクトルに関する重み係数を上記波長域ごとに算出する算出部と、
上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有する。

また、本発明の信号処理システムの別の態様は、
分光特性が既知である識別対象となる被写体を含む被写体の撮像に供するカラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離する分離部と、
上記識別対象となる被写体の上記既知の分光特性、上記カラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記識別対象となる被写体の既知の分光特性と各波長域の映像信号との間の相関性を示す導出係数を、上記波長域ごとに取得する導出係数取得部と、
上記分離部にて分離した上記複数の波長域の映像信号及び上記導出係数取得部によって取得した導出係数に基づき、上記波長域ごとに、上記識別対象となる被写体の上記既知の分光特性と当該波長域の映像信号との間の相関係数を算出する相関係数算出部と、
上記相関係数算出部によって算出した上記波長域ごとの相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有する。

また、本発明の信号処理プログラムの一態様は、
分光特性が既知である識別対象となる被写体を含む被写体のカラー撮像系による撮像によって得た、複数の色信号からなる映像信号を取得するステップと、
上記識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得するステップと、
上記取得した映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離するステップと、
上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するステップと、
上記分離した上記複数の波長域の映像信号、上記取得した上記基底ベクトル、及び上記取得した上記撮像システムの分光特性に基づき、上記基底ベクトルに関する重み係数を上記波長域ごとに算出するステップと、
上記算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させる。

また、本発明の信号処理プログラムの別の態様は、
分光特性が既知である識別対象となる被写体を含む被写体のカラー撮像系による撮像によって得た、複数の色信号からなる映像信号を取得するステップと、
上記取得した映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離するステップと、
上記識別対象となる被写体の上記既知の分光特性、上記カラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記識別対象となる被写体の既知の分光特性と各波長域の映像信号との間の相関性を示す導出係数を、上記波長域ごとに取得するステップと、
上記分離した上記複数の波長域の映像信号及び上記取得した導出係数に基づき、上記波長域ごとに、上記識別対象となる被写体の上記既知の分光特性と当該波長域の映像信号との間の相関係数を算出するステップと、
上記算出した上記波長域ごとの相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させる。

これらの態様によれば、例えば、識別対象となる被写体を含む被写体を撮像して得た映像信号から上記識別対象の被写体を識別する際に、例えば、その識別対象の被写体の既知である分光特性に基づいて算出されている基底ベクトルもしくは導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数もしくは相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、高い信頼性を持って識別対象被写体を識別することが可能な信号処理システム及び信号処理プログラムを提供することができる。

本発明によれば、高い信頼性を持って識別対象被写体を識別することを可能とする信号処理システム及び信号処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
（構成）
図１は、本発明の第１実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。なお、図中、太い実線の矢印は映像信号の方向を示し、細い実線の矢印は制御信号の方向を示し、破線の矢印はその他の信号の方向を示している（他の図においても同様である）。

被検体の体内に挿入される内視鏡の先端部には、カラー撮像系としての撮像レンズ系１００及びＣＣＤ１０１と照明レンズ系１０２とが配され、例えば内視鏡後端側に配された照明光源１０３からの照明光が光ファイバ１０４を経由して導かれ、上記照明レンズ系１０２を介して図示しない被写体に対して照射されるようになっている。こうして照明された被写体を上記ＣＣＤ１０１により撮像し、この撮像によって得られた映像信号は、増幅部（図では、Ｇａｉｎと記す。）１０５にて増幅された後、Ａ／Ｄ１０６にてデジタル信号へ変換される。

Ａ／Ｄ１０６からのデジタル映像信号は、バッファ１０７を介して補間部１０８へ転送される。また、バッファ１０７は、ＷＢ部１０９及び測光評価部１１０へも接続されている。ＷＢ部１０９は上記増幅部１０５へ、測光評価部１１０は上記照明光源１０３及び上記増幅部１０５へ接続されている。補間部１０８は、分離部１１１へ接続されている。分離部１１１は、信号処理部１１２と算出部１１３へ接続されている。

基底ベクトルＲＯＭ１１４及びシステム分光特性ＲＯＭ１１５は、上記算出部１１３へ接続されている。算出部１１３は、正規化部１１６及び疑似カラー化部１１７を介して液晶ディスプレイなどの第１出力部１１８へ接続されている。

また、上記信号処理部１１２は、液晶ディスプレイなどの第２出力部１１９へ接続されている。

マイクロコンピュータなどの制御部１２０は、上記の増幅部１０５、Ａ／Ｄ１０６、補間部１０８、ＷＢ部１０９、測光評価部１１０、分離部１１１、信号処理部１１２、算出部１１３、正規化部１１６、疑似カラー化部１１７、第１出力部１１８及び第２出力部１１９と双方向に接続されている。また、電源スイッチ，シャッタボタン，及び撮像時の各種モードの切り替えなどの設定を行うためのインターフェースを備えた外部Ｉ／Ｆ部１２１も、この制御部１２０に双方向に接続されている。

（作用）
図１において、信号の流れを説明する。

外部Ｉ／Ｆ部１２１を介して後述する識別対象となる被写体，カラー撮像系，照明光などの撮像条件を設定した後、シャッタボタンを押すことで撮像モードに入る。

この撮像モードでは、撮像レンズ系１００，ＣＣＤ１０１を介して撮像された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。また、本実施形態においては、上記所定時間間隔として１／３０秒（以後は、１フレーム時間と表記する。）を想定する。

さらに、上記ＣＣＤ１０１としては６種類のカラーフィルタを前面に配置した単板ＣＣＤを想定する。図２（Ａ）は、この６種類のカラーフィルタを備えるフィルタ１２２の構成を示す図である。このフィルタ１２２は、２×３画素を基本単位とし、短波長から青系統（Ｂ１，Ｂ２）、緑系統（Ｇ１，Ｇ２）、赤系統（Ｒ１，Ｒ２）の６種類のカラーフィルタが１画素ずつ配置されて構成される。図２（Ｂ）は、それら６種類のカラーフィルタの分光特性を示す図である。本実施形態では、Ｂ１，Ｇ１，Ｒ１は通常の、例えばＢａｙｅｒ型の単板ＣＣＤで使用されている青，緑，赤のカラーフィルタと同等の広帯域の感度特性を想定し、後述する通常のカラー信号を生成するさいに使用される。一方、Ｂ２，Ｇ２，Ｒ２は後述する基底ベクトルを用いた信号処理にＢ１，Ｇ１，Ｒ１と共に使用するもので、Ｂ１，Ｇ１，Ｒ１と比べて狭帯域の特性となっている。このようなフィルタ１２２を用いることで、ＣＣＤ１０１からの上記アナログ信号は、６種類の色信号からなる映像信号となる。即ち、本実施形態では、複数の色信号が、カラー撮像系におけるＣＣＤ１０１とフィルタ１２２でなる撮像素子により生成される。

上記アナログ信号は、増幅部１０５にて所定量増幅され、Ａ／Ｄ１０６にてデジタル信号へ変換されて、バッファ１０７へ転送される。このバッファ１０７は、１フレームの信号を記録可能なものであり、撮像が進むにともない古いフレーム信号から順次上書きされることになる。このバッファ１０７内のフレーム信号は、制御部１２０の制御に基づき、所定時間間隔で、間欠的にＷＢ部１０９及び測光評価部１１０へ転送される。

ＷＢ部１０９では、中間レベル等、所定レベルの信号を上記フィルタ１２２のカラーフィルタに対応する色信号ごとに積算することで、ホワイトバランス係数を算出する。そして、その算出したホワイトバランス係数を上記増幅部１０５へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランス調整を行わせる。また、測光評価部１１０では、適正露光となるように上記照明光源１０３の光量や上記増幅部１０５の増幅率などを制御する。

一方、補間部１０８は、制御部１２０の制御に基づき、上記バッファ１０７から単板状態のフレーム信号を読み込み、公知の補間処理にて６種類の色信号からなるフレーム信号を生成する。生成されたフレーム信号は、順次フレーム信号単位で、分離部１１１へ転送される。以降の分離部１１１、信号処理部１１２、算出部１１３、正規化部１１６及び疑似カラー化部１１７は、制御部１２０の制御に基づき１フレーム信号単位で同期して処理がなされる。

分離部１１１は、制御部１２０の制御に基づき、上記補間部１０８から転送される複数種類（６種類）の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号からなるフレーム信号を分離すると共に、後述する基底ベクトルを用いた信号処理に使用する複数の周波数域に対応する色信号からなるフレーム信号を選択し分離する。例えば、図２（Ａ）に示されるフィルタ１２２に対応する６種類の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号としてＢ１，Ｇ１，Ｒ１からなるフレーム信号が分離され、信号処理部１１２へ転送される。また、基底ベクトルを用いた信号処理に使用する複数の周波数域のフレーム信号として、本実施形態では短波長域のフレーム信号と長波長域のフレーム信号との２つを想定する。該分離部１１１によって、短波長域のフレーム信号はＢ１，Ｂ２，Ｇ１が、長波長域のフレーム信号としてはＧ２，Ｒ１，Ｒ２の色信号がそれぞれ独立に分離され、算出部１１３へ転送される。このように、分離部１１１は、上記複数の色信号Ｂ１，Ｂ２，Ｇ１，Ｇ２，Ｒ１，Ｒ２の分光特性における主波長に基づきそれら複数の色信号を波長方向に並べた場合に、各波長域の映像信号が波長方向に連続となる色信号から構成されるように、補間部１０８から転送される複数種類の色信号からなるフレーム信号から基底ベクトルを用いた信号処理に使用する複数の周波数域のフレーム信号を分離する。

信号処理部１１２は、制御部１２０の制御に基づき、分離部１１１から転送されるＢ１，Ｇ１，Ｒ１の三色信号から構成されるフレーム信号に対して公知の階調処理及び強調処理を行うことで通常のカラー信号を算出し、算出した通常のカラー信号を第２出力部１１９へ転送する。第２出力部１１９は、この通常のカラー信号を第２の出力信号として表示する。

一方、基底ベクトルＲＯＭ１１４は、複数の識別対象となる被写体それぞれの既知の分光特性に基づく基底ベクトルを記憶しており、システム分光特性ＲＯＭ１１５は、複数のカラー撮像系それぞれに関する分光特性と撮像時に使用する複数の照明光それぞれに関する分光特性とを記憶している。なお、本実施形態においては、カラー撮像系に関する分光特性とは、撮像レンズ系１００の分光透過率特性を加味したＣＣＤ１０１の分光感度特性を意味し、照明光に関する分光特性とは、転送用の光ファイバ１０４及び照明レンズ系１０２の分光透過率特性を加味した照明光源１０３の分光輝度特性を意味する。

算出部１１３は、上記外部Ｉ／Ｆ部１２１を介して設定された上記撮像条件に応じた制御部１２０の制御に基づき、上記基底ベクトルＲＯＭ１１４から識別対象となる一つの被写体の既知の分光特性に基づく基底ベクトルと、上記識別対象となる一つの被写体以外の被写体の分光特性に基づく基底ベクトルとを読み込むと共に、上記システム分光特性ＲＯＭ１１５から上記一つの識別対象となる被写体を含む被写体の撮像に供する一つのカラー撮像系に関する分光特性とそのカラー撮像系による被写体の撮像時に使用する一つの照明光に関する分光特性とを含んだ撮像システムの分光特性を読み込む。その後、分離部１１１から転送されるＢ１，Ｂ２，Ｇ１の三色信号から構成される短波長域のフレーム信号及びＧ２，Ｒ１，Ｒ２の三色信号から構成される長波長域のフレーム信号に対して、上記読み出した基底ベクトル、カラー撮像系に関する分光特性及び照明光に関する分光特性を用いて、基底ベクトルに関する重み係数を算出する。上記重み係数は、短波長域と長波長域で独立に算出される。その算出された基底ベクトルの重み係数は、後述するように上記識別対象の被写体の存在に比例した値をとるものであり、正規化部１１６、疑似カラー化部１１７及び第１出力部１１８でなる出力信号算出部へ転送される。

正規化部１１６は、制御部１２０の制御に基づき、上記算出部１１３から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行う。即ち、上記算出部１１３で算出される重み係数は「０」〜「１」の値をとるので、それを、例えば信号レベルが８ビットならば「０」〜「２５５」の値に正規化する。そして、正規化処理後の重み係数を疑似カラー化部１１７へ転送する。疑似カラー化部１１７は、上記正規化部１１６にて正規化された短波長域と長波長域の重み係数に関して、それぞれ異なる色を割り当てることで疑似カラー信号を生成する。本実施形態においては、例えば、短波長域の重み係数に赤を、長波長域の重み係数にシアンを、それぞれ割り当てる。疑似カラー化部１１７は、このように生成した疑似カラー信号を第１出力部１１８へ転送し、これにより、第１出力部１１８には、識別対象の被写体に関して波長域ごとに独立した疑似カラー信号が表示されることになる。即ち、第１出力部１１８は、疑似カラー化された短波長域の重み係数と同じく疑似カラー化された長波長域の重み係数が合成された出力信号を表示するので、短波長域のみに識別対象が存在する場合は赤で、長波長域のみに識別対象が存在する場合はシアンで、短波長域と長波長域の両方に識別対象が存在する場合は赤＋シアン＝白で、短波長域と長波長域の両方に識別対象が存在しない場合は黒で表示が行われることになる。こうして、識別対象となる被写体の識別結果としての出力信号が出力される。なお、短波長域は対象物の表層に関する情報を、長波長域は対象物の深層に関する情報を、それぞれ意味する。また、第１出力部１１８及び第２出力部１１９は、液晶ディスプレイに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体にフレーム信号を順次記録保存する形態も可能である。

図３は、上記算出部１１３の構成の一例を示す図であり、該算出部１１３は、データ選択部２０１、積算部２０２、バッファ２０３、逆行列算出部２０４、バッファ２０５、係数選択部２０６及び乗加算部２０７からなる。上記基底ベクトルＲＯＭ１１４及び上記システム分光特性ＲＯＭ１１５は、データ選択部２０１へ接続している。データ選択部２０１は、積算部２０２、バッファ２０３、逆行列算出部２０４及びバッファ２０５を介して、係数選択部２０６へ接続している。係数選択部２０６及び上記分離部１１１は、乗加算部２０７へ接続している。乗加算部２０７は、上記正規化部１１６へ接続している。上記制御部１２０は、データ選択部２０１、積算部２０２、逆行列算出部２０４、係数選択部２０６、乗加算部２０７と双方向に接続されている。

データ選択部２０１は、上記外部Ｉ／Ｆ部１２１を介して設定された上記撮像条件における識別対象となる被写体の情報を上記制御部１２０から受け取り、その情報に基づき上記基底ベクトルＲＯＭ１１４から識別対象となる被写体の既知の分光特性に基づく基底ベクトル及び識別対象外被写体の分光特性に基づく基底ベクトルを読み込む。このように、上記基底ベクトルＲＯＭ１１４及び該データ選択部２０１は、基底ベクトル取得部として機能する。

識別対象の被写体の基底ベクトルとしては、例えば、内視鏡における診断で重要となる血管部位、例えば動脈に多く含まれるオキシヘモグロビンの分光反射率特性に基づくものや、静脈に多く含まれるデオキシヘモグロビンの分光反射率特性に基づくもの、或は、蛍光観察での主要被写体となるコラーゲンの自家蛍光の分光輝度特性に基づくも、等が予め上記基底ベクトルＲＯＭ１１４に記憶してある。そして、識別対象の被写体が例えば動脈であれば、オキシヘモグロビンの分光反射率特性に基づく基底ベクトルが読み出される。また、識別対象外被写体の基底ベクトルとしては、マンセル色票などの分光反射率特性を主成分分析して、寄与率の高い上位複数の基底ベクトルを選択することで予め上記基底ベクトルＲＯＭ１１４に記憶してある。本実施形態においては、ＣＣＤ１０１として６種類のカラーフィルタでなるフィルタ１２２を前面に配置した単板ＣＣＤを想定し、これを短波長域と長波長域へ各々３種類ずつ割り当てている。このため、基底ベクトルの総数は３となり、識別対象外被写体の分光特性に基づく基底ベクトルとして、寄与率の高い上位２つの基底ベクトルが読み出される。

図４（Ａ）は、短波長域の基底ベクトルの一例を示すもので、２つの識別対象外の被写体の基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ））と１つの識別対象の被写体の基底ベクトル（Ｏ３（λ_ｓ））とからなる。ここで、λ_ｓは短波長域の波長を意味し、本実施形態においては、短波長域としてはλ_ｓ＝３８０〜６５０ｎｍを想定する。また、図４（Ｂ）は、長波長域の基底ベクトルの一例を示すもので、２つの識別対象外の被写体の基底ベクトル（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ））と１つの識別対象の被写体の基底ベクトル（Ｏ３（λ_ｌ））とからなる。ここで、λ_ｌは長波長域の波長を意味し、本実施形態においては、長波長域としてはλ_ｌ＝５５０〜７８０ｎｍを想定する。

その後、上記データ選択部２０１は、更に、外部Ｉ／Ｆ部１２１を介して設定された上記撮像条件におけるカラー撮像系，照明光の情報を制御部１２０から受け取り、上記情報に基づきシステム分光特性ＲＯＭ１１５から被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を読み込む。このように、上記基底ベクトルＲＯＭ１１４及び該データ選択部２０１は、システム分光特性取得部としても機能する。

図５（Ａ）は、上記被写体の撮像時に使用する照明光に関する分光特性として、短波長域の光源の分光輝度特性（Ｉ（λ_ｓ））を示す図であり、図５（Ｂ）は、同じく長波長域の光源の分光輝度特性（Ｉ（λ_ｌ））を示す図である。ここでは一例としてのキセノン光源の特性を示している。また、図５（Ｃ）は、上記カラー撮像系に関する分光特性として、Ｂ１，Ｂ２，Ｇ１の３つのカラーフィルタからなる短波長域のカラー撮像系の分光感度特性（ＳＢ１（λ_ｓ），ＳＢ２（λ_ｓ），ＳＧ１（λ_ｓ））を示す図であり、図５（Ｄ）は、同じくＧ２，Ｒ１，Ｒ２の３つのカラーフィルタからなる長波長域のカラー撮像系の分光感度特性（ＳＧ２（λ_ｌ），ＳＲ１（λ_ｌ），ＳＲ２（λ_ｌ））を示す図である。

上記データ選択部２０１は、読み込んだ上記基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ），Ｏ３（λ_ｓ）），（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ），Ｏ３（λ_ｌ））、光源の分光輝度特性（Ｉ（λ_ｓ）），（Ｉ（λ_ｌ））及びカラー撮像系の分光感度特性（ＳＢ１（λ_ｓ），ＳＢ２（λ_ｓ），ＳＧ１（λ_ｓ）），（ＳＧ２（λ_ｌ），ＳＲ１（λ_ｌ），Ｒ２（λ_ｌ））を、積算部２０２へ転送する。

積算部２０２は、制御部１２０の制御に基づき、３×３サイズの撮像システムに関するシステム行列を、短波長域及び長波長域ごとに独立に算出する。即ち、以下の（１）式に示すような短波長域のシステム行列Ｍ_ｓ及び以下の（２）式に示すような長波長域のシステム行列Ｍ_ｌを算出する。

この積算部２０２によって算出された上記システム行列Ｍ_ｓ及びＭ_ｌは、バッファ２０３へ転送され、そこに保存される。逆行列算出部２０４は、制御部１２０の制御に基づき、このバッファ２０３から上記システム行列Ｍ_ｓ及びＭ_ｌを読み込み、該システム行列Ｍ_ｓ及びＭ_ｌの逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１を算出する。算出された逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１は、バッファ２０５へ転送され、そこに保存される。

上記システム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１とＢ１，Ｂ２，Ｇ１からなるフレーム信号及びＧ２，Ｒ１，Ｒ２からなるフレーム信号とを使用することで、以下の（３）式及び（４）式により、各画素単位で基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ），Ｏ３（λ_ｓ））及び（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ），Ｏ３（λ_ｌ））に関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ，ｗ３_ｓｉｊ）及び（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ，ｗ３_ｌｉｊ）を求めることができる。なお、以下の（３）式及び（４）式において、ｉ，ｊはフレーム信号のｘ，ｙ方向の座標を、ｍ_ｓ及びｍ_ｌはシステム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１の各要素即ち、逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１の係数を意味する。

本実施形態では、内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビンを識別対象と仮定しているため、基底ベクトル（Ｏ３（λ_ｓ））及び（Ｏ３（λ_ｌ））に関係する重み係数（ｗ３_ｓｉｊ）及び（ｗ３_ｌｉｊ）を求めれば良い。このために必要となるシステム行列の逆行列Ｍ^−１の係数は、要素ｍ_ｓ３１，ｍ_ｓ３２，ｍ_ｓ３３及びｍ_ｌ３１，ｍ_ｌ３２，ｍ_ｌ３３の６つとなる。

そこで、係数選択部２０６は、制御部１２０の制御に基づき、上記バッファ２０５から上記システム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１の要素ｍ_ｓ３１，ｍ_ｓ３２，ｍ_ｓ３３及びｍ_ｌ３１，ｍ_ｌ３２，ｍ_ｌ３３を選択し、これを乗加算部２０７へ転送する。乗加算部２０７は、制御部１２０の制御に基づき、上記係数選択部２０６からシステム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１の要素ｍ_ｓ３１，ｍ_ｓ３２，ｍ_ｓ３３及びｍ_ｌ３１，ｍ_ｌ３２，ｍ_ｌ３３が転送された後、分離部１１１からフレーム信号Ｂ１_ｉｊ，Ｂ２_ｉｊ，Ｇ１_ｉｊ及びＧ２_ｉｊ，Ｒ１_ｉｊ，Ｒ２_ｉｊを画素単位で読み込み、以下の（５）式及び（６）式に示すような乗加算処理を行うことで、識別対象被写体の基底ベクトル（Ｏ３（λ_ｓ））及び（Ｏ３（λ_ｌ））に関係する重み係数（ｗ３_ｓｉｊ）及び（ｗ３_ｌｉｊ）を求める。

上記重み係数（ｗ３_ｓｉｊ）及び（ｗ３_ｌｉｊ）は識別対象被写体の基底ベクトル（Ｏ３（λ_ｓ））及び（Ｏ３（λ_ｌ））への寄与度となるため、本実施形態においてはオキシヘモグロビンの存在に比例した値をとることになる。即ち、オキシヘモグロビンが存在する場合には高い値を、存在しない場合は低い値をとる。また、短波長域に関する重み係数（ｗ３_ｓｉｊ）は組織表層の、長波長域に関する重み係数（ｗ３_ｌｉｊ）は組織深層のオキシヘモグロビンの存在に比例した値をとることになるため、この重み係数（ｗ３_ｓｉｊ）及び（ｗ３_ｌｉｊ）を映像信号化することで、表層／深層におけるオキシヘモグロビンを、つまり表層の血管と深層の血管を独立に識別することが可能となる。

そこで、上記乗加算部２０７によって算出された重み係数（ｗ３_ｓｉｊ）及び（ｗ３_ｌｉｊ）は、順次、正規化部１１６へ転送されて上述したように正規化処理が行われ、正規化処理後の重み係数が、上記分光特性が既知の被写体の識別結果である出力信号として、例えば表示モニタである第１出力部１１８にて表示されることとなる。

なお、以上の説明では、識別対象を動脈に多く含まれるオキシヘモグロビンとしたが、それに限定されないことは勿論である。例えば、外部Ｉ／Ｆ部１２１を介して、識別対象となる被写体を必要に応じて静脈に多く含まれるデオキシヘモグロビンに切り換えても良い。

以上のように、本第１実施形態によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルと上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とから、上記識別対象の被写体の存在に比例した値をとる基底ベクトルに関する重み係数を波長域ごとに独立に算出し、これらの重み係数に基づき出力信号を算出する。このように、本第１実施形態では、識別対象となる被写体の既知の分光特性に基づく基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無く、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。

また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。

さらに、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

また、識別対象，カラー撮像系または照明光を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。

さらに、識別対象外の分光特性に基づく基底ベクトルも記録しているため、必要に応じて識別対象以外の領域に対しても基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度を向上することができる。

また、基底ベクトルに関する重み係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。

さらに、波長域ごとに独立した色を割り当てるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。また、通常の処理がなされたカラー信号も独立に算出されるため、映像信号全体の認識を行うことが可能となり、使用者に対する操作性が向上する。各波長域の映像信号は、波長方向に連続となる複数の色信号から構成されるため、波長域ごとに基底ベクトルに関する重み係数を算出する際の基底ベクトル及び撮像システムの分光特性の切り分けが容易となり、波長方向に不連続な色信号から各波長域の映像信号を構成する場合に比して各波長域の映像信号における信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。

また、単板ＣＣＤから色信号を得るため、動きのある被写体に対しても高精度な識別が可能となる。

なお、動画像を処理する場合を説明したが、外部Ｉ／Ｆ部１２１の不図示シャッタボタンの操作に応じて静止画像を撮像し、その撮像した静止画像に対して同様の処理を行うことも可能なことは勿論である。

［変形例１］
上記第１実施形態では、図２（Ｂ）に示すように、通常のカラー信号の耐ノイズ性を考慮し、Ｂ１，Ｇ１，Ｒ１のカラーフィルタの帯域をＢ２，Ｇ２，Ｒ２のカラーフィルタに対して広帯域に設定する構成を想定したが、このような構成に限定される必要はない。

例えば、図２（Ｃ）に示すように、全てのカラーフィルタを狭帯域にする構成も可能である。この場合、通常のカラー信号の耐ノイズ性は低下するが、基底ベクトルに基づく信号処理の精度を向上することが可能となる。図２（Ｃ）の場合、短波長域はλ_ｓ＝３８０〜６００ｎｍ、長波長域としてはλ_ｌ＝６００〜７８０ｎｍとなり、２つの波長域における重複波長をなくすことができる。

［変形例２］
また、上記第１実施形態では、信号処理システムは、撮像レンズ系１００、ＣＣＤ１０１、照明レンズ系１０２、照明光源１０３、光ファイバ１０４、増幅部１０５、Ａ／Ｄ１０６、ＷＢ部１０９及び測光評価部１１０からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。

例えば、別体の撮像部で撮像された映像信号を未処理のＲａｗデータ形態で、さらに識別対象となる被写体，カラー撮像系，照明光などの撮像条件に関する付随情報をヘッダ部に記録して、ハードディスクやメモリカードなどの記録媒体に保存したものを読み出したり、無線又は有線ネットワークを介して送信されてくる映像信号を受信したりして、処理をすることも可能である。

図６は、図１に示す構成から撮像レンズ系１００、ＣＣＤ１０１、照明レンズ系１０２、照明光源１０３、光ファイバ１０４、増幅部１０５、Ａ／Ｄ１０６、ＷＢ部１０９及び測光評価部１１０を省略し、入力部１２３及びヘッダ情報解析部１２４を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。

入力部１２３は、バッファ１０７及びヘッダ情報解析部１２４へ接続している。制御部１２０は、入力部１２３、ヘッダ情報解析部１２４と双方向に接続している。マウス，キーボードなどの外部Ｉ／Ｆ部１２１を介して再生操作を開始することで、ハードディスクやメモリカードなどの記録媒体に保存された信号及びヘッダ情報、あるいは、ネットワークを介して受信した信号及びヘッダ情報が入力部１２３から読み込まれる。なお、映像信号は所定の時間間隔、本変形例では１フレーム時間間隔で１枚ずつ順次読み込まれる。入力部１２３からの信号はバッファ１０７へ、ヘッダ情報はヘッダ情報解析部１２４へ、それぞれ転送される。ヘッダ情報解析部１２４は、ヘッダ情報から撮像時の情報を抽出して制御部１２０へ転送する。以後の処理は、図１と同等である。

なお、本変形例においても、動画像及び静止画像の何れにも適用可能なことは勿論である。

［変形例３］
さらに、上記第１実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの映像信号を未処理のままのＲａｗデータ形態として、制御部１２０から、識別対象となる被写体やカラー撮像系，照明光などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。

図７（Ａ）は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。

即ち、コンピュータはまず、映像信号と、識別対象となる被写体及びカラー撮像系，照明光などの撮像条件に関するヘッダ情報を入力する（ステップＳ１０１）。なお、本変形例においては、図２（Ａ）に示す６種類のカラーフィルタからなるフィルタ１２２を前面に配置した単板ＣＣＤからの映像信号を処理することを想定する。

上記ステップＳ１０１に続けて、図４（Ａ）及び（Ｂ）に示すような複数の基底ベクトルを入力し（ステップＳ１０２）、また、図５（Ａ）及び（Ｂ）に示すような光源の分光輝度特性を複数、及び図５（Ｃ）及び（Ｄ）に示すような複数のカラー撮像系の分光感度特性を入力する（ステップＳ１０３）。ここで、上記複数の基底ベクトル及び複数の撮像システムの分光特性は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりすることで入力する。

そして、詳細は後述するような算出処理により、基底ベクトルに関する重み係数算出に使用されるシステム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１の所定の係数、つまり要素ｍ_ｓ３１，ｍ_ｓ３２，ｍ_ｓ３３及びｍ_ｌ３１，ｍ_ｌ３２，ｍ_ｌ３３を算出する（ステップＳ１０４）。その後、上記入力された映像信号から順次フレーム信号を抽出し（ステップＳ１０５）、公知の補間処理にて欠落する色信号を生成する（ステップＳ１０６）。そして、図２（Ｂ）に示すように短波長域と長波長域の２つの波長域に属する色信号からなるフレーム信号、及び通常のカラー信号を生成するための色信号からなるフレーム信号を分離する（ステップＳ１０７）。そして、その通常のカラー信号を生成するための色信号からなるフレーム信号に対して、公知の階調処理や強調処理といった信号処理を行って、通常のカラー信号を生成する（ステップＳ１０８）。

また、上記ステップＳ１０８の信号処理と並行して、波長域を一つ選択して（ステップＳ１０９）、その選択した波長域に属する色信号からなるフレーム信号に対して上記（５）式または（６）式に示されるように基底ベクトルに関する重み係数を算出する（ステップＳ１１０）。例えば、短波長域に属する色信号からなるフレーム信号に対して上記（５）式に示されるように基底ベクトル（Ｏ３（λ_ｓ））に関する重み係数（ｗ３_ｓｉｊ）を算出する。そして、その算出した重み係数を正規化し（ステップＳ１１１）、その正規化された重み係数に関して波長域ごとに独立した色を割り当てることで疑似カラー信号を生成する（ステップＳ１１２）。例えば、上記重み係数（ｗ３_ｓｉｊ）を正規化して、赤を割り当てることで疑似カラー信号を生成する。

その後、全ての波長域に関する処理が完了したかを判断し（ステップＳ１１３）、完了していない場合は上記ステップＳ１０９に戻る。そして、今度は例えば長波長域を選択して（ステップＳ１０９）、その長波長域に属する色信号からなるフレーム信号に対して上記（６）式に示されるように基底ベクトル（Ｏ３（λ_ｌ））に関する重み係数（ｗ３_ｌｉｊ）を算出し（ステップＳ１１０）、その算出した重み係数（ｗ３_ｓｉｊ）を正規化して（ステップＳ１１１）、シアンを割り当てることで疑似カラー信号を生成する（ステップＳ１１２）。

而して、上記ステップＳ１１３において全ての波長域に関する処理が完了したと判断した場合には、通常のカラー信号及び識別対象の存在に関する疑似カラー信号の両者をフレーム信号単位で、当該コンピュータに接続された図示しない表示モニタ等に出力する（ステップＳ１１４）。

その後、全てのフレーム信号が完了したかを判断し（ステップＳ１１５）、完了していない場合は上記ステップＳ１０５に戻り、また、完了した場合は終了する。

図７（Ｂ）は、上記ステップＳ１０４における算出処理に関するフローチャートを示す図である。

まず、波長域を一つ選択し（ステップＳ２０１）、上記ステップＳ１０２で入力された複数の基底ベクトルと、上記ステップＳ１０３で入力された複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性の中から、上記ステップＳ１０１で入力したヘッダ情報中の映像信号と識別対象となる被写体やカラー撮像系，照明光などの撮像条件に基づき、当該波長域に対する基底ベクトル、光源の分光輝度特性及びカラー撮像系の分光感度特性を選択する（ステップＳ２０２）。例えば、短波長域を選択し、図４（Ａ）に示すような基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ），Ｏ３（λ_ｓ））、図５（Ａ）に示すような光源の分光輝度特性、図５（Ｃ）に示すようなカラー撮像系の分光感度特性を選択する。

その後、上記（１）式または（２）式に示されるシステム行列を算出し（ステップＳ２０３）、更に、そのシステム行列の逆行列を算出する（ステップＳ２０４）。例えば、システム行列Ｍ_ｓを算出し、その逆行列Ｍ_ｓ ^−１を算出する。そして、基底ベクトルの重み係数を算出するのに要する逆行列の要素を上記所定の係数として選択し（ステップＳ２０５）、選択された逆行列の要素を出力する（ステップＳ２０６）。例えば、基底ベクトル（Ｏ３（λ_ｓ））の重み係数（ｗ３_ｓｉｊ）を算出するに要する逆行列Ｍ_ｓ ^−１の要素ｍ_ｓ３１，ｍ_ｓ３２，ｍ_ｓ３３を選択して出力する。

その後、全ての波長域に関する処理が完了したかを判断し（ステップＳ２０７）、完了していない場合は上記ステップＳ２０１に戻る。そして、今度は例えば長波長域を選択して（ステップＳ２０１）、図４（Ｂ）に示すような基底ベクトル（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ），Ｏ３（λ_ｌ））、図５（Ｂ）に示すような光源の分光輝度特性、図５（Ｄ）に示すようなカラー撮像系の分光感度特性を選択して（ステップＳ２０２）、上記（２）式に示されるシステム行列Ｍ_ｌを算出し（ステップＳ２０３）、更に、その逆行列Ｍ_ｌ ^−１を算出する（ステップＳ２０４）。そして、基底ベクトル（Ｏ３（λ_ｌ））の重み係数（ｗ３_ｌｉｊ）を算出するに要する逆行列Ｍ_ｌ ^−１の要素ｍ_ｌ３１，ｍ_ｌ３２，ｍ_ｌ３３を選択して（ステップＳ２０５）、出力する（ステップＳ２０６）。

而して、上記ステップＳ２０７において全ての波長域に関する処理が完了したと判断した場合は終了する。

［第２実施形態］
次に、本発明の第２実施形態を説明する。

（構成）
図８は、本発明の第２実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。本実施形態は、図１に示す第１実施形態の構成から正規化部１１６、疑似カラー化部１１７、第１出力部１１８及び第２出力部１１９が削除され、強調部１２５及び出力部１２６が追加された構成になっている。基本構成は上記第１実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

信号処理部１１２は、強調部１２５へ接続されている。強調部１２５は、液晶ディスプレイなどの出力部１２６へ接続されている。算出部１１３は、強調部１２５へ接続されている。制御部１２０は、強調部１２５及び出力部１２６と双方向に接続されている。

（作用）
本実施形態に係る信号処理システムの作用も、基本的に上記第１実施形態と同等であり、以下、異なる部分のみを説明する。

図８において、信号の流れを説明する。

本実施形態では、ＣＣＤ１０１としては、４種類のカラーフィルタを前面に配置した単板ＣＣＤを想定する。図９（Ａ）は、４種類のカラーフィルタでなるフィルタ１２７の構成を示す図である。このフィルタ１２７は、２×２画素を基本単位とし、短波長側から青（Ｂ），緑（Ｇ），黄（Ｙｅ），赤（Ｒ）から構成される。図９（Ｂ）は、このフィルタ１２７を構成する４種類のカラーフィルタの分光特性を示す図である。このようなフィルタ１２７を用いることで、ＣＣＤ１０１からのアナログ信号は、４種類の色信号からなる映像信号となる。

ＣＣＤ１０１からの映像信号は、上記第１実施形態と同様にしてデジタル信号へ変換されて、バッファ１０７へ転送される。補間部１０８は、制御部１２０の制御に基づき、上記バッファ１０７から単板状態のフレーム信号を読み込み、公知の補間処理にて４種類の色信号からなるフレーム信号を生成する。生成されたフレーム信号は、順次フレーム信号単位で、分離部１１１へ転送される。以降の分離部１１１、信号処理部１１２、算出部１１３及び強調部１２５は、制御部１２０の制御に基づき１フレーム信号単位で同期して処理がなされる。

分離部１１１は、制御部１２０の制御に基づき、補間部１０８から転送される複数種類（４種類）の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号からなるフレーム信号を分離すると共に、基底ベクトルを用いた信号処理に使用する複数の周波数域に対応する色信号からなるフレーム信号を選択し分離する。例えば、図９（Ａ）に示されるフィルタ１２７に対応する４種類の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号としてＢ，Ｇ，Ｒからなるフレーム信号を分離して、信号処理部１１２へ転送する。また、基底ベクトルを用いた信号処理に使用する複数の周波数域のフレーム信号として、本実施形態においても短波長域のフレーム信号と長波長域のフレーム信号との２つを想定する。該分離部１１１によって、短波長域のフレーム信号はＢ，Ｇを、長波長域のフレーム信号としてはＹｅ，Ｒの色信号がそれぞれ独立に分離され、算出部１１３へ転送される。

信号処理部１１２は、制御部１２０の制御に基づき、分離部１１１から転送されるＢ，Ｇ，Ｒの三色信号から構成されるフレーム信号に対して公知の階調処理及び強調処理を行うことで通常のカラー信号を算出し、算出した通常のカラー信号を強調部１２５へ転送する。

一方、算出部１１３は、上記外部Ｉ／Ｆ部１２１を介して設定された撮像条件に応じた制御部１２０の制御に基づき、基底ベクトルＲＯＭ１１４から複数の基底ベクトルを読み込むと共に、システム分光特性ＲＯＭ１１５から撮像システムの分光特性を読み込む。その後、分離部１１１から転送されるＢ，Ｇからなる二色信号から構成される短波長域のフレーム信号及びＹｅ，Ｒからなる二色信号から構成される長波長域のフレーム信号に対して、上記読み出した基底ベクトル、カラー撮像系に関する分光特性及び照明光に関する分光特性を用いて、基底ベクトルに関する重み係数を算出する。この算出部１１３の構成は、図３に示した上記第１の実施形態のそれと同等である。但し、本実施形態では短波長域及び長波長域が２種類の色信号で構成されているため、基底ベクトルの総数は２となる。

図１０（Ａ）は、短波長域の基底ベクトルの一例を示すもので、２つの識別対象の基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ））からなる。本実施形態の短波長域としてはλ_ｓ＝３８０〜６００ｎｍを想定する。また、図１０（Ｂ）は、長波長域の基底ベクトルの一例を示すもので、２つの識別対象の基底ベクトル（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ））からなる。本実施形態の長波長域としてはλ_ｌ＝５００〜７８０ｎｍを想定する。上記識別対象の基底ベクトルとしては、例えば、内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビン及びデオキシヘモグロビンの分光反射率特性から設定される。

また、図１１（Ａ）は、上記被写体の撮像時に使用する照明光に関する分光特性として、短波長域の光源の分光輝度特性（Ｉ（λ_ｓ））を示す図であり、図１１（Ｂ）は、同じく長波長域の光源の分光輝度特性（Ｉ（λ_ｌ））を示す図である。さらに、図１１（Ｃ）は、上記カラー撮像系に関する分光特性として、Ｂ，Ｇの２つのカラーフィルタからなる短波長域のカラー撮像系の分光感度特性（ＳＢ（λ_ｓ），ＳＧ（λ_ｓ））を示す図であり、図１１（Ｄ）は、同じくＹｅ，Ｒの２つのカラーフィルタからなる長波長域のカラー撮像系の分光感度特性（ＳＹｅ（λ_ｓ），ＳＲ（λ_ｓ））を示す図である。

算出部１１３は、制御部１２０の制御に基づき、２×２サイズの撮像システムに関するシステム行列を、短波長域及び長波長域ごとに独立に算出する。即ち、以下の（７）式に示すような短波長域のシステム行列Ｍ_ｓ及び以下の（８）式に示すような長波長域のシステム行列Ｍ_ｌを算出する。

算出部１１３は、この後、上記システム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１とＢ，Ｇからなるフレーム信号及びＹｅ，Ｒからなるフレーム信号とを使用することで、以下の（９）式及び（１０）式に示すような、各画素単位で基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ））及び（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ））に関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）及び（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）を算出する。

即ち、基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ））及び（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ））に関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）及び（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）を、以下の（１１）式乃至（１４）式に基づいて算出する。

こうして算出された基底ベクトルの重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）及び（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）は、強調部１２５へ転送される。強調部１２５は、制御部１２０の制御に基づき、信号処理部１１２から上記通常のカラー信号を読み込むと共に、算出部１１３から上記基底ベクトルに関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）及び（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）を読み込む。その後、信号処理部１１２から転送される通常のカラー信号に対して算出部１１３から転送される重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）及び（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）に基づき強調処理を行う。上記強調処理としては、公知の彩度強調処理が想定され、これらの強調量は重み係数に比例する形態で実施される。また、上記強調処理は、波長域ごとに独立に行うことも可能である。強調処理後のフレーム信号は、出力部１２６へ転送される。これにより、出力部１２６には、識別対象の存在領域が波長領域ごとに強調された通常のカラー信号が表示されることになる。

図１２（Ａ）は、上記強調部１２５の構成の一例を示す図で、該強調部１２５は、輝度色差分離部２１１、バッファ２１２、強調ゲイン算出部２１３、強調関数ＲＯＭ２１４、ゲイン乗算部２１５及び輝度色差合成部２１６からなる。上記信号処理部１１２は、輝度色差分離部２１１を介してバッファ２１２へ接続している。バッファ２１２は、ゲイン乗算部２１５及び輝度色差合成部２１６へ接続している。上記算出部１１３及び強調関数ＲＯＭ２１４は、強調ゲイン算出部２１３へ接続している。強調ゲイン算出部２１３は、ゲイン乗算部２１５へ接続し、ゲイン乗算部２１５は、輝度色差合成部２１６へ接続している。輝度色差合成部２１６は、上記出力部１２６へ接続している。上記制御部１２０は、輝度色差分離部２１１、強調ゲイン算出部２１３、ゲイン乗算部２１５及び輝度色差合成部２１６と双方向に接続されている。

輝度色差分離部２１１は、上記制御部１２０の制御に基づき、上記信号処理部１１２から転送されるＲ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊの通常のカラー信号に対して、以下の（１５）式に基づき輝度信号Ｙ_ｉｊ及び色差信号Ｃｂ_ｉｊ，Ｃｒ_ｉｊを算出する。

これら算出された輝度信号及び色差信号は、バッファ２１２へ転送され、そこに記録される。

一方、強調ゲイン算出部２１３は、上記制御部１２０の制御に基づき、上記算出部１１３から短波長域の基底ベクトルに関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）及び長波長域の基底ベクトルに関する重み係数（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）を読み込む。また、強調関数ＲＯＭ２１４から強調用のゲインを求めるためのゲインテーブルを読み込む。

図１２（Ｂ）は、強調関数ＲＯＭ２１４に記録されている強調用のゲインテーブルの一例を示す図である。上記テーブルは、基底ベクトルに関する重み係数を入力として、強調用のゲインを出力するテーブルである。従って、強調ゲイン算出部２１３は、このテーブルに従って、読み込んだ基底ベクトルに関する重み係数に対するゲインを算出する。なお、基底ベクトルに関する重み係数は「０」〜「１」の値をとることを前提としている。さらに、本実施形態では、オキシヘモグロビン及びデオキシヘモグロビンに関する２つの重み係数が得られているが、ゲインの算出には両者の平均値を用いるものとする。ゲインは、短波長域（ｇａｉｎ_ｓｉｊ）及び長波長域（ｇａｉｎ_ｌｉｊ）に関して独立に算出される。

この強調ゲイン算出部２１３で算出されたゲインｇａｉｎ_ｓｉｊ，ｇａｉｎ_ｌｉｊは、ゲイン乗算部２１５へ転送される。ゲイン乗算部２１５は、上記制御部１２０の制御に基づき、バッファ２１２から上記色差信号Ｃｂ_ｉｊ，Ｃｒ_ｉｊを読み込むと共に、強調ゲイン算出部２１３から上記ゲインｇａｉｎ_ｓｉｊ，ｇａｉｎ_ｌｉｊを読み込む。その後、色差信号Ｃｂ_ｉｊ，Ｃｒ_ｉｊに関して、以下の（１６）式に示される強調処理を行う。

ここで、上記（１６）式に示される強調処理は、深層の血管に関する長波長域の重み係数に基づきＣｂ（青系）を強調し、表層の血管に関する短波長域の重み係数に基づきＣｒ（赤系）を強調することを意味する。このため、短波長域と長波長域の識別が可能となる。強調処理がなされた色差信号Ｃｂ’_ｉｊ，Ｃｒ’_ｉｊは、輝度色差合成部２１６へ転送される。

輝度色差合成部２１６は、上記制御部１２０の制御に基づき、バッファ２１２から上記輝度信号Ｙ_ｉｊを読み込むと共に、ゲイン乗算部２１５から上記強調処理がなされた色差信号Ｃｂ’_ｉｊ，Ｃｒ’_ｉｊ読み込み、以下の（１７）式に示すような強調処理を行うことで、強調処理がなされた通常のカラー信号を算出する。

この輝度色差合成部２１６で強調処理がなされた通常のカラー信号は、上記出力部１２６へ転送される。

なお、上記例では、表層を赤系で、深層を青系で強調する構成となっていたが、このような構成に限定される必要はない。色差信号Ｃｂ，Ｃｒを組み合わせることで、任意の色を強調することが可能である。

また、血管を識別対象としていたためオキシヘモグロビン及びデオキシヘモグロビンに関する重み係数の平均値を使用する構成となっていたが、このような構成に限定される必要はない。例えば、表層のオキシヘモグロビンを赤、表層のデオキシヘモグロビンを黄、深層のオキシヘモグロビンを青、深層のデオキシヘモグロビンを緑など、独立に強調することも可能である。

以上のように、本第２実施形態によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルと上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とから、上記識別対象の被写体の存在に比例した値をとる基底ベクトルに関する重み係数を波長域ごとに独立に算出し、これらの重み係数に基づき出力信号を算出する。このように、本第２実施形態においても、上記第１実施形態と同様に、識別対象となる被写体の既知の分光特性に基づく基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無く、よって、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。

また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。

さらに、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

また、識別対象，カラー撮像系または照明光を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。

さらに、識別対象外の分光特性に基づく基底ベクトルも記録しているため、必要に応じて識別対象以外の領域に対しても基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度を向上することができる。

また、本第２実施形態では、基底ベクトルに関する重み係数から強調処理を行うため、識別対象の存在領域のみが強調され、認識能を向上することが可能となる。この強調処理は、波長域ごとに独立に行うことも可能であるため、各波長域、すなわち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。さらに、識別対象外の領域に関しても通常の処理がなされたカラー信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。各波長域の映像信号は、波長方向に連続となる複数の色信号から構成されるため、波長域ごとに基底ベクトルに関する重み係数を算出する際の基底ベクトル及び撮像システムの分光特性の切り分けが容易となり、波長方向に不連続な色信号から各波長域の映像信号を構成する場合に比して各波長域の映像信号における信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。

また、単板ＣＣＤから色信号を得るため、動きのある被写体に対しても高精度な識別が可能となる。

なお、動画像を処理する場合を説明したが、外部Ｉ／Ｆ部１２１の不図示シャッタボタンの操作に応じて静止画像を撮像し、その撮像した静止画像に対して同様の処理を行うことも可能なことは勿論である。

［変形例１］
上記第２実施形態では、ＣＣＤ１０１として単板ＣＣＤを用いる構成となっていたが、このような構成に限定される必要はない。例えば、二板ＣＣＤや三板ＣＣＤを用いた構成も可能である。

図１３は、図８に示す第２の実施形態の構成において、単板のＣＣＤ１０１を第１ＣＣＤ１０１Ａと第２ＣＣＤ１０１Ｂとの二板ＣＣＤに置換した構成となっている。基本構成は図８と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。

内視鏡先端部にある撮像レンズ系１００からの光束は、プリズム系１２８により二方向に分離され、第１ＣＣＤ１０１Ａ及び第２ＣＣＤ１０１Ｂへ導かれる。本変形例では、第１ＣＣＤ１０１Ａ及び第２ＣＣＤ１０１Ｂは各々３種類のカラーフィルタを有することを想定する。第１ＣＣＤ１０１Ａは、図１４（Ａ）に示すような、２×２画素を基本単位として、赤（Ｒ），黄色（Ｙｅ）フィルタが１画素ずつ配置され、緑（Ｇ）フィルタが２画素配置されたフィルタ１２９Ａを前面に配置したものとする。一方、第２ＣＣＤ１０１Ｂは、図１４（Ｂ）に示すような、２×２画素を基本単位として、青（Ｂ），ライトブルー（ＬＢ）フィルタが１画素ずつ配置され、Ｇフィルタが２画素配置されたフィルタ１２９Ａを前面に配置したものとする。ここで、第１ＣＣＤ１０１Ａと第２ＣＣＤ１０１ＢにおけるＧフィルタは同一であり、２×２画素における配置は排他的に設定されている。

第１ＣＣＤ１０１Ａ及び第２ＣＣＤ１０１Ｂを介して撮像された映像信号は、増幅部１０５にて増幅され、Ａ／Ｄ１０６にてデジタル信号へ変換されて、バッファ１０７へ転送される。補間部１０８は、制御部１２０の制御に基づき、バッファ１０７から単板状態の２つのフレーム信号を読み込み、公知の補間処理にて５種類の色信号からなる１つのフレーム信号を生成する。生成されたフレーム信号は、順次フレーム信号単位で、分離部１１１へ転送される。

分離部１１１は、制御部１２０の制御に基づき、補間部１０８から転送されるフレーム信号から、通常のカラー信号を生成するための色信号からなるフレーム信号を分離すると共に、基底ベクトルを用いた信号処理に使用する複数の周波数域に対応する色信号からなるフレーム信号を選択し分離する。例えば、図１４（Ｃ）に示されるフィルタ１２９Ａ，１２９Ｂに対応する５種類の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号としてＢ，Ｇ，Ｒからなるフレーム信号を分離して、信号処理部１１２へ転送する。また、基底ベクトルを用いた信号処理に使用する複数の周波数域のフレーム信号として、本変形例においても短波長域のフレーム信号と長波長域のフレーム信号との２つを想定する。分離部１１１によって、短波長域のフレーム信号はＢ，ＢＬ，Ｇを、長波長域のフレーム信号としてはＧ，Ｙｅ，Ｒの色信号の色信号がそれぞれ独立に分離され、算出部１１３へ転送される。なお、Ｇの色信号は両波長域で共通に使用されることになる。短波長域のフレーム信号及び長波長域のフレーム信号がそれぞれ３種類の色信号で構成されている。このため、使用する基底ベクトルの総数は、上記第１実施形態と同様に３となる。

なお、上記では二板ＣＣＤで使用するカラーフィルタを５種類としていた。これは、通常のカラー信号を生成する場合に使用されるＧの色信号を全画素から得られるように想定したためである。Ｇの色信号は、輝度信号の主要成分であり、Ｇの色信号を全画素から得られることにより解像度を向上することができる。

しかしながら、このような構成に限定される必要はない。例えば図１５（Ａ）及び（Ｂ）に示すようなフィルタ１２９Ｃ，１２９Ｄのように、Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８からなる８種類のカラーフィルタを用いる構成も可能である。この場合、図１５（Ｃ）に示すように、短波長域のフレーム信号はＦ１，Ｆ２，Ｆ３，Ｆ４の色信号から構成され、長波長域のフレーム信号はＦ５，Ｆ６，Ｆ７，Ｆ８の色信号から構成されて、使用する基底ベクトルの総数は４となる。また、通常のカラー信号を生成するための色信号としてはＦ１，Ｆ４，Ｆ８が使用される。このような構成とした場合、通常のカラー信号に関する分解能は低下するが、基底ベクトルを用いた信号処理の精度を向上することができる。

［変形例２］
また、上記第２実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの映像信号を未処理のままのＲａｗデータ形態として、制御部１２０から、識別対象となる被写体やカラー撮像系，照明光などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。

図１６（Ａ）は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図７（Ａ）に示した上記第１実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一な参照ステップ符号を割り当てている。

即ち、コンピュータはまず、映像信号と、識別対象となる被写体及びカラー撮像系，照明光などの撮像条件に関するヘッダ情報を入力する（ステップＳ１０１）。なお、本変形例においては、図９（Ａ）に示す４種類のカラーフィルタからなるフィルタ１２７を前面に配置した単板ＣＣＤからの映像信号を処理することを想定する。

上記ステップＳ１０１に続けて、図１０（Ａ）及び（Ｂ）に示すような複数の基底ベクトルを入力し（ステップＳ１０２）、また、図１１（Ａ）及び（Ｂ）に示すような光源の分光輝度特性を複数、及び図１１（Ｃ）及び（Ｄ）に示すような複数のカラー撮像系の分光感度特性を入力する（ステップＳ１０３）。ここで、上記複数の基底ベクトル及び複数の撮像システムの分光特性は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりすることで入力する。

そして、第１実施形態と同様にして、基底ベクトルに関する重み係数算出に使用されるシステム行列の逆行列Ｍ_ｓ ^−１及びＭ_ｌ ^−１の所定の係数、つまり要素ｍ_ｓ１１，ｍ_ｓ１２，ｍ_ｓ２１，ｍ_ｓ２２及びｍ_ｌ１１，ｍ_ｌ１２，ｍ_ｌ２１，ｍ_ｌ２２を算出する（ステップＳ１０４）。その後、上記入力された映像信号から順次フレーム信号を抽出し（ステップＳ１０５）、公知の補間処理にて欠落する色信号を生成する（ステップＳ１０６）。そして、図９（Ｂ）に示すように短波長域と長波長域の２つの波長域に属する色信号からなるフレーム信号、及び通常のカラー信号を生成するための色信号からなるフレーム信号を分離する（ステップＳ１０７）。そして、その通常のカラー信号を生成するための色信号からなるフレーム信号に対して、公知の階調処理や強調処理といった信号処理を行って、通常のカラー信号を生成する（ステップＳ１０８）。

また、上記ステップＳ１０８の信号処理と並行して、波長域を一つ選択して（ステップＳ１０９）、その選択した波長域に属する色信号からなるフレーム信号に対して上記（１１）式及び（１２）式、または上記（１３）式及び（１４）式に示されるように基底ベクトルに関する重み係数を算出する（ステップＳ１１０）。例えば、短波長域に属する色信号からなるフレーム信号に対して上記（１１）式及び（１２）式に示されるように基底ベクトル（Ｏ１（λ_ｓ），Ｏ２（λ_ｓ））に関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ）を算出する。

その後、全ての波長域に関する処理が完了したかを判断し（ステップＳ１１３）、完了していない場合は上記ステップＳ１０９に戻る。そして、今度は例えば長波長域を選択して（ステップＳ１０９）、その長波長域に属する色信号からなるフレーム信号に対して上記（１３）式及び（１４）式に示されるように基底ベクトル（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ））に関する重み係数（ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）を算出する（ステップＳ１１０）。

而して、上記ステップＳ１１３において全ての波長域に関する処理が完了したと判断した場合には、詳細は後述するように、通常のカラー信号に対して、上記算出した基底ベクトルに関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ，ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）に基づき強調処理を行う（ステップＳ１１６）。そして、その強調処理がなされた通常のカラー信号をフレーム信号単位で、当該コンピュータに接続された図示しない表示モニタ等に出力する（ステップＳ１１４）。

その後、全てのフレーム信号が完了したかを判断し（ステップＳ１１５）、完了していない場合は上記ステップＳ１０５に戻り、また、完了した場合は終了する。

図１６（Ｂ）は、上記ステップＳ１１６における強調処理に関するフローチャートを示す図である。

まず、上記（１５）式に示されるように輝度信号及び色差信号を算出する（ステップＳ２１１）。その後、図１２（Ｂ）に示される強調用のゲインを求めるためのゲインテーブルを入力する（ステップＳ２１２）。ここで、上記ゲインテーブルは、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりすることで入力する。そして、この入力されたゲインテーブルを用いて、上記算出した基底ベクトル（Ｏ１（λ_ｌ），Ｏ２（λ_ｌ））に関する重み係数（ｗ１_ｓｉｊ，ｗ２_ｓｉｊ，ｗ１_ｌｉｊ，ｗ２_ｌｉｊ）から強調用のゲイン（ｇａｉｎ_ｓｉｊ，ｇａｉｎ_ｌｉｊ）を波長域ごとに算出する（ステップＳ２１３）。その後、上記（１６）式に示されるように、色差信号に上記算出したゲイン（ｇａｉｎ_ｓｉｊ，ｇａｉｎ_ｌｉｊ）を乗算することで強調処理を行う（ステップＳ２１４）。そして、上記（１７）式に示されるように、輝度信号とこの強調処理がなされた色差信号とを合成することで、強調処理がなされた通常のカラー信号を算出する（ステップＳ２１５）。

［第３実施形態］
次に、本発明の第３実施形態を説明する。

（構成）
図１７は、本発明の第３実施形態に係る信号処理システムを適用した顕微鏡の構成を示す図である。本実施形態は、図１に示す第１実施形態の構成から、補間部１０８、算出部１１３、基底ベクトルＲＯＭ１１４及びシステム分光特性ＲＯＭ１１５を省略し、回転フィルタ１３０、相関係数算出部１３１及び導出係数ＲＯＭ１３２が追加された構成になっている。基本構成は上記第１実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

本実施形態においては、顕微鏡の撮像レンズ系１００，ＣＣＤ１０１を介して撮像された映像信号は、増幅部１０５にて増幅され、Ａ／Ｄ１０６にてデジタル信号へ変換される。なお、本実施形態ではＣＣＤ１０１として白黒用の単板ＣＣＤを想定する。顕微鏡の対物ステージには、照明光源１０３からの照明光が、回転フィルタ１３０に装着された複数のカラーフィルタ、本実施形態では８種類のカラーフィルタを透過した後、照明レンズ系１０２を介して導かれている。バッファ１０７は、ＷＢ部１０９、測光評価部１１０及び分離部１１１へ接続されている。分離部１１１は、信号処理部１１２及び相関係数算出部１３１へ接続されている。導出係数ＲＯＭ１３２は、相関係数算出部１３１へ接続されている。相関係数算出部１３１は、正規化部１１６へ接続されている。制御部１２０は、回転フィルタ１３０及び相関係数算出部１３１と双方向に接続されている。

（作用）
本実施形態に係る信号処理システムの作用も、基本的に上記第１実施形態と同等であり、異なる部分のみ説明する。

図１７において、信号の流れを説明する。外部Ｉ／Ｆ部１２１を介して後述する識別対象となる被写体などの撮像条件を設定した後、外部Ｉ／Ｆ部１２１における図示しないシャッタボタンを半押しにすることでプリ撮像モードに入る。撮像レンズ系１００，ＣＣＤ１０１を介して撮像された映像信号はアナログ信号として出力される。

なお、本実施形態においては、回転フィルタ１３０に８種類のカラーフィルタを装着していることを想定しており、１枚の映像信号は、回転フィルタ１３０を回転させることで８種類の照明光を生成し、８回撮像することにより得られる８種類の色信号から構成されることになる。図１８は、上記回転フィルタ１３０におけるＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８からなる８種類のカラーフィルタの分光特性を示す図である。上記回転フィルタ１３０の回転は、制御部１２０の制御に基づきＣＣＤ１０１での撮像と同期して行われる。このように、本実施形態では、複数の色信号が、照明光源１０３及び回転フィルタ１３０によって発生される、カラー撮像系による被写体の撮像時に使用される照明光により生成される。

上記アナログ信号は増幅部１０５にて所定量増幅され、Ａ／Ｄ１０６にてデジタル信号へ変換されてバッファ１０７へ転送される。バッファ１０７は、８種類の色信号からなる映像信号を記録することができる。バッファ１０７内の映像信号は、制御部１２０の制御に基づき、ＷＢ部１０９及び測光評価部１１０へ転送される。上記第１実施形態と同様に、ＷＢ部１０９にてホワイトバランス処理が、測光評価部１１０にて露光制御が、それぞれ行われる。

次に、外部Ｉ／Ｆ部１２１におけるシャッタボタンを全押しにすることにより本撮像が行われ、映像信号はプリ撮像と同様にバッファ１０７へ転送される。バッファ１０７内の映像信号は、分離部１１１へ転送される。分離部１１１は、制御部１２０の制御に基づき、バッファ１０７に記録された８種類の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号からなるフレーム信号を分離すると共に、基底ベクトルを用いた信号処理に使用する複数の周波数域に対応する色信号からなるフレーム信号を選択し分離する。例えば、図１８に示される回転フィルタ１３０のカラーフィルタに対応する８種類の色信号からなるフレーム信号から、通常のカラー信号を生成するための色信号としてＦ１，Ｆ４，Ｆ８からなるフレーム信号が分離され、信号処理部１１２へ転送される。また、基底ベクトルを用いた信号処理に使用する複数の周波数域のフレーム信号として、本実施形態では短波長域のフレーム信号、中波長域のフレーム信号及び長波長域のフレーム信号の３つを想定する。該分離部１１１によって、短波長域のフレーム信号はＦ１，Ｆ２，Ｆ３が、中波長域のフレーム信号はＦ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６が、長波長域のフレーム信号としてはＦ６，Ｆ７，Ｆ８の色信号が、それぞれ独立に分離され、相関係数算出部１３１へ転送される。

信号処理部１１２は、制御部１２０の制御に基づき、分離部１１１から転送されるＦ１，Ｆ４，Ｆ８の三色信号から構成される映像信号に対して公知の階調処理及び強調処理を行うことで通常のカラー信号を算出し、算出した通常のカラー信号を第２出力部１１９へ転送する。カラーフィルタＦ１，Ｆ４，Ｆ８の分光特性は通常のＢ，Ｇ，Ｒ信号に対応するため、第２出力部１１９は、この通常のカラー信号を第２の出力信号として表示することになる。

一方、導出係数ＲＯＭ１３２には、識別対象となる被写体毎に、当該被写体の既知の分光特性、被写体の撮像に供するカラー撮像系に関する分光特性と被写体の撮像時に使用する照明光に関する分光特性に基づいて、識別対象となる被写体の分光特性と映像信号との間の相関性を導出する導出係数が予め算出されて、記憶されている。

相関係数算出部１３１は、外部Ｉ／Ｆ部１２１を介して設定された上記撮像条件における識別対象となる被写体の選択に応じた制御部１２０の制御に基づき、上記導出係数ＲＯＭ１３２から上記導出係数を読み込む。その後、分離部１１１から転送されるＦ１，Ｆ２，Ｆ３の三色信号から構成される短波長域の映像信号、Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６の五色信号から構成される中波長域の映像信号、及びＦ６，Ｆ７，Ｆ８の三色信号から構成される長波長域の映像信号に対して、上記読み込んだ導出係数を用いて、識別対象となる被写体の分光特性と映像信号間の相関係数を算出する。この相関係数算出部１３１によって算出された算出された相関係数は、上記識別対象の被写体の存在に比例した値をとるものであり、正規化部１１６へ転送され、映像信号の信号レベル（例えば、信号レベルが８ビットならば「０」〜「２５５」）と合致するよう正規化処理がなされる。正規化処理後の相関係数は、疑似カラー化部１１７へ転送される。

疑似カラー化部１１７は、上記正規化部１１６にて正規化された短波長域、中波長域及び長波長域の相関係数に関して、それぞれ異なる色を割り当てることで疑似カラー信号を生成する。本実施形態においては、例えば、短波長域の相関係数に赤を、中波長域の相関係数に緑を、長波長域の相関係数に青を、それぞれ割り当てる。疑似カラー化部１１７は、このように生成した疑似カラー信号を第１出力部１１８へ転送し、これにより、第１出力部１１８には、識別対象の被写体に関して波長域ごとに独立した疑似カラー信号が表示されることになる。なお、短波長域は対象物の表層に関する情報を、中波長域は対象物の中層に関する情報を、長波長域は対象物の深層に関する情報を、それぞれ意味する。

また、第１出力部１１８及び第２出力部１１９は、液晶ディスプレイに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体にフレーム信号を順次記録保存する形態も可能である。

図１９は、上記相関係数算出部１３１の構成の一例を示す図であり、該相関係数算出部１３１は、係数選択部２２１と乗加算部２２２とからなる。ここで、上記導出係数ＲＯＭ１３２は、係数選択部２２１を介して乗加算部２２２へ接続している。上記分離部１１１は、乗加算部２２２へ接続している。乗加算部２２２は、上記正規化部１１６へ接続している。上記制御部１２０は、係数選択部２２１及び乗加算部２２２と双方向に接続されている。

係数選択部２２１は、上記外部Ｉ／Ｆ部１２１を介して設定された上記撮像条件における識別対象となる被写体の情報を制御部１２０から受け取り、上記情報に基づき導出係数ＲＯＭ１３２から識別対象となる被写体の分光特性と映像信号との間の相関性を導出する導出係数を読み込む。このように、上記導出係数ＲＯＭ１３２及び該係数選択部２２１は、導出係数取得部として機能する。導出係数ＲＯＭ１３２には、上記（１）式や上記（２）式に示されるシステム行列の逆行列Ｍ^−１の各要素が導出係数として記録されている。なお、本実施形態では、３つの波長域を想定しているため、システム行列の逆行列Ｍ^−１も３つとなる。また、システム行列の逆行列のサイズは短波長域及び長波長域が３×３、中波長域が５×５となる。また、本実施形態は、顕微鏡においては、被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とが固定されている、ということを前提としている。この場合は、最終的に得られるシステム行列の逆行列Ｍ^−１は固定されるため、上記（１）式や（２）式及び上記（３）式や（４）式に示す算出の過程を省略することができ、逆行列Ｍ^−１のみを記録しておけば良いことになる。

なお、識別対象となる被写体の既知の分光特性に基づく基底ベクトルに関しては予め想定される種類を用意し、複数のシステム行列の逆行列Ｍ^−１を記録しているものとする。上記導出係数は、乗加算部２２２へ転送される。

乗加算部２２２は、制御部１２０の制御に基づき、係数選択部２２１から導出係数を、上記分離部１１１から波長域ごとの映像信号を画素単位で読み込む。この後、上記（５）式や（６）式に示されるように重み係数を求める。上記重み係数は、識別対象となる被写体の分光特性と映像信号との間の相関関係を表す相関係数となる。この相関係数は、順次、上記正規化部１１６へ転送される。

なお、本第３実施形態においては、中波長域の精度を高めるため、中波長域のみ５種類の色信号を用い、短波長域及び長波長域は３種類の色信号を用いる構成となっている。しかしながら、このような構成に限定される必要はない。例えば、全ての波長域を３種類とする構成も可能であるし、特定の波長域を４種類，５種類と増加させた構成も可能である。これは、処理速度の高速化と信号処理の精度向上を考慮して、任意に設定することができる。

以上のように、本第３実施形態によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく導出係数から、上記識別対象の被写体の存在に比例した値をとる上記識別対象となる被写体の既知の分光特性と映像信号との間の相関係数を波長域ごとに独立に求め、それらの相関係数に基づき上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する。このように、本第３実施形態では、識別対象となる被写体の分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無く、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。

また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。

さらに、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

また、本第３実施形態では、導出係数に関する相関係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。

さらに、波長域ごとに独立した色を割り当てるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。また、通常の処理がなされた映像信号が独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。各波長域の映像信号は、波長方向に連続となる複数の色信号から構成されるため、導出係数の波長域ごとの取得が容易となり、波長方向に不連続な色信号から各波長域の映像信号を構成する場合に比して各波長域の映像信号における信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。

また、本第３実施形態では、複数の色信号が時分割的に得られるため、撮像素子の全画素を用いて色信号を得ることができるので、解像度の優れた識別が可能となる。

なお、上記第３実施形態の説明では、顕微鏡による静止画像処理を行う構成となっていたが、このような構成に限定される必要はない。カラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性が固定されるのであれば、上述した第１及び第２実施形態と同様に、面順次方式の内視鏡などの動画像処理へも適用することが可能である。また、これとは逆に、上記第１及び第２実施形態を静止画像処理に適用する構成も可能である。

さらに、別体の撮像部で撮像された映像信号を未処理のＲａｗデータ形態で、識別対象となる被写体などの撮像条件に関する付随情報をヘッダ部に記録した記録媒体から、映像信号及び付随情報を取得して処理をすることも可能である。また、上述した第１及び第２実施形態と同様に単板ＣＣＤや二板ＣＣＤ、さらには三板ＣＣＤを用いて複数の色信号を得る構成にも適用可能である。

［変形例１］
また、上記第３実施形態では、通常のカラー信号が第２出力部１１９で、識別対象の存在に関する疑似カラー信号が第１出力部１１８で表示される構成となっていたが、このような構成に限定される必要はない。

例えば、図２０に示すような導出係数に関する相関係数に基づき通常カラー信号を強調処理し、１つの出力信号として表示する構成も可能である。図２０は、図１７に示す構成から、正規化部１１６、疑似カラー化部１１７、第１出力部１１８及び第２出力部１１９を省略し、強調部１２５及び出力部１２６が追加された形態となっている。基本構成は図１７と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。

信号処理部１１２及び相関係数算出部１３１は、強調部１２５へ接続されている。強調部１２５は、出力部１２６へ接続されている。制御部１２０は、強調部１２５及び出力部１２６と双方向に接続されている。強調部１２５へは、信号処理部１１２から通常のカラー信号が、相関係数算出部１３１から識別対象となる被写体の分光特性と映像信号との間の相関係数が、それぞれ転送される。

このような構成において、強調部１２５は、制御部１２０の制御に基づき、信号処理部１１２から転送される通常のカラー信号に対して相関係数算出部１３１から転送される相関係数に基づき強調処理を行う。上記強調処理としては、上記第２実施形態における図１２（Ａ）に示されるような彩度強調処理が想定され、これらの強調量は相関係数に比例する形態で実施される。強調処理後の通常のカラー信号は出力部１２６へ転送される。

これにより、オキシヘモグロビンなどの識別対象の被写体の存在領域のみが強調され、認識能を向上することが可能となる。この強調処理は、波長域ごとに独立に行うことも可能であるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、通常の処理がなされたカラー信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。

［変形例２］
また、上記第３実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０１からの映像信号を未処理のままのＲａｗデータ形態として、制御部１２０から、識別対象となる被写体などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。

図２１（Ａ）は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図７（Ａ）に示す上記第１実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一な参照ステップ符号を割り当てている。

即ち、コンピュータはまず、映像信号と、識別対象となる被写体などの撮像条件に関するヘッダ情報を入力すると共に（ステップＳ１０１）、複数の導出係数を入力する（ステップＳ１１７）。ここで、上記導出係数は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりすることで入力する。

次に、図１８に示すように短波長域、中波長域及び長波長域の３つの波長域に属する色信号からなる映像信号、及び通常のカラー信号を生成するための色信号からなる映像信号を分離する（ステップＳ１０７）。そして、その通常のカラー信号を生成するための色信号からなる映像信号に対して、公知の階調処理や強調処理といった信号処理を行って、通常のカラー信号を生成する（ステップＳ１０８）。

また、上記ステップＳ１０８の信号処理と並行して、波長域を一つ選択して（ステップＳ１０９）、その選択した波長域に属する色信号からなる映像信号に対して詳細は後述するような相関係数算出処理により、入力した導出係数に基づき識別対象となる被写体の既知の分光特性と映像信号との間の相関係数を算出する（ステップＳ１１８）。そして、その相関係数を正規化し（ステップＳ１１１）、その正規化された相関係数に関して波長域ごとに独立した色を割り当てることで疑似カラー信号を生成する（ステップＳ１１２）。

その後、全ての波長域に関する処理が完了したかを判断し（ステップＳ１１３）、完了していない場合は上記ステップＳ１０９に戻って、上記の処理を繰り返す。

こうして、短波長域、中波長域及び長波長域の３つの波長域に関する処理が完了したならば、上記ステップＳ１１３において全ての波長域に関する処理が完了したと判断される。その場合には、通常のカラー信号及び識別対象の存在に関する疑似カラー信号の両者を、当該コンピュータに接続された図示しない表示モニタ等に独立に出力して（ステップＳ１１４）、終了する。

なお、顕微鏡の場合は、動画像ではなく静止画像を扱うため、図７（Ａ）や図１６（Ａ）のような、全てのフレーム信号が完了したかの判断は不要である。

図２１（Ｂ）は、上記ステップＳ１１８における相関係数算出処理に関するフローチャートを示す図である。

まず、上記ステップＳ１１７で入力された複数の導出係数の中から、上記ステップＳ１０１で入力したヘッダ情報中の識別対象となる被写体情報に基づき、導出係数を選択する（ステップＳ２２１）。そして、上記（５）式や（６）式に示されるように導出係数に基づき相関係数を算出して（ステップＳ２２２）、その算出された相関係数を出力する（ステップＳ２２３）。

以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得する基底ベクトル取得部と、
上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離する分離部と、
上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
上記分離部にて分離した上記複数の波長域の映像信号、上記基底ベクトル取得部によって取得した上記基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記基底ベクトルに関する重み係数を上記波長域ごとに算出する算出部と、
上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有することを特徴とする信号処理システム。

（対応する実施形態）
この（１）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、基底ベクトルＲＯＭ１１４、データ選択部２０１が上記基底ベクトル取得部に、分離部１１１が上記分離部に、システム分光特性ＲＯＭ１１５、データ選択部２０１が上記システム分光特性取得部に、算出部１１３が上記算出部に、正規化部１１６、疑似カラー化部１１７、第１出力部１１８、第２出力部１１９、強調部１２５、出力部１２６が上記出力信号算出部に、それぞれ対応する。

（作用効果）
この（１）に記載の信号処理システムは、例えば識別対象となる被写体を含む被写体を撮像して得た複数の色信号からなる映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性に基づいて算出されている基底ベクトルと、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性とを取得し、それら取得した基底ベクトル及び撮像システムの分光特性から、上記識別対象の被写体の存在に比例した値をとる上記基底ベクトルに関する重み係数を所定の波長域ごとに独立に算出し、その重み係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出する。なお、取得とは、記録媒体から読み出すことやネットワークを介して読み込むことなどを意味する。
従って、この（１）に記載の信号処理システムによれば、識別対象となる被写体の既知である分光特性に基づく基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別対象被写体の識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

（２） 複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部をさらに有し、
上記基底ベクトル取得部は、上記識別対象選択部によって選択された一つの被写体の分光特性に基づく基底ベクトルを取得することを特徴とする（１）に記載の信号処理システム。

（対応する実施形態）
この（２）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、外部Ｉ／Ｆ部１２１が上記識別対象選択部が対応する。

（作用効果）
この（２）に記載の信号処理システムは、識別対象となる被写体の選択を受け付け、その選択に応じて、複数記録させておいた基底ベクトルから識別対象となる被写体の基底ベクトルの選択を行う。
従って、この（２）に記載の信号処理システムによれば、識別対象の被写体を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。

（３） 複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択するカラー撮像系選択部をさらに有し、
上記システム分光特性取得部は、上記カラー撮像系選択部によって選択された一つのカラー撮像系に関する分光特性と一つの照明光に関する分光特性とを上記撮像システムの分光特性として取得することを特徴とする（１）に記載の信号処理システム。

（対応する実施形態）
この（３）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、外部Ｉ／Ｆ部１２１が上記カラー撮像系選択部に対応する。

（作用効果）
この（３）に記載の信号処理システムは、カラー撮像系及び照明光の選択を受け付け、その選択に応じて、それぞれ複数記録させておいたカラー撮像系に関する分光特性及び照明光に関する分光特性から、使用する分光特性をそれぞれ選択する。
従って、この（３）に記載の信号処理システムによれば、カラー撮像系及び照明光を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。

（４） 上記基底ベクトル取得部は、上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルに加えて、上記識別対象となる被写体以外の被写体の分光特性に基づく基底ベクトルをさらに取得することを特徴とする（１）に記載の信号処理システム。

（対応する実施形態）
この（４）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。

（作用効果）
この（４）に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく基底ベクトルと識別対象となる被写体以外の被写体の分光特性に基づく基底ベクトルとを用いる。
従って、この（４）に記載の信号処理システムによれば、識別対象以外の領域に対して基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。

（５） 上記算出部は、
上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を上記波長域ごとに算出する行列算出部と、
上記行列算出部で算出した上記波長域ごとのシステム行列の逆行列を算出する逆行列算出部と、
上記波長域ごとに、上記逆行列算出部で算出した上記システム行列の逆行列と当該波長域の映像信号に含まれる色信号との間で乗加算処理を行うことで、上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルに関する重み係数を算出する乗加算部乗加算部と、
を有することを特徴とする（１）に記載の信号処理システム。

（対応する実施形態）
この（５）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、積算部２０２が上記行列算出部に、逆行列算出部２０４が上記行列算出部に、乗加算部２０７が上記乗加算部に、それぞれ対応する。

（作用効果）
この（５）に記載の信号処理システムは、識別対象となる被写体の基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出し、この逆行列及び映像信号に基づき識別対象被写体の基底ベクトルに関する重み係数を算出する。
従って、この（５）に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。

（６） 上記出力信号算出部は、
上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によって正規化された上記波長域ごとの基底ベクトルに関する重み係数に関して各々独立した色を割り当てる疑似カラー化部と、
上記疑似カラー化部によって疑似カラー化された上記波長域ごとの基底ベクトルに関する重み係数を合成し、その合成した重み係数を上記出力信号として出力する出力部と、
を有することを特徴とする（１）に記載の信号処理システム。

（対応する実施形態）
この（６）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２が対応する。それらの実施形態及び変形例において、一例として、正規化部１１６が上記正規化部に、疑似カラー化部１１７が上記疑似カラー化部に、第１出力部１１８が上記出力部に、それぞれ対応する。

（作用効果）
この（６）に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく基底ベクトルに関する重み係数を正規化し、波長域ごとに独立した色からなる疑似カラー化信号を生成し、これらの疑似カラー化信号を合成することで出力信号として出力する。
従って、この（６）に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、波長域ごとに独立した色を割り当てるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。

（７） 上記分離部は、上記カラー撮像系による被写体の撮像により得た複数の色信号からなる上記映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離し、
上記分離部にて分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出する信号処理部をさらに有することを特徴とする（１）に記載の信号処理システム。

（対応する実施形態）
この（７）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、信号処理部１１２が上記信号処理部に対応する。

（作用効果）
この（７）に記載の信号処理システムは、カラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号から、通常のカラー信号を算出する。
従って、この（７）に記載の信号処理システムによれば、通常の処理がなされたカラー信号も独立に算出され、そのようなカラー信号を出力すれば、映像信号全体の認識を行うことが可能となり、使用者に対する操作性が向上する。

（８） 上記出力信号算出部は、
上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によって正規化された上記波長域ごとの基底ベクトルに関する重み係数に関して各々独立した色を割り当てる疑似カラー化部と、
上記疑似カラー化部によって疑似カラー化された上記波長域ごとの基底ベクトルに関する重み係数を合成し、その合成した重み係数を上記出力信号として出力する出力部と、
上記信号処理部が算出した上記通常のカラー信号を第２の出力信号として出力する第２の出力部と、
を有することを特徴とする（７）に記載の信号処理システム。

（対応する実施形態）
この（８）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２が対応する。それらの実施形態及び変形例において、一例として、正規化部１１６が上記正規化部に、疑似カラー化部１１７が上記疑似カラー化部に、第１出力部１１８が上記出力部に、第２出力部１１９が上記第２出力部に、それぞれ対応する。

（作用効果）
この（８）に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく基底ベクトルに関する重み係数を正規化し、波長域ごとに独立した色からなる疑似カラー化信号を生成し、これらの疑似カラー化信号を合成することで出力信号として出力すると共に、カラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号から、通常のカラー信号を算出して第２の出力信号として出力する。
従って、この（８）に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、波長域ごとに独立した色を割り当てるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。さらに、通常の処理がなされたカラー信号も独立に算出されて出力されるため、映像信号全体の認識をし易くなり、使用者に対する操作性が向上する。

（９） 上記出力信号算出部は、
上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記信号処理部が算出した上記通常のカラー信号の強調処理を行う強調部と、
上記強調部によって強調処理された上記通常のカラー信号を上記出力信号として出力する出力部と、
を有することを特徴とする（７）に記載の信号処理システム。

（対応する実施形態）
この（９）に記載の信号処理システムに関する実施形態は、第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、強調部１２５が上記強調部に、出力部１２６が上記出力部に、それぞれ対応する。

（作用効果）
この（９）に記載の信号処理システムは、基底ベクトルに関する重み係数に基づき通常の処理がなされたカラー信号を強調処理し、出力信号として出力する。
従って、この（９）に記載の信号処理システムによれば、識別対象となる被写体の分光特性に基づく基底ベクトルに関する重み係数から強調処理を行うため、識別対象の存在領域のみが強調され認識能を向上することが可能となる。この強調処理は、波長域ごとに独立に行うことも可能であるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。さらに、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関しても通常の処理がなされたカラー信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。

（１０） 分光特性が既知である識別対象となる被写体を含む被写体の撮像に供するカラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離する分離部と、
上記識別対象となる被写体の上記既知の分光特性、上記カラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記識別対象となる被写体の既知の分光特性と各波長域の映像信号との間の相関性を示す導出係数を、上記波長域ごとに取得する導出係数取得部と、
上記分離部にて分離した上記複数の波長域の映像信号及び上記導出係数取得部によって取得した導出係数に基づき、上記波長域ごとに、上記識別対象となる被写体の上記既知の分光特性と当該波長域の映像信号との間の相関係数を算出する相関係数算出部と、
上記相関係数算出部によって算出した上記波長域ごとの相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有することを特徴とする信号処理システム。

（対応する実施形態）
この（１０）に記載の信号処理システムに関する実施形態は、第３実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、分離部１１１が上記分離部に、導出係数ＲＯＭ１３２、係数選択部２２１が上記導出係数記録部に、乗加算部２２２が上記相関係数算出部に、正規化部１１６、疑似カラー化部１１７、第１出力部１１８、第２出力部１１９、強調部１２５、出力部１２６が上記出力信号算出部に、それぞれ対応する。

（作用効果）
この（１０）に記載の信号処理システムは、例えば識別対象となる被写体を含む被写体を撮像して得た複数の色信号からなる映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性と映像信号との間の相関性を導出する導出係数から、上記識別対象の被写体の存在に比例した値をとる相関係数を波長域ごとに算出し、その相関係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出する。
従って、この（１０）に記載の信号処理システムによれば、識別対象となる被写体の既知である分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。また、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

（１１） 上記出力信号算出部は、
上記相関係数算出部によって算出した上記波長域ごとの相関係数を正規化する正規化部と、
上記正規化部によって正規化された上記波長域ごとの相関係数に関して各々独立した色を割り当てる疑似カラー化部と、
上記疑似カラー化部によって疑似カラー化された上記波長域ごとの相関係数を合成し、その合成した相関係数を上記出力信号として出力する出力部と、
を有することを特徴とする（１０）に記載の信号処理システム。

（対応する実施形態）
この（１１）に記載の信号処理システムに関する実施形態は、第３実施形態が対応する。その実施形態において、一例として、正規化部１１６が上記正規化部に、疑似カラー化部１１７が上記疑似カラー化部に、第１出力部１１８が上記出力部に、それぞれ対応する。

（作用効果）
この（１１）に記載の信号処理システムは、導出係数に関する相関係数を正規化し、波長域ごとに独立した色からなる疑似カラー化信号を生成し、これらの疑似カラー化信号を合成することで出力信号として出力する。
従って、この（１１）に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく導出係数に関する相関係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、波長域ごとに独立した色を割り当てるため、各波長域、即ち各深度の情報に対する分離能が向上し高精度な識別が可能となる。

（１２） 上記分離部は、上記カラー撮像系による被写体の撮像により得た複数の色信号からなる上記映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離し、
上記分離部にて分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出する信号処理部をさらに有することを特徴とする（１０）に記載の信号処理システム。

（対応する実施形態）
この（１２）に記載の信号処理システムに関する実施形態は、第３実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、信号処理部１１２が上記信号処理部に対応する。

（作用効果）
この（１２）に記載の信号処理システムは、カラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号から、通常のカラー信号を算出する。
従って、この（１２）に記載の信号処理システムによれば、通常の処理がなされたカラー信号も独立に算出され、そのようなカラー信号を出力すれば、映像信号全体の認識を行うことが可能となり、使用者に対する操作性が向上する。

（１３） 上記出力信号算出部は、
上記相関係数算出部によって算出した上記波長域ごとの相関係数を正規化する正規化部と、
上記正規化部によって正規化された上記波長域ごとの相関係数に関して各々独立した色を割り当てる疑似カラー化部と、
上記疑似カラー化部によって疑似カラー化された上記波長域ごとの相関係数を合成し、その合成した相関係数を上記出力信号として出力する出力部と、
上記信号処理部が算出した上記通常のカラー信号を第２の出力信号として出力する第２出力部と、
を有することを特徴とする（１０）に記載の信号処理システム。

（対応する実施形態）
この（１３）に記載の信号処理システムに関する実施形態は、第３実施形態が対応する。その実施形態において、一例として、正規化部１１６が上記正規化部に、疑似カラー化部１１７が上記疑似カラー化部に、第１出力部１１８が上記出力部に、第２出力部１１９が上記第２出力部に、それぞれ対応する。

（作用効果）
この（１３）に記載の信号処理システムは、導出係数に関する相関係数を正規化し、波長域ごとに独立した色からなる疑似カラー化信号を生成し、これらの疑似カラー化信号を合成することで出力信号として出力すると共に、カラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号から、通常のカラー信号を算出して第２の出力信号として出力する。
従って、この（１３）に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく導出係数に関する相関係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、波長域ごとに独立した色を割り当てるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。さらに、通常の処理がなされたカラー信号も独立に算出されて出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。

（１４） 上記出力信号算出部は、
上記相関係数算出部によって算出した上記波長域ごとの相関係数に基づき、上記信号処理部が算出した上記通常のカラー信号の強調処理を行う強調部と、
上記強調部によって強調処理された上記通常のカラー信号を上記出力信号として出力する出力部と、
を有することを特徴とする（１０）に記載の信号処理システム。

（対応する実施形態）
この（１４）に記載の信号処理システムに関する実施形態は、第３実施形態の変形例１が対応する。その変形例において、一例として、強調部１２５が上記強調部に、出力部１２６が上記出力部に、それぞれ対応する。

（作用効果）
この（１４）に記載の信号処理システムは、導出係数に関する相関係数に基づき通常の処理がなされたカラー信号を強調処理し、出力信号として出力する。
従って、この（１４）に記載の信号処理システムによれば、識別対象となる被写体の分光特性に基づく導出係数に関する相関係数から強調処理を行うため、識別対象の存在領域のみが強調され認識能を向上することが可能となる。この強調処理は、波長域ごとに独立に行うことも可能であるため、各波長域、即ち各深度の情報に対する分離能が向上し、高精度な識別が可能となる。さらに、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関しても通常の処理がなされたカラー信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。

（１５） 上記分離部は、上記複数の色信号の分光特性における主波長に基づき上記複数の色信号を波長方向に並べた場合に、各波長域の映像信号が波長方向に連続となる色信号から構成されるように、上記カラー撮像系からの上記映像信号を上記複数の波長域の映像信号に分離することを特徴とする（１）又は（１０）に記載の信号処理システム。

（対応する実施形態）
この（１５）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、第２実施形態とその変形例１、及び第３実施形態とその変形例１が対応する。

（作用効果）
この（１５）に記載の信号処理システムは、各波長域の映像信号が、波長方向に連続となる色信号から構成される。
従って、この（１５）に記載の信号処理システムによれば、各波長域の映像信号が波長方向に連続となる色信号から構成されるため、波長域ごとに基底ベクトルに関する重み係数を算出する際の基底ベクトル及び撮像システムの分光特性の切り分け、又は導出係数の波長域ごとの取得が容易となり、波長方向に不連続な色信号から各波長域の映像信号を構成する場合に比して各波長域の映像信号における信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。

（１６） 上記カラー撮像系からの上記映像信号を構成する上記色信号が４種類以上であることを特徴とする（１）又は（１０）に記載の信号処理システム。

（対応する実施形態）
この（１６）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、第２実施形態とその変形例１、及び第３実施形態とその変形例１が対応する。

（作用効果）
この（１６）に記載の信号処理システムは、映像信号を構成する色信号が４種類以上である。
従って、この（１６）に記載の信号処理システムによれば、複数の波長域の映像信号に分離する場合に、各波長域の映像信号が複数の色信号から構成されることが可能となり、各波長域の映像信号における信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。

（１７） 上記カラー撮像系からの上記映像信号を構成する上記色信号が上記カラー撮像系に使用される撮像素子により生成されることを特徴とする（１）又は（１０）に記載の信号処理システム。

（対応する実施形態）
この（１７）に記載の信号処理システムに関する実施形態は、第１実施形態とその変形例１及び２、及び第２実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、ＣＣＤ１０１、第１ＣＣＤ１０１Ａ、第２ＣＣＤ１０１Ｂ、フィルタ１２２、フィルタ１２９Ａ、フィルタ１２９Ｂ、フィルタ１２９Ｃ、フィルタ１２９Ｄが上記撮像素子に対応する。

（作用効果）
この（１７）に記載の信号処理システムは、映像信号を構成する色信号がカラー撮像系に使用される撮像素子により生成される。
従って、この（１７）に記載の信号処理システムによれば、複数の色信号が時間的に同時に得られるため、動きのある被写体に対しても高精度な識別が可能となる。

（１８） 上記カラー撮像系からの上記映像信号を構成する上記色信号が上記カラー撮像系による被写体の撮像時に使用される照明光により生成されることを特徴とする（１）又は（１０）に記載の信号処理システム。

（対応する実施形態）
この（１８）に記載の信号処理システムに関する実施形態は、第３実施形態とその変形例１が対応する。それらの実施形態及び変形例において、一例として、照明光源１０３及び回転フィルタ１３０によって発生される照明光が上記照明光に対応する。

（作用効果）
この（１８）に記載の信号処理システムは、映像信号を構成する色信号が撮像時に使用される照明光により生成される。
従って、この（１８）に記載の信号処理システムによれば、複数の色信号が時分割的に得られるため、撮像素子の全画素全画素を用いて色信号を得ることができるので、解像度の優れた識別が可能となる。

（１９） 分光特性が既知である識別対象となる被写体を含む被写体のカラー撮像系による撮像によって得た、複数の色信号からなる映像信号を取得するステップと、
上記識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得するステップと、
上記取得した映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離するステップと、
上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するステップと、
上記分離した上記複数の波長域の映像信号、上記取得した上記基底ベクトル、及び上記取得した上記撮像システムの分光特性に基づき、上記基底ベクトルに関する重み係数を上記波長域ごとに算出するステップと、
上記算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させることを特徴とする信号処理プログラム。

（対応する実施形態）
この（１９）に記載の信号処理プログラムに関する実施形態は、第１実施形態の変形例３及び第２実施形態の変形例２が対応する。それらの実施形態の変形例において、一例として、ステップＳ１０１が上記映像信号を取得するステップに、ステップＳ１０２が上記基底ベクトルを取得するステップに、ステップＳ１０７が上記分離するステップに、ステップＳ１０３が上記撮像システムの分光特性を取得するステップに、ステップＳ１０４、ステップＳ１０９、ステップＳ１１０、ステップＳ１１３が上記重み係数を波長域ごとに算出するステップに、ステップＳ１１１、ステップＳ１１２、ステップＳ１１６が上記出力信号を算出するステップに、それぞれ対応する。

（作用効果）
この（１９）に記載の信号処理プログラムは、コンピュータに、例えば識別対象となる被写体を含む被写体を撮像して得た複数の色信号からなる映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性に基づいて算出されている基底ベクトルと、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性とを取得させ、それら取得した基底ベクトル及び撮像システムの分光特性から、上記識別対象の被写体の存在に比例した値をとる上記基底ベクトルに関する重み係数を所定の波長域ごとに独立に算出させ、その重み係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出させる。なお、取得とは、記録媒体から読み出すことやネットワークを介して読み込むことなどを意味する。
従って、この（１９）に記載の信号処理プログラムによれば、識別対象となる被写体の既知である分光特性に基づく基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別対象被写体の識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

（２０） 上記基底ベクトルを取得するステップは、さらに、上記識別対象となる被写体以外の被写体の分光特性に基づく基底ベクトルも取得することを特徴とする（１９）に記載の信号処理プログラム。

（対応する実施形態）
この（２０）に記載の信号処理プログラムに関する実施形態は、第１の変形例３及び第２実施形態の変形例２が対応する。

（作用効果）
この（２０）に記載の信号処理プログラムは、コンピュータに、識別対象となる被写体の既知の分光特性に基づく基底ベクトルと識別対象となる被写体以外の被写体の分光特性に基づく基底ベクトルとを用いさせる。
従って、この（２０）に記載の信号処理プログラムによれば、識別対象以外の領域に対して基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。

（２１） 上記基底ベクトルに関する重み係数を上記波長域ごとに算出するステップは、
上記取得した上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルと、上記取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を上記波長域ごとに算出するステップと、
上記算出した上記波長域ごとのシステム行列の逆行列を算出するステップと、
上記波長域ごとに、上記算出した上記システム行列の逆行列と当該波長域の映像信号に含まれる色信号との間で乗加算処理を行うことで、上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルに関する重み係数を算出するステップと、
を有することを特徴とする（１９）に記載の信号処理プログラム。

（対応する実施形態）
この（２１）に記載の信号処理プログラムに関する実施形態は、第１実施形態の変形例３及び第２実施形態の変形例２が対応する。それらの実施形態の変形例において、一例として、ステップＳ２０１乃至ステップＳ２０３が上記システム行列を波長域ごとに算出するステップに、ステップＳ２０４が上記逆行列を算出するステップに、ステップＳ１０９、ステップＳ１１０、ステップＳ１１３が上記重み係数を算出するステップに、それぞれ対応する。

（作用効果）
この（２１）に記載の信号処理プログラムは、コンピュータに、識別対象となる被写体の基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出させ、この逆行列及び映像信号に基づき識別対象被写体の基底ベクトルに関する重み係数を算出させる。
従って、この（２１）に記載の信号処理プログラムによれば、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。

（２２） 上記取得した映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離するステップと、
上記分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出するステップと、
をさらに有することを特徴とする（１９）に記載の信号処理プログラム。

（対応する実施形態）
この（２２）に記載の信号処理プログラムに関する実施形態は、第１実施形態の変形例３及び第２実施形態の変形例２が対応する。それらの実施形態の変形例において、一例として、ステップＳ１０７が上記分離するステップに、ステップＳ１０８が上記カラー信号を算出するステップに、それぞれ対応する。

（作用効果）
この（２２）に記載の信号処理プログラムは、コンピュータに、カラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号から、通常のカラー信号を算出させる。
従って、この（２２）に記載の信号処理プログラムによれば、通常の処理がなされたカラー信号も独立に算出され、そのようなカラー信号を出力すれば、映像信号全体の認識を行うことが可能となり、使用者に対する操作性が向上する。

（２３） 分光特性が既知である識別対象となる被写体を含む被写体のカラー撮像系による撮像によって得た、複数の色信号からなる映像信号を取得するステップと、
上記取得した映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離するステップと、
上記識別対象となる被写体の上記既知の分光特性、上記カラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記識別対象となる被写体の既知の分光特性と各波長域の映像信号との間の相関性を示す導出係数を、上記波長域ごとに取得するステップと、
上記分離した上記複数の波長域の映像信号及び上記取得した導出係数に基づき、上記波長域ごとに、上記識別対象となる被写体の上記既知の分光特性と当該波長域の映像信号との間の相関係数を算出するステップと、
上記算出した上記波長域ごとの相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させることを特徴とする信号処理プログラム。

（対応する実施形態）
この（２３）に記載の信号処理プログラムに関する実施形態は、第３実施形態の変形例２が対応する。その実施形態の変形例において、一例として、ステップＳ１０１が上記映像信号を取得するステップに、ステップＳ１０７が上記分離するステップに、ステップＳ１１７が上記導出係数を波長域ごとに取得するステップに、ステップＳ１０９、ステップＳ１１８、ステップＳ１１３が上記相関係数を算出するステップに、ステップＳ１１１、ステップＳ１１２が上記出力信号を算出するステップに、それぞれ対応する。

（作用効果）
この（２３）に記載の信号処理プログラムは、例えば識別対象となる被写体を含む被写体を撮像して得た複数の色信号からなる映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性と映像信号との間の相関性を導出する導出係数から、上記識別対象の被写体の存在に比例した値をとる相関係数を波長域ごとに算出させ、その相関係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出させる。
従って、この（２３）に記載の信号処理プログラムによれば、識別対象となる被写体の既知である分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。また、特定の波長域の映像信号ごとに独立に信号処理を行うため、或る波長域、例えば短波長域の映像信号からは例えば表層の血管を識別でき、他の波長域、例えば長波長域の映像信号からは例えば深層の血管を識別できる、というように所望の深度の情報を得ることが可能となる。

（２４） 上記取得した映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離するステップと、
上記分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出するステップと、
をさらに有することを特徴とする（２３）に記載の信号処理プログラム。

（対応する実施形態）
この（２４）に記載の信号処理プログラムに関する実施形態は、第３実施形態の変形例２が対応する。その実施形態の変形例において、一例として、ステップＳ１０７が上記分離するステップに、ステップＳ１０８が上記カラー信号を算出するステップに、それぞれ対応する。

（作用効果）
この（２４）に記載の信号処理プログラムは、コンピュータに、カラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号から、通常のカラー信号を算出させる。
従って、この（２４）に記載の信号処理プログラムによれば、通常の処理がなされたカラー信号も独立に算出され、そのようなカラー信号を出力すれば、映像信号全体の認識を行うことが可能となり、使用者に対する操作性が向上する。

図１は、本発明の第１実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。 図２（Ａ）は、６種類のカラーフィルタを備えるフィルタの構成を示す図であり、図２（Ｂ）は、図２（Ａ）の各カラーフィルタの分光特性を示す図であり、図２（Ｃ）は、第１実施形態の変形例１における６種類のカラーフィルタを備える別構成のフィルタの各カラーフィルタの分光特性を示す図である。 図３は、算出部の構成の一例を示す図である。 図４（Ａ）は、短波長域の基底ベクトルの一例を示す図であり、図４（Ｂ）は、長波長域の基底ベクトルの一例を示す図である。 図５（Ａ）は、短波長域の光源の分光輝度特性を示す図であり、図５（Ｂ）は、長波長域の光源の分光輝度特性を示す図であり、図５（Ｃ）は、短波長域のカラー撮像系の分光感度特性示す図であり、図５（Ｄ）は、長波長域のカラー撮像系の分光感度特性を示す図である。 図６は、第１実施形態の変形例２に係る信号処理システムの構成を示す図である。 図７（Ａ）は、第１実施形態の変形例３における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図７（Ｂ）は、算出処理に関するフローチャートを示す図である。 図８は、本発明の第２実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。 図９（Ａ）は、４種類のカラーフィルタでなるフィルタの構成を示す図であり、図９（Ｂ）は、図９（Ａ）の各カラーフィルタの分光特性を示す図である。 図１０（Ａ）は、短波長域の基底ベクトルの一例を示す図であり、図１０（Ｂ）は、長波長域の基底ベクトルの一例を示す図である。 図１１（Ａ）は、短波長域の光源の分光輝度特性を示す図であり、図１１（Ｂ）は、長波長域の光源の分光輝度特性を示す図であり、図１１（Ｃ）は、短波長域のカラー撮像系の分光感度特性を示す図であり、図１１（Ｄ）は、長波長域のカラー撮像系の分光感度特性を示す図である。 図１２（Ａ）は、強調部の構成の一例を示す図であり、図１２（Ｂ）は、強調用のゲインテーブルの一例を示す図である。 図１３は、第２実施形態の変形例１に係る信号処理システムを適用した内視鏡の構成を示す図である。 図１４（Ａ）は、第１ＣＣＤの前面に配される４種類のカラーフィルタを備えるフィルタの構成を示す図であり、図１４（Ｂ）は、第２ＣＣＤの前面に配される４種類のカラーフィルタを備えるフィルタの構成を示す図であり、図１４（Ｃ）は、図１４（Ａ）及び（Ｂ）の各カラーフィルタの分光特性を示す図である。 図１５（Ａ）は、第１ＣＣＤの前面に配される４種類のカラーフィルタを備えるフィルタの別の構成を示す図であり、図１５（Ｂ）は、第２ＣＣＤの前面に配される４種類のカラーフィルタを備えるフィルタの別の構成を示す図であり、図１５（Ｃ）は、図１５（Ａ）及び（Ｂ）の各カラーフィルタの分光特性を示す図である。 図１６（Ａ）は、第２実施形態の変形例２における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図１６（Ｂ）は、算出処理に関するフローチャートを示す図である。 図１７は、本発明の第３実施形態に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図１８は、回転フィルタにおける各カラーフィルタの分光特性を示す図である。 図１９は、相関係数算出部の構成の一例を示す図である。 図２０は、第３実施形態の変形例１に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図２１（Ａ）は、第３実施形態の変形例２における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図２１（Ｂ）は、強調処理に関するフローチャートを示す図である。

符号の説明

１００…撮像レンズ系、 １０１…ＣＣＤ、 １０１Ａ…第１ＣＣＤ、 １０１Ｂ…第２ＣＣＤ、 １０２…照明レンズ系、 １０３…照明光源、 １０４…光ファイバ、 １０５…増幅部、 １０６…Ａ／Ｄ、 １０７，２０３，２０５，２１２…バッファ、 １０８…補間部、 １０９…ＷＢ部、 １１０…測光評価部、 １１１…分離部、 １１２…信号処理部、 １１３…算出部、 １１４…基底ベクトルＲＯＭ、 １１５…システム分光特性ＲＯＭ、 １１６…正規化部、 １１７…疑似カラー化部、 １１８…第１出力部、 １１９…第２出力部、 １２０…制御部、 １２１…外部Ｉ／Ｆ部、 １２２，１２７，１２９Ａ，１２９Ｂ，１２９Ｃ，１２９Ｄ…フィルタ、 １２３…入力部、 １２４…ヘッダ情報解析部、 １２５…強調部、 １２６…出力部、 １２８…プリズム系、 １３０…回転フィルタ、 １３１…相関係数算出部、 １３２…導出係数ＲＯＭ、 ２０１…データ選択部、 ２０２…積算部、 ２０４…逆行列算出部、 ２０６，２２１…係数選択部、 ２０７，２２２…乗加算部、 ２１１…輝度色差分離部、 ２１３…強調ゲイン算出部、 ２１４…強調関数ＲＯＭ、 ２１５…ゲイン乗算部、 ２１６…輝度色差合成部。

Claims (24)

1. 分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得する基底ベクトル取得部と、
   上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離する分離部と、
   上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
   上記分離部にて分離した上記複数の波長域の映像信号、上記基底ベクトル取得部によって取得した上記基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記基底ベクトルに関する重み係数を上記波長域ごとに算出する算出部と、
   上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
   を有することを特徴とする信号処理システム。
2. 複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部をさらに有し、
   上記基底ベクトル取得部は、上記識別対象選択部によって選択された一つの被写体の分光特性に基づく基底ベクトルを取得することを特徴とする請求項１に記載の信号処理システム。
3. 複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択するカラー撮像系選択部をさらに有し、
   上記システム分光特性取得部は、上記カラー撮像系選択部によって選択された一つのカラー撮像系に関する分光特性と一つの照明光に関する分光特性とを上記撮像システムの分光特性として取得することを特徴とする請求項１に記載の信号処理システム。
4. 上記基底ベクトル取得部は、上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルに加えて、上記識別対象となる被写体以外の被写体の分光特性に基づく基底ベクトルをさらに取得することを特徴とする請求項１に記載の信号処理システム。
5. 上記算出部は、
   上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を上記波長域ごとに算出する行列算出部と、
   上記行列算出部で算出した上記波長域ごとのシステム行列の逆行列を算出する逆行列算出部と、
   上記波長域ごとに、上記逆行列算出部で算出した上記システム行列の逆行列と当該波長域の映像信号に含まれる色信号との間で乗加算処理を行うことで、上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルに関する重み係数を算出する乗加算部と、
   を有することを特徴とする請求項１に記載の信号処理システム。
6. 上記出力信号算出部は、
   上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数を正規化する正規化部と、
   上記正規化部によって正規化された上記波長域ごとの基底ベクトルに関する重み係数に関して各々独立した色を割り当てる疑似カラー化部と、
   上記疑似カラー化部によって疑似カラー化された上記波長域ごとの基底ベクトルに関する重み係数を合成し、その合成した重み係数を上記出力信号として出力する出力部と、
   を有することを特徴とする請求項１に記載の信号処理システム。
7. 上記分離部は、上記カラー撮像系による被写体の撮像により得た複数の色信号からなる上記映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離し、
   上記分離部にて分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出する信号処理部をさらに有することを特徴とする請求項１に記載の信号処理システム。
8. 上記出力信号算出部は、
   上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数を正規化する正規化部と、
   上記正規化部によって正規化された上記波長域ごとの基底ベクトルに関する重み係数に関して各々独立した色を割り当てる疑似カラー化部と、
   上記疑似カラー化部によって疑似カラー化された上記波長域ごとの基底ベクトルに関する重み係数を合成し、その合成した重み係数を上記出力信号として出力する出力部と、
   上記信号処理部が算出した上記通常のカラー信号を第２の出力信号として出力する第２の出力部と、
   を有することを特徴とする請求項７に記載の信号処理システム。
9. 上記出力信号算出部は、
   上記算出部で算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記信号処理部が算出した上記通常のカラー信号の強調処理を行う強調部と、
   上記強調部によって強調処理された上記通常のカラー信号を上記出力信号として出力する出力部と、
   を有することを特徴とする請求項７に記載の信号処理システム。
10. 分光特性が既知である識別対象となる被写体を含む被写体の撮像に供するカラー撮像系による被写体の撮像により得た複数の色信号からなる映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離する分離部と、
    上記識別対象となる被写体の上記既知の分光特性、上記カラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記識別対象となる被写体の既知の分光特性と各波長域の映像信号との間の相関性を示す導出係数を、上記波長域ごとに取得する導出係数取得部と、
    上記分離部にて分離した上記複数の波長域の映像信号及び上記導出係数取得部によって取得した導出係数に基づき、上記波長域ごとに、上記識別対象となる被写体の上記既知の分光特性と当該波長域の映像信号との間の相関係数を算出する相関係数算出部と、
    上記相関係数算出部によって算出した上記波長域ごとの相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
    を有することを特徴とする信号処理システム。
11. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記波長域ごとの相関係数を正規化する正規化部と、
    上記正規化部によって正規化された上記波長域ごとの相関係数に関して各々独立した色を割り当てる疑似カラー化部と、
    上記疑似カラー化部によって疑似カラー化された上記波長域ごとの相関係数を合成し、その合成した相関係数を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項１０に記載の信号処理システム。
12. 上記分離部は、上記カラー撮像系による被写体の撮像により得た複数の色信号からなる上記映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離し、
    上記分離部にて分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出する信号処理部をさらに有することを特徴とする請求項１０に記載の信号処理システム。
13. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記波長域ごとの相関係数を正規化する正規化部と、
    上記正規化部によって正規化された上記波長域ごとの相関係数に関して各々独立した色を割り当てる疑似カラー化部と、
    上記疑似カラー化部によって疑似カラー化された上記波長域ごとの相関係数を合成し、その合成した相関係数を上記出力信号として出力する出力部と、
    上記信号処理部が算出した上記通常のカラー信号を第２の出力信号として出力する第２出力部と、
    を有することを特徴とする請求項１０に記載の信号処理システム。
14. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記波長域ごとの相関係数に基づき、上記信号処理部が算出した上記通常のカラー信号の強調処理を行う強調部と、
    上記強調部によって強調処理された上記通常のカラー信号を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項１０に記載の信号処理システム。
15. 上記分離部は、上記複数の色信号の分光特性における主波長に基づき上記複数の色信号を波長方向に並べた場合に、各波長域の映像信号が波長方向に連続となる色信号から構成されるように、上記カラー撮像系からの上記映像信号を上記複数の波長域の映像信号に分離することを特徴とする請求項１又は１０に記載の撮像システム。
16. 上記カラー撮像系からの上記映像信号を構成する上記色信号が４種類以上であることを特徴とする請求項１又は１０に記載の撮像システム。
17. 上記カラー撮像系からの上記映像信号を構成する上記色信号が上記カラー撮像系に使用される撮像素子により生成されることを特徴とする請求項１又は１０に記載の撮像システム。
18. 上記カラー撮像系からの上記映像信号を構成する上記色信号が上記カラー撮像系による被写体の撮像時に使用される照明光により生成されることを特徴とする請求項１又は１０に記載の撮像システム。
19. 分光特性が既知である識別対象となる被写体を含む被写体のカラー撮像系による撮像によって得た、複数の色信号からなる映像信号を取得するステップと、
    上記識別対象となる被写体の上記既知の分光特性に基づく基底ベクトルを取得するステップと、
    上記取得した映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離するステップと、
    上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するステップと、
    上記分離した上記複数の波長域の映像信号、上記取得した上記基底ベクトル、及び上記取得した上記撮像システムの分光特性に基づき、上記基底ベクトルに関する重み係数を上記波長域ごとに算出するステップと、
    上記算出した上記波長域ごとの基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
    をコンピュータに発揮させることを特徴とする信号処理プログラム。
20. 上記基底ベクトルを取得するステップは、さらに、上記識別対象となる被写体以外の被写体の分光特性に基づく基底ベクトルも取得することを特徴とする請求項１９に記載の信号処理プログラム。
21. 上記基底ベクトルに関する重み係数を上記波長域ごとに算出するステップは、
    上記取得した上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルと、上記取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を上記波長域ごとに算出するステップと、
    上記算出した上記波長域ごとのシステム行列の逆行列を算出するステップと、
    上記波長域ごとに、上記算出した上記システム行列の逆行列と当該波長域の映像信号に含まれる色信号との間で乗加算処理を行うことで、上記識別対象となる被写体の既知の分光特性に基づく上記基底ベクトルに関する重み係数を算出するステップと、
    を有することを特徴とする請求項１９に記載の信号処理プログラム。
22. 上記取得した映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離するステップと、
    上記分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出するステップと、
    をさらに有することを特徴とする請求項１９に記載の信号処理プログラム。
23. 分光特性が既知である識別対象となる被写体を含む被写体のカラー撮像系による撮像によって得た、複数の色信号からなる映像信号を取得するステップと、
    上記取得した映像信号を、上記複数の色信号に基づいて複数の波長域の映像信号に分離するステップと、
    上記識別対象となる被写体の上記既知の分光特性、上記カラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記識別対象となる被写体の既知の分光特性と各波長域の映像信号との間の相関性を示す導出係数を、上記波長域ごとに取得するステップと、
    上記分離した上記複数の波長域の映像信号及び上記取得した導出係数に基づき、上記波長域ごとに、上記識別対象となる被写体の上記既知の分光特性と当該波長域の映像信号との間の相関係数を算出するステップと、
    上記算出した上記波長域ごとの相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
    をコンピュータに発揮させることを特徴とする信号処理プログラム。
24. 上記取得した映像信号から、通常のカラー信号を生成するための複数の色信号を含む映像信号を分離するステップと、
    上記分離した上記通常のカラー信号を生成するための複数の色信号を含む映像信号から通常のカラー信号を算出するステップと、
    をさらに有することを特徴とする請求項２３に記載の信号処理プログラム。

Images