JP2003309856A - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 動きのある被写体のスペクトル画像を取得す
る。 【解決手段】 ステップＳ１で、高速撮像部は、被写体
の光学像を光電変換することによって高速画像信号を生
成する。ステップＳ２で、フィルタ判別部は、高速画像
信号を解析することによって境界領域のマーキングを検
出し、ステップＳ３で、検出したマーキングのパターン
に基づき、マーキングの前後に配置されている分光フィ
ルタの種類を判別し、対応するフィルタ判別信号を生成
して仕分け部に出力する。ステップＳ４で、仕分け部
は、フィルタ判別信号に基づき、高速画像信号を構成す
る画素データをチャンネル毎に設けられた、内蔵するフ
レームメモリに振り分け、フィルタ円盤が１回転する毎
にフレームメモリに蓄積された画素データを、８チャン
ネル分のスペクトル画像として出力する。本発明は、例
えば、マルチスペクトルカメラに適用することができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置および方
法、記録媒体、並びにプログラムに関し、例えば、円盤
上に配置された異なる複数のフィルタを順次切り替えな
がら複数のチャンネル画像を撮影する場合に用いて好適
な撮像装置および方法、並びにプログラムに関する。

【０００２】

【従来の技術】印刷、出版、医療、工業検査等の分野に
おいて、被写体の色を正確に再現するために、被写体の
正確な分光特性を取得することができるマルチスペクト
ルカメラが利用されている。マルチスペクトルカメラ
は、透過する光の帯域が異なる複数の分光フィルタを用
い、特定周波数帯域だけの情報を有する複数の画像（以
下、スペクトル画像と記述する）を撮影する。各分光フ
ィルタを用いて撮影された画像は、それぞれ１チャンネ
ル分のスペクトル画像とされるので、例えば３板式CCD
(Charge Coupled Device)が搭載されたカメラが３チャ
ンネル分のスペクトル画像を取得できることに対し、マ
ルチスペクトルカメラは、分光フィルタの数と同数のス
ペクトル画像を取得できることになる。

【０００３】マルチスペクトルカメラには、代表的な２
種類の方式が存在する。

【０００４】第１の方式としては、回転フィルタ式を挙
げることができる。回転フィルタ式のマルチスペクトル
カメラは、複数の分光フィルタが配置された円盤を撮像
素子の前で回転させることにより、順次、分光フィルタ
を切り替えて撮影するようになされている。

【０００５】回転フィルタ式のマルチスペクトルカメラ
は、円盤上の異なる分光フィルタ同士の境界が画枠にか
かる期間において露光することができないので、例えば
ステップモータで円盤の回転を制御するか、あるいは円
盤の回転をサーボ制御することによって撮像素子の露光
タイミングと分光フィルタの切り替えタイミングとを正
確に同期させることが必要となる。現状では、１０チャ
ンネル分のスペクトル画像を撮影する場合、１秒当たり
３枚程度の出力画像を取得することができる（すなわ
ち、１秒間に約３０枚のスペクトル画像を撮影すること
ができる）。

【０００６】第２の方式としては、チューナブルフィル
タ方式を挙げることができる。チューナブルフィルタ式
のマルチスペクトルカメラは、電圧制御によって液晶チ
ューナブルフィルタの分光特性を順次変更して撮影する
ようになされている。現状では、電圧制御に対して液晶
チューナブルフィルタが分光特性を変化させる反応時間
が５０ミリ秒程であるので、１０チャンネル分のスペク
トル画像を撮影する場合、１枚の出力画像を取得するた
めに、（５０ミリ秒×１０＋（露光時間）×１０）だけ
の時間が必要となる。

【０００７】すなわち、チューナブルフィルタ方式のマ
ルチスペクトルカメラは、回転フィルタ方式のマルチス
ペクトルカメラとほぼ同じ程度の撮像スピードであると
いえる。

【０００８】

【発明が解決しようとする課題】以上説明したように、
従来の回転フィルタ方式およびチューナブルフィルタ方
式のいずれも、その撮影スピードが３回／秒程度である
ので、１秒当たり３０枚程度のフレーム画像から成る動
画のスペクトル画像を撮影することは困難である課題が
あった。すなわち、動きのある被写体のスペクトル画像
を取得することが困難である課題があった。

【０００９】本発明はこのような状況に鑑みてなされた
ものであり、動きのある被写体のスペクトル画像を取得
できるようにすることを目的とする。

【００１０】

【課題を解決するための手段】本発明の撮像装置は、異
なる複数のフィルタを順次切り替えるフィルタ切替手段
と、被写体を高フレームレートで連続的に撮像し、画像
信号を生成する高速撮像手段と、高速撮像手段によって
生成された画像信号に基づき、画像信号を構成する画素
データ毎に対応するフィルタの種類を判別するフィルタ
判別手段と、フィルタ判別手段の判別結果に基づき、高
速撮像手段によって生成された画像信号を構成する画素
データを、対応するフィルタ毎に分別する分別手段とを
含むことを特徴とする。

【００１１】前記異なる複数のフィルタは、光の透過帯
域が異なる複数の分光フィルタであるようにすることが
できる。

【００１２】前記フィルタ切替手段は、異なる複数のフ
ィルタが順次配置されたフィルタ盤を含むようにするこ
とができ、前記フィルタ盤における異なるフィルタ間の
境界領域には、境界領域を挟む異なる２種類のフィルタ
を特定可能なマークが設けられているようにすることが
でき、前記フィルタ判別手段は、マークを検出するよう
にすることができる。

【００１３】前記フィルタ盤は、円形であって異なる複
数のフィルタが円周状に配置されているようにすること
ができ、前記マークは、円形のフィルタ盤の中心から放
射状に設けられているようにすることができる。

【００１４】フィルタ盤の境界領域に設けられた前記マ
ークは、所定の方向から照射されるマーク検出光を、高
速撮像手段の方向に透過させるようにすることができ
る。

【００１５】前記高速撮像手段は、撮像する画像信号の
水平方向が、円形のフィルタ盤の半径と平行となるよう
に配置することができ、前記フィルタ判別手段は、高速
撮像手段によって生成された画像信号の水平方向の画素
データ列に基づき、マークを検出するようにすることが
できる。

【００１６】前記フィルタ判別手段は、高速撮像手段に
よって生成された画像信号の水平方向の画素データ列を
フーリエ変換するフーリエ変換手段と、フーリエ変換手
段の出力を、予め用意されている参照データ系列とパタ
ーンマッチングするパターンマッチング手段とを含むよ
うにすることができる。

【００１７】前記高速撮像手段は、被写体を高フレーム
レートで連続的に撮像して、高速画像信号および加算画
像信号を生成するようにすることができ、前記フィルタ
判別手段は、高速撮像手段によって生成された高速画像
信号に基づき、画像信号を構成する画素データ毎に対応
するフィルタの種類を判別するようにすることができ、
前記分別手段は、フィルタ判別手段の判別結果に基づ
き、高速撮像手段によって生成された加算画像信号を構
成する画素データを、対応するフィルタ毎に分別するよ
うにすることができる。

【００１８】本発明の撮像方法は、異なる複数のフィル
タを順次切り替えるフィルタ切替ステップと、被写体を
高フレームレートで連続的に撮像し、画像信号を生成す
る高速撮像ステップと、高速撮像ステップの処理で生成
された画像信号に基づき、画像信号を構成する画素デー
タ毎に対応するフィルタの種類を判別するフィルタ判別
ステップと、フィルタ判別ステップの処理での判別結果
に基づき、高速撮像ステップの処理で生成された画像信
号を構成する画素データを、対応するフィルタ毎に分別
する分別ステップとを含むことを特徴とする。

【００１９】本発明の記録媒体のプログラムは、異なる
複数のフィルタを順次切り替える処理を制御するフィル
タ切替制御ステップと、被写体を高フレームレートで連
続的に撮像し、画像信号を生成する処理を制御する高速
撮像制御ステップと、高速撮像制御ステップの処理によ
って生成された画像信号に基づき、画像信号を構成する
画素データ毎に対応するフィルタの種類を判別するフィ
ルタ判別ステップと、フィルタ判別ステップの処理での
判別結果に基づき、高速撮像制御ステップの処理によっ
て生成された画像信号を構成する画素データを、対応す
るフィルタ毎に分別する分別ステップとを含むことを特
徴とする。

【００２０】本発明のプログラムは、異なる複数のフィ
ルタを順次切り替える処理を制御するフィルタ切替制御
ステップと、被写体を高フレームレートで連続的に撮像
し、画像信号を生成する処理を制御する高速撮像制御ス
テップと、高速撮像制御ステップの処理によって生成さ
れた画像信号に基づき、画像信号を構成する画素データ
毎に対応するフィルタの種類を判別するフィルタ判別ス
テップと、フィルタ判別ステップの処理での判別結果に
基づき、高速撮像制御ステップの処理によって生成され
た画像信号を構成する画素データを、対応するフィルタ
毎に分別する分別ステップとをコンピュータに実行させ
ることを特徴とする。

【００２１】本発明の撮像装置および方法、並びにプロ
グラムにおいては、生成された画像信号に基づき、画像
信号を構成する画素データ毎に対応するフィルタの種類
が判別され、その判別結果に基づき、生成された画像信
号を構成する画素データが、対応するフィルタ毎に分別
される。

【００２２】

【発明の実施の形態】本発明の一実施の形態であるマル
チスペクトルカメラの第１の構成例について、図１を参
照して説明する。

【００２３】当該マルチスペクトルカメラは、記録媒体
２に記録されている制御用プログラムに基づいてマルチ
スペクトルカメラの各部を制御する制御部１、制御用プ
ログラムが記録されている記録媒体２、被写体の光学像
を高速撮像部７の撮像面８に集光するレンズ３、撮像面
８に対する入射光を制限する絞り４、異なる分光特性を
有する複数の分光フィルタ２１（図２）が配置されてい
るフィルタ円盤５、フィルタ円盤５を回転駆動すること
によって撮像面８を覆う分光フィルタ２１を切り替える
フィルタ切替部６、分光フィルタ２１を透過する被写体
の光学像を高速なシャッター動作に合わせて光電変換
し、高速な画素データ列である高速画像信号を生成する
高速撮像部７、高速画像信号を解析することによって分
光フィルタ２１の切り替わりをリアルタイムで検知し、
検知結果に対応してフィルタ判別信号を生成するフィル
タ判別部９、およびフィルタ判別信号に基づき、高速画
像信号を構成する画素データをチャンネル毎に設けられ
たフレームメモリ１０５（図９）に振り分ける仕分け部
１０から構成される。

【００２４】なお、高速撮像部７のシャッター動作は、
フィルタ切替部６による分光フィルタ２１の切替動作よ
りも十分に高速であって、両者が特に同期している必要
はない。

【００２５】また、フィルタ切替部６によるフィルタ円
盤５の回転駆動は回転と静止を繰り返すような複雑な回
転制御を必要としない。例えば、３０回転／秒程度の速
度で、連続的に回転していればよく、その回転速度も正
確に一定である必要はない。

【００２６】したがって、高速撮像部７が出力する高速
画像信号には、フィルタ円盤５に配置された分光フィル
タと分光フィルタの境界が撮影された画像が含まれるこ
とになる。

【００２７】図２は、フィルタ円盤５をレンズ３側から
見た外観を示している。同図に示しように、フィルタ円
盤５は、フィルタ切替部６によって回転駆動される軸２
３を有し、扇型であって分光特性がそれぞれ異なる複数
（チャンネルの数と同数）の分光フィルタ２１が境界領
域２２を空けて配置されている。

【００２８】図２の場合、８種類の分光フィルタ２１が
配置されているので、当該マルチスペクトルカメラは、
８チャンネル分のスペクトル画像を生成できることにな
る。

【００２９】なお、フィルタ円盤５のうち、分光フィル
タ２１だけがそれぞれの分光特性に応じて入射光を高速
撮像部７の撮像面８に透過するようになされており、分
光フィルタ２１以外の境界領域２２の大部分は光を透過
しない材質で生成されている。ただし、各境界領域２２
には、光を透過するマーキング３１（図３）が設けられ
ている。

【００３０】図３は、円盤フィルタ５の各境界領域２２
に設けられるマーキング３１を示している。マーキング
３１は、軸２３を中心として放射ストライプ状に配置さ
れ、例えばポリカーボネート、アクリル、ガラス等、光
を透過する物質が埋め込まれており、表面の向きが他の
領域とは異なり、水平でない向きに加工されている。さ
らに、各境界領域２２の各マーキング３１は、埋め込ま
れている物質の半径方向の幅と間隔がそれぞれ異なるよ
うに形成されている。すなわち、マーキング３１のパタ
ーンは、８種類存在することになる。

【００３１】なお、マーキング３１の円周方向の幅は、
境界領域２２の円周方向の幅に比較して狭く設け、マー
キング３１の両側に不透明な領域が設けられている。こ
れにより、フィルタ円盤５が回転することによって、マ
ーキング３１を透過する光（後述）と、分光フィルタ２
１を透過する光が互いに混濁することを抑止している。

【００３２】上述したように、フィルタ円盤５の回転速
度は３０回転／秒程度であるので、仮に高速撮像部７の
撮像速度が約２０００回／秒であれば、高速撮像部７が
１回撮影する間のフィルタ円盤５の回転角は約５．４
（＝３６０×３０／２０００）度であるから、各境界領
域２２においてはマーキング３１の両側の不透明な領域
はそれぞれ５乃至６度でよいことになる。

【００３３】さらに、図４を参照して以下に説明するよ
うに、マーキング３１を透過する光のコントラストを強
める工夫をすることによって、マーキング３１を検出
し、判別する処理にエラーが生じ難くなっている。

【００３４】図４は、フィルタ円盤５付近を盤面に平行
な位置から見た外観を示している。フィルタ切替部６に
属する照射部４１は、ほぼ直進性がある弱いレーザ光等
などを、フィルタ円盤５に対してごく浅い角度から照射
する。以下、照射部４１が照射する光を、マーク検出光
と記述する。

【００３５】マーク検出光は、その照射角度が浅いの
で、フィルタ円盤５の境界領域２２の大部分を占める不
透明な部分、および分光フィルタ２１に照射された場合
でも、全反射してしまい、高速撮像手部７の撮像面８に
は入射されないようになされている。しかしながら、透
過物質が埋め込まれた境界領域２２のマーキング３１に
おいては表面方向が加工されており、そこでマーク検出
光が屈折して撮像面８に入射するようになされている。

【００３６】したがって、フィルタ円盤５の回転に伴っ
てマーキング３１が撮像面８上を通過するとき、マーキ
ング３１を透過したマーク検出光による輝度変化パター
ンが高速画像信号に現れることになる。

【００３７】よって、高速画像信号を解析することによ
ってマーキング３１とそのパターンの違いを検知するよ
うにすれば、分光フィルタ２１が、いつ、どの種類から
どの種類に切り替わったかを識別することが可能とな
る。

【００３８】次に、図５は、高速撮像部７の撮像面８の
構成例を示している。撮像面８には、１画素にそれぞれ
対応する複数のセル５１が縦横等間隔で配置されてい
る。セル５１は入射光を電荷に変換する。

【００３９】水平ライン選択信号電極５２は、セル５１
の水平ラインに沿って配置されている。水平ライン選択
信号電極５２の電極の電位を制御することにより、任意
の水平ライン上のセル５１を、信号読み出しのために選
択することができる。

【００４０】信号読み出し線５３は、画素の垂直ライン
に沿って配置されている。信号読み出し線５３は、各セ
ル５１に蓄積されている電位を読み出すことができる。
２重相関サンプリング回路(CDS:Correlated Double Sam
pling)５４は、各垂直ラインの信号読み出し線５３から
読み出された信号のノイズを除去する。読み出しアンプ
５６は、ノイズが除去された電荷信号を増幅する。ADC
５７は、増幅された電荷信号をディジタル信号に変換し
て出力する。なお、スイッチ５５は、対応する垂直ライ
ンの順にオンとされるので、読み出しアンプ５６、ADC
５７を介して出力されるディジタルの画素データ（すな
わち、高速画像信号）は、水平ライン方向にスキャンさ
れたような順序で出力される。

【００４１】なお、撮像面８とフィルタ円盤８の位置関
係は、図示するように配置される。すなわち、撮像面８
の中心を通る水平ラインが、フィルタ円盤８の半径に一
致するように配置される。これにより、フィルタ円盤８
の１つの境界領域２２が、ほぼ同時に同一水平ラインを
通過することになる。

【００４２】図６は、セル５１の構成例を示している。
セル５１は、特に特徴的な構成を有していないが、後述
するマルチスペクトルカメラの第２の構成例における高
速撮像部１２１（図１１）に用いられる特徴的な固体撮
像素子との差異を明確にするために説明する。

【００４３】セル５１は、主に、高速画像信号としての
画素データを読み出すための読み出しスイッチ６１、フ
ォトダイオード６３の電位をリセットするためのリセッ
トスイッチ６２、および入射光を電荷に変換するフォト
ダイオード（ＰＤ）６３から構成される。

【００４４】セル５１は、露光中はリセットスイッチ６
２、および読み出しスイッチ６１がオフとされているの
で、フォトダイオード６３における光電変換により、図
中の点Ａの電位が変化する。このとき、高速読み出しを
実行するために読み出しスイッチ６１がオンとされる
と、点Ａの電位に応じた信号が出力端子６４から出力さ
れる。この後、リセットスイッチ１３２がオンとされ
る。これにより、点Ａの電位はVddの電位にリセットさ
れる。

【００４５】したがって、セル５１は、上述したよう
に、「露光による電荷蓄積」、「高速読み出し」、「リ
セット」が繰り返し動作するようになされている。以
上、セル５１の説明を終了する。

【００４６】上述したように、高速撮像部７が出力する
高速画像信号は、水平ライン方向にスキャンされた順序
の画素データから構成されるので、ある画素データに対
して、それが境界領域２２に相当する画素データである
か否かは、当該画素データの以前または以後に存在す
る、マーキング３１に対応する画素データ列のパターン
を調べればよいようになされている。

【００４７】ところで、フィルタ円盤８の１つの境界領
域２２が、ほぼ同時に同一水平ラインを通過することに
関し、厳密には、撮像面８の中心付近の水平ラインでは
正しいが、撮像面８の端に近い水平ラインでは正しくな
い。しかしながら、図７を参照して説明するように、撮
像面８の配置およびサイズを設計することにより、この
問題を解決することができる。

【００４８】図７に示すように、撮像面８は、フィルタ
円盤５の回転軸２３から距離ｄだけ離れた位置関係にあ
り、フィルタ円盤５は、矢印７１が示す方向に回転して
いるものとする。

【００４９】撮像面８の中心を通る水平ライン７２にお
いては、それに平行になるように境界領域２２が横切る
ので、境界領域２２が、撮像面８の中心にある画素の水
平ライン７２上の全ての画素を同時に横切ることにな
る。

【００５０】一方、撮像面８の中心線から距離ｈだけ縦
方向に移動した位置の画素の水平ライン７３について考
えると、境界領域２２は水平ライン７３にかかる瞬間に
角度φだけ傾くので、境界領域２２が、水平ライン７３
上の全ての画素を同時に横切ることはない。

【００５１】しかしながら、当該マルチスペクトルカメ
ラは、露光中であってもフィルタ円盤５の回転を停止さ
せることなく一定の速度で維持するので、境界領域２２
のマーク２１が回転方向にモーションブラー（ぶれ）を
伴って撮像され、それによって同じタイミングで境界領
域２２にかかる同一水平ライン上の画素が増加する。

【００５２】例えば図７において、露光開始タイミング
に水平ライン７３の左端の画素上に境界領域２２の端が
線分７４の位置にかかったとし、露光終了タイミングま
でに線分７５の位置まで回転した移動した様子を示して
いるが、このとき水平ライン７３の範囲ｗに配置された
画素が同一フレームで境界領域２２のマーキング３１を
受光することができる。したがって、マーキング３１が
範囲ｗに配置された画素で検出することができるように
設けられていれば、境界領域２２の検出は高速画像信号
の水平ライン上の画素系列の信号処理だけでおこなうこ
とができる。

【００５３】さらに具体的に説明する。フィルタ円盤５
と高速撮像部７の位置関係を示す距離ｄ，ｈと、角度
φ，θは、次式（１），（２）を満たす関係にある。し
たがって、範囲ｗは次式（３）によって求めることがで
きる。 tanφ＝ｈ／ｄ ・・・（１） tan（φ−θ）＝（tanφ−tanθ）／（１＋tanφ・tanθ） ＝ｈ／（ｄ＋ｗ） ・・・（２） ｗ＝（（ｄ²＋ｈ²）tanθ）／（ｈ−ｄ・tanθ） ・・・（３）

【００５４】ここで、露光期間中におけるフィルタ円盤
５の回転角度θは、フィルタ円盤５の回転速度と露光時
間によって決定されるが、上述した例のように、３０フ
レーム／秒の動画出力を実現するためには、高速撮像部
７の撮影速度が約２０００回／秒である場合、回転角度
θは５乃至６度となる。

【００５５】さらに、距離ｄを１０ｍｍとし、撮像面８
を対角距離が約１１ｍｍ、画素ピッチが１０μｍ、VGA
サイズの画像出力が可能とした場合、最も条件が悪い撮
像面８の一番端の水平ラインまでの中心からの距離ｈが
約２．４ｍｍとなるので、範囲ｗは約２．３５ｍｍとな
る。２．３５ｍｍを水平ライン７３上の画素数に換算す
ると約２３５個となる。

【００５６】したがって、２３５画素分の画素データ列
を利用して、８種類のマーキング３１を判別できるよう
にマーキング３１を形成すればよいことになる。これは
容易に実現可能である。

【００５７】次に、図８は、フィルタ判別部９の構成例
を示している。フィルタ判別部９は、高速画像信号が入
力される入力端子８１、順次入力される画素データを保
持するとともに保持していた画素データを後段に出力す
る複数のレジスタ８３が直列に接続されて成るディレイ
ライン８２、ディレイライン８２から供給される、レジ
スタ８３の数に相当する画素データ列を高速フーリエ変
換し、その結果の振幅成分を抽出するFFT部８４、FFT部
８４から供給される画素データ列の振幅成分を８種類の
マーキング３１に対応して予め用意されている８種類の
参照データ列と比較し、最も類似している参照データ列
を決定するパターンマッチング部８５、およびフィルタ
判別信号を仕分け部１０に出力する出力端子８６から構
成される。

【００５８】なお、FFT部８４によってフーリエ変換し
た後、その結果の振幅成分を、パターンマッチング部８
５でパターンマッチングすることにより、画素位置に依
存して位相が変換する、マーキング３１に対応するパタ
ーンに影響されることなく、任意の画素位置でマーキン
グ３１に対応するパターンを検出することが可能とな
る。

【００５９】なお、パターンマッチング部８５が生成す
るフィルタ判別信号は、現在入力されている高速画像信
号を構成する画素データ毎に、それが撮影されたときに
撮像面８を覆っていた分光フィルタ２１の種類を示す
か、あるいは、それが撮影されたときに撮像面８を境界
領域２２が覆っていたことを示す信号である。

【００６０】次に、図９は、仕分け部１０の構成例を示
している。仕分け部１０は、順次入力される画素データ
から成る高速画像信号をゲート１０２に供給する入力端
子１０１、入力端子１０１からの画素データを一時的に
遮断するゲート１０２、ゲート１０２を介して入力され
る画素データを８種類の分光フィルタ２１にそれぞれ対
応する８系統に分配する分配部１０３、分配部１０３か
らの画素データと同じ座標の画素データをフレームメモ
リ１０５から読み出し、分配部１０３からの画素データ
を加算して、同じ座標の新たな画素データとしてフレー
ムメモリ１０５に記録させる加算器１０４、加算器１０
４からの画素データを保持するフレームメモリ１０５か
ら構成される。

【００６１】さらに、仕分け部１０は、入力されるフィ
ルタ判別信号をゲート１０２，１０７に供給する入力端
子１０６、入力端子１０６からのフィルタ判別信号を一
時的に遮断するゲート１０７、および現在入力されてい
る画素データが撮影されたときに撮像面８を覆っていた
分光フィルタ２１の種類を座標毎に保持するフレームメ
モリ１０８から構成される。

【００６２】ゲート１０２は、フィルタ判別信号が「現
在入力されている画素データが撮影されたとき、撮像面
８を境界領域２２が覆っていた」ことを示す場合、分配
部１０３への画素データの供給を遮断し、フィルタ判別
信号が「現在入力されている画素データが撮影されたと
きに撮像面８を覆っていた分光フィルタ２１の種類」を
示す場合、画素データを分配部１０３に供給する。

【００６３】ゲート１０７は、フィルタ判別信号が「現
在入力されている画素データが撮影されたときに撮像面
８を覆っていた分光フィルタ２１の種類」を示す場合だ
け、フィルタ判別信号をフレームメモリ１０８に供給す
る。

【００６４】フレームメモリ１０８は、ゲート１０７か
らのフィルタ判別信号に基づき、座標毎の分光フィルタ
２１の種類を示す情報を更新する。

【００６５】ゲート１０３は、フレームメモリ１０８に
保持されている座標毎の分光フィルタ２１の種類を示す
情報に従い、ゲート１０２を介して入力された画素デー
タを８種類の分光フィルタ２１にそれぞれ対応する８系
統に分配する。

【００６６】このような構成により、８系統に分配され
た画素データは、それぞれ座標毎に加算されてフレーム
メモリ１０５−１乃至１０５−８に蓄積されることにな
る。そして、フィルタ円盤５が１回転する毎、フレーム
メモリ１０５−１乃至１０５−８に蓄積された画素デー
タが、８チャンネル分のスペクトル画像として出力され
る。

【００６７】マルチスペクトルカメラの全体的な動作、
すなわちマルチスペクトル画像取得処理について、図１
０のフローチャートを参照して説明する。

【００６８】ステップＳ１において、高速撮像部７は、
一定の速度で回転し続けるフィルタ円盤５を介して入力
された被写体の光学像を光電変換することによって高速
画像信号を生成し、フィルタ判別部９および仕分け部１
０に出力する。

【００６９】ステップＳ２において、フィルタ判別部９
は、高速画像信号を解析することによって境界領域２２
のマーキング３１を検出する。ステップＳ３において、
フィルタ判別部９は、検出したマーキング３１のパター
ンに基づき、マーキング３１の前後に配置されている分
光フィルタ２１の種類を判別し、対応するフィルタ判別
信号を生成して仕分け部１０に出力する。

【００７０】ステップＳ４において、仕分け部１０は、
フィルタ判別信号に基づき、高速画像信号を構成する画
素データをチャンネル毎に設けられた、内蔵するフレー
ムメモリ１０５に振り分け、フィルタ円盤５が１回転す
る毎にフレームメモリ１０５に蓄積された画素データ
を、８チャンネル分のスペクトル画像として出力する。
以上、マルチスペクトルカメラによるマルチスペクトル
画像取得処理の説明を終了する。

【００７１】次に、図１１は、本発明の一実施の形態で
あるマルチスペクトルカメラの第２の構成例を示してい
る。この第２の構成例は、図１の第１の構成例を基本と
して、さらに高品質の出力画像を得るために、第１の構
成例における高速撮像部７の代わりに、高速撮像部１２
１を用いたものである。

【００７２】第１の構成例では、高速撮像部７が出力す
る高速画像信号を、分光フィルタ２１の種類の判別と、
マルチスペクトル画像を生成するために用いている。し
かしながら、フィルタ判別のためには高速画像信号を用
いることが必須であるが、マルチスペクトル画像を生成
することに高速画像信号は必ずしも必須ではない。

【００７３】高速撮影に起因する露光時間の短時間化に
よって感度劣化が生じ、ＡＤ変換処理において量子化ノ
イズが発生することを避けるためには、むしろ必要以上
の速度で撮影した高速画像信号をマルチスペクトル画像
の生成に用いることは好ましくない。

【００７４】そこで、第２の構成例における高速撮像部
１２１は、第１の構成例における高速撮像部７と同様の
高速画像信号を出力する他、マルチスペクトル画像を生
成するために、できるだけ短時間の露光をしないように
して生成した加算画像信号を出力するようになされてい
る。

【００７５】マルチスペクトルカメラの第２の構成例に
ついてより詳細に説明する。なお、第１の構成例と対応
する部分には、同一の符号を付してあり、その説明は適
宜省略する。

【００７６】第２の構成例において、高速撮像部１２１
は、高速に撮像した高速画像信号を出力する他、高速画
像信号を座標毎に加算蓄積し、フィルタ判別部９から供
給されるフィルタ判別信号が「現在入力されている画素
データが撮影されたとき、撮像面８を境界領域２２が覆
っていた」ことを示す場合、加算蓄積した画素データか
ら成る加算画像信号を仕分け部１２２に出力する。

【００７７】仕分け部１２２は、加算画像信号を構成す
る画素データを、対応する分光フィルタ２１の種類に応
じて分配することにより、マルチスペクトル画像を生成
する。

【００７８】なお、第２の構成例においては、フィルタ
判別部９が出力するフィルタ判別信号は、高速撮像部１
２１にも制御信号としても供給される。

【００７９】図１０は、高速撮像部１２１に用いられる
固体撮像素子のセル（１画素に対応する）の構成例を示
している。このセルは、主に、高速画像信号としての画
素データを読み出すための読み出しスイッチ１３１、フ
ォトダイオード１３６およびキャパシタ１３４の電位を
リセットするためのリセットスイッチ１３２、加算画素
データとしての画素データを読み出すための読み出しス
イッチ１３３、フォトダイオードの電荷を加算するキャ
パシタ(Cap)１３４、フォトダイオード１３６からキャ
パシタ１３４に電荷を転送させるための転送スイッチ(T
rans)１３５、および入射光を電荷に変換するフォトダ
イオード（ＰＤ）１３６から構成される。

【００８０】当該セルは、露光中はリセットスイッチ１
３２、転送スイッチ１３５、および読み出しスイッチ１
３１がオフとされているので、フォトダイオード１３６
における光電変換により、図中の点Ａの電位が変化す
る。

【００８１】このとき、高速読み出しを実行するために
読み出しスイッチ１３１がオンとされると、点Ａの電位
に応じた信号が出力端子１３７から出力される。この出
力は、フォトダイオード１３６に蓄積された電荷が移動
しない非破壊読み出しでおこなわれる。なお、高速読み
出しが行われる毎、その直後に転送スイッチ１３５がオ
ンとされるようになされている。したがって、フォトダ
イオード１３６に蓄積された電荷がキャパシタ１３４に
転送される。キャパシタ１３４への電荷の転送が完了し
た後、転送スイッチ１３５はオフとされ、リセットスイ
ッチ１３２がオンとされる。これにより、点Ａの電位は
Vddの電位にリセットされる。

【００８２】このように、当該セルは、上述した「露光
による電荷蓄積」、「高速読み出し」、「電荷転送」、
「リセット」が繰り返し動作するようになされている。

【００８３】この繰り返し動作によって、短時間の露光
間隔毎の電荷を非破壊で読み出しつつ、画素内にその電
荷を蓄積しつづけることができる。すなわち、加算画像
信号の画素データを生成することができる。

【００８４】一方、読み出しスイッチ１３３は、フィル
タ判別信号に基づいて制御されるようになされている。
具体的には、当該画素に対応するフィルタ判別信号が
「現在入力されている画素データが撮影されたとき、撮
像面８を境界領域２２が覆っていた」ことを示す信号に
変化した時点でオンとされるようになっている。読み出
しスイッチ１５５がオンとされた場合、図中の点Ｂの電
位に応じた電流、すなわち、キャパシタ１３４に蓄積さ
れた加算画像信号としての画素データが出力端子１３７
から出力される。

【００８５】加算画像信号としての画素データの出力が
完了した直後、リセットスイッチ１３２および転送スイ
ッチ１３５は、オンとされるようになされている。これ
により、点Ａ，Ｂにおける電位はVddにリセットされ
る。すなわち、加算画像信号が読み出された後は、キャ
パシタ１３４およびフォトダイオード１３６の電荷がリ
セットされる。リセット完了後、リセットスイッチ１３
２および転送スイッチ１３５はオフとされる。

【００８６】ここで、転送スイッチ１３５は、当該画素
のフィルタ判別信号が「現在入力されている画素データ
が撮影されたとき、撮像面８を覆っていた分光フィルタ
２１の種類」を示す信号に変化するまでの期間において
オンとされないように制御される。

【００８７】すなわち、当該画素が境界領域２２に覆わ
れた直後に、キャパシタ１３４に蓄積されている電荷、
すなわち、加算画像信号の画素データは読み出されて、
キャパシタ１３４はリセットされ、その後、当該画素が
境界領域２２に覆われている期間はキャパシタ１３４に
対する電荷転送がおこなわれない。

【００８８】したがって、当該画素が境界領域２２に覆
われた期間中は「電荷蓄積」、「高速読み出し」、「リ
セット」が繰り返されることになる。その後、フィルタ
判別信号が「現在入力されている画素データが撮影され
たとき、撮像面８を覆っていた分光フィルタ２１の種
類」を示す信号に変化した場合、その時点で、転送スイ
ッチ１３５をオンとする制御が可能とされ、上述した
「電荷蓄積」、「高速読み出し」、「電荷転送」、「リ
セット」の繰り返し動作に戻るようになされている。以
上、高速撮像部１２１に用いられるセルの説明を終了す
る。

【００８９】第２の構成例における仕分け部１２２につ
いて説明する。仕分け部１２２は、図９に示した第１の
構成例における仕分け部１０と同様に構成される。ただ
し、仕分け部１２２の入力端子１０１には、高速撮像部
１２１からの加算画像信号が入力される。

【００９０】ところで、高速撮像部１２１のセルは、上
述したように、当該画素に対応するフィルタ判別信号が
「現在入力されている画素データが撮影されたとき、撮
像面８を境界領域２２が覆っていた」ことを示す信号に
変化した時点で加算画像信号の画素データを出力するよ
うになされている。そこで、仕分け部１２２のゲート１
０２も、当該画素に対応するフィルタ判別信号が「現在
入力されている画素データが撮影されたとき、撮像面８
を境界領域２２が覆っていた」ことを示す信号に変化し
た時点で、入力端子１０１からの加算画像信号を通過さ
せるように制御する。

【００９１】なお、ゲート１０２を介して分配部１０３
以降の８系統のそれぞれに入力される加算画像信号を構
成する画素データは、既にフィルタ円盤５の１回転周期
分だけ電荷が蓄積された値である。したがって加算器１
０４を省略してもかまわない。

【００９２】マルチスペクトルカメラの第２の構成例の
全体的な動作は、図１０のフローチャートを参照して上
述した第１の構成例に対する説明と同様であるので、そ
の説明は省略する。

【００９３】以上のように、本発明を適用したマルチス
ペクトルカメラによれば、従来不可能であったマルチス
ペクトル画像を高速で連続的に撮影することが可能とな
る。これによって、従来で困難であった動被写体の分光
解析や、分光情報を利用した画像処理等が比較的安価な
システムで可能になる。

【００９４】また、取得されるマルチスペクトル画像を
用いれば、通常のRGB画像（３チャンネル画像）よりも
正確な色再現が可能となるので、ビデオカメラ製品等の
画質改善などにも利用できる。

【００９５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【００９６】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【００９７】

【発明の効果】以上のように、本発明によれば、動きの
ある被写体のスペクトル画像を取得することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の一実施の形態であるマルチスペクトル
カメラの第１の構成例を示すブロック図である。

【図２】図１のフィルタ円盤５の外観を示す図である。

【図３】フィルタ円盤５の境界領域２２に設けられるマ
ーキング３１を示す図である。

【図４】フィルタ円盤５付近を盤面の真横から見た外観
を示している。

【図５】撮像面８の構成例を示す図である。

【図６】図５の固体撮像素子のセル５１の構成例を示す
ブロック図である。

【図７】撮像面８とフィルタ円盤５の位置関係を説明す
るための図である。

【図８】図１のフィルタ判別部９の構成例を示すブロッ
ク図である。

【図９】図１の仕分け部１０の構成例を示すブロック図
である。

【図１０】マルチスペクトルカメラによるマルチスペク
トル画像取得処理を説明するフローチャートである。

【図１１】本発明の一実施の形態であるマルチスペクト
ルカメラの第２の構成例を示すブロック図である。

【図１２】図１１の高速撮像部１２１に固体撮像素子の
セルの構成例を示すブロック図である。

【符号の説明】

５ フィルタ円盤， ６ フィルタ切替部， ７ 高速
撮影部， ８ 撮像面， ９ フィルタ判別部， １０
仕分け部， ２１ 分光フィルタ， ２２境界領域，
３１ マーキング， ４１ 照射部， １２１ 高速
撮像部， １２２ 仕分け部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 複数の異なるフィルタにそれぞれ対応す
   る複数のチャンネル画像を撮像する撮像装置において、 前記異なる複数のフィルタを順次切り替えるフィルタ切
   替手段と、 被写体を高フレームレートで連続的に撮像し、画像信号
   を生成する高速撮像手段と、 高速撮像手段によって生成された前記画像信号に基づ
   き、前記画像信号を構成する画素データ毎に対応する前
   記フィルタの種類を判別するフィルタ判別手段と、 前記フィルタ判別手段の判別結果に基づき、高速撮像手
   段によって生成された前記画像信号を構成する前記画素
   データを、対応する前記フィルタ毎に分別する分別手段
   とを含むことを特徴とする撮像装置。
2. 【請求項２】 前記異なる複数のフィルタは、光の透過
   帯域が異なる複数の分光フィルタであることを特徴とす
   る請求項１に記載の撮像装置。
3. 【請求項３】 前記フィルタ切替手段は、 前記異なる複数のフィルタが順次配置されたフィルタ盤
   を含み、 前記フィルタ盤における異なる前記フィルタ間の境界領
   域には、前記境界領域を挟む異なる２種類の前記フィル
   タを特定可能なマークが設けられており、 前記フィルタ判別手段は、前記マークを検出することを
   特徴とする請求項１に記載の撮像装置。
4. 【請求項４】 前記フィルタ盤は、円形であって前記異
   なる複数のフィルタが円周状に配置されており、 前記マークは、円形の前記フィルタ盤の中心から放射状
   に設けられていることを特徴とする請求項３に記載の撮
   像装置。
5. 【請求項５】 前記フィルタ盤の前記境界領域に設けら
   れた前記マークは、 所定の方向から照射されるマーク検出光を、前記高速撮
   像手段の方向に透過させることを特徴とする請求項３に
   記載の撮像装置。
6. 【請求項６】 前記高速撮像手段は、撮像する前記画像
   信号の水平方向が、円形の前記フィルタ盤の半径と平行
   となるように配置されており、 前記フィルタ判別手段は、高速撮像手段によって生成さ
   れた前記画像信号の水平方向の画素データ列に基づき、
   前記マークを検出することを特徴とする請求項３に記載
   の撮像装置。
7. 【請求項７】 前記フィルタ判別手段は、高速撮像手段
   によって生成された前記画像信号の水平方向の画素デー
   タ列をフーリエ変換するフーリエ変換手段と、 前記フーリエ変換手段の出力を、予め用意されている参
   照データ系列とパターンマッチングするパターンマッチ
   ング手段とを含むことを特徴とする請求項６に記載の撮
   像装置。
8. 【請求項８】 前記高速撮像手段は、前記被写体を高フ
   レームレートで連続的に撮像して、高速画像信号および
   加算画像信号を生成し、 前記フィルタ判別手段は、前記高速撮像手段によって生
   成された前記高速画像信号に基づき、前記画像信号を構
   成する画素データ毎に対応する前記フィルタの種類を判
   別し、 前記分別手段は、前記フィルタ判別手段の判別結果に基
   づき、高速撮像手段によって生成された前記加算画像信
   号を構成する前記画素データを、対応する前記フィルタ
   毎に分別することを特徴とする請求項１に記載の撮像装
   置。
9. 【請求項９】 複数の異なるフィルタにそれぞれ対応す
   る複数のチャンネル画像を撮像する撮像装置の撮像方法
   において、 前記異なる複数のフィルタを順次切り替えるフィルタ切
   替ステップと、 被写体を高フレームレートで連続的に撮像し、画像信号
   を生成する高速撮像ステップと、 高速撮像ステップの処理で生成された前記画像信号に基
   づき、前記画像信号を構成する画素データ毎に対応する
   前記フィルタの種類を判別するフィルタ判別ステップ
   と、 前記フィルタ判別ステップの処理での判別結果に基づ
   き、高速撮像ステップの処理で生成された前記画像信号
   を構成する前記画素データを、対応する前記フィルタ毎
   に分別する分別ステップとを含むことを特徴とする撮像
   方法。
10. 【請求項１０】 複数の異なるフィルタにそれぞれ対応
    する複数のチャンネル画像を撮像するためのプログラム
    であって、 前記異なる複数のフィルタを順次切り替える処理を制御
    するフィルタ切替制御ステップと、 被写体を高フレームレートで連続的に撮像し、画像信号
    を生成する処理を制御する高速撮像制御ステップと、 高速撮像制御ステップの処理によって生成された前記画
    像信号に基づき、前記画像信号を構成する画素データ毎
    に対応する前記フィルタの種類を判別するフィルタ判別
    ステップと、 前記フィルタ判別ステップの処理での判別結果に基づ
    き、高速撮像制御ステップの処理によって生成された前
    記画像信号を構成する前記画素データを、対応する前記
    フィルタ毎に分別する分別ステップと を含むことを特徴とするコンピュータが読み取り可能な
    プログラムが記録されている記録媒体。
11. 【請求項１１】 複数の異なるフィルタにそれぞれ対応
    する複数のチャンネル画像を撮像するためのコンピュー
    タに、 前記異なる複数のフィルタを順次切り替える処理を制御
    するフィルタ切替制御ステップと、 被写体を高フレームレートで連続的に撮像し、画像信号
    を生成する処理を制御する高速撮像制御ステップと、 高速撮像制御ステップの処理によって生成された前記画
    像信号に基づき、前記画像信号を構成する画素データ毎
    に対応する前記フィルタの種類を判別するフィルタ判別
    ステップと、 前記フィルタ判別ステップの処理での判別結果に基づ
    き、高速撮像制御ステップの処理によって生成された前
    記画像信号を構成する前記画素データを、対応する前記
    フィルタ毎に分別する分別ステップとを実行させるプロ
    グラム。