まず、実施例の説明に先立ち、図1から図5を用いて、後述の実施例に用いられるCIGSセンサおよびこれを撮像センサに用いた場合のカラーフィルタ配列(実施例2に採用)について説明する。図1は、本発明の実施例において撮像センサとして用いられるCIGSセンサの分光感度(量子効率)をシリコンのCMOSセンサと比較したものである。CIGS撮像センサは、銅(Cu)、インジウム(In)、ガリウム(Ga)およびセレン(Se)を材料とする光センサである。図1(A)は、各波長におけるCIGSセンサの量子効率(%)を示すものであり、図1(B)におけるシリコンのCMOSセンサについての同様の量子効率(%)と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図1(A)のCIGSセンサは、波長1300nm近くにわたる広い感度域を持つ。さらに、400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性は、図1(B)におけるようなシリコンのCMOSセンサでは期待できないものである。
なお、可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性をもつCIGSセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のCIGS系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「CIS系薄膜」とも称されるが、本明細書で「CIGSセンサ」という場合は、このようなガリウムを含まない「CIS系薄膜」を用いた光電センサをも意味するものとする。
図2は、撮像センサとして構成されるCIGSセンサ(以下「CIGS撮像センサ」)のカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタR11、青透過フィルタB12、緑透過フィルタG22および赤透過フィルタR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のCIGS撮像センサは、図1のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図2の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタB12に対応する画素については、基本的にはその両側にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR13に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタR21に対応する画素については、同様にその上下にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタG22に対応する画素については、その周囲にある赤外光透過フィルタIR11に対応する画素のデータ、赤外光透過フィルタIR13に対応する画素のデータ、赤外光透過フィルタIR33に対応する画素のデータおよび赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタR21に対応する画素の赤外光画像の補間において、赤透過フィルタR21に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
図3は、CIGS撮像センサのフィルタ配列の第2例である。この第2例にでは、カラーフィルタ配列自体は図2の第1例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタIR11および緑透過フィルタG22については、画素に許される最大の受光面積を確保しているが、青透過フィルタB12は遮光部202を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。同様に赤透過フィルタR21についても、遮光部204を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
本発明のCIGS撮像センサは、図1のように可視光域において高感度を有するため、上記のように青透過フィルタB12と赤透過フィルタR21の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタB12と赤透過フィルタR21の受光面積比を変えることも可能である。
図4は、図3のフィルタ配列の第2例を採用したCIGSセンサの模式断面図である。図4(A)に示すように、本発明のCIGS撮像センサはLSI400の上にCIGS系薄膜402を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ404が乗せられている。この図4(A)の模式断面図における基本構造自体は、フィルタ配列の第2例に限られるものでなく、本発明のCIGSセンサに共通である。
図4(B)は、図4(A)の部分406を拡大した模式断面図であり、図3のフィルタ配列の第2例の断面を概念的に示している。なお、図3および図4(A)では対応する部分には同じ番号を付す。図4(B)に明らかなように、CIGS系薄膜402はそれぞれ画素をなすフォトダイオード408、410等に区分されており、フォトダイオード408の上には、赤外光透過フィルタIR11が載せられている。そして、フォトダイオード410の上には、受光面積を減らすための遮光部202および青透過フィルタB12が載せられている。
図5は、CIGS撮像センサのフィルタ配列の第3例である。この例は、ベイヤー配列における緑透過フィルタの全数の4分の1を規則的に赤外光透過フィルタIR11、IR33、IR51等に置き換えたものである。残りの4分の3は、ベイヤー配列と同様に緑透過フィルタG13、G22,G31、G42、G44、G35、G24等となっている。
この結果、緑透過フィルタG13等の全数の割合は、赤透過フィルタR23や、青透過フィルタB32の全数の割合の1.5倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図5のフィルタ配列においても、図3のフィルタ配列の考え方を加味し、赤透過フィルタR23等と青透過フィルタB32等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
一方、赤外光透過フィルタIR11等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタR23や、青透過フィルタB32の全数の割合の半分となっている。本発明のCIGS撮像センサは、図1のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
次に、図5のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタG35に対応する画素については、その二つ上方にある赤外光透過フィルタIR15に対応する画素のデータ、二つ左方にある赤外光透過フィルタIR33に対応する画素のデータ、二つ下方にある赤外光透過フィルタIR55に対応する画素のデータおよび二つ右方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタG24に対応する画素については、その右上方にある赤外光透過フィルタIR15に対応する画素のデータと左下方にある赤外光透過フィルタIR33に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタG26に対応する画素については、その左上方にある赤外光透過フィルタIR15に対応する画素のデータと右下方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。
そして、赤透過フィルタR25に対応する画素について、上記のように補間して求めた緑透過フィルタG35、G24、G26にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタIR15に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにIR15、IR33、IR55およびIR37に対応する赤外光画像データの重み付け平均となる。
{(IR15+IR33+IR55+IR37)/4+(IR15+IR33)/2
+(IR15+IR37)/2+IR15}/4
=(9IR15+3IR33+IR55+3IR37)/16
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタIR33に対応する画像をその周囲の緑透過フィルタG22、G42、G44、G24に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタIR33に対応する画像の緑画像データと、緑透過フィルタG22、G31およびG42の緑画像データの平均をとって、これらの中心にある赤透過フィルタB32に対応する画像も緑画像データを補間する。これを整理すると、次のようにG22、G31、G42、G44およびG24の重み付け平均となる。
{(G22+G42+G44+G24)/4+G22+G31+G42}/4
=(5G22+4G31+5G42+G44+G24)/16
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図2と同様である。
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図2で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
図6は、本発明の第1実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡502と、送信されて画像データを体外で受信してモニタする体外モニタ504を有する。カプセル内視鏡502は、透明な保護窓506を有する密閉構造になっており、保護窓506を通り撮像レンズ508によって結像される消化器内部の画像がCIGS撮像センサ510で撮像される。CIGS画像センサ510は、図1で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ508は、レンズ駆動部512によってその画角およびピント位置が調節可能である。
第1実施例のCIGSセンサ510は、図2から図5に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第1実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード(以下適宜「LED」と称する)が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるCIGSセンサ510撮像出力が、各色での画像データとなる。
LEDは撮像レンズ508の光軸まわりに同心的に多数設けられているが、図6では、簡単のため、例として緑LED514および赤外LED516をそれぞれ一つ図示している。例えば緑LED514が発光しているときのCIGS撮像センサ510の撮像出力が緑画像データとなるとともに、赤外LED516が発光しているときのCIGS撮像センサ510の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部512が結像位置を調節する。第1実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
LEDドライバ518は、内視鏡制御部520の指示に基づいてLED514、516の点灯タイミングを制御する。内視鏡制御部520はカプセル内視鏡502全体を制御するもので、その機能は記憶部522に記憶されたプログラムに従う。記憶部522は、さらに内視鏡制御部520の機能に必要なデータ等を必要に応じ一時的に記憶する。
センサドライバ524は内視鏡制御部520の指示に基づいてCIGS撮像センサ510を制御するとともにCIGS撮像センサからの各色別画像RAWデータを画像バッファ526に格納する。画像バッファ526は所定撮像回数分の各色別画像RAWデータを格納可能であり、無線通信部528は画像バッファ526の各色別画像RAWデータをFIFOで取り出してアンテナ530から体外に送信する。電池532はボタン電池などで構成され、カプセル内視鏡502全体に電力を供給する。
体外モニタ504は、無線通信部534を有し、カプセル内視鏡502から送信された各色別画像RAWデータをアンテナ536で受信して画像バッファ538に格納する。これらの機能はモニタ制御部540によって制御される。モニタ制御部540は記憶部542に記憶されたプログラムに従って体外モニタ504全体を制御する。記憶部542は、さらにモニタ制御部540の機能に必要なデータ等を必要に応じ一時的に記憶する。
画像処理部544は、モニタ制御部540の指示に基づき画像バッファ548に格納されている各色別RAWデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ546に記憶する。また、赤外画像信号についてもこれをレコーダ546に記録する。記録されたデータは適宜表示部548でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部548により直接モニタすることもできる。
図7は、第1実施例のカプセル内視鏡502に採用可能なLEDの配置の第1の例を示す正面図である。図6と対応する部分には同一番号を付す。図7から明らかなように、透明の保護窓506の内側の撮像レンズ508の周囲には緑LED514が互いに90度ずつ隔てた回転対象に4個設けられている。これらを結んだ線550は正方形である。また、緑LED514から45度回転した正方形552の頂点部分には、赤外LED516が互いに90度ずつ隔てた回転対象に4個設けられている。さらに、縦長長方形554の頂点部分には赤LED556が4個設けられているとともに、横長長方形558の頂点部分には青LED560が4個設けられている。この結果、赤、緑および青の各LEDは図7で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
図8は、第1実施例のカプセル内視鏡502に採用可能なLEDの配置の第2の例を示す正面図である。図8においても、図6と対応する部分には同一番号を付す。図8における緑LED514および赤外LED516の配置は、図7と共通である。これに対し、赤LED562は、緑LED514から左に22.5度回転した正方形564の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。また、青ダイオード566は、緑LED514から右に22.5度回転した正方形568の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。この結果、赤、緑および青の各LEDは図7で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ508の光軸まわりに互いに回転対象の配置となる。
図9は、第1実施例のカプセル内視鏡502に採用可能なLEDの配置の第3の例を示す正面図である。図9においても、図6と対応する部分には同一番号を付す。図9における緑LED514および赤外LED516の配置は、図7と共通である。これに対し、左に45度傾いた縦長長方形570の頂点部分には赤LED572が4個設けられているとともに、右に45度傾いた縦長長方形574の頂点部分には青LED576が4個設けられている。この結果、赤、緑および青の各LEDは図9で見て対抗する赤外LEDを結ぶ左45度傾いた線および右45度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各LEDは図9で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。
以上、図7から図9に示したLEDの配置例は、各図において緑LEDが上下左右に配置され、赤外LEDがこれから45度回転した位置に配されているが、全体の配置はこれに限るものではなく、CIGS撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図7から図9に示したLEDの配置例は、CIGS撮像センサの画素配置の升目の上下左右方向を基準として緑LEDが上下左右に配置したものであるが、これを全体に45度回転させ、赤外LEDが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑LEDがこれから45度回転した位置に配置されることになる。
図10は、第1実施例のカプセル内視鏡502に採用可能なLEDの配置の第4の例を示す正面図である。赤、緑、青および赤外のLEDを撮像レンズ508の光軸まわりに配置する場合、全ての色のLEDを互いに同数とすることに限るものではない。図10はこのようなものの例として、4個の緑LED514、2個の赤LED578および2個の青LED580を採用している。緑LED514の数が赤LED578および青LED580の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図10では8個の赤外LED582を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
なお、図7から図10ではすべて合計16個のLEDを採用しているが、これに限られるものではない。配置が可能な場合、LEDの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のLEDを採用し合計8個のLEDを採用して構成を簡単にすることも可能である。この場合、緑LEDの対を結ぶ線と赤外LEDの対を結ぶ線を90度で交差させるとともに、赤LEDの対と青LEDの対については、それらを結ぶ線が緑LEDの対を結ぶ線の左右にそれぞれ45度回転した状態の配置として、赤と青のLEDが緑LEDの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように8個のLEDを等間隔に配置するのに代えて、赤と青のLEDを緑LEDの両側に密接させ、赤、緑、青LED相互の位置ズレができるだけ少なくなるようにした配置も可能である。
図11は、第1実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図11から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6、すべての赤外LEDはt7からt8のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、4色のLEDの点灯が一巡すると、再び全ての赤LEDがt9からt10のタイミングで点灯し、以下同様にして緑、青、赤外のLEDが点灯して同様の循環で時分割点灯を繰り返す。t1からt8までの時間は通常のカラー動画の1フレーム時間程度であり、各色の発光量は時分割しない場合の4分の1以下となるが、図1に示すようにCIGSセンサは通常のCMOSセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
図11のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図6の撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
図11の光電変換部のタイミングチャートから明らかなように、光電変換部は赤LEDの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤LEDの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図11から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青LEDの発光および赤外LEDの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
図11のAD変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からAD変換を開始する。例えば、赤のAD変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のAD変換を継続する。図11の無線通信部のタイミングチャート(A)から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のAD変換終了直後に開始される。そして次の緑のAD変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてAD変換および通信が行われる。
なお、通信に関しては、カプセル内視鏡502と体外モニタ504との関係によっては、AD変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図11の無線通信部のタイミングチャート(B)のように通信環境が充分となったタイミングで通信を実行する。例えば、IRデータの送信592はタイミングチャート(A)に比べて遅く実行されており、次のRデータの直前で実行されている。また、Gデータの送信594およびBデータの送信596も遅れて実行されているが、これらの通信時間の調整は、図6の画像バッファ526の容量が満杯となってFIFOに破綻を来たさない限り可能である。
図12は、図11で示したカラー・赤外モードにおける第1実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図12に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、t9で開始される赤LEDの発光に基づく赤画像、t11で開始される緑LEDの発光に基づく緑画像、およびt13で開始される青LEDの発光に基づく青画像によって、F2で示す1フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図6に示した体外モニタ504の画像処理部544で行われる。また、図11の無線通信部のタイミングチャート(B)で示したように体外モニタ504による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色LEDの発光タイミングによって決まるので図12の関係が成り立つ。
また、図12に示すように、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt9で開始される赤LEDの発光に基づく赤画像によってもRGB三色のデータが揃うので、これらによってI1で示す1フレームのカラー補間画像が作成される。同様にして、t5で開始される青LEDの発光に基づく青画像、t9で開始される赤LEDの発光に基づく赤画像、およびt11で開始される緑LEDの発光に基づく緑画像によって、I2で示す1フレームのカラー補間画像が作成される。これらの補間画像はRGBの各色が揃うまでに赤外LEDの発光が介在しており、RGBが揃うまでの時間が若干長くなるとともにRGBの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
一方、赤外画像については、図12に示すように、t7で開始される赤外LEDの発光に基づく画像IR1、t15で開始される赤外LEDの発光に基づく画像IR2等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像I2およびI2の取得時間帯が共に赤外画像IR1の取得時間を含んでいるので、カラー補間画像I1およびI2またなその平均を赤外画像IR1と合成することが可能である。
図13は、第1実施例のカプセル内視鏡502における精細カラーモードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外LEDは発光しない。図13から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、RGB3色のLEDの点灯が一巡すると、再び全ての赤LEDがt7からt8のタイミングで点灯し、以下同様にして緑、青、LEDが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なt1からt6までの時間は図11のt1からt8よりも短くなり。動画が精細になる。図13の無線通信部(B)のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
図13のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図6の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
図14は、図13で示した精細カラーモードにおける第1実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図14に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。次に、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt7で開始される赤LEDの発光に基づく赤画像によってF2で示す1フレームのカラー画像が作成される。同様にt5で開始される青LEDの発光に基づく青画像、t7で開始される赤LEDの発光に基づく赤画像、およびt9で開始される緑LEDの発光に基づく緑画像によってF3で示す1フレームのカラー画像が作成される。以下同様にしてF4で示す1フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のLEDが新たに発光する毎に輪番で新たに1フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
図15は、第1実施例のカプセル内視鏡502における赤外モードでの動作の赤外LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外LED以外のLEDは発光しない。図15から明らかなように、すべての赤外LEDはt1からちt2、t3からt4のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回1フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
図15のように、赤外モードにおいて赤外光のみを発光させる場合も、図6の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
図16は、図6の第1実施例における内視鏡制御部520の動作のフローチャートである。カプセル内視鏡502に電池532がセットされるとフローがスタートし、ステップS162で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップS154で撮像レンズ508が広角およびパンフォーカス状態に設定される。次いでステップS166では、赤、緑、青および赤外の全てのLEDが所定の順所で順次輪番で発光するよう設定される。そしてステップS168でこれらの設定が行われている状態であることを外部送信し、体外モニタ504に報告する。
次にステップS170で撮像処理、ステップS172で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップS174に進み、動作停止信号を体外モニタ504から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップS176に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップS178に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップS164に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップS166以下の動作に進む。
一方、ステップS178で変更されたモードがカラー・赤外モードでなかったときはステップS180に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップS182でレンズの画角を狭角(望遠)にするとともに可視光フォーカス状態に設定するとともに、ステップS184で可視光のLEDのみが順次輪番で発光するよう設定する。そして、ステップS186でこれらの設定状態を外部に送信した後、ステップS170に戻る。
また、ステップS180で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップS188に移行し、レンズの画角を狭角(望遠)にするとともに赤外光フォーカス状態に設定する。さらにステップS190で赤外LEDのみが発光するよう設定する。そして、ステップS186に移行し、これらの設定状態を外部に送信した後、ステップS170に戻る。
図17は、図16のステップS170における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップS192でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップS194に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップS196に進み、蓄積電荷の読出し開始処理を行う。さらにステップS198でLEDの発光停止を指示する。さらにステップS200で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップS200を繰り返しながら完了を待つ。
ステップS200で読出し完了が検知されるとステップS206に進み残留電荷の掃捨て開始処理を行ってステップS208のLED選択処理に移行する。これは次に発光すべきLEDを選択する処理であるがその詳細は後述する。さらにステップS210ではステップS208で選択されたLEDの発光開始を指示する。次にステップS212では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップS212を繰り返しながら完了を待つ。
ステップS212で蓄積電荷の掃捨て完了が検知されるとステップS214に移行し、露光を開始するとともにステップS216で露光時間のカウントを開始し、フローを終了する。一方、ステップS194で露光時間が完了していなければ直ちにフローを終了する。また、ステップS192でモードの選択または変更が検出されるとステップS218に移行し、撮像処理のイニシャライズを行ってステップS208のLED選択処理に進む。
図18は、図17のステップS208におけるLED選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップS222で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップS224に進み、図17のステップS218によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップS226に進み、前回に選択されたLED記憶を読み出す。そしてステップS228で読み出された記憶に基づき前回発光したのが赤LEDであったかどうかチェックする。該当しなければ、さらにステップS230で前回したのが緑LEDであったかどうかチェックする。
ステップS230で前回発光が緑LEDでなかったときはステップS232に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS234に進み、次の順番に当たる赤LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。
一方、ステップS232で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS238に進み、次の順番に当たる赤外LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。
また、ステップS228で前回発光したのが赤LEDであったときはステップS242に進み、次の順番にあたる緑LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。さらに、ステップS222で赤外モードであったときはステップS244に進み、赤外LEDを選択する。そして赤外モードの場合は選択されるのは常に赤外LEDであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップS224で撮像処理のイニシャライズが行われていたときはステップS242に進み最初の発光LEDとして緑LEDを選択する。
図19は、図16のステップS172における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップS252でデータの送信中かどうかのチェックを行う。送信中でなければステップS254に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップS256でこれを画像バッファより消去してステップS258に移行する。一方、ステップS254で送信成功データがなければ直接ステップS258に移行する。
ステップS258では、AD変換が完了したかどうかチェックし、該当すればAD変換したデータを画像バッファに格納してステップS262に移行する。一方、AD変換が終了していなければ直接ステップS262に移行する。ステップS262では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップS264で通信状態がOKかどうかチェックする。そしてOKであればステップS266で画像バッファからFIFO(先入れ先出し)でデータを読出し、ステップS268で読み出したデータの送信開始を指示してフローを終了する。なお、ステップS252でデータ送信中であったとき、ステップS262で画像バッファにデータの格納がなかったとき、またはステップS264で通信状態がOKでなかったときはそれぞれ直ちにフローを終了する。
図20は、図6の第1実施例における体外モニタ504のモニタ制御部540の動作を示すフローチャートであり、カプセル内視鏡502との通信開始でフローがスタートする。フローがスタートするとステップS272で画像データの新着の有無をチェックする。新着データがあればステップS274に進み、新着データが完全かどうかチェックする。そして完全であればステップS276に進んでこれを画像バッファ538に格納するよう支持してステップS278に移行する。なお、ステップS272でデータの新着がないか、またはステップS274で新着データが完全でなかったときはいずれもステップS272に戻る。
ステップS278では、赤外モードであるかどうかチェックし、該当しなければステップS280でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップS282に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップS284に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップS286に移行する。ステップS284の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
ステップS286では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップS290に進み、新着データ直前の可視2色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の3色が揃うからステップS292に進み、保管カラー画像を作成する指示をしてステップS272に戻る。ステップS292の指示によって作成される画像は、図12のカラー補間画像I1またはI2に相当する。
ステップS278で赤外モードであったときは新着データは赤外画像データであるからステップS294に移行し、赤外画像の作成を指示してステップS272に戻る。また、ステップS282で新着データが赤外画像データであったときもステップS294に移行する。一方、ステップS286で新着データが青画像データであったときはステップS296に進み、直前の2色(この場合は赤および緑)の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する3色が揃うのでステップS298に進み、カラー画像作成の指示を行ってステップS272に戻る。この指示によって作成される画像は、図12のカラー画像F1またはF2に該当する。
また、ステップS280でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップS296に移行し、直前の可視2色データが格納されているかどうかのチェックに入り、直前2色があればステップS298のカラー画像作成を指示する。この指示によって作成される画像は、図14のカラー画像F1、F2、F3等に該当する。なお、ステップS290またはステップS296で直前の可視2色データの格納がなかったときは直ちにステップS272に戻る。