JP2016128024A - 撮像モジュール、及び内視鏡装置 - Google Patents

Abstract

【課題】内視鏡スコープの挿入部先端に内蔵される撮像部で、高品質且つ高フレームレートの観察画像を取得できる内視鏡装置及びその作動方法を提供する。
【解決手段】内視鏡装置は、挿入部先端から照明光を照射し、挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、内視鏡スコープに接続され画像処理部を有するプロセッサ装置とを具備する。フレーム画像信号のフレーム周期を二分した前半期間に照明光を出射し、フレーム周期の後半期間に消灯を行う動作を、フレーム周期毎に繰り返すと共に、フレーム周期の前半期間を露光期間、後半期間内に露光後の蓄積電荷の信号を読み出して、内視鏡スコープ内に搭載されるバッファメモリに出力する。このバッファメモリからフレーム画像信号の画像情報をフレーム周期内に読み出して画像処理部に転送する。
【選択図】図５

Description

本発明は、内視鏡装置及びその作動方法に関する。

電子式の内視鏡装置は、被検体の体腔内等に挿入する内視鏡スコープの先端部に撮像部を内蔵している。この撮像部によって撮像された画像信号は、内視鏡スコープが接続されるプロセッサ装置に転送され、画像処理された後に表示部に表示される。

内視鏡装置に使用される撮像部は、大別してＣＣＤ型とＣＭОＳ型に分けられるが、近年ではＣＭОＳ型が主流になってきている。このＣＭОＳ型撮像部から撮像画像信号を外部に読み出す駆動方法として、グローバルシャッタ方式とローリングシャッタ方式がある。

グローバルシャッタ方式は、ＣＭＯＳ型の撮像部において、１画面内の全画素に対して一斉にリセットし、露光動作を開始する、即ち、１画面内の全画素に対して電荷の蓄積を開始する方式であり、撮像部の全画素（フォトダイオード：ＰＤ）の蓄積開始から蓄積終了までのタイミングと期間を同じにできる利点がある。しかし、各画素の面積内に、一次容量と、この一次容量を転送するＦＥＴとを設ける必要があるため、撮像部の大面積化に繋がり、小径の内視鏡スコープに撮像部を内蔵させるには不利な構成となる。

ローリングシャッタ方式は、ＣＭＯＳ型の撮像部において、少なくとも１つ以上の走査ラインや画素毎に順次露光を行う方式で、走査ラインや画素毎に順次リセットを行い、電荷の蓄積を開始して蓄積した電荷を読み出す方式である（フォーカルプレーンシャッター方式ともいう）。

このローリングシャッタ方式は、デジタルカメラでは一般的に使用されているが、内視鏡装置に適用する場合に不具合が生じることがある。内視鏡スコープは、体腔内等の暗所に挿入されて使用されるため、スコープ先端部から照明光を照射して撮像する必要がある。この照明光として、特許文献１に記載されるように、明滅光であるパルス光が使用される場合がある。このパルス光のオンオフタイミングと、ローリングシャッタの順次読み出しのタイミングとを同期させないと、照明光量に起因する不具合が生じる。

図７はローリングシャッタ方式の不具合の一例を示す説明図である。ローリングシャッタ方式の場合、走査ライン（水平画素行）順に電荷蓄積の開始タイミングがずれていくが、走査ライン毎に同じ光量の光照射が必要となる。

照明光は、パルス変調駆動されたパルス光であるため、各走査ラインの露光期間内における合計光量が同一になるように、駆動信号のパルス幅、パルス数、パルス密度等を同一に制御すればよい。しかし、パルス光の照射量は、被写体までの距離や観察画像の明るさ等に応じて動的に変化させる必要があり、読み出し順が少しずつずれていく各走査ラインで、パルス光を均等に割り振る制御は困難である。照射量を変化させる制御を行いながら、パルス光の照射量を各走査ラインで等しくする制御が行えないと、観察画像中に輝度ムラや縞模様が生じ、撮像画像の画質が劣化する。

図８はローリングシャッタ方式の別の不具合を示す説明図である。ここでは、発光色の異なる複数の光源を交互に使用して、パルス光を照射する内視鏡装置を例に示す。図８に示す例では、１／６０秒間の光源Ａによる照射を２回行い、次に１／６０秒間の光源Ｂによる照射を２回行う動作を交互に繰り返している。ローリングシャッタ方式の撮像部では、電荷蓄積の開始と終了のタイミングが走査ライン順にずれるため、光源Ａのパルス光照射と光源Ｂのパルス光照射とが混在する無効フレーム画像が１フレーム毎に生じる。この無効フレーム画像（図中に「ＮＧ」と標記）は内視鏡の観察画像として使用できないため、有効フレーム画像（図中「ＯＫ」と標記）の割合である有効フレームレートは半分に低下することになる。

このような不具合は、図９の駆動方法を採用することで解決可能である。例えば、１／６０秒のフレーム周期を前半の１／１２０秒と後半の１／１２０秒の期間に分割し、各走査ラインの電荷蓄積の開始タイミングを同時にすると共に、前半の１／１２０秒の期間だけパルス光照射を行う。そして、次の後半の１／１２０秒の期間で、各走査ラインの蓄積電荷を走査ライン順に読み出せばよい。

図９に示す駆動方法は、現在、内視鏡装置で多く用いられている３０万画素程度の記録画素数を有する撮像部であれば問題はない。しかし、ＨＤ(high definition)画質の画像を撮像できる１００万画素以上の高画素撮像部に上記駆動方法を適用するのは困難である。１００万画素以上の高画素撮像部の場合、全画素から読み出すデータ量が膨大となり、フレーム周期後半の１／１２０秒の期間で蓄積電荷の信号全てを撮像部から出力させ、プロセッサ装置側に転送することができないためである。以下、記録画素数が１３０万画素の場合にて説明する。

また、撮像画像信号を、内視鏡スコープの先端部から３〜４ｍ離れた内視鏡装置本体に転送するには、転送レートを速めることに限界があり、信号の転送時間が長くなる不利ある。この信号転送時間の問題は、転送用の信号線数を増やして並列転送すれば解決できるが、信号線数を増やすと信号線を収納する内視鏡スコープの挿入部の直径が増大することになる。そのため、信号線の更なる増設は、挿入部を更に細径化する要望に反してしまう。

特開２０１１―３０９８５号公報

本発明の目的は、内視鏡スコープの挿入部先端に内蔵される撮像部で、高品質且つ高フレームレートの観察画像を取得できる内視鏡装置及びその作動方法を提供することにある。

本発明は下記構成からなる。
（１） 被検体内に挿入される挿入部先端から照明光を照射し、その挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、その内視鏡スコープに接続され、上記フレーム画像信号に対して画像処理を施す画像処理部を有するプロセッサ装置とを具備する内視鏡装置であって、
上記フレーム画像信号のフレーム周期を二分した前半期間に上記照明光を出射し、上記フレーム周期の後半期間に消灯を行う動作を、上記フレーム周期毎に繰り返す光源部と、
上記内視鏡スコープ内に搭載され、上記撮像部から出力される上記フレーム画像信号の画像情報を記憶するバッファメモリと、
上記バッファメモリから上記フレーム画像信号の画像情報を読み出して上記画像処理部に転送する情報転送部と、を備え、
上記撮像部は、上記フレーム周期の前半期間を露光期間とし、上記後半期間内に露光後の蓄積電荷の信号を読み出して上記フレーム画像信号の画像情報として上記バッファメモリに出力し、
上記情報転送部は、上記バッファメモリから上記フレーム画像信号の画像情報を上記フレーム周期内に読み出す内視鏡装置。

（２） 被検体内に挿入される挿入部先端から照明光を照射し、その挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、その内視鏡スコープに接続され、上記フレーム画像信号に対して画像処理を施す画像処理部を有するプロセッサ装置とを具備する内視鏡装置の作動方法であって、
光源部が、上記フレーム画像信号のフレーム周期を二分した前半期間に照明光を上記内視鏡スコープから被検体に向けて照射し、上記フレーム周期の後半期間に消灯を行う動作を、上記フレーム周期毎に繰り返し行い、
上記撮像部が、上記フレーム周期の前半期間を露光期間とし、上記後半期間内に露光後の蓄積電荷の信号を読み出して上記フレーム画像信号の画像情報として上記内視鏡スコープ内に搭載されるバッファメモリに出力し、
情報転送部が、上記バッファメモリから上記フレーム画像信号の画像情報を上記フレーム周期内に読み出し、上記画像処理部に転送する内視鏡装置の作動方法。

本発明によれば、撮像部から出力されるフレーム画像信号の情報を一旦バッファメモリに格納することで、撮像部が次の露光を開始できる構成とした。また、バッファメモリに格納されたフレーム画像信号の読み出しを、次のフレーム画像信号の読み出しタイミングまでの１フレーム周期内に行う構成とした。このため、画質を低下させることなく、高フレームレートで高精細な画像を得ることが可能となる。

本発明の実施形態を説明するための図で、内視鏡装置のブロック構成図である。 図１に示す内視鏡装置の一例としての外観図である。 内視鏡スコープの内視鏡先端部の先端面を示した正面図である。 撮像部を有する半導体素子の表面を模式的に示す平面図である。 内視鏡装置の駆動方法を示すタイミングチャートである。 照明・撮像・画像信号の流れを示すタイミングチャートである。 従来のローリングシャッタ方式の不具合の一例を示す説明図である。 従来のローリングシャッタ方式の別の不具合を示す説明図である。 従来のＣＭＯＳ撮像部を高速にローリングシャッタ駆動する駆動方法を示す説明図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は本発明の実施形態を説明するための図で、内視鏡装置のブロック構成図であり、図２は図１に示す内視鏡装置の一例としての外観図である。
まず、図１，図２を用いて内視鏡装置１００の構成を説明する。内視鏡装置１００は、内視鏡スコープ１１と、プロセッサ装置１３及び光源装置１５とを有する。また、この内視鏡装置１００には、観察画像等を表示する表示部１７と、各種情報を入力する入力部１９が接続されている。

＜内視鏡スコープ＞
内視鏡スコープ１１は、図２に示すように、患者（被検体）の体腔内に挿入される可撓性の挿入部２１と、挿入部２１の基端部分に連設された操作部２３と、プロセッサ装置１３及び光源装置１５に接続されるユニバーサルコード２５とを備えている。

挿入部２１は、その先端から内視鏡先端部２７、湾曲部２９、軟性部３１がこの順で形成される。内視鏡先端部２７は、体腔内撮影用のＣＭОＳ型撮像部３３（図１参照）を内蔵する。内視鏡先端部２７の後方の湾曲部２９は、複数の湾曲駒が連結された湾曲機構を有する。湾曲部２９は、操作部２３に設けられたアングルノブ３５が操作されたとき、挿入部２１内に挿設されたワイヤ（図示略）が延出又は牽引され、上下左右方向に湾曲動作する。これにより、内視鏡先端部２７が体腔内で所望の方向に向けられる。

ユニバーサルコード２５の基端にはコネクタ３７Ａ，３７Ｂが設けられている。コネクタ３７Ａはプロセッサ装置１３に着脱自在に接続され、コネクタ３７Ｂは光源装置１５に着脱自在に接続される。これらコネクタ３７Ａ，３７Ｂは、プロセッサ装置１３と光源装置１５との接続を一体で行う複合タイプのコネクタであってもよい。

プロセッサ装置１３は、ユニバーサルコード２５内に挿通された信号線を介して内視鏡スコープ１１に対する給電を行い、撮像部３３の駆動を制御すると共に、撮像部３３から信号線を介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。

プロセッサ装置１３で変換された画像データは、プロセッサ装置１３にケーブル接続された液晶モニタ等の表示部１７に観察画像として表示される。また、プロセッサ装置１３は、光源装置１５を含めた内視鏡装置１００全体の動作を制御する。表示部１７は、プロセッサ装置１３の外部に設けた表示装置に限らず、プロセッサ装置１３や内視鏡スコープ１１に一体に構成されたもの等、種々の形態のものであってもよい。

図３は内視鏡スコープ１１の内視鏡先端部２７の先端面４１を示した正面図である。内視鏡先端部２７の先端面４１には、被検体を観察するための観察窓４３と、照明光を出射する照明窓４５，４５と、鉗子チャンネル４７等が設けられている。

照明窓４５，４５は、観察窓４３の両脇に、観察窓４３を中心とする概ね対称位置に配置され、体腔内の観察部位に光源装置１５からの照明光を照射する。

鉗子チャンネル４７は、挿入部２１に沿って延設され、操作部２３に設けられた鉗子口４９（図２参照）に連通している。鉗子チャンネル４７には、注射針や高周波メスなどが先端に配された各種処置具が挿通され、各種処置具の先端が内視鏡先端部２７の鉗子チャンネル４７から体腔内に出される。

照明窓４５の内側には、図１に示すように、光源装置１５から出射される照明光を導くライトガイド５１の出射端５１ａが配されている。ライトガイド５１の出射端５１ａと照明窓４５との間には、レンズや光拡散部材等の光学部材を配置してもよい。また、蛍光体を出射端５１ａに配する場合もありうる。

図４は撮像部３３を有する半導体素子の表面を模式的に示す平面図である。矩形の半導体素子５３の中央領域には、二次元アレイ状に多数の画素（受光素子：フォトダイオード（ＰＤ））が配列形成された撮像部３３が形成されている。また、この中央領域には相関二重サンプリング処理するＣＤＳ回路も設けられている。

撮像部３３は、例えば記録画素数が１３０万画素（垂直１０００画素，水平１３００画素程度）以上の高画素数の撮像部であり、ＨＤ画質の高精細画像が撮影可能な撮像素子である。撮像部３３の周囲領域には、ＴＧ（タイミングジェネレータ）を含む駆動回路５５，レジスタ５７，後述するバッファメモリ（本構成例ではＦＩＦОメモリ）５９と、情報転送部としてのＬＶＤＳ（Low voltage differential signaling）変換回路６１とが設けられている。

本構成の撮像部３３は、各画素上に三原色のＲ（赤）Ｇ（緑）Ｂ（青）カラーフィルタが積層された単板式のカラー画像撮像用の撮像部である。撮像部３３としては、カラーフィルタを搭載せずに、後述する光源からＲ色，Ｇ色，Ｂ色の照明光を面順次に照射した画像を撮像する単色の撮像部とすることもできる。また、カラーフィルタはＲ，Ｇ，Ｂの三原色以外にも、Ｒ，Ｇ，Ｂと白色Ｗとの組み合わせや、補色系のＣ，Ｍ，Ｙの三色、Ｃ，Ｍ，Ｙ，Ｇの四色の組み合わせ等、いずれにも適用可能である。

なお、これら撮像部３３、ＦＩＦОメモリ５９、ＬＶＤＳ変換回路６１等の各素子を１チップ上に形成するのでなく、夫々を別々のチップに形成して相互接続し、撮像部モジュールとして構成することでもよい。また、ＦＩＦＯメモリ５９、ＬＶＤＳ変換回路６１は、内視鏡スコープ１１内であれば、撮像部３３から離れた位置に配置してもよい。

図１に示すように、内視鏡スコープ１１は、上記の撮像部３３を含む半導体素子５３と、内視鏡スコープ１１を制御する制御信号を取り出すコマンド復調部６５とを備える。半導体素子５３は、撮像部３３、カラムＡＤＣ回路６７、駆動回路５５、バッファメモリ（本例では、高速アクセスに有利となるＦＩＦＯメモリ）５９、ＬＶＤＳ（低電圧差動信号）変換回路６１を備える。

撮像部３３は、各走査ライン（画素行）のうち、読み出されるｉ番目の走査ライン（ｉは１〜最終ラインを表す指標）に対する蓄積電荷の信号を出力する。この出力された撮像信号は、カラムＡＤＣ回路６７でデジタル化された後、一旦、ＦＩＦＯメモリ５９にフレーム画像信号として格納される。以後、ＦＩＦＯメモリ５９から走査ライン順に、フレーム画像信号がＬＶＤＳ変換回路６１に送られる。

駆動回路５５は、後述のプロセッサ装置１３と通信を行うコマンド復調部６５による制御信号に基づき、各種駆動パルスを生成する。駆動パルスとしては、撮像部３３の駆動パルス（垂直／水平走査パルス、リセットパルス等）、カラムＡＤＣ回路６７用の同期パルス、ＦＩＦＯメモリ５９の駆動パルス等が含まれる。撮像部３３は、駆動回路５５から入力される駆動パルスにより駆動され、対物光学系７５を介して受光面に結像された光学像を、光電変換して撮像信号として出力する。

撮像部３３の各フォトダイオード（ＰＤ）の蓄積電荷を撮像信号として読み出す信号読出し回路の構成は従来周知であり、例えば３トランジスタ構成や４トランジスタ構成の一般的な回路構成を適用できる。信号読出し回路は、１画素につき１つの信号読出回路を設けてもよく、回路面積の縮小を図るために、２画素や４画素で１つの信号読出回路を共有する構成とすることもできる。

カラムＡＤＣ回路６７は、相関二重サンプリング（ＣＤＳ）回路と、アンプ部と、Ａ／Ｄ変換器（図４の例ではカラムＡＤ変換器）とにより構成されている。ＣＤＳ回路は、撮像部３３の画素から出力される撮像信号に対して相関二重サンプリング処理を施し、撮像部３３内で生じるリセット雑音及びアンプ雑音の除去を行う。

アンプは、ＣＤＳ回路によりノイズ除去が行われた撮像信号を、コマンド復調部６５により指定されたゲイン（増幅率）で増幅する。Ａ／Ｄ変換器は、アンプ部により増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。Ａ／Ｄ変換器から出力されたフレーム画像信号は、１番目の走査ラインから最終ラインまでの画像情報として、一旦、ＦＩＦＯメモリ５９に格納される。そして、ＦＩＦＯメモリ５９に格納されたフレーム画像信号の画像情報は、ＬＶＤＳ変換回路６１が順次読み出し、読み出した画像情報を低電圧差動信号に変換し、信号線７７を通してプロセッサ装置１３に転送する。

＜プロセッサ装置＞
図１に示すように、プロセッサ装置１３は、ＣＰＵ８１と、ＲＯＭ８３と、ＲＡＭ８５と、画像処理部（ＤＳＰ）８７と、表示制御回路８９と、内視鏡スコープ１１から送信されてくる低電圧差動信号のフレーム画像信号を受信して画像処理部８７に出力するレシーバ９１とを備えて構成される。

前述のＬＶＤＳ変換回路６１は、例えば２ｃｈのｓｕｂＬＶＤＳ変換回路とした場合、レシーバ９１は、２ｃｈに分割された信号を復元して画像処理部８７に渡す。この場合、内視鏡スコープ１１の挿入部２１内に挿通する信号線数は２本であり、挿入部２１の直径を増大させる程にはならない。

ＣＰＵ８１は、プロセッサ装置１３内の各部を制御すると共に、内視鏡スコープ１１のコマンド復調部６５や後述する光源装置１５に制御信号を送り、内視鏡装置１００の全体を制御する。ＲＯＭ８３には、プロセッサ装置１３の動作を制御するための各種プログラムや制御用データが記憶される。また、ＲＡＭ８５には、ＣＰＵ８１により実行されるプログラムや各種データが一時的に記憶される。

画像処理部８７は、ＣＰＵ８１の制御に基づき、レシーバ９１で受信した撮像信号に対し、色補間，色分離，色バランス調整，ホワイトバランス補正，ガンマ補正，画像強調処理等を施し、画像データを生成する。

画像処理部８７から出力された画像データは、表示制御回路８９に入力され、表示制御回路８９は、画像処理部８７から入力された画像データを、表示部１７に対応した信号形式に変換して表示部１７の画面に表示させる。

プロセッサ装置１３の入力部１９は、撮像部３３の動作モードを選択し又は切り替えるためのモード切替部や、その他ユーザの指示入力を受け付ける各種操作部が設けられている。

＜光源装置＞
光源装置１５は、Ａ光源９３とＡ光源駆動回路９５、及びＢ光源９７とＢ光源駆動回路９９とを備える。また、光源装置１５は、Ａ光源駆動回路９７とＢ光源駆動回路９９に接続されるＣＰＵ１０１と、Ａ光源９３からの出射光とＢ光源９７からの出射光の光路を結合させて１系統の光路にする合波部１０３とを備えて構成される。

Ａ光源９３とＢ光源９７とは、互いに発光スペクトルが異なる光源である。ＣＰＵ１０１は、プロセッサ装置１３のＣＰＵ８１と通信を行い、Ａ光源９３とＢ光源９７に対する駆動制御を、Ａ光源駆動回路９５，Ｂ光源駆動回路９９を通じて個別に実施する。

Ａ光源駆動回路９５は、ＣＰＵ１０１の指示によってＡ光源９３の駆動信号をパルス変調制御し、Ａ光源９３からの出射光のオンオフタイミングとパルス発光量を変更する。また、Ｂ光源駆動回路９９は、ＣＰＵ１０１の指示によってＢ光源９７の駆動信号をパルス変調制御し、Ｂ光源９７からの出射光のオンオフタイミングとパルス発光量を変更する。

合波部１０３は、Ａ光源９３の出射光をライトガイド５１の入射端５１ｂに出射し、Ｂ光源９７の出射光をライトガイド５１の入射端５１ｂに出射する。Ａ光源９３の出射光とＢ光源９７の出射光とを同時に出射した場合には、各出射光を合波（混合）して、ライトガイド５１の入射端５１ｂに出射する。

Ａ光源９３，Ｂ光源９７としては、例えば、ＬＤ（レーザダイオード）やＬＥＤ等の半導体光源が使用できる。また、ハロゲンランプを使用した構成としてもよい。光源の種類は、観察対象や観察目的に応じて適宜選択できる。なお、ハロゲンランプを使用する場合は、光源前面に光チョッパ用のスリットが形成された回転円板を設け、この回転円板の回転速度を制御することで照明光のオンオフ制御が行える。

Ａ光源９３，Ｂ光源９７に発光波長が狭帯域となるＬＤを使用する場合、例えば、近紫外光、青色光、緑色光、赤色光等のレーザ光を出射するＬＤを、単一、又は組み合わせて用いることができる。例えば、近紫外光や青色光を照明光として使用した場合、生体組織表層の毛細血管や微細構造模様が強調される。また、Ａ光源９３，Ｂ光源９７のいずれか一方を、青色光を出射するＬＤと、青色レーザ光により緑色〜黄色に励起発光する蛍光体とを用いて、白色光を生成する白色光源としてもよい。また、蛍光体を内視鏡スコープ１１の先端部におけるライトガイド５１の出射端に配置しても良い。

更に、撮像画像中の酸素飽和度を検出するために、酸化ヘモグロビンと還元ヘモグロビンに対する吸光度に対応して、中心波長が４０５ｎｍ、４４５ｎｍ、４７３ｎｍ付近のＬＤを選択的に用いてもよい。その場合、各波長光を照明光とする撮像画像同士を画像演算して、酸素飽和度の高低を検出できる（例えば特開２０１１−９２６９０号公報参照）。

上記構成の内視鏡装置１００により体腔内を観察する際は、内視鏡スコープ１１の挿入部２１を体腔内に挿入し、光源装置１５からのパルス照明光で体腔内を照明しながら、撮像部３３により撮像される体腔内の画像を表示部１７で観察することになる。

プロセッサ装置１３のＣＰＵ８１は、撮像部３３から出力される撮像信号の輝度情報から照明光の光量制御を行う。例えば、内視鏡先端部から遠方にある被写体を観察する遠景観察の場合は、観察画像が暗くなっていることが多いため照明光量を増加制御する。逆に、内視鏡先端部を被写体に近接させて拡大像を観察する近景観察の場合には、観察画像が明るくなり過ぎるため、照明光量を減少制御する。

この照明光の増減制御を行う場合、プロセッサ装置１３のＣＰＵ８１は、光源装置１５のＣＰＵ１０１に指令を出力し、Ａ光源９３とＢ光源９７の発光量（駆動信号のパルス幅、パルス数、パルス密度等）を制御する。

＜撮像手順＞
本構成の撮像部３３は、前述したように１００万画素以上の記録画素数を有する撮像部であり、ＨＤ画質の高精細画像を取得できる。このため、撮像画像のデータ量は、内視鏡で広く使用される例えば３０万画素クラスの撮像部に対して４倍以上となる。そこで本構成においては、この多大なデータ量の信号を支障無く撮像部３３から読み出すためにバッファメモリ５９を設けている。また、多大なデータ量の信号をプロセッサ装置１３に転送するためにＬＶＤＳ変換回路６１を設けている。

図５は内視鏡装置の駆動方法を示すタイミングチャートである。本構成の内視鏡装置１００は、フレームレートを６０フレーム／秒として撮像と画像表示を行う構成となっており、ここでは６０フレーム／秒のフレームレートの場合として説明する。

光源装置１５は、前述の図１に示すＡ光源９３とＢ光源９７とをフレーム周期である１／６０秒毎に交互に点灯させる。より詳細には、フレーム周期である１／６０秒の期間を二等分して、前半期間の１／１２０秒と、後半期間の１／１２０秒に分ける。Ａ光源の点灯期間の前半期間を期間ａ、後半期間を期間ｂとして、前半の期間ａだけＡ光源のみ点灯させ、後半期間ｂはＡ光源（及びＢ光源）を消灯させる。Ｂ光源の点灯期間も同様に前半の期間ｃと後半の期間ｄに分け、前半の期間ｃだけＢ光源のみ点灯させ、後半期間ｄはＢ光源（及びＡ光源）を消灯させる。上記の光源制御は、ＣＰＵ１０１がプロセッサ装置１３のＣＰＵ８１からの指令を受けて実施する。

内視鏡スコープ１１では、撮像部３３の全画素をグローバルリセットしてから、期間ａにおいてＡ光源照明光のパルス照射を行う。これにより、撮像部３３の全画素は、Ａ光源照明光により電荷蓄積が開始される。そして、期間ａの終了タイミングでＡ光源を消灯することで、撮像部３３の全画素が同一の露光時間での露光が完了する。

次に、図９で示した駆動方法と同様に、各走査ライン（水平画素行）の蓄積電荷を順次読み出す。そして、読み出した蓄積電荷の信号をカラムＣＤＳに転送して相関二重サンプリング処理すると共に、カラムＡＤ変換回路でデジタルデータに変換する。変換されたデジタルデータは、ＦＩＦＯメモリ５９にフレーム画像信号として一旦格納される。

図９では、撮像部から撮像画像信号を読み出してプロセッサ装置１３（図１参照）まで出力するデータ転送時間として、記録画素数が１００万画素以上の高画素撮像部である場合、１／１２０秒では不足すると説明した。本構成においては、期間ｂの１／１２０秒以内に、撮像部３３から蓄積電荷の信号をフレーム画像信号としてＦＩＦＯメモリ５９に出力し、ＦＩＦＯメモリ５９へのフレーム画像信号の転送を完了させている。

これにより、期間ｃの開始までに撮像部３３の全画素の蓄積電荷が読み出された状態となり、撮像部３３は次の露光に支障がない状態となる。期間ｂにおけるＦＩＦＯメモリ５９へのフレーム画像データの転送は、単に、ＦＩＦＯメモリ５９に格納するだけでプロセッサ装置１３側まで転送するものではないため、高速に転送処理を完了できる。

次に、ＬＶＤＳ変換回路６１はＦＩＦＯメモリ５９に格納されたフレーム画像データを読み出して、これを低電圧差動信号に変換し、プロセッサ装置１３の画像処理部８７に転送する。ここで転送されるフレーム画像データを「Ａ画像」とする。

ＦＩＦＯメモリ５９に格納されたフレーム画像データは、フレーム画像データの全てが格納完了される前に、格納完了した画像データからＬＶＤＳ変換とプロセッサ装置１３への転送が開始される。そのため、ＦＩＦＯメモリ５９に格納したフレーム画像データは、次のフレーム画像データの格納が開始される期間ｄの開始タイミングまでにプロセッサ装置１３への転送を完了させればよい。

つまり、半導体素子５３では、ＦＩＦＯメモリ５９にフレーム画像信号の画像情報を格納すると共に、格納されたフレーム画像信号の画像情報を読み出し、プロセッサ装置１３へ転送する。この画像情報の読み出しは、フレーム周期内に行われる。

なお、ＦＩＦＯメモリ５９に撮像画像データを格納してから次の撮像部３３の露光前に、つまり、露光期間毎に全画素をグローバルリセットする構成としてもよい。

上記のように、ＦＩＦＯメモリ５９は、データの書き込みと読み出しを並行して行うため、撮像部３３の全画素に対応した記憶容量を必ずしも設けなくてもよい。

例えば、記録画素数が１３０万画素（水平１３００画素，垂直１０００画素）で、１画素当たり１０bitのデータ量とすると、１フレーム画像のデータ量は、１３Ｍbitとなる。

１／１２０秒でプロセッサ装置１３に転送できる信号量を、１０Ｍbitと仮定すると、１３Ｍbit−１０Ｍbit＝３Ｍbitが、１／１２０秒で転送できない信号量となる。即ち、３Ｍbitのフレーム画像信号を、ＦＩＦＯメモリ５９に保持し、期間ｂ後の期間ｃ（Ｂ光源による電荷蓄積期間）の終了タイミングまでの間に転送すれば済む。

１Ｂ(Byte)は８bitであるため、３Ｍbitは３７５ｋＢとなる。従って、本構成の場合、必要最低限で３７５ｋＢの記憶容量のＦＩＦＯメモリ５９を設ければよい。勿論、これ以上の容量のＦＩＦＯメモリとしてもよい。

次に、ＦＩＦＯメモリ５９から読み出したフレーム画像信号をプロセッサ装置１３に転送する転送速度について説明する。

記録画素数が１３０万画素の撮像部３３により１画素当たり１０bitの撮像画像データを取得するため、１フレームの画像データのサイズは１３Ｍbitとなる。６０フレーム／秒の画像をプロセッサ装置１３に転送するため、１秒間当たりのデータ転送量は、１３Ｍbit×６０＝７８０Ｍbitとなる。

本構成で使用するｓｕｂＬＶＤＳの通信は、撮像部３３からプロセッサ装置１３までのデータ転送距離が３〜４ｍと長いため、動作周波数が５００ＭＨｚの２系統（２ｃｈ）を使用している。つまり、本構成においては１．０Ｇbpsのデータ転送が可能であり、７８０Ｍbpsのデータ転送速度を安定して実現できる。

なお、１２０フレーム／秒の画像を転送する場合、１３Ｍbit×１２０＝１５６０Ｍbitとなり、１．２Ｇbitの転送速度では実現不可能となる。この場合には、例えば動作周波数を８００ＭＨｚとすることで転送可能となる。

以上説明したように、本構成の光源装置１５は、フレーム画像信号のフレーム周期を二等分した前半期間にパルス光を照明光として内視鏡スコープ１１から被検体に向けて照射し、フレーム周期の後半期間に消灯を行う動作を、フレーム周期毎に繰り返す間欠点灯制御を行う。また、撮像部３３は、グローバルリセットして露光動作を行うグローバルシャッタ方式で駆動されると共に、フレーム周期の前半期間を露光期間とし、後半期間内に露光後の信号電荷を読み出してこれをフレーム画像信号として、内視鏡スコープ１１内に搭載されるバッファメモリ５９に出力する。そして、このバッファメモリ５９から、格納されたフレーム画像信号をフレーム周期内に読み出す。
なお、撮像部３３は、画素毎、走査ライン毎、又は数ライン毎にずらして順次リセットして露光動作を行うローリングシャッタ方式で駆動されるものであってもよい。

このように、画像データを一旦バッファメモリに格納するため、多画素化を図った撮像部を用い転送データ量が膨大となった場合でも、撮像部の次回露光期間が完了するまでの間にバッファメモリ５９からプロセッサ装置１３に転送を完了させることで済む。そのため、フレーム周期の後半期間内に転送完了させるため、フレームレートを低下させる必要がなくなり、高速な転送処理を行うことができる。

なお、上記例ではフレーム周期１／６０秒を、前半の１／１２０秒と後半の１／１２０秒とに二等分し、前半期間だけ露光，電荷蓄積を行い、後半期間にＦＩＦＯメモリ５９へのデータ転送を行ったが、前半期間と後半期間との分割形態はこれに限らない。例えば、露光量が必要な場合等に１／１００秒を前半期間とし、１／１５０秒を後半期間としてもよい。この制御は、ＦＩＦＯメモリ５９の容量を十分に確保した上で、図１のＣＰＵ８１からＣＰＵ１０１に指示することで可能である。

＜画像表示＞
次に、フレーム画像データの表示部１７への表示例について説明する。
図６に照明・撮像・画像信号の流れについて示した。図７，図８を用いて説明したように、ローリング・シャッタ方式ＣＭＯＳセンサにパルス光・パルス列光照明を用いての撮像では、横縞等のムラが発生する現象が知られている。図６に示されるように１／６０秒周期でフレームを作るが、照明・蓄積時間をフレーム時間の前半にし、後半に高速読出しを施すシーケンスを取ることで、全画素同時露光であるＣＣＤセンサ、あるいはグローバル・シャッタ方式ＣＭＯＳセンサと同様に、照明パルス数、パルス幅等に依存しない適切な同時露光画像を得ることができる。その画像出力は、図１の画像処理部８７によってフレーム画像とされ、表示制御回路８９を介して表示部１７に１／６０秒周期で画像表示される。ここで、撮像時刻から表示時刻までの遅延は信号処理部の処理演算等に依存するものであり、図６では正確に規定しているものではない。

図５に示す制御例では、Ａ光源として白色光源を用い、Ｂ光源としてヘモグロビン吸収の特性波長の一つである４７０ｎｍ近くの中心発光波長を有するＬＤ光源を用いる。そして、Ａ光源からの照明光で取得した被写体画像を１／６０秒間だけ表示部１７（図１参照）に表示する。次の１／６０秒間は、Ａ光源で得られたフレーム画像とＢ光源で得られたフレーム画像とを画像処理部８７で２画面を演算して求めた演算画像を表示する。この画像表示を、１／６０秒＋１／６０秒＝１／３０秒毎に繰り返すことで、表示部１７に白色光による被写体画像に演算画像が重畳されて表示されることになる。

演算画像としては、例えば特許酸素飽和度の高低が表現された画像、生体表面の毛細血管や微細構造模様が強調された画像、蛍光観察画像等が挙げられる。

また、図５に示す制御例では、Ａ光源とＢ光源とを交互に点灯する図を示しているが、いずれか一方の光源のみを用いて、点灯、消灯を繰り返す照明光としてもよい。

更に、光源を３種類としてＣ光源を用意し、Ａ光源→Ｂ光源→Ｃ光源→Ａ光源→Ｂ光源→…と巡回的に３種類の光源を点灯させる制御も可能である。

例えば、撮像部３３の各画素にカラーフィルタを積層することに代えて、Ａ光源として赤色光光源、Ｂ光源として緑色光光源、Ｃ光源として青色光光源を用いることで、被写体のカラー画像を面順次に得る構成としてもよい。

本発明は上記の実施形態に限定されるものではなく、実施形態の各構成を相互に組み合わせることや、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

上述した構成では、半導体素子に形成したＣＭОＳ型撮像部を用いているが、撮像部はＣＭОＳ型に限らない。撮像部は、ＭОＳトランジスタ回路で撮像画像信号を外部に読み出す形式のものであればよい。また、例えば、特許第４８８７０７９号公報に記載されるような光電変換膜積層型の撮像部であってもよい。

また、各走査ラインの蓄積電荷の読み出しは、上記グローバルシャッタ方式やローリングシャッタ方式に準じた方式に限らず、例えば、蓄積電荷を一旦メモリに取り込み、そのメモリから順次に取り出す方式としてもよい。

以上の通り、本明細書には次の事項が開示されている。
（１） 被検体内に挿入される挿入部先端から照明光を照射し、その挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、その内視鏡スコープに接続され、上記フレーム画像信号に対して画像処理を施す画像処理部を有するプロセッサ装置とを具備する内視鏡装置であって、
上記フレーム画像信号のフレーム周期を二分した前半期間に上記照明光を出射し、上記フレーム周期の後半期間に消灯を行う動作を、上記フレーム周期毎に繰り返す光源部と、
上記内視鏡スコープ内に搭載され、上記撮像部から出力される上記フレーム画像信号の画像情報を記憶するバッファメモリと、
上記バッファメモリから上記フレーム画像信号の画像情報を読み出して上記画像処理部に転送する情報転送部と、を備え、
上記撮像部は、上記フレーム周期の前半期間を露光期間とし、上記後半期間内に露光後の蓄積電荷の信号を読み出して上記フレーム画像信号の画像情報として上記バッファメモリに出力し、
上記情報転送部は、上記バッファメモリから上記フレーム画像信号の画像情報を上記フレーム周期内に読み出す内視鏡装置。
（２） （１）に記載の内視鏡装置であって、
上記撮像部は、ローリングシャッタ方式で駆動される内視鏡装置。
（３） （１）又は（２）に記載の内視鏡装置であって、
上記バッファメモリは、上記撮像部を有する半導体素子に内蔵、又は上記半導体素子に接続されるメモリである内視鏡装置。
（４） （１）乃至（３）のいずれか一項に記載の内視鏡装置であって、
上記バッファメモリはＦＩＦＯメモリである内視鏡装置。
（５） （１）乃至（４）のいずれか一項に記載の内視鏡装置であって、
上記バッファメモリは、上記フレーム画像信号の信号量から上記フレーム周期の上記前半期間に転送可能な信号量を減じた信号量が保持される記憶容量を少なくとも有する内視鏡装置。
（６） （１）乃至（５）のいずれか一項に記載の内視鏡装置であって、
上記情報転送部は、上記フレーム画像信号を低電圧差動信号に変換して上記画像処理部に転送する内視鏡装置。
（７） （１）乃至（６）のいずれか一項に記載の内視鏡装置であって、
上記光源部は、半導体レーザ素子を含んで構成される内視鏡装置。
（８） （１）乃至（７）のいずれか一項に記載の内視鏡装置であって、
上記光源部は、ＬＥＤ素子を含んで構成される内視鏡装置。
（９） （１）乃至（８）のいずれか一項に記載の内視鏡装置であって、
上記光源部は、発光色の異なる複数の光源を備え、各光源が交互又は巡回的に点灯駆動される内視鏡装置。
（１０） （９）に記載の内視鏡装置であって、
上記光源部は、上記フレーム周期毎に異なる色の照明光を出射し、
上記撮像部は、上記照明光毎に面順次で被検体を撮像する内視鏡装置。
（１１） （１０）に記載の内視鏡装置であって、
上記照明光は、白色光、及び上記白色光より狭い可視波長帯の青色乃至近紫外の狭帯域光を少なくとも含む内視鏡装置。
（１２） 被検体内に挿入される挿入部先端から照明光を照射し、その挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、その内視鏡スコープに接続され、上記フレーム画像信号に対して画像処理を施す画像処理部を有するプロセッサ装置とを具備する内視鏡装置の作動方法であって、
光源部が、上記フレーム画像信号のフレーム周期を二分した前半期間に照明光を上記内視鏡スコープから被検体に向けて照射し、上記フレーム周期の後半期間に消灯を行う動作を、上記フレーム周期毎に繰り返し行い、
上記撮像部が、上記フレーム周期の前半期間を露光期間とし、上記後半期間内に露光後の蓄積電荷の信号を読み出して上記フレーム画像信号の画像情報として上記内視鏡スコープ内に搭載されるバッファメモリに出力し、
情報転送部が、上記バッファメモリから上記フレーム画像信号の画像情報を上記フレーム周期内に読み出し、上記画像処理部に転送する内視鏡装置の作動方法。
（１３） （１２）に記載の内視鏡装置の作動方法であって、
上記撮像部が、ローリングシャッタ方式で駆動される内視鏡装置の作動方法。

本発明に係る内視鏡装置は、高品質，高フレームレートで大量の画像データを転送可能となるため、高精細画像撮影用の撮像部を内視鏡スコープの挿入部先端に内蔵した内視鏡装置に適用可能となる。

１１ 内視鏡スコープ
１３ プロセッサ装置
１５ 光源装置
３３ 撮像部
５３ 半導体素子
５９ ＦＩＦＯメモリ
６１ ＬＶＤＳ変換回路
６５ コマンド復調部
８１ ＣＰＵ
８７ 画像処理部（ＤＳＰ）
９３ Ａ光源
９５ Ａ光源駆動回路
９７ Ｂ光源
９９ Ｂ光源駆動回路
１００ 内視鏡装置
１０１ ＣＰＵ

本発明は、撮像モジュール、及び内視鏡装置に関する。

本発明の目的は、内視鏡スコープの挿入部先端に内蔵される撮像部で、高品質且つ高フレームレートの観察画像を取得できる撮像モジュール、及び内視鏡装置を提供することにある。

本発明は下記構成からなる。
（１）内視鏡スコープの先端部に内蔵される撮像モジュールであって、
受光面に結像された光学像を、光電変換して撮像信号として出力する撮像部を有する第１の半導体チップと、
前記撮像信号を格納する転送用バッファメモリを有する第２の半導体チップと、を備え、
前記第１の半導体チップと前記第２の半導体チップは、相互に接続されている撮像モジュール。

（２）上記（１）の撮像モジュールを備える内視鏡スコープと、
前記撮像信号が転送されるプロセッサ装置と、を備える内視鏡装置。

Claims (13)

1. 被検体内に挿入される挿入部先端から照明光を照射し、該挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、該内視鏡スコープに接続され、前記フレーム画像信号に対して画像処理を施す画像処理部を有するプロセッサ装置とを具備する内視鏡装置であって、
   前記フレーム画像信号のフレーム周期を二分した前半期間に前記照明光を出射し、前記フレーム周期の後半期間に消灯を行う動作を、前記フレーム周期毎に繰り返す光源部と、
   前記内視鏡スコープ内に搭載され、前記撮像部から出力される前記フレーム画像信号の画像情報を記憶するバッファメモリと、
   前記バッファメモリから前記フレーム画像信号の画像情報を読み出して前記画像処理部に転送する情報転送部と、を備え、
   前記撮像部は、前記フレーム周期の前半期間を露光期間とし、前記後半期間内に露光後の蓄積電荷の信号を読み出して前記フレーム画像信号の画像情報として前記バッファメモリに出力し、
   前記情報転送部は、前記バッファメモリから前記フレーム画像信号の画像情報を前記フレーム周期内に読み出す内視鏡装置。
2. 請求項１に記載の内視鏡装置であって、
   前記撮像部は、ローリングシャッタ方式で駆動される内視鏡装置。
3. 請求項１又は請求項２に記載の内視鏡装置であって、
   前記バッファメモリは、前記撮像部を有する半導体素子に内蔵、又は前記半導体素子に接続されるメモリである内視鏡装置。
4. 請求項１乃至請求項３のいずれか一項に記載の内視鏡装置であって、
   前記バッファメモリはＦＩＦＯメモリである内視鏡装置。
5. 請求項１乃至請求項４のいずれか一項に記載の内視鏡装置であって、
   前記バッファメモリは、前記フレーム画像信号の信号量から前記フレーム周期の前記前半期間に転送可能な信号量を減じた信号量が保持される記憶容量を少なくとも有する内視鏡装置。
6. 請求項１乃至請求項５のいずれか一項に記載の内視鏡装置であって、
   前記情報転送部は、前記フレーム画像信号を低電圧差動信号に変換して前記画像処理部に転送する内視鏡装置。
7. 請求項１乃至請求項６のいずれか一項に記載の内視鏡装置であって、
   前記光源部は、半導体レーザ素子を含んで構成される内視鏡装置。
8. 請求項１乃至請求項７のいずれか一項に記載の内視鏡装置であって、
   前記光源部は、ＬＥＤ素子を含んで構成される内視鏡装置。
9. 請求項１乃至請求項８のいずれか一項に記載の内視鏡装置であって、
   前記光源部は、発光色の異なる複数の光源を備え、各光源が交互又は巡回的に点灯駆動される内視鏡装置。
10. 請求項９に記載の内視鏡装置であって、
    前記光源部は、前記フレーム周期毎に異なる色の照明光を出射し、
    前記撮像部は、前記照明光毎に面順次で被検体を撮像する内視鏡装置。
11. 請求項１０記載の内視鏡装置であって、
    前記照明光は、白色光、及び前記白色光より狭い可視波長帯の青色乃至近紫外の狭帯域光を少なくとも含む内視鏡装置。
12. 被検体内に挿入される挿入部先端から照明光を照射し、該挿入部先端に内蔵される撮像部により撮像して得たフレーム画像信号を出力する内視鏡スコープと、該内視鏡スコープに接続され、前記フレーム画像信号に対して画像処理を施す画像処理部を有するプロセッサ装置とを具備する内視鏡装置の作動方法であって、
    光源部が、前記フレーム画像信号のフレーム周期を二分した前半期間に照明光を前記内視鏡スコープから被検体に向けて照射し、前記フレーム周期の後半期間に消灯を行う動作を、前記フレーム周期毎に繰り返し行い、
    前記撮像部が、前記フレーム周期の前半期間を露光期間とし、前記後半期間内に露光後の蓄積電荷の信号を読み出して前記フレーム画像信号の画像情報として前記内視鏡スコープ内に搭載されるバッファメモリに出力し、
    情報転送部が、前記バッファメモリから前記フレーム画像信号の画像情報を前記フレーム周期内に読み出し、前記画像処理部に転送する内視鏡装置の作動方法。
13. 請求項１２に記載の内視鏡装置の作動方法であって、
    前記撮像部が、ローリングシャッタ方式で駆動される内視鏡装置の作動方法。

Images