JP5226195B2

JP5226195B2 - 内視鏡装置及び内視鏡装置の作動方法

Info

Publication number: JP5226195B2
Application number: JP2006206830A
Authority: JP
Inventors: 恭輔水野
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2006-07-28
Filing date: 2006-07-28
Publication date: 2013-07-03
Anticipated expiration: 2026-07-28
Also published as: DE102007034351A1; CN101112303A; US8932206B2; CN101112303B; JP2008029621A; US20080027278A1; CN201058015Y

Description

本発明は、内視鏡装置に挿入部先端に設けられる撮像素子の信号処理に関する。

一般に、内視鏡装置の挿入部先端には、体腔内を照明する光源（ライトガイド等）と、観察像を取り込むための対物レンズが取り付けられている。対物レンズにより結像された観察像は、固体撮像素子（例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ）により光電変換され、画像信号として、カメラコントロールユニット（ＣＣＵ）に送出され、ホワイトバランス調整など種々の画像処理が施された後、表示部に表示されている。

観察者は、操作部を操作して体腔内の形状に沿うように挿入部先端を屈曲させつつ挿入して、動画像を観察し、且つ操作部に設けられたシャッタスイッチを操作して、必要と思われる観察箇所を静止画像として撮影している。
特開２００３−１８４５６号公報「ＣＣＤ／ＣＭＯＳイメージ・センサの基礎と応用」ＣＱ出版社Ｐ１７９−１８０：6-1-4［蓄積の同時性］

前述した固体撮像素子による静止画像を撮像する場合、被写体の明るさにもよるが、動きの速い被写体の静止画像には像ブレ等が発生しやすい傾向がある。例えば、非特許文献１に記載されているように、ＣＣＤイメージセンサは、全画素に対して、垂直ＣＣＤに蓄積されている電荷を同時に読み出すことができる。この動作を電子シャッタと組み合わせることにより、比較的に動きの速い被写体に対しても追従して、ブレのない静止画像を得ることができる。しかし、ＣＣＤイメージセンサは、ＣＭＯＳイメージセンサのようにＬＳＩ製造プロセスに近い製造工程では作成できないため、１チップ化（システム・オン・チップ）を実現する際に製造コストがかかり高価である。

一方、ＣＭＯＳイメージセンサは、ＸＹアドレス方式であり、各画素に設けられたスイッチが順次オンされて蓄積された電荷が読み出されている。従って、ＣＭＯＳイメージセンサは、画素単位で蓄積された電荷が増幅されて出力されているため、ＣＣＤイメージセンサに比べて信号伝達回路上でノイズの影響を受けにくく且つ、ＸＹアドレスを指定して読み出すため、読み出しを行う画素領域が制御できるという利点がある。つまり、観察画像全体から見て必要領域のみを指定（トリミング又はズーミング）することができる。その反面、１画像（又はフレーム）において読み出される最初の画素から最後の画素までの読み出し時間までのタイミングにずれが発生する。即ち、ＣＭＯＳイメージセンサは、画素各々が電荷を読み出された直後から再度電荷の蓄積を開始するため、電荷蓄積の同時性がないという問題を有している。

従って、動きの速い被写体を撮像する場合、最初の画素の電荷を読み出したときの被写体構図と、最後の画素の電荷を読み出したときの被写体構図とでは、被写体が変化しており異なっていることとなる。これらの異なる被写体構図における電荷により、１枚の静止画像を構築した場合には、被写体像に歪みが発生する。このような現象については、例えば非特許文献１で説明されている。

この被写体像に歪みを防止する技術として、特許文献１には、メカニカルシャッタ機構を搭載して、静止画像の撮像前にシャッタを閉じた状態で蓄積された電荷をリセットする画像処理装置が提案されている。このようなシャッタ機構を内視鏡装置の挿入部先端に設けることは難しく、また滅菌処理を実施するに際して衛生面から見てもあまり好ましくはない。

そこで本発明は、ＣＭＯＳイメージセンサによる撮像時に電荷蓄積の同時性を有し、動きの速い被写体であっても画像の歪み及び像ずれのない観察像を撮像することができる内視鏡装置及びその撮像方法を提供することを目的とする。

本発明に従う実施形態の内視鏡装置は、外光が届かない体腔内で光源により照明された被写体を先端に設けたＣＭＯＳイメージセンサで動画像又は静止画像からなる観察像を撮像する挿入部及び、該挿入部に連結して静止画の撮像指示を行うためのフリーズ信号を入力するためのスイッチが設けられた内視鏡本体と、動画像の撮像中に前記スイッチの操作によるフリーズ信号の入力に従い、前記光源を消灯してから、前記ＣＭＯＳイメージセンサの全画素内に蓄積されている電荷をリセットした後、フリーズ信号の入力されたフレームと同一フレーム内で、動画像の撮影時よりも大きい光量で前記光源を点灯し、前記ＣＭＯＳイメージセンサによる静止画像の撮像を行い、撮像終了後に前記光源を消灯し、及び各画素から電荷の読み出しまでを行う、静止画像の撮像制御を行う制御部を有するカメラコントロールユニットと、撮像された前記動画像又は前記静止画像からなる観察像及び該観察像に関する情報を表示するモニタと、を具備する。

さらに、本発明に従う実施形態の内視鏡装置の作動方法は、光源で照明された体腔内をＣＭＯＳイメージセンサにより撮像し、動画像又は静止画像からなる観察画像として観察する内視鏡装置の作動方法であって、前記内視鏡装置は、動画像の撮像中に入力された静止画像の撮像を指示するフリーズ指示によるフリーズ信号の入力に従い、前記光源を消灯してから、前記ＣＭＯＳイメージセンサの各画素内に蓄積されている電荷量をリセットし、前記リセット後に、同一フレーム内で、動画像の撮像時よりも大きい光量で前記光源を点灯させて、前記ＣＭＯＳイメージセンサによる静止画像の撮像を行い、前記静止画像の撮像後に、前記光源を再度消灯し及び、前記各画素から電荷の読み出しまでを行い、前記ＣＭＯＳイメージセンサの各画素に対する蓄積の同時性を制御する。

本発明によれば、ＣＭＯＳイメージセンサによる撮像時に電荷蓄積の同時性を有し、動きの速い被写体であっても画像の歪み及び像ずれのない観察像を撮像することができる内視鏡装置及び内視鏡装置の作動方法を提供することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。
図１には、本発明に係る撮像システムの概略的な構成例を示す。
この撮像システムは、被写体を撮像し光電変換により画像信号を生成するＣＭＯＳイメージセンサ１と、ＣＭＯＳイメージセンサ１を駆動するＣＭＯＳセンサ駆動制御回路２と、生成された画像信号に対して、ノイズ除去及びゲイン調整を施しデジタル信号化を行うためのノイズ除去回路／ＡＧＣ／ＡＤ回路３と、デジタル画像信号に対して画像合成やホワイトバランス処理などの種々の画像処理を行うデジタル信号処理部（ＤＳＰ）４と、ＣＭＯＳイメージセンサ１の撮像時に撮像範囲を照明する光源５（ＬＥＤ５ａ，５ｂ）と、ＬＥＤ５ａ，５ｂの発光量を制御し駆動するＬＥＤドライバ６（６ａ，６ｂ）と、装置全体の制御及び演算処理を行う中央処理部（ＣＰＵ：制御部）７と、ＣＭＯＳイメージセンサ１による静止画像を撮像するためのシャッタ指示（トリガ動作）を行うフリーズＳＷ８と、ＤＳＰ４から出力された画像処理された画像データをフレーム単位又は画像１枚単位で格納するメモリ部９と、画像データを表示させるため処理（例えば、アナログ化処理等）を施し、モニタ１１に出力するＤＡ回路／ドライバ１０と、動画像又は静止画像からなる観察像及び該観察像に関する情報（観察位置やパラメータ等）を表示する液晶ディスプレイ等の表示用モニタ１１とで構成される。

図２には、第１の実施形態として、前述した撮像システムを搭載する内視鏡装置の構成例を示す。本実施形態の構成部位において、図１に示した構成部位と同等の部位には同じ参照符号を付して、その説明を省略する。

この内視鏡装置は、殆ど外光が届かない体腔内（闇空間）に挿入される挿入部２１と、挿入部２１に連結し静止画撮像の指示を行うためのフリーズＳＷ８が設けられた操作部２２と、撮像素子及び光源を駆動制御し撮像された画像信号に種々の処理を施すカメラコントロールユニット（ＣＣＵ）２４と、撮像された観察像を表示するモニタ１１と、で構成される。挿入部２１と操作部２２により内視鏡装置本体が構成され、複数の信号線からなるケーブル２３によりＣＣＵ２４に接続されて撮像された画像信号及びフリーズ信号を含む各制御信号の伝搬が行われる。尚、内視鏡装置本体は、挿入部２１が可撓性を有し、操作部２２に設けられた操作部位により可撓制御が行われる構成であってもよい。

挿入部２１の先端部分には、ＣＭＯＳイメージセンサ１とＬＥＤ５ａ，５ｂと図示しない鉗子孔（鉗子通路）が設けられている。ここでの鉗子孔についての説明は省略する。ＣＭＯＳイメージセンサ１は、ケーブル２３を介してＣＭＯＳセンサ駆動・制御回路２に接続され、ＬＥＤ５ａ，５ｂは、ケーブル２３を介してＬＥＤドライバ６ａ，６ｂに接続されている。

ＣＣＵ２４は、撮像に関するもののみを図示しており、少なくとも前述したＣＭＯＳセンサ駆動制御回路２と、ＡＦＥ（ノイズ除去回路／ＡＧＣ／ＡＤ回路）３と、デジタル信号処理部ＤＳＰ４と、ＬＥＤドライバ６と、ＣＰＵ７と、メモリ部９と、ＤＡ回路１０ａ，ドライバ１０ｂ（ＤＡ回路／ドライバ１０）とを備えている。その他、内視鏡装置の駆動に必要な通常の構成部位は備えているものとして、その説明は省略する。

尚、この内視鏡装置の構成例では、ＬＥＤ５ａ，５ｂを挿入部２１の先端部分に設けているが、他にも、操作部２２内又はＣＣＵ２４内に設けて、ライトガイドにより導光してもよい。また、ＬＥＤに換わって、レーザダイオードを用いてもよい。ＣＣＵ２４内に光源を設ける構成であれば、点灯及び消灯の応答が速いランプを用いることもできる。さらに、本実施形態では、１つのＣＭＯＳイメージセンサを用いた構成例であったが、２つ以上のＣＭＯＳイメージセンサを用いて、立体画像を撮像する撮像システムにも適用できる。本実施形態は、体腔内で静止画像を撮像するにあたって、まず、ＬＥＤ５ａ，５ｂを消灯させて、ＣＭＯＳイメージセンサ２の各画素内に、これまでに蓄積されている電荷を高速に読み出して（掃き出して）、電荷量を“０”にリセットする。尚、このリセットは、電荷量は必ずしも全ての画素が０になることに限定されるものではなく、できる限り“０”に近くなるように掃き出されることが好ましく、且つ静止画像撮像前に全ての画素が均一な電荷量であることが好適する。または、グローバルセット機能を備えるＣＭＯＳイメージセンサであれば、全画素の電荷量をリセットする。ここでは、ＬＥＤ５ａ，５ｂを消灯させた場合、体腔内にあるＣＭＯＳイメージセンサ２に殆ど外光が届かず、各画素には電荷が蓄積されないものとする。

これらの手法により、各画素に蓄積された電荷をリセットすると、ＣＭＯＳイメージセンサ２の全画素には電荷が蓄積されていない状態となる。このリセット状態からＬＥＤ５ａ，５ｂを点灯させてＣＭＯＳイメージセンサによる静止画像の撮像を行う。従って、ＣＭＯＳイメージセンサ２の画素に対する蓄積の同時性を実現する。

図３に示すタイミングチャート及び図４に示すフローチャートを参照して、この構成における撮像動作について詳細に説明する。
まず、体腔内に挿入部２１が挿入され、ＣＭＯＳイメージセンサ２に撮像された動画像の観察像がモニタ１１に表示される（Ｓｔｅｐ１）。その後、体腔内の観察終了の操作があったか否かを判定する（Ｓｔｅｐ２）。ここで観察終了であれば、シーケンスを終了させる。一方、観察終了でなく（ＮＯ）、静止画像の撮像を行うためのフリーズＳＷ８のオン操作があったか否かを判定する（Ｓｔｅｐ３）。この判定で、フリーズＳＷ８のオン操作がなければ（ＮＯ）、ステップ１に戻り、動画表示を継続する。一方、フリーズＳＷ８のオン操作が行われたならば（ＹＥＳ）、図３におけるフリーズ信号が発生すると共に、ＬＥＤ５ａ，５ｂが消灯する（時間ｔ１）。その後、期間ｔａの間に全画素における蓄積電荷Ｓ１，Ｓ２が高速で掃き出され、リセットされる（Ｓｔｅｐ５）。又は、グローバルセット機能により全画素に蓄積された電荷が一括的にリセットされる。

次に、電荷リセット完了後（時間ｔ２）に、ＬＥＤ５ａ，５ｂが点灯され（Ｓｔｅｐ６）、ＣＭＯＳイメージセンサ２の全画素に対して電荷の蓄積が一斉に開始される（Ｓｔｅｐ７）。この時の点灯は、フラッシュ点灯（点滅を含む）でもよいし、通常の点灯であってもよい。また、静止画像の撮像時の照明光Ｓ５は、撮像時間の高速化を図るために、図３に示すように、動画像を表示する際の照明光量Ｓ４，Ｓ６よりも多くするように設計されている。

そして、想定した電荷量Ｓ３が全画素に蓄積される予め定めた設定時間（チャージアップ期間ｔｂ）が経過したか否かを判定する（Ｓｔｅｐ８）。この判定で、設定時間が経過した（時間ｔ３）ならば（ＹＥＳ）、ＬＥＤ５ａ，５ｂを消灯させると共に（Ｓｔｅｐ９）、ＣＭＯＳイメージセンサ２の画素から蓄積された電荷の読み出しが開始される（Ｓｔｅｐ１０）。尚、電荷の読み出しは、全画素からの電荷読み出しと、例えばトリミングやズーミング等による画素全体から見て一部の領域の画素からの読み出しとがある。

ここで、照明の消灯を伴う画素からの電荷の読み出しについて説明する。ＣＭＯＳイメージセンサ２は、課題の項でも説明したように、構成上、全画素に対して同時読み出しを行うことができず、ＸＹアドレス方式による順次読み出しとなる。従って、電荷の読み出し順が遅い画素ほど、受光する時間が長くなり電荷が蓄積されてしまう。そこで本実施形態では、各画素から電荷を順次読み出す際に、ＬＥＤ５ａ，５ｂを消灯させておくことにより、読み出し前の画素に対して、さらに電荷を蓄積させないようにしている。この操作により、通常の速度で電荷を読み出しても、全画素に対して同じ受光時間となるため、歪みが生じていない観察像を作成することができる。

次に、各画素から電荷の読み出し（期間ｔｃ）が終了したか否かを判定する（Ｓｔｅｐ１１）。この判定で読み出しが終了したならば、ＬＥＤ５ａ，５ｂを点灯し（Ｓｔｅｐ１２）、動画像の取り込みを開始する。この時、撮像確認を行わせるために、モニタ１１に動画像を表示させる前に撮像した静止画像を表示させる（Ｓｔｅｐ１３）。この静止画像をモニタ１１に確認に必要な時間が経過すると、自動的に動画像に切り換えられる。勿論、別途、スイッチを操作して手動により静止画像から動画像に切り換えることも可能である。

以上説明したように、本実施形態の第１の実施形態に係る撮像システムは、体腔内等の闇空間内に内視鏡の挿入部２１が挿入され、静止画像の撮像にあたり、消灯下でＣＭＯＳイメージセンサ２の全画素に蓄積されている電荷がリセットされる。このリセットにより、各画素に異なる電荷量で蓄積されていたそれぞれの電荷が無くなり、０又は０に近い略同一値の電荷となる。さらに、この時点から光源を点灯して被写体を照明し、各画素に対して所望する光量が得られた後に消灯し、消灯下で各画素に蓄積された電荷の読み出しを行う。この消灯下の電荷読み出しは、電子スチルカメラのおける露光後にシャッタを閉じた状態で撮像素子から電荷を読み出すことと全く同じ状態を作り出している。このため、画素から電荷読み出している最中に、読み出し前の画素に対して、更なる光量が与えられることがなく、静止画像の像ブレや歪みの発生を防止させることができる。

また本実施形態の撮像システムは、体腔内以外であっても、光源の消灯時にＣＭＯＳイメージセンサに光量を与えない被写体環境であれば適用することができる。例えば、敷設された管等の内部を移動する又は動く被写体を撮像する撮像システムが考えられる。

次に図５に示すタイミングチャートを参照して、第２の実施形態について説明する。
本実施形態は前述した第１の実施形態に対して、光源、即ちＬＥＤ５ａ，５ｂの単位時間あたりの発光光量を増大させて、ＣＭＯＳイメージセンサ２の各画素における電荷の蓄積時間を短時間化させる例である。本実施形態の構成は、光源（ＬＥＤ５ａ，５ｂ）の発光量以外は前述した第１の実施形態の構成と同等であり、同じ参照符号を用いて構成の説明を省略する。

本実施形態は、図５に示すように、フリーズＳＷ８のオン操作によるフリーズ信号が発生すると共に、ＬＥＤ５ａ，５ｂが消灯する（時間ｔ１）。その後、期間ｔａの間に全画素における蓄積電荷Ｓ１，Ｓ２がリセットされる。電荷リセット完了後（時間ｔ２）に、ＬＥＤ５ａ，５ｂが点灯され、第１の実施形態に比べて大光量の照明光が照射される。大光量で点灯することにより、露光時間が短時間化される。これにより、さらに、像ぶれや歪みの少ない静止画像を得ることもできる。この時の点灯は、フラッシュ点灯（点滅を含む）でもよいし、通常の点灯であってもよい。この照明下において、短時間で各画素の電荷が所望する電荷量までチャージアップされる。この例では、図５に示すように、チャージアップ期間ｔｄ後に、ＬＥＤ５ａ，５ｂを消灯させると共に、ＣＭＯＳイメージセンサ２の画素から蓄積された電荷の読み出しが開始される。電荷の読み出し完了後の任意期間ｔｅの後に、ＬＥＤ５ａ，５ｂが点灯され（時間ｔ６）、動画像の取り込みが開始される。この時、第１の実施形態と同様に、確認のために、モニタ１１に撮像した静止画像を表示させて、その後、動画像に切り換える。

このように大光量の照明光を照射させるために、ＬＥＤドライバによる発光制御の他に、種々の方法がある。例えば、発光光量の大きいＬＥＤを選択しまたはＬＥＤの数量を増やして発光制御する。または発光光量の大きいＬＥＤを選択し、２つのＬＥＤのうち動画像の撮像時には１つのＬＥＤを点灯させ、静止画像の撮像時には２つのＬＥＤを点灯させる等が考えられる。

また、ＣＭＯＳイメージセンサにおける電荷の読み出しは、ＣＣＤに比べて読み出し速度の高速化が実現しやすい。これは、ＸＹアドレス方式を構成するための読み出し用配線（行選択線及び列信号線）を複線化することにより、略同時に複数の画素から読み出しを行い、見かけ上の読み出し速度を上げることにより、直後のフィールドで静止画像をモニタ表示させることもできる。

本発明は、以下の発明を含んでいる。
（１）外光が届かない闇空間で照明された被写体を撮像し光電変換により画像信号を生成するＣＭＯＳイメージセンサと、
前記ＣＭＯＳイメージセンサを駆動するＣＭＯＳセンサ駆動制御回路と、
生成された画像信号に対して、ノイズ除去含む信号調整及びデジタル化処理を行う信号調整回路と、
デジタル画像信号に対して画像処理を施すデジタル信号処理部と、
画像処理された画像信号をフレーム単位又は画像１枚単位で格納するメモリ部と、
ＣＭＯＳイメージセンサの撮像時に撮像範囲を照明する光源と、
前記光源の発光量を制御し駆動する光源駆動部と、
装置全体の制御及び演算処理を行う中央処理部と、
前記ＣＭＯＳイメージセンサによる静止画像を撮像するためのシャッタ指示を行うフリーズＳＷと、
デジタル信号処理部ＤＳＰ４から出力された画像データを記録するメモリ部と、
画像データを表示させるため処理を施す表示駆動部と、
表示駆動部から出力された画像信号を表示するモニタと、で構成され、
前記フリーズＳＷにより静止画像を撮像するに先だって、前記光源による照明を消灯し、前記ＣＭＯＳイメージセンサの各画素内に蓄積されている電荷をリセットし、該リセット状態から前記光源を点灯させて、該ＣＭＯＳイメージセンサによる静止画像の撮像を行い、撮像終了後に各画素から電荷を読み出す間、前記光源による照明を消灯させて、読み出し前の画素に対して、さらに電荷を蓄積させないように、前記ＣＭＯＳイメージセンサの画素に対する蓄積の同時性を制御することを特徴とする撮像システム。

第１の実施形態に係る撮像システムの構成例を示す図である。第１の実施形態の撮像システムを搭載する内視鏡装置の構成例を示す図である。内視鏡装置に搭載された撮像システムの撮像動作について説明するためのタイミングチャートである。内視鏡装置に搭載された撮像システムの撮像動作について説明するためのフローチャートである。第２の実施形態の撮像システムの撮像動作について説明するためのタイミングチャートである。

符号の説明

１…ＣＭＯＳイメージセンサ、２…ＣＭＯＳセンサ駆動制御回路、３…ノイズ除去回路／ＡＧＣ／ＡＤ回路（ＡＦＥ）、４…デジタル信号処理部（ＤＳＰ）、５，５ａ，５ｂ…ＬＥＤ（光源）、６，６ａ，６ｂ…ＬＥＤドライバ、７…中央処理部（ＣＰＵ）、８…フリーズＳＷ、９…メモリ部、１０…ＤＡ回路／ドライバ、１０ａ…ＤＡ回路、１０ｂ…ドライバ、１１…モニタ、２１…挿入部、２２…操作部、２３…ケーブル、２４…カメラコントロールユニット（ＣＣＵ）。

Claims

外光が届かない体腔内で光源により照明された被写体を先端に設けたＣＭＯＳイメージセンサで動画像又は静止画像からなる観察像を撮像する挿入部及び、該挿入部に連結して静止画の撮像指示を行うためのフリーズ信号を入力するためのスイッチが設けられた内視鏡本体と、
動画像の撮像中に前記スイッチの操作によるフリーズ信号の入力に従い、前記光源を消灯してから、前記ＣＭＯＳイメージセンサの全画素内に蓄積されている電荷をリセットした後、フリーズ信号の入力されたフレームと同一フレーム内で、動画像の撮影時よりも大きい光量で前記光源を点灯し、前記ＣＭＯＳイメージセンサによる静止画像の撮像を行い、撮像終了後に前記光源を消灯し、及び各画素から電荷の読み出しまでを行う、静止画像の撮像制御を行う制御部を有するカメラコントロールユニットと、
撮像された前記動画像又は前記静止画像からなる観察像及び該観察像に関する情報を表示するモニタと、
を具備することを特徴とする内視鏡装置。
前記内視鏡装置において、
前記光源は、前記挿入部の先端又は前記操作部内の何れかに設けられ、発光ダイオード（ＬＥＤ）又はレーザダイオードの何れかにより構成されることを特徴とする請求項１に記載の内視鏡装置。
光源で照明された体腔内をＣＭＯＳイメージセンサにより撮像し、動画像又は静止画像からなる観察画像として観察する内視鏡装置の作動方法であって、
前記内視鏡装置は、
動画像の撮像中に入力された静止画像の撮像を指示するフリーズ指示によるフリーズ信号の入力に従い、前記光源を消灯してから、前記ＣＭＯＳイメージセンサの各画素内に蓄積されている電荷量をリセットし、前記リセット後に、同一フレーム内で、動画像の撮像時よりも大きい光量で前記光源を点灯させて、前記ＣＭＯＳイメージセンサによる静止画像の撮像を行い、前記静止画像の撮像後に、前記光源を再度消灯し及び、前記各画素から電荷の読み出しまでを行い、前記ＣＭＯＳイメージセンサの各画素に対する蓄積の同時性を制御することを特徴とする内視鏡装置の作動方法。