JP2014113313A - 電子内視鏡システム - Google Patents

Abstract

【課題】ローリングシャッタを用いる電子内視鏡においても、ストロボスコープ画像を適正に得る。
【解決手段】電子スコープ１１のライトガイド２１をストロボ発光装置１４の光源部２３へ接続する。マイクロフォン２８で集音される音声波形に基づき、光源部２３においてストロボ発光を行うとともにストロボ発光期間に対応してストロボ発光パルスを生成する。ストロボ発光パルスに同期させ撮像素子１５を駆動し、画素信号の読み出しを開始する。撮像素子１５から画素信号を読み出している期間、ストロボ発光禁止パルスを出力し、光源部２３でのストロボ発光を禁止する。
【選択図】図１

Description

本発明は、照明光を断続的に照射してストロボスコピーを行う電子内視鏡システムに関し、特に声帯のストロボスコピー検査を行う喉頭ストロボスコープに関する。

例えば喉頭ストロボスコピーを行う電子内視鏡システムでは、マイクロフォンを用いて被験者の声を検出し、声の基本周波数に合わせて照明光を断続的に照射することで、所定位相における声帯の様子や、声帯のスローモーション画像を撮影する（特許文献１）。

特開２００４−１６６７６１号公報

従来の喉頭ストロボスコピー検査には、ファイバスコープやグローバルシャッタ機能を備えたＣＣＤを用いた電子スコープが用いられる。しかし近年では、ＣＭＯＳイメージセンサの普及にともない、喉頭スコープにおいてもＣＭＯＳイメージセンサの利用が求められている。しかし、小型のＣＭＯＳイメージセンサはローリングシャッタを用い、グローバルシャッタ機能を備えていないためＣＣＤと同様の方法でストロボスコピー検査に用いることはできない。

本発明は、ローリングシャッタを用いる電子内視鏡において、ストロボスコープ画像を適正に得ることを課題としている。

本発明の電子内視鏡システムは、ローリングシャッタを用いて撮影を行う撮像手段と、ストロボスコープ撮影のため照明光を断続的に照射可能な照明手段とを備え、ストロボスコープ撮影において撮像手段は照明光の照射終了に合わせて画像読出しを開始し、画像読出しが終了するまでの間、照明手段は照明光の照射を禁止することを特徴としている。

また電子内視鏡システムは、ストロボスコープ撮影において読み出される画像を順次一時的に保持する画像メモリと、ビデオ信号に同期して画像メモリに保持される最新の画像を出力する画像出力手段とを備えることが好ましい。

電子内視鏡システムは更に撮影対象物の振動周波数を検出する周波数検出手段を備えることが好ましく、ストロボスコープ撮影における照明光の照射タイミングが、周波数検出手段において検出される基本周波数に基づいて決定されることが好ましい。

本発明によれば、ローリングシャッタを用いる電子内視鏡においても、ストロボスコープ画像を適正に得ることができる。

本発明の一実施形態である電子内視鏡システムの構成を示すブロック図である。 通常の内視鏡画像撮影時における撮像素子からの画素信号の読み出しのタイミングと画像出力のタイミングを示すタイミングチャートである。 ストロボスコープ撮影における発光のタイミングと撮像素子からの画素信号の読み出しのタイミングを音声波形とともに示すタイミングチャートである。 ストロボモードでの各フレーム画像の出力タイミングを示すタイミングチャートである。 ストロボモードにおけるプロセッサ装置の処理動作を示すフローチャートである。 ストロボモードにおけるストロボ発光装置の処理動作を示すフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である電子内視鏡システムの構成を示すブロック図である。

本実施形態の電子内視鏡システム１０は、電子スコープ１１と、電子スコープ１１が着脱自在に接続されるプロセッサ装置１２と、プロセッサ装置１２からの映像を表示するモニタ１３と、ストロボスコピー用の照明光を電子スコープ１１へ供給するストロボ発光装置１４とから構成される。なお本実施形態において電子スコープ１１は例えば喉頭内視鏡である。

電子スコープ１１の先端には、ローリングシャッタを用いる撮像素子（ＣＭＯＳイメージセンサ）１５が搭載され、例えばプロセッサ装置１２に設けられた駆動回路１６からの駆動信号により駆動・制御される。撮像素子１５では、対物レンズ１５Ａを通して所定のレートでの撮像が行われ、検出された画像信号はプロセッサ装置１２の前段信号処理回路１７へと送られる。前段信号処理回路１７では画像信号がデジタル信号に変換されるとともに所定の画像処理が施され、順次フレームメモリ１８に一時的に保存される。また、フレームメモリ１８に保存された画像（フレーム画像）は、順次後段信号処理回路１９へ送られ、例えば所定規格のビデオ信号に変換されてモニタ１３などの出力装置へと出力される。なお、駆動回路１６、前段信号処理回路１７、フレームメモリ１８、後段信号処理回路１９は、タイミングコントローラ２０からの各種同期信号に基づき制御される。

また、撮像素子１５による被写体の撮影は、ライトガイド２１を通して電子スコープ１１の先端に供給され、照明レンズ２１Ａを通して電子スコープ先端から照射される照明光の下で行われる。ライトガイド２１へは、プロセッサ装置１２の光源部２２、あるいはストロボ発光装置１４の光源部２３から照明光が供給される。図１には、ストロボスコピー検査を行う場合（ストロボモード選択時）の接続状態が示され、ライトガイド２１はストロボ発光装置１４の光源部２３に接続されているが、通常撮影を行う場合（通常モード選択時）には、例えばプロセッサ装置１２の光源部２２へライトガイド２１は接続される。

なおプロセッサ装置１２の光源部２２、およびタイミングコントローラ２０は、プロセッサ装置全体の制御を行うシステムコントローラ２４により制御される。またシステムコントローラ２４には、各種スイッチやインジケータが設けられ、例えばプロセッサ装置１２の正面に配置されるフロントパネル２５が接続される。システムコントローラ２４は、ユーザによるフロントパネル２５のスイッチ操作により各種処理の選択や各種モードの切替えを行うことができる。

また、本実施形態のプロセッサ装置１２は、ストロボ発光装置１４と電気的に接続され、プロセッサ装置１２には、ストロボ発光装置１４からのストロボ発光パルスを受信・検出する発光信号検出部２６が設けられる。発光信号検出部２６において、ストロボ発光パルスが検出されるとタイミングコントローラ２０へ検出信号が出力され、後述するように駆動回路１６で生成される撮像素子１５の駆動信号のタイミングが変更される。なおストロボ発光パルスは、後述するように光源部２３からライトガイド２１へ供給される照明光の供給期間に対応するパルス信号であり、ストロボ発光装置１４のメイン制御部２７で生成される。

ストロボ発光装置１４には、被験者が発する音声を集音するマイクロフォン２８が設けられ、音声ピッチ検出回路２９においてそのピッチ（基本周波数）および位相が検出される。例えば、検出された音声ピッチおよび位相は、後述するピッチ検出パルスとしてメイン制御部２７に出力され、メイン制御部２７では、ピッチ検出パルスに基づき光源部２３での発光が制御されるとともに、ストロボ発光パルス信号が生成される。

メイン制御部２７には、各種スイッチやインジケータが設けられ、例えばストロボ発光装置１４の正面に配置されるフロントパネル３０が接続される。メイン制御部２７では、ユーザによるフロントパネル３０のスイッチ操作に基づき、所定位相の静止画撮影を行うか、位相を一定のピッチで移動するスローモーション画像の撮影を行うかの選択、あるいは静止画撮影における位相の選択が行われ、これらの選択に合わせて検出されたピッチおよび位相に応じたピッチ検出パルスが生成される。

また、本実施形態のストロボ発光装置１４には、禁止信号検出部３１が設けられる。禁止信号検出部３１は、プロセッサ装置１２のタイミングコントローラ２０からストロボ発光禁止パルスを受信する。禁止信号検出部３１においてストロボ発光禁止パルスが検出されると、メイン制御部２７により光源部２３の発光が禁止される。

次に図１および図２のタイミングチャートを参照して、通常撮影時（通常モード）におけるローリングシャッタを用いた撮像素子（ＣＭＯＳ）１５からの画素信号の読み出しのタイミングと、フレームメモリ１８への各フレーム画像の保存のタイミング、後段信号処理回路１９への各フレーム画像の出力のタイミング、すなわちモニタ１３への各フレーム画像の出力のタイミングについて説明する。

図２（ａ）は、ローリングシャッタを用いた各ライン（１フレーム画像を構成する第１ライン〜第ｎライン）の撮像素子１５からの読み出しタイミング、図２（ｂ）は、撮像素子１５からの読み出しに対応してフレームメモリ１８に保存される各フレーム画像（第１フレーム〜第ｎフレーム）のシーケンス、図２（ｃ）は、フレームメモリ１８および後段信号処理回路１９へ出力される６０ｆｐｓのビデオ同期信号、図２（ｄ）は、ビデオ同期信号に合わせて後段信号処理回路１９から出力され、モニタ１３に表示される各フレーム画像のシーケンスを示す。

図２に示されるように、通常撮影時には、各フレーム（第１〜第ｎフレーム）の撮像素子１５からの読み出し周期が、出力用のビデオ同期信号（例えば６０ｆｐｓ）に同期され、後段信号処理回路１９からは、現在撮像素子１５から読み出されているフレームの画像信号が順次出力される。

次に図１および図３、図４のタイミングチャートを参照して、本実施形態におけるローリングシャッタを用いたストロボスコープ撮影処理および出力処理について説明する。

図３は、本実施形態のストロボスコープ撮影（ストロボモード）における発光のタイミングと画素信号の読み出しのタイミングを示すタイミングチャートである。図３（ａ）にはマイクロフォン２８で集音される音声の基本波形、図３（ｂ）にはピッチ検出パルス、図３（ｃ）にはストロボ光発パルス、図３（ｄ）にはローリングシャッタを用いた各ライン（第１ライン〜第ｎライン）の読み出しのタイミング、図３（ｅ）にはプロセッサ装置１２のタイミングコントローラ２０から出力されるストロボ発光禁止パルスが示される。

図３には、特定位相の静止画を撮影するときの撮影処理が例示される。ここで音声ピッチ検出回路２９は、音声基本波形Ｖの所定位相に対応して基本周期Ｔ（実際には基本周期の整数倍の周期）でピッチ検出パルスＰＳを生成し、メイン制御部２７へ出力する。メイン制御部２７は、ピッチ検出パルスＰＳが入力され、かつプロセッサ装置１２のタイミングコントローラ２０からストロボ発光禁止パルスＰＢが出力されていないとき、光源部２３を発光するとともに照明光がライトガイド２１に供給されている間（ストロボ光発光期間）に亘って、ストロボ発光パルスＰＬをハイ（Ｈ）状態にし、プロセッサ装置１２の発光信号検出部２６へ出力する。なお、ストロボ光発光期間が終了するとストロボ発光パルスＰＬはロー（Ｌ）状態に戻される。

プロセッサ装置１２の駆動回路１６は、発光信号検出部２６においてストロボ発光パルスＰＬの立ち下がりが検出されると撮像素子１５におけるローリングシャッタによる画素信号の読出しを開始し、タイミングコントローラ２０は、ローリングシャッタによる撮像素子１５からの画像読出しが行われている間、ストロボ発光禁止パルスＰＢをストロボ発光装置１４の禁止信号検出部３１へと出力する。

以上の構成により、本実施形態では、ビデオ同期信号とは無関係に、音声基本波形に基づき生成されるピッチ検出パルスの出力タイミングと、１画面の読出しに要する読出し期間の関係により撮影のフレームレートが決定される。また光源部２３のストロボ発光（照明光の照射）が撮像素子１５で画像読出しが行われている間禁止されるので、露光が重複すること（二重露光）が防止される。なお、本実施形態のストロボモードにおいて１画面の読み出しに要する期間は通常撮影時と同じであるが必ずしも同じである必要はない。

図３に示される例では、１番目と３番目のピッチ検出パルスＰＳが入力されるとき、ストロボ発光禁止パルスＰＢがローなのでストロボ発光パルスＰＬが生成され、２番目と４番目のピッチ検出パルスＰＳが入力されるときには、ストロボ発光禁止パルスＰＢがハイなので、ストロボ発光パルスＰＳは生成されない。

次に図１、図４を参照して、本実施形態のストロボモードでの画像出力処理について説明する。図４（ａ）は、メイン制御部２７で生成されるストロボ発光パルスＰＬを示し、図４（ｂ）は、ストロボ発光パルスＰＬの立ち下がりに同期して開始されるローリングシャッタを用いた各ライン（１フレーム画像を構成する第１ライン〜第ｎライン）の読み出しタイミングを示す。また、図４（ｃ）は、図４（ｂ）の読出しに対応してフレームメモリ１８に保存される各フレーム画像（第１フレーム〜第３フレーム）のシーケンスを示し、図４（ｄ）は、フレームメモリ１８および後段信号処理回路１９へ出力される６０ｆｐｓのビデオ同期信号を示す。そして、図４（ｅ）に、ビデオ同期信号に合わせて後段信号処理回路１９から出力され、モニタ１３に表示される各フレーム画像のシーケンスを示す。

図４において、ビデオ同期信号のフレームレートは、ストロボ発光パルスＰＬに基づく撮像素子１５からの読み出しフレームレート（ストロボ発光パルスＰＬの周波数）よりも高いので、ビデオ同期信号において次のフレームに対応する同期信号が出力されても、フレームメモリ１８には、前のフレームの画像しか保存されていない。そのため本実施形態の画像出力処理では、フレームメモリ１８に次のフレームの画像が保存されるまでの間、直前のフレームの画像をビデオ同期信号に同期して出力する。図４の例では、６０ｆｐｓに合わせて、撮影画像の第１フレームが２回、第２フレームが２回、順次出力されている。

次に図１および図５、図６のフローチャートを参照して、本実施形態の電子内視鏡システム１０におけるプロセッサ装置１２、ストロボ発光装置１４のストロボモードにおける動作の流れについて説明する。

図５は、ストロボモードにおけるプロセッサ装置１２の処理動作を示すフローチャートである。本処理は、例えばユーザによりストロボモードの選択がなされた場合、あるいはストロボ発光装置１４との接続が電気的に検出された場合などに開始される。

ステップＳ１００では、撮像素子１５の読み出し動作を停止する。次に、ステップＳ１０２において、タイミングコントローラ２０から出力されるストロボ発光禁止パルスの出力レベルをロー（Ｌ）にする。ステップＳ１０４では、発光信号検出部２６においてストロボ発光パルスの入力がハイ（Ｈ）であるか否かが判定され、ハイ（Ｈ）でない場合（ロー（Ｌ）の場合）には、すなわちストロボ発光パルスＰＬ（図３、４参照）の入力がなければ、同ステップの判定が繰り返される。

一方、ステップＳ１０４においてストロボ発光パルスＰＬがハイ（Ｈ）である、すなわちストロボ発光パルスＰＬの入力があったと判定されると、ステップＳ１０８において、タイミングコントローラ２０からのストロボ発光禁止パルスの出力がハイ（Ｈ）に切り替えられる。そしてステップＳ１１０においてストロボ発光パルスＰＬの立ち下がり（照明光の照射終了に対応）に合わせてローリングシャッタを用いた撮像素子（ＣＭＯＳ）１５の読み出しを開始し、ローリングシャッタによる１画面分の読み出しが完了すると、ステップＳ１０２へ処理は戻る。すなわち、再びストロボ発光禁止パルスの出力がロー（Ｌ）に変更され、同様の処理が、ストロボスコープ撮影が行われる間、プロセッサ装置１２において繰り返される。

図６は、ストロボモードにおけるストロボ発光装置１４の処理動作を示すフローチャートである。本処理は、図５に示されるプロセッサ装置１２の処理動作と同様に、例えばユーザによりストロボモードの選択がなされた場合、あるいはプロセッサ装置１２との接続が電気的に検出された場合などに開始される。

ステップＳ２００では、光源部２３のストロボ光源の電源がオンされ、ステップＳ２０２においてストロボ発光パルスのレベルがロー（Ｌ）状態とされ発光信号検出部２６へと出力される。ステップＳ２０４では、音声ピッチ検出回路２９においてマイクロフォン２８からの音声信号の解析が開始され音声ピッチおよび位相が検出される。

ステップＳ２０６では、禁止信号検出部３１に入力されるストロボ発光禁止パルスＰＢのレベルがハイ（Ｈ）であるか否かが判定され、ハイ（Ｈ）の場合（ロー（Ｌ）でない場合）には同ステップの判定が繰り返される。ステップＳ２０６においてストロボ発光禁止パルスＰＢのレベルがロー（Ｌ）であると判定されると、ステップＳ２１０において、ストロボ発光のタイミングで、すなわちピッチ検出パルスが出力されると同時に、ストロボ発光パルスＰＬが立ち上げられハイ（Ｈ）レベルとされるとともに、ステップＳ２１２において光源部２３のストロボ光が照射される。

ステップＳ２１２におけるストロボ発光が終了し、ライトガイド２１への照明光の供給が停止されると、処理はステップＳ２０２へ戻り、再びストロボ発光パルスＰＬがロー（Ｌ）レベルに戻され、以下同様の処理がストロボスコープ撮影が行われる間、ストロボ発光装置１４において繰り返される。

以上のように、本実施形態によれば、照明光の照射終了に合わせて撮像素子からの画像読出しを開始することで、ローリングシャッタを用いる撮像素子においても適切なタイミングでのストロボスコープ撮影が可能となる。また画像読出しが終了するまで、照明光の照射を禁止することで二重露光の発生も防止される。

また、本実施形態では、撮影されたストロボスコープ画像を画像メモリに保持し、画像メモリに保持された最新の画像を出力することで、ビデオ信号のフレームレートで画像をモニタ等に出力することができる。

なお、本実施形態では、特定位相の画像撮影する構成を用いて説明が行われたが、観察対象物（声帯）のスローモーション画像を撮影する場合には、ピッチ検出パルスが出力される周期を基本周期から所定量ずらせばよい。

本実施形態のストロボ発光装置は、光源がストロボ光を照射する構成として説明されたが、例えば通常のランプを用い、ロータリシャッタや絞り羽などのような機械的なシャッタ機構を用いて光を一時的に遮光することでライトガイドへ供給される照明光を断続的なものとすることもできる。また、ストロボ発光装置の光源部を連続的に照明光を供給可能な構成とし、通常モードにおいてもストロボ発光装置を利用する構成とすることもできる。更に本実施形態のストロボ発光装置の機能をプロセッサ装置に一体的に設けることも可能である。

なお本実施形態は、観察対象物のステレオスコピーを行うのであれば喉頭スコープに限定されるものではない。

１０ 電子内視鏡システム
１１ 電子スコープ
１２ プロセッサ装置
１３ モニタ
１４ ストロボ発光装置
１５ 撮像素子（ＣＭＯＳ）
１６ 駆動回路
１８ フレームメモリ（画像メモリ）
２０ タイミングコントローラ
２１ ライトガイド
２３ 光源部
２６ 発光信号検出部
２７ メイン制御部
２８ マイクロフォン
２９ 音声ピッチ検出回路
３１ 禁止信号検出部

Claims (3)

1. ローリングシャッタを用いて撮影を行う撮像手段と、
   ストロボスコープ撮影のため照明光を断続的に照射可能な照明手段とを備え、
   前記ストロボスコープ撮影において前記撮像手段は前記照明光の照射終了に合わせて画像読出しを開始し、前記画像読出しが終了するまでの間、前記照明手段は前記照明光の照射を禁止する
   ことを特徴とする電子内視鏡システム。
2. 前記ストロボスコープ撮影において読み出される画像を順次一時的に保持する画像メモリと、ビデオ信号に同期して前記画像メモリに保持される最新の画像を出力する画像出力手段とを備えることを特徴とする請求項１に記載の電子内視鏡システム。
3. 撮影対象物の振動周波数を検出する周波数検出手段を備え、前記ストロボスコープ撮影における照明光の照射タイミングが、前記周波数検出手段において検出される基本周波数に基づいて決定されることを特徴とする請求項１または請求項２に記載の電子内視鏡システム。

Images