JP2021115250A - 内視鏡システム - Google Patents

Abstract

【課題】生体組織を撮像し、撮像した生体組織の動画を表示する内視鏡システムにおいて、静止画を頻繁にキャプチャしてメモリに記録保持する場合でも、内視鏡による観察等のリアルタイム性が低下し難い内視鏡システムを提供する。【解決手段】電子内視鏡システムは、撮像素子を備える内視鏡と、撮像画像を画像処理する画像処理部と、前記撮像画像を前記静止画として記録保持するための記録処理を行うように構成された記録処理部と、を備えるプロセッサと、前記画像処理部で前記撮像画像を画像処理した処理画像を動画として表示するように構成されたモニタと、前記動画の表示中、操作者から入力された指示に応じて、前記静止画を記録保持するように構成されたメモリと、を備える。前記記録処理部は、少なくとも、前記記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つに応じて、前記メモリに記録保持する前記静止画の解像度を調整する。【選択図】図３

Description

本発明は、生体組織を撮像し、撮像した生体組織の動画を表示する内視鏡システムに関する。

従来より、内視鏡を人体等の体腔内に挿入し、体腔内の生体組織の病変を検査することが行われている。この内視鏡を備える内視鏡システムでは、生体組織を撮像した撮像画像を内視鏡用プロセッサで画像処理を施した後、この撮像した画像を動画としてモニタ画面に表示する。一方、医師等の内視鏡の操作者は、モニタ画面を見ながら、必要な画像を選択的に静止画としてキャプチャし、メモリ等に記録保持することが行われる（特許文献１）。キャプチャした静止画は、内視鏡を用いた検査後、病変の有無や病変の進行の程度を判断するために、モニタ画面に再生して入念に調べられる。また、静止画を用いて生体組織の病変の有無あるいは病変の進行の程度を自動的に算出する評価も行われる。

特開２０１９−１６２３７１号公報

近年、撮像素子の高解像度化により撮像画像のデータ量は増大している。このため、撮像画像を画像処理し、撮像画像を動画として表示し、さらには、動画の１コマの画像を静止画としてキャプチャして、メモリに書き込み保持する処理を行う場合、短時間に処理を終了することが難しい。特に、データ量の大きな静止画をメモリに書き込むのに要する時間は長く、また、撮像画像を静止画にするための記録処理に要する時間も長い。
精度の高い検査を行うために、生体組織の病変部を撮像した場合、画像のキャプチャを頻繁に行うので、キャプチャした多数の静止画を記録処理のために待ち状態でバッファ等に一時記録する場合も多い。

このような場合、内視鏡用プロセッサのＣＰＵの負荷率は高くなるので、画像処理をした撮像画像の動画表示も遅くなり易く、内視鏡による観察のリアルタイム性が低下し易い。

そこで、本発明は、生体組織を撮像し、撮像した生体組織の動画を表示する内視鏡システムにおいて、静止画を頻繁にキャプチャしてメモリに記録保持する場合でも、内視鏡による観察等のリアルタイム性が低下し難い内視鏡システムを提供することを目的とする。

本発明の一態様は、生体組織を撮像し、撮像した生体組織の動画を表示する内視鏡システムである。当該内視鏡システムは、
生体組織を撮像するように構成された撮像素子を備える内視鏡と、
前記撮像素子で撮像した撮像画像を画像処理するように構成された画像処理部と、前記撮像画像を前記静止画として記録保持するための記録処理を行うように構成された記録処理部と、を備えるプロセッサと、
前記画像処理部で前記撮像画像を画像処理した処理画像を動画として表示するように構成されたモニタと、
前記動画の表示中、操作者から入力された指示に応じて、前記静止画を記録保持するように構成されたメモリと、を備える。
前記記録処理部は、少なくとも、前記記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つに応じて、前記メモリに記録保持する前記静止画の解像度を調整する。

前記解像度について、予め複数のレベルの解像度が設定されており、
前記記録処理部は、前記記録処理のタスク処理量が第１所定量より多くなること、及び前記メモリの残存容量が第２所定量より少なくなること、の少なくともいずれか１つを満足するとき、前記メモリに記録保持する前記静止画の解像度を低くする、ことが好ましい。

前記記録処理部は、前記記録処理のタスク処理量が第３所定量より少なくなること、及び前記メモリの残存容量が第４所定量より多くなること、の少なくともいずれか１つを満足するとき、前記メモリに記録保持する前記静止画の解像度を高くする、ことが好ましい。

前記記録処理部は、前記記録処理のタスク処理量が第５所定量より少なくなること、及び前記メモリの残存容量が第６所定量より多くなること、の少なくともいずれか１つを満足するとき、前記メモリに記録保持する前記静止画の解像度を、予め定めたレベルのうち最高の解像度にする、ことが好ましい。

前記プロセッサは、前記撮像画像のうち前記記録処理を行うための撮像画像を一時的に記録するバッファを備え、
前記タスク処理量は、前記バッファに記録されている前記撮像画像の記憶量の情報を含む、ことが好ましい。

前記プロセッサは、前記解像度について、前記記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つに応じて、前記メモリに記録保持する前記静止画の解像度を調整する第１モードの他に、前記静止画の解像度を予め定めた最高解像度で記録保持する第２モードと、前記最高解像度よりも低い解像度で記録保持する第３モードと、のいずれか１つを選択するモード選択部を備える、ことが好ましい。

また、前記記録処理部は、前記タスク処理量が予め設定された許容量を超えることにより、操作者からの前記指示を受け付けないメッセージを生成し、前記メッセージを前記モニタに表示するために、前記モニタに送信し、
前記タスク処理量が前記許容量を超える期間中、前記記録処理部は、前記指示の受け付けを停止する、ことが好ましい。

前記記録処理部は、前記タスク処理量あるいは前記メモリ残像容量の現在の情報を、前記モニタに送り、前記モニタに前記現在の情報を画面表示させる、ことが好ましい。

本発明の他の一態様は、生体組織を撮像し、撮像した生体組織の動画を表示する内視鏡システムである。当該内視鏡システムは、
生体組織を撮像するように構成された撮像素子を備える内視鏡と、
前記撮像素子で撮像した撮像画像を画像処理するように構成された画像処理部と、前記撮像画像を前記静止画として記録保持するための記録処理を行うように構成された記録処理部と、を備えるプロセッサと、
前記画像処理部で前記撮像画像を画像処理した処理画像を動画として表示するように構成されたモニタと、
前記動画の表示中、操作者から入力された指示に応じて、前記静止画を記録保持するように構成されたメモリと、を備える。
前記プロセッサは、さらに、前記記憶処理部における記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つを要因として少なくとも含む入力データと該入力データに対応して設定される前記静止画の解像度の値との間の対応関係を予め機械学習し、前記要因の入力を受けることで、１つの解像度の値を出力するように構成された解像度設定部を備える。
前記記録処理部は、前記記憶処理部における現在のタスク処理量及び前記メモリの現在の残存容量の少なくとも１つの情報を前記解像度設定部に入力することで出力する解像度の値を、記録する前記静止画の解像度として定める。

前記要因は、前記内視鏡の種類、撮像する前記生体組織の部位の情報、前記生体組織における病変部の有無の情報、前記病変部の病変の進行に関する情報、前記撮像画像の画素値の統計情報、前記撮像画像の画素値の空間周波数分布の情報、及び前記操作者の識別情報、の少なくとも１つを含む、ことが好ましい。

上述の内視鏡システムによれば、撮像した生体組織の動画を表示中に、静止画を頻繁にキャプチャしてメモリに記録保持する場合、内視鏡による観察等のリアルタイム性の低下を抑えることができる。

一実施形態の内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡システムに用いる電子スコープの別の構成例の要部を示すブロック図である。 一実施形態の内視鏡システムで行う静止画のキャプチャ処理のフローの一例を示す図である。 一実施形態の内視鏡システムで用いるプロセッサが解像度設定部を備える一例の要部の構成を示す図である。

以下、本発明の実施形態の内視鏡システムについて図面を参照しながら説明する前に、内視鏡システムで行う静止画のキャプチャ処理について説明する。

（静止画のキャプチャ）
内視鏡システムでは、人体等の体腔内に挿入された内視鏡の先端部に設けられた撮像素子を用いて体腔内の生体組織を撮像し、この撮像した画像を内視鏡と接続したプロセッサを用いて画像処理した後、画像処理後の画像をモニタに動画として表示する。
内視鏡操作者（以降、単に操作者という）は、モニタに表示された動画を見ながら、静止画として記録保持したい画像を、この画像の表示のタイミングに合わせてキャプチャボタンを押す。これにより、所望の静止画を、メモリに記録保持させることができる。
所望の静止画とは、例えば、診断する生体組織に気になる病変部等の非健常部が存在する場合にキャプチャボタンが押され、その度に対応する静止画がメモリに記録保持される。

頻繁にキャプチャボタンが押されると、撮像した画像を静止画として記録保持するための記録処理を頻繁に行う必要がある。記録処理は、プロセッサ内でキャプチャ指示の出された画像の順番に行われるが、記録処理の件数が多い場合や、記録保持する静止画の解像度が高い場合、記録処理を行うコントローラにおける演算負荷が大きくなり、処理時間が長くなる。この場合、記録処理と同時に並行する動画の表示のための画像処理も行っているので、画像処理も遅延し易くなる。このため、モニタに表示する動画も遅延し、内視鏡による観察等のリアルタイム性が低下する場合がある。

このため、記録処理を行う際、プロセッサは、少なくとも、記録処理のタスク処理量及び記録保持するメモリの残存容量の少なくとも１つに応じて、メモリに記録保持する静止画の解像度を調整する。
タスク処理量は、例えば、コントローラによる演算が予定されているタスク待ち状態にある画像数、現在設定されている解像度で記録処理を施すときの総画素数、あるいは、記録処理でコントローラが行う所定の演算の総回数を含む。このタス処理量が、例えば、予め設定された量を超える場合、静止画の解像度を低下して記録処理を行う。また、メモリの残存容量が、例えば、予め設定された閾値以下になる場合、静止画の解像度を低下して記録処理を行う。これにより、コントローラの負荷を低下して、記録処理と同時に並行する動画の表示のための画像処理に与える影響を小さく抑えることができ、また、メモリの残像量低下により生じやすい記録時の不安定な動作を抑え、あるいは、メモリの残像量無しによる静止画の記録の停止を防止して、内視鏡による観察等のリアルタイム性の低下を抑制することができる。

（内視鏡システムの説明）
図１は、一実施形態の内視鏡システム１の構成を示すブロック図である。図１に示されるように、内視鏡システムは、電子内視鏡（以下、電子スコープという）１００、内視鏡用プロセッサ（以下、単にプロセッサという）２００、モニタ３００及びプリンタ４００を備えている。

プロセッサ２００は、メインコントローラ２０２、タイミングコントローラ２０６、及びサブコントローラ２１０を備えている。メインコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、内視鏡システム１の全体を統括的に制御する。また、サブコントローラ２１０は、操作パネル２０８に入力される操作者（術者又は補助者）による指示に応じて内視鏡システム１の各種設定を変更する。また、操作パネル２０８への入力用画面等の表示及びその制御を行う。また、サブコントローラ２１０は、上述した静止画を記録保持するための記録処理を行う記録処理ユニット２１２の演算を実質的に行う。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを内視鏡システム１内の各回路に出力する。

プロセッサ２００は、電子スコープ１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図１に示す例では、光源部２３０は、プロセッサ２００に内蔵して設けられるが、プロセッサ２００とは別体の装置として内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の端より射出され、配光レンズ１０４を介して被写体である器官内部の生体組織に照射される。生体組織からの反射光は、対物レンズ１０６を介して撮像素子１０８の受光面上で光学像を結ぶ。

撮像素子１０８は、例えば、ＩＲ（Infrared）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。このように、電子スコープ１００は、撮像素子１０８を用いて、器官内部の生体組織を撮像し、動画を生成する。

電子スコープ１００の、プロセッサ２００とのコネクタ１２０の内部には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号をプロセッサ２００の画像処理部２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば電子スコープ１００の種別、撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等の情報が含まれる。画素数により、撮像画像の解像度が定まる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をメインコントローラ２０２に出力する。

電子スコープ１００のコネクタ１２０と撮像素子１０８を備える先端部との間には、操作部１４０が設けられる。操作部１４０は、アングル操作ノブ（図示されない）、送気・送水用操作ボタン（図示されない）、吸引用操作ボタン（図示されない）、及びリモートボタン１４２ａ〜１４２ｄを備える。
アングル操作ノブは、操作者が手で把持しながら先端部の向きを変化させるために、操作者が手で操作することにより、先端部に接続された湾曲部の向きを上下左右に自在に変更させることができる操作ノブである。
送気・送水用操作ボタンは、先端部から液体あるいは気体を吐出させるための操作ボタンである。吸引用操作ボタンは、体腔内の気体や液体を吸引するための操作ボタンである。

リモードボタン１４２ａ〜１４２ｄは、これらのボタンそれぞれに割り当てられた機能を、ボタンを押すことにより遠隔操作で発揮させるボタンである。リモートボタン１４２ａ〜１４２ｄの機能は、マウス・キーボード３０２を通じて、モニタ３００に表示された入力設定画面にしたがって入力指示することにより設定することができる。リモートボタン１４２ａ〜１４２ｄの１つには、例えば、モニタ３００に表示された動画を見ながら操作者が所望の場面の動画の表示のタイミングに合わせてリモートボタン１４２ａを押すことにより、その場面の静止画をキャプチャする機能が付与される。
リモートボタン１４２ａ〜１４２ｄの別の１つには、撮像素子１０８の画素数に対応した解像度の静止画をキャプチャする機能を付与することもできる。リモートボタン１４２ａ〜１４２ｄのさらに別の１つには、撮像素子１０８の画素数に対応した解像度よりも低い所定の解像度の静止画をキャプチャする機能を付与することもできる。操作者は、リモートボタン１４２ａ〜１４２ｄを適宜選択して押すことにより、所望の記録処理を行わせることができる。

メインコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。メインコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、メインコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理部２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

画像処理部２２０は、操作者の指示に従って、あるいは予め設定された処理内容に従って撮像素子１０８で撮像した撮像画像を画像処理することができる部分であり、画像処理の実質的な演算は、メインコントローラ２０２で行われる。画像処理は、ドライバ信号処理１１２で行う処理以外の画像処理であり、例えば、色補正、マトリックス演算、階調処理、ホワイトバランス補正等を含む。さらに、画像処理部２２０は、画像処理の一部として、撮像された生体組織の画像を処理し、モニタ３００に表示するためのビデオ信号を生成し、モニタ３００に動画を表示させる。すなわち、モニタ３００は、画像処理部２２０で撮像画像を画像処理した処理画像を動画として表示するように構成される。

プロセッサ２００には、モニタ３００及びプリンタ４００の他に、マウス・キーボード３０２及び記録装置５００が接続されている。マウス・キーボード３０２は、モニタ３００に表示された入力設定画面等にしたがって所望の情報を入力設定することができるように構成されている。プリンタ４００は、モニタ３００に表示された画像や種々の情報をプリント出力する。
記憶装置５００は、サブコントローラ２１０を介して記録処理部２１２と接続されており、記録処理部２１２で記録処理の施された静止画を記録保持する。すなわち、記憶装置５００は、モニタ３００において動画を表示する際中に、操作者から入力されたキャプチャ指示に応じて、撮像画像の静止画を記録保持するように構成されている。具体的には、記憶装置５００は、操作者がリモードボタン１４２ａ〜１４２ｄのいずれか１つを押した時にモニタ３００に表示されている画像の内容を静止画として記録保持するように構成されている。
記録処理部２１２は、撮像した画像を静止画として記録するフォーマットに変換し、しかも、設定された解像度の画像データに変換し、サブコントローラ２１０を介して記憶装置５００に書き込む処理を行う。記録処理部２１２には、キャプチャする静止画を得るための画像データを一時的に保持するバッファメモリ２１４が接続されている。

上述したように、撮像画像の静止画が操作者からの指示により記録保持されるが、表示される動画に、撮像対象の生体組織に診断しようとする病変部が写っている場合、精度よく診断をするために、操作者は、多数の静止画をキャプチャしようとする。操作者は、電子スコープ１００の操作部１４０を持ちながら操作するので、モニタ３００に表示される画像がぶれる場合も多い。このため、ぶれない静止画をキャプチャするために、短時間に多数の画像を記録保持することが多い。
このため、記録処理部２１２は、少なくとも、記録処理のタスク処理量及び記憶装置５００のメモリ残存容量の少なくとも１つに応じて、記憶装置５００に記録保持する静止画の解像度を調整する。静止画の解像度を調整することにより、記録処理のタスク処理時間を調整することができる。これにより、モニタ３００に表示された画像の内容を静止画として記録保持しながら、モニタ３００に表示される画像のリアルタイム性を維持することができる。例えば、記録処理のタスク処理量が予め設定された量を超える場合、静止画の解像度を低下して記録処理を行う。また、例えば、メモリ残存容量が予め設定された閾値以下になる場合、記憶装置５００に書き込む時間が長くなり、あるいは、記録動作が不安定になり、あるいは、静止画の記録が不可能になる場合があることから、静止画の解像度を低下して記録処理を行う。

記録装置５００は、例えば、外付けハードディスク装置、あるいは、フラッシュメモリに記憶させる装置（例えば、ＳＤメモリカード、コンパクトフラッシュカードあるいはＵＳＢメモリ等のフラッシュメモリ装置）を含む。

記録処理部２１２で調整する解像度については、一実施形態によれば、予め複数のレベルの解像度が設定されていることが好ましい。複数のレベルは、２つでもよく、３つ、４つ以上であってもよい。この場合、記録処理部２１２は、記録処理のタスク処理量が第１所定量より多くなること、及び記憶装置５００のメモリ残存容量が第２所定量より少なくなること、の少なくともいずれか１つを満足するとき、記憶装置５００に記録保持する静止画の解像度を低くすることが好ましい。例えば、解像度のレベルが、撮像素子１０８の解像度に合わせた解像度（最高解像度）とこの解像度に比べて低い解像度とをすくなくとも備えることが好ましい。３つのレベルの解像度、例えば、最高解像度、高解像度、及び標準解像度を備える場合、タスク処理量が第１所定量より多くなる、あるいは記憶装置５００のメモリ残存容量が第２所定量より少なくなる場合、解像度を最高解像度から高解像度に変更し、さらに、解像度が高解像度であるとき、タスク処理量が第７所定量より多くなる、あるいは記憶装置５００のメモリ残存容量が第８所定量より少なくなる場合、解像度を標準解像度に定めることができる。すなわち、解像度を、タスク処理量あるいはメモリ残存容量に応じて段階的に変更させてもよい。

一実施形態によれば、記録処理部２１２は、タスク処理量が予め設定された許容量を超えることにより、操作者からの静止画のキャプチャの指示を受け付けないメッセージを生成し、このメッセージをモニタ３００に表示するために、モニタ３００に送信し、タスク処理量が許容量を超える期間中、記録処理部２１２は、静止画のキャプチャ指示の受け付けを停止することが好ましい。これにより、記録処理部２１２におけるタスク処理量が増えることを効率よく抑制することができる。
また、一実施形態によれば、記録処理部２１２は、タスク処理量あるいはメモリ残像容量の現在の情報を、サブコントローラ２１０及びメインコントローラ２０２を経由してモニタ３００に送り、モニタ３００にタスク処理量あるいはメモリ残像容量の現在の情報を画面表示させる、ことが好ましい。操作者は、モニタ３００を見ながら、静止画のキャプチャ指示の頻度を抑制することができる。

また、一実施形態によれば、記録処理部５１２は、記録処理のタスク処理量が第３所定量より少なくなること、及び記憶装置５００のメモリ残存容量が第４所定量より多くなること、の少なくともいずれか１つを満足するとき、記憶装置５００に記録保持する静止画の解像度を高くする、ことが好ましい。操作者の静止画キャプチャ指示の頻度が少なくなり、タスク処理量が少なくなり、あるいは、記憶装置５００を取り替えてメモリ残存容量が増大するような場合、低くなった解像度を高めることで、モニタ３００に表示される画像のリアルタイム性を維持しながら、解像度の高い状態で静止画を記録保持することができる。

一実施形態によれば、記録処理部２１２は、記録処理のタスク処理量が第５所定量より少なくなること、及び記憶装置５００のメモリ残存容量が第６所定量より多くなること、の少なくともいずれか１つを満足するとき、記憶装置５００に記録保持する静止画の解像度を、予め定めたレベルのうち最高解像度にする、ことが好ましい。一度最高解像度から低くなった解像度を、再度最高解像度に高めることにより、静止画を精度高く記録保持することができる。この場合、第５所定量は、解像度を最高解像度から低くする場合の上記第１処理量より高く設定されることが、解像度を最高解像度に安定的に維持できる点から好ましい。最高解像度は、撮像素子１０８の解像度に対応した解像度である。近年、撮像素子１０８の受光面の画素は、画像表示装置と同様に、４Ｋ（３８４０画素×２１６０画素）あるいは８Ｋ（７６８０画素×４３２０画素）に対応して高精度かつ高密度化している。このため、最高解像度では、従来に比べて記録処理の時間が大幅に長くなり易い。
また、静止画の解像度は、記録処理のタスク処理量、メモリ残存容量に応じて段階的に高めてもよい。この場合、段階的に解像度を高くする際のタスク処理量の閾値は、段階的に解像度を低下させる際のタスク処理量の対応する閾値に比べて小さく、段階的に解像度を高くする際のメモリ残存容量の閾値は、段階的に解像度を低下させる際のメモリ残存容量の対応する閾値に比べて大きくすることが、解像度を高い解像度に安定的に維持できる点から好ましい。

一実施形態によれば、プロセッサ２００は、図１に示すように、撮像画像のうち記録処理を行うための撮像画像を一時的に記録するバッファメモリ２１４を備え、タスク処理量は、バッファメモリ２１４に記録されている撮像画像の記憶量の情報を含む、ことが好ましい。バッファメモリ２１４に記録されている撮像画像の記憶量によってタスク処理量はほぼ定められるので、現在の設定されている解像度の情報と、バッファメモリ２１４に記録されている撮像画像の記憶量の情報とに基づいて、解像度を効率よく調整することができる。

図２は、一実施形態の電子内視鏡システム１に用いる電子スコープ２００の別の構成例の要部を示すブロック図である。図２では、要部としてサブコントローラ２１０周りの構成例を示す。
一実施形態によれば、図２に示すように、プロセッサ２００は、解像度について、記録処理のタスク処理量及び記憶装置５００のメモリ残存容量の少なくとも１つに応じて、記憶装置５００に記録保持する静止画の解像度を調整する第１モード（以降、自動モードともいう）の他に、静止画の解像度を予め定めた最高解像度で記録保持する第２モードと、最高解像度よりも低い解像度で記録保持する第３モードと、のいずれか１つを選択するモード選択部２１６を備える、ことが好ましい。このようなモード選択は、サブコントローラ２１０の制御管理により、操作パネル２０８に入力画面が表示され、操作者が表示された入力画面に応じて入力指示することにより行われる。第２モードでは、最高解像度（撮像素子１０８の解像度に対応する解像度）に固定された状態で静止画が記憶装置５００に記録保持される。静止画のキャプチャ指示の頻度が少なく、また、記憶装置５００のメモリ残存容量も多いことが予めわかっている場合、モニタ３００に表示される画像のリアルタイム性が低下しにくいことから、静止画を最高解像度で記録保持することが好ましい。また、静止画のキャプチャ指示の頻度が多く、さらに、記憶装置５００のメモリ残存容量が少ないことが予めわかっており、モニタ３００に表示される画像のリアルタイム性を優先する場合、最高解像度よりも低い解像度で記録保持することが好ましい。
このような第１〜３モードから１つのモードを予め指定して記憶装置５００に静止画を所定の解像度で記録保持させることは、操作パネル２０８からの操作による入力指示で可能になるが、モニタ３００に表示されたモード選択画面をみながら操作者がマウス・キーボード３０２を介した入力指示で可能にすることもできる。
また、第１〜３モードから１つのモードを予め選択する場合とは別に、解像度を指定して静止画のキャプチャ指示を行う機能をリモートボタン１４２ａ〜１４２ｄに割り当てて、操作者が適宜リモートボタン１４２ａ〜１４２ｄを選択して押すことで静止画を所望の解像度でキャプチャして記憶装置５００に記録保持させてもよい。リモートボタン１４２ａ〜１４２ｄの１つに、第１モード、すなわち自動モードで解像度を設定し静止画を記録保持する機能を付与してもよい。

図３は、一実施形態の電子内視鏡システムで行う静止画のキャプチャ処理のフローの一例を示す図である。図３に示す例では、解像度の選択を自動モードで行う場合を示している。
まず、操作者は、操作パネル２０８に表示されたモード選択ボタンのうち自動モードボタンを押すことにより、あるいは、モニタ３００に表示された入力設定画面からマウス・キーボード３０２を用いて、自動モードを選択するように入力することにより、サブコントローラ２１０に、解像度の自動モードの情報が入力され、記録処理部２１２において自動モードが設定される（ステップＳ１０）。

次に、電子スコープ１００のメモリ１１４に記憶された電子スコープ１００（内視鏡）の種別の情報が呼び出され、メインコントローラ２０２を経由してサブコントローラ２１０に送られる。この情報に基づいて、メインコントローラ２０２は、プロセッサ２００に接続された電子スコープ１００の種別を特定する（ステップＳ２０）。これにより、メインコントローラ２０２及び記録処理部２１２は、撮像素子１０８の解像度に関する情報を取得することができる。記録処理部２１２は、メインコントローラ２０２の取得した撮像素子１０８の解像度の情報から、この解像度に適した最高解像度及び標準解像度を設定する。例えば撮像素子１０８の画素数が３８４０画素×２１６０画素の４Ｋ解像度の場合、サブコントローラ２１０は、例えば高解像度を４Ｋ解像度に設定し、標準解像度を１９２０画素数×１０８０画素の２Ｋ解像度に設定する。

この後、電子スコープ１００は生体組織の撮像を開始し、順次撮像画像をプロセッサ２００に送信する。画像処理部２２０において、順次送られてくる撮像画像に対して予め設定された画像処理が行われ、画像処理された画像がモニタ３００に送られ、モニタ３００は、動画表示を開始する（ステップＳ３０）。
操作者は、モニタ３００を見ながら、体腔内を移動しながら、非健常部、例えば病変部を探索する。非健常部が見つかると、非健常がモニタ３００に表示されるタイミングで、例えばリモートボタン１４２ａを押して画像のキャプチャ指示をする。すなわち、サブコントローラ２１０は、画像のキャプチャ指示を受けるまで、待機状態となる（ステップＳ４０）。画像のキャプチャ指示を受ける（ステップＳ４０における判定がＹＥＳの場合）と、記録処理部２１２は、記録処理のためのタスク処理量及び記憶装置５００におけるメモリ残存容量の少なくとも一方の情報を入手し、これらの量が許容範囲内にあるか否かを判定する（ステップＳ５０）。判定の結果が肯定（ＹＥＳ）の場合、記録処理部２１２は、キャプチャした画像を高解像度で静止画とする画像データを生成する記録処理をする。これにより、静止画が記憶部５００に高解像度で記憶される（ステップＳ６０）。なお、記録処理のタスク処理量が予め設定された量を超える場合、静止画をキャプチャすることが現在できないメッセージをモニタ３００に表示してもよい。

一方、判定の結果が否定（ＮＯ）の場合、記録処理部２１２は、キャプチャした画像を標準解像度で静止画とする画像データを生成する記録処理をする。これにより、静止画が記憶部５００に標準解像度で記憶される（ステップＳ７０）。
この後、サブコントローラ２１０は、画像表示が継続されるか否かを判定し（ステップＳ８０）、判定の結果が肯定（ＹＥＳ）の場合、ステップＳ４０に進み、画像のキャプチャ指示まで待機する（ステップＳ４０）。判定の結果が否定（ＮＯ）の場合、画像のキャプチャに関するフローは終了する。

上述の記録処理部２１２は、記憶装置５００に記憶する静止画の解像度を、タスク処理量やメモリ残存量に基づいて設定するが、解像度の設定は、記録処理部２１２とは別の解像度設定部が行ってもよい。すなわち、プロセッサ２００は、電子スコープ１００及びプロセッサ２００の稼動状態に基づいて、過去の稼動状態と記録する静止画の解像度との関係を機械学習した予測モジュールを備える解像度設定部を備えてもよい。図４は、プロセッサ２００が解像度設定部２１８を備える一例の要部の構成を示す図である。

図４に示す解像度設定部２１８は、機械学習をした予測モジュールを備える。
解像度設定部２１８は、記録処理部２１２における記録処理のタスク処理量の情報及び記憶装置５００の残存容量の情報の少なくとも１つの情報の入力を受けることで、予測モジュールが解像度の値を出力し、この値を、記録処理部２１２の記録処理で用いる静止画の解像度として設定するように構成される。

予測モジュールは、記録処理のタスク処理量及びメモリ残存容量の少なくとも１つを要因として少なくとも含む入力データとこの入力データに対応して設定される静止画の解像度の値との間の対応関係を予め機械学習し、要因の入力を受けることで、１つの解像度の値を出力するように構成されている。
予測モジュールは、周知のディープラーニングに代表されるニューラルネットワークを用いたモデル、複数の決定木を使用して「分類」または「回帰」をする、周知のランダムフォレスト法を用いたモデル、及びLASSO回帰を用いたモデルを含む。また、予測モジュールのモデルに、多項式あるいはクリギング、RBF（Radial Base Function）を用いた非線形関数を用いることもできる。

予測モジュールを機械学習させるために用いる教師データは、過去の静止画のキャプチャ時におけるタスク処理量の情報及びメモリ残存容量の少なくとも一方を少なくとも含む情報と、そのときに設定した解像度の過去の蓄積データを用いることが好ましい。このように、機械学習した予測モジュールで解像度を求めることにより、過去のデータに基づいて、記憶装置５００に記憶させる静止画の解像度を自動的に設定することができるので、高解像度や標準解像度を設定するためのタスク処理量及びメモリ残存容量の閾値を設定するための解析を行う必要がない。

なお、予測モジュールが解像度を求める際に用いる要因は、タスク処理量の情報及びメモリ残存容量の情報に制限されず、さらに、他の要因を含めることができる。他の要因として、例えば、電子スコープ２００の種別、撮像する生体組織の部位の情報、生体組織における病変部の有無の情報、病変部の病変の進行に関する情報、撮像画像の画素値の統計情報、撮像画像の画素値の空間周波数分布の情報、及び操作者の識別情報、の少なくとも１つを含む、ことが好ましい。電子スコープ２００の種別（種類）によっては、多数の静止画をキャプチャする場合もある。また、診断する生体組織の部位によっては、多数の静止画をキャプチャして入念に診断する場合もある。過去診断した被験者の診断結果から、生体組織における病変部の有無の情報あるいは病変部の病変の進行に関する情報が予めわかっていれば、病変部の進行の程度や広がり等を確認するために、多数の静止画をキャプチャする場合もある。例えば、病変の初期から中期の段階では、病変の進行速度が加速する場合あり、診断のために多数の静止画をキャプチャする場合がある。また、記録処理を行う画像の画素値の統計情報、記録処理を行う画像の画素値の空間周波数分布の情報によっては、同じ解像度で記憶させる場合でも、JPEGのように、１つの静止画に要するメモリ容量が異なる場合もある。例えば、空間周波数が高い画像では、１つの静止画に要するメモリ容量は大きくなり易い。また、操作者によっては、多数の静止画をキャプチャする場合もある。このような内視鏡システム１の稼働中の情報を考慮することにより、予測モジュールは最適な解像度を設定し、記録処理部２１２に設定した解像度の情報を提供することができる。

以上、本実施形態の内視鏡システムについて説明したが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。

１ 電子内視鏡システム
１００ 電子内視鏡（電子スコープ）
１０２ ＬＣＢ（Light Carrying Bundle）
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 撮像素子
１０８ａ ＩＲカットフィルタ
１０８ｂ ベイヤ配列カラーフィルタ
１１２ ドライバ信号処理回路
１１４ メモリ
１２０ コネクタ
１４０ 操作部
１４２ａ〜１４２ｄ リモートボタン
２００ プロセッサ
２０２ メインコントローラ
２０４ メモリ
２０６ タイミングコントローラ
２０８ 操作パネル
２１０ サブコントローラ
２１２ 記録処理部
２１４ バッファメモリ
２１６ モード選択部
２１８ 解像度設定部
２２０ 画像処理部
２３０ 光源部
３００ モニタ
３０２ マウス・キーボード
４００ プリンタ
５００ 記憶装置

Claims (10)

1. 生体組織を撮像し、撮像した生体組織の動画を表示する内視鏡システムであって、
   生体組織を撮像するように構成された撮像素子を備える内視鏡と、
   前記撮像素子で撮像した撮像画像を画像処理するように構成された画像処理部と、前記撮像画像を前記静止画として記録保持するための記録処理を行うように構成された記録処理部と、を備えるプロセッサと、
   前記画像処理部で前記撮像画像を画像処理した処理画像を動画として表示するように構成されたモニタと、
   前記動画の表示中、操作者から入力された指示に応じて、前記静止画を記録保持するように構成されたメモリと、を備え、
   前記記録処理部は、少なくとも、前記記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つに応じて、前記メモリに記録保持する前記静止画の解像度を調整する、ことを特徴とする内視鏡システム。
2. 前記解像度について、予め複数のレベルの解像度が設定されており、
   前記記録処理部は、前記記録処理のタスク処理量が第１所定量より多くなること、及び前記メモリの残存容量が第２所定量より少なくなること、の少なくともいずれか１つを満足するとき、前記メモリに記録保持する前記静止画の解像度を低くする、請求項１に記載の内視鏡システム。
3. 前記記録処理部は、前記記録処理のタスク処理量が第３所定量より少なくなること、及び前記メモリの残存容量が第４所定量より多くなること、の少なくともいずれか１つを満足するとき、前記メモリに記録保持する前記静止画の解像度を高くする、請求項２に記載の内視鏡システム。
4. 前記記録処理部は、前記記録処理のタスク処理量が第５所定量より少なくなること、及び前記メモリの残存容量が第６所定量より多くなること、の少なくともいずれか１つを満足するとき、前記メモリに記録保持する前記静止画の解像度を、予め定めたレベルのうち最高の解像度にする、請求項２または３に記載の内視鏡システム。
5. 前記プロセッサは、前記撮像画像のうち前記記録処理を行うための撮像画像を一時的に記録するバッファを備え、
   前記タスク処理量は、前記バッファに記録されている前記撮像画像の記憶量の情報を含む、請求項１〜４のいずれか１項に記載の内視鏡システム。
6. 前記プロセッサは、前記解像度について、前記記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つに応じて、前記メモリに記録保持する前記静止画の解像度を調整する第１モードの他に、前記静止画の解像度を予め定めた最高解像度で記録保持する第２モードと、前記最高解像度よりも低い解像度で記録保持する第３モードと、のいずれか１つを選択するモード選択部を備える、請求項１〜５のいずれか１項に記載の内視鏡システム。
7. 前記記録処理部は、前記タスク処理量が予め設定された許容量を超えることにより、操作者からの前記指示を受け付けないメッセージを生成し、前記メッセージを前記モニタに表示するために、前記モニタに送信し、
   前記タスク処理量が前記許容量を超える期間中、前記記録処理部は、前記指示の受け付けを停止する、請求項１〜６のいずれか１項に記載の内視鏡システム。
8. 前記記録処理部は、前記タスク処理量あるいは前記メモリ残像容量の現在の情報を、前記モニタに送り、前記モニタに前記現在の情報を画面表示させる、請求項１〜７のいずれか１項に記載の内視鏡システム。
9. 生体組織を撮像し撮像した生体組織の動画を表示する内視鏡システムであって、
   生体組織を撮像するように構成された撮像素子を備える内視鏡と、
   前記撮像素子で撮像した撮像画像を画像処理するように構成された画像処理部と、前記撮像画像を前記静止画として記録保持するための記録処理を行うように構成された記録処理部と、を備えるプロセッサと、
   前記画像処理部で前記撮像画像を画像処理した処理画像を動画として表示するように構成されたモニタと、
   前記動画の表示中、操作者から入力された指示に応じて、前記静止画を記録保持するように構成されたメモリと、を備え、
   前記プロセッサは、さらに、前記記憶処理部における記録処理のタスク処理量及び前記メモリの残存容量の少なくとも１つを要因として少なくとも含む入力データと該入力データに対応して設定される前記静止画の解像度の値との間の対応関係を予め機械学習し、前記要因の入力を受けることで、１つの解像度の値を出力するように構成された解像度設定部を備え、
   前記記録処理部は、前記記憶処理部における現在のタスク処理量及び前記メモリの現在の残存容量の少なくとも１つの情報を前記解像度設定部に入力することで出力する解像度の値を、記録する前記静止画の解像度として定める、ことを特徴とする内視鏡システム。
10. 前記要因は、前記内視鏡の種類、撮像する前記生体組織の部位の情報、前記生体組織における病変部の有無の情報、前記病変部の病変の進行に関する情報、前記撮像画像の画素値の統計情報、前記撮像画像の画素値の空間周波数分布の情報、及び前記操作者の識別情報、の少なくとも１つを含む、請求項９に記載の内視鏡システム。

Images