JP2020151250A - 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム - Google Patents

内視鏡装置及びその作動方法並びに内視鏡装置用プログラム Download PDF

Info

Publication number
JP2020151250A
JP2020151250A JP2019053544A JP2019053544A JP2020151250A JP 2020151250 A JP2020151250 A JP 2020151250A JP 2019053544 A JP2019053544 A JP 2019053544A JP 2019053544 A JP2019053544 A JP 2019053544A JP 2020151250 A JP2020151250 A JP 2020151250A
Authority
JP
Japan
Prior art keywords
measurement
measurement marker
subject
observation distance
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2019053544A
Other languages
English (en)
Inventor
岳一 龍田
Takeichi Tatsuta
岳一 龍田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019053544A priority Critical patent/JP2020151250A/ja
Publication of JP2020151250A publication Critical patent/JP2020151250A/ja
Abandoned legal-status Critical Current

Links

Images

Abstract

【課題】撮像画像上における誤差を考慮してより正確な被写体の大きさを計測することができる内視鏡装置及びその作動方法並び内視鏡装置用プログラムを提供する。【解決手段】信号処理部39は、位置特定部50と、観察距離検出部52と、計測用マーカ設定部54とを備えている。位置特定部50は、被写体を撮像した撮像画像に基づいて、スポットSPの位置を特定する。観察距離検出部52は、スポットSPの位置に基づいて観察距離を検出する。計測用マーカ設定部54は、観察距離に応じて計測用マーカを設定し、設定した計測用マーカを重畳表示した撮像画像を生成する。【選択図】図6

Description

本発明は、被写体の大きさを測定する内視鏡装置及びその作動方法並びに内視鏡装置用プログラムに関する。
内視鏡装置では、観察対象物までの距離又は観察対象物の大きさなどを取得することが行われている。例えば、特許文献1では、被写体に対して計測補助光を照射し、被写体上にスポットを形成する。被写体を撮像して得られる撮像画像から、スポットの位置を特定する。そして、スポットの位置に応じて、被写体に含まれる観察対象における実サイズを示す指標図形を設定し、設定した計測用マーカを撮像画像上に表示することが行われている。撮像画像上に表示された計測用マーカを用いることで、観察対象の大きさを計測することが可能となる。
国際公開2018/051680号
内視鏡装置で被写体を撮像する際、ユーザーである医師が操作部又は挿入部を把持して操作するため、手振れ等の影響により内視鏡が移動してしまう。このため、上記特許文献1記載の内視鏡装置において撮像画像上に計測用マーカを表示する場合、撮像画像には手振れ等の影響分だけ誤差が含まれている。よって、計測用マーカを用いて計測される観察対象の寸法にも誤差が含まれている。特に、観察距離が近い程、手振れ等の影響が大きくなるため寸法の誤差も大きい。
本発明は、撮像画像上における誤差を考慮してより正確な被写体の大きさを計測することができる内視鏡装置及びその作動方法並び内視鏡装置用プログラムを提供することを目的とする。
本発明の内視鏡装置は、計測補助光光源部と、撮像素子と、位置特定部と、計測用マーカ設定部とを備え、計測用マーカ設定部は、内視鏡先端部と被写体との距離である観察距離に応じて計測用マーカを構成する線の表示を変更する。計測補助光光源部は、被写体の計測に用いる計測補助光を発する。撮像素子は、被写体を撮像する。位置特定部は、被写体上において計測補助光によって形成される特定領域の位置を特定する。計測用マーカ設定部は、位置特定部で特定した特定領域の位置に応じて、実寸サイズを表す計測用マーカを設定し、撮像素子により撮像した被写体の撮像画像に重畳表示させる。
位置特定部で特定した特定領域の位置から観察距離を検出する観察距離検出部を備え、計測用マーカは、観察距離検出部で検出した観察距離に対応する実寸サイズの計測用マーカを設定することが好ましい。計測用マーカ設定部は、計測用マーカを構成する線の幅を観察距離に反比例する値に設定することが好ましい。
計測用マーカ設定部は、計測用マーカを構成する線の幅は、実寸サイズに対して想定される寸法の誤差に応じて設定されていることが好ましい。
計測用マーカ設定部は、計測用マーカとして、大きさが異なる複数の同心円から構成する同心円型マーカを設定することが好ましい。
計測用マーカ設定部は、計測用マーカを構成する線に対して、線の幅方向中央から外側に向かって濃度が徐々に低くなるグラデーションを付けることが好ましい。
計測用マーカ設定部は、計測用マーカを構成する線を破線とし、破線を構成する隙間を観察距離に反比例する値に設定することが好ましい。
計測用マーカ設定部は、計測用マーカを構成する線の数を、観察距離に比例する値に設定することが好ましい。
本発明の内視鏡システムの作動方法は、被写体の計測に用いる計測補助光を発するステップと、被写体を撮像するステップと、被写体上において計測補助光によって形成される特定領域の位置を特定するステップと、特定領域の位置に応じて、実寸サイズを表す計測用マーカを設定し、撮像素子により撮像した被写体の撮像画像に重畳表示させるステップと、内視鏡先端部と被写体との距離である観察距離に応じて計測用マーカを構成する線の表示を変更するステップとを有する。
本発明は、内視鏡装置にインストールされる内視鏡装置用プログラムにおいて、コンピュータに、光源制御部が、被写体を撮像素子により撮像して得られる撮像画像を取得する際、被写体の計測に用いる計測補助光を点灯する制御をする機能と、位置特定部が、被写体上において、被写体の計測に用いる計測補助光によって形成される特定領域の位置を特定する機能と、計測用マーカ設定部が、特定領域の位置に応じて、実寸サイズを表す計測用マーカを設定し、撮像素子により撮像した被写体の撮像画像に重畳表示させる機能と、計測用マーカ設定部が、内視鏡先端部と被写体との距離である観察距離に応じて計測用マーカを構成する線の表示を変更する機能とを実現させる。
本発明によれば、撮像画像上における誤差を考慮してより正確な被写体の大きさを計測することができる。
内視鏡装置の外観図である。 内視鏡の先端部を示す平面図である。 内視鏡装置の機能を示すブロック図である。 計測補助光出射部を示すブロック図である。 内視鏡の先端部と観察距離の範囲R1内の近端PN、中央付近PM、及び遠端PFとの関係を示す説明図である。 信号処理部の機能を示すブロック図である。 第1撮像画像、第2撮像画像、第3撮像画像の保存方法を示す説明図である。 測長モードにおいて観察距離に応じて計測用マーカの線の幅を設定する機能を示す説明図である。 第2実施形態における計測用マーカを示す説明図である。 第3実施形態における計測用マーカを示す説明図である。 第4実施形態における計測用マーカであり、観察距離に応じて破線の隙間を設定する計測用マーカを示す説明図である。 第5実施形態における計測用マーカであり、観察距離に応じて線の数を設定する計測用マーカを示す説明図である。
[第1実施形態]
図1に示すように、内視鏡装置10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。プロセッサ装置16は、画像を表示するモニタ18(表示部)に電気的に接続されている。ユーザーインターフェース19は、プロセッサ装置16に接続されており、プロセッサ装置16に対する各種設定操作等に用いられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
各機器は、内視鏡装置10の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、CD−ROM等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
内視鏡12は、通常モードと、測長モードとを備えており、これら2つのモードは内視鏡12の操作部12bに設けられたモード切替スイッチ13aによって切り替えられる。通常モードは、照明光によって観察対象を照明するモードである。測長モードは、照明光又は計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。計測補助光は、被写体の計測に用いられる光である。
また、内視鏡12の操作部12bには、撮像画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ13b(静止画取得指示部)が設けられている。ユーザーがフリーズスイッチ13bを操作することにより、モニタ18の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、フリーズスイッチ13bの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置16内の静止画保存部42(図3参照)に保存される。
なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置16がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に撮像画像の静止画を保存するようにしてもよい。
なお、フリーズスイッチ13b以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置16にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてもフットペダルで行うようにしてもよい。また、音声入力、視線入力、ジェスチャ入力等により、静止画取得指示またはモード切替を行うようにしてもよい。
図2に示すように、内視鏡12の先端部は略円形となっており、内視鏡12の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ21と、被写体に対して照明光を照射するための2つの照明レンズ22と、後述する計測補助光を被写体に照明するための計測補助用レンズ23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とが設けられている。
対物レンズ21の光軸LI(図5参照)は、紙面に対して垂直な方向に延びている。縦の第1方向D1は、光軸LIに対して直交しており、横の第2方向D2は、光軸LI及び第1方向D1に対して直交する。対物レンズ21と計測補助用レンズ23とは、第1方向D1に沿って配列されている。
図3に示すように、光源装置14は、光源部26と、光源制御部27とを備えている。光源部26(照明光光源部)は、被写体を照明するための照明光を発生する。光源部26から出射された照明光は、ライトガイド28に入射され、照明レンズ22を通って被写体に照射される。光源部26としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いることが好ましい。光源制御部27は、プロセッサ装置16のシステム制御部41と接続されている。光源制御部27は、システム制御部41からの指示に基づいて光源部26を制御する。システム制御部41(発光用制御部)は、光源制御部27に対して、光源制御に関する指示を行う他に、計測補助光出射部30の光源30a(図4参照)も制御する。システム制御部41による光源制御の詳細については後述する。
内視鏡12の先端部12dには、照明光学系29a、撮像光学系29b、及び計測補助光出射部30が設けられている。照明光学系29aは照明レンズ22を有しており、この照明レンズ22を介して、ライトガイド28からの光が観察対象に照射される。撮像光学系29bは、対物レンズ21及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21を介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色のRGB画像信号を得るためのカラーの撮像センサである。撮像素子32は、撮像制御部33によって制御される。なお、撮像素子32として、補色のC(シアン)、M(マゼンタ)、Y(イエロー)、G(緑)のカラーフィルタが設けられた補色系の撮像素子を用いてもよい。
撮像素子32から出力される画像信号は、CDS/AGC回路34に送信される。CDS/AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路34を経た画像信号は、A/D変換器(A/D(Analog/Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、プロセッサ装置16に入力される。
プロセッサ装置16は、内視鏡12の通信I/F36と接続される通信I/F(Interface)38と、信号処理部39と、表示制御部40と、システム制御部41とを備えている。通信I/Fは、内視鏡12の通信I/F36から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、通信I/F38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を生成する。なお、信号処理部39では、測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。
表示制御部40は、信号処理部39によって生成された撮像画像をモニタ18に表示する。システム制御部41は、内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC34及びA/D35の制御も行う。静止画保存制御部43は、静止画保存部42に保存する撮像画像の静止画に関する制御を行う。静止画保存制御部43は、測長モードにおいて1回の静止画取得指示が行われることにより、第1撮像画像、第2撮像画像、第3撮像画像を少なくとも2つ含む複数種類の画像を1度に保存する制御をする。測長モードにおける静止画取得指示の詳細については後述する。
図4に示すように、計測補助光出射部30(計測補助光光源部)は、光源30aと、GRIN(Gradient Index;屈折率分布型)レンズ30bと、プリズム30cと、光ファイバ30dと、計測補助用レンズ23とを備える。光源30aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。
光源30aが出射する光の波長は、例えば、600nm以上750nm以下であることが好ましく、600nm以上700nm以下であることがさらに好ましく、630nm以上660nm以下の赤色光であることが最も好ましい。もしくは、495nm以上570nm以下の緑色光を用いてもよい。光源30aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。光ファイバ30dは、光源30aからの光をGRINレンズ30bに導光する。GRINレンズ30bは、光源30aから出射した光を、被写体の計測に用いられる計測補助光とするために、光ファイバ30dによって光源30aから導光された光を再度コヒーレント性の高い光に変換するものである。
プリズム30cは、GRINレンズ30bで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム30cは、対物レンズ21及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム30cから出射した計測補助光は、計測補助用レンズ23を通って、被写体へと照射される。計測補助光が被写体に照射されることにより、被写体において、円状領域(特定領域)としてのスポットSPが形成される(図7(B)参照)。このスポットSPの位置は、位置特定部50によって特定され、また、スポットSPの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、撮像画像上に重畳表示される。
なお、計測補助用レンズ23に代えて、内視鏡の先端部12dに形成される計測補助用スリットとしてもよい。また、計測補助用レンズ23には、反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測補助光が計測補助用レンズ23を透過せずに反射して、被写体に照射される計測補助光の割合が低下すると、後述する位置特定部50が、計測補助光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
なお、計測補助光出射部30は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源30aが光源装置に設けられ、光源30aから出射された光が光ファイバ30dによってGRINレンズ30bにまで導光されるものであってもよい。また、プリズム30cを用いずに、GRINレンズ30bに代えてDOE(Diffractive Optical Element;回折光学素子)を使用し、光源30a、DOE、及び光源30aからの光をDOEに導光する光ファイバの向きを光軸LIに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光を出射させる構成としてもよい。
計測補助光の進行方向については、図5に示すように、計測補助光の光軸LMが対物レンズ21の光軸LIと交差する状態で、計測補助光を出射する。内視鏡の先端部12dと被写体との距離である観察距離の範囲R1において観察可能であるとすると、範囲R1の近端PN、中央付近PM、及び遠端PFでは、各点での撮像範囲(矢印QN、QM、QFで示す)における計測補助光によって被写体上に形成されるスポットSPの位置(各矢印QN、QM、QFが光軸LMと交わる点)が異なることが分かる。なお、撮像光学系の撮影画角は2つの実線45で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線46で挟まれる領域)で計測を行うようにしている。
以上のように、計測補助光の光軸LMを光軸LIと交差する状態で、計測補助光を出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。そして、計測補助光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む撮像画像が得られる。撮像画像では、スポットSPの位置は、対物レンズ21の光軸LIと計測補助光の光軸LMとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
図6に示すように、プロセッサ装置16の信号処理部39は、スポットSP(特定領域)の位置認識、及び計測用マーカの設定を行うために、第2撮像画像におけるスポットSPの位置を特定する位置特定部50と、スポットSPの位置に基づいて観察距離を検出する観察距離検出部52と、観察距離に応じて計測用マーカを設定し、設定した計測用マーカを第2撮像画像に表示する第3撮像画像を生成する計測用マーカ設定部54とを備えている。
位置特定部50は、第2撮像画像に基づいて、スポットSPの位置を特定する。具体的には、スポットSPの位置に関する座標情報を特定する。スポットSPは、第2撮像画像において、計測補助光の色に対応する成分を多く含む略円状の赤色領域で表示される。したがって、略円状の赤色領域からスポットSPの位置を特定する。位置の特定方法としては、例えば、撮像画像を二値化し、二値化画像のうち白部分(信号強度が二値化用閾値より高い画素)の重心を、スポットSPの位置として特定する。
観察距離検出部52は、スポットSPの位置に基づいて観察距離を検出する。観察距離検出部52は、第2撮像画像におけるスポットSPの位置と観察距離との関係を記憶した観察距離テーブル56を参照して、スポットSPの位置から観察距離を検出する。計測用マーカ設定部54は、観察距離検出部52で検出した観察距離に対応する実寸サイズの計測用マーカを設定する。さらに後述するように、計測用マーカ設定部54は、計測用マーカを設定する際、計測用マーカを構成する線の表示を観察距離に応じて変更する。そして、計測用マーカ設定部54は、計測用マーカを第2撮像画像に重畳表示した第3撮像画像を生成する。
システム制御部41による光源制御及び撮像制御と静止画保存制御部43による静止画保存制御について説明する。通常モードに設定されている場合には、システム制御部41は、光源装置14の光源部26に対して、照明光を常時発するように指示する。これにより、光源部26からは照明光が発せられる。照明光は、ライトガイド28を介して、被写体に照射される。なお、通常モードの場合には、計測補助光出射部30の光源30aは停止している。また、静止画保存制御部43は、通常モードにおいて1回の静止画取得指示が行われることにより、照明光で照明された被写体を撮像して得られる第1撮像画像を静止画保存部42に保存する。
一方、測長モードに設定されている場合には、システム制御部41は、静止画取得指示が行われていない場合には、光源装置14の光源部26及び計測補助光出射部30の光源30aに対して、照明光及び計測補助光を発光するように制御する。これに対して、フリーズスイッチ13bが操作されて静止画取得指示が行われた場合には、照明光を点灯(on)する一方で、計測補助光を消灯(off)にした状態で第1撮像画像を撮像する。第1撮像画像を撮像した後または第1撮像画像を撮像する前に、照明光及び計測補助光を点灯した状態で第2撮像画像を撮像する。なお、第1撮像画像を撮像する際は、計測補助光を消灯するのではなく、計測補助光の光強度を一定値以下にする減光を行うようにしてもよい。
そして、図7に示すように、静止画保存制御部43は、静止画保存部42に保存する保存画像として、第1撮像画像の静止画と第2撮像画像の静止画を保存する。また、第2撮像画像に対して、スポットの位置に応じて設定される計測用マーカ(円形状の計測用マーカM1(例えば「5mm」の実寸サイズを表している))を表示した第3撮像画像の静止画を静止画保存部42に保存する。また、静止画取得指示が行われてから一定時間の間は、静止画が記録されていることを報知するために、第1撮像画像と第3撮像画像をモニタ18に表示することが好ましい。第1〜第3撮像画像の保存後は、そのまま測長モードを維持するが、通常モードに自動で切り替えるようにしてもよい。
なお、図7(A)に示すように、第1撮像画像は、通常の内視鏡画像であり、色、形、範囲などに基づいて、腫瘍tmに対する形態観察や診断に用いられる。図7(B)に示すように、第2撮像画像は、スポットSPが写り込んでいる画像であるが、計測用マーカが重畳表示されていない。例えば、第2撮像画像は、手技後など内視鏡診断の後において、腫瘍tmに対して、計測用マーカを重畳表示するための後処理で詳細に大きさ、距離を計測したい場合に用いられる。内視鏡装置10の他、PC(Personal Computer)などによって後処理を行うようにしてもよい。図7(C)に示すように、第3撮像画像は、腫瘍tmに対して、計測用マーカM1が重畳表示されている。例えば、第3撮像画像は、腫瘍を切除する際に、その腫瘍を捨ててよいと判断した場合の証拠画像としてカルテに残すことが好ましい(所定の基準よりも大きい又は小さい場合の腫瘍など)。
なお、計測用マーカM1、及び後述する計測用マーカM11〜M15については、図示の都合上、円形状を構成する線にクロスハッチングを施しているが、実際は、1つの線に対して1色で塗り潰されている。
以上のように、1回の静止画取得指示により、3つの第1撮像画像、第2撮像画像、及び第3撮像画像が得られる。なお、1回の静止画取得指示により、第1撮像画像、第2撮像画像、又は第3撮像画像のうち少なくとも2つ静止画保存部42に保存することが好ましい。例えば、第1撮像画像と第3撮像画像の2つを保存することが好ましい。
なお、静止画保存制御部43は、第1〜第3撮像画像のうち少なくとも2つを保存する場合には、位置特定部50で得られるスポットSPの位置に関する座標情報を、それら第1撮像画像、第2撮像画像、又は、第3撮像画像と関連付けて保存するようにしてもよい。このようにスポットSPの位置に関する座標情報を第1撮像画像等と関連付けて保存しておくことで、内視鏡装置10以外のPCなどで後処理を行う場合には、第2撮像画像からスポットSPを特定することなく、第1撮像画像や第2撮像画像に計測用マーカを表示することが可能となる。なお、撮像画像のデータ形式として、例えば、Exif、DICOM形式などからなる単一画像ファイルを採用する場合には、スポットSPの位置に関する座標情報は、第1撮像画像、第2撮像画像、又は、第3撮像画像のメタデータとすることが好ましい。また、スポットSPの位置に関する座標情報を、iniファイルなどの別ファイルとする場合には、スポットSPの位置に関する座標情報を第1撮像画像、第2撮像画像、又は、第3撮像画像と関連付けて保存する。
内視鏡装置10による撮像画像では、観測距離が近い程、実寸サイズに対する誤差が大きくなる可能性が高い。これは、主として、観測距離が近い程、ブレ(被写体ブレや操作者の手ブレ等)の影響を受けやすく、観察距離が遠い程、ブレの影響が少ないためである。また、観測距離が近い程、撮像光学系の歪曲収差の影響が大きいことも原因である。観測距離が近い場合、実寸サイズに対して最大約10%の誤差を含むことがある。
計測用マーカ設定部54は、計測用マーカを設定する際、計測用マーカを構成する線の幅を観察距離検出部52で検出した観察距離に反比例する値に設定する。すなわち、計測用マーカを構成する線の幅は、計測用マーカで計測される実寸サイズに対して想定される寸法の誤差に応じて設定されている。なお、計測用マーカ設定部54が、観察距離に応じた計測用マーカを設定する場合、1種類の計測用マーカ(本実施形態では円形状の計測用マーカ)の大きさと、構成する線の幅を変更するのみであり、形状は同じである。
次に、測長モードにおいて静止画取得指示が行われた場合の流れについて、以下に説明する。ユーザーがモード切替スイッチ13aを操作することにより、測長モードに切り替えられると、計測補助光と照明光とが被写体に照射される。そして、ユーザーがフリーズスイッチ13bを操作することにより、静止画取得指示が行われる。静止画取得指示が行われた場合には、静止画保存制御部43が、通常の内視鏡画像である第1撮像画像の静止画と、スポットSPが写り込んでいる第2撮像画像の静止画を保存する。
一方、信号処理部39は、第2撮像画像に対してスポット(特定領域)の位置を特定し、スポットの位置から観察距離を検出する。さらに、観察距離に対応する実寸サイズの計測用マーカを設定し、計測用マーカを重畳表示した第3撮像画像の静止画を静止画保存部42に保存する。
上述したように、内視鏡装置10による撮像画像では、観測距離が近い程、実寸サイズに対する誤差が大きい可能性が高い。そこで、図8に示すように、観察距離が小さいほど計測用マーカを構成する線の幅のピクセル数を大きく設定し、観察距離が大きいほど計測用マーカを構成する線の幅のピクセル数を小さく設定している。なお、図8においては、図5に示す観察距離の範囲R1における遠端PF、遠端PFと中央付近PMの間、中央付近PM、中央付近PMと近端PNの間、及び近端PNの各点で撮像した場合における円形状の計測用マーカM11、M12、M13、M14、M15をそれぞれ示している。また、計測用マーカM11〜M15の左下に付された「5」は実寸サイズの5mmを表している。
図8(A)に示す例では、範囲R1における遠端PFであり観察距離が21mm以上の場合、計測用マーカ設定部54は、計測用マーカM11を構成する線の幅W11を最も小さい設定値である1ピクセルに設定する。
図8(B)に示す例では、範囲R1における遠端PFと中央付近PMの間であり観察距離が13mm〜20mmの場合、計測用マーカ設定部54は、計測用マーカM12を構成する線の幅W12を2ピクセルに設定する。
図8(C)に示す例では、範囲R1における中央付近PMであり観察距離が8〜12mmの場合、計測用マーカ設定部54は、計測用マーカM13を構成する線の幅W13を設定の中間値である3ピクセルに設定する。
図8(D)に示す例では、範囲R1における中央付近PMと近端PNの間であり観察距離が4〜7mmの場合、計測用マーカ設定部54は、計測用マーカM14を構成する線の幅W14を4ピクセルに設定する。
図8(E)に示す例では、範囲R1における近端PNであり観察距離が3mm以下の場合、計測用マーカ設定部54は、計測用マーカM15を構成する線の幅W15を最も大きい設定値である5ピクセルに設定する。
上述したように、計測用マーカ設定部54は、計測用マーカM11〜M15を構成する線を、観察距離に応じて変更しているので、ユーザーである医師は、被写体の正確な寸法を計測しやすくなっている。さらに、計測用マーカM11〜M15を構成する線の幅W11〜W15を、観察距離に反比例する値に設定しているので、線の幅から、寸法の誤差の大きさを認識することが可能となる。例えば、認識した誤差を考慮して、腫瘍tmが計測用マーカM11〜M15を構成する線の内側部分にあれば、設定された実寸サイズよりも確実に小さい(図8に示す例であれば、5mm以内である)ことが分かる。
[第2実施形態]
上記第1実施形態では、1つのスポットの位置に基づいて、1つの円形状の計測用マーカのみを設定しているが、第2実施形態では、図9に示すように、計測用マーカ設定部54は、1つのスポットの位置に基づいて、大きさが異なる3つの同心円から構成する同心円型の計測用マーカM2を設定する。計測用マーカM2を構成する3つの同心円M21、M22、M23は、例えば「5mm」、「10mm」、「20mm」の実寸サイズを表している。また、計測用マーカM2を構成する同心円M21、M22、M23は、図示の都合上、円形状を構成する線にクロスハッチングを施しているが、実際は、1つの線に対して1色で塗り潰されている。
計測用マーカ設定部54は、最内に位置する同心円M21の1つ外側に位置する同心円M22の幅W22は、同心円M21のW21よりも大きく、最外に位置する同心円M23の幅W23は、同心円M22の幅W22よりも大きく設定する。図9に示す例では、幅W23は、幅W22の√2倍、かつ幅W21の2倍の値に設定している。
そして、計測用マーカ設定部54は、幅W21〜W23の比率(図9に示す例では、W21:W22:W23=1:√2:2の比率)を保ったまま、観察距離検出部52で検出した観察距離に反比例する値に設定する。これにより、上記第1実施形態と同様に、線の幅から、寸法の誤差の大きさを認識することが可能となる。例えば、認識した誤差を考慮して、腫瘍tmが同心円M22を構成する線の外側かつ、同心円M23を構成する線の外側であれば、設定された実寸サイズの範囲内(図9に示す例であれば、10mm以上、20mm以内)であることが確実に分かる。
[第3実施形態]
上記第1及び第2実施形態では、計測用マーカを構成する1つの線は、1色で塗り潰されているが、第3実施形態では、図10に示すように、計測用マーカ設定部54は、計測用マーカM3を構成する線に対して、線の幅方向中央から外側に向かって濃度が徐々に低くなるグラデーションを付ける。そして、上記第1及び2実施形態と同様に、グラデーションを付けた線の幅を観察距離に応じて変更する。
[第4実施形態]
上記第1〜第3実施形態では、計測用マーカを構成する線は、連続した線、またはグラデーションを付けた線であるが、第4実施形態では、図11に示すように、計測用マーカM41〜M43を構成する線を破線とし、破線を構成する隙間を観察距離に反比例する値に設定する。なお、図11においては、図5に示す観察距離の範囲R1における遠端PF、中央付近PM、及び近端PNの各点で撮像した場合における円形状の計測用マーカM41、M42、M43をそれぞれ示している。
図11(A)に示す例では、範囲R1における遠端PFの場合、計測用マーカ設定部54は、計測用マーカM41を構成する破線の隙間G1を最も小さい設定値に設定する。なお、図11(A)に示す例では、計測用マーカM41を破線から構成しているが、遠端PFの場合のみ、隙間G1を0、すなわち計測用マーカM41を実線から構成してもよい。
図11(B)に示す例では、範囲R1における中央付近PMの場合、計測用マーカ設定部54は、計測用マーカM42を構成する破線の隙間G2を設定の中間値にする。
図11(C)に示す例では、範囲R1における近端PNの場合、計測用マーカ設定部54は、計測用マーカM43を構成する破線の隙間G3を最も大きい設定値に設定する。
以上のように、計測用マーカM41〜M43を構成する破線の隙間G1〜G3を、観察距離に反比例する値に設定しているので、破線の隙間から、寸法の誤差の大きさを認識することが可能となる。
[第5実施形態]
上記第1〜第4実施形態では、計測用マーカを構成する線は、観察距離に寄らず、同じ数で構成されている、第5実施形態では、図12に示すように、計測用マーカM51〜M53を構成する線の数を、観察距離に応じて変更する。なお、図12においては、図5に示す観察距離の範囲R1における遠端PF、中央付近PM、及び近端PNの各点で撮像した場合における計測用マーカM51、M52、M53をそれぞれ示している。
図12(A)に示す例では、範囲R1における遠端PFの場合、計測用マーカ設定部54は、計測用マーカM51を3つの線、すなわち大きさの異なる3つの同心円から構成する。3つの同心円は、例えば「5mm」、「10mm」、「20mm」の実寸サイズを表している。
図12(B)に示す例では、範囲R1における中央付近PMの場合、計測用マーカ設定部54は、計測用マーカM52を2つの線、すなわち、大きさの異なる2つの同心円から構成する。2つの同心円は、例えば「5mm」、「10mm」の実寸サイズを表している。
図12(C)に示す例では、範囲R1における近端PNの場合、計測用マーカ設定部54は、計測用マーカM53を1つの線、すなわち、1つの円形状から構成する。1つの円形状は、例えば「5mm」の実寸サイズを表している。以上のように、計測用マーカM51〜M53を構成する線の数を、観察距離に比例する値に設定しているので、線の数から、寸法の誤差の大きさを認識することが可能となる。
なお、上記各実施形態では、計測用マーカ設定部54は、観察距離検出部52で検出した観察距離に応じて実寸サイズの計測用マーカを設定しているが、これに限らず、計測用マーカ設定部54は、位置特定部50で特定したスポットSPの位置に応じて、計測用マーカを設定してもよい。この場合、観察距離検出部52を設けずに、計測用マーカ設定部54がスポットSPの位置から観察距離に対応する実寸サイズの計測用マーカを直接設定する。上述したように、観察距離はスポットSPの位置から観察距離テーブル56を参照して検出可能であり、計測用マーカのサイズは実寸サイズであることから当然観察距離に反比例する。すなわち、計測用マーカ設定部54は、スポットSPの位置から計測用マーカの実寸サイズを特定するテーブルを参照することにより、観察距離に対応する実寸サイズの計測用マーカを設定することができる。
また、計測用マーカ設定部54は、計測用マーカを構成する線の幅、破線の間隔、線の数を変更する場合においても、観察距離検出部52で検出した観察距離に応じて変更するのではなく、スポットSPの位置から観察距離に応じた線の幅、破線の間隔、線の数を設定してもよい。
上記各実施形態では、計測用マーカを円形状または同心円型としているが、これに限らず、十字型、四角形型など、被写体の実寸サイズを計測可能な形状であればよい。
上記各実施形態において、信号処理部39、表示制御部40、システム制御部41といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡装置
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替スイッチ
13b フリーズスイッチ
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
21 対物レンズ
22 照明レンズ
23 計測補助用レンズ
24 開口
25 送気送水ノズル
26 光源部
27 光源制御部
28 ライトガイド
29a 照明光学系
29b 撮像光学系
30 計測補助光出射部
30a 光源
30b GRINレンズ
30c プリズム
30d 光ファイバ
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D
36 通信I/F(Interface)
38 通信I/F(Interface)
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
43 静止画保存制御部
45 実線
46 点線
50 位置特定部
52 観察距離検出部
54 計測用マーカ設定部
56 観察距離テーブル
D1 第1方向
D2 第2方向
G1 隙間
G2 隙間
LI 光軸
LM 光軸
M1 計測用マーカ
M11 計測用マーカ
M12 計測用マーカ
M13 計測用マーカ
M14 計測用マーカ
M15 計測用マーカ
M2 計測用マーカ
M21 同心円
M22 同心円
M23 同心円
M3 計測用マーカ
M41 計測用マーカ
M42 計測用マーカ
M43 計測用マーカ
M51 計測用マーカ
M52 計測用マーカ
M53 計測用マーカ
PF 遠端
PM 中央付近
PN 近端
QN 矢印
QM 矢印
QF 矢印
R1 範囲
SP スポット
tm 腫瘍
W11 幅
W12 幅
W13 幅
W14 幅
W15 幅
W21 幅
W22 幅
W23 幅

Claims (10)

  1. 被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    前記被写体を撮像する撮像素子と、
    前記被写体上において前記計測補助光によって形成される特定領域の位置を特定する位置特定部と、
    前記位置特定部で特定した前記特定領域の位置に応じて、実寸サイズを表す計測用マーカを設定し、前記撮像素子により撮像した前記被写体の撮像画像に重畳表示させる計測用マーカ設定部とを備え、
    前記計測用マーカ設定部は、内視鏡先端部と被写体との距離である観察距離に応じて計測用マーカを構成する線の表示を変更する内視鏡装置。
  2. 前記位置特定部で特定した前記特定領域の位置から観察距離を検出する観察距離検出部を備え、
    前記計測用マーカは、前記観察距離検出部で検出した前記観察距離に対応する実寸サイズの前記計測用マーカを設定する請求項1記載の内視鏡装置。
  3. 前記計測用マーカ設定部は、前記計測用マーカを構成する線の幅を前記観察距離に反比例する値に設定する請求項1又は2記載の内視鏡装置。
  4. 前記計測用マーカ設定部は、前記計測用マーカを構成する線の幅は、前記実寸サイズに対して想定される寸法の誤差に応じて設定されている請求項3記載の内視鏡装置。
  5. 前記計測用マーカ設定部は、前記計測用マーカとして、大きさが異なる複数の同心円から構成する同心円型マーカを設定する請求項3または4記載の内視鏡装置。
  6. 前記計測用マーカ設定部は、前記計測用マーカを構成する線に対して、前記線の幅方向中央から外側に向かって濃度が徐々に低くなるグラデーションを付ける請求項3ないし5のいずれか1項に記載の内視鏡装置。
  7. 前記計測用マーカ設定部は、前記計測用マーカを構成する線を破線とし、破線を構成する隙間を前記観察距離に反比例する値に設定する請求項1又は2記載の内視鏡装置。
  8. 前記計測用マーカ設定部は、前記計測用マーカを構成する線の数を、前記観察距離に比例する値に設定する請求項1又は2記載の内視鏡装置。
  9. 被写体の計測に用いる計測補助光を発するステップと、
    前記被写体を撮像するステップと、
    前記被写体上において前記計測補助光によって形成される特定領域の位置を特定するステップと、
    前記特定領域の位置に応じて、実寸サイズを表す計測用マーカを設定し、前記撮像素子により撮像した前記被写体の撮像画像に重畳表示させるステップと、
    内視鏡先端部と被写体との距離である観察距離に応じて計測用マーカを構成する線の表示を変更するステップとを有する内視鏡装置の作動方法。
  10. 内視鏡装置にインストールされる内視鏡装置用プログラムにおいて、
    コンピュータに、
    光源制御部が、被写体を撮像素子により撮像して得られる撮像画像を取得する際、前記被写体の計測に用いる計測補助光を点灯する制御をする機能と、
    位置特定部が、前記被写体上において、前記被写体の計測に用いる前記計測補助光によって形成される特定領域の位置を特定する機能と、
    計測用マーカ設定部が、前記特定領域の位置に応じて、実寸サイズを表す計測用マーカを設定し、前記撮像素子により撮像した前記被写体の撮像画像に重畳表示させる機能と、
    前記計測用マーカ設定部が、内視鏡先端部と被写体との距離である観察距離に応じて計測用マーカを構成する線の表示を変更する機能とを実現させるための内視鏡装置用プログラム。
JP2019053544A 2019-03-20 2019-03-20 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム Abandoned JP2020151250A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019053544A JP2020151250A (ja) 2019-03-20 2019-03-20 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053544A JP2020151250A (ja) 2019-03-20 2019-03-20 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム

Publications (1)

Publication Number Publication Date
JP2020151250A true JP2020151250A (ja) 2020-09-24

Family

ID=72556651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053544A Abandoned JP2020151250A (ja) 2019-03-20 2019-03-20 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム

Country Status (1)

Country Link
JP (1) JP2020151250A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187183A (ja) * 2009-02-12 2010-08-26 Nikon Corp カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
WO2018051680A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
WO2018159292A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
WO2018180249A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187183A (ja) * 2009-02-12 2010-08-26 Nikon Corp カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
WO2018051680A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
WO2018159292A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
WO2018180249A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ

Similar Documents

Publication Publication Date Title
US11062442B2 (en) Vascular information acquisition device, endoscope system, and vascular information acquisition method
US11419694B2 (en) Endoscope system measuring size of subject using measurement auxiliary light
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
JPWO2018051680A1 (ja) 内視鏡システム
US20190038111A1 (en) Endoscope system, image processing device, and method of operating image processing device
US11386558B2 (en) Medical image processing system and endoscope system
JP7115897B2 (ja) 内視鏡装置
US20190365200A1 (en) Measurement support device, endoscope system, and processor
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6085648B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2009025189A (ja) 計測器
JP7029359B2 (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
EP3698714B1 (en) Endoscope apparatus
JP7099971B2 (ja) 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
WO2020189334A1 (ja) 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム
CN106576136B (zh) 摄像装置、摄像装置的工作方法
JP7402252B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
JP2020151250A (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
JP6924727B2 (ja) 内視鏡装置
WO2020202883A1 (ja) 内視鏡、内視鏡装置
WO2021039719A1 (ja) 内視鏡
JP7166467B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
WO2022049807A1 (ja) 内視鏡システム及びその作動方法
US20230240511A1 (en) Endoscope system and endoscope system operation method
JPWO2020153186A1 (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20220822