JP2020014808A - Endoscope apparatus, operation method for the same, and program for endoscope apparatus - Google Patents
Endoscope apparatus, operation method for the same, and program for endoscope apparatus Download PDFInfo
- Publication number
- JP2020014808A JP2020014808A JP2018141857A JP2018141857A JP2020014808A JP 2020014808 A JP2020014808 A JP 2020014808A JP 2018141857 A JP2018141857 A JP 2018141857A JP 2018141857 A JP2018141857 A JP 2018141857A JP 2020014808 A JP2020014808 A JP 2020014808A
- Authority
- JP
- Japan
- Prior art keywords
- light
- measurement
- subject
- measurement auxiliary
- auxiliary light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、被写体の大きさを測定する内視鏡装置及びその作動方法並び内視鏡装置用プログラムに関する。 The present invention relates to an endoscope apparatus for measuring the size of a subject, an operation method thereof, and an endoscope apparatus program.
内視鏡装置では、観察対象物までの距離又は観察対象物の大きさなどを取得することが行われている。例えば、特許文献1では、被写体を照明する照明光とは異なる計測補助光を照射し、被写体上にスポットを形成する。被写体を撮像して得られる撮像画像から、スポットの位置を特定する。そして、スポットの位置に応じて、被写体に含まれる観察対象における実サイズを示す指標図形を設定し、設定した計測用マーカを撮像画像上に表示することが行われている。撮像画像上に表示された計測用マーカを用いることで、観察対象の大きさを計測することが可能となる。
2. Description of the Related Art In an endoscope apparatus, a distance to an observation target or a size of the observation target is acquired. For example, in
特許文献1では、被写体の計測に用いる計測補助光については、光量を一定にして照射しているため、以下に示すような問題があった。例えば、被写体までの距離が遠いと、計測補助光により形成されるスポット光は、周囲の粘膜、血液、残渣、体液等からの照明光の反射光に対して弱くなる。この場合には、撮像画像上におけるスポット光の部分のコントラストが小さくなるため、スポットの位置を検出するためのS/Nを確保することが難しかった。一方、被写体までの距離が近いと、スポット光が生体粘膜等被写体表面での反射が強く帰ってくるため、ハレーションが発生したり、粘膜表層付近での散乱成分が多くなる。これにより、スポット径が大きくなって、スポットの位置の検出精度を確保することが難しかった。
In
また、特許文献1のように、被写体の大きさの測定を行う場合には、照明光を照明しつつ計測補助光も照明することになる。照明光の光量については、撮像画像から得られる明るさ情報に基づいて制御している(AE(Auto Exposure))。また、機種によっては、AEレベルを変更したり、ユーザーによって任意に設定された明るさレベルとなるように、照明光の光量を調整することができるものがある。したがって、照明光は変化するものの、計測補助光が一定で変化しない場合には、スポット光と照明光とのコントラストが得られず、スポットの位置を検出することができない場合があった。
When measuring the size of a subject as in
本発明は、計測補助光の光量を適切に制御することによって、計測補助光により被写体上に形成される特定領域の位置を検出可能にすることができる内視鏡装置及びその作動方法並び内視鏡装置用プログラムを提供することを目的とする。 The present invention relates to an endoscope apparatus capable of detecting the position of a specific area formed on a subject by measurement auxiliary light by appropriately controlling the amount of measurement auxiliary light, and an operation method thereof and an endoscope. It is an object of the present invention to provide a mirror device program.
本発明の内視鏡装置は、被写体を照明するための照明光を発する照明光光源部と、被写体の計測に用いる計測補助光を発する計測補助光光源部と、被写体を撮像する撮像素子と、照明光及び計測補助光によって照明された被写体を撮像して得られる第1撮像画像に基づいて、被写体上において計測補助光によって形成される特定領域の位置を特定する位置特定部と、被写体との距離を示す観察距離、照明光の光量、又は特定領域の位置のうち少なくとも1以上に基づいて、計測補助光の光量を制御する発光用制御部と、特定領域の位置に応じて設定される計測用マーカを、第1撮像画像又は照明光によって照明された被写体を撮像して得られる第2撮像画像に表示した特定画像を表示部に表示する表示制御部とを備える。 The endoscope apparatus of the present invention is an illumination light source unit that emits illumination light for illuminating a subject, a measurement auxiliary light source unit that emits measurement auxiliary light used for measurement of the subject, and an imaging element that captures an image of the subject. A position specifying unit that specifies a position of a specific region formed by the measurement auxiliary light on the subject based on a first captured image obtained by imaging the subject illuminated by the illumination light and the measurement auxiliary light; A light emission control unit that controls the amount of measurement auxiliary light based on at least one of an observation distance indicating a distance, an amount of illumination light, or a position of a specific area, and measurement set according to the position of the specific area A display control unit that displays, on the display unit, a specific image displayed in the first captured image or a second captured image obtained by capturing an image of a subject illuminated by the illumination light.
発光用制御部は、特定領域の位置と計測補助光の光量レベルとの第1関係を記憶する第1発光制御用テーブルに基づいて、計測補助光の光量を制御することが好ましい。発光用制御部は、特定領域の位置及び照明光の光量レベルと計測補助光の光量レベルとの第2関係を記憶する第2発光制御用テーブルに基づいて、計測補助光の光量を制御することが好ましい。第2発光制御用テーブルにおいては、照明光の光量レベルと計測補助光の光量レベルとが、位置特定部にて特定領域の位置を特定可能にするための比率に設定されていることが好ましい。 It is preferable that the light emission control unit controls the light quantity of the measurement auxiliary light based on a first light emission control table that stores a first relationship between the position of the specific area and the light quantity level of the measurement auxiliary light. The light emission control unit controls the amount of measurement auxiliary light based on a second light emission control table that stores a position of the specific area and a second relationship between the amount of illumination light and the amount of measurement auxiliary light. Is preferred. In the second light emission control table, it is preferable that the light amount level of the illumination light and the light amount level of the measurement auxiliary light are set to a ratio that allows the position specifying unit to specify the position of the specific area.
位置特定部は、異なるタイミングで得られた複数の第1撮像画像に基づいて、特定領域の位置を特定することが好ましい。特定領域の位置は、複数の第1撮像画像のそれぞれから得られる特定領域の位置の座標情報の算術平均又は移動平均に基づいて得られることが好ましい。位置特定部が、第Nタイミングに得られる第1撮像画像から特定領域の位置を特定することができない場合には、第1タイミングと異なる特定タイミングに得られる第1撮像画像に基づいて、特定領域の位置を特定することが好ましい。計測用マーカは、被写体の実寸サイズを示す第1の計測用マーカ、又は、計測補助光によって形成される被写体上の交差ライン、及び交差ライン上に被写体の大きさの指標となる目盛りからなる第2の計測用マーカを含むことが好ましい。 It is preferable that the position specifying unit specifies the position of the specific area based on the plurality of first captured images obtained at different timings. It is preferable that the position of the specific region is obtained based on an arithmetic average or a moving average of coordinate information of the position of the specific region obtained from each of the plurality of first captured images. If the position specifying unit cannot specify the position of the specific area from the first captured image obtained at the Nth timing, the specific area is determined based on the first captured image obtained at a specific timing different from the first timing. Is preferably specified. The measurement marker is a first measurement marker indicating the actual size of the subject, or a first measurement marker including an intersection line on the subject formed by the measurement auxiliary light, and a scale on the intersection line serving as an index of the size of the subject. It is preferable to include two measurement markers.
本発明は、被写体を照明するための照明光を発する照明光光源部、被写体の計測に用いる計測補助光を発する計測補助光光源部、及び、被写体を撮像する撮像素子を備える内視鏡装置の作動方法において、位置特定部が、照明光及び計測補助光によって照明された被写体を撮像して得られる第1撮像画像に基づいて、被写体上において計測補助光によって形成される特定領域の位置を特定するステップと、発光用制御部が、被写体との距離を示す観察距離、照明光の光量、又は特定領域の位置のうち少なくとも1以上に基づいて、計測補助光の光量を制御するステップと、表示制御部が、特定領域の位置に応じて設定される計測用マーカを、第1撮像画像又は照明光によって照明された被写体を撮像して得られる第2撮像画像に表示した特定画像を表示部に表示するステップとを有する。 The present invention provides an illumination light source unit that emits illumination light for illuminating a subject, a measurement auxiliary light source unit that emits measurement auxiliary light used for measurement of a subject, and an endoscope device including an imaging element that captures an image of the subject. In the operation method, the position specifying unit specifies a position of a specific region formed by the measurement auxiliary light on the subject based on a first captured image obtained by imaging the subject illuminated by the illumination light and the measurement auxiliary light. And controlling the light quantity of the measurement auxiliary light based on at least one of the observation distance indicating the distance to the subject, the light quantity of the illumination light, or the position of the specific area. The control unit displays the measurement marker set in accordance with the position of the specific region in the first captured image or the second captured image obtained by capturing the subject illuminated by the illumination light. And a step of displaying an image on the display unit.
本発明は、被写体を照明するための照明光を発する照明光光源部、被写体の計測に用いる計測補助光を発する計測補助光光源部、及び、被写体を撮像する撮像素子を備える内視鏡装置にインストールされる内視鏡用プログラムにおいて、コンピューターに、位置特定部が、照明光及び計測補助光によって照明された被写体を撮像して得られる第1撮像画像に基づいて、被写体上において計測補助光によって形成される特定領域の位置を特定する機能と、発光用制御部が、被写体との距離を示す観察距離、照明光の光量、又は特定領域の位置のうち少なくとも1以上に基づいて、計測補助光の光量を制御する機能と、表示制御部が、特定領域の位置に応じて設定される計測用マーカを、第1撮像画像又は照明光によって照明された被写体を撮像して得られる第2撮像画像に表示した特定画像を表示部に表示する機能とを実行させる。 The present invention provides an illumination light source unit that emits illumination light for illuminating a subject, a measurement auxiliary light source unit that emits measurement auxiliary light used for measurement of a subject, and an endoscope device including an imaging element that captures an image of the subject. In the installed endoscope program, the computer uses the measurement auxiliary light on the object based on the first captured image obtained by imaging the object illuminated by the illumination light and the measurement auxiliary light. The function of specifying the position of the specific region to be formed, and the light emission control unit performs measurement auxiliary light based on at least one of the observation distance indicating the distance to the subject, the amount of illumination light, or the position of the specific region. And a display control unit that captures a measurement marker set in accordance with the position of a specific area with a first captured image or a subject illuminated with illumination light Specific image displayed on the second captured image obtained Te to execute the function of displaying a.
本発明によれば、計測補助光の光量を適切に制御することによって、計測補助光により被写体上に形成される特定領域の位置を検出可能にすることができる。 According to the present invention, by appropriately controlling the light amount of the measurement auxiliary light, it is possible to detect the position of the specific area formed on the subject by the measurement auxiliary light.
図1に示すように、内視鏡装置10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。プロセッサ装置16は、画像を表示するモニタ18(表示部)に電気的に接続されている。ユーザーインターフェース19は、プロセッサ装置16に接続されており、プロセッサ装置16に対する各種設定操作等に用いられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
As shown in FIG. 1, the
内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
The
内視鏡12は、通常モードと、測長モードとを備えており、これら2つのモードは内視鏡12の操作部12bに設けられたモード切替スイッチ13aによって切り替えられる。通常モードは、照明光によって観察対象を照明するモードである。測長モードは、照明光又は計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。計測補助光は、被写体の計測に用いられる光である。なお、内視鏡12においては、通常モード、測長モード以外に、照明光として、特定の部位の強調に用いる特殊光を被写体に照明する特殊光モードなどを設けてもよい。
The
また、内視鏡12の操作部12bには、撮像画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ13bが設けられている。ユーザーがフリーズスイッチ13bを操作することにより、モニタ18の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、フリーズスイッチ13bの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置16内の静止画保存部42(図3参照)に保存される。
Further, the
なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置16がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に撮像画像の静止画を保存するようにしてもよい。
Note that the still image storage unit 42 is a storage unit such as a hard disk or a USB (Universal Serial Bus) memory. When the
なお、フリーズスイッチ13b以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置16にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置16に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
Note that a still image acquisition instruction may be issued using an operating device other than the
また、モニタ18の近くに設けた視線入力部(図示しない)をプロセッサ装置16に接続し、視線入力部が、モニタ18のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置16に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置16に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
Also, a gaze input unit (not shown) provided near the
図2に示すように、内視鏡12の先端部は略円形となっており、内視鏡12の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ21と、被写体に対して照明光を照射するための照明レンズ22と、後述する計測補助光を被写体に照明するための計測補助用レンズ23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とが設けられている。
As shown in FIG. 2, the distal end portion of the
対物レンズ21の光軸Ax(図5参照)は、紙面に対して垂直な方向に延びている。縦の第1方向D1は、光軸Axに対して直交しており、横の第2方向D2は、光軸Ax及び第1方向D1に対して直交する。対物レンズ21と計測補助用レンズ23とは、第1方向D1に沿って配列されている。
The optical axis Ax (see FIG. 5) of the
図3に示すように、光源装置14は、光源部26と、光源制御部27とを備えている。光源部26(照明光光源部)は、被写体を照明するための照明光を発生する。光源部26から出射された照明光は、ライトガイド28に入射され、照明レンズ22を通って被写体に照射される。光源部26としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いることが好ましい。光源制御部27は、プロセッサ装置16のシステム制御部41と接続されている。光源制御部27は、システム制御部41からの指示に基づいて光源部26を制御する。システム制御部41(発光用制御部)は、光源制御部27に対して、光源制御に関する指示を行う他に、計測補助光出射部30の光源30a(図4参照)も制御する。システム制御部41による光源制御の詳細については後述する。
As shown in FIG. 3, the
内視鏡12の先端部12dには、照明光学系29a、撮像光学系29b、及び計測補助光出射部30が設けられている。照明光学系29aは照明レンズ22を有しており、この照明レンズ22を介して、ライトガイド28からの光が観察対象に照射される。撮像光学系29bは、対物レンズ21及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21を介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
An illumination
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色のRGB画像信号を得るためのカラーの撮像センサである。撮像素子32は、撮像制御部33によって制御される。なお、撮像素子32として、補色のC(シアン)、M(マゼンタ)、Y(イエロー)、G(緑)のカラーフィルタが設けられた補色系の撮像素子を用いてもよい。
The
撮像素子32から出力される画像信号は、CDS・AGC回路34に送信される。CDS・AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、プロセッサ装置16に入力される。
The image signal output from the
プロセッサ装置16は、内視鏡12の通信I/F36と接続される通信I/F(Interface)38と、信号処理部39と、表示制御部40と、システム制御部41とを備えている。通信I/Fは、内視鏡12の通信I/F36から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、通信I/F38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を生成する。
The
なお、信号処理部39では、測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。また、信号処理部39とシステム制御部41については、プロセッサ装置16に接続された外部の処理装置(図示しない)に設け、外部の処理装置でそれら信号処理部39とシステム制御部41に関連する処理を行ってもよい。例えば、測長モードに設定されている場合には、スポットSPを含む第1撮像画像を外部の処理装置に送って、外部の処理装置で第1撮像画像からスポットSPの位置を特定してもよい。また、外部の処理装置において、スポットSPの位置に応じて計測用マーカを設定し、設定した計測用マーカを第1撮像画像に表示した特定画像を生成してもよい。生成した特定画像はプロセッサ装置16に送信される。
When the length measurement mode is set, the
表示制御部40は、信号処理部39によって生成された撮像画像をモニタ18に表示する。システム制御部41は、内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC34及びA/D35の制御も行う。静止画保存制御部43は、静止画保存部42に保存する撮像画像の静止画に関する制御を行う。
The
図4に示すように、計測補助光出射部30(計測補助光光源部)は、光源30aと、回折光学素子DOE30b(Diffractive Optical Element)と、プリズム30cと、計測補助用レンズ23とを備える。光源30aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。
As shown in FIG. 4, the measurement auxiliary light emitting unit 30 (measurement auxiliary light source unit) includes a
光源30aが出射する光の波長は、例えば、600nm以上650nm以下の赤色光であることが好ましい。もしくは、495nm以上570nm以下の緑色光を用いてもよい。光源30aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。DOE30bは、光源から出射した光を、被写体の計測に用いられる計測補助光に変換する。
The wavelength of the light emitted from the
プリズム30cは、DOE30bで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム30cは、対物レンズ21及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム30cから出射した計測補助光Lmは、計測補助用レンズ23を通って、被写体へと照射される。計測補助光が被写体に照射されることにより、被写体において、円状領域(特定領域)としてのスポットSPが形成される(図7等参照)。このスポットSPの位置は、位置特定部50によって特定され、また、スポットSPの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、撮像画像上に表示される。
The
なお、計測補助光出射部30は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源30aが光源装置に設けられ、光源30aから出射された光が光ファイバによってDOE30bにまで導光されるものであってもよい。また、プリズム30cを用いずに、光源30a及びDOE30bの向きを光軸Axに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光Lmを出射させる構成としてもよい。
Note that the measurement auxiliary
計測補助光の進行方向については、図5に示すように、計測補助光Lmの光軸Lmが対物レンズ21の光軸Axと交差する状態で、計測補助光Lmを出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測補助光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。なお、撮像光学系の撮影画角は2つの実線45で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線46で挟まれる領域)で計測を行うようにしている。
Regarding the traveling direction of the measurement auxiliary light, the measurement auxiliary light Lm is emitted in a state where the optical axis Lm of the measurement auxiliary light Lm intersects with the optical axis Ax of the
以上のように、計測補助光の光軸Lmを光軸Axと交差する状態で、計測補助光Lmを出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。そして、計測補助光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む撮像画像が得られる。撮像画像では、スポットSPの位置は、対物レンズ21の光軸Axと計測補助光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
As described above, by emitting the measurement auxiliary light Lm in a state where the optical axis Lm of the measurement auxiliary light intersects with the optical axis Ax, the sensitivity of the movement of the spot position with respect to the change in the observation distance is high. The size can be measured with high accuracy. Then, by imaging the subject illuminated by the measurement auxiliary light with the
プロセッサ装置16の信号処理部39は、スポットSP(特定領域)の位置認識、及び計測用マーカの設定を行うために、図6に示すように、照明光及び計測補助光によって照明された被写体を撮像して得られる第1撮像画像におけるスポットSPの位置を特定する位置特定部50と、スポットSPの位置に基づいて計測用マーカを設定し、設定した計測用マーカを第1撮像画像に表示する特定画像を生成する計測用マーカ設定部とを備えている。特定画像は、表示制御部40によってモニタ18に表示される。なお、特定画像については、照明光によって照明された被写体を撮像して得られる第2撮像画像に対して、計測用マーカを設定した画像としてもよい。
As shown in FIG. 6, the
位置特定部50は、第1撮像画像に基づいて、スポットSPの位置を特定する。具体的には、スポットSPの位置に関する座標情報を特定する。スポットSPは、第1撮像画像において、計測補助光の色に対応する成分を多く含む略円状の赤色領域で表示される。したがって、略円状の赤色領域からスポットSPの位置を特定する。位置の特定方法としては、例えば、撮像画像を二値化し、二値化画像のうち白部分(信号強度が二値化用閾値より高い画素)の重心を、スポットSPの位置として特定する。位置の特定方法の詳細については後述する。
The
計測用マーカ設定部52は、第1撮像画像におけるスポットSPの位置に基づいて、計測用マーカを設定する。計測用マーカ設定部52は、第1撮像画像におけるスポットSPの位置と計測用マーカの大きさとの関係を記憶したマーカ用テーブル54を参照して、スポットSPの位置からマーカの大きさを算出する。そして、計測用マーカ設定部52では、マーカの大きさに対応する計測用マーカを設定する。そして、計測用マーカ設定部52は、計測用マーカを第1撮像画像に重畳表示した特定画像を生成する。
The measurement
スポットSPの位置の特定方法の詳細について以下説明する。位置特定部50では、1フレームの第1撮像画像だけでなく、異なるタイミングで得られた複数の第1撮像画像に基づいて、スポットSPの位置を特定することが好ましい。この場合には、図7に示すように、複数の第1撮像画像として、第Nタイミング〜第N+Lタイミング(N、Lは自然数)で得られた第1撮像画像を用いて、スポットSPの位置の特定を行う場合には、各タイミングの第1撮像画像からスポットSPの座標情報を取得する。ここで、第Nタイミング、第N+1タイミング、第N+2タイミング、・・・、第N+Lタイミングの第1撮像画像から得られるスポットSPの座標情報を、それぞれ(x(N)、y(N))、(x(N+1)、y(N+1))、(x(N+2)、y(N+2))、・・・、(x(N+L)、y(N+L))とする。そして、(x(N)、y(N))、(x(N+1)、y(N+1))、(x(N+2)、y(N+2))、・・・、(x(N+L)、y(N+L))の加算平均を行うことにより、スポットSPの平均の座標情報(xk、yk)を得る。このスポットSPの平均の座標情報(xk、yk)を、位置特定部50で特定するスポットSPの位置に関する情報とする。なお、加算平均の他、算術平均を行ってもよい。
The details of the method for specifying the position of the spot SP will be described below. It is preferable that the
または、図8に示すように、第Nタイミング〜第N+Lタイミングの第1撮像画像のうちのいずれか、例えば、第Nタイミングの第1撮像画像に含まれるスポットSP(N)に対して、その他のタイミングの第1撮像画像に含まれるスポットSPの移動量を求めてもよい。この場合には、第N+1タイミングの第1撮像画像に含まれるスポットSP(N+1)のスポットSP(N)に対する移動量をV1とし、第N+2タイミングの第1撮像画像に含まれるスポットSP(N+2)のスポットSP(N)に対する移動量をV2とし、第N+3タイミングの第1撮像画像に含まれるスポットSP(N+3)のスポットSP(N)に対する移動量をV3とする。また、第N+Lタイミングの第1撮像画像に含まれるスポットSP(N+1)のスポットSP(N)に対する移動量をVLとする。そして、移動量V1、V2、V3、・・・、VLの平均を求め、求めた平均に対して、スポットSP(N)の座標情報(x(N)、y(N))を足し合わせて座標情報(xk、yk)を得る。この得られた座標情報(xk、yk)を、位置特定部50で特定するスポットSPの位置に関する情報とする。
Alternatively, as shown in FIG. 8, for any one of the first captured images at the Nth to N + L timings, for example, for a spot SP (N) included in the first captured image at the Nth timing, The movement amount of the spot SP included in the first captured image at the timing of may be obtained. In this case, the movement amount of the spot SP (N + 1) included in the first captured image at the (N + 1) th timing with respect to the spot SP (N) is V1, and the spot SP ( The amount of movement of (N + 2) with respect to spot SP (N) is V2, and the amount of movement of spot SP (N + 3) included in the first captured image at the (N + 3) th time with respect to spot SP (N) is V3. Also, let VL be the amount of movement of the spot SP (N + 1) included in the first captured image at the (N + L) th timing with respect to the spot SP (N). Then, an average of the movement amounts V1, V2, V3,..., VL is obtained, and the coordinate information (x (N), y (N)) of the spot SP (N) is added to the obtained average. The coordinate information (xk, yk) is obtained. The obtained coordinate information (xk, yk) is set as information on the position of the spot SP specified by the
また、位置特定部50では、1フレーム分の第1撮像画像からスポットSPの位置を特定する場合には、位置特定が不可能な場合に備えて、以下のような処理手順で位置特定を行うことが好ましい。図9に示すように、まずは、第Nタイミングで得られた第1撮像画像に対してスポットSPの位置特定処理を行う。この位置特定処理において、二値化用閾値を超える領域が存在しない場合など、第Nタイミングの第1撮像画像からスポットSPの位置を特定することができない場合には、第Nタイミングと異なる特定タイミングの第1撮像画像に対してスポットSPの位置特定処理を行う。ここでは、特定タイミングの第1撮像画像として、第Nタイミングよりも前の第N−1タイミング(特定タイミング)に得られた第1撮像画像からスポットSPの位置特定処理を行う。この位置特定処理の結果、スポットSPの位置が特定できた場合には、このスポットSPの位置を、位置特定部50で特定するスポットSPの位置に関する情報とする。ここで、第Nタイミングよりも前のタイミングに得られた複数の第1撮像画像は、プロセッサ装置16内の一時保存メモリ(図示しない)に保存しておくことが好ましい。この場合、一定時間経過したら、一時保存メモリに保存した第1撮像画像を消去することが好ましい。
Further, in the case where the position of the spot SP is specified from the first captured image of one frame, the
なお、図9では、処理の流れを示す矢印は、下方の処理ほど後に行われる処理であることを示している。また、第Nタイミングの第1撮像画像でスポットSPの位置を特定できなかった場合に、第Nタイミングよりも後の第N+1タイミング(特定タイミング)の第1撮像画像からスポットSPの位置特定処理を行うようにしてもよい。 In FIG. 9, the arrow indicating the flow of the processing indicates that the lower the processing is, the later the processing is performed. When the position of the spot SP cannot be specified in the first captured image at the N-th timing, the position specifying process of the spot SP is performed from the first captured image at the (N + 1) -th timing (specific timing) after the N-th timing. It may be performed.
測長モードにおける光源制御の詳細について以下説明する。光源制御を統括的に行うシステム制御部41においては、図10に示すように、明るさ情報算出部58と、照明光光量レベル設定部59と、第1発光制御用テーブル60、第2発光制御用テーブル62とを備えている。明るさ情報算出部58は、通常モードで得られる撮像画像又は測長モードで得られる第1撮像画像に基づいて、被写体の明るさに関する明るさ情報を算出する。照明光光量レベル設定部59は、明るさ情報に基づいて、照明光の光量レベルを設定する。照明光の光量レベルとしては、本実施形態では、Level1、Level2、Level3、Level4、Level5の5段階とする。照明光光量レベル設定部59にて設定した照明光の光量レベルは光源制御部27に送られる。光源制御部27は、受信した照明光の光量レベルに照明光の光量がなるように、光源部26を制御する。
The details of the light source control in the length measurement mode will be described below. As shown in FIG. 10, the
第1発光制御用テーブル60は計測補助光の光量制御に用いられ、スポットSPの座標情報(特定領域の位置)と計測補助光の光量レベルとの第1関係を記憶している。具体的には、図11に示すように、スポットSPの座標情報が属する5つの座標エリアに対して、計測補助光の光量レベルLevel1、Level2、Level3、Level4、Level5がそれぞれ定められている。システム制御部41は、第1発光制御用テーブル60を参照して、位置特定部50で特定したスポットSPの位置が属する座標エリアに対応する光量レベルを特定する。システム制御部41は、光源30aを制御して、特定した光量レベルになるように、計測補助光の光量を制御する。なお、計測補助光の光量制御を、第1発光制御用テーブル60と第2発光制御用テーブル62のいずれを用いて行うかについては、ユーザーインターフェース19を操作して適宜設定される。
The first light emission control table 60 is used for light quantity control of the measurement auxiliary light, and stores a first relationship between coordinate information of the spot SP (the position of the specific area) and the light quantity level of the measurement auxiliary light. Specifically, as shown in FIG. 11, the light amount levels Level1, Level2, Level3, Level4, and Level5 of the measurement auxiliary light are defined for five coordinate areas to which the coordinate information of the spot SP belongs. The
図12に示すように、座標エリア1は、第1撮像画像において一番下方に設定されたエリアであり、座標エリア1にスポットSPが属している場合には観察距離が一番近い位置にある。したがって、座標エリア1に対しては、計測補助光の光量レベルとして一番小さいLevel1が割り当てられている。また、座標エリア2は、座標エリア1よりも上方に設定されたエリアであり、座標エリア2にスポットSPが属している場合には、観察距離が座標エリア1の場合よりも遠い位置にあるため、計測補助光の光量レベルとしてLevel1よりも大きいLevl2が割り当てられている。なお、スポットSPの移動方向は、対物レンズの光軸Axと計測補助光Lmの光軸の交差方向に従って変化する。例えば、観察距離が近い場合には、スポットSPは、第1撮像画像の左下に位置し、観察距離が遠くなる程、スポットSPは右上方向に移動する。そして、観察距離が遠い場合には、スポットSPは、第1撮像画像の右上に位置する。
As shown in FIG. 12, the coordinate
同様にして、座標エリア3については座標エリア2よりも上方に設けられている。座標エリア3にスポットSPが属している場合には、観察距離が座標エリア2の場合よりも遠い位置にあるため、計測補助光の光量レベルとしてLevel2よりも大きいLevel3が割り当てられている。また、座標エリア4については座標エリア3よりも上方に設けられている。座標エリア4にスポットSPが属している場合には、観察距離が座標エリア3の場合よりも遠い位置にあるため、計測補助光の光量レベルとしてLevel3よりも大きいLevel4が割り当てられている。また、座標エリア5は一番上方に設定されたエリアである。座標エリア5にスポットSPが属している場合には、観察距離が他の座標エリア1〜4の場合よりの一番遠い位置にあるため、計測補助光の光量レベルとして最も高いLevel5が割り当てられている。
Similarly, the coordinate area 3 is provided above the coordinate
第2発光制御用テーブル62は計測補助光の光量制御に用いられ、スポットSPの座標情報(特定領域の位置)及び照明光の光量レベルと計測補助光の光量レベルとの第2関係を記憶している。具体的には、図13に示すように、スポットSPの座標情報が属する5つの座標エリア及び照明光の光量レベルLevel1、Level2、Level3、Level4、Level5に対して、計測補助光の光量レベルがそれぞれ定められている。例えば、スポットSPが座標エリア1に属し、且つ、照明光光量レベル設定部59で設定された照明光の光量レベルがLevel3である場合には、計測補助光の光量レベルとしてLevel3が割り当てられている。
The second light emission control table 62 is used for light quantity control of the measurement auxiliary light, and stores coordinate information of the spot SP (the position of the specific area) and a second relationship between the light quantity level of the illumination light and the light quantity level of the measurement auxiliary light. ing. Specifically, as shown in FIG. 13, the light amount level of the measurement auxiliary light is different from the five coordinate areas to which the coordinate information of the spot SP belongs and the light amount levels Level1, Level2, Level3, Level4, and Level5 of the illumination light. Stipulated. For example, when the spot SP belongs to the coordinate
システム制御部41は、第2発光制御用テーブル62を参照して、位置特定部50で特定したスポットSPの位置が属する座標エリアと、照明光光量レベル設定部59で設定された照明光の光量レベルとから、計測補助光の光量レベルを特定する。システム制御部41は、光源30aを制御して、特定した光量レベルになるように、計測補助光の光量を制御する。
The
第2発光制御用テーブル62においては、照明光の光量レベルと計測補助光の光量レベルとは、位置特定部50にてスポットSPの位置を特定可能にするための比率に設定されている。これは、照明光の光量と計測補助光の光量との比率が適切でないと、スポットSPのコントラストが低くなって、位置特定部50にてスポットSPの位置を特定することが難しくなるためである。
In the second light emission control table 62, the light amount level of the illumination light and the light amount level of the measurement auxiliary light are set to a ratio that allows the
次に、測長モードにおける計測補助光の光量制御の一連の流れについて、図14のフローチャートを用いて説明する。ユーザーがモード切替スイッチ13aを操作することにより、測長モードに切り替えられると、計測補助光と照明光とが被写体に照射される。照明光及び計測補助光により照明された被写体を撮像することによって、第1撮像画像を取得する。位置特定部50は、第1撮像画像からスポットSPの位置を特定する。スポットSPの位置が特定されると、被写体との距離を示す観察距離、照明光の光量、又は、スポットSPの位置のうち少なくとも1以上に基づいて、計測補助光の光量を制御する。例えば、スポットSPの位置が属するエリアを示す座標エリアと計測補助光の光量レベルとの第1関係を記憶した第1発光制御用テーブル60を参照し、計測補助光の光量を制御する。また、スポットSPの位置に対応する計測用マーカを設定する。設定された計測用マーカを、第1撮像画像に重畳表示して特定画像を生成する。生成された特定画像はモニタ18に表示される。以上の流れは測長モードが他のモード(例えば、通常モード)に切り替えられるまで繰り返し行われる。
Next, a series of flows of light quantity control of the measurement auxiliary light in the length measurement mode will be described with reference to the flowchart of FIG. When the user switches to the length measurement mode by operating the
なお、上記実施形態では、スポットSPの位置と計測補助光の光量レベルとの第1関係、又は、スポットSPの位置及び照明光の光量レベルと計測補助光の光量レベルの第2関係を用いて、計測補助光の光量を制御しているが、その他の関係を用いて、制御を行ってもよい。例えば、被写体との距離を示す観察距離と計測補助光の光量レベルとの関係を用いて、計測補助光の光量を制御してもよい。または、観察距離及び照明光の光量レベルと計測補助光の光量レベルとの関係を用いて、計測補助光の光量を制御してもよい。なお、観察距離については、スポットSPの位置から求める他に、プロセッサ装置16に設けた観察距離算出部(図示しない)において、画像信号から観察対象の明るさ情報を算出し、観察対象の明るさ情報に基づいて観察距離を算出するようにしてもよい。
In the above embodiment, the first relationship between the position of the spot SP and the light amount level of the measurement auxiliary light or the second relationship between the position of the spot SP and the light amount level of the illumination light and the light amount level of the measurement auxiliary light is used. Although the light amount of the measurement auxiliary light is controlled, the control may be performed using other relations. For example, the light amount of the measurement auxiliary light may be controlled using the relationship between the observation distance indicating the distance to the subject and the light amount level of the measurement auxiliary light. Alternatively, the light amount of the measurement auxiliary light may be controlled using the relationship between the observation distance, the light amount level of the illumination light, and the light amount level of the measurement auxiliary light. The observation distance is calculated from the image signal in an observation distance calculation unit (not shown) provided in the
なお、計測用マーカには、第1の計測用マーカ、第2の計測用マーカなど複数の種類が含まれ、いずれの種類の計測用マーカを撮像画像上に表示するかについては、ユーザーの指示によって選択が可能となっている。ユーザーの指示としては、例えば、ユーザーインターフェース19が用いられる。
Note that the measurement markers include a plurality of types such as a first measurement marker and a second measurement marker, and the user's instruction as to which type of measurement marker is to be displayed on the captured image. Allows selection. As the user's instruction, for example, the
第1の計測用マーカとしては、例えば、十字型の計測マーカMxを用いる。この場合、図15に示すように、観察距離が近端Pxに近い場合には、被写体の腫瘍tm1上に形成されたスポットSP1の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す十字型のマーカMx1が表示される。腫瘍tm1と十字型のマーカMx1により定められる範囲とはほぼ一致しているため、腫瘍tm1は5mm程度と計測することができる。 For example, a cross-shaped measurement marker Mx is used as the first measurement marker. In this case, as shown in FIG. 15, when the observation distance is close to the near end Px, the actual size is 5 mm (horizontal and vertical directions of the captured image) in accordance with the center of the spot SP1 formed on the tumor tm1 of the subject. Direction) is displayed. Since the tumor tm1 substantially matches the range defined by the cross-shaped marker Mx1, the tumor tm1 can be measured to be about 5 mm.
同様にして、図16に示すように、観察距離が中央付近Pyに近い場合、被写体の腫瘍tm2上に形成されたスポットSP2の中心に合わせて、実寸サイズ5mm(第2撮像画像の水平方向及び垂直方向)を示す十字型のマーカMx2が表示される。また、図17に示すように、被写体の腫瘍tm3上に形成されたスポットSP3の中心に合わせて、実寸サイズ5mm(第2撮像画像の水平方向及び垂直方向)を示す十字型のマーカMx3が表示される。以上のように、観察距離によって撮像素子32の撮像面におけるスポットの位置が異なり、これに従って、マーカの表示位置も異なっている。以上の図15〜図17に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対応する第1の計測用マーカの大きさが小さくなっている。
Similarly, as shown in FIG. 16, when the observation distance is close to the vicinity Py of the center, the actual size is 5 mm (in the horizontal direction of the second captured image and the center of the spot SP2 formed on the tumor tm2 of the subject). (A vertical direction), a cross-shaped marker Mx2 is displayed. Also, as shown in FIG. 17, a cross-shaped marker Mx3 indicating the actual size of 5 mm (the horizontal direction and the vertical direction of the second captured image) is displayed at the center of the spot SP3 formed on the tumor tm3 of the subject. Is done. As described above, the position of the spot on the imaging surface of the
なお、図15〜図17では、スポットSPの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットSPから離れた位置に第1の計測用マーカを表示してもよい。ただし、この場合にもスポットの近傍に第1の計測用マーカを表示することが好ましい。また、第1の計測用マーカを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態の第1の計測用マーカを補正後の撮像画像に表示するようにしてもよい。 In FIGS. 15 to 17, the center of the spot SP and the center of the marker are displayed so as to coincide with each other. However, if there is no problem in measurement accuracy, the first measurement marker is located at a position away from the spot SP. May be displayed. However, also in this case, it is preferable to display the first measurement marker near the spot. Further, instead of deforming and displaying the first measurement marker, the first measurement marker in a state where the distortion of the captured image is corrected and not deformed may be displayed on the corrected captured image. .
また、図15〜図17では、被写体の実寸サイズ5mmに対応する第1の計測用マーカを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、図15〜図17では、第1の計測用マーカを、縦線と横線が直交する十字型としているが、図18に示すように、十字型の縦線と横線の少なくとも一方に、目盛りMtを付けた目盛り付き十字型としてもよい。また、第1の計測用マーカとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の計測用マーカを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の計測用マーカを、スポットから実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の計測用マーカの数は一つでも複数でもよいし、実寸サイズに応じて第1の計測用マーカの色を変化させてもよい。 15 to 17, the first measurement marker corresponding to the actual size of the subject of 5 mm is displayed. However, the actual size of the subject is an arbitrary value (for example, 2 mm) depending on the observation target and the observation purpose. , 3 mm, 10 mm, etc.). In FIGS. 15 to 17, the first measurement marker has a cross shape in which a vertical line and a horizontal line are perpendicular to each other. However, as shown in FIG. 18, at least one of the vertical line and the horizontal line has a scale. It may be a cruciform cross with Mt. Further, the first measurement marker may be a distorted cross shape in which at least one of a vertical line and a horizontal line is inclined. Further, the first measurement marker may be a circle and a cross, which are a combination of a cross and a circle. In addition, the first measurement marker may be a measurement point cloud type combining a plurality of measurement points EP corresponding to the actual size from the spot. The number of the first measurement markers may be one or more, and the color of the first measurement markers may be changed according to the actual size.
マーカ用テーブル54の作成方法について、以下説明する。スポットの位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、スポット状の計測補助光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm)もしくはそれより細かい罫(例えば1mm)の方眼紙状のチャートを撮像し、スポットの位置(撮像素子32の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。 A method for creating the marker table 54 will be described below. The relationship between the position of the spot and the size of the marker can be obtained by imaging a chart in which patterns of the actual size are regularly formed. For example, a spot-shaped measurement auxiliary light is emitted toward the chart, and the observation distance is changed to change the position of the spot, while changing the position of the spot to a ruled line (5 mm) or a ruled line (for example, 1 mm) smaller than the actual size. The chart is imaged, and the relationship between the spot position (pixel coordinates on the imaging surface of the image sensor 32) and the number of pixels corresponding to the actual size (how many pixels the actual size 5 mm is represented by) is acquired.
図19に示すように、(x1、y1)は、撮像素子32の撮像面におけるスポットSP4のX、Y方向のピクセル位置(左上が座標系の原点)である。スポットSP4の位置(x1、y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図20は、図19と同じ5mm罫のチャートを撮像した状態を示しているが、図19の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図20の状態において、撮像素子32の撮像面におけるスポットSP5の位置(x2、y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。そして、観察距離を変えながら、図19、20のような測定を繰り返し、結果をプロットする。なお、図19、20では、対物レンズ21の歪曲収差を考慮せず表示している。
As shown in FIG. 19, (x1, y1) is the pixel position in the X and Y directions of the spot SP4 on the imaging surface of the imaging element 32 (the upper left is the origin of the coordinate system). At the position (x1, y1) of the spot SP4, the number of pixels in the X direction corresponding to the actual size of 5 mm is Lx1, and the number of pixels in the Y direction is Ly1. Such measurement is repeated while changing the observation distance. FIG. 20 shows a state in which the same 5 mm ruled chart as in FIG. 19 is imaged. However, the shooting distance is closer to the far end than in the state of FIG. 19, and the rule interval is narrower. In the state of FIG. 20, the number of pixels in the X direction corresponding to the actual size of 5 mm at the position (x2, y2) of the spot SP5 on the imaging surface of the
図21は、スポットの位置のX座標とLx(第1の計測用マーカのX方向ピクセル数)との関係を示しており、図22は、スポットの位置のY座標とLxとの関係を示している。Lxは図21の関係よりX方向位置の関数として、Lx=g1(x)と表され、また、Lyは、図22の関係より、Y方向位置の関数として、Ly=g2(y)として表される。g1、g2は上述のプロット結果から、例えば、最小二乗法により求めることができる。 FIG. 21 shows the relationship between the X coordinate of the spot position and Lx (the number of pixels in the X direction of the first measurement marker), and FIG. 22 shows the relationship between the Y coordinate of the spot position and Lx. ing. Lx is expressed as Lx = g1 (x) as a function of the position in the X direction from the relationship shown in FIG. 21, and Ly is expressed as Ly = g2 (y) as a function of the position in the Y direction according to the relationship shown in FIG. Is done. g1 and g2 can be obtained, for example, by the least square method from the above-mentioned plot results.
なお、スポットのX座標とY座標とは一対一に対応しており、関数g1、g2のいずれを用いても、基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、第1の計測用マーカの大きさを算出する場合には、どちらの関数を用いてもよく、g1、g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1、g2の値が大きく異なる場合には、「スポットの位置を認識できなかった」と判断してもよい。 Note that the X coordinate and the Y coordinate of the spot have a one-to-one correspondence, and basically the same result (the same number of pixels for the same spot position) is obtained by using either of the functions g1 and g2. Therefore, when calculating the size of the first measurement marker, either of the functions may be used, and the function of g1 or g2 which has higher sensitivity to the change in the number of pixels with respect to the position change may be selected. If the values of g1 and g2 are significantly different, it may be determined that "the spot position could not be recognized".
図23は、スポット位置のX座標とLy(Y方向ピクセル数)との関係を表しており、図24は、スポット位置のY座標とLyとの関係を表している。図23の関係より、LyはX方向位置の座標としてLy=h1(x)と表され、図24の関係より、LyはY方向位置の座標としてLy=h2(y)として表される。Lyについても、Lxと同様に関数h1、h2のいずれを用いてもよい。 FIG. 23 illustrates the relationship between the X coordinate of the spot position and Ly (the number of pixels in the Y direction), and FIG. 24 illustrates the relationship between the Y coordinate of the spot position and Ly. According to the relationship in FIG. 23, Ly is represented as Ly = h1 (x) as the coordinate in the X direction, and from the relationship in FIG. 24, Ly is represented as Ly = h2 (y) as the coordinate in the Y direction. As for Ly, any of the functions h1 and h2 may be used as in Lx.
以上のように得られた関数g1、g2、h1、h2については、ルックアップテーブル形式によってマーカ用テーブルに記憶される。なお、関数g1、g2については、関数形式でマーカ用テーブルに記憶するようにしてもよい。 The functions g1, g2, h1, and h2 obtained as described above are stored in the marker table in a look-up table format. The functions g1 and g2 may be stored in the marker table in a function format.
なお、第2実施形態では、第1の計測用マーカとして、図25に示すように、大きさが異なる3つの同心円状のマーカM4A、M4B、M4C(大きさはそれぞれ直径が2mm、5mm、10mm)を、腫瘍tm4上に形成されたスポットSP4を中心として、第1撮像画像上に表示するようにしてもよい。この3つの同心円状のマーカは、マーカを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状のマーカを複数表示する場合には、大きさや色をマーカ毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。 In the second embodiment, as the first measurement marker, as shown in FIG. 25, three concentric markers M4A, M4B, and M4C having different sizes (the diameters are 2 mm, 5 mm, and 10 mm, respectively). ) May be displayed on the first captured image with the spot SP4 formed on the tumor tm4 as the center. The three concentric markers display a plurality of markers, so that the trouble of switching is eliminated, and measurement is possible even when the subject has a non-linear shape. When displaying a plurality of concentric markers around a spot, instead of specifying the size and color for each marker, a combination of a plurality of conditions is prepared in advance, and a selection can be made from the combination. It may be.
図25では、3つの同心円状のマーカを全て同じ色(黒)で表示しているが、複数の同心円状のマーカを表示する場合、マーカによって色を変えた複数の色付き同心円状のマーカとしてもよい。図26に示すように、マーカM5Aは赤色を表す点線、マーカM5Bは青色を表す実線、マーカM5Cは白を表す一点鎖線で表示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。 In FIG. 25, all three concentric markers are displayed in the same color (black). However, when a plurality of concentric markers are displayed, a plurality of colored concentric markers of different colors depending on the markers may be used. Good. As shown in FIG. 26, the marker M5A is represented by a dotted line representing red, the marker M5B is represented by a solid line representing blue, and the marker M5C is represented by a dashed line representing white. By changing the color of the marker in this manner, the discriminability is improved, and the measurement can be easily performed.
また、第1の計測用マーカとしては、複数の同心円状のマーカの他、図27に示すように、各同心円を歪曲させた複数の歪曲同心円状のマーカを用いてもよい。この場合、歪曲同心円状のマーカM6A、マーカM6B、マーカM6Cが、腫瘍tm5に形成されたスポットSP5を中心に第1撮像画像に表示されている。 In addition, as the first measurement marker, as shown in FIG. 27, a plurality of distorted concentric markers obtained by distorting each concentric circle may be used in addition to a plurality of concentric markers. In this case, the distorted concentric markers M6A, M6B, and M6C are displayed in the first captured image centering on the spot SP5 formed on the tumor tm5.
なお、計測補助光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図28に示すように、被写体上に交差ライン80として形成される平面状の計測補助光を用いるようにしてもよい。この場合には、計測用マーカとして、交差ライン80及び交差ライン上に被写体の大きさ(例えば、ポリープP)の指標となる目盛り82からなる第2の計測用マーカを生成する。平面状の計測補助光を用いる場合には、位置特定部50は、交差ライン80(特定領域)の位置を特定する。交差ライン80が下方に位置する程、観察距離が近く、交差ライン80が上方に位置する程、観察距離が遠くなる。そのため、交差ライン80が下方に位置する程、目盛り82の間隔は大きくなり、交差ライン80が上方に位置する程、目盛り82の間隔は小さくなる。
Note that, as the measurement auxiliary light, light formed as a spot when the object is irradiated is used, but other light may be used. For example, when the object is irradiated, as shown in FIG. 28, a planar measurement auxiliary light formed as an
上記実施形態において、信号処理部39、表示制御部40、システム制御部41といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
In the above embodiment, the hardware structure of a processing unit that executes various types of processing, such as the
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be configured by one of these various processors, or configured by a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units. Second, as represented by a system-on-chip (System On Chip: SoC), a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there. As described above, the various processing units are configured by using one or more of the above various processors as a hardware structure.
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。 Furthermore, the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
10 内視鏡装置
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替スイッチ
13b フリーズスイッチ
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
21 対物レンズ
22 照明レンズ
23 計測補助用レンズ
24 開口
25 送気送水ノズル
26 光源部
27 光源制御部
28 ライトガイド
29a 照明光学系
29b 撮像光学系
30 計測補助光出射部
30a 光源
30c プリズム
32 撮像素子
33 撮像制御部
34 CDS・AGC回路
35 A/D回路
36 通信I/F(Interface)
38 通信I/F(Interface)
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
43 静止画保存制御部
45 実線
46 点線
50 位置特定部
52 計測用マーカ設定部
54 マーカ用テーブル
58 情報算出部
59 照明光光量レベル設定部
60 第1発光制御用テーブル
62 第2発光制御用テーブル
80 交差ライン
EP 測定点
Mt 目盛り
Mx、M1、M2、M3 十字型のマーカ
My 同心円型の計測用マーカ
tm、tm1、tm2、tm3、tm4、tm5 腫瘍
SP スポット
SP1、SP2、SP3、SP4、SP5 スポット
Lx1、Lx2 X方向ピクセル数
Ly1、Ly2 Y方向ピクセル数
M4A、M4B、M4C、M5A、M5B、M5C 同心円状のマーカ
M6A、M6B、M6C 歪曲同心円状のマーカ
P ポリープ
DESCRIPTION OF
38 Communication I / F (Interface)
39
Claims (10)
前記被写体の計測に用いる計測補助光を発する計測補助光光源部と、
前記被写体を撮像する撮像素子と、
前記照明光及び前記計測補助光によって照明された前記被写体を撮像して得られる第1撮像画像に基づいて、前記被写体上において前記計測補助光によって形成される特定領域の位置を特定する位置特定部と、
前記被写体との距離を示す観察距離、前記照明光の光量、又は前記特定領域の位置のうち少なくとも1以上に基づいて、前記計測補助光の光量を制御する発光用制御部と、
前記特定領域の位置に応じて設定される計測用マーカを、前記第1撮像画像又は前記照明光によって照明された前記被写体を撮像して得られる第2撮像画像に表示した特定画像を表示部に表示する表示制御部とを備える内視鏡装置。 An illumination light source unit that emits illumination light for illuminating a subject;
A measurement auxiliary light source that emits measurement auxiliary light used for measurement of the subject,
An image sensor for imaging the subject;
A position specifying unit that specifies a position of a specific area formed by the measurement auxiliary light on the subject based on a first captured image obtained by capturing the object illuminated by the illumination light and the measurement auxiliary light. When,
A light emission control unit that controls the light amount of the measurement auxiliary light based on at least one of the observation distance indicating the distance to the subject, the light amount of the illumination light, or the position of the specific region,
The measurement marker set according to the position of the specific area, the specific image displayed on the first captured image or the second captured image obtained by capturing the subject illuminated by the illumination light is displayed on the display unit. An endoscope device comprising: a display control unit for displaying.
位置特定部が、前記照明光及び前記計測補助光によって照明された前記被写体を撮像して得られる第1撮像画像に基づいて、前記被写体上において前記計測補助光によって形成される特定領域の位置を特定するステップと、
発光用制御部が、前記被写体との距離を示す観察距離、前記照明光の光量、又は前記特定領域の位置のうち少なくとも1以上に基づいて、前記計測補助光の光量を制御するステップと、
表示制御部が、前記特定領域の位置に応じて設定される計測用マーカを、前記第1撮像画像又は前記照明光によって照明された前記被写体を撮像して得られる第2撮像画像に表示した特定画像を表示部に表示するステップとを有する内視鏡装置の作動方法。 An operation method of an endoscope apparatus including an illumination light source unit that emits illumination light for illuminating an object, a measurement auxiliary light source unit that emits measurement auxiliary light used for measurement of the object, and an image sensor that images the object At
Based on a first captured image obtained by capturing an image of the subject illuminated by the illumination light and the measurement auxiliary light, a position specifying unit determines a position of a specific area formed by the measurement auxiliary light on the subject. Identifying steps;
A step of controlling the light amount of the measurement auxiliary light based on at least one of an observation distance indicating the distance to the subject, the light amount of the illumination light, or the position of the specific region,
A display control unit configured to display a measurement marker set according to the position of the specific region in the first captured image or a second captured image obtained by capturing the subject illuminated by the illumination light; Displaying an image on a display unit.
コンピューターに、
位置特定部が、前記照明光及び前記計測補助光によって照明された前記被写体を撮像して得られる第1撮像画像に基づいて、前記被写体上において前記計測補助光によって形成される特定領域の位置を特定する機能と、
発光用制御部が、前記被写体との距離を示す観察距離、前記照明光の光量、又は前記特定領域の位置のうち少なくとも1以上に基づいて、前記計測補助光の光量を制御する機能と、
表示制御部が、前記特定領域の位置に応じて設定される計測用マーカを、前記第1撮像画像又は前記照明光によって照明された前記被写体を撮像して得られる第2撮像画像に表示した特定画像を表示部に表示する機能とを実行させる内視鏡用プログラム。 An illumination light source unit that emits illumination light for illuminating an object, a measurement auxiliary light source unit that emits measurement auxiliary light used for measurement of the object, and an endoscope device that is installed in an endoscope apparatus that includes an imaging element that images the object. Endoscope program,
On the computer
Based on a first captured image obtained by capturing an image of the subject illuminated by the illumination light and the measurement auxiliary light, a position specifying unit determines a position of a specific area formed by the measurement auxiliary light on the subject. Features to identify,
A function of controlling the light amount of the measurement auxiliary light based on at least one of an observation distance indicating the distance to the subject, the light amount of the illumination light, or the position of the specific region,
A display control unit configured to display a measurement marker set according to the position of the specific region in the first captured image or a second captured image obtained by capturing the subject illuminated by the illumination light; An endoscope program for executing a function of displaying an image on a display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141857A JP2020014808A (en) | 2018-07-27 | 2018-07-27 | Endoscope apparatus, operation method for the same, and program for endoscope apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141857A JP2020014808A (en) | 2018-07-27 | 2018-07-27 | Endoscope apparatus, operation method for the same, and program for endoscope apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020014808A true JP2020014808A (en) | 2020-01-30 |
Family
ID=69581721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018141857A Pending JP2020014808A (en) | 2018-07-27 | 2018-07-27 | Endoscope apparatus, operation method for the same, and program for endoscope apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020014808A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021029277A1 (en) * | 2019-08-13 | 2021-02-18 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0285706A (en) * | 1988-09-22 | 1990-03-27 | Toshiba Corp | Measurable endoscope |
JPH07136101A (en) * | 1993-11-16 | 1995-05-30 | Sony Corp | Endoscope with measuring function |
JP2016193144A (en) * | 2015-04-01 | 2016-11-17 | オリンパス株式会社 | Endoscope system and measurement method |
JP2016206303A (en) * | 2015-04-17 | 2016-12-08 | オリンパス株式会社 | Endoscope system |
-
2018
- 2018-07-27 JP JP2018141857A patent/JP2020014808A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0285706A (en) * | 1988-09-22 | 1990-03-27 | Toshiba Corp | Measurable endoscope |
JPH07136101A (en) * | 1993-11-16 | 1995-05-30 | Sony Corp | Endoscope with measuring function |
JP2016193144A (en) * | 2015-04-01 | 2016-11-17 | オリンパス株式会社 | Endoscope system and measurement method |
JP2016206303A (en) * | 2015-04-17 | 2016-12-08 | オリンパス株式会社 | Endoscope system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021029277A1 (en) * | 2019-08-13 | 2021-02-18 | ||
WO2021029277A1 (en) * | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | Endoscope system and method for operating same |
JP7116264B2 (en) | 2019-08-13 | 2022-08-09 | 富士フイルム株式会社 | Endoscope system and its operating method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7115897B2 (en) | endoscope device | |
EP3705023A2 (en) | Endoscope apparatus, calibration device, and calibration method | |
JP7116264B2 (en) | Endoscope system and its operating method | |
JP7029359B2 (en) | Endoscope device and its operation method as well as programs for endoscope devices | |
EP3698714B1 (en) | Endoscope apparatus | |
JP2020014808A (en) | Endoscope apparatus, operation method for the same, and program for endoscope apparatus | |
JP7167352B2 (en) | Endoscope system and its operating method | |
EP3586719B1 (en) | Endoscope apparatus | |
US20220330850A1 (en) | Endoscope apparatus, method of operating the same, and non-transitory computer readable medium | |
WO2022049806A1 (en) | Calibration device and method | |
CN113678047B (en) | Endoscope and endoscope device | |
EP3915457A1 (en) | Endoscope device | |
US20230240511A1 (en) | Endoscope system and endoscope system operation method | |
US12029386B2 (en) | Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device | |
US11399707B2 (en) | Endoscope apparatus | |
JP7447249B2 (en) | Test chart, inspection system, and inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210706 |