JP2023005896A - 内視鏡システム、医療画像処理装置及びその作動方法 - Google Patents

内視鏡システム、医療画像処理装置及びその作動方法 Download PDF

Info

Publication number
JP2023005896A
JP2023005896A JP2021108148A JP2021108148A JP2023005896A JP 2023005896 A JP2023005896 A JP 2023005896A JP 2021108148 A JP2021108148 A JP 2021108148A JP 2021108148 A JP2021108148 A JP 2021108148A JP 2023005896 A JP2023005896 A JP 2023005896A
Authority
JP
Japan
Prior art keywords
incision line
medical image
tumor
line
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021108148A
Other languages
English (en)
Inventor
稔 池谷
Minoru Iketani
哲也 藤倉
Tetsuya Fujikura
治男 秋庭
Haruo Akiba
学 宮本
Manabu Miyamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021108148A priority Critical patent/JP2023005896A/ja
Priority to US17/809,235 priority patent/US20220414956A1/en
Priority to CN202210754266.XA priority patent/CN115607092A/zh
Priority to EP22181680.4A priority patent/EP4111938A1/en
Publication of JP2023005896A publication Critical patent/JP2023005896A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)

Abstract

Figure 2023005896000001
【課題】特別な装置を用いることなく、かつ、病変と処置すべき部分を同時に認識することができる内視鏡システム、医療画像処理装置及びその作動方法を提供する。
【解決手段】医療画像処理装置は、プロセッサを備え、プロセッサは、内視鏡により被写体を撮影した医療画像を取得し、医療画像から腫瘍領域及び非腫瘍領域を識別し、腫瘍領域と非腫瘍領域の境界であるデマルケーションラインを生成し、デマルケーションラインから指定距離、離れた位置に仮想切開ラインを生成し、デマルケーションライン及び仮想切開ラインを医療画像に重畳して表示する制御を行う。
【選択図】図８

Description

本発明は、内視鏡的粘膜下層剥離術等の手術を支援する内視鏡システム、医療画像処理装置及びその作動方法に関する。
内視鏡的粘膜下層剥離術(ＥＳＤ: Endoscopic Submucosal Dissection)によって、内視鏡的粘膜切除術（ＥＭＲ: Endoscopic Mucosal Resection）が適用できない大きさの腫瘍の切除が可能となり、侵襲性の高い外科手術を選択せずに済むようになった。ＥＳＤは内視鏡下で行うため、低侵襲であるメリットがある。一方、消化管の厚さは、胃で５～７ｍｍ、大腸で３～５ｍｍと極めて薄く、ＥＳＤを行う医師には高度な技術が要求される。
手術時に術者を支援するため、切除すべき部分を示すことができる技術が知られている。例えば、肝臓のクイノー分類の一区域の摘出のために、摘出予定の部分が蛍光発光するようにＩＣＧが投与された被写体の蛍光画像と、蛍光画像上から計算された、患部の領域から切断余裕幅だけ離した位置に、切断補助線となるレーザー光を被写体に照射した上で撮影した画像とを重ね合わせ、術者に切断位置を視認させる技術が知られている（特許文献１）。
また、治療用レーザーを照射するレーザーアブレーションによりＥＳＤを行う際、イメージング用の光を患部に照射し、スパイラル走査により治療すべき指定領域を指定する技術が知られている（特許文献２）。
特開２０１６－２７３６７号公報 国際公開第２０１４／１８８７１８号
小さなクリニックや手術室では、導線を確保し、スペースを圧迫しないように内視鏡システムをできるだけ小さくすることが好ましい。したがって、内視鏡システムに複数台の光源装置やカメラ等、大掛かりな部材を必要としないことが求められている。特許文献１のような、切断補助線用のレーザー光を使用することなく、内視鏡システム全体をコンパクトなサイズに収め、かつ、腫瘍領域を適切に切除しつつ非腫瘍領域を温存できる安全で安定的なＥＳＤを行うための、術者をサポートする技術が求められている。
本発明は、特別な装置を用いることなく、かつ、病変と処置すべき部分を同時に認識することができる内視鏡システム、医療画像処理装置及びその作動方法を提供することを目的とする。
本発明の医療画像処理装置は、プロセッサを備える医療画像処理装置であって、
プロセッサは、内視鏡により被写体を撮影した医療画像を取得し、医療画像から腫瘍領域及び非腫瘍領域を識別し、腫瘍領域と非腫瘍領域の境界であるデマルケーションラインを生成し、デマルケーションラインから指定距離、離れた位置に仮想切開ラインを生成し、デマルケーションライン及び仮想切開ラインを医療画像に重畳して表示する制御を行う。
プロセッサは、承認指示がある場合、仮想切開ラインを決定切開ラインとして決定することが好ましい。
プロセッサは、医療画像上で腫瘍領域が移動した場合、腫瘍領域に追従し、決定切開ラインの表示位置を変更することが好ましい。
プロセッサは、決定切開ラインを医療画像に重畳した決定切開ライン画像にランドマークを設定し、決定切開ライン画像上の決定切開ラインとランドマークとを関連付けて記録し、決定切開ライン画像上のランドマークの動きに応じて、決定切開ラインの表示位置を変更することが好ましい。
決定切開ラインの表示位置を、気体量の変化に応じて変更することが好ましい。決定切開ラインの表示位置を、医療画像の観察倍率の変化に応じて変更することが好ましい。決定切開ラインの表示態様を、医療画像上の粘膜の折れ曲りに応じて変更することが好ましい。
プロセッサは、腫瘍領域が、第１腫瘍部分と、第２腫瘍部分とからなり、第１腫瘍部分は第１医療画像に表示され、第２腫瘍部分は第１医療画像と撮像位置が異なる第２医療画像に含まれるように表示され、第２医療画像に対応する第２表示用画像に、決定切開ラインとして第１腫瘍部分に対応する第１決定切開ラインの一部分と、第２腫瘍部分に対応する仮想切開ラインが表示される場合であって、第２腫瘍部分に対応する仮想切開ラインを第２決定切開ラインと決定する承認指示がある場合、第１決定切開ラインと、第２決定切開ラインとを繋ぎ合わせることにより、決定切開ラインを更新することが好ましい。
プロセッサは、決定切開ラインに、第１腫瘍領域に対応する第１腫瘍決定切開ラインと、第１腫瘍領域と異なる第２腫瘍領域に対応する第２腫瘍決定切開ラインとが含まれる場合であって、第１腫瘍決定切開ラインが囲む第１領域と、第２腫瘍決定切開ラインが囲む第２領域とが重なった重複領域が生じる場合、重複領域を除く第１領域を囲む第１腫瘍決定切開ライン、及び重複領域を除く第２領域を囲む第２腫瘍決定切開ラインを結合した結合切開ラインを生成することが好ましい。
プロセッサは、重複領域を切開不可領域として設定することが好ましい。プロセッサは、医療画像から測長用指標を認識し、デマルケーションライン及び仮想切開ラインを生成することが好ましい。指定距離は任意に設定可能であることが好ましい。被写体は、管腔臓器であることが好ましい。
本発明の医療画像処理装置の作動方法は、内視鏡により被写体を撮影した医療画像を取得するステップと、医療画像から腫瘍領域及び非腫瘍領域を識別するステップと、腫瘍領域と非腫瘍領域の境界であるデマルケーションラインを生成するステップと、デマルケーションラインから指定距離、離れた位置に仮想切開ラインを生成するステップと、デマルケーションライン及び仮想切開ラインを医療画像に重畳して表示する制御を行うステップと、を備える。
本発明の内視鏡システムは、上記の医療画像処理装置と、内視鏡と、を備える。
本発明によれば、特別な装置を用いることなく、かつ、病変と処置すべき部分を同時に認識することができる。
内視鏡システムの構成の説明図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 画像解析モード時の第１発光パターンを示す説明図である。 画像解析モード時の第２発光パターンを示す説明図である。 デマルケーションラインを生成した医療画像の例を示す画像図である。 デマルケーションラインから指定距離離れた位置に仮想切開ラインを表示した表示用画像の例を示す画像図である。 デマルケーションライン及び仮想切開ラインを表示した表示用画像の例を示す画像図である。 デマルケーションライン及び決定切開ラインを表示した表示用画像の例を示す画像図である。 医療画像を取得してから決定切開ラインを表示用画像に表示するまでの流れを示すフローチャートである。 視野が動いた場合の決定切開ラインの変更について示す説明図である。 決定切開ライン画像上でランドマークを設定する方法を示す画像図である。 気体量を変更した場合の決定切開ラインの変更について示す説明図である。 低倍率の表示用画像を示す画像図である。 高倍率の表示用画像で決定切開ラインの変更について示す画像図である。 粘膜の折れ曲がりがある場合の決定切開ラインの変更について示す画像図である。 第１表示用画像を示す画像図である。 仮想切開ラインを表示した第２表示用画像を示す画像図である。 第２決定切開ラインを表示した第２表示用画像を示す画像図である。 第１腫瘍決定切開ライン及び第２腫瘍決定切開ラインを表示した表示用画像を示す画像図である。 結合切開ラインを表示した表示用画像を示す画像図である。 測長用指標を表示した表示用画像を示す画像図である。 測距用レーザー発光部と測距用レーザーについて示す説明図である。
図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１４、プロセッサ装置１５、医療画像処理装置１１、ディスプレイ１７及びユーザーインターフェース１９、を備える。医療画像処理装置１１は、プロセッサ装置１５を介して内視鏡システム１０に接続されている。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１５と電気的に接続される。
内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）を設けている。処置具は、鉗子口１２ｊから鉗子チャンネル内に挿入する。
内視鏡１２の内部には、被写体像を結像するための光学系、及び、被写体に照明光を照射するための光学系が設けられる。操作部１２ｂには、アングルノブ１２ｅ、モード切替スイッチ１２ｆ、及びズーム操作部１２ｉが設けられる。モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。ズーム操作部１２ｉは、ズームレンズ４２の操作に用いる。
光源装置１４は、照明光を発生する。ディスプレイ１７は、医療画像、及び、医療画像に、後述するデマルケーションライン、及び仮想切開ラインもしくは決定切開ラインを重畳した画像を出力表示する。ユーザーインターフェース１９は、キーボード、マウス、タッチパッド及びマイク等を有し、機能設定等の入力操作を受け付ける機能を有する。プロセッサ装置１５は、内視鏡システム１０のシステム制御及び内視鏡１２から送信された画像信号に対して画像処理等を行う。
図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。光源部２０は内視鏡１２に内蔵されていてもよく、光源制御部は内視鏡１２に内蔵されていてもよく、あるいはプロセッサ装置１５に内蔵されていてもよい。
光源部２０は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる通常光を発する場合、図３に示すようなスペクトルの光を発する。この場合、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
内視鏡システム１０は、モノ発光モードと、マルチ発光モードと、切開ライン表示モードとを備えており、モード切替スイッチ１２ｆによって切り替えられる。モノ発光モードは、同一スペクトルの照明光を連続的に照射し、観察対象を照明するモードである。マルチ発光モードは、異なるスペクトルの複数の照明光を、特定のパターンに従って切り替えながら照射し、観察対象を照明するモードである。なお、照明光には、通常光（白色光などの広帯域の光）、又は、観察対象のうち特定領域を強調するために用いられる特殊光が含まれる。また、モノ発光モードにおいて、モード切替スイッチ１２ｆの操作によって、異なるスペクトルの照明光に切り替えるようにしてもよい。例えば、スペクトルが異なる第１照明光と第２照明光の切り替えるようにしてもよい。
切開ライン表示モードは、被写体に腫瘍を見つけた際、腫瘍領域と非腫瘍領域とを識別し、腫瘍領域と非腫瘍領域の境界線と、実際に切開を行う線とを術者に示す表示用画像を生成し、ディスプレイ１７に表示することで、ＥＳＤにおける粘膜の切開を支援するモードである。
光源用プロセッサ２１は、４色の紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒの光量を独立に制御する。モノ発光モードの場合には、１フレーム毎に、同一スペクトルの照明光を連続的に発光する。例えば、白色光等の通常光（第１照明光）を観察対象に照明して撮像することによって、自然な色合いの第１照明光画像をディスプレイ１７に表示する。また、モノ発光モードで第１照明光と第２照明光を切り替えて、特殊光（第２照明光）を観察対象に照明して撮像し、特定の構造を強調した第２照明光画像をディスプレイ１７に表示してもよい。第１照明光画像及び第２照明光画像は、医療画像の一種である。
ＥＳＤを行う際に使用する光は、通常は第１照明光である。ＥＳＤを行う事前に病変部の浸潤範囲を確認したい場合等に、第２照明光を用いてもよい。切開ライン表示モードでは、モノ発光モードとマルチ発光モードのいずれかのモードの発光パターンで医療画像を得るか、また、モノ発光モードの発光パターンで、第１照明光画像又は第２照明光画像のいずれを医療画像として得るかを選択できる。
一方、マルチ発光モードの場合においては、特定のパターンに従って、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒの光量を変化させる制御が行われる。例えば、発光パターンとして、図４に示すように、第１照明光により被写体を照明する第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１発光パターンと、図５に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第２発光パターンのように第１照明光と第２照明光とを切り替える。なお、図において、timeを付した矢印は時間経過の方向を表す。また、フレームとは、内視鏡の先端部１２ｄに設けられた撮像センサ（図示しない）が、観察対象からの戻り光の受光を開始し、受光に基づいて蓄積した電荷信号の出力が完了するまでの間の時間をいう。また、第２照明期間は、第２照明光により被写体を照明する期間である。
各ＬＥＤ２０ａ～２０ｄ（図２参照）が発する光は、ミラーやレンズ等で構成される光路結合部２２を介して、ライトガイド２３に入射される。ライトガイド２３は、光路結合部２２からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３１を有しており、ライトガイド２３によって伝搬した照明光は照明レンズ３１を介して観察対象に照射される。光源部２０が内視鏡１２の先端部１２ｄに内蔵される場合は、ライトガイドを介さずに照明光学系の照明レンズを介して被写体に向けて出射される。撮像光学系３０ｂは、対物レンズ４１、撮像センサ４３を有する。照明光を照射したことによる観察対象からの光は、対物レンズ４１及びズームレンズ４２を介して撮像センサ４３に入射する。これにより、撮像センサ４３に観察対象の像が結像される。ズームレンズ４２は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。
撮像センサ４３は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。
また、撮像センサ４３は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４４は、撮像センサ４３を制御する。具体的には、撮像用プロセッサ４４により撮像センサ４３の信号読み出しを行うことによって、撮像センサ４３から画像信号が出力される。出力された画像信号は、プロセッサ装置１５の医療画像取得部６０に送信される。
医療画像取得部６０は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、デモザイク処理、マトリクス処理、ホワイトバランスの調整、ガンマ変換処理、及びＹＣ変換処理等の各種信号処理を行う。次いで、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理を含む画像処理を施す。
プロセッサ装置１５においては、画像制御用プロセッサで構成される第１中央制御部５５により、プログラム用メモリ内のプログラムが動作することで、医療画像取得部６０の機能が実現される。
医療画像取得部６０が生成した医療画像は、医療画像処理装置１１に送信される。医療画像処理装置１１は、画像入力部１００、病変認識部１１０、デマルケーションライン生成部１２０、仮想切開ライン生成部１３０、ランドマーク設定部１４０、ランドマーク記録部１６０、決定切開ライン変更部１７０、表示制御部２００、及び第２中央制御部１０１を備える（図２参照）。
医療画像処理装置１１においては、画像解析用プロセッサで構成される第２中央制御部１０１により、プログラム用メモリ内のプログラムが動作することで、画像入力部１００、病変認識部１１０、デマルケーションライン生成部１２０、仮想切開ライン生成部１３０、ランドマーク設定部１４０、ランドマーク記録部１６０、決定切開ライン変更部１７０、及び表示制御部２００の機能が実現される。
医療画像は、医療画像処理装置１１の画像入力部１００に送信される（図２参照）。画像入力部１００は、病変認識部１１０に医療画像を入力する。病変認識部１１０は、入力された医療画像に含まれる被写体の腫瘍領域及び非腫瘍領域を識別する。デマルケーションライン生成部１２０は、図６に示すように、腫瘍領域２１１及び非腫瘍領域２０６が識別された医療画像２０８に基づき、腫瘍領域２１１と非腫瘍領域２０６の境界線であるデマルケーションライン２１２を生成する。デマルケーションラインの情報は、仮想切開ライン生成部１３０に送信され、仮想切開ライン生成部１３０は、図７に示すように、デマルケーションライン２１２から指定距離２１４（図７では矢印で示す。図の煩雑化を防ぐため、図７では１つにのみ符号を付する。）離れた位置に、ＥＳＤを行う際に適した仮の切開線である仮想切開ライン２１３を生成する。デマルケーションライン２１２及び仮想切開ライン２１３の情報は、医療画像と関連付けられて表示制御部２００に送信され、表示制御部２００は、医療画像にデマルケーションライン２１２及び仮想切開ライン２１３を重畳し、ディスプレイ１７に表示するための、図８に示すような表示用画像２１０を生成する。
図８に例示する表示用画像２１０には、腫瘍領域２１１と非腫瘍領域２０６の境界であるデマルケーションライン２１２（図８では一点鎖線で示す）と、仮想切開ライン２１３（図８では二点鎖線で示す）が表示されている。なお、表示用画像２１０において、デマルケーションライン２１２又は仮想切開ライン２１３を表示するかどうかは任意に設定できる。
病変認識部１１０は、腫瘍領域及び非腫瘍領域が予め識別された教師用画像データによって学習されている、腫瘍領域及び非腫瘍領域識別用の学習モデルであることが好ましい。教師用画像データにおける、腫瘍領域及び非腫瘍領域の情報の付与は、熟練した医師が行ってもよく、医療画像処理装置１１以外の装置が自動的に行ってもよい。また、病変認識部１１０又は別の学習モデルが出力した情報を医療画像に付与し、教師用画像データとして病変認識部１１０の学習に用いてもよい。
学習モデルを生成する機械学習には深層学習を用いることが好ましく、例えば、多層畳み込みニューラルネットワークを用いることが好ましい。機械学習には、深層学習に加え、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、敵対的生成ネットワーク等が含まれる。
仮想切開ラインは、ＥＳＤを行う際に適した仮の切開線である。ＥＳＤは、（１）腫瘍周囲のマーキング、（２）粘膜下層への局注、（３）粘膜の切開、（４）粘膜下層の剥離、（５）止血、のステップを経て、悪性腫瘍等を内視鏡下で切除する。これらの処置を開始するにあたり、事前にデマルケーションライン及び仮想切開ラインを設定し、表示することで、病変の位置と処置すべき位置を術者に認識させ、術者が、どの位置にマーキングし、局注を行い、粘膜の切開を行うかの判断を支援することができる。また、デマルケーションライン及び仮想切開ラインの生成を医療画像に基づいて医療画像処理装置１１が行うことで、医療画像を生成する装置があれば、その装置に医療画像処理装置１１を接続するだけで、特別な部材や装置を内視鏡１２に設けることなくＥＳＤの支援を行うことができる。
デマルケーションラインから仮想切開ラインを生成するための指定距離は、任意に設定可能であることが好ましい。指定距離は、腫瘍領域を確実に切除でき、かつ非腫瘍領域を切除しすぎない距離であることが好ましい。適切なＥＳＤを行うため、指定距離は５ｍｍが推奨であるが、炎症や病変の程度によって指定距離が変わる場合があるため、任意に設定できることがよい。また、被写体は、食道、胃、十二指腸、空腸、回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等の管腔臓器である。
仮想切開ライン生成部１３０は、承認指示がある場合、仮想切開ラインを決定切開ラインとして決定する。承認指示は、術者や補助者等のユーザーが、仮想切開ラインが表示された表示用画像２１０をディスプレイ１７上で見て確認し、仮想切開ラインを、実際に処置を行う切開線として承認した際に、ユーザーインターフェース１９を通じて医療画像処理装置１１に送信される。なお、仮想切開ラインが生成された場合に、自動的に承認指示を送信し、決定切開ラインとして決定するように設定してもよい。承認指示を受け、仮想切開ライン生成部１３０は、決定切開ラインを医療画像に重畳した決定切開ライン画像を生成する。さらに、表示制御部２００は、及びデマルケーションラインを決定切開ライン画像に重畳し、図９に示すような、ディスプレイ１７に表示するための表示用画像２２０を生成する。
図９に例示する表示用画像２２０は、腫瘍領域２１１、デマルケーションライン２１２（図９では一点鎖線で示す）と、決定切開ライン２１５（図９では点線で示す）が表示されている。なお、表示用画像２２０において、デマルケーションライン２１２又は決定切開ライン２１５を表示するかどうかは任意に設定できる。
医療画像を取得してから決定切開ラインを表示用画像に表示するまでの流れは、図１０に示すフローチャートの通りである。医療画像処理装置１１が医療画像を取得し（ＳＴ１０１）、病変認識部１１０が医療画像上の腫瘍領域と非腫瘍領域を識別し（ＳＴ１０２）、デマルケーションライン生成部１２０が腫瘍領域と非腫瘍領域の境界にデマルケーションラインを生成し（ＳＴ１０３）、仮想切開ライン生成部１３０がデマルケーションラインから指定距離離れた位置に仮想切開ラインを生成し（ＳＴ１０４）、表示制御部２００が医療画像にデマルケーションラインと仮想切開ラインを重畳した表示用画像を生成する（ＳＴ１０５）。承認指示がなされた場合、仮想切開ライン生成部１３０が仮想切開ラインを決定切開ラインとして決定し、決定切開ラインを医療画像に重畳した決定切開ライン画像を生成し、デマルケーションラインと決定切開ラインとを医療画像に重畳した表示用画像を表示する（ＳＴ１０７）。
決定切開ライン変更部１７０は、術者が内視鏡１２を移動させることにより、医療画像上で（医療画像に映る）腫瘍領域が移動した場合、腫瘍領域に追従し、決定切開ラインの表示位置を変更することが好ましい。決定切開ラインの表示位置の変更は、医療画像処理装置１１に搭載された人工知能を用いた画像処理によって行ってもよく、後述するランドマークに基づいて行ってもよい。なお、腫瘍領域の移動とは、時系列順に取得される医療画像に写る被写体が、時系列に沿って変化することを指す。また、変更とは、医療画像に重畳される決定切開ラインの位置が、時系列に沿って変化することを指す。
具体的には、図１１に示すように、左側の移動前の表示用画像２２１から、右側の移動後の表示用画像２２２に医療画像の視野が移動して腫瘍領域２１１が移動した場合、決定切開ライン変更部１７０は、決定切開ライン２１５の位置を変更する。図１１では、右側の移動後の表示用画像２２２に、左側の移動前の表示用画像２２１に表示されていた移動前のデマルケーションライン２１２ａと移動前の決定切開ライン２１５ａを、細い一点鎖線で示している。上記構成により、視野が移動しても、腫瘍領域に追従してデマルケーションラインと決定切開ラインを表示することで、ユーザーは腫瘍領域と切開すべき部分を認識することができる。
ランドマークに基づいて決定切開ラインの表示位置を変更する場合、決定切開ライン変更部１７０は、ランドマークの位置情報に基づく位置情報推定処理を行い、決定切開ライン画像に重畳される決定切開ライン２１５の表示位置を変更する。この場合、仮想切開ライン生成部１３０は、決定切開ライン画像をランドマーク設定部１４０に送信し（図２参照）、ランドマーク設定部１４０は、決定切開ライン画像１４１にランドマークを設定する。決定切開ライン２１５は、ランドマークと関連付けられ、ランドマーク記録部１６０に一時記録される。
ランドマーク設定部１４０は、決定切開ライン画像１４１に対して検出処理を行うことによってランドマークＬＭを検出し、さらに、ランドマークＬＭの位置情報を取得する。ランドマークＬＭには、血管、例えば、薬剤蛍光（ＰＤＤ（Photodynamic diagnosis））により強調される血管などの他、腫瘍などの病変部に加え、腺管構造などの各種構造物などが挙げられる。図１２に示すように、腫瘍領域２１１が検出された決定切開ライン画像１４１において、検出処理によって複数のランドマークＬＭが検出された場合、表示制御部２００は、ランドマークＬＭの位置情報として、複数のランドマーク位置表示用サークル２５２をディスプレイ１７に表示する制御を行う。この場合、互いのランドマーク位置表示用サークル２５２を区別することができるようにすることが好ましい。例えば、各ランドマーク位置表示用サークル２５２に、区別するための番号ＮＢ（区別用番号）を付している。
また、検出処理によってランドマークが検出された場合には、ランドマークの位置情報と検出対象の実位置情報とを関連付けるランドマーク設定処理を行う。図１２に示すように、ランドマーク設定処理では、ランドマークＬＭの位置情報と腫瘍領域２１１の実位置情報とを関連付ける方法として、デマルケーションライン２１２とランドマーク位置表示用サークル２５２とをリンクライン（図示しない）で結ぶ。この場合、ランドマークＬＭのうち、腫瘍領域Ｃ２１１の周囲で検出されたランドマークＬＭの位置情報と腫瘍領域２１１の実位置情報とを関連付けることが好ましい。即ち、図１２の場合であれば、デマルケーションライン２１２の周囲にある区別用番号が「１」、「２」、「３」のランドマーク位置表示用サークル２５２は、少なくともデマルケーションライン２１２とリンクラインで結ぶ必要がある。また、異なるランドマーク位置表示用サークル２５２間も、リンクラインで結ぶことが好ましい。なお、ランドマーク設定処理によって関連付けられたランドマークＬＭの位置情報と検出対象の実位置情報に関する情報は、さらに決定切開ラインと関連付けられ、ランドマーク記録部１６０に記憶される。ランドマーク記録部１６０には、デマルケーションラインの情報を、ランドマークと、決定切開ラインの情報を関連付けてもよい。なお、ランドマーク設定部１４０は、ランドマークを含む教師用画像データで学習された機械学習を搭載した、ランドマーク検出用の学習モデルであることが好ましい。上記構成により、視野が移動しても、ランドマークに基づいて、決定切開ライン画像に写る被写体の移動に伴うランドマークの移動に追従してデマルケーションラインと決定切開ラインを表示することで、ユーザーは腫瘍領域と切開すべき部分を位置情報に基づいて正確に認識することができる。
決定切開ラインの表示位置が変化する他の実施例を以降に挙げる。決定切開ライン変更部１７０は、被検者に送られる気体量の変化に応じて、決定切開ラインの表示位置を変更することができる。ＥＳＤを行う際、ヒダ等の構造物により視野が阻害されることを防ぐため、被検者の消化管内に空気や炭酸ガスなどの気体を送り込むことがある。この際、粘膜や腫瘍領域２１１が引き伸ばされ、腫瘍領域の見え方が変わる。また、腫瘍領域２１１が見える角度も変わることがある。具体的には、気体として空気を入れることで、図１３の左側の空気量が少ない場合の表示用画像２２３から、右側の空気量が多い場合の表示用画像２２４に視野が変化する。図１３では、右側の空気量が多い場合の表示用画像２２４に、左側の空気量が少ない場合の表示用画像２２３に表示されていたデマルケーションライン２１２ｂと決定切開ライン２１５ｂを、細い一点鎖線で示している。矢印は決定切開ラインの変化の動き、すなわち、決定切開ラインの変更前と変更後の前後関係を示す。なお、ランドマークを用いる場合は、ランドマーク（図示しない）の位置情報に基づく位置情報推定処理により決定切開ライン２１５の表示位置を変更する。上記構成により、空気量の変化といった場面の変化に応じて、デマルケーションラインと決定切開ラインの位置を追従して表示することができる。
また、決定切開ライン変更部１７０は、決定切開ライン２１５の表示位置を、医療画像の観察倍率に応じて変更する。具体的には、図１４（低倍率観察医療画像）から図１５（高倍率観察医療画像）のように観察倍率が拡大された場合、図１４から図１５のように、デマルケーションライン２１２と、決定切開ライン２１５の表示位置を変更させる。図１５では、図１４の低倍率の表示用画像２２５に表示されていたデマルケーションライン２１２ｃと決定切開ライン２１５ｃを、高倍率の表示用画像２２６に、細い一点鎖線で示している。矢印は決定切開ラインの変化の動きを示す。なお、ランドマークを用いる場合は、ランドマーク（図示しない）の位置情報に基づく位置情報推定処理により決定切開ラインの表示位置を変更する。上記構成により、拡大倍率の変化といった場面の変化に応じて、デマルケーションラインと決定切開ラインの位置を追従して表示することができる。
また、決定切開ライン変更部１７０は、決定切開ラインの表示態様を、医療画像上の粘膜の折れ曲がりに呼応して変更する。具体的には、図１６のように、医療画像（決定切開ライン画像に対する表示用画像２２０）に写る粘膜の折れ曲り２１７によって、決定切開ライン２１５の一部が隠されてしまった場合、図１６のようにデマルケーションライン２１２と、決定切開ライン２１５の一部を表示しないよう、表示態様を変更させる。図１６では、粘膜の折れ曲り２１７によって隠されたデマルケーションライン２１２と、決定切開ライン２１５を細い点線で示している。なお、ランドマークを用いる場合は、ランドマーク（図示しない）の位置情報に基づく位置情報推定処理により決定切開ラインの表示位置を変更する。上記構成により、粘膜の折れ曲がりによってデマルケーションラインと決定切開ラインの位置が隠された場合、切開すべき部位が隠れていることを術者に視認させ、注意を促すことができる。この構成により、術者は、一度設定された決定切開ラインを見失わず、再び腫瘍領域及び決定切開ラインが見える視野へスコープを移動させることができる。
決定切開ライン変更部１７０は仮想切開ライン生成部１３０と連携して決定切開ラインの表示位置を変更することが好ましい。例えば、腫瘍領域がひとつの視野に収まらずに見切れている際、内視鏡１２の先端部１２ｄを動かして視野外にあった腫瘍領域を撮像した場合、元々表示していた決定切開ラインに繋げるようにして新たに仮想切開ラインを生成することが好ましい。具体的な例として、腫瘍領域２１１のうち、一部の第１腫瘍部分２１１ａが第１医療画像に表示され、その他の第２腫瘍部分２１１ｂ（第１医療画像では視野に収まらずに見切れている部分）が先端部１２ｄの移動により第２医療画像に表示される場合について例示する。なお、腫瘍領域２１１は、第１腫瘍部分２１１ａと第２腫瘍部分２１１ｂとからなる。
第１医療画像に対応する第１表示用画像２３０では、図１７に示すように、第１医療画像の視野に収まっている第１腫瘍部分２１１ａに対して、デマルケーションライン（一点鎖線で示す）及び第１仮想切開ライン（図示しない）が生成された後、ユーザーの承認申請によって第１決定切開ライン２３４（図１７では点線で示す）が決定される。次に、ユーザーは、第１医療画像の視野に収まらずに見切れている第２腫瘍部分２１１ｂを表示させるために、先端部１２ｄを移動させる。第２医療画像に対応する第２表示用画像２３２では、図１８に示すように、第１決定切開ライン２３４の一部分と、第１医療画像では視野に収まっていなかった第２腫瘍部分２１１ｂとが表示されている。
図１８に示すように、第２表示用画像２３２では、第２腫瘍部分２１１ｂに対して、デマルケーションライン（一点鎖線で示す）及び仮想切開ライン２３５（図１８では二点鎖線で示す）が生成される。第２表示用画像２３２が表示されている状態で、ユーザーの承認指示を行うことによって、第２腫瘍部分２１１ｂに対応する仮想切開ライン２３５が、第２決定切開ラインと決定され、さらに、第１決定切開ライン２３４と繋ぎ合わさることで、図１９に示すように、腫瘍領域２１１の全体を囲む決定切開ライン２３６（図１９では点線で示す）として更新される。なお、デマルケーションラインも決定切開ライン２３６と同様に、第１医療画像と第２医療画像にまたがるように生成される。なお、第２仮想切開ラインの生成にランドマークを用いる場合は、ランドマーク（図示しない）の位置情報に基づく位置情報推定処理により第２仮想切開ラインの生成位置を設定する。上記構成により、腫瘍領域が見切れている場合に、少しスコープを動かせば、腫瘍領域の全体を囲む決定切開ラインを設定することができ、術者にデマルケーションラインと決定切開ラインを表示することができる。なお、上記では腫瘍領域が第１医療画像と第２医療画像にまたがって存在する場合について記載したが、腫瘍領域が３以上の医療画像に含まれる場合、第１医療画像から第Ｎ医療画像の場合にも適用できる。
また、決定切開ライン変更部１７０は、視野内に複数の腫瘍領域と決定切開ラインが存在し、それぞれの決定切開ライン同士が囲む領域が重なる場合、決定切開ライン同士を結合し、ひとつの結合切開ラインを設定してもよい。具体的には、図２０に示すように、表示用画像２２０に、第１腫瘍領域２４１と、第２腫瘍領域２４２とが含まれ、決定切開ラインとして、第１腫瘍領域２４１に対応する第１腫瘍決定切開ライン２４３（図２０では点線で示す）が、第２腫瘍領域２４２に対応する第２腫瘍決定切開ライン２４４（図２０では二点鎖線で示す）が設定され、第１腫瘍決定切開ライン２４３が囲む第１領域と、第２腫瘍決定切開ライン２４４が囲む第２領域が重なった重複領域２４５が生じる場合、決定切開ライン変更部１７０は、図２１に示すように、重複領域２４５を除く第１領域を囲む第１腫瘍決定切開ライン２４３、及び重複領域２４５を除く第２領域を囲む第２腫瘍決定切開ライン２４４を結合した、結合切開ライン２４６を生成する。なお、結合切開ライン２４６を生成する際に、ユーザーの承認指示を求めてもよく、自動で行ってもよい。上記構成により、一画面に腫瘍領域が複数存在し、一度のＥＳＤで切除できる場合に、複数の腫瘍領域を囲む決定切開ラインを設定することができ、術者にデマルケーションラインとより適切な決定切開ラインを表示することができる。なお、上記では、第１腫瘍領域と第２腫瘍領域が存在する場合について記載したが、腫瘍領域が３以上の医療画像に含まれる場合、第１腫瘍領域から第Ｎ腫瘍領域の場合にも適用できる。
また、決定切開ライン変更部１７０は、重複領域を切開不可領域として設定してもよい。複数の異なる腫瘍領域が近く、重複領域に含まれるひとつの腫瘍領域に対する決定切開ラインが、別の腫瘍領域を含むことになる場合は、重複領域に腫瘍領域が含まれ、切開に適さなくなるからである。また、重複領域に腫瘍領域が含まれなくとも、ひとつの腫瘍領域に対する決定切開ラインが、別の腫瘍領域に対する指定距離内に存在し、腫瘍を完全に切除しきれない部分に重複領域が含まれる場合も、切開に適さなくなるからである。
病変認識部１１０は、腫瘍領域のサイズを機械学習により計測し、デマルケーションラインを設定してもよく、また、被写体にレーザー光を照射し、医療画像に、図２２に示すような測距用指標２５０を含め、測距用指標から腫瘍領域のサイズを計測し、デマルケーションラインを設定してもよい。測距用のレーザーＬｍは、図２３に示すように、測距用レーザー発光部３００から発せられる。この場合、内視鏡１２の撮像光学系３０ｂの光軸Ａｘに対して交差するように、測距用のレーザーＬｍを照射し、医療画像における測距用のレーザーＬｍの照射位置から、被検体からスコープの距離（観察距離）と、腫瘍領域のサイズを測定する。測距用指標２５０の一目盛りの大きさは、測距用指標２５０を映すレーザー光の照射距離、すなわち、観察距離に依存する。つまり、観察距離が遠い場合は測距用指標２５０の一目盛りが小さくなり、観察距離が近い場合は測距用指標２５０の一目盛りが大きくなる。測距用のレーザーＬｍを照射することで、観察距離の変化に合わせて、測距用のレーザーＬｍの照射位置が変化することを利用し、腫瘍領域のサイズを測定することができる。
本実施形態では、医療画像処理装置１１が内視鏡システム１０に接続されている例で説明をしたが、本発明はこれに限定されず、超音波画像撮影装置や放射線撮影装置等、他の医療用装置を用いてもよい。また、この内視鏡１２は、硬性鏡又は軟性鏡が用いられてよい。また、内視鏡システム１０のうち医療画像取得部６０及び／又は第１中央制御部５５の一部又は全部は、例えばプロセッサ装置１５と通信して内視鏡システム１０と連携する画像処理装置に設けることができる。例えば、内視鏡システム１０から直接的に、又は、ＰＡＣＳから間接的に、内視鏡１２で撮像した画像を取得する診断支援装置に設けることができる。また、内視鏡システム１０を含む、第１検査装置、第２検査装置、…、第Ｎ検査装置等の各種検査装置と、ネットワークを介して接続する医療業務支援装置に、内視鏡システム１０のうち医療画像取得部６０及び／又は第１中央制御部５５の一部又は全部を設けることができる。
本実施形態において、医療画像取得部６０画像入力部１００、病変認識部１１０、デマルケーションライン生成部１２０、仮想切開ライン生成部１３０、ランドマーク設定部１４０、ランドマーク記録部１６０、決定切開ライン変更部１７０、及び表示制御部２００といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０ 内視鏡システム
１１ 医療画像処理装置
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 観察モード切替スイッチ
１２ｉ ズーム操作部
１２ｊ 鉗子口
１４ 光源装置
１５ プロセッサ装置
１７ ディスプレイ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２２ 光路結合部
２３ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３１ 照明レンズ
４１ 対物レンズ
４２ ズームレンズ
４３ 撮像センサ
４４ 撮像用プロセッサ
５５ 第１中央制御部
６０ 医療画像取得部
１００ 画像入力部
１０１ 第２中央制御部
１１０ 病変認識部
１２０ デマルケーションライン生成部
１３０ 仮想切開ライン生成部
１４０ ランドマーク設定部
１４１ 決定切開ライン画像
１６０ ランドマーク記録部
１７０ 決定切開ライン変更部
２００ 表示制御部
２０６ 非腫瘍領域
２０８ 医療画像
２１０、２２０、２２１、２２２、２２３、２２４、２２５、２２６ 表示用画像
２１１ 腫瘍領域
２１１ａ 第１腫瘍部分
２１１ｂ 第２腫瘍部分
２１２、２１２ａ、２１２ｂ、２１２ｃ デマルケーションライン
２１３、２３５ 仮想切開ライン
２１４ 指定距離
２１５、２１５ａ、２１５ｂ、２１５ｃ、２３６ 決定切開ライン
２１７ 粘膜の折れ曲がり
２３０ 第１表示用画像
２３２ 第２表示用画像
２３４ 第１決定切開ライン
２４１ 第１腫瘍領域
２４２ 第２腫瘍領域
２４３ 第１腫瘍決定切開ライン
２４４ 第２腫瘍決定切開ライン
２４５ 重複領域
２４６ 結合切開ライン
２５０ 測長用指標
２５２ ランドマーク位置表示用サークル
３００ 測距用レーザー発光部

Claims (15)

  1. プロセッサを備える医療画像処理装置であって、
    前記プロセッサは、
    内視鏡により被写体を撮影した医療画像を取得し、
    前記医療画像から腫瘍領域及び非腫瘍領域を識別し、
    前記腫瘍領域と前記非腫瘍領域の境界であるデマルケーションラインを生成し、
    前記デマルケーションラインから指定距離、離れた位置に仮想切開ラインを生成し、
    前記デマルケーションライン及び前記仮想切開ラインを前記医療画像に重畳して表示する制御を行う医療画像処理装置。
  2. 前記プロセッサは、承認指示がある場合、前記仮想切開ラインを決定切開ラインとして決定する請求項１に記載の医療画像処理装置。
  3. 前記プロセッサは、前記医療画像上で前記腫瘍領域が移動した場合、前記腫瘍領域に追従し、前記決定切開ラインの表示位置を変更する請求項１又は２に記載の医療画像処理装置。
  4. 前記プロセッサは、前記決定切開ラインを前記医療画像に重畳した決定切開ライン画像にランドマークを設定し、
    前記決定切開ライン画像上の前記決定切開ラインと前記ランドマークとを関連付けて記録し、
    前記決定切開ライン画像上の前記ランドマークの動きに応じて、前記決定切開ラインの表示位置を変更する請求項３に記載の医療画像処理装置。
  5. 前記決定切開ラインの前記表示位置を、気体量の変化に応じて変更する請求項３又は４に記載の医療画像処理装置。
  6. 前記決定切開ラインの前記表示位置を、前記医療画像の観察倍率の変化に応じて変更する請求項３又は４に記載の医療画像処理装置。
  7. 前記決定切開ラインの表示態様を、前記医療画像上の粘膜の折れ曲りに応じて変更する請求項３又は４に記載の医療画像処理装置。
  8. 前記プロセッサは、
    前記腫瘍領域が、第１腫瘍部分と、第２腫瘍部分とからなり、
    前記第１腫瘍部分は第１医療画像に表示され、前記第２腫瘍部分は前記第１医療画像と撮像位置が異なる第２医療画像に含まれるように表示され、
    前記第２医療画像に対応する第２表示用画像に、前記決定切開ラインとして前記第１腫瘍部分に対応する第１決定切開ラインの一部分と、前記第２腫瘍部分に対応する前記仮想切開ラインが表示される場合であって、
    前記第２腫瘍部分に対応する前記仮想切開ラインを第２決定切開ラインと決定する承認指示がある場合、
    前記第１決定切開ラインと、前記第２決定切開ラインとを繋ぎ合わせることにより、前記決定切開ラインを更新する請求項２に記載の医療画像処理装置。
  9. 前記プロセッサは、
    前記決定切開ラインに、第１腫瘍領域に対応する第１腫瘍決定切開ラインと、前記第１腫瘍領域と異なる第２腫瘍領域に対応する第２腫瘍決定切開ラインとが含まれる場合であって、前記第１腫瘍決定切開ラインが囲む第１領域と、前記第２腫瘍決定切開ラインが囲む第２領域とが重なった重複領域が生じる場合、
    前記重複領域を除く前記第１領域を囲む前記第１腫瘍決定切開ライン、及び前記重複領域を除く前記第２領域を囲む前記第２腫瘍決定切開ラインを結合した結合切開ラインを生成する請求項２に記載の医療画像処理装置。
  10. 前記プロセッサは、
    前記重複領域を切開不可領域として設定する請求項９に記載の医療画像処理装置。
  11. 前記プロセッサは、
    前記医療画像から測長用指標を認識し、前記デマルケーションライン及び前記仮想切開ラインを生成する請求項１ないし１０のいずれか１項に記載の医療画像処理装置。
  12. 前記指定距離は任意に設定可能である請求項１ないし１１のいずれか１項に記載の医療画像処理装置。
  13. 前記被写体は、管腔臓器である請求項１ないし１２のいずれか１項に記載の医療画像処理装置。
  14. 内視鏡により被写体を撮影した医療画像を取得するステップと、
    前記医療画像から腫瘍領域及び非腫瘍領域を識別するステップと、
    前記腫瘍領域と前記非腫瘍領域の境界であるデマルケーションラインを生成するステップと、
    前記デマルケーションラインから指定距離、離れた位置に仮想切開ラインを生成するステップと、
    前記デマルケーションライン及び前記仮想切開ラインを前記医療画像に重畳して表示する制御を行うステップと、を備える医療画像処理装置の作動方法。
  15. 請求項１ないし１３のいずれか１項に記載の医療画像処理装置と、前記内視鏡と、を備える内視鏡システム。
JP2021108148A 2021-06-29 2021-06-29 内視鏡システム、医療画像処理装置及びその作動方法 Pending JP2023005896A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021108148A JP2023005896A (ja) 2021-06-29 2021-06-29 内視鏡システム、医療画像処理装置及びその作動方法
US17/809,235 US20220414956A1 (en) 2021-06-29 2022-06-27 Endoscope system, medical image processing device, and operation method therefor
CN202210754266.XA CN115607092A (zh) 2021-06-29 2022-06-28 内窥镜系统、医疗图像处理装置及其工作方法
EP22181680.4A EP4111938A1 (en) 2021-06-29 2022-06-28 Endoscope system, medical image processing device, and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021108148A JP2023005896A (ja) 2021-06-29 2021-06-29 内視鏡システム、医療画像処理装置及びその作動方法

Publications (1)

Publication Number Publication Date
JP2023005896A true JP2023005896A (ja) 2023-01-18

Family

ID=82403977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021108148A Pending JP2023005896A (ja) 2021-06-29 2021-06-29 内視鏡システム、医療画像処理装置及びその作動方法

Country Status (4)

Country Link
US (1) US20220414956A1 (ja)
EP (1) EP4111938A1 (ja)
JP (1) JP2023005896A (ja)
CN (1) CN115607092A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5642619B2 (ja) * 2011-05-12 2014-12-17 富士フイルム株式会社 医療装置システム及び医療装置システムの作動方法
WO2013134782A1 (en) * 2012-03-09 2013-09-12 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
JP5593009B1 (ja) * 2012-11-07 2014-09-17 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
WO2014188718A1 (ja) 2013-05-21 2014-11-27 オリンパス株式会社 光走査デバイスおよび光ビームの走査方法
JP6534096B2 (ja) 2014-06-25 2019-06-26 パナソニックＩｐマネジメント株式会社 投影システム
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム

Also Published As

Publication number Publication date
US20220414956A1 (en) 2022-12-29
CN115607092A (zh) 2023-01-17
EP4111938A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP6785941B2 (ja) 内視鏡システム及びその作動方法
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
JP7138771B2 (ja) 診断支援装置、診断支援方法及びプログラム
WO2021075418A1 (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
US20210385367A1 (en) Endoscope apparatus, information storage medium, control method of endoscope apparatus, and processing device
WO2021229684A1 (ja) 画像処理システム、内視鏡システム、画像処理方法及び学習方法
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
JP2023005896A (ja) 内視鏡システム、医療画像処理装置及びその作動方法
WO2022071413A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor
JP2023007331A (ja) 内視鏡システム、医療画像処理装置及びその作動方法
US20220375117A1 (en) Medical image processing device, endoscope system, and medical image processing device operation method
WO2022191128A1 (ja) 内視鏡システム及びその作動方法
US20180146845A1 (en) Marking method and resecting method
US20230096406A1 (en) Surgical devices, systems, and methods using multi-source imaging
US20220409010A1 (en) Medical image processing device, operation method therefor, and endoscope system
WO2022190740A1 (ja) 内視鏡システム及びその作動方法
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
JP7470776B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2022070275A1 (ja) 支援装置、内視鏡システム、支援方法およびプログラム
WO2022191129A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240307