CN115607092A - 内窥镜系统、医疗图像处理装置及其工作方法 - Google Patents

内窥镜系统、医疗图像处理装置及其工作方法 Download PDF

Info

Publication number
CN115607092A
CN115607092A CN202210754266.XA CN202210754266A CN115607092A CN 115607092 A CN115607092 A CN 115607092A CN 202210754266 A CN202210754266 A CN 202210754266A CN 115607092 A CN115607092 A CN 115607092A
Authority
CN
China
Prior art keywords
medical image
incision line
tumor
line
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210754266.XA
Other languages
English (en)
Inventor
池谷稔
藤仓哲也
秋庭治男
宫本学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115607092A publication Critical patent/CN115607092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种不使用特殊装置且能够同时识别病变和应治疗部分的内窥镜系统、医疗图像处理装置及其工作方法。医疗图像处理装置具备处理器，处理器进行如下处理：获取由内窥镜拍摄到被摄体的医疗图像；从医疗图像中识别肿瘤区域及非肿瘤区域；生成肿瘤区域与非肿瘤区域的边界即分界线；在从分界线离开指定距离的位置上生成假想切开线；及进行将分界线及假想切开线重叠显示于医疗图像上的控制。

Description

内窥镜系统、医疗图像处理装置及其工作方法
技术领域
本发明涉及一种辅助内窥镜的粘膜底层剥离术等手术的内窥镜系统、医疗图像处理装置及其工作方法。
背景技术
通过内窥镜的粘膜底层剥离术(ESD：Endoscopic Submucosal Dissectio n)可以切除内窥镜的粘膜切除术(EMR：Endoscopic Mucosal Resection)无法适用的大小的肿瘤，无需选择侵入性高的外科手术。ESD由于在内窥镜下进行，因此具有低侵入的优点。另一方面，消化道的厚度极薄，在胃中为5～7mm，在大肠中为3～5mm，对进行ESD的医生要求高超技术。
已知一种手术时为了辅助执刀医而能够表示应切除部分的技术。例如，为了摘除肝脏的奎诺分类的一个区域，已知如下技术：使投入ICG以使摘除预定部分荧光发光的被摄体的荧光图像、以及在从荧光图像上计算出的从患部区域离开切断余量宽度的位置上将成为切断辅助线的激光照射到被摄体之后拍摄到的图像重合，以使执刀医视觉辨认切断位置(专利文献1)。
并且，已知如下技术：当通过照射治疗用激光的激光消融进行ESD时，将成像用光照射于患部，并通过螺旋扫描来指定应治疗的指定区域(专利文献2)。
专利文献1：日本特开2016-27367号公报
专利文献2：国际公开第2014/188718号
在小型诊所或手术室中，优选确保导线并尽量减小内窥镜系统以免占用空间。从而，要求内窥镜系统不需要多台光源装置、摄像机等大型部件。要求一种如专利文献1那样的辅助执刀医的技术，该技术不使用切断辅助线用激光，将整个内窥镜系统收纳为紧凑的尺寸，并且用于进行在适当地切除肿瘤区域的同时，能够保存非肿瘤区域的安全而稳定的ESD。
发明内容
本发明的目的在于提供一种不使用特殊装置且能够同时识别病变和应治疗部分的内窥镜系统、医疗图像处理装置及其工作方法。
本发明的医疗图像处理装置是具备处理器的医疗图像处理装置。
处理器进行如下处理：获取由内窥镜拍摄到被摄体的医疗图像；从医疗图像中识别肿瘤区域及非肿瘤区域；生成肿瘤区域与非肿瘤区域的边界即分界线；在从分界线离开指定距离的位置上生成假想切开线；及进行将分界线及假想切开线重叠显示于医疗图像上的控制。
优选为，在有批准指示的情况下，处理器将假想切开线确定为确定切开线。
优选为，肿瘤区域在医疗图像上进行了移动的情况下，处理器追随肿瘤区域，并变更确定切开线的显示位置。
优选为，处理器进行如下处理：在将确定切开线重叠于医疗图像上的确定切开线图像上设定标志；将确定切开线图像上的确定切开线与标志相关联地进行记录；及根据确定切开线图像上的标志的移动来变更确定切开线的显示位置。
优选为，根据气体量的变化来变更确定切开线的显示位置。优选为，根据医疗图像的观察倍率的变化来变更确定切开线的显示位置。优选为，根据医疗图像上的粘膜的弯曲而变更确定切开线的显示方式。
优选为，处理器进行如下处理：在肿瘤区域由第1肿瘤部分和第2肿瘤部分组成，且第1肿瘤部分显示于第1医疗图像上，第2肿瘤部分以包括在摄像位置与第1医疗图像不同的第2医疗图像中的方式显示，且在与第2医疗图像对应的第2显示用图像中，作为确定切开线而显示与第1肿瘤部分对应的第1确定切开线的一部分和与第2肿瘤部分对应的假想切开线的情况下，并且在有将与第2肿瘤部分对应的假想切开线确定为第2确定切开线的批准指示的情况下，通过连接第1确定切开线与第2确定切开线而更新确定切开线。
优选为，处理器进行如下处理：在确定切开线中包括与第1肿瘤区域对应的第1肿瘤确定切开线和与不同于第1肿瘤区域的第2肿瘤区域对应的第2肿瘤确定切开线的情况下，并且在产生第1肿瘤确定切开线所包围的第1区域和第2肿瘤确定切开线所包围的第2区域重叠的重复区域的情况下，生成将包围除重复区域以外的第1区域的第1肿瘤确定切开线、以及包围除重复区域以外的第2区域的第2肿瘤确定切开线结合而成的结合切开线。
优选为，处理器将重复区域设定为不可切开区域。优选为，处理器从医疗图像中识别测距用指标，生成分界线及假想切开线。优选为，能够任意设定指定距离。优选为，被摄体是管腔器官。
本发明的医疗图像处理装置的工作方法具备如下步骤：获取由内窥镜拍摄到被摄体的医疗图像；及从医疗图像中识别肿瘤区域及非肿瘤区域；生成肿瘤区域与非肿瘤区域的边界即分界线；在从分界线离开指定距离的位置上生成假想切开线；及进行将分界线及假想切开线重叠显示于医疗图像上的控制。
本发明的内窥镜系统具备上述医疗图像处理装置和内窥镜。
发明效果
根据本发明，能够不使用特殊装置且同时识别病变和应治疗的部分。
附图说明
图1是内窥镜系统的结构的说明图。
图2是表示内窥镜系统的功能的框图。
图3是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。
图4是表示图像分析模式时的第1发光图案的说明图。
图5是表示图像分析模式时的第2发光图案的说明图。
图6是表示生成分界线的医疗图像的例子的图像图。
图7是表示在从分界线离开指定距离的位置上显示有假想切开线的显示用图像的例子的图像图。
图8是表示显示有分界线及假想切开线的显示用图像的例子的图像图。
图9是表示显示有分界线及确定切开线的显示用图像的例子的图像图。
图10是表示从获取医疗图像到将确定切开线显示于显示用图像为止的流程的流程图。
图11是表示视野移动时的确定切开线的变更的说明图。
图12是表示在确定切开线图像上设定标志的方法的图像图。
图13是表示变更了气体量时的确定切开线的变更的说明图。
图14是表示低倍率显示用图像的图像图。
图15是表示在高倍率显示用图像中确定切开线的变更的图像图。
图16是表示在有粘膜的弯曲时确定切开线的变更的图像图。
图17是表示第1显示用图像的图像图。
图18是表示显示有假想切开线的第2显示用图像的图像图。
图19是表示显示有第2确定切开线的第2显示用图像的图像图。
图20是表示显示有第1肿瘤确定切开线及第2肿瘤确定切开线的显示用图像的图像图。
图21是表示显示有结合切开线的显示用图像的图像图。
图22是表示显示有测距用指标的显示用图像的图像图。
图23是表示测距用激光发光部和测距用激光的说明图。
具体实施方式
如图1所示，内窥镜系统10具备内窥镜12、光源装置14、处理器装置15、医疗图像处理装置11、显示器17及用户界面19。医疗图像处理装置11经由处理器装置15连接于内窥镜系统10。内窥镜12与光源装置14光学连接，并且与处理器装置15电连接。
内窥镜12具有插入到观察对象体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b的弯角钮12e进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作朝向所期望的方向。从插入部12a到前端部12d设置有用于插通处置器具等的钳子通道(未图示)。处置器具从钳子口12j插入到钳子通道内。
在内窥镜12的内部设置有用于成像被摄体图像的光学系统、以及用于对被摄体照射照明光的光学系统。在操作部12b中设置弯角钮12e、模式切换开关12f及变焦操作部12i。模式切换开关12f用于观察模式的切换操作。变焦操作部12i用于变焦透镜42的操作。
光源装置14产生照明光。显示器17输出显示医疗图像及在医疗图像上重叠有后述分界线及假想切开线或确定切开线的图像。用户界面19具有键盘、鼠标、触控板及麦克风等，具有接受功能设定等输入操作的功能。处理器装置15对从内窥镜系统10的系统控制及内窥镜12发送的图像信号进行图像处理等。
在图2中，光源装置14具备光源部20和控制光源部20的光源用处理器21。光源部20例如具有多个半导体光源，并分别点亮或熄灭它们，在点亮的情况下，通过控制各半导体光源的发光量而发出照亮观察对象的照明光。光源部20具有V-LED(Violet Light EmittingDiode：紫光发光二极管)20a、B-LED(Blue Light Emitting Diode：蓝光发光二极管))20b、G-LED(Green Light Emitting Diode：绿光发光二极管)20c及R-LED(Red Light EmittingDiode：红光发光二极管)20d这4种颜色的LED。光源部20可以内置于内窥镜12中，光源控制部可以内置于内窥镜12中，或者可以内置于处理器装置15中。
光源部20在发出用于对整个观察对象赋予亮度以观察整个观察对象的普通光的情况下，发出如图3所示光谱的光。在该情况下，V-LED20a发出中心波长为405±10nm、波长范围为380～420nm的紫色光V。B-LED20b产生中心波长为450±10nm、波长范围为420～500nm的蓝色光B。G-LED20c产生波长范围达到480～600nm的绿色光G。R-LED20d产生中心波长为620～630nm且波长范围达到600～650nm的红色光R。
内窥镜系统10具备单发光模式、多发光模式及切开线显示模式，通过模式切换开关12f被切换。单发光模式是连续照射相同光谱的照明光并照亮观察对象的模式。多发光模式是将不同光谱的多个照明光按照特定图案切换的同时进行照射以照亮观察对象的模式。另外，在照明光中包括普通光(白色光等宽带的光)或用于在观察对象中强调特定区域的特殊光。并且，在单发光模式中，可以通过模式切换开关12f的操作切换为不同光谱的照明光。例如，可以切换光谱不同的第1照明光和第2照明光。
切开线显示模式是如下模式：当在被摄体中发现肿瘤时，识别肿瘤区域和非肿瘤区域，生成向执刀医示出肿瘤区域与非肿瘤区域的边界线和实际进行切开的线的显示用图像，通过显示于显示器17而辅助ESD中的粘膜切开。
光源用处理器21独立控制四种颜色的紫色光V、蓝色光B、绿色光G、红色光R的光量。在单发光模式的情况下，对每一帧连续发出相同光谱的照明光。例如，通过将白色光等普通光(第1照明光)照亮观察对象并进行拍摄，将自然色调的第1照明光图像显示于显示器17。并且，也可以在单发光模式中切换第1照明光和第2照明光，以将特殊光(第2照明光)照亮观察对象并进行拍摄，将强调特定结构的第2照明光图像显示于显示器17。第1照明光图像及第2照明光图像是医疗图像的一种。
进行ESD时使用的光通常是第1照明光。在进行ESD之前想要确认病变部的浸润范围的情况下等，可以使用第2照明光。在切开线显示模式中，能够选择由单发光模式和多发光模式中的任一种模式的发光图案得到医疗图像，或者由单发光模式的发光图案得到第1照明光图像或第2照明光图像中的任一种作为医疗图像。
另一方面，在多发光模式的情况下，进行按照特定图案使紫色光V、蓝色光B、绿色光G、红色光R的光量改变的控制。例如，作为发光图案，以如图4所示由第1照明光照亮被摄体的第1照明期间的帧数在每个第1照明期间相同的第1发光图案、以及如图5所示第1照明期间的帧数在每个第1照明期间不同的第2发光图案的方式切换第1照明光和第2照明光。另外，图中标注time的箭头表示时间经过的方向。并且，帧是指设置在内窥镜的前端部12d上的摄像传感器(未图示)开始接受来自观察对象的返回光到根据受光而积蓄的电荷信号的输出结束为止期间的时间。并且，第2照明期间是由第2照明光照亮被摄体的期间。
各LED20a～20d(参照图2)发出的光经由由反射镜、透镜等构成的光路耦合部22入射于光导件23。光导件23将来自光路耦合部22的光传播至内窥镜12的前端部12d。
在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜31，通过光导件23传播的照明光经由照明透镜31照射于观察对象。在光源部20内置于内窥镜12的前端部12d中的情况下，不经由光导件而经由照明光学系统的照明透镜向被摄体射出。摄像光学系统30b具有物镜41和摄像传感器43。基于照射照明光的来自观察对象的光经由物镜41及变焦透镜42入射于摄像传感器43。由此，观察对象的图像成像于摄像传感器43。变焦透镜42是用于放大观察对象的透镜，通过操作变焦操作部12i，在长焦端与广角端之间移动。
摄像传感器43是原色系颜色传感器，具备具有蓝色滤色器的B像素(蓝色像素)、具有绿色滤色器的G像素(绿色像素)、以及具有红色滤色器的R像素(红色像素)这3种像素。
并且，摄像传感器43优选为CCD(Charge-Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)。摄像用处理器44控制摄像传感器43。具体而言，通过由摄像用处理器44进行摄像传感器43的信号读取，从摄像传感器43输出图像信号。所输出的图像信号发送到处理器装置15的医疗图像获取部60。
医疗图像获取部60对所接收到的彩色图像进行缺陷校正处理、偏移处理、去马赛克处理、矩阵处理、白平衡的调整、伽马转换处理及YC转换处理等各种信号处理。接着，实施包括3×3矩阵处理、灰度转换处理、三维LUT(Look Up Table：查找表)处理等颜色转换处理、色彩增强处理、空间频率增强等结构增强处理的图像处理。
在处理器装置15中，通过由图像控制用处理器构成的第1中央控制部55运行程序用存储器内的程序而实现医疗图像获取部60的功能。
医疗图像获取部60生成的医疗图像发送到医疗图像处理装置11。医疗图像处理装置11具备图像输入部100、病变识别部110、分界线生成部120、假想切开线生成部130、标志设定部140、标志记录部160、确定切开线变更部170、显示控制部200及第2中央控制部101(参考图2)。
在医疗图像处理装置11中，通过由图像分析用处理器构成的第2中央控制部101运行程序用存储器内的程序而实现图像输入部100、病变识别部110、分界线生成部120、假想切开线生成部130、标志设定部140、标志记录部160、确定切开线变更部170及显示控制部200的功能。
医疗图像发送到医疗图像处理装置11的图像输入部100(参考图2)。图像输入部100将医疗图像输入到病变识别部110。病变识别部110识别包括在所输入的医疗图像中的被摄体的肿瘤区域及非肿瘤区域。如图6所示，分界线生成部120根据识别出肿瘤区域211及非肿瘤区域206的医疗图像208，生成肿瘤区域211与非肿瘤区域206的边界线即分界线212。分界线的信息发送到假想切开线生成部130，如图7所示，假想切开线生成部130在从分界线212离开指定距离214(在图7中由箭头表示。为了防止图的复杂化，图7中仅标注一个符号。)的位置上生成适合于进行ESD时的临时的切开线即假想切开线213。分界线212及假想切开线213的信息与医疗图像相关联地发送到显示控制部200，显示控制部200将分界线212及假想切开线213重叠于医疗图像上，生成用于显示于显示器17的如图8所示的显示用图像210。
在图8中例示的显示用图像210中，显示有肿瘤区域211与非肿瘤区域206的边界即分界线212(图8中由单点划线表示)和假想切开线213(图8中由双点划线表示)。另外，在显示用图像210中，能够任意设定是否显示分界线212或假想切开线213。
病变识别部110优选为根据预先识别出肿瘤区域及非肿瘤区域的监督用图像数据来学习的肿瘤区域及非肿瘤区域识别用学习模型。监督用图像数据中的肿瘤区域及非肿瘤区域的信息赋予可以由熟练的医生进行，也可以由医疗图像处理装置11以外的装置自动进行。并且，可以将病变识别部110或其他学习模型输出的信息赋予到医疗图像，并作为监督用图像数据用于病变识别部110的学习中。
在生成学习模型的机器学习中优选使用深度学习，例如优选使用多层卷积神经网络。在机器学习中，除了深度学习以外，还包括决策树、支持向量机、随机森林、回归分析、监督学习、半无监督学习、无监督学习、增强学习、深度增强学习、使用了神经网络的学习、生成式对抗网络等。
假想切开线是适合于进行ESD时的临时的切开线。ESD经过(1)肿瘤周围的标记、(2)对粘膜底层的局部注射、(3)粘膜的切开、(4)粘膜底层的剥离、(5)止血的步骤，在内窥镜下切除恶性肿瘤等。在开始这些治疗时，提前设定并显示分界线及假想切开线，由此使执刀医识别病变位置和应治疗位置，能够辅助执刀医判断在哪个位置上进行标记、局部注射及切开粘膜。并且，若存在通过由医疗图像处理装置11根据医疗图像生成分界线及假想切开线而生成医疗图像的装置，则仅通过在该装置上连接医疗图像处理装置11便能够进行ESD的辅助，而不需要在内窥镜12中设置特殊的部件或装置。
用于从分界线生成假想切开线的指定距离优选可以任意设定。指定距离优选为能够可靠地切除肿瘤区域且不会过度切除非肿瘤区域的距离。为了进行适当的ESD，推荐指定距离为5mm，但有时指定距离根据炎症或病变的程度而改变，因此优选能够任意设定。并且，被摄体是食道、胃、十二指肠、空肠、回肠、盲肠、升结肠、横结肠、降结肠、S形结肠、直肠等管腔器官。
在有批准指示的情况下，假想切开线生成部130将假想切开线确定为确定切开线。执刀医、助手等操作人员在显示器17上查看并确认显示有假想切开线的显示用图像210，在将假想切开线批准为实际进行治疗的切开线时，批准指示通过用户界面19发送到医疗图像处理装置11。另外，在生成假想切开线的情况下，也可以设定为自动发送批准指示以使确定为确定切开线。假想切开线生成部130接受批准指示而生成将确定切开线重叠于医疗图像上的确定切开线图像。此外，显示控制部200将分界线重叠于确定切开线图像上，生成如图9所示的用于显示于显示器17上的显示用图像220。
在图9中例示的显示用图像220显示有肿瘤区域211、分界线212(图9中由单点划线表示)及确定切开线215(图9中由虚线表示)。另外，在显示用图像220中，能够任意设定是否显示分界线212或确定切开线215。
从获取医疗图像到将确定切开线显示于显示用图像为止的流程如图10所示的流程图。医疗图像处理装置11获取医疗图像(ST101)，病变识别部110识别医疗图像上的肿瘤区域和非肿瘤区域(ST102)，分界线生成部l20在肿瘤区域和非肿瘤区域的边界上生成分界线(ST103)，假想切开线生成部130在从分界线离开指定距离的位置上生成假想切开线(ST104)，显示控制部200生成将分界线和假想切开线重叠于医疗图像上的显示用图像(ST105)。在进行了批准指示的情况下，假想切开线生成部130将假想切开线确定为确定切开线，生成将确定切开线重叠于医疗图像上的确定切开线图像，并显示将分界线与确定切开线重叠于医疗图像上的显示用图像(ST107)。
在通过执刀医移动内窥镜12而使(映入医疗图像中的)肿瘤区域在医疗图像上进行了移动的情况下，确定切开线变更部170优选追随肿瘤区域，并变更确定切开线的显示位置。确定切开线的显示位置的变更可以通过使用搭载于医疗图像处理装置11的人工智能的图像处理来进行，也可以根据后述标志来进行。另外，肿瘤区域的移动是指在按时间顺序获取的医疗图像中映现的被摄体按时序列改变。并且，变更是指重叠于医疗图像上的确定切开线的位置按时序列改变。
具体而言，如图11所示，在医疗图像的视野从左侧移动前的显示用图像221移动到右侧移动后的显示用图像222从而肿瘤区域211进行了移动的情况下，确定切开线变更部170变更确定切开线215的位置。在图11中，在右侧移动后的显示用图像222中，由细单点划线表示在左侧移动前的显示用图像221中显示的移动前的分界线212a和移动前的确定切开线215a。通过上述结构，即使视野移动，通过追随肿瘤区域而显示分界线和确定切开线，操作人员也能够识别肿瘤区域和应切开部分。
在根据标志来变更确定切开线的显示位置的情况下，确定切开线变更部170根据标志的位置信息进行位置信息推定处理，并变更重叠于确定切开线图像上的确定切开线215的显示位置。在该情况下，假想切开线生成部130将确定切开线图像发送到标志设定部140(参考图2)，标志设定部140在确定切开线图像141中设定标志。确定切开线215与标志相关联并临时记录于标志记录部160中。
标志设定部140通过对确定切开线图像141进行检测处理而检测标志LM，还获取标志LM的位置信息。在标志LM中，除了血管例如由药剂荧光(P DD(Photodynamicdiagnosis))强调的血管等以外，还可以举出肿瘤等病变部及腺管结构等各种结构物等。如图12所示，在检测到肿瘤区域211的确定切开线图像141中，在通过检测处理检测到多个标志LM的情况下，显示控制部200进行将多个标志位置显示用圈252作为标志LM的位置信息而显示于显示器17上的控制。在该情况下，优选为能够区分彼此的标志位置显示用圈252。例如，在各标志位置显示用圈252上标注用于区分的编号NB(区分用编号)。
并且，在通过检测处理检测到标志的情况下，进行使标志的位置信息与检测对象的实际位置信息相关联的标志设定处理。如图12所示，在标志设定处理中，作为使标志LM的位置信息与肿瘤区域211的实际位置信息相关联的方法，用连接线(未图示)连接分界线212与标志位置显示用圈252。在该情况下，在标志LM中，优选在肿瘤区域C211的周围检测到的标志LM的位置信息与肿瘤区域211的实际位置信息相关联。即，若为图12的情况，则位于分界线212周围的区分用编号为「1」、「2」、「3」的标志位置显示用圈252需要至少用连接线来与分界线212连接。并且，不同的标志位置显示用圈252之间也优选用连接线来连接。另外，与通过标志设定处理相关联的标志LM的位置信息和检测对象的实际位置信息有关的信息还与确定切开线相关联，并存储于标志记录部160中。在标志记录部160中，可以使分界线的信息与标志和确定切开线的信息相关联。另外，标志设定部140优选为标志检测用学习模型，其搭载有通过包括标志的监督用图像数据而学习的机器学习。通过上述结构，即使视野移动，根据标志追随伴随在确定切开线图像中映现的被摄体的移动的标志的移动而显示分界线和确定切开线，由此操作人员能够根据位置信息准确地识别肿瘤区域和应切开部分。
以下，举出确定切开线的显示位置改变的其他实施例。确定切开线变更部170能够根据发送到受检者的气体量的变化来变更确定切开线的显示位置。当进行ESD时，为了防止被褶皱等结构物遮挡视野，向受检者的消化道内会送入空气、二氧化碳气体等气体。此时，粘膜或肿瘤区域211被拉伸，肿瘤区域的外观改变。并且，肿瘤区域211的可见角度也会改变。具体而言，通过将空气作为气体而注入，视野从图13的左侧空气量少时的显示用图像223变为右侧空气量多时的显示用图像224。在图13中，在右侧空气量多时的显示用图像224中，由细单点划线表示在左侧空气量少时的显示用图像223中显示的分界线212b和确定切开线215b。箭头表示确定切开线的变化的移动，即确定切开线的变更前和变更后的前后关系。另外，在使用标志的情况下，通过基于标志(未图示)的位置信息的位置信息推定处理来变更确定切开线215的显示位置。通过上述结构，能够根据空气量的变化等场景的变化追随并显示分界线和确定切开线的位置。
并且，确定切开线变更部170根据医疗图像的观察倍率来变更确定切开线215的显示位置。具体而言，如图14(低倍率观察医疗图像)到图15(高倍率观察医疗图像)那样放大观察倍率的情况下，如图14到图15那样，变更分界线212和确定切开线215的显示位置。在图15中，在高倍率显示用图像226中，由细单点划线表示在图14的低倍率显示用图像225中显示的分界线212c和确定切开线215c。箭头表示确定切开线变化的移动。另外，使用标志的情况下，通过基于标志(未图示)的位置信息的位置信息推定处理来变更确定切开线的显示位置。通过上述结构，能够根据放大倍率的变化等场景的变化追随并显示分界线和确定切开线的位置。
并且，确定切开线变更部170根据医疗图像上的粘膜的弯曲来变更确定切开线的显示方式。具体而言，如图16所示，在确定切开线215的一部分通过在医疗图像(相对于确定切开线图像的显示用图像220)中映现的粘膜的弯曲217而被隐藏的情况下，如图16所示，使显示方式变更为不显示分界线212和确定切开线215的一部分。在图16中，由细虚线表示通过粘膜的弯曲217而被隐藏的分界线212和确定切开线215。另外，使用标志的情况下，通过基于标志(未图示)的位置信息的位置信息推定处理来变更确定切开线的显示位置。通过上述结构，在分界线和确定切开线的位置通过粘膜的弯曲而被隐藏的情况下，能够使执刀医视觉辨认应切开部分被隐藏并引起注意。通过该结构，执刀医不会看漏曾经设定的确定切开线，而能够使观测器再次移动到可以看到肿瘤区域及确定切开线的视野中。
确定切开线变更部170优选与假想切开线生成部130协作而变更确定切开线的显示位置。例如，当肿瘤区域不落入一个视野中而看不到时，在使内窥镜12前端部12d移动而拍摄到位于视野外的肿瘤区域的情况下，以与原来显示的确定切开线连接的方式生成新的假想切开线。作为具体的例子，例示出如下情况：在肿瘤区域211中，一部分第1肿瘤部分211a显示于第1医疗图像中，其他第2肿瘤部分211b(在第1医疗图像中不落入视野中的看不到的部分)因前端部12d的移动而显示于第2医疗图像。另外，肿瘤区域211由第1肿瘤部分211a和第2肿瘤部分211b组成。
在与第1医疗图像对应的第1显示用图像230中，如图17所示，在对落入第1医疗图像的视野中的第1肿瘤部分211a生成分界线(由单点划线表示)及第1假想切开线(未图示)之后，通过操作人员的批准申请而确定第1确定切开线234(图17中由虚线表示)。接着，操作人员使前端部12d移动，以显示不落入第1医疗图像的视野中而看不到的第2肿瘤部分211b。在与第2医疗图像对应的第2显示用图像232中，如图18所示，显示有第1确定切开线234的一部分和在第1医疗图像中未落入视野中的第2肿瘤部分211b。
如图18所示，在第2显示用图像232中，对第2肿瘤部分211b生成分界线(由单点划线表示)及假想切开线235(图18中由双点划线表示)。在显示有第2显示用图像232的状态下，通过操作人员进行批准指示，与第2肿瘤部分211b对应的假想切开线235被确定为第2确定切开线，此外，通过与第1确定切开线234连接，如图19所示，被更新为包围整个肿瘤区域211的确定切开线236(图19中由虚线表示)。另外，与确定切开线236同样，分界线也以跨越第1医疗图像和第2医疗图像的方式生成。另外，在第2假想切开线的生成中使用标志的情况下，通过基于标志(未图示)的位置信息的位置信息推定处理来设定第2假想切开线的生成位置。通过上述结构，在看不到肿瘤区域的情况下，若使观测器稍微移动，则能够设定包围整个肿瘤区域的确定切开线，并能够向执刀医显示分界线和确定切开线。另外，上述中记载了肿瘤区域跨越第1医疗图像和第2医疗图像而存在的情况，但是在肿瘤区域包括在三个以上医疗图像中的情况下，也能够适应于第1医疗图像到第N医疗图像的情况。
并且，在视野内存在多个肿瘤区域和确定切开线且各个确定切开线彼此包围的区域重叠的情况下，确定切开线变更部170可以结合确定切开线彼此之间，并设定一个结合切开线。具体而言，如图20所示，在显示用图像220中包括第1肿瘤区域241和第2肿瘤区域242，作为确定切开线而设定与第1肿瘤区域241对应的第1肿瘤确定切开线243(图20中由虚线表示)和与第2肿瘤区域242对应的第2肿瘤确定切开线244(图20中由双点划线表示)，并生成第1肿瘤确定切开线243包围的第1区域和第2肿瘤确定切开线244包围的第2区域重叠的重复区域245，在该情况下，如图21所示，确定切开线变更部170生成将包围除重复区域245以外的第1区域的第1肿瘤确定切开线243、以及包围除重复区域245以外的第2区域的第2肿瘤确定切开线244结合而成的结合切开线246。另外，当生成结合切开线246时，可以请求操作人员的批准指示，也可以自动进行。通过上述结构，在一个画面上存在多个肿瘤区域且能够通过一次ESD来切除的情况下，能够设定包围多个肿瘤区域的确定切开线，并能够向执刀医显示分界线和更适合的确定切开线。另外，上述中记载了存在第1肿瘤区域和第2肿瘤区域的情况，但是在肿瘤区域包括在三个以上医疗图像中的情况下，也能够适用于第1肿瘤区域到第N肿瘤区域的情况。
并且，确定切开线变更部170可以将重复区域设定为不可切开区域。这是因为，在多个不同的肿瘤区域靠近且对包括在重复区域中的一个肿瘤区域的确定切开线包括另一个肿瘤区域的情况下，在重复区域中包括肿瘤区域，不适合切开。并且，这是因为，即使在重复区域中包括肿瘤区域，在对一个肿瘤区域的确定切开线存在于相对于另一个肿瘤区域的指定距离内，并且在未完全切除肿瘤的部分中包括重复区域的情况下，也不适合切开。
病变识别部110可以通过机器学习来测量肿瘤区域的尺寸并设定分界线，并且，也可以向被摄体照射激光，在医疗图像中包括如图22所示的测距用指标250，根据测距用指标来测量肿瘤区域的尺寸并设定分界线。如图23所示，测距用激光Lm从测距用激光发光部300发出。在该情况下，以与内窥镜12的摄像光学系统30b的光轴Ax交叉的方式照射测距用激光Lm，根据医疗图像中的测距用激光Lm的照射位置，测定从受检体到观测器的距离(观察距离)和肿瘤区域的尺寸。测距用指标250的一个刻度的大小取决于映射测距用指标250的激光的照射距离即观察距离。即，在观察距离远的情况下，测距用指标250的一个刻度变小，在观察距离近的情况下，测距用指标250的一个刻度变大。通过照射测距用激光Lm，利用测距用激光Lm的照射位置根据观察距离的变化而改变，能够测定肿瘤区域的尺寸。
在本实施方式中，以医疗图像处理装置11连接于内窥镜系统10的例子进行了说明，但是本发明并不限定于此，也可以使用超声波图像摄影装置、放射线摄影装置等其他医疗用装置。并且，该内窥镜12可以使用硬性镜或软性镜。并且，在内窥镜系统10中，医疗图像获取部60和/或第1中央控制部55的一部分或全部，例如能够设置于与处理器装置15进行通信而与内窥镜系统10协作的图像处理装置。例如，能够设置于从内窥镜系统10直接地或从PACS间接地获取由内窥镜12拍摄到的图像的诊断辅助装置。并且，在包括内窥镜系统10的第1检查装置、第2检查装置、……、第N检查装置等各种检查装置、以及经由网路连接的医疗业务辅助装置中，能够设置内窥镜系统10中的医疗图像获取部60和/或第1中央控制部55的一部分或全部。
在本实施方式中，医疗图像获取部60、图像输入部100、病变识别部110、分界线生成部120、假想切开线生成部130、标志设定部140、标志记录部160、确定切开线变更部170及显示控制部200等执行各种处理的处理部(processing unit：处理单元)的硬件结构是如下所示的各种处理器(processor)。在各种处理器中包括：执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU(Central Processing Unit：中央处理单元)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等制造后可以变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上处理器的组合(例如，多个FPGA或CPU和FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，有如下方式：如以客户端、服务器等计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为多个处理部发挥作用。第二，有如下方式：如以片上系统(System on Chip：SoC)等为代表，使用由一个IC(Integrated Circuit：集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器。如此，作为硬件结构，使用一个以上上述各种处理器构成的各种处理部。
此外，这些各种处理器的硬件结构更具体为将半导体元件等电路元件组合而成的方式的电路(circuitry)。并且，存储部的硬件结构是HDD(hard disc drive：硬盘驱动器)、SSD(solid state drive：固态驱动器)等存储装置。
符号说明
10-内窥镜系统，11-医疗图像处理装置，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，12f-模式切换开关，12i-变焦操作部，12j-钳子口，14-光源装置，15-处理器装置，17-显示器，19-用户界面，20-光源部，20a-V-LED，20b-B-LED，20c-G-LED，20d-R-LED，21-光源用处理器，22-光路耦合部，23-光导件，30a-照明光学系统，30b-摄像光学系统，31-照明透镜，41-物镜，42-变焦透镜，43-摄像传感器，44-摄像用处理器，55-第1中央控制部，60-医疗图像获取部，100-图像输入部，101-第2中央控制部，110-病变识别部，120-分界线生成部，130-假想切开线生成部，140-标志设定部，141-确定切开线图像，160-标志记录部，170-确定切开线变更部，200-显示控制部，206-非肿瘤区域，208-医疗图像，210、220、221、222、223、224、225、226-显示用图像，211-肿瘤区域，211a-第1肿瘤部分，211b-第2肿瘤部分，212、212a、212b、212c-分界线，213、235-假想切开线，214-指定距离，215、215a、215b、215c、236-确定切开线，217-粘膜的弯曲，230-第1显示用图像，232-第2显示用图像，234-第1确定切开线，241-第1肿瘤区域，242-第2肿瘤区域，243-第1肿瘤确定切开线，244-第2肿瘤确定切开线，245-重复区域，246-结合切开线，250-测距用指标，252-标志位置显示用圈，300-测距用激光发光部。

Claims (21)

1.一种医疗图像处理装置，其具备处理器，
所述处理器进行如下处理：
获取由内窥镜拍摄到被摄体的医疗图像；
从所述医疗图像中识别肿瘤区域及非肿瘤区域；
生成所述肿瘤区域与所述非肿瘤区域的边界即分界线；
在从所述分界线离开指定距离的位置上生成假想切开线；及
进行将所述分界线及所述假想切开线重叠显示于所述医疗图像上的控制。
2.根据权利要求1所述的医疗图像处理装置，其中，
在有批准指示的情况下，所述处理器将所述假想切开线确定为确定切开线。
3.根据权利要求2所述的医疗图像处理装置，其中，
在所述肿瘤区域在所述医疗图像上进行了移动的情况下，所述处理器追随所述肿瘤区域，并变更所述确定切开线的显示位置。
4.根据权利要求3所述的医疗图像处理装置，其中，
所述处理器在将所述确定切开线重叠于所述医疗图像上的确定切开线图像上设定标志，
将所述确定切开线图像上的所述确定切开线与所述标志相关联地进行记录，
根据所述确定切开线图像上的所述标志的移动来变更所述确定切开线的显示位置。
5.根据权利要求3所述的医疗图像处理装置，其中，
根据气体量的变化来变更所述确定切开线的所述显示位置。
6.根据权利要求4所述的医疗图像处理装置，其中，
根据气体量的变化来变更所述确定切开线的所述显示位置。
7.根据权利要求3所述的医疗图像处理装置，其中，
根据所述医疗图像的观察倍率的变化来变更所述确定切开线的所述显示位置。
8.根据权利要求4所述的医疗图像处理装置，其中，
根据所述医疗图像的观察倍率的变化来变更所述确定切开线的所述显示位置。
9.根据权利要求3所述的医疗图像处理装置，其中，
根据所述医疗图像上的粘膜的弯曲而变更所述确定切开线的显示方式。
10.根据权利要求4所述的医疗图像处理装置，其中，
根据所述医疗图像上的粘膜的弯曲而变更所述确定切开线的显示方式。
11.根据权利要求2所述的医疗图像处理装置，其中，
所述处理器进行如下处理：
在所述肿瘤区域由第1肿瘤部分和第2肿瘤部分组成，且
所述第1肿瘤部分显示于第1医疗图像上，所述第2肿瘤部分以包括在摄像位置与所述第1医疗图像不同的第2医疗图像中的方式显示，且
在与所述第2医疗图像对应的第2显示用图像中，作为所述确定切开线而显示与所述第1肿瘤部分对应的第1确定切开线的一部分和与所述第2肿瘤部分对应的所述假想切开线的情况下，
在有将与所述第2肿瘤部分对应的所述假想切开线确定为第2确定切开线的批准指示的情况下，
通过连接所述第1确定切开线与所述第2确定切开线而更新所述确定切开线。
12.根据权利要求2所述的医疗图像处理装置，其中，
所述处理器进行如下处理：
在所述确定切开线中包括与第1肿瘤区域对应的第1肿瘤确定切开线和与不同于所述第1肿瘤区域的第2肿瘤区域对应的第2肿瘤确定切开线的情况下，并且在产生所述第1肿瘤确定切开线所包围的第1区域和所述第2肿瘤确定切开线所包围的第2区域重叠的重复区域的情况下，
生成将包围除所述重复区域以外的所述第1区域的所述第1肿瘤确定切开线、以及包围除所述重复区域以外的所述第2区域的所述第2肿瘤确定切开线结合而成的结合切开线。
13.根据权利要求12所述的医疗图像处理装置，其中，
所述处理器进行如下处理：
将所述重复区域设定为不可切开区域。
14.根据权利要求1至13中任一项所述的医疗图像处理装置，其中，
所述处理器进行如下处理：
从所述医疗图像中识别测距用指标，生成所述分界线及所述假想切开线。
15.根据权利要求1至13中任一项所述的医疗图像处理装置，其中，
能够任意设定所述指定距离。
16.根据权利要求14所述的医疗图像处理装置，其中，
能够任意设定所述指定距离。
17.根据权利要求1至13中任一项所述的医疗图像处理装置，其中，
所述被摄体是管腔器官。
18.根据权利要求14所述的医疗图像处理装置，其中，
所述被摄体是管腔器官。
19.根据权利要求15所述的医疗图像处理装置，其中，
所述被摄体是管腔器官。
20.一种医疗图像处理装置的工作方法，其具备如下步骤：
获取由内窥镜拍摄到被摄体的医疗图像；及
从所述医疗图像中识别肿瘤区域及非肿瘤区域；
生成所述肿瘤区域与所述非肿瘤区域的边界即分界线；
在从所述分界线离开指定距离的位置上生成假想切开线；及
进行将所述分界线及所述假想切开线重叠显示于所述医疗图像上的控制。
21.一种内窥镜系统，其具备权利要求1至19中任一项所述的医疗图像处理装置和所述内窥镜。
CN202210754266.XA 2021-06-29 2022-06-28 内窥镜系统、医疗图像处理装置及其工作方法 Pending CN115607092A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-108148 2021-06-29
JP2021108148A JP2023005896A (ja) 2021-06-29 2021-06-29 内視鏡システム、医療画像処理装置及びその作動方法

Publications (1)

Publication Number Publication Date
CN115607092A true CN115607092A (zh) 2023-01-17

Family

ID=82403977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210754266.XA Pending CN115607092A (zh) 2021-06-29 2022-06-28 内窥镜系统、医疗图像处理装置及其工作方法

Country Status (4)

Country Link
US (1) US20220414956A1 (zh)
EP (1) EP4111938A1 (zh)
JP (1) JP2023005896A (zh)
CN (1) CN115607092A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166305A1 (ja) * 2023-02-09 2024-08-15 オリンパスメディカルシステムズ株式会社 医療用装置、医療システム、医療用装置の作動方法、および、医療用装置の作動プログラム
WO2024166304A1 (ja) * 2023-02-09 2024-08-15 オリンパスメディカルシステムズ株式会社 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094445A1 (en) * 2011-01-06 2012-07-12 Edda Technology, Inc. System and method for treatment planning of organ disease at the functional and anatomical levels
JP5642619B2 (ja) * 2011-05-12 2014-12-17 富士フイルム株式会社 医療装置システム及び医療装置システムの作動方法
WO2013134782A1 (en) * 2012-03-09 2013-09-12 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
WO2014073527A1 (ja) * 2012-11-07 2014-05-15 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
JP6270829B2 (ja) 2013-05-21 2018-01-31 オリンパス株式会社 光走査デバイスおよび走査型内視鏡の作動方法
JP6534096B2 (ja) 2014-06-25 2019-06-26 パナソニックＩｐマネジメント株式会社 投影システム
WO2019116593A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 手術支援装置

Also Published As

Publication number Publication date
EP4111938A1 (en) 2023-01-04
US20220414956A1 (en) 2022-12-29
JP2023005896A (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
WO2020053933A1 (ja) 熱侵襲観察装置，熱侵襲観察方法
JP7190597B2 (ja) 内視鏡システム
US20120190922A1 (en) Endoscope system
JP7138771B2 (ja) 診断支援装置、診断支援方法及びプログラム
CN115607092A (zh) 内窥镜系统、医疗图像处理装置及其工作方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020036109A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
US11942213B2 (en) Endoscope system, medical image processing device, and operation method therefor
WO2021229684A1 (ja) 画像処理システム、内視鏡システム、画像処理方法及び学習方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20240029404A1 (en) Endoscope system and method of operating the same
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20220375117A1 (en) Medical image processing device, endoscope system, and medical image processing device operation method
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2023007331A (ja) 内視鏡システム、医療画像処理装置及びその作動方法
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
US10537225B2 (en) Marking method and resecting method
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2023058503A1 (ja) 内視鏡システム、医療画像処理装置及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination