CN116963654A - 内窥镜系统及其工作方法 - Google Patents

内窥镜系统及其工作方法 Download PDF

Info

Publication number
CN116963654A
CN116963654A CN202280020298.5A CN202280020298A CN116963654A CN 116963654 A CN116963654 A CN 116963654A CN 202280020298 A CN202280020298 A CN 202280020298A CN 116963654 A CN116963654 A CN 116963654A
Authority
CN
China
Prior art keywords
position information
detection object
detection
marker
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280020298.5A
Other languages
English (en)
Inventor
久保雅裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116963654A publication Critical patent/CN116963654A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种即便检测对象的视觉辨认度降低也能够确定检测对象的位置的内窥镜系统及其工作方法。当检测到检测对象时，检测标志(LM)并获取标志(LM)的位置信息，并且将标志(LM)的位置信息与检测对象的实际位置信息建立关联。当未检测到检测对象且检测到标志(LM)时，进行将标志位置显示用圆圈(32)显示于显示器(18)的对象未检测时显示处理。

Description

内窥镜系统及其工作方法
技术领域
本发明涉及一种检测出血部位等检测对象的内窥镜系统及其工作方法。
背景技术
在医疗领域中，普遍使用具有光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜诊断中，有时在进行内窥镜处置时，检测出血部位等检测对象。检测对象的检测除了进行肉眼观察的检测以外，还通过基于与过去图像的比较的估计来进行。另外，专利文献1～3中记载有根据图像检测出血部位或区域的内容。
以往技术文献
专利文献
专利文献1：国际公开第2019/202827号
专利文献2：日本特表2015-529489号公报
专利文献3：日本特开2011-036371号公报
发明内容
发明要解决的技术课题
然而，当出现随着时间的经过而出现由出血引起的淤血等降低检测对象的视觉辨认度的主要因素时，通过肉眼观察或从图像难以确定检测对象的位置。
本发明的目的在于提供一种即便检测对象的视觉辨认度降低也能够确定检测对象的位置的内窥镜系统及其工作方法。
用于解决技术课题的手段
本发明的内窥镜系统具备处理器，处理器进行如下处理：获取内窥镜图像；通过对内窥镜图像进行第1检测处理，检测检测对象并获取检测对象的实际位置信息；当检测到检测对象时，通过内窥镜图像进行第2检测处理，检测标志并获取标志的位置信息，并且进行将标志的位置信息与检测对象的实际位置信息建立关联的标志设定处理；及当未检测到检测对象且检测到标志时，进行将标志的位置信息显示于显示器的对象未检测时显示处理。
优选当未检测到检测对象且检测到标志时，处理器通过基于标志的位置信息的位置信息估计处理，计算检测对象的估计位置信息，对象未检测时显示处理将检测对象的估计位置信息及标志的位置信息显示于显示器。
优选当未检测到检测对象且检测到标志时，处理器通过基于标志的位置信息的位置信息估计处理，计算检测对象的估计位置信息，显示器具有显示内窥镜图像的主画面及设置于与主画面不同的位置上的子画面，在对象未检测时显示处理中，将检测对象的估计位置信息及标志的位置信息显示于子画面。
优选处理器通过基于标志的位置信息的位置信息估计处理，计算检测对象的估计位置信息，显示器具有显示内窥镜图像的主画面及设置于与主画面不同的位置上的子画面，在对象未检测时显示处理中，在主画面显示检测对象的估计位置信息及标志的位置信息，在子画面中，在检测到检测对象的时刻获取的内窥镜图像的静态图像中显示检测对象的位置信息及标志的位置信息。
优选标志设定处理将标志中的在检测对象的周围检测到的标志的位置信息与检测对象的实际位置信息建立关联。优选内窥镜图像中包含基于第1照明光的第1内窥镜图像及基于光谱与第1照明光不同的第2照明光的第2内窥镜图像，处理器根据第2内窥镜图像进行检测对象及标志的检测，并且对第1内窥镜图像进行检测对象的实际位置信息及标志的位置信息的显示。
优选标志中包含通过药剂荧光强调的血管。优选检测对象为通过药剂荧光强调的血管、出血部位、病变部及特定器官中的至少任一个。
优选处理器进行如下处理：当在位置信息估计处理持续的状态下，获取了新的帧的内窥镜图像时，检测与已完成检测的标志不同的位置的新标志；进行将检测对象的估计位置信息与新标志建立关联的新标志设定处理；在新标志设定处理之后，当进一步获取了新的帧的内窥镜图像且未识别出位置信息估计处理所需的所述标志时，使用新标志设定处理进行位置信息估计处理，并计算检测对象的估计位置信息；及在显示器中显示检测对象的估计位置信息。优选新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息，将新标志的位置信息以与所述标志不同的方式显示于显示器。优选进行将检测对象的实际位置信息及标志的位置信息显示于显示器的对象检测时显示处理。
本发明的内窥镜系统具备处理器，处理器进行如下处理：获取内窥镜图像；通过对内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；通过对内窥镜图像进行第2检测处理，获取标志的位置信息；在每次内窥镜图像得到更新而获取检测对象实际位置信息或从基于标志的位置信息的位置信息估计处理获得的检测对象估计位置信息时，进行将检测对象估计位置信息或检测对象估计位置信息中的任一个与标志的位置信息建立关联而设定相对关系的标志设定处理；及将检测对象实际位置信息或检测对象估计位置信息显示于显示器。
优选在位置信息估计处理持续的状态下获取新的帧的内窥镜图像而检测到新标志的情况下，作为标志设定处理，进行将检测对象的估计位置信息与新标志建立关联而设定新相对关系的新标志设定处理；在新标志设定处理之后，当未识别出位置信息估计处理所需的标志时，进行基于新相对关系的位置信息估计处理，并计算新检测对象的估计位置信息；及在显示器中显示所述新检测对象的估计位置信息。优选新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息。
本发明的内窥镜系统的工作方法包括由处理器进行如下处理的步骤：获取内窥镜图像；通过对内窥镜图像进行第1检测处理，检测检测对象并获取检测对象的实际位置信息；当检测到检测对象时，通过对内窥镜图像进行第2检测处理，检测标志并获取标志的位置信息，并且进行将标志的位置信息与检测对象的实际位置信息建立关联的标志设定处理；及当未检测到检测对象且检测到标志时，进行将标志的位置信息显示于显示器的对象未检测时显示处理。
优选包括当未检测到检测对象且检测到标志时，处理器通过基于标志的位置信息的位置信息估计处理，计算检测对象的估计位置信息的步骤，对象未检测时显示处理将检测对象的估计位置信息及标志的位置信息显示于显示器。
发明效果
根据本发明，即便检测对象的视觉辨认度降低，也能够确定检测对象的位置。
附图说明
图1是内窥镜系统的示意图。
图2是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。
图3(A)是表示单发光模式的说明图，图3(B)是表示多发光模式的说明图。
图4是表示扩展处理器装置的功能的框图。
图5是表示通过第1检测处理检测到的出血部位及检测位置显示用圆圈的图像图。
图6是表示检测位置显示用圆圈、通过第2检测处理检测到的标志及标志位置显示用圆圈的图像图。
图7是表示与检测相关的可靠度低的标志的标志位置显示用圆圈的显示方式的图像图。
图8是表示对象检测时显示处理及对象未检测时显示处理的说明图。
图9是表示估计位置显示用圆圈的图像图。
图10是表示在显示器的子画面显示估计位置显示用圆圈的图像图。
图11是表示在显示器的子画面显示检测位置显示用圆圈及标志位置显示用圆圈的图像图。
图12是表示将子画面的图像旋转了180度的说明图。
图13是表示根据第2内窥镜图像进行检测对象及标志的检测，根据第1内窥镜图像显示检测对象的实际位置信息及标志的位置信息的说明图。
图14是表示跟踪模式的一连串的流程的说明图。
图15是更新位置信息估计处理中所使用的标志的说明图。
具体实施方式
如图1所示，内窥镜系统10具有内窥镜12、光源装置13、处理器装置14、显示器15、用户接口16、扩展处理器装置17及显示器18。内窥镜12与光源装置13光学连接，且与处理器装置14电连接。光源装置13将照明光供给至内窥镜12。
内窥镜12用于对观察对象照射照明光并且拍摄观察对象并获取内窥镜图像。内窥镜12具有插入于观察对象的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b而进行弯曲动作。前端部12d朝向观察对象照射照明光，且接收来自观察对象的反射光并拍摄观察对象。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。在操作部12b设置有用于模式的切换操作的模式切换开关12f、用于观察对象的静态图像的获取指示的静态图像获取指示开关12g及用于变焦透镜21b的操作的变焦操作部12h。
处理器装置14与显示器15及用户接口16电连接。处理器装置14接收来自内窥镜12的内窥镜图像。显示器15输出显示通过处理器装置14处理的观察对象的图像或信息等。用户接口16具有键盘、鼠标、触控板及话筒等，且具有接收功能设定等输入操作的功能。扩展处理器装置17与处理器装置14电连接。扩展处理器装置17接收来自处理器装置14的图像或各种信息。显示器18输出显示通过扩展处理器装置17处理的图像或信息等。
内窥镜系统10具备单发光模式、多发光模式及跟踪模式，并且通过模式切换开关12f来切换。单发光模式为将相同光谱的照明光连续照明观察对象的模式。多发光模式为将不同光谱的多个照明光按照特定图案来切换的同时照明观察对象的模式。另外，照明光包含用于对观察对象整体提供亮度而观察观察对象整体的普通光(白色光等宽频带的光)或用于强调观察对象中的特定区域的特殊光。并且，在单发光模式下，也可以设为通过模式切换开关12f的操作，切换为不同光谱的照明光。例如，也可以设为切换为光谱不同的第1照明光及第2照明光。
跟踪模式为如下模式，即，即使在被摄体等的图像中发生变化，为了使用户能够掌握出血部位等检测对象的位置，检测检测对象的实际位置信息，并将检测对象的位置信息与检测对象的位置信息建立关联的标志的位置信息显示于显示器18(也可以是显示器15)。
如图2所示，照明光优选组合发射紫色光V、蓝色光B、绿色光G及红色光R。紫色光V优选中心波长为405±10nm，波长范围为380～420nm。蓝色光B优选中心波长为450±10nm，波长范围为420～500nm。绿色光G优选波长范围达到480～600nm。红色光R优选中心波长为620～630nm，波长范围达到600～650nm。
光源装置13独立地控制4个颜色的紫色光V、蓝色光B、绿色光G及红色光R的光量。如图3(A)所示，在单发光模式的情况下，按每1帧，连续发射相同光谱的照明光L。另一方面，在多发光模式的情况下，进行按照特定图案使上述4个颜色的紫色光V、蓝色光B、绿色光G及红色光R的光量发生变化的控制。例如，如图3(B)所示，作为特定图案，有交替进行如下的图案，即，以连续2帧发射具有第1光谱的第1照明光L1的第1发光图案和以1帧来发射具有与第1光谱不同的第2光谱的第2照明光L2的第2发光图案。另外，帧是指，设置于内窥镜的前端部12d的摄像传感器(未图示)开始接收来自观察对象的返回光，并且根据接收光而蓄积的电荷信号的输出完成为止的期间的时间。
如图4所示，扩展处理器装置17具备图像获取部20、检测对象检测部21、标志处理部22、显示控制部23、估计位置信息计算部24及检测用存储器26。在扩展处理器装置17中设置有存储与各种处理相关的程序的程序用存储器。通过设置于扩展处理器装置17的处理器执行上述程序，由此实现图像获取部20、检测对象检测部21、标志处理部22、估计位置信息计算部24及显示控制部23的功能。另外，显示控制部23除了进行显示器18的显示控制以外，还可以进行显示器15的显示控制。
图像获取部20获取从处理器装置14发送的内窥镜图像。处理器装置14按每1帧将内窥镜图像发送至扩展处理器装置17。图像获取部获取从处理器装置14发送的每1帧的内窥镜图像。
检测对象检测部21通过对内窥镜图像进行第1检测处理，检测检测对象并获取检测对象的实际位置信息。如图5所示，当在显示器18的内窥镜图像中通过第1检测处理检测到检测对象之一的出血部位BS时，作为出血部位BS的实际位置信息，显示控制部23在出血部位BS的周围，将检测位置显示用圆圈30显示于显示器18。检测对象优选为通过药剂荧光强调的血管、出血部位BS、癌症等病变部及特定器官等中的至少任一个。
另外，检测对象检测部21优选为利用包含检测对象的培训用图像数据进行了机器学习的学习完毕模型。机器学习中包含监督学习、半监督学习、无监督学习、强化学习、深度强化学习、使用了神经网络的学习及深度学习等。并且，当通过第1检测处理检测到时，检测到的检测对象的信息存储于检测用存储器26。
当通过检测对象检测部21检测到检测对象时，标志处理部22通过对内窥镜图像进行第2检测处理，检测标志并获取标志的位置信息。标志中，除了血管例如通过药剂荧光(PDD(Photodynamic diagnosis：光动力诊断))强调的血管等以外，还可举出腺管结构等各种结构物等。如图6所示，当在检测到检测对象之一的出血部位BS的内窥镜图像中通过第2检测处理检测到多个标志LM时，显示控制部23将作为标志LM的位置信息的多个标志位置显示用圆圈32显示于显示器18。在该情况下，优选使得能够区分彼此的标志位置显示用圆圈32。例如，对各标志位置显示用圆圈32标注有用于区分的编号NB(区分用编号)。另外，为了排除从出血部位流出的淤血等降低检测对象的视觉辨认度的主要因素，标志LM优选从离检测对象分开的位置进行检测，而不是在出血区域等检测对象的附近进行检测。
并且，当通过第2检测处理检测到标志时，进行将标志的位置信息与检测对象的实际位置信息建立关联的标志设定处理。如图6所示，在标志设定处理中，作为将标志LM的位置信息与检测对象的实际位置信息建立关联的方法，用连接线34连结检测位置显示用圆圈30与标志位置显示用圆圈32。在该情况下，优选将标志LM中的在检测对象的周围检测到的标志LM的位置信息与检测对象的实际位置信息建立关联。即，在图6的情况下，位于检测位置显示用圆圈30周围的区分用编号为“1”、“2”、“3”、“4”、“5”的标志位置显示用圆圈32需要用连接线34至少与检测位置显示用圆圈30连结。并且，不同的标志位置显示用圆圈32之间也优选用连接线34来连结。另外，通过标志设定处理而建立关联的标志LM的位置信息及与检测对象的实际位置信息相关的信息存储于检测用存储器26。
另外，标志处理部22中的用于进行第2处理的处理部优选为利用包含标志的培训用图像数据进行机器学习的标志检测用学习完毕模型。并且，当标志处理部22能够计算与标志的检测相关的可靠度时，优选根据可靠度使标志的位置信息的显示方式(颜色或线的样式等)发生变化。例如，如图7所示，当区分用编号为“1”的标志LM的可靠度低于其他标志LM的可靠度时，优选使区分用编号为“1”的标志LM的标志位置显示用圆圈32的显示方式(在图7中为点线)与其他标志LM的标志位置显示用圆圈32的显示方式(在图7等中为实线)不同。
显示控制部23进行当检测到检测对象时将检测对象的实际位置信息及标志的位置信息显示于显示器18的对象检测时显示处理及当未检测到检测对象且检测到标志时将标志的位置信息显示于显示器18的对象未检测时显示处理中的任一个。如图8所示，通过对象检测时显示处理，在显示器18的内窥镜图像中，作为检测对象的实际位置信息显示检测位置显示用圆圈30，且作为标志LM的位置信息显示标志位置显示用圆圈32。在对象检测时显示处理中，优选将连接线34也一同显示于显示器18。另外，当进行了标志设定处理时，显示控制部23可以不进行对象检测时显示处理而仅进行对象未检测时显示处理。
然后，当因从出血部位大量流出血液(血污BP)的情况等而检测对象的显示从内窥镜图像消失时，通过检测对象检测部21无法检测检测对象。如此，即使在检测对象的显示消失的情况下，当在内窥镜图像中残留标志时，通过标志处理部22维持标志的检测。在该情况下，通过进行对象未检测时显示处理，尽管检测位置显示用圆圈30不显示，作为标志的位置信息，标志位置显示用圆圈32仍显示于显示器18。在对象未检测时显示处理中，优选将连接线34也一同显示于显示器18。
当未检测到检测对象时，估计位置信息计算部24通过基于标志的位置信息的位置信息估计处理，计算检测对象的估计位置信息。如图9所示，当检测对象的显示消失时，显示控制部23通过对象未检测时显示处理，维持标志位置显示用圆圈32对显示器18的显示。在该情况下，通过进行位置信息估计处理，作为检测对象的估计位置信息，将估计位置显示用圆圈36显示于估计为检测对象所处的部分。位置信息估计处理优选根据标志位置显示用圆圈32之间的位置关系例如由连接线34形成的环形状等进行估计。另外，为了便于与检测位置显示用圆圈30区分，估计位置显示用圆圈36优选使显示方式与检测位置显示用圆圈30不同。在图9中，将估计位置显示用圆圈36的周缘设为双重(检测位置显示用圆圈30的周缘为单重(参考图5))。
另外，估计位置信息也可以以除图9以外的显示方式来显示。例如，如图10所示，当显示器18具有显示内窥镜图像的主画面18a及设置于与主画面18a不同的位置上的子画面18b时，对子画面18b显示估计位置信息即估计位置显示用圆圈36。在该情况下，在子画面18b除了估计位置显示用圆圈36以外，还显示标志位置显示用圆圈32。并且，在主画面18a也优选显示标志位置显示用圆圈32。
并且，如图11所示，优选在主画面18a中，在实时内窥镜图像中重叠显示估计位置显示用圆圈36及标志位置显示用圆圈32，在子画面18b中，在检测到检测对象的时刻获取的内窥镜图像的静态图像上显示检测对象的实际位置信息即检测位置显示用圆圈30及标志LM的位置信息即标志位置显示用圆圈32。如此，通过在子画面18b显示检测到检测对象的时刻的位置信息(检测对象及标志)，用户能够确认显示于实时内窥镜图像的估计位置信息的确实性。并且，在主画面18a中，即便变得无法显示估计位置信息，通过在子画面18b显示检测到检测对象的时刻的位置信息(检测对象及标志)，用户能够用肉眼观察估计出检测对象。另外，在图11中，也可以显示连接线34(图12也相同)。
并且，当在子画面18b显示内窥镜图像的静态图像时，根据内窥镜的前端部12d的位置，有时主画面18a上的实时内窥镜图像中的上下左右方向的位置与子画面18b上的内窥镜图像的静态图像中的上下左右方向的位置不同。例如，如图12(A)所示，有时主画面18a的实时内窥镜图像与子画面18b的内窥镜图像的静态图像上下颠倒。在该情况下，设置于扩展处理器装置17的旋转状态检测部(未图示)根据主画面18a的实时内窥镜图像检测旋转状态。而且，如图12(B)所示，设置于扩展处理器装置17的图像旋转部(未图示)根据检测到的旋转状态，旋转子画面18b的内窥镜图像的静态图像，以使上下方向与主画面18a的实时内窥镜图像一致。
另外，如图13所示，优选在跟踪模式下，根据基于第2照明光的第2内窥镜图像进行检测对象及标志的检测，在进行标志设定处理的基础上，从第2照明光切换为第1照明光，对基于第1照明光的第1内窥镜图像显示检测对象的实际位置信息及标志的位置信息。由此，当从第2照明光切换为第1照明光时，不会遗漏检测对象的位置或区域。另外，第2照明光优选为适合检测检测对象及标志的光例如包含能够强调显示结构物的紫色光的特殊光。另一方面，第1照明光优选为适合显示检测对象的实际位置信息及标志的位置信息的光例如白色光。
接着，按照图14的流程图对跟踪模式的一连串的流程进行说明。操作模式切换开关12f而将跟踪模式设为“打开”。由此，对内窥镜图像进行第1检测处理。在第1检测处理中，当检测到包含出血部位BS的检测对象时，获取检测对象的实际位置信息。当检测到的检测对象为新检测对象时，进行标志设定处理。通过在标志设定处理中，对内窥镜图像进行第2检测处理，检测标志并获取标志的位置信息。此外，将标志LM的位置信息与检测对象的实际位置信息建立关联。彼此建立关联的标志的位置信息与检测对象的实际位置信息显示于显示器18。另一方面，当检测到的检测对象不是新检测对象时，将在标志设定处理中已建立关联的标志的位置信息及检测对象的实际位置信息显示于显示器18。
另外，是否为新检测对象的判定根据在检测用存储器26中是否存在与检测对象相关的信息来判定。当检测到新检测对象时，删除已存储于检测用存储器26的与检测对象相关的信息，将与新检测对象相关的信息新存储于检测用存储器26。在该情况下，优选一并删除和与欲删除的检测对象建立关联的标志相关的信息。
相对于此，当通过第1检测处理无法检测到检测对象时，判定是否已进行标志设定处理(是否为标志设定处理中的判定)。当已进行标志设定处理时，根据标志的位置信息，计算检测对象的估计位置信息。然后，将计算出的检测对象的估计位置信息及标志LM的位置信息显示于显示器18。只要跟踪模式为“打开”，则重复进行以上一连串的处理。然后，当操作模式切换开关12f而跟踪模式成为“关闭”时，结束检测对象的检测等。
另外，当标志的位置信息不少等根据标志的位置信息无法计算检测对象的估计位置信息时，优选删除存储于检测用存储器26的与检测对象相关的信息及与标志相关的信息，并再次进行检测对象的检测或标志的检测。并且，优选使检测到检测对象时的标志的位置信息(标志位置显示用圆圈32)的显示方式与无法检测到检测对象时的标志的位置信息的显示方式不同。例如，优选使颜色等显示方式不同。
手动进行内窥镜12的操作，因此即使在内窥镜图像内持续捕捉到检测对象的估计位置，内窥镜图像所投影的范围仍发生变化，当包围检测对象的估计位置的标志LM不落在内窥镜图像内时，有时器官发生变形而标志与检测对象的关系性发生变化。如图15所示，也可以在内窥镜12拍摄下一帧时，在与位置信息估计处理中所使用的标志LM不同的位置上检测新标志LM2，更新位置信息估计处理中所使用的标志LM，并在出血区域BP上继续显示估计位置显示用指示器36。
当更新位置信息估计处理中所使用的标志LM时，将更新前设为标志LM，将更新后设为新标志LM2。图15(A)中，通过基于标志LM的位置信息估计处理，显示估计位置显示用指示器36。当获取了新的帧时，如图15(B)所示，根据前后的帧摄影的移动方向，检测包围检测对象的估计位置的新标志LM2，并显示新标志位置显示用指示器38。并且，进行新标志LM2与检测对象估计位置信息建立关联的新标志设定处理，并计算新相对关系。新相对关系以新连接线39来显示。新连接线39优选使用与连接线34相比不显眼且不会混淆的点线等。另外，用于区分各标志位置显示用指示器32的编号NB(区分用编号)也能够赋予于新标志位置显示用指示器38，但当视觉辨认度变差时，无需赋予。并且，新标志位置显示用指示器38也可以是与标志位置显示用指示器32相同或不同的形状。
在新标志设定处理之后，当内窥镜12获取新的帧的内窥镜图像，且未识别出位置信息估计处理所需的标志LM时，如图15(C)所示，进行基于新相对关系的新位置信息估计处理，计算检测对象估计位置信息，并将估计位置显示用指示器36显示于显示器18。基于标志LM的位置信息估计处理结束，因此连接线34成为不显示，新连接线39以如连接线34那样的实线来显示。对检测持续的标志LM可以在刚更新位置信息估计处理之后显示标志位置显示用指示器32，但优选在经过规定时间之后设为不显示。
根据基于新标志LM2的位置信息估计处理的状态，内窥镜12所投影的范围也移动，因此继续位置信息估计处理中所使用的标志LM的更新。新标志LM2作为标志LM，新连接线39作为连接线34，新标志LM2通过新标志设定处理更新相对关系，标志LM进行位置信息估计处理。
在上述实施方式中，图像获取部20、检测对象检测部21、标志处理部22、显示控制部23、估计位置信息计算部24或检测用存储器26等执行各种处理的处理部(processingunit)的硬件结构为如下所示的各种处理器(proce ssor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit：中央处理器)、GPU(Graphical Processing Unit：图形处理器)、FPGA(Field Programmable GateArray：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)及具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合，或CPU与GPU的组合等)构成。并且，也可以由一个处理器来构成多个处理部。作为由一个处理器来构成多个处理部的例子，第1，有如以客户端或服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统(SystemOn Chip：SoC)等为代表，使用将包括多个处理部的整个系统的功能由一个TC(IntegratedCircuit：集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。并且，存储部的硬件结构为HDD(hard disc drive：硬盘驱动器)或SSD(solid state drive：固态硬盘)等存储装置。
符号说明
10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12f-模式切换开关，12g-静态图像获取指示开关，12h-变焦操作部，13-光源装置，14-处理器装置，15-显示器，16-用户接口，17-扩展处理器装置，18-显示器，18a-主画面，18b-子画面，20-图像获取部，21-检测对象检测部，22-标志处理部，23-显示控制部，24-估计位置信息计算部，26-检测用存储器，30-检测位置显示用圆圈，32-标志位置显示用圆圈，34-连接线，36-估计位置显示用圆圈，38-新标志位置显示用指示器，39-新连接线，BP-血污，L-照明光，L1-第1照明光，L2-第2照明光，BS-出血部位，LM一标志，LM2-新标志。

Claims (16)

1.一种内窥镜系统，其具备处理器，
所述处理器进行如下处理：
获取内窥镜图像；
通过对所述内窥镜图像进行第1检测处理，检测检测对象并获取所述检测对象的实际位置信息；
当检测到所述检测对象时，通过对所述内窥镜图像进行第2检测处理，检测标志并获取所述标志的位置信息，并且进行将所述标志的位置信息与所述检测对象的实际位置信息建立关联的标志设定处理；及
当未检测到所述检测对象且检测到所述标志时，进行将所述标志的位置信息显示于所述显示器的对象未检测时显示处理。
2.根据权利要求1所述的内窥镜系统，其中，
当未检测到所述检测对象且检测到所述标志时，所述处理器通过基于所述标志的位置信息的位置信息估计处理，计算所述检测对象的估计位置信息，
所述对象未检测时显示处理将所述检测对象的估计位置信息及所述标志的位置信息显示于所述显示器。
3.根据权利要求1所述的内窥镜系统，其中，
当未检测到所述检测对象且检测到所述标志时，所述处理器通过基于所述标志的位置信息的位置信息估计处理，计算所述检测对象的估计位置信息，
所述显示器具有显示所述内窥镜图像的主画面及设置于与所述主画面不同的位置上的子画面，
在所述对象未检测时显示处理中，将所述检测对象的估计位置信息及所述标志的位置信息显示于所述子画面。
4.根据权利要求1所述的内窥镜系统，其中，
所述处理器通过基于所述标志的位置信息的位置信息估计处理，计算所述检测对象的估计位置信息，
所述显示器具有显示所述内窥镜图像的主画面及设置于与所述主画面不同的位置上的子画面，
在所述对象未检测时显示处理中，在所述主画面显示所述检测对象的估计位置信息及所述标志的位置信息，在所述子画面中，在检测到所述检测对象的时刻获取的内窥镜图像的静态图像中显示所述检测对象的位置信息及所述标志的位置信息。
5.根据权利要求1至4中任一项所述的内窥镜系统，其中，
所述标志设定处理将所述标志中的在所述检测对象的周围检测到的所述标志的位置信息与所述检测对象的实际位置信息建立关联。
6.根据权利要求1至5中任一项所述的内窥镜系统，其中，
所述内窥镜图像中包含基于第1照明光的第1内窥镜图像及基于光谱与所述第1照明光不同的第2照明光的第2内窥镜图像，
所述处理器根据所述第2内窥镜图像进行所述检测对象及标志的检测，并且对所述第1内窥镜图像进行所述检测对象的实际位置信息及所述标志的位置信息的显示。
7.根据权利要求1至6中任一项所述的内窥镜系统，其中，
所述标志中包含通过药剂荧光强调的血管。
8.根据权利要求1至7中任一项所述的内窥镜系统，其中，
所述检测对象为通过药剂荧光强调的血管、出血部位、病变部及特定器官中的至少任一个。
9.根据权利要求1至8中任一项所述的内窥镜系统，其中，
所述处理器进行如下处理：
当在所述位置信息估计处理持续的状态下，获取了新的帧的所述内窥镜图像时，检测与已完成检测的所述标志不同的位置的新标志；
进行将所述检测对象的估计位置信息与所述新标志建立关联的新标志设定处理；
在所述新标志设定处理之后，当进一步获取了新的帧的所述内窥镜图像且未识别出位置信息估计处理所需的所述标志时，使用所述新标志设定处理进行位置信息估计处理，并计算所述检测对象的估计位置信息；及
在所述显示器中显示所述检测对象的估计位置信息。
10.根据权利要求9所述的内窥镜系统，其中，
所述新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息，
将所述新标志的位置信息以与所述标志不同的方式显示于所述显示器。
11.根据权利要求1至10中任一项所述的内窥镜系统，其中，
当检测到所述检测对象时，进行将所述检测对象的实际位置信息及所述标志的位置信息显示于显示器的对象检测时显示处理。
12.一种内窥镜系统，其具备处理器，
所述处理器进行如下处理：
获取内窥镜图像；
通过对所述内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；
通过对所述内窥镜图像进行第2检测处理，获取标志的位置信息；
在每次所述内窥镜图像得到更新而获取所述检测对象实际位置信息或从基于所述标志的位置信息的位置信息估计处理获得的检测对象估计位置信息时，进行将所述检测对象估计位置信息或所述检测对象估计位置信息中的任一个与所述标志的位置信息建立关联而设定相对关系的标志设定处理；及
将所述检测对象实际位置信息或所述检测对象估计位置信息显示于显示器。
13.根据权利要求12所述的内窥镜系统，其中，
在所述位置信息估计处理持续的状态下获取新的帧的所述内窥镜图像而检测到新标志的情况下，作为所述标志设定处理，进行将所述检测对象的估计位置信息与所述新标志建立关联而设定新相对关系的新标志设定处理；
在所述新标志设定处理之后，当未识别出所述位置信息估计处理所需的标志时，进行基于所述新相对关系的位置信息估计处理，并计算新检测对象的估计位置信息；及
在所述显示器中显示所述新检测对象的估计位置信息。
14.根据权利要求13所述的内窥镜系统，其中，
所述新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息。
15.一种内窥镜系统的工作方法，其包括由处理器进行如下处理的步骤：
获取内窥镜图像；
通过对所述内窥镜图像进行第1检测处理，检测检测对象并获取所述检测对象的实际位置信息；
当检测到所述检测对象时，通过对所述内窥镜图像进行第2检测处理，检测标志并获取所述标志的位置信息，并且进行将所述标志的位置信息与所述检测对象的实际位置信息建立关联的标志设定处理；及
当未检测到所述检测对象且检测到所述标志时，进行将所述标志的位置信息显示于所述显示器的对象未检测时显示处理。
16.根据权利要求15所述的内窥镜系统的工作方法，其包括如下步骤：
当未检测到所述检测对象且检测到所述标志时，所述处理器通过基于所述标志的位置信息的位置信息估计处理，计算所述检测对象的估计位置信息，
所述对象未检测时显示处理将所述检测对象的估计位置信息及所述标志的位置信息显示于所述显示器。
CN202280020298.5A 2021-03-09 2022-03-07 内窥镜系统及其工作方法 Pending CN116963654A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021037556 2021-03-09
JP2021-037556 2021-03-09
PCT/JP2022/009714 WO2022191128A1 (ja) 2021-03-09 2022-03-07 内視鏡システム及びその作動方法

Publications (1)

Publication Number Publication Date
CN116963654A true CN116963654A (zh) 2023-10-27

Family

ID=83226658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280020298.5A Pending CN116963654A (zh) 2021-03-09 2022-03-07 内窥镜系统及其工作方法

Country Status (5)

Country Link
US (1) US20230414064A1 (zh)
EP (1) EP4306031A1 (zh)
JP (1) JPWO2022191128A1 (zh)
CN (1) CN116963654A (zh)
WO (1) WO2022191128A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036371A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
EP3603510B1 (en) 2012-07-25 2023-03-08 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
US20180271358A1 (en) * 2017-05-23 2018-09-27 Parseh Intelligent Surgical System Navigating an imaging instrument in a branched structure
JP2021112220A (ja) 2018-04-17 2021-08-05 ソニーグループ株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN112040830A (zh) * 2018-06-19 2020-12-04 奥林巴斯株式会社 内窥镜图像处理装置和内窥镜图像处理方法
US20220148182A1 (en) * 2019-03-12 2022-05-12 Nec Corporation Inspection device, inspection method and storage medium

Also Published As

Publication number Publication date
US20230414064A1 (en) 2023-12-28
JPWO2022191128A1 (zh) 2022-09-15
WO2022191128A1 (ja) 2022-09-15
EP4306031A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US11058497B2 (en) Use of augmented reality to assist navigation during medical procedures
JP6785941B2 (ja) 内視鏡システム及びその作動方法
CN107485455B (zh) 手术系统中有效的交互式出血检测
US11426054B2 (en) Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus
JPWO2019012911A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
US11985449B2 (en) Medical image processing device, medical image processing method, and endoscope system
US11867896B2 (en) Endoscope system and medical image processing system
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
CN116963654A (zh) 内窥镜系统及其工作方法
EP4248832A1 (en) Processor device, operation method for processor device, program for processor device, and endoscope system
CN116963656A (zh) 内窥镜系统及其工作方法
WO2022190740A1 (ja) 内視鏡システム及びその作動方法
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor
US11830185B2 (en) Medical image processing system and learning method
US20240090741A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
CN107569285B (zh) 一种红外探测输尿管位置的内窥镜系统及方法
JP2023007331A (ja) 内視鏡システム、医療画像処理装置及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination