CN116963655A - 内窥镜系统及其工作方法 - Google Patents

内窥镜系统及其工作方法 Download PDF

Info

Publication number
CN116963655A
CN116963655A CN202280020345.6A CN202280020345A CN116963655A CN 116963655 A CN116963655 A CN 116963655A CN 202280020345 A CN202280020345 A CN 202280020345A CN 116963655 A CN116963655 A CN 116963655A
Authority
CN
China
Prior art keywords
position information
detection
detection object
display
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280020345.6A
Other languages
English (en)
Inventor
岩根弘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116963655A publication Critical patent/CN116963655A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种即便检测对象的视觉辨认度降低也能够确定检测对象的位置的内窥镜系统及其工作方法。当检测到检测对象时，通过标志设定处理与标志(LM)彼此建立关联，并将检测位置显示用指示器(30)显示于显示器(18)。当未检测到检测对象且检测到标志(LM)时，执行位置信息估计处理，并将估计位置显示用指示器(36)显示于显示器(18)。

Description

内窥镜系统及其工作方法
技术领域
本发明涉及一种检测出血点等检测对象的内窥镜系统及其工作方法。
背景技术
在医疗领域中，普遍使用具有光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜诊断中，有时在进行内窥镜处置时，检测出血点等检测对象。检测对象的检测除了进行肉眼观察的检测以外，还通过基于与过去图像的比较的估计来进行。另外，专利文献1～3中记载有根据图像检测出血点或区域的内容。
以往技术文献
专利文献
专利文献1：国际公开第2019/202827号
专利文献2：日本特表2015-529489号公报
专利文献3：日本特开2011-036371号公报
发明内容
发明要解决的技术课题
然而，当出现随着时间的经过而出现由出血引起的淤血等降低检测对象的视觉辨认度的主要因素时，通过肉眼观察或从图像难以确定检测对象的位置。
本发明的目的在于提供一种即便检测对象的视觉辨认度降低也能够确定检测对象的位置的内窥镜系统及其工作方法。
用于解决技术课题的手段
本发明的内窥镜系统具备处理器，处理进行如下处理：获取内窥镜图像；通过对内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；当检测到检测对象实际位置信息时，对内窥镜图像进行第2检测处理，由此获取标志的位置信息；进行将检测对象实际位置信息与标志的位置信息建立关联的标志设定处理；在标志设定处理之后，当未获取检测对象实际位置信息且已完成标志设定处理时，进行位置信息估计处理，并计算检测对象估计位置信息；及在显示器中显示检测对象估计位置信息。
优选处理器进行如下处理：将检测对象实际位置信息、检测对象估计位置信息及标志的位置信息分别以不同的方式显示于显示器。
优选处理器进行如下处理：进行使用通知音及显示器中的通知这两者或至少其中任一者的通知；及在第1检测处理中检测到检测对象实际位置信息时或在第2检测处理中检测到标志的位置信息时的至少任一个进行通知。
优选处理器进行如下处理：进行使用通知音及显示器中的通知这两者或至少其中任一者的通知；及标志设定处理的结果，在完成了标志设定处理时、检测不到检测对象时、位置信息估计处理开始时或在位置信息估计处理中计算出检测对象估计位置信息时的至少任一个进行通知。
优选处理器进行如下处理：进行使用通知音及显示器中的通知这两者或至少其中任一者的通知；及在第2检测处理中无法获取所需数量的标志的位置信息而无法执行标志设定处理时及标志设定处理完成之前检测对象实际位置信息消失并且标志设定处理失败时，进行通知。
优选处理器进行如下处理：将至少包含检测对象的估计位置信息的数量的基于通知的位置信息的获取数量信息显示于显示器。
优选处理器进行如下处理：将检测对象实际位置信息及标志的位置信息的获取数量信息显示于显示器。
优选处理器进行如下处理：限制位置信息估计处理中所使用的标志的数量。
优选处理器进行如下处理：选择标志中显示于显示器的标志，并限制显示于显示器的标志。
优选处理器进行如下处理：接收指定位置信息估计处理中是否使用标志的用户操作。
优选内窥镜图像中包含基于第1照明光的第1内窥镜图像及基于光谱与第1照明光不同的第2照明光的第2内窥镜图像，处理器根据第1内窥镜图像进行第1检测处理、第2检测处理，根据第2内窥镜图像将检测对象实际位置信息、检测对象估计位置信息及标志的位置信息显示于显示器。
优选第1检测处理的开始时刻为送水检测时、切开检测时、处置器具检测时或用户操作时的任一个，第1检测处理的结束时刻为未检测到检测对象而经过了规定时间时、从检测对象消失起经过了规定时间时、出血区域不扩大时或用户操作时的任一个，第2检测处理的开始时刻为检测对象的检测时，第2检测处理的结束时刻为检测对象消失时、在规定时间内检测不到所需数量的标志时或用户操作时的任一个，位置信息估计处理的开始时刻为完成标志设定处理且检测对象消失时，位置信息估计处理的结束时刻为标志消失时、止血点的检测时、检测不到检测对象的估计位置周边的出血时或用户操作时的任一个。
优选第1检测处理的再次开始时刻为标志设定处理失败时、位置信息估计处理或用户操作时的任一个。
优选标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个。
本发明的内窥镜系统具备处理器，处理进行如下处理：获取内窥镜图像；通过对内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；通过对内窥镜图像进行第2检测处理，获取标志的位置信息；在每次内窥镜图像得到更新而获取检测对象实际位置信息或从基于标志的位置信息的位置信息估计处理获得的检测对象估计位置信息时，进行将检测对象实际位置信息或检测对象估计位置信息中的任一个与标志的位置信息建立关联而设定相对关系的标志设定处理；及在显示器中显示检测对象实际位置信息或检测对象估计位置信息。
优选处理进行如下处理：在位置信息估计处理持续的状态下获取新的帧的内窥镜图像而检测到新标志的情况下，作为标志设定处理，进行将检测对象估计位置信息与新标志建立关联而设定新相对关系的新标志设定处理；在新标志设定处理之后，当未识别出位置信息估计处理所需的标志时，进行基于新相对关系的位置信息估计处理，并计算新检测对象估计位置信息；及在显示器中显示新检测对象估计位置信息。
优选新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个。
本发明的内窥镜系统的工作方法包括由处理器进行如下处理的步骤：获取内窥镜图像；通过对内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；当检测到检测对象实际位置信息时，对内窥镜图像进行第2检测处理，由此获取标志的位置信息；进行将检测对象实际位置信息与标志的位置信息建立关联的标志设定处理；在标志设定处理之后，当未获取检测对象实际位置信息且已完成标志设定处理时，进行位置信息估计处理，并计算检测对象估计位置信息；及在显示器中显示检测对象估计位置信息。
优选包括由处理器进行如下处理的步骤：将检测对象实际位置信息、检测对象估计位置信息及标志的位置信息分别以不同的方式显示于显示器。
发明效果
根据本发明，即便检测对象的视觉辨认度降低，也能够确定检测对象的位置。
附图说明
图1是内窥镜系统的示意图。
图2是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。
图3(A)是表示单发光模式的说明图，图3(B)是表示多发光模式的说明图。
图4是表示扩展处理器装置的功能的框图。
图5是通过位置信息估计处理估计因视觉辨认度降低而无法检测的检测对象的图像图。
图6是表示通过第2检测处理检测到的标志及标志位置显示用指示器的第1显示控制处理的图像图。
图7是限制位置信息估计处理中所使用的标志的图像图。
图8是对标志设定进行说明的图像图。
图9是在标志设定完成之后检测不到检测对象时，表示标志位置显示用指示器及连接线的第2显示控制处理的图像图。
图10是在第2显示控制处理中追加了表示通过位置信息估计处理计算出的估计位置显示用指示器的第3显示控制处理的图像图。
图11是与表示各位置信息的指示器对应的说明图。
图12是表示根据估计位置信息的可靠度而发生变化的估计位置用显示方式的说明图。
图13是对从第1检测处理至第2检测处理包括通知在内进行说明的图像图。
图14是对从标志设定处理至位置信息估计处理包括其通知在内进行说明的图像图。
图15是表示标志设定处理未完成的图案，图15(A)是表示标志的数量不足的图像图，及图15(B)是表示检测不到检测对象的图像图。
图16是在显示器中展开检测信息显示栏的图像图。
图17是第1检测处理、第2检测处理及位置信息估计处理中的与开始及结束的时刻相关的说明图。
图18是表示根据第2内窥镜图像进行检测对象及标志的检测，根据第1内窥镜图像显示各位置信息的说明图。
图19是表示跟踪模式的一连串的流程的说明图。
图20是更新位置信息估计处理中所使用的标志的检测的说明图。
具体实施方式
如图1所示，内窥镜系统10具有内窥镜12、光源装置13、处理器装置14、显示器15、用户接口16、扩展处理器装置17、显示器18及送水装置19。内窥镜12与光源装置13光学连接，且与处理器装置14电连接。光源装置13将照明光供给至内窥镜12。内窥镜12与送水装置19物理连接，且与处理器装置14电连接。送水装置19将水供给至内窥镜12。
内窥镜12用于对观察对象照射照明光并且拍摄观察对象并获取内窥镜图像。内窥镜12具有插入于观察对象的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b而进行弯曲动作。前端部12d朝向观察对象照射照明光，且接收来自观察对象的反射光并拍摄观察对象。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。在操作部12b设置有用于模式的切换操作的模式切换开关12f、用于观察对象的静态图像的获取指示的静态图像获取指示开关12g、用于变焦透镜21b的操作的变焦操作部12h及用于送水操作的送水开关12i。
处理器装置14与显示器15及用户接口16电连接。处理器装置14接收来自内窥镜12的内窥镜图像。显示器15输出显示通过处理器装置14处理的观察对象的图像或信息等。用户接口16具有键盘、鼠标、触控板及话筒等，且具有接收功能设定等输入操作的功能。扩展处理器装置17与处理器装置14电连接。扩展处理器装置17接收来自处理器装置14的图像或各种信息。显示器18输出显示通过扩展处理器装置17处理的图像或信息等。
内窥镜系统10具备单发光模式、多发光模式及跟踪模式，并且通过模式切换开关12f来切换。单发光模式为将相同光谱的照明光连续照明观察对象的模式。多发光模式为将不同光谱的多个照明光按照特定图案来切换的同时照明观察对象的模式。另外，照明光包含用于对观察对象整体提供亮度而观察观察对象整体的普通光(白色光等宽频带的光)或用于强调观察对象中的特定区域的特殊光。并且，在单发光模式下，也可以设为通过模式切换开关12f的操作，切换为不同光谱的照明光。例如，也可以设为切换为光谱不同的第1照明光及第2照明光。另外，跟踪模式并不与单发光模式及多发光模式冲突，在单发光模式及多发光模式下也能够进行跟踪。
跟踪模式为如下模式，即，即使在被摄体等的图像中发生变化，为了使用户能够掌握出血点BS等检测对象的位置，检测检测对象的实际位置信息，并将检测对象的位置信息与检测对象的位置信息建立关联的标志的位置信息显示于显示器18(也可以是显示器15)。
如图2所示，照明光优选组合发射紫色光V、蓝色光B、绿色光G及红色光R。紫色光V优选中心波长为405±10nm，波长范围为380～420nm。蓝色光B优选中心波长为450±10nm，波长范围为420～500nm。绿色光G优选波长范围达到480～600nm。红色光R优选中心波长为620～630nm，波长范围达到600～650nm。
光源装置13独立地控制4个颜色的紫色光V、蓝色光B、绿色光G及红色光R的光量。如图3(A)所示，在单发光模式的情况下，按每1帧，连续发射相同光谱的照明光L。另一方面，在多发光模式的情况下，进行按照特定图案使上述4个颜色的紫色光V、蓝色光B、绿色光G及红色光R的光量发生变化的控制。例如，如图3(B)所示，作为特定图案，有交替进行如下的图案，即，以连续2帧发射具有第1光谱的第1照明光L1的第1发光图案和以1帧来发射具有与第1光谱不同的第2光谱的第2照明光L2的第2发光图案。另外，帧是指，设置于内窥镜的前端部12d的摄像传感器(未图示)开始接收来自观察对象的反射光，并且根据接收光而蓄积的电荷信号的输出完成为止的期间的时间。
处理器装置14实现扩展处理器装置17的功能，并且也可以代替扩展处理器装置17。处理器装置14进行除了从内窥镜12接收内窥镜图像的功能等以外还通过后述的扩展处理器装置17所实现的功能来实施的各种处理。在该情况下，已实施各种处理的图像或信息可以由显示器15显示，也可以由显示器18显示
如图4所示，扩展处理器装置17具备图像获取部20、检测对象检测部21、标志检测部22、标志处理部23、显示控制部24、估计位置信息计算部25、检测用存储器26及处理时刻设定部27。在扩展处理器装置17中设置有存储与各种处理相关的程序的程序用存储器。通过设置于扩展处理器装置17的处理器执行上述程序，由此实现图像获取部20、检测对象检测部21、标志检测部22、标志处理部23、显示控制部24、估计位置信息计算部25及处理时刻设定部27的功能。另外，显示控制部24除了进行显示器18的显示控制以外，还可以进行显示器15的显示控制。
如图5所示，扩展处理器装置17即使在因出血等而检测不到在显示器18的内窥镜图像中检测到的出血点BS等检测对象的情况下，当检测到标志LM时，通过进行检测对象的位置信息估计处理，能够估计出检测对象的位置。位置信息估计处理的结果，作为检测对象估计位置信息，以估计位置显示用指示器36来示于内窥镜图像中。
图像获取部20获取从处理器装置14发送的内窥镜图像。处理器装置14按每1帧将内窥镜图像发送至扩展处理器装置17。图像获取部20获取从处理器装置14发送的每1帧的内窥镜图像。
检测对象检测部21通过对内窥镜图像进行第1检测处理，检测检测对象并获取检测对象的实际位置信息。如图5所示，在显示器18的内窥镜图像中，当通过第1检测处理检测到检测对象之一的出血点BS时，显示控制部24在出血点BS位置的周围，将检测位置显示用指示器30示于显示器18。检测位置显示用指示器30所表示的位置为出血点BS的实际位置。检测对象优选为出血点BS、癌症等病变部、通过药剂荧光(PDD(Photodynamic diagnosis：光动力诊断))强调的病变部及特定器官的形状、粘膜图案等中的至少任一个。
另外，检测对象检测部21优选为利用包含检测对象的培训用图像数据进行了机器学习的学习完毕模型。机器学习中包含监督学习、半监督学习、无监督学习、强化学习、深度强化学习、使用了神经网络的学习及深度学习等。并且，当通过第1检测处理检测到时，检测到的检测对象的信息存储于检测用存储器26。
当通过检测对象检测部21检测到检测对象时，标志检测部22通过对内窥镜图像进行第2检测处理，检测标志LM并获取标志LM的位置信息。标志LM可举出血管或腺管结构等各种结构物、粘膜图案、器官的形状、基于用户操作的打标、烧灼后的打标及对体内赋予的打标(通过色素来赋予的打标、对切开时注入的膨胀材料赋予金色丝线、标记的打标)等。如图6所示，在通过第1检测处理检测到检测对象之一的出血点BS的内窥镜图像中，若在第2检测处理中检测到标志LM，则在标志LM的位置上，标志位置显示用指示器32显示于显示器18。为了执行位置信息估计处理而需要多个标志LM的检测，在该情况下，优选能够区分彼此的标志位置显示用指示器32。例如，对各标志位置显示用指示器32标注有用于区分的编号NB(区分用编号)。另外，为了排除从出血点BS流出的淤血等降低检测对象的视觉辨认度的主要因素，标志LM优选从离检测对象分开的位置进行检测，而不仅是在出血区域BP等检测对象的附近进行检测。
关于通过第2检测处理检测到的标志LM，在标志处理部23中使用多个标志LM的位置信息进行用于计算出血点BS的估计位置信息的标志设定处理。但是，因使用信用度低的标志LM，而存在出血点BS的估计位置远离实际位置的顾虑。为了防止这种情况，也可以限制标志设定处理中所使用的标志LM的数量。例如，如图7所示，当对检测到5个标志LM的内窥镜图像，将标志设定处理中所使用的数量的上限设定为4个时，在图6中，5处标志LM中的可靠度最低的区分用编号为“4”的标志LM被排除而成为不显示，检测为区分编号“5”的标志LM的区分用编号显示为“4”，并根据4个标志LM进行标志设定处理。并且，除了上限数量以外，还可以设定信用度的阈值来进行限制。另外，优选在选择显示于显示器18的标志LM时，标志LM不是固定在画面上的一处，而是以包围检测对象的方式进行选择，并且从有利于估计的标志中进行选择，由此限制数量。
关于所要检测的标志LM的限制，可以设定上限数量或阈值而自动检测可靠度高的标志LM，但也可以通过用户操作来指定信用度低的标志LM并从标志设定处理的对象中排除。例如，通过用户操作经由用户接口16选择以如图6所示那样的标志位置显示用指示器32的显示方式显示为信用度低的区分编号“4”的标志LM，并进行排除设定。利用剩余的标志LM来进行位置信息估计处理。标志LM的限制数量的设定可以在将跟踪模式设为“打开”之前进行，也可以在包括第2检测处理的跟踪模式期间进行。
若通过第2检测处理检测到所需数量以上的标志LM，则标志处理部23进行将标志LM的位置信息与检测对象的实际位置信息建立关联的标志设定处理。如图8所示，在标志设定处理中，作为将标志LM的位置信息与检测对象的实际位置信息建立关联的方法，用连接线34连结检测位置显示用指示器30与标志位置显示用指示器32。在该情况下，优选将标志LM中的在检测对象的周围检测到的标志LM的位置信息与检测对象的实际位置信息建立关联。即，在图8的情况下，图6中位于检测到的检测位置显示用指示器30周围的区分用编号为“1”、“2”、“3”、“4”、“5”的标志位置显示用指示器32需要用连接线34至少与检测位置显示用指示器30连结。并且，不同的标志位置显示用指示器32之间也优选用连接线34来连结。另外，通过标志设定处理而建立关联的标志LM的位置信息及与检测对象的实际位置信息相关的信息存储于检测用存储器26。
显示控制部24进行当检测到检测对象时将检测对象的实际位置信息及标志LM的位置信息显示于显示器18的第1显示控制处理、当未检测到检测对象且检测到标志LM时将标志LM的位置信息显示于显示器18的第2显示控制处理或未检测到检测对象且已进行标志设定处理时显示检测对象的估计位置信息的第3显示控制处理中的任一个。如图8所示，通过第1显示控制处理，在显示器18的内窥镜图像中，作为检测对象的实际位置信息显示检测位置显示用指示器30，且作为标志LM的位置信息显示标志位置显示用指示器32。在第1显示控制处理中，优选将连接线34也一同显示于显示器18。
而且，如图9所示，当因从出血点BS大量流出血液(血污)而出血区域BP扩展的情况等而检测对象的显示从内窥镜图像中消失时，通过检测对象检测部21无法检测检测对象。如此，即使在检测对象的显示消失的情况下，当在内窥镜图像中残留标志LM时，通过标志处理部23维持标志LM的检测。在该情况下，通过进行第2显示控制处理，尽管检测位置显示用指示器30未显示，作为标志LM的位置信息，标志位置显示用指示器32显示于显示器18。在第2显示控制处理中，优选将连接线34也一同显示于显示器18。
当未检测到检测对象且已完成标志设定处理时，估计位置信息计算部25通过基于标志LM的位置信息的位置信息估计处理，计算检测对象的估计位置信息。如图9所示，当检测对象的显示消失时，显示控制部24通过第2显示控制处理维持标志位置显示用指示器32对显示器18的显示。在该情况下，进行了位置信息估计处理的结果，如图10所示，追加作为检测对象的估计位置信息将估计位置显示用指示器36显示于计算出存在检测对象的位置的第3显示控制处理。第3显示控制处理显示检测对象的估计位置信息作为估计位置显示用指示器36，但也可以与保持继续进行第2显示控制处理的状态的标志LM同时显示。位置信息估计处理优选根据标志位置显示用指示器32之间的位置关系例如由连接线34形成的环形状等进行估计。当不进行第2显示控制处理而仅进行第3显示控制处理时，如图5所示，不显示标志位置显示用指示器32及连接线34而仅显示估计位置显示用指示器36。
为了容易区分，检测位置显示用指示器30、标志位置显示用指示器32及估计位置显示用指示器36在显示器18中分别以不同的显示方式显示。如图11所示，检测位置显示用指示器30被设为四边形的周缘，标志位置显示用指示器32被设为圆的周缘，估计位置显示用指示器36的周缘被设为双圆(还参考除图11以外的图)。另外，当检测位置显示用指示器30及估计位置显示用指示器36为相同或酷似的显示方式时，若存在检测对象的误检测，则存在根据误检测的信息计算出的估计位置显示用指示器36无法识别为误检测的顾虑。
另外，标志处理部23中的用于进行第2处理的处理部优选为利用包含标志LM的培训用图像数据进行了机器学习的标志检测用学习完毕模型。并且，当标志处理部23能够计算与标志LM的检测相关的可靠度时，优选根据可靠度使标志LM的位置信息的显示方式(颜色或线的样式等)发生变化。例如，如图6所示，当区分用编号为“4”的标志LM的可靠度低于其他标志LM的可靠度时，优选使区分用编号为“4”的标志LM的标志位置显示用指示器32的显示方式(在图6中为点线)与其他标志LM的标志位置显示用指示器32的显示方式(在图8等中为实线)不同。
在估计位置显示控制处理中，优选根据估计位置信息的可靠度，使在本实施方式中设为估计位置显示用指示器36的估计位置用显示方式发生变化。在该情况下，估计位置信息计算部25根据估计位置信息的计算，计算估计位置信息的可靠度。例如，优选根据机器学习完毕模型，计算估计位置信息的确信度作为估计位置信息的确信度。用户能够根据估计位置信息的可靠度，选择对观察对象的操作。例如，当可靠度高时，对出血点BS进行止血处理，另一方面，当可靠度低时，不进行止血处理，以免对错误的部位进行止血。
具体而言，如图12所示，在用位置显示用颜色信息来表示估计位置信息的情况下，当估计位置信息的可靠度为规定值以上的高可靠时，使位置显示用颜色信息的浓度变浓，当估计位置信息的可靠度小于规定值的低可靠时，使位置显示用颜色信息的浓度变浅。并且，在用位置显示用图形来表示估计位置信息的情况下，当为高可靠度时，使位置显示用图形的大小变小，当为低可靠度时，位置显示用图形的大小变大。并且，当为高可靠时，使位置显示用图形的线粗细度变粗，当为低可靠度时，使位置显示用图形的线粗细度变细。并且，在高可靠度时，将位置显示用图形的线种设为实线，当为低可靠度时，将位置显示用图形的线种设为点线。如上所述，通过根据可靠度使估计位置显示方式发生变化，能够直观地掌握估计位置信息的可靠度。
显示控制部24也可以对各处理的结果进行通知音以及显示器18中的通知。如图13所示，当能够确认检测对象时，例如，也可以根据存在出血点BS的内窥镜图像，通过第1检测处理作为检测对象检测到出血点BS的结果，进行“检测对象检测”这一通知，当由第2检测处理检测标志LM时，在显示器18中展开通知栏40来与标志位置显示用指示器32的显示一同进行“标志检测”这一通知。通知栏40无需始终展开，在出现通知事由时，临时显示如5秒钟等。并且，通知内容不仅可以在显示器18中显示，也可以发出通知音。以下，分为在检测不到检测对象时实施的位置信息估计处理开始的条件即标志设定完成的情况及未完成的情况，对通知的实施例进行说明。
在完成标志设定处理的情况下，如图14所示，进行在图13中检测到的检测对象及足够数量的标志LM的建立关联，若在标志位置显示用指示器32彼此之间形成连接线34，则在显示器18中通知为“标志设定处理完成”。并且，若处于已完成标志设定处理的状态，且因出血区域BP等检测不到检测对象，则通知为“检测不到检测对象”及“估计位置计算开始”，并进行位置信息估计处理。实施位置信息估计处理，当计算出估计位置信息时，进行“估计位置计算”的通知及在检测对象的估计位置上显示估计位置显示用指示器36。
当未完成标志设定处理的情况下，例如，有如下图案，即，在通知栏40中通知为“无法进行标志设定处理”的保持标志LM不满足标志设定处理的所需数量的状态而经过规定时间的图案(图15(A))及在通知为“标志设定处理失败”的标志设定处理的中途因血污BP等而检测不到检测对象的图案(图15(B))。用于于标志设定处理的标志LM所需数量是能够包围检测对象的数量，至少是3个标志LM。并且，也可以通过用户操作等来将所需数量设为4个以上的数量。当无法执行标志设定处理时，优选从第1检测处理或第2检测处理起再次开始。
并且，也可以将跟踪模式下的位置信息的获取数量显示于显示器18。例如，如图16所示，将显示跟踪模式下的位置信息的获取数量的获取数量信息显示栏41展开于显示器18的右上角。获取数量信息显示栏41优选始终展开，并且以字符来显示跟踪模式下的通过第1检测处理、第2检测处理检测到的检测对象、标志LM的位置数量及通过位置信息计算处理计算出的检测对象的估计位置信息的获取数量。例如，当在第1检测处理的结果中检测到1处出血点BS时，显示为“出血点检测数量：1”、“标志检测数量：0”、“估计位置计算数量：0”，当在接下来的第2检测处理的结果中检测到5处标志LM时，显示为“出血点检测数量：1”、“标志检测数量：5”、“估计位置计算数量：0”，当标志设定已完成但检测不到检测对象时，显示为“出血点检测数量：0”、“标志检测数量：5”、“估计位置计算数量：0”。每当位置信息的获取数量发生变动时，更新获取数量的显示。而且，关于除获取数量以外的执行中的处理，也可以显示“第1检测处理中”“标志设定处理中”“位置信息估计处理中”等正在进行的处理的内容。另外，图13-15的通知栏40及获取数量信息显示栏41可以仅利用其中的任一个，也可以组合使用两者。另外，获取数量除了包含估计位置信息的数量以外，还可以包含检测对象的数量及标志的数量。
在处理时刻设定部27中，优选设定第1检测处理的开始时刻或结束时刻、第2检测处理的开始时刻或结束时刻、位置信息估计处理的开始时刻或结束时刻(参考图17)。如此，通过设定开始时刻及结束时刻而并不经常进行第1检测处理或位置信息估计处理，能够抑制误检测。并且，当判断为不需要第1检测处理或位置信息估计处理时，将检测对象的实际位置信息及估计位置信息设为不显示，由此能够容易看见除出血点BS等检测对象以外的部分。
具体而言，如图17所示，第1检测处理的开始时刻优选为在内窥镜图像中检测到从内窥镜12的前端部向观察对象射出的送水的时刻(送水检测时)、在内窥镜图像中检测到通过处置器具等对观察对象的一部分实施的切开的时刻(切开检测时)或在内窥镜图像中检测到从内窥镜12的前端部突出的处置器具的时刻(处置器具检测时)等。并且，第1检测处理的结束时刻除了无法进行检测对象或出血的检测而经过了规定时间的时刻(第1检测处理失败时)以外，还优选为从所检测到的检测对象消失的时刻起经过规定时间之后的时刻(从检测对象消失起经过规定时间之后)、检测到止血点的时刻(止血点检测时)或出血区域BP未增加而经过了规定时间的时刻(出血区域不扩大时)等。当第1检测处理结束时，可以变更观察对象。另外，也可以具备具有捕捉出血区域BP的位置或扩大等区域的变化的功能的出血区域补充部(未图示)。
第2检测处理的开始时刻优选为通过第1检测处理检测到检测对象的时刻(检测对象检测时)。并且，第2检测处理的结束时刻优选为从检测到最新的标志LM起经过规定时间之后的时刻(标志检测后经过规定时间后)或检测到的标志LM的数量达到所设定的上限数量的时刻(标志检测上限数量达到后)。
位置信息估计处理的开始时刻有标志设定后且检测对象的消失时等。并且，位置信息估计处理的结束时刻优选设为因标志消失等而通过位置信息估计处理无法计算出估计位置信息的时刻(位置信息估计处理失败时)、通过处置器具等对出血点进行止血处置的结果即检测到止血点的时刻(止血点检测时)或在估计位置显示用指示器36及其周围无法确认出血的时刻(检测不到估计位置的出血时)。另外，当即使位置信息估计处理失败但仍继续跟踪模式时，优选重新进行第1检测处理。
第1检测处理的再次检测开始时刻优选设为在标志设定处理完成之前检测对象消失的时刻(标志设定处理失败时)、在位置信息估计处理完成之前标志消失的时刻(位置信息估计处理失败时)。
另外，如图18所示，优选在跟踪模式下，根据基于第2照明光的第2内窥镜图像进行检测对象及标志LM的检测，在已进行标志设定处理的基础上，从第2照明光切换为第1照明光，对基于第1照明光的第1内窥镜图像显示检测对象的估计位置信息及标志LM的位置信息。由此，当从第2照明光切换为第1照明光时，不会遗漏检测对象的位置或区域。另外，第2照明光优选为适合检测检测对象的光例如包含能够强调显示结构物的紫色光的特殊光。另一方面，第1照明光优选为适合显示检测对象的实际位置信息、标志LM的位置信息及检测对象的估计位置信息的光例如白色光。
接着，按照图19的流程图对跟踪模式的一连串的流程进行说明。操作模式切换开关12f而将跟踪模式设为“打开”。由此，对内窥镜图像进行第1检测处理。在第1检测处理中，当检测到包含出血点BS的检测对象时，获取检测对象的实际位置信息。当检测到的检测对象为新检测对象时，进行标志设定处理。通过在标志设定处理中对内窥镜图像进行第2检测处理，检测标志LM并获取标志LM的位置信息。此外，将标志LM的位置信息与检测对象的实际位置信息建立关联。彼此建立关联的标志LM的位置信息与检测对象的实际位置信息显示于显示器18。另一方面，当检测到的检测对象不是新检测对象时，在标志设定处理中已建立关联的标志LM的位置信息及检测对象的实际位置信息显示于显示器18。
另外，是否为新检测对象的判定根据在检测用存储器26中是否存在与检测对象相关的信息来判定。当检测到新检测对象时，删除已存储于检测用存储器26的与检测对象相关的信息，将与新检测对象相关的信息新存储于检测用存储器26。在该情况下，优选一并删除和与欲删除的检测对象建立关联的标志LM相关的信息。
相对于此，当通过第1检测处理无法检测到检测对象时，判定是否已进行标志设定处理(是否为标志设定处理中的判定)。当已进行标志设定处理时，根据标志LM的位置信息，计算检测对象的估计位置信息。然后，将计算出的检测对象的估计位置信息及标志LM的位置信息显示于显示器18。只要检测到或估计出出血，则重复进行以上一连串的处理。然后，当操作模式切换开关12f而跟踪模式成为“关闭”时，结束检测对象的检测等。
手动进行内窥镜12的操作，因此即使在内窥镜图像内持续捕捉到检测对象的估计位置，内窥镜图像所投影的范围仍发生变化，当包围检测对象的估计位置的标志LM不落在内窥镜图像内时，有时器官发生变形而标志与检测对象的关系性发生变化。如图20所示，也可以在内窥镜12拍摄下一帧时，在与位置信息估计处理中所使用的标志LM不同的位置上检测新标志LM2，更新位置信息估计处理中所使用的标志LM，并在出血区域BP上继续显示估计位置显示用指示器36。
当更新位置信息估计处理中所使用的标志LM时，将更新前设为标志LM，将更新后设为新标志LM2。图20(A)中，通过基于标志LM的位置信息估计处理，显示估计位置显示用指示器36。当获取了新的帧时，如图20(B)所示，根据前后的帧摄影的移动方向，检测包围检测对象的估计位置的新标志LM2，并显示新标志位置显示用指示器38。并且，进行新标志LM2与检测对象估计位置信息建立关联的新标志设定处理，并计算新相对关系。新相对关系以新连接线39来显示。新连接线39优选使用与连接线34相比不显眼且不会混淆的点线等。另外，用于区分各标志位置显示用指示器32的编号NB(区分用编号)也能够赋予于新标志位置显示用指示器38，但当视觉辨认度变差时，无需赋予。在该情况下，也可以将对标志位置显示用指示器32赋予的量设为不显示。另外，新相对关系不仅使用检测对象及新标志LM2，还可以使用更新前的标志LM来计算。重复使用的标志LM优选为相对于帧摄影的移动方向持续落在内窥镜画面内的位置。
在新标志设定处理之后，当内窥镜12获取新的帧的内窥镜图像，且未识别出位置信息估计处理所需的标志LM时，如图20(C)所示，进行基于新相对关系的位置信息估计处理，计算检测对象估计位置信息，并将估计位置显示用指示器36显示于显示器18。基于标志LM的位置信息估计处理结束，因此连接线34成为不显示，新连接线39以如连接线34那样的实线来显示。另外，当即使基于标志LM的位置信息估计处理结束，仍存在继续被识别的标志LM时，可以编入于新相对关系中。
根据基于新标志LM2的位置信息估计处理的状态，内窥镜12所投影的范围也移动，因此继续位置信息估计处理中所使用的标志LM的更新。新标志LM2作为标志LM，新连接线39作为连接线34，新标志LM2通过标志设定处理进一步更新相对关系，标志LM进行位置信息估计处理。
在上述实施方式中，图像获取部20、检测对象检测部21、标志处理部23、显示控制部24、估计位置信息计算部25、检测用存储器26或处理时刻设定部等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用处理器即CPU(Central ProcessingUnit：中央处理器)、GPU(Graphical Processing Unit：图形处理器)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)及具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合，或CPU与GPU的组合等)构成。并且，也可以由一个处理器来构成多个处理部。作为由一个处理器来构成多个处理部的例子，第1，有如以客户端或服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统(SystemOn Chip：SoC)等为代表，使用将包括多个处理部的整个系统的功能由一个IC(IntegratedCircuit：集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。并且，存储部的硬件结构为HDD(hard disc drive：硬盘驱动器)或SSD(solid state drive：固态硬盘)等存储装置。
符号说明
10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12f-模式切换开关，12g-静态图像获取指示开关，12h-变焦操作部，12i-送水开关，13-光源装置，14-处理器装置，15-显示器，16-用户接口，17-扩展处理器装置，18-显示器，19-送水装置，20-图像获取部，21-检测对象检测部，22-标志检测部，23-标志处理部，24-显示控制部，25-估计位置计算部，26-检测存储器，27-处理时刻设定部，30-检测位置显示用指示器，32-标志位置显示用指示器，34-连接线，36-估计位置显示用指示器，38-新标志显示用指示器，39-新连接线，40-通知栏，41-获取数量信息显示栏，BS-出血点，BP-出血区域，LM-标志，LM2-新标志。

Claims (19)

1.一种内窥镜系统，其具备处理器，
所述处理器进行如下处理：
获取内窥镜图像；
通过对所述内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；
当检测到所述检测对象实际位置信息时，通过对所述内窥镜图像进行第2检测处理，获取标志的位置信息；
进行将所述检测对象实际位置信息与所述标志的位置信息建立关联的标志设定处理；
在所述标志设定处理之后，当未获取所述检测对象实际位置信息且已完成所述标志设定处理时，进行位置信息估计处理，并计算检测对象估计位置信息；及
在显示器中显示所述检测对象估计位置信息。
2.根据权利要求1所述的内窥镜系统，其中，
所述处理器进行如下处理：
将所述检测对象实际位置信息、所述检测对象估计位置信息及所述标志的位置信息分别以不同的方式显示于所述显示器。
3.根据权利要求1或2所述的内窥镜系统，其中，
所述处理器进行如下处理：
进行使用通知音及所述显示器中的通知这两者或至少其中任一者的通知；及
在所述第1检测处理中检测到所述检测对象实际位置信息时或在所述第2检测处理中检测到所述标志的位置信息时的至少任一个进行所述通知。
4.根据权利要求1或2所述的内窥镜系统，其中，
所述处理器进行如下处理：
进行使用通知音及所述显示器中的通知这两者或至少其中任一者的通知；及
所述标志设定处理的结果，在完成了所述标志设定处理时、检测不到所述检测对象时、所述位置信息估计处理开始时或在所述位置信息估计处理中计算出所述检测对象估计位置信息时的至少任一个进行所述通知。
5.根据权利要求1或2所述的内窥镜系统，其中，
所述处理器进行如下处理：
进行使用通知音及所述显示器中的通知这两者或至少其中任一者的通知；及
在所述第2检测处理中无法获取所需数量的所述标志的位置信息而无法执行所述标志设定处理时及所述标志设定处理完成之前所述检测对象实际位置信息消失并且所述标志设定处理失败时，进行所述通知。
6.根据权利要求1至5中任一项所述的内窥镜系统，其中，
所述处理器进行如下处理：
将至少包含所述检测对象估计位置信息的数量的基于字符显示的位置信息的获取数量信息显示于所述显示器。
7.根据权利要求6所述的内窥镜系统，其中，
所述处理器进行如下处理：
将所述检测对象实际位置信息及所述标志的位置信息的获取数量信息显示于所述显示器。
8.根据权利要求1至7中任一项所述的内窥镜系统，其中，
所述处理器进行如下处理：
限制所述位置信息估计处理中所使用的所述标志的数量。
9.根据权利要求1至7中任一项所述的内窥镜系统，其中，
所述处理器进行如下处理：
选择所述标志中显示于所述显示器的所述标志，并限制显示于所述显示器的所述标志。
10.根据权利要求1至9中任一项所述的内窥镜系统，其中，
所述处理器进行如下处理：
接收指定所述位置信息估计处理中是否使用所述标志的用户操作。
11.根据权利要求1至10中任一项所述的内窥镜系统，其中，
所述内窥镜图像中包含基于第1照明光的第1内窥镜图像及基于光谱与所述第1照明光不同的第2照明光的第2内窥镜图像，
所述处理器根据所述第1内窥镜图像进行所述第1检测处理、所述第2检测处理，根据所述第2内窥镜图像将所述检测对象实际位置信息、所述检测对象估计位置信息及所述标志的位置信息显示于所述显示器。
12.根据权利要求1至11中任一项所述的内窥镜系统，其中，
所述第1检测处理的开始时刻为送水检测时、切开检测时、处置器具检测时或用户操作时的任一个，
所述第1检测处理的结束时刻为未检测到检测对象而经过了规定时间时、从所述检测对象消失起经过了规定时间时、出血区域不扩大时或用户操作时的任一个，
所述第2检测处理的开始时刻为所述检测对象的检测时，
所述第2检测处理的结束时刻为所述检测对象消失时、在规定时间内检测不到所需数量的所述标志时或用户操作时的任一个，
所述位置信息估计处理的开始时刻为完成所述标志设定处理且所述检测对象消失时，
所述位置信息估计处理的结束时刻为检测不到所述标志时、止血点的检测时、检测不到所述检测对象的估计位置周边的出血时或用户操作时的任一个。
13.根据权利要求12所述的内窥镜系统，其中，
所述第1检测处理的再次开始时刻为所述标志设定处理失败时、所述位置信息估计处理失败时或用户操作时的任一个。
14.根据权利要求1至13中任一项所述的内窥镜系统，其中，
所述标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息。
15.一种内窥镜系统，其具备处理器，
所述处理器进行如下处理：
获取内窥镜图像；
通过对所述内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；
通过对所述内窥镜图像进行第2检测处理，获取标志的位置信息；
在每次所述内窥镜图像得到更新而获取所述检测对象实际位置信息或从基于所述标志的位置信息的位置信息估计处理获得的检测对象估计位置信息时，进行将所述检测对象实际位置信息或所述检测对象估计位置信息中的任一个与所述标志的位置信息建立关联而设定相对关系的标志设定处理；及
在显示器中显示所述检测对象实际位置信息或所述检测对象估计位置信息。
16.根据权利要求15所述的内窥镜系统，其中，
所述处理器进行如下处理：
在所述位置信息估计处理持续的状态下获取新的帧的所述内窥镜图像而检测到新标志的情况下，作为所述标志设定处理，进行将所述检测对象估计位置信息与所述新标志建立关联而设定新相对关系的新标志设定处理；
在所述新标志设定处理之后，当未识别出所述位置信息估计处理所需的所述标志时，进行基于所述新相对关系的位置信息估计处理，并计算新检测对象估计位置信息；及
在所述显示器中显示所述新检测对象估计位置信息。
17.根据权利要求16所述的内窥镜系统，其中，
所述标志及所述新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息。
18.一种内窥镜系统的工作方法，其为具备处理器的内窥镜系统的工作方法，所述内窥镜系统的工作方法包括如下步骤：
获取内窥镜图像；
通过对所述内窥镜图像进行第1检测处理，获取检测对象的检测对象实际位置信息；
当检测到所述检测对象实际位置信息时，通过对所述内窥镜图像进行第2检测处理，获取标志的位置信息；
进行将所述检测对象实际位置信息与所述标志的位置信息建立关联的标志设定处理；
在所述标志设定处理之后，当未获取所述检测对象实际位置信息且已完成所述标志设定处理时，进行位置信息估计处理，并计算检测对象估计位置信息；及
在显示器中显示所述检测对象估计位置信息。
19.根据权利要求18所述的内窥镜系统的工作方法，其包括由所述处理器进行如下处理的步骤：
将所述检测对象实际位置信息、所述检测对象估计位置信息及所述标志的位置信息分别以不同的方式显示于所述显示器。
CN202280020345.6A 2021-03-09 2022-02-08 内窥镜系统及其工作方法 Pending CN116963655A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-037558 2021-03-09
JP2021037558 2021-03-09
PCT/JP2022/004837 WO2022190740A1 (ja) 2021-03-09 2022-02-08 内視鏡システム及びその作動方法

Publications (1)

Publication Number Publication Date
CN116963655A true CN116963655A (zh) 2023-10-27

Family

ID=83227884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280020345.6A Pending CN116963655A (zh) 2021-03-09 2022-02-08 内窥镜系统及其工作方法

Country Status (5)

Country Link
US (1) US20230421887A1 (zh)
EP (1) EP4306035A1 (zh)
JP (1) JPWO2022190740A1 (zh)
CN (1) CN116963655A (zh)
WO (1) WO2022190740A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036371A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
EP4186422A1 (en) 2012-07-25 2023-05-31 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
WO2019106712A1 (ja) * 2017-11-28 2019-06-06 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
JP2021112220A (ja) 2018-04-17 2021-08-05 ソニーグループ株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN112040830A (zh) * 2018-06-19 2020-12-04 奥林巴斯株式会社 内窥镜图像处理装置和内窥镜图像处理方法
EP3846460A4 (en) * 2018-10-18 2021-11-24 Sony Group Corporation OBSERVATION SYSTEM FOR MEDICAL PURPOSES, OBSERVATION DEVICE FOR MEDICAL PURPOSES, AND OBSERVATION PROCEDURES FOR MEDICAL PURPOSES
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP2021029979A (ja) * 2019-08-29 2021-03-01 国立研究開発法人国立がん研究センター 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法

Also Published As

Publication number Publication date
WO2022190740A1 (ja) 2022-09-15
US20230421887A1 (en) 2023-12-28
EP4306035A1 (en) 2024-01-17
JPWO2022190740A1 (zh) 2022-09-15

Similar Documents

Publication Publication Date Title
EP1867271B1 (en) Endoscope insertion shape detecting device
US11944262B2 (en) Endoscope processor, information processing device, and endoscope system
CN111970955A (zh) 内窥镜观察辅助装置、内窥镜观察辅助方法及程序
JPWO2019078237A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
CN112040830A (zh) 内窥镜图像处理装置和内窥镜图像处理方法
US20220414880A1 (en) Medical system, information processing method, and computer-readable medium
US20210113159A1 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method
US11867896B2 (en) Endoscope system and medical image processing system
US11992177B2 (en) Image processing device for endoscope, image processing method for endoscope, and recording medium
EP3991632A1 (en) Endoscope system and endoscope device
US20230277036A1 (en) Processor device, operation method of processor device, non-transitory computer readable medium, and endoscope system
CN110167417B (zh) 图像处理装置、动作方法和存储介质
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
CN116963655A (zh) 内窥镜系统及其工作方法
CN110799084B (zh) 图像处理装置、图像处理程序和图像处理方法
CN116963656A (zh) 内窥镜系统及其工作方法
CN116963654A (zh) 内窥镜系统及其工作方法
JP7260060B2 (ja) 情報処理装置、表示方法、及びプログラム
JP2014198099A (ja) 医用画像処理装置、医用画像処理システム、医用画像診断装置
WO2023112499A1 (ja) 内視鏡画像観察支援装置及び内視鏡システム
US20240148235A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20240065527A1 (en) Medical support device, endoscope, medical support method, and program
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination