CN116963656A - 内窥镜系统及其工作方法 - Google Patents
内窥镜系统及其工作方法 Download PDFInfo
- Publication number
- CN116963656A CN116963656A CN202280020353.0A CN202280020353A CN116963656A CN 116963656 A CN116963656 A CN 116963656A CN 202280020353 A CN202280020353 A CN 202280020353A CN 116963656 A CN116963656 A CN 116963656A
- Authority
- CN
- China
- Prior art keywords
- position information
- detection object
- display
- estimated position
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 275
- 238000012545 processing Methods 0.000 claims abstract description 67
- 239000003550 marker Substances 0.000 claims description 75
- 230000000740 bleeding effect Effects 0.000 claims description 22
- 210000000056 organ Anatomy 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 5
- 210000004400 mucous membrane Anatomy 0.000 claims description 4
- 238000004378 air conditioning Methods 0.000 claims 4
- 210000004877 mucosa Anatomy 0.000 claims 1
- 238000011017 operating method Methods 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 239000008280 blood Substances 0.000 description 11
- 210000004369 blood Anatomy 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000002439 hemostatic effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012277 endoscopic treatment Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种即便检测对象的视觉辨认度降低也能够确定检测对象的位置的内窥镜系统及其工作方法。进行检测到检测对象时将检测位置显示用圆圈(30)以实际位置用显示方式(单重线)显示于显示器(18)的实际位置用显示控制处理。进行未检测到检测对象时将估计位置显示用圆圈(36)以与实际位置用显示方式不同的估计位置用显示方式(双重线)显示于显示器(18)的估计位置用显示控制处理。
Description
技术领域
本发明涉及一种检测出血部位等检测对象的内窥镜系统及其工作方法。
背景技术
在医疗领域中,普遍使用具有光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜诊断中,有时在进行内窥镜处置时,检测出血部位等检测对象。检测对象的检测除了进行肉眼观察的检测以外,还通过基于与过去图像的比较的估计来进行。另外,专利文献1~3中记载有根据图像检测出血部位或区域的内容。
以往技术文献
专利文献
专利文献1:国际公开第2019/202827号
专利文献2:日本特表2015-529489号公报
专利文献3:日本特开2011-036371号公报
发明内容
发明要解决的技术课题
然而,当出现随着时间的经过而出现由出血引起的淤血等降低检测对象的视觉辨认度的主要因素时,通过肉眼观察或从图像难以确定检测对象的位置。
本发明的目的在于提供一种即便检测对象的视觉辨认度降低也能够确定检测对象的位置的内窥镜系统及其工作方法。
用于解决技术课题的手段
本发明的内窥镜系统具备处理器,处理器进行如下处理:获取内窥镜图像;通过对内窥镜图像进行检测对象检测处理,检测检测对象并获取检测对象的实际位置信息;当未检测到检测对象时,通过基于内窥镜图像的位置信息估计处理,计算检测对象的估计位置信息;及进行检测到检测对象时将检测对象的实际位置信息以实际位置用显示方式显示于显示器的实际位置用显示控制处理或未检测到检测对象时将检测对象的估计位置信息以与实际位置用显示方式不同的估计位置用显示方式显示于显示器的估计位置用显示控制处理中的任一个。
当为了显示检测对象的所述实际位置信息及估计位置信息而使用位置显示用颜色信息时,实际位置用显示方式的位置显示用颜色信息与估计位置用显示方式的位置显示用颜色信息不同,或当为了显示检测对象的实际位置信息及估计位置信息而使用位置显示用图形时,实际位置用显示方式的位置显示用图形与估计位置用显示方式的位置显示用图形不同。
优选当位置显示用图形为圆或椭圆时,是实际位置用线种与估计位置用线种不同、实际位置用线粗细度与估计位置用线粗细度不同及实际位置用大小与估计位置用大小不同中的至少任一个。优选实际位置用显示方式的位置显示用图形与估计位置用显示方式的位置显示用图形的形状彼此为不同形状。
优选当显示器具有显示内窥镜图像的主画面及设置于与主画面不同的位置上的子画面时,作为估计位置用显示方式,利用子画面来显示检测对象的估计位置信息。优选当显示器具有显示内窥镜图像的主画面及设置于与主画面不同的位置上的子画面时,通过估计位置用显示控制处理,将检测对象的估计位置信息以估计位置用显示方式显示于主画面,将检测对象的实际位置信息以实际位置用显示方式显示于子画面。
优选估计位置用显示控制处理根据估计位置信息的可靠度,使估计位置用显示方式发生变化。优选位置信息估计处理根据包含检测对象的检测对象区域内,计算估计位置信息。优选处理器进行如下处理:设定检测对象检测处理的开始时刻或结束时刻及位置信息估计处理的开始时刻或结束时刻中的至少任一个。优选检测对象为出血部位、病变部、特定器官的形状、粘膜图案、烧灼后的打标及对体内赋予的打标中的至少任一个。
本发明的内窥镜系统具备处理器,处理器进行如下处理:获取内窥镜图像;通过对内窥镜图像进行第1检测处理,获取检测对象的检测对象实际位置信息;通过对内窥镜图像进行第2检测处理,获取标志的位置信息;在每次内窥镜图像得到更新而获取检测对象实际位置信息或从基于标志的位置信息的位置信息估计处理获得的检测对象估计位置信息时,进行将检测对象估计位置信息或检测对象估计位置信息中的任一个与标志的位置信息建立关联而设定相对关系的标志设定处理;及将检测对象实际位置信息或检测对象估计位置信息显示于显示器。
优选在位置信息估计处理持续的状态下获取新的帧的所述内窥镜图像而检测到新标志的情况下,作为标志设定处理,进行将检测对象的估计位置信息与新标志建立关联而设定新相对关系的新标志设定处理;在新标志设定处理之后,当未识别出位置信息估计处理所需的标志时,进行基于新相对关系的位置信息估计处理,并计算新检测对象的估计位置信息;及在显示器中显示新检测对象的估计位置信息。优选新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息。
本发明的内窥镜系统的工作方法包括由处理器进行如下处理的步骤:获取内窥镜图像;通过对内窥镜图像进行检测对象检测处理,检测检测对象并获取检测对象的实际位置信息;当未检测到检测对象时,通过基于内窥镜图像的位置信息估计处理,计算检测对象的估计位置信息;及进行检测到检测对象时将检测对象的实际位置信息以实际位置用显示方式显示于显示器的实际位置用显示控制处理或未检测到检测对象时将检测对象的估计位置信息以与实际位置用显示方式不同的估计位置用显示方式显示于显示器的估计位置用显示控制处理中的任一个。
发明效果
根据本发明,即便检测对象的视觉辨认度降低,也能够确定检测对象的位置。
附图说明
图1是内窥镜系统的示意图。
图2是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的曲线图。
图3(A)是表示单发光模式的说明图,图3(B)是表示多发光模式的说明图。
图4是表示扩展处理器装置的功能的框图。
图5是表示通过检测对象检测处理检测到的出血部位及检测位置显示用圆圈的图像图。
图6是表示检测位置显示用圆圈、通过标志检测处理检测到的标志及标志位置显示用圆圈的图像图。
图7是表示与检测相关的可靠度低的标志的标志位置显示用圆圈的显示方式的图像图。
图8是表示实际位置用显示控制处理及标志用显示控制处理的说明图。
图9是表示实际位置用显示控制处理及估计位置用显示控制处理的说明图。
图10是表示实际位置用显示方式及估计位置用显示方式的说明图。
图11(A)是表示实际位置用显示方式的图像图,图11(B)是表示在子画面显示估计位置信息的估计位置用显示方式的图像图。
图12是表示在主画面显示估计位置信息的估计位置用显示方式的图像图。
图13是表示使子画面的图像旋转180度的说明图。
图14是表示根据估计位置信息的可靠度而发生变化的估计位置用显示方式的说明图。
图15是表示检测对象检测处理及位置信息估计处理的开始时刻及结束时刻的说明图。
图16是表示根据第2内窥镜图像进行检测对象及标志的检测,根据第1内窥镜图像显示检测对象的实际位置信息及标志的位置信息的说明图。
图17是表示跟踪模式的一连串的流程的说明图。
图18是更新位置信息估计处理中所使用的标志的说明图。
具体实施方式
如图1所示,内窥镜系统10具有内窥镜12、光源装置13、处理器装置14、显示器15、用户接口16、扩展处理器装置17及显示器18。内窥镜12与光源装置13光学连接,且与处理器装置14电连接。光源装置13将照明光供给至内窥镜12。
内窥镜12用于对观察对象照射照明光并且拍摄观察对象并获取内窥镜图像。内窥镜12具有插入于观察对象的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b而进行弯曲动作。前端部12d朝向观察对象照射照明光,且接收来自观察对象的反射光并拍摄观察对象。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。在操作部12b设置有用于模式的切换操作的模式切换开关12f、用于观察对象的静态图像的获取指示的静态图像获取指示开关12g及用于变焦透镜21b的操作的变焦操作部12h。
处理器装置14与显示器15及用户接口16电连接。处理器装置14接收来自内窥镜12的内窥镜图像。显示器15输出显示通过处理器装置14处理的观察对象的图像或信息等。用户接口16具有键盘、鼠标、触控板及话筒等,且具有接收功能设定等输入操作的功能。扩展处理器装置17与处理器装置14电连接。扩展处理器装置17接收来自处理器装置14的图像或各种信息。显示器18输出显示通过扩展处理器装置17处理的图像或信息等。
内窥镜系统10具备单发光模式及多发光模式,并且通过模式切换开关12f来切换。单发光模式为将相同光谱的照明光连续照明观察对象的模式。多发光模式为将不同光谱的多个照明光按照特定图案来切换的同时照明观察对象的模式。另外,照明光包含用于对观察对象整体提供亮度而观察观察对象整体的普通光(白色光等宽频带的光)或用于强调观察对象中的特定区域的特殊光。并且,在单发光模式下,也可以设为通过模式切换开关12f的操作,切换为不同光谱的照明光。例如,也可以设为切换为光谱不同的第1照明光及第2照明光。
并且,在单发光模式及多发光模式中包含跟踪模式,对于跟踪模式也能够通过模式切换开关12f来切换。跟踪模式为如下模式,即,即使在被摄体等的图像中发生变化,为了使用户能够掌握出血部位等检测对象的位置,检测检测对象的实际位置信息,并将检测对象的位置信息与检测对象的位置信息建立关联的标志的位置信息显示于显示器18(也可以是显示器15)。
如图2所示,照明光优选组合发射紫色光V、蓝色光B、绿色光G及红色光R。紫色光V优选中心波长为405±10nm,波长范围为380~420nm。蓝色光B优选中心波长为450±10nm,波长范围为420~500nm。绿色光G优选波长范围达到480~600nm。红色光R优选中心波长为620~630nm,波长范围达到600~650nm。
光源装置13独立地控制4个颜色的紫色光V、蓝色光B、绿色光G及红色光R的光量。如图3(A)所示,在单发光模式的情况下,按每1帧,连续发射相同光谱的照明光L。另一方面,在多发光模式的情况下,进行按照特定图案使上述4个颜色的紫色光V、蓝色光B、绿色光G及红色光R的光量发生变化的控制。例如,如图3(B)所示,作为特定图案,有交替进行如下的图案,即,以连续2帧发射具有第1光谱的第1照明光L1的第1发光图案和以1帧来发射具有与第1光谱不同的第2光谱的第2照明光L2的第2发光图案。另外,帧是指,设置于内窥镜的前端部12d的摄像传感器(未图示)开始接收来自观察对象的反射光,并且根据接收光而蓄积的电荷信号的输出完成为止的期间的时间。
如图4所示,扩展处理器装置17具备图像获取部20、检测对象检测部21、标志处理部22、显示控制部23、估计位置信息计算部24、检测用存储器26及处理时刻设定部27。在扩展处理器装置17中设置有存储与各种处理相关的程序的程序用存储器。通过设置于扩展处理器装置17的处理器执行上述程序,由此实现图像获取部20、检测对象检测部21、标志处理部22、估计位置信息计算部24、显示控制部23及处理时刻设定部27的功能。另外,显示控制部23除了进行显示器18的显示控制以外,还可以进行显示器15的显示控制。
图像获取部20获取从处理器装置14发送的内窥镜图像。处理器装置14按每1帧将内窥镜图像发送至扩展处理器装置17。图像获取部获取从处理器装置14发送的每1帧的内窥镜图像。
检测对象检测部21通过对内窥镜图像进行检测对象检测处理,检测检测对象并获取检测对象的实际位置信息。如图5所示,当在显示器18的内窥镜图像中通过检测对象检测处理检测到检测对象之一的出血部位BS时,作为出血部位BS的实际位置信息,显示控制部23在出血部位BS的周围,将检测位置显示用圆圈30显示于显示器18。检测对象优选为出血部位BS、癌症等病变部、通过药剂荧光(PDD(Photodynamic diagnosis:光动力诊断))强调的病变部、特定器官的形状、粘膜图案、烧灼后的打标及对体内赋予的打标(通过色素赋予的打标及对切开时注入的膨隆剂赋予金色丝线、标记的打标)等中的至少任一个。另外,关于通过药剂荧光强调的病变部(例如,缺氧部分),有时随着时间的经过而强调变弱并且难以视觉辨认,因此在这种情况下,能够通过周边标志等的估计来掌握。
另外,检测对象检测部21优选为利用包含检测对象的培训用图像数据进行了机器学习的学习完毕模型。机器学习中包含监督学习、半监督学习、无监督学习、强化学习、深度强化学习、使用了神经网络的学习及深度学习等。并且,当通过检测对象检测处理检测到时,检测到的检测对象的信息存储于检测用存储器26。
当通过检测对象检测部21检测到检测对象时,标志处理部22通过对内窥镜图像进行标志检测处理,检测标志并获取标志的位置信息。标志中可举出血管、腺管结构等各种结构物等。如图6所示,当在检测到检测对象之一的出血部位BS的内窥镜图像中通过标志检测处理检测到多个标志LM时,显示控制部23将作为标志LM的位置信息的多个标志位置显示用圆圈32显示于显示器18。在该情况下,优选使得能够区分彼此的标志位置显示用圆圈32。例如,对各标志位置显示用圆圈32标注有用于区分的编号NB(区分用编号)。另外,为了排除从出血部位流出的淤血等降低检测对象的视觉辨认度的主要因素,标志LM优选从离检测对象分开的位置进行检测,而不是在出血区域等检测对象的附近进行检测。
并且,当通过标志检测处理检测到标志时,进行将标志的位置信息与检测对象的实际位置信息建立关联的标志设定处理。如图6所示,在标志设定处理中,作为将标志LM的位置信息与检测对象的实际位置信息建立关联的方法,用连接线34连结检测位置显示用圆圈30与标志位置显示用圆圈32。在该情况下,优选将标志LM中的在检测对象的周围检测到的标志LM的位置信息与检测对象的实际位置信息建立关联。即,在图6的情况下,位于检测位置显示用圆圈30周围的区分用编号为“1”、“2”、“3”、“4”、“5”的标志位置显示用圆圈32需要用连接线34至少与检测位置显示用圆圈30连结。并且,不同的标志位置显示用圆圈32之间也优选用连接线34来连结。另外,通过标志设定处理而建立关联的标志LM的位置信息及与检测对象的实际位置信息相关的信息存储于检测用存储器26。
另外,标志处理部22中的用于进行标志检测处理的处理部优选为利用包含标志的培训用图像数据进行机器学习的标志检测用学习完毕模型。并且,当标志处理部22能够计算与标志的检测相关的可靠度时,优选根据可靠度使标志的位置信息的显示方式(颜色或线的样式等)发生变化。例如,如图7所示,当区分用编号为“1”的标志LM的可靠度低于其他标志LM的可靠度时,优选使区分用编号为“1”的标志LM的标志位置显示用圆圈32的显示方式(在图7中为点线)与其他标志LM的标志位置显示用圆圈32的显示方式(在图7等中为实线)不同。
显示控制部23进行检测到检测对象时将检测对象的实际位置信息显示于显示器18的实际位置用显示控制处理或未检测到检测对象时将标志的位置信息显示于显示器18的标志用显示控制处理中的任一个。如图8所示,通过实际位置用显示控制处理,在显示器18的内窥镜图像中,作为检测对象的实际位置信息显示检测位置显示用圆圈30,且作为标志LM的位置信息显示标志位置显示用圆圈32。在实际位置用显示控制处理中,优选将连接线34也一同显示于显示器18。另外,在图8中,通过实际位置用显示控制处理,一并显示标志的位置信息,但也可以不显示标志的位置信息。
然后,当因从出血部位大量流出血液(血污BP)的情况等而检测对象的显示从内窥镜图像消失时,通过检测对象检测部21无法检测检测对象。如此,即使在检测对象的显示消失的情况下,当在内窥镜图像中残留标志时,通过标志处理部22维持标志的检测。在该情况下,通过进行标志用显示控制处理,尽管检测位置显示用圆圈30不显示,作为标志的位置信息,标志位置显示用圆圈32仍显示于显示器18。在标志用显示控制处理中,优选将连接线34也一同显示于显示器18。
并且,显示控制部23可以进行检测到检测对象时将检测对象的实际位置信息以实际位置用显示方式显示于显示器18的实际位置用显示控制处理或未检测到检测对象时将检测对象的估计位置信息以与实际位置用显示方式不同的估计位置用显示方式显示于显示器18的估计位置用显示控制处理中的任一个。如此,通过使实际位置用显示方式与估计位置用显示方式不同,用户能够判断实际位置或估计位置,且能够识别出显示有实际位置的对象是估计对象。另一方面,当未显示实际位置而仅显示估计位置时,用户无暇识别估计出的对象是否为检测对象。在该情况下,当估计出的对象为与用户希望检测的检测对象不同的对象时,成为将估计出的对象误识别为检测对象。另外,通过估计位置信息计算部24进行检测对象的估计位置信息的计算。
当未检测到检测对象时,估计位置信息计算部24通过基于内窥镜图像的位置信息估计处理,计算检测对象的估计位置信息。如图9所示,当因血污BP的流出等而检测对象的显示消失时,估计位置信息计算部24通过进行位置信息估计处理,计算检测对象的估计位置信息。然后,显示控制部23通过进行估计位置用显示控制处理,作为检测对象的估计位置信息,将估计位置显示用圆圈36显示于估计为检测对象所处的部分。由此,当检测对象为出血部位BS时,能够缩短止血所花费的时间。
为了抑制误检测,位置信息估计处理优选根据包含检测对象的检测对象区域内,计算估计位置信息。具体而言,确定血污BP作为检测对象区域,并根据血污BP的区域内,计算估计位置信息。血污BP的确定中优选使用内窥镜图像的特征量(相当于血污BP的颜色特征量等)。
位置信息估计处理优选根据标志位置显示用圆圈32之间的位置关系例如由连接线34形成的环形状等,计算检测对象的估计位置信息。并且,在位置信息估计处理中,优选根据在不同的时刻获得的内窥镜图像之间的像素值的差分,计算检测对象的估计位置信息。并且,位置信息估计处理优选根据内窥镜图像及检测对象附近的血流的光流,计算检测对象的估计位置信息。并且,位置信息估计处理优选根据内窥镜图像中的血液的浓淡,计算检测对象的估计位置信息。并且,位置信息估计处理优选根据从内窥镜图像计算的氧饱和度,计算检测对象的估计位置信息。并且,位置信息估计处理优选使用利用用于获得检测对象的估计位置信息的培训用图像数据进行机器学习的标志检测用学习完毕模型,计算检测对象的估计位置信息。
为了容易区分检测对象的实际位置与估计出的位置,优选将检测对象的实际位置信息显示于显示器18的实际位置用显示方式与将检测对象的估计位置信息显示于显示器18的估计位置用显示方式不同。由此,用户能够识别出检测对象的估计位置信息是估计出的,因此能够掌握存在错误的可能性。
具体而言,当为了显示检测对象的实际位置信息及估计位置信息而使用位置显示用颜色信息时,优选实际位置用显示方式的位置显示用颜色信息与估计位置用显示方式的位置显示用颜色信息不同。例如,如图10所示,通过将实际位置用显示方式的位置显示用颜色信息设为“蓝色”,将估计位置用显示方式的位置显示用颜色信息设为“绿色”,用户容易区分实际位置信息与估计位置信息。
并且,当为了显示检测对象的实际位置信息及估计位置信息而使用位置显示用图形时,优选实际位置用显示方式的位置显示用图形与估计位置用显示方式的位置显示用图形不同。具体而言,当位置显示用图形为圆或椭圆时,优选实际位置用线种与估计位置线种不同。例如,在图9中,检测位置显示用圆圈30以实际位置用线种为单重的圆来表示,相对于此,估计位置显示用圆圈36以估计位置用线种为双重的圆来表示。
并且,当位置显示用图形为圆或椭圆时,优选实际位置用线粗细度与估计位置用线粗细度不同。例如,优选将检测位置显示用圆圈30以实际位置用线粗细度为细线的圆来表示,将估计位置显示用圆圈36以估计位置用线粗细度为粗线的圆来表示。并且,当位置显示用图形为圆或椭圆时,优选实际位置用大小与估计位置用大小不同。例如,优选将检测位置显示用圆圈30以实际位置用大小为小径的圆来表示,将估计位置显示用圆圈36以估计位置用大小为大径的圆来表示。
并且,优选使实际位置用显示方式的位置显示用图形与估计位置用显示方式的位置显示用图形彼此为不同形状。例如,优选将实际位置用显示方式的位置显示用图形设为圆或椭圆,将估计位置用显示方式的位置显示用图形设为多边形(矩形等)。另一方面,优选将实际位置用显示方式的位置显示用图形设为多边形(矩形),将估计位置用显示方式的位置显示用图形设为圆或椭圆。
并且,当显示器18具有显示内窥镜图像的主画面18a及设置于与主画面18a不同的位置上的子画面18b时,如图11(A)所示,作为实际位置用显示方式,可以将检测对象的实际位置信息即检测位置显示用圆圈30显示于主画面18a,另一方面,如图11(B)所示,作为估计位置用显示方式,可以将检测对象的估计位置信息即估计位置显示用圆圈36显示子画面18b。在子画面18b中,对与主画面18a相同的实时内窥镜图像重叠显示估计位置显示用圆圈36。另外,在图11中,在实际位置用显示方式中,在主画面18显示有标志位置显示用圆圈32,但也可以不显示。并且,在估计位置用显示方式中,在主画面18a及子画面18b这两者显示有标志位置显示用圆圈32,但其中至少任一者可以设为不显示。
并且,当显示器18具有显示内窥镜图像的主画面18a及设置于与主画面18a不同的位置上的子画面18b时,如图12所示,可以通过估计位置用显示控制处理,将检测对象的估计位置信息即估计位置显示用圆圈36以估计位置用显示方式显示于主画面18a,将检测对象的实际位置信息即检测位置显示用圆圈30以实际位置用显示方式显示于子画面18b。在该情况下,优选在子画面18b中,对在检测到检测对象的时刻获得的内窥镜图像的静态图像重叠显示检测位置显示用圆圈30。另外,在图12中,在主画面18a及子画面18b这两者显示有标志位置显示用圆圈32,但其中至少任一者可以设为不显示。
另外,当在子画面18b显示内窥镜图像的静态图像时,根据内窥镜的前端部12d的位置,有时主画面18a上的实时内窥镜图像中的上下左右方向的位置与子画面18b上的内窥镜图像的静态图像中的上下左右方向的位置不同。例如,如图13(A)所示,有时主画面18a的实时内窥镜图像与子画面18b的内窥镜图像的静态图像上下颠倒。在该情况下,设置于扩展处理器装置1 7的旋转状态检测部(未图示)根据主画面18a的实时内窥镜图像检测旋转状态。而且,如图13(B)所示,设置于扩展处理器装置17的图像旋转部(未图示)根据检测到的旋转状态,旋转子画面18b的内窥镜图像的静态图像,以使上下方向与主画面18a的实时内窥镜图像一致。
在估计位置用显示控制处理中,优选根据估计位置信息的可靠度,使估计位置用显示方式发生变化。在该情况下,估计位置信息计算部24根据估计位置信息的计算,计算估计位置信息的可靠度。例如,优选根据机器学习完毕模型,计算估计位置信息的确信度作为估计位置信息的确信度。用户能够根据估计位置信息的可靠度,选择对观察对象的操作。例如,当可靠度高时,对出血部位BS进行止血处理,另一方面,当可靠度低时,不进行止血处理,以免对错误的部位进行止血。
具体而言,如图14所示,在用位置显示用颜色信息来表示估计位置信息的情况下,当估计位置信息的可靠度为规定值以上的高可靠时,使位置显示用颜色信息的浓度变浓,当估计位置信息的可靠度小于规定值的低可靠时,使位置显示用颜色信息的浓度变浅。并且,在用位置显示用图形来表示估计位置信息的情况下,当为高可靠度时,使位置显示用图形的大小变小,当为低可靠时,位置显示用图形的大小变大。这在高可靠度的情况下,能够限定存在检测对象的范围,因此能够缩小位置显示用图形的大小。相对于此,在低可靠度的情况下,使得尽可能显示有可能存在检测对象的范围,因此位置显示用图形的大小变大。
并且,当为高可靠时,使位置显示用图形的线粗细度变粗,当为低可靠度时,使位置显示用图形的线粗细度变细。并且,在高可靠度时,将位置显示用图形的线种设为实线,当为低可靠度时,将位置显示用图形的线种设为点线。如上所述,通过根据可靠度使估计位置显示方式发生变化,能够直观地掌握估计位置信息的可靠度。
检测对象检测处理的开始时刻或结束时刻及位置信息估计处理的开始时刻或结束时刻优选由处理时刻设定部27设定(参考图4)。如此,通过设定开始时刻及结束时刻而并不经常进行检测对象检测处理或位置信息估计处理,能够抑制误检测。并且,当判断为不需要检测对象检测处理或位置信息估计处理时,将检测对象的实际位置信息及估计位置信息设为不显示,由此能够容易看见除出血点等检测对象以外的部分。
具体而言,如图15所示,检测对象检测处理的开始时刻优选为在内窥镜图像中检测到从内窥镜12的前端部向观察对象射出的送水的时刻(送水检测时)、在内窥镜图像中检测到通过处置器具等对观察对象的一部分实施的切开的时刻(切开检测时)或在内窥镜图像中检测到从内窥镜12的前端部突出的处置器具的时刻(处置器具使用检测时)等。
并且,检测对象检测处理的结束时刻除了无法进行检测对象的检测的时刻(检测对象检测处理失败时)以外,优选为从无法进行检测对象的检测的时刻起经过规定时间之后的时刻(失败后经过规定时间之后)等。并且,位置信息估计处理的开始时刻有检测对象检测处理失败后等。并且,位置信息估计处理的结束时刻优选设为通过位置信息估计处理无法计算出估计位置信息的时刻(位置信息估计处理失败时)。例如,位置信息估计处理失败时有无法获取计算估计位置信息所需的标志等信息时。
另外,如图16所示,优选在跟踪模式下,根据基于第2照明光的第2内窥镜图像进行检测对象及标志的检测,在进行标志设定处理的基础上,从第2照明光切换为第1照明光,对基于第1照明光的第1内窥镜图像显示检测对象的估计位置信息及标志的位置信息。由此,当从第2照明光切换为第1照明光时,不会遗漏检测对象的位置或区域。另外,第2照明光优选为适合检测检测对象及标志的光例如包含能够强调显示结构物的紫色光的特殊光。另一方面,第1照明光优选为适合显示检测对象的估计位置信息及标志的位置信息的光例如白色光。
接着,按照图17的流程图对跟踪模式的一连串的流程进行说明。操作模式切换开关12f而将跟踪模式设为“打开”。然后,当满足由处理时刻设定部27设定的检测对象检测处理的开始时刻时,对内窥镜图像进行检测对象检测处理。在检测对象检测处理中,当检测到包含出血部位BS的检测对象时,获取检测对象的实际位置信息。检测对象的实际位置信息以实际位置用显示方式显示于显示器18。另外,当检测到检测对象时,也可以将标志的位置信息一并显示于显示器18。
另一方面,当未检测到检测对象时,进行检测对象的估计位置信息的计算。估计位置信息的计算优选根据标志的位置信息来进行。当进行了估计位置信息的计算时,将检测对象的估计位置信息以估计位置用显示方式显示于显示器18。估计位置用显示方式与实际位置用显示方式不同。例如,检测对象的实际位置信息以单重的圆来表示,相对于此,检测对象的估计位置信息以双重的圆来表示,由此容易区分实际位置信息与估计位置信息。只要跟踪模式为“打开”,则重复进行以上一连串的处理。然后,当操作模式切换开关12f而跟踪模式成为“关闭”时,结束检测对象的检测等。
手动进行内窥镜12的操作,因此即使在内窥镜图像内持续捕捉到检测对象的估计位置,内窥镜图像所投影的范围仍发生变化,当包围检测对象的估计位置的标志LM不落在内窥镜图像内时,有时器官发生变形而标志与检测对象的关系性发生变化。如图18所示,也可以在内窥镜12拍摄下一帧时,在与位置信息估计处理中所使用的标志LM不同的位置上检测新标志LM2,更新位置信息估计处理中所使用的标志LM,并在出血区域BP上继续显示估计位置显示用指示器36。
当更新位置信息估计处理中所使用的标志LM时,将更新前设为标志LM,将更新后设为新标志LM2。图18(A)中,通过基于标志LM的位置信息估计处理,显示估计位置显示用指示器36。当获取了新的帧时,如图18(B)所示,根据前后的帧摄影的移动方向,检测包围检测对象的估计位置的新标志LM2,并显示新标志位置显示用指示器38。并且,进行新标志LM2与检测对象估计位置信息建立关联的新标志设定处理,并计算新相对关系。新相对关系以新连接线39来显示。新连接线39优选使用与连接线34相比不显眼且不会混淆的点线等。另外,用于区分各标志位置显示用指示器32的编号NB(区分用编号)也能够赋予于新标志位置显示用指示器38,但当视觉辨认度变差时,无需赋予。并且,新标志位置显示用指示器38也可以是与标志位置显示用指示器32相同或不同的形状。
在新标志设定处理之后,当内窥镜12获取新的帧的内窥镜图像,且未识别出位置信息估计处理所需的标志LM时,如图18(C)所示,进行基于新相对关系的新位置信息估计处理,计算检测对象估计位置信息,并将估计位置显示用指示器36显示于显示器18。基于标志LM的位置信息估计处理结束,因此连接线34成为不显示,新连接线39以如连接线34那样的实线来显示。对检测持续的标志LM可以在刚更新位置信息估计处理之后显示标志位置显示用指示器32,但优选在经过规定时间之后设为不显示。
根据基于新标志LM2的位置信息估计处理的状态,内窥镜12所投影的范围也移动,因此继续位置信息估计处理中所使用的标志LM的更新。新标志LM2作为标志LM,新连接线39作为连接线34,新标志LM2通过新标志设定处理更新相对关系,标志LM进行位置信息估计处理。
在上述实施方式中,图像获取部20、检测对象检测部21、标志处理部22、显示控制部23、估计位置信息计算部24、检测用存储器26或处理时刻设定部27等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit:中央处理器)、GPU(Graphical Processing Unit:图形处理器)、FPGA(Field Prog rammable Gate Array:现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)及具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA、CPU与FPGA的组合,或CPU与GPU的组合等)构成。并且,也可以由一个处理器来构成多个处理部。作为由一个处理器来构成多个处理部的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(SystemOn Chip:SoC)等为代表,使用将包括多个处理部的整个系统的功能由一个IC(IntegratedCircuit:集成电路)芯片来实现的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。并且,存储部的硬件结构为HDD(hard disc drive:硬盘驱动器)或SSD(solid state drive:固态硬盘)等存储装置。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12f-模式切换开关,12g-静态图像获取指示开关,12h-变焦操作部,13-光源装置,14-处理器装置,15-显示器,16-用户接口,17-扩展处理器装置,18-显示器,18a-主画面,18b-子画面,20-图像获取部,21-检测对象检测部,22-标志处理部,23-显示控制部,24-估计位置信息计算部,26-检测用存储器,27-处理时刻设定部,30-检测位置显示用圆圈,32-标志位置显示用圆圈,34-连接线,36-估计位置显示用圆圈,38-新标志位置显示用指示器,39-新连接线,BP-血污,L-照明光,L1-第1照明光,L2-第2照明光,BS-出血部位,LM-标志,LM2-新标志。
Claims (14)
1.一种内窥镜系统,其具备处理器,
所述处理器进行如下处理:
获取内窥镜图像;
通过对所述内窥镜图像进行检测对象检测处理,检测检测对象并获取所述检测对象的实际位置信息;
当未检测到所述检测对象时,通过基于所述内窥镜图像的位置信息估计处理,计算所述检测对象的估计位置信息;及
进行检测到所述检测对象时将所述检测对象的实际位置信息以实际位置用显示方式显示于显示器的实际位置用显示控制处理或未检测到所述检测对象时将所述检测对象的估计位置信息以与所述实际位置用显示方式不同的估计位置用显示方式显示于所述显示器的估计位置用显示控制处理中的任一个。
2.根据权利要求1所述的内窥镜系统,其中,
当为了显示所述检测对象的所述实际位置信息及所述估计位置信息而使用位置显示用颜色信息时,所述实际位置用显示方式的所述位置显示用颜色信息与所述估计位置用显示方式的所述位置显示用颜色信息不同,或
当为了显示所述检测对象的所述实际位置信息及所述估计位置信息而使用位置显示用图形时,所述实际位置用显示方式的所述位置显示用图形与所述估计位置用显示方式的所述位置显示用图形不同。
3.根据权利要求2所述的内窥镜系统,其中,
当所述位置显示用图形为圆或椭圆时,是实际位置用线种与估计位置用线种不同、实际位置用线粗细度与估计位置用线粗细度不同及实际位置用大小与估计位置用大小不同中的至少任一个。
4.根据权利要求2或3所述的内窥镜系统,其中,
所述实际位置用显示方式的所述位置显示用图形与所述估计位置用显示方式的所述位置显示用图形的形状彼此为不同形状。
5.根据权利要求1至3中任一项所述的内窥镜系统,其中,
当所述显示器具有显示所述内窥镜图像的主画面及设置于与所述主画面不同的位置上的子画面时,作为所述估计位置用显示方式,利用所述子画面来显示所述检测对象的估计位置信息。
6.根据权利要求1至3中任一项所述的内窥镜系统,其中,
当所述显示器具有显示所述内窥镜图像的主画面及设置于与所述主画面不同的位置上的子画面时,通过所述估计位置用显示控制处理,将所述检测对象的所述估计位置信息以所述估计位置用显示方式显示于所述主画面,将所述检测对象的所述实际位置信息以所述实际位置用显示方式显示于所述子画面。
7.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述估计位置用显示控制处理根据所述估计位置信息的可靠度,使所述估计位置用显示方式发生变化。
8.根据权利要求1至7中任一项所述的内窥镜系统,其中,
所述位置信息估计处理根据包含所述检测对象的检测对象区域内,计算所述估计位置信息。
9.根据权利要求1至8中任一项所述的内窥镜系统,其中,
所述处理器进行如下处理:
设定所述检测对象检测处理的开始时刻或结束时刻及所述位置信息估计处理的开始时刻或结束时刻中的至少任一个。
10.根据权利要求1至9中任一项所述的内窥镜系统,其中,
所述检测对象为出血部位、病变部、特定器官的形状、粘膜图案、烧灼后的打标及对体内赋予的打标中的至少任一个。
11.一种内窥镜系统,其具备处理器,
所述处理器进行如下处理:
获取内窥镜图像;
通过对所述内窥镜图像进行第1检测处理,获取检测对象的检测对象实际位置信息;
通过对所述内窥镜图像进行第2检测处理,获取标志的位置信息;
在每次所述内窥镜图像得到更新而获取所述检测对象实际位置信息或从基于所述标志的位置信息的位置信息估计处理获得的检测对象估计位置信息时,进行将所述检测对象估计位置信息或所述检测对象估计位置信息中的任一个与所述标志的位置信息建立关联而设定相对关系的标志设定处理;及
将所述检测对象实际位置信息或所述检测对象估计位置信息显示于显示器。
12.根据权利要求11所述的内窥镜系统,其中,
在所述位置信息估计处理持续的状态下获取新的帧的所述内窥镜图像而检测到新标志的情况下,作为所述标志设定处理,进行将所述检测对象的估计位置信息与所述新标志建立关联而设定新相对关系的新标志设定处理;
在所述新标志设定处理之后,当未识别出所述位置信息估计处理所需的标志时,进行基于所述新相对关系的位置信息估计处理,并计算新检测对象的估计位置信息;及
在所述显示器中显示所述新检测对象的估计位置信息。
13.根据权利要求12所述的内窥镜系统,其中,
所述新标志为粘膜图案、器官的形状及基于用户操作的打标中的至少任一个的位置信息。
14.一种内窥镜系统的工作方法,其包括由处理器进行如下处理的步骤:
获取内窥镜图像;
通过对所述内窥镜图像进行检测对象检测处理,检测检测对象并获取所述检测对象的实际位置信息;
当未检测到所述检测对象时,通过基于所述内窥镜图像的位置信息估计处理,计算所述检测对象的估计位置信息;及
进行检测到所述检测对象时将所述检测对象的实际位置信息以实际位置用显示方式显示于显示器的实际位置用显示控制处理或未检测到所述检测对象时将所述检测对象的估计位置信息以与所述实际位置用显示方式不同的估计位置用显示方式显示于所述显示器的估计位置用显示控制处理中的任一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021037557 | 2021-03-09 | ||
JP2021-037557 | 2021-03-09 | ||
PCT/JP2022/009715 WO2022191129A1 (ja) | 2021-03-09 | 2022-03-07 | 内視鏡システム及びその作動方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116963656A true CN116963656A (zh) | 2023-10-27 |
Family
ID=83226687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280020353.0A Pending CN116963656A (zh) | 2021-03-09 | 2022-03-07 | 内窥镜系统及其工作方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230419535A1 (zh) |
EP (1) | EP4306032A1 (zh) |
JP (1) | JPWO2022191129A1 (zh) |
CN (1) | CN116963656A (zh) |
WO (1) | WO2022191129A1 (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036371A (ja) | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
EP3603510B1 (en) | 2012-07-25 | 2023-03-08 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
US9295372B2 (en) * | 2013-09-18 | 2016-03-29 | Cerner Innovation, Inc. | Marking and tracking an area of interest during endoscopy |
WO2018216188A1 (ja) * | 2017-05-26 | 2018-11-29 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
WO2019106712A1 (ja) * | 2017-11-28 | 2019-06-06 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
WO2019146066A1 (ja) * | 2018-01-26 | 2019-08-01 | オリンパス株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム |
JP2021112220A (ja) | 2018-04-17 | 2021-08-05 | ソニーグループ株式会社 | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
CN112040830A (zh) * | 2018-06-19 | 2020-12-04 | 奥林巴斯株式会社 | 内窥镜图像处理装置和内窥镜图像处理方法 |
JP6936401B2 (ja) * | 2018-08-20 | 2021-09-15 | 富士フイルム株式会社 | 医療画像処理システム |
EP3851025A4 (en) * | 2018-09-11 | 2021-10-13 | NEC Corporation | INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM |
US20220148182A1 (en) * | 2019-03-12 | 2022-05-12 | Nec Corporation | Inspection device, inspection method and storage medium |
-
2022
- 2022-03-07 WO PCT/JP2022/009715 patent/WO2022191129A1/ja active Application Filing
- 2022-03-07 CN CN202280020353.0A patent/CN116963656A/zh active Pending
- 2022-03-07 JP JP2023505543A patent/JPWO2022191129A1/ja active Pending
- 2022-03-07 EP EP22767085.8A patent/EP4306032A1/en active Pending
-
2023
- 2023-09-08 US US18/463,897 patent/US20230419535A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230419535A1 (en) | 2023-12-28 |
JPWO2022191129A1 (zh) | 2022-09-15 |
WO2022191129A1 (ja) | 2022-09-15 |
EP4306032A1 (en) | 2024-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110325100B (zh) | 内窥镜系统及其操作方法 | |
US11426054B2 (en) | Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus | |
US20130002844A1 (en) | Endoscope apparatus | |
JP7190597B2 (ja) | 内視鏡システム | |
JPWO2019012911A1 (ja) | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 | |
JP7315576B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム | |
US11867896B2 (en) | Endoscope system and medical image processing system | |
CN112312822A (zh) | 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序 | |
JP6796725B2 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
JP2022071617A (ja) | 内視鏡システム及び内視鏡装置 | |
CN116963656A (zh) | 内窥镜系统及其工作方法 | |
WO2022190740A1 (ja) | 内視鏡システム及びその作動方法 | |
EP4248832A1 (en) | Processor device, operation method for processor device, program for processor device, and endoscope system | |
WO2022191128A1 (ja) | 内視鏡システム及びその作動方法 | |
JP7260060B2 (ja) | 情報処理装置、表示方法、及びプログラム | |
JP6850358B2 (ja) | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 | |
US11978209B2 (en) | Endoscope system, medical image processing device, and operation method therefor | |
CN107569285B (zh) | 一种红外探测输尿管位置的内窥镜系统及方法 | |
US20230240511A1 (en) | Endoscope system and endoscope system operation method | |
EP4111938A1 (en) | Endoscope system, medical image processing device, and operation method therefor | |
WO2023112499A1 (ja) | 内視鏡画像観察支援装置及び内視鏡システム | |
US20240090741A1 (en) | Endoscopic examination support apparatus, endoscopic examination support method, and recording medium | |
JP2023007331A (ja) | 内視鏡システム、医療画像処理装置及びその作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |