CN114298980A - 一种图像处理方法、装置及设备 - Google Patents
一种图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN114298980A CN114298980A CN202111501127.8A CN202111501127A CN114298980A CN 114298980 A CN114298980 A CN 114298980A CN 202111501127 A CN202111501127 A CN 202111501127A CN 114298980 A CN114298980 A CN 114298980A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- boundary
- pixel point
- cut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 145
- 230000003902 lesion Effects 0.000 claims abstract description 128
- 238000011161 development Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000036285 pathological change Effects 0.000 claims abstract description 52
- 231100000915 pathological change Toxicity 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 230000018109 developmental process Effects 0.000 claims description 120
- 230000011218 segmentation Effects 0.000 claims description 74
- 238000005520 cutting process Methods 0.000 claims description 63
- 210000000056 organ Anatomy 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 24
- 230000001575 pathological effect Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000012800 visualization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 206010047571 Visual impairment Diseases 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000025366 tissue development Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置及设备，该方法包括：获取目标对象内部指定位置对应的可见光图像和荧光图像；其中，所述目标对象内部指定位置包括病变组织和正常组织；从待检测图像中确定所述病变组织对应的待切割边界；其中，所述待检测图像为所述荧光图像，或，所述可见光图像与所述荧光图像的融合图像；生成目标图像，所述目标图像包括所述可见光图像和所述待切割边界。通过本申请的技术方案，将待切割边界叠加到可见光图像上进行显示，改善可见光图像被荧光显影遮挡的问题，能够清晰显示目标对象内部指定位置的正常组织和病变组织。
Description
技术领域
本申请涉及医疗技术领域，尤其涉及一种图像处理方法、装置及设备。
背景技术
内窥镜(Endoscopes)是一种常用的医疗器械，由导光束结构及一组镜头组成，在内窥镜进入目标对象内部后，可以使用内窥镜采集目标对象内部指定位置的可见光图像和荧光图像，基于可见光图像和荧光图像生成融合图像。融合图像能够清晰显示目标对象内部指定位置的正常组织和病变组织，即基于融合图像能够区分目标对象内部指定位置的正常组织和病变组织，从而基于融合图像对目标对象进行检查及治疗，能够准确决定哪些组织需要被切除。
在基于可见光图像和荧光图像生成融合图像时，是将荧光图像叠加到可见光图像上进行显示，从而导致可见光图像的部分区域被遮挡，造成一定的视觉障碍，继而导致融合图像的效果较差，无法清晰显示目标对象内部指定位置的正常组织和病变组织，影响医生手术的质量和效率，使用感受较差。
比如说，将荧光图像的显影区域叠加到可见光图像上进行显示时，会导致可见光图像上与该显影区域对应的位置被遮挡，造成一定的视觉障碍。
发明内容
本申请提供一种图像处理方法，所述方法包括：
获取目标对象内部指定位置对应的可见光图像和荧光图像；其中，所述目标对象内部指定位置包括病变组织和正常组织；
从待检测图像中确定所述病变组织对应的待切割边界；其中，所述待检测图像为所述荧光图像，或，所述可见光图像与所述荧光图像的融合图像；
生成目标图像，所述目标图像包括所述可见光图像和所述待切割边界。
本申请提供一种图像处理装置，所述装置包括：
获取模块，用于获取目标对象内部指定位置对应的可见光图像和荧光图像；其中，所述目标对象内部指定位置包括病变组织和正常组织；
确定模块，用于从待检测图像中确定所述病变组织对应的待切割边界；其中，所述待检测图像为所述荧光图像，或者，所述待检测图像为所述可见光图像与所述荧光图像的融合图像；
生成模块，用于生成目标图像，所述目标图像包括所述可见光图像和所述待切割边界。
本申请提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的图像处理方法。
由以上技术方案可见，本申请实施例中，可以确定出病变组织对应的待切割边界(即病灶区域的边界)，并基于可见光图像和待切割边界生成目标图像，即将该待切割边界叠加到可见光图像上进行显示，由于将待切割边界叠加到可见光图像上进行显示，而不是将荧光图像叠加到可见光图像上进行显示，避免可见光图像的大部分区域被遮挡的问题，改善可见光图像被荧光显影遮挡的问题，避免或减轻视觉障碍，目标图像的效果较好，能够清晰显示目标对象内部指定位置的正常组织和病变组织，提高医生手术的质量和效率，使用感受较好。由于目标图像存在待切割边界，使得医生可以获知病变组织对应的待切割边界，可以根据待切割边界进行切割，提高医生手术的质量和效率。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的内窥镜系统的结构示意图；
图2是本申请一种实施方式中的内窥镜系统的功能结构示意图；
图3A是本申请一种实施方式中的可见光图像的示意图；
图3B是本申请一种实施方式中的荧光图像的示意图；
图3C是本申请一种实施方式中的融合图像的示意图；
图4是本申请一种实施方式中的图像处理方法的流程示意图；
图5A是本申请一种实施方式中的基于目标分割模型的训练和测试示意图；
图5B是本申请一种实施方式中的分割模型的网络结构示意图；
图5C是本申请一种实施方式中的样本图像和标定掩模图的示意图；
图5D是本申请一种实施方式中的目标图像的示意图；
图6A是本申请一种实施方式中的内窥镜系统的结构示意图；
图6B是本申请一种实施方式中的区域轮廓检测的示意图；
图6C是本申请一种实施方式中的采用区域分割进行轮廓检测的示意图；
图7是本申请一种实施方式中的图像处理装置的结构示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1所示，为内窥镜系统的结构示意图，该内窥镜系统可以包括：内窥镜、光源、摄像系统主机、显示装置和存储装置，显示装置和存储装置为外置设备。当然，图1只是内窥镜系统的一个示例，对此结构不做限制。
示例性的，内窥镜可以插入到目标对象(例如，患者等被检体)内部指定位置(即待检查位置，也就是患者内部需要检查的区域，对此指定位置不做限制)，采集目标对象内部指定位置的图像，并将目标对象内部指定位置的图像输出到显示装置和存储装置。使用者(例如，医护人员等)通过观察显示装置显示的图像，来检查目标对象内部指定位置的出血部位、肿瘤部位和异常部位等。使用者通过访问存储装置中存储的图像，进行术后回顾和手术培训等。
内窥镜可以采集目标对象内部指定位置的图像，并将图像输入给摄像系统主机。光源可以为内窥镜提供光源，即从内窥镜的前端射出照明光，使得内窥镜可以采集目标对象内部的比较清晰的图像。摄像系统主机在接收到图像之后，可以将图像输入给存储装置，由存储装置存储图像，在后续过程中，使用者可以访问存储装置中的图像，或者，访问存储装置中的视频(由大量图像组成的视频)。摄像系统主机在接收到图像之后，还可以将图像输入给显示装置，由显示装置显示图像，使用者可以实时观察由显示装置显示的图像。
参见图2所示，为内窥镜系统的功能结构示意图，内窥镜可以包括摄像光学系统、成像单元、处理单元和操作单元。摄像光学系统用于对来自观察部位的光进行聚光，摄像光学系统由一个或多个透镜构成。成像单元用于对各像素点接收到的光进行光电转换以生成图像数据，成像单元由CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)或CCD(Charge Coupled Device，电荷耦合器件)等传感器组成。处理单元用于将图像数据转换成数字信号，将转换后的数字信号(如各像素点的像素值)发送到摄像系统主机。操作单元可以包括但不限于开关、按钮和触摸面板等，用于受理内窥镜的切换动作的指示信号、光源的切换动作的指示信号等，将指示信号输出到摄像系统主机。
光源可以包括照明控制单元和照明单元，照明控制单元用于接收摄像系统主机的指示信号，基于该指示信号控制照明单元向内窥镜提供照明光。
摄像系统主机用于对从内窥镜接收到的图像数据进行处理并传输给显示装置和存储装置，显示装置和存储装置为摄像系统主机的外置设备。
摄像系统主机可以包括图像输入单元、图像处理单元、智能处理单元、视频编码单元、控制单元和操作单元。其中，图像输入单元用于接收内窥镜发送的信号，并将接受到的信号传输给图像处理单元。图像处理单元用于对图像输入单元输入的图像进行ISP(mageSignal Processing，图像信号处理)操作，包括但不限于亮度变换、锐化、荧光染色、缩放等，图像处理单元处理后的图像传输给智能处理单元、视频编码单元或显示装置。智能处理单元对图像进行智能分析，包括但不限于基于深度学习的场景分类、器械器械头检测、纱布检测和浓雾分类，智能处理单元处理后的图像传输给图像处理单元或视频编码单元，图像处理单元对智能处理单元处理后的图像的处理方式包括但不限于亮度变换、叠框和缩放。视频编码单元用于对图像进行编码压缩，并传输给存储装置。控制单元用于控制内窥镜的各个模块，包括但不限于光源的照明方式、图像处理方式、智能处理方式和视频编码方式等。输入单元可以包括但不限于开关、按钮和触摸面板，用于受理外部指示信号，将受理的指示信号输出到控制单元。
在实际使用过程中发现，可见光图像对于病变组织(如癌变组织等)的区分度不够，往往需要医生经验来进行病变组织的判断与切除，容易造成正常组织切除过多或病变组织未切除干净等问题。为了区分正常组织与病变组织，在一种可能的实施方式中，可以将白光内窥镜和荧光内窥镜插入到目标对象内部指定位置，白光内窥镜采集目标对象内部指定位置的图像，且荧光内窥镜也采集目标对象内部指定位置的图像，为了区分方便，将白光内窥镜采集的图像称为可见光图像(也称为白光图像)，将荧光内窥镜采集的图像称为荧光图像。
其中，目标对象内部指定位置注射荧光显影剂时，如ICG(Indocyanine Green，吲哚青绿)等，荧光显影剂在病变组织的吸收较多，当激发光照射到病变组织时，荧光显影剂会产生荧光，使得荧光内窥镜可以采集到荧光图像，基于荧光图像就可以区分正常组织与病变组织，帮助医护人员准确区分病变组织。
其中，可见光图像可以是基于可见光产生的图像，参见图3A所示，是目标对象内部指定位置的可见光图像的示意图，荧光图像可以是基于荧光产生的图像，参见图3B所示，是目标对象内部指定位置的荧光图像的示意图。
综上可以看出，在内窥镜系统的实际使用过程中，可以采集目标对象内部指定位置的可见光图像和荧光图像，即摄像系统主机可以得到可见光图像和荧光图像。在得到可见光图像和荧光图像之后，可以基于可见光图像和荧光图像生成融合图像，融合图像能够清晰显示目标对象内部指定位置的正常组织和病变组织，基于融合图像能够区分目标对象内部指定位置的正常组织和病变组织。
在采集目标对象内部指定位置的荧光图像时，会存在多种显影模式，不同显影模式下采集的荧光图像的形式不同。比如说，荧光内窥镜在使用过程中分为正显影模式(正显影模式也可以称为正向显影模式)和负显影模式(负显影模式也可以称为负向显影模式)。在正显影模式下，病变组织位置显现荧光，即荧光图像的显影区域对应病变组织。在负显影模式下，病变组织以外位置显现荧光，病变组织位置不显现荧光，即荧光图像的非显影区域对应病变组织。
其中，在正显影模式下，需要采用与正显影模式匹配的荧光显影剂的注射方式，基于荧光显影剂的注射方式，需要保证病变组织显影，正常组织不显影。在负显影模式下，需要采用与负显影模式匹配的荧光显影剂的注射方式，基于荧光显影剂的注射方式，需要保证病变组织不显影，正常组织显影。
参见图3C所示，上侧的荧光图像是正显影模式下的荧光图像，荧光图像的显影区域对应病变组织，荧光图像的非显影区域对应正常组织，通过将可见光图像和荧光图像进行融合，就可以得到融合图像。在融合图像中，病变组织对应区域是显影区域，可以对病变组织对应区域进行染色处理，从而通过将病变组织对应区域染为对应颜色便于医护人员观察病变组织对应区域。
下侧的荧光图像是负显影模式下的荧光图像，荧光图像的显影区域对应正常组织，荧光图像的非显影区域对应病变组织，通过将可见光图像和荧光图像进行融合，就可以得到融合图像。在融合图像中，病变组织对应区域是非显影区域，正常组织对应区域是显影区域，可以对正常组织对应区域进行染色处理，从而通过染色将正常组织对应区域进行染色，进而凸显病变组织。
由于存在多种显影模式，如正显影模式和负显影模式，因此，可以预先配置采用哪种显影模式采集荧光图像。比如说，可以预先配置采用正显影模式采集荧光图像，在正显影模式下采集的荧光图像，可以参见图3C上侧所示的荧光图像。或者，可以预先配置采用负显影模式采集荧光图像，在负显影模式下采集的荧光图像，可以参见图3C下侧所示的荧光图像。
无论采用哪种显影模式采集荧光图像，在基于可见光图像和荧光图像生成融合图像时，均是将荧光图像叠加到可见光图像上进行显示，导致可见光图像的部分区域被遮挡，造成视觉障碍，导致融合图像的效果较差，无法清晰显示目标对象内部指定位置的正常组织和病变组织，影响医生手术的质量和效率。
比如说，参见图3C所示，针对正显影模式下的荧光图像，可以将荧光图像的显影区域叠加到可见光图像上得到融合图像，从而导致可见光图像上与该显影区域对应的位置被遮挡，造成视觉障碍。针对负显影模式下的荧光图像，可以将荧光图像的非显影区域叠加到可见光图像上得到融合图像，从而导致可见光图像上与该非显影区域对应的位置被遮挡，造成视觉障碍。
针对上述发现，本申请实施例提出一种图像处理方法，可以确定出病变组织对应的待切割边界(即病灶区域的边界)，针对病灶区域的待切割边界进行检测，并将病灶区域的待切割边界叠加在可见光图像上进行显示，以改善可见光图像被荧光显影遮挡的问题，避免或减轻视觉障碍，医生可以基于图像获知病灶区域的待切割边界，可以根据病灶区域(正显影模式中的显影区域或负显影模式中的非显影区域)的待切割边界进行切割，提高医生手术的质量和效率。
以下结合具体实施例，对本申请实施例的技术方案进行说明。
本申请实施例中提出一种图像处理方法，该方法可以应用于摄像系统主机，参见图4所示，为该图像处理方法的流程示意图，该方法可以包括：
步骤401、获取目标对象内部指定位置对应的可见光图像和荧光图像，该可见光图像的采集时刻与该荧光图像的采集时刻可以相同。
示例性的，目标对象内部指定位置可以包括病变组织和正常组织，可见光图像可以包括与该病变组织对应的区域和与该正常组织对应的区域，荧光图像可以包括与该病变组织对应的区域和与该正常组织对应的区域。
示例性的，当需要采集目标对象(如患者等被检体)内部指定位置(即待检查位置，如患者内部需要检查的区域)的图像时，可以将内窥镜(如白光内窥镜和荧光内窥镜)插入到目标对象内部指定位置，由白光内窥镜采集目标对象内部指定位置的可见光图像，由荧光内窥镜采集目标对象内部指定位置的荧光图像，且摄像系统主机可以从白光内窥镜和荧光内窥镜得到该可见光图像和该荧光图像。参见图3A所示，是目标对象内部指定位置的可见光图像的示意图，参见图3B所示，是目标对象内部指定位置的荧光图像的示意图。
示例性的，显影模式可以为正显影模式或负显影模式，若显影模式是正显影模式，则获取目标对象内部指定位置对应的荧光图像时，荧光图像是与正显影模式对应的荧光图像，荧光图像的显影区域对应病变组织，荧光图像的非显影区域对应正常组织。若显影模式是负显影模式，则获取目标对象内部指定位置对应的荧光图像时，荧光图像是与负显影模式对应的荧光图像，荧光图像的显影区域对应正常组织，荧光图像的非显影区域对应病变组织。
示例性的，在获取目标对象内部指定位置对应的可见光图像和荧光图像时，由于目标对象内部指定位置可能存在病变组织和正常组织，因此，在通过白光内窥镜采集目标对象内部指定位置的可见光图像时，可见光图像可以包括与正常组织对应的区域，可见光图像可以包括与病变组织对应的区域。在通过荧光内窥镜采集目标对象内部指定位置的荧光图像时，荧光图像可以包括与正常组织对应的区域，荧光图像可以包括与病变组织对应的区域。
综上所述，可以得到目标对象内部指定位置对应的可见光图像和荧光图像，可见光图像可以包括与病变组织对应的区域和与正常组织对应的区域，荧光图像可以包括与病变组织对应的区域和该正常组织对应的区域。
步骤402、从待检测图像中确定病变组织对应的待切割边界；其中，待检测图像为荧光图像，或，待检测图像为可见光图像与荧光图像的融合图像。
在一种可能的实施方式中，可以采用如下步骤确定待切割边界：
步骤4021、从待检测图像中确定病变组织对应的目标区域，该目标区域可以是待检测图像中的区域，且待检测图像中的该目标区域与该病变组织对应。
示例性的，待检测图像可以为荧光图像，在该情况下，从荧光图像中确定病变组织对应的目标区域，该目标区域是荧光图像中与病变组织对应的区域。或者，待检测图像可以为可见光图像与荧光图像的融合图像，在该情况下，基于可见光图像和荧光图像生成融合图像，并从融合图像中确定病变组织对应的目标区域，该目标区域是融合图像中与病变组织对应的区域。
其中，在基于可见光图像和荧光图像生成融合图像时，可以包括但不限于如下方式：对荧光图像进行对比度增强，以加强荧光图像的对比度，得到对比度增强后的荧光图像，对比度增强的方式可以包括但不限于：直方图均值、局部对比度提升等，对此对比度增强方式不做限制。然后，对对比度增强后的荧光图像进行色彩映射，即对荧光图像进行染色处理，得到色彩映射后的荧光图像，在对荧光图像进行染色处理时，荧光图像中的不同荧光亮度可以对应不同的色调和饱和度，对此色彩映射方式不做限制。然后，对色彩映射后的荧光图像和可见光图像进行融合，得到融合图像，即对可见光图像进行染色后的图像。比如说，可以将色彩映射后的荧光图像叠加到可见光图像上进行显示，从而得到该融合图像，以对可见光图像进行染色处理，进而实现图像显影的效果。
当然，上述方式只是生成融合图像的示例，对此生成方式不做限制，参见图3C所示，示出了基于可见光图像和荧光图像生成融合图像的示例。
本实施例中，可以将荧光图像作为待检测图像，从待检测图像中确定病变组织对应的目标区域，或者，基于可见光图像和荧光图像生成融合图像，并将融合图像作为待检测图像，从待检测图像中确定病变组织对应的目标区域。
在一种可能的实施方式中，在得到待检测图像后，可以采用如下步骤，从待检测图像中确定病变组织对应的目标区域，当然，如下步骤只是示例，对此确定方式不做限制，只要能够得到病变组织对应的目标区域即可。
步骤40211、基于待检测图像中每个像素点对应的像素值，从该待检测图像的所有像素点中选取与病变组织对应的目标像素点。
示例性的，针对待检测图像来说，基于待检测图像的特点可知，待检测图像的显影区域(如荧光图像或者融合图像的显影区域)的亮度比较大，待检测图像的非显影区域的亮度比较小，因此，基于荧光图像中每个像素点对应的像素值，就能够选取出与病变组织对应的目标像素点。比如说，在正显影模式下，病变组织对应显影区域，正常组织对应非显影区域，即病变组织对应的亮度值比较大，正常组织对应的亮度值比较小，因此，可以将亮度值大的像素点作为目标像素点。在负显影模式下，病变组织对应非显影区域，正常组织对应显影区域，即病变组织对应的亮度值比较小，正常组织对应的亮度值比较大，因此，可以将亮度值小的像素点作为目标像素点。基于上述原理，为了选取与病变组织对应的目标像素点，本实施例中可以采用如下方式：
方式1、若荧光图像是正显影模式下的荧光图像，即在正显影模式下获取荧光图像，且正显影模式用于指示荧光图像的显影区域对应病变组织，那么，针对待检测图像(即荧光图像或者融合图像)中的每个像素点，若该像素点对应的像素值(如亮度值)大于第一阈值，则确定该像素点是目标像素点，若该像素点对应的像素值不大于第一阈值，则确定该像素点不是目标像素点。
显然，在对待检测图像中的所有像素点进行上述处理后，就可以从待检测图像的所有像素点中选取出目标像素点，目标像素点的数量可以为多个。综上可以看出，目标像素点是待检测图像中像素值大于第一阈值的像素点。
示例性的，可以采用二值化方式确定待检测图像中的目标像素点，二值化是将图像上像素点的像素值设为0或255。比如说，像素值的取值范围是0-255，可以设置适当的二值化阈值，若像素点的像素值大于二值化阈值，则将该像素点的像素值设为255，若像素点的像素值不大于二值化阈值，则将该像素点的像素值设为0，从而得到二值化图像，二值化图像中像素点的像素值为0或255。
基于上述原理，可以预先配置一个阈值作为第一阈值，第一阈值可以根据经验进行配置，对此不做限制，第一阈值能够表示显影区域和非显影区域的边界，能够区分待检测图像中的显影区域和非显影区域。基于此，由于病变组织对应的亮度值比较大，正常组织对应的亮度值比较小，可以将亮度值大的像素点作为目标像素点，因此，针对待检测图像中的每个像素点，若该像素点对应的像素值大于第一阈值，则可以确定该像素点是目标像素点，若该像素点对应的像素值不大于第一阈值，则可以确定该像素点不是目标像素点。
在上述实施例中，针对待检测图像中的每个像素点来说，该像素点对应的像素值可以是该像素点本身的像素值，也可以是该像素点对应的局部像素均值，比如说，得到以该像素点为中心的子块，该子块包括M个像素点，M为正整数，将M个像素点的像素值的平均值作为该像素点对应的局部像素均值。
方式2、若荧光图像是负显影模式下的荧光图像，即在负显影模式下获取荧光图像，负显影模式用于指示荧光图像的非显影区域对应病变组织，那么，针对待检测图像(即荧光图像或融合图像)中的每个像素点，若该像素点对应的像素值(如亮度值)小于第二阈值，则确定该像素点是目标像素点，若该像素点对应的像素值不小于第二阈值，则确定该像素点不是目标像素点。显然，在对待检测图像中的所有像素点进行上述处理后，就可以从待检测图像的所有像素点中选取目标像素点，即待检测图像中像素值小于第二阈值的像素点。
比如说，可以预先配置一个阈值作为第二阈值，第二阈值可以根据经验进行配置，对此不做限制，第二阈值能够表示显影区域和非显影区域的边界，能够区分待检测图像中的显影区域和非显影区域。基于此，由于病变组织对应的亮度值比较小，正常组织对应的亮度值比较大，可以将亮度值小的像素点作为目标像素点，因此，针对待检测图像中的每个像素点，若该像素点对应的像素值小于第二阈值，则可以确定该像素点是目标像素点，若该像素点对应的像素值不小于第二阈值，则可以确定该像素点不是目标像素点。
在上述实施例中，针对待检测图像中的每个像素点来说，该像素点对应的像素值可以是该像素点本身的像素值，也可以是该像素点对应的局部像素均值。
方式3、可以将待检测图像输入给已训练的目标分割模型，以使目标分割模型基于待检测图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值，像素点对应的预测标签值为第一取值或第二取值，第一取值用于表示像素点是与病变组织对应的像素点，第二取值用于表示像素点不是与病变组织对应的像素点。将预测标签值为第一取值的像素点确定为目标像素点。
示例性的，在方式3中，可以采用机器学习算法训练目标分割模型，并通过目标分割模型实现病灶区域(即病变组织对应的目标区域)的分割，即从待检测图像的所有像素点中区分出与病变组织对应的目标像素点。
参见图5A所示，可以涉及训练过程和测试过程。在训练过程中，需要训练出一个分割模型作为目标分割模型。在训练过程中，输入是样本图像和标定信息、损失函数和网络结构，基于上述输入进行网络训练后，输出为目标分割模型。在测试过程中，可以将测试图像(即待检测图像)输入给已训练的目标分割模型，由目标分割模型对待检测图像进行网络推理，得到待检测图像对应的分割结果，即从待检测图像中区分出病变组织对应的目标像素点。
在一种可能的实施方式中，训练过程和测试过程可以包括以下步骤：
步骤S11、获取初始分割模型，该初始分割模型可以是机器学习模型，如深度学习模型或神经网络模型等，对此初始分割模型的类型不做限制。该初始分割模型可以是分类模型，用于给出图像中每个像素点对应的预测标签值，预测标签值为第一取值或第二取值，即初始分割模型对应两种类别，第一取值用于表示像素点与病变组织对应，第二取值用于表示像素点不与病变组织对应，对此初始分割模型的结构不做限制，只要初始分割模型能够实现上述功能即可。
比如说，初始分割模型的网络结构可以参见图5B所示，可以包括输入层(用于接收输入图像)、编码网络、解码网络和输出层(用于输出分割结果)，编码网络由卷积层和下采样层组成，解码网络由卷积层和上采样层组成，对此初始分割模型的网络结构不做限制，如采用unet网络模型作为初始分割模型。
步骤S12、获取样本图像和样本图像对应的标定信息，该标定信息包括样本图像中每个像素点对应的标定标签值。其中，若像素点是与病变组织对应的像素点，则该像素点对应的标定标签值为第一取值(如1等)，以表示像素点与病变组织对应。若像素点不是与病变组织对应的像素点，则该像素点对应的标定标签值为第二取值(如0等)，以表示像素点不与病变组织对应。
其中，可以获取大量样本图像，每个样本图像均是目标对象内部的荧光图像或融合图像，样本图像也可以称为训练图像。针对每个样本图像来说，可以由用户手动标定该样本图像对应的标定信息。比如说，需要对病灶区域(即与病变组织对应的区域)进行打标(即标记出病灶区域的轮廓)，打标后可以输出标定掩模图，该标定掩模图也就是样本图像对应的标定信息。其中，在该标定掩模图中，病灶区域的轮廓的取值均为第一取值，且轮廓内部的取值均为第一取值，表示轮廓以及轮廓内部均是与病变组织对应的像素点。轮廓外部的取值均为第二取值，表示轮廓外部均不是与病变组织对应的像素点。
参见图5C所示，左侧图像可以是样本图像(如荧光图像)，右侧图像可以是样本图像对应的标定掩模图，即该样本图像对应的标定信息，黑色像素点均是与病变组织对应的像素点，白色像素点均不是与病变组织对应的像素点。
综上可以看出，针对每个样本图像来说，可以得到该样本图像和该样本图像对应的标定信息，该样本图像对应的标定信息可以是标定掩模图。
步骤S13、将样本图像输入给初始分割模型，以使初始分割模型基于样本图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值及该预测标签值对应的预测概率，像素点对应的预测标签值可以为第一取值或第二取值。
示例性的，由于样本图像(如荧光图像)的显影区域的亮度比较大，非显影区域的亮度比较小，因此，初始分割模型的工作原理是，基于样本图像中每个像素点对应的像素值，确定样本图像的分割结果，对此初始分割模型的工作过程不做限制，只要初始分割模型能够输出分割结果即可。综上所述，在将样本图像输入给初始分割模型之后，初始分割模型能够基于该样本图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值及该预测标签值对应的预测概率，如第1个像素点对应第一取值及预测概率0.8，第2个像素点对应第一取值及预测概率0.6，第3个像素点对应第二取值及预测概率0.8，以此类推。
步骤S14、基于每个像素点对应的标定标签值和预测标签值确定目标损失值。比如说，针对每个像素点，基于该像素点对应的标定标签值，该像素点对应的预测标签值和该预测标签值对应的预测概率，确定目标损失值。
示例性的，假设损失函数是交叉熵损失函数，则可以采用如下公式确定损失值，当然，交叉熵损失函数只是一个示例，对此损失函数的类型不做限制。
在上述公式中，针对每个像素点来说，loss表示该像素点对应的损失值，M表示类别数量，本实施例中为2，即一共存在两个类别，类别1对应第一取值，类别2对应第二取值。yc是标定标签值对应的数值，可以等于0或1，若该像素点对应的标定标签值是第一取值，则y1为1，y2为0，若该像素点对应的标定标签值是第二取值，则y1为0，y2为1。pc是预测标签值对应的预测概率，若该像素点对应的第一取值的概率是p1，则对应第二取值的概率是1-p1。
综上所述，针对样本图像中的每个像素点，可以采用上述公式计算该像素点对应的损失值，然后，基于样本图像中的所有像素点对应的损失值确定目标损失值，例如，基于所有像素点对应的损失值之和的算数平均确定目标损失值。
步骤S15、基于目标损失值对初始分割模型进行训练，得到目标分割模型。
比如说，基于目标损失值对初始分割模型的网络参数进行调整，得到调整后分割模型，网络参数调整的目标是使目标损失值越来越小。在得到调整后分割模型之后，将调整后分割模型作为初始分割模型，重新执行步骤S13-步骤S14，一直到目标损失值符合优化目标，将调整后分割模型作为目标分割模型。
至此，训练得到目标分割模型，基于目标分割模型执行测试过程。
步骤S16、在测试过程中，在得到待检测图像之后，可以将待检测图像输入给目标分割模型(目标分割模型的工作原理参见上述初始分割模型的工作原理)，以使目标分割模型基于待检测图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值。若像素点对应的预测标签值为第一取值，则确定该像素点是与病变组织对应的像素点，即该像素点是目标像素点。若像素点对应的预测标签值为第二取值，则确定该像素点不是与病变组织对应的像素点，即该像素点不是目标像素点。综上所述，可以将预测标签值为第一取值的像素点确定为目标像素点，从而从待检测图像中找到与病变组织对应的所有目标像素点。
综上可以看出，基于方式1、方式2和方式3，均可以从待检测图像的所有像素点中选取与病变组织对应的目标像素点，对此选取方式不做限制。
步骤40212、获取待检测图像中的所有目标像素点组成的连通域。
示例性的，在从待检测图像中确定出目标像素点之后，就可以采用连通区域检测算法，确定这些目标像素点组成的连通域(即目标像素点的连通区域)，连通域的数量可以为至少一个，对此连通域的确定过程不做限制。
其中，位置相邻的目标像素点组成的区域称为连通域，连通区域检测算法是指将待检测图像中的各个连通域找出并标记，也就是说，基于连通区域检测算法可以获知待检测图像中的各个连通域，对此过程不做限制。
步骤40213、基于连通域从待检测图像中确定病变组织对应的目标区域。
示例性的，连通域的数量可以为至少一个，若连通域的数量为一个，则将该连通域作为待检测图像中的病变组织对应的目标区域。若连通域的数量为至少两个，则将面积最大的连通域作为待检测图像中的病变组织对应的目标区域，或者，也可以将其它连通域作为目标区域，对此不做限制。
在一种可能的实施方式中，在得到目标像素点组成的连通域之后，还可以对连通域进行形态学处理(如使用9*9的滤波核对连通域进行平滑处理，得到平滑边缘的连通域)以及干扰去除处理(如去除孤立点)，得到形态学处理以及干扰去除处理后的连通域，从而基于形态学处理以及干扰去除处理后的连通域，从待检测图像中确定病变组织对应的目标区域。
综上所述，基于步骤40211-步骤40213，就可以得到病变组织对应的目标区域，至此完成步骤4021，基于目标区域执行后续步骤4022。
步骤4022、基于病变组织对应的目标区域确定病变组织对应的区域轮廓。比如说，确定该目标区域中的所有边界像素点，并基于目标区域中的所有边界像素点确定病变组织对应的区域轮廓，即所有边界像素点组成区域轮廓。
步骤4023、基于该区域轮廓确定病变组织对应的待切割边界。
在一种可能的实施方式中，在得到病变组织对应的区域轮廓之后，可以直接将该区域轮廓确定为待切割边界，表示需要沿着该区域轮廓进行切割，该区域轮廓可以是一个不规则形状，可以是任意形状，对此区域轮廓不做限制。
在另一种可能的实施方式中，在得到病变组织对应的区域轮廓之后，还可以判断该区域轮廓与病变组织对应器官的器官轮廓是否存在重合边界。若该区域轮廓与该器官轮廓不存在重合边界，则将该区域轮廓确定为待切割边界，表示需要沿着该区域轮廓进行切割。若该区域轮廓与该器官轮廓存在重合边界，则将该区域轮廓与该器官轮廓的非重合边界(即区域轮廓中除该重合边界之外的剩余边界)确定为待切割边界，表示需要沿着该非重合边界进行切割。
在该实施方式中，可以先获取病变组织对应器官的器官轮廓，本实施例对此获取方式不做限制，只要能够得到病变组织对应器官的器官轮廓即可。比如说，可以预先训练一个用于识别器官轮廓的深度学习模型，对此深度学习模型的训练过程不做限制。在此基础上，可以将上述可见光图像输入给深度学习模型，由深度学习模型输出病变组织对应器官的器官轮廓，对此深度学习模型的工作原理不做限制，只要深度学习模型能够输出该器官轮廓即可。
在得到病变组织对应的区域轮廓和病变组织对应的器官轮廓之后，就可以判断该区域轮廓与该器官轮廓是否存在重合边界，即是否存在重合的线段。
若不存在重合边界，则表示需要沿着该区域轮廓进行切割，才能够将病变组织完全切割，因此，可以将该区域轮廓确定为待切割边界。
若存在重合边界，则表示病变组织对应器官的边缘已经是病变组织，区域轮廓会与病变组织对应器官的边缘重合，如病变组织对应器官的整个左侧(或右侧、或上侧、或下侧等)已经是病变组织，区域轮廓会与病变组织对应器官的左侧边缘重合。在该情况下，只需要指示切割线就能够完成病变组织的完全切割，因此，将该区域轮廓与该器官轮廓的非重合边界确定为待切割边界，该非重合边界就是需要指示的切割线，沿着该切割线进行切割时能够实现病变组织的完全切割。该区域轮廓与该器官轮廓的重合边界是病变组织对应器官的边缘，在沿着待切割边界进行切割时，重合边界对应区域也被切割。
综上所述，可以确定出待切割边界，当然，上述只是两个示例，对此确定方式不做限制，只要基于待切割边界能够完成病变组织的完全切割即可。
至此，完成步骤402，得到待切割边界，基于待切割边界执行后续步骤403。
步骤403、生成目标图像，该目标图像可以包括可见光图像和待切割边界。
在一种可能的实施方式中，从待检测图像中确定出病变组织对应的待切割边界之后，可以将该待切割边界叠加到可见光图像上，即在可见光图像上叠加待切割边界，得到目标图像，该目标图像包括可见光图像和该待切割边界，该待切割边界在可见光图像上的位置与该待切割边界在待检测图像上的位置相同。
在得到该目标图像之后，就可以将该目标图像显示在屏幕上供医护人员查看，由于该待切割边界是病灶区域的边界，使得医护人员可以从该目标图像上清晰的查看到病灶区域的边界，而病灶区域的边界可以提供切割的参考。
在另一种可能的实施方式中，为了更加突出的显示目标图像中的该待切割边界，基于可见光图像和待切割边界生成目标图像，可以包括以下步骤：
步骤4031、确定与该待切割边界对应的目标边界特征。
示例性的，该目标边界特征可以包括但不限于目标颜色和/或目标线型，对此目标边界特征不做限制，可以是用于反映待切割边界的任意特征。
其中，目标颜色可以是任意颜色，如蓝色、红色、绿色等，对此目标颜色不做限制，只要目标颜色与目标图像本身颜色不同，能够突出待切割边界即可。
其中，目标线型可以是任意线型，如实线型、虚线型(虚线型的长度任意配置)等，对此目标线型不做限制，只要目标线型能够突出待切割边界即可。
步骤4032、基于该待切割边界和该目标边界特征生成目标切割边界。
示例性的，若目标边界特征为目标颜色，则对该待切割边界进行颜色调整，得到目标切割边界，且目标切割边界的颜色为该目标颜色。比如说，若目标颜色是蓝色，则将待切割边界的颜色调整为蓝色，得到蓝色的目标切割边界。
若目标边界特征为目标线型，则对该待切割边界进行线型调整，得到目标切割边界，且目标切割边界的线型为该目标线型。比如说，若目标线型是虚线型，则将待切割边界的线型调整为虚线型，得到虚线型的目标切割边界。
若目标边界特征为目标颜色和目标线型，则对待切割边界进行颜色调整和线型调整，得到目标切割边界，且目标切割边界的颜色为该目标颜色，且目标切割边界的线型为该目标线型。比如说，若该目标颜色是蓝色，该目标线型是虚线型，则可以将该待切割边界的颜色调整为蓝色，并将该待切割边界的线型调整为虚线型，得到颜色是蓝色且线型是虚线型的目标切割边界。
当然，上述只是生成目标切割边界的几个示例，对此不做限制。
步骤4033、在可见光图像上叠加该目标切割边界得到该目标图像。
比如说，可以将目标切割边界叠加到可见光图像上，得到目标图像，该目标图像包括可见光图像和目标切割边界，在得到该目标图像之后，就可以将该目标图像显示在屏幕上供医护人员查看。由于目标切割边界是病灶区域的边界，且目标切割边界是突出显示的边界，如目标切割边界突出显示为目标颜色和/或目标线型，因此，医护人员可以从该目标图像上清晰的查看到病灶区域的边界。
在一种可能的实施方式中，为了更加突出的显示目标图像中的待切割边界和待切割边界周围信息，基于可见光图像和待切割边界生成目标图像之后，若荧光图像是正显影模式下的荧光图像，且荧光图像包括待切割边界外围的显影区域，在目标图像上叠加待切割边界外围的显影区域，即在目标图像上保留待切割边界外围低强度的荧光显影区域。若荧光图像是负显影模式下的荧光图像，且荧光图像包括待切割边界内围的显影区域，在目标图像上叠加待切割边界内围的显影区域，即在目标图像上保留待切割边界内围低强度的荧光显影区域。
比如说，若荧光图像是正显影模式下的荧光图像，那么，荧光图像的显影区域对应病变组织，而待切割边界就是病变组织对应目标区域的边界，在待切割边界内围均是显影区域，在可见光图像上叠加待切割边界得到目标图像之后，不在目标图像上叠加待切割边界内围的显影区域。针对荧光图像来说，待切割边界外围也可能存在显影区域，只是待切割边界外围的显影区域的强度低于待切割边界内围的显影区域的强度，在可见光图像上叠加待切割边界得到目标图像之后，可以不在目标图像上叠加待切割边界外围的显影区域，也可以在目标图像上叠加待切割边界外围的显影区域，即从该待切割边界开始向外围扩展显影区域，在目标图像保留荧光图像中待切割边界外围低强度的荧光显影区域。
若荧光图像是负显影模式下的荧光图像，荧光图像的显影区域对应正常组织，非显影区域对应病变组织，而待切割边界就是病变组织对应目标区域的边界，在待切割边界外围均是显影区域，在可见光图像上叠加待切割边界得到目标图像后，不在目标图像上叠加待切割边界外围的显影区域。针对荧光图像来说，待切割边界内围也可能存在显影区域，只是待切割边界内围的显影区域的强度低于待切割边界外围的显影区域的强度，在可见光图像上叠加待切割边界得到目标图像后，可以不在目标图像上叠加待切割边界内围的显影区域，或在目标图像上叠加待切割边界内围的显影区域，即从待切割边界开始向内围扩展显影区域，在目标图像保留荧光图像中待切割边界内围低强度的荧光显影区域。
以下结合图5D对上述过程进行说明，为了方便描述，在图5D中，是以待切割边界是区域轮廓为例进行说明。参见图5D所示，左侧图像为可见光图像，针对上侧的5个图像，第一个图像为正显影模式下的荧光图像。第二个图像为荧光图像与可见光图像的融合图像，该融合图像是显示荧光图像的显影区域，而不是显示区域轮廓。第三个图像为轮廓显示1下的目标图像，该目标图像是显示区域轮廓，即将区域轮廓叠加到可见光图像上得到目标图像，轮廓显示1表示区域轮廓的颜色是目标颜色(图中未示出目标颜色)，且区域轮廓的线型是实线型。第四个图像为轮廓显示2下的目标图像，该目标图像是显示区域轮廓，轮廓显示2表示区域轮廓的颜色是目标颜色，且区域轮廓的线型是虚线型。第五个图像为轮廓显示3下的目标图像，该目标图像是显示区域轮廓，且该目标图像显示区域轮廓外围低强度的荧光显影区域。
针对下侧的5个图像，第一个图像为负显影模式下的荧光图像。第二个图像为荧光图像与可见光图像的融合图像。第三个图像为轮廓显示1下的目标图像，该目标图像是显示区域轮廓，轮廓显示1表示区域轮廓的颜色是目标颜色，且区域轮廓的线型是实线型。第四个图像为轮廓显示2下的目标图像，该目标图像是显示区域轮廓，轮廓显示2表示区域轮廓的颜色是目标颜色，且区域轮廓的线型是虚线型。第五个图像为轮廓显示3下的目标图像，该目标图像是显示区域轮廓，且该目标图像显示区域轮廓内围低强度的荧光显影区域。
当然，图5D的目标图像显示方式只是几个示例，对此显示方式不做限制。
在一种可能的实施方式中，关于步骤401-步骤403的触发时机，若接收到针对荧光图像的显示切换命令，该显示切换命令用于指示显示待切割边界，则可以执行步骤401-步骤403，也就是说，从待检测图像中确定病变组织对应的待切割边界，并将待切割边界叠加到可见光图像上得到目标图像，并显示目标图像。若未接收到针对荧光图像的显示切换命令，则可以基于可见光图像和荧光图像生成融合图像，并显示融合图像，本实施例对此过程不再赘述。
其中，在针对目标对象的手术进入到切除阶段时，医护人员可以发出针对荧光图像的显示切换命令，这样，可以接收针对荧光图像的显示切换命令，继而采用本实施例的图像显示方法，在可见光图像上叠加显示待切割边界。
由以上技术方案可见，本申请实施例中，可以确定出病变组织对应的待切割边界(即病灶区域的边界)，并基于可见光图像和待切割边界生成目标图像，即将该待切割边界叠加到可见光图像上进行显示，由于将待切割边界叠加到可见光图像上进行显示，而不是将荧光图像叠加到可见光图像上进行显示，避免可见光图像的大部分区域被遮挡的问题，改善可见光图像被荧光显影遮挡的问题，避免或减轻视觉障碍，目标图像的效果较好，能够清晰显示目标对象内部指定位置的正常组织和病变组织，提高医生手术的质量和效率，使用感受较好。由于目标图像存在待切割边界，使得医生可以获知病变组织对应的待切割边界，可以根据待切割边界进行切割，提高医生手术的质量和效率。
以下结合具体应用场景，对本申请实施例的图像处理方法进行说明。
参见图6A所示，内窥镜系统可以包括图像采集部、图像处理部和图像显示部。图像采集部用于获取内窥镜视频，该内窥镜视频包括可见光图像和荧光图像。图像处理部用于对可见光图像和荧光图像进行融合，得到融合图像，在融合图像上对病灶区域的轮廓进行检测，得到区域轮廓(即病变组织对应的区域轮廓)，或者，直接在荧光图像上对病灶区域的轮廓进行检测，得到区域轮廓。图像显示部用于将区域轮廓叠加到可见光图像上进行显示，提供给医生使用。
1、图像采集部。通过位于镜管前端的两个传感器采集目标对象被摄物反射的可见光和激发的荧光，并生成图像信号，再将图像信号传递到后端处理得到内窥镜图像。其中，这两个传感器分别为用于采集可见光的传感器(记为白光内窥镜)和用于采集荧光的传感器(记为荧光内窥镜)。白光内窥镜用于采集可见光并生成相应图像信号，基于该图像信号生成的内窥镜图像是可见光图像。荧光内窥镜用于采集荧光并生成相应图像信号，基于该图像信号生成的内窥镜图像是荧光图像。综上所述，图像采集部可以采集可见光图像和荧光图像。
2、图像处理部。参见图6B所示，图像处理部可以得到实时视频流，该实时视频流可以包括可见光图像和荧光图像。在融合图像(即对可见光图像和荧光图像进行融合后的图像)或者荧光图像的基础上，图像处理部可以对病灶区域的轮廓进行检测，得到区域轮廓，并保存病灶区域的区域轮廓。
在一种可行的实施方式中，参见图6C所示，可以采用区域分割方式进行轮廓检测，比如说，针对内窥镜图像(如荧光图像或者融合图像)来说，设定一个阈值，使用局部均值二值化得到二值化图像，然后进行形态学处理(如使用一个9*9的滤波核进行平滑处理，得到平滑边缘及去除干扰孤岛等)，就可以得到病灶区域的区域轮廓，也可以称为病灶区域的轮廓位置。
在图6C中，是以正显影模式下的荧光图像为例，关于负显影模式下的荧光图像，其实现流程相同，二值化时进行黑白反色即可，在此不再赘述。
针对采用区域分割方式进行轮廓检测的实现过程，可以参见步骤402，且步骤402中的方式1和方式2是区域分割方式，在此不再赘述。
在另一种可行的实施方式中，可以采用机器学习方式进行轮廓检测，比如说，先训练得到一个目标分割模型，针对内窥镜图像(如荧光图像或者融合图像)来说，可以将内窥镜图像输入给目标分割模型，由目标分割模型给出病灶区域的区域轮廓。针对采用机器学习方式进行轮廓检测的实现过程，可以参见步骤402，且步骤402中的方式3是机器学习方式，在此不再赘述。
3、图像显示部。图像显示部用于将图像处理部得到的区域轮廓叠加至可见光图像中，得到目标图像，并将目标图像显示在屏幕上供医生查看，提供切割的参考，具体叠加方式可以参见步骤403以及图5D，在此不再重复赘述。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理装置，参见图7所示，为所述图像处理装置的结构示意图，所述装置可以包括：
获取模块71，用于获取目标对象内部指定位置对应的可见光图像和荧光图像；其中，所述目标对象内部指定位置包括病变组织和正常组织；
确定模块72，用于从待检测图像中确定所述病变组织对应的待切割边界；其中，所述待检测图像为所述荧光图像，或者，所述待检测图像为所述可见光图像与所述荧光图像的融合图像；
生成模块73，用于生成目标图像，所述目标图像包括所述可见光图像和所述待切割边界。
示例性的，所述确定模块72从待检测图像中确定所述病变组织对应的待切割边界时具体用于：从待检测图像中确定所述病变组织对应的目标区域；基于所述目标区域确定所述病变组织对应的区域轮廓；基于所述区域轮廓确定所述病变组织对应的待切割边界。
示例性的，所述确定模块72从待检测图像中确定病变组织对应的目标区域时具体用于：基于待检测图像中每个像素点对应的像素值，从待检测图像的所有像素点中选取与所述病变组织对应的目标像素点；获取待检测图像中的所有目标像素点组成的连通域；基于所述连通域从待检测图像中确定目标区域。
示例性的，所述确定模块72基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点时具体用于：若所述荧光图像是正显影模式下的荧光图像，当所述待检测图像中的像素点对应的像素值大于第一阈值时，确定该像素点是目标像素点；其中，所述正显影模式用于指示荧光图像的显影区域对应病变组织；或者，若所述荧光图像是负显影模式下的荧光图像，当所述待检测图像中的像素点对应的像素值小于第二阈值时，确定该像素点是目标像素点；其中，所述负显影模式用于指示荧光图像的非显影区域对应病变组织。
示例性的，所述确定模块72基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点时具体用于：将所述待检测图像输入给已训练的目标分割模型，以使所述目标分割模型基于所述待检测图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值；其中，像素点对应的预测标签值为第一取值或第二取值；将预测标签值为第一取值的像素点确定为目标像素点。
示例性的，所述确定模块72训练所述目标分割模型时具体用于：获取样本图像和所述样本图像对应的标定信息，所述标定信息包括所述样本图像中每个像素点对应的标定标签值；其中，若像素点是与病变组织对应的像素点，则该像素点对应的标定标签值为第一取值，若像素点不是与病变组织对应的像素点，则该像素点对应的标定标签值为第二取值；将所述样本图像输入给初始分割模型，以使所述初始分割模型基于所述样本图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值；其中，像素点对应的预测标签值为第一取值或第二取值；基于每个像素点对应的标定标签值和预测标签值确定目标损失值，基于目标损失值对所述初始分割模型进行训练，得到所述目标分割模型。
示例性的，所述确定模块72基于所述目标区域确定所述病变组织对应的区域轮廓时具体用于：确定所述目标区域中的所有边界像素点，并基于所述目标区域中的所有边界像素点确定所述病变组织对应的区域轮廓。
示例性的，所述确定模块72基于所述区域轮廓确定所述病变组织对应的待切割边界时具体用于：将所述区域轮廓确定为所述待切割边界；或者，若所述区域轮廓与病变组织对应器官的器官轮廓存在重合边界，则将所述区域轮廓与所述器官轮廓的非重合边界确定为所述待切割边界。
示例性的，所述生成模块73生成目标图像时具体用于：在所述可见光图像上叠加所述待切割边界得到所述目标图像；或者，确定目标边界特征，基于所述待切割边界和所述目标边界特征生成目标切割边界，并在所述可见光图像上叠加所述目标切割边界得到所述目标图像。
示例性的，所述生成模块73基于所述待切割边界和所述目标边界特征生成目标切割边界时具体用于：若所述目标边界特征为目标颜色，则对所述待切割边界进行颜色调整，得到所述目标切割边界，所述目标切割边界的颜色为所述目标颜色；若所述目标边界特征为目标线型，则对所述待切割边界进行线型调整，得到所述目标切割边界，所述目标切割边界的线型为所述目标线型；若所述目标边界特征为目标颜色和目标线型，则对所述待切割边界进行颜色调整和线型调整，得到所述目标切割边界，所述目标切割边界的颜色为所述目标颜色，且所述目标切割边界的线型为所述目标线型。
示例性的，所述生成模块73生成目标图像之后还用于：若所述荧光图像是正显影模式下的荧光图像，且所述荧光图像包括待切割边界外围的显影区域，则在目标图像上叠加所述待切割边界外围的显影区域；若所述荧光图像是负显影模式下的荧光图像，且所述荧光图像包括待切割边界内围的显影区域，则在目标图像上叠加所述待切割边界内围的显影区域。
示例性的，所述确定模块72从待检测图像中确定所述病变组织对应的待切割边界时具体用于：若接收到针对荧光图像的显示切换命令，显示切换命令用于指示显示待切割边界，从待检测图像中确定所述病变组织对应的待切割边界。
基于与上述方法同样的申请构思，本申请实施例提出一种图像处理设备(即上述实施例的摄像系统主机)，图像处理设备可以包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的图像处理方法。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像处理方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标对象内部指定位置对应的可见光图像和荧光图像；其中，所述目标对象内部指定位置包括病变组织和正常组织；
从待检测图像中确定所述病变组织对应的待切割边界；其中，所述待检测图像为所述荧光图像，或，所述可见光图像与所述荧光图像的融合图像；
生成目标图像，所述目标图像包括所述可见光图像和所述待切割边界。
2.根据权利要求1所述的方法，其特征在于，
所述从待检测图像中确定所述病变组织对应的待切割边界，包括：
从待检测图像中确定所述病变组织对应的目标区域；
基于所述目标区域确定所述病变组织对应的区域轮廓；
基于所述区域轮廓确定所述病变组织对应的待切割边界。
3.根据权利要求2所述的方法，其特征在于，
所述从待检测图像中确定所述病变组织对应的目标区域，包括：
基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点；
获取所述待检测图像中的所有目标像素点组成的连通域；
基于所述连通域从所述待检测图像中确定所述目标区域。
4.根据权利要求3所述的方法，其特征在于，
所述基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点，包括：
若所述荧光图像是正显影模式下的荧光图像，当所述待检测图像中的像素点对应的像素值大于第一阈值时，确定该像素点是目标像素点；其中，所述正显影模式用于指示荧光图像的显影区域对应病变组织；或，
若所述荧光图像是负显影模式下的荧光图像，当所述待检测图像中的像素点对应的像素值小于第二阈值时，确定该像素点是目标像素点；其中，所述负显影模式用于指示荧光图像的非显影区域对应病变组织。
5.根据权利要求3所述的方法，其特征在于，
所述基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点，包括：
将所述待检测图像输入给已训练的目标分割模型，以使所述目标分割模型基于所述待检测图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值；其中，像素点对应的预测标签值为第一取值或第二取值；
将预测标签值为第一取值的像素点确定为目标像素点。
6.根据权利要求5所述的方法，其特征在于，
所述目标分割模型的训练过程，具体包括：
获取样本图像和所述样本图像对应的标定信息，所述标定信息包括所述样本图像中每个像素点对应的标定标签值；其中，若像素点是与病变组织对应的像素点，则该像素点对应的标定标签值为第一取值，若像素点不是与病变组织对应的像素点，则该像素点对应的标定标签值为第二取值；
将所述样本图像输入给初始分割模型，以使所述初始分割模型基于所述样本图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值；其中，像素点对应的预测标签值为第一取值或第二取值；
基于每个像素点对应的标定标签值和预测标签值确定目标损失值，基于目标损失值对所述初始分割模型进行训练，得到所述目标分割模型。
7.根据权利要求2所述的方法，其特征在于，
所述基于所述目标区域确定所述病变组织对应的区域轮廓，包括：
确定所述目标区域中的所有边界像素点，并基于所述目标区域中的所有边界像素点确定所述病变组织对应的区域轮廓。
8.根据权利要求2所述的方法，其特征在于，
所述基于所述区域轮廓确定所述病变组织对应的待切割边界，包括：
将所述区域轮廓确定为所述待切割边界；或者，
若所述区域轮廓与病变组织对应器官的器官轮廓存在重合边界，则将所述区域轮廓与所述器官轮廓的非重合边界确定为所述待切割边界。
9.根据权利要求1所述的方法，其特征在于，所述生成目标图像，包括：
在所述可见光图像上叠加所述待切割边界得到所述目标图像；或者，
确定目标边界特征，基于所述待切割边界和所述目标边界特征生成目标切割边界，并在所述可见光图像上叠加所述目标切割边界得到所述目标图像。
10.根据权利要求9所述的方法，其特征在于，
所述基于所述待切割边界和所述目标边界特征生成目标切割边界，包括：
若所述目标边界特征为目标颜色，则对所述待切割边界进行颜色调整，得到所述目标切割边界，所述目标切割边界的颜色为所述目标颜色；
若所述目标边界特征为目标线型，则对所述待切割边界进行线型调整，得到所述目标切割边界，所述目标切割边界的线型为所述目标线型；
若所述目标边界特征为目标颜色和目标线型，则对所述待切割边界进行颜色调整和线型调整，得到所述目标切割边界，所述目标切割边界的颜色为所述目标颜色，且所述目标切割边界的线型为所述目标线型。
11.根据权利要求1所述的方法，其特征在于，
所述生成目标图像之后，所述方法还包括：
若所述荧光图像是正显影模式下的荧光图像，且所述荧光图像包括待切割边界外围的显影区域，则在目标图像上叠加所述待切割边界外围的显影区域；
若所述荧光图像是负显影模式下的荧光图像，且所述荧光图像包括待切割边界内围的显影区域，则在目标图像上叠加所述待切割边界内围的显影区域。
12.根据权利要求1所述的方法，其特征在于，
所述从待检测图像中确定所述病变组织对应的待切割边界，包括：
若接收到针对荧光图像的显示切换命令，且所述显示切换命令用于指示显示待切割边界，则从待检测图像中确定所述病变组织对应的待切割边界。
13.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象内部指定位置对应的可见光图像和荧光图像；其中，所述目标对象内部指定位置包括病变组织和正常组织；
确定模块，用于从待检测图像中确定所述病变组织对应的待切割边界；其中，所述待检测图像为所述荧光图像，或者，所述待检测图像为所述可见光图像与所述荧光图像的融合图像；
生成模块，用于生成目标图像，所述目标图像包括所述可见光图像和所述待切割边界。
14.根据权利要求13所述的装置，其特征在于，其中，所述确定模块从待检测图像中确定所述病变组织对应的待切割边界时具体用于：从待检测图像中确定所述病变组织对应的目标区域；基于所述目标区域确定所述病变组织对应的区域轮廓；基于所述区域轮廓确定所述病变组织对应的待切割边界；
其中，所述确定模块从待检测图像中确定所述病变组织对应的目标区域时具体用于：基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点；获取待检测图像中的所有目标像素点组成的连通域；基于连通域从待检测图像中确定目标区域；
其中，所述确定模块基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点时具体用于：若所述荧光图像是正显影模式下的荧光图像，当所述待检测图像中的像素点对应的像素值大于第一阈值时，确定该像素点是目标像素点；其中，所述正显影模式用于指示荧光图像的显影区域对应病变组织；或者，若所述荧光图像是负显影模式下的荧光图像，当所述待检测图像中的像素点对应的像素值小于第二阈值时，确定该像素点是目标像素点；其中，所述负显影模式用于指示荧光图像的非显影区域对应病变组织；
其中，所述确定模块基于所述待检测图像中每个像素点对应的像素值，从所述待检测图像的所有像素点中选取与所述病变组织对应的目标像素点时具体用于：将所述待检测图像输入给已训练的目标分割模型，以使所述目标分割模型基于所述待检测图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值；其中，像素点对应的预测标签值为第一取值或第二取值；将预测标签值为第一取值的像素点确定为目标像素点；
其中，所述确定模块训练所述目标分割模型时具体用于：获取样本图像和所述样本图像对应的标定信息，所述标定信息包括所述样本图像中每个像素点对应的标定标签值；其中，若像素点是与病变组织对应的像素点，则该像素点对应的标定标签值为第一取值，若像素点不是与病变组织对应的像素点，则该像素点对应的标定标签值为第二取值；将所述样本图像输入给初始分割模型，以使所述初始分割模型基于所述样本图像中每个像素点对应的像素值，确定每个像素点对应的预测标签值；其中，像素点对应的预测标签值为第一取值或第二取值；基于每个像素点对应的标定标签值和预测标签值确定目标损失值，基于目标损失值对所述初始分割模型进行训练，得到所述目标分割模型；
其中，所述确定模块基于所述目标区域确定所述病变组织对应的区域轮廓时具体用于：确定所述目标区域中的所有边界像素点，并基于所述目标区域中的所有边界像素点确定所述病变组织对应的区域轮廓；
其中，所述确定模块基于所述区域轮廓确定所述病变组织对应的待切割边界时具体用于：将所述区域轮廓确定为所述待切割边界；或者，若所述区域轮廓与病变组织对应器官的器官轮廓存在重合边界，则将所述区域轮廓与所述器官轮廓的非重合边界确定为所述待切割边界；
其中，所述生成模块生成目标图像时具体用于：在所述可见光图像上叠加所述待切割边界得到所述目标图像；或者，确定目标边界特征，基于所述待切割边界和所述目标边界特征生成目标切割边界，并在所述可见光图像上叠加所述目标切割边界得到所述目标图像；
其中，所述生成模块基于所述待切割边界和所述目标边界特征生成目标切割边界时具体用于：若所述目标边界特征为目标颜色，则对所述待切割边界进行颜色调整，得到所述目标切割边界，所述目标切割边界的颜色为所述目标颜色；若所述目标边界特征为目标线型，则对所述待切割边界进行线型调整，得到所述目标切割边界，所述目标切割边界的线型为所述目标线型；若所述目标边界特征为目标颜色和目标线型，则对所述待切割边界进行颜色调整和线型调整，得到所述目标切割边界，所述目标切割边界的颜色为所述目标颜色，且所述目标切割边界的线型为所述目标线型；
其中，所述生成模块生成目标图像之后还用于：若所述荧光图像是正显影模式下的荧光图像，且所述荧光图像包括待切割边界外围的显影区域，则在目标图像上叠加所述待切割边界外围的显影区域；若所述荧光图像是负显影模式下的荧光图像，且所述荧光图像包括待切割边界内围的显影区域，则在目标图像上叠加所述待切割边界内围的显影区域；
其中，所述确定模块从待检测图像中确定所述病变组织对应的待切割边界时具体用于：若接收到针对荧光图像的显示切换命令，所述显示切换命令用于指示显示待切割边界，则从待检测图像中确定所述病变组织对应的待切割边界。
15.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-12任一所述的方法步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111501127.8A CN114298980A (zh) | 2021-12-09 | 2021-12-09 | 一种图像处理方法、装置及设备 |
| PCT/CN2022/115375 WO2023103467A1 (zh) | 2021-12-09 | 2022-08-29 | 图像处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111501127.8A CN114298980A (zh) | 2021-12-09 | 2021-12-09 | 一种图像处理方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114298980A true CN114298980A (zh) | 2022-04-08 |
Family
ID=80967319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111501127.8A Pending CN114298980A (zh) | 2021-12-09 | 2021-12-09 | 一种图像处理方法、装置及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114298980A (zh) |
| WO (1) | WO2023103467A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114569874A (zh) * | 2022-05-09 | 2022-06-03 | 精微致远医疗科技(武汉)有限公司 | 一种应用于可视化导丝的成像控制器主机及图像处理方法 |
| CN114913124A (zh) * | 2022-04-13 | 2022-08-16 | 中南大学湘雅医院 | 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质 |
| CN115115755A (zh) * | 2022-08-30 | 2022-09-27 | 南京诺源医疗器械有限公司 | 基于数据处理的荧光三维成像方法及装置 |
| CN115308004A (zh) * | 2022-10-12 | 2022-11-08 | 天津云检医学检验所有限公司 | 激光捕获显微切割方法 |
| CN115330624A (zh) * | 2022-08-17 | 2022-11-11 | 华伦医疗用品(深圳)有限公司 | 一种获取荧光图像的方法、装置及内窥镜系统 |
| WO2023103467A1 (zh) * | 2021-12-09 | 2023-06-15 | 杭州海康慧影科技有限公司 | 图像处理方法、装置及设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703798B (zh) * | 2023-08-08 | 2023-10-13 | 西南科技大学 | 基于自适应干扰抑制的食管多模态内镜图像增强融合方法 |
| CN117575999B (zh) * | 2023-11-01 | 2024-04-16 | 广州盛安医学检验有限公司 | 一种基于荧光标记技术的病灶预测系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102781305B (zh) * | 2010-03-09 | 2015-06-03 | 奥林巴斯株式会社 | 荧光内窥镜装置 |
| JP5385350B2 (ja) * | 2011-08-16 | 2014-01-08 | 富士フイルム株式会社 | 画像表示方法および装置 |
| JP5993184B2 (ja) * | 2012-04-04 | 2016-09-14 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
| JP7286948B2 (ja) * | 2018-11-07 | 2023-06-06 | ソニーグループ株式会社 | 医療用観察システム、信号処理装置及び医療用観察方法 |
| WO2021075418A1 (ja) * | 2019-10-18 | 2021-04-22 | 国立大学法人鳥取大学 | 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体 |
| CN111513660B (zh) * | 2020-04-28 | 2024-05-17 | 深圳开立生物医疗科技股份有限公司 | 一种应用于内窥镜的图像处理方法、装置及相关设备 |
| CN112837325A (zh) * | 2021-01-26 | 2021-05-25 | 南京英沃夫科技有限公司 | 医学影像图像处理方法、装置、电子设备及介质 |
| CN113208567A (zh) * | 2021-06-07 | 2021-08-06 | 上海微创医疗机器人（集团）股份有限公司 | 多光谱成像系统、成像方法和存储介质 |
| CN114298980A (zh) * | 2021-12-09 | 2022-04-08 | 杭州海康慧影科技有限公司 | 一种图像处理方法、装置及设备 |
-
2021
- 2021-12-09 CN CN202111501127.8A patent/CN114298980A/zh active Pending
-
2022
- 2022-08-29 WO PCT/CN2022/115375 patent/WO2023103467A1/zh unknown
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103467A1 (zh) * | 2021-12-09 | 2023-06-15 | 杭州海康慧影科技有限公司 | 图像处理方法、装置及设备 |
| CN114913124A (zh) * | 2022-04-13 | 2022-08-16 | 中南大学湘雅医院 | 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质 |
| WO2023197752A1 (zh) * | 2022-04-13 | 2023-10-19 | 中南大学湘雅医院 | 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质 |
| CN114569874A (zh) * | 2022-05-09 | 2022-06-03 | 精微致远医疗科技(武汉)有限公司 | 一种应用于可视化导丝的成像控制器主机及图像处理方法 |
| CN115330624A (zh) * | 2022-08-17 | 2022-11-11 | 华伦医疗用品(深圳)有限公司 | 一种获取荧光图像的方法、装置及内窥镜系统 |
| CN115115755A (zh) * | 2022-08-30 | 2022-09-27 | 南京诺源医疗器械有限公司 | 基于数据处理的荧光三维成像方法及装置 |
| CN115115755B (zh) * | 2022-08-30 | 2022-11-08 | 南京诺源医疗器械有限公司 | 基于数据处理的荧光三维成像方法及装置 |
| CN115308004A (zh) * | 2022-10-12 | 2022-11-08 | 天津云检医学检验所有限公司 | 激光捕获显微切割方法 |
| CN115308004B (zh) * | 2022-10-12 | 2022-12-23 | 天津云检医学检验所有限公司 | 激光捕获显微切割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023103467A1 (zh) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114298980A (zh) | 一种图像处理方法、装置及设备 | |
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| KR102028780B1 (ko) | 영상 내시경 시스템 | |
| JP6967602B2 (ja) | 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム | |
| CN112423645B (zh) | 内窥镜系统 | |
| JP7190597B2 (ja) | 内視鏡システム | |
| US20210153720A1 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| JP7278202B2 (ja) | 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置 | |
| WO2006087981A1 (ja) | 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム | |
| JP2023076644A (ja) | 内視鏡システム | |
| JP2011177419A (ja) | 蛍光観察装置 | |
| CN107847117A (zh) | 图像处理装置、方法及程序 | |
| WO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
| JP2023087014A (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| JPWO2012153568A1 (ja) | 医用画像処理装置 | |
| KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
| JP2022136171A (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP6840263B2 (ja) | 内視鏡システム及びプログラム | |
| CN113827171B (zh) | 内窥镜成像方法、内窥镜成像系统和软件程序产品 | |
| JPWO2020039929A1 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| CN115361898A (zh) | 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序 | |
| JP2020124495A (ja) | 強度または輝度に依存する疑似色パターン特性の変化を使用する画像処理装置、画像処理方法およびそのような画像処理装置を備えた医療用観察装置 | |
| JP2018128759A (ja) | テカリ領域除去装置 | |
| CN116133572A (zh) | 图像分析处理装置、内窥镜系统、图像分析处理装置的工作方法及图像分析处理装置用程序 | |
| JP2018126234A (ja) | 時間強度曲線測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |