CN111513660B - 一种应用于内窥镜的图像处理方法、装置及相关设备 - Google Patents

一种应用于内窥镜的图像处理方法、装置及相关设备 Download PDF

Info

Publication number
CN111513660B
CN111513660B CN202010349342.XA CN202010349342A CN111513660B CN 111513660 B CN111513660 B CN 111513660B CN 202010349342 A CN202010349342 A CN 202010349342A CN 111513660 B CN111513660 B CN 111513660B
Authority
CN
China
Prior art keywords
image
white light
region
imaging
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010349342.XA
Other languages
English (en)
Other versions
CN111513660A (zh
Inventor
汪洋
王森豪
邱建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonoscape Medical Corp
Original Assignee
Sonoscape Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonoscape Medical Corp filed Critical Sonoscape Medical Corp
Priority to CN202010349342.XA priority Critical patent/CN111513660B/zh
Publication of CN111513660A publication Critical patent/CN111513660A/zh
Application granted granted Critical
Publication of CN111513660B publication Critical patent/CN111513660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)

Abstract

本申请公开了一种应用于内窥镜的图像处理方法、装置及一种图像处理设备和内窥镜系统,该方法包括:获取被摄对象的白光图像和自体荧光图像;对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;剔除位于所述初始识别区域中的成像异常区域,得到目标区域。由上可知,本申请能够在获取到白光图像及自体荧光图像之后对二者进行融合处理,根据融合图像确定初始识别区域,并进一步基于白光图像和/或自体荧光图像识别成像异常区域,可剔除初始识别区域中的成像异常区域,排除成像异常对诊断所造成的影响,有效降低了内窥镜成像技术的误诊率。

Description

一种应用于内窥镜的图像处理方法、装置及相关设备
技术领域
本申请涉及内窥镜技术领域,更具体地说,涉及一种应用于内窥镜的图像处理方法、装置及一种图像处理设备和一种内窥镜系统。
背景技术
消化道肿瘤是人体常见的恶性肿瘤,在世界范围内,平均每年约有75万人死于胃癌。近30年,中国食管癌和结直肠癌年发病率上升趋势也很明显。早发现、早诊断是提高癌症临床治疗效果的关键。尽管消化内镜被认为是诊断消化道肿瘤的最佳手段,但早期平坦型肿瘤和不典型增生等微小病灶在普通白光内镜下很容易出现漏诊。
内镜下自体荧光成像技术是一种高特异性的新型消化道疾病诊断技术,它利用蓝紫光照射消化道组织黏膜,激发基底膜和黏膜下层的胶原蛋白、烟酰胺腺嘌呤二核苷酸(NADH)、黄素腺嘌呤二核苷酸(FAD)等物质产生自体荧光,由于肿瘤病变往往表现为局灶黏膜层增厚和血管增生,因此肿瘤病灶区域激发的自体荧光较正常组织弱,从而,自体荧光成像技术可根据正常组织和病变组织发出的自体荧光差异,来实现对病变组织特异性诊断。
但自体荧光成像技术也存在一定的局限性,比如,其仅获得能够体现各区域亮度差异的黑白图像或者其他单色图像,较难凸显病灶区域;并且,其容易受照明均匀度的影响,存在较高的误诊率。因此,为了能够凸显病灶区域和降低误诊率,内窥镜领域提出了一种将白光图像和自体荧光图像进行融合处理的成像技术,具体可以为,采用场序照明的方式,使用两个相机分别采集自体荧光图像和白光图像,并得到二者的融合图像。融合图像中呈现品红色的区域,为肿瘤病灶区域;而呈现绿色的区域,则为正常组织区域。
然而,本申请发明人发现:在临床应用中,采用上述融合成像技术仍存在一定的误诊率,如何进一步降低内窥镜成像技术的误诊率仍是本领域亟待解决的问题。
发明内容
本申请的目的在于提供一种应用于内窥镜的图像处理方法、装置及一种图像处理设备和一种内窥镜系统,能够显著降低误诊率。
为实现上述目的,本申请提供了一种应用于内窥镜的图像处理方法,包括:
获取被摄对象的白光图像和自体荧光图像;
对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;
剔除位于所述初始识别区域中的成像异常区域,得到目标区域。
可选的,所述成像异常区域包括:低光强区域、反光区域和异物区域中的至少一种。
可选的,当所述成像异常区域包括所述低光强区域时,所述基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域,包括:
获取针对所述白光图像设置的第一亮度阈值和针对所述自体荧光图像设置的第二亮度阈值;
筛选出所述白光图像中亮度值小于所述第一亮度阈值,并且其在所述自体荧光图像中的对应像素点的亮度值也小于所述第二亮度阈值的目标像素点;
结合所述目标像素点的所在位置,得到所述低光强区域。
可选的,当所述成像异常区域包括所述反光区域时,所述基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域,包括:
利用第一深度学习网络对所述白光图像进行检测,得到所述反光区域。
可选的,当所述成像异常区域还包括所述异物区域时,所述利用第一深度学习网络对所述白光图像进行检测,得到所述反光区域的步骤之后,还包括:
在所述白光图像中剔除所述反光区域,得到剔除后的目标图像;
利用第二深度学习网络对所述目标图像进行检测,得到所述异物区域。
可选的,当所述成像异常区域包括所述异物区域时,所述基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域,包括:
利用第三深度学习网络对所述白光图像进行检测,得到所述异物区域。
可选的,所述方法还包括:
在所呈现的内窥镜图像中,通过第一视觉元素标识所述目标区域;
其中,所述内窥镜图像包括所述白光图像、所述自体荧光图像和所述融合图像中的任意一种。
可选的,所述方法还包括:
在所呈现的所述内窥镜图像中,通过第二视觉元素标识所述成像异常区域。
为实现上述目的,本申请提供了一种应用于内窥镜的图像处理装置,包括:
图像获取单元,用于获取被摄对象的白光图像和自体荧光图像;
图像融合单元,用于对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
成像异常区域检测单元,用于基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;
目标区域识别单元,用于剔除位于所述初始识别区域中的成像异常区域,得到目标区域。
可选的,所述成像异常区域包括:低光强区域、反光区域和异物区域中的至少一种。
可选的,所述装置还包括:
显示单元,用于在所呈现的内窥镜图像中,通过第一视觉元素标识所述目标区域;
其中,所述内窥镜图像包括所述白光图像、所述自体荧光图像和所述融合图像中的任意一种。
可选的,所述显示单元还用于:
在所呈现的所述内窥镜图像中,通过第二视觉元素标识所述成像异常区域。
为实现上述目的,本申请提供了一种图像处理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现前述公开的任一种图像处理方法。
为实现上述目的,本申请提供了一种内窥镜系统,包括:
光源装置,用于向被摄对象发射白光和激励光;
成像装置,用于采集经所述被摄对象反射的白光,以形成所述被摄对象的白光图像,以及,采集所述被摄对象受所述激励光的激励而产生的荧光,以形成所述被摄对象的自体荧光图像;
如前述公开的图像处理设备,其与所述成像装置通信连接,用于对所述白光图像和所述自体荧光图像进行图像处理;
以及,
显示器,与所述图像处理设备通信连接,用于呈现所述图像处理设备输出的图像处理结果。
通过以上方案可知,本申请提供的一种应用于内窥镜的图像处理方法,包括:获取被摄对象的白光图像和自体荧光图像;对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;剔除位于所述初始识别区域中的成像异常区域,得到目标区域。由上可知,本申请能够在获取到被摄对象的白光图像及自体荧光图像之后对二者进行融合处理,根据融合图像确定初始识别区域,并进一步基于白光图像和/或自体荧光图像识别成像异常区域,可剔除初始识别区域中的成像异常区域,排除成像异常对诊断所造成的影响,有效降低了内窥镜成像技术的误诊率。
本申请还公开了一种应用于内窥镜的图像处理装置、一种图像处理设备以及一种内窥镜系统,同样能实现上述技术效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种应用于内窥镜的图像处理方法的流程图;
图2为本申请实施例公开的一种结果显示界面的示意图;
图3为本申请实施例公开的另一种应用于内窥镜的图像处理方法的流程图;
图4为本申请实施例公开的又一种应用于内窥镜的图像处理方法的流程图;
图5为本申请实施例公开的再一种应用于内窥镜的图像处理方法的流程图;
图6为本申请实施例公开的还一种应用于内窥镜的图像处理方法的流程图;
图7为本申请实施例公开的一种应用于内窥镜的图像处理装置的结构图;
图8为本申请实施例公开的一种图像处理设备的结构图;
图9为本申请实施例公开的另一种图像处理设备的结构图;
图10为本申请实施例公开的一种内窥镜系统的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
当前,为了凸显病灶区域以及降低误诊率,可以将白光图像和自体荧光图像进行融合处理,以得到能够更加准确地反映病灶区域的融合图像。然而,本申请发明人发现:在临床应用中,采用上述融合成像技术仍存在一定的误诊率。
究其原因,这主要是因为自体荧光图像易受照明强度不均匀、异物(比如,消化道粘液等)覆盖等成像干扰因素的影响,而将非病灶区域识别为病灶区域,例如,当照明光强饱和或出现反光点时,融合图像中的对应区域也会呈现出品红色,造成误诊;或者异物的覆盖导致自体荧光减弱,也会被误诊为病灶区域。
有鉴于此,本申请实施例提供了一种应用于内窥镜的图像处理方法、一种应用于内窥镜的图像处理装置、一种图像处理设备以及一种内窥镜系统,能够排除成像干扰因素的影响,显著降低白光与自体荧光融合图像的误诊率。
具体地,图1为本申请实施例公开的一种识别病灶区域的方法的流程图,参见图1所示,该方法可以包但不限于如下步骤:
S101:获取被摄对象的白光图像和自体荧光图像;
本申请实施例中,首先获取内窥镜设备中成像装置针对被摄对象采集到的白光图像和自体荧光图像,具体可以通过两个相机进行采集,可通过内窥镜的白光模式和荧光模式分别采集对应的白光图像和自体荧光图像,也可以通过内窥镜的白光-自体荧光融合模式同时采集对应的白光图像和自体荧光图像,本申请实施例不对此进行具体限定。
S102:对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
本步骤中,需要确定白光图像和自体荧光图像的融合图像,具体可以先新创建一个图像,将自体荧光图像的信号值放入新建图像的G通道中,并将白光图像中的G分量放入新建图像的R通道和B通道,即可生成对应的融合图像。上述对白光图像和自体荧光图像进行融合处理的具体实施方式可以为前述限定的内容,也可为其他方式,本申请实施例不对此进行具体限定。
需要说明的是,上述初始识别区域具体为初步筛选出的可能属于病灶的区域,在如上所述的染色方式下,确定融合图像中的初始识别区域可以具体包括:在融合图像的RGB空间中,分别提取每个像素的R通道色彩值和G通道色彩值,计算R通道色彩值和G通道色彩值的实际比值。进而比较实际比值和目标比值的大小,若实际比值大于目标比值,则确定对应的区域为初始识别区域。其中,由于该区域所呈现的颜色通常为品红色,因此,也可以称之为品红色区域。在确定品红色区域之后,可将该区域对应的位置信息保存至存储器中。其中,上述目标比值可以基于用户的设置来确定,优选的,可具体位于0.9~0.95之间。
S103:基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;
可以理解的是,本申请实施例还可以进一步基于白光图像和/或自体荧光图像,识别出成像异常区域。其中,成像异常区域可以包括但不限于由于照明强度不均匀、或异物覆盖等导致的低光强区域、反光区域和异物区域。
需要指出的是,本申请实施例不限定上述步骤S102和S103的具体执行顺序,也即,上述步骤可以并发执行,也可以依次执行,还可以先执行步骤S103,这均不影响本申请的实现。
S104:剔除位于所述初始识别区域中的成像异常区域,得到目标区域。
本实施例中,在分别检测识别到成像异常区域和初始识别区域之后,可以结合上述区域进行综合决策判定。具体地,可以根据成像异常区域的位置信息,在初始识别区域中将上述成像异常区域剔除,将剔除后的区域确定为目标区域,即病灶疑似区域。
作为一种优选的实施方式,本申请实施例在确定目标区域之后,可以在所呈现的内窥镜图像(即,呈现在交互界面,供用户查看的内窥镜图像)中对其进行标识,以提示该区域为病灶疑似区域,需要对其进行重点诊断。或者,也可以在所呈现的内窥镜图像中对成像异常区域进行标识,以提示该区域所在位置存在成像异常的问题,需要重新检测。又或者,还可以在所呈现的内窥镜图像中同时对所述目标区域和所述成像异常区域进行标识,例如,可以利用第一预设视觉元素在内窥镜图像中标记目标区域;利用第二预设视觉元素在内窥镜图像中标记成像异常区域。如图2所示,上述第一预设视觉元素可以具体为深色方框,第二预设视觉元素可以具体为浅色方框,以分别圈出对应的区域进行标记提示。
需要指出的是,上述所呈现的内窥镜图像可以为多种,包括但不限于白光图像、自体荧光图像或融合图像。优选的,可采用白光图像进行显示,使其更直观、更符合人的视觉习惯。
通过以上方案可知,本申请提供的一种应用于内窥镜的图像处理方法,包括:获取被摄对象的白光图像和自体荧光图像;对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;剔除位于所述初始识别区域中的成像异常区域,得到目标区域。由上可知,本申请能够在获取到白光图像及自体荧光图像之后对二者进行融合处理,根据融合图像确定初始识别区域,并进一步基于白光图像和/或自体荧光图像识别成像异常区域,可剔除初始识别区域中的成像异常区域,排除成像异常对诊断所造成的影响,有效降低了内窥镜成像技术的误诊率。
本申请实施例公开了另一种应用于内窥镜的图像处理方法,相对于上一实施例,本实施例针对成像异常区域具体为低光强区域时的技术方案作了进一步的说明和优化。参见图3所示,具体的:
S201:获取被摄对象的白光图像和自体荧光图像;
S202:对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
S203:获取针对所述白光图像设置的第一亮度阈值和针对所述自体荧光图像设置的第二亮度阈值;
需要说明的是,由于白光图像探测器和荧光图像探测器的噪声水平不同,噪声水平越低,其对应的图像亮度通道阈值就可以设置的越低。由此,用户可以根据白光图像和自体荧光图像的信噪比要求,在存储器中分别预存可以正确显示融合自体荧光图像的白光图像亮度通道阈值和自体荧光图像亮度通道阈值。
可以理解的是,本申请实施例首先确定白光图像亮度通道对应的第一亮度阈值以及自体荧光图像对应的第二亮度阈值,具体可以是从存储器中获取预存的阈值,还可以是实时存入存储器的阈值。当然,针对存储器中预存的阈值,可以提供修改功能,具体可以在存储器中设置一条图像探测器增益与图像亮度通道阈值对应的曲线。当图像探测器增益改变时,图像亮度通道阈值也会随之进行相应的改变。
S204:筛选出所述白光图像中亮度值小于所述第一亮度阈值,并且其在所述自体荧光图像中的对应像素点的亮度值也小于所述第二亮度阈值的目标像素点;
本步骤中,由于白光图像和自体荧光图像均可能出现亮度不足的情况,需要对两个图像均进行阈值对比,即筛选出目标像素点,该目标像素点在白光图像中亮度值小于第一亮度阈值,且其在自体荧光图像中的对应像素点的亮度值也小于第二亮度阈值。
需要指出的是,若采用两个图像传感器(以下简称“sensor”)分别采集白光图像和自体荧光图像,则因为两个sensor之间存在物理距离,从而导致两幅图像中的对应像素点之间出现偏移,此时需要在筛选目标像素点之前先进行像素配准,以使两个图像中相同位置处的像素点相互对应,并在像素配准后将两个图像分别变换到对应的亮度空间。该亮度空间可具体选为灰度空间,从RGB色彩空间变换到灰度空间的计算公式具体为:L=1/3*(R+G+B),L为变换后灰度空间的像素值。
S205:结合所述目标像素点的所在位置,得到低光强区域;
在筛选得到所有的目标像素点之后,将结合所有目标像素点所在的位置信息确定出最终的低光强区域。具体地,可以将目标像素点占比大于预设比率的区域确定为低光强区域,并可将低光强区域对应的位置信息保存至存储器中。上述预设比率可以在实施过程中由用户基于具体需求设定,在此不对其进行限定。
S206:剔除位于所述初始识别区域中的低光强区域,得到目标区域。
本申请实施例公开了又一种应用于内窥镜的图像处理方法,相对于上一实施例,本实施例针对成像异常区域具体为反光区域时的技术方案作了进一步的说明和优化。参见图4所示,具体的:
S301:获取被摄对象的白光图像和自体荧光图像;
S302:对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
S303:利用第一深度学习网络对所述白光图像进行检测,得到反光区域;
需要说明的是,体腔内反光点产生的原因具体有两类:一是光照强度过大,部分近景区域超过sensor感光面的最大感光限制,形成亮度过曝饱和区域;二是来自光源的入射光照射到光滑的体腔组织表面,形成镜面反射,这部分反光点可能没有达到sensor的最大感光限制,但是也不包含具体组织信息。因此,很难直接通过阈值判断的方式检测出所有反光点。
本申请实施例中,可以采用深度学习网络对反光区域进行检测。在具体实施中,可首先在口腔、食管,胃、小肠等部位采集图像构建图像数据库,并对图像数据反光区域进行准确标注。为了增加模型的泛化能力,可以对上述图像进行旋转、缩放和镜像等操作以扩充样本量,并可选择一种深度学习网络进行训练和学习,最终生成能够输出反光区域和非反光区域的第一深度学习网络,以利用第一深度学习网络检测出白光图像中的反光区域。在识别得到反光区域之后,可以将上述区域对应的位置信息保存至存储器中。
作为另外一种可行的实施方式,还可利用传统的图像识别方法,例如阈值判别法、模板匹配法进行识别检测,具体地,可以将RGB像素全同的区域判定为反光区域。例如,若一小片区域的像素值都是(255,255,255),或者(150,150,150),即认为该区域为反光区域;由此,可以采用传统算法进行像素判断,如比较R、G、B三个通道的像素值是否相同,如果相同则判定为“反光点”。
S304:剔除位于所述初始识别区域中的反光区域,得到目标区域。
本申请实施例公开了再一种应用于内窥镜的图像处理方法,相对于上一实施例,本实施例针对成像异常区域具体为异物区域时的技术方案作了进一步的说明和优化。参见图5所示,具体的:
S401:获取被摄对象的白光图像和自体荧光图像;
S402:对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
S403:利用第三深度学习网络对所述白光图像进行检测,得到异物区域;
本申请实施例中,可以采用深度学习网络实现异物区域的检测。由于深度学习网络会利用卷积运算自动提取图像不同维度的特征信息,相较于基于强度和色彩的传统检测方式,具备更快的检测速度及更高的准确率。在数据库构建和样本量扩增方式上,可参考上述第一深度学习网络的构建过程,最终生成能够输出异物和粘膜组织两类结果的第三深度学习网络,以利用第三深度学习网络检测识别出白光图像中的异物区域。
S404:剔除位于所述初始识别区域中的异物区域,得到目标区域。
本申请实施例公开了还一种应用于内窥镜的图像处理方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。参见图6所示,具体的:
S501:获取被摄对象的白光图像和自体荧光图像;
S502:对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
S503:利用第一深度学习网络对所述白光图像进行检测,得到反光区域;
S504:在所述白光图像中剔除所述反光区域,得到剔除后的目标图像;
S505:利用第二深度学习网络对所述目标图像进行检测,得到异物区域;
本申请实施例中,若成像异常区域同时包括反光区域和异物区域,则可以在识别出反光区域之后,首先在白光图像中剔除反光区域后,再进行异物区域的识别,以降低异物区域检测的复杂度,并可提高检测的准确性。
具体地,可以获取已识别到的反光区域的位置坐标信息,在利用第二深度学习网络检测时,忽略掉这些反光区域位置坐标的图像信息;或直接将反光区域的像素点赋值为0,在利用第二深度学习网络检测时,不检测像素值为0的区域。
S506:剔除位于所述初始识别区域中的反光区域和异物区域,得到目标区域。
下面对本申请实施例提供的一种应用于内窥镜的图像处理装置进行介绍,下文描述的一种图像处理装置与上文描述的一种图像处理方法可以相互参照。
参见图7所示,本申请实施例提供的一种应用于内窥镜的图像处理装置包括:
图像获取单元601,用于获取被摄对象的白光图像和自体荧光图像;
图像融合单元602,用于对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
成像异常区域检测单元603,用于基于所述白光图像和/或所述自体荧光图像,识别出成像异常区域;
目标区域识别单元604,用于剔除位于所述初始识别区域中的成像异常区域,得到目标区域。
关于上述单元601至604的具体实施过程可参考前述实施例公开的相应内容,在此不再进行赘述。
在上述实施例的基础上,作为一种优选实施方式,所述成像异常区域包括:低光强区域、反光区域和异物区域中的至少一种。
在上述实施例的基础上,作为一种优选实施方式,所述图像处理装置还可以进一步包括:
显示单元,用于在所呈现的内窥镜图像中,通过第一视觉元素标识所述目标区域;
其中,所述内窥镜图像包括所述白光图像、所述自体荧光图像和所述融合图像中的任意一种。
在上述实施例的基础上,作为一种优选实施方式,所述显示单元还可以具体用于:
在所呈现的所述内窥镜图像中,通过第二视觉元素标识所述成像异常区域。
在上述实施例的基础上,作为一种优选实施方式,当所述成像异常区域包括所述低光强区域时,所述成像异常区域检测单元603可以具体包括:
阈值获取子单元,用于获取针对所述白光图像设置的第一亮度阈值和针对所述自体荧光图像设置的第二亮度阈值;
像素点筛选子单元,用于筛选出所述白光图像中亮度值小于所述第一亮度阈值,并且其在所述自体荧光图像中的对应像素点的亮度值也小于所述第二亮度阈值的目标像素点;
低光强区域确定子单元,用于结合所述目标像素点的所在位置,得到所述低光强区域。
在上述实施例的基础上,作为一种优选实施方式,当所述成像异常区域包括所述反光区域时,所述成像异常区域检测单元603可以具体包括:
第一检测子单元,用于利用第一深度学习网络对所述白光图像进行检测,得到所述反光区域。
在上述实施例的基础上,作为一种优选实施方式,当所述成像异常区域还包括所述异物区域时,所述成像异常区域检测单元603还可以进一步包括:
区域剔除单元,用于在所述白光图像中剔除所述反光区域,得到剔除后的目标图像;
第二检测单元,用于利用第二深度学习网络对所述目标图像进行检测,得到所述异物区域。
或者,作为另一种优选实施方式,当所述成像异常区域包括所述异物区域时,所述成像异常区域检测单元603可以具体包括:
第三检测单元,用于利用第三深度学习网络对所述白光图像进行检测,得到所述异物区域。
本申请还提供了一种图像处理设备,参见图8所示,本申请实施例提供的一种图像处理设备包括:
存储器100,用于存储计算机程序;
处理器200,用于执行所述计算机程序时可以实现上述任一实施例所提供的图像处理方法。
具体的,存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令,该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,为图像处理设备提供计算和控制能力,执行所述存储器100中保存的计算机程序时,可以实现前述任一实施例公开的应用于内窥镜的图像处理方法的步骤。
在上述实施例的基础上,作为优选实施方式,参见图9所示,所述图像处理设备还包括:
输入接口300,与处理器200相连,用于获取外部导入的计算机程序、参数和指令,经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连,接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是键盘、触控板或鼠标等。
显示单元400,与处理器200相连,用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。
网络端口500,与处理器200相连,用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术,如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
图9仅示出了具有组件100-500的图像处理设备,本领域技术人员可以理解的是,图9示出的结构并不构成对图像处理设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本申请还提供了一种内窥镜系统,参见图10所示,本申请实施例提供的内窥镜系统,包括:
光源装置10,用于向被摄对象发射白光和激励光;
成像装置20,用于采集经所述被摄对象反射的白光,以形成所述被摄对象的白光图像,以及,采集所述被摄对象受所述激励光的激励而产生的荧光,以形成所述被摄对象的自体荧光图像;
如前述公开的图像处理设备30,其与所述成像装置20通信连接,用于对所述白光图像和所述自体荧光图像进行图像处理;
以及,
显示器40,与所述图像处理设备30通信连接,用于呈现所述图像处理设备30输出的图像处理结果。
本申请还提供了一种计算机可读存储介质,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述任一实施例公开的应用于内窥镜的图像处理方法。
本申请能够在获取到白光图像及自体荧光图像之后对二者进行融合处理,根据融合图像确定初始识别区域,并进一步基于白光图像和/或自体荧光图像识别成像异常区域,可剔除初始识别区域中的成像异常区域,排除成像异常对诊断所造成的影响,有效降低了内窥镜成像技术的误诊率。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。并且,上述各个实施例之间只要不冲突,均可相互组合以得到新的实施方式。对于实施例公开的装置及相关设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种应用于内窥镜的图像处理方法,其特征在于,包括:
获取被摄对象的白光图像和自体荧光图像;
对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
基于所述白光图像和所述自体荧光图像,识别出成像异常区域;
剔除位于所述初始识别区域中的成像异常区域,得到目标区域;
其中,所述成像异常区域包括低光强区域,所述基于所述白光图像和所述自体荧光图像,识别出成像异常区域,包括:
获取针对所述白光图像设置的第一亮度阈值和针对所述自体荧光图像设置的第二亮度阈值;
筛选出所述白光图像中亮度值小于所述第一亮度阈值,并且其在所述自体荧光图像中的对应像素点的亮度值也小于所述第二亮度阈值的目标像素点;
结合所述目标像素点的所在位置,得到所述低光强区域。
2.根据权利要求1所述的图像处理方法,其特征在于,当所述成像异常区域还包括反光区域时,所述基于所述白光图像和所述自体荧光图像,识别出成像异常区域,还包括:
利用第一深度学习网络对所述白光图像进行检测,得到所述反光区域。
3.根据权利要求2所述的图像处理方法,其特征在于,当所述成像异常区域还包括异物区域时,所述利用第一深度学习网络对所述白光图像进行检测,得到所述反光区域的步骤之后,还包括:
在所述白光图像中剔除所述反光区域,得到剔除后的目标图像;
利用第二深度学习网络对所述目标图像进行检测,得到所述异物区域。
4.根据权利要求1所述的图像处理方法,其特征在于,当所述成像异常区域还包括异物区域时,所述基于所述白光图像和所述自体荧光图像,识别出成像异常区域,还包括:
利用第三深度学习网络对所述白光图像进行检测,得到所述异物区域。
5.根据权利要求1至4任一项所述的图像处理方法,其特征在于,所述方法还包括:
在所呈现的内窥镜图像中,通过第一视觉元素标识所述目标区域;
其中,所述内窥镜图像包括所述白光图像、所述自体荧光图像和所述融合图像中的任意一种。
6.根据权利要求5所述的图像处理方法,其特征在于,所述方法还包括:
在所呈现的所述内窥镜图像中,通过第二视觉元素标识所述成像异常区域。
7.一种应用于内窥镜的图像处理装置,其特征在于,包括:
图像获取单元,用于获取被摄对象的白光图像和自体荧光图像;
图像融合单元,用于对所述白光图像和所述自体荧光图像进行融合处理,并基于所得到的融合图像确定初始识别区域;
成像异常区域检测单元,用于基于所述白光图像和所述自体荧光图像,识别出成像异常区域;
目标区域识别单元,用于剔除位于所述初始识别区域中的成像异常区域,得到目标区域;
其中,所述成像异常区域包括低光强区域,所述成像异常区域检测单元,具体用于获取针对所述白光图像设置的第一亮度阈值和针对所述自体荧光图像设置的第二亮度阈值;筛选出所述白光图像中亮度值小于所述第一亮度阈值,并且其在所述自体荧光图像中的对应像素点的亮度值也小于所述第二亮度阈值的目标像素点;结合所述目标像素点的所在位置,得到所述低光强区域。
8.根据权利要求7所述的图像处理装置,其特征在于,所述装置还包括:
显示单元,用于在所呈现的内窥镜图像中,通过第一视觉元素标识所述目标区域;
其中,所述内窥镜图像包括所述白光图像、所述自体荧光图像和所述融合图像中的任意一种。
9.根据权利要求8所述的图像处理装置,其特征在于,所述显示单元还用于:
在所呈现的所述内窥镜图像中,通过第二视觉元素标识所述成像异常区域。
10.一种图像处理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述图像处理方法。
11.一种内窥镜系统,其特征在于,包括:
光源装置,用于向被摄对象发射白光和激励光;
成像装置,用于采集经所述被摄对象反射的白光,以形成所述被摄对象的白光图像,以及,采集所述被摄对象受所述激励光的激励而产生的荧光,以形成所述被摄对象的自体荧光图像;
如权利要求10所述的图像处理设备,其与所述成像装置通信连接,用于对所述白光图像和所述自体荧光图像进行图像处理;
以及,
显示器,与所述图像处理设备通信连接,用于呈现所述图像处理设备输出的图像处理结果。
CN202010349342.XA 2020-04-28 2020-04-28 一种应用于内窥镜的图像处理方法、装置及相关设备 Active CN111513660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010349342.XA CN111513660B (zh) 2020-04-28 2020-04-28 一种应用于内窥镜的图像处理方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010349342.XA CN111513660B (zh) 2020-04-28 2020-04-28 一种应用于内窥镜的图像处理方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN111513660A CN111513660A (zh) 2020-08-11
CN111513660B true CN111513660B (zh) 2024-05-17

Family

ID=71904803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349342.XA Active CN111513660B (zh) 2020-04-28 2020-04-28 一种应用于内窥镜的图像处理方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN111513660B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884666B (zh) * 2021-02-02 2024-03-19 杭州海康慧影科技有限公司 图像处理方法、装置及计算机存储介质
CN113469996B (zh) * 2021-07-16 2023-06-20 四川大学华西医院 一种内窥镜黏膜图像反光区域检测与修复系统
CN114298980A (zh) * 2021-12-09 2022-04-08 杭州海康慧影科技有限公司 一种图像处理方法、装置及设备
CN114882096B (zh) * 2022-07-12 2023-05-16 广东欧谱曼迪科技有限公司 荧光内窥镜下的测距方法、装置、电子设备及存储介质
CN115330624A (zh) * 2022-08-17 2022-11-11 华伦医疗用品(深圳)有限公司 一种获取荧光图像的方法、装置及内窥镜系统
CN115115755B (zh) * 2022-08-30 2022-11-08 南京诺源医疗器械有限公司 基于数据处理的荧光三维成像方法及装置
CN115393348B (zh) * 2022-10-25 2023-03-24 绵阳富临医院有限公司 一种基于图像识别的烧伤检测方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206546A (ja) * 1999-01-26 2011-10-20 Newton Lab Inc 内視鏡用の自己蛍光画像化システム
EP2478827A1 (en) * 2011-01-19 2012-07-25 Fujifilm Corporation Endoscope system
CN107440669A (zh) * 2017-08-25 2017-12-08 北京数字精准医疗科技有限公司 一种双通道内窥式成像系统
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110855889A (zh) * 2019-11-21 2020-02-28 重庆金山医疗技术研究院有限公司 图像处理方法、装置、图像处理设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862582B2 (ja) * 2001-06-29 2006-12-27 富士フイルムホールディングス株式会社 蛍光画像取得方法および装置並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206546A (ja) * 1999-01-26 2011-10-20 Newton Lab Inc 内視鏡用の自己蛍光画像化システム
EP2478827A1 (en) * 2011-01-19 2012-07-25 Fujifilm Corporation Endoscope system
CN107440669A (zh) * 2017-08-25 2017-12-08 北京数字精准医疗科技有限公司 一种双通道内窥式成像系统
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110855889A (zh) * 2019-11-21 2020-02-28 重庆金山医疗技术研究院有限公司 图像处理方法、装置、图像处理设备及存储介质

Also Published As

Publication number Publication date
CN111513660A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111513660B (zh) 一种应用于内窥镜的图像处理方法、装置及相关设备
CN110325100B (zh) 内窥镜系统及其操作方法
JP2020073081A (ja) 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
JP5435746B2 (ja) 内視鏡装置
US8144993B2 (en) Medical image processing method
CN112423645B (zh) 内窥镜系统
US11526986B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP4832927B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP2011234931A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
JPWO2019198637A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7059297B2 (ja) 医療画像処理装置
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
US11869183B2 (en) Endoscope processor, information processing device, and endoscope system
US20240016387A1 (en) System and method for residual cancer cell detection
CN112105284A (zh) 图像处理装置、内窥镜系统及图像处理方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
US20230050945A1 (en) Image processing system, endoscope system, and image processing method
US20190053709A1 (en) Examination system and examination method thereof
WO2015049936A1 (ja) 器官画像撮影装置
JPWO2015068494A1 (ja) 器官画像撮影装置
JP6120758B2 (ja) 医用システム
CN109394172B (zh) 检测系统及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant