CN117237268A - 一种超声图像处理方法、装置、电子设备及存储介质 - Google Patents
一种超声图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117237268A CN117237268A CN202211447127.9A CN202211447127A CN117237268A CN 117237268 A CN117237268 A CN 117237268A CN 202211447127 A CN202211447127 A CN 202211447127A CN 117237268 A CN117237268 A CN 117237268A
- Authority
- CN
- China
- Prior art keywords
- operation execution
- execution target
- contour
- image
- ultrasonic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 181
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000002604 ultrasonography Methods 0.000 claims description 177
- 230000011218 segmentation Effects 0.000 claims description 71
- 238000013507 mapping Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000523 sample Substances 0.000 description 53
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 206010042674 Swelling Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请实施例提供了一种超声图像处理方法、装置、电子设备及存储介质,所述方法包括:获取超声图像,其中,超声图像包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息,基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。由于可以在超声图像中显示操作执行目标的轮廓,在操作者识别超声图像中的操作执行目标时,可以根据操作执行目标的轮廓分辨操作执行目标,提高操作者识别操作执行目标的准确度,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
Description
技术领域
本申请涉及超声图像领域,特别是涉及一种超声图像处理方法、装置、电子设备及存储介质。
背景技术
超声图像是基于被探测目标对超声信号的反射、散射而回的信号,通过模拟收发、波束合成等处理,将信号幅度按时间先后用不同灰阶值来表示所形成的图像。超声图像的应用非常广泛,例如,可以用于产品探伤、手术辅助等。
目前对于超声图像,需要人工观看并识别其中的各个目标,或者是识别目标内部的各部分。例如,在利用超声图像进行手术辅助时,超声图像中包括人体部位和手术器械,需要医生用肉眼分辨超声图像中的人体部位和手术器械,才能进行准确的操作。然而,人眼识别超声图像中的目标准确度是较低的。
发明内容
本申请实施例的目的在于提供一种超声图像处理方法、装置、电子设备及存储介质,以准确识别超声图像中的目标。具体技术方案如下:
第一方面,本申请实施例提供了一种超声图像处理方法,所述方法包括:
获取超声图像,其中,所述超声图像包括被操作目标和操作执行目标,所述操作执行目标对应的实体对所述被操作目标对应的实体进行预设操作;
对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息;
基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓。
可选的,所述对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息的步骤,包括:
将所述超声图像输入预先训练的轮廓分割模型,基于所述超声图像的图像特征对所述超声图像进行轮廓分割,输出所述操作执行目标的轮廓位置信息;或,
对所述超声图像进行二值化处理,得到二值化超声图像;对所述二值化超声图像进行形态学处理,得到所述操作执行目标的轮廓位置信息。
可选的,所述基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓的步骤,包括:
基于所述轮廓位置信息,确定所述超声图像中所述操作执行目标的轮廓区域;
对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域;
在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓。
可选的,所述对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域的步骤,包括:
基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,得到增强后的所述操作执行目标的轮廓区域。
可选的,所述对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域的步骤,包括:
将所述超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;或,基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;
对所述彩色超声图像中与所述轮廓区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的所述操作执行目标的轮廓区域。
可选的,所述在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓的步骤,包括:
基于所述轮廓位置信息,在增强处理后的所述操作执行目标的轮廓区域中突出显示所述操作执行目标的轮廓。
可选的,所述基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓的步骤,包括:
基于所述轮廓位置信息,在所述超声图像中突出显示所述操作执行目标的轮廓。
可选的,所述获取超声图像的步骤,包括:
获取超声设备采集的超声视频流;
从所述超声视频流中解析得到视频帧,作为超声图像。
第二方面,本申请实施例提供了一种超声图像处理装置,所述装置包括:
超声图像获取模块,用于获取超声图像,其中,所述超声图像包括被操作目标和操作执行目标,所述操作执行目标对应的实体对所述被操作目标对应的实体进行预设操作;
轮廓位置信息获取模块,用于对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息;
轮廓显示模块,用于基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓。
可选的,所述轮廓位置信息获取模块,包括:
轮廓位置信息获取子模块,用于将所述超声图像输入预先训练的轮廓分割模型,基于所述超声图像的图像特征对所述超声图像进行轮廓分割,输出所述操作执行目标的轮廓位置信息;或,
用于对所述超声图像进行二值化处理,得到二值化超声图像;对所述二值化超声图像进行形态学处理,得到所述操作执行目标的轮廓位置信息。
可选的,所述轮廓显示模块,包括:
轮廓区域确定子模块,用于基于所述轮廓位置信息,确定所述超声图像中所述操作执行目标的轮廓区域;
轮廓区域显示子模块,用于对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域;
第一显示子模块,用于在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓。
可选的,所述轮廓区域显示子模块,包括:
轮廓区域获取单元,用于基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,得到增强后的所述操作执行目标的轮廓区域。
可选的,所述轮廓区域显示子模块,包括:
彩色超声图像获取单元,用于将所述超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;或,基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;
轮廓区域获取单元,用于对所述彩色超声图像中与所述轮廓区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的所述操作执行目标的轮廓区域。
可选的,所述轮廓显示子模块,包括:
轮廓显示单元,用于基于所述轮廓位置信息,在增强处理后的所述操作执行目标的轮廓区域中突出显示所述操作执行目标的轮廓。
可选的,所述轮廓显示模块,包括:
第二显示子模块,用于基于所述轮廓位置信息,在所述超声图像中突出显示所述操作执行目标的轮廓。
可选的,所述超声图像获取模块,包括:
超声视频流获取子模块,用于获取超声设备采集的超声视频流;
超声图像获取子模块,用于从所述超声视频流中解析得到视频帧,作为超声图像。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。
本申请实施例有益效果:
本申请实施例提供的方案中,电子设备可以获取超声图像,其中,超声图像包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息,基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。由于在超声图像中包括被操作目标和操作执行目标的情况下,可以对超声图像中的操作执行目标的轮廓进行检测,基于得到的操作执行目标的轮廓位置信息,在超声图像中显示操作执行目标的轮廓,因此,在操作者识别超声图像中的操作执行目标时,可以根据操作执行目标的轮廓分辨操作执行目标,可以提高操作者识别操作执行目标的准确度,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例所提供的一种超声图像处理方法的流程图;
图2为本申请实施例所提供的超声诊断系统的一种结构示意图;
图3为本申请实施例所提供的超声诊断系统的一种功能结构示意图;
图4为本申请实施例所提供的内窥镜系统的一种结构示意图;
图5为基于图1所示实施例的超声图像轮廓分割模型训练和测试的一种流程示意图;
图6为基于图1所示实施例的操作执行目标分割网络的一种结构示意图;
图7为基于图1所示实施例的得到操作执行目标的轮廓位置信息的一种流程示意图;
图8为基于图1所示实施例的得到轮廓分割模型的一种具体流程图;
图9(a)为基于图1所示实施例的包括操作执行目标的超声图像的一种示意图;
图9(b)为基于图1所示实施例的包括操作执行目标的超声图像的另一种示意图;
图10为图8所示实施例中步骤S802的一种具体流程图;
图11为基于图1所示实施例显示操作执行目标的轮廓的一种流程图;
图12为基于图1所示实施例对轮廓区域进行彩色增强处理的一种流程图;
图13为基于图1所示实施例的图像增强处理的一种具体流程图;
图14为基于图1所示实施例的超声图像显示方式的一种示意图;
图15为图1所示实施例中步骤S101的一种具体流程图;
图16为本申请实施例所提供的超声图像处理系统的一种结构示意图;
图17为本申请实施例所提供的超声图像处理方法的一种具体流程图;
图18为本申请实施例所提供的一种超声图像处理装置的结构示意图;
图19为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
为了准确识别超声图像中的目标,本申请实施例提供了一种超声图像处理方法、装置、系统、电子设备、计算机可读存储介质以及计算机程序产品。下面首先对本申请实施例所提供的一种超声图像处理方法进行介绍。
本申请实施例所提供的一种超声图像处理方法,可以应用于任意需要进行超声图像处理的电子设备,例如,可以为超声诊断系统或者其他超声图像处理设备,在此不做具体限定,为了描述清楚,以下称为电子设备。
如图1所示,一种超声图像处理方法,所述方法包括:
S101,获取超声图像;
其中,所述超声图像包括被操作目标和操作执行目标,所述操作执行目标对应的实体对所述被操作目标对应的实体进行预设操作。
S102,对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息;
S103,基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓。
可见,在本申请实施例所提供的方案中,电子设备可以获取超声图像,其中,超声图像包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息,基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。由于在超声图像中包括被操作目标和操作执行目标的情况下,可以对超声图像中的操作执行目标的轮廓进行检测,基于得到的操作执行目标的轮廓位置信息,在超声图像中显示操作执行目标的轮廓,因此,在操作者识别超声图像中的操作执行目标时,可以根据操作执行目标的轮廓分辨操作执行目标,可以提高操作者识别操作执行目标的准确度,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
由于超声图像可以显示超声探测到的各个目标,因此,在医疗手术中,操作者可以利用超声图像识别各个目标,并基于各个目标的位置,确定各个目标之间的相对位置,其应用越来越广泛。
例如,在医疗手术中,操作者使用内窥镜设备进行手术时,只能通过显示器看到组织表面的信息,而病灶、重要神经或目标位置往往被筋膜和组织覆盖在深处,操作者无法看到深层的信息,导致在使用手术器械分离组织的情况下,有产生误伤关键人体结构的风险。因此,使用超声图像可以帮助操作者定位常规可见光视觉无法看到的目标位置,以及手术器械和目标位置的相对位置关系,进而为操作者提供实时的手术导航。
但是,手术器械在超声图像中的回声往往不稳定,因此,操作者用肉眼分辨超声图像中的手术器械目标,准确度是较低的。本申请提供了一种图像超声图像处理方法,可以提高操作者识别超声图像中的手术器械目标的准确度。
在步骤S101中,电子设备可以获取超声图像,其中,超声图像可以为超声设备采集的超声视频流中的任一视频帧。操作图像中可以包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作。预设操作可以包括检测操作、切割操作、缝合操作等,在此不做具体限定。
在一种实施方式中,电子设备可以是超声诊断系统,超声诊断系统可以获取超声图像。
超声诊断系统可以包括超声探头、超声系统主机、操作装置、显示装置和存储装置。其中,超声探头根据自身的应用场景,可以在被检体体表或通过插入被检体来拍摄被检体的观察部位并生成超声图像数据。超声系统主机对超声探头传入的超声图像数据的信号执行规定的相关操作,并且可以统一控制超声诊断系统整体的动作。显示装置处理并显示与超声系统主机的超声图像数据对应的超声图像及相关状态信息。存储装置存储与超声系统主机的超声图像数据对应的超声图像。
例如,如图2所示,超声诊断系统包括超声探头201、超声系统主机202、操作界面203、超声显示屏204。其中,操作者可以通过超声探头201,或在被检体体表,或插入被检体体内,拍摄超声图像,那么,超声诊断系统可以获取超声图像,输出至超声显示屏204,也可以存储至存储装置。其中,该超声图像中包括的被操作目标可以为被检体检测部位的病变部位,操作执行目标可以为对被检体检测部位进行检测的检测器械。
电子设备获取到超声图像,在步骤S102中,可以对超声图像中的操作执行目标进行轮廓检测,进而可以得到操作执行目标的轮廓位置信息。其中,轮廓位置信息用于表示操作执行目标的轮廓位置。
轮廓检测是在包括目标和背景的图像中,忽略背景和目标内部的纹理以及噪声干扰的影响,采用一定的技术和方法来实现目标轮廓提取的过程。因此,电子设备获取到超声图像,可以通过轮廓检测实现对超声图像中的操作执行目标的轮廓的提取。
在一种实施方式中,电子设备可以利用传统算法对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息。其中,传统算法是可以基于超声图像中灰度值发生急剧变化的位置进行轮廓检测的方法。
在另一种实施方式中,电子设备可以利用深度学习方法对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息。其中,深度学习方法是可以利用卷积神经网络学习图像特征,进而训练得到轮廓分割模型对超声图像中的操作执行目标进行轮廓检测的方法。
在超声诊断系统中,超声系统主机可以对从超声探头接收到的图像数据进行处理,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息。
如图3所示,在超声诊断系统中,其中,超声探头包括信号收发单元、处理单元、操作单元,超声系统主机包括图像输入单元、超声图像处理单元、超声智能处理单元、视频编码单元、控制单元和操作单元。显示装置和存储装置为外置设备。
超声系统主机中图像输入单元可以接收超声探头发送过来的信号,将接受到的信号进行模拟收发、波束合成、信号转换等处理并传输给超声图像处理单元。超声图像处理单元对图像输入单元的超声图像进行ISP(Image Signal Processor,图像信号处理器)操作,可以包括亮度变换、锐化、对比度增强等。超声图像处理单元可以将处理后的超声图像传输至超声智能处理单元、视频编码单元或显示装置。
超声智能处理单元对超声图像处理单元处理后的超声图像进行智能分析,可以包括基于深度学习的目标识别、检测、分割。超声智能处理单元可以将处理后的超声图像传输给超声图像处理单元或视频编码单元。
超声图像处理单元对超声智能处理单元处理后的超声图像的处理方式可以包括轮廓增强、亮度变换、叠框和缩放。视频编码单元将超声图像处理单元或超声智能处理单元处理后的超声图像进行编码压缩,并传输给存储装置。
控制单元控制超声系统的各个模块,可以包括界面操作方式、图像处理方式、超声测量方式和视频编码方式。操作单元可以包括开关、按钮和触摸面板等,接收外部指示信号,将接收的指示信号输出到控制单元。
例如,在医疗手术中,在对被检体进行检测时,操作者可以采用一种检测器械内窥镜。其中,内窥镜可以插入被检体的体内来拍摄被检体的检测部位,将拍摄的体内图像输出到外部的显示装置和存储装置。
如图4所示,内窥镜系统的结构可以包括内窥镜401、光源402、系统主机403、显示装置404和存储装置405。内窥镜401通过插入被检体来拍摄被检体的检测部位并生成图像数据。光源402可以提供从内窥镜装置前端射出的照明光。系统主机403对内窥镜生成的图像数据执行规定的图像相关操作,并且统一控制内窥镜系统整体的动作。显示装置显示与内窥镜系统主机的图像数据对应的图像。存储装置存储与内窥镜系统主机的图像数据对应的图像。但是,在内窥镜图像中很难准确清楚的识别内窥镜目标。
为了使操作者在使用内窥镜时,可以在显示的包括内窥镜目标的超声图像中准确识别内窥镜目标,可以由超声诊断系统对超声图像中的内窥镜目标进行轮廓检测,进而可以得到内窥镜目标的轮廓位置信息。
接下来,在电子设备得到轮廓位置信息时,在步骤S103中,可以基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。
超声图像是由像素所构成,操作执行目标的轮廓位置信息可以由操作执行目标的轮廓像素信息组成,那么,电子设备可以基于像素信息在超声图像中显示操作执行目标的轮廓。
例如,在宫腔镜手术中,若宫腔粘连严重,内窥镜图像视野被白色瘢痕组织占据,无法探测宫底,在手术器械分离粘连时,易误伤到子宫壁,造成子宫损伤。那么,超声诊断系统可以对超声图像中的手术器械目标进行轮廓检测,得到手术器械目标的轮廓像素信息,基于该手术器械目标的轮廓像素信息,在超声图像中显示手术器械目标的轮廓,进而可以使操作者观看手术器械目标和宫底目标的相对位置关系,操作手术器械分离粘连,减少手术误伤风险。
在本实施例的方案中,由于对超声图像中的操作执行目标的轮廓进行检测,可以得到操作执行目标的轮廓位置信息,基于该轮廓位置信息,可以在超声图像中显示操作执行目标,进而可以准确识别超声图像中的各目标,使操作者可以准确操作执行目标对被操作目标进行操作。
作为本申请实施例的一种实施方式,上述对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息的步骤,可以包括:
将所述超声图像输入预先训练的轮廓分割模型,基于所述超声图像的图像特征对所述超声图像进行轮廓分割,输出所述操作执行目标的轮廓位置信息;或,
对所述超声图像进行二值化处理,得到二值化超声图像;对所述二值化超声图像进行形态学处理,得到所述操作执行目标的轮廓位置信息。
电子设备在获取到超声图像后,可以对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息。
在一种实施方式中,电子设备可以基于深度学习方法,可以将超声图像输入预先训练的轮廓分割模型,基于超声图像的图像特征对超声图像进行轮廓分割,进而可以输出操作执行目标的轮廓位置信息。其中,轮廓分割模型可以包括前向推理框架,在此不做具体限定。在对超声图像进行分割后,可以对分割后的结果进行形态学处理、去除干扰处理等,这都是合理的。
基于深度学习方法,可以分为两个阶段实现对超声图像进行轮廓分割:训练阶段和测试阶段。其中,训练阶段用于得到轮廓分割模型,测试阶段利用轮廓分割模型对超声图像进行轮廓分割。
具体的,如图5所示,在轮廓分割模型的训练过程中,可以基于训练图像和标签、损失函数、网络结构进行网络训练,经过网络训练后,可以得到分割模型,即轮廓分割模型,进而进行轮廓分割模型的测试过程。在测试过程中,可以利用训练过程得到的轮廓分割模型对测试图像进行网络推理,得到轮廓分割结果,可以对轮廓分割结果进行形态学处理和去除干扰处理,进而得到超声图像中的操作执行目标的轮廓位置信息。
其中,网络结构为基于深度学习分割网络结构,可以由编码网络和解码网络组成,编码网络可以由卷积和下采样组成,解码网络可以由卷积和上采样组成。例如,可以为Unet网络结构,在此不做具体限定。如图6所示,训练图像为内窥镜图像,即包括内窥镜目标的超声图像,那么可以将内窥镜图像输入至网络结构,经由编码网络处理和解码网络处理后,得到超声图像的分割结果。
例如,超声图像中包括有手术器械目标,为了准确识别手术器械目标,可以将超声图像输入预先训练的轮廓分割模型,那么,电子设备可以基于超声图像的图像特征对该超声图像进行轮廓分割,得到轮廓分割结果,进而可以输出手术器械目标的轮廓位置信息。
在另一种实施方式中,电子设备可以利用超声图像中灰度值变化对操作执行目标进行轮廓检测,如图7所示,可以对超声图像进行二值化处理,得到二值化超声图像,进而对二值化超声图像进行形态学处理,得到操作执行目标的轮廓位置信息。
其中,在超声图形为彩色超声图像的情况下,需要将该超声图像转换为灰度图像。具体的,可以针对超声图像中的每一个像素点,基于公式Gray=R*0.299+G*0.587+B*0.114将该像素点的像素值进行变换,其中,R、G、B表示红、绿、蓝三个通道的颜色,Gray是变换后的像素灰度。
在对超声图像进行二值化处理,可以根据预设阈值把灰度图像转换成二值图像,把大于预设阈值的像素点灰度设为灰度极大值,把小于预设阈值的像素点灰度设为灰度极小值,进而可以得到二值化超声图像。当然,二值化处理可以采用局部均值二值化方法,这都是合理的。
电子设备得到二值化超声图像,可以对该二值化超声图像进行形态学处理,使得到的操作执行目标的轮廓更加清晰,进而得到操作执行目标的轮廓位置信息。其中,形态学处理可以包括腐蚀处理、膨胀处理、顶帽变换处理、底帽变换处理,在此不做具体限定。
例如,超声图像中包括有内窥镜目标,超声诊断系统可以对超声图像进行二值化处理,得到二值化超声图像,基于9x9的滤波核对该二值化超声图像进行腐蚀处理,获取到经过腐蚀处理的二值化超声图像,基于9x9的滤波核对经过腐蚀处理的二值化超声图像进行膨胀处理,可以得到操作执行目标的轮廓位置信息。
可见,在本实施例中,电子设备可以将超声图像输入预先训练的轮廓分割模型,基于超声图像的图像特征对超声图像进行轮廓分割,输出操作执行目标的轮廓位置信息,或,对超声图像进行二值化处理,得到二值化超声图像,对二值化超声图像进行形态学处理,得到操作执行目标的轮廓位置信息。由于可以采用以上两种方式对超声图像进行轮廓检测,以得到操作执行目标的轮廓位置信息,可以基于该轮廓位置信息在超声图像中显示操作执行目标的轮廓,进而使操作者可以识别超声图像中的操作执行目标,可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,如图8所示,上述轮廓分割模型的训练方式,可以包括:
S801,获取样本超声图像以及所述样本超声图像对应的标定标签;
其中,所述样本超声图像包括被操作目标和操作执行目标,所述标定标签用于标识对应的样本超声图像中的操作执行目标的轮廓位置信息;
为了训练轮廓分割模型,需要样本超声图像,同时样本超声图像标注有其对应的标定标签,那么,电子设备可以获取样本超声图像以及样本超声图像对应的标定标签。
在一种实施方式中,样本超声图像中的标定标签可以由人工进行标注,标定标签可以标识出操作执行目标的轮廓位置信息,具有标定标签的超声图像可以是一张二值化图像,其中,轮廓内部值标为1,轮廓外部值标为0。
例如,如图9(a)所示,样本超声图像中的操作执行目标是手术器械目标901,那么,可以由经验丰富的医生对超声图像中的手术器械目标901的轮廓位置信息进行标注,并输出二值化图像,如图9(b)所示,二值化图像中手术器械目标903的轮廓内部值为1,轮廓外部值为0,进而可以获取样本超声图像以及样本超声图像对应的标定标签。
S802,基于所述样本超声图像以及其对应的标定标签,对预设轮廓分割模型进行训练,得到所述轮廓分割模型。
获取到样本超声图像以及样本超声图像对应的标定标签,电子设备可以采用各样本超声图像以及其对应的标定标签,对预设轮廓分割模型进行训练,得到轮廓分割模型。
例如,承接上述步骤S801中的例子,各样本超声图像中具有手术器械目标,对各样本超声图像进行标注,可以得到其对应的标定标签,那么,可以基于各样本超声图像以及其对应的标定标签,对该预设的手术器械目标的轮廓分割模型进行训练,进而得到手术器械目标的轮廓分割模型。
可见,在本实施例中,获取样本超声图像以及样本超声图像对应的标定标签,其中,样本超声图像包括被操作目标和操作执行目标,标定标签用于标识对应的样本超声图像中的操作执行目标的轮廓位置信息,基于样本超声图像以及其对应的标定标签,对预设轮廓分割模型进行训练,得到轮廓分割模型。由于基于样本超声图像以及其对应的标定标签,可以训练预设轮廓分割模型,得到轮廓分割模型,可以对超声图像中操作执行目标进行轮廓检测,使操作者可以根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以准确操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,上述基于所述样本超声图像以及其对应的标签,对预设轮廓分割模型进行训练,得到所述轮廓分割模型的步骤,如图10所示,可以包括:
S1001,将所述样本超声图像输入预设轮廓分割模型,得到所述预设轮廓分割模型基于所述样本超声图像的图像特征,确定的所述样本超声图像中的操作执行目标的轮廓位置信息,作为预测标签;
由于超声图像具有图像特征,将样本超声图像输入预设轮廓分割模型,预设轮廓分割模型可以基于样本超声图像的图像特征,确定样本超声图像中的操作执行目标的轮廓位置信息,那么,电子设备可以得到操作执行目标的轮廓位置信息,将该轮廓位置信息作为预测标签。
例如,样本超声图像中的操作执行目标为内窥镜目标,将样本超声图像输入预设轮廓分割模型,预设轮廓分割模型可以基于样本超声图像的图像特征,确定样本超声图像中的内窥镜目标的轮廓位置信息,那么,电子设备可以得到内窥镜目标的轮廓位置信息,进而将该轮廓位置信息作为预测标签。
S1002,基于所述预测标签与对应的标定标签之间的差异以及预设损失函数,调整所述预设轮廓分割模型的模型参数,直到所述预设损失函数收敛,得到所述轮廓分割模型。
为了提高轮廓分割模型的精度,电子设备可以基于预测标签与对应的标定标签之间的差异以及预设损失函数,调整预设轮廓分割模型的模型参数,直到预设损失函数收敛,可以得到轮廓分割模型。
在一种实施方式中,预设损失函数可以采用交叉熵损失函数,交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度,交叉熵的值越小,模型预测效果就越好。预设损失函数可以为如下公式,其中,M表示类别的数量,c表示类别,pc表示样本所预测的分布,yc表示样本的真实分布。例如,M为2,c表示类别0和1,pc为样本属于类别c的概率,yc为0或1,如果预测出的类别和样本标记相同为1,否则为0。
例如,样本超声图像中的操作执行目标为手术器械目标,预设损失函数采用交叉熵损失函数,电子设备获取样本超声图像以及其对应的标定标签,将样本超声图像输入预设轮廓分割模型,可以得到预测标签,那么,电子设备可以基于预测标签与对应的标定标签之间的差异以及交叉熵损失函数,调整预设轮廓分割模型的模型参数,直到交叉熵损失函数收敛时,可以得到轮廓分割模型。
可见,在本实施例中,将样本超声图像输入预设轮廓分割模型,得到预设轮廓分割模型基于样本超声图像的图像特征,确定的样本超声图像中的操作执行目标的轮廓位置信息,作为预测标签,基于预测标签与对应的标定标签之间的差异以及预设损失函数,调整预设轮廓分割模型的模型参数,直到预设损失函数收敛,得到轮廓分割模型。由于轮廓分割模型是通过调整轮廓分割模型的模型参数,在预设损失函数收敛的条件下得到的,因此,基于该轮廓分割模型可以对超声图像中的操作执行目标进行轮廓检测,可以使操作者根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,如图11所示,上述基于所述基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓的步骤,可以包括:
S1101,基于所述轮廓位置信息,确定所述超声图像中所述操作执行目标的轮廓区域;
由于操作执行目标的轮廓位置信息可以是操作执行目标的轮廓像素信息,像素可以由一个像素点组成,也可以是多个像素点组成,那么,电子设备可以基于轮廓位置信息,确定超声图像中操作执行目标的轮廓区域。
在一种实施方式中,电子设备可以对超声图像进行预处理,在预处理之后,基于轮廓位置信息,确定超声图像中操作执行目标的轮廓区域。其中,预处理可以包括滤波降噪、形态学处理、区域生长连通处理等,在此不做具体限定。
例如,如图9(a)所示,超声图像为经过预处理的超声图像,超声图像中的操作执行目标为手术器械目标901,那么,电子设备可以基于手术器械目标901的轮廓位置信息,确定超声图像中的手术器械目标901的轮廓区域902。
S1102,对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域;
S1103,在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓。
电子设备确定超声图像中操作执行目标的轮廓区域后,可以对操作执行目标的轮廓区域进行图像增强处理。其中,图像增强处理可以包括灰度增强处理、彩色增强处理,在此不做具体限定。对操作执行目标的轮廓区域进行图像增强处理图像可以包括轮廓区域内部的区域,也可以为不包括轮廓区域内部的区域,在此不做具体限定。
电子设备在对操作执行目标的轮廓区域进行图强增强处理后,可以在增强处理后的操作执行目标的轮廓区域中显示操作执行目标的轮廓。
例如,如图9(a)所示,超声图像中的操作执行目标为手术器械目标901,电子设备可以对手术器械目标901的轮廓区域902进行彩色增强处理,那么,可以在彩色增强处理后的手术器械目标901的轮廓区域902中,显示操作执行目标的轮廓。
可见,在本实施例中,基于轮廓位置信息,电子设备可以确定超声图像中操作执行目标的轮廓区域;对轮廓区域进行图像增强处理,得到操作执行目标的轮廓区域,在增强处理后的操作执行目标的轮廓区域中显示操作执行目标的轮廓。由于在对超声图像中的操作执行目标进行轮廓检测后,可以对轮廓区域进行进一步图像增强处理,使操作执行目标的轮廓更加明显,因此,可以使操作者根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以准确操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,上述对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域的步骤,可以包括:
基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,得到增强后的所述操作执行目标的轮廓区域。
由于超声图像是由像素组成的,在一种情况中,超声图像可以为灰度图像,即每个像素只有一个采样颜色的图像,这样超声图像中的操作执行目标的轮廓区域可以更加明显。
在一种实施方式中,电子设备可以基于轮廓区域的灰度值,对轮廓区域进行灰度增强处理,进而得到增强后的操作执行目标的轮廓区域。其中,灰度增强处理是指超声图像在灰度空间基于灰度值进行的增强处理,可以包括灰度非线性拉伸、灰度对比度增强、灰度增益增强等,在此不做具体限定。
例如,如图9(a)所示,超声图像为灰度图像,操作执行目标为手术器械目标901,确定手术器械目标901的轮廓区域902,那么,电子设备可以基于轮廓区域902的灰度值,对轮廓区域902进行灰度增强处理,例如,灰度对比度增强处理,进而得到增强后的操作执行目标的轮廓区域,以使在超声图像中显示的手术器械目标901的轮廓更加明显。
可见,在本实施例中,基于轮廓区域的灰度值,对轮廓区域进行灰度增强处理,得到增强后的操作执行目标的轮廓区域。由于在超声图像为灰度图像的情况下,可以基于轮廓区域的灰度值,对轮廓区域进行灰度增强处理,使操作执行目标的轮廓更加明显,因此,可以使操作者根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以准确操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,如图12所示,上述对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域的步骤,可以包括:
S1201,将所述超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;或,基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;
为了使超声图像色彩鲜明,在一种实施方式中,电子设备可以将超声图像向预设类型的彩色空间进行映射,得到彩色超声图像。
其中,预设类型的彩色空间的彩色类型支持全色域选择。彩色空间可以包括RGB(Red Green Blue,红绿蓝)空间、HSV(Hue Saturation Value,色调饱和度明度)空间、YUV(Luminance Chrominance Chroma,明亮度色度色度)空间、LAB(Lab color space,颜色对立空间)空间等,在此不做具体限定。
在另一种实施方式中,超声图像为灰度图像,电子设备可以基于轮廓区域的灰度值,对轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像。
例如,如图9(a)所示,超声图像为灰度图像,为了使超声图像中的手术器械目标901色彩鲜明,电子设备可以基于轮廓区域902的灰度值,对轮廓区域进行灰度增强处理,得到灰度增强处理后的超声图像,将该超声图像向YUV空间进行映射,进而得到该超声图像的彩色超声图像。
S1202,对所述彩色超声图像中与所述轮廓区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的所述操作执行目标的轮廓区域。
电子设备在得到彩色超声图像后,为了使操作执行目标的轮廓区域明显,可以对彩色超声图像中与轮廓区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的操作执行目标的轮廓区域。其中,彩色增强处理是对超声图像在彩色空间基于彩色通道值进行的增强处理,可以包括饱和度增强、对比度增强等,在此不做具体限定。
例如,如图9(a)所示,将超声图像向RGB空间进行映射,得到彩色超声图像,其中,操作执行目标为手术器械目标901,确定手术器械目标901的轮廓区域902,那么,电子设备可以对该彩色超声图像中与轮廓区域902对应的彩色图像区域进行对比度增强处理,得到增强后的彩色超声图像,进而使手术器械目标901的轮廓区域更明显。
如图13所示,为了提高操作者识别操作执行目标的准确度,电子设备可以对超声图像中的手术器械目标的轮廓区域进行增强处理,可以包括:
S1301,增强模式,增强模式可以包括灰度增强模式和彩色增强模式,可以确定增强模式为灰度增强模式或彩色增强模式,如果确定为灰度增强模式,可以执行步骤S1302,否则,执行步骤S1307;
S1302,灰度增强模式,即对超声图像进行灰度增强处理;
S1303,输入待增强区域位置信息,即电子设备可以基于操作执行目标的轮廓位置信息,确定操作执行目标的轮廓区域;
S1304,电子设备可以对该超声图像进行图像预处理;
S1305,基于灰度值增强处理,即可以对超声图像进行灰度增强处理,得到灰度增强处理后的超声图像,可以直接输出增强后的结果,执行步骤S1306,也可以执行步骤S1309;
S1306,输出增强后结果,即输出灰度增强处理后的超声图像;
S1307,彩色增强模式,即对超声图像进行彩色增强处理;
S1308,电子设备可以获取待映射彩色类型,即获取用户预设类别;
S1309,灰度空间向彩色空间映射,即将超声图像或灰度增强处理后超声图像向预设类型的彩色空间进行映射;
S1310,基于彩色通道彩色增强处理;
S1311,输出增强后结果,即输出彩色增强处理后的超声图像。
可见,在本实施例中,将超声图像向预设类型的彩色空间进行映射,得到彩色超声图像,或,基于轮廓区域的灰度值,对轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像,对彩色超声图像中与轮廓图像区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的操作执行目标的轮廓区域。由于将超声图像或灰度增强处理后的超声图像向预设类型的彩色空间进行映射,可以得到色彩鲜明的彩色超声图像,对操作执行目标的轮廓区域进行彩色增强处理,可以使操作执行目标的轮廓区域更加明显,因此,可以使操作者根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以准确操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,上述在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓步骤,可以包括:
基于所述轮廓位置信息,在增强处理后的所述操作执行目标的轮廓区域中突出显示所述操作执行目标的轮廓。
在电子设备对操作执行目标的轮廓区域进行增强处理的情况下,为了进一步突出操作执行目标的轮廓,可以基于轮廓位置信息,在增强处理后的操作执行目标的轮廓区域中突出显示操作执行目标的轮廓。其中,突出显示可以包括实线显示、虚线显示、高亮显示、轮廓带显示等,在此不做具体限定。
例如,如图9(a)所示,超声图像中的操作执行目标为手术器械目标901,该手术器械目标901的轮廓区域902进行灰度增强处理,基于手术器械目标901的轮廓位置信息,在增强处理后的轮廓区域902中以高亮显示手术器械目标901的轮廓。
在医疗手术中,操作者查看超声图像中的手术器械目标时,电子设备可以基于超声图像中的手术器械目标的轮廓位置信息,在超声图像中显示手术器械目标的轮廓,显示方式可以包括“原生显示”、“叠框显示”,可以为单一显示方式,也可以为多种显示方式的结合,如图14所示:
原生显示可以包括对原始图像显示(超声图像显示)、灰度增强显示(灰度增强处理后的图像显示)、彩色增强显示(彩色增强处理的超声图像显示),在此不做具体限定。
叠框显示在原生显示的基础上,选择具体操作执行目标的轮廓显示方式,包括非叠框显示、轮廓实线显示(对轮廓边缘叠加实线进行增强显示)、轮廓虚线显示(对轮廓边缘叠加虚线进行增强显示)、轮廓带显示(由于轮廓有时会较粗,对轮廓边缘叠加带状线条进行增强显示)等,在此不做具体限定。
电子设备可以采用“原生显示”与“叠框显示”结合的方式,以更清晰的显示超声图像的手术器械目标。
可见,在本实施例中,基于轮廓位置信息,在增强处理后的操作执行目标的轮廓区域中突出显示操作执行目标的轮廓,可以使操作执行目标的轮廓更加明显,因此,可以使操作者根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,上述基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓的步骤,可以包括:
基于所述轮廓位置信息,在所述超声图像中突出显示所述操作执行目标的轮廓。
在电子设备未对操作执行目标的轮廓区域进行增强处理的情况下,为了进一步突出操作执行目标的轮廓,电子设备可以基于轮廓位置信息,在超声图像中突出显示操作执行目标的轮廓。
例如,如图9(a)所示,超声图像中的操作执行目标为手术器械目标901,该手术器械目标901的轮廓区域902未进行灰度增强处理,那么,电子设备可以基于手术器械目标901的轮廓位置信息,在超声图像中高亮显示手术器械目标901的轮廓。
可见,在本实施例中,基于轮廓位置信息,在超声图像中突出显示操作执行目标的轮廓,可以使操作执行目标的轮廓更加明显,因此,可以使操作者根据操作执行目标的轮廓分辨操作执行目标,进而使操作者可以使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,如图15所示,上述获取超声图像的步骤,可以包括:
S1501,获取超声设备采集的超声视频流;
S1502,从所述超声视频流中解析得到视频帧,作为超声图像。
由于在医疗手术中,操作者需要实时确定手术器械目标的位置,那么,超声图像可以实时更新以供操作者进行查看。其中,超声图像可以是超声设备采集的视频流中的任一视频帧。
在一种实施方式中,在利用超声设备辅助医疗手术的过程中,超声设备实时采集的视频流中包括有手术器械和被检体检测部位的视频帧,那么,电子设备可以获取超声设备采集的超声视频流,从超声视频流中解析得到视频帧,将解析得到的视频帧作为超声图像,进而使操作者可以在超声图像中查看手术器械目标的位置。
例如,电子设备从获取超声视频流中解析得到视频帧A,将视频帧A作为超声图像,如图9(a)所示。该超声图像中包括手术器械目标901,那么,操作者可以确定手术器械目标901的位置。
可见,在本实施例中,电子设备可以获取超声设备采集的超声视频流,从超声视频流中解析得到视频帧,作为超声图像,进而可以对超声图像中的操作执行目标进行轮廓检测,使操作者根据操作执行目标的轮廓分辨操作执行目标,确定手术器械目标的位置,使操作者可以使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
图16为本申请实施例所提供的超声图像处理系统的一种结构示意图,如图16所示,超声图像处理系统可以包括图像采集部1601、图像处理部1602、图像显示部1603。图17为本申请实施例所提供的超声图像处理方法的一种具体流程图。下面结合图16和图17对本申请实施例所提供的超声图像处理方法进行举例介绍。如图17所示,本申请实施例所提供的超声图像处理方法可以包括以下步骤:
S1701,超声视频流输入;
S1702,从视频流中截取待处理帧的超声图像;
图像采集部1601可以获取超声实时视频流,从视频流中截取待处理帧的超声图像。
S1703,智能处理单元/图像处理单元,识别手术器械/内窥镜头边界轮廓信息;
图像处理部1602可以对输入的超声图像进行轮廓检测,可以通过调用智能处理单元检测手术器械边界轮廓信息,确定手术器械的轮廓区域,也可以通过图像处理单元利用传统算法检测手术器械边界轮廓信息,确定手术器械的轮廓区域。
S1704,智能处理单元/图像处理单元,基于识别信息进行目标图像增强处理;
图像处理部1602可以通过调用智能处理单元,基于智能处理单元的检测结果对轮廓区域进行图像增强处理;也可以通过图像处理单元基于图像处理单元的检测结果对轮廓区域进行图像增强处理。
S1705,图像输出。
图像显示部1603可以将增强后的手术器械边界轮廓在超声图像中进行显示,提供给医生使用。
可见,在本申请实施例所提供的方案中,电子设备可以获取超声图像,其中,超声图像包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息,基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。由于在超声图像中包括被操作目标和操作执行目标的情况下,可以对超声图像中的操作执行目标的轮廓进行检测,基于得到的操作执行目标的轮廓位置信息,在超声图像中显示操作执行目标的轮廓,因此,在操作者识别超声图像中的操作执行目标时,可以根据操作执行目标的轮廓分辨操作执行目标,可以提高操作者识别操作执行目标的准确度,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
此外,在术中超声导航过程中,针对超声图像中的手术器械目标或内窥镜镜头目标的轮廓进行检测,并将轮廓边缘进行多模式的图像增强处理,以提升目标区域的区分度、可视性,并在超声显示屏上进行显示,可以帮助医生减少分辨目标的难度,提升超声术中导航效率。
相应于上述一种超声图像处方法,本申请实施例还提供了一种超声图像处装置,下面对本申请实施例所提供的一种超声图像处装置进行介绍。
如图18所示,一种超声图像处理装置,所述装置包括:
超声图像获取模块1810,用于获取超声图像,其中,所述超声图像包括被操作目标和操作执行目标,所述操作执行目标对应的实体对所述被操作目标对应的实体进行预设操作;
轮廓位置信息获取模块1820,用于对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息;
轮廓显示模块1830,用于基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓。
可见,在本申请实施例所提供的方案中,电子设备可以获取超声图像,其中,超声图像包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息,基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。由于在超声图像中包括被操作目标和操作执行目标的情况下,可以对超声图像中的操作执行目标的轮廓进行检测,基于得到的操作执行目标的轮廓位置信息,在超声图像中显示操作执行目标的轮廓,因此,在操作者识别超声图像中的操作执行目标时,可以根据操作执行目标的轮廓分辨操作执行目标,可以提高操作者识别操作执行目标的准确度,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
作为本申请实施例的一种实施方式,上述轮廓位置信息获取模块1820,可以包括:
轮廓位置信息获取子模块,用于将所述超声图像输入预先训练的轮廓分割模型,基于所述超声图像的图像特征对所述超声图像进行轮廓分割,输出所述操作执行目标的轮廓位置信息;或,
用于对所述超声图像进行二值化处理,得到二值化超声图像;对所述二值化超声图像进行形态学处理,得到所述操作执行目标的轮廓位置信息。
作为本申请实施例的一种实施方式,上述轮廓显示模块1830,可以包括:
轮廓区域确定子模块,用于基于所述轮廓位置信息,确定所述超声图像中所述操作执行目标的轮廓区域;
轮廓区域显示子模块,用于对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域;
第一显示子模块,用于在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓。
作为本申请实施例的一种实施方式,上述轮廓区域显示子模块子模块,可以包括:
轮廓区域获取单元,用于基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,得到增强后的所述操作执行目标的轮廓区域。
作为本申请实施例的一种实施方式,所述轮廓区域显示子模块,可以包括:
彩色超声图像获取单元,用于将所述超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;或,基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;
轮廓区域获取单元,用于对所述彩色超声图像中与所述轮廓区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的所述操作执行目标的轮廓区域。
作为本申请实施例的一种实施方式,上述轮廓显示子模块,可以包括:
轮廓显示单元,用于基于所述轮廓位置信息,在增强处理后的所述操作执行目标的轮廓区域中突出显示所述操作执行目标的轮廓。
作为本申请实施例的一种实施方式,所述轮廓显示模块1830,可以包括:
第二显示子模块,用于基于所述轮廓位置信息,在所述超声图像中突出显示所述操作执行目标的轮廓。
作为本申请实施例的一种实施方式,所述超声图像获取模块1810,可以包括:
超声视频流获取子模块,用于获取超声设备采集的超声视频流;
超声图像获取子模块,用于从所述超声视频流中解析得到视频帧,作为超声图像。
本申请实施例还提供了一种电子设备,如图19所示,包括:
存储器1901,用于存放计算机程序;
处理器1902,用于执行存储器1901上所存放的程序时,实现上述任一实施例所述的一种超声图像处理方法。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器1902、通信接口、存储器1901通过通信总线完成相互间的通信。
可见,在本申请实施例所提供的方案中,电子设备可以获取超声图像,其中,超声图像包括被操作目标和操作执行目标,操作执行目标对应的实体对被操作目标对应的实体进行预设操作,对超声图像中的操作执行目标进行轮廓检测,得到操作执行目标的轮廓位置信息,基于轮廓位置信息在超声图像中显示操作执行目标的轮廓。由于在超声图像中包括被操作目标和操作执行目标的情况下,可以对超声图像中的操作执行目标的轮廓进行检测,基于得到的操作执行目标的轮廓位置信息,在超声图像中显示操作执行目标的轮廓,因此,在操作者识别超声图像中的操作执行目标时,可以根据操作执行目标的轮廓分辨操作执行目标,可以提高操作者识别操作执行目标的准确度,进而使操作者可以准确使用操作执行目标对应的实体对被操作目标对应的实体进行操作。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的超声图像处理方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一实施例所述的超声图像处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、系统、客户端及边缘域设备、计算机可读存储介质以及计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (11)
1.一种超声图像处理方法,其特征在于,所述方法包括:
获取超声图像,其中,所述超声图像包括被操作目标和操作执行目标,所述操作执行目标对应的实体对所述被操作目标对应的实体进行预设操作;
对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息;
基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓。
2.根据权利要求1所述的方法,其特征在于,所述对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息的步骤,包括:
将所述超声图像输入预先训练的轮廓分割模型,基于所述超声图像的图像特征对所述超声图像进行轮廓分割,输出所述操作执行目标的轮廓位置信息;或,
对所述超声图像进行二值化处理,得到二值化超声图像;对所述二值化超声图像进行形态学处理,得到所述操作执行目标的轮廓位置信息。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓的步骤,包括:
基于所述轮廓位置信息,确定所述超声图像中所述操作执行目标的轮廓区域;
对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域;
在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓。
4.根据权利要求3所述的方法,其特征在于,所述对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域的步骤,包括:
基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,得到增强后的所述操作执行目标的轮廓区域。
5.根据权利要求3所述的方法,其特征在于,所述对所述轮廓区域进行图像增强处理,得到增强处理后的所述操作执行目标的轮廓区域的步骤,包括:
将所述超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;或,基于所述轮廓区域的灰度值,对所述轮廓区域进行灰度增强处理,并将灰度增强处理后的超声图像向预设类型的彩色空间进行映射,得到彩色超声图像;
对所述彩色超声图像中与所述轮廓区域对应的彩色图像区域进行彩色增强处理,得到增强处理后的所述操作执行目标的轮廓区域。
6.根据权利要求3所述的方法,其特征在于,所述在所述增强处理后的所述操作执行目标的轮廓区域中显示所述操作执行目标的轮廓的步骤,包括:
基于所述轮廓位置信息,在增强处理后的所述操作执行目标的轮廓区域中突出显示所述操作执行目标的轮廓。
7.根据权利要求1或2所述的方法,其特征在于,所述基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓的步骤,包括:
基于所述轮廓位置信息,在所述超声图像中突出显示所述操作执行目标的轮廓。
8.根据权利要求1所述的方法,其特征在于,所述获取超声图像的步骤,包括:
获取超声设备采集的超声视频流;
从所述超声视频流中解析得到视频帧,作为超声图像。
9.一种超声图像处理装置,其特征在于,所述装置包括:
超声图像获取模块,用于获取超声图像,其中,所述超声图像包括被操作目标和操作执行目标,所述操作执行目标对应的实体对所述被操作目标对应的实体进行预设操作;
轮廓位置信息获取模块,用于对所述超声图像中的操作执行目标进行轮廓检测,得到所述操作执行目标的轮廓位置信息;
轮廓显示模块,用于基于所述轮廓位置信息在所述超声图像中显示所述操作执行目标的轮廓。
10.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447127.9A CN117237268A (zh) | 2022-11-18 | 2022-11-18 | 一种超声图像处理方法、装置、电子设备及存储介质 |
PCT/CN2023/131822 WO2024104388A1 (zh) | 2022-11-18 | 2023-11-15 | 一种超声图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447127.9A CN117237268A (zh) | 2022-11-18 | 2022-11-18 | 一种超声图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117237268A true CN117237268A (zh) | 2023-12-15 |
Family
ID=89083206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211447127.9A Pending CN117237268A (zh) | 2022-11-18 | 2022-11-18 | 一种超声图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117237268A (zh) |
WO (1) | WO2024104388A1 (zh) |
-
2022
- 2022-11-18 CN CN202211447127.9A patent/CN117237268A/zh active Pending
-
2023
- 2023-11-15 WO PCT/CN2023/131822 patent/WO2024104388A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024104388A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8591414B2 (en) | Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program | |
US8244009B2 (en) | Image analysis device | |
WO2023103467A1 (zh) | 图像处理方法、装置及设备 | |
US11910994B2 (en) | Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system | |
CN103325128B (zh) | 一种智能识别阴道镜所采集的图像特征的方法及装置 | |
CN111214255B (zh) | 一种医学超声图像计算机辅助方法 | |
Wannous et al. | Supervised tissue classification from color images for a complete wound assessment tool | |
US10194783B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region | |
US20220172828A1 (en) | Endoscopic image display method, apparatus, computer device, and storage medium | |
EP2859833A1 (en) | Image processing device, image processing method, and image processing program | |
US11298012B2 (en) | Image processing device, endoscope system, image processing method, and program | |
CN112770660B (zh) | 增强彩色图像中的血管可见性 | |
US11284855B2 (en) | Ultrasound needle positioning system and ultrasound needle positioning method utilizing convolutional neural networks | |
WO2017199635A1 (ja) | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 | |
JP7304951B2 (ja) | コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ | |
KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
US11257301B2 (en) | Image analysis apparatus, image analysis method, and image analysis program | |
CN112189236A (zh) | 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置 | |
US20190089895A1 (en) | Image processing device, operation method of image processing device, and computer-readable recording medium | |
US20170112355A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
CN112998755A (zh) | 解剖结构的自动测量方法和超声成像系统 | |
CN112741651A (zh) | 一种内窥镜超声影像的处理方法及系统 | |
CN117237268A (zh) | 一种超声图像处理方法、装置、电子设备及存储介质 | |
CN107767386B (zh) | 超声图像处理方法及装置 | |
CN115035086A (zh) | 一种基于深度学习的结核皮试智能筛查分析方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |