CN115082487A - 超声图像切面质量评价方法、装置、超声设备及存储介质 - Google Patents
超声图像切面质量评价方法、装置、超声设备及存储介质 Download PDFInfo
- Publication number
- CN115082487A CN115082487A CN202211009574.6A CN202211009574A CN115082487A CN 115082487 A CN115082487 A CN 115082487A CN 202211009574 A CN202211009574 A CN 202211009574A CN 115082487 A CN115082487 A CN 115082487A
- Authority
- CN
- China
- Prior art keywords
- section
- classification
- ultrasonic image
- identification
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开一种超声图像切面质量评价方法、装置、超声设备及存储介质。该方法包括:获取第一超声图像;对所述第一超声图像进行预处理,获取第二超声图像;对所述第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;基于所述切面分类结果和所述结构分类结果,对所述第二超声图像进行质量评价,获取切面质量分值。本发明可保障切面检测和质量评价的准确性。
Description
技术领域
本发明涉及超声检测技术领域,尤其涉及一种超声图像切面质量评价方法、装置、超声设备及存储介质。
背景技术
在医用超声检测领域,医生经常需要观察患者特定切面,根据切面内的组织结构情况,判断患者的情况;医生在超声搜查时,往往需要连续搜查多个切面超声图像,此时,会出现同一切面会对应多张切面超声图像或者同一切面超声图像可能包含多个组织结构等切面共存情况,需要医生根据其经验,确定所搜查的超声图像属于哪个切面,并确定超声图像中该切面的质量评分。
当前超声检测过程中,可能会出现一张超声图像从属于多个切面,即多分类的情况,以胆囊长轴切面与第一肝门切面为例,胆囊长轴切面下的关键组织结构为胆囊和肝,第一肝门切面下的关键组织结构为门静脉和肝,在使用超声探头对患者进行实际扫查时,极有可能在同一张超声图像上同时出现了胆囊、肝和门静脉三个组织结构,此时,该超声图像既属于胆囊长轴切面,也属于第一肝门切面。类似的多切面多结构共存情况还发生在肝右叶切面与门脉左支工字部切面之间,第一肝门切面与肝外胆管长轴切面之间,肝外胆管长轴切面与下腔静脉长轴切面之间等。
现有技术中,对多切面多结构共存情况的超声图像进行切面检测和质量评价时,往往会由于切面确定过程过于简单,或者质量评价指标及其权重考虑不充分,影响切面检测和质量评价的准确性。
发明内容
本发明实施例提供一种超声图像切面质量评价方法、装置、超声设备及存储介质,以解决现有超声图像切面检测和质量评价存在准确性较低的问题。
一种超声图像切面质量评价方法,包括:
获取第一超声图像;
对所述第一超声图像进行预处理,获取第二超声图像;
对所述第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;
对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;
基于所述切面分类结果和所述结构分类结果,对所述第二超声图像进行质量评价,获取切面质量分值。
一种超声图像切面质量评价装置,包括:
图像获取模块,用于获取第一超声图像;
图像预处理模块,用于对所述第一超声图像进行预处理,获取第二超声图像;
分类识别模块,用于对所述第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;
匹配处理模块,用于对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;
质量评价模块,用于基于所述切面分类结果和所述结构分类结果,对所述第二超声图像进行质量评价,获取切面质量分值。
一种超声设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述超声图像切面质量评价方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述超声图像切面质量评价方法。
上述超声图像切面质量评价方法、装置、超声设备及存储介质,先对第一超声图像进行预处理,获取第二超声图像,以达到去除干扰,保障第二超声图像的图像质量;可对所述第二超声图像进行分类识别,可获取表征全局特征信息的切面分类特征分量和表征局部特征信息的结构识别特征分量,再对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果,以便根据切面分类结果和结构分类结果,可确定至少一个切面和至少一个组织结构,基于所确定的至少一个切面和至少一个组织结构对第二超声图像进行质量评价,可确定切面质量分值,可保障切面检测和质量评价的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中超声设备的一示意图;
图2是本发明一实施例中超声图像切面质量评价方法的一流程图;
图3是图2中步骤S203的一流程图;
图4是图3中步骤S301的一流程图;
图5是图3中步骤S302的一流程图;
图6是图2中步骤S204的一流程图;
图7是图2中步骤S205中一流程图;
图8是本发明一实施例中超声图像切面质量评价装置的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的超声图像切面质量评价方法,该超声图像切面质量评价方法可应用在超声设备中,超声设备包括主控制器和与主控制器相连的超声探头、波束合成处理器、图像处理器和显示屏。主控制器为超声设备的控制器,主控制器与超声设备中的其他功能模块相连,包括但不限于超声探头、波束合成处理器、图像处理器和显示屏等功能模块相连,用于控制各个功能模块工作。
超声探头是超声波的发射和接收装置。本示例中,为了保证不同角度的超声图像都能够有较大的横向扫描覆盖范围,即保证不同角度的超声图像有较大的交叠范围,现有超声探头一般由若干大小相同的长条形压电换能器(每单个压电换能器称为阵元)等间隔排列组成;或者将多个压电换能器是呈二维阵列,即阵元排列成二维矩阵形状。超声探头内的压电换能器将施加在其上的电压脉冲激励转换成机械振动,从而对外发出超声波;超声波在人体组织等媒介中传播,会产生反射波和散射波等回波模拟信号,各个压电换能器可将回波模拟信号转换成回波电信号,对回波电信号进行放大和模数转换,转换成回波数字信号,再将回波数字信号发送给波束合成处理器。
波束合成处理器与超声探头相连,用于接收超声探头发送的回波数字信号,对一个或多个通道的回波数字信号进行波束合成,获取一路或多路回波合成信号,将回波合成信号发送给图像处理器。
图像处理器与波束合成处理器相连,用于接收波束合成处理器发送的回波合成信号,对回波合成信号进行图像合成、空间复合和其他图像处理操作,将处理后的超声图像发送给显示屏,以使显示屏显示处理后的超声图像。
在一实施例中,如图2所示,提供一种超声图像切面质量评价方法,以该方法应用在图1中的图像处理器为例进行说明,包括如下步骤:
S201:获取第一超声图像;
S202:对第一超声图像进行预处理,获取第二超声图像;
S203:对第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;
S204:对切面分类特征分量和结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;
S205:基于切面分类结果和结构分类结果,对第二超声图像进行质量评价,获取切面质量分值。
其中,第一超声图像是指需要进行切面识别和质量评价的超声图像,是指未经预处理的超声图像。
作为一示例,步骤S201中,图像处理器可获取第一超声图像,该第一超声图像可以为超声设备通过超声探头采集并处理获取到的超声图像,也可以为超声设备从云端服务器下载到的超声图像,或者超声设备通过有线连接方向接收到的超声图像。
其中,第二超声图像是对第一超声图像进行预处理操作后获取的超声图像。
作为一示例,步骤S202中,图像处理器在接收到第一超声图像后,可对第一超声图像进行预处理操作,获取第二超声图像。例如,预处理操作包括如下操作的一种或多种:图像缩放、去噪、结构增强、背景去除和归一化。
其中,切面分类特征分量是指对第二超声图像进行切面识别处理后的输出结果,
用于表征超声图像的全局特征信息,其包括至少一个切面类别的特征表示,可采用表
示。结构识别特征分量是指对第二超声图像进行结构识别处理后的输出结果,用于表征超
声图像的局部特征信息,其包含至少一个组织结构的特征表示,可采用表示。
作为一示例,步骤S203中,图像处理器在获取第二超声图像后,可对第二超声图像
进行分类识别,即分别对第二超声图像进行切面识别和结构识别,分别获取切面分类特征
分量和结构识别特征分量。可理解地,对第二超声图像进行分类识别,可获取表征
全局特征信息的切面分类特征分量和表征局部特征信息的结构识别特征分量,使
其可应对复杂多变,存在切面多分类等情况时的切面识别,保障后续切面检测和质量评价
的准确性。
一般来说,图像处理器在获取到切面分类特征分量和结构识别特征分量
后,会存在如下几种情况:(1)切面分类特征分量表明输入的第二超声图像可能从属于
切面A,结构识别特征分量表明输入的第二超声图像包含切面A所包含的组织结构,则
确定切面分类特征分量和结构识别特征分量相匹配。(2)切面分类特征分量表
明输入的第二超声图像可能从属于切面A,结构识别特征分量表明输入的第二超声图
像不包含切面A所包含的组织结构,则确定切面分类特征分量和结构识别特征分量
不匹配。(3)切面分类特征分量表明输入的第二超声图像可能从属于切面A,结构识别特
征分量表明输入的第二超声图像包含组织结构a(组织结构a从属于切面A),则确定切
面分类特征分量和结构识别特征分量匹配。(4)切面分类特征分量表明输入的
第二超声图像不可能从属于切面A,结构识别特征分量表明输入的第二超声图像包含
组织结构a(组织结构a从属于切面A),则确定切面分类特征分量和结构识别特征分量不匹配。鉴于上述切面分类特征分量和结构识别特征分量会存在部分切面和
部分组织结构相匹配和不匹配两种情况,因此,需要进一步匹配处理。
作为一示例,步骤S204中,图像处理器在获取切面分类特征分量和结构识别特
征分量后,需对切面分类特征分量和结构识别特征分量进行匹配处理,以确定
切面分类特征分量中表征的哪些切面和结构识别特征分量中表征的哪些组织结构
相匹配,获取切面分类结果和结构分类结果。其中,切面分类结果是用于表征输入的第二超
声图像所属的至少一个切面类别及每个切面类别对应的切面类别置信度。结构分类结果是
用于表征输入的第二超声图像所属的组织结构类别、结构类别置信度、组织结构所在位置
及所在位置置信度。本示例中,对切面分类特征分量和结构识别特征分量进行匹配
处理后,所输出的切面分类结果和结构分类结果是匹配成功的分类结果,即就是说,切面分
类特征分量中的部分切面和结构识别特征分量中的部分组织结构相匹配,具体可
表现为切面分类结果中的切面所包含的关键组织结构一定存在相应的结构分类结果,而结
构分类结果中的组织结构所从属的切面一定包含在切面分类结果中。
可理解地,图像处理器可根据预先设置的切面和组织结构之间相互关系进行匹配
处理,例如,切面和组织结构之间的包含关系、组织结构和组织结构之间的共存可能性、组
织结构和组织结构之间的位置关系、组织结构和组织结构之间的比例关系等,可基于至少
一个相互关系进行匹配处理,以保障切面分类结果中确定的切面和结构分类结果中确定的
组织结构具有关联性,以实现对切面分类特征分量和结构识别特征分量进行匹配
筛选,可保障获取到的切面分类结果和结构分类结果的可靠性。
作为一示例,步骤S205中,图像处理器在获取切面分类结果和结构分类结果后,可根据切面分类结果确定第二超声图像中包含的至少一个切面,可根据结构分类结果确定第二超声图像中包含的至少一个组织结构,可基于至少一个切面和至少一个组织结构,对第二超声图像进行质量评价,以获取切面质量分值。
本示例中,图像处理器对第二超声图像进行质量评价时,可先独立考虑每个组织
结构的质量评分,再加权得到所有组织结构的质量评分,以获取整个第二超声图像的切面
质量评分。或者,图像处理器对第二超声图像进行质量评价时,根据切面分类结果确定第二
超声图像从属于至少一个切面,可先独立考虑每个切面的质量评分,再加权得到所有切面
的质量评分,以获取整个第二超声图像的切面质量评分。例如,在独立考虑每个切面的质量
评分过程中,考虑当前切面对应的关键组织结构带来的权重影响,通过结构识别结果,可从
第二超声图像得到包含每个关键组织结构的图像块,将其确定为切面超声图像,其中,表示该关键组织结构属于哪个切面,,表示该组织结构
的类别,此时,每个切面对应的质量评分可以由该切面下所有关键组织结构的质量评分加
权获取。
本实施例中,先对第一超声图像进行预处理,获取第二超声图像,以达到去除干扰,保障第二超声图像的图像质量;可对第二超声图像进行分类识别,可获取表征全局特征信息的切面分类特征分量和表征局部特征信息的结构识别特征分量,再对切面分类特征分量和结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果,以便根据切面分类结果和结构分类结果,可确定至少一个切面和至少一个组织结构,基于所确定的至少一个切面和至少一个组织结构对第二超声图像进行质量评价,可确定切面质量分值,可保障切面检测和质量评价的准确性。
在一实施例中,如图3所示,步骤S203,即对第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量,包括:
S301:采用切面分类模型对第二超声图像进行切面识别,获取切面分类特征分量;
S302:采用结构识别模型对第二超声图像进行结构识别,获取结构识别特征分量。
其中,切面分类模型是预先训练的用于识别超声图像所属切面的模型。作为一示例,切面分类模型可以为常见的神经网络分类模型,如切面分类模型可以为ResNet、GoogleNet、VGGNet和Transformer等的一个或者多个组合而成模型,是可以实现多分类任务的切面识别的模型。例如,可基于已标注切面多分类标签的超声图像数据集训练切面分类模型,超声图像数据集中的每一张训练超声图像的标签用于表征该训练超声图像属于哪几个切面。采用超声图像数据集中的训练超声图像训练上述切面分类模型,确定模型权重,使得切面分类模型能够初步确定输入超声图像的所属切面。
其中,切面分类特征分量是指采用切面分类模型对第二超声图像进行识别处理后的输出结果。
作为一示例,步骤S301中,图像处理器可采用预先训练的切面分类模型对第二超声图像进行切面识别,确定第二超声图像所属的至少一个切面,根据所属的至少一个切面,确定对应的切面分类特征分量。该切面分类特征分量为表征第二超声图像属于至少一个切面的分类概率值所形成的特征值。可理解地,采用预先训练的切面分类模型对第二超声图像进行多分类切面识别,可快速确定第二超声图像对应的多个切面及其切面分类特征分量,可保障切面分类特征分量识别的效率和准确性。
其中,结构识别模型是预先训练的用于识别超声图像所属组织结构的模型。作为一示例,结构识别模型可以是常见的神经网络目标检测、目标识别或者是实例分割模型,如UNet、Yolo、SSD和RCNN等的一个或者多个组合而成的模型,是可以实现多分类任务的结构识别的模型。例如,可基于已标注结构位置标签的超声图像数据集训练结构识别模型,超声图像数据集中的每一张训练超声图像的标签表征该训练超声图像上包含的组织结构类别和具体像素位置。采用超声图像数据集中的训练超声图像训练上述结构识别模型,确定模型权重,使得结构识别模型能够初步确定输入的超声图像所包含的组织结构信息。
作为一示例,步骤S302中,图像处理器采用结构识别模型对第二超声图像进行结构识别,确定第二超声图像对应的组织结构信息,包括组织结构类别、结构类别置信度、组织结构所在位置及所在位置置信度。该组织结构类别是指超声图像中的组织结构所属的类别,该结构类别置信度是指超声图像中的组织结构所属的类别的置信度(即概率),该组织结构所在位置是指组织结构在超声图像上的位置,该所在位置置信度是指组织结构在超声图像上的位置的置信度(即概率)。然后,可基于这些组织结构信息,获取结构识别特征分量,此处的结构识别特征分量可理解为采用结构识别模型对第二超声图像进行识别处理后的输出结果。该结构识别特征分量为基于第二超声图像确定的组织结构类别、结构类别置信度、组织结构所在位置及所在位置置信度等形成的特征值。可理解地,采用预先训练的结构识别模型对第二超声图像进行结构识别,可快速确定第二超声图像的结构识别特征分量,保障结构识别特征分量识别的效率和准确性。
本实施例中,对第二超声图像进行切面识别,使得获取到的切面分类特征分量表征超声图像的全局特征信息,包含至少一个切面类别的特征表示,可以从切面分类特征分量确定输入超声图像可能从属的至少一个切面。对第二超声图像进行结构识别,使得获取到的结构识别特征分量表征超声图像的局部特征信息,包含至少一个组织结构的特征表示,可以从结构识别特征分量中确定输入超声图像可能包含的至少一个组织结构。可理解地,基于切面分类特征分量和组织结构特征分量进行后续识别,可应对复杂多变,存在切面多分类等情况时的切面识别,保障后续切面检测和质量评价的准确性。
在一实施例中,如图4所示,步骤S301,即采用切面分类模型对第二超声图像进行识别,获取切面分类特征分量,包括:
S401:对第二超声图像进行切面分类识别,获取切面分类概率向量,切面分类概率向量包括N个切面类别对应的分类概率值,N≥1;
S402:对每一切面类别对应的分类概率值进行梯度计算,获取每一切面类别对应的M个切面特征分量,M≥1;
S403:基于N个切面类别对应的M个切面特征分量,获取切面分类特征分量。
其中,切面类别是指切面分类模型训练过程中确定的切面类别。N为切面类别所属的数量,N≥1。切面分类概率向量是指基于所有切面类别对应的分类概率值所形成的特征向量。
作为一示例,步骤S401中,图像处理器可采用预先训练的切面分类模型对第二超
声图像进行切面分类识别,可获取切面分类模型的中间层输出的切面分类概率向量,切面
分类概率向量包括N个切面类别对应的分类概率值,N≥1。例如,图像处理器采用切面分类
模型对第二超声图像进行处理,切面分类模型的一个中间层会输出一个维度为,值域
为[0 - 1]的切面分类概率向量,中的每一列对应每一个切面
类别的分类概率值,当某一切面类别的分类概率值大于全局超参数切面分类置信度阈值时,则可初步认为输入第二超声图像属于该切面类别,遍历,可初步确定输入第二
超声图像的所属切面,该所属切面可以为至少一个。
作为一示例,步骤S402中,图像处理器在获取第二超声图像对应的切面分类概率
向量后,可对切面分类概率向量中的第i个切面类别对应的分类概率值进行梯度
计算,获取第i个切面类别对应的M个切面特征分量。本示例中,图像处理器可采用现有梯度
算法,例如,采用一阶偏导数算法,对切面分类概率向量中的第i个切面类别对应的分类
概率值进行梯度计算,以确定第i个切面类别对应的M个切面特征分量。也就是说,针对第
i个切面类别对应的分类概率值进行梯度计算,会输出一个维度为的切面特征分
量。
作为一示例,步骤S403中,图像处理器所获取到的切面分类概率向量包括N个
切面类别对应的分类概率值,而每一切面类别对应的分类概率值,可确定M个切面特征分
量,可将N个切面类别对应的N*M个切面特征分量组合形成矩形形式,即可输出N*M维的切面
分类特征分量,记为,。
本实施例中,对第二超声图像进行切面分类识别,使得获取到的切面分类特征分
量表征输入超声图像的全局特征信息,包含N个切面类别的特征表示,可以从切面分类
特征分量确定输入超声图像可能从属的至少一个切面,以适应超声图像复杂多变,切面
存在多分类的复杂场景。
在一实施例中,如图5所示,步骤S302,即采用结构识别模型对第二超声图像进行识别,获取结构识别特征分量,包括:
S501:对第二超声图像进行结构识别,获取结构识别向量,结构识别向量包括K个目标组织结构对应的结构类别置信度、组织结构所在位置及所在位置置信度;
S502:将K个结构类别置信度中的最大值和所在位置置信度的乘积,确定为目标组织结构对应的总置信度;
S503:将总置信度大于全局超参数结构识别置信度阈值的目标组织结构确定为有效组织结构;
S504:根据所有有效组织结构对应的结构识别向量,确定结构识别特征分量。
其中,该组织结构类别是指超声图像中的组织结构所属的类别,该结构类别置信度是指超声图像中的组织结构所属的类别的置信度(即概率),该组织结构所在位置是指组织结构在超声图像上的位置,该所在位置置信度是指组织结构在超声图像上的位置的置信度(即概率)。
以腹部超声图像为例,腹部超声图像可能有N个切面,所有切面共包含N个组织结构,可采用预先标签的训练超声图像进行结构识别模型训练,结构识别模型可以是常见的神经网络目标检测、目标识别或者是实例分割模型,如UNet、Yolo、SSD和RCNN等的一个或者多个组合而成的模型,是可以实现多分类任务的结构识别的模型,使得该结构识别模型可识别出K个组织结构类别对应的结构类别置信度、组织结构所在位置及所在位置置信度。本示例中,结构识别模型为单分类任务,每一组织结构是唯一的,即超声图像只能属于一个组织结构。
作为一示例,步骤S501中,图像处理器采用结构识别模型对第二超声图像进行结
构识别,在结构识别模型最后一层会输出一个维度为的结构识别向量,第一个维度
L表示结构识别模型定义输出的可能结构个数,其中L>>K,是因为同一个组织结构可能输出
位置有略微差异的多个结果,为了尽可能获得所有可能的结构输出;第二个维度(K+5)表示
K个目标组织结构的结构类别置信度;组织结构所在位置可选取其位置的
左上角顶点与右下角顶点坐标;所在位置置信度为某一组织结构类别在超声图
像中的位置的置信度;即输出的结构识别向量可表示为。
作为一示例,步骤S502中,图像处理器在获取组织识别向量后,可从组织识别向量
中,获取K个目标组织结构的结构类别置信度和所在位置置信度;再根
据K个目标组织结构的结构类别置信度,确定K个结构类别置信度的最大
值;然后,将K个结构类别置信度中的最大值和所在位置置
信度的乘积,确定为目标组织结构对应的总置信度。本示例中,结构类别置信度表征
超声图像中包含某一目标组织结构的概率,结构类别置信度越大,则其包含某一目标组织
结构的概率越大。所在位置置信度表征目标组织结构在超声图像中特定位置的概率,所在
位置置信度越大,则目标组织结构在特定位置的概率越大。
作为一示例,步骤S503中,图像处理器在获取到目标组织结构对应的总置信度后,可比较总置信度和全局超参数结构识别置信度阈值,将总置信度
大于全局超参数结构识别置信度阈值的目标组织结构确定为有效组织结构。本示例
中,图像处理器在从K个目标组织结构中识别确定任一目标组织结构为有效组织结构后,可
判断是否存在预先保留的相同的有效组织结构,若存在,则比较两者的总置信度大小,
只保留总置信度较大的有效组织结构。
作为一示例,步骤S504中,图像处理器在根据所有有效组织结构对应的结构识别
向量,确定结构识别特征分量。例如,图像处理器采用结构识别模型对第二超声图像进行结
构识别,确定存在C个有效组织结构后,可根据C个有效组织结构对应的结构识别向量,获取
以矩阵形式表现的结构识别特征分量,。
本实施例中,采用结构识别模型对第二超声图像进行结构识别,使得获取到的结构识别特征分量表征输入超声图像的局部特征信息,包含至少一个组织结构的特征表示,可以从结构识别特征分量中确定输入超声图像可能包含的C个有效组织结构,且每个有效组织结构均是唯一的,以适应超声图像复杂多变,切面存在多分类的复杂场景。
在一实施例中,如图6所示,步骤S204,即对切面分类特征分量和结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果,包括:
S601:根据切面分类特征分量和结构识别特征分量,确定目标节点和目标边;
S602:将目标节点和目标边输入预训练的图神经网络模型进行分类处理,获取切面分类置信度和结构分类置信度;
S603:根据切面分类置信度和结构分类置信度,获取切面分类结果和结构分类结果。
作为一示例,图像处理器在获取切面分类特征分量和结构识别特征分量
后,需采用预先设置的匹配算法对切面分类特征分量和结构识别特征分量进行匹
配处理。可选地,图像处理器可利用图神经网络(Graph Neural Network)来进行匹配处理,
获取切面分类结果和结构分类结果。图神经网络与卷积神经网络(Convolution Neural
Network)不同,适合处理不规则的图数据。卷积神经网络更适合用来处理规则数据,比如说
图像、文本等,这些数据的邻域关系是固定的,以图像为例,每个图像像素的邻域关系都是
固定且规则的,一个卷积核可以应用在图像上的所有位置,但是对于不规则的图数据而言,
在不同的位置/节点上,其邻域位置不一致,不适合使用常规的卷积操作。图数据可定义由
节点Vector与边Edge组成,表示为,Vector表示节点本身的属性,Edge表示节点之
间的关系,以社交网络为例,一个神经网络就是一个典型的图数据类型,节点是社交网络中
的每个个体和每个人,节点Vector是个体的基本属性,如年龄、身高、体重等,边Edge则是个
体之间的联系/关系,比如说个体A与个体B之间是否相识、关系是否良好等都可以构成节点
之间的边。
由于每张切面超声图像的组织结构数量不固定,组织结构与组织结构之间的关系
不固定,可认为是图数据的一种,可将组织结构的属性确定为节点,组织结构之间的关系确
定为边;组织结构的属性可以是位置、大小和灰阶特征等,都可以表示Vector,组织结构之
间的关系包括但不限于位置关系、大小比和包含与被包含的关系等,可采用Edge表示。基于
切面分类特征分量与结构识别特征分量,同样可以构建一个图,的维度
为,的维度为,总共有C个关键组织结构,即图上有C个目标节点。
作为一示例,步骤S601中,图像处理器获取结构识别特征分量后,可基于切面
分类特征分量构建C个目标节点。其中,切面分类特征分量包含超声图像的切面信
息,属于全局特征信息,包括但限于切面类别和切面类别置信度。
本示例中,图像处理器获取第二超声图像对应的切面分类特征分量与结构识
别特征分量后,可基于结构识别特征分量,构建C个目标节点Vector。基于切面分类
特征分量构建C个目标节点Vector过程包括如下步骤:(1)对切面分类特征分量进行
重新编排(reshape)为重编分类特征分量,其维度为,其中。(2)将切
面分类特征分量和重编分类特征分量进行组合,获取C个目标节点。可理解地,由
于切面分类特征分量的维度为,重编分类特征分量的维度为,将切面
分类特征分量和重编分类特征分量结合在一起,如可采用相连(concate)方式结
合,即可获取C个目标节点Vector,C可目标节点可采用表示。
相应地,图像处理器在获取结构识别特征分量后,可根据结构识别特征分量构建目标边Edge。其中,结构识别特征分量包含超声图像的结构信息,属于局部特
征信息,包括但不限于组织结构类别、结构类别置信度、组织结构所在位置和所在位置置信
度。
本示例中,图像处理器在获取结构识别特征分量后,可根据结构识别特征分
量构建目标边Edge,其目标边Edge可采用但不限于如下方式进行构建:(1)两个组织结
构之间的面积比例记为。(2)两个组织结构中心点连线的距离归一化后记为。(3)两个
组织结构中心点连线与水平方向的夹角归一化后记为。(4)两个组织结构的局部灰度直
方图差值均值归一化后记为。(5)目标边Edge的的表示为,其中为权重系
数,最终两个目标节点之间的目标边表示。本示例中的组织结构可以为前面确定的目标
节点Vector。
可理解地,目标节点Vector的实现可有其它方式,同理,目标边Edge即组织结构之间的联系/可以有其它定义方式,上述内容只是描述了一种实现方式,但不限定于这样的实现方式。
作为一示例,步骤S602中,图像处理器在获取到C个目标节点和任意两个目标节
点之间的目标边后,可基于任意相邻两个目标节点目标节点进行组合,基于相邻两
个目标节点之间目标边构成邻接矩阵。然后,将邻接矩阵输入预训练的图神
经网络模型进行分类处理,获取切面分类置信度和结构分类置信度。
本示例中,根据所有目标节点和任意两个目标节点之间的目标边构建邻
接矩阵后,将邻接矩阵作为图神经网络模型的输入,在图神经网络模型内进行图节点
的分类,对每个图节点而言,分类的目标有两个,第一个目标是该目标节点是否为有效节点
的结构分类置信度,第二个目标是该目标节点属于各个切面的切面分类置信度。图神经网
络的构成可选择常见的图卷积网络(Graph Convolution Network)、图注意力网络(Graph
Attention Network)或者是图采样聚合网络(Graph Sample Aggregate Network) 的一个
或者多个组合,基于已有多分类切面标签与结构类别/位置标签的训练超声图像数据集,训
练上述图神经网络,训练过程中的损失函数选用二元交叉熵损失函数(Binary Cross
Entropy Loss)。
作为一示例,图像处理器可根据切面分类置信度和结构分类置信度进行匹配处理,例如,可将切面分类置信度和结构分类置信度,分别与预先设置的切面置信度阈值和结构置信度阈值进行匹配处理,获取切面分类结果和结构分类结果。
本实施例中,由于切面分类特征分量表征超声图像中的全局特征信息,而结构识
别特征分量表征超声图像的局部特征信息,将切面分类特征分量和结构识别特征分量所构
建的邻接矩阵输入到图神经网络模型进行匹配处理,使得切面信息和组织结构信息经过
图神经网络模型的匹配处理,去除不匹配的结果,得到高置信度的切面分类结果与结构分
类结果,可快速确定所输入超声图像的所属切面(多分类)和所包含的组织结构,有助于保
障切面检测和质量评价的准确性。
在一实施例中,如图7所示,步骤S206,即基于切面分类结果和结构分类结果,对第二超声图像进行质量评价,获取切面质量分值,包括:
S701:基于切面分类结果和结构分类结果,确定至少一个切面超声图像,切面超声图像包含至少一个关键组织结构;
S702:对每一切面超声图像中的至少一个关键组织结构进行亮度检测,获取切面超声图像中的至少一个关键组织结构的实测亮度;
S703:对每一切面超声图像中的至少一个关键组织结构进行对比度检测,获取切面超声图像中的至少一个关键组织结构的相对对比度;
S704:对每一切面超声图像中的至少一个关键组织结构进行清晰度检测,获取切面超声图像中的至少一个关键组织结构的实测清晰度;
S705:对每一切面超声图像中的至少一个关键组织结构进行完整度检测,获取切面超声图像中的至少一个关键组织结构的实测完整度;
S706:根据所有切面超声图像中的至少一个关键组织结构的实测亮度、相对对比度、实测清晰度和实测完整度,获取切面质量分值。
作为一示例,步骤S701中,图像处理器获取切面分类结果和结构分类结果后,可根据切面分类结果确定第二超声图像中包含的至少一个切面,以确定至少一个切面对应的切面超声图像;还可根据结构分类结果确定第二超声图像中包含的至少一个关键组织结构。本示例中,关键组织结构是指与切面匹配成功的组织结果。
其中,实测亮度是指实时测量到的亮度。
作为一示例,步骤S702中,图像处理器可采用预先设置的亮度测量算法,对每一切面超声图像进行亮度检测,以获取每一切面超声图像对应的实测亮度。一般来说,人眼对于图像亮度变化的感知是很敏锐的,因此,图像的亮度是一项重要的图像质量指标。不同组织对于超声波的反射强度不同, 例如,血管、肝脏和骨头在同样的探头深度、同样的探头角度下表现出的亮度是不一样的,因此,对于超声图像的亮度评价,应该考虑各个组织结构的亮度情况,而不是考虑图像整体的亮度;在评价不同类型的组织结构时,也应该有不同的合理亮度区间范围,鉴于此,需对每一切面超声图像进行亮度检测,获取其对应的实测亮度。
以第一超声图像为腹部超声图像为例,在腹部超声图像中存在不少空腔,空腔的
亮度往往很低,应该尽量不考虑空腔的亮度影响,因此在考虑组织结构的亮度时,应该考虑
其高亮度区域的亮度。此时,对每一切面超声图像,其实测亮度计算如下:
(1)统计每一切面超声图像从0-255灰阶的直方图,获取切面超声图像对应的原
始直方图。(2)计算原始直方图从0-255灰阶的累加结果,进行归一化,得到归一
化直方图,单调递增,值域为[0, 1]。(3)确定归一化直方图
在大于分类阈值 (默认为0.7)处的目标灰阶。(4)计算原始直方图从-255灰阶的灰度均值。(5)采用亮度映射函数对灰度均值进行计算,获取实测亮度,其中可以是高斯函数(不限定于高斯函
数),在合适的亮度区间输出高值,在合适区间之外输出低值,值域[0, 1];当落在合
适的亮度区间时,输出高权重值,过高或者过低时都会输出低权重值。可
理解地,亮度映射函数的参数也可以根据不同结构而变更,如同上文,血管、肝脏和骨
头等组织结构的合适亮度区间不同,可以将所有的K个目标组织结构根据亮度合适区间分
为数类,每类有一组亮度映射函数参数,以是高斯函数为例,此时亮度映射函数参数
为高斯函数的均值与标准差。
其中,相对对比度是指不同组织结构之间的对比度。作为一示例,切面超声图像的相对对比度可以为次要结构和主要结构之间的相对对比度,也可以为主要结构和切面超声图像整体的相对对比度。
作为一示例,步骤S703中,图像处理器可采用预先设置的相对对比度算法,对每一
切面超声图像进行相对对比度计算,以获取每一切面超声图像的相对对比度。一般来说,超
声图像的相对对比度评价同样很重要,在相对对比度指标上,主要考虑切面超声图像中的
主要结构与次要结构之间的相对对比度,此时,其相对对比度计算过程如下:
(1)根据每一切面超声图像,确定其主要结构与次要结构,在这里将主要结构定义为面积占
比较大的结构,其他结构为次要结构。(2)统计主要结构图像块对应的主要结构直
方图,并统计次要结构图像块对应的次要结构直方图。(3)计算主要结
构直方图与次要结构直方图的主峰/最大值的目标距离。(4)采
用相对对比度映射函数,对计算出的目标距离进行
计算,确定其相对对比度,其中可以是sigmoid函数(不限于此函数),
单调递增,值域[0, 1],有饱和区域即可。可理解地,也可以计算主要结构与整个切面超声
图像之间的相对对比度,其计算过程与上述过程类似,为避免重复,此处不一一赘述。
作为一示例,步骤S704中,图像处理器可采用预先设置的清晰度测量算法,对每一切面超声图像进行清晰度检测,以获取每一切面超声图像的实测清晰度。由于人体不同组织结构对于超声波的反射强度不同、超声设备存在各种不同的信号干扰等原因,超声图像中往往存在噪声;如果超声图像的组织结构中包含的噪声较少,医生会认为该切面超声图像比较清晰,反之则会认为切面超声图像不清晰,因此,可根据噪声在组织结构中的占比来描述超声图像的清晰度。
本示例中,图像处理器计算每一切面超声图像的实测清晰度权重过程如
下:(1)计算切面超声图像的局部结构张量(Structure Tensor)特征,具体地,局部结构张
量的计算包括:先计算切面超声图像对应的原始结构张量矩阵:,其中分别为水平方向与垂直方向的梯度,为高斯滤波器;然后,对切面超声图像对应的原
始结构张量矩阵进行特征分解,获取原始结构张量矩阵的两个特征值,其中;对
原始结构张量矩阵的两个特征值进行归一化计算,获取归一化结构张量特征,其
中,,值域为[0, 1]表示图像上某点的梯度主方向强度,当该点的趋向于1时,
则更可能属于结构特征,当趋向于0时,则更可能属于纹理特征。(2)根据归一化结构张量
特征,分离出切面超声图像的纹理区域,记为。本示例中,归一化结构张量特征是一幅与输入的第二超声图像一样大的图像,值域为[0, 1],值越大,表示该点越像结构
特征,值越接近于0,则更可能属于纹理特征;对归一化结构张量特征经过高斯平滑滤波
后,遍历每个像素点,与结构特征阈值进行比较,如果某一像素点的归一化结构张量特
征大于结构特征阈值,则置0,否则置1,这样可以得到二值化的结构张量特征,与切
面超声图像相乘,则可以分离出切面超声图像的纹理特征所形成的纹理区域。(3)计算切面
超声图像的纹理区域的的平均噪声强度:,其中,为均
方误差函数,为去噪滤波器,可以是中值滤波器、均值滤波器或者其它去除噪声的滤波
器,为滤波操作。(4)采用清晰度映射函数,对纹理区域的
平均噪声强度进行计算,获取切面超声图像的实测亮度,其中可以是
sigmoid函数(不限于此函数),单调递增,值域[0, 1],有饱和区域即可,噪声越强,输出分
值越低。
其中,实测完整度是指实时测量到的完整度。
作为一示例,步骤S705中,图像处理器可采用预先设置的完整度测量算法,对每一切面超声图像进行完整度检测,获取每一切面超声图像的实测完整度。本示例中,每一切面超声图像的实测完整度可理解为其主要轮廓边缘的结构张量矩阵(其上述清晰度计算过程所示),当某一组织结构的轮廓边缘不明显时,其会充斥大量噪声,因此,可认定该组织结构不完整。
本示例中,图像处理器计算每一切面超声图像的实测完整度过程如
下:(1)采用局部区域轮廓提取算法,如水平集、Snake模型、CV模型、LBF模型等,提取切面超
声图像的几何主轮廓,获取主轮廓曲线。(2)计算主轮廓曲线上每点的归一化结构
张量特征。(3)计算主轮廓曲线上的归一化结构特征强度:,其中
为归一化系数。(4)采用完整度映射函数,对归一化结构特
征强度进行计算,获取切面超声图像的实测完整度,其中可以是
sigmoid函数(不限于此函数),单调递增,值域[0, 1],有饱和区域即可,结构张量特征强度
越强,输出分值越高。
作为一示例,步骤S706中,图像处理器在获取切面超声图像的每一个组织结构的实测亮度、相对对比度、实测清晰度和实测完整度这四个评价指标值,可对四个评价指标值进行综合计算,即可确定每一切面超声图像对应的切面质量分值。
本示例中,图像处理器可根据实时测量到的实测亮度、相对对比度、实测清晰度和实测完整度这四个评价指标值,结合其预先设置的权重分值进行加权处理,即可获取切面超声图像对应的切面质量分值。例如,加权的方式可以存在多种,以下举例说明:
在一示例中,统计每一个组织结构在四个评价指标上实时测量到的评价指标值,
加权得到该组织结构的权重分值,然后加权切面超声图像下所有组织结构的权重分值,得
到最终的切面质量分值,假设切面超声图像下有个组织结构,表达式如下:
在另一示例中,统计每一组织结构在某个评价指标上实时测量到的评价指标值,
加权得到该评价指标的权重分值,然后加权四个评价指标的分值,得到最终的切面质量分
值,假设切面超声图像下有个组织结构,表达式如下:
可理解地,根据同一切面超声图像至少一个关键组织结构的实测亮度、相对对比度、实测清晰度和实测完整度等四个评价指标值,可对四个评价指标值进行综合计算,即可确定每一切面超声图像对应的切面质量分值,可保障切面检测和质量评价的准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种超声图像切面质量评价装置,该超声图像切面质量评价装置与上述实施例中超声图像切面质量评价方法一一对应。如图8所示,该超声图像切面质量评价装置包括图像获取模块801、图像预处理模块802、分类识别模块803、匹配处理模块804和质量评价模块805。各功能模块详细说明如下:
图像获取模块801,用于获取第一超声图像;
图像预处理模块802,用于对第一超声图像进行预处理,获取第二超声图像;
分类识别模块803,用于对第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;
匹配处理模块804,用于对切面分类特征分量和结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;
质量评价模块805,用于基于切面分类结果和结构分类结果,对第二超声图像进行质量评价,获取切面质量分值。
在一实施例中,分类识别模块803包括:
切面识别单元,用于采用切面分类模型对第二超声图像进行切面识别,获取切面分类特征分量;
结构识别单元,用于采用结构识别模型对第二超声图像进行结构识别,获取结构识别特征分量。
在一实施例中,切面识别单元,包括:
切面分类概率向量获取子单元,用于对第二超声图像进行切面分类识别,获取切面分类概率向量,切面分类概率向量包括N个切面类别对应的分类概率值,N≥1;
切面特征分量获取子单元,用于对每一切面类别对应的分类概率值进行梯度计算,获取每一切面类别对应的M个切面特征分量,M≥1;
切面分类特征分量获取子单元,用于基于N个切面类别对应的M个切面特征分量,获取切面分类特征分量。
在一实施例中,结构识别单元,包括:
结构识别向量获取子单元,用于对第二超声图像进行结构识别,获取结构识别向量,结构识别向量包括K个目标组织结构对应的结构类别置信度、组织结构所在位置及所在位置置信度;
总置信度获取子单元,用于将K个结构类别置信度中的最大值和所在位置置信度的乘积,确定为目标组织结构对应的总置信度;
有效组织结构获取子单元,用于将总置信度大于全局超参数结构识别置信度阈值的目标组织结构确定为有效组织结构;
结构识别特征分量确定子单元,用于根据所有有效组织结构对应的结构识别向量,确定结构识别特征分量。
在一实施例中,匹配处理模块804,包括:
节点/边获取单元,用于根据切面分类特征分量和结构识别特征分量,确定目标节点和目标边;
分类置信度获取单元,用于将目标节点和目标边输入预训练的图神经网络模型进行分类处理,获取切面分类置信度和结构分类置信度;
分类结果获取单元,用于根据切面分类置信度和结构分类置信度,获取切面分类结果和结构分类结果。
在一实施例中,质量评价模块805,包括:
切面超声图像确定单元,用于基于切面分类结果和结构分类结果,确定至少一个切面超声图像,切面超声图像包含至少一个关键组织结构;
实测亮度获取单元,用于对每一切面超声图像中的至少一个关键组织结构进行亮度检测,获取切面超声图像中的至少一个关键组织结构的实测亮度;
相对对比度获取单元,用于对每一切面超声图像中的至少一个关键组织结构进行对比度检测,获取切面超声图像中的至少一个关键组织结构的相对对比度;
实测清晰度获取单元,用于对每一切面超声图像中的至少一个关键组织结构进行清晰度检测,获取切面超声图像中的至少一个关键组织结构的实测清晰度;
实测完整度获取单元,对每一切面超声图像中的至少一个关键组织结构进行完整度检测,获取切面超声图像中的至少一个关键组织结构的实测完整度;
切面质量分值获取单元,用于根据所有切面超声图像中的至少一个关键组织结构的实测亮度、相对对比度、实测清晰度和实测完整度,获取切面质量分值。
关于超声图像切面质量评价装置的具体限定可以参见上文中对于超声图像切面质量评价方法的限定,在此不再赘述。上述超声图像切面质量评价装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于超声设备中的处理器中,也可以以软件形式存储于超声设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一实施例中,提供一种超声设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中超声图像切面质量评价方法,例如图2所示S201-S205,或者图3至图7中所示,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现超声图像切面质量评价装置这一实施例中的各模块/单元的功能,例如图8所示的图像获取模块801、图像预处理模块802、分类识别模块803、匹配处理模块804和质量评价模块805的功能,为避免重复,这里不再赘述。
在一实施例中,提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中超声图像切面质量评价方法,例如图2所示S201-S205,或者图3至图7中所示,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述超声图像切面质量评价装置这一实施例中的各模块/单元的功能,例如图8所示的图像获取模块801、图像预处理模块802、分类识别模块803、匹配处理模块804和质量评价模块805的功能,为避免重复,这里不再赘述。所述计算机可读存储介质可以是非易失性,也可以是易失性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (14)
1.一种超声图像切面质量评价方法,其特征在于,包括:
获取第一超声图像;
对所述第一超声图像进行预处理,获取第二超声图像;
对所述第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;
对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;
基于所述切面分类结果和所述结构分类结果,对所述第二超声图像进行质量评价,获取切面质量分值。
2.如权利要求1所述的超声图像切面质量评价方法,其特征在于,所述对所述第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量,包括:
采用切面分类模型对所述第二超声图像进行切面识别,获取切面分类特征分量;
采用结构识别模型对所述第二超声图像进行结构识别,获取结构识别特征分量。
3.如权利要求2所述的超声图像切面质量评价方法,其特征在于,所述采用切面分类模型对所述第二超声图像进行识别,获取切面分类特征分量,包括:
对所述第二超声图像进行切面分类识别,获取切面分类概率向量,所述切面分类概率向量包括N个切面类别对应的分类概率值,N≥1;
对每一所述切面类别对应的分类概率值进行梯度计算,获取每一所述切面类别对应的M个切面特征分量,M≥1;
基于N个所述切面类别对应的M个所述切面特征分量,获取切面分类特征分量。
4.如权利要求2所述的超声图像切面质量评价方法,其特征在于,所述采用结构识别模型对所述第二超声图像进行识别,获取结构识别特征分量,包括:
对所述第二超声图像进行结构识别,获取结构识别向量,所述结构识别向量包括K个目标组织结构对应的结构类别置信度、组织结构所在位置及所在位置置信度;
将K个结构类别置信度中的最大值和所述所在位置置信度的乘积,确定为所述目标组织结构对应的总置信度;
将所述总置信度大于全局超参数结构识别置信度阈值的目标组织结构确定为有效组织结构;
根据所有所述有效组织结构对应的结构识别向量,确定所述结构识别特征分量。
5.如权利要求1所述的超声图像切面质量评价方法,其特征在于,所述对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果,包括:
根据所述切面分类特征分量和所述结构识别特征分量,确定目标节点和目标边;
将所述目标节点和所述目标边输入预训练的图神经网络模型进行分类处理,获取切面分类置信度和结构分类置信度;
根据所述切面分类置信度和所述结构分类置信度,获取切面分类结果和结构分类结果。
6.如权利要求1所述的超声图像切面质量评价方法,其特征在于,所述基于所述切面分类结果和所述结构分类结果,对所述第二超声图像进行质量评价,获取切面质量分值,包括:
基于所述切面分类结果和所述结构分类结果,确定至少一个切面超声图像,所述切面超声图像包含至少一个关键组织结构;
对每一所述切面超声图像中的至少一个关键组织结构进行亮度检测,获取所述切面超声图像中的至少一个关键组织结构的实测亮度;
对每一所述切面超声图像中的至少一个关键组织结构进行对比度检测,获取所述切面超声图像中的至少一个关键组织结构的相对对比度;
对每一所述切面超声图像中的至少一个关键组织结构进行清晰度检测,获取所述切面超声图像中的至少一个关键组织结构的实测清晰度;
对每一所述切面超声图像中的至少一个关键组织结构进行完整度检测,获取所述切面超声图像中的至少一个关键组织结构的实测完整度;
根据所有所述切面超声图像中的至少一个关键组织结构的实测亮度、相对对比度、实测清晰度和实测完整度,获取切面质量分值。
7.一种超声图像切面质量评价装置,其特征在于,包括:
图像获取模块,用于获取第一超声图像;
图像预处理模块,用于对所述第一超声图像进行预处理,获取第二超声图像;
分类识别模块,用于对所述第二超声图像进行分类识别,获取切面分类特征分量和结构识别特征分量;
匹配处理模块,用于对所述切面分类特征分量和所述结构识别特征分量进行匹配处理,获取切面分类结果和结构分类结果;
质量评价模块,用于基于所述切面分类结果和所述结构分类结果,对所述第二超声图像进行质量评价,获取切面质量分值。
8.如权利要求7所述的超声图像切面质量评价装置,其特征在于,所述分类识别模型,包括:
切面识别单元,用于采用切面分类模型对所述第二超声图像进行切面识别,获取切面分类特征分量;
结构识别单元,用于采用结构识别模型对所述第二超声图像进行结构识别,获取结构识别特征分量。
9.如权利要求8所述的超声图像切面质量评价装置,其特征在于,所述切面识别单元,包括:
切面分类概率向量获取子单元,用于对所述第二超声图像进行切面分类识别,获取切面分类概率向量,所述切面分类概率向量包括N个切面类别对应的分类概率值,N≥1;
切面特征分量获取子单元,用于对每一所述切面类别对应的分类概率值进行梯度计算,获取每一所述切面类别对应的M个切面特征分量,M≥1;
切面分类特征分量获取子单元,用于基于N个所述切面类别对应的M个所述切面特征分量,获取切面分类特征分量。
10.如权利要求8所述的超声图像切面质量评价装置,其特征在于,所述结构识别单元,包括:
结构识别向量获取子单元,用于对所述第二超声图像进行结构识别,获取结构识别向量,所述结构识别向量包括K个目标组织结构对应的结构类别置信度、组织结构所在位置及所在位置置信度;
总置信度获取子单元,用于将K个结构类别置信度中的最大值和所述所在位置置信度的乘积,确定为所述目标组织结构对应的总置信度;
有效组织结构获取子单元,用于将所述总置信度大于全局超参数结构识别置信度阈值的目标组织结构确定为有效组织结构;
结构识别特征分量确定子单元,用于根据所有所述有效组织结构对应的结构识别向量,确定所述结构识别特征分量。
11.如权利要求7所述的超声图像切面质量评价装置,其特征在于,匹配处理模块,包括:
节点/边获取单元,用于根据所述切面分类特征分量和所述结构识别特征分量,确定目标节点和目标边;
分类置信度获取单元,用于将所述目标节点和所述目标边输入预训练的图神经网络模型进行分类处理,获取切面分类置信度和结构分类置信度;
分类结果获取单元,用于根据所述切面分类置信度和所述结构分类置信度,获取切面分类结果和结构分类结果。
12.如权利要求7所述的超声图像切面质量评价装置,其特征在于,所述质量评价模块,包括:
切面超声图像确定单元,用于基于所述切面分类结果和所述结构分类结果,确定至少一个切面超声图像,所述切面超声图像包含至少一个关键组织结构;
实测亮度获取单元,用于对每一所述切面超声图像中的至少一个关键组织结构进行亮度检测,获取所述切面超声图像中的至少一个关键组织结构的实测亮度;
相对对比度获取单元,用于对每一所述切面超声图像中的至少一个关键组织结构进行对比度检测,获取所述切面超声图像中的至少一个关键组织结构的相对对比度;
实测清晰度获取单元,用于对每一所述切面超声图像中的至少一个关键组织结构进行清晰度检测,获取所述切面超声图像中的至少一个关键组织结构的实测清晰度;
实测完整度获取单元,对每一所述切面超声图像中的至少一个关键组织结构进行完整度检测,获取所述切面超声图像中的至少一个关键组织结构的实测完整度;
切面质量分值获取单元,用于根据所有所述切面超声图像中的至少一个关键组织结构的实测亮度、相对对比度、实测清晰度和实测完整度,获取切面质量分值。
13.一种超声设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述超声图像切面质量评价方法。
14.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述超声图像切面质量评价方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211009574.6A CN115082487B (zh) | 2022-08-23 | 2022-08-23 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211009574.6A CN115082487B (zh) | 2022-08-23 | 2022-08-23 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082487A true CN115082487A (zh) | 2022-09-20 |
CN115082487B CN115082487B (zh) | 2022-12-13 |
Family
ID=83245404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211009574.6A Active CN115082487B (zh) | 2022-08-23 | 2022-08-23 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082487B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563294A (zh) * | 2023-07-11 | 2023-08-08 | 深圳微创心算子医疗科技有限公司 | 图像质量的确定方法、装置、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241898A (zh) * | 2018-08-29 | 2019-01-18 | 合肥工业大学 | 腔镜视像的目标定位方法和系统、存储介质 |
CN111223092A (zh) * | 2020-02-28 | 2020-06-02 | 长沙大端信息科技有限公司 | 胎儿超声切面图像自动质控系统及检测方法 |
CN112070119A (zh) * | 2020-08-11 | 2020-12-11 | 长沙大端信息科技有限公司 | 超声切面图像质量控制方法、装置和计算机设备 |
CN112102230A (zh) * | 2020-07-24 | 2020-12-18 | 湖南大学 | 超声切面识别方法、系统、计算机设备和存储介质 |
CN112155601A (zh) * | 2020-09-24 | 2021-01-01 | 广州爱孕记信息科技有限公司 | 一种胎儿超声图像的成像质量控制的确定方法及装置 |
WO2022099882A1 (zh) * | 2020-11-13 | 2022-05-19 | 中国科学院深圳先进技术研究院 | 超声图像成像质量评价方法、装置及计算机可读存储介质 |
-
2022
- 2022-08-23 CN CN202211009574.6A patent/CN115082487B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241898A (zh) * | 2018-08-29 | 2019-01-18 | 合肥工业大学 | 腔镜视像的目标定位方法和系统、存储介质 |
CN111223092A (zh) * | 2020-02-28 | 2020-06-02 | 长沙大端信息科技有限公司 | 胎儿超声切面图像自动质控系统及检测方法 |
CN112102230A (zh) * | 2020-07-24 | 2020-12-18 | 湖南大学 | 超声切面识别方法、系统、计算机设备和存储介质 |
CN112070119A (zh) * | 2020-08-11 | 2020-12-11 | 长沙大端信息科技有限公司 | 超声切面图像质量控制方法、装置和计算机设备 |
CN112155601A (zh) * | 2020-09-24 | 2021-01-01 | 广州爱孕记信息科技有限公司 | 一种胎儿超声图像的成像质量控制的确定方法及装置 |
WO2022062460A1 (zh) * | 2020-09-24 | 2022-03-31 | 广州爱孕记信息科技有限公司 | 一种胎儿超声图像的成像质量控制的确定方法及装置 |
WO2022099882A1 (zh) * | 2020-11-13 | 2022-05-19 | 中国科学院深圳先进技术研究院 | 超声图像成像质量评价方法、装置及计算机可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563294A (zh) * | 2023-07-11 | 2023-08-08 | 深圳微创心算子医疗科技有限公司 | 图像质量的确定方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115082487B (zh) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101889725B1 (ko) | 악성 종양 진단 방법 및 장치 | |
US10839510B2 (en) | Methods and systems for human tissue analysis using shearlet transforms | |
KR101977174B1 (ko) | 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
Kumar et al. | Review on image segmentation techniques | |
KR101889722B1 (ko) | 악성 종양 진단 방법 및 장치 | |
CN109325490B (zh) | 基于深度学习和rpca的太赫兹图像目标识别方法 | |
CN110766051A (zh) | 一种基于神经网络的肺结节形态学分类方法 | |
WO2003098522A1 (en) | Apparatus and method for statistical image analysis | |
CN111862044A (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
KR101889724B1 (ko) | 악성 종양 진단 방법 및 장치 | |
Ghazal et al. | Automated framework for accurate segmentation of leaf images for plant health assessment | |
CN110610472A (zh) | 实现肺结节图像分类检测的计算机装置及方法 | |
WO2020066257A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
CN115082487B (zh) | 超声图像切面质量评价方法、装置、超声设备及存储介质 | |
KR101889723B1 (ko) | 악성 종양 진단 방법 및 장치 | |
JP2020501289A (ja) | 一連のエコー画像における神経の検出方法 | |
KR20100116404A (ko) | 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치 | |
CN113570594A (zh) | 超声图像中目标组织的监测方法、装置及存储介质 | |
WO2021032325A1 (en) | Updating boundary segmentations | |
Khosa et al. | Feature extraction in X-ray images for hazelnuts classification | |
CN117392040A (zh) | 一种标准切面的识别方法、系统、装置及存储介质 | |
Prasad et al. | Improved Entropic Threshold based on GLSC Histogram with Varying Similarity Measure | |
Sánchez-García et al. | A novel image-processing based method for the automatic detection, extraction and characterization of marine mammal tonal calls | |
Várkonyi-Kóczy et al. | A fuzzy hypermatrix-based skin color filtering method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |