CN116128863B - 一种医学图像处理方法、装置及设备 - Google Patents
一种医学图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN116128863B CN116128863B CN202310187003.XA CN202310187003A CN116128863B CN 116128863 B CN116128863 B CN 116128863B CN 202310187003 A CN202310187003 A CN 202310187003A CN 116128863 B CN116128863 B CN 116128863B
- Authority
- CN
- China
- Prior art keywords
- medical image
- focus
- image
- model
- variance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 201000010099 disease Diseases 0.000 claims abstract description 97
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 97
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 35
- 238000012795 verification Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 21
- 238000002059 diagnostic imaging Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 9
- 230000003902 lesion Effects 0.000 description 18
- 210000000481 breast Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种医学图像处理方法、装置及设备,所述方法包括:获取待识别医学图像;将待识别医学图像输入预先训练的疾病区域检测模型;基于疾病区域检测模型,确定待识别医学图像的每个像素点是否为病灶点;根据各个病灶点,确定待识别医学。图像对应的疾病区域信息。采用该方法,由于疾病区域检测模型是根据多种机型输出的医学图像训练得到的,因此,疾病区域检测模型对多种新机型的数据适用程度较高,疾病区域检测模型识别医学图像的疾病区域提高了疾病区域检测效果。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种医学图像处理方法、装置及设备。
背景技术
乳腺癌是我国女性发病率最高的疾病之一,防治乳腺癌最有效的手段是通过早期筛查。传统的乳腺癌早期筛查方法为超声影像筛查方法,具体的,超声影像筛查方法是由医生对超声影像筛查得到的扫描视频进行观察确定出其中疑似病灶的图像区域。
近年来随着机器学习技术的快速发展,利用基于超声图像训练得到的疾病区域检测模型进行疾病区域筛查的方法逐渐被提出。然而,现有的用于训练疾病区域检测模型的数据通常是来自有限机型的超声图像数据,这使得训练得到的疾病区域检测模型对其他新机型的数据适用程度较低,影响了疾病区域检测效果。
因此,如何提高疾病区域检测效果成为了一个亟待解决的技术问题。
发明内容
本公开提供了一种医学图像处理方法、装置及设备,以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面,提供了一种医学图像处理方法,所述方法包括:
获取待识别医学图像;
将所述待识别医学图像输入预先训练的疾病区域检测模型;
基于所述疾病区域检测模型,确定所述待识别医学图像的每个像素点是否为病灶点;
根据各个所述病灶点,确定所述待识别医学图像对应的疾病区域信息;
其中,所述疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,所述样本医学图像为多种不同机型的医学成像机器所输出的图像。
在一可实施方式中,所述疾病区域检测模型的训练方式,包括:
将样本医学图像组输入待训练模型,得到所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果,其中,所述样本医学图像组包括来自第一机型的医学成像机器的预设数量个连续的样本医学图像;
基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数;
确定所述损失函数是否收敛;
如果是,基于所述待训练模型确定所述疾病区域检测模型;
如果否,调整所述待训练模型的参数,并返回所述将样本医学图像组输入待训练模型的步骤。
在一可实施方式中,所述待训练模型包括图像增强层、特征提取层、特征融合层和结果输出层;
所述将样本医学图像组输入待训练模型,得到所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果,包括:
将样本医学图像组输入待训练模型;
所述图像增强层,对所述样本医学图像组的各个样本医学图像进行预处理;
所述特征提取层,提取各个经过预处理的样本医学图像的图像特征,得到包括各个图像特征的第一图像特征组;
所述特征融合层,将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,其中,所述第二图像组为来自第二机型的预设数量个医学图像;
所述结果输出层,基于所述融合特征确定所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果。
在一可实施方式中,所述对所述样本医学图像组的各个样本医学图像进行预处理,包括:
将所述样本医学图像组的各个样本医学图像进行对齐处理;
对所述各个样本医学图像的图像参数进行增强处理,得到预处理后的各个样本医学图像。
在一可实施方式中,所述将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,包括:
确定所述第一图像特征组的第一均值和第一方差;
基于所述第一均值、所述第一方差、第二均值和第二方差确定目标均值和目标方差,其中,所述第二均值和所述第二方差为所述第二图像组对应的特征的均值和方差;
根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征。
在一可实施方式中,所述根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征,包括:
采用如下公式,根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征:
其中,表示所述融合特征,/>表示所述目标方差,/> α为来自于[0,1]均匀分布的随机变量,σi表示所述第一方差,σj表示所述第二方差,/>表示所述目标均值,/>μi表示所述第一均值,μj表示所述第二均值,Fi表示所述第一图像特征组。
在一可实施方式中,所述病灶预测结果包括所述各个样本医学图像的各个像素点对应的预测病灶置信度、预测中心权重值和病灶框预测距离;
所述基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域的标识,确定所述待训练模型对应的损失函数,包括:
采用如下公式,基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数:
其中,L表示所述待训练模型对应的损失函数,Pij表示第i行第j列的像素点对应的预测病灶置信度,为所述病灶区域标识中第i行第j列的像素点对应的真实病灶置信度,Gij表示第i行第j列的像素点对应的预测中心权重值,/>表示所述病灶区域标识中第i行第j列的像素点对应的真实中心权重值,Bij表示第i行第j列的像素点对应的病灶框预测距离,表示所述病灶区域标识中第i行第j列的像素点对应的病灶框真实距离,Lreg表示L2回归损失函数。
在一可实施方式中,所述基于所述待训练模型确定所述疾病区域检测模型,包括:
将所述待训练模型确定为待验证模型;
确定待验证模型的数量是否达到目标数量;
如果是,将验证集的各个验证医学图像分别输入各个待验证模型,得到对应的验证结果,并将验证结果准确率最高的待验证模型确定为所述疾病区域检测模型;
如果否,返回所述将样本医学图像组输入待训练模型的步骤。
根据本公开的第二方面,提供了一种医学图像处理装置,所述装置包括:
图像获取模块,用于获取待识别医学图像;
图像识别模块,用于将所述待识别医学图像输入预先训练的疾病区域检测模型;基于所述疾病区域检测模型,确定所述待识别医学图像的每个像素点是否为病灶点;根据各个所述病灶点,确定所述待识别医学图像对应的疾病区域信息;其中,所述疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,所述样本医学图像为多种不同机型的医学成像机器所输出的图像。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开提供的一种医学图像处理方法、装置及设备,获取待识别医学图像;将待识别医学图像输入预先训练的疾病区域检测模型;基于疾病区域检测模型,确定待识别医学图像的每个像素点是否为病灶点;根据各个病灶点,确定待识别医学图像对应的疾病区域信息。疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,样本医学图像为多种不同机型的医学成像机器所输出的图像,也就是说,疾病区域检测模型是根据多种机型输出的医学图像训练得到的,因此,疾病区域检测模型对多种新机型的数据适用程度较高,提高了疾病区域检测效果。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1示出了本公开实施例提供的医学图像处理方法的一种实现流程示意图;
图2示出了本公开实施例提供的一种疾病区域检测模型的训练流程示意图;
图3示出了本公开实施例提供的一种疾病区域检测模型确定流程示意图;
图4示出了本公开实施例提供的医学图像处理装置的一种结构示意图;
图5示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
由于现有的用于训练疾病区域检测模型的数据通常是来自有限机型的超声图像数据,这使得训练得到的疾病区域检测模型对其他新机型的数据适用程度较低,影响了疾病区域检测效果。因此,为了提高疾病区域检测效果,本公开提供了一种医学图像处理方法、装置及设备。本公开提供的医学图像处理方法可以应用于电脑和服务器等电子设备。
下面将结合本公开实施例中的附图,对本公开实施例的技术方案进行描述。
图1示出了本公开实施例提供的医学图像处理方法的一种实现流程示意图,如图1所示,所述方法包括:
S101,获取待识别医学图像。
待识别医学图像可以为需要识别病灶区域的医学图像,例如,待识别医学图像可以为超声视频中的各个图像帧。
S102,将所述待识别医学图像输入预先训练的疾病区域检测模型。
S103,基于所述疾病区域检测模型,确定所述待识别医学图像的每个像素点是否为病灶点。
S104,根据各个所述病灶点,确定所述待识别医学图像对应的疾病区域信息。
其中,所述疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,所述样本医学图像为多种不同机型的医学成像机器所输出的图像。
采用本公开的医学图像处理方法,获取待识别医学图像;将待识别医学图像输入预先训练的疾病区域检测模型;基于疾病区域检测模型,确定待识别医学图像的每个像素点是否为病灶点;根据各个病灶点,确定待识别医学图像对应的疾病区域信息。疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,样本医学图像为多种不同机型的医学成像机器所输出的图像,也就是说,疾病区域检测模型是根据多种机型输出的医学图像训练得到的,因此,疾病区域检测模型对多种新机型的数据适用程度较高,提高了疾病区域检测效果。
在一可实施方式中,图2示出了本公开实施例提供的一种疾病区域检测模型的训练流程示意图,如图2所示,所述疾病区域检测模型的训练方式,包括:
S201,将样本医学图像组输入待训练模型,得到所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果。
其中,所述样本医学图像组包括来自第一机型的医学成像机器的预设数量个连续的样本医学图像。预设数量可以设置为21或23等奇数。
S202,基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数。
S203,确定所述损失函数是否收敛。
S204,如果是,基于所述待训练模型确定所述疾病区域检测模型。
S205,如果否,调整所述待训练模型的参数,并返回所述将样本医学图像组输入待训练模型的步骤。
本公开中,可以从不同超声检查机器输出的乳腺病灶扫查超声视频中,获取到来自不同机型的样本医学图像组。具体的,针对来自每种机型的乳腺病灶扫查超声视频,可以将该乳腺病灶扫查超声视频中连续预设数量个个图像帧确定为样本医学图像组。针对每个样本医学图像组,可以将该样本医学图像组中每个样本医学图像中的病灶标注,具体的,可以用矩形框标注每个病灶。本公开中,用矩形框标注每个病灶的方法具体可以包括:利用卷积神经网络确定每个样本医学图像对应的卷积特征图,并确定出将卷积特征图中每个像素点映射到原始的样本医学图像后对应的像素点是否在病灶框内,如果在病灶框内,将卷积特征图中该像素点对应的真实病灶置信度设置为1,如果不在病灶框内,将卷积特征图中该像素点对应的真实病灶置信度设置为0。例如,原始分辨率为64*64的样本医学图像在经过卷积神经网络之后,得到的卷积特征图的分辨率为16*16,可以针对16*16的卷积特征图中每个像素点,例如,可以针对卷积特征图中坐标为(1,1)的像素点,可以确定坐标为(1,1)的像素点在原始分辨率为64*64的样本医学图像对应的像素点的坐标,若坐标为(1,1)的像素点在原始分辨率为64*64的样本医学图像对应的像素点的坐标为(4,4),可以确定原始分辨率为64*64的样本医学图像中坐标为(4,4)的像素点是否在病灶框内,如果在病灶框内,确定坐标为(1,1)的像素点对应的真实病灶置信度设置为1,如果不在病灶框内,确定坐标为(1,1)的像素点对应的真实病灶置信度设置为0。
然后,可以计算每个样本医学图像经过卷积神经网络对应的卷积特征图中每个像素点在样本医学图像中对应的像素点与所属的病灶框中心的权重值,作为该像素点对应的真实中心权重值,如果该像素点在样本医学图像中对应的像素点不属于任何病灶框,则可以将该像素点对应的真实中心权重值设置为0。并且,可以计算每个像素点在样本医学图像中对应的像素点与其所属的病灶框的各个边的距离,作为该像素点对应的病灶框真实距离。然后,样本医学图像组中每个样本医学图像的各个像素点对应的真实病灶置信度、真实中心权重值和病灶框真实距离确定为该样本图像组对应的病灶区域标识。
在一可实施方式中,所述待训练模型包括图像增强层、特征提取层、特征融合层和结果输出层。所述将样本医学图像组输入待训练模型,得到所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果的步骤,可以包括如下步骤A1-A5:
步骤A1,将样本医学图像组输入待训练模型。
步骤A2,所述图像增强层,对所述样本医学图像组的各个样本医学图像进行预处理。
本公开中,样本医学图像组中位于中间的样本医学图像为中心图像帧。
所述对所述样本医学图像组的各个样本医学图像进行预处理的步骤,可以包括如下步骤B1-B2:
步骤B1,将所述样本医学图像组的各个样本医学图像进行对齐处理。
本公开中,样本医学图像组中位于中间的样本医学图像为中心医学图像帧。
本步骤中,可以计算样本医学图像组中其他样本医学图像相对中心医学图像帧的光流,根据光流将样本医学组中各个样本医学图像与中心医学图像帧进行对齐。
步骤B2,对所述各个样本医学图像的图像参数进行增强处理,得到预处理后的各个样本医学图像。
为了提升训练得到的疾病区域检测模型在不同机型的医学图像上的检测泛化能力,本公开可以对样本医学图像组中各个样本医学图像的颜色、对比度、和亮度等图像参数进行随机增强,以实现从图像角度丰富模型输入的多样性。
步骤A3,所述特征提取层,提取各个经过预处理的样本医学图像的图像特征,得到包括各个图像特征的第一图像特征组。
本公开中,可以采用多显卡电子设备训练待训练模型。在训练模型的过程中,每张显卡上处理的样本图像为来自同一机型的图像,电子设备中至少两个显卡所处理的样本图像是来自不同机型的样本图像。例如,训练模型的电子设备配置有三张Nvidia GeForceRTX 3090显卡:显卡1、显卡2和显卡3,其中,显卡1和显卡2中处理的样本医学图像为来自第一机型的医学图像,显卡3中处理的样本医学为来自第二机型的医学图像。
本步骤中,每张显卡的特征提取层可以通过对各个预处理的样本医学图像进行卷积处理,得到各个样本医学图像的图像特征,并将各个样本医学图像的图像特征作为第一图像特征组。例如,电子设备的第i张显卡在训练模型时确定的第一图像特征组为Fi=N×C×H×W,其中,N表示样本图像组的图像帧数,C表示这些图像特征的通道数,H和W分别表示每一帧样本医学图像通过卷积提取出的图像特征的高和宽。
步骤A4,所述特征融合层,将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征。
其中,所述第二图像组为来自第二机型的预设数量个医学图像。
本公开中,所述将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征的步骤,可以包括如下步骤C1-C3:
步骤C1,确定所述第一图像特征组的第一均值和第一方差。
本公开中,在训练模型的过程中,可以对中间阶段生成的第一图像特征组与来自其他机型的第二图像组对应的特征进行融合,实现将其他机型的图像风格迁移到第一样本图像组的样本图像上,提升训练得到的疾病区域检测模型在不同机型的医学图像上的检测泛化能力。
而卷积神经网络特征的平均值和方差能在一定程度上反映图像所属的风格信息,因此,本步骤中,可以通过确定第一图像特征组的第一均值和第一方差,交换不同机型的特征的平均值与方差,增强当前机型对应的图像特征的风格多样性。
具体的,若电子设备的第i张显卡在训练模型时确定的第一图像特征组为Fi=N×C×H×W,可以确定出第一图像特征组Fi的第一均值和第一方差为Si=(μi,σi),其中,μi,σi∈RC,都是C维向量,μi为第一均值,σi为第一方差。并且,对于第i张显卡,本公开中还可以随机选取其他一张处理第二机型的医学图像的显卡j,显卡j处理的第二图像组对应的特征的均值和方差分别为μj和j。
步骤C2,基于所述第一均值、所述第一方差、第二均值和第二方差确定目标均值和目标方差。
其中,所述第二均值和所述第二方差为所述第二图像组对应的特征的均值和方差。
具体的,本步骤可以采用如下公式,基于所述第一均值、所述第一方差、第二均值和第二方差确定目标均值和目标方差/>
其中,α为来自于[0,1]均匀分布的随机变量,σi表示所述第一方差,σj表示所述第二方差,i表示所述第一均值,μj表示所述第二均值。
步骤C3,根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征。
具体的,可以采用如下公式,根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征:
其中,表示所述融合特征,/>表示所述目标方差,/> α为来自于[0,1]均匀分布的随机变量,σi表示所述第一方差,σj表示所述第二方差,/>表示所述目标均值,/>μi表示所述第一均值,μj表示所述第二均值,Fi表示所述第一图像特征组。
步骤A5,所述结果输出层,基于所述融合特征确定所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果。
在一可实施方式中,所述病灶预测结果包括所述各个样本医学图像的各个像素点对应的预测病灶置信度、预测中心权重值和病灶框预测距离。
本公开中,待训练模型可以预测出样本医学图像的每个像素电是否属于一个病灶、该像素点点到其所属的病灶框的4条边的距离以及该像素点的预测中心权重值。相应的,本步骤中,损失函数也可以分为第一损失子函数、第二损失子函数和第三损失子函数。第一损失子函数是对像素点是否属于病灶框的分类损失函数,具体的,第一损失子函数可以采用交叉熵损失函数,如果像素点对应到是属于任意一个病灶框,则可以确定该像素点对应的第一损失子函数为1,否则为0。第二损失子函数表征像素点到其所属的病灶框的四条边的距离的损失函数,具体的,第二损失子函数可以采用回归损失函数。第三损失子函数为中心度损失函数,用于表征像素点相对于其所属的病灶框的中心点的预测中心权重值,像素点与其所属的病灶框的中心点相距越近,则该像素点对的预测中心权重值越大。
所述基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域的标识,确定所述待训练模型对应的损失函数,可以包括:采用如下公式,基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数:
其中,L表示所述待训练模型对应的损失函数,Pij表示第i行第j列的像素点对应的预测病灶置信度,为所述病灶区域标识中第i行第j列的像素点对应的真实病灶置信度,Gij表示第i行第j列的像素点对应的预测中心权重值,/>表示所述病灶区域标识中第i行第j列的像素点对应的真实中心权重值,Bij表示第i行第j列的像素点对应的病灶框预测距离,表示所述病灶区域标识中第i行第j列的像素点对应的病灶框真实距离,Lreg表示L2回归损失函数。
其中,(p1,p2)为该像素点所属病灶框的中心点坐标,w为该像素点所属病灶框的宽,h为该像素点所属病灶框的高,
在一可实施方式中,图3示出了本公开实施例提供的一种疾病区域检测模型确定流程示意图,如图3所示,所述基于所述待训练模型确定所述疾病区域检测模型,包括:
S301,将所述待训练模型确定为待验证模型。
S302,确定待验证模型的数量是否达到目标数量。
其中,目标数量可以根据实际应用需求进行设定,例如,可以将目标数量设定为5或8等。
S303,如果是,将验证集的各个验证医学图像分别输入各个待验证模型,得到对应的验证结果,并将验证结果准确率最高的待验证模型确定为所述疾病区域检测模型。
本公开中,对于不同超声检查机器输出的乳腺病灶扫查超声视频,可以将其中一部分乳腺病灶扫查超声视频用于确定样本医学图像组,剩下一部分乳腺病灶扫查超声视频用于确定验证集的验证医学图像,还有一部分乳腺病灶扫查超声视频可以用于确定测试集的测试医学图像。例如,本公开中可以从各医院搜集到来自10种超声机型的乳腺超声视频共4000例,可以对每一个视频逐帧进行病灶检测框的标注。然后使用其中的5种机型共3000例乳腺超声视频据,将其按照8:2的比例划分为训练集和验证集进行模型训练,然后将剩下的5种机型共1000例乳腺超声视频作为测试集,用于验证训练得到的所述疾病区域检测模型的泛化性。
本公开中,可以对每个验证医学图像和测试医学图像进行病灶标注,具体的,可以用矩形框标注每个病灶。本公开中,用矩形框标注每个病灶的方法具体可以包括:利用卷积神经网络确定每个验证医学图像对应的卷积特征图,并确定出将卷积特征图中每个像素点映射到原始的验证医学图像后对应的像素点是否在病灶框内,如果在病灶框内,将卷积特征图中该像素点对应的真实病灶置信度设置为1,如果不在病灶框内,将卷积特征图中该像素点对应的真实病灶置信度设置为0。然后,可以计算每个验证医学图像和测试医学图像中每个像素点相对该像素点所属的病灶框中心的权重值,作为该像素点对应的真实中心权重值,如果该像素点不属于任何病灶框,则可以将该像素点对应的真实中心权重值设置为0。并且,可以计算每个像素点与其所属的病灶框的各个边的距离,作为该像素点对应的病灶框真实距离,其中,可以将真实病灶置信度和真实中心权重值的乘积作为像素点对应的真实权重值。
本步骤中,可以将验证集的各个验证医学图像分别输入各个待验证模型,得到每个待验证模型预测的验证医学图像对应的预测病灶置信度、预测中心权重值和病灶框预测距离,然后,可以计算每个待验证模型输出的验证医学图像对应的预测病灶置信度、预测中心权重值和病灶框预测距离,与验证医学图像对应的真实病灶置信度、真实中心权重值和病灶框真实距离是否一致,具体的,如果预测病灶置信度和预测中心权重值和乘积与真实权重值之间的差值小于第一预设差值阈值,且病灶框预测距离与病灶框真实距离之间的差值小于第二预设差值阈值,则可以确定待验证模型输出的验证医学图像的预测结果正确,然后计算每个待验证模型的预测结果正确的验证医学图像的占比,作为验证结果准确率,并将验证结果准确率作为该待验证模型对应的验证结果。其中,第一预设差值阈值和第二预设差值阈值可以分别根据实际应用场景进行设定,此处不做具体限定。
然后,可以将所有待验证模型中,验证结果准确率最高的待验证模型确定为所述疾病区域检测模型。
S304,如果否,返回所述将样本医学图像组输入待训练模型的步骤。
在另一可实施方式中,所述基于所述待训练模型确定所述疾病区域检测模型,可以包括:将所述待训练模型确定为所述疾病区域检测模型。
本公开中,在确定出所述疾病区域检测模型后,可以将测试集中的测试医学图像输入所述疾病区域检测模型,根据所述疾病区域检测模型对测试医学图像的病灶区域预测准确率,确定所述疾病区域检测模型的性能。
采用本公开提供的医学图像处理方法,可以利用多种机型的医学图像训练模型,提高了训练得到的疾病区域检测模型对新机型图像的适应能力。且疾病区域检测模型的训练过程既有针对超声图像的启发式数据增强,也有针对不同机型的视频特征的风格混合增强,使得训练得到的疾病区域检测模型能够更好地适应不同机型的图像风格,从而提高了疾病区域检测模型的可迁移性。因此,利用本公开训练得到的疾病区域检测模型进行医学图像病灶区域识别,大大提高了病灶区域识别效果。
基于同一发明构思,根据本公开上述实施例提供的医学图像处理方法,相应地,本公开另一实施例还提供了一种医学图像处理装置,其结构示意图如图4所示,具体包括:
图像获取模块401,用于获取待识别医学图像;
图像识别模块402,用于将所述待识别医学图像输入预先训练的疾病区域检测模型;基于所述疾病区域检测模型,确定所述待识别医学图像的每个像素点是否为病灶点;根据各个所述病灶点,确定所述待识别医学图像对应的疾病区域信息;其中,所述疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,所述样本医学图像为多种不同机型的医学成像机器所输出的图像。
采用本公开实施例提供的装置,获取待识别医学图像;将待识别医学图像输入预先训练的疾病区域检测模型;基于疾病区域检测模型,确定待识别医学图像的每个像素点是否为病灶点;根据各个病灶点,确定待识别医学图像对应的疾病区域信息。疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,样本医学图像为多种不同机型的医学成像机器所输出的图像,也就是说,疾病区域检测模型是根据多种机型输出的医学图像训练得到的,因此,疾病区域检测模型对多种新机型的数据适用程度较高,提高了疾病区域检测效果。
在一可实施方式中,所述装置还包括:
模型训练模块(图中未示出),用于将样本医学图像组输入待训练模型,得到所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果,其中,所述样本医学图像组包括来自第一机型的医学成像机器的预设数量个连续的样本医学图像;基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数;确定所述损失函数是否收敛;如果是,基于所述待训练模型确定所述疾病区域检测模型;如果否,调整所述待训练模型的参数,并返回所述将样本医学图像组输入待训练模型的步骤。
在一可实施方式中,所述待训练模型包括图像增强层、特征提取层、特征融合层和结果输出层;
所述模型训练模块,具体用于将样本医学图像组输入待训练模型;所述图像增强层,对所述样本医学图像组的各个样本医学图像进行预处理;所述特征提取层,提取各个经过预处理的样本医学图像的图像特征,得到包括各个图像特征的第一图像特征组;所述特征融合层,将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,其中,所述第二图像组为来自第二机型的预设数量个医学图像;所述结果输出层,基于所述融合特征确定所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果。
在一可实施方式中,所述模型训练模块,具体用于将所述样本医学图像组的各个样本医学图像进行对齐处理;对所述各个样本医学图像的图像参数进行增强处理,得到预处理后的各个样本医学图像。
在一可实施方式中,所述模型训练模块,具体用于确定所述第一图像特征组的第一均值和第一方差;基于所述第一均值、所述第一方差、第二均值和第二方差确定目标均值和目标方差,其中,所述第二均值和所述第二方差为所述第二图像组对应的特征的均值和方差;根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征。
在一可实施方式中,所述模型训练模块,具体用于采用如下公式,根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征:
其中,表示所述融合特征,/>表示所述目标方差,/> α为来自于[0,1]均匀分布的随机变量,σi表示所述第一方差,σj表示所述第二方差,/>表示所述目标均值,/>μi表示所述第一均值,μj表示所述第二均值,Fi表示所述第一图像特征组。
在一可实施方式中,所述病灶预测结果包括所述各个样本医学图像的各个像素点对应的预测病灶置信度、预测中心权重值和病灶框预测距离;
所述模型训练模块,具体用于采用如下公式,基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数:
其中,L表示所述待训练模型对应的损失函数,Pij表示第i行第j列的像素点对应的预测病灶置信度,为所述病灶区域标识中第i行第j列的像素点对应的真实病灶置信度,Gij表示第i行第j列的像素点对应的预测中心权重值,/>表示所述病灶区域标识中第i行第j列的像素点对应的真实中心权重值,Bij表示第i行第j列的像素点对应的病灶框预测距离,表示所述病灶区域标识中第i行第j列的像素点对应的病灶框真实距离,Lreg表示L2回归损失函数。
在一可实施方式中,所述模型训练模块,具体用于将所述待训练模型确定为待验证模型;确定待验证模型的数量是否达到目标数量;如果是,将验证集的各个验证医学图像分别输入各个待验证模型,得到对应的验证结果,并将验证结果准确率最高的待验证模型确定为所述疾病区域检测模型;如果否,返回所述将样本医学图像组输入待训练模型的步骤。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如医学图像处理方法。例如,在一些实施例中,医学图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的医学图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行医学图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种医学图像处理方法,其特征在于,所述方法包括:
获取待识别医学图像;
将所述待识别医学图像输入预先训练的疾病区域检测模型;
基于所述疾病区域检测模型,确定所述待识别医学图像的每个像素点是否为病灶点;
根据各个所述病灶点,确定所述待识别医学图像对应的疾病区域信息;
其中,所述疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,所述样本医学图像为多种不同机型的医学成像机器所输出的图像;
所述待训练模型包括图像增强层、特征提取层、特征融合层和结果输出层;
所述图像增强层,对所述样本医学图像组的各个样本医学图像进行预处理;
所述特征提取层,提取各个经过预处理的样本医学图像的图像特征,得到包括各个图像特征的第一图像特征组;
所述特征融合层,将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,其中,所述第二图像组为来自第二机型的预设数量个医学图像;
所述结果输出层,基于所述融合特征确定所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果;
所述将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,包括:
确定所述第一图像特征组的第一均值和第一方差;
基于所述第一均值、所述第一方差、第二均值和第二方差确定目标均值和目标方差,其中,所述第二均值和所述第二方差为所述第二图像组对应的特征的均值和方差;
根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征;
所述根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征,包括:采用如下公式,根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征:
其中,表示所述融合特征,/>表示所述目标方差,/>,/>为来自于/>均匀分布的随机变量,/>表示所述第一方差,/>表示所述第二方差,/>表示所述目标均值,/>,/>表示所述第一均值,/>表示所述第二均值,表示所述第一图像特征组;
所述病灶预测结果包括所述各个样本医学图像的各个像素点对应的预测病灶置信度、预测中心权重值和病灶框预测距离;基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域的标识,确定所述待训练模型对应的损失函数,包括:采用如下公式,基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数:
其中,L表示所述待训练模型对应的损失函数,表示第i行第j列的像素点对应的预测病灶置信度,/>为所述病灶区域标识中第i行第j列的像素点对应的真实病灶置信度,/>表示第i行第j列的像素点对应的预测中心权重值,/>表示所述病灶区域标识中第i行第j列的像素点对应的真实中心权重值,/>表示第i行第j列的像素点对应的病灶框预测距离,表示所述病灶区域标识中第i行第j列的像素点对应的病灶框真实距离,/>表示L2回归损失函数。
2.根据权利要求1所述的方法,其特征在于,所述疾病区域检测模型的训练方式,包括:
将样本医学图像组输入待训练模型,得到所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果,其中,所述样本医学图像组包括来自第一机型的医学成像机器的预设数量个连续的样本医学图像;
基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数;
确定所述损失函数是否收敛;
如果是,基于所述待训练模型确定所述疾病区域检测模型;
如果否,调整所述待训练模型的参数,并返回所述将样本医学图像组输入待训练模型的步骤。
3.根据权利要求1所述的方法,其特征在于,所述对所述样本医学图像组的各个样本医学图像进行预处理,包括:
将所述样本医学图像组的各个样本医学图像进行对齐处理;
对所述各个样本医学图像的图像参数进行增强处理,得到预处理后的各个样本医学图像。
4.根据权利要求2所述的方法,其特征在于,所述基于所述待训练模型确定所述疾病区域检测模型,包括:
将所述待训练模型确定为待验证模型;
确定待验证模型的数量是否达到目标数量;
如果是,将验证集的各个验证医学图像分别输入各个待验证模型,得到对应的验证结果,并将验证结果准确率最高的待验证模型确定为所述疾病区域检测模型;
如果否,返回所述将样本医学图像组输入待训练模型的步骤。
5.一种医学图像处理装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别医学图像;
图像识别模块,用于将所述待识别医学图像输入预先训练的疾病区域检测模型;基于所述疾病区域检测模型,确定所述待识别医学图像的每个像素点是否为病灶点;根据各个所述病灶点,确定所述待识别医学图像对应的疾病区域信息;其中,所述疾病区域检测模型为预先根据样本医学图像和样本医学图像中的病灶区域标识对待训练模型进行训练得到的,所述样本医学图像为多种不同机型的医学成像机器所输出的图像;所述待训练模型包括图像增强层、特征提取层、特征融合层和结果输出层;
所述图像增强层,对所述样本医学图像组的各个样本医学图像进行预处理;
所述特征提取层,提取各个经过预处理的样本医学图像的图像特征,得到包括各个图像特征的第一图像特征组;
所述特征融合层,将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,其中,所述第二图像组为来自第二机型的预设数量个医学图像;
所述结果输出层,基于所述融合特征确定所述样本医学图像组中各个样本医学图像的各个像素点对应的病灶预测结果;
所述将所述第一图像特征组与第二图像组对应的特征进行融合,得到融合特征,包括:
确定所述第一图像特征组的第一均值和第一方差;
基于所述第一均值、所述第一方差、第二均值和第二方差确定目标均值和目标方差,其中,所述第二均值和所述第二方差为所述第二图像组对应的特征的均值和方差;
根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征;
所述根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征,包括:采用如下公式,根据所述第一均值、所述第一方差、所述目标均值和所述目标方差确定融合特征:
其中,表示所述融合特征,/>表示所述目标方差,/>,/>为来自于/>均匀分布的随机变量,/>表示所述第一方差,/>表示所述第二方差,/>表示所述目标均值,/>,/>表示所述第一均值,/>表示所述第二均值,/>表示所述第一图像特征组;
所述病灶预测结果包括所述各个样本医学图像的各个像素点对应的预测病灶置信度、预测中心权重值和病灶框预测距离;基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域的标识,确定所述待训练模型对应的损失函数,包括:采用如下公式,基于所述病灶预测结果和所述样本医学图像组中各个样本图像对应的病灶区域标识,确定所述待训练模型对应的损失函数:
其中,L表示所述待训练模型对应的损失函数,表示第i行第j列的像素点对应的预测病灶置信度,/>为所述病灶区域标识中第i行第j列的像素点对应的真实病灶置信度,/>表示第i行第j列的像素点对应的预测中心权重值,/>表示所述病灶区域标识中第i行第j列的像素点对应的真实中心权重值,/>表示第i行第j列的像素点对应的病灶框预测距离,表示所述病灶区域标识中第i行第j列的像素点对应的病灶框真实距离,/>表示L2回归损失函数。
6.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310187003.XA CN116128863B (zh) | 2023-03-01 | 2023-03-01 | 一种医学图像处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310187003.XA CN116128863B (zh) | 2023-03-01 | 2023-03-01 | 一种医学图像处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116128863A CN116128863A (zh) | 2023-05-16 |
CN116128863B true CN116128863B (zh) | 2023-09-12 |
Family
ID=86297474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310187003.XA Active CN116128863B (zh) | 2023-03-01 | 2023-03-01 | 一种医学图像处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116128863B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
CN110414631A (zh) * | 2019-01-29 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 基于医学图像的病灶检测方法、模型训练的方法及装置 |
CN113065633A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种模型训练方法及其相关联设备 |
CN113627228A (zh) * | 2021-05-28 | 2021-11-09 | 华南理工大学 | 一种基于关键点回归与多尺度特征融合的车道线检测方法 |
CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
CN115578372A (zh) * | 2022-10-31 | 2023-01-06 | 杭州博钊科技有限公司 | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 |
CN115602294A (zh) * | 2022-09-26 | 2023-01-13 | 浙江工业大学(Cn) | 一种基于双通道条件融合的医学图像因果合理性检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417498B2 (en) * | 2016-12-30 | 2019-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for multi-modal fusion model |
US11568174B2 (en) * | 2020-02-18 | 2023-01-31 | Ping An Technology (Shenzhen) Co., Ltd. | Co-heterogeneous and adaptive 3D pathological abdominal organ segmentation using multi-source and multi-phase clinical image datasets |
CN113989174B (zh) * | 2021-10-29 | 2023-11-10 | 北京百度网讯科技有限公司 | 图像融合方法和图像融合模型的训练方法、装置 |
-
2023
- 2023-03-01 CN CN202310187003.XA patent/CN116128863B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
CN110414631A (zh) * | 2019-01-29 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 基于医学图像的病灶检测方法、模型训练的方法及装置 |
CN113065633A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种模型训练方法及其相关联设备 |
CN113627228A (zh) * | 2021-05-28 | 2021-11-09 | 华南理工大学 | 一种基于关键点回归与多尺度特征融合的车道线检测方法 |
CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
CN115602294A (zh) * | 2022-09-26 | 2023-01-13 | 浙江工业大学(Cn) | 一种基于双通道条件融合的医学图像因果合理性检测方法 |
CN115578372A (zh) * | 2022-10-31 | 2023-01-06 | 杭州博钊科技有限公司 | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 |
Non-Patent Citations (1)
Title |
---|
Mokni R,et al..An automatic Computer-Aided Diagnosis system based on the Multimodal fusion of Breast Cancer.《Biomedical Signal Processing and Control》.2021,1-14. * |
Also Published As
Publication number | Publication date |
---|---|
CN116128863A (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909682B2 (en) | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium | |
US20220147822A1 (en) | Training method and apparatus for target detection model, device and storage medium | |
CN108229673B (zh) | 卷积神经网络的处理方法、装置和电子设备 | |
CN112132265B (zh) | 模型训练方法、杯盘比确定方法、装置、设备及存储介质 | |
CN113344862B (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN114565763B (zh) | 图像分割方法、装置、设备、介质及程序产品 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN113362314B (zh) | 医学图像识别方法、识别模型训练方法及装置 | |
CN111583199A (zh) | 样本图像标注方法、装置、计算机设备和存储介质 | |
CN115409990B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN110991412A (zh) | 人脸识别的方法、装置、存储介质及电子设备 | |
CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
CN110738702B (zh) | 一种三维超声图像的处理方法、装置、设备及存储介质 | |
CN112508005B (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
CN112036316B (zh) | 手指静脉识别方法、装置、电子设备及可读存储介质 | |
CN113378790A (zh) | 视点定位方法、装置、电子设备和计算机可读存储介质 | |
CN116245832B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN115409856B (zh) | 一种肺部医学图像处理方法、装置、设备及存储介质 | |
CN116128863B (zh) | 一种医学图像处理方法、装置及设备 | |
CN116052288A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
CN116524475A (zh) | 生成推荐妆容的方法及装置、车辆、电子设备和存储介质 | |
CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
CN115937993A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
CN115631152A (zh) | 超声图像截取方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 301, 3rd Floor, Zhizhen Building, No. 7 Zhichun Road, Haidian District, Beijing, 100083 Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd. |
|
CP03 | Change of name, title or address |