CN115311244A - 一种病灶尺寸确定方法、装置、电子设备及存储介质 - Google Patents
一种病灶尺寸确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115311244A CN115311244A CN202211011892.6A CN202211011892A CN115311244A CN 115311244 A CN115311244 A CN 115311244A CN 202211011892 A CN202211011892 A CN 202211011892A CN 115311244 A CN115311244 A CN 115311244A
- Authority
- CN
- China
- Prior art keywords
- focus
- contour
- lesion
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 403
- 238000000034 method Methods 0.000 title claims abstract description 141
- 230000011218 segmentation Effects 0.000 claims abstract description 190
- 238000001514 detection method Methods 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 58
- 238000005070 sampling Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 14
- 238000004513 sizing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 13
- 239000000047 product Substances 0.000 description 13
- 238000002604 ultrasonography Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 244000000010 microbial pathogen Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种病灶尺寸确定方法、装置、电子设备及存储介质,所述方法包括:获取待处理的第一数据,所述待处理的第一数据包括携带病灶的待处理图像;将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果;从多个所述病灶轮廓分割结果中获取目标病灶轮廓,确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径;基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸。
Description
技术领域
本公开涉及医学图像处理技术领域,尤其涉及一种病灶尺寸确定方法、装置、电子设备及存储介质。
背景技术
一个局限的,具有病原微生物的病变组织,可以被称为病灶。一旦人体中的组织器官发生病变形成病灶,且未及时采取有效的控制措施,还会引发远隔器官的病变,给人体带来损害。
因此,提高病灶检测效率,改善病灶检测方法不仅关乎人体健康,还在医学发展的过程中发挥着不可或缺的作用。
发明内容
本公开提供了一种病灶尺寸确定方法、装置、电子设备及存储介质,以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面,提供了一种病灶尺寸确定方法,所述方法包括:获取待处理的第一数据,所述待处理的第一数据包括携带病灶的待处理图像;将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果;从多个所述病灶轮廓分割结果中获取目标病灶轮廓,确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径;基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸。
在一可实施方式中,所述将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果,包括:分别基于所述病灶轮廓分割网络的主干分支和次要分支,确定第一图像特征和第二图像特征;将所述第一图像特征和所述第二图像特征交叉融合,用于获取目标图像特征;基于所述目标图像特征,调整所述病灶轮廓分割网络的参数。
在一可实施方式中,所述从多个所述病灶轮廓分割结果中获取目标病灶轮廓,包括:对多个所述病灶轮廓分割结果进行标记,得到病灶轮廓标记结果;计算第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比;其中,所述第一病灶轮廓分割结果与所述第二病灶轮廓分割结果为所述病灶轮廓标记结果中相邻的任意一对病灶轮廓分割结果;基于所述病灶轮廓标记结果和所述交并比获取所述目标病灶轮廓。
在一可实施方式中,所述确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,包括:遍历所述目标病灶轮廓,确定距离最大的两个点之间的连线为所述目标病灶轮廓所属病灶的长径;用垂直于所述长径的扫描线扫描所述目标病灶轮廓,将所述扫描线位于所述目标病灶轮廓内部时长度最大的线段确定为所述目标病灶轮廓所属病灶的短径。
在一可实施方式中,所述基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸,包括:获取所述目标病灶轮廓所属图像中标尺区域的数字信息;确定所述标尺区域的数字信息中两个相邻数字的差值以及所述两个相邻数字检测框中心点的距离之比,为所述目标病灶轮廓所属图像上每个像素点的真实高度与真实宽度;基于所述像素点的真实高度与真实宽度,确定所述目标病灶轮廓所属病灶的尺寸。
在一可实施方式中,所述获取所述目标病灶轮廓所属图像中标尺区域的数字信息,包括:获取待处理的第二数据,所述待处理的第二数据包括携带标尺数字以及所述标尺数字的文本框的待处理图像;将所述待处理的第二数据输入至标尺数字检测识别模型,利用所述标尺数字检测识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息。
在一可实施方式中,所述标尺数字检测识别模型包括标尺数字检测模型和标尺数字识别模型;相应地,所述利用所述标尺数字检测识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息,包括:利用所述标尺数字检测模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的图像;基于所述标尺区域利用所述标尺数字识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息。
在一可实施方式中,所述利用所述标尺数字检测模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的图像,包括:基于特征提取网络提取所述携带标尺数字以及所述标尺数字的文本框的待处理图像的第三图像特征;对所述第三图像特征进行图像采样处理,得到图像采样处理结果;基于图像采样处理结果,确定融合图像特征;基于所述融合图像特征确定多个所述标尺数字的检测框的坐标,并以非极大值抑制算法对多个所述标尺数字的检测框进行去重处理,得到所述标尺区域的图像。
在一可实施方式中,所述基于所述标尺区域利用所述标尺数字识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息,包括:确定所述标尺区域的图像中的数字区域;利用图像分类网络提取所述标尺区域的图像中的数字区域的特征,得到第四图像特征;对所述第四图像特征进行多层全连接层和非线性映射变换,得到所述数字信息,所述数字信息包括数字类别。
在一可实施方式中,所述基于所述像素点的真实高度与真实宽度,确定所述目标病灶轮廓所属病灶的尺寸,包括:确定所述目标病灶轮廓所属病灶的长径与所述真实高度或所述真实宽度之积,为所述病灶尺寸中的真实长径;确定所述目标病灶轮廓所属病灶的短径与所述真实高度或所述真实宽度之积,为所述病灶尺寸中的真实短径;确定所述目标病灶轮廓所属病灶的面积与所述真实高度的平方或所述真实宽度的平方之积,为所述病灶尺寸中的真实面积。
根据本公开的第二方面,提供了一种病灶尺寸确定模型训练方法,所述方法包括:获取待处理的第一样本数据集,所述待处理的第一样本数据集包括携带病灶的待处理样本图像;将所述待处理的第一样本数据集作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个样本病灶轮廓分割结果;利用多个所述样本病灶轮廓分割结果确定样本目标病灶轮廓的尺寸;计算所述样本目标病灶轮廓的尺寸与参考病灶轮廓的尺寸之间的损失;基于所述损失调整所述病灶尺寸确定模型的参数。
根据本公开的第三方面,提供了一种病灶尺寸确定装置,所述装置包括:获取模块,用于获取待处理的第一数据,所述待处理的第一数据包括携带病灶的待处理图像;输入模块,用于将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果;确定模块,用于从多个所述病灶轮廓分割结果中获取目标病灶轮廓,确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径;基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸。
在一可实施方式中,所述输入模块,包括:图像特征确定子模块,用于分别基于所述病灶轮廓分割网络的主干分支和次要分支,确定第一图像特征和第二图像特征;融合子模块,用于将所述第一图像特征和所述第二图像特征交叉融合,用于获取目标图像特征;调整子模块,用于基于所述目标图像特征,调整所述病灶轮廓分割网络的参数。
在一可实施方式中,所述确定模块,包括:标记子模块,用于对多个所述病灶轮廓分割结果进行标记,得到病灶轮廓标记结果;计算子模块,用于计算第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比;其中,所述第一病灶轮廓分割结果与所述第二病灶轮廓分割结果为所述病灶轮廓标记结果中相邻的任意一对病灶轮廓分割结果;病灶轮廓获取子模块,用于基于所述病灶轮廓标记结果和所述交并比获取所述目标病灶轮廓。
在一可实施方式中,所述确定模块,还包括:长径确定子模块,用于遍历所述目标病灶轮廓,确定距离最大的两个点之间的连线为所述目标病灶轮廓所属病灶的长径;短径确定子模块,用于用垂直于所述长径的扫描线扫描所述目标病灶轮廓,将所述扫描线位于所述目标病灶轮廓内部时长度最大的线段确定为所述目标病灶轮廓所属病灶的短径。
在一可实施方式中,所述确定模块,还包括:数字信息获取子模块,用于获取所述目标病灶轮廓所属图像中标尺区域的数字信息;尺寸确定子模块,用于确定所述标尺区域的数字信息中两个相邻数字的差值以及所述两个相邻数字检测框中心点的距离之比,为所述目标病灶轮廓所属图像上每个像素点的真实高度与真实宽度;基于所述像素点的真实高度与真实宽度,确定所述目标病灶轮廓所属病灶的尺寸。
在一可实施方式中,所述数字信息获取子模块,具体用于获取待处理的第二数据,所述待处理的第二数据包括携带标尺数字以及所述标尺数字的文本框的待处理图像;将所述待处理的第二数据输入至标尺数字检测识别模型,利用所述标尺数字检测识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息。
在一可实施方式中,所述标尺数字检测识别模型包括标尺数字检测模型和标尺数字识别模型;相应地,所述数字信息获取子模块,具体用于利用所述标尺数字检测模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的图像;基于所述标尺区域利用所述标尺数字识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息。
在一可实施方式中,所述数字信息获取子模块,具体用于基于特征提取网络提取所述携带标尺数字以及所述标尺数字的文本框的待处理图像的第三图像特征;对所述第三图像特征进行图像采样处理,得到图像采样处理结果;基于图像采样处理结果,确定融合图像特征;基于所述融合图像特征确定多个所述标尺数字的检测框的坐标,并以非极大值抑制算法对多个所述标尺数字的检测框进行去重处理,得到所述标尺区域的图像。
在一可实施方式中,所述数字信息获取子模块,具体用于确定所述标尺区域的图像中的数字区域;利用图像分类网络提取所述标尺区域的图像中的数字区域的特征,得到第四图像特征;对所述第四图像特征进行多层全连接层和非线性映射变换,得到所述数字信息,所述数字信息包括数字类别。
在一可实施方式中,所述尺寸确定子模块,具体用于确定所述目标病灶轮廓所属病灶的长径与所述真实高度或所述真实宽度之积,为所述病灶尺寸中的真实长径;确定所述目标病灶轮廓所属病灶的短径与所述真实高度或所述真实宽度之积,为所述病灶尺寸中的真实短径;确定所述目标病灶轮廓所属病灶的面积与所述真实高度的平方或所述真实宽度的平方之积,为所述病灶尺寸中的真实面积。
根据本公开的第四方面,提供了一种病灶尺寸确定模型训练装置,所述装置包括:样本数据集获取模块,用于获取待处理的第一样本数据集,所述待处理的第一样本数据集包括携带病灶的待处理样本图像;样本病灶轮廓分割结果获取模块,用于将所述待处理的第一样本数据集作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个样本病灶轮廓分割结果;样本目标病灶轮廓尺寸确定模块,用于利用多个所述样本病灶轮廓分割结果确定样本目标病灶轮廓的尺寸;损失计算模块,用于计算所述样本目标病灶轮廓的尺寸与参考病灶轮廓的尺寸之间的损失;模型参数调整模块,用于基于所述损失调整所述病灶尺寸确定模型的参数。
根据本公开的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的一种病灶尺寸确定方法、装置、电子设备及存储介质,根据携带病灶的图像信息,实现了对病灶长短径的自动计算与勾画,由此确定病灶的实际尺寸,不仅避免了引入人为误差,还有效提高了病灶检测效率,减轻了医学人员的工作压力。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1示出了相关技术中超声病灶扫查的操作示意图;
图2示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图一;
图3示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图二;
图4示出了本公开实施例一种病灶尺寸确定方法中病灶轮廓分割网络的一种示意图;
图5示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图三;
图6示出了本公开实施例一种病灶尺寸确定方法中确定病灶最大横截面的一种示意图;
图7示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图四;
图8示出了本公开实施例一种病灶尺寸确定方法中病灶长短径的一种示意图;
图9示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图五;
图10示出了本公开实施例一种病灶尺寸确定方法中的一种数字信息标注示意图;
图11示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图六;
图12示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图七;
图13示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图八;
图14示出了本公开实施例一种病灶尺寸确定方法中标尺数字识别的一种示意图;
图15示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图九;
图16示出了本公开实施例一种病灶尺寸确定方法的整体处理流程示意图;
图17示出了本公开实施例一种病灶尺寸确定方法中一种病灶轮廓标注示意图;
图18-图21示出了本公开实施例一种病灶尺寸确定方法的效果展示图;
图22示出了实施例一种病灶尺寸确定模型训练方法的处理流程示意图;
图23示出了实施例一种病灶尺寸确定装置的组成结构示意图;
图24示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1示出了相关技术中超声病灶扫查的操作示意图。
在目前的超声病灶扫查过程中,医学人员需要知晓病灶最大横切面的尺寸,以便详细准确的了解病灶情况。在医学中,病灶的长径和病灶的短径通常被用来刻画病灶的尺寸,而相关技术中,获取病灶的长径、病灶的短径,以及病灶的尺寸需要依靠医学人员手动完成,相关系统只能提供图像上两点的距离测量功能。
如图1所示,医学人员发现病灶后需要将视频段静止,并通过鼠标点击图像,对病灶进行勾画与测量,获取病灶的长径和短径,然后将左下角的测量结果进行整理,用于了解病灶情况。然而,这样的过程存在一定的缺陷,首先,整个操作过程由医学人员进行手动标注,较难精确的标注出病灶的长短径,标注结果存在误差;其次,超声图像上的病灶是三维病灶的二维投影,需要医学人员对一段视频多次扫描,选出视频中出现的一帧,确定为包括病灶最大横截面的图像,这一过程同样受到人为因素的影响,会存在选取的误差;另外,获取病灶长短径的整个过程会打断医学人员正在进行的扫查流程,会使医学人员重复性劳动,增大工作量,严重影响了医学人员的扫查速度,降低了病灶扫查的效率,增加了使用的不便。
由此,本公开实施例提出一种病灶尺寸确定方法,利用医学人员在进行超声病灶扫查时指定的带有病灶视频段,高效寻找具有病灶最大横截面的图像,提取病灶最大横截面的轮廓,并自动计算出病灶长短径的真实尺寸。
图2示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图一。
参考图2,本公开实施例一种病灶尺寸确定方法的一种处理流程,至少包括以下步骤:
步骤S101,获取待处理的第一数据,待处理的第一数据包括携带病灶的待处理图像。
在一些实施例中,待处理的第一数据可以为视频段,如:医学人员在进行超声病灶扫查时指定一段视频,以下称为视频段,被指定的视频段由一段携带病灶的帧构成,且分别以存在病灶的帧作为视频段的开始和结尾,由此获取了待处理的第一数据。其中,帧可以理解为视频等连续图像中的一张图像。
步骤S102,将待处理的第一数据作为病灶轮廓分割网络的输入,得到病灶轮廓分割网络输出的多个病灶轮廓分割结果。
在一些实施例中,为了快速且准确的对病灶进行分割从而得到病灶轮廓,如:对病灶进行语义分割从而得到病灶轮廓。本公开实施例提出的病灶轮廓分割网络包括两个主要的分支,可以将两个主要的分支分别称为主干分支和次要分支,以示区分。
其中,通过次要分支对主干分支下采样(降采样)后的特征进行进一步下采样处理,以增加特征图上每个点的感受野,从而获得更全局的图像信息。将基于次要分支获取的图像特征经过上采样融合到主干分支中,由此让主干分支的特征既保留足够的病灶轮廓分割细节,又能保持较多的全局图像信息,从而能获得更好的病灶轮廓分割效果。
在一些实施例中,若待处理的第一数据为由一段携带病灶的帧构成的视频段,则可以从视频段中提取多个携带病灶的帧,作为多个携带病灶的待处理图像,通过病灶轮廓分割网络依次对多个携带病灶的待处理图像进行处理,得到多个病灶轮廓分割结果。
在一些实施例中,通过病灶轮廓分割网络依次对多个携带病灶的待处理图像进行处理的过程可以为:病灶轮廓分割网络可以使用任意一种语义分割网络,对多个携带病灶的待处理图像进行语义分割,每个前述待处理图像上的分割结果记为一个病灶轮廓语义分割结果,由此得到多个病灶轮廓语义分割结果。其中,多个病灶轮廓语义分割结果对应于视频段中若干帧上的病灶轮廓语义分割结果。
步骤S103,从多个病灶轮廓分割结果中获取目标病灶轮廓,确定目标病灶轮廓所属病灶的长径和目标病灶轮廓所属病灶的短径。
在一些实施例中,每个病灶轮廓分割结果都对应存在病灶截面,因此需要从多个病灶截面中选取病灶最大横截面,作为目标病灶截面,再根据目标病灶截面,获取目标病灶轮廓,将目标病灶轮廓的长径和目标病灶轮廓的短径确定为目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径。
步骤S104,基于目标病灶轮廓所属病灶的长径和目标病灶轮廓所属病灶的短径,确定目标病灶轮廓所属病灶的尺寸。
在一些实施例中,目标病灶轮廓所属病灶的尺寸可以包括:目标病灶轮廓所属病灶的真实长径、目标病灶轮廓所属病灶的真实短径,以及目标病灶轮廓所属病灶的真实面积。
本公开实施例实现了病灶尺寸确定的自动化,医学人员只需要扫描病灶一遍,即可自动寻找一段时间内病灶出现的最大横截面,并计算出病灶长短径的真实尺寸,大大加快了医学人员扫查的速度,减轻了医学人员的工作压力,提升了扫查的效率。
图3示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图二。
参考图3,本公开实施例一种病灶尺寸确定方法的一种处理流程中,步骤S102,将待处理的第一数据作为病灶轮廓分割网络的输入,得到病灶轮廓分割网络输出的多个病灶轮廓分割结果的具体实现过程,至少包括以下步骤:
步骤S201,分别基于病灶轮廓分割网络的主干分支和次要分支,确定第一图像特征和第二图像特征。
在一些实施例中,病灶轮廓分割网络的主干分支形如U型神经网络,先对原始图像特征进行下采样(降采样)处理,得到第一图像特征。其中,原始图像特征为从携带病灶的待处理图像中提取的。
作为示例,病灶轮廓分割网络的主干分支将原始图像特征的空间分辨率的宽和高降低到1/8,得到第一图像特征。
在一些实施例中,病灶轮廓分割网络的次要分支对第一图像特征进一步进行下采样处理,得到第二图像特征。
作为示例,病灶轮廓分割网络的次要分支对第一图像特征进行进一步下采样处理,将第一图像特征的空间分辨率的宽和高降低到1/32,得到第二图像特征。
在一些实施例中,病灶轮廓分割网络的次要分支对由主干分支降采样后获取的图像特征继续进行下采样处理的步骤,可以增加图像特征图上每个点的感受野,从而获得更全局的图像信息。同时,次要分支对图像特征降采样幅度大,因此计算资源开销小,能够符合超声病灶扫查过程中实时性的需求。
其中,感受野为卷积神经网络每一层输出的特征图上的像素点映射回输入图像上的区域大小。
应理解,上述实施例中所提及的1/8和1/32均为优选的下采样率,关于下采样系数的具体数值本实施例不做限定。
步骤S202,将第一图像特征和第二图像特征交叉融合,用于获取目标图像特征。
在一些实施例中,基于主干分支得到的第一图像特征和基于次要分支得到的第二图像特征在病灶轮廓分割网络的中央会进行若干次的交叉融合,在交叉融合的过程中,逐渐对第二图像特征进行上采样处理,第一图像特征与第二图像特征相辅相成,基于次要分支得到的第二图像特征经过上采样融合到主干分支中,从而让基于主干分支最终得到的目标图像特征既保留足够的病灶轮廓分割细节,又能保持较多的全局图像信息,从而能获得更好的病灶轮廓分割效果。其中,若干次为不少于2次。
作为示例,第一图像特征和第二图像特征在病灶轮廓分割网络中进行2次特征交叉,其中,2次为优选的特征交叉次数。
在一些实施例中,第一图像特征和第二图像特征交叉融合后,可以得到融合结果,该融合结果为一种图像特征;通过跳跃连接的方式将原始图像特征与融合结果中具有相同分辨率的特征进行拼接,得到目标图像特征,用于恢复病灶分割的细节,确定病灶分割结果。
如图4所示,对步骤S201-步骤S202进行一种示例性说明,如下:从携带病灶的待处理图像中提取原始图像特征,病灶轮廓分割网络的主干分支将原始图像特征的空间分辨率的宽和高降低到1/8,得到第一图像特征;病灶轮廓分割网络的次要分支对第一图像特征进行进一步下采样处理,将第一图像特征的空间分辨率的宽和高降低到1/32,得到第二图像特征;将第一图像特征和第二图像特征交叉融合,在交叉融合的过程中,先在病灶轮廓分割网络的中央对第一图像特征和第二图像特征进行2次特征交叉,再对第二图像特征进行2次上采样,使第二图像特征与第一图像特征融合,得到特征交叉后的融合结果,将原始图像特征与融合结果中具有相同分辨率的特征进行拼接,得到目标图像特征,用于恢复病灶分割的细节,确定病灶分割结果。其中,特征拼接的过程是以跳跃连接的方式进行的,跳跃连接可以理解为相比于需要进行特征交叉的第一图像特征和第二特想特征,原始图像特征仅进行了复制与粘贴的过程。
步骤S203,基于目标图像特征,调整病灶轮廓分割网络的参数。
在一些实施例中,可以将基于目标图像特征获取的病灶轮廓分割结果与参考病灶轮廓分割结果进行比较,得到包括病灶轮廓分割差异的比较结果,从而在这一比较结果的基础上,调整病灶轮廓分割网络的参数,如:调整下采样率以及特征交叉次数等。
本公开实施例中,通过实时病灶轮廓分割网络获取的目标图像特征既保留了足够的病灶分割细节,又能保持较多的全局图像信息,从而能获得更好的分割效果。
图5示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图三。
参考图5,本公开实施例一种病灶尺寸确定方法的一种处理流程中,从多个病灶轮廓分割结果中获取目标病灶轮廓的具体实现过程,至少包括以下步骤:
步骤S301,对多个病灶轮廓分割结果进行标记,得到病灶轮廓标记结果。
在一些实施例中,由于多个病灶轮廓分割结果中任意一个分割结果都可能存在多个病灶,为了确定不同病灶轮廓分割结果之间的病灶对应关系,需要计算病灶轮廓标记结果中相邻的任意一对病灶轮廓分割结果之间的交并比(Intersection-over-Union,IoU)。因此,需要对多个病灶轮廓分割结果进行标记,如:多个病灶轮廓分割结果中某一个分割结果上存在多个病灶,需要分别标记这一分割结果中每个病灶轮廓的编号,即得到了病灶轮廓标记结果。
其中,交并比为目标检测中使用的一个概念,是产生的候选框与原标记框的交叠率,即它们的交集与并集的比值。最理想情况是候选框与原标记框完全重叠,即交并比的比值为1。
步骤S302,计算第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比。
其中,第一病灶轮廓分割结果与第二病灶轮廓分割结果为病灶轮廓标记结果中相邻的任意一对病灶轮廓分割结果。
在一些实施例中,第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比的计算公式如下:
其中,Mt-1表示第一病灶轮廓分割结果,Mt表示第二病灶轮廓分割结果。
在一些实施例中,第一病灶轮廓分割结果可以表示当前帧(第t帧)的前一帧的病灶轮廓分割结果,第二病灶轮廓分割结果可以表示当前帧(第t帧)的病灶轮廓分割结果。
步骤S303,基于病灶轮廓标记结果和交并比获取目标病灶轮廓。
在一些实施例中,按照计算获得的第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比,对病灶轮廓标记结果进行赋值处理,从而确定不同病灶轮廓分割结果之间的病灶对应关系,如:判断不同病灶轮廓分割结果中的病灶是否为同一病灶,由此,进一步确定同一病灶的最大横截面,将每一个病灶的最大横截面确定为目标病灶轮廓。
在一些实施例中,对病灶轮廓标记结果进行赋值处理的具体实现过程可以为:将第一病灶轮廓分割结果中每个病灶轮廓的编号按照交并比的最大值对应赋值给第二病灶轮廓分割结果中每个病灶轮廓,即分别比较第一病灶轮廓分割结果中每个病灶轮廓与第二病灶轮廓分割结果中每个病灶轮廓的交并比,将第一病灶轮廓分割结果中每个病灶轮廓分别与第二病灶轮廓分割结果中每个病灶轮廓按照交并比的最大值一一对应,再将第一病灶轮廓分割结果中每个病灶轮廓的编号赋值给第二病灶轮廓分割结果中对应的病灶轮廓。其中,若第一病灶轮廓分割结果中某个病灶轮廓与第二病灶轮廓分割结果中所有病灶轮廓之间的交并比的最大值小于设定的阈值,则认为对应的病灶轮廓属于一个新的病灶,赋予该病灶轮廓所属病灶一个新的编号。由此,从视频段的第一帧开始,到视频段的最后一帧结束,即可完成不同帧上各病灶轮廓的编号,通过扫描相同编号的病灶轮廓,得到相同编号的病灶轮廓中最大面积的病灶轮廓,从而确定每个病灶的最大横截面。
其中,阈值可以灵活设置,如设置阈值为0.5,本公开实施例中优选0.3为阈值,以更快确定不同病灶的最大横截面。设定的阈值越小,则表示对不同病灶轮廓之间存在的差异的容忍度越高,关于阈值的具体数值,在此处不做限制。
如图6所示,对步骤S301-步骤S303所提出的病灶最大横截面扫描方法进行一种示例性说明,如下:
提取视频段的4帧作为4张图像,图6中示出了4张图像所对应的病灶轮廓分割结果,每一张图像上的分割结果记为一个病灶轮廓分割结果,即得到4个病灶轮廓分割结果,第一帧所对应的病灶轮廓分割结果中出现了两个病灶,故对这两个病灶的轮廓分别进行编号,记左下方的病灶轮廓为病灶轮廓A,记右上方的病灶轮廓为病灶轮廓B,得到病灶轮廓标记结果。
第一帧所对应的病灶轮廓分割结果与第二帧所对应的病灶轮廓分割结果为相邻的一对病灶轮廓分割结果,记第一帧所对应的病灶轮廓分割结果为第一病灶轮廓分割结果,记第二帧所对应的病灶轮廓分割结果为第二病灶轮廓分割结果,计算第一病灶轮廓分割结果中每个病灶轮廓与第二病灶轮廓分割结果中每个病灶轮廓之间的交并比,若第一病灶轮廓分割结果中的病灶轮廓A与第二病灶轮廓分割结果中左下方的病灶轮廓之间的交并比最大,且不小于设定的阈值,则将病灶轮廓A赋值给第二病灶轮廓分割结果中左下方的病灶轮廓,即两者为同一病灶,记为病灶A;若第一病灶轮廓分割结果中的病灶轮廓B与第二病灶轮廓分割结果中右上方的病灶轮廓之间的交并比最大,且不小于设定的阈值,则将病灶轮廓B赋值给第二病灶轮廓分割结果中右上方的病灶轮廓,即两者为同一病灶,记为病灶B。以此类推,可以确定第三帧所对应的病灶轮廓分割结果以及第四帧所对应的病灶轮廓分割结果与第一帧所对应的病灶轮廓分割结果之间的病灶对应关系,即确定了4张图像所对应的病灶轮廓分割结果中存在病灶A和病灶B两个病灶。再分别计算同属于病灶A的病灶轮廓的大小以及同属于病灶B的病灶轮廓大小,从而确定出病灶A的最大横截面位于第二帧,病灶B的最大横截面位于第三帧,即第二帧中病灶A的病灶轮廓以及第三帧中病灶B的病灶轮廓为目标病灶轮廓。
本公开实施例提出了一种病灶最大横截面扫描方法,可以准确高效的将同一病灶的不同截面自动归类,并在此基础上确定每个病灶的最大横截面,再提取每个病灶最大横截面的轮廓,以便计算病灶的长短径,避免了在确定病灶最大横截面的过程中引入人为误差,且仅需扫描一遍病灶,大大加快了超声扫查的速度,减轻了医学人员的工作压力,提高了超声扫查的效率。
图7示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图四。
参考图7,本公开实施例一种病灶尺寸确定方法的一种处理流程中,确定目标病灶轮廓所属病灶的长径和目标病灶轮廓所属病灶的短径的具体实现过程,至少包括以下步骤:
步骤S401,遍历目标病灶轮廓,确定距离最大的两个点之间的连线为目标病灶轮廓所属病灶的长径。
步骤S402,用垂直于长径的扫描线扫描目标病灶轮廓,将扫描线位于目标病灶轮廓内部时长度最大的线段确定为目标病灶轮廓所属病灶的短径。
在一些实施例中,用一条垂直于长径的直线扫描目标病灶轮廓,记录这条扫描线在目标病灶轮廓内部的线段长度,得到线段长度数据集,将线段长度数据集中长度最大的线段确定为目标病灶轮廓所属病灶的短径。其中,线段长度为从目标病灶轮廓一端上任意一点到目标病灶轮廓另一端上任意一点的长度。
如图8所示,对步骤S401-步骤S402所提出的病灶长径和病灶短径计算方法进行一种示例性说明,如下:
图8中闭合的曲线为目标病灶轮廓a;记以铅垂线为基准,向铅垂线左侧倾斜的直线为直线1;记以铅垂线为基准,向铅垂线右侧倾斜的直线为直线2。遍历目标病灶轮廓a,确定距离最大的两个点之间的连线为目标病灶轮廓a所属病灶的长径,在图8中直线1符合要求,即直线1为目标病灶轮廓a所属病灶的长径;用一条垂直于长径的直线扫描目标病灶轮廓a,记录这条扫描线在目标病灶轮廓a内部的线段长度,得到线段长度数据集,将线段长度数据集中长度最大的线段确定为目标病灶轮廓a所属病灶的短径,在图8中直线2符合要求,即直线2为目标病灶轮廓a所属病灶的短径。
本公开实施例提出了一种病灶长径和病灶短径计算方法,通过与医学人员一致的病灶长短径判断标准,自动计算和勾画病灶的长短径,以便最终确定病灶的真实尺寸,避免了在确定病灶长短径的过程引入人为误差。
图9示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图五。
参考图9,本公开实施例一种病灶尺寸确定方法的一种处理流程中,基于目标病灶轮廓所属病灶的长径和目标病灶轮廓所属病灶的短径,确定目标病灶轮廓所属病灶的尺寸的具体实现过程,至少包括以下步骤:
步骤S501,获取目标病灶轮廓所属图像中标尺区域的数字信息。
在一些实施例中,如图10所示,标尺区域的数字信息可以包括:数字在目标病灶轮廓所属图像中标尺区域内的位置以及数字的类别。
步骤S502,确定标尺区域的数字信息中两个相邻数字的差值以及两个相邻数字检测框中心点的距离之比,为目标病灶轮廓所属图像上每个像素点的真实高度与真实宽度。
在一些实施例中,检测框可以用于描述数字在目标病灶轮廓所属图像中标尺区域内的位置。
步骤S503,基于像素点的真实高度与真实宽度,确定目标病灶轮廓所属病灶的尺寸。
在一些实施例中,需要获取超声图像上每个像素的真实高度与真实宽度,通过换算得到病灶真实尺寸信息。
本公开实施例中,通过检测并识别图像中的标尺数字,并获取图像上每个像素的实际长宽,最后通过换算得到病灶真实尺寸信息,实现了像素级的精确测量,并给出更符合医学规范的结果。
图11示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图六。
参考图11,本公开实施例一种病灶尺寸确定方法的一种处理流程中,获取目标病灶轮廓所属图像中标尺区域的数字信息的具体实现过程,至少包括以下步骤:
步骤S601,获取待处理的第二数据,待处理的第二数据包括携带标尺数字以及标尺数字的文本框的待处理图像。
在一些实施例中,待处理的第二数据可以为从目标病灶轮廓所属图像中裁剪出的标尺区域图像,携带有标尺数字以及标尺数字的文本框。其中,标尺数字即为标尺上存在的数字。
步骤S602,将待处理的第二数据输入至标尺数字检测识别模型,利用标尺数字检测识别模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的数字信息。
在一些实施例中,文本框同样为用于描述数字在目标病灶轮廓所属图像中标尺区域内的位置,与检测框的区别在于:文本框为标注数据,可以用于训练标尺数字检测识别模型,而检测框为根据标尺数字检测识别模型确定的数据。
在一些实施例中,标尺数字检测识别模型包括标尺数字检测模型和标尺数字识别模型。
相应地,利用标尺数字检测识别模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的数字信息,包括:
步骤A,利用标尺数字检测模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的图像。
步骤B,基于标尺区域利用标尺数字识别模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的数字信息。
在一些实施例中,获取标尺区域的数字信息的过程可以分为检测和识别两个步骤。其中,检测为对数字位置的进行检测,识别为对数字的类型进行识别。
图12示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图七。
参考图12,本公开实施例一种病灶尺寸确定方法的一种处理流程中,利用标尺数字检测模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的图像的具体实现过程,至少包括以下步骤:
步骤S701,基于特征提取网络提取携带标尺数字以及标尺数字的文本框的待处理图像的第三图像特征。
在一些实施例中,不同机型的数字大小存在一定的差异,为了增加标尺数字检测模型对于多尺度空间信息的利用能力,本公开实施例提出一种主要结构类似于U型神经网络的特征提取网络。在计算机视觉中,多尺度通常可以理解为对信号的不同粒度的采样。
在一些实施例中,文本框同样为用于描述数字在目标病灶轮廓所属图像中标尺区域内的位置,与检测框的区别在于:文本框为标注数据,可以用于训练标尺数字检测模型,而检测框为根据标尺数字检测模型确定的数据。
在一些实施例中,利用特征提取网络中的主干分支提取携带标尺数字以及标尺数字的文本框的待处理图像,得到第三图像特征。
步骤S702,对第三图像特征进行图像采样处理,得到图像采样处理结果。
在一些实施例中,对第三图像特征进行图像采样处理可以为:对第三图像特征进行下采样处理,以降低特征空间分辨率并提升第三图像特征通道数;再对经过下采样处理后的图像特征进行上采样处理,以增加特征空间分辨率,得到图像采样处理结果。
在一些实施例中,携带标尺数字以及标尺数字的文本框的待处理图像一般规格较小,故下采样的比例不宜过大。其中,下采样系数通常为1/4-1/8,优选1/4作为下采样系数,可以避免下采样过多导致的信息缺失;上采样处理对应于下采样处理,选取的上采样系数与下采样系数一致,使得经过上采样处理后的图像特征与下采样处理前的第三图像特征尺寸一致。
步骤S703,基于图像采样处理结果,确定融合图像特征。
在一些实施例中,确定对第三图像特征进行下采样处理得到的图像特征,以及对下采样处理后的图像特征进行上采样处理得到的图像特征,为图像采样处理结果。
将对第三图像特征进行下采样处理后得到的图像特征与对下采样处理后的图像特征进行上采样处理得到的图像特征进行融合,以融合多尺度特征,得到融合图像特征。
步骤S704,基于融合图像特征确定多个标尺数字的检测框的坐标,并以非极大值抑制算法对多个标尺数字的检测框进行去重处理,得到标尺区域的图像。
在一些实施例中,确定融合图像特征所属图像上的每个像素点在一个标尺数字的文本框内的置信度并且确定相应的标尺数字的检测框的坐标bbox=(x1,y1,x2,y2)。由此,得到多个标尺数字的检测框的坐标,再用非极大值抑制算法来去除重复的检测框。
其中,大多数超声图像上的标尺数字是水平分布的,并非弯曲或倾斜分布,故无需将数字检测问题当成分割问题进行处理,本公开实施例提出的标尺数字检测方法是实际可行的。
在一些实施例中,标尺数字检测模型训练的损失函数L可以根据下式(1)-(4)进行计算:
L=Lcls+λLreg (1)
其中,Lcls是针对检测框分类的损失函数,Lreg是回归损失函数,λ是控制分类损失函数与回归损失函数的平衡参数。
Lcls可由下式(2)计算:
其中,Lcls是针对检测框分类的损失函数;y*为假设融合图像特征所属图像上的某个像素点是否属于一个标尺数字的文本框内的真实标签;为假设融合图像特征所属图像上的某个像素点是否属于一个标尺数字的文本框内的预测标签;β为平衡参数,用于缓解分类过程中的正负样本比例严重不平衡问题,β的含义为:若分类样本中负样本数量更多,则增加正样本分类项的权重,β的具体值等于负样本数量除以总样本Y*数量,可由下式(3)进行计算:
其中,β为平衡参数,Y*为总样本量,y*为假设融合图像特征所属图像上的某个像素点是否属于一个标尺数字的文本框内的真实标签,为假设融合图像特征所属图像上的某个像素点是否属于一个标尺数字的文本框内的预测标签。
其中,真实的文本框也可以理解为标注数据,需要让基于模型确定的检测框的位置尽量靠近标注的文本框的位置。
图13示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图八。
参考图13,本公开实施例一种病灶尺寸确定方法的一种处理流程中,基于标尺区域利用标尺数字识别模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的数字信息的具体实现过程,至少包括以下步骤:
步骤S801,确定标尺区域的图像中的数字区域。
在一些实施例中,可以将数字区域从标尺区域的图像中裁剪出来。
步骤S802,利用图像分类网络提取标尺区域的图像中的数字区域的特征,得到第四图像特征。
在一些实施例中,使用图像分类网络来实现数字分类任务,图像分类网络优选为轻量级网络,例如Shufflenetv2、Mobilenetv3等。轻量级网络是一种参数量少,计算量小,推理速度快的网络,适用于小型轻便的移动设备。
步骤S803,对第四图像特征进行多层全连接层和非线性映射变换,得到数字信息,数字信息包括数字类别。
如图14所示,对步骤S801-步骤S803进行一种示例性说明,如下:
以Mobilenetv3作为图像分类网络的主干网络,从携带数字3的图像中提取特征,得到图像特征,对该图像特征进行多层全连接层和非线性映射变换,得到包括数字类别的数字信息。
在一些实施例中,为了缓解训练过程中的各个数字出现的次数不均衡问题,可以手动调整每个数字在训练集中的出现次数,使得各个数字出现次数均衡。经过调整后,使用的损失函数为适用于多分类的交叉熵损失函数。
图15示出了本公开实施例一种病灶尺寸确定方法的处理流程示意图九。
参考图15,本公开实施例一种病灶尺寸确定方法的一种处理流程中,基于像素点的真实高度与真实宽度,确定目标病灶轮廓所属病灶的尺寸的具体实现过程,至少包括以下步骤:
步骤S901,确定目标病灶轮廓所属病灶的长径与真实高度或真实宽度之积,为病灶尺寸中的真实长径。
在一些实施例中,若以像素为单位,病灶的长径和短径分别为l和s,面积为a,则病灶的真实长径为:
步骤S902,确定目标病灶轮廓所属病灶的短径与真实高度或真实宽度之积,为病灶尺寸中的真实短径。
在一些实施例中,病灶的真实短径为:
步骤S903,确定目标病灶轮廓所属病灶的面积与真实高度的平方或真实宽度的平方之积,为病灶尺寸中的真实面积。
在一些实施例中,病灶的真实面积为:
图16示出了本公开实施例一种病灶尺寸确定方法的整体处理流程示意图。
参考图16,本公开实施例只需要对携带病灶的视频段进行一遍扫描,即可根据病灶轮廓分割网络自动寻找一段时间内病灶出现的最大横截面,从而得到病灶的长短径,再利用标尺数字检测识别模型对包括病灶长短径的标尺数字检测和识别,最终计算出病灶长短径以及病灶面积的真实尺寸。
其中,本公开实施例中的病灶轮廓分割网络需要对病灶轮廓的标注,如图17所示,图17中不规则的闭合曲线即为对病灶轮廓进行的标注;如图10所示,标尺数字检测识别模型需要对超声图像上的标尺数字的文本框和数字具体值进行标注。
由于本公开实施例提出的病灶尺寸确定方法使用的仅仅是超声图像中的信息,因此对于有着数字标尺的多种超声机型有着良好的多机型适应能力。只需要补充在不同机型上的病灶轮廓标注,以及不同机型上的标尺数字和标尺数字的文本框的标注,即可通过增加少量训练数据的方式快速实现本公开实施例提出的病灶尺寸确定方法在多种不同超声机型上的应用,从而应用于广泛的场景,为切实减轻广大医学人员的超声病灶扫查压力提供了技术保障。
图18-图21示出了本公开实施例一种病灶尺寸确定方法的效果展示图。
其中,图18-图20为本公开实施例的分割效果展示图。图18-图20中每张图的左中右三部分分别表示原始图像、医学人员手动标注的病灶轮廓以及基于病灶轮廓分割网络得到的病灶轮廓。图21为本公开实施例的标尺检测效果展示图。图21中存在两个标尺,每个标尺中的数字均被成功的检测到,标尺右侧的数字表示每个被检测出的数字被识别为具体哪个值以及相应的分类置信度。
图22示出了本公开实施例一种病灶尺寸确定模型训练方法的处理流程示意图。
参考图22,本公开实施例一种病灶尺寸确定模型训练方法的一种处理流程,至少包括以下步骤:
步骤S2201,获取待处理的第一样本数据集,待处理的第一样本数据集包括携带病灶的待处理样本图像。
在一些实施例中,待处理的第一样本数据集可以由任意携带病灶的超声图像构成。
步骤S2202,将待处理的第一样本数据集作为病灶轮廓分割网络的输入,得到病灶轮廓分割网络输出的多个样本病灶轮廓分割结果。
步骤S2203,利用多个样本病灶轮廓分割结果确定样本目标病灶轮廓的尺寸。
步骤S2204,计算样本目标病灶轮廓的尺寸与参考病灶轮廓的尺寸之间的损失。
步骤S2205,基于损失调整病灶尺寸确定模型的参数。
本公开实施例中,病灶尺寸确定模型包括病灶轮廓分割网络和标尺数字检测识别模型。
图23示出了实施例一种病灶尺寸确定装置的组成结构示意图。
参考图23,实施例一种病灶尺寸确定装置,所述病灶尺寸确定装置100包括:获取模块1001,用于获取待处理的第一数据,待处理的第一数据包括携带病灶的待处理图像;输入模块1002,用于将待处理的第一数据作为病灶轮廓分割网络的输入,得到病灶轮廓分割网络输出的多个病灶轮廓分割结果;确定模块1003,用于从多个病灶轮廓分割结果中获取目标病灶轮廓,确定目标病灶轮廓所属病灶的长径和目标病灶轮廓所属病灶的短径;基于目标病灶轮廓所属病灶的长径和目标病灶轮廓所属病灶的短径,确定目标病灶轮廓所属病灶的尺寸。
在一些实施例中,所述输入模块1002,包括:图像特征确定子模块10021,用于分别基于病灶轮廓分割网络的主干分支和次要分支,确定第一图像特征和第二图像特征;融合子模块10022,用于将第一图像特征和第二图像特征交叉融合,用于获取目标图像特征;调整子模块10023,用于基于目标图像特征,调整病灶轮廓分割网络的参数。
在一些实施例中,所述确定模块1003,包括:标记子模块10031,用于对多个病灶轮廓分割结果进行标记,得到病灶轮廓标记结果;计算子模块10032,用于计算第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比;其中,第一病灶轮廓分割结果与所述第二病灶轮廓分割结果为病灶轮廓标记结果中相邻的任意一对病灶轮廓分割结果;病灶轮廓获取子模块10033,用于基于病灶轮廓标记结果和交并比获取目标病灶轮廓。
在一些实施例中,所述确定模块1003,还包括:长径确定子模块10034,用于遍历目标病灶轮廓,确定距离最大的两个点之间的连线为目标病灶轮廓所属病灶的长径;短径确定子模块10035,用于用垂直于长径的扫描线扫描目标病灶轮廓,将扫描线位于目标病灶轮廓内部时长度最大的线段确定为目标病灶轮廓所属病灶的短径。
在一些实施例中,所述确定模块1003,还包括:数字信息获取子模块10036,用于获取目标病灶轮廓所属图像中标尺区域的数字信息;尺寸确定子模块10037,用于确定标尺区域的数字信息中两个相邻数字的差值以及两个相邻数字检测框中心点的距离之比,为目标病灶轮廓所属图像上每个像素点的真实高度与真实宽度;基于像素点的真实高度与真实宽度,确定目标病灶轮廓所属病灶的尺寸。
在一些实施例中,所述数字信息获取子模块10036,具体用于获取待处理的第二数据,待处理的第二数据包括携带标尺数字以及标尺数字的文本框的待处理图像;将待处理的第二数据输入至标尺数字检测识别模型,利用标尺数字检测识别模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的数字信息。
在一些实施例中,标尺数字检测识别模型包括标尺数字检测模型和标尺数字识别模型;相应地,所述数字信息获取子模块10036,具体用于利用标尺数字检测模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的图像;基于标尺区域利用标尺数字识别模型对携带标尺数字以及标尺数字的文本框的待处理图像进行检测,得到目标病灶轮廓所属图像中标尺区域的数字信息。
在一些实施例中,所述数字信息获取子模块10036,具体用于基于特征提取网络提取携带标尺数字以及标尺数字的文本框的待处理图像的第三图像特征;对第三图像特征进行图像采样处理,得到图像采样处理结果;基于图像采样处理结果,确定融合图像特征;基于融合图像特征确定多个标尺数字的检测框的坐标,并以非极大值抑制算法对多个标尺数字的检测框进行去重处理,得到标尺区域的图像。
在一些实施例中,所述数字信息获取子模块10036,具体用于确定标尺区域的图像中的数字区域;利用图像分类网络提取标尺区域的图像中的数字区域的特征,得到第四图像特征;对第四图像特征进行多层全连接层和非线性映射变换,得到数字信息,数字信息包括数字类别。
在一些实施例中,所述尺寸确定子模块10037,具体用于确定目标病灶轮廓所属病灶的长径与真实高度或真实宽度之积,为病灶尺寸中的真实长径;确定目标病灶轮廓所属病灶的短径与真实高度或真实宽度之积,为病灶尺寸中的真实短径;确定目标病灶轮廓所属病灶的面积与真实高度的平方或真实宽度的平方之积,为病灶尺寸中的真实面积。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图24示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴电子设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图24所示,电子设备1100包括计算单元1101,其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序,来执行各种适当的动作和处理。在RAM 1103中,还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105,包括:输入单元1106,例如键盘、鼠标等;输出单元1107,例如各种类型的显示器、扬声器等;存储单元1108,例如磁盘、光盘等;以及通信单元1109,例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他电子设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理,例如一种病灶尺寸确定方法。例如,在一些实施例中,一种病灶尺寸确定方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1108。在一些实施例中,计算机程序的部分或者全部可以经由ROM702和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时,可以执行上文描述的一种病灶尺寸确定方法的一个或多个步骤。备选地,在其他实施例中,计算单元1101可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行一种病灶尺寸确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种病灶尺寸确定方法,其特征在于,所述方法包括:
获取待处理的第一数据,所述待处理的第一数据包括携带病灶的待处理图像;
将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果;
从多个所述病灶轮廓分割结果中获取目标病灶轮廓,确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径;
基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸。
2.根据权利要求1所述的方法,其特征在于,所述将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果,包括:
分别基于所述病灶轮廓分割网络的主干分支和次要分支,确定第一图像特征和第二图像特征;
将所述第一图像特征和所述第二图像特征交叉融合,用于获取目标图像特征;
基于所述目标图像特征,调整所述病灶轮廓分割网络的参数。
3.根据权利要求1所述的方法,其特征在于,所述从多个所述病灶轮廓分割结果中获取目标病灶轮廓,包括:
对多个所述病灶轮廓分割结果进行标记,得到病灶轮廓标记结果;
计算第一病灶轮廓分割结果与第二病灶轮廓分割结果之间的交并比;其中,所述第一病灶轮廓分割结果与所述第二病灶轮廓分割结果为所述病灶轮廓标记结果中相邻的任意一对病灶轮廓分割结果;
基于所述病灶轮廓标记结果和所述交并比获取所述目标病灶轮廓。
4.根据权利要求1所述的方法,其特征在于,所述确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,包括:
遍历所述目标病灶轮廓,确定距离最大的两个点之间的连线为所述目标病灶轮廓所属病灶的长径;
用垂直于所述长径的扫描线扫描所述目标病灶轮廓,将所述扫描线位于所述目标病灶轮廓内部时长度最大的线段确定为所述目标病灶轮廓所属病灶的短径。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸,包括:
获取所述目标病灶轮廓所属图像中标尺区域的数字信息;
确定所述标尺区域的数字信息中两个相邻数字的差值以及所述两个相邻数字检测框中心点的距离之比,为所述目标病灶轮廓所属图像上每个像素点的真实高度与真实宽度;
基于所述像素点的真实高度与真实宽度,确定所述目标病灶轮廓所属病灶的尺寸。
6.根据权利要求5所述的方法,其特征在于,所述获取所述目标病灶轮廓所属图像中标尺区域的数字信息,包括:
获取待处理的第二数据,所述待处理的第二数据包括携带标尺数字以及所述标尺数字的文本框的待处理图像;
将所述待处理的第二数据输入至标尺数字检测识别模型,利用所述标尺数字检测识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息。
7.根据权利要求6所述的方法,其特征在于,所述标尺数字检测识别模型包括标尺数字检测模型和标尺数字识别模型;
相应地,所述利用所述标尺数字检测识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息,包括:
利用所述标尺数字检测模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的图像;
基于所述标尺区域利用所述标尺数字识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息。
8.根据权利要求7所述的方法,其特征在于,所述利用所述标尺数字检测模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的图像,包括:
基于特征提取网络提取所述携带标尺数字以及所述标尺数字的文本框的待处理图像的第三图像特征;
对所述第三图像特征进行图像采样处理,得到图像采样处理结果;
基于图像采样处理结果,确定融合图像特征;
基于所述融合图像特征确定多个所述标尺数字的检测框的坐标,并以非极大值抑制算法对多个所述标尺数字的检测框进行去重处理,得到所述标尺区域的图像。
9.根据权利要求7所述的方法,其特征在于,所述基于所述标尺区域利用所述标尺数字识别模型对所述携带标尺数字以及所述标尺数字的文本框的待处理图像进行检测,得到所述目标病灶轮廓所属图像中标尺区域的数字信息,包括:
确定所述标尺区域的图像中的数字区域;
利用图像分类网络提取所述标尺区域的图像中的数字区域的特征,得到第四图像特征;
对所述第四图像特征进行多层全连接层和非线性映射变换,得到所述数字信息,所述数字信息包括数字类别。
10.根据权利要求5所述的方法,其特征在于,所述基于所述像素点的真实高度与真实宽度,确定所述目标病灶轮廓所属病灶的尺寸,包括:
确定所述目标病灶轮廓所属病灶的长径与所述真实高度或所述真实宽度之积,为所述病灶尺寸中的真实长径;
确定所述目标病灶轮廓所属病灶的短径与所述真实高度或所述真实宽度之积,为所述病灶尺寸中的真实短径;
确定所述目标病灶轮廓所属病灶的面积与所述真实高度的平方或所述真实宽度的平方之积,为所述病灶尺寸中的真实面积。
11.一种病灶尺寸确定模型训练方法,其特征在于,所述方法包括:
获取待处理的第一样本数据集,所述待处理的第一样本数据集包括携带病灶的待处理样本图像;
将所述待处理的第一样本数据集作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个样本病灶轮廓分割结果;
利用多个所述样本病灶轮廓分割结果确定样本目标病灶轮廓的尺寸;
计算所述样本目标病灶轮廓的尺寸与参考病灶轮廓的尺寸之间的损失;
基于所述损失调整所述病灶尺寸确定模型的参数。
12.一种病灶尺寸确定装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的第一数据,所述待处理的第一数据包括携带病灶的待处理图像;
输入模块,用于将所述待处理的第一数据作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个病灶轮廓分割结果;
确定模块,用于从多个所述病灶轮廓分割结果中获取目标病灶轮廓,确定所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径;基于所述目标病灶轮廓所属病灶的长径和所述目标病灶轮廓所属病灶的短径,确定所述目标病灶轮廓所属病灶的尺寸。
13.一种病灶尺寸确定模型训练装置,其特征在于,所述装置包括:
样本数据集获取模块,用于获取待处理的第一样本数据集,所述待处理的第一样本数据集包括携带病灶的待处理样本图像;
样本病灶轮廓分割结果获取模块,用于将所述待处理的第一样本数据集作为病灶轮廓分割网络的输入,得到所述病灶轮廓分割网络输出的多个样本病灶轮廓分割结果;
样本目标病灶轮廓尺寸确定模块,用于利用多个所述样本病灶轮廓分割结果确定样本目标病灶轮廓的尺寸;
损失计算模块,用于计算所述样本目标病灶轮廓的尺寸与参考病灶轮廓的尺寸之间的损失;
模型参数调整模块,用于基于所述损失调整所述病灶尺寸确定模型的参数。
14.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的病灶尺寸确定方法;
或者,所述处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求11所述的病灶尺寸确定模型训练方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的病灶尺寸确定方法;或者,实现权利要求11所述的病灶尺寸确定模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211011892.6A CN115311244A (zh) | 2022-08-23 | 2022-08-23 | 一种病灶尺寸确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211011892.6A CN115311244A (zh) | 2022-08-23 | 2022-08-23 | 一种病灶尺寸确定方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115311244A true CN115311244A (zh) | 2022-11-08 |
Family
ID=83864581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211011892.6A Pending CN115311244A (zh) | 2022-08-23 | 2022-08-23 | 一种病灶尺寸确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115311244A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953457A (zh) * | 2023-03-14 | 2023-04-11 | 杭州脉流科技有限公司 | 推荐首枚弹簧圈的方法和计算机设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507978A (zh) * | 2020-05-08 | 2020-08-07 | 延安大学 | 一种泌尿外科用智能数字影像处理系统 |
CN112184653A (zh) * | 2020-09-23 | 2021-01-05 | 之江实验室 | 一种基于双目内窥镜的病灶三维尺寸测量及显示方法 |
US20210056691A1 (en) * | 2019-08-19 | 2021-02-25 | The Penn State Research Foundation | Systems and methods utilizing artificial intelligence for placental assessment and examination |
CN113222946A (zh) * | 2021-05-19 | 2021-08-06 | 浙江卡易智慧医疗科技有限公司 | 一种肺结节尺寸计算的方法 |
CN114140651A (zh) * | 2021-12-09 | 2022-03-04 | 深圳市资福医疗技术有限公司 | 胃部病灶识别模型训练方法、胃部病灶识别方法 |
-
2022
- 2022-08-23 CN CN202211011892.6A patent/CN115311244A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210056691A1 (en) * | 2019-08-19 | 2021-02-25 | The Penn State Research Foundation | Systems and methods utilizing artificial intelligence for placental assessment and examination |
CN111507978A (zh) * | 2020-05-08 | 2020-08-07 | 延安大学 | 一种泌尿外科用智能数字影像处理系统 |
CN112184653A (zh) * | 2020-09-23 | 2021-01-05 | 之江实验室 | 一种基于双目内窥镜的病灶三维尺寸测量及显示方法 |
CN113222946A (zh) * | 2021-05-19 | 2021-08-06 | 浙江卡易智慧医疗科技有限公司 | 一种肺结节尺寸计算的方法 |
CN114140651A (zh) * | 2021-12-09 | 2022-03-04 | 深圳市资福医疗技术有限公司 | 胃部病灶识别模型训练方法、胃部病灶识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953457A (zh) * | 2023-03-14 | 2023-04-11 | 杭州脉流科技有限公司 | 推荐首枚弹簧圈的方法和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102210715B1 (ko) | 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기 | |
CN110458095B (zh) | 一种有效手势的识别方法、控制方法、装置和电子设备 | |
CN112906502A (zh) | 目标检测模型的训练方法、装置、设备以及存储介质 | |
WO2022227770A1 (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN113870334B (zh) | 深度检测方法、装置、设备以及存储介质 | |
CN111507965A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
CN113657274B (zh) | 表格生成方法、装置、电子设备及存储介质 | |
CN113971728B (zh) | 图像识别方法、模型的训练方法、装置、设备及介质 | |
CN115294332A (zh) | 一种图像处理方法、装置、设备和存储介质 | |
CN114743178B (zh) | 道路边缘线生成方法、装置、设备及存储介质 | |
CN115409990A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN115311244A (zh) | 一种病灶尺寸确定方法、装置、电子设备及存储介质 | |
KR102352942B1 (ko) | 객체 경계정보의 주석을 입력하는 방법 및 장치 | |
CN114219936A (zh) | 目标检测方法、电子设备、存储介质和计算机程序产品 | |
CN113409340A (zh) | 语义分割模型训练方法、语义分割方法、装置及电子设备 | |
CN113780040A (zh) | 唇部关键点的定位方法及装置、存储介质、电子设备 | |
CN116758280A (zh) | 目标检测方法、装置、设备以及存储介质 | |
CN115147359B (zh) | 肺叶分割网络模型训练方法、装置、电子设备及存储介质 | |
CN115761698A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
CN113706705B (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
CN115830268A (zh) | 用于优化感知算法的数据的获取方法、装置和存储介质 | |
CN115631370A (zh) | 一种基于卷积神经网络的mri序列类别的识别方法及装置 | |
US11804042B1 (en) | Prelabeling of bounding boxes in video frames | |
CN115239700A (zh) | 一种脊椎Cobb角测量方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221108 |
|
RJ01 | Rejection of invention patent application after publication |