CN114091507B - 超声病灶区域检测方法、装置、电子设备及存储介质 - Google Patents

超声病灶区域检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114091507B
CN114091507B CN202111028240.9A CN202111028240A CN114091507B CN 114091507 B CN114091507 B CN 114091507B CN 202111028240 A CN202111028240 A CN 202111028240A CN 114091507 B CN114091507 B CN 114091507B
Authority
CN
China
Prior art keywords
ultrasonic
lesion
preset number
feature
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111028240.9A
Other languages
English (en)
Other versions
CN114091507A (zh
Inventor
俞昊君
王东
马璐
胡阳
王立威
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202111028240.9A priority Critical patent/CN114091507B/zh
Publication of CN114091507A publication Critical patent/CN114091507A/zh
Application granted granted Critical
Publication of CN114091507B publication Critical patent/CN114091507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种超声病灶区域检测方法、装置、电子设备及存储介质，包括：采集第一超声视频并转换为多个第一超声图像；对每个第一超声图像进行卷积得到特征矩阵；对每个特征矩阵进行计算得到对应的混合特征矩阵；根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域；根据所有混合特征矩阵得到每个第一病灶区域对应的第一病灶区域特征向量；将多个第一病灶区域和对应的第一病灶区域特征向量进行编码和解码得到多个第二病灶区域和对应的第二病灶区域特征向量；根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度；将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。

Description

超声病灶区域检测方法、装置、电子设备及存储介质
技术领域
本发明涉及数据识别领域，尤其涉及一种超声病灶区域检测方法、装置、电子设备及存储介质。
背景技术
与X线摄影相比，超声成像在更大程度上依赖于超声师的能力。由于噪声和伪影的干扰，解读超声视频需要非常丰富的经验。计算机辅助诊断(CAD)有助于减少“操作者依赖性”对超声成像的影响，帮助超声师更好地进行病变检测。基于深度学习对超声视频实时病灶区域进行检测是一个全新的领域，鲜有前人的研究可供参考。之前有少量对于超声图像检测的研究，而对于视频检测的研究是缺乏的。而当前的自然视频的检测模型如RDN模型、MEGA模型等在超声任务上主要有以下不足：由于超声视频中的病灶区域的形态会随探头的移动而发生剧烈变化，病灶区域的边缘较模糊，难以确定病灶区域的真实轮廓；病灶区域可能与其他正常的低回声结构和良性病变相似，无法更好地区分低回声区域是否为病灶；且当前最好的自然视频检测模型当在超声视频数据集的一帧中有多个病灶区域时，多数情况下只能检测出一个或者全部漏检。所以本领域急需一种能够快速、准确的基于深度学习的超声视频病灶区域检测方法。
发明内容
本发明提供一种超声病灶区域检测方法、装置、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。
本发明一方面提供一种超声病灶区域检测方法，包括：
采集第一超声视频并将所述第一超声视频转换为多个第一超声图像，每个第一超声图像对应第一超声视频中一帧的超声图像；
对每个第一超声图像进行卷积，得到对应的特征矩阵；
根据所有特征矩阵中的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵；
根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域；
根据所有混合特征矩阵得到每个第一病灶区域对应的第一病灶区域特征向量；
将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量；
根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度；
将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。
其中，所述第一超声图像，包括：
所述第一超声图像为由高、宽和RGB三原色组成的高维矩阵。。
其中，所述对每个第一超声图像进行卷积，得到对应的特征矩阵，包括：
根据对应不同维度的多个卷积核对每个第一超声图像进行卷积，得到将每个第一超声图像转换为对应的表征多个维度特征数据的特征矩阵。
其中，所述将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量，包括：
根据第一预设层数的帧内关联层将多个第一病灶区域和对应的第一病灶区域特征向量进行编码；
根据第二预设层数的帧间关联层和帧内关联层将编码后的多个第一病灶区域和对应的第一病灶区域特征向量进行解码，得到多个第二病灶区域和对应的第二病灶区域特征向量。
其中，所述采集第一超声视频之前，还包括：
采集多个带有病灶区域标记的第二超声视频并将每个第二超声视频转换为多个第二超声图像，每个第二超声图像对应第二超声视频中一帧的超声图像；
将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练；
将训练后的UltraDet模型用于检测第一超声视频。
其中，所述每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练，包括：
从选取出的每个第二超声视频转换的多个第二超声图像中选取连续的第二预设数量的第二超声图像；
从选取出的第二预设数量的第二超声图像中选取随机的第三预设数量的第二超声图像，所述第三预设数量小于等于第二预设数量；
利用所述第二预设数量的第二超声图像和所述第三预设数量的第二超声图像对UltraDet模型进行训练。
其中，所述将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，包括：
在根据多个第二超声视频训练UltraDet模型第二预设轮数后，将学习率设置为第二学习率，所述第二学习率为第一学习率的十分之一；
在根据多个第二超声视频训练UltraDet模型第三预设轮数后，将学习率设置为第三学习率，所述第三学习率为第二学习率的十分之一。
本发明另一方面提供一种超声病灶区域检测装置，包括：
采集模块，用于采集第一超声视频并将所述第一超声视频转换为多个第一超声图像，每个第一超声图像对应第一超声视频中一帧的超声图像；
计算模块，用于对每个第一超声图像进行卷积，得到对应的特征矩阵；
所述计算模块，还用于根据所有特征矩阵中的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵；
所述计算模块，还用于根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域；
所述计算模块，还用于根据所有混合特征矩阵得到每个第一病灶区域对应的第一病灶区域特征向量；
所述计算模块，还用于将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量；
所述计算模块，还用于根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度；
判断模块，用于将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。
本发明再一方面提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明所述的方法。
本发明还一方面提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明所述的方法。
在本发明上述方法中，由于超声图像中的病灶区域形状、大小和位置根据探头移动会产生剧烈的变化，所以通过根据第一超声图像对应特征矩阵来确定第一超声图像中的多个第一病灶区域，可以避免其他第一超声图像中的特征数据影响到该第一超声图像中的多个第一病灶区域的确定，提高了确定第一病灶区域的准确率。通过将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量。帧内关联层可以充分结合每个第一超声图像帧内的特征数据，使预测病灶的置信度的准确性大大提高。帧间关联层可以充分结合第一超声图像帧间的时间维度特征，以更好地确定第二病灶区域的边缘位置，使得第二病灶区域和第二病灶区域的准确性更高。
附图说明
图1示出了本实施例提供的超声病灶区域检测方法流程示意图；
图2示出了本实施例提供的编码器和解码器结构示意图；
图3示出了本实施例提供的单个第一超声图像中的多个第二病灶区域和对应的第二病灶区域置信度示意图；
图4示出了本实施例提供的单个第一超声图像中的多个第三病灶区域和对应的置信度示意图；
图5示出了本实施例提供的UltraDet模型结构示意图；
图6示出了本实施例提供的超声病灶区域检测装置结构示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高检测病灶区域的准确性，如图1所示，本发明一实施例提供了一种超声病灶区域检测方法，该方法包括：
步骤101，采集第一超声视频并将所述第一超声视频转换为多个第一超声图像，每个第一超声图像对应第一超声视频中一帧的超声图像。
采集第一超声视频，将第一超声视频按照一秒多帧转换为多个第一超声图像，例如采集到第一超声视频V，第一超声视频按照一秒多帧转换为T个第一超声图像{I1，I2，I3，…，IT}，每个第一超声图像对应第一超声视频中一帧的超声图像。
步骤102，对每个第一超声图像进行卷积，得到对应的特征矩阵。
在步骤102中，所述第一超声图像，在一可实施方式中，所述第一超声图像为由高、宽和RGB三原色组成的高维矩阵。
每个第一超声图像中的每个像素都有对应的RGB三原色，所以每个第一超声图像都是由宽、高和RGB三原色组成的高维矩阵；
例如，某个第一超声图像高为H像素，宽为W像素，则该第一超声图像为H*W*3的高维矩阵：
Figure BDA0003244318860000061
再例如，某个第一超声图像高为3像素，宽为3像素，则该第一超声图像为3*3*3的高维矩阵：
Figure BDA0003244318860000071
可利用ResNet34网络结构对每个第一超声图像进行卷积，得到对应的特征矩阵，ResNet34是一种通用的网络架构，如果采用ResNet50网络架构会造成提取特征矩阵耗时过长的问题，而采用ResNet18网络架构则会导致提取特征矩阵性能下降，所以采用ResNet34网络架构能在保证提取特征矩阵性能的情况下最大限度地减少耗时。
在步骤103中，对每个图像矩阵进行卷积，得到对应的特征矩阵，在一可实施方式中，根据对应不同维度的多个卷积核对每个图像矩阵进行卷积，得到将每个图像矩阵转换为对应的表征多个维度特征数据的特征矩阵。
根据多个卷积核对每个图像矩阵进行卷积，每个卷积核能够提取图像矩阵中不同维度的特征数据，从而将表征三原色的每个图像矩阵转换为对应的表征多个维度特征数据的特征矩阵；
例如，需要提取图像矩阵中C个维度的特征数据，则使用对应的C个卷积核分别对每个图像矩阵进行卷积，将每个H*W*3的三维的图像矩阵转换为H*W*C的三维的特征矩阵：
Figure BDA0003244318860000072
步骤104，根据所有特征矩阵中的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵。
利用“卷积长短时记忆”模块结合所有特征矩阵的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵，使得每个第一超声图像对应的混合特征矩阵都能初步结合其他第一超声图像的特征数据。
步骤105，根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域。
利用UltraDet模型根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域，为了不使其他第一超声图像的特征数据影响到确定第一病灶区域，所以这里使用UltraDet模型来确定对应每个第一超声图像的多个第一病灶区域时是根据对应的特征矩阵而不是对应的混合特征矩阵来确定的，第一病灶区域由该第一病灶区域中心点的坐标和该第一病灶区域的宽和高表示，中心点的坐标所在的坐标系是以对应的第一超声图像左上角点为原点建立的；
例如，第i个第一超声图像对应的第j个第一病灶区域为
Figure BDA0003244318860000081
其中(xij,yij)为第i个第一超声图像对应的第j个第一病灶区域的中心点的坐标，wij为该第一病灶区域的宽，hij为该病灶区域的高。
步骤106，根据每个混合特征矩阵得到对应的多个第一病灶区域特征向量。
利用RoI Align(区域特征聚集)方法根据每个混合特征矩阵对应的多个第一病灶区域从该混合特征矩阵中截取第一病灶区域对应的特征数据，双线性插值到7*7的区域。对这些区域进行卷积操作，再进行最大池化操作，得到第一病灶区域对应的特征向量；
例如，在步骤103中，使用了C个维度对应的C个卷积核分别对每个第一超声图像进行卷积，将每个H*W*3的第一超声图像转换为H*W*C的三维的特征矩阵，则步骤106中得到的每个第一病灶区域特征向量都是1*1*C的第一病灶区域特征向量。
步骤107，将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量。
在步骤107中，将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量，在一可实施方式中，根据第一预设层数的帧内关联层将多个第一病灶区域和对应的第一病灶区域特征向量进行编码；
根据第二预设层数的帧内关联层和帧间关联层将编码后的多个第一病灶区域和对应的第一病灶区域特征向量进行解码，得到多个第二病灶区域和对应的第二病灶区域特征向量。
如图2所示，利用图2中的编码器将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码实际是经过了第一预设层数的帧间关联层，每经过一层帧间关联层，就是将多个第一病灶区域和对应的第一病灶区域特征向量进行一次编码，对每个第一超声图像对应的每个第一病灶区域进行编码时会结合其他第一超声图像中对应的第一病灶区域的特征数据，再利用图2中的解码器进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量，对每个第一超声图像对应的每个第一病灶区域进行解码实际是经过了第二预设层数的帧内关联层和帧间关联层，每次先经过帧内关联层是为了只结合每个第一病灶区域所属的第一超声图像中的特征数据进行解码，而后再经过帧间关联层结合所有第一超声图像中的特征数据对每个第一病灶区域进行解码，解码完成后得到多个第二病灶区域和对应的第二病灶区域特征向量；
例如，某个第一超声图像对应的第n个第一病灶区域为
Figure BDA0003244318860000091
Figure BDA0003244318860000092
该第一病灶区域对应的第一病灶区域特征向量为
Figure BDA0003244318860000093
根据以下公式计算该第一病灶区域的关联特征fR(n)：
Figure BDA0003244318860000094
其中，N2为该第一超声图像对应的所有第一病灶区域的特征集合，特征集合中包含多个第一病灶区域
Figure BDA0003244318860000101
和对应的第一病灶区域特征向量
Figure BDA0003244318860000102
WV为模型的权重，ωmn代表该第一超声图像中第n个第一病灶区域和第m个第一病灶区域的关联程度；
根据以下公式计算ωmn：
Figure BDA0003244318860000103
其中，
Figure BDA00032443188600001016
代表该第一超声图像特征集合中第m个第一病灶区域和第n个第一病灶区域的位置信息的关联程度，
Figure BDA0003244318860000104
代表该第一超声图像特征集合中第m个第一病灶区域和第n个第一病灶区域的语义信息的关联程度，相同的，
Figure BDA0003244318860000105
代表该第一超声图像特征集合中第o个第一病灶区域和第n个第一病灶区域的位置信息的关联程度，
Figure BDA0003244318860000106
代表该第一超声图像特征集合中第o个第一病灶区域和第n个第一病灶区域的语义信息的关联程度；
根据以下公式计算
Figure BDA0003244318860000107
Figure BDA0003244318860000108
其中，WK和WQ为模型中的权重，dk为特征向量
Figure BDA0003244318860000109
的长度；
根据以下公式计算
Figure BDA00032443188600001010
Figure BDA00032443188600001011
其中，WG为模型中的权重，
Figure BDA00032443188600001012
代表该第一超声图像特征集合中第m个第一病灶区域和第n个第一病灶区域的相对位置编码；
根据以下公式计算
Figure BDA00032443188600001013
Figure BDA00032443188600001014
其中，
Figure BDA00032443188600001017
是指对括号中的数据按照
Figure BDA00032443188600001015
位置信息长度的四分之一进行编码，那么由编码后的四个数据组成的长度就与原来的位置信息的长度相等，xm、ym、wm和hm分别代表该第一超声图像特征集合中第m个第一病灶区域的中心点坐标、宽和高，xn、yn、wn和hn分别代表该第一超声图像特征集合中第n个第一病灶区域的中心点坐标、宽和高；
利用公式(1)结合多头机制构建了帧内关联层和帧间关联层；
帧内关联层根据以下公式表示：
Relationintra(t)＝Relation(F(Nt),F(Nt))
Relation(F(Nt),F(Nt))是指利用公式(1)结合多头机制对第t个第一超声图像中所有的第一病灶区域之间的语义信息和位置信息进行结合，得到第t个第一超声图像中所有的第一病灶区域结合帧内语义信息和位置信息的第一病灶区域和对应的第一病灶区域特征向量；
帧间关联层根据以下公式表示：
Relationinter(t)＝Relation(F(Nt),F(N))
Relation(F(Nt),F(N))是指利用公式(1)结合多头机制对第t个第一超声图像中所有的第一病灶区域和所有第一超声图像中的第一病灶区域的语义信息和位置信息进行结合，得到第t个第一超声图像中所有的第一病灶区域结合帧间语义信息和位置信息的第一病灶区域和对应的第一病灶区域特征向量；
由第一预设层数的帧间关联层构建了编码器，可以表示为：
Figure BDA0003244318860000111
Figure BDA0003244318860000112
其中，l为第一预设层数，而当l为1的时候，也就是Fe,0为在步骤105中和步骤106中得到的所有的第一病灶区域和对应的第一病灶区域特征向量的集合，FG为在步骤105中得到的所有的第一病灶区域的集合，在通过第一预设层数的帧间关联层后，得到了编码后的所有的第一病灶区域和对应的第一病灶区域特征向量的集合Fe,l；
由第二预设层数的帧内关联层和帧间关联层构建了解码器，可以表示为：
Figure BDA0003244318860000113
Figure BDA0003244318860000114
Figure BDA0003244318860000115
Figure BDA0003244318860000121
其中，前两个公式为解码器中的帧内关联层，后两个公式为解码器中的帧间关联层，r为第二预设层数，而当r为1的时候，也就是
Figure BDA0003244318860000122
为在步骤105中和步骤106中得到的所有的第一病灶区域和对应的第一病灶区域特征向量的集合，而当r大于1的时候，
Figure BDA0003244318860000123
为解码器中上一层帧间关联层的输出，
Figure BDA0003244318860000124
为解码器中当前层帧内关联层的输出，Fe,l为编码器的输出；
通过解码器解码后得到的
Figure BDA0003244318860000125
就是所有第二病灶区域和对应的第二病灶区域特征向量的集合。
步骤108，根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度。
根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度，如图3所示，图3中为单张第一超声图像中的多个第二病灶区域和对应的第二病灶区域置信度。
步骤109，将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。
例如，预设置信度为百分之40，则将对应的第二病灶区域置信度大于等于百分之40的第二病灶区域确定为第三病灶区域，如图4所示，图4将图3中第二病灶区域置信度小于预设置信度百分之40的第二病灶区域都去掉了，将剩余大于等于预设置信度百分之40的第二病灶区域确定为第三病灶区域。
在步骤101中，采集第一超声视频之前，在一可实施方式中，采集多个第二超声视频并将每个第二超声视频转换为多个第二超声图像，每个第二超声图像对应第二超声视频中一帧的超声图像。
所述每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练，在一可实施方式中，从选取出的每个第二超声视频转换的多个第二超声图像中选取连续的第二预设数量的第二超声图像和随机的第三预设数量的第二超声图像对UltraDet模型进行训练，每轮训练都是选取第一预设数量的第二超声视频，然后在第一预设数量的设备上对UltraDet模型进行训练，在每轮训练完成后，根据loss(损失)计算梯度更新UltraDet模型的权重；
例如，总共采集了2000个第二超声视频，在对UltraDet模型训练的某一轮中，选取了2000个第二超声视频中的8个第二超声视频，从选取出的每个第二超声视频对应的多个第二超声图像中选取连续的30个第二超声图像和随机的16个第二超声图像，因为每个第二超声视频是按照一秒预设帧数转换为多个第二超声图像的，所以每个第二超声视频转换的多个第二超声图像之间是有时间关系的，所以选取连续的30个第二超声图像是指时间上连续的30帧第二超声图像。
将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练。
所述将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，在一可实施方式中，在根据多个第二超声视频训练UltraDet模型第二预设轮数后，将学习率设置为第二学习率，所述第二预设轮数小于第一预设轮数，所述第二学习率小于第一学习率；
在根据多个第二超声视频训练UltraDet模型第三预设轮数后，将学习率设置为第三学习率，所述第三预设轮数大于第二预设轮数，小于第一预设轮数，所述第三学习率小于第二学习率。
例如，第一预设轮数为50000轮，就是指总共需要对UltraDet模型训练50000轮，初始将学习率设置为0.0001，也就是第一学习率，在训练30000轮后，将学习率设置为0.00001，在训练40000轮后，将学习率设置为0.000001。
将训练后的UltraDet模型用于检测第一超声视频。
本发明创新性地提出了UltraDet模型，如图5所示，UltraDet模型分为骨架网络和检测头；
骨架网络中包含Res34网络结构、”卷积长短时记忆”网络结构和Res5模块，第一超声图像利用Res34网络结构提取特征矩阵，然后再根据特征矩阵利用”卷积长短时记忆”网络结构和Res5网络结构得到混合特征矩阵；
检测头中包含候选区域提取器和关联模块，候选区域提取器根据特征矩阵提取出第一病灶区域，并从混合特征矩阵中提取出与第一病灶区域对应的第一病灶区域特征向量，将第一病灶区域和对应的第一病灶区域输入关联模块，通过关联编码器和关联解码器进行编码和解码后得到第二病灶区域和对应的第二病灶区域特征向量，最后根据第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域对应的置信度。
在本发明上述方法中，由于超声图像中的病灶区域形状、大小和位置根据探头移动会产生剧烈的变化，所以通过根据第一超声图像对应特征矩阵来确定第一超声图像中的多个第一病灶区域，可以避免其他第一超声图像中的特征数据影响到该第一超声图像中的多个第一病灶区域的确定，提高了确定第一病灶区域的准确率，利用Res34网络结构对每个第一超声图像进行卷积，得到对应的特征矩阵可以显著减少过拟合并且提高模型整体的速度，通过将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量可以充分结合每个第一超声图像帧内的特征数据可以使最后得到的置信度的准确性大大提高，而结合所有第一超声图像帧间的特征数据可以更好地确定第二病灶区域的边缘位置，使得第二病灶区域和第二病灶区域置信度的准确性更高。
本发明一实施例还提供了一种超声病灶区域检测装置，如图6所示，该装置包括：
采集模块10，用于采集第一超声视频并将所述第一超声视频转换为多个第一超声图像，每个第一超声图像对应第一超声视频中一帧的超声图像；
计算模块20，用于对每个第一超声图像进行卷积，得到对应的特征矩阵；
所述计算模块20，还用于根据所有特征矩阵中的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵；
所述计算模块20，还用于根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域；
所述计算模块20，还用于根据所有混合特征矩阵得到每个第一病灶区域对应的第一病灶区域特征向量；
所述计算模块20，还用于将多个第一病灶区域和对应的第一病灶区域特征向量进行第一预设次数的编码再进行第二预设次数的解码得到多个第二病灶区域和对应的第二病灶区域特征向量；
所述计算模块20，还用于根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度；
判断模块30，用于将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。
其中，所述计算模块20，还用于所述第一超声图像为由高、宽和RGB三原色组成的高维矩阵。
其中，所述计算模块20，还用于根据对应不同维度的多个卷积核对每个第一超声图像进行卷积，得到将每个图像矩阵转换为对应的表征多个维度特征数据的特征矩阵。
其中，所述计算模块20，还用于根据第一预设层数的帧间关联层将多个第一病灶区域和对应的第一病灶区域特征向量进行编码；
所述计算模块20，还用于根据第二预设层数的帧内关联层和帧间关联层将编码后的多个第一病灶区域和对应的第一病灶区域特征向量进行解码，得到多个第二病灶区域和对应的第二病灶区域特征向量。
其中，所述采集模块10，还用于采集多个带有病灶区域标记的第二超声视频并将每个第二超声视频转换为多个第二超声图像，每个第二超声图像对应第二超声视频中一帧的超声图像；
训练模块40，用于将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练；
所述训练模块40，还用于将训练后的UltraDet模型用于检测第一超声视频。
其中，所述训练模块40，还用于从选取出的每个第二超声视频转换的多个第二超声图像中选取连续的第二预设数量的第二超声图像；
所述训练模块40，还用于从选取出的第二预设数量的第二超声图像中选取随机的第三预设数量的第二超声图像，所述第三预设数量小于等于第二预设数量；
所述训练模块40，还用于利用所述第二预设数量的第二超声图像和所述第三预设数量的第二超声图像对UltraDet模型进行训练。
其中，所述训练模块40，还用于在根据多个第二超声视频训练UltraDet模型第二预设轮数后，将学习率设置为第二学习率，所述第二学习率为第一学习率的十分之一；
所述训练模块40，还用于在根据多个第二超声视频训练UltraDet模型第三预设轮数后，将学习率设置为第三学习率，所述第三学习率为第二学习率的十分之一。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种超声病灶区域检测方法，其特征在于，包括：
采集第一超声视频并将所述第一超声视频转换为多个第一超声图像，每个第一超声图像对应第一超声视频中一帧的超声图像；
对每个第一超声图像进行卷积，得到对应的特征矩阵；
利用“卷积长短时记忆”模块结合所有特征矩阵中的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵；
根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域；
根据所有混合特征矩阵得到每个第一病灶区域对应的第一病灶区域特征向量；
根据第一预设层数的帧内关联层将多个第一病灶区域和对应的第一病灶区域特征向量进行编码；
根据第二预设层数的帧内关联层和帧间关联层将编码后的多个第一病灶区域和对应的第一病灶区域特征向量进行解码，得到多个第二病灶区域和对应的第二病灶区域特征向量；
根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度；
将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。
2.根据权利要求1所述的超声病灶区域检测方法，其特征在于，所述第一超声图像，包括：
所述第一超声图像为由高、宽和RGB三原色组成的高维矩阵。
3.根据权利要求1所述的超声病灶区域检测方法，其特征在于，所述对每个第一超声图像进行卷积，得到对应的特征矩阵，包括：
根据对应不同维度的多个卷积核对每个第一超声图像进行卷积，将每个第一超声图像转换为对应的表征多个维度特征数据的特征矩阵。
4.根据权利要求1所述的超声病灶区域检测方法，其特征在于，所述采集第一超声视频之前，还包括：
采集多个带有病灶区域标记的第二超声视频并将每个第二超声视频转换为多个第二超声图像，每个第二超声图像对应第二超声视频中一帧的超声图像；
将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练，所述UltraDet模型分为骨架网络和检测头，所述骨架网络中包含Res34网络结构、“卷积长短时记忆”网络结构和Res5模块，所述检测头中包含候选区域提取器和关联模块；
将训练后的UltraDet模型用于检测第一超声视频。
5.根据权利要求4所述的超声病灶区域检测方法，其特征在于，所述每一轮都从所述多个第二超声视频选取第一预设数量的第二超声视频对UltraDet模型进行训练，包括：
从选取出的每个第二超声视频转换的多个第二超声图像中选取连续的第二预设数量的第二超声图像；
从选取出的第二预设数量的第二超声图像中选取随机的第三预设数量的第二超声图像，所述第三预设数量小于等于第二预设数量；
利用所述第二预设数量的第二超声图像和所述第三预设数量的第二超声图像对UltraDet模型进行训练。
6.根据权利要求4所述的超声病灶区域检测方法，其特征在于，所述将学习率设置为第一学习率并根据多个第二超声视频训练UltraDet模型第一预设轮数，包括：
在根据多个第二超声视频训练UltraDet模型第二预设轮数后，将学习率设置为第二学习率，所述第二学习率为第一学习率的十分之一；
在根据多个第二超声视频训练UltraDet模型第三预设轮数后，将学习率设置为第三学习率，所述第三学习率为第二学习率的十分之一。
7.一种超声病灶区域检测装置，其特征在于，包括：
采集模块，用于采集第一超声视频并将所述第一超声视频转换为多个第一超声图像，每个第一超声图像对应第一超声视频中一帧的超声图像；
计算模块，用于对每个第一超声图像进行卷积，得到对应的特征矩阵；
所述计算模块，还用于利用“卷积长短时记忆”模块结合所有特征矩阵中的特征数据对每个特征矩阵进行计算得到对应的混合特征矩阵；
所述计算模块，还用于根据每个特征矩阵确定对应每个第一超声图像的多个第一病灶区域；
所述计算模块，还用于根据所有混合特征矩阵得到每个第一病灶区域对应的第一病灶区域特征向量；
所述计算模块，还用于根据第一预设层数的帧内关联层将多个第一病灶区域和对应的第一病灶区域特征向量进行编码，根据第二预设层数的帧间关联层和帧内关联层将编码后的多个第一病灶区域和对应的第一病灶区域特征向量进行解码得到多个第二病灶区域和对应的第二病灶区域特征向量；
所述计算模块，还用于根据每个第二病灶区域特征向量对对应的第二病灶区域进行分类，得到每个第二病灶区域置信度；
判断模块，用于将对应的第二病灶区域置信度大于等于预设置信度的第二病灶区域确定为第三病灶区域。
8.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一项所述的方法。
CN202111028240.9A 2021-09-02 2021-09-02 超声病灶区域检测方法、装置、电子设备及存储介质 Active CN114091507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111028240.9A CN114091507B (zh) 2021-09-02 2021-09-02 超声病灶区域检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111028240.9A CN114091507B (zh) 2021-09-02 2021-09-02 超声病灶区域检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114091507A CN114091507A (zh) 2022-02-25
CN114091507B true CN114091507B (zh) 2022-07-29

Family

ID=80296290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111028240.9A Active CN114091507B (zh) 2021-09-02 2021-09-02 超声病灶区域检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114091507B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998607B (zh) * 2022-05-11 2023-01-31 北京医准智能科技有限公司 超声图像的特征提取方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN106991445A (zh) * 2017-04-05 2017-07-28 重庆大学 一种基于深度学习的超声造影肿瘤自动识别与检测方法
US11694769B2 (en) * 2017-07-17 2023-07-04 Bioinformatics Solutions Inc. Systems and methods for de novo peptide sequencing from data-independent acquisition using deep learning
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN110084297B (zh) * 2019-04-23 2023-09-15 东华大学 一种面向小样本的影像语义对齐系统
CN110084252B (zh) * 2019-04-29 2023-09-29 上海科锐克医药科技有限公司 基于深度学习的糖尿病视网膜病变图像标注方法
CN110348543B (zh) * 2019-06-10 2023-01-06 腾讯医疗健康(深圳)有限公司 眼底图像识别方法、装置、计算机设备及存储介质
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技（深圳）有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
CN110490863B (zh) * 2019-08-22 2022-02-08 北京红云智胜科技有限公司 基于深度学习的检测冠脉造影有无完全闭塞病变的系统
CN111214255B (zh) * 2020-01-12 2023-07-25 刘涛 一种医学超声图像计算机辅助方法
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及系统
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
CN112085742B (zh) * 2020-09-04 2024-04-16 厦门大学 一种基于上下文注意力的nafld超声视频诊断方法
CN113781439B (zh) * 2020-11-25 2022-07-29 北京医准智能科技有限公司 超声视频病灶分割方法及装置
CN112614561A (zh) * 2020-12-24 2021-04-06 北京工业大学 一种基于层级自注意力序列编码的脑ct医学报告生成方法
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN112597982B (zh) * 2021-03-04 2021-05-28 中国人民解放军总医院 基于人工智能的图像分类方法、装置、设备和介质
CN113239951B (zh) * 2021-03-26 2024-01-30 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质

Also Published As

Publication number Publication date
CN114091507A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN111126242B (zh) 肺部图像的语义分割方法、装置、设备及存储介质
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
WO2023015743A1 (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN109934300B (zh) 模型压缩方法、装置、计算机设备及存储介质
Liu et al. Variational autoencoder for reference based image super-resolution
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN118043858A (zh) 基于卷积神经网络的图像处理方法和系统
CN112365523A (zh) 基于无锚点孪生网络关键点检测的目标跟踪方法及装置
CN114091507B (zh) 超声病灶区域检测方法、装置、电子设备及存储介质
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN110503002B (zh) 一种人脸检测方法和存储介质
CN116580278A (zh) 一种基于多注意力机制的唇语识别方法、设备及存储介质
Li et al. Variable-rate deep image compression with vision transformers
CN112149662A (zh) 一种基于扩张卷积块的多模态融合显著性检测方法
CN116152266A (zh) 一种穿刺针超声图像的分割方法、装置和系统
CN114694074A (zh) 一种使用图像生成视频的方法、装置以及存储介质
CN111681236B (zh) 一种带注意力机制的目标密度估计方法
CN117392578A (zh) 基于两阶段时空注意力的动作检测方法及系统
CN112818840A (zh) 无人机在线检测系统和方法
CN115359046B (zh) 一种脏器血管分割方法、装置、存储介质及电子设备
CN116311536A (zh) 一种视频动作评分方法、计算机可读存储介质及系统
CN116095321A (zh) 显著性区域图像编解码方法、系统、设备及存储介质
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
KR102580281B1 (ko) 관련 대상 검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.