CN111127391A - 一种基于甲状腺超声视频流动态识别结节良恶性的方法 - Google Patents

一种基于甲状腺超声视频流动态识别结节良恶性的方法 Download PDF

Info

Publication number
CN111127391A
CN111127391A CN201911009535.4A CN201911009535A CN111127391A CN 111127391 A CN111127391 A CN 111127391A CN 201911009535 A CN201911009535 A CN 201911009535A CN 111127391 A CN111127391 A CN 111127391A
Authority
CN
China
Prior art keywords
layer
size
output
initial module
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911009535.4A
Other languages
English (en)
Other versions
CN111127391B (zh
Inventor
李胜利
李肯立
罗洪霞
文华轩
黄诗华
谭光华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lanxiang Zhiying Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911009535.4A priority Critical patent/CN111127391B/zh
Publication of CN111127391A publication Critical patent/CN111127391A/zh
Application granted granted Critical
Publication of CN111127391B publication Critical patent/CN111127391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种基于甲状腺超声视频流动态识别结节良恶性的方法，包括：获取横向扫描切面视频和纵向扫描切面视频，并将该横向扫描切面视频和纵向扫描切面视频发送到超声医师进行标注，对超声医师标注后的横向扫描切面视频和纵向扫描切面视频进行预处理，以分别得到预处理后的横向扫描切面视频和纵向扫描切面视频，将横向扫描切面视频和纵向扫描切面视频分别输入到两个Retina定位网络中，以分别得到横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息，对横向扫描切面视频和纵向扫描切面视频进行去噪处理。本发明能够克服现有甲状腺结节良恶性识别方法存在极大误判可能性，从而容易出现误诊和漏诊、并耽误患者正确治疗的技术问题。

Description

一种基于甲状腺超声视频流动态识别结节良恶性的方法
技术领域
本发明属于医疗信息技术领域，更具体地，涉及一种基于甲状腺超声视频流动态识别结节良恶性的方法。
背景技术
近年来，甲状腺疾病发病率呈现快速上升的趋势，我国甲状腺癌以每年20％的速度持续增长。为了预防甲状腺结节疾病的发生，最常用的检查方法是影像学检查，其可以帮助临床医生确定甲状腺结节的良恶性。
但上述基于影像学的检查方法存在着一些不足：第一，该检查结果伴随不同地区、不同医院检查仪器、及不同检查图像质量存在差异，且诊断主要依靠超声医师的经验知识，诊断结果具有一定的主观性；第二，随着患者数量急剧增加，导致超声医师劳动强度增加，这会从一定程度影响诊断结果的准确性。
为了克服现有影像学检查方法所存在的不足，研究者开发出基于多种基于人工智能的甲状腺结节良恶性识别方法，主要包括：
(1)叶晨等人提出的“基于CNN迁移学习的甲状腺结节检测方法”，该方法用两个不同的卷积神经网络(Convolutional neutral network，简称CNN网络)对单一甲状腺结节图像进行检测，考虑到不同结构的CNN网络具有能提取不同层次特征的特点，因此该基于融合浅层和深层网络的方法能够提取多个级别的特征；
(2)迟剑宁等人提出的“融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断”的方法，其是基于预处理的甲状腺结节超声图像对训练好的GooLeNet模型进行微调(Fine-tune)，并将GoogLeNet模型提取出的结节图像特征输入成本敏感(Cost-sensitive)随机森林模型中，从而对甲状腺结节图像进行良性和恶性分类；
(3)Tianjiao Liu等人提出的“超声图像中使用基于深度模型的迁移学习和金字塔特征的甲状腺结节分类”(Classification of thyroid nodules in ultrasoundimages using deep model based transfer learning and hybrid features)的方法，其将大量其他类别图像训练的CNN网络迁移到超声图像上，在小样本条件下生成语义深度特征，并将语义深度特征与方向梯度直方图(Histogram of Oriented Gradient，简称HOG)、尺度不变特征变换(Scale Invariant Feature Transform，简称SITF)、局部二值模式(Local Binary Patterns，简称LBP)等特征结合，采用多数投票和特征选择方法实现分类。
然而，上述基于人工智能的甲状腺结节良恶性识别方法仍然存在不可忽略的缺陷，其均只是对甲状腺结节图像序列提取的单个图像进行分析，存在极大的误判可能性，如果通过提取的单个图像预测该甲状腺结节是良性的，而实际是恶性的，就会出现误诊和漏诊，并耽误患者的正确治疗。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于甲状腺超声视频流动态识别结节良恶性的方法，其目的在于：结合深度学习的图像处理技术，动态、多切面并结合前后多帧信息进行结节的定位和识别，不遗漏任何有可能影响最终结果的因素，从而克服现有基于人工智能的甲状腺结节良恶性识别方法中由于只是对甲状腺结节图像序列提取的单个图像进行分析导致存在极大误判可能性，从而容易出现误诊和漏诊、并耽误患者正确治疗的技术问题，本发明的特点在于，使用了视频流作为输入，结合前后多帧信息定位结节，并以多个切面作为判断依据，实现实时、动态识别甲状腺结节良恶性。
为实现上述目的，按照本发明的一个方面，提供了一种基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，包括以下步骤：
一种基于甲状腺超声视频流动态识别结节良恶性的方法，包括以下步骤：
(1)获取甲状腺结节超声视频流，该甲状腺结节超声视频流包括横向扫描切面视频和纵向扫描切面视频，并将该横向扫描切面视频和纵向扫描切面视频发送到超声医师进行标注；其中获取的甲状腺结节超声视频流中的每一帧图像都是RGB三通道图像；
(2)对超声医师标注后的横向扫描切面视频和纵向扫描切面视频进行预处理，以分别得到预处理后的横向扫描切面视频和纵向扫描切面视频；
(3)将步骤(2)预处理后的横向扫描切面视频和纵向扫描切面视频分别输入到两个结构相同、且训练好的Retina定位网络中，以分别得到横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息：
(4)对横向扫描切面视频和纵向扫描切面视频进行去噪处理，并根据步骤(3)得到的横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息删除去噪处理后的横向扫描切面视频和纵向扫描切面视频中所有不包含结节的图像，从而得到更新后的横向扫描切面视频和纵向扫描切面视频；
(5)将步骤(4)更新后的横向扫描切面视频流和纵向扫描切面视频流分别输入到两个结构相同、且训练好的I3D网络中，以分别得到横向扫描切面视频和纵向扫描切面视频对应的分类结果。
(6)将步骤(5)得到的横向扫描切面视频和纵向扫描切面视频对应的分类结果进行加权融合计算，以得到每一个结节的位置和分类信息
优选地，步骤(2)包括以下子步骤：
(2-1)将超声医师标注后的横向扫描切面视频中的每一帧RGB三通道图像转化为一通道灰度图像，并对每一帧一通道灰度图像进行裁剪，裁剪后的所有一通道灰度图像构成初始处理后的横向扫描切面视频，对纵向扫描切面视频执行与横向扫描切面视频相同的处理，以得到初始处理后的纵向扫描切面视频；
(2-2)设置计数器i＝1；
(2-3)判断i是否大于n-1，如果是则进入步骤(2-6)，否则转入步骤(2-4)，其中n表示初始处理后的横向扫描切面视频的长度；
(2-4)将初始处理后的横向扫描切面视频中第i+1帧、该帧的前一帧、以及该帧的后一帧组合成一张横向三通道图像；
(2-5)设置计数器i＝i+1，并返回步骤(2-3)；
(2-6)将所有横向三通道图像组成预处理后的横向扫描切面视频，并设置计数器j＝1；
(2-7)判断j是否大于m-1，如果是则过程结束，否则转入步骤(2-8)，其中m表示初始处理后的纵向扫描切面视频的长度；
(2-8)将初始处理后的纵向扫描切面视频中第j+1帧、该帧的前一帧、以及该帧的后一帧组合成一张纵向三通道图像；
(2-9)设置计数器j＝j+1，并返回步骤(2-7)；
(2-10)将所有纵向三通道图像组成预处理后的纵向扫描切面视频。
优选地，Retina定位网络是通过以下训练步骤得到的：
(3-1)利用COCO、ImageNet DET、ImageNet 2015-VID和Pascal VOC对Retina定位网络进行预训练；
(3-2)利用已经标记好的甲状腺结节视频流对预训练后的Retina定位网络的参数做微调训练；
优选地，Retina定位网络包括顺次连接的骨干网ResNet-50、特征金字塔网络、以及定位子网；
对于骨干网ResNet-50而言，其网络结构如下：
第一层是输入层，其输入为步骤(2)预处理后的横向扫描切面视频和纵向扫描切面视频，输入时按每一帧读取图像；；
第二层是特征提取层，其采用的是公开的特征提取网络ResNet-50，并取特征提取网络Resnet-50中的conv3_x层、conv4_x层和conv5_x层这三层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是58*75*512、29*38*1024和15*19*2048。
优选地，对于特征金字塔网络而言，其对骨干网ResNet-50输入的特征C3、C4、C5进行特征融合，并输出融合后的5个尺度的特征P3、P4、P5、P6、P7；
特征金字塔网络的网络结构如下：
第一层是在C5层上的卷积层，卷积核大小为1*1*256，步长为1，填充模式为SAME，其输出矩阵大小为15*19*256；
第二层是卷积层，卷积核大小为3*3*256，步长为1，填充模式为SAME，其输出矩阵P5大小为15*19*256；
第三层是在C4层上的卷积层，卷积核大小为1*1*256，步长为1，填充模式为SAME，其输出矩阵P4_大小为29*38*256；
第四层是上采样层，其将输出矩阵P5上采样为输出矩阵P5_upsample，其大小为29*38*1024；
第五层是增加层，其将输出矩阵P5_upsample和输出矩阵P4_相加，输出矩阵大小为29*38*2048；
第六层是卷积层，其卷积核大小为3*3*512，步长为1，填充模式为SAME，其输出矩阵P4大小为29*38*512；
第七层是C3上的卷积层，其卷积核大小为1*1*512，步长为1，填充模式为SAME，其输出矩阵P3_大小为58*75*512；
第八层是上采样层，将P4上样到大小58*75，其输出矩阵P4_upsampled大小为58*75*1024；
第九层是Add层，其将P4_upsample和P3_相加，输出矩阵大小为58*75*1024；
第十层是卷积层，其卷积核大小为3*3*512，步长为1，填充模式为SAME，输出矩阵P3大小为58*75*512；
第十一层是C5上的卷积层，其卷积核大小为3*3*256，步长为2，填充模式为SAME，其输出矩阵P6大小为15*19*256；
第十二层是卷积层，其卷积核大小为3*3*256，步长为2，填充模式为SAME，其输出矩阵P7大小为15*19*256。
优选地，定位子网一共有5层，其输入均为上述特征金字塔网络的输出矩阵P3、P4、P5、P6、P7；
定位子网的前4层网络结构也完全一样，具体结构为：第一层到第四层是顺序连接、完全相同的卷积层，卷积核尺寸为3*3*512，步长为1，各层均使用SAME模式填充，各层的输出矩阵大小相同，均为58*75*512、29*38*512、15*19*512、15*19*512、15*19*512；
第五层是卷积层，该卷积核尺寸为3*3*36，步长为1，该层使用SAME模式填充，输出矩阵大小分别为58*75*36、29*38*36、15*19*36、15*19*36、15*19*36。
优选地，步骤(5)中的I3D网络是通过以下步骤训练得到的：
(5-1)利用基于ActivityNet的视频集对I3D网络进行预训练；
(5-2)使用甲状腺结节超声视频流对预训练后的三维神经网络模型进行训练，以得到训练好的I3D网络，其中训练过程中采用了以下损失函数：
L(pt)＝-αt(1-pt)γlog(pt).
其中，pt表示I3D网络对输入视频的预测输出，αt表示权重因子，且有αt∈[0,1]，γ是专注参数，表示降低简单样本权重的速率，且有γ≥0。
优选地，I3D网络的网络结构如下：
第一层是输入层，输入的大小为64*460*600*3；
第二层是卷积层，其卷积核大小为64*7*7*7，步长为2*2*2，填充模式为SAME，卷积后加上BN层、RELU激活层、以及最大池化3D层，其输出矩阵大小为32*115*150*64；
第三层是卷积层，其卷积核大小为64*1*1*1，步长为1*1*1，填充模式为SAME，卷积后加上BN层、以及RELU激活层，其输出矩阵大小为32*115*150*64；
第四层是卷积层，其卷积核大小为192*3*3*3，步长为1*1*1，填充模式为SAME，卷积后加上BN层、RELU激活层、以及最大池化3D层，其输出矩阵大小为32*58*75*192；
第五层是第一初始模块，其包括四个分支，第一分支输出的矩阵大小为32*58*75*64，第二分支输出的矩阵大小为32*58*75*128，第三分支输出的矩阵大小为32*58*75*32，第四分支输出的矩阵大小为32*58*75*32；
第六层是相加层，把第五层的四个分支的结果进行相加，输出的矩阵大小为32*58*75*256；
第七层是第二初始模块，其包括四个分支，第一分支输出的矩阵大小为32*58*75*128，第二分支输出的矩阵大小为32*58*75*192，第三分支输出的矩阵大小为32*58*75*96，第四分支输出的矩阵大小为32*58*75*64；
第八层是相加层，把第七层的四个分支的结果进行相加，输出的矩阵大小为32*58*75*480；
第九层是最大池化3D层，输出的矩阵大小为16*29*38*480；
第十层是第三初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*192，第二分支输出的矩阵大小为16*29*38*208，第三分支输出的矩阵大小为16*29*38*48，第四分支输出的矩阵大小为16*29*38*64。
第十一层是相加层，把第十层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十二层是第四初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*160，第二分支输出的矩阵大小为16*29*38*224，第三分支输出的矩阵大小为16*29*38*64，第四分支输出的矩阵大小为16*29*38*64。
第十三层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十四层是第五初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*128，第二分支输出的矩阵大小为16*29*38*256，第三分支输出的矩阵大小为16*29*38*64，第四分支输出的矩阵大小为16*29*38*64。
第十五层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十六层是第六初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*112，第二分支输出的矩阵大小为16*29*38*288，第三分支输出的矩阵大小为16*29*38*64，第四分支输出的矩阵大小为16*29*38*64。
第十七层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*528；
第十八层是第七初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*256，第二分支输出的矩阵大小为16*29*38*320，第三分支输出的矩阵大小为16*29*38*128，第四分支输出的矩阵大小为16*29*38*128。
第十九层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*832；
第二十层是最大池化3D层，输出的矩阵大小为8*15*19*832；
第二十一层是第八初始模块，其包括四个分支，第一分支输出的矩阵大小为8*15*19*256，第二分支输出的矩阵大小为8*15*19*320，第三分支输出的矩阵大小为8*15*19*128，第四分支输出的矩阵大小为8*15*19*128。
第二十二层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为8*15*19*832；
第二十三层是第九初始模块，其包括四个分支，第一分支输出的矩阵大小为8*15*19*384，第二分支输出的矩阵大小为8*15*19*384，第三分支输出的矩阵大小为8*15*19*128，第四分支输出的矩阵大小为8*15*19*128。
第二十四层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为8*15*19*1024；
第二十五层是平均池化层，输出的矩阵大小为7*1*1*1024；
第二十六层是3D卷积层，输出的矩阵大小为7*1*1*6；
第二十七层是重构层，输出的矩阵大小为7*6；
第二十八层是Lambda层，输出长度为6的特征向量。
优选地，第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第一分支均具有相同的结构；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第二分支均具有相同的结构；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第三分支均具有相同的结构；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第四分支均具有相同的结构。
优选地，第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第一分支均包括顺序连接的3D卷积层、BN层、以及RELU激活层；其中3D卷积层的卷积核大小为1*1*1；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第二分支均包括顺次连接的3D卷积层、BN层、RELU激活层、3D卷积层、BN层、以及RELU激活层，其中第1层3D卷积层的卷积核大小为1*1*1，第2层3D卷积层的卷积核大小为3*3*3；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第三分支均包括顺次连接的3D卷积层、BN层、RELU激活层、3D卷积层、BN层、以及RELU激活层；其中第1层3D卷积层的卷积核大小为1*1*1，第2层3D卷积层的卷积核大小为3*3*3；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第四分支均包括顺次连接的最大池化3D层、3D卷积层、BN层、以及RELU激活层；其中最大池化3D层的采用的滤波器大小为3*3*3，3D卷积层的卷积核大小为1*1*1。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、由于本发明采用了步骤(2)，其是根据结节图像的前后多帧信息处理结节定位，因此能够解决现有人工智能的甲状腺结节良恶性识别方法由于仅仅提取单幅图像进行检测，所导致的存在极大误诊可能性的问题，本发明对结节的分类判断具有更高的准确性。
2、由于本发明采用了步骤(3)，其可实现自动定位不同的甲状腺结节位置，十分有利于对图像的多个甲状腺结节的识别与定位，帮助经验不足的医师清楚观察到甲状腺的结节位置，有利于高质量超声技术的普及。
3、由于本发明采用了步骤(4)，其通过上下文信息对甲状腺图像序列处理，去除噪声及剔除了因采集视频不当混入的没有结节的图像，减少了步骤(5)中的I3D分类网络花费的时间，提高了效率。
4、由于本发明采用了步骤(5)和(6)，其可以动态、实时的处理甲状腺结节超声视频流，且分类是根据甲状腺结节的多个切面进行分析的，同样也避免了仅仅依靠单幅图像进行检测而导致的误判问题，本发明提高了对结节的分类判断的准确性。
5、本发明将深度学习技术应用于自动识别甲状腺结节良恶性的工作，实现了以统一标准识别结节的工作，这在很大程度上减少医生的工作量，降低了对医生个人经验的要求。
6、本发明属于辅助自动化工具，能简化超声医师的工作量，简化原有的工作流程，可广泛应用于各个医院的甲状腺结节超声检查，因此特别有利于具有专家水准的超声检测技术在超声医师水平相对较低的县乡医院、以及超声医师缺乏的偏远地区的普及应用。
附图说明
图1是本发明基于甲状腺超声视频流动态识别结节良恶性的方法的总体流程图；
图2是本发明方法的步骤(3)中使用的Retina定位网络的网络结构示意图；
图3是本发明方法的步骤(5)中使用的I3D网络的网络结构示意图；
图4是本发明的I3D网络中初始模块的结构示意图；
图5是本发明方法的整体网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基本思路在于，提供一种基于甲状腺超声视频流动态识别结节良恶性的方法，该方法是基于Retina定位网络和视频流的3D卷积神经网络实现的，以实现辅助经验不足的超声医师对甲状腺结节的正确判断，在不依赖医师的个人经验判断的同时，也为后续的诊断、远程会诊、超声医师培训与智能分析和诊断提供最有效最精简的材料，节省了大量的成本和资源。
本发明的基本思路在于，提供一种基于甲状腺超声视频流动态识别结节良恶性的方法，该方法基于Retina定位网络和3D卷积神经网络实现的。具体是将数据按照横、纵切面数据经过预处理后，分别输入到两个网络结构相同的Retina定位网络，之后经过上下文处理，再送入两个网络结构相同的膨胀卷积网络(Inflated 3D ConvNet，简称I3D网络)进行分类，将处理横、纵切面数据的两个网络的结果融合计算，得到最终的每一个结节的位置和类别。相比于单张图片而言，本方法对结节的多个切面进行分析，可以更精准地得到甲状腺结节的整体特征，且能全面地识别出甲状腺结节的良恶性，不需大程度依赖医师的个人经验，某种程度上为甲状腺结节的分类提供一个统一的标准。本发明旨在利用深度学习自动地从甲状腺结节视频流中识别出结节的良恶性，为后续的诊断提供最直接有效的参考依据。
如图1所示，本发明提供了一种基于甲状腺超声视频流动态识别结节良恶性的方法，包括以下步骤：
(1)获取甲状腺结节超声视频流，该甲状腺结节超声视频流包括横向扫描切面视频和纵向扫描切面视频，并将该横向扫描切面视频和纵向扫描切面视频发送到超声医师进行标注。
需要注意的是，获取的甲状腺结节超声视频流中的每一帧图像都是RGB三通道图像；同时，在实际的医学扫描中，会根据病人情况进行斜切面扫描，因此会产生斜切面扫描视频。本方法中，斜切面扫描切面视频的处理方式和纵向扫描切面视频一样，也就是说，本发明中提及的“纵向扫描切面视频”包括“纵向扫描切面视频”及“斜切面扫描切面视频”两部分。
具体而言，甲状腺结节超声视频流是从市场上主流厂商(包括迈瑞、联影、西门子等)制造的三维超声设备获取的。
在本发明中，横向扫描切面视频和纵向扫描切面视频分别是对同一个病人的同一个部位、按照水平、垂直以及介于水平和垂直方向之间的倾斜扫描方向进行扫描得到的。
(2)对超声医师标注后的横向扫描切面视频和纵向扫描切面视频进行预处理，以分别得到预处理后的横向扫描切面视频和纵向扫描切面视频；
具体而言，本步骤包括以下子步骤：
(2-1)将超声医师标注后的横向扫描切面视频中的每一帧RGB三通道图像转化为一通道灰度图像，并对每一帧一通道灰度图像进行裁剪，裁剪后的所有一通道灰度图像构成初始处理后的横向扫描切面视频，对纵向扫描切面视频执行与横向扫描切面视频相同的处理，以得到初始处理后的纵向扫描切面视频；
具体而言，裁剪后的一通道灰度图像大小为460*600*1；
(2-2)设置计数器i＝1；
(2-3)判断i是否大于n-1，如果是则进入步骤(2-6)，否则转入步骤(2-4)，其中n表示初始处理后的横向扫描切面视频的长度；
(2-4)将初始处理后的横向扫描切面视频中第i+1帧、该帧的前一帧、以及该帧的后一帧组合成一张横向三通道图像；
(2-5)设置计数器i＝i+1，并返回步骤(2-3)；
(2-6)将所有横向三通道图像组成预处理后的横向扫描切面视频，并设置计数器j＝1；
(2-7)判断j是否大于m-1，如果是则过程结束，否则转入步骤(2-8)，其中m表示初始处理后的纵向扫描切面视频的长度；
(2-8)将初始处理后的纵向扫描切面视频中第j+1帧、该帧的前一帧、以及该帧的后一帧组合成一张纵向三通道图像；
(2-9)设置计数器j＝j+1，并返回步骤(2-7)；
(2-10)将所有纵向三通道图像组成预处理后的纵向扫描切面视频。
经过上述处理，预处理后的横向扫描切面视频和纵向扫描切面视频中的每一帧图像的大小为460*600*3。
(3)将步骤(2)预处理后的横向扫描切面视频和纵向扫描切面视频分别输入到两个结构相同、且训练好的Retina定位网络中，以分别得到横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息：
具体而言，若一帧图像中有结节，则结节相关信息是结节在该帧图像中的位置；若一帧图像中没有结节，则结节相关信息是该帧图像不包括结节；
具体而言，步骤(3)的Retina定位网络是通过以下训练步骤得到的：
(3-1)利用COCO、ImageNet DET、ImageNet 2015-VID和Pascal VOC对Retina定位网络进行预训练；
(3-2)利用已经标记好的甲状腺结节视频流对预训练后的Retina定位网络的参数做微调训练；
如图2所示，本发明中使用的Retina定位网络包括顺次连接的骨干网ResNet-50、特征金字塔网络(Feature pyramid net，简称FPN)、以及定位子网；
对于骨干网ResNet-50而言，其网络结构如下：
第一层是输入层，其输入为步骤(2)预处理后的横向扫描切面视频和纵向扫描切面视频，输入时按每一帧读取图像；
第二层是特征提取层，其采用的是公开的特征提取网络ResNet-50，并取特征提取网络Resnet-50中的conv3_x层、conv4_x层和conv5_x层这三层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是58*75*512、29*38*1024和15*19*2048。
对于特征金字塔网络而言，其对骨干网ResNet-50输入的特征C3、C4、C5进行特征融合，并输出融合后的5个尺度的特征P3、P4、P5、P6、P7，该特征金字塔网络又可细分为具体的12层，其网络结构如下：
第一层是在C5层上的卷积层，卷积核大小为1*1*256，步长为1，填充模式为SAME，其输出矩阵大小为15*19*256；
第二层是卷积层，卷积核大小为3*3*256，步长为1，填充模式为SAME，其输出矩阵P5大小为15*19*256；
第三层是在C4层上的卷积层，卷积核大小为1*1*256，步长为1，填充模式为SAME，其输出矩阵P4_大小为29*38*256；
第四层是上采样层，其将输出矩阵P5上采样为输出矩阵P5_upsample，其大小为29*38*1024；
第五层是增加层，其将输出矩阵P5_upsample和输出矩阵P4_相加，输出矩阵大小为29*38*2048；
第六层是卷积层，其卷积核大小为3*3*512，步长为1，填充模式为SAME，其输出矩阵P4大小为29*38*512；
第七层是C3上的卷积层，其卷积核大小为1*1*512，步长为1，填充模式为SAME，其输出矩阵P3_大小为58*75*512；
第八层是上采样层，将P4上样到大小58*75，其输出矩阵P4_upsampled大小为58*75*1024；
第九层是Add层，其将P4_upsample和P3_相加，输出矩阵大小为58*75*1024；
第十层是卷积层，其卷积核大小为3*3*512，步长为1，填充模式为SAME，输出矩阵P3大小为58*75*512；
第十一层是C5上的卷积层，其卷积核大小为3*3*256，步长为2，填充模式为SAME，其输出矩阵P6大小为15*19*256；
第十二层是卷积层，其卷积核大小为3*3*256，步长为2，填充模式为SAME，其输出矩阵P7大小为15*19*256。
对于定位子网而言，一共有5层，其输入均为上述特征金字塔网络的输出矩阵P3、P4、P5、P6、P7，定位子网的前4层网络结构也完全一样，具体结构如下：
第一层到第四层是顺序连接、完全相同的卷积层，卷积核尺寸为3*3*512，步长为1，各层均使用SAME模式填充，各层的输出矩阵大小相同，均为58*75*512、29*38*512、15*19*512、15*19*512、15*19*512；
第五层是卷积层，该卷积核尺寸为3*3*36，步长为1，该层使用SAME模式填充，输出矩阵大小分别为58*75*36、29*38*36、15*19*36、15*19*36、15*19*36。
(4)对横向扫描切面视频和纵向扫描切面视频进行去噪处理，并根据步骤(3)得到的横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息删除去噪处理后的横向扫描切面视频和纵向扫描切面视频中所有不包含结节的图像，从而得到更新后的横向扫描切面视频和纵向扫描切面视频；
本步骤就能够得到含有完整结节的横向扫描切面视频和纵向扫描切面视频，以及每个结节在横向扫描切面视频和纵向扫描切面视频中对应图像上的位置；
(5)将步骤(4)更新后的横向扫描切面视频流和纵向扫描切面视频流分别输入到两个结构相同、且训练好的膨胀卷积网络(Inflated 3D ConvNet，简称I3D网络)中，以分别得到横向扫描切面视频和纵向扫描切面视频对应的分类结果。
具体而言，步骤(5)的I3D网络是通过以下步骤训练得到的：
(5-1)利用基于ActivityNet的视频集对I3D网络进行预训练；
预训练完成之后，I3D网络便具有了强大的三维分类的能力。
(5-2)使用已经标记好的甲状腺结节超声视频流对预训练后的三维神经网络模型进行训练，以得到训练好的I3D网络。
本步骤(5-2)的训练过程中采用了以下损失函数：
L(pt)＝-αt(1-pt)γlog(pt).
其中，pt表示I3D网络对输入视频的预测输出，αt表示权重因子，且有αt∈[0,1]，γ是专注参数，表示降低简单样本权重的速率，且有γ≥0。
在I3D网络(如图3所示)经过训练后，可以对输入的甲状腺结节超声视频流进行识别分类。
具体而言，I3D网络是多个初始模块堆叠而成的，如图4所示，初始模块的输入包括四个分支：
分支1：包括1层卷积层，其使用的卷积核大小为1*1*1；
分支2：包括2层卷积层，第1层卷积层卷积核大小为1*1*1，第2层卷积层大小为3*3*3；
分支3：包括2层卷积层，第1层卷积层卷积核大小为1*1*1，第2层卷积层大小为3*3*3；
分支4：包括1层最大池化层和1层卷积层，最大池化层采用的滤波器大小为3*3*3，卷积层卷积核大小为1*1*1；
对于三维神经网络模型I3D而言，如图3所示，其网络结构如下：
第一层是输入层，输入的大小为64*460*600*3；
第二层是卷积层，其卷积核大小为64*7*7*7，步长为2*2*2，填充模式为SAME，卷积后加上批标准化层(Batch norm，简称BN层)、RELU激活层、以及Maxpooling(最大池化)3D层，其输出矩阵大小为32*115*150*64；
第三层是卷积层，其卷积核大小为64*1*1*1，步长为1*1*1，填充模式为SAME，卷积后加上BN层、以及RELU激活层，其输出矩阵大小为32*115*150*64；
第四层是卷积层，其卷积核大小为192*3*3*3，步长为1*1*1，填充模式为SAME，卷积后加上BN层、RELU激活层、以及最大池化3D层，其输出矩阵大小为32*58*75*192；
第五层是一个初始模块，分为4个不同的分支：
(1)分支1包括(按层的顺序先后，下同)：3D卷积层、BN层、以及RELU激活层；其中3D卷积层的卷积核大小为1*1*1；该分支输出的矩阵大小为32*58*75*64；
(2)分支2包括：3D卷积层、BN层、RELU激活层、3D卷积层、BN层、以及RELU激活层；其中第1层3D卷积层的卷积核大小为1*1*1，第2层3D卷积层的卷积核大小为3*3*3；该分支输出的矩阵大小为32*58*75*128；
(3)分支3包括：3D卷积层、BN层、RELU激活层、3D卷积层、BN层、以及RELU激活层；其中第1层3D卷积层的卷积核大小为1*1*1，第2层3D卷积层的卷积核大小为3*3*3；该分支输出的矩阵大小为32*58*75*32；
(4)分支4包括：最大池化3D层、3D卷积层、BN层、以及RELU激活层；其中最大池化3D层的采用的滤波器大小为3*3*3，3D卷积层的卷积核大小为1*1*1，输出的矩阵大小为32*58*75*32；
第六层是相加(Concatenate)层，把第五层的四个分支的结果进行相加，输出的矩阵大小为32*58*75*256；
第七层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：32*58*75*128、32*58*75*192、32*58*75*96、32*58*75*64；
第八层是相加层，把第七层的四个分支的结果进行相加，输出的矩阵大小为32*58*75*480；
第九层是Maxpooling3D层，输出的矩阵大小为16*29*38*480；
第十层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：16*29*38*192、16*29*38*208、16*29*38*48、16*29*38*64；
第十一层是相加层，把第十层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十二层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：16*29*38*160、16*29*38*224、16*29*38*64、16*29*38*64；
第十三层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十四层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：16*29*38*128、16*29*38*256、16*29*38*64、16*29*38*64；
第十五层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十六层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：16*29*38*112、16*29*38*288、16*29*38*64、16*29*38*64；
第十七层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*528；
第十八层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：16*29*38*256、16*29*38*320、16*29*38*128、16*29*38*128；
第十九层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*832；
第二十层是Maxpooling3D层，输出的矩阵大小为8*15*19*832；
第二十一层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：8*15*19*256、8*15*19*320、8*15*19*128、8*15*19*128；
第二十二层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为8*15*19*832；
第二十三层是一个初始模块，分为4个不同的分支，结构如第五层一样，分支一二三四的输出矩阵大小分别为：8*15*19*384、8*15*19*384、8*15*19*128、8*15*19*128；
第二十四层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为8*15*19*1024；
第二十五层是平均池化层，输出的矩阵大小为7*1*1*1024；
第二十六层是卷积层，其卷积核大小为1*1*1，填充模式为SAME，输出的矩阵大小为7*1*1*6；
第二十七层是重构(Reshape)层，输出的矩阵大小为7*6；
第二十八层是Lambda层，输出长度为6的特征向量。
(6)将步骤(5)得到的横向扫描切面视频和纵向扫描切面视频对应的分类结果进行加权融合计算，以得到每一个结节的位置和分类信息；
具体地，本方法的总体结构网络如图5所示，本步骤输出的是每一个结节的位置以及良恶性的类别，基于此信息便能得到每一个结节的最终识别结果。
测试结果
将160个(80个横切面视频，及对应的80个纵切面视频)视频输入到本方法训练好的网络中，网络自动识别输入甲状腺的类别并给出定位结果。如下表1所示，可以看出与本发明“背景技术”中提到的三种本领域常用的甲状腺结节检测方法比较，本发明的准确率更高。
Figure BDA0002243780550000201
Figure BDA0002243780550000211
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，包括以下步骤：
(1)获取甲状腺结节超声视频流，该甲状腺结节超声视频流包括横向扫描切面视频和纵向扫描切面视频，并将该横向扫描切面视频和纵向扫描切面视频发送到超声医师进行标注；其中获取的甲状腺结节超声视频流中的每一帧图像都是RGB三通道图像；
(2)对超声医师标注后的横向扫描切面视频和纵向扫描切面视频进行预处理，以分别得到预处理后的横向扫描切面视频和纵向扫描切面视频；
(3)将步骤(2)预处理后的横向扫描切面视频和纵向扫描切面视频分别输入到两个结构相同、且训练好的Retina定位网络中，以分别得到横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息：
(4)对横向扫描切面视频和纵向扫描切面视频进行去噪处理，并根据步骤(3)得到的横向扫描切面视频和纵向扫描切面视频中每一帧图像的结节相关信息删除去噪处理后的横向扫描切面视频和纵向扫描切面视频中所有不包含结节的图像，从而得到更新后的横向扫描切面视频和纵向扫描切面视频；
(5)将步骤(4)更新后的横向扫描切面视频流和纵向扫描切面视频流分别输入到两个结构相同、且训练好的I3D网络中，以分别得到横向扫描切面视频和纵向扫描切面视频对应的分类结果。
(6)将步骤(5)得到的横向扫描切面视频和纵向扫描切面视频对应的分类结果进行加权融合计算，以得到每一个结节的位置和分类信息。
2.根据权利要求1所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，步骤(2)包括以下子步骤：
(2-1)将超声医师标注后的横向扫描切面视频中的每一帧RGB三通道图像转化为一通道灰度图像，并对每一帧一通道灰度图像进行裁剪，裁剪后的所有一通道灰度图像构成初始处理后的横向扫描切面视频，对纵向扫描切面视频执行与横向扫描切面视频相同的处理，以得到初始处理后的纵向扫描切面视频；
(2-2)设置计数器i＝1；
(2-3)判断i是否大于n-1，如果是则进入步骤(2-6)，否则转入步骤(2-4)，其中n表示初始处理后的横向扫描切面视频的长度；
(2-4)将初始处理后的横向扫描切面视频中第i+1帧、该帧的前一帧、以及该帧的后一帧组合成一张横向三通道图像；
(2-5)设置计数器i＝i+1，并返回步骤(2-3)；
(2-6)将所有横向三通道图像组成预处理后的横向扫描切面视频，并设置计数器j＝1；
(2-7)判断j是否大于m-1，如果是则过程结束，否则转入步骤(2-8)，其中m表示初始处理后的纵向扫描切面视频的长度；
(2-8)将初始处理后的纵向扫描切面视频中第j+1帧、该帧的前一帧、以及该帧的后一帧组合成一张纵向三通道图像；
(2-9)设置计数器j＝j+1，并返回步骤(2-7)；
(2-10)将所有纵向三通道图像组成预处理后的纵向扫描切面视频。
3.根据权利要求1所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，Retina定位网络是通过以下训练步骤得到的：
(3-1)利用COCO、ImageNet DET、ImageNet 2015-VID和Pascal VOC对Retina定位网络进行预训练；
(3-2)利用已经标记好的甲状腺结节视频流对预训练后的Retina定位网络的参数做微调训练。
4.根据权利要求1至3中任意一项所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，
Retina定位网络包括顺次连接的骨干网ResNet-50、特征金字塔网络、以及定位子网；
对于骨干网ResNet-50而言，其网络结构如下：
第一层是输入层，其输入为步骤(2)预处理后的横向扫描切面视频和纵向扫描切面视频，输入时按每一帧读取图像；
第二层是特征提取层，其采用的是公开的特征提取网络ResNet-50，并取特征提取网络Resnet-50中的conv3_x层、conv4_x层和conv5_x层这三层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是58*75*512、29*38*1024和15*19*2048。
5.根据权利要求4所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，
对于特征金字塔网络而言，其对骨干网ResNet-50输入的特征C3、C4、C5进行特征融合，并输出融合后的5个尺度的特征P3、P4、P5、P6、P7；
特征金字塔网络的网络结构如下：
第一层是在C5层上的卷积层，卷积核大小为1*1*256，步长为1，填充模式为SAME，其输出矩阵大小为15*19*256；
第二层是卷积层，卷积核大小为3*3*256，步长为1，填充模式为SAME，其输出矩阵P5大小为15*19*256；
第三层是在C4层上的卷积层，卷积核大小为1*1*256，步长为1，填充模式为SAME，其输出矩阵P4_大小为29*38*256；
第四层是上采样层，其将输出矩阵P5上采样为输出矩阵P5_upsample，其大小为29*38*1024；
第五层是增加层，其将输出矩阵P5_upsample和输出矩阵P4_相加，输出矩阵大小为29*38*2048；
第六层是卷积层，其卷积核大小为3*3*512，步长为1，填充模式为SAME，其输出矩阵P4大小为29*38*512；
第七层是C3上的卷积层，其卷积核大小为1*1*512，步长为1，填充模式为SAME，其输出矩阵P3_大小为58*75*512；
第八层是上采样层，将P4上样到大小58*75，其输出矩阵P4_upsampled大小为58*75*1024；
第九层是Add层，其将P4_upsample和P3_相加，输出矩阵大小为58*75*1024；
第十层是卷积层，其卷积核大小为3*3*512，步长为1，填充模式为SAME，输出矩阵P3大小为58*75*512；
第十一层是C5上的卷积层，其卷积核大小为3*3*256，步长为2，填充模式为SAME，其输出矩阵P6大小为15*19*256；
第十二层是卷积层，其卷积核大小为3*3*256，步长为2，填充模式为SAME，其输出矩阵P7大小为15*19*256。
6.根据权利要求7所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，
定位子网一共有5层，其输入均为上述特征金字塔网络的输出矩阵P3、P4、P5、P6、P7；
定位子网的前4层网络结构也完全一样，具体结构为：第一层到第四层是顺序连接、完全相同的卷积层，卷积核尺寸为3*3*256，步长为1，各层均使用SAME模式填充，各层的输出矩阵大小相同，均为58*75*256、29*38*256、15*19*256、15*19*256、15*19*256；
第五层是卷积层，该卷积核尺寸为3*3*36，步长为1，该层使用SAME模式填充，输出矩阵大小分别为58*75*36、29*38*36、15*19*36、15*19*36、15*19*36。
7.根据权利要求1所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，步骤(5)中的I3D网络是通过以下步骤训练得到的：
(5-1)利用基于ActivityNet的视频集对I3D网络进行预训练；
(5-2)使用标记好的甲状腺结节超声视频流对预训练后的三维神经网络模型进行训练，以得到训练好的I3D网络，其中训练过程中采用了以下损失函数：
L(pt)＝-αt(1-pt)γlog(pt).
其中，pt表示I3D网络对输入视频的预测输出，αt表示权重因子，且有αt∈[0,1]，γ是专注参数，表示降低简单样本权重的速率，且有γ≥0。
8.根据权利要求7所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，I3D网络的网络结构如下：
第一层是输入层，输入的大小为64*460*600*3；
第二层是卷积层，其卷积核大小为64*7*7*7，步长为2*2*2，填充模式为SAME，卷积后加上BN层、RELU激活层、以及最大池化3D层，其输出矩阵大小为32*115*150*64；
第三层是卷积层，其卷积核大小为64*1*1*1，步长为1*1*1，填充模式为SAME，卷积后加上BN层、以及RELU激活层，其输出矩阵大小为32*115*150*64；
第四层是卷积层，其卷积核大小为192*3*3*3，步长为1*1*1，填充模式为SAME，卷积后加上BN层、RELU激活层、以及最大池化3D层，其输出矩阵大小为32*58*75*192；
第五层是第一初始模块，其包括四个分支，第一分支输出的矩阵大小为32*58*75*64，第二分支输出的矩阵大小为32*58*75*128，第三分支输出的矩阵大小为32*58*75*32，第四分支输出的矩阵大小为32*58*75*32；
第六层是相加层，把第五层的四个分支的结果进行相加，输出的矩阵大小为32*58*75*256；
第七层是第二初始模块，其包括四个分支，第一分支输出的矩阵大小为32*58*75*128，第二分支输出的矩阵大小为32*58*75*192，第三分支输出的矩阵大小为32*58*75*96，第四分支输出的矩阵大小为32*58*75*64；
第八层是相加层，把第七层的四个分支的结果进行相加，输出的矩阵大小为32*58*75*480；
第九层是最大池化3D层，输出的矩阵大小为16*29*38*480；
第十层是第三初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*192，第二分支输出的矩阵大小为16*29*38*208，第三分支输出的矩阵大小为16*29*38*48，第四分支输出的矩阵大小为16*29*38*64。
第十一层是相加层，把第十层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十二层是第四初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*160，第二分支输出的矩阵大小为16*29*38*224，第三分支输出的矩阵大小为16*29*38*64，第四分支输出的矩阵大小为16*29*38*64。
第十三层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十四层是第五初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*128，第二分支输出的矩阵大小为16*29*38*256，第三分支输出的矩阵大小为16*29*38*64，第四分支输出的矩阵大小为16*29*38*64。
第十五层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*512；
第十六层是第六初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*112，第二分支输出的矩阵大小为16*29*38*288，第三分支输出的矩阵大小为16*29*38*64，第四分支输出的矩阵大小为16*29*38*64。
第十七层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*528；
第十八层是第七初始模块，其包括四个分支，第一分支输出的矩阵大小为16*29*38*256，第二分支输出的矩阵大小为16*29*38*320，第三分支输出的矩阵大小为16*29*38*128，第四分支输出的矩阵大小为16*29*38*128。
第十九层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为16*29*38*832；
第二十层是最大池化3D层，输出的矩阵大小为8*15*19*832；
第二十一层是第八初始模块，其包括四个分支，第一分支输出的矩阵大小为8*15*19*256，第二分支输出的矩阵大小为8*15*19*320，第三分支输出的矩阵大小为8*15*19*128，第四分支输出的矩阵大小为8*15*19*128。
第二十二层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为8*15*19*832；
第二十三层是第九初始模块，其包括四个分支，第一分支输出的矩阵大小为8*15*19*384，第二分支输出的矩阵大小为8*15*19*384，第三分支输出的矩阵大小为8*15*19*128，第四分支输出的矩阵大小为8*15*19*128。
第二十四层是相加层，把第十二层的四个分支的结果进行相加，输出的矩阵大小为8*15*19*1024；
第二十五层是平均池化层，输出的矩阵大小为7*1*1*1024；
第二十六层是3D卷积层，输出的矩阵大小为7*1*1*6；
第二十七层是重构层，输出的矩阵大小为7*6；
第二十八层是Lambda层，输出长度为6的特征向量。
9.根据权利要求8所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第一分支均具有相同的结构；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第二分支均具有相同的结构；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第三分支均具有相同的结构；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第四分支均具有相同的结构。
10.根据权利要求9所述的基于甲状腺超声视频流动态识别结节良恶性的方法，其特征在于，
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第一分支均包括顺序连接的3D卷积层、BN层、以及RELU激活层；其中3D卷积层的卷积核大小为1*1*1；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第二分支均包括顺次连接的3D卷积层、BN层、RELU激活层、3D卷积层、BN层、以及RELU激活层，其中第1层3D卷积层的卷积核大小为1*1*1，第2层3D卷积层的卷积核大小为3*3*3；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第三分支均包括顺次连接的3D卷积层、BN层、RELU激活层、3D卷积层、BN层、以及RELU激活层；其中第1层3D卷积层的卷积核大小为1*1*1，第2层3D卷积层的卷积核大小为3*3*3；
第一初始模块、第二初始模块、第三初始模块、第四初始模块、第五初始模块、第六初始模块、第七初始模块、第八初始模块以及第九初始模块中的第四分支均包括顺次连接的最大池化3D层、3D卷积层、BN层、以及RELU激活层；其中最大池化3D层的采用的滤波器大小为3*3*3，3D卷积层的卷积核大小为1*1*1。
CN201911009535.4A 2019-10-23 2019-10-23 一种基于甲状腺超声视频流动态识别结节良恶性的装置 Active CN111127391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911009535.4A CN111127391B (zh) 2019-10-23 2019-10-23 一种基于甲状腺超声视频流动态识别结节良恶性的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911009535.4A CN111127391B (zh) 2019-10-23 2019-10-23 一种基于甲状腺超声视频流动态识别结节良恶性的装置

Publications (2)

Publication Number Publication Date
CN111127391A true CN111127391A (zh) 2020-05-08
CN111127391B CN111127391B (zh) 2020-10-09

Family

ID=70495413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911009535.4A Active CN111127391B (zh) 2019-10-23 2019-10-23 一种基于甲状腺超声视频流动态识别结节良恶性的装置

Country Status (1)

Country Link
CN (1) CN111127391B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663372A (zh) * 2022-03-11 2022-06-24 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228551A (zh) * 2005-07-22 2008-07-23 卡尔斯特里姆保健公司 医学图像中的异常检测
CN103955698A (zh) * 2014-03-12 2014-07-30 深圳大学 从超声图像中自动定位标准切面的方法
US20160148376A1 (en) * 2014-11-26 2016-05-26 Samsung Electronics Co., Ltd. Computer aided diagnosis (cad) apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228551A (zh) * 2005-07-22 2008-07-23 卡尔斯特里姆保健公司 医学图像中的异常检测
CN103955698A (zh) * 2014-03-12 2014-07-30 深圳大学 从超声图像中自动定位标准切面的方法
US20160148376A1 (en) * 2014-11-26 2016-05-26 Samsung Electronics Co., Ltd. Computer aided diagnosis (cad) apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663372A (zh) * 2022-03-11 2022-06-24 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
CN114663372B (zh) * 2022-03-11 2022-09-23 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111127391B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108052977B (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN109272048B (zh) 一种基于深度卷积神经网络的模式识别方法
CN107247971B (zh) 一种超声甲状腺结节风险指标的智能分析方法及系统
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN113781440B (zh) 超声视频病灶检测方法及装置
CN111462049B (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
CN110164550B (zh) 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110555836A (zh) 一种超声图像中胎儿标准切面的自动识别方法和系统
CN113139977B (zh) 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN112086197A (zh) 基于超声医学的乳腺结节检测方法及系统
CN111292324B (zh) 一种针对臂丛神经超声图像的多目标识别方法及系统
CN112651929B (zh) 基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统
CN110946619A (zh) 血管内超声自动影像组学分析系统及分析方法
CN111754485A (zh) 一种用于肝脏的人工智能超声辅助系统
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN111127391B (zh) 一种基于甲状腺超声视频流动态识别结节良恶性的装置
CN114638800A (zh) 一种基于改进Faster-RCNN的头影标记点定位方法
Honghan et al. Rms-se-unet: A segmentation method for tumors in breast ultrasound images
CN116071373A (zh) 一种基于融合PCA的U-net模型舌体自动分割方法
Guo et al. Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation
CN113796850A (zh) 甲状旁腺mibi图像分析系统、计算机设备及存储介质
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Adeyemo et al. Impact of pixel scaling on classification accuracy of dermatological skin disease detection
CN116503858B (zh) 一种基于生成模型的免疫荧光图像分类方法及系统
US20220409181A1 (en) Method and system for identifying a tendon in ultrasound imaging data and verifying such identity in live deployment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211129

Address after: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515

Patentee after: SOUTHERN MEDICAL University

Patentee after: Hunan University

Address before: 518028 ultrasound department, 4th floor, building 1, Shenzhen maternal and child health hospital, 2004 Hongli Road, Futian District, Shenzhen City, Guangdong Province

Patentee before: Li Shengli

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230511

Address after: 518000, 6th Floor, Building A3, Nanshan Zhiyuan, No. 1001 Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Lanxiang Zhiying Technology Co.,Ltd.

Address before: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515

Patentee before: SOUTHERN MEDICAL University

Patentee before: HUNAN University

TR01 Transfer of patent right