CN110084320A - 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 - Google Patents
甲状腺乳头状癌超声图像识别方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN110084320A CN110084320A CN201910379782.7A CN201910379782A CN110084320A CN 110084320 A CN110084320 A CN 110084320A CN 201910379782 A CN201910379782 A CN 201910379782A CN 110084320 A CN110084320 A CN 110084320A
- Authority
- CN
- China
- Prior art keywords
- ultrasound image
- papillary carcinoma
- thyroid papillary
- layer
- thyroid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 185
- 208000030045 thyroid gland papillary carcinoma Diseases 0.000 title claims abstract description 166
- 206010033701 Papillary thyroid cancer Diseases 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000002775 capsule Substances 0.000 claims abstract description 113
- 239000013598 vector Substances 0.000 claims description 72
- 210000001685 thyroid gland Anatomy 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 206010028980 Neoplasm Diseases 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 201000011510 cancer Diseases 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000003292 glue Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 210000000481 breast Anatomy 0.000 claims description 7
- 230000002308 calcification Effects 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 201000010198 papillary carcinoma Diseases 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000006071 cream Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000001940 cystoblast Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002445 nipple Anatomy 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种甲状腺乳头状癌超声图像识别方法、装置、系统及计算机可读存储介质，该方法包括获取待识别的原始甲状腺乳头状癌超声图像；对原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；采用预先建立的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别，得到与待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的；本发明在使用过程中能够提高分类识别的精确度，有利于改善假阳性判断。
Description
技术领域
本发明实施例涉及图像识别技术领域，特别是涉及一种甲状腺乳头状癌超声图像识别方法、装置、系统及计算机可读存储介质。
背景技术
甲状腺乳头状癌是最常见的一种癌症，目前通常采用超声进行检查，其中，根据甲状腺乳头状癌的发病表现可以将其分为形状不规则、边界欠清晰、回声不均匀、钙化等症状。由于医学影像数据具有复杂性、多样性对医师的工作要求较高，在需要诊断大量超声图像的情况下医师的诊断效率往往随着超声图像数量的增加而下降，且医师的劳累也会增加其误判率，所以结合人工智能等相关技术预先处理后得出结果再给予医师判断可以大大减轻医师的工作量，提高工作效率。
现有的医学影像分类技术是以卷积神经网络为基础模块实现的，卷积神经网络通常包含两类模块，第一类是卷积层(Convolutional layer，conv)，第二类是全连接层(fully connected layers，FC)。但是，由于医疗影像的复杂度较高，超声图像存在细胞重叠，边缘模糊，血管干扰等一系列问题，并且医学影像中涉及到多标签分类的问题，每一个分类的特征不是独立的，一个癌症细胞可以同时包含两个或者多个特征，比如可以同时包含边界不清晰和回声不均匀等属性，而在卷积神经网络中不考虑该因素，故仅采用卷积神经网络作为分类器对甲状腺乳头状癌超声图像进行分类识别会造成大量的假阳性现象，从而降低网络识别的精确度，导致输出的结果也不可靠。
鉴于此，如何提高甲状腺乳头状癌超声图像分类识别的识别精确度成为本领域技术人员目前需要解决的问题。
发明内容
本发明实施例的目的是提供一种甲状腺乳头状癌超声图像识别方法、装置、系统及计算机可读介质，在使用过程中能够提高分类识别的精确度，有利于改善假阳性判断。
为解决上述技术问题，本发明实施例提供了一种甲状腺乳头状癌超声图像识别方法，包括：
获取待识别的原始甲状腺乳头状癌超声图像；
对所述原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；
采用预先建立的甲状腺乳头状癌超声图像识别模型对所述待识别甲状腺乳头状癌超声图像进行分类识别，得到与所述待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，所述甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
可选的，所述甲状腺乳头状癌超声图像识别模型包括卷积层、初始胶囊层、数字胶囊层和输出层；
所述采用预先建立的甲状腺乳头状癌超声图像识别模型对所述待识别甲状腺乳头状癌超声图像进行分类识别的过程为：
通过卷积层对所述待识别甲状腺乳头状癌超声图像进行卷积操作，提取到与所述待识别甲状腺乳头状癌超声图像对应的各个初级特征；
通过初始胶囊层对各个所述初级特征进行空间维度转换，得到与每个所述初级特征各自对应的特征向量；
通过数字胶囊层采用动态链路法对各个所述特征向量进行处理，得到与每个预设类别一一对应的输出向量，并从各个所述输出向量中确定出长度最大的输出向量；
通过输出层将所述长度最大的输出向量对应的预设类别作为分类识别结果。
可选的，所述采用动态链路法对各个所述特征向量进行处理，得到与每个预设类别一一对应的输出向量的过程为：
采用第一计算关系式、激活函数及损失函数对各个所述特征向量进行计算分析，得到与每个预设类别一一对应的输出向量；其中：
第一计算关系式为其中，sj为数字胶囊层中第j层胶囊层各个输入向量的加权和，ui为初始胶囊层中第i层胶囊层输出的特征向量，wij为第i层胶囊层和第j层胶囊层之间的权重，cij为第i层胶囊层和第j层胶囊层的耦合系数，bij为第i层胶囊层被第j层胶囊层选择的概率，k为数字胶囊层中胶囊的总个数，j∈[1,k]；其中，bij依据bij←bij+uj|i·vj进行更新；
激活函数为其中，vj为第j层胶囊层的输出向量，|| ||2表示2范数操作；损失函数为Lc＝Tc max(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2，其中，c为分类的预设类别，Tc为分类的指示函数，m+为上边缘、惩罚假阴性，m-为下边缘、惩罚假阳性，λ为比例系数，|| ||表示1范数操作。
可选的，所述预设类别包括正常、形状不规则、边界不清晰、回声不均匀及钙化；所述k＝5，j∈[1,5]。
可选的，所述卷积层的卷积核大小为9*9，维度为256。
可选的，所述对所述原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像的过程为：
采用双线性插值法对所述原始甲状腺乳头状癌超声图像进行尺寸归一化处理，得到尺寸为预设尺寸的待处理甲状腺乳头状癌超声图像。
本发明实施例相应的提供了一种甲状腺乳头状癌超声图像识别装置，包括：
获取模块，用于获取待识别的原始甲状腺乳头状癌超声图像；
处理模块，用于对所述原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；
识别模块，用于采用预先建立的甲状腺乳头状癌超声图像识别模型对所述待识别甲状腺乳头状癌超声图像进行分类识别，得到与所述待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，所述甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
可选的，所述甲状腺乳头状癌超声图像识别模型包括卷积层、初始胶囊层、数字胶囊层和输出层；
所述识别模块包括：
卷积单元，用于通过卷积层对所述待识别甲状腺乳头状癌超声图像进行卷积操作，提取到与所述待识别甲状腺乳头状癌超声图像对应的各个初级特征；
转换单元，用于通过初始胶囊层对各个所述初级特征进行空间维度转换，得到与每个所述初级特征各自对应的特征向量；
处理单元，用于通过数字胶囊层采用动态链路法对各个所述特征向量进行处理，得到与每个预设类别一一对应的输出向量，并从各个所述输出向量中确定出长度最大的输出向量；
输出单元，用于通过输出层将所述长度最大的输出向量对应的预设类别作为分类识别结果。
本发明实施例还提供了一种甲状腺乳头状癌超声图像识别系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述甲状腺乳头状癌超声图像识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述甲状腺乳头状癌超声图像识别方法的步骤。
本发明实时提供了一种甲状腺乳头状癌超声图像识别方法、装置、系统及计算机可读存储介质，该方法包括：获取待识别的原始甲状腺乳头状癌超声图像；对原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；采用预先建立的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别，得到与待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
可见，本实施例中通过依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的甲状腺乳头状癌超声图像识别模型，对满足预设要求的待识别甲状腺乳头状癌超声图像进行分类识别，并得到与该待识别甲状腺乳头状癌超声图像对应的分类识别结果，由于本实施例中的甲状腺乳头状癌超声图像识别模型是基于胶囊网络识别法建立的，所以能够提高分类识别的精确度，有利于改善假阳性判断。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种甲状腺乳头状癌超声图像识别方法的流程示意图；
图2为本发明实施例提供的一种甲状腺乳头状癌超声图像识别模型的原理图；
图3为本发明实施例提供的一种数字胶囊层计算方式示意图；
图4为本发明实施例提供的一种甲状腺乳头状癌超声图像识别装置的结构示意图。
具体实施方式
本发明实施例提供了一种甲状腺乳头状癌超声图像识别方法、装置、系统及计算机可读介质，在使用过程中能够提高分类识别的精确度，有利于改善假阳性判断。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供的一种甲状腺乳头状癌超声图像识别方法的流程示意图。该方法，包括：
S110：获取待识别的原始甲状腺乳头状癌超声图像；
S120：对原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；
S130：采用预先建立的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别，得到与待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
需要说明的是，本实施例中的甲状腺乳头状癌超声图像识别模型是基于胶囊网络识别方法建立的，可以预先对多个甲状腺乳头状癌样本超声图像进行预处理，使每个甲状腺乳头状癌样本超声图像在预处理后均符合预设要求，例如使每个甲状腺乳头状癌样本超声图像的尺寸相同且为预设尺寸，然后标定每个甲状腺乳头状癌样本超声图像的类别，再通过胶囊网络识别方法对每个甲状腺乳头状癌样本超声图像进行训练学习，得到甲状腺乳头状癌超声图像识别模型，其中，与每个类别对应的甲状腺乳头状癌样本超声图像可以为500个，当前具体数量可以根据实际需要进行确定。
具体的，根据甲状腺乳头状癌的发病表现可以将甲状腺乳头状癌超声图像分为五类，具体可以包括正常、形状不规则、边界不清晰、回声不均匀及钙化。故，在建立的甲状腺乳头状癌超声图像识别模型时，可以预先获取与5类中的每个类别分别对应的多个甲状腺乳头状癌样本超声图像，以便对这些甲状腺乳头状癌样本超声图像进行训练得到甲状腺乳头状癌超声图像识别模型。
在对待识别的原始甲状腺乳头状癌超声图像进行分类识别时，可以先对待识别的原始甲状腺乳头状癌超声图像进行预处理，使其在预处理后满足预设要求，例如满足预设尺寸要求，然后再采用建立好的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别，并根据甲状腺乳头状癌超声图像识别模型的输出结果得到与该待识别甲状腺乳头状癌超声图像对应的分类识别结果。
具体的，上述S120中对原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像的过程，具体可以为：
采用双线性插值法对原始甲状腺乳头状癌超声图像进行尺寸归一化处理，得到尺寸为预设尺寸的待处理甲状腺乳头状癌超声图像。
例如，本实施例中的预设尺寸可以为78*78大小，并且在对各个甲状腺乳头状癌样本超声图像进行训练时，也可以预先采用双线性插值法将每个甲状腺乳头状癌样本超声图像进行尺寸归一化处理，使每个甲状腺乳头状癌样本超声图像的尺寸均为78*78大小。
进一步的，本实施例中的甲状腺乳头状癌超声图像识别模型可以包括卷积层、初始胶囊层、数字胶囊层和输出层；当然，还包括输入层，具体请参照图2；
则，相应的本实施例中的S130采用预先建立的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别的过程，具体可以为：
通过卷积层对待识别甲状腺乳头状癌超声图像进行卷积操作，提取到与待识别甲状腺乳头状癌超声图像对应的各个初级特征；
可以理解的是，本实施例中在得到满足预设要求的待识别甲状腺乳头状癌超声图像后，输入层会将该待识别甲状腺乳头状癌超声图像输入至卷积层中，卷积层对该待识别甲状腺乳头状癌超声图像进行常规的卷积操作，主要目的是对待识别甲状腺乳头状癌超声图像做一次局部的特征检测，从而提取出与该待识别甲状腺乳头状癌超声图像对应的各个初级特征，以便为胶囊层提供更适用的高级实例。其中，本实施例中的卷积层的卷积核大小可以为9*9，其维度可以为256。
通过初始胶囊层对各个初级特征进行空间维度转换，得到与每个初级特征各自对应的特征向量；
具体的，本实施例中的卷积层将得到的各个初级特征输出至初始胶囊层，初始胶囊层对每个初级特征进行相应的空间维度转换，使在初级特征维度的基础上再扩展一个新的维度，从而得到与每个初级特征一一对应的特征向量，例如，卷积层输出的一个初级特征为[8,24]，则经过初始胶囊层的空间维度转换后，可以变为[8,8,3]，矩阵中数值的个数没有变，只是增加了一个维度，从而可以使该特征向量表征更多的参量，以提高识别的精确度。
其中，初始胶囊层中可以包括I个初始胶囊，每个初始胶囊对输入至其内部的初级特征进行相应的空间维度转化，从而得到I个特征向量。当卷积层的卷积核大小可以为9*9，其维度可以为256时，则卷积层输出的初级特征数量为256个，相应的初级胶囊层中应包括256个初始胶囊，并且每个初始胶囊对相应的初级特征进行空间维度转化，从而得到256个特征向量输出。
通过数字胶囊层采用动态链路法对各个特征向量进行处理，得到与每个预设类别一一对应的输出向量，并从各个输出向量中确定出长度最大的输出向量；
需要说明的是，初始胶囊层和数字胶囊层之间通过向量与向量的形式相连，在初始胶囊层输出I个特征向量后，数字胶囊层将采用动态链路法对该I个特征向量进行处理，以便得到该层的输出。
具体的，根据甲状腺乳头状癌的发病表现可以将甲状腺乳头状癌超声图像分为五类，也即预设类别可以包括五种，具体可以为正常、形状不规则、边界不清晰、回声不均匀及钙化。故，数字胶囊层中可以包括5个数字胶囊，并且经过数字胶囊层对各个特征向量进行分析处理后，可以输出5个输出向量，其中，每个向量中元素的个数可以为16个，并进一步对这5个输出向量求L2范数，也即求出每个输出向量的长度，范数值(也即长度)最大的输出向量代表的就是图像概率最大的那个类别，本实施例中通过输出向量L2范数的大小衡量实体出现的概率，L2范数值越大，相应的类别出现的概率就越大。
通过输出层将长度最大的输出向量对应的预设类别作为分类识别结果。
在确定出长度最大的输出向量后，将该输出向量对应的预设类别作为与待识别甲状腺乳头状癌超声图像对应的分类识别结果进行输出。
更进一步的，上述采用动态链路法对各个特征向量进行处理，得到与每个预设类别一一对应的输出向量的过程，具体可以为：
采用第一计算关系式、激活函数及损失函数对各个特征向量进行计算分析，得到与每个预设类别一一对应的输出向量；其中：
第一计算关系式为uj|i＝wijui，其中，sj为数字胶囊层中第j层胶囊层各个输入向量的加权和，ui为初始胶囊层中第i层胶囊层输出的特征向量，wij为第i层胶囊层和第j层胶囊层之间的权重，cij为第i层胶囊层和第j层胶囊层的耦合系数，bij为第i层胶囊层被第j层胶囊层选择的概率，k为数字胶囊层中胶囊的总个数，j∈[1,k]；其中，bij依据bij←bij+uj|i·vj进行更新；
激活函数为其中，vj为第j层胶囊层的输出向量，|| ||2表示2范数操作；损失函数为Lc＝Tc max(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2，其中，c为分类的预设类别，Tc为分类的指示函数，m+为上边缘、惩罚假阴性，m-为下边缘、惩罚假阳性，λ为比例系数，|| ||表示1范数操作。
具体的，本实施例中数字胶囊层的计算方式如图3所示，其中，对于初始胶囊层的中各个胶囊Capsule 1～Capsule I的输出为u1～uI，数字胶囊层中的每个胶囊j对各个特征向量u1～uI进行操作，得到与每层胶囊j对应的sj，并将sj代入激活函数为得到相应的vj，并通过对wij和bij进行更新，不断更新vj值，直至对wij和bij进行更新次数达到预设次数，然后判断最新的vj是否使损失函数达到预设要求，若是，则输出该vj，若否，则继续更新相应的wij和bij，直至得到的vj满足要求，则将该vj作为j层胶囊的输出。其中，对于每个数据点，在进行动态路由计算之前，都将bij初始化为0，wij的初始值可以按照高斯分布随机给出。
需要说明的是，本实施例中所采用的激活函数Map(·)(也即)，该激活函数的前一部分表示的是输入向量sj的放缩尺度，后一部分作用是将该向量控制在[0,1]之间，该激活函数Map(·)保留了输入向量的方向特征，通过增加映射关系能够有效的提高网络训练的速度和准确率。
另外，请参照图3，图3表示模型训练200次迭代的准确率，其中，黑色线表示的是卷积神经网络训练过程的准确率，灰色线表示本实施例中所提供的胶囊网络结构训练过程的准确率，胶囊网络结构测试的准确率为78.67％，卷积网络结构测试的准确率为68.49。综合实验结果可知，胶囊网络模型(也即本实施例中的甲状腺乳头状癌超声图像识别模型)的准确率要比卷积神经网络模型要高。
可见，本实施例中通过依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的甲状腺乳头状癌超声图像识别模型，对满足预设要求的待识别甲状腺乳头状癌超声图像进行分类识别，并得到与该待识别甲状腺乳头状癌超声图像对应的分类识别结果，由于本实施例中的甲状腺乳头状癌超声图像识别模型是基于胶囊网络识别法建立的，所以能够提高分类识别的精确度，有利于改善假阳性判断。
在上述实施例的基础上，本发明实施例相应的提供了一种甲状腺乳头状癌超声图像识别装置，具体请参照图4。该装置包括：
获取模块21，用于获取待识别的原始甲状腺乳头状癌超声图像；
处理模块22，用于对原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；
识别模块23，用于采用预先建立的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别，得到与待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
可选的，甲状腺乳头状癌超声图像识别模型包括卷积层、初始胶囊层、数字胶囊层和输出层；
识别模块23包括：
卷积单元，用于通过卷积层对待识别甲状腺乳头状癌超声图像进行卷积操作，提取到与待识别甲状腺乳头状癌超声图像对应的各个初级特征；
转换单元，用于通过初始胶囊层对各个初级特征进行空间维度转换，得到与每个初级特征各自对应的特征向量；
处理单元，用于通过数字胶囊层采用动态链路法对各个特征向量进行处理，得到与每个预设类别一一对应的输出向量，并从各个输出向量中确定出长度最大的输出向量；
输出单元，用于通过输出层将长度最大的输出向量对应的预设类别作为分类识别结果。
可选的，处理单元，具体用于采用第一计算关系式、激活函数及损失函数对各个特征向量进行计算分析，得到与每个预设类别一一对应的输出向量；其中：
第一计算关系式为uj|i＝wijui，其中，sj为数字胶囊层中第j层胶囊层各个输入向量的加权和，ui为初始胶囊层中第i层胶囊层输出的特征向量，wij为第i层胶囊层和第j层胶囊层之间的权重，cij为第i层胶囊层和第j层胶囊层的耦合系数，bij为第i层胶囊层被第j层胶囊层选择的概率，k为数字胶囊层中胶囊的总个数，j∈[1,k]；其中，bij依据bij←bij+uj|i·vj进行更新；
激活函数为其中，vj为第j层胶囊层的输出向量，|| ||2表示2范数操作；损失函数为Lc＝Tc max(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2，其中，c为分类的预设类别，Tc为分类的指示函数，m+为上边缘、惩罚假阴性，m-为下边缘、惩罚假阳性，λ为比例系数，|| ||表示1范数操作。
可选的，预设类别包括正常、形状不规则、边界不清晰、回声不均匀及钙化；k＝5，j∈[1,5]。
可选的，卷积层的卷积核大小为9*9，维度为256。
可选的，处理模块22，具体用于采用双线性插值法对原始甲状腺乳头状癌超声图像进行尺寸归一化处理，得到尺寸为预设尺寸的待处理甲状腺乳头状癌超声图像。
需要说明的是，本实施例中所提供的甲状腺乳头状癌超声图像识别装置具有与上述实施例中所提供的甲状腺乳头状癌超声图像识别方法相同的有益效果，并且对于本实施例中所涉及到的甲状腺乳头状癌超声图像识别方法的具体介绍请参照上述实施例，本申请在此不再赘述。
在上述实施例的基础上，本发明实施例还提供了一种甲状腺乳头状癌超声图像识别系统，该系统包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述甲状腺乳头状癌超声图像识别方法的步骤。
其中，本实施例中的处理器例如用于实现获取待识别的原始甲状腺乳头状癌超声图像；对原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；采用预先建立的甲状腺乳头状癌超声图像识别模型对待识别甲状腺乳头状癌超声图像进行分类识别，得到与待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述甲状腺乳头状癌超声图像识别方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种甲状腺乳头状癌超声图像识别方法，其特征在于，包括：
获取待识别的原始甲状腺乳头状癌超声图像；
对所述原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；
采用预先建立的甲状腺乳头状癌超声图像识别模型对所述待识别甲状腺乳头状癌超声图像进行分类识别，得到与所述待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，所述甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
2.根据权利要求1所述的甲状腺乳头状癌超声图像识别方法，其特征在于，所述甲状腺乳头状癌超声图像识别模型包括卷积层、初始胶囊层、数字胶囊层和输出层；
所述采用预先建立的甲状腺乳头状癌超声图像识别模型对所述待识别甲状腺乳头状癌超声图像进行分类识别的过程为：
通过卷积层对所述待识别甲状腺乳头状癌超声图像进行卷积操作，提取到与所述待识别甲状腺乳头状癌超声图像对应的各个初级特征；
通过初始胶囊层对各个所述初级特征进行空间维度转换，得到与每个所述初级特征各自对应的特征向量；
通过数字胶囊层采用动态链路法对各个所述特征向量进行处理，得到与每个预设类别一一对应的输出向量，并从各个所述输出向量中确定出长度最大的输出向量；
通过输出层将所述长度最大的输出向量对应的预设类别作为分类识别结果。
3.根据权利要求2所述的甲状腺乳头状癌超声图像识别方法，其特征在于，所述采用动态链路法对各个所述特征向量进行处理，得到与每个预设类别一一对应的输出向量的过程为：
采用第一计算关系式、激活函数及损失函数对各个所述特征向量进行计算分析，得到与每个预设类别一一对应的输出向量；其中：
第一计算关系式为其中，sj为数字胶囊层中第j层胶囊层各个输入向量的加权和，ui为初始胶囊层中第i层胶囊层输出的特征向量，wij为第i层胶囊层和第j层胶囊层之间的权重，cij为第i层胶囊层和第j层胶囊层的耦合系数，bij为第i层胶囊层被第j层胶囊层选择的概率，k为数字胶囊层中胶囊的总个数，j∈[1,k]；其中，bij依据bij←bij+uj|i·vj进行更新；
激活函数为其中，vj为第j层胶囊层的输出向量，|| ||2表示2范数操作；损失函数为Lc＝Tcmax(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2，其中，c为分类的预设类别，Tc为分类的指示函数，m+为上边缘、惩罚假阴性，m-为下边缘、惩罚假阳性，λ为比例系数，|| ||表示1范数操作。
4.根据权利要求3所述的甲状腺乳头状癌超声图像识别方法，其特征在于，所述预设类别包括正常、形状不规则、边界不清晰、回声不均匀及钙化；所述k＝5，j∈[1,5]。
5.根据权利要求2所述的甲状腺乳头状癌超声图像识别方法，其特征在于，所述卷积层的卷积核大小为9*9，维度为256。
6.根据权利要求1所述的甲状腺乳头状癌超声图像识别方法，其特征在于，所述对所述原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像的过程为：
采用双线性插值法对所述原始甲状腺乳头状癌超声图像进行尺寸归一化处理，得到尺寸为预设尺寸的待处理甲状腺乳头状癌超声图像。
7.一种甲状腺乳头状癌超声图像识别装置，其特征在于，包括：
获取模块，用于获取待识别的原始甲状腺乳头状癌超声图像；
处理模块，用于对所述原始甲状腺乳头状癌超声图像进行预处理，得到满足预设要求的待识别甲状腺乳头状癌超声图像；
识别模块，用于采用预先建立的甲状腺乳头状癌超声图像识别模型对所述待识别甲状腺乳头状癌超声图像进行分类识别，得到与所述待识别甲状腺乳头状癌超声图像对应的分类识别结果；其中，所述甲状腺乳头状癌超声图像识别模型为依据多个甲状腺乳头状癌样本超声图像及胶囊网络识别法建立的。
8.根据权利要求7所述的甲状腺乳头状癌超声图像识别装置，其特征在于，所述甲状腺乳头状癌超声图像识别模型包括卷积层、初始胶囊层、数字胶囊层和输出层；
所述识别模块包括：
卷积单元，用于通过卷积层对所述待识别甲状腺乳头状癌超声图像进行卷积操作，提取到与所述待识别甲状腺乳头状癌超声图像对应的各个初级特征；
转换单元，用于通过初始胶囊层对各个所述初级特征进行空间维度转换，得到与每个所述初级特征各自对应的特征向量；
处理单元，用于通过数字胶囊层采用动态链路法对各个所述特征向量进行处理，得到与每个预设类别一一对应的输出向量，并从各个所述输出向量中确定出长度最大的输出向量；
输出单元，用于通过输出层将所述长度最大的输出向量对应的预设类别作为分类识别结果。
9.一种甲状腺乳头状癌超声图像识别系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任意一项所述甲状腺乳头状癌超声图像识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述甲状腺乳头状癌超声图像识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910379782.7A CN110084320A (zh) | 2019-05-08 | 2019-05-08 | 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910379782.7A CN110084320A (zh) | 2019-05-08 | 2019-05-08 | 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110084320A true CN110084320A (zh) | 2019-08-02 |
Family
ID=67419245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910379782.7A Pending CN110084320A (zh) | 2019-05-08 | 2019-05-08 | 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084320A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599457A (zh) * | 2019-08-14 | 2019-12-20 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| WO2021000674A1 (zh) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | 细胞图片识别方法、系统、计算机设备及可读存储介质 |
| CN112233106A (zh) * | 2020-10-29 | 2021-01-15 | 电子科技大学中山学院 | 一种基于残差胶囊网络的甲状腺癌超声影像分析方法 |
| CN112364920A (zh) * | 2020-11-12 | 2021-02-12 | 西安电子科技大学 | 基于深度学习的甲状腺癌病理图像分类方法 |
| CN112784652A (zh) * | 2019-11-11 | 2021-05-11 | 中强光电股份有限公司 | 图像识别方法及装置 |
| CN113450325A (zh) * | 2021-06-28 | 2021-09-28 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺结节良恶性识别装置 |
| WO2021212715A1 (zh) * | 2020-04-21 | 2021-10-28 | 五邑大学 | 精神分裂症分类识别方法、运行控制装置及医疗设备 |
| CN116433595A (zh) * | 2023-03-06 | 2023-07-14 | 什维新智医疗科技(上海)有限公司 | 基于特征向量的结节最佳切面选择方法、系统及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898577A (zh) * | 2018-05-24 | 2018-11-27 | 西南大学 | 基于改进胶囊网络的良恶性肺结节识别装置及方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109063742A (zh) * | 2018-07-06 | 2018-12-21 | 平安科技（深圳）有限公司 | 蝴蝶识别网络构建方法、装置、计算机设备及存储介质 |
-
2019
- 2019-05-08 CN CN201910379782.7A patent/CN110084320A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898577A (zh) * | 2018-05-24 | 2018-11-27 | 西南大学 | 基于改进胶囊网络的良恶性肺结节识别装置及方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109063742A (zh) * | 2018-07-06 | 2018-12-21 | 平安科技（深圳）有限公司 | 蝴蝶识别网络构建方法、装置、计算机设备及存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021000674A1 (zh) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | 细胞图片识别方法、系统、计算机设备及可读存储介质 |
| CN110599457A (zh) * | 2019-08-14 | 2019-12-20 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN110599457B (zh) * | 2019-08-14 | 2022-12-16 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN112784652A (zh) * | 2019-11-11 | 2021-05-11 | 中强光电股份有限公司 | 图像识别方法及装置 |
| WO2021212715A1 (zh) * | 2020-04-21 | 2021-10-28 | 五邑大学 | 精神分裂症分类识别方法、运行控制装置及医疗设备 |
| CN112233106A (zh) * | 2020-10-29 | 2021-01-15 | 电子科技大学中山学院 | 一种基于残差胶囊网络的甲状腺癌超声影像分析方法 |
| CN112364920A (zh) * | 2020-11-12 | 2021-02-12 | 西安电子科技大学 | 基于深度学习的甲状腺癌病理图像分类方法 |
| CN112364920B (zh) * | 2020-11-12 | 2023-05-23 | 西安电子科技大学 | 基于深度学习的甲状腺癌病理图像分类方法 |
| CN113450325A (zh) * | 2021-06-28 | 2021-09-28 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺结节良恶性识别装置 |
| CN113450325B (zh) * | 2021-06-28 | 2022-09-09 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺结节良恶性识别装置 |
| CN116433595A (zh) * | 2023-03-06 | 2023-07-14 | 什维新智医疗科技(上海)有限公司 | 基于特征向量的结节最佳切面选择方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084320A (zh) | 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 | |
| WO2020224403A1 (zh) | 分类任务模型的训练方法、装置、设备及存储介质 | |
| CN109685819B (zh) | 一种基于特征增强的三维医学图像分割方法 | |
| CN109886179A (zh) | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 | |
| WO2018028255A1 (zh) | 基于对抗网络的图像显著性检测方法 | |
| CN114401666A (zh) | 基于深度学习的3d点云的对象检测和实例分割 | |
| Xie et al. | RAGS: Region-aided geometric snake | |
| CN112906502A (zh) | 目标检测模型的训练方法、装置、设备以及存储介质 | |
| CN109447461B (zh) | 用户信用评估方法及装置、电子设备、存储介质 | |
| CN111695463B (zh) | 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法 | |
| CN114782311B (zh) | 一种基于CenterNet改进的多尺度缺陷目标检测方法及系统 | |
| CN110321968B (zh) | 一种超声图像分类装置 | |
| CN112418330A (zh) | 一种基于改进型ssd的小目标物体高精度检测方法 | |
| CN109446333A (zh) | 一种实现中文文本分类的方法及相关设备 | |
| CN106096613A (zh) | 基于角点特征的图像多目标检测方法及装置 | |
| CN106202380A (zh) | 一种分类语料库的构建方法、系统及具有该系统的服务器 | |
| CN110188763A (zh) | 一种基于改进图模型的图像显著性检测方法 | |
| CN110415237A (zh) | 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质 | |
| CN109903339A (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
| Qu et al. | Visual cross-image fusion using deep neural networks for image edge detection | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| WO2021000674A1 (zh) | 细胞图片识别方法、系统、计算机设备及可读存储介质 | |
| Liang et al. | Comparison-based convolutional neural networks for cervical cell/clumps detection in the limited data scenario | |
| CN108280158A (zh) | 基于梯度方向累加热核特征的非刚性三维模型检索方法 | |
| CN110019952A (zh) | 视频描述方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |
|
| RJ01 | Rejection of invention patent application after publication |