CN111461202A - 甲状腺结节超声图像实时识别方法及装置 - Google Patents

甲状腺结节超声图像实时识别方法及装置 Download PDF

Info

Publication number
CN111461202A
CN111461202A CN202010238372.3A CN202010238372A CN111461202A CN 111461202 A CN111461202 A CN 111461202A CN 202010238372 A CN202010238372 A CN 202010238372A CN 111461202 A CN111461202 A CN 111461202A
Authority
CN
China
Prior art keywords
thyroid
image
current frame
target information
thyroid image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010238372.3A
Other languages
English (en)
Other versions
CN111461202B (zh
Inventor
朱瑞星
黄孟钦
曾强
杨风辉
周芳馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Zhuxing Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuxing Biotechnology Co ltd filed Critical Shanghai Zhuxing Biotechnology Co ltd
Priority to CN202010238372.3A priority Critical patent/CN111461202B/zh
Publication of CN111461202A publication Critical patent/CN111461202A/zh
Application granted granted Critical
Publication of CN111461202B publication Critical patent/CN111461202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了甲状腺结节超声图像实时识别方法及装置，属于图像处理领域。本发明基于扫描过程中大部分的超声图像之间均存在关联性的特点，通过将当前帧甲状腺图像与上一帧甲状腺图像进行匹配，在实时识别的过程中过滤掉关联性强的图像(如：相似度高的图像，或匹配的图像)，从而实现降低计算量的目的；对于不匹配的图像进行识别获取候选目标信息，通过将候选目标信息与相应的图像进行融合，生成标识图像(即：标识甲状腺结节的图像)，达到实时识别甲状腺结节的目的。

Description

甲状腺结节超声图像实时识别方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种甲状腺结节超声图像实时识别方法及装置。
背景技术
近年来，随着影像技术的发展，甲状腺结节的检出率显著升高，甲状腺结节非常普遍，有调查指出甲状腺结节的发生率将近50％，但仅有4％-8％的甲状腺结节在临床触诊中可被触及。甲状腺结节有良、恶性之分，恶性发生率为5％-10％。基于超声成像技术的甲状腺结节超声检查是目前常见的检查方式，然而医生诊断超声甲状腺图像的结果往往受到医学成像设备的成像机理、获取条件、显示设备等因素的影响而极易造成误诊或漏诊。因此，利用计算机实现甲状腺图像辅助诊断十分必要。但是固有的成像机制使得临床采集到的超声甲状腺结节图像质量均较差，导致辅助诊断的准确性和自动化均受到影响，而目前的基于深度学习的甲状腺结节识别方法，计算量大，只能使用静态图像分析，无法进行在线实时扫查，且准确性较低。
发明内容
针对现有甲状腺结节识别方法不支持实时检测的问题，现提供一种旨在甲状腺结节超声图像实时识别方法及装置。
本发明提供了一种甲状腺结节超声图像实时识别方法，包括：
获取当前帧甲状腺图像；
将所述当前帧甲状腺图像与上一帧甲状腺图像进行匹配；
若所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配，获取与所述上一帧甲状腺图像对应的候选目标信息；
若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，对所述当前帧甲状腺图像进行识别，获取候选目标信息；
将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像。
优选的，将所述当前帧甲状腺图像与所述上一帧甲状腺图像进行匹配，包括：
采用相似度匹配算法计算所述当前帧甲状腺图像与所述上一帧甲状腺图像之间的相似值；
若所述相似值大于或等于预设阈值，则所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配；
若所述相似值小于所述预设阈值，则所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配。
优选的，若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，对所述当前帧甲状腺图像进行识别，获取候选目标信息，包括：
若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息；
对所述候选特征信息进行处理获取所述候选目标信息。
优选的，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息，包括：
对所述当前帧甲状腺图像进行预处理，采用卷积神经网络模型对经预处理后的所述当前帧甲状腺图像进行识别，提取候选特征信息。
优选的，所述卷积神经网络模型包括：第一特征提取模块、第二特征提取模块和分类模块；
当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息，包括：
当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，通过所述第一特征提取模块提取第一特征信息；
通过所述第二特征提取模块基于所述第一特征信息进行特征提取获取第二特征信息，将所述第一特征信息与所述第二特征信息逐级融合，生成第三特征信息；
通过所述分类模块根据所述第三特征信息的像素预测语义分割结果，生成所述候选特征信息。
优选的，对所述候选特征信息进行处理获取所述候选目标信息，包括：
采用二值化方法对所述候选特征信息进行处理，获取所述候选目标信息。
优选的，将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像，包括：
对所述候选目标信息进行计算，提取符合预设条件的目标信息，将所述目标信息与所述当前帧甲状腺图像叠加，生成标识图像。
本发明还提供了一种甲状腺结节超声图像实时识别装置，包括：
接收单元，用于获取当前帧甲状腺图像；
匹配单元，用于将所述当前帧甲状腺图像与上一帧甲状腺图像进行匹配；
获取单元，用于获取与所述上一帧甲状腺图像对应的候选目标信息；
识别单元，用于当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配时，对所述当前帧甲状腺图像进行识别，获取候选目标信息；
融合单元，用于将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像。
本发明还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述甲状腺结节超声图像实时识别方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述甲状腺结节超声图像实时识别方法的步骤。
上述技术方案的有益效果：
本技术方案中，甲状腺结节超声图像实时识别方法基于扫描过程中大部分的超声图像之间均存在关联性的特点，通过将当前帧甲状腺图像与上一帧甲状腺图像进行匹配，在实时识别的过程中过滤掉关联性强的图像(如：相似度高的图像，或匹配的图像)，从而实现降低计算量的目的；对于不匹配的图像进行识别获取候选目标信息，通过将候选目标信息与相应的图像进行融合，生成标识图像(即：标识甲状腺结节的图像)，达到实时识别甲状腺结节的目的。
附图说明
图1为本发明所述的甲状腺结节超声图像实时识别方法的一种实施例的方法流程图；
图2为本发明对所述当前帧甲状腺图像进行识别，获取候选目标信息的一种实施例的流程图；
图3为本发明采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息的一种实施例的流程图；
图4为本发明所述的甲状腺结节超声图像实时识别装置的一种实施例的模块图；
图5为本发明所述的计算机设备一实施例的硬件架构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1所示，本发明提供了一种甲状腺结节超声图像实时识别方法，包括：
S1.获取当前帧甲状腺图像；
S2.将所述当前帧甲状腺图像与上一帧甲状腺图像进行匹配，若匹配，执行步骤S3；若不匹配，执行步骤S4；
在本步骤中，考虑到在甲状腺扫描过程中大部分的超声图像之间均存在关联性的特点，通过将当前帧甲状腺图像与上一帧甲状腺图像进行匹配，从而实现在实时识别的过程中过滤掉关联性强的图像(如：相似度高的图像，或匹配的图像)，达到在实时识别的同时降低计算量的目的。
进一步地，在步骤S2中，将所述当前帧甲状腺图像与所述上一帧甲状腺图像进行匹配，包括：
采用相似度匹配算法计算所述当前帧甲状腺图像与所述上一帧甲状腺图像之间的相似值；
若所述相似值大于或等于预设阈值(如：2)，则所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配；
若所述相似值小于所述预设阈值，则所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配。
需要说明的是：相似度匹配算法可采用欧氏距离、曼哈顿距离、切比雪夫距离、余弦距离、皮尔逊相关系数、汉明距离、杰卡德距离、布雷柯蒂斯距离、马氏距离、JS散度、归一化积相关算法(NProd)等中的任意一种方法。
其中，归一化积相关算法具有操作简单、匹配概率高的优点。
以采用归一化积相关算法计算当前帧甲状腺图像与上一帧甲状腺图像之间的相似值为例：预设5个采样框，采样框的尺寸为21×15，分别对当前帧甲状腺图像和上一帧甲状腺图像进行采样，计算当前帧甲状腺图像与上一帧甲状腺图像的相似值，若相似值大于预设阈值，则表示当前帧甲状腺图像与上一帧甲状腺图像匹配；若相似值小于预设阈值，则表示当前帧甲状腺图像与上一帧甲状腺图像不匹配；
归一化积相关算法公式如下：
Figure BDA0002431759520000061
其中，Iprev表示上一帧甲状腺图像的坐标，Icur表示当前帧甲状腺图像的坐标，x表示图像像素的横向坐标位置，y表示图像像素的纵向坐标位置，x'代表横向偏移，y'纵向偏移；
S3.获取与所述上一帧甲状腺图像对应的候选目标信息，执行步骤S5；
在本步骤中，以上一帧甲状腺图像对应的候选目标信息，作为当前帧甲状腺图像的候选目标信息。
作为一种较为优选的实施，在步骤S3中当所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配时，还可获取上一帧甲状腺图像对应的目标信息(即：对候选目标信息进行计算后，提取的符合预设条件的目标信息)作为当前帧甲状腺图像的目标信息，直接将该目标信息与当前帧甲状腺图像叠加，从而生成标识图像。
S4.对所述当前帧甲状腺图像进行识别，获取候选目标信息；
进一步地，参考图2在步骤S4中，若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，对所述当前帧甲状腺图像进行识别，获取候选目标信息，包括：
S41.若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息；
需要说明的是：在步骤S41采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息，包括：
对所述当前帧甲状腺图像进行预处理，采用卷积神经网络模型对经预处理后的所述当前帧甲状腺图像进行识别，提取候选特征信息。
进一步地，对所述当前帧甲状腺图像进行预处理包括：
采用三次样条插值法(Cubic Spline Interpolation，简称Spline插值)、平滑处理、中值滤波处理中的至少一种方式对所述当前帧甲状腺图像进行预处理。
采用平滑处理、中值滤波处理的方式对当前帧甲状腺图像进行预处理，可达到消除图像中的无关信息，增强相关信息的可检测性，以及最大限度简化数据的目的；采用三次样条插值法可对当前帧甲状腺图像进行缩放(调整图像的大小)，通过索贝尔算子(sobel算子)对压缩过的图像进行边缘提取，获取图像边界。
在本实施例中，所述卷积神经网络模型可包括：第一特征提取模块、第二特征提取模块和分类模块；
步骤S41当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息，参考图3，包括：
S411.当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，通过所述第一特征提取模块提取第一特征信息；
S412.通过所述第二特征提取模块基于所述第一特征信息进行特征提取获取第二特征信息，将所述第一特征信息与所述第二特征信息逐级融合，生成第三特征信息；
S413.通过所述分类模块根据所述第三特征信息的像素预测语义分割结果，生成所述候选特征信息。
需要说明的是：卷积神经网络模型是由U-Net的全卷积神经网络构建的，根据卷积神经网络模型对当前帧甲状腺图像进行分割，从中分割出感兴趣区域。卷积神经网络模型的第一特征提取模块用于下采样提取感兴趣区域的深层特征，以此实现对甲状腺结节的自动语义分割。
第一特征提取模块包括用于下采样的五次卷积层(卷积conv)。其中，五次卷积conv均由2个4×4的卷积层组成，第二个卷积层stride(步长)为2从而代替池化效果，每个卷积层均经过Batch Normalization并使用LeakeyReLU作为激活函数。
第二特征提取模块包括用于上采样的五次上采样层。其中，五次上采样层均为反卷积层，每层网络均包含Batch Normalization层和Dropout层，并使用Relu作为激活函数。
分类模块包括三层全连接层，分别为：8×8×128、1×1×128和1×1×2的卷积层，考虑到甲状腺结节分割是一个像素的二分类问题，因此最后一层卷积深度为2。
本实施例的卷积神经网络模型采用类VGG11网络作为主干网络用于下采样层提取感兴趣区域的深层特征，以此实现对甲状腺结节的自动语义分割。类VGG11网络通过5次反卷积从第5层开始逐步向上采样5次，每次分别与BN层进行插值从而补充下采样过程中丢掉的细节信息，最后一次上采样还原到掩码图像。
下表为类VGG11全卷积神经网络：
Figure BDA0002431759520000081
Figure BDA0002431759520000091
S42.对所述候选特征信息进行处理获取所述候选目标信息。
进一步地，步骤S42可采用二值化方法对所述候选特征信息进行处理，获取所述候选目标信息。
在步骤S42中采用二值化方法对提取到的候选特征信息进行处理，通过闭运算(如：膨胀-腐蚀的闭运算)合并相邻的独立特征，增加图像关联性，提取轮廓，还可依据预处理的缩放值将轮廓坐标通过逆运算到原图像的大小，采用边界追踪算法获取轮廓数据(即：候选目标信息)。
S5.将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像。
进一步地，步骤S5将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像，包括：
对所述候选目标信息进行计算，提取符合预设条件的目标信息，将所述目标信息与所述当前帧甲状腺图像叠加，生成标识图像。
其中，预设条件为目标信息对应的面积是否大于预设面积值，若是，则表示候选目标信息符合预设条件；若否，则表示候选目标信息不符合预设条件。
在本步骤中，根据候选目标信息(即：轮廓数据)计算轮廓面积，将面积从大到小进行排序，提取大于预设面积值的轮廓(可视为该轮廓为甲状腺结节的轮廓)，将提取的轮廓对应的信息绘制(如：叠加)于到当前帧甲状腺图像中，从而生成标识甲状腺结节轮廓的标识图像。
计算轮廓面积的公式：
Figure BDA0002431759520000101
其中，(a1,,b1)...(an,,bn)表示组成候选目标信息对应的轮廓线上的轮廓点，n表示轮廓线上轮廓点的个数，i和n均为正整数。
在本实施例中，甲状腺结节超声图像实时识别方法基于扫描过程中大部分的超声图像之间均存在关联性的特征，通过将当前帧甲状腺图像与上一帧甲状腺图像进行匹配，在实时识别的过程中过滤掉关联性强的图像(如：相似度高的图像，或匹配的图像)，从而实现降低计算量的目的；对于不匹配的图像进行识别获取候选目标信息，通过将候选目标信息与相应的图像进行融合，生成标识图像(即：标识甲状腺结节的图像)，达到实时识别甲状腺结节的目的。本发明的甲状腺结节超声图像实时识别方法的识别周期在30毫秒之内，延迟小于50毫秒，实时性强。结果基于NVIDIA Jetson Nano设备测试获得。
实施例二
如图4所示，本发明还提供了一种甲状腺结节超声图像实时识别装置1可包括：接收单元11、匹配单元12、获取单元15、识别单元13和融合单元14；
接收单元11，用于获取当前帧甲状腺图像；
匹配单元12，用于将所述当前帧甲状腺图像与上一帧甲状腺图像进行匹配；
在本步骤中，考虑到在甲状腺扫描过程中大部分的超声图像之间均存在关联性的特点，通过将当前帧甲状腺图像与上一帧甲状腺图像进行匹配，从而实现在实时识别的过程中过滤掉关联性强的图像(如：相似度高的图像，或匹配的图像)，达到在实时识别的同时降低计算量的目的。
进一步地，匹配单元12可采用相似度匹配算法计算所述当前帧甲状腺图像与所述上一帧甲状腺图像之间的相似值；
若所述相似值大于或等于预设阈值(如：2)，则所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配；
若所述相似值小于所述预设阈值，则所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配。
需要说明的是：相似度匹配算法可采用欧氏距离、曼哈顿距离、切比雪夫距离、余弦距离、皮尔逊相关系数、汉明距离、杰卡德距离、布雷柯蒂斯距离、马氏距离、JS散度、归一化积相关算法(NProd)等中的任意一种方法。
其中，归一化积相关算法具有操作简单、匹配概率高的优点。以采用归一化积相关算法计算当前帧甲状腺图像与上一帧甲状腺图像之间的相似值为例：预设5个采样框，采样框的尺寸为21×15，分别对当前帧甲状腺图像和上一帧甲状腺图像进行采样，计算当前帧甲状腺图像与上一帧甲状腺图像的相似值，若相似值大于预设阈值，则表示当前帧甲状腺图像与上一帧甲状腺图像匹配；若相似值小于预设阈值，则表示当前帧甲状腺图像与上一帧甲状腺图像不匹配。
获取单元15，用于获取与所述上一帧甲状腺图像对应的候选目标信息。以上一帧甲状腺图像对应的候选目标信息，作为当前帧甲状腺图像的候选目标信息。
作为一种较为优选的实施，当所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配时，获取单元15还可获取上一帧甲状腺图像对应的目标信息(即：对候选目标信息进行计算后，提取的符合预设条件的目标信息)作为当前帧甲状腺图像的目标信息，通过融合单元14直接将该目标信息与当前帧甲状腺图像叠加，从而生成标识图像。
识别单元13，用于当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配时，对所述当前帧甲状腺图像进行识别，获取候选目标信息；
具体地，若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，识别单元13采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息；
需要说明的是：在识别单元13采用卷积神经网络模型对所述当前帧甲状腺图像进行识别之前，还可对所述当前帧甲状腺图像进行预处理。
进一步地，对所述当前帧甲状腺图像进行预处理包括：
采用三次样条插值法(Cubic Spline Interpolation，简称Spline插值)、平滑处理、中值滤波处理中的至少一种方式对所述当前帧甲状腺图像进行预处理。
采用平滑处理、中值滤波处理的方式对当前帧甲状腺图像进行预处理，可达到消除图像中的无关信息，增强相关信息的可检测性，以及最大限度简化数据的目的；采用三次样条插值法可对当前帧甲状腺图像进行缩放(调整图像的大小)，通过索贝尔算子(sobel算子)对压缩过的图像进行边缘提取，获取图像边界。
在本实施例中，所述卷积神经网络模型可包括：第一特征提取模块、第二特征提取模块和分类模块；
当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，通过所述第一特征提取模块提取第一特征信息；
通过所述第二特征提取模块基于所述第一特征信息进行特征提取获取第二特征信息，将所述第一特征信息与所述第二特征信息逐级融合，生成第三特征信息；
通过所述分类模块根据所述第三特征信息的像素预测语义分割结果，生成所述候选特征信息。
需要说明的是：卷积神经网络模型是由U-Net的全卷积神经网络构建的，根据卷积神经网络模型对当前帧甲状腺图像进行分割，从中分割出感兴趣区域。卷积神经网络模型的第一特征提取模块用于下采样提取感兴趣区域的深层特征，以此实现对甲状腺结节的自动语义分割。
第一特征提取模块包括用于下采样的五次卷积层(卷积conv)。其中，五次卷积conv均由2个4×4的卷积层组成，第二个卷积层stride(步长)为2从而代替池化效果，每个卷积层均经过Batch Normalization并使用LeakeyReLU作为激活函数。
第二特征提取模块包括用于上采样的五次上采样层。其中，五次上采样层均为反卷积层，每层网络均包含Batch Normalization层和Dropout层，并使用Relu作为激活函数。
分类模块包括三层全连接层，分别为：8×8×128、1×1×128和1×1×2的卷积层，考虑到甲状腺结节分割是一个像素的二分类问题，因此最后一层卷积深度为2。
本实施例的卷积神经网络模型采用类VGG11网络作为主干网络用于下采样层提取感兴趣区域的深层特征，以此实现对甲状腺结节的自动语义分割。类VGG11网络通过5次反卷积从第5层开始逐步向上采样5次，每次分别与BN层进行插值从而补充下采样过程中丢掉的细节信息，最后一次上采样还原到掩码图像。
识别单元13对所述候选特征信息进行处理获取所述候选目标信息。
进一步地，识别单元13可采用二值化方法对所述候选特征信息进行处理，获取所述候选目标信息。采用二值化方法对提取到的候选特征信息进行处理，通过闭运算(如：膨胀-腐蚀的闭运算)合并相邻的独立特征，增加图像关联性，提取轮廓，还可依据预处理的缩放值将轮廓坐标通过逆运算到原图像的大小，采用边界追踪算法获取轮廓数据(即：候选目标信息)。
融合单元14，用于将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像。
在本实施例中，融合单元14对所述候选目标信息进行计算，提取符合预设条件的目标信息，将所述目标信息与所述当前帧甲状腺图像叠加，生成标识图像。
其中，预设条件为目标信息对应的面积是否大于预设面积值，若是，则表示候选目标信息符合预设条件；若否，则表示候选目标信息不符合预设条件。
在本实施例中，甲状腺结节超声图像实时识别装置1基于扫描过程中大部分的超声图像之间均存在关联性的特征，通过将当前帧甲状腺图像与上一帧甲状腺图像进行匹配，在实时识别的过程中过滤掉关联性强的图像(如：相似度高的图像，或匹配的图像)，从而实现降低计算量的目的；对于不匹配的图像进行识别获取候选目标信息，通过将候选目标信息与相应的图像进行融合，生成标识图像(即：标识甲状腺结节的图像)，达到实时识别甲状腺结节的目的。本发明的甲状腺结节超声图像实时识别装置1的识别周期在30毫秒之内，延迟小于50毫秒，实时性强。结果基于NVIDIA Jetson Nano设备测试获得。
实施例三
如图5所示，一种计算机设备2，所述计算机设备2包括：
存储器21，用于存储可执行程序代码；以及
处理器22，用于调用所述存储器21中的所述可执行程序代码，执行步骤包括上述的甲状腺结节超声图像实时识别方法。
图5中以一个处理器22为例。
存储器21作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的甲状腺结节超声图像实时识别方法对应的程序指令/模块(例如，图4所示的接收单元11、匹配单元12、获取单元15、识别单元13和融合单元14)。处理器22通过运行存储在存储器21中的非易失性软件程序、指令以及模块，从而执行计算机设备2的各种功能应用以及数据处理，即实现上述实施例用于甲状腺结节超声图像实时识别方法。
存储器21可以包括存储程序区和存储数据区，其中，存储程序区可存储搡作系统、至少一个功能所需要的应用程序；存储数据区可存储用户在计算机设备2的播放信息。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器21可选包括相对于处理器22远程设置的存储器21，这些远程存储器21可以通过网络连接至甲状腺结节超声图像实时识别装置1。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器21中，当被所述一个或者多个处理器22执行时，执行上述任意方法实施例中的甲状腺结节超声图像实时识别方法，例如，执行以上描述的图1中的方法步骤S1至步骤S5，实现图4所示的接收单元11、匹配单元12、获取单元15、识别单元13和融合单元14的功能。
本申请实施例的计算机设备2以多种形式存在，包括但不限于:
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
实施例四
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图5中的一个处理器22，可使得上述一个或多个处理器22可执行上述任意方法实施例中的甲状腺结节超声图像实时识别方法，例如，执行以上描述的图1中的方法步骤S1至步骤S5，实现图4所示的甲状腺结节超声图像实时识别方法的功能。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种甲状腺结节超声图像实时识别方法，其特征在于，包括：
获取当前帧甲状腺图像；
将所述当前帧甲状腺图像与上一帧甲状腺图像进行匹配；
若所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配，获取与所述上一帧甲状腺图像对应的候选目标信息；
若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，对所述当前帧甲状腺图像进行识别，获取候选目标信息；
将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像。
2.根据权利要求1所述的甲状腺结节超声图像实时识别方法，其特征在于，将所述当前帧甲状腺图像与所述上一帧甲状腺图像进行匹配，包括：
采用相似度匹配算法计算所述当前帧甲状腺图像与所述上一帧甲状腺图像之间的相似值；
若所述相似值大于或等于预设阈值，则所述当前帧甲状腺图像与所述上一帧甲状腺图像匹配；
若所述相似值小于所述预设阈值，则所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配。
3.根据权利要求1所述的甲状腺结节超声图像实时识别方法，其特征在于，若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，对所述当前帧甲状腺图像进行识别，获取候选目标信息，包括：
若所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息；
对所述候选特征信息进行处理获取所述候选目标信息。
4.根据权利要求3所述的甲状腺结节超声图像实时识别方法，其特征在于，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息，包括：
对所述当前帧甲状腺图像进行预处理，采用卷积神经网络模型对经预处理后的所述当前帧甲状腺图像进行识别，提取候选特征信息。
5.根据权利要求3所述的甲状腺结节超声图像实时识别方法，其特征在于，所述卷积神经网络模型包括：第一特征提取模块、第二特征提取模块和分类模块；
当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，采用卷积神经网络模型对所述当前帧甲状腺图像进行识别，提取候选特征信息，包括：
当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配，通过所述第一特征提取模块提取第一特征信息；
通过所述第二特征提取模块基于所述第一特征信息进行特征提取获取第二特征信息，将所述第一特征信息与所述第二特征信息逐级融合，生成第三特征信息；
通过所述分类模块根据所述第三特征信息的像素预测语义分割结果，生成所述候选特征信息。
6.根据权利要求3所述的甲状腺结节超声图像实时识别方法，其特征在于，对所述候选特征信息进行处理获取所述候选目标信息，包括：
采用二值化方法对所述候选特征信息进行处理，获取所述候选目标信息。
7.根据权利要求1所述的甲状腺结节超声图像实时识别方法，其特征在于，将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像，包括：
对所述候选目标信息进行计算，提取符合预设条件的目标信息，将所述目标信息与所述当前帧甲状腺图像叠加，生成标识图像。
8.一种甲状腺结节超声图像实时识别装置，其特征在于，包括：
接收单元，用于获取当前帧甲状腺图像；
匹配单元，用于将所述当前帧甲状腺图像与上一帧甲状腺图像进行匹配；
获取单元，用于获取与所述上一帧甲状腺图像对应的候选目标信息；
识别单元，用于当所述当前帧甲状腺图像与所述上一帧甲状腺图像不匹配时，对所述当前帧甲状腺图像进行识别，获取候选目标信息；
融合单元，用于将所述候选目标信息与所述当前帧甲状腺图像进行融合，生成标识图像。
9.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述甲状腺结节超声图像实时识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述甲状腺结节超声图像实时识别方法的步骤。
CN202010238372.3A 2020-03-30 2020-03-30 甲状腺结节超声图像实时识别方法及装置 Active CN111461202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238372.3A CN111461202B (zh) 2020-03-30 2020-03-30 甲状腺结节超声图像实时识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238372.3A CN111461202B (zh) 2020-03-30 2020-03-30 甲状腺结节超声图像实时识别方法及装置

Publications (2)

Publication Number Publication Date
CN111461202A true CN111461202A (zh) 2020-07-28
CN111461202B CN111461202B (zh) 2023-12-05

Family

ID=71680212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238372.3A Active CN111461202B (zh) 2020-03-30 2020-03-30 甲状腺结节超声图像实时识别方法及装置

Country Status (1)

Country Link
CN (1) CN111461202B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102311A (zh) * 2020-09-27 2020-12-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112419396A (zh) * 2020-12-03 2021-02-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
WO2024093099A1 (zh) * 2022-11-01 2024-05-10 上海杏脉信息科技有限公司 甲状腺超声图像处理方法、装置、介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾志宏;周昌乐;林坤辉;曲延云;陈嘉威;: "目标跟踪的视觉注意计算模型" *
朱玲;施心陵;刘亚杰;田溪;: "基于蚁群算法的甲状腺结节超声图像边沿检测法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102311A (zh) * 2020-09-27 2020-12-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
WO2021169452A1 (zh) * 2020-09-27 2021-09-02 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112102311B (zh) * 2020-09-27 2023-07-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112419396A (zh) * 2020-12-03 2021-02-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
CN112419396B (zh) * 2020-12-03 2024-04-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
WO2024093099A1 (zh) * 2022-11-01 2024-05-10 上海杏脉信息科技有限公司 甲状腺超声图像处理方法、装置、介质及电子设备

Also Published As

Publication number Publication date
CN111461202B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN107545241B (zh) 神经网络模型训练及活体检测方法、装置及存储介质
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US20210158533A1 (en) Image processing method and apparatus, and storage medium
EP3975123A1 (en) Map constructing method, positioning method and system, wireless communication terminal, and computer-readable medium
CN111461202B (zh) 甲状腺结节超声图像实时识别方法及装置
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
US20190188460A1 (en) Method and device for use in hand gesture recognition
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
WO2023173646A1 (zh) 一种表情识别方法及装置
CN111178221A (zh) 身份识别方法及装置
CN111325709A (zh) 无线胶囊内窥镜图像检测系统及检测方法
CN114332458A (zh) 图像处理方法、装置、电子设备及存储介质
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN115546149A (zh) 肝脏分割方法及装置、电子设备及存储介质
CN111310669B (zh) 胎儿头围实时测量方法及装置
CN113628148A (zh) 红外图像降噪方法和装置
CN112348112A (zh) 图像识别模型的训练方法、训练装置及终端设备
CN111881338A (zh) 一种基于社交软件轻应用小程序的印刷品内容检索方法
CN111260692A (zh) 人脸跟踪方法、装置、设备及存储介质
CN113313007B (zh) 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN113221809B (zh) 一种基于剪影图的运动状态识别方法、电子设备及介质
CN113392821B (zh) 动态手势识别方法、装置、电子设备及可读存储介质
CN113096202B (zh) 图像压缩方法及装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201015

Address after: Room 5030, 5 / F, building e, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant after: Shanghai Shenzhi Information Technology Co.,Ltd.

Address before: Room 3388-c, building 2, 1077 Zuchongzhi Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant before: Shanghai Zhuxing Biotechnology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant