CN109241967A - 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质 - Google Patents

基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质 Download PDF

Info

Publication number
CN109241967A
CN109241967A CN201811027058.XA CN201811027058A CN109241967A CN 109241967 A CN109241967 A CN 109241967A CN 201811027058 A CN201811027058 A CN 201811027058A CN 109241967 A CN109241967 A CN 109241967A
Authority
CN
China
Prior art keywords
network
layer
residual error
depth residual
full articulamentum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811027058.XA
Other languages
English (en)
Other versions
CN109241967B (zh
Inventor
卢云
王磊
田广野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of University of Qingdao
Original Assignee
Affiliated Hospital of University of Qingdao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of University of Qingdao filed Critical Affiliated Hospital of University of Qingdao
Priority to CN201811027058.XA priority Critical patent/CN109241967B/zh
Publication of CN109241967A publication Critical patent/CN109241967A/zh
Application granted granted Critical
Publication of CN109241967B publication Critical patent/CN109241967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的甲状腺超声图像自动识别系统,属于图像识别技术领域。该系统包括深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end‑to‑end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层。该实施例,利用计算机技术来处理甲状腺超声图像,代替医生来完成病变组织的跟踪识别,可减少人工操作,有一致的处理结果以及相当的准确度,便于集成和大规模的应用。

Description

基于深度神经网络的甲状腺超声图像自动识别系统、计算机 设备、存储介质
技术领域
本发明涉及图像识别技术领域,特别涉及一种基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质。
背景技术
甲状腺癌是内分泌系统肿瘤中最常见的恶性肿瘤,其发病率呈现逐年递增的趋势。超声检查是诊断甲状腺结节的首选方法,甲状腺结节的良恶性判别最常采用超声及FNAB检查,对已存在或怀疑存在或其他影像学检查偶然发现的甲状腺结节,都应积极进行甲状腺超声检查。
在传统的诊断中,超声结果的判读主要依赖超声科医生的知识与经验,存在较大的主观性。随着患者数量的急剧增加,必然导致医生的劳动强度大幅提升和平均诊断时间的缩短,从而影响诊断结果。
近年来,由于计算机技术的迅速发展及图形图像处理技术的日渐成熟,使得计算机技术逐步渗入到医学领域,开创了数字医疗的新时代。甲状腺计算机辅助诊断系统(computer aided diagnosis,CAD)取得快速发展,可以有效减少因主观因素产生的错误并协助医生做出快速准确的诊断,但目前的CAD系统需人工处理图像,标识兴趣区域,无法实现自动识别。
如何通过计算机技术来处理甲状腺超声图像,代替医生来完成病变组织的跟踪识别,是目前亟待解决的问题。
发明内容
本发明实施例提供了一种基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
根据本发明实施例的第一方面,提供了一种基于深度神经网络的甲状腺超声图像自动识别系统。
在一些可选实施例中,所述系统包括深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;
所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层;
首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图;然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到bounding boxes以及每个bounding box所属类别的概率。
可选地,在所述深度残差网络的输出后加上一个1*1*1024的卷积层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于与实际边界框的重叠具有最高交并比IoU的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。
可选地,所述系统的训练过程如下:收集和标注了N个良性结节和M个恶性结节作为训练数据,对于深度神经网络模型的训练,使用迁移学习的方法,首先,在VOC数据集上进行预训练,得到所述检测网络的初始权重;然后,在甲状腺超声图像训练集上迭代训练,将权重微调至最优;最后,检测网络和深度残差网络的输出是当前图像上检测出的疑似病变区域和每个区域是良性或恶性的概率。
根据本发明实施例的第二方面,提供一种计算机设备。
在一些可选实施例中,所述计算机设备包括:存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序,所述处理器执行所述程序时实现以下步骤:构建深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;
所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层;
首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图;然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到bounding boxes以及每个bounding box所属类别的概率。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于与实际边界框的重叠具有最高交并比IoU的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。
根据本发明实施例的第三方面,提供了一种存储介质。
在一些可选实施例中,所述存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时实现如下步骤:构建深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;
所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层;
首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图;然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到bounding boxes以及每个bounding box所属类别的概率。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于与实际边界框的重叠具有最高交并比IoU的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。
本发明实施例提供的技术方案可以包括以下有益效果:
利用计算机技术来处理甲状腺超声图像,代替医生来完成病变组织的跟踪识别,可减少人工操作,处理速度快,有一致的处理结果以及相当的准确度,便于集成和大规模的应用。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于深度神经网络的甲状腺超声图像自动识别系统的框图;
图2是根据另一示例性实施例示出的一种基于深度神经网络的甲状腺超声图像自动识别系统的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,各实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中,诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来,而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言,由于其与实施例公开的方法部分相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
传统的用于甲状腺结节识别的CAD系统需要先手动标注出感兴趣病灶区域,然后再用分类器区分出恶性和良性病变。
本发明提出了一种基于深度神经网络的甲状腺超声图像自动识别系统,使用了基于目标检测的网络架构,可以同时定位出甲状腺结节的位置和病变类别,而不需要事先选择感兴趣区域。
图1示出了基于深度神经网络的甲状腺超声图像自动识别系统的一个可选实施例。
该可选实施例中,所述系统包括深度神经网络模型,所述深度神经网络模型包括一个基于yolo(You Only Look Once:Unified,Real-Time Object Detection)v2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层,所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,所述深度残差网络和所述检测网络共享卷积层并去掉最后一个池化层、全连接层;首先,利用所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图(Convolutional Feature Map);然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到bounding boxes以及每个bounding box所属类别的概率,每个bounding boxes对应甲状腺结节候选区域,每个bounding box所属类别的概率对应甲状腺结节良性或者恶性的概率。
采用该可选实施例,对于输入的超声原始图像,所述系统仅仅通过一个深度神经网络模型,就可以得到bounding boxes以及每个bounding box所属类别的概率;另外所述系统运行速度快,可以实时的处理输入的超声图像。
采用该可选实施例,所述系统去掉深度残差网络的最后一个池化层和全连接层,然后将检测网络的深层特征图与深度残差网络的浅层特征融合,可以获得更好的细粒度特征。
图1中示出的仅为甲状腺超声图像自动识别系统的原理框图,卷积层、池化层、全连接层的数量可以是一个,也可以是多个。
在另一个可选实施例中,如图2所示,为了降低特征维度来减少运算量,在深度残差网络的输出后加上一个1*1*1024的卷积层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:为了生成候选区域,在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,例如,在默认情况下,使用3个尺度和3个长宽比,因此每个滑动位置会产生9个参考边界框。为了得到候选区域,为每个锚点分配一个二值类别标签,是目标或不是目标。然后,对于与实际边界框的重叠具有最高交并比(IoU)的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。通过上述标记方式,所述检测网络在卷积特征图上生成可能为甲状腺结节的区域,即甲状腺结节候选区域,利用多尺度和长宽比的锚盒来预测边界框坐标和分类概率,可以实现在仅仅依赖单一尺度的图像和特征映射,并使用单一尺寸的滤波器的情况下,进行多尺度的预测,为后续计算省去了大量的时间和精力。
所述系统的训练过程如下:收集和标注了N(N>2000)个良性结节和M(M>2000)个恶性结节作为训练数据,这些结节来自不同年龄和不同性别的病人超声影像。对于深度神经网络模型的训练,使用迁移学习的方法,首先,在VOC数据集上进行预训练,得到所述检测网络的初始权重;然后,在甲状腺超声图像训练集上迭代训练,将权重微调至最优;最后,检测网络和深度残差网络的输出是当前图像上检测出的疑似病变区域和每个区域是良性或恶性的概率。
与其他的检测网络相比,本发明的系统基于yolov2的检测网络具有快速和实时检测的性能,而且与现有技术中的半自动的甲状腺识别方法相比,本发明的系统可以自动识别出结节位置和分辨出结节的良恶性,使得所述甲状腺超声图像自动识别系统可以嵌入超声影像设备,用来辅助影像科医生诊断。另外,所述系统可以获取图像更细粒度的特征,增强了对小结节的检测和识别准确率;而且与先提取特征,然后进行分类器训练的传统机器学习方法相比,本发明的系统利用神经网络自动进行特征提取和识别,具有更好的稳健性,对于不同设备、不同质量的超声影像都有很好的识别能力。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成以下步骤:构建深度神经网络模型,所述深度神经网络模型包括一个基于yolo(You Only Look Once:Unified,Real-TimeObject Detection)v2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层,所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,所述深度残差网络和所述检测网络共享卷积层并去掉最后一个池化层、全连接层;首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图(Convolutional Feature Map);然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到bounding boxes以及每个bounding box所属类别的概率,每个bounding boxes对应甲状腺结节候选区域,每个bounding box所属类别的概率对应甲状腺结节的良性或者恶性概率。
采用该可选实施例,对于输入的超声原始图像,所述系统仅仅通过一个深度神经网络模型,就可以得到bounding boxes以及每个bounding box所属类别的概率;另外所述系统运行速度快,可以实时的处理输入的超声图像。
采用该可选实施例,所述系统去掉深度残差网络的最后一个池化层和全连接层,然后将检测网络的深层特征图与深度残差网络的浅层特征融合,可以获得更好的细粒度特征。
在另一个可选实施例中,为了降低特征维度来减少运算量,在深度残差网络的输出后加上一个1*1*1024的卷积层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:为了生成候选区域,在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
可选地,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,例如,在默认情况下,使用3个尺度和3个长宽比,因此每个滑动位置会产生9个参考边界框。为了得到甲状腺结节候选区域,为每个锚点分配一个二值类别标签,是目标或不是目标。然后,对于与实际边界框的重叠具有最高交并比(IoU)的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。通过上述标记方式,所述检测网络在卷积特征图上生成可能为甲状腺结节的区域,即甲状腺结节候选区域,利用多尺度和长宽比的锚盒来预测边界框坐标和分类概率,可以实现在仅仅依赖单一尺度的图像和特征映射,并使用单一尺寸的滤波器的情况下,进行多尺度的预测,为后续计算省去了大量的时间和精力。
所述系统的训练过程如下:收集和标注了N(N>2000)个良性结节图像和M(M>2000)个恶性结节图像作为训练数据,这些结节来自不同年龄和不同性别的病人超声图像。对于深度神经网络模型的训练,使用迁移学习的方法,首先,在VOC数据集上进行预训练,得到所述检测网络的初始权重;然后,在甲状腺超声图像训练集上迭代训练,将权重微调至最优;最后,检测网络和深度残差网络的输出是当前图像上检测出的疑似病变区域(甲状腺结节候选区域)和每个区域是良性或恶性的概率。
上述非临时性计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁带和光存储设备等。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,应该理解到,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应当理解的是,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于深度神经网络的甲状腺超声图像自动识别系统,其特征在于,包括深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;
所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层;
首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图;然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到bounding boxes以及每个boundingbox所属类别的概率。
2.如权利要求1所述的系统,其特征在于,在所述深度残差网络的输出后加上一个1*1*1024的卷积层。
3.如权利要求1所述的系统,其特征在于,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
4.如权利要求3所述的系统,其特征在于,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于与实际边界框的重叠具有最高交并比IoU的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。
5.如权利要求1所述的系统,其特征在于,所述系统的训练过程如下:收集和标注了N个良性结节和M个恶性结节作为训练数据,对于深度神经网络模型的训练,使用迁移学习的方法,首先,在VOC数据集上进行预训练,得到所述检测网络的初始权重;然后,在甲状腺超声图像训练集上迭代训练,将权重微调至最优;最后,检测网络和深度残差网络的输出是当前图像上检测出的疑似病变区域和每个区域是良性或恶性的概率。
6.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序,其特征在于,所述处理器执行所述程序时实现以下步骤:构建深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;
所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层;
首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图;然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到boundingboxes以及每个boundingbox所属类别的概率。
7.如权利要求6所述的计算机设备,其特征在于,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层。
8.如权利要求7所述的计算机设备,其特征在于,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,还包括:锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于与实际边界框的重叠具有最高交并比IoU的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时实现以下步骤:构建深度神经网络模型,所述深度神经网络模型包括一个基于yolov2的end-to-end检测网络,所述检测网络包括卷积层、池化层、全连接层和输出层;
所述深度神经网络模型还包括一个深度残差网络,所述深度残差网络包括卷积层、池化层、全连接层和输出层,去掉最后一个池化层、全连接层,所述深度残差网络和所述检测网络共享第一个卷积层和最后一个池化层、全连接层;
首先,所述检测网络对输入的超声原始图像的图像特征进行抽象并生成卷积特征图;然后,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域;再然后,在所述检测网络中,由感兴趣区域特征池化层对所述卷积特征图以及所述候选区域进行卷积操作,得到一组低维特征,该低维特征与深度残差网络的浅层特征相融合,深度残差网络与所述检测网络共用最后一个池化层、全连接层和输出层,得到boundingboxes以及每个boundingbox所属类别的概率。
10.如权利要求9所述的存储介质,其特征在于,所述检测网络对所述卷积特征图进行筛选,生成甲状腺结节候选区域的步骤,具体包括:在所述卷积特征图上加入一组进行滑动扫描的小网络,该小网络以每个滑动窗口作为输入,利用卷积操作将每一个滑动窗口映射到一个低维特征,然后将该低维特征与深度残差网络的浅层特征相融合,分别输入到两个子全连接层,其中一个是边界框回归层,另一个是边界框分类层;
锚点位于每个滑动窗口的中心,并与一个尺度和长宽比相关,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于与实际边界框的重叠具有最高交并比IoU的锚点,或者与实际边界框的重叠具有超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点与实际边界框的IoU比率低于0.3,给该锚点分配一个负标签。
CN201811027058.XA 2018-09-04 2018-09-04 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质 Active CN109241967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811027058.XA CN109241967B (zh) 2018-09-04 2018-09-04 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811027058.XA CN109241967B (zh) 2018-09-04 2018-09-04 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN109241967A true CN109241967A (zh) 2019-01-18
CN109241967B CN109241967B (zh) 2021-01-05

Family

ID=65060540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811027058.XA Active CN109241967B (zh) 2018-09-04 2018-09-04 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN109241967B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522968A (zh) * 2018-11-29 2019-03-26 济南浪潮高新科技投资发展有限公司 一种基于串行双任务网络的病灶区检测方法及系统
CN110211116A (zh) * 2019-06-03 2019-09-06 东北大学 一种基于深度学习网络和浅层纹理特征融合的甲状腺超声图像结节分析方法
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110705615A (zh) * 2019-09-23 2020-01-17 温州大学 一种基于TV模型与GoogLeNet模型的甲状腺结节检测和分类方法
CN111091559A (zh) * 2019-12-17 2020-05-01 山东大学齐鲁医院 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111210909A (zh) * 2020-01-13 2020-05-29 青岛大学附属医院 一种基于深度神经网络的直肠癌t分期自动诊断系统及其构建方法
CN111292304A (zh) * 2020-01-22 2020-06-16 青岛大学附属医院 一种基于深度神经网络的胰腺肿瘤病理自动诊断系统
CN111598876A (zh) * 2020-05-18 2020-08-28 北京小白世纪网络科技有限公司 甲状腺结节自动识别模型构建方法、系统及设备
CN111598875A (zh) * 2020-05-18 2020-08-28 北京小白世纪网络科技有限公司 甲状腺结节自动检测模型构建方法、系统及装置
CN111652838A (zh) * 2020-04-16 2020-09-11 上海长征医院 基于目标检测网络的甲状腺结节定位与超声报告纠错方法
WO2020215676A1 (zh) * 2019-04-26 2020-10-29 平安科技(深圳)有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN111862044A (zh) * 2020-07-21 2020-10-30 长沙大端信息科技有限公司 超声图像处理方法、装置、计算机设备和存储介质
CN116386848A (zh) * 2023-03-10 2023-07-04 王子骁 基于ai技术的多维度甲状腺结节精准化评价系统及方法
CN117218127A (zh) * 2023-11-09 2023-12-12 吉林大学 超声内镜辅助监测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107292247A (zh) * 2017-06-05 2017-10-24 浙江理工大学 一种基于残差网络的人体行为识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107292247A (zh) * 2017-06-05 2017-10-24 浙江理工大学 一种基于残差网络的人体行为识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANG FANG ETC.: "Multi-scale Region Proposal Network Trained by Multi-domain Learning for Visual Object Tracking", 《SPRINGERLINK》 *
张俊为: "基于改进YOLOv2网络的遗留物检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈强锐等: "基于深度学习的肺部肿瘤检测方法", 《计算机技术与发展》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522968A (zh) * 2018-11-29 2019-03-26 济南浪潮高新科技投资发展有限公司 一种基于串行双任务网络的病灶区检测方法及系统
WO2020215676A1 (zh) * 2019-04-26 2020-10-29 平安科技(深圳)有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN110211116A (zh) * 2019-06-03 2019-09-06 东北大学 一种基于深度学习网络和浅层纹理特征融合的甲状腺超声图像结节分析方法
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110705615A (zh) * 2019-09-23 2020-01-17 温州大学 一种基于TV模型与GoogLeNet模型的甲状腺结节检测和分类方法
CN111091559A (zh) * 2019-12-17 2020-05-01 山东大学齐鲁医院 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111210909A (zh) * 2020-01-13 2020-05-29 青岛大学附属医院 一种基于深度神经网络的直肠癌t分期自动诊断系统及其构建方法
CN111292304A (zh) * 2020-01-22 2020-06-16 青岛大学附属医院 一种基于深度神经网络的胰腺肿瘤病理自动诊断系统
CN111652838B (zh) * 2020-04-16 2022-09-09 上海长征医院 基于目标检测网络的甲状腺结节定位与超声报告纠错方法
CN111652838A (zh) * 2020-04-16 2020-09-11 上海长征医院 基于目标检测网络的甲状腺结节定位与超声报告纠错方法
CN111598875A (zh) * 2020-05-18 2020-08-28 北京小白世纪网络科技有限公司 甲状腺结节自动检测模型构建方法、系统及装置
CN111598876B (zh) * 2020-05-18 2021-03-16 北京小白世纪网络科技有限公司 甲状腺结节自动识别模型构建方法、系统及设备
CN111598876A (zh) * 2020-05-18 2020-08-28 北京小白世纪网络科技有限公司 甲状腺结节自动识别模型构建方法、系统及设备
CN111862044A (zh) * 2020-07-21 2020-10-30 长沙大端信息科技有限公司 超声图像处理方法、装置、计算机设备和存储介质
CN116386848A (zh) * 2023-03-10 2023-07-04 王子骁 基于ai技术的多维度甲状腺结节精准化评价系统及方法
CN117218127A (zh) * 2023-11-09 2023-12-12 吉林大学 超声内镜辅助监测系统及方法
CN117218127B (zh) * 2023-11-09 2024-01-26 吉林大学 超声内镜辅助监测系统及方法

Also Published As

Publication number Publication date
CN109241967B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN109241967A (zh) 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
Mazurowski et al. Segment anything model for medical image analysis: an experimental study
Zhou et al. A comprehensive review for breast histopathology image analysis using classical and deep neural networks
US8270688B2 (en) Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading
US10997466B2 (en) Method and system for image segmentation and identification
CN100484474C (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断系统
CN109741346A (zh) 感兴趣区域提取方法、装置、设备及存储介质
McGuinness et al. Toward automated evaluation of interactive segmentation
Korfiatis et al. Combining 2D wavelet edge highlighting and 3D thresholding for lung segmentation in thin-slice CT
US8611632B2 (en) Method of selecting and visualizing findings within medical images
Song et al. Hybrid segmentation of mass in mammograms using template matching and dynamic programming
US20080298682A1 (en) Method a System and a Computer Program for Segmenting a Structure Associated with a Reference Structure in an Image
CN109376756A (zh) 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质
Zheng et al. Interpretative computer-aided lung cancer diagnosis: From radiology analysis to malignancy evaluation
Grim et al. Computer-aided evaluation of screening mammograms based on local texture models
Conci et al. A new measure for comparing biomedical regions of interest in segmentation of digital images
Davis et al. Automated bone age assessment using feature extraction
AU2020223750B2 (en) Method and System for Image Annotation
Amrehn et al. A semi-automated usability evaluation framework for interactive image segmentation systems
Marrocco et al. Detection of cluster of microcalcifications based on watershed segmentation algorithm
CN100543774C (zh) 用于结肠壁提取的系统和方法
Deshpande et al. Combining handcrafted features and deep learning for automatic classification of lung cancer on CT scans
Remeš Texture Modeling Applied to Medical Images
Shakir Early detection of lung cancer
Zhang et al. State-of-the-Art and Challenges in Pancreatic CT Segmentation: A Systematic Review of U-Net and Its Variants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant