CN110276741A - 结节检测及其模型训练的方法和装置以及电子设备 - Google Patents

结节检测及其模型训练的方法和装置以及电子设备 Download PDF

Info

Publication number
CN110276741A
CN110276741A CN201910176671.6A CN201910176671A CN110276741A CN 110276741 A CN110276741 A CN 110276741A CN 201910176671 A CN201910176671 A CN 201910176671A CN 110276741 A CN110276741 A CN 110276741A
Authority
CN
China
Prior art keywords
training
model
loss
sample
negative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910176671.6A
Other languages
English (en)
Other versions
CN110276741B (zh
Inventor
陈鹏
孙钟前
程陈
杨巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910176671.6A priority Critical patent/CN110276741B/zh
Publication of CN110276741A publication Critical patent/CN110276741A/zh
Application granted granted Critical
Publication of CN110276741B publication Critical patent/CN110276741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种结节检测及其模型训练的方法和装置、计算机可读存储介质以及电子设备。所述结节检测的模型训练方法包括：基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理；使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失；以及基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。基于本发明实施例的方案，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下出现过拟合的情况，使得基于训练好的模型提取的特征向量有更强的辨别力。

Description

结节检测及其模型训练的方法和装置以及电子设备
技术领域
本发明涉及计算机技术领域，特别涉及一种结节检测及其模型训练的方法和装置、计算机可读存储介质以及电子设备。
背景技术
目前在医疗领域，对诸如肺结节和甲状腺结节等结节的研究，日益引起广泛关注。通说认为，结节是癌症最重要的早期征象之一，根据结节的病变特征能够推断出病灶特性。由于结节的大小、形状以及密度等特征的不确定性，即使基于清晰的CT图像，传统的医学检测方法难以满足肺结节检测精确度的需求。
近年来，随着人工智能和深度学习算法的发展，也推动图像处理的相关领域产生巨大变革。医疗诊断中的图像处理也越来越多的涉足其中，将基于大数据的深度学习应用于结节诊断中，对于充分利用医疗资源、缓解医生诊断压力有着重大意义。利用深度神经网络提取CT图像中的抽象特征，与人工手动提取的特征相比，能够更客观的表征图像自身的特性，避免人工主观因素在不同环境中造成不同程度的影响，因此日渐成为结节检测方法的主流。同时，为了结合CT图像的三维属性，相关技术中通常基于3D卷积神经网络(Convolutional Neural Network，CNN)来进行结节的检测。
与2D模型相比，3D CNN模型的复杂度要更大，而且不像前者那样可利用已有的2DCNN模型(例如利用ImageNet开放数据库训练的模型)作为预训练参数，这意味着后者的训练难度也更大。已有的用于结节检测的3D CNN模型，在训练数据较大的情况下，容易出现对训练数据的过拟合，造成模型的实际检测效果不佳。
发明内容
为了解决相关技术中结节检测模型实际效果不佳的问题，本发明提供了一种结节检测及其模型训练的方法和装置、计算机可读存储介质以及电子设备。
根据本发明的实施例，提供一种结节检测的模型训练方法，所述方法包括：基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理；使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失；以及基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。
根据本发明的实施例，提供一种结节检测方法，包括：使用卷积神经网络CNN模型对采集的图像序列提取特征向量，所述CNN模型根据如上所述的结节检测的模型训练方法训练得到；以及基于所述提取的特征向量进行结节检测。
根据本发明的实施例，提供一种结节检测的模型训练装置，包括：样本生成模块，设置为基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理；特征提取模块，设置为使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失；以及模型训练模块，设置为基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。
根据本发明的实施例，提供一种结节检测装置，包括：提取模块，设置为使用卷积神经网络CNN模型对采集的图像序列提取特征向量，所述CNN模型根据如上所述的结节检测的模型训练装置训练得到；以及检测模块，设置为基于所述提取的特征向量进行结节检测。
根据本发明的实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的结节检测的模型训练方法或者如上所述的结节检测方法。
根据本发明的实施例，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的结节检测的模型训练方法或者如上所述的结节检测方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
基于本发明实施例提供的模型训练及结节检测方案，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下出现过拟合的情况，使得基于训练好的模型提取的特征向量有更强的辨别力，从而提高结节检测识别的性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1示出了可以应用本发明实施例的模型训练方法或装置、或者结节检测方法或装置的示例性系统架构的示意图。
图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
图3是根据一示例性实施例示出的一种结节检测的模型训练方法的流程图。
图4是根据一示例性实施例示出的增强处理示意图。
图5是图3所示实施例中步骤330的一个示例的流程示意图。
图6是根据另一示例性实施例示出的一种结节检测的模型训练方法的流程图。
图7是图6所示实施例的基础网络结构示意图。
图8是根据一示例性实施例示出的一种结节检测方法的流程图。
图9是根据一示例性实施例示出的一种结节检测的模型训练装置的框图。
图10是根据另一示例性实施例示出的一种结节检测的模型训练装置的框图。
图11是根据一示例性实施例示出的一种结节检测装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本发明实施例的结节检测的模型训练方法或装置、或者结节检测方法或装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。服务器105可以是提供各种服务的服务器。
例如，用户利用终端设备103(也可以是终端设备101或102)向服务器105上传了训练图像序列，该训练图像序列中包括已标注结节位置的一系列训练图像；服务器105可以基于上述训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理；使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失；以及基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。
又例如，用户利用终端设备101(也可以是终端设备102或103)，例如还可配合单独设置的CT设备，采集CT图像，并上传至服务器105；服务器105使用前述训练好的CNN模型对该CT图像提取特征向量，并基于提取的特征向量进行结节检测。
在一些实施例中，本发明实施例所提供的结节检测的模型训练方法或者结节检测方法一般由服务器105执行，相应地，结节检测的模型训练装置或者结节检测装置一般设置于服务器105中。在另一些实施例中，某些终端可以具有与服务器相似的功能从而执行本方法。因此，本发明实施例所提供的结节检测的模型训练方法或者结节检测方法不限定在服务器端执行。
图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图6所示的各个步骤。
在详细阐述本发明的实施例的技术方案之前，以下介绍一些相关的技术方案、术语和原理。
卷积神经网络(Convolutional Neural Network，CNN)
CNN是一种多层的监督学习神经网络，常用来处理图像相关的机器学习问题。
典型的CNN由卷积层(Convolution)、池化层(Pooling)和全连接层(FullyConnection)组成。其中，低隐层一般由卷积层和池化层交替组成，卷积层的作用是通过卷积运算使图像的原信号特征增强并降低噪音，池化层的作用在于根据图像局部相关性的原理减少计算量同时保持图像旋转不变性。全连接层位于CNN的高层，其输入是由卷积层和池化层进行特征提取得到的特征图像，输出可连接分类器，通过采用逻辑回归、Softmax回归、或者是支持向量机(SupportVector Machine，SVM)对输入图像进行分类。
CNN的训练过程一般采用梯度下降法最小化损失函数，通过全连接层后连接的损失层，对网络中各层的权重参数逐层反向调节，并通过频繁的迭代训练提高网络的精度。CNN的训练样本集通常由形如“输入向量，理想输出向量”的向量对构成，在开始训练前，网络所有层的权重参数可以用一些不同的小随机数进行初始化。由于CNN本质上可视为一种输入到输出的映射，能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式，因此可以用已知向量对组成的训练样本集对CNN加以训练，使其具有输入输出对之间的映射能力。
Softmax损失函数
在使用CNN进行分类任务的训练时，全连接层后连接的损失层往往使用交叉熵损失函数。全连接层的训练目标就是使得最后得到的权重参数矩阵W，对于输入的训练样本，在经过损失层的损失函数计算后，得到的结果与训练样本所对应的标签之间的损失(误差)最低，也即，对应于理想输出向量的预测概率要最高。
交叉熵损失函数一般被构造为：
Lcross_ent＝-[ylog(σ(l))+(1-y)log(1-σ(l)) (1)
其中，y为期望输出，也即真值标签；σ(l)为网络的实际输出，其中l＝∑Wj×Xj+，Wj和b均为待训练的网络参数。
另外，为了防止出现过拟合，在损失层还可对训练的权重参数进行惩罚(也称权重衰减Ldecay)，并设置相应的惩罚系数λ来调整权重衰减所占的比重，此处不再赘述。
结节检测
本文主要结合肺结节的检测场景进行描述，但不应理解为对本发明保护范围的限制。本领域技术人员容易想到将本发明的方案应用于甲状腺结节、乳腺结节等其他结节的检测场景。
肺癌是世界上的主要癌症之一，美国肺筛检试验表明，使用低剂量的计算机断层扫描(CT)，能减少至少20％的肺癌死亡率。肺癌如果能在早期被发现，医生就可以做出更好的治疗选择以保证五年存活率，但事实，以美国为例，也仅有约15％的肺癌在早期被侦测到。因此，发展计算机辅助检测系统(CAD)以帮助放射科医生在肺结节检测更有效率，这显得势在必行。
肺结节早筛系统主要包含两个阶段。
第一阶段是肺结节候选点检测，即通过一些阈值规则进行粗略的候选区域筛选，这些候选区域中，包含肺结节的则定义为阳性样本，否则定义为阴性样本或假阳性样本。
第二阶段是假阳性样本抑制，即通过训练一个合适的肺结节分类器，对正负样本进行分类，最终选择出真正包含结节的候选区。通常情况下，由第一步检测得到的候选点中除了真实的阳性样本外，还会包含大量的假阳性样本，选用合适的技术方案对候选点中的假阳性样本进行抑制，是提高肺结节检测系统精度的重要步骤和手段。
上述两个阶段的检测模式鲜有改动，只是每个阶段所使用的方法有所变化与发展。
早期，研究者主要通过人工提取特征，然后使用各种机器学习方法对特征化向量进行分类。然而，人工提取的特征表达能力低，例如形状特征需要计算主曲率，这是个复杂的过程，还需要额外的预处理以降低无关区域的影响，而且根据形状得到的候选区域掺杂了大量的假阳性，使得无法应用于实际环境。
近年来，受CNN在图像分类任务上的突破影响，研究者开始尝试使用CNN来自动地从原始CT图像中提取特征。
其中一种方式是采用2D CNN模型提取特征，首先由连续层的CT扫描重构出肺区域的立体形状，在结节周围由各种切片方式得到3D结构的2D视角，然后使用CNN模型进行特征提取，最后得到检测结果。尽管2D CNN使用机器学习从标注数据中自动学习判别特征克服了人工提取的缺陷，但这种基于CT图像将切片转换为2D视图的方法，无法充分利用到扫描的3D环境信息。
由此催生出另外一种新兴方式，即基于3D CNN模型直接从立体空间提取特征，其思路与2D CNN基本一致，只是将前者使用的二维卷积核替换为三维卷积核。正如背景技术中所阐述的，与2D模型相比，3D CNN模型的复杂度要更大，而且不像前者那样可利用已有的模型作为预训练参数，这意味着后者的训练难度也更大。已有的用于结节检测的3D CNN模型，在训练数据较大的情况下，容易出现对训练数据的过拟合，造成模型的实际检测效果不佳。
本发明以解决上述3D CNN模型存在的问题着手，但并不意味着对本发明保护范围的限制。本领域技术人员容易想到将本发明的方案应用于其他CNN模型的训练。
为解决上述问题，本发明实施例提供一种结节检测及其模型训练的方法和装置、计算机可读存储介质以及电子设备。
以下对本发明实施例的技术方案的原理和实现细节进行详细阐述。
图3是根据一示例性实施例示出的一种结节检测的模型训练方法的流程图。如图3所示，该模型训练方法可以由任意计算设备执行，可包括以下步骤310-350。
在步骤310中，基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对正样例和负样例进行扰动处理。
这里的训练图像序列例如可包括CT扫描的图像序列，并且在图像中标出了结节的位置。以肺结节为例，因为相比于整个肺部区域的大小，肺结节所占比例非常小，因此可对上述图像序列进行裁剪。另外，本发明的实施例也不限于CT图像，例如还可包括磁共振(MRI)影像等其他医疗图像。
在一个实施例中，步骤310中可使用预设大小的裁剪框，对所述训练图像序列进行随机裁剪，以获取所述正样例和负样例。如果裁剪框内包含标注结节，则定义该裁剪框为正样例，否则为负样例。以3D CNN模型为例，这里的裁剪框例如可以为边长为预设大小(例如21个体素大小)的立方体。
接续，由于结节在图像中所占比例很小，即使基于预设规则对所得到的负样例进行筛选，其数量也远远大于正样例。为了平衡正负样例的数目比，在一个实施例中，步骤310中还包括对正样例进行增强处理。示例性而言，针对经上述随机裁剪得到的正样例，增强处理可包括按预设偏移量改变裁剪框的中心与所包含结节之间的相对位置，并保留改变相对位置前后的正样例作为扰动处理的输入。
图4是根据一示例性实施例示出的增强处理示意图。如图4所示，按预设偏移量(例如为3个体素大小)改变裁剪框41的中心与所包含结节42之间的相对位置，在平面上共可得到9个正样例。由此可见，对于三维空间而言，如果每个方向都进行偏移，则可得到27倍于原来数目的正样例。
需要注意的是，预设偏移量应设置为尽量避免使结节位于裁剪框边缘，因为发生这种情况时通常意味着上下文信息不足以进行结节的判定。
接续，在将每个裁剪框输入CNN模型前，步骤310还包括按预设体素对所述正样例和负样例进行扰动，并保留扰动前后的正样例和扰动前后的负样例作为CNN模型的输入。
与上述增强处理不同的是，这里的扰动处理既对正样例实施，也对负样例实施，目的是增强模型的抗噪性(鲁棒性)，而增强处理目的是为了平衡正负样例的数目比。另外，这里扰动处理的预设体素大小很小，以减小负样例扰动后变为正样例的可能性。例如，可对正样例和负样例进行1体素的扰动。
接续如图3所示，在步骤320中，使用CNN模型对扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失。
这里，与传统Softmax层仅计算交叉熵损失Lcross_ent和权重衰减Ldecay不同，这里基于步骤310得到的正负样例，还添加了额外的两个正则化损失函数。
第一个正则化项为正特征相似度损失。具体而言，如果模型学习到的是正特征(即包含结节)，那么对于扰动处理前后的两个裁剪框，模型从中提取的特征向量应该是非常接近的。换言之，对于从扰动处理前的正样例提取的第一特征向量和从扰动处理后的正样例提取的第二特征向量，相似度损失函数可被构建为使得，在CNN模型的训练过程中，上述第一特征向量与第二特征向量之间的距离趋于最小化。
作为一个示例，相似度损失函数可被构建为如下式所示：
其中，Lsim表示正特征相似度损失，f+和分别表示从扰动处理前的正样例提取的第一特征向量和从扰动处理后的正样例提取的第二特征向量。
除此之外，由于模型提取负样例的特征不应被鼓励，因此可引入负特征损失作为第二个正则化项。换言之，基于从所有负样例，无论是扰动处理前还是扰动处理后的负样例，提取的第三特征向量，负特征损失函数可被构建为使得，在CNN模型的训练过程中，第三特征向量的范数趋于最小化。
作为一个示例，负特征损失函数可被构建为如下式所示：
其中，Lneg表示负特征损失，f-表示从所有负样例提取到的第三特征向量。
结合上述交叉熵损失Lcross_ent和权重衰减Ldecay，Softmax层最终计算的联合损失函数L可表示为如下式所示：
L＝Lcross_ent+λ1Lsim+λ2Lneg+λ3Ldecay (4)
其中，λ1、λ2、λ3分别表示正特征相似度损失Lsim、负特征损失Lneg和权重衰减Ldecay的系数。
本发明实施例采用的联合损失函数不限于如上所述的交叉熵损失、权重衰减、相似度损失和负特征损失的组合。例如，在一个实施例中，还可以增加稀疏性特征，特别在低层结构上，可使得模型提取的特征更具有判别性。记底层的特征图为flow，则稀疏损失例如可构建为：Lsparse＝‖flow‖。
另外，对于式(3)表示的负特征损失，还可以直接对最后一层Softmax的参数做约束，记softmax参数为wsoftmax，则例如可构建约束为Lneg2＝(ε-wsoftmax)+，其中ε是小正数。
接续如图3所示，在步骤330中，基于正特征相似度损失和负特征损失的联合损失训练CNN模型。
在一个实施例中，这里的CNN模型可采用典型的网络结构，由卷积层、池化层、全连接层和Softmax层组成。在对卷积层和全连接层的参数赋以随机的初始值后，将步骤310得到的正负样例依次输入模型，可提取得到对应的特征向量。基于Softmax层计算的联合损失经模型反向传播，可对卷积层和全连接层的参数进行更新，将正负样例再次输入参数更新后的模型，依此迭代直至满足预设的收敛条件，可得到训练好的CNN模型。
在另一个实施例中，这里的CNN模型可移除全连接层，例如仅包括依次连接的卷积层网络、全局平均池化层和Softmax层。基于Softmax层计算的联合损失经模型反向传播，可对卷积层网络的参数进行更新，将正负样例再次输入参数更新后的模型，依此迭代直至满足预设的收敛条件，可得到训练好的CNN模型。
在一个实施例中，可使用标准的随机梯度下降算法(SGD，Stochastic GradientDescent)进行CNN的训练，一个示例如图5所示，包括以下步骤510-530。
在步骤510中，将联合损失经CNN模型反向传播以更新CNN模型的模型参数。
以包括卷积层、池化层和全连接层的典型CNN结构为例，除了池化层可采用随机或固定的参数矩阵外，卷积层和全连接层的权重参数矩阵在CNN的训练过程中可基于损失的反向传播进行更新。另外，对于初始化(尚无输入数据)时的CNN模型，卷积层和全连接层的权重参数矩阵可以用一些不同的小随机数进行初始化。
在步骤520中，基于参数经过更新的CNN模型重新进行特征向量的提取和联合损失的获取。
经过步骤510的模型参数更新，可重新执行上述步骤320进行特征向量的提取以及联合损失的获取。
在步骤530中，判断是否满足预设停止条件，若是则输出CNN模型的模型参数，否则返回步骤510。
根据模型的训练表现，针对步骤530可设置不同的预设停止条件。例如，可设置计数阈值控制训练的迭代次数，也可设置联合损失的阈值作为预设停止条件，还可设置模型参数的收敛阈值作为预设停止条件。本发明的实施例对此并无限制。
基于本发明实施例提供的结节检测的模型训练方法，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下出现过拟合的情况，使得基于训练好的模型提取的特征向量有更强的辨别力。
图6是根据另一示例性实施例示出的一种结节检测的模型训练方法的流程图。如图6所示，该模型训练方法可以由任意计算设备执行，可包括以下步骤610-680。
在步骤610中，构建训练图像序列。
在一个实施例中，可以将获取的多幅结节影像直接作为训练样本。
在另一个实施例中，还可以使用本领域的公开病例数据库，例如肺部CT影像公开数据库，来构建训练图像序列。
对于获取的训练样本，可以通过医生等专业人员对样本中的结节进行标记，标记的内容例如可包括结节的中心坐标以及结节的直径等形状参数。
在步骤620中，对训练图像序列进行预处理。
在一个实施例中，这里的预处理包括但不限于上述图3实施例中所述的裁剪、增强和扰动等处理的任意组合。
例如，作为裁剪处理的示例，可从训练图像序列中切出21x21x21体素的立方体裁剪框，其中包含结节标记的作为正样例，否则作为负样例。
为了平衡正负样例的数目比，可对正样例进行增强处理。例如，按照图4所示的处理示例，按3个体素大小的偏移量改变裁剪框的中心与结节之间的相对位置，得到27倍于原数目的正样例。
接续，为了增强训练所得到CNN模型的鲁棒性，可对负样例和增强处理后的正样例进行例如1个体素大小的微扰动，并保留扰动前后的正样例和负样例作为CNN模型的输入。
另外，这里的预处理还可包括对裁剪框进行以下处理的任意组合：随机的旋转或翻转；颜色扰动，包括色相扰动、饱和度扰动、对比度扰动与亮度扰动，此处不再赘述。
在步骤630中，初始化CNN模型的模型参数。
在一个实施例中，可采用图7所示的CNN模型示例作为基础网络结构。如图7所示，本实施例的CNN模型包括依次连接的卷积层网络701-706、全局平均池化层707以及Softmax层708。这里的卷积层网络701-706中包括至少一个卷积核大小为1的卷积层以及至少一个跳步大于1的卷积层。
接续，图7所示CNN模型的示例性结构表如下表所示。
序号 操作 输出大小
0(输入层) 21<sup>3</sup>
1(第一卷积层) Conv-3/1-64 21<sup>3</sup>×64
2(第二卷积层) Conv-1/1-64 21<sup>3</sup>×64
3(第三卷积层) Conv-3/2-64 11<sup>3</sup>×64
4(第四卷积层) Conv-3/1-128 11<sup>3</sup>×128
5(第五卷积层) Conv-1/1-128 11<sup>3</sup>×128
6(第六卷积层) Conv-3/2-128 6<sup>3</sup>×128
7(全局平均池化层) GlobalAveragePool 128
8(Softmax层) Softmax 2
如上表所示，第二和第五卷积层均使用大小为1的卷积核，这样的结构又称为网中网。该结构在没有扩大感知域的情况下，使用更复杂的结构从当前感知域内提取特征，代替原有的简单的仿射变换和非线性函数激活。由于新引入的卷积核的大小只有1，且共享参数的使用，因此新结构增加的参数量非常少，能提高从局部区域提取到的特征的判别性。
接续如上表所示，第三和第六卷积层使用了卷积核大小为3、跳步为2的卷积来降低特征图的分辨率，代替传统感知大小为2、跳步为2的最大池化。由最大池化替换为卷积，可以使模型学习到数据相关的池化函数，而不是先验地固定为某个池化函数。尽管这样的替换增加了模型的复杂度，但在一系列数据集上的训练表明，这样的替换并不会降低性能。
接续如上表所示，全局平均池化被用来代替传统的全连接层。由于这里的任务是判定裁剪框内是否存在结节，而并不关心结节的位置，因此只要某个结节特征被激活，无论在哪里都可被判定为结节。全局平均池化相当于以共享参数的形式对模型结构进行了约束，在具有上述特性(不关心位置)的任务中，这样的约束是有益的。
需要说明的是，无论是图7还是上表所示的网络结构均为示例，不应理解为对本发明保护范围的限制。本领域技术人员基于本发明的实施例容易想到其他网络结构的替代方案。
在一个实施例中，可按照0为均值、0.01为方差的高斯分布对所有卷积层的卷积核进行初始化。
在一个实施例中，步骤630还可包括设定最大训练次数以及学习率的递减次数等超参数。
在步骤640中，将经过预处理的训练图像序列输入CNN模型得到相应的损失。
在一个实施例中，基于步骤630初始化后的CNN模型对经过上述预处理的训练图像序列进行特征提取。以图7所示的网络结构为例，在全局平均池化层707将输出128维的特征向量，输入Softmax层即得到1(对应于包含结节的正样例)或0(对应于不包含结节的负样例)的分类结果。由于训练图像序列经过标记，因此基于实际计算结果和标记结果之间的差，便可得到相应的损失。
记正样例输入为x+，负样例输入为x_，对正样例进行扰动处理，得到扰动后的输入另外，虽然负样例也同样需要进行扰动处理，但后续计算负特征损失时无需区分是否经过扰动处理，因此这里不再赘述。接续，由x+、与x_计算得到的全局池化特征分别为f+、与f-，经过softmax层后分别得到l+、和l_，x+的标签为y+＝1，x-的标签为y-＝0。
相应的，可依次基于上式(1)-(4)来计算交叉熵损失Lcross_ent、相似度损失Lsim、负特征损失Lneg和最终的联合损失L。
在步骤650中，将损失经过CNN模型反向传播，得到更新的模型参数。
基于步骤640计算的损失，使用典型的反向传播算法可依次对CNN模型的卷积层参数进行更新，得到使损失变小的模型参数。
在步骤660中，判断是否满足预设收敛条件，若是则输出CNN模型的模型参数，否则返回步骤640。
重复步骤640-660直至CNN模型的损失趋于稳定，得到最终的模型参数。
基于本发明实施例提供的结节检测的模型训练方法，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下，仍能学习到真正的特征而不是过拟合到训练噪音上，使模型具有较强的泛化能力。另外，通过采用网中网、全局池化与跳步卷积的模型结构，在模型结构不复杂的情况下仍能实现较强的判别能力。
图8是根据一示例性实施例示出的一种结节检测方法的流程图。如图8所示，该结节检测方法可以由任意计算设备执行，可包括以下步骤810-820。
在步骤810中，使用训练得到的CNN模型对采集的图像序列提取特征向量。
这里步骤810中使用的CNN模型可通过上述任一实施例所描述的结节检测的模型训练方法训练得到。
以图6所示的实施例为例，此处步骤810可将采集的例如肺部CT图像经过步骤620的预处理后输入CNN模型，得到全局平均池化层输出的特征向量。
在步骤820中，基于提取的特征向量进行结节检测。
在一个实施例中，基于步骤810提取的特征向量，通过Softmax层分类器可得到一个概率值，对于与0值在预设误差范围内的概率值，可判别对应的图像序列为没有包含结节；反之，对于与1差别在预设范围内的概率值，则可判别对应的图像序列为包含结节，从而进行人工确认等后续处理。
基于本发明实施例提供的结节检测方法，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下出现过拟合的情况，使得基于训练好的模型提取的特征向量有更强的辨别力，从而提高结节检测识别的性能。
下述为本发明装置实施例，可以用于执行本发明上述模型训练方法及结节检测方法的实施例。对于本发明装置实施例中未披露的细节，请参照本发明上述模型训练方法及结节检测方法实施例。
图9是根据一示例性实施例示出的一种结节检测的模型训练装置的框图。该模型训练装置，如图9所示，包括但不限于：样本生成模块910、特征提取模块920和模型训练模块930。
样本生成模块910设置为基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理。
特征提取模块920设置为使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失。
模型训练模块930设置为基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。
基于本发明实施例提供的结节检测的模型训练装置，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下出现过拟合的情况，使得基于训练好的模型提取的特征向量有更强的辨别力。
图10是根据另一示例性实施例示出的一种结节检测的模型训练装置的框图。在图9所示实施例的基础上，该模型训练装置中，如图10所示，样本生成模块910包括裁剪单元911、扰动单元912和增强单元913，模型训练模块930包括损失计算单元931、参数更新单元932及训练控制单元933。
裁剪单元911设置为使用预设大小的裁剪框，对所述训练图像序列进行随机裁剪，以获取所述正样例和负样例。
扰动单元912设置为按预设体素对所述正样例和负样例进行扰动，并保留扰动前后的正样例和扰动前后的负样例作为所述CNN模型的输入。
增强单元913设置为针对经所述随机裁剪得到的正样例，按预设偏移量改变所述裁剪框的中心与所包含结节之间的相对位置，并保留改变所述相对位置前后的正样例作为扰动单元912的输入。
损失计算单元931设置为基于正特征相似度损失和负特征损失获取联合损失。在一个实施例中，损失计算单元931分别从所述扰动处理前后的正样例提取的第一特征向量和第二特征向量构建相似度损失函数，使得在所述CNN模型的训练过程中，所述第一特征向量与所述第二特征向量之间的距离趋于最小化。在另一个实施例中，损失计算单元931基于从所述扰动处理前后的负样例提取的第三特征向量构建负特征损失函数，使得在所述CNN模型的训练过程中，所述第三特征向量的范数趋于最小化。
参数更新单元932设置为将上述联合损失经CNN模型反向传播以更新CNN模型的模型参数。
训练控制单元933设置为基于参数经过更新的CNN模型通知特征提取模块920和损失计算单元931重新进行特征向量的提取和联合损失的获取，直至满足预设停止条件时输出CNN模型的模型参数。
在一个实施例中，这里的CNN模型可采用典型的网络结构，由卷积层、池化层、全连接层和Softmax层组成。在对卷积层和全连接层的参数赋以随机的初始值后，将步骤310得到的正负样例依次输入模型，可提取得到对应的特征向量。基于Softmax层计算的联合损失经模型反向传播，可对卷积层和全连接层的参数进行更新，将正负样例再次输入参数更新后的模型，依此迭代直至满足预设的收敛条件，可得到训练好的CNN模型。
在另一个实施例中，这里的CNN模型可移除全连接层，例如仅包括依次连接的卷积层网络、全局平均池化层和Softmax层。基于Softmax层计算的联合损失经模型反向传播，可对卷积层网络的参数进行更新，将正负样例再次输入参数更新后的模型，依此迭代直至满足预设的收敛条件，可得到训练好的CNN模型。
作为一个示例，可采用图7所示的CNN模型示例作为基础网络结构。如图7所示，本实施例的CNN模型包括依次连接的卷积层网络701-706、全局平均池化层707以及Softmax层708。这里的卷积层网络701-706中包括至少一个卷积核大小为1的卷积层以及至少一个跳步大于1的卷积层。图7所示CNN模型的示例性结构表可参见上文表1所示。
基于本发明实施例提供的结节检测的模型训练装置，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下，仍能学习到真正的特征而不是过拟合到训练噪音上，使模型具有较强的泛化能力。另外，通过采用网中网、全局池化与跳步卷积的模型结构，在模型结构不复杂的情况下仍能实现较强的判别能力。
图11是根据一示例性实施例示出的一种结节检测装置的框图。该结节检测装置，如图11所示，包括但不限于：提取模块1110和检测模块1120。
提取模块1110设置为使用训练得到的CNN模型对采集的图像序列提取特征向量。这里，提取模块1110中使用的CNN模型可通过上述任一实施例所描述的结节检测的模型训练装置训练得到。
检测模块1120设置为基于提取模块1110提取的特征向量进行结节检测。
基于提取模块1110提取的特征向量，检测模块1120通过训练好的CNN模型中的Softmax层分类器可得到一个概率值，对于与0值在预设误差范围内的概率值，可判别对应的图像序列为没有包含结节；反之，对于与1差别在预设范围内的概率值，则可判别对应的图像序列为包含结节，从而进行人工确认等后续处理。
基于本发明实施例提供的结节检测方法，通过在CNN模型的训练中引入正特征相似度损失和负特征损失，能避免模型在高噪音数据下出现过拟合的情况，使得基于训练好的模型提取的特征向量有更强的辨别力，从而提高结节检测识别的性能。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种用于结节检测的模型训练方法，其特征在于，所述方法包括：
基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理；
使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失；以及
基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。
2.如权利要求1所述的方法，其特征在于，所述的基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理，包括：
使用预设大小的裁剪框，对所述训练图像序列进行随机裁剪，以获取所述正样例和负样例；以及
按预设体素对所述正样例和负样例进行扰动，并保留扰动前后的正样例和扰动前后的负样例作为所述CNN模型的输入。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
针对经所述随机裁剪得到的正样例，按预设偏移量改变所述裁剪框的中心与所包含结节之间的相对位置，并保留改变所述相对位置前后的正样例作为所述扰动处理的输入。
4.如权利要求1所述的方法，其特征在于，所述的获取正特征相似度损失和负特征损失包括：
基于分别从所述扰动处理前后的正样例提取的第一特征向量和第二特征向量构建相似度损失函数，使得在所述CNN模型的训练过程中，所述第一特征向量与所述第二特征向量之间的距离趋于最小化；以及
基于从所述扰动处理前后的负样例提取的第三特征向量构建负特征损失函数，使得在所述CNN模型的训练过程中，所述第三特征向量的范数趋于最小化。
5.如权利要求1所述的方法，其特征在于，所述的基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型，包括：
基于所述CNN模型的交叉熵损失和权重衰减损失、以及所述正特征相似度损失和所述负特征损失的加权求和获取所述联合损失。
6.如权利要求5所述的方法，其特征在于，所述的基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型，还包括：
将所述联合损失经所述CNN模型反向传播以更新所述CNN模型的模型参数；
基于参数经过更新的CNN模型重新进行所述特征提取和所述联合损失的获取；以及
在确定满足预设停止条件时输出所述模型参数，在确定不满足所述预设停止条件时返回进行所述模型参数的更新。
7.如权利要求1-6任一项所述的方法，其特征在于，所述的CNN模型包括依次连接的卷积层网络、全局平均池化层以及Softmax层，且所述卷积层网络包括至少一个卷积核大小为1的卷积层以及至少一个跳步大于1的卷积层。
8.如权利要求7所述的方法，其特征在于，所述卷积层网络包括依次连接的以下卷积层：
卷积核大小为3、跳步为1、个数为64的第一卷积层；
卷积核大小为1、跳步为1、个数为64的第二卷积层；
卷积核大小为3、跳步为2、个数为64的第三卷积层；
卷积核大小为3、跳步为1、个数为128的第四卷积层；
卷积核大小为1、跳步为1、个数为128的第五卷积层；以及
卷积核大小为3、跳步为2、个数为128的第六卷积层。
9.一种结节检测方法，其特征在于，包括：
使用卷积神经网络CNN模型对采集的图像序列提取特征向量，所述CNN模型根据权利要求1至8中任一项所述的方法训练得到；以及
基于所述提取的特征向量进行结节检测。
10.一种结节检测的模型训练装置，其特征在于，所述装置包括：
样本生成模块，设置为基于已标注结节位置的训练图像序列，获取包含结节的正样例和不包含结节的负样例，并对所述正样例和负样例进行扰动处理；
特征提取模块，设置为使用卷积神经网络CNN模型对所述扰动处理前后的正样例和负样例进行特征提取，并分别获取正特征相似度损失和负特征损失；以及
模型训练模块，设置为基于所述正特征相似度损失和负特征损失的联合损失训练所述CNN模型。
11.一种结节检测装置，其特征在于，包括：
提取模块，设置为使用卷积神经网络CNN模型对采集的图像序列提取特征向量，所述CNN模型根据权利要求1至8中任一项所述的方法训练得到；以及检测模块，设置为基于所述提取的特征向量进行结节检测。
12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的结节检测的模型训练方法或根据权利要求9所述的结节检测方法。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至8中任一项所述的结节检测的模型训练方法或根据权利要求9所述的结节检测方法。
CN201910176671.6A 2019-03-08 2019-03-08 结节检测及其模型训练的方法和装置以及电子设备 Active CN110276741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910176671.6A CN110276741B (zh) 2019-03-08 2019-03-08 结节检测及其模型训练的方法和装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910176671.6A CN110276741B (zh) 2019-03-08 2019-03-08 结节检测及其模型训练的方法和装置以及电子设备

Publications (2)

Publication Number Publication Date
CN110276741A true CN110276741A (zh) 2019-09-24
CN110276741B CN110276741B (zh) 2022-12-16

Family

ID=67959274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910176671.6A Active CN110276741B (zh) 2019-03-08 2019-03-08 结节检测及其模型训练的方法和装置以及电子设备

Country Status (1)

Country Link
CN (1) CN110276741B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728375A (zh) * 2019-10-16 2020-01-24 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN110738263A (zh) * 2019-10-17 2020-01-31 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置
CN111369524A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 结节识别模型训练方法、结节识别方法及装置
CN111429215A (zh) * 2020-03-18 2020-07-17 北京互金新融科技有限公司 数据的处理方法和装置
CN111460091A (zh) * 2020-03-09 2020-07-28 杭州麦歌算法科技有限公司 医学短文本数据负样例采样方法及医学诊断标准术语映射模型训练方法
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN113642708A (zh) * 2021-08-13 2021-11-12 北京赛目科技有限公司 一种车辆环境等级识别模型的训练方法、识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252870A1 (en) * 2000-04-11 2004-12-16 Reeves Anthony P. System and method for three-dimensional image rendering and analysis
CN106919909A (zh) * 2017-02-10 2017-07-04 华中科技大学 一种行人重识别的度量学习方法和系统
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与系统
CN109146857A (zh) * 2018-08-02 2019-01-04 常州市第二人民医院 胸部ct影像的肺结节自检测方法
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252870A1 (en) * 2000-04-11 2004-12-16 Reeves Anthony P. System and method for three-dimensional image rendering and analysis
CN106919909A (zh) * 2017-02-10 2017-07-04 华中科技大学 一种行人重识别的度量学习方法和系统
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与系统
CN109146857A (zh) * 2018-08-02 2019-01-04 常州市第二人民医院 胸部ct影像的肺结节自检测方法
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANTONIO OSEAS DE CARVALHO FILHO 等: "3D shape analysis to reduce false positives for lung nodule detection systems", 《MED BIOL ENG COMPUT》 *
ARNAUD ARINDRA ADIYOSO SETIO 等: "Pulmonary Nodule Detection in CT Images:False Positive Reduction Using Multi-View Convolutional Networks", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
KIHYUK SOHN: "Improved Deep Metric Learning with Multi-class N-pair Loss Objective", 《NIPS"16: PROCEEDINGS OF THE 30TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *
杨晶晶 等: "基于深度卷积神经网络算法的肺结节检测模型", 《数学建模及其应用》 *
芦丹 等: "一种基于局部表示的精确跟踪算法", 《太原科技大学学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728375A (zh) * 2019-10-16 2020-01-24 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN110738263A (zh) * 2019-10-17 2020-01-31 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置
US11960571B2 (en) 2019-10-17 2024-04-16 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training image recognition model, and image recognition method and apparatus
CN110738263B (zh) * 2019-10-17 2020-12-29 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置
WO2021073380A1 (zh) * 2019-10-17 2021-04-22 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置
CN111369524A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 结节识别模型训练方法、结节识别方法及装置
CN111460091B (zh) * 2020-03-09 2023-10-27 杭州麦歌算法科技有限公司 医学短文本数据负样例采样方法及医学诊断标准术语映射模型训练方法
CN111460091A (zh) * 2020-03-09 2020-07-28 杭州麦歌算法科技有限公司 医学短文本数据负样例采样方法及医学诊断标准术语映射模型训练方法
CN111429215A (zh) * 2020-03-18 2020-07-17 北京互金新融科技有限公司 数据的处理方法和装置
CN111429215B (zh) * 2020-03-18 2023-10-31 北京互金新融科技有限公司 数据的处理方法和装置
CN111539347B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN113642708A (zh) * 2021-08-13 2021-11-12 北京赛目科技有限公司 一种车辆环境等级识别模型的训练方法、识别方法及装置
CN113642708B (zh) * 2021-08-13 2024-05-14 北京赛目科技有限公司 一种车辆环境等级识别模型的训练方法、识别方法及装置

Also Published As

Publication number Publication date
CN110276741B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN110276741A (zh) 结节检测及其模型训练的方法和装置以及电子设备
Pezzotti et al. Approximated and user steerable tSNE for progressive visual analytics
Niu et al. Digital rock segmentation for petrophysical analysis with reduced user bias using convolutional neural networks
Yu et al. Context-based hierarchical unequal merging for SAR image segmentation
CN106537422B (zh) 用于捕获信息内的关系的系统和方法
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
Hao et al. Unsupervised change detection using fuzzy c-means and MRF from remotely sensed images
Anklin et al. Learning whole-slide segmentation from inexact and incomplete labels using tissue graphs
Li et al. Edge detection algorithm of cancer image based on deep learning
Öztürk et al. Cell‐type based semantic segmentation of histopathological images using deep convolutional neural networks
CN109584303A (zh) 一种基于Lp范数和核范数的红外弱小目标检测方法
Ansari et al. Multiple sclerosis lesion segmentation in brain MRI using inception modules embedded in a convolutional neural network
Zhao et al. Remote sensing image segmentation based on the fuzzy deep convolutional neural network
AlEisa et al. Breast cancer classification using FCN and beta wavelet autoencoder
Ji et al. Fabric defect fetection via weighted low-rank decomposition and Laplacian regularization
Gobron et al. GPGPU computation and visualization of three-dimensional cellular automata
Wang et al. Improved classifier for computer‐aided polyp detection in CT Colonography by nonlinear dimensionality reduction
CN106510708A (zh) 用于多对比度脑磁共振数据中异常检测的框架
Deshpande et al. SynCLay: Interactive synthesis of histology images from bespoke cellular layouts
Piccolotto et al. Visual parameter space exploration in time and space
Prakash et al. An early breast cancer detection system using recurrent neural network (rnn) with animal migration optimization (AMO) based classification method
Kar et al. Adaptive weighted aggregation in Group Improvised Harmony Search for lung nodule classification
CN116089639A (zh) 一种辅助三维建模方法、系统、装置和介质
Bong et al. Adaptive multi-objective archive-based hybrid scatter search for segmentation in lung computed tomography imaging
Kumar et al. Statistical Features Based Classification of Micro calcification in Digital Mammogram using Stochastic Neighbour Embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant