CN111369524A - 结节识别模型训练方法、结节识别方法及装置 - Google Patents

结节识别模型训练方法、结节识别方法及装置 Download PDF

Info

Publication number
CN111369524A
CN111369524A CN202010137630.9A CN202010137630A CN111369524A CN 111369524 A CN111369524 A CN 111369524A CN 202010137630 A CN202010137630 A CN 202010137630A CN 111369524 A CN111369524 A CN 111369524A
Authority
CN
China
Prior art keywords
sample
nodule
image
identification
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010137630.9A
Other languages
English (en)
Other versions
CN111369524B (zh
Inventor
刘恩佑
张欢
赵朝炜
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Infervision Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Priority to CN202010137630.9A priority Critical patent/CN111369524B/zh
Publication of CN111369524A publication Critical patent/CN111369524A/zh
Application granted granted Critical
Publication of CN111369524B publication Critical patent/CN111369524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了结节识别模型训练方法、结节识别方法及装置。其中结节识别模型训练方法包括：获取样本图像，其中，样本图像中各像素点设置有标识，标识包括正样本标识、负样本标识和非样本标识；将样本图像输入至待训练的结节识别模型中，基于待训练的结节识别模型的识别结果确定各像素点的损失函数；根据样本图像中各像素点的标识和各像素点的损失函数，确定样本图像对应的损失函数；基于样本图像对应的损失函数对待训练的结节识别模型进行训练，生成结节识别模型。保证了正负样本平衡，避免了识别精度差的问题，在训练过程中忽略非样本标识的监督作用，可避免在像素点标记过程中对结节区域遗漏导致的对模型训练的错误干扰。

Description

结节识别模型训练方法、结节识别方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及结节识别模型训练方法、结节识别方法及装置。
背景技术
肺部结节是肺癌的早起症状之一，根据结节的病变特征可推断出病灶特性。由于结节的大小、形状以及密度等特征的不确定性，传统的医学检测方法难以满足肺结节的检测精度。
近年来，随着人工智能和深度学习算法的发展，医学影像的处理也涉足其中，通过深度神经网络提取CT图像中的抽象特征，相对于人工手动提取特征，避免了人工主观因素在不同环境中造成的不同程度的影响。但是，由于结节的大小、形状以及密度等特征的不确定性，目前训练得到的深度神经网络对结节的识别精度低，无法适应不同的结节。
发明内容
本发明提供一种结节识别方法、装置、存储介质及电子设备，以实现提高结节识别精度。
第一方面，本发明实施例提供了结节识别模型训练方法，包括：
获取样本图像，其中，所述样本图像中各像素点设置有标识，所述标识包括正样本标识、负样本标识和非样本标识；
将所述样本图像输入至待训练的结节识别模型中，基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数；
根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数；
基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练，生成结节识别模型。
第二方面，本发明实施例还提供了一种结节识别方法，包括：
获取待识别的肺部图像，将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，其中，所述结节识别模型基于如权利要求本发明任意实施例提供的结节识别模型训练方法训练得到。
第三方面，本发明实施例还提供了一种结节识别模型训练装置，包括：
样本获取模块，用于获取样本图像，其中，所述样本图像中各像素点设置有标识，所述标识包括正样本标识、负样本标识和非样本标识；
第一损失函数确定模块，用于将所述样本图像输入至待训练的结节识别模型中，基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数；
第二损失函数确定模块，用于根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数；
模型训练模块，用于基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练，生成结节识别模型。
第四方面，本发明实施例还提供了一种结节识别装置，包括：
肺部图像获取模块，用于获取待识别的肺部图像；
结节识别模块，用于将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，其中，所述结节识别模型基于本发明任意实施例提供的结节识别模型训练方法训练得到。
第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如本发明任意实施例提供的一种结节识别模型训练方法或者结节识别方法。
第六方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时实现如本发明任意实施例提供的一种结节识别模型训练方法或者结节识别方法。
本发明实施例提供的技术方案，通过在样本图像中设置的正样本标识、负样本标识和非样本标识，并在结节识别模型训练过程中，仅基于正样本标识、负样本标识对应的像素点对待训练的结节识别模型进行监督训练，由于正负样本标识的设置数量满足比例范围，保证了正负样本平衡，避免了肺部结节大小不确定性导致的结节识别模型训练难度大，识别精度差的问题，同时通过设置非样本标识，并在训练过程中忽略非样本标识的监督作用，可避免在像素点标记过程中对结节区域遗漏导致的对模型训练的错误干扰，减少人为操作的失误。
附图说明
图1为本发明实施例一提供的一种结节识别模型训练方法的流程示意图；
图2是本发明实施例一提供的一种样本图像的示意图；
图3是本发明实施例一提供的一种结节识别模型的结构示意图；
图4是本发明实施例提供的一种结节识别方法的流程示意图；
图5是本发明实施例三提供的一种结节识别模型训练装置的结构示意；
图6是本发明实施例四提供的一种结节识别装置的结构示意图；
图7为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种结节识别模型训练方法的流程示意图，本实施例可适用于对结节识别模型进行高精度训练的情况，该方法可以由本发明实施例提供的结节识别模型训练装置来执行，该装置可通过软件和/或硬件的方式实现，该装置可以集成与诸如服务器或者计算机等电子设备中。该方法具体包括如下步骤：
S110、获取样本图像，其中，所述样本图像中各像素点设置有标识，所述标识包括正样本标识、负样本标识和非样本标识。
S120、将所述样本图像输入至待训练的结节识别模型中，基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数。
S130、根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数。
S140、基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练，生成结节识别模型。
本实施例中，通过样本图像创建的结节识别模型进行训练，以得到具有结节识别功能的结节识别模型，用于对输入的肺部图像进行高精度的结节识别。
样本图像为肺部样本图像，例如可以是不同对象的肺部CT图像，其中，对象可以是包括但不限于儿童、青年、壮年、老年、男人、女人的肺部CT图像，该样本图像中包括存在结节的样本和不存在样本的样本图像，通过不同类型人物的样本数据对结节识别模型进行训练，以提高结节识别模型的鲁棒性。
其中，样本图像中每一个像素点设置有标识，该标识用于在结节识别模型的训练过程中对预测结果进行监督。本实施例中，样本图像的像素点标识包括正样本标识、负样本标识和非样本标识，其中，样本图像中的结节区域中像素点设置有正样本标识，样本图像中除结节区域以外的区域中部分像素点设置有负样本标识，部分像素点设置有非样本标识，示例性的，正样本标识可以是1，负样本标识可以是0，非样本标识可以是-1。
样本图像中结节区域的尺寸不定、大小不定，在一些实施例中，样本图像尺寸可以是512×512，其中，结节区域的像素点数量可以是个数级，例如5个或10个等，为了避免其他区域的大量无效计算以及正负样本数量不平衡的问题，本实施例中，通过设置有正样本标识、负样本标识的像素点对结节识别模型的预测结果进行监督训练，不对非样本标识对应的图像区域进行监督训练。同时由于存在结节区域很小，不易观察的情况，且同一样本图像中可以是包括至少一个结节区域，通过设置非样本标识，以半监督的方式进行结节识别模型的训练，避免在设置标识时遗漏结节区域，影响结节识别模型的训练精度的情况。
其中，样本图像中正负样本标识的数量符合预先设置的比例范围，示例性的，比例范围可以是1:100至1:200；可选的，正负样本标识的比例范围还可以是数量级的比例范围，例如，正负样本标识的数量级的比例可以是0:2-0:3，相应的，数量比例可以是1:100至1:1000。
可选的，样本图像的标识设置方式可以是：根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗；将所述检测窗内未标记的像素点设置负样本标识；将所述检测窗外未标记的像素点设置非样本标识。其中，正样本标识为用户手动设置，获取的样本图像中已标记有正样本标识。检测窗为尺寸可调、可移动的窗口，用于区分样本区域和非样本区域，检测窗的形状可以是矩形或圆形，本实施例中不做限定。其中，检测窗以内的区域为样本区域，检测窗以外的区域为非样本区域。检测窗以内的区域包括正样本区域和负样本区域，即检测窗以内的区域中设置有正样本标识以外的像素点为负样本，设置负样本标识，相应的，检测窗以外的区域中各像素点设置非样本标识。
本实施例中，根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗，包括：根据已标记正样本标识对应的像素点数量和正负样本比例范围确定预设形状的检测窗的尺寸；根据所述已标记正样本标识对应的像素点区域位置，确定所述检测窗的位置，所述已标记正样本标识对应的像素点区域位置位于所述检测窗的中心区域。
在一些实施例中，还可以是先基于结节区域，即正样本标识对应的像素点位置确定检测窗位置，在根据结节区域的像素点数量确定检测窗的尺寸。示例性的，可以是根据结节区域的中心位置确定检测窗的中心位置，例如，可以是将结节区域的中心位置确定为检测窗的中心位置，或者检测窗的中心位置可以是在结节区域的中心位置的预设范围内。保持检测窗的中心位置不变，调节检测窗的尺寸，以使检测窗内正负样本数量满足预设比例范围即可。
示例性的，参见图2，图2是本发明实施例一提供的一种样本图像的示意图，其中，肺部图像30中包括结节区域10，通过设置检测窗20，将结节区域10内像素点设置正样本标识，检测窗20以内且结节区域10以外的像素点设置负样本标识，肺部图像30中，检测窗20以外的像素点设置非样本标识。通过检测窗快速划分样本区域和非样本区域，提高负样本标识和非样本标识的设置效率，简化了像素点的标识设置过程，避免了人工设置标识的大量工作量。
本实施例中，将样本图像输入至待训练的结节识别模型中，结节识别模型对输入的样本图像进行处理并识别，输出结节预测结果。可选的，通过医学图像采集设备采集的肺部数据可以是三维肺部数据，示例性的，可以是521×512×400的三维数据，可以将三维肺部数据进行切片处理，得到400张521×512的二维样本图像，基于二维样本图像对结节识别模型进行训练。
其中，将所述样本图像输入至待训练的结节识别模型中，包括：对于当前二维样本图像，将所述当前二维样本图像、所述当前二维样本图像之前的第一预设数量的二维样本图像和所述当前二维样本图像之后的第二预设数量的二维样本图像，输入至待训练的结节识别模型中。
本实施例中，将当前二维样本图像之前和之后的一定数量的二维样本图像同时输入至待训练的结节识别模型中，对当前二维样本图像中结节区域的识别提供辅助参考，提高结节区域的预测精度。其中，第一预设数量和第二预设数量可以相同或不同，示例性的，第一预设数量和第二预设数量可以是4。当前二维样本图像之前和之后的样本图像数量小于第一预设数量或第二预设数量时，例如第一个样本图像，可以是通过像素点均为0或者255的图像进行替代。
基于预测结果和样本图像中预先设置的标识对结节识别模型进行训练。其中，通过样本图像中像素点的标识与对应像素点的预测确定损失函数，将损失函数反向输入至结节识别模型，基于反向梯度下降法调节结节识别模型中的网络参数，其中结节识别模型可以是神经网络模型，调节的参数可以是但不限于权重。
进一步的，根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数，包括：根据预设处理规则，将标识为正样本标识和负样本标识的像素点的损失函数进行处理，得到所述样本图像对应的损失函数。本实施例中，可以是将正样本标识和负样本标识的像素点的损失函数的累加值确定为样本图像的损失函数，还可以是将正样本标识和负样本标识的像素点的损失函数的均值确定为样本图像的损失函数。
在一个实施例中，可以是基于如下公式确定样本图像的损失函数：
Figure BDA0002397288310000081
其中，IM代表整张图像中的全部像素，pixel代表一个像素点，mask为标记类型，其中，Boolean(mask！＝-1)在pixel的标记类型不是-1时，值为1，在pixel的标记类型是-1时，值为0；训练mask在对应pixel的标记类别为i，Softmax(f)i为通过soft max函数对(f)i的处理，其中f为标记类别为i的特征信息。对于本发明而言,这个类别为2个分别是前景和背景。其中，mask表征的是整图对应的区域，N是图中有效像素点的数量。
通过上述公式，筛选检测窗中的像素点对结节识别模块进行训练，排除检测窗外的像素点，保持了监督训练中正负样本比例平衡，避免负样本过多对模型训练过程中的干扰，同时减少了训练过程中计算量，提高训练效率。
通过大量的样本图像对结节识别模型进行上述过程的迭代训练，直到满足训练次数或者结节识别模型的识别精度满足预设要求，训练结束，得到具有结节识别功能的结节识别模型。
本实施例提供的技术方案，通过在样本图像中设置的正样本标识、负样本标识和非样本标识，并在结节识别模型训练过程中，仅基于正样本标识、负样本标识对应的像素点对待训练的结节识别模型进行监督训练，由于正负样本标识的设置数量满足比例范围，保证了正负样本平衡，避免了肺部结节大小不确定性导致的结节识别模型训练难度大，识别精度差的问题，同时通过设置非样本标识，并在训练过程中忽略非样本标识的监督作用，可避免在像素点标记过程中对结节区域遗漏导致的对模型训练的错误干扰，减少人为操作的失误。
在上述实施例的基础上，参见图3，图3是本发明实施例一提供的一种结节识别模型的结构示意图，其中，结节识别模型包括特征提取模块、空洞卷积模块和解码模块，其中，所述特征提取模块包括残差块子网络和特征金字塔子网络，所述残差块子网络和特征金字塔子网络横向连接，所述解码模块包括依次连接的第一数量的反卷积块和第二数量的卷积块。
其中，在特征提取模块中通过将残差块子网络和特征金字塔子网络横向连接，将每一个残差块子网络提取的特征信息传输至特征金字塔子网络的对应网络层中，使得特征金字塔子网络将浅层网络提取的特征与深层网络提取的特征进行融合后进一步处理，提高了特征提取的全面性。
进一步的，空洞卷积模块中包括多个空洞卷积，每一个空洞卷积的扩张率不同，示例性的，空洞卷积模块中可以是包括4个空洞卷积，扩展率可分别为4、8、12和16，不同扩展率的空洞卷积提取的特征不同，扩展率小，可提取细节特征，扩展率大，可提取轮廓特征。特征提取模块的输出结果分别输入至各空洞卷积中，并对各空洞卷积的结果进行融合，可实现对细节特征和轮廓特征的提取和融合，提高了特征提取的全面性和准确性，避免特征信息的遗漏。
在解码模块中，通过反卷积块对图像进行上采样，其中，反卷积块的步长可以是2。其中，解码模块中反卷积块和卷积块之后，可以分别连接有BN层和急活函数层。
实施例二
图4是本发明实施例提供的一种结节识别方法的流程示意图，该方法具体包括：
S210、获取待识别的肺部图像。
S220、将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，其中，所述结节识别模型基于如上述实施例提供的结节识别模型训练方法训练得到。
本实施例中，将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，包括：将待识别的三维肺部图像切片处理为多个二维肺部图像；对于任一待识别的二维肺部图像，将待识别的二维肺部图像、待识别的二维肺部图像之前的第一预设数量的二维肺部图像和所述待识别的二维肺部图像之后的第二预设数量的二维肺部图像，输入至预先训练的结节识别模型中，得到所述待识别的二维肺部图像的结节识别结果。
本实施例中的结节识别模型基于本发明实施例提供的训练方法得到，可对任一大小的结节进行精准识别。通过将通过肺部图像采集设备采集的目标对象的三维肺部图像进行切片处理，得到多个二维肺部图像，并对每一个二维肺部图基于结节识别模型进行结节处理。其中，对于每一个二维肺部图像，同时将该二维肺部图像和之前、之后的二维肺部图像同时输入至训练好的结节识别模型中，通过该二维肺部图像之前、之后的二维肺部图像提供辅助，以提高二维肺部图像的结节识别精度。
在上述实施例的基础上，还包括：将各二维肺部图像的结节识别结果进行对齐和拼接处理，得到所述肺部图像的结节识别结果。其中，识别结果中可以结节区域的像素点的像素值为0，非结节区域的像素点的像素值为255，通过将每一个二维肺部图像的识别结果进行对齐和拼接，得到目标对象的三维肺部结节，便于用户进行直观的查看。
实施例三
图5是本发明实施例三提供的一种结节识别模型训练装置的结构示意图，该装置包括：
样本获取模块310，用于获取样本图像，其中，所述样本图像中各像素点设置有标识，所述标识包括正样本标识、负样本标识和非样本标识；
第一损失函数确定模块320，用于将所述样本图像输入至待训练的结节识别模型中，基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数；
第二损失函数确定模块330，用于根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数；
模型训练模块340，用于基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练，生成结节识别模型。
可选的，样本获取模块310包括：
检测床确定单元，用于根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗；
负样本标识设置单元，用于将所述检测窗内未标记的像素点设置负样本标识；
非样本标识设置单元，用于将所述检测窗外未标记的像素点设置非样本标识。
可选的，检测床确定单元用于：
根据已标记正样本标识对应的像素点数量和正负样本比例范围确定预设形状的检测窗的尺寸；
根据所述已标记正样本标识对应的像素点区域位置，确定所述检测窗的位置，所述已标记正样本标识对应的像素点区域位置位于所述检测窗的中心区域。
可选的，第二损失函数确定模块330用于：
根据预设处理规则，将标识为正样本标识和负样本标识的像素点的损失函数进行处理，得到所述样本图像对应的损失函数。
可选的，所述样本图像包括由三维肺部数据切片得到的多个二维样本图像。
第一损失函数确定模块320用于：
对于当前二维样本图像，将所述当前二维样本图像、所述当前二维样本图像之前的第一预设数量的二维样本图像和所述当前二维样本图像之后的第二预设数量的二维样本图像，输入至待训练的结节识别模型中。
可选的，所述结节识别模型包括特征提取模块、空洞卷积模块和解码模块，其中，所述特征提取模块包括残差块子网络和特征金字塔子网络，所述残差块子网络和特征金字塔子网络横向连接，所述解码模块包括依次连接的第一数量的反卷积块和第二数量的卷积块。
实施例四
图6是本发明实施例四提供的一种结节识别装置的结构示意图，该装置包括：
肺部图像获取模块410，用于获取待识别的肺部图像；
结节识别模块420，用于将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，其中，所述结节识别模型基于如任一实施例提供的所述结节识别模型训练方法训练得到。
本发明实施例提供的结节识别装置可执行本发明任意实施例所提供的结节识别方法，具备执行结节识别方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器31。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组程序模块46的程序/实用工具44，可以存储在例如存储器28中，这样的程序模块46包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块46通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及结节识别，例如实现本发明实施例所提供的一种结节识别模型训练方法或者一种结节识别方法。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及结节识别，例如实现本发明实施例所提供的一种结节识别方法。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的一种结节识别方法的技术方案。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种结节识别模型训练方法或者一种结节识别方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的一种结节识别方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在视频片段、第二视频的特征编码、各视频片段的特征编码等，其中承载了计算机可读的程序代码。这种传播的视频片段、第二视频的特征编码、各视频片段的特征编码等形式。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
值得注意的是，上述视频处理装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种结节识别模型训练方法，其特征在于，包括：
获取样本图像，其中，所述样本图像中各像素点设置有标识，所述标识包括正样本标识、负样本标识和非样本标识；
将所述样本图像输入至待训练的结节识别模型中，基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数；
根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数；
基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练，生成结节识别模型。
2.根据权利要求1所述的方法，其特征在于，在获取样本图像之前，还包括：
根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗；
将所述检测窗内未标记的像素点设置负样本标识；
将所述检测窗外未标记的像素点设置非样本标识。
3.根据权利要求2所述的方法，其特征在于，所述根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗，包括：
根据已标记正样本标识对应的像素点数量和正负样本比例范围确定预设形状的检测窗的尺寸；
根据所述已标记正样本标识对应的像素点区域位置，确定所述检测窗的位置，所述已标记正样本标识对应的像素点区域位置位于所述检测窗的中心区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数，包括：
根据预设处理规则，将标识为正样本标识和负样本标识的像素点的损失函数进行处理，得到所述样本图像对应的损失函数。
5.根据权利要求1所述的方法，其特征在于，所述样本图像包括由三维肺部数据切片得到的多个二维样本图像，其中，所述将所述样本图像输入至待训练的结节识别模型中，包括：
对于当前二维样本图像，将所述当前二维样本图像、所述当前二维样本图像之前的第一预设数量的二维样本图像和所述当前二维样本图像之后的第二预设数量的二维样本图像，输入至待训练的结节识别模型中。
6.根据权利要求1所述的方法，其特征在于，所述结节识别模型包括特征提取模块、空洞卷积模块和解码模块，其中，所述特征提取模块包括残差块子网络和特征金字塔子网络，所述残差块子网络和特征金字塔子网络横向连接，所述解码模块包括依次连接的第一数量的反卷积块和第二数量的卷积块。
7.一种结节识别方法，其特征在于，包括：
获取待识别的肺部图像，将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，其中，所述结节识别模型基于如权利要求1-6任一所述结节识别模型训练方法训练得到。
8.根据权利要求7所述的方法，其特征在于，所述将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，包括：
将待识别的三维肺部图像切片处理为多个二维肺部图像；
对于任一待识别的二维肺部图像，将待识别的二维肺部图像、待识别的二维肺部图像之前的第一预设数量的二维肺部图像和所述待识别的二维肺部图像之后的第二预设数量的二维肺部图像，输入至预先训练的结节识别模型中，得到所述待识别的二维肺部图像的结节识别结果；
将各二维肺部图像的结节识别结果进行对齐和拼接处理，得到所述肺部图像的结节识别结果。
9.一种结节识别模型训练装置，其特征在于，包括：
样本获取模块，用于获取样本图像，其中，所述样本图像中各像素点设置有标识，所述标识包括正样本标识、负样本标识和非样本标识；
第一损失函数确定模块，用于将所述样本图像输入至待训练的结节识别模型中，基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数；
第二损失函数确定模块，用于根据所述样本图像中各像素点的标识和各像素点的损失函数，确定所述样本图像对应的损失函数；
模型训练模块，用于基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练，生成结节识别模型。
10.一种结节识别装置，其特征在于，包括：
肺部图像获取模块，用于获取待识别的肺部图像；
结节识别模块，用于将所述肺部图像输入至预先训练的结节识别模型中，得到所述肺部图像的结节识别结果，其中，所述结节识别模型基于如权利要求1-6任一所述结节识别模型训练方法训练得到。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的结节识别模型训练方法或者如权利要求7或8所述的结节识别方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6中任一项所述的结节识别模型训练方法或者如权利要求7或8所述的结节识别方法。
CN202010137630.9A 2020-03-02 2020-03-02 结节识别模型训练方法、结节识别方法及装置 Active CN111369524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137630.9A CN111369524B (zh) 2020-03-02 2020-03-02 结节识别模型训练方法、结节识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137630.9A CN111369524B (zh) 2020-03-02 2020-03-02 结节识别模型训练方法、结节识别方法及装置

Publications (2)

Publication Number Publication Date
CN111369524A true CN111369524A (zh) 2020-07-03
CN111369524B CN111369524B (zh) 2021-07-27

Family

ID=71208299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137630.9A Active CN111369524B (zh) 2020-03-02 2020-03-02 结节识别模型训练方法、结节识别方法及装置

Country Status (1)

Country Link
CN (1) CN111369524B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539959A (zh) * 2020-07-13 2020-08-14 浙江省肿瘤医院(浙江省癌症中心) 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
CN111931912A (zh) * 2020-08-07 2020-11-13 北京推想科技有限公司 网络模型的训练方法及装置，电子设备及存储介质
CN113111872A (zh) * 2021-06-16 2021-07-13 智道网联科技(北京)有限公司 图像识别模型的训练方法、装置及电子设备、存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080050020A1 (en) * 1996-07-10 2008-02-28 R2 Technology, Inc. Density nodule detection in-3-D digital images
US20080310759A1 (en) * 2007-06-12 2008-12-18 General Electric Company Generic face alignment via boosting
US20100040269A1 (en) * 2008-08-15 2010-02-18 Mausumi Acharyya Method and system for verifying detection of a lung nodule
CN101826150A (zh) * 2009-03-06 2010-09-08 索尼株式会社 头部检测方法和设备,头部检测及类别判断方法和装置
CN106097340A (zh) * 2016-06-12 2016-11-09 山东大学 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107993228A (zh) * 2017-12-15 2018-05-04 中国人民解放军总医院 一种基于心血管oct影像的易损斑块自动检测方法和装置
CN108133476A (zh) * 2017-12-26 2018-06-08 安徽科大讯飞医疗信息技术有限公司 一种肺结节自动检测方法及系统
CN108537784A (zh) * 2018-03-30 2018-09-14 四川元匠科技有限公司 一种基于深度学习的ct图肺结节检测方法
US10078794B2 (en) * 2015-11-30 2018-09-18 Pilot Ai Labs, Inc. System and method for improved general object detection using neural networks
CN108664971A (zh) * 2018-05-22 2018-10-16 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的系统及方法
CN108876779A (zh) * 2018-06-22 2018-11-23 中山仰视科技有限公司 基于深度学习的肺癌早期预测方法、电子设备
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN110276741A (zh) * 2019-03-08 2019-09-24 腾讯科技（深圳）有限公司 结节检测及其模型训练的方法和装置以及电子设备
CN110689547A (zh) * 2019-09-25 2020-01-14 重庆大学 一种基于三维ct影像的肺结节分割方法
CN110766659A (zh) * 2019-09-24 2020-02-07 西人马帝言(北京)科技有限公司 医学图像识别方法、装置、设备和介质
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080050020A1 (en) * 1996-07-10 2008-02-28 R2 Technology, Inc. Density nodule detection in-3-D digital images
US20080310759A1 (en) * 2007-06-12 2008-12-18 General Electric Company Generic face alignment via boosting
US20100040269A1 (en) * 2008-08-15 2010-02-18 Mausumi Acharyya Method and system for verifying detection of a lung nodule
CN101826150A (zh) * 2009-03-06 2010-09-08 索尼株式会社 头部检测方法和设备,头部检测及类别判断方法和装置
US10078794B2 (en) * 2015-11-30 2018-09-18 Pilot Ai Labs, Inc. System and method for improved general object detection using neural networks
CN106097340A (zh) * 2016-06-12 2016-11-09 山东大学 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107993228A (zh) * 2017-12-15 2018-05-04 中国人民解放军总医院 一种基于心血管oct影像的易损斑块自动检测方法和装置
CN108133476A (zh) * 2017-12-26 2018-06-08 安徽科大讯飞医疗信息技术有限公司 一种肺结节自动检测方法及系统
CN108537784A (zh) * 2018-03-30 2018-09-14 四川元匠科技有限公司 一种基于深度学习的ct图肺结节检测方法
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的系统及方法
CN108664971A (zh) * 2018-05-22 2018-10-16 中国科学技术大学 基于2d卷积神经网络的肺结节检测方法
CN108876779A (zh) * 2018-06-22 2018-11-23 中山仰视科技有限公司 基于深度学习的肺癌早期预测方法、电子设备
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN110276741A (zh) * 2019-03-08 2019-09-24 腾讯科技（深圳）有限公司 结节检测及其模型训练的方法和装置以及电子设备
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN110766659A (zh) * 2019-09-24 2020-02-07 西人马帝言(北京)科技有限公司 医学图像识别方法、装置、设备和介质
CN110689547A (zh) * 2019-09-25 2020-01-14 重庆大学 一种基于三维ct影像的肺结节分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王厚华: ""基于深度学习的医学图像肺结节检测算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539959A (zh) * 2020-07-13 2020-08-14 浙江省肿瘤医院(浙江省癌症中心) 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
CN111931912A (zh) * 2020-08-07 2020-11-13 北京推想科技有限公司 网络模型的训练方法及装置，电子设备及存储介质
CN113111872A (zh) * 2021-06-16 2021-07-13 智道网联科技(北京)有限公司 图像识别模型的训练方法、装置及电子设备、存储介质
CN113111872B (zh) * 2021-06-16 2022-04-05 智道网联科技(北京)有限公司 图像识别模型的训练方法、装置及电子设备、存储介质

Also Published As

Publication number Publication date
CN111369524B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN111369524B (zh) 结节识别模型训练方法、结节识别方法及装置
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN108280477B (zh) 用于聚类图像的方法和装置
CN111241989B (zh) 图像识别方法及装置、电子设备
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
CN113378712B (zh) 物体检测模型的训练方法、图像检测方法及其装置
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN113362314B (zh) 医学图像识别方法、识别模型训练方法及装置
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN114648676A (zh) 点云处理模型的训练和点云实例分割方法及装置
CN113344862A (zh) 缺陷检测方法、装置、电子设备及存储介质
CN113592015A (zh) 定位以及训练特征匹配网络的方法和装置
CN117115900A (zh) 一种图像分割方法、装置、设备及存储介质
WO2023160666A1 (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN111950517A (zh) 一种目标检测方法、模型训练方法，电子设备及存储介质
CN112001453A (zh) 一种视频事件检测算法的准确率计算方法及装置
CN114187252B (zh) 图像处理方法及装置、调整检测框的方法及装置
CN113537026B (zh) 建筑平面图中的图元检测方法、装置、设备及介质
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant