CN109978004B - 图像识别方法及相关设备 - Google Patents

图像识别方法及相关设备 Download PDF

Info

Publication number
CN109978004B
CN109978004B CN201910135802.6A CN201910135802A CN109978004B CN 109978004 B CN109978004 B CN 109978004B CN 201910135802 A CN201910135802 A CN 201910135802A CN 109978004 B CN109978004 B CN 109978004B
Authority
CN
China
Prior art keywords
images
image
nodule
neural network
probability map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910135802.6A
Other languages
English (en)
Other versions
CN109978004A (zh
Inventor
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910135802.6A priority Critical patent/CN109978004B/zh
Priority to PCT/CN2019/088825 priority patent/WO2020168647A1/zh
Publication of CN109978004A publication Critical patent/CN109978004A/zh
Application granted granted Critical
Publication of CN109978004B publication Critical patent/CN109978004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像识别方法及相关设备，其中方法包括：将目标肺部扫描图像输入至第一神经网络以得到第一类别概率图；将所述第一类别概率图输入至第二神经网络以得到第二类别概率图；根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元以得到多个结节单元；分别将所述多个结节单元中每一结节单元输入至第三神经网络以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图；将所述第二类别概率图和所述第三类别概率图输入至第四神经网络以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率。采用本申请，提高了肺癌病灶部位的图像识别的准确率。

Description

图像识别方法及相关设备
技术领域
本申请涉及数据处理技术领域，主要涉及了一种图像识别方法及相关设备。
背景技术
肺癌是发病率和死亡率增长最快，对人群健康和生命威胁最大的恶性肿瘤之一。近50年来许多国家都报道肺癌的发病率和死亡率均明显增高，传统的肺癌筛查依靠专业的医疗人员对肺部影像进行解读，筛查出可疑的肺部结节，这对于医疗人员的工作量要求极高，且容易出现假阳性诊断，因此，如何提高肺癌病灶部位的图像识别的准确率是本领域技术人员待解决的技术问题。
发明内容
本申请实施例提供了一种图像识别方法及相关设备，可通过肺部扫描图像识别患者的肺癌患病概率，提高了肺癌病灶部位的图像识别的准确率。
第一方面，本申请实施例提供一种图像识别方法，其中：
将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图，所述第一神经网络用于识别所述目标肺部扫描图像中的结节图像；
将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图，所述第二神经网络用于识别所述第一类别概率图中的结节图像的结节类型；
根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元；
分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节，所述第三神经网络用于分别识别所述多个结节单元中每一结节单元的结节类型；
将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，所述第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类。
第二方面，本申请实施例提供一种图像识别装置，其中：
第一处理单元，用于将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图，所述第一神经网络用于识别所述目标肺部扫描图像中的结节图像；
第二处理单元，用于将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图，所述第二神经网络用于识别所述第一类别概率图中的结节图像的结节类型；
第三处理单元，用于根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元；分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节，所述第三神经网络用于分别识别所述多个结节单元中每一结节单元的结节类型；
第四处理单元，用于将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，所述第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多张程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
实施本申请实施例，将具有如下有益效果：
采用了上述的图像识别方法及相关设备之后，电子设备将目标肺部扫描图像输入至第一神经网络以得到针对有结节和无结节的第一类别概率图，然后将所述第一类别概率图输入至第二神经网络以得到针对良性结节、恶性结节和无结节的第二类别概率图，并根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元以得到多个结节单元，然后分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节。最后将所述第二类别概率图和所述第三类别概率图输入至第四神经网络以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率。如此，先识别肺部扫描图像的结节图像，再通过局部识别的结节类型和全局识别的结节类型确定肺癌患病概率，提高了肺癌病灶部位的图像识别的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例提供的一种图像识别方法的流程示意图；
图2为本申请实施例提供的一种图像识别装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面对本申请实施例进行详细介绍。
请参照图1，本申请实施例提供一种图像识别方法的流程示意图。该图像识别方法应用于电子设备。本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。
具体的，如图1所示，一种图像识别方法，应用于电子设备，其中：
S101：将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图。
在本申请中，目标肺部扫描图像为患者在医院中进行肺部计算机体层摄影(Computed Tomography，CT)得到的图像。本申请对于具体的扫描方式不做限定，让患者仰卧位，头先进，采集螺旋扫描方式从肺尖开始扫描至肺底，采集层厚小于等于1毫米，重建层厚5至7毫米，层间距5至7毫米，纵膈窗窗宽300至500HU，窗位30至50HU；肺窗窗宽800至1500HU，窗位-600至800HU，其中HU为CT值单位，又称亨氏单位，是由其发明者SirGreoffreyHounsfie1d的名字来命名的，用来表示CT图像上组织结构的相对密度。
在一种可能的实施例中，在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述方法还包括：获取待识别的多张肺部扫描图像；对所述多张肺部扫描图像中每一肺部扫描图像进行形态学去噪，以得到多张第一处理图像；对所述多张第一处理图像中每一第一处理图像进行像素归一化处理，以得到多张第二处理图像；根据所述多张肺部扫描图像的扫描序列和预设尺寸，对所述多张第二处理图像进行立体堆叠，以得到所述目标肺部扫描图像。
其中，多张肺部扫描图像为平面扫描图像，像素值范围是(-1024，3071)，对应于houns场的放射密度单位。
肺部扫描图像难免存在噪音，例如：原始CT包含衣物、医疗设备等，在此不做限定；形态学运算是针对二值图像依据数学形态学(Mathematical Morphology)的集合论方法发展起来的图像处理方法。最基本的形态学操作有：腐蚀与膨胀(Erosion和Dilation)，其中，膨胀运算是图像中的高亮部分进行膨胀，类似于领域扩张，效果图拥有比原图更大的高亮区域；腐蚀运算是原图的高亮部分被腐蚀，类似于领域被蚕食，效果图拥有比原图更小的高亮区域。从数学的角度来说，膨胀运算和腐蚀运算就是将图像与核进行卷积，核可以是任意形状和大小的。可以理解，本申请根据形态学进行去噪处理，可去除肺部扫描图像中的噪声，便于提高图像识别的识别效率和准确率。
在一种可能的实施例中，若所述多张第一处理图像包括目标第一处理图像，则所述对所述多张肺部扫描图像中每一肺部扫描图像进行形态学去噪，以得到多张第一处理图像，包括：对所述目标第一处理图像进行膨胀运算，以得到第一向量；对所述目标第一处理图像进行腐蚀运算，以得到第二向量；对所述第一向量和所述第二向量进行合并，以得到所述目标第一处理图像对应的第一处理图像。
可以理解，以多张第一处理图像中的目标第一处理图像为例，分别对目标第一处理图像进行膨胀运算和腐蚀运算，然后采用向量加法来实现两个集合的合并，以得到去噪的目标处理图像。如此，可去除肺部扫描图像中的噪声，便于提高图像识别的识别效率和准确率。
在一种可能的实施例中，所述对所述多张肺部扫描图像中每一肺部扫描图像进行形态学去噪，以得到多张第一处理图像，包括：对所述多张肺部扫描图像中每一肺部扫描图像进行预处理，以得到多张第四处理图像；对所述多张第四处理图像中每一第四处理图像进行形态学去噪，以得到所述多张第一处理图像。
其中，预处理包括但不限于以下中的任一项或多项：图像格式转换处理、图像缺失填补处理、减去平均值、规范化(normalization)、PCA和白化(whiten)等等。在该实施例中，通过对肺部扫描图像进行预处理得到的第四处理图像，可进一步提高图像识别的识别效率和准确率。
本申请对于预设尺寸不做限定，可以为512*512*512，可尽量保持真实的宽高比。可以理解，先将多张扫描得到的肺部扫描图像进行形态学去噪，以得到去除噪声的多张第一处理图像，便于提高图像识别的识别效率和准确率。然后，对对所述多张第一处理图像中每一第一处理图像进行像素归一化处理，以得到像素值归一到(0，1)范围的多张第二处理图像，可消除指标之间的量纲影响，以提高数据指标之间的可比性。然后，根据所述多张肺部扫描图像的扫描序列和预设尺寸，对所述多张第二处理图像进行立体堆叠，以得到立体的目标肺部扫描图像，如此，便于满足神经网络的处理要求，以及便于提高图像识别的识别效率和准确率。
在本申请中，第一神经网络用于识别目标肺部扫描图像中的结节图像，即输入该第一神经网络，可获取针对有结节和无结节的第一类别概率图。在执行步骤S101之前，第一神经网络是训练完成的，对于其训练方法不做限定。
在一种可能的实施例中，在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述方法还包括：将多张标记图像中每一标记图像进行区域划分，以得到多张第一图像；从所述多张第一图像中每一第一图像提取第二阈值个所述均匀网格图像，以得到多张第二图像；对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像；根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第三图像中每一第三图像对应的参考结节位置；根据所述多张第三图像和所述多张第三图像中每一第三图像对应的参考结节位置，对所述第一初始神经网络进行训练，以得到所述第一神经网络的第一网络参数；根据所述第一初始神经网络和所述第一网络参数获取所述第一神经网络。
在本申请中，每一标记图像包括结节标记信息，均采用前述的扫描方法和处理方法，且每一标记图像均进行了人工标记，例如：由三位或指定位数的放射科医生商定每个第一图像中结节的数量、位置、大小或类型等结节标记信息。
每一第一图像包括多张均匀网格图像，每一均匀网络图像的大小为第一阈值，本申请对于第一阈值不做限定，可以为16*16*16，也就是说，将各个标记图像进行区域划分，以使区域划分之后得到的第一图像中各个均匀网格图像的大小为第一阈值。
每一第二图像中包括第二阈值个均匀网格图像，本申请对于第二阈值也不做限定，可以为128，也就是说，只提取每一第一图像中的指定数量的均匀网格图像，如此，可提高运算效率。
第一初始神经网络为没有定义网络参数的所述第一神经网络，每一第三图像的大小满足第一初始神经网络定义的输入尺寸。本申请对于第二图像的尺寸处理方法也不做限定，可以进行零填充；也可复制有结节的均匀网格图像，则可保持阶级平衡；还可使用3D卷积合并，并用(1*1*1)卷积代替全局平均合并操作，以此得到满足训练图像大小的图像。本申请对于第三图像的大小不做限定，可以为32*32*32。可以理解，由于输入的尺寸较小，可提高运算效率。
如前所述，每一标记图像包括结节标记信息，第三图像为标记图像对应的处理图像，则可根据标记图像的结节标记信息获取第三图像对应的参考结节位置，即获取待训练图像的参考结节位置。
在一种可能的实施例中，所述对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，包括：提取所述多张第二图像中存在结节的均匀网格图像，以得到多张第四图像；对所述多张第二图像中每一第二图像的第四图像进行复制处理，以得到所述多张第三图像。
其中，第四图像为存在结节的均匀网络图像，本申请对于提取存在结节的均匀网格图像的方法不做限定，在一种可能的实施例中，若所述多张第二图像包括目标第二图像，所述目标第二图像对应多张目标第二均匀网络图像，则所述方法还包括：将所述多张目标第二均匀网格图像进行划分，以得到多个均匀网格图像集；对所述多张均匀网络图像集中每一均匀网络图像集对应的结节概率进行叠加运算，以得到多个叠加值；对所述多张均匀网络图像集中每一均匀网络图像集对应的叠加值进行平均运算，以得到多个平均值；提取所述多个平均值中的平均值大于第三阈值对应的均匀网格图像集中的均匀网格图像，以得到所述多张第四图像。
其中，均匀网格图像集的划分方法可以随机分配，例如，扫描到10个均匀网格图像分为一组；本申请对于第三阈值不做限定，可以为0.5。
可以理解，将多个目标第二均匀网格图像进行集合得到均匀网格图像集，并对各个均匀网格图像集对应的结节概率进行叠加运算以得到多个叠加值，以及对各个均匀网格图像集对应的叠加值进行平均运算以得到多个平均值，若平均值大于第三阈值，则确定该平均值对应的均匀网格图像集中每一均匀网格图像存在结节。如此，通过图像集的方式确定是否包含结节，可提高提取第四图像的效率。
本申请对于第一初始神经网络的训练过程不做限定，可采用批量梯度下降算法(Batch Gradient Descent，BGD)、随机梯度下降算法(Stochastic Gradient Descent，SGD)或小批量梯度下降算法(mini-batch SGD)等进行训练。一个训练周期由单次正向运算和反向梯度传播完成，即将待训练的图像正向输入至待训练的神经网络，以得到输出的目标对象，若目标对象与参考对象匹配失败，则根据目标对象与参考对象获取损失函数，再根据该损失函数反向输入至神经网络，以调整该神经网络的网络参数，例如：权值和偏置。然后，再输入下一个待训练的图像，直至匹配成功或完成所有图像的训练。在第一神经网络的训练过程中，参考对象为参考结节位置，目标对象为目标结节位置。
在一种可能的实施例中，所述根据所述多张第三图像和所述多张第三图像中每一第三图像对应的参考结节位置，对所述第一初始神经网络进行训练，以得到所述第一神经网络的第一网络参数，包括：按照预设比例将所述多张第三图像进行划分，以得到多张第一训练图像和多张第一验证图像；根据所述多张第一训练图像中每一第一训练图像对应的参考结节位置对所述第一初始神经网络进行分类，以得到所述第一神经网络的待验证网络参数；根据所述多张第一验证图像对所述待验证网络参数进行验证，以得到所述第一网络参数。
本申请对于预设比例不做限定，可以为7:3。
本申请对于分类算法不做限定，可采用逻辑回归或者决策树算法，对该多个第一训练图像对应的图像特征和参考结节位置进行分类，从而得到第一神经网络的待验证网络参数。
验证处理用于根据多张第一验证图像将已得到网络参数的待验证神经网络进行训练，以得到第一神经网络的第一网络参数，具体可参照前述的训练周期的方法，在此不再赘述。如此，就可输入测试图像，即执行S101。
可以理解，按照预设比例将所述多张第三图像进行划分以得到多张第一训练图像和多张第一验证图像，然后根据所述多张第一训练图像对所述第一初始神经网络进行分类以得到第一神经网络的待验证网络参数，最后根据所述多张第一验证图像对所述第一神经网络的待验证网络参数进行验证以得到所述第一神经网络的第一网络参数。如此，采用批量梯度下降算法进行训练和验证，提高了第一神经网络的训练速度。
本申请第一初始神经网络的训练参数也不做限定，例如：训练采用24个小批次的10000次迭代，学习率为0.01，体重衰减为0.0001使用默认参数(β1＝0.9，β2＝0.999)的第j个Adam优化器。
在一种可能的实施例中，采用线性整流(Rectified Linear Units，Relu)函数作为激活函数(Activation function)，
其中：Relu函数如下如示：f(x)＝max(0，x)。
可以理解，Relu函数作为激励函数，可增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层。
在一种可能的实施例中，采用加权交叉熵函数作为损失函数，如此，可避免出现较强的阶层失衡。此外，还可通过每批次的重量来平衡损失，并将其应用于较弱的类别。
本申请对于第一类别概率图不做限定，可以是一种密度直方图，用于描述各个均匀网格图像的结节概率。
可以理解，在本申请中，先将各个标记图像进行区域划分以得到多张网格大小相同的第一图像，再提取指定数量的均匀网格图像以得到多张第二图像，如此，提高了运算效率。为了满足运行条件，进一步对多张第二图像进行尺寸处理以得到多张第三图像，然后，根据各个标记图像的结节标记信息获取各个第三图像对应的参考结节位置，最后根据多张第三图像以及每一第三图像对应的参考结节位置对第一初始神经网络进行训练以得到第一神经网络的第一网络参数，从而根据第一初始神经网络和第一网络参数获取第一神经网络。如此，提高了第一神经网络的训练速度。
S102：将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图。
在本申请中，第二神经网络用于识别结节图像的结节类型，即进一步识别所述第一类别概率图中的结节图像的结节类型，在将第一类别概率图输入至第二神经网络时，可获取针对良性结节、恶性结节和无结节的第二类别概率图。可以理解，直接将第一类别概率图输入至第二神经网络，可节省识别无结节的时间，提高识别效率。
本申请对于第二类别概率图不做限定，可以是一种密度直方图，用于描述各个均匀网格图像的结节类型概率。
本申请对于目标结节类型的标记方法不做限定，可以将患有癌症的患者的所有结节标记为恶性，无癌患者的所有结节标记为良性，其中，癌症的诊断时长为1年，即在1年内被诊断患有癌症的扫描图片中的结节均被标记为恶性。
在执行步骤S102之前，第二神经网络是训练完成的，其训练方法可参照第一神经网络的训练方法，在此不做赘述，其中，参考对象为参考结节类型，目标对象为目标结节类型。
本申请对于第二神经网络的训练参数也不做限定，例如：训练阶段进行20000次迭代，学习率为0.01，验证阶段进行30000次迭代，学习率为0.001。
S103：根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元。
在本申请中，结节单元为第一类别概率图中识别为识别的单元，若均匀网格图像与结节的边界框相交，则可确定该均匀网格图像为结节单元。
S104：分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节。
在本申请中，第三神经网络用于分别识别各个结节单元的结节类型，即进一步识别所述第一类别概率图对应的每一结节单元的结节类型，在将多个结节单元输入至该第三神经网络时，可确定每一结节单元为良性结节还是恶性结节的概率。可以理解，直接将第一类别概率图中提取的多个结节图像分别输入至第三神经网络，可提高识别结节类型的准确性。
本申请对于第三类别概率图不做限定，可以是一种密度直方图，用于描述各个结节单元的结节类型概率。
在一种可能的实施例中，所述第一图像集中每一第一图像的标记信息还包括目标结节类型，所述方法还包括：对所述多张第四图像中每一第四图像进行数据增强，以得到多张第五图像；根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第五图像中每一第五图像对应的参考结节类型；根据所述多张第五图像和所述多张第五图像中每一第五图像对应的参考结节类型，对第二初始神经网络进行训练，以得到所述第三神经网络的第二网络参数。
本申请对于数据增强的方法不做限定，可包括音量增强、旋转、减去平均值、放大和缩小等。在一种可能的实施例中，若所述多张第三图像包括目标第三图像，则所述对所述多张第三图像中每一第三图像进行数据增强，以得到多张第五图像，包括：按照第一角度，对所述目标第三图像对应的掩膜进行旋转处理，以得到第一子处理图像；对所述第一子处理图像进行减去平均值处理，以得到第二子处理图像；按照第一倍数，对所述第二子处理图像对应的掩膜的宽度进行尺寸处理，以得到第三子处理图像；按照第二倍数，对所述第三子处理图像对应的掩膜的长度进行尺寸处理，以得到第四子处理图像；按照第三倍数，对所述第四子处理图像进行尺寸处理，以得到第五子处理图像；按照第二角度，对所述第六子处理图像的掩膜进行镜像翻转处理，以得到所述目标第三处理图像对应的第五图像。
本申请对于第一角度、第一倍数、第二倍数、第三倍数和第四角度不做限定，其中，第一角度可以为小于或等于270度，第一倍数可以为0.9或1.1，第二倍数可以为0.9或1.1，第三倍数可以为0.8或1.2，第二角度可以小于或等于270度。
通过设置rotation属性可以旋转显示对象，即将此属性设置为一个数字(0-360)，以度为单位，表示应用于该对象的旋转量。
可以理解，以目标第三图像为例，则多张第三图像中的任一第三图像在训练之前，均执行上述多种处理步骤，即对目标第三图像进行旋转、减去平均值、尺寸以及镜像翻转处理，使得目标第三图像对应的第五图像进行数据增强处理，如此，提高了图像的清晰度，便于提高第二神经网络的识别效率。
在本申请中，所述第二初始神经网络为没有定义网络参数的所述第三神经网络。第三神经网络的训练方法可参照第一神经网络的训练方法，其中，参考对象为参考结节类型，目标对象为目标结节类型。即将多张第五图像输入至待训练或待验证的神经网络，以得到该每一第五图像中的目标结节类型，若该目标结节类型与之前标记的参考结节类型匹配失败，则根据该目标结节类型和参考结节类型获取损失函数，根据该损失函数对神经网络的网络参数进行更新。
本申请对于第三神经网络的训练参数也不做限定，例如：批量大小为32，使用Adam优化器进行6000次迭代，学习率为0.01，权重衰减为0.0001。
可以理解，在本申请中，提取多张第二图像中存在结节的均匀网格图像以得到多张第四图像，即仅提取结节单元。再对所述多张第四图像中每一第四图像进行数据增强以得到多张第五图像，可提高数据处理效率。然后，根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第五图像中每一第五图像对应的参考结节类型，最后根据所述多张第五图像和所述多张第五图像中每一第五图像对应的参考结节类型，对第二初始神经网络进行训练，以得到所述第三神经网络的第二网络参数，所述第二初始神经网络为没有定义网络参数的所述第三神经网络。如此，提高了第三神经网络的训练效率。
需要说明的是，第三神经网络的训练图像可以是与第一神经网络的训练图像不同的一批图像，其训练之前的处理方法可参照第一神经网络的训练图像的方法。
S105：将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率。
在本申请中，第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类，也就是说，对第二神经网络得到的全局识别结节类型和第三神经网络得到的局部识别结节类型进行分类，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，即在将第二类别概率图和第三类别概率图输入至该第四神经网络时，可确定该目标肺部扫描图像对应的目标患者患有肺癌的概率。可以理解，通过局部识别结节类型和全局识别结节类型的识别结果确定肺癌患病概率，进一步提高了识别肺癌的准确性。
在本申请中，第四神经网络的训练方法可参照第一神经网络的训练方法，其中，参考对象为参考肺癌概率，目标对象为目标肺癌概率。本申请对于第四神经网络的训练参数也不做限定，例如：所有的数据作为一个批次，使用Adam优化器进行2000次迭代，权重衰减为0.0001。
在一种可能的实施例中，所述将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，包括：分别对所述第二类别概率图和所述第三类别概率图进行数据增强，以得到目标第二类别概率图和目标第三类别概率图；将所述目标第二类别概率图和所述目标第三类别概率图输入至所述第四神经网络，以得到所述肺癌患病概率。
其中，数据增强可进行音量转置增强，也可进行剪裁，还可参照第三神经网络的数据增强操作，在此不做限定。可以理解，通过数据增强操作，提高了图像的清晰度，便于提高第四神经网络的识别效率。
在一种可能的实施例中，所述将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，包括：将所述第二类别概率图和所述第三类别概率图进行特征加权，以得到针对所述多个结节单元中每一结节单元的结节类型的第四类别概率图；将所述第四类别概率图输入至第四神经网络，以得到所述肺癌患病概率。
本申请对于第四类别概率图不做限定，可以是一种密度直方图，用于描述各个均匀网格图像的结节类型概率。
本申请可根据第二类别概率图和第三类别概率图中的结节的数量、最小值、最大值、平均值、标准偏差和所有最大输出的综合等计算第二神经网络和第三神经网络的权值，然后，分别根据其权值进行特征加权。
可以理解，先对局部和全局确定目标肺部扫描图像的结节类型的识别结果进行特征加权以得到第四类别概率图，然后针对第四类别概率图中各个结节的结节类型确定肺癌患病概率，提高了识别肺癌的准确性。
在如图1所示的图像识别方法中，电子设备将目标肺部扫描图像输入至第一神经网络以得到针对有结节和无结节的第一类别概率图，然后将所述第一类别概率图输入至第二神经网络以得到针对良性结节、恶性结节和无结节的第二类别概率图，并根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元以得到多个结节单元，然后分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节。最后将所述第二类别概率图和所述第三类别概率图输入至第四神经网络以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率。如此，先识别肺部扫描图像的结节图像，再通过局部识别的结节类型和全局识别的结节类型确定肺癌患病概率，提高了肺癌病灶部位的图像识别的准确率。
与图1的实施例一致，请参照图2，图2是本申请实施例提供的一种图像识别装置的结构示意图，所述装置应用于电子设备。如图2所示，上述图像识别装置200包括：
第一处理单元201，用于将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图，所述第一神经网络用于识别所述目标肺部扫描图像中的结节图像；
第二处理单元202，用于将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图，所述第二神经网络用于识别所述第一类别概率图中的结节图像的结节类型；
第三处理单元203，用于根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元；分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节，所述第三神经网络用于分别识别所述多个结节单元中每一结节单元的结节类型；
第四处理单元204，用于将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，所述第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类。
可以理解，电子设备将目标肺部扫描图像输入至第一神经网络以得到针对有结节和无结节的第一类别概率图，然后将所述第一类别概率图输入至第二神经网络以得到针对良性结节、恶性结节和无结节的第二类别概率图，并根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元以得到多个结节单元，然后分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节。最后将所述第二类别概率图和所述第三类别概率图输入至第四神经网络以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率。如此，先识别肺部扫描图像的结节图像，再通过局部识别的结节类型和全局识别的结节类型确定肺癌患病概率，提高了肺癌病灶部位的图像识别的准确率。
在一个可能的示例中，所述装置200还包括：
预处理单元205，用于获取待识别的多张肺部扫描图像；对所述多张肺部扫描图像中每一肺部扫描图像进行形态学去噪，以得到多张第一处理图像；对所述多张第一处理图像中每一第一处理图像进行像素归一化处理，以得到多张第二处理图像；根据所述多张肺部扫描图像的扫描序列和预设尺寸，对所述多张第二处理图像进行立体堆叠，以得到所述目标肺部扫描图像。
在一个可能的示例中，在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述预处理单元205，还用于将多张标记图像中每一标记图像进行区域划分，以得到多张第一图像，每一第一图像包括多张均匀网格图像，每一均匀网格图像的大小为第一阈值，每一标记图像包括结节标记信息；从所述多张第一图像中每一第一图像提取第二阈值个所述均匀网格图像，以得到多张第二图像；对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，每一第三图像的大小满足第一初始神经网络定义的输入尺寸，所述第一初始神经网络为没有定义网络参数的所述第一神经网络；根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第三图像中每一第三图像对应的参考结节位置；
所述装置200还包括：
训练单元206，用于根据所述多张第三图像和所述多张第三图像中每一第三图像对应的参考结节位置，对所述第一初始神经网络进行训练，以得到所述第一神经网络的第一网络参数；根据所述第一初始神经网络和所述第一网络参数获取所述第一神经网络。
在一个可能的示例中，在所述对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像方面，所述预处理单元205具体用于提取所述多张第二图像中存在结节的均匀网格图像，以得到多张第四图像；对所述多张第二图像中每一第二图像的第四图像进行复制处理，以得到所述多张第三图像。
在一个可能的示例中，所述预处理单元205还用于对所述多张第四图像中每一第四图像进行数据增强，以得到多张第五图像；根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第五图像中每一第五图像对应的参考结节类型；根据所述多张第五图像和所述多张第五图像中每一第五图像对应的参考结节类型，对第二初始神经网络进行训练，以得到所述第三神经网络的第二网络参数，所述第二初始神经网络为没有定义网络参数的所述第三神经网络。
在一个可能的示例中，若所述多张第二图像包括目标第二图像，所述目标第二图像对应多张目标第二均匀网络图像，则所述预处理单元205具体用于将所述多张目标第二均匀网格图像进行划分，以得到多个均匀网格图像集；对所述多张均匀网络图像集中每一均匀网络图像集对应的结节概率进行叠加运算，以得到多个叠加值；对所述多张均匀网络图像集中每一均匀网络图像集对应的叠加值进行平均运算，以得到多个平均值；提取所述多个平均值中的平均值大于第三阈值对应的均匀网格图像集中的均匀网格图像，以得到所述多张第四图像。
在一个可能的示例中，在所述将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率方面，所述第四处理单元204具体用于将所述第二类别概率图和所述第三类别概率图进行特征加权，以得到针对所述多个结节单元中每一结节单元的结节类型的第四类别概率图；将所述第四类别概率图输入至第四神经网络，以得到所述肺癌患病概率。
与图1的实施例一致，请参照图3，图3是本申请实施例提供的一种电子设备的结构示意图。如图3所示，该电子设备300包括处理器310、存储器320、通信接口330以及一个或多个程序340，其中，上述一个或多个程序340被存储在上述存储器320中，并且被配置由上述处理器310执行，上述程序340包括用于执行以下步骤的指令：
将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图，所述第一神经网络用于识别所述目标肺部扫描图像中的结节图像；
将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图，所述第二神经网络用于识别所述第一类别概率图中的结节图像的结节类型；
根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元；
分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节，所述第三神经网络用于分别识别所述多个结节单元中每一结节单元的结节类型；
将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，所述第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类。
可以理解，电子设备将目标肺部扫描图像输入至第一神经网络以得到针对有结节和无结节的第一类别概率图，然后将所述第一类别概率图输入至第二神经网络以得到针对良性结节、恶性结节和无结节的第二类别概率图，并根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元以得到多个结节单元，然后分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节。最后将所述第二类别概率图和所述第三类别概率图输入至第四神经网络以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率。如此，先识别肺部扫描图像的结节图像，再通过局部识别的结节类型和全局识别的结节类型确定肺癌患病概率，提高了肺癌病灶部位的图像识别的准确率。
在一个可能的示例中，在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述程序340还用于执行以下步骤的指令：
获取待识别的多张肺部扫描图像；
对所述多张肺部扫描图像中每一肺部扫描图像进行形态学去噪，以得到多张第一处理图像；
对所述多张第一处理图像中每一第一处理图像进行像素归一化处理，以得到多张第二处理图像；
根据所述多张肺部扫描图像的扫描序列和预设尺寸，对所述多张第二处理图像进行立体堆叠，以得到所述目标肺部扫描图像。
在一个可能的示例中，在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述程序340还用于执行以下步骤的指令：
将多张标记图像中每一标记图像进行区域划分，以得到多张第一图像，每一第一图像包括多张均匀网格图像，每一均匀网格图像的大小为第一阈值，每一标记图像包括结节标记信息；
从所述多张第一图像中每一第一图像提取第二阈值个所述均匀网格图像，以得到多张第二图像；
对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，每一第三图像的大小满足第一初始神经网络定义的输入尺寸，所述第一初始神经网络为没有定义网络参数的所述第一神经网络；
根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第三图像中每一第三图像对应的参考结节位置；
根据所述多张第三图像和所述多张第三图像中每一第三图像对应的参考结节位置，对所述第一初始神经网络进行训练，以得到所述第一神经网络的第一网络参数；
根据所述第一初始神经网络和所述第一网络参数获取所述第一神经网络。
在一个可能的示例中，在所述对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像方面，所述程序340具体用于执行以下步骤的指令：
提取所述多张第二图像中存在结节的均匀网格图像，以得到多张第四图像；
对所述多张第二图像中每一第二图像的第四图像进行复制处理，以得到所述多张第三图像。
在一个可能的示例中，所述程序340还用于执行以下步骤的指令：
对所述多张第四图像中每一第四图像进行数据增强，以得到多张第五图像；
根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第五图像中每一第五图像对应的参考结节类型；
根据所述多张第五图像和所述多张第五图像中每一第五图像对应的参考结节类型，对第二初始神经网络进行训练，以得到所述第三神经网络的第二网络参数，所述第二初始神经网络为没有定义网络参数的所述第三神经网络。
在一个可能的示例中，若所述多张第二图像包括目标第二图像，所述目标第二图像对应多张目标第二均匀网络图像，则在所述提取所述多张第二图像中存在结节的均匀网格图像，以得到多张第四图像方面，所述程序340具体用于执行以下步骤的指令：
将所述多张目标第二均匀网格图像进行划分，以得到多个均匀网格图像集；
对所述多张均匀网络图像集中每一均匀网络图像集对应的结节概率进行叠加运算，以得到多个叠加值；
对所述多张均匀网络图像集中每一均匀网络图像集对应的叠加值进行平均运算，以得到多个平均值；
提取所述多个平均值中的平均值大于第三阈值对应的均匀网格图像集中的均匀网格图像，以得到所述多张第四图像。
在一个可能的示例中，在所述将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率方面，所述程序340具体用于执行以下步骤的指令：
将所述第二类别概率图和所述第三类别概率图进行特征加权，以得到针对所述多个结节单元中每一结节单元的结节类型的第四类别概率图；
将所述第四类别概率图输入至第四神经网络，以得到所述肺癌患病概率。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于存储计算机程序，该计算机程序使得计算机执行如方法实施例中记载的任一方法的部分或全部步骤，计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行如方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模式并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模式的形式实现。
集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图像识别方法，其特征在于，包括：
将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图，所述第一神经网络用于识别所述目标肺部扫描图像中的结节图像；
将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图，所述第二神经网络用于识别所述第一类别概率图中的结节图像的结节类型；
根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元；
分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节，所述第三神经网络用于分别识别所述多个结节单元中每一结节单元的结节类型；
将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，所述第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类；
在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述方法还包括：
将多张标记图像中每一标记图像进行区域划分，以得到多张第一图像，每一第一图像包括多张均匀网格图像，每一均匀网格图像的大小为第一阈值，每一标记图像包括结节标记信息；
从所述多张第一图像中每一第一图像提取第二阈值个所述均匀网格图像，以得到多张第二图像；
对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，每一第三图像的大小满足第一初始神经网络定义的输入尺寸，所述第一初始神经网络为没有定义网络参数的所述第一神经网络；
根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第三图像中每一第三图像对应的参考结节位置；
根据所述多张第三图像和所述多张第三图像中每一第三图像对应的参考结节位置，对所述第一初始神经网络进行训练，以得到所述第一神经网络的第一网络参数；
根据所述第一初始神经网络和所述第一网络参数获取所述第一神经网络；
其中，所述对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，包括：
对所述多张第二图像中每一第二图像中有结节的均匀网格图像进行复制和尺寸处理，以得到多张第三图像。
2.根据权利要求1所述的方法，其特征在于，在所述将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图之前，所述方法还包括：
获取待识别的多张肺部扫描图像；
对所述多张肺部扫描图像中每一肺部扫描图像进行形态学去噪，以得到多张第一处理图像；
对所述多张第一处理图像中每一第一处理图像进行像素归一化处理，以得到多张第二处理图像；
根据所述多张肺部扫描图像的扫描序列和预设尺寸，对所述多张第二处理图像进行立体堆叠，以得到所述目标肺部扫描图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，包括：
提取所述多张第二图像中存在结节的均匀网格图像，以得到多张第四图像；
对所述多张第二图像中每一第二图像的第四图像进行复制处理，以得到所述多张第三图像。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对所述多张第四图像中每一第四图像进行数据增强，以得到多张第五图像；
根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第五图像中每一第五图像对应的参考结节类型；
根据所述多张第五图像和所述多张第五图像中每一第五图像对应的参考结节类型，对第二初始神经网络进行训练，以得到所述第三神经网络的第二网络参数，所述第二初始神经网络为没有定义网络参数的所述第三神经网络。
5.根据权利要求3所述的方法，其特征在于，若所述多张第二图像包括目标第二图像，所述目标第二图像对应多张目标第二均匀网络图像，则所述提取所述多张第二图像中存在结节的均匀网格图像，以得到多张第四图像，包括：
将所述多张目标第二均匀网格图像进行划分，以得到多个均匀网格图像集；
对所述多张均匀网络图像集中每一均匀网络图像集对应的结节概率进行叠加运算，以得到多个叠加值；
对所述多张均匀网络图像集中每一均匀网络图像集对应的叠加值进行平均运算，以得到多个平均值；
提取所述多个平均值中的平均值大于第三阈值对应的均匀网格图像集中的均匀网格图像，以得到所述多张第四图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，包括：
将所述第二类别概率图和所述第三类别概率图进行特征加权，以得到针对所述多个结节单元中每一结节单元的结节类型的第四类别概率图；
将所述第四类别概率图输入至第四神经网络，以得到所述肺癌患病概率。
7.一种图像识别装置，其特征在于，包括：
第一处理单元，用于将目标肺部扫描图像输入至第一神经网络，以得到针对有结节和无结节的第一类别概率图，所述第一神经网络用于识别所述目标肺部扫描图像中的结节图像；
第二处理单元，用于将所述第一类别概率图输入至第二神经网络，以得到针对良性结节、恶性结节和无结节的第二类别概率图，所述第二神经网络用于识别所述第一类别概率图中的结节图像的结节类型；
第三处理单元，用于根据所述第一类别概率图提取所述目标肺部扫描图像中的结节单元，以得到多个结节单元；分别将所述多个结节单元中每一结节单元输入至第三神经网络，以得到针对所述多个结节单元中每一结节单元的结节类型的第三类别概率图，所述结节类型包括良性结节和恶性结节，所述第三神经网络用于分别识别所述多个结节单元中每一结节单元的结节类型；
第四处理单元，用于将所述第二类别概率图和所述第三类别概率图输入至第四神经网络，以得到所述目标肺部扫描图像对应的目标患者的肺癌患病概率，所述第四神经网络用于对所述第二类别概率图和所述第三类别概率图进行分类；
预处理单元，用于将多张标记图像中每一标记图像进行区域划分，以得到多张第一图像，每一第一图像包括多张均匀网格图像，每一均匀网格图像的大小为第一阈值，每一标记图像包括结节标记信息；从所述多张第一图像中每一第一图像提取第二阈值个所述均匀网格图像，以得到多张第二图像；对所述多张第二图像中每一第二图像进行尺寸处理，以得到多张第三图像，每一第三图像的大小满足第一初始神经网络定义的输入尺寸，所述第一初始神经网络为没有定义网络参数的所述第一神经网络；根据所述多张标记图像中每一标记图像包括的结节标记信息，获取所述多张第三图像中每一第三图像对应的参考结节位置；
训练单元，用于根据所述多张第三图像和所述多张第三图像中每一第三图像对应的参考结节位置，对所述第一初始神经网络进行训练，以得到所述第一神经网络的第一网络参数；根据所述第一初始神经网络和所述第一网络参数获取所述第一神经网络；
所述预处理单元具体用于对所述多张第二图像中每一第二图像中有结节的均匀网格图像进行复制和尺寸处理，以得到多张第三图像。
8.一种电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多张程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-6任一项方法中的步骤的指令。
9.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
CN201910135802.6A 2019-02-21 2019-02-21 图像识别方法及相关设备 Active CN109978004B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910135802.6A CN109978004B (zh) 2019-02-21 2019-02-21 图像识别方法及相关设备
PCT/CN2019/088825 WO2020168647A1 (zh) 2019-02-21 2019-05-28 图像识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910135802.6A CN109978004B (zh) 2019-02-21 2019-02-21 图像识别方法及相关设备

Publications (2)

Publication Number Publication Date
CN109978004A CN109978004A (zh) 2019-07-05
CN109978004B true CN109978004B (zh) 2024-03-29

Family

ID=67077245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910135802.6A Active CN109978004B (zh) 2019-02-21 2019-02-21 图像识别方法及相关设备

Country Status (2)

Country Link
CN (1) CN109978004B (zh)
WO (1) WO2020168647A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785562B (zh) * 2021-01-13 2022-12-27 北京智拓视界科技有限责任公司 一种基于神经网络模型进行评估的系统和相关产品
CN112884706B (zh) * 2021-01-13 2022-12-27 北京智拓视界科技有限责任公司 一种基于神经网络模型的图像评估系统和相关产品
CN112907533A (zh) * 2021-02-10 2021-06-04 武汉精测电子集团股份有限公司 检测模型训练方法、装置、设备及可读存储介质
CN114283290B (zh) * 2021-09-27 2024-05-03 腾讯科技（深圳）有限公司 图像处理模型的训练、图像处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108765369A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109035234A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154998A1 (en) * 2012-04-09 2013-10-17 Duke University Serum biomarkers and pulmonary nodule size for the early detection of lung cancer
US9305351B2 (en) * 2013-06-16 2016-04-05 Larry D. Partain Method of determining the probabilities of suspect nodules being malignant
CN108346154B (zh) * 2018-01-30 2021-09-07 浙江大学 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN108280487A (zh) * 2018-02-05 2018-07-13 深圳天琴医疗科技有限公司 一种结节良恶性的确定方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108765369A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109035234A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质

Also Published As

Publication number Publication date
WO2020168647A1 (zh) 2020-08-27
CN109978004A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
Sori et al. DFD-Net: lung cancer detection from denoised CT scan image using deep learning
CN109978004B (zh) 图像识别方法及相关设备
JP4999163B2 (ja) 画像処理方法および装置ならびにプログラム
Taşcı et al. Shape and texture based novel features for automated juxtapleural nodule detection in lung CTs
CN110276741B (zh) 结节检测及其模型训练的方法和装置以及电子设备
Tasse et al. Cluster-based point set saliency
Roy et al. Classification of lung image and nodule detection using fuzzy inference system
Rahman et al. A new method for lung nodule detection using deep neural networks for CT images
Palma et al. Detection of masses and architectural distortions in digital breast tomosynthesis images using fuzzy and a contrario approaches
JP2006325937A (ja) 画像判定装置、画像判定方法およびそのプログラム
JP2006006359A (ja) 画像生成装置、画像生成装置方法、およびそのプログラム
Rani et al. Superpixel with nanoscale imaging and boosted deep convolutional neural network concept for lung tumor classification
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
Cheng et al. ACCOMP: augmented cell competition algorithm for breast lesion demarcation in sonography
CN110956632A (zh) 钼靶图像中胸大肌区域自动检测方法及装置
De Automatic data extraction from 2D and 3D pie chart images
Dimililer et al. ILTDS: Intelligent lung tumor detection system on ct images
Basha et al. An effective and robust cancer detection in the lungs with BPNN and watershed segmentation
Liu et al. Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement
Pushparaj et al. Dental radiographs and photographs in human forensic identification
Al-Karawi et al. An evaluation of the effectiveness of image-based texture features extracted from static B-mode ultrasound images in distinguishing between benign and malignant ovarian masses
Iqbal et al. A heteromorphous deep CNN framework for medical image segmentation using local binary pattern
Wang et al. Improved classifier for computer‐aided polyp detection in CT Colonography by nonlinear dimensionality reduction
Torres et al. Lesion detection in breast ultrasound images using a machine learning approach and genetic optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant