CN110533120A - 器官结节的图像分类方法、装置、终端及存储介质 - Google Patents

器官结节的图像分类方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110533120A
CN110533120A CN201910838735.4A CN201910838735A CN110533120A CN 110533120 A CN110533120 A CN 110533120A CN 201910838735 A CN201910838735 A CN 201910838735A CN 110533120 A CN110533120 A CN 110533120A
Authority
CN
China
Prior art keywords
tubercle
block
organ
pixels
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910838735.4A
Other languages
English (en)
Other versions
CN110533120B (zh
Inventor
伍健荣
朱艳春
曹世磊
李仁�
马锴
郑冶枫
陈景亮
杨昊臻
常佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910838735.4A priority Critical patent/CN110533120B/zh
Publication of CN110533120A publication Critical patent/CN110533120A/zh
Application granted granted Critical
Publication of CN110533120B publication Critical patent/CN110533120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种器官结节的图像分类方法、装置、终端及存储介质，方法包括：获取图像序列中待分类器官结节的结节信息，结节信息包括待分类器官结节的结节中心位置和结节尺寸；根据结节中心位置和结节尺寸从图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，原始三维像素块和增强三维像素块中包含待分类器官结节，原始三维像素块与增强三维像素块对应的空间位置不同；将原始三维像素块和至少一个增强三维像素块分别输入器官结节分类网络，得到输出的第一分类结果和至少一个第二分类结果；根据第一分类结果和至少一个第二分类结果确定待分类器官结节对应的目标分类结果。本申请实施例有助于提高器官结节分类的准确性和鲁棒性。

Description

器官结节的图像分类方法、装置、终端及存储介质
技术领域
本申请实施例涉及人工智能领域，特别涉及一种器官结节的图像分类方法、装置、终端及存储介质。
背景技术
人体器官发生病变时通常会出现器官结节，因此器官结节可以作为判断器官病变的重要指标。常见的器官结节包括肺结节、乳腺结节和甲状腺结节等等。
医务人员通常借助仪器对器官进行成像，从而基于图像进行器官结节检测。该图像是通过三维扫描得到的二维图像序列，比如，该图像可以为计算机断层扫描(ComputedTomography，CT)图像或磁共振(Magnetic Resonance，MR)图像。以CT仪器为例，使用CT仪器对器官进行扫描，从而基于扫描得到的CT图像进行器官结节检测和分类。相关技术中，可以利用预训练的三维卷积神经网络(Convolutional Neural Network，CNN)检测CT图像中的器官结节，并进一步对检测出的待分类器官结节进行结节分类。
然而，相关技术中，对于检测出的待分类器官结节，计算机设备通常利用包含待分类器官结节的单一三维像素块进行结节分类，若待分类器官结节的检测存在偏差，将直接影响结节分类结果的准确性。
发明内容
本申请实施例提供了一种器官结节的图像分类方法、装置、终端及存储介质，可以解决相关技术中结节分类结果的准确性较低的问题。所述技术方案如下：
一方面，本申请实施例提供了一种器官结节的图像分类方法，所述方法包括：
获取图像序列中待分类器官结节的结节信息，所述结节信息包括所述待分类器官结节的结节中心位置和结节尺寸；
根据所述结节中心位置和所述结节尺寸，从所述图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，所述原始三维像素块和所述增强三维像素块中包含所述待分类器官结节，且所述原始三维像素块与所述增强三维像素块对应的空间位置不同；
将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络，得到所述器官结节分类网络输出的第一分类结果和至少一个第二分类结果，所述第一分类结果为所述原始三维像素块的分类结果，所述第二分类结果为所述增强三维像素块的分类结果；
根据所述第一分类结果和至少一个所述第二分类结果确定所述待分类器官结节对应的目标分类结果。
另一方面，本申请实施例提供了一种器官结节的图像分类装置，所述装置包括：
获取模块，用于获取图像序列中待分类器官结节的结节信息，所述结节信息包括所述待分类器官结节的结节中心位置和结节尺寸；
裁剪模块，用于根据所述结节中心位置和所述结节尺寸，从所述图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，所述原始三维像素块和所述增强三维像素块中包含所述待分类器官结节，且所述原始三维像素块与所述增强三维像素块对应的空间位置不同；
网络预测模块，用于将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络，得到所述器官结节分类网络输出的第一分类结果和至少一个第二分类结果，所述第一分类结果为所述原始三维像素块的分类结果，所述第二分类结果为所述增强三维像素块的分类结果；
分类模块，用于根据所述第一分类结果和至少一个所述第二分类结果确定所述待分类器官结节对应的目标分类结果。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的器官结节的图像分类方法。
另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的器官结节的图像分类方法。
另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述方面所述的器官结节的图像分类方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过获取图像序列中待分类器官结节的结节信息，根据结节信息中的结节中心位置以及结节尺寸，从图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，并利用器官结节分类网络分别对原始三维像素块和增强三维像素块进行分类，最终根据各个三维像素块对应的分类结果确定出待分类器官结节的目标分类结果；本申请实施例中引入了数据增强机制，并利用数据增强后的三维像素块进行分类预测以及分类结果融合，即便结节信息存在误差，也能够通过数据增强机制降低结节信息误差对最终分类结果的影响，进而提高了器官结节分类的准确性和鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的器官结节的图像分类方法的原理示意图；
图2是本申请一个示例性实施例提供的器官结节的图像分类方法实施过程的界面示意图；
图3示出了本申请一个示例性实施例提供的实施环境的示意图；
图4示出了本申请一个示例性实施例提供的器官结节的图像分类方法的流程图；
图5示出了本申请另一个示例性实施例提供的器官结节的图像分类方法的流程图；
图6是根据结节尺寸确定像素块尺寸过程的实施示意图；
图7是对原始三维像素块进行平移生成增强三维像素块过程的实施示意图；
图8是图5所示器官结节的图像分类方法应用过程的示意图；
图9是本申请一个示例性实施例提供的器官结节的图像分类装置的结构框图；
图10示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中，利用预训练的三维卷积神经网络进行器官结节检测以及分类时，对于检测出的待分类器官结节，计算机设备通常按照固定尺寸，提取包含待分类器官结节的单一三维像素块，从而利用三维卷积神经网络中的分类网络对单一三维像素块进行分类，进而得到相应的分类结果。然而，采用这种方式时，若待分类器官结节的检测存在误差，计算机设备提取到的单一三维像素块的准确性将受到影响，相应的，基于单一三维像素块进行器官结节分类的准确性也将直接受到影响，导致相关技术中器官结节分类的准确性以及鲁棒性较低。
为了解决相关技术中存在的问题，本申请实施例提供的器官结节的图像分类方法中引入了数据增强以及决策融合机制。请参考图1，其示出了一个示例性本申请实施例提供的器官结节的图像分类方法的原理示意图。对于待分类器官结节，计算机设备首先获取待分类器官结节的结节信息11，从而基于结节信息11，从图像序列12中裁剪出包含待分类器官结节的原始三维像素块13。
为了避免因结节信息11存在误差，导致裁剪得到的原始三维像素块13不准确(比如未包含完整的待分类器官结节)，计算机设备对原始三维像素块13进行数据增强，得到若干个与原始三维像素块所处空间位置不同的增强三维像素块14。进一步的，计算机设备将原始三维像素块13以及各个增强三维像素块14分别输入预训练的器官结节分类网络15，得到各个三维像素块各自对应的分类结果16，并对多个分类结果16进行决策融合，得到待分类器官结节的目标分类结果17。
通过引入数据增强以及决策融合机制，即便检测出的待分类器官结节存在误差(即结节信息存在误差)，计算机设备也能够通过数据增强和决策融合机制降低误差对最终分类结果造成的影响，避免误差直接影响最终分类结果，达到了提高器官结节分类准确性以及鲁棒性的效果。
下面对本申请实施例提供的器官结节的图像分类方法的应用场景进行示意性说明。
1、器官结节检测结果的后处理
当利用本申请实施例提供的器官结节的图像分类方法对器官结节检测结果进行后处理时，该方法可以实现成为器官结节分类程序，并与已有的器官结节检测程序结合，作为器官结节检测程序的后处理程序。
在该场景下，已有的器官结节检测程序作为检测器，从图像序列中检测器官结节并提取出器官结节的结节信息，比如器官结节的位置以及尺寸。为了进一步对检测出的器官结节进行分类(比如真/假结节分类、良/恶性结节分类、结节性质分类)，器官结节检测程序输出的结节信息以及图像序列输入器官结节分类程序，由器官结节分类程序基于结节信息从图像序列中裁剪得到多个包含待分类器官结节的三维像素块，并利用预训练的器官结节分类网络对各个三维像素块进行分类，从而对每个三维像素块的分类结果进行融合，最终得到待分类器官结节的分类结果，并进行输出显示。
2、辅助医生临床诊断
当利用本申请实施例提供的器官结节的图像分类方法辅助医生进行临床诊断时，该方法可以实现成为独立的器官结节分类程序，并安装在医生使用的计算机设备或者提供器官结节分类服务的后台服务器中，方便医生使用该程序对诊断出的器官结节进行分类。
在该场景下，对器官进行扫描得到的图像序列被输入至器官结节分类程序，由医生从若干张图像中选取器官结节最清晰(或者结节截面最大)的一张图像，并由医生在该图像中人工标记出器官结节的位置。器官结节分类程序根据人工标注信息，基于图像序列进行三维像素块裁剪，从而利用器官结节分类网络对裁剪得到的若干个三维像素块进行分类，并对每个三维像素块的分类结果进行融合，最终将融合得到的分类结果反馈给医生。
示意性的，如图2所示，肺结节分类程序获取到输入的肺部CT图像序列后，将肺部CT图像序列显示在CT图像选择界面21，并指示医生从中选取最清晰的CT图像(肺结节最清晰)。医生选取最清晰的CT图像后，器官结节分类程序显示结节标注界面22，指示医生在CT图像中使用虚线框221标记出肺结节所在的位置。完成肺结节标注后，器官结节分类程序即根据人工标注信息和CT图像序列进行肺结节分类，最终将肺分类结果显示在分类结果界面23中，从而辅助医生进行临床诊断，降低对医生诊断经验的要求。
当然，除了应用于上述场景外，本申请实施例提供方法还可以应用于其他需要对器官结节进行分类的场景，本申请实施例并不对具体的应用场景进行限定。
本申请实施例提供的器官结节的图像分类方法可以应用于终端或者服务器等计算机设备中。在一种可能的实施方式中，本申请实施例提供的器官结节的图像分类方法可以实现成为应用程序或应用程序的一部分，并被安装到医生使用的终端中，使终端具备根据图像进行自动器官结节分类的功能；或者，可以应用于应用程序的后台服务器中，从而由服务器为终端中的应用程序提供器官结节分类服务。
请参考图3，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端310和服务器320，其中，终端510与服务器520之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端310中安装有具有器官结节分类需求的应用程序，该应用程序可以是临床诊断辅助应用程序、医疗图像处理应用程序或其他应用于医疗领域的人工智能(ArtificialIntelligence，AI)应用程序，本申请实施例对此不作限定。
可选的，终端310可以是平板电脑、膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，本申请实施例对此不做限定。
服务器320可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器320是终端310中应用程序的后台服务器。
如图3所示，本申请实施例中，服务器320中包括获取模块3201、裁剪模块3202、网络预测模块3203以及分类模块3204。终端310通过应用程序将图像序列发送至服务器320后，服务器320通过获取模块3201获取图像序列中待分类器官结节的结节信息后，将结节信息和图像序列输入裁剪模块3202，由裁剪模块3202根据结节信息从图像序列中裁剪得到若干三维像素块，并输入网络预测模块3203。网络预测模块3203中存储有预训练的器官结节分类网络，借助该网络，网络预测模块3203输出各个三维像素块对应的分类结果，最终由分类模块3204对若干分类结果进行决策融合，最终输出目标分类结果。相应的，终端310接收到服务器320反馈的目标分类结果后，在应用程序中显示目标分类结果。
在其他可能的实施方式中，上述获取模块3201、裁剪模块3202、网络预测模块3203以及分类模块3204也可以实现成为应用程序的部分或全部，相应的，终端310可以在本地进行器官结节分类，而无需借助服务器320，本实施例对此不作限定。
为了方便表述，下述各个实施例以器官结节的图像分类方法由计算机设备执行为例进行说明。
请参考图4，其示出了本申请一个示例性实施例提供的器官结节的图像分类方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤401，获取图像序列中待分类器官结节的结节信息，结节信息包括待分类器官结节的结节中心位置和结节尺寸。
其中，该图像序列可以是对器官进行三维扫描得到的二维图像序列，比如使用CT设备扫描得到的CT图像序列，或使用磁共振设备扫描得到的磁共振图像序列。为了方便表述下述各个实施例以图像序列为CT图像序列为例进行说明，但并不对此构成限定。
可选的，该待分类器官结节可以是存疑器官结节(即需要进行假阳性抑制)，或者，待分类器官结节可以是需要进行良/恶性分类的结节，或者，待分类器官结节可以是需要进行实性/非实性分类的结节，或者，待分类器官结节可以是需要进行高危、中危、低危分类的结节，本申请实施例并不对待分类器官结节的具体类型进行限定。
其中，该结节信息可以是由前置器官结节检测网络检测并提取出的器官结节的信息，也可以是由医生人工标注的信息。
为了便于后续进行三维像素块裁剪，该结节信息中包含待分类器官结节的结节中心位置以及结节尺寸，后续基于结节中心位置和结节尺寸进行三维像素块裁剪时，可以保证三维像素块中包含完整的待分类器官结节。
在一种可能的实施方式中，由于CT图像是对某一器官进行断层扫描(即对某一深度的器官层面进行扫描)得到，即CT图像为器官某一截面的截面图像，因此该结节中心位置可以是指定CT图像中待分类器官结节的界面的中心点位置，该指定CT图像可以是包含最大结节截面的CT图像。相应的，该结节尺寸为指定CT图像中待分类器官结节的长径(即待分类器官结节的最长长径)。
在一个示意性的例子中，计算机设备获取到结节信息为[100，80，132，5]，其中，(100，80，132)为结节中心的XYZ轴坐标，5为待分类器官结节的结节尺寸(单位均为mm)。
步骤402，根据结节中心位置和结节尺寸，从图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，原始三维像素块和增强三维像素块中包含待分类器官结节，且原始三维像素块与增强三维像素块对应的空间位置不同。
由于不同CT图像对应器官不同的截面，因此连续的CT图像序列能够反映出器官的完整三维结构。基于CT图像序列中包含的丰富三维信息，计算机设备可以根据待分类器官结节的结节信息，从CT图像序列中裁剪包含该待分类器官结节的三维像素块。
在一种可能的实施方式中，三维像素块是计算机设备根据结节中心位置和结节尺寸，在每张CT图像的相同位置(待分类器官结节所处位置)处进行裁剪(即每张CT图像的裁剪位置相同，且裁剪区域尺寸相同)，并对裁剪得到的图像进行堆叠后形成的立方体(cube)。
可选的，计算机设备基于结节中心位置和结节尺寸，从CT图像序列中裁剪得到原始三维像素块。当结节中心位置和结节尺寸准确时，裁剪得到原始三维像素块将包含完整的待分类器官结节，相应的，利用原始三维像素块进行器官结节分类的准确性也较高。
但是，若结节信息存在较大误差(比如结节中心位置定位不准确)，裁剪得到原始三维像素块可能无法包含完整的待分类器官结节，进而影响后续结节分类的准确性。因此为了降低结节信息误差对后续分类造成的影响，在一种可能的实施方式中，计算机设备基于原始三维像素块进行空间位置变换，进一步从CT图像序列中裁剪得到至少一个增强三维像素块。其中，原始三维像素块与增强三维像素块对应的空间位置并不完全相同，且在控件上存在交集。
此外，增强三维像素块的数量与空间位置变换的方式以及变换幅度相关，其个数为至少一个，本申请实施例并不对增强三维像素块的个数进行限定。
通过上述数据增强机制，在结节信息存在误差的情况下，数据增强得到的增强三维像素块能够缓解误差对后续分类的影响，以此提高器官结节分类的鲁棒性。
步骤403，将原始三维像素块和至少一个增强三维像素块分别输入器官结节分类网络，得到器官结节分类网络输出的第一分类结果和至少一个第二分类结果，第一分类结果为原始三维像素块的分类结果，第二分类结果为增强三维像素块的分类结果。
不同于相关技术中基于单一三维像素块进行结节分类，本申请实施例中，除了裁剪得到原始三维像素块外，还裁剪得到了增强三维像素块，因此计算机设备同时利用原始三维像素块和增强三维像素块进行结节分类。
在一种可能的实施方式中，计算机设备中存储有预训练的器官结节分类网络，该器官结节分类网络是一种三维卷积神经网络，用于根据输入的三维像素块预测三维像素块中待分类器官结节的结节类型。
可选的，该器官结节分类网络用于进行真/假结节分类(二分类网络)、良/恶性结节分类(二分类网络)或进行结节性质分类(多分类网络)，本申请实施例并不对器官结节分类网络支持的具体分类类型进行限定。
在一种可能的实施方式中，计算机设备分别将原始三维像素块和至少一个增强三维像素块输入器官结节分类网络，得到原始三维像素块对应的第一分类结果，以及增强三维像素块对应的第二分类结果。
步骤404，根据第一分类结果和至少一个第二分类结果确定待分类器官结节对应的目标分类结果。
不同于相关技术中直接将单一三维像素块对应的分类结果确定为待分类器官结节对应的目标分类结果，本申请实施例中，计算机设备根据多个分类结果，采用决策融合的方式确定目标分类结果。
采用本申请实施例提供的方法，即便因结节信息误差导致第一分类结果存在较大误差，决策融合过程中，利用第二分类结果也可以对第一分类结果的误差进行修正，从而降低结节信息误差对最终分类结果的影响，提高了器官结节分类的准确性和鲁棒性。
综上所述，本申请实施例中，通过获取图像序列中待分类器官结节的结节信息，根据结节信息中的结节中心位置以及结节尺寸，从图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，并利用器官结节分类网络分别对原始三维像素块和增强三维像素块进行分类，最终根据各个三维像素块对应的分类结果确定出待分类器官结节的目标分类结果；本申请实施例中引入了数据增强机制，并利用数据增强后的三维像素块进行分类预测以及分类结果融合，即便结节信息存在误差，也能够通过数据增强机制降低结节信息误差对最终分类结果的影响，进而提高了器官结节分类的准确性和鲁棒性。
针对待分类器官结节的结节信息的获取方式，在一种可能的实施方式中，计算机设备获取器官结节检测网络输出的结节信息，该器官结节检测网络用于根据输入的图像序列预测器官结节的位置和尺寸。
可选的，计算机设备中同时存储有器官结节检测网络和器官结节分类网络，且器官结节检测网络作为器官结节分类网络的前序网络，用于对输入图像序列进行器官结节检测，并提取检测出的器官结节的位置和尺寸，从而采用结节信息的形式输出。
可选的，计算机设备获取到器官结节检测网络输出的结节信息后，通过上述步骤402至404，利用器官结节分类网络得到待分类器官结节对应的目标分类结果。
除了利用器官结节检测网络进行结节信息预测外，也可以由医生人工标注结节信息，进而由器官结节分类网络对人工标注的待分类器官结节进行结节分类。
在另一种可能的实施方式中，计算机设备获取目标图像，该目标图像中包含人工标注的结节区域，且目标图像属于图像序列，并从目标图像的结节区域中提取结节信息。
可选的，该目标图像是医生从图像序列中选取的一张图像，目标图像中包含待分类器官结节，且目标图像中器官结节的尺寸大于其他图像中器官结节的尺寸。
可选的，目标图像中包含的结节区域由医生人工标注，结节区域的标注形式可以采用方形框选、不规则图形框选等等。示意性的，图2中采用方形虚线框221标记出结节区域，本申请实施例并不对人工标注的结节区域的具体表现形式进行限定。
针对提取结节信息的方式，在一种可能的实施方式中，计算机设备根据目标图像对应的断层信息以及结节区域的中心坐标，确定待分类器官结节的结节中心位置，并根据结节区域中待分类器官结节的轮廓确定结节尺寸。
在其他可能的实施方式中，计算机设备也可以直接获取医生输入的结节信息，本实施例对此不做限定。
由于器官结节的尺寸存在较大差异，若在裁剪三维像素块时采用固定的裁剪尺寸，可能会导致三维像素块中包含过多结节周边组织，或导致三维像素块中无法包含完整的器官结节，进而影响后续结节分类的准确性。因此为了进一步提高结节分类的准确性，计算机设备可以根据待分类器官结节的结节尺寸，对裁剪三维像素块的尺寸进行调节，下面采用示意性的实施例进行说明。
请参考图5，其示出了本申请另一个示例性实施例提供的器官结节的图像分类方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤501，获取图像序列中待分类器官结节的结节信息，结节信息包括待分类器官结节的结节中心位置和结节尺寸。
本步骤的实施方式可以参考上述步骤401，本实施例在此不再赘述。
步骤502，根据结节尺寸确定像素块尺寸，像素块尺寸大于结节尺寸，且像素块尺寸与结节尺寸呈正相关关系。
获取到结节信息后，计算机设备首先根据结节尺寸，确定后续进行三维像素块裁剪时采用的像素块尺寸。可选的，获取到的结节尺寸为待分类器官结节对应最大结节截面的长径，为了保证(在结节信息准确的情况下)裁剪得到的三维像素块中包含完整的待分类器官结节，计算机设备确定出的像素块尺寸大于结节尺寸，即大于待分类器官结节的最大截面长径。
在一种可能的实施方式中，计算机设备中预先存储有n个候选像素块尺寸以及各个候选像素块尺寸对应的结节尺寸范围，计算机设备即确定待分类器官结节的结节尺寸所属的结节尺寸范围，并该结节尺寸范围对应的候选像素块尺寸确定为后续裁剪时使用的像素块尺寸。
示意性，候选像素块尺寸与结节尺寸范围之间的对应关系如表一所示
表一
候选像素块尺寸 结节尺寸范围
16mm 0-6mm
32mm 6-12mm
64mm 12mm以上
比如，如图6中的(a)所示，当待分类器官结节的结节信息为[404,270,129,6]时，表明待分类器官结节的结节尺寸为6mm，根据表一所示的对应关系，计算机设备通过多尺寸调节确定像素块尺寸为16mm(即16×16×16的立方体)；如图6中的(b)所示，当待分类器官结节的结节信息为[382,289,129,10.49]时，表明待分类器官结节的结节尺寸为10.49mm，根据表一所示的对应关系，计算机设备通过多尺寸调节确定像素块尺寸为32mm(即32×32×32的立方体)。
在另一种可能的实施方式中，为了使裁剪得到的三维像素块中包含完整的待分类器官结节，以及部分结节周边组织，计算机设备根据结节尺寸和结节所占比例，计算像素块尺寸，其中，结节所占比例可以默认设置，也可以自定义，比如，结节所占比例为80％。本实施例对此不做限定。
除了上述确定像素块尺寸的方式外，计算机设备也可以通过其他方式确定像素块尺寸，本实施例对此不做限定。
步骤503，根据结节中心位置和像素块尺寸，从图像序列中裁剪得到原始三维像素块，原始三维像素块以结节中心位置为像素块中心。
在一种可能的实施方式中，计算机设备以结节中心位置为三维像素块中心，以像素块尺寸为三维像素块边长，对各张图像进行裁剪，并进一步对裁剪到的各张图像进行堆叠，从而生成原始三维像素块。
在一个示意性的例子中，当待分类器官结节的结节中心位置为(404，270，129)，且确定出的像素块尺寸为16mm时，计算机设备即以(404，270)为中心，从各张CT图像中裁剪出16mm×16mm的图像，并对各张裁剪到的各张图像进行堆叠，生成以(404，270，129)为中心，且尺寸为16mm×16mm×16mm的原始三维像素块。
通过步骤503裁剪得到原始三维像素块后，计算机设备可以通过步骤504至步骤505中至少一种方式，对原始三维像素块进行数据增强，得到至少一个增强三维像素块。
步骤504，对原始三维像素块进行平移，得到至少一个增强三维像素块。
在一种可能的场景下，若结节中心位置存在误差，基于结节中心位置和像素块尺寸裁剪得到的原始三维像素块中可能无法包含完整的器官结节，此时计算机设备可以通过平移的方式，调整原始三维像素块的空间位置，得到至少一个由原始三维像素块平移得到增强三维像素块(与原始三维像素块的尺寸保持一致)，以此提高增强三维像素块中包含完整器官结节的概率。
可选的，通过平移方式进行数据增强可以包括如下步骤。
一、根据像素块尺寸确定平移量，平移量小于像素块尺寸。
为了避免因平移距离过大，导致待分类器官结节脱离增强三维像素块范围，计算机设备需要根据像素块尺寸，确定原始三维像素块的平移量，其中，平移量小于像素块尺寸，平移量与像素块尺寸呈正相关关系。
在一种可能的实施方式中，计算机设备根据像素块尺寸和平移比例，确定平移量，比如，当像素块尺寸为10mm，且平移比例为20％时，计算机设备确定平移量为2mm。
在其他可能的实施方式中，计算机设备也可以根据结节尺寸确定平移量，本实施例对此不做限定。
二、根据平移量，按照预定平移方向平移原始三维像素块，得到增强三维像素块，预定平移方向包括沿X轴方向、沿Y轴方向和沿Z轴反向方向中的至少一种。
根据确定出的平移量，计算机设备按照预定平移方向平移原始三维像素块，从而得到相应的增强三维像素块。其中，该预定平移方向可以包括：沿X轴正方向、沿X轴负方向、沿Y轴正方向、沿Y轴负方向、沿Z轴正方向、沿Z轴负方向。
示意性的，如图7所示，计算机设备根据平移量，沿着X轴负方向平移原始三维像素块71(实线框)，得到增强三维像素块72(虚线框)。类似的，计算机设备分别沿着沿X轴正方向、沿Y轴正方向、沿Y轴负方向、沿Z轴正方向、沿Z轴负方向平移原始三维像素块，共计得到6个增强三维像素块。
在其他可能的实施方式中，计算机设备也可以根据平移量对结节中心位置进行平移，从而根据平移后结节中心位置以及像素块尺寸，从图像序列中裁剪出增强三维像素块(原理与上述方式本质相同)，本申请实施例并不对此进行限定。
通过上述平移机制进行数据增强后，在结节信息存在误差的情况下，增强三维像素块可以起到对原始三维像素块的修改作用，从而提高进行分类预测的三维像素块的准确性和全面性。
步骤505，对原始三维像素块进行翻转，得到至少一个增强三维像素块。
对于外形特殊的器官结节，原始三维像素块可能无法包含完整器官结节(即便结节信息准确)，此时，计算机设备可以通过翻转的方式改变原始三维像素块的空间位置，从而得到增强三维像素块。
可选的，通过翻转方式进行数据增强可以包括如下步骤。
一、获取翻转角度。
其中，该翻转角度可以为默认设置，也可以自定义。比如，该翻转角度为20°、30°或45°等等。
二、根据翻转角度，按照预定翻转方式翻转原始三维像素块，得到增强三维像素块，预定翻转方式包括绕X轴旋转、绕Y轴旋转和绕Z轴旋转中的至少一种。
根据确定出的翻转角度，计算机设备按照预定翻转方式翻转原始三维像素块，从而得到相应的增强三维像素块。其中，该预定翻转方式可以包括：绕X轴旋转、绕Y轴旋转和绕Z轴旋转中，其中，绕轴旋转又可以分为顺时针方向旋转和逆时针方向旋转，本实施例对此不做限定。
在一种可能的实施方式中，计算机设备可以绕原始三维像素块的中心轴，对原始三维像素块进行翻转(即翻转前后像素块的中心点不变)，也可以绕原始三维像素块的边，对原始三维像素块进行翻转(即翻转前后像素块的中心点发生偏移)，本实施例对此不做限定。
步骤506，将原始三维像素块和至少一个增强三维像素块缩放为目标像素块尺寸。
由于不同尺寸的待分类结节所得到的像素块尺寸不同，因此利用器官结节分类模型进行分类前，计算机设备还需要对原始三维像素块和增强三维像素块进行尺寸归一化处理，将原始三维像素块和增强三维像素块缩放为目标像素块尺寸。
其中，计算机设备可以通过下采样或上采样方式进行三维像素块缩放，本实施对此不做限定。
在一个示意性的例子中，若原始三维像素块和增强三维像素块的尺寸均为32mm×32mm×32mm时，计算机设备将其缩放为24mm×24mm×24mm。
步骤507，将缩放后的原始三维像素块和至少一个增强三维像素块输入器官结节分类网络，得到器官结节分类网络输出的第一分类结果和至少一个第二分类结果。
在一种可能的实施方式中，为了提高器官结节分类网络的特征表达能力，并保证梯度信息的有效传递，器官结节分类网络为采用稠密块(dense block)的三维卷积神经网络。在三维卷积神经网络中增加dense block后，三维卷积神经网络的特征表达能力和梯度信息传递有效性不仅得到了提升，网络训练的难度也得到降低，且网络更窄，网络参数更少，有助于将器官结节分类网络应用于更多类型的计算机设备。
此外，当器官结节分类网络的输入为器官结节检测网络的输出时，计算机设备采用独立训练策略，分别对器官结节检测网络和器官结节分类网络进行训练，在降低网络训练时长的同时，避免联合训练带来的样本分布偏倚的影响，进而提高器官结节分类网络的分类准确性。
可选的，计算机设备将缩放后的三维像素块分别输入器官结节分类网络，得到网络输出的若干个分类结果，并通过下述步骤508和509对若干分类结果进行决策融合。
步骤508，获取第一分类结果对应的第一权重，以及第二分类结果对应的第二权重，第一权重大于第二权重。
在一种可能的实施方式中，计算机设备采用加权平均的方式，在对分类结果进行决策融合时，因此获取到网络输出的分类结果后，计算机设备需要获取各个分类结果对应的权重。
可选的，不同分类结果对应的权重为预先设置，且原始三维像素块对应分类结果的权重高于增强三维像素块对应分类结果的权重，即原始三维像素块对应分类结果对最终目标分类结果的影响较大。
在一个示意性的例子中，计算机设备通过平移方式，生成原始三维像素块对应的6个增强三维像素块，其中，原始三维像素块对应第一分类结果的权重为0.4，而6个增强三维像素块各自对应第二分类结果的权重均为0.1。
步骤509，根据第一分类结果、第一权重、第二分类结果和第二权重进行加权计算，得到目标分类结果。
在一种可能的实施方式中，当分类结果采用分类类型对应的概率表示时，计算机设备根据第一分类结果、第一权重、第二分类结果和第二权重进行加权求和，得到目标分类结果，该过程可以采用如下公式表示：
其中，p为目标分类结果，pi为第i个三维像素块对应的分类结果，wi为第i个三维像素块对应分类结果的权重，n为三维像素块的总数(包括原始三维像素块和增强三维像素块)。
本实施例中，计算机设备根据待分类器官结节的结节尺寸，确定裁剪三维像素块时所采用的像素块尺寸，避免出现采用统一尺寸裁剪时，三维像素块中包含过多结节周边组织，或三维像素块中无法包含完整的器官结节的问题，进而提高了后续结节分类的准确性。
此外，计算机设备根据平移量或翻转角度，对原始三维像素块进行平移或翻转，得到若干增强三维像素块，从而基于原始三维像素块和增强三维像素块进行结节分类，降低结节信息误差对最终结节分类结果的影响，提高了结节分类的准确性和鲁棒性。
在一个示意性的例子中，对肺部的肺结节进行分类的过程如图8所示。
计算机设备首先根据待分类肺结节对应的结节信息81，以及包含待分类肺结节的CT图像序列82进行多尺度处理，裁剪得到尺寸为H×W×D的原始三维像素块83。然后，计算机设备对原始三维像素块83进行数据增强(比如平移)，得到若干个尺寸同样为H×W×D的增强三维像素块84。进行分类前，计算机设备将原始三维像素块83和增强三维像素块84进行归一化处理，得到尺寸为S×S×S的原始三维像素块83和增强三维像素块84。进一步的，计算机设备将归一化后的各个三维像素块分别输入肺结节分类网络中，由肺结节分类网络进行分类预测，并最终对各个三维像素块对应的分类结果进行决策融合，输出待分类肺结节的目标分类结果。
其中，三维像素块输入肺结节分类网络后，首先经过“卷积+批量归一化(BatchNormalization，BN)+激活(ReLu)”处理，输出的特征矩阵输入第一稠密块85，由第一稠密块85对特征矩阵进行卷积处理后输出。第一稠密块85输出的特征矩阵再次经过“卷积+批量归一化+激活”处理以及池化(pooling)处理，并进一步输入第二稠密块86，由第二稠密块86对特征矩阵卷积处理。第二稠密块86输出的特征矩阵最终经过池化处理和线性(linear)处理后输出。
图9是本申请一个示例性实施例提供的器官结节的图像分类装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图9所示，该装置包括：
获取模块910，用于获取图像序列中待分类器官结节的结节信息，所述结节信息包括所述待分类器官结节的结节中心位置和结节尺寸；
裁剪模块920，用于根据所述结节中心位置和所述结节尺寸，从所述图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，所述原始三维像素块和所述增强三维像素块中包含所述待分类器官结节，且所述原始三维像素块与所述增强三维像素块对应的空间位置不同；
网络预测模块930，用于将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络，得到所述器官结节分类网络输出的第一分类结果和至少一个第二分类结果，所述第一分类结果为所述原始三维像素块的分类结果，所述第二分类结果为所述增强三维像素块的分类结果；
分类模块940，用于根据所述第一分类结果和至少一个所述第二分类结果确定所述待分类器官结节对应的目标分类结果。
可选的，所述结节尺寸为所述待分类器官结节对应最大结节截面的长径；
所述裁剪模块920，包括：
确定单元，用于根据所述结节尺寸确定像素块尺寸，所述像素块尺寸大于所述结节尺寸，且所述像素块尺寸与所述结节尺寸呈正相关关系；
裁剪单元，用于根据所述结节中心位置和所述像素块尺寸，从所述图像序列中裁剪得到所述原始三维像素块，所述原始三维像素块以所述结节中心位置为像素块中心；
变换单元，用于对所述原始三维像素块进行平移，或者，对所述原始三维像素块进行翻转，得到至少一个所述增强三维像素块。
可选的，所述变换单元，用于：
根据所述像素块尺寸确定平移量，所述平移量小于所述像素块尺寸，
根据所述平移量，按照预定平移方向平移所述原始三维像素块，得到所述增强三维像素块，所述预定平移方向包括沿X轴方向、沿Y轴方向和沿Z轴反向方向中的至少一种。
可选的，所述变换单元，用于：
获取翻转角度；
根据所述翻转角度，按照预定翻转方式翻转所述原始三维像素块，得到所述增强三维像素块，所述预定翻转方式包括绕X轴旋转、绕Y轴旋转和绕Z轴旋转中的至少一种。
可选的，所述装置，还包括：
缩放模块，用于将所述原始三维像素块和至少一个所述增强三维像素块缩放为目标像素块尺寸；
所述网络预测模块930，用于：
将缩放后的所述原始三维像素块和至少一个所述增强三维像素块输入所述器官结节分类网络。
可选的，所述分类模块940，包括：
权重获取单元，用于获取所述第一分类结果对应的第一权重，以及所述第二分类结果对应的第二权重，所述第一权重大于所述第二权重；
加权计算单元，用于根据所述第一分类结果、所述第一权重、所述第二分类结果和所述第二权重进行加权计算，得到所述目标分类结果。
可选的，所述器官结节分类网络是采用dense block的三维卷积神经网络。
可选的，所述获取模块910，包括：
第一获取单元，用于获取器官结节检测网络输出的所述结节信息，所述器官结节检测网络用于根据输入的所述图像序列预测器官结节的位置和尺寸；
或者，
第二获取单元，用于获取目标图像，所述目标图像中包含人工标注的结节区域，且所述目标图像属于所述图像序列；从所述目标图像的所述结节区域中提取所述结节信息。
可选的，所述图像序列为CT图像序列。
综上所述，本申请实施例中，通过获取图像序列中待分类器官结节的结节信息，根据结节信息中的结节中心位置以及结节尺寸，从图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，并利用器官结节分类网络分别对原始三维像素块和增强三维像素块进行分类，最终根据各个三维像素块对应的分类结果确定出待分类器官结节的目标分类结果；本申请实施例中引入了数据增强机制，并利用数据增强后的三维像素块进行分类预测以及分类结果融合，即便结节信息存在误差，也能够通过数据增强机制降低结节信息误差对最终分类结果的影响，进而提高了器官结节分类的准确性和鲁棒性。
需要说明的是：上述实施例提供的器官结节的图像分类装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的器官结节的图像分类装置与器官结节的图像分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图10，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1000包括中央处理单元(CPU)1001、包括随机存取存储器(RAM)1002和只读存储器(ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1001执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1001执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一实施例所述的器官结节的图像分类方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的器官结节的图像分类方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方法实施例所述的器官结节的图像分类方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read OnlyMemory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种器官结节的图像分类方法，其特征在于，所述方法包括：
获取图像序列中待分类器官结节的结节信息，所述结节信息包括所述待分类器官结节的结节中心位置和结节尺寸；
根据所述结节中心位置和所述结节尺寸，从所述图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，所述原始三维像素块和所述增强三维像素块中包含所述待分类器官结节，且所述原始三维像素块与所述增强三维像素块对应的空间位置不同；
将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络，得到所述器官结节分类网络输出的第一分类结果和至少一个第二分类结果，所述第一分类结果为所述原始三维像素块的分类结果，所述第二分类结果为所述增强三维像素块的分类结果；
根据所述第一分类结果和至少一个所述第二分类结果确定所述待分类器官结节对应的目标分类结果。
2.根据权利要求1所述的方法，其特征在于，所述结节尺寸为所述待分类器官结节对应最大结节截面的长径；
所述根据所述结节中心位置和所述结节尺寸，从所述图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，包括：
根据所述结节尺寸确定像素块尺寸，所述像素块尺寸大于所述结节尺寸，且所述像素块尺寸与所述结节尺寸呈正相关关系；
根据所述结节中心位置和所述像素块尺寸，从所述图像序列中裁剪得到所述原始三维像素块，所述原始三维像素块以所述结节中心位置为像素块中心；
对所述原始三维像素块进行平移，或者，对所述原始三维像素块进行翻转，得到至少一个所述增强三维像素块。
3.根据权利要求2所述的方法，其特征在于，所述对所述原始三维像素块进行平移，得到至少一个所述增强三维像素块，包括：
根据所述像素块尺寸确定平移量，所述平移量小于所述像素块尺寸；
根据所述平移量，按照预定平移方向平移所述原始三维像素块，得到所述增强三维像素块，所述预定平移方向包括沿X轴方向、沿Y轴方向和沿Z轴反向方向中的至少一种。
4.根据权利要求2所述的方法，其特征在于，所述对所述原始三维像素块进行翻转，得到至少一个所述增强三维像素块，包括：
获取翻转角度；
根据所述翻转角度，按照预定翻转方式翻转所述原始三维像素块，得到所述增强三维像素块，所述预定翻转方式包括绕X轴旋转、绕Y轴旋转和绕Z轴旋转中的至少一种。
5.根据权利要求1至4任一所述的方法，其特征在于，所述将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络之前，所述方法还包括：
将所述原始三维像素块和至少一个所述增强三维像素块缩放为目标像素块尺寸；
所述将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络，包括：
将缩放后的所述原始三维像素块和至少一个所述增强三维像素块输入所述器官结节分类网络。
6.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述第一分类结果和至少一个所述第二分类结果确定所述待分类器官结节对应的目标分类结果，包括：
获取所述第一分类结果对应的第一权重，以及所述第二分类结果对应的第二权重，所述第一权重大于所述第二权重；
根据所述第一分类结果、所述第一权重、所述第二分类结果和所述第二权重进行加权计算，得到所述目标分类结果。
7.根据权利要求1至4任一所述的方法，其特征在于，所述器官结节分类网络是采用稠密块dense block的三维卷积神经网络。
8.根据权利要求1至4任一所述的方法，其特征在于，所述获取图像序列中待分类器官结节的结节信息，包括：
获取器官结节检测网络输出的所述结节信息，所述器官结节检测网络用于根据输入的所述图像序列预测器官结节的位置和尺寸；
或者，
获取目标图像，所述目标图像中包含人工标注的结节区域，且所述目标图像属于所述图像序列；从所述目标图像的所述结节区域中提取所述结节信息。
9.根据权利要求1至4任一所述的方法，其特征在于，所述图像序列为计算机断层扫描CT图像序列。
10.一种器官结节的图像分类装置，其特征在于，所述装置包括：
获取模块，用于获取图像序列中待分类器官结节的结节信息，所述结节信息包括所述待分类器官结节的结节中心位置和结节尺寸；
裁剪模块，用于根据所述结节中心位置和所述结节尺寸，从所述图像序列中裁剪得到原始三维像素块以及至少一个增强三维像素块，所述原始三维像素块和所述增强三维像素块中包含所述待分类器官结节，且所述原始三维像素块与所述增强三维像素块对应的空间位置不同；
网络预测模块，用于将所述原始三维像素块和至少一个所述增强三维像素块分别输入器官结节分类网络，得到所述器官结节分类网络输出的第一分类结果和至少一个第二分类结果，所述第一分类结果为所述原始三维像素块的分类结果，所述第二分类结果为所述增强三维像素块的分类结果；
分类模块，用于根据所述第一分类结果和至少一个所述第二分类结果确定所述待分类器官结节对应的目标分类结果。
11.根据权利要求10所述的装置，其特征在于，所述结节尺寸为所述待分类器官结节对应最大结节截面的长径；
所述裁剪模块，包括：
确定单元，用于根据所述结节尺寸确定像素块尺寸，所述像素块尺寸大于所述结节尺寸，且所述像素块尺寸与所述结节尺寸呈正相关关系；
裁剪单元，用于根据所述结节中心位置和所述像素块尺寸，从所述图像序列中裁剪得到所述原始三维像素块，所述原始三维像素块以所述结节中心位置为像素块中心；
变换单元，用于对所述原始三维像素块进行平移，或者，对所述原始三维像素块进行翻转，得到至少一个所述增强三维像素块。
12.根据权利要求11所述的装置，其特征在于，所述变换单元，用于：
根据所述像素块尺寸确定平移量，所述平移量小于所述像素块尺寸；
根据所述平移量，按照预定平移方向平移所述原始三维像素块，得到所述增强三维像素块，所述预定平移方向包括沿X轴方向、沿Y轴方向和沿Z轴反向方向中的至少一种。
13.根据权利要求11所述的装置，其特征在于，所述变换单元，用于：
获取翻转角度；
根据所述翻转角度，按照预定翻转方式翻转所述原始三维像素块，得到所述增强三维像素块，所述预定翻转方式包括绕X轴旋转、绕Y轴旋转和绕Z轴旋转中的至少一种。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的器官结节的图像分类方法。
15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的器官结节的图像分类方法。
CN201910838735.4A 2019-09-05 2019-09-05 器官结节的图像分类方法、装置、终端及存储介质 Active CN110533120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910838735.4A CN110533120B (zh) 2019-09-05 2019-09-05 器官结节的图像分类方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910838735.4A CN110533120B (zh) 2019-09-05 2019-09-05 器官结节的图像分类方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110533120A true CN110533120A (zh) 2019-12-03
CN110533120B CN110533120B (zh) 2023-12-12

Family

ID=68667058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910838735.4A Active CN110533120B (zh) 2019-09-05 2019-09-05 器官结节的图像分类方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110533120B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145093A (zh) * 2019-12-20 2020-05-12 北京五八信息技术有限公司 图像显示方法、装置、电子设备及存储介质
CN111209867A (zh) * 2020-01-08 2020-05-29 上海商汤临港智能科技有限公司 一种表情识别方法及装置
CN111325263A (zh) * 2020-02-14 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
US6760468B1 (en) * 1996-02-06 2004-07-06 Deus Technologies, Llc Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
CN108288271A (zh) * 2018-02-06 2018-07-17 上海交通大学 基于三维残差网络的图像检测系统及方法
CN108717700A (zh) * 2018-04-09 2018-10-30 杭州依图医疗技术有限公司 一种检测结节长短径长度的方法及装置
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109035234A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质
US20180365829A1 (en) * 2017-06-20 2018-12-20 Case Western Reserve University Intra-perinodular textural transition (ipris): a three dimenisonal (3d) descriptor for nodule diagnosis on lung computed tomography (ct) images
CN109492547A (zh) * 2018-10-24 2019-03-19 腾讯科技（深圳）有限公司 一种结节识别方法、装置和存储介质
CN109636817A (zh) * 2018-11-30 2019-04-16 华中科技大学 一种基于二维卷积神经网络的肺结节分割方法
CN109712131A (zh) * 2018-12-27 2019-05-03 上海联影智能医疗科技有限公司 肺结节特征的量化方法、装置、电子设备及存储介质
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN109816655A (zh) * 2019-02-01 2019-05-28 华院数据技术(上海)有限公司 基于ct图像的肺结节图像特征检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760468B1 (en) * 1996-02-06 2004-07-06 Deus Technologies, Llc Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
US20180365829A1 (en) * 2017-06-20 2018-12-20 Case Western Reserve University Intra-perinodular textural transition (ipris): a three dimenisonal (3d) descriptor for nodule diagnosis on lung computed tomography (ct) images
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
CN108288271A (zh) * 2018-02-06 2018-07-17 上海交通大学 基于三维残差网络的图像检测系统及方法
CN108717700A (zh) * 2018-04-09 2018-10-30 杭州依图医疗技术有限公司 一种检测结节长短径长度的方法及装置
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109035234A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质
CN109492547A (zh) * 2018-10-24 2019-03-19 腾讯科技（深圳）有限公司 一种结节识别方法、装置和存储介质
CN109636817A (zh) * 2018-11-30 2019-04-16 华中科技大学 一种基于二维卷积神经网络的肺结节分割方法
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN109712131A (zh) * 2018-12-27 2019-05-03 上海联影智能医疗科技有限公司 肺结节特征的量化方法、装置、电子设备及存储介质
CN109816655A (zh) * 2019-02-01 2019-05-28 华院数据技术(上海)有限公司 基于ct图像的肺结节图像特征检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIYAN SUN: "A 3D Spatially Weighted Network for Segmentation of Brain Tissue From MRI", IEEE TRANSACTIONS ON MEDICAL IMAGING, pages 898 - 909 *
李正;胡贤良;梁克维;虞钉钉;: "一类用于肺结节检测的深度学习加速方法", 高校应用数学学报A辑, no. 02 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145093A (zh) * 2019-12-20 2020-05-12 北京五八信息技术有限公司 图像显示方法、装置、电子设备及存储介质
CN111209867A (zh) * 2020-01-08 2020-05-29 上海商汤临港智能科技有限公司 一种表情识别方法及装置
CN111325263A (zh) * 2020-02-14 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备
CN111325263B (zh) * 2020-02-14 2023-04-07 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备

Also Published As

Publication number Publication date
CN110533120B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
US11250569B2 (en) Systems and methods for functional imaging follow-up evaluation using deep neural network
CN109754361A (zh) 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积
Sluimer et al. Automated classification of hyperlucency, fibrosis, ground glass, solid, and focal lesions in high‐resolution CT of the lung
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
CN110533120A (zh) 器官结节的图像分类方法、装置、终端及存储介质
CN104871207B (zh) 图像数据处理方法及系统
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
JP5982726B2 (ja) ボリュームデータ解析システム及びその方法
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN114663715B (zh) 医学图像质控、分类模型训练方法、装置及计算机设备
CN102132322B (zh) 用于确定对象的尺寸改变的设备
Guo et al. High performance lung nodule detection schemes in CT using local and global information
CN106062753A (zh) 使得用户能够研究图像数据
Saeed et al. A granular level feature extraction approach to construct hr image for forensic biometrics using small training dataset
Huynh et al. Region-of-interest optimization for deep-learning-based breast cancer detection in mammograms
CN116228753B (zh) 肿瘤预后评估方法、装置、计算机设备和存储介质
Yang et al. 3D multi‐view squeeze‐and‐excitation convolutional neural network for lung nodule classification
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
US20220076414A1 (en) Method to read chest image
JP2003265463A (ja) 画像診断支援システム及び画像診断支援プログラム
Maye et al. Visualization, reconstruction, and integration of neuronal structures in digital brain atlases
Wang et al. Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets
CN112734740A (zh) 训练目标检测模型的方法、目标检测的方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant