CN113033650B - 图像分类方法、分类模型的训练方法、装置及存储介质 - Google Patents
图像分类方法、分类模型的训练方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113033650B CN113033650B CN202110302994.2A CN202110302994A CN113033650B CN 113033650 B CN113033650 B CN 113033650B CN 202110302994 A CN202110302994 A CN 202110302994A CN 113033650 B CN113033650 B CN 113033650B
- Authority
- CN
- China
- Prior art keywords
- image
- residual block
- bottleneck
- sample
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000012549 training Methods 0.000 title claims abstract description 99
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 101
- 230000006870 function Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 17
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 230000002685 pulmonary effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 239000000284 extract Substances 0.000 description 16
- 238000012360 testing method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 7
- 206010035664 Pneumonia Diseases 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 208000025721 COVID-19 Diseases 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241000711573 Coronaviridae Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 201000001178 Bacterial Pneumonia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000001572 Mycoplasma Pneumonia Diseases 0.000 description 1
- 201000008235 Mycoplasma pneumoniae pneumonia Diseases 0.000 description 1
- 206010035737 Pneumonia viral Diseases 0.000 description 1
- 206010037422 Pulmonary mycosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 208000009421 viral pneumonia Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像分类方法、分类模型的训练方法、装置及存储介质，属于图像分类技术领域。本申请实施例能够在获取到待分类对象的待分类图像序列之后，从待分类图像序列中提取q组子图像序列后，再从q组子图像序列中提取q个子序列特征，作为待分类对象的对象特征，并将该对象特征输入图像分类模型中，从而得到待分类对象的分类结果，该分类结果用于指示待分类对象最有可能的分类，从而实现了根据待分类对象完整的待分类图像序列来判断对应的分类结果的效果，从而避免了遗漏待分类对象的图像中不明显的特征图像区域，降低了误判断的情况的发生。
Description
技术领域
本申请实施例涉及图像分类技术领域，特别涉及一种图像分类方法、分类模型的训练方法、装置及存储介质。
背景技术
随着卷积神经网络技术的快速发展，卷积神经网络(convolutional neuralnetwork)技术被广泛应用于图像分类领域中，用以协助用户识别待测对象的种类。
相关技术中，当待测对象的图像是电子计算机断层扫描(Computed Tomography，CT)图像的集合时，图像分类模型将从每一张断层扫描图像中分割出需要识别的待测对象所在的区域，进而根据该区域识别出该待测对象的种类。
发明内容
本申请实施例提供了一种图像分类方法、分类模型的训练方法、装置及存储介质。所述技术方案如下：
根据本申请的一方面内容，提供了一种分类模型的训练方法，所述方法包括：
获取样本图像集，所述样本图像集包括至少两个样本对象的样本图像序列，同一所述样本对象的样本图像序列包括扫描所述样本对象得到的至少两个断层扫描图像所形成的序列，且所述样本对象标注有分类结果；
从同一所述样本对象的所述样本图像序列中提取m组子图像序列，m为正整数；
提取m组子图像序列对应的m个子序列特征，作为所述样本对象的样本特征；
根据所述至少两个样本对象的所述样本特征和所述分类结果，训练图像分类模型。
根据本申请的另一方面内容，提供了一种图像分类方法，所述方法包括：
获取待分类对象的待分类图像序列，所述待分类图像序列包括扫描所述待分类对象得到的至少两个断层扫描图像所形成的序列；
从所述待分类图像序列中提取q组子图像序列，q为正整数；
提取q组子图像序列对应的q个子序列特征，作为所述待分类对象的对象特征；
将所述待分类对象的对象特征输入图像分类模型，得到对应的分类结果。
根据本申请的另一方面内容，提供了一种分类模型的训练装置，所述装置包括：
图像集获取模块，用于获取样本图像集，所述样本图像集包括至少两个样本对象的样本图像序列，同一所述样本对象的样本图像序列包括扫描所述样本对象得到的至少两个断层扫描图像所形成的序列，且所述样本对象标注有分类结果；
第一序列提取模块，用于从同一所述样本对象的所述样本图像序列中提取m组子图像序列，m为正整数；
第一特征提取模块，用于提取m组子图像序列对应的m个子序列特征，作为所述样本对象的样本特征；
模型训练模块，用于根据所述至少两个样本对象的所述样本特征和所述分类结果，训练图像分类模型。
根据本申请的另一方面内容，提供了一种图像分类装置，所述装置包括：
序列获取模块，用于获取待分类对象的待分类图像序列，所述待分类图像序列包括扫描所述待分类对象得到的至少两个断层扫描图像所形成的序列；
第二序列提取模块，用于从所述待分类图像序列中提取q组子图像序列，q为正整数；
第二特征提取模块，用于提取q组子图像序列对应的q个子序列特征，作为所述待分类对象的对象特征；
对象分类模块，用于将所述待分类对象的对象特征输入图像分类模型，得到对应的分类结果。
根据本申请的另一方面内容，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请实施提供的分类模型的训练方法。
根据本申请的另一方面内容，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请实施提供的图像分类方法。
根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请实施提供的分类模型的训练方法。
根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请实施提供的图像分类方法。
根据本申请的另一方面内容，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的分类模型的训练方法。
根据本申请的另一方面内容，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像分类方法。
本申请实施例在训练图像分类模型时，能够在获取到待分类对象的待分类图像序列之后，从待分类图像序列中提取q组子图像序列后，再从q组子图像序列中提取q个子序列特征，作为待分类对象的对象特征，并将该对象特征输入图像分类模型中，从而得到待分类对象的分类结果，该分类结果用于指示待分类对象最有可能的分类，从而实现了根据待分类对象完整的待分类图像序列来判断对应的分类结果的效果，从而避免了遗漏待分类对象的图像中不明显的特征图像区域，降低了误判断的情况的发生。
附图说明
为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种获取断层扫描图像的示意图；
图2是相关技术提供的一种训练分类模型的示意图；
图3是本申请一个示例性实施例提供的一种分类模型的训练方法架构图；
图4是基于图3所示的实施例提供的一种图像分类模型的结构示意图；
图5是基于图4所示实施例提供的一种残差块的结构示意图；
图6是本申请一个示例性实施例提供的一种分类模型的训练方法的流程图；
图7是本申请另一个示例性实施例提供的另一种分类模型的训练方法流程图；
图8是基于图7所示实施例提供的一种样本图像序列的示意图；
图9是基于图8所示实施例提供的一种子图像序列的采集示意图；
图10是基于图7所示实施例提供的另一种子图像序列的采集过程示意图；
图11是基于图7所示实施例提供的另一种子图像序列的采集过程示意图；
图12是基于图7所示实施例提供的另一种子图像序列的采集过程示意图；
图13是基于图7所示实施例提供的另一种子图像序列的采集过程示意图；
图14是本申请一个示例性实施例提供的一种图像分类方法的流程图；
图15是本申请一个示例性实施例提供的另一种图像分类方法的流程图；
图16是本申请一个示例性实施例提供的一种分类模型的训练装置的结构框图；
图17是本申请一个示例性实施例提供的一种图像分类装置的结构框图；
图18是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了本申请实施例所示方案易于理解，下面对本申请实施例中出现的若干名词进行介绍。
目标对象：包括样本对象和待分类对象。其中，目标对象用于指示进行CT扫描的对象。若该目标对象被扫描后并标注有分类结果，则该目标对象成为一个样本对象，用于训练图像分类模型。若该目标对象对扫描后，需要通过图像分类模型来确定分类结果，则该目标对象是待分类对象。
目标图像序列：包括样本图像序列和待分类图像序列。其中，目标图像序列包括扫描目标对象得到的至少两个断层扫描图像所形成的序列。当所目标对象是样本对象时，目标图像序列是样本图像序列。当目标对象是待分类对象时，目标图像序列是待分类图像序列。
断层扫描图像：又称电子计算机断层扫描图像或者CT图。在一种可能的应用场景中，断层扫描图像通常以图像集的形式出现。设计人员通常通过一个目标图像序列来保存目标对象的一次扫描结果。可选地，目标图像序列中包括的断层扫描图像的数量可以是几十张或几百张。也即，一种实际的应用方式中，针对一个目标对象的一个目标图像序列中包含的断层扫描图像的数量区间是[10,999]。需要说明的是，此处断层扫描图像的数量区间仅为示意性说明，不对本申请中所示的断层扫描的数量区间形成限定。
在一种应用场景中，若目标对象是生物体。例如，目标对象可以是人体、动物体或植物体等。在该场景中，一个目标图像序列用于保存一个生物体在一次扫描中的全部断层扫描图像。若目标对象是人体，且在一次扫描中得到80张CT图，则该80张CT图是按照实现先后的顺序扫描得到的图像序列。需要说明的是，80张CT图相当于将被扫描的立体部分划分为80个断层，每一张CT图对应目标对象实体中的一个断层。
在另一种应用场景中，若目标对象是非生物体。例如，目标对象可以是工业零部件、工业成品或建筑物料块等。在该场景中，一个目标图像序列可以用于指示该非生物体的内部物理结构。由于非生物体的尺寸与生物体之间的差距可能较大。因此，用于扫描非生物体的CT仪器可以经过特殊设计的形态，一个目标图像序列中包括的CT图的张数之间的差距也较大。针对一些结构简单的非生物体，一个目标图像序列中可以仅包括几个CT图。针对一些结构复杂的非生物体，一个目标图像序列中包括数百张CT图。
请参见图1，图1是本申请实施例提供的一种获取断层扫描图像的示意图。在图1中，CT扫描仪包括扫描部111和载物部112。载物部112上放置待扫描的目标对象。当目标对象在载物部112上放置稳妥后，也即目标对象与载物部112之间相对静止。此时，载物部112承载目标对象以指定速度沿指定方向穿过扫描部111所围成环状部分。
在图1中，建立空间坐标系Oxyz。其中，指定方向可以x轴的负方向。
当目标对象需要被扫描的部分开始经过扫描部111的环状部分时，扫描部111开始扫描目标对象从而得到CT图。若在本例中，目标对象是人体，被扫描的部分是胸腔，采集到的CT图的数量是120张，则该目标对象对应的目标图像序列是包含上述120张CT图。需要说明的是，每一张CT图可以标注有采集序号、采集时刻或对应目标对象的断层参数中至少一种辅助参数，该辅助参数可以用于指示CT图和目标对象的实际部分的对应关系。在图1所示的场景中，若人体的头部先进入扫描部111的环状部分，则目标图像序列中的120张CT图从前到后的顺序是胸腔从头部一端向脚部一端的顺序。
例如，以上述120张CT图为例。其中，第30张CT图对应的断层与第29张CT图对应的断层相连，两个断层可以连接组成一个新的断层。若第30张CT图对应的断层的厚度为d1且第29张CT图对应的断层的厚度为d2，则新的断层的厚度为d1+d2。
需要说明的是，若上述包含120张CT图的目标图像序列对应的目标对象被标注有一个分类结果，则该目标图像序列可以作为一个样本图像序列。
分类结果：是指定分类标准下的具体分类结果。其中，指定分类标准可以根据本申请的应用场景进行具体的调整。示意性的，分类结果是对应于目标对象进行标注的。一个目标对象标注有一个分类结果。该分类结果可以是专业人员手动标注的。
可选地，指定分类标准可以按照是否符合正常类型的特征来区分。一种可能的方式中，分类结果包括正常类型和异常类型两种类型。在该分类方式中，分类结果可以用于检测目标对象的内部结构是否异常。在另一种可能的方式中，分类结果还可以包括正常类型、第一异常类型和第二异常类型。需要说明的是，正常类型用于检验目标对象的内部结构是否符合正常情况。第一异常类型用于指示目标对象的内部结构不符合正常情况，但符合第一异常类型的特征。第二异常类型用于指示目标对象的内部结构不符合正常情况，但符合第二异常类型的特征。其中，第一异常类型的特征和第二异常类型的特征不同。
作为一种可能的应用方式，若分类结果用于指示人体的肺部情况，则分类结果可以包括正常类型、普通肺炎(Common Pneumonia，CP)类型和新型冠状病毒肺炎(CoronaVirus Disease2019，COVID-19)。可选的，普通肺炎类型可以包括病毒性肺炎、细菌性肺炎、支原体肺炎和肺真菌病中任意一种。
样本图像序列：包括样本对象在一次CT扫描中得到的至少两个断层扫描图像所形成的样本图像序列。例如，一个样本图像序列包括80张断层扫描图像，则该80张断层扫描图像将按照指定顺序排列。可选地，指定顺序可以是CT扫描的顺序，或，断层扫描图像对应的实体断层在样本对象中的空间位置顺序。
样本图像集：包括至少两个样本对象的样本图像序列，同一样本对象的样本图像序列包括扫描样本对象得到的至少两个断层扫描图像所形成的序列。在本领域中，训练一个图像分类模型时通常需要相当数量的样本图像序列。在本申请中，由于一个训练样本是一个样本图像序列。因此，本申请需要一个能够提供相当数量的训练样本图像集的数据库。
可选地，样本图像集可以包括若干个样本对象的样本图像序列。一个样本图像序列可以是时间属性唯一的序列。也即，同一样本对象的不同时间采集的样本图像序列，在本申请中将其视为两个不同的样本图像序列。
在一种可能的方式中，样本图像集可以是指定行业公开的数据库，该图像集库也可以是公共可用数据库，也可以是独立收集的数据库。示意性的，图像集库可以是CC-CCII(China Consortium of Chest CT Image Investigation，中国胸部CT图像研究协会)提供的大型数据库。在本申请一种应用该数据库的场景中，该大型数据库中包括691例目标对象的137256张完整CT图和421例目标对象的42861张分割后的CT图像。
需要说明的是分割后的CT图像可以是专业人员手动标注的包括肺叶区域的CT图像，生申请实施例所示的多张断层扫描图像能够形成一定空间体积，即可组成为相应的子图像序列。
子图像序列：是从同一样本对象的样本图像序列中提取出的子序列。该子序列中包括的断层扫描图像的张数小于样本图像序列的张数。其中，子图像序列中包括断层扫描图像互相之间的排序标准与样本图像序列的排序标准相同。
子序列特征：用于表示子图像序列的特征数据。可选地，根据不同的数据结构，子序列特征可以通过张量(tensor)、向量或者其它数据结构的形式表示。在一种可能的应用方式中，若图像分类模型要求输入量是张量，则本申请将子序列特征以张量的数据形式表示。
在介绍本申请实施例提供的分类模型的训练方法之前，现介绍本领域中针对分类模型的训练方法。
相关技术中，对于给定的初始分类模型，相关技术若使用样本图像集训练初始分类模型，则相关技术将对样本图像集中的每一张断层扫描图像进行区域提取，将提取出的区域作为真正的样本图像并结合标注的分类结果来训练初始分类模型。
请参见图2，图2是相关技术提供的一种训练分类模型的示意图。在图2中，样本图像集包括第一断层扫描图像201、第二断层扫描图像202和第三断层扫描图像203。相关技术将先裁剪上述3个断层扫描图像，分别得到第一裁剪图像211、第二裁剪图像212和第三裁剪图像213。
其中，每一个裁剪图像均标注有分类结果，相关技术将上述标注有分类结果的采集图像作为训练样本，对初始分类模型进行训练，当损失函数收敛时得到训练后的图像分类模型。
在本场景中，由于裁剪技术的精准度问题，裁剪图像在一些场景中可能会把部分需要保留的特征裁剪掉。例如，第一断层扫描图像201被裁剪为第一裁剪图像211时，丢失了部分需要保留的对象的边缘部分。因此，根据相关技术训练得到的图像分类模型针对断层扫描图像中边缘区域的识别能力较差，导致图像特征集中在边缘的断层扫描图像难以被正确分类。
本申请为了提高图像分类模型对于待分类对象的全局分类能力，提供下述方案。
请参考图3，图3是本申请一个示例性实施例提供的一种分类模型的训练方法架构图。在图3中，包括数据集处理310、数据集划分320、模型训练330、模型测试340和结果分析350一共五个部分组成。其中，模型训练330中包括参数初始化331、模型设计332和迭代训练333三部分构成。
本申请以服务器为执行主体来介绍整体的方案实施流程。服务器在数据集处理310中，将获取样本图像集并对样本图像集进行初步的处理。其中，样本图像集包括至少两个样本对象的样本图像序列。服务器执行的初步的处理包括将断层扫描图像处理为尺寸是512*512的3通道RGB(Red Green Blue，红绿蓝)图像。随后，服务器为了利用断层扫描图像的三维(3D)体积来捕获断层扫描图像内的空间信息以及断层扫描图像之间的空间信息，服务器针对一个样本图像序列，将从中提取出n个断层扫描图像组成一个空间体积，从而根据一个样本图像序列能够得到m组子图像序列，并且每个子图像序列对应一个子序列特征。
服务器在数据集划分320中，能够按照指定的数据比例，将获取到的总的图像数据集划分为样本图像集和测试图像集。其中，样本图像集又可称之为训练集。
服务器在模型训练330中，可以分别按照参数初始化331、模型设计332和迭代训练333实现模型训练330的功能。服务器在参数初始化331中，对图像分类模型的参数进行初始化。服务器在模型设计332中根据需求自主构建一个模型或者根据现有的架构构建一个模型。
请参见图4，图4是基于图3所示的实施例提供的一种图像分类模型的结构示意图。图4示出了一种图像分类模型400，图像分类模型400包括第一卷积层(Conv1)410、第二卷积层(Conv2)420、第三卷积层(Conv3)430、第四卷积层(Conv4)440、第五卷积层(Conv5)450、全局平均池化层460、全连接层470、激活函数(softmax)480和输出层490。
其中，第一卷积层(Conv1)410中的卷积核为7*7*7，卷积的步长为1(D)，2(HW)。也即，该3D卷积在参数D方向的步长是1，在参数H方向的步长是2，在参数W方向的步长是2。
第二卷积层(Conv2)420中的卷积核为64，通过过滤器(filter)3*3*3对第一卷积层传来的数据进行最大池化(max-pooling)。其中，第二卷积层(Conv2)420中的步长为2，残差块为2。
第三卷积层(Conv3)430的残差块为2，卷积核为128。
第四卷积层(Conv4)440的残差块为2，卷积核为256。
第五卷积层(Conv5)450的残差块为2，卷积核为512。
上述五个卷积层逐层传递数据，第五卷积层输出的数据传至全局平均池化层460。全局平均池化层460处理数据后，输入到全连接层470。全连接层470处理数据后，通过激活函数480激活数据，最终经过输出层490输出该数据。示意性的，激活函数480能够进行(0，1)区间内的概率映射，并通过输出层490输出最大概率对应的类别。
服务器在迭代训练333中，根据至少两个样本对象的样本特征和分类结果，训练图像分类模型。示意性的，服务器能够计算输出结果和真实分类结果之间的交叉熵损失，对图像分类模型的整个网络执行反向传播算法，更新参数。在多个训练周期内重复对图像分类模型进行训练，直至损失函数完全收敛。响应于损失函数完全收敛，保存图像分类模型当前的网络模型结构及参数。此时，图像分类模型完成训练。
针对图像分类模型400，需要说明的是，该图像分类模型可以包括带有残差连接的多个3D卷积基本块。图像分类模型400能够通过3D卷积基本块提取特征信息，该3D卷积基本块能够连续提取局部和全局上下文特征信息。随后，图像分类模型400中的全连接层和激活函数用于对结果进行预测，将预测值从大到小排列，取预测值最大的值对应的类别为最终预测结果。
从另一方面介绍，断层扫描图像输入到带有残差连接的3D卷积块，得到局部和全局特征信息，再输入到全连接层进行分类，可以生成各个分类结果的概率，最后通过激活函数进行(0,1)区间内的概率映射，通过输出层输出最大概率类别对应的类别。
可选地，分类结果用于指示样本对象的内部结构状态，且该分类结果的种类大于一种。一种可能的方式中，若内部结构状态用于指示肺部结构状态，则该分类结果的种类包括正常状态类型、第一异常状态类型和第二状态类型。在本例中，正常状态类型可以是正常类型，第一异常状态类型可以是普通肺炎，并且第二异常状态类型可以是新型冠状病毒肺炎。
请参见图5，图5是基于图4所示实施例提供的一种残差块的结构示意图。在图5中，示出了基本残差块(Basic Block)510和瓶颈层残差块(Bottleneck Block)520。其中，图像分类模型400中用于局部和全局上下文特征信息的提取模块由基本残差块510和/或瓶颈层残差块520构成。当图像分类模型400中用于局部和全局上下文特征信息的提取模块包括两个残差块时，该模块由基本残差块510和瓶颈层残差块520叠加而成。
可选地，基本残差块510由两个卷积层组成。在两个卷积层中的每一个卷积层之后都进行批归一化和基于ReLU单元的操作。基本残差块510中包括快捷通道，该快捷通道将基本残差块510的顶部连接到基本残差块510中的最后一个ReLU单元之前的层。作为一种可能的实现方式，基本残差块510中使用的快捷方式可以包括恒等映射和零填充，从而避免增加相对较浅的网络的参数数量。
可选地，瓶颈层残差块520由三个卷积层组成。在该三个卷积层中，第一个卷积层和第三个卷积层的内核大小为1*1*1，第二个卷积层的内核大小为3*3*3。在上述3个卷积层中，每个卷积层之后均进行批归一化和基于ReLUctant单元的操作。瓶颈层残差块520的快捷方式与基本残差块510的快捷方式相同，此处不再赘述。
可选地，本申请在模型训练330中，可以采用CC-CCII提供的大型数据集，基于火把(PyTorch)框架，使用多个GPU进行训练。作为一种可能的实现方式，多个GPU可以是8个NVIDIA Tesla V100 GPU。需要说明的是，此处训练模型使用的数据集、框架以及GPU均可以通过其它具备相同能力的软硬件结构来替代，同样能够实现本申请实施例中所示的分类模型的训练方法。
在一种图像学习模型的训练方案中，图像学习模型采用初始学习率为0.001的Adam优化器，学习率的下降速度为每10个周期下降0.1倍，一共训练20个周期。
在图像分类模型完成训练后，服务器将在模型测试340中对模型进行性能测试。服务器可以调用保存的已经训练收敛的图像分类模型，输入图像测试集进行模型评估。在一种可能的评估方式中，服务器通过F1值、准确率、精确率和召回率进行多维综合评价，从而得到图像分类模型真实有效的性能指标。
示意性的，上述模型测试340涉及的性能评价工具介绍如下。
(1)交叉熵损失公式
在交叉熵损失公式中，yi表示为真实类别的值，pi表示为图像分类模型输出的预测值。单个样本特征中存在N种类别可能性。对所有样本特征的对数损失表示对每个样本特征的对数损失的平均值。理想情况下，对数损失为0。
(2)准确率计算公式
其中，准确率(Accuracy)等于真正例(TP)和真负例(TN)之和，与，真正例(TP)、真负例(TN)、假正例(FP)和假负例(FN)之和的商。示意性的，上述TP、TN、FP和FN中：T表示图像分类模型判断结果正确；F表示图像分类模型判断结果错误；P表示图像分类模型判断结果是正例；N表示图像分类模型判断结果是负例。
(3)精确率计算公式
其中，精确率(Precision)等于真正例(TP)与真正例(TP)和假正例(FP)之和的商。
(4)召回率计算公式
其中，召回率(Recall)等于真正例(TP)与真正例(TP)和假负例(FN)之和的商。
(5)F1值计算公式
其中，F1值(F1-score)等于2倍的精确率和召回率的乘积，与，精确率和召回率之和的商。
在一种可能的测试结果中，训练完成的图像分类模型能够达到99.96％的召回率，99.35％的精确率，99.65％的F1值，99.24％的三向分类精度和99.86％的AUC(Area UnderCurve，ROC曲线与坐标轴围成的面积)。
可选地，AUC指示ROC曲线下方的面积大小，AUC的取值范围在0.5和1之间。当AUC的数值越接近1.0，检测方法真实性越高。当AUC等于0.5时，检测方法的真实性最低，对应的检测方法无应用价值。
服务器可以在结果分析350中，根据模型测试340得到的测试结果分析本次训练好的图像分类模型的性能。
请参考图6，图6是本申请一个示例性实施例提供的一种分类模型的训练方法的流程图。该分类模型的训练方法可以应用在处理能力较佳的高性能服务器或者专用服务器中。在图6中，该分类模型的训练方法包括：
步骤610，获取样本图像集，样本图像集包括至少两个样本对象的样本图像序列，同一样本对象的样本图像序列包括扫描样本对象得到的至少两个断层扫描图像所形成的序列，且样本对象标注有分类结果。
在本申请实施例中，以服务器作为执行主体进行介绍。
服务器将先获取样本图像集。在一种可能的方式中，若样本图像集是公共可用数据，则服务器可以从指定的数据接口自动下载。若样本图像集是独立设立的数据集，则服务器可以通过指定的密钥或者访问凭证来下载该样本数据集。在另一种可能的实现方式中，样本图像集也可以是设计人员预先下载到服务器本地中的数据集，本申请不对样本图像集的来源以及使用方式进行限定。
可选地，样本图像集包括至少两个样本对象的样本图像序列。一种可能的方式中，样本图像序列可以的数量可以几千、几万或者数十万等数量级。在一个样本图像集中，可以包括属于同一个样本对象的样本图像序列，需要说明的是，属于同一个样本对象的至少两个样本图像序列是不同的时间对样本对象扫描得到的。
在本申请实施例中，每一个样本图像序列中均具有至少两个断层扫描图像，需要说明的是，每一个样本图像序列中具体包括的断层扫描图像的数量可以是不同的数量。在实际应用的场景中，一个样本图像序列中具体包括的断层扫描图像的数量，可以取决于CT扫描仪的设置或者扫描样本对象时对于CT扫描仪的参数设置。举例而言，一个样本图像序列中具体包括的断层扫描图像的数量可以是几十张或几百张，本申请实施例对具体的数值不作限定，由至少两个断层扫描图像所形成的序列，均可视为本申请中指示的样本图像序列。
可选的，每个样本图像序列都将标注有分类结果。或者，样本图像序列对应的样本对象中标注有分类结果，服务器通过识别样本对象中标注的分类结果来确定样本图像序列对应的分类结果。
例如，在一种可能的场景中，样本图像序列A被标注有“COVID-19”的分类结果。或，在另一种可能的场景中，样本图像序列B没有标注分类结果，而是该样本图像序列B所属的样本对象S1被标注有“CP”的分类结果。在该场景中，样本图像序列B相当于被标注为“CP”的分类结果。
步骤620，从同一样本对象的样本图像序列中提取m组子图像序列，m为正整数。
在服务器获取到样本图像集后，服务器可以调整其中的断层扫描图像的数据格式。例如，服务器能够将断层扫描图像调整为尺寸是512*512的3通道RGB图。
可选地，为了训练图像分类模型的高效率。服务器可以对样本图像集中的样本图像序列进行划分。其中，一部分用于训练和验证，另一部分用于测试。
示意性的，作为一种可能的实现方式，服务器可以将CC-CCII提供的大型数据库中的110420张完整的CT图用于训练图像分类模型以及验证工作，并将26836张CT图用于测试。在本应用方式中，用于训练和验证图像分类模型的数据占数据总量的80.4％，用于测试图像分类模型的数据占数据总量的19.6％。需要说明的是，上述用于训练和验证的数据与用于测试的数据之间的比例仅为示意性说明，不对本申请实施例形成限定。
可选地，测试集中还可以包括从未纳入训练和验证的断层扫描图像。
在服务器获取到用于训练和验证的样本图像集后。服务器可以对其中每一个样本图像序列进行相应的处理。本申请以其中一个样本图像序列为例进行说明。需要说明的是，服务器从同一样本对象的样本图像序列中提取m组子图像序列。其中，样本图像序列是是针对同一样本对象在同一次扫描中获得的断层扫描图像。
例如，样本对象S1在2020年1月21日15时进行了一次CT扫描，得到了样本图像序列C。样本对象S1在2020年1月23日10时进行了一次CT扫描，得到了样本图像序列D。在本申请实施例中，服务器将其中一个样本图像序列作为同一样本对象对应的样本图像序列，而并非将样本图像序列C和样本图像序列D合并视为一个样本图像序列。
可选地，服务器在从同一个样本图像序列中提取子图像序列时，可以根据需求有多种提取方式。在本申请实施例中，子图像序列的组数可以是至少两组。在样本图像序列具有不同数量的断层扫描图像的场景中，m的取值可以不同。也即，m的取值可以随着样本图像序列的改变而变化。
步骤630，提取m组子图像序列对应的m个子序列特征，作为样本对象的样本特征。
在本申请实施例中，服务器能够分别从m组子图像序列中提取m个子序列特征，作为样本对象的样本特征。请参见表一。
表一
在表一中，服务器提取到样本图像序列，也即样本图像序列C(p1,p2,p3,p4,p5,p6,p7,p8,p9,p10,p11,p12)时，可以同时获取该样本图像序列对应的分类结果(也即“COVID-19”)和对应的样本对象(也即样本对象A)。
在本申请实施例中，服务器能够在已知数据的基础上，从样本图像序列C(p1,p2,p3,p4,p5,p6,p7,p8,p9,p10,p11,p12)中提取子图像序列。在一种可能的提取方式中，服务器从上述样本图像序列C中提取出3个子图像序列，分别是(p1,p2,p3,p4)、(p5,p6,p7,p8)和(p9,p10,p11,p12)。随后，以上述3个子图像序列为数据基础，根据数据结构的需求表示为不同数据结构下的数据。比如，在表一所示的场景中，子序列特征的数据结构是张量。服务器将根据子图像序列，提取中对应的子序列特征。
需要说明的是，每一个子图像序列都将提取出一个对应的子序列特征。比如，上述子图像序列(p1,p2,p3,p4)对应的子序列特征是(C1*H1*W1*D1)；上述子图像序列(p5,p6,p7,p8)对应的子序列特征是(C2*H2*W2*D2)；上述子图像序列(p9,p10,p11,p12)对应的子序列特征是(C3*H3*W3*D3)。
在表一所示的示例中，子序列特征的数据结构是张量，参数C表示通道(Channels),参数H表示高度(Height)，参数W表示宽度(Width)，参数D表示深度(Depth)。
需要说明的是，若子图像序列原本的数据结构是D*H*W*C，则服务器能够将该D*H*W*C转换为C*H*W*D从而实现成功提取出子序列特征。
步骤640，根据至少两个样本对象的样本特征和分类结果，训练图像分类模型。
在本申请实施例中，服务器能够至少两个样本对象的样本特征和分类结果，对图像分类模型进行训练。需要说明的是，若用于训练图像分类模型的一个样本对象具有一个样本特征以及一个分类结果。其中，一个样本特征包括m组子序列特征。
在训练图像分类模型时，服务器将以一个样本特征和一个分类结果为单位，对图像分类模型进行训练。
示意性的，图像分类模型可以是三维残差网络(3D Resnet)。其中，3D Resnet可以是3DResnet-18(隐藏层数为18的三维残差网络)、3D Resnet-34(隐藏层数为34的三维残差网络)、3D Resnet-50(隐藏层数为50的三维残差网络)、3D Resnet-101(隐藏层数为101的三维残差网络)和3D Resnet-152(隐藏层数为152的三维残差网络)中的任意一种。
需要说明的是，图像分类模型还可以是其它三维图像分类模型，具备三维图像分类能力的图像分类模型均可以通过本申请提供的分类模型的训练方法进行训练。
在一种可能的实现方式中，服务器将根据图像分类模型中的损失函数的情况确定何时完成图像分类模型的训练。当图像分类模型中的损失函数未收敛时，服务器将继续训练图像分类模型；当图像分类模型中的损失函数收敛时，服务器将停止训练图像分类模型，将当前的图像分类模型确定为训练好的图像分类模型。在本申请实施例中，损失函数可以使用交叉熵损失函数。需要说明的是，本申请同样能够采用其它损失函数，上述交叉熵损失函数仅用于举例，不对本申请实施例中可能使用的其它损失函数的可能形成限定。
综上所述，本实施例提供的分类模型的训练方法，能够在训练图像分类模型时，能够使用包括至少两个样本对象的样本图像序列的样本图像集，本申请从同一样本对象的样本图像序列中提取m组子图像序列，并提取m组子图像序列对应的m个子序列特征，作为样本对象的样本特征，最后根据至少两个样本对象的样本特征和分类结果，训练图像分类模型。由于同一个样本对象的样本特征包括有m个子序列特征，一个子序列特征能够同时提供目标对象的空间信息和图像信息，且本申请没有对样本图像进行分割，使得样本图像中的特征被完整地保留。因此，本申请训练出的图像分类模型的灵敏度较高，提高了对特征较不明显的待分类对象的分类能力。
请参见图7，图7是本申请另一个示例性实施例提供的另一种分类模型的训练方法流程图。该分类模型的训练方法可以应用在上述所示的服务器中。在图7中，该分类模型的训练方法包括：
步骤710，获取样本图像集。
在本例中，步骤710的执行过程和步骤610的执行过程相同，此处不再赘述。
步骤721，从同一样本对象的样本图像序列中，连续取k张断层扫描图像为一组子图像序列，依次得到m组子图像序列。
需要说明的是，每组子图像序列中包括k张断层扫描图像，k为大于1的正整数。
在本申请实施例中，服务器在获取到样本图像集之后，能够对该样本图像集中每一个样本对象的样本图像序列进行处理。使得同一个样本对象的样本图像序列能够提供m组子图像序列，每一组子图像序列中包括k张断层扫描图像。
请参考图8，图8是基于图7所示实施例提供的一种样本图像序列的示意图。在图8所示的样本图像集800包括100个样本对象对应的样本图像序列，每一个样本对象对应的样本图像序列中包括80张断层扫描图像。以其中的针对同一个样本对象的样本图像序列为例进行介绍。
在一种可能的方式中，服务器将样本图像序列按照采集的顺序，以4为单位进行划分。请参见图9，图9是基于图8所示实施例提供的一种子图像序列的采集示意图。在图9中，样本图像序列810中包括80张断层扫描图像。80张断层扫描图像用于呈现被扫描对象内部的结构，扫描的顺序可以是从一端向另一端以均匀的长度间隔进行扫描。可选地，每一张断层扫描图像具有相应的序号，用于指示采集的顺序。
在图9所示的子图像序列的采集过程中，服务器按照序号顺序，依次从样本图像序列中连续取出4张断层扫描图像，形成20组子图像序列。在本例中，k等于4，m等于20。
需要说明的是，在图9所示的子图像序列的形成过程中，每一张断层扫描图像都成为一组的子图像序列的元素，并且断层扫描图像没有复用。
可选地，在本申请中，m组子图像序列中任意两组子图像序列之间不具有相同的断层扫描图像。
从同一个样本对象的样本图像序列中提取m组子图像序列的过程中，当断层扫描图像没有被复用时，m组子图像序列中任意两组子图像序列之间不具有相同的断层扫描图像。
当m组子图像序列中任意两组子图像序列之间不具有相同的断层扫描图像，样本图像集中包括的断层扫描图像可以大于k*m，为了充分利用样本图像集中的断层扫描图像，从而提高训练后的分类模型的性能。
请参见图10，图10是基于图7所示实施例提供的另一种子图像序列的采集过程示意图。在图10中，服务器每连续采集4张断层扫描图像后，将隔一张断层扫描图像后再连续采集4张断层扫描图像。并以5张断层扫描图像为周期，从80张断层扫描图像中得到16组子图像序列。
请参见图11，图11是基于图7所示实施例提供的另一种子图像序列的采集过程示意图。在图11中，断层扫描图像进行了复用，复用度是4。需要说明的是，复用度用于指示同一张断层扫描图像被复用的最大次数。在图11中，服务器将第1、第2、第3和第4张断层扫描图像作为第1组子图像序列；将第2、第3、第4和第5张断层扫描图像作为第2组子图像序列；将第3、第4、第5和第6张断层扫描图像作为第3组子图像序列；…；将第77、第78、第79和第80张断层扫描图像作为第77组子图像序列。可见，在复用断层扫描图像的情况下，服务器通过同一样本对象得到的子图像序列的数量将大为扩充。
在一种可能的应用方式中，若样本图像集中包括的断层扫描图像的总数是k*m，则在该场景中相邻的两组子图像序列之间的距离包括如下两种可能的场景。
在一种可能的场景，m组子图像序列中任意两个相邻的断层扫描图像之间的空间距离小于或等于预设阈值，预设阈值为正数。
其中，预设阈值可以是断层扫描图像对应的空间片层之间的距离。示意性的，预设阈值可以是0.1厘米、0.2厘米或0.3厘米等。本申请不对预设阈值进行限定，本申请可以根据实际需要自主设定或更改预设阈值的取值。
请参考图12，图12是是基于图7所示实施例提供的另一种子图像序列的采集过程示意图。在图12中，服务器每间隔一张断层扫描图像，采集一张断层扫描图像，每采集满k张图像，将该k张依序排列的断层扫描图像作为一组子图像序列。例如，在图12所示的场景中，样本图像序列包括80张断层扫描图像。服务器从第一张断层扫描图像开始提取子图像序列，将第1、第3、第5、第7张断层扫描图像作为第1组子图像序列，将第2、第4、第6和第8张断层扫描图像作为第2组子图像序列，将第3、第5、第7和第9张断层扫描图像作为第3组子图像序列，…，将第74、第76、第78和第80张断层扫描图像作为第74组子图像序列。
在图12所示的场景中，样本图像序列中的断层扫描图像进行了复用。每一组的子图像序列图像之间的空间间隔是一层断层扫描图像对应的空间片层的厚度。若一层断层扫描图像对应的空间片层的厚度是0.5厘米，则图12所示的子图像序列中任意两个相邻的断层扫描图像之间的空间距离小于或等于0.5厘米。
在另一种可能的场景，m组子图像序列中任意两个相邻的断层扫描图像之间的空间距离等于零。本例所示的场景可参见图9所示的子图像序列，由于图9所示的子图像序列中的任意两个相邻的断层扫描图像是序号连续的图像。因此，图9所示的子图像序列中的任意两个相邻的断层扫描图像对应的空间片层之间的距离为零。
步骤722，从同一样本对象的样本图像序列中，基于间隔步长取k张断层扫描图像为一组子图像序列，依次得到m组子图像序列。
可选地，在本申请中，m组子图像序列中存在至少两组子图像序列之间具有相同的断层扫描图像。
需要说明的是，步骤722所示的场景可以包括断层扫描图像复用的场景，以及断层扫描图像不复用的场景。
(1)断层扫描图像复用的场景。
在本申请中，间隔步长可以是1、2或3等数值，服务器将根据间隔步长从样本图像序列中获取到k张断层扫描图像作为一组子图像序列，依次得到m组子图像序列。
可参见图12所示的场景，其中，该场景中断层扫描图像的复用度是4间隔步长是1。
(2)断层扫描图像不复用的场景。
在本申请中，断层扫描图像可以不复用，同时每一张断层扫描图像均可作为一组子图像序列中的一个元素。
请参见图13，图13是基于图7所示实施例提供的另一种子图像序列的采集过程示意图。在图13中，服务器以间隔步长为1，从样本图像序列中获取到4张一组的子图像序列，由于断层扫描图像不复用。因此，每两组子图像序列中所包括的断层扫描图像将构成8张连续的断层扫描图像。若一个样本图像序列中总共包括80张断层扫描图像，则图13所提供的方案能够获取到20组子图像序列。
步骤730，提取m组子图像序列对应的m个子序列特征，作为样本对象的样本特征。
在本例中，步骤730的执行过程和步骤630的执行过程相同，此处不再赘述。
步骤741，根据至少两个样本对象中的第i个样本对象的样本特征和分类结果，训练图像分类模型，i为正整数。
在本例中，服务器能够根据至少两个样本对象中的第i个样本对象的样本特征和分类结果，训练图像分类模型。也即，随着i的数量的变化，服务器能够采用多个样本对象的样本特征和分类结果训练图像分类模型。
步骤742，响应于图像分类模型的损失函数收敛，确认图像分类模型完成训练。
步骤743，响应于图像分类模型的损失函数未收敛，根据第i+1个样本对象的样本特征和分类结果，继续训练图像分类模型。
综上所述，本实施例提供的分类模型的训练方法，能够在训练图像分类模型时，能够使用包括至少两个样本对象的样本图像序列的样本图像集，本申请从同一样本对象的样本图像序列中提取m组子图像序列，并提取m组子图像序列对应的m个子序列特征，作为样本对象的样本特征，最后根据至少两个样本对象的样本特征和分类结果，训练图像分类模型。由于同一个样本对象的样本特征包括有m个子序列特征，一个子序列特征能够同时提供目标对象的空间信息和图像信息，且本申请没有对样本图像进行分割，使得样本图像中的特征被完整地保留。因此，本申请训练出的图像分类模型的灵敏度较高，提高了对特征较不明显的待分类对象的分类能力。
可选的，本申请提供的预处理方法，能够将断层扫描图像叠加为不同深度的体积块，并使用该体积块训练了相应的图像分类模型，提高了图像分类模型的分类性能，使得特征不明显的对象在使用本申请提供的图像分类模型，能够实现较好的分类效果。
可选地，本申请提供的分类模型的训练方法，能够将子图像序列的深度，也即k的数值确定为4，实现了在该数值下的训练得到的性能相对而言最佳的图像分类模型，有助于实际应用场景中快速准确对待分类对象进行分类。
请参考图14，图14是本申请一个示例性实施例提供的一种图像分类方法的流程图。该图像分类方法可以应用在个人电脑(PC，Personal Computer)或者与CT扫描仪相连的计算机设备中。在图14中，该图像分类方法包括：
步骤1410，获取待分类对象的待分类图像序列，待分类图像序列包括扫描待分类对象得到的至少两个断层扫描图像所形成的序列。
在本申请实施例中，以执行主体是PC为例进行介绍。在本例中，PC可以使用如图6所训练得到的图像分类模型对对分类对象的待分类图像序列。可选地，待分类对象的待分类图像序列可以是CT扫描仪直接输出的至少两个断层扫描图像所形成的序列。
一种可能的方式中，PC与CT扫描仪直接相连。在CT扫描仪对得分类对象完成扫描时，PC接着获取到待分类图像序列。
步骤1420，从待分类图像序列中提取q组子图像序列，q为正整数。
在本例中，PC从待分类图像序列中提取q组子图像序列，其中，q为正整数。
在一种可能的方式中，一组子图像序列中包括k张断层扫描图像。不同的k的取值将会影响图像分类模型的性能。示意性的，k可能的取值包括2、4、8、16、32或64中的一种。基于本申请训练图像分类模型的实际测试的结果中，当k等于4时，图像分类模型将获得较为优异的性能。
步骤1430，提取q组子图像序列对应的q个子序列特征，作为待分类对象的对象特征。
在本例中，PC将从q组子图像序列中的每一组子图像序列提取一个子序列特征，共得到q个子序列特征。PC将该q个子序列特征一同作为待分类对象的对象特征。
步骤1440，将待分类对象的对象特征输入图像分类模型，得到对应的分类结果。
在本例中，PC将待分类对象的对象特征输入到图像分类模型中，图像分类模型将输出分类结果。输入图像分类模型的数据已被整理为由q个子序列特征组成的对象特征，且一个子序列特征能够表示一个空间体积中的空间特征。空间特征是从该整个空间体积中提取出的特征。
综上所述，本申请所示的方法能够在获取到待分类对象的待分类图像序列之后，从待分类图像序列中提取q组子图像序列后，再从q组子图像序列中提取q个子序列特征，作为待分类对象的对象特征，并将该对象特征输入图像分类模型中，从而得到待分类对象的分类结果，该分类结果用于指示待分类对象最有可能的分类，从而实现了根据待分类对象完整的待分类图像序列来判断对应的分类结果的效果，从而避免了遗漏待分类对象的图像中不明显的特征图像区域，降低了误判断的情况的发生。
请参见图15，图15是本申请一个示例性实施例提供的另一种图像分类方法的流程图。该图像分类方法可以应用在个人电脑(PC)或者与CT扫描仪相连的计算机设备中。在图15中，该图像分类方法包括：
步骤1510，获取待分类对象的待分类图像序列。
在本领域中，专业工作者可以使用PC执行本申请实施例示出的图像分类方法。PC既可以是安装在数据处理中心中的计算机设备，也可以设置在任一办公场所的计算机设备。
在一种可能的方式中，PC与获取待分类图像序列的CT扫描仪直接相连，组合成为一个整体的设备。在该场景中，PC与CT扫描仪之间无需网络来提供数据交互的通道。PC能够将CT扫描仪通过扫描得到的若干张断层扫描图像所形成的序列，直接作为待分类图像序列。
在另一种可能的方式中，PC与CT扫描仪之间通过网络连接或者其它数据存储介质，实现数据传递。比如，CT扫描仪通过有线网络或者无线网络将数据传输至PC。或者，CT扫描仪可以将待分类图像序列通过移动存储介质拷贝到PC中。
步骤1521，从待分类图像序列中，连续取k张断层扫描图像为一组子图像序列，依次得到q组子图像序列。
可选的，PC可以从待分类图像序列中，连续取k张断层扫描图像为一组子图像序列，从而依次得到q组子图像序列。其中，每一个子图像序列中包括k张断层扫描图像。这里的k的数值是预先设定好的数值，PC按照该预设的数值自动执行。可选地，上述步骤可以通过一个指定的应用或者程序来实现。
步骤1522，从待分类图像序列中，基于间隔步长取k张断层扫描图像为一组子图像序列，依次得到q组子图像序列。
可选地，PC除了通过步骤1521来实现获取q组子图像序列的操作，还能够通过执行步骤1522来实现获取q组子图像序列的操作。在本申请中，待分类图像序列中，能够被PC基于间隔步长取k张断层扫描图像为一组子图像序列，从而依次得到q组子图像序列。
在步骤1522的实施过程中，断层扫描图像的使用场景包括断层扫描图像复用和断层扫描图像不复用两种场景。其中，断层扫描图像复用的应用过程可以参见图12所示的场景；断层扫描图像不复用的应用过程可以参见图13所示的场景。
需要说明的是，q组子图像序列中任意两组子图像序列之间不具有相同的断层扫描图像。或，q组子图像序列中存在至少两组子图像序列之间具有相同的断层扫描图像。
在对待分类对象进行检测时，可以根据所使用的图像分类模型所预设的方式来获取q组子图像序列。其中，图像分类模型可以通过配置文件限定自身是否支持复用断层扫描图像。当复用断层扫描图像是可选的执行方案时，PC可以根据待分类图像序列的数量来决定是否复用断层扫描图像。当待分类图像序列的数量大于目标阈值时，PC不复用断层扫描图像；当待分类图像序列的数量小于或等于目标阈值时，PC复用断层扫描图像。
步骤1530，提取q组子图像序列对应的q个子序列特征，作为待分类对象的对象特征。
可选地，在得到q组子图像序列之后，PC还能够从q组子图像序列中分别提取q个子序列特征，作为待分类对象的对象特征，以完成对待分类对象的预处理。
步骤1540，将待分类对象的对象特征输入图像分类模型，得到对应的分类结果。
经过预处理后的待分类对象，能够提供对象特征。将对象特征作为输入参数输入到图像分类模型中，得到相应的分类结果。
可选的，该分类结果用于指示待分类对象的内部结构状态。其中，内部结构状态用于指示内部结构是否出现异常或是否处于某种指定的状态。在内部结构状态的种类的数量方面，该分类结果的种类大于一种。
在一种可能的实现方式中，内部结构状态用于指示肺部结构状态，分类结果的种类包括正常状态类型、第一异常类型和第二异常类型。
综上所述，本申请所示的图像分类方法，能够在PC获取扫描分类对象得到的待分类图像序列后，从待分类图像序列中提取q组子图像序列，并提取q组子图像序列各自的子序列特征作为对象特征，再将对象特征输入到图像分类模型，从而得到对应的分类结果。由于整个过程中不涉及切割断层扫描图像，因此，本方案能够在保障待分类对象的整体特征的完整性前提下，对得分类对象进行，从而提高了识别易被忽略的图像区域的能力，具有较高的识别准确度。
可选地，本申请提供的图像分类方法，能够在预处理待分类图像序列时，将断层扫描图像按照指定的方式重新分为q组子图像序列，每组子图像序列包括k张断层扫描图像，每一组子图像序列提供一个子序列特征，从而能够令前后具有关联的断层扫描图像的空间特征能够被保留，更好地被模型判断待分类对象的分类结果。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图16，图16是本申请一个示例性实施例提供的一种分类模型的训练装置的结构框图。该分类模型的训练装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：
图像集获取模块1610，用于获取样本图像集，所述样本图像集包括至少两个样本对象的样本图像序列，同一所述样本对象的样本图像序列包括扫描所述样本对象得到的至少两个断层扫描图像所形成的序列，且所述样本对象标注有分类结果。
第一序列提取模块1620，用于从同一所述样本对象的所述样本图像序列中提取m组子图像序列，m为正整数。
第一特征提取模块1630，用于提取m组子图像序列对应的m个子序列特征，作为所述样本对象的样本特征。
模型训练模块1640，用于根据所述至少两个样本对象的所述样本特征和所述分类结果，训练图像分类模型。
在一个可选的实施例中，所述装置涉及的每组所述子图像序列中包括k张断层扫描图像，k为大于1的正整数。
在一个可选的实施例中，所述装置涉及的m组所述子图像序列中任意两组子图像序列之间不具有相同的所述断层扫描图像；或，m组所述子图像序列中存在至少两组子图像序列之间具有相同的所述断层扫描图像。
在一个可选的实施例中，所述第一序列提取模块1620，用于从同一所述样本对象的所述样本图像序列中，连续取k张所述断层扫描图像为一组所述子图像序列，依次得到所述m组子图像序列；或，从同一所述样本对象的所述样本图像序列中，基于间隔步长取k张所述断层扫描图像为一组所述子图像序列，依次得到所述m组子图像序列。
在一个可选的实施例中，所述装置涉及的所述样本图像集中包括k*m张所述断层扫描图像，每组所述子图像序列中任意两个相邻的所述断层扫描图像之间的空间距离小于或等于预设阈值，预设阈值为正数；或，每组所述子图像序列中任意两个相邻的所述断层扫描图像之间的空间距离等于零。
在一个可选的实施例中，所述模型训练模块1640，用于根据所述至少两个样本对象中的第i个所述样本对象的样本特征和所述分类结果，训练所述图像分类模型，i为正整数；响应于所述图像分类模型的损失函数收敛，确认所述图像分类模型完成训练；响应于所述图像分类模型的损失函数未收敛，根据第i+1个所述样本对象的样本特征和所述分类结果，继续训练所述图像分类模型。
在一个可选的实施例中，所述装置涉及的所述分类结果用于指示所述样本对象的内部结构状态，所述分类结果的种类大于一种。
在一个可选的实施例中，所述装置涉及的所述内部结构状态用于指示肺部结构状态，所述分类结果的种类包括正常状态类型、第一异常类型和第二异常类型。
综上所述，本申请所示的分类模型的训练装置，在训练图像分类模型时，能够使用包括至少两个样本对象的样本图像序列的样本图像集，本申请从同一样本对象的样本图像序列中提取m组子图像序列，并提取m组子图像序列对应的m个子序列特征，作为样本对象的样本特征，最后根据至少两个样本对象的样本特征和分类结果，训练图像分类模型。由于同一个样本对象的样本特征包括有m个子序列特征，一个子序列特征能够同时提供目标对象的空间信息和图像信息，且本申请没有对样本图像进行分割，使得样本图像中的特征被完整地保留。因此，本申请训练出的图像分类模型的灵敏度较高，提高了对特征较不明显的待分类对象的分类能力。
请参考图17，图17是本申请一个示例性实施例提供的一种图像分类装置的结构框图。该分类模型的训练装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。
该装置包括：
序列获取模块1710，用于获取待分类对象的待分类图像序列，所述待分类图像序列包括扫描所述待分类对象得到的至少两个断层扫描图像所形成的序列；
第二序列提取模块1720，用于从所述待分类图像序列中提取q组子图像序列，q为正整数；
第二特征提取模块1730，用于提取q组子图像序列对应的q个子序列特征，作为所述待分类对象的对象特征；
对象分类模块1740，用于将所述待分类对象的对象特征输入图像分类模型，得到对应的分类结果。
在一个可选的实施例中，所述装置涉及的子图像序列中包括k张断层扫描图像，k为大于1的正整数。
在一个可选的实施例中，q组子图像序列中任意两组子图像序列之间不具有相同的所述断层扫描图像；或，q组子图像序列中存在至少两组子图像序列之间具有相同的所述断层扫描图像。
在一个可选的实施例中，所述第二序列提取模块1720，用于从所述待分类图像序列中，连续取k张所述断层扫描图像为一组所述子图像序列，依次得到所述q组子图像序列；或，所述第二序列提取模块1720，用于从所述待分类图像序列中，基于间隔步长取k张所述断层扫描图像为一组所述子图像序列，依次得到所述q组子图像序列。
在一个可选的实施例中，本装置涉及的所述分类结果用于指示所述待分类对象的内部结构状态，所述分类结果的种类大于一种。
在一个可选的实施例中，本装置涉及的所述内部结构状态用于指示肺部结构状态，所述分类结果的种类包括正常状态类型、第一异常类型和第二异常类型。
综上所述，本申请所示的装置能够在获取到待分类对象的待分类图像序列之后，从待分类图像序列中提取q组子图像序列后，再从q组子图像序列中提取q个子序列特征，作为待分类对象的对象特征，并将该对象特征输入图像分类模型中，从而得到待分类对象的分类结果，该分类结果用于指示待分类对象最有可能的分类，从而实现了根据待分类对象完整的待分类图像序列来判断对应的分类结果的效果，从而避免了遗漏待分类对象的图像中不明显的特征图像区域，降低了误判断的情况的发生。
示例性地，本申请实施例所示的分类模型的训练方法，可以应用在计算机设备中，该终端具备图像分类模型的训练功能。终端可以包括平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器或工作站等。
请参见图18，图18是本申请一个示例性实施例提供的计算机设备的结构框图。如图18所示，该计算机设备包括处理器1820和存储器1840，所述存储器1840中存储有至少一条指令，所述指令由所述处理器1820加载并执行以实现如本申请各个方法实施例所述的分类模型的训练方法。或者，指令由处理器1820加载并执行以实现如本申请各个方法实施例所述的图像分类方法。
在本申请的一种可能的实施方式中，计算机设备1800是具备分类模型的训练功能的电子设备。计算机设备1800能够获取样本图像集，所述样本图像集包括至少两个样本对象的样本图像序列，同一所述样本对象的样本图像序列包括扫描所述样本对象得到的至少两个断层扫描图像所形成的序列，且所述样本对象标注有分类结果；从同一所述样本对象的所述样本图像序列中提取m组子图像序列，m为正整数；提取m组子图像序列对应的m个子序列特征，作为所述样本对象的样本特征；根据所述至少两个样本对象的所述样本特征和所述分类结果，训练图像分类模型。
在本申请的另一种可能的实施方式中，计算机设备1800是具备分类模型的训练功能的电子设备。计算机设备1800能够获取待分类对象的待分类图像序列，所述待分类图像序列包括扫描所述待分类对象得到的至少两个断层扫描图像所形成的序列；从所述待分类图像序列中提取q组子图像序列，q为正整数；提取q组子图像序列对应的q个子序列特征，作为所述待分类对象的对象特征；将所述待分类对象的对象特征输入图像分类模型，得到对应的分类结果。
处理器1820可以包括一个或者多个处理核心。处理器1820利用各种接口和线路连接整个计算机设备1800内的各个部分，通过运行或执行存储在存储器1840内的指令、程序、代码集或指令集，以及调用存储在存储器1840内的数据，执行计算机设备1800的各种功能和处理数据。可选的，处理器1820可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1820可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1820中，单独通过一块芯片进行实现。
存储器1840可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器1840包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1840可用于存储指令、程序、代码、代码集或指令集。存储器1840可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的分类模型的训练方法。
需要说明的是：上述实施例提供的分类模型的训练装置在执行分类模型的训练方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的分类模型的训练装置与分类模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的能够实现的示例性的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (17)
1.一种分类模型的训练方法，其特征在于，所述方法包括：
获取样本图像集，所述样本图像集包括至少两个样本对象的样本图像序列，同一所述样本对象的样本图像序列包括扫描所述样本对象得到的至少两个断层扫描图像所形成的序列，且所述样本对象标注有分类结果；
从同一所述样本对象的所述样本图像序列中，基于间隔步长取k张所述断层扫描图像为一组子图像序列，依次得到m组所述子图像序列，m为正整数；
通过图像分类模型提取m组子图像序列对应的m个子序列特征，作为所述样本对象的样本特征；
根据所述至少两个样本对象的所述样本特征和所述分类结果，训练所述图像分类模型；
其中，所述图像分类模型包括3D卷积基本块，所述3D卷积基本块用于提取所述m组子图像序列对应的所述m个子序列特征，一个所述子序列特征能够表示一个空间体积中的空间特征，所述空间特征是从整个所述空间体积中提取出的特征，所述空间体积是同一组子序列图像中的k张断层扫描图像组成的空间体积；至少一个所述3D卷积基本块包括基本残差块和瓶颈残差块，所述基本残差块包括两个卷积层，所述基本残差块的每个所述卷积层的内核大小均为3*3*3，所述基本残差块的每个卷积层后进行批归一化和基于线性整流函数ReLU单元的操作，所述基本残差块包括快捷通道，所述基本残差块的所述快捷通道用于将所述基本残差块的顶部连接到所述基本残差块中的最后一个ReLU单元之前的层，所述瓶颈残差块包括三个卷积层，所述瓶颈残差块的第一个卷积层和第三个卷积层的内核大小为1*1*1，所述瓶颈残差块的第二个卷积层的内核大小为3*3*3，所述瓶颈残差块的每个卷积层后进行批归一化和基于ReLU单元的操作，所述瓶颈残差块包括快捷通道，所述瓶颈残差块的所述快捷通道用于将所述瓶颈残差块的顶部连接到所述瓶颈残差块中的最后一个ReLU单元之前的层，所述基本残差块和所述瓶颈残差块的快捷方式包括恒等映射和零填充，所述基本残差块和所述瓶颈残差块用于避免增加所述图像分类模型中的参数数量；每组所述子图像序列中任意两个相邻的所述断层扫描图像之间的空间距离小于或等于预设阈值，预设阈值为正数。
2.根据权利要求1所述的方法，其特征在于，每组所述子图像序列中包括k张断层扫描图像，k为大于1的正整数。
3.根据权利要求2所述的方法，其特征在于，
m组所述子图像序列中任意两组子图像序列之间不具有相同的所述断层扫描图像；
或，
m组所述子图像序列中存在至少两组子图像序列之间具有相同的所述断层扫描图像。
4.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述至少两个样本对象的所述样本特征和所述分类结果，训练图像分类模型，包括：
根据所述至少两个样本对象中的第i个所述样本对象的样本特征和所述分类结果，训练所述图像分类模型，i为正整数；
响应于所述图像分类模型的损失函数收敛，确认所述图像分类模型完成训练；
响应于所述图像分类模型的损失函数未收敛，根据第i+1个所述样本对象的样本特征和所述分类结果，继续训练所述图像分类模型。
5.根据权利要求1至3任一所述的方法，其特征在于，所述分类结果用于指示所述样本对象的内部结构状态，所述分类结果的种类大于一种。
6.根据权利要求5所述的方法，其特征在于，所述内部结构状态用于指示肺部结构状态，所述分类结果的种类包括正常状态类型、第一异常类型和第二异常类型。
7.一种图像分类方法，其特征在于，所述方法包括：
获取待分类的待分类图像序列，所述待分类图像序列包括扫描所述待分类对象得到的至少两个断层扫描图像所形成的序列；
从所述待分类图像序列中，基于间隔步长取k张所述断层扫描图像为一组子图像序列，依次得到q组所述子图像序列，q为正整数；
通过图像分类模型提取q组子图像序列对应的q个子序列特征，作为所述待分类对象的对象特征；
将所述待分类对象的对象特征输入所述图像分类模型，得到对应的分类结果；
其中，所述图像分类模型包括3D卷积基本块，所述3D卷积基本块用于提取所述q组子图像序列对应的所述q个子序列特征，一个所述子序列特征能够表示一个空间体积中的空间特征，所述空间特征是从整个所述空间体积中提取出的特征，所述空间体积是同一组子序列图像中的k张断层扫描图像组成的空间体积；至少一个所述3D卷积基本块包括基本残差块和瓶颈残差块，所述基本残差块包括两个卷积层，所述基本残差块的每个所述卷积层的内核大小均为3*3*3，所述基本残差块的每个卷积层后进行批归一化和基于线性整流函数ReLU单元的操作，所述基本残差块包括快捷通道，所述基本残差块的所述快捷通道用于将所述基本残差块的顶部连接到所述基本残差块中的最后一个ReLU单元之前的层，所述瓶颈残差块包括三个卷积层，所述瓶颈残差块的第一个卷积层和第三个卷积层的内核大小为1*1*1，所述瓶颈残差块的第二个卷积层的内核大小为3*3*3，所述瓶颈残差块的每个卷积层后进行批归一化和基于ReLU单元的操作，所述瓶颈残差块包括快捷通道，所述瓶颈残差块的所述快捷通道用于将所述瓶颈残差块的顶部连接到所述瓶颈残差块中的最后一个ReLU单元之前的层，所述基本残差块和所述瓶颈残差块的快捷方式包括恒等映射和零填充，所述基本残差块和所述瓶颈残差块用于避免增加所述图像分类模型中的参数数量；每组所述子图像序列中任意两个相邻的所述断层扫描图像之间的空间距离小于或等于预设阈值，预设阈值为正数。
8.根据权利要求7所述的方法，其特征在于，所述子图像序列中包括k张断层扫描图像，k为大于1的正整数。
9.根据权利要求8所述的方法，其特征在于，
q组子图像序列中任意两组子图像序列之间不具有相同的所述断层扫描图像；
或，
q组子图像序列中存在至少两组子图像序列之间具有相同的所述断层扫描图像。
10.根据权利要求7至9任一所述的方法，其特征在于，所述分类结果用于指示所述待分类对象的内部结构状态，所述分类结果的种类大于一种。
11.根据权利要求10所述的方法，其特征在于，所述内部结构状态用于指示肺部结构状态，所述分类结果的种类包括正常状态类型、第一异常类型和第二异常类型。
12.一种分类模型的训练装置，其特征在于，所述装置包括：
图像集获取模块，用于获取样本图像集，所述样本图像集包括至少两个样本对象的样本图像序列，同一所述样本对象的样本图像序列包括扫描所述样本对象得到的至少两个断层扫描图像所形成的序列，且所述样本对象标注有分类结果；
第一序列提取模块，用于从同一所述样本对象的所述样本图像序列中，基于间隔步长取k张所述断层扫描图像为一组子图像序列，依次得到m组所述子图像序列，m为正整数；
第一特征提取模块，用于通过图像分类模型提取m组子图像序列对应的m个子序列特征，作为所述样本对象的样本特征；
模型训练模块，用于根据所述至少两个样本对象的所述样本特征和所述分类结果，训练所述图像分类模型；
其中，所述图像分类模型包括3D卷积基本块，所述3D卷积基本块用于提取所述m组子图像序列对应的所述m个子序列特征，一个所述子序列特征能够表示一个空间体积中的空间特征，所述空间特征是从整个所述空间体积中提取出的特征，所述空间体积是同一组子序列图像中的k张断层扫描图像组成的空间体积；至少一个所述3D卷积基本块包括基本残差块和瓶颈残差块，所述基本残差块包括两个卷积层，所述基本残差块的每个所述卷积层的内核大小均为3*3*3，所述基本残差块的每个卷积层后进行批归一化和基于线性整流函数ReLU单元的操作，所述基本残差块包括快捷通道，所述基本残差块的所述快捷通道用于将所述基本残差块的顶部连接到所述基本残差块中的最后一个ReLU单元之前的层，所述瓶颈残差块包括三个卷积层，所述瓶颈残差块的第一个卷积层和第三个卷积层的内核大小为1*1*1，所述瓶颈残差块的第二个卷积层的内核大小为3*3*3，所述瓶颈残差块的每个卷积层后进行批归一化和基于ReLU单元的操作，所述瓶颈残差块包括快捷通道，所述瓶颈残差块的所述快捷通道用于将所述瓶颈残差块的顶部连接到所述瓶颈残差块中的最后一个ReLU单元之前的层，所述基本残差块和所述瓶颈残差块的快捷方式包括恒等映射和零填充，所述基本残差块和所述瓶颈残差块用于避免增加所述图像分类模型中的参数数量；每组所述子图像序列中任意两个相邻的所述断层扫描图像之间的空间距离小于或等于预设阈值，预设阈值为正数。
13.一种图像分类装置，其特征在于，所述装置包括：
序列获取模块，用于获取待分类对象的待分类图像序列，所述待分类图像序列包括扫描所述待分类对象得到的至少两个断层扫描图像所形成的序列；
第二序列提取模块，用于从所述待分类图像序列中，基于间隔步长取k张所述断层扫描图像为一组子图像序列，依次得到q组所述子图像序列，q为正整数；
第二特征提取模块，用于通过图像分类模型提取q组子图像序列对应的q个子序列特征，作为所述待分类对象的对象特征；
对象分类模块，用于将所述待分类对象的对象特征输入所述图像分类模型，得到对应的分类结果；
其中，所述图像分类模型包括3D卷积基本块，所述3D卷积基本块用于提取所述q组子图像序列对应的所述q个子序列特征，一个所述子序列特征能够表示一个空间体积中的空间特征，所述空间特征是从整个所述空间体积中提取出的特征，所述空间体积是同一组子序列图像中的k张断层扫描图像组成的空间体积；至少一个所述3D卷积基本块包括基本残差块和瓶颈残差块，所述基本残差块包括两个卷积层，所述基本残差块的每个所述卷积层的内核大小均为3*3*3，所述基本残差块的每个卷积层后进行批归一化和基于线性整流函数ReLU单元的操作，所述基本残差块包括快捷通道，所述基本残差块的所述快捷通道用于将所述基本残差块的顶部连接到所述基本残差块中的最后一个ReLU单元之前的层，所述瓶颈残差块包括三个卷积层，所述瓶颈残差块的第一个卷积层和第三个卷积层的内核大小为1*1*1，所述瓶颈残差块的第二个卷积层的内核大小为3*3*3，所述瓶颈残差块的每个卷积层后进行批归一化和基于ReLU单元的操作，所述瓶颈残差块包括快捷通道，所述瓶颈残差块的所述快捷通道用于将所述瓶颈残差块的顶部连接到所述瓶颈残差块中的最后一个ReLU单元之前的层，所述基本残差块和所述瓶颈残差块的快捷方式包括恒等映射和零填充，所述基本残差块和所述瓶颈残差块用于避免增加所述图像分类模型中的参数数量；每组所述子图像序列中任意两个相邻的所述断层扫描图像之间的空间距离小于或等于预设阈值，预设阈值为正数。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至6任一所述的分类模型的训练方法。
15.一种计算机设备，其特征在于，所述计算机设备包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求7至11任一所述的图像分类的方法。
16.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至6任一所述的分类模型的训练方法。
17.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求7至11任一所述的图像分类的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110302994.2A CN113033650B (zh) | 2021-03-22 | 2021-03-22 | 图像分类方法、分类模型的训练方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110302994.2A CN113033650B (zh) | 2021-03-22 | 2021-03-22 | 图像分类方法、分类模型的训练方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033650A CN113033650A (zh) | 2021-06-25 |
| CN113033650B true CN113033650B (zh) | 2024-08-23 |
Family
ID=76472333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110302994.2A Active CN113033650B (zh) | 2021-03-22 | 2021-03-22 | 图像分类方法、分类模型的训练方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033650B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807363B (zh) * | 2021-09-08 | 2024-04-19 | 西安电子科技大学 | 基于轻量化残差网络的图像分类方法 |
| CN113888519A (zh) * | 2021-10-14 | 2022-01-04 | 四川大学华西医院 | 一种用于预测肺部实性结节恶性程度的预测系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363760A (zh) * | 2019-07-22 | 2019-10-22 | 广东工业大学 | 用于识别医学图像的计算机系统 |
| CN110739070A (zh) * | 2019-09-26 | 2020-01-31 | 南京工业大学 | 一种基于3d卷积神经网络的脑疾病诊断方法 |
| CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087012A1 (en) * | 2007-09-28 | 2009-04-02 | Matthew Allen Merzbacher | Systems and methods for identifying similarities among alarms |
| CN109492547B (zh) * | 2018-10-24 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 一种结节识别方法、装置和存储介质 |
| CN109949288A (zh) * | 2019-03-15 | 2019-06-28 | 上海联影智能医疗科技有限公司 | 肿瘤类型确定系统、方法及存储介质 |
| CN110991227B (zh) * | 2019-10-23 | 2023-06-30 | 东北大学 | 一种基于深度类残差网络的三维物体识别和定位方法 |
| CN111681219B (zh) * | 2020-06-03 | 2024-02-27 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠病毒感染ct图像分类方法、系统及设备 |
| CN112507311A (zh) * | 2020-12-10 | 2021-03-16 | 东南大学 | 一种基于多模态特征融合的高安全性身份验证方法 |
-
2021
- 2021-03-22 CN CN202110302994.2A patent/CN113033650B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363760A (zh) * | 2019-07-22 | 2019-10-22 | 广东工业大学 | 用于识别医学图像的计算机系统 |
| CN110739070A (zh) * | 2019-09-26 | 2020-01-31 | 南京工业大学 | 一种基于3d卷积神经网络的脑疾病诊断方法 |
| CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033650A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| CN109815770B (zh) | 二维码检测方法、装置及系统 | |
| CN113033650B (zh) | 图像分类方法、分类模型的训练方法、装置及存储介质 | |
| US9014467B2 (en) | Image processing method and image processing device | |
| CN110110799A (zh) | 细胞分类方法、装置、计算机设备和存储介质 | |
| CN103824059A (zh) | 一种基于视频图像序列的人脸表情识别方法 | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN109063572A (zh) | 一种基于多尺度和多卷积层特征融合的指纹活性检测方法 | |
| JP6844564B2 (ja) | 検査システム、識別システム、及び学習データ生成装置 | |
| CN110210492B (zh) | 一种基于深度学习的立体图像视觉显著性检测方法 | |
| CN102509104A (zh) | 基于置信度图的增强现实场景虚拟对象判别和检测方法 | |
| RU2746152C2 (ru) | Обнаружение биологического объекта | |
| CN115861210B (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
| CN113343755A (zh) | 红细胞图像中的红细胞分类系统及方法 | |
| CN117809124B (zh) | 基于多特征融合的医学图像关联调用方法及系统 | |
| CN109671055A (zh) | 肺结节检测方法及装置 | |
| WO2024208102A1 (zh) | 基于深度学习的换向器内侧图像缺陷目标检测方法 | |
| CN117853334B (zh) | 基于dicom影像的医疗影像重构方法及系统 | |
| CN113096079B (zh) | 图像分析系统及其构建方法 | |
| JP6733984B2 (ja) | 画像解析装置 | |
| CN110874602A (zh) | 一种图像识别方法及装置 | |
| US20220215253A1 (en) | Systems and methods to train a cell object detector | |
| WO2021012523A1 (zh) | 三维图像搜索方法、系统、计算机设备和存储介质 | |
| CN116958724A (zh) | 一种产品分类模型的训练方法和相关装置 | |
| CN115760822A (zh) | 一种图像质量检测模型建立方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |