CN111104984B - 一种电子计算机断层扫描ct图像分类方法、装置及设备 - Google Patents
一种电子计算机断层扫描ct图像分类方法、装置及设备 Download PDFInfo
- Publication number
- CN111104984B CN111104984B CN201911338434.1A CN201911338434A CN111104984B CN 111104984 B CN111104984 B CN 111104984B CN 201911338434 A CN201911338434 A CN 201911338434A CN 111104984 B CN111104984 B CN 111104984B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- image
- classified
- influence
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请实施例公开了一种电子计算机断层扫描CT图像分类方法、装置及设备,该方法包括:获取待分类CT图像中各个像素点的点云数据;根据各个像素点的点云数据以及待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据;基于待分类CT图像中各个像素点的融合特征数据进行图像分类,得到待分类CT图像的分类结果。其中,因像素点的融合特征数据携带了该像素点的局部信息及待分类CT图像的全局信息,使得待分类CT图像的分类过程能够依据全面准确的信息进行分类,提高CT图像的分类准确性。
Description
技术领域
本申请涉及自动化机器学习技术领域,具体涉及一种电子计算机断层扫描CT图像分类方法、装置及设备。
背景技术
随着电子计算机断层扫描(Computed Tomography,CT)的发展,CT图像分类越来越重要。其中,与普通图像(例如,照相机拍摄的图像)相比,CT图像具有以下特点:①CT图像的图层数量比较多(例如,CT图像包括100层图层)。②CT图像中像素点携带的CT值波动范围比较大(例如,CT值波动范围可以为[-1000Hu,+1000Hu])。
基于上述内容可知,因CT图像与普通图像之间存在差异,使得CT图像的分类过程与普通图像的分类过程之间也存在差异。然而,如何对CT图像进行准确地分类仍是一个亟待解决的技术问题。
发明内容
有鉴于此,本申请实施例提供一种电子计算机断层扫描CT图像分类方法、装置及设备,能够对CT图像进行准确地分类。
为解决上述问题,本申请实施例提供的技术方案如下:
一种电子计算机断层扫描CT图像分类方法,包括:
获取待分类CT图像中各个像素点的点云数据;所述点云数据包括像素点在所述待分类CT图像中的三维坐标值以及CT值;
根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据;
基于所述待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果。
在一种可能的实现方式中,所述根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征,包括:
根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;
将所述各个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到各个像素点对应的目标特征数据;
根据所述各个像素点对应的目标特征数据和所述待分类CT图像中各个像素点对目标像素点的影响特征,得到所述目标像素点对应的全局影响特征。
在一种可能的实现方式中,所述根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征,包括:
将所述各个像素点的点云数据进行数据分布归一化处理,得到各个像素点对应的归一化数据;
将所述各个像素点的点云数据进行非线性激活处理,得到各个像素点对应的非线性数据;
根据所述目标像素点对应的归一化数据、所述各个像素点对应的非线性数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征。
在一种可能的实现方式中,所述根据所述目标像素点对应的归一化数据、所述各个像素点对应的非线性数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征,包括:
将所述目标像素点对应的归一化数据与待使用像素点对应的非线性数据的进行相乘,得到所述待使用像素点对目标像素点的初始影响值;其中,所述待使用像素点为所述待分类CT图像中的任一像素点;
根据所述待分类CT图像中任意两个像素点之间的距离,确定所述待使用像素点对目标像素点的距离影响权重;
将所述待使用像素点对目标像素点初始影响值与所述待使用像素点对目标像素点的距离影响权重的乘积,作为所述待使用像素点对目标像素点的实际影响值;
将所述待使用像素点对目标像素点的实际影响值进行归一化处理,得到所述待使用像素点对目标像素点的影响特征。
在一种可能的实现方式中,所述根据所述待分类CT图像中任意两个像素点之间的距离,确定所述待使用像素点对目标像素点的距离影响权重,包括:
将所述待分类CT图像中任意两个像素点之间的距离中的最大值,确定为最大点间距离;
将待处理距离与所述最大点间距离的比值,确定为所述待处理距离的归一化值;所述待处理距离是指待使用像素点和目标像素点之间的距离;
将1与所述待处理距离的归一化值之间的差值,确定为所述待使用像素点对目标像素点的距离影响权重。
在一种可能的实现方式中,所述将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据,包括:
将所述目标像素点对应的全局影响特征与所述目标像素点对应的全局影响权重的乘积,确定为所述目标像素点的加权全局影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;所述全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;
将所述目标像素点的点云数据与所述目标像素点的加权全局影响特征进行叠加,得到所述目标像素点的融合特征数据。
在一种可能的实现方式中,所述方法应用于图像分类模型,所述图像分类模型是基于训练CT图像以及所述训练CT图像的类别标签训练得到的;所述图像分类模型包括点云数据生成层、全局影响特征生成层、特征融合层以及图像分类层;
所述点云数据生成层,用于获取待分类CT图像中各个像素点的点云数据;
所述全局影响特征生成层,用于根据所述点云数据生成层输出的各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
所述特征融合层,用于将所述全局影响特征生成层输出的目标像素点对应的全局影响特征与所述目标像素点对应的全局影响权重的乘积,确定为所述目标像素点的加权全局影响特征;将所述点云数据生成层输出的目标像素点的点云数据与所述目标像素点的加权全局影响特征进行叠加,得到所述目标像素点的融合特征数据;其中,所述目标像素点为所述待分类CT图像中任一像素点;所述全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;所述特征融合层的层参数包括所述各个像素点对应的全局影响权重;
所述图像分类层,用于基于所述特征融合层输出的待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果。
一种电子计算机断层扫描CT图像分类装置,包括:
点云数据获取单元,用于获取待分类CT图像中各个像素点的点云数据;所述点云数据包括像素点在所述待分类CT图像中的三维坐标值以及CT值;
全局影响生成单元,用于根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
融合特征生成单元,用于将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据;
CT图像分类单元,用于基于所述待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果。
一种电子计算机断层扫描CT图像分类设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述电子计算机断层扫描CT图像分类方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行上述电子计算机断层扫描CT图像分类方法。
由此可见,本申请实施例具有如下有益效果:
本申请实施例提供的CT图像分类方法中,先获取待分类CT图像中各个像素点的点云数据,并根据各个像素点的点云数据以及该待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;再将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据,以便基于该待分类CT图像中各个像素点的融合特征数据进行图像分类,得到该待分类CT图像的分类结果。
其中,因像素点的点云数据包括该像素点在待分类CT图像中的三维坐标值以及CT值,使得基于各个像素点的点云数据确定的各个像素点的融合特征数据携带有各个像素点的坐标位置信息以及CT值,使得在对待分类CT图像进行图像分类的过程中同时参考了各个像素点的坐标位置信息以及CT值,提高了CT图像的分类参考信息的全面性,从而提高了CT图像的分类准确性。另外,还因像素点的点云数据能够准确地表征该像素点所具有的局部信息,而且该像素点对应的全局影响特征能够准确地表征该待分类CT图像的全局信息对该像素点所产生的影响,使得基于该像素点的点云数据及其对应的全局影响特征生成的融合特征数据携带了该像素点的局部信息以及待分类CT图像的全局信息,从而使得该像素点的融合特征数据能够准确全面地表征该像素点在该待分类CT图像中所具有的特征信息,进而使得待分类CT图像的分类过程能够依据全面准确地信息进行分类,进一步提高了CT图像的分类准确性。
附图说明
图1为本申请实施例提供的一种CT图像分类方法的流程图;
图2为本申请实施例提供的一种生成各个像素点对应的全局影响特征的流程图;
图3为本申请实施例提供的生成待分类CT图像中各个像素点对目标像素点的影响特征的流程图;
图4为本申请实施例提供的S1213的一种实施方式流程图;
图5为本申请实施例提供的图像分类模型的结构示意图;
图6为本申请实施例提供的利用图像分类模型对待分类CT图像进行分类的过程示意图;
图7为本申请实施例提供的图像分类模型的训练过程的流程图;
图8为本申请实施例提供的待训练分类模型的结构示意图;
图9为本申请实施例提供的一种CT图像分类装置示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在对传统的图像分类方法研究中发现,传统的图像分类方法只需参考待分类图像中各个像素点的像素值进行图像分类即可,无需考虑其他因素。但是,因在CT图像中位于预设区域内的像素点所携带的特征信息与位于预设区域外的像素点所携带的特征信息不同,使得CT图像的特征信息不仅受到各个像素点的CT值的影响,还受到各个像素点的坐标位置的影响,从而使得在利用传统的图像分类方法对CT图像进行分类时,因分类参考信息不全面导致CT图像的分类准确性较低。需要说明的是,CT图像中像素点的像素值用于表征该像素点的CT值。
基于此,为了解决背景部分的技术问题以及上述技术问题,本申请实施例提供了一种电子计算机断层扫描CT图像分类方法,该方法包括:先获取待分类CT图像中各个像素点的点云数据,并根据各个像素点的点云数据以及该待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;再将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据,以便基于该待分类CT图像中各个像素点的融合特征数据进行图像分类,得到该待分类CT图像的分类结果。其中,因像素点的点云数据包括该像素点在待分类CT图像中的三维坐标值以及CT值,使得基于各个像素点的点云数据确定的各个像素点的融合特征数据携带有各个像素点的坐标位置信息以及CT值,使得在对待分类CT图像进行图像分类的过程中同时参考了各个像素点的坐标位置信息以及CT值,提高了CT图像的分类参考信息的全面性,从而提高了CT图像的分类准确性。
为了便于理解本申请,下面结合附图对本申请实施例提供的CT图像分类方法进行说明。
参见图1,该图为本申请实施例提供的一种CT图像分类方法的流程图,该CT图像分类方法可以包括S11-S14:
S11:获取待分类CT图像中各个像素点的点云数据。
点云数据包括像素点在待分类CT图像中的三维坐标值以及CT值。
三维坐标值用于表征像素点在待分类CT图像中的位置信息;而且像素点的三维坐标值可以利用(X,Y,Z)进行表示。其中,X和Y用于表示该像素点在待分类CT图像中的图层平面坐标,Z用于表示该像素点在待分类CT图像中所处的图层数。
像素点的CT值是根据该像素点的像素值确定的,而且本申请实施例不限定CT值的计算方式。
另外,本申请实施例不限定点云数据的表示形式,例如,像素点的点云数据可以表示为(X,Y,Z,Hu),其中,X、Y和Z用于表示该像素点在待分类CT图像中的三维坐标值;而且,Hu用于表示该像素点的CT值。
基于上述内容可知,本申请实施例在获取到待分类CT图像之后,先分别依据待分类CT图像中各个像素点的像素值和三维坐标值,确定各个像素点的点云数据。作为示例,当待分类CT图像包括第1个像素点至第N个像素点,且像素点的点云数据的表示形式为(X,Y,Z,Hu)时,则S11具体可以为:根据待分类CT图像中第1个像素点的像素值和三维坐标值,确定第1个像素点的点云数据(X1,Y1,Z1,Hu1);根据待分类CT图像中第2个像素点的像素值和三维坐标值,确定第2个像素点的点云数据(X2,Y2,Z2,Hu2);……(依次类推);根据待分类CT图像中第N个像素点的像素值和三维坐标值,确定第N个像素点的点云数据(XN,YN,ZN,HuN)。其中,N为正整数。
S12:根据各个像素点的点云数据以及待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征。
两个像素点之间的距离可以根据这两个像素点的三维坐标确定。例如,当待分类CT图像包括第1个像素点至第N个像素点时,则待分类CT图像中任意两个像素点之间的距离可以利用公式(1)确定。
式中,dij表示第i个像素点与第j个像素点之间的距离;第i个像素点的三维坐标值为(Xi,Yi,Zi);第j个像素点的三维坐标值为(Xj,Yj,Zj);i为正整数,且i≤N;j为正整数,且j≤N;N为待分类CT图像中的像素点总数。
像素点对应的全局影响特征用于表征待分类CT图像的全局信息对该像素点所产生的影响。需要说明的是,全局信息是指待分类CT图像的整体信息。例如,当待分类CT图像包括第1个像素点至第N个像素点时,则全局信息可以根据第1个像素点至第N个像素点生成。
基于上述内容可知,本申请实施例中,在获取到各个像素点的点云数据之后,可以根据各个像素点的点云数据以及待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征,使得各个像素点对应的全局影响特征能够准确地表征待分类CT图像的全局信息对各个像素点所产生的影响,以便后续能够依据各个像素点对应的全局影响特征对待分类CT图像进行分类。
另外,本申请实施例还提供了生成各个像素点对应的全局影响特征的具体实施方式,技术详情请参见下文。
S13:将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据。
其中,像素点的融合特征数据用于表征该像素点的点云数据以及待分类CT图像的全局信息对该像素点所产生的综合影响,使得像素点的融合特征数据同时携带了该像素点的局部信息以及待分类CT图像的全局信息。需要说明的是,像素点的局部信息是指该像素点自身所具有的信息,例如,像素点的局部信息可以根据该像素点的点云数据生成。
本申请实施例中,在获取到各个像素点的点云数据以及各个像素点对应的全局影响特征之后,可以将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据。下面结合示例进行说明。
作为示例,当待分类CT图像包括第1个像素点至第N个像素点时,S13具体可以为:将第1个像素点的点云数据与第1个像素点对应的全局影响特征进行叠加,得到第1个像素点的融合特征数据,使得第1个像素点的融合特征数据携带了第1个像素点的局部信息以及待分类CT图像的全局信息;将第2个像素点的点云数据与第2个像素点对应的全局影响特征进行叠加,得到第2个像素点的融合特征数据,使得第2个像素点的融合特征数据携带了第2个像素点的局部信息以及待分类CT图像的全局信息;……(以此类推);将第N个像素点的点云数据与第N个像素点对应的全局影响特征进行叠加,得到第N个像素点的融合特征数据,使得第N个像素点的融合特征数据携带了第N个像素点的局部信息以及待分类CT图像的全局信息。
另外,本申请实施例还提供了生成各个像素点的融合特征数据的具体实施方式,技术详情请参见下文。
S14:基于待分类CT图像中各个像素点的融合特征数据进行图像分类,得到该待分类CT图像的分类结果。
本申请实施例中,在获取到待分类CT图像中各个像素点的融合特征数据之后,可以依据上述各个像素点的融合特征数据对该待分类CT图像进行图像分类,得到该待分类CT图像的分类结果。需要说明的是,本申请实施例不限定S14所使用的图像分类方法。
基于上述S11-S14的内容可知,在本申请实施例提供的CT图像分类方法中,先获取待分类CT图像中各个像素点的点云数据,并根据各个像素点的点云数据以及该待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;再将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据,以便基于该待分类CT图像中各个像素点的融合特征数据进行图像分类,得到该待分类CT图像的分类结果。
其中,因点云数据包括像素点在待分类CT图像中的三维坐标值以及CT值,使得基于各个像素点的点云数据确定的各个像素点的融合特征数据携带有各个像素点的坐标位置信息以及CT值,从而使得在对待分类CT图像进行图像分类的过程中能够同时参考各个像素点的坐标位置信息以及CT值,提高了CT图像的分类参考信息的全面性,从而提高了CT图像的分类准确性。另外,还因像素点的点云数据能够准确地表征该像素点所具有的局部信息,而且该像素点对应的全局影响特征能够准确地表征该待分类CT图像的全局信息对该像素点所产生的影响,使得基于该像素点的点云数据及其对应的全局影响特征生成的融合特征数据同时携带了该像素点的局部信息以及待分类CT图像的全局信息,从而使得该像素点的融合特征数据能够准确全面地表征该像素点在该待分类CT图像中所具有的特征信息,进而使得待分类CT图像的分类过程能够依据全面准确地信息进行分类,进一步提高了CT图像的分类准确性。
在本申请实施例一种可能的实施方式中,提供了一种生成各个像素点对应的全局影响特征(也就是S12)的具体实施方式,如图2所示,S12具体可以包括S121-S123:
S121:根据各个像素点的点云数据以及待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中各个像素点对目标像素点的影响特征;其中,该目标像素点为该待分类CT图像中任一像素点。
其中,一个像素点对另一个像素点的影响特征用于表征在待分类CT图像中,一个像素点的局部信息(例如,三维坐标值和/或CT值)对另一个像素点的局部信息(例如,三维坐标值和/或CT值)所产生的影响。
基于上述内容可知,本申请实施例可以根据各个像素点的点云数据和待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中每个像素点对其他像素点的影响特征。例如,当待分类CT图像包括第1个像素点至第N个像素点时,S121可以为:根据第1个像素点的点云数据至第N个像素点的点云数据以及待分类CT图像中任意两个像素点之间的距离,分别生成待分类CT图像中各个像素点对第1个像素点的影响特征、待分类CT图像中各个像素点对第2个像素点的影响特征、……、待分类CT图像中各个像素点对第N个像素点的影响特征。需要说明的是,待分类CT图像中各个像素点对第i个像素点的影响特征可以包括:第1个像素点对第i个像素点的影响特征、第2个像素点对第i个像素点的影响特征、……、以及第N个像素点对第i个像素点的影响特征。其中,i为正整数,且i≤N。
另外,本申请实施例还提供了一种生成该待分类CT图像中各个像素点对目标像素点的影响特征的具体实施方式,技术详情请参见下文。
S122:将各个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到各个像素点对应的目标特征数据。
数据分布归一化处理用于将待分类CT图像中的各个像素点的点云数据的数据分布进行归一化处理,使得处理后的各个像素点的点云数据能够落入预设数据分布区域内(例如,落入均值为0方差为1的标准正态分布内)。另外,本申请实施例不限定数据分布归一化处理的具体实施方式,例如,数据分布归一化处理可以采用带批归一化(BatchNormalization,BN)操作的卷积进行实施。
非线性激活处理用于修正数据,使得修正后的数据具有非线性;而且,本申请实施例不限定非线性激活处理的具体实施方式,例如,非线性激活处理可以采用带修正线性单元(Rectified linear unit,ReLU)操作的卷积进行实施。
基于上述内容可知,本申请实施例中,可以将各个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到各个像素点对应的目标特征数据。例如,当待分类CT图像包括第1个像素点至第N个像素点时,S122可以为:将第1个像素点的点云数据至第N个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到第1个像素点对应的目标特征数据、第2个像素点对应的目标特征数据、……、以及第N个像素点对应的目标特征数据。
需要说明的是,本申请实施例不限定S121与S122之间的执行顺序。例如,可以依次执行S121与S122,也可以依次执行S122与S121,还可以同时执行S121与S122。
S123:根据各个像素点对应的目标特征数据和待分类CT图像中各个像素点对目标像素点的影响特征,得到目标像素点对应的全局影响特征。
本申请实施例中,在获取到各个像素点对应的目标特征数据以及该待分类CT图像中每个像素点对目标像素点的影响特征之后,可以根据各个像素点对应的目标特征数据和待分类CT图像中各个像素点对目标像素点的影响特征,得到目标像素点对应的全局影响特征。例如,当待分类CT图像包括第1个像素点至第N个像素点时,S123可以为:根据第1个像素点对应的目标特征数据至第N个像素点对应的目标特征数据以及待分类CT图像中各个像素点对第1个像素点的影响特征,得到第1个像素点对应的全局影响特征;根据第1个像素点对应的目标特征数据至第N个像素点对应的目标特征数据以及待分类CT图像中各个像素点对第2个像素点的影响特征,得到第2个像素点对应的全局影响特征;……;根据第1个像素点对应的目标特征数据至第N个像素点对应的目标特征数据以及待分类CT图像中各个像素点对第N个像素点的影响特征,得到第N个像素点对应的全局影响特征。
另外,当待分类CT图像包括第1个像素点至第N个像素点时,各个像素点对应的全局影响特征可以采用公式(2)计算得到。
式中,F表示由各个像素点对应的全局影响特征构成的矩阵,F为4×N的矩阵,而且F中的第i列表示第i个像素点对应的全局影响特征;D表示由各个像素点对应的目标特征数据构成的矩阵,D为4×N的矩阵,而且D中的第i列表示第i个像素点对应的目标特征数据;S表示由待分类CT图像中每个像素点对其他像素点的影响特征,S为N×N的矩阵,而且S中的Sij表示第i个像素点对第j个像素点的影响特征;i为正整数,且i≤N;j为正整数,且j≤N;N为待分类CT图像中的像素点总数。
基于上述S121至S123的内容可知,因待分类CT图像中各个像素点对目标像素点的影响特征能够分别准确地表征各个像素点的局部信息对目标像素点的局部信息所产生的影响,使得在基于待分类CT图像中所有像素点对目标像素点的影响特征生成目标像素点对应的全局影响特征之后,该目标像素点对应的全局影响特征能够准确地表征该待分类CT图像的全局信息对该目标像素点所产生的影响,如此提高了目标像素点对应的全局影响特征的准确性,有利于提高CT图像的图像分类准确性。
在本申请实施例一种可能的实施方式中,还提供了一种生成待分类CT图像中各个像素点对目标像素点的影响特征(也就是S121)的具体实施方式,如图3所示,S121具体可以包括S1211-S1213:
S1211:将各个像素点的点云数据进行数据分布归一化处理,得到各个像素点对应的归一化数据。
作为示例,当待分类CT图像包括第1个像素点至第N个像素点时,S1211可以为:将第1个像素点、第2个像素点、……、以及第N个像素点进行数据分布归一化处理,分别得到第1个像素点对应的归一化数据、第2个像素点对应的归一化数据、……、第N个像素点对应的归一化数据。
需要说明的是,“数据分布归一化处理”的技术详情请参见上文S122。
S1212:将各个像素点的点云数据进行非线性激活处理,得到各个像素点对应的非线性数据。
作为示例,当待分类CT图像包括第1个像素点至第N个像素点时,S1212可以为:将第1个像素点、第2个像素点、……、以及第N个像素点进行非线性激活处理,分别得到第1个像素点对应的非线性数据、第2个像素点对应的非线性数据、……、第N个像素点对应的非线性数据。
需要说明的是,“非线性激活处理”的技术详情请参见上文S122。
还需要说明的是,本申请实施例不限定S1211与S1212之间的执行顺序。例如,可以依次执行S1211与S1212,也可以依次执行S1212与S1211,还可以同时执行S1211与S1212。
S1213:根据目标像素点对应的归一化数据、各个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中各个像素点对目标像素点的影响特征。
本申请实施例中,在获取到在获取到目标像素点对应的归一化数据以及各个像素点对应的非线性数据之后,可以根据目标像素点对应的归一化数据、各个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中各个像素点对目标像素点的影响特征。例如,当待分类CT图像包括第1个像素点至第N个像素点时,S1213具体可以为:
根据第1个像素点对应的归一化数据、第1个像素点对应的非线性数据至第N个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中各个像素点对第1个像素点的影响特征;根据第2个像素点对应的归一化数据、第1个像素点对应的非线性数据至第N个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中各个像素点对第2个像素点的影响特征;……(依次类推);根据第N个像素点对应的归一化数据、第1个像素点对应的非线性数据至第N个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离,生成该待分类CT图像中各个像素点对第N个像素点的影响特征。
基于上述S1211至S1213的内容可知,在获取到各个像素点对应的归一化数据以及各个像素点对应的非线性数据之后,可以根据目标像素点对应的归一化数据、各个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征。如此能够提高各个像素点对目标像素点的影响特征的准确性,使得待分类CT图像中各个像素点对目标像素点的影响特征能够更准确地表征各个像素点的局部信息对目标像素点的局部信息所产生的影响,有利于提高CT图像的图像分类准确性。
另外,在本申请实施例一种可能的实施方式中,本申请实施例还提供了上述S1213的具体实施方式,如图4所示,S1213具体可以包括S12131-S12134:
S12131:将目标像素点对应的归一化数据与待使用像素点对应的非线性数据的进行相乘,得到该待使用像素点对目标像素点的初始影响值;其中,待使用像素点为待分类CT图像中的任一像素点。
本申请实施例中,可以将目标像素点对应的归一化数据与各个像素点的非线性数据的进行相乘,分别得到各个像素点对目标像素点的初始影响值。例如,当待分类CT图像包括第1个像素点至第N个像素点时,S12131可以为:将目标像素点对应的归一化数据与第1个像素点的非线性数据的进行相乘,得到第1个像素点对目标像素点的初始影响值;将目标像素点对应的归一化数据与第2个像素点的非线性数据的进行相乘,得到第2个像素点对目标像素点的初始影响值;……(依次类推);将目标像素点对应的归一化数据与第N个像素点的非线性数据的进行相乘,得到第N个像素点对目标像素点的初始影响值。
另外,当待分类CT图像包括第1个像素点至第N个像素点时,S12131可以采用公式(3)进行计算。
式中,T表示由待分类CT图像中的任一像素点对其他任一像素点的初始影响值构成,T为N×N的矩阵,而且T中的Tij表示第i个像素点对第j个像素点的初始影响值;B表示由各个像素点对应的归一化数据构成的矩阵,B为4×N的矩阵,而且B中的第i列表示第i个像素点对应的归一化数据;C表示由各个像素点对应的非线性数据构成的矩阵,C为4×N的矩阵,而且C中的第i列表示第i个像素点对应的非线性数据;CT表示矩阵C的转置矩阵,CT为N×4的矩阵,而且CT中的第i行表示第i个像素点对应的非线性数据;i为正整数,且i≤N;j为正整数,且j≤N;N为待分类CT图像中的像素点总数。
S12132:根据待分类CT图像中任意两个像素点之间的距离,确定待使用像素点对目标像素点的距离影响权重。
待使用像素点对目标像素点的距离影响权重用于表征待使用像素点与目标像素点之间的距离对目标像素点所产生的影响效果;而且,若待使用像素点与目标像素点之间的距离越大,表示该待使用像素点对目标像素点产生的影响越小;若待使用像素点与目标像素点之间的距离越小,表示该待使用像素点对目标像素点产生的影响越大。
另外,本申请实施例还提供了一种确定待使用像素点对目标像素点的距离影响权重的实施方式,其具体为:首先,将待分类CT图像中任意两个像素点之间的距离中的最大值,确定为最大点间距离。然后,将待处理距离与最大点间距离的比值,确定为该待处理距离的归一化值。最后,将1与待处理距离的归一化值之间的差值,确定为该待使用像素点对目标像素点的距离影响权重。其中,待处理距离是指待使用像素点和目标像素点之间的距离。
基于上述内容可知,当待分类CT图像包括第1个像素点至第N个像素点时,待使用像素点对目标像素点的距离影响权重可以采用公式(4)计算得到。
式中,wij表示第i个像素点对第j个像素点的距离影响权重;dij表示第i个像素点与第j个像素点之间的距离;表示从d11、……、dNN中选择最大值;i为正整数,且i≤N;j为正整数,且j≤N;N为待分类CT图像中的像素点总数。
需要说明的是,本申请实施例不限定S12131与S12132之间的执行顺序。
S12133:将待使用像素点对目标像素点初始影响值与待使用像素点对目标像素点的距离影响权重的乘积,作为待使用像素点对目标像素点的实际影响值。
其中,待使用像素点对目标像素点的实际影响值用于表征待使用像素点与目标像素点之间的距离以及待使用像素点的局部信息对目标像素点的局部信息产生的综合影响。
基于上述内容可知,当待分类CT图像包括第1个像素点至第N个像素点时,待使用像素点对目标像素点的实际影响值可以采用公式(5)计算。
式中,V表示由待分类CT图像中的任一像素点对其他任一像素点的实际影响值构成,V为N×N的矩阵,而且V中的Vij表示第i个像素点对第j个像素点的实际影响值;T表示由待分类CT图像中的任一像素点对其他任一像素点的初始影响值构成,T为N×N的矩阵,而且T中的Tij表示第i个像素点对第j个像素点的初始影响值;W表示由待分类CT图像中的任一像素点对其他任一像素点的距离影响权重构成,W为N×N的矩阵,而且W中的wij表示第i个像素点对第j个像素点的距离影响权重;i为正整数,且i≤N;j为正整数,且j≤N;N为待分类CT图像中的像素点总数。
S12134:将待使用像素点对目标像素点的实际影响值进行归一化处理,得到该待使用像素点对目标像素点的影响特征。
本申请实施例不限定归一化处理的具体实施方式,例如,归一化处理可以采用归一化指数函数(又称,Softmax函数)进行实施。
作为示例,当待分类CT图像包括第1个像素点至第N个像素点,而且归一化处理采用Softmax函数进行实施时,待使用像素点对目标像素点的影响特征可以采用公式(6)确定。
式中,Sij表示第i个像素点对第j个像素点的影响特征;Vij表示第i个像素点对第j个像素点的实际影响值;i为正整数,且i≤N;j为正整数,且j≤N;N为待分类CT图像中的像素点总数。
基于上述S12131至S12134的内容可知,在获取到目标像素点对应的归一化数据、各个像素点对应的非线性数据以及待分类CT图像中任意两个像素点之间的距离之后,可以根据公式(3)-(6)计算各个像素点对目标像素点的影响特征,如此能够提高各个像素点对目标像素点的影响特征的准确性,使得待分类CT图像中各个像素点对目标像素点的影响特征能够更准确地表征各个像素点的局部信息对目标像素点的局部信息所产生的影响,有利于提高CT图像的图像分类准确性。
另外,在一些情况下,待分类CT图像的全局信息会对不同像素点产生不同程度的影响,此时为了使得像素点的融合特征数据能够更准确地表征待分类CT图像的全局信息对该像素点产生的影响,可以将各个像素点对应的全局影响特征按照不同的权重参与各个像素点的融合特征数据的生成过程。基于此,本申请实施例还提供了一种生成各个像素点的融合特征数据(也就是S13)的具体实施方式,其具体可以包括:将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行加权叠加,得到各个像素点的融合特征数据。
本申请实施例不限定加权叠加的过程,例如,S13具体可以为:先将目标像素点对应的全局影响特征与该目标像素点对应的全局影响权重的乘积,确定为该目标像素点的加权全局影响特征,再将该目标像素点的点云数据与该目标像素点的加权全局影响特征进行叠加,得到该目标像素点的融合特征数据。其中,目标像素点为待分类CT图像中任一像素点。
全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;而且,全局影响权重与像素点是一一对应的。需要说明的是,本申请实施例不限定全局影响权重的获取方式,例如,全局影响权重可以预先设定,也可以预先基于训练CT图像以及该训练CT图像的类别标签训练得到的。
基于上述内容可知,当待分类CT图像包括第1个像素点至第N个像素点时,各个像素点的融合特征数据可以利用公式(7)和(8)确定。
式中,E表示由各个像素点的融合特征数据构成的矩阵,E为4×N的矩阵,而且E中的第i列表示第i个像素点对应的融合特征数据;L表示由各个像素点对应的全局影响权重构成的矩阵,L为4×N的矩阵,而且L中的第i列表示第i个像素点对应的全局影响权重;F表示由各个像素点对应的全局影响特征构成的矩阵,F为4×N的矩阵,而且F中的第i列表示第i个像素点对应的全局影响特征;A表示由各个像素点的点云数据构成的矩阵,A为4×N的矩阵,而且A中的第i列表示第i个像素点的点云数据。
基于上述S13的具体实施方式可知,本申请实施例可以将各个像素点的点云数据及其对应的全局影响特征进行加权叠加得到,各个像素点的融合特征数据。其中,因各个像素点对应的全局影响权重能够准确地表征各个像素点对应的全局影响特征对各个像素点产生的影响程度,使得基于各个像素点对应的全局影响权重确定的各个像素点的融合特征数据能够更准确地表征该像素点在该待分类CT图像中所具有的特征信息,使得待分类CT图像的分类过程能够依据更准确地信息进行分类,进一步提高了CT图像的分类准确性。
在本申请实施例一种可能的实施方式中,本申请实施例提供的CT图像分类方法可以应用于图像分类模型中,下面结合图5对该图像分类模型进行说明。
如图5所示,本申请实施例提供的图像分类模型包括点云数据生成层501、全局影响特征生成层502、特征融合层503以及图像分类层504;而且,云数据生成层501与全局影响特征生成层502连接,云数据生成层501与特征融合层503连接,全局影响特征生成层502与特征融合层503连接,特征融合层503与图像分类层504连接。下面依次介绍点云数据生成层501、全局影响特征生成层502、特征融合层503以及图像分类层504的相关内容。
点云数据生成层501,用于获取待分类CT图像中各个像素点的点云数据。需要说明的是,点云数据生成层501可以采用S11中的任一实施方式进行实施。
全局影响特征生成层502,用于根据点云数据生成层501输出的各个像素点的点云数据以及待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征。需要说明的是,全局影响特征生成层502可以采用S12中的任一实施方式进行实施。
特征融合层503,用于将点云数据生成层501输出的各个像素点的点云数据分别与全局影响特征生成层502输出的各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据。需要说明的是,特征融合层503可以采用S13中的任一实施方式进行实施。
另外,在一些情况下,特征融合层503可以基于自身层参数将各个像素点的点云数据分别与各个像素点对应的全局影响特征进行加权叠加,得到各个像素点的融合特征数据。基于此,本申请实施例还提供了特征融合层503的一种实施方式,在该实施方式中,特征融合层503,可以具体用于将该全局影响特征生成层502输出的目标像素点对应的全局影响特征与该目标像素点对应的全局影响权重的乘积,确定为该目标像素点的加权全局影响特征;将该点云数据生成层501输出的目标像素点的点云数据与该目标像素点的加权全局影响特征进行叠加,得到该目标像素点的融合特征数据;其中,目标像素点为待分类CT图像中任一像素点;全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;而且该特征融合层503的层参数包括各个像素点对应的全局影响权重。
图像分类层504,用于基于特征融合层503输出的待分类CT图像中各个像素点的融合特征数据进行图像分类,得到待分类CT图像的分类结果。需要说明的是,图像分类层504可以采用S14中的任一实施方式进行实施。
为了便于理解图像分类模型对待分类CT图像的分类过程,下面结合图6所示的图像分类模型以及上文中的公式(1)至(8)进行说明。
如图6所示,利用图6所示的图像分类模型对待分类CT图像进行分类的过程具体包括以下步骤:
第一步:在待分类CT图像输入到图像分类模型之后,获取待分类CT图像中各个像素点的点云数据,生成矩阵A,而且A∈R4×N。
第二步:利用带BN操作的卷积对矩阵A进行数据分布归一化处理得到矩阵B,而且B∈R4×N;利用带ReLU操作的卷积对矩阵A进行非线性激活处理得到矩阵C,而且C∈R4×N;依次利用带BN操作的卷积和带ReLU操作的卷积对矩阵A进行归一化非线性激活处理得到矩阵D,而且D∈R4×N。
第三步:将矩阵C进行转置得到CT,而且CT∈RN×4。
第四步:如公式(3)所示,将CT与B进行相乘得到矩阵T,而且T∈RN×N。
第五步:如公式(5)所示,将矩阵T与矩阵W进行点乘得到矩阵V,而且V∈RN×N。其中,矩阵W是由待分类CT图像中任一像素点对其他任一像素点的距离影响权重构成,矩阵W中的wij表示第i个像素点对第j个像素点的距离影响权重,而且wij可以利用公式(4)和公式(1)确定。
第六步:如公式(6)所示,利用归一化指数函数对矩阵V进行归一化处理得到矩阵S,而且S∈RN×N。
第七步:如公式(2)所示,将矩阵D与矩阵S相乘得到矩阵F,而且F∈R4×N。
第八步:如公式(7)所示,先将矩阵L与矩阵F相乘得到矩阵积,再将该矩阵积与矩阵A相加得到矩阵E,而且E∈R4×N。其中,矩阵L中所包括的各个全局影响权重均是特征融合层503的层参数。
第九步:基于待分类CT图像对应的矩阵E进行图像分类得到该待分类CT图像的类别,并由图像分类模型输出该待分类CT图像的类别。
基于上述提供的图像分类模型的相关内容可知,本申请实施例可以采用图像分类模型实施本申请实施例提供的CT图像分类方法。
在本申请实施例一种可能的实施方式中,图像分类模型可以预先基于训练CT图像以及该训练CT图像的类别标签训练得到的。基于此,本申请实施例还提供了一种图像分类模型的训练过程,如图7所示,该图像分类模型的训练过程具体可以包括S71-S75:
S71:获取训练CT图像以及该训练CT图像的类别标签。
其中,训练CT图像的类别标签是指该训练CT图像的实际类别。
S72:将训练CT图像输入到待训练分类模型中进行图像分类,得到该待训练分类模型输出的该训练CT图像的预测类别。
待训练分类模型用于根据输入的训练CT图像进行图像分类,确定该训练CT图像的预测类别。
待训练分类模型的模型结构与图像分类模型的模型结构相同。
如图8所示,待训练分类模型包括第一处理层801至第四处理层804。其中,第一处理层801与第二处理层802连接,第一处理层801与第三处理层803连接,第二处理层802与第三处理层803连接,第三处理层803与第四处理层804连接。
下面依次介绍第一处理层801至第四处理层804。
第一处理层801,用于获取训练CT图像中各个像素点的点云数据。需要说明的是,第一处理层801可以采用S11中的任一实施方式进行实施,只需将S11的任一实施方式中的“待分类CT图像”替换为“训练CT图像”即可。
第二处理层802,用于根据该第一处理层801输出的各个像素点的点云数据以及训练CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征。需要说明的是,第二处理层802可以采用S12中的任一实施方式进行实施,只需将S12的任一实施方式中的“待分类CT图像”替换为“训练CT图像”即可。
第三处理层803,用于将该第一处理层801输出的各个像素点的点云数据分别与该第二处理层802输出的各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据。需要说明的是,第三处理层803可以采用S13中的任一实施方式进行实施,只需将S13的任一实施方式中的“待分类CT图像”替换为“训练CT图像”即可。
第四处理层804,用于基于第三处理层803输出的待分类CT图像中各个像素点的融合特征数据进行图像分类,得到训练CT图像的分类结果。需要说明的是,第三处理层803可以采用S14中的任一实施方式进行实施,只需将S14的任一实施方式中的“待分类CT图像”替换为“训练CT图像”即可。
基于上述内容可知,本申请实施例中,在获取到训练CT图像之后,可以将该训练CT图像输入到待训练分类模型中进行图像分类,得到该待训练分类模型输出的该训练CT图像的预测类别。
S73:判断是否达到停止条件,若是,则执行S75;若否,则执行S74。
停止条件用于表征待训练分类模型的训练截止条件;而且,本申请实施例不限定停止条件,例如,停止条件可以包括训练CT图像的预测类别与该训练CT图像的类别标签之间的差距低于预设差距阈值、训练CT图像的预测类别的变化率低于预设变化率阈值、以及待训练分类模型的更新次数达到预设次数阈值中的至少一个条件。
S74:根据训练CT图像的类别标签以及训练CT图像的预测类别,更新待训练分类模型,并继续执行S72。
本申请实施例不限定待训练分类模型的更新过程。
另外,因图像分类模型的模型结构与待训练分类模型的模型结构相同,使得当特征融合层503的层参数包括各个像素点的全局影响权重时,待训练分类模型中第三处理层803的层参数也包括各个像素点的全局影响权重,从而使得在对待训练分类模型的更新过程中也需要对第三处理层803中的各个像素点的全局影响权重进行更新,使得更新后的第三处理层803能够得到更准确地各个像素点的融合特征数据,如此有利于提高待训练分类模型对训练CT图像的分类准确性。
S75:将待训练分类模型确定为图像分类模型。
基于上述S71至S75的内容可知,本申请实施例可以基于训练CT图像以及训练CT图像的类别标签训练得到图像分类模型,使得训练获得的图像分类模型能够更准确地确定待分类CT图像的类别,提高了CT图像的分类准确性。
需要说明的是,当特征融合层503的层参数包括各个像素点的全局影响权重时,图像分类模型的训练过程还需要优化各个像素点的全局影响权重,从而使得训练获得的图像分类模型中特征融合层503的各个像素点的全局影响权重比较优。基于此可知,本申请实施例还可以借助图像分类模型的训练过程来获取各个像素点的全局影响权重,以便后续能够将该获取的各个像素点的全局影响权重应用于S13中。
基于上述方法实施例提供的CT图像分类方法,本申请实施例还提供了一种电子计算机断层扫描CT图像分类装置,下面结合附图对该CT图像分类装置进行说明。
参见图9,该图为本申请实施例提供的一种CT图像分类装置示意图。如图9所示,该图像分类装置包括:
点云数据获取单元901,用于获取待分类CT图像中各个像素点的点云数据;所述点云数据包括像素点在所述待分类CT图像中的三维坐标值以及CT值;
全局影响生成单元902,用于根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
融合特征生成单元903,用于将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据;
CT图像分类单元904,用于基于所述待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果。
在本申请实施例一种可能的实现方式中,所述全局影响生成单元902,包括:
局部影响生成子单元,用于根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;
目标特征生成子单元,用于将所述各个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到各个像素点对应的目标特征数据;
全局影响生成子单元,用于根据所述各个像素点对应的目标特征数据和所述待分类CT图像中各个像素点对目标像素点的影响特征,得到所述目标像素点对应的全局影响特征。
在本申请实施例一种可能的实现方式中,所述局部影响生成子单元,包括:
归一化处理子单元,用于将所述各个像素点的点云数据进行数据分布归一化处理,得到各个像素点对应的归一化数据;
非线性处理子单元,用于将所述各个像素点的点云数据进行非线性激活处理,得到各个像素点对应的非线性数据;
影响特征生成子单元,用于根据所述目标像素点对应的归一化数据、所述各个像素点对应的非线性数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征。
在本申请实施例一种可能的实现方式中,所述影响特征生成子单元,包括:
初始影响确定子单元,用于将所述目标像素点对应的归一化数据与待使用像素点对应的非线性数据的进行相乘,得到所述待使用像素点对目标像素点的初始影响值;其中,所述待使用像素点为所述待分类CT图像中的任一像素点;
距离权重生成子单元,用于根据所述待分类CT图像中任意两个像素点之间的距离,确定所述待使用像素点对目标像素点的距离影响权重;
实际影响确定子单元,用于将所述待使用像素点对目标像素点初始影响值与所述待使用像素点对目标像素点的距离影响权重的乘积,作为所述待使用像素点对目标像素点的实际影响值;
影响特征确定子单元,用于将所述待使用像素点对目标像素点的实际影响值进行归一化处理,得到所述待使用像素点对目标像素点的影响特征。
在本申请实施例一种可能的实现方式中,所述距离权重生成子单元,包括:
最大距离确定子单元,用于将所述待分类CT图像中任意两个像素点之间的距离中的最大值,确定为最大点间距离;
归一距离确定子单元,用于将待处理距离与所述最大点间距离的比值,确定为所述待处理距离的归一化值;所述待处理距离是指待使用像素点和目标像素点之间的距离;
距离影响确定子单元,用于将1与所述待处理距离的归一化值之间的差值,确定为所述待使用像素点对目标像素点的距离影响权重。
在本申请实施例一种可能的实现方式中,所述融合特征生成单元903,包括:
加权特征确定子单元,用于将所述目标像素点对应的全局影响特征与所述目标像素点对应的全局影响权重的乘积,确定为所述目标像素点的加权全局影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;所述全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;
融合特征确定子单元,用于将所述目标像素点的点云数据与所述目标像素点的加权全局影响特征进行叠加,得到所述目标像素点的融合特征数据。
在本申请实施例一种可能的实现方式中,所述装置包括图像分类模型,所述图像分类模型是基于训练CT图像以及所述训练CT图像的类别标签训练得到的;所述图像分类模型包括点云数据生成层、全局影响特征生成层、特征融合层以及图像分类层;
所述点云数据生成层,用于获取待分类CT图像中各个像素点的点云数据;
所述全局影响特征生成层,用于根据所述点云数据生成层输出的各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
所述特征融合层,用于将所述全局影响特征生成层输出的目标像素点对应的全局影响特征与所述目标像素点对应的全局影响权重的乘积,确定为所述目标像素点的加权全局影响特征;将所述点云数据生成层输出的目标像素点的点云数据与所述目标像素点的加权全局影响特征进行叠加,得到所述目标像素点的融合特征数据;其中,所述目标像素点为所述待分类CT图像中任一像素点;所述全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;所述特征融合层的层参数包括所述各个像素点对应的全局影响权重;
所述图像分类层,用于基于所述特征融合层输出的待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果。
另外,本申请实施例还提供了一种电子计算机断层扫描CT图像分类设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例所述的电子计算机断层扫描CT图像分类方法的任一实施方式。
另外,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如上述实施例所述的电子计算机断层扫描CT图像分类方法的任一实施方式。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述影响对象的影响关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后影响对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种电子计算机断层扫描CT图像分类方法,其特征在于,包括:
获取待分类CT图像中各个像素点的点云数据;所述点云数据包括像素点在所述待分类CT图像中的三维坐标值以及CT值;
根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据;
基于所述待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果;
所述根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征,包括:
根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;
将所述各个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到各个像素点对应的目标特征数据;
根据所述各个像素点对应的目标特征数据和所述待分类CT图像中各个像素点对目标像素点的影响特征,得到所述目标像素点对应的全局影响特征;
所述根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征,包括:
将所述各个像素点的点云数据进行数据分布归一化处理,得到各个像素点对应的归一化数据;
将所述各个像素点的点云数据进行非线性激活处理,得到各个像素点对应的非线性数据;
根据所述目标像素点对应的归一化数据、所述各个像素点对应的非线性数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征;
所述根据所述目标像素点对应的归一化数据、所述各个像素点对应的非线性数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征,包括:
将所述目标像素点对应的归一化数据与待使用像素点对应的非线性数据的进行相乘,得到所述待使用像素点对目标像素点的初始影响值;其中,所述待使用像素点为所述待分类CT图像中的任一像素点;
根据所述待分类CT图像中任意两个像素点之间的距离,确定所述待使用像素点对目标像素点的距离影响权重;
将所述待使用像素点对目标像素点初始影响值与所述待使用像素点对目标像素点的距离影响权重的乘积,作为所述待使用像素点对目标像素点的实际影响值;
将所述待使用像素点对目标像素点的实际影响值进行归一化处理,得到所述待使用像素点对目标像素点的影响特征。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待分类CT图像中任意两个像素点之间的距离,确定所述待使用像素点对目标像素点的距离影响权重,包括:
将所述待分类CT图像中任意两个像素点之间的距离中的最大值,确定为最大点间距离;
将待处理距离与所述最大点间距离的比值,确定为所述待处理距离的归一化值;所述待处理距离是指待使用像素点和目标像素点之间的距离;
将1与所述待处理距离的归一化值之间的差值,确定为所述待使用像素点对目标像素点的距离影响权重。
3.根据权利要求1所述的方法,其特征在于,所述将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据,包括:
将所述目标像素点对应的全局影响特征与所述目标像素点对应的全局影响权重的乘积,确定为所述目标像素点的加权全局影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;所述全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;
将所述目标像素点的点云数据与所述目标像素点的加权全局影响特征进行叠加,得到所述目标像素点的融合特征数据。
4.根据权利要求3所述的方法,其特征在于,所述方法应用于图像分类模型,所述图像分类模型是基于训练CT图像以及所述训练CT图像的类别标签训练得到的;所述图像分类模型包括点云数据生成层、全局影响特征生成层、特征融合层以及图像分类层;
所述点云数据生成层,用于获取待分类CT图像中各个像素点的点云数据;
所述全局影响特征生成层,用于根据所述点云数据生成层输出的各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
所述特征融合层,用于将所述全局影响特征生成层输出的目标像素点对应的全局影响特征与所述目标像素点对应的全局影响权重的乘积,确定为所述目标像素点的加权全局影响特征;将所述点云数据生成层输出的目标像素点的点云数据与所述目标像素点的加权全局影响特征进行叠加,得到所述目标像素点的融合特征数据;其中,所述目标像素点为所述待分类CT图像中任一像素点;所述全局影响权重用于表征像素点对应的全局影响特征对该像素点产生的影响程度;所述特征融合层的层参数包括所述各个像素点对应的全局影响权重;
所述图像分类层,用于基于所述特征融合层输出的待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果。
5.一种电子计算机断层扫描CT图像分类装置,其特征在于,包括:
点云数据获取单元,用于获取待分类CT图像中各个像素点的点云数据;所述点云数据包括像素点在所述待分类CT图像中的三维坐标值以及CT值;
全局影响生成单元,用于根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成各个像素点对应的全局影响特征;
融合特征生成单元,用于将所述各个像素点的点云数据分别与各个像素点对应的全局影响特征进行叠加,得到各个像素点的融合特征数据;
CT图像分类单元,用于基于所述待分类CT图像中各个像素点的融合特征数据进行图像分类,得到所述待分类CT图像的分类结果;
所述全局影响生成单元,包括:
局部影响生成子单元,用于根据所述各个像素点的点云数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征;其中,所述目标像素点为所述待分类CT图像中任一像素点;
目标特征生成子单元,用于将所述各个像素点的点云数据进行数据分布归一化处理和非线性激活处理,得到各个像素点对应的目标特征数据;
全局影响生成子单元,用于根据所述各个像素点对应的目标特征数据和所述待分类CT图像中各个像素点对目标像素点的影响特征,得到所述目标像素点对应的全局影响特征;
所述局部影响生成子单元,包括:
归一化处理子单元,用于将所述各个像素点的点云数据进行数据分布归一化处理,得到各个像素点对应的归一化数据;
非线性处理子单元,用于将所述各个像素点的点云数据进行非线性激活处理,得到各个像素点对应的非线性数据;
影响特征生成子单元,用于根据所述目标像素点对应的归一化数据、所述各个像素点对应的非线性数据以及所述待分类CT图像中任意两个像素点之间的距离,生成所述待分类CT图像中各个像素点对目标像素点的影响特征;
所述影响特征生成子单元,包括:
初始影响确定子单元,用于将所述目标像素点对应的归一化数据与待使用像素点对应的非线性数据的进行相乘,得到所述待使用像素点对目标像素点的初始影响值;其中,所述待使用像素点为所述待分类CT图像中的任一像素点;
距离权重生成子单元,用于根据所述待分类CT图像中任意两个像素点之间的距离,确定所述待使用像素点对目标像素点的距离影响权重;
实际影响确定子单元,用于将所述待使用像素点对目标像素点初始影响值与所述待使用像素点对目标像素点的距离影响权重的乘积,作为所述待使用像素点对目标像素点的实际影响值;
影响特征确定子单元,用于将所述待使用像素点对目标像素点的实际影响值进行归一化处理,得到所述待使用像素点对目标像素点的影响特征。
6.一种电子计算机断层扫描CT图像分类设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-4任一项所述的电子计算机断层扫描CT图像分类方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1-4任一项所述的电子计算机断层扫描CT图像分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911338434.1A CN111104984B (zh) | 2019-12-23 | 2019-12-23 | 一种电子计算机断层扫描ct图像分类方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911338434.1A CN111104984B (zh) | 2019-12-23 | 2019-12-23 | 一种电子计算机断层扫描ct图像分类方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111104984A CN111104984A (zh) | 2020-05-05 |
CN111104984B true CN111104984B (zh) | 2023-07-25 |
Family
ID=70423267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911338434.1A Active CN111104984B (zh) | 2019-12-23 | 2019-12-23 | 一种电子计算机断层扫描ct图像分类方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111104984B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686898B (zh) * | 2021-03-15 | 2021-08-13 | 四川大学 | 一种基于自监督学习的放疗靶区自动分割方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046654A (zh) * | 2019-03-25 | 2019-07-23 | 东软集团股份有限公司 | 一种识别分类影响因素的方法、装置及相关设备 |
CN110334722A (zh) * | 2019-03-29 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 图像分类方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101127908B (zh) * | 2007-08-27 | 2010-10-27 | 宝利微电子系统控股公司 | 引入全局特征分类的视频图像运动处理方法及其实现装置 |
US9652846B1 (en) * | 2015-10-22 | 2017-05-16 | International Business Machines Corporation | Viewpoint recognition in computer tomography images |
CN106529508B (zh) * | 2016-12-07 | 2019-06-21 | 西安电子科技大学 | 基于局部和非局部多特征语义高光谱图像分类方法 |
CN110025377A (zh) * | 2018-01-12 | 2019-07-19 | 中国科学院沈阳自动化研究所 | 一种基于手势识别控制的手术辅助导航方法 |
CN109829449B (zh) * | 2019-03-08 | 2021-09-14 | 北京工业大学 | 一种基于超像素时空上下文的rgb-d室内场景标注方法 |
-
2019
- 2019-12-23 CN CN201911338434.1A patent/CN111104984B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046654A (zh) * | 2019-03-25 | 2019-07-23 | 东软集团股份有限公司 | 一种识别分类影响因素的方法、装置及相关设备 |
CN110334722A (zh) * | 2019-03-29 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 图像分类方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111104984A (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222831B (zh) | 深度学习模型的鲁棒性评估方法、装置及存储介质 | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
Townsend et al. | Pymanopt: A python toolbox for optimization on manifolds using automatic differentiation | |
JP7266674B2 (ja) | 画像分類モデルの訓練方法、画像処理方法及び装置 | |
CN110348437B (zh) | 一种基于弱监督学习与遮挡感知的目标检测方法 | |
CN111027576B (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
Zhou et al. | A vegetable disease recognition model for complex background based on region proposal and progressive learning | |
CN110208660B (zh) | 一种用于电力设备局部放电缺陷诊断的训练方法及装置 | |
US11568212B2 (en) | Techniques for understanding how trained neural networks operate | |
CN113496247A (zh) | 估计生成对抗网络的隐含似然 | |
Zhang et al. | A novel MAS-GAN-based data synthesis method for object surface defect detection | |
JP6431404B2 (ja) | 姿勢推定モデル生成装置及び姿勢推定装置 | |
CN115222946B (zh) | 一种单阶段实例图像分割方法、装置以及计算机设备 | |
JPWO2020240808A1 (ja) | 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム | |
CN112633355A (zh) | 图像数据处理方法及装置、目标检测模型训练方法及装置 | |
Dong et al. | CRA-Net: A channel recalibration feature pyramid network for detecting small pests | |
CN111104984B (zh) | 一种电子计算机断层扫描ct图像分类方法、装置及设备 | |
CN110689026B (zh) | 一种图像中对象的标注方法、装置及电子设备 | |
CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
JP2021051589A5 (zh) | ||
CN111985616B (zh) | 一种图像特征提取方法、图像检索方法、装置及设备 | |
CN111260056A (zh) | 一种网络模型蒸馏方法及装置 | |
Shi et al. | Combined channel and spatial attention for YOLOv5 during target detection | |
CN115760775A (zh) | 番茄病害检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |