CN111144449B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111144449B
CN111144449B CN201911260146.9A CN201911260146A CN111144449B CN 111144449 B CN111144449 B CN 111144449B CN 201911260146 A CN201911260146 A CN 201911260146A CN 111144449 B CN111144449 B CN 111144449B
Authority
CN
China
Prior art keywords
image
dimensional
target
pixel point
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911260146.9A
Other languages
English (en)
Other versions
CN111144449A (zh
Inventor
顾文剑
崔朝辉
赵立军
张霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201911260146.9A priority Critical patent/CN111144449B/zh
Publication of CN111144449A publication Critical patent/CN111144449A/zh
Application granted granted Critical
Publication of CN111144449B publication Critical patent/CN111144449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像处理方法、装置、存储介质及电子设备。所述方法包括：获取目标三维CT图像的点云数据，所述点云数据包括所述目标三维CT图像中各个像素点在预设三维空间对应的体素信息；根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别。这样，根据图像的三维特征确定图像类别，使得确定出的图像类别更加贴近三维图像，提升图像分类精度，并且，数据处理量小，数据处理速度快。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本公开涉及计算机技术领域，具体地，涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
目前，一般使用卷积神经网络对二维图像进行处理，例如，对图像分类。而在对三维图像进行处理时，若利用2D卷积神经网络进行图像特征提取，提取的图像特征仅能提取图像本身的特征，也就是三维图像横截面图像特征，提取出的图像特征不够全面，导致后续的图像分类不够准确。而要想得到三维图像的更准确的图像特征，还需要提取三维图像的纵截面图像特征。相关技术中，多使用3D卷积神经网络对三维图像进行处理，使用3D卷积核，提取出三维图像的三维特征，而这需要耗费极大的计算量，处理速度慢，应用受到局限。
发明内容
本公开的目的是提供一种图像处理方法、装置、存储介质及电子设备，以提升三维图像的分类精度。
为了实现上述目的，根据本公开的第一方面，提供一种图像处理方法，所述方法包括：
获取目标三维CT图像的点云数据，所述点云数据包括所述目标三维CT图像中各个像素点在预设三维空间对应的体素信息；
根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别。
可选地，所述根据所述目标三维CT图像中各个像素点的体素信息和μ值，确定所述目标三维CT图像的图像类别，包括：
将所述目标三维CT图像中各个像素点对应的体素信息和μ值输入至图像分类模型，获得所述图像分类模型针对所述目标三维CT图像输出的所述图像类别。
可选地，所述图像分类模型通过如下方式获得：
获取多组训练数据，每一组所述训练数据包括历史三维CT图像中各像素点对应的体素信息、该历史三维CT图像中各像素点对应的μ值以及该历史三维CT图像的图像类别；
将所述历史三维CT图像中各像素点对应的体素信息和μ值作为输入数据、并将该历史三维CT图像的图像类别作为输出数据，对卷积神经网络进行训练，获得所述图像分类模型。
可选地，所述图像分类模型的全连接层包含每个像素点对应于各个图像类别的决策权重；
所述方法还包括：
从所述图像分类模型的全连接层中提取所述目标三维CT图像中各像素点对应于目标图像类别的决策权重，所述目标图像类别为所述目标三维CT图像的图像类别；
从所述目标三维CT图像的像素点中选取决策权重排名在前N位的像素点作为目标像素点；
为每一所述目标像素点生成标记信息。
可选地，所述方法还包括：
在所述目标三维CT图像中，分别在每一所述目标像素点对应的位置处显示所述标记信息。
可选地，所述根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别，包括：
根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，计算所述目标三维CT图像与样本三维CT图像之间的相似度，其中，每一所述样本三维CT图像具有对应的图像类别；
将相似度最大的样本三维CT图像对应的图像类别确定为所述目标三维CT图像的图像类别。
根据本公开的第二方面，提供一种图像处理装置，所述装置包括：
获取模块，用于获取目标三维CT图像的点云数据，所述点云数据包括所述目标三维CT图像中各个像素点在预设三维空间对应的体素信息；
确定模块，用于根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别。
可选地，所述确定模块包括：
处理子模块，用于将所述目标三维CT图像中各个像素点对应的体素信息和μ值输入至图像分类模型，获得所述图像分类模型针对所述目标三维CT图像输出的所述图像类别。
可选地，所述图像分类模型通过如下方式获得：
获取多组训练数据，每一组所述训练数据包括历史三维CT图像中各像素点对应的体素信息、该历史三维CT图像中各像素点对应的μ值以及该历史三维CT图像的图像类别；
将所述历史三维CT图像中各像素点对应的体素信息和μ值作为输入数据、并将该历史三维CT图像的图像类别作为输出数据，对卷积神经网络进行训练，获得所述图像分类模型。
可选地，所述图像分类模型的全连接层包含每个像素点对应于各个图像类别的决策权重；
所述装置还包括：
提取模块，用于从所述图像分类模型的全连接层中提取所述目标三维CT图像中各像素点对应于目标图像类别的决策权重，所述目标图像类别为所述目标三维CT图像的图像类别；
选择模块，用于从所述目标三维CT图像的像素点中选取决策权重排名在前N位的像素点作为目标像素点；
信息生成模块，用于为每一所述目标像素点生成标记信息。
可选地，所述装置还包括：
显示模块，用于在所述目标三维CT图像中，分别在每一所述目标像素点对应的位置处显示所述标记信息。
可选地，所述确定模块包括：
计算子模块，用于根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，计算所述目标三维CT图像与样本三维CT图像之间的相似度，其中，每一所述样本三维CT图像具有对应的图像类别；
确定子模块，用于将相似度最大的样本三维CT图像对应的图像类别确定为所述目标三维CT图像的图像类别。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
根据本公开的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，获取目标三维CT图像的点云数据，并根据目标三维CT图像中各个像素点对应的体素信息和μ值，确定目标三维CT图像的图像类别。通过三维CT图像的点云数据，将三维CT图像的像素转换为体素，并根据各像素点对应的体素信息以及μ值，确定三维CT图像的图像类别。这样，根据图像的三维特征确定图像类别，使得确定出的图像类别更加贴近三维图像，提升图像分类精度，并且，数据处理量小，数据处理速度快。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是卷积神经网络提取图像特征的示意图；
图2是根据本公开的一种实施方式提供的图像处理方法的流程图；
图3是根据本公开的一种实施方式提供的图像处理装置的框图；
图4是根据一示例性实施例示出的一种电子设备的框图；
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在医学领域中，CT(Computed Tomography)即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描。在医疗领域中，CT图像中每一像素点对应一个μ值(也称作CT值或HU值)，μ值是CT图像中各组织与X线衰减系数相当的对应值，能够反映组织对辐射的吸收程度，反映组织的性质，进而能够反映组织是什么。
在工业领域中，工业CT(Industrial Computerized Tomography)是指应用于工业中的核成像技术。该技术依据辐射在被检测物体中的减弱和吸收特性，即，同物质对辐射的吸收本领与物质性质有关，因此，利用放射性核素或其他辐射源发射出的、具有一定能量和强度的X射线或γ射线，在被检测物体中的衰减规律及分布情况，就可以由探测器陈列获得物体内部的详细信息，最后用计算机信息处理和图像重建技术，以图像形式显示出来。工业领域中的CT图像中的每一像素点也对应一个μ值，能够反映物体对辐射的吸收程度，反映物体的性质，进而反映物体是什么。
在现有技术中，使用卷积神经网络对图像特征进行提取的过程可以如图1所示，其中，图像K1为待提取特征的图像(5*5)，K2为卷积核(3*3)，假设卷积核K2以步长1在图像K1滑动以提取特征，输出的3*3矩阵K3就是该图像K1对应的特征图。卷积核K2有9个神经元，每个神经元仅与图像的局部有关联，关联区域被称作神经元的感受野。感受野越大意味着其能关联的图像范围越大，也代表该神经元蕴含着更高语义层次的特征，因此感受野大小可用来判断每一层的抽象度。
在卷积神经网络中，随着网络深度的增加，神经元感受野也会逐渐增大，让网络学习到更高层次的语义特征，但是每个卷积核的感受野仅适用于二维图像，无法提取到三维特征。例如，若对含K个图像的图像序列进行特征提取，输入的是这K个图像，输出的特征图的表达式如下：
其中，YK为K个图像对应的特征图，Pi为第i个图像。可见，特征图仅由每个图像的卷积结果简单相加得到，也就是三维图像横截面(单张图像所在平面)的图像特征的简单叠加，而对于三维图像纵截面的图像特征并未关注，特征提取不够全面，导致无法为后续的处理提供准确的数据支持。
因此，在现有技术中，还将本来用于视频分类和动作识别任务中的3D卷积神经网络引入到三维图像处理中来，在特征提取层中引入更多的卷积操作来保存三维图像纵截面的图像特征，即在每一层的特征提取操作中，对多个特征图使用分段式卷积。但是，这样的空间特征融合方法需要大量的计算力来支撑，适用性不强，局限性较大。
因此，本方案提供一种图像处理方法，既能较为全面地提取出图像的三维特征，又无需占用过多的计算资源。
图2是根据本公开的一种实施方式提供的图像处理方法的流程图。如图2所示，该方法可以包括以下步骤。
在步骤21中，获取目标三维CT图像的点云数据。其中，点云数据包括目标三维CT图像中各个像素点在预设三维空间对应的体素信息。
目标三维CT图像是需要进行图像处理(即，图像分类)的三维图像。目标三维CT图像可以取自原始三维CT图像。示例地，可以将原始三维CT图像直接用作目标三维CT图像。再例如，可以从原始三维CT图像中提取一部分作为目标三维CT图像，以减少数据处理量，提升数据处理速度。例如，若原始三维CT图像为对人的身体进行全面扫描而得到的三维CT图像，那么当只需要针对人体的器官A对应的图像进行处理，则可以从原始三维CT图像中提取出对应于器官A的图像作为目标三维CT图像。
针对目标三维CT图像，获取其点云数据，由于点云数据是对应于三维空间的，因此能够反映目标三维CT图像的三维图像特征。其中，点云数据包括目标三维CT图像中各个像素点在预设三维空间对应的体素信息，像素点的体素信息可以反映像素点在预设三维空间中对应的三维坐标信息(X轴、Y轴、Z轴)。示例地，对于目标三维CT图像，根据其中每个像素点的相对位置关系，就可以在预设三维空间中确定对应的体素信息，示例地，可以以目标三维CT图像为基准建立三维空间坐标系(即，预设三维空间)，并以目标三维CT图像中各个像素点的相对位置确定这些像素点在预设三维空间的相对位置，一般使二者保持一致。
在步骤22中，根据目标三维CT图像中各个像素点对应的体素信息和μ值，确定目标三维CT图像的图像类别。
其中，CT图像在拍摄完成时，其中的每个像素点对应有一个μ值，可以直接通过CT图像获取到。如前文中所述，μ值代表不同组织(或物体)对扫描线束的吸收程度，能够反映组织的性质，进而反映图像中的组织(或物体)是什么。
根据目标三维CT图像中各个像素点对应的体素信息和μ值，确定目标三维CT图像的图像类别。示例地，步骤22可以包括以下步骤：
根据目标三维CT图像中各个像素点对应的体素信息和μ值，计算目标三维CT图像与样本三维CT图像之间的相似度；
将相似度最大的样本三维CT图像对应的图像类别确定为目标三维CT图像的图像类别。
其中，每一所述样本三维CT图像具有对应的图像类别。计算目标三维CT图像与各个样本三维CT图像之间的相似度，并且，相似度计算是基于图像中像素点对应的体素信息和μ值，能反映图像的三维特征之间的相似度。示例地，每一像素点的数据形式可以为[Xi，Yi，Zi，μi]，其中，Xi为像素点在预设三位空间中的X轴坐标，Yi为像素点在预设三位空间中的Y轴坐标，Zi为像素点在预设三位空间中的Z轴坐标，μi为像素点的μ值。对于多个像素点，则可基于上述格式形成矩阵，进而计算矩阵之间的相似度，以得到两个三维图像之间的相似度。在得到结果后，可以将其中相似度最大的样本三维CT图像对应的图像类别确定为目标三维CT图像的图像类别。
示例地，若目标三维CT图像为医学领域的三维CT图像，图像类别可以是医学CT图像对应的疾病类别(可人工标注，例如，肺结节等)。
再例如，若目标三维CT图像为工业领域的三维CT图像，图像类别可以是工业CT图像对应的缺陷类别(可人工标注，例如，物体内部存在气泡、物体内部存在夹渣、物体内部存在裂缝等)。
通过上述技术方案，获取目标三维CT图像的点云数据，并根据目标三维CT图像中各个像素点对应的体素信息和μ值，确定目标三维CT图像的图像类别。通过三维CT图像的点云数据，将三维CT图像的像素转换为体素，并根据各像素点对应的体素信息以及μ值，确定三维CT图像的图像类别。这样，根据图像的三维特征确定图像类别，使得确定出的图像类别更加贴近三维图像，提升图像分类精度，并且，数据处理量小，数据处理速度快。
为了使本领域技术人员更加理解本发明实施例提供的技术方案，下面对上文中的相应步骤及相关概念进行详细的说明。
在一种可能的实施方式中，步骤12可以包括以下步骤：
将目标三维CT图像中各个像素点对应的体素信息和μ值输入至图像分类模型，获得图像分类模型针对所述目标三维CT图像输出的所述图像类别。
其中，图像分类模型可以通过如下方式获得：
获取多组训练数据，每一组训练数据包括历史三维CT图像中各像素点对应的体素信息、该历史三维CT图像中各像素点对应的μ值以及该历史三维CT图像的图像类别；
将历史三维CT图像中各像素点对应的体素信息和μ值作为输入数据、并将该历史三维CT图像的图像类别作为输出数据，对卷积神经网络进行训练，获得所述图像分类模型。
其中，对于卷积神经网络的训练方式属于现有技术，此处不赘述。
采用上述方式，利用历史三维CT图像的体素信息、μ值及历史三维CT图像对应的图像类别，基于卷积神经网络进行模型训练，充分利用卷积神经网络在分类方面的优势，简单方便。
示例地，若目标三维CT图像为医学领域的三维CT图像，则图像分类模型可以用于对医学领域的三维CT图像进行分类。在模型训练阶段，多组历史三维CT图像可以取自不同的医学CT图像，并基于历史三维CT图像得到各历史三维CT图像对应的体素信息以及各像素点的μ值，并且，各组历史三维CT图像对应的图像类别可以是医学CT图像对应的疾病类别(可人工标注，例如，肺结节等)。在实际应用时，获取到目标三维CT图像后，利用上述方法，可以确定出该三维CT图像所对应的疾病类别。
示例地，若目标三维CT图像为工业领域的三维CT图像，则图像分类模型可以用于对工业领域的三维CT图像进行分类。在模型训练阶段，多组历史三维CT图像可以取自不同的工业CT图像，并基于历史三维CT图像得到各历史三维CT图像对应的体素信息以及各像素点的μ值，并且，各组历史三维CT图像对应的图像类别可以是工业CT图像对应的缺陷类别(可人工标注，例如，物体内部存在气泡、物体内部存在夹渣、物体内部存在裂缝等)。在实际应用时，获取到目标三维CT图像后，利用上述方法，可以确定出该三维CT图像所对应的缺陷类别。
在另一种可能的实施方式中，在对图像分类模型进行训练时，针对图像分类模型的内部结构，可以取消池化层、并在模型中只使用一层全连接层，这样，在全连接层能够提取到每一个像素点对应于各种图像类别的决策权重，从而能够知晓是基于哪些像素得到了最终的图像类别结果。因此，在图像分类模型的全连接层包含每个像素点对应于各个图像类别的决策权重。在这一实施方式中，本公开提供的方法还可以包括以下步骤：
从图像分类模型的全连接层中提取目标三维CT图像中各像素点对应于目标图像类别的决策权重；
从目标三维CT图像的像素点中选取决策权重排名在前N位的像素点作为目标像素点；
为每一目标像素点生成标记信息。
其中，目标图像类别为目标三维CT图像的图像类别。也就是说，在得到目标三维CT图像的图像类别后，从图像分类模型的全连接层中提取目标三维CT图像中各像素点对应于目标图像类别的决策权重。其中，像素点对应于目标图像类别的决策权重越高，说明该像素点对于目标图像类别的决策影响越大，也就是越贴近目标图像类别，更能够代表目标图像类别。
因此，可以从目标三维CT图像的像素点中选取决策权重排名在前N(N为正整数、且小于像素点总数，可以根据经验值设置)位的像素点作为目标像素点，并为每一目标像素点生成标记信息，生成的标记可以与相应的目标像素点进行绑定。标记信息可以为代表目标图像类别的信息，例如为代表目标图像类别的图像、文字等。
在一种可能的实施方式中，可以将标记信息输出，例如，输出目标像素点在目标三维CT图像中的位置及目标像素点的标记信息，可供用户查看或定位。
在一种可能的实施例中，本公开提供的方法还可以包括：
在目标三维CT图像中，分别在每一目标像素点对应的位置处显示标记信息。
示例地，在展示目标三维CT图像时，还可以在各个目标像素点所在的位置一并显示标记信息，例如，在目标像素点处显示文字式的标记信息，或者，以预先规定的与目标图像类别对应的颜色在目标三维CT图像中显示目标像素点。
示例地，若目标三维CT图像为医学领域的三维CT图像，图像类别可以是医学CT图像对应的疾病类别(可人工标注，例如，肺结节等)，相应地，目标像素点就是确定出的疾病类别所对应的病变位置，以此可以定位病灶位置。
再例如，若目标三维CT图像为工业领域的三维CT图像，图像类别可以是工业CT图像对应的缺陷类别(可人工标注，例如，物体内部存在气泡、物体内部存在夹渣、物体内部存在裂缝等)，相应地，目标像素点就是确定出的缺陷类别所对应的缺陷位置，例如，存在裂缝的位置、存在夹渣的位置、或者存在气泡的位置等。
采用上述方式，通过删除图像分类模型中的池化层、并仅设置一层全连接层，使得能够从全连接层中直接提取出各个像素点对于图像类别的决策权重，进而确定出目标像素点，实现对目标像素点的定位，体现三维CT图像中能够反映目标图像类别的像素点，并能展示给用户，更加直观。
图3是根据本公开的一种实施方式提供的图像处理装置的框图。如图3所示，该装置30可以包括：
获取模块31，用于获取目标三维CT图像的点云数据，所述点云数据包括所述目标三维CT图像中各个像素点在预设三维空间对应的体素信息；
确定模块32，用于根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别。
可选地，所述确定模块32包括：
处理子模块，用于将所述目标三维CT图像中各个像素点对应的体素信息和μ值输入至图像分类模型，获得所述图像分类模型针对所述目标三维CT图像输出的所述图像类别。
可选地，所述图像分类模型通过如下方式获得：
获取多组训练数据，每一组所述训练数据包括历史三维CT图像中各像素点对应的体素信息、该历史三维CT图像中各像素点对应的μ值以及该历史三维CT图像的图像类别；
将所述历史三维CT图像中各像素点对应的体素信息和μ值作为输入数据、并将该历史三维CT图像的图像类别作为输出数据，对卷积神经网络进行训练，获得所述图像分类模型。
可选地，所述图像分类模型的全连接层包含每个像素点对应于各个图像类别的决策权重；
所述装置30还包括：
提取模块，用于从所述图像分类模型的全连接层中提取所述目标三维CT图像中各像素点对应于目标图像类别的决策权重，所述目标图像类别为所述目标三维CT图像的图像类别；
选择模块，用于从所述目标三维CT图像的像素点中选取决策权重排名在前N位的像素点作为目标像素点；
信息生成模块，用于为每一所述目标像素点生成标记信息。
可选地，所述装置30还包括：
显示模块，用于在所述目标三维CT图像中，分别在每一所述目标像素点对应的位置处显示所述标记信息。
可选地，所述确定模块32包括：
计算子模块，用于根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，计算所述目标三维CT图像与样本三维CT图像之间的相似度，其中，每一所述样本三维CT图像具有对应的图像类别；
确定子模块，用于将相似度最大的样本三维CT图像对应的图像类别确定为所述目标三维CT图像的图像类别。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种电子设备的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像处理方法。
图5是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图5，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的图像处理方法。
另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的图像处理方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标三维CT图像的点云数据，所述点云数据包括所述目标三维CT图像中各个像素点在预设三维空间对应的体素信息；
根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别；
其中，通过以下方式确定所述目标三维CT图像的图像类别：
将所述目标三维CT图像中各个像素点对应的体素信息和μ值输入至图像分类模型，获得所述图像分类模型针对所述目标三维CT图像输出的所述图像类别；或者，根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，计算所述目标三维CT图像与样本三维CT图像之间的相似度，每一所述样本三维CT图像具有对应的图像类别，将相似度最大的样本三维CT图像对应的图像类别确定为所述目标三维CT图像的图像类别；
所述图像分类模型的全连接层包含每个像素点对应于各个图像类别的决策权重，在通过所述图像分类模型确定所述图像类别的情况下，所述方法还包括：
从所述图像分类模型的全连接层中提取所述目标三维CT图像中各像素点对应于目标图像类别的决策权重，所述目标图像类别为所述目标三维CT图像的图像类别；从所述目标三维CT图像的像素点中选取决策权重排名在前N位的像素点作为目标像素点；为每一所述目标像素点生成标记信息。
2.根据权利要求1所述的方法，其特征在于，所述图像分类模型通过如下方式获得：
获取多组训练数据，每一组所述训练数据包括历史三维CT图像中各像素点对应的体素信息、该历史三维CT图像中各像素点对应的μ值以及该历史三维CT图像的图像类别；
将所述历史三维CT图像中各像素点对应的体素信息和μ值作为输入数据、并将该历史三维CT图像的图像类别作为输出数据，对卷积神经网络进行训练，获得所述图像分类模型。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述目标三维CT图像中，分别在每一所述目标像素点对应的位置处显示所述标记信息。
4.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标三维CT图像的点云数据，所述点云数据包括所述目标三维CT图像中各个像素点在预设三维空间对应的体素信息；
确定模块，用于根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，确定所述目标三维CT图像的图像类别；
其中，所述确定模块包括：处理子模块，用于将所述目标三维CT图像中各个像素点对应的体素信息和μ值输入至图像分类模型，获得所述图像分类模型针对所述目标三维CT图像输出的所述图像类别；或者，所述确定模块包括：计算子模块，用于根据所述目标三维CT图像中各个像素点对应的体素信息和μ值，计算所述目标三维CT图像与样本三维CT图像之间的相似度，每一所述样本三维CT图像具有对应的图像类别；确定子模块，用于将相似度最大的样本三维CT图像对应的图像类别确定为所述目标三维CT图像的图像类别；
所述图像分类模型的全连接层包含每个像素点对应于各个图像类别的决策权重；所述装置还包括：
提取模块，用于从所述图像分类模型的全连接层中提取所述目标三维CT图像中各像素点对应于目标图像类别的决策权重，所述目标图像类别为所述目标三维CT图像的图像类别；选择模块，用于从所述目标三维CT图像的像素点中选取决策权重排名在前N位的像素点作为目标像素点；信息生成模块，用于为每一所述目标像素点生成标记信息。
5.根据权利要求4所述的装置，其特征在于，所述图像分类模型通过如下方式获得：
获取多组训练数据，每一组所述训练数据包括历史三维CT图像中各像素点对应的体素信息、该历史三维CT图像中各像素点对应的μ值以及该历史三维CT图像的图像类别；
将所述历史三维CT图像中各像素点对应的体素信息和μ值作为输入数据、并将该历史三维CT图像的图像类别作为输出数据，对卷积神经网络进行训练，获得所述图像分类模型。
6.根据权利要求4所述的装置，其特征在于，所述装置还包括：
显示模块，用于在所述目标三维CT图像中，分别在每一所述目标像素点对应的位置处显示所述标记信息。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3中任一项所述方法的步骤。
8.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-3中任一项所述方法的步骤。
CN201911260146.9A 2019-12-10 2019-12-10 图像处理方法、装置、存储介质及电子设备 Active CN111144449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911260146.9A CN111144449B (zh) 2019-12-10 2019-12-10 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911260146.9A CN111144449B (zh) 2019-12-10 2019-12-10 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111144449A CN111144449A (zh) 2020-05-12
CN111144449B true CN111144449B (zh) 2024-01-19

Family

ID=70518032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911260146.9A Active CN111144449B (zh) 2019-12-10 2019-12-10 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111144449B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710028B (zh) * 2020-05-27 2023-06-30 北京东软医疗设备有限公司 三维造影图像的生成方法、装置、存储介质和电子设备
CN112330665B (zh) * 2020-11-25 2024-04-26 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质和电子设备
CN112907726B (zh) * 2021-01-25 2022-09-20 重庆金山医疗技术研究院有限公司 一种图像处理方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016016265A (ja) * 2014-07-10 2016-02-01 株式会社東芝 画像処理装置、画像処理方法及び医用画像診断装置
CN107977963A (zh) * 2017-11-30 2018-05-01 北京青燕祥云科技有限公司 肺结节的判定方法、装置和实现装置
CN108875649A (zh) * 2018-06-22 2018-11-23 北京佳格天地科技有限公司 一种地物分类方法、系统、设备和存储介质
CN110458813A (zh) * 2019-03-08 2019-11-15 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726608B2 (en) * 2016-11-23 2020-07-28 3D Systems, Inc. System and method for real-time rendering of complex data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016016265A (ja) * 2014-07-10 2016-02-01 株式会社東芝 画像処理装置、画像処理方法及び医用画像診断装置
CN107977963A (zh) * 2017-11-30 2018-05-01 北京青燕祥云科技有限公司 肺结节的判定方法、装置和实现装置
CN108875649A (zh) * 2018-06-22 2018-11-23 北京佳格天地科技有限公司 一种地物分类方法、系统、设备和存储介质
CN110458813A (zh) * 2019-03-08 2019-11-15 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张建宁.神经外科学高级教程.人民军医出版社,2015,(第1版),54-55. *

Also Published As

Publication number Publication date
CN111144449A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
US11574406B2 (en) Systems and methods for image segmentation using a scalable and compact convolutional neural network
CN109493328B (zh) 医学图像显示方法、查看设备以及计算机设备
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
CN111144449B (zh) 图像处理方法、装置、存储介质及电子设备
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN112927359B (zh) 一种基于深度学习和体素的三维点云补全方法
CN111488872B (zh) 图像检测方法、装置、计算机设备和存储介质
CN109741312A (zh) 一种肺结节鉴别方法、装置、设备及介质
CN112614144A (zh) 一种图像分割方法、装置、设备及存储介质
WO2020168648A1 (zh) 一种图像分割方法、装置及计算机可读存储介质
EP3973508A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN107491633A (zh) 一种图像处理的方法及装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN107833229A (zh) 信息处理方法、装置及系统
CN111798424A (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN109087357B (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
CN112200780B (zh) 骨组织定位方法、装置、计算机设备和存储介质
CN116228753B (zh) 肿瘤预后评估方法、装置、计算机设备和存储介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111652876A (zh) 一种三维盆底超声图像的检测方法
CN112330787A (zh) 图像标注方法、装置、存储介质和电子设备
CN111260636A (zh) 模型训练方法及设备、图像处理方法及设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant