CN117274557B - 三维图像的数据增强方法、装置、电子设备及存储介质 - Google Patents
三维图像的数据增强方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117274557B CN117274557B CN202311541133.5A CN202311541133A CN117274557B CN 117274557 B CN117274557 B CN 117274557B CN 202311541133 A CN202311541133 A CN 202311541133A CN 117274557 B CN117274557 B CN 117274557B
- Authority
- CN
- China
- Prior art keywords
- sample image
- dimensional
- image
- initial
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 20
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请提供了三维图像的数据增强方法、装置、电子设备及存储介质，获取至少一个待增强的三维样本图像；针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；对多个初始样本图像进行插值处理后，得到多个增强样本图像；将多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。这样，增强的样本图像来源于初始三维图像，可以提升增强后的三维样本图像的真实性。
Description
技术领域
本申请涉及图像处理技术领域，尤其是涉及三维图像的数据增强方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的不断发展，基于深度学习的图像处理技术愈发成熟，应用也越来越广泛。而在深度学习技术过程中需要对大量的图像数据来进行训练；由数据集驱动的人工智能（Artificial intelligence，AI）技术训练的学习模型需要一个庞大而多样的训练数据集，以确保鲁棒性和互操作性。但由于时间成本等的限制，可能常会遇到图像数量少、图像质量差和类别不均衡的情形；因此，数据增强已成为一种有希望且具有成本效益的技术，用于增加训练数据集的大小和多样性；通过数据增加技术达到丰富数据集本身、提升相应分类检测系统性能以及拓展延伸价值的效果。
相关技术中，对于三维图像的图像数据增强一般是通过数据处理，得到二维图像数据并进行增强，或者是在2.5维上对图像数据进行处理，上述处理方式，在对图像增强时，可能会导致丢失数据的三维特性，进而导致数据增强后得到的增强图像的真实性较低。
发明内容
有鉴于此，本申请的目的在于提供三维图像的数据增强方法、装置、电子设备及存储介质，直接对三维样本图像进行处理，得到三维样本图像在不同切面上径向切片的初始样本图像；在对初始样本图像进行插值处理后，得到多个增强样本图像，将多个增强样本图像加入到对应的数据集中，尽可能地保留图像数据的三维特性，增强的样本图像来源于初始三维图像，可以提升增强后的三维样本图像的真实性。
第一方面，本申请实施例提供了一种三维图像的数据增强方法，所述数据增强方法包括：
获取至少一个待增强的三维样本图像；
针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；
对多个所述初始样本图像进行插值处理后，得到多个增强样本图像；
将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。
在一种可能的实施方式中，所述针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像，包括：
针对于每一个三维样本图像，以该三维样本图像为基准，建立三维笛卡尔坐标系；
针对于每一个三维样本图像，确定该三维样本图像在纵轴方向上的第一维度，并基于所述第一维度，确定第一旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第一旋转角度对该三维样本图像进行旋转，得到多个第一旋转径向切片图像；
针对于每一个三维样本图像，将每一个第一旋转径向切片图像中的纵轴轴切面图像集合后，得到该三维样本图像在横断面上的径向切片的初始样本图像。
在一种可能的实施方式中，针对于每一个三维样本图像，通过以下步骤得到该三维样本图像在矢状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在横轴方向上的第二维度，并基于所述第二维度，确定第二旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第二旋转角度对该三维样本图像进行旋转，得到多个第二旋转径向切片图像；
针对于每一个三维样本图像，将每一个第二旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在矢状面上的径向切片的初始样本图像。
在一种可能的实施方式中，针对于每一个三维样本图像，通过以下步骤得到该三维样本图像在冠状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在竖轴方向上的第三维度，并基于所述第三维度，确定第三旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的横轴或者纵轴为旋转轴，按照所述第三旋转角度对该三维样本图像进行旋转，得到多个第三旋转径向切片图像；
针对于每一个三维样本图像，将每一个第三旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在冠状面上的径向切片的初始样本图像。
在一种可能的实施方式中，所述三维样本图像包括三维原始样本图像以及三维真值样本图像；其中，所述三维真值样本图像为基于标注过的二维真值图像与切片图像之间的对应关系构建的；
若所述初始样本图像对应的三维样本图像为所述三维原始样本图像时，针对于每一个初始样本图像，通过以下步骤得到多个增强样本图像：
针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值；
针对于每一个初始样本图像，根据缺失的像素点的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
在一种可能的实施方式中，若所述初始样本图像对应的三维样本图像为所述三维真值样本图像时，针对于每一个初始样本图像，通过以下步骤得到多个增强样本图像：
确定所述三维真值样本图像对应的至少一个标签值；
针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值；
针对于每一个初始样本图像，针对于该初始样本图像中与所述三维真值样本图像中任一标签值均不相等的像素值，对该像素值按照对应的三维原始样本图像中的相似像素值区域，进行相似性的聚类，得到校正后的像素值；
针对于每一个初始样本图像，根据缺失的像素点的像素值或者校正后的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
在一种可能的实施方式中，所述将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集，包括：
针对于每一个增强样本图像，确定该增强样本图像对应的三维样本图像属于训练集中的样本图像还是测试集中的样本图像；
若该增强样本图像对应的三维样本图像属于训练集中的样本图像，将该增强样本图像加入到训练集中；
若该增强样本图像对应的三维样本图像属于测试集中的样本图像，若该增强样本对应的旋转角度大于预设旋转角度阈值，将该增强样本图像加入到训练集中。
第二方面，本申请实施例还提供了一种三维图像的数据增强装置，所述数据增强装置包括：
图像获取模块，用于获取至少一个待增强的三维样本图像；
图像旋转模块，用于针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；
图像插值处理模块，用于对多个所述初始样本图像进行插值处理后，得到多个增强样本图像；
数据集划分模块，用于将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述三维图像的数据增强方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的三维图像的数据增强方法的步骤。
本申请实施例提供的三维图像的数据增强方法、装置、电子设备及存储介质，获取至少一个待增强的三维样本图像；针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；对多个初始样本图像进行插值处理后，得到多个增强样本图像；将多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。这样，直接对三维样本图像进行处理，得到三维样本图像在不同切面上径向切片的初始样本图像；在对初始样本图像进行插值处理后，得到多个增强样本图像，将多个增强样本图像加入到对应的数据集中，尽可能地保留图像数据的三维特性，增强的样本图像来源于初始三维图像，可以提升增强后的三维样本图像的真实性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种三维图像的数据增强方法的流程图；
图2为本申请实施例所提供的各切割面示意图；
图3为本申请实施例所提供的三维样本图像径向旋转俯视示意图；
图4为本申请实施例所提供的三维样本图像径向旋转示意图；
图5为本申请实施例所提供的一种三维图像的数据增强装置的结构示意图；
图6为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于图像处理技术领域。
随着人工智能技术的不断发展，基于深度学习的图像处理技术愈发成熟，应用也越来越广泛。而在深度学习技术过程中需要对大量的图像数据来进行训练；由数据集驱动的人工智能（Artificial intelligence，AI）技术训练的学习模型需要一个庞大而多样的训练数据集，以确保鲁棒性和互操作性。但由于时间成本等的限制，可能常会遇到图像数量少、图像质量差和类别不均衡的情形；因此，数据增强已成为一种有希望且具有成本效益的技术，用于增加训练数据集的大小和多样性；通过数据增加技术达到丰富数据集本身、提升相应分类检测系统性能以及拓展延伸价值的效果。
相关技术中，对于三维图像的图像数据增强一般是通过数据处理，得到二维图像数据并进行增强，或者是在2.5维上对图像数据进行处理，上述处理方式，在对图像增强时，可能会导致丢失数据的三维特性，进而导致数据增强后得到的增强图像的真实性较低。
基于此，本申请实施例提供了一种三维图像的数据增强方法，以提升增强后的三维样本图像的真实性。
请参阅图1，图1为本申请实施例所提供的一种三维图像的数据增强方法的流程图。如图1中所示，本申请实施例提供的三维图像的数据增强方法，包括：
S101、获取至少一个待增强的三维样本图像。
S102、针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像。
S103、对多个所述初始样本图像进行插值处理后，得到多个增强样本图像。
S104、将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。
本申请实施例提供的一种三维图像的数据增强方法，直接对三维样本图像进行处理，得到三维样本图像在不同切面上径向切片的初始样本图像；在对初始样本图像进行插值处理后，得到多个增强样本图像，将多个增强样本图像加入到对应的数据集中，尽可能地保留图像数据的三维特性，增强的样本图像来源于初始三维图像，可以提升增强后的三维样本图像的真实性。
下面对本申请实施例示例性的各步骤进行说明：
S101、获取至少一个待增强的三维样本图像。
在本申请实施例中，随着人工智能技术的不断发展，基于深度学习的图像处理技术愈发成熟，应用也越来越广泛。而在深度学习技术过程中需要对大量的图像数据来进行训练；由数据集驱动的人工智能（Artificial intelligence，AI）技术训练的学习模型需要一个庞大而多样的训练数据集，以确保鲁棒性和互操作性。但由于时间成本和金钱成本的限制，可能常会遇到图像数量少、图像质量差和类别不均衡的情形；因此，数据增强已成为一种有希望且具有成本效益的技术，用于增加训练数据集的大小和多样性；通过数据增加技术达到丰富数据集本身、提升相应分类检测系统性能以及拓展延伸价值的效果，本申请实施例便是基于数据增强背景提出的数据增强的优化方案。
在一种可能的实施方式中，待增强的三维样本图像可以是数据库中可以获取到的样本图图像，以待增强的三维样本图像为医学图像为例，待增强的三维样本图像可以从MICCAI的数据集和某一肺炎数据集中获取。
其中，某一肺炎数据集来源于电子科技大学智慧医疗实验室，包含120例患者三维CT影像，由NIFTI格式存储。但其中50例影像经过专家标注，剩下70例影像是带有噪声的非专家标注数据，标签仅包含病灶区域。
进一步的，为了获取更为丰富的训练集样本图像，在数据集中获取到待增强的三维样本图像后，需要针对于每一个三维样本图像进行数据增强。
在本申请实施例中，基于k空间填充方式的启发，提出一种径向切片的图像数据增强方法，即在已有的笛卡尔坐标表示下，增加径向的切片并进行适当的插值，表达成新的二维图像，从而实现数据的扩充；并且为了简化实现难度，采用仿射旋转算法对三维样本图像进行径向切片。
其中，k空间是图像空间在傅里叶变换下的对偶空间，表示MR图像（核磁共振图像）中空间频率的数组，主要应用在磁振造影的成像分析以及量子计算中。k和出现在波动数学中的波数相应，可说都是“空间频率”的概念，把MR信号在k空间的投影曲线称为k轨迹，也叫傅里叶线。
在生成MR信号之前，k空间只是一个等待数据到达的空白单元格数组，填充k空间的数据直接取自MR信号，但可以按任何顺序获取。
S102、针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像。
在本申请实施例中，相较于其他的针对于图像数据增强的方式大多针对于二维图像来说，本申请中针对于的医学病灶图像一般都是三维图像，因此，本申请实施例中的方案是直接对三维图像进行处理并进行数据增强的方案。
具体地，针对于每一个三维样本图像，需要对该三维样本图像进行旋转，同时，获取该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像，在分别对不同的径向切片图像进行处理，得到增强数据。
具体地，水平面即从上（头）到下（脚），冠状面即从前到后，矢状面即从左到右；以人体为例，水平面从人体的头顶往下(头脚方向)看，英文名称是:Transverse section，CT通常都是横断面；将人体分成左右两面（人体左右）的解剖面，与这个面平行的也是矢状面，处于这个位置的叫矢状位。英文名称是：Median sagittal section；按前后方向将人体纵切为左,右两部分的所有断面；冠状面：即从左右方向，沿人体的长轴将人体纵切为前后（前胸后背）两部分的切面，英文名称是：Coronal section；通过铅垂轴与横轴的平面及与其平行的所有平面都称为冠状面。这些平面将人体分成前、后两个部分。
请参阅图2，图2为本申请实施例所提供的各切割面示意图，如图2中所示，对三维样本图像按照不同方向进行切片后，会得到三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像。
下面将分别阐述针对于每一个三维样本图像，获取该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像的过程。
第一方面，获取三维样本图像在横断面上的径向切片的初始样本图像的过程：
具体地，步骤“针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像”，包括：
a1：针对于每一个三维样本图像，以该三维样本图像为基准，建立三维笛卡尔坐标系。
a2：针对于每一个三维样本图像，确定该三维样本图像在纵轴方向上的第一维度，并基于所述第一维度，确定第一旋转角度。
a3：针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第一旋转角度对该三维样本图像进行旋转，得到多个第一旋转径向切片图像。
a4：针对于每一个三维样本图像，将每一个第一旋转径向切片图像中的纵轴轴切面图像集合后，得到该三维样本图像在横断面上的径向切片的初始样本图像。
在本申请实施例中，由于本申请是直接针对于三维图像进行数据增强的数据处理过程，因此，在建立笛卡尔坐标系时，是以三维样本图像为基准，建立三维笛卡尔坐标系。
在一种可能的实施方式中，对于对样本图像进行旋转的角度，可以是以在该图像方向上的维度为基准的，不同方向（矢状面、冠状面、横断面）上的旋转角度不同，得到的径向图像的数量也不一定相同，因此，需要根据三维样本图像在纵轴方向上的第一维度，确定出在获取横断面径向切片时，每次旋转的第一旋转角度。
具体地，旋转角度的角度变化范围可以为[0，360]。对于比较大尺寸（维度较厚）的图像，当病灶变化较多时，可以采用细粒度角度旋转，如0.5度，当图像尺寸较小（维度较薄）时，可以采用大一些的间隔采用，如5或10度，以避免图像尺寸较小（维度较薄），旋转过密，会产生较多的相似图像，造成数据冗余的情况出现。
在一种可能的实施方式中，在获取三维样本图像在横断面上的径向切片的初始样本图像时，是以三维笛卡尔坐标系中的竖轴为旋转轴，按照根据纵轴方向上的维度确定出的第一旋转角度对该三维样本图像进行旋转，得到在每个角度下的第一旋转径向切片图像；而在获取有效数据时，并不是获取每个角度下的第一旋转径向切片图像，而是针对于每一个第一旋转径向切片图像，获取该图像在纵轴轴切面图像，并将多个纵轴轴切面图像按照对应的旋转角度由大到小的顺序进行拼接（如从0°开始拼接到360°等），得到三维样本图像在横断面上的径向切片的初始样本图像。
第二方面，获取三维样本图像在矢状面上的径向切片的初始样本图像的过程：
具体地，针对于每一个三维样本图像，通过以下步骤得到该三维样本图像在矢状面上的径向切片的初始样本图像：
b1：针对于每一个三维样本图像，确定该三维样本图像在横轴方向上的第二维度，并基于所述第二维度，确定第二旋转角度。
b2：针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第二旋转角度对该三维样本图像进行旋转，得到多个第二旋转径向切片图像。
b3：针对于每一个三维样本图像，将每一个第二旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在矢状面上的径向切片的初始样本图像。
在本申请实施中，同样的，也是直接针对于三维图像建立三维笛卡尔坐标系，值得注意的是，针对于矢状面获取过程建立的三维笛卡尔坐标系与针对于横断面获取过程建立的三维笛卡尔坐标系一致，即坐标选点以及各坐标轴的方向选取是一致的。
在一种可能的实施方式中，同样的，对于对样本图像进行旋转的角度，可以是以在该图像方向上的维度为基准的，需要根据三维样本图像在横轴方向上的第二维度，确定出在获取矢状面径向切片时，每次旋转的第二旋转角度。
在一种可能的实施方式中，同样的，在获取三维样本图像在矢状面上的径向切片的初始样本图像时，是以三维笛卡尔坐标系中的竖轴为旋转轴，按照根据横轴方向上的维度确定出的第二旋转角度对该三维样本图像进行旋转，得到在每个角度下的第二旋转径向切片图像；而在获取有效数据时，并不是获取每个角度下的第二旋转径向切片图像，而是针对于每一个第二旋转径向切片图像，获取该图像在横轴轴切面图像，并将多个横轴轴切面图像按照对应的旋转角度由大到小的顺序进行拼接（如从0°开始拼接到360°等），得到三维样本图像在矢状面上的径向切片的初始样本图像。
第三方面，获取三维样本图像在冠状面上的径向切片的初始样本图像的过程：
具体地，针对于每一个三维样本图像，通过以下步骤得到该三维样本图像在冠状面上的径向切片的初始样本图像：
c1：针对于每一个三维样本图像，确定该三维样本图像在竖轴方向上的第三维度，并基于所述第三维度，确定第三旋转角度。
c2：针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的横轴或者纵轴为旋转轴，按照所述第三旋转角度对该三维样本图像进行旋转，得到多个第三旋转径向切片图像。
c3：针对于每一个三维样本图像，将每一个第三旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在冠状面上的径向切片的初始样本图像。
在本申请实施例中，同样的，也是直接针对于三维图像建立三维笛卡尔坐标系，值得注意的是，针对于冠状面获取过程建立的三维笛卡尔坐标系与针对于横断面、矢状面获取过程建立的三维笛卡尔坐标系一致，即坐标选点以及各坐标轴的方向选取是一致的。
在一种可能的实施方式中，同样的，对于对样本图像进行旋转的角度，可以是以在该图像方向上的维度为基准的，需要根据三维样本图像在竖轴方向上的第三维度，确定出在获取冠状面径向切片时，每次旋转的第三旋转角度。
在一种可能的实施方式中，同样的，在获取三维样本图像在冠状面上的径向切片的初始样本图像时，是以三维笛卡尔坐标系中的横轴或者纵轴为旋转轴，按照根据竖轴方向上的维度确定出的第三旋转角度对该三维样本图像进行旋转，得到在每个角度下的第三旋转径向切片图像；而在获取有效数据时，并不是获取每个角度下的第三旋转径向切片图像，而是针对于每一个第三旋转径向切片图像，获取该图像在竖轴轴切面图像，并将多个竖轴轴切面图像按照对应的旋转角度由大到小的顺序进行拼接（如从0°开始拼接到360°等），得到三维样本图像在冠状面上的径向切片的初始样本图像。
示例性地，请参阅图3，图3为本申请实施例所提供的三维样本图像径向旋转俯视示意图，如图3中所示，以基于三维样本图像进行旋转得到在横断面上的径向切片的初始样本图像为例，以三维样本图像310为基准建立三维笛卡尔坐标系，同时以三维笛卡尔坐标系中的竖轴为旋转轴，对该三维图像进行旋转，得到多个在不同旋转角度上的径向切片的初始样本图像320。
示例性地，请参阅图4，图4为本申请实施例所提供的三维样本图像径向旋转示意图，如图4中所示，以基于三维样本图像进行旋转得到在横断面上的径向切片的初始样本图像为例，以三维样本图像310为基准建立三维笛卡尔坐标系，同时以三维笛卡尔坐标系中的竖轴为旋转轴，对该三维图像进行旋转，得到多个在不同旋转角度上的径向切片的初始样本图像320，并将每个初始样本图像320在竖轴上的取值连线进行拼接，得到冠状面径向切片330。
进一步的，在针对于每一个三维样本图像获取到对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像后，由于在对图像进行旋转的过程中，可能会出现数值缺失，因此需要对获取到的初始样本图像进行插值补偿。
S103、对多个所述初始样本图像进行插值处理后，得到多个增强样本图像。
在申请实施例中，待增强的三维样本图像包括三维原始样本图像以及三维真值样本图像，其中，针对于医学图像来说，三维真值样本图像为由专家和医生进行手动标注（标注出图像中的病灶区域，通过标签来表达，例如，医学图像中的病灶区域对应的标签为1，医学图像中的非病灶区域对应的标签为0）而获得的，并且，三维真值样本图像没有三维格式的原始表达，三维真值样本图像为基于标注过的二维真值图像与切片图像之间的对应关系构建的。
在一种可能的实施方式中，由于真值图像中标签的值仅是包含固定的几个数值，因此，对于三维原始样本图像以及三维真值样本图像来说，两者对于插值处理的方式会存在不同，下面将分别阐述针对于三维原始样本图像以及三维真值样本图像进行插值处理，得到增强样本图像的方式。
第一方面，若所述初始样本图像对应的三维样本图像为所述三维原始样本图像时，针对于每一个初始样本图像，通过以下步骤得到多个增强样本图像：
d1：针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值。
d2：针对于每一个初始样本图像，根据缺失的像素点的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
在本申请实施例中，需要先确定出初始样本图像中的每个像素的像素值，并计算该初始样本图像中缺失的像素点的像素值，进而针对于每一个初始样本图像，根据缺失的像素点的像素值对该初始样本图像中进行填充。
具体地，可以是采取三次插值法进行插值处理，具体地，三次插值法(cubicinterpolation method)是一种多项式插值法，逐次以三次曲线φ(t)=a0+a1t+a2t2+a3t3的极小点逼近寻求函数f(t)的极小点的一种方法。
第二方面，若所述初始样本图像对应的三维样本图像为所述三维真值样本图像时，针对于每一个初始样本图像，通过以下步骤得到多个增强样本图像：
e1：确定所述三维真值样本图像对应的至少一个标签值。
e2：针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值。
e3：针对于每一个初始样本图像，针对于该初始样本图像中与所述三维真值样本图像中任一标签值均不相等的像素值，对该像素值按照对应的三维原始样本图像中的相似像素值区域，进行相似性的聚类，得到校正后的像素值。
e4：针对于每一个初始样本图像，根据缺失的像素点的像素值或者校正后的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
在本申请实施例中，对于对三维样本图像为所述三维真值样本图像的插值法，也是先基于三次插值法计算出图像中每个缺失位置的像素值，但是，由于在三维真值图像中图像像素存储的是标签值，而对于三维真值图像来说，标签值是固定的，因此，在通过三次插值法计算出图像中每个缺失位置的像素值后，还需要针对于不符合标签值的像素值进行调整，以使像素值与标签值相同，保证三维真值图像中的像素值准确。
具体地，可以是根据多尺度特征相似的比较，并对应三维真值图像插值时的相似数据区域，进行相似性的聚类分析后，得到初始样本图像对应的增强样本图像。
进一步的，当针对于每一个三维样本图像进行处理，得到多个增强样本图像后，可以相应地将得到的多个增强样本图像增加到数据集中，以完成数据增强过程，再基于数据增强后的数据集对深度学习模型进行训练。
S104、将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。
在本申请实施例中，对于深度学习的数据集一般分为训练集和测试集，通过训练集中的样本数据对深度模型学习进行训练；在对深度模型训练结束后，通过测试集中的测试数据对训练后的深度模型评估训练后的深度模型对未知样本进行预测时的精确度（检测模型的泛化能力），一般训练集合测试集中所包含的数据不同。
因此，在对多个增强样本图像进行数据集归属划分时，需要根据多个增强样本图像所属的数据集进行划分以及数据添加。
具体地，步骤“将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集”，包括：
f1：针对于每一个增强样本图像，确定该增强样本图像对应的三维样本图像属于训练集中的样本图像还是测试集中的样本图像。
f2：若该增强样本图像对应的三维样本图像属于训练集中的样本图像，将该增强样本图像加入到训练集中。
f3：若该增强样本图像对应的三维样本图像属于测试集中的样本图像，若该增强样本对应的旋转角度大于预设旋转角度阈值，将该增强样本图像加入到训练集中。
在本申请实施例中，分为两种具体地数据增强策略：其一为基于原有训练集以及测试集的划分，仅对数据集中的三维样本图像进行径向切片后，得到多个增强样本图像，并将多个增强样本图像增加到训练集中；测试集中的数据保持不变；其二为在原有训练集以及测试集的划分基础上，若是确定增强样本图像对应的三维样本图像属于训练集中的样本图像，直接将增强样本图像加入到训练集中；而对于与测试集中的数据来说，也需要进行径向切片处理，即，在确定增强数据图像属于测试集中的样本图像时，不将多个增强样本图像全部增加到训练集中，而是将测试集中增强样本对应的旋转角度大于预设旋转角度阈值的图像增加到训练集中，其中，旋转角度阈值可以为20°；这样可以保证不引入相似的测试集数据进入到训练集中，将上述引入到训练集中的测试集数据称为同源径向切片。
其中，针对于第一种数据增强策略，可以增加数据量，但是新增的径向图像数据量会发生几倍的增加，新的特征会淹没一些原有的数据特征，数据导致不均衡；针对于第二种数据增强策略，可以保证在获取到多种数据的同时，也保证了数据的均衡性和客观性。
在本申请实施例中，以分割模型UNet、nnUNe为例，将原有数据和新增数据进行了实验验证，验证结果如表1-表4所示。
表1为MICCAI数据在Unet模型上的数据表：
表1：MICCAI数据在Unet模型上的数据表
表2为MICCAI数据在nnUNe模型上的数据表：
表2：MICCAI数据在nnUNe模型上的数据表
表3为UES数据在Unet模型上的数据表：
表3：UES数据在Unet模型上的数据表
表4为UES数据在nnUNe模型上的数据表：
表4：UES数据在nnUNe模型上的数据表
其中，表中包括数据集（Dataset）；衡量指标（Metrics）；以数据图像为脑肿瘤图像为例，经过分割模型进行分割后，可以将脑肿瘤图像分割为全肿瘤（WT）、肿瘤核心（TC）以及增强肿瘤（ET）三类；衡量指标为全肿瘤（WT）、肿瘤核心（TC）以及增强肿瘤（ET）；评价指标包括：像素值的检测得分（Dice_score），为精确率和召回率的调和平均数；豪斯多夫距离（Haussdorff95），为描述两组点集之间相似程度的一种量度，95表征最后的值乘以95%,目的是为了消除离群值的一个非常小的子集的影响；精确度（PPV（Precision）），也叫阳性预测值；真阳性率（Sensitivity，true positive rate，TPR）也称为敏感度和召回率，它衡量的是真实背景中的阳性体素部分，即衡量的是分割实验中能分割感兴趣区域的能力。re为原数据集（MICCAI原始训练集数据17601；USE_part2原始训练集数据2589），add表示为增加了训练集径向切片的全数据集（MICCAI训练集在新增径向切片后的Add数据90564；USE_part2训练集在新增径向切片后的Add数据9271），上述实验的实验集为同一个测试数据集。
从实验结果中可以看出，增加了径向切片和增加了同源径向切片，对数据结果的提高都有较为明显的效果。
本申请实施例提供的三维图像的数据增强方法，获取至少一个待增强的三维样本图像；针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；对多个初始样本图像进行插值处理后，得到多个增强样本图像；将多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。这样，直接对三维样本图像进行处理，得到三维样本图像在不同切面上径向切片的初始样本图像；在对初始样本图像进行插值处理后，得到多个增强样本图像，将多个增强样本图像加入到对应的数据集中，尽可能地保留图像数据的三维特性，增强的样本图像来源于初始三维图像，可以提升增强后的三维样本图像的真实性。
基于同一发明构思，本申请实施例中还提供了与三维图像的数据增强方法对应的三维图像的数据增强装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述三维图像的数据增强方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图5，图5为本申请实施例所提供的一种三维图像的数据增强装置的结构示意图。如图5中所示，所述数据增强装置500包括：
图像获取模块510，用于获取至少一个待增强的三维样本图像；
图像旋转模块520，用于针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；
图像插值处理模块530，用于对多个所述初始样本图像进行插值处理后，得到多个增强样本图像；
数据集划分模块540，用于将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。
在一种可能的实施方式中，所述图像旋转模块520在用于针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像时，所述图像旋转模块520用于：
针对于每一个三维样本图像，以该三维样本图像为基准，建立三维笛卡尔坐标系；
针对于每一个三维样本图像，确定该三维样本图像在纵轴方向上的第一维度，并基于所述第一维度，确定第一旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第一旋转角度对该三维样本图像进行旋转，得到多个第一旋转径向切片图像；
针对于每一个三维样本图像，将每一个第一旋转径向切片图像中的纵轴轴切面图像集合后，得到该三维样本图像在横断面上的径向切片的初始样本图像。
在一种可能的实施方式中，针对于每一个三维样本图像，所述图像旋转模块520用于通过以下步骤得到该三维样本图像在矢状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在横轴方向上的第二维度，并基于所述第二维度，确定第二旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第二旋转角度对该三维样本图像进行旋转，得到多个第二旋转径向切片图像；
针对于每一个三维样本图像，将每一个第二旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在矢状面上的径向切片的初始样本图像。
在一种可能的实施方式中，针对于每一个三维样本图像，所述图像旋转模块520用于通过以下步骤得到该三维样本图像在冠状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在竖轴方向上的第三维度，并基于所述第三维度，确定第三旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的横轴或者纵轴为旋转轴，按照所述第三旋转角度对该三维样本图像进行旋转，得到多个第三旋转径向切片图像；
针对于每一个三维样本图像，将每一个第三旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在冠状面上的径向切片的初始样本图像。
在一种可能的实施方式中，所述三维样本图像包括三维原始样本图像以及三维真值样本图像；其中，所述三维真值样本图像为基于标注过的二维真值图像与切片图像之间的对应关系构建的；若所述初始样本图像对应的三维样本图像为所述三维原始样本图像时，针对于每一个初始样本图像，所述图像插值处理模块530用于通过以下步骤得到多个增强样本图像：
针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值；
针对于每一个初始样本图像，根据缺失的像素点的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
在一种可能的实施方式中，若所述初始样本图像对应的三维样本图像为所述三维真值样本图像时，针对于每一个初始样本图像，所述图像插值处理模块530用于通过以下步骤得到多个增强样本图像：
确定所述三维真值样本图像对应的至少一个标签值；
针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值；
针对于每一个初始样本图像，针对于该初始样本图像中与所述三维真值样本图像中任一标签值均不相等的像素值，对该像素值按照对应的三维原始样本图像中的相似像素值区域，进行相似性的聚类，得到校正后的像素值；
针对于每一个初始样本图像，根据缺失的像素点的像素值或者校正后的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
在一种可能的实施方式中，所述数据集划分模块540在用于将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集时，所述数据集划分模块540用于：
针对于每一个增强样本图像，确定该增强样本图像对应的三维样本图像属于训练集中的样本图像还是测试集中的样本图像；
若该增强样本图像对应的三维样本图像属于训练集中的样本图像，将该增强样本图像加入到训练集中；
若该增强样本图像对应的三维样本图像属于测试集中的样本图像，若该增强样本对应的旋转角度大于预设旋转角度阈值，将该增强样本图像加入到训练集中。
本申请实施例提供的三维图像的数据增强方法，获取至少一个待增强的三维样本图像；针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；对多个初始样本图像进行插值处理后，得到多个增强样本图像；将多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集。这样，直接对三维样本图像进行处理，得到三维样本图像在不同切面上径向切片的初始样本图像；在对初始样本图像进行插值处理后，得到多个增强样本图像，将多个增强样本图像加入到对应的数据集中，尽可能地保留图像数据的三维特性，增强的样本图像来源于初始三维图像，可以提升增强后的三维样本图像的真实性。
请参阅图6，图6为本申请实施例所提供的一种电子设备的结构示意图。如图6中所示，所述电子设备600包括处理器610、存储器620和总线630。
所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过总线630通信，所述机器可读指令被所述处理器610执行时，可以执行如上述图1所示方法实施例中的三维图像的数据增强方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的三维图像的数据增强方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种三维图像的数据增强方法，其特征在于，所述数据增强方法包括：
获取至少一个待增强的三维样本图像；
针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；
对多个所述初始样本图像进行插值处理后，得到多个增强样本图像；
将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集；
所述针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像，包括：
针对于每一个三维样本图像，以该三维样本图像为基准，建立三维笛卡尔坐标系；
针对于每一个三维样本图像，确定该三维样本图像在纵轴方向上的第一维度，并基于所述第一维度，确定第一旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第一旋转角度对该三维样本图像进行旋转，得到多个第一旋转径向切片图像；
针对于每一个三维样本图像，将每一个第一旋转径向切片图像中的纵轴轴切面图像集合后，得到该三维样本图像在横断面上的径向切片的初始样本图像；
针对于每一个三维样本图像，通过以下步骤得到该三维样本图像在矢状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在横轴方向上的第二维度，并基于所述第二维度，确定第二旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第二旋转角度对该三维样本图像进行旋转，得到多个第二旋转径向切片图像；
针对于每一个三维样本图像，将每一个第二旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在矢状面上的径向切片的初始样本图像；
针对于每一个三维样本图像，通过以下步骤得到该三维样本图像在冠状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在竖轴方向上的第三维度，并基于所述第三维度，确定第三旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的横轴或者纵轴为旋转轴，按照所述第三旋转角度对该三维样本图像进行旋转，得到多个第三旋转径向切片图像；
针对于每一个三维样本图像，将每一个第三旋转径向切片图像中的竖轴轴切面图像集合后，得到该三维样本图像在冠状面上的径向切片的初始样本图像。
2.根据权利要求1所述的数据增强方法，其特征在于，所述三维样本图像包括三维原始样本图像以及三维真值样本图像；其中，所述三维真值样本图像为基于标注过的二维真值图像与切片图像之间的对应关系构建的；
若所述初始样本图像对应的三维样本图像为所述三维原始样本图像时，针对于每一个初始样本图像，通过以下步骤得到多个增强样本图像：
针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值；
针对于每一个初始样本图像，根据缺失的像素点的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
3.根据权利要求2所述的数据增强方法，其特征在于，若所述初始样本图像对应的三维样本图像为所述三维真值样本图像时，针对于每一个初始样本图像，通过以下步骤得到多个增强样本图像：
确定所述三维真值样本图像对应的至少一个标签值；
针对于每一个初始样本图像，基于该初始样本图像中的每个像素的像素值，计算该初始样本图像中缺失的像素点的像素值；
针对于每一个初始样本图像，针对于该初始样本图像中与所述三维真值样本图像中任一标签值均不相等的像素值，对该像素值按照对应的三维原始样本图像中的相似像素值区域，进行相似性的聚类，得到校正后的像素值；
针对于每一个初始样本图像，根据缺失的像素点的像素值或者校正后的像素值对该初始样本图像中进行填充，得到该初始样本图像对应的增强样本图像。
4.根据权利要求1所述的数据增强方法，其特征在于，所述将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集，包括：
针对于每一个增强样本图像，确定该增强样本图像对应的三维样本图像属于训练集中的样本图像还是测试集中的样本图像；
若该增强样本图像对应的三维样本图像属于训练集中的样本图像，将该增强样本图像加入到训练集中；
若该增强样本图像对应的三维样本图像属于测试集中的样本图像，若该增强样本图像对应的旋转角度大于预设旋转角度阈值，将该增强样本图像加入到训练集中。
5.一种三维图像的数据增强装置，其特征在于，所述数据增强装置包括：
图像获取模块，用于获取至少一个待增强的三维样本图像；
图像旋转模块，用于针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像、该三维样本图像在矢状面上的径向切片的初始样本图像以及该三维样本图像在冠状面上的径向切片的初始样本图像；
图像插值处理模块，用于对多个所述初始样本图像进行插值处理后，得到多个增强样本图像；
数据集划分模块，用于将所述多个增强样本图像基于图像数据集的划分，加入对应的数据集中，得到增强后的三维样本图像集；
所述图像旋转模块在用于针对于每一个三维样本图像，对该三维样本图像按照设定的旋转角度进行旋转，得到该三维样本图像在横断面上的径向切片的初始样本图像时，所述图像旋转模块用于：
针对于每一个三维样本图像，以该三维样本图像为基准，建立三维笛卡尔坐标系；
针对于每一个三维样本图像，确定该三维样本图像在纵轴方向上的第一维度，并基于所述第一维度，确定第一旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第一旋转角度对该三维样本图像进行旋转，得到多个第一旋转径向切片图像；
针对于每一个三维样本图像，将每一个第一旋转径向切片图像中的纵轴轴切面图像集合后，得到该三维样本图像在横断面上的径向切片的初始样本图像；
针对于每一个三维样本图像，所述图像旋转模块用于通过以下步骤得到该三维样本图像在矢状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在横轴方向上的第二维度，并基于所述第二维度，确定第二旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的竖轴为旋转轴，按照所述第二旋转角度对该三维样本图像进行旋转，得到多个第二旋转径向切片图像；
针对于每一个三维样本图像，将每一个第二旋转径向切片图像中的横轴轴切面图像集合后，得到该三维样本图像在矢状面上的径向切片的初始样本图像；
针对于每一个三维样本图像，所述图像旋转模块用于通过以下步骤得到该三维样本图像在冠状面上的径向切片的初始样本图像：
针对于每一个三维样本图像，确定该三维样本图像在竖轴方向上的第三维度，并基于所述第三维度，确定第三旋转角度；
针对于每一个三维样本图像，以所述三维笛卡尔坐标系中的横轴或者纵轴为旋转轴，按照所述第三旋转角度对该三维样本图像进行旋转，得到多个第三旋转径向切片图像；
针对于每一个三维样本图像，将每一个第三旋转径向切片图像中的竖轴轴切面图像集合后，得到该三维样本图像在冠状面上的径向切片的初始样本图像。
6.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4任一项所述的三维图像的数据增强方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一项所述的三维图像的数据增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541133.5A CN117274557B (zh) | 2023-11-20 | 2023-11-20 | 三维图像的数据增强方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541133.5A CN117274557B (zh) | 2023-11-20 | 2023-11-20 | 三维图像的数据增强方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274557A CN117274557A (zh) | 2023-12-22 |
| CN117274557B true CN117274557B (zh) | 2024-03-26 |
Family
ID=89204721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311541133.5A Active CN117274557B (zh) | 2023-11-20 | 2023-11-20 | 三维图像的数据增强方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274557B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626986A (zh) * | 2020-04-29 | 2020-09-04 | 云南大学 | 一种基于深度学习的三维超声腹壁疝补片检测方法及系统 |
| CN112927163A (zh) * | 2021-03-22 | 2021-06-08 | 深圳市唯特视科技有限公司 | 图像数据增强方法、装置、电子设备及存储介质 |
| CN113822923A (zh) * | 2021-09-22 | 2021-12-21 | 柏意慧心(杭州)网络科技有限公司 | 用于获取血管的目标切面图像的方法、设备和介质 |
| CN113935943A (zh) * | 2021-09-02 | 2022-01-14 | 杭州脉流科技有限公司 | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 |
| CN114282581A (zh) * | 2021-01-29 | 2022-04-05 | 北京有竹居网络技术有限公司 | 基于数据增强的训练样本获取方法、装置和电子设备 |
| CN114820535A (zh) * | 2022-05-05 | 2022-07-29 | 深圳市铱硙医疗科技有限公司 | 动脉瘤的图像检测方法、装置、计算机设备及存储介质 |
| WO2023066364A1 (zh) * | 2021-10-21 | 2023-04-27 | 苏州微创畅行机器人有限公司 | 三维图像处理方法、装置、计算机设备和存储介质 |
-
2023
- 2023-11-20 CN CN202311541133.5A patent/CN117274557B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626986A (zh) * | 2020-04-29 | 2020-09-04 | 云南大学 | 一种基于深度学习的三维超声腹壁疝补片检测方法及系统 |
| CN114282581A (zh) * | 2021-01-29 | 2022-04-05 | 北京有竹居网络技术有限公司 | 基于数据增强的训练样本获取方法、装置和电子设备 |
| WO2022161357A1 (zh) * | 2021-01-29 | 2022-08-04 | 北京有竹居网络技术有限公司 | 基于数据增强的训练样本获取方法、装置和电子设备 |
| CN112927163A (zh) * | 2021-03-22 | 2021-06-08 | 深圳市唯特视科技有限公司 | 图像数据增强方法、装置、电子设备及存储介质 |
| CN113935943A (zh) * | 2021-09-02 | 2022-01-14 | 杭州脉流科技有限公司 | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 |
| CN113822923A (zh) * | 2021-09-22 | 2021-12-21 | 柏意慧心(杭州)网络科技有限公司 | 用于获取血管的目标切面图像的方法、设备和介质 |
| WO2023066364A1 (zh) * | 2021-10-21 | 2023-04-27 | 苏州微创畅行机器人有限公司 | 三维图像处理方法、装置、计算机设备和存储介质 |
| CN114820535A (zh) * | 2022-05-05 | 2022-07-29 | 深圳市铱硙医疗科技有限公司 | 动脉瘤的图像检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| 3-D CNN-Based Multichannel Contrastive Learning for Alzheimer’s Disease Automatic Diagnosis;Jiaguang Li et al;IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT;第71卷;1-11 * |
| A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection;Dandan Zhao et al;Expert Systems With Applications;第207卷;1-10 * |
| COVID-19 医学影像数据集及研究进展;刘锐等;计算机工程与应用;第55卷(第22期);15-27 * |
| 利用卷积神经网络对CT图像进行定位的可行性研究;余行等;中国医疗器械杂志;第43卷(第6期);454-458 * |
| 基于AI+MRI 的影像诊断的样本增广与批量标注方法;汪红志等;波谱学杂志;第35卷(第4期);447-456 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274557A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tajbakhsh et al. | Computer-aided pulmonary embolism detection using a novel vessel-aligned multi-planar image representation and convolutional neural networks | |
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| CN108022238B (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
| US10111713B2 (en) | Surgery assistance apparatus, surgery assistance method and non-transitory computer-readable recording medium having stored therein surgery assistance program | |
| US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
| Putra et al. | Enhanced skin condition prediction through machine learning using dynamic training and testing augmentation | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN111340756B (zh) | 一种医学图像病变检出合并方法、系统、终端及存储介质 | |
| CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| KR101645292B1 (ko) | 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템 | |
| CN1973298A (zh) | 显示气管支气管树 | |
| Chen et al. | Shape registration with learned deformations for 3D shape reconstruction from sparse and incomplete point clouds | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN111932495B (zh) | 一种医学图像检测方法、装置及存储介质 | |
| CN110751187A (zh) | 异常区域图像生成网络的训练方法和相关产品 | |
| Wang et al. | A novel cortical thickness estimation method based on volumetric Laplace–Beltrami operator and heat kernel | |
| CN104463825A (zh) | 用于在三维体积图像中检测对象的设备和方法 | |
| US20220222812A1 (en) | Device and method for pneumonia detection based on deep learning | |
| CN110992310A (zh) | 一种确定纵隔淋巴结所在分区的方法及装置 | |
| CN112381822B (zh) | 一种用于处理肺部病灶区图像的方法和相关产品 | |
| US20220301177A1 (en) | Updating boundary segmentations | |
| CN117274557B (zh) | 三维图像的数据增强方法、装置、电子设备及存储介质 | |
| US10789713B2 (en) | Symplectomorphic image registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |