CN112257805B - 一种数据扩充方法 - Google Patents

一种数据扩充方法 Download PDF

Info

Publication number
CN112257805B
CN112257805B CN202011194005.4A CN202011194005A CN112257805B CN 112257805 B CN112257805 B CN 112257805B CN 202011194005 A CN202011194005 A CN 202011194005A CN 112257805 B CN112257805 B CN 112257805B
Authority
CN
China
Prior art keywords
image
image data
data
original image
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011194005.4A
Other languages
English (en)
Other versions
CN112257805A (zh
Inventor
李宏
孙航
鲍楠
马贺
李晶
曾庆超
张春玲
蒋明宽
周石
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202011194005.4A priority Critical patent/CN112257805B/zh
Publication of CN112257805A publication Critical patent/CN112257805A/zh
Application granted granted Critical
Publication of CN112257805B publication Critical patent/CN112257805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种数据扩充方法，包括如下步骤：S1、获取原始图像数据，并给出其标签图像数据；S2、分别将原始图像数据和标签图像数据进行镜像扩充，分别获得n倍原始图像镜像数据集和n倍标签图像镜像数据集；S3、将获得的n倍原始图像镜像数据集和n倍标签图像镜像数据集送入深度学习得到扩充n倍数据的肿瘤分割结果；S4、将扩充n倍数据的肿瘤分割结果进行数据重建得到原始图像对应的图像分割结果。本发明提供的数据扩充方法不仅提高了基于深度学习的肿瘤分割的准确性，而且扩充的数据完全是来源于真实的医学影像数据，保证图像像素之间的空间位置关系不变。

Description

一种数据扩充方法
技术领域
本发明属于影像数据分割技术领域，尤其涉及一种数据扩充方法。
背景技术
生成对抗网络(Generative Adversarial Networks,GANs)是由Goodfellow等人在2014年提出的一种无监督学习方法[1]。它有两个网络分支结构，分别是生成网络和判别网络，两个分支不断对抗来更新参数提升性能，可以生成人工样本来达到数据扩充的目的，尤其是处理各分类样本数目不平衡的图像数据时效果显著。例如，Wang等人利用GANs提升了ImageNet数据集的识别准确率，其中对狗和金鱼的分类准确率由0.855提升到了0.915，但其他类别的准确率相比传统方法提升不大[2]；Shrivastava等人在MPIIGaze数据集上，使用GANs对已有的人工样本进行再优化，将眼球角度预测错误率降至7.8％，将手势识别任务的准确率提高到了83.3％[3]；Lucic等人对原始GANs和众多GANs的衍生模型在统一标准下进行了评价，实验结果是原始GANs相比于当前多数衍生模型拥有更优秀的数据生成能力[4]。虽然GANs在许多任务中取得了成效，但是由其生成的医学影像数据的可信度存在质疑，在医学图像中，强度通常与某些含义相关联，例如，可以基于CT数据的HU值粗略地对组织类型进行分类，而GANs中并没有这种关联和映射。此外，GANs生成的数据的训练不稳定问题很难处理。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题，本发明提供一种数据扩充方法。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
一种数据扩充方法，包括如下步骤：
S1、获取原始图像数据，并给出其标签图像数据；
S2、分别将原始图像数据和标签图像数据进行镜像扩充，分别获得n倍原始图像镜像数据集和n倍标签图像镜像数据集；
S3、将获得的n倍原始图像镜像数据和n倍标签图像镜像数据送入深度学习得到扩充n倍数据的图像分割结果；
S4、将扩充n倍数据的图像分割结果进行数据重建得到原始图像对应的图像分割结果。
优选地，所述步骤S2中将原始图像数据进行镜像扩充包括：
找出原始图像数据的切割中心，沿切割中心以角度平均分成n份，然后将每份镜像填充至整张图像，得到n倍的原始图像镜像数据集；
所述原始图像数据为原始肿瘤图像数据。
优选地，所述步骤S2中将标签图像数据进行镜像扩充包括：
找出标签图像数据的切割中心，沿切割中心以角度平均分成n份，然后将每份镜像填充至整张图像，得到n倍的标签图像镜像数据集。
优选地，所述步骤S3还包括：
将镜像扩充后的n倍原始图像镜像数据划分为训练集和测试集；
将训练集及其对应的标签图像镜像数据送入深度学习网络进行训练，获得分割模型；
借助训练获得的分割模型对测试集进行分割，得到扩充n倍数据后的图像分割结果。
优选地，所述步骤S4还包括：
首先，将深度学习得到肿瘤分割图像的边界像素点镜像回到原始图像所在位置，则镜像后每个位置有n条边界，然后将所有边界坐标拟合成一条封闭曲线，最后将拟合好的曲线映射回到原始图像。
优选地，所述步骤S4还包括：
提取经过深度学习得到的肿瘤分割图像数据中肿瘤图像的边界坐标和中心点；
将边界坐标以中心点为中心分为n份，并平移到坐标原点；
分割的边界做镜像扩充的逆过程；
将所有边界坐标拟合成一条封闭曲线；
将拟合好的曲线映射回到原始图像，得到原图像对应的图像分割结果。
优选地，所述n为4。
(三)有益效果
本发明的有益效果是：本发明提供的一种数据扩充方法，具有以下有益效果：提高了基于深度学习的肿瘤分割的准确性。扩充的数据完全是来源于真实的医学影像数据，保证图像像素之间的空间位置关系不变。
附图说明
图1为本发明提供的一种数据扩充方法的实施例中图像均分4份的示意图；
图2为本发明提供的一种数据扩充方法的实施例中原图像扩充示意图(①指左右镜像，②指上下镜像)；
图3为本发明提供的一种数据扩充方法的实施例中标签均分4份示意图；
图4为本发明提供的一种数据扩充方法的实施例中标签图像扩充示意图(①指左右镜像，②指上下镜像)；
图5为本发明提供的一种数据扩充方法的实施例中原图像数据扩充后肿瘤分割结果；
图6为本发明提供的一种数据扩充方法的实施例中深度学习结果中肿瘤的边界和中心；
图7为本发明提供的一种数据扩充方法的实施例中边界分割示意图；
图8为本发明提供的一种数据扩充方法的实施例中边界还原示意图；
图9a为本发明提供的一种数据扩充方法的实施例中极坐标系下的数据点(蓝色)和拟合曲线(红色)；
图9b为本发明提供的一种数据扩充方法的实施例中极坐标系下的数据点(蓝色)和拟合曲线(红色)；
图10为本发明提供的一种数据扩充方法的实施例中直角坐标系下的数据点(蓝色)和拟合曲线(红色)；
图11为本发明提供的一种数据扩充方法的实施例中原图像对应的肿瘤分割结果。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
如图1-图11所示：本实施例中公开了一种数据扩充方法，包括如下步骤：
S1、获取原始图像数据，并给出其标签图像数据；
S2、分别将原始图像数据和标签图像数据进行镜像扩充，分别获得n倍原始图像镜像数据集和n倍标签图像镜像数据集；
S3、将获得的n倍原始图像镜像数据集和n倍标签图像镜像数据集送入深度学习得到扩充n倍数据的图像分割结果；
S4、将扩充n倍数据的图像分割结果进行数据重建得到原始图像对应的图像分割结果。
本实施例中所述的步骤S2中将原始图像数据进行镜像扩充包括：
找出原始图像数据的切割中心，沿切割中心以角度平均分成n份，然后将每份镜像填充至整张图像，得到n倍的原始图像镜像数据集；
所述原始图像数据为原始肿瘤图像数据。
本实施例中所述步骤S2中将标签图像数据进行镜像扩充包括：
找出标签图像数据的切割中心，沿切割中心以角度平均分成n份，然后将每份镜像填充至整张图像，得到n倍的标签图像镜像数据集。
本实施例中所述步骤S3还包括：
将镜像扩充后的n倍原始图像镜像数据集划分为训练集和测试集；
将训练集及其对应的标签图像镜像数据集送入深度学习网络进行训练，获得分割模型；
借助训练获得的分割模型对测试集进行分割，得到扩充n倍数据后的图像分割结果。
本实施例中所述步骤S4还包括：
首先，将深度学习得到肿瘤分割图像的边界像素点镜像回到原始图像所在位置，则镜像后每个位置有n条边界，然后将所有边界坐标拟合成一条封闭曲线，最后将拟合好的曲线映射回到原始图像。
本实施例中所述步骤S4还包括：
提取经过深度学习得到的肿瘤分割图像数据中肿瘤图像的边界坐标和中心点；
将边界坐标以中心点为中心分为n份，并平移到坐标原点；
分割的边界做镜像扩充的逆过程；
将所有边界坐标拟合成一条封闭曲线；
将拟合好的曲线映射回到原始图像，得到原图像对应的图像分割结果。
本实施例中所述n为4。
具体地，本实施例中提供的数据扩充方法为将原始图像镜像扩充为4份。找出原始图像切割中心(肿瘤中心)，沿中心以角度平均分成4份，然后将每份镜像填充至整张图像，得到4倍的图像数据集，具体步骤如下：
(1)原图像切割中心点如图1中红线交点所示，以图1中红线交点为切割点，将图像分割为4份，从右下角顺时针分别记4份分割后的图像为F1，F2，F3，F4。
(2)将F1，F2，F3，F4分别依次进行左右镜像和上下镜像，得到扩充后的图像如图2所示。
将标签镜像扩充为4份。
标签处理的步骤与原始图像处理的步骤一致，并且两者的切割中心相同。首先找出标签切割中心，沿中心以角度平均分成4份，然后将每份镜像填充至整张图像，得到4倍的标签数据集，具体步骤如下：
以图3中红线交点为切割点，将标签分割为4份。
(2)将分割为4份的标签图像依次进行左右镜像和上下镜像，得到扩充后的标签，如图4所示。
将原始图像和标签扩充后的数据送入深度学习得到扩充数据的肿瘤分割结果。
将扩充后的图像经过深度学习得到模型，应用该模型对测试集处理得到如图5所示的结果，其中(a)、(b)、(c)、(d)分别为深度学习模型对某例原始图像数据扩充后得到的肿瘤分割结果。
将扩充数据的肿瘤分割结果进行数据重建得到原图像对应的肿瘤分割结果。
首先，将深度学习得到肿瘤分割图像的边界像素点镜像回到原始图像所在位置，则镜像后每个位置有4条边界，然后将所有边界坐标拟合成一条封闭曲线，最后将拟合好的曲线映射回到原始图像，具体步骤如下：
(1)提取图5中的数据扩充后肿瘤分割结果中肿瘤的边界和中心，如图6所示。
(2)将边界坐标点以中心点分为4份，并平移到坐标原点，如图7所示。
(3)对图7中分割的边界做镜像扩充的逆过程，其中蓝色、红色、绿色、黄色边界分别镜像至图1中F1、F2、F3、F4所在位置，如图8所示。
(4)将所有边界坐标拟合成一条封闭曲线。
将边界坐标从直角坐标系转换到极坐标系，得到一组角度在[0°，360°]的数据，如图9(b)中蓝色的数据点；为了使最终拟合结果得到一组闭合曲线且提高拟合效果，将其延展为3个周期的数据，如图9(a)中蓝色的数据点；对图9(a)中蓝色数据拟合得到红色拟合曲线，截取[0°，360°]的数据，得到极坐标下边界拟合曲线，如图9(b)中红色曲线。将9(b)中的拟合曲线转换到直角坐标系下，得到最终的拟合曲线，如图10中红色曲线。
如图11所示，将拟合好的曲线映射回到原始图像。
以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (4)

1.一种数据扩充方法，其特征在于，包括如下步骤：
S1、获取原始图像数据，并给出其标签图像数据；
S2、分别将原始图像数据和标签图像数据进行镜像扩充，分别获得n倍原始图像镜像数据集和n倍标签图像镜像数据集；
S3、将获得的n倍原始图像镜像数据集和n倍标签图像镜像数据集送入深度学习得到扩充n倍数据的图像分割结果；
S4、将扩充n倍数据的图像分割结果进行数据重建得到原始图像对应的图像分割结果；
所述步骤S2中将原始图像数据进行镜像扩充包括：
找出原始图像数据的切割中心，沿切割中心以角度平均分成n份，然后将每份镜像填充至整张图像，得到n倍的原始图像镜像数据集；
所述原始图像数据为原始肿瘤图像数据；
所述步骤S2中将标签图像数据进行镜像扩充包括：
找出标签图像数据的切割中心，沿切割中心以角度平均分成n份，然后将每份镜像填充至整张图像，得到n倍的标签图像镜像数据集；
所述步骤S4还包括：
首先，将深度学习得到肿瘤分割图像的边界像素点镜像回到原始图像所在位置，则镜像后每个位置有n条边界，然后将所有边界坐标拟合成一条封闭曲线，最后将拟合好的曲线映射回到原始图像。
2.根据权利要求1述的数据扩充方法，其特征在于，所述步骤S3还包括：
将镜像扩充后的n倍原始图像镜像数据集划分为训练集和测试集；
将训练集及其对应的标签图像镜像数据送入深度学习网络进行训练，获得分割模型；
借助训练获得的分割模型对测试集进行分割，得到扩充n倍数据后的图像分割结果。
3.根据权利要求1所述的数据扩充方法，其特征在于，所述步骤S4还包括：
提取经过深度学习得到的肿瘤分割图像数据中肿瘤图像的边界坐标和中心点；
将边界坐标以中心点为中心分为n份，并平移到坐标原点；
分割的边界做镜像扩充的逆过程；
将所有边界坐标拟合成一条封闭曲线；
将拟合好的曲线映射回到原始图像，得到原图像对应的图像分割结果。
4.根据权利要求1-3任一项所述的数据扩充方法，其特征在于，
所述n为4。
CN202011194005.4A 2020-10-30 2020-10-30 一种数据扩充方法 Active CN112257805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011194005.4A CN112257805B (zh) 2020-10-30 2020-10-30 一种数据扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011194005.4A CN112257805B (zh) 2020-10-30 2020-10-30 一种数据扩充方法

Publications (2)

Publication Number Publication Date
CN112257805A CN112257805A (zh) 2021-01-22
CN112257805B true CN112257805B (zh) 2023-06-27

Family

ID=74269101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011194005.4A Active CN112257805B (zh) 2020-10-30 2020-10-30 一种数据扩充方法

Country Status (1)

Country Link
CN (1) CN112257805B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256473A (zh) * 2018-01-17 2018-07-06 北京绽放时代科技有限公司 用于数据扩增的方法、装置和系统、计算机可读存储介质
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法
CN110706217A (zh) * 2019-09-26 2020-01-17 中国石油大学(华东) 一种基于深度学习的肺部肿瘤自动勾画方法
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256473A (zh) * 2018-01-17 2018-07-06 北京绽放时代科技有限公司 用于数据扩增的方法、装置和系统、计算机可读存储介质
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法
CN110706217A (zh) * 2019-09-26 2020-01-17 中国石油大学(华东) 一种基于深度学习的肺部肿瘤自动勾画方法
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Deep Learning Image Data Augmentation Method for Single Tumor Segmentation;Chunling Zhang等;《Frontiers in Oncology》;第12卷;正文1-10 *
Operational Data Augmentation in Classifying Single Aerial Images of Animals;Okafor，E等;《2017 IEEE INTERNATIONAL CONFERENCE ON INNOVATIONS IN INTELLIGENT SYSTEMS AND APPLICATIONS 》;354-360 *
基于多尺度密集块网络的皮肤病变图像分割算法;杨国亮等;《激光与光电子学进展》;第57卷(第18期);212-220 *

Also Published As

Publication number Publication date
CN112257805A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US11170558B2 (en) Automatic rigging of three dimensional characters for animation
WO2022083026A1 (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN108765363B (zh) 一种基于人工智能的冠脉cta自动后处理系统
CN109493317B (zh) 基于级联卷积神经网络的3d多椎骨分割方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
Ye et al. Deep residual learning for model-based iterative ct reconstruction using plug-and-play framework
CN107506796A (zh) 一种基于深度森林的阿尔兹海默病分类方法
CN113674279B (zh) 基于深度学习的冠脉cta影像的处理方法及装置
Nguyen et al. Unsupervised region-based anomaly detection in brain MRI with adversarial image inpainting
CN106898044B (zh) 一种基于医学影像并利用vr技术的器官拆分和操作方法及系统
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
WO2006103594A3 (en) A method, a system and a computer program for segmenting a structure in a dataset
CN111242956A (zh) 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN109961508B (zh) 一种心脏静态三维模型重建方法
WO2021027152A1 (zh) 基于条件生成对抗网络合成图像的方法及相关设备
CN112070752A (zh) 一种医学图像的心耳分割方法、装置及存储介质
CN113706514B (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
CN112257805B (zh) 一种数据扩充方法
CN114299573A (zh) 视频处理方法、装置、电子设备及存储介质
Ananth et al. CLG for Automatic Image Segmentation
Madadi et al. Deep unsupervised 3D human body reconstruction from a sparse set of landmarks
CN113889238A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN114882220B (zh) 基于域自适应先验知识引导gan的图像生成方法及系统
CN110503093A (zh) 基于视差图dbscan聚类的感兴趣区域提取方法
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant