CN108986185A - 基于深度学习的图像数据扩增方法 - Google Patents
基于深度学习的图像数据扩增方法 Download PDFInfo
- Publication number
- CN108986185A CN108986185A CN201810861945.0A CN201810861945A CN108986185A CN 108986185 A CN108986185 A CN 108986185A CN 201810861945 A CN201810861945 A CN 201810861945A CN 108986185 A CN108986185 A CN 108986185A
- Authority
- CN
- China
- Prior art keywords
- picture
- foreground picture
- deep learning
- image data
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003321 amplification Effects 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的图像数据扩增方法，包括以下步骤。步骤S1：将前景图片F和背景图片B进行预处理，以获得经预处理的前景图片RF。步骤S2：对于前景图片F进行自动或者手动标注，以形成前景图片F的标注信息，上述标注信息包括前景图片F的感兴趣区域。步骤S3：将前景图片F的标注信息应用于经预处理的前景图片RF。步骤S4：利用超像素方法处理前景图片RF的感兴趣区域与背景图片F叠加后的交界处。本发明公开的基于深度学习的图像数据扩增方法，通过深度学习模型对图像进行融合，利用有限数量的自然图像即可产生大量的同等质量的训练数据，节省了时间和成本，有效地服务于深度学习的训练过程。
Description
技术领域
本发明属于基于深度学习的人工智能技术领域，具体涉及一种基于深度学习的图像数据扩增方法。
背景技术
随着科技的高速发展，人工智能、计算机视觉产业所占比例大幅增长，基础设施GPU服务器/处理器可以满足大量计算量，计算速度越来越快，传统的图像处理方法已不再能够满足现在的需求场景。
其中，深度学习在图像检测、识别、分割领域取得了非常好的效果。需要注意的是，深度学习算法需要大量的数据来训练模型。然而，获取数据和标注数据是一个非常耗费人力物力时间的工作。传统的图像数据扩增方法主要包括随机切块(crop)，旋转，调整亮度、饱和度，调整灰度直方图。
显而易见，传统的图像数据扩增方法均属于被动扩增，不同程度地存在数据扩增效果有限、准确率低、稳定性差，对图像的质量要求较高等缺陷。
发明内容
本发明针对现有技术的状况，克服上述缺陷，提供一种基于深度学习的图像数据扩增方法。
本发明采用以下技术方案，所述基于深度学习的图像数据扩增方法包括以下步骤：
步骤S1：将前景图片F和背景图片B进行预处理，以获得经预处理的前景图片RF；
步骤S2：对于前景图片F进行自动或者手动标注，以形成前景图片F的标注信息，上述标注信息包括前景图片F的感兴趣区域；
步骤S3：将前景图片F的标注信息应用于经预处理的前景图片RF；
步骤S4：利用超像素方法处理前景图片RF的感兴趣区域与背景图片F叠加后的交界处，以融合生成扩增后的融合图片。
根据上述技术方案，在步骤S1中，预处理包括以下步骤：
步骤S1.1：对前景图片F和背景图片B分别进行小波变换，以获取前景图片F的高频部分HF和背景图片B的低频部分LB；
步骤S1.2：选取背景图片B的低频部分LB和前景图片F的高频部分HF，将二者同时进行小波逆变换，以获得预处理后的前景图片RF。
根据上述技术方案，在步骤S1.1中，小波变换包括：
根据上述技术方案，在步骤S1.2中，小波逆变换包括：
根据上述技术方案，在步骤S4中，超像素方法包括：
本发明公开的基于深度学习的图像数据扩增方法，其有益效果在于，通过深度学习模型对图像进行融合，利用有限数量的自然图像即可产生大量的同等质量的训练数据，节省了时间和成本，有效地服务于深度学习的训练过程。
附图说明
图1是本发明优选实施例的流程图。
图2是本发明优选实施例的另一流程图。
具体实施方式
本发明公开了一种基于深度学习的图像数据扩增方法，下面结合优选实施例，对本发明的具体实施方式作进一步描述。
参见附图的图1和图2，图1和图2分别示出了所述基于深度学习的图像数据扩增方法的流程图。
优选地，所述基于深度学习的图像数据扩增方法包括以下步骤：
步骤S1：将前景图片F和背景图片B进行预处理，以获得经预处理的前景图片RF；
步骤S2：对于前景图片F进行自动或者手动标注，以形成前景图片F的标注信息，上述标注信息包括前景图片F的感兴趣区域；
步骤S3：将前景图片F的标注信息应用于经预处理的前景图片RF；
步骤S4：利用超像素方法处理前景图片RF的感兴趣区域与背景图片F叠加后的交界处，以融合生成扩增后的融合图片。
进一步地，在步骤S1中，预处理包括以下步骤：
步骤S1.1：对前景图片F和背景图片B分别进行小波变换，以获取前景图片F的高频部分HF和背景图片B的低频部分LB；
步骤S1.2：选取背景图片B的低频部分LB和前景图片F的高频部分HF，将二者同时进行小波逆变换，以获得预处理后的前景图片RF。
进一步地，在步骤S1.1中，小波变换包括：
进一步地，在步骤S1.2中，小波逆变换包括：
进一步地，在步骤S4中，超像素方法包括：
进一步地，在步骤S4中，进一步包括步骤S4.1：
根据上述优选实施例，本发明专利申请公开的基于深度学习的图像数据扩增方法，需要有限数量的自然图像(例如，一个背景图片或者视频，一个前景图片或视频)。通过深度学习模型对背景图片进行分割，并选取感兴趣的部分(如：道路)。对前景图片进行分割，得到感兴趣的部分(如：人体)。在背景图片上进行路径规划，把前景图片的分割结果叠加到背景图像上。
预处理步骤。
其中，在分割之前，对前景图片F和背景图片B分别进行小波变换(wavelet)，然后选取背景图片B的低频部分LB和前景图片F的高频部分HF，将二者同时进行小波逆变换，得到预处理后的前景图片RF。预处理后的前景图片RF的空间大小和特征与前景图片F相比并没有太大的变化，因此前景图片F的标注信息可以直接应用到前景图片RF上。
具体地，对前景图片F和背景图片B进行小波变换(wavelet)。
其中，上述小波变换过程可表征为：
然后选取背景图片B的低频部分LB和前景图片F的高频部分HF。对上述背景图片B的低频部分LB和前景图片F的高频部分HF进行小波逆变换，从而恢复形成经预处理的前景图片RF。
其中，上述小波逆变换过程可表征为：
其中，由于经预处理得到的前景图片RF的空间大小和特征并没有太大的变化，因此前景图片F的标注信息可以直接应用到前景图片RF上。
分割步骤。
使用深度学习或者手动分割，分割获得前景图片F中的感兴趣区域(ROI)，例如，人，汽车，桌子等。前景图片F和预处理后的前景图片RF可以使用同一套标注结果。
图像融合步骤。
利用超像素(super-pixel)方法来处理前景图片RF中的感兴趣区域(ROI)与背景图片B叠加后的交界处，使得融合生成的图片更加自然。
其中，X,y为融合后图像的坐标。
对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。
Claims (7)
1.一种基于深度学习的图像数据扩增方法，其特征在于，包括以下步骤：
步骤S1：将前景图片F和背景图片B进行预处理，以获得经预处理的前景图片RF；
步骤S2：对于前景图片F进行自动或者手动标注，以形成前景图片F的标注信息，上述标注信息包括前景图片F的感兴趣区域；
步骤S3：将前景图片F的标注信息应用于经预处理的前景图片RF；
步骤S4：利用超像素方法处理前景图片RF的感兴趣区域与背景图片F叠加后的交界处，以融合生成扩增后的融合图片。
2.根据权利要求1所述的基于深度学习的图像数据扩增方法，其特征在于，在步骤S1中，预处理包括以下步骤：
步骤S1.1：对前景图片F和背景图片B分别进行小波变换，以获取前景图片F的高频部分HF和背景图片B的低频部分LB；
步骤S1.2：选取背景图片B的低频部分LB和前景图片F的高频部分HF，将二者同时进行小波逆变换，以获得预处理后的前景图片RF。
3.根据权利要求2所述的基于深度学习的图像数据扩增方法，其特征在于，在步骤S1.1中，小波变换包括：
4.根据权利要求2所述的基于深度学习的图像数据扩增方法，其特征在于，在步骤S1.2中，小波逆变换包括：
5.根据权利要求3所述的基于深度学习的图像数据扩增方法，其特征在于，在步骤S1.2中，小波逆变换包括：
6.根据权利要求1所述的基于深度学习的图像数据扩增方法，其特征在于，在步骤S4中，超像素方法包括：
7.根据权利要求6所述的基于深度学习的图像数据扩增方法，其特征在于，在步骤S4中，进一步包括步骤S4.1：
步骤S4.1：计算超像素的像素点之间的相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810861945.0A CN108986185B (zh) | 2018-08-01 | 2018-08-01 | 基于深度学习的图像数据扩增方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810861945.0A CN108986185B (zh) | 2018-08-01 | 2018-08-01 | 基于深度学习的图像数据扩增方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108986185A true CN108986185A (zh) | 2018-12-11 |
| CN108986185B CN108986185B (zh) | 2023-04-07 |
Family
ID=64551162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810861945.0A Active CN108986185B (zh) | 2018-08-01 | 2018-08-01 | 基于深度学习的图像数据扩增方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108986185B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322440A (zh) * | 2019-07-08 | 2019-10-11 | 东北大学 | 一种细胞显微图像数据扩充的方法 |
| CN110503146A (zh) * | 2019-08-21 | 2019-11-26 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN111415293A (zh) * | 2020-03-12 | 2020-07-14 | 上海数川数据科技有限公司 | 基于图像目标-背景变换的数据集增强方法及系统 |
| CN113189109A (zh) * | 2021-01-15 | 2021-07-30 | 深圳锦绣创视科技有限公司 | 一种基于人工智能的瑕疵判定系统及瑕疵判定方法 |
| CN113362262A (zh) * | 2020-03-05 | 2021-09-07 | 广州虎牙科技有限公司 | 图像融合预处理的方法、装置、设备、存储介质 |
| CN113762422A (zh) * | 2021-11-09 | 2021-12-07 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030103678A1 (en) * | 2001-11-30 | 2003-06-05 | Chih-Lin Hsuan | Method for transforming video data by wavelet transform signal processing |
| CN101577010A (zh) * | 2009-06-11 | 2009-11-11 | 清华大学 | 基于图像库的图像合成质量自动评测方法 |
| US20130016902A1 (en) * | 2011-07-13 | 2013-01-17 | Ricoh Company, Ltd. | Image data processing device, image forming apparatus, and recording medium |
| CN103607554A (zh) * | 2013-10-21 | 2014-02-26 | 无锡易视腾科技有限公司 | 一种基于全自动人脸无缝合成的视频合成方法 |
| CN106023275A (zh) * | 2015-03-31 | 2016-10-12 | 株式会社摩如富 | 图像合成装置及图像合成方法 |
| US20170053418A1 (en) * | 2015-08-19 | 2017-02-23 | Tata Consultancy Services Limited | Method and system for compressing a video using background subtraction and change detection in videos |
| CN107909081A (zh) * | 2017-10-27 | 2018-04-13 | 东南大学 | 一种深度学习中图像数据集的快速获取和快速标定方法 |
-
2018
- 2018-08-01 CN CN201810861945.0A patent/CN108986185B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030103678A1 (en) * | 2001-11-30 | 2003-06-05 | Chih-Lin Hsuan | Method for transforming video data by wavelet transform signal processing |
| CN101577010A (zh) * | 2009-06-11 | 2009-11-11 | 清华大学 | 基于图像库的图像合成质量自动评测方法 |
| US20130016902A1 (en) * | 2011-07-13 | 2013-01-17 | Ricoh Company, Ltd. | Image data processing device, image forming apparatus, and recording medium |
| CN103607554A (zh) * | 2013-10-21 | 2014-02-26 | 无锡易视腾科技有限公司 | 一种基于全自动人脸无缝合成的视频合成方法 |
| CN106023275A (zh) * | 2015-03-31 | 2016-10-12 | 株式会社摩如富 | 图像合成装置及图像合成方法 |
| US20170053418A1 (en) * | 2015-08-19 | 2017-02-23 | Tata Consultancy Services Limited | Method and system for compressing a video using background subtraction and change detection in videos |
| CN107909081A (zh) * | 2017-10-27 | 2018-04-13 | 东南大学 | 一种深度学习中图像数据集的快速获取和快速标定方法 |
Non-Patent Citations (3)
| Title |
|---|
| 于凤芹: "《实用小波分析十讲》", 31 July 2013, 西安电子科技大学出版社 * |
| 欧啸天 等: "自然场景中Logo标识检测训练数据生成方法研究", 《电子设计工程》 * |
| 王成墨: "《MATLAB在遥感技术中的应用》", 30 September 2016, 北京航空航天大学出版社 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322440A (zh) * | 2019-07-08 | 2019-10-11 | 东北大学 | 一种细胞显微图像数据扩充的方法 |
| CN110503146A (zh) * | 2019-08-21 | 2019-11-26 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN110503146B (zh) * | 2019-08-21 | 2021-12-14 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN113362262A (zh) * | 2020-03-05 | 2021-09-07 | 广州虎牙科技有限公司 | 图像融合预处理的方法、装置、设备、存储介质 |
| CN111415293A (zh) * | 2020-03-12 | 2020-07-14 | 上海数川数据科技有限公司 | 基于图像目标-背景变换的数据集增强方法及系统 |
| CN113189109A (zh) * | 2021-01-15 | 2021-07-30 | 深圳锦绣创视科技有限公司 | 一种基于人工智能的瑕疵判定系统及瑕疵判定方法 |
| CN113762422A (zh) * | 2021-11-09 | 2021-12-07 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
| CN113762422B (zh) * | 2021-11-09 | 2022-04-05 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108986185B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986185A (zh) | 基于深度学习的图像数据扩增方法 | |
| CN101714262B (zh) | 单幅图像的三维场景重建方法 | |
| Wang et al. | Robust object removal with an exemplar-based image inpainting approach | |
| CN105184253B (zh) | 一种人脸识别方法和人脸识别系统 | |
| CN103456010B (zh) | 一种基于特征点定位的人脸卡通画生成方法 | |
| CN113205040A (zh) | 人脸图像处理方法、装置和电子设备 | |
| CN102270093B (zh) | 基于视频图像分辨率的视频自适应方法 | |
| CN110348496B (zh) | 一种人脸图像融合的方法及系统 | |
| CN106709964B (zh) | 基于梯度修正和多向纹理提取的素描画生成方法及装置 | |
| Li et al. | Single image snow removal via composition generative adversarial networks | |
| Zhang et al. | Exemplar-based image inpainting using color distribution analysis | |
| CN110570481A (zh) | 基于风格迁移的书法字库自动修复方法及系统 | |
| CN108734078B (zh) | 图像处理方法、装置、电子设备、存储介质及程序 | |
| CN104376535A (zh) | 一种基于样本的快速图像修复方法 | |
| CN111832745A (zh) | 数据增广的方法、装置及电子设备 | |
| CN101571950A (zh) | 基于各向同性扩散和稀疏表示的图像修复方法 | |
| CN104299263A (zh) | 一种基于单幅图像建模云场景的方法 | |
| CN106056650A (zh) | 基于快速表情信息提取和泊松融合的人脸表情合成方法 | |
| CN105719250A (zh) | 基于简单背景的图像修复方法、系统及拍摄终端 | |
| CN103578085A (zh) | 基于可变块的图像空洞区域修补方法 | |
| CN104200505A (zh) | 一种人脸视频图像的漫画式动画生成方法 | |
| CN112734914A (zh) | 一种增强现实视觉的图像立体重建方法及装置 | |
| EP3910590A3 (en) | Method and apparatus of processing image, electronic device, and storage medium | |
| CN105574814A (zh) | 一种肖像剪纸特效的生成方法 | |
| CN101464953A (zh) | 轮廓提取装置和轮廓提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240313 Address after: 411300, 5th Floor, Office Building, Entrepreneurship Center, High tech Industrial Development Zone, Shaoshan City, Xiangtan City, Hunan Province 1649 Patentee after: Hunan Shenmou Intelligent Technology Co.,Ltd. Country or region after: China Address before: 314000 room 212, building 4, No. 288, development avenue, Tongxiang Economic Development Zone, Tongxiang City, Jiaxing City, Zhejiang Province Patentee before: ZHEJIANG SHENMOU TECHNOLOGY Co.,Ltd. Country or region before: China |