CN116363019A - 一种图像数据增强方法、系统及装置 - Google Patents

一种图像数据增强方法、系统及装置 Download PDF

Info

Publication number
CN116363019A
CN116363019A CN202310636673.5A CN202310636673A CN116363019A CN 116363019 A CN116363019 A CN 116363019A CN 202310636673 A CN202310636673 A CN 202310636673A CN 116363019 A CN116363019 A CN 116363019A
Authority
CN
China
Prior art keywords
image
mask
target
target image
img
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310636673.5A
Other languages
English (en)
Other versions
CN116363019B (zh
Inventor
赵晓陈
张引
李尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingcai Intelligent Technology Co ltd
Original Assignee
Beijing Jingcai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingcai Intelligent Technology Co ltd filed Critical Beijing Jingcai Intelligent Technology Co ltd
Priority to CN202310636673.5A priority Critical patent/CN116363019B/zh
Publication of CN116363019A publication Critical patent/CN116363019A/zh
Application granted granted Critical
Publication of CN116363019B publication Critical patent/CN116363019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及了一种图像数据增强方法、系统及装置，旨在解决密集预测任务中因目标图像边缘不清晰导致的误检漏检的问题。本发明的方法包括：获取第一目标图像，得到目标掩码Pmask；根据目标掩码Pmask获取左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；生成左边缘像素集合Pl和右边缘像素集合Pr；计算得出背景掩码Gmask；将所述目标区域与所述Gmask通过加权和的方式对所述第一目标图像进行增强。本发明降低了目标与背景的区分度，促使网络在训练过程中更多的挖掘目标区域内部及目标与环境之间的约束关系，从而提取到更高级的语义特征。

Description

一种图像数据增强方法、系统及装置
技术领域
本发明属于图像处理技术领域，具体涉及了一种图像数据增强方法、系统及装置。
背景技术
图像数据增强技术是提高模型精度增强泛化能力的有效方法。常用的增强方法有：翻转、旋转、裁剪、填充、缩放等。这些方法通过对现有数据进行几何变换的方式来达到扩充数据量的目的，能够提高模型的精度和泛化能力。
但以上方法，并未考虑目标区域与背景区域的边缘关系。在一些场景下目标区域和背景区域的边缘会变得模糊，使得目标图像的一部分与背景难以区分。这种情况下通常会造成目标边缘识别不清的问题，在某些密集预测任务中造成定位错误，甚至误检漏检等问题。另外，已有研究表明，目标图像的颜色会对识别结果的输出产生影响。例如，当目标图像与训练集中的图像颜色差距较大时，对目标图像的检测误差会变大。虽然可以通过对图像整体进行颜色变换进行一定程度的解决，但是整体变换也会带来与真实场景的不一致。基于此，本发明提出了一种图像数据增强方法。
发明内容
为了解决现有技术中的上述问题，即现有技术中在一些场景下目标图像和背景区域的边缘会变得模糊，造成目标图像边缘识别不清晰的问题，本发明提供了一种图像数据增强方法，该方法包括：
步骤S10，获取待增强的图像中的目标区域图像，作为第一目标图像；
步骤S20，通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像：
步骤S21，对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取所述第一目标图像的左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
步骤S22，将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
步骤S23，根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
步骤S24，将所述第一目标图像与所述Gmask进行加权和处理，进而得到数据增强后的图像。
在一些优选的实施方式中，对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1、右边缘相邻的背景坐标集合R1，其方法为：
将所述L中的所有横坐标值减少第一预设阈值，得到左边缘相邻的背景坐标集合L1，将所述R中的所有横坐标值增加第一预设阈值，得到右边缘相邻的背景坐标集合R1。
在一些优选的实施方式中，将所述第一目标图像与所述Gmask进行加权和处理，其方法为：
步骤S241，初始化限制目标区域的权值最小为w、第二预设阈值为Rdw，目标区域的权值为Pw，Gmask的权值为Gw，所述Pw与Gw的计算方法为：
Pw=(1-w)*Rdw+w，Gw=1-Pw；
其中，w为取值在0-1之间并能够调节的任意数字；
步骤S242，根据第一随机数组Lrx和Lry输出与左边界相邻的矩形区域Lregion，所述Lregion左上顶点坐标为（Lwminx，Lwminy）、右下顶点坐标为（Lwmaxx，Lwmaxy）；获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第二随机数组Lax与Lay，所述Lregion的左上顶点和右下顶点的坐标值的计算方法为：
Lwminx=x0，Lwminy=y0；
Lwmaxx=min(Lwminx+(Lrx*(1-Lax)+Lax)*(x1-x0)，x1)；
Lwmaxy=min(Lwminy+(Lry*(1-Lay)+Lay)*(y1-y0)，y1)；
其中，min为取两个数值中最小值的函数；
步骤S243，根据第三随机数组Rrx和Rry输出与右边界相邻的矩形区域Rregion，所述Rregion左上顶点坐标为（Rwminx，Rwminy）、右下顶点坐标为（Rwmaxx，Rwmaxy），获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第四随机数组Rax与Ray，所述Rregion的左上顶点和右下顶点的坐标值的计算方法为：
Rwmaxx=x1，Rwmaxy=y1；
Rwminx=max(Rwmaxx-(Rrx*(1-Rax)+Rax)*(x1-x0)，x0)；
Rwminy=max(Rwmaxy-(Rry*(1-Ray)+Ray)*(y1-y0)，y0)；
max为取两个数值中最大值的函数；
步骤S244，将增强后的所述第一目标图像，作为第二目标图像，并设置矩阵I，所述矩阵I为所述第一目标图像宽*高的大小且元素均为1的矩阵，
imgb=img*（I-Pmask），imgf=img*Pmask；
其中，所述b为background代表背景，所述f为foreground代表前景；
步骤S245，根据所述imgb、所述imgf、所述Pw以及所述Gw计算所述第二目标图像的左边缘和右边缘对应的像素。
在一些优选的实施方式中，所述第二目标图像img2的左边缘对应的像素的计算方法为：
Figure SMS_1
；
所述第二目标图像的右边缘对应的像素的计算方法为：
Figure SMS_2
；
其中，img2（i，j）中的i为对应的像素的横坐标，j为对应的像素的纵坐标。
在一些优选的实施方式中，将所述第一目标图像通过设定的图像数据增强方法进行增强，进而得到增强后的目标图像，其方法为：
将所述Pmask与所述第一目标图像对应像素相乘，获得除目标区域外其余像素均为0的图像，作为第三目标图像img3；
对所述第三目标图像进行像素变换，将像素变换后的所述第三目标图像的目标区域替换第一目标图像对应的目标区域，将替换后的第一目标图像img作为第四目标图像img4，进而得到增强后的图像；
所述第四目标图像的像素的计算方法为：
Figure SMS_3
。
在一些优选的实施方式中，对所述第一目标图像进行图像分割处理，其方法为：
对所述第一目标图像复制，将复制后的所述第一目标图像作为img1，将所述img1中的box矩形区域外的像素赋值为0，并输入到目标分割网络对目标进行分割得到目标掩码Pmask。
在一些优选的实施方式中，对所述第三目标图像进行像素变换，其方法为：
对所述第三目标图像进行亮度变换或对比度增强或直方图均衡化或色彩空间转换中的任意一项或多项的组合。
本发明的另一方面，提出了一种基于图像数据增强的系统，该系统包括图像获取模块、图像偏移模块、像素采样模块、背景掩码生成模块、数据增强模块；
所述图像获取模块，配置为获取待增强的图像中目标区域的图像，作为第一目标图像，通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像；
所述图像偏移模块，配置为对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取第一目标图像左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
所述像素采样模块，配置为将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
所述背景掩码生成模块，配置为根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
所述数据增强模块，配置为将所述第一目标图像与所述Gmask进行加权和处理，进而得到增强后的图像。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述所述的一种图像数据增强方法。
本发明的第四方面，提出了一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述所述的一种图像数据增强方法。
本发明的有益效果：
（1）本发明通过将图像中目标边缘区域与其边缘的背景像素进行加权融合的方式进行增强，降低了目标与背景的区分度，促使网络在训练过程中更多的挖掘目标区域内部及目标与环境之间的约束关系，从而提取到更高级的语义特征；
（2）本发明通过对目标区域进行像素增强，使目标的色彩更加丰富，提高了模型的泛化能力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的一种图像数据增强方法的流程示意图；
图2是本发明一种实施例的一种图像数据增强的系统的框架示意图；
图3是本发明一种实施例的一种图像数据增强方法中生成背景掩码Gmask的流程示意图；
图4是用于实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图；
图5是本发明一种实施例的一种图像数据增强方法的实验结果表。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种图像数据增强方法，该方法包括：
步骤S10，获取待增强的图像中的目标区域图像，作为第一目标图像；
步骤S20，通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像：
步骤S21，对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取目标图像的左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
步骤S22，将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
步骤S23，根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmas将所述Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
步骤S24，将所述第一目标图像与所述Gmask进行加权和处理，进而得到增强后的图像。
为了更清晰地对本发明一种图像数据增强方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的一种图像数据增强方法，包括步骤S10-步骤S24，各步骤详细描述如下：
步骤S10，获取待增强的图像中目标区域的图像，作为第一目标图像；
其中，所述第一目标图像为目标轮廓图像，所述第一目标图像为img。
步骤S20、通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像；
在本实施例中，所述第一目标图像img通过设定的数据增强方法进行增强，进而得到增强后的图像，其方法为：
将所述Pmask与所述第一目标图像对应像素相乘，获得除目标区域外其余像素均为0的图像，作为第三目标图像；
对所述第三目标图像进行像素变换，将所述像素变换后第三目标图像的目标区域替换第一目标图像对应的目标区域，将替换后的第一目标图像作为第四目标图像，进而得到增强后的图像；
所述第四目标图像的像素的计算方法为：
Figure SMS_4
（1）
其中，所述第三目标图像为img3，所述第四目标图像为img4。
步骤S21，对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取第一目标图像的左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
在本实施例中，对所述第一目标图像进行图像分割处理，其方法为：
对所述第一目标图像复制，将复制后的所述第一目标图像作为img1，将所述img1中的box矩形区域外的像素赋值为0，并输入到目标分割网络对目标进行分割得到目标掩码Pmask。
其中，所述box矩形区域是通过预存储的学习模型根据输入的图像自动生成得到。
其中，所述目标分割网络以采用Unet网络为例对目标进行分割，需要说明的是，本方法不限于使用Unet网络对目标进行分割，具备目标分割的网络均可使用，若所使用的数据集包含目标分割标注信息亦可使用。
步骤S21中将所述Pmask目标区域像素值设置为1，将除了目标区域以外的背景区域像素值设置为0，也就是目标区域为白色，背景区域为黑色，换句话说，目标区域为白色。
在本实施例中，对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1、右边缘相邻的背景坐标集合R1，其方法为：
将所述L中的所有横坐标值减少第一预设阈值，得到左边缘相邻的背景坐标集合L1，将所述R中的所有横坐标值增加第一预设阈值，得到右边缘相邻的背景坐标集合R1。
其中，所述第一预设阈值为0-100个坐标值，优选为5个坐标值，本发明通过上述内容能够将所述目标轮廓外的且距离所述目标轮廓5个坐标单位的背景图像获取出来，为接下来的融合做基础。
步骤S22，将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
在本实施例中，可以理解为将所述左边缘相邻的背景坐标集合L1和所述右边缘相邻的背景坐标集合R1以等比例的方式与所述第一目标图像img进行投影重合，从而能够获取到左边缘相邻的背景坐标集合L1和所述右边缘相邻的背景坐标集合R1中，每一个坐标对应的像素值。
步骤S23，根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述目标掩码Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
在本实施例中，将所述左边缘像素集合Pl或右边缘像素集合Pr填充到Box区域生成图像Bmask的过程中，使用Pl或Pr填充的几率各为50%。
步骤S24，将所述第一目标图像与所述Gmask进行加权和处理，进而得到增强后的图像。
在本实施例中，将所述第一目标图像与所述Gmask进行加权和处理，其方法为：
步骤S241，初始化限制目标区域的权值最小为w、第二预设阈值为Rdw，目标区域的权值为Pw，Gmask的权值为Gw，所述Pw与Gw的计算方法为：
Pw=(1-w)*Rdw+w，Gw=1-Pw （2）
其中，所述第二预设阈值为取值在0~1之间的随机数，w为可调节的并取值在0-1之间的任意数字。
步骤S242，根据第一随机数组Lrx和Lry输出与左边界相邻的矩形区域Lregion，所述Lregion左上顶点坐标为（Lwminx，Lwminy）、右下顶点坐标为（Lwmaxx，Lwmaxy）；获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第二随机数组Lax与Lay，所述Lregion的左上顶点和右下顶点的坐标值的计算方法为：
Lwminx=x0，Lwminy=y0 （3）
Lwmaxx=min(Lwminx+(Lrx*(1-Lax)+Lax)*(x1-x0)，x1) （4）
Lwmaxy=min(Lwminy+(Lry*(1-Lay)+Lay)*(y1-y0)，y1) （5）
其中，min为取两个数值中最小值的函数，所述第一随机数组Lrx和Lry以及第二随机数组Lax与Lay分别为取值在的0~1之间的随机数。
步骤S243，根据第三随机数组Rrx和Rry输出与右边界相邻的矩形区域Rregion，所述Rregion左上顶点坐标为（Rwminx，Rwminy）、右下顶点坐标为（Rwmaxx，Rwmaxy），获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第四随机数组Rax与Ray，所述Rregion的左上顶点和右下顶点的坐标值的计算方法为：
Rwmaxx=x1，Rwmaxy=y1 （6）
Rwminx=max(Rwmaxx-(Rrx*(1-Rax)+Rax)*(x1-x0)，x0) （7）
Rwminy=max(Rwmaxy-(Rry*(1-Ray)+Ray)*(y1-y0)，y0) （8）
其中，max为取两个数值中最大值的函数，所述第三随机数组Rrx和Rry以及第四随机数组Rax与Ray分别为取值在的0~1之间的随机数。
步骤S244，将增强后的所述第一目标图像，作为第二目标图像，并设置矩阵I，所述矩阵I为第一目标图像宽*高的大小且元素均为1的矩阵；
imgb=img*（I-Pmask） （9）
imgf=img*Pmask （10）
其中，所述第二目标图像为img2。
其中，所述b为background代表背景，所述f为foreground代表前景；
步骤S245，根据所述imgb、所述imgf、所述Pw以及所述Gw计算所述第二目标图像的左边缘和右边缘对应的像素。
其中，人的外观信息为模型在定位关键点时提供了主要信息，因此在增强时不宜损失过多的外观信息，为保留充分的外观信息，本方法只随机选取目标的部分区域与Gmask对应区域进行加权。
在本实施例中，所述第二目标图像的左边缘对应的像素的计算方法为：
Figure SMS_5
（11）
所述第二目标图像img2的右边缘对应的像素的计算方法为：
Figure SMS_6
（12）
其中，img2（i，j）中的i为对应的像素的横坐标，j为对应的像素的纵坐标。
优选的，本发明的训练方法为：获取第一目标图像，进而生成GroundTruth热力图；使用设定的数据增强方法和加权和方法对待增强的图像进行增强，两种方法的使用概率各为25%；对增强后的图像进行归一化等预处理，输入到目标估计网络，生成目标估计热力图；目标估计热力图与GroundTruth热力图进行L2损失的计算。
作为验证，将本发明给出的图像数据增强方法，在COCO2017数据集上进行实验，以256x192的输入分辨率，在COCO val2017测试集上进行评估，评价标准为基于OKS(ObjectKeypoint Similarity)的平均精度AP和平均召回AR，以衡量方法的精度。实验结果见图5所示的表格。
通过图5可知，使用本方法增强过的数据去训练网络，网络的AP和AR均有提高，证明本方法是有效的。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的一种图像数据增强的方法，该方法中，所述图像为人体姿态估计图像，所述目标区域图像为人体区域图像，所述第一目标图像为第一人体图像，所述第二目标图像为第二人体图像，所述第三目标图像为第三人体图像，所述第四目标图像为第四人体图像；
所述方法包括：
步骤S10，获取待增强的人体姿态估计图像中人体区域的图像，作为第一人体图像；
步骤S20，通过设定的数据增强方法对所述第一人体图像进行增强，进而得到数据增强后的人体姿态估计图像：
步骤S21，对所述第一人体图像进行图像分割处理，得到人体掩码Pmask，基于所述Pmask获取人体左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到人体左边缘相邻的背景坐标集合L1和人体右边缘相邻的背景坐标集合R1；
步骤S22，将所述L1和所述R1在所述第一人体图像中进行采样，得到人体左边缘像素集合Pl和人体右边缘像素集合Pr；
步骤S23，根据所述P1和所述Pr计算得出所述第一人体图像中的人体区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到人体区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述人体掩码Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
步骤S24，将所述第一人体图像与所述Gmask进行加权和处理，进而得到数据增强后的人体姿态估计图像。
为了更清晰地对本发明一种图像数据增强方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第二实施例的一种图像数据增强方法，包括步骤S10-步骤S24，各步骤详细描述如下：
步骤S10，获取待增强的人体姿态估计图像中人体区域的图像，作为第一人体图像；
其中，所述第一人体图像为人体轮廓图像，所述第一人体图像为img。
通过设定的数据增强方法对所述第一人体图像进行增强，进而得到数据增强后的人体姿态估计图像；
在本实施例中，所述第一人体图像img通过设定的数据增强方法进行增强，进而得到增强后的人体姿态估计图像，其方法为：
将所述Pmask与所述第一人体图像对应像素相乘，获得除人体区域外其余像素均为0的图像，作为第三人体图像；
对所述第三人体图像进行像素变换，将所述像素变换后第三人体图像的人体区域替换第一人体图像对应的人体区域，将替换后的第一人体图像作为第四人体图像，进而得到数据增强后的人体姿态估计图像；
所述第四人体图像的像素的计算方法为：
Figure SMS_7
（13）
其中，所述第三人体图像为img3，所述第四人体图像为img4。
步骤S21，对所述第一人体图像进行图像分割处理，得到人体掩码Pmask，基于所述Pmask获取人体左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到人体左边缘相邻的背景坐标集合L1和人体右边缘相邻的背景坐标集合R1；
在本实施例中，对所述第一人体图像进行图像分割处理，其方法为：
对所述第一人体图像复制，将复制后的所述第一人体图像作为img1，将所述img1中的box矩形区域外的像素赋值为0，并输入到人体分割网络对人体进行分割得到人体掩码Pmask。
其中，所述box矩形区域是通过预存储的学习模型根据输入的图像自动生成得到。
其中，以采用Unet网络为例对人体进行分割，需要说明的是，本方法不限于使用Unet网络对人体进行分割，具备人体分割的网络均可使用，若所使用的数据集包含人体分割标注信息亦可使用。
步骤S21中将所述Pmask人体区域像素值设置为1，将除了人体区域以外的背景区域像素值设置为0，也就是人体区域为白色，背景区域为黑色。
在本实施例中，对所述L、所述R中的横坐标进行增加或减少处理，得到人体左边缘相邻的背景坐标集合L1、人体右边缘相邻的背景坐标集合R1，其方法为：
将所述L中的所有横坐标值减少第一预设阈值，得到人体左边缘相邻的背景坐标集合L1，将所述R中的所有横坐标值增加第一预设阈值，得到人体右边缘相邻的背景坐标集合R1。
其中，所述第一预设阈值为0-100个坐标值，优选为5个坐标值，本发明通过上述内容能够将所述人体轮廓外的且距离所述人体轮廓5个坐标单位的背景图像获取出来，为接下来的融合做基础。
步骤S22，将所述L1和所述R1在所述第一人体图像中进行采样，得到人体左边缘像素集合Pl和人体右边缘像素集合Pr；
在本实施例中，可以理解为将所述人体的左边缘相邻的背景坐标集合L1和所述人体右边缘相邻的背景坐标集合R1以等比例的方式与所述第一人体图像img进行投影重合，从而能够获取到人体的左边缘相邻的背景坐标集合L1和所述人体右边缘相邻的背景坐标集合R1中，每一个坐标对应的像素值。
步骤S23，根据所述P1和所述Pr计算得出所述第一人体图像中的人体区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到人体区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述人体掩码Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
在本实施例中，将所述人体左边缘像素集合Pl或人体右边缘像素集合Pr填充到Box区域生成图像Bmask的过程中，使用Pl或Pr填充的几率各为50%。
步骤S24，将所述第一人体图像与所述Gmask进行加权和处理，进而得到数据增强后的人体姿态估计图像。
在本实施例中，将所述第一人体图像与所述Gmask进行加权和处理，其方法为：
步骤S241，初始化限制人体区域的权值最小为w、第二预设阈值为Rdw，人体区域的权值为Pw，Gmask的权值为Gw，所述Pw与Gw的计算方法为：
Pw=(1-w)*Rdw+w，Gw=1-Pw （14）
其中，所述第二预设阈值为取值在0~1之间的随机数，w为可调节的并取值在0-1之间的任意数字。
步骤S242，根据第一随机数组Lrx和Lry输出与左边界相邻的矩形区域Lregion，所述Lregion左上顶点坐标为（Lwminx，Lwminy）、右下顶点坐标为（Lwmaxx，Lwmaxy）；获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第二随机数组Lax与Lay，所述Lregion的左上顶点和右下顶点的坐标值的计算方法为：
Lwminx=x0，Lwminy=y0 （15）
Lwmaxx=min(Lwminx+(Lrx*(1-Lax)+Lax)*(x1-x0)，x1) （16）
Lwmaxy=min(Lwminy+(Lry*(1-Lay)+Lay)*(y1-y0)，y1) （17）
其中，min为取两个数值中最小值的函数，所述第一随机数组Lrx和Lry以及第二随机数组Lax与Lay分别为取值在的0~1之间的随机数。
步骤S243，根据第三随机数组Rrx和Rry输出与右边界相邻的矩形区域Rregion，所述Rregion左上顶点坐标为（Rwminx，Rwminy）、右下顶点坐标为（Rwmaxx，Rwmaxy），获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第四随机数组Rax与Ray，所述Rregion的左上顶点和右下顶点的坐标值的计算方法为：
Rwmaxx=x1，Rwmaxy=y1 （18）
Rwminx=max(Rwmaxx-(Rrx*(1-Rax)+Rax)*(x1-x0)，x0) （19）
Rwminy=max(Rwmaxy-(Rry*(1-Ray)+Ray)*(y1-y0)，y0) （20）
其中，max为取两个数值中最大值的函数，所述第三随机数组Rrx和Rry以及第四随机数组Rax与Ray分别为取值在的0~1之间的随机数。
步骤S244，将增强后的所述第一人体图像，作为第二人体图像，并设置矩阵I，所述矩阵I为w*h的大小且元素均为1的矩阵，所述w为所述第一人体图像的宽度，所述h为所述第一人体图像的高度；
imgb=img*（I-Pmask） （21）
imgf=img*Pmask （22）
其中，所述第二人体图像为img2。
其中，所述b为background代表背景，所述f为foreground代表前景；
步骤S245，根据所述imgb、所述imgf、所述Pw以及所述Gw计算所述第二人体图像的左边缘和右边缘对应的像素。
其中，人的外观信息为模型在定位关键点时提供了主要信息，因此在增强时不宜损失过多的外观信息，为保留充分的外观信息，本方法只随机选取人体的部分区域与Gmask对应区域进行加权。
在本实施例中，所述第二人体图像的左边缘对应的像素的计算方法为：
Figure SMS_8
（23）
所述第二人体图像img2的右边缘对应的像素的计算方法为：
Figure SMS_9
（24）
其中，img2（i，j）中的i为对应的像素的横坐标，j为对应的像素的纵坐标。
优选的，本发明的训练方法为：获取第一人体图像，进而生成GroundTruth热力图；使用人体边界区域与背景融合方法和人体区域像素增强方法对图像进行增强，两种方法的使用概率各为25%；对增强后的图像进行归一化等预处理，输入到人体姿态估计网络，生成人体姿态估计热力图；人体姿态估计热力图与GroundTruth热力图进行L2损失的计算。
如图2所示，本发明第三实施例的一种图像数据增强的系统，该系统包括图像获取模块100、图像偏移模块200、像素采样模块300、背景掩码生成模块400、数据增强模块500；
所述图像获取模块100，配置为获取待增强的图像中目标区域的图像，作为第一目标图像，通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像；
所述图像偏移模块200，配置为对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
所述像素采样模块300，配置为将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
所述背景掩码生成模块400，配置为根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述目标掩码Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
所述数据增强模块500，配置为将所述第一目标图像与所述Gmask进行加权和处理，进而得到增强后的图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的一种图像数据增强的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述所述的一种图像数据增强方法。
本发明第五实施例的一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述所述的一种图像数据增强方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
下面参考图4，其示出了用于实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图4示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)401，其可以根据存储在只读存储器(ROM，Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM，Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O，Input/Output)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者装置/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种图像数据增强方法，其特征在于，该方法包括：
步骤S10，获取待增强的图像中的目标区域图像，作为第一目标图像；
步骤S20，通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像：
步骤S21，对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取所述第一目标图像的左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
步骤S22，将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
步骤S23，根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
步骤S24，将所述第一目标图像与所述Gmask进行加权和处理，进而得到增强后的图像。
2.根据权利要求1所述的一种图像数据增强方法，其特征在于，对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1、右边缘相邻的背景坐标集合R1，其方法为：
将所述L中的所有横坐标值减少第一预设阈值，得到左边缘相邻的背景坐标集合L1，将所述R中的所有横坐标值增加第一预设阈值，得到右边缘相邻的背景坐标集合R1。
3.根据权利要求1所述的一种图像数据增强方法，其特征在于，将所述第一目标图像与所述Gmask进行加权和处理，其方法为：
步骤S241，初始化限制目标区域的权值最小为w、第二预设阈值为Rdw，目标区域的权值为Pw，Gmask的权值为Gw，所述Pw与Gw的计算方法为：
Pw=(1-w)*Rdw+w，Gw=1-Pw；
其中，w为取值在0-1之间并能够调节的任意数字；
步骤S242，根据第一随机数组Lrx和Lry输出与左边界相邻的矩形区域Lregion，所述Lregion左上顶点坐标为（Lwminx，Lwminy）、右下顶点坐标为（Lwmaxx，Lwmaxy）；获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第二随机数组Lax与Lay，所述Lregion的左上顶点和右下顶点的坐标值的计算方法为：
Lwminx=x0，Lwminy=y0；
Lwmaxx=min(Lwminx+(Lrx*(1-Lax)+Lax)*(x1-x0)，x1)；
Lwmaxy=min(Lwminy+(Lry*(1-Lay)+Lay)*(y1-y0)，y1)；
其中，min为取两个数值中最小值的函数；
步骤S243，根据第三随机数组Rrx和Rry输出与右边界相邻的矩形区域Rregion，所述Rregion左上顶点坐标为（Rwminx，Rwminy）、右下顶点坐标为（Rwmaxx，Rwmaxy），获取用于限制所述Lregion占最小外接矩形框Box面积的最小比例的第四随机数组Rax与Ray，所述Rregion的左上顶点和右下顶点的坐标值的计算方法为：
Rwmaxx=x1，Rwmaxy=y1；
Rwminx=max(Rwmaxx-(Rrx*(1-Rax)+Rax)*(x1-x0)，x0)；
Rwminy=max(Rwmaxy-(Rry*(1-Ray)+Ray)*(y1-y0)，y0)；
max为取两个数值中最大值的函数；
步骤S244，将增强后的所述第一目标图像，作为第二目标图像，并设置矩阵I，所述矩阵I为所述第一目标图像宽*高的大小且元素均为1的矩阵；
imgb=img*（I-Pmask），imgf=img*Pmask；
其中，所述b为background代表背景，所述f为foreground代表前景；
步骤S245，根据所述imgb、所述imgf、所述Pw以及所述Gw计算所述第二目标图像的左边缘和右边缘对应的像素。
4.根据权利要求3所述的一种图像数据增强方法，其特征在于，所述第二目标图像img2的左边缘对应的像素的计算方法为：
Figure QLYQS_1
；
所述第二目标图像的右边缘对应的像素的计算方法为：
Figure QLYQS_2
；
其中，img2（i，j）中的i为对应的像素的横坐标，j为对应的像素的纵坐标。
5.根据权利要求1所述的一种图像数据增强方法，其特征在于，将所述第一目标图像通过设定的数据增强方法进行增强，进而得到增强后的图像，其方法为：
将所述Pmask与所述第一目标图像对应像素相乘，获得除目标区域外其余像素均为0的图像，作为第三目标图像img3；
对所述第三目标图像进行像素变换，将像素变换后的所述第三目标图像的目标区域替换第一目标图像对应的目标区域，将替换后的第一目标图像img作为第四目标图像img4，进而得到增强后的图像；
所述第四目标图像img4的像素的计算方法为：
Figure QLYQS_3
。
6.根据权利要求1所述的一种图像数据增强方法，其特征在于，对所述第一目标图像进行图像分割处理，其方法为：
对所述第一目标图像复制，将复制后的所述第一目标图像作为img1，将所述img1中的box矩形区域外的像素赋值为0，并输入到目标分割网络对目标进行分割得到目标掩码Pmask。
7.根据权利要求5所述的一种图像数据增强方法，其特征在于，对所述第三目标图像进行像素变换，其方法为：
对所述第三目标图像进行亮度变换或对比度增强或直方图均衡化或色彩空间转换中的任意一项或多项的组合。
8.一种图像数据增强的系统，其特征在于，该系统包括图像获取模块、图像偏移模块、像素采样模块、背景掩码生成模块、数据增强模块；
所述图像获取模块，配置为获取待增强的图像中目标区域的图像，作为第一目标图像，通过设定的数据增强方法对所述第一目标图像进行增强，进而得到增强后的图像；
所述图像偏移模块，配置为对所述第一目标图像进行图像分割处理，得到目标掩码Pmask，基于所述Pmask获取所述第一目标图像的左边缘的坐标值集合L和右边缘的坐标值集合R，并对所述L、所述R中的横坐标进行增加或减少处理，得到左边缘相邻的背景坐标集合L1和右边缘相邻的背景坐标集合R1；
所述像素采样模块，配置为将所述L1和所述R1在所述第一目标图像中进行采样，得到左边缘像素集合Pl和右边缘像素集合Pr；
所述背景掩码生成模块，配置为根据所述P1和所述Pr计算得出所述第一目标图像中的目标区域部分最小的X方向的坐标值X0、最小的Y方向的坐标值Y0，以及最大的X方向的坐标值X1、最大的Y方向的坐标值Y1，根据所述X0、所述Y0、所述X1、所述Y1，得到目标区域最小外接矩形框Box；将所述Pl和所述Pr填充到所述Box中，得到图像Bmask，将所述Pmask与所述图像Bmask中对应的像素相乘，得到背景掩码Gmask；
所述数据增强模块，配置为将所述第一目标图像与所述Gmask进行加权和处理，进而得到增强后的图像。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的一种图像数据增强方法。
10.一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的一种图像数据增强方法。
CN202310636673.5A 2023-06-01 2023-06-01 一种图像数据增强方法、系统及装置 Active CN116363019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310636673.5A CN116363019B (zh) 2023-06-01 2023-06-01 一种图像数据增强方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310636673.5A CN116363019B (zh) 2023-06-01 2023-06-01 一种图像数据增强方法、系统及装置

Publications (2)

Publication Number Publication Date
CN116363019A true CN116363019A (zh) 2023-06-30
CN116363019B CN116363019B (zh) 2023-08-29

Family

ID=86923365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310636673.5A Active CN116363019B (zh) 2023-06-01 2023-06-01 一种图像数据增强方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116363019B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311468A1 (en) * 2016-12-21 2019-10-10 Zhejiang Dahua Technology Co., Ltd. Methods and systems for filling light for video images
CN111161349A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备
CN113240679A (zh) * 2021-05-17 2021-08-10 广州华多网络科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN115861648A (zh) * 2022-12-05 2023-03-28 中山大学中山眼科中心 基于人工智能的对象检测设备及其方法
CN115937593A (zh) * 2022-12-12 2023-04-07 富联智能工坊(郑州)有限公司 一种模型法建立方法、物体检测方法及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311468A1 (en) * 2016-12-21 2019-10-10 Zhejiang Dahua Technology Co., Ltd. Methods and systems for filling light for video images
CN111161349A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备
CN113240679A (zh) * 2021-05-17 2021-08-10 广州华多网络科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN115861648A (zh) * 2022-12-05 2023-03-28 中山大学中山眼科中心 基于人工智能的对象检测设备及其方法
CN115937593A (zh) * 2022-12-12 2023-04-07 富联智能工坊(郑州)有限公司 一种模型法建立方法、物体检测方法及相关设备

Also Published As

Publication number Publication date
CN116363019B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Zhang et al. Single image defogging based on multi-channel convolutional MSRCR
Guo et al. LIME: Low-light image enhancement via illumination map estimation
CN111369545B (zh) 边缘缺陷检测方法、装置、模型、设备及可读存储介质
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
US20210004648A1 (en) Computer Vision Systems and Methods for Blind Localization of Image Forgery
CN109977832B (zh) 一种图像处理方法、装置及存储介质
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
CN110969641A (zh) 图像处理方法和装置
CN108682021B (zh) 快速手部跟踪方法、装置、终端及存储介质
CN111178200B (zh) 一种仪表盘指示灯的识别方法及计算设备
CN116363019B (zh) 一种图像数据增强方法、系统及装置
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN113012167B (zh) 一种细胞核与细胞质的联合分割方法
CN112016505B (zh) 基于人脸图像的活体检测方法、设备、存储介质及装置
CN114663937A (zh) 模型训练及图像处理方法、介质、装置和计算设备
CN115761389A (zh) 图像样本的增广方法、装置、电子设备及存储介质
CN113420671A (zh) 一种基于全局信息注意力的显著性目标检测方法
Li et al. Deblurring traffic sign images based on exemplars
CN116721143B (zh) 3d医学图像的深度信息处理装置及方法
CN116704376B (zh) 基于单卫星图像的nDSM提取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant