CN113744161B - 增强数据的获取方法及装置、数据增强方法、电子设备 - Google Patents

增强数据的获取方法及装置、数据增强方法、电子设备 Download PDF

Info

Publication number
CN113744161B
CN113744161B CN202111089111.0A CN202111089111A CN113744161B CN 113744161 B CN113744161 B CN 113744161B CN 202111089111 A CN202111089111 A CN 202111089111A CN 113744161 B CN113744161 B CN 113744161B
Authority
CN
China
Prior art keywords
images
enhanced
image
point
enhanced image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111089111.0A
Other languages
English (en)
Other versions
CN113744161A (zh
Inventor
黄强
张国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shunshi Brothers Technology Co ltd
Original Assignee
Beijing Shunshi Brothers Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shunshi Brothers Technology Co ltd filed Critical Beijing Shunshi Brothers Technology Co ltd
Priority to CN202111089111.0A priority Critical patent/CN113744161B/zh
Publication of CN113744161A publication Critical patent/CN113744161A/zh
Application granted granted Critical
Publication of CN113744161B publication Critical patent/CN113744161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请实施例提供了一种增强数据的获取方法及装置、数据增强方法、电子设备。该增强数据的获取方法包括：获取的包括面部区域的多个图像；对图像识别，以确定每个图像的所属类别，以及每个类别的图像数量在图像总数量中的占比；对增强图像识别，以确定每个图像的所属类别，以及每个类别的图像数量在图像总数量中的占比；基于所有类别图像的占比分布，以及所有类别增强图像的占比分布，确定欧几里得距离，当欧几里得距离大于设计值时，重新获取增强图像。本申请的实施例通过将欧几里得距离与设计值的比较，确定是否需要重新获取增强图像，使得最终获得的增强图像包括有更为丰富的面部信息，以提高模型训练对人像区域的识别能力。

Description

增强数据的获取方法及装置、数据增强方法、电子设备
技术领域
本申请涉及数据增强技术领域，具体而言，本申请涉及一种增强数据的获取方法及装置、数据增强方法、电子设备。
背景技术
计算机自动人像分割是指对给定的图像，计算机自动将人像区域以像素级精度识别出来，主要应用在智能证件照、自动修图、视频会议虚拟背景等领域。目前，实现计算机自动人像分割比较主流的方法是采用深度神经网络技术，使用大量经过人工标注的人像图像训练一个神经网络模型，由该模型实现自动的人像分割。在训练人像分割的深度神经网络模型时，通常都会利用已有的图像数据，通过数据增强方法得到更多的图像，进而提高网络的精度和泛化能力。常见的数据增强方法包括随机裁剪、平移、旋转、缩放和颜色变换等。
但是，裁剪出的图像，会降低人像分割模型的人像区域识别能力。
发明内容
本申请针对现有方式的缺点，提出一种增强数据的获取方法及增强数据的获取方法及装置、数据增强方法、电子设备，用以解决现有技术存在的裁剪出的图像，会降低人像分割模型的人像区域识别能力的技术问题。
第一个方面，本申请实施例提供了增强数据的获取方法，包括：获取多个图像，每个所述图像包括面部区域，且任意两个所述图像不相同；对所述图像识别，确定每个所述图像的所属类别，以及每个类别的所述图像数量在所述图像总数量中的占比；获取每个所述图像中的增强图像，所述增强图像包括所述面部区域；对所述增强图像识别，确定每个所述增强图像的所属类别，以及每个类别的所述增强图像在所述增强总图像数量中的占比；基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离，当所述欧几里得距离大于设计值时，重新获取增强图像；重新获取的增强图像用于重新确定所有类别所述重新获取的增强图像的占比分布，并且重新确定欧几里得距离。
可选地，所述获取每个所述图像中的增强图像，包括：获取小于所述图像的分辨率且大于目标增强图像分辨率，以及与所述图像的分辨率为设计比例的增强图像。
可选地，所述基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离，当所述欧几里得距离大于设计值时，重新获取增强图像，包括：确定所述图像与所述增强图像同种类别的数量占比的差值；将最小的所述差值对应类别的增强图像重新识别，得到至少一个最大的所述差值的对应类别的增强图像。
可选地，所述获取每个所述图像内的增强图像，包括：基于增强图像区域与所述面部区域相交，重新获取增强图像区域。
可选地，所述基于增强图像区域与所述面部区域相交，重新获取增强图像区域，包括：沿第一方向和垂直于所述第一方向的第二方向建立坐标系，沿第一方向建立横坐标，沿第二方向建立纵坐标；分别获取增强图像区域的第一点和第二点位于所述坐标系内的横、纵坐标，所述第一点和所述第二点分别为矩形的所述增强图像区域一对角线的端点；获取面部区域第三点和第四点位于所述坐标系内的横、纵坐标，所述第三点和所述第四点分别为矩形的所述面部区域一对角线的端点；所述第一点和所述第二点的连线与所述第三点和所述第四点的连线倾斜方向一致；基于所述第一点的横坐标不大于所述第三点的横坐标、所述第一点的纵坐标不小于所述第三点的纵坐、所述第二点的横坐标不小于所述第四点的横坐标、且所述第二点的纵坐标不大于所述第四点的纵坐标；或者，基于所述第一点的横坐标不大于所述第三点的横坐标、所述第一点的纵坐标不大于所述第三点的纵坐、所述第二点的横坐标不小于所述第四点的横坐标、且所述第二点的纵坐标不小于所述第四点的纵坐标，确认所述基于获取的增强图像与所述面部区域不相交，反之，确定所述基于获取的增强图像与所述面部区域相交。
可选地，所述对所述图像识别，确定每个所述图像的所属类别，以及每个类别的所述图像数量在所述图像总数量中的占比，包括：基于所述面部区域的面积和所述图像的面积，确定所述面部区域占所述图像的面积的比例；基于比例的大小，确定所述图像的类别和每个所述类别所述图像的数量。
可选地，所述基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离之后，还包括：当所述欧几里得距离不大于所述设计值时，输出所述增强图像。
第二个方面，本申请实施例提供了一种增强数据的获取装置，包括：获取模块，用于获取多个图像，每个所述图像包括面部区域，且任意两个所述图像不相同，所述获取模块还用于获取每个所述图像内的增强图像，所述增强图像包括所述面部区域；识别模块，用于对所述图像识别，确定每个所述图像的所属类别，以及每个类别的所述图像数量在所述图像总数量中的占比；所述识别模块还用于对所述增强图像识别，确定每个所述增强图像的所属类别，以及每个类别的所述增强图像在所述增强图像总数量中的占比；对比模块，基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离，当所述欧几里得距离大于设计值时，重新获取增强图像；重新获取的增强图像用于重新确定所有类别所述重新获取的增强图像的占比分布，并且重新确定欧几里得距离。
第三个方面，本申请实施例提供了一种电子设备，包括：处理器；存储器，与所述处理器通信连接；至少一个程序，被存储在所述存储器中并被配置为由所述处理器执行，所述至少一个程序被配置用于：实现本申请实施例第一方面提供的任一项所述增强数据的获取方法。
第四个方面，本申请实施例提供了一种数据增强方法，包括：本申请实施例第一方面提供的所述的增强数据的获取方法获取增强数据；利用所述增强数据训练神经网络模型。
本申请实施例提供的技术方案带来的有益技术效果包括：
通过对图像的裁剪，能够获得不同类别且均包括有面部区域的增强图像，基于所有类别图像的占比分布，以及所有类别增强图像的占比分布，确定欧几里得距离，并将欧几里得距离与设计值的比较，确定是否需要重新获取增强图像，使得获得的增强图像包括有更为丰富的面部信息，以提高模型训练对人像区域的识别能力。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的增强数据的获取方法的流程示意图；
图2为本申请实施例提供的调整前的增强图像与面部区域相交位置示意图；
图3为本申请实施例提供的调整后的增强图像与面部区域位置示意图。
附图标记介绍如下：
10-面部区域；
20-增强图像。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本申请的发明人考虑到，常见的数据增强方法包括随机裁剪、平移、旋转、缩放和颜色变换等，其中裁剪在数据增强中起到非常重要的作用。然而，随机裁剪方法忽略了人像分割应用中人脸为目标主体这一先验，裁剪出的图像区域很少含完整的人脸区域，从而降低了最终人像分割模型的对人像区域的识别能力。
本申请提供的增强数据的获取方法及装置、数据增强方法、电子设备，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种增强数据的获取方法，如图1所示，包括步骤S1-S5：
S1：获取多个图像，每个图像包括面部区域10，且任意两个图像不相同。
S2：对图像识别，确定每个图像的所属类别，以及每个类别的图像数量在图像总数量中的占比。
S3：获取每个图像中的增强图像20，增强图像20包括面部区域10。
S4：对增强图像20识别，确定每个增强图像20的所属类别，以及每个类别的增强图像20在增强图像20总数量中的占比。
S500：基于所有类别图像的占比分布，以及所有类别增强图像20的占比分布，确定欧几里得距离，当欧几里得距离大于设计值时，重新获取增强图像20；重新获取的增强图像20用于重新确定所有类别重新获取的增强图像20的占比分布，并且重新确定欧几里得距离。
通过对图像的裁剪，能够获得不同类别且均包括有面部区域的增强图像20，基于所有类别图像的占比分布，以及所有类别增强图像20的占比分布，确定欧几里得距离，并将欧几里得距离与设计值的比较，确定是否需要重新获取增强图像20，使得获得的增强图像20包括有丰富的面部信息，以提高模型训练对人像区域的识别能力。
本实施例中，面部区域10包括有人体面部信息，通过对图像的裁剪，能够获得不同类别且均包括有面部区域10的增强图像20，使得获得的增强图像20包括有丰富的面部信息，能够提高像分割模型的人像区域的识别能力。步骤S3200和步骤S400执行顺序不做限定。可以同时进行，也可以先后进行。
在一些实施例中，当获取的图像不包括面部区域10时，去除不包括面部区域10的图像，不进行后续步骤处理，以提高获取的增强图像20的质量。
在一些实施例中，上述步骤S100：获取多个图像，每个图像包括面部区域10，且任意两个图像不相同，包括：在包括证件照、视频会议和娱乐直播的至少三个场景下获取人像数据集；其中，人像数据集包括不同性别的面部区域数量在所有面部区域的数量占比分布均匀，各年龄段的面部区域数量在所有面部区域的数量占比分布均匀。
在可能的实施例中，性别和年龄段可以通过人工和/或神经网络的方式筛选图片。年龄段、性别占比接近，并且每个类别的分布均匀，即各个年龄段的占比接近1/N，N为年龄段的数量。例如，年龄段可以包括0-20岁、21-40岁、40-60岁、以及60岁以上。男女性别比接近1:1，另外，年龄段和性别的各类别之间占比的差值小于1％，可选地，男性占比49.8％，女性占比50.2％。当图片包括多个不同的面部区域10时，可选地，一张图中有三个面部区域10，一个为男性，两个为女性，则男性数量加一，女性数量加二；对应的，这三个面部区域10，两个是0-20岁，一个是40-60岁，则0-20岁年龄段加二，40-60岁年龄段加一。
在一些实施例中，上述步骤S100：获取多个图像，每个图像包括面部区域10，且任意两个图像不相同，包括：基于增强图像20区域与面部区域10相交，重新获取增强图像20区域。
在一些实施例中，基于增强图像20区域与面部区域10相交，重新获取增强图像20区域，包括：
沿第一方向和垂直于第一方向的第二方向建立坐标系，沿第一方向建立横坐标，沿第二方向建立纵坐标；分别获取增强图像20区域的第一点和第二点位于坐标系内的横、纵坐标，第一点和第二点为位于矩形的增强图像20区域一对角线的端点；获取面部区域10第三点和第四点位于坐标系内的横、纵坐标，第三点和第四点分别为矩形的面部区域10一对角线的端点；第一点和第二点的连线与第三点和第四点的连线倾斜方向一致；基于第一点的横坐标不大于第三点的横坐标、第一点的纵坐标不小于第三点的纵坐、第二点的横坐标不小于第四点的横坐标、且第二点的纵坐标不大于第四点的纵坐标；或者，基于第一点的横坐标不大于第三点的横坐标、第一点的纵坐标不大于第三点的纵坐、第二点的横坐标不小于第四点的横坐标、且第二点的纵坐标不小于第四点的纵坐标，确认基于获取的增强图像20区域与面部区域10不相交，反之，确定基于获取的增强图像20区域与面部区域10相交。
可选地，如图2-3所示，在建立的坐标系内，面部区域10的几何表示为(X1，Y1，X2，Y2)，增强图像20区域的几何表示为(x1，y1，x2，y2)，其中X1和Y1分别代表矩形区域左上角横坐标和纵坐标，X2和Y2分别代表矩形区域右下角横坐标和纵坐标。通过调整增强图像20区域来得到新裁剪区域(X’1，Y’1，X’2，Y’2)，具体过程为：X’1＝X1，Y’1＝Y1，X’2＝x2-(x1-X1)，Y’2＝y2-(y1-y1)。
本实施例中，基于坐标系调整增强图像20区域，为了调整裁剪的新增强图像20，不是重新截取增强图像20，而是校正原来截取范围有误的增强图像20。这样设置可以获取准确的增强图像20，使得增强图像20包括有完整的面部区域10。
在一些实施例中，上述步骤S200：对图像识别，确定每个图像的所属类别，以及每个类别的图像数量在图像总数量中的占比，包括：基于面部区域10的面积和图像的面积，确定面部区域10占图像的面积的比例；基于比例的大小，确定图像的类别和每个类别的图像数量。可选地，可以将面部区域10面积占图像面积的0-24％、25-49％、50-74％和75-100％的比例，将图像分四种类别。获取四种类别的对应的图像数量，并确定四种类别的对应的图像数量在总图像数量的占比。
在一个可能的示例性实施例中，获取的图像总数量为100万张，将图像的类别预设为四类。具体的，第一类设计为面部区域10面积占图像面积的0-24％，第二类设计为面部区域10面积占图像面积的25-49％，第三类设计为面部区域10面积占图像面积的50-74％，第四类设计为面部区域10面积占图像面积的75-100％。经过识别处理后，确定第一类图像的数量为20万张，第二类图像的数量为25万张，第三类图像的数量为30万张，第四类图像的数量为25万张，对应的，可以确定第一类图像占比为20％，第二类图像占比为25％，第三类图像占比为30％，第四类图像占比为25％。
在一些实施例中，上述步骤S300：获取每个图像内的增强图像20，包括：获取小于图像的分辨率且大于目标增强图像分辨率，以及与图像的分辨率为设计比例的增强图像20。
目标增强图像为经过裁剪后得到的分辨率最小的增强图像20。
在可能的实施例中，图像的分辨率是1280*1920，设计分辨率为512*512，即经过裁剪后需要得到512*512分辨率的目标增强图像。获取的过程包括：
可以按图像的边缘将图像缩放为原来的二分之一，以图像的短边为例，可以得到640*960的增强图像20，再得到一个512到640之间的随时整数，可选地，随机整数为604，在640*960的图像中裁剪一个604*604分辨率的图像，最后逐步调整到裁剪512*512分辨率的目标增强图像。其中，每裁剪都要确定面部区域10的完整性。
本实施例中，由于最终输出的目标增强图像的分辨率比图像的分辨率相差较大，所以通过获取中间分辨率的图像，可以防止直接裁剪目标增强图像的分辨率导致获取的目标增强图像的包括不完整的面部区域10。其次，通过获取中间分辨率的图像可以适用于不同的场景，可选地图像为证件照时，就需要将面部区域10尽量设置在获取的增强图像20的居中位置，当面部区域10在图像的左上角时，则不需要将面部区域10设置在获取的增强图像20的居中位置。另外，获取与图像的分辨率为设计比例，可以保证增强图像20不失真，并且能够保留原有的语义信息，使后续训练的模型具备更好的性能。对于通过获取中间分辨率的图像的次数不做限定。
在一些实施例中，上述步骤S400：对增强图像20识别，确定每个增强图像20的所属类别，以及每个类别的增强图像20在增强图像20总数量中的占比，包括：基于面部区域10面积与增强图像20面积的比例，确定增强图像20的类别、以及对应类别的增强图像20数量在增强图像20数量的占比。
上述步骤S400与上述步骤S200采用同样的类别分类方法，故不再赘述。
在一些实施例中，上述步骤S500：基于所有类别图像的占比分布，以及所有类别增强图像20的占比分布，确定欧几里得距离，当欧几里得距离大于设计值时，重新获取增强图像20，包括：确定图像与增强图像20同种类别的数量占比的差值；将最小的差值对应类别的增强图像20重新识别，得到至少一个最大的差值的对应类别的增强图像20。
可选地，在获取所有图像的增强图像20后，得到增强图像20数据集DA。获取DA中面部局域的面积占图像区域面积的占比分布RA，并将其与图像数据集中DO中面部局域的面积占图像区域面积的占比分布RO进行比较，计算RO与RA的欧几里得距离d(RO,RA)，欧几里得距离计算公式如下：
其中，和/>分别是DA和DO中不同类别图像数量的在图像总数量中的占比。
当d(RO,RA)小于或等于设计值时，输出数据集DA作为增强数据；当d(RO,RA)大于设计值时，重新获取增强图像20。
本实施例中，这样设置能够获取到更加符合真实场景下的面部区域10面积占图像面积比例，有利于使用增强图像20训练的模型在真实场景下的训练并得到更为准确的面部区域10识别的训练结果，通过此步骤，可以获得分割(裁剪)更好的图片作为增强数据，能够提高使用增强图像20训练模型的鲁棒性。
本实施例中，基于前述实施例中类别的分类，分别计算四种类别图像对应的差值，通过计算最大差值和最小差值，得到DA对应的需要调整的两类数据子集，以确定需要调整的类别，可选地，第一类和对应的第四类，可以从第四类对应的增强图像20中随机选出一定数量的增强图像20，进行重新获取，即进行重新裁剪，将面部区域10面积占图像面积的比例调节至第一类，即减少第四类增强图像20增加第一类增强图像20中，之后重新计算四种类别增强图像20的占比，并重新计算欧几里得距离，当重新计算欧几里得距离小于或等于设计值时，输出数据集DA作为增强数据；当重新计算欧几里得距离大于设计值时，重新获取增强图像20。当减少的第四类增强图像20数量达不到需要增加的第一类增强图像20数量时，重新从第四类对应的增强图像20中随机选出一定数量的增强图像20，进行裁剪，以使得减少的第四类增强图像20数量等于需要增加的第一类增强图像20数量。
在一些实施例中，基于所有类别图像的占比分布，以及所有类别增强图像20的占比分布，确定欧几里得距离之后，还包括：当欧几里得距离不小于设计值时，输出增强图像20。
输出的增强图像20用于进行数据增强，以训练神经网络模型，提高模型训练对人像区域的识别能力。
基于同一发明构思，本申请实施例提供了一种增强数据的获取装置，主要包括获取模块、识别模块和对比模块。获取模块用于获取多个图像，每个图像包括面部区域10，且任意两个图像不相同，获取模块还用于获取每个图像内的增强图像20，增强图像20包括面部区域10；识别模块用于对图像识别，确定每个图像的所属类别，以及每个类别的图像数量在图像总数量中的占比；识别模块还用于对增强图像20识别，确定每个增强图像20的所属类别，以及每个类别的增强图像20在增强图像20总数量中的占比；对比模块基于所有类别图像的占比分布，以及所有类别增强图像20的占比分布，确定欧几里得距离，当欧几里得距离大于设计值时，重新获取增强图像20；重新获取的增强图像20用于重新确定所有类别重新获取的增强图像20的占比分布，并且重新确定欧几里得距离。
增强数据的获取装置与前述增强数据的获取方法相对应，故不再赘述。
基于同一发明构思，本申请实施例提供了一种电子设备，包括：处理器；存储器，与处理器通信连接；至少一个程序，被存储在存储器中并被配置为由处理器执行，至少一个程序被配置用于：实现本申请前述实施例任一项中的增强数据的获取方法。
本技术领域技术人员可以理解，本申请实施例提供的电子设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
基于同一发明构思，本申请实施例提供了一种数据增强方法，包括：本申请前述实施例中增强数据的获取方法获取增强数据；利用增强数据训练神经网络模型。
可选地，可以采用TinaFace预训练模型对前述实施例提供的图像进行训练，以来检测数据集图像中面部的位置和大小，同时计算面部区域10在图像中所占的比例以及面部区域10占比在该数据集中的分布。应用本申请实施例，至少能够实现如下有益效果：
通过对图像的裁剪，能够获得不同类别且均包括有面部区域的增强图像20，基于所有类别图像的占比分布，以及所有类别增强图像20的占比分布，确定欧几里得距离，并将欧几里得距离与设计值的比较，确定是否需要重新获取增强图像20，使得获得的增强图像20包括有更为丰富的面部信息，以提高模型训练对人像区域的识别能力。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种增强数据的获取方法，其特征在于，包括：
获取多个图像，每个所述图像包括面部区域，且任意两个所述图像不相同；
对所述图像识别，确定每个所述图像的所属类别，以及每个类别的所述图像数量在所述图像总数量中的占比；
获取每个所述图像中的增强图像，所述增强图像包括所述面部区域；
对所述增强图像识别，确定每个所述增强图像的所属类别，以及每个类别的所述增强图像在所述增强图像总数量中的占比；
基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离，当所述欧几里得距离大于设计值时，重新获取增强图像；重新获取的增强图像用于重新确定所有类别所述重新获取的增强图像的占比分布，并且重新确定欧几里得距离。
2.根据权利要求1所述的增强数据的获取方法，其特征在于，所述获取每个所述图像中的增强图像，包括：
获取小于所述图像的分辨率且大于目标增强图像分辨率，以及与所述图像的分辨率为设计比例的增强图像。
3.根据权利要求1所述的增强数据的获取方法，其特征在于，所述基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离，当所述欧几里得距离大于设计值时，重新获取增强图像，包括：
确定所述图像与所述增强图像同种类别的数量占比的差值；
将最小的所述差值对应类别的增强图像重新识别，得到至少一个最大的所述差值的对应类别的增强图像。
4.根据权利要求1所述的增强数据的获取方法，其特征在于，所述获取每个所述图像内的增强图像，包括：
基于增强图像区域与所述面部区域相交，重新获取增强图像区域。
5.根据权利要求4所述的增强数据的获取方法，其特征在于，所述基于增强图像区域与所述面部区域相交，重新获取增强图像区域，包括：
沿第一方向和垂直于所述第一方向的第二方向建立坐标系，沿第一方向建立横坐标，沿第二方向建立纵坐标；
分别获取增强图像区域的第一点和第二点位于所述坐标系内的横、纵坐标，所述第一点和所述第二点分别为矩形的所述增强图像区域一对角线的端点；
获取面部区域第三点和第四点位于所述坐标系内的横、纵坐标，所述第三点和所述第四点分别为矩形的所述面部区域一对角线的端点；
所述第一点和所述第二点的连线与所述第三点和所述第四点的连线倾斜方向一致；
基于所述第一点的横坐标不大于所述第三点的横坐标、所述第一点的纵坐标不小于所述第三点的纵坐、所述第二点的横坐标不小于所述第四点的横坐标、且所述第二点的纵坐标不大于所述第四点的纵坐标；或者，
基于所述第一点的横坐标不大于所述第三点的横坐标、所述第一点的纵坐标不大于所述第三点的纵坐、所述第二点的横坐标不小于所述第四点的横坐标、且所述第二点的纵坐标不小于所述第四点的纵坐标，确认所述基于获取的增强图像与所述面部区域不相交，反之，确定所述基于获取的增强图像与所述面部区域相交。
6.根据权利要求1所述的增强数据的获取方法，其特征在于，所述对所述图像识别，确定每个所述图像的所属类别，以及每个类别的所述图像数量在所述图像总数量中的占比，包括：
基于所述面部区域的面积和所述图像的面积，确定所述面部区域占所述图像的面积的比例；
基于比例的大小，确定所述图像的类别和每个所述类别所述图像的数量。
7.根据权利要求1所述的增强数据的获取方法，其特征在于，所述基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离之后，还包括：
当所述欧几里得距离不大于所述设计值时，输出所述增强图像。
8.一种增强数据的获取装置，其特征在于，包括：
获取模块，用于获取多个图像，每个所述图像包括面部区域，且任意两个所述图像不相同，所述获取模块还用于获取每个所述图像内的增强图像，所述增强图像包括所述面部区域；
识别模块，用于对所述图像识别，确定每个所述图像的所属类别，以及每个类别的所述图像数量在所述图像总数量中的占比；所述识别模块还用于对所述增强图像识别，确定每个所述增强图像的所属类别，以及每个类别的所述增强图像在所述增强图像总数量中的占比；
对比模块，基于所有类别所述图像的占比分布，以及所有类别所述增强图像的占比分布，确定欧几里得距离，当所述欧几里得距离大于设计值时，重新获取增强图像；重新获取的增强图像用于重新确定所有类别所述重新获取的增强图像的占比分布，并且重新确定欧几里得距离。
9.一种电子设备，其特征在于，包括：
处理器；
存储器，与所述处理器通信连接；
至少一个程序，被存储在所述存储器中并被配置为由所述处理器执行，所述至少一个程序被配置用于：实现如权利要求1～8中任一项所述的增强数据的获取方法。
10.一种数据增强方法，其特征在于，包括：
利用权利要求1-8中任一项所述的增强数据的获取方法获取增强数据；
利用所述增强数据训练神经网络模型。
CN202111089111.0A 2021-09-16 2021-09-16 增强数据的获取方法及装置、数据增强方法、电子设备 Active CN113744161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111089111.0A CN113744161B (zh) 2021-09-16 2021-09-16 增强数据的获取方法及装置、数据增强方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089111.0A CN113744161B (zh) 2021-09-16 2021-09-16 增强数据的获取方法及装置、数据增强方法、电子设备

Publications (2)

Publication Number Publication Date
CN113744161A CN113744161A (zh) 2021-12-03
CN113744161B true CN113744161B (zh) 2024-03-29

Family

ID=78739449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089111.0A Active CN113744161B (zh) 2021-09-16 2021-09-16 增强数据的获取方法及装置、数据增强方法、电子设备

Country Status (1)

Country Link
CN (1) CN113744161B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310800A (zh) * 2020-01-20 2020-06-19 世纪龙信息网络有限责任公司 图像分类模型生成方法、装置、计算机设备和存储介质
WO2020215565A1 (zh) * 2019-04-26 2020-10-29 平安科技（深圳）有限公司 手部图像的分割方法、装置及计算机设备
WO2020239015A1 (zh) * 2019-05-31 2020-12-03 北京金山云网络技术有限公司 一种图像识别、分类方法、装置、电子设备及存储介质
WO2021078157A1 (zh) * 2019-10-22 2021-04-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112801857A (zh) * 2020-11-30 2021-05-14 泰康保险集团股份有限公司 一种图像的数据处理方法及装置
CN113222874A (zh) * 2021-06-01 2021-08-06 平安科技（深圳）有限公司 应用于目标检测的数据增强方法、装置、设备及存储介质
CN113298777A (zh) * 2021-05-21 2021-08-24 山东大学 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3281147A1 (en) * 2015-04-07 2018-02-14 FotoNation Limited Image processing method and apparatus
US10176557B2 (en) * 2016-09-07 2019-01-08 The Boeing Company Apparatus, system, and method for enhancing image video data
JP2019106045A (ja) * 2017-12-13 2019-06-27 キヤノン株式会社 画像処理装置、方法及びプログラム
KR20200111446A (ko) * 2019-03-19 2020-09-29 삼성전자주식회사 합성 이미지를 생성하는 전자 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215565A1 (zh) * 2019-04-26 2020-10-29 平安科技（深圳）有限公司 手部图像的分割方法、装置及计算机设备
WO2020239015A1 (zh) * 2019-05-31 2020-12-03 北京金山云网络技术有限公司 一种图像识别、分类方法、装置、电子设备及存储介质
WO2021078157A1 (zh) * 2019-10-22 2021-04-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111310800A (zh) * 2020-01-20 2020-06-19 世纪龙信息网络有限责任公司 图像分类模型生成方法、装置、计算机设备和存储介质
CN112801857A (zh) * 2020-11-30 2021-05-14 泰康保险集团股份有限公司 一种图像的数据处理方法及装置
CN113298777A (zh) * 2021-05-21 2021-08-24 山东大学 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统
CN113222874A (zh) * 2021-06-01 2021-08-06 平安科技（深圳）有限公司 应用于目标检测的数据增强方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113744161A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
CN107945185B (zh) 基于宽残差金字塔池化网络的图像分割方法及系统
US7577314B2 (en) Method and apparatus for generating a panorama background from a set of images
US9390475B2 (en) Backlight detection method and device
CN104392416B (zh) 一种运动场景的视频拼接方法
US20110170784A1 (en) Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus
CN103810473B (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN111353961B (zh) 一种文档曲面校正方法及装置
CN111612024B (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN111223108A (zh) 基于背景幕抠图和融合的方法和系统
CN110443245A (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
DE102020122844A1 (de) System und verfahren für tiefgehendes maschinelles lernen für computer-vision-anwendungen
Jung et al. Quantitative assessment method of image stitching performance based on estimation of planar parallax
CN111368573A (zh) 一种基于几何特征约束的定位方法
CN113744161B (zh) 增强数据的获取方法及装置、数据增强方法、电子设备
CN117095417A (zh) 一种屏摄表单图像文本识别方法、装置、设备及存储介质
CN111932594A (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
CN104408430B (zh) 一种车牌定位方法及装置
CN116109681A (zh) 图像融合方法、装置、电子设备及可读存储介质
CN110533652A (zh) 基于旋转不变lbp-surf特征相似度的图像拼接评价方法
CN113965814B (zh) 基于视频会议场景的多会场关键帧提取方法及系统
CN116152068A (zh) 一种可用于太阳能板图像的拼接方法
CN106447702B (zh) 一种立体图像匹配图计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant