CN109740505B - 一种训练数据生成方法、装置及计算机设备 - Google Patents

Abstract

本申请提供一种训练数据生成方法、装置及计算机设备，所述方法包括：获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理；将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，其中，所述图像序列中的M帧图像经过随机变换处理；将所述图像序列转换成视频，并对所述视频进行编解码操作；在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对。本申请实施例所提供的方案，通过算法模拟双动态人脸图像，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。

Description

一种训练数据生成方法、装置及计算机设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种训练数据生成方法、装置及计算机设备。

背景技术

公共安全，是指社会和公民个人从事和进行正常的生活、工作、学习、娱乐和交往所需要的稳定的外部环境和秩序。近年来国内外公共安全事件频发，给安防行业带来了巨大的挑战。

为了提高安防水平，很多城市已在公共安全领域使用人工智能技术。“移动天眼”是一种视频采集及预警分析系统，其通过智能视频采集有效地收集社会安全基础信息、立体化社会治安防控以及应急处置时进行智能探测预警，可实现人员、车辆、移动信息采集，智能分析与对比，智能预警，人员、车辆详情查阅，警情接收、处警，会议通话，语音调度，智慧巡防等功能。可应用于公安追逃、反恐袭击、应急执法、活动安保等移动执法布控领域，大力提升执法部门案件侦破和应急处置效率。

但是，复杂的现实环境也会给移动天眼带来诸多困难。例如，采集目标离摄像头比较远导致目标图像像素低，目标物体运动所导致的运动模糊以及光线不足导致的噪音等，都会导致摄像头获得的视频图像的人脸图片无法进行人脸识别。针对这些问题，现有技术中一种普遍的做法为对人脸图像进行重建恢复。但是，由于往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像作为训练数据，从而导致重建难度高，耗时久等。

发明内容

有鉴于此，本申请的目的在于提供一种训练数据生成方法、装置及计算机设备，以利于解决现有技术中无法同时获得同一场景的高分辨率图像和对应的低分辨率图像作为训练数据的问题。其具体方案如下：

第一方面，本申请实施例提供了一种训练数据生成方法，包括：

获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理；

将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，其中，所述图像序列中的M帧图像经过随机变换处理；

将所述图像序列转换成视频，并对所述视频进行编解码操作；

在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对。

优选地，对所述高分辨率人脸图像进行预处理，包括：

通过人脸检测算法框选高分辨率图像中的人脸部分；

对所述人脸部分进行缩放，获得预处理后的人脸图像。

优选地，所述随机变换处理包括下述一种或其组合：

随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理。

优选地，所述随机变换处理包括：

定位目标帧为N帧，对所述图像序列中的第1到N-1帧图像进行随机变型、随机平移、随机旋转、比例缩放处理，对所述图像序列中的第N到M帧图像进行高斯模糊处理，其中，N≤M。

优选地，所述在解码后的所述视频中截取一帧图像作为低分辨率人脸图像，包括：

在解码后的所述视频中截取目标帧，将所述目标帧作为所述高分辨率人脸图像对应的低分辨率人脸图像。

第二方面，本申请实施例提供了一种训练数据生成装置，包括：

获取模块，用于获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理；

复制模块，用于将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，其中，所述图像序列中的M帧图像经过随机变换处理；

转换模块，用于将所述图像序列转换成视频，并对所述视频进行编解码操作；

截取模块，用于在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对。

优选地，对所述高分辨率人脸图像进行预处理，包括：

通过人脸检测算法框选高分辨率图像中的人脸部分；

对所述人脸部分进行缩放，获得预处理后的人脸图像。

优选地，所述随机变换处理包括下述一种或其组合：

随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理。

优选地，所述随机变换处理，包括：

定位目标帧为N帧，对所述图像序列中的第1到N-1帧图像进行随机变型、随机平移、随机旋转、比例缩放处理，对所述图像序列中的第N到M帧图像进行高斯模糊处理，其中，N≤M。

第三方面，本申请实施例提供了一种计算机设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述第一方面所述的步骤。

本申请实施例所提供的方案，通过算法模拟双动态人脸图像，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种训练数据生成方法流程示意图；

图2为本申请实施例提供的一种训练数据生成装置结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例依托于人工智能中的深度学习技术，在视频采集端与目标物均处于运动的复杂多变的环境下，进行目标物的抓取、清晰化处理、结构化特征提取等一系列操作，实现超低码流传输，并将结构化特征与海量目标数据库进行比对，实现实时预警的移动天眼系统。

本申请实施例涉及的双动态是指图像采集设备和目标均处于运动状态，在该状态下，图像采集设备采集的图像分辨率往往较低，需要重建恢复后才可以使用。为了对低分辨率图像进行重建恢复，往往需要训练数据对恢复模型进行训练。但是，现实场景中往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，也就是说，在现实场景中往往无法直接获取到训练数据。本申请可以实现移动天眼环境下，低质量人脸小图的模拟生成。需要指出的是，移动天眼只是作为本申请的一种使用场景，本申请实施例所提供的方案同样可以应用于其它场景，其均应当处于本申请的保护范围之内。

基于此，本申请实施例提供了一种训练数据生成方法，图1为本申请实施例提供的一种训练数据生成方法流程示意图，如图1所示，其主要包括以下步骤。

步骤S101：获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理。

在一种可选实施例中，所述高分辨率人脸图像可以为商场数据库中的一帧高清人脸图像T。所述预处理可以为：通过MTCNN人脸检测算法框选高分辨率图像中的人脸部分，其目的在于剔除大部分图片背景。

另外，由于在实际应用中，经由双动态获取的人脸图像由于距离和角度的关系，图像往往模糊而且小，因此在通过人脸检测算法框选出人脸部分之后，还需要对人脸部分进行缩放。例如，可以将图像统一缩放到一定的大小A x B，或者将图像按照一定的比例K进行缩放，其中，A、B为大于0的自然数，K大于0且小于1。例如，在一种可选实施例中，A x B取值100x100，K取值为0.5。

步骤S102：将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，其中，所述图像序列中的M帧图像经过随机变换处理。

具体地，对缩放后的高清图像连续复制成M帧，生成一个图像序列，对图像序列中的M帧图像进行随机变换处理，可以为随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理等，本申请实施例对其具体处理方式不做限制。

步骤S103：将所述图像序列转换成视频，并对所述视频进行编解码操作。

针对步骤S102中失真处理后的图像序列，再通过编解码技术模拟压缩失真。该编解码技术可以为H264编解码技术，其模拟压缩失真的方式具体为：

1)模拟低等压缩失真，采用IPPPP帧编码方式，帧率为15，码流为500k，I、P帧各帧间QP变化幅度不大于2，编码所采用的最小QP值为28，最大QP值为40；

2)模拟中等压缩失真，采用IPPPP帧编码方式，帧率为25，码流为200k,I、P帧各帧间QP变化幅度不大于5，编码所采用的最小QP值为35，最大QP值为40；

3)模拟高等压缩失真，采用IPBBPBBPBBP帧编码方式，帧率为25，码流为100k,I、P帧各帧间QP变化幅度不大于5，编码所采用的最小QP值为40，最大QP值为50。

步骤S104：在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对。

也就是说，视频中的任意一帧图像均可以作为低分辨率人脸图像与高分辨率人脸图像构成训练数据对。

本申请实施例所提供的方案，通过算法模拟双动态人脸图像，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。

在本申请一种优选实施例中，为了达到更好的效果，可以根据步骤S102中图像的随机变换情况，截取特定的一帧图像作为低分辨率人脸图像。具体为，在步骤S102中，定位目标帧为N帧，对图像序列的前N-1帧通过小角度的随机平移变换、旋转变换并将图像以P比例进行缩放。该方法通过对图像序列的前N-1帧通过随机小角度变型、随机上下左右偏移来模拟不同程度的人脸运动，以P比例进行缩放来模拟由远至近的运动过程，其中P可以为(0.94-0.99)之间的随机值。

实际上，双动态获取的人脸图像除了由于人运动所造成的运动模糊以外，还可能由于光线和设备的硬件原因所造成的模糊。在本申请实施例中，对图像序列的N帧以及之后的所有帧通过高斯模糊及腐蚀操作来模拟不同程度的运动模糊，降低图像的细节信息，进一步的模拟失真图片。

需要指出的是，在上述参数中，M为大于0的正整数，N大于0小于M的正整数。优选地，M取值25，N取值20。

在步骤S104中，在解码后的视频中截取目标帧t，将所述目标帧t作为所述高分辨率人脸图像对应的低分辨率人脸图像。相应的，目标帧t与预处理后的高分辨率图像T构成图相对，作为训练数据对。

在本申请实施例中，前面的N-1帧是参考帧，用于模拟目标物对应的由远及近的运动过程，前面所有N-1帧对第N帧目标帧的综合影响都集中体现在N帧上，因此，截取第N帧作为低分辨率人脸图像可以达到更优的技术效果。

与上述实施例相对应，本申请还提供了一种训练数据生成装置，图2为本申请实施例提供的一种训练数据生成装置结构示意图，如图2所示，该装置包括以下模块。

获取模块201，用于获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理；

复制模块202，用于将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，其中，所述图像序列中的M帧图像经过随机变换处理；

转换模块203，用于将所述图像序列转换成视频，并对所述视频进行编解码操作；

截取模块204，用于在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对。

在一种可选实施例中，对所述高分辨率人脸图像进行预处理，包括：

通过人脸检测算法框选高分辨率图像中的人脸部分；

对所述人脸部分进行缩放，获得预处理后的人脸图像。

在一种可选实施例中，所述随机变换处理包括下述一种或其组合：

随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理。

在一种可选实施例中，所述随机变换处理，包括：定位目标帧为N帧，对所述图像序列中的第1到N-1帧图像进行随机变型、随机平移、随机旋转、比例缩放处理，对所述图像序列中的第N到M帧图像进行高斯模糊处理，其中，N≤M。

本申请实施例所提供的方案，通过算法模拟双动态人脸图像，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。

在本申请的又一种具体实施方式中，本申请实施例提供一种计算机可读存储器，所述计算机存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中的步骤。

在本申请的一种具体实施方式中，本申请实施例提供一种计算机设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述方法实施例中的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OMly Memory，ROM)、随机存取存储器(RaMdom Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种服务器上电状态监测系统及方法、计算机存储器及设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种训练数据生成方法，其特征在于，包括：

获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理；

将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，对所述图像序列中的M帧图像进行随机变换处理；

将所述图像序列转换成视频，并对所述视频进行编解码操作；

在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对；

其中，所述随机变换处理包括下述一种或其组合：

随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理。

2.根据权利要求1所述的方法，其特征在于，对所述高分辨率人脸图像进行预处理，包括：

通过人脸检测算法框选高分辨率图像中的人脸部分；

对所述人脸部分进行缩放，获得预处理后的人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述随机变换处理包括：

定位目标帧为N帧，对所述图像序列中的第1到N-1帧图像进行随机变型、随机平移、随机旋转、比例缩放处理，对所述图像序列中的第N到M帧图像进行高斯模糊处理，其中，N≤M。

4.根据权利要求3所述的方法，其特征在于，所述在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，包括：

在解码后的所述视频中截取目标帧，将所述目标帧作为所述高分辨率人脸图像对应的低分辨率人脸图像。

5.一种训练数据生成装置，其特征在于，包括：

获取模块，用于获取高分辨率人脸图像，并对所述高分辨率人脸图像进行预处理；

复制模块，用于将预处理后的人脸图像复制为M份，获得包含M帧图像的图像序列，对所述图像序列中的M帧图像进行随机变换处理；

转换模块，用于将所述图像序列转换成视频，并对所述视频进行编解码操作；

截取模块，用于在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像，所述低分辨率人脸图像和所述高分辨率人脸图像构成训练数据对；

其中，所述随机变换处理包括下述一种或其组合：

随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理。

6.根据权利要求5所述的装置，其特征在于，对所述高分辨率人脸图像进行预处理，包括：

通过人脸检测算法框选高分辨率图像中的人脸部分；

对所述人脸部分进行缩放，获得预处理后的人脸图像。

7.根据权利要求6所述的装置，其特征在于，所述随机变换处理，包括：

定位目标帧为N帧，对所述图像序列中的第1到N-1帧图像进行随机变型、随机平移、随机旋转、比例缩放处理，对所述图像序列中的第N到M帧图像进行高斯模糊处理，其中，N≤M。

8.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的步骤。

Images