CN111079624B - 一种样本信息采集的方法、装置、电子设备以及介质 - Google Patents

Abstract

本申请实施例提供了一种样本信息采集的方法、装置、电子设备以及介质，涉及计算机技术领域，所述方法包括：获取目标样本图像集合，分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，生成用于训练神经网络模型的训练集，训练集中包括目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像。采用本申请可以提高建立训练集的效率。

Description

一种样本信息采集的方法、装置、电子设备以及介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种样本信息采集的方法、装置、电子设备以及介质。

背景技术

目前，计算机视觉技术在各个领域的应用越来越广泛，例如，智能交通系统、智能家居系统或者支付系统等等，其中，计算机视觉技术通常可以应用于人脸识别。目前可采用神经网络模型实现计算机视觉技术，电子设备可以通过预设的包括人脸图像的样本集对神经网络模型进行训练，训练后的神经网络模型可以用于进行人脸识别。

在训练神经网络模型之前，需要搜集人脸图像样本以构建样本集。相关技术中，可以由人工搜索适合训练神经网络模型的人脸样本，或者，通过互联网自动搜索工具从具有公开信息的网站搜集人脸样本，然而，在搜索人脸样本的过程中，人工搜索的效率受限，且互联网中可用的人脸样本数量有限，因此难以高效搜集到足量的人脸样本数据，导致搜集样本的效率较低。

发明内容

本申请实施例的目的在于提供一种样本信息采集的方法、装置、电子设备以及介质，以提高建立训练集的效率。具体技术方案如下：

第一方面，提供了一种样本信息采集方法，所述方法应用于电子设备，所述方法包括：

获取目标样本图像集合，所述目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像；

分别对所述目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，其中，所述图像变换处理用于提高图像的清晰度；

生成用于训练神经网络模型的训练集，所述训练集中包括所述目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像。

可选的，所述获取目标样本图像集合，包括：

确定所述预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和/或分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和/或分辨率；

将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入所述目标样本图像集合。

可选的，在所述将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入所述目标样本图像集合之后，所述方法还包括：

确定每个未被加入所述目标样本图像集合的图像中的人脸区域的清晰度，将人脸区域的清晰度大于预设清晰度阈值的图像作为回收样本图像；

针对每个回收样本图像，将所述回收样本图像输入预设的超分辨率模型，获取所述超分辨率模型输出的所述回收样本图像对应的高清回收样本图像；

将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入所述目标样本图像集合。

可选的，所述分别对所述目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，包括：

针对每个目标样本图像，基于预设的图像编辑算法，对所述目标样本图像进行镜像、旋转、变形操作中的至少一种操作，得到所述目标样本图像对应的目标变换图像；和/或，

基于预设的图像增强网络模型，增强或者抑制所述目标样本图像中的特征，得到所述目标样本图像对应的目标变换图像。

可选的，所述基于预设的图像增强网络模型，增强或者抑制所述目标样本图像中的特征，得到所述目标样本图像对应的目标变换图像，包括：

基于预设的图像增强网络模型，提取所述目标样本图像的特征图；

确定所述图像增强网络模型中与所述特征图中各特征对应的目标处理单元；

基于预设的调整规则或者基于接收到的调整指令，调整所述图像增强网络模型中各目标处理单元的单元参数；

通过调整后的各目标处理单元，增强或者抑制所述特征图中的特征；

根据处理后的特征图生成目标变换图像。

可选的，所述训练集中还包括：每个图像对应的标注，在生成用于训练神经网络模型的训练集之后，所述方法还包括：

针对所述训练集中的每个图像，将所述图像输入至神经网络模型，获取所述神经网络模型输出的人脸识别结果；

计算所述人脸识别结果和所述图像对应的标注之间的损失函数值；

基于所述损失函数值以及预设的反向传播算法，调整所述神经网络模型的模型参数，直至所述损失函数值小于阈值，得到训练完成的神经网络模型。

第二方面，提供了一种样本信息采集装置，所述装置应用于电子设备，所述装置包括：

获取模块，用于获取目标样本图像集合，所述目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像；

图像变换模块，用于分别对所述目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，其中，所述图像变换处理用于提高图像的清晰度；

生成模块，用于生成用于训练神经网络模型的训练集，所述训练集中包括所述目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像。

可选的，所述获取模块包括：

确定子模块，用于确定所述预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和/或分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和/或分辨率；

加入子模块，用于将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入所述目标样本图像集合。

可选的，所述获取模块还包括：获取子模块；

所述确定子模块，还用于确定每个未被加入所述目标样本图像集合的图像中的人脸区域的清晰度，将人脸区域的清晰度大于预设清晰度阈值的图像作为回收样本图像；

所述获取子模块，用于针对每个回收样本图像，将所述回收样本图像输入预设的超分辨率模型，获取所述超分辨率模型输出的所述回收样本图像对应的高清回收样本图像；

所述加入子模块，还用于将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入所述目标样本图像集合。

可选的，所述图像变换模块，具体用于：

针对每个目标样本图像，基于预设的图像编辑算法，对所述目标样本图像进行镜像、旋转、变形操作中的至少一种操作；和/或，

基于预设的图像增强网络模型，增强或者抑制所述目标样本图像中的特征。

可选的，所述图像变换模块，具体还用于：

基于预设的图像增强网络模型，提取所述目标样本图像的特征图；

确定所述图像增强网络模型中与所述特征图中各特征对应的目标处理单元；

基于预设的调整规则或者基于接收到的调整指令，调整所述图像增强网络模型中各目标处理单元的单元参数；

通过调整后的各目标处理单元，增强或者抑制所述特征图中的特征；

根据处理后的特征图生成目标变换图像。

可选的，所述装置还包括：输入模块、计算模块和调整模块；

所述输入模块，用于针对所述训练集中的每个图像，将所述图像输入至神经网络模型，获取所述神经网络模型输出的人脸识别结果；

所述计算模块，用于计算所述人脸识别结果和所述图像对应的标注之间的损失函数值；

所述调整模块，用于基于所述损失函数值以及预设的反向传播算法，调整所述神经网络模型的模型参数，直至所述损失函数值小于阈值，得到训练完成的神经网络模型。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

本申请实施例提供一种样本信息采集的方法及装置，电子设备可以获取目标样本图像集合，然后分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，然后生成用于训练神经网络模型的训练集。通过本申请实施例，电子设备可以分别针对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应多个目标变换图像，每个目标样本图像均可作为训练集中的一个训练样本，因此，通过本申请实施例的方法可以增加训练集中的样本数量，提高了建立训练集的效率。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种样本信息采集方法的流程图；

图2为本申请实施例提供的另一种样本信息采集方法的流程图；

图3为本申请实施例提供的另一种样本信息采集方法的流程图；

图4为本申请实施例提供的另一种样本信息采集方法的流程图；

图5为本申请实施例提供的另一种样本信息采集方法的流程图；

图6为本申请实施例提供的另一种样本信息采集方法的流程图；

图7为本申请实施例提供的一种样本信息采集装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种样本信息采集的方法，该方法应用于电子设备。

下面将结合具体实施方式，对本申请实施例提供的样本信息采集的方法进行详细的说明，如图1所示，具体步骤如下：

步骤101、获取目标样本图像集合。

其中，目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像。

步骤102、分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像。

其中，图像变换处理用于提高图像的清晰度。

步骤103、生成用于训练神经网络模型的训练集。

其中，训练集中包括目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像。

本申请实施例提供一种样本信息采集的方法，电子设备可以获取目标样本图像集合，然后分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，然后生成用于训练神经网络模型的训练集。通过本申请实施例，电子设备可以分别针对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应多个目标变换图像，每个目标样本图像均可作为训练集中的一个训练样本，因此，通过本申请实施例的方法可以增加训练集中的样本数量，提高了建立训练集的效率。

进一步的，在上述步骤101中，预先采集的视频中包括人脸区域的视频帧图像可以为一段合法取得的影视资料中，有人脸出现的片段中的视频帧图像。

预先采集的包括人脸区域的图像可以为一组包括人脸的照片。

本申请实施例中，上述影视资料和照片可以为通过自动搜索工具或者人工搜索的方式采集的高清影视资料和高清照片，这样，可以使得目标样本图像集合中的图像的图像质量更高。

电子设备获取到预先采集的视频以及预先采集的图像后，电子设备可以基于预设的图像分割算法和/或预设的人脸检测模型，确定预先采集的视频的视频帧图像中以及预先采集的图像中包括人脸区域的图像。

图像分割算法可以根据图像或者视频帧图像的灰度、色彩、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。

基于上述图像分割算法的原理，电子设备可以基于图像分割算法，将预先收集的图像和/或预先收集的视频帧图像中人脸部分划分出来，进而实现确定预先采集的视频的视频帧图像中以及预先采集的图像中包括人脸区域的图像。

人脸检测模型是一种基于卷积运算的检测模型，人脸检测模型可以通过卷积运算计算图像或者视频帧图像的特征，并根据图像或者视频帧图像的特征判断图像或者视频帧图像中是否存在人脸区域，因此，电子设备也可以通过人脸检测模型确定预先采集的视频的视频帧图像中以及预先采集的图像中包括人脸区域的图像。

本申请实施例中，目标样本图像集合中既可以只包括图像，也可以只包括视频帧图像，还可以既包括图像也包括视频帧图像，本申请实施例不做限定。

在上述步骤102中，图像变换的目的在于改变图像，使得改变后的图像区别于改变前的图像。

图像变换处理的方式有多种，例如将图像整体翻转、将图像尺寸压缩、生成图像的镜像、改变图像中像素点的颜色值或者锐化图像等等，本申请实施例对图像变换的方式不做限定。

在上述步骤103中，各目标样本图像本身可以作为用于训练神经网络模型的训练样本，而且在本申请实施例中，由于每个目标样本图像分别对应多个目标变换图像，因此，当电子设备生成包括目标样本图像和目标变换图像的训练集后，该训练集中的样本数量可以明显多于目标样本图像的数量。

可选的，如图2所示，上述步骤101、获取目标样本图像集合，电子设备具体可以执行为以下步骤：

步骤201、确定预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和/或分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和/或分辨率。

本步骤具体包括以下三种实现方式：

方式一、确定预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值，以及每个预先采集的包括人脸区域的图像的噪声特征值。

方式二、确定预先采集的视频中每个包括人脸区域的视频帧图像的分辨率，以及每个预先采集的包括人脸区域的图像的分辨率。

方式三、确定预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和分辨率。

其中，在电子设备确定噪声特征值时，电子设备可以基于噪声检测工具检测预先采集的视频中，每个包括人脸区域的视频帧图像的噪声特征值，或者，电子设备可以基于噪声检测工具检测预先采集的包括人脸区域的图像的噪声特征值。

噪声检测工具用于检测图像中的噪声，例如，图像噪声检测工具可以为基于卷积运算的图像噪声检测模型，该图像噪声检测模型可以通过卷积运算，对目标样本图像中每个像素点进行卷积运算，进而得到目标样本图像的噪声特征值。

本申请实施例还可以使用相关技术中其他图像噪声检测工具确定噪声特征值，本申请实施例不做限定。

步骤202、将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入目标样本图像集合。

针对步骤201中的三种实现方式，步骤202也包括三种实现方式。

针对上述方式一，电子设备可以将噪声特征值小于预设噪声特征值阈值的图像加入目标样本图像集合。

针对上述方式二，电子设备可以将分辨率大于预设分辨率阈值的图像加入目标样本图像集合。

针对上述方式三，电子设备可以将噪声特征值小于预设噪声特征值阈值，和分辨率大于预设分辨率阈值的图像加入目标样本图像集合。

在实际应用中，噪声特征值大于等于预设噪声特征值阈值的图像会存在噪声过大或者过于模糊等问题，进而会使得训练集中的样本质量降低。

分辨率小于等于预设分辨率阈值的图像会存在的清晰度过低的问题，进而会使得训练集中的样本质量降低。

本申请实施例中，针对步骤201至步骤202，以及方式一至方式三，电子设备可以通过噪声特征值和/或分辨率，对预先采集的视频中每个包括人脸区域的视频帧图像，以及每个预先采集的包括人脸区域的图像进行筛选，提高了目标样本图像集合中图像的图像质量。

可选的，如图3所示，在上述步骤202、将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入目标样本图像集合之后，电子设备还可以对未被加入目标样本图像集合的图像进行回收，具体包括以下步骤：

步骤301、确定每个未被加入目标样本图像集合的图像中的人脸区域的清晰度，将人脸区域的清晰度大于预设清晰度阈值的图像作为回收样本图像。

其中，未被加入目标样本图像集合的图像为：预先采集的视频中包括人脸区域的视频帧图像中，以及每个预先采集的包括人脸区域的图像中，未被加入目标样本图像集合的图像。

清晰度表示图像的清晰程度，电子设备可以通过像素值梯度或者对比度判断图像是否清晰。

例如，电子设备可以通过判断人脸区域中像素点的像素值梯度判断人脸区域是否清晰。

若人脸区域与背景区域交界处的像素点的像素值梯度大于预设的梯度阈值，或者，人脸区域中各部分(比如眼睛和皮肤)之间的像素值梯度大于预设的梯度阈值，则人脸区域为清晰的人脸区域。

再例如，若人脸区域的对比度大于预设的对比度阈值，则人脸区域为清晰的人脸区域。

在本申请实施例中，若未被加入目标样本图像集合的图像的清晰度大于预设清晰度阈值，则说明人脸区域是清晰的，进而说明人脸区域的清晰度大于预设清晰度阈值的图像具有很大的回收利用空间。

例如，一张具有景深效果的照片，该具有景深效果的照片中的背景部分是虚化的(即该具有景深效果的照片中的背景部分的清晰度较低)，同时，若该具有景深效果的照片中人脸区域是清晰的，则该具有景深效果的照片可以作为训练集中的训练样本。

步骤302、针对每个回收样本图像，将回收样本图像输入预设的超分辨率模型，获取超分辨率模型输出的回收样本图像对应的高清回收样本图像。

当电子设备筛选出具有很大的回收利用空间的回收样本图像后，可以通过超分辨率模型对每个回收样本图像进行高清处理，进而使得每个回收样本图像的图像质量提高。

其中，超分辨率模型指一类用于对图像进行高清化处理的卷积神经网络模型，超分辨率模型可以通过特征提取、非线性映射和图像重构步骤，将低分辨率的图像转化为高分辨率的图像。

在本申请实施例中，电子设备可以通过超分辨率模型，将回收样本图像中的人脸区域进行高清化处理，进而使得回收样本图像的图像质量接近甚至超过目标样本图像的图像质量。

步骤303、将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入目标样本图像集合。

可以理解的，当电子设备将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入目标样本图像集合后，每个回收样本图像以及每个回收样本图像对应的高清回收样本图像同样会作为目标样本图像。

当电子设备针对目标样本图像集合执行上述步骤102至步骤103的操作时，电子设备同样会对每个回收样本图像以及每个回收样本图像对应的高清回收样本图像执行上述步骤102至步骤103的操作。

在本申请实施例中，由于电子设备从未被加入目标样本图像集合的图像中回收了具有较高利用价值的回收样本图像，且电子设备对每个回收样本图像进行高清化处理，因此，电子设备扩充了目标样本图像集合中的图像数量，同时还保证了目标样本图像集合中图像的质量。

进而，由于电子设备同样会对每个回收样本图像以及每个回收样本图像对应的高清回收样本图像执行上述步骤102至步骤103的操作，因此结合步骤301至步骤303以及步骤102至步骤103，电子设备既扩充了训练集中图像的数量，同时也保证了训练集中图像的图像质量。

可选的，如图4所示，上述步骤102、分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，电子设备具体可以执行为以下步骤：

步骤401、针对每个目标样本图像，基于预设的图像编辑算法，对目标样本图像进行镜像、旋转、变形操作中的至少一种操作；和/或，基于预设的图像增强网络模型，增强或者抑制目标样本图像中像素点单元。

其中，电子设备可以通过预设的图像编辑算法，基于目标样本图像的像素点矩阵，对目标样本图像中的像素点进行平移、转置、镜像、插值等数学运算，使得目标样本图像中的像素点的位置改变，进而实现图像变换的目的。

电子设备也可以通过图像增强网络模型，对目标样本图像中的像素点的像素值进行增加(增强)或减少(抑制)，使得目标样本图像中的某一部分区域被增强或抑制，从而实现图像变换的目的。

可选的，如图5所示，针对上述步骤401中，基于预设的图像增强网络模型，增强或者抑制目标样本图像中的特征步骤，电子设备具体可以执行为以下步骤：

步骤501、基于预设的图像增强网络模型，提取目标样本图像的特征图。

其中，目标样本图像的特征可以通过特征图表示，电子设备可以通过图像增强网络模型中包括的特征提取层，提取目标样本图像的特征图。

在实际应用中，图像增强网络模型可以是基于对抗网络(GenerativeAdversarial Networks，GAN)构建的网络模型。

步骤502、确定图像增强网络模型中与特征图中各特征对应的目标处理单元。

其中，在图像增强网络模型中，每个处理单元对应不同的特征，电子设备可以根据特征与处理单元的对应关系，确定特征图中各特征对应的目标处理单元。

在实际应用中，若目标图像的特征图中某一个特征不存在对应的处理单元，则电子设备对该特征不进行处理。

步骤503、基于预设的调整规则或者基于接收到的调整指令，调整图像增强网络模型中各目标处理单元的单元参数。

在实际应用中，预设的调整规则可以为一种调参函数，电子设备确定目标处理单元后，电子设备可以基于预设的调参函数，调整目标处理单元的单元参数，无需人为参与，实现自动化调参。

在另一种实现方式中，在基于图像增强网络模型提取目标样本图像的特征图后，还可以通过上采样的方式，将目标样本图像的特征图进行展示，用户可以基于展示的特征图输入对目标处理单元的单元参数进行调整的调整指令。

电子设备接收到用户输入的调整指令后，可以基于用户输入的调整指令包括的单元参数变化量，调整图像增强网络模型中各目标处理单元的单元参数。

步骤504、通过调整后的各目标处理单元，增强或者抑制特征图中的特征。

其中，增强和抑制的实质为：调整目标样本图像的特征图中各特征的权重。

例如，电子设备可以通过升高目标处理单元A的单元参数，使得被目标处理单元A处理后的特征图中的特征A的权重被增加，电子设备也可以通过降低目标处理单元B的单元参数，使得被目标处理单元B处理后的特征图中的特征B的权重被减少。

步骤505、根据处理后的特征图生成目标变换图像。

在本申请实施例中，电子设备可以通过图像增强网络模型对目标样本图像中的特征进行增强或者抑制，可以得到更多的目标变换图像，进而可以增加训练集中的图像数量。

可选的，如图6所示，在上述步骤103、生成用于训练神经网络模型的训练集之后，电子设备还可以根据该训练集训练神经网络模型，具体包括以下步骤：

步骤601、针对训练集中的每个图像，将图像输入至神经网络模型，获取神经网络模型输出的人脸识别结果。

其中，训练集中还包括：每个图像对应的标注。人脸识别结果可以是人脸属性。

在实际应用中，人脸属性可以用于身份识别功能。例如，电子设备中可以预先设置人脸属性与身份的对应关系，当电子设备通过神经网络模型识别到图像中的人脸属性时，可以根据该人脸属性确定该人脸属性对应的身份，进而确定该图像中的人物对应的身份。

步骤602、计算人脸识别结果和图像对应的标注之间的损失函数值。

在实际应用中，电子设备可以基于交叉熵函数，计算人脸识别结果和图像对应的标注之间的损失函数值，本申请实施例不做限定。

步骤603、基于损失函数值以及预设的反向传播算法，调整神经网络模型的模型参数，直至损失函数值小于阈值，得到训练完成的神经网络模型。

在本申请实施例中，电子设备可以通过训练神经网络模型，使该神经网络模型可以更准确的识别人脸属性。

可选的，在电子设备基于步骤601至步骤603对神经网络模型进行训练后，可以将训练后的神经网络模型用于人脸识别领域、智能家居领域、增强现实(Augmented Reality，AR)领域等。

例如，在智能家居系统中，摄像设备(例如摄像头)中可以预设一个训练好的神经网络模型，当摄像设备拍摄到人脸图像时，摄像设备可以基于摄像设备中预设的训练好的神经网络模型，确定该人脸图像对应的身份信息(该身份信息可以是用户在该智能家居系统中预存的人脸图像对应的身份信息)。若摄像设备识别出该人脸图像对应的身份信息，则摄像设备可以向该智能家居系统中其他终端发送该身份信息，以使得其他终端启动该人脸图像对应的身份信息对应的功能。

基于相同的技术构思，本申请实施例还提供了一种样本信息采集装置，如图7所示，该装置包括：获取模块701、图像变换模块702和生成模块703：

获取模块701，用于获取目标样本图像集合，目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像；

图像变换模块702，用于分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，其中，图像变换处理用于提高图像的清晰度；

生成模块703，用于生成用于训练神经网络模型的训练集，训练集中包括目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像。

可选的，获取模块701包括：

确定子模块，用于确定预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和/或分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和/或分辨率；

加入子模块，用于将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入目标样本图像集合。

可选的，获取模块还包括：获取子模块；

确定子模块，还用于确定每个未被加入目标样本图像集合的图像中的人脸区域的清晰度，将人脸区域的清晰度大于预设清晰度阈值的图像作为回收样本图像；

获取子模块，用于针对每个回收样本图像，将回收样本图像输入预设的超分辨率模型，获取超分辨率模型输出的回收样本图像对应的高清回收样本图像；

加入子模块，还用于将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入目标样本图像集合。

可选的，图像变换模块702，具体用于：

针对每个目标样本图像，基于预设的图像编辑算法，对目标样本图像进行镜像、旋转、变形操作中的至少一种操作；和/或，

基于预设的图像增强网络模型，增强或者抑制目标样本图像中的特征。

可选的，图像变换模块702，具体还用于：

基于预设的图像增强网络模型，提取目标样本图像的特征图；

确定图像增强网络模型中与特征图中各特征对应的目标处理单元；

基于预设的调整规则或者基于接收到的调整指令，调整图像增强网络模型中各目标处理单元的单元参数；

通过调整后的各目标处理单元，增强或者抑制特征图中的特征；

根据处理后的特征图生成目标变换图像。

可选的，该装置还包括：输入模块、计算模块和调整模块；

输入模块，用于针对训练集中的每个图像，将图像输入至神经网络模型，获取神经网络模型输出的人脸识别结果；

计算模块，用于计算人脸识别结果和图像对应的标注之间的损失函数值；

调整模块，用于基于损失函数值以及预设的反向传播算法，调整神经网络模型的模型参数，直至损失函数值小于阈值，得到训练完成的神经网络模型。

本申请实施例提供一种样本信息采集的装置，电子设备可以获取目标样本图像集合，然后分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，然后生成用于训练神经网络模型的训练集。通过本申请实施例，电子设备可以分别针对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应多个目标变换图像，每个目标样本图像均可作为训练集中的一个训练样本，因此，通过本申请实施例的方法可以增加训练集中的样本数量，提高了建立训练集的效率。

本申请实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：

获取目标样本图像集合，目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像；

分别对目标样本集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，其中，图像变换处理用于提高图像的清晰度；

生成用于训练神经网络模型的训练集，训练集中包括目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像。

需要说明的是，处理器801，用于执行存储器803上所存放的程序时，还用于实现上述方法实施例中描述的其他步骤，可参考上述方法实施例中的相关描述，此处不再赘述。

上述网络设备提到的通信总线可以是外设部件互连标准(英文：PeripheralComponent Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended IndustryStandard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述网络设备与其他设备之间的通信。

存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non-Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述样本信息采集方法步骤。

基于相同的技术构思，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述样本信息采集方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (7)

1.一种样本信息采集的方法，其特征在于，所述方法包括：

获取目标样本图像集合，所述目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像；

分别对所述目标样本图像集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，其中，所述图像变换处理用于提高图像的清晰度；

生成用于训练神经网络模型的训练集，所述训练集中包括所述目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像；

其中，所述获取目标样本图像集合，包括：

确定所述预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和/或分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和/或分辨率；

将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入所述目标样本图像集合；

确定每个未被加入所述目标样本图像集合的图像中的人脸区域的清晰度，将人脸区域的清晰度大于预设清晰度阈值的图像作为回收样本图像；

针对每个回收样本图像，将所述回收样本图像输入预设的超分辨率模型，获取所述超分辨率模型输出的所述回收样本图像对应的高清回收样本图像；

将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入所述目标样本图像集合。

2.根据权利要求1所述的方法，其特征在于，分别对所述目标样本图像集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，包括：

针对每个目标样本图像，基于预设的图像编辑算法，对所述目标样本图像进行镜像、旋转、变形操作中的至少一种操作，得到所述目标样本图像对应的目标变换图像；和/或，

基于预设的图像增强网络模型，增强或者抑制所述目标样本图像中的特征，得到所述目标样本图像对应的目标变换图像。

3.根据权利要求2所述的方法，其特征在于，所述基于预设的图像增强网络模型，增强或者抑制所述目标样本图像中的特征，得到所述目标样本图像对应的目标变换图像，包括：

基于预设的图像增强网络模型，提取所述目标样本图像的特征图；

确定所述图像增强网络模型中与所述特征图中各特征对应的目标处理单元；

基于预设的调整规则或者基于接收到的调整指令，调整所述图像增强网络模型中各目标处理单元的单元参数；

通过调整后的各目标处理单元，增强或者抑制所述特征图中的特征；

根据处理后的特征图生成目标变换图像。

4.根据权利要求1所述的方法，其特征在于，所述训练集中还包括：每个图像对应的标注，在生成用于训练神经网络模型的训练集之后，所述方法还包括：

针对所述训练集中的每个图像，将所述图像输入至神经网络模型，获取所述神经网络模型输出的人脸识别结果；

计算所述人脸识别结果和所述图像对应的标注之间的损失函数值；

基于所述损失函数值以及预设的反向传播算法，调整所述神经网络模型的模型参数，直至所述损失函数值小于阈值，得到训练完成的神经网络模型。

5.一种样本信息采集的装置，其特征在于，所述装置包括：

获取模块，用于获取目标样本图像集合，所述目标样本图像集合中包括：预先采集的视频中包括人脸区域的视频帧图像，和/或预先采集的包括人脸区域的图像；

图像变换模块，用于分别对所述目标样本图像集合中的每个目标样本图像进行图像变换处理，得到每个目标样本图像对应的多个目标变换图像，其中，所述图像变换处理用于提高图像的清晰度；

生成模块，用于生成用于训练神经网络模型的训练集，所述训练集中包括所述目标样本图像集合中的每个目标样本图像，以及每个目标样本图像对应的多个目标变换图像；

其中，所述获取模块包括：

确定子模块，用于确定所述预先采集的视频中每个包括人脸区域的视频帧图像的噪声特征值和/或分辨率，以及每个预先采集的包括人脸区域的图像的噪声特征值和/或分辨率；

加入子模块，用于将噪声特征值小于预设噪声特征值阈值，和/或分辨率大于预设分辨率阈值的图像加入所述目标样本图像集合；

所述确定子模块，还用于确定每个未被加入所述目标样本图像集合的图像中的人脸区域的清晰度，将人脸区域的清晰度大于预设清晰度阈值的图像作为回收样本图像；

获取子模块，用于针对每个回收样本图像，将所述回收样本图像输入预设的超分辨率模型，获取所述超分辨率模型输出的所述回收样本图像对应的高清回收样本图像；

所述加入子模块，还用于将每个回收样本图像以及每个回收样本图像对应的高清回收样本图像加入所述目标样本图像集合。

6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。