CN103905821A

CN103905821A - 能够识别人脸的视频编码方法及装置

Info

Publication number: CN103905821A
Application number: CN201410167076.3A
Authority: CN
Inventors: 蒋承昌; 余灵先; 彭明明; 夏永奇
Original assignee: Shenzhen Infinova Ltd
Current assignee: Shenzhen Infinova Ltd
Priority date: 2014-04-23
Filing date: 2014-04-23
Publication date: 2014-07-02

Abstract

本发明涉及领域摄像设备的图像编码领域。提供一种能够识别人脸的视频编码方法，包括步骤：将图像传感器采集的信号转化为YUV数据；YUV数据分别发送至第一缓存器和第二缓存器，送入第一缓存器的YUV数据为具有原始分辨率的第一数据，送入第二缓存器的YUV数据为分辨率被压缩的第二数据；对第二数据执行人脸检测算法，获取符合人脸特征的宏块的区域信息；对第一数据进行编码，并根据区域信息提高第一数据中对应区域的宏块的编码码率。本发明还提供一种能够识别人脸的视频编码装置。本发明的有益效果在于：由于第二数据的分辨率低，执行人脸检测算法时具有较快的运算速率，运算耗时显著缩短。

Description

能够识别人脸的视频编码方法及装置

技术领域

本发明涉及领域摄像设备的图像编码领域，尤其涉及一种能够识别人脸的视频编码方法及装置。

背景技术

很多监控场景都需要智能识别的功能，比如基于人脸检测技术的人脸识别功能。人脸检测是基于Adaboost算法，采用瀑布模型，算法中扫描图像的区域有一个强分类器和多个弱分类器，强分类器由这一系列的弱分类器组成，每个弱分类器中包含了特定区域的图像数据，然后分析图像中是否存在人脸的特征(眼、口、鼻、额头、眉毛等)，若存在上述的特征，那么就将这些具有人脸特征的分类器组合起来，如果组合起来的特征符合人脸的特性，那么就确定这个区域中有一张人脸，并且返回图像中符合人脸特征区域的像素起始坐标和该区域的大小。

但由于现在的网络带宽有限，当需要从监控图像获取更多信息的时候，因为图像存在主要和次要的信息，相同带宽下，需要更多更详细的信息的时候，就必须突出显示主要的信息，削弱次要的信息。例如，摄像机设备检测到图像视野范围内有人脸，要将人脸更清晰地显示就必须将人脸出现的主要区域的编码质量提高，但是设备当前设置的总的码率(带宽)是固定的，一旦将部分区域中的编码质量升高，那么其他区域中的编码质量就会降低。

智能编码是一种基于H.264编码规范的人脸检测编码方式，在图像总码率(总带宽)不变的情况下，提高视频图像中客户感兴趣的区域的编码质量，降低不感兴趣的区域的编码质量。但其编码过程是针对原始视频数据进行的，由于原始视频的分辨率非常高，因此智能编码的过程需要耗费很长的时间，影响编码的效率和人脸检测算法的效率，如果原始视频数据是高清的图像(720P/1080P/4K)的话，其影响效果更明显。

发明内容

本发明所要解决的技术问题是针对现有技术进行人脸检测的智能编码的时间过长的缺陷，提供一种能够识别人脸的视频编码方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：一种能够识别人脸的视频编码方法，包括步骤：

将图像传感器采集的信号转化为YUV数据；

所述YUV数据分别发送至第一缓存器和第二缓存器，送入第一缓存器的YUV数据为具有原始分辨率的第一数据，送入第二缓存器的YUV数据为分辨率被压缩的第二数据；

对所述第二数据执行人脸检测算法，获取符合人脸特征的宏块的区域信息，所述区域信息包括人脸特征所在区域的像素坐标和区域大小；

对所述第一数据进行编码，并根据区域信息提高第一数据中对应区域的宏块的编码码率。

本发明采用的另一个技术方案为：一种能够识别人脸的视频编码装置，包括：

图像处理器，用于将图像传感器采集的信号转化为YUV数据；

传输单元，用于将所述YUV数据分别发送至第一缓存器和第二缓存器，送入第一缓存器的YUV数据为具有原始分辨率的第一数据，送入第二缓存器的YUV数据为分辨率被压缩的第二数据；

人脸检测单元，用于对所述第二数据执行人脸检测算法，获取符合人脸特征的宏块的区域信息，所述区域信息包括人脸特征所在区域的像素坐标和区域大小；

编码单元，用于对所述第一数据进行编码，并根据区域信息提高第一数据中对应区域的宏块的编码码率。

本发明的有益效果在于：将采集到的原始视频数据分为具有原始分辨率的第一数据和降低分辨率的第二数据，并分发至不同的缓存器进行处理，对第二数据执行人脸检测算法得到具有人脸特征的区域信息，结合该区域信息对第一数据进行编码，得到提高人脸所在区域的码率的编码视频，由于第二数据的分辨率低，执行人脸检测算法时具有较快的运算速率，运算耗时显著缩短。

附图说明

图1为本发明的第一实施方式能够识别人脸的视频编码方法的流程图；

图2为本发明的第二实施方式能够识别人脸的视频编码装置的结构框图；

图3为本发明的另一实施方式的示意图。

主要元件符号说明：

10、图像处理器；20、传输单元；30、人脸检测单元；40、编码单元；

50、网络摄像机；51、图像传感器；52、ISP；53、人脸检测缓存；54、编码缓存；55、DSP；56、编码芯片；57、码流输出单元；

60、显示终端。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：采用两个缓存器对具有不同分辨率的同一视频分别进行人脸识别运算和编码，进行人脸识别运算的视频数据经过压缩，可提升识别速率，减少用于识别人脸的耗时。

以下是实施方式中提及的英文缩写的解释：

YUV数据：一种颜色编码数据。

ISP：Image Signal Processor的缩写，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。

DSP：Digital Signal Processor的缩写，是一种专用于数字信号处理的处理器。

请参阅图1本发明的第一实施方式，一种能够识别人脸的视频编码方法，包括步骤：

S1、将图像传感器采集的信号转化为YUV数据；

S2、所述YUV数据分别发送至第一缓存器和第二缓存器，送入第一缓存器的YUV数据为具有原始分辨率的第一数据，送入第二缓存器的YUV数据为分辨率被压缩的第二数据；

S3、对所述第二数据执行人脸检测算法，获取符合人脸特征的宏块的区域信息，所述区域信息包括人脸特征所在区域的像素坐标和区域大小；

S4、对所述第一数据进行编码，并根据区域信息提高第一数据中对应区域的宏块的编码码率。

本实施方式的有益效果在于，与第一数据相比，第二数据仅具有分辨率上的差别，第二数据在执行人脸检测算法时具有较快的运算速率，运算耗时显著缩短，通过第二数据计算出符合人脸特征的宏块的区域信息后，凭借该信息对第一数据进行编码，可直接对第一数据中具有人脸特征的宏块进行码率提升。

具体地，所述第一数据的分辨率为width×height，所述第二数据的分辨率为fd_width×fd_height，所述像素坐标的起始像素地址为(fd_x，fd_y)，所述区域大小为(fd_size_x，fd_size_y)，则

所述「根据区域信息提高第一数据中对应区域的宏块的编码码率」中还包含坐标换算步骤：

第一数据中具有人脸特征的宏块的位置坐标为

([width/fd_width]×fd_x，[height/fd_height]×fd_y)，

第一数据中具有人脸特征的宏块的区域大小为

([width/fd_width]×fd_size_x，[height/fd_height]×fd_size_y)。

通过该换算步骤可准确地将由第二数据中提炼出的具有人脸特征的宏块的区域信息对应到第一数据中，从而使对第一数据进行编码时能够直接提升该宏块的码率，时人脸特征能够更清晰地显示。

优选地，作为对第一实施方式的改进，所述「对所述第一数据进行编码」采用的是基于H.264编码技术的宏块编码。H.264编码技术是一种视频压缩标准，包含了一系列的新特征，使得它比起以前的编解码器不但能够更有效的进行编码，还能在各种网络环境下的应用中使用，本实施例中采用该技术可以提高编码后的视频质量，特别是当图像传感器采集的YUV数据具有较高的分辨率时(例如720P、1080P甚至4k的分辨率)，采用该技术进行视频编码可同时具备更高的压缩比例和更少的画质损失。

优选地，所述第二数据的分辨率不小于352×288，且更进一步地，该分辨率可设置为720×480。第二数据的分辨率越小，对其执行人脸检测算法的速率越快、耗时越短，但是若将其设置为低于352×288的分辨率，则会出现失真率高、人脸检测样本小、误报率大的问题。而采用720×480的分辨率可在执行算法的速率、耗时和对人脸识别的准确度上具有最佳的平衡。另外，第二数据的分辨率也不宜过大，否则就失去对视频分别进行处理的意义。

请参阅图2本发明的第二实施方式，一种能够识别人脸的视频编码装置，包括图像处理器10、传输单元20、人脸检测单元30和编码单元40。

所述图像处理器10用于将图像传感器采集的信号转化为YUV数据。

所述传输单元20用于将所述YUV数据分别发送至第一缓存器和第二缓存器，送入第一缓存器的YUV数据为具有原始分辨率的第一数据，送入第二缓存器的YUV数据为分辨率被压缩的第二数据。

所述人脸检测单元30用于对所述第二数据执行人脸检测算法，获取符合人脸特征的宏块的区域信息，所述区域信息包括人脸特征所在区域的像素坐标和区域大小。

所述编码单元40用于对所述第一数据进行编码，并根据区域信息提高第一数据中对应区域的宏块的编码码率。

一般地，图像处理器10采用ISP。

本实施方式的有益效果在于，设置了两个缓存器用来分别存储第一数据和第二数据，与第一数据相比，第二数据仅具有分辨率上的差别，第二数据在执行人脸检测算法时具有较快的运算速率，运算耗时显著缩短，通过第二数据计算出符合人脸特征的宏块的区域信息后，凭借该信息对第一数据进行编码，可直接对第一数据中具有人脸特征的宏块进行码率提升。

进一步地，所述编码单元40中还包含坐标换算模块，所述坐标换算模块用于计算：

第一数据中具有人脸特征的宏块的位置坐标为

([width/fd_width]×fd_x，[height/fd_height]×fd_y)，

第一数据中具有人脸特征的宏块的区域大小为

([width/fd_width]×fd_size_x，[height/fd_height]×fd_size_y)。

其中，width×height为第一数据的分辨率，fd_width×fd_height为第二数据的分辨率，(fd_x，fd_y)为像素坐标的起始像素地址，所述(fd_size_x，fd_size_y)为区域大小。

通过该换算模块的换算，可准确地将由第二数据中提炼出的具有人脸特征的宏块的区域信息对应到第一数据中，从而使对第一数据进行编码时能够直接提升该宏块的码率，时人脸特征能够更清晰地显示。

优选地，作为对第二实施方式的改进，所述编码单元40采用的是基于H.264编码技术的宏块编码。H.264编码技术是一种视频压缩标准，包含了一系列的新特征，使得它比起以前的编解码器不但能够更有效的进行编码，还能在各种网络环境下的应用中使用，本实施例中采用该技术可以提高编码后的视频质量，特别是当图像传感器采集的YUV数据具有较高的分辨率时，采用该技术进行视频编码可同时具备更高的压缩比例和更少的画质损失。

优选地，所述第二数据的分辨率不小于352×288，且更进一步地，该分辨率可设置为720×480。第二数据的分辨率越小，对其执行人脸检测算法的速率越快、耗时越短，但是若将其设置为低于352×288的分辨率，则会出现失真率高、人脸检测样本小、误报率大的问题。而采用720×480的分辨率可在执行算法的速率、耗时和对人脸识别的准确度上具有最佳的平衡。另外，第二数据的分辨率也不宜过大，否则就失去设置双缓存对视频分别进行处理的意义。

请参阅图3，在实际应用中，对上述实施方式进行整合，以下述装置和方法来实现。

本装置包括网络摄像机50和与网络摄像机50通过网络连接的显示终端60，网络摄像机50的组成包括图像传感器51、ISP52、人脸检测缓存53、编码缓存54、DSP55、编码芯片56和码流输出单元57，其中编码芯片55为标准的H.264编码芯片。

上述装置的使用方法如下：

1、图像传感器51采集YUV数据，并传送至ISP图像处理器52；

2、ISP52对YUV数据进行调整，即降低YUV数据的分辨率，然后输出原始YUV数据到编码缓存54、输出调整后的YUV数据到人脸检测缓存53；

3、DSP55对人脸检测缓存53中的数据执行人脸检测算法，获取符合人脸特征的宏块的区域信息，并将该区域信息反馈到编码芯片56；

4、编码芯片56根据上述区域信息对编码缓存54中的数据进行编码，采用编码芯片的Bit Control功能，提升具有人脸特征的区域的宏块的编码质量，生成H.264视频数据；

5、码流输出单元57将H.264视频数据和区域信息通过网络发送到显示终端60，显示终端60在显示图像时，不仅人脸特征区域显示更加清晰，而且突出了显示图像中出现人脸特征的区域，例如根据区域信息在图像渲染时对图像中的人脸特征区域加边框突出显示。

综上所述，本发明提供的能够识别人脸的视频编码方法及装置通过将采集到的原始视频数据分为具有原始分辨率的第一数据和降低分辨率的第二数据，并分发至不同的缓存器进行处理，对第二数据执行人脸检测算法得到具有人脸特征的区域信息，结合该区域信息对第一数据进行编码，得到提高人脸所在区域的码率的编码视频，由于第二数据的分辨率低，执行人脸检测算法时具有较快的运算速率，运算耗时显著缩短。并且，本发明采用了H.264编码技术，能在各种网络环境下的应用中使用，可以提高编码后的视频质量，特别是当图像传感器采集的YUV数据具有较高的分辨率时，采用该技术进行视频编码可同时具备更高的压缩比例和更少的画质损失。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种能够识别人脸的视频编码方法，其特征在于，包括步骤：

将图像传感器采集的信号转化为YUV数据；

2.根据权利要求1所述的能够识别人脸的视频编码方法，其特征在于，

所述第一数据的分辨率为width×height，

所述第二数据的分辨率为fd_width×fd_height，

所述像素坐标的起始像素地址为(fd_x，fd_y)，

所述区域大小为(fd_size_x，fd_size_y)，

第一数据中具有人脸特征的宏块的位置坐标为

([width/fd_width]×fd_x，[height/fd_height]×fd_y)，

第一数据中具有人脸特征的宏块的区域大小为

([width/fd_width]×fd_size_x，[height/fd_height]×fd_size_y)。

3.根据权利要求1所述的能够识别人脸的视频编码方法，其特征在于，所述「对所述第一数据进行编码」采用的是基于H.264编码技术的宏块编码。

4.根据权利要求1所述的能够识别人脸的视频编码方法，其特征在于，所述第二数据的分辨率不小于352×288。

5.根据权利要求1所述的能够识别人脸的视频编码方法，其特征在于，所述第二数据的分辨率为720×480。

6.一种能够识别人脸的视频编码装置，其特征在于，包括：

图像处理器，用于将图像传感器采集的信号转化为YUV数据；

7.根据权利要求6所述的能够识别人脸的视频编码装置，其特征在于，

所述第一数据的分辨率为width×height，

所述第二数据的分辨率为fd_width×fd_height，

所述像素坐标的起始像素地址为(fd_x，fd_y)，

所述区域大小为(fd_size_x，fd_size_y)，

所述编码单元中还包含坐标换算模块，所述坐标换算模块用于计算

第一数据中具有人脸特征的宏块的位置坐标为

([width/fd_width]×fd_x，[height/fd_height]×fd_y)，

第一数据中具有人脸特征的宏块的区域大小为

([width/fd_width]×fd_size_x，[height/fd_height]×fd_size_y)。

8.根据权利要求6所述的能够识别人脸的视频编码装置，其特征在于，所编码单元采用的是基于H.264编码技术的宏块编码技术。

9.根据权利要求6所述的能够识别人脸的视频编码装置，其特征在于，所述第二数据的分辨率不小于352×288。

10.根据权利要求6所述的能够识别人脸的视频编码装置，其特征在于，所述第二数据的分辨率为720×480。