CN113326818B - 视频编码的海量人脸识别方法、系统、设备和介质 - Google Patents

视频编码的海量人脸识别方法、系统、设备和介质 Download PDF

Info

Publication number
CN113326818B
CN113326818B CN202110877961.0A CN202110877961A CN113326818B CN 113326818 B CN113326818 B CN 113326818B CN 202110877961 A CN202110877961 A CN 202110877961A CN 113326818 B CN113326818 B CN 113326818B
Authority
CN
China
Prior art keywords
coding
information
face
rectangular frame
face picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110877961.0A
Other languages
English (en)
Other versions
CN113326818A (zh
Inventor
陈丹
赵景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yunpeng Information Technology Co ltd
Original Assignee
Hunan Gaozhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Gaozhi Technology Co ltd filed Critical Hunan Gaozhi Technology Co ltd
Priority to CN202110877961.0A priority Critical patent/CN113326818B/zh
Publication of CN113326818A publication Critical patent/CN113326818A/zh
Application granted granted Critical
Publication of CN113326818B publication Critical patent/CN113326818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种视频编码的海量人脸识别方法及系统。所述方法包括：获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中；通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，构建多个人脸图片对应的矩形框链表信息，对矩形框链表信息进行对齐处理；设置硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；通过编码控制器异步启动编码通道进行编码，得到海量人脸图片包；采用这个方法可以对视频中的多个人脸图片进行海量人脸识别。

Description

视频编码的海量人脸识别方法、系统、设备和介质
技术领域
本申请涉及数据处理领域，特别是涉及一种视频编码的海量人脸识别方法、系统、计算机设备和存储介质。
背景技术
在当今社会的安防监控领域，摄像机监控所需覆盖的场景往往存在大量的如广场、大型场馆、步行街等高密度人群场景，在这些高密度场景中，当人流量较大时，从摄像机中采集到的单帧图像中行人的数量达到200人甚至四五百人，摄像机针对如此庞大的人流量进行的人脸检测称之为海量人脸检测。
目前市面上的人脸摄像机能支持的最大检测人脸数量一般都在一百人以内，远远不及海量人脸的检测体量。
发明内容
基于此，有必要针对上述技术问题，提供一种能够进行海量人脸识别的视频编码的海量人脸识别方法、系统、计算机设备和存储介质。
一种视频编码的海量人脸识别方法，所述方法包括：
获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中；
通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；
根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；硬编码器还包括：编码接收器；
设置硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；
根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳；
通过编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；
利用海量人脸图片包进行人脸识别。
在其中一个实施例中，图像帧中每个人脸的矩形框信息表示为
Figure 242411DEST_PATH_IMAGE001
,其中
Figure 258909DEST_PATH_IMAGE002
表示矩形框左上角
Figure 960148DEST_PATH_IMAGE004
坐标，
Figure 403899DEST_PATH_IMAGE005
表示矩形框左上角
Figure 557800DEST_PATH_IMAGE007
坐标，
Figure 643568DEST_PATH_IMAGE009
表示矩形框宽度，
Figure 668155DEST_PATH_IMAGE011
表示矩形框高度。
在其中一个实施例中，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息，包括:
Figure 548387DEST_PATH_IMAGE012
其中，n表示人脸个数。
在其中一个实施例中，根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，包括：
将矩形框链表信息中的矩形框信息的
Figure 924004DEST_PATH_IMAGE013
、
Figure 813463DEST_PATH_IMAGE014
、
Figure 958136DEST_PATH_IMAGE015
和
Figure 743690DEST_PATH_IMAGE016
按32字节向前对齐得到对齐矩形框信息的
Figure 872183DEST_PATH_IMAGE017
、
Figure 34174DEST_PATH_IMAGE018
、
Figure 564512DEST_PATH_IMAGE019
和
Figure 786546DEST_PATH_IMAGE020
，公式如下：
Figure 136756DEST_PATH_IMAGE021
Figure 102438DEST_PATH_IMAGE022
Figure 956125DEST_PATH_IMAGE023
Figure 614639DEST_PATH_IMAGE024
其中，INT(A)表示取A的整数部分，
Figure 452145DEST_PATH_IMAGE025
表示对齐矩形框左上角
Figure 221518DEST_PATH_IMAGE026
坐标，
Figure 195290DEST_PATH_IMAGE027
表示对齐矩形框左上角
Figure 759127DEST_PATH_IMAGE029
坐标，
Figure 83929DEST_PATH_IMAGE030
表示对齐矩形框宽度，
Figure 656993DEST_PATH_IMAGE032
表示对齐矩形框高度。
在其中一个实施例中，根据对齐矩形框信息，得到对齐矩形框链表信息，公式如下：
Figure 750851DEST_PATH_IMAGE033
Figure 751168DEST_PATH_IMAGE034
其中，
Figure 297687DEST_PATH_IMAGE035
表示对齐矩形框信息，
Figure 166720DEST_PATH_IMAGE036
表示对齐矩形框链表信息。
在其中一个实施例中，根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳，包括：
根据裁剪编码信息，从物理内存确定裁剪编码信息对应的人脸图片；
将人脸图片加入对应的裁剪编码信息中，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳。
在其中一个实施例中，当所有编码通道进行异步编码完成后，通过编码控制器发送编码完成中断信号；通过编码接收器接收所述完成中断信号，并从编码通道中读取编码后的JPG格式的人脸图片；直至得到图像帧编码后的JPG格式的所有人脸图片；编码后的人脸图片的时间戳为编码后的人脸图片的当前时间标识。
一种视频编码的海量人脸识别系统，所述系统包括：摄像头和海思芯片；
摄像头用于拍摄视频，并将视频中的人脸图片转化为YUV格式的图像帧；
海思芯片包括：物理内存和硬编码器；硬编码器包括：编码控制器和编码接收器；
通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；
编码控制器对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；
设置所述硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；
编码控制器根据裁剪编码信息以及物理内存中的图像帧，异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳；
编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；利用海量人脸图片包进行人脸识别。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中；
通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；
根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；硬编码器还包括：编码接收器；
设置硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；
根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳；
通过编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；利用海量人脸图片包进行人脸识别。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中；
通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；
根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；硬编码器还包括：编码接收器；
设置硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；
根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳；
通过编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；利用海量人脸图片包进行人脸识别。
上述视频编码的海量人脸识别方法、系统、计算机设备和存储介质，首先获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中；通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；使得对齐后的矩形框链表信息能够被编码，硬编码器还包括：编码接收器；设置硬编码器的多个编码通道，编码通道可以对其中的信息进行编码，本发明使用了裁剪编码，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，通过设置的多个编码通道可以对多个人脸图片进行编码，从而得到编码后的人脸图片和编码后的人脸图片的时间戳；通过编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；因此本发明可以通过对视频中的多个人脸图片进行编码的方法得到海量人脸图片包完成人脸识别。
附图说明
图1为一个实施例中一种视频编码的海量人脸识别方法的流程示意图；
图2为一个实施例中一种视频编码的海量人脸识别系统的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种视频编码的海量人脸识别方法，包括：
步骤102，获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中。
由于需要调用硬件编码器来实现图片编码，所以将图像帧存储至海思芯片的物理内存中，而不是虚拟内存中。
步骤104，通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息。
矩形框信息为每个人脸所在的矩形框位于YUV图像帧中的二维坐标。矩形框链表信息为检测出的所有人脸坐标信息形成的链表。
步骤106，根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；硬编码器还包括：编码接收器。
海思芯片自带的硬编码器使用的是裁剪编码的方式，可以充分发挥硬件编码器的效率，释放CPU的调度，降低软件负载。由于硬编码器对内存的访问时是按32字节对齐的，所以在进行裁剪编码之前，需要将矩形框信息中的每个元素的坐标信息进行对齐，使得对齐后的对齐矩形框链表信息可以设置在编码通道的裁剪编码信息中。
步骤108，设置硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中。
为了满足海量人脸图片的编码性能需求，通过自主编码在硬编码器中创建多个编码通道来进行异步操作，异步调用是指发送完设置裁剪编码信息的请求后无需等待回应，可以继续进行设置，将对齐矩形框链表信息设置到编码通道的裁剪编码信息中后可以通过编码通道对其进行 编码。
步骤110，根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳。
编码控制器异步启动编码通道进行编码时，所有的编码通道分时复用芯片内部的所有编码器，编码类型为JPG格式。
步骤112，通过编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；利用海量人脸图片包进行人脸识别。
对具有相同时间戳的编码后的图片进行归档可以使上层业务发送图片信息时能和对应的时间戳的图片或者视频的图像帧对应到一起，以完成视频图像帧中的海量人脸识别。
上述视频编码的海量人脸识别方法、系统、设备和介质，首先获取摄像头拍摄的视频中的多个人脸图片，将人脸图片转化为YUV格式的图像帧，以及将图像帧存储至海思芯片的物理内存中；通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；使得对齐后的矩形框链表信息能够被编码，硬编码器还包括：编码接收器；设置硬编码器的多个编码通道，编码通道可以对其中的信息进行编码，本发明使用了裁剪编码，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，通过设置的多个编码通道可以对多个人脸图片进行编码，从而得到编码后的人脸图片和编码后的人脸图片的时间戳；通过编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；因此本发明可以通过对视频中的多个人脸图片进行编码的方法得到海量人脸图片包完成人脸识别。
在其中一个实施例中，图像帧中每个人脸的矩形框信息表示为
Figure 380664DEST_PATH_IMAGE037
,其中
Figure 286303DEST_PATH_IMAGE038
表示矩形框左上角
Figure 585697DEST_PATH_IMAGE039
坐标，
Figure 234985DEST_PATH_IMAGE040
表示矩形框左上角
Figure 303435DEST_PATH_IMAGE041
坐标，
Figure 645554DEST_PATH_IMAGE042
表示矩形框宽度，
Figure 901086DEST_PATH_IMAGE044
表示矩形框高度。
根据每个人脸的矩形框信息，可以找到该人脸在图像帧中的位置，从而将其提取出来。
在其中一个实施例中，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息，包括:
Figure 354064DEST_PATH_IMAGE045
其中，n表示人脸个数。
通过构建多个人脸图片对应的矩形框链表信息，找到所有人脸在图像帧中的位置，以便后面将其全部提取出来。
在其中一个实施例中，根据摄像头内部海思芯片的硬编码器的编码控制器，对矩形框链表信息进行对齐处理，包括：
将矩形框链表信息中的矩形框信息的
Figure 542600DEST_PATH_IMAGE046
、
Figure 790042DEST_PATH_IMAGE047
、
Figure 798449DEST_PATH_IMAGE048
和
Figure 789539DEST_PATH_IMAGE050
按32字节向前对齐得到对齐矩形框信息的
Figure 567002DEST_PATH_IMAGE051
、
Figure 250924DEST_PATH_IMAGE052
、
Figure 746628DEST_PATH_IMAGE053
和
Figure 541409DEST_PATH_IMAGE054
，公式如下：
Figure 438957DEST_PATH_IMAGE055
Figure 28202DEST_PATH_IMAGE056
Figure 11201DEST_PATH_IMAGE057
Figure 344094DEST_PATH_IMAGE058
其中，INT(A)表示取A的整数部分，
Figure 361728DEST_PATH_IMAGE059
表示对齐矩形框左上角
Figure 121874DEST_PATH_IMAGE061
坐标，
Figure 326590DEST_PATH_IMAGE062
表示对齐矩形框左上角
Figure 463173DEST_PATH_IMAGE063
坐标，
Figure 335314DEST_PATH_IMAGE065
表示对齐矩形框宽度，
Figure 266361DEST_PATH_IMAGE066
表示对齐矩形框高度。
在另一个实施例中，根据对齐矩形框信息，得到对齐矩形框链表信息，公式如下：
Figure 223953DEST_PATH_IMAGE067
Figure 164227DEST_PATH_IMAGE068
其中，
Figure 625296DEST_PATH_IMAGE069
表示对齐矩形框信息，
Figure 992823DEST_PATH_IMAGE070
表示对齐矩形框链表信息。
由于硬编码器对内存的访问时是按32字节对齐的，所以在进行裁剪编码之前，需要将矩形框信息中的每个元素的坐标信息进行对齐，使得对齐后的对齐矩形框链表信息可以设置在编码通道的裁剪编码信息中。
在其中一个实施例中，根据裁剪编码信息以及物理内存中的图像帧，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳，包括：
根据裁剪编码信息，从物理内存确定裁剪编码信息对应的人脸图片；
将人脸图片加入对应的裁剪编码信息中，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳。
该编码后的图片就是从海量人脸图片中识别的人脸图片，根据编码后的人脸图片的时间戳，将具有相同时间戳的归档到一起得到的海量人脸图片包来对海量人脸图片进行识别。
在其中一个实施例中，当所有编码通道进行异步编码完成后，通过编码控制器发送编码完成中断信号；通过编码接收器接收所述完成中断信号，并从编码通道中读取编码后的JPG格式的人脸图片；直至得到图像帧编码后的JPG格式的所有人脸图片；编码后的人脸图片的时间戳为编码后的人脸图片的当前时间标识。
设置1到10个编码通道，在设置编码通道的同时，编码接收器异步等待各编码通道编码完成后的中断信号，当编码接收器接收到1到10号编码通道的编码完成中断信号后，从编码通道中获取编码后的图片
Figure 172132DEST_PATH_IMAGE071
到
Figure 916097DEST_PATH_IMAGE072
，同时编码控制器等待各编码通道的读图片完成的中断，当该通道获取读数据完成的中断后，编码控制器复位每个编码通道，再依次将
Figure 231672DEST_PATH_IMAGE073
到
Figure 35679DEST_PATH_IMAGE074
设置到1到10号编码通道中，然后启动编码器进行编码，以此方式循环上述操作，直至
Figure 436705DEST_PATH_IMAGE075
全部编码完成为止。JPG格式的图片更易于网络传输和显示。
应该理解的是，虽然图1流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种视频编码的海量人脸识别系统，所述系统包括：摄像头和海思芯片；
摄像头用于拍摄视频，并将视频中的人脸图片转化为YUV格式的图像帧；
海思芯片包括：物理内存和硬编码器；硬编码器包括：编码控制器和编码接收器；
通过预设的人脸检测算法，得到图像帧中每个人脸的矩形框信息，根据矩形框信息，构建多个人脸图片对应的矩形框链表信息；
编码控制器对矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；
设置所述硬编码器的多个编码通道，采用异步调用的方式将对齐矩形框链表信息设置到编码通道的裁剪编码信息中；
编码控制器根据裁剪编码信息以及物理内存中的图像帧，异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳；
编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；利用海量人脸图片包进行人脸识别。
在一个实施例中，编码控制器还用于将矩形框链表信息中的矩形框信息的
Figure 718782DEST_PATH_IMAGE076
、
Figure 154442DEST_PATH_IMAGE077
、
Figure 863772DEST_PATH_IMAGE079
和
Figure 17673DEST_PATH_IMAGE081
按32字节向前对齐得到
Figure 837862DEST_PATH_IMAGE082
、
Figure 128029DEST_PATH_IMAGE083
、
Figure 8260DEST_PATH_IMAGE084
和
Figure 649457DEST_PATH_IMAGE085
，公式如下：
Figure 273336DEST_PATH_IMAGE086
Figure 683589DEST_PATH_IMAGE087
Figure 734722DEST_PATH_IMAGE088
Figure DEST_PATH_IMAGE089
Figure 800898DEST_PATH_IMAGE090
Figure DEST_PATH_IMAGE091
其中，INT(A)表示取A的整数部分，
Figure 166151DEST_PATH_IMAGE092
表示对齐矩形框左上角
Figure 696490DEST_PATH_IMAGE061
坐标，
Figure DEST_PATH_IMAGE093
表示对齐矩形框左上角
Figure DEST_PATH_IMAGE095
坐标，
Figure 793890DEST_PATH_IMAGE096
表示对齐矩形框宽度，
Figure 144100DEST_PATH_IMAGE066
表示对齐矩形框高度，
Figure DEST_PATH_IMAGE097
表示对齐矩形框信息，
Figure 313044DEST_PATH_IMAGE098
表示对齐矩形框链表信息。
在一个实施例中，编码控制器还用于根据裁剪编码信息，从物理内存确定裁剪编码信息对应的人脸图片；将人脸图片加入对应的裁剪编码信息中，通过编码控制器异步启动编码通道进行编码，得到编码后的人脸图片和编码后的人脸图片的时间戳。
在另一个实施例中，编码控制器还用于当所有编码通道进行异步编码完成后，通过编码控制器发送编码完成中断信号；通过编码接收器接收所述完成中断信号，并从编码通道中读取编码后的JPG格式的人脸图片；直至得到图像帧编码后的JPG格式的所有人脸图片；编码后的人脸图片的时间戳为编码后的人脸图片的当前时间标识。
关于视频编码的海量人脸识别系统的具体限定可以参见上文中对于一种视频编码的海量人脸识别方法的限定，在此不再赘述。上述视频编码的海量人脸识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频编码的海量人脸识别系统方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频编码的海量人脸识别方法，其特征在于，所述方法包括：
获取摄像头拍摄的视频中的多个人脸图片，将所述人脸图片转化为YUV格式的图像帧，以及将所述图像帧存储至海思芯片的物理内存中；
通过预设的人脸检测算法，得到所述图像帧中每个人脸的矩形框信息，根据所述矩形框信息，构建多个人脸图片对应的矩形框链表信息；
根据摄像头内部海思芯片的硬编码器的编码控制器，对所述矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；所述硬编码器还包括：编码接收器；
设置所述硬编码器的多个编码通道，采用异步调用的方式将所述对齐矩形框链表信息设置到所述编码通道的裁剪编码信息中；
根据所述裁剪编码信息以及所述物理内存中的图像帧，通过所述编码控制器异步启动所述编码通道进行编码，得到编码后的人脸图片和所述编码后的人脸图片的时间戳；
通过所述编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；
利用所述海量人脸图片包进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述图像帧中每个人脸的矩形框信息表示为
Figure 820676DEST_PATH_IMAGE001
,其中
Figure 341787DEST_PATH_IMAGE002
表示矩形框左上角
Figure 794765DEST_PATH_IMAGE004
坐标，
Figure 717722DEST_PATH_IMAGE005
表示矩形框左上角
Figure 965163DEST_PATH_IMAGE006
坐标，
Figure 239150DEST_PATH_IMAGE007
表示矩形框宽度，
Figure 230240DEST_PATH_IMAGE009
表示矩形框高度。
3.根据权利要求1所述的方法，其特征在于，根据所述矩形框信息，构建多个人脸图片对应的矩形框链表信息，包括:
Figure 273282DEST_PATH_IMAGE010
其中，n表示人脸个数。
4.根据权利要求1所述的方法，其特征在于，根据摄像头内部海思芯片的硬编码器的编码控制器，对所述矩形框链表信息进行对齐处理，包括：
将所述矩形框链表信息中的矩形框信息的
Figure 691625DEST_PATH_IMAGE011
、
Figure 187328DEST_PATH_IMAGE012
、
Figure 982109DEST_PATH_IMAGE013
和
Figure 879658DEST_PATH_IMAGE015
按32字节向前对齐得到对齐矩形框信息的
Figure 734481DEST_PATH_IMAGE016
、
Figure 717481DEST_PATH_IMAGE017
、
Figure 315953DEST_PATH_IMAGE019
和
Figure 68008DEST_PATH_IMAGE020
，公式如下：
Figure 93733DEST_PATH_IMAGE021
Figure 298449DEST_PATH_IMAGE022
Figure 435032DEST_PATH_IMAGE023
Figure 307173DEST_PATH_IMAGE024
其中，INT(A)表示取A的整数部分，
Figure 503800DEST_PATH_IMAGE025
表示对齐矩形框左上角
Figure 195812DEST_PATH_IMAGE027
坐标，
Figure 112649DEST_PATH_IMAGE028
表示对齐矩形框左上角
Figure 573717DEST_PATH_IMAGE029
坐标，
Figure 675665DEST_PATH_IMAGE031
表示对齐矩形框宽度，
Figure 120553DEST_PATH_IMAGE032
表示对齐矩形框高度。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述对齐矩形框信息，得到所述对齐矩形框链表信息，公式如下：
Figure 598939DEST_PATH_IMAGE033
Figure 180093DEST_PATH_IMAGE034
其中，
Figure DEST_PATH_IMAGE035
表示对齐矩形框信息，
Figure 921784DEST_PATH_IMAGE036
表示对齐矩形框链表信息。
6.根据权利要求1所述的方法，其特征在于，根据所述裁剪编码信息以及所述物理内存中的图像帧，通过所述编码控制器异步启动所述编码通道进行编码，得到编码后的人脸图片和所述编码后的人脸图片的时间戳，包括：
根据所述裁剪编码信息，从所述物理内存确定所述裁剪编码信息对应的人脸图片；
将所述人脸图片加入对应的所述裁剪编码信息中，通过所述编码控制器异步启动所述编码通道进行编码，得到编码后的人脸图片和所述编码后的人脸图片的时间戳。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所有所述编码通道进行异步编码完成后，通过编码控制器发送编码完成中断信号；
通过编码接收器接收所述完成中断信号，并从编码通道中读取编码后的JPG格式的人脸图片；直至得到图像帧编码后的JPG格式的所有人脸图片；
所述编码后的人脸图片的时间戳为编码后的人脸图片的当前时间标识。
8.一种视频编码的海量人脸识别系统，其特征在于，所述系统包括：摄像头和海思芯片；
摄像头用于拍摄视频，并将所述视频中的人脸图片转化为YUV格式的图像帧；
海思芯片包括：物理内存和硬编码器；所述硬编码器包括：编码控制器和编码接收器；
通过预设的人脸检测算法，得到所述图像帧中每个人脸的矩形框信息，根据所述矩形框信息，构建多个人脸图片对应的矩形框链表信息；
所述编码控制器对所述矩形框链表信息进行对齐处理，得到对齐矩形框链表信息；
设置所述硬编码器的多个编码通道，采用异步调用的方式将所述对齐矩形框链表信息设置到所述编码通道的裁剪编码信息中；
所述编码控制器根据所述裁剪编码信息以及所述物理内存中的图像帧，异步启动所述编码通道进行编码，得到编码后的人脸图片和所述编码后的人脸图片的时间戳；
所述编码接收器对具有相同时间戳的编码后的图片进行归档，得到海量人脸图片包；利用海量人脸图片包进行人脸识别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110877961.0A 2021-08-02 2021-08-02 视频编码的海量人脸识别方法、系统、设备和介质 Active CN113326818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110877961.0A CN113326818B (zh) 2021-08-02 2021-08-02 视频编码的海量人脸识别方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110877961.0A CN113326818B (zh) 2021-08-02 2021-08-02 视频编码的海量人脸识别方法、系统、设备和介质

Publications (2)

Publication Number Publication Date
CN113326818A CN113326818A (zh) 2021-08-31
CN113326818B true CN113326818B (zh) 2021-09-24

Family

ID=77426749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110877961.0A Active CN113326818B (zh) 2021-08-02 2021-08-02 视频编码的海量人脸识别方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN113326818B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369554A (zh) * 2009-04-01 2012-03-07 高通股份有限公司 用以旋转图像的设备和方法
WO2012135979A1 (en) * 2011-04-08 2012-10-11 Nokia Corporation Method, apparatus and computer program product for providing multi-view face alignment
CN107563341A (zh) * 2017-09-15 2018-01-09 赵立峰 一种人脸识别装置与一种人脸识别系统
CN108352052A (zh) * 2015-11-30 2018-07-31 英特尔公司 用于在计算设备处高效处理图形数据的三重缓冲常量缓冲器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202144B2 (en) * 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369554A (zh) * 2009-04-01 2012-03-07 高通股份有限公司 用以旋转图像的设备和方法
WO2012135979A1 (en) * 2011-04-08 2012-10-11 Nokia Corporation Method, apparatus and computer program product for providing multi-view face alignment
CN108352052A (zh) * 2015-11-30 2018-07-31 英特尔公司 用于在计算设备处高效处理图形数据的三重缓冲常量缓冲器
CN107563341A (zh) * 2017-09-15 2018-01-09 赵立峰 一种人脸识别装置与一种人脸识别系统

Also Published As

Publication number Publication date
CN113326818A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN110866491B (zh) 目标检索方法、装置、计算机可读存储介质和计算机设备
CN110781859B (zh) 图像标注方法、装置、计算机设备和存储介质
CN104408428B (zh) 一种相同场景照片的处理方法及装置
CN105744292A (zh) 一种视频数据的处理方法及装置
WO2020258491A1 (zh) 通用字符识别方法、装置、计算机设备和存储介质
CN110830716B (zh) 图像生成方法、装置、计算机设备和存储介质
TW201631557A (zh) 事件重建系統與方法
CN111860313A (zh) 基于人脸识别的信息查询方法、装置、计算机设备和介质
JP7255841B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP7456446B2 (ja) 画像処理方法、画像処理装置及びプログラム
WO2019024160A1 (zh) 图像篡改检测方法、系统、电子装置及可读存储介质
CN109859142B (zh) 图像亮度的调节方法、装置、计算机设备和存储介质
CN113326818B (zh) 视频编码的海量人脸识别方法、系统、设备和介质
CN110392303B (zh) 热度图视频的生成方法、装置、设备以及存储介质
CN110765869B (zh) 分渠道采集数据的唇语活体检测方法、系统和计算机设备
CN110460854B (zh) 图像压缩方法
WO2021051580A1 (zh) 基于分组批量的图片检测方法、装置及存储介质
EP3879815A1 (en) Video synthesis method and apparatus, computer device and readable storage medium
CN115802073A (zh) 断点续处理视频编码方法、装置、计算机设备及存储介质
CN110659376A (zh) 图片查找方法、装置、计算机设备和存储介质
KR102371391B1 (ko) Ai 활용 차량 번호판 인식 시스템 및 이를 위한 동작 방법
US20240214209A1 (en) Imaging apparatus, information processing apparatus, information processing method, and program
CN114095783A (zh) 图片上传方法、装置、计算机设备及存储介质
JP2013197889A (ja) 画像処理装置、画像処理方法
CN113891019A (zh) 视频编码方法、装置、拍摄设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220725

Address after: 210031 building A3, business villa, Jiangbei new district, Nanjing, Jiangsu Province

Patentee after: Jiangsu Yunpeng Information Technology Co.,Ltd.

Address before: 8 / F, building 6, Xincheng Science Park, 588 Yuelu West Avenue, Changsha hi tech Development Zone, Changsha City, Hunan Province, 410000

Patentee before: HUNAN GAOZHI TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right