CN108124157B - 信息交互方法、装置及系统 - Google Patents

信息交互方法、装置及系统 Download PDF

Info

Publication number
CN108124157B
CN108124157B CN201711416505.6A CN201711416505A CN108124157B CN 108124157 B CN108124157 B CN 108124157B CN 201711416505 A CN201711416505 A CN 201711416505A CN 108124157 B CN108124157 B CN 108124157B
Authority
CN
China
Prior art keywords
data packet
information
face
preset
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711416505.6A
Other languages
English (en)
Other versions
CN108124157A (zh
Inventor
梁喆
周舒畅
朱雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201711416505.6A priority Critical patent/CN108124157B/zh
Publication of CN108124157A publication Critical patent/CN108124157A/zh
Application granted granted Critical
Publication of CN108124157B publication Critical patent/CN108124157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种信息交互方法、装置及系统，应用于视频编解码单元中，所述方法包括：向计算单元发送视频数据；接收所述计算单元基于所述视频回传的第一数据包，按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息；按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元；接收所述计算单元基于所述第二数据包回传的第三数据包，利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息，达到提高计算单元与视频编解码单元之间信息交互的准确性及效率的技术效果。

Description

信息交互方法、装置及系统
技术领域
本发明涉及人脸识别技术领域，尤其是涉及一种信息交互方法、装置及系统。
背景技术
目前，在人脸识别领域，运行人脸识别的神经网络算法的计算单元与抠图、画框以及推图等操作的视频编解码单元之间，需要进行大量的信息交互。
然而，计算单元一般与视频编解码单元通过比特数据传输方式进行信息交互，传输数据的准确性低且效率低。
发明内容
有鉴于此，本发明的目的在于提供一种信息交互方法、装置及系统，以缓解现有技术中存在的计算单元与视频编解码单元通过比特数据传输方式进行信息交互，传输数据的准确性低且效率低的技术问题。
第一方面，本发明实施例提供了一种信息交互方法，应用于视频编解码单元中，包括：
向计算单元发送视频数据；
接收所述计算单元基于所述视频数据回传的第一数据包，按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息；
按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元；
接收所述计算单元基于所述第二数据包回传的第三数据包，利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述方法还包括：
所述视频数据内多帧图像的预设像素区域中嵌入有帧号信息，所述预设像素区域包含多个像素点。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述帧号信息通过像素点的亮度值或色度值表示。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述第一数据包格式包括：第一头部结构体和第一结构体数组；
所述第一头部结构体包括：所述帧号信息以及每个帧号所对应的图像中所包含的人脸数量；
所述第一结构体数组中的每个结构体包括：人脸框的位置信息、人脸的追踪编号、人脸图像的模糊程度以及人脸的三维偏转角度。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述第二数据包格式包括：第二头部结构体和第二结构体数组；
所述第二头部结构体包括：人脸的追踪编号和传输的人脸图像的数量；
所述第二结构体数组中的每个结构体包括：人脸图像中各像素点的RGB颜色值。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述第三数据包格式包括：第三头部结构体和第三结构体数组；
所述第三头部结构体包括：人脸的追踪编号和当前图像帧中的人脸图像的数量；
所述第三结构体数组中的每个结构体包括：年龄信息、性别信息、少数民族概率信息和非人脸概率信息。
第二方面，本发明实施例还提供一种信息交互方法，应用于计算单元中，包括：
接收视频编解码单元发送的视频数据，将对所述视频数据进行人脸检测得到的人脸检测信息利用第一数据包格式进行封装，向所述视频编解码单元发送封装后的第一数据包；
接收视频编解码单元基于所述第一数据包回传的第二数据包，利用预设的第二数据包格式对所述第二数据包进行解封装，得到人脸图像信息；
利用预设的第三数据包格式对基于所述人脸图像信息进行人脸属性识别后得到的人脸属性信息进行封装，向所述视频编解码单元发送封装后的第三数据包。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述方法还包括：
定时向所述视频编解码单元发送心跳包，所述心跳包的格式包括：系统版本号及算法版本号。
第三方面，本发明实施例还提供一种信息交互装置，包括：
第一发送模块，用于向计算单元发送视频数据；
第一解封装模块，用于接收所述计算单元基于所述视频数据回传的第一数据包，按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息；
第一封装模块，用于按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元；
第二解封装模块，用于接收所述计算单元基于所述第二数据包回传的第三数据包，利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息。
第四方面，本发明实施例还提供一种信息交互装置，包括：
第二封装模块，用于接收视频编解码单元发送的视频数据，将对所述视频数据进行人脸检测得到的人脸检测信息利用第一数据包格式进行封装，向所述视频编解码单元发送封装后的第一数据包；
第三解封装模块，用于接收视频编解码单元基于所述第一数据包回传的第二数据包，利用预设的第二数据包格式对所述第二数据包进行解封装，得到人脸图像信息；
第三封装模块，用于利用预设的第三数据包格式对基于所述人脸图像信息进行人脸属性识别后得到的人脸属性信息进行封装，向所述视频编解码单元发送封装后的第三数据包。
第五方面，本发明实施例还提供一种信息交互系统，包括：视频编解码单元和计算单元；
所述视频编解码单元在执行计算机程序时执行如第一方面所述的方法；
所述计算单元在执行计算机程序时执行如第二方面所述的方法。
第六方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述第一方面或者第二方面所述的方法。
本发明实施例带来了以下有益效果：提高计算单元与视频编解码单元之间进行信息交互时的准确性且效率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的电子设备的示意框图；
图2为本发明实施例提供的信息交互系统的结构图；
图3为本发明实施例提供的信息交互方法的流程图；
图4为本发明实施例提供的信息交互装置的结构图；
图5为本发明实施例提供的信息交互装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或多个非图像传感器114，这些组件通过总线系统112和/或其它形式互联。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其它组件和结构。
所述处理器102可以包括CPU1021和CPU1022或者具有数据处理能力和/指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field-Programmable Gate Array，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction Set Computer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
应当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
目前，计算单元一般与视频编解码单元通过比特数据传输方式进行信息交互，传输数据的准确性低且效率低，基于此，本发明实施例提供的一种信息交互方法、装置以及系统，可以提高计算单元与视频编解码单元之间进行信息交互时的准确性且效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种信息交互方法进行详细介绍，所述信息交互方法可以应用于信息交互系统中，如图2所示，信息交互系统可以包括视频编解码单元和计算单元。视频编解码单元可以使用视频处理芯片，计算单元可以采用FPGA芯片。在一个实施例中，使用集成了ARM处理器片上系统(SoC)的低功耗可编程逻辑Zynq作为计算单元，运行人脸识别的神经网络算法，Hi3519作为编解码功能单元利用Zynq计算出来的人脸坐标以及人脸属性等信息进行抠图，画框、推图等操作。
Hi3519和Zynq之间交互协作可以分为4种传输。第一种传输是Hi3519输出BT1120视频，第二种是Zynq运行卷积神经网络算法将人脸检测信息回传给Hi3519,第三种是Hi3519将人脸图像抠图传输给Zynq，第四种是Zynq对抠图运行人脸属性网络算法，将人脸属性结果回传给Hi3519。
图2中Zynq与Hi3519之间的网络传输全部采用TCP协议。Zynq的ip固定为193.169.2.20，Hi3519的ip固定为193.169.2.12，Zynq为服务端，Hi3519为客户端。
人脸检测结果回传端口为4000，配置和升级端口为4001，心跳包回传端口为4002，人脸属性交互端口为4003，Zynq的备份启动系统仅支持升级协议，以及心跳包回传协议，所有协议传输数据时均需要在数据段前加上协议包头：协议包头一共8个字节，前3字节为字符串"FPP"，第4个字节为协议版本号，暂定为0；最后4字节是一个按小端序存储的uint32_t类型表示的数据段字节长度，该长度不包括协议头本身。
如图3所示，所述信息交互方法可以包括以下步骤。
步骤S101，视频编解码单元向计算单元发送视频数据。
在本发明实施例中，所述视频数据内多帧图像的预设像素区域中嵌入有帧号信息，所述预设像素区域包含多个像素点，其中，所述帧号信息通过像素点的亮度值或色度值表示。
可选地，视频编解码单元可以通过视频输出接口，将视频帧输出给Zynq，在视频编解码单元输出的BT1120视频数据中嵌入帧号信息，使用1920*1080图像右下角最后128*4个像素嵌入帧号，每4*4个像素区域表示一个比特，可以使用色度或者亮度嵌入帧号，例如RGB颜色空间，RGB三个通道的取值范围分别为0到255，那么如果通道值小于128则代表0，如果通道值大于128则代表1，在一个实施例中，还可以直接将通道值分别置0或255来分别表示0或1。在一个实施例中，可以使用RGB颜色空间的其中一个颜色空间表示，也可以使用两个或三个颜色空间表示。在另一个实施例中，还可以使用YUV等其他颜色空间。使用4*4个像素区域表示一个比特的原因在于，16个像素一起表示一个比特的0或1可以有效地对抗图像噪声，在将图像帧通过BT1120传输给计算单元后，计算单元可以根据嵌入规则读取帧号，具体地，可以读取这16个像素嵌入的帧号信息，在一个实施例中，当16个像素中嵌入的信息都为0或1时才认为信息正确，为了防止噪声干扰，也可以认为满足一定比例即可，例如有12个0或1。在另一个实施例中，根据4*4像素块正中间的2*2个像素中嵌入的信息确定帧号信息。帧号32bit表示，采用小端顺序存储，即低bit显示在图像的左边，高bit显示在图像右边。按照从左往右的顺序，前16bit代表帧号，后16bit为前16bit的取反，用于校验。
步骤S102，计算单元接收视频编解码单元发送的视频数据，计算单元将对所述视频数据进行人脸检测得到的人脸检测信息利用第一数据包格式进行封装，向所述视频编解码单元发送封装后的第一数据包。
在本发明是实施例中，所述第一数据包格式包括：第一头部结构体和第一结构体数组；所述第一头部结构体包括：所述帧号信息以及每个帧号所对应的图像中所包含的人脸数量；所述第一结构体数组中的每个结构体包括：人脸框的位置信息、人脸的追踪编号、人脸图像的模糊程度以及人脸的三维偏转角度。
Zynq运行人脸检测神经网络后的人脸检测结果通过socket回传，端口为4000。人脸信息结果回传数据包格式为两个结构体，分别是header结构体和box结构体。每帧先传输一个header结构体，随后跟着一个box结构体数组。box结构体数组长度为n_faces，取值范围为[0,128]。所有变量均为小端序。
header结构体为：
Figure BDA0001520689600000091
Figure BDA0001520689600000101
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
步骤S103，视频编解码单元接收所述计算单元基于所述视频数据回传的第一数据包，视频编解码单元按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息。
步骤S104，视频编解码单元按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元。
在本发明实施例中，所述第二数据包格式包括：第二头部结构体和第二结构体数组；所述第二头部结构体包括：人脸的追踪编号和传输的人脸图像的数量；所述第二结构体数组中的每个结构体包括：人脸图像中各像素点的RGB颜色值。
Hi3519根据人脸坐标传输给Zynq人脸图像，端口使用4003。每帧先传输一个header结构体，随后跟着一个raw_face结构体数组。在一个实施例中，数组长度为n_faces暂固定为1，每一个header结构体后面跟着一个raw_face结构体数组，结构体数组的大小为1。
header结构体格式为：
Figure BDA0001520689600000111
其中的raw_face结构体用来表示分辨率为128*128的人脸图像数据，它的data数组中每个uint32_t数据代表一个像素的RGB值(其中0-7位存储B值，8-15位为G值，16-23位为R值，24-31位固定为0)。图像像素的存储顺序为从左到右，自上而下：即最左上角的像素为第一个像素，存储于data[0]中，其同行右边的像素存储在data[1]中，然后依次存储，直到最右下角的像素为最后一个像素，存储于data[128*128-1]中。所有变量均为小端序。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
步骤S105，计算单元接收视频编解码单元基于所述第一数据包回传的第二数据包，计算单元利用预设的第二数据包格式对所述第二数据包进行解封装，得到人脸图像信息。
步骤S106，计算单元利用预设的第三数据包格式对基于所述人脸图像信息进行人脸属性识别后得到的人脸属性信息进行封装，计算单元向所述视频编解码单元发送封装后的第三数据包。
在本发明实施例中，所述第三数据包格式包括：第三头部结构体和第三结构体数组；所述第三头部结构体包括：人脸的追踪编号和当前图像帧中的人脸图像的数量，所述第三结构体数组中的每个结构体包括：年龄信息、性别信息、少数民族概率信息和非人脸概率信息。
Zynq回传Hi3519人脸属性结果同样利用端口4003。人脸属性包括年龄、性别、少数民族概率和非人脸概率。数据包格式利用两个结构体，分别是header和face_result结构体。
header结构体格式为：
Figure BDA0001520689600000121
Figure BDA0001520689600000131
每帧先传输一个header结构体，随后跟着一个face_result结构体数组。在一个实施例中，数组长度n_faces暂固定为1，每一个header结构体后面跟着一个face_result结构体数组，结构体数组的大小为1。所有变量均为小端序。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
步骤S107，视频编解码单元接收所述计算单元基于所述第二数据包回传的第三数据包，视频编解码单元利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息。
在本发明实施例中，所述方法还包括：定时向所述视频编解码单元发送心跳包，所述心跳包的格式包括：系统版本号及算法版本号。
心跳包结构体格式：
Figure BDA0001520689600000132
Zynq每秒发送一次心跳包，所有变量为小端序。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在本发明的又一实施例中，如图4所示，还提供一种信息交互装置，所述装置包括：
第一发送模块11，用于向计算单元发送视频数据；
第一解封装模块12，用于接收所述计算单元基于所述视频数据回传的第一数据包，按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息；
第一封装模块13，用于按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元；
第二解封装模块14，用于接收所述计算单元基于所述第二数据包回传的第三数据包，利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在本发明的又一实施例中，如图5所示，还提供一种信息交互装置，所述装置包括：
第二封装模块21，用于接收视频编解码单元发送的视频数据，将对所述视频数据进行人脸检测得到的人脸检测信息利用第一数据包格式进行封装，向所述视频编解码单元发送封装后的第一数据包；
第三解封装模块22，用于接收视频编解码单元基于所述第一数据包回传的第二数据包，利用预设的第二数据包格式对所述第二数据包进行解封装，得到人脸图像信息；
第三封装模块23，用于利用预设的第三数据包格式对基于所述人脸图像信息进行人脸属性识别后得到的人脸属性信息进行封装，向所述视频编解码单元发送封装后的第三数据包。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在本发明的又一实施例中，还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述方法实施例所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的信息交互方法、装置以及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种信息交互方法，应用于视频编解码单元中，其特征在于，包括：
向计算单元发送视频数据；所述视频数据内多帧图像的预设像素区域中嵌入有帧号信息；
接收所述计算单元基于所述视频数据回传的第一数据包，按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息；所述人脸检测信息为计算单元对所述视频数据进行人脸检测得到的信息；
按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元；
接收所述计算单元基于所述第二数据包回传的第三数据包，利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息，所述人脸属性信息为计算单元对所述人脸图像信息进行人脸属性识别后得到的信息。
2.根据权利要求1所述的信息交互方法，其特征在于，所述方法还包括：
所述预设像素区域包含多个像素点。
3.根据权利要求2所述的信息交互方法，其特征在于，所述帧号信息通过像素点的亮度值或色度值表示。
4.根据权利要求2至3任一所述的信息交互方法，其特征在于，所述第一数据包格式包括：第一头部结构体和第一结构体数组；
所述第一头部结构体包括：所述帧号信息以及每个帧号所对应的图像中所包含的人脸数量；
所述第一结构体数组中的每个结构体包括：人脸框的位置信息、人脸的追踪编号、人脸图像的模糊程度以及人脸的三维偏转角度。
5.根据权利要求1至3任一所述的信息交互方法，其特征在于，所述第二数据包格式包括：第二头部结构体和第二结构体数组；
所述第二头部结构体包括：人脸的追踪编号和传输的人脸图像的数量；
所述第二结构体数组中的每个结构体包括：人脸图像中各像素点的RGB颜色值。
6.根据权利要求1至3任一所述的信息交互方法，其特征在于，所述第三数据包格式包括：第三头部结构体和第三结构体数组；
所述第三头部结构体包括：人脸的追踪编号和当前图像帧中的人脸图像的数量；
所述第三结构体数组中的每个结构体包括：年龄信息、性别信息、少数民族概率信息和非人脸概率信息。
7.一种信息交互方法，应用于计算单元中，其特征在于，包括：
接收视频编解码单元发送的视频数据，将对所述视频数据进行人脸检测得到的人脸检测信息利用第一数据包格式进行封装，向所述视频编解码单元发送封装后的第一数据包；所述视频数据内多帧图像的预设像素区域中嵌入有帧号信息；
接收视频编解码单元基于所述第一数据包回传的第二数据包，利用预设的第二数据包格式对所述第二数据包进行解封装，得到人脸图像信息；所述人脸图像信息为基于所述人脸检测信息确定的信息；
利用预设的第三数据包格式对基于所述人脸图像信息进行人脸属性识别后得到的人脸属性信息进行封装，向所述视频编解码单元发送封装后的第三数据包。
8.根据权利要求7所述的信息交互方法，其特征在于，所述方法还包括：
定时向所述视频编解码单元发送心跳包，所述心跳包的格式包括：系统版本号及算法版本号。
9.一种信息交互装置，其特征在于，包括：
第一发送模块，用于向计算单元发送视频数据；所述视频数据内多帧图像的预设像素区域中嵌入有帧号信息；
第一解封装模块，用于接收所述计算单元基于所述视频数据回传的第一数据包，按照预设的第一数据包格式对所述第一数据包进行解封装，得到人脸检测信息；所述人脸检测信息为计算单元对所述视频数据进行人脸检测得到的信息；
第一封装模块，用于按照预设的第二数据包格式，对基于所述人脸检测信息确定的人脸图像信息进行封装，将得到的第二数据包发送给所述计算单元；
第二解封装模块，用于接收所述计算单元基于所述第二数据包回传的第三数据包，利用预设的第三数据包格式对所述第三数据包进行解封装，得到人脸属性信息，所述人脸属性信息为计算单元对所述人脸图像信息进行人脸属性识别后得到的信息。
10.一种信息交互装置，其特征在于，包括：
第二封装模块，用于接收视频编解码单元发送的视频数据，将对所述视频数据进行人脸检测得到的人脸检测信息利用第一数据包格式进行封装，向所述视频编解码单元发送封装后的第一数据包；所述视频数据内多帧图像的预设像素区域中嵌入有帧号信息；
第三解封装模块，用于接收视频编解码单元基于所述第一数据包回传的第二数据包，利用预设的第二数据包格式对所述第二数据包进行解封装，得到人脸图像信息；所述人脸图像信息为基于所述人脸检测信息确定的信息；
第三封装模块，用于利用预设的第三数据包格式对基于所述人脸图像信息进行人脸属性识别后得到的人脸属性信息进行封装，向所述视频编解码单元发送封装后的第三数据包。
11.一种信息交互系统，其特征在于，包括：视频编解码单元和计算单元；
所述视频编解码单元在执行计算机程序时执行如权利要求1至6任一项所述的方法；
所述计算单元在执行计算机程序时执行如权利要求7至8任一项所述的方法。
12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-6或者7至8任一所述的方法。
CN201711416505.6A 2017-12-22 2017-12-22 信息交互方法、装置及系统 Active CN108124157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711416505.6A CN108124157B (zh) 2017-12-22 2017-12-22 信息交互方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711416505.6A CN108124157B (zh) 2017-12-22 2017-12-22 信息交互方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108124157A CN108124157A (zh) 2018-06-05
CN108124157B true CN108124157B (zh) 2020-08-07

Family

ID=62231610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711416505.6A Active CN108124157B (zh) 2017-12-22 2017-12-22 信息交互方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108124157B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034025A (zh) * 2018-07-16 2018-12-18 东南大学 一种基于zynq的人脸关键点检测系统
CN109145768A (zh) * 2018-07-31 2019-01-04 北京旷视科技有限公司 得到带人脸属性的人脸数据的方法及装置
CN109635775B (zh) * 2018-12-21 2023-05-16 上海创功通讯技术有限公司 一种人脸拓展属性的显示方法、装置及存储介质
CN110458009B (zh) * 2019-07-04 2022-02-18 浙江大华技术股份有限公司 图片信息、人脸检测、以图搜图的处理方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218060A (ja) * 2009-03-13 2010-09-30 Omron Corp 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法
CN102945366A (zh) * 2012-11-23 2013-02-27 海信集团有限公司 一种人脸识别的方法及装置
CN105335709A (zh) * 2015-10-21 2016-02-17 奇酷互联网络科技（深圳）有限公司 面部识别显示方法、面部识别显示装置和终端
CN105488478A (zh) * 2015-12-02 2016-04-13 深圳市商汤科技有限公司 一种人脸识别系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218060A (ja) * 2009-03-13 2010-09-30 Omron Corp 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法
CN102945366A (zh) * 2012-11-23 2013-02-27 海信集团有限公司 一种人脸识别的方法及装置
CN105335709A (zh) * 2015-10-21 2016-02-17 奇酷互联网络科技（深圳）有限公司 面部识别显示方法、面部识别显示装置和终端
CN105488478A (zh) * 2015-12-02 2016-04-13 深圳市商汤科技有限公司 一种人脸识别系统和方法

Also Published As

Publication number Publication date
CN108124157A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN108124157B (zh) 信息交互方法、装置及系统
US10069511B2 (en) Lossless data compression
US20140009576A1 (en) Method and apparatus for compressing, encoding and streaming graphics
CN109754046B (zh) 二维码、二维码的编码方法、解码方法、装置及设备
US10699751B1 (en) Method, system and device for fitting target object in video frame
US10991068B2 (en) Projection image construction method and device
JP7277373B2 (ja) 送信装置
EP4036841A1 (en) Image processing method and apparatus
US20240104780A1 (en) Image compression method and apparatus, and intelligent terminal and computer-readable storage medium
WO2021036407A1 (zh) 通信方法及装置、电子设备和存储介质
US20190139204A1 (en) Method and device for adjusting grayscale values of image
WO2023241459A1 (zh) 数据通信方法、系统、电子设备和存储介质
CN109389659A (zh) Ppt中数学公式的渲染方法、装置、存储介质及终端设备
US20230325987A1 (en) Tone mapping method and apparatus
US9860415B2 (en) Method and device for picture-based barcode encoding and decoding
EP4154531A1 (en) Decoded tile hash sei message for v3c/v-pcc
CN114616834B (zh) 用于视频通话的基于面容的帧封装
EP3709666A1 (en) Method for fitting target object in video frame, system, and device
CN110717891A (zh) 基于分组批量的图片检测方法、装置及存储介质
US20190158697A1 (en) Enhancing graph visualization with supplemental data
CN113938666B (zh) 基于关键帧的视频数据传输方法、装置及存储介质
US11328503B2 (en) Wireless data communication of binary data as image data
CN113938667A (zh) 基于视频流数据的视频数据传输方法、装置及存储介质
CN113613043A (zh) 屏幕显示和图像处理方法以及嵌入式设备和云服务器
WO2023050590A1 (zh) 一种图像处理方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant