CN208971606U - 用于人脸表情的无线视频采集装置 - Google Patents

Abstract

本实用新型涉及计算机图形处理领域，提出了一种用于人脸表情无线视频采集装置，旨在解决兼顾面部表情捕捉装置的成本和灵活性的问题。该装置的具体实施方式包括：头盔式壳体、视频传感设备和调节杆，上述头盔式壳体和上述视频传感设备通过上述调节杆连接；其中，上述头盔式壳体用于佩戴于表演者的头部以固定上述装置；上述视频传感设备用于采集上述表演者的面部图像数据，上述视频传感设备包括视频传感器、多个采光灯、信息收发装置；上述调节杆用于调节上述视频传感设备的角度、位置，以使上述视频传感设备以不同的角度和位置捕获上述表演者面部图像数据。该装置使用灵活、价格低廉，实现对面部表情视频捕捉。

Description

用于人脸表情的无线视频采集装置

技术领域

本实用新型涉及计算机图形视觉领域，具体涉及计算机图形处理领域，特别涉及一种用于人脸表情的无线视频采集装置。

背景技术

人脸的面部表情分析与捕捉是3D游戏动画、影视特效、虚拟社交、人机交互等领域中重要的虚拟交互技术手段。在影视工业上，为确保稠密精确的面部表情特征的几何跟踪，人脸面部表演捕捉的工业标准主要依赖于大量的标记点与复杂的视频采集装置，应用于专业的影视、游戏制作等对费用与专业操作不敏感的场合，如OptiTrack面部表情捕捉系统。但上述带标记点的捕捉方法对用户造成负担，无标记点的视觉技术是未来趋势。基于视觉图像的无标记点面部表情捕捉方法是，利用单目相机采集人脸视频数据，通过跟踪人脸特征，如鼻翼、唇角、眼角、皱纹等，实现表情的分析与捕捉。

在移动互联网领域，在线交互手段一般基于传统的文字、语音、图像或视频，而缺乏新的交互应用。近年来，随着移动互联网的飞速发展与AR/VR技术的进步，对人脸交互应用提出新的要求，如3D虚拟化身(Avatar)是一个方向。相对于传统的视频网络传输相比，3D虚拟化身技术只需要传输少量控制参数，因此所需要带宽很小，人物象增加灵活，非常适合互联网交互应用。但是，目前无标记点面部表情捕捉的系统，多采用双相机视觉或深度相机测量，设备较复杂昂贵或易受室外光线影响。只利用彩色摄像头实现简单轻便的表情视频采集成为脸部表情分析与捕捉应用中急需解决的问题。

实用新型内容

为了解决现有技术中的上述问题，即为了兼顾面部表情捕捉装置的成本和灵活性，本实用新型采用以下技术方案以解决上述问题：

本申请提供了一种用于人脸表情的无线视频采集装置，该装置包括：头盔式壳体、视频传感设备和调节杆，上述头盔式壳体和上述视频传感设备通过上述调节杆连接；其中，上述头盔式壳体用于佩戴于表演者的头部以固定上述装置；上述视频传感设备用于采集上述表演者的面部图像数据，上述视频传感设备包括视频传感器、信息收发装置；上述调节杆用于调节上述视频传感设备的角度、位置，以使上述视频传感设备以不同的角度和位置捕获上述表演者面部图像数据。

在一些示例中，所述视频传感设备包括具有球面凸起的基座，所述视频传感器设于所述基座的凸起处，所述视频传感器周围基座上对称设置多个采光灯。

在一些示例中，所述调节杆为L型，其长臂的自由端通过转动轴与所述头盔式壳体连接，其短臂自由端与所述基座的底部连接。

在一些示例中，上述视频传感设备内置有蓄电池。

在一些示例中，上述蓄电池为可充蓄电池，上述蓄电池的充电端口为USB供电接口。

在一些示例中，上述视频传感设备的供电电路与上述头盔式壳体的电源电路电连接，用于从上述头盔式壳体中获取工作电源。

在一些示例中，所述信息收发装置包括视频编解码SoC处理器，所述视频编解码SoC处理器用于将所述视频传感器采集的视频数据进行编解码。

在一些示例中，该装置还包括用于与外部进行通信的无线通信设备。

本申请提供的多用户人脸表情无线视频采集装置头盔式壳体可以穿戴在表演者的头部，使得对面部图像的采集不受地域的限制，可以随时随地进行；调节杆的设置可以调整镜头的位置和角度，可以充分地利用镜头分辨率；视频传感设备中采光灯的设置可以使得装置适合各种光线环境；无线通信设备实现用户表情视频的实时移动采。本实用新型所采用的元器件是市场常见芯片，技术成熟，装置加工制作成本低，能满足虚拟现实交互日益大众化的需求。

附图说明

图1是本申请的多用户人脸表情无线视频采集装置的结构图；

图2是本申请的多用户人脸表情无线视频采集装置中视频传感设备的结构图。

具体实施方式

下面参照附图来描述本实用新型的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本实用新型的技术原理，并非旨在限制本实用新型的保护范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于人脸表情的无线视频采集装置的实施例的示例性结构视图。

如图1所示，用于人脸表情的无线视频采集装置可以包括头盔式壳体10、视频传感设备20和调节杆30，头盔式壳体10和视频传感设备20通过调节杆30连接。

在本实施例中，上述头盔式壳体10用于佩戴于表演者的头部以固定上述无线视频采集装置；上述视频传感设备20用于采集表演者的面部图像数据，上述视频传感设备20包括视频传感器201、多个采光灯202、信息收发装置；上述调节杆30用于调节上述视频传感设备20的角度、位置，以使上述视频传感设备20以不同的角度和位置捕获所述表演者面部图像数据。上述视频传感器201可以是摄像头或具有视频采集功能的相机。

具体地，上述调节杆30为L型的连接件，其长臂部分为第一调节件301，其短臂部分为第二调节件302。第一调节件301的自由端端通过转动轴与上述头盔式壳体10连接，第二调节件302的自由端与基座的底部连接。上述调节杆30可以以该转动轴为轴心进行旋转，从而可以调节装设于第二调节件302上的视频传感设备20的位置。通过调整可以使得视频传感设备20的视频传感器201正对表演者的面部的不同部位。

继续参考图2，图2示出了上述视频传感设备的结构图，如图2所示，上述视频传感设备20包括具有球面凸起的基座，基座的底部与上述调节杆30的第二调节件302的连接，上述视频传感设备20可以设置于上述第二调节件302的不同位置。具体地，上述基座的底部与上述第二调节件302通过连接部件连接，上述连接部件可以是卡接部件或拉扣等连接部件。使用时，将上述是视频传感设备20在上述第二调节件 302上滑动调节，待调整好位置后通过上述连接部件将上述视频传感设备 20与上述第二调节件302固定。上述视频传感设备20的视频传感器201 设置于基座的球面的中心凸起处，在视频传感器201的周围分布有对称设置的采光灯202，优选的，可以在上述视频传感器201的周围对称设置 4个采光灯202。上述采光灯202用于在光线不足或光线分布不均造成表演者面部有阴影时进行补光。上述视频传感设备20可以设有用于控制采光灯202的开关，上述开关可以是根据感光设备所获得的光线强弱信息而自动调节采光灯开或关的开关器件，还可以是利用光线强弱信息调节采光灯202亮度的调节器件，还可以为手动开关，如采光灯开关203，根据表演者面部光线强弱打开或关闭一台或多台上述采光灯202。

在本实施例中，上述视频传感设备20内置有蓄电池。优选地，上述蓄电池为可充蓄电池，上述蓄电池的充电端口为USB供电接口。

在本实施例中，上述视频传感设备20的供电电路与上述头盔式壳体10的电源电路电连接，用于从上述头盔式壳体10中获取工作电源。

具体地上述视频传感设备20还包括供电接口，上述供电接口可以为Micro USB供电接口204。为保证表演者在表演过程中，及时的将采集的视频信息发送到应用平台，上述装置还包括运动电源101。上述移动电源101设置于上述头盔式壳体10上，通过连接线连接将上述Micro USB供电接口和移动电源101连接，向上述视频传感设备20供电。

在本实施例中，上述视频传感器201所采集的视频数据可以存储于预设的存储单元中，通过I/O接口输出到应用平台；或者还可以通过信息收发装置同步地将所采集表演者的视频数据发送到应用平台以便后续其他任务程序使用。

上述信息收发装置包括视频编解码SoC处理器，视频编解码SoC处理器用于将上述视频传感器采集的视频数据进行编解码。上述信息收发装置还包括用于与外部进行通信的无线通信设备。上述无线通信设备可以设置于上述视频传感设备上。具体地，上述无线通信设备可以为WiFi模组，上述wifi模组用于接收与上述装置通信连接的应用平台的指令信息，并根据指令信息的指示，将所述视频编解码SoC处理器处理的图像数据发送到所述应用平台。可以利用设置于视频传感设备20的 wifi天线205进行无线信号的接收与发送。

优选地，上述视频编码器、WiFi模块分别由Hi3518EV200 和RealTek RTL8188ETV芯片为核心构成。可以将上述视频传感设备20 的各功能器件以PCB板载形式集成或连接形成模组。上述Hi3518EV200 视频编码器的编码视频正常分辨率宽度比高度大，如典型为640x480。但由于人的脸部形状高度比宽度大，适宜的采集图像分辨率是480x640，以充分利用图像空间。

因此，为了适应本实用新型近距离人脸视频采集要求，上述第二调节件302与上述基座固定后，还可以用进行旋转调整，上述基座可以在上述第二调节件上进行角度调整。如可以调整90度角度，然后固定从而使得采集到图像分辨率是480x640，以充分利用图像空间。表演者穿戴上述装置，并通过上述装置的视频传感设备20采集表演者的面部图像数据，由于人的脸部形状高度比宽度大，所采集的表演者面部图像数据中，图像数据中有较多的空闲空间；为更好利用图像书记空间，将上述视频传感设备进行90度的旋转，然后采集表演者的面部图像数据，图像数据的空间得到充分的利用。上述视频编码器接收所采集的图像后，图像矩阵作类似旋转的进行角度补偿。例如，用OpenCV的翻转函数 cv::flip完成，相当于摄像机的图像分辨率设置成480x640，而无需调整装置硬件参数。

进一步地，基于上述人脸表情无线视频采集装置和应用平台组成一种多用户人脸表情无线视频采集系统。在此系统中上述应用平台与多个上述装置通信连接，获取各上述装置采集的表演者的面部图像，实现多用户的人脸表情的视频采集。可以是表演者将上述装置穿戴好之后，通过调整调节杆30调整视频传感设备的镜头与表演者面部的距离和角度。因在人脸视频采集过程中，镜头离人面距离近，透视与畸变效应显著，需要进行镜头的标定。利用张正友标定法进行相机标定镜头或相机的参数，上述参数包括相机内部参数、外部参数、畸变参数等。标定好上述镜头后：

首先，设置上述装置的网络连接。上述装置的wifi模组实现网络通信所需的功能，实现无线连接。在进行网络通信之前，预先设置 Wifi模组的WLAN网络连接。可通过第三方软件(如P2PcamLive)设置wifi 模组的网络连接对应的WiFi路由的SID(Service SetIdentifier服务集标识符)与密码；使得上述装置每次启动自动连接WiFi网络。网络连接在同一网络只需要设置一次即可。

第二，搜索上述装置IP地址，建立数据通讯连接；并根据任务要求设置视频采集参数。上电启动上述装置，WiFi模组自动连接网络后，搜索WiFi局域网内处于活动状态的装置，创建网络连接，建立数据通讯。

第三，按照任务要求设置上述装置视频采集参数。如果，上述装置当前工作参数如果不符合任务要求，设置新参数。高分辨率视频可以提供更多细节信息，但采集、处理、传输，到最后应用程序端接收到的视频数据与实时表情发生时间可能会有较大延时。上述视频编码器的Hi3518芯片不同工作模式下性能有差别。640x480下适用于一般的表情采集任务，但对于720p、1080p高清人面视频采集，加重处理与传输数据量，对延迟有要求的，可选用更高性能的视频编解码SoC处理器，如Hi3536。

第四，对所有在线的上述装置，重复以下步骤：

由多个上述装置和应用平台组成人脸采集系统，各个上述装置在无线局域网内分配不同IP地址，实现多人在线采集功能。利用第二步中搜索功能，搜索到的装置，都以独立线程方式创建网络通讯，采集各自装置用户人脸视频数据，并进行任务处理。

第五，各上述装置利用各自的信息收发装置将当前帧人脸图像数据发送到应用平台。

第六，应用平台根据传输协议接收各个上述装置视频码流，应用程序实时处理视频码流。应用程序可以使用私有协议接收Hi3518的 H264编码视频流，再解码成原始raw流，并转换成常用的RGB格式图像。 RGB格式图像数据作为第三方应用任务程序的输入，如表情捕捉、表情分析、表情交互等应用。

第七，如需继续面部视频处理，返回第五步。

第八，上述应用平台关闭与所有上述装置的通信连接。

当系统的采集线程检测到上述装置关闭或任务结束命令，系统关闭对应设备的网络连接，并结束线程。

本申请上述实施例所提供的装置可灵活设计装配成实际任务需要的装备外形，如可穿戴式头盔，配合移动电源，高速WiFi局域网络实现用户表情视频的实时移动采集，采集的视频可以直接用于分析计算任务。并且本实用新型所采用的元器件是市场常见芯片，技术成熟，装置加工制作成本低，能满足虚拟现实交互日益大众化的需求。

至此，已经结合附图所示的优选实施方式描述了本实用新型的技术方案，但是，本领域技术人员容易理解的是，本实用新型的保护范围显然不局限于这些具体实施方式。在不偏离本实用新型的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本实用新型的保护范围之内。

Claims (9)

1.一种用于人脸表情的无线视频采集装置，其特征在于，所述装置包括：头盔式壳体、视频传感设备和调节杆，所述头盔式壳体和所述视频传感设备通过所述调节杆连接；

所述头盔式壳体用于佩戴于表演者的头部以固定所述装置；

所述视频传感设备用于采集所述表演者的面部图像数据，所述视频传感设备包括视频传感器、信息收发装置；

所述调节杆用于调节所述视频传感设备的角度、位置，以使所述视频传感设备以不同的角度和位置捕获所述表演者面部图像数据。

2.根据权利要求1所述的用于人脸表情的无线视频采集装置，其特征在于，所述视频传感设备包括具有球面凸起的基座，所述视频传感器设于所述基座的凸起处，所述视频传感器周围基座上对称设置有多个采光灯。

3.根据权利要求2所述的用于人脸表情的无线视频采集装置，其特征在于，所述调节杆为L型，其长臂的自由端通过转动轴与所述头盔式壳体连接，其短臂自由端与所述基座的底部连接。

4.根据权利要求1所述的用于人脸表情的无线视频采集装置，其特征在于，所述视频传感设备内置有蓄电池。

5.根据权利要求4所述的用于人脸表情的无线视频采集装置，其特征在于，所述蓄电池为可充蓄电池，所述蓄电池的充电端口为USB供电接口。

6.根据权利要求5所述的用于人脸表情的无线视频采集装置，其特征在于，所述视频传感设备的供电电路与所述头盔式壳体的电源电路电连接，用于从所述头盔式壳体中获取工作电源。

7.根据权利要求1所述的用于人脸表情的无线视频采集装置，其特征在于，所述信息收发装置包括视频编解码SoC处理器，所述视频编解码SoC处理器用于将所述视频传感器采集的视频数据进行编解码。

8.根据权利要求5所述的用于人脸表情的无线视频采集装置，其特征在于，所述信息收发装置还包括用于与外部进行通信的无线通信设备。

9.根据权利要求8所述的用于人脸表情的无线视频采集装置，其特征在于，所述无线通信设备设置于所述视频传感设备上。