CN109101935A

CN109101935A - 基于热成像相机的人物动作捕捉系统和方法

Info

Publication number: CN109101935A
Application number: CN201810950354.0A
Authority: CN
Inventors: 蒋丽梅; 鲍敬; 刘德森
Original assignee: Shenzhen Vistandard Digital Technology Co ltd
Current assignee: Shenzhen Vistandard Digital Technology Co ltd
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2018-12-28

Abstract

一种基于热成像相机及人工智能深度学习识别的人物动作捕捉系统和方法,方法包括下述步骤：S1、读取图像步骤，使用相机实现对摄像头图像的捕获；S2、处理图像步骤，PC端对获取的图像进行处理；S3、双目测距步骤，利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异与目标点到成像平面的距离Z存在着反比例的关系，确定目标点的空间位置；S4、形成图像步骤，将从摄像头获取的图像信息提取出来，对获取的图像进行分析，形成图像。本发明提供的人工智能深度学习识别进行动作捕捉系统的方案的方法，利用红外热成像技术的不受太阳强光的干扰、衍射性强的特点，使人类超越了视觉障碍，由此人们可以“看到”物体表面的温度分布状况。

Description

基于热成像相机的人物动作捕捉系统和方法

技术领域

本发明公开一种动态捕捉系统和方法，特别是一种基于热成像相机及人工智能深度学习识别的人物动作捕捉系统和方法。

背景技术

动作捕捉又称为动态捕捉，是指记录并处理人或其他物体动作的技术。其通常的动捕系统硬件包含捕捉摄像机、连接缆线、供电及数据交流用的集线器硬件、系统校准套件、专用捕捉衣服和捕捉反光球。通常系统配有专门的运动捕捉软件，进行系统设定、捕捉过程控制、捕捉数据的编辑处理、输出等。工作人员在特定的捕捉环境如工作室、仓库、摄影棚等地方将系统搭设好后，在演员的头、膝盖、其他关节处贴好反光球捕捉点，即可进行捕捉。演员按照导演指定的要求进行表演，反光球的数据被摄像机捕捉后实时存储到控制电脑里。通常演员表演多组动作，系统操作人员对原始数据进行编辑、修补等处理之后，再输出到如maya、3ds max、softimage、XSI、MotionBuilder等主流的三维软件，动画师使用运动数据驱动后继软件中的三维模型的相对应骨骼节点。

热成像相机基于这样一种原理，将探测到的红外能量转换为电信号，进而在显示器上生成热图像和温度值，并可以对温度值进行计算的一种检测设备。将探测到的红外能量转换为电信号，进而在显示器上生成热图像和温度值，并可以对温度值进行计算的一种检测设备的这一原理，在物体表面温度超过绝对零度即会辐射出电磁波，随着温度变化，电磁波的辐射强度与波长分布特性也随之改变。此外由于红外线对极大部份的固体及液体物质的穿透能力极差，因此红外热成像检测是以测量物体表面的红外线辐射能量为主。照相机成像得到照片是可见光成像。因此利用探测仪测定目标的本身和背景之间的红外线差并可以捕捉不同的红外图像，照相机成像得到照片，电视摄像机成像得到电视图像，都是可见光成像。自然界中，一切物体都可以辐射红外线，因此利用探测仪测定目标的本身和背景之间的红外线差并可以得到不同的红外图像，热红外线形成的图像称为热图。

现有技术中，动作捕捉都是采用可见光环境下进行的，对环境光要求十分苛刻，在光线条件不好的环境下，使用效果并不理想，因此大大限制了其使用。

发明内容

针对上述提到的现有技术中的动作捕捉对环境光要求严苛的缺点，本发明提供一种基于热成像相机及人工智能深度学习识别的人物动作捕捉系统和方法，其基于红外热成像技术进行动作捕捉，可不受太阳强光的干扰，大大扩充了动作捕捉的使用范围。

本发明解决其技术问题采用的技术方案是：一种基于热成像相机的人物动作捕捉方法，该方法包括下述步骤：

S1、读取图像步骤，使用相机实现对摄像头图像的捕获；

S2、处理图像步骤，PC端对获取的图像进行处理；

S3、双目测距步骤，利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异与目标点到成像平面的距离Z存在着反比例的关系，确定目标点的空间位置；

S4、形成图像步骤，将从摄像头获取的图像信息提取出来，对获取的图像进行分析，形成图像。

一种基于热成像相机的人物动作捕捉系统，该系统包括一组红外摄像头、信号处理计算机和数据输出软件，红外摄像头采集到信号发送给信号处理计算机进行处理，信号处理计算机处理后，将信号传输给数据输出软件，进行图像处理。

本发明解决其技术问题采用的技术方案进一步还包括：

所述的步骤S1中，采用摄像头进行图像捕获时，红外线传感器以fps 60-1000的特定频率定位空间中运动的反光点，并在时间轴上连续记录下反光点3d坐标。

所述的步骤S1中，相机镜头位置加装了红外led阵列光源。

所述的步骤S2中，在双目测距步骤中，首先要对摄像头做标定，标定的目的是为了消除畸变以及得到内外参数矩阵。

所述的步骤S2中，利用立体匹配进行极线约束。

所述的步骤S2中，通过双目摄像头标定获得两个摄像头的内外参数，矫正摄像头获得的目标图像，最后进行立体匹配，通过鼠标点击获取该点的三维坐标，坐标原点是左摄像头的光心。

所述的每组摄像头包含一个以上的摄像头。

所述的摄像头采用双目热成像红外传感器，双目热成像红外传感器采集人体图像，生成深度图像，并使用基于人工智能深度学习识别的人物动作捕捉系统。

所述的摄像头内加装了滤光片，摄像头外侧的镜头位置处加装了红外LED阵列光源号。

本发明的有益效果是：本发明提供的人工智能深度学习识别进行动作捕捉系统的方案的方法，利用红外热成像技术的不受太阳强光的干扰、衍射性强的特点，使人类超越了视觉障碍，由此人们可以“看到”物体表面的温度分布状况。

下面将结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明的系统结构示意图。

具体实施方式

本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。

请参看附图1，本发明主要为一种基于热成像相机及人工智能深度学习识别的人物动作捕捉方法，该方法包括下述步骤：

S1、读取图像步骤，使用相机实现对摄像头图像的捕获。本实施例中，在采用摄像头进行图像捕获时，红外线传感器（即相机摄像头的成像传感器）以特定频率（fps 60-1000）定位空间中运动的反光点，并在时间轴上连续记录下反光点3d坐标，具体实施时，摄像头只接收特定波长的红外线（通过在传感器外侧加盖滤光片实现），并在镜头位置加装了红外led阵列光源，以增强采集追踪点的反射信号；本发明中，以红外热成像为特点，具体表现在，人体就是一个自然的生物红外辐射源，能够不断向周围发射和吸收红外辐射。可见光的波长为0.38—0.78微米。比0.38微米短的电磁波和比0.78微米长的电磁波，人眼都无法感受。比0.38微米短的电磁波位于可见光光谱紫色以外，称为紫外线，是对人体有辐射伤害的。比0.78微米长的电磁波位于可见光光谱红色以外，称为红外线。红外线，又称红外辐射，是指波长为0.78~1000微米的电磁波。其中波长为0.78~2.0微米的部分称为近红外，利用探测仪测定目标的本身和背景之间的红外线差，可以得到不同的红外图像，热红外线形成的图像称为热图。

S2、处理图像步骤，PC端对获取的图像进行处理；

S3、双目测距步骤，利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异（即视差）与目标点到成像平面的距离Z存在着反比例的关系，确定目标点的空间位置，本实施例中，在双目测距步骤中，相机标定、立体匹配、测距的实现即可完成，首先要对摄像头做标定，标定的目的是为了消除畸变以及得到内外参数矩阵，内参数矩阵可以理解为焦距相关，它是一个从平面到像素的转换，焦距不变它就不变，所以确定以后就可以重复使用，而外参数矩阵反映的是摄像机坐标系与世界坐标系的转换，至于畸变参数，一般也包含在内参数矩阵中。从作用上来看，内参数矩阵是为了得到镜头的信息，并消除畸变，使得到的图像更为准确，外参数矩阵是为了得到相机相对于世界坐标的联系，是为了最终的测距。本实施例中，利用立体匹配进行极线约所谓极线约束就是说同一个点在两幅图像上的映射，由于视差的存在，利用相似三角形的原理，可得到深度即距离。视差即就是从有一定距离的两个点上观察同一个目标所产生的方向差异，从目标看两个点之间的夹角，叫做这两个点的视差。通过双目摄像头标定获得两个摄像头的内外参数，矫正摄像头获得的目标图像。最后进行立体匹配，通过鼠标点击获取该点的三维坐标。坐标原点是左摄像头的光心。

S4、形成图像步骤，将从摄像头获取的图像信息提取出来，对获取的图像进行分析，形成图像，本实施例中，图像处理时，对原始数据进行编辑、修补等处理之后，再输出到如maya、3ds max、softimage、XSI、MotionBuilder等主流的三维软件，动画师使用运动数据驱动后继软件中的三维模型的相对应骨骼节点，PC端处理图像可采用常规的技术实现，即和可见光捕获图像后处理过程相同。

本发明同时保护一种基于热成像相机及人工智能深度学习识别的人物动作捕捉系统，动作捕捉系统包括一组摄像头、信号处理计算机和数据输出软件，每组摄像头包含一个以上的摄像头，本实施例中，摄像头采用双目热成像红外传感器（成像波长集中在12um），本实施例中，双目热成像红外传感器采集人体图像，生成深度图像，并使用基于人工智能深度学习识别的人物动作捕捉系统。本实施例中，在摄像头内加装了滤光片，可将其他多余的光线滤除，使得摄像头只接收特定波长的红外线。本实施例中，在摄像头外侧的镜头位置处加装了红外LED阵列光源，以增强采集追踪点的反射信号。摄像头采集到信号发送给信号处理计算机进行处理，信号处理计算机处理后，将信号传输给数据输出软件，进行图像处理，本实施例中，图像处理时，对原始数据进行编辑、修补等处理之后，再输出到如maya、3dsmax、softimage、XSI、MotionBuilder等主流的三维软件，动画师使用运动数据驱动后继软件中的三维模型的相对应骨骼节点，PC端处理图像可采用常规的技术实现，即和可见光捕获图像后处理过程相同。

本发明提供的人工智能深度学习识别进行动作捕捉系统的方案的方法，利用红外热成像技术的不受太阳强光的干扰、衍射性强的特点，使人类超越了视觉障碍，由此人们可以“看到”物体表面的温度分布状况。

Claims

1.一种基于热成像相机的人物动作捕捉方法，其特征是：所述的方法包括下述步骤：

S1、读取图像步骤，使用相机实现对摄像头图像的捕获；

S2、处理图像步骤，PC端对获取的图像进行处理；

2.根据权利要求1所述的于热成像相机的人物动作捕捉方法，其特征是：所述的步骤S1中，采用摄像头进行图像捕获时，红外线传感器以fps 60-1000的特定频率定位空间中运动的反光点，并在时间轴上连续记录下反光点3d坐标。

3.根据权利要求1所述的于热成像相机的人物动作捕捉方法，其特征是：所述的步骤S1中，相机镜头位置加装了红外led阵列光源。

4.根据权利要求1所述的于热成像相机的人物动作捕捉方法，其特征是：所述的步骤S2中，在双目测距步骤中，首先要对摄像头做标定，标定的目的是为了消除畸变以及得到内外参数矩阵。

5.根据权利要求1所述的于热成像相机的人物动作捕捉方法，其特征是：所述的步骤S2中，利用立体匹配进行极线约束。

6.根据权利要求1所述的于热成像相机的人物动作捕捉方法，其特征是：所述的步骤S2中，通过双目摄像头标定获得两个摄像头的内外参数，矫正摄像头获得的目标图像，最后进行立体匹配，通过鼠标点击获取该点的三维坐标，坐标原点是左摄像头的光心。

7.一种基于热成像相机的人物动作捕捉系统，其特征是：所述的系统包括一组红外摄像头、信号处理计算机和数据输出软件，红外摄像头采集到信号发送给信号处理计算机进行处理，信号处理计算机处理后，将信号传输给数据输出软件，进行图像处理。

8.根据权利要求7所述的基于热成像相机的人物动作捕捉系统，其特征是：所述的每组摄像头包含一个以上的摄像头。

9.根据权利要求7所述的基于热成像相机的人物动作捕捉系统，其特征是：所述的摄像头采用双目热成像红外传感器，双目热成像红外传感器采集人体图像，生成深度图像，并使用基于人工智能深度学习识别的人物动作捕捉系统。

10.根据权利要求7所述的基于热成像相机的人物动作捕捉系统，其特征是：所述的摄像头内加装了滤光片，摄像头外侧的镜头位置处加装了红外LED阵列光源号。