CN117612203A - 基于多振镜相机的远距离人体定位和动捕的方法及系统 - Google Patents

Abstract

本申请公开了一种基于多振镜相机的远距离人体定位和动捕的方法及系统，该方法包括：采用多台振镜相机实时同步采集同一个目标人物的图像；通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标；通过2D‑3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。本发明基于多振镜相机实时远距离跟踪捕捉目标，属于视觉被动式3D定位技术，由于振镜相机的捕捉范围很宽广，有效解决了固定相机定位区域小的缺点，且不用主动投射光源，不受距离限制，被定位目标也无需佩戴接收器。

Description

基于多振镜相机的远距离人体定位和动捕的方法及系统

技术领域

本申请属于视觉跟踪技术领域，具体涉及一种基于多振镜相机的远距离人体定位和动捕的方法。

背景技术

现有的远距离动作捕捉技术，主要有基于惯导的动捕服、基于视觉的被动式动作捕捉、基于结构光的主动式视觉动作捕捉、基于激光发射/接收器模式的主动式动作捕捉等技术，现有的远距离3D空间定位技术，主要有：UWB空间定位、GPS空间定位、视觉被动式空间定位、激光/毫米波雷达空间定位等多种方式。

然而，现有的远距离动作捕捉技术中，基于惯导的穿戴式动捕服，具有穿戴起来不方便运动和信号传输距离近的弱点。基于结构光的主动式视觉动作捕捉，受结构光源发射功率限制，有捕捉距离近的弱点。基于激光发射/接受器模式的主动式动作捕捉，受发射功率限制，具有穿戴起来不方便、捕捉距离近的弱点。基于视觉的被动式动作捕捉，在远距离捕捉时，具有成像小捕捉范围小的弱点。

现有的远距离3D空间定位技术中，UWB空间定位和GPS空间定位都属于发射器/接收器模式，被捕捉目标需佩戴定位接收器，很不方便。激光/毫米波雷达空间定位属于主动投射式，但受到发射源功率限制，具有定位距离空间有限的弱点。视觉被动式3D空间定位大都为固定相机，视觉捕捉的空间是有限的，定位区域小。

在远距离视觉定位和动作捕捉中，如何在保证捕捉范围的前提下，提供一种定位区域大、且不用主动投射光源、不受距离限制、被定位目标也无需佩戴接收器的一种方法或系统是目前需要解决的主要技术问题。

发明内容

本申请的目的在于提供一种基于多振镜相机的远距离人体定位和动捕的方法及系统，以解决传统的远距离视觉定位和动捕中存在的成像捕捉范围小、需设置主动光源、受距离限制、需被定位目标佩戴接收器等问题。

根据上述目的，本申请的第一方面，提供了一种基于多振镜相机的远距离人体定位和动捕的方法，所述方法包括：

采用多台振镜相机实时同步采集同一个目标人物的图像；

通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标；

通过2D-3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。

进一步地，采用多台振镜相机实时同步采集同一目标人物的图像包括：

使用多台振镜相机分别采集到视野图像后，通过人体检测模型检测出人体；

控制振镜相机跟踪到目标人物的人体；

通过对齐时间戳的方式同步多个相机的图像。

进一步地，通过对齐时间戳的方式同步多个相机的图像包括：

将多个振镜相机采集的图像以时间顺序放入各自的图像队列中，然后再异步对齐每个队列中时间戳最近的图像，并将他们拼接成一帧，其中，将时间戳的误差容许阈值设置为帧间隔的一半以内。

进一步地，所述振镜相机由高速相机、二维可控振镜、振镜驱动板、振镜控制板和电脑组成，所述电脑通过网线分别与所述高速相机和振镜控制板相连，所述电脑发送旋转控制指令给所述振镜控制板，所述振镜控制板接收该旋转控制指令后，驱动二维可控振镜偏转，以实时跟踪目标人物，其中，捕捉到的目标人物的图像反射于所述高速相机中。

进一步地，所述振镜相机为两组。

本发明的第二方面，提供了一种基于多振镜相机的远距离人体定位和动捕的系统，所述系统包括：

目标采集模块，通过多台振镜相机实时同步采集同一目标人物的图像；

位置坐标检测模块，通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标；

3D坐标转化模块，通过2D-3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。

本申请实施例所公开的一种基于多振镜相机的远距离人体定位和动捕的方法及系统，属于视觉被动式3D定位技术，基于多振镜相机的捕捉范围很宽广，有效解决了固定相机定位区域小的缺点，同时，可实时远距离跟踪被捕捉目标，被捕捉目标无需穿戴任何接收器设备，为被动式感知，无投射光源，不受光源发射功率限制，捕捉范围和距离不受限制。

附图说明

图1为本实施例中的基于多振镜相机的远距离人体定位和动捕的方法的应用场景示意图。

图2为本实施例中的振镜相机的结构原理图。

图3为本实施例中的基于多振镜相机的远距离人体定位和动捕的方法的原理图。

图4为本实施例中的基于多振镜相机的远距离人体定位和动捕的系统的结构原理图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想。

本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

本说明书中所引用的如“前”、“、后”、“左”、“右”、“中间”、“纵向”、“横向”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，亦仅为了便于简化叙述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例一

参照图1～图3所示，本申请的实施例一提供了一种基于多振镜相机的远距离人体定位和动捕的方法，该方法包括：

步骤S1、采用多台振镜相机实时同步采集同一个目标人物的图像。

具体的，此处的多台振镜相机，至少包括两组，为方便说明，本实施例仅以如图1所示的两组为例，两组间隔安装于不同位置，并同时对同一目标人物的图像进行采集。

参照图2所示，本实施例中的振镜相机的硬件结构实质上是由高速相机、二维可控振镜、振镜驱动板、振镜控制板和电脑组成，所述电脑通过网线分别与所述高速相机和振镜控制板相连，振镜驱动板分别通过信号线连接振镜控制板和二维可控振镜，二维可控振镜与高速相机间隔相对设置，高速相机的镜头朝向振镜的镜面，振镜捕捉到的图像将反射于高速相机中，高速相机应处于开机状态，高速相机将包含目标人物的图像传输给电脑，电脑根据目标人物的位置点变化，发送旋转控制指令给所述振镜控制板，所述振镜控制板接收该旋转控制指令后，驱动二维可控振镜偏转，以实时跟踪目标人物，其中，捕捉到的目标人物的图像反射于所述高速相机中。

其中，采用多台振镜相机实时同步采集同一目标人物的图像包括：

S11、使用多台振镜相机分别采集到视野图像后，通过人体检测模型检测出人体；其中，人体检测模型可以采用目前市面上比较通用的一些模型，比如Alphapose、Openpose、Openpifpaf或者fastpose等人体姿态估计模型。

S12、控制振镜相机跟踪到目标人物的人体；其中，振镜的旋转角度则是根据电脑计算给出的控制指令。

S13、通过对齐时间戳的方式同步多个相机的视野图像。

在步骤S13中，通过对齐时间戳的方式同步多个相机的视野图像包括如下过程：

将多个振镜相机采集的图像以时间顺序放入各自的图像队列中，然后再异步对齐每个队列中时间戳最近的图像，并将他们拼接成一帧，其中，将时间戳的误差容许阈值设置为帧间隔的一半以内，以保证采集的精度，比如100帧的捕捉帧率，则每台相机的时间戳误差在5ms以内。

步骤S2、通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标。

具体的，人体关键点检测(Human Keypoints Detection)又称为人体姿态估计，是计算机视觉中一个相对基础的任务，是人体动作识别、行为分析、人机交互等的前置任务。一般情况下可以将人体关键点检测细分为单人/多人关键点检测、2D/3D关键点检测，同时有算法在完成关键点检测之后还会进行关键点的跟踪，也被称为人体姿态跟踪。多人人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而上的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI,CFN、RMPE、Mask R-CNN、CPN等。人体关键点算法模型可以采用现有技术中通用的技术，故在此不再赘述。

步骤S3、通过2D-3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。人体骨骼关键点检测可以用于捕捉人体的运动，例如电影制作、游戏开发等领域。人体骨骼关键点检测技术可以帮助计算机自动识别人体的关键点位置信息，如关节、手脚等部位，从而实现对人体姿态和行为的预测。特别是在人体动作捕捉领域，可以帮助制作人员更准确地捕捉人体的运动动作，从而制作出更逼真的动画效果。

具体的，三角测量(triangulation)法就是在不同的姿态下观察同一个对象，根据图像上的同名点的像素坐标，计算对象的三维坐标。在双目视觉中，分左右相机，同时可以获得左视图和右视图，根据匹配的同名点和左右相机的投影矩阵，就可以计算出匹配同名点的世界坐标。

本申请以两台振镜相机，在60米以外的空间范围跟踪捕捉跑步的运动员3D姿态和位置(测试场地太小，实测距离还可进一步延长)，实测精度可达到10厘米以内的位置精度和姿态关节角度2.5度以内的精度，真正意义上实现了高精度、非穿戴、远距离高速定位人体位置和捕捉姿态的目的。

实施例二

参照图4所示，本申请的另一实施例，还提供了一种基于多振镜相机的远距离人体定位和动捕的系统，所述系统包括：

目标采集模块，通过多台振镜相机实时同步采集同一目标人物的图像；

位置坐标检测模块，通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标；

3D坐标转化模块，通过2D-3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。

本发明实施例所公开的一种基于多振镜相机的远距离人体定位和动捕的系统，属于视觉被动式3D定位技术，由于振镜相机的捕捉范围很宽广，有效解决了固定相机定位区域小的缺点，且不用主动投射光源，不受距离限制，被定位目标也无需佩戴接收器，也提高了用户体验。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于多振镜相机的远距离人体定位和动捕的方法，其特征在于，所述方法包括：

采用多台振镜相机实时同步采集同一个目标人物的图像；

通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标；

通过2D-3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。

2.根据权利要求1所述的标定方法，其特征在于，采用多台振镜相机实时同步采集同一个目标人物的图像包括：

使用多台振镜相机分别采集到视野图像后，通过人体检测模型检测出人体；

控制振镜相机跟踪到目标人物的人体；

通过对齐时间戳的方式同步多个相机中的图像。

3.根据权利要求2所述的标定方法，其特征在于，通过对齐时间戳的方式同步多个相机中的图像包括：

将多个振镜相机采集的图像以时间顺序放入各自的图像队列中，然后再异步对齐每个队列中时间戳最近的图像，并将他们拼接成一帧，其中，将时间戳的误差容许阈值设置为帧间隔的一半以内。

4.根据权利要求1所述的标定方法，其特征在于，所述振镜相机由高速相机、二维可控振镜、振镜驱动板、振镜控制板和电脑组成，所述电脑通过网线分别与所述高速相机和振镜控制板相连，所述电脑发送旋转控制指令给所述振镜控制板，所述振镜控制板接收该旋转控制指令后，驱动二维可控振镜偏转，以实时跟踪目标人物，其中，捕捉到的目标人物的图像反射于所述高速相机中。

5.根据权利要求1所述的标定方法，其特征在于，所述振镜相机为两组。

6.一种基于多振镜相机的远距离人体定位和动捕的系统，其特征在于，所述系统包括：

目标采集模块，通过多台振镜相机实时同步采集同一个目标人物的图像；

位置坐标检测模块，通过人体2D关键点检测算法模型，检测出目标人物的人体及骨骼关键点在图像坐标系中的位置坐标；

3D坐标转化模块，通过2D-3D投影的三角算法计算出人体的3D空间坐标和骨骼关键点的3D坐标。