CN102553232A

CN102553232A - 人体姿态捕捉装置及其实现方法

Info

Publication number: CN102553232A
Application number: CN2010105767897A
Authority: CN
Inventors: 葛冲
Original assignee: 3DIJOY Corp; 3DIJOY DIGITAL TECHNOLOGY (SHANGHAI) Co Ltd
Current assignee: 3DIJOY Corp; 3DIJOY DIGITAL TECHNOLOGY (SHANGHAI) Co Ltd
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2012-07-11

Abstract

本发明公开了一种人体姿态捕捉装置，包括游戏手柄、视频捕获设备、数据接收处理端、显示设备。游戏手柄上包括一个或多个加速度传感器、陀螺仪传感器、地磁场传感器、红外线传感器中的一种或多种，传感器测量游戏手柄的运动方向、运动速度、转动角度、转动速度。视频捕获设备包括RGB摄像头、红外摄像头、三维深度摄像头中的一种或多种，视频捕获设备拍摄包括使用者身体在内的视频捕获画面。数据接收处理端根据游戏手柄和视频捕获设备的测量数据，在显示设备上显示使用者的身体轮廓及身体各部位的运动姿态。本发明还公开了所述人体姿态捕捉装置的实现方法。本发明能在显示设备上跟踪显示使用者的身体各部位形状、位置和运动、转动情况。

Description

人体姿态捕捉装置及其实现方法

技术领域

本发明涉及一种人体姿态(位置、动作)的捕捉装置及其捕捉方法。

背景技术

体感游戏是一类须由玩家用身体的各种动作和/或声音的配合来进行的一种游戏方式。很多大型游戏设备都设置了体感游戏方式，比如摩托赛车就会设置一台摩托车模型来让玩家骑在上面操纵游戏画面中的虚拟摩托车来进行游戏。其优点是增强游戏的趣味性，真实感强。但缺点是大型的游戏设备占用空间大、耗电量大、维护困难，玩家无法搬入自家的客厅中进行游玩。

而可以放在家庭中进行游玩的体感游戏设备通常有以下两种，它们都是对玩家的动作进行捕获来进行游戏：

一种是内置传感器的游戏手柄，传感器可以有一个或多个，传感器的类型包括地磁传感器、加速度传感器、重力传感器、红外光敏感摄像头等。玩家可以拿着手柄做出各种动作进行游戏。

另一种是视频捕获设备，也可以有一个或多个，视频捕获设备的类型包括RGB摄像头、红外摄像头、三维深度摄像头等。视频捕获设备可以用来识别和追踪玩家的身体动作进行游戏。针对使用三维深度摄像头的情况，还可定位出玩家在视频捕获设备前的绝对位置和身体各个部位距离该设备的绝对距离。

但上述两种体感游戏设备都存在着各自的局限性：

对于游戏手柄来说，只能捕获到玩家持游戏手柄的一只手或手臂(当玩家单手持握游戏手柄时)或者双手或手臂(当玩家双手持握游戏手柄时)的单一动作(如转动、挥动等)，无法同时捕获到玩家身体其他部位(未佩戴游戏手柄的部位)的动作，也无法定位玩家距离显示屏幕前的绝对距离。

对于视频捕获设备来说，虽然可以对一人(或多人)的多个身体部位的动作进行捕捉，但是无法捕捉到诸如手臂、头部、腿部等肢体转动等动作。当人体快速运动时，还容易产生跟踪丢失等情况。

发明内容

本发明所要解决的技术问题是提供一种人体姿态的捕捉装置，可以精确地定位人体位置，并捕获人体动作。为此，本发明还要提供所述人体姿态的捕捉装置的实现方法。

为解决上述技术问题，本发明人体姿态的捕捉装置包括游戏手柄、视频捕获设备、数据接收处理端、显示设备；

所述游戏手柄上包括一个或多个传感器，所述传感器为加速度传感器、陀螺仪传感器、地磁场传感器、红外线传感器中的一种或多种，所述传感器测量所述游戏手柄的运动方向、运动速度、转动角度、转动速度；

所述视频捕获设备包括RGB摄像头、红外摄像头、三维深度摄像头中的一种或多种，所述视频捕获设备拍摄包括使用者身体在内的视频捕获画面；

所述数据接收处理端根据所述游戏手柄和所述视频捕获设备的测量数据，在所述显示设备上显示使用者的身体轮廓及身体各部位的运动姿态。

进一步地，当所述视频捕获设备包括三维深度摄像头时，所述三维深度摄像头测量人体各部分与三维深度摄像头之间的距离。

所述人体姿态的捕捉装置的实现方法为：

当使用者在视频捕获设备的捕获范围之内，所述视频捕获设备拍摄包括使用者身体在内的视频捕获画面，并传输给数据接收处理端；

使用者单手或双手持握游戏手柄，和/或游戏手柄捆绑在使用者身体上，所述游戏手柄测量使用者持握或捆绑游戏手柄部位的运动方向、运动速度、转动角度、转动速度，并提交给数据接收处理端；

所述数据接收处理端根据所述视频捕获设备传输的数据，在视频捕获画面中提取出用户身体轮廓及身体各部位的位置，并在显示设备上显示出具有相同的身体轮廓及身体各部位的位置的虚拟人物；

所述数据接收处理端还根据所述游戏手柄和/或视频捕获设备传输的数据，在显示设备上对虚拟人物的身体各部位行与游戏手柄传输的数据相同的运动方向、运动速度、转动角度、转动速度。

进一步地，当所述视频捕获设备包括三维深度摄像头时，所述三维深度摄像头测量人体各部分与三维深度摄像头之间的距离，并传输给数据接收处理端。

本发明人体姿态捕捉装置及其实现方法能在显示设备上跟踪显示使用者的身体各部位形状、位置和运动、转动情况。

附图说明

图1是本发明人体姿态捕捉装置的结构示意图；

图2是本发明人体姿态捕捉装置在使用时的一个实施例的示意图。

图中附图标记说明：

10-游戏手柄；20-视频捕获设备；21-三维深度摄像头的红外或激光发射装置；22-麦克风；23-RGB摄像头；24-三维深度摄像头；30-数据接收处理端；40-显示设备；50-使用者；51-使用者的运动姿态；60-虚拟人物；61-虚拟人物的运动姿态。

具体实施方式

请参阅图1，本发明人体姿态的捕捉装置包括游戏手柄10、视频捕获设备20、数据接收处理端30和显示设备40。

所述游戏手柄10上包括一个或多个传感器，所述传感器为加速度传感器、陀螺仪传感器、地磁场传感器、红外线传感器中的一种或多种，所述传感器测量所述游戏手柄的运动方向、运动速度、转动角度、转动速度。

所述视频捕获设备20包括RGB摄像头、红外摄像头、三维深度摄像头中的一种或多种，所述视频捕获设备拍摄包括使用者身体在内的视频捕获画面。

当所述视频捕获设备包括三维深度摄像头时，所述三维深度摄像头还通过发射对人体无害的射线来测量人体各部分与三维深度摄像头之间的距离。三维深度摄像头的工作原理在中国发明专利申请公布说明书CN101288105A(公开日2008年10月15日)中有记载。

所述数据接收处理端30根据所述游戏手柄10和所述视频捕获设备20的测量数据，在所述显示设备40上显示使用者的身体轮廓及身体各部位的运动姿态。

所述数据接收处理端30例如为计算机。所述游戏手柄10与数据接收处理端30之间以有线或无线方式相连接。所述视频捕获设备20与数据接收处理端30之间也以有线或无线方式相连接。有线方式例如为USB接口或串口。无线方式例如为蓝牙。

请参阅图2，这是本发明人体姿态捕捉装置在使用时的示意图。所述人体姿态的捕捉装置的实现方法为：

当使用者50在视频捕获设备20的捕获范围之内，所述视频捕获设备20拍摄包括使用者50身体在内的视频捕获画面，并传输给数据接收处理端30(未图示)。图2中的视频捕获设备20包括三维深度摄像头24、三维深度摄像头24的红外或激光发射装置21、麦克风22和RGB摄像头23。

当所述视频捕获设备20包括三维深度摄像头24时，所述三维深度摄像头24测量使用者50的身体各部分与三维深度摄像头24之间的距离，并传输给数据接收处理端30。

使用者50单手或双手持握游戏手柄10，和/或游戏手柄10捆绑在使用者50身体(如头部、颈部、躯干、腿部)上，所述游戏手柄10测量使用者50持握或捆绑游戏手柄10的部位的运动方向、运动速度、转动角度、转动速度，并提交给数据接收处理端30。

所述数据接收处理端30根据所述视频捕获设备20传输的数据，在视频捕获画面中提取出使用者50的身体轮廓及身体各部位的位置，并在显示设备40上显示出具有相同的身体轮廓及身体各部位的位置的虚拟人物60。

具体而言，所述视频捕获设备20传输的数据为每个像素的二维坐标(x、y)。当视频捕获设备20中包括三维深度摄像头时，所述视频捕获设备20传输的数据为每个像素的三维坐标(x、y、z)。数据接收处理端30会根据所述视频捕获设备20传输的数据来定位使用者50的头、颈、躯干、四肢等的二维或三维坐标。这些坐标的精确度都是由摄像头的内部参数决定的。然后数据接收处理端30根据这些坐标提取出使用者50的身体轮廓、位置，并在显示设备40中显示身体各部位的轮廓、位置大致相同的虚拟人物60。

所述根据使用者50的身体各部分坐标提取身体轮廓和位置的方法为：首先建立一组包含人体头部、躯干和四肢的模板，至少包括身体正面、身体斜侧面、身体正侧面的模板。当使用者50站在视频捕获设备20捕获范围内时，先通过全部扫描方式找到与视频捕获设备20距离最近的一个像素点，该点与视频捕获设备20的距离为a。再搜索与视频捕获设备20的距离为a±Δt(Δt为设定的阈值)范围内的全部像素点。接着在搜索的像素点集合中只保留每个像素与该集合中邻近像素之间的距离小于b(b为给定值)的像素点。再将符合上述两次筛选的像素点的集合与上述模板组进行匹配，匹配算法例如为连续隐马尔可夫模型。

所述在显示设备40中显示虚拟人物60的方法为：先提取出使用者50的身体轮廓各个点的坐标；然后计算出使用者50身体的每个区域(比如头部，双手双脚，手臂和腿部，躯干和腰部等)的重心点；再根据这些点映射到虚拟人物60的相应区域的重心点。

所述数据接收处理端30还根据所述游戏手柄10和/或视频捕获设备20传输的数据，在显示设备40上对虚拟人物60的身体各部位进行动作，虚拟人物60的动作与游戏手柄10传输的运动方向、运动速度、转动角度、转动速度相吻合。

对于使用者50身体各部位的线性运动，游戏手柄10中的传感器可以捕捉并发送给数据接收处理端30；数据接收处理端30也可根据视频捕获设备20的不同画面计算得出。当游戏手柄10和视频捕获设备20同时捕捉使用者50的线性运动时，一方可对另一方的捕捉结果进行补偿、修正。

对于使用者50身体各部位的转动运动，则只能由游戏手柄10中的传感器进行捕捉，视频捕获设备20无法捕捉。此时，使用者50发生转动的身体部位持握或佩戴的游戏手柄10可以通过内置的传感器实时采集到旋转值Δd。数据接收处理端30则让显示设备40中的虚拟人物60的相应手臂发生旋转值为ΔD的旋转动作。其中ΔD＝F(Δd)，F为映射函数。

这样，使用者50面对视频捕获设备20、且随身携带游戏手柄10做动作(包括身体部位的转动)时，显示设备40上的虚拟人物60也会进行同样的动作(姿势和幅度)。

进一步地，还可根据逆向运动学原理使虚拟人物的动作更为逼真。关于逆向运动学的应用在中国发明专利申请公开说明书CN1461460A(公开日2003年12月10日)有记载。例如使用者做挥手动作时，视频捕获设备就会按照游戏手柄挥动的方向和速度跟踪手臂的位置，这样会有效防止跟踪数据的丢失。

Claims

1.一种人体姿态捕捉装置，其特征是，所述装置包括游戏手柄、视频捕获设备、数据接收处理端、显示设备；

2.根据权利要求1所述的人体姿态捕捉装置，其特征是，当所述视频捕获设备包括三维深度摄像头时，所述三维深度摄像头测量人体各部分与三维深度摄像头之间的距离。

3.如权利要求1所述的人体姿态捕捉装置的实现方法，其特征是，所述方法为：

4.根据权利要求3所述的人体姿态捕捉装置的实现方法，其特征是，当所述视频捕获设备包括三维深度摄像头时，所述三维深度摄像头测量人体各部分与三维深度摄像头之间的距离，并传输给数据接收处理端。

5.根据权利要求3所述的人体姿态捕捉装置的实现方法，其特征是，对于使用者身体各部位的线性运动，由所述游戏手柄和/或视频捕获设备捕捉；对于使用者身体各部位的转动运动，则只能由所述游戏手柄进行捕捉。