CN106296684A - 体感互动应用中多数据源人体位置快速配准方法 - Google Patents

体感互动应用中多数据源人体位置快速配准方法 Download PDF

Info

Publication number
CN106296684A
CN106296684A CN201610649862.6A CN201610649862A CN106296684A CN 106296684 A CN106296684 A CN 106296684A CN 201610649862 A CN201610649862 A CN 201610649862A CN 106296684 A CN106296684 A CN 106296684A
Authority
CN
China
Prior art keywords
human body
sensing
data
posture
interactive application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610649862.6A
Other languages
English (en)
Inventor
刘建辉
张�浩
张鑫
胡锦洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Interactive Cultural Communication Ltd By Share Ltd
Original Assignee
Xiamen Interactive Cultural Communication Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Interactive Cultural Communication Ltd By Share Ltd filed Critical Xiamen Interactive Cultural Communication Ltd By Share Ltd
Priority to CN201610649862.6A priority Critical patent/CN106296684A/zh
Publication of CN106296684A publication Critical patent/CN106296684A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了体感互动应用中多数据源人体位置快速配准方法，包括训练模型、开启应用、获取体感数据、获取非体感数据、计算坐标偏差、位置配准六个步骤，本发明解决了传统方案存在的问题，不需要在出厂时就固定每个设备的相对位置，不需要预先设定各个设备的相对位置参数，提高了施工安装的灵活性，节省了人力和时间，使得体感互动应用的可用性大大提高。

Description

体感互动应用中多数据源人体位置快速配准方法
技术领域
本发明涉及多媒体互动科技领域，具体涉及体感互动应用中多数据源人体位置快速配准方法。
背景技术
目前比较流行的体感设备主要有微软的Kinect，英特尔的RealSence和苹果公司的Primesense等，这些设备都可以输出深度数据流和彩色视频流，并且深度数据和视频数据是已经配准好的。但实际应用过程中可能还需要更多的视频流来满足应用需求：比如需要分辨率更高，清晰度更高，焦距更远，或者是需要其它视角的视频图像数据流。此时只采用一个体感设备就没法满足应用要求。
改进的方法是采用一个体感摄像头和多个普通摄像头结合，以实现应用需求，但是由于使用了多个图像采集设备，每个设备的安装位置不尽相同，获取到的图像数据也是不同的，所以玩家或用户的身体呈现在不同图像上的坐标位置也是不同的，比如：通过体感设备获取到的人体头部在体感数据流中的坐标是(a,b),而在另外一个高清设备的视频流中的坐标是(c,d),由于体感设备和高清设备的安装位置不同，所以一般来说(a,b)≠(c,d)，我们可以很容易的通过体感设备的SDK获取到(a,b)，而从高清视频流中得到(c,d) 却并不容易，如果想在高清视频流中通过AR的方式按照(a,b)的坐标给玩家或用户的头部叠加一顶帽子，这样就会出现“帽子没有戴在头上”的问题。
为了解决这个问题，目前传统的解决方法主要有两种：
一、将体感设备和高清设备的相对位置在出厂时就进行固定，测量出它们位置的相对偏移，将偏移数据写入程序进行校正，该方案的缺点是由于多个设备相对位置被固定，程序的参数也是预先设好，缺少灵活性，给施工安装带来很大不便，也不能根据现场效果进行调整。
二、体感设备和高清设备可以单独安装，安装好后在现场通过人工的方式进行手动校准匹配，这样虽然提高了施工安装的灵活性但是校准调试过程繁琐耗时，而且至少要两个调试人员，费时费力。
发明内容
本发明的目的在于提供一种体感互动应用中多数据源人体位置快速配准方法，以实现应用需求，同时快速完成匹配校准，提高安装的灵活性。
为实现上述目的，本发明采用以下技术方案：
本发明公开了体感互动应用中多数据源人体位置快速配准方法，所述的体感互动应用包括一个体感设备和若干个普通视频采集设备，包括以下步骤，
S1.训练模型：将包含指定姿势人体的图片作为正样本，不包含指定姿势人体的图片作为负样本，将正样本和负样本的HOG特征作为SVM学习的输入数据，得到SVM分类模型；
S2.开启应用：开启体感互动应用，等待自动配准；
S3.获取体感数据：使用体感SDK获取人体的骨骼信息的体感数据，在体感数据中检测到步骤S1中的指定姿势的人体，得到人体的三个部位的坐标（x，y），则进入步骤S4；若未在体感数据中检测到指定姿势的人体，则退出等待，进入应用界面；
S4.获取非体感数据：普通视频采集设备拍摄指定姿势的人体，获取视频截图，通过方向梯度直方图和SVM算法得到人体的三个部位的位置坐标（x＇，y＇）；
S5.计算坐标偏差：分别计算三个部位的位置坐标（x＇，y＇）与坐标（x，y）的偏差；
S6.位置配准：将获得的偏差数据配准校正各数据源中人体各部位的位置。
进一步地，步骤S1中正样本或负样本的HOG特征的提取过程为：
(1)获取一张正样本或负样本图片，对于正样本使用窗口标定指定姿势的人体位置，对于负样本使用窗口标定人体图片位置；
(2)提取标定窗口区域的数据，将图像灰度化；
(3)采用Gamma校正方法，对图像进行归一化处理；
(4) 计算梯度图像，将梯度图像平均分成N*M个网格，每个网格为M*M像素；将每个网格的梯度数据按权重投影到方向梯度直方图中；
(5) 相邻4个网格组成一个方块，对每个方块内的网格进行归一化；
(6) 所有方块内的网格中的直方图数据组成一个大的向量即为HOG特征；
(7)将获得的HOG特征作为SVM的训练数据，得到分类模型。
优选地，所述的步骤（1）中，样本图片上人体位置的窗口上方叠加一个蒙版，蒙版中白色部分是需要参与计算的部分，黑色部分是不需要参与计算的部分。
优选地，步骤S2中开启体感互动应用，等待自动配准时，设定有可触发自动配准的时间为1～5min，若未在可触发自动配准的时间内检测到指定姿势的人体，则退出等待，进入应用界面。
一实施例中，所述的指定姿势为双手向上举起，肘与肩平齐的“山”字形姿势，所述的人体的三个部位为头部、肩部和手臂。另一实施例中，所述的指定姿势为双手平直伸出，手掌向内，肘与肩平齐的“十”字形姿势，所述的人体的三个部位为头部，肩部和手掌。本发明使用指定姿势，一是为了触发进入配准流程，二是为了排除数据中其它人体的干扰。
采用上述技术方案后，本发明解决了传统方案存在的问题，不需要在出厂时就固定每个设备的相对位置，不需要预先设定各个设备的相对位置参数，也不需要手动校准，一个调试人员甚至是用户或玩家自己就能快速完成匹配校准，大大提高的施工安装的灵活性，也节省了人力和时间，使得体感互动应用的可用性大大提高。
附图说明
图1为体感互动应用的设备结构示意图。
图2为体感互动应用的操作流程图。
图3为正样本HOG特征的提取流程图。
图4为数据图和蒙版示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
本发明公开了体感互动应用中多数据源人体位置快速配准方法。如图1所示体感互动应用包括一个体感设备1和若干个普通视频采集设备2。结合图2所示，本发明方法的步骤详述如下。
S1.训练模型：设定人体的指定姿势为：双手向上举起，肘与肩平齐的“山”字形姿势，人体的三个部位为头部、肩部和手臂。将包含“山”字形姿势人体的图片作为正样本，不包含该姿势人体的图片作为负样本，将正样本和负样本的HOG特征作为SVM学习的输入数据，得到SVM分类模型。
正样本或负样本的HOG特征的提取流程如图3所示：
(1) 获取一张正样本或负样本图片，对于正样本使用窗口（128×64）标定“山”字形姿势的人体位置，对于负样本使用窗口（128×64）标定人体图片位置；如图4所示，正样本图片上人体位置的窗口（128×64）上方叠加一个蒙版，蒙版中白色部分是需要参与计算的部分，黑色部分是不需要参与计算的部分。本实施例中“山”字形区域的头部、肩部和两个手臂的特征是需要检测的部分，采用蒙版可以节省很大的计算量，提高计算速度。
(2) 提取标定窗口区域的数据，将图像灰度化。
(3) 采用Gamma校正方法，对图像进行归一化处理。
(4) 计算梯度图像，将梯度图像128×64平均分成16×8个网格，每个网格为8×8像素；将每个网格的梯度数据按权重投影到方向梯度直方图中。
(5) 相邻4个网格组成一个方块，对每个方块内的网格进行归一化。
S2.开启应用：开启体感互动应用，等待自动配准，设定可触发自动配准的时间为开启后1～5分钟。
S3.获取体感数据：使用体感SDK获取人体的骨骼信息的体感数据，在体感数据中检测到“山”字形姿势的人体，得到人体的三个部位坐标：头部坐标（x1，y1）、肩部坐标（x2，y2）和手臂的坐标（x3，y3），则进入步骤S3。若在可触发自动配准的1～5分钟时间内未在体感数据中检测到“山”字形姿势的人体，则退出等待，进入应用的正常逻辑。
S4.获取非体感数据：普通视频采集设备拍摄“山”字形姿势的人体，获取视频截图，通过方向梯度直方图和SVM算法得到指定姿势人体相应的三个部位坐标：头部坐标（x1＇，y1＇）、肩部坐标（x2＇，y2＇）和手臂的坐标（x3＇，y3＇）。
S5.计算坐标偏差：分别计算上述三组坐标的偏差。头部在普通视频图像上的位置相对于体感数据图像上的偏差（△x1，△y1）=（x1＇-x1，y1＇-y1）。肩部在普通视频图像上的位置相对于体感数据图像上的偏差（△x2，△y2）=（x2＇-x2，y2＇-y2）。手臂在普通视频图像上的位置相对于体感数据图像上的偏差（△x3，△y3）=（x3＇-x3，y3＇-y3）。
S6.位置配准：得到偏差数据之后，通过体感设备获取到的头部坐标结合这个偏差就能实时的估计头部在普通视频图像上的位置。
安装好开启应用，系统刚启动的一段时间内，等待配准，调试人员或玩家在摄像头前摆出指定姿势，除了上述实施例中所采用的“山”字形姿势，另一实施例中的指定姿势为双手平直伸出，手掌向内，肘与肩平齐的“十”字形姿势，人体的三个部位为头部，肩部和手掌。其它的操作过程类似。
综上，本发明方法的使用，使得体感互动应用可以根据实际场景分别布置体感设备和其它视频采集设备，调整它们的相对位置到最佳效果，在现场通过本方法配准，给安装施工带来很大的灵活性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.体感互动应用中多数据源人体位置快速配准方法，所述的体感互动应用包括一个体感设备和若干个普通视频采集设备，其特征在于，包括以下步骤，
S1.训练模型：将包含指定姿势人体的图片作为正样本，不包含指定姿势人体的图片作为负样本，将正样本和负样本的HOG特征作为SVM学习的输入数据，得到SVM分类模型；
S2.开启应用：开启体感互动应用，等待自动配准；
S3.获取体感数据：使用体感SDK获取人体的骨骼信息的体感数据，在体感数据中检测到步骤S1中的指定姿势的人体，得到人体的三个部位的坐标（x，y），则进入步骤S4；若未在体感数据中检测到指定姿势的人体，则退出等待，进入应用界面；
S4.获取非体感数据：普通视频采集设备拍摄指定姿势的人体，获取视频截图，通过方向梯度直方图和SVM算法得到人体的三个部位的位置坐标（x＇，y＇）；
S5.计算坐标偏差：分别计算三个部位的位置坐标（x＇，y＇）与坐标（x，y）的偏差；
S6.位置配准：将获得的偏差数据配准各数据源中人体各部位的位置。
2.如权利要求1所述的体感互动应用中多数据源人体位置快速配准方法，其特征在于，步骤S1中正样本或负样本的HOG特征的提取过程为：
(1)获取一张正样本或负样本图片，对于正样本使用窗口标定指定姿势的人体位置，对于负样本使用窗口标定非指定姿势人体图片位置；
(2)提取标定窗口区域的数据，将图像灰度化；
(3)采用Gamma校正方法，对图像进行归一化处理；
(4)计算梯度图像，将梯度图像平均分成N*M个网格，每个网格为M*M像素；将每个网格的梯度数据按权重投影到方向梯度直方图中；
(5)相邻4个网格组成一个方块，对每个方块内的网格进行归一化；
(6)所有方块内的网格中的直方图数据组成一个大的向量即为HOG特征；
(7)将获得的HOG特征作为SVM的训练数据，得到SVM分类模型。
3.如权利要求2所述的体感互动应用中多数据源人体位置快速配准方法，其特征在于，所述的步骤（1）中，正样本图片上人体位置的窗口上方叠加一个蒙版，蒙版中白色部分是需要参与计算的部分，黑色部分是不需要参与计算的部分。
4.如权利要求1至3任一项所述的体感互动应用中多数据源人体位置快速配准方法，其特征在于，步骤S2中开启体感互动应用，等待自动配准时，设定有可触发自动配准的时间为1～5min，若未在可触发自动配准的时间内检测到指定姿势的人体，则退出等待，进入应用界面。
5.如权利要求4所述的体感互动应用中多数据源人体位置快速配准方法，其特征在于，所述的指定姿势为双手向上举起，肘与肩平齐的“山”字形姿势，所述的人体的三个部位为头部、肩部和手臂。
6.如权利要求4所述的体感互动应用中多数据源人体位置快速配准方法，其特征在于，所述的指定姿势为双手平直伸出，手掌向内，肘与肩平齐的“十”字形姿势，所述的人体的三个部位为头部，肩部和手掌。
CN201610649862.6A 2016-08-10 2016-08-10 体感互动应用中多数据源人体位置快速配准方法 Pending CN106296684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610649862.6A CN106296684A (zh) 2016-08-10 2016-08-10 体感互动应用中多数据源人体位置快速配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610649862.6A CN106296684A (zh) 2016-08-10 2016-08-10 体感互动应用中多数据源人体位置快速配准方法

Publications (1)

Publication Number Publication Date
CN106296684A true CN106296684A (zh) 2017-01-04

Family

ID=57667598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610649862.6A Pending CN106296684A (zh) 2016-08-10 2016-08-10 体感互动应用中多数据源人体位置快速配准方法

Country Status (1)

Country Link
CN (1) CN106296684A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801924A (zh) * 2012-07-20 2012-11-28 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN102999892A (zh) * 2012-12-03 2013-03-27 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN103308523A (zh) * 2013-05-28 2013-09-18 清华大学 多尺度瓶口缺陷检测方法及装置
CN103324291A (zh) * 2013-07-12 2013-09-25 安徽工业大学 获取人体感兴趣区域相对于屏幕窗口位置的方法
CN103440478A (zh) * 2013-08-27 2013-12-11 电子科技大学 一种基于hog特征的人脸检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801924A (zh) * 2012-07-20 2012-11-28 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN102999892A (zh) * 2012-12-03 2013-03-27 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN103308523A (zh) * 2013-05-28 2013-09-18 清华大学 多尺度瓶口缺陷检测方法及装置
CN103324291A (zh) * 2013-07-12 2013-09-25 安徽工业大学 获取人体感兴趣区域相对于屏幕窗口位置的方法
CN103440478A (zh) * 2013-08-27 2013-12-11 电子科技大学 一种基于hog特征的人脸检测方法

Similar Documents

Publication Publication Date Title
CN105518744B (zh) 行人再识别方法及设备
CN104751486B (zh) 一种多ptz相机的运动目标接力跟踪算法
CN102638653B (zh) 一种基于Kinect的自动面部追踪方法
CN104951808B (zh) 一种用于机器人交互对象检测的3d视线方向估计方法
CN106843460B (zh) 基于多摄像头的多目标位置捕获定位系统及方法
CN104090664B (zh) 一种交互式投影方法、装置及系统
CN108154550A (zh) 基于rgbd相机的人脸实时三维重建方法
WO2018171041A1 (zh) 一种动向智能投影系统及其方法
CN101853399B (zh) 利用计算机视觉技术进行盲道和人行横道实时检测的方法
CN104516496B (zh) 可调体感范围的多人指引系统与其方法
CN105653017B (zh) 电子装置及电子装置的重力感测校正方法
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及系统
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
CN103597515A (zh) 用于识别张开的或闭合的手的系统
Papic et al. Improving data acquisition speed and accuracy in sport using neural networks
CN102184016B (zh) 基于视频序列识别的无接触式鼠标控制方法
CN110414419A (zh) 一种基于移动端观看者的姿势检测系统及方法
CN111242025A (zh) 一种基于yolo的动作实时监测方法
CN106166376A (zh) 简化24式太极拳综合训练系统
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN105578044A (zh) 一种全景位自适应老师图像分析方法
CN102567716A (zh) 一种人脸合成系统及实现方法
CN106022211B (zh) 一种利用手势控制多媒体设备的方法
CN109961039A (zh) 一种个人进球视频捕捉方法及系统
CN108305321A (zh) 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104