CN107274438B - 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法 - Google Patents

支持移动虚拟现实应用的单Kinect多人跟踪系统及方法 Download PDF

Info

Publication number
CN107274438B
CN107274438B CN201710508204.XA CN201710508204A CN107274438B CN 107274438 B CN107274438 B CN 107274438B CN 201710508204 A CN201710508204 A CN 201710508204A CN 107274438 B CN107274438 B CN 107274438B
Authority
CN
China
Prior art keywords
user
kinect
shadow
virtual reality
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710508204.XA
Other languages
English (en)
Other versions
CN107274438A (zh
Inventor
盖伟
杨承磊
董明达
刘浩
刘士军
卞玉龙
刘娟
孟祥旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710508204.XA priority Critical patent/CN107274438B/zh
Publication of CN107274438A publication Critical patent/CN107274438A/zh
Priority to US15/856,952 priority patent/US11009942B2/en
Application granted granted Critical
Publication of CN107274438B publication Critical patent/CN107274438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种支持移动虚拟现实应用的单Kinect多人跟踪系统及方法，本发明在单Kinect捕捉设备的情况下，可完成对不同程度遮挡使用者位置的实时跟踪，保证玩家的流畅性、沉浸式体验。本发明利用在一定的光照条件下，当使用者被遮挡时，该使用者的影子不会被遮挡的原理，将将求解遮挡使用者的运动转换为求解遮挡使用者影子运动的问题，能够准确检测到各个使用者的位置，而不仅仅是估计使用者位置，真正实现跟踪。

Description

支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
技术领域
本发明涉及一种支持移动虚拟现实应用的单Kinect多人跟踪系统及方法。
背景技术
位置跟踪是基于移动虚拟现实设备体验的关键问题之一，捕捉使用者在物理空间中的位置和方向，保证使用者运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性。
目前，可用于移动VR中的定位技术主要有：
(1)全球定位系统(Global positioning system，GPS)方法，是广泛使用的卫星定位系统，其覆盖范围最大。然而，当GPS信号较弱而被干扰的建筑物甚至树叶以及包括室内场所在内的区域阻塞时，该系统将无法正常工作。同时， GPS不能部署在室内，因为在室内环境中不可能在接收机和卫星之间进行视距传输。
(2)室内定位系统(Indoor positioning system，IPS)，主要有基于WIFI信号、基于radio信号、基于超声波、基于红外线(infrared)的定位。这类定位传感器需要一个永久性的电子基础设施来促进测量，而依赖于这种基础设施的可定位物体需要特殊的传感器或执行器。
(3)基于视觉的跟踪方法，例如立体相机和飞行时间(TOF)相机。Kinect 是一个革命性的深度摄影机，成本比传统3D摄像机要低得多。它利用TOF(飞行时间)计算的方法，获取传感器出射光线遇到物体反射后的相位差，从而得到设备与实际场景之间的距离值，也就是深度值(depth)。由此形成的深度图像不仅可以用来判断物体相对体感设备的位置，还可以进一步得到物体的点云数据，甚至是角色的骨骼信息。
同时，遮挡是多使用者跟踪系统中一个不容忽视的重要问题，当使用者长时间处于遮挡状态时，如何识别使用者的位置而不影响使用者的沉浸式体验。目前的方法大多使用者检测模型检测到使用者，然后对使用者进行跟踪。但是，对于发生严重遮挡甚至完全遮挡的使用者，现有方法无法实现有效的跟踪。
发明内容
本发明为了解决上述问题，提出了一种支持移动虚拟现实应用的单Kinect 多人跟踪系统及方法。
本发明的第一目的是提供一种支持移动虚拟现实应用的单Kinect多人跟踪系统，本系统在单Kinect捕捉设备的情况下，可完成对不同程度遮挡使用者位置的实时跟踪，保证玩家的流畅性、沉浸式体验。
本发明的第二目的是提供一种融合多感知数据线索的遮挡目标的检测方法，本方法利用在一定的光照条件下，当使用者被遮挡时，该使用者的影子不会被遮挡的原理，将求解遮挡使用者的运动转换为求解遮挡使用者影子运动的问题，能够准确检测到各个使用者的位置，而不仅仅是估计使用者位置，真正实现跟踪。
为了实现上述目的，本发明采用如下技术方案：
一种支持移动虚拟现实应用的单Kinect多人跟踪系统，包括跟踪子系统和体验子系统，其中：
所述跟踪子系统包括图像捕获模块、终端传感器信息捕获模块、当前状态判断模块、定位实现模块和虚实位置映射模块：
所述图像捕获模块，被配置为通过体感摄像机Kinect，获取使用者的彩色图像信息和识别骨骼数据，为当前状态判断模块提供输入数据；
所述终端传感器信息捕获模块，获取手机陀螺仪的旋转信息，得到使用者的朝向信息；
所述当前状态判断模块，根据连续采样时间内图像捕获模块获取的数量为参考，判断当前是否存在遮挡以及遮挡的状态；
所述定位实现模块，接收当前状态判断结果，确定与遮挡状态对应的跟踪算法实现位置的计算；
所述虚实位置映射模块，用于将计算得到的物理坐标映射到虚拟空间坐标，保证使用者运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性；
所述体验子系统包括立体显示模块与虚拟空间的交互模块，所述立体显示模块通过虚拟现实眼镜所看到的东西呈现出立体感，根据捕捉到的头部转动、虚实位置映射模块得到的使用者位置，完成对使用者的视场与视点的跟踪，确定当前视场中的目标物、视点的位置和朝向。
支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，包括以下步骤：
(1)开启Kinect捕获设备，并记录背景图像信息，将终端与之连接；
(2)初始化场景中参与的使用者人数Nk，当前时刻k＝1，系统中是否发生遮挡标记Occ＝0；
(3)如果k＝1则调整步骤(8)，否则跳转步骤(4)；
(4)统计当前时刻Kinect可识别的使用者人数Nk，并记录终端陀螺仪的旋转角度；
(5)根据相邻时刻可识别的使用者人数关系，判断当前时刻系统所处的状态，如果Nk＝Nk-1，则跳转步骤(6)；否则，跳转步骤(7)；
(6)通过遮挡发生标记Occ，确定系统所处的状态，如果Occ＝0，则系统处于未遮挡状态，调用未遮挡方法计算使用者位置，跳转步骤(8)；否则，系统处于遮挡持续状态，调用遮挡持续状态方法计算使用者位置，跳转步骤(8)；
(7)如果Nk<Nk-1，则系统处于遮挡出现状态，调用遮挡出现状态方法计算使用者位置，且Occ＝1，跳转步骤(8)；否则，系统处于遮挡消失状态，调用遮挡消失状态方法计算使用者位置，且Occ＝0，跳转步骤(8)；
(8)将计算得到的使用者位置映射到虚拟空间坐标下，保证使用者运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性；
(9)根据(8)中得到的使用者位置和终端陀螺仪的旋转角度，完成对使用者视场与视点的渲染，并通过虚拟现实眼镜实现沉浸式体验；
(10)将k值加一；
(11)判断游戏是否结束，如果是，则结束；否则，调整步骤(3)。
所述步骤(6)中系统处于未遮挡状态时所使用的使用者位置计算方法，具体包括以下步骤：
(6-1)根据Kinect提供的骨架信息，记录使用者位置信息和对应的使用者编号信息；
(6-2)根据每个使用者的编号信息，实时更新对应使用者的位置。
所述步骤(6)中，系统处于遮挡持续状态时所使用的使用者位置计算方法，当系统处于遮挡持续状态时所使用的使用者位置计算方法，从使用者影子的角度设计跟踪方法，用影子的运动替代遮挡使用者的运动，融合Kinect得到的骨架信息、彩色图像使用者影子信息和传感器数据完成遮挡使用者的位置计算。
具体包括以下步骤：
假设k时刻被遮挡使用者为pj，遮挡pj的使用者为pi，根据Kinect得到的使用者pi的位置、光源的位置，以及pi和pj之间的物理关系，确定遮挡使用者Pj影子的搜索矩形区域，计算遮挡的使用者的脚位置与影子搜索框的起点位置的差值， Kinect实时捕获的彩色图像，与获取的背景图像进行相减运算，得到遮挡使用者影子的剪影，根据得到的使用者影子剪影，计算影子的中心位置，陀螺仪传感器数据，判断遮挡使用者Pj的运动方向，根据相邻帧的影子位置变化，判断遮挡使用者是否发生运动，进而确定遮挡使用者的位置。
进一步的，根据使用者Pi与光源的位置不同，搜索矩形框的大小也实时变化。
进一步的，若差值大于预先设置的阈值，则认为生成图像是前景图像，并标记为黑色；若差值不大于预先设置的阈值，则认为搜索区域内没有使用者影子。
所示步骤(7)中系统处于遮挡出现状态时所使用的使用者位置计算方法，具体包括以下步骤：假设k时刻检测到的使用者编号信息集为curID，检索k-1时刻的使用者编号信息集合UID，寻找被遮挡使用者，根据陀螺仪传感器数据，判断遮挡使用者Pj的运动方向，结合运动方向和运动幅度，计算遮挡使用者k时刻的位置。
所示步骤(7)中系统处于遮挡消失状态时所使用的使用者位置计算方法，具体包括以下步骤：
(7-2-1)根据使用者被遮挡标记，选择不同的位置计算方法，如果使用者未发生遮挡，跳转步骤(7-2-2)；如果使用者属于遮挡后再次出现的使用者，跳转步骤(7-2-3)；
(7-2-2)根据每个使用者的编号信息，实时更新对应使用者的位置；
(7-2-3)更新使用者再次出现后的编号和位置信息。
所述步骤(8)将计算得到的使用者位置映射到虚拟空间坐标下，具体包括以下步骤：
(8-1)在Kinect布置好后，标记出跟踪区域，并测出跟踪区域的4个角点位置；
(8-2)根据虚拟场景空间中4个角点的位置，计算Kinect空间坐标系对于虚拟场景坐标系的变换矩阵M；
(8-3)假设当前时刻k，使用者j的位置为(posxk j,poszk j)，则使用者在虚拟场景中的对应位置为(vposxk j,vposzk j)＝(posxk j,poszk j)*M。
所述步骤(9)中，将手机放置在虚拟现实眼镜中，使用者通过虚拟现实眼镜所看到的东西呈现出立体感，根据手机传感器信息捕获模块捕捉到的使用者头部转动、虚实位置映射模块得到的使用者位置，完成对使用者视场与视点的跟踪，确定当前视场中的目标物、使用者视点的位置和朝向。
与现有技术相比，本发明的有益效果为：
(1)针对遮挡持续状态，本发明提出了一种融合多感知数据线索的遮挡用户的检测方法，在一定的光照条件下，当某个使用者被遮挡时，该使用者的影子不会被遮挡，基于此，将求解遮挡用户的运动转换为求解遮挡用户影子运动的问题，该方法融合了各种类型的信息，如手机陀螺仪的数据、Kinect彩色图像的信息、深度图像的信息，以补偿由遮挡造成的数据缺失；
(2)本发明通过建立遮挡用户影子的运动模型和方向模型，从而计算得到遮挡用户的位置信息，与之前的方法相比，它能检测并计算发生严重遮挡甚至完全遮挡的用户位置，而不是估计用户位置；
(3)考虑到移动虚拟现实的应用，在单Kinect捕捉设备的情况下，提出了一种校准简单、成本低廉、部署简单的解决多用户(不多于6人)的遮挡问题的方法，保证玩家的流畅性、沉浸式体验；
(4)除了在游戏娱乐方面有广泛应用外，也可将本发明应用于教育、消防训练等领域。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的硬件结构图；
图2为本发明的系统架构图；
图3为本发明的方法流程图；
图4为本发明用于双人虚拟现实迷宫游戏的实例。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术所介绍的，现有技术中存在目前的方法大多使用用户检测模型检测到用户，然后对用户进行跟踪。但是对于发生严重遮挡甚至完全遮挡的用户，无法实现有效的跟踪的不足，为了解决如上的技术问题，本申请提出了一种支持移动虚拟现实应用的基于单Kinect的多用户跟踪系统，设计了一种融合多感知数据线索的遮挡处理方法，完成对不同程度遮挡用户位置的实时跟踪。该方法可以分为四个层次：
第一，信息获取层。根据输入信息，获取用户数目、用户骨骼数据、陀螺仪数据和用户影子信息。
第二，信息分析层。根据获取信息，对系统当前所处的状态进行判断。本发明将系统状态分为四类：未出现遮挡状态、遮挡出现状态、遮挡持续状态、遮挡消失状态。
第三，决策选择层。针对上述4种系统状态，本发明设计了不同的跟踪方法。根据系统状态的不同，自适应调用不同的跟踪方法。
第四，应用层。利用基于多线索的决策融合方法，实现对不同程度遮挡用户的位置计算，并将得到的用户物理坐标映射到虚拟空间坐标，保证用户运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性。
该方法融合了各种类型的信息，如手机陀螺仪的数据、彩色图像的信息、深度图像的信息，以补偿由遮挡造成的数据缺失。针对遮挡持续状态，本发明提出了一种新的基于影子的用户检测模型。在一定的光照条件下，当用户被遮挡时，用户的影子不会被遮挡。基于此，我们将求解遮挡用户的运动转换为求解遮挡用户影子运动的问题。通过建立遮挡用户影子的运动模型和方向模型，从而计算得到遮挡用户的位置信息。与之前的方法相比，它能检测并计算发生严重遮挡的用户位置，而不是估计用户位置。
一种基于支持移动虚拟现实游戏的单Kinect的多用户跟踪系统，包括用户跟踪子系统和用户体验子系统；其中，用户跟踪子系统包括用户图像捕获模块、终端传感器信息捕获模块、系统当前状态判断模块、定位实现模块，虚实位置映射模块；用户体验子系统包括立体显示模块、与虚拟空间的交互模块。
所述用户图像捕获模块，借助体感摄像机Kinect，用于获取用户的彩色图像信息、识别的用户骨骼数据，为系统当前状态判断模块提供输入数据；
所述终端传感器信息捕获模块，用户获取手机陀螺仪的旋转信息，从而得到用户的朝向信息，为用户定位实现模块和立体显示模块提供输入数据；
所述系统当前状态判断模块，利用用户图像捕获模块提供的信息，以相邻两时刻所识别的用户数量作为参考，判断当前系统所处的状态：未出现遮挡状态、遮挡出现状态、遮挡持续状态、遮挡消失状态，为用户定位实现模块提供依据；
所述用户定位实现模块，根据系统当前所处的状态，选择不同的跟踪算法实现用户位置的计算；
所述虚实位置映射模块，用于将用户实现模块计算得到的用户物理坐标映射到虚拟空间坐标，保证用户运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性；
所述立体显示模块，用户通过头戴式虚拟现实眼镜所看到的东西呈现出立体感，根据手机传感器信息捕获模块捕捉到的用户头部转动、虚实位置映射模块得到的用户位置，完成对用户视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向；
所述与虚拟空间的交互模块，实现用户与虚拟对象的交互，确定对虚拟对象发出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给用户呈现虚拟世界的景象。
基于上述支持移动虚拟现实游戏的基于单Kinect的多用户跟踪方法，包括以下步骤：
(1)开启Kinect捕获设备，并记录背景图像信息；同时将终端与之连接；
(2)初始化场景中参与人数Nk，当前时刻k＝1，系统中是否发生遮挡标记 Occ＝0；
(3)如果k＝1则调整步骤(8)，否则跳转步骤(4)；
(4)统计当前时刻Kinect可识别的用户人数Nk，并记录手机陀螺仪的旋转角度
(5)根据相邻时刻可识别的用户人数关系，判断当前时刻系统所处的状态。如果Nk＝Nk-1，则跳转步骤(6)；否则，跳转步骤(7)；
(6)通过遮挡发生标记Occ，确定系统所处的状态。如果Occ＝0，则系统处于未遮挡状态，调用未遮挡方法计算用户位置，跳转步骤(8)；否则，系统处于遮挡持续状态，调用遮挡持续状态方法计算用户位置，跳转步骤(8)；
(7)如果Nk<Nk-1，则系统处于遮挡出现状态，调用遮挡出现状态方法计算用户位置，且Occ＝1，跳转步骤(8)；否则，系统处于遮挡消失状态，调用遮挡消失状态方法计算用户位置，且Occ＝0，跳转步骤(8)；
(8)将计算得到的用户位置映射到虚拟空间坐标下，保证用户运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性；
(9)根据(8)中得到的用户位置和手机陀螺仪的旋转角度，完成对用户视场与视点的渲染，并通过虚拟现实眼镜实现沉浸式体验；
(10)将k值加一；
(11)判断游戏是否结束。如果是，则结束；否则，调整步骤(3)。
步骤(6)中系统处于未遮挡状态时所使用的用户位置计算方法，具体包括以下步骤：
(6-1-1)初始化阶段。根据Kinect SDK提供的骨架信息，记录用户位置信息Pk＝{pk i|i＝1,2,…,Nu}，和对应的用户编号信息UID＝{uIDi|i＝1,2,…Nu}。其中pk i表示第i个用户k时刻的位置信息，uIDi表示用户i的编号信息，Nu表示当前时刻用户的人数。
(6-1-2)根据每个用户的编号信息，实时更新对应用户的位置。假设当前时刻用户i的编号信息为u，位置为pos，如果u＝uIDj(j＝1,2,…Nu)，则pk j＝pos。
步骤(6)中系统处于遮挡持续状态时所使用的用户位置计算方法，当系统处于遮挡持续状态时所使用的用户位置计算方法，从用户影子的角度设计跟踪方法，用影子的运动替代遮挡用户的运动，融合Kinect得到的骨架信息(skeleton data)、彩色图像用户影子信息(shadow data)、手机传感器数据(gyroscope data) 完成遮挡用户的位置计算。具体包括以下步骤：
假设k时刻被遮挡用户为pj，遮挡pj的用户为pi。
(6-2-1)根据Kinect得到的用户pi的位置、光源的位置，以及pi和pj之间的物理关系，确定遮挡用户Pj影子的搜索矩形区域，且矩形区域长为h，宽为w。
假设点A(posfxi,posfzi)表示Pi的脚位置，点B(possx,possz)表示影子搜索框的起点位置，则
possx＝posfxi+disx
possz＝posfzi+disz
其中，(disx,disz)表示点A与B的相对位置关系，disz＝0，
根据用户pi与光源的位置不同，disx选择不同的取值，δ＝0.0。其中(posxi,poszi)表示用户pi的位置信息。
此外，根据用户Pi与光源的位置不同，搜索矩形框的大小也实时变化，
Figure BDA0001335160700000122
(6-2-2)Kinect实时捕获的彩色图像，与获取的背景图像进行相减运算，得到遮挡用户影子的剪影：若差值大于预先设置的阈值，则认为生成图像是前景图像，并标记为黑色；若差值不大于预先设置的阈值，则认为搜索区域内没有用户影子。根据得到的用户影子剪影，计算影子的中心位置cPos(cposx,cposz)：
Figure BDA0001335160700000131
其中，C表示属于影子的点集合。
(6-2-3)根据手机陀螺仪传感器数据，判断遮挡用户Pj的运动方向：
Figure BDA0001335160700000133
a，b表示用户前后、左右的运动标记。其中，参数t1,t2,t3,t4,t5,t6,t7,t8, t9,t10是我们设置的手机陀螺仪旋转方向的参考值，t1＝70,t2＝110,t3＝70, t4＝110,t5＝0,t6＝20,t7＝320,t8＝360,t9＝160,t10＝200。我们将用户的运动方向划分为前、后、左、右4个方向，当用户陀螺仪数据属于某个运动范围时，我们认为用户向某一方向运动。
(6-2-4)根据相邻帧的影子位置变化，判断遮挡用户是否发生运动：
Figure BDA0001335160700000134
fmxk,fmzk表示用户影子的运动标记。其中，(cposxk,cposzk)、(cposxk-k0,cposzk-k0)表示遮挡用户影子在k时刻、k-k0时刻的位置信息。k0＝10,θ1＝3,θ2＝6。
(6-2-5)计算遮挡用户的位置：
Figure BDA0001335160700000136
Figure BDA0001335160700000137
(posxk j,poszk j)表示遮挡用户在k时刻的位置，S表示用户的运动步幅， S＝0.01。
步骤(7)中系统处于遮挡出现状态时所使用的用户位置计算方法，具体包括以下步骤：
(7-1-1)假设k时刻检测到的用户编号信息集为curID，检索k-1时刻的用户编号信息集合UID，寻找被遮挡用户。如果
Figure BDA0001335160700000144
Figure BDA0001335160700000145
则遮挡用户为pj，被遮挡时编号为uIDj，且用户被遮挡标记fj＝1。
(7-1-2)根据手机陀螺仪传感器数据，判断遮挡用户Pj的运动方向：
Figure BDA0001335160700000141
a，b表示用户前后、左右的运动标记。其中，参数t1,t2,t3,t4,t5,t6,t7,t8, t9,t10是我们设置的手机陀螺仪旋转方向的参考值，t1＝70,t2＝110,t3＝70, t4＝110,t5＝0,t6＝20,t7＝320,t8＝360,t9＝160,t10＝200。我们将用户的运动方向划分为前、后、左、右4个方向，当用户陀螺仪数据属于某个运动范围时，我们认为用户向某一方向运动。
(7-1-3)计算遮挡用户k时刻的位置(posxk j,poszk j)：
Figure BDA0001335160700000142
Figure BDA0001335160700000143
并设置遮挡发生标记Occ＝1，S表示用户的运动步幅，S＝0.01。
步骤(7)中系统处于遮挡消失状态时所使用的用户位置计算方法，具体包括以下步骤：
(7-2-1)根据用户被遮挡标记，选择不同的位置计算方法。如果用户被遮挡标记fi＝0，则用户未发生遮挡，跳转步骤(7-2-2)；如果用户被遮挡标记fi＝1，则用户属于遮挡后再次出现的用户，跳转步骤(7-2-3)。
(7-2-2)根据每个用户的编号信息，实时更新对应用户的位置。假设当前时刻用户i的编号信息为u，位置为pos，如果u＝uIDj(j＝1,2,…Nu)，则pk j＝pos。
(7-2-3)更新用户再次出现后的编号和位置信息。假设遮挡用户再次出现后的编号信息为v，位置为apos，则uIDi＝v，pk i＝apos。同时，fi＝0，Occ＝0，标记遮挡已经消失。
步骤(8)将计算得到的用户位置映射到虚拟空间坐标下，具体包括以下步骤：
(8-1)在Kinect布置好后，标记出跟踪区域，并测出跟踪区域的4个角点位置；
(8-2)根据虚拟场景空间中4个角点的位置，计算Kinect空间坐标系对于虚拟场景坐标系的变换矩阵M。
(8-3)假设当前时刻k，用户j的位置为(posxk j,poszk j)，则用户在虚拟场景中的对应位置为(vposxk j,vposzk j)＝(posxk j,poszk j)*M。
步骤(9)中，将手机放置在虚拟现实眼镜中，用户通过虚拟现实眼镜所看到的东西呈现出立体感，根据手机传感器信息捕获模块捕捉到的用户头部转动、虚实位置映射模块得到的用户位置，完成对用户视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向。
本申请的一种典型的实施方式中，如图1所示，本发明所需的关键设备包括：移动式虚拟现实眼镜、Kinect传感器、辅助光源。用户佩戴虚拟现实眼镜，它的画面生成和渲染由相连手机负责，Kinect可以把你的位置和姿态投射到虚拟世界当中，从而实现沉浸式体验。
如图2所示，本发明提出了一种支持移动虚拟现实应用的基于单Kinect的多用户跟踪系统，设计了一种基于多线索的决策融合方法，完成对不同程度遮挡用户位置的实时跟踪。该方法可以分为四个层次：
第一，信息获取层。根据输入信息，获取用户数目、用户骨骼数据、陀螺仪数据和用户影子信息。
第二，信息分析层。根据获取信息，对系统当前所处的状态进行判断。本发明将系统状态分为四类：未出现遮挡状态、遮挡出现状态、遮挡持续状态、遮挡消失状态。
第三，决策选择层。针对上述4种系统状态，本发明设计了不同的跟踪方法。根据系统状态的不同，自适应调用不同的跟踪方法。
第四，应用层。利用基于多线索的决策融合方法，实现对不同程度遮挡用户的位置计算，并将得到的用户物理坐标映射到虚拟空间坐标，保证用户运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性。
该方法融合了各种类型的信息，如手机陀螺仪的数据、彩色图像的信息、深度图像的信息，以补偿由遮挡造成的数据缺失。
如图3所示，本发明的操作流程为：
(1)开启Kinect捕获设备，并记录背景图像信息；同时将手机端与之连接；
(2)初始化场景中参与人数Nk，当前时刻k＝1，系统中是否发生遮挡标记 Occ＝0；
(3)如果k＝1则调整步骤(8)，否则跳转步骤(4)；
(4)统计当前时刻Kinect可识别的用户人数Nk，并记录手机陀螺仪的旋转角度
(5)根据相邻时刻可识别的用户人数关系，判断当前时刻系统所处的状态。如果Nk＝Nk-1，则跳转步骤(6)；否则，跳转步骤(7)；
(6)通过遮挡发生标记Occ，确定系统所处的状态。如果Occ＝0，则系统处于未遮挡状态，调用未遮挡方法计算用户位置，跳转步骤(8)；否则，系统处于遮挡持续状态，调用遮挡持续状态方法计算用户位置，跳转步骤(8)；
(7)如果Nk<Nk-1，则系统处于遮挡出现状态，调用遮挡出现状态方法计算用户位置，且Occ＝1，跳转步骤(8)；否则，系统处于遮挡消失状态，调用遮挡消失状态方法计算用户位置，且Occ＝0，跳转步骤(8)；
(8)将计算得到的用户位置映射到虚拟空间坐标下，保证用户运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性；
(9)根据(8)中得到的用户位置和手机陀螺仪的旋转角度，完成对用户视场与视点的渲染，并通过虚拟现实眼镜实现沉浸式体验；
(10)k＝k+1；
(11)判断游戏是否结束。如果是，则结束；否则，调整步骤(3)。
如图4所示，是本发明应用于双人虚拟现实迷宫游戏的一个实例。当玩家发生遮挡时，利用本发明可以继续追踪遮挡玩家的位置，保证玩家体验的流畅性、沉浸感。图4(a)所示为遮挡用户的影子运动，图4(b)中为用户通过虚拟现实眼镜所看到的虚拟场景中遮挡用户的运动。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：包括以下步骤：
(1)开启Kinect捕获设备，并记录背景图像信息，将终端与之连接；
(2)初始化场景中参与的使用者人数Nk，当前时刻k＝1，系统中是否发生遮挡标记Occ＝0；
(3)如果k＝1则跳转步骤(8)，否则跳转步骤(4)；
(4)统计当前时刻Kinect可识别的使用者人数Nk，并记录终端陀螺仪的旋转角度；
(5)根据相邻时刻可识别的使用者人数关系，判断当前时刻系统所处的状态，如果Nk＝Nk-1，则跳转步骤(6)；否则，跳转步骤(7)；
(6)通过遮挡发生标记Occ，确定系统所处的状态，如果Occ＝0，则系统处于未遮挡状态，调用未遮挡方法计算使用者位置，跳转步骤(8)；否则，系统处于遮挡持续状态，调用遮挡持续状态方法计算使用者位置，跳转步骤(8)；
当系统处于遮挡持续状态时所使用的用户位置计算方法，从用户影子的角度设计跟踪方法，用影子的运动替代遮挡用户的运动，融合Kinect得到的骨架信息、彩色图像用户影子信息、手机传感器数据完成遮挡用户的位置计算；
(7)如果Nk<Nk-1，则系统处于遮挡出现状态，调用遮挡出现状态方法计算使用者位置，且Occ＝1，跳转步骤(8)；否则，系统处于遮挡消失状态，调用遮挡消失状态方法计算使用者位置，且Occ＝0，跳转步骤(8)；
(8)将计算得到的使用者位置映射到虚拟空间坐标下，保证使用者运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性；
(9)根据(8)中得到的使用者位置和终端陀螺仪的旋转角度，完成对使用者视场与视点的渲染，并通过虚拟现实眼镜实现沉浸式体验；
(10)将k值加一；
(11)判断游戏是否结束，如果是，则结束；否则，跳转步骤(3)。
2.如权利要求1所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：所述步骤(6)中系统处于未遮挡状态时所使用的使用者位置计算方法，具体包括以下步骤：
(6-1)根据Kinect提供的骨架信息，记录使用者位置信息和对应的使用者编号信息；
(6-2)根据每个使用者的编号信息，实时更新对应使用者的位置。
3.如权利要求1所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：具体包括以下步骤：
假设k时刻被遮挡使用者为pj，遮挡pj的使用者为pi，根据Kinect得到的使用者pi的位置、光源的位置，以及pi和pj之间的物理关系，确定遮挡使用者Pj影子的搜索矩形区域，计算遮挡的使用者的脚位置与影子搜索框的起点位置的差值，Kinect实时捕获的彩色图像，与获取的背景图像进行相减运算，得到遮挡使用者影子的剪影，根据得到的使用者影子剪影，计算影子的中心位置，根据陀螺仪传感器数据，判断遮挡使用者Pj的运动方向，根据相邻帧的影子位置变化，判断遮挡使用者是否发生运动，进而确定遮挡使用者的位置。
4.如权利要求3所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：根据使用者Pi与光源的位置不同，搜索矩形框的大小也实时变化，或，若差值大于预先设置的阈值，则认为生成图像是前景图像，并标记为黑色；若差值不大于预先设置的阈值，则认为搜索区域内没有使用者影子。
5.如权利要求1所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：所述步骤(7)中系统处于遮挡出现状态时所使用的使用者位置计算方法，具体包括以下步骤：假设k时刻检测到的使用者编号信息集为curID，检索k-1时刻的使用者编号信息集合UID，寻找被遮挡使用者，根据陀螺仪传感器数据，判断遮挡使用者Pj的运动方向，结合运动方向和运动幅度，计算遮挡使用者k时刻的位置。
6.如权利要求1所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：所述步骤(7)中系统处于遮挡消失状态时所使用的使用者位置计算方法，具体包括以下步骤：
(7-2-1)根据使用者被遮挡标记，选择不同的位置计算方法，如果使用者未发生遮挡，跳转步骤(7-2-2)；如果使用者属于遮挡后再次出现的使用者，跳转步骤(7-2-3)；
(7-2-2)根据每个使用者的编号信息，实时更新对应使用者的位置；
(7-2-3)更新使用者再次出现后的编号和位置信息。
7.如权利要求1所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：所述步骤(8)将计算得到的使用者位置映射到虚拟空间坐标下，具体包括以下步骤：
(8-1)在Kinect布置好后，标记出跟踪区域，并测出跟踪区域的4个角点位置；
(8-2)根据虚拟场景空间中4个角点的位置，计算Kinect空间坐标系对于虚拟场景坐标系的变换矩阵M；
(8-3)假设当前时刻k，使用者j的位置为(posxk j,poszk j)，则使用者在虚拟场景中的对应位置为(vposxk j,vposzk j)＝(posxk j,poszk j)*M。
8.如权利要求1所述的支持移动虚拟现实游戏的基于单Kinect的多使用者跟踪方法，其特征是：所述步骤(9)中，将手机放置在虚拟现实眼镜中，使用者通过虚拟现实眼镜所看到的东西呈现出立体感，根据手机传感器信息捕获模块捕捉到的使用者头部转动、虚实位置映射模块得到的使用者位置，完成对使用者视场与视点的跟踪，确定当前视场中的目标物、使用者视点的位置和朝向。
CN201710508204.XA 2017-06-28 2017-06-28 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法 Active CN107274438B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710508204.XA CN107274438B (zh) 2017-06-28 2017-06-28 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
US15/856,952 US11009942B2 (en) 2017-06-28 2017-12-28 Multi-human tracking system and method with single kinect for supporting mobile virtual reality application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710508204.XA CN107274438B (zh) 2017-06-28 2017-06-28 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN107274438A CN107274438A (zh) 2017-10-20
CN107274438B true CN107274438B (zh) 2020-01-17

Family

ID=60070372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710508204.XA Active CN107274438B (zh) 2017-06-28 2017-06-28 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法

Country Status (2)

Country Link
US (1) US11009942B2 (zh)
CN (1) CN107274438B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062796B (zh) * 2017-11-24 2021-02-12 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
CN108106614B (zh) * 2017-12-22 2019-02-19 北京轻威科技有限责任公司 一种惯性传感器与视觉传感器数据融算法
CN109513157B (zh) * 2018-10-16 2020-09-11 广州嘉影软件有限公司 基于Kinect体感的灭火演练交互方法与系统
CN109529318A (zh) * 2018-11-07 2019-03-29 艾葵斯（北京）科技有限公司 虚拟视觉系统
JP7250493B2 (ja) * 2018-12-03 2023-04-03 キヤノン株式会社 画像処理装置、三次元形状データの生成方法およびプログラム
CN109701275B (zh) * 2018-12-11 2022-04-22 北京像素软件科技股份有限公司 基于网络游戏影子角色的操作交互方法及装置
TWI736083B (zh) 2019-12-27 2021-08-11 財團法人工業技術研究院 動作預測的方法及系統
CN111241987B (zh) * 2020-01-08 2022-05-13 同济大学 基于代价敏感的三支决策的多目标模型视觉追踪方法
CN111846840B (zh) * 2020-06-02 2021-12-10 中铝智能科技发展有限公司 一种皮带设备运行全生命周期监控系统与方法
CN111727924B (zh) * 2020-07-14 2022-03-18 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
CN113658319B (zh) * 2021-05-17 2023-08-04 海南师范大学 一种异构骨架之间的姿势迁移方法及装置
CN113361360B (zh) * 2021-05-31 2023-07-25 山东大学 基于深度学习的多人跟踪方法及系统
CN114189605B (zh) * 2021-11-02 2023-10-27 联想(北京)有限公司 一种处理方法及装置
CN114359265B (zh) * 2022-03-04 2022-05-24 广东顺德富意德智能包装科技有限公司 一种基于目标跟踪的螺丝计数方法及系统
CN115145395B (zh) * 2022-07-01 2023-12-12 山西极智峰数字科技有限公司 虚拟现实交互控制方法、系统及虚拟现实设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933734A (zh) * 2015-06-26 2015-09-23 西安理工大学 一种基于多kinect的人体姿态数据融合方法
CN105373224A (zh) * 2015-10-22 2016-03-02 山东大学 一种基于普适计算的混合现实游戏系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
EP2858268B1 (en) * 2012-05-24 2018-09-26 Panasonic Intellectual Property Corporation of America Information communication method
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US20170104982A1 (en) * 2015-10-09 2017-04-13 SoliDDD Corp. Presentation of a virtual reality scene from a series of images
US10046229B2 (en) * 2016-05-02 2018-08-14 Bao Tran Smart device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933734A (zh) * 2015-06-26 2015-09-23 西安理工大学 一种基于多kinect的人体姿态数据融合方法
CN105373224A (zh) * 2015-10-22 2016-03-02 山东大学 一种基于普适计算的混合现实游戏系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Scene-adaptive accurate and fast vertical crowd counting via joint using depth and color information;Huiyuan Fu等;《Multimedia Tools and Applications》;20130808;第73卷(第1期);全文 *
体感交互及其游戏的设计与开发;张贵;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140115(第2015年第01期);第28-33页 *

Also Published As

Publication number Publication date
US20190004597A1 (en) 2019-01-03
CN107274438A (zh) 2017-10-20
US11009942B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
CN107274438B (zh) 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
JP6979475B2 (ja) ヘッドマウントディスプレイ追跡
US9892563B2 (en) System and method for generating a mixed reality environment
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
Welch et al. Motion tracking: No silver bullet, but a respectable arsenal
JP5934368B2 (ja) 可搬装置、仮想現実システムおよび方法
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
CN106843456A (zh) 一种基于姿态追踪的显示方法、装置和虚拟现实设备
US20120249831A1 (en) Method, apparatus and handset
WO2008012502A1 (en) Apparatus and method of interaction with a data processor
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
GB2477793A (en) A method of creating a stereoscopic image in a client device
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
KR20190078471A (ko) 착용형 디스플레이 장치 및 이를 이용한 이미지 제공 방법
KR20180030446A (ko) 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
CN106843790B (zh) 一种信息展示系统和方法
Schwarze et al. An intuitive mobility aid for visually impaired people based on stereo vision
KR20120071281A (ko) 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법
CN106021803B (zh) 一种确定图像采集设备最优排布的方法及系统
JP2019053603A (ja) 表示制御プログラム、装置、及び方法
Carraro et al. Real-time marker-less multi-person 3d pose estimation in rgb-depth camera networks
JP2003308514A (ja) 情報処理方法及び情報処理装置
Herranz et al. Camera pose estimation using particle filters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant