CN107077208A - 基于图像的地面重量分布确定 - Google Patents

基于图像的地面重量分布确定 Download PDF

Info

Publication number
CN107077208A
CN107077208A CN201580056335.8A CN201580056335A CN107077208A CN 107077208 A CN107077208 A CN 107077208A CN 201580056335 A CN201580056335 A CN 201580056335A CN 107077208 A CN107077208 A CN 107077208A
Authority
CN
China
Prior art keywords
barycenter
determined
user
profile
targeted customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580056335.8A
Other languages
English (en)
Inventor
J·霍夫
D·肯奈特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107077208A publication Critical patent/CN107077208A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像序列被处理以解释用户的移动。用户的轮廓和重心被确定和跟踪。基于用户和环境之间的接触点，并基于所跟踪的重心的移动，由用户施加在与环境的接触点上的力可通过约束分析被推断出。用户移动的此质心模型可结合用户的骨架模型来使用以提供对骨架模型的有效性的验证。在骨架模型有故障的情况下，也可替换地使用质心模型，在骨架模型有故障的那些时间期间，对骨架模型的使用是有问题的。

Description

基于图像的地面重量分布确定
背景
诸如计算机游戏、多媒体应用等的许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。常规上，这样的控制是使用例如控制器、遥控器、键盘、鼠标等来输入的。不幸的是，这样的控制可能难以学习，由此造成了用户和这些游戏及应用之间的障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作不同。例如，使得游戏角色挥动棒球球棒的游戏控制可能不与挥动棒球球棒的实际运动相对应。
最近，相机已被用来允许用户操纵游戏角色或应用的其他方面，而不需要传统的手持式游戏控制器。更具体地，计算系统已被适配成标识相机所捕捉的用户，并检测用户的运动或其他行为，即向系统提供虚拟端口。
概述
图像序列可在目标识别、分析和跟踪系统中被处理以解释移动。该系统可从图像或图像序列中确定目标用户的轮廓，并确定用户和环境之间的接触点，例如用户正在触摸地板或其他器具或对象的点。通过该轮廓，用户的质心可被估计，并且质心的诸如加速度、运动和/或平衡之类的各方面可被跟踪。该方法可在各种计算环境中被实现为使用图像或图像序列的一系列计算，籍此目标用户的轮廓、接触点、质心以及质心的平衡、加速度和/或移动被计算出。此外，这些方法可作为指令集合被封装在机器可读介质上，该指令集合可被存储在计算机/计算环境的存储器中，并且在被执行时，使得计算机/计算环境能够实施该方法。
根据质心的运动并根据接触点的知识，作用于质心的力可被推断出，而无需考虑例如用户的骨架结构或肢体的相对位置的任何知识。这可有助于用户的准确化身表示及用户的动作在显示器上的构建以及准确的运动学分析。准确性可通过对用户预期移动的预知和/或用户的附加骨架跟踪来进一步增强。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的限制。
附图简述
可结合附图从作为示例给出的以下示例中得到更详细的理解，附图中：
图1是用户正使用游戏控制台、电视机和图像捕捉设备玩基于姿势的游戏的示例透视图。
图2是用户在具有多个器具以及计算系统、显示器和图像捕捉设备的环境中正握持着对象的示例系统示图。
图3解说了游戏控制台计算环境的示例系统框图。
图4是个人计算机的示例系统框图。
图5是诸如蜂窝电话手机之类的手持式无线设备的示例系统框图。
图6是从用户的图像序列中导出的信息的示例二维表示。
详细描述
图1在用户使用游戏控制台、电视机和图像捕捉设备玩基于姿势的游戏的情况下示出运动感测和分析系统的示例。系统10可用于绑定、识别、分析、跟踪、关联至人类目标，提供反馈，以及/或者适合于诸如用户18这样的人类目标的各方面。
如图1所示，系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台、智能电话等。系统10可进一步包括捕捉设备20。捕捉设备20可以是例如检测器，该检测器可用于监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。捕捉设备20可具有任何常规形式。捕捉设备20可以是以可见、红外(IR)、紫外或其他光谱捕捉二维光学图像的单镜头数字相机。捕捉设备20可以是例如双镜头立体设备。捕捉设备20可以是能够生成所观察的场景的深度图的雷达、声纳、红外或其他扫描设备。捕捉设备20也可以是在一个或多个图像输出中提供色彩、亮度、热度、深度和其他信息的混合并可包括多个扫描和/相机元件的组合设备。
系统10可包括诸如电视机、监视器、高清电视(HDTV)等可向用户18提供与虚拟端口和绑定、游戏或应用视觉和/或音频有关的反馈的视听设备16。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供关联于与虚拟端口和绑定、游戏应用、非游戏应用等有关的反馈的视听信号。视听设备16可以接收来自计算环境12的视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。视听设备16可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、无线连接等等连接到计算环境12。
系统10可用来识别、分析和/或跟踪诸如用户18之类的人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的位置、移动和大小解释为可用于影响由计算机环境12执行的应用的控制。由此，用户18可移动他或她的身体来控制应用。
当没有用户处在捕捉设备20的捕捉区域中时，系统10可提供与系统10的该未绑定/无检测状态有关的反馈。当用户18进入捕捉设备20的捕捉区域时，反馈状态可以从未绑定/无检测状态改变为未绑定/检测中的反馈状态。系统10可随后绑定到用户18，这可将反馈状态从未绑定/检测中改变为已绑定。在用户18绑定到计算环境12后，他可作出将打开系统10的其余部分的姿势。用户18还可作出将使其进入与虚拟端口的关联的第二姿势。反馈状态可改变，使得用户18知道它与虚拟端口相关联。用户18可随后提供一系列姿势来控制系统10。例如，如果用户18寻求打开系统10的一个或多个菜单或者寻求暂停一个或多个过程，他可以作出暂停或菜单姿势。在完成计算会话后，用户可作出退出姿势，这可使得系统10将用户18与虚拟端口解除关联。这可使得反馈状态从与虚拟状态相关联的状态改变为已绑定/已检测的状态。用户18然后可以移出传感器的范围，这可以使反馈状态从已绑定/已检测改变为无检测。如果系统10与用户18解除绑定，则反馈状态可改变为未绑定状态。
如图1所描绘的，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来在屏幕14上提供用户18可用他或她的移动来控制的用户化身24的视觉表示。例如，用户18可在物理空间中挥拳猛击以使得用户化身24在游戏空间中挥拳猛击。因此，系统10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的挥拳，从而使得该挥拳可被解释为对游戏空间中的用户化身24的游戏控制。
正常地，计算环境12将包括执行软件或固件指令的冯·诺依曼架构的常规通用数字处理器，或通过数字现场可编程门阵列(FPGA)逻辑设备、专用集成电路(ASIC)设备或任何等效设备或其组合来实现的等效设备。处理可在本地完成，或者替换地图像处理和化身生成工作中的一些或全部可在远程位置(未描绘出)完成。因此，所示的系统可使用以下来实现(仅列举几个配置)：单个智能蜂窝电话的相机、处理器、存储器和显示器；连接到电视机的游戏系统的专用传感器和控制台；或者使用图像传感器、计算设施和显示器，其各自位于分开的设施处。计算环境12可包括硬件组件和/或软件组件，使得计算设备12可用来执行诸如游戏应用、非游戏应用之类的应用。
存储器可包括具有具体的、有形的、物理的结构的存储介质。如所公知的，信号不具有具体的、有形的、物理的结构。存储器以及本文所述的任何计算机可读存储介质都不被解释为信号。存储器以及本文所述的任何计算机可读存储介质都不被解释为瞬态信号。存储器以及本文所述的任何计算机可读存储介质都不被解释为传播信号。存储器以及本文所述的任何计算机可读存储介质都不被解释为制品。
用户18可与计算环境12中的虚拟端口相关联。虚拟端口的状态反馈可以按以下形式被给予用户18：视听设备16上的声音或显示、诸如LED或电灯泡这样的显示、或计算环境12上的扬声器、或者向用户提供反馈的任何其他手段。反馈可被用来向用户18通知他何时在捕捉设备20的捕捉区域中、他是否被绑定到系统18、他与哪个虚拟端口相关联以及他何时控制了诸如化身24之类的化身。用户18的姿势可改变系统10的状态，并由此改变用户18从系统10接收的反馈。
用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、直拳或挥动各种不同力度的拳等控制。此外，某些移动可被解释为可对应于除控制用户化身24之外的动作的控制。例如，用户18可使用各移动来进入、退出、打开或关闭系统，暂停、自愿尝试、切换虚拟端口，保存游戏，选择级别、简档或菜单，查看高分，与朋友通信等等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
图2是与图1的系统10类似的系统50的系统图。此处在图2中，用户18在具有多个器具的环境中正握持着对象21(例如，网球拍)。系统50包括具有屏幕14的视听设备16，屏幕14上描绘了用户18的化身24。化身24由计算环境12通过分析由捕捉设备20提供的图像序列来创建。
用户18可通过将力施加在任何器具上(例如通过将重量从地板30上的一个脚转移到另一个脚)来移动其质心。器具可以是能够承受用户重量的显著部分的任何相对稳定的对象。如本文中所描绘的，器具可包括诸如地板30、芭蕾弹性杆32、引体向上杆柄34、以及墙或门框36之类的固定器具。器具也可以是诸如椅子或桌子或甚至箱子之类的可移动器具。器具也可以是一件锻炼工具，诸如举例而言踏板、健身椅或甚至健身球。此外，器具可以是在该用户的运动过程中由用户移动或操作的对象，诸如举例而言手杖、拐杖、助行器、或轮椅。
在图2中，屏幕14示出了在用户18的物理环境中不存在的球23。通过捕捉设备20，计算环境12可跟踪用户18和他所运用的对象12两者的运动，以允许用户18控制在屏幕14上描绘的虚拟世界中发生什么。用户18可通过作出改变其化身24和球23的相对位置的运动来与屏幕上的图像交互。
图3解说了可与以上结合图1和2所描述的计算环境12一样被用来例如解释目标识别、分析和跟踪系统中的移动的多媒体控制台100。如图3所示，多媒体控制台100具有中央处理单元(CPU)101，该中央处理单元101包括含有一级高速缓存101、二级高速缓存104和闪存ROM(只读存储器)106的处理器核。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 101可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。
USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器143被提供来存储在引导过程期间被加载的应用数据。媒体驱动器144被提供并且可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144对多媒体控制台100而言可以是内置的或外置的。应用数据可经由媒体驱动器144来访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)之类的总线被连接到I/O控制器120。
系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持被展示在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
前面板I/O子部件130可以包括可向用户18提供多媒体控制100的控制状态的音频或视觉反馈的LED、视觉显示屏、灯泡、扬声器或任何其他装置。例如，如果系统处于其中捕捉设备20没有检测到用户的状态，则这样的状态可被反映在前面板I/O子部件130中。如果系统的状态改变，例如用户变为绑定到系统，则反馈状态可在前面板I/O子部件中被更新以反映该状态的改变。
多媒体控制台100内的CPU 101、GPU 108、存储器控制器110，以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这样的架构可包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。
多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影，或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100可进一步作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8Kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。
具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留量优选地为恒定，以使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图，显示由系统应用生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。
在多媒体控制台100引导并且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使针对在控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。捕捉设备20可定义控制台100的附加输入设备。
图4解说了可与图1和2所示的计算环境12一样被用来例如解释目标识别、分析和跟踪系统中的移动的计算环境220的示例。计算环境220只是合适的计算环境的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应该把计算环境220解释为对示例性计算系统220中示出的任一组件或其组合有任何依赖性或要求。所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行(诸)功能的专用硬件组件。在其他示例中，术语电路可包括由实施可用于执行(诸)功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例中，实现者可以编写体现逻辑的源代码，且源代码可以被编译为可由通用处理单元处理的机器可读代码。由于本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因此选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质两者。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括，但不限于，盒式磁带、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常通过诸如接口234之类的不可移动存储器接口连接到系统总线221，并且磁盘驱动器239和光盘驱动器240通常通过诸如接口235之类的可移动存储器接口连接到系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其它程序模块227和程序数据228相同或不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以至少说明它们是不同的副本。用户可以通过输入设备，如键盘251和定点设备252(其可采用例如鼠标、跟踪球或触摸垫的形式)向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些及其他输入设备常常通过耦合到系统总线221的用户输入接口236连接到处理单元259，但是，也可以通过其他接口和总线结构，如并行端口、游戏端口、通用串行总线(USB)端口来进行连接。相机27、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其它类型的显示设备也通过接口(如视频接口232)连接至系统总线221，所述接口可结合图形接口231、图形处理单元(GPU)229和/或视频存储器229来操作。除监视器之外，计算机还可包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可使用到一个或多个远程计算机(诸如，远程计算机246)的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上相对计算机241所描述的元件，但在图4中仅示出了存储器存储设备247。图4中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接到LAN245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置的或外置的，可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，相关于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图5解说了可与图1和2所示的计算环境12一样用来例如解释目标识别、分析和跟踪系统中的移动的计算设备500的示例。计算环境500可以是例如移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、平板、个人计算机、无线传感器、或消费者电子设备等等如图5所示，设备500可包括处理器502、收发机504、发射/接收元件506、扬声器/话筒510、小键盘512、显示器/触摸垫514、不可移动存储器516、可移动存储器518、功率收发机508、全球定位系统(GPS)芯片集522、图像捕捉设备530和其他外围设备520。将领会，设备500可包括前述元件的任何子组合。
处理器502可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器502可执行信号编码、数据处理、功率控制、输入/输出处理和/或使得设备500能够在无线环境中操作的任何其他功能。处理器502可被耦合到收发机504，收发机504可被耦合到发射/接收元件506。尽管图5将处理器502和收发机504描绘为分开的组件，但将领会，处理器502和收发机504可被一起集成在一电子封装或芯片中。处理器502可执行图像和移动分析，或者它可例如经由无线通信与远程设备协作来完成这样的分析。
发射/接收元件506可被配置成将信号发射到例如WLAN AN或从例如WLAN AN处接收信号。例如，发射/接收元件506可以是被配置成发射和/或接收RF信号的天线。发射/接收元件506可支持各种网络和空中接口，诸如WLAN(无线局域网)、WPAN(无线个域网)、蜂窝等等。发射/接收元件506可以是被配置成发射和/或接收例如IR、UV或可见光信号的发射机/检测器。发射/接收元件506可被配置成发射和接收RF和光信号两者。将领会，发射/接收元件506可被配置成发射和/或接收无线或有线信号的任何组合。
处理器502可从任何类型的合适存储器(诸如不可移动存储器516和/或可移动存储器518)中访问信息，以及将数据存储在这种存储器中。不可移动存储器516可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或任何其它类型的存储器存储设备。可移动存储器518可包括订户身份模块(SIM)卡、存储器棒、安全数字(SD)存储器卡等。处理器502可从不物理地位于设备500(诸如服务器或家用计算机)上的存储器中访问信息，以及将数据存储在这种存储器中。处理器502可被配置成响应于各用户请求、网络条件、服务策略质量等来控制显示器或指示器42上的照明模式、图像、或色彩。
处理器502可从功率收发机508接收功率，并可被配置成向设备500中的其他组件分发功率和/或控制功率。功率收发机508可以是用于向设备500供电的任何合适的设备。例如，功率收发机508可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢(NiMH)、锂离子(Li-离子)等)、太阳能电池、燃料电池等等。
处理器502还可被耦合到GPS芯片集522，GPS芯片集522被配置成提供关于设备500的当前位置的位置信息(例如，经度和维度)。
处理器502还可被耦合到图像捕捉设备530。捕捉设备可以是可见光谱相机和IR传感器、深度图像传感器等。
处理器502可进一步被耦合到其他外围设备520，这些其他外围设备520可包括提供附加特征、功能和/或有线或无线连接性的一个或多个软件和/或硬件模块。例如，外围设备520可包括加速度计、电子指南针、卫星收发机、传感器、数字相机(用于获得照片或视频)、通用串行总线(USB)端口、振动设备、电视收发机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器等等。
图6是根据在用户的物理环境中捕捉到的用户的一个或多个图像计算的信息的两个维度600的描绘。此处在图6中，根据该图像，处理器已确定了用户的轮廓602，此处被示为轮廓线。此处，用户正站着。处理器已估计出用户604的质心的位置，此处用十字标记出。处理器已确定了用户和器具之间的两个接触点。在该情况下，器具是地板。假设用户正面向图像捕捉设备，接触点606是用户的右脚，并且接触点610是他的左脚。系统还计算了由每一接触点施加在器具上的地面重量，如长度与所施加的重量成正比的虚线(线608和612)所示。注意，右脚608上的重量大于左脚612上的重量。
轮廓602可用作图1和2的化身24，或者它可用作用于生成这样的化身的基础。由此，用户可看见该用户自己的包括轮廓线、由轮廓线组成或包含轮廓线的图像或表示。替换地，化身可以是例如粗略地对应于用户18呈现给系统的轮廓线的照片或通过数字方式生成的图形图像。在用户的该表示上可覆盖有关于其平衡和移动的信息。在图6中，每一脚所施加的静力被示为垂直虚线208和212。替换地，重量可被示为例如从接触点沿着地板的平面辐射出的圆盘，并且这些圆盘可在尺寸、色彩或两者方面与所施加的重量成比例地动态变化。重心604可通过十字来描绘，该十字在位置方面随着用户的平衡转变而变化，并且在色彩方面与其加速度成比例地变化。
每一接触点所承担的瞬时重量可根据以下直接计算出：用户和器具之间的接触点的位置；用户的质量；以及用户的质心的位置和加速度。用户的轮廓(包括用户高度和宽度)由于用户的运动、色彩、温度和来自图像传感器的范围而可由计算系统从图像数据中估计出。类似地，环境(包括器具)的模型由于其缺乏运动、色彩、温度和/或来自传感器的范围而可从图像数据中推断出，和/或环境的模型替换地被认为包括被确定为不是用户的任何对象。
用户的总质量可例如通过采取用户的平均密度和/或通过参考平均质量查找表根据观察到的用户的高度和宽度等估计出。注意这可仅通过2D(二维)成像来实现，但3D(三维)/深度成像可提供对用户的总体积并因此质量的更准确的评估。例如，根据从用户的前方拍摄的深度图，用户的前方的“深度外壳”模型可被确定，并且根据此模型，整个用户的3D深度外壳可被推断出。显著地，用户的真正质量可能不是计算例如在各接触点之间的相对重量分布所必需的。一旦用户的总质量被估计出，用户的质量中心的位置就可被计算出作为质量成分组件的几何中心。
与器具的接触点可从环境中的对象相对于用户上最远离用户的重心的那些点的位置中推断出。可能不需要标识结构上的肢体末端本身。例如，在仅有的器具是地板的情况下，可推断仅有的接触点将是用户图像与地板相交或在地板上相切的位置。在用户正站着的情况下，这些接触点将是用户的脚，在用户正跪着的情况下，这些接触点将是用户的膝盖，或者当用户正在做手倒立的情况下，这些接触点将是用户的手等等。用户身体的哪个具体部位正触摸器具本身不予重量和重量分布计算有关。知道存在多少接触点以及它们相对于质心在哪里就足够了。
用户的质心的加速度可根据质心的位置随时间的改变来计算。此处，计算系统仅需要根据图像的时间序列比较质心位置，并测量质心移动得有多快(在哪个方向中以及处于什么速度)以随后推断出加速度。
一旦接触点、质心和质心加速度被知道，影响质心以及在接触点影响器具的净力可依据牛顿动力学算法来计算。存在可用于执行这样的计算的多个方法。例如刚性体物理学已被应用于视频游戏、医学运动分析和模拟以及正和反机器人运动学。出于本发明目的，计算系统可按约束满足问题自动求解出作为刚形体影响接触点的力，其中力和力矩的方向的值是通过迭代计算找出的，如在迭代动力学中用时间相干性实现的一样。
质心的位置和运动以及质心相对于接触点的几何结构确定每一接触点处的状态向量。例如，这些点的位置和运动确定这些点的速度的幅度方向以及作用于这些点的力矩的幅度方向。将重力考虑在内，用户在每一接触点的惯性张力可被推断出。导致移动或张力方面的改变的力可通过比较从一个时间帧到下一时间帧发生的事情来计算。
在这样的分析中可使用以下示例性公式1。在公式1中，M是质量矩阵。V1和V2是包含在时间1和时间2的线速度和角速度的向量。Δt是从时间1到时间2的时间方面的改变。J是描述作用于各质量的约束力的偏微分的雅可比矩阵。JT是雅可比矩阵J的转置矩阵。如此处所使用的，λ(lambda)是约束力的幅值的未定乘数的向量。JTλ是该雅可比矩阵乘以λ的转置矩阵，这导致作用于各质量的力和力矩。Fext是质量的系统(诸如重力)外部的力和力矩的向量。在公式1，质量向量乘以微分速度向量等于时间方面的改变乘以作用于这些质量的内部和外部的力和力矩的向量的和。
M(V2-V1)＝Δt(JTλ+Fext)
(公式1)
其中质量的几何结构和实际运动已被观察到，计算系统可通过填入其他变量并求解λ来完成求解公式1。每一该约束的方向控制JT最初如何被计算出，使得特定力的方向和值可随后通过将相应的JT和λ矩阵元素相乘来计算出。
在实践中，计算系统可由此基于质心的状态向量和到接触点的向量完成对接触点在一系列时间帧的状态向量的计算。随后，这些状态向量可被逐帧地比较，并且操作力的幅值和向量根据什么将对于所有接触点一致来计算。该计算可通过在每一迭代中调整状态向量来完成，因为例如以高斯-赛德尔方式该系统反复地迭代通过各接触点。通过假定在各帧之间的介入时间中，用户将自然开始下降来将重力考虑在内。因此，在所计算的力之中有“阻止”该下降所必需的力。一旦解收敛，在各接触点处的最终力可被报告给用户(例如作为力幅值和方向的符号显示)，或者被用于确定用户符合指定运动体制，诸如特定锻炼。
注意，该方法产生对静态和动态地面重量分布的可靠估计，而不管用户的姿态、姿势或移动如何。因此，该方法在依赖于用户骨架或肌肉组织的建模的系统可产生较不稳健的结果的情况下是有用的。后者可在例如在特定锻炼或跳舞常规动作中的部分或全部期间身体的姿态或姿势变得对成像传感器模糊而发生。
用户的化身和重量分布反馈的准确生成可部分地通过预知用户的预期运动序列和骨架建模(在可用时)来实现。例如，为了在深蹲锻炼期间跟踪用户，在该锻炼以用户完全笔直站立开始时，可采用骨架建模。当用户下蹲到足够低，以至成像传感器对用户的骨盆和腹部的视线被用户的膝盖遮挡时，身体段的精确定位可能难以确定。然而，通过观察关于用户的整个质心相对于与地板的接触点的加速度，用户从一个脚到另一个脚的平衡仍可被评估，而不参考骨架模型。随着用户返回到站立位置，该系统可返回到完全骨架建模。骨架建模和总质心加速度建模的类似混合可被定制以适应任何数目的例如舞蹈、瑜伽姿势、伸展和强度锻炼或康复协议。
类似地，为了创建准确的模型可考虑预知器具。如果例如引体向上被要求，则该系统可寻求标识在用户的头部上方的器具。如果对在右手中的手杖的使用被规定，则三条腿的用户轮廓可被映射到合适适应的化身，并且在用户大步走时施加在手杖上的各个点处的力的量可被评估。
这些技术可被应用于单个图像的分析。计算平台可以是处理器、耦合到处理器的包含处理器可执行的指令的存储器、以及耦合到处理器的包含来自图像捕捉设备的图像序列的存储器，其中处理器通过执行这些指令完成对第一力(包括相对幅值和方向)的确定，其中该力被目标用户施加在器具的接触点上。换言之，在图像捕捉设备的范围内的人的(或动物的或甚至行走中的机器人的)姿态可从单个图像中被分析出。在图像捕捉设备的视野中可存在许多人。该系统将首先必须确定这些用户中的哪些用户将是分析的目标。
该分析可始于从第一图像中计算目标用户的轮廓。随后，根据该轮廓，可计算质心。质心可取决于轮廓的预期深度和密度、基于2D图像或者部分地基于观察到的该轮廓的深度(在3D/深度图的情况中)。接着，该系统可确定用户触摸器具的接触点。仅根据这些变量，力的相对或实际幅值和方向可被计算出。这可通过牛顿算法或通过数字拟合方法(诸如约束分析)来实现。在任一情况下，力可根据观察到的质心与第一接触点的几何关系来确定。类似地，多个接触点中的每一者上的静态力可由这些方法从单个图像中找到。
根据两个或更多个图像，关于动态力和加速度的信息可被获得。在分析了第一图像后，第二轮廓是根据第二图像计算出的。用户的质心的移动可通过比较第一和第二轮廓或根据那些轮廓计算的第一和第二质心来计算。用户的质心的加速度的比率可随后基于两个图像被捕捉到的时间有多远离来计算。这可通过比较这些图像的时戳(其要么在图像的元数据中明确表示要么在捕捉设备的帧率的知识中暗示)来找到。再一次，导致该移动和加速度的力或实现这样的移动和加速度所必须的净力或等效力可通过约束分析来找到，这时不仅使用质心与第一接触点的几何关系，还使用移动和/或加速度数据。
目标识别、分析和跟踪系统通常依赖于骨架跟踪技术来检测运动或其他用户行为，并由此控制在视觉显示器上表示用户的化身。计算用户的质心上的力的方法可与骨架跟踪技术组合来提供对用户的无缝跟踪，即使在骨架跟踪技术自身可能没有成功跟随用户的行为的情况下。在计算系统完成对目标用户的化身的建模以供视觉显示的情况下，它可在第一时段期间通过将用户的轮廓的多个可标识部分映射到化身的骨架段来完成对化身的建模。换言之，当系统可明确标识出手臂、腿、头部和躯干时，准确的化身可通过将观察到的身体部位映射到化身的相应部分来创建。
随后，在稍候的时间，在第二时段期间，化身的建模可通过根据质心的移动来推断化身的骨架段的移动来完成。换言之，当出于无论何种理由该系统无法告知肢体在何处时，它仍可告知用户的质心在何处，并使得化身的运动根据用户的质心方面的改变来移动。随后，在第三时间，系统可切换回在生成化身时使用骨架建模。
任何数目的方法可被用于确定在哪个时间使用哪种建模方法来创建化身。该判定可基于例如骨架模型的关节跟踪数据的置信度水平、基于观察到用户的上下文或这两者的组合。例如，如果骨架模型提示身体的各部位位于难以置信的或解剖上不可能的姿势，则计算系统可通过质心模型来完成对化身的处理。例如，如果骨架系统具有明显不在用户的质心下面的脚，并且质心不在移动，则我们具有无效的情形，并且质心模型将优于骨架模型。
用于触发所使用的建模方法的改变的置信度水平可取决于什么运动被用户预期。例如，某些瑜伽姿态可能比更普通的健美操更有可能反转肢体位置。因此，在不同的情况下可应用不同的置信度阈值。
类似地，上下文可独立于置信度被使用以确定何时切换建模方法。例如，如果用户已选择进行深蹲锻炼，则我们可预料到当头部相对于原始高度变得太低时，骨架跟踪可发生故障。那时，系统可被配置成单独地基于质心的位置或替换地仅基于头部高度来触发到化身生成模型的转变，从而忽略当前由骨架建模方法得出的任何结果。类似地，当用户头部再次变得足够高时，骨架建模方法可再次被采用。
此外，总质心方法本身可用于检查骨架模型的有效性。为了实现此，计算系统可完成对如使用基于骨架的方法和基于总质心的方法确定的各接触点力的直接比较。当这些确定偏离太多时，计算系统可选择使用基于总质心的结果。
应理解，本文中描述的系统、方法和过程中的任一者或全部可用存储在计算机可读存储介质上的计算机可执行指令(即，程序代码)的形式来实现，这些指令当被机器(诸如，计算机、服务器、用户设备(UE)等)执行时执行和/或实现本文中描述的系统、方法和过程。具体地，以上描述的步骤、操作或功能中的任一者可用这样的计算机可执行指令的形式来实现。计算机可读存储介质包括以用于存储信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质，但这样的计算机可读存储介质不包括信号。计算机可读存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、盒式磁带、磁带、磁盘存储或其他磁存储设备，或者可用于存储所需信息并可由计算机访问的任何其他物理介质。
在以上描述的示例中，并如附图中所解说的，出于清楚的目的采用了具体术语。然而，所要求保护的主题不旨在限于这么选择的特定术语，并且将理解每一具体元素包括用类似的方式操作以完成类似的目的的所有技术等同物。

Claims (14)

1.一种系统，包括：
处理器；以及
耦合到所述处理器的存储器，所述存储器包括可执行指令，所述可执行指令当由所述处理器执行时，使得所述处理器完成以下操作，包括：
根据第一图像确定目标用户的第一轮廓；
根据所述第一轮廓确定所述目标用户的第一质心；
确定第一接触点，在所述第一接触点，所述目标用户与第一器具接触；以及
通过约束分析确定第一力，所述约束分析包括所述第一质心与所述第一接触点的几何关系。
2.如权利要求1所述的系统，其特征在于，所述操作还包括：
根据第二图像确定所述目标用户的第二轮廓；
根据所述第二轮廓确定所述目标用户的第二质心；
确定从所述第一质心到所述第二质心的移动；
根据所述移动以及所述第一图像和所述第二图像之间的时间差确定加速度；以及
确定所述第一力，其中所述约束分析进一步包括所述加速度。
3.如权利要求2所述的系统，其特征在于，所述操作还包括：
在第一时段期间，通过将所述第一轮廓的多个可标识部分映射到所述化身的骨架段来对化身进行建模；以及
在第二时段期间，通过根据所述移动来推断所述化身的所述骨架段的移动来对所述化身进行建模。
4.如权利要求1、2或3所述的系统，其特征在于，所述操作还包括：
确定第二接触点，在所述第二接触点，所述目标用户与第二器具接触；以及
确定所述第一力和第二力，其中所述约束分析进一步包括所述第一质心和所述第二接触点的几何关系。
5.如权利要求1、2、3或4所述的系统，其特征在于，所述第一器具包括地板、墙壁、门道、杆、扶手、盒子、踏板、健身椅或椅子中的至少一者。
6.一种方法，包括：
根据第一图像确定目标用户的第一轮廓；
根据所述第一轮廓确定所述目标用户的第一质心；
确定第一接触点，在所述第一接触点，所述目标用户与第一器具接触；以及
通过约束分析确定第一力，所述约束分析包括所述第一质心与所述第一接触点的几何关系。
7.如权利要求6所述的方法，其特征在于，还包括：
根据第二图像确定所述目标用户的第二轮廓；
根据所述第二轮廓确定所述目标用户的第二质心；
确定从所述第一质心到所述第二质心的移动；
根据所述移动以及所述第一图像和所述第二图像之间的时间差确定加速度；以及
确定所述第一力，其中所述约束分析进一步包括所述加速度。
8.如权利要求7所述的方法，其特征在于，进一步包括：
在第一时段期间，通过将所述第一轮廓的多个可标识部分映射到所述化身的骨架段来对化身进行建模；以及
在第二时段期间，通过根据所述移动来推断所述化身的所述骨架段的移动来对所述化身进行建模。
9.如权利要求6、7或8所述的方法，其特征在于，进一步包括：
确定第二接触点，在所述第二接触点，所述目标用户与第二器具接触；以及
确定所述第一力和第二力，其中所述约束分析进一步包括所述第一质心和所述第二接触点的几何关系。
10.如权利要求6、7、8或9所述的方法，其特征在于，所述第一器具包括地板、墙壁、门道、杆、扶手、盒子、踏板、健身椅或椅子中的至少一者。
11.一种包括可执行指令的计算机可读存储介质，所述指令在由处理器执行时使得处理器完成以下操作，包括：
根据第一图像确定目标用户的第一轮廓；
根据所述第一轮廓确定所述目标用户的第一质心；
确定第一接触点，在所述第一接触点，所述目标用户与第一器具接触；以及
通过约束分析确定第一力，所述约束分析包括所述第一质心与所述第一接触点的几何关系。
12.如权利要求11所述的计算机可读存储介质，其特征在于，所述操作还包括：
根据第二图像确定所述目标用户的第二轮廓；
根据所述第二轮廓确定所述目标用户的第二质心；
确定从所述第一质心到所述第二质心的移动；
根据所述移动以及所述第一图像和所述第二图像之间的时间差确定加速度；以及
确定所述第一力，其中所述约束分析进一步包括所述加速度。
13.如权利要求12所述的计算机可读存储介质，其特征在于，所述操作还包括：
在第一时段期间，通过将所述第一轮廓的多个可标识部分映射到所述化身的骨架段来对化身进行建模；以及
在第二时段期间，通过根据所述移动来推断所述化身的所述骨架段的移动来对所述化身进行建模。
14.如权利要求11、12或13所述的计算机可读存储介质，其特征在于，所述操作还包括：
确定第二接触点，在所述第二接触点，所述目标用户与第二器具接触；以及
确定所述第一力和第二力，其中所述约束分析进一步包括所述第一质心和所述第二接触点的几何关系。
CN201580056335.8A 2014-10-17 2015-10-14 基于图像的地面重量分布确定 Pending CN107077208A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/517,042 2014-10-17
US14/517,042 US20160110593A1 (en) 2014-10-17 2014-10-17 Image based ground weight distribution determination
PCT/US2015/055407 WO2016061153A1 (en) 2014-10-17 2015-10-14 Image based ground weight distribution determination

Publications (1)

Publication Number Publication Date
CN107077208A true CN107077208A (zh) 2017-08-18

Family

ID=54360575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580056335.8A Pending CN107077208A (zh) 2014-10-17 2015-10-14 基于图像的地面重量分布确定

Country Status (4)

Country Link
US (1) US20160110593A1 (zh)
EP (1) EP3206765A1 (zh)
CN (1) CN107077208A (zh)
WO (1) WO2016061153A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811555B2 (en) 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
US10025989B2 (en) * 2015-05-05 2018-07-17 Dean Drako 3D event capture and image transform apparatus and method for operation
CN107346172B (zh) * 2016-05-05 2022-08-30 富泰华工业（深圳）有限公司 一种动作感应方法及装置
WO2018122600A2 (en) * 2016-12-28 2018-07-05 Quan Xiao Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination
US20230103161A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1193394A (zh) * 1995-07-14 1998-09-16 拉都包夫·挪拉赫梅特·挪利斯拉莫维奇 使使用者投入虚拟现实的方法及装置
US20100197390A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Pose tracking pipeline
CN102549619A (zh) * 2009-10-07 2012-07-04 微软公司 人类跟踪系统
CN102591456A (zh) * 2010-12-20 2012-07-18 微软公司 对身体和道具的检测
US20140270351A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Center of mass state vector for analyzing user motion in 3d images

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625577A (en) * 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
EP1305767B1 (en) * 2000-05-18 2014-03-19 Commwell, Inc. Method for remote medical monitoring incorporating video processing
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
US20050088515A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Camera ring for three-dimensional (3D) surface imaging
US8924021B2 (en) * 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
JP4388567B2 (ja) * 2007-06-26 2009-12-24 学校法人 関西大学 ゴルフクラブ解析方法
JP5367492B2 (ja) * 2009-07-31 2013-12-11 ダンロップスポーツ株式会社 ゴルフクラブの評価方法
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
JP5820366B2 (ja) * 2010-10-08 2015-11-24 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
WO2013041446A1 (en) * 2011-09-20 2013-03-28 Brian Francis Mooney Apparatus and method for analysing a golf swing
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9322653B2 (en) * 2013-01-16 2016-04-26 Disney Enterprises, Inc. Video-based motion capture and adaptation
US9161708B2 (en) * 2013-02-14 2015-10-20 P3 Analytics, Inc. Generation of personalized training regimens from motion capture data
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US9159140B2 (en) * 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1193394A (zh) * 1995-07-14 1998-09-16 拉都包夫·挪拉赫梅特·挪利斯拉莫维奇 使使用者投入虚拟现实的方法及装置
US20100197390A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Pose tracking pipeline
CN102549619A (zh) * 2009-10-07 2012-07-04 微软公司 人类跟踪系统
CN102591456A (zh) * 2010-12-20 2012-07-18 微软公司 对身体和道具的检测
US20140270351A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Center of mass state vector for analyzing user motion in 3d images

Also Published As

Publication number Publication date
US20160110593A1 (en) 2016-04-21
WO2016061153A1 (en) 2016-04-21
EP3206765A1 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
CN105228709B (zh) 用于重复检测和分析的信号分析
CN105209136B (zh) 用于分析3d图像中的用户动作的质心状态矢量
CN102356373B (zh) 虚拟对象操纵
US9384329B2 (en) Caloric burn determination from body movement
CN102449576B (zh) 姿势快捷方式
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
CN102331840B (zh) 基于回环运动的用户选择和导航
CN103608844B (zh) 全自动动态关节连接的模型校准
CN105229666B (zh) 3d图像中的运动分析
CN103530495B (zh) 增强现实仿真连续体
CN102301315B (zh) 姿势识别器系统架构
CN102947777B (zh) 用户跟踪反馈
CN102184009B (zh) 跟踪系统中的手位置后处理精炼
CN102413886B (zh) 示出身体位置
JP5865357B2 (ja) アバター・ジェスチャーの表示制限
CN102362293B (zh) 链接动画
CN102193624B (zh) 用于基于姿势的用户界面的物理交互区
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102129551B (zh) 基于关节跳过的姿势检测
CN102448561B (zh) 姿势教练
CN102918518B (zh) 基于云的个人特征简档数据
CN107077208A (zh) 基于图像的地面重量分布确定
CN107533806B (zh) 被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
KR20120020137A (ko) 애니메이션 또는 모션들을 캐릭터에 적용하는 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818