CN111095150A - 机器人作为私人教练 - Google Patents

机器人作为私人教练 Download PDF

Info

Publication number
CN111095150A
CN111095150A CN201880059506.6A CN201880059506A CN111095150A CN 111095150 A CN111095150 A CN 111095150A CN 201880059506 A CN201880059506 A CN 201880059506A CN 111095150 A CN111095150 A CN 111095150A
Authority
CN
China
Prior art keywords
user
robot
exercise
exercise routine
routine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880059506.6A
Other languages
English (en)
Other versions
CN111095150B (zh
Inventor
D.马林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=65244580&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN111095150(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN111095150A publication Critical patent/CN111095150A/zh
Application granted granted Critical
Publication of CN111095150B publication Critical patent/CN111095150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10Athletes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012Comparing movements or motion sequences with a registered reference
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2208/00Characteristics or parameters related to the user or player
    • A63B2208/02Characteristics or parameters related to the user or player posture

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

当用户参与身体活动时,使用机器人向所述用户提供反馈的方法包括检测在地理位置中的所述用户的存在,监测用户活动,并且当所述机器人检测到所述用户执行来自锻炼例程中的锻炼时,所述机器人被定位到接近所述用户的一个或多个位置,以便捕获所述用户在执行所述锻炼时保持的姿势的图像。分析所述捕获的图像并且向所述用户提供反馈,以允许所述用户改善他们的姿势。

Description

机器人作为私人教练
技术领域
本公开描述了用于通过允许机器人监测用户在执行锻炼例程时的姿势并且动态地提供反馈来使机器人参与作为用户的私人教练的方法和系统。
背景技术
相关技术的描述
计算机技术的进步导致了基于云的处理、视频游戏技术等的进步。随着基于云的处理(如高性能图形处理器)的进步,向用户呈现了理想且最佳的交互式体验。例如,基于云的系统提供用于执行交互式应用(诸如视频游戏)的几乎无限的处理能力和系统资源。基于云的系统使得在不必升级他们自己的装置的情况下,就可获得巨大广度的传统和新的交互式应用以供用户访问和交互。这些基于云的系统使得能够将内容流式传输到远程客户端,其中大部分处理在服务器上完成,所述服务器可以是分布式的。因此,基于云的交互式应用越来越受欢迎,因为用户发现在没有复杂硬件限制的情况下更容易访问更多应用,并且应用开发人员发现从集中位置管理游戏代码更容易。
在更个人的层面上,正在开发个人装置来辅助用户选择基于云的系统的远程服务器或本地装置(诸如计算机或控制台)上可用的内容并且与之交互。例如,头戴式显示器已经被开发出来并且越来越受欢迎,因为它允许用户通过与头戴式显示器的显示器上呈现的内容进行交互来获得沉浸式交互式体验,诸如沉浸式游戏体验。类似地,已经开发了各种控制器来辅助用户向交互式内容提供输入。基于云的系统使得引入较新装置变得更加容易,因为大部分处理是在服务器级别完成的,并且较新装置可以在云级别而不是在单个系统级别容易集成。
除了控制器之外,机器人助理正变得越来越受欢迎,用于辅助用户观察内容并且与内容进行交互。早期的机器人助理能力有限,并且很少有方便用户交互的选项。
本公开的实施方案正是在这种背景下出现的。
发明内容
本发明的实施方案公开了用于在机器人的帮助下辅助用户执行诸如身体训练的活动的方法和系统。宽泛地说,机器人与用户相关联。机器人检测在机器人所在的地理位置中的用户的存在。响应于检测到用户的存在,机器人监测在地理位置中的用户的动作和交互。当机器人基于用户所遵循的时间表或基于从用户接收的明确指令检测到用户参与锻炼例程时,机器人移动到接近用户的一个或多个位置,从而机器人可以在用户执行来自锻炼例程中的锻炼时捕获用户的姿势和运动的图像。机器人使用捕获的图像来构建模拟用户的姿势的模型,并且查询数据库以识别针对特定锻炼限定的虚拟模型。将所述模型与虚拟模型进行比较,以使用例如机器学习技术来识别模型中的差异。然后,机器人提供反馈,以便辅助用户针对在锻炼例程中限定的不同锻炼纠正姿势或移动。机器人可以继续监测用户的动作和运动并且提供另外的反馈。用户的动作可以包括用户的姿势的变化,所述用户的姿势的变化可以是响应于反馈的,或者可以是由于用户继续锻炼例程中的不同的锻炼。因此,机器人在用户执行锻炼时通过捕获姿势的不同角度并且提供关于姿势的反馈来充当向用户提供反馈的“私人教练”,就像真实生活中的私人教练一样。
在一个实现方式中,提供了一种使用机器人来辅助用户进行身体训练的方法。所述方法包括检测在部署机器人的地理位置中的用户的存在。通过将由机器人捕获的用户的用户属性与存储在用户的用户配置文件中的对应用户属性进行匹配来识别用户。为用户识别用于在地理位置中执行的锻炼例程。当用户开始执行锻炼例程时,机器人移动到接近用户的一个或多个位置,以便当用户执行来自锻炼例程中的锻炼时捕获由用户保持的姿势的视图。基于用户当前执行的锻炼来识别位置。基于由机器人捕获的姿势的图像,提供与用户的姿势相关的反馈,以允许用户在执行锻炼时改善姿势。
在另一个实现方式中,公开了一种针对由用户执行的锻炼例程提供反馈的方法。所述方法包括从用户接收指令,其中所述指令识别用户已经选择在当前时间执行的锻炼例程。在检测到用户执行锻炼例程时,将机器人移动到接近用户的一个或多个位置,以在用户执行来自锻炼例程中的锻炼时捕获由用户保持的姿势的视图。基于由用户执行的锻炼来识别将机器人移动到的位置。机器人向用户提供与锻炼例程相关的反馈,以使得在用户执行来自锻炼例程中的锻炼时用户能够改善姿势。机器人用于继续监测用户的姿势以确定姿势的任何变化。当检测到用户的姿势的变化时,调整机器人或机器人的一个或多个传感器的位置,以捕获用户的姿势变化的视图。基于用户姿势的检测到的变化,由机器人向用户提供另外的反馈,以使得用户能够改善用户针对锻炼所保持的姿势。
在又一个实现方式中,公开了一种使用机器人针对用户执行的锻炼例程提供反馈的方法。所述方法包括接收来自用户的指令,其中所述指令识别用户在锻炼时想要目标针对的身体的具体部分。识别针对身体的具体部分为目标的锻炼例程,其中所述锻炼例程包括将由用户执行的不同锻炼。提供来自锻炼例程中的锻炼的细节以供用户遵循。当检测到用户执行锻炼时,将机器人移动到接近用户的一个或多个位置,从而使得机器人能够捕获用户在执行锻炼时保持的姿势的图像。基于用户执行的锻炼来识别用于移动机器人的一个或多个位置。提供与锻炼相关的反馈,以使得用户能够改善锻炼的姿势。随着用户继续执行锻炼例程,继续监测用户的姿势,其中通过调整机器人的位置以捕获用户的姿势的变化来执行监测。基于在由用户保持的姿势中检测到的变化,向用户提供另外的反馈。提供另外的反馈以使得用户能够改善锻炼的姿势。
在另一个实现方式中,公开了一种系统。所述系统包括机器人,所述机器人通过网络与托管在云系统上的服务器通信。机器人包括人工智能(AI)逻辑,所述人工智能逻辑被配置为检测在机器人所在的地理位置中的用户的存在,并且识别用户在当前时间计划执行的活动。AI逻辑包括与服务器通信以获得相关信息的多个逻辑模块。AI逻辑的多个模块包括用户识别器模块、锻炼例程识别器模块、动态定位模块、模型构建器模块、虚拟模型检索器模块和反馈生成器模块,仅举几例。用户识别器模块被配置为捕获地理位置中存在的用户的用户属性并且通过将捕获的用户属性与存储在机器人的本地存储器中或存储在服务器上的用户的用户配置文件进行匹配来确认用户的身份。锻炼例程识别器模块被配置为识别用户在当前时间计划执行的锻炼例程。动态定位模块被配置为接收用户计划执行的锻炼例程,并且识别接近用户的一个或多个位置以用于移动机器人,以便能够在用户执行来自锻炼例程中的锻炼时捕获由用户保持的姿势的图像。机器人要移动到的一个或多个位置是基于用户当前参与执行的锻炼来限定的。模型构建器模块被配置为获得由用户保持的姿势的图像以生成姿势的模型。虚拟模型检索器模块被配置为从锻炼例程数据库中检索针对锻炼限定的虚拟模型。反馈生成器模块被配置为将由模型构建器模块生成的模型与由虚拟模型检索器模块检索的虚拟模型进行比较以识别任何差异。基于在模型中识别出的差异,反馈生成器模块被配置为向用户提供指令以纠正或改善锻炼的姿势。
通过以下结合附图的详细描述,本发明的其他方面和优点对于本领域技术人员将变得显而易见,附图通过示例的方式示出了本发明的原理。
附图说明
通过结合附图参考以下描述,可以最好地理解本发明及其其他优点。
图1示出了根据本发明实现方式的示例系统的简化框图,所述示例系统用于检测在地理位置中的用户的存在,并且针对在地理位置中的用户执行的活动向用户提供反馈。
图1A至图1F示出了根据本发明的一些实现方式的将机器人移动到的各种位置,以捕获地理位置中的用户移动的图像。
图2A至图2G示出了根据本发明的若干实现方式的机器人的各种示例设计配置,所述机器人用于捕获用户的图像并且基于用户执行的活动向用户提供反馈。
图3示出了根据本发明的实现方式的用于监测地理位置中的用户活动并且向用户提供反馈的机器人的示例部件。
图3A示出了根据本发明的实现方式的用于生成用户的模型的机器人的AI逻辑内的传感器融合模块的示例实现方式。
图4示出了根据本发明的实现方式的用于向用户提供反馈的数据流。
图5A至图5D示出了根据本发明的一些实现方式的由机器人的AI逻辑生成的用于向用户提供反馈的模型的示例。
图6A示出了根据本发明的实现方式的用于监测地理位置中的用户活动并且向用户提供反馈的方法的过程操作。
图6B示出了根据本发明的替代实现方式的方法的过程操作,所述方法用于从用户接收指令、识别用户要执行的活动,以及向用户提供反馈。
图7示出了根据本发明的实现方式的机器人的各种部件,所述机器人用于监测用户的活动并且提供反馈。
图8示出了根据本发明的一个实现方式的示例性信息服务提供商架构,用于向地理上分散并且经由网络连接的用户递送信息内容和服务。
具体实施方式
在下面的描述中,阐述了许多具体细节,以便提供对本发明的透彻理解。然而,对于本领域的技术人员来说,显而易见的是,本发明可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下,为了不模糊本发明,没有详细描述公知的处理步骤。
根据本发明的各种实现方式,机器人用于检测在地理位置中的用户的存在,监测在地理位置中用户执行的活动,并且向用户提供反馈。所提供的反馈是为了使得用户能够改善活动的表现和/或鼓励用户执行活动或另外的活动。在一些实现方式中,所述活动可以与锻炼例程相关,并且机器人被配置为监测用户执行来自锻炼例程中的锻炼,捕获用户执行锻炼例程中的各种锻炼的图像,并且向用户提供反馈以改善锻炼的表现。例如,可以提供反馈来改善锻炼的姿势,从而用户可以从锻炼例程中获得预期的益处。替代地,反馈可以提供锻炼例程的状态,或者向用户提供鼓励的评论以执行锻炼或锻炼例程的另外的重复,或者提供基于时间的评论,诸如“保持姿势10秒以上”等,或者提供评论以挑战用户执行来自锻炼例程的另外的锻炼,或者提供与消耗的卡路里量相关的评论,或者基于历史表现的评论,或者从一种锻炼切换到另一种锻炼。在一些情况下,取决于用户执行的锻炼的类型和/或基于用户的活动历史,反馈还可以包括针对用户的替代锻炼例程的建议。可以基于用户在他的锻炼例程中试图目标针对的身体的区域或部分来识别替代锻炼例程。在一些情况下,可以基于具有相似用户属性或兴趣的其他用户所欢迎的内容(例如,使用众包)来识别替代锻炼例程。在一些情况下,反馈可以以锻炼的实际演示的形式提供,或者可以以音频格式、视频格式或图像格式提供。可以使用机器人的适当部件来递送不同的格式。例如,音频格式可以通过扬声器部件递送,视频格式可以使用投影仪部件投影到在物理环境中识别的显示表面上,或者可以被传输(通过无线或有线通信链路)到用户佩戴的头戴式显示器(HMD),用于在HMD的显示屏上呈现,或者可以被呈现到机器人的显示屏上。在完全清晰的仿人机器人的情况下,所述机器人甚至可以演示正确的姿势。
在提供反馈之后,当用户继续他的锻炼例程时,机器人可以继续监测用户以检测姿势的变化。姿势的变化可以是由于用户基于从机器人接收的反馈来调整锻炼的姿势,或者可以是由于用户执行锻炼例程中的另一种锻炼。机器人可以四处移动以捕获用户在不同角度的姿势的变化,分析所述变化并且向用户提供另外的反馈。因此,机器人对用户来说作用就像“私人教练”,通过观察用户执行每种锻炼,使用虚拟模型验证用户针对每种锻炼提供的姿势,并且提供反馈以使得用户能够在执行锻炼时纠正他们的姿势。
尽管参考向用户提供反馈以执行锻炼例程来讨论各种实现方式,但是所述实现方式不限于锻炼例程,而是还可以被延伸以提供关于用户的任何其他观察到的活动的反馈。通过本发明的概述,现在将参考各种附图描述各种实现方式的细节。
图1示出了根据实现方式的系统,其中机器人用于跟踪用户101的活动并且向用户101提供反馈。用户101可能对在地理位置100中执行诸如锻炼例程的活动感兴趣,并且地理位置100中与用户相关联的机器人110用于检测用户101执行锻炼例程中的各种锻炼,移动到接近用户的位置以捕获用户执行锻炼例程的图像,并且提供反馈以使用户能够在执行锻炼例程中的锻炼时改善他们的姿势。为了辅助识别用户101并且提供反馈,在一个实现方式中,机器人110可以使用网络接口通信地连接到局域网内的计算机106。通信连接可以遵循无线通信协议。计算机106可以是本领域已知的任何通用或专用计算机,其包括但不限于控制台、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板计算机、瘦客户端、机顶盒、媒体流送装置等。计算机106可以用于将地理位置中的用户101的用户属性与存储在计算机106中的对应用户配置文件进行匹配和/或识别用户101的预定活动。在一个实现方式中,计算机106本身可以是本地网络装置,诸如路由器(尽管在图1中示出了单独的路由器108),其不执行任何处理,但是便于网络流量的通过。
替代地,机器人110本身可以是联网装置,其直接连接到网络200,以经由路由器108与云系统300上的远程服务器302交互。机器人110和路由器108之间的通信连接可以遵循无线通信协议,尽管还可以设想有线通信协议。远程服务器302可以用于识别用户101和/或识别用户的预定活动。在替代实现方式中,机器人110可以通过计算机106和路由器108与远程服务器302交互。在一些实现方式中,路由器108和网络200之间的通信连接遵循有线协议,尽管还可以设想无线协议。
云系统300的服务器302可以与用户数据数据存储306交互,以将从机器人110接收的用户的用户属性与对应的用户配置文件相匹配。一旦用户101被识别,服务器302就可以查询活动数据存储304以识别用户的一种或多种锻炼例程。在一个实现方式中,可以基于用户的活动历史来识别用户的锻炼例程。在替代实现方式中,可以基于共享相似用户属性或目标的其他用户欢迎什么来识别用户的锻炼例程。例如,可以使用众包来识别锻炼例程,其中其他用户是从与用户的一个或多个社交媒体308相关联的(一个或多个)社交图308a中识别的社交联系人。在替代示例中,可以通过将用户的属性与其他用户的属性进行匹配来识别其他用户。这可能是当没有用户的活动历史时或当针对用户建议替代锻炼例程时的情况。尽管示出数据数据存储306和活动数据存储304是云系统的一部分,但是数据数据存储306和活动数据存储304的版本可以是计算机106的一部分。
用户可以通过执行明确动作来激活机器人110,诸如使用控制器(未示出)或通过头戴式显示器(HMD)(未示出)提供输入,用户可以在与计算机106交互时使用所述头戴式显示器(HMD),或者在执行明确动作时由用户佩戴所述头戴式显示器(HMD)。在一些实现方式中,HMD还可以用于即使在执行锻炼例程时用户可能未佩戴HMD时也向机器人110提供输入。在这种实现方式中,HMD可以充当另一个输入装置,所述另一个输入装置可以用于向机器人和计算机106提供输入。在一个实现方式中,控制器和HMD通信地连接到机器人110,其中机器人110和控制器HMD之间的通信连接遵循无线或有线通信协议。在替代实现方式中,HMD和控制器可以通过计算机106通信地连接到机器人110。在又一个实现方式中,HMD、控制器和机器人110都可以是联网装置,所述联网装置连接到网络200以与云系统300中的服务器302通信,并且此类到网络的连接可以是有线或无线的。
由机器人110解译从HMD或控制器或任何其他输入装置提供给机器人110的输入,以执行某些动作,诸如当用户执行某些活动(诸如来自锻炼例程中的锻炼)时,检测地理位置中的用户并且移动到观察用户的位置。在替代实现方式中,由用户提供的输入可以包括使用键盘或鼠标或与计算机106相关联的其他输入装置提供的语音命令或输入,所述计算机106通信地连接到机器人110,或者通过手势或通过与计算机106或机器人110相关联的监视器107的触摸屏提供的其他输入。在一些实现方式中,通过键盘或其他输入装置提供的输入可以包括用户识别符,所述用户识别符对照本地存储在机器人110或计算机106中或远程存储在云系统300中的服务器302上的用户配置文件来验证。
在替代实现方式中,代替从用户接收输入(包括用户识别符),机器人110可以通过一个或多个传感器检测在部署机器人110的地理位置中的用户的存在,使用机器人110的一个或多个传感器来捕获一个或多个用户属性,并且使用捕获的用户属性来验证用户。例如,机器人110的传感器被配置为捕获用户的生物统计数据,并且使用所述生物统计数据来识别用户。可以通过将捕获的生物统计数据与存储在用户配置文件中的用户的用户属性进行匹配来识别用户。将参考图3讨论用于捕获不同生物统计数据的各种传感器的更多细节。在这些替代实现方式中,机器人自动地检测在地理位置中的用户的存在并且在不从用户接收明确的动作或输入信号的情况下验证用户的身份。在一个实现方式中,可以使用存储在机器人110或计算机106中的用户的用户配置文件在本地完成用户验证。在替代实现方式中,可以通过将为用户捕获的用户属性通过路由器108和网络200转发到远程服务器302,并且允许服务器302使用存储在服务器上的用户配置文件来验证用户的身份来远程完成用户验证。
除了使用机器人110中的传感器捕获用户的用户属性之外,机器人110还可以接合一个或多个图像捕获装置(例如,外部相机)109以捕获用户的图像以进一步验证用户。在一些实现方式中,机器人110可以在地理位置中检测到用户的存在时,生成并且转发信号以激活分散在地理位置中的一个或多个外部相机109。来自机器人110的信号可以直接传输到外部相机109(即,无线通信),或者可以通过通信地连接(即,有线或无线通信)到外部相机109的计算机106传输。响应于所述信号,外部相机109捕获用户的图像,并且使用无线通信协议将捕获的图像传输到机器人110。机器人110可以使用由传感器捕获的用户属性和由一个或多个外部相机109捕获的用户的图像来验证用户。在一个实现方式中,机器人可能先前已经与特定用户相关联,并且验证是为了确保检测到的地理位置中的用户是先前与机器人相关联的特定用户。在另一个实现方式中,机器人可以与在地理位置中检测到其存在的新用户相关联,并且验证是为了确保新用户是操作机器人110或与机器人110交互的授权用户。在这种实现方式中,机器人110与新用户的关联可以是基于时间的,并且只要在地理位置中存在所述用户,所述关联就保持不变。
一旦用户的身份被验证,机器人110就可以监测用户以确定用户是否参与任何活动。或者替代地,机器人可以识别并且检索为当前时间计划的用户的活动。机器人可以基于来自用户的命令来检索活动,或者可以自动地检索活动,并且此类检索可以基于用户的时间表。在一个实现方式中,可以从机器人110中或计算机106中的本地存储装置或从服务器302上的远程存储装置检索针对用户计划的活动。可以基于用户的活动历史、基于日历条目等来确定在当前时间针对用户计划的活动。基于针对用户检索的所计划的活动,机器人可以识别用户当前所计划执行的锻炼例程,并且可以确定用户在执行与锻炼例程不同的锻炼时应保持的姿势。可以从针对锻炼生成的虚拟模型中识别不同锻炼的姿势。机器人110然后可以将其自身定位在接近用户的地理位置中的一个或多个区域中,从而机器人可以能够捕获用户执行锻炼例程中的锻炼的图像。用户执行锻炼的图像可以与一个或多个虚拟模型进行比较,并且机器人110内的人工智能(AI)逻辑可以用于向用户提供反馈。
图1A至图1F识别了在地理位置中监测用户的动作时的机器人的角色。在一个实施方案中,通过跟踪由机器人中的一个或多个信号发射装置发射的信号在地理位置中检测机器人的存在。地理位置可以是室内区域,诸如房屋、办公楼、博物馆等,并且可以使用室内地理位置跟踪技术来确定在此类地理位置内机器人的存在。例如,在一些实施方案中,由信号发射装置发射的信号是Wi-Fi信号,并且可以基于Wi-Fi信号的强度来确定机器人相对于地理位置传感器的位置。在一些实施方案中,当在地理位置中有一个以上的地理位置传感器可用时,可以基于通过地理位置传感器检测到的发射信号,使用三角测量技术来确定机器人的位置。一旦在地理位置中检测到机器人,就可以使用机器人中的传感器来确定用户的存在和动作。图1A至图1C示出了机器人检测到机器人所在的地理位置中的一个或多个用户的存在的一些示例。
如图1A所示,用户101正坐在椅子上并且观察监视器107上呈现的内容。监视器可以是计算机106的显示部分,或者可以是连接到计算机106的电视监视器。安装在机器人110上的相机捕获用户101(如指向坐在椅子上的用户的虚线对所示)和监视器107的图像。这些图像可以在计算机106处本地处理或经由网络200远程发送到服务器302。
图1B示出了机器人110监测在地理位置(例如,房间)中用户的移动并且捕获用户的图像。如在图1A中,由机器人捕获用户101的图像和呈现内容的监视器107的图像。如图所示,机器人已经检测到用户的位置(从坐着的位置到站立的位置)和位置(从更靠近监视器107的椅子)的变化。机器人110使用安装在机器人110上的一个或多个捕获装置来记录对用户的位置和位置变化的检测。机器人110移动到允许机器人110捕获用户和监视器107的图像的区域。本文应注意的是,机器人不必从单个位置捕获多个感兴趣的对象(例如,在这个示例中,用户和电视监视器)的图像,如图1B所示,而是可以通过移动到不同的位置来拍摄。
图1C示出了替代示例,其中机器人110检测地理位置中的第二用户101a,监测用户101和第二用户101a的动作,并且将其自身适当地定位在地理位置中以捕获用户101、第二用户101a和监视器107的图像,并且将捕获的图像传输到计算机106进行处理。尽管示出机器人110从单个位置捕获用户101、第二用户101a和监视器107的图像,但是可以将机器人110移动到不同的区域/位置,以便从不同角度或视角捕获感兴趣的所有对象、用户的图像。对捕获的对象、用户的图像进行分析以确定对象、用户的各种属性和方面。
图1D至图1F示出了其中机器人110四处移动以捕获用户101的图像的一个这种实现方式。除了机器人移动到不同位置之外,机器人110还可以在地理位置中在用户四处移动的区域上部署诸如四旋翼无人机的无人机121,以便从上方捕获用户101的图像。无人机121包括用于捕获用户的图像的一个或多个传感器。如图1D所示,机器人110定位在用户101的前方,并且在用户执行活动时捕获用户101的(一个或多个)图像,并且无人机121被部署成在地理位置中悬停在用户上方。当用户101继续执行活动时,机器人110移动到用户的右侧,以从不同的视角捕获用户101的(一个或多个)图像,如图1E所示。机器人110在用户执行半蹲时捕获用户的图像。无人机121当执行活动时检测到用户的位置或姿势的变化时,可以继续在相同位置悬停在用户101上方,或者无人机的位置可由机器人中的AI逻辑来调整,以便在用户执行活动时继续捕获用户的图像。例如,无人机的位置可以被调整为悬停在右上侧或左上侧或后上侧、前上侧或任何其他位置,以便在用户执行活动时获得用户的良好视图。
当用户继续执行活动时,机器人110四处移动到用户的左侧并且捕获用户的图像,如图1F所示,而无人机继续悬停在相同的位置或调整的位置。在一些实现方式中,仅使用无人机121来捕获用户的图像。在这种实现方式中,调整无人机121的位置以捕获用户的姿势。在替代实现方式中,仅使用机器人来捕获用户的图像。在其他实现方式中,如图1D至图1F所示,结合使用机器人和无人机两者来捕获用户执行活动的图像。这些图像被转发到计算机106进行处理。在一些实现方式中,机器人本身可以处理捕获的图像并且识别用户执行的锻炼或活动。在替代实现方式中,机器人可以将图像转发到通信地联接到机器人或网络的计算机,以向前传输到云系统以供服务器302处理。因此,机器人110在地理位置中检测到用户的移动,并且将其自身定位在地理位置中的适当位置,以监测并捕获用户的图像,然后对所述用户的图像进行处理以向用户提供反馈。
图2a至图2g示出了机器人的一些示例设计实现方式。机器人110包括主体,所述主体安装在轮或踏面或任何其他可移动结构上。主体包括安装在轮或踏面或其他可移动结构上的底部结构110a和设置在底部结构110a上方的顶部结构110b。底部结构110a用于容纳机器人的各种零件,所述机器人的各种零件用于执行各种功能,诸如感测用户的存在、捕获用户的用户属性、检索用户配置文件数据、映射部署机器人的地理位置、移动机器人、执行从各种传感器获得的数据的传感器融合、处理各种数据、生成反馈等。可以容纳在底部结构110a中的机器人的一些零件包括马达驱动控制器、系统板、处理器、存储器、存储装置、AI逻辑等。底部结构110a还可以被设计成为一个或多个控制器104、一个或多个无人机等提供充电站。还可以在底部结构110a中提供一个或多个通用串行总线(USB)端口、一个或多个图像捕获装置。底部结构110a的外侧可以包括视觉指示器以使得能够在地理位置中定位机器人。
机器人110的顶部结构110b可以被设计成容纳各种传感器,例如生物传感器、接近传感器(例如,超声波传感器、运动传感器,诸如加速度计、陀螺仪、磁力计、雷达、罗盘等)、一个或多个深度传感器(例如,立体相机、数码相机等)、扬声器、传声器、投影仪等,用于捕获各种用户属性。在一些实现方式中,具有各种传感器的顶部结构110b可以被设计成沿着水平轴线旋转3600,以各种角度倾斜,并且还沿着竖直轴线移动。在一些实现方式中,各种传感器可以被设计成在使用期间从机器人110的主体向外延伸,以使传感器能够捕获机器人110正在观察的对象的各种方面。在替代实现方式中,各种传感器可以设置在底部结构110a中,其中底部结构被配置为沿着水平轴线旋转3600。此外,在一些实现方式中,机器人的底部结构110a可以被设计成竖直移动,和/或传感器被设计成从机器人110的主体向外延伸,以便能够捕获被观察对象的不同视图。在一些其他实现方式中,各种传感器或另外的传感器可以被设计成容纳在无人机(诸如四旋翼)中,所述无人机具有返回到机器人或直接到网络的无线链路。
图2a示出了机器人110的一个示例设计实现方式,其中底部结构提供在安装在轮上的托架上。轮基部可以是任何形式,包括沿着托架的周边均匀地分布的轮、麦克纳姆轮、踏面等。底部结构是箱形的。顶部结构110b也被示出为箱形,其具有一个或多个传感器111a-111c,所述传感器111a-111c沿着顶部结构110b的外周边分布在水平面中。所述实现方式不限于传感器沿着任何单个平面的分布,而是可以包括其他分布配置,包括机器人的竖直平面、对角线、内部底部或顶部结构等。
图2b示出了机器人110的另一个示例设计实现方式,其中安装在轮基部上的底部结构110a被配置为沿着水平轴线旋转。底部结构110a是箱形的,并且包括安装在外侧上的一些传感器。顶部结构110b是圆顶形的,其上安装有水平的传感器条。在一些实现方式中,底部结构110a可以被配置为顺时针旋转,而顶部结构可以被配置为逆时针旋转。在另一个实现方式中,顶部结构110b可以被配置为沿着竖直轴线移动以及径向旋转,以允许接收在其中的传感器捕获不同的视图或检测被观察对象的不同运动,而底部结构110a可以被配置为沿着水平轴线径向移动。
图2c示出了机器人110的另一个示例设计实现方式,其中底部结构是安装在轮基部上的细长箱,并且顶部结构110b被设计成沿着水平轴线以及竖直轴线径向移动。在所述实现方式中,传感器被示出为沿着顶部结构110b的外侧设置。在替代实现方式中,传感器还可以沿着底部结构110a的外侧设置。所述实现方式不限于位于外侧上的传感器,而是可以设置在机器人中的任何地方,以捕获视图或检测感兴趣的对象的移动。底部结构110a的高度可以提供优于较短机器人的优点,因为机器人可以能够延伸得更高,并且可以能够从更高的水平捕获图像或运动。在一些实现方式中,传感器可以被配置为向外延伸,以允许传感器从不同角度捕获感兴趣的对象的图像或运动。
图2d示出了机器人110的另一个示例设计实现方式,其中顶部结构110b包括圆形下部部分和矩形上部部分。圆形下部部分和矩形上部部分都包括分布在外侧上或内部的传感器,以捕获感兴趣的对象的视图和/或移动。如同图2b的示例设计,圆形下部部分和矩形上部部分都可以被设计成沿着水平轴线径向旋转和/或沿着竖直轴线移动。可以控制沿着水平轴线的旋转,以致使上部部分以不同于下部部分的速度旋转。
图2e示出了机器人110的另一个示例设计实现方式,其中底部结构110a设置在托架上,所述托架安装在轮上。顶部结构被分成两个竖直部分。在一个实现方式中,底部结构被配置为沿着水平轴线旋转。顶部结构的两个竖直部分可以各自包括沿着外侧或内侧设置的多个传感器,并且可以被单独或共同地控制以沿着水平轴线移动。在一些实现方式(未示出)中,两个竖直部分还可以被配置为沿着竖直轴线移动。
图2f示出了机器人110的另一个示例设计实现方式。在所述实现方式中,底部结构110a安装在轮上,并且顶部结构110b设置在底部结构110a上方。在图2f所示的实现方式中,机器人容纳两个控制器,所述两个控制器以臂的形式设置。控制器可以与机器人110分离,并且由用户用来向计算机106或机器人110提供输入。在这种实现方式中,机器人110可以用于通过在底部结构110a中提供充电站来给控制器充电。在一些实现方式中,控制器可以是可由机器人单独移动的移动控制器,或者被配置为向计算机提供一些输入的任何其他类型的控制器。在另一个实现方式中,代替控制器,可以在底部结构110a处提供一个或多个相机或投影仪。相机可以向外延伸以从各种角度捕获感兴趣的对象的图像或移动,并且相机的设置为捕获此类图像或移动提供足够的灵活性。类似地,可以在机器人的主体中提供投影仪。投影仪可以用于投影由设置在机器人110上的各种相机捕获的对象的图像,或者将其他图像投影到在机器人110附近的地理位置中识别的显示表面上。示例实现方式不限于控制器或相机或投影仪,而是还可以延伸到其他传感器。
图2g示出了机器人110的示例实现,其示出了用于执行机器人110的各种功能的一些部件。机器人110包括轮基部,所述轮基部附接到轮或踏面。在一些实现方式中,轮基部可以是允许机器人110充电的充电基部。机器人110包括在底部结构110a中的马达驱动控制器112。例如,马达驱动控制器112连接到轮中的每个,并且还通信地联接到控制器/系统板114。在机器人110包括踏面而不是轮的情况下,马达驱动控制器112连接到踏面。在一些实现方式中,控制器114由人工智能(AI)逻辑驱动。基于AI逻辑,控制器114与马达驱动控制器112通信,以使机器人在地理位置中四处移动。类似地,控制器114控制通信地联接到控制器114的机器人110的一个或多个相机和/或其他传感器的移动或功能。例如,由控制器114生成的信号可以控制一个或多个相机沿着竖直轴线和/或水平轴线的移动,以使得相机能够捕获用户的移动、用户和/或地理位置中的真实世界环境中的对象的图像。控制器114还包括通信接口,所述通信接口用于经由路由器经由网络与计算机106或云系统通信,以便交换数据。在机器人中提供一个或多个传声器116和一个或多个扬声器118以接收音频数据或提供音频评论。由传声器阵列捕获的声音可以被处理以识别声源的位置。可以选择性地利用或处理来自识别位置的声音,以排除不是来自识别位置的其他声音。传感器(包括机器人内部的音频和运动传感器),用于检测环境中的声音和移动。数据用于确定声音或移动的方向,并且对声音或移动起源的区域进行三角测量。
机器人110中的处理器分析由一个或多个相机捕获的地理位置中的对象的图像,并且使用诸如视觉同步定位和映射(vSLAM)的技术来映射出地理位置中的空间。相机可以包括多个图像捕获装置(例如,立体相机对)、IR相机、深度相机或其任意组合。基于映射的空间并且基于从音频和运动传感器获得的数据,处理器可以对地理位置(其中部署机器人110)中的源自声音或移动的地方的区域进行三角测量。然后,控制器可以向驱动控制器发出信号,以遵循声音或移动,并且将机器人110移动到声音发出的区域或至少接近声音发出的区域,并且捕获发出声音的对象(诸如用户)的图像。在一些实现方式中,地理位置中的空间可以被映射以生成二维地图,所述二维地图识别机器人的移动边界(地理围栏)。然后使用二维地图来引导机器人110的移动。引导机器人110可以包括识别机器人110在地理位置中识别的真实世界对象周围的移动路径。在其他实现方式中,地理位置中的空间可以被映射以生成识别地理位置移动的体积的三维地图。在这种实现方式中,相机可以被附接到无人机,并且从机器人110部署的无人机响应于来自控制器114的信号来捕获地理位置中的空间体积。在替代实现方式中,可以通过向上延伸一个或多个相机来捕获空间体积,从而相机足够高以捕获地理位置的体积。使用地理位置中的空间的二维地图或三维地图,识别用于移动机器人或无人机的路径。在接近传感器的帮助下,操纵机器人110或无人机移动到接近感兴趣的对象(例如,用户)。在一些实现方式中,机器人可以从用户佩戴的HMD接收信号,其中HMD通信地联接到机器人110。在这种实现方式中,由HMD产生的信号可由机器人110的一个或多个传感器(运动传感器、接近传感器等)检测,分析以基于映射的空间和传感器数据来识别HMD的位置以及佩戴HMD的用户的位置,并且机器人在佩戴HMD的用户附近移动。在一些实现方式中,响应于检测到由HMD产生的信号,机器人可以产生信号以将通信地联接到机器人110的无人机121操纵到接近用户的位置,以便捕获地理位置中的用户的(一个或多个)图像。
一旦机器人110和/或无人机121处于接近用户的位置,来自控制器114的信号就指示机器人110和/或无人机121的一个或多个传感器捕获用户的图像或生物统计数据,诸如面部特征、指纹、手部几何形状、语音波、DNA或签名、手势、命令等,并且使用捕获的图像或生物统计数据来识别用户。在一些情况下,可以捕获的面部特征包括视网膜和虹膜图案、耳垂几何形状、面部轮廓、注视方向等。例如,由机器人110的处理器分析捕获的生物统计数据或(一个或多个)图像以识别一个或多个用户属性,所述一个或多个用户属性然后被用于基于缓存在机器人110的存储器中的信息来识别用户,或者可以被发送到计算机106或云系统以用于识别用户。
一旦用户被识别,机器人110的处理器就可以查询活动数据存储或活动调度程序(例如,识别活动时间表的活动日历等),以识别用户当前执行或计划执行的活动。基于所计划的活动,与AI逻辑相关联的控制器可以向适当的传感器发送信号以在用户执行活动时捕获用户的图像并且生成针对活动的反馈。
在一个实现方式中,图3示出了AI逻辑内的一些模块,这些模块用于识别用户并且向用户执行的活动提供反馈。在一个实现方式中,图3示出了AI逻辑内的一些模块,这些模块用于识别用户并且向用户执行的活动提供反馈。在机器人110中提供AI逻辑,以识别用户,确定用户参与执行的活动,导航接近用户的机器人,以便观察用户执行活动,生成适当的反馈等。在一些实现方式中,机器人110中的AI逻辑可以与云系统上的另外的AI逻辑通信,以执行其他功能。例如,机器人110中的AI逻辑可以用于学习环境、映射空间、识别空间中的不同真实世界对象、确定可由机器人110访问的区域,以及基于所映射的空间来调整机器人的位置。
机器人110中的AI逻辑还可以捕获用户的生物统计数据,并且基于存储在其存储器中的信息来识别用户,或者将数据发送到云中的AI逻辑以识别用户。
机器人的AI逻辑114包括各种模块,用于辅助机器人的各种功能。一些模块包括用户识别器模块111、活动识别器模块113、动态定位模块115、模型构建器模块117、虚拟模型检索器模块119和反馈生成器模块121,仅举几例。以上模块列表不应被视为详尽的,并且AI逻辑内也可以包括其他模块。用户识别器模块111用于识别机器人110所在的地理位置的用户。用户识别器模块111接收通过机器人的各种传感器捕获的数据和/或通过输入装置提供的输入数据,并且分析所述数据以识别用户。从传感器捕获的数据可以包括生物统计数据,包括面部特征、语音、命令、手势等。另外,附着于身体的传感器(诸如心率监测器或脉搏血氧计)可以提供另外的数据,用于分析和反馈。在此类情况下,机器人中的传感器被配置为接收来自附于身体的传感器的信号,另外的数据提供信号以传输另外的数据用于分析和反馈。
输入数据可由用户通过一个或多个输入装置提供,诸如键盘、鼠标、控制器、触摸屏、HMD等。作为分析的一部分,用户识别器模块111识别用户属性,所述用户属性然后与存储在机器人110的本地存储器中或计算机106上或云系统300上的用户配置文件相匹配。在一个实现方式中,检索匹配的用户配置文件,并且将用户配置文件的一部分加载到机器人。用户配置文件的加载将机器人与用户相关联。在一个实现方式中,与一个机器人相关联的用户配置文件可以传送到连接到同一网络(局域网、广域网、云网络等)的另一个机器人。在替代实现方式中,可以将机器人的关联从一个用户切换到另一个用户。在这种实现方式中,机器人不与单个用户相关联,而是可以与在地理位置中检测到的任何用户相关联,并且新用户的用户配置文件的加载将机器人与新用户相关联。例如,如果在地理位置中检测到一个以上用户,则机器人可以对用户进行优先排序,将优先用户的用户偏好与用户配置文件进行匹配,并且通过将优先用户的用户配置文件加载到机器人上来将用户与优先用户相关联。在替代实现方式中,用户配置文件的匹配可以是验证在地理位置中检测到的用户是与机器人相关联的用户。在一些实现方式中,即使当机器人与用户相关联时,机器人也可以能够加载另一个用户的用户配置文件。例如,当在地理位置中检测到第二用户时,机器人中的AI逻辑可以比较与机器人相关联的用户和第二用户的优先级。如果第二用户具有较高的优先级,则机器人可以将第二用户的用户属性与用户配置文件进行匹配,并且加载第二用户的用户配置文件,从而机器人现在可以与第二用户相关联。通过将用户的用户配置文件加载到机器人上,机器人的AI逻辑114可以了解用户的个性、偏好、时间表等,并且根据用户的偏好提供内容。另外,用户可以选择个性化来定制机器人,以反映用户的偏好,诸如机器人的语音和用于具体应用的教学风格,诸如针对身体健身应用的“训练营”对“瑜伽”风格等。此类用户定制可以更新为用户配置文件,并且在机器人与用户关联期间被使用。
在一些实现方式中,活动识别器模块113被配置为通过使用来自用户配置文件的用户识别符查询在机器人110处或计算机106处本地可用或在云系统300处远程可用的活动数据存储来识别用户在当前时间的活动。活动数据存储维持由每个用户在一段时间内执行的活动的历史,并且从历史收集的信息被用于确定在任何给定时间用户所计划执行什么活动。例如,活动识别器模块113可以识别用户所计划执行的锻炼例程,并且还可以识别用户必须做的或先前已经做的重复数量、特定当日要遵循的循环训练、个人最佳成绩以及历史计时和持续时间等,并且从活动历史中提取此类信息。在替代实现方式中,活动识别器模块113可以从用户接收指示用户执行活动的指令或命令,并且所述指令可以识别用户打算执行的活动的类型(例如,仰卧起坐、俯卧撑、引体向上、开合跳、伸展、腿部弯曲、下蹲、腿部抬高、原地慢跑、跑步机、沙袋等)和用户预期在当前时间执行的重复数量。活动识别器模块113记录指令并且查询在机器人或计算机106本地可用或在云系统300远程可用的活动数据存储,以获得作为用户预期执行的锻炼例程的一部分的锻炼的细节。在另一个实现方式中,用户可以仅指示机器人识别用户在特定当日必须执行的锻炼,并且活动识别器模块113可以访问活动历史以了解用户当前执行哪种锻炼例程或循环训练。在又一个实现方式中,可以指示机器人建议用户针对特定身体部分为目标的锻炼例程,并且活动识别器模块113可以访问用户的社交图或使用众包来识别受用户的社交联系人或共享相似用户属性或健身目标的其他用户欢迎的锻炼集合(即,针对所识别的身体部分为目标)。
锻炼例程中的锻炼的细节被传递到动态定位模块115。动态定位模块115等待用户开始来自锻炼例程中的锻炼。当机器人检测到用户已经开始他的锻炼时(基于由机器人的各种传感器(诸如运动传感器、接近传感器等)捕获的数据),动态定位模块115将向控制器提供信号以控制马达驱动控制器将机器人110移动到接近用户的一个或多个区域,从而由来自动态定位模块115的信号激活的传感器可以能够捕获用户执行锻炼的图像。为了识别接近用户的区域,动态定位模块115的地理空间映射器模块115a使用由各种图像捕获装置和传感器捕获的图像来映射地理位置中的空间(以二维格式或三维格式)。然后,动态定位模块115使用映射的空间来识别用户处于地理位置的(一个或多个)区域、真实世界对象所在的区域(如果有的话)、机器人当前所处的区域、可以将机器人移动以获得用户执行锻炼的视图的用户周围或接近的区域、以及从机器人当前位置到接近用户的区域的路径。可以基于用户执行的锻炼的类型来识别接近用户的区域,并且可以从一种锻炼改变到另一种锻炼。在一些实现方式中,当动态定位模块115不能识别接近用户移动的区域时,动态定位模块115可以向用户发出请求信号,请求用户从接近用户的区域移动一个或多个真实世界对象,从而机器人可以移动到接近用户的位置或接近接近用户的区域,以捕获用户执行锻炼的图像。请求信号可以以音频格式、视频格式或图像格式提供。视频格式或图像格式可以呈现在用户附近的呈现表面上,或者可以呈现在与通信地连接到机器人的计算机相关联的显示屏上,或者如果用户佩戴HMD,可以呈现在HMD的显示屏上,或者可以呈现在机器人本身的显示屏上。机器人到所识别的区域的移动由机器人的接近传感器和其他运动传感器辅助,从而机器人不会碰撞到任何对象或人。
一旦机器人移动到(一个或多个)位置中,模型构建器模块117向控制器发送信号,以操作机器人中的各种传感器以在用户执行锻炼时捕获用户的图像。在一些实现方式中,当用户执行锻炼时,机器人可以移动到用户附近的多个区域以从各种角度捕获由用户保持的姿势的图像。这类似于私人教练四处移动以监视用户的(一个或多个)姿势。由各种传感器捕获的姿势的图像被用于构建用户的模型。在一些实现方式中,模型构建器模块117可以通过跟踪用户身体的各个肢体或部分的位置、运动、持续时间、角度、方向、速度、加速度、身体的枢轴点、身体的质心、具体肌肉的收缩等来识别用户的各种取向角度,并且机器人的各种相机和传感器可以被定位以捕获图像和传感器数据中的这些细节。在一些实现方式中,由相机和传感器捕获的图像和传感器数据可以用于确定用户何时感到疲劳或不舒服(基于面部发红、脉搏跳动、心跳等)并且指导用户安全。模型构建器模块117接合传感器融合模块117a,来自传感器的数据和来自相机的图像被馈送到传感器融合模块117a。图3A示出了一种这种表示,其中AI逻辑114的传感器融合模块117a接收来自各种传感器(运动传感器、接近传感器、相机、图像捕获装置等)的数据作为输入、处理所述数据并且输出所述用户的一个或多个模型。例如,传感器融合模块117a中的逻辑处理数据以生成用户在执行锻炼时保持的姿势的模型。针对单个姿势生成的模型可从不同角度或视点识别姿势。在一些实现方式中,模型是基本上实时生成的。在一些实现方式中,所生成的模型是基本上模拟由用户保持的姿势的骨骼轮廓的人物线条模型。人物线条模型包括表示各种枢轴点的点和表示枢轴点所在的肢体或身体部分的线。在其他实现方式中,生成的模型是动画的粘图模型或三维模型、代表性模型等。
一旦生成了用户执行活动(即锻炼)的模型,虚拟模型检索器模块119就通过AI逻辑参与来识别用于锻炼的虚拟模型。然而,虚拟模型类似于生成的用户模型的模型表示,然而,虚拟模型识别针对每种锻炼需要保持的正确姿势。可以针对锻炼识别一个或多个虚拟模型,其中每个虚拟模型从具体角度表示锻炼的正确姿势。正确的姿势还可以基于用户从新手到专家的进度或基于诸如年龄、体重和身材的其他因素而变化。
反馈生成器模块121然后使用所识别的用于锻炼的(一个或多个)虚拟模型并且从用户在执行锻炼时的用户的姿势的(一个或多个)捕获图像生成的(一个或多个)模型,以在用户执行锻炼时提供动态反馈。在一个实现方式中,反馈生成器模块121将生成的用户的(一个或多个)模型与对应的(一个或多个)虚拟模型进行比较。基于所述比较,反馈生成器模块121生成识别两个模型中的差异的反馈。在一些实现方式中,所生成的反馈可以包括基于检测到的位置差异来纠正姿势的指令,或者可以在用户执行锻炼时提供令人鼓舞的提示以纠正用户的姿势。例如,查看在模型中捕获的用户的姿势,反馈生成器模块121中的AI逻辑可以指示用户向下推得更多、伸展手臂或膝盖、伸直他的腿或手臂等。除了提供有用的提示来纠正姿势之外,AI逻辑还可以查看用户的活动历史并且提供先前执行的重复的状态,同时鼓励用户执行另外的重复。它可以突出显示进步、个人最佳表现、姿势保持的持续时间等。用户评论或身体状态由AI逻辑记录,并且可以根据接收到的评论或身体状态来调整反馈。动态反馈还可以提供其他用户遵循的相同锻炼例程的状态,并且提供关于如何改善用户自身表现的指令。在一些实现方式中,AI逻辑可以使用来自众包的信息来确定由不同用户遵循的不同锻炼序列,确定从活动历史中获得的用户先前执行的锻炼例程的状态,并且相应地为用户定制锻炼例程。
AI逻辑继续通过调整其位置来监测用户的活动,以便在用户参与锻炼例程时获得更好的用户视角。当用户进行到锻炼例程中的下一锻炼时,AI逻辑捕获姿势的变化,适当地识别虚拟模型,将针对用户生成的模型与虚拟模型进行比较,并且动态地向用户提供反馈以改善用户的姿势。
图4示出了实现方式的简化数据流程图。当机器人在地理位置中检测到用户的存在时,数据流开始。在地理位置中的用户的存在激活AI逻辑,AI逻辑然后通过激活机器人的各种传感器和相机来跟踪用户的移动。激活的传感器和相机在用户执行活动(锻炼(例如,开合跳锻炼))时捕获用户的图像。然后,AI逻辑通过合并从各种传感器接收到的数据来执行传感器融合,并且构建用户在执行锻炼时保持不同姿势的一个或多个模型。AI逻辑然后查询虚拟模型的数据库,以识别用于锻炼例程的虚拟模型。然后,AI逻辑检索用于锻炼的一个或多个虚拟模型,并且将检索到的虚拟模型与根据用户的姿势生成的(一个或多个)模型进行比较,并且生成反馈。反馈可以是图像的形式,所述图像识别用户需要纠正姿势的区域。用于纠正姿势中的任何错误的图像被提供用于在电视监视器上或经由HMD呈现。在一些实现方式中,可以在图像中突出显示错误,并且以文本格式或音频格式提供必要的纠正。替代地,可以以音频格式或视频格式提供反馈,以鼓励用户执行另外的锻炼或相同锻炼的另外的重复等。
图5A至图5D示出了针对用户的各种姿势生成的一些样本模型、对应的虚拟模型、以及提供给用户以改善其姿势的反馈。图5A示出了机器人从其观察并且捕获用户执行姿势(诸如俯卧撑)的图像的各种位置(区域A、B、C)。将机器人捕获的图像与虚拟模型进行比较,并且识别差异1和2。然后,AI逻辑以音频格式或图像格式提供反馈。在一些实现方式中,AI逻辑可以提供识别需要被纠正的用户身体(一个或多个)部分的差异的视频表示。在以图像或视频格式提供反馈的一些实现方式中,可以将针对锻炼识别的虚拟模型叠加在用户的模型上,并且突出显示或以其他方式识别必要调整的必要身体部分。在一些实现方式中,图像反馈还可以伴随有音频反馈。在机器人是仿人形式的某些实现方式中,反馈还可以包括机器人演示正确的姿势。
图5B示出了当用户执行锻炼例程中的另一种锻炼时生成的用户的示例模型。在所述示例中,用户执行下蹲。AI逻辑可以识别姿势中的差异(由虚线圆圈3表示),并且可以以音频、图像或视频格式提供适当的反馈。图5C示出了用户执行身体平板支撑并且前进到肘部平板支撑的示例模型。当用户执行这两种锻炼时,AI逻辑可以动态地将其自身定位在各种策略位置以捕获用户的姿势,并且使用捕获到的姿势来识别差异(由虚线圆圈4、5、6和7表示)并且提供反馈,从而用户可以纠正差异。图5D示出了用户执行一组锻炼的另一个示例模型。在所述实现方式中,可以以视频格式提供反馈,突出显示用户的姿势并且从虚拟模型获得的姿势之间的差异。视频的音频部分可以提供用户需要针对所述一组锻炼采取的纠正动作。在一些实现方式中,AI逻辑可以识别用于执行锻炼的预定义的教学视频或教学音频,并且将所述教学视频或音频作为反馈呈现给用户以供遵循。
在一些实现方式中,机器人中的AI逻辑足够清晰,能够向控制器发送信号,以激活机器人的一些部分,从而演示正确的技术。在其他实现方式中,AI逻辑可以将反馈传输到用户的HMD,从而执行锻炼的用户能够观察锻炼的正确姿势并且执行锻炼。在一些实现方式中,可以在佩戴HMD的用户开始执行锻炼之前将正确的姿势传输到用户的HMD,从而用户可遵循所述指令且适当地执行锻炼。例如,在机器人确定用户所计划执行的锻炼例程之后,并且在检测到用户执行锻炼例程中的第一锻炼之后,可以将锻炼例程中的后续锻炼投影给用户,从而用户可以遵循正确的技术。在一些实现方式中,AI逻辑可以在用户锻炼时提供音乐。可以选择音乐来匹配健身例程。AI逻辑还可以在以音频格式提供反馈时,或者当用户向机器人提供指令时,降低音乐的音量,然后一旦提供反馈或指令就提高音量。
因此,AI逻辑从与用户的各种交互动态地学习并且指导用户通过各种健身例程来改善用户设置的身体健身目标。另外,AI逻辑能够基于用户的历史和当前表现定制训练课程、通过与用户的线上组织者执行交互来理解用户的线上时间表,以及使用线上时间表来基于用户的时间表限制或延长锻炼例程、跟踪用户的日常目标、提供实现日常目标的鼓励消息,以及将结果保存在存储器或服务器上。另外,AI逻辑可以使得能够与使用相应机器人的其他用户竞争,作为用户之间的友好线上竞争,建议具有相似健身目标的其他用户或朋友一起锻炼,等等。
图6A示出了在一个实现方式中,用于在身体训练期间使用机器人来辅助用户的方法的操作。所述方法在操作610处开始,其中机器人检测在部署机器人的地理位置中的用户的存在。可以基于来自用户的声音或移动来检测在地理位置中的用户的存在。可由机器人中的一个或多个传感器捕获用户的声音或移动。用户可以提供言语提示,诸如指令,详细说明用户希望执行哪种身体训练例程,并且此类言语提示由机器人中的传声器传感器获取。替代地,可以使用运动传感器来检测用户的移动。响应于检测到语音或移动,机器人的一个或多个传感器参与捕获生物统计数据,诸如面部特征、指纹、手的几何形状、语音波、DNA或签名、手势、命令等。分析捕获的用户生物统计数据以识别用户属性,然后使用用户属性来识别用户的用户配置文件。所识别的用户配置文件被加载到机器人,从而机器人可以与用户相关联。机器人与用户的关联允许机器人中的AI逻辑了解用户的个性、偏好、身体限制、时间表等,并且根据用户的偏好提供内容。
如操作620所示,在地理位置中检测到用户以后,AI逻辑确定用户所计划执行的活动(例如,用于身体训练的锻炼例程)。由于AI逻辑已经基于用户的活动历史了解用户在不同时间段的时间表,因此AI逻辑可以基于用户的活动历史容易地确定用户将参与什么活动。
当用户开始执行来自锻炼例程中的锻炼时,机器人中的AI逻辑将机器人移动到接近用户的一个或多个位置,同时用户执行锻炼,如操作630所示。可以通过使用由机器人的一个或多个图像捕获装置捕获的图像来映射地理位置中的空间来识别机器人可以移动到的各种位置。基于所述映射并且基于用户当前执行的锻炼的类型,AI逻辑可以确定接近用户的区域,所述区域可以提供用户在执行锻炼时保持的姿势的无障碍视图。使用所述信息,AI逻辑可以识别机器人的移动路径,并且指示控制器向马达驱动控制器生成适当的信号,以致使马达驱动控制器将机器人移动到识别的(一个或多个)区域。
一旦机器人移动到适当位置,AI逻辑可以指示控制器激活一个或多个传感器,以在用户执行锻炼时捕获用户的图像。机器人可以确定用户的肢体和身体的取向。使用所述知识,AI逻辑可以提供指令以将机器人定位在用户附近,从而机器人中的传感器可以捕获用户的此类细节。来自各种传感器的数据可以通过AI逻辑融合在一起,以生成用户的(一个或多个)姿势的(一个或多个)模型。所生成的模型可以是用户的骨骼表示,其识别出枢轴点、沿着所述枢轴点的各个肢体和身体的部分的取向角。
如操作640中所示,使用生成的模型,AI逻辑提供与针对锻炼而捕获的姿势相关的反馈,以辅助用户改善锻炼的姿势。例如,作为提供反馈的一部分,AI逻辑可以识别并且检索由用户执行的用于锻炼的虚拟模型,将生成的模型与虚拟模型进行比较,识别差异(如果有的话),并且使用机器学习算法来形成反馈并且将反馈呈现给用户。反馈可以以音频格式、视频格式或图像格式提供。在一些实现方式中,机器人可以足够清晰地演示锻炼技术或识别预先记录的教学音频或视频,并且将其呈现给用户。因此,机器人通过从不同角度(即,通过移动到不同的位置)观察用户执行锻炼并且提供反馈以辅助用户纠正他的姿势来充当私人教练,就像现场私人教练将这样做的一样。机器人还可以在执行锻炼之前或同时记录由用户提供的指令或音频提示,并且根据所记录的指令调整反馈。当用户执行各种锻炼时,机器人还可以在用户执行锻炼时提供音乐。所提供的音乐可以对应于锻炼的强度,并且随着锻炼的强度的变化,可以调整音乐以反映强度的变化。
图6B示出了在替代实现方式中使用机器人针对用户执行的锻炼例程提供反馈的方法的操作。所述方法开始于操作650,此时机器人从用户接收指令。来自用户的指令可以识别用户已经选择在当前时间执行的锻炼例程。机器人记录指令并且等待用户开始锻炼例程。机器人的一个或多个传感器参与监测用户的活动,以确定用户何时开始锻炼例程。当机器人已经检测到用户执行锻炼例程时,如操作660所示,将机器人移动到接近用户的一个或多个位置,以使机器人能够捕获由用户保持的姿势的图像,如操作670所示。在检测到用户执行来自锻炼例程中的锻炼时,机器人中的AI逻辑可以确定地理位置中接近用户的区域,并且向马达驱动控制器发送信号以将机器人移动到这些区域。机器人可以接合运动传感器、接近传感器等,以辅助机器人导航到所述区域。一旦机器人被定位在由AI逻辑识别的区域中,当用户执行来自锻炼例程中的锻炼时,传感器被引导来捕获由用户保持的姿势的图像。机器人移动到的区域和具体传感器的激活来捕获用户的姿势是由用户执行的锻炼来驱动的。例如,当用户执行俯卧撑时,机器人或其传感器中的至少一个或多个可能必须移动到靠近用户的不同区域(如图5A所示),以便从不同角度捕获姿势。当用户执行开合跳或慢跑时,机器人可能必须移动到允许机器人同时捕获各个肢体的姿势和移动的区域(例如,离用户更远的区域)。
如操作680所示,AI逻辑周期性地验证将机器人移动到的位置对于捕获用户执行锻炼的(一个或多个)图像是最佳的。作为验证的一部分,AI逻辑可以通过将机器人定位在不同位置、捕获用户的图像以及分析图像以确定图像是否适当地捕获用户的姿势来执行多个测试。作为分析的一部分,捕获的图像可以被处理以确定一些图像属性(诸如照明、分辨率、捕获角度、取向、距捕获用户的图像的位置的距离等)是否最佳。如果否,则调整机器人或一个或多个传感器的位置以影响由图像捕获装置捕获的(一个或多个)图像的图像属性。基于所述分析,AI逻辑可以确定哪些位置在用户执行锻炼时提供用户的(一个或多个)姿势的最佳视图。应注意,基于用户执行的锻炼,针对锻炼识别的位置可以保持变化,并且因此,验证可以导致机器人的动态重新定位。例如,如果用户选择慢跑作为他的锻炼例程的一部分,机器人可能必须遵循用户或沿着用户所遵循的路径移动到不同的位置以捕获图像。分析针对用户执行锻炼捕获的图像,并且向用户提供反馈。执行所述分析包括构建所述用户的模型表示,并且将所述模型表示与可用于所述锻炼的虚拟模型进行比较以识别任何差异。AI逻辑可以使用其机器学习算法来针对用户制定适当的反馈,并且可以提供这种反馈来与通过比较识别的任何差异相关联。例如,当执行锻炼时反馈可以包括调整身体不同部分的取向的指令(例如,伸直你的手臂,伸展你的腿,抬起你的背部,以900折叠你的手臂等)。当通过两个模型的比较未识别出差异时,可以提供反馈来鼓励用户执行另外的锻炼,或者锻炼的另外的重复等。在一些实现方式中,AI逻辑还可以保持跟踪用户已经执行的锻炼的类型和数量,并且向用户提供锻炼例程的状态,其中鼓励评论激励用户完成锻炼例程。在一些实现方式中,可以使用手语来提供反馈,或者可以以用户本地的任何语言来提供反馈。在一些实现方式中,AI逻辑可以向用户提供可选的机器人个性。例如,选项可以包括严格的“训练营”风格的个性和放松的“瑜伽”风格的个性。另外的选项可以包括使用男性语音对女性语音的选项。
在提供反馈之后,机器人继续监测用户以确定是否检测到姿势的任何变化,如操作690所示。姿势的变化可以是用户遵循反馈中提供的指令来纠正姿势的结果,或者可以是用户继续进行在锻炼例程中的其他锻炼的结果。当检测到姿势变化时,如操作700所示,AI逻辑感测所述变化,并且发送信号以动态地调整机器人的位置以捕获姿势变化的图像,如操作710所示。这可以包括将机器人移动到不同的区域,或者从机器人的当前位置继续捕获姿势的图像。AI逻辑分析捕获到的姿势变化,并且提供另外的反馈,如操作720所示。作为分析的一部分,AI逻辑动态地构建表示变化的模型,确定姿势的变化是针对相同的锻炼还是针对不同的锻炼,并且将新构建的用户的模型与适当的虚拟模型进行比较以提供反馈。提供反馈以允许用户改善他们的姿势以获得锻炼例程的最大益处。
在另一个实现方式中,机器人可以用于“远程呈现模式”中。在所述实现方式中,机器人用于捕获用户执行来自锻炼例程中的锻炼的图像。捕获的图像然后被转发到远程定位的用户,诸如远程专业教练。远程定位的专业教练能够观察捕获的图像并且从远程位置向用户提供反馈。可以同步地或异步地提供反馈。在所述实现方式中,AI逻辑用于将机器人或通信地联接到机器人的无人机接近用户定位,以便捕获用户执行锻炼的(一个或多个)图像,并且将从远程定位的用户接收的反馈传达给执行锻炼的用户。
在一种实现方式中,描述了一种使用机器人针对用户执行的锻炼例程提供反馈的方法。所述方法包括检测执行锻炼例程的用户。可以使用机器人的一个或多个传感器来检测执行锻炼例程的用户。响应于检测到执行来自锻炼例程中的锻炼的用户,将机器人移动到接近用户的一个或多个位置中,以使得能够在用户执行锻炼时捕获由用户保持的姿势的一个或多个图像。可以基于执行的锻炼来识别用于移动机器人的一个或多个位置。在一些实现方式中,当用户执行锻炼时,机器人还可以采用无人机来捕获用户的图像。然后由机器人和/或无人机捕获的图像被转发到远程用户以进行评论。远程用户可以观察图像并且以反馈的形式提供评论。可以以音频格式、图像格式、视频格式或其任意组合来呈现反馈。机器人接收反馈并且将反馈呈现给用户。给用户的反馈是辅助用户在执行锻炼时改善姿势。在采用仿人机器人的一些实现方式中,远程用户可以生成带有对机器人的指令的信号,以演示执行锻炼例程的适当方式。信号中的指令可以识别需要移动的各个身体部分,并且机器人可以解译反馈并且演示锻炼的正确姿势。例如,所述信号可以是指示仿人机器人以具体方式移动某些身体部分的音频信号,并且仿人机器人中的AI逻辑将解译所述指令并且演示用于锻炼的移动。在一些实现方式中,机器人可以根据从远程用户接收到的指令来执行锻炼,并且在执行锻炼时还可以捕获用户执行锻炼的图像,并且将其转发到远程用户用于进一步的反馈。如可以看到的,机器人的AI逻辑可以用于检测用户的存在、捕获用户执行动作的图像、提供关于动作的即时反馈或采用远程呈现模式并且将图像转发到远程用户以进行评论,所述评论用于向执行动作的用户提供反馈。
本文讨论的各种实现方式提供使用机器人作为私人教练来辅助用户在他的身体训练中的方式。机器人中的AI逻辑可识别用户在一段时间内参与的各种活动,通过与用户的周期性交互来学习用户的偏好、喜欢、行为属性等,并且使用此类学习来定制给用户的反馈。例如,可以向开始严格锻炼例程的新手用户提供更宽松的反馈,而向有条件的用户提供更精确和关键的反馈。此外,随着新手用户成长为有条件的用户,由机器人提供的反馈也从宽松转换为关键,以使用户的能力与锻炼例程相匹配。在一些实现方式中,作为提供反馈的一部分,机器人本身可以演示正确的技术。各种实现方式不限于个人训练领域,而是还可以延伸到其他交互式应用。例如,机器人可以用于在玩线上游戏时或当与其他线上应用交互时向用户提供反馈。当用户第一次开始玩线上游戏时,AI逻辑可以提供有用的玩游戏的技巧,以允许用户在游戏中进步。在所述示例中,用户可以通过在游戏控制台或计算机上例示游戏或通过与云系统交互来玩游戏,并且游戏的游戏播放可以被投影到HMD的屏幕上或在机器人所在地理位置中的用户附近的显示表面上。机器人的AI逻辑从游戏控制台或计算机或云系统接收用户参与的游戏的游戏状态的信息。AI逻辑还接收游戏逻辑,所述游戏逻辑提供游戏的细节,包括游戏如何在玩游戏的不同阶段前进。使用所述信息并且基于游戏的游戏状态,AI逻辑可以向用户提供作为反馈的提示,以允许用户在游戏中前进。提供给用户的提示是基于用户的技能水平定制的。随着用户的玩游戏技能的改善,反馈被调整以匹配用户的改善的技能水平。因此,机器人的AI逻辑可以用于训练用户或向用户提供用于与任何交互式线上应用交互的有用提示,并且因此不限于身体训练或线上游戏。本领域技术人员可以预见各种实现方式的其他优点。
参考图7,示出了根据一种实现方式的机器人110的部件的示意图。机器人包括处理器710,用于执行程序指令。存储器712被提供用于存储目的,并且可以包括易失性和非易失性存储器两者。包括可选的显示器716,其提供用户可以观察的视觉接口。电池714被提供作为机器人110的电源。除了电池之外,机器人110可以安装在轮基部上,所述轮基部还可以充当充电器以对机器人进行充电。位置检测器模块720可以包括各种类型的运动敏感硬件中的任一种,诸如磁力计722、陀螺仪724、加速度计726、超声波传感器728、雷达730、GPS732和罗盘734。
加速度计726是用于测量加速度和重力引起的反作用力的装置。单轴线和多轴线模型可用于检测不同方向上的加速度的大小和方向。加速度计用于检测倾斜、振动和冲击。在一个实施方案中,使用多个加速度计726(例如,3个加速度计)来提供重力方向,这给出了对两个角度(世界空间俯仰和世界空间滚转)的绝对基准。
磁力计722测量机器人附近的磁场的强度和方向。在一个实施方案中,在机器人内使用三个磁力计722,确保世界空间偏航角的绝对基准。在一个实施方案中,磁力计722被设计成跨越地球磁场,所述地球磁场为±80微特斯拉。磁力计722受金属影响,并且提供与实际偏航单调的偏航测量。磁场可能会由于环境中的金属而翘曲,这致使偏航测量中的翘曲。如果必要,可以使用来自其他传感器(诸如陀螺仪724或相机)的信息来校准所述翘曲。在一个实施方案中,加速度计726与磁力计722一起使用,以获得机器人110的倾斜和方位角。
陀螺仪724是用于基于角动量的原理来测量或维持取向的装置。在一个实施方案中,三个陀螺仪724基于惯性感测提供关于跨越相应轴线(x、y和z)的移动的信息。陀螺仪724帮助检测快速旋转。然而,陀螺仪可以随着时间漂移而无需存在绝对基准。这要求周期性地重置陀螺仪,所述重置可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的定位/取向确定的其他可用信息来完成。
超声波传感器728是能够通过使用声波来测量对象距离的装置。它通过以具体频率发出声波并且收听所述声波以反弹来测量距离。通过记录声波产生和声波反弹之间经过的时间,可以计算超声波传感器和对象之间的距离。
雷达730是对象检测系统,其使用无线电波来确定对象的范围、角度或速度。雷达系统包括用于在无线电或微波领域中产生电磁波的发射器、传输天线、接收天线、接收器和用于确定(一个或多个)对象的特性的处理器。来自发射器的无线电波(脉冲的或连续的)反射离开对象并且返回到接收器,给出关于对象的位置和速度的信息。
全球定位系统(GPS)732是基于空间的无线电导航系统,其向任何装置上的GPS接收器提供地理位置和时间信息。所述系统不需要传输任何数据,而是要求对象至少在至少四个GPS卫星的视线中。
磁罗盘734是用于确定相对于地理基本上方向的方向的仪器。罗盘的磁针与地球磁场对准,由此磁场施加在针上的扭矩将针的北极点或磁极拉向地球的北磁极,将另一端拉向南磁极。
提供图像捕获模块740,用于捕获真实环境的图像和图像流。机器人110中可以包括一个以上的相机,其包括安装在机器人110正面上的一个或多个前置相机742、安装在机器人110的读取面上的一个或多个后置相机744、以及安装在机器人侧面上的的一个或多个侧面相机746。另外,机器人110中可以包括一个或多个深度相机748,用于捕获真实环境中的对象的深度信息。
机器人110包括用于提供音频输出的扬声器750。此外,可以包括传声器752,用于捕获来自真实环境的音频,所述音频包括来自周围环境的声音、用户提供的命令等。传声器752可以是传声器阵列,其具有通过滤除其他环境声音来聚焦来自具体方向的声音的能力。
提供LED 754作为机器人110的状态的视觉指示器。例如,LED可以指示电池水平、通电等。提供IR灯756,使得在可见光不可用时能够检测对象。马达驱动控制器758用于控制机器人的移动。马达驱动控制器758连接到用于移动机器人的轮或踏面或其他机构,并且包括马达装置,以在具体方向上移动机器人、调节速度、限制扭矩,以及用于机器人在地理位置的整体导航。接口模块760包括各种子模块,用于为一个或多个装置提供接口。包括USB接口762作为接口的一个示例,用于实现外围装置的连接,或者到其他装置(诸如其他便携式装置、计算机等)的连接。在机器人110的各种实现方式中,可以包括各种接口中的任一种,以实现机器人110的更大连接性。包括控制器接口作为用于实现一个或多个控制器的接收和充电的接口的示例。可以包括无人机接口(本文称为“无人机充电站”)766,用于实现无人机装置的接收和充电。无人机装置可以在其主体中包括相机,并且可以从机器人部署以捕获机器人所在的地理位置的俯视图。俯视图可以用于生成地理位置中的空间的三维映射,所述三维映射可以用于相对于用户或感兴趣的对象来移动和定位机器人。
通信模块770可以用于向系统内的不同装置提供各种通信链路。例如,可以包括通信链路772,用于连接到其他装置。在一个实施方案中,通信链路772利用红外传输进行无线通信。在其他实施方案中,通信链路772可以利用各种无线或有线传输协议中的任一种来与其他装置通信。包括WiFi模块774,以使能够经由无线网络技术连接到因特网。包括超声波通信776,以便于使用超声波技术与其他装置通信。包括蓝牙模块778,用于实现到其他装置的无线连接。包括投影仪780,用于使机器人能够将针对用户识别的内容的图像投影到在地理位置中识别的显示表面上。投影仪780可以包括逻辑,所述逻辑用于评估要在其上投影内容图像的显示表面,以确保在投影图像之前所述显示表面有利于投影(例如,不是高反射性的)。
包括输入按钮/传感器718以向用户提供输入接口。可以包括各种输入接口中的任一种,诸如按钮、触摸板、操纵杆、轨迹球、触摸屏、小键盘等。
包括生物传感器718以使能够检测来自用户的生理(即,生物统计)数据。在一个实现方式中,生物传感器718包括一个或多个干电极,用于通过用户的皮肤检测用户的生物电信号。在一些其他实现方式中,生物传感器718被配置为检测从远程定位的生物传感器(诸如光学生物传感器等)或附着于身体的传感器(诸如,心率监测器或脉搏血氧计等)产生的生物电信号,所述生物传感器718使用无线通信协议设置于用户的身体上或身体中。
包括AI逻辑114以使机器人能够从各种传感器接收的信号中检测用户的存在、在机器人的地理位置中映射空间、基于映射的空间将机器人定位到接近用户的区域、在地理位置中监测用户、捕获用户执行活动的图像,以及提供反馈。所述反馈使用机器学习算法来检测用户执行的活动,智能地识别将由用户执行的变化,并且向用户提供执行改变的指令。包括地理空间映射器115a在AI逻辑114中,以将地理位置中的空间映射成2维或3维格式。包括传感器融合模块117a在AI逻辑中以合并从各种传感器获得的数据并且基于来自各种传感器的数据来智能地生成用户的模型。
机器人110的前述部件已经被描述为仅是可以包括在机器人110中的示例性部件。在本发明的各种实施方案中,机器人110可以包括或可以不包括各种前述部件中的一些。机器人110的实施方案可以另外包括当前未描述但在本领域中已知的其他部件,用于便于如本文所描述的本发明的各方面的目的。
本领域技术人员应理解,在本发明的各种实施方案中,前述手持式装置可以与在显示器上显示的交互式应用结合使用,以提供各种交互式功能。本文描述的示例性实施方案仅作为示例的方式,而不是作为限制的方式提供。
图8示出了信息服务提供商架构的实现方式,所述架构可以用于提供对不同线上应用的访问。信息服务提供商(ISP)1070向地理上分散并且经由网络1086连接的用户1082递送大量信息服务。尽管已经参考提供对线上应用(诸如游戏)的快速访问讨论了各种实现方式,但是所述各种实现方式可以被延伸以提供一种或各种类型的其他服务。例如,ISP可以仅递送一种类型的服务,诸如锻炼例程,或各种服务,诸如身体健身例程、游戏和其他用户优选的内容更新。另外,由每个ISP提供的服务可以是动态的,即,可以在任何时间点添加或取消服务。因此,向特定个人提供特定类型的服务的ISP可能会随时间变化。例如,当用户在她的家乡时,可由用户附近接近的ISP为用户服务,并且当用户旅行到不同的城市时,可由不同的ISP为用户服务。家乡ISP将通过连接模块将所需的信息和来自用户的游戏或访问配置文件的数据传送到新ISP,使得用户信息“跟随”用户到新的城市,使得数据更接近用户并且更容易访问。在另一个实现方式中,可以在为用户管理信息的主ISP和在主ISP的控制下直接与用户交互的服务器ISP之间建立主服务器关系。在另一个实现方式中,当客户端在世界各地四处移动时,数据从一个ISP传送到另一个ISP(即,在分配给用户的数据中心的切换期间),并且此类传送可以基于由相应ISP提供的服务的兼容性,以使ISP 1070处于更好的位置来服务作为被递送这些服务的用户。
ISP 1070包括应用服务提供商(ASP)1072,它通过网络向客户提供基于计算机的服务。使用ASP模型提供的软件有时也被称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问的简单形式是通过使用标准协议,诸如HTTP。例如,应用软件驻留在提供商的系统上,并且由用户经由使用HTML的web浏览器、或者由提供商提供的专用客户端软件、或者经由诸如瘦客户端的其他远程接口访问。
跨广阔的地理区域递送的服务通常使用云计算。云计算是一种计算方式,在所述计算方式中,可动态地扩展且通常虚拟化的资源作为服务通过因特网提供。用户不需要成为支持他们的“云”技术基础设施的专家。云计算可以被划分成不同的服务,诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常线上提供通过浏览器访问的普通的商业应用,而软件和数据存储在服务器上。术语云被用作因特网(例如,使用服务器、存储装置和逻辑)的隐喻,基于因特网如何在计算机网络图中被描绘并且是其隐藏的复杂基础设施的抽象。
此外,ISP 1070包括交互式应用服务器,诸如游戏处理服务器(GaPS)1074,所述游戏处理服务器(GaPS)1074由游戏客户端用来玩单人和多玩家视频游戏。在因特网上玩的大部分视频游戏经由到游戏服务器的连接操作。通常,游戏使用从玩家收集数据并且将所述数据分布给其他玩家的专用服务器应用。这比对等布置更加高效且有效,但这需要单独的服务器来托管服务器应用。在另一个实现方式中,GaPS在玩家之间建立通信,并且他们相应的玩游戏装置交换信息,而不依赖于集中式GaPS。
专用GaPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心中的专用硬件上运行,从而提供更多带宽和专用处理能力。专用服务器是托管大部分基于PC的多玩家游戏的游戏服务器的优选方法。大量的多玩家线上游戏在通常通过拥有游戏名称的软件公司托管的专用服务器上运行,从而允许所述服务器控制并且更新内容。
广播处理服务器(BPS)1076将音频或视频信号分布给观众。到非常窄范围的观众的广播有时称作窄播。广播分布的最后一站是信号如何到达收听者或观察者,并且所述信号可如无线电台或电视台一样经由空气到达天线和接收器,或可以经由有线电视或有线广播(或“无线电缆”)经由站点或直接地从网络到来。因特网还可以将无线电或电视引至接收方,尤其是在允许共享信号和带宽的多播的情况下。历史上,广播已通过地理区域(例如,国家广播或地区广播)界定。然而,随着快速因特网的激增,广播不被地理位置限定,因为内容可到达世界上的几乎任何国家。
存储服务提供商(SSP)1078提供计算机存储空间和相关的管理服务。SSP还提供周期性备份和归档。通过提供存储即服务,用户可按需要订购更多的存储空间。另一个主要优点是SSP包括备份服务,并且如果用户的计算机或硬盘驱动器发生故障,则用户将不会丢失它们的所有数据。此外,多个SSP可以具有用户数据的全部或部分副本,允许用户以高效方式访问数据,无论用户位于何处或装置正用于访问数据。例如,当用户在移动时,用户可以访问家用计算机以及移动电话中的个人文件。
通信提供商1080提供给用户的连接。一种通信提供商是因特网服务提供商(ISP),其提供给因特网的访问。ISP使用适合用于递送因特网协议数据报的数据传输技术(诸如拨号、DSL、电缆调制解调器、光纤、无线或专用高速互连)来连接其客户。通信提供商还可提供消息收发服务,诸如电子邮件、即时消息收发以及SMS文本收发。另一个类型的通信提供商是网络服务提供商(NSP),其通过提供给因特网的直接主干网访问来出售带宽或网络访问。网络服务提供商可由以下组成:电信公司、数据载体、无线通信提供商、因特网服务提供商、提供高速因特网访问的有线电视运营商等。
数据交换1088将ISP 1070中的若干模块互连,并且经由网络1086将这些模块连接到用户1082。数据交换1088可以覆盖小区域,其中ISP 1070的所有模块很接近,或者当不同的模块在地理上分散时可以覆盖大的地理区域。例如,数据交换1088可以包括在数据中心的机柜内的快速千兆以太网(或更快),或洲际虚拟局域网(VLAN)。
用户1082利用客户端装置1084访问远程服务,所述客户端装置1084至少包括CPU、存储器、显示器和I/O。客户端装置可以是PC、移动电话、上网本、平板计算机、游戏系统、PDA等。在一个实现方式中,ISP 1070识别客户端所采用的装置的类型,并且调整所采用的通信方法。在其他情况下,客户端装置使用诸如HTML的标准通信方法来访问ISP 1070。
本发明的实践方案可以用包括手持式装置、微处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。本发明还可以在分布式计算环境中执行实践,在所述分布式计算环境中由通过基于有线或无线网络链接的远程处理装置执行任务。
考虑到上述实施方案,应理解,本发明可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的那些操作。本文描述的形成本发明的一部分的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。所述设备可以是专门配置以用于所需目的,或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。特别地,各种通用机器可以与根据本文的教导编写的计算机程序一起使用,或者可以更方便地构建更专用的设备来执行所需的操作。
本发明还可以实施为计算机可读介质上的计算机可读代码。替代地,可以使用上述数据交换互连从服务器下载计算机可读代码。计算机可读介质是能够存储数据的任何数据存储装置,所述数据随后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质可以包括分布在网络联接的计算机系统上的计算机可读有形介质,从而以分布式方式存储和执行计算机可读代码。
尽管方法操作以具体顺序执行描述,但应理解,可以在操作之间执行其他内务处理操作,或者可调整操作,从而所描述的操作在略微不同的时间处发生或可分布在系统中,所描述的系统允许处理操作以与处理相关联的各种间隔发生,只要叠加操作的处理以期望方式执行即可。
尽管为了清晰理解的目的已详细描述了前述发明,但是将显而易见的是,可以在所附权利要求的范围内实践一些改变和修改。因此,本实现方式应被认为是说明性的而非限制性的,并且本发明不限于本文给出的细节,而是可以在所描述的实现方式的范围和等效物内进行修改。
本文描述了游戏控制台的示例性整体系统架构。示例游戏控制台可以包括
Figure BDA0002410027480000401
Figure BDA0002410027480000402
娱乐装置,其可以与用于实现本发明实施方案的控制器兼容。尽管详细说明PS3游戏控制台系统架构,但应注意,本文中所描述的各种实现方式可以延伸到不同游戏控制台或计算装置的系统架构。提供一种系统单元,其中各种外围装置可连接到所述系统单元。所述系统单元类似于图1的云游戏系统300。系统单元包括:处理器,其可以是如PS3中的8核处理器,或如PS4中的多核处理器;如PS3中的
Figure BDA0002410027480000403
动态随机存取存储器(XDRAM)单元,或如PS4中的图形动态随机存取存储器,诸如GDDR5;如PS3中的具有专用视频随机存取存储器(VRAM)单元的真实合成器图形单元(例如,550MHz GPU),或在PS4和PS4Pro中的具有共享图形存储器的800或900MHz GPU;和I/O桥。系统单元还包括用于从盘读取的Blu
Figure BDA0002410027480000404
盘只读存储器
Figure BDA0002410027480000411
(光)盘读取器和可以通过I/O桥访问的可移除的插槽式硬盘驱动器(HDD)。可选地,系统单元还包括存储卡读取器,用于读取紧凑型快闪存储卡、Memory
Figure BDA0002410027480000412
存储卡等,所述存储卡读取器可以类似地通过I/O桥和在PS4中的内置DVR来访问,以记录游戏。
I/O桥还连接到六个通用串行总线(USB)2.0端口;千兆以太网端口;IEEE802.11b/g无线网络(Wi-Fi)端口;以及能够支持多达七个Bluetooth连接的
Figure BDA0002410027480000413
无线链路端口。
在操作中,I/O桥处理所有无线、USB和以太网数据,包括来自一个或多个游戏控制器(如PS3中的双震动3控制器,或如PS4中的PS4双震动4控制器等)的数据。例如,当用户正在玩游戏时,I/O桥经由蓝牙链路从游戏控制器接收数据,并且将其导向处理器(在PS3中)或多核处理器(在PS4中),所述处理器(在PS3中)或多核处理器(在PS4中)相应地更新游戏的当前状态。此外,其他图像和移动传感器将用户玩游戏期间捕获的数据提供给I/O桥,I/O桥将所述捕获的数据引导到相应的处理器。游戏控制器(例如,PS4的游戏控制器)包括用于共享游戏的共享按钮选项、可点击的触摸板、可再充电电池(锂离子或其他类型)等。
除了游戏控制器之外,无线、USB和以太网端口还提供用于其他外围装置(诸如:遥控器;键盘;鼠标;便携式娱乐装置,诸如索尼Playstation
Figure BDA0002410027480000414
娱乐装置;摄像机,诸如
Figure BDA0002410027480000415
摄像机;传声器头戴式耳机;和可移除硬盘驱动器)的连接。因此,此类外围装置原则上可以无线地连接到系统单元;例如,便携式娱乐装置可以经由Wi-Fi自组连接进行通信,而传声器头戴式耳机可以经由蓝牙链路进行通信。
这些接口的提供意指Playstation 3装置还潜在地与其他外围装置(诸如数字录像机(DVR)、机顶盒、数码相机、便携式媒体播放器、IP语音电话、移动电话、打印机和扫描仪)兼容。
另外,传统的存储卡读取器可以经由USB端口连接到系统单元,使得能够读取由
Figure BDA0002410027480000421
Figure BDA0002410027480000422
装置使用的那种存储卡。
在本实现方式中,游戏控制器可操作来经由蓝牙链路与系统单元无线通信。然而,游戏控制器可以替代地连接到USB端口,从而也提供功率来给游戏控制器的电池充电。除了一个或多个模拟操纵杆和常规的控制按钮以外,游戏控制器还对六个自由度的运动、对应于每个轴线的平移和旋转是敏感的。因此,除常规的按钮或操纵杆命令之外或取而代之,游戏控制器的用户的姿势和移动可以被转换为游戏的输入。可选地,其他无线启用的外围装置(诸如PlaystationTM便携式装置)可以用作控制器。在PlaystationTM便携式装置的情况下,可以在装置的屏幕上提供另外的游戏或控制信息(例如,控制指令或生命数量)。还可使用其他替代性或补充性控制装置,诸如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或定制控制器,诸如用于快速响应问答游戏的单个或若干大按钮(也未示出)。
遥控器还可操作用于经由蓝牙链路与系统单元无线通信。遥控器包括适合于BluRayTM盘BD-ROM读取器的操作和盘内容的导航的控件。
Blu RayTM盘BD-ROM读取器可用于读取光盘、与Playstation和Playstation 2装置兼容的只读存储器(CD-ROM)、以及常规的预先记录和可记录光盘(CD)和所谓的超级音频CD。除了常规的预先记录和可记录的DVD之外,Blu RayTM盘BD-ROM读取器还可操作为读取与Playstation 2TM和Playstation 3TM装置兼容的数字多功能盘只读存储器(DVD-ROM)。Blu RayTM盘BD-ROM读取器还可操作以读取与Playstation 3装置兼容的BD-ROM,以及常规的预先记录和可记录的Blu-Ray盘。
系统单元可操作以经由真实合成器图形单元将由Playstation 3或Playstation4装置产生或解码的音频和视频通过音频和视频连接器供应到显示器和声音输出装置,诸如具有显示器和一个或多个扬声器的监视器或电视机。音频连接器可以包括常规的模拟和数字输出,而视频连接器可以不同地包括分量视频、S视频、合成视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此,视频输出可以是诸如PAL或NTSC,或者是720p、1080i或1080p高清晰度和4K、HDR的格式。
音频处理(生成、解码等)由处理器执行。例如,Playstation 3装置的操作系统支持
Figure BDA0002410027480000431
环绕声、
Figure BDA0002410027480000432
剧场环绕(DTS)以及来自
Figure BDA0002410027480000433
盘的7.1环绕声的解码。
在本实现方式中,摄像机包括CMOS(互补金属氧化物半导体)图像传感器(尽管还可以使用电荷联接器件(CCD)图像传感器)、LED指示器和基于硬件的实时数据压缩和编码设备,从而可以以适当的格式(诸如基于图像内的MPEG(运动图像专家组)标准)传输压缩的视频数据,用于由系统单元进行解码。相机LED指示器被设置成响应于来自系统单元的适当控制数据而发光,例如以指示不利的照明状况。摄像机的实现方式可以经由USB、蓝牙或Wi-Fi通信端口不同地连接到系统单元。摄像机的实现方式可以包括一个或多个相关联的传声器,并且还能够传输音频数据。在摄像机的实现方式中,CCD可以具有适合于高清晰度视频捕获的分辨率。在使用中,由摄像机捕获的图像可以例如被结合在游戏内或被解译为游戏控制输入。
通常,为了经由系统单元的通信端口中的一个与诸如摄像机或遥控器的外围装置进行成功的数据通信,应提供诸如装置驱动程序的适当软件。装置驱动程序技术是众所周知的,并且在这里将不进行详细描述,除了说技术人员将意识到,在所描述的当前实现方式中可能需要装置驱动程序或类似的软件接口。
所述处理器具有:包括四个基本部件的架构:外部输入和输出结构,其包括存储器控制器和双总线接口控制器;主处理器,其被称为功率处理元件;八个协处理器,其被称为协同处理元件(SPE);以及循环数据总线,其连接上述部件,其被称为元件互连总线。与Playstation 2装置的Emotion Engine的6.2GFLOPs相比,处理器的总浮点性能为218GFLOPS。
功率处理元件(PPE)基于以3.2GHz的内部时钟运行的双向同时多线程功率兼容的PowerPC核心(PPU)。它包括512kB 2级(L2)高速缓存和32kB 1级(L1)高速缓存。PPE能够在每时钟周期八个单个位置操作,转换成3.2GHz的25.6GFLOPs。PPE的主要作用是充当协同处理单元的控制器,所述PPE处理大部分的计算工作量。在操作中,PPE维持作业队列、计划协同处理元件的作业并且监测它们的进度。因此,每个协同处理元件都运行核心,其作用是提取作业、执行所述作业并且与PPE同步。
每个协同处理元件(SPE)包括相应的协同处理单元(SPU)和相应的存储器流控制器(MFC),所述存储器流控制器(MFC)进而包括相应的动态存储器访问控制器(DMAC)、相应的存储器管理单元(MMU)和总线接口(未示出)。每个SPU是以3.2GHz计时的RISC处理器,并且包括256kB的本地RAM,原则上可扩展到4GB。每个SPE都给出理论25.6GFLOPS的单精度性能。SPU可以在单个时钟周期中在4个单精度浮点成员、4个32位数字、8个16位整数或16个8位整数上进行操作。在同一时钟周期中,它还可执行存储器操作。SPU不直接访问系统存储器XDRAM 1426;由SPU形成的64位地址被传递到MFC,所述MFC指示其DMA控制器经由元件互连总线和存储器控制器访问存储器。
元件互连总线(EIB)是处理器内部的逻辑循环通信总线,其连接上述处理器元件,即PPE、存储器控制器、双总线接口和8个SPE,共计12个参与者。参与者可以每时钟周期8字节的速率同时读取和写到总线。如前所述,每个SPE包括一个DMAC,用于计划更长的读或写序列。EIB包括四个通道,两个呈顺时针方向并且两个呈逆时针方向。因此,对于十二个参与者,任何两个参与者之间最长的步进数据流是在适当方向上的六个步长。因此,在完全利用通过参与者之间的仲裁的情况下,对于12个时隙的理论峰值瞬时EIB带宽是每时钟96B。这相当于在3.2GHz(千兆赫兹)的时钟速率下307.2GB/s(千兆字节每秒)的理论峰值带宽。
存储器控制器包括由Rambus Incorporated开发的XDRAM接口。存储器控制器以25.6GB/s的理论峰值带宽与Rambus XDRAM1426对接。
双总线接口包括Rambus
Figure BDA0002410027480000451
系统接口。接口被组织成12个通道,每个通道是8位宽,其中五个路径是入站的并且是7个出站的。这经由控制器和真实合成器图形单元经由控制器在处理器和I/O桥之间提供62.4GB/s(36.4GB/s出站,26GB/s入站)的理论峰值带宽。
由处理器发送到真实合成器图形单元的数据通常包括显示列表,所述显示列表是用于绘制顶点、将纹理应用于多边形、指定照明状况等的命令序列。
实施方案可以包括捕获深度数据来更好地识别真实世界用户并且引导头像或场景的活动。所述对象可以是人正在拿着的东西或还可以是人的手。在本说明书中,术语“深度相机”和“三维相机”是指能够获得距离或深度信息以及二维像素信息的任何相机。例如,深度相机可以利用受控的红外照明来获得距离信息。另一个示例性深度相机可以是立体相机对,其使用两个标准相机对距离信息进行三角测量。类似地,术语“深度感测装置”指代能够获得距离信息以及二维像素信息的任意类型的装置。
三维图像的最新进展为实时交互式计算机动画的增加的可能性打开了大门。特别地,新的“深度相机”除了常规二维视频图像以外还提供捕获和映射第三维度的能力。利用新的深度数据,本发明的实施方案允许将计算机生成的对象实时地放置在视频场景内的各种位置中,包括在其他对象后面。
此外,本发明的实施方案向用户提供实时交互式游戏体验。例如,用户可以实时地与各种计算机生成的对象交互。此外,可以实时更改视频场景,以增强用户的体验。例如,可以将计算机生成的服装插入用户的衣服上,并且可以利用计算机生成的光源在视频场景内投射虚拟阴影。因此,使用本发明的实施方案和深度相机,用户可以在他们自己的起居室内体验交互式环境。类似于常规相机,深度相机捕获包括视频图像的多个像素的二维数据。这些值是像素的颜色值,通常是每个像素的红、绿和蓝(RGB)值。以此方式,相机捕获的对象在监视器上表现为二维对象。
本发明的实施方案还设想分布式图像处理配置。例如,本发明不限于在一个或甚至两个位置中(诸如在CPU中或在CPU和一个其他元件中)发生的捕获的图像和显示图像处理。例如,输入图像处理可以正如容易地在能够执行处理的相关联的CPU、处理器或装置中发生;基本上所有的图像处理可以分布在整个互连系统中。因此,本发明不限于任何具体图像处理硬件电路和/或软件。本文描述的实施方案也不限于通用硬件电路和/或软件的任何特定组合,也不限于由处理部件执行的指令的任何特定源。
考虑到上述实施方案,应理解,本发明可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作包括需要对物理量进行物理操纵的操作。通常,但并非必须,这些量采取能够被存储、传送、组合、比较和以其他方式操纵的电或磁信号的形式。此外,执行的操纵通常用术语诸如产生、识别、确定或比较来指代。
以上描述的发明可以用包括手持式装置、微处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等的其他计算机系统配置来实践。本发明还可以在分布式计算环境中实践,在所述分布式计算环境中由通过通信网络链接的远程处理装置执行任务。
本发明还可以实施为计算机可读介质上的计算机可读代码。计算机可读介质是能够存储数据的任何数据存储装置,所述数据随后可由包括电磁波载体的计算机系统读取。计算机可读介质的示例包括硬盘驱动器(诸如固态驱动器(SSD)、硬盘驱动器(HDD)、数字视频盘(DVD)驱动器、
Figure BDA0002410027480000471
等)、网络附接存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质还可以分布在网络联接的计算机系统上,从而以分布式方式存储和执行计算机可读代码。
尽管为了清晰理解的目的已详细描述了前述发明,但是将显而易见的是,可以在所附权利要求的范围内实践一些改变和修改。因此,本实施方案被认为是说明性的而非限制性的,并且本发明不限于本文给出的细节,而是可以在所附权利要求的范围和等效物内进行修改。

Claims (25)

1.一种用于在身体训练期间使用机器人来辅助用户的方法,其包括:
检测在部署所述机器人的地理位置中的所述用户的存在,通过将所述机器人捕获的所述用户的一个或多个用户属性与存储在所述用户的用户配置文件中的对应用户属性进行匹配来确认所述用户存在;
在检测到所述用户执行来自锻炼例程中的锻炼时,将所述机器人移动到接近所述用户的一个或多个位置,以在所述用户执行所述锻炼时捕获由所述用户所保持的姿势的一个或多个图像,所述一个或多个位置是基于所述用户当前执行的所述锻炼而识别的;以及
提供与所述锻炼期间捕获的由所述用户保持的所述姿势相关的反馈,以辅助所述用户改善所述锻炼的所述姿势,
其中所述方法的操作由所述机器人的处理器来执行。
2.如权利要求1所述的方法,其还包括继续调整所述机器人的所述位置或所述机器人的一个或多个传感器的取向,以使得所述机器人能够在所述用户执行所述锻炼例程中识别的所述锻炼时捕获所述用户的所述姿势的变化,所述机器人捕获的所述姿势的所述变化用于更新提供给所述用户的所述反馈。
3.如权利要求1所述的方法,其中移动到适当位置还包括:
映射所述用户执行所述锻炼例程的所述地理位置,所述映射识别其中所述机器人能够移动到一个或多个位置以捕获所述姿势的所述图像的区域;并且
基于所述映射,将所述机器人的所述移动调整到所述区域内的所述一个或多个位置。
4.如权利要求3所述的方法,其中所述映射是限定其中所述机器人能够移动的所述区域的二维映射,或者是限定其中所述机器人或所述机器人的一个或多个传感器能够移动到适当位置以捕获所述姿势的所述一个或多个图像的体积的三维映射。
5.如权利要求3所述的方法,其中所述映射还包括向所述用户生成请求,以在所述地理位置中重新布置一个或多个对象,从而使得所述机器人或所述机器人的一个或多个传感器能够移动到所述地理位置中的所述一个或多个位置中,以在所述用户执行所述锻炼例程时捕获由所述用户保持的所述姿势的所述一个或多个图像。
6.如权利要求1所述的方法,其中识别由所述用户执行的所述锻炼例程还包括:
接收来自所述用户的语言提示,所述语言提示被分析以识别所述用户感兴趣执行的所述锻炼例程并且检索用于执行来自所述锻炼例程中的锻炼的指令,所述指令被呈现给所述用户以辅助所述用户执行所述锻炼例程中的所述锻炼。
7.如权利要求1所述的方法,其中识别由所述用户执行的所述锻炼例程还包括:
使用来自所述用户的所述用户配置文件的用户识别符来检索所述用户的活动历史,所述活动历史提供所述用户在不同时间遵循的锻炼时间表的细节;并且
分析所述活动历史以识别所述用户在当前时间的所述锻炼例程。
8.如权利要求1所述的方法,其中提供反馈还包括:
当所述用户执行所述锻炼以生成模型时,解译所述用户的所述姿势,所述模型使用模拟由所述用户保持的所述姿势的骨骼轮廓来限定;
将所述模型与针对所述锻炼识别的虚拟模型进行比较;并且
当从所述模型的比较检测到差异时,向所述用户提供提示以纠正所述锻炼例程中的所述锻炼的所述姿势。
9.如权利要求8所述的方法,其中所提供的所述提示包括用于调整所述用户针对所述锻炼的所述姿势的指令,所述提示以音频格式或图像格式或视频格式提供,所述提示是使用机器学习动态地生成的并且基于在所述姿势的比较期间检测到的所述差异来定制。
10.如权利要求9所述的方法,其中所述图像格式或所述视频格式被投影到在所述地理位置中识别的接近所述用户的呈现表面上,或者投影到所述机器人上可用的屏幕上,或者投影到所述用户在执行所述锻炼例程时佩戴的头戴式显示器的屏幕上。
11.如权利要求9所述的方法,其中提供提示包括识别用于在所述姿势中限定的所述锻炼的预定义教学视频或预定义教学音频,并且提供所述教学视频或所述教学音频以供所述用户遵循。
12.如权利要求1所述的方法,其中检测在所述地理位置中的所述用户的存在包括检索本地存储在所述机器人上的所述用户的所述用户配置文件,并且将由所述机器人捕获的所述用户属性与所述用户配置文件中的对应用户属性进行匹配。
13.如权利要求1所述的方法,其中检测在所述地理位置中的所述用户的存在包括:
将由所述机器人捕获的所述用户的所述用户属性传输到托管在云系统上的服务器,所述云系统的所述服务器将所述捕获的用户属性与存储在所述服务器上的对应用户配置文件中的多个用户的用户属性进行匹配,以识别所述用户配置文件中的具体用户配置文件,识别所述用户的所述具体用户配置文件用于识别所述用户计划执行的所述锻炼例程。
14.如权利要求1所述的方法,其中所述用户属性是使用所述机器人的一个或多个传感器捕获的,所述用户属性用于执行生物统计验证以识别所述用户,
其中所述用户属性包括面部特征或指纹或手部几何形状或语音波或DNA或签名或姿势或其任何两个或更多个的组合。
15.如权利要求14所述的方法,其中捕获面部特征包括捕获视网膜和虹膜图案、或耳垂几何形状、或面部轮廓、或注视方向、或其任何两个或更多个的组合。
16.一种使用机器人针对用户执行的锻炼例程提供反馈的方法,其包括:
检测执行所述锻炼例程的所述用户,其中所述锻炼例程包括一种或多种锻炼;
将所述机器人移动到接近所述用户的一个或多个位置,以使得能够在所述用户执行来自所述锻炼例程中的锻炼时捕获由所述用户保持的姿势的一个或多个图像,所述一个或多个位置是基于由所述用户执行的所述锻炼而识别的;
分析所述用户执行所述锻炼的所述图像;以及
提供与所述锻炼相关的反馈,以使得所述用户能够在执行来自所述锻炼例程中的所述锻炼时改善所述姿势,
其中所述方法的操作由所述机器人的处理器来执行。
17.如权利要求16所述的方法,其中调整所述机器人的所述位置包括调整所述机器人的一个或多个传感器的位置,其中所述一个或多个传感器用于在所述用户执行所述锻炼时捕获由所述用户保持的所述姿势的所述图像。
18.如权利要求16所述的方法,其中检测执行所述锻炼例程的所述用户还包括:
捕获部署所述机器人的地理位置中的所述用户的移动;并且
查询所述用户的活动历史以识别所述用户在不同时间遵循的活动时间表,所述活动时间表用于将由所述机器人捕获的所述用户的所述移动与由所述用户执行的锻炼例程相关联。
19.如权利要求16所述的方法,其还包括:
当所述用户执行所述锻炼例程时继续监测所述用户的所述姿势,以确定由所述用户保持的所述姿势的任何变化;并且
当检测到所述姿势的变化时,动态地调整所述机器人的位置以捕获所述用户的所述姿势变化的一个或多个图像,分析与所述姿势变化相关的所述一个或多个图像以向所述用户提供另外的反馈,所提供的所述另外的反馈使得所述用户能够改善所述用户的所述姿势。
20.如权利要求16所述的方法,其中所述姿势的变化与所述用户执行所述锻炼例程内的不同的锻炼或所述用户在执行来自所述锻炼例程中的所述锻炼时响应于所接收的反馈而纠正所述姿势相关。
21.一种使用机器人针对用户执行的锻炼例程提供反馈的方法,其包括:
接收来自所述用户的指令,所述指令识别所述用户在锻炼时想要目标针对的身体的具体部分;
识别针对所述指令中提供的所述身体的所述具体部分为目标的所述锻炼例程,所述锻炼例程识别要由所述用户执行以针对所述身体的所述具体部分为目标的不同锻炼;
提供来自所述锻炼例程中的锻炼的细节以供所述用户遵循;
在检测到所述用户执行来自所述锻炼例程中的所述锻炼时,将所述机器人移动到接近所述用户的一个或多个位置,所述移动使得所述机器人能够在所述用户执行所述锻炼时捕获由所述用户保持的姿势的图像,所述一个或多个位置是基于所述用户当前执行的所述锻炼而识别的;
提供与所述锻炼相关的反馈,以使得所述用户能够改善针对所述锻炼的所述姿势;
当所述用户继续执行所述锻炼例程时,继续监测所述用户的所述姿势,所述监测通过调整所述机器人的所述一个或多个位置以捕获所述姿势的变化的图像来执行;以及
基于由所述用户保持的所述姿势中检测到的所述变化向所述用户提供另外的反馈,所提供的所述另外的反馈使得所述用户能够在执行所述锻炼例程时改善所述姿势,
其中所述方法的操作由所述机器人的处理器来执行。
22.如权利要求21所述的方法,其中识别所述锻炼例程包括:
使用从所述用户的用户配置文件获得的用户识别符来查询所述用户的活动历史,所述活动历史提供所述用户在不同时间遵循的锻炼例程的时间表和类型的细节;并且
分析所述活动历史以识别所述用户先前针对所述具体区域为目标执行的所述锻炼例程。
23.如权利要求21所述的方法,其中识别所述锻炼例程包括:
查询多个用户的活动历史,所述多个用户中的每一个的所述活动历史都提供所述多个用户中的相应一个在不同时间遵循的锻炼例程的时间表和类型的细节;并且
分析所述多个用户中的每一个的所述活动历史,以识别针对所述具体区域为目标的由所述多个用户中的大多数遵循的所述锻炼例程。
24.如权利要求21所述的方法,其中提供反馈还包括:保持跟踪由所述用户执行的所述锻炼例程内的每种锻炼的细节,并且向所述用户提供所述锻炼例程中的每种锻炼的状态。
25.如权利要求21所述的方法,其中所述姿势的变化能够是由所述用户在所述锻炼例程期间执行的所述锻炼的变化的结果。
CN201880059506.6A 2017-09-14 2018-09-14 机器人作为私人教练 Active CN111095150B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/705,167 2017-09-14
US15/705,167 US11161236B2 (en) 2017-09-14 2017-09-14 Robot as personal trainer
PCT/US2018/051241 WO2019070388A2 (en) 2017-09-14 2018-09-14 ROBOT USED AS A PERSONAL COACH

Publications (2)

Publication Number Publication Date
CN111095150A true CN111095150A (zh) 2020-05-01
CN111095150B CN111095150B (zh) 2024-06-18

Family

ID=65244580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880059506.6A Active CN111095150B (zh) 2017-09-14 2018-09-14 机器人作为私人教练

Country Status (5)

Country Link
US (1) US11161236B2 (zh)
EP (1) EP3682307B1 (zh)
JP (1) JP7095073B2 (zh)
CN (1) CN111095150B (zh)
WO (1) WO2019070388A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112643650A (zh) * 2020-12-10 2021-04-13 深圳优地科技有限公司 基于机器人的儿童任务托管方法、装置、设备及存储介质
CN113052101A (zh) * 2021-03-31 2021-06-29 乐融致新电子科技(天津)有限公司 基于姿态识别的体育辅助教学方法及装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553840B (en) * 2016-09-16 2022-02-16 Emotech Ltd Robots, methods, computer programs and computer-readable media
CN107551525B (zh) * 2017-10-18 2019-08-02 京东方科技集团股份有限公司 辅助健身系统及方法、健身器材
US11724155B2 (en) * 2017-10-18 2023-08-15 Beijing Boe Optoelectronics Technology Co., Ltd. Assistive fitness system and method, fitness equipment
US11363992B2 (en) * 2017-12-04 2022-06-21 Advancing Technologies, Llc Wearable device utilizing flexible electronics
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
US20190236976A1 (en) * 2018-01-31 2019-08-01 Rnd64 Limited Intelligent personal assistant device
US11514812B2 (en) * 2018-04-02 2022-11-29 Pinegem Technologies LLC Autonomous physical activity assistance systems and methods thereof
CN110534110B (zh) * 2018-05-25 2022-04-15 深圳市优必选科技有限公司 一种机器人及提高其语音交互识别率的方法、装置和电路
EP3593959B1 (en) * 2018-07-10 2022-09-28 Tata Consultancy Services Limited Method and system for online non-intrusive fatigue- state detection in a robotic co-working environment
WO2020033530A1 (en) * 2018-08-07 2020-02-13 Interactive Strength, Inc. Interactive exercise machine support and mounting system
KR102018832B1 (ko) * 2018-11-29 2019-11-04 주식회사 트위니 자율주행 카트
KR20200077775A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 전자 장치 및 그의 정보 제공 방법
KR20200087337A (ko) * 2018-12-31 2020-07-21 삼성전자주식회사 헬스 케어 로봇 및 그 제어 방법.
US11544865B1 (en) * 2019-02-15 2023-01-03 Apple Inc. Posture detection and correction
KR20200115696A (ko) * 2019-03-07 2020-10-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US11544594B2 (en) * 2019-04-11 2023-01-03 Sunghee Woo Electronic device comprising user interface for providing user-participating-type AI training service, and server and method for providing user-participating-type AI training service using the electronic device
WO2020241951A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법
US11883963B2 (en) * 2019-06-03 2024-01-30 Cushybots Corporation Robotic platform for interactive play using a telepresence robot surrogate
US10937232B2 (en) * 2019-06-26 2021-03-02 Honeywell International Inc. Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames
US11741851B2 (en) 2019-07-02 2023-08-29 Gettysburg College Cognitive aid device and method for assisting
JP6886130B2 (ja) * 2019-08-12 2021-06-16 学校法人拓殖大学 感性情報を用いたリハビリテーション支援ロボット
KR20210023056A (ko) * 2019-08-21 2021-03-04 현대자동차주식회사 전기차량의 전원관리 장치 및 그 방법
CN114980810A (zh) * 2019-08-30 2022-08-30 梅特拉莱布斯新技术和系统公司 用于检测人的运动过程和/或生命体征参数的系统
US20210354023A1 (en) * 2020-05-13 2021-11-18 Sin Emerging Technologies, Llc Systems and methods for augmented reality-based interactive physical therapy or training
EP3957999A1 (en) * 2020-08-19 2022-02-23 Roche Diagnostics GmbH Laboratory sample distribution system
CN116391212A (zh) * 2020-11-06 2023-07-04 华为技术有限公司 一种防止手势误识别的方法及电子设备
US20220176259A1 (en) * 2020-12-04 2022-06-09 Betsy Bowers Virtual Scent
TWI824348B (zh) * 2020-12-14 2023-12-01 仁寶電腦工業股份有限公司 訓練系統、訓練管理方法以及訓練設備
US20220323826A1 (en) * 2021-04-11 2022-10-13 Vikas Khurana System, apparatus and method for training a subject
US20230069758A1 (en) * 2021-08-27 2023-03-02 Sony Group Corporation Personalized fitness activity training using augmented-reality based avatar
US11810345B1 (en) * 2021-10-04 2023-11-07 Amazon Technologies, Inc. System for determining user pose with an autonomous mobile device
EP4176798A1 (en) * 2021-11-05 2023-05-10 Sony Group Corporation Monitoring exercise activity in a gym environment
US20230158388A1 (en) * 2021-11-23 2023-05-25 Virtual Round Ballers, Inc. Simulation System and Method
KR102669062B1 (ko) * 2023-06-21 2024-05-29 (주)로보케어 운동 보조 서비스 제공 로봇 및 운동 보조 서비스 제공 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120190505A1 (en) * 2011-01-26 2012-07-26 Flow-Motion Research And Development Ltd Method and system for monitoring and feed-backing on execution of physical exercise routines
CN103282907A (zh) * 2010-11-05 2013-09-04 耐克国际有限公司 自动个人训练的方法和系统
US20140247279A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Registration between actual mobile device position and environmental model
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
CN106139564A (zh) * 2016-08-01 2016-11-23 纳恩博(北京)科技有限公司 图像处理方法和装置
US20170129105A1 (en) * 2012-03-21 2017-05-11 Kenneth Dean Stephens, Jr. Replicating the Remote Environment of a Proxy Robot
CN106691770A (zh) * 2015-11-12 2017-05-24 摩托瑞克有限公司 产生并执行训练课程程序
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP2004302785A (ja) 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
CN103732297B (zh) 2011-06-30 2016-11-02 奥林奇实验室 增强现实活动范围的治疗系统及其操作方法
KR101317383B1 (ko) 2011-10-12 2013-10-11 한국과학기술연구원 로봇을 이용한 인지 능력 훈련 장치 및 그 방법
DE102012101152C5 (de) 2012-02-14 2019-02-14 Pixformance Sports Gmbh System und Verfahren zur automatischen Kontrolle der korrekten Durchführung einer Fitnessübung
JP2013169611A (ja) 2012-02-20 2013-09-02 Vstone Kk ロボットシステムおよびロボット
US20130338525A1 (en) 2012-04-24 2013-12-19 Irobot Corporation Mobile Human Interface Robot
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US20170151500A9 (en) 2013-06-13 2017-06-01 Biogaming Ltd Personal digital trainer for physiotheraputic and rehabilitative video games
GB201310523D0 (en) 2013-06-13 2013-07-24 Biogaming Ltd Personal digital trainer for physio-therapeutic and rehabilitative video games
WO2015108700A1 (en) 2014-01-14 2015-07-23 Zsolutionz, LLC Sensor-based evaluation and feedback of exercise performance
JP2016131782A (ja) * 2015-01-21 2016-07-25 セイコーエプソン株式会社 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP2016059658A (ja) 2014-09-19 2016-04-25 東芝メディカルシステムズ株式会社 動作サポート装置
JP6645658B2 (ja) 2014-10-03 2020-02-14 国立大学法人豊橋技術科学大学 移動訓練支援装置
JP6466139B2 (ja) 2014-10-20 2019-02-06 有限会社テレビジネス 人間の動きを測定するロボット計測器
ES2561927B1 (es) 2015-10-05 2017-02-10 Universitat D'alacant / Universidad De Alicante Sistema multisensor para rehabilitación e interacción de personas con discapacidad
US11511156B2 (en) * 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103282907A (zh) * 2010-11-05 2013-09-04 耐克国际有限公司 自动个人训练的方法和系统
US20120190505A1 (en) * 2011-01-26 2012-07-26 Flow-Motion Research And Development Ltd Method and system for monitoring and feed-backing on execution of physical exercise routines
US20170129105A1 (en) * 2012-03-21 2017-05-11 Kenneth Dean Stephens, Jr. Replicating the Remote Environment of a Proxy Robot
US20140247279A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Registration between actual mobile device position and environmental model
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
CN106691770A (zh) * 2015-11-12 2017-05-24 摩托瑞克有限公司 产生并执行训练课程程序
CN106139564A (zh) * 2016-08-01 2016-11-23 纳恩博(北京)科技有限公司 图像处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112643650A (zh) * 2020-12-10 2021-04-13 深圳优地科技有限公司 基于机器人的儿童任务托管方法、装置、设备及存储介质
CN113052101A (zh) * 2021-03-31 2021-06-29 乐融致新电子科技(天津)有限公司 基于姿态识别的体育辅助教学方法及装置

Also Published As

Publication number Publication date
EP3682307B1 (en) 2023-01-04
US11161236B2 (en) 2021-11-02
WO2019070388A3 (en) 2019-06-13
EP3682307A2 (en) 2020-07-22
CN111095150B (zh) 2024-06-18
JP7095073B2 (ja) 2022-07-04
US20190077007A1 (en) 2019-03-14
JP2020534041A (ja) 2020-11-26
WO2019070388A2 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
CN111095150B (zh) 机器人作为私人教练
CN109475774B (zh) 虚拟现实环境中的视图位置处的观众管理
US20210252398A1 (en) Method and system for directing user attention to a location based game play companion application
JP6663505B2 (ja) Vr環境における観客ビュー視点
JP6880081B2 (ja) 方向インタフェースオブジェクト
US10445925B2 (en) Using a portable device and a head-mounted display to view a shared virtual reality space
CN106664401B (zh) 用于在与内容交互时向用户提供反馈的系统和方法
US20180373413A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US11786821B2 (en) Instant streaming of a mobile user interface to a device of a secondary user without application install
CN104010706B (zh) 视频游戏的方向输入
CN103930180B (zh) 对游戏控制器校准和偏置的系统和方法
US11721305B2 (en) Challenge game system
US20080215974A1 (en) Interactive user controlled avatar animations
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US20180247453A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
JP2023159344A (ja) ゲーム内位置ベースのゲームプレイコンパニオンアプリケーション
US20190245812A1 (en) Social Media Connection for a Robot
Loviscach Playing with all senses: Human–Computer interface devices for games
Vogiatzaki et al. Rehabilitation after stroke using immersive user interfaces in 3D virtual and augmented gaming environments
JP7503122B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
Krukowski et al. User Interfaces and 3D Environment Scanning for Game-Based Training in Mixed-Reality Spaces
Pereira et al. Contributions of sensor networks to improve gaming experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant