CN110110735A - 验证自动化系统的姿势识别能力 - Google Patents

验证自动化系统的姿势识别能力 Download PDF

Info

Publication number
CN110110735A
CN110110735A CN201910103313.2A CN201910103313A CN110110735A CN 110110735 A CN110110735 A CN 110110735A CN 201910103313 A CN201910103313 A CN 201910103313A CN 110110735 A CN110110735 A CN 110110735A
Authority
CN
China
Prior art keywords
posture
data
anthropomorphic robot
gesture recognition
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910103313.2A
Other languages
English (en)
Inventor
文卡塔帕蒂·拉朱·纳拉帕
安贾莉·克里希那马赫
古萨姆·肖林格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110110735A publication Critical patent/CN110110735A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了“验证自动化系统的姿势识别能力”。本发明扩展到用于验证自动化系统的姿势识别能力的方法、系统和计算机程序产品。各方面包括可缩放、高效、可重复并且考虑物理特征、服装、姿势类型、环境、文化、天气、路况等的变换的姿势识别训练系统。所述姿势识别训练系统包括用于生成训练数据集的传感器和算法。训练数据集可以经缩放并用于自主设备进行训练以识别各种人类姿势。

Description

验证自动化系统的姿势识别能力
技术领域
本发明大体涉及姿势识别领域，并且更具体地涉及验证自动化系统的姿势识别能力。
背景技术
人与人之间的姿势是许多不同环境中的日常相互交流的组成部分。人可以使用手势、面部表情和一般肢体语言来传达意图。所传达的意图可以是特定于环境的。也就是说，相同的姿势在不同的环境中可以具有不同的含义。例如，由患者在生活辅助设施中执行的姿势可以表示与由运动员在运动期间执行的相同姿势不同的事物。
在越来越多的环境中，自动化系统与人类交互以执行先前由人类执行的活动。因此，这些自动化系统需要(类似于人类地)基于环境背景适当地识别人类姿势并对所述人类姿势作出反应。
例如，在道路环境中，警察、行人、骑自行车者和驾驶员可以使用手势，面部表情和一般肢体语言来传达关于在道路环境中安全行进的意图。自主车辆可以与警察、行人、骑自行车者和人工操作车辆共享道路环境。为了保持道路安全，自主车辆需要以相对高的准确度在变化的条件(例如，天气、交通拥堵、紧急情况等)下识别各种人类姿势并对所述各种人类姿势作出反应。
发明内容
示例扩展到用于验证自动化系统的姿势识别能力的方法、系统和计算机程序产品。在一个方面，人形机器人被编程为移动身体部位来执行姿势(例如，与在道路上操作车辆相关联的姿势)。一个或多个传感器在外部监视人形机器人以捕获来自执行姿势的所述人形机器人的传感器数据。根据所捕获的传感器数据生成姿势识别训练数据。使用所述姿势识别训练数据来训练姿势识别系统以识别执行姿势的人。
附图说明
参考以下描述和附图，本发明的特定特征、方面和优点将变得更好理解，在附图中：
图1示出了计算设备的示例性框图
图2示出了有助于验证姿势识别系统的姿势识别能力的示例计算机体系结构。
图3示出了用于验证姿势识别系统的姿势识别能力的示例方法的流程图。
图4示出了人形机器人的不同视图的示例。
图5示出了在道路环境中执行姿势的人形机器人。
具体实施方式
本发明扩展到用于验证自动化系统的姿势识别能力的方法、系统和计算机程序产品。姿势识别包括识别人的姿势，例如手势、面部表情和其他身体语言提示。
可以根据数据集训练使用机器学习、深度学习或其他推理技术的姿势识别系统。姿势识别系统的识别能力可以取决于用于训练姿势识别系统的数据的数量和质量(以及训练方法和具体实施的细节)。可以通过记录在受控环境设置中执行姿势的人类(演员)来生成训练数据集。然而，使用人类生成更大量的高质量训练数据可能是耗时的、昂贵的并且可能是不安全的(例如，当在道路上进行记录时)。
因此，由于缺乏数据质量和数据数量，因此通过记录人类而生成的训练数据集通常是不充分的。例如，通过记录一些人类姿势而生成的数据集可能不包括人类姿势的其他变化和细微差别，并且可能无法解决现实生活中发生的环境条件。如此，根据人类记录数据训练的姿势识别系统的识别能力可能不足以用于许多环境，包括道路和人类安全是因素的其他环境。
本发明的各方面包括可缩放、高效并且可以考虑物理特征、服装、姿势类型、环境、文化、天气、路况等的变换的姿势识别训练系统。所述姿势识别训练系统包括用于生成更全面的训练数据集的一系列传感器和算法，所述训练数据集有助于更准确地识别人类姿势并对所述人类姿势作出反应。例如，可以对自主车辆和其他设备进行训练以识别道路环境中的各种人类姿势并对所述各种人类姿势作出反应。此外，可以验证和(重新)训练识别能力，直到确定识别能力足够为止。
在一个方面，通过监视执行姿势的人形机器人收集数据。人形机器人可以配置有足够的自由度来表达面部姿势、基于手/手臂的姿势、头部的一般点头/摇动(例如，表达肯定或不赞成)、耸肩和其他基于身体语言的姿势，包括通过人形机器人的不同部分表达的不同姿势的组合。人形机器人可以被编程为在各种环境中执行姿势。编程的姿势可以根据关于在特定环境中(例如，在道路上)使用的标准姿势的现有数据来确定，并且可以考虑不同的文化和地区。一些示例性环境包括：人当在车辆旁边行走时发信号指示其车辆打开行李厢，行人发信号指示车辆在人行横道处停下来或保持向前行驶，警察管理十字路口的交通，骑自行车者发信号指示转弯等。
对人形机器人进行编程可以包括对致动器进行编程以移动人形机器人的各个部位(例如，手臂、手、颈、肩等)来执行姿势。人形机器人外部的传感器可以监视人形机器人并在姿势被执行时收集数据。传感器可包括图像相机/深度相机/红外相机、激光雷达、雷达、超声波等。
环境条件和人形机器人特征可以变化。人形机器人可以放置在不同的测试区域/设置中，例如停车场、行人过路处(例如，人行横道)的实体模型、十字路口等。人形机器人可以在不同的测试区域/设置中执行姿势(可能重复地执行姿势)。传感器可以在人形机器人执行姿势时收集数据。人形机器人可以配备有针对所考虑的人类类型(例如，行人、骑自行车者、驾驶员)的适当制服、衣服和物理特征。例如，可以将反光背心放置在人形机器人上以看起来像交通警察，或者可以将头盔和骑行装备放置在人形机器人上以看起来像骑自行车者。
当执行姿势时，附接到和/或集成到人形机器人中的其他传感器可以捕获人形机器人的移动并且可以以可重复的方式记录数据。附接的和/或集成的传感器可以记录人形机器人的各部位在由致动器移动之前、期间和之后的位置、方向、速度和加速度，包括姿态和关节位置。
然后可以在模拟环境中使用捕获的移动来模拟姿势的其他执行。例如，模拟人可以在游戏引擎中动画化以基于捕获的移动来执行姿势。可以使用天气条件、景观和模拟人的物理特征的各种组合来增强模拟。模拟环境中的虚拟传感器和传感器模块可以观察模拟的姿势执行以生成虚拟传感器数据。虚拟传感器和传感器模块可以在模拟环境中模拟真实世界传感器的功能，所述真实世界传感器包括相机、激光雷达传感器、雷达传感器和超声波传感器。
通常，在具有各种环境条件的不同位置之间物理地移动人形机器人可能是不可行的(或甚至不可能)。类似地，使人类演员在具有各种不同环境条件的不同位置之间行进可能是在逻辑上困难的和/或昂贵的。然而，模拟可以使用天气条件、景观和物理特征等的各种组合来模拟不同的环境。可以在这些模拟的不同环境中捕获虚拟数据。
例如，人形机器人可以在地理上位于平坦环境中。因此，将人形机器人物理地移动到山地环境中可能成本过高(或不可能)。类似地，让人类演员行进到山地环境可能在逻辑上是困难和/或昂贵的。然而，模拟环境可以模拟在山地环境中执行姿势的动画演员。作为另一示例，人形机器人可以在地理上位于阳光充足的环境中。因此，将人形机器人物理地移动到多雾和/或多雨环境中可能成本过高(或不可能)。同样地，让人类演员行进到多雾和/或多雨环境可能是在逻辑上困难的和/或昂贵的。然而，模拟环境可以模拟在多雾和/或多雨环境中执行姿势的动画演员。
训练数据集生成器可以根据在外部传感器处捕获的传感器数据(真实世界传感器数据)和/或来自模拟环境的虚拟数据生成训练数据集。总之，使用真实世界传感器数据和虚拟数据有助于生成更稳健和多样化的训练数据集。训练数据集可以针对姿势和姿势的对应含义建立一组地面实况类别。训练数据集可用于使用机器学习、深度学习或其他推断技术来训练姿势识别系统。当使用更稳健和多样化的训练数据集(例如，更多样化的人形辅助训练数据集)时，可以训练姿势识别系统以更准确地对(人形机器人或人类)的姿势进行分类。例如，姿势识别系统处的训练算法可以使用更稳健和多样化的训练数据集来尝试将由人形机器人执行的姿势分类到某一类别中。
可以验证和(重新)训练姿势识别系统的识别能力，直到确定识别能力足够。
通常，使用人形机器人可以显著加速生成训练数据集以及训练和验证姿势识别系统的过程。人形机器人可以被编程为在大量时间(例如，几天甚至几周)内连续地自动执行姿势，并且不会像人类那样疲倦。姿势的自动执行减少了用于累积较大训练数据集的工时。
图1示出了计算设备100的示例性框图。计算设备100可以用于执行各种程序，诸如本文所讨论的程序。计算设备100可以用作服务器、客户端或任何其他计算实体。计算设备100可以执行如本文所述的各种通信和数据传输功能，并且可以执行一个或多个应用程序，诸如本文描述的应用程序。计算设备100可以是各种计算设备中的任何一种，诸如移动电话或其他移动设备、台式计算机、笔记本计算机、服务器计算机、手持计算机、平板计算机等。
计算设备100包括一个或多个处理器102、一个或多个存储设备104、一个或多个接口106、一个或多个大容量存储设备108、一个或多个输入/输出(I/O)设备110，以及显示设备130，所有这些设备都耦合到总线112。处理器102包括执行存储在存储器设备104和/或大容量存储设备108中的指令的一个或多个处理器或控制器。处理器102还可以包括各种类型的计算机存储介质，诸如高速缓存存储器。
存储器设备104包括各种计算机存储介质，诸如易失性存储器(例如，随机存取存储器(RAM)114)和/或非易失性存储器(例如，只读存储器(ROM)116)。存储器设备104还可以包括可重写的ROM，诸如快闪存储器。
大容量存储设备108包括各种计算机存储介质，诸如磁带、磁盘、光盘、固态存储器(例如，快闪存储器)等。如图1所示，特定的大容量存储设备是硬盘驱动器124。各种驱动器也可以包括在大容量存储设备108中，以使得能够从各种计算机可读介质读取和/或写入。大容量存储设备108包括可移除介质126和/或不可移除介质。
I/O设备110包括允许数据和/或其他信息输入到计算设备100或从计算设备100检索的各种设备。示例性I/O设备110包括光标控制设备、键盘、键台、条形码扫描仪、传声器、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器、相机、镜头、雷达、CCD或其他图像捕获设备等。
显示设备130包括能够向计算设备100的一个或多个用户显示信息的任何类型的设备。显示设备130的示例包括监视器、显示终端、视频投影设备等。
接口106包括允许计算设备100与其他系统、设备或计算环境以及人交互的各种接口。示例接口106可以包括任何数量的不同网络接口120，诸如到个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、无线网络(例如，近场通信(NFC)、蓝牙、Wi-Fi等网络)和互联网的接口。其他接口包括用户接口118和外围设备接口122。
总线112允许处理器102、存储器设备104，接口106、大容量存储设备108和I/O设备110彼此通信，以及与耦合到总线112的其他设备或者部件通信。总线112表示若干种类型的总线结构中的一种或多种，诸如系统总线、PCI总线、IEEE 1394总线、USB总线等。
在本说明书和所附权利要求书中，“人形机器人”被定义为身体形状构建为人类身体类似的机器人。通常，人形机器人可包括躯干、头部、两个手臂、两个腿等。人形机器人还可包括两只手、两只脚，以及一些手指状附肢和/或脚趾状附肢。然而，某些形式的人形机器人可能仅模拟人类身体的一部分，例如从腰部向上。一些人形机器人也具有头部，所述头部被设计为用于复制人类的面部特征，诸如眼睛、嘴巴、鼻子、嘴唇、耳朵、脸颊等。
人形机器人可以使用(例如，旋转)致动器，所述致动器像肌肉和关节一样运行以促进类似于人体运动的移动。例如，可以使用致动器来移动头部、躯干、手臂、腿部、手、脚、手指、脚趾等。致动器也可用于通过移动眼睛、鼻子、嘴巴、嘴唇、耳朵、脸颊等来做出面部特征。致动器可以是电动的、气动的、液动的、压电的、超声的等。
人形机器人还可以包括各种集成传感器，包括本体感受传感器和外感受传感器。传感器可以根据它们工作所使用的物理过程或根据它们提供作为输出的测量信息的类型来进行分类。本体感受传感器可以感测人形机器人的身体部位和关节的位置、取向和速度。本体感受传感器可以包括：用于测量加速度(可根据加速度通过积分计算速度)的加速度计、用于测量倾角的倾斜传感器、用于测量与环境的接触力的力传感器(例如，在手和脚中的力传感器)、用于指示位置(可根据所述位置通过推导计算速度)的位置传感器、速度传感器、陀螺仪等。
外感受传感器可以感测人形机器人外部的刺激。外感受传感器可用于模拟人类触觉、视觉、听觉等。外感受传感器可包括光传感器(例如，相机)、声音传感器(例如，传声器)、温度传感器、接触传感器、接近度传感器等。
人形机器人还可以包括计划和控制功能，以模拟类人的移动，包括使用双足步态进行步行。模拟类人移动可以包括在行走表面上稳定并且保持重心在支承区域中心的上方以提供稳定位置。计划和控制的其他方面可以包括自碰撞检测、路径规划和避障。
因此，人形机器人可以在真实世界中移动并与真实世界交互，包括使用传感器收集信息。
在本说明书和以下权利要求书中，“仿生人(android)”被定义为在美学上与人类相似的人形机器人。
在本说明书和所附权利要求书中，“道路姿势”被定义为用于进行与在道路上行驶相关的通信的姿势。人或人形机器人可以执行道路姿势以将信息传达给另一个人或人形机器人，以要求另一个人或人形机器人执行动作，和/或以指示执行动作的意图。可以在道路环境和其他(例如，工作室)环境中执行道路姿势以收集训练数据。在道路上，道路姿势可以特定地指向另一个人、指向另一个人形机器人，或指向一些其他电子设备，或者通常可以指向某一区域中可以在视觉上感知道路姿势的其他设备。
图2示出了有助于验证姿势识别系统的姿势识别能力的示例计算机体系结构200。
如图所示，计算机体系结构200包括计算机系统201、传感器202和人形机器人221。通常，计算机系统201和人形机器人221可包括关于计算机系统100描述的部件中的任何部件。此外，计算机系统201、传感器202和人形机器人221、以及它们各自相应的部件可以经由网络(或者作为网络的一部分)彼此连接，所述网络为例如PAN、LAN、WAN、控制器局域网(CAN)总线，以及甚至互联网。因此，计算机系统201、传感器202和人形机器人221、以及任何其他连接的计算机系统及其部件中的每一者，可以创建消息相关的数据并经由网络交换所述消息相关的数据(例如，近场通信(NFC)有效负载、蓝牙分组、互联网协议(IP)数据报和利用IP数据报的其他更高层协议，所述其他更高层协议为诸如传输控制协议(TCP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)等)。
人形机器人221还包括身体部位222、致动器223、传感器224、处理器226和存储器227。可以致动致动器223以根据编程的功能(例如，用于执行姿势的功能)移动身体部位222。传感器224可以在移动期间监视身体部位222和致动器223以捕获移动数据，包括关节位置和姿态位置。处理器226可以访问来自存储器227的程序和数据，所述程序和数据定义了人形机器人221如何移动。处理器226可以向适当的致动器223发送启动指令，以使身体部位222如程序中所定义的那样移动。
在一个方面，人形机器人221是仿生人。
计算机系统201还包括机器人编程模块211、模拟环境212、训练模块213和姿势识别系统217。机器人编程模块211可用于创建用于在人形机器人221处执行的程序，包括用于使人形机器人221执行姿势的程序。模拟环境212可以使用在传感器224处捕获的移动数据来在不同的天气条件和景观条件下以及从不同的观察角度模拟姿势的人类执行。
传感器202包括相机203、激光雷达传感器204、雷达传感器206，以及超声传感器207。当人形机器人221的各部位移动时，相机203、激光雷达传感器204、雷达传感器206和超声传感器207可以捕获与人形机器人221的运动相对应的传感器数据。传感器202可以捕获光谱的不同部分中的图像，所述光谱的不同部分包括可见光谱和红外(IR)光谱。
训练模块213包括训练数据集生成器214和验证器216。训练数据集生成器214可以生成用于训练姿势识别系统的训练数据。训练数据集生成器214可以根据在传感器202处捕获的传感器数据和/或根据在模拟环境212中观察到的虚拟数据而生成训练数据。验证器216可以基于从姿势识别系统接收的识别结果来验证姿势识别系统的识别能力。
使用训练数据，可以训练姿势识别系统217以识别人类执行的姿势，诸如在道路中执行的手姿势和手臂姿势。姿势识别系统217可以将识别结果提交给验证器以进行验证。
图3示出了用于验证姿势识别系统的姿势识别能力的示例方法300的流程图。将关于计算机体系结构200的部件和数据描述方法300。
方法300包括对人形机器人进行编程以移动一个或多个身体部位来执行姿势(301)。例如，机器人编程模块211可以对人形机器人221进行编程来执行姿势231。机器人编程模块211可以生成用于自动实施姿势231的程序，或者计算机系统201的用户可以与机器人编程模块211交互(例如，通过集成开发环境(IDE))以创建程序。计算机系统201可以经由有线和/或无线网络连接将程序传送给人形机器人221。人形机器人221可以将程序存储在存储器227(例如，系统存储器、耐久存储器等)中。
处理器226可以访问用于根据存储器227实施姿势231的程序。基于程序的内容，处理器226可以将激活指令232发送到一个或多个致动器223。激活指令232激活一个或多个致动器223以移动一个或多个身体部位222来执行姿势231。例如，激活指令232可以激活人形机器人221的手臂和手中的致动器223，以使人形机器人221做出右转的姿势。
方法300包括访问在外部监视执行姿势的人形机器人的一个或多个传感器处捕获的传感器数据(302)。例如，传感器202可以监视人形机器人221并在人形机器人221执行姿势231时捕获传感器数据234。训练模块213可以访问传感器数据234(例如，直接从传感器202访问或从计算机系统201的存储位置访问)。
方法300包括从在人形机器人处监视一个或多个身体部位和用于移动所述一个或多个身体部位的致动器的传感器接收感测到的移动数据(303)。例如，传感器224(例如，本体感受传感器)可以监视一个或多个身体部位222和用于移动所述一个或多个身体部位222的一个或多个致动器223。传感器224可以在人形机器人221执行姿势231时以指定的时间间隔感测一个或多个身体部位222和一个或多个致动器223的移动数据233(例如，位置、取向、旋转、速度、加速度等)。传感器224可以从控制人形机器人221的关节的致动器223给出直接读出。
人形机器人221可以将移动数据233发送到计算机系统201。计算机系统201可以从人形机器人221接收移动数据233。移动数据233可以经由有线和/或无线网络连接而从人形机器人221传输到计算机系统201。移动数据233可以存储在计算机系统201的存储设备中，并用于重演姿势231的执行。
方法300包括将感测到的移动数据发送到模拟环境(304)。例如，计算机系统201可以将移动数据233发送到模拟环境212(例如，游戏引擎)。模拟环境212可以使用移动数据233来模拟执行姿势231的人类(例如，动画演员)。模拟环境212可以使用移动数据233以多次(例如，数百次、数千次，或甚至数百万次)重复模拟姿势231的人类执行。
每次模拟姿势的人类执行时，可以改变模拟的各个方面。例如，可以改变模拟人类的外观，可以改变模拟人类的服装，可以改变模拟天气条件，可以改变模拟位置，可以改变模拟景观等。也可以改变观察模拟人类的视角。从不同的视角观察模拟人类可导致更稳健和多样化的训练数据，因为姿势的执行可能因不同的观看视角而看起来不同。
可以在模拟环境212中实体化虚拟传感器(模拟一个或多个真实世界传感器)。虚拟传感器可以在姿势231的模拟被执行时监视姿势231的每个模拟执行并记录虚拟传感器数据(类似于对传感器数据234的真实世界捕获)。在虚拟传感器处记录的关于姿势231的每个模拟执行的虚拟传感器数据可以组合成虚拟数据236。模拟引擎212可以将虚拟数据236发送给训练模块213。
方法300包括接收由虚拟传感器记录的虚拟数据，所述虚拟传感器监视使用移动数据致动以在模拟环境中执行姿势的动画演员(305)。例如，训练模块213可以从模拟环境212接收虚拟数据236。在模拟环境212中，移动数据233可用于致动由动画演员进行的姿势231的执行。实体化的虚拟传感器可以监视动画演员并且记录来自执行姿势231的所述动画演员的虚拟传感器数据。模拟环境212可以将来自各个虚拟传感器的虚拟传感器数据组合成虚拟数据236，并且可以将所述虚拟数据236发送给训练模块213。
方法300包括根据所访问的传感器数据和/或虚拟数据生成姿势识别训练数据(306)。例如，训练数据集生成器214可以根据传感器数据234和/或虚拟数据236生成训练数据237。根据传感器数据234和虚拟数据236两者生成训练数据237改善了用于生成训练数据237的数据的质量和数量。
姿势编程模块211还可以向训练模块213指示姿势231。训练模块213可基于姿势231的人形机器人221执行而将姿势231与传感器数据234、虚拟数据236和训练数据237相关联。
方法300包括使用姿势识别训练数据来训练姿势识别系统以识别姿势的人类执行(307)。例如，训练模块213可以使用训练数据237来训练姿势识别系统217(例如，用于自动化车辆的姿势识别系统)以识别执行姿势231的人类。
方法300包括验证姿势识别系统的基于训练来识别姿势的人类执行的能力(308)。例如，在训练期间和/或之后，姿势识别系统217可以尝试根据一个或多个人的行为来识别姿势231的人类执行。可以在识别结果238中指示尝试识别姿势231的人类执行的结果。姿势识别系统217可以将识别结果238发送给验证器216。验证器216可以从姿势识别系统217接收识别结果238。验证器216可以基于识别结果238来验证姿势识别系统217的识别能力。
当姿势识别系统217的识别能力不足时，姿势识别系统217可以经历进一步的训练。在一个方面，附加训练包括使用训练数据集237进行进一步训练。在另一方面，人形机器人221可被编程为执行姿势231的附加迭代。还可以使用移动数据223和/或从人形机器人221的附加迭代获取的移动数据，来在模拟环境212中模拟姿势231的另外执行。
分别来自附加迭代和/或附加模拟的附加传感器数据和/或虚拟数据可以用于生成附加训练数据。附加训练数据可用于进一步训练姿势识别系统217以识别姿势231的人类执行。验证器216可以再次基于进一步的识别结果来验证姿势识别系统217的识别能力。训练可以继续，直到姿势识别系统217的识别能力被验证为足以识别姿势231的人类执行。
在一些方面，人形机器人221被编程为在持续的基础上(例如，数百次、数千次，或甚至数百万次)重复执行姿势231。传感器202可以捕获关于姿势231的每个执行的传感器数据。传感器202和人形机器人221相对于彼此的位置也可以变化(例如，方向、距离等可以变化)。改变相对位置允许传感器202从不同视角获得关于姿势231的执行的传感器数据。从不同视角感测数据可以导致更稳健和多样化的训练数据，因为姿势的执行可能因不同的观看视角而看起来不同。不同的传感器202也可以相对于人形机器人定位在不同的位置。将不同传感器202定位在不同位置允许传感器202基本上同时捕获来自不同视角的关于姿势231的相同执行的传感器数据。
人形机器人221的周围环境也可以变化，例如，在停车场、十字路口、人行横道等的实体模型之间变化。也可以将人形机器人221物理地运输到不同位置，例如运输到真实的十字路口、人行横道或停车场。人形机器人221可被编程为(可能重复地)在每个不同的实体模型中和/或在每个不同的实际位置中执行姿势231。传感器202可以监视每个不同的实体模型中和/或每个不同的实际位置中姿势231的执行。在一些方面，人形机器人221和传感器202定位在道路的侧边。
类似地，动画人可被编程为在模拟环境212中在持续的基础上(例如，数百次、数千次，或甚至数百万次)重复执行姿势231。虚拟传感器(模拟真实世界传感器)可以捕获关于姿势231的每种执行的虚拟传感器数据。虚拟传感器和动画人相对于彼此的位置也可以变化(例如，方向、距离等可以变化)。改变相对位置允许虚拟传感器从不同视角获得关于姿势231的执行的虚拟传感器数据。从不同视角感测虚拟数据可以导致更稳健和多样化的训练数据，因为姿势的执行可能因不同的观看视角而看起来不同。不同类型的虚拟传感器(模拟不同类型的真实世界传感器)也可以定位在相对于动画人的不同位置。将不同类型的虚拟传感器定位在不同位置允许虚拟传感器基本上同时捕获来自不同视角的关于姿势231的相同执行的不同类型的虚拟传感器数据。
动画人的虚拟周围环境也可以变化，例如在停车场、十字路口、人行横道等的实体模型之间变化。动画人可以被编程为(可能重复地)在每个不同的虚拟周围环境中执行姿势231。虚拟传感器可以监视每个不同虚拟周围环境中的姿势231的执行。在一些方面，动画人和虚拟传感器被模拟为在道路的侧边，在过往的车辆中等。
图4示出了人形机器人400的不同视图的示例。人形机器人400包括各种身体部位，包括：头部401、躯干402、手臂403A、手臂403B、手404A、手404B、手指408A、手指408B、腿406A、腿406B、脚407A和脚408B。机器人400还可包括处理器、存储器、致动器和传感器。处理器可以访问用于根据存储器实施姿势的程序。处理器可以执行程序以将激活指令发送到指定身体部位的致动器，以使所述指定身体部位以实施姿势的方式移动。本体感受传感器可以在移动期间监视身体部位和执行器，以捕捉移动数据，包括关节和姿态位置。本体感受传感器可以将移动数据发送给计算机系统以在模拟环境中使用。
在其他方面，人形机器人可以是包括类似于人形机器人400的部件并且具有在美学上类似于人类的各种身体部位的仿生人。
图5示出了在道路环境500中执行姿势的人形机器人400。道路环境500包括道路541。车道线522将道路541的车道分开。如图所示，汽车502(可能是自主车辆)正在接近停止标志524和人行横道523。机器人400(可能重复地)通过基本上垂直地上下移动手臂403A来做出“减速”姿势。
传感器501和/或传感器503(例如，一个或多个相机、激光雷达传感器、雷达传感器、超声传感器等)正在监视机器人400。传感器501和/或传感器503可以在机器人400执行“减速”姿势时捕获传感器数据。由传感器501和/或传感器503捕获的传感器数据以及在集成于机器人400中的传感器处监视到的移动数据，可以无线地发送到计算机系统，该计算机系统生成用于姿势识别系统的训练数据。可替代地或组合地，捕获的传感器数据可以存储在传感器501本地的计算机系统处和/或存储在集成到汽车502中的车载计算机系统处。
因此，本发明的各方面提供了一种用于生成姿势数据并训练和验证姿势识别系统的成本有效的高效机制，所述机制与雇用人类演员相比易于扩展。人形机器人的使用允许直接读出人形机器人的关节位置和取向，然后可以使用所述人形机器人的关节位置和取向来对模拟(动画)演员的关节/姿态进行编程。人形机器人的使用还相对于人类演员增加了执行姿势的一致性，因为人形机器人不会疲劳并且不容易出错
在一个方面，一个或多个处理器被配置为执行指令(例如，计算机可读指令、计算机可执行指令等)以执行多个所描述的操作中的任何操作。一个或多个处理器可以从系统存储器访问信息和/或将信息存储在系统存储器中。一个或多个处理器可以将信息在不同格式之间转换，所述不同格式为例如姿势程序、激活指令、移动数据、传感器数据、虚拟数据、姿势、训练数据、识别结果等。
系统存储器可以耦合到一个或多个处理器，并且可以存储由所述一个或多个处理器执行的指令(例如，计算机可读指令、计算机可执行指令等)。系统存储器还可以被配置为存储由所描述的部件生成的多种其他类型的数据中的任何一种数据，例如姿势程序、激活指令、移动数据、传感器数据、虚拟数据、姿势、培训数据、识别结果等。
在上述公开内容中，参考了形成其一部分的附图，并且附图中以图解方式示出了可以实践本公开的具体实现方式。应当理解，可以利用其他实现方式并且可以在不背离本公开的范围的情况下进行结构改变。说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括所述特定特征、结构或特性。此外，这类短语不一定是指相同的实施例。另外，当结合实施例描述特定特征、结构或特性时，应当认为无论是否明确描述，本领域技术人员在其知识范围内都可以结合其他实施例来实现这种特征、结构或特性。
本文所公开的系统、设备和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括诸如像一个或多个处理器和系统存储器等计算机硬件，如本文所讨论。本公开范围内的实现方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理媒介和其他计算机可读媒介。这种计算机可读媒介可以是可由通用或专用计算机系统访问的任何可用媒介。存储计算机可执行指令的计算机可读媒介是计算机存储媒介(设备)。承载计算机可执行指令的计算机可读媒介是传输媒介。因此，作为示例而非限制，本公开的实现方式可以包括至少两种完全不同的计算机可读媒介：计算机存储媒介(设备)和传输媒介。
计算机存储介质(设备)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储设备、磁盘存储设备或其他磁存储设备、或可用于以计算机可执行指令或数据结构的形式存储所需程序代码手段并且可由通用或专用计算机访问的任何其他介质。
本文所公开的设备、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得电子数据能够在计算机系统和/或模块和/或其他电子设备之间传输的一条或多条数据链路。当信息通过网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)传输或提供给计算机时，计算机正确地将所述连接视为传输媒介。传输媒介可以包括可用于以计算机可执行指令或数据结构的形式承载所需程序代码手段并且可由通用或专用计算机访问的网络和/或数据链路。上述的组合也应该包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器上执行时使通用计算机、专用计算机或专用处理设备执行某个功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令或者甚至是源代码。尽管用结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求书中限定的主题不一定限于上文所描述的特征或上文所描述的动作。相反，所描述的特征和动作是作为实现权利要求的示例形式而公开。
本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机或其他车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机、各种存储设备等等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备两者中。
另外，在适当的情况下，本文所描述的功能可以以下各者中的一个或多个执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文所描述的系统和过程中的一个或多个。整个说明书和权利要求书中使用了某些术语来指代特定系统部件。如本领域技术人员将理解，部件可以通过不同的名称来指代。本文件并不意图区分名称不同但作用相同的部件。
应当注意，上文所讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可以包括被配置成在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性设备在本文中被提供用于说明目的，而不意图限制。本公开的实施例可以在其他类型的设备中实现，如相关领域的技术人员所公知。
本公开的至少一些实施例涉及包括存储在任何计算机可用媒介上的这种逻辑(例如，以软件的形式)的计算机程序产品。这种软件当在一个或多个数据处理设备中执行时使设备如本文所述地进行操作。
虽然上文描述了本公开的各种实施例，但是应当理解，所述实施例仅以举例而非限制的方式呈现。相关领域技术人员将明白，在不背离本公开的精神和范围的情况下，可以在其中进行形式和详情的各种改变。因此，本公开的宽度和范围不应受任何上述示例性实施例限制，而应仅根据以下权利要求及其等同物来限定。先前的描述是为了说明和描述的目的而呈现。并非意图穷尽本公开或者将本公开限制于所公开的精确形式。根据上述教导，许多修改和变化是可能的。此外，应当注意，可以所需的任何组合来使用任何或所有的上述替代实现方式，以形成本公开的另外的混合实现方式。
根据本发明，一种方法包括：对人形机器人进行编程以移动身体部位来执行姿势；从在外部监视执行所述姿势的所述人形机器人的一个或多个传感器捕获传感器数据；根据所述捕获的传感器数据生成姿势识别训练数据；以及使用所述姿势识别训练数据来训练姿势识别系统以识别执行所述姿势的人。
根据一个实施例，从监视所述人形机器人的一个或多个传感器捕获传感器数据包括从监视道路环境中的所述人形机器人的一个或多个传感器捕获传感器数据。
根据一个实施例，对人形机器人进行编程以移动身体部位来执行姿势包括对人形机器人进行编程以移动手或手臂。
根据一个实施例，对人形机器人进行编程以移动身体部位来执行姿势包括对所述人形机器人进行编程以多次执行所述姿势；并且其中捕获传感器数据包括在所述人形机器人多次执行所述姿势时捕获传感器数据。
根据一个实施例，从一个或多个传感器捕获传感器数据包括从以下各者中的一者或多者捕获传感器数据：相机、激光雷达传感器或雷达传感器。
根据一个实施例，使用所述姿势识别训练数据来训练姿势识别系统包括使用所述姿势识别训练数据来训练自动化车辆姿势识别系统。
根据本发明，一种用于生成姿势识别训练数据的方法，所述方法包括：对人形机器人进行编程以移动多个身体部位来执行道路姿势；从监视执行所述道路姿势的所述人形机器人的一个或多个外部传感器捕获传感器数据；根据所述捕获的传感器数据生成姿势识别训练数据；以及使用所述姿势识别训练数据来训练姿势识别系统以识别执行所述道路姿势的人。
根据一个实施例，本发明的特征还在于，从所述人形机器人处的一个或多个其他传感器接收感测到的移动数据，所述一个或多个其他传感器监视所述多个身体部位和用于移动所述多个身体部位的多个致动器；将所述感测到的移动数据发送到模拟环境；以及接收由监视所述模拟环境中的动画演员的虚拟传感器记录的虚拟数据，其中使用所述感测到的移动数据致动所述动画演员以在所述模拟环境中执行所述道路姿势。
根据一个实施例，生成姿势识别训练数据包括根据所述捕获的传感器数据和所述虚拟数据生成姿势识别数据。
根据一个实施例，接收通过在所述模拟环境中使用所述移动数据执行所述道路姿势而生成的虚拟数据包括接收在所述模拟环境中使用多个不同天气条件而生成的虚拟数据。
根据一个实施例，接收通过在所述模拟环境中使用所述移动数据执行所述道路姿势而生成的虚拟数据包括接收使用多个模拟人生成的虚拟数据以执行所述姿势，所述多个模拟人中的每一个模拟人具有不同的物理特征并且穿着不同的衣服。
根据一个实施例，接收通过在所述模拟环境中使用所述移动数据执行所述道路姿势而生成的虚拟数据包括接收在所述模拟环境中使用多个不同景观而生成的虚拟数据。
根据一个实施例，接收指示所述多个身体部位中的每一个身体部位的位置、速度和加速度的感测到的移动数据包括接收指示所述人形机器人处的关节位置和姿态的感测到的力矩数据。
根据一个实施例，对人形机器人进行编程以移动多个身体部位来执行道路姿势包括对所述人形机器人进行编程以执行选自以下各者的道路姿势：发信号指示车辆打开所述车辆的行李厢；发信号指示汽车在人行横道处停下来或继续行驶；发信号指示交通在十字路口处停下来；或者发信号指示转弯。
根据一个实施例，从一个或多个传感器捕获传感器数据包括从以下各者中的一者或多者捕获传感器数据：在外部监视所述人形机器人的相机、激光雷达传感器或雷达传感器。
根据一个实施例，本发明的特征还在于从所述姿势识别系统接收识别结果，所述识别结果指示尝试识别人类对所述姿势的执行的结果；以及基于所述识别结果来验证所述姿势识别系统的所述识别能力。
根据本发明，提供了一种计算机系统，所述计算机系统具有：处理器和耦合到所述处理器的系统存储器，以及被配置为使所述处理器执行以下操作的存储指令：对人形机器人进行编程以移动多个身体部位来执行道路姿势；从监视执行所述道路姿势的所述人形机器人的一个或多个传感器捕获传感器数据；根据所述捕获的传感器数据生成姿势识别训练数据；以及使用所述姿势识别训练数据来训练姿势识别系统以识别执行所述道路姿势的人。
根据一个实施例，本发明的特征还在于被配置为使所述处理器执行以下操作的指令：从在所述人形机器人处监视所述多个身体部位和用于移动所述多个身体部位的致动器的传感器接收感测到的移动数据，所述感测到的移动数据指示所述多个身体部位中的每一个身体部位在所述道路姿势的执行期间的不同时间的位置、速度和加速度；将所述感测到的移动数据发送到模拟环境；接收通过在所述模拟环境中使用所述移动数据执行所述道路姿势而生成的虚拟数据。
根据一个实施例，被配置为使所述处理器对人形机器人进行编程以移动多个身体部位的指令包括被配置为使所述处理器对人形机器人进行编程以移动以下各者中的两者或更多者的指令：手臂、腿、手或头。
根据一个实施例，被配置为使所述处理器使用所述姿势识别训练数据来训练姿势识别系统的指令包括被配置为使所述处理器使用所述姿势识别训练数据来训练自动化车辆姿势识别系统的指令。

Claims (15)

1.一种方法，所述方法包括：
对人形机器人进行编程以移动身体部位来执行姿势；
从在外部监视执行所述姿势的所述人形机器人的一个或多个传感器捕获传感器数据；
根据所述捕获的传感器数据生成姿势识别训练数据；以及
使用所述姿势识别训练数据来训练姿势识别系统以识别执行所述姿势的人。
2.如权利要求1所述的方法，其中对人形机器人进行编程以移动身体部位来执行姿势包括对人形机器人进行编程以移动手或手臂；并且
其中从监视所述人形机器人的一个或多个传感器捕获传感器数据包括从监视道路环境中的所述人形机器人的一个或多个传感器捕获传感器数据。
3.如权利要求1所述的方法，其中对人形机器人进行编程以移动身体部位来执行姿势包括对所述人形机器人进行编程以多次执行所述姿势；并且
其中捕获传感器数据包括在所述人形机器人多次执行所述姿势时捕获传感器数据。
4.如权利要求1所述的方法，其中从一个或多个传感器捕获传感器数据包括从以下各者中的一者或多者捕获传感器数据：相机、激光雷达传感器或雷达传感器。
5.一种生成姿势识别训练数据的方法，所述方法包括：
对人形机器人进行编程以移动多个身体部位来执行道路姿势；
从监视执行所述道路姿势的所述人形机器人的一个或多个外部传感器捕获传感器数据；
从所述捕获的传感器数据生成姿势识别训练数据；以及
使用所述姿势识别训练数据来训练姿势识别系统以识别执行所述道路姿势的人。
6.如权利要求5所述的方法，所述方法还包括：
从所述人形机器人处的一个或多个其他传感器接收感测到的移动数据，所述一个或多个其他传感器监视所述多个身体部位和用于移动所述多个身体部位的多个致动器；
将所述感测到的移动数据发送到模拟环境；以及
接收由监视所述模拟环境中的动画演员的虚拟传感器记录的虚拟数据，其中使用所述感测到的移动数据致动所述动画演员以在所述模拟环境中执行所述道路姿势。
7.如权利要求6所述的方法，其中生成姿势识别训练数据包括根据所述捕获的传感器数据和所述虚拟数据生成姿势识别数据。
8.如权利要求6所述的方法，其中接收通过在所述模拟环境中使用所述移动数据执行所述道路姿势而生成的虚拟数据包括接收在所述模拟环境中使用多个不同天气条件而生成的虚拟数据。
9.如权利要求6所述的方法，其中接收指示所述多个身体部位中的每一个身体部位的位置、速度和加速度的感测到的移动数据包括接收指示所述人形机器人处的关节位置和姿态的感测到的力矩数据。
10.如权利要求5所述的方法，其中对人形机器人进行编程以移动多个身体部位来执行道路姿势包括对人形机器人进行编程以执行选自以下各者的道路姿势：
发信号指示车辆打开所述车辆的行李厢；
发信号指示汽车在人行横道处停下来或继续行驶；
发信号指示交通在十字路口处停下来；或者
发信号指示转弯。
11.如权利要求5所述的方法，所述方法还包括：
从所述姿势识别系统接收识别结果，所述识别结果指示尝试识别人类对所述姿势的执行的结果；以及
基于所述识别结果来验证所述姿势识别系统的所述识别能力。
12.一种计算机系统，所述计算机系统包括：
处理器；以及
系统存储器，所述系统存储器耦合到所述处理器并存储指令，所述指令被配置为使所述处理器：
对人形机器人进行编程以移动多个身体部位来执行道路姿势；
从监视执行所述道路姿势的所述人形机器人的一个或多个传感器捕获传感器数据；
根据所述捕获的传感器数据生成姿势识别训练数据；以及
使用所述姿势识别训练数据来训练姿势识别系统以识别执行所述道路姿势的人。
13.如权利要求12所述的计算机系统，所述计算机系统还包括被配置为使所述处理器执行以下操作的指令：
从在所述人形机器人处监视所述多个身体部位和用于移动所述多个身体部位的致动器的传感器接收感测到的移动数据，所述感测到的移动数据指示所述多个身体部位中的每一个身体部位在所述道路姿势的执行期间的不同时间的位置、速度和加速度；
将所述感测到的移动数据发送到模拟环境；
接收通过在所述模拟环境中使用所述移动数据执行所述道路姿势而生成的虚拟数据。
14.如权利要求12所述的计算机系统，其中被配置为使所述处理器对人形机器人进行编程以移动多个身体部位的指令包括被配置为使所述处理器对人形机器人进行编程以移动以下各者中的两者或更多者的指令：手臂、腿、手或头。
15.如权利要求12所述的计算机系统，其中被配置为使所述处理器使用所述姿势识别训练数据来训练姿势识别系统的指令包括被配置为使所述处理器使用所述姿势识别训练数据来训练自动化车辆姿势识别系统的指令。
CN201910103313.2A 2018-02-01 2019-02-01 验证自动化系统的姿势识别能力 Pending CN110110735A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/886,707 2018-02-01
US15/886,707 US10726248B2 (en) 2018-02-01 2018-02-01 Validating gesture recognition capabilities of automated systems

Publications (1)

Publication Number Publication Date
CN110110735A true CN110110735A (zh) 2019-08-09

Family

ID=65997877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910103313.2A Pending CN110110735A (zh) 2018-02-01 2019-02-01 验证自动化系统的姿势识别能力

Country Status (4)

Country Link
US (1) US10726248B2 (zh)
CN (1) CN110110735A (zh)
DE (1) DE102019102518A1 (zh)
GB (1) GB2572472B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877152B2 (en) * 2018-03-27 2020-12-29 The Mathworks, Inc. Systems and methods for generating synthetic sensor data
KR102256329B1 (ko) * 2020-02-20 2021-05-27 주식회사 비전브이알 인터랙티브 가상현실 컨텐츠의 제공방법 및 장치
CN111401261B (zh) * 2020-03-18 2022-06-10 金陵科技学院 基于gan-cnn框架的机器人手势识别方法
CN111723688B (zh) * 2020-06-02 2024-03-12 合肥的卢深视科技有限公司 人体动作识别结果的评价方法、装置和电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996015B2 (ja) 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
KR101317383B1 (ko) 2011-10-12 2013-10-11 한국과학기술연구원 로봇을 이용한 인지 능력 훈련 장치 및 그 방법
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control
US9329597B2 (en) 2014-01-17 2016-05-03 Knightscope, Inc. Autonomous data machines and systems
US9014905B1 (en) 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
US9586585B2 (en) 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
CN104850234A (zh) 2015-05-28 2015-08-19 成都通甲优博科技有限责任公司 一种基于表情识别的无人机控制方法及系统
US11112781B2 (en) * 2015-07-31 2021-09-07 Heinz Hemken Training an autonomous robot using previously captured data
US9864918B2 (en) 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language
US10338686B2 (en) * 2016-03-31 2019-07-02 Disney Enterprises, Inc. Control system using aesthetically guided gesture recognition
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
CN106845430A (zh) 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
US10751879B2 (en) 2017-06-05 2020-08-25 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US10612929B2 (en) * 2017-10-17 2020-04-07 AI Incorporated Discovering and plotting the boundary of an enclosure
CN107729854A (zh) 2017-10-25 2018-02-23 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、系统及机器人

Also Published As

Publication number Publication date
GB201901308D0 (en) 2019-03-20
GB2572472B (en) 2021-02-17
US10726248B2 (en) 2020-07-28
US20190236341A1 (en) 2019-08-01
GB2572472A (en) 2019-10-02
DE102019102518A1 (de) 2019-08-01

Similar Documents

Publication Publication Date Title
CN110110735A (zh) 验证自动化系统的姿势识别能力
Ji et al. A survey of human action analysis in HRI applications
EP1343115B1 (en) Robot apparatus; face recognition method; and face recognition apparatus
KR102044665B1 (ko) 로봇 시스템이 작업을 수행하기 위한 명령어를 생성하기 위한 방법 및 시스템
Tao et al. Integration of vision and inertial sensors for 3D arm motion tracking in home-based rehabilitation
Dai et al. Automatic obstacle avoidance of quadrotor UAV via CNN-based learning
US11577388B2 (en) Automatic robot perception programming by imitation learning
CA2882968C (en) Facilitating generation of autonomous control information
Basu et al. Trust dynamics in human autonomous vehicle interaction: a review of trust models
Liu et al. High-fidelity grasping in virtual reality using a glove-based system
CN108297098A (zh) 人工智能驱动的机器人控制系统及方法
CN106471505A (zh) 使用物理引擎控制物理玩具
Elbasiony et al. Humanoids skill learning based on real-time human motion imitation using Kinect
JP6950192B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN110456902A (zh) 跟踪用户移动以控制计算机系统中的骨架模型
Nguyen et al. Reaching development through visuo-proprioceptive-tactile integration on a humanoid robot-a deep learning approach
Prasad et al. Hand gesture controlled robot
Rodić et al. Building technology platform aimed to develop service robot with embedded personality and enhanced communication with social environment
Lo et al. Realization of sign language motion using a dual-arm/hand humanoid robot
Weaver The new driver's ED: Game developers teach Cruise's autonomous vehicles to understand gestures made by people on the street
EP3738726B1 (en) Animal-shaped autonomous moving body, method of operating animal-shaped autonomous moving body, and program
US20210389767A1 (en) Information processing apparatus, information processing method, and program
Bera et al. Gaze-Informed Multi-Objective Imitation Learning from Human Demonstrations
TW200941236A (en) Simulated teaching system for emulated intelligent robot
Cascone et al. Waiting for tactile: robotic and virtual experiences in the fog

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination