CN112936342B - 基于人体姿态识别算法的实体机器人动作评测系统及方法 - Google Patents

基于人体姿态识别算法的实体机器人动作评测系统及方法 Download PDF

Info

Publication number
CN112936342B
CN112936342B CN202110145092.2A CN202110145092A CN112936342B CN 112936342 B CN112936342 B CN 112936342B CN 202110145092 A CN202110145092 A CN 202110145092A CN 112936342 B CN112936342 B CN 112936342B
Authority
CN
China
Prior art keywords
evaluation
data
action
robot
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110145092.2A
Other languages
English (en)
Other versions
CN112936342A (zh
Inventor
刘德建
林剑锋
林小红
林琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian TQ Digital Co Ltd
Original Assignee
Fujian TQ Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian TQ Digital Co Ltd filed Critical Fujian TQ Digital Co Ltd
Priority to CN202110145092.2A priority Critical patent/CN112936342B/zh
Publication of CN112936342A publication Critical patent/CN112936342A/zh
Application granted granted Critical
Publication of CN112936342B publication Critical patent/CN112936342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095Means or methods for testing manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了基于人体姿态识别算法的实体机器人动作评测系统及方法,所述系统包括实体机器人动作测评执行模块、人体姿态算法模块、监控预警模块、数据存储模块和评测报告模块,所述实体机器人动作测评模块负责根据测评需求信息,发起执行测评请求,下发执行测评命令;所述人体姿态算法模块负责根据测试集的动作使用人体姿态识别算法检测人体姿态的关键点,传给服务端,对其进行解析,转成对应的动作数据下发给机器人执行对应动作;所述监控预警模块负责监控实体机器人情况,将对应的设备信息推送给用户,用户试试了解设备情况,上报当前实体机器人的具体情况;本发明能够对实体机器人的动作进行测评分析和记录。

Description

基于人体姿态识别算法的实体机器人动作评测系统及方法
技术领域
本发明涉及机器人测试技术领域,特别是基于人体姿态识别算法的实体机器人动作评测系统及方法。
背景技术
随着社会不断地进步,用户对实体机器人的智能度越来越高,不再满足于语言对话及机械般的动作,更希望它能够做出更贴近人类的表情、动作、眼神、甚至是情感等等,能为我们的生活及工作添加些色彩。目前针对实体机器人的动作的标准性及稳定性测试没有很好地方法,更多地是通过人工方式,并且测试的方式很繁琐,准确性不高。在研发机器人的过程中需要对机器人的动作行为进行测试,使得机器人动作能到达标准,甚至能够达到业界的顶峰。
近年来,基于深度学习的人体姿态识别的研究越来越多,出现了基于不同数据源:深度图或RGB视频的人体关节的人体动作分类的方法以及特征表示方法。人体姿态估计是计算机视觉中一个基础的问题,是对“人体”的姿态(关键点,比如头,手,脚等)的位置。人体姿态识别可分为两种思路,一是先检测图片中人体所在的区域,再检测区域内的人体关键点。二是先检测图片中所有的人体关键点,然后把这些关键点对应到不同的人物个体。
现有技术中实体机器人在设计及研发时,是有标准的角度要求,但是实体机器人会受硬件材料等影响,很多时候装机后,动作、表情等行为会受到影响,甚至会出入,而目前评测方式是通过人为去判断,但是这种方式是主观意识,每个人的评测标准不一样,谈不上客观性。
实体机器人是由软硬件组成,每台设备多少会存在区别,并且受使用环境,比如说网络的不同,也会影响机器人的动作情况,对于每台实体机器人应该进行监控及评测是很有必要,若是以目前的人工技术进行测试,达不到对应的效果,并且人工成本很高,对于一些运营中的机器人无法进行实时现场监控机器人的动作及表情等是否正确,故而对机器人的监控是势在必行的事情。
每次新增实体机器人或者新增新的能力,就需要进行评测,这个是很庞大的工作量并且人工进行评测也很吃力,人工的能力无法达到。
运营中的实体机器人使用久后,可能因为硬件寿命问题,会导致机构或者是舵机问题,而影响机器人的动作,需要工程师进行维护。工程师维护后,需要对机器人的动作行为进行测试是否已恢复到正常状态,这个时候单凭肉眼是无法测试出来,需要专业的技术进行测试。
在平时研发过程中,需要针对每个部位的动作(比如脸部、头部、手臂、手掌、腿部、脚部及身体等等)进行测试,测试出每个部位在标准的动作下,整机的机器人的稳定性及零件、机构的最大寿命的情况进行测试,以评测出最完美的研发方案做出好的产品,但目前并没有标准化针对这块有很好的测试方案。
发明内容
为克服上述问题,本发明的目的是提供基于人体姿态识别算法的实体机器人动作评测系统及方法,能够对实体机器人的动作进行测评分析和记录。
本发明采用以下方案实现:一种基于人体姿态识别算法的实体机器人动作评测系统,其特征在于:所述系统包括实体机器人动作测评执行模块、人体姿态算法模块、监控预警模块、数据存储模块和评测报告模块,
所述实体机器人动作测评模块负责根据测评需求信息,发起执行测评请求,下发执行测评命令;
所述人体姿态算法模块负责根据测试集的动作使用人体姿态识别算法检测人体姿态的关键点,传给服务端,对其进行解析,转成对应的动作数据下发给机器人执行对应动作;
所述监控预警模块负责监控实体机器人情况,将对应的设备信息推送给用户,用户试试了解设备情况,上报当前实体机器人的具体情况;
所述数据存储模块负责存储用于评测实体机器人动作的评测测试集和算法测试集,并且存储每个实体机器人的评测数据,以实体机器人的每次测试作为唯一标识来记录数据,为后续数据进行分析及实体机器人深度学习做准备;
所述评测报告模块负责对实体机器人的动作评测结果进行数据分析,将动作评测结果的数据、评测结果统计、评测覆盖率和评测结论分析进行图形化展示。
进一步的, 所述动作测评执行模块进一步包括:检测单元、监控单元和创建任务单元,所述检测单元,用于实时检测是否有待执行执行测评的请求;所述监控单元,启动多线程,通过多线程去监控实体机器人,检测到有新增评测任务,系统就会根据评测需求,调用所需的测试集;所述创建任务单元,用于让客户选择是否需要对实体机器人的动作进行监控,是,则根据需求创建监控任务,否,则不需要对实体机器人进行监控,若无待执行测评请求,继续等待。
进一步的,所述人体姿态算法模块进一步包括:请求单元、执行单元、解析单元和判断单元,所述请求单元,用于实时监测是否有图片检测请求;所述执行单元,用于判断请求单元是否有图片检测请求,是,则对图片进行检测,并且输出人体姿态的关键值发给服务端进行数据转换为实体机器人可执行的动作数据指令,否,则无图片进行检测;所述解析单元,用于在实体机器人接受指令后,开始执行动作,并记录执行完后的动作数据,再传给服务端,服务端对动作数据进行解析,与原先人体姿态算法的关键点值进行对比,查看是否一致,从而得到实体机器人当前的动作是否正确;所述判断单元,用于判断当前的测试集是否为新的测试集,是,则获取为实体机器人动作训练数据,自行进行人体姿态算法训练,完善动作评测模型,否,则按照之前的测试集对实体机器人进行动作训练。
进一步的,所述监控预警模块进一步包括:接收单元和执行命令单元,所述接收单元,用于接收监控任务,设置监控参数,选择要监控的动作数据;所述执行命令单元,用于执行监控命令,收集到实体机器人上传的动作数据,服务端对实体机器人上传的动作数据进行处理,并且把动作数据与人体姿态检测对应的动作数据进行比对,验证是否有异常,有,则下发预警信息给客户,无,则继续进行监控。
进一步的,所述存储测评模块进一步的具体为:接收评测结果的评测数据进行存储,将每一次的测试数据进行存储,并对每一次的测试数据进行标识记录,在进行动作数据分析时,便于区分每次测试的动作数据。
进一步的,所述测试报告模块进一步包括:读取单元和数据分析单元,所述读取单元,用于读取所述存储评测模块的评测数据,进行分析,统计上万次的结果数据使用程序进行数据分析,计算出评测数据分布及实体机器人每个能力中的各个环节响应时间,提出可优化建议;所述数据分析单元,用于将总评测结果的效果图、评测覆盖率和评测结果分析及建议均通过图形化展示,生成评测报告,便于研究员进行数据分析。
本发明还提供了一种基于人体姿态识别算法的实体机器人动作评测方法,其特征在于,包括以下步骤:
步骤S1、动作执行测评即接收用户的测评需求信息,根据测评需求信息,发起执行测评的请求,下方执行测评的命令,实体机器人执行测评;
步骤S2、人体姿态算法分析即根据动作数据的测试集动作使用人体姿态算法在实体机器人执行测评动作时,检测人体姿态的关键点,传给服务端,针对实体机器人的动作数据进行解析,转成对应的动作数据下发给机器人执行;
步骤S3、监控预警即在实体机器人执行动作时,监控实体机器人的动作执行情况,将对应的实体机器人设备信息推送给用户,上报当前实体机器人的测评情况,设置预警阈值,到达预警阈值时,对用户进行预警;
步骤S4、存储数据即将每次实体机器人的评测测试集和算法测试集进行存储,且对每个实体机器人的评测数据进行存储,以实体机器人及每次测试为唯一标识来进行数据记录;
步骤S5、评测报告即将实体机器人的测评结果进行数据分析、评测结果的统计、评测覆盖率和评测结论的分析通过图形化进行展示。
进一步的,所述步骤S1进一步具体包括以下步骤:
步骤S11、实时检测是否有待执行执行测评的请求;
步骤S12、启动多线程,通过多线程去监控实体机器人,检测到有新增评测任务,系统就会根据评测需求,调用所需的测试集;
步骤S13、让客户选择是否需要对实体机器人的动作进行监控,是,则根据需求创建监控任务,否,则不需要对实体机器人进行监控,若无待执行测评请求,继续等待。
进一步的,所述步骤S2进一步具体包括以下步骤:
步骤S21、实时监测是否有图片检测请求;
步骤S22、判断请求单元是否有图片检测请求,是,则对图片进行检测,并且输出人体姿态的关键值发给服务端进行数据转换为实体机器人可执行的动作数据指令,否,则无图片进行检测;
步骤S23、在实体机器人接受指令后,开始执行动作,并记录执行完后的动作数据,再传给服务端,服务端对动作数据进行解析,与原先人体姿态算法的关键点值进行对比,查看是否一致,从而得到实体机器人当前的动作是否正确;
步骤S24、判断当前的测试集是否为新的测试集,是,则获取为实体机器人动作训练数据,自行进行人体姿态算法训练,完善动作评测模型,否,则按照之前的测试集对实体机器人进行动作训练。
进一步的,所述步骤S3进一步具体包括以下步骤:
步骤S31、接收监控任务,设置监控参数,选择要监控的动作数据;
步骤S32、执行监控命令,收集到实体机器人上传的动作数据,服务端对实体机器人上传的动作数据进行处理,并且把动作数据与人体姿态检测对应的动作数据进行比对,验证是否有异常,有,则下发预警信息给客户,无,则继续进行监控。
进一步的,所述步骤S4进一步具体为:接收评测结果的评测数据进行存储,将每一次的测试数据进行存储,并对每一次的测试数据进行标识记录,在进行动作数据分析时,便于区分每次测试的动作数据。
进一步的,所述步骤S5进一步具体包括以下步骤:
步骤S51、读取所述存储评测模块的评测数据,进行分析,统计上万次的结果数据使用程序进行数据分析,计算出评测数据分布及实体机器人每个能力中的各个环节响应时间,提出可优化建议;
步骤S52、将总评测结果的效果图、评测覆盖率和评测结果分析及建议均通过图形化展示,生成评测报告,便于研究员进行数据分析。
本发明的有益效果在于:通过本发明提供的方式可以自动化完成实体机器人动作的评测,从多方面去考核实体机器人的行为正确性,提升了评测结果的可信度;通过本发明提供的方式可以自动化完成实体机器人的动作评测的全部过程,无需人员参与,在整个过程中节省了时间成本;通过本发明提供的方式相比与人工评测,自动化评测对人员的能力要求非常低,无经验人员就可以操作;在评测效率上会是人工评测以成倍的提升,有很大的价值;通过本发明提供的方式可解决很多重复性评测内容,无需担心评测的内容过于庞大,并输出评测报告,提高测试效率;通过本发明提高的方式可提升评测的能力,减少实体机器人新增能力,就要进行代码维护的时间成本,实现快速评测的需求。
附图说明
图1是本发明的系统原理框图。
图2为本发明动作测评执行模块的流程图。
图3为本发明人体姿态算法模块的流程图。
图4为本发明监控预警模块的流程图。
图5为本发明存储数据模块的流程图。
图6为本发明评测报告模块的流程图。
图7为本发明的方法流程示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
请参阅图1至图6所示,本发明的一种基于人体姿态识别算法的实体机器人动作评测系统,所述系统包括实体机器人动作测评执行模块、人体姿态算法模块、监控预警模块、数据存储模块和评测报告模块,
所述实体机器人动作测评模块负责根据测评需求信息,发起执行测评请求,下发执行测评命令;
所述人体姿态算法模块负责根据测试集的动作使用人体姿态识别算法检测人体姿态的关键点,传给服务端,对其进行解析,转成对应的动作数据下发给机器人执行对应动作;
所述监控预警模块负责监控实体机器人情况,将对应的设备信息推送给用户,用户试试了解设备情况,上报当前实体机器人的具体情况;
所述数据存储模块负责存储用于评测实体机器人动作的评测测试集和算法测试集,并且存储每个实体机器人的评测数据,以实体机器人的每次测试作为唯一标识来记录数据,为后续数据进行分析及实体机器人深度学习做准备;
所述评测报告模块负责对实体机器人的动作评测结果进行数据分析,将动作评测结果的数据、评测结果统计、评测覆盖率和评测结论分析进行图形化展示。
下面结合一具体实施例对本发明做进一步说明:
一种基于人体姿态识别算法的实体机器人动作评测系统主要包含实体机器人动作评测执行模块、人体姿态算法模块、监控预警模块、数据存储模块、评测报告模块、这五个模块。其中实体机器人动作评测模块负责则根据评测需求信息,发起执行评测请求,下发执行评测命令,执行评测;人体姿态算法模块根据测试集的动作使用人体姿态识别算法检测人体姿态的关键点,传给服务端,让其针对数据进行解析,转成对应的动作数据下发给机器人执行对应的动作,所述测试集为可通过收集标准化礼仪动作视频进行播放作为测试集,比如张嘴、闭眼、微笑、点头等。还可以根据需求通过不同的人去做动作录制成视频,作为测试集。测试集主要是从这些途径获取,测试集的范围主要是:张闭嘴、睁闭眼、摇头、点头、抬手、抬脚等,根据需求获取测试集就可以;监控预警模块负责监控实体机器人的情况,会将对应的设备信息推送给用户,可实时了解设备情况,上报当前机器人的情况,比如当前机器人动作执行的角度、次数、位置等等并且可以设置预警阈值,若到了阈值,就进行预警,所述的预警阈值每个产品可能要求不一致,故预警阈值也会不一样,这个是灵活,可配置的,根据需求而设定;也可以设置常日的默认值,比如根据礼仪动作的标准进行设置;存储数据模块存储评测测试集及算法测试集,并且存储每个机器人的评测数据,以实体机器人及每次测试作为唯一标识来记录数据,为后续进行数据分析及深度学习做准备,所述的算法测试集为用于训练算法的测试集,比如为了训练转头的角度能够更加标准化,那么需要收集长脖子、短脖子、长发等不同的图片测试集,进行训练调整算法,而这图片就是测试集;评测报告模块负责对评测的结果进行数据分析、评测结果的统计、评测覆盖率、评测结论的分析,图形化的方式进行展示。
如图2所示,在本发明中,所述动作评测执行模块进一步具体为:
1、实时检测是否有待执行评测的请求。
2、多线程监控实体机器人,检测到有新增评测任务,系统就会根据评测需求,调用测试集,比如:用户仅想测试头部的左转动作是否符合标准,系统就会根据用户创建的需求进行选择测试集,并且播放测试集,摄像头获取到视频后,就对视频截图,并传给下一个节点进行操作。
3、让用户选择是否要对机器人的动作进行监控,若是根据需求创建监控的任务。
4、若无待执行评测的请求,就等待着。
如图3所示,本发明中所述人体姿态算法模块,包含如下内容:
1、实时检测是否有图片检测请求。
2、若是有请求,则对图片进行检测,并且输出人体姿态的关键值,发给服务端进行数据转换为机器人可执行的动作数据指令,比如:在图片中检测到的人体姿态是脸部微笑的动作,那么人体姿态算法模块就要把检测到的关键点值传给服务端,服务端进行数据转化成机器人执行的动作指令。
3、机器人收到指令后,开始执行动作,并记录执行完后的动作数据,再传给服务端, 服务端对数据进行解析后,与原先人体姿态算法的关键点值进行比对,查看是否一致,从而得到机器人当前的动作是否正确,或者是达到预期值。所述关键点值为人体姿态算法针对人体的姿态进行检测后,检测到人体的姿态(比如手指关节点、脸部的眼睛上点的值),这个就叫关键点的值。
4、判断当前的测试集是否为新的测试集,若是,则获取为训练数据,自行进行人体姿态算法训练,完善动作评测模型。
如图4所示,本发明中所述监控预警模块,包含如下内容:
1、接收到监控任务,设置监控参数,选择要监控的动作数据。所述监控参数为比如张嘴的标准角度值为45度,速度为1S动一下。需要对这个张嘴的动作进行监控,那么在创建监控时,就设置监控参数为45度,1S执行一次。
2、执行监控命令,收集到机器人上传的动作数据,服务端对机器人上传的数据进行处理,并且把数据与人体姿态检测对应的动作的数据进行比对,验证是否有异常,若有就下发预警信息给用户。
如图5所示,本发明中所述存储评测模块,包含如下内容:
1、接收评测结果的评测数据。
2、每次存储都会有唯一标识记录当次的测试数据,这可很好地区别每次测试的数据,在做数据分析,可很好区分数据。
如图6所示,本发明中所述测试报告模块,包含如下内容:
1、读取存储评测模块的评测数据,进行分析,统计上万次的结果数据使用程序进行数据分析,数据进行分析,计算出评测数据分布及实体机器人每个能力中的每个环节的响应时间,及可优化的建议。
2、总评测结果的效果图、评测覆盖率、评测结果分析及建议,都以图形化展示,提供给研究员进行数据分析。
请参阅图7所示,本发明还提供了一种基于人体姿态识别算法的实体机器人动作评测方法,包括以下步骤:
步骤S1、动作执行测评即接收用户的测评需求信息,根据测评需求信息,发起执行测评的请求,下方执行测评的命令,实体机器人执行测评;
步骤S2、人体姿态算法分析即根据动作数据的测试集动作使用人体姿态算法在实体机器人执行测评动作时,检测人体姿态的关键点,传给服务端,针对实体机器人的动作数据进行解析,转成对应的动作数据下发给机器人执行;
步骤S3、监控预警即在实体机器人执行动作时,监控实体机器人的动作执行情况,将对应的实体机器人设备信息推送给用户,上报当前实体机器人的测评情况,设置预警阈值,到达预警阈值时,对用户进行预警;
步骤S4、存储数据即将每次实体机器人的评测测试集和算法测试集进行存储,且对每个实体机器人的评测数据进行存储,以实体机器人及每次测试为唯一标识来进行数据记录;
步骤S5、评测报告即将实体机器人的测评结果进行数据分析、评测结果的统计、评测覆盖率和评测结论的分析通过图形化进行展示。
所述步骤S1进一步具体包括以下步骤:
步骤S11、实时检测是否有待执行执行测评的请求;
步骤S12、启动多线程,通过多线程去监控实体机器人,检测到有新增评测任务,系统就会根据评测需求,调用所需的测试集;
步骤S13、让客户选择是否需要对实体机器人的动作进行监控,是,则根据需求创建监控任务,否,则不需要对实体机器人进行监控,若无待执行测评请求,继续等待。
所述步骤S2进一步具体包括以下步骤:
步骤S21、实时监测是否有图片检测请求;
步骤S22、判断请求单元是否有图片检测请求,是,则对图片进行检测,并且输出人体姿态的关键值发给服务端进行数据转换为实体机器人可执行的动作数据指令,否,则无图片进行检测;
步骤S23、在实体机器人接受指令后,开始执行动作,并记录执行完后的动作数据,再传给服务端,服务端对动作数据进行解析,与原先人体姿态算法的关键点值进行对比,查看是否一致,从而得到实体机器人当前的动作是否正确;
步骤S24、判断当前的测试集是否为新的测试集,是,则获取为实体机器人动作训练数据,自行进行人体姿态算法训练,完善动作评测模型,否,则按照之前的测试集对实体机器人进行动作训练。
所述步骤S3进一步具体包括以下步骤:
步骤S31、接收监控任务,设置监控参数,选择要监控的动作数据;
步骤S32、执行监控命令,收集到实体机器人上传的动作数据,服务端对实体机器人上传的动作数据进行处理,并且把动作数据与人体姿态检测对应的动作数据进行比对,验证是否有异常,有,则下发预警信息给客户,无,则继续进行监控。
所述步骤S4进一步具体为:接收评测结果的评测数据进行存储,将每一次的测试数据进行存储,并对每一次的测试数据进行标识记录,在进行动作数据分析时,便于区分每次测试的动作数据。
所述步骤S5进一步具体包括以下步骤:
步骤S51、读取所述存储评测模块的评测数据,进行分析,统计上万次的结果数据使用程序进行数据分析,计算出评测数据分布及实体机器人每个能力中的各个环节响应时间,提出可优化建议;
步骤S52、将总评测结果的效果图、评测覆盖率和评测结果分析及建议均通过图形化展示,生成评测报告,便于研究员进行数据分析。
下面结合具体实施例对本发明作进一步说明:
场景一:
同学小A负责实体机器人的研发工作,想要确认机器人的头部左转动作的角度应该是怎么才是符合人类的动作标准,若使用自己的转头角度大小去设计会有不合理的情况,一个是自己本身做的动作不一定标准,不符合大众标准化,并且人为去判断转头的角度,会导致精准性失真。
通过本专利的方案,同学小A可使用自动化方式进行评测,并输出评测结论。
场景二:
同学小B负责新生产的实体机器人动作的评测,并提供评测结果为研究员对脸部表情动作及头部等进行优化提供参考,仅能通过单一的人为的下发表情指令,要测试大数据量,并用肉眼去看动作的准确性,这是非常繁琐,并且准确性存在误差。
通过本专利的方案,同学小B可使用自动化方式进行评测,该专利的方案就会从多方面去分析实体机器人的动作准确性及标准,比如:当前动作的角度及大小范围,总评测结果的效果图、评测覆盖率、评测结果分析及优化建议。
场景三:
同学小C需要对运营中的实体机器人进行整体的动作监控,实时关注机器人的情况,不能到现场去监控,仅能使用机器人的记录信息,进行分析,统计分析,工作量很大,并且分析人为的分析不一定精准。
通过本专利的方案,同学小C只需要针对需要监控的机器人进行创建监控任务,系统就会针对该机器人进行监控,若是出现异常,就会进行预警,及时通知小C。
场景四:
同学小D在负责实体机器人的售后服务,在对机器人的零件及机构进行修整后,需要对机器人的动作进行测试,以保证机器人动作的准确性,通过只是下发动作让机器人进行执行,肉眼看,会存在误差。
通过本专利的方案,同学小D只需要新增评测任务,系统检测到任务,并执行任务,输出测试报告,通过测试报告,就可以很清楚当前的机器人情况。
场景五:
同学小E在负责实体机器人的测试,想要知道机器人每个部位的舵机使用寿命情况,但是由于动作不同,导致相同的舵机的使用寿命也会不同,那么需要去评测每个舵机在每个位置上的执行正确动作的情况下的寿命,假如人工测试,那么不可能达到,一个是测试集庞大,另一个是动作不一定正确(动作不正确,可能会引发舵机需要用的力度不同,也就会影响舵机的寿命),会出现测试的结果不准确。
通过本专利的方案,同学小E只需要新增评测任务,系统检测到任务,并执行任务,输出测试报告,通过测试报告,就可以很容易测试出每个舵机在不同位置上的可使用寿命。
总之,本发明通过系统平台化进行实体机器人的响应时间评测,实现了从创建对应的评测任务或者是监控机器人去读取对应的实体机器人设备信息、执行评测任务(或者监控任务)、存储测试数据、对评测结果数据分析,图形化的形式进行展示,使得评测的结论一目了然、使用深度学习对整个评测过程进行学习,自行对整个评测过程进行优化及自行发起测试,输出测试报告。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (10)

1.一种基于人体姿态识别算法的实体机器人动作评测系统,其特征在于:所述系统包括实体机器人动作测评执行模块、人体姿态算法模块、监控预警模块、数据存储模块和评测报告模块,
所述实体机器人动作测评模块负责根据测评需求信息,发起执行测评请求,下发执行测评命令;
所述人体姿态算法模块负责根据测试集的动作使用人体姿态识别算法检测人体姿态的关键点,传给服务端,对其进行解析,转成对应的动作数据下发给机器人执行对应动作;
所述监控预警模块负责监控实体机器人情况,将对应的设备信息推送给用户,用户试试了解设备情况,上报当前实体机器人的具体情况;
所述数据存储模块负责存储用于评测实体机器人动作的评测测试集和算法测试集,并且存储每个实体机器人的评测数据,以实体机器人的每次测试作为唯一标识来记录数据,为后续数据进行分析及实体机器人深度学习做准备;
所述评测报告模块负责对实体机器人的动作评测结果进行数据分析,将动作评测结果的数据、评测结果统计、评测覆盖率和评测结论分析进行图形化展示;
所述评测报告模块进一步包括:读取单元和数据分析单元,所述读取单元,用于读取所述数据存储模块的评测数据,进行分析,统计上万次的结果数据使用程序进行数据分析,计算出评测数据分布及实体机器人每个能力中的各个环节响应时间,提出可优化建议;所述数据分析单元,用于将总评测结果的效果图、评测覆盖率和评测结果分析及建议均通过图形化展示,生成评测报告,便于研究员进行数据分析。
2.根据权利要求1所述的一种基于人体姿态识别算法的实体机器人动作评测系统,其特征在于:所述动作测评执行模块进一步包括:检测单元、监控单元和创建任务单元,所述检测单元,用于实时检测是否有待执行执行测评的请求;所述监控单元,启动多线程,通过多线程去监控实体机器人,检测到有新增评测任务,系统就会根据评测需求,调用所需的测试集;所述创建任务单元,用于让客户选择是否需要对实体机器人的动作进行监控,是,则根据需求创建监控任务,否,则不需要对实体机器人进行监控,若无待执行测评请求,继续等待。
3.根据权利要求1所述的一种基于人体姿态识别算法的实体机器人动作评测系统,其特征在于:所述人体姿态算法模块进一步包括:请求单元、执行单元、解析单元和判断单元,所述请求单元,用于实时监测是否有图片检测请求;所述执行单元,用于判断请求单元是否有图片检测请求,是,则对图片进行检测,并且输出人体姿态的关键值发给服务端进行数据转换为实体机器人可执行的动作数据指令,否,则无图片进行检测;所述解析单元,用于在实体机器人接受指令后,开始执行动作,并记录执行完后的动作数据,再传给服务端,服务端对动作数据进行解析,与原先人体姿态算法的关键点值进行对比,查看是否一致,从而得到实体机器人当前的动作是否正确;所述判断单元,用于判断当前的测试集是否为新的测试集,是,则获取为实体机器人动作训练数据,自行进行人体姿态算法训练,完善动作评测模型,否,则按照之前的测试集对实体机器人进行动作训练。
4.根据权利要求1所述的一种基于人体姿态识别算法的实体机器人动作评测系统,其特征在于:所述监控预警模块进一步包括:接收单元和执行命令单元,所述接收单元,用于接收监控任务,设置监控参数,选择要监控的动作数据;所述执行命令单元,用于执行监控命令,收集到实体机器人上传的动作数据,服务端对实体机器人上传的动作数据进行处理,并且把动作数据与人体姿态检测对应的动作数据进行比对,验证是否有异常,有,则下发预警信息给客户,无,则继续进行监控。
5.根据权利要求1所述的一种基于人体姿态识别算法的实体机器人动作评测系统,其特征在于:所述存储测评模块进一步的具体为:接收评测结果的评测数据进行存储,将每一次的测试数据进行存储,并对每一次的测试数据进行标识记录,在进行动作数据分析时,便于区分每次测试的动作数据。
6.一种基于人体姿态识别算法的实体机器人动作评测方法,其特征在于,包括以下步骤:
步骤S1、动作执行测评即接收用户的测评需求信息,根据测评需求信息,发起执行测评的请求,下方执行测评的命令,实体机器人执行测评;
步骤S2、人体姿态算法分析即根据动作数据的测试集动作使用人体姿态算法在实体机器人执行测评动作时,检测人体姿态的关键点,传给服务端,针对实体机器人的动作数据进行解析,转成对应的动作数据下发给机器人执行;
步骤S3、监控预警即在实体机器人执行动作时,监控实体机器人的动作执行情况,将对应的实体机器人设备信息推送给用户,上报当前实体机器人的测评情况,设置预警阈值,到达预警阈值时,对用户进行预警;
步骤S4、存储数据即将每次实体机器人的评测测试集和算法测试集进行存储,且对每个实体机器人的评测数据进行存储,以实体机器人及每次测试为唯一标识来进行数据记录;
步骤S5、评测报告即将实体机器人的测评结果进行数据分析、评测结果的统计、评测覆盖率和评测结论的分析通过图形化进行展示;
所述步骤S5进一步具体包括以下步骤:
步骤S51、读取所述数据存储模块的评测数据,进行分析,统计上万次的结果数据使用程序进行数据分析,计算出评测数据分布及实体机器人每个能力中的各个环节响应时间,提出可优化建议;
步骤S52、将总评测结果的效果图、评测覆盖率和评测结果分析及建议均通过图形化展示,生成评测报告,便于研究员进行数据分析。
7.根据权利要求6所述的一种基于人体姿态识别算法的实体机器人动作评测方法,其特征在于:所述步骤S1进一步具体包括以下步骤:
步骤S11、实时检测是否有待执行执行测评的请求;
步骤S12、启动多线程,通过多线程去监控实体机器人,检测到有新增评测任务,系统就会根据评测需求,调用所需的测试集;
步骤S13、让客户选择是否需要对实体机器人的动作进行监控,是,则根据需求创建监控任务,否,则不需要对实体机器人进行监控,若无待执行测评请求,继续等待。
8.根据权利要求6所述的一种基于人体姿态识别算法的实体机器人动作评测方法,其特征在于:所述步骤S2进一步具体包括以下步骤:
步骤S21、实时监测是否有图片检测请求;
步骤S22、判断请求单元是否有图片检测请求,是,则对图片进行检测,并且输出人体姿态的关键值发给服务端进行数据转换为实体机器人可执行的动作数据指令,否,则无图片进行检测;
步骤S23、在实体机器人接受指令后,开始执行动作,并记录执行完后的动作数据,再传给服务端,服务端对动作数据进行解析,与原先人体姿态算法的关键点值进行对比,查看是否一致,从而得到实体机器人当前的动作是否正确;
步骤S24、判断当前的测试集是否为新的测试集,是,则获取为实体机器人动作训练数据,自行进行人体姿态算法训练,完善动作评测模型,否,则按照之前的测试集对实体机器人进行动作训练。
9.根据权利要求6所述的一种基于人体姿态识别算法的实体机器人动作评测方法,其特征在于:所述步骤S3进一步具体包括以下步骤:
步骤S31、接收监控任务,设置监控参数,选择要监控的动作数据;
步骤S32、执行监控命令,收集到实体机器人上传的动作数据,服务端对实体机器人上传的动作数据进行处理,并且把动作数据与人体姿态检测对应的动作数据进行比对,验证是否有异常,有,则下发预警信息给客户,无,则继续进行监控。
10.根据权利要求6所述的一种基于人体姿态识别算法的实体机器人动作评测方法,其特征在于:所述步骤S4进一步具体为:接收评测结果的评测数据进行存储,将每一次的测试数据进行存储,并对每一次的测试数据进行标识记录,在进行动作数据分析时,便于区分每次测试的动作数据。
CN202110145092.2A 2021-02-02 2021-02-02 基于人体姿态识别算法的实体机器人动作评测系统及方法 Active CN112936342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145092.2A CN112936342B (zh) 2021-02-02 2021-02-02 基于人体姿态识别算法的实体机器人动作评测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145092.2A CN112936342B (zh) 2021-02-02 2021-02-02 基于人体姿态识别算法的实体机器人动作评测系统及方法

Publications (2)

Publication Number Publication Date
CN112936342A CN112936342A (zh) 2021-06-11
CN112936342B true CN112936342B (zh) 2023-04-28

Family

ID=76241779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145092.2A Active CN112936342B (zh) 2021-02-02 2021-02-02 基于人体姿态识别算法的实体机器人动作评测系统及方法

Country Status (1)

Country Link
CN (1) CN112936342B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114147769B (zh) * 2021-12-21 2024-06-11 乐聚(深圳)机器人技术有限公司 机器人的出厂检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012125871A (ja) * 2010-12-15 2012-07-05 Mitsubishi Electric Corp ロボット制御設定支援装置
CN105252532A (zh) * 2015-11-24 2016-01-20 山东大学 动作捕捉机器人协同柔性姿态控制的方法
CN106446847A (zh) * 2016-09-30 2017-02-22 深圳市唯特视科技有限公司 一种基于视频数据的人体动作分析方法
CN109070366A (zh) * 2016-05-16 2018-12-21 三菱电机株式会社 机器人动作评价装置、机器人动作评价方法及机器人系统
CN109919034A (zh) * 2019-01-31 2019-06-21 厦门大学 一种肢体动作识别与纠正辅助训练系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012125871A (ja) * 2010-12-15 2012-07-05 Mitsubishi Electric Corp ロボット制御設定支援装置
CN105252532A (zh) * 2015-11-24 2016-01-20 山东大学 动作捕捉机器人协同柔性姿态控制的方法
CN109070366A (zh) * 2016-05-16 2018-12-21 三菱电机株式会社 机器人动作评价装置、机器人动作评价方法及机器人系统
CN106446847A (zh) * 2016-09-30 2017-02-22 深圳市唯特视科技有限公司 一种基于视频数据的人体动作分析方法
CN109919034A (zh) * 2019-01-31 2019-06-21 厦门大学 一种肢体动作识别与纠正辅助训练系统及方法

Also Published As

Publication number Publication date
CN112936342A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US8868985B2 (en) Supervised fault learning using rule-generated samples for machine condition monitoring
WO2020226770A1 (en) Providing performance views associated with performance of a machine learning system
US11526827B2 (en) Non-intrusive workflow assessment (NIWA) for manufacturing optimization
CN115184361B (zh) 基于机器视觉的实时工件表面缺陷检测评价系统及方法
CN113472079B (zh) 配电站运维监控云机器人系统、后台处理及作业任务方法
CN111124852A (zh) 一种基于bmc健康管理模块的故障预测方法及系统
KR102543064B1 (ko) Rpa 기반 제조환경 모니터링 서비스 제공 시스템
CN115358155A (zh) 一种电力大数据异常预警方法、装置、设备及可读存储介质
CN116028887B (zh) 一种连续性工业生产数据的分析方法
CN112936342B (zh) 基于人体姿态识别算法的实体机器人动作评测系统及方法
WO2021066796A1 (en) Modeling human behavior in work environments using neural networks
CN112306816A (zh) 一种基于深度学习的评测实体机器人响应的方法及其系统
CN105631410B (zh) 一种基于智能视频处理技术的课堂检测方法
CN110163084A (zh) 操作员动作监督方法、装置及电子设备
WO2024027487A1 (zh) 基于智能运维场景的健康度评价方法及装置
CN116840240A (zh) 电源分配器视觉检测系统
CN111190944A (zh) 一种数据挖掘方法和系统
CN115987692A (zh) 一种基于流量回溯分析的安全防护系统及方法
CN115346664A (zh) 基于深度学习的面瘫诊断评级方法及其系统
CN111611979A (zh) 基于面部扫描的智能健康监测系统及方法
CN114755920B (zh) 一种用于生物安全实验室环境安全监测系统
Pan et al. Sequential design command prediction using BIM event logs
CN118013446B (zh) 一种用于消防考试系统的安全监控方法
CN116959099B (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN117560300B (zh) 一种智能物联网流量预测与优化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant