CN116402647A - 一种基于虚拟现实的教学机器人智能调控系统及方法 - Google Patents

一种基于虚拟现实的教学机器人智能调控系统及方法 Download PDF

Info

Publication number
CN116402647A
CN116402647A CN202310151668.5A CN202310151668A CN116402647A CN 116402647 A CN116402647 A CN 116402647A CN 202310151668 A CN202310151668 A CN 202310151668A CN 116402647 A CN116402647 A CN 116402647A
Authority
CN
China
Prior art keywords
teaching
action
robot
video image
state data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310151668.5A
Other languages
English (en)
Other versions
CN116402647B (zh
Inventor
黄健飞
郭孔济
廖万城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Crown Technology Co ltd
Original Assignee
Guangzhou Crown Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Crown Technology Co ltd filed Critical Guangzhou Crown Technology Co ltd
Priority to CN202310151668.5A priority Critical patent/CN116402647B/zh
Publication of CN116402647A publication Critical patent/CN116402647A/zh
Application granted granted Critical
Publication of CN116402647B publication Critical patent/CN116402647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及教学机器人管理技术领域，具体为一种基于虚拟现实的教学机器人智能调控系统及方法，包括分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；分别对在每一视频影像序列集合内每一视频影像序列中存在的所有教学状态数据进行梳理分析，分别对在每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；分别对各子教学动作序列提取教学状态数据的涵盖范围；辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。

Description

一种基于虚拟现实的教学机器人智能调控系统及方法
技术领域
本发明涉及教学机器人管理技术领域，具体为一种基于虚拟现实的教学机器人智能调控系统及方法。
背景技术
教学用机器人是一种适合大中专学生的具有开放式特征的实训实验平台，是多种高科技的融合，可以完成电工、电子、单片机、机械设计、传感器、人工智能、机电控制、数字信号处理等许多课程的几百个实训实验。模糊控制、行为控制、人工智能、机器人学、多生命体、导盲机器人、智能家用电器等学科领域在实训实验中可以都得到更好理解和掌握，从而更好的使学生的综合能力得以提高。
教学机器人的作用主要以展示机械结构、运动特征和功能关系为主，相对于工业机器人，具有它的特殊性：首先，一台教学机器人相当于一个试验平台，要能显示多种运动性能，因此，应用环境广泛，功能多样；其次，其制造加上精度略低于工业机器人，且性价比高；另外，教学机器人体积小，重量轻；对此，专用性强的工业机器人的研制方法不能满足这样的要求；对于教学机器人而言，通常适用于多人场景下的教学，若是教学机器人能够主动适用于活动现场的大多数人，能很大程度上利于教学效率的提高。
发明内容
本发明的目的在于提供一种基于虚拟现实的教学机器人智能调控系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于虚拟现实的教学机器人智能调控方法，方法包括：
步骤S100：对投入测试阶段的教学机器人，在开展每一次任务教学活动时进行全程视频拍摄记录并存储，得到教学机器人在测试阶段每一次任务教学活动的视频影像序列；分别在每一视频影像序列中，识别提取教学机器人按照时间顺序呈现出的教学动作序列，基于教学动作序列锁定每一视频影像序列中教学机器人对应的目标教学任务；
步骤S200：将在测试阶段得到的所有视频影像序列基于对应目标教学任务的不同，进行分类整理，得到若干个视频影像序列集合；其中，一个视频影像序列集合汇集了在一种目标教学任务下产生的所有任务教学活动的视频影像序列；分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；
步骤S300：分别对在每一视频影像序列集合内每一视频影像序列中存在的所有教学状态数据进行梳理分析，分别对在每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，基于在每一视频影像序列集合内每一视频影像序列中出现趋向性状态调整现象的动作节点之间的分布情况，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；
步骤S400：分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分，得到若干段子教学动作序列；分别对各子教学动作序列提取教学状态数据的涵盖范围；
步骤S500：将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；结合若干教学状态数据涵盖范围，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
进一步的，步骤S200包括：
步骤S201：获取每一视频影像序列集合内所有视频影像序列中教学机器人按照时间顺序呈现出的教学动作序列：{act1→act2→…→actn}；其中，act1、act2、…、actn分别表示在每一视频影像序列集合内所有视频影像序列中教学机器人按照时间顺序呈现出的第1、2、…、n个教学动作；基于每一视频影像序列集合内的每一视频影像序列，通过虚拟现实技术获取对应每一视频影像序列的任务教学活动现场模型；
步骤S202：基于每一视频影像序列、对应每一视频影像序列的任务教学活动现场模型、每一视频影像序列中对应的教学动作序列，捕捉提取每一视频影像序列中各教学对象于教学机器人在展示对应教学动作序列内各个教学动作时所对应的教学状态数据；其中，对每一视频影像序列中的每一个教学对象于教学机器人在每展示一个教学动作时对应捕捉提取一个教学状态数据；其中，教学状态数据包括教学对象相对于教学机器人所处示教点的方位数据、教学对象相对于教学机器人所处示教点的距离数据。
进一步的，获取教学状态数据中教学对象相对于教学机器人所处示教点的方位数据、教学对象相对于教学机器人的距离数据时包括以下步骤：
步骤S203：以教学对象的左眼或右眼为第一基点，以教学机器人在展示当前教学动作时的机械部位为第二基准点；其中，当教学机器人在展示相应教学动作时的涉及的机械部位个数N≥2时，捕捉N个机械部位之间构成的最小区域面积，将最小区域面积的中点位置作为第二基准点；
步骤S204：以第二基准点为原点，获取第一基点相较于第二基点的方位数据，将方位数据作为教学状态数据中教学对象相对于教学机器人所处示教点的方位数据；以第一基点与第二基点之间的距离数据作为教学状态数据中教学对象相对于教学机器人的距离数据。
进一步的，步骤S300包括：
步骤S301：分别在各视频影像序列集合中，对每一视频影像序列中的每一教学对象计算教学机器人在展示每两个相邻教学动作时存在的状态变动值：alter(acti→acti+1)＝|Dire(acti+1)-Dire(acti)|*|Distance(acti+1)-Distance(acti)|；其中，alter(acti→acti+1)表示教学对象在教学机器人展示任意两个相邻教学动作acti与acti+1时存在的状态变动值；其中，Dire(acti)、Dire(acti+1)分别表示教学对象在教学机器人展示教学动作acti、acti+1时对应教学状态数据中的方位数据；其中，Distance(acti)、Distance(acti+1)分别表教学对象在教学机器人展示教学动作acti、acti+1时对应教学状态数据中的距离数据；
步骤S302：设置状态变动阈值，对每一视频影像序列中每一教学对象于教学机器人在展示每两个相邻教学动作时存在的状态变动值进行遍历；若在某一视频影像序列中，捕捉到在教学机器人展示任意两个相邻教学动作acti与acti+1时，出现状态变动值大于状态变动阈值的教学对象的个数大于个数阈值，则判断教学动作acti+1为在某一视频影像序列中出现趋向性状态调整现象的动作节点，将动作节点设为目标动作节点；分别对各视频影像序列集合内各视频影像序列中的所有目标动作节点进行捕捉提取；
通过在每一个视频影像序列中对各教学动作捕捉调整自身观看状态幅度较大的教学对象的个数，来反应当前教学动作对于普遍教学对象而言存在的教学接收反应情况，若在一个教学动作节点存在有较多调整自身观看状态幅度较大的教学对象，则说明普遍教学对象在接收这个教学动作节点传递的教学信息时需要相对特殊的教学条件的可能性就越大，而上述现象有可能是教学机器人当前所展示的教学动作比较复杂或者比较细节化等原因所导致的，而上述教学条件主要是指本申请中所提出的教学对象相对于教学机器人所处示教点的方位和距离数据；
步骤S303：分别对各视频影像序列集合内存在的各目标动作节点计算趋向系数值
Figure BDA0004091012420000041
其中，F表示在各视频影像序列集合内，判定存在各目标动作节点的视频影像序列的总数；M表示各视频影像序列集合包含的视频影像序列的总数；将趋向系数值大于趋向系数阈值的目标动作节点，判定为教学机器人在展示对应教学动作序列过程中时需进行示教点调整的动作节点；
进一步的，步骤S400包括：
步骤S401：分别获取将每一种教学动作序列划分后得到的若干段子教学动作序列；在每一种教学动作序列对应的视频影像序列集合中，分别对各段子教学动作序列中所包含的各教学动作捕捉对应出现的所有教学状态数据，分别汇集得到对应各教学动作的教学状态数据集合；
步骤S402：分别对各段子教学动作序列中各教学动作对应的教学状态数据集合进行整合，捕捉在所有教学状态数据中所涵盖的方位数据范围以及距离数据范围。
进一步的，步骤S500包括：
步骤S501：操控教学机器人从终端调取对应计划展示的目标教学任务的若干教学状态数据涵盖范围，分别获取各教学状态数据涵盖范围所对应的子教学动作序列；
步骤S502：分别对各子教学动作序列，在计划开展任务教学活动的现场选取一个能使得将最多教学对象的教学状态数据处于对应各子教学动作序列的教学状态数据涵盖范围内的位置，将位置作为教学机器人在展示各子教学动作序列时的示教点。
为更好的实现上述方法还提出了一种教学机器人智能调控系统，系统包括测试数据管理分析模块、教学状态数据识别提取模块、目标动作节点识别提取模块、教学动作序列划分处理模块、教学机器人辅助调控模块；
测试数据管理分析模块，用于对投入测试阶段的教学机器人，在开展每一次任务教学活动时进行全程视频拍摄记录并存储，得到教学机器人在测试阶段每一次任务教学活动的视频影像序列；分别在每一视频影像序列中，识别提取教学机器人按照时间顺序呈现出的教学动作序列，基于教学动作序列锁定每一视频影像序列中教学机器人对应的目标教学任务；
教学状态数据识别提取模块，用于将在测试阶段得到的所有视频影像序列基于对应目标教学任务的不同，进行分类整理，得到若干个视频影像序列集合；分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；
目标动作节点识别提取模块，用于对在每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，基于在每一视频影像序列集合内每一视频影像序列中出现趋向性状态调整现象的动作节点之间的分布情况，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；
教学动作序列划分处理模块，用于分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分，得到若干段子教学动作序列；分别对各子教学动作序列提取教学状态数据的涵盖范围；
教学机器人辅助调控模块，用于将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；结合若干教学状态数据涵盖范围，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
进一步的，教学动作序列划分处理模块包括序列划分处理单元、教学状态数据涵盖范围提取管理单元；
序列划分处理单元，用于分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分；
教学状态数据涵盖范围提取管理单元，用于接收序列划分处理单元中的数据，分别对划分后得到的各子教学动作序列提取教学状态数据的涵盖范围。
进一步的，教学机器人辅助调控模块包括数据管理单元、教学机器人智能调控单元；
数据管理单元，用于将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；
教学机器人智能调控单元，用于操控教学机器人从终端调取对应计划展示的目标教学任务的若干教学状态数据涵盖范围，操控教学机器人结合若干教学状态数据涵盖范围在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
与现有技术相比，本发明所达到的有益效果是：本发明可基于教学机器人在测试阶段中得到的视频影像序列，对教学对象呈现出的教学状态数据进行捕捉，基于捕捉到的状态数据分析出与对应教学机器人所展示的教学动作序列中各段动作序列最适配性的教学状态，并将上述得到的数据存储至教学机器人终端，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整，提高教学机器人的教学效率，增加教学机器人的教学灵活性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于虚拟现实的教学机器人智能调控方法的流程示意图；
图2是本发明一种基于虚拟现实的教学机器人智能调控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：一种基于虚拟现实的教学机器人智能调控方法，方法包括：
步骤S100：对投入测试阶段的教学机器人，在开展每一次任务教学活动时进行全程视频拍摄记录并存储，得到教学机器人在测试阶段每一次任务教学活动的视频影像序列；分别在每一视频影像序列中，识别提取教学机器人按照时间顺序呈现出的教学动作序列，基于教学动作序列锁定每一视频影像序列中教学机器人对应的目标教学任务；
步骤S200：将在测试阶段得到的所有视频影像序列基于对应目标教学任务的不同，进行分类整理，得到若干个视频影像序列集合；其中，一个视频影像序列集合汇集了在一种目标教学任务下产生的所有任务教学活动的视频影像序列；分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；
其中，步骤S200包括：
步骤S201：获取每一视频影像序列集合内所有视频影像序列中教学机器人按照时间顺序呈现出的教学动作序列：{act1→act2→…→actn}；其中，act1、act2、…、actn分别表示在每一视频影像序列集合内所有视频影像序列中教学机器人按照时间顺序呈现出的第1、2、…、n个教学动作；基于每一视频影像序列集合内的每一视频影像序列，通过虚拟现实技术获取对应每一视频影像序列的任务教学活动现场模型；
步骤S202：基于每一视频影像序列、对应每一视频影像序列的任务教学活动现场模型、每一视频影像序列中对应的教学动作序列，捕捉提取每一视频影像序列中各教学对象于教学机器人在展示对应教学动作序列内各个教学动作时所对应的教学状态数据；其中，对每一视频影像序列中的每一个教学对象于教学机器人在每展示一个教学动作时对应捕捉提取一个教学状态数据；其中，教学状态数据包括教学对象相对于教学机器人所处示教点的方位数据、教学对象相对于教学机器人所处示教点的距离数据；
其中，获取教学状态数据中教学对象相对于教学机器人所处示教点的方位数据、教学对象相对于教学机器人的距离数据时包括以下步骤：
步骤S203：以教学对象的左眼或右眼为第一基点，以教学机器人在展示当前教学动作时的机械部位为第二基准点；其中，当教学机器人在展示相应教学动作时的涉及的机械部位个数N≥2时，捕捉N个机械部位之间构成的最小区域面积，将最小区域面积的中点位置作为第二基准点；
步骤S204：以第二基准点为原点，获取第一基点相较于第二基点的方位数据，将方位数据作为教学状态数据中教学对象相对于教学机器人所处示教点的方位数据；以第一基点与第二基点之间的距离数据作为教学状态数据中教学对象相对于教学机器人的距离数据；
步骤S300：分别对在每一视频影像序列集合内每一视频影像序列中存在的所有教学状态数据进行梳理分析，分别对在每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，基于在每一视频影像序列集合内每一视频影像序列中出现趋向性状态调整现象的动作节点之间的分布情况，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；
其中，步骤S300包括：
步骤S301：分别在各视频影像序列集合中，对每一视频影像序列中的每一教学对象计算教学机器人在展示每两个相邻教学动作时存在的状态变动值：alter(acti→acti+1)＝|Dire(acti+1)-Dire(acti)|*|Distance(acti+1)-Distance(acti)|；其中，alter(acti→acti+1)表示教学对象在教学机器人展示任意两个相邻教学动作acti与acti+1时存在的状态变动值；其中，Dire(acti)、Dire(acti+1)分别表示教学对象在教学机器人展示教学动作acti、acti+1时对应教学状态数据中的方位数据；其中，Distance(acti)、Distance(acti+1)分别表教学对象在教学机器人展示教学动作acti、acti+1时对应教学状态数据中的距离数据；
步骤S302：设置状态变动阈值，对每一视频影像序列中每一教学对象于教学机器人在展示每两个相邻教学动作时存在的状态变动值进行遍历；若在某一视频影像序列中，捕捉到在教学机器人展示任意两个相邻教学动作acti与acti+1时，出现状态变动值大于状态变动阈值的教学对象的个数大于个数阈值，则判断教学动作acti+1为在某一视频影像序列中出现趋向性状态调整现象的动作节点，将动作节点设为目标动作节点；分别对各视频影像序列集合内各视频影像序列中的所有目标动作节点进行捕捉提取；
例如说，存在一个视频影响序列，从该视频影响序列中识别出的教学动作序列为{动作操作1→动作操作2→动作操作3→动作操作4}；捕捉到存在14个教学对象在教学机器人展示相邻的动作操作2与动作操作3时状态变动值大于状态变动阈值，其中，个数阈值为16，则判断动作操作3为在该视频影像序列中出现趋向性状态调整现象的动作节点；
步骤S303：分别对各视频影像序列集合内存在的各目标动作节点计算趋向系数值ρ＝M F；其中，F表示在各视频影像序列集合内，判定存在各目标动作节点的视频影像序列的总数；M表示各视频影像序列集合包含的视频影像序列的总数；将趋向系数值大于趋向系数阈值的目标动作节点，判定为教学机器人在展示对应教学动作序列过程中时需进行示教点调整的动作节点；
步骤S400：分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分，得到若干段子教学动作序列；分别对各子教学动作序列提取教学状态数据的涵盖范围；
其中，步骤S400包括：
步骤S401：分别获取将每一种教学动作序列划分后得到的若干段子教学动作序列；在每一种教学动作序列对应的视频影像序列集合中，分别对各段子教学动作序列中所包含的各教学动作捕捉对应出现的所有教学状态数据，分别汇集得到对应各教学动作的教学状态数据集合；
步骤S402：分别对各段子教学动作序列中各教学动作对应的教学状态数据集合进行整合，捕捉在所有教学状态数据中所涵盖的方位数据范围以及距离数据范围；
步骤S500：将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；结合若干教学状态数据涵盖范围，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整；
其中，步骤S500包括：
步骤S501：操控教学机器人从终端调取对应计划展示的目标教学任务的若干教学状态数据涵盖范围，分别获取各教学状态数据涵盖范围所对应的子教学动作序列；
步骤S502：分别对各子教学动作序列，在计划开展任务教学活动的现场选取一个能使得将最多教学对象的教学状态数据处于对应各子教学动作序列的教学状态数据涵盖范围内的位置，将位置作为教学机器人在展示各子教学动作序列时的示教点。
为更好的实现上述方法还提出了一种教学机器人智能调控系统，系统包括测试数据管理分析模块、教学状态数据识别提取模块、目标动作节点识别提取模块、教学动作序列划分处理模块、教学机器人辅助调控模块；
测试数据管理分析模块，用于对投入测试阶段的教学机器人，在开展每一次任务教学活动时进行全程视频拍摄记录并存储，得到教学机器人在测试阶段每一次任务教学活动的视频影像序列；分别在每一视频影像序列中，识别提取教学机器人按照时间顺序呈现出的教学动作序列，基于教学动作序列锁定每一视频影像序列中教学机器人对应的目标教学任务；
教学状态数据识别提取模块，用于将在测试阶段得到的所有视频影像序列基于对应目标教学任务的不同，进行分类整理，得到若干个视频影像序列集合；分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；
目标动作节点识别提取模块，用于对在每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，基于在每一视频影像序列集合内每一视频影像序列中出现趋向性状态调整现象的动作节点之间的分布情况，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；
教学动作序列划分处理模块，用于分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分，得到若干段子教学动作序列；分别对各子教学动作序列提取教学状态数据的涵盖范围；
其中，教学动作序列划分处理模块包括序列划分处理单元、教学状态数据涵盖范围提取管理单元；
序列划分处理单元，用于分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分；
教学状态数据涵盖范围提取管理单元，用于接收序列划分处理单元中的数据，分别对划分后得到的各子教学动作序列提取教学状态数据的涵盖范围；
教学机器人辅助调控模块，用于将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；结合若干教学状态数据涵盖范围，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整；
其中，教学机器人辅助调控模块包括数据管理单元、教学机器人智能调控单元
数据管理单元，用于将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；
教学机器人智能调控单元，用于操控教学机器人从终端调取对应计划展示的目标教学任务的若干教学状态数据涵盖范围，操控教学机器人结合若干教学状态数据涵盖范围在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于虚拟现实的教学机器人智能调控方法，其特征在于，所述方法包括：
步骤S100：对投入测试阶段的教学机器人，在开展每一次任务教学活动时进行全程视频拍摄记录并存储，得到所述教学机器人在测试阶段每一次任务教学活动的视频影像序列；分别在每一视频影像序列中，识别提取所述教学机器人按照时间顺序呈现出的教学动作序列，基于所述教学动作序列锁定所述每一视频影像序列中教学机器人对应的目标教学任务；
步骤S200：将在测试阶段得到的所有视频影像序列基于对应目标教学任务的不同，进行分类整理，得到若干个视频影像序列集合；其中，一个视频影像序列集合汇集了在一种目标教学任务下产生的所有任务教学活动的视频影像序列；分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；
步骤S300：分别对在每一视频影像序列集合内每一视频影像序列中存在的所有教学状态数据进行梳理分析，分别对在所述每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，基于在每一视频影像序列集合内每一视频影像序列中出现趋向性状态调整现象的动作节点之间的分布情况，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；
步骤S400：分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分，得到若干段子教学动作序列；分别对各子教学动作序列提取教学状态数据的涵盖范围；
步骤S500：将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；结合所述若干教学状态数据涵盖范围，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
2.根据权利要求1所述的一种基于虚拟现实的教学机器人智能调控方法，其特征在于，所述步骤S200包括：
步骤S201：获取所述每一视频影像序列集合内所有视频影像序列中教学机器人按照时间顺序呈现出的教学动作序列：{act1→act2→…→actn}；其中，act1、act2、…、actn分别表示在所述每一视频影像序列集合内所有视频影像序列中教学机器人按照时间顺序呈现出的第1、2、…、n个教学动作；基于所述每一视频影像序列集合内的每一视频影像序列，通过虚拟现实技术获取对应所述每一视频影像序列的任务教学活动现场模型；
步骤S202：基于每一视频影像序列、对应所述每一视频影像序列的任务教学活动现场模型、所述每一视频影像序列中对应的教学动作序列，捕捉提取所述每一视频影像序列中各教学对象于教学机器人在展示对应教学动作序列内各个教学动作时所对应的教学状态数据；其中，对所述每一视频影像序列中的每一个教学对象于教学机器人在每展示一个教学动作时对应捕捉提取一个教学状态数据；其中，所述教学状态数据包括教学对象相对于教学机器人所处示教点的方位数据、教学对象相对于教学机器人所处示教点的距离数据。
3.根据权利要求2所述的一种基于虚拟现实的教学机器人智能调控方法，其特征在于，获取所述教学状态数据中教学对象相对于教学机器人所处示教点的方位数据、教学对象相对于所述教学机器人的距离数据时包括以下步骤：
步骤S203：以所述教学对象的左眼或右眼为第一基点，以所述教学机器人在展示当前教学动作时的机械部位为第二基准点；其中，当教学机器人在展示相应教学动作时的涉及的机械部位个数N≥2时，捕捉N个机械部位之间构成的最小区域面积，将所述最小区域面积的中点位置作为所述第二基准点；
步骤S204：以所述第二基准点为原点，获取所述第一基点相较于所述第二基点的方位数据，将所述方位数据作为所述教学状态数据中教学对象相对于教学机器人所处示教点的方位数据；以所述第一基点与所述第二基点之间的距离数据作为所述教学状态数据中教学对象相对于所述教学机器人的距离数据。
4.根据权利要求1所述的一种基于虚拟现实的教学机器人智能调控方法，其特征在于，所述步骤S300包括：
步骤S301：分别在各视频影像序列集合中，对每一视频影像序列中的每一教学对象计算教学机器人在展示每两个相邻教学动作时存在的状态变动值：alter(acti→acti+1)＝|Dire(acti+1)-Dire(acti)|*|Distance(acti+1)-Distance(acti)|；其中，alter(acti→acti +1)表示教学对象在教学机器人展示任意两个相邻教学动作acti与acti+1时存在的状态变动值；其中，Dire(acti)、Dire(acti+1)分别表示教学对象在教学机器人展示教学动作acti、acti+1时对应教学状态数据中的方位数据；其中，Distance(acti)、Distance(acti+1)分别表教学对象在教学机器人展示教学动作acti、acti+1时对应教学状态数据中的距离数据；
步骤S302：设置状态变动阈值，对每一视频影像序列中每一教学对象于教学机器人在展示每两个相邻教学动作时存在的状态变动值进行遍历；若在某一视频影像序列中，捕捉到在教学机器人展示任意两个相邻教学动作acti与acti+1时，出现状态变动值大于所述状态变动阈值的教学对象的个数大于个数阈值，则判断教学动作acti+1为在所述某一视频影像序列中出现趋向性状态调整现象的动作节点，将所述动作节点设为目标动作节点；分别对各视频影像序列集合内各视频影像序列中的所有目标动作节点进行捕捉提取；
步骤S303：分别对各视频影像序列集合内存在的各目标动作节点计算趋向系数值ρ＝
Figure FDA0004091012410000031
其中，F表示在所述各视频影像序列集合内，判定存在所述各目标动作节点的视频影像序列的总数；M表示所述各视频影像序列集合包含的视频影像序列的总数；将趋向系数值大于趋向系数阈值的目标动作节点，判定为教学机器人在展示对应教学动作序列过程中时需进行示教点调整的动作节点。
5.根据权利要求1所述的一种基于虚拟现实的教学机器人智能调控方法，其特征在于，所述步骤S400包括：
步骤S401：分别获取将每一种教学动作序列划分后得到的若干段子教学动作序列；在所述每一种教学动作序列对应的视频影像序列集合中，分别对各段子教学动作序列中所包含的各教学动作捕捉对应出现的所有教学状态数据，分别汇集得到对应各教学动作的教学状态数据集合；
步骤S402：分别对各段子教学动作序列中各教学动作对应的教学状态数据集合进行整合，捕捉在所有教学状态数据中所涵盖的方位数据范围以及距离数据范围。
6.根据权利要求5所述的一种基于虚拟现实的教学机器人智能调控方法，其特征在于，所述步骤S500包括：
步骤S501：操控教学机器人从终端调取对应计划展示的目标教学任务的若干教学状态数据涵盖范围，分别获取各教学状态数据涵盖范围所对应的子教学动作序列；
步骤S502：分别对各子教学动作序列，在计划开展任务教学活动的现场选取一个能使得将最多教学对象的教学状态数据处于对应所述各子教学动作序列的教学状态数据涵盖范围内的位置，将所述位置作为教学机器人在展示所述各子教学动作序列时的示教点。
7.一种应用权利要求1-6中任意一项所述的基于虚拟现实的教学机器人智能调控方法的教学机器人智能调控系统，其特征在于，所述系统包括测试数据管理分析模块、教学状态数据识别提取模块、目标动作节点识别提取模块、教学动作序列划分处理模块、教学机器人辅助调控模块；
所述测试数据管理分析模块，用于对投入测试阶段的教学机器人，在开展每一次任务教学活动时进行全程视频拍摄记录并存储，得到所述教学机器人在测试阶段每一次任务教学活动的视频影像序列；分别在每一视频影像序列中，识别提取所述教学机器人按照时间顺序呈现出的教学动作序列，基于所述教学动作序列锁定所述每一视频影像序列中教学机器人对应的目标教学任务；
所述教学状态数据识别提取模块，用于将在测试阶段得到的所有视频影像序列基于对应目标教学任务的不同，进行分类整理，得到若干个视频影像序列集合；分别对每一视频影像序列集合内各视频影像序列中的教学对象进行教学状态数据的识别提取；
所述目标动作节点识别提取模块，用于对在每一视频影像序列中出现趋向性状态调整现象的动作节点进行捕捉识别，基于在每一视频影像序列集合内每一视频影像序列中出现趋向性状态调整现象的动作节点之间的分布情况，对教学机器人在展示每一种目标教学任务下对应的教学动作序列的过程中需进行示教点调整的动作节点进行判断识别；
所述教学动作序列划分处理模块，用于分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分，得到若干段子教学动作序列；分别对各子教学动作序列提取教学状态数据的涵盖范围；
所述教学机器人辅助调控模块，用于将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；结合所述若干教学状态数据涵盖范围，辅助教学机器人在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
8.根据权利要求6所述的一种教学机器人智能调控系统，其特征在于，所述教学动作序列划分处理模块包括序列划分处理单元、教学状态数据涵盖范围提取管理单元；
所述序列划分处理单元，用于分别将每一种目标教学任务下对应的教学动作序列基于若干需进行示教点调整的动作节点进行序列划分；
所述教学状态数据涵盖范围提取管理单元，用于接收所述序列划分处理单元中的数据，分别对划分后得到的各子教学动作序列提取教学状态数据的涵盖范围。
9.根据权利要求6所述的一种教学机器人智能调控系统，其特征在于，所述教学机器人辅助调控模块包括数据管理单元、教学机器人智能调控单元
所述数据管理单元，用于将各目标教学任务下的教学动作序列所对应的若干教学状态数据涵盖范围输送至教学机器人终端；
所述教学机器人智能调控单元，用于操控教学机器人从终端调取对应计划展示的目标教学任务的若干教学状态数据涵盖范围，操控教学机器人结合所述若干教学状态数据涵盖范围在投入正式使用阶段后，可基于所展示的任务教学活动进行示教点的适配性调整。
CN202310151668.5A 2023-02-22 2023-02-22 一种基于虚拟现实的教学机器人智能调控系统及方法 Active CN116402647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310151668.5A CN116402647B (zh) 2023-02-22 2023-02-22 一种基于虚拟现实的教学机器人智能调控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310151668.5A CN116402647B (zh) 2023-02-22 2023-02-22 一种基于虚拟现实的教学机器人智能调控系统及方法

Publications (2)

Publication Number Publication Date
CN116402647A true CN116402647A (zh) 2023-07-07
CN116402647B CN116402647B (zh) 2023-12-05

Family

ID=87009231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310151668.5A Active CN116402647B (zh) 2023-02-22 2023-02-22 一种基于虚拟现实的教学机器人智能调控系统及方法

Country Status (1)

Country Link
CN (1) CN116402647B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120043543A (ko) * 2010-10-26 2012-05-04 주식회사마이크로컴퓨팅 로봇 교육 장치
CN109590986A (zh) * 2018-12-03 2019-04-09 深圳市越疆科技有限公司 机器人教学方法、智能机器人和存储介质
CN111860243A (zh) * 2020-07-07 2020-10-30 华中师范大学 一种机器人动作序列生成方法
CN113352326A (zh) * 2021-06-17 2021-09-07 上海松鼠课堂人工智能科技有限公司 互动教学机器人的运动控制方法与系统
CN114299617A (zh) * 2021-12-31 2022-04-08 首都师范大学 一种教学互动情况识别方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120043543A (ko) * 2010-10-26 2012-05-04 주식회사마이크로컴퓨팅 로봇 교육 장치
CN109590986A (zh) * 2018-12-03 2019-04-09 深圳市越疆科技有限公司 机器人教学方法、智能机器人和存储介质
CN111860243A (zh) * 2020-07-07 2020-10-30 华中师范大学 一种机器人动作序列生成方法
CN113352326A (zh) * 2021-06-17 2021-09-07 上海松鼠课堂人工智能科技有限公司 互动教学机器人的运动控制方法与系统
CN114299617A (zh) * 2021-12-31 2022-04-08 首都师范大学 一种教学互动情况识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵京;卫沅;: "机器人实验教学系统创新实践方法及应用", 实验室研究与探索, no. 11, pages 228 - 230 *

Also Published As

Publication number Publication date
CN116402647B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
US7991193B2 (en) Automated learning for people counting systems
CN109389044B (zh) 基于卷积网络与多任务学习的多场景人群密度估计方法
CN101470809B (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN105872477A (zh) 视频监控方法和视频监控系统
CN105380575A (zh) 扫地机器人的控制方法、系统、云服务器和扫地机器人
CN110399908B (zh) 基于事件型相机的分类方法和装置、存储介质、电子装置
CN110826453A (zh) 一种通过提取人体关节点坐标的行为识别方法
CN110956202A (zh) 基于分布式学习的图像训练方法、系统、介质及智能设备
CN110909625A (zh) 一种计算机视觉基础网络训练识别构建方法及装置
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
EP3706043A1 (en) Application program control method and apparatus, medium, and electronic device
CN114783043A (zh) 一种儿童行为轨迹定位方法和系统
CN115828011A (zh) 基于大数据的数据分析方法和平台
CN116402647B (zh) 一种基于虚拟现实的教学机器人智能调控系统及方法
CN115063664A (zh) 用于工业视觉检测的模型学习方法、训练方法及系统
CN114445684A (zh) 车道线分割模型的训练方法、装置、设备及存储介质
Khan et al. Comparative study of various crowd detection and classification methods for safety control system
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
Eriksson et al. Evolution of meta-parameters in reinforcement learning algorithm
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN112288809A (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质
CN116246200A (zh) 一种基于视觉识别的屏显信息偷拍检测方法及系统
CN110335308A (zh) 基于视差约束与双向环形检验的双目视觉里程计计算方法
CN115202392A (zh) 基于视觉感知的群体适应性行为控制方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant