CN112732075B - 一种面向教学实验的虚实融合机器教师教学方法及系统 - Google Patents

一种面向教学实验的虚实融合机器教师教学方法及系统 Download PDF

Info

Publication number
CN112732075B
CN112732075B CN202011608282.5A CN202011608282A CN112732075B CN 112732075 B CN112732075 B CN 112732075B CN 202011608282 A CN202011608282 A CN 202011608282A CN 112732075 B CN112732075 B CN 112732075B
Authority
CN
China
Prior art keywords
virtual
actions
robot
moving
pose information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011608282.5A
Other languages
English (en)
Other versions
CN112732075A (zh
Inventor
谭德政
潘志庚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202011608282.5A priority Critical patent/CN112732075B/zh
Publication of CN112732075A publication Critical patent/CN112732075A/zh
Application granted granted Critical
Publication of CN112732075B publication Critical patent/CN112732075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种面向教学实验的虚实融合机器教师教学方法及系统，通过虚拟3D机器人在进行抓取、转身、移动等动作时，通过先前用Maya中制作好的行为动画，在Unity中获取该动作的位姿信息，形成数据流，用无线串口通讯的方法实时传输到真实教师的树莓派控制板中；机器人接收到上位机传来的位姿信息，则通过总线控制各个关节的舵机运动，实现虚拟与现实教师实时同步，并在真实场景中完成提示、协助、运动等功能；既能得到好的实验效果，又能给予学生真实的交互感和沉浸感，指导作用更加明显，降低了实验中的危险性，使得实验过程更简单，更安全。

Description

一种面向教学实验的虚实融合机器教师教学方法及系统
技术领域
本发明涉及虚拟现实、虚实融合、教育型机器人与交互式机器人技术领域，具体涉及一种面向教学实验的虚实融合机器教师教学方法及系统。
背景技术
随着现今硬件条件的不断提升，虚拟现实行业将又处于一段新的前进浪潮。对于学校的实验教学环境中，以前许多具备危险性，并且实验器材和实验耗材紧缺的化学、物理、生物等实验，现在都可以通过虚拟现实的技术还原到虚拟场景中，但毕竟是“虚拟的”，是“摸不着的”，故存在交互性不强、沉浸感不足、老师指导困难等的问题。
目前的虚实融合的场景一般把现实中较易获得的、危险性较低的、成本不高的实验材料，常见的物体可使用真实的物体。但具备一定危险性的、成本较高的材料都使用虚拟生成。类似的，还可以根据需求制作不同的实验场景，比如化学的高锰酸钾实验、物理的电磁感应实验、生物的原核细胞制作实验等等。至此虚实融合的场景就完成了，学生可根据需求在预设的场景中进行相应的实验。
在现有技术中在，虚实融合的整体实验环境分为屏幕里的虚拟场景和桌面上的真实场景，两个场景实时同步。可以看到桌面上的真实载玻片和烧杯都是空的，实验开始后，随着实验流程的进行，从屏幕里可以看到原本空无一物的载玻片上会出现虚拟的标本，烧杯中会出现虚拟的试剂。机器人教师会在实验的过程中，实时给予指导以及协助学生完成实验。试想这么一个场景：在一个较为复杂的实验中，需要一个同学操作实验仪器，一个同学进行试剂搅拌，一个同学负责数据记录，还要时刻注意实验过程的安全性；该机器人教师的存在，可以虽然使得实验过程更简单，更安全，但是操作繁琐而且需要多人合作。
现有技术虚实融合的主要功能分为提示和协助部分。①提示部分：该机器人可以将实验流程和实验过程涉及到的重要知识点通过语音的形式给予用户反馈、若用户在实验过程中出现错误和危险操作，机器人还会通过手指指向错误点，头部望向错误点的提示方法，反馈给用户相应的信息；②协助部分：该机器人可以充当“多余的手”，即可以协助用户完成一些费时、或需要多人操作的实验过程，如试剂搅拌、试管夹持、数据监控、物体放置等。值得注意的是，以上所有动作，虚拟场景和真实场景的机器人教师都是实时同步去完成的。
发明内容
本发明的目的在于提出一种面向教学实验的虚实融合机器教师教学方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明通过虚拟教师（虚拟3D机器人）在进行抓取、转身、移动等动作时，通过先前用Maya中制作好的行为动画，在Unity中获取该动作的位姿信息，形成数据流，用无线串口通讯的方法实时传输到真实教师的树莓派控制板中；真实教师（机器人）接收到上位机传来的位姿信息，则通过总线控制各个关节的舵机运动，实现虚拟与现实教师实时同步，并在真实场景中完成提示、协助、运动等功能。
为了实现上述目的，根据本发明的一方面，提供一种面向教学实验的虚实融合机器教师教学方法，所述方法包括以下步骤：
S100，定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
S200，获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
S300，控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
S400，将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
S500，将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
S600，通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动。
进一步地，在S100中，定位实验场景采用STEROLABS 公司推出的 ZED 2K StereoCamera深度相机，深度相机和基于TOF、结构光原理的深度相机不同，不对外主动投射光源，通过依靠拍摄的两张图片来计算深度，所述图片包括彩色RGB或者灰度图。
进一步地，在S100中，定位实验场景的方法为以下步骤：首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵，根据标定结果对实验场景的原始图像校正，校正后的两个相机的两张图像位于同一平面且互相平行，对校正后的两张图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图，计算出真实物体在虚拟场景中的世界坐标，从而达到虚实融合，实验中需要用到的物品耗材以及需要实验的火焰爆炸效果等，通过相机识别烧杯、载玻片等物体的位置，将虚拟效果附加在上面完成实验。
进一步地，在S100中，通过MAYA软件录制抓取、转身、移动的动作生成的方法包括以下步骤：通过MAYA软件，在当前的时间戳下将MAYA中的人物的关节移动到相应的位置，并标记下一个关键K帧；例如做抓取开始这个动作的动画，则是先标记下0帧这K帧为动作的起始，然后将人物的手抬起，并将其五指弯曲；接着做抓取结束的动画，则是标记下10帧（假如该动作在10帧内完成）这K帧为动作的结束，然后将人物的五指放开，并将手放下；至此，人物抓取的动作就通过一前一后这两个关键K帧的两个不同动作的先后播放而实现了；再为人物加上逆向运动学（IK）参数，IK是使用计算父物体的位移和运动方向，从而将所得信息继承给其子物体的一种物理运动方式，设置IK参数后的关节，例如手掌这个触点，做抓取的动作时，与其关联的整个手臂都会跟随手掌自然的摆动到指定位置，此时手掌是子物体，手臂是父物体；在MAYA软件做好包含IK的动画之后，导入到Unity中，针对不同的实验，通过脚本程序设计好不同的指导动作。
进一步地，在S500中，所述机器人至少包括：树莓派开发板、舵机、移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏；机械爪用于取放和夹持物体；移动模块用于控制机器人移动、转身；移动模块为AGV驱动模块，所述舵机为总线伺服舵机；摄像头为高清摄像头可进行物体、颜色和手势的识别。
进一步地，在S500中，如果机器人未接收到数据流中的动作指令前，将机器人待机，等待实验过程向其发出数据流中的动作指令，数据流中的动作指令包括抓取、转身、移动动作指令，机器人动作通过树莓派开发板对舵机进行集成控制，控制包括机器人移动；机械爪取放和夹持物体；搅拌电机启停；摄像头对物体、颜色、手势识别；语音模块提示的动作。
进一步地，在S600中，通过总线控制与位姿信息中控制指令对应的各个关节的舵机运动采用的是ID识别，总线通讯的方式为：通过与关节相连接的舵机进行，每个舵机都可以设置ID号，用于舵机的识别，舵机默认ID为1，可修改；树莓派开发板的控制器与舵机之间采用单总线方式通信，通信波特率为115200，用户可以对每个舵机分配一个ID号，控制器发出的指令中包含ID信息，只有匹配上ID号的舵机才能完整接收这个指令，并按照指令执行动作。
进一步地，在S600中，控制指令对应的各个关节一侧连接有舵机，另一侧分别连接有移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏。
进一步地，在S600中，机器人设置的摄像头，可进行物体、颜色和手势的识别，在学生出现搭配试剂出错、或者所选仪器有误时可给予及时的错误反馈，手势识别采用OpenCV的图像处理库，先去除背景，提取手的轮廓，同时计算直方图进行形态学滤波，提取感兴趣的区域；再找到二值化的图像轮廓，找到最大的手型轮廓，找到手型轮廓的凸包，标记手指和手掌，把提取的特征点和手势字典中的进行比对，判断手势和形状，查询是否与实验流程设定一致，若不一致则反馈至树莓派控制终端，启动语音模块进行错误提示，以及头部舵机转动，望向错误点，颜色识别与物体识别同理。
进一步地，在机器人左手配备一个高速电机，将搅拌玻璃棒通过联轴器连接上该电机中，搅拌玻璃棒保持与电机转轴一定的偏心距，使得玻璃棒在转动时呈现一个划圈的动作循环，再配以屏幕进行搅拌时间、试剂温度数据的监控，最后实现试剂搅拌的功能。
本发明还提供了一种面向教学实验的虚实融合机器教师教学系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
实验初始化单元，用于定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
虚拟位姿生成单元，用于获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
位姿信息采集单元，用于控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
控制指令生成单元，用于将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
控制数据流传输单元，用于将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
机器人控制单元，用于通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动。
本发明的有益效果为：本发明提供一种面向教学实验的虚实融合机器教师教学方法及系统，既能得到好的实验效果（虚拟爆炸效果，虚拟火焰效果，虚拟试剂效果），又能给予学生真实的交互感和沉浸感，指导作用更加明显，降低了实验中的危险性，使得实验过程更简单，更安全。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种面向教学实验的虚实融合机器教师教学方法流程图；
图2所示为一种面向教学实验的虚实融合机器教师教学系统结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为一种面向教学实验的虚实融合机器教师教学方法流程图，下面结合图1来阐述根据本发明的实施方式的一种面向教学实验的虚实融合机器教师教学方法。
本发明通过虚拟教师（虚拟3D机器人）在进行抓取、转身、移动等动作时，通过先前用Maya中制作好的行为动画，在Unity中获取该动作的位姿信息，形成数据流，用无线串口通讯的方法实时传输到真实教师的树莓派控制板中；真实教师（机器人）接收到上位机传来的位姿信息，则通过总线控制各个关节的舵机运动，实现虚拟与现实教师实时同步，并在真实场景中完成提示、协助、运动等功能。
本发明总体分为三个部分实现，分别是虚拟机器人部分，真实机器人部分以及虚实场景融合部分三个框架，每个框架下列举的是技术路线以及具体的实现方法。
（1）虚拟机器人部分
在虚拟场景里面，虚拟机器人教师的动作通过Maya软件进行设计，例如抓取、转身、移动等。方法是在当前的时间戳下将人物的关节移动到相应的位置，并标记下一个关键K帧。例如做抓取开始这个动作的动画，则是先标记下0帧这K帧为动作的起始，然后将角色的手抬起，并将其五指弯曲；接着做抓取结束的动画，则是标记下10帧（假如该动作在10帧内完成）这K帧为动作的结束，然后将角色的五指放开，并将手放下。至此，人物抓取的动作就通过一前一后这两个关键K帧的两个不同动作的先后播放而实现了。再为人物加上逆向运动学（IK）参数，IK是使用计算父物体的位移和运动方向，从而将所得信息继承给其子物体的一种物理运动方式。设置IK参数后的关节，例如手掌这个触点，做抓取的动作时，与其关联的整个手臂都会跟随手掌自然的摆动到指定位置，此时手掌是子物体，手臂是父物体。在Maya做好包含IK的动画之后，导入到Unity中，针对不同的实验，通过脚本程序设计好不同的指导动作。最后，再根据现实的实验桌面环境，反馈到虚拟环境中，为虚拟机器人教师做好实验过程中的路劲规划。
（2）真实机器人部分
在真实的实验场景里，机器人教师在桌面待机，等待实验过程向其发出指令。机器人整体运作使用树莓派开发板对总线舵机进行集成控制，控制：包括机器人移动；机械爪取放和夹持物体；搅拌电机启停；摄像头对物体、颜色、手势识别；语音模块提示；屏幕数据监控。
真实机器人教师的运动控制以及机械爪的夹取功能采用的是ID识别，总线通讯的方式。即每个舵机都可以设置ID号，用于舵机的识别。舵机默认ID为1，可修改。控制器与舵机之间采用单总线方式通信，通信波特率为115200。用户可以对每个舵机分配一个ID号，控制器发出的指令中包含ID信息。只有匹配上ID号的舵机才能完整接收这个指令，并按照指令执行动作。
机器人教师头顶配备高清摄像头，可进行物体、颜色和手势的识别，在学生出现搭配试剂出错、或者所选仪器有误时可给予及时的错误反馈。手势识别采用OpenCV的图像处理库，先去除背景，提取手的轮廓，同时计算直方图进行形态学滤波，提取感兴趣的区域；再找到二值化的图像轮廓，找到最大的手型轮廓，找到手型轮廓的凸包，标记手指和手掌，把提取的特征点和手势字典中的进行比对，判断手势和形状，查询是否与实验流程设定一致，若不一致则反馈至树莓派控制终端，启动语音模块进行错误提示，以及头部舵机转动，望向错误点。颜色识别与物体识别同理。
搅拌功能中，在机器人左手配备一个高速电机，将搅拌玻璃棒通过联轴器连接上该电机中，搅拌玻璃棒保持与电机转轴一定的偏心距，使得玻璃棒在转动时呈现一个“划圈”的动作循环，再配以屏幕进行搅拌时间、试剂温度等数据的监控，最后实现试剂搅拌的功能。
（3）虚实融合部分
在实验的过程中，虚拟教师在进行抓取、转身、移动等动作时，通过先前用Maya中制作好的行为动画，在Unity中获取该动作的姿态信息，形成数据流，用无线串口通讯的方法实时传输到真实教师的树莓派控制板中。真实教师接收到上位机传来的位姿信息，则通过总线控制各个关节的舵机运动，实现虚拟与现实教师实时同步，并在真实场景中完成提示、协助、运动等功能。
实验场景定位将采用STEROLABS 公司推出的 ZED 2K Stereo Camera，深度相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度。首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵。根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行。对校正后的两张图像进行像素点匹配。根据匹配结果计算每个像素的深度，从而获得深度图，计算出真实物体在虚拟场景中的世界坐标，从而达到虚实融合。实验中需要用到的物品耗材以及需要实验的火焰爆炸效果等，通过相机识别烧杯、载玻片等物体的位置，将虚拟效果附加在上面完成实验。
本发明提出一种面向教学实验的虚实融合机器教师教学方法，所述方法包括：
S100，定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
S200，获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
S300，控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
S400，将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
S500，将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
S600，通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动。
进一步地，在S100中，定位实验场景采用STEROLABS 公司推出的 ZED 2K StereoCamera深度相机，深度相机和基于TOF、结构光原理的深度相机不同，不对外主动投射光源，通过依靠拍摄的两张图片来计算深度，所述图片包括彩色RGB或者灰度图。
进一步地，在S100中，定位实验场景的方法为以下步骤：首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵，根据标定结果对实验场景的原始图像校正，校正后的两个相机的两张图像位于同一平面且互相平行，对校正后的两张图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图，计算出真实物体在虚拟场景中的世界坐标，从而达到虚实融合，实验中需要用到的物品耗材以及需要实验的火焰爆炸效果等，通过相机识别烧杯、载玻片等物体的位置，将虚拟效果附加在上面完成实验。
进一步地，在S100中，通过MAYA软件录制抓取、转身、移动的动作生成的方法包括以下步骤：通过MAYA软件，在当前的时间戳下将MAYA中的人物的关节移动到相应的位置，并标记下一个关键K帧；例如做抓取开始这个动作的动画，则是先标记下0帧这K帧为动作的起始，然后将人物的手抬起，并将其五指弯曲；接着做抓取结束的动画，则是标记下10帧（假如该动作在10帧内完成）这K帧为动作的结束，然后将人物的五指放开，并将手放下；至此，人物抓取的动作就通过一前一后这两个关键K帧的两个不同动作的先后播放而实现了；再为人物加上逆向运动学（IK）参数，IK是使用计算父物体的位移和运动方向，从而将所得信息继承给其子物体的一种物理运动方式，设置IK参数后的关节，例如手掌这个触点，做抓取的动作时，与其关联的整个手臂都会跟随手掌自然的摆动到指定位置，此时手掌是子物体，手臂是父物体；在MAYA软件做好包含IK的动画之后，导入到Unity中，针对不同的实验，通过脚本程序设计好不同的指导动作。
进一步地，在S500中，所述机器人至少包括：树莓派开发板、舵机、移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏；机械爪用于取放和夹持物体；移动模块用于控制机器人移动、转身；移动模块为AGV驱动模块，所述舵机为总线伺服舵机；摄像头为高清摄像头可进行物体、颜色和手势的识别。
进一步地，在S500中，如果机器人未接收到数据流中的动作指令前，将机器人待机，等待实验过程向其发出数据流中的动作指令，数据流中的动作指令包括抓取、转身、移动动作指令，机器人动作通过树莓派开发板对舵机进行集成控制，控制包括机器人移动；机械爪取放和夹持物体；搅拌电机启停；摄像头对物体、颜色、手势识别；语音模块提示的动作。
进一步地，在S600中，通过总线控制与位姿信息中控制指令对应的各个关节的舵机运动采用的是ID识别，总线通讯的方式为：通过与关节相连接的舵机进行，每个舵机都可以设置ID号，用于舵机的识别，舵机默认ID为1，可修改；树莓派开发板的控制器与舵机之间采用单总线方式通信，通信波特率为115200，用户可以对每个舵机分配一个ID号，控制器发出的指令中包含ID信息，只有匹配上ID号的舵机才能完整接收这个指令，并按照指令执行动作。
进一步地，在S600中，控制指令对应的各个关节一侧连接有舵机，另一侧分别连接有移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏。
进一步地，在S600中，机器人设置的摄像头，可进行物体、颜色和手势的识别，在学生出现搭配试剂出错、或者所选仪器有误时可给予及时的错误反馈，手势识别采用OpenCV的图像处理库，先去除背景，提取手的轮廓，同时计算直方图进行形态学滤波，提取感兴趣的区域；再找到二值化的图像轮廓，找到最大的手型轮廓，找到手型轮廓的凸包，标记手指和手掌，把提取的特征点和手势字典中的进行比对，判断手势和形状，查询是否与实验流程设定一致，若不一致则反馈至树莓派控制终端，启动语音模块进行错误提示，以及头部舵机转动，望向错误点，颜色识别与物体识别同理。
进一步地，在机器人左手配备一个高速电机，将搅拌玻璃棒通过联轴器连接上该电机中，搅拌玻璃棒保持与电机转轴一定的偏心距，使得玻璃棒在转动时呈现一个划圈的动作循环，再配以屏幕进行搅拌时间、试剂温度数据的监控，最后实现试剂搅拌的功能。
本发明的实施例提供的一种面向教学实验的虚实融合机器教师教学系统，如图2所示为本发明的一种面向教学实验的虚实融合机器教师教学系统结构图，该实施例的一种面向教学实验的虚实融合机器教师教学系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种面向教学实验的虚实融合机器教师教学系统实施例中的步骤。
所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
实验初始化单元，用于定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
虚拟位姿生成单元，用于获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
位姿信息采集单元，用于控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
控制指令生成单元，用于将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
控制数据流传输单元，用于将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
机器人控制单元，用于通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动。
所述一种面向教学实验的虚实融合机器教师教学系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种面向教学实验的虚实融合机器教师教学系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种面向教学实验的虚实融合机器教师教学系统的示例，并不构成对一种面向教学实验的虚实融合机器教师教学系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种面向教学实验的虚实融合机器教师教学系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种面向教学实验的虚实融合机器教师教学系统运行系统的控制中心，利用各种接口和线路连接整个一种面向教学实验的虚实融合机器教师教学系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种面向教学实验的虚实融合机器教师教学系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (8)

1.一种面向教学实验的虚实融合机器教师教学方法，其特征在于，所述方法包括：
S100，定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
S200，获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
S300，控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
S400，将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
S500，将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
S600，通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动；
在S100中，定位实验场景的方法为以下步骤：首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵，根据标定结果对实验场景的原始图像校正，校正后的两个相机的两张图像位于同一平面且互相平行，对校正后的两张图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图，计算出真实物体在虚拟场景中的世界坐标，从而达到虚实融合，通过双目相机识别出真实物体在虚拟场景中的位置，确认实验中需要用到物品耗材以及需要的实验效果，根据所述位置，将物品耗材的虚拟效果附加在虚拟场景中的真实物体上，完成实验，得到所述实验效果；
在S100中，通过MAYA软件录制抓取、转身、移动的动作生成的方法包括以下步骤：通过MAYA软件，在当前的时间戳下将MAYA中的人物的关节移动到相应的位置，并标记下一个关键K帧；再为人物加上逆向运动学IK参数，IK是使用计算父物体的位移和运动方向，从而将所得信息继承给其子物体的一种物理运动方式，设置IK参数后的关节，对手掌这个触点，做抓取的动作时，与其关联的整个手臂都会跟随手掌自然的摆动到指定位置，此时手掌是子物体，手臂是父物体；在MAYA软件做好包含IK的动画之后，导入到Unity中，针对不同的实验，通过脚本程序设计好不同的指导动作。
2.根据权利要求1所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S100中，定位实验场景采用ZED 2K Stereo Camera深度相机，深度相机和基于TOF、结构光原理的深度相机不同，不对外主动投射光源，通过依靠拍摄的两张图片来计算深度，所述图片包括彩色RGB或者灰度图。
3.根据权利要求1所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S500中，所述机器人至少包括：树莓派开发板、舵机、移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏；机械爪用于取放和夹持物体；移动模块用于控制机器人移动、转身；移动模块为AGV驱动模块，所述舵机为总线伺服舵机；摄像头为高清摄像头可进行物体、颜色和手势的识别。
4.根据权利要求3所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S500中，如果机器人未接收到数据流中的动作指令前，将机器人待机，等待实验过程向其发出数据流中的动作指令，数据流中的动作指令包括抓取、转身、移动动作指令，机器人动作通过树莓派开发板对舵机进行集成控制，控制包括机器人移动；机械爪取放和夹持物体；搅拌电机启停；摄像头对物体、颜色、手势识别；语音模块发出动作提示。
5.根据权利要求4所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S600中，通过总线控制与位姿信息中控制指令对应的各个关节的舵机运动采用的是ID识别，总线通讯的方式为：通过与关节相连接的舵机进行，每个舵机都可以设置ID号，用于舵机的识别；树莓派开发板的控制器与舵机之间采用单总线方式通信，通信波特率为115200，用户可以对每个舵机分配一个ID号，控制器发出的指令中包含ID信息，只有匹配上ID号的舵机才能完整接收这个指令，并按照指令执行动作。
6.根据权利要求5所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S600中，控制指令对应的各个关节一侧连接有舵机，另一侧分别连接有移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏。
7.根据权利要求6所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S600中，机器人设置的摄像头，可进行物体、颜色和手势的识别，在学生出现搭配试剂出错、或者所选仪器有误时可给予及时的错误反馈，手势识别采用OpenCV的图像处理库，先去除背景，提取手的轮廓，同时计算直方图进行形态学滤波，提取感兴趣的区域；再找到二值化的图像轮廓，找到最大的手型轮廓，找到手型轮廓的凸包，标记手指和手掌，把提取的特征点和手势字典中的进行比对，判断手势和形状，查询是否与实验流程设定一致，若不一致则反馈至树莓派控制终端，启动语音模块进行错误提示，以及头部舵机转动，望向错误点。
8.一种面向教学实验的虚实融合机器教师教学系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
实验初始化单元，用于定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
虚拟位姿生成单元，用于获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
位姿信息采集单元，用于控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
控制指令生成单元，用于将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
控制数据流传输单元，用于将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
机器人控制单元，用于通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动；
其中，定位实验场景的方法为以下步骤：首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵，根据标定结果对实验场景的原始图像校正，校正后的两个相机的两张图像位于同一平面且互相平行，对校正后的两张图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图，计算出真实物体在虚拟场景中的世界坐标，从而达到虚实融合，通过双目相机识别出真实物体在虚拟场景中的位置，确认实验中需要用到物品耗材以及需要的实验效果，根据所述位置，将物品耗材的虚拟效果附加在虚拟场景中的真实物体上，完成实验，得到所述实验效果；
其中，通过MAYA软件录制抓取、转身、移动的动作生成的方法包括以下步骤：通过MAYA软件，在当前的时间戳下将MAYA中的人物的关节移动到相应的位置，并标记下一个关键K帧；再为人物加上逆向运动学IK参数，IK是使用计算父物体的位移和运动方向，从而将所得信息继承给其子物体的一种物理运动方式，设置IK参数后的关节，对手掌这个触点，做抓取的动作时，与其关联的整个手臂都会跟随手掌自然的摆动到指定位置，此时手掌是子物体，手臂是父物体；在MAYA软件做好包含IK的动画之后，导入到Unity中，针对不同的实验，通过脚本程序设计好不同的指导动作。
CN202011608282.5A 2020-12-30 2020-12-30 一种面向教学实验的虚实融合机器教师教学方法及系统 Active CN112732075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011608282.5A CN112732075B (zh) 2020-12-30 2020-12-30 一种面向教学实验的虚实融合机器教师教学方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011608282.5A CN112732075B (zh) 2020-12-30 2020-12-30 一种面向教学实验的虚实融合机器教师教学方法及系统

Publications (2)

Publication Number Publication Date
CN112732075A CN112732075A (zh) 2021-04-30
CN112732075B true CN112732075B (zh) 2023-06-02

Family

ID=75610858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011608282.5A Active CN112732075B (zh) 2020-12-30 2020-12-30 一种面向教学实验的虚实融合机器教师教学方法及系统

Country Status (1)

Country Link
CN (1) CN112732075B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114012714A (zh) * 2021-11-29 2022-02-08 三江学院 一种基于mcd技术的机器人教学平台
CN114536344A (zh) * 2022-04-02 2022-05-27 乐聚(深圳)机器人技术有限公司 机器人的数据显示方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8021160B2 (en) * 2006-07-22 2011-09-20 Industrial Technology Research Institute Learning assessment method and device using a virtual tutor
US9987749B2 (en) * 2014-08-15 2018-06-05 University Of Central Florida Research Foundation, Inc. Control interface for robotic humanoid avatar system and related methods
CN106997175A (zh) * 2016-10-21 2017-08-01 遨博（北京）智能科技有限公司 一种机器人仿真控制方法及装置
WO2020087642A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 虚拟交互的方法、实体机器人、显示终端及系统
CN110102050B (zh) * 2019-04-30 2022-02-18 腾讯科技（深圳）有限公司 虚拟对象显示方法、装置、电子设备及存储介质
CN111443619B (zh) * 2020-04-17 2021-06-08 南京工程学院 一种虚实融合的人机协作仿真方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치

Also Published As

Publication number Publication date
CN112732075A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
WO2019113510A1 (en) Techniques for training machine learning
US11836294B2 (en) Spatially consistent representation of hand motion
CN112732075B (zh) 一种面向教学实验的虚实融合机器教师教学方法及系统
CN109144252B (zh) 对象确定方法、装置、设备和存储介质
US9501810B2 (en) Creating a virtual environment for touchless interaction
CN112348942B (zh) 一种健身交互方法和系统
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
US20190243335A1 (en) Process planning apparatus based on augmented reality
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN113504063B (zh) 一种基于多轴机械臂的立体空间触屏设备可视化测试方法
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
Ma et al. Enhancement of a VEX robot with an onboard vision system
CN116175582A (zh) 一种基于机器视觉的智能机械臂操控系统及控制方法
Okamoto et al. Assembly assisted by augmented reality (A 3 R)
CN108845669B (zh) 一种ar/mr交互方法和装置
WO2022160406A1 (zh) 基于增强现实技术的物联网实训系统的实现方法及系统
Sobota et al. Mixed reality: a known unknown
WO2020067204A1 (ja) 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
CN113434046A (zh) 三维交互系统、方法、计算机设备及可读存储介质
CN114546125B (zh) 键盘跟踪方法及跟踪系统
Kaswan et al. AI‐Based AR/VR Models in Biomedical Sustainable Industry 4.0
US20200312177A1 (en) Interactive Educational Electronic Toy System
Cao et al. A novel augmented reality guidance system for future informatization experimental teaching
CN110047343B (zh) 一种vr模拟显微硬度计操作的方法
WANG An Integrated Augmented Reality Method to Assembly Simulation and Guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant