CN110443826B - 一种虚实融合仿真实验错误辅助方法及系统 - Google Patents

一种虚实融合仿真实验错误辅助方法及系统 Download PDF

Info

Publication number
CN110443826B
CN110443826B CN201910618419.6A CN201910618419A CN110443826B CN 110443826 B CN110443826 B CN 110443826B CN 201910618419 A CN201910618419 A CN 201910618419A CN 110443826 B CN110443826 B CN 110443826B
Authority
CN
China
Prior art keywords
contour line
experiment
contour
video
distance matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910618419.6A
Other languages
English (en)
Other versions
CN110443826A (zh
Inventor
曹明亮
陈泽彬
钟勇
刘欣
潘志庚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201910618419.6A priority Critical patent/CN110443826B/zh
Publication of CN110443826A publication Critical patent/CN110443826A/zh
Application granted granted Critical
Publication of CN110443826B publication Critical patent/CN110443826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种虚实融合仿真实验错误辅助方法及系统,在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频,将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线,并通过特征点构建特征点的欧氏距离矩阵进行匹配,匹配不成功则发出实验操作失误的提示与正确的对照图像;能够在进行实验步骤的过程中,对每个步骤的正确性都进行实时的检测和记录,在每个错误的节点上都进行提示,如果学生操作失误较大,超过了误差允许的范围,那么便在虚拟环境中提示学生该步骤有误,则给出当前步骤正确的操作步骤给学生观看,提高了虚拟实验的学习效率与实验效率。

Description

一种虚实融合仿真实验错误辅助方法及系统
技术领域
本公开涉及虚拟实验、视频图像处理技术领域,具体涉及一种虚实融合仿真实验错误辅助方法及系统。
背景技术
虚拟现实(VR)是一种发生在计算机生成的现实中的体验,沉浸式环境可以类似于现实世界,也可以完全不同于现实世界。虚拟现实的应用可以包括娱乐(即游戏)和教育目的(即医疗或军事训练)。
目前,标准的虚拟现实系统使用虚拟现实耳机或多投影环境来生成真实的图像、声音和其他感觉,以模拟用户在虚拟环境中的物理存在。使用虚拟现实设备的人能够环顾人造世界,在其中移动,并与虚拟功能或项目交互。这种效果通常是由一个头戴式显示器组成的虚拟现实耳机产生的,在眼睛前面有一个小屏幕,但也可以通过专门设计的多个大屏幕房间产生。虚拟现实通常包括听觉和视频反馈,但也可能允许通过触觉技术进行其他类型的感官和力反馈。
在教育方面,中学实验对实验的考察一直是偏向基础的,旨在让学生掌握数学、物理、化学、生物等学科中基本的实验原理、实验方法、实验过程步骤和实验结论的探究,注重提高学生的实验素养,增强学生的创新意识,发展学生的自主学习能力和独立研究能力。虚拟现实可以模拟出真实的实验设备和实验平台用于教育目的,它可以用来为学习者提供一个虚拟的环境,让他们在没有失败的真实后果的情况下发展自己的技能。当前已在中学教育中使用的沉浸式虚拟现实工程系统,能够在保证安全的前提下使老师和学生们能够在接触任何实际的物理原型之前看到虚拟原型,并且与之进行交互。因此,将训练与虚拟训练环境相结合,可以在降低成本的同时,为老师和学生们的实验训练提供充足的实验操作次数,通过减少真实环境下各个实验所需消耗的材料,从而降低做实验的成本。
中学教育或中学教育研究既指目前用于中学课堂以授课为主的教学方法,也指寻求改进这些方法的教育学研究领域。从历史上看,中学的数学、物理、化学和生物教学主要是通过讲课的方式和实验室练习来验证课堂上讲授的概念。当讲课伴随着演示、动手实验和要求学生思考实验中会发生什么以及为什么会发生的问题时,这些概念会被更好地理解。参与主动学习的学生,例如通过亲自动手做实验,便可以通过自我发现来学习。通过反复试验,学生不仅学会了他们对各个学科教学里会出现的相应实验现象的抽象认识,还能进一步发现这些实验现象其潜在的概念。然而,目前用于中学实验的虚拟现实平台往往缺少相应的互助系统,当学生在虚拟环境中遇到各种问题的时候,往往会处于被动的状态,尤其是对于实验操作难度较大的实验。例如,一名学生在虚拟环境中做高锰酸钾制取氧气的实验,由于实验开始前没有仔细检查装置的气密性,最后加热高锰酸钾时可能在导管端口观察不到气泡逸出或者观察到气泡逸出速度较慢等现象,这个时候他便需要在虚拟环境中求助于互助系统来解决这个问题。
发明内容
为解决上述问题,本公开提供一种虚实融合仿真实验错误辅助方法及系统的技术方案,在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频,将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线,并通过特征点构建特征点的欧氏距离矩阵进行匹配,匹配不成功则发出实验操作失误的提示与正确的对照图像。
为了实现上述目的,根据本公开的一方面,提供一种虚实融合仿真实验错误辅助方法,所述方法包括以下步骤:
步骤1,读取标准实验视频;
步骤2,在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频;
步骤3,将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线;
步骤4,提取轮廓线的特征点;
步骤5,构建特征点的欧氏距离矩阵;
步骤6,利用欧氏距离矩阵的子矩阵对轮廓线进行匹配,如果匹配则转到步骤2;
步骤7,如果不匹配则发出实验操作失误的提示。
进一步地,在步骤1中,所述标准实验视频为记录正确实验操作的标准视频,为预先录制的实验的操作步骤,所述视频格式包括但不限于wmv、mp4、avi、mpg中任意一种,每个标准实验视频的视频帧为一帧图像。
进一步地,在步骤2中,所述操作实验视频为当前正实时采集的实验操作步骤的视频,操作的各个步骤所耗费的时长与标准实验视频一致,每个操作实验视频的视频帧为一帧图像。
进一步地,在步骤3中,对应帧的图像数据为同一个时间或操作步骤的图像;提取轮廓线为通过边界检测算子或多边形逼近进行边缘识别获取图像的轮廓线;其中,操作实验视频的图像数据轮廓线为第一轮廓线,标准实验视频的图像数据轮廓线为第二轮廓线,边界检测算子包括但不限于微分算子、拉普拉斯算子、Canny算子、Sobel算子、Robert算子、Prewitt算子。
进一步地,在步骤4中,提取轮廓线的特征点的方法为:若操作实验视频当前帧图像的轮廓线为第一轮廓线T,标准实验视频当前帧图像的轮廓线为第二轮廓线Q,第一轮廓线T和第二轮廓线Q统称为轮廓线;计算第一轮廓线T和第二轮廓线Q的曲率,并通过Tophat算子提取曲率的极大值点为特征点,对于轮廓线上任一点t,曲率(曲率半径)的计算方法为:
Figure GDA0004109903940000031
轮廓线的曲线由x(t),y(t)的参数给出。
进一步地,在步骤5中,构建特征点的欧氏距离矩阵的方法为:
Figure GDA0004109903940000032
为第一轮廓线T上的n个特征点,
Figure GDA0004109903940000033
为第二轮廓线Q上的m个特征点,分别构建特征点第一轮廓线的距离矩阵DT和第二轮廓线的距离矩阵DQ,对轮廓线上的一组特征点t1,t2...tn,距离矩阵D代表了轮廓线的特征点间的欧氏距离,定义欧氏距离矩阵D如下:
Figure GDA0004109903940000034
其中
Figure GDA0004109903940000035
当轮廓线为闭曲线时,选择(x(t1),y(t1))为起始特征点,得到距离矩阵D;如果另外选择(x(tk),y(tk))为起始特征点,得到欧氏距离矩阵
Figure GDA0004109903940000036
为:
Figure GDA0004109903940000041
矩阵
Figure GDA0004109903940000042
通过将D中的行循环上移(k-1)行、列循环左移(k-1)列得到,据此,无论选择任何一个特征点作为为起始特征点,通过循环移位的方法进行匹配,得到的结果一样;
进一步地,在步骤6中,利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的方法为:
利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的两个对象为第一轮廓线T和第二轮廓线Q,如果第一轮廓线T和第二轮廓线Q存在匹配的部分,且特征点
Figure GDA0004109903940000043
(第一轮廓线的特征点)和
Figure GDA0004109903940000044
(第二轮廓线的特征点)分别位于第一轮廓线T和第二轮廓线Q的匹配部分,则存在子矩阵R和子向量使:
Figure GDA0004109903940000045
定义
Figure GDA0004109903940000046
Spq越小则特征点对应的欧式距离矩阵越接近,p与q为随机的任意整数型常数;
从轮廓线起始特征点开始,沿主对角线比较欧式距离矩阵DT和DQ中每k对连续特征点所对应的子矩阵,并计算Spq,其中k为常数,默认取k=3,当轮廓线为闭曲线时,沿矩阵主对角线环绕取值,将轮廓线两端分别取为起始特征点进行匹配,取Spq值最小的前k组特征点集为匹配点集,并定义误差阈值ε1
Figure GDA0004109903940000051
如果不存在匹配点集使Spq≤ε1,则第一轮廓线T和第二轮廓线Q不匹配;如果不存在匹配点集使Spq1,则第一轮廓线T和第二轮廓线Q匹配,E为人工设置的修正度参数,取值范围为0~1之间的小数,一般情况下E=0.9,误差阈值根据为实验误差允许的范围可人工进行微调。
进一步地,在步骤7中,如果不匹配则发出实验操作失误的提示的方法为:当第一轮廓线T和第二轮廓线Q不匹配,则输出当前操作实验视频和标准实验视频的当前帧图像的作为对比图像输出到用户端,用户端为台式机、笔记本或移动设备等带有显示屏的终端设备。
本发明还提供了一种虚实融合仿真实验错误辅助系统,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
标准实验读取单元,用于读取标准实验视频;
操作实验读取单元,用于在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频;
轮廓线提取单元,用于将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线;
特征点提取单元,用于提取轮廓线的特征点;
特征矩阵构建单元,用于构建特征点的欧氏距离矩阵;
子矩阵匹配单元,用于利用欧氏距离矩阵的子矩阵对轮廓线进行匹配,如果匹配则转到操作实验读取单元;
失误提示单元,用于如果不匹配则发出实验操作失误的提示。
本公开的有益效果为:本发明提供一种虚实融合仿真实验错误辅助方法及系统,能够在进行实验步骤的过程中,对每个步骤的正确性都进行实时的检测和记录,在每个错误的节点上都进行提示,如果学生操作失误较大,超过了误差允许的范围,那么便在虚拟环境中提示学生该步骤有误,则给出当前步骤正确的操作步骤给学生观看,提高了虚拟实验的学习效率与实验效率。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为一种虚实融合仿真实验错误辅助方法的流程图;
图2所示为一种虚实融合仿真实验错误辅助系统图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种虚实融合仿真实验错误辅助方法的流程图,下面结合图1来阐述根据本公开的实施方式的一种虚实融合仿真实验错误辅助方法。
本公开提出一种虚实融合仿真实验错误辅助方法,具体包括以下步骤:
步骤1,读取标准实验视频;
步骤2,在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频;
步骤3,将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线;
步骤4,提取轮廓线的特征点;
步骤5,构建特征点的欧氏距离矩阵;
步骤6,利用欧氏距离矩阵的子矩阵对轮廓线进行匹配,如果匹配则转到步骤2;
步骤7,如果不匹配则发出实验操作失误的提示。
进一步地,在步骤1中,所述标准实验视频为记录正确实验操作的标准视频,为预先录制的实验的操作步骤,所述视频格式包括但不限于wmv、mp4、avi、mpg中任意一种,每个标准实验视频的视频帧为一帧图像。
进一步地,在步骤2中,所述操作实验视频为当前正实时采集的实验操作步骤的视频,操作的各个步骤所耗费的时长与标准实验视频一致,每个操作实验视频的视频帧为一帧图像。
进一步地,在步骤3中,对应帧的图像数据为同一个时间或操作步骤的图像;提取轮廓线为通过边界检测算子或多边形逼近进行边缘识别获取图像的轮廓线;其中,操作实验视频的图像数据轮廓线为第一轮廓线,标准实验视频的图像数据轮廓线为第二轮廓线,边界检测算子包括但不限于微分算子、拉普拉斯算子、Canny算子、Sobel算子、Robert算子、Prewitt算子。
进一步地,在步骤4中,提取轮廓线的特征点的方法为:若操作实验视频当前帧图像的轮廓线为第一轮廓线T,标准实验视频当前帧图像的轮廓线为第二轮廓线Q,第一轮廓线T和第二轮廓线Q统称为轮廓线;计算第一轮廓线T和第二轮廓线Q的曲率,并通过Tophat算子提取曲率的极大值点为特征点,对于轮廓线上任一点t,曲率(曲率半径)的计算方法为:
Figure GDA0004109903940000071
轮廓线的曲线由x(t),y(t)的参数给出。
进一步地,在步骤5中,构建特征点的欧氏距离矩阵的方法为:
Figure GDA0004109903940000072
为第一轮廓线T上的n个特征点,
Figure GDA0004109903940000073
为第二轮廓线Q上的m个特征点,分别构建特征点第一轮廓线的距离矩阵DT和第二轮廓线的距离矩阵DQ,对轮廓线上的一组特征点t1,t2...tn,距离矩阵D代表了轮廓线的特征点间的欧氏距离,定义欧氏距离矩阵D如下:
Figure GDA0004109903940000074
其中
Figure GDA0004109903940000075
当轮廓线为闭曲线时,选择(x(t1),y(t1))为起始特征点,得到距离矩阵D;如果另外选择(x(tk),y(tk))为起始特征点,得到欧氏距离矩阵
Figure GDA0004109903940000076
为:
Figure GDA0004109903940000077
矩阵
Figure GDA0004109903940000078
通过将D中的行循环上移(k-1)行、列循环左移(k-1)列得到,据此,无论选择任何一个特征点作为为起始特征点,通过循环移位的方法进行匹配,得到的结果一样;
进一步地,在步骤6中,利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的方法为:
利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的两个对象为第一轮廓线T和第二轮廓线Q,如果第一轮廓线T和第二轮廓线Q存在匹配的部分,且特征点
Figure GDA0004109903940000081
(第一轮廓线的特征点)和
Figure GDA0004109903940000082
(第二轮廓线的特征点)分别位于第一轮廓线T和第二轮廓线Q的匹配部分,则存在子矩阵R和子向量使:
Figure GDA0004109903940000083
定义
Figure GDA0004109903940000084
Spq越小则特征点对应的欧式距离矩阵越接近,p与q为随机的任意整数型常数;
从轮廓线起始特征点开始,沿主对角线比较欧式距离矩阵DT和DQ中每k对连续特征点所对应的子矩阵,并计算Spq,其中k为常数,默认取k=3,当轮廓线为闭曲线时,沿矩阵主对角线环绕取值,将轮廓线两端分别取为起始特征点进行匹配,取Spq值最小的前k组特征点集为匹配点集,并定义误差阈值ε1
Figure GDA0004109903940000085
如果不存在匹配点集使Spq≤ε1,则第一轮廓线T和第二轮廓线Q不匹配;如果不存在匹配点集使Spq1,则第一轮廓线T和第二轮廓线Q匹配,E为人工设置的修正度参数,取值范围为0~1之间的小数,一般情况下E=0.9,误差阈值根据为实验误差允许的范围可人工进行微调。
进一步地,在步骤7中,如果不匹配则发出实验操作失误的提示的方法为:当第一轮廓线T和第二轮廓线Q不匹配,则输出当前操作实验视频和标准实验视频的当前帧图像的作为对比图像输出到用户端,用户端为台式机、笔记本或移动设备等带有显示屏的终端设备。
本实施例实现了以下技术方案:
(1)实验操作失误的情况判定
学生由于操作实验所发生的错误是,通过输出对比图像来刻画学生操作失误的情况。例如在试管倾斜度方面,可以有±10%的误差,在这些误差内可以继续进行实验;否则,实验将停止,学生便可求助于互助系统来解决问题。
(2)实验操作失误的提示
在进行实验步骤的过程中,对每个步骤的正确性都进行实时的检测和记录,在每个错误的节点上都提示学生。
如果学生操作失误较大,超过了误差允许的范围,那么便在虚拟环境中提示学生该步骤有误,让学生检查并再进行一次操作,如果这一次操作还有误,便给出正确的操作步骤给学生观看。
本公开的实施例提供的一种虚实融合仿真实验错误辅助系统,如图2所示为本公开的一种虚实融合仿真实验错误辅助系统图,该实施例的一种虚实融合仿真实验错误辅助系统包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种虚实融合仿真实验错误辅助系统实施例中的步骤。
所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
标准实验读取单元,用于读取标准实验视频;
操作实验读取单元,用于在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频;
轮廓线提取单元,用于将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线;
特征点提取单元,用于提取轮廓线的特征点;
特征矩阵构建单元,用于构建特征点的欧氏距离矩阵;
子矩阵匹配单元,用于利用欧氏距离矩阵的子矩阵对轮廓线进行匹配,如果匹配则转到操作实验读取单元;
失误提示单元,用于如果不匹配则发出实验操作失误的提示。
所述一种虚实融合仿真实验错误辅助系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种虚实融合仿真实验错误辅助系统,可运行的系统可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种虚实融合仿真实验错误辅助系统的示例,并不构成对一种虚实融合仿真实验错误辅助系统的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种虚实融合仿真实验错误辅助系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种虚实融合仿真实验错误辅助系统运行系统的控制中心,利用各种接口和线路连接整个一种虚实融合仿真实验错误辅助系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种虚实融合仿真实验错误辅助系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (5)

1.一种虚实融合仿真实验错误辅助方法,其特征在于,所述方法包括以下步骤:
步骤1,读取标准实验视频;
步骤2,在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频;
步骤3,将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线;
步骤4,提取轮廓线的特征点;
步骤5,构建特征点的欧氏距离矩阵;
步骤6,利用欧氏距离矩阵的子矩阵对轮廓线进行匹配,如果匹配则转到步骤2;
步骤7,如果不匹配则发出实验操作失误的提示;
利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的方法为:
利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的两个对象为第一轮廓线T和第二轮廓线Q,如果第一轮廓线T和第二轮廓线Q存在匹配的部分,且特征点
Figure FDA0004122432120000011
Figure FDA0004122432120000012
分别位于第一轮廓线T和第二轮廓线Q的匹配部分,则存在子矩阵R和子向量使:
Figure FDA0004122432120000013
定义
Figure FDA0004122432120000014
Spq越小则特征点对应的欧式距离矩阵越接近,p与q为任意整数型常数;从轮廓线起始特征点开始,沿主对角线比较欧式距离矩阵DT和DQ中每k对连续特征点所对应的子矩阵,并计算Spq,其中k为常数,默认取k=3,当轮廓线为闭曲线时,沿矩阵主对角线环绕取值,将轮廓线两端分别取为起始特征点进行匹配,取Spq值最小的前k组特征点集为匹配点集,并定义误差阈值ε1
Figure FDA0004122432120000021
如果不存在匹配点集使Spq≤ε1,则第一轮廓线T和第二轮廓线Q不匹配;如果不存在匹配点集使Spq1,则第一轮廓线T和第二轮廓线Q匹配,E为修正度参数,取值范围为0~1之间的小数型参数;
在步骤3中,对应帧的图像数据为同一个时间或操作步骤的图像;提取轮廓线为通过边界检测算子或多边形逼近进行边缘识别获取图像的轮廓线;其中,操作实验视频的图像数据轮廓线为第一轮廓线,标准实验视频的图像数据轮廓线为第二轮廓线,边界检测算子包括但不限于微分算子、拉普拉斯算子、Canny算子、Sobel算子、Robert算子、Prewitt算子;
在步骤4中,提取轮廓线的特征点的方法为:若操作实验视频当前帧图像的轮廓线为第一轮廓线T,标准实验视频当前帧图像的轮廓线为第二轮廓线Q,第一轮廓线T和第二轮廓线Q统称为轮廓线;计算第一轮廓线T和第二轮廓线Q的曲率,并通过Tophat算子提取曲率的极大值点为特征点,对于轮廓线上任一点t,曲率的计算方法为:
Figure FDA0004122432120000022
轮廓线的曲线由x(t),y(t)的参数给出;
在步骤5中,构建特征点的欧氏距离矩阵的方法为:
Figure FDA0004122432120000023
为第一轮廓线T上的n个特征点,
Figure FDA0004122432120000024
为第二轮廓线Q上的m个特征点,分别构建特征点距离矩阵DT和DQ,对轮廓线上的一组特征点t1,t2...tn,距离矩阵D代表了轮廓线的特征点间的欧氏距离,定义欧氏距离矩阵D如下:
Figure FDA0004122432120000025
其中
Figure FDA0004122432120000026
当轮廓线为闭曲线时,选择(x(t1),y(t1))为起始特征点,得到距离矩阵D;如果另外选择(x(tk),y(tk))为起始特征点,得到欧氏距离矩阵
Figure FDA0004122432120000027
为:
Figure FDA0004122432120000031
2.根据权利要求1所述的一种虚实融合仿真实验错误辅助方法,其特征在于,在步骤1中,所述标准实验视频为记录正确实验操作的标准视频,为预先录制的实验的操作步骤,视频格式包括但不限于wmv、mp4、avi、mpg中任意一种,每个标准实验视频的视频帧为一帧图像。
3.根据权利要求2所述的一种虚实融合仿真实验错误辅助方法,其特征在于,在步骤2中,所述操作实验视频为当前正实时采集的实验操作步骤的视频,操作的各个步骤所耗费的时长与标准实验视频一致,每个操作实验视频的视频帧为一帧图像。
4.根据权利要求1所述的一种虚实融合仿真实验错误辅助方法,其特征在于,在步骤7中,如果不匹配则发出实验操作失误的提示的方法为:当第一轮廓线T和第二轮廓线Q不匹配,则输出当前操作实验视频和标准实验视频的当前帧图像作为对比图像输出到用户端,用户端为台式机、笔记本或移动设备。
5.一种虚实融合仿真实验错误辅助系统,其特征在于,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
标准实验读取单元,用于读取标准实验视频;
操作实验读取单元,用于在实验的过程中,对实验的操作步骤进行视频采集得到操作实验视频;
轮廓线提取单元,用于将操作实验视频和标准实验视频的对应的图像数据灰度化并进行边缘识别提取轮廓线;
特征点提取单元,用于提取轮廓线的特征点;
特征矩阵构建单元,用于构建特征点的欧氏距离矩阵;
子矩阵匹配单元,用于利用欧氏距离矩阵的子矩阵对轮廓线进行匹配,如果匹配则转到操作实验读取单元;
失误提示单元,用于如果不匹配则发出实验操作失误的提示;
利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的方法为:
利用欧氏距离矩阵的子矩阵对轮廓线进行匹配的两个对象为第一轮廓线T和第二轮廓线Q,如果第一轮廓线T和第二轮廓线Q存在匹配的部分,且特征点
Figure FDA0004122432120000041
Figure FDA0004122432120000042
分别位于第一轮廓线T和第二轮廓线Q的匹配部分,则存在子矩阵R和子向量使:
Figure FDA0004122432120000043
定义
Figure FDA0004122432120000044
Spq越小则特征点对应的欧式距离矩阵越接近,p与q为任意整数型常数;从轮廓线起始特征点开始,沿主对角线比较欧式距离矩阵DT和DQ中每k对连续特征点所对应的子矩阵,并计算Spq,其中k为常数,默认取k=3,当轮廓线为闭曲线时,沿矩阵主对角线环绕取值,将轮廓线两端分别取为起始特征点进行匹配,取Spq值最小的前k组特征点集为匹配点集,并定义误差阈值ε1
Figure FDA0004122432120000045
如果不存在匹配点集使Spq≤ε1,则第一轮廓线T和第二轮廓线Q不匹配;如果不存在匹配点集使Spq1,则第一轮廓线T和第二轮廓线Q匹配,E为修正度参数,取值范围为0~1之间的小数型参数;
对应帧的图像数据为同一个时间或操作步骤的图像;提取轮廓线为通过边界检测算子或多边形逼近进行边缘识别获取图像的轮廓线;其中,操作实验视频的图像数据轮廓线为第一轮廓线,标准实验视频的图像数据轮廓线为第二轮廓线,边界检测算子包括但不限于微分算子、拉普拉斯算子、Canny算子、Sobel算子、Robert算子、Prewitt算子;
提取轮廓线的特征点的方法为:若操作实验视频当前帧图像的轮廓线为第一轮廓线T,标准实验视频当前帧图像的轮廓线为第二轮廓线Q,第一轮廓线T和第二轮廓线Q统称为轮廓线;计算第一轮廓线T和第二轮廓线Q的曲率,并通过Tophat算子提取曲率的极大值点为特征点,对于轮廓线上任一点t,曲率的计算方法为:
Figure FDA0004122432120000051
轮廓线的曲线由x(t),y(t)的参数给出;
构建特征点的欧氏距离矩阵的方法为:
Figure FDA0004122432120000052
为第一轮廓线T上的n个特征点,
Figure FDA0004122432120000053
为第二轮廓线Q上的m个特征点,分别构建特征点距离矩阵DT和DQ,对轮廓线上的一组特征点t1,t2...tn,距离矩阵D代表了轮廓线的特征点间的欧氏距离,定义欧氏距离矩阵D如下:
Figure FDA0004122432120000054
其中
Figure FDA0004122432120000055
当轮廓线为闭曲线时,选择(x(t1),y(t1))为起始特征点,得到距离矩阵D;如果另外选择(x(tk),y(tk))为起始特征点,得到欧氏距离矩阵
Figure FDA0004122432120000056
为:
Figure FDA0004122432120000057
CN201910618419.6A 2019-07-10 2019-07-10 一种虚实融合仿真实验错误辅助方法及系统 Active CN110443826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910618419.6A CN110443826B (zh) 2019-07-10 2019-07-10 一种虚实融合仿真实验错误辅助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910618419.6A CN110443826B (zh) 2019-07-10 2019-07-10 一种虚实融合仿真实验错误辅助方法及系统

Publications (2)

Publication Number Publication Date
CN110443826A CN110443826A (zh) 2019-11-12
CN110443826B true CN110443826B (zh) 2023-04-25

Family

ID=68430061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910618419.6A Active CN110443826B (zh) 2019-07-10 2019-07-10 一种虚实融合仿真实验错误辅助方法及系统

Country Status (1)

Country Link
CN (1) CN110443826B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124115A (zh) * 2019-12-18 2020-05-08 佛山科学技术学院 一种面向虚拟陶艺的可视化辅助学习方法及系统
CN111028598A (zh) * 2019-12-18 2020-04-17 佛山科学技术学院 一种基于操作行为信息的虚拟实验指导方法及系统
CN111158472B (zh) * 2019-12-18 2024-04-30 佛山科学技术学院 一种虚拟实验的仿真情境构建方法及系统
CN111178248A (zh) * 2019-12-27 2020-05-19 广东德诚科教有限公司 在线实验考核方法、装置、计算机设备和存储介质
CN111369852A (zh) * 2020-03-03 2020-07-03 山东女子学院 基于虚拟现实的基因编辑实验教学仿真方法及系统
CN113096340A (zh) * 2021-03-01 2021-07-09 浙江工业大学 一种化工室内实验安全防护系统
CN113296607B (zh) * 2021-05-27 2022-01-14 北京润尼尔网络科技有限公司 一种基于vr的多人虚拟实验教学系统
CN117173240B (zh) * 2023-11-03 2024-02-06 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130057201A (ko) * 2011-11-23 2013-05-31 두산동아 주식회사 복수의 사용자 단말을 이용한 가상 실험 시스템 및 그 방법
CN105160954A (zh) * 2015-09-28 2015-12-16 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种云计算实验教学系统构建方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880877B (zh) * 2012-09-28 2015-07-15 中科院成都信息技术股份有限公司 一种基于轮廓特征的目标识别方法
RU2014109439A (ru) * 2014-03-12 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с сопоставлением положения руки, основываясь на признаках контура
US20170140669A1 (en) * 2015-11-13 2017-05-18 International Business Machines Corporation Virtual lab for hands-on learning using tangible user interactions
CN106897724A (zh) * 2015-12-18 2017-06-27 南京财经大学 一种基于轮廓线形状特征的植物叶片识别方法
CN108052942B (zh) * 2017-12-28 2021-07-06 南京理工大学 一种飞机飞行姿态的视觉图像识别方法
CN109035091A (zh) * 2018-07-25 2018-12-18 深圳市异度信息产业有限公司 一种用于学生实验的打分方法、装置及设备
CN108831238A (zh) * 2018-08-07 2018-11-16 苏州承儒信息科技有限公司 一种基于虚拟实验的教育系统控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130057201A (ko) * 2011-11-23 2013-05-31 두산동아 주식회사 복수의 사용자 단말을 이용한 가상 실험 시스템 및 그 방법
CN105160954A (zh) * 2015-09-28 2015-12-16 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种云计算实验教学系统构建方法及系统

Also Published As

Publication number Publication date
CN110443826A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443826B (zh) 一种虚实融合仿真实验错误辅助方法及系统
Spalter et al. Digital visual literacy
Massaro Multimodal learning
Edyanto et al. Learn Idioms Using Augmented Reality
Sghaier et al. Development of an intelligent system based on metaverse learning for students with disabilities
US20160180727A1 (en) Student assessment grading engine
US10847046B2 (en) Learning with smart blocks
Arum et al. Analisis kebutuhan pengembangan media 21st VIDOKI berbasis modalitas belajar pada materi fungsi pencernaan pada manusia
CN112447073A (zh) 一种讲解视频生成、讲解视频展示方法及装置
Aljojo et al. Lens application: mobile application using augmented reality
KR20110024880A (ko) 증강현실 기술을 이용한 문장 학습 방법 및 시스템
KR102320579B1 (ko) 반복 학습을 통한 수학 강의 콘텐츠 제공 방법 및 이를 위한 장치
KR101601744B1 (ko) 애니메이션을 이용한 어휘 학습 방법 및 그 시스템
Thakkar et al. Sorting Algorithm visualizer
KR20160136760A (ko) 증강 현실을 이용한 한자 학습 방법
Dongjakgu E-Textbook with lecturer-created quiz capabilities
Drake The Impact of Virtual Reality and the Virtual Reality Learning Environment on Student Assessment Outcomes in a Unit of Study in Middle School Life Science: A Quasi-Experimental Study
KR102320229B1 (ko) Hmd 장치로 인식되는 가상의 오브젝트 정보를 담고 있는 마커를 테이블 위의 디스플레이 장치에 표시할 수 있는 아동 교육을 위한 스마트 테이블 디바이스 및 이를 이용한 교육방법.
KR20190047494A (ko) 박스 라이브러리 기반의 코딩 학습 방법
Akazawa et al. A playing and learning support system using Kinect for Romaji
Kumar et al. Mobile computing devices in a secondary school in New Zealand–Charting paths for the future in mobile learning
Astuti et al. Utilization of the gesture library for learning Java characters interactively
US20220343783A1 (en) Content control system, content control method, and content control program
KR20220088573A (ko) 학생들의 수업에 대한 수업 참여도 분석을 수행하는 원격 수업 지원 서비스 서버 및 그 동작 방법
CN118097690A (zh) 一种图像问答方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant