CN111223337B - 一种基于机器视觉和增强现实的书法教学机 - Google Patents

一种基于机器视觉和增强现实的书法教学机 Download PDF

Info

Publication number
CN111223337B
CN111223337B CN202010169335.1A CN202010169335A CN111223337B CN 111223337 B CN111223337 B CN 111223337B CN 202010169335 A CN202010169335 A CN 202010169335A CN 111223337 B CN111223337 B CN 111223337B
Authority
CN
China
Prior art keywords
writing
machine
vision
augmented reality
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010169335.1A
Other languages
English (en)
Other versions
CN111223337A (zh
Inventor
李继猛
徐代军
郎梦园
王玮
颜廷鑫
蒋轶轩
程瑶
张甫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202010169335.1A priority Critical patent/CN111223337B/zh
Publication of CN111223337A publication Critical patent/CN111223337A/zh
Application granted granted Critical
Publication of CN111223337B publication Critical patent/CN111223337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00Teaching hand-writing, shorthand, drawing, or painting

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于机器视觉和增强现实的书法教学机。该书法教学机在第一毛笔和第二毛笔上分别设置第一位姿传感器和第二位姿传感器;系统主机与机器书写手臂、第一视觉模块、增强现实眼镜、第二视觉模块、显示器、第一位姿传感器和第二位姿传感器连接;机器书写手臂和第一视觉模块位于机器书写平台上,机器书写手臂夹持第一毛笔;第一视觉模块拍摄机器书写结果;第二视觉模块位于人工书写平台上,拍摄人工书写结果;系统主机用于对书写控制参数进行调整、控制机器书写手臂进行书写、将人工书写动作以及人工书写结果与标准动作以及标准结果进行比对、生成书写教学动画;显示器和增强现实眼镜用于显示书写教学动画。本发明能够提高教学真实性。

Description

一种基于机器视觉和增强现实的书法教学机
技术领域
本发明涉及教具领域,特别是涉及一种基于机器视觉和增强现实的书法教学机。
背景技术
文字的发明开启了文明记录的新的方式,发明于中国先秦的毛笔书法不仅具有记录信息的功能,而且由于线条优美、形体结构和书写技巧独特,成为代表中国艺术的核心之一。随着人类科技的发展,各种先进的信息记录手段被发明出来,但由于书法艺术的特有属性,毛笔书法一直屹立不倒。现今书法教育走进课堂,有利于培养良好的品德和坚强的意志,增长知识,促进身心健康发展。为了能够更好地利用空闲时间学习书法,书法教学机的作用越发重要。然而现有的书法教学机多基于视频教学,教学真实性不高。
发明内容
基于此,有必要提供一种基于机器视觉和增强现实的书法教学机,提高教学真实性。
为实现上述目的,本发明提供了如下方案:
一种基于机器视觉和增强现实的书法教学机,包括:系统主机、机器书写平台、机器书写手臂、第一视觉模块、人工书写平台、增强现实眼镜、第二视觉模块、显示器、第一毛笔和第二毛笔;在所述第一毛笔上设置有第一位姿传感器,在所述第二毛笔上设置有第二位姿传感器;
所述系统主机与所述机器书写手臂、所述第一视觉模块、所述增强现实眼镜、所述第二视觉模块、所述显示器、所述第一位姿传感器和所述第二位姿传感器通讯连接;
所述机器书写手臂和所述第一视觉模块均位于所述机器书写平台上,所述机器书写手臂夹持所述第一毛笔;所述第二视觉模块位于所述人工书写平台上;
所述机器书写平台为供所述机器书写手臂夹持所述第一毛笔书写的平台;所述人工书写平台为供用户手持所述第二毛笔书写的平台;所述第一视觉模块用于拍摄所述机器书写平台上的机器书写结果;所述第二视觉模块用于拍摄所述人工书写平台上的书写结果;
所述系统主机用于根据所述第一视觉模块和所述第一位姿传感器获取的数据对书写控制参数进行调整,还用于利用调整后的书写控制参数控制所述机器书写手臂进行书写,还用于根据所述第二视觉模块和所述第二位姿传感器获取的数据将所述人工书写平台上的人工书写动作以及人工书写结果与标准动作以及标准结果进行比对,还用于根据调整完毕的书写控制参数生成利用所述第一毛笔书写各个字的书写教学动画;所述显示器用于显示书写教学动画;所述增强现实眼镜用于在所述人工书写平台上展示书写教学动画。
可选的,所述增强现实眼镜上设置有双目视觉摄像头;所述人工书写平台包括书写教学动画展示区域和人工书写区域;所述双目视觉摄像头用于识别所述书写教学动画展示区域和所述人工书写区域并记录第二毛笔的运动轨迹;
所述双目视觉摄像头与所述系统主机通讯连接;所述系统主机用于根据所述第二毛笔的运动轨迹将人工书写动作与标准动作进行比对。
可选的,所述书写教学动画展示区域和所述人工书写区域上均设置有至少三个定位点;所述双目视觉摄像头通过识别所述定位点确定所述书写教学动画展示区域和所述人工书写区域。
可选的,所述第二毛笔笔杆的顶端和底端均标注有视觉标定标识;所述视觉标定标识用于供所述双目视觉摄像头跟踪所述第二毛笔的运动轨迹。
可选的,所述第二毛笔上设置有马达;所述马达与所述系统主机连接;所述系统主机还用于在所述人工书写动作偏离所述标准动作的程度超过预设阈值时控制所述马达振动。
可选的,所述系统主机还与远程终端无线通讯连接;所述系统主机用于将书写教学动画发送至所述远程终端显示。
可选的,所述增强现实眼镜上安装有控制按钮;所述控制按钮与所述系统主机连接;所述控制按钮用于向所述系统主机发送控制指令,从而实现对所述增强现实眼镜所展示的书法教学动画进行播放控制。
可选的,所述第一毛笔和所述第二毛笔的形状、尺寸和重量相同。
可选的,所述机器书写手臂为五轴机械手臂。
可选的,所述第一位姿传感器和所述第二位姿传感器均包括陀螺仪和运动传感器。
与现有技术相比,本发明的有益效果是:本发明提出了一种基于机器视觉和增强现实的书法教学机,通过控制机器书写手臂夹持第一毛笔进行书写,同时对书写动作和书写结果进行检测以调整书写控制参数,并利用调整完毕后的书写控制参数生成书写教学动画,从而能够将书写教学动画通过增强现实眼镜展示于人工书写平台上,以供用户观看学习。因此,本发明能够实现利用增强现实眼镜展示书写教学动画,从而提高书写教学动画展示的真实性,提高教学真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于机器视觉和增强现实的书法教学机的整体结构图;
图2为本发明基于机器视觉和增强现实的书法教学机中增强现实眼镜的结构图;
图3为本发明基于机器视觉和增强现实的书法教学机中第一毛笔的结构图;
图4为本发明基于机器视觉和增强现实的书法教学机中第二毛笔的结构图;
图5为本发明基于机器视觉和增强现实的书法教学机中第二毛笔上纵向视觉标定标识的放大示意图;
图6为本发明基于机器视觉和增强现实的书法教学机中机器书写平台上区域分布示意图;
图7为本发明基于机器视觉和增强现实的书法教学机中人工书写平台的区域分布示意图;
图8为跟随机器书写手臂书写学习模式下的流程图;
图9为本发明基于机器视觉和增强现实的书法教学机通过书写风格迁移生成新字体的具体流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于机器视觉和增强现实的书法教学机的整体结构图。
参见图1,该基于机器视觉和增强现实的书法教学机,包括:系统主机1、机器书写平台4、机器书写手臂3、第一视觉模块41、人工书写平台8、增强现实眼镜7、第二视觉模块81、显示器2、第一毛笔5和第二毛笔6。机器书写手臂3和第一视觉模块41均位于机器书写平台4上,机器书写手臂3夹持第一毛笔5;第二视觉模块81位于人工书写平台上。机器书写平台4为供机器书写手臂3夹持第一毛笔5书写的平台;人工书写平台8为供用户9手持第二毛笔6书写的平台;第一视觉模块41和第二视觉模块81均内置双目视觉相机。第一视觉模块41用于拍摄机器书写平台4上的机器书写结果;第二视觉模块81用于拍摄人工书写平台8上的书写结果。
系统主机1可以连接多套机器书写平台4和人工书写平台8及相关附件,即一台系统主机1可实现课堂级书法教学;一台系统主机1可以给所有的人工书写平台8发出学习书写指令,学员利用自己的人工书写平台8学习书法,书写完成后主机可通过每台人工书写平台8上的第二视觉模块81调取书写结果,并在系统主机1外接的显示屏上显示。
图2为本发明基于机器视觉和增强现实的书法教学机中增强现实眼镜的结构图。
参见图2,增强现实眼镜7上带有双目视觉摄像头72、显示屏幕71和控制按钮73。双目视觉摄像头72为分别分布在左右两侧的镜框上的两个视觉摄像头。显示屏幕71位于左镜片前方。
图3为本发明基于机器视觉和增强现实的书法教学机中第一毛笔的结构图。
图4为本发明基于机器视觉和增强现实的书法教学机中第二毛笔的结构图。
参见图3和图4,在第一毛笔5笔杆的底端设置有第一位姿传感器52。第一毛笔5笔杆的中部为机器夹持区域51。
在第二毛笔6上设置有第二位姿传感器64。第二毛笔6笔杆的中部为握持区域63。在握持区域63中设置有马达66。第二毛笔6笔杆的顶端标注有两个上下分布的上部横向视觉标定标识61,第二毛笔6笔杆的底端标注有一个下部横向视觉标定标识62。在第二毛笔6笔杆的顶端和底端均标注有与横向视觉标定标识垂直交叉的纵向视觉标定标识65。横向视觉标定标识和纵向视觉标定标识65均用于供增强现实眼镜7上的双目视觉摄像头72识别第二毛笔6的运动轨迹。
图5为本发明基于机器视觉和增强现实的书法教学机中第二毛笔上纵向视觉标定标识的放大示意图。
参见图5,同一轴段纵向视觉标定标识65的数量为多个,优选为3个及以上。多个纵向视觉标定标识65沿第二毛笔6笔杆的周向均匀分布。当数量为3个时,任意两个之间的圆心角为120°。书写时用户9能够在任意角度和握持手势时均能完整观察到一条纵向标定标识,便于增强现实眼镜7对第二毛笔6进行视觉定位和运动跟踪。
图6为本发明基于机器视觉和增强现实的书法教学机中机器书写平台上区域分布示意图。
参见图6,机器书写平台4设置有机器书写区域。机器书写区域为四边形区域。机器书写手臂3夹持第一毛笔5在机器书写区域中书写。机器书写区域设置有至少三个机器书写区域定位点42。三个机器书写区域定位点42分别位于机器书写区域的三个顶点处。机器书写区域定位点42用于供第一视觉模块41识别机器书写区域。
图7为本发明基于机器视觉和增强现实的书法教学机中人工书写平台的区域分布示意图。
参见图7,人工书写平台8包括书写教学动画展示区域84和人工书写区域86。书写教学动画展示区域84和人工书写区域86均为四边形区域。书写教学动画展示区域84上设置有至少三个展示区域定位点82,人工书写区域86上设置有至少三个人工书写区域定位点85。三个展示区域定位点82分别位于书写教学动画展示区域84中的三个顶点。三个人工书写区域定位点85分别位于人工书写区域86的三个顶点。展示区域定位点82和人工书写区域定位点85用于供增强现实眼镜7上的双目视觉摄像头72和第二视觉模块81识别书写教学动画展示区域84和人工书写区域86。
双目视觉摄像头72用于识别书写教学动画展示区域84和人工书写区域86并记录第二毛笔6的运动轨迹。
系统主机1与机器书写手臂3、第一视觉模块41、增强现实眼镜7、第二视觉模块81、显示器2、第一位姿传感器52、第二位姿传感器64、双目视觉摄像头72、马达66、控制按钮73通讯连接。系统主机1用于根据第一视觉模块41和第一位姿传感器52获取的数据对书写控制参数进行调整,还用于利用调整后的书写控制参数控制机器书写手臂3进行书写,还用于根据第二毛笔6的运动轨迹和第二位姿传感器64获取的数据将人工书写平台8上的人工书写动作与标准动作进行比对,根据第二视觉模块81获取的数据将人工书写结果与标准结果进行比对;还用于根据调整完毕的书写控制参数生成利用第一毛笔5书写各个字的书写教学动画;显示器2用于显示书写教学动画;还用于根据第二毛笔6的运动轨迹将人工书写动作与标准动作进行比对,还用于在人工书写动作偏离标准动作的程度超过预设阈值时控制马达66振动。增强现实眼镜7用于在人工书写平台8上展示书写教学动画。控制按钮73用于向系统主机1发送控制指令,从而实现对增强现实眼镜7所展示的书法教学动画83进行播放控制,例如实现开始播放、暂停、结束、切换上一动画、切换下一动画等。
可选的,系统主机1还与远程终端无线通讯连接;系统主机1用于将书写教学动画发送至远程终端显示。
系统主机1是基于机器视觉和增强现实的书法教学机的软硬件核心,系统主机1由一台电脑主机和主机所搭载的终端软件构成;终端软件由基于增强现实软件开发设计,可运行在多平台上,如Windows,Mac,Android等,系统主机1不局限于PC机终端,也可以为便携式移动设备。终端软件中内置几十种常用书法家的书写风格供用户9选择,选定后输入想学习的文字就可以跟学书写。终端软件包含多种学习模式:屏幕输出虚拟现实跟学、跟随机器书写手臂书写学习、戴上增强现实眼镜跟学等。
在“屏幕输出虚拟现实跟学”模式下,系统主机1根据内置增强现实模型和机器书写手臂3书写时第一毛笔5内第一位姿传感器52输出信息,生成书写设定内容的3D的书法教学动画83;该书法教学动画83可输出到显示器2,也可在远程终端观看,用户9在显示屏或远程终端学习时,可在终端软件对播放界面进行拉伸、旋转等操作改变视角,从而实现从任意角度查看书写细节,增加了学习效率。
机器书写平台4为机器书写手臂3和第一视觉模块41的载体,机器书写平台4与普通书法书写桌大小相当,机器书写手臂3固定在机器书写平台4右下角。机器书写手臂3为五轴机械手臂,机器书写手臂3模仿人拿毛笔的姿势夹持第一毛笔5的机器夹持区域51。第一位姿传感器52将毛笔书写时的立体运动轨迹信息实时传输给系统主机1。第一视觉模块41通过支架固定在机器书写平台4左上角且不干扰机器书写手臂3,第一视觉模块41监视范围包含整个书写纸面,机器书写手臂3书写完毕后第一视觉模块41将机器书写结果导入到系统主机1。
人工书写平台8为用户9学习书法的练习平台,第二视觉模块81通过支架固定在人工书写平台8上部且不干扰用户9在平台书写,第二视觉模块81监视范围包含整个人工书写平台8,用户9写完毕后第二视觉模块81将人工书写结果导入到系统主机1。书写教学动画展示区域84和人工书写区域86尺寸相同,人工书写平台8右边为人工书写区域86,左边为增强现实显示预留的书写教学动画展示区域84。人工书写平台8配合增强现实眼镜7使用。增强现实眼镜7通过无线网络与系统主机1连接,实时传输数据。在使用“戴上增强现实眼镜跟学”模式时,用户9戴上增强现实眼镜7后能够在人工书写平台8左边的展示区域定位点82所定位的书写教学动画展示区域84内显示增强现实的3D书写动画。用户9使用第二毛笔6为在第一毛笔5的基础上改进而来,通过配重处理,第一毛笔5和第二毛笔6的形状、尺寸和重量相同,且重心位置一致。
图8为跟随机器书写手臂书写学习模式下的流程图。
在“跟随机器书写手臂书写学习”模式下,在系统主机1或远程终端中,通过终端软件获取用户9所需要书写的内容和所选择的书法风格,然后控制机器书写手臂3户9可观察机器写出具体内容。用书写手臂3运动规律学习书法书写。同时,第一视觉模块41还可以对机器书写手臂3的运动参数进行校正,不断提高书写效果,校正功能可以在软件终端设置关闭。
参见图8,具体流程如下:首先用户9打开软件终端,运行软件。在软件界面选择内置的书法家及书写风格,确定后在弹出的可编辑对话框输入想要机器书写手臂3书写的内容,输入完成后点击确认按钮。系统主机1调用所选书法家风格的部首库,通过书法字合成算法生成需要输出的书法字。根据生成的书法字的特征参数,通过坐标转换成机器书写手臂3的控制参数,再经过相关运动学分析生成机器书写手臂3的控制指令,指导机器书写手臂3开始书写。在机器书写手臂3开始书写时,用户9可以观察机器书写手臂3的书写姿势和技巧,机器书写手臂3夹持毛笔的末端设计成真人大小的模型手握笔的姿势,所以观察机器书写手臂3的书写和观察真人书写效果接近,提高教学真实性,使用户9学习效率得以提高。书写完毕后,机器书写手臂3回到初始位置,此时开启第一视觉模块41。第一视觉模块41将机器书写结果传输给系统主机1,系统主机1对比标准结果和实际机器书写结果,具体比对参数可以为笔迹走势、对应位置笔记宽度信息等,生成运动坐标差异参数ΔC,当ΔC≥5%时,系统按C=60%*ΔC的修正系数差值修正运动控制参数;当ΔC<5%时,系统按C=0的修正系数差值修正运动控制参数。修正完成后,系统主机1回到待机状态。
机器书写手臂3书写出字体的宽度信息与机器书写手臂3Z轴坐标关系如下:
Figure BDA0002408621920000081
其中Z为机器书写手臂Z轴坐标,K为当前书写笔画宽度,K0为第一毛笔5与纸面接触时的宽度,H1为第一毛笔5刚接触书写纸面时机器书写手臂Z轴坐标,H2为第一毛笔5与书写纸面时完全接触时机器书写手臂Z轴坐标;K与Z在书写过程中实时变化,K0、H1、H2为系统设定值。
本发明的基于机器视觉和增强现实的书法教学机具有通过书写风格迁移生成新字体的功能。本发明系统主机1内置有多套流行的古今书法家可供用户9选择,系统主机1也预留端口供用户9载入系统主机1内没有的其他的书法风格作品。用户9增加其他书法风格作品须在终端软件中按提示步骤操作。
图9为本发明基于机器视觉和增强现实的书法教学机通过书写风格迁移生成新字体的具体流程图。
参见图9,通过书写风格迁移生成新字体的步骤如下:首先用户9打开软件终端,运行软件。在软件界面选择增加新书法家及书写风格,在弹出的可编辑窗口分别填写书法家名称和书写风格,完成后点击确认按钮保存。点击下一步输入目标风格训练库,并上传多种静态图片格式的该风格书法作品,上传的数量越多越好,完成上传后点击保存。此时系统主机1开始调用风格迁移深度学习模块,学习完成后生成新风格部首库,保存在新书法家对应的风格库中等待后续调用。用户9在终端软件界面选择新书法家和对应风格,在可编辑输入口输入想书写的内容,系统主机1根据输入的字调用需要的部首。系统通过字体合成算法生成想要的风格字。然后通过坐标变换和生成控制指令后机器书写手臂3书写出新风格字。
本实施例中字体合成过程如下:
系统主机1存储部首B的标注信息为:部首B={部首中心坐标F0=(X0、Y0),笔迹信息Fn=(Xn、Yn),宽度信息Kn};
系统主机1记录文字W的标注信息为:文字W={部首数n,部首信息Bn,部首在字体中的位置Pn,部首放大系数Kn};
字体合成时按如下公式生成新书法风格文字:
Figure BDA0002408621920000091
i为部首序号,Bi表示第i个部首的部首信息,Pi表示第i个部首在字体中的位置,Ki表示第i个部首的放大系数。
本发明具有生成3D的书法教学动画83的功能。在机器书写手臂3书写完毕后,第一毛笔5中第一位姿传感器52记录的运动信息会记录在系统主机1中供后续学习使用。机器书写手臂3书写的运动信息会通过虚拟现实软件转化为虚拟现实和增强现实的3D的书法教学动画83保存在系统主机1内。虚拟现实的3D动画可以通过教学机的显示屏输出供用户9学习,也可通过远程终端下载学习。虚拟现实动画效果可以实现播放、暂停、缩放和转换视角等功能。
第一毛笔5上的元件和第二毛笔6上的元件可采用无线通讯方式与系统主机1连接。第一位姿传感器52和第二位姿传感器64均包括陀螺仪和运动传感器。陀螺仪为微型陀螺仪。第一位姿传感器52和第二位姿传感器64实时记录书写时毛笔的空间位置和运动姿态信息,同步传输给系统主机1。在机器书写手臂3书写时,第一位姿传感器52记录的信息被系统主机1记录保存,在用户9握持第二毛笔6书写与机器书写手臂3所书写内容相同的内容时,将第二位姿传感器64与第一位姿传感器52生成的信息实时比较,生成差值函数Δf(该信息包含位置,速度,加速度等变量)。
马达66为可编程振动线性马达66。马达66为用户9书写提供振动反馈信息,马达66振动大小可根据输入信号的大小实时变换,产生不同的反馈效果。用户9书写时,系统主机1根据差值函数Δf给定马达66的振动反馈大小,用户9在整个书写过程中会明确感受到不同地方存在不同的反馈,使用户9能够找到自己书写的薄弱点,增强学习效率。
增强现实眼镜7上的双目视觉摄像头72具有两大功能:1、识别人工书写平台8上的展示区域定位点82和人工书写区域定位点85,确定展示增强现实的书法教学动画83的空间显示位置;2、识别第二毛笔6上的横向视觉标定标识和纵向视觉标定标识65,通过图像识别软件计算第二毛笔6在书写时空间位置和姿态信息。
在“戴上增强现实眼镜跟学”模式下学习时,用户9戴上增强现实眼镜7,按下眼镜上的控制按钮73,此时眼镜上的双目视觉摄像头72识别出展示区域定位点82和人工书写区域定位点85,用户9通过左眼增强现实显示镜片看到书法教学动画83落入对应定位点内,并做好准备书写的姿势。用户9拿笔坐稳,做好书写准备。用户9再次按下眼镜上控制按钮73,书法教学动画83开始播放,同时用户9跟着学习书写,书写完毕,按下控制按钮73结束书写。书写过程中,第二毛笔6内的第二位姿传感器64的数据会与第一毛笔5生成的对应数据对比,当差值大于原始值的5%时,马达66给与用户9振动反馈,差值越大,反馈振动越大,用户9根据书写过程中的力反馈大小值可实时知晓自身书写的短板。书写完毕后,在系统主机1内生成书写评估报告,报告分析具体到一笔一画出现的问题。
下面给出一种具体实施方式对利用本发明的教学机进行书法教学的具体步骤进行说明:
(1)系统初始化;
(2)用户在系统主机中输入想书写的文字,选择书写风格;
(3)系统主机调用所选风格偏旁部首,通过算法生成所选风格文字;
(4)系统主机根据风格文字的轮廓、宽度和组成的部首计算出机器书写手臂的运动控制参数;
(5)系统主机控制机器书写手臂书写,用户可跟随学习书写相关要点;
(6)机器书写平台上固定的第一视觉模块获取书写结果,输入系统主机后与(3)中的风格文字进行对比,更改(4)中运动控制参数,优化下次书写效果;
(7)系统主机根据运动控制参数生成3D书法教学动画,通过系统主机将动画输出到显示器或远程终端,供用户重复学习;
(8)用户完成前期学习后,戴上增强现实眼镜,手握定制毛笔,坐在人工书写平台前准备书写;
(9)用户通过增强现实眼镜能观察到3D书法教学动画在人工书写平台左半部的书写教学动画展示区域,人工书写平台的右半部的人工书写区域供用户书写,动画与实际效果比例为1:1;
(10)用户按下增强现实眼镜上的控制按钮,并跟随增强现实眼镜内的书法教学动画开始书写,动画可暂停和重复播放,书写完毕后按下控制按钮结束;书写过程中若出现运笔不正确,第二毛笔内的马达会给与相应的振动反馈,提示用户;
(11)书写期间第二位姿传感器采集相关运动信息通过无线网络模块实时传输给系统主机;
(12)增强现实上的双目视觉摄像头根据第二毛笔上的视觉标定标识实时采集第二毛笔的位置和运动信息实时传输给系统主机;
(13)系统主机根据(11)、(12)中的信息,对比机器书写手臂的书写运动信息给出更正意见,并给出书写评分。
与现有技术相比,本发明的有益效果是:
1、增强现实的书法学习沉浸感强,辅助马达力反馈技术,可在学习过程中亲身感受到学习的薄弱点,提高学习效率。
2、教学机根据学习的不同阶段设置三种不同的学习模式(屏幕输出虚拟现实跟学、跟随机器书写手臂书写学习、戴上增强现实眼镜跟学)满足不同水平的学员的学习需求。
3、一套教学主机可以同时连接多套书写平台的接入,实现课堂级教学,增加互动性,同时极大降低了单人使用成本。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于机器视觉和增强现实的书法教学机,其特征在于,包括:系统主机、机器书写平台、机器书写手臂、第一视觉模块、人工书写平台、增强现实眼镜、第二视觉模块、显示器、第一毛笔和第二毛笔;在所述第一毛笔上设置有第一位姿传感器,在所述第二毛笔上设置有第二位姿传感器;
所述系统主机与所述机器书写手臂、所述第一视觉模块、所述增强现实眼镜、所述第二视觉模块、所述显示器、所述第一位姿传感器和所述第二位姿传感器通讯连接;
所述机器书写手臂和所述第一视觉模块均位于所述机器书写平台上,所述机器书写手臂夹持所述第一毛笔;所述第二视觉模块位于所述人工书写平台上;
所述机器书写平台为供所述机器书写手臂夹持所述第一毛笔书写的平台;所述人工书写平台为供用户手持所述第二毛笔书写的平台;所述第一视觉模块用于拍摄所述机器书写平台上的机器书写结果;所述第二视觉模块用于拍摄所述人工书写平台上的书写结果;
所述系统主机用于根据所述第一视觉模块和所述第一位姿传感器获取的数据对书写控制参数进行调整,还用于利用调整后的书写控制参数控制所述机器书写手臂进行书写,还用于根据所述第二视觉模块和所述第二位姿传感器获取的数据将所述人工书写平台上的人工书写动作以及人工书写结果与标准动作以及标准结果进行比对,还用于根据调整完毕的书写控制参数生成利用所述第一毛笔书写各个字的书写教学动画;所述显示器用于显示书写教学动画;所述增强现实眼镜用于在所述人工书写平台上展示书写教学动画;
所述增强现实眼镜上设置有双目视觉摄像头;所述人工书写平台包括书写教学动画展示区域和人工书写区域;所述双目视觉摄像头用于识别所述书写教学动画展示区域和所述人工书写区域并记录第二毛笔的运动轨迹;
所述双目视觉摄像头与所述系统主机通讯连接;所述系统主机用于根据所述第二毛笔的运动轨迹将人工书写动作与标准动作进行比对;
所述第二毛笔笔杆的顶端和底端均标注有视觉标定标识;所述视觉标定标识用于供所述双目视觉摄像头跟踪所述第二毛笔的运动轨迹;同一轴段纵向视觉标定标识的数量为多个,多个纵向视觉标定标识沿第二毛笔笔杆的周向均匀分布。
2.根据权利要求1所述的一种基于机器视觉和增强现实的书法教学机,其特征在于,所述书写教学动画展示区域和所述人工书写区域上均设置有至少三个定位点;所述双目视觉摄像头通过识别所述定位点确定所述书写教学动画展示区域和所述人工书写区域。
3.根据权利要求1所述的基于机器视觉和增强现实的书法教学机,其特征在于,所述第二毛笔上设置有马达;所述马达与所述系统主机连接;所述系统主机还用于在所述人工书写动作偏离所述标准动作的程度超过预设阈值时控制所述马达振动。
4.根据权利要求1所述的基于机器视觉和增强现实的书法教学机,其特征在于,所述系统主机还与远程终端无线通讯连接;所述系统主机用于将书写教学动画发送至所述远程终端显示。
5.根据权利要求1所述的基于机器视觉和增强现实的书法教学机,其特征在于,所述增强现实眼镜上安装有控制按钮;所述控制按钮与所述系统主机连接;所述控制按钮用于向所述系统主机发送控制指令,从而实现对所述增强现实眼镜所展示的书法教学动画进行播放控制。
6.根据权利要求1所述的基于机器视觉和增强现实的书法教学机,其特征在于,所述第一毛笔和所述第二毛笔的形状、尺寸和重量相同。
7.根据权利要求1所述的基于机器视觉和增强现实的书法教学机,其特征在于,所述机器书写手臂为五轴机械手臂。
8.根据权利要求1所述的基于机器视觉和增强现实的书法教学机,其特征在于,所述第一位姿传感器和所述第二位姿传感器均包括陀螺仪和运动传感器。
CN202010169335.1A 2020-03-12 2020-03-12 一种基于机器视觉和增强现实的书法教学机 Active CN111223337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010169335.1A CN111223337B (zh) 2020-03-12 2020-03-12 一种基于机器视觉和增强现实的书法教学机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169335.1A CN111223337B (zh) 2020-03-12 2020-03-12 一种基于机器视觉和增强现实的书法教学机

Publications (2)

Publication Number Publication Date
CN111223337A CN111223337A (zh) 2020-06-02
CN111223337B true CN111223337B (zh) 2020-12-22

Family

ID=70832656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169335.1A Active CN111223337B (zh) 2020-03-12 2020-03-12 一种基于机器视觉和增强现实的书法教学机

Country Status (1)

Country Link
CN (1) CN111223337B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833669B (zh) * 2020-07-13 2022-07-22 孙学峰 一种中国书法用笔教学系统及教学方法
CN112248006A (zh) * 2020-10-29 2021-01-22 哈工大机器人湖州国际创新研究院 机械臂毛笔字书写控制方法
CN112192576A (zh) * 2020-10-29 2021-01-08 哈工大机器人湖州国际创新研究院 机械臂汉字书写控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764054A (zh) * 2018-04-27 2018-11-06 厦门大学 基于生成式对抗网络的机器人书写书法的方法
CN208922539U (zh) * 2018-06-18 2019-05-31 吉首大学张家界学院 一种新型美术教学用临摹设备
CN209265745U (zh) * 2018-03-30 2019-08-16 北京华文众合科技有限公司 手臂动作再现设备和系统、动作捕捉设备以及中控台

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050037844A1 (en) * 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
US20090007468A1 (en) * 2007-07-05 2009-01-08 Paul Michael Smith Method of teaching reading
US8358320B2 (en) * 2007-11-02 2013-01-22 National University Of Singapore Interactive transcription system and method
JP5216158B1 (ja) * 2012-11-16 2013-06-19 玲子 松葉 原画のパステル画用下絵形成用母体及び原画のパステル画用下絵の製造方法
CN105818575A (zh) * 2016-04-22 2016-08-03 广东小天才科技有限公司 智能笔及智能笔的笔画纠错方法
CN106363637B (zh) * 2016-10-12 2018-10-30 华南理工大学 一种机器人快速示教方法及装置
CN106781841A (zh) * 2017-01-20 2017-05-31 东莞市触梦网络科技有限公司 一种ar教画装置及其教画系统
CN106898189B (zh) * 2017-03-29 2019-05-07 湖北工业大学工程技术学院 一种绘画学习训练装置及方法
CN207182814U (zh) * 2017-09-19 2018-04-03 滁州学院 一种基于虚拟现实的绘画演示装置
CN108399821A (zh) * 2018-01-29 2018-08-14 常涛涛 一种电子智能辅助书写训练及分析评价系统
CN108447032B (zh) * 2018-03-07 2021-10-08 浙江大学 一种基于增强现实的绘画作品临摹和再创作方法
KR102101496B1 (ko) * 2018-04-16 2020-04-17 인영조 Ar 기반의 글씨 쓰기 연습 방법 및 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN209265745U (zh) * 2018-03-30 2019-08-16 北京华文众合科技有限公司 手臂动作再现设备和系统、动作捕捉设备以及中控台
CN108764054A (zh) * 2018-04-27 2018-11-06 厦门大学 基于生成式对抗网络的机器人书写书法的方法
CN208922539U (zh) * 2018-06-18 2019-05-31 吉首大学张家界学院 一种新型美术教学用临摹设备

Also Published As

Publication number Publication date
CN111223337A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111223337B (zh) 一种基于机器视觉和增强现实的书法教学机
CN106128212B (zh) 基于增强现实技术的书法学习系统及方法
US8358320B2 (en) Interactive transcription system and method
CN113994396A (zh) 基于增强现实和/或姿势检测技术的用户引导系统
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
CN111475667A (zh) 一种基于手写汉字的机械臂楷体风格书法撰写方法
CN111833669B (zh) 一种中国书法用笔教学系统及教学方法
CN206741428U (zh) 带反光镜的支架
CN111047947A (zh) 一种基于ar技术的书写指导器及书写指导方法
KR102199078B1 (ko) 동작인식 기반의 스마트 미용기술 러닝 장치 및 방법
CN112732087A (zh) 一种师范生教学技能智能评价与训练系统
CN113506377A (zh) 一种基于虚拟漫游技术的教学培训方法
JP2024107133A (ja) 視聴端末、視聴方法、およびプログラム
CN116228934A (zh) 一种三维形象流畅发音口型模拟方法
CN116664355A (zh) 一种基于远程实验的虚拟教学系统及方法
US20190355281A1 (en) Learning support system and recording medium
US10713833B2 (en) Method and device for controlling 3D character using user's facial expressions and hand gestures
CN115379278B (zh) 基于扩展现实(xr)技术沉浸式微课的录制方法及系统
EP4030386A1 (en) Generating artwork tutorials
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
CN114779942A (zh) 一种虚拟现实沉浸式互动系统、设备及方法
KR102148033B1 (ko) 색칠 ar 교구를 이용한 vr 구현 시스템
CN113516031A (zh) 一种vr教学系统及多媒体教室
Gross et al. Gesture Modelling: Using Video to Capture Freehand Modeling Commands
CN111126279A (zh) 一种手势互动方法及手势互动装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant