CN108806355A - 一种书画艺术互动教育系统 - Google Patents

一种书画艺术互动教育系统 Download PDF

Info

Publication number
CN108806355A
CN108806355A CN201810386441.8A CN201810386441A CN108806355A CN 108806355 A CN108806355 A CN 108806355A CN 201810386441 A CN201810386441 A CN 201810386441A CN 108806355 A CN108806355 A CN 108806355A
Authority
CN
China
Prior art keywords
image
client
cloud server
calligraphy
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810386441.8A
Other languages
English (en)
Other versions
CN108806355B (zh
Inventor
陈晋音
王桢
郑海斌
莫卓锐
施朝霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinzhiyicai Technology Co ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810386441.8A priority Critical patent/CN108806355B/zh
Publication of CN108806355A publication Critical patent/CN108806355A/zh
Application granted granted Critical
Publication of CN108806355B publication Critical patent/CN108806355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种书画艺术互动教育系统,包括客户端、云服务器以及数据库,所述客户端与所述云服务器通信连接,所述数据库中存储有动态图片数据、3D模型数据、语音数据、与语音对应的文字数据、一个一级图像分类模型以及多个二级图像分类模型;所述客户端用于发送图像或文字至所述云服务器,还用于显示所述云服务器基于接收图像返回的显示数据;所述云服务器用于依次利用训练好的一级图像分类模型和二级图像分类模型对接收的图像进行分类后,根据分类后获得的图像标签,查找调取并发送与所述图像标签对应的显示数据至所述客户端;所述显示数据为语音数据、与语音对应的文字数据、动态图片数据以及3D模型数据中的至少一种。

Description

一种书画艺术互动教育系统
技术领域
本发明属于增强现实和图像识别处理技术领域,具体涉及一种书画艺术互动教育系统。
背景技术
随着近年来社会的发展以及人们生活水平的提高,艺术修养与文化熏陶等词汇不断成为大众讨论的焦点,人们对于欣赏和学习优秀艺术文化的需求也愈发迫切。
书画艺术,即书法与绘画艺术的统称,能够使日常生活变得丰富多彩;具有书画艺术修养的人,能够更敏锐地感受生活。但如今书画兴趣辅导班良莠不齐,大众对于书画作品的欣赏学习渠道短缺单一,这都表明了提高国民书画艺术修养的严峻性和重要性。着眼当下的科技发展潮流与方向,将计算机技术应用到艺术传播与教育的过程中,是教学改革的重要途径。尤其在博物馆中,将二维静态的书画作品通过计算机技术中的增强现实技术,得到实时渲染效果的展示,将成为艺术作品欣赏过程中的享受。同样,在进行艺术作品的创作过程中,综合运用增强现实技术,使用户置身于栩栩如生的三维的动感空间里,进行互动教授与创作,将是一件非常有趣的事情,并且有着非常深远的发展意义和实用价值。
目前,基于增强现实技术(AR)的相关教育产品有深圳摩艾客公司的幼儿英语AR教材、大连新锐天地传媒公司旗下的“AR学校”推出的 AR涂涂乐系列产品,小灵石科技推出的AR早教机,小熊尼奥推出的“口袋动物园”等。根据文献查阅显示,以增强现实技术为基础的教育产品主要用于知识传播,而作为艺术素养提升的书画艺术教育产品尚不多见。
现有的智能教育系统对图像的匹配分类不是够准确,不能较好地实现对图像的显示,因此,开发以增强现实技术为基础的具有移动性、便携性、趣味性以及良好交互性的书画艺术教育方法与系统,供人们在移动终端上使用体验,为国民的书画学习、艺术教育、文化修养提供方便、快捷、高效的途径,具有深刻的意义与价值。
发明内容
本发明的目的是提供一种书画艺术互动教育系统,通过提高图像的匹配准确性来提升互动教育系统的互动效率和效果。
为实现上述发明目的,本发明提供以下技术方案:
一种书画艺术互动教育系统,包括客户端、云服务器以及数据库,所述客户端与所述云服务器通信连接,其特征在于,
所述数据库中存储有动态图片数据、3D模型数据、语音数据、与语音对应的文字数据、一个一级图像分类模型以及多个二级图像分类模型;
所述客户端用于发送图像或文字至所述云服务器,还用于显示所述云服务器基于接收图像返回的显示数据;
所述云服务器用于依次利用训练好的一级图像分类模型和二级图像分类模型对接收的图像进行分类后,根据分类后获得的图像标签,查找调取并发送与所述图像标签对应的显示数据至所述客户端;
所述显示数据为语音数据、与语音对应的文字数据、动态图片数据以及3D模型数据中的至少一种;
所述一级图像分类模型经以下方式获得:对爬取的大量图像进行无监督簇聚类,以簇聚类获得的每个簇中包含的图像作为输入,以每个簇中心作为对应簇包含图像的监督目标,对VGG19网络进行训练,获得所述一级图像分类模型;
所述二级图像分类模型经以下方式获得:以单个簇包含的所有图像作为输入,以每个图像对应的真值标签作为监督目标,对改进的ResNet进行训练,获得与单个簇对应的二级图像分类模型。
本发明采用两级分类的方式对接收的图像进行分类,这样既能够实现对图像的较准确的分类,也能够提高计算效率,减小计算开销,为匹配调取显示数据提供了准确性基础,此外,本发明提供的系统中还存储有动态图片数据、3D模型数据、语音数据、与语音对应的文字数据,这些显示数据配合在客户端进行显示,为用户提供较形象的互动教育系统,以吸引和引导用户学习和欣赏书画艺术作品。
本发明中,采用密度聚类算法对爬取的大量图像进行无监督簇聚类,具体地,密度聚类算法包括DBSCAN算法、FDBSCAN算法、RDBClustering 算法、FRDBClustering算法、OPTICS算法、DENCLUE算法等。采用密度聚类算法将图像聚类成多个簇,每个簇中心为对应簇中所有图像的真值标签,将该真值标签作为VGG19网络的监督目标,利用所有的图像以及对应的真值标签构成一个训练集,对VGG19网络进行训练,以得到一级图像分类模型,该一级图像分类模型由于是以簇中心作为真值标签对 VGG19网络训练获得的,因此,该一级图像分类模型仅能实现对待分类图像的一级分类,即只能确定待分类模型的初始分类标签。
二级图像分类模型是利用单个簇中包含的图像对改进的ResNet进行训练得到的,因此,只能针对属于该簇中的图像进行准确地分类。例如:在簇分类时,将所有的图像分成了10个簇,其中一个簇A包含了m个图像,以这m个图像和m个图像对应的真值标签组成训练集,对改进的 ResNet进行训练,获得与簇A对应的二级图像分类模型,利用每个簇分别训练改进的ResNet,则最终会获得10个二级图像分类模型,其中,每个二级图像分类模型均与一个簇对应。
在训练二级图像分类模型时,图像对应的真值标签为人为标注或采用爬虫技术爬取获得。一般情况下,初始建立图像分类模型时,若图像少,则采用人为标注方式获得图像对应的真值标签,若在应用时更新二级图像分类模型,一般采取爬虫技术爬取获得图像对应的真值标签。
优选地,当所述客户端接收到所述云服务器基于接收图像返回的3D 模型数据后,会以增强现实方式显示所述3D模型数据。所述3D模型采用3DMAX软件建立。
本发明基于存储的3D模型数据,采用增强现实技术为用户带来更直观的3D立体动画场景体验,同时通过语音与文字数据为用户介绍与图像相关的知识,吸引用户观看、欣赏以及学习书画艺术作品。此外,将3D 立体动画显示在画纸上或毛毡纸上,以供用户进行临摹与再创作,实现用户与教育系统的互动,依次来培养用户对书画艺术品的兴趣爱好。
具体地,所述云服务器包括:
接收单元,接收客户端发送的图像、文字;
一级图像分类单元,调取并利用训练好的一级图像分类模型对接收的图像进行计算,获得初始分类置信度后,选取至少一个较高的初始分类置信度作为图像的初始分类标签;
二级图像分类单元,调取并利用至少一个与所述初始分类标签对应的二级图像分类模型对接收的图像进行计算,获得多个二级分类置信度后,选取最高的二级分类置信度作为该图像的图像标签;
匹配计算单元,根据所述图像标签,在所述数据库中查找与所述图像标签匹配的显示数据;
发送单元,若查找到与图像标签匹配的显示数据,则调取并发送与与图像标签匹配的显示数据至所述客户端,若未查找到与图像标签匹配的显示数据,则发送无匹配信息至所述客户端。
本发明系统中,若云服务器返回无匹配信息时,说明该系统中并没有存储与图像匹配的显示数据,此时需要对图像分类模型和显示数据进行更新,具体地,所述云服务器还包括:
信息爬取单元,根据无匹配信息的图像,采用爬虫技术在第三方网络中爬取与该无匹配信息的图像对应的动态图片数据、语音数据以及与语音对应的文字数据并存储至所述数据库;
图像分类模型更新单元,利用无匹配信息的图像与部分存储的图像作为训练样本对VGG19和改进的ResNet进行重新训练,以更新所述数据库中的一级图像分类模型和二级图像分类模型;
提取单元,提取无匹配信息的图像的轮廓;
3D模型更新单元,基于提取的图像轮廓,构建无匹配信息图像的3D 模型并存储至所述数据库。
上述的第三方网络即本发明书画艺术互动教育系统外的其他网网络,可以是百度、谷歌以及360等商业搜索网络。
本发明提供的书画艺术互动教育系统还具有推送功能,即可以根据用户的喜好推送用户可能感兴趣的书画艺术展览活动。具体地,所述云服务器还包括:
推送单元,根据收集的作品欣赏活动,推送与客户端呈现的兴趣爱好和地址位置匹配靠前的作品欣赏活动至所述客户端,同时还推送与作品欣赏活动对应的路径规划信息和天气信息。
具体地,所述客户端包括:
接收单元,接收所述述云服务器发送的显示数据;
显示单元,对接收的显示数据进行显示;
帧加速单元,按照时间顺序,将摄像头采集的视频截取成帧图像,对于当前帧图像,若当前帧图像与前一帧图像的相似度大于相似度阈值,则将当前帧图像删除,以此实现对视频流的帧加速;
发送单元,将帧加速后的帧图像发送至所述云服务器或第三方客户端。
由于采集的视频数据量很大,既占据大量的字节,又会影响数据传输效率,因此,客户端以最大限度保留有效信息数据和最小占据内容为条件,设定相应的相似度阈值,对视频进行帧加速处理,具体通过帧加速单元实现。
上述的第三方客户端是本发明提供的客户端以外的其他APP,如微信、微博、QQ等交流分享软件。用户利用摄像头采集临摹创作的过程视频,并将该视频分享到第三方客户端,以实现对创作作品的分享。
改进的ResNet即是增加传统ResNet的模块数和减少网络层数,具体为:将原有的resBlock替换为多个并联的resBlock,将多个resBlock的输出级联后作为下一层的输入,且在每一resBlock后增加batch_norm层。
与现有技术相比,本发明具有的有益效果为:
移动智能终端的客户端具有良好的移动性、便携性以及趣味性,能够为用户的书画艺术欣赏与学习互动提供方便、便携的途径;所建立的数据库能够及时、高效的进行数据的分类与资源创作,以及完成新数据的自动整合,保证系统的稳定运行;所搭建的云服务器,为用户提供了实时的分享交流平台以及基于地理位置信息的推送服务,不断提高用户体验,形成良性循环的艺术生态圈。
附图说明
图1是本发明提供的书画艺术互动教育系统的结构示意图;
图2是图1中的云服务器的结构示意图;
图3是图1中的客户端的结构示意图;
图4是本实施例采用的ResNet的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
本实施例提供的书画艺术互动教育系统的发明构思为:首先,通过移动智能终端的前台客户端的开发,结合云服务器的搭建与后台数据库的建立,形成互动教育系统;其次,客户端的使用基于增强现实技术,通过使用摄像头对书画作品进行识别,结合服务器从系统中识别调取的增强现实教育内容进行学习与互动;同时,数据库的建立与维护,使用网络爬虫技术对书画作品资源进行采集;使用聚类算法对采集的资源进行分类;使用图像处理及3D建模技术制作增强现实学习与互动内容;以及使用深度学习进行新数据的自动分类与录入,完成数据库的更新;另外,云服务基于对用户数据以及使用信息的采集与分析,构建分享交流平台,并提供相关推送服务,形成艺术生态圈。
具体地,本发明提供的书画艺术互动教育系统的结构示意图如图1所示,书画艺术互动教育系统100包括客户端101、云服务器102以及数据库103,其中,客户端101与云服务器102通过移动网络通信连接。
数据库103中存储有包括动态图片数据、3D模型数据、语音数据、与语音对应的文字数据的显示数据,一个一级图像分类模型以及多个二级图像分类模型;
客户端101用于发送图像或文字至所述云服务器,还用于显示所述云服务器基于接收图像返回的显示数据;
云服务器102用于依次利用训练好的一级图像分类模型和二级图像分类模型对接收的图像进行分类后,根据分类后获得的图像标签,查找调取并发送与所述图像标签对应的显示数据至客户端101。
在数据库103的建立过程中,为了采集足够丰富的书画作品的图像资源及相关介绍,本实施例借助网络爬虫技术进行抓取;本实施例设计的网络爬虫框架为C/S模式,即一种客户端/云服务器端模式;包括多客户端协调爬取程序以及服务器端数据库文件和客户端数据库文件比对下载,并上传更新云服务器端的数据库,从而实现爬取速度的大幅度提升。
爬虫一般针对各个网站的图片规律进行分析进行爬取,这种网站一般是同步刷新加载,只需要进行图片的正则表达式分析以及下一页面的编码规则即可,这种方案可适用于百度,Bing和Instagram。分析正则表达式进行下一页面编码规则的搜索方式适用于同步加载的网站。而对于使用AJAX方式加载的网站,由于使用了JavaScript进行数据返回,因此无法获取下一页面的数据地址;本发明通过模拟浏览器进行下拉刷新以解决此类网站爬取,检测AJAX加载后的HTML代码并分析提取;具体的,使用Python的Selenium第三方库调用浏览器并下拉获取异步加载后的 HTML代码。
本实施例中的动态图片数据、语音数据以及与语音对应的文字数据均采用网络爬虫技术获取。
3D模型数据通过3DMAX软件实现,具体地,使用3DMAX三维建模技术对书画作品中的文字、人物及景象等元素进行3D模型建立,并结合书画作品的内容介绍与历史背景设计动画或相对应的动态效果,加入后期音频,并以此作为书画作品的增强现实教育学习内容;同时,本实施例使用轮廓提取技术对各类绘画与书法作品进行轮廓提取,然后使用 3DMAX对提取出的轮廓线进行3D建模,从而得到立体的书画作品的轮廓线,以此作为增强现实教育互动内容,供用户对书画作品进行临摹与再创作。
一级图像分类模型通过以下方式建立:
首先,对爬取的大量图像资源进行无监督簇聚类,在聚类过程中,主要考虑书画作品的以下属性,包括作者、作者国籍、创作年代、作品类别、绘画或书法风格、作品市场价格、作品题材、作品尺寸大小、作品现藏地等等,并寻找一种合适的距离计算方法,选取其中几类具有代表性的特征属性,计算不同作品间的特征差异,从而进行聚类。
然后,选择每个簇中心作为对应簇包含图像的真值标签,将所有图像以及图像对应的真值标签形成一个训练集,对VGG19网络进行监督学习,以获得一级图像分类模型,该一级图像分类模型仅能实现对待分类图像的一级分类,即只能确定待分类模型的初始分类标签。
二级图像分类模型的建立:以单个簇包含的所有图像作为输入,以每个图像对应的真值标签作为监督目标,对改进的ResNet进行训练,获得与单个簇对应的二级图像分类模型。
由于二级图像分类模型是利用单个簇中包含的图像对改进的ResNet 进行训练得到的,因此,只能针对属于该簇中的图像进行准确地分类。
本实施例采用的改进的ResNet的结构示意图如图4所示,具体结构如表1;
表1
Type Patch size/stride output size
Conv 3x3/1 224x224x16
ResBlock 5x5/1 224x224x16
batch_norm 224x224x16
[ResBlock,ResBlock] 3x3/2 112x112x32
batch_norm 112x112x32
[ResBlock,ResBlock] 3x3/2 56x56x64
batch_norm 56x56x64
ResBlock 3x3/2 28x28x128
batch_norm 28x28x128
[ResBlock,ResBlock] 3x3/2 14x14x128
batch_norm 14x14x128
ResBlock 3x3/2 7x7x256
batch_norm 7x7x256
Full connected sigmoid 1x1x4096
Full connected softmax 1x1xX’
改进的ReseNet是基于多通道思想,将网络的宽度增加了,对resBlock 进行并联,将并联的输出进行级联作为下一层的输入。其中resBlock表示 reaNet模块,batch_norm表示批标准化层,X’表示分类的类别数。 [ResBlock,ResBlock]表示同尺度的resBlock并联模块。同时在每一层 resBlock后加入batch_norm层,从而最大限度的发挥激活函数的作用, patch size表示卷积或者池化过程的窗口大小,stride表示窗口的滑动步长, outputsize表示经过卷积或者池化后的输出结果的尺寸。
图2是图1中的云服务器的结构示意图。如图2所示,云服务器102 包括:
接收单元201,接收客户端101发送的图像、文字;
一级图像分类单元202,调取并利用训练好的一级图像分类模型对接收的图像进行计算,获得初始分类置信度后,选取至少一个较高的初始分类置信度作为图像的初始分类标签;
二级图像分类单元203,调取并利用至少一个与所述初始分类标签对应的二级图像分类模型对接收的图像进行计算,获得多个二级分类置信度后,选取最高的二级分类置信度作为该图像的图像标签;
匹配计算单元204,根据所述图像标签,在数据库103中查找与所述图像标签匹配的显示数据;
图像分类模型更新单元205,利用无匹配信息的图像与部分存储的图像作为训练样本对VGG19和改进的ResNet进行重新训练,以更新数据库103中的一级图像分类模型和二级图像分类模型;
信息爬取单元206,根据无匹配信息的图像,采用爬虫技术在第三方网络中爬取与该无匹配信息的图像对应的动态图片数据、语音数据以及与语音对应的文字数据并存储至数据库103;
提取单元207,提取无匹配信息的图像的轮廓;
3D模型更新单元208,基于提取的图像轮廓,构建无匹配信息图像的 3D模型并存储至数据库103;
推送单元209,根据收集的作品欣赏活动,推送与客户端呈现的兴趣爱好和地址位置匹配靠前的作品欣赏活动至客户端101,同时还推送与作品欣赏活动对应的路径规划信息和天气信息;
发送单元,若查找到与图像标签匹配的显示数据,则调取并发送与与图像标签匹配的显示数据至客户端101,若未查找到与图像标签匹配的显示数据,则发送无匹配信息至客户端101。
本实施例中采用申请公布号106447676A的专利申请公布的方法对图像进行轮廓提取。
图3是图1中的客户端的结构示意图。如图3所示,客户端101包括:
接收单元301,接收所述述云服务器发送的显示数据;
显示单元302,对接收的显示数据进行显示;
帧加速单元303,按照时间顺序,将摄像头采集的视频截取成帧图像,对于当前帧图像,若当前帧图像与前一帧图像的相似度大于相似度阈值,则将当前帧图像删除,以此实现对视频流的帧加速;
发送单元304,将帧加速后的帧图像发送至所述云服务器或第三方客户端。
第三方客户端是本发明提供的客户端以外的其他APP,如微信、微博、 QQ等交流分享软件。
利用本实施例提供的书画艺术互动教育系统可以实现增强现实教育学习功能,具体地,在进行书画艺术欣赏时,客户端101将摄像头采集的视频经帧加速处理后上传至云服务器102,云服务器102对接收的图像进行分类、匹配后返回与图像对应的显示数据,客户端101以增强现实的方式对显示数据进行呈现,即以3D立体动画以及音频展示的形式向用户介绍书画作品。例如:3D立体的画中人或者是作画者浮现在绘画之上,向用户介绍这幅画的意境;又或是有古代的作者虚拟人像跃然纸上,娓娓道出纸上的所写,演绎创作时的情境,使得欣赏的效果更加引人入胜。
利用本实施例提供的书画艺术互动教育系统可以实现增强现实教育互动功能。在进行书画艺术创作时,在识别书画作品后,服务器102对书画作品进行轮廓提取和3D建模,并将3D模型数据返回至客户端101,客户端101利用增强现实技术的沉浸感知能力,将已经进行轮廓提取与3D 建模后的书画作品增强显示在毛毡纸或是画纸上,供用户进行临摹与再创作;对于绘画作品的临摹,最初级的是简笔画,通过对简笔画的步步深入,渐渐掌握学画的构图技巧,同时还能培养用户丰富的想象力与审美能力。
本实施例提供的书画艺术互动教育系统还具有分享交流功能,即用户将书画作品的欣赏与临摹创作过程以视频的方式记录下来,上传至分享交流平台与其他用户进行互动交流;或是通过第三方社交软件进行分享;创作技能的提高需要不断的重复练习,把创作过程通过视频记录下来,并用帧加速的形式变成酷炫的动画效果进行发布,当收获到好友的点赞与鼓励,用户就有了坚持下去的动力。另一方面,还可以成立专家社团,专门为大家发布的作品提供专业的知道意见。同时,在遇到无法识别且数据库内没有记录的书画作品时,可向后台进行作品上传,共同完善数据库的建立。
此外,本实施例提供的书画艺术互动教育系统还具有推送服务,基于位置信息的展览服务推送能及时的为用户提供信息,如展览地点和展览内容简介,同时也是集成门票预订、出行路线规划、天气预报等的一站式服务。据用户的地理位置,将给用户推送附近的艺术作品展览信息,用户可以设置推送距离(推送距离自己多少范围内的展览信息),收藏自己喜欢的展览类型,选择只接受自己收藏类型的书画展览的推送信息并设置相关隐私权限。
不同用户之间可以进行欣赏作品和创作作品的分享,以社区的形式经营艺术生态圈,圈内的用户可以对好友的作品进行评价,提出改进意见,并发布正在举办或者将要举办的书画艺术展览信息。在遇到有不认识的书画作品且资源库中也没有的情况时,除了可以向后台提交作品进行数据库的更新外,还可以向圈内的用户进行提问,并对踊跃回答问题的用户采取积分奖励机制。
在使用上述书画艺术互动教育系统前,需要先下载客户端,然后进行用户注册,注册后即可以使用该系统。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种书画艺术互动教育系统,包括客户端、云服务器以及数据库,所述客户端与所述云服务器通信连接,其特征在于,
所述数据库中存储有动态图片数据、3D模型数据、语音数据、与语音对应的文字数据、一个一级图像分类模型以及多个二级图像分类模型;
所述客户端用于发送图像或文字至所述云服务器,还用于显示所述云服务器基于接收图像返回的显示数据;
所述云服务器用于依次利用训练好的一级图像分类模型和二级图像分类模型对接收的图像进行分类后,根据分类后获得的图像标签,查找调取并发送与所述图像标签对应的显示数据至所述客户端;
所述显示数据为语音数据、与语音对应的文字数据、动态图片数据以及3D模型数据中的至少一种;
所述一级图像分类模型经以下方式获得:对爬取的大量图像进行无监督簇聚类,以簇聚类获得的每个簇中包含的图像作为输入,以每个簇中心作为对应簇包含图像的监督目标,对VGG19网络进行训练,获得所述一级图像分类模型;
所述二级图像分类模型经以下方式获得:以单个簇包含的所有图像作为输入,以每个图像对应的真值标签作为监督目标,对改进的ResNet进行训练,获得与单个簇对应的二级图像分类模型。
2.如权利要求1所述的书画艺术互动教育系统,其特征在于,当所述客户端接收到所述云服务器基于接收图像返回的3D模型数据后,会以增强现实方式显示所述3D模型数据。
3.如权利要求1或2所述的书画艺术互动教育系统,其特征在于,所述云服务器包括:
接收单元,接收客户端发送的图像、文字;
一级图像分类单元,调取并利用训练好的一级图像分类模型对接收的图像进行计算,获得初始分类置信度后,选取至少一个较高的初始分类置信度作为图像的初始分类标签;
二级图像分类单元,调取并利用至少一个与所述初始分类标签对应的二级图像分类模型对接收的图像进行计算,获得多个二级分类置信度后,选取最高的二级分类置信度作为该图像的图像标签;
匹配计算单元,根据所述图像标签,在所述数据库中查找与所述图像标签匹配的显示数据;
发送单元,若查找到与图像标签匹配的显示数据,则调取并发送与图像标签匹配的显示数据至所述客户端,若未查找到与图像标签匹配的显示数据,则发送无匹配信息至所述客户端。
4.如权利要求3所述的书画艺术互动教育系统,其特征在于,所述云服务器还包括:
信息爬取单元,根据无匹配信息的图像,采用爬虫技术在第三方网络中爬取与该无匹配信息的图像对应的动态图片数据、语音数据以及与语音对应的文字数据并存储至所述数据库;
图像分类模型更新单元,利用无匹配信息的图像与部分存储的图像作为训练样本对VGG19和改进的ResNet进行重新训练,以更新所述数据库中的一级图像分类模型和二级图像分类模型;
提取单元,提取无匹配信息的图像的轮廓;
3D模型更新单元,基于提取的图像轮廓,构建无匹配信息图像的3D模型并存储至所述数据库。
5.如权利要求4所述的书画艺术互动教育系统,其特征在于,所述云服务器还包括:
推送单元,根据收集的作品欣赏活动,推送与客户端呈现的兴趣爱好和地址位置匹配靠前的作品欣赏活动至所述客户端,同时还推送与作品欣赏活动对应的路径规划信息和天气信息。
6.如权利要求4所述的书画艺术互动教育系统,其特征在于,所述客户端包括:
接收单元,接收所述述云服务器发送的显示数据;
显示单元,对接收的显示数据进行显示;
帧加速单元,按照时间顺序,将摄像头采集的视频截取成帧图像,对于当前帧图像,若当前帧图像与前一帧图像的相似度大于相似度阈值,则将当前帧图像删除,以此实现对视频流的帧加速;
发送单元,将帧加速后的帧图像发送至所述云服务器或第三方客户端。
7.如权利要求1或4所述的书画艺术互动教育系统,其特征在于,在训练二级图像分类模型时,图像对应的真值标签为人为标注或采用爬虫技术爬取获得。
8.如权利要求1或4所述的书画艺术互动教育系统,其特征在于,所述改进的ResNet为:将原有的resBlock替换为多个并联的resBlock,将多个resBlock的输出级联后作为下一层的输入,且在每一resBlock后增加batch_norm层。
9.如权利要求1或4所述的书画艺术互动教育系统,其特征在于,所述3D模型采用3DMAX软件建立。
CN201810386441.8A 2018-04-26 2018-04-26 一种书画艺术互动教育系统 Active CN108806355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810386441.8A CN108806355B (zh) 2018-04-26 2018-04-26 一种书画艺术互动教育系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810386441.8A CN108806355B (zh) 2018-04-26 2018-04-26 一种书画艺术互动教育系统

Publications (2)

Publication Number Publication Date
CN108806355A true CN108806355A (zh) 2018-11-13
CN108806355B CN108806355B (zh) 2020-05-08

Family

ID=64093525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810386441.8A Active CN108806355B (zh) 2018-04-26 2018-04-26 一种书画艺术互动教育系统

Country Status (1)

Country Link
CN (1) CN108806355B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097792A (zh) * 2019-05-09 2019-08-06 株洲华云智仿信息科技有限公司 轨道交通知识的移动智能交互式学习系统及其学习方法
CN111382281A (zh) * 2020-03-04 2020-07-07 腾讯科技(深圳)有限公司 基于媒体对象的内容的推荐方法、装置、设备和存储介质
CN113409628A (zh) * 2021-05-26 2021-09-17 广州番禺职业技术学院 基于博物馆与课堂教育相结合的沉浸式教学系统
CN114078347A (zh) * 2021-11-24 2022-02-22 武汉小绿人动力技术股份有限公司 一种新型青少年steam教育系统及方法
CN115373550A (zh) * 2022-10-24 2022-11-22 中诚华隆计算机技术有限公司 一种获取交互信息的方法、系统及芯片

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130031470A1 (en) * 2011-07-29 2013-01-31 Yahoo! Inc. Method and system for personalizing web page layout
CN103093182A (zh) * 2011-11-03 2013-05-08 北京师范大学 一种基于多敏感性策略的遥感影像层次分类识别方法
CN103309953A (zh) * 2013-05-24 2013-09-18 合肥工业大学 一种基于多rbfnn分类器集成的多样化图像标注和检索方法
CN105046197A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于聚类的多模板行人检测方法
CN106067029A (zh) * 2016-05-24 2016-11-02 哈尔滨工程大学 面向数据空间的实体分类方法
CN107193904A (zh) * 2017-05-11 2017-09-22 浙江唯见科技有限公司 一种图书vr和ar体验交互系统
CN107392238A (zh) * 2017-07-12 2017-11-24 华中师范大学 基于移动视觉搜索的户外植物知识拓展学习系统
CN107665498A (zh) * 2017-08-29 2018-02-06 北京航空航天大学 基于典型示例挖掘的全卷积网络飞机检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130031470A1 (en) * 2011-07-29 2013-01-31 Yahoo! Inc. Method and system for personalizing web page layout
CN103093182A (zh) * 2011-11-03 2013-05-08 北京师范大学 一种基于多敏感性策略的遥感影像层次分类识别方法
CN103309953A (zh) * 2013-05-24 2013-09-18 合肥工业大学 一种基于多rbfnn分类器集成的多样化图像标注和检索方法
CN105046197A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于聚类的多模板行人检测方法
CN106067029A (zh) * 2016-05-24 2016-11-02 哈尔滨工程大学 面向数据空间的实体分类方法
CN107193904A (zh) * 2017-05-11 2017-09-22 浙江唯见科技有限公司 一种图书vr和ar体验交互系统
CN107392238A (zh) * 2017-07-12 2017-11-24 华中师范大学 基于移动视觉搜索的户外植物知识拓展学习系统
CN107665498A (zh) * 2017-08-29 2018-02-06 北京航空航天大学 基于典型示例挖掘的全卷积网络飞机检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何鹏程: ""改进的卷积神经网络模型及其应用研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘小云等: ""Gaussian mixture models clustering using Markov random field for"", 《5TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS》 *
陈晋音 等: ""基于密度的聚类中心自动确定的混合属性数据聚类算法研究"", 《自动化学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097792A (zh) * 2019-05-09 2019-08-06 株洲华云智仿信息科技有限公司 轨道交通知识的移动智能交互式学习系统及其学习方法
CN111382281A (zh) * 2020-03-04 2020-07-07 腾讯科技(深圳)有限公司 基于媒体对象的内容的推荐方法、装置、设备和存储介质
CN111382281B (zh) * 2020-03-04 2023-05-02 腾讯科技(深圳)有限公司 基于媒体对象的内容的推荐方法、装置、设备和存储介质
CN113409628A (zh) * 2021-05-26 2021-09-17 广州番禺职业技术学院 基于博物馆与课堂教育相结合的沉浸式教学系统
CN114078347A (zh) * 2021-11-24 2022-02-22 武汉小绿人动力技术股份有限公司 一种新型青少年steam教育系统及方法
CN114078347B (zh) * 2021-11-24 2024-03-22 武汉小绿人动力技术股份有限公司 一种青少年steam教育系统及方法
CN115373550A (zh) * 2022-10-24 2022-11-22 中诚华隆计算机技术有限公司 一种获取交互信息的方法、系统及芯片
CN115373550B (zh) * 2022-10-24 2022-12-20 中诚华隆计算机技术有限公司 一种获取交互信息的方法、系统及芯片

Also Published As

Publication number Publication date
CN108806355B (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
Ahnert et al. The network turn: Changing perspectives in the humanities
Bejan Freedom and evolution: hierarchy in nature, society and science
CN108806355A (zh) 一种书画艺术互动教育系统
Wang et al. Developing an artificial intelligence framework for online destination image photos identification
Adams Geographies of media and communication
Weller History in the digital age
CN101356526B (zh) 用于生成通信作品的方法
CN109983455A (zh) 在在线社交网络上多样化媒体搜索结果
Loveless Role of ICT
CN112131472A (zh) 信息推荐方法、装置、电子设备和存储介质
Benedikt Cityspace, cyberspace, and the spatiology of information
Harbison Performing image
Benedikt Introduction to cyberspace: First steps
Lukács Internet memes as protest media in populist Hungary
Lang et al. Transforming Information Into Knowledge: How Computational Methods Reshape Art History.
Del Campo et al. Can Machines Hallucinate Architecture? AI as Design Method.
Chen et al. [Retracted] Research on Museum Educational Display Based on Image Recognition Tracking
CN113822521A (zh) 题库题目的质量检测方法、装置及存储介质
Cheu Construction of a digital platform for Nuo opera based on artificial intelligence
Zhang et al. A machine learning paradigm for Studying Pictorial realism: are constable's clouds more real than his contemporaries?
Flaig et al. New silent cinema
CN106202338B (zh) 基于多特征多关系的图像检索方法
CN114663765A (zh) 一种基于弱监督细粒度的植物叶片识别系统及方法
Suki et al. Discovering the Global Landscape of 3D Animation: A Bibliometric Analysis.
Pei et al. The Influence of Modern Information Technology on the Future of Museums

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210803

Address after: 100000 9a27, floor 9, No. 8, caihefang Road, Haidian District, Beijing

Patentee after: China Education Art Test Technology Co.,Ltd.

Address before: 310014 No. 18 Chao Wang Road, Xiacheng District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220804

Address after: Room 1003, Room 101, 2nd Floor, Building 55, Yard 5, Yujing East Road, Nanjing City, Jiangsu Province, 211106

Patentee after: Nanjing xinzhiyicai Technology Co.,Ltd.

Address before: 100000 9a27, floor 9, No. 8, caihefang Road, Haidian District, Beijing

Patentee before: China Education Art Test Technology Co.,Ltd.

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 211106 floor 15, building B1, Jiulong lake international enterprise headquarters park, No. 19, Suyuan Avenue, Jiangning District, Nanjing, Jiangsu Province (Jiangning Development Zone)

Patentee after: Nanjing xinzhiyicai Technology Co.,Ltd.

Address before: Room 1003, Room 101, 2nd Floor, Building 55, Yard 5, Yujing East Road, Nanjing City, Jiangsu Province, 211106

Patentee before: Nanjing xinzhiyicai Technology Co.,Ltd.