CN107230401A - 利用互联网和语音技术的写作教学交互系统以及实现方法 - Google Patents

利用互联网和语音技术的写作教学交互系统以及实现方法 Download PDF

Info

Publication number
CN107230401A
CN107230401A CN201710408217.XA CN201710408217A CN107230401A CN 107230401 A CN107230401 A CN 107230401A CN 201710408217 A CN201710408217 A CN 201710408217A CN 107230401 A CN107230401 A CN 107230401A
Authority
CN
China
Prior art keywords
writing
exercise
user
teaching
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710408217.XA
Other languages
English (en)
Inventor
孟昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710408217.XA priority Critical patent/CN107230401A/zh
Publication of CN107230401A publication Critical patent/CN107230401A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Abstract

本发明公开了利用互联网和语音技术的写作教学交互系统以及实现方法,方法包括如下步骤:开始写作练习时将音视频信息或文字内容信息上传,所述音视频信息和/或文字内容信息至少包括:写作关键词,将所述写作关键词语义分析后匹配归档,建立一作文练习电子档案,对所述作文练习电子档案批改或点评后下发反馈结果,循环上述步骤,直到所述反馈结果被标记为完成写作。本发明可以有效提高学生写作的效率,降低学习负担,提升教学效率,缩短教学时间,尤其对于低年级学生效果非常明显。

Description

利用互联网和语音技术的写作教学交互系统以及实现方法
技术领域
本发明涉及互联网和计算机技术领域,特别涉及一种利用互联网和语音技术的写作教学系统以及实现方法。
背景技术
写作,是一种运用语言文字符号反映客观事物、表达思想感情、传递知识信息的创造性脑力劳动过程。写作作为一个完整的系统过程,写作活动大致可分为"采集-构思-表述"三个阶段。写作按照语言类型划分可以分为:英文语文写作和中文语文写作。与作家的自由写作、职业人群的专业写作不同的是,语文课程中的中文语文写作,是学生在教师指导下按照特定要求用书面语言创造文本,以发展和提高自身写作能力的学习活动。但是目前传统中/英文语文写作教学一般交互方式为:学生根据要求完成写作初稿,老师对初稿进行批改,最后学生再进行修改完善最后定稿。整个过程中需要耗费学生和教师较长的时间,并且学生完成初稿后往往不能第一时间给老师批改,进一步延长了这个教学过程。往往一篇作文的修改反复会持续3-5天甚至更长。导致教学效率低下,效果也大打折扣。另外,传统中/英文语文写作教学方式人工智能程度较低,没有固定的从线下到线上的交互平台。
但是目前并没有较完善的技术手段解决上述的技术问题,在一些方法中,比如中国专利申请CN201610173929.3多功能大学英语教学管理系统,包括学生终端、签到模块和教师终端,所述学生终端包括由听力训练模块,口语训练模块,阅读训练模块,写作训练模块,翻译训练模块,词汇训练模块构成的模拟训练模块,兴趣闯关模块(词汇量、口语、猜谜语等闯关),疑难问题汇总模块,测控模块,人机操作模块,语音模块,中央处理器。签到模块利用录指纹和面部识别相结合的形式,具有自动录用学生到课时间,并对学生出勤情况进行系统的统计分析。缺点在于:管理依赖硬件、系统的更新程度较慢、交互程度低。在另一些方法中,比如中国专利申请CN02127638.2应用计算机写作方式进行语文教学的方法,首先于启动写作教学系统并经过使用者的设定之后,系统即显示有关写作教学的提示信息;接着使用者根据该提示信息输入语文单句或段落;然后系统在接获使用者输入的单句或段落后,即进行分析并送出分析结果;最后当分析结果的内容显示使用者输入的单句或段落具有错误时,则提供错误部分的修正信息,供使用者修正参考。缺点在于:虽然能实现利用语文工具书进行语文写作教学的目的,但是缺少了领域专家或者专科老师的指导,写作教学的效果仍然很差。
发明内容
本发明要解决的技术问题是,提供能够解决传统写作教学方式效率低,从而有效缩短教学时间,达到更好的教学效果的利用互联网和语音技术的写作教学交互系统。
解决上述技术问题,本发明提供了利用互联网和语音技术的写作教学方法,包括如下步骤:
开始写作练习时将音视频信息或文字内容信息上传,所述音视频信息和/或文字内容信息至少包括:写作关键词,
将所述写作关键词语义分析后匹配归档,建立一作文练习电子档案,通过对音视频信息或文字内容信息中写作关键词的分析,能够进行语义分析,然后建立作为练习电子档案,通过作文练习电子档案能够记录不同用户的特征信息,这些特征信息可以是用户的年龄、地域、用户练习写作的要求、用户练习写作的时间、用户练习写作水平等等。
所述音视频信息和/或文字内容信息还可以包括:写作要求。
写作要求包括但不限于:写作类型、写作对象、写作字数。
对所述作文练习电子档案批改或点评后下发反馈结果,通过下线智库或者人工智能的方式进行批改和点评,从而能够提高学生用户和教师用户之间的信息交互。
循环上述步骤,直到所述反馈结果被标记为完成写作。通过多次循环遍历的方式,能够主动地发现双方的交互信息,并进行及时传递和交互。
更进一步,所述写作关键词,用以判定上述写作练习的写作语种,
和/或,判定上述写作练习的写作类型,
和/或,判定上述写作练习的写作参与者,
和/或,判定上述写作练习的写作模板,
和/或,判定上述写作练习的写作素材,
和/或,判定上述写作练习的写作篇幅,
和/或,判定上述写作练习的写作中心思想,
和/或,判定上述写作练习的写作教学者,
和/或,判定上述写作练习的写作时间。
更进一步,所述作文练习电子档案至少包括:{用户名称、用户联系方式、待执行的语义、匹配教学者}。
更进一步,所述反馈结果至少包括:{对写作内容的批注、对写作内容的修改、对写作内容的点评}。
基于上述,本发明还提供了利用互联网和语音技术的写作教学交互系统,包括:学生用户端、教师用户端和服务端,学生用户端、教师用户端通过在终端上的WEB浏览器向所述服务器端发出访问请求,所述服务端的WEB服务器查找对应页面并转交给所述服务端的应用程序服务器,所述应用程序服务器定位并完成在所述页面的指令,并将完成的页面回传至WEB服务器,通过所述WEB服务器完成页面访问请求的响应。
所述学生用户端,用以采集音视频信息或文字内容信息,并同步上传至所述服务器端,以及接收所述服务端下发的反馈结果,
所述服务端,用以同步接收音视频信息和文字内容信息并进行语义转化,并将所述语义转化后的存入作文练习电子档案,以及将作文练习电子档案下发至所述教师用户端,
所述教师用户端,用以接收所述作文练习电子档案后进行批改或点评,将反馈结果回传至所述服务端,
上述服务端遍历所述学生用户端或所述教师用户端,直到所述反馈结果在所述教师用户端或学生用户端被标记为完成写作。
通过上述方法,学生在写作练习时,可以首先利用用户端上的摄像头或者麦克风进行录音/录像,并把录音/录像记录(包括但不限于语音/录像转成的文字)/输入的文字上传到服务端。
服务端存储信息,并把学生录音以及通过文字转换和语义识别处理的文字进行归档,形成学生的作文练习电子档案,然后分发到老师的用户端或者人工智能分析系统。
老师通过用户端接收学生的信息,采用语音、文字、视频等方式对学生的录音和文字进行批改点评,并把信息传到服务端。
服务端把老师传来的信息进行存储、处理(包括但不限于语音转文字、语义识别、视频转文字等)和归档,并发送给学生。
学生通过用户端接收老师的信息,并根据老师的批改点评进行写作或修改
更进一步,系统还包括:多媒体资料数据库,用以组织或存放音频、视频或者文字数据,同时根据学生用户端、教师用户端的交互结果更新数据库的内容。
更进一步,所述服务端还包括:用户端信息同步单元、多用户数据处理单元、信息存储与分发单元、语音/文字双向转换单元,
所述用户端信息同步单元,用以接收并缓存从教师用户端或学生用户端同步的信息,
所述多用户数据处理单元,用以解析和分析从所述学生用户端、教师用户端同步的数据,
所述信息存储与分发单元,用以作文练习电子档案或反馈结果缓存,并根据匹配的结果向所述学生用户端、教师用户端分发,
所述语音/文字双向转换单元,用以将语音转化为文字内容或者将文字转化为语音内容。
更进一步,所述学生用户端和所述教师用户端还包括:语音采集单元、图像采集单元、文字录入单元、识别单元、查询单元,
所述语音采集单元,用以对语音语音事件监听,
所述图像采集单元,用以提供共拍摄上传接口,
所述文字录入单元,用以对文字输入事件监听,
所述识别单元,用以对所述采集得到的音视频信息或文字内容信息识别出分析出语义,
所述查询单元,用以向所述学生用户端提供批改或点评的查询接口、向所述教师用户端提供音视频信息和文字内容信息的后台记录的查询接口,以及练习电子档案的查询接口。
更进一步,学生用户端或教师用户端为:手机、平板电脑、台式电脑、笔记本电脑中的任一一种智能终端上的应用程序。
更进一步,所述学生用户端通过所述服务端与教师用户端,所述学生用户端与所述服务端通过socket套接字长连接保持心跳或者短连接,所述教师用户端与所述服务端通过socket套接字长连接保持心跳或者短连接
本发明的有益效果:
通过本发明中的方法,由于包括开始写作练习时将音视频信息或文字内容信息上传,所述音视频信息和/或文字内容信息至少包括:写作关键词,通过所述写作关键词语义分析后匹配归档,可以建立一作文练习电子档案,通过对所述作文练习电子档案批改或点评后下发反馈结果,从而实现教师与学生的信息交互,且作文练习电子档案能够保留完整的交互记录,所述反馈结果用以在每次交互时进行获取或缓存后会上传至云端,并不会暂用用户的终端使用空间。此外,通过直到所述反馈结果被标记为完成写作的循环操作,能够实时、准确地获取双方交流的信息,保证了写作教学的连贯性和用户粘性。
更进一步地,本发明可以有效提高学生写作的效率,降低学习负担,提升教学效率,缩短教学时间,尤其对于低年级学生效果非常明显。
附图说明
图1是本发明一实施例中的方法流程示意图;
图2是图1中的写作关键词的功能示意图;
图3是本发明一实施例中的系统结构示意图;
图4是图3中的优选实施例示意图;
图5是图3中的服务端结构示意图;
图6是图3中的教师客户端和学生客户端的结构示意图;
图7是图3中的时序图。
具体实施方式
现在将参考一些示例实施例描述本公开的原理。可以理解,这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述,而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。
如本文中所述,术语“包括”及其各种变体可以被理解为开放式术语,其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。
图1是本发明一实施例中的方法流程示意图,在本实施例中的利用互联网和语音技术的写作教学方法,包括如下步骤:
步骤S100开始写作练习时将音视频信息或文字内容信息上传,所述音视频信息和/或文字内容信息至少包括:写作关键词,若音视频信息为音频信息,则可以通过终端上的麦克风录音获得。若音视频信息为视频信息,则可以通过终端上的摄像头拍摄获得连续画面或者获得关键帧。若为文字内容信息,则可以通过终端监控输入事件,将内容转换为htm l或者其它可储存的方式。本领域技术人员能够明了,所述音视频信息和/或文字内容信息中包括但不限于:写作关键词、写作要求等内容。所述写作关键词根据上述的音频信息、视频信息、文字内容信息中提取得到,若音频和/或视频则需要进行解析转化为文字。
步骤S101将所述写作关键词语义分析后匹配归档,建立一作文练习电子档案,本领域技术人员能够明了,语义分析包括但不限于:文本基本处理,文本语义分析,图片语义分析,语义分析小结等过程。所述作文练习电子档案至少包括:{用户名称、用户联系方式、待执行的语义、匹配教学者}。
在本实施例中的文本基本处理主要包括如下的步骤:中文分词、语言模型、词项加权。
词项加权是指,比如,“游记作文应该怎么写最好?”的词项加权结果可能是:“怎么0.1,应该0.5,写0.1,游记0.8,最好0.2”。本领域技术人员能够明了,词项加权在文本检索,文本相关性,核心词提取等任务中都有重要作用。
上述作文练习电子档案,包括但不限于:学生的I D信息、学生的使用权限信息、学生的所有作文练习记录。
优选地,所述语义分析包括但不限于:基于字符串匹配的分词方法、全切分方法、由字构词的分词方法。
优选地,所述语义分析包括但不限于:N-Gram语言模型。
在一些实施例中,所述语义分析包括但不限于:Class-based ngram model、topic-based ngram model、cache-based ngram model、skipping ngram model、指数语言模型(最大熵模型,条件随机域模型)等等。
在一些实施例中,需要对训练的数据进行核心词或关键词的提取,且包括但不限于如下的方式:短文本串的核心词提取。对短文本串分词后,利用词项加权方法,获取词项加权后,取一定的阈值,就可以提取出短文本串的核心词。
作为本实施例中的优选,所述文本语义分析具体过程是指:主题模型、词向量/句向量、卷积神经网络、文本分类。
优选地,主题模型包括但不限于,pLSA主题模型,NMF主题模型,LDA主题模型。
优选地,词向量/句向量使用到的工具包括但不限于:word2vec。
优选地,词向量/句向量使用到的工具包括但不限于:ffnnlm。
优选地,word2vec的两种训练算法包括但不限于:CBOW(continuous bag-of-words)和Skip-gram。在cbow方法里,训练目标是给定一个word的context,预测word的概率;在skip-gram方法里,训练目标则是给定一个word,预测word的context的概率。
优选地,卷积神经网络是基于CNN模型,可以用来做文本分类,情感分析,本体分类等。比如,CNN模型的输入可以是word series,也可以是word vector,或者可以是单纯的字符,从而CNN模型不需要过多的人工特征。
在一些实施例中,采用传统文本分类等任务,基于bag of words或者基于word的特征提取,再加入作文领域相关知识和教师人工特征进行文本分类。
优选地,文本分类可以采用maxent、svm等机器学习方法。
优选地,词向量/句向量使用到的工具包括但不限于:sentence2vec。
在一些实施例中,匹配归档包括但不限于:基于作文关键词的归档。
在一些实施例中,匹配归档包括但不限于:基于作文类型的归档。
在一些实施例中,匹配归档包括但不限于:基于作文等级的归档。
在一些实施例中,匹配归档包括但不限于:基于作用应用场景的归档。
在一些实施例中,语义分析包括但不限于:从基础的分词与词性标注,到文章的实体识别、情感判断。
在一些实施例中,语义分析包括但不限于:采用第三方语义分析API。
通过文字转换和/或语义识别处理的文字进行归档,从而形成学生的作文电子档案。
步骤S102对所述作文练习电子档案批改或点评后下发反馈结果,比如,老师在线下可以通过客户端接收到学生的信息,然后采用语音、文字、视频等方式对学生的录音和文字进行批改点评,并把信息回传到后台服务端。所述反馈结果至少包括:{对写作内容的批注、对写作内容的修改、对写作内容的点评}。
在一些实施例中,语音包括但不限于,语音点评或者指导。
在一些实施例中,文字包括但不限于,文字点评或者指导、文字模板发送、文字纠正、文字校对等。
在一些实施例中,视频包括但不限于,拍摄教学视频、拍摄写作练习指导视频、拍摄写作示范课程等。
步骤S103循环上述步骤,直到所述反馈结果被标记为完成写作。考虑到上教学交互过程可能会循环一次或多次,所以需要检测到被标记为完成写作的状态,本次交互才算结束。
在一些实施例中,完成写作的标记包括但不限于,在所述作文练习电子档案进行标记。
在一些实施例中,反馈结果的语义分析为完成。
图2是图1中的写作关键词的功能示意图,本实施例中的所述写作关键词,用以判定上述写作练习的写作语种,和/或,判定上述写作练习的写作类型,和/或,判定上述写作练习的写作参与者,和/或,判定上述写作练习的写作模板,和/或,判定上述写作练习的写作素材,和/或,判定上述写作练习的写作篇幅,和/或,判定上述写作练习的写作中心思想,和/或,判定上述写作练习的写作教学者,和/或,判定上述写作练习的写作时间。
在一些实施例中,写作语种包括但不限于,英文、中文。
在一些实施例中,写作类型包括但不限于,议论文、书信、散文、工作函。
在一些实施例中,写作素材包括但不限于,写作主题、写作人文素材、写作文化素材、写作景点素材、写作历史素材等。
在一些实施例中,写作篇幅包括但不限于,300字、100-200字、800字。
在一些实施例中,写作中心思想包括但不限于,写作要求表达的含义、写作要求表达的情感、写作要求表达的意境、写作要求表达的立意或者主旨。
在一些实施例中,写作教学者包括但不限于,语言老师、专业老师、学科老师等。
在一些实施例中,写作时间包括但不限于,写作完成时间、写作设定时间或者写作预留时间等。
图3是本发明一实施例中的系统结构示意图,利用互联网和语音技术的写作教学交互系统,包括:学生用户端1、教师用户端2和服务端3,
所述学生用户端1,用以采集音视频信息或文字内容信息,并同步上传至所述服务器端,以及接收所述服务端下发的反馈结果,
所述服务端3,用以同步接收音视频信息和文字内容信息并进行语义转化,并将所述语义转化后的存入作文练习电子档案,以及将作文练习电子档案下发至所述教师用户端,
所述教师用户端2,用以接收所述作文练习电子档案后进行批改或点评,将反馈结果回传至所述服务端,
上述服务端3遍历所述学生用户端1或所述教师用户端2,直到所述反馈结果在所述教师用户端2或学生用户端1被标记为完成写作。
学生在写作练习时,首先利用学生用户端1进行录音/录像,并把录音/录像记录(包括语音/录像转成的文字)/输入的文字上传到服务端3。服务端3存储信息,并把学生录音以及通过文字转换和语义识别处理的文字进行归档,形成学生的作文电子档案,然后分发到老师的教师用户端或者人工智能分析系统。老师通过教师用户端2接收学生的信息,采用语音、文字、视频等方式对学生的录音和文字进行批改点评,并把信息传到服务端3。服务端3把老师传来的信息进行存储、处理(包括语音转文字、语义识别、视频转文字等)和归档,并发送给学生。学生通过学生用户端1接收老师的信息,并根据老师的批改点评进行写作或修改。以上过程可能会循环一次或多次。通过上述系统可有效提高学生写作的效率,降低学习负担,提升教学效率,缩短教学时间,尤其对于低年级学生效果非常明显。本领域技术人员能够明了,上述的人工智能分析系统包括但不限于,语音分析第三方API,比如百度、谷歌,科大讯飞。
作为本实施例中优选地,学生用户端或教师用户端为:手机、平板电脑、台式电脑、笔记本电脑中的任一一种智能终端上的应用程序。
作为本实施例中优选地,所述学生用户端通过所述服务端与教师用户端,所述学生用户端与所述服务端通过socket套接字长连接保持心跳或者短连接,所述教师用户端与所述服务端通过socket套接字长连接保持心跳或者短连接。根据请求方式的不同,学生用户端与所述服务端、教师用户端与所述服务端可依照场景选择通信方式。
作为本实施例中优选地,如图4所示是图3中的优选实施例示意图,本实施例中还包括:多媒体资料数据库4,用以组织或存放音频、视频或者文字数据,同时根据学生用户端、教师用户端的交互结果更新数据库的内容。多媒体资料数据库4与所述服务端3相连。
作为本实施例中优选地,如图5所示是图3中的服务端结构示意图,所述服务端3还包括:用户端信息同步单元31、多用户数据处理单元32、信息存储与分发单元33、语音/文字双向转换单元34,
所述用户端信息同步单元31,用以接收并缓存从教师用户端或学生用户端同步的信息,
所述多用户数据处理单元32,用以解析和分析从所述学生用户端、教师用户端同步的数据,
所述信息存储与分发单元33,用以作文练习电子档案或反馈结果缓存,并根据匹配的结果向所述学生用户端、教师用户端分发,
所述语音/文字双向转换单元34,用以将语音转化为文字内容或者将文字转化为语音内容。
所述用户端信息同步单元31还与云端相连进行数据的备份和同步。
将语音转化为文字内容的方法包括:在开始语音识别之前,首先进行VAD处理,然后使用移动窗函数对声音分帧,每小段称为一帧。分帧后,语音就变成了很多小段。接着,提取MFCC特征,根据人耳的生理特性,把每一帧波形变成一个多维向量进行声学特征提取。得到举证后需要变为文本。
基于音素:单词的发音由音素构成。对英语,一种常用的音素集是卡内基梅隆大学的一套由39个音素构成的音素集,参见The CMU Pronouncing Dictionary。汉语一般直接用全部声母和韵母作为音素集,另外汉语识别还分有调无调。基于状态:是指比音素更细致的语音单位,且通常把一个音素划分成3个状态。在语音识别时需要把帧识别成状态;把状态组合成音素;把音素组合成单词。
最后,使用隐马尔可夫模型(Hidden Markov Model,HMM),搭建状态网络,是由单词级网络展开成音素网络,再展开成状态网络。语音识别过程其实就是在状态网络中搜索一条最佳路径(常见的是动态规划剪枝的算法),语音对应这条路径的概率最大,则解码成功。
图6是图3中的教师客户端和学生客户端的结构示意图;所述学生用户端1和所述教师用户端2还包括:语音采集单元100、图像采集单元200、文字录入单元300、识别单元400、查询单元500,
所述语音采集单元100,用以对语音语音事件监听,
所述图像采集单元200,用以提供共拍摄上传接口,
所述文字录入单元300,用以对文字输入事件监听,
所述识别单元400,用以对所述采集得到的音视频信息或文字内容信息识别出分析出语义,
所述查询单元500,用以向所述学生用户端提供批改或点评的查询接口、向所述教师用户端提供音视频信息和文字内容信息的后台记录的查询接口,以及练习电子档案的查询接口。
学生在写作练习时,首先利用学生用户端1的所述语音采集单元100或者所述图像采集单元200或者所述文字录入单元300进行录音/录像,并把录音/录像记录(包括语音/录像转成的文字)/输入的文字上传到服务端3。服务端3存储信息,并把学生录音以及通过文字转换和语义识别处理的文字进行归档,形成学生的作文电子档案,然后分发到老师的教师用户端或者人工智能分析系统。老师通过教师用户端2的所述识别单元400接收学生的信息,采用语音、文字、视频等方式对学生的录音和文字进行批改点评,并把信息传到服务端3。服务端3把老师传来的信息进行存储、处理(包括语音转文字、语义识别、视频转文字等)和归档,并发送给学生。学生通过学生用户端1所述查询单元500接收老师的信息,并根据老师的批改点评进行写作或修改。
图7是图3中的时序图,本实施例中的交互过程包括:学生用户端1、教师用户端2和服务端3,
在所述学生用户端1采集音视频信息或文字内容信息,并同步上传至所述服务器端,以及接收所述服务端下发的反馈结果,
在所述服务端3同步接收音视频信息和文字内容信息并进行语义转化(包括学生用户端1或者教师用户端2),并将所述语义转化后的存入作文练习电子档案,以及将作文练习电子档案下发至所述教师用户端,
在所述教师用户端2接收所述作文练习电子档案后进行批改或点评,将反馈结果回传至所述服务端3,
上述服务端3遍历所述学生用户端1或所述教师用户端2,直到所述反馈结果在所述教师用户端2或学生用户1端被标记为完成写作。
在上述交过方法中,所述写作关键词包括但不限于:
用以判定上述写作练习的写作语种,
和/或,判定上述写作练习的写作类型,
和/或,判定上述写作练习的写作参与者,
和/或,判定上述写作练习的写作模板,
和/或,判定上述写作练习的写作素材,
和/或,判定上述写作练习的写作篇幅,
和/或,判定上述写作练习的写作中心思想,
和/或,判定上述写作练习的写作教学者,
和/或,判定上述写作练习的写作时间。
在上述交过方法中,所述作文练习电子档案至少包括:{用户名称、用户联系方式、待执行的语义、匹配教学者}。
在上述交过方法中,所述反馈结果至少包括:{对写作内容的批注、对写作内容的修改、对写作内容的点评}。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
总体而言,本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施,而其它一些方面可以以固件或软件实施,该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示,但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。
此外,虽然操作以特定顺序描述,但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行,或是要求所有所示的操作被执行以实现期望结果。在一些情形下,多任务或并行处理可以是有利的。类似地,虽然若干具体实现方式的细节在上面的讨论中被包含,但是这些不应被解释为对本公开的范围的任何限制,而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对,在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。

Claims (10)

1.利用互联网和语音技术的写作教学方法,其特征在于,包括如下步骤:
开始写作练习时将音视频信息或文字内容信息上传,所述音视频信息和/或文字内容信息至少包括:写作关键词,
将所述写作关键词语义分析后匹配归档,建立一作文练习电子档案,
对所述作文练习电子档案批改或点评后下发反馈结果,
循环上述步骤,直到所述反馈结果被标记为完成写作。
2.根据权利要求1所述的写作教学方法,其特征在于,所述写作关键词,用以判定上述写作练习的写作语种,
和/或,判定上述写作练习的写作类型,
和/或,判定上述写作练习的写作参与者,
和/或,判定上述写作练习的写作模板,
和/或,判定上述写作练习的写作素材,
和/或,判定上述写作练习的写作篇幅,
和/或,判定上述写作练习的写作中心思想,
和/或,判定上述写作练习的写作教学者,
和/或,判定上述写作练习的写作时间。
3.根据权利要求1所述的写作教学方法,其特征在于,所述作文练习电子档案至少包括:{用户名称、用户联系方式、待执行的语义、匹配教学者}。
4.根据权利要求1所述的写作教学方法,其特征在于,所述反馈结果至少包括:{对写作内容的批注、对写作内容的修改、对写作内容的点评}。
5.利用互联网和语音技术的写作教学交互系统,其特征在于,包括:学生用户端、教师用户端和服务端,
所述学生用户端,用以采集音视频信息或文字内容信息,并同步上传至所述服务器端,以及接收所述服务端下发的反馈结果,
所述服务端,用以同步接收音视频信息和文字内容信息并进行语义转化,并将所述语义转化后的存入作文练习电子档案,以及将作文练习电子档案下发至所述教师用户端,
所述教师用户端,用以接收所述作文练习电子档案后进行批改或点评,将反馈结果回传至所述服务端,
上述服务端遍历所述学生用户端或所述教师用户端,直到所述反馈结果在所述教师用户端或学生用户端被标记为完成写作。
6.根据权利要求5所述的写作教学交互系统,其特征在于,还包括:多媒体资料数据库,用以组织或存放音频、视频或者文字数据,同时根据学生用户端、教师用户端的交互结果更新数据库的内容。
7.根据权利要求5所述的写作教学交互系统,其特征在于,所述服务端还包括:用户端信息同步单元、多用户数据处理单元、信息存储与分发单元、语音/文字双向转换单元,
所述用户端信息同步单元,用以接收并缓存从教师用户端或学生用户端同步的信息,
所述多用户数据处理单元,用以解析和分析从所述学生用户端、教师用户端同步的数据,
所述信息存储与分发单元,用以作文练习电子档案或反馈结果缓存,并根据匹配的结果向所述学生用户端、教师用户端分发,
所述语音/文字双向转换单元,用以将语音转化为文字内容或者将文字转化为语音内容。
8.根据权利要求5所述的写作教学交互系统,其特征在于,所述学生用户端和所述教师用户端还包括:语音采集单元、图像采集单元、文字录入单元、识别单元、查询单元,
所述语音采集单元,用以对语音语音事件监听,
所述图像采集单元,用以提供共拍摄上传接口,
所述文字录入单元,用以对文字输入事件监听,
所述识别单元,用以对所述采集得到的音视频信息或文字内容信息识别出分析出语义,
所述查询单元,用以向所述学生用户端提供批改或点评的查询接口、向所述教师用户端提供音视频信息和文字内容信息的后台记录的查询接口,以及练习电子档案的查询接口。
9.根据权利要求5-8任一项所述的写作教学交互系统,其特征在于,学生用户端或教师用户端为:手机、平板电脑、台式电脑、笔记本电脑中的任一一种智能终端上的应用程序。
10.根据权利要求5-8任一项所述的写作教学交互系统,其特征在于,所述学生用户端通过所述服务端与教师用户端,所述学生用户端与所述服务端通过socket套接字长连接保持心跳或者短连接,所述教师用户端与所述服务端通过socket套接字长连接保持心跳或者短连接。
CN201710408217.XA 2017-06-02 2017-06-02 利用互联网和语音技术的写作教学交互系统以及实现方法 Pending CN107230401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710408217.XA CN107230401A (zh) 2017-06-02 2017-06-02 利用互联网和语音技术的写作教学交互系统以及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710408217.XA CN107230401A (zh) 2017-06-02 2017-06-02 利用互联网和语音技术的写作教学交互系统以及实现方法

Publications (1)

Publication Number Publication Date
CN107230401A true CN107230401A (zh) 2017-10-03

Family

ID=59934382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710408217.XA Pending CN107230401A (zh) 2017-06-02 2017-06-02 利用互联网和语音技术的写作教学交互系统以及实现方法

Country Status (1)

Country Link
CN (1) CN107230401A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491380A (zh) * 2018-03-12 2018-09-04 苏州思必驰信息科技有限公司 用于口语理解的对抗多任务训练方法
CN109284482A (zh) * 2018-10-25 2019-01-29 百度在线网络技术(北京)有限公司 写作平台系统及用于写作平台的文章发布方法
CN110059307A (zh) * 2019-04-15 2019-07-26 百度在线网络技术(北京)有限公司 写作方法、装置和服务器
CN110650159A (zh) * 2019-10-25 2020-01-03 广州六一信息科技有限公司 多人互动的线上教学方法、装置及系统
CN110728861A (zh) * 2019-11-18 2020-01-24 曾秀英 一种小学语文素材收集系统及方法
CN110991330A (zh) * 2019-11-29 2020-04-10 上海依图信息技术有限公司 一种教学辅助方法及装置
CN111178033A (zh) * 2019-12-19 2020-05-19 南京掌联网络科技有限公司 一种多功能智能写作作文本及其使用方法
CN111462555A (zh) * 2020-05-25 2020-07-28 四川信息职业技术学院 一种用于英语口语教学的Vlog视频系统及其使用方法
CN112672183A (zh) * 2020-12-30 2021-04-16 南京伯索网络科技有限公司 一种直播课堂中语音分组讨论的监管方法和系统
CN112839261A (zh) * 2021-01-14 2021-05-25 海信电子科技(深圳)有限公司 一种提升语音指令匹配度的方法及显示设备
CN113205724A (zh) * 2021-04-27 2021-08-03 屈琳淙 一种书写训练辅导系统和方法
CN113724543A (zh) * 2021-08-27 2021-11-30 读书郎教育科技有限公司 一种看图写话训练的系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074132A (zh) * 2009-04-27 2011-05-25 云林科技大学 线上教学系统及方法
US20140065596A1 (en) * 2006-07-11 2014-03-06 Erwin Ernest Sniedzins Real time learning and self improvement educational system and method
CN105679122A (zh) * 2016-03-20 2016-06-15 郑州航空工业管理学院 多功能大学英语教学管理系统
CN105989754A (zh) * 2015-02-11 2016-10-05 阜阳师范学院 一种云家教系统
CN106652622A (zh) * 2017-02-07 2017-05-10 广东小天才科技有限公司 一种课文训练方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140065596A1 (en) * 2006-07-11 2014-03-06 Erwin Ernest Sniedzins Real time learning and self improvement educational system and method
CN102074132A (zh) * 2009-04-27 2011-05-25 云林科技大学 线上教学系统及方法
CN105989754A (zh) * 2015-02-11 2016-10-05 阜阳师范学院 一种云家教系统
CN105679122A (zh) * 2016-03-20 2016-06-15 郑州航空工业管理学院 多功能大学英语教学管理系统
CN106652622A (zh) * 2017-02-07 2017-05-10 广东小天才科技有限公司 一种课文训练方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491380A (zh) * 2018-03-12 2018-09-04 苏州思必驰信息科技有限公司 用于口语理解的对抗多任务训练方法
CN109284482A (zh) * 2018-10-25 2019-01-29 百度在线网络技术(北京)有限公司 写作平台系统及用于写作平台的文章发布方法
CN110059307B (zh) * 2019-04-15 2021-05-14 百度在线网络技术(北京)有限公司 写作方法、装置和服务器
CN110059307A (zh) * 2019-04-15 2019-07-26 百度在线网络技术(北京)有限公司 写作方法、装置和服务器
CN110650159A (zh) * 2019-10-25 2020-01-03 广州六一信息科技有限公司 多人互动的线上教学方法、装置及系统
CN110728861A (zh) * 2019-11-18 2020-01-24 曾秀英 一种小学语文素材收集系统及方法
CN110991330A (zh) * 2019-11-29 2020-04-10 上海依图信息技术有限公司 一种教学辅助方法及装置
CN111178033A (zh) * 2019-12-19 2020-05-19 南京掌联网络科技有限公司 一种多功能智能写作作文本及其使用方法
CN111462555A (zh) * 2020-05-25 2020-07-28 四川信息职业技术学院 一种用于英语口语教学的Vlog视频系统及其使用方法
CN112672183A (zh) * 2020-12-30 2021-04-16 南京伯索网络科技有限公司 一种直播课堂中语音分组讨论的监管方法和系统
CN112839261A (zh) * 2021-01-14 2021-05-25 海信电子科技(深圳)有限公司 一种提升语音指令匹配度的方法及显示设备
CN112839261B (zh) * 2021-01-14 2023-05-05 海信电子科技(深圳)有限公司 一种提升语音指令匹配度的方法及显示设备
CN113205724A (zh) * 2021-04-27 2021-08-03 屈琳淙 一种书写训练辅导系统和方法
CN113724543A (zh) * 2021-08-27 2021-11-30 读书郎教育科技有限公司 一种看图写话训练的系统及方法
CN113724543B (zh) * 2021-08-27 2024-02-06 读书郎教育科技有限公司 一种看图写话训练的系统及方法

Similar Documents

Publication Publication Date Title
CN107230401A (zh) 利用互联网和语音技术的写作教学交互系统以及实现方法
CN109840287B (zh) 一种基于神经网络的跨模态信息检索方法和装置
CN107844469B (zh) 基于词向量查询模型的文本简化方法
CN108711420B (zh) 多语言混杂模型建立、数据获取方法及装置、电子设备
CN107944027B (zh) 创建语义键索引的方法及系统
CN104050160B (zh) 一种机器与人工翻译相融合的口语翻译方法和装置
WO2019237708A1 (zh) 基于深度学习的人际交互肢体语言自动生成方法及系统
WO2022095380A1 (zh) 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质
CN114830148A (zh) 可控制有基准的文本生成
CN109074345A (zh) 通过数字媒体内容提取自动生成和呈现课程
CN111833853B (zh) 语音处理方法及装置、电子设备、计算机可读存储介质
KR101971582B1 (ko) 사용자 대화 의도 추출 기능 구비 채트봇을 활용한 헬스케어 지침 제공 방법 및 이를 위한 장치
CN112487139A (zh) 基于文本的自动出题方法、装置及计算机设备
CN111192659A (zh) 用于抑郁检测的预训练方法和抑郁检测方法及装置
US20230223016A1 (en) User interface linking analyzed segments of transcripts with extracted key points
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
KR20190080314A (ko) 분절 인터넷 강의 제공 방법 및 장치
CN107688583A (zh) 创建用于自然语言处理装置的训练数据的方法和设备
CN107274903A (zh) 文本处理方法和装置、用于文本处理的装置
CN111090664A (zh) 基于神经网络的高仿人多模式对话方法
Wagner et al. Applying cooperative machine learning to speed up the annotation of social signals in large multi-modal corpora
Qian et al. Spoken language understanding of human-machine conversations for language learning applications
CN113342948A (zh) 一种智能问答方法及装置
Wang Research on open oral English scoring system based on neural network
Kopřivová et al. Multi-tier transcription of informal spoken Czech: The ORTOFON corpus approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003