CN106527845A - 对文本中鼠标操作进行语音注释并再现的方法及装置 - Google Patents

对文本中鼠标操作进行语音注释并再现的方法及装置 Download PDF

Info

Publication number
CN106527845A
CN106527845A CN201610888491.7A CN201610888491A CN106527845A CN 106527845 A CN106527845 A CN 106527845A CN 201610888491 A CN201610888491 A CN 201610888491A CN 106527845 A CN106527845 A CN 106527845A
Authority
CN
China
Prior art keywords
action
text
mouse
comment
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610888491.7A
Other languages
English (en)
Other versions
CN106527845B (zh
Inventor
陈祥雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201610888491.7A priority Critical patent/CN106527845B/zh
Publication of CN106527845A publication Critical patent/CN106527845A/zh
Application granted granted Critical
Publication of CN106527845B publication Critical patent/CN106527845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开的一种对电子文本中鼠标操作进行语音注释并再现的方法及装置，评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。

Description

对文本中鼠标操作进行语音注释并再现的方法及装置
技术领域
本发明是一种对电子文本中鼠标操作进行语音注释并再现该操作和语音的方法及装置，属于计算机领域。
背景技术
目前对电子文本的标注或评论都仍然还是电子文本，如网络文章的留言、评论等。特别的，在教育行业，老师阅读批改作文时，仍然是通过文本留言对作文提出修改意见。这种方式有以下两个缺陷：
1.有时写一两句评语不足以透彻的讲解问题，但是打字又很浪费时间；
2.当涉及到对文章结构、语义连贯等较为抽象的问题写评语时，教师苦于不能直接指代文章中的具体的位置(例如，“这里的这个词和这里的这个词应该是一对同义词”；再如“前面这里已经提到过这个意思了，那么这里就不需要再一次提它了”)。
以上缺陷的直接后果是，教师不能全面的记录下对文章的详细评论，学生收到的反馈数量和质量也大打折扣。以上问题虽然可以用录制屏幕的方法解决，但录制的视频体积过大，不方便存储、传输、或浏览。
发明内容
发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提出一种对电子文本中鼠标操作进行语音注释并重放该操作的方法，可以同步记录对文本的鼠标动作(如点击，选中等)和语音评论，并实现可以重放同步的语音评论和鼠标动作。
技术方案：为实现上述发明目的，本发明采用的技术方案为一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。
进一步的，鼠标具体操作动作包括点击文本操作和选中文本操作。
进一步的，记录操作包括以下步骤：
3.1：开始本条评论；
3.2：生成本条评论ID；
3.3：开始计时；
3.4：开始录制音频；
3.5：监听鼠标操作动作；
3.6：判断监听到的鼠标操作是否为“选中文本”操作？若是，执行步骤3.7；若否，执行步骤3.10；
3.7：记录选中文本在整个文本中的开始位置PSTART和结束位置PEND；
3.8：记录选中文本操作的开始时间TSTART和结束时间TEND；
3.9：将PSTART、PEND、TSTART、TEND合并为一条Record，转到步骤3.13；
3.10：记录文本的点击位置PCLICK；
3.11：记录文本的点击时间TCLICK；
3.12：将PCLICK、TCLICK合并为一条Record，转到步骤3.13；
3.13：将Record与本条评论ID关联并存入存储系统；
3.14：是否结束本条评论？若否，转到步骤3.5；若是，转到步骤3.15；
3.15：将音频与本条评论ID关联并存入存储系统。
进一步的，视觉提示包括固定视觉提示和闪现视觉提示，所述闪现视觉提示为视觉提示出现一段时间后消失。
进一步的，还包括文本预标记操作，其包括以下步骤：
5.1：评论的第一个Record，用固定视觉提示Record的PSTART/PCLICK处的单词；
5.2：在PSTART/PCLICK处显示语音图标，该语音图标包含本条语音评论时长TEND-TSTART/TCLICK。
进一步的，再现操作包括以下步骤：
6.1：点击需要再现的一条评论图标；
6.2：获取此条评论ID，并获取与此条评论ID关联的音频和所有Record；
6.3：将所有Record按TSTART/TCLICK以时间早晚顺序排序；
6.4：开始计时，并播放音频；
6.5：读取下一条Record，将被选中的文本取消选中状态；
6.6：判断此条Record是否进行了选中文本操作？若是，进入步骤6.7；若否，进入步骤6.9；
6.7：在TSTART时刻在PSTART位置闪现视觉提示，在TEND时刻在PEND位置闪现视觉提示；
6.8：将PSTART与PEND之间的文本选中，进入步骤6.10；
6.9：在TCLICK时刻在PCLICK位置闪现视觉提示，进入步骤6.10；
6.10：判断否存在下一条Record？若是，进入步骤6.5；若否，进入步骤6.11；
6.11：等待音频播放结束。
本发明还公开了一种基于对电子文本中鼠标操作进行语音注释并再现该操作的方法制作的装置，包括记录模块、存储系统和再现模块，其中：
所述记录模块，用于在评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，将评论、鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置存入存储系统中；
所述再现模块，读取存储系统中的评论、鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示。
有益效果：本发明可以同步记录对文本的鼠标动作(如点击，选中等)和语音评论，然后可以重放同步的语音评论和鼠标动作，大大扩展了评论的范围，解决了纯文本无法表达的具体位置指代问题；无须视频，用较小的数据存储，重放同步的语音评论和鼠标动作。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的记录模块流程图；
图2为本发明的再现模块流程图；
图3为本实施例的文本预标记示意图；
图4为本实施例的效果图；
图5为本实施例的效果图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明。
一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，鼠标具体操作动作包括点击文本操作和选中文本操作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。
参考图1，记录操作包括以下步骤：
步骤1：开始本条评论。
步骤2：生成本条评论ID。
步骤3：开始计时。
步骤4：开始录制音频。
步骤5：监听鼠标操作动作。
步骤6：判断监听到的鼠标操作是否为“选中文本”操作？若是，执行步骤7；若否，执行步骤10。
步骤7：记录选中文本在整个文本中的开始位置PSTART和结束位置PEND。
步骤8：记录选中文本操作的开始时间TSTART和结束时间TEND。
步骤9：将PSTART、PEND、TSTART、TEND合并为一条Record，转到步骤13。
步骤10：记录文本的点击位置PCLICK。
步骤11：记录文本的点击时间TCLICK。
步骤12：将PCLICK、TCLICK合并为一条Record，转到步骤13。
步骤13：将Record与本条评论ID关联并存入存储系统。
步骤14：是否结束本条评论？若否，转到步骤5；若是，转到步骤15。
步骤15：将音频与本条评论ID关联并存入存储系统。
本发明的视觉提示包括固定视觉提示和闪现视觉提示，该闪现视觉提示为视觉提示出现一段时间后消失。
参考图3为文本预标记示意图，本发明的文本预标记操作包括：评论的第一个Record，用固定视觉提示Record的PSTART/PCLICK处的单词；在PSTART/PCLICK处显示语音图标，该语音图标包含本条语音评论时长TEND-TSTART/TCLICK。
图2为再现操作流程图，参考图2再现操作包括以下步骤：
步骤1：点击需要再现的一条评论图标。
步骤2：获取此条评论ID，并获取与此条评论ID关联的音频和所有Record。
步骤3：将所有Record按TSTART/TCLICK以时间早晚顺序排序。
步骤4：开始计时，并播放音频。
步骤5：读取下一条Record，将被选中的文本取消选中状态。
步骤6：判断此条Record是否进行了选中文本操作？若是，进入步骤7；若否，进入步骤9。
步骤7：在TSTART时刻在PSTART位置闪现视觉提示，在TEND时刻在PEND位置闪现视觉提示。
步骤8：将PSTART与PEND之间的文本选中，进入步骤10。
步骤9：在TCLICK时刻在PCLICK位置闪现视觉提示，进入步骤10。
步骤10：判断否存在下一条Record？若是，进入步骤5；若否，进入步骤11。
步骤11：等待音频播放结束。
如图3所示，图中显示了2条评论，在每一条评论的第1个Record的PSTART处标记了单词(此处用了下划线，但本发明不限于仅用此视觉提示)，并在此单词附近标记了图标，该图标包含音频长度。
以点击并再现第1条评论为例，假设第一条音频评论的内容是：“这个intend1的动词形式用错了，因为report2这里是个单数，所以intend应该是intends”。此条评论共2个Record对应2个鼠标click操作(如句中上标1，2所示)。假设这段音频时长为12秒，播放第1个鼠标操作的时刻(即第1个Record的TSTART)为第2秒，播放第2个鼠标操作的时刻(即第2个Record的TSTART)为第8秒。
那么，点击图标开始播放音频后，在第2秒时，intend单词附近会闪现视觉提示(如图4所示，此处中为灰色文本背景，但本发明不限于仅用此视觉提示)。在第8秒时，report单词附近会闪现视觉提示，如图5所示。
“闪现”是指，视觉提示出现一段时间后消失，不影响其他Record的视觉提示。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，其特征在于：在评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。
2.根据权利要求1所述的一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，其特征在于：所述鼠标具体操作动作包括点击文本操作和选中文本操作。
3.根据权利要求2所述的一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，其特征在于：所述记录操作包括以下步骤：
3.1：开始本条评论；
3.2：生成本条评论ID；
3.3：开始计时；
3.4：开始录制音频；
3.5：监听鼠标操作动作；
3.6：判断监听到的鼠标操作是否为“选中文本”操作？若是，执行步骤3.7；若否，执行步骤3.10；
3.7：记录选中文本在整个文本中的开始位置PSTART和结束位置PEND；
3.8：记录选中文本操作的开始时间TSTART和结束时间TEND；
3.9：将PSTART、PEND、TSTART、TEND合并为一条Record，转到步骤3.13；
3.10：记录文本的点击位置PCLICK；
3.11：记录文本的点击时间TCLICK；
3.12：将PCLICK、TCLICK合并为一条Record，转到步骤3.13；
3.13：将Record与本条评论ID关联并存入存储系统；
3.14：是否结束本条评论？若否，转到步骤3.5；若是，转到步骤3.15；
3.15：将音频与本条评论ID关联并存入存储系统。
4.根据权利要求3所述的一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，其特征在于：所述视觉提示包括固定视觉提示和闪现视觉提示，所述闪现视觉提示为视觉提示出现一段时间后消失。
5.根据权利要求4所述的一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，其特征在于：包括文本预标记操作，其包括以下步骤：
5.1：评论的第一个Record，用固定视觉提示Record的PSTART/PCLICK处的单词；
5.2：在PSTART/PCLICK处显示语音图标，该语音图标包含本条语音评论时长TEND-TSTART/TCLICK。
6.根据权利要求4所述的一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，其特征在于：所述再现操作包括以下步骤：
6.1：点击需要再现的一条评论图标；
6.2：获取此条评论ID，并获取与此条评论ID关联的音频和所有Record；
6.3：将所有Record按TSTART/TCLICK以时间早晚顺序排序；
6.4：开始计时，并播放音频；
6.5：读取下一条Record，将被选中的文本取消选中状态；
6.6：判断此条Record是否进行了选中文本操作？若是，进入步骤6.7；若否，进入步骤6.9；
6.7：在TSTART时刻在PSTART位置闪现视觉提示，在TEND时刻在PEND位置闪现视觉提示；
6.8：将PSTART与PEND之间的文本选中，进入步骤6.10；
6.9：在TCLICK时刻在PCLICK位置闪现视觉提示，进入步骤6.10；
6.10：判断否存在下一条Record？若是，进入步骤6.5；若否，进入步骤6.11；
6.11：等待音频播放结束。
7.一种基于权利要求1-6任一所述的一种对电子文本中鼠标操作进行语音注释并再现该操作的方法制作的装置，其特征在于：包括记录模块、存储系统和再现模块，其中：
所述记录模块，用于在评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，将评论、鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置存入存储系统中；
所述再现模块，读取存储系统中的评论、鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示。
CN201610888491.7A 2016-10-11 2016-10-11 对文本中鼠标操作进行语音注释并再现的方法及装置 Active CN106527845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610888491.7A CN106527845B (zh) 2016-10-11 2016-10-11 对文本中鼠标操作进行语音注释并再现的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610888491.7A CN106527845B (zh) 2016-10-11 2016-10-11 对文本中鼠标操作进行语音注释并再现的方法及装置

Publications (2)

Publication Number Publication Date
CN106527845A true CN106527845A (zh) 2017-03-22
CN106527845B CN106527845B (zh) 2019-12-10

Family

ID=58331436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610888491.7A Active CN106527845B (zh) 2016-10-11 2016-10-11 对文本中鼠标操作进行语音注释并再现的方法及装置

Country Status (1)

Country Link
CN (1) CN106527845B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109637A (zh) * 2018-01-16 2018-06-01 东南大学 音频与文本同步录制方法及装置
CN115426529A (zh) * 2022-08-22 2022-12-02 何权森 一种媒体文件的播放控制方法、装置、终端和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324513A (zh) * 2013-06-04 2013-09-25 北京大学 程序注释方法和装置
CN103703431A (zh) * 2011-06-03 2014-04-02 苹果公司 自动创建文本数据与音频数据之间的映射
CN104657524A (zh) * 2013-11-15 2015-05-27 广州中望龙腾软件股份有限公司 Dwg图纸语音标注功能
CN104898960A (zh) * 2015-05-20 2015-09-09 深圳市畅联智能设备有限公司 一种操作体验式教学文件及其生成和运行方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703431A (zh) * 2011-06-03 2014-04-02 苹果公司 自动创建文本数据与音频数据之间的映射
CN103324513A (zh) * 2013-06-04 2013-09-25 北京大学 程序注释方法和装置
CN104657524A (zh) * 2013-11-15 2015-05-27 广州中望龙腾软件股份有限公司 Dwg图纸语音标注功能
CN104898960A (zh) * 2015-05-20 2015-09-09 深圳市畅联智能设备有限公司 一种操作体验式教学文件及其生成和运行方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109637A (zh) * 2018-01-16 2018-06-01 东南大学 音频与文本同步录制方法及装置
CN108109637B (zh) * 2018-01-16 2020-07-31 东南大学 音频与文本同步录制方法及装置
CN115426529A (zh) * 2022-08-22 2022-12-02 何权森 一种媒体文件的播放控制方法、装置、终端和存储介质

Also Published As

Publication number Publication date
CN106527845B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN106804005B (zh) 一种视频的制作方法及移动终端
CN106716466B (zh) 会议信息储存装置以及方法
WO2018227761A1 (zh) 一种教学录播数据修正装置
US20140272820A1 (en) Language learning environment
CN103995836A (zh) 一种课件制作的方法
CN103324513B (zh) 程序注释方法和装置
JP2012527007A (ja) マルチメディアファイル再生方法およびマルチメディア再生機器
CN106507171B (zh) 多媒体播放方法及多媒体播放器
KR101518294B1 (ko) 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치
US20070048719A1 (en) Methods and systems for presenting and recording class sessions in virtual classroom
Avila et al. Encumbered interaction: A study of musicians preparing to perform
WO2010073695A1 (ja) 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
He et al. Comparing presentation summaries: slides vs. reading vs. listening
CN106527845A (zh) 对文本中鼠标操作进行语音注释并再现的方法及装置
US11093120B1 (en) Systems and methods for generating and broadcasting digital trails of recorded media
KR20100122864A (ko) 멀티미디어 파일 재생방법 및 멀티미디어 재생기기
KR100459668B1 (ko) 색인기반 동영상 콘텐츠의 녹화 및 편집 시스템
KR101682076B1 (ko) 동적버튼을 이용한 학습 파일의 구간 재생방법
CN111586487A (zh) 一种多媒体文件的播放方法及装置
JP3816901B2 (ja) ストリームデータの編集方法と編集システム及びプログラム
Parkes et al. Talking the talk: audio feedback as a tool for student assessment
JP5141710B2 (ja) カラオケ装置、プログラム
KR101103329B1 (ko) 어학 학습기 재생 방법
TWI665663B (zh) 影音倒轉播放裝置與系統及其方法
KR20230059311A (ko) 언어 학습용 콘텐츠를 제공하기 위한 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant