CN110070869B - 语音教学互动生成方法、装置、设备和介质 - Google Patents

语音教学互动生成方法、装置、设备和介质 Download PDF

Info

Publication number
CN110070869B
CN110070869B CN201910365230.0A CN201910365230A CN110070869B CN 110070869 B CN110070869 B CN 110070869B CN 201910365230 A CN201910365230 A CN 201910365230A CN 110070869 B CN110070869 B CN 110070869B
Authority
CN
China
Prior art keywords
teaching
voice
reading
content
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910365230.0A
Other languages
English (en)
Other versions
CN110070869A (zh
Inventor
王伟
魏娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rubu Technology Co.,Ltd.
Original Assignee
Beijing Rubu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Rubu Technology Co ltd filed Critical Beijing Rubu Technology Co ltd
Priority to CN201910365230.0A priority Critical patent/CN110070869B/zh
Publication of CN110070869A publication Critical patent/CN110070869A/zh
Application granted granted Critical
Publication of CN110070869B publication Critical patent/CN110070869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种语音教学互动生成方法、装置、设备和介质，涉及人工智能技术领域。所述方法包括：获取AI内容编辑界面中显示的教学内容；基于AI互动策略，确定教学内容的教学互动语音以及点读语音；确定点读语音在教学内容中的点读区域，以在播放点读语音过程中供用户点读；确定教学互动语音在教学内容中的电子板书区域，且在电子板书区域中生成电子板书内容，以在播放教学互动语音过程中通过电子板书辅助教学。本发明实施例实现了实时展现与教学内容相匹配的电子板书和电子点读，提高学生参与度和学习兴趣。

Description

语音教学互动生成方法、装置、设备和介质
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种语音互动生成方法、装置、设备和介质。
背景技术
AI(Artificial Intelligence，人工智能)是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，智能教育机器人与学生之间进行AI互动对话式的教学已成为可能。
目前，电子板书和电子点读已经普遍存在，各类手机、平板、教育机器人承载的APP(Application，应用程序)上均有使用，但是，这类板书和点读与AI 互动对话技术没有有机结合起来。
发明内容
本发明实施例提供一种语音教学互动生成方法、装置、设备和介质，以解决现有方案没有将电子板书和电子点读与AI互动对话技术有机结合起来的问题。
第一方面，本发明实施例提供了一种语音教学互动生成方法，所述方法包括：
获取AI内容编辑界面中显示的教学内容；
基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学。
第二方面，本发明实施例提供了一种语音教学互动生成装置，所述装置包括：
教学内容获取模块，用于获取AI内容编辑界面中显示的教学内容；
教学互动语音确定模块，用于基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
点读区域确定模块，用于确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
电子板书生成模块，用于确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学。
第三方面，本发明实施例提供了一种设备，配置有AI内容编辑器，所述设备还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的语音教学互动生成方法。
第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的语音教学互动生成方法。
本发明实施例通过基于AI互动策略，确定教学互动语音以及点读语音，并根据点读语音以及教学互动语音确定教学内容中的点读区域、电子板书区域和电子板书内容，实现了实时展现与教学内容相匹配的电子板书和电子点读，提高学生参与度和学习兴趣。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一提供的一种语音教学互动生成方法的流程图；
图2为本发明实施例二提供的一种语音教学互动生成方法的流程图；
图3为本发明实施例三提供的一种语音教学互动生成方法的流程图；
图4为本发明实施例四提供的一种语音教学互动生成方法的流程图；
图5为本发明实施例五提供的一种语音教学互动生成装置的结构示意图；
图6为本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种语音教学互动生成方法的流程图。本实施例适用于在AI语音教学互动环节添加电子板书和电子点读的情况，该方法可以由本发明实施例提供的语音教学互动生成装置来执行，所述语音教学互动生成装置可以集成于配置有AI内容编辑器的设备中。如图1所示，该方法可以包括：
步骤101、获取AI内容编辑界面中显示的教学内容。
其中，AI内容编辑界面即AI内容编辑器当前显示界面，AI内容编辑器是一种用来编辑AI教学互动语音的软件。所述教学内容至少包括教学视频、电子绘本或普通图片，教研人员可基于教学视频、电子绘本或普通图片，利用AI 内容编辑器编辑各种教学问题。
可选的，若教学内容为教学视频，则获取AI内容编辑界面中显示的教学视频截图；若教学内容为电子绘本，则获取AI内容编辑界面中显示的电子绘本。
通过获取AI内容编辑界面中显示的教学内容，为后续确定教学互动语音奠定数据基础。
步骤102、基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音。
其中，AI互动策略是根据当前教学内容中用户与教学设备之间教学互动问题的逻辑关系确定的，例如教学设备提出一个教学互动问题，根据逻辑关系确定该教学问题对应的至少一种答案，即为一种AI互动策略。教学互动包括教学设备向用户互动以及用户向教学设备互动两方面，教学设备向用户的教学互动形式包括互动语音或互动文字形式；用户向教学设备的教学互动形式包括互动语音或点击操作形式。点读语音表示用户实施点击操作后，教学设备相应的向用户播放的语音。
示例性的，当前教学内容为包括多种水果的电子绘本，则基于AI互动策略，教学设备通过互动语音形式向用户播放：“圆圈中的水果是什么？”，对应的答案为“苹果”音素发音的互动语音。示例性的，当前教学内容为包括多种水果的电子绘本，则基于AI互动策略，教学设备通过互动语音形式向用户播放：“小朋友，试着点击下每个图案”，用户通过点击操作形式点击教学设备当前教学内容的“苹果”图案，对应的答案为“这是苹果”音素发音的点读语音。
通过基于AI互动策略，确定教学互动语音以及点读语音，可以为后续根据所述教学互动语音确定添加电子板书和电子点读区域位置奠定了数据基础。
步骤103、确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读。
其中，用户点击点读区域，教学设备则会播放相应的点读语音，点读语音的形式可以包括TTS(TextToSpeech，从文本到语音)形式和预先录制好的人工语音。
可选的，确定所述点读语音在所述教学内容中的点读区域，可以包括两种实现方式：
A、将所述点读语音转化为点读文本，并识别所述点读文本的主体；将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域。
具体的，通过包括语音识别技术将点读语音转化为点读文本，利用包括命名实体识别技术来识别点读文本的主体，利用包括目标检测技术识别教学内容中的所述主体，并将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域，其中主体在教学内容中的位置表示主体图像覆盖的区域。
B、响应于作用在所述点读语音上的点读编辑操作，根据获取的用户输入的点读区域参数，确定所述点读语音在所述教学内容中的点读区域；其中所述点读区域参数包括点读区域的位置，尺寸和形状。
其中，点读区域根据用户输入的点读区域的位置，尺寸和形状中来确定。作用在点读语音上的点读编辑操作，表示建立点读区域与点读区域相应点读语音之间的关联关系，即用户点击点读区域，教学设备就会相应的播放点读语音。
通过确定点读语音在教学内容中的点读区域，可以实现用户点击点读区域则播放点读语音的效果。
步骤104、确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学。
其中，电子板书内容包括但不限于辅助标记，其作用是为了使用户快速识别出电子板书区域。教学设备播放教学互动语音时，相应的会在教学内容中显示电子板书。
可选的，确定所述教学互动语音在所述教学内容中的电子板书区域，可以包括两种实现方式：
A、将所述教学互动语音转化为教学互动文本，并识别所述教学互动文本的主体；根据所述教学互动文本识别所述主体的辅助标记；将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域；在所述电子板书区域中绘制所述主体的辅助标记，作为所述电子板书内容。
具体的，通过包括语音识别技术将教学互动语音转化为教学互动文本，利用包括命名实体识别技术来识别教学互动文本的主体以及对应的辅助标记，利用包括目标检测技术识别教学内容中的所述主体，并将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域，其中主体在教学内容中的位置表示主体图像覆盖的区域，再根据得到的辅助标记绘制主体相应的辅助标记，作为所述电子板书内容。
B、响应于作用在所述教学互动语音上的电子板书编辑操作，根据获取的用户输入的电子板书区域参数和电子板书内容，确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容；其中，所述电子板书区域参数包括电子板书区域的位置，尺寸和形状。
其中，电子板书区域是根据电子板书区域参数和板书内容确定的，电子板书区域参数包括电子板书区域的位置，尺寸和形状。作用在所述教学互动语音上的电子板书编辑操作，表示建立电子板书区域与电子板书区域相应教学互动语音之间的关联关系，即教学设备播放教学互动语音时，相应的会在教学内容中显示电子板书。
通过确定教学互动语音在教学内容中的电子板书区域，可以实现播放教学互动语音过程中通过相应电子板书辅助教学。
本发明实施例提供的技术方案，通过基于AI互动策略，确定教学互动语音以及点读语音，并根据点读语音以及教学互动语音确定教学内容中的点读区域、电子板书区域和电子板书内容，实现了实时展现与教学内容相匹配的电子板书和电子点读，提高学生参与度和学习兴趣。
在上述实施例一的基础上，确定所述教学互动语音以及点读语音在所述教学内容中的电子板书区域和点读区域后，还包括：根据不同的教学内容，实时预览教学内容对应的电子板书区域相关联的教学互动语音和点读区域相关联的点读语音。通过实时预览电子板书区域相关联的教学互动语音和点读区域相关联的点读语音，实现了所见即所得的编辑效果。
实施例二
图2为本发明实施例二提供的一种语音教学互动生成方法的流程图。本实施例为上述实施例一中“确定点读语音在教学内容中的点读区域”提供了一种具体实现方式，本实施例适用于在AI语音教学互动环节添加电子点读的情况。如图2所示，该方法可以包括：
步骤201、获取AI内容编辑界面中显示的教学内容。
步骤202、基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音。
步骤203、将所述点读语音转化为点读文本，并识别所述点读文本的主体。
示例性的，点读语音为“这是老虎”，则通过包括语音识别技术将“这是老虎”的语音转化为“这是老虎”的文本，利用包括命名实体识别技术识别出“这是老虎”中的主体“老虎”。
步骤204、将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域。
示例性的，利用包括目标检测技术，识别出教学内容中的主体，例如“老虎”图像，从而将“老虎”图像所覆盖的区域作为点读语音在教学内容中的点读区域。
本发明实施例提供的技术方案，通过基于AI互动策略，确定教学互动语音以及点读语音，并将点读语音转化为点读文本，并识别点读文本的主体，最终将主体在教学内容中的位置作为点读区域，实现了基于点读语音即可添加电子点读的效果，提高学生参与度和学习兴趣。
实施例三
图3为本发明实施例三提供的一种语音教学互动生成方法的流程图。本实施例为上述实施例一中“确定教学互动语音在教学内容中的电子板书区域和生成电子板书内容”提供了一种具体实现方式，本实施例适用于在AI语音教学互动环节添加电子板书的情况。如图3所示，该方法可以包括：
步骤301、获取AI内容编辑界面中显示的教学内容。
步骤302、基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音。
步骤303、将所述教学互动语音转化为教学互动文本，并识别所述教学互动文本的主体和所述主体的辅助标记。
示例性的，教学互动语音为“‘圆圈中的物体是什么？’、‘这是苹果’”，则通过包括语音识别技术将“圆圈中的物体是什么”的语音转化为“圆圈中的物体是什么”的文本；将“这是苹果”的语音转化为“这是苹果”的文本，利用包括命名实体识别技术识别出“这是苹果”中的主体“苹果”以及“圆圈中的物体是什么”中的辅助标记“圆圈”。
步骤304、将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域。
示例性的，利用包括目标检测技术，识别出教学内容中的主体，例如“苹果”图像，从而将“苹果”图像所覆盖的区域作为教学互动语音在教学内容中的电子板书区域。
步骤305、在所述电子板书区域中绘制所述主体的辅助标记，作为所述电子板书内容。
示例性的，将辅助标记“圆圈”绘制为主体“苹果”的外切圆，作为电子板书内容。
本发明实施例提供的技术方案，通过基于AI互动策略，确定教学互动语音以及点读语音，并将教学互动语音转化为教学互动文本，并识别教学互动文本的主体和辅助标记，最终将主体在教学内容中的位置作为电子板书区域，且在电子板书区域中绘制主体的辅助标记，作为所述电子板书内容。实现了基于教学互动语音即可添加电子板书的效果，提高学生参与度和学习兴趣。
实施例四
图4为本发明实施例四提供的一种语音教学互动生成方法的流程图。本实施例为上述实施例一提供了一种具体实现方式，本实施例适用于在AI语音教学互动环节添加电子点读和电子板书的情况。如图3所示，该方法可以包括：
步骤401、获取AI内容编辑界面中显示的教学内容。
步骤402、基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音。
步骤403、响应于作用在所述点读语音上的点读编辑操作，根据获取的用户输入的点读区域参数，确定所述点读语音在所述教学内容中的点读区域；其中所述点读区域参数包括点读区域的位置，尺寸和形状。
其中，点读区域的位置表示点读区域中心点的位置，点读区域尺寸表示点读区域的面积，点读区域的形状表示点读区域的外观形状。
示例性的，一种可选的实施方式，用户预先通过AI内容编辑器中带有的控件，在当前教学内容中框选目标点读区域，则相应的根据用户框选的目标点读区域，获取该目标点读区域的点读区域的位置，尺寸和形状，则最终确定当前教学内容中的点读区域，并将对应的点读语音与所述点读区域建立关联关系，当用户点击点读区域，教学设备就会相应的播放点读语音。
步骤404、响应于作用在所述教学互动语音上的电子板书编辑操作，根据获取的用户输入的电子板书区域参数和电子板书内容，确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容；其中，所述电子板书区域参数包括电子板书区域的位置，尺寸和形状。
其中，电子板书区域的位置表示电子板书区域中心点的位置，电子板书区域尺寸表示电子板书区域的面积，电子板书区域的形状表示电子板书区域的外观形状。
示例性的，一种可选的实施方式，用户预先通过AI内容编辑器中带有的控件，在当前教学内容中框选电子板书区域，并设置对应的辅助标记，即电子板书内容，则相应的根据用户框选的目标电子板书区域，获取该目标电子板书区域的电子板书区域的位置，尺寸和形状，进而确定当前教学内容中的电子板书区域，且在电子板书区域中生成电子板书内容，最终将对应的教学互动语音与所述电子板书区域建立关联关系，当教学设备播放教学互动语音时，相应的会在教学内容中显示电子板书。
本发明实施例提供的技术方案，通过基于AI互动策略，确定教学互动语音以及点读语音，并获取用户输入的点读区域参数和/或电子板书区域参数以及电子板书内容，确定当前教学内容的点读区域和/或电子板书区域，并使点读区域和/或电子板书区域与对应的点读语音以及教学互动语音相关联，实现了实时展现与教学互动语音以及点读语音相匹配的电子板书和电子点读，提高学生参与度和学习兴趣。
实施例五
图5为本发明实施例五提供的一种语音教学互动生成装置的结构示意图，该装置可执行本发明任意实施例所提供的语音教学互动生成方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置可以包括：
教学内容获取模块51，用于获取AI内容编辑界面中显示的教学内容；
教学互动语音确定模块52，用于基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
点读区域确定模块53，用于确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
电子板书生成模块54，用于确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学。
在上述实施例的基础上，所述点读区域确定模块53，具体用于：
将所述点读语音转化为点读语音，并识别所述点读语音的主体；
将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域。
在上述实施例的基础上，所述装置还包括：
辅助标记识别模块，用于根据所述教学互动文本识别所述主体的辅助标记；
所述电子板书生成模块54，具体用于：
将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域；
在所述电子板书区域中绘制所述主体的辅助标记，作为所述电子板书内容。
在上述实施例的基础上，所述点读区域确定模块53，具体还用于：
响应于作用在所述点读语音上的点读编辑操作，根据获取的用户输入的点读区域参数，确定所述点读语音在所述教学内容中的点读区域；
其中所述点读区域参数包括点读区域的位置，尺寸和形状。
在上述实施例的基础上，所述电子板书生成模块54，具体还用于：
响应于作用在所述教学互动语音上的电子板书编辑操作，根据获取的用户输入的电子板书区域参数和板书内容，确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容；
其中，所述电子板书区域参数包括电子板书区域的位置，尺寸和形状。
本发明实施例所提供的一种语音教学互动生成装置，可执行本发明任意实施例所提供的一种语音教学互动生成方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的一种语音教学互动生成方法。
实施例六
图6为本发明实施例六提供的一种设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备600的框图。图6显示的设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，设备600以通用计算设备的形式表现。设备600的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。
总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构 (ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如 CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器602可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例中的功能和/或方法。
设备600也可以与一个或多个外部设备609(例如键盘、指向设备、显示器610等)通信，还可与一个或者多个使得用户能与该设备600交互的设备通信，和/或与使得该设备600能与一个或多个其它计算设备进行通信的任何设备 (例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，设备600还可以通过网络适配器612与一个或者多个网络 (例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器612通过总线603与设备600的其它模块通信。应当明白，尽管图中未示出，可以结合设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的语音教学互动生成方法，包括：
获取AI内容编辑界面中显示的教学内容；
基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种语音教学互动生成方法，该方法包括：
获取AI内容编辑界面中显示的教学内容；
基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种语音教学互动生成方法中的相关操作。本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种语音教学互动生成方法，其特征在于，所述方法包括：
获取AI内容编辑界面中显示的教学内容；
基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学；
其中，所述确定所述点读语音在所述教学内容中的点读区域，包括：
通过包括语音识别技术将点读语音转化为点读文本，利用包括命名实体识别技术来识别点读文本的主体，利用包括目标检测技术识别教学内容中的所述主体，并将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域，其中主体在教学内容中的位置表示主体图像覆盖的区域；
所述确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，包括：
通过包括语音识别技术将教学互动语音转化为教学互动文本，利用包括命名实体识别技术来识别教学互动文本的主体以及对应的辅助标记，利用包括目标检测技术识别教学内容中的所述主体，并将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域，其中主体在教学内容中的位置表示主体图像覆盖的区域，再根据得到的辅助标记绘制主体相应的辅助标记，作为所述电子板书内容。
2.根据权利要求1所述的方法，其特征在于，确定所述点读语音在所述教学内容中的点读区域，包括：
将所述点读语音转化为点读文本，并识别所述点读文本的主体；
将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域。
3.根据权利要求2所述的方法，其特征在于，识别教学互动文本的主体之后，还包括：根据所述教学互动文本识别所述主体的辅助标记；
确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，包括：
将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域；
在所述电子板书区域中绘制所述主体的辅助标记，作为所述电子板书内容。
4.根据权利要求1所述的方法，其特征在于，确定所述点读语音在所述教学内容中的点读区域，包括：
响应于作用在所述点读语音上的点读编辑操作，根据获取的用户输入的点读区域参数，确定所述点读语音在所述教学内容中的点读区域；
其中所述点读区域参数包括点读区域的位置，尺寸和形状。
5.根据权利要求1所述的方法，其特征在于，确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，包括：
响应于作用在所述教学互动语音上的电子板书编辑操作，根据获取的用户输入的电子板书区域参数和电子板书内容，确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容；
其中，所述电子板书区域参数包括电子板书区域的位置，尺寸和形状。
6.一种语音教学互动生成装置，其特征在于，所述装置包括：
教学内容获取模块，用于获取AI内容编辑界面中显示的教学内容；
教学互动语音确定模块，用于基于AI互动策略，确定所述教学内容的教学互动语音以及点读语音；
点读区域确定模块，用于确定所述点读语音在所述教学内容中的点读区域，以在播放所述点读语音过程中供用户点读；
电子板书生成模块，用于确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，以在播放所述教学互动语音过程中通过电子板书辅助教学；
其中，所述确定所述点读语音在所述教学内容中的点读区域，包括：
通过包括语音识别技术将点读语音转化为点读文本，利用包括命名实体识别技术来识别点读文本的主体，利用包括目标检测技术识别教学内容中的所述主体，并将所述主体在所述教学内容中的位置，作为所述点读语音在所述教学内容中的点读区域，其中主体在教学内容中的位置表示主体图像覆盖的区域；
所述确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容，包括：
通过包括语音识别技术将教学互动语音转化为教学互动文本，利用包括命名实体识别技术来识别教学互动文本的主体以及对应的辅助标记，利用包括目标检测技术识别教学内容中的所述主体，并将所述主体在所述教学内容中的位置，作为所述教学互动语音在所述教学内容中的电子板书区域，其中主体在教学内容中的位置表示主体图像覆盖的区域，再根据得到的辅助标记绘制主体相应的辅助标记，作为所述电子板书内容。
7.根据权利要求6所述的装置，其特征在于，点读区域确定模块，具体还用于：
响应于作用在所述点读语音上的点读编辑操作，根据获取的用户输入的点读区域参数，确定所述点读语音在所述教学内容中的点读区域；
其中所述点读区域参数包括点读区域的位置，尺寸和形状。
8.根据权利要求6所述的装置，其特征在于，电子板书生成模块，具体还用于：
响应于作用在所述教学互动语音上的电子板书编辑操作，根据获取的用户输入的电子板书区域参数和板书内容，确定所述教学互动语音在所述教学内容中的电子板书区域，且在所述电子板书区域中生成电子板书内容；
其中，所述电子板书区域参数包括电子板书区域的位置，尺寸和形状。
9.一种电子设备，其特征在于，配置有AI内容编辑器，所述设备还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的语音教学互动生成方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的语音教学互动生成方法。
CN201910365230.0A 2019-04-30 2019-04-30 语音教学互动生成方法、装置、设备和介质 Active CN110070869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910365230.0A CN110070869B (zh) 2019-04-30 2019-04-30 语音教学互动生成方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910365230.0A CN110070869B (zh) 2019-04-30 2019-04-30 语音教学互动生成方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110070869A CN110070869A (zh) 2019-07-30
CN110070869B true CN110070869B (zh) 2021-11-09

Family

ID=67369901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910365230.0A Active CN110070869B (zh) 2019-04-30 2019-04-30 语音教学互动生成方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110070869B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065318B (zh) * 2021-03-23 2024-03-22 上海匠欣信息科技有限公司 一种电子点读读物制作方法、装置、电子设备和存储介质
CN115394282A (zh) * 2022-06-01 2022-11-25 北京网梯科技发展有限公司 信息交互方法及装置、教学平台、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102527045A (zh) * 2012-01-14 2012-07-04 李慈 智能学习娃娃玩具及其实现方法和电路系统
CN102568268A (zh) * 2012-01-16 2012-07-11 南京鑫岳教育软件有限公司 基于点读技术的互动系统及其实现方法
CN102763099A (zh) * 2009-10-05 2012-10-31 法布塔利生产股份有限公司 交互式电子文档
CN202736317U (zh) * 2012-06-05 2013-02-13 苏州鼎雅电子有限公司 内嵌屏幕的点读互动书
CN103366611A (zh) * 2012-03-27 2013-10-23 希伯仑股份有限公司 使用手持控制装置的教学系统与运作方法
CN108845786A (zh) * 2018-05-31 2018-11-20 北京智能管家科技有限公司 智能伴读方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763099A (zh) * 2009-10-05 2012-10-31 法布塔利生产股份有限公司 交互式电子文档
CN102527045A (zh) * 2012-01-14 2012-07-04 李慈 智能学习娃娃玩具及其实现方法和电路系统
CN102568268A (zh) * 2012-01-16 2012-07-11 南京鑫岳教育软件有限公司 基于点读技术的互动系统及其实现方法
CN103366611A (zh) * 2012-03-27 2013-10-23 希伯仑股份有限公司 使用手持控制装置的教学系统与运作方法
CN202736317U (zh) * 2012-06-05 2013-02-13 苏州鼎雅电子有限公司 内嵌屏幕的点读互动书
CN108845786A (zh) * 2018-05-31 2018-11-20 北京智能管家科技有限公司 智能伴读方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110070869A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
US20230042654A1 (en) Action synchronization for target object
US20200005772A1 (en) Interactive method and device of robot, and device
US20180366107A1 (en) Method and device for training acoustic model, computer device and storage medium
JP7432556B2 (ja) マンマシンインタラクションのための方法、装置、機器および媒体
CN111933115B (zh) 语音识别方法、装置、设备以及存储介质
CN112101045B (zh) 一种多模态语义完整性识别方法、装置及电子设备
CN107992195A (zh) 一种教学内容的处理方法、装置、服务器及存储介质
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN111711834B (zh) 录播互动课的生成方法、装置、存储介质以及终端
EP3425630A1 (en) Electronic device-awakening method and apparatus, device and computer-readable storage medium
CN109726397B (zh) 中文命名实体的标注方法、装置、存储介质和电子设备
CN110070869B (zh) 语音教学互动生成方法、装置、设备和介质
CN113793398A (zh) 基于语音交互的绘画方法与装置、存储介质和电子设备
CN110062290A (zh) 视频互动内容生成方法、装置、设备和介质
CN114885216B (zh) 习题推送方法、系统、电子设备和存储介质
CN111161724B (zh) 中文视听结合语音识别方法、系统、设备及介质
CN110069616B (zh) 互动对话生成方法、编辑器、互动对话系统、设备及介质
CN110647613A (zh) 一种课件构建方法、装置、服务器和存储介质
CN114067790A (zh) 语音信息处理方法、装置、设备及存储介质
CN109657127B (zh) 一种答案获取方法、装置、服务器及存储介质
CN113253838A (zh) 基于ar的视频教学方法、电子设备
CN111415662A (zh) 用于生成视频的方法、装置、设备和介质
CN111078010A (zh) 一种人机交互方法、装置、终端设备及可读存储介质
CN110782916A (zh) 一种多模态的投诉识别方法、装置和系统
JP2023120130A (ja) 抽出質問応答を利用する会話型ａｉプラットフォーム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210818

Address after: Room 301-112, floor 3, building 2, No. 18, YANGFANGDIAN Road, Haidian District, Beijing 100089

Applicant after: Beijing Rubu Technology Co.,Ltd.

Address before: Room 508-598, Xitian Gezhuang Town Government Office Building, No. 8 Xitong Road, Miyun District Economic Development Zone, Beijing 101500

Applicant before: BEIJING ROOBO TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant