CN110223365A - 一种笔记生成方法、系统、装置及计算机可读存储介质 - Google Patents
一种笔记生成方法、系统、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110223365A CN110223365A CN201910516195.8A CN201910516195A CN110223365A CN 110223365 A CN110223365 A CN 110223365A CN 201910516195 A CN201910516195 A CN 201910516195A CN 110223365 A CN110223365 A CN 110223365A
- Authority
- CN
- China
- Prior art keywords
- notes
- text
- classroom
- image
- text data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000005236 sound signal Effects 0.000 claims abstract description 57
- 238000004590 computer program Methods 0.000 claims description 12
- 239000012634 fragment Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种笔记生成方法，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。由此可见，本申请可以对录像装置发送的课堂音频信号和课堂图像数据进行处理，分别转换为文本数据和图像笔记，再将文本数据与图像笔记相结合，得到图文并茂的笔记，从而既可以替代手动记笔记，使笔记的记录方式更加简单，又可以使笔记更加规范完整，改善了笔记记录的效果。本申请还提供一种笔记生成系统、装置及计算机可读存储介质，同样可以实现上述技术效果。
Description
技术领域
本发明涉及人工智能领域，更具体地说，涉及一种笔记生成方法、系统、装置、及计算机可读存储介质。
背景技术
在如今互联网的高速发展，多媒体技术的逐渐兴起，社会信息化程度变得越来越高，让人们对于知识的获取变的多样化，在教育行业，对于学生的课堂听课仍是以对老师的授课内容做笔记记录为主要方式，方便课后复习以及增加对课堂内容的深刻记忆。由于学生不可能一直高度的保持注意力，就难免会错过知识点的遗漏，听课效果变得降低，这使得学生在课后的学习里花费更多的时间去补充理解与学习，不利于学生的课下复习。
与之相比随着科技的发展，学生也逐渐地开始使用自己的手机或者录像机等电子设备进行照片或是视频的拍摄录制等，通过尽可能地还原课堂记录来保证自己的学习进度不受影响。但学生拍摄的往往是非常杂乱的、无规律的，需要花费一定量的时间重新整理后才能确定那些重要的知识信息，而且视频和图片占用存储空间大。
因此，如何改善笔记记录的效果，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种笔记生成方法、系统、装置、及计算机可读存储介质，以改善笔记记录的效果。
为实现上述目的，本发明实施例提供了如下技术方案：
一种笔记生成方法，包括：
接收录像装置发送的课堂音频信号与课堂图像数据；
对所述课堂音频信号进行语音识别得到文本数据；
对所述课堂图像数据进行图像处理得到图像笔记；
将所述图像笔记插入所述文本数据，得到文本笔记。
可选地，所述对所述课堂音频信号进行语音识别得到文本数据之前，还包括：
对所述课堂音频信号进行降噪处理，提取待识别音频信号。
可选地，所述对所述课堂音频信号进行语音识别得到文本数据，包括：
将所述课堂音频信号从时域转换到频域，得到转换结果；
将所述转换结果作为声学模型的特征向量；
利用所述声学模型根据声学特性计算每个所述特征向量在声学特征上的得分；
利用所述得分确定每个所述特征向量的目标声学特征；
利用字典确定与每个所述目标声学特征对应的文本片段；
将所有所述文本片段生成所述文本数据。
可选地，所述将所述图像笔记插入所述文本数据之后，还包括：
利用预设机器学习模型对所述文本数据进行纠错处理，得到最终文本数据。
可选地，所述接收录像装置发送的课堂音频信号与课堂图像数据，包括：
接收所述录像装置发送的预设时间段的所述课堂音频信号与所述课堂图像数据；
则所述图像笔记插入所述文本数据，得到文本笔记，包括：
将所述图像笔记插入所述文本数据，得到文本笔记段；
所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：
当所有预设时间段的所述课堂音频信号与所述课堂图像数据均被生成文本笔记段后，将所有所述文本笔记段按照时间顺序生成文本笔记。
可选地，所述将所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：
间隔预设时间后删除所述文本笔记。
可选地，所述将所述图像笔记插入所述文本数据，得到文本笔记，包括：
对所述图像笔记的信息与所述文本数据中各预设间隔的文本数据进行相似度分析，得到所述图像笔记与每个预设间隔的文本数据的相似度结果；
根据所述相似度结果将所述图像笔记插入所述文本数据。
为实现上述目的，本申请还提供了一种笔记生成系统，其特征在于，包括：
数据接收模块，用于接收录像装置发送的课堂音频信号与课堂图像数据；
语音识别模块，用于对所述课堂音频信号进行语音识别得到文本数据；
图像处理模块，用于对所述课堂图像数据进行图像处理得到图像笔记；
文本笔记生成模块，用于将所述图像笔记插入所述文本数据，得到文本笔记。
为实现上述目的，本申请还提供了一种笔记生成装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如任一项所述笔记生成方法的步骤。
为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如任一项所述笔记生成方法的步骤。
通过以上方案可知，本发明实施例提供的一种笔记生成方法，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。
由此可见，本申请提供的一种笔记生成方法，可以对录像装置发送的课堂音频信号和课堂图像数据进行处理，分别转换为文本数据和图像笔记，再将文本数据与图像笔记相结合，得到图文并茂的笔记，从而既可以替代手动记笔记，使笔记的记录方式更加简单，又可以使笔记更加规范完整，改善了笔记记录的效果。本申请还提供一种笔记生成系统、装置及计算机可读存储介质，同样可以实现上述技术效果
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种笔记生成方法流程图；
图2为本发明实施例公开的一种具体的笔记生成方法流程图；
图3为本发明实施例公开的一种具体的笔记生成方法流程图；
图4为本发明实施例公开的一种笔记生成系统结构示意图；
图5为本发明实施例公开的一种笔记生成装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种笔记生成方法、系统、装置、及计算机可读存储介质，以改善笔记记录的效果。
参见图1，本发明实施例提供的一种笔记生成方法，具体包括：
S101，接收录像装置发送的课堂音频信号与课堂图像数据。
为了避免占用用户终端的存储资源以及计算资源，本方案具体可以应用于远程服务器，远程服务器可以接收录像装置发送的课堂音频信号与课堂图像数据，并进行相应的处理。
需要说明的是，录像装置可以是用户终端，也可以是安装于教室的专用录像装置，本方案不做具体限定。
课堂音频信号即教师上课的录音数据，课堂图像数据即包括课堂上拍摄的板书、多媒体资料等。
S102，对所述课堂音频信号进行语音识别得到文本数据。
首先需要对课堂音频信号进行语音识别，将音频数据转换为文字数据，得到与课堂音频信号对应的文本数据。
需要说明的是，由于音频信号中除了教师的授课音频，还可能会存在其他的杂音，从而导致文本数据与教师实际教授内容存在误差。为了避免此种情况，在一个具体的实施方式中，所述对所述课堂音频信号进行语音识别得到文本数据之前，还包括：
对所述课堂音频信号进行降噪处理，提取待识别音频信号。
需要说明的是，降噪处理具体可以采用滤波、分帧的方式进行，具体内容可以参见现有技术，本方案不再进行赘述。
此外，还可以提前获取授课教师的声音模型，通过教师声音模型来对课堂音频信号进行处理，提取该教师的音频数据。
参见图2，在一个具体的实施方式中，所述对所述课堂音频信号进行语音识别得到文本数据，包括：
S201，将所述课堂音频信号从时域转换到频域，得到转换结果。
具体的，首先需要将课堂音频信号从时域转换到频域，从而得到数字化的转换结果，以作为后续操作的特征向量。
需要说明的是，时域和频域是信号的基本性质，这样可以用多种方式来分析信号，每种方式提供了不同的角度。时域是真实世界，是唯一实际存在的域。频域最重要的性质是它不是真实的，而是一个数学构造。时域是惟一客观存在的域，而频域是一个遵循特定规则的数学范畴。
S202，将所述转换结果作为声学模型的特征向量。
将上述转换结果作为声学模型的特征向量，声学模型是语音识别系统中最为重要的部分之一。
S203，利用所述声学模型根据声学特性计算每个所述特征向量在声学特征上的得分。
在本方案中，利用声学模型对上述课堂音频数据对应的特征向量进行计算，即根据声学特性计算每个特征向量在声学特征上的得分。
S204，利用所述得分确定每个所述特征向量的目标声学特征。
需要说明的是特征向量在声学特征上的得分反映其与声学特征的相似度，得分越高就越接近该声学特征，因此，即可根据得分来确定每个特征向量的目标声学特征，即最接近的声学特征。
S205，利用字典确定与每个所述目标声学特征对应的文本片段。
预先设置字典，字典中可以根据声学特征来查找对应的文本片段，即可利用字典来查找每个特征向量对应的文本片段，从而确定出每个特征向量对应的课堂音频信号所对应的文本片段。
在一个具体的实施方式中，所述将所述图像笔记插入所述文本数据之后，还包括：
利用预设机器学习模型对所述文本数据进行纠错处理，得到最终文本数据。
具体的纠错方法在本方案中不做具体限定，例如，BK树技术、采用n-gram模型进行纠错等等。
S206，将所有所述文本片段生成所述文本数据。
将每个文本片段进行结合最终即可得到与完整课堂音频信号对应的文本上数据。
S103，对所述课堂图像数据进行图像处理得到图像笔记。
课堂图像数据具体可以为教师授课时拍摄的板书以及放映的多媒体数据等，在本方案中，对课堂图像数据进行处理，将其中的公式、参考图等提取出来，得到图像笔记。
S104，将所述图像笔记插入所述文本数据，得到文本笔记。
具体地，将图像笔记与文本数据进行结合，得到最终包括图像与文本的文笔记。
需要说明的是，为了能够使图像笔记插入的位置更加合适，在一个具体的实施方式中，所述将所述图像笔记插入所述文本数据，得到文本笔记，包括：
对所述图像笔记的信息与所述文本数据中各预设间隔的文本数据进行相似度分析，得到所述图像笔记与每个预设间隔的文本数据的相似度结果；
根据所述相似度结果将所述图像笔记插入所述文本数据。
需要说明的是，文本数据中可以通过分词等处理得到数据片段，也就是预设间隔的文本数据，而图像笔记也会有对应的内容，可以对图像笔记进行文字识别，从而提取图像笔记中的文字，或者获取图像笔记的标识信息，计算标识信息或文字与各个预设间隔的文本数据之间的相似度，从而根据相似度将图像笔记插入到文本数据的合适位置。
例如，一段预设间隔的文本数据中包括对一个公式的解析，并提到了公式的相关参数，而对图像笔记进行文字识别得出的内容与该段预设间隔的文本数据相似度高于其他预设间隔的文本数据，因此，将图像笔记插入到该段预设间隔的文本数据附近，具体位置可以根据笔记的美观性进行设计，本方案中不做具体限定。
用户终端可以与服务器进行通信，从而获取最终的文本笔记，具体获取方式可以是用户终端向服务器发送文本笔记的标识，服务器在已生成的所有文本笔记中确定与该标识对应的文本笔记，并将该文本笔记发送至用户终端。标识可以是根据摄像装置生成的标识，也可以是用终端与服务器之间约定的其他标识，本方案不做具体限定。
为了避免服务器长时间存储大量的文本笔记而造成存储资源的浪费，在一个优选的实时方式中，所述将所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：
间隔预设时间后删除所述文本笔记。
预设时间可以根据实际存储情况、用户下载笔记的时间情况等来确定，在本方案中不做具体限定。
由此可见，本申请实施例提供的一种笔记生成方法，可以对录像装置发送的课堂音频信号和课堂图像数据进行处理，分别转换为文本数据和图像笔记，再将文本数据与图像笔记相结合，得到图文并茂的笔记，从而既可以替代手动记笔记，使笔记的记录方式更加简单，又可以使笔记更加规范完整，改善了笔记记录的效果。
下面对本申请实施例提供的一种具体的笔记生成方法进行介绍，下文描述的一种具体的笔记生成方法，与上述任一实施例可以相互参照。
参见图3，本申请实施例提供的一种具体的笔记生成方法，具体包括：
S301，接收所述录像装置发送的预设时间段的所述课堂音频信号与所述课堂图像数据。
在本方案中，为了避免课堂音频信号与课堂图像数据处理的等待时间，录像装置可以每间隔预设时间就将已采集到的数据发送至服务器，从而使服务器对该时间间隔内的数据进行处理，而无需等到所有数据全部上传后再进行统一处理，减少了等待时间。
预设时间可以根据实际情况确定，本方案中不做具体限定。
S302，对所述课堂音频信号进行语音识别得到文本数据；
S303，对所述课堂图像数据进行图像处理得到图像笔记；
S304，将所述图像笔记插入所述文本数据，得到文本笔记段；
S305，当所有预设时间段的所述课堂音频信号与所述课堂图像数据均被生成文本笔记段后，将所有所述文本笔记段按照时间顺序生成文本笔记。
同一文本笔记的所有课堂音频信号与课堂图像数据均被处理完成后，将每个预设时间段的文本笔记段结合得到完整的文本笔记。
下面对本申请实施例提供的一种笔记生成系统进行介绍，下文描述的一种笔记生成系统进行介绍，下文描述的一种笔记生成系统与上述任一实施例可以相互参照。
参见图4，本申请实施例提供的一种笔记生成系统，具体包括：
数据接收模块401，用于接收录像装置发送的课堂音频信号与课堂图像数据。
语音识别模块402，用于对所述课堂音频信号进行语音识别得到文本数据。
图像处理模块403，用于对所述课堂图像数据进行图像处理得到图像笔记。
文本笔记生成模块404，用于将所述图像笔记插入所述文本数据，得到文本笔记。
在一个具体的实施方式中，所述系统还包括：
降噪模块，用于对所述课堂音频信号进行降噪处理，提取待识别音频信号。
在一个具体的实施方式中，所述语音识别模块402具体包括：
转换单元，用于将所述课堂音频信号从时域转换到频域，得到转换结果；
特征向量确定单元，用于将所述转换结果作为声学模型的特征向量；
得分计算单元，用于利用所述声学模型根据声学特性计算每个所述特征向量在声学特征上的得分；
目标声学特征确定单元，用于利用所述得分确定每个所述特征向量的目标声学特征；
文本片段确定单元，用于利用字典确定与每个所述目标声学特征对应的文本片段；
文本数据生成单元，用于将所有所述文本片段生成所述文本数据。
在一个具体的实施方式中，所述系统还包括：
纠错单元，用于利用预设机器学习模型对所述文本数据进行纠错处理，得到最终文本数据。
在一个具体的实施方式中，所述数据接收模块401具体用于接收所述录像装置发送的预设时间段的所述课堂音频信号与所述课堂图像数据；
文本笔记生成模块404具体用于将所述图像笔记插入所述文本数据，得到文本笔记段；当所有预设时间段的所述课堂音频信号与所述课堂图像数据均被生成文本笔记段后，将所有所述文本笔记段按照时间顺序生成文本笔记。
在一个具体的实施方式中，所述系统还包括：
间隔预设时间后删除所述文本笔记。
在一个具体的实施方式中，所述文本笔记生成模块404具体包括：
相似度计算单元，用于对所述图像笔记的信息与所述文本数据中各预设间隔的文本数据进行相似度分析，得到所述图像笔记与每个预设间隔的文本数据的相似度结果；
文本数据生成单元，用于根据所述相似度结果将所述图像笔记插入所述文本数据。
本实施例的笔记生成系统用于实现前述的笔记生成方法，因此笔记生成系统中的具体实施方式可见前文中的笔记生成方法的实施例部分，例如，数据接收模块401，语音识别模块402，图像处理模块403，文本笔记生成模块404，分别用于实现上述笔记生成方法中步骤S101，S102，S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种笔记生成装置进行介绍，下文描述的一种笔记生成装置与上述任一实施例可以相互参照。
参见图5，本发明实施例提供的一种笔记生成装置，具体包括：
存储器100，用于存储计算机程序；
处理器200，用于执行所述计算机程序时实现上述任一笔记生成方法的步骤。
具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200为笔记生成装置提供计算和控制能力，可以实现上述任一实施例所述的笔记生成方法。
进一步的，本实施例中的笔记生成装置，还可以包括：
输入接口300，用于获取外界导入的计算机程序，并将获取到的计算机程序保存至所述存储器100中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器200中，以便处理器200利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口300具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口400，用于将处理器200产生的各种数据输出至与其相连的终端设备，以便于与输出接口400相连的其他终端设备能够获取到处理器200产生的各种数据。本实施例中，所述输出接口400具体可以包括但不限于USB接口、串行接口等。
通讯单元500，用于完成当前设备与其他设备的通讯。
键盘600，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器700，用于对笔记生成过程的相关信息进行实时显示，以便于用户及时地了解当前笔记生成情况。
鼠标800，可以用于协助用户输入数据并简化用户的操作。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种笔记生成方法，其特征在于，包括：
接收录像装置发送的课堂音频信号与课堂图像数据；
对所述课堂音频信号进行语音识别得到文本数据；
对所述课堂图像数据进行图像处理得到图像笔记；
将所述图像笔记插入所述文本数据，得到文本笔记。
2.根据权利要求1所述的方法，其特征在于，所述对所述课堂音频信号进行语音识别得到文本数据之前，还包括：
对所述课堂音频信号进行降噪处理，提取待识别音频信号。
3.根据权利要求1所述的方法，其特征在于，所述对所述课堂音频信号进行语音识别得到文本数据，包括：
将所述课堂音频信号从时域转换到频域，得到转换结果；
将所述转换结果作为声学模型的特征向量；
利用所述声学模型根据声学特性计算每个所述特征向量在声学特征上的得分；
利用所述得分确定每个所述特征向量的目标声学特征；
利用字典确定与每个所述目标声学特征对应的文本片段；
将所有所述文本片段生成所述文本数据。
4.根据权利要求3所述的方法，其特征在于，所述将所述图像笔记插入所述文本数据之后，还包括：
利用预设机器学习模型对所述文本数据进行纠错处理，得到最终文本数据。
5.根据权利要求1所述的方法，其特征在于，所述接收录像装置发送的课堂音频信号与课堂图像数据，包括：
接收所述录像装置发送的预设时间段的所述课堂音频信号与所述课堂图像数据；
则所述图像笔记插入所述文本数据，得到文本笔记，包括：
将所述图像笔记插入所述文本数据，得到文本笔记段；
所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：
当所有预设时间段的所述课堂音频信号与所述课堂图像数据均被生成文本笔记段后，将所有所述文本笔记段按照时间顺序生成文本笔记。
6.根据权利要求1所述的方法，其特征在于，所述将所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：
间隔预设时间后删除所述文本笔记。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述图像笔记插入所述文本数据，得到文本笔记，包括：
对所述图像笔记的信息与所述文本数据中各预设间隔的文本数据进行相似度分析，得到所述图像笔记与每个预设间隔的文本数据的相似度结果；
根据所述相似度结果将所述图像笔记插入所述文本数据。
8.一种笔记生成系统，其特征在于，包括：
数据接收模块，用于接收录像装置发送的课堂音频信号与课堂图像数据；
语音识别模块，用于对所述课堂音频信号进行语音识别得到文本数据；
图像处理模块，用于对所述课堂图像数据进行图像处理得到图像笔记；
文本笔记生成模块，用于将所述图像笔记插入所述文本数据，得到文本笔记。
9.一种笔记生成装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述笔记生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述笔记生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516195.8A CN110223365A (zh) | 2019-06-14 | 2019-06-14 | 一种笔记生成方法、系统、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516195.8A CN110223365A (zh) | 2019-06-14 | 2019-06-14 | 一种笔记生成方法、系统、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110223365A true CN110223365A (zh) | 2019-09-10 |
Family
ID=67817354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910516195.8A Pending CN110223365A (zh) | 2019-06-14 | 2019-06-14 | 一种笔记生成方法、系统、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223365A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079714A (zh) * | 2020-01-02 | 2020-04-28 | 上海乂学教育科技有限公司 | 智能在线笔记生成系统 |
| CN111932964A (zh) * | 2020-08-21 | 2020-11-13 | 扬州大学 | 一种在线直播教学方法 |
| CN112115301A (zh) * | 2020-08-31 | 2020-12-22 | 湖北美和易思教育科技有限公司 | 一种基于课堂笔记的视频标注方法及系统 |
| CN112464028A (zh) * | 2020-11-24 | 2021-03-09 | 随锐科技集团股份有限公司 | 网络课堂信息处理方法及系统、计算机可读存储介质 |
| CN114449333A (zh) * | 2020-10-30 | 2022-05-06 | 华为终端有限公司 | 视频笔记生成方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120245936A1 (en) * | 2011-03-25 | 2012-09-27 | Bryan Treglia | Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof |
| KR20130094538A (ko) * | 2012-02-16 | 2013-08-26 | 김태민 | 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법 |
| CN108305512A (zh) * | 2018-01-05 | 2018-07-20 | 珠海向导科技有限公司 | 一种课堂电子笔记记录系统及方法 |
| CN109033060A (zh) * | 2018-08-16 | 2018-12-18 | 科大讯飞股份有限公司 | 一种信息对齐方法、装置、设备及可读存储介质 |
| CN109145149A (zh) * | 2018-08-16 | 2019-01-04 | 科大讯飞股份有限公司 | 一种信息对齐方法、装置、设备及可读存储介质 |
| CN109840287A (zh) * | 2019-01-31 | 2019-06-04 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于神经网络的跨模态信息检索方法和装置 |
-
2019
- 2019-06-14 CN CN201910516195.8A patent/CN110223365A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120245936A1 (en) * | 2011-03-25 | 2012-09-27 | Bryan Treglia | Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof |
| KR20130094538A (ko) * | 2012-02-16 | 2013-08-26 | 김태민 | 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법 |
| CN108305512A (zh) * | 2018-01-05 | 2018-07-20 | 珠海向导科技有限公司 | 一种课堂电子笔记记录系统及方法 |
| CN109033060A (zh) * | 2018-08-16 | 2018-12-18 | 科大讯飞股份有限公司 | 一种信息对齐方法、装置、设备及可读存储介质 |
| CN109145149A (zh) * | 2018-08-16 | 2019-01-04 | 科大讯飞股份有限公司 | 一种信息对齐方法、装置、设备及可读存储介质 |
| CN109840287A (zh) * | 2019-01-31 | 2019-06-04 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于神经网络的跨模态信息检索方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 邹克琴 等: "浅谈多媒体教学与学生课堂笔记的关系", 《科技创新导报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079714A (zh) * | 2020-01-02 | 2020-04-28 | 上海乂学教育科技有限公司 | 智能在线笔记生成系统 |
| CN111932964A (zh) * | 2020-08-21 | 2020-11-13 | 扬州大学 | 一种在线直播教学方法 |
| CN112115301A (zh) * | 2020-08-31 | 2020-12-22 | 湖北美和易思教育科技有限公司 | 一种基于课堂笔记的视频标注方法及系统 |
| CN112115301B (zh) * | 2020-08-31 | 2023-09-19 | 武汉美和易思数字科技有限公司 | 一种基于课堂笔记的视频标注方法及系统 |
| CN114449333A (zh) * | 2020-10-30 | 2022-05-06 | 华为终端有限公司 | 视频笔记生成方法及电子设备 |
| CN114449333B (zh) * | 2020-10-30 | 2023-09-01 | 华为终端有限公司 | 视频笔记生成方法及电子设备 |
| CN112464028A (zh) * | 2020-11-24 | 2021-03-09 | 随锐科技集团股份有限公司 | 网络课堂信息处理方法及系统、计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223365A (zh) | 一种笔记生成方法、系统、装置及计算机可读存储介质 | |
| CN108665742B (zh) | 一种通过阅读设备进行阅读的方法与设备 | |
| CN104777911A (zh) | 一种基于全息技术的智能交互方法 | |
| CN109616096A (zh) | 多语种语音解码图的构建方法、装置、服务器和介质 | |
| CN116127020A (zh) | 生成式大语言模型训练方法以及基于模型的搜索方法 | |
| CN108460124A (zh) | 基于图形识别的交互方法及电子设备 | |
| CN111522971A (zh) | 一种直播教学中辅助用户听课的方法及装置 | |
| CN111126084B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN113342968A (zh) | 文本摘要提取方法及装置 | |
| CN104505103A (zh) | 语音质量评价设备、方法和系统 | |
| CN109858005B (zh) | 基于语音识别的文档更新方法、装置、设备及存储介质 | |
| CN109064787A (zh) | 一种点读设备 | |
| CN109657127B (zh) | 一种答案获取方法、装置、服务器及存储介质 | |
| CN109903054B (zh) | 一种操作确认方法、装置、电子设备及存储介质 | |
| CN111966839A (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
| CN117152308A (zh) | 一种虚拟人动作表情优化方法与系统 | |
| CN111523343B (zh) | 阅读互动方法、装置、设备、服务器及存储介质 | |
| WO2023065963A1 (zh) | 互动展示方法、装置、电子设备及可读介质 | |
| CN108415995B (zh) | 搜索方法和装置 | |
| CN116561271A (zh) | 问答处理方法及装置 | |
| CN109688430A (zh) | 一种法院庭审文件回放方法、系统及存储介质 | |
| JP3930402B2 (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
| CN114220034A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN116486789A (zh) | 语音识别模型的生成方法、语音识别方法、装置及设备 | |
| CN111026839B (zh) | 一种听写字掌握程度的检测方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wu Xiaoling Inventor after: Wu Yinggang Inventor after: Ling Jie Inventor before: Wu Xiaoling Inventor before: Wu Yinggang Inventor before: Ling Jie Inventor before: Wang Zhangyuan Inventor before: Zhao Xudong Inventor before: Mei Sheng |
|
| CB03 | Change of inventor or designer information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |
|
| RJ01 | Rejection of invention patent application after publication |