CN111524507A - 语音信息的反馈方法、装置、设备、服务器及存储介质 - Google Patents
语音信息的反馈方法、装置、设备、服务器及存储介质 Download PDFInfo
- Publication number
- CN111524507A CN111524507A CN201910040207.4A CN201910040207A CN111524507A CN 111524507 A CN111524507 A CN 111524507A CN 201910040207 A CN201910040207 A CN 201910040207A CN 111524507 A CN111524507 A CN 111524507A
- Authority
- CN
- China
- Prior art keywords
- text content
- voice information
- reading
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 239000000463 material Substances 0.000 claims abstract description 26
- 230000001960 triggered effect Effects 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了语音信息的反馈方法、装置、设备、服务器及存储介质，该方法包括：获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；如果所述第一文本内容与所述第二文本内容的匹配度大于设定阈值，则将所述语音信息在满足设定反馈时间时反馈给审核用户。利用该方法，能够使审核用户对学生用户的阅读预习进行有效考量，从而达到了辅助学生进行高效阅读学习的有益效果。
Description
技术领域
本发明实施例涉及音频数据处理技术领域，尤其涉及语音信息的反馈方法、装置、设备、服务器及存储介质。
背景技术
现有教学中，家庭作业可认为是让学生在课后对所学知识进行巩固和学习的一种手段，常见的家庭作业多以书面撰写形式实现。现有的家庭作业中，有时也会要求学生完成预习工作，当进行语文或英语等文科类的文章预习时，其预习方式多以阅读为主。
然而，学生对文章进行阅读预习的过程无法以书面形式展现给审核者(比如教师或者家长)，故而，审核者无法实际考量学生是否真正完成了文章的阅读预习。
发明内容
本发明实施例提供了一种语音信息的反馈方法、装置、设备及存储介质，以解决审核者无法考量学生是否进行了阅读预习的问题。
第一方面，本发明实施例提供了一种语音信息的反馈方法，包括：
获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；
接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；
如果所述第一文本内容与所述第二文本内容的匹配度大于设定阈值，则将所述语音信息在满足设定反馈时间时反馈给审核用户。
第二方面，本发明实施例还提供了一种语音信息的反馈装置，包括：
图像信息获取模块，用于获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；
语音信息获取模块，用于接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；
反馈执行模块，用于当所述第一文本内容与所述第二文本内容的匹配度大于设定阈值时，将所述语音信息在满足设定反馈时间时反馈给审核用户。
第三方面，本发明实施例还提供了一种点读设备，其特征在于，包括：主体、位于主体内的控制器和无线网络模块以及嵌套于所述主体上的拾音装置、发音装置、摄像头以及触摸屏，所述主体设置在阅读材料所在载体上，
所述控制器，用于控制下述至少一项：拾音装置、发音装置、摄像头、和触摸屏执行相应的工作，还用于实现本发明实施例提供的语音信息的反馈方法；
其中，所述拾音装置，用于采集音频信息，所述音频信息包括用户的语音信息；
所述发音装置，用于进行音频信息播放；
所述摄像头，用于捕获图像信息，所述图像信息包括阅读材料中各阅读页；
所述触摸屏，用于进行信息显示。
第四方面，本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的语音信息的反馈方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的语音信息的反馈方法。
本发明实施例提供了语音信息的反馈方法、装置、设备及存储介质，该方法应用于点读设备的服务器，包括：首先获取阅读材料中待阅读内容的图像信息，并识别图像信息中的第一文本内容；然后接收并识别用户发出的语音信息，获得语音信息对应的第二文本内容，最终当第一文本内容与第二文本内容的匹配度大于设定阈值时，将语音信息在设定时间反馈给审核用户。利用该方法，能够使审核用户对学生用户的阅读预习进行有效考量，从而达到了辅助学生进行高效学习的有益效果。
附图说明
图1为本发明实施例一提供的一种语音信息的反馈方法的流程示意图；
图2为本发明实施例二提供的一种语音信息的反馈装置的结构框图；
图3为本发明实施例三提供的一种点读设备的结构框图；
图4为本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种语音信息的反馈方法的流程示意图，该方法适用于对学生用户的阅读预习进行结果反馈的情况，该方法可以由语音信息的反馈装置来执行，其中该装置可由软件和/或硬件实现，并一般可集成在点读设备和/或的服务器上。
需要说明的是，本实施例提供的语音信息的反馈方法具体可直接应用在点读设备上，或者应用在点读设备的服务器端，其待反馈的语音信息可由点读设备和/或点读设备的服务器反馈至审核者的手持终端。
如图1所示，本发明实施例一提供的一种语音信息的反馈方法，包括如下操作：
S101、获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容。
在本实施例中，所述阅读材料具体可指使用点读设备的用户进行阅读的书本、绘本或报纸等。本实施例可认为所述阅读材料中包含至少一篇用户可阅读的待阅读内容。具体地，所述图像信息可以为阅读材料中对应待阅读内容的图像，该图像信息可以由所述点读设备中的摄像头捕获。
示例性地，用户进行阅读时，可将包含待阅读内容的阅读材料置于放置有点读设备的书桌上，且用户可调整阅读材料的放置位置，以使点读设备上的摄像头可以捕获到阅读材料中的待阅读内容，从而获得待阅读内容的图像信息。
可以理解的是，本步骤可获取由点读设备的摄像头捕获的待阅读内容的图像信息，并通过给定的图像识别算法(如基于特征匹配的图像识别及基于分类的图像识别等算法)对所述图像信息进行识别，从而获得图像信息对应的第一文本内容。
S102、接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容。
在本实施例中，所述语音信息可理解为用户对待阅读内容进行阅读时，由点读设备的拾音装置采集到的音频信息。本步骤可以对获取的语音信息基于给定的语音识别算法进行语音识别，从而获得语音信息对应的第二文本内容。
可以理解的是，上述S101的操作相当于通过对所获取图像信息的文本识别，来确定用户待阅读的具体内容，本步骤的操作则具体用于获取用户对待阅读内容进行阅读时的语音信息，以及通过对语音信息的识别，来确定用户阅读时的具体阅读内容。
S103、如果所述第一文本内容与所述第二文本内容的匹配度大于设定阈值，则将所述语音信息在满足设定反馈时间时反馈给审核用户。
上述确定图像信息对应的第一文本内容以及语音信息的第二文本内容后，本实施可进一步通过文本匹配的方式来确定第一文本内容和第二文本内容的匹配度，基于确定出的匹配度，可以确定用户实际阅读的待阅读内容是否与本实施例所获取图像信息的待阅读内容一致，以此来保证用户当前所阅读待阅读内容的准确性。
需要说明的是，所述设定阈值可设定为一个较低值，本步骤仅通过该设定阈值确定用户当前阅读的内容是否为上述S101获取到的待阅读内容。具体地，本步骤中，当第一文本内容与第二文本内容的匹配度大于设定阈值时，可将用户的语音信息反馈给审核用户，本实施例确定匹配度满足设定阈值后，并不需要将语音信息实时反馈给审核用户，具体可在达到了设定的反馈时间后，在启动语音信息反馈。
在本实施例中，所述审核用户具体可以是用户的学习监督者，比如，父母或老师等，具体地，本步骤具体可将语音信息反馈到审核用户的手持终端，如手机或平板电脑等。
可以理解的是，当本实施例的执行主体为点读设备时，点读设备可直接基于上述步骤实现语音信息到手持终端的反馈，当本实施例的执行主体为点读设备的服务器时，服务器可实时获取点读设备捕获的图像信息及语音信息，然后基于获取的图像信息及语音信息确定待反馈的语音信息，并反馈至手持终端。此外，上述方法的执行主体也可以是点读设备及点读设备的服务器，示例性地，本实施例上述S101和S102可以在点读设备端实现，S103则可以点读设备的服务器端实现。本实施例对实现所提供语音信息反馈方法的执行主体不做具体限定。
本发明实施例一提供的一种语音信息的反馈方法，首先获取阅读材料中待阅读内容的图像信息，并识别图像信息中的第一文本内容；然后接收并识别用户发出的语音信息，获得语音信息对应的第二文本内容，最终当第一文本内容与第二文本内容的匹配度大于设定阈值时，将语音信息在设定时间反馈给审核用户。利用该方法，能够使审核用户对学生用户的阅读预习进行有效考量，从而达到了辅助和监督学生进行高效学习的有益效果。
在上述实施例基础上，作为本实施例的一个可选实施例，在识别所述图像信息中的第一文本内容之后，还优化包括了：接收到触发的领读指令后，基于设定播放规则控制播放所述第一文本内容。
可以理解的是，本实施例提供的语音信息的反馈方法具体可以在用户进行阅读预习时执行，在用户进行阅读预习时，很可能存在对待阅读的内容不熟悉或不清楚阅读内容如何发音的问题，因此，本实施例进一步增加了待阅读内容的领读实现操作。
示例性地，用户依赖点读设备进行阅读预习时，点读设备的触摸屏上显示一个功能菜单，用户可以触摸选择功能菜单中的菜单选项，当用户触发了功能菜单中的领读选项时，可触发生成一个领读指令，作为本实施例的执行主体接收到该领读指令后，就可以基于设定的播放规则控制播放上述图像信息对应的第一文本内容。
其中，所述播放规则可以包括将第一文本内容以段落划分并播放，或者将第一文本内容以句子划分并播放，又或者将第一文本内容以设定的特殊符号划分并播放等。
进一步地，本实施例将基于设定播放规则控制播放所述第一文本内容，具体化为：识别所述第一文本内容中的分隔标识符；基于所述分隔标识符划分所述第一文本内容，获得至少一条待播放文字；如果接收到所述用户对应当前待播放文字发出的当前语音，则控制播放所述当前待播放文字的下一条待播放文字。
具体地，所述分隔标识符具体可理解为划分第一文本内容所需的标识符，所述分隔标识符可以是标点符号中的句号、分号、叹号或者问号等，还可以是段落标识符；而根据分隔标识符的不同，可以对第一文本内容进行不同的划分，但至少可获得一条待播放文字，示例性地，一条待播放文字可以是一个句子，也可以是一段文字等。
之后，本实施例可从划分获得的多条待播放文字中依次顺序选取一条作为当前待播放文字，并由点读设备播放该当前待播放文字的相关音频，然后可等待用户对所播放内容的跟读，并获取用户发出的对应当前待播放文字的当前语音信息，其中，用户的跟读内容(当前语音信息)可通过点读设备的拾音装置采集，随后，接收到用户发出的当前语音信息，就可继续选取当前待播放文字的下一条待播放文字，并将下一条待播放文字作为新的当前待播放文字进行播放，由此重复上述操作直至播放完各条待播放文字。
在上述实施例的基础上，作为本实施例的另一个可选实施例，在识别所述图像信息中的第一文本内容之后，还优化包括了：接收到触发的点读指令后，监听所述用户的点击操作；识别所述点击操作在所述图像信息中对应的目标文本内容，并控制播放所述目标文本内容。
可以理解的是，在用户进行阅读预习时，其待阅读内容中可能存在个别不清楚如何发音的单词或文字，此时，若还采用领读功能进行领读，可能会占用阅读者较多的阅读时间，由此，本实施例提供的语音信息的反馈方法中，进一步增加了点读实现操作。
示例性地，用户可以从显示在点读设备触摸屏上的功能菜单中选择点读选项，点读设备可触发生成一个点读指令，本实施例的执行主体在可以在接收到点读指令后，可以进入点读模式，实现对待阅读内容中用户所点击任一内容的发音。
在本实施例中，点读功能的具体实现可描述为：接收到点读指令后，首先，将上述接收的待阅读内容的图像信息显示在点读设备的触摸屏上，以供用户通过触摸屏对图像信息进行点击操作，本实施例可以监听用户的点击操作，之后可识别其点击操作在图像信息中的位置信息，并确定该位置信息实际对应的目标文本内容，最终，可控制目标文本内容的正确发音通过点读设备的发音装置播放，从而使用户清楚该目标文本内容的具体发音。
在上述实施例的基础上，作为本实施例的又一个可选实施例，还优化包括了：基于所述第一文本内容与所述第二文本内容的匹配度，确定所述语音信息的评分值，以及确定所述语音信息中的发音错误内容并控制通过所述点读设备播放正确发音。
需要说明的是，用户依赖点读设备进行阅读预习时，可能还存在对待阅读内容进行发音检测的需求，由此，本实施例提供的语音信息的反馈方法中，还包括了对用户的语音信息进行评估的实现操作。
示例性地，接收到用户对待阅读内容进行阅读形成的语音信息后，如果接收到用户通过点读设备的触摸屏触发的发音评分指令，则可将所述第一文本内容与所述第二文本内容的匹配度与预设的评分等级表进行比对，所述评分等级表中具体可包括有多个文本匹配范围与评分值的关联信息，由此，可确定匹配度归属的文本匹配范围，然后确定文本匹配范围对应的评分值，最终可将该评分值作为所述语音信息的评分值。
同时，进行第一文本内容与所述第二文本内容的匹配度计算时，可具体确定出两文本中所存在区别文本的具体所在，本实施例可将第二文本内容中与第一文本内容的区别文本看作用户语音信息中的发音错误内容，并可将第一文本内容中与第二文本内容的区别文本看作正确文本内容，由此可将发音错误内容反馈显示在点读设备的触摸屏上，并将正确文本内容的发音信息反馈至点读设备，由点读设备进行正确发音的播放。
本发明实施例一提供的上述优选实施例，具体化增加了对阅读内容的领读操作的实现过程，还增加了对阅读内容的点读操作的实现过程，同时，增加了对用户的阅读时采集的语音信息进行发音评分的实现过程。上述各优选实施方法，能够在用户进行阅读预习时，实现对用户的领读指导、点读指导以及阅读中的发音指导，由此更好的体现了点读设备在用户阅读预习时的阅读辅助功能，有效达到了提高学生用户阅读能力的有益效果。
实施例二
图2为本发明实施例二提供的一种语音信息的反馈装置的结构框图，该装置适用于对学生用户的阅读预习进行结果反馈的情况，该装置可由软件和/或硬件实现，并一般集成在点读设备和/或点读设备的服务器上。如图2所示，该装置包括：图像信息获取模块21、语音信息获取模块22以及反馈执行模块23。
其中，图像信息获取模块21，用于获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；
语音信息获取模块22，用于接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；
反馈执行模块23，用于当所述第一文本内容与所述第二文本内容的匹配度大于设定阈值时，将所述语音信息在满足设定反馈时间时反馈给审核用户。
在本实施例中，该装置首先通过图像信息获取模块21获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；然后通过语音信息获取模块22接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；最终通过反馈执行模块23当所述第一文本内容与所述第二文本内容的匹配度大于设定阈值时，将所述语音信息在满足设定反馈时间时反馈给审核用户。
本发明实施例二提供的语音信息的反馈装置，能够使审核用户对学生用户的阅读预习进行有效考量，从而达到了辅助和监督学生进行高效学习的有益效果。
进一步地，该装置还包括了：领读处理模块，用于在识别所述图像信息中的第一文本内容并接收触发的领读指令后，基于设定播放规则控制播放所述第一文本内容。
在上述优化的基础上，领读处理模块，具体可用于：
在识别所述图像信息中的第一文本内容并接收到触发的领读指令后，识别所述第一文本内容中的分隔标识符；
基于所述分隔标识符划分所述第一文本内容，获得至少一条待播放文字；
如果接收到所述用户对应当前待播放文字发出的当前语音，则控制播放所述当前待播放文字的下一条待播放文字。
进一步地，该装置还包括了：点读处理模块，用于在识别所述图像信息中的第一文本内容并接收到触发的点读指令之后，监听所述用户的点击操作，识别所述点击操作在所述图像信息中对应的目标文本内容，并控制播放所述目标文本内容。
进一步地，该装置还包括了：发音评分模块，用于基于所述第一文本内容与所述第二文本内容的匹配度，确定所述语音信息的评分值，以及确定所述语音信息中的发音错误内容并控制播放正确发音。
实施例三
图3为本发明实施例三提供的一种点读设备的结构框图，如图3所示，该点读设备包括：主体31、位于主体31内的控制器(未示出)和无线网络模块(未示出)以及嵌套于主体31上的拾音装置32、发音装置33、摄像头34以及触摸屏35，主体31设置在阅读材料37所在载体36上，控制器32，用于控制下述至少一项：拾音装置32、发音装置33、摄像头34以及触摸屏35执行相应的工作，还用于实现本发明上述实施例提供的语音信息的反馈方法，其中，拾音装置32，用于采集音频信息，所述音频信息包括用户的语音信息；发音装置33，用于进行音频信息播放；摄像头34，用于捕获图像信息，所述图像信息包括阅读材料中各阅读页；触摸屏35，用于进行信息显示。
点读设备例如可以是具有拾音装置、发音装置、摄像头以及触摸屏的电脑、平板或手机等电子设备，其中，拾音装置可以是麦克风、发音装置可以是扬声器。所述阅读材料可以是常规的纸质书籍、期刊或绘本等。示例性地，阅读材料所在载体可以为桌面，点读设备的主体31安装在桌面上，控制器32可通过无线网络模块与后端的服务器进行数据交互。
作为本公开实施例所提供方法执行主体的点读设备，能够来实现语音信息到审核用户的反馈，从而使审核用户对学生用户的阅读预习进行有效考量，进而达到了辅助和监督学生进行高效学习的有益效果。
实施例四
图4为本发明实施例四提供的一种服务器的结构示意图。可以理解的是，本发明实施例四提供的点读设备的服务器同样可以作为本发明实施例所提供语音信息的反馈方法的执行主体。如图4所示，本发明实施例四提供的点读设备的服务器包括：一个或多个处理器41和存储装置42；该服务器中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的语音信息的反馈方法。
所述服务器还可以包括：输入装置43和输出装置44。
服务器中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。
该服务器中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一所提供语音信息的反馈方法对应的程序指令/模块(例如，附图2所示的语音信息的反馈装置中的模块，包括：图像信息获取模块21、语音信息获取模块22和反馈执行模块23，还包括：领读处理模块、点读处理模块以及发音评分模块(图2未示出)等)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中语音信息的反馈方法。
存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
并且，当上述服务器所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容，所述图像信息由所述点读设备中的摄像头捕获；接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容，所述语音信息由所述点读设备中的拾音装置采集；如果所述第一文本内容与所述第二文本内容的匹配度大于设定阈值，则将所述语音信息在满足设定反馈时间时反馈给审核用户。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行语音信息的反馈方法，该方法包括：
获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容，所述图像信息由所述点读设备中的摄像头捕获；接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容，所述语音信息由所述点读设备中的拾音装置采集；如果所述第一文本内容与所述第二文本内容的匹配度大于设定阈值，则将所述语音信息在满足设定反馈时间时反馈给审核用户。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的语音信息的反馈方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种语音信息的反馈方法，其特征在于，包括：
获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；
接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；
如果所述第一文本内容与所述第二文本内容的匹配度大于设定阈值，则将所述语音信息在满足设定反馈时间时反馈给审核用户。
2.根据权利要求1所述的方法，其特征在于，识别所述图像信息中的第一文本内容之后，还包括：
接收到触发的领读指令后，基于设定播放规则控制播放所述第一文本内容。
3.根据权利要求2所述的方法，其特征在于，所述基于设定播放规则控制播放所述第一文本内容，包括：
识别所述第一文本内容中的分隔标识符；
基于所述分隔标识符划分所述第一文本内容，获得至少一条待播放文字；
如果接收到所述用户对应当前待播放文字发出的当前语音，则控制播放所述当前待播放文字的下一条待播放文字。
4.根据权利要求1所述的方法，其特征在于，识别所述图像信息中的第一文本内容之后，还包括：
接收到触发的点读指令后，监听所述用户的点击操作；
识别所述点击操作在所述图像信息中对应的目标文本内容，并控制播放所述目标文本内容。
5.根据权利要求1所述的方法，其特征在于，还包括：
基于所述第一文本内容与所述第二文本内容的匹配度，确定所述语音信息的评分值，以及确定所述语音信息中的发音错误内容并控制播放正确发音。
6.一种语音信息的反馈装置，其特征在于，包括：
图像信息获取模块，用于获取阅读材料中待阅读内容的图像信息，并识别所述图像信息中的第一文本内容；
语音信息获取模块，用于接收并识别用户发出的语音信息，获得所述语音信息对应的第二文本内容；
反馈执行模块，用于当所述第一文本内容与所述第二文本内容的匹配度大于设定阈值时，将所述语音信息在满足设定反馈时间时反馈给审核用户。
7.根据权利要求1所述的装置，其特征在于，还包括：
领读处理模块，用于在识别所述图像信息中的第一文本内容并接收到触发的领读指令后，基于设定播放规则控制播放所述第一文本内容。
8.一种点读设备，其特征在于，包括：主体、位于主体内的控制器和无线网络模块以及嵌套于所述主体上的拾音装置、发音装置、摄像头以及触摸屏，所述主体设置在阅读材料所在载体上，
所述控制器，用于控制下述至少一项：拾音装置、发音装置、摄像头、和触摸屏执行相应的工作，还用于实现如权利要求1-5任一项所述的语音信息的反馈方法，
其中，所述拾音装置，用于采集音频信息，所述音频信息包括用户的语音信息；
所述发音装置，用于进行音频信息播放；
所述摄像头，用于捕获图像信息，所述图像信息包括阅读材料中各阅读页；
所述触摸屏，用于进行信息显示。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的语音信息的反馈方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的语音信息的反馈方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910040207.4A CN111524507A (zh) | 2019-01-16 | 2019-01-16 | 语音信息的反馈方法、装置、设备、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910040207.4A CN111524507A (zh) | 2019-01-16 | 2019-01-16 | 语音信息的反馈方法、装置、设备、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111524507A true CN111524507A (zh) | 2020-08-11 |
Family
ID=71900023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910040207.4A Pending CN111524507A (zh) | 2019-01-16 | 2019-01-16 | 语音信息的反馈方法、装置、设备、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524507A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968424A (zh) * | 2020-08-27 | 2020-11-20 | 北京大米科技有限公司 | 交互式学习方法、装置、系统及计算机存储介质 |
| CN112185186A (zh) * | 2020-09-30 | 2021-01-05 | 北京有竹居网络技术有限公司 | 一种发音纠正方法、装置、电子设备及存储介质 |
| CN112230875A (zh) * | 2020-10-13 | 2021-01-15 | 华南师范大学 | 人工智能跟读方法和跟读机器人 |
| CN113126762A (zh) * | 2021-04-21 | 2021-07-16 | 惠东县人民医院 | 一种用于监测医疗行为的医疗数据核查装置及方法 |
| CN116416635A (zh) * | 2023-06-08 | 2023-07-11 | 深圳市小彼恩文教科技有限公司 | 一种基于点读笔的辅助阅读方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202058319U (zh) * | 2011-04-28 | 2011-11-30 | 北京银盘电子技术有限公司 | 一种带语音识别功能的点读笔 |
| CN102930866A (zh) * | 2012-11-05 | 2013-02-13 | 广州市神骥营销策划有限公司 | 一种用于口语练习的学生朗读作业的评判方法 |
| CN103680223A (zh) * | 2013-12-02 | 2014-03-26 | 中国科学院深圳先进技术研究院 | 辅助阅读设备及辅助阅读系统和辅助阅读方法 |
| CN104966424A (zh) * | 2015-07-03 | 2015-10-07 | 广东小天才科技有限公司 | 一种基于点读机的学习方法及装置 |
| CN205910881U (zh) * | 2016-04-14 | 2017-01-25 | 长沙医学院 | 一种语音控制有声阅读器 |
| CN106611048A (zh) * | 2016-12-20 | 2017-05-03 | 李坤 | 一种具有在线语音测评及语音交互功能的语言学习系统 |
| CN107195204A (zh) * | 2017-07-27 | 2017-09-22 | 安庆状元郎电子科技有限公司 | 一种应用于英语多媒体教室的课堂点读笔 |
| CN107393356A (zh) * | 2017-04-07 | 2017-11-24 | 深圳市友悦机器人科技有限公司 | 控制方法、控制装置和早教机 |
| CN107464457A (zh) * | 2017-08-15 | 2017-12-12 | 安徽状元郎电子科技有限公司 | 一种带有搜题功能的智能点读笔 |
| CN107885826A (zh) * | 2017-11-07 | 2018-04-06 | 广东欧珀移动通信有限公司 | 多媒体文件播放方法、装置、存储介质及电子设备 |
| CN108427948A (zh) * | 2018-03-20 | 2018-08-21 | 王佩 | 一种辅助学习方法及系统 |
| CN109063583A (zh) * | 2018-07-10 | 2018-12-21 | 广东小天才科技有限公司 | 一种基于点读操作的学习方法及电子设备 |
-
2019
- 2019-01-16 CN CN201910040207.4A patent/CN111524507A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202058319U (zh) * | 2011-04-28 | 2011-11-30 | 北京银盘电子技术有限公司 | 一种带语音识别功能的点读笔 |
| CN102930866A (zh) * | 2012-11-05 | 2013-02-13 | 广州市神骥营销策划有限公司 | 一种用于口语练习的学生朗读作业的评判方法 |
| CN103680223A (zh) * | 2013-12-02 | 2014-03-26 | 中国科学院深圳先进技术研究院 | 辅助阅读设备及辅助阅读系统和辅助阅读方法 |
| CN104966424A (zh) * | 2015-07-03 | 2015-10-07 | 广东小天才科技有限公司 | 一种基于点读机的学习方法及装置 |
| CN205910881U (zh) * | 2016-04-14 | 2017-01-25 | 长沙医学院 | 一种语音控制有声阅读器 |
| CN106611048A (zh) * | 2016-12-20 | 2017-05-03 | 李坤 | 一种具有在线语音测评及语音交互功能的语言学习系统 |
| CN107393356A (zh) * | 2017-04-07 | 2017-11-24 | 深圳市友悦机器人科技有限公司 | 控制方法、控制装置和早教机 |
| CN107195204A (zh) * | 2017-07-27 | 2017-09-22 | 安庆状元郎电子科技有限公司 | 一种应用于英语多媒体教室的课堂点读笔 |
| CN107464457A (zh) * | 2017-08-15 | 2017-12-12 | 安徽状元郎电子科技有限公司 | 一种带有搜题功能的智能点读笔 |
| CN107885826A (zh) * | 2017-11-07 | 2018-04-06 | 广东欧珀移动通信有限公司 | 多媒体文件播放方法、装置、存储介质及电子设备 |
| CN108427948A (zh) * | 2018-03-20 | 2018-08-21 | 王佩 | 一种辅助学习方法及系统 |
| CN109063583A (zh) * | 2018-07-10 | 2018-12-21 | 广东小天才科技有限公司 | 一种基于点读操作的学习方法及电子设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968424A (zh) * | 2020-08-27 | 2020-11-20 | 北京大米科技有限公司 | 交互式学习方法、装置、系统及计算机存储介质 |
| CN112185186A (zh) * | 2020-09-30 | 2021-01-05 | 北京有竹居网络技术有限公司 | 一种发音纠正方法、装置、电子设备及存储介质 |
| CN112185186B (zh) * | 2020-09-30 | 2022-07-01 | 北京有竹居网络技术有限公司 | 一种发音纠正方法、装置、电子设备及存储介质 |
| CN112230875A (zh) * | 2020-10-13 | 2021-01-15 | 华南师范大学 | 人工智能跟读方法和跟读机器人 |
| CN113126762A (zh) * | 2021-04-21 | 2021-07-16 | 惠东县人民医院 | 一种用于监测医疗行为的医疗数据核查装置及方法 |
| CN116416635A (zh) * | 2023-06-08 | 2023-07-11 | 深圳市小彼恩文教科技有限公司 | 一种基于点读笔的辅助阅读方法 |
| CN116416635B (zh) * | 2023-06-08 | 2023-09-01 | 深圳市小彼恩文教科技有限公司 | 一种基于点读笔的辅助阅读方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524507A (zh) | 语音信息的反馈方法、装置、设备、服务器及存储介质 | |
| CN106406806B (zh) | 一种用于智能设备的控制方法及装置 | |
| CN106971009B (zh) | 语音数据库生成方法及装置、存储介质、电子设备 | |
| WO2018187234A1 (en) | Hands-free annotations of audio text | |
| KR101545881B1 (ko) | 휴대 단말기의 입력 처리 장치 및 방법 | |
| CN104808794A (zh) | 一种唇语输入方法和系统 | |
| CN109471955B (zh) | 视频片段的定位方法、计算设备及存储介质 | |
| CN111415537A (zh) | 一种基于符号标注的中小学生听词系统 | |
| CN111651497A (zh) | 用户标签挖掘方法、装置、存储介质及电子设备 | |
| CN111223487B (zh) | 一种信息处理方法及电子设备 | |
| CN109741750A (zh) | 一种语音识别的方法、文件处理方法及终端设备 | |
| CN105893345A (zh) | 一种信息处理方法和电子设备 | |
| CN110992958B (zh) | 内容记录方法、装置、电子设备及存储介质 | |
| CN113253838A (zh) | 基于ar的视频教学方法、电子设备 | |
| CN110890095A (zh) | 语音检测方法、推荐方法、装置、存储介质和电子设备 | |
| CN110263346B (zh) | 基于小样本学习的语意分析方法、电子设备及存储介质 | |
| JP2018066968A (ja) | 単語学習支援装置、単語学習支援プログラム、単語学習支援方法 | |
| WO2020087552A1 (zh) | 一种点读验证装置以及点读答题验证评分方法 | |
| CN111523343B (zh) | 阅读互动方法、装置、设备、服务器及存储介质 | |
| CN111081088A (zh) | 一种听写字词收录方法及电子设备 | |
| CN111462548A (zh) | 一种段落点读方法、装置、设备和可读介质 | |
| WO2021036823A1 (zh) | 文本处理方法、装置、设备及介质 | |
| CN111128237B (zh) | 语音评测方法、装置、存储介质和电子设备 | |
| CN108491183B (zh) | 一种信息处理方法和电子设备 | |
| CN112837398A (zh) | 文本批注的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |
|
| RJ01 | Rejection of invention patent application after publication |