CN103824481A - 一种检测用户背诵的方法及装置 - Google Patents

一种检测用户背诵的方法及装置 Download PDF

Info

Publication number
CN103824481A
CN103824481A CN201410073653.2A CN201410073653A CN103824481A CN 103824481 A CN103824481 A CN 103824481A CN 201410073653 A CN201410073653 A CN 201410073653A CN 103824481 A CN103824481 A CN 103824481A
Authority
CN
China
Prior art keywords
recite
image sequence
information
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410073653.2A
Other languages
English (en)
Other versions
CN103824481B (zh
Inventor
简文杰
洪飞图
秦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201410073653.2A priority Critical patent/CN103824481B/zh
Publication of CN103824481A publication Critical patent/CN103824481A/zh
Application granted granted Critical
Publication of CN103824481B publication Critical patent/CN103824481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种检测用户背诵的方法及装置。该方法包括:获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;对第一图像序列进行图像识别,以判断第一图像序列是否与预设的背诵开启动作相适配;在判断第一图像序列与预设的背诵开启动作相适配的情况下,获取用户语音信息,并根据第一图像序列所对应显示区域获取背诵比对信息;根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。本发明提出的技术方案能够帮助用户能够及时发现背诵过程存在的问题,提高用户的背诵效率。

Description

一种检测用户背诵的方法及装置
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种检测用户背诵的方法及装置。
背景技术
阅读书籍不仅仅能够让人们学到丰富的知识,开阔眼界,还可以使人进步,尤其是对于正处于成长过程当中的儿童而言,书籍更是必不可少。对于书籍中比较优美或者重要的语段时,通常需要儿童进行背诵。如果是一个人单独进行背诵,则不能够及时、准确的发现背诵的内容是否存在遗漏或者文字发音是否准确等一些问题。
目前,所采取的一种背诵方式是:通过家长来检验孩子背诵的书籍中的内容是否准确无误;另一种背诵方式是:使用MP3或者复读机等工具对背诵的内容进行录音,然后人为的对比书籍上相应的文字内容查看背诵的准确度。但是,上述两种方式仍不能够对背诵的内容发音是否准确或者遗漏等问题进行直观、准确的度量与评价。
发明内容
本发明实施例提供一种检测用户背诵的方法及装置,以帮助用户能够及时发现背诵过程存在的问题,提高用户的背诵效率。
第一方面,本发明实施例提供了一种检测用户背诵的方法,该方法包括:
获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;
对所述第一图像序列进行图像识别,以判断所述第一图像序列是否与预设的背诵开启动作相适配;
在判断所述第一图像序列与预设的背诵开启动作相适配的情况下,获取用户语音信息,并根据所述第一图像序列所对应显示区域获取背诵比对信息;
根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
第二方面,本发明实施例还提供了一种检测用户背诵的装置,该装置包括:
图像获取单元,用于获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;
背诵判断单元,用于对所述第一图像序列进行图像识别,以判断所述第一图像序列是否与预设的背诵开启动作相适配;
信息获取单元,用于在判断所述第一图像序列与预设的背诵开启动作相适配的情况下,获取用户语音信息,并根据所述第一图像序列所对应显示区域获取背诵比对信息;
背诵检测单元,用于根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
本发明实施例提出的技术方案通过识别文档显示装置中显示区域外部的图像来开启背诵检测,通过获取用户语音信息,根据背诵比对信息对用户语音信息进行识别分析来实现对用户背诵的检测,从而能够帮助用户能够及时发现背诵过程存在的问题,提高用户的背诵效率。
附图说明
图1是本发明实施例一提供的一种检测用户背诵的方法的流程示意图;
图2是本发明实施例二提供的一种检测用户背诵的方法的流程示意图;
图3是本发明实施例三提供的一种检测用户背诵的装置的结构示意图;
图4(a)本发明实施例一提供的一种图像采集装置捕捉的用户未对文档显示装置中的显示区域进行操作时的图像示意图;
图4(b)本发明实施例一提供的一种图像采集装置捕捉的用户对文档显示装置中的显示区域进行手势动作时的图像示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种检测用户背诵的方法的流程示意图,该方法可以由检测用户背诵的装置来执行。所述装置可内置在学习机、智能手机、平板电脑、个人数字助理或者其他任何电子设备中,由软件和/或硬件实现。所述装置可配合图像采集装置和语音采集装置来实现检测用户背诵的方法。参见图1,检测用户背诵的方法具体包括如下步骤:
110、获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列。
在本实施例中,文档显示装置可以是纸质的书本,也可以是能够显示文档内容的电子显示屏幕。文档显示装置中的显示区域显示有待背诵的文档内容。第一图像序列的获取过程可具体为:通过控制图像采集装置每隔固定时间在文档显示装置中显示区域的外部捕捉一次图像,得到预设时间长度上或预设捕捉次数下的第一图像序列。外部捕捉的图像实际上体现了用户对显示区域的操作,例如,图4所示的用户遮挡显示区域的手势动作,图4(a)示出了图像采集装置捕捉的用户未对文档显示装置中的显示区域进行操作时的图像示意图,图4(b)示出了图像采集装置捕捉的用户对文档显示装置中的显示区域进行手势动作时的图像示意图。
其中,图像采集装置包括但不限于内嵌于检测用户背诵的装置中的摄像头;固定时间、预设时间长度或捕捉次数可根据不同的应用场景进行设定,也可在检测用户背诵的装置出厂时被设定为固定值。当第一图像序列包含至少两帧图像时,例如设定固定时间为1秒,预设时间长度为5秒,或者预设捕捉次数为5次。特别的,当第一图像序列中只包含有一帧图像时,固定时间可设定为无穷大,预设捕捉次数为一次,即仅在文档显示装置中显示区域的外部捕捉一次图像。
120、对第一图像序列进行图像识别,以判断第一图像序列是否与预设的背诵开启动作相适配。
在获取到第一图像序列之后,对第一图像序列进行图像识别,判断第一图像序列是否与预设的背诵开启动作相适配,可包括:根据预先存储的模板特征信息对第一图像序列中的图像进行目标物识别,根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配。即为,首先对第一图像序列中的各图像进行特征提取,然后将所提取的特征信息与预先存储的模板特征信息进行匹配实现对第一图像序列中目标物的识别;进而根据对第一图像序列中目标物的识别情况来判断第一图像序列是否与预设的背诵开启动作相适配。其中,目标物可以是人体的手部,特征信息包括但不限于手部轮廓区域、指甲区域及其指甲区域对应的颜色信息等。
具体的,如果预先设定为仅控制图像采集装置在文档显示装置中显示区域的外部捕捉一次图像,即第一图像序列为单帧图像,则根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配,可包括:在识别出单帧图像存在目标物的情况下,判断第一图像序列与预设的背诵开启动作相适配。
如果预先设定为控制图像采集装置在文档显示装置中显示区域的外部至少捕捉两次图像,即第一图像序列为至少两帧图像,则根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配,可包括:根据目标物识别结果以及相邻帧图像之间的差异值判断第一图像序列是否与预设的背诵开启动作相适配。
在本实施例的一个具体的实施方式中,在第一图像序列为至少两帧图像的情况下,根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配,可包括:在识别出存在目标物的情况下,将存在目标物的图像与相邻帧图像进行比对;当比对结果满足设定条件时,判断第一图像序列与预设的背诵开启动作相适配。
其中,设定条件可根据第一图像序列中相邻帧图像的间隔时间和/或图像帧数来确定。例如,在第一图像序列中相邻帧图像所间隔的固定时间较短,图像帧数较多的情形下,可在识别到连续多帧图像存在目标物且目标物在图像中的位置几乎没有变化后判断为第一图像序列与预设的背诵开启动作相适配,此时设定条件可为存在目标物的图像与相邻帧图像之间的相似度小于等于设定的第一阈值;在第一图像序列中相邻帧图像所间隔的固定时间较长,图像帧数较多的情形下,可在识别前一帧图像未存在目标物而后一帧图像存在目标物时判断为第一图像序列与预设的背诵开启动作相适配,此时设定条件可为存在目标物的图像的平均灰度值与前一帧图像的平均灰度值之间的差大于等于设定的第二阈值。
当然,当第一图像序列为至少两帧图像时,还可通过其它方式来实现判断第一图像序列是否与预设的背诵开启动作相适配,例如:获取第一图像序列中的第一帧图像以及最后一帧图像;将所获取的第一帧图像和最后一帧图像进行比对,根据比对结果判断第一图像序列是否与预设的背诵开启动作相适配。这样,仅通过比对首末两帧图像之间的差异来判断第一图像序列是否与预设的背诵开启动作相适配能够减少资源消耗,提高检测速度。
130、在判断第一图像序列与预设背诵开启动作相适配的情况下,获取用户语音信息,并根据第一图像序列所对应显示区域获取背诵比对信息。
在本实施例中,可通过控制语音采集装置来实现用户语音信息的获取。具体的,可控制语音采集装置获取设定时间长度的用户语音信息,也可在判断第一图像序列与预设的背诵开启动作相适配的情况下,开启语音采集装置实时采集用户语音信息,在检测到存在背诵停止指令的情况下,停止采集用户语音信息。
在本实施例中,在第一图像序列为至少两帧图像的情况下,根据第一图像序列所对应显示区域获取背诵比对信息,具体包括:采用图像识别技术识别第一图像序列中图像在所述显示区域所对应的文本内容;获取比对结果满足设定条件时目标物在对应图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
在第一图像序列为单帧图像的情况下,根据第一图像序列所对应显示区域获取背诵比对信息,具体包括:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容;获取目标物在单帧图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。其中,据用户输入指令获取文档显示装置中显示区域所对应的文本内容可为:向用户提供一交互界面,接收作用在该交互界面上的输入指令,根据该指令得到第一图像序列中图像在所述显示区域所对应的文本内容。
在上述两种获取背诵比对信息情况中,根据所述轮廓区域确定待背诵的文本内容范围可为:将轮廓区域所覆盖的段落或者语句作为待背诵的文本内容范围;所述服务器可以是云服务器;背诵比对信息包括但不限于:文本比对内容和/或语音比对信息。
综上,本实施例可通过上述两种不同的技术方案来实现背诵开启动作相的判断和待背诵文本内容范围的确定。
一种技术方案是,当前文档显示装置中显示区域对应的文本内容能够根据用户输入指令直接获取得到,此情况下第一图像序列可仅仅包括一帧图像,进而通过识别该帧图像是否包括目标物来判断第一图像序列是否与预设的背诵开启动作相适配,通过识别该帧图像的轮廓区域以及文档显示装置中显示区域对应的文本内容确定待背诵的文本内容范围。
另一种技术方案是,当前文档显示装置中显示区域对应的文本内容根据图像序列中图像所对应显示区域获取得到,此情况下第一图像序列包括至少两帧图像,以通过对第一图像序列中各图像的目标物识别结果来判断第一图像序列是否与预设的背诵开启动作相适配,以及根据第一图像序列中的图像确定文档显示装置中显示区域对应的文本内容,进而确定待背诵的文本内容范围。
140、根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。
在本实施例中,如果背诵比对信息包括文本比对内容,则根据背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果,包括:对用户语音信息进行语音识别生成用户背诵的文本内容;将用户背诵的文本内容与文本比对内容进行匹配,根据匹配结果生成背诵检测结果。
如果背诵比对信息包括语音比对信息,则根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果,包括:将用户语音信息与语音比对信息进行匹配,根据匹配结果生成背诵检测结果。
其中,背诵检测结果可包括用户背诵所遗漏、增多和/或发音错误的内容,该内容可以以文本形式进行表示,也可以以语音信息的形式进行表示。
本实施例提出的技术方案,通过识别文档显示装置中显示区域外部的图像来开启背诵检测,通过获取用户语音信息,根据背诵比对信息对用户语音信息进行识别分析来实现对用户背诵的检测,从而能够帮助用户能够及时发现背诵过程存在的问题,提高用户的背诵效率。
实施例二
图2是本发明实施例二提供的一种检测用户背诵的方法的流程示意图。本实施例在实施例一的基础上,对获取用户语音信息的步骤做进一步优化。参见图2,该检测用户背诵的方法具体包括如下步骤:
210、获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;
220、对第一图像序列进行图像识别,以判断第一图像序列是否与预设的背诵开启动作相适配;
230、在判断第一图像序列与预设的背诵开启动作相适配的情况下,并向语音采集装置发送采集开启指令,以指示语音采集装置实时采集用户语音信息;
240、获取文档显示装置中显示区域外部的至少一帧图像,作为第二图像序列;
250、对第二图像序列进行识别,以判断第二图像序列是否与预设的背诵停止动作相适配;
260、在判断第二图像序列与预设的背诵停止动作相适配的情况下,向语音采集装置发送采集停止指令,获取语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息;
270、根据第一图像序列所对应显示区域获取背诵比对信息;
280、根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。
在本实施例中,获取第二图像序列的过程与获取第二图像序列的过程类似,都是通过获取文档显示装置中显示区域外部的至少一帧图像得到,具体细节可参见实施例一,这里不再赘述。
在本实施例中,可根据预先存储的模板特征信息对第一图像序列或者第二图像序列中的图像进行目标物识别,根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作或者背诵停止操作相适配。具体的,在第一图像序列与第二图像序列均为至少两帧图像的情况下,判断第一图像序列是否与预设的背诵开启动作相适配的过程可包括:在识别出第一图像序列中存在目标物的情况下,将存在目标物的图像与相邻帧图像进行比对;当比对结果满足设定条件时,判断第一图像序列与预设的背诵开启动作相适配。
相应的,判断第二图像序列是否与预设的背诵停止动作相适配的过程可包括:在识别出第二图像序列中不存在目标物的情况下,将未存在目标物的图像与相邻帧图像进行比对;当比对结果满足设定条件时,判断第二图像序列与预设的背诵停止动作相适配。在第一图像序列与第二图像序列均为至少单帧图像的情况下,根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配,可包括:在识别出第一图像序列所对应的单帧图像存在目标物的情况下,判断第一图像序列与预设的背诵开启动作相适配。
相应的,判断第二图像序列是否与预设的背诵停止动作相适配的过程可包括:在识别出第二图像序列所对应的单帧图像未存在目标物的情况下,判断第二图像序列与预设的背诵停止动作相适配。
需要说明的是,上述技术方案仅仅是关于检测用户背诵的方法的一个具体的实例,本实施例对获取用户语音信息的步骤230-260与获取背诵比对信息的步骤270这两者之间的执行顺序不做限定,步骤270在判断第一图像序列与背诵开启动作相适配的情况下,也可先于步骤230-260执行。
本实施例提出的技术方案,首先在识别出背诵开启动作时开启语音采集装置实时采集用户语音信息,在识别出背诵停止动作时停止采集用户语音信息;之后通过将采集的用户语音信息与背诵比对内容进行匹配来实现对用户背诵的检测。本实例技术方案的有益技术效果在于:一方面能够帮助用户能够及时发现背诵过程存在的问题,提高用户的背诵效率;另一方面避免了采用获取固定时间长度的用户语音信息这一技术手段所可能带来的用户语音信息获取不完整而降低背诵检测准确度的弊端,以及用户语音信息本身时长较短但设定的采集时间长度太大所引起的耗电量多的问题。
在上述任意实施例的基础上,在根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果之后,还包括:根据背诵检测结果生成显示信息和/或语音提示信息;按照显示信息和/或语音提示信息进行背诵检测提示。例如,在第一图像序列中图像所对应的文本内容的显示界面中,将该显示界面中用户背诵所遗漏、增多和/或发音错误的文本内容进行标记显示;如果接收到作用在该显示界面上的、对应于用户背诵发音错误的内容的发音操作指令,则获取对应于用户背诵发音错误的内容的语音比对信息,根据该语音比对信息进行发音。
实施例三
图3是本发明实施例三提供的一种检测用户背诵的装置的结构示意图。参见图3,该装置的具体结构如下:
图像获取单元310,用于获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;
背诵判断单元320,用于对第一图像序列进行图像识别,以判断第一图像序列是否与预设的背诵开启动作相适配;
信息获取单元330,用于在背诵判断单元320判断第一图像序列与预设的背诵开启动作相适配的情况下,获取用户语音信息,并根据第一图像序列所对应显示区域获取背诵比对信息;
背诵检测单元340,用于根据信息获取单元330所获取的背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。
进一步的,图像获取单元310,具体用于控制图像采集装置每隔固定时间对文档显示装置中显示区域的外部捕捉一次图像,得到预设时间长度上或预设捕捉次数下的第一图像序列。
进一步的,背诵判断单元320,包括目标物识别子单元321和判断子单元322,其中:
目标物识别子单元321,用于根据预先存储的模板特征信息对第一图像序列中的每帧图像进行目标物识别;
判断子单元322,用于根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配。
进一步的,第一图像序列为至少两帧图像;
判断子单元322,具体用于:在识别出存在目标物的情况下,将存在目标物的图像与相邻帧图像进行比对;当比对结果满足设定条件时,判断第一图像序列与预设的背诵开启动作相适配;
信息获取单元330,具体用于:识别第一图像序列中图像在所述显示区域所对应的文本内容;获取比对结果满足设定条件时目标物在对应图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
或者,第一图像序列为单帧图像;
判断子单元322,具体用于:在识别出所述单帧图像存在目标物的情况下,判断所述第一图像序列与预设的背诵开启动作相适配;
信息获取单元330,具体用于:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容;获取目标物在所述单帧图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。进一步的,背诵比对信息包括文本比对内容,则背诵检测单元340,具体用于:
对用户语音信息进行语音识别生成用户背诵的文本内容;
将用户背诵的文本内容与文本比对内容进行匹配,根据匹配结果生成背诵检测结果;和/或
背诵比对信息包括语音比对信息,则背诵检测单元340,具体用于:
将用户语音信息与语音比对信息进行匹配,根据匹配结果生成背诵检测结果。
进一步的,信息获取单元330,具体用于:
向语音采集装置发送采集开启指令,以指示语音采集装置实时采集用户语音信息;
获取文档显示装置中显示区域外部的至少一帧图像,作为第二图像序列;
对第二图像序列进行识别,以判断第二图像序列是否与预设的背诵停止动作相适配;
在判断第二图像序列与预设的背诵停止动作相适配的情况下,向语音采集装置发送采集停止指令,获取语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息。
在以上技术方案的基础上,还包括检测结果提示单元350,用于在背诵检测单元340根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果之后,根据背诵检测结果生成显示信息和/或语音提示信息;按照显示信息和/或语音提示信息进行背诵检测提示。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种检测用户背诵的方法,其特征在于,包括:
获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;
对所述第一图像序列进行图像识别,以判断所述第一图像序列是否与预设的背诵开启动作相适配;
在判断所述第一图像序列与预设的背诵开启动作相适配的情况下,获取用户语音信息,并根据所述第一图像序列所对应显示区域获取背诵比对信息;
根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
2.根据权利要求1所述的检测用户背诵的方法,其特征在于,获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列,包括:
控制图像采集装置每隔固定时间对文档显示装置中显示区域的外部捕捉一次图像,得到预设时间长度上或预设捕捉次数下的第一图像序列。
3.根据权利要求1所述的检测用户背诵的方法,其特征在于,对所述第一图像序列进行图像识别,以判断所述第一图像序列是否与预设的背诵开启动作相适配,包括:
根据预先存储的模板特征信息对所述第一图像序列中的每帧图像进行目标物识别;
根据目标物识别结果判断所述第一图像序列是否与预设的背诵开启动作相适配。
4.根据权利要求3所述的检测用户背诵的方法,其特征在于,所述第一图像序列为至少两帧图像;
根据目标物识别结果判断所述第一图像序列是否与背诵开启动作相适配,包括:在识别出存在目标物的情况下,将存在目标物的图像与相邻帧图像进行比对;当比对结果满足设定条件时,判断所述第一图像序列与预设的背诵开启动作相适配;
根据所述第一图像序列所对应显示区域获取背诵比对信息,包括:识别所述第一图像序列中图像在所述显示区域所对应的文本内容;获取比对结果满足设定条件时目标物在对应图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
5.根据权利要求3所述的检测用户背诵的方法,其特征在于,所述第一图像序列为单帧图像;
根据目标物识别结果判断所述第一图像序列是否与背诵开启动作相适配,包括:在识别出所述单帧图像存在目标物的情况下,判断所述第一图像序列与预设的背诵开启动作相适配;
根据所述第一图像序列所对应显示区域获取背诵比对信息,包括:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容;获取目标物在所述单帧图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
6.根据权利要求1所述的检测用户背诵的方法,其特征在于,所述背诵比对信息包括文本比对内容,则根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果,包括:
对所述用户语音信息进行语音识别生成用户背诵的文本内容;
将所述用户背诵的文本内容与所述文本比对内容进行匹配,根据匹配结果生成背诵检测结果;和/或
所述背诵比对信息包括语音比对信息,则根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果,包括:
将所述用户语音信息与所述语音比对信息进行匹配,根据匹配结果生成背诵检测结果。
7.根据权利要求1所述的检测用户背诵的方法,其特征在于,获取用户语音信息,包括:
向语音采集装置发送采集开启指令,以指示所述语音采集装置实时采集用户语音信息;
获取文档显示装置中显示区域外部的至少一帧图像,作为第二图像序列;
对所述第二图像序列进行识别,以判断所述第二图像序列是否与预设的背诵停止动作相适配;
在判断所述第二图像序列与预设的背诵停止动作相适配的情况下,向语音采集装置发送采集停止指令,获取所述语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息。
8.根据权利要求1-7中任一项所述的检测用户背诵的方法,其特征在于,在根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果之后,还包括:根据所述背诵检测结果生成显示信息和/或语音提示信息;按照所述显示信息和/或语音提示信息进行背诵检测提示。
9.一种检测用户背诵的装置,其特征在于,包括:
图像获取单元,用于获取文档显示装置中显示区域外部的至少一帧图像,作为第一图像序列;
背诵判断单元,用于对所述第一图像序列进行图像识别,以判断所述第一图像序列是否与预设的背诵开启动作相适配;
信息获取单元,用于在判断所述第一图像序列与预设的背诵开启动作相适配的情况下,获取用户语音信息,并根据所述第一图像序列所对应显示区域获取背诵比对信息;
背诵检测单元,用于根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
10.根据权利要求9所述的检测用户背诵的装置,其特征在于,所述图像获取单元,具体用于:控制图像采集装置每隔固定时间对文档显示装置中显示区域的外部捕捉一次图像,得到预设时间长度上或预设捕捉次数下的第一图像序列。
11.根据权利要求9所述的检测用户背诵的装置,其特征在于,所述背诵判断单元包括目标物识别子单元和判断子单元;
所述目标物识别子单元,用于根据预先存储的模板特征信息对所述第一图像序列中的每帧图像进行目标物识别;
所述判断子单元,用于根据目标物识别结果判断所述第一图像序列是否与预设的背诵开启动作相适配。
12.根据权利要求11所述的检测用户背诵的装置,其特征在于,所述第一图像序列为至少两帧图像;
所述判断子单元,具体用于:在识别出存在目标物的情况下,将存在目标物的图像与相邻帧图像进行比对;当比对结果满足设定条件时,判断所述第一图像序列与预设的背诵开启动作相适配;
所述信息获取单元,具体用于:识别所述第一图像序列中图像在所述显示区域所对应的文本内容;获取比对结果满足设定条件时目标物在对应图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
13.根据权利要求11所述的检测用户背诵的装置,其特征在于,所述第一图像序列为单帧图像;
所述判断子单元,具体用于:在识别出所述单帧图像存在目标物的情况下,判断所述第一图像序列与预设的背诵开启动作相适配;
所述信息获取单元,具体用于:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容;获取目标物在所述单帧图像中的轮廓区域,根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围;从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
14.根据权利要求9所述的检测用户背诵的装置,其特征在于,所述背诵比对信息包括文本比对内容,则所述背诵检测单元,具体用于:
对所述用户语音信息进行语音识别生成用户背诵的文本内容;
将所述用户背诵的文本内容与所述文本比对内容进行匹配,根据匹配结果生成背诵检测结果;和/或
所述背诵比对信息包括语音比对信息,则所述背诵检测单元,具体用于:
将所述用户语音信息与所述语音比对信息进行匹配,根据匹配结果生成背诵检测结果。
15.根据权利要求9所述的检测用户背诵的装置,其特征在于,所述信息获取单元,具体用于:
向语音采集装置发送采集开启指令,以指示所述语音采集装置实时采集用户语音信息;
获取文档显示装置中显示区域外部的至少两帧图像,作为第二图像序列;
对所述第二图像序列进行识别,以判断所述第二图像序列是否与预设的背诵停止动作相适配;
在判断所述第二图像序列与预设的背诵停止动作相适配的情况下,向语音采集装置发送采集停止指令,获取所述语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息。
16.根据权利要求9-15中任一项所述的检测用户背诵的装置,其特征在于,还包括检测结果提示单元,用于在所述背诵检测单元根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果之后,根据所述背诵检测结果生成显示信息和/或语音提示信息;按照所述显示信息和/或语音提示信息进行背诵检测提示。
CN201410073653.2A 2014-02-28 2014-02-28 一种检测用户背诵的方法及装置 Active CN103824481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410073653.2A CN103824481B (zh) 2014-02-28 2014-02-28 一种检测用户背诵的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410073653.2A CN103824481B (zh) 2014-02-28 2014-02-28 一种检测用户背诵的方法及装置

Publications (2)

Publication Number Publication Date
CN103824481A true CN103824481A (zh) 2014-05-28
CN103824481B CN103824481B (zh) 2016-05-25

Family

ID=50759514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410073653.2A Active CN103824481B (zh) 2014-02-28 2014-02-28 一种检测用户背诵的方法及装置

Country Status (1)

Country Link
CN (1) CN103824481B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123858A (zh) * 2014-07-30 2014-10-29 广东小天才科技有限公司 一种读背课文时检错纠错的方法及装置
CN105280042A (zh) * 2015-11-13 2016-01-27 河南科技学院 一种高校思想政治理论教学系统
CN105427696A (zh) * 2015-11-20 2016-03-23 江苏沁恒股份有限公司 一种对目标题目所作答案进行判别的方法
CN105426511A (zh) * 2015-11-30 2016-03-23 广东小天才科技有限公司 背诵辅助方法及装置
CN106205253A (zh) * 2016-09-25 2016-12-07 姚前 一种背诵方法、装置和平台
CN107633854A (zh) * 2017-09-29 2018-01-26 联想(北京)有限公司 一种语音数据的处理方法和电子设备
CN108108412A (zh) * 2017-12-12 2018-06-01 山东师范大学 基于ai开放平台的儿童认知学习交互系统及方法
CN108389440A (zh) * 2018-03-15 2018-08-10 广东小天才科技有限公司 一种基于麦克风的语音播放方法、装置及语音播放设备
CN108960066A (zh) * 2018-06-04 2018-12-07 珠海格力电器股份有限公司 一种进行动态面部表情识别的方法及装置
CN109448460A (zh) * 2018-12-17 2019-03-08 广东小天才科技有限公司 一种背诵检测方法及用户设备
CN109634422A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种基于眼动识别的背诵监控方法及学习设备
CN109637097A (zh) * 2018-12-12 2019-04-16 深圳市沃特沃德股份有限公司 学习状态监测方法、装置及智能设备
CN109658673A (zh) * 2018-12-12 2019-04-19 深圳市沃特沃德股份有限公司 学习状态监测方法、装置、可读存储介质及智能设备
CN109949812A (zh) * 2019-04-26 2019-06-28 百度在线网络技术(北京)有限公司 一种语音交互方法、装置、设备及存储介质
CN110010157A (zh) * 2019-03-27 2019-07-12 广东小天才科技有限公司 测试方法、装置、设备及存储介质
CN110223718A (zh) * 2019-06-18 2019-09-10 联想(北京)有限公司 一种数据处理方法、装置及存储介质
CN110708441A (zh) * 2018-07-25 2020-01-17 南阳理工学院 提词器
CN111176778A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 一种信息显示方法、装置、电子设备和存储介质
CN111383630A (zh) * 2020-03-04 2020-07-07 广州优谷信息技术有限公司 文本背诵测评方法、装置和存储介质
CN111375201A (zh) * 2020-02-24 2020-07-07 珠海格力电器股份有限公司 一种游戏控制器及其语音交互控制方法、装置和存储介质
CN111415541A (zh) * 2020-03-18 2020-07-14 广州优谷信息技术有限公司 作业背诵处理方法、系统和存储介质
CN111626038A (zh) * 2019-01-10 2020-09-04 北京字节跳动网络技术有限公司 背诵文本的提示方法、装置、设备及存储介质
CN111741162A (zh) * 2020-06-01 2020-10-02 广东小天才科技有限公司 背诵提示方法及电子设备、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070166678A1 (en) * 2006-01-17 2007-07-19 Eugene Browning Method and articles for providing education related to religious text
CN101593438A (zh) * 2009-06-05 2009-12-02 创而新(中国)科技有限公司 辅助背诵文档显示方法和系统
CN101937620A (zh) * 2010-08-04 2011-01-05 无敌科技(西安)有限公司 使用者接口的客制化系统及其方法
CN201886649U (zh) * 2010-12-23 2011-06-29 赵娟 一种课文背诵装置
CN201993924U (zh) * 2011-01-26 2011-09-28 深圳市高德讯科技有限公司 一种点读教材学习机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070166678A1 (en) * 2006-01-17 2007-07-19 Eugene Browning Method and articles for providing education related to religious text
CN101593438A (zh) * 2009-06-05 2009-12-02 创而新(中国)科技有限公司 辅助背诵文档显示方法和系统
CN101937620A (zh) * 2010-08-04 2011-01-05 无敌科技(西安)有限公司 使用者接口的客制化系统及其方法
CN201886649U (zh) * 2010-12-23 2011-06-29 赵娟 一种课文背诵装置
CN201993924U (zh) * 2011-01-26 2011-09-28 深圳市高德讯科技有限公司 一种点读教材学习机

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123858A (zh) * 2014-07-30 2014-10-29 广东小天才科技有限公司 一种读背课文时检错纠错的方法及装置
CN105280042A (zh) * 2015-11-13 2016-01-27 河南科技学院 一种高校思想政治理论教学系统
CN105427696A (zh) * 2015-11-20 2016-03-23 江苏沁恒股份有限公司 一种对目标题目所作答案进行判别的方法
CN105426511A (zh) * 2015-11-30 2016-03-23 广东小天才科技有限公司 背诵辅助方法及装置
CN106205253A (zh) * 2016-09-25 2016-12-07 姚前 一种背诵方法、装置和平台
CN107633854A (zh) * 2017-09-29 2018-01-26 联想(北京)有限公司 一种语音数据的处理方法和电子设备
CN108108412A (zh) * 2017-12-12 2018-06-01 山东师范大学 基于ai开放平台的儿童认知学习交互系统及方法
CN108389440A (zh) * 2018-03-15 2018-08-10 广东小天才科技有限公司 一种基于麦克风的语音播放方法、装置及语音播放设备
CN108960066A (zh) * 2018-06-04 2018-12-07 珠海格力电器股份有限公司 一种进行动态面部表情识别的方法及装置
CN108960066B (zh) * 2018-06-04 2021-02-12 珠海格力电器股份有限公司 一种进行动态面部表情识别的方法及装置
CN110708441A (zh) * 2018-07-25 2020-01-17 南阳理工学院 提词器
CN109658673A (zh) * 2018-12-12 2019-04-19 深圳市沃特沃德股份有限公司 学习状态监测方法、装置、可读存储介质及智能设备
CN109637097A (zh) * 2018-12-12 2019-04-16 深圳市沃特沃德股份有限公司 学习状态监测方法、装置及智能设备
CN109634422A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种基于眼动识别的背诵监控方法及学习设备
CN109634422B (zh) * 2018-12-17 2022-03-01 广东小天才科技有限公司 一种基于眼动识别的背诵监控方法及学习设备
CN109448460A (zh) * 2018-12-17 2019-03-08 广东小天才科技有限公司 一种背诵检测方法及用户设备
CN111626038A (zh) * 2019-01-10 2020-09-04 北京字节跳动网络技术有限公司 背诵文本的提示方法、装置、设备及存储介质
CN110010157A (zh) * 2019-03-27 2019-07-12 广东小天才科技有限公司 测试方法、装置、设备及存储介质
CN109949812A (zh) * 2019-04-26 2019-06-28 百度在线网络技术(北京)有限公司 一种语音交互方法、装置、设备及存储介质
CN110223718A (zh) * 2019-06-18 2019-09-10 联想(北京)有限公司 一种数据处理方法、装置及存储介质
CN111176778A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 一种信息显示方法、装置、电子设备和存储介质
CN111375201A (zh) * 2020-02-24 2020-07-07 珠海格力电器股份有限公司 一种游戏控制器及其语音交互控制方法、装置和存储介质
CN111383630A (zh) * 2020-03-04 2020-07-07 广州优谷信息技术有限公司 文本背诵测评方法、装置和存储介质
CN111415541A (zh) * 2020-03-18 2020-07-14 广州优谷信息技术有限公司 作业背诵处理方法、系统和存储介质
CN111741162A (zh) * 2020-06-01 2020-10-02 广东小天才科技有限公司 背诵提示方法及电子设备、计算机可读存储介质
CN111741162B (zh) * 2020-06-01 2021-08-20 广东小天才科技有限公司 背诵提示方法及电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN103824481B (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN103824481A (zh) 一种检测用户背诵的方法及装置
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN103765440B (zh) 使用背景信息的移动装置上的光学字符辨识
US20160042228A1 (en) Systems and methods for recognition and translation of gestures
CN104395856B (zh) 用于辨识示意动作的计算机实施方法及系统
CN104808794B (zh) 一种唇语输入方法和系统
US20140304665A1 (en) Customized gesture interpretation
US9269009B1 (en) Using a front-facing camera to improve OCR with a rear-facing camera
US20210224752A1 (en) Work support system and work support method
CN106502382B (zh) 用于智能机器人的主动交互方法和系统
CN102841676A (zh) 网页浏览控制系统及方法
Raheja et al. Android based portable hand sign recognition system
Saxena et al. Sign language recognition using principal component analysis
CN109359029A (zh) 一种自动化非侵入式的安卓应用无障碍支持检测方法
US20170068512A1 (en) Electronic apparatus and information processing method thereof
CN103336579A (zh) 穿戴式设备的输入方法和穿戴式设备
US11521424B2 (en) Electronic device and control method therefor
JP6855737B2 (ja) 情報処理装置、評価システムおよびプログラム
CN113822187A (zh) 手语翻译、客服、通信方法、设备和可读介质
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
Lee et al. Object Detection System for the Blind with Voice Command and Guidance
CN106897665B (zh) 应用于智能机器人的物体识别方法及系统
Jamdal et al. On design and implementation of a sign-to-speech/text system
Baig et al. A method to control home appliances based on writing commands over the air
CN114333056A (zh) 一种手势控制的方法、系统、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant