CN111079484B - 一种书写内容的识别方法及电子设备 - Google Patents
一种书写内容的识别方法及电子设备 Download PDFInfo
- Publication number
- CN111079484B CN111079484B CN201910409632.6A CN201910409632A CN111079484B CN 111079484 B CN111079484 B CN 111079484B CN 201910409632 A CN201910409632 A CN 201910409632A CN 111079484 B CN111079484 B CN 111079484B
- Authority
- CN
- China
- Prior art keywords
- writing
- target image
- dictation
- user
- notes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000000694 effects Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 3
- 235000013305 food Nutrition 0.000 description 16
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000012015 optical character recognition Methods 0.000 description 8
- 238000010411 cooking Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 235000017848 Rubus fruticosus Nutrition 0.000 description 1
- 244000078534 Vaccinium myrtillus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000021029 blackberry Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例涉及教育技术领域,公开了一种书写内容的识别方法及电子设备,该方法包括:当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像;当检测到听写结束指令时,控制拍摄模组拍摄第二书写页面以获得第二目标图像,其中,第二书写页面是用户根据电子设备报读的听写内容在第一书写页面进行书写后的书写页面;根据第一目标图像和第二目标图像,确定第二目标图像中的有效书写区域;从有效书写区域中识别出书写内容。实施本发明实施例,能够提高书写内容的识别率,从而提高听写检测效率。
Description
技术领域
本发明涉及教育技术领域,尤其涉及一种书写内容的识别方法及电子设备。
背景技术
听写是学生检测学习成果的重要方式之一,目前,市面上推出了许多具有听写功能的电子设备(如家教机),这些电子设备可以拍摄用户根据听写内容进行书写的书写页面,并从书写页面中识别出用户的书写内容。然而,在实践中发现,由于书写页面中存在与本次听写无关的信息,比如历史听写记录、书写页面的印刷文字等,导致电子设备无法针对性地对本次听写相关的书写内容进行识别,降低了书写内容的识别率,从而降低了听写检测效率。
发明内容
本发明实施例公开了一种书写内容的识别方法及电子设备,能够提高书写内容的识别率,从而提高听写检测效率。
本发明实施例第一方面公开一种书写内容的识别方法,包括:
当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像;
当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像;所述第二书写页面是用户根据电子设备报读的听写内容在所述第一书写页面进行书写后的书写页面;
根据所述第一目标图像和所述第二目标图像,确定所述第二目标图像中的有效书写区域;
从所述有效书写区域中识别出书写内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述电子设备立于桌面上,所述第一书写页面水平放置在所述桌面的指定区域,在所述当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之后,以及所述当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,所述方法还包括:
获取所述用户的眼睛与所述指定区域之间的垂直距离;
判断所述垂直距离是否小于预设距离;
若是,输出第一提示信息;所述第一提示信息用于提示所述用户所述眼睛距离所述指定区域过近。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之前,所述方法还包括:
当所述第一书写页面被放置于所述桌面上的指定区域时,检测所述第一书写页面的顶部边缘与所述电子设备接触所述桌面的底部边缘之间的夹角度数是否小于预设度数;
若小于,确定检测到听写开始指令;
以及,在所述当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,所述方法还包括:
当所述电子设备报读的听写内容报读完毕时,检测所述用户的书写动作是否停止;
若是,确定检测到听写结束指令。
作为一种可选的实施方式,在本发明实施例第一方面中,所述根据所述第一目标图像和所述第二目标图像,确定所述第二目标图像中的有效书写区域,包括:
识别所述第一目标图像以获得所述第一图像特征;
识别所述第二目标图像以获得所述第二图像特征;
比较所述第一图像特征与所述第二图像特征,获得所述第一目标图像与所述第二目标图像之间的区别特征;
将所述区别特征指示的所述第二目标图像中的区域确定为所述第二目标图像中的有效书写区域。
作为一种可选的实施方式,在本发明实施例第一方面中,所述听写内容为标准音频对应的若干个标准音符,在所述从所述有效书写区域中识别出书写内容之后,所述方法还包括:
输出所述标准音频;
根据所述若干个标准音符的数量,对所述书写内容进行分割,获得相同数量的若干个书写音符;
输出与所述若干个书写音符对应的目标音频,并在所述电子设备的显示屏上显示所述若干个书写音符;
输出第二提示信息;所述第二提示信息用于提示所述用户从所述若干个书写音符中选出与所述若干个标准音符不同的错误音符;
检测所述用户在所述显示屏上的点击位置;
判断所述点击位置对应的书写音符是否为所述错误音符;
若是,输出与所述错误音符对应的标准音符相匹配的音效。
本发明实施例第二方面公开一种电子设备,包括:
第一控制单元,用于当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像;
第二控制单元,用于当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像;所述第二书写页面是用户根据电子设备报读的听写内容在所述第一书写页面进行书写后的书写页面;
第一确定单元,用于根据所述第一目标图像和所述第二目标图像,确定所述第二目标图像中的有效书写区域;
识别单元,用于从所述有效书写区域中识别出书写内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备立于桌面上,所述第一书写页面水平放置在所述桌面的指定区域,所述电子设备还包括:
获取单元,用于在所述第一控制单元当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之后,以及所述第二控制单元当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,获取所述用户的眼睛与所述指定区域之间的垂直距离;
第一判断单元,用于判断所述垂直距离是否小于预设距离;
第一输出单元,用于当所述第一判断单元判断结果为是时,输出第一提示信息;所述第一提示信息用于提示所述用户所述眼睛距离所述指定区域过近。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
第一检测单元,用于在所述第一控制单元当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之前,当所述第一书写页面被放置于所述桌面上的指定区域时,检测所述第一书写页面的顶部边缘与所述电子设备接触所述桌面的底部边缘之间的夹角度数是否小于预设度数;
第二确定单元,用于当所述第一检测单元检测结果为是时,确定检测到听写开始指令;
第二检测单元,用于在所述第二控制单元当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,当所述电子设备报读的听写内容报读完毕时,检测所述用户的书写动作是否停止;
所述第二确定单元,还用于当所述第二检测单元检测结果为是时,确定检测到听写结束指令。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一确定单元包括:
识别子单元,用于识别所述第一目标图像以获得所述第一图像特征;
所述识别子单元,还用于识别所述第二目标图像以获得所述第二图像特征;
比较子单元,用于比较所述第一图像特征与所述第二图像特征,获得所述第一目标图像与所述第二目标图像之间的区别特征;
确定子单元,用于将所述区别特征指示的所述第二目标图像中的区域确定为所述第二目标图像中的有效书写区域。
作为一种可选的实施方式,在本发明实施例第二方面中,所述听写内容为标准音频对应的若干个标准音符,所述电子设备还包括:
第二输出单元,用于在所述识别单元从所述有效书写区域中识别出书写内容之后,输出所述标准音频;
分割单元,用于根据所述若干个标准音符的数量,对所述书写内容进行分割,获得相同数量的若干个书写音符;
所述第二输出单元,还用于输出与所述若干个书写音符对应的目标音频,并在所述电子设备的显示屏上显示所述若干个书写音符;
第三输出单元,用于输出第二提示信息;所述第二提示信息用于提示所述用户从所述若干个书写音符中选出与所述若干个标准音符不同的错误音符;
第三检测单元,用于检测所述用户在所述显示屏上的点击位置;
第二判断单元,用于判断所述点击位置对应的书写音符是否为所述错误音符;
所述第二输出单元,还用于当所述第二判断单元判断出所述点击位置对应的书写音符为所述错误音符时,输出与所述错误音符对应的标准音符相匹配的音效。
本发明实施例第三方面公开一种电子设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种书写内容的识别方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种书写内容的识别方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像,当检测到听写结束指令时,控制拍摄模组拍摄第二书写页面以获的第二目标图像,其中,第二书写页面是用户根据电子设备报读的听写内容在第一书写页面进行书写后的书写页面,接着根据第一目标图像和第二目标图像,确定第二目标图像中的有效书写区域,然后从有效书写区域中识别出书写内容。可见,实施本发明实施例,通过比较拍摄的听写开始前和听写完成后的书写页面的图像,确定听写完成后的书写页面的图像中有效书写区域,使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种书写内容的识别方法的流程示意图;
图2是本发明实施例公开的另一种书写内容的识别方法的流程示意图;
图3是本发明实施例公开的一种电子设备的结构示意图;
图4是本发明实施例公开的另一种电子设备的结构示意图;
图5是本发明实施例公开的又一种电子设备的结构示意图;
图6是本发明实施例公开的一种电子设备听写过程的示例图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”和“第三”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本发明中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例公开了一种书写内容的识别方法及电子设备,能够提高书写内容的识别率,从而提高听写检测效率。本发明实施例公开的关联听写方法适用于家教机、学习机、学习平板或学习电脑等各类电子设备,本发明实施例不做限定。各类电子设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等,本发明实施例不做限定。以下结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明实施例公开的一种书写内容的识别方法的流程示意图。如图1所示,该方法可以包括以下步骤。
101、当检测到听写开始指令时,电子设备控制拍摄模组拍摄第一书写页面以获得第一目标图像。
本发明实施例中,电子设备可以为家教机、学习机、学习平板或学习电脑等各类设备,本发明实施例不作限定。其中,电子设备可以支持包括但不限于以下网络技术:全球移动通信系统(Global System for Mobile Communications,GSM)、通用分组无线业务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA),宽带码分多址(W-CDMA)、CDMA2000、IMT单载波(IMT Single Carrier)、增强型数据速率GSM演进(Enhanced Data Rates for GSM Evolution,EDGE)、长期演进技术(Long-Term Evolution,LTE)、高级长期演进技术、时分长期演进技术(Time-Division LTE,TD-LTE)、高性能无线电局域网(High Performance Radio Local Area Network,HiperLAN)、高性能无线电广域网(HiperWAN)、本地多点派发业务(Local Multipoint DistributionService,LMDS)、全微波存取全球互通(WiMAX)、紫蜂协议(ZigBee)、蓝牙、正交频分复用技术(OFDM)、大容量空分多路存取(HC-SDMA)、通用移动电信系统(UMTS)、通用移动电信系统时分双工(UMTS-TDD)、演进式高速分组接入(HSPA+)、时分同步码分多址(TD-SCDMA)、演进数据最优化(EV-DO)、数字增强无绳通信(DECT)及其他。
本发明实施例中,电子设备可以设置有拍摄模组,相应地电子设备可以通过其设置的拍摄模组拍摄第一书写页面以获得第一目标图像,其中,第一书写页面为用户开始听写时(即未进行书写时)的书写页面。
102、当检测到听写结束指令时,电子设备控制拍摄模组拍摄第二书写页面以获得第二目标图像。
本发明实施例中,第二书写页面是用户根据电子设备报读的听写内容在第一书写页面进行书写后的书写页面。在检测到听写结束指令时(即用户书写完毕后),电子设备可以控制拍摄模组对第二书写页面进行拍摄以获得第二目标图像。
103、电子设备根据第一目标图像和第二目标图像,确定第二目标图像中的有效书写区域。
本发明实施例中,电子设备可以对第一目标图像和第二目标图像进行对比,根据第二目标图像比第一目标图像多出的内容确定出第二目标图像中的有效书写区域,其中,有效书写区域中的内容即为用户进行书写的书写内容。
作为一种可选的实施方式,电子设备还可以执行以下步骤:在听写过程中,监测用户的书写轨迹,根据用户的书写轨迹在第二目标图像中确定出第二有效书写区域,结合有效书写区域和第二有效书写区域,确定第二目标图像中的目标有效书写区域;
以及,步骤104电子设备从有效书写区域中识别出书写内容,包括:
电子设备从目标有效书写区域中识别出书写内容。
实施该可选的实施方式,通过在听写过程中监测用户的书写轨迹并根据书写轨迹生成第二有效书写区域,再结合第二目标图像中的有效书写区域和第二有效书写区域,进一步确定第二目标图像中的目标有效书写区域,能够进一步提高书写内容的识别率。
作为一种可选的实施方式,上述结合有效书写区域和第二有效书写区域,确定第二目标图像中的目标有效书写区域的方式具体可以为:
在第二目标图像中虚拟出有效书写区域和第二有效书写区域;
确定虚拟出的有效书写区域和第二有效书写区域的并集;
根据并集确定第二目标图像中的目标有效书写区域。
实施该可选的实施方式,提供了一种结合有效书写区域和第二有效书写区域确定第二目标图像中的目标有效书写区域的方法,根据有效书写区域和第二有效书写区域的并集确定出第二目标图像中的目标有效书写区域,能够避免识别书写内容时出现书写内容的遗漏。
104、电子设备从有效书写区域中识别出书写内容。
本发明实施例中,电子设备可以利用光学字符识别(Optical CharacterRecognition,OCR)技术从有效书写区域中识别出书写内容。具体地,电子设备可以检测第二目标图像的有效书写区域中的字符,通过检测暗、亮的模式确定其形状,然后利用OCR技术将形状翻译成计算机可读的文字信息。
作为一种可选的实施方式,听写内容可以为标准食谱对应的标准食材,在步骤104电子设备从有效书写区域中识别出书写内容之后,还可以执行以下步骤:
根据标准食材的数量,对书写内容进行分割,获得相同数量的书写食材;
根据标准食材检测书写食材,获得检测分数;
根据标准食谱生成烹饪视频;
将烹饪视频输出给用户。
实施该可选的实施方式,当听写内容为标准食谱对应的标准食材时,先根据标准食材检测书写食材获得检测分数,然后将标准食谱对应的烹饪视频输出给用户,能够进一步提高听写效果。
可见,实施图1所描述的方法,通过在用户书写前拍摄第一书写页面获得第一目标图像,在用户书写后拍摄第二书写页面获得第二目标图像,并根据第一目标图像和第二目标图像确定第二目标图像中的有效书写区域,使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。
实施例二
请参阅图2,图2是本发明实施例公开的另一种书写内容的识别方法的流程示意图。如图2所示,该方法可以包括以下步骤。
201、当第一书写页面被放置于桌面上的指定区域时,电子设备检测第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数是否小于预设度数;如果是,执行步骤202-步骤205;反之,结束本流程。
本发明实施例中,电子设备立于桌面上,第一书写页面水平放置在桌面的指定区域。请一并参阅图6,图6是本发明实施例公开的一种电子设备听写过程的示例图。如图6所示,图中设备主体10设置有拍摄模组20,电子设备可以控制拍摄模组进行拍摄,在拍摄模组20正前方还可以设置有反光装置30(例如,反光镜、棱镜或凸透镜等),反光装置30用于改变拍摄模组20的光路,进而使得拍摄模组20可以拍摄到指定区域40。通过使设备主体10的拍摄模组20拍摄到指定区域40上放置的书写页面(如本发明实施例中的第一书写页面和第二书写页面)在反光装置30中的成像,而不用手动改变设备主体10的放置方式,能够简化拍摄过程,提高拍摄效率。其中,指定区域40上放置的书写页面具体可以为书本、练习册、绘本、试卷等,本发明实施例不做具体限定。
本发明实施例中,只有当用户在摆正书写页面的情况下进行书写,才是健康的学习姿势,因此,当第一书写页面被放置于桌面上的指定区域时,电子设备可以检测第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数是否小于预设度数,当小于预设度数时,表明第一书写页面已摆正,电子设备执行步骤202确定检测到听写开始指令。
202、电子设备确定检测到听写开始指令。
本发明实施例中,将第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数小于预设度数作为听写开始指令,有利于端正用户的学习姿态。
本发明实施例中,实施步骤201-步骤202,提供了一种检测听写开始指令的方法,当第一书写页面被放置于桌面上的指定区域,以及第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数小于预设度数时,确定检测到听写开始指令,能够端正用户的学习姿态,使用户保持健康的学习姿态进行听写。
203、当检测到听写开始指令时,电子设备控制拍摄模组拍摄第一书写页面以获得第一目标图像。
204、电子设备获取用户的眼睛与指定区域之间的垂直距离。
作为一种可选的实施方式,步骤204电子设备获取用户的眼睛与指定区域之间的垂直距离的方式具体可以为:
控制拍摄模组对用户进行拍摄以获得用户图像;
从用户图像中识别出用户的眼睛对应的第一位置以及指定区域的中心对应的第二位置;
根据第一位置和第二位置,确定用户图像中用户的眼睛与指定区域之间的虚拟距离;
根据用户图像和真实环境的对应关系,确定虚拟距离对应的真实环境中用户的眼睛与指定区域之间的垂直距离。
实施该可选的实施方式,根据拍摄的用户图像识别出用户图像中用户的眼睛与指定区域之间的虚拟距离,再根据虚拟距离确定出真实环境中用户的眼睛与指定区域之间的垂直距离,能够提高垂直距离的精确度。
205、电子设备判断垂直距离是否小于预设距离;如果是,执行步骤206-步骤207;如果否,执行步骤207。
本发明实施例中,当垂直距离小于预设距离时,表明用户的眼睛距离指定区域过近,容易对用户的视力造成影响,因此,为了保护用户的视力,电子设备可以执行步骤206电子设备输出第一提示信息提示用户眼睛距离指定区域过近。
206、电子设备输出第一提示信息,其中,第一提示信息用于提示用户眼睛距离指定区域过近。
本发明实施例中,第一提示信息可以为语音信息,也可以为文字信息,本发明实施例不作限定。
当第一提示信息为语音信息时,因为电子设备正在报读听写内容,为了避免影响听写,作为一种可选的实施方式,步骤206电子设备输出第一提示信息包括:
暂停报读听写内容,并在当前听写内容对应的报读进度处进行标记;
输出第一提示信息;
以及,在电子设备输出第一提示信息之后,还可以执行以下步骤:
当检测到垂直距离大于或等于预设距离时,从标记的报读进度处继续报读听写内容。
实施该可选的实施方式,在输出第一提示信息之前暂停报读听写内容,以及在输出第一提示信息之后,若检测到用户的眼睛与指定区域之间的垂直距离大于或等于预设距离,继续报读听写内容,既能及时提示用户眼睛距离指定区域过近,又能避免影响听写。
本发明实施例中,实施步骤204-步骤206,当用户眼睛与桌面上的指定区域之间的垂直距离小于预设距离时,及时提醒用户,能够保护用户视力。
207、当电子设备报读的听写内容报读完毕时,电子设备检测用户的书写动作是否停止;如果是,执行步骤208-步骤217;反之,继续执行步骤207。
本发明实施例中,当电子设备报读的听写内容报读完毕后,用户书写最后一个听写内容,当检测到用户的书写动作停止时,即用户书写完最后一个听写内容时,表明本次听写已完成,电子设备执行步骤208确定检测到听写结束指令。
作为一种可选的实施方式,书写动作包括笔尖的运动速度,电子设备检测用户的书写动作是否停止,包括:
检测预设时长内笔尖的运动速度是否保持为零;
若是,确定用户的书写动作停止;
若否,确定用户的书写动作未停止。
实施该可选的实施方式,提供了一种检测用户的书写动作是否停止的方法,通过检测预设时长内笔尖的运动速度是否保持为零来确定用户的书写动作是否停止,能够提高检测精度。
208、电子设备确定检测到听写结束指令。
本发明实施例中,可以理解的是,如果仅将听写内容报读完毕作为听写结束指令,用户可能仍在书写最后一个听写内容,此时书写内容并不完整,因此,在本发明实施例中,将听写内容报读完毕之后的用户的书写动作停止作为听写结束指令,能够保证用户已完成本次听写,保证书写内容的完整。
本发明实施例中,实施步骤207-步骤208,提供了一种检测听写结束指令的方法,当电子设备报读的听写内容报读完毕,以及用户的书写动作停止时,确定检测到听写结束指令,提高了听写结束指令检测的准确性。
209、当检测到听写结束指令时,电子设备控制拍摄模组拍摄第二书写页面以获得第二目标图像。
本发明实施例中,第二书写页面是用户根据电子设备报读的听写内容在第一书写页面进行书写后的书写页面。
210、电子设备根据第一目标图像和第二目标图像,确定第二目标图像中的有效书写区域。
作为一种可选的实施方式,步骤210电子设备根据第一目标图像和第二目标图像,确定第二目标图像中的有效书写区域的方式具体可以为:
识别第一目标图像以获得第一图像特征;
识别第二目标图像以获得第二图像特征;
比较第一图像特征与第二图像特征,获得第一目标图像与第二目标图像之间的区别特征;
将区别特征指示的第二目标图像中的区域确定为第二目标图像中的有效书写区域。
本发明实施例中,图像特征为可以为颜色特征,也可以为形状特征,本发明实施例不作限定。为了方便理解,本发明实施例以颜色特征为例进行描述,由于书写页面上的内容与书写页面的背景之间存在颜色差异,因此,电子设备可以识别第一目标图像以获得第一图像特征,即获得第一书写页面上的文字颜色特征代表的内容,以及识别第二目标图像以获得第二图像特征,及获得第二书写页面上文字颜色特征代表的内容,然后将第一书写页面上的文字颜色特征代表的内容和第二书写页面上文字颜色特征代表的内容进行比较,就可以获得第一目标图像与第二目标图像之间的区别特征,即第二书写页面比第一书写页面多出的文字颜色特征代表的内容,并将该多出的文字颜色特征代表的内容所在第二目标图像中的区域确定为第二目标图像中的有效书写区域。
实施该可选的实施方式,提供了一种有效书写区域的确定方法,通过比较识别出的第一目标图像的第一图像特征和第二目标图像的第二图像特征,获得两者的区别特征,并将第二目标图像中区别特征指示的区域确定为有效书写区域,使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。
211、电子设备从有效书写区域中识别出书写内容。
212、电子设备输出标准音频。
本发明实施例中,听写内容可以为标准音频对应的若干个标准音符,电子设备通过报读若干个标准音符供用户进行听写练习。
本发明实施例中,电子设备可以内置有扬声器模块,相应地电子设备可以通过其内置的扬声器模块输出标准音频和目标音频给用户。
本发明实施例中,在听写完成后,电子设备先输出标准音频给用户,然后再输出书写内容中的书写音符对应的目标音频,并在电子设备的屏幕上显示书写音符,接着输出第二提示信息提示用户从若干个书写音符中选出与若干个标准音符不同的错误音符,用户通过点击选取,当检测到用户点击位置对应的书写音符为错误音符时,再将与错误音符对应的标准音符相匹配的音效输出给用户。通过先让用户听一遍标准音频和目标音频,使得用户了解标准音频和目标音频之间的差别,然后再让用户主动选出自己听写错误的书写音符,能够进一步提高听写效果。
举例来说,假设听写内容中的标准音符为“do、re、mi、fa”,书写内容中的书写音符为“do、re、mi、la”,其中,错误音符为“la”,当用户点击“la”时,电子设备输出与“la”相匹配的音效。
213、电子设备根据若干个标准音符的数量,对书写内容进行分割,获得相同数量的若干个书写音符。
本发明实施例中,电子设备可以根据标准音符的数量对书写内容进行分割,获得若干个书写音符,使得听写内容中的标准音符与书写内容中的书写音符一一对应,避免在检测时将不对应的音符混淆,降低检测时的出错率。
214、电子设备输出与若干个书写音符对应的目标音频,并在电子设备的显示屏上显示若干个书写音符。
215、电子设备输出第二提示信息,其中,第二提示信息用于提示用户从若干个书写音符中选出与若干个标准音符不同的错误音符。
216、电子设备检测用户在显示屏上的点击位置。
217、电子设备判断点击位置对应的书写音符是否为错误音符;如果是,执行步骤218;反之,结束本流程。
218、电子设备输出与错误音符对应的标准音符相匹配的音效。
本发明实施例中,实施步骤212-步骤218,通过先输出标准音频,然后在输出根据用户的书写内容分割出的若干个书写音符对应的目标音频并同时在显示屏上显示若干个书写音符,当用户听完标准音频和目标音频的对比后,可以在显示屏上选出书写音符中与标准音符不同的错误音符,当用户选中错误音符时,输出与错误音符对应的标准音符相匹配的音效,可见,听写完后用户根据标准音频和目标音频的对比,主动选出错误音符,能够进一步提高听写效果。
可见,与实施图1所描述的方法相比,实施图2所描述的方法,当第一书写页面被放置于桌面上的指定区域,以及第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数小于预设度数时,确定检测到听写开始指令,能够端正用户的学习姿态,使用户保持健康的学习姿态进行听写。此外,当电子设备报读的听写内容报读完毕,以及用户的书写动作停止时,确定检测到听写结束指令,提高了听写结束指令检测的准确性。此外,当用户眼睛与桌面上的指定区域之间的垂直距离小于预设距离时,及时提醒用户,能够保护用户视力。此外,提供了一种有效书写区域的确定方法,能够使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。此外,听写完后用户根据标准音频和目标音频的对比,主动选出错误音符,能够进一步提高听写效果。
实施例三
请参阅图3,图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示,该电子设备可以包括:
第一控制单元301,用于当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像。
第二控制单元302,用于当检测到听写结束指令时,控制拍摄模组拍摄第二书写页面以获得第二目标图像。
本发明实施例中,电子设备可以设置有拍摄模组,相应地第一控制单元301可以通过拍摄模组拍摄第一书写页面以获得第一目标图像,以及第二控制单元302可以通过拍摄模组拍摄第二书写页面以获得第二目标图像,其中,第一书写页面为用户开始听写时(即未进行书写时)的书写页面,第二书写页面是用户根据电子设备报读的听写内容在第一书写页面进行书写后的书写页面。
第一确定单元303,用于根据第一目标图像和第二目标图像,确定第二目标图像中的有效书写区域。
识别单元304,用于从有效书写区域中识别出书写内容。
本发明实施例中,识别单元304可以利用光学字符识别(Optical CharacterRecognition,OCR)技术从有效书写区域中识别出书写内容。具体地,识别单元304可以检测第二目标图像的有效书写区域中的字符,通过检测暗、亮的模式确定其形状,然后利用OCR技术将形状翻译成计算机可读的文字信息。
作为一种可选的实施方式,第一确定单元303还可以执行以下步骤:在听写过程中,监测用户的书写轨迹,根据用户的书写轨迹在第二目标图像中确定出第二有效书写区域,结合有效书写区域和第二有效书写区域,确定第二目标图像中的目标有效书写区域;
以及,识别单元304从有效书写区域中识别出书写内容的方式具体为:
识别单元304从目标有效书写区域中识别出书写内容。
实施该可选的实施方式,通过在听写过程中监测用户的书写轨迹并根据书写轨迹生成第二有效书写区域,再结合第二目标图像中的有效书写区域和第二有效书写区域,进一步确定第二目标图像中的目标有效书写区域,能够进一步提高书写内容的识别率。
作为一种可选的实施方式,第一确定单元303结合有效书写区域和第二有效书写区域,确定第二目标图像中的目标有效书写区域的方式具体可以为:
在第二目标图像中虚拟出有效书写区域和第二有效书写区域;
确定虚拟出的有效书写区域和第二有效书写区域的并集;
根据并集确定第二目标图像中的目标有效书写区域。
实施该可选的实施方式,提供了一种结合有效书写区域和第二有效书写区域确定第二目标图像中的目标有效书写区域的方法,根据有效书写区域和第二有效书写区域的并集确定出第二目标图像中的目标有效书写区域,能够避免识别书写内容时出现书写内容的遗漏。
作为一种可选的实施方式,听写内容可以为标准食谱对应的标准食材,在识别单元304从有效书写区域中识别出书写内容之后,还可以执行以下步骤:
根据标准食材的数量,对书写内容进行分割,获得相同数量的书写食材;
根据标准食材检测书写食材,获得检测分数;
根据标准食谱生成烹饪视频;
将烹饪视频输出给用户。
实施该可选的实施方式,当听写内容为标准食谱对应的标准食材时,先根据标准食材检测书写食材获得检测分数,然后将标准食谱对应的烹饪视频输出给用户,能够进一步提高听写效果。
可见,实施图3所描述的电子设备,通过在用户书写前拍摄第一书写页面获得第一目标图像,在用户书写后拍摄第二书写页面获得第二目标图像,并根据第一目标图像和第二目标图像确定第二目标图像中的有效书写区域,使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。
实施例四
请参阅图4,图4是本发明实施例公开的另一种电子设备的结构示意图。其中,图4所示的电子设备是由图3所示的电子设备进一步优化得到的。与图3所示的电子设备相比较,图4所示的电子设备还可以包括:
获取单元305,用于在第一控制单元301当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之后,以及第二控制单元302当检测到听写结束指令时,控制拍摄模组拍摄第二书写页面以获得第二目标图像之前,获取用户的眼睛与指定区域之间的垂直距离。
作为一种可选的实施方式,获取单元305获取用户的眼睛与指定区域之间的垂直距离的方式具体可以为:
控制拍摄模组对用户进行拍摄以获得用户图像;
从用户图像中识别出用户的眼睛对应的第一位置以及指定区域的中心对应的第二位置;
根据第一位置和第二位置,确定用户图像中用户的眼睛与指定区域之间的虚拟距离;
根据用户图像和真实环境的对应关系,确定虚拟距离对应的真实环境中用户的眼睛与指定区域之间的垂直距离。
实施该可选的实施方式,根据拍摄的用户图像识别出用户图像中用户的眼睛与指定区域之间的虚拟距离,再根据虚拟距离确定出真实环境中用户的眼睛与指定区域之间的垂直距离,能够提高垂直距离的精确度。
第一判断单元306,用于判断垂直距离是否小于预设距离。
第一输出单元307,用于当第一判断单元306判断结果为是时,输出第一提示信息,其中,第一提示信息用于提示用户眼睛距离指定区域过近。
本发明实施例中,第一提示信息可以为语音信息,也可以为文字信息,本发明实施例不作限定。
当第一提示信息为语音信息时,因为电子设备正在报读听写内容,为了避免影响听写,作为一种可选的实施方式,第一输出单元307输出第一提示信息包括:
暂停报读听写内容,并在当前听写内容对应的报读进度处进行标记;
输出第一提示信息;
以及,在第一输出单元307输出第一提示信息之后,还可以执行以下步骤:
当检测到垂直距离大于或等于预设距离时,从标记的报读进度处继续报读听写内容。
实施该可选的实施方式,在输出第一提示信息之前暂停报读听写内容,以及在输出第一提示信息之后,若检测到用户的眼睛与指定区域之间的垂直距离大于或等于预设距离,继续报读听写内容,既能及时提示用户眼睛距离指定区域过近,又能避免影响听写。
第一检测单元308,用于在第一控制单元301当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之前,当第一书写页面被放置于桌面上的指定区域时,检测第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数是否小于预设度数。
第二确定单元309,用于当第一检测单元308检测结果为是时,确定检测到听写开始指令。
本发明实施例中,将第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数小于预设度数作为听写开始指令,有利于端正用户的学习姿态。
第二检测单元310,用于在第二控制单元302当检测到听写结束指令时,控制拍摄模组拍摄第二书写页面以获得第二目标图像之前,当电子设备报读的听写内容报读完毕时,检测用户的书写动作是否停止。
作为一种可选的实施方式,书写动作包括笔尖的运动速度,第二检测单元310检测用户的书写动作是否停止,包括:
检测预设时长内笔尖的运动速度是否保持为零;
若是,确定用户的书写动作停止;
若否,确定用户的书写动作未停止。
实施该可选的实施方式,提供了一种检测用户的书写动作是否停止的方法,通过检测预设时长内笔尖的运动速度是否保持为零来确定用户的书写动作是否停止,能够提高检测精度。
第二确定单元309,还用于当第二检测单元310检测结果为是时,确定检测到听写结束指令。
第二输出单元311,用于在识别单元304从有效书写区域中识别出书写内容之后,输出标准音频。
本发明实施例中,听写内容可以为标准音频对应的若干个标准音符,电子设备通过报读若干个标准音符供用户进行听写练习。
分割单元312,用于根据若干个标准音符的数量,对书写内容进行分割,获得相同数量的若干个书写音符。
本发明实施例中,分割单元312可以根据标准音符的数量对书写内容进行分割,获得若干个书写音符,使得听写内容中的标准音符与书写内容中的书写音符一一对应,避免在检测时将不对应的音符混淆,降低检测时的出错率。
第二输出单元311,还用于输出与若干个书写音符对应的目标音频,并在电子设备的显示屏上显示若干个书写音符。
本发明实施例中,电子设备可以内置有扬声器模块,相应地第二输出单元311可以通过扬声器模块输出标准音频和目标音频给用户。
第三输出单元313,用于输出第二提示信息,其中,第二提示信息用于提示用户从若干个书写音符中选出与若干个标准音符不同的错误音符。
第三检测单元314,用于检测用户在显示屏上的点击位置。
第二判断单元315,用于判断点击位置对应的书写音符是否为错误音符。
第二输出单元311,还用于当第二判断单元315判断出点击位置对应的书写音符为错误音符时,输出与错误音符对应的标准音符相匹配的音效。
作为一种可选的实施方式,第一确定单元303包括:
识别子单元3031,用于识别第一目标图像以获得第一图像特征;
识别子单元3031,还用于识别第二目标图像以获得第二图像特征;
比较子单元3032,用于比较第一图像特征与第二图像特征,获得第一目标图像与第二目标图像之间的区别特征;
确定子单元3033,用于将区别特征指示的第二目标图像中的区域确定为第二目标图像中的有效书写区域。
本发明实施例中,图像特征为可以为颜色特征,也可以为形状特征,本发明实施例不作限定。为了方便理解,本发明实施例以颜色特征为例进行描述,由于书写页面上的内容与书写页面的背景之间存在颜色差异,因此,电子设备可以识别第一目标图像以获得第一图像特征,即获得第一书写页面上的文字颜色特征代表的内容,以及识别第二目标图像以获得第二图像特征,及获得第二书写页面上文字颜色特征代表的内容,然后将第一书写页面上的文字颜色特征代表的内容和第二书写页面上文字颜色特征代表的内容进行比较,就可以获得第一目标图像与第二目标图像之间的区别特征,即第二书写页面比第一书写页面多出的文字颜色特征代表的内容,并将该多出的文字颜色特征代表的内容所在第二目标图像中的区域确定为第二目标图像中的有效书写区域。
实施该可选的实施方式,提供了一种有效书写区域的确定方法,通过比较识别出的第一目标图像的第一图像特征和第二目标图像的第二图像特征,获得两者的区别特征,并将第二目标图像中区别特征指示的区域确定为有效书写区域,使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。
可见,与实施图3所描述的电子设备相比,实施图4所描述的电子设备,当第一书写页面被放置于桌面上的指定区域,以及第一书写页面的顶部边缘与电子设备接触桌面的底部边缘之间的夹角度数小于预设度数时,确定检测到听写开始指令,提高了听写开始指令检测的准确性。此外,当电子设备报读的听写内容报读完毕,以及用户的书写动作停止时,确定检测到听写结束指令,提高了听写结束指令检测的准确性。此外,当用户眼睛与桌面上的指定区域之间的垂直距离小于预设距离时,及时提醒用户,能够保护用户视力。此外,提供了一种有效书写区域的确定方法,能够使得电子设备针对性地对有效书写区域中的书写内容进行识别,能够提高书写内容的识别率,从而提高听写检测效率。此外,听写完后用户根据标准音频和目标音频的对比,主动选出错误音符,能够进一步提高听写效果。
实施例五
请参阅图5,图5是本发明实施例公开的另一种电子设备的结构示意图。如图5所示,该电子设备可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
其中,处理器502调用存储器501中存储的可执行程序代码,执行图1~图2任意一种书写内容的识别方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图2任意一种书写内容的识别方法。
本发明实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行图1~图2任意一种书写内容的识别方法。
本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
在本发明所提供的实施例中,应理解,“与A对应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
在本发明的各种实施例中,应理解,“A和/或B”的含义指的是A和B各自单独存在或者A和B同时存在的情况均包括在内。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种书写内容的识别方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种书写内容的识别方法,其特征在于,包括:
当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像;
当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像;所述第二书写页面是用户根据电子设备报读的听写内容在所述第一书写页面进行书写后的书写页面;
识别所述第一目标图像以获得第一图像特征;
识别所述第二目标图像以获得第二图像特征;
比较所述第一图像特征与所述第二图像特征,获得所述第一目标图像与所述第二目标图像之间的区别特征;
将所述区别特征指示的所述第二目标图像中的区域确定为所述第二目标图像中的有效书写区域;
从所述有效书写区域中识别出书写内容;
所述听写内容为标准音频对应的若干个标准音符,输出所述标准音频;
根据所述若干个标准音符的数量,对所述书写内容进行分割,获得相同数量的若干个书写音符;
输出与所述若干个书写音符对应的目标音频,并在所述电子设备的显示屏上显示所述若干个书写音符;
输出第二提示信息;所述第二提示信息用于提示所述用户从所述若干个书写音符中选出与所述若干个标准音符不同的错误音符;
检测所述用户在所述显示屏上的点击位置;
判断所述点击位置对应的书写音符是否为所述错误音符;
若是,输出与所述错误音符对应的标准音符相匹配的音效。
2.根据权利要求1所述的方法,其特征在于,所述电子设备立于桌面上,所述第一书写页面水平放置在所述桌面的指定区域,在所述当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之后,以及所述当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,所述方法还包括:
获取所述用户的眼睛与所述指定区域之间的垂直距离;
判断所述垂直距离是否小于预设距离;
若是,输出第一提示信息;所述第一提示信息用于提示所述用户所述眼睛距离所述指定区域过近。
3.根据权利要求2所述的方法,其特征在于,在所述当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之前,所述方法还包括:
当所述第一书写页面被放置于所述桌面上的指定区域时,检测所述第一书写页面的顶部边缘与所述电子设备接触所述桌面的底部边缘之间的夹角度数是否小于预设度数;
若小于,确定检测到听写开始指令;
以及,在所述当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,所述方法还包括:
当所述电子设备报读的听写内容报读完毕时,检测所述用户的书写动作是否停止;
若是,确定检测到听写结束指令。
4.一种电子设备,其特征在于,包括:
第一控制单元,用于当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像;
第二控制单元,用于当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像;所述第二书写页面是用户根据电子设备报读的听写内容在所述第一书写页面进行书写后的书写页面;
识别子单元,用于识别所述第一目标图像以获得第一图像特征;
所述识别子单元,还用于识别所述第二目标图像以获得第二图像特征;
比较子单元,用于比较所述第一图像特征与所述第二图像特征,获得所述第一目标图像与所述第二目标图像之间的区别特征;
确定子单元,用于将所述区别特征指示的所述第二目标图像中的区域确定为所述第二目标图像中的有效书写区域;
识别单元,用于从所述有效书写区域中识别出书写内容;
所述听写内容为标准音频对应的若干个标准音符,第二输出单元,用于输出所述标准音频;
分割单元,用于根据所述若干个标准音符的数量,对所述书写内容进行分割,获得相同数量的若干个书写音符;
第二输出单元,用于输出与所述若干个书写音符对应的目标音频,并在所述电子设备的显示屏上显示所述若干个书写音符;
第三输出单元,用于输出第二提示信息;所述第二提示信息用于提示所述用户从所述若干个书写音符中选出与所述若干个标准音符不同的错误音符;
第三检测单元,用于检测所述用户在所述显示屏上的点击位置;
第二判断单元,用于判断所述点击位置对应的书写音符是否为所述错误音符;
所述第二输出单元,还用于当所述第二判断单元判断出所述点击位置对应的书写音符为所述错误音符时,输出与所述错误音符对应的标准音符相匹配的音效。
5.根据权利要求4所述的电子设备,其特征在于,所述电子设备立于桌面上,所述第一书写页面水平放置在所述桌面的指定区域,所述电子设备还包括:
获取单元,用于在所述第一控制单元当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之后,以及所述第二控制单元当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,获取所述用户的眼睛与所述指定区域之间的垂直距离;
第一判断单元,用于判断所述垂直距离是否小于预设距离;
第一输出单元,用于当所述第一判断单元判断结果为是时,输出第一提示信息;所述第一提示信息用于提示所述用户所述眼睛距离所述指定区域过近。
6.根据权利要求5所述的电子设备,其特征在于,所述电子设备还包括:
第一检测单元,用于在所述第一控制单元当检测到听写开始指令时,控制拍摄模组拍摄第一书写页面以获得第一目标图像之前,当所述第一书写页面被放置于所述桌面上的指定区域时,检测所述第一书写页面的顶部边缘与所述电子设备接触所述桌面的底部边缘之间的夹角度数是否小于预设度数;
第二确定单元,用于当所述第一检测单元检测结果为是时,确定检测到听写开始指令;
第二检测单元,用于在所述第二控制单元当检测到听写结束指令时,控制所述拍摄模组拍摄第二书写页面以获得第二目标图像之前,当所述电子设备报读的听写内容报读完毕时,检测所述用户的书写动作是否停止;
所述第二确定单元,还用于当所述第二检测单元检测结果为是时,确定检测到听写结束指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910409632.6A CN111079484B (zh) | 2019-05-17 | 2019-05-17 | 一种书写内容的识别方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910409632.6A CN111079484B (zh) | 2019-05-17 | 2019-05-17 | 一种书写内容的识别方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079484A CN111079484A (zh) | 2020-04-28 |
CN111079484B true CN111079484B (zh) | 2023-11-24 |
Family
ID=70310293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910409632.6A Active CN111079484B (zh) | 2019-05-17 | 2019-05-17 | 一种书写内容的识别方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079484B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293970A (ja) * | 2005-03-15 | 2006-10-26 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム |
CN103400512A (zh) * | 2013-07-16 | 2013-11-20 | 步步高教育电子有限公司 | 一种学习辅助装置及其运行方法 |
CN207676513U (zh) * | 2017-09-28 | 2018-07-31 | 龙凤 | 一种趣味英语教学的听写装置 |
CN109599108A (zh) * | 2018-12-17 | 2019-04-09 | 广东小天才科技有限公司 | 一种听写辅助方法及听写辅助装置 |
CN109635772A (zh) * | 2018-12-20 | 2019-04-16 | 广东小天才科技有限公司 | 一种听写内容的批改方法及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4254775B2 (ja) * | 2005-10-24 | 2009-04-15 | コニカミノルタビジネステクノロジーズ株式会社 | 書込画像取得装置、書込情報抽出方法、およびコンピュータプログラム |
-
2019
- 2019-05-17 CN CN201910409632.6A patent/CN111079484B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293970A (ja) * | 2005-03-15 | 2006-10-26 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム |
CN103400512A (zh) * | 2013-07-16 | 2013-11-20 | 步步高教育电子有限公司 | 一种学习辅助装置及其运行方法 |
CN207676513U (zh) * | 2017-09-28 | 2018-07-31 | 龙凤 | 一种趣味英语教学的听写装置 |
CN109599108A (zh) * | 2018-12-17 | 2019-04-09 | 广东小天才科技有限公司 | 一种听写辅助方法及听写辅助装置 |
CN109635772A (zh) * | 2018-12-20 | 2019-04-16 | 广东小天才科技有限公司 | 一种听写内容的批改方法及电子设备 |
Non-Patent Citations (1)
Title |
---|
王维等.基于组合特征的手写英文字母识别方法.《计算机应用》.2018,第286-289页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111079484A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9734591B2 (en) | Image data processing method and electronic device supporting the same | |
CN109240582A (zh) | 一种点读控制方法及智能设备 | |
CN105975550B (zh) | 一种智能设备的题目搜索方法和装置 | |
CN111077996B (zh) | 一种基于点读的信息推荐方法及学习设备 | |
CN107704167A (zh) | 一种数据分享方法、装置及电子设备 | |
CN110991455B (zh) | 图像文本播报方法及其设备、电子电路和存储介质 | |
CN111079484B (zh) | 一种书写内容的识别方法及电子设备 | |
CN111078179A (zh) | 一种听写报读进度的控制方法及电子设备 | |
CN111142656B (zh) | 一种内容定位方法、电子设备及存储介质 | |
CN111090343B (zh) | 在点读场景下识别点读内容的方法及装置 | |
CN111079737B (zh) | 一种文字倾斜矫正方法及电子设备 | |
CN111079769B (zh) | 一种书写内容的识别方法及电子设备 | |
CN111077993B (zh) | 一种学习场景的切换方法、电子设备及存储介质 | |
CN111079501B (zh) | 一种文字识别方法及电子设备 | |
CN111027556B (zh) | 一种基于图像预处理的搜题方法及学习设备 | |
CN111091120B (zh) | 一种听写批改方法及电子设备 | |
CN111079503B (zh) | 一种文字识别方法及电子设备 | |
CN111159433B (zh) | 一种内容定位方法及电子设备 | |
CN110969161B (zh) | 图像处理方法、电路、视障辅助设备、电子设备和介质 | |
CN111432131B (zh) | 一种拍照框选的方法、装置、电子设备及存储介质 | |
CN111081104B (zh) | 一种基于课堂表现的听写内容选择方法及学习设备 | |
CN110276242B (zh) | 一种图像处理方法、装置及存储介质 | |
CN111553356A (zh) | 字符识别方法及装置、学习设备、计算机可读存储介质 | |
CN111753715A (zh) | 点读场景下试题拍摄的方法、装置、电子设备和存储介质 | |
CN111028558A (zh) | 一种听写检测方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |