CN111078082A - 一种基于图像识别的点读方法及电子设备 - Google Patents
一种基于图像识别的点读方法及电子设备 Download PDFInfo
- Publication number
- CN111078082A CN111078082A CN201910494075.2A CN201910494075A CN111078082A CN 111078082 A CN111078082 A CN 111078082A CN 201910494075 A CN201910494075 A CN 201910494075A CN 111078082 A CN111078082 A CN 111078082A
- Authority
- CN
- China
- Prior art keywords
- content
- learning
- read
- user
- reported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开一种基于图像识别的点读方法及电子设备，该方法包括：在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域，该干扰区域为学习页面中非印刷体内容所处的区域；若是，去除页面图像中的干扰区域，得到目标图像；当检测到用户在学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容；对待报读内容执行报读操作。通过实施本发明实施例，能够提升用户的点读体验感。
Description
技术领域
本发明涉及电子设备技术领域，具体涉及一种基于图像识别的点读方法及电子设备。
背景技术
学生利用家教设备对纸质书本面上不认识的字、词以及句进行点读时，家教设备往往需要对学生于纸质书本面的点击区域进行采集，得到书本图像，并基于该书本图像，实现对学生不认识的字、词以及句的识别以及报读。实践中发现，家教设备一般通过以图搜图的方式识别书本图像，但若采集到的书本图像中存在手写笔记或者涂鸦等干扰因素，家教设备通常很难从图库中确定该书本图像匹配的图像，致使对学生不认识的字、词以及句的识别效率较低，学生的点读体验感不佳。
发明内容
本发明实施例公开一种基于图像识别的点读方法及电子设备，能够提升用户的点读体验感。
本发明实施例第一方面公开一种基于图像识别的点读方法，包括：
在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域；其中，所述干扰区域为所述学习页面中非印刷体内容所处的区域；
若是，去除所述页面图像中的所述干扰区域，得到目标图像；
当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容；
对所述待报读内容执行报读操作。
作为一种可选的实施方式，在本发明实施例第一方面中，所述当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容，包括：
当检测到用户在所述学习页面上的点击操作时，获取所述点击操作的坐标信息；
获取所述目标图像对应的学习内容信息；其中，所述学习内容信息至少包括所述目标图像对应的学习内容和所述学习内容的坐标信息；
依据所述点击操作的坐标信息，从所述学习内容信息中确定所述点击操作对应的待报读内容。
作为一种可选的实施方式，在本发明实施例第一方面中，所述当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容之后，所述方法还包括：
获取用户信息，并获取所述用户信息匹配的知识图谱；
依据所述知识图谱，获取所述待报读内容的关联学习内容；
所述对所述待报读内容执行报读操作之后，所述方法还包括：
按照预设方式，输出所述关联学习内容。
作为一种可选的实施方式，在本发明实施例第一方面中，所述按照预设方式，输出所述关联学习内容之后，所述方法还包括：
判断所述待报读内容是否存在于知识巩固库中；
当所述待报读内容未存在于所述知识巩固库时，将所述待报读内容和所述关联学习内容关联存储至所述知识巩固库。
作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述待报读内容和所述关联学习内容关联存储至所述知识巩固库之后，所述方法还包括：
获取用户的历史学习记录；
依据所述历史学习记录，确定所述待报读内容的巩固时段；
在到达所述巩固时段的起始时间点时，输出提示信息。
本发明实施例第二方面公开一种电子设备，包括：
判断单元，用于在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域；其中，所述干扰区域为所述学习页面中非印刷体内容所处的区域；
处理单元，用于当所述判断单元判断出所述页面图像中存在所述干扰区域时，去除所述页面图像中的所述干扰区域，得到目标图像；
确定单元，用于当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容；
输出单元，用于对所述待报读内容执行报读操作。
作为一种可选的实施方式，在本发明实施例第二方面中，所述确定单元用于当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容的方式具体为：
所述确定单元，用于当检测到用户在所述学习页面上的点击操作时，获取所述点击操作的坐标信息；以及获取所述目标图像对应的学习内容信息；其中，所述学习内容信息至少包括所述目标图像对应的学习内容和所述学习内容的坐标信息；以及依据所述点击操作的坐标信息，从所述学习内容信息中确定所述点击操作对应的待报读内容。
作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：
获取单元，用于所述确定单元当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容之后，获取用户信息，并获取所述用户信息匹配的知识图谱，以及依据所述知识图谱，获取所述待报读内容的关联学习内容；
所述输出单元，还用于对所述待报读内容执行报读操作之后，按照预设方式，输出所述关联学习内容。
作为一种可选的实施方式，在本发明实施例第二方面中，所述判断单元，还用于所述输出单元按照预设方式，输出所述关联学习内容之后，判断所述待报读内容是否存在于知识巩固库中；
所述电子设备还包括：
收录单元，用于当所述待报读内容未存在于所述知识巩固库时，将所述待报读内容和所述关联学习内容关联存储至所述知识巩固库。
作为一种可选的实施方式，在本发明实施例第二方面中，所述获取单元，还用于获取用户的历史学习记录，以及依据所述历史学习记录，确定所述待报读内容的巩固时段；
所述电子设备还包括：
提示单元，用于在到达所述巩固时段的起始时间点时，输出提示信息。
本发明实施例第三方面公开一种电子设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面的任意一种方法的部分或全部步骤。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明第一方面的任意一种方法的部分或全部步骤。
本发明实施例第五面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布系统，所述应用发布系统用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域，该干扰区域为学习页面中非印刷体内容所处的区域；若是，去除页面图像中的干扰区域，得到目标图像；当检测到用户在学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容；对待报读内容执行报读操作。通过实施本发明实施例，依据去除干扰区域的目标图像，确定用户点击操作对应的待报读内容，可以提高待报读内容的识别效率，有利于提升用户的点读体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造率劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于图像识别的点读方法的流程示意图；
图2是本发明实施例公开的另一种基于图像识别的点读方法的流程示意图；
图3是本发明实施例公开的又一种基于图像识别的点读方法的流程示意图；
图4是本发明实施例公开的一种电子设备的结构示意图；
图5是本发明实施例公开的另一种电子设备的结构示意图；
图6是本发明实施例公开的又一种电子设备的结构示意图；
图7是本发明实施例公开的又一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种基于图像识别的点读方法及电子设备，能够提高对存在有干扰因素的图像的识别效率。本发明实施例中公开的基于图像识别的点读方法可以适用于智能手机、智能手表以及平板等各类电子设备上，本发明实施例不做限定。其中，各类电子设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等，本发明实施例不做限定。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于图像识别的点读方法的流程示意图。如图1所示的基于图像识别的点读方法具体可以包括以下步骤：
101、在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域，如果是，执行步骤102～步骤104；如果否，结束本流程。
在本发明实施例中，步骤101提及的学习页面可以为纸质页面，也可以为电子页面，本发明实施例不做限定，干扰区域可以为学习页面中非印刷体内容所处的区域，该非印刷体内容可以为用户的手写笔记或者涂鸦。其中，在步骤101的判断结果为否时，可以将上述页面图像作为目标图像，以基于目标图像识别待报读内容。
作为一种可选的实施方式，在本发明实施例中，若上述干扰区域的非印刷体内容为用户的手写笔记，当步骤101的判断结果为是时，在执行步骤102之前，还可以执行如下步骤：
检测是否收到用户输入的笔记收录指令；
当收到笔记收录指令时，识别上述干扰区域所包含的非印刷体内容，以得到笔记信息；
设置上述笔记信息的笔记标签；其中，该笔记标签至少可以包括学习页面标识；
将上述笔记信息和笔记标签关联存储至笔记库。
通过实施上述方法，可以实现用户笔记的自动整理，有利于提高用户学习效率。
进一步可选的，上述识别上述干扰区域所包含的非印刷体内容，以得到笔记信息，可以包括：
获取用户的身份信息；
在电子设备的预设生字库中查找用户的身份信息匹配的目标生字库；
依据目标生字库，识别上述干扰区域所包含的非印刷体内容，以得到笔记信息。
其中，在上述实施方式中，上述用户的身份信息可以为用户的脸部信息、指纹信息或者虹膜信息等，本发明实施例不做限定。上述预设生字库可以通过收录用户的历史手写字得到，通过实施上述方法，可以提高笔记内容的识别效率。
102、去除页面图像中的干扰区域，得到目标图像。
103、当检测到用户在学习页面上的点击操作时，依据目标图像，确定点击操作对应的待报读内容。
作为一种可选的实施方式，在本发明实施例中，上述当检测到用户在学习页面上的点击操作时，依据目标图像，确定点击操作对应的待报读内容，可以包括：
当检测到用户在学习页面上的点击操作时，获取该点击操作的坐标信息；
获取目标图像对应的学习内容信息；其中，该学习内容信息至少包括目标图像对应的学习内容和该学习内容的坐标信息；
依据上述点击操作的坐标信息，从学习内容信息中确定上述点击操作对应的待报读内容。
通过实施上述方式，可以基于学习内容信息，实现待报读内容的精准识别。
104、对待报读内容执行报读操作。
作为一种可选的实施方式，在本发明实施例中，电子设备还可以与专业音箱进行连接，在步骤103执行完毕之后，还可以执行如下步骤：
电子设备可以利用蓝牙模块或WIFI模块进行扫描，以检测蓝牙模块或WIFI模块的预设范围内是否存在到专业音箱设备；
若存在，向专业音箱设备发送携带有电子设备标识的第一请求信息，以使专业音箱设备响应该第一请求信息，与电子设备建立连接，并反馈指示成功连接的指示信息给电子设备；
电子设备在收到指示成功连接的指示信息时，将针对待报读内容的报读音频发送至与电子设备连接的专业音箱，以通过该专业音箱实现待报读内容报读。通过实施该方法，可以通过提高报读音频的输出质量，进一步提升用户的点读体验感。
进一步可选的，上述专业音箱设备还可以检测其所处区域的环境嘈杂度，以及依据该环境嘈杂度，确定待报读内容的报读音频的输出音量，以及依据该输出音量输出待报读内容的报读音频。通过实施该方法，基于专业音箱设备所处区域的环境嘈杂度，确定待报读内容的报读音频的输出音量，使得待报读内容报读操作能够适应当前环境。
通过实施上述方法，可以提高待报读内容的识别效率，有利于提升用户的点读体验感，还可以实现用户笔记的自动整理，有利于提高用户学习效率，还可以提高笔记内容的识别效率，还可以通过提高报读音频的输出质量，进一步提升用户的点读体验感。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于图像识别的点读方法的流程示意图。如图2所示的基于图像识别的点读方法具体可以包括以下步骤：
其中，步骤201～步骤203的详细描述，请参照实施例一中针对步骤101～步骤103的详细描述，本发明实施例不再赘述。
204、获取用户信息，并获取该用户信息匹配的知识图谱。
其中，在本发明实施例中，用户信息至少可以包括用户标识，上述获取该用户信息匹配的知识图谱可以包括：
从用户信息中获取用户标识；
依据用户标识，在知识图谱库中确定该用户信息匹配的知识图谱。
其中，知识图谱库中存储有若干用户标识和每一用户标识对应的知识图谱的存储路径，需要说明的是，每一用户标识具有唯一性，知识图谱库可以存储于云服务器端，可以保证知识图谱库的及时更新和优化，知识图谱库也可以存储于电子设备的本地存储空间，可以保证获取该用户信息匹配的知识图谱的效率。通过实施上述方法，基于用户标识，查找用户信息匹配的知识图谱，可以提高查找效率。
205、依据上述知识图谱，获取待报读内容的关联学习内容。
206、对待报读内容执行报读操作。
207、按照预设方式，输出待报读内容的关联学习内容。
在本发明实施例中，待报读内容的关联学习内容可以为用于解释待报读内容的文本信息、音频信息或者视频信息，通过执行步骤204～步骤207，可以基于知识图谱，输出待报读内容的关联学习内容给用户，有利于提高用户对待报读内容的学习效果。
通过实施上述方法，可以提高待报读内容的识别效率，有利于提升用户的点读体验感，还可以实现用户笔记的自动整理，有利于提高用户学习效率，还可以提高笔记内容的识别效率，还可以通过提高报读音频的输出质量，进一步提升用户的点读体验感，还可以提高与用户信息匹配的知识图谱的查找效率，还有利于提高用户对待报读内容的学习效果。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于图像识别的点读方法的流程示意图。如图3所示的基于图像识别的点读方法具体可以包括以下步骤：
其中，步骤301～步骤207的详细描述，请参照实施二中针对步骤201～步骤207的描述，本发明实施例不再赘述。
308、判断上述待报读内容是否存在于知识巩固库中，如果是，结束本流程；如果否，执行步骤309～步骤312。
309、将待报读内容和上述关联学习内容关联存储至知识巩固库。
310、获取用户的历史学习记录。
311、依据上述历史学习记录，确定待报读内容的巩固时段。
312、在到达巩固时段的起始时间点时，输出提示信息。
通过执行步骤308～步骤312，收录待报读内容至知识巩固库，并基于巩固时段对用户进行巩固练习提示，可以进一步提高用户对待报读内容的学习效果。
在本发明实施例中，电子设备可以绑定有可穿戴设备，若电子设备为家教设备，与电子设备绑定的可穿戴设备可以为电话手表，在到达巩固时段的起始时间点时，输出提示信息可以包括：
电子设备在到达巩固时段的起始时间点时，将提示信息发送至与电子设备绑定的可穿戴设备，以通过可穿戴设备输出提示信息。
进一步可选的，电子设备在到达巩固时段的起始时间点时，将提示信息发送至与电子设备绑定的可穿戴设备之后，还可以执行如下步骤：
检测是否收到可穿戴设备发送的用于获取待报读内容和上述关联学习内容的第二请求信息；
若收到第二请求信息，从知识巩固库中获取待报读内容和上述关联学习内容发送至可穿戴设备，以通过可穿戴设备输出待报读内容和上述关联学习内容。
由于家教设备的体积通常较大、便携性差，用户利用便于携带的可穿戴设备实现待报读内容的巩固，可以通过满足用户随时随地的巩固需求，提高报读内容的巩固效果。
通过实施上述方法，可以提高待报读内容的识别效率，有利于提升用户的点读体验感，还可以实现用户笔记的自动整理，有利于提高用户学习效率，还可以提高笔记内容的识别效率，还可以通过提高报读音频的输出质量，进一步提升用户的点读体验感，还可以提高与用户信息匹配的知识图谱的查找效率，还有利于提高用户对待报读内容的学习效果，还可以基于知识巩固库，实现待报读内容的及时巩固，进一步提高用户对待报读内容的学习效果，还可以通过满足用户随时随地的巩固需求，提高报读内容的巩固效果。
实施例四
请参阅图4，图4是本发明实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备可以包括：
判断单元401，用于在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域；其中，干扰区域为学习页面中非印刷体内容所处的区域。
在本发明实施例中，针对学习页面和干扰区域的详细介绍，请参照上述方法实施例中的描述，本发明实施例不再赘述。
作为一种可选的实施方式，在本发明实施例中，若上述干扰区域的非印刷体内容为用户的手写笔记，判断单元401，还可以用于在判断出页面图像中存在干扰区域时，检测是否收到用户输入的笔记收录指令；以及当收到笔记收录指令时，识别上述干扰区域所包含的非印刷体内容，以得到笔记信息；以及设置上述笔记信息的笔记标签；其中，该笔记标签至少可以包括学习页面标识；以及将上述笔记信息和笔记标签关联存储至笔记库。通过实施该方法，可以实现用户笔记的自动整理，有利于提高用户学习效率。
进一步可选的，判断单元401用于识别上述干扰区域所包含的非印刷体内容，以得到笔记信息的方式具体可以为：
判断单元401，用于获取用户的身份信息；以及在电子设备的预设生字库中查找用户的身份信息匹配的目标生字库；以及依据目标生字库，识别上述干扰区域所包含的非印刷体内容，以得到笔记信息。其中，在该实施方式中，上述用户的身份信息可以为用户的脸部信息、指纹信息或者虹膜信息等，本发明实施例不做限定。上述预设生字库可以通过收录用户的历史手写字得到，通过实施该方式，可以提高笔记内容的识别效率。
处理单元402，用于当判断单元401判断出页面图像中存在干扰区域时，去除该页面图像中的干扰区域，得到目标图像。
确定单元403，用于当检测到用户在上述学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容。
作为一种可选的实施方式，在本发明实施例中，确定单元403用于当检测到用户在学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容的方式具体可以为：
确定单元403，用于当检测到用户在学习页面上的点击操作时，获取该点击操作的坐标信息；以及获取目标图像对应的学习内容信息；其中，该学习内容信息至少包括目标图像对应的学习内容和该学习内容的坐标信息；以及依据点击操作的坐标信息，从学习内容信息中确定点击操作对应的待报读内容。通过实施该方式，可以基于学习内容信息，实现待报读内容的精准识别。
输出单元404，用于对待报读内容执行报读操作。
作为一种可选的实施方式，在本发明实施例中，电子设备还可以与专业音箱进行连接，输出单元404，还可以用于确定单元403当检测到用户在上述学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容之后，利用蓝牙模块或WIFI模块进行扫描，以检测蓝牙模块或WIFI模块的预设范围内是否存在到专业音箱设备；若存在，向专业音箱设备发送携带有电子设备标识的第一请求信息，以使专业音箱设备响应该第一请求信息，与电子设备建立连接，并反馈指示成功连接的指示信息给电子设备；以及在收到指示成功连接的指示信息时，将针对待报读内容的报读音频发送至与电子设备连接的专业音箱，以通过该专业音箱实现待报读内容报读。通过实施该方式，可以通过提高报读音频的输出质量，进一步提升用户的点读体验感。
进一步可选的，上述专业音箱设备还可以检测其所处区域的环境嘈杂度，以及依据该环境嘈杂度，确定待报读内容的报读音频的输出音量，以及依据该输出音量输出待报读内容的报读音频。通过实施该方法，基于专业音箱设备所处区域的环境嘈杂度，确定待报读内容的报读音频的输出音量，使得待报读内容报读操作能够适应当前环境。
通过实施上述电子设备，可以提高待报读内容的识别效率，有利于提升用户的点读体验感，还可以实现用户笔记的自动整理，有利于提高用户学习效率，还可以提高笔记内容的识别效率，还可以通过提高报读音频的输出质量，进一步提升用户的点读体验感。
实施例五
请参阅图5，图5是本发明实施例公开的另一种电子设备的结构示意图。图5所示的电子设备是由图4所示的电子设备优化得到的，如图5所示，该电子设备还可以包括：
获取单元405，用于确定单元403当检测到用户在学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容之后，获取用户信息，并获取该用户信息匹配的知识图谱，以及依据该知识图谱，获取待报读内容的关联学习内容。
需要说明的是，在本发明实施例中，上述确定单元403，还可以用于在检测到用户在学习页面上的点击操作时，依据目标图像，确定该点击操作对应的待报读内容之后，向上述获取单元405发送启动指令，以触发上述获取单元405执行上述的获取用户信息，并获取该用户信息匹配的知识图谱的操作。
其中，在本发明实施例中，用户信息至少可以包括用户标识，获取单元405用于获取该用户信息匹配的知识图谱的方式具体可以为：
获取单元405，用于从用户信息中获取用户标识；以及依据用户标识，在知识图谱库中确定该用户信息匹配的知识图谱。
其中，知识图谱库中存储有若干用户标识和每一用户标识对应的知识图谱的存储路径，需要说明的是，每一用户标识具有唯一性，知识图谱库可以存储于云服务器端，可以保证知识图谱库的及时更新和优化，知识图谱库也可以存储于电子设备的本地存储空间，可以保证获取该用户信息匹配的知识图谱的效率。通过实施上述方法，基于用户标识，查找用户信息匹配的知识图谱，可以提高查找效率。
上述输出单元404，还可以用于对待报读内容执行报读操作之后，按照预设方式，输出待报读内容的关联学习内容。
在本发明实施例中，关于待报读内容的关联学习内容的具体描述，请参照上述方法实施例，本发明实施例不再赘述。
通过实施上述电子设备，可以提高待报读内容的识别效率，有利于提升用户的点读体验感，还可以实现用户笔记的自动整理，有利于提高用户学习效率，还可以提高笔记内容的识别效率，还可以通过提高报读音频的输出质量，进一步提升用户的点读体验感，还可以提高与用户信息匹配的知识图谱的查找效率，还有利于提高用户对待报读内容的学习效果。
实施例六
请参阅图6，图6是本发明实施例公开的又一种电子设备的结构示意图。图6所示的电子设备是由图5所示的电子设备优化得到的，如图6所示的电子设备中的上述判断单元401，还用于上述输出单元404按照预设方式，输出待报读内容的关联学习内容之后，判断待报读内容是否存在于知识巩固库中；
图6所示的电子设备还可以包括：
收录单元406，用于当待报读内容未存在于知识巩固库时，将待报读内容和关联学习内容关联存储至该知识巩固库。
可选的，在本发明实施例中，上述获取单元405，还用于获取用户的历史学习记录，以及依据该历史学习记录，确定待报读内容的巩固时段。
图6所示的电子设备还可以包括：
提示单元407，用于在到达巩固时段的起始时间点时，输出提示信息。
在本发明实施例中，收录单元406收录待报读内容至知识巩固库，提示单元407可以基于巩固时段对用户进行巩固练习提示，可以进一步提高用户对待报读内容的学习效果。
在本发明实施例中，电子设备可以绑定有可穿戴设备，若电子设备为家教设备，与电子设备绑定的可穿戴设备可以为电话手表，提示单元407用于在到达巩固时段的起始时间点时，输出提示信息的方式具体可以为：
提示单元407，用于在到达巩固时段的起始时间点时，将提示信息发送至与电子设备绑定的可穿戴设备，以通过可穿戴设备输出提示信息。
进一步可选的，提示单元407，还可以用于在到达巩固时段的起始时间点时，将提示信息发送至与电子设备绑定的可穿戴设备之后，检测是否收到可穿戴设备发送的用于获取待报读内容和上述关联学习内容的第二请求信息；以及在收到该第二请求信息时，从知识巩固库中获取待报读内容和上述关联学习内容发送至可穿戴设备，以通过可穿戴设备输出待报读内容和上述关联学习内容。由于家教设备的体积通常较大、便携性差，通过实施该方式，用户利用便于携带的可穿戴设备实现待报读内容的巩固，可以通过满足用户随时随地的巩固需求，提高报读内容的巩固效果。
通过实施上述电子设备，可以提高待报读内容的识别效率，有利于提升用户的点读体验感，还可以实现用户笔记的自动整理，有利于提高用户学习效率，还可以提高笔记内容的识别效率，还可以通过提高报读音频的输出质量，进一步提升用户的点读体验感，还可以提高与用户信息匹配的知识图谱的查找效率，还有利于提高用户对待报读内容的学习效果，还可以基于知识巩固库，实现待报读内容的及时巩固，进一步提高用户对待报读内容的学习效果，还可以通过满足用户随时随地的巩固需求，提高报读内容的巩固效果。
请参阅图7，图7是本发明实施例公开的一种电子设备的结构示意图。如图7所示，该电子设备可以包括：
存储有可执行程序代码的存储器701；
与存储器701耦合的处理器702；
其中，处理器702调用存储器701中存储的可执行程序代码，执行图1～图3任意一种基于图像识别的点读方法。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图3任意一种基于图像识别的点读方法。
本发明实施例公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行图1～图3任意一种基于图像识别的点读方法。
本发明实施例公开一种应用发布系统，该应用发布系统用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行图1～图3任意一种基于图像识别的点读方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于图像识别的点读方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，且上述具体个例中步骤序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本文中字符“/”，一般表示前后关联对象是一种“或”的关系。在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。若上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于图像识别的点读方法，其特征在于，包括：
在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域；其中，所述干扰区域为所述学习页面中非印刷体内容所处的区域；
若是，去除所述页面图像中的所述干扰区域，得到目标图像；
当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容；
对所述待报读内容执行报读操作。
2.根据权利要求1所述的方法，其特征在于，所述当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容，包括：
当检测到用户在所述学习页面上的点击操作时，获取所述点击操作的坐标信息；
获取所述目标图像对应的学习内容信息；其中，所述学习内容信息至少包括所述目标图像对应的学习内容和所述学习内容的坐标信息；
依据所述点击操作的坐标信息，从所述学习内容信息中确定所述点击操作对应的待报读内容。
3.根据权利要求1所述的方法，其特征在于，所述当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容之后，所述方法还包括：
获取用户信息，并获取所述用户信息匹配的知识图谱；
依据所述知识图谱，获取所述待报读内容的关联学习内容；
所述对所述待报读内容执行报读操作之后，所述方法还包括：
按照预设方式，输出所述关联学习内容。
4.根据权利要求3所述的方法，其特征在于，所述按照预设方式，输出所述关联学习内容之后，所述方法还包括：
判断所述待报读内容是否存在于知识巩固库中；
当所述待报读内容未存在于所述知识巩固库时，将所述待报读内容和所述关联学习内容关联存储至所述知识巩固库。
5.根据权利要求4所述的方法，其特征在于，所述将所述待报读内容和所述关联学习内容关联存储至所述知识巩固库之后，所述方法还包括：
获取用户的历史学习记录；
依据所述历史学习记录，确定所述待报读内容的巩固时段；
在到达所述巩固时段的起始时间点时，输出提示信息。
6.一种电子设备，其特征在于，包括：
判断单元，用于在电子设备处于点读模式时，判断拍摄到的针对学习页面的页面图像中是否存在干扰区域；其中，所述干扰区域为所述学习页面中非印刷体内容所处的区域；
处理单元，用于当所述判断单元判断出所述页面图像中存在所述干扰区域时，去除所述页面图像中的所述干扰区域，得到目标图像；
确定单元，用于当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容；
输出单元，用于对所述待报读内容执行报读操作。
7.根据权利要求6所述的电子设备，其特征在于，所述确定单元用于当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容的方式具体为：
所述确定单元，用于当检测到用户在所述学习页面上的点击操作时，获取所述点击操作的坐标信息；以及获取所述目标图像对应的学习内容信息；其中，所述学习内容信息至少包括所述目标图像对应的学习内容和所述学习内容的坐标信息；以及依据所述点击操作的坐标信息，从所述学习内容信息中确定所述点击操作对应的待报读内容。
8.根据权利要求6所述的电子设备，其特征在于，所述电子设备还包括：
获取单元，用于所述确定单元当检测到用户在所述学习页面上的点击操作时，依据所述目标图像，确定所述点击操作对应的待报读内容之后，获取用户信息，并获取所述用户信息匹配的知识图谱，以及依据所述知识图谱，获取所述待报读内容的关联学习内容；
所述输出单元，还用于对所述待报读内容执行报读操作之后，按照预设方式，输出所述关联学习内容。
9.根据权利要求8所述的电子设备，其特征在于，所述判断单元，还用于所述输出单元按照预设方式，输出所述关联学习内容之后，判断所述待报读内容是否存在于知识巩固库中；
所述电子设备还包括：
收录单元，用于当所述待报读内容未存在于所述知识巩固库时，将所述待报读内容和所述关联学习内容关联存储至所述知识巩固库。
10.根据权利要求9所述的电子设备，其特征在于，所述获取单元，还用于获取用户的历史学习记录，以及依据所述历史学习记录，确定所述待报读内容的巩固时段；
所述电子设备还包括：
提示单元，用于在到达所述巩固时段的起始时间点时，输出提示信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910494075.2A CN111078082A (zh) | 2019-06-09 | 2019-06-09 | 一种基于图像识别的点读方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910494075.2A CN111078082A (zh) | 2019-06-09 | 2019-06-09 | 一种基于图像识别的点读方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111078082A true CN111078082A (zh) | 2020-04-28 |
Family
ID=70310052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910494075.2A Pending CN111078082A (zh) | 2019-06-09 | 2019-06-09 | 一种基于图像识别的点读方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078082A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639634A (zh) * | 2020-05-15 | 2020-09-08 | 广东小天才科技有限公司 | 一种ocr识别方法及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101237500A (zh) * | 2006-12-14 | 2008-08-06 | 三星电子株式会社 | 图像形成装置和控制该图像形成装置的方法 |
| CN202472687U (zh) * | 2011-11-04 | 2012-10-03 | 刘建生 | 多功能数码笔 |
| US20140132634A1 (en) * | 2011-07-21 | 2014-05-15 | Tencent Technology (Shenzhen) Company Limited | Method And Apparatus For Recognizing Target Object At Machine Side in Human-Machine Interaction |
| CN104157171A (zh) * | 2014-08-13 | 2014-11-19 | 三星电子（中国）研发中心 | 一种点读系统及其方法 |
| CN107729492A (zh) * | 2017-10-18 | 2018-02-23 | 广东小天才科技有限公司 | 一种习题的推送方法、系统及终端设备 |
| CN109063583A (zh) * | 2018-07-10 | 2018-12-21 | 广东小天才科技有限公司 | 一种基于点读操作的学习方法及电子设备 |
| CN109410675A (zh) * | 2018-12-12 | 2019-03-01 | 广东小天才科技有限公司 | 一种基于学生画像的练习题推荐方法及家教设备 |
| CN109582839A (zh) * | 2018-12-20 | 2019-04-05 | 广东小天才科技有限公司 | 一种写作辅助方法及写作辅助客户端 |
| CN109725732A (zh) * | 2019-01-23 | 2019-05-07 | 广东小天才科技有限公司 | 一种知识点的查询方法及家教设备 |
-
2019
- 2019-06-09 CN CN201910494075.2A patent/CN111078082A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101237500A (zh) * | 2006-12-14 | 2008-08-06 | 三星电子株式会社 | 图像形成装置和控制该图像形成装置的方法 |
| US20140132634A1 (en) * | 2011-07-21 | 2014-05-15 | Tencent Technology (Shenzhen) Company Limited | Method And Apparatus For Recognizing Target Object At Machine Side in Human-Machine Interaction |
| CN202472687U (zh) * | 2011-11-04 | 2012-10-03 | 刘建生 | 多功能数码笔 |
| CN104157171A (zh) * | 2014-08-13 | 2014-11-19 | 三星电子（中国）研发中心 | 一种点读系统及其方法 |
| CN107729492A (zh) * | 2017-10-18 | 2018-02-23 | 广东小天才科技有限公司 | 一种习题的推送方法、系统及终端设备 |
| CN109063583A (zh) * | 2018-07-10 | 2018-12-21 | 广东小天才科技有限公司 | 一种基于点读操作的学习方法及电子设备 |
| CN109410675A (zh) * | 2018-12-12 | 2019-03-01 | 广东小天才科技有限公司 | 一种基于学生画像的练习题推荐方法及家教设备 |
| CN109582839A (zh) * | 2018-12-20 | 2019-04-05 | 广东小天才科技有限公司 | 一种写作辅助方法及写作辅助客户端 |
| CN109725732A (zh) * | 2019-01-23 | 2019-05-07 | 广东小天才科技有限公司 | 一种知识点的查询方法及家教设备 |
Non-Patent Citations (1)
| Title |
|---|
| 刘霞: "《网络信息检索与利用》", 31 March 2013 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639634A (zh) * | 2020-05-15 | 2020-09-08 | 广东小天才科技有限公司 | 一种ocr识别方法及电子设备 |
| CN111639634B (zh) * | 2020-05-15 | 2023-11-24 | 广东小天才科技有限公司 | 一种ocr识别方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109346059B (zh) | 一种方言语音的识别方法及电子设备 | |
| CN107147618B (zh) | 一种用户注册方法、装置及电子设备 | |
| CN109446315B (zh) | 一种解题辅助方法及解题辅助客户端 | |
| CN109410664B (zh) | 一种发音纠正方法及电子设备 | |
| CN109165336B (zh) | 一种信息输出控制方法及家教设备 | |
| CN109766422A (zh) | 信息处理方法、装置及系统、存储介质、终端 | |
| CN111026949A (zh) | 一种基于电子设备的搜题方法及系统 | |
| CN111077996A (zh) | 一种基于点读的信息推荐方法及学习设备 | |
| CN107992872B (zh) | 一种对图片进行文本识别的方法及移动终端 | |
| CN111078082A (zh) | 一种基于图像识别的点读方法及电子设备 | |
| CN111079726B (zh) | 一种图像处理方法及电子设备 | |
| CN111639158B (zh) | 一种学习内容的显示方法及电子设备 | |
| CN109543048B (zh) | 一种笔记生成方法及终端设备 | |
| CN111081079A (zh) | 基于听写情况的听写控制方法及装置 | |
| CN111026839B (zh) | 一种听写字掌握程度的检测方法及电子设备 | |
| CN109783679B (zh) | 一种学习辅助方法及学习设备 | |
| CN111090383B (zh) | 一种指令识别方法及电子设备 | |
| CN111081227A (zh) | 一种听写内容的识别方法及电子设备 | |
| CN111653280A (zh) | 车牌信息处理方法和装置 | |
| CN111078992A (zh) | 一种听写内容生成方法及电子设备 | |
| CN111083383B (zh) | 一种听写检测方法及电子设备 | |
| CN111091035A (zh) | 一种科目识别方法及电子设备 | |
| CN111091531B (zh) | 一种点击识别方法及电子设备 | |
| CN111078100B (zh) | 一种点读方法及电子设备 | |
| CN111079727A (zh) | 一种点读控制方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |
|
| RJ01 | Rejection of invention patent application after publication |