CN111091034B - 一种基于多手指识别的搜题方法及家教设备 - Google Patents

一种基于多手指识别的搜题方法及家教设备 Download PDF

Info

Publication number
CN111091034B
CN111091034B CN201910366447.3A CN201910366447A CN111091034B CN 111091034 B CN111091034 B CN 111091034B CN 201910366447 A CN201910366447 A CN 201910366447A CN 111091034 B CN111091034 B CN 111091034B
Authority
CN
China
Prior art keywords
finger
user
fingers
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910366447.3A
Other languages
English (en)
Other versions
CN111091034A (zh
Inventor
杨昊民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910366447.3A priority Critical patent/CN111091034B/zh
Publication of CN111091034A publication Critical patent/CN111091034A/zh
Application granted granted Critical
Publication of CN111091034B publication Critical patent/CN111091034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例涉及电子设备技术领域,公开了一种基于多手指识别的搜题方法及家教设备,该方法包括:根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果;当检测到用户使用至少两根手指点击书本页面时,根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指;根据目标手指的坐标信息在书本页面中确定出目标搜索范围;查询与目标搜索范围中的内容相匹配的知识内容并输出。实施本发明实施例,能够提高用户使用家教设备搜题的效率。

Description

一种基于多手指识别的搜题方法及家教设备
技术领域
本发明涉及电子设备技术领域,具体涉及一种基于多手指识别的搜题方法及家教设备。
背景技术
随着家教设备技术的发展,家教设备的各项功能也越来越完善,其中包括以图搜题的功能,通过该以图搜题功能,用户只需要打开家教设备的拍摄装置拍摄到其想要搜索的对象的图像,家教设备就可以根据拍摄到的图像自动搜索与图像内容相匹配的知识点并输出供用户参考。
在实践中发现,目前的以图搜题功能搜索的是整张图像的内容,而用户在实际使用过程中,有时候并不想搜索其所拍摄到整张图像的内容,可能只想搜索图像中的部分内容的相关知识点。所以目前每次都搜索整张图像内容就会增加家教设备的搜索计算量,进而延长了搜索时长,从而不利于提高用户使用家教设备搜题的效率。
发明内容
本发明实施例公开了一种基于多手指识别的搜题方法及家教设备,能够提高用户使用家教设备搜题的效率。
本发明实施例第一方面公开一种基于多手指识别的搜题方法,包括:
根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果;
当检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指;
根据所述目标手指的坐标信息在所述书本页面中确定出目标搜索范围;
查询与所述目标搜索范围中的内容相匹配的知识内容并输出。
作为一种可选的实施方式,在本发明实施例第一方面中,,所述根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果,包括:
通过摄像装置拍摄用户的脸部图像信息,根据所述用户的脸部图像信息确定出用户的身份信息;
判断是否能够匹配到所述身份信息对应的历史点击记录;
若能够匹配到所述身份信息对应的历史点击记录,获取所述历史点击记录并根据所述历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
若不能够匹配到所述身份信息对应的历史点击记录,在家教设备的触控屏幕的随机位置输出预设的悬浮窗口,所述悬浮窗口至少包括提示用户点击关闭的提示信息;
通过所述摄像装置拍摄用户在所述触控屏幕中针对所述悬浮窗口的点击操作,以确定出所述用户点击所述悬浮窗口时使用的第一手指;
以及,所述当检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指,包括:
当检测到所述用户使用至少两根手指点击书本页面时,从所述至少两根手指中识别出与所述第一手指匹配的手指作为目标手指。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述检测到所述用户使用至少两根手指点击书本页面之后,所述方法还包括:
根据所述至少两根手指所指定的坐标信息在所述书本页面中确定出至少两个第一目标搜索范围;
判断所述至少两个第一目标搜索范围中的内容是否存在匹配关系;
若存在,根据所述匹配关系查询出相应的第一知识内容并输出;
若不存在,执行所述根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述检测到所述用户使用至少两根手指点击书本页面时,所述方法还包括:
通过摄像装置记录当前书本页面的第一页码,并通过摄像装置在预设时间内拍摄若干张书本页面图像;
判断所述第一页码与若干张所述书本页面图像中的第二页码是否相同;
若相同,执行所述根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指的步骤。
本发明实施例第二方面公开一种家教设备,包括:
排序单元,用于根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果;
第一确定单元,用于在检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指;
第二确定单元,用于根据所述目标手指的坐标信息在所述书本页面中确定出目标搜索范围;
输出单元,用于查询与所述目标搜索范围中的内容相匹配的知识内容并输出。
作为一种可选的实施方式,在本发明实施例第二方面中,所述排序单元包括:
拍摄子单元,用于通过摄像装置拍摄用户的脸部图像信息,根据所述用户的脸部图像信息确定出用户的身份信息;
判断子单元,用于判断是否能够匹配到所述身份信息对应的历史点击记录;
排序子单元,用于在所述判断子单元判断出能够匹配到所述身份信息对应的历史点击记录时,获取所述历史点击记录并根据所述历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果。
作为一种可选的实施方式,在本发明实施例第二方面中,,所述排序单元还包括:
输出子单元,用于在所述判断子单元判断出不能够匹配到所述身份信息对应的历史点击记录时,在家教设备的触控屏幕的随机位置输出预设的悬浮窗口,所述悬浮窗口至少包括提示用户点击关闭的提示信息;
确定子单元,用于通过所述摄像装置拍摄用户在所述触控屏幕中针对所述悬浮窗口的点击操作,以确定出所述用户点击所述悬浮窗口时使用的第一手指;
以及,所述第一确定单元用于在检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指的方式具体为:
第一确定单元,用于在检测到所述用户使用至少两根手指点击书本页面时,从所述至少两根手指中识别出与所述第一手指匹配的手指作为目标手指。
作为一种可选的实施方式,在本发明实施例第二方面中,所述设备还包括:
第三确定单元,用于在所述第一确定单元检测到所述用户使用至少两根手指点击书本页面之后,根据所述至少两根手指所指定的坐标信息在所述书本页面中确定出至少两个第一目标搜索范围;
第一判断单元,用于判断所述至少两个第一目标搜索范围中的内容是否存在匹配关系;
查询单元,用于在所述第一判断单元判断出所述至少两个第一目标搜索范围中的内容存在匹配关系时,根据所述匹配关系查询出相应的第一知识内容并输出;
以及,所述第一确定单元具体用于在所述第一判断单元判断出所述至少两个第一目标搜索范围中的内容不存在匹配关系时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指。
作为一种可选的实施方式,在本发明实施例第二方面中,所述设备还包括:
拍摄单元,用于在所述第一确定单元检测到所述用户使用至少两根手指点击书本页面时,通过摄像装置记录当前书本页面的第一页码,并通过摄像装置在预设时间内拍摄若干张书本页面图像;
第二判断单元,用于判断所述第一页码与若干张所述书本页面图像中的第二页码是否相同;
以及,所述第一确定单元具体用于在所述第二判断单元判断出所述第一页码与若干张所述书本页面图像中的第二页码相同时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指。
本发明实施例第三方面公开一种家教设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种基于多手指识别的搜题方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于多手指识别的搜题方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,家教设备根据历史点击记录确定出用户的每一根手指执行点击操作的次数;并对用户的每一根手指根据执行点击操作的次数从多至少进行排序以得到排序结果;当检测到用户使用至少两根手指点击书本页面时,根据排序结果在用户使用的至少两根手指中确定出排列顺序最高的手指作为目标手指;根据目标手指的坐标信息在书本页面中确定出目标搜索范围;搜索与查询范围中的内容相匹配的知识内容并输出。可见,家教设备可以在用户同时使用多根手指点击书本页面时,自动确定出用户平时使用次数最多的手指,并以该使用次数最多的手指所指定的内容作为搜索范围,进而查询与搜索范围中的内容相匹配的知识点输出。实施上述方法,家教设备可以根据用户所指定的图像区域搜索与该指定图像区域相匹配的知识内容并输出,不再一定要搜索整张图像的内容,进而节省了搜索时间,提高了搜索效率;另外,家教设备还简化了在处理用户使用多根手指去点击时的用户操作,进一步提高了用户使用家教设备搜题的效率,提高了用户的使用体验度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于多手指识别的搜题方法的流程示意图;
图2是本发明实施例公开的一种基于多手指识别的搜题方法的流程示意图;
图3是本发明实施例公开的一种家教设备的结构示意图;
图4是本发明实施例公开的另一种家教设备的结构示意图;
图5是本发明实施例公开的又一种家教设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”和“第三”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于多手指识别的搜题方法及家教设备,能够提高用户使用家教设备搜题的效率。
下面将结合具体实施例对本发明技术方案进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于多手指识别的搜题方法的流程示意图。需要说明的是,本发明实施例的实施环境可以是内置有显示屏(或触控屏幕)家教设备,该家教设备中与显示屏同侧还可以设置有摄像装置用于拍摄书本页面以获得书本页面的图像信息,该摄像装置可以是弹出式的摄像头、可旋转的摄像头、凸出式摄像头等,进而家教设备可以分析书本页面的图像信息以确定出用户在书本页面中的点击操作,以根据用户的点击操作为用户提供辅助和引导。如图1所示,该基于多手指识别的搜题方法可以包括以下步骤:
101、家教设备根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果。
本发明实施例中,家教设备可以是学生使用的学习平板、学习手机、学习机、家教机、点读机等电子设备,本发明实施例不作限定。
本发明实施例中,家教设备可以通过摄像装置、红外线人体感应装置等采集用户点击书本页面或者家教设备的触控屏幕时,用于执行点击操作的手指信息;进而可以根据采集到的手指信息确定出用户的历史点击记录,该历史点击记录至少包括手指名称和点击次数。
在某一个可能的实施方式中,例如:历史点击记录可以包括:拇指(点击次数:0次);食指(点击次数:86次);中指(点击次数:67次);无名指(点击次数:16次);小指(点击次数:6次)。
进而家教设备可以根据上述的历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到:食指>中指>无名指>小指>拇指的排序结果。
需要进一步说明的是:若历史点击记录中存在两根或多根手指执行点击操作的次数相同时,家教设备可以根据默认的手指优先级排序结果对执行点击操作的次数相同的多根手指进行排序。举例来说,家教设备根据大量的互联网数据推测出默认的手指优先级排序结果为:食指>中指>无名指>小指>拇指;可以理解的是,大部分用户在执行点击操作时,常用的手指有食指和中指,次之有无名指,还有小指,而且大部分用户不使用拇指执行点击操作;进而,若历史点击记录中存在中指和无名指的点击次数相同时,可以在对手指进行优先级排序时,将中指的排序在无名指前面。
作为一种可选的实施方式,家教设备根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果的方式可以是:家教设备通过摄像装置拍摄用户的脸部图像信息,并根据用户的脸部图像信息确定出用户的身份信息;判断是否能够匹配到用户的身份信息对应的历史点击记录;若能够匹配到对应的历史点击记录,获取该历史点击记录并根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果。
在实践中发现,不同用户用于执行点击操作的惯用手指可能是不同,那么就有必要将不同用户的历史点击记录区分开来存储。实施上述方法,家教设备可以通过摄像装置识别用户的身份信息,以根据用户的身份信息来确定出与该用户相匹配的历史点击记录,以保证后续所确定出的目标手指是该用户的惯用手指。
需要进一步说明的是:家教设备识别用户的身份信息的方式不限于通过上述的图像分析,还可以通过采集用户的指纹信息,气味信息等来区分不同的用户,本发明实施例不作限定。
作为另一种可选的实施方式,若家教设备不能够匹配到上述用户的身份信息对应的历史点击记录,则可以在家教设备的触控屏幕的随机位置输出预设的悬浮窗口,该悬浮窗口至少包括提示用户点击关闭的提示信息;并通过摄像装置拍摄用户在触控屏幕中针对悬浮窗口的点击操作,以确定出该用户点击悬浮窗口时使用的第一手指;后续家教设备在检测到用户使用至少两根手指点击书本页面时,可以从上述至少两根手指中识别出与第一手指匹配的手指作为目标手指。
实施上述方法,家教设备在判断出不能够匹配到用户的身份信息对应的历史点击记录时,可以输出需要关闭的悬浮窗口,并通过摄像头确定出用户是用哪一根手指去关闭窗口的,以将该手指作为用户的惯用手指。
作为一种可选的实施方式,家教设备在检测到用户使用一根或多根手指点击书本页面或者家教设备的触控屏幕时,若检测出手指与书本页面或者触控屏幕的接触时长短于预设的时长(如0.5秒)时,可以进一步根据排序结果判断用户用于执行点击操作的手指是否为排序结果中排列顺序最后的手指,若是,则判定用户的此次点击操作为无意识的点击,禁止执行后续的确定问题、搜索答案以及输出答案等步骤。
实施上述方法,可以结合用户手指与书本页面或者触控屏幕的接触时长以及手指的优先级判断用户的点击操作是否为无意识的点击操作,若是,则禁止针对此次点击操作进行后续的步骤,以节省能耗,也使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
102、家教设备在检测到用户使用至少两根手指点击书本页面时,根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指。
举例来说,家教设备在检测到用户同时使用中指和无名指点击书本页面时,可以根据上述:食指>中指>无名指>小指>拇指的排序结果确定出在点击书本页面的中指和无名指中,中指的排列顺序是最前的,进而可以将中指作为目标手指。
作为一种可选的实施方式,家教设备在检测到用户使用至少两根手指点击书本页面之后,可以根据上述至少两根手指所指定的坐标信息在书本页面中确定出至少两个第一目标搜索范围;并判断至少两个第一目标搜索范围中的内容是否存在匹配关系;若存在,根据匹配关系查询出相应的第一知识内容并输出;若不存在,则根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指。
需要说明的是:假设两个第一目标搜索范围中的内容为两个不同的词语,则匹配关系可以包括:两个词语是否为反义词、两个词语是否为同音异义词等;也可能是用户同时指着两个词语,提问到这两个词语如何造句等,此时指示造句的两个词语之间也存在匹配关系。
举例来说,用户同时指着“抱负”和“报复”两个词,家教设备判断出这两个词是同音异义词的关系,则可以输出:“抱负”和“报复”为同音异义词,“抱负,表示的是志向的意思”、“报复,表示跟某人算账,报仇的意思”供用户参考。
实施上述方法,可以在用户有意识的同时使用多根手指点击书本页面时,判断用户所指的多处内容是否存在匹配关系,若存在,则根据该匹配关系输出相应的知识点供用户选择,使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
103、家教设备根据目标手指的坐标信息在书本页面中确定出目标搜索范围。
本发明实施例中,家教设备可以根据目标手指的坐标信息确定出不同的目标搜索范围;例如:目标搜索范围可以是一个字、一个词、一句话、一道题或者一幅图等,目标搜索范围的大小以及确定方式可以根据用户的手指坐标信息、语音信息等而定;例如:目标手指的坐标落在某一个题干上,则目标搜索范围可以是该题干对应的一道题;若目标手指的坐标落在某一幅图上,则目标搜索范围可以是一幅图;若用户指着一个词,问这个词是什么意思,则目标搜索范围可以是一个词。
104、家教设备查询与目标搜索范围中的内容相匹配的知识内容并输出。
本发明实施例中,家教设备可以在本地缓存的学习资料中或者通过网络在互联网中查询出与目标搜索范围中的内容相匹配的知识内容,本发明实施例不作限定。家教设备可以通过在显示屏输出悬浮窗口或者分屏等方式输出知识内容,也可以通过投影装置投影出知识内容,还可以通过内置的音响设备输出语音等方式输出知识内容,本发明实施例不作限定。
可见,实施图1所描述的方法,家教设备可以在用户同时使用多根手指点击书本页面时,自动确定出用户平时使用次数最多的手指,并以该使用次数最多的手指所指定的内容作为搜索范围,进而查询与搜索范围中的内容相匹配的知识点输出。实施上述方法,家教设备可以根据用户所指定的图像区域搜索与该指定图像区域相匹配的知识内容并输出,不再一定要搜索整张图像的内容,进而节省了搜索时间,提高了搜索效率;另外,家教设备还简化了在处理用户使用多根手指去点击时的用户操作,进一步提高了用户使用家教设备搜题的效率,提高了用户的使用体验度。
实施例二
请参阅图2,图2是本发明实施例公开的一种基于多手指识别的搜题方法的流程示意图。需要说明的是,本发明实施例的实施环境可以是内置有显示屏(或触控屏幕)家教设备,该家教设备中与显示屏同侧还可以设置有摄像装置用于拍摄书本页面以获得书本页面的图像信息,该摄像装置可以是弹出式的摄像头、可旋转的摄像头、凸出式摄像头等,进而家教设备可以分析书本页面的图像信息以确定出用户在书本页面中的点击操作,以根据用户的点击操作为用户提供辅助和引导。如图2所示,该基于多手指识别的搜题方法可以包括以下步骤:
201;其中,步骤201与实施例一中的步骤101相同,在此不再赘述。
202、家教设备在检测到用户使用至少两根手指点击书本页面时,通过摄像装置记录当前书本页面的第一页码,并通过摄像装置在预设时间内拍摄若干张书本页面图像。
本发明实施例中,家教设备可以在检测到用户的手指接触到书本页面的时候,立即通过摄像装置拍摄当前书本页面的图像,并通过图像处理技术(例如:光学字符识别技术(Optical Character Recognition,OCR)、图像分割等)识别出当前的书本页面的第一页码;然后再通过摄像装置在预设时间内拍摄若干张书本页面图像。其中,OCR技术是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息,再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。
本发明实施例中,预设时间的时长可以由开发人员根据大量的实验数据设定。因为家教设备在检测到用户的手指点击书本页面之后,通过摄像装置在预设时间内拍摄若干张书本页面图像,是为了通过比较在预设时间内书本页面的页码是否改变来判断用户是否在进行书本翻页,所以预设时间可以是1秒或2秒(即用户翻页大概需要的时长),本发明实施例不作限定。
203、家教设备判断第一页码与若干张书本页面图像中的第二页码是否相同;若相同,执行步骤204;若不相同,结束本流程。
本发明实施例中,家教设备也可以通过图像处理技术(例如:光学字符识别技术(Optical Character Recognition,OCR)、图像分割等)识别出若干张书本页面图像中的第二页码。并判断第一页面与第二页码是否相同,若相同,则说明用户同时使用多根手指点击书本页面不是为了翻页,可能是无意识的使用多根手指点击到书本页面,则可以执行步骤204。
作为一种可选的实施方式,若家教设备判断出第一页面与第二页码不相同,则可以判定用户同时使用多根手指点击书本页面可能是为了翻页,所以家教设备可以禁止执行后续的确定问题、搜索答案以及输出答案等步骤,以节省家教设备的能耗,也使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
204、家教设备根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指。
205~206;其中,步骤205~步骤206与实施例一中的步骤103~步骤104相同,在此不再赘述。
可见,与实施图1所描述的方法相比较,实施图2所描述的方法,还可以通过图像对比技术判断用户同时使用多根手指点书本页面时,是否是在进行书本翻页,若是,则可以禁止执行后续的确定问题、搜索答案以及输出答案等步骤,以节省家教设备的能耗,也使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
实施例三
请参阅图3,图3是本发明实施例公开的一种家教设备的结构示意图。如图3所示,该家教设备可以包括:
排序单元301,用于根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果;
第一确定单元302,用于在检测到用户使用至少两根手指点击书本页面时,根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指;
第二确定单元303,用于根据目标手指的坐标信息在书本页面中确定出目标搜索范围;
输出单元304,用于查询与查询范围中的内容相匹配的知识内容并输出。
可见,实施图3所描述的家教设备,可以在用户同时使用多根手指点击书本页面时,自动确定出用户平时使用次数最多的手指,并以该使用次数最多的手指所指定的内容作为搜索范围,进而查询与搜索范围中的内容相匹配的知识点输出。即家教设备可以根据用户所指定的图像区域搜索与该指定图像区域相匹配的知识内容并输出,不再一定要搜索整张图像的内容,进而节省了搜索时间,提高了搜索效率;另外,家教设备还简化了在处理用户使用多根手指去点击时的用户操作,进一步提高了用户使用家教设备搜题的效率,提高了用户的使用体验度。
实施例四
请参阅图4,图4是本发明实施例公开的另一种家教设备的结构示意图。其中,图4所示的家教设备是由图3所示的家教设备进行优化得到的。与图3所示的家教设备相比较,图4所示的家教设备包括的排序单元301可以包括:
拍摄子单元3011,用于通过摄像装置拍摄用户的脸部图像信息,根据用户的脸部图像信息确定出用户的身份信息;
判断子单元3012,用于判断是否能够匹配到上述身份信息对应的历史点击记录;
排序子单元3013,用于在判断子单元3012判断出能够匹配到上述身份信息对应的历史点击记录时,获取历史点击记录并根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果。
作为一种可选的实施方式,排序单元301还可以包括:
输出子单元3014,用于在判断子单元3012判断出不能够匹配到上述身份信息对应的历史点击记录时,在家教设备的触控屏幕的随机位置输出预设的悬浮窗口,该悬浮窗口至少包括提示用户点击关闭的提示信息;
确定子单元3015,用于通过摄像装置拍摄用户在触控屏幕中针对悬浮窗口的点击操作,以确定出用户点击悬浮窗口时使用的第一手指;
以及,第一确定单元302用于在检测到用户使用至少两根手指点击书本页面时,根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指的方式具体为:
第一确定单元302,用于在检测到用户使用至少两根手指点击书本页面时,从上述至少两根手指中识别出与第一手指匹配的手指作为目标手指。
实施上述方法,家教设备在判断出不能够匹配到用户的身份信息对应的历史点击记录时,可以输出需要关闭的悬浮窗口,并通过摄像头确定出用户是用哪一根手指去关闭窗口的,以将该手指作为用户的惯用手指。
作为另一种可选的实施方式,家教设备在检测到用户使用一根或多根手指点击书本页面或者家教设备的触控屏幕时,若检测出手指与书本页面或者触控屏幕的接触时长短于预设的时长(如0.5秒)时,可以进一步根据排序结果判断用户用于执行点击操作的手指是否为排序结果中排列顺序最后的手指,若是,则判定用户的此次点击操作为无意识的点击,禁止执行后续的确定问题、搜索答案以及输出答案等步骤。
实施上述方法,可以结合用户手指与书本页面或者触控屏幕的接触时长以及手指的优先级判断用户的点击操作是否为无意识的点击操作,若是,则禁止针对此次点击操作进行后续的步骤,以节省能耗,也使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
作为一种可选的实施方式,图4所示的家教设备还可以包括:
第三确定单元305,用于在第一确定单元302检测到用户使用至少两根手指点击书本页面之后,根据上述至少两根手指所指定的坐标信息在书本页面中确定出至少两个第一目标搜索范围;
第一判断单元306,用于判断上述至少两个第一目标搜索范围中的内容是否存在匹配关系;
查询单元307,用于在第一判断单元306判断出上述至少两个第一目标搜索范围中的内容存在匹配关系时,根据匹配关系查询出相应的第一知识内容并输出;
以及,第一确定单元302具体用于在第一判断单元306判断出上述至少两个第一目标搜索范围中的内容不存在匹配关系时,根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指。
实施上述方法,可以在用户有意识的同时使用多根手指点击书本页面时,判断用户所指的多处内容是否存在匹配关系,若存在,则根据该匹配关系输出相应的知识点供用户选择,使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
作为一种可选的实施方式,图4所示的家教设备还可以包括:
拍摄单元308,用于在第一确定单元302检测到用户使用至少两根手指点击书本页面时,通过摄像装置记录当前书本页面的第一页码,并通过摄像装置在预设时间内拍摄若干张书本页面图像;
第二判断单元309,用于判断第一页码与若干张书本页面图像中的第二页码是否相同;
以及,第一确定单元302具体用于在第二判断单元309判断出第一页码与若干张书本页面图像中的第二页码相同时,根据排序结果在上述至少两根手指中确定出排列顺序最前的手指作为目标手指。
实施上述方法,可以通过图像对比技术判断用户同时使用多根手指点书本页面时,是否是在进行书本翻页,若是,则可以禁止执行后续的确定问题、搜索答案以及输出答案等步骤,以节省家教设备的能耗,也使得家教设备的点击识别过程更加智能化,提高了用户的使用体验度。
可见,与实施图3所描述的家教设备相比较,实施图4所描述的家教设备,还可以通过摄像装置识别用户的身份信息,以根据用户的身份信息来确定出与该用户相匹配的历史点击记录,以保证后续所确定出的目标手指是该用户的惯用手指。
实施例五
请参阅图5,图5是本发明实施例公开的又一种家教设备的结构示意图。如图5所示,该家教设备可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
其中,处理器502调用存储器501中存储的可执行程序代码,执行图1~图2任意一种基于多手指识别的搜题方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图2任意一种基于多手指识别的搜题方法。
本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于多手指识别的搜题方法及家教设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于多手指识别的搜题方法,其特征在于,所述方法包括:
通过摄像装置拍摄用户的脸部图像信息,根据所述用户的脸部图像信息确定出用户的身份信息;
判断是否能够匹配到所述身份信息对应的历史点击记录;
若能够匹配到所述身份信息对应的历史点击记录,获取所述历史点击记录并根据所述历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果;
当检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指;
根据所述目标手指的坐标信息在所述书本页面中确定出目标搜索范围;
查询与所述目标搜索范围中的内容相匹配的知识内容并输出。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若不能够匹配到所述身份信息对应的历史点击记录,在家教设备的触控屏幕的随机位置输出预设的悬浮窗口,所述悬浮窗口至少包括提示用户点击关闭的提示信息;
通过所述摄像装置拍摄用户在所述触控屏幕中针对所述悬浮窗口的点击操作,以确定出所述用户点击所述悬浮窗口时使用的第一手指;
以及,所述当检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指,包括:
当检测到所述用户使用至少两根手指点击书本页面时,从所述至少两根手指中识别出与所述第一手指匹配的手指作为目标手指。
3.根据权利要求1所述的方法,其特征在于,在所述检测到所述用户使用至少两根手指点击书本页面之后,所述方法还包括:
根据所述至少两根手指所指定的坐标信息在所述书本页面中确定出至少两个第一目标搜索范围;
判断所述至少两个第一目标搜索范围中的内容是否存在匹配关系;
若存在,根据所述匹配关系查询出相应的第一知识内容并输出;
若不存在,执行所述根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指的步骤。
4.根据权利要求1所述的方法,其特征在于,在所述检测到所述用户使用至少两根手指点击书本页面时,所述方法还包括:
通过摄像装置记录当前书本页面的第一页码,并通过摄像装置在预设时间内拍摄若干张书本页面图像;
判断所述第一页码与若干张所述书本页面图像中的第二页码是否相同;
若相同,执行所述根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指的步骤。
5.一种家教设备,其特征在于,所述设备包括:
排序单元,用于根据历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果;
第一确定单元,用于在检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指;
第二确定单元,用于根据所述目标手指的坐标信息在所述书本页面中确定出目标搜索范围;
输出单元,用于查询与所述目标搜索范围中的内容相匹配的知识内容并输出;
所述排序单元包括:
拍摄子单元,用于通过摄像装置拍摄用户的脸部图像信息,根据所述用户的脸部图像信息确定出用户的身份信息;
判断子单元,用于判断是否能够匹配到所述身份信息对应的历史点击记录;
排序子单元,用于在所述判断子单元判断出能够匹配到所述身份信息对应的历史点击记录时,获取所述历史点击记录并根据所述历史点击记录对用户的每一根手指执行点击操作的次数从多至少进行排序,以得到排序结果。
6.根据权利要求5所述的家教设备,其特征在于,所述排序单元还包括:
输出子单元,用于在所述判断子单元判断出不能够匹配到所述身份信息对应的历史点击记录时,在家教设备的触控屏幕的随机位置输出预设的悬浮窗口,所述悬浮窗口至少包括提示用户点击关闭的提示信息;
确定子单元,用于通过所述摄像装置拍摄用户在所述触控屏幕中针对所述悬浮窗口的点击操作,以确定出所述用户点击所述悬浮窗口时使用的第一手指;
以及,所述第一确定单元用于在检测到所述用户使用至少两根手指点击书本页面时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指的方式具体为:
第一确定单元,用于在检测到所述用户使用至少两根手指点击书本页面时,从所述至少两根手指中识别出与所述第一手指匹配的手指作为目标手指。
7.根据权利要求5所述的家教设备,其特征在于,所述设备还包括:
第三确定单元,用于在所述第一确定单元检测到所述用户使用至少两根手指点击书本页面之后,根据所述至少两根手指所指定的坐标信息在所述书本页面中确定出至少两个第一目标搜索范围;
第一判断单元,用于判断所述至少两个第一目标搜索范围中的内容是否存在匹配关系;
查询单元,用于在所述第一判断单元判断出所述至少两个第一目标搜索范围中的内容存在匹配关系时,根据所述匹配关系查询出相应的第一知识内容并输出;
以及,所述第一确定单元具体用于在所述第一判断单元判断出所述至少两个第一目标搜索范围中的内容不存在匹配关系时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指。
8.根据权利要求5所述的家教设备,其特征在于,所述设备还包括:
拍摄单元,用于在所述第一确定单元检测到所述用户使用至少两根手指点击书本页面时,通过摄像装置记录当前书本页面的第一页码,并通过摄像装置在预设时间内拍摄若干张书本页面图像;
第二判断单元,用于判断所述第一页码与若干张所述书本页面图像中的第二页码是否相同;
以及,所述第一确定单元具体用于在所述第二判断单元判断出所述第一页码与若干张所述书本页面图像中的第二页码相同时,根据所述排序结果在所述至少两根手指中确定出排列顺序最前的手指作为目标手指。
CN201910366447.3A 2019-05-05 2019-05-05 一种基于多手指识别的搜题方法及家教设备 Active CN111091034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910366447.3A CN111091034B (zh) 2019-05-05 2019-05-05 一种基于多手指识别的搜题方法及家教设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910366447.3A CN111091034B (zh) 2019-05-05 2019-05-05 一种基于多手指识别的搜题方法及家教设备

Publications (2)

Publication Number Publication Date
CN111091034A CN111091034A (zh) 2020-05-01
CN111091034B true CN111091034B (zh) 2024-05-31

Family

ID=70392973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910366447.3A Active CN111091034B (zh) 2019-05-05 2019-05-05 一种基于多手指识别的搜题方法及家教设备

Country Status (1)

Country Link
CN (1) CN111091034B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612006A (zh) * 2020-05-07 2020-09-01 北京网梯科技发展有限公司 提高绘本点读识别结果可靠性的方法及装置
CN111881338A (zh) * 2020-08-03 2020-11-03 深圳一块互动网络技术有限公司 一种基于社交软件轻应用小程序的印刷品内容检索方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135830A (zh) * 2010-11-22 2011-07-27 华为终端有限公司 触摸屏触发方法及触摸装置
CN107025421A (zh) * 2016-02-01 2017-08-08 北京小米移动软件有限公司 指纹识别方法和装置
CN107977146A (zh) * 2017-12-19 2018-05-01 广东小天才科技有限公司 一种基于蒙版的题目搜索方法及电子设备
CN108196782A (zh) * 2018-01-25 2018-06-22 广东小天才科技有限公司 一种拍照搜题方法及电子设备
CN109710750A (zh) * 2019-01-23 2019-05-03 广东小天才科技有限公司 一种搜题方法及学习设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256109B (zh) * 2017-05-27 2021-03-16 北京小米移动软件有限公司 信息显示方法、装置及终端
CN107341185B (zh) * 2017-06-05 2020-12-04 北京小米移动软件有限公司 信息显示的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135830A (zh) * 2010-11-22 2011-07-27 华为终端有限公司 触摸屏触发方法及触摸装置
CN107025421A (zh) * 2016-02-01 2017-08-08 北京小米移动软件有限公司 指纹识别方法和装置
CN107977146A (zh) * 2017-12-19 2018-05-01 广东小天才科技有限公司 一种基于蒙版的题目搜索方法及电子设备
CN108196782A (zh) * 2018-01-25 2018-06-22 广东小天才科技有限公司 一种拍照搜题方法及电子设备
CN109710750A (zh) * 2019-01-23 2019-05-03 广东小天才科技有限公司 一种搜题方法及学习设备

Also Published As

Publication number Publication date
CN111091034A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN109635772A (zh) 一种听写内容的批改方法及电子设备
CN109725732B (zh) 一种知识点的查询方法及家教设备
CN109766412B (zh) 一种基于图像识别的学习内容获取方法及电子设备
CN109639952B (zh) 一种拍照搜题方法及电子设备
CN111737441B (zh) 基于神经网络的人机交互方法、装置和介质
CN111077996B (zh) 一种基于点读的信息推荐方法及学习设备
CN111026949A (zh) 一种基于电子设备的搜题方法及系统
CN111091034B (zh) 一种基于多手指识别的搜题方法及家教设备
CN111711757B (zh) 防手指遮挡的试题拍摄方法、装置、电子设备和存储介质
CN108121987B (zh) 一种信息处理方法和电子设备
CN111026786B (zh) 一种听写列表生成方法及家教设备
CN111077992B (zh) 一种点读方法、电子设备及存储介质
CN111078915B (zh) 一种点读模式下的点读内容获取方法及电子设备
CN111077993B (zh) 一种学习场景的切换方法、电子设备及存储介质
CN111079777B (zh) 一种基于书页定位的点读方法及电子设备
CN110795918B (zh) 确定阅读位置的方法、装置及设备
CN111027353A (zh) 一种搜索内容的提取方法及电子设备
CN111711758B (zh) 多指定位的试题拍摄方法、装置、电子设备和存储介质
CN111563497B (zh) 基于移动轨迹的框题方法、装置、电子设备及存储介质
CN109783679B (zh) 一种学习辅助方法及学习设备
CN113449652A (zh) 基于生物特征识别的定位方法及装置
CN111078099A (zh) 一种基于手势识别的学习功能切换方法及学习设备
CN111079498B (zh) 一种基于口型识别的学习功能切换方法及电子设备
CN111553365A (zh) 一种题目选取的方法、装置、电子设备及存储介质
CN111553366B (zh) 一种题目匹配的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant