CN111091033A - 一种拍照搜题方法及电子设备 - Google Patents
一种拍照搜题方法及电子设备 Download PDFInfo
- Publication number
- CN111091033A CN111091033A CN201910321916.XA CN201910321916A CN111091033A CN 111091033 A CN111091033 A CN 111091033A CN 201910321916 A CN201910321916 A CN 201910321916A CN 111091033 A CN111091033 A CN 111091033A
- Authority
- CN
- China
- Prior art keywords
- lcd screen
- plane
- screen
- controlling
- parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种拍照搜题方法及电子设备,该方法应用于电子设备,所述电子设备包括LCD屏幕与墨水屏;所述LCD屏幕与所述墨水屏转动连接,且所述LCD屏幕设置有拍摄模组;所述方法包括:在检测到搜题指令时,控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行;控制所述拍摄模组在所述LCD屏幕所在平面与所述放置平面平行时拍摄题目图像;从所述题目图像中识别出题目内容,并根据所述题目内容进行搜索;在所述墨水屏中输出显示所述题目内容的搜索结果。实施本发明实施例,能够简化拍照搜题的步骤,提高搜题的效率,同时通过墨水屏输出搜索结果以降低对视力的影响。
Description
技术领域
本发明涉及教育技术领域,具体涉及一种拍照搜题方法及电子设备。
背景技术
目前学生的学习负担重、压力大,往往会使用一些电子产品来帮助学习。而现在市面上有部分家教机具备搜题功能,也有不少搜题类应用程序(Application,APP)。学生在遇到不会做的题目时,可以通过家教机的搜题功能或者搜题类APP搜索解题答案。
然而,在实践中发现,大部分的家教机和装载有搜题类APP的电子设备都采用LCD或者LED屏幕,这些屏幕输出大量蓝光,长期使用容易影响使用者的视力。此外,学生在拍照搜题时,需要拿起电子设备,并将其移动至与纸面存在一定距离的位置,才能完成题目图像的拍摄。这样一来,搜题所需的操作步骤较为繁琐,导致搜题效率较低。
发明内容
本发明实施例公开了一种拍照搜题方法及电子设备,能够提高搜题的效率,同时降低对视力的影响。
本发明实施例第一方面公开一种拍照搜题方法,所述方法应用于电子设备,所述电子设备包括LCD屏幕与墨水屏;所述LCD屏幕与所述墨水屏转动连接,且所述LCD屏幕设置有拍摄模组;所述方法包括:
在检测到搜题指令时,控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行;
控制所述拍摄模组在所述LCD屏幕所在平面与所述放置平面平行时拍摄题目图像;
从所述题目图像中识别出题目内容,并根据所述题目内容进行搜索;
在所述墨水屏中输出显示所述题目内容的搜索结果。
作为一种可选的实施方式,在本发明实施例第一方面中,所述在所述墨水屏中输出显示所述题目内容的搜索结果,包括:
如果所述题目内容的搜索结果中包含文字内容,在所述墨水屏中输出显示所述文字内容;
以及,所述方法还包括:
如果所述题目内容的搜索结果中包含视频内容,控制所述LCD屏幕转动至所述LCD屏幕与所述墨水屏处于同一平面;
在所述LCD屏幕与所述墨水屏处于同一平面时,在所述LCD屏幕中输出显示所述视频内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行,包括:
控制所述LCD屏幕转动,并且在转动过程中控制所述拍摄模组拍摄所述电子设备的放置平面的图像;
识别所述放置平面的图像中纸质材料的边界;
判断所述边界中不相互连接的两条边沿是否平行;
如果平行,控制所述LCD屏幕停止转动,以使所述LCD屏幕所在平面与所述电子设备的放置平面平行。
作为一种可选的实施方式,在本发明实施例第一方面中,所述控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行,包括:
获取用户输入的语音指令;
从所述语音指令中识别出用于指示方位的方位关键词;
控制所述LCD屏幕按照所述方位关键词指示的方向以及预设的角度转动,直至检测到用户在所述LCD屏幕所在平面与所述电子设备的放置平面平行时输入的停止指令时控制所述LCD屏幕停止转动。
作为一种可选的实施方式,在本发明实施例第一方面中,所述LCD屏幕上设置有距离传感器,所述距离传感器的测量方向与所述拍摄模组的取景方向相同;所述控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行,包括:
控制所述LCD屏幕转动,并且在转动过程中获取所述距离传感器测量到的实时距离信息;
判断所述实时距离信息与预设的机身高度之间的差值是否大于预设的阈值;所述机身高度参考所述墨水屏的高度设置;
如果是,根据所述实时距离信息与所述机身高度之间的差值控制所述LCD屏幕转动,直至所述实时距离信息满足所述机身高度时控制所述LCD屏幕停止转动。
本发明实施例第二方面公开一种电子设备,包括:LCD屏幕与墨水屏;所述LCD屏幕与所述墨水屏转动连接,且所述LCD屏幕设置有拍摄模组;
第一控制单元,用于在检测到搜题指令时,控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行;
第二控制单元,用于控制所述拍摄模组在所述LCD屏幕所在平面与所述放置平面平行时拍摄题目图像;
搜索单元,用于从所述题目图像中识别出题目内容,并根据所述题目内容进行搜索;
输出单元,用于在所述墨水屏中输出显示所述题目内容的搜索结果。
作为一种可选的实施方式,在本发明实施例第二方面中,所述输出单元用于在所述墨水屏中输出显示搜索结果的方式具体为:
所述输出单元,用于在所述搜索结果中包含文字内容时,在所述墨水屏中输出显示所述文字内容;
以及,所述第一控制单元,还用于在所述搜索结果中包含视频内容时,控制所述LCD屏幕转动至所述LCD屏幕与所述墨水屏处于同一平面;
所述输出单元,还用于在所述LCD屏幕与所述墨水屏处于同一平面时,在所述LCD屏幕中输出显示所述视频内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一控制单元用于控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行的方式具体为:
所述第一控制单元,用于控制所述LCD屏幕转动,并且在转动过程中控制所述拍摄模组拍摄所述电子设备的放置平面的图像;以及,识别所述放置平面的图像中纸质材料的边界;以及,判断所述边界中不相互连接的两条边沿是否平行;如果平行,控制所述LCD屏幕停止转动,以使所述LCD屏幕所在平面与所述电子设备的放置平面平行。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一控制单元用于控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行的方式具体为:
所述第一控制单元,用于获取用户输入的语音指令;以及,从所述语音指令中识别出用于指示方位的方位关键词;以及,控制所述LCD屏幕按照所述方位关键词指示的方向以及预设的角度转动,直至检测到用户在所述LCD屏幕所在平面与所述电子设备的放置平面平行时输入的停止指令时控制所述LCD屏幕停止转动。
作为一种可选的实施方式,在本发明实施例第二方面中,所述LCD屏幕上设置有距离传感器,所述距离传感器的测量方向与所述拍摄模组的取景方向相同;
以及,所述第一控制单元用于控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行的方式具体为:
所述第一控制单元,用于控制所述LCD屏幕转动,并且在转动过程中获取所述距离传感器测量到的实时距离信息;以及,判断所述实时距离信息与预设的机身高度之间的差值是否大于预设的阈值;如果是,根据所述实时距离信息与所述机身高度之间的差值控制所述LCD屏幕转动,直至所述实时距离信息满足所述机身高度时控制所述LCD屏幕停止转动;其中,所述机身高度参考所述墨水屏的高度设置。
本发明实施例第三方面公开一种电子设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的任一项方法。
本发明第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比,本发明实施例具有以下有益效果:
在检测到搜题指令时,LCD屏幕自动旋转至于电子设备的放置平面平行的位置,使得设置在LCD屏幕上的拍摄模组可以直接拍摄到放置平面上的题目,无需用户手动移动电子设备的位置,可以提高搜题的效率。此外,在获得针对题目的搜索结果之后,在墨水屏中输出显示搜索结果,可以减少用户观看LCD屏幕的时间,从而降低对视力的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种电子设备的LCD屏幕处于第一姿态的正视示意图;
图2是本发明实施例公开的一种电子设备的LCD屏幕处于第二姿态的后视示意图;
图3是本发明实施例公开的一种电子设备的LCD屏幕处于第三姿态的侧视示意图;
图4是本发明实施例公开的一种拍照搜题方法的流程示意图;
图5是本发明实施例公开的另一种拍照搜题方法的流程示意图;
图6是本发明实施例公开的一种电子设备的结构示意图;
图7是本发明实施例公开的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种拍照搜题方法及电子设备,能够提高搜题的效率,同时降低对视力的影响。以下分别进行详细说明。
为了更好理解本发明实施例公开的一种拍照搜题方法,下面先介绍本发明实施例公开的一种电子设备。请参阅图1和图2,该电子设备可以包括设备主体,设备主体包括相对设置的正面11与背面12,设备主体的正面上可以设有墨水屏111,设备主体的背面上可以设有LCD屏幕121,墨水屏111与LCD屏幕121可以通过转轴13转动连接,使得LCD屏幕121可以相对于设备主体顺时针或者逆时针转动。其中,设备主体内可以设有与转轴13连接的驱动装置,驱动装置可以与电子设备的处理器电连接,并根据处理器发送的信号转动以使转轴13带动LCD屏幕121转动。
具体地,当LCD屏幕121处于如图1所示的第一姿态时,LCD屏幕121与墨水屏111处于同一平面,使得用户可以同时观看墨水屏111和LCD屏幕121。此外,如图2所示,LCD屏幕121还可以转动至第二姿态,此时LCD屏幕121可以叠设于设备主体的背面,使得用户可以单独使用墨水屏111或者单独使用LCD屏幕121。如图3所示,LCD屏幕121还可以转动至第三姿态,此时墨水屏111与LCD屏幕121之间可以形成夹角,图3所示为墨水屏111与LCD屏幕121垂直时的状态。
进一步地,在LCD屏幕121一侧可以设置有拍摄模组122,拍摄模组122可以为摄像头,用于拍摄图像以使用户进行拍照、视频通话等功能。此外,LCD屏幕121内部还可以设置有距离传感器(未图示),距离传感器的测量方向与所述拍摄模组的取景方向相同,距离传感器可以采用超声波测距传感器、激光测距传感器、红外线测距传感器等,本发明实施例不做限定。
实施例一
请参阅图4,图4是本发明实施例公开的一种拍照搜题方法的流程示意图。其中,图4所描述的拍照搜题方法适用于手机、平板电脑、家教机等电子设备,本发明实施例不做限定。其中,上述的电子设备具体可以如图1~图所示,且电子设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等,本发明实施例不做限定。如图2所示,该拍照搜题方法可以包括以下步骤:
201、电子设备在检测到搜题指令时,控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行。
在本发明实施例中,搜题指令可以由用户通过触及墨水屏或者LCD屏幕的方式输入,比如说用户点击屏幕上显示的搜题虚拟按键;也可以由用户通过语音输入,比如说用户输入预设的语音唤醒词,本发明实施例不做限定。
可以理解的是,在本发明实施例中,LCD屏幕可以相对于电子设备的主体转动,当LCD屏幕所在平面与电子设备的放置平面平行时,LCD屏幕与墨水屏之间的夹角大小与电子设备在放置平面上的放置角度相同。如图3所示,假设电子设备垂直放置在桌面(即放置平面)上,当LCD屏幕转动至垂直于墨水屏的位置时,LCD屏幕所在平面与桌面平行。此外,为了更好地放置电子设备,可以使用一底座辅助放置电子设备。该底座可为磁吸式吸附于电子设备的主体;或者,底座也可以包括凹槽,上述的凹槽用于插入电子设备。通过控制LCD屏幕所在平面平行于放置平面,可以减小拍摄模组拍摄到的题目图像中存在的畸变,从而提高图像识别的效率和准确率。
作为一种可选的实施方式,电子设备控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式可以为:
电子设备控制LCD屏幕转动,并且在转动过程中控制拍摄模组拍摄电子设备的放置平面的图像;
电子设备识别放置平面的图像中纸质材料的边界;
电子设备判断上述的边界中不相互连接的两条边沿是否平行;
如果平行,电子设备控制LCD屏幕停止转动,以使LCD屏幕所在平面与电子设备的放置平面平行。
实施上述的实施方式,电子设备通过图像中纸质材料的边界判断LCD屏幕所在平面与电子设备放置平面是否平行。当LCD屏幕所在平面与放置平面不平行时,拍摄模组拍摄到的图像中远离电子设备一端的图像存在一定程度的畸变。比如说,标准A4纸在图像中畸变为梯形。用户在拍照搜题时,记载有题目内容的材料一般为试卷、练习册、课本等纸质材料,这些纸质材料的形状一般为矩形且一般与电子设备放置在同一平面上。因此,如果拍摄模组平行于纸质材料(即LCD屏幕所在平面平行于放置平面),拍摄到的图像中纸质材料的形状也为矩形,即纸质材料的边界中不相互连接的两条边沿互相平行。此外,可以理解的是,电子设备可以通过纹理特征、边缘检测、平行线检测等图像识别方法从图像中识别出纸质材料的边界,并判断边界中的边沿是否平行。
作为另一种可选的实施方式,电子设备控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式也可以为:
电子设备获取用户输入的语音指令;
电子设备从上述的语音指令中识别出用于指示方位的方位关键词;
电子设备控制LCD屏幕按照识别出的方位关键词指示的方向以及预设的角度转动,直至检测到用户在LCD屏幕所在平面与电子设备的放置平面平行时输入的停止指令时控制LCD屏幕停止转动。
在上述的实施方式中,用户输入的语音指令中可以包括上、下等方位关键词。可选的,以墨水屏为基准,当电子设备识别到向上的方位关键词时,控制LCD屏幕向远离墨水屏的方向转动;当电子设备识别到向下的方位关键词时,控制LCD屏幕向靠近墨水屏的方向转动。进一步可选的,电子识别还可以识别用户输入的语音指令中是否存在角度关键词;如果存在角度关键词,可以控制LCD屏幕按照方位关键词指示的方向转动角度关键词指示的角度,比如说用户输入的语音指令为“向下15°”,那么电子设备控制LCD屏幕向靠近墨水屏的方向转动15°;如果不存在角度关键词,控制LCD屏幕按照方位关键词指示的方向转动预设的角度,上述预设的角度可以人为设定。此外,上述的停止指令可以由用户通过触及墨水屏或者LCD屏幕的方式输入,也可以由用户通过语音输入,本发明实施例不做限定。
实施上述的实施方式,电子设备可以根据用户输入的语音指令控制LCD屏幕转动。优选的,用户可以先通过包含角度关键词的语音指令控制LCD屏幕转动一定角度,再通过不包含角度关键词的语音控制指令对LCD屏幕进行微调。
作为又一种可选的实施方式,电子设备控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式还可以为:
电子设备控制LCD屏幕转动,并且在转动过程中获取距离传感器测量到的实时距离信息;
电子设备判断实时距离信息与预设的机身高度之间的差值是否大于预设的阈值;其中,机身高度参考墨水屏的高度设置;
如果是,根据上述的实时距离信息与机身高度之间的差值控制LCD屏幕转动,直至实时距离信息满足机身高度时控制LCD屏幕停止转动。
在上述的实施方式中,假设电子设备垂直放置在桌面(即放置平面)上,当LCD屏幕所在平面与桌面平行时,LCD屏幕与桌面之间的距离为电子设备主体的高度,因此可以将机身高度大约设置为墨水屏的高度h;假设电子设备放置在桌面上时,与桌面形成一个小于90°的锐角α,那么当LCD屏幕所在平面与桌面平行时,LCD屏幕与桌面之间的距离可以约等于墨水屏的高度h*sinα,因此可以将机身高度设置为h*sinα。此外,在理想情况下,可以将上述的阈值设置为0,即认为LCD屏幕所在平面与桌面平行时,LCD屏幕与桌面的距离与机身高度相同。可选的,可以允许一定的误差,将阈值设置为大于0的数值。
此外,如果判断出实时距离信息与机身高度之间的差值大于预设阈值,可以控制LCD屏幕向靠近墨水屏的方向转动;如果判断出实时距离信息与机身高度之间的差值小于0,可以控制LCD屏幕向远离墨水屏的方向转动。
202、电子设备控制拍摄模组在LCD屏幕所在平面与放置平面平行时拍摄题目图像。
在本发明实施例中,通过步骤201控制LCD屏幕转动至LCD屏幕所在平面与放置平面平行之后,可以将此时拍摄模组拍摄到的图像作为题目图像。
203、电子设备从题目图像中识别出题目内容,并根据题目内容进行搜索。
在本发明实施例中,可以通过光学字符识别(Optical Character Recognition,OCR)等字符识别方法从题目图像中识别出题目内容。电子设备可以通过互联网对题目内容进行搜索,也可以在数据库中搜索于题目内容相关联的内容,上述的数据库可以存储在电子设备本地,也可以设置在服务器,本发明实施例不做限定。
204、电子设备在墨水屏中输出显示上述的题目内容的搜索结果。
在本发明实施例中,搜索结果可以为与上述的题目内容相关联的答案、解题思路、提示关键词等。
综上所述,用户在进行阅读、做作业等学习行为时,可以使用底座将电子设备放置在桌面上,具体可以将墨水屏朝向用户。在碰到需要搜索的题目时,可以输入搜题指令,电子设备可以自动控制LCD屏幕转动,以通过LCD屏幕上的拍摄模组拍摄题目图像,并进行搜索,然后将搜索结果在墨水屏上输出显示。
可见,在图4所描述的方法中,用户放置好电子设备之后,无需手动拿起电子设备进行拍照,从而可以减少用户需要操作的步骤,以提高搜题的效率。同时,墨水屏的显示画面较为稳定且没有闪烁,用户观看墨水屏时眼睛不易疲劳。因此,在墨水屏中输出显示搜索结果,可以降低对视力的影响。
实施例二
请参阅图5,图5是本发明实施例公开的另一种拍照搜题方法的流程示意图。如图5所示,该拍照搜题方法可以包括以下步骤:
301、电子设备在检测到搜题指令时,控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行。
在本发明实施例中,电子设备可以控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式可以如实施例一中所描述的任意一种实施方式所示,以下内容不再赘述。
302、电子设备控制拍摄模组在LCD屏幕所在平面与放置平面平行时拍摄题目图像。
303、电子设备从题目图像中识别出题目内容,并根据题目内容进行搜索。
在本发明实施例中,作为一种可选的实施方式,电子设备从题目图像中识别出题目内容的具体方式可以为:
电子设备识别题目图像中的指定物,并获取指定物在题目图像中的位置坐标;上述的指定物可以为笔尖或者手指等用于指定某一区域的物体;
电子设备获取用户输入的搜题语音,从搜题语音中识别出搜索目标关键词;其中,搜题语音与步骤301中的搜题指令可以为同一段音频,也可以独立分开的音频;搜索目标关键词为预设的词语,用于指示用户的搜索意图,包括搜索对象和搜索目的。比如说,用户输入的音频为“小步小步,这个字怎么读”,语音唤醒词“小步小步”可以作为搜题指令,触发LCD屏幕转动,“这个字怎么读”可以作为搜题语音,“字”和“怎么读”为该搜题语音中包含的搜索目标关键词,“字”指示搜索对象为题目,“怎么读”指示搜索目的为字的读音;
电子设备根据指定物的位置坐标以及搜索目标关键词确定题目图像中的字符识别区域;其中,字符识别区域的某一边界通过位置坐标限定,不同的搜索目标关键词对应不同的字符识别区域大小。比如说,当搜索目标关键词为“字”时,字符识别区域大小为单个字符大小;当搜索目标关键词为“题”时,字符识别区域大小为整个题目所需的大小,具体可以通过字符行之间的距离识别出整个题目。
电子设备对字符识别区域进行字符识别,将识别结果作为题目内容。
实施上述的实施方式,可以通过指定物准确定位用户需要搜索的题目,并且通过语音框定部分图像进行字符识别,一方面可以减小字符识别的量以提高字符识别速度,另一方面还可以减少对用户不需要搜索的无关内容的识别,以降低无关内容对搜索的干扰,提高搜题的准确率。
304、电子设备识别上述题目内容的搜索结果的类型,当搜索结果中包含文字内容时,执行步骤305;当搜索结果中包含视频内容时,执行步骤306~步骤307。
305、电子设备在墨水屏中输出显示文字内容。
在本发明实施例中,文字内容可以为无需动态刷新的显示内容。可以理解的是,墨水屏还可以用于输出图形、图片等静态显示内容。
306、电子设备控制LCD屏幕转动至LCD屏幕与墨水屏处于同一平面。
在本发明实施例中,当LCD屏幕与墨水屏处于同一平面时(如图1所示),用户可以同时观看LCD屏幕与墨水屏。
307、电子设备在LCD屏幕与墨水屏处于同一平面时,在LCD屏幕中输出显示视频内容。
在本发明实施例中,视频内容可以为课堂实录、教学动画等教学视频。墨水屏由于刷新频率较低,不适用于输出视频内容。因此,可以使用LCD屏幕输出视频内容。为了使用户可以更好地观看,在输出视频内容之前,电子设备将LCD屏幕转动至墨水屏所在平面。
可以理解的是,电子设备在墨水屏中输出显示文字内容的同时还可以在LCD屏幕中输出显示视频内容。如果搜索结果中只包含文字内容或者只包含视频内容,那么可以单独在墨水屏或者LCD屏幕中输出显示。
此外,作为一种可选的实施方式,电子设备可以在视频内容输出完毕时,控制LCD屏幕再次转动至LCD屏幕与电子设备的放置平面平行,从而可以为下一次搜题做准备。此外,当LCD屏幕与放置平面平行时,用户不便观看LCD屏幕,可以减少用户在观看教学视频完毕之后,再观看其他与学习无关的视频内容的可能性,避免用户在学习过程中分心,从而帮助用户提高学习效率。
作为另一种可选的实施方式,电子设备在视频内容输出完毕时,也可以控制LCD屏幕熄屏,同时控制拍摄模组拍摄人脸图像;识别人脸图像中是否存在眼睛区域;如果不存在,可以认为用户未注视墨水屏,用户可能存在注意力分散的情况,此时可以控制LCD屏幕启动并输出预设的视频动画,以吸引用户的注意力。实施该实施方式,可以在墨水屏输出显示的文字内容篇幅较长,用户由于长时间阅读导致注意分散的情况下,通过LCD屏幕输出的视频动画调动用户的学习积极性,以帮助用户提高学习效率。
进一步可选的,电子设备还可以对LCD屏幕正在播放的内容进行监测,如果检测到LCD屏幕中正在输出显示的内容不是合法的内容,控制LCD屏幕熄屏。其中,合法的内容为预先经过检验与学习相关的内容。具体可以对通过检验的内容进行标记,电子设备检测正在播放的内容的播放源,如果播放源中包含上述的标记,可以判断该内容为合法内容;否则,该内容不是合法的内容。实施上述的实施方式,可以限定用户只能通过LCD屏幕观看预先经过检验的学习内容,从而避免用户利用电子设备进行观看娱乐视频或者玩游戏等与学习无关的行为。
可见,在图3所描述的方法中,电子设备可以转动LCD屏幕以方便拍照搜题,并且在墨水屏中输出搜索结果,从而降低对视力的影响。进一步地,还可以在搜索结果中包含视频内容时,控制LCD屏幕转动至与墨水屏同一平面,并且在LCD屏幕中输出视频内容,以方便用户观看。
实施例三
请参阅图6,图6是本发明实施例公开的一种电子设备的结构示意图。如图6所示,该电子设备可以包括:
LCD屏幕与墨水屏;LCD屏幕与墨水屏转动连接,且LCD屏幕设置有拍摄模组;
第一控制单元401,用于在检测到搜题指令时,控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行;
第二控制单元402,用于控制拍摄模组在LCD屏幕所在平面与放置平面平行时拍摄题目图像;
搜索单元403,用于从题目图像中识别出题目内容,并根据题目内容进行搜索;
输出单元404,用于在墨水屏中输出显示题目内容的搜索结果。
作为一种可选的实施方式,第一控制单元401用于控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式具体可以为:
第一控制单元401,用于控制LCD屏幕转动,并且在转动过程中控制拍摄模组拍摄电子设备的放置平面的图像;以及,识别放置平面的图像中纸质材料的边界;以及,判断上述的边界中不相互连接的两条边沿是否平行;如果平行,控制LCD屏幕停止转动,以使LCD屏幕所在平面与电子设备的放置平面平行。
作为另一种可选的实施方式,第一控制单元401用于控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式具体也可以为:
第一控制单元401,用于获取用户输入的语音指令;以及,从上述的语音指令中识别出用于指示方位的方位关键词;以及,控制LCD屏幕按照识别出的方位关键词指示的方向以及预设的角度转动,直至检测到用户在LCD屏幕所在平面与电子设备的放置平面平行时输入的停止指令时控制LCD屏幕停止转动。
作为又一种可选的实施方式,第一控制单元401用于控制LCD屏幕转动至LCD屏幕所在平面与电子设备的放置平面平行的方式具体还可以为:
第一控制单元401,用于控制LCD屏幕转动,并且在转动过程中获取距离传感器测量到的实时距离信息;以及,判断实时距离信息与预设的机身高度之间的差值是否大于预设的阈值;如果是,根据上述的实时距离信息与机身高度之间的差值控制LCD屏幕转动,直至实时距离信息满足机身高度时控制LCD屏幕停止转动。其中,距离传感器设置在LCD屏幕上,距离传感器的测量方向与拍摄模组的取景方向相同,机身高度参考墨水屏的高度设置。
通过执行上述各个单元对应的操作,可以无需用户手动拿起电子设备进行拍照,从而可以减少用户需要操作的步骤,提高搜题的效率。同时,在墨水屏中输出显示搜索结果,可以降低对视力的影响。
在本发明实施例中,搜索单元403搜索到的搜索结果中可能包括文字以及视频。进一步可选的,上述的输出单元404用于在墨水屏中输出显示搜索结果的方式具体可以为:
输出单元404,用于在搜索结果中包含文字内容时,在墨水屏中输出显示文字内容;
此外,上述的第一控制单元401,还可以用于在搜索结果中包含视频内容时,控制LCD屏幕转动至LCD屏幕与墨水屏处于同一平面。
以及,上述的输出单元404,还可以用于在LCD屏幕与墨水屏处于同一平面时,在LCD屏幕中输出显示视频内容。
也就是说,图6所示的电子设备具体可以在墨水屏中输出显示文字内容,在LCD屏幕中输出显示视频内容,并且在输出视频内容之前将LCD屏幕转动至与墨水屏处于同一平面,以方便用户同时观看两个屏幕的显示内容。
更进一步可选的,输出单元404可以在视频内容输出完毕时,触发第一控制单元401控制LCD屏幕再次转动至LCD屏幕与电子设备的放置平面平行,从而为下一次搜题做准备,并且通过为用户观看LCD屏幕设置障碍的方式减少用户在观看教学视频完毕之后,再观看其他与学习无关的视频内容的可能性,以帮助用户提高学习效率。
或者,输出单元404也可以在视频内容输出完毕时,控制LCD屏幕熄屏,并触发第二控制单元403控制拍摄模组拍摄人脸图像,并由第二控制单元403将人脸图像传输至输出单元404。输出单元404识别人脸图像中是否存在眼睛区域;如果不存在,控制LCD屏幕启动并输出预设的视频动画,从而可以在墨水屏输出的文字内容篇幅较长,用户由于长时间阅读导致注意分散的情况下,通过LCD屏幕输出的视频动画调动用户的学习积极性,以帮助用户提高学习效率。
此外,输出单元404还可以在检测到LCD屏幕中正在输出显示的内容不是合法的内容时,控制LCD屏幕熄屏。具体地,输出单元404可以判断正在播放的内容所属的播放源中是否包含预设的标记;如果是,可以判断该内容是合法的内容;如果否,可以判断该内容不是合法的内容。
可见,实施如图6所示的电子设备,无需用户拿起电子设备即可拍照搜题,可以提高搜题效率;同时,在墨水屏中显示搜索结果,可以降低对视力的影响。进一步地,如果搜索结果中包含视频内容,电子设备还可以将LCD屏幕转动至与墨水屏处于同一平面,以方便用户同时观看两个屏幕的显示内容。更进一步地,电子设备还可以在视频内容播放完毕时控制LCD屏幕再次转动至与放置平面平行,以方便下一次搜题同时避免用户观看其他与学习无关的视频内容,以提高学习效率。
实施例四
请参阅图7,图7是本发明实施例公开的另一种电子设备的结构示意图。如图7所示,该电子设备可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行图4或图5所示的拍照搜题方法。
需要说明的是,图7所示的移动终端还可以包括电源、输入按键、摄像头、扬声器、LCD屏幕、墨水屏、RF电路、Wi-Fi模块、蓝牙模块、距离传感器等未显示的组件,本实施例不作赘述。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图4或图5所示的拍照搜题方法。
本发明实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行图4或图5所示的拍照搜题方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种拍照搜题方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种拍照搜题方法,其特征在于,所述方法应用于电子设备,所述电子设备包括LCD屏幕与墨水屏;所述LCD屏幕与所述墨水屏转动连接,且所述LCD屏幕设置有拍摄模组;所述方法包括:
在检测到搜题指令时,控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行;
控制所述拍摄模组在所述LCD屏幕所在平面与所述放置平面平行时拍摄题目图像;
从所述题目图像中识别出题目内容,并根据所述题目内容进行搜索;
在所述墨水屏中输出显示所述题目内容的搜索结果。
2.根据权利要求1所述的方法,其特征在于,所述在所述墨水屏中输出显示所述题目内容的搜索结果,包括:
如果所述题目内容的搜索结果中包含文字内容,在所述墨水屏中输出显示所述文字内容;
以及,所述方法还包括:
如果所述题目内容的搜索结果中包含视频内容,控制所述LCD屏幕转动至所述LCD屏幕与所述墨水屏处于同一平面;
在所述LCD屏幕与所述墨水屏处于同一平面时,在所述LCD屏幕中输出显示所述视频内容。
3.根据权利要求1或2所述的方法,其特征在于,所述控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行,包括:
控制所述LCD屏幕转动,并且在转动过程中控制所述拍摄模组拍摄所述电子设备的放置平面的图像;
识别所述放置平面的图像中纸质材料的边界;
判断所述边界中不相互连接的两条边沿是否平行;
如果平行,控制所述LCD屏幕停止转动,以使所述LCD屏幕所在平面与所述电子设备的放置平面平行。
4.根据权利要求1或2所述的方法,其特征在于,所述控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行,包括:
获取用户输入的语音指令;
从所述语音指令中识别出用于指示方位的方位关键词;
控制所述LCD屏幕按照所述方位关键词指示的方向以及预设的角度转动,直至检测到用户在所述LCD屏幕所在平面与所述电子设备的放置平面平行时输入的停止指令时控制所述LCD屏幕停止转动。
5.根据权利要求1或2所述的方法,其特征在于,所述LCD屏幕上设置有距离传感器,所述距离传感器的测量方向与所述拍摄模组的取景方向相同;所述控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行,包括:
控制所述LCD屏幕转动,并且在转动过程中获取所述距离传感器测量到的实时距离信息;
判断所述实时距离信息与预设的机身高度之间的差值是否大于预设的阈值;所述机身高度参考所述墨水屏的高度设置;
如果是,根据所述实时距离信息与所述机身高度之间的差值控制所述LCD屏幕转动,直至所述实时距离信息满足所述机身高度时控制所述LCD屏幕停止转动。
6.一种电子设备,其特征在于,所述电子设备,包括:LCD屏幕与墨水屏;所述LCD屏幕与所述墨水屏转动连接,且所述LCD屏幕设置有拍摄模组;
第一控制单元,用于在检测到搜题指令时,控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行;
第二控制单元,用于控制所述拍摄模组在所述LCD屏幕所在平面与所述放置平面平行时拍摄题目图像;
搜索单元,用于从所述题目图像中识别出题目内容,并根据所述题目内容进行搜索;
输出单元,用于在所述墨水屏中输出显示所述题目内容的搜索结果。
7.根据权利要求6所述的电子设备,其特征在于,所述输出单元用于在所述墨水屏中输出显示搜索结果的方式具体为:
所述输出单元,用于在所述搜索结果中包含文字内容时,在所述墨水屏中输出显示所述文字内容;
以及,所述第一控制单元,还用于在所述搜索结果中包含视频内容时,控制所述LCD屏幕转动至所述LCD屏幕与所述墨水屏处于同一平面;
所述输出单元,还用于在所述LCD屏幕与所述墨水屏处于同一平面时,在所述LCD屏幕中输出显示所述视频内容。
8.根据权利要求6或7所述的电子设备,其特征在于,所述第一控制单元用于控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行的方式具体为:
所述第一控制单元,用于控制所述LCD屏幕转动,并且在转动过程中控制所述拍摄模组拍摄所述电子设备的放置平面的图像;以及,识别所述放置平面的图像中纸质材料的边界;以及,判断所述边界中不相互连接的两条边沿是否平行;如果平行,控制所述LCD屏幕停止转动,以使所述LCD屏幕所在平面与所述电子设备的放置平面平行。
9.根据权利要求6或7所述的电子设备,其特征在于,所述第一控制单元用于控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行的方式具体为:
所述第一控制单元,用于获取用户输入的语音指令;以及,从所述语音指令中识别出用于指示方位的方位关键词;以及,控制所述LCD屏幕按照所述方位关键词指示的方向以及预设的角度转动,直至检测到用户在所述LCD屏幕所在平面与所述电子设备的放置平面平行时输入的停止指令时控制所述LCD屏幕停止转动。
10.根据权利要求6或7所述的电子设备,其特征在于,所述LCD屏幕上设置有距离传感器,所述距离传感器的测量方向与所述拍摄模组的取景方向相同;
以及,所述第一控制单元用于控制所述LCD屏幕转动至所述LCD屏幕所在平面与所述电子设备的放置平面平行的方式具体为:
所述第一控制单元,用于控制所述LCD屏幕转动,并且在转动过程中获取所述距离传感器测量到的实时距离信息;以及,判断所述实时距离信息与预设的机身高度之间的差值是否大于预设的阈值;如果是,根据所述实时距离信息与所述机身高度之间的差值控制所述LCD屏幕转动,直至所述实时距离信息满足所述机身高度时控制所述LCD屏幕停止转动;其中,所述机身高度参考所述墨水屏的高度设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910321916.XA CN111091033A (zh) | 2019-04-22 | 2019-04-22 | 一种拍照搜题方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910321916.XA CN111091033A (zh) | 2019-04-22 | 2019-04-22 | 一种拍照搜题方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111091033A true CN111091033A (zh) | 2020-05-01 |
Family
ID=70392935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910321916.XA Pending CN111091033A (zh) | 2019-04-22 | 2019-04-22 | 一种拍照搜题方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091033A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220162A (zh) * | 2021-05-13 | 2021-08-06 | 上海墨案智能科技有限公司 | 电子屏幕实时互动方法、终端及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472906A (zh) * | 2013-09-25 | 2013-12-25 | 小米科技有限责任公司 | 一种终端双屏幕切换的方法、装置和终端设备 |
CN205809839U (zh) * | 2016-06-02 | 2016-12-14 | 重庆蓝岸通讯技术有限公司 | 具有护眼功能的双屏手写平板设备 |
CN107105106A (zh) * | 2017-06-09 | 2017-08-29 | 青岛海信移动通信技术股份有限公司 | 移动终端及其屏幕控制方法 |
CN109327657A (zh) * | 2018-07-16 | 2019-02-12 | 广东小天才科技有限公司 | 一种基于摄像头的拍照搜题方法及家教设备 |
CN109639952A (zh) * | 2019-01-23 | 2019-04-16 | 广东小天才科技有限公司 | 一种拍照搜题方法及电子设备 |
-
2019
- 2019-04-22 CN CN201910321916.XA patent/CN111091033A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472906A (zh) * | 2013-09-25 | 2013-12-25 | 小米科技有限责任公司 | 一种终端双屏幕切换的方法、装置和终端设备 |
CN205809839U (zh) * | 2016-06-02 | 2016-12-14 | 重庆蓝岸通讯技术有限公司 | 具有护眼功能的双屏手写平板设备 |
CN107105106A (zh) * | 2017-06-09 | 2017-08-29 | 青岛海信移动通信技术股份有限公司 | 移动终端及其屏幕控制方法 |
CN109327657A (zh) * | 2018-07-16 | 2019-02-12 | 广东小天才科技有限公司 | 一种基于摄像头的拍照搜题方法及家教设备 |
CN109639952A (zh) * | 2019-01-23 | 2019-04-16 | 广东小天才科技有限公司 | 一种拍照搜题方法及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220162A (zh) * | 2021-05-13 | 2021-08-06 | 上海墨案智能科技有限公司 | 电子屏幕实时互动方法、终端及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107273002B (zh) | 手写输入答题方法、终端及计算机可读存储介质 | |
US9870714B2 (en) | Tablet learning apparatus | |
US20040215689A1 (en) | Computer and vision-based augmented interaction in the use of printed media | |
US10180949B2 (en) | Method and apparatus for information searching | |
US8900043B1 (en) | Structured jigsaw puzzles | |
KR970704493A (ko) | 사람의 동작을 학습하기 위한 시스템(system for human trajectory learning) | |
CN106713840B (zh) | 虚拟信息显示方法及装置 | |
US20140375698A1 (en) | Method for adjusting display unit and electronic device | |
WO2018108177A1 (zh) | 一种机器人绘画教学方法、装置及其机器人 | |
CN109783613B (zh) | 一种搜题方法及系统 | |
CN103823877A (zh) | 实物展示方法、实物展示系统及对应的图片获取装置 | |
CN110019757A (zh) | 书本点读互动设备及其控制方法、计算机可读存储介质 | |
CN114007098B (zh) | 一种用于智能课堂中3d全息视频的生成方法和装置 | |
CN117032612A (zh) | 基于远光成像学习机的互动教学方法、装置、终端及介质 | |
JP4790080B1 (ja) | 情報処理装置,情報表示方法,情報表示プログラム,及び記録媒体 | |
CN111091033A (zh) | 一种拍照搜题方法及电子设备 | |
CN111078179A (zh) | 一种听写报读进度的控制方法及电子设备 | |
CN111079737B (zh) | 一种文字倾斜矫正方法及电子设备 | |
WO2020051884A1 (zh) | 显示控制方法及相关产品 | |
JP3164748U (ja) | 情報処理装置 | |
WO2022231703A1 (en) | Integrating overlaid digital content into displayed data via processing circuitry using a computing memory and an operating system memory | |
US11461576B2 (en) | Information processing method and related electronic device | |
CN111563497B (zh) | 基于移动轨迹的框题方法、装置、电子设备及存储介质 | |
CN114863448A (zh) | 答题统计方法、装置、设备及存储介质 | |
CN108519822A (zh) | 基于人机交互的动作匹配系统、方法、存储介质及交互装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |