CN111176433A - 一种基于智能音箱的搜索结果显示方法及智能音箱 - Google Patents

一种基于智能音箱的搜索结果显示方法及智能音箱 Download PDF

Info

Publication number
CN111176433A
CN111176433A CN201911003440.1A CN201911003440A CN111176433A CN 111176433 A CN111176433 A CN 111176433A CN 201911003440 A CN201911003440 A CN 201911003440A CN 111176433 A CN111176433 A CN 111176433A
Authority
CN
China
Prior art keywords
sound box
gesture
user
search result
intelligent sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911003440.1A
Other languages
English (en)
Other versions
CN111176433B (zh
Inventor
张卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201911003440.1A priority Critical patent/CN111176433B/zh
Publication of CN111176433A publication Critical patent/CN111176433A/zh
Application granted granted Critical
Publication of CN111176433B publication Critical patent/CN111176433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Abstract

本发明实施例涉及智能音箱技术领域,公开了一种基于智能音箱的搜索结果显示方法及智能音箱,该方法包括:通过智能音箱的第一拍摄模组检测用户的手势动作;若手势动作与预设的搜索手势相匹配,控制智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;识别纸质学习页面图像的学习内容;搜索与学习内容相匹配的搜索结果;将搜索结果投影至与智能音箱连接的第一显示设备;通过显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,保护用户眼睛,提高用户的使用体验感。

Description

一种基于智能音箱的搜索结果显示方法及智能音箱
技术领域
本发明涉及智能音箱技术领域,具体涉及一种基于智能音箱的搜索结果显示方法及智能音箱。
背景技术
目前,学生在使用家教设备进行学习过程中,若遇到不懂的地方,可以通过搜索补充学习。具体地,可以通过家教设备的摄像头拍摄图像,然后识别图像并搜索与识别到的内容相匹配的搜索结果,该搜索结果可以在显示屏的当前窗口上叠加显示,或者以小窗口显示。其中,叠加显示的方式很难同时对比两个窗口的内容,小窗口显示的方式下显示内容又太小,阅读起来不方便。可见,现有的搜索结果的显示方式给以用户的阅读视觉效果都较差,影响到用户的使用体验。
发明内容
本发明实施例公开了一种基于智能音箱的搜索结果显示方法及智能音箱,用于提高搜索结果的阅读视觉效果,提高用户的使用体验感。
本发明实施例第一方面提供了一种基于智能音箱的搜索结果显示方法,可包括:
通过所述智能音箱的第一拍摄模组检测用户的手势动作;
若所述手势动作与预设的搜索手势相匹配,控制所述智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;
识别所述纸质学习页面图像的学习内容;
搜索与所述学习内容相匹配的搜索结果;
将所述搜索结果投影至与所述智能音箱连接的第一显示设备。
作为一种可选的实施方式,在本发明实施例第一方面中,所述将所述搜索结果投影至与所述智能音箱连接的第一显示设备之前,所述方法还包括:
在所述智能音箱的显示屏上显示所述搜索结果;
通过所述第一拍摄模组检测是否接收到用于指示投影的投影手势;
当检测到所述投影手势时,执行所述将所述搜索结果投影至与所述智能音箱连接的第一显示设备的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
在所述手势动作与所述预设的搜索手势相匹配时,向预置的移动终端发送通知消息,所述通知消息用于提示所述智能音箱用户启动搜索功能;
检测是否接收到第二显示设备发送的投影请求;
当接收到所述投影请求且搜索到所述搜索结果之后,将所述搜索结果投影至所述第二显示设备。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
通过所述第二拍摄模组拍摄用户的视频图像;
将所述视频图像以小窗口方式投影至所述第二显示设备,其中,用于显示所述视频图像的小窗口置于所述第二显示设备的最前端。
作为一种可选的实施方式,在本发明实施例第一方面中,所述通过所述智能音箱的第一拍摄模组检测用户的手势动作,包括:
检测是否接收到可穿戴设备发送的手势动作图像;
当接收到所述手势动作图像时,识别出所述手势动作图像中的手势动作。
本发明实施例第二方面提供了一种智能音箱,可包括:
手势检测单元,用于通过所述智能音箱的第一拍摄模组检测用户的手势动作;
图像拍摄单元,用于在所述手势检测单元检测到的所述手势动作与预设的搜索手势相匹配时,控制所述智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;
内容识别单元,用于识别所述纸质学习页面图像的学习内容;
搜索单元,用于搜索与所述学习内容相匹配的搜索结果;
投影单元,用于将所述搜索结果投影至与所述智能音箱连接的第一显示设备。
作为一种可选的实施方式,在本发明实施例第二方面中,所述智能音箱还包括:显示单元;
所述显示单元,用于在所述投影单元用于将所述搜索结果投影至与所述智能音箱连接的第一显示设备之前,在所述智能音箱的显示屏上显示所述搜索结果;
所述手势检测单元,还用于通过所述第一拍摄模组检测是否接收到用于指示投影的投影手势;
所述投影单元,具体用于当检测到所述投影手势时,将所述搜索结果投影至与所述智能音箱连接的第一显示设备。
作为一种可选的实施方式,在本发明实施例第二方面中,所述智能音箱还包括:通信单元;
所述通信单元,用于在所述手势动作与所述预设的搜索手势相匹配时,向预置的移动终端发送通知消息,所述通知消息用于提示所述智能音箱用户启动搜索功能;
所述通信单元,还用于检测是否接收到第二显示设备发送的投影请求;
所述投影单元,还用于当所述通信单元接收到所述投影请求且所述搜索单元搜索到所述搜索结果之后,将所述搜索结果投影至所述第二显示设备。
作为一种可选的实施方式,在本发明实施例第二方面中,所述图像拍摄单元,还用于通过所述第二拍摄模组拍摄用户的视频图像;
所述投影单元,还用于将所述视频图像以小窗口方式投影至所述第二显示设备,其中,用于显示所述视频图像的小窗口置于所述第二显示设备的最前端。
作为一种可选的实施方式,在本发明实施例第二方面中,所述手势检测单元用于通过所述智能音箱的第一拍摄模组检测用户的手势动作的方式具体为:
所述手势检测单元,用于检测是否接收到可穿戴设备发送的手势动作图像;以及,当接收到所述手势动作图像时,识别出所述手势动作图像中的手势动作。
本发明实施例第三方面公开了一种智能音箱,可包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种基于智能音箱的搜索结果显示方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于智能音箱的搜索结果显示方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
在本发明实施例中,智能音箱通过第一拍摄模组检测用户的手势动作,而在检测到的手势动作与预设的搜索手势匹配时,控制第二拍摄模组拍摄用户的纸质学习页面,从而获得纸质学习页面图像,进一步通过识别该纸质学习页面图像,获得学习内容,在搜索到与学习内容相匹配的搜索结果之后,将搜索结果投影至与智能音箱相连接的第一显示设备上,可以看出,实施本发明实施例,智能音箱能够在用户手势的触发下进行搜索,而搜索到的搜索结果会投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,保护用户眼睛,提高用户的使用体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例公开的智能音箱的结构示意图;
图2为本发明一实施例公开的基于智能音箱的搜索结果显示方法的流程示意图;
图3为本发明另一实施例公开的基于智能音箱的搜索结果显示方法的流程示意图;
图4为本发明又一实施例公开的基于智能音箱的搜索结果显示方法的流程示意图;
图5为本发明一实施例公开的智能音箱的模块化结构示意图;
图6为本发明另一实施例公开的智能音箱的模块化结构示意图;
图7为本发明又一实施例公开的智能音箱的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于智能音箱的搜索结果显示方法,用于提高搜索结果的阅读视觉效果,提高用户的使用体验感,本发明实施例还相应地公开了一种智能音箱。
本发明实施例公开一种智能音箱,智能音箱是一体成型的立式设备,可以是放置于桌面上较小体积的小型智能设备,也可以是放置于地面的竖立式智能设备,其中,该智能音箱包括主机箱体,主机箱体上设置有显示屏。在一种可选的应用场景中,智能音箱还包括摄像头,显示屏和摄像头可拆卸设置于主机箱体上,在使用时,将显示屏和/或摄像头安装到主机箱体上预留的位置,在不使用时,可以将显示屏和/或摄像头拆下,便于移动智能音箱、保护显示屏和摄像头。在另一种可选的应用场景中,智能音箱不设置摄像头,但配置额外的摄像头,在用户使用时,可以将摄像头安装在用户佩戴的眼镜上。或者,智能音箱还包括摄像头,同时配置额外的摄像头,在用户使用时,可以将配置的额外摄像头安装在用户佩戴的眼镜上。在又一种可选的应用场景中,智能音箱还包括摄像头,该摄像头可通过拉绳与主机箱体连接,该摄像头可以拉出并固定在主机箱体上的任意位置。在又一种可选的应用场景中,智能音箱可采用双摄像头设计,包括顶部摄像头和底部摄像头,其中,顶部摄像头可升降旋转,用于拍摄桌面,底部摄像头固定在主机箱体,可以用于识别手势。在又一种可选的应用场景中,主机箱体的底部还设置有轮子,可以推动移动。进一步可选地,主机箱体内部还设置有控制电路,该控制电路与轮子电连接,主机箱体给出行走路径,可以通过控制电路控制智能音箱按照行走路径行走,实现智能音箱的自动移动。在又一种可选的应用场景中,智能音箱的显示屏可以采用折叠屏幕,以解决横屏、竖屏切换的问题。在又一种可选的应用场景中,智能音箱还设置有补光光源,可包括灯泡、灯带,或者灯带+外置部件(如百叶窗)等等。
如图1所示,图1中仅示出主机箱体、显示屏和摄像头,其它部件并未在图1中示出。可以理解,图1仅为本发明一些实施例对应的智能音箱,其它在图1智能音箱基础上进行优化或者变形,并能够实现本发明技术方案的智能音箱均属于本发明技术方案的保护范围,在此不再一一列举。
下面将从智能音箱角度出发,通过具体实施例对本发明技术方案进行详细介绍。
实施例一
请参阅图2,图2为本发明一实施例公开的基于智能音箱的搜索结果显示方法的流程示意图;如图2所示,该基于智能音箱的搜索结果显示方法可包括:
201、智能音箱通过第一拍摄模组检测用户的手势动作。
需要说明的是,在利用智能音箱进行学习时,如“一点一问”、作业辅导等,智能音箱同时开启搜索功能,通过第一拍摄模组实时检测用户的手势动作。
作为一种可选的实施方式,智能音箱在检测手势动作过程中,通过第一拍摄模组检测用户手部,若只检测到部分用户手部时(即未检测到完整的用户手部),输出提示用户将手部放置于检测区域的提示消息。在该实施方式中,智能音箱能够在用户手部未全部置于检测区域时,提示用户将手部放置于检测区域,以便能够准确地检测手势动作。
作为一种可选的实施方式,上述步骤201可以包括:智能音箱通过底部摄像头检测用户的手势动作。
进一步地,在执行步骤201之前,智能音箱检测是否接收到某一学习应用的开启指令,当接收到该开启指令时,打开该学习应用并且检测底部摄像头是否位于拍摄位置,当底部摄像头位于拍摄位置时,执行步骤201;在底部摄像头未位于拍摄位置时,控制该底部摄像头从回收位置滑动至拍摄位置,执行步骤201。其中,回收位置是指在不使用底部摄像头时,用于回收放置底部摄像头的位置,其中,回收位置可以是在智能音箱侧面上接近底面的位置设置的一个收纳腔,在需要拍摄时,控制底部摄像头从收纳腔滑动且伸出智能音箱外面,获得拍摄位置。
进一步可选地,智能音箱检测是否接收到某一学习应用的开启指令可以包括:
预先拍摄用于指示开启某一学习应用的开启手势并保存在智能音箱中,之后,通过智能音箱的第一拍摄模组检测是否接收到手势动作,当接收到手势动作时,判断该手势动作是否与预先保存的开启手势相匹配,如果相匹配,那么确定为检测到开启手势。在该实施方式中,用户可以通过手势控制智能音箱开启某一学习应用,提高智能音箱的智能化,实现用户与智能音箱的更多互动。可选地,预先设置的开启手势可以是比耶手势(剪刀手)或者拳头等,通过自然手势实现与智能音箱的互动,降低智能音箱的使用难度。
其中,结合图1所示的智能音箱,第一拍摄模组具体为智能音箱的底部摄像头,具体地,通过智能音箱的第一拍摄模组检测是否接收到手势动作包括:通过智能音箱的底部摄像头检测是否接收到手势动作。在该可选方式中,智能音箱设置至少两个摄像头,其中,可以优选底部摄像头用于检测手势动作,而顶部摄像头可以用于拍摄桌面,拍摄听写图像。
202、智能音箱在上述手势动作与预设的搜索手势相匹配时,控制第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像。
其中,第二拍摄模组可以为智能音箱的顶部摄像头。
作为一种可选的实施方式,步骤202包括:检测顶部摄像头是否位于拍摄位置,当顶部摄像头没有位于拍摄位置时,输出用于提示用户将顶部摄像头拉动至该拍摄位置,并在顶部摄像头位于拍摄位置后,执行步骤201;当顶部摄像头位于拍摄位置时,执行步骤201。其中,顶部摄像头可以通过拉绳与智能音箱连接,在需要拍摄时,用户可以通过手动拉动拉绳将顶部摄像头拉出并置于拍摄位置,优选地,拍摄位置可以为顶部摄像头伸出智能音箱且能够获得较好拍摄角度的位置。
203、智能音箱识别纸质学习页面图像的学习内容。
可选地,智能音箱可以通过光学字符识别(Optical Character Recognition,OCR)从纸质学习页面图像中获取到学习内容,在此不在赘述。
204、智能音箱搜索与学习内容相匹配的搜索结果。
205、智能音箱将搜索结果投影至与智能音箱连接的第一显示设备。
作为一种可选的实施方式,在手势动作与预设的搜索手势相匹配时,向预置的移动终端发送通知消息,该通知消息用于提示智能音箱用户启动搜索功能;以及,检测是否接收到第二显示设备发送的投影请求;以及,当接收到投影请求且搜索到搜索结果之后,将搜索结果投影至第二显示设备。
其中,在上述实施方式中,第一显示设备与第二显示设备可以位于不同的地方,向移动终端发送通知消息为了用于告知移动终端的用户,智能音箱的用户在学习过程中开启了搜索功能,若移动终端的用户需要了解智能音箱用户的当前学习状态,可以请求将搜索结果也投影至第二显示设备,以便移动终端用户能够及时了解智能音箱用户的学习状态。
进一步地,为了不影响到智能音箱用户,在实现上述实施方式时可以不用通知智能音箱用户,即智能音箱不会输出任何提示。
举例来说,当孩子在房间利用智能音箱并配合第一显示设备进行学习时,在孩子在学习过程中启动了搜索功能,那么智能音箱将向家长的移动终端发送通知消息,然后家长可以通过其房间或者客厅上的第二显示设备来同步了解孩子的学习状态,以能够及时掌握孩子的学习进度,有助于家长针对性地指导孩子,或者家长反馈给老师,以便老师能够针对性地指导孩子,提高孩子的学习成绩。
进一步可选地,在搜索结果投影至第二显示设备的过程中,还通过第二拍摄模组拍摄用户的视频图像;以及,将视频图像以小窗口方式投影至第二显示设备,其中,用于显示视频图像的小窗口置于第二显示设备的最前端。在该实施方式中,可以同时将用户的视频图像在第二显示设备上输出显示,以便第二显示设备的用户能够了解智能音箱用户的精神状态,以更好地跟智能音箱用户进行沟通、互动。例如,智能音箱用户为孩子,第二显示设备用户为家长,那么通过该方式,可以让家长了解到孩子在学习过程中的精神状态,以帮助家长更好地与孩子进行互动,有助于孩子的身心健康。
其中,在上述实施方式中,小窗口可以是叠加显示在搜索结果的显示界面上,为了不影响智能音箱用户,智能音箱可以不给以其用户任何有关于小窗口的提示,即智能音箱用户并不知道在第二显示设备上以小窗口显示其视频图像。
优选地,第一显示设备和第二显示设备可以是显示器、电视机等。
作为另一种可选的实施方式,在搜索结果投影至第二显示设备的过程中,智能音箱还检测是否接收到用户输入的亲子互动指令,当接收到该亲子互动指令时,智能音箱向移动终端发送上述通知消息,并在接收到投影请求且搜索到搜索结果之后,将搜索结果投影至第二显示设备,以及释放针对该搜索结果进行批阅的权利,以使得第二显示设备的用户可以对所显示的搜索结果进行批注,并获取智能音箱用户的视频图像,将该视频图像以小窗口方式投影至第二显示设备,其中,用于显示视频图像的小窗口置于第二显示设备的最前端。在该实施方式中,智能音箱用户可以主动发起与家长的交互请求,从而可以在学习搜索结果时,与家长完成交流互动。此时,有关于在第二显示设备显示搜索结果和视频图像是通知到智能音箱用户的。
在本发明实施例中,智能音箱通过第一拍摄模组检测用户的手势动作,而在检测到的手势动作与预设的搜索手势匹配时,控制第二拍摄模组拍摄用户的纸质学习页面,从而获得纸质学习页面图像,进一步通过识别该纸质学习页面图像,获得学习内容,在搜索到与学习内容相匹配的搜索结果之后,将搜索结果投影至与智能音箱相连接的第一显示设备上,可以看出,实施本发明实施例,智能音箱能够在用户手势的触发下进行搜索,而搜索到的搜索结果会投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,提高用户的使用体验感。
实施例二
请参阅图3,图3为本发明另一实施例公开的基于智能音箱的搜索结果显示方法的流程示意图;如图3所示,该基于智能音箱的搜索结果显示方法可包括:
301、智能音箱通过第一拍摄模组检测用户的手势动作。
302、智能音箱在上述手势动作与预设的搜索手势相匹配时,控制第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像。
303、智能音箱识别上述纸质学习页面图像的学习内容。
304、智能音箱搜索与学习内容相匹配的搜索结果。
其中,有关于步骤301-304的更多说明,可以参阅实施例一中的步骤201-204,在此不再赘述。
305、智能音箱在显示屏上显示上述搜索结果。
可以理解的是,智能音箱的显示屏上也可以同步显示搜索结果。
306、智能音箱通过第一拍摄模组检测是否接收到用于指示投影的投影手势;其中,当检测到该投影手势时,转向步骤307;当未检测到该投影手势时,结束本流程。
307、智能音箱将搜索结果投影至与其连接的第一显示设备。
在上述实施例中,智能音箱能够在用户手势的触发下进行搜索,而搜索到的搜索结果除了在智能音箱的显示屏上显示,还会投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,提高用户的使用体验感。
实施例三
请参阅图4,图4为本发明又一实施例公开的基于智能音箱的搜索结果显示方法的流程示意图;如图4所示,该基于智能音箱的搜索结果显示方法可包括:
401、智能音箱检测是否接收到可穿戴设备发送的手势动作图像。其中,在接收到上述手势动作图像时,转向步骤402;在未接收到上述手势动作图像时,结束本流程。
可以理解,在本发明实施例中,可以通过可穿戴设备的摄像头拍摄手势动作图像,然后再将手势动作图像发送给智能音箱,由智能音箱进一步识别以启动搜索功能。
402、智能音箱识别出手势动作图像中的手势动作。
403、智能音箱在手势动作与预设的搜索手势相匹配时,控制第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像。
作为一种可选的实施方式,智能音箱通过第一拍摄模组检测是否检测到可穿戴设备,当检测到可穿戴设备时,执行控制第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像的步骤,并执行步骤404-406。
可以理解,在上述实施方式中,可以通过可穿戴设备直接触发搜索功能,从而控制第二拍摄模组拍摄用户的纸质学习页面。可以看出,通过利用用户佩戴有可穿戴设备的优势,简单便捷地触发搜索功能。
404、智能音箱识别纸质学习页面图像的学习内容。
405、智能音箱搜索与学习内容相匹配的搜索结果。
406、智能音箱将搜索结果投影至与其连接的第一显示设备。
在上述实施例中,智能音箱能够通过分析可穿戴设备发送的手势动作图像,在手势动作匹配预设的搜索手势时,对学习内容进行搜索,而搜索到的搜索结果投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,提高用户的使用体验感。
实施例四
请参阅图5,图5为本发明一实施例公开的智能音箱的模块化结构示意图;如图5所示,该智能音箱可包括:
手势检测单元510,用于通过智能音箱的第一拍摄模组检测用户的手势动作;
图像拍摄单元520,用于在上述手势检测单元510检测到的手势动作与预设的搜索手势相匹配时,控制智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;
内容识别单元530,用于识别纸质学习页面图像的学习内容;
搜索单元540,用于搜索与学习内容相匹配的搜索结果;
投影单元550,用于将上述搜索结果投影至与智能音箱连接的第一显示设备。
作为一种可选的实施方式,手势检测单元510在检测手势动作过程中,通过第一拍摄模组检测用户手部,若只检测到部分用户手部时(即未检测到完整的用户手部),输出提示用户将手部放置于检测区域的提示消息。在该实施方式中,智能音箱能够在用户手部未全部置于检测区域时,提示用户将手部放置于检测区域,以便能够准确地检测手势动作。
作为一种可选的实施方式,手势检测单元510用于通过智能音箱的第一拍摄模组检测用户的手势动作的方式具体为:手势检测单元510通过智能音箱的底部摄像头检测用户的手势动作。
进一步地,手势检测单元510检测是否接收到某一学习应用的开启指令,当接收到该开启指令时,打开该学习应用并且检测底部摄像头是否位于拍摄位置,当底部摄像头位于拍摄位置时,执行通过智能音箱的第一拍摄模组检测用户的手势动作;在底部摄像头未位于拍摄位置时,控制该底部摄像头从回收位置滑动至拍摄位置,执行用于通过智能音箱的第一拍摄模组检测用户的手势动作。其中,回收位置是指在不使用底部摄像头时,用于回收放置底部摄像头的位置,其中,回收位置可以是在智能音箱侧面上接近底面的位置设置的一个收纳腔,在需要拍摄时,控制底部摄像头从收纳腔滑动且伸出智能音箱外面,获得拍摄位置。
进一步可选地,手势检测单元510用于检测是否接收到某一学习应用的开启指令的方式具体为:
预先拍摄用于指示开启某一学习应用的开启手势并保存在智能音箱中,之后,通过智能音箱的第一拍摄模组检测是否接收到手势动作,当接收到手势动作时,判断该手势动作是否与预先保存的开启手势相匹配,如果相匹配,那么确定为检测到开启手势。在该实施方式中,用户可以通过手势控制智能音箱开启某一学习应用,提高智能音箱的智能化,实现用户与智能音箱的更多互动。可选地,预先设置的开启手势可以是比耶手势(剪刀手)或者拳头等,通过自然手势实现与智能音箱的互动,降低智能音箱的使用难度。
其中,结合图1所示的智能音箱,第一拍摄模组具体为智能音箱的底部摄像头,具体地,手势检测单元510用于通过智能音箱的第一拍摄模组检测是否接收到手势动作的方式具体为:通过智能音箱的底部摄像头检测是否接收到手势动作。在该可选方式中,智能音箱设置至少两个摄像头,其中,可以优选底部摄像头用于检测手势动作,而顶部摄像头可以用于拍摄桌面,拍摄听写图像。
作为一种可选的实施方式,图像拍摄单元520用于在上述手势检测单元510检测到的手势动作与预设的搜索手势相匹配时,控制智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像的方式具体为:检测顶部摄像头是否位于拍摄位置,当顶部摄像头没有位于拍摄位置时,输出用于提示用户将顶部摄像头拉动至该拍摄位置,并在顶部摄像头位于拍摄位置后,执行控制智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;当顶部摄像头位于拍摄位置时,执行控制智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像。其中,顶部摄像头可以通过拉绳与智能音箱连接,在需要拍摄时,用户可以通过手动拉动拉绳将顶部摄像头拉出并置于拍摄位置,优选地,拍摄位置可以为顶部摄像头伸出智能音箱且能够获得较好拍摄角度的位置。
作为一种可选的实施方式,在手势动作与预设的搜索手势相匹配时,投影单元550向预置的移动终端发送通知消息,该通知消息用于提示智能音箱用户启动搜索功能;以及,检测是否接收到第二显示设备发送的投影请求;以及,当接收到投影请求且搜索到搜索结果之后,将搜索结果投影至第二显示设备。
其中,在上述实施方式中,第一显示设备与第二显示设备可以位于不同的地方,向移动终端发送通知消息为了用于告知移动终端的用户,智能音箱的用户在学习过程中开启了搜索功能,若移动终端的用户需要了解智能音箱用户的当前学习状态,可以请求将搜索结果也投影至第二显示设备,以便移动终端用户能够及时了解智能音箱用户的学习状态。
进一步地,为了不影响到智能音箱用户,在实现上述实施方式时可以不用通知智能音箱用户,即智能音箱不会输出任何提示。
举例来说,当孩子在房间利用智能音箱并配合第一显示设备进行学习时,在孩子在学习过程中启动了搜索功能,那么智能音箱将向家长的移动终端发送通知消息,然后家长可以通过其房间或者客厅上的第二显示设备来同步了解孩子的学习状态,以能够及时掌握孩子的学习进度,有助于家长针对性地指导孩子,或者家长反馈给老师,以便老师能够针对性地指导孩子,提高孩子的学习成绩。
进一步可选地,在搜索结果投影至第二显示设备的过程中,图像拍摄单元520还通过第二拍摄模组拍摄用户的视频图像;以及,投影单元550将视频图像以小窗口方式投影至第二显示设备,其中,用于显示视频图像的小窗口置于第二显示设备的最前端。在该实施方式中,可以同时将用户的视频图像在第二显示设备上输出显示,以便第二显示设备的用户能够了解智能音箱用户的精神状态,以更好地跟智能音箱用户进行沟通、互动。例如,智能音箱用户为孩子,第二显示设备用户为家长,那么通过该方式,可以让家长了解到孩子在学习过程中的精神状态,以帮助家长更好地与孩子进行互动,有助于孩子的身心健康。
其中,在上述实施方式中,小窗口可以是叠加显示在搜索结果的显示界面上,为了不影响智能音箱用户,智能音箱可以不给以其用户任何有关于小窗口的提示,即智能音箱用户并不知道在第二显示设备上以小窗口显示其视频图像。
优选地,第一显示设备和第二显示设备可以是显示器、电视机等。
作为另一种可选的实施方式,在搜索结果投影至第二显示设备的过程中,投影单元550还检测是否接收到用户输入的亲子互动指令,当接收到该亲子互动指令时,智能音箱向移动终端发送上述通知消息,并在接收到投影请求且搜索到搜索结果之后,将搜索结果投影至第二显示设备,以及释放针对该搜索结果进行批阅的权利,以使得第二显示设备的用户可以对所显示的搜索结果进行批注,并通过图像拍摄单元520获取智能音箱用户的视频图像,将该视频图像以小窗口方式投影至第二显示设备,其中,用于显示视频图像的小窗口置于第二显示设备的最前端。在该实施方式中,智能音箱用户可以主动发起与家长的交互请求,从而可以在学习搜索结果时,与家长完成交流互动。此时,有关于在第二显示设备显示搜索结果和视频图像是通知到智能音箱用户的。
实施上述智能音箱,智能音箱通过第一拍摄模组检测用户的手势动作,而在检测到的手势动作与预设的搜索手势匹配时,控制第二拍摄模组拍摄用户的纸质学习页面,从而获得纸质学习页面图像,进一步通过识别该纸质学习页面图像,获得学习内容,在搜索到与学习内容相匹配的搜索结果之后,将搜索结果投影至与智能音箱相连接的第一显示设备上,可以看出,实施本发明实施例,智能音箱能够在用户手势的触发下进行搜索,而搜索到的搜索结果会投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,提高用户的使用体验感。
实施例五
请参阅图6,图6为本发明另一实施例公开的智能音箱的模块化结构示意图;图6所示的智能音箱是在图5所示的智能音箱的基础上进行优化得到的,图6所示的智能音箱还包括:显示单元610、以及通信单元620。
作为一种可选的实施方式,上述显示单元610,用于在上述投影单元550用于将搜索结果投影至与智能音箱连接的第一显示设备之前,在智能音箱的显示屏上显示该搜索结果。
进而,上述手势检测单元510,还用于通过第一拍摄模组检测是否接收到用于指示投影的投影手势;
上述投影单元550,具体用于当检测到上述投影手势时,将搜索结果投影至与智能音箱连接的第一显示设备。
上述实施方式中,智能音箱能够在用户手势的触发下进行搜索,而搜索到的搜索结果除了在智能音箱的显示屏上显示,还会投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,提高用户的使用体验感。
作为一种可选的实施方式,上述通信单元620,用于在手势动作与预设的搜索手势相匹配时,向预置的移动终端发送通知消息,该通知消息用于提示智能音箱用户启动搜索功能;
上述通信单元620,还用于检测是否接收到第二显示设备发送的投影请求;
进而,上述投影单元550,还用于当上述通信单元620接收到投影请求且上述搜索单元540搜索到搜索结果之后,将搜索结果投影至第二显示设备。
进一步可选地,上述图像拍摄单元520,还用于通过第二拍摄模组拍摄用户的视频图像;
上述投影单元550,还用于将视频图像以小窗口方式投影至第二显示设备,其中,用于显示视频图像的小窗口置于第二显示设备的最前端。
作为一种可选的实施方式,上述手势检测单元510用于通过智能音箱的第一拍摄模组检测用户的手势动作的方式具体为:
上述手势检测单元510,用于检测是否接收到可穿戴设备发送的手势动作图像;以及,当接收到手势动作图像时,识别出该手势动作图像中的手势动作。
上述实施方式中,智能音箱能够通过分析可穿戴设备发送的手势动作图像,在手势动作匹配预设的搜索手势时,对学习内容进行搜索,而搜索到的搜索结果投影至第一显示设备,通过第一显示设备提高搜索结果的显示质量,有利于提高阅读视觉效果,提高用户的使用体验感。
作为一种可选的实施方式,手势检测单元510通过第一拍摄模组检测是否检测到可穿戴设备,当检测到可穿戴设备时,触发图像拍摄单元520执行控制第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像的步骤。
可以理解,在上述实施方式中,可以通过可穿戴设备直接触发搜索功能,从而控制第二拍摄模组拍摄用户的纸质学习页面。可以看出,通过利用用户佩戴有可穿戴设备的优势,简单便捷地触发搜索功能。
实施例六
请参阅图7,图7为本发明又一实施例公开的智能音箱的结构示意图。如图7所示,该智能音箱可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行图2~图4任意一种基于智能音箱的搜索结果显示方法。
需要说明的是,本申请实施例中,图7所示的智能音箱还可以包括扬声器模组、摄像模组、显示屏、光投射模组、电池模组、无线通信模组(如移动通信模块、WIFI模块、蓝牙模块等)、传感器模组(如接近传感器、压力传感器等)、输入模组(如麦克风、按键)以及用户接口模组(如充电接口、对外供电接口、卡槽、有线耳机接口等)等未显示的部件。
本发明实施例还公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行图2至图4公开的一种基于智能音箱的搜索结果显示方法。
本发明实施例还公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行图2至图4公开的任意一种方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行图2至图4公开的任意一种方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于智能音箱的搜索结果显示方法及智能音箱进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于智能音箱的搜索结果显示方法,其特征在于,包括:
通过所述智能音箱的第一拍摄模组检测用户的手势动作;
若所述手势动作与预设的搜索手势相匹配,控制所述智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;
识别所述纸质学习页面图像的学习内容;
搜索与所述学习内容相匹配的搜索结果;
将所述搜索结果投影至与所述智能音箱连接的第一显示设备。
2.根据权利要求1所述的方法,其特征在于,所述将所述搜索结果投影至与所述智能音箱连接的第一显示设备之前,所述方法还包括:
在所述智能音箱的显示屏上显示所述搜索结果;
通过所述第一拍摄模组检测是否接收到用于指示投影的投影手势;
当检测到所述投影手势时,执行所述将所述搜索结果投影至与所述智能音箱连接的第一显示设备的步骤。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在所述手势动作与所述预设的搜索手势相匹配时,向预置的移动终端发送通知消息,所述通知消息用于提示所述智能音箱用户启动搜索功能;
检测是否接收到第二显示设备发送的投影请求;
当接收到所述投影请求且搜索到所述搜索结果之后,将所述搜索结果投影至所述第二显示设备。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
通过所述第二拍摄模组拍摄用户的视频图像;
将所述视频图像以小窗口方式投影至所述第二显示设备,其中,用于显示所述视频图像的小窗口置于所述第二显示设备的最前端。
5.根据权利要求1所述的方法,其特征在于,所述通过所述智能音箱的第一拍摄模组检测用户的手势动作,包括:
检测是否接收到可穿戴设备发送的手势动作图像;
当接收到所述手势动作图像时,识别出所述手势动作图像中的手势动作。
6.一种智能音箱,其特征在于,包括:
手势检测单元,用于通过所述智能音箱的第一拍摄模组检测用户的手势动作;
图像拍摄单元,用于在所述手势检测单元检测到的所述手势动作与预设的搜索手势相匹配时,控制所述智能音箱的第二拍摄模组拍摄用户的纸质学习页面,获得纸质学习页面图像;
内容识别单元,用于识别所述纸质学习页面图像的学习内容;
搜索单元,用于搜索与所述学习内容相匹配的搜索结果;
投影单元,用于将所述搜索结果投影至与所述智能音箱连接的第一显示设备。
7.根据权利要求6所述的智能音箱,其特征在于,所述智能音箱还包括:显示单元;
所述显示单元,用于在所述投影单元用于将所述搜索结果投影至与所述智能音箱连接的第一显示设备之前,在所述智能音箱的显示屏上显示所述搜索结果;
所述手势检测单元,还用于通过所述第一拍摄模组检测是否接收到用于指示投影的投影手势;
所述投影单元,具体用于当检测到所述投影手势时,将所述搜索结果投影至与所述智能音箱连接的第一显示设备。
8.根据权利要求6或7所述的智能音箱,其特征在于,所述智能音箱还包括:通信单元;
所述通信单元,用于在所述手势动作与所述预设的搜索手势相匹配时,向预置的移动终端发送通知消息,所述通知消息用于提示所述智能音箱用户启动搜索功能;
所述通信单元,还用于检测是否接收到第二显示设备发送的投影请求;
所述投影单元,还用于当所述通信单元接收到所述投影请求且所述搜索单元搜索到所述搜索结果之后,将所述搜索结果投影至所述第二显示设备。
9.根据权利要求8所述的智能音箱,其特征在于:
所述图像拍摄单元,还用于通过所述第二拍摄模组拍摄用户的视频图像;
所述投影单元,还用于将所述视频图像以小窗口方式投影至所述第二显示设备,其中,用于显示所述视频图像的小窗口置于所述第二显示设备的最前端。
10.根据权利要求6所述的智能音箱,其特征在于,所述手势检测单元用于通过所述智能音箱的第一拍摄模组检测用户的手势动作的方式具体为:
所述手势检测单元,用于检测是否接收到可穿戴设备发送的手势动作图像;以及,当接收到所述手势动作图像时,识别出所述手势动作图像中的手势动作。
CN201911003440.1A 2019-10-22 2019-10-22 一种基于智能音箱的搜索结果显示方法及智能音箱 Active CN111176433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911003440.1A CN111176433B (zh) 2019-10-22 2019-10-22 一种基于智能音箱的搜索结果显示方法及智能音箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911003440.1A CN111176433B (zh) 2019-10-22 2019-10-22 一种基于智能音箱的搜索结果显示方法及智能音箱

Publications (2)

Publication Number Publication Date
CN111176433A true CN111176433A (zh) 2020-05-19
CN111176433B CN111176433B (zh) 2024-02-23

Family

ID=70648710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911003440.1A Active CN111176433B (zh) 2019-10-22 2019-10-22 一种基于智能音箱的搜索结果显示方法及智能音箱

Country Status (1)

Country Link
CN (1) CN111176433B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723855A (zh) * 2020-06-09 2020-09-29 广东小天才科技有限公司 一种学习知识点的显示方法、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206991564U (zh) * 2017-02-27 2018-02-09 东莞市新八龙光电科技有限公司 一种用于儿童学习辅导的机器人及儿童学习辅导系统
CN109032360A (zh) * 2018-08-30 2018-12-18 广东小天才科技有限公司 一种智能台灯的投影控制方法及智能台灯
CN109376737A (zh) * 2018-09-27 2019-02-22 广东小天才科技有限公司 一种协助用户解决学习问题的方法和系统
CN109766413A (zh) * 2019-01-16 2019-05-17 广东小天才科技有限公司 一种应用于家教设备的搜索方法及家教设备
CN110162173A (zh) * 2019-05-06 2019-08-23 上海翎腾智能科技有限公司 一种基于ai的智能台灯的手势交互方法及智能台灯
CN110244853A (zh) * 2019-06-21 2019-09-17 四川众信互联科技有限公司 手势控制方法、装置、智能显示终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206991564U (zh) * 2017-02-27 2018-02-09 东莞市新八龙光电科技有限公司 一种用于儿童学习辅导的机器人及儿童学习辅导系统
CN109032360A (zh) * 2018-08-30 2018-12-18 广东小天才科技有限公司 一种智能台灯的投影控制方法及智能台灯
CN109376737A (zh) * 2018-09-27 2019-02-22 广东小天才科技有限公司 一种协助用户解决学习问题的方法和系统
CN109766413A (zh) * 2019-01-16 2019-05-17 广东小天才科技有限公司 一种应用于家教设备的搜索方法及家教设备
CN110162173A (zh) * 2019-05-06 2019-08-23 上海翎腾智能科技有限公司 一种基于ai的智能台灯的手势交互方法及智能台灯
CN110244853A (zh) * 2019-06-21 2019-09-17 四川众信互联科技有限公司 手势控制方法、装置、智能显示终端及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723855A (zh) * 2020-06-09 2020-09-29 广东小天才科技有限公司 一种学习知识点的显示方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN111176433B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN105138126B (zh) 无人机的拍摄控制方法及装置、电子设备
CN107336243B (zh) 基于智能移动终端的机器人控制系统及控制方法
TWI779343B (zh) 狀態識別方法、裝置、電子設備及電腦可讀儲存介質
CN108476258B (zh) 用于电子设备控制对象的方法以及电子设备
US20130300934A1 (en) Display apparatus, server, and controlling method thereof
JPWO2018142756A1 (ja) 情報処理装置及び情報処理方法
CN111176431A (zh) 一种音箱的投屏控制方法及音箱
CN109257649B (zh) 一种多媒体文件生成方法及终端设备
CN108287903A (zh) 一种与投影相结合的搜题方法及智能笔
CN106031163A (zh) 一种控制投影显示的方法及装置
CN108090424B (zh) 一种在线教学调研方法及设备
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
CN111176433A (zh) 一种基于智能音箱的搜索结果显示方法及智能音箱
CN114489331A (zh) 区别于按钮点击的隔空手势交互方法、装置、设备和介质
CN104090657A (zh) 控制翻页的方法及装置
CN111724638B (zh) 一种ar交互学习方法及电子设备
CN113553946A (zh) 信息提示方法及装置、电子设备和存储介质
CN111179694B (zh) 一种舞蹈教学互动方法及智能音箱、存储介质
CN111639158B (zh) 一种学习内容的显示方法及电子设备
CN111083600B (zh) 一种听写内容的投屏显示方法及智能音箱
CN110971924B (zh) 一种直播过程中美颜的方法、设备、存储介质及系统
JP2016115125A (ja) ウェアラブル検索システム
KR101661669B1 (ko) 대화시스템 및 그 방법
CN108986803B (zh) 场景控制方法及装置、电子设备、可读存储介质
KR20210110068A (ko) 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant