CN106873939A - 电子设备及其使用方法 - Google Patents

电子设备及其使用方法 Download PDF

Info

Publication number
CN106873939A
CN106873939A CN201710133116.6A CN201710133116A CN106873939A CN 106873939 A CN106873939 A CN 106873939A CN 201710133116 A CN201710133116 A CN 201710133116A CN 106873939 A CN106873939 A CN 106873939A
Authority
CN
China
Prior art keywords
electronic equipment
user
module
projected
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710133116.6A
Other languages
English (en)
Other versions
CN106873939B (zh
Inventor
王锐
马岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710133116.6A priority Critical patent/CN106873939B/zh
Publication of CN106873939A publication Critical patent/CN106873939A/zh
Application granted granted Critical
Publication of CN106873939B publication Critical patent/CN106873939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种电子设备及其使用方法,其中所述电子设备包括:音频模块,配置为收集声音信息并能够播放声音;投影模块,配置为发出与要投影的图像相对应的光信号,以便能够在电子设备之外的投影区域上形成投影图像;以及中央控制器,配置为:根据由音频模块收集的声音信息,确定要响应于所述声音信息执行的操作;以及确定针对所述操作的投影图像,以便经由投影模块对所述投影图像进行投影。

Description

电子设备及其使用方法
技术领域
本公开涉及电子设备,具体地,涉及一种电子设备及其使用方法。
背景技术
随着计算机技术的发展,计算机具有强大的计算能力。然而,目前的计算机往往处于单向功能状态。也就是说,往往需要用户走到计算机面前并执行相应控制来操作计算机,从而利用计算机的计算能力执行期望操作。这样使得在用户使用计算机时产生诸多不便。
因此,为了解决上述问题,需要一种电子设备及其使用方法,能够随时获取用户需求并智能化地向用户提供及时反馈。
发明内容
本公开的方面在于至少部分地解决上述问题和/或缺点并提供至少下述优点。
本公开的一个方面提供了一种电子设备,所述电子设备可以包括:音频模块,配置为收集声音信息并能够播放声音;投影模块,配置为发出与要投影的图像相对应的光信号,以便能够在电子设备之外的投影区域上形成投影图像;以及中央控制器,配置为:根据由音频模块收集的声音信息,确定要响应于所述声音信息执行的操作;以及确定针对所述操作的投影图像,以便经由投影模块对所述投影图像进行投影。
本公开的另一方面提供了一种使用电子设备的方法,所述方法可以包括:收集声音信息;根据所收集的声音信息,确定要响应于所述声音信息执行的操作;以及确定针对所述操作的投影图像,并对所述投影图像进行投影。
附图说明
以下结合附图,将更清楚本公开的示例实施例的上述和其它方面、特征以及优点,附图中:
图1示出了根据本公开示例实施例的电子设备的示例性应用场景;
图2(a)示出了根据本公开示例实施例的电子设备的桌面投影模式的示意图;
图2(b)示出了根据本公开示例实施例的电子设备的墙面投影模式的示意图;
图3(a)-(c)示出了根据本公开示例实施例的电子设备的结构示意图;
图4示出了根据本公开示例实施例的电子设备的示意图;
图5示出了根据本公开示例实施例的电子设备的结构框图;
图6示出了根据本公开示例实施例的音频模块的电路结构图;以及
图7示出了根据本公开示例实施例的针对所述电子设备的使用方法的流程图。
具体实施方式
根据结合附图对本公开示例性实施例的以下详细描述,本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中,术语“包括”和“含有”及其派生词意为包括而非限制;术语“或”是包含性的,意为和/或。
在本说明书中,下述用于描述本公开原理的各种实施例只是说明,不应该以任何方式解释为限制发明的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解,但这些细节应认为仅仅是示例性的。因此,本领域普通技术人员应认识到,在不背离本公开的范围和精神的情况下,可以对本文中描述的实施例进行多种改变和修改。此外,为了清楚和简洁起见,省略了公知功能和结构的描述。此外,贯穿附图,相同参考数字用于相似功能和操作。
以下参考附图描述了本公开的示例实施例。根据本公开示例实施例所述的电子设备及其使用方法能够通过使用语音识别、人工智能、大数据搜索、互联网、物联网和云计算等技术来实现智能交互。
根据本公开示例实施例的电子设备可以应用于家居环境、办公环境、教学环境等环境下。下面将以上述应用环境为背景描述根据本公开示例实施例的电子设备的应用场景,以便概括了解所述电子设备。
图1示出了根据本公开示例实施例的电子设备的示例性应用场景。具体地,在家居环境下,根据本公开示例实施例的电子设备可以响应于接收到用户语音,确定用户当前位置并执行相应的操作,然后投影与所述操作相关的投影画面。例如,当用户发出“请播放我女儿的生日聚会照片”的语音信息时,所述电子设备可以通过接收所述语音信息确定用户的当前位置,在确定用户位置之后选择适合的投影位置,并通过进行语义分析来确定用户希望浏览其女儿的生日聚会的照片,最后在所选的适合的投影位置处投影用户期望浏览的照片。图2(a)和2(b)分别示出了根据本公开示例实施例的电子设备的桌面投影模式和墙面投影模式的示意图。如图2(a)和2(b)所示,根据本公开示例实施例的电子设备可以在桌面或墙面上投影相关照片以供用户浏览。在这种情况下,所述电子设备可以检测用户手势并执行与所述用户手势相对应的下一操作。例如,当检测到用户从右向左滑动投影图像的手势时,所述电子设备可以投影下一张照片;且当检测到用户从左向右滑动投影图像的手势时,所述电子设备可以返回投影上一张照片。
此外,除了响应于执行与接收到的用户语音相对应的操作而投影与所述操作相关的投影画面之外,根据本公开示例实施例的电子设备还可以选择性地播放与所述投影画面相对应的声效或声音。例如,当用户发出“请帮我购买披萨”时,所述电子设备可以在桌面上投影出相应的可供用户选择的披萨口味,并备选地发出例如“下方是披萨口味列表,请选择您要购买的披萨口味”的音效。此时,用户不仅可以通过在投影图像上输入用户手势来执行下一操作,用户还可以通过发出语音指令来执行下一操作。例如,用户可以发出诸如“榴莲披萨”的声音反馈,所述电子设备通过接收并分析该声音反馈,确定响应于所述声音反馈而要执行的下一操作。另外,在教学环境下,如果用户发出“开始上课”的指令,则根据本公开示例实施例的电子设备可以在投影出相应课件的同时提供与相关课程关联的声效,例如,“现在我们开始上课,请跟我念...”。在该情况下,所述电子设备可以响应于从用户检测到特定声音信息,而执行下一操作,例如,切换到课件的下一页。
应注意,根据本公开示例实施例的电子设备可以分布在任何位置。在这种情况下,所述电子设备还可以配备诸如轮子的移动模块,以便响应于检测到用户的语音命令,确定用户位置且移动到用户周围,并执行相应的可听可视化操作,从而更便于用户使用。
此外,根据本公开示例实施例的电子设备还可以配备用户识别传感器、手势感应传感器等各种传感器,来提供更为智能化的服务。例如,在所述电子设备配备诸如摄像头和语音识别装置的用户识别传感器的情况下,当第一用户发出“小助手,到小明那去并让他选择披萨口味”的指令时,所述电子设备能够通过使用其所配备的用户识别模块来识别小明和小明当前所在的位置,并经由移动模块移动到小明周围。例如,当所述电子设备包括摄像头时,所述电子设备可以通过使用摄像头观察周围环境,并识别周围环境下所有人的特征(例如,面部特征识别)以识别小明和小明所在的位置。当所述电子设备包括语音识别装置时,所述电子设备可以通过使用语音识别装置识别发出声音的小明的声纹并通过对声音的幅度和方向进行分析确定小明的位置。应注意,上述用户识别传感器仅是示例性的,根据本公开示例实施例所述的电子设备还可以使用其他类型的用户识别传感器,且用户识别传感器不限于仅集成安装在所述电子设备中的传感器,还可以包括与所述电子设备通信相连的外部传感器。此外,在所述电子设备配备手势感应传感器的情况下,当通过手势感应传感器检测到连续轻拍所述可听可视化的智能的电子设备两次时,自动在墙面投影模式和桌面投影模式之间进行切换。或者,当通过传感器检测到用户的例如将食指和拇指绕成一圈的OK手势时,令所述电子设备在可允许移动模块移动的可移动模式和将移动模块锁定的非移动模式之间切换。这样,可以进一步实现应用智能化。
以上描述根据本公开示例实施例的电子设备的应用示例,然而根据本公开示例实施例所述的电子设备及其使用方法不限于执行上述功能,还可以用于执行其他各种功能。因此,本公开提供了一种电子设备及其使用方法,所述电子设备能够通过采集用户的声音信息,来根据用户需求智能化地向用户提供反馈,从而改善用户体验。
图3(a)-(c)示出了根据本公开一个示例实施例的电子设备300的结构示意图。图4示出了根据本公开另一示例实施例的电子设备400的示意图。
如图3和图4所示,根据本公开示例实施例的电子设备300和400可以包括音频模块、投影模块和中央控制器,其中音频模块和投影模块可以配置为可拆卸地安装在智能电子设备300或400中。图3(a)中示出了包括图3(b)所示的音频模块以及图3(c)所示的投影模块和中央控制器的智能电子设备300的一个示意图。图4示出了包括上部的音频模块以及下部的投影模块和中央控制器的智能电子设备400的示意图。尽管图3和图4示意性地将所述电子设备300和400形成为两个部分(如图3(b)和图3(c)所示),其中将音频模块形成为第一部分(如图3(b)以及图4的上部所示)并将投影模块和中央控制器集成在第二部分(如图3(c)以及图4的下部所示)中,然而本领域技术人员应清楚,本公开不限于此,可以将中央控制器、音频模块和投影模块中的任意两个部件集成在一个部分中而将剩余的部件集成在另一部分中。此外,所述电子设备可以被分为更多或更少个部分。当所述电子设备包括更多个部分时,可以将所述音频模块、投影模块和中央控制器分别可拆卸地形成在不同的部分中。当所述电子设备包括更少个部分(即,作为一个整体)时,可以将所述音频模块、投影模块和中央控制器全部集成为所述整体。因此,本领域技术人员应清楚,根据本公开示例实施例的电子设备不限于图3和图4所示的形式,在不脱离本公开的构思的前提下,所述电子设备还可以多样化地形成为其他形式。
下面将结合图5来详细描述根据本公开示例实施例的电子设备的具体结构。
图5示出了根据本公开示例实施例的电子设备500的结构框图。如图5所示,所述电子设备500可以包括:音频模块510,配置为收集声音信息并能够播放声音;投影模块520,配置为发出与要投影的图像相对应的光信号,以便能够在电子设备500之外的投影区域上形成投影图像;以及中央控制器530,配置为:根据由音频模块510收集的声音信息,确定要响应于所述声音信息执行的操作;以及确定针对所述操作的投影图像,以便经由投影模块520对所述投影图像进行投影。
具体地,所述音频模块510可以处理电子设备500的音频关联功能。音频模块510可以包括与支持呼叫功能或记录功能相关的麦克风或与输出声音相关的扬声器。根据本公开的实施例,音频模块510可以根据对语音信息或事件的接收或处理而输出多种引导声音或提供多种声效。在一个实施例中,音频模块510可以输出与投影屏幕的显示相关的声音,或可以提供与其相关的声效。例如,当音频模块510经由麦克风接收到来自用户的例如“请帮我预定披萨”的指令时,音频模块510可以在在投影区域上投影不同口味披萨的同时,经由扬声器输出例如“好的,请选择您喜欢的口味”的关联引导声音。或者,当用户在通过所述电子设备500进行课程学习时,音频模块510可以在投影模块投影出相应课件的同时提供与相关课程关联的声效,例如,“现在我们开始上课,请跟我念...”。此外,除了与投影模块520配合使用之外,音频模块510也可以单独地向用户提供反馈。例如,当音频模块510经由麦克风接收到例如“请播放生日快乐歌”时,音频模块510可以经由扬声器播放所述歌曲。或者,当音频模块510经由麦克风接收到例如“今天天气如何”的提问时,音频模块510可以经由扬声器播放今天天气信息。
如上所述,投影模块520可以通过在平面或曲面上投影与要投影的图像相对应的光信号来显示图像。当从中央控制器530接收到要投影的图像数据时,投影模块520向外部区域输出接收到的图像数据。投影模块520可以通过镜头来放大和输出图像数据。也就是说,投影模块520投影由中央控制器530处理过的多种图像数据,例如,自动聚焦的图像。
中央控制器530可以是单个控制器,但也可以包括两个或更多个控制单元。例如,中央控制器530可以包括通用控制器、指令集处理器和/或相关芯片组和/或专用微控制器(例如,专用集成电路(ASIC))。中央控制器530可以实现为单个集成电路(IC)芯片的部分或单个设备。如图5所示,中央控制器530可以与上述音频模块510和投影模块520相连,以便提供对音频模块510和投影模块520的控制。此外,如图5所示,中央控制器530还可以配置为与外部云相连,以便通过云服务提供针对用户需要的反馈信息,所述反馈信息包括与用户请求相关的图像信息、声音信息和文字信息等。具体地,中央控制器530可以配置为根据由音频模块510收集的声音信息,通过使用语义分析等技术来确定要响应于所述声音信息执行的操作。接着,中央控制器530确定针对所述操作的投影图像,以便经由投影模块520对所述投影图像进行投影。在确定针对所述操作的投影图像时,所述中央控制器530可以通过与外部云进行交互,来确定针对所述操作的投影图像。例如,当用户请求学习网络课程时,中央控制器530可以通过与外部云的交互获取与网络课程相关的课程信息和投影图像。此外,在另一实施例中,在所述中央控制器530还包括内部云或私有云的情况下,在确定针对所述操作的投影图像时,所述中央控制器530可以通过与所述内部云进行交互来确定针对所述操作的投影图像。例如,当用户请求显示家庭照片时,中央控制器530可以查找存储在其内部云中的图像并对所述图像进行投影。也就是说,可以将与个人隐私相关的信息存储在中央控制器530的内部云中,使得可以实现个人隐私保护。具体地,所述内部云或私有云可以通过中央控制器530的内部存储设备或模块来实现。此外,应注意,还可以将一些常用的信息备份到所述内部云,以便在用户需要所述信息时提供快速响应,从而提高响应速度,改善用户体验。
此外,除了通过投影模块520提供投影图像之外,所述中央控制器530还可以配置为通过音频模块510播放与所述操作相对应的反馈声音。例如,当用户要求购买披萨时,在经过投影模块520投影可供用户选择的各种口味披萨的同时,中央控制器530还可以通过音频模块510发出“请选择您想要购买的披萨”的声音,以便提醒用户进行选择。
备选地,在一个示例实施例中,所述电子设备500还可以包括红外发射模块,配置为发射红外光;以及检测模块,配置为与所述红外发射模块相对应地设置,并检测红外光和可见光,使得当用户通过输入设备在经由投影模块投影的图像上进行交互时,所述检测模块能够从所述输入设备接收对所发射红外光的反射光或散射光。可选地,可以将红外发射模块设置在投影平面上方且贴近投影平面(例如,略高于投影平面5mm)并将检测模块设置在较高的位置处,以便当用户通过使用输入设备(例如,手指和笔)对投影在桌面上的投影图像进行点击时,经由红外发射模块发射的红外光在所述输入设备上发生散射和/或反射。在这种情况下,所述中央控制器530可以进一步配置为:根据检测到的反射光或散射光以及投影图像,确定用户通过输入设备在所述投影图像上执行操作的位置和操作方式,从而确定用户执行的操作。也就是说,此时,位于较高视角的检测模块可以通过检测桌面上的投影图像的反射光(可见光)来确定投影区域,并通过检测经由输入设备散射和/或反射的红外光(或可见光)和将检测到的光信号传送至中央控制器530,来检测所述输入设备在所述投影图像上的对应位置和用户动作,从而确定用户在投影图像上执行的操作。另外,如果所述电子设备的投影区域是确定的,则所述检测模块可以仅检测经由输入设备散射和/或反射的红外光(或可见光)。在这种情况下,检测模块将检测到的红外光信号和/或可见光信号传送至中央控制器,中央控制器根据接收到的红外光信号和/或可见光信号的位置以及投影区域的范围,来确定所述输入设备在所述投影图像上的对应位置。
备选地,所述电子设备还可以包括雷达传感器,可以以单独的方式或以辅助上述检测模块的方式确定用户通过输入设备在所述投影图像上执行操作的位置和操作方式,从而确定用户执行的操作。雷达传感器能够识别深度信息,因而可以执行更精密的手势识别,从而进行3D手势识别。
此外,用户除了可以通过触碰投影图像来做出下一操作之外,还可以通过发出语音指令来执行下一操作。也就是说,当通过投影模块520投影可供用户选择的各种口味披萨时,用户既可以通过使用输入设备在投影图像上进行输入来选择所希望的披萨(例如,榴莲披萨),也可以通过发出语音指令(例如,“购买榴莲披萨”)来选择所希望的披萨。在后者的情况下,音频模块510可以检测到所述声音信息并将该声音信息提供给中央控制器530。中央控制器530通过执行语义分析来确定用户的反馈。
在本公开的另一示例实施例中,所述电子设备500还可以包括移动模块,配置为安装在所述电子设备上,能够使所述电子设备移动。在这种情况下,所述中央控制器530进一步配置为:当音频模块510收集到用户语音时,根据音频模块510收集的用户语音,控制移动模块移动所述电子设备500。例如,在这种情况下,当用户发出“开始上课”的声音并经由音频模块收集到所述声音时,中央控制器530可以通过语义分析确定用户准备开始上课,并确定当前所述电子设备500的位置与用户之间的距离,以便确定是否需要移动所述电子设备500。如果确定需要移动所述设备,则中央控制器530可以将移动指令发送给移动模块的驱动装置,其中所述移动指令包括含有移动方向和移动距离的信息。随后,移动模块的驱动装置根据接收到的移动指令控制移动模块的移动,使得经由所述移动模块将所述电子设备移动到用户周围。具体地,所述移动模块还可以配置为可拆卸地或固定安装在所述电子设备上。当移动模块被可拆卸地安装在所述电子设备上时,可以根据用户需要来控制是否装配所述移动模块。
在所述电子设备500包括移动模块的情况下,所述中央控制器530还可以进一步配置为根据从音频模块收集的声音信息,确定用户位置;以及经由移动模块将所述电子设备移动到所确定的用户位置。在这种情况下,所述音频模块可以进一步地包括多个音频采集单元,例如,可以包括布置在不同位置处的两个或更多个音频采集单元。此时,中央控制器530可以根据每个音频采集单元采集到的声音信息以及相应音频采集单元的位置,来确定用户位置。例如,通过分析从每个音频采集单元采集的声音信息的相位信息和音量信息,来根据音频采集单元的布置位置确定用户位置。在确定用户位置之后,所述中央控制器530可以经由移动模块将所述电子设备移动到所确定的用户位置以便进行投影或交互。备选地,所述中央控制器530还可以基于所确定的用户位置选择最佳投影区域。例如,中央控制器530可以控制摄像机拍摄用户位置周围的环境,确定适合的投影位置,即,最佳投影区域。接着,中央控制器530控制经由移动模块移动所述电子设备,使得所述电子设备在所确定的最佳投影区域内进行投影。也就是说,在对所述投影图像进行投影之前,所述中央控制器530可以具有调整投影区域的功能。具体地,在对所述投影图像进行投影之前,中央控制器530可以采集当前目标投影区域周围的图像;确定当前目标投影区域是否是最佳投影区域;以及如果确定当前目标投影区域不是最佳投影区域,则选择在当前目标投影区域周围的最佳投影区域作为新的目标投影区域。
此外,在本公开的再一示例实施例中,所述电子设备500还可以包括传感器,所述传感器配置为感测用户手势,其中所述中央控制器进一步配置为响应于经由传感器感测到用户手势,控制所述电子设备进入与所述用户手势相对应的模式,所述模式包括:开机模式、待机模式、可移动模式、非移动模式、会议模式、墙面投影模式和桌面投影模式中的至少一个。例如,所述中央控制器可以配置电子设备,使得当传感器感测到用户从顶部触摸所述电子设备时,控制所述可听可视化的智能的电子设备开机并进入待机模式。此外,在投影模块包括墙面投影模式和桌面投影模式的情况下,可以向所述可听可视化的智能的电子设备设置特定动作(例如,连续轻拍所述可听可视化的智能的电子设备两次),使得当通过传感器检测到所述动作时,可以自动在墙面投影模式和桌面投影模式之间进行切换,即,从当前模式切换到另一模式,如上文图2(a)和2(b)所示。
备选地,所述电子设备500还可以具有诸如蓄电池的储电模块。此时,当所述电子设备500处于待机状态下时,可以经由移动模块移动到对接装置,以便通过对接装置对储电模块进行充电。应注意,根据本公开示例实施例的电子设备500不限于使用对接充电方式,所述电子设备500还可以使用其他充电方式,诸如,无线充电。另外,在音频模块配置为可拆卸地安装在所述电子设备500的情况下,所述电子设备500还可以配置为对所述音频模块进行充电。
综上,上述内容描述了根据本公开示例实施例的电子设备,所述电子设备可以通过采集用户的声音信息,来根据用户需求智能化地向用户提供反馈。下文将参考图6来详细描述使用所述电子设备的方法。
图6示出了根据本公开示例实施例的音频模块的电路结构图。如图6所示,音频模块可以包括微控制单元(MCU)或系统级芯片(SOC)601,配置为处理接收到的各种信号从而控制音频模块的整体操作。所述MCU/SOC单元601可以与外部天线通信相连,以便经由外部天线传送通信信号。应注意,尽管本公开以环形天线作为所述天线的示例,然而所述天线不限于此,且所述天线可以包括其他各种类型的天线。此外,MCU/SOC单元601可以与DSP单元603相连,以便从DSP单元603接收并处理转换自从麦克风输入的声音信息的数字信号。随后,MCU/SOC单元601可以将处理过的信息传送给音频编解码器605,以便经由音频编解码器605将所述信息传送给扬声器,从而经由扬声器输出可听的声音。备选地,所述音频模块还可以包括与MCU/SOC单元601通信相连的传感器611。所述传感器可以感测用户对音频模块的触摸或手势,且MCU/SOC单元601可以根据由传感器感测到的触摸或用户手势,执行与所述触摸或用户手势相对应的功能。例如,所述MCU/SOC单元601可以配置为当经由传感器611感测到用户连续向上拨动音频模块的触摸手势时,控制扬声器的音量调节模块增大播放音量;且当传感器611感测到用户连续向下拨动音频模块的触摸手势时,控制扬声器的音量调节模块减小播放音量。在另一备选方案中,所述音频模块还可以包括LED阵列或LED灯组609以及控制所述LED阵列或LED灯组的LED控制单元(LED MCU)607,以便提供灯光指示信号。当然,如上所述,音频模块可以包括电池以及用于管理音频模块电源的电源控制模块。根据实施例,电源管理模块可以实现为电源管理集成电路(PMIC)620。PMIC 620可以使用有线充电类型和/或无线充电类型的充电器623来对电池621进行充电。无线充电类型可以包括例如磁谐振式、磁感应式或电磁波式,且还可以包括用于无线充电的附加电路,例如,线圈回路、谐振电路、整流器等。电池621可以包括例如可充电电池或太阳能电池,电池可以为音频模块中的各个单元提供电力。
以上描述了根据本公开示例实施例的音频模块的内部结构。下面将描述包括根据上述示例实施例的音频模块的电子设备的使用方法。
图7示出了根据本公开示例实施例的针对所述电子设备的使用方法的流程图700。具体地,所述方法700包括:在步骤S701,收集声音信息。接着,在步骤S702,根据所收集的声音信息,确定要响应于所述声音信息执行的操作。最后,在步骤S703,确定针对所述操作的投影图像,并对所述投影图像进行投影。
在一个实施例中,所述方法700还可以包括:在对所述投影图像进行投影期间,播放与所述投影图像相对应的反馈声音。所述反馈声音可以是与投影屏幕的显示相关的声音,或可以提供与其相关的声效。例如,当接收到来自用户的例如“请帮我预定披萨”的指令时,可以在在投影区域上投影不同口味披萨的同时,经由扬声器输出例如“好的,请选择您喜欢的口味”的关联引导声音。备选地,所述反馈声音还可以是独立于投影图像的单独声音或声效。例如,当接收到例如“请播放生日快乐歌”时,所述反馈声音可以是所述歌曲。
在另一实施例中,所述方法700还可以包括:发射红外光;当用户通过输入设备在所述投影图像上进行交互时,检测所述输入设备对所发射红外光的反射光或散射光,以及根据检测到的反射光或散射光以及所述投影图像,确定用户通过输入设备在所述投影图像上执行操作的位置和操作方式,从而确定用户执行的操作。例如,在经由投影模块显示可供用户选择的不同口味披萨的情况下,如果用户通过使用诸如手指的输入设备轻击例如榴莲披萨的选项,则检测模块能够检测投影图像在桌面上反射的可见光信号以便确定投影区域,同时通过检测被输入设备反射或散射的红外光信号或通过检测被输入设备反射或散射的可见光信号并应用匹配识别算法,来确定输入设备在投影区域上的操作位置和具体动作,即,确定用户在榴莲披萨的选项上执行轻击,即,选中了榴莲披萨。在这种情况下,所述方法700还可以进一步包括:根据所确定的用户执行的操作,确定响应于所述用户执行的操作的下一操作,并确定针对所述下一操作的下一投影图像,以便对所述下一投影图像进行投影。例如,在确定用户选择榴莲披萨之后,中央控制器还可以进一步确定响应于选择用户期望口味披萨之后的下一操作(例如,选择披萨尺寸),并相应地确定针对下一操作的投影图像(例如,与选择披萨尺寸相关的投影图像),以便经由投影模块显示该投影图像。此外,本公开不限于通过使用上述所枚举的方式来确定用户执行的操作,还可以通过采用其他手段确定用户执行的操作,例如,可以通过使用例如3D摄像机实时采集可见光图像,来确定用户执行的操作。
应理解,用户除了可以通过触碰投影图像来做出下一操作之外,还可以通过发出语音指令来执行下一操作。在后者的情况下,所述方法还可以包括:收集用户针对投影图像的语音反馈;以及根据所述语音反馈,确定响应于所述语音反馈的下一操作,确定针对所述下一操作的下一投影图像,以便对所述下一投影图像进行投影。例如,当通过投影模块投影可供用户选择的各种口味披萨时,用户可以通过发出语音指令(例如,“购买榴莲披萨”)来选择所希望的披萨。此时,通过经由音频模块收集所述语音指令,中央控制器可以确定针对所述下一操作的下一投影图像,以便对所述下一投影图像进行投影,例如,如上所述,投影用于选择榴莲披萨的尺寸的投影图像。
在所述电子设备包括诸如轮子的移动模块的情况下,所述方法700还可以包括:收集用户语音;以及根据所收集的用户语音,移动所述电子设备。例如,当用户发出“开始上课”的声音并经由所述电子设备的音频模块收集到所述声音时,可以立即确定关于发出所述声音的用户的位置和所述电子设备的当前位置的信息,并根据所述信息来移动电子设备,使得电子设备移动到所述用户的周围。此外,用户还可以对所述电子设备进行命名,例如,将其命名为“小助手”。此时,当第一用户发出“小助手,到小明那去并让他选择披萨口味”的指令时,所述电子设备能够通过使用其所配备的用户识别模块来识别小明的位置,并经由移动模块移动到小明周围。接着所述电子设备可以投影可供用户选择的披萨口味,并备选地发出“请选择您喜欢披萨口味”的语音消息。在接收到通过小明选择的披萨口味之后,所述电子设备可以经由移动设备返回到第一用户的周围,准备执行下一操作并投影与之相对应的投影图像(例如,选择披萨尺寸的投影图像)。此时,还可以可选性地发出“小明己选择芝士浓香披萨,请您选择披萨尺寸”的声音反馈。
作为另一示例,在所述电子设备包括诸如轮子的移动模块的情况下,所述方法700还可以包括:在对所述投影图像进行投影之前,采集当前目标投影区域周围的图像;确定当前目标投影区域是否是最佳投影区域;以及如果确定当前目标投影区域不是最佳投影区域,则选择在当前目标投影区域周围的最佳投影区域作为新的目标投影区域。例如,当需要进行投影时,中央控制器可以控制摄像机拍摄当前目标投影区域周围的图像,并确定当前目标投影区域是否是最佳投影区域。例如,如果当前目标投影区域内存在诸如水杯的障碍物,则确定当前目标投影区域不是最佳投影区域,因此,中央控制器会根据由摄像机拍摄到的当前目标投影区域周围的图像,确定适合的投影位置,即,最佳投影区域。随后,中央控制器可以控制移动模块移动到所述最佳投影区域,并接着执行投影。
如上所述,所述电子设备还可以包括用于感测用户手势的传感器。在这种情况下,所述方法700还可以包括:感测用户手势;以及响应于感测到用户手势,控制所述电子设备进入与所述用户手势相对应的模式,其中所述模式包括:开机模式、待机模式、可移动模式、非移动模式、会议模式、墙面投影模式和桌面投影模式中的至少一个。例如,所述方法可以包括:当传感器感测到用户从顶部触摸所述电子设备时,控制所述可听可视化的智能的电子设备开机并进入待机模式。此外,在投影模块包括墙面投影模式和桌面投影模式的情况下,可以将所述可听可视化的智能的电子设备配置为:当通过传感器检测到连续轻拍所述可听可视化的智能的电子设备两次时,自动在墙面投影模式和桌面投影模式之间进行切换,即,从当前模式切换到另一模式。另外,可以将所述电子设备配置为:当通过传感器检测到例如将食指和拇指绕成一圈的OK手势时,令所述电子设备在可允许移动模块移动的可移动模式和将移动模块锁死的非移动模式之间切换。总言之,可以通过预先设置与进入某一模式相对应的特定动作,来更智能化地使用所述电子设备。
综上,本公开的示例实施例提供了一种电子设备及其使用方法,所述电子设备能够通过采集用户的声音信息,来根据用户需求智能化地向用户提供反馈,从而改善用户体验。
根据本公开各实施例的上述方法、装置、单元和/或模块可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。该系统可以包括存储设备,以实现上文所描述的各种存储。所述有计算能力的电子设备可以包含通用处理器、数字信号处理器、专用处理器、可重新配置处理器等能够执行计算机指令的装置,但不限于此。执行这样的指令使得电子设备被配置为执行根据本公开的上述各项操作。上述各设备和/或模块可以在一个电子设备中实现,也可以在不同电子设备中实现。这些软件可以存储在计算机可读存储介质中。计算机可读存储介质存储一个或多个程序(软件模块),所述一个或多个程序包括指令,当电子设备中的一个或多个处理器执行所述指令时,所述指令使得电子设备执行本公开的方法。
这些软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似ROM等存储设备),不论是可擦除的还是可重写的,或者存储为存储器的形式(例如RAM、存储器芯片、设备或集成电路),或者被存储在光可读介质或磁可读介质上(比如,CD、DVD、磁盘或磁带等等)。应该意识到,存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例,所述一个程序或多个程序包括指令,当所述指令被执行时,实现本公开的实施例。实施例提供程序和存储这种程序的机器可读存储装置,所述程序包括用于实现本公开的任何一项权利要求所述的装置或方法的代码。此外,可以经由任何介质(比如,经由有线连接或无线连接携带的通信信号)来电传递这些程序,多个实施例适当地包括这些程序。
根据本公开各实施例的方法、装置、单元和/或模块还可以使用例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)或可以以用于对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。该系统可以包括存储设备,以实现上文所描述的存储。在以这些方式实现时,所使用的软件、硬件和/或固件被编程或设计为执行根据本公开的相应上述方法、步骤和/或功能。本领域技术人员可以根据实际需要来适当地将这些系统和模块中的一个或多个,或其中的一部分或多个部分使用不同的上述实现方式来实现。这些实现方式均落入本公开的保护范围。
如本领域技术人员将会理解的,为了任何的以及所有的目的,例如在提供书面说明书的方面,本申请中所公开的所有范围也涵盖任何的以及所有的可能的子范围以及其子范围的组合。任何所列出的范围均能够被容易地识别成充分的描述以及使同样的范围能够至少被分解成同等的两部分、三部分、四部分、五部分、十部分,等等。作为非限制性的例子,本申请中所讨论的每个范围均能够被容易地分解成下三分之一、中三分之一以及上三分之一等等。如本领域技术人员还将会理解的,诸如“直到”、“至少”、“大于”、“小于”等的所有语言均包括所表述的数量并且是指能够随之被分解成如以上所讨论的子范围的范围。最后,如本领域技术人员将会理解的,范围包括各个单独的成分。所以,例如,具有1-3个单元的组是指具有1、2或者3个单元的组。类似地,具有1-5个单元的组是指具有1、2、3、4或者5个单元的组,等等。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种电子设备,包括:
音频模块,配置为收集声音信息并能够播放声音;
投影模块,配置为发出与要投影的图像相对应的光信号,以便能够在电子设备之外的投影区域上形成投影图像;以及
中央控制器,配置为:
根据由音频模块收集的声音信息,确定要响应于所述声音信息执行的操作;以及
确定针对所述操作的投影图像,以便经由投影模块对所述投影图像进行投影。
2.根据权利要求1所述的电子设备,其中所述中央控制器还配置为通过音频模块播放与所述操作相对应的反馈声音。
3.根据权利要求1所述的电子设备,还包括:
红外发射模块,配置为发射红外光;以及
检测模块,配置为与所述红外发射模块相对应地设置,使得当用户通过输入设备在所述投影图像上进行交互时,所述检测模块能够从所述输入设备接收对所发射红外光的反射光或散射光,
其中所述中央控制器进一步配置为:根据检测到的反射光或散射光以及所述投影图像,确定用户通过输入设备在所述投影图像上执行操作的位置和操作方式,从而确定用户执行的操作。
4.根据权利要求3所述的电子设备,其中,所述中央控制器进一步配置为:根据所确定的用户执行的操作,确定响应于所述用户执行的操作的下一操作,并确定针对所述下一操作的下一投影图像,以便经由投影模块对所述下一投影图像进行投影。
5.根据权利要求1所述的电子设备,其中,所述音频模块配置为收集用户针对投影图像的语音反馈,且所述中央控制器进一步配置为:根据所述语音反馈,确定响应于所述语音反馈的下一操作,确定针对所述下一操作的下一投影图像,以便经由投影模块对所述下一投影图像进行投影。
6.根据权利要求1所述的电子设备,还包括:
移动模块,配置为安装在所述电子设备上,能够使所述电子设备移动,
其中所述中央控制器进一步配置为:当音频模块收集到用户语音时,根据音频模块收集的用户语音,控制移动模块移动所述电子设备。
7.根据权利要求6所述的电子设备,其中所述中央控制器进一步配置为:
根据从音频模块收集的声音信息,确定用户位置;以及
经由移动模块将所述电子设备移动到所确定的用户位置。
8.根据权利要求1所述的电子设备,还包括:传感器,所述传感器配置为感测用户手势,
其中所述中央控制器进一步配置为响应于经由传感器感测到用户手势,控制所述电子设备进入与所述用户手势相对应的模式。
9.根据权利要求1所述的电子设备,其中所述中央控制器进一步配置为:
在对所述投影图像进行投影之前,采集当前目标投影区域周围的图像;
确定当前目标投影区域是否是最佳投影区域;以及
如果确定当前目标投影区域不是最佳投影区域,则选择在当前目标投影区域周围的最佳投影区域作为新的目标投影区域。
10.一种使用电子设备的方法,包括:
收集声音信息;
根据所收集的声音信息,确定要响应于所述声音信息执行的操作;以及
确定针对所述操作的投影图像,并对所述投影图像进行投影。
CN201710133116.6A 2017-03-07 2017-03-07 电子设备及其使用方法 Active CN106873939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710133116.6A CN106873939B (zh) 2017-03-07 2017-03-07 电子设备及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710133116.6A CN106873939B (zh) 2017-03-07 2017-03-07 电子设备及其使用方法

Publications (2)

Publication Number Publication Date
CN106873939A true CN106873939A (zh) 2017-06-20
CN106873939B CN106873939B (zh) 2020-06-23

Family

ID=59169980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710133116.6A Active CN106873939B (zh) 2017-03-07 2017-03-07 电子设备及其使用方法

Country Status (1)

Country Link
CN (1) CN106873939B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346326A (zh) * 2018-02-07 2018-07-31 湖南第师范学院 一种计算机网络教学互动平台
CN108806681A (zh) * 2018-05-28 2018-11-13 江西午诺科技有限公司 语音控制方法、装置、可读存储介质及投影设备
CN109541957A (zh) * 2018-12-29 2019-03-29 青岛小鸟看看科技有限公司 智能交互设备
CN113973023A (zh) * 2021-11-09 2022-01-25 北京萌特博智能机器人科技有限公司 智能投影系统及其投影方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4834473A (en) * 1986-03-26 1989-05-30 The Babcock & Wilcox Company Holographic operator display for control systems
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103235642A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟乐器系统及其实现方法
CN103869471A (zh) * 2014-01-09 2014-06-18 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及系统
CN104154439A (zh) * 2014-07-29 2014-11-19 浙江生辉照明有限公司 智能led照明装置及基于该装置的远程视频聊天系统
CN104407698A (zh) * 2014-11-17 2015-03-11 联想(北京)有限公司 一种投影方法及电子设备
CN104777911A (zh) * 2015-04-28 2015-07-15 周俊达 一种基于全息技术的智能交互方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4834473A (en) * 1986-03-26 1989-05-30 The Babcock & Wilcox Company Holographic operator display for control systems
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103235642A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟乐器系统及其实现方法
CN103869471A (zh) * 2014-01-09 2014-06-18 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及系统
CN104154439A (zh) * 2014-07-29 2014-11-19 浙江生辉照明有限公司 智能led照明装置及基于该装置的远程视频聊天系统
CN104407698A (zh) * 2014-11-17 2015-03-11 联想(北京)有限公司 一种投影方法及电子设备
CN104777911A (zh) * 2015-04-28 2015-07-15 周俊达 一种基于全息技术的智能交互方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346326A (zh) * 2018-02-07 2018-07-31 湖南第师范学院 一种计算机网络教学互动平台
CN108806681A (zh) * 2018-05-28 2018-11-13 江西午诺科技有限公司 语音控制方法、装置、可读存储介质及投影设备
CN109541957A (zh) * 2018-12-29 2019-03-29 青岛小鸟看看科技有限公司 智能交互设备
CN113973023A (zh) * 2021-11-09 2022-01-25 北京萌特博智能机器人科技有限公司 智能投影系统及其投影方法

Also Published As

Publication number Publication date
CN106873939B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
EP3387628B1 (en) Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US8471868B1 (en) Projector and ultrasonic gesture-controlled communicator
CN108874967A (zh) 对话状态确定方法及装置、对话系统、终端、存储介质
KR20190047445A (ko) 전자 장치 및 전자 장치에서 외부 장치를 이용한 태스크 수행 방법
CN106873939A (zh) 电子设备及其使用方法
EP3109856A1 (en) Control system, method and device of intelligent robot based on artificial intelligence
CN106346487A (zh) 交互式vr沙盘展示机器人
JP2019520626A (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
CN106406119A (zh) 基于语音交互、云技术及集成智能家居监控的服务机器人
CN104049745A (zh) 输入控制方法和支持该输入控制方法的电子装置
CN109154858A (zh) 智能电子设备及其操作方法
CN110060680B (zh) 电子设备交互方法、装置、电子设备及存储介质
CN106951209A (zh) 一种控制方法、装置及电子设备
CN107920263A (zh) 音量调节方法及装置
CN111124108B (zh) 模型训练方法、手势控制方法、装置、介质及电子设备
KR102421824B1 (ko) 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법
CN108156729A (zh) 照明设备、照明设备的控制方法及装置
CN106933366A (zh) 亮屏方法及装置
CN110109608A (zh) 文本显示方法、装置、终端及存储介质
CN109410950A (zh) 一种烹饪设备的语音控制方法及系统
CN105607738B (zh) 确定单手模式的方法及装置
CN110602197A (zh) 物联网控制装置和方法、电子设备
CN209606794U (zh) 一种可穿戴设备、音箱设备和智能家居控制系统
CN209086961U (zh) 一种用于人机交互的信息亭及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant