CN112181129A - 一种设备控制方法、装置、设备和机器可读介质 - Google Patents

一种设备控制方法、装置、设备和机器可读介质 Download PDF

Info

Publication number
CN112181129A
CN112181129A CN201910600194.1A CN201910600194A CN112181129A CN 112181129 A CN112181129 A CN 112181129A CN 201910600194 A CN201910600194 A CN 201910600194A CN 112181129 A CN112181129 A CN 112181129A
Authority
CN
China
Prior art keywords
gesture
environmental characteristic
identification
user
capability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910600194.1A
Other languages
English (en)
Other versions
CN112181129B (zh
Inventor
陈耀轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910600194.1A priority Critical patent/CN112181129B/zh
Publication of CN112181129A publication Critical patent/CN112181129A/zh
Application granted granted Critical
Publication of CN112181129B publication Critical patent/CN112181129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种设备控制方法、装置、设备和机器可读介质,所述的方法包括:确定智能设备相关的第一环境特征;若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征。本申请实施例可以降低识别能力的开启成本。

Description

一种设备控制方法、装置、设备和机器可读介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种设备控制方法、一种设备控制装置、一种设备和一种机器可读介质。
背景技术
随着计算机技术的发展,手势交互方式作为一种非接触性的人机交互方式,以其真切的体验感和灵活的运用性,逐步被运用到人机交互游戏、计算机控制等领域。
目前,手势交互的实现过程可以包括:通过例如摄像头的图像采集装置,采集手势图像数据,通过手势识别技术确定手势图像数据对应的目标手势,并执行该目标手势对应的操作。
在实际应用中,需要在摄像头开启的情况下实现手势交互,且手势识别过程需要耗费相应的运算量,因此,手势交互的实现过程需要耗费相应的设备资源。为了节省设备资源,用户可以通过系统的设置界面进行手势交互功能的开启或者关闭,但是通常需要多次跳转才能进入系统的设置界面,因此导致手势交互功能的开关成本较高。
发明内容
本申请实施例所要解决的技术问题是提供一种设备控制方法,可以降低识别能力的开启成本。
相应的,本申请实施例还提供了一种设备控制装置、一种设备、以及一种机器可读介质,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种设备控制方法,包括:
确定智能设备相关的第一环境特征;
若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征。
为了解决上述问题,本申请实施例公开了一种识别方法,包括:
显示界面;
在满足设定条件的情况下,开启图像识别相关的识别能力;
采集用户的图像;
依据所述图像对应的分析结果,确定所述用户针对所述界面的操作意图。
为了解决上述问题,本申请实施例公开了一种识别方法,包括:
确定智能设备相关的第一环境特征;
若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征;
通过所述识别能力,对用户输入进行识别,得到识别结果;
采用与所述识别结果对应的指令对所述智能设备输出的内容进行控制。
为了解决上述问题,本申请实施例公开了一种识别方法,包括:
确定智能设备相关的第一环境特征;
若所述第一环境特征与第二环境特征相匹配,则采用与所述第二环境特征对应的识别能力,对用户输入进行识别;所述第二环境特征对应的识别能力包括:在所述第二环境特征下,触发所述智能设备响应操作指令的用户输入方式。
另一方面,本申请实施例还公开了一种设备控制装置,包括:
第一环境特征确定模块,用于确定智能设备相关的第一环境特征;以及
开启模块,用于若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征。
再一方面,本申请实施例还公开了一种设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行前述一个或多个所述的方法。
又一方面,本申请实施例公开了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行前述一个或多个所述的方法。
为了解决上述问题,本申请实施例公开了一种识别方法,包括:
显示界面;
在满足设定条件的情况下,开启图像识别相关的识别能力;
采集用户的图像;
依据所述图像对应的分析结果,确定所述用户针对所述界面的操作意图。
本申请实施例包括以下优点:
本申请实施例的第一环境特征可用于表征智能设备所处的实时环境特征,第二环境特征可用于表征适于手势交互的环境特征,在第一环境特征与第二环境特征相匹配的情况下,可以认为第一环境特征适于手势交互,因此可以自动开启图像识别相关的识别能力;由于可以节省用户开启手势识别能力所需的操作成本,故可以降低识别能力的开启成本。
附图说明
图1是本申请的一种设备控制方法的应用环境的示意;
图2是本申请的一种设备控制方法实施例一的步骤流程图;
图3是本申请实施例的一种媒体播放界面的示意;
图4是本申请实施例的一种视频通话的邀请界面的示意;
图5是本申请的一种设备控制方法实施例二的步骤流程图;
图6是本申请的一种设备控制方法实施例三的步骤流程图;
图7是本申请的一种设备控制方法实施例四的步骤流程图;
图8是本申请的一种设备控制装置实施例的结构框图;
图9是本申请一实施例提供的设备的结构示意图;
图10是本申请实施例的一种厨房环境下手势识别能力的开启过程的示意;
图11是本申请的一种设备控制方法实施例五的步骤流程图;
图12是本申请的一种设备控制方法实施例六的步骤流程图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的构思易于进行各种修改和替代形式,其具体实施例已经通过附图的方式示出,并将在这里详细描述。然而,应该理解,上述内容并不是用来将本申请的构思限制为所公开的具体形式,相反地,本申请的说明书和附加权利要求书意欲覆盖所有的修改、等同和替代的形式。
本说明书中的“一个实施例”,“实施例”,“一个具体实施例”等,表示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可以包括或可以不必然包括该特定特征、结构或特性。此外,这样的短语不一定指的是同一实施例。另外,在联系一个实施例描述特定特征、结构或特性的情况下,无论是否明确描述,可以认为本领域技术人员所知的范围内,这样的特征、结构或特性也与其他实施例有关。另外,应该理解的是,“在A,B和C的至少一个”这种形式所包括的列表中的条目中,可以包括如下可能的项目:(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。同样,“A,B或C中的至少一个”这种形式列出的项目可能意味着(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。
在一些情况下,所公开的实施例可以被实施为硬件、固件、软件或其任意组合。所公开的实施例也可以实现为携带或存储在一个或多个暂时的或者非暂时的机器可读(例如计算机可读)存储介质中的指令,该指令可以被一个或多个处理器执行。机器可读存储介质可以实施为用于以能够被机器读取的形式存储或者传输信息的存储装置、机构或其他物理结构(例如易失性或非易失性存储器、介质盘、或其他媒体其它物理结构装置)。
在附图中,一些结构或方法特征可以以特定的安排和/或排序显示。然而,优选地,这样的具体安排和/或排序并不是必要的。相反,在一些实施方案中,这样的特征可以以不同的方式和/或顺序排列,而不是如附图中所示。此外,特定的附图中的结构或方法特征中所包含的内容,不意味着暗示这种特征是在所有实施例是必须的,并且在一些实施方案中,可能不包括这些特征,或者可能将这些特征与其它特征相结合。
针对识别能力的开关成本较高的技术问题,本申请实施例提供了一种数据处理方案,该方案具体可以包括:确定智能设备相关的第一环境特征;若第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力(简称手势识别能力);第二环境特征具体可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征。
第二环境特征具体可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征。用户针对识别能力输入开启指令或者识别指令,可以表征用户在第二环境特征下存在识别能力的使用需求,因此,本申请实施例的第二环境特征可用于表征适于手势交互的环境特征。
可选地,可以通过分析历史行为数据,确定第二环境特征。例如,通过分析第二用户的历史行为数据,可以得到如下规律:在媒体浏览环境、媒体播放环境、或者通话环境等环境下,用户倾向于使用识别能力,因此可以得到适于手势交互的如下第二环境特征:媒体浏览环境、媒体播放环境、或者通话环境。
本申请实施例的第一环境特征可用于表征智能设备所处的实时环境特征,第二环境特征可用于表征适于手势交互的环境特征,在第一环境特征与第二环境特征相匹配的情况下,可以认为第一环境特征适于手势交互,因此可以自动开启图像识别相关的识别能力;由于可以节省用户开启手势识别能力所需的操作成本,故可以降低识别能力的开启成本。
本申请实施例提供的数据处理方案可应用于图1所示的应用环境中,如图1所示,客户端100与服务端200位于有线或无线网络中,通过该有线或无线网络,客户端100与服务端200进行数据交互。
可选地,客户端可以运行在智能设备上,例如,该客户端可以为智能设备上运行的APP(应用程序,Application),如语音助手APP、智能家居APP、购物APP、或者操作系统自带的APP等,本申请实施例对于客户端所对应的具体APP不加以限制。
可选地,上述智能设备可以内置或者外接屏幕,上述屏幕用于显示信息,如显示UI(界面,User Interface)等。
上述智能设备还可以内置或者外置麦克风,上述麦克风用于采集用户的语音信息。上述智能设备还可以内置或者外置扬声器,上述扬声器用于播放信息。上述信息可以包括:语音信息的响应信息等。
上述智能设备具体可以包括但不限于:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4,Moving Picture Experts Group AudioLayer IV)播放器、膝上型便携计算机、车载智能设备、PC(个人计算机,PersonalComputer)、机顶盒、智能电视机、可穿戴智能设备、智能家居智能设备等。智能家居智能设备可以包括:智能音箱、智能门锁、智能门禁等,可以理解,本申请实施例对于具体的智能设备不加以限制。
智能音箱可以是音箱的升级产物,该智能音箱除了音箱中常见的功率放大器、扬声器等音频输出部件外,还可包括麦克风等音频输入部件和无线网络模块,该无线网络模块可包括:上网模块如WIFI(无线保真,Wireless Fidelity)芯片、以及蓝牙模块如蓝牙芯片等,也可为其他无线连接技术相关的模块。从而该智能音箱在提供基本的音频输出功能外,还可作为语音上网的工具与网络和其他智能设备连接交互。
本申请实施例可以应用于支持语音交互和屏幕显示的智能设备,该智能设备可以通过屏幕显示例如界面的信息。该智能设备还可以通过语音交互方式,帮助用户实现所需的操作。例如,响应于用户的语音开启指令,开启对应的识别能力等。
本申请实施例中,智能设备支持的能力可以包括:识别能力,识别能力可以包括:手势交互能力。除了支持识别能力之外,智能设备还可以支持如下识别能力中的至少一种:语音识别能力、或者触控识别能力。
本申请实施例中,可选的是,开启图像识别相关的识别能力,具体可以包括:
开启图像识别相关的识别能力对应的硬件,以手势识别能力为例,可以开启图像采集装置;或者
开启与识别能力相关的设置。与识别能力相关的设置,可以指操作系统针对识别能力的软件设置。
触控可以指触控控制,触摸控制是指采用触摸屏幕的方式来操作的控制方式。触控交互可以包括:单点触控(如点击)、或者多点触控(如滑动)等。
语音识别能力可以接收第一用户的语音信息,并对该语音信息进行响应,可选地,可以向第一用户输出语音响应信息。语音识别能力可以采用语音识别技术、或者语音合成技术。
可选地,可以采用语音识别技术,确定该语音信息对应的文本。如果将该语音信息记作S,对S进行一系列处理后得到与之相对应的语音特征序列O,记作O={O1,O2,…,Oi,…,OT},其中Oi是第i(i为自然数)个语音特征,T为语音特征总个数。语音信息S对应的句子可看作是由许多词组成的一个词串,记作W={w1,w2,…,wn}。语音识别的过程就是根据已知的语音特征序列O,求出最可能的词串W’,n可以为自然数。
具体来说,语音识别是一个模型匹配的过程,在这个过程中,可以首先根据人的语音特点建立语音模型,通过对输入的语音信息的分析,抽取所需的特征,来建立语音识别所需的模板;对用户的语音信息进行识别的过程即是将语音信息的特征与模板比较的过程,最后确定与的特征与匹配的最佳模板,从而获得语音识别结果。具体的语音识别算法,可采用基于统计的隐含马尔可夫模型的训练和识别算法,也可采用基于神经网络的训练和识别算法、基于动态时间归整匹配的识别算法等等其他算法,本申请实施例对于具体的语音识别过程不加以限制。
语音合成,又称文语转换(Text to Speech)技术,能将任意文字信息实时转化为标准流畅的语音朗读出来,相当于给机器装上了人工嘴巴。
本申请实施例中,智能设备在同一时刻支持的识别能力可以包括:一种或者多种。本申请实施例可以依据第一环境特征或者用户指令,在多种识别能力之间进行切换。例如,将手势识别能力切换为语音识别能力,或者将手势识别能力切换为触控识别能力等。
方法实施例一
参照图2,示出了本申请的一种设备控制方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤201、确定智能设备相关的第一环境特征;
步骤202、若第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;第二环境特征可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征。
图2所示方法实施例的至少一个步骤可由客户端执行,客户端可以指用户对应的客户端。客户端可以对应任意的APP,如语音助手APP、智能家居APP、购物APP、或者操作系统自带的APP等。
在本申请的一种可选实施例中,APP可以包括:系统级APP和应用级APP。客户端可以对应系统级APP,客户端可以在应用级APP的环境下工作,以在应用级APP的环境下智能地开启图像识别相关的识别能力。
本申请实施例中,识别能力可以指依据用户的图像识别出用户的操作意图的能力。
步骤201中,智能设备相关的第一环境特征可以包括:第一用户和/或智能设备对应的环境特征。第一用户可以指使用设备的用户。第二用户可以指不同于第一用户的用户。
第一环境特征可以包括:第一用户对应的用户环境特征、和/或、智能设备对应的设备环境特征。
在实际应用中,用户环境特征可以包括:时间环境特征、温度环境特征、湿度环境特征、或者空间环境特征等。
空间环境特征可用于表征用户所处的环境空间,如室外环境特征、室内环境特征等。
室外环境特征可以包括:建筑物、街道、地面等信息。
室内环境特征可以包括:家居环境特征,如室内的房间、房间内的墙壁、地面等信息。室内的房间可以包括:厨房、客厅、卫生间、卧室等。
室内环境特征可以包括:第一用户与设备之间的相对特征等。第一用户与设备之间的相对特征可以包括:第一用户与设备之间的相对方向特征、和/或、第一用户与设备之间的距离特征等。
第一用户与设备之间的相对方向特征。相对方向特征可以判断第一用户是否具备对于识别能力的意图。例如,第一用户的前部朝向设备的预设面,则可以认为第一用户存在使用设备的意图,因此可以认为第一用户可能具备对于识别能力的意图。反之,第一用户的背部朝向设备的预设面,则说明第一用户不存在使用设备的意图,因此可以认为第一用户不具备对于识别能力的意图。
第一用户与设备之间的距离特征可用于判断第一用户是否具备对于识别能力的意图。可选地,用户通常在特定的距离范围内采用习惯的识别能力,因此,该距离特征可以作为第一用户是否具备对于识别能力的意图的判断依据。
本申请实施例中,可选的是,空间环境特征可以为对第一用户的图像数据进行图像识别得到。
图像识别,是指利用机器对图像进行处理、分析和理解,以识别各种不同模式的图像目标的技术。具体到本申请实施例,可以利用机器对第一用户的图像数据进行处理、分析和理解,以识别各种不同模式的图像目标的技术。图像目标可以包括:人物、空间等,可以理解,本申请实施例对于图像数据中的具体图像目标不加以限制。
本申请实施例中,距离特征的确定方式可以包括:超声波的测距方式、或者图像测距方式等。
以超声波的测距方式为例,超声波发射器向某一方向发射超声波,在发射时刻的同时开始计时,超声波在空气中传播,途中碰到障碍物(本申请实施例的第一用户)会返回来,超声波接收器收到反射波停止计时,超声波探测的距离参数可以包括:计时器记录的时间t;超声波在空气中的传播速度为v,则可以计算出发射点距障碍物的距离(s),即:s=vt/2。可以理解,本申请实施例对于依据距离参数确定距离值的具体过程不加以限制。
以图像测距方式为例,可以通过摄像头监测第一用户的图像数据,由于摄像头的位置相对固定,故可以依据是否监测得到图像数据、或监测得到的图像数据的具体情况,确定第一用户与设备之间的距离特征。
可以理解,本申请实施例对于距离特征的具体确定方式不加以限制。
可选地,智能设备对应的设备环境特征可以包括:设备内部的运行环境特征,上述运行环境特征可以包括:网络连接特征、系统资源特征(如CPU、电量等)、或者界面环境特征等。
界面环境特征可以指设备中显示的界面,上述界面可以隶属于任意的APP,如即时通讯APP、阅读APP、多媒体APP等。
步骤202中,第一环境特征可用于表征智能设备所处的实时环境特征,第二环境特征可用于表征适于手势交互的环境特征,在第一环境特征与第二环境特征相匹配的情况下,可以认为第一环境特征适于手势交互,因此可以自动开启图像识别相关的识别能力。
可选地,可以依据历史行为数据确定第二环境特征。历史行为数据可用于表征用户在历史环境特征下对于识别能力的操作行为,上述操作行为可以包括:开启行为、和/或、使用行为。开启行为可以包括:用户主动开启图像识别相关的识别能力的行为,开启行为可以包括:触发开启指令等。开启指令可以包括:基于设置界面的开启指令、或者语音开启指令等。
可选地,第一环境特征与第二环境特征相匹配,具体可以包括:第一环境特征表征第一用户与设备之间的距离在第二环境特征表征的第一距离范围内。第一距离范围可用于表征适于手势交互的距离,第一距离范围可以为依据第二环境特征得到。在第一环境特征表征第一用户与设备之间的距离在第二环境特征表征的第一距离范围内的情况下,可以开启图像识别相关的识别能力,以使第一用户使用识别能力。
可选地,可以在智能设备接收到针对识别能力的开启指令或识别指令的情况下,获取用户与设备之间的目标历史距离,依据上述历史距离得到第一距离范围,可以理解,本申请实施例对于第一距离范围的具体确定方式不加以限制。可选地,第一距离范围可以包括:上述目标历史距离。
本申请实施例中,可选的是,第二环境特征可以包括:使用次数超过阈值的识别能力对应的环境特征。
在第二环境特征下对于识别能力的使用次数超过阈值,可以说明用户在第二环境特征下对于识别能力的使用频率较高,因此可以依据使用次数超过阈值的历史环境特征得到第二环境特征。
当然,依据使用次数超过阈值的历史环境特征得到第二环境特征,只是作为可选实施例,实际上,本申请实施例对于第二环境特征的具体确定方式不加以限制。在本申请的一种实施例中,还可以确定在历史环境特征下使用过识别能力的用户的比例,依据该比例判断该历史环境特征是否为第二环境特征。该比例的确定方式可以包括:确定在历史环境特征下使用过识别能力的用户的数量与用户的总数量的比值。
可选地,第一环境特征与第二环境特征相匹配,具体可以包括:第一环境特征表征第一用户处于第二环境特征表征的预设空间环境内,预设空间环境可以包括:厨房环境、办公环境等,在预设空间环境下,第一用户的关注点包括:首要的第一关注点(如做饭、办公等)、以及次要的操作设备的关注点,因此为了提高第一关注点的效率和设备的操作效率,可以帮助第一用户开启图像识别相关的识别能力。
参照图10,示出了本申请实施例的一种厨房环境下手势识别能力的开启过程的示意。
(a)部分中,用户在媒体播放环境下向智能音箱发送开启指令“音箱,请为我开启手势识别能力”,智能音箱开启了手势识别能力,且播放语音响应信息“好的,主人,已为您开启”,智能音箱可以记录上述操作对应的历史行为数据,例如,记录的历史行为数据可以包括:厨房特征、媒体播放环境和开启指令,因此可以得到第二环境特征:厨房特征和媒体播放环境。
(b)部分中,可以确定第一环境特征为:厨房特征和媒体播放环境,经过匹配,可以确定第一环境特征和第二环境特征相匹配,因此可以自动开启手势识别能力,在开启手势识别能力后,可以发出对应的提示信息,如“主人,已自动为您开启手势识别能力”。
在本申请的一种可选实施例中,第二环境特征可以包括:媒体浏览环境、图像阅读环境、媒体播放环境、或者通话环境等,则在第一环境特征与第二环境特征相匹配的情况下,可以开启图像识别相关的识别能力。
在本申请的一种可选实施例中,第二环境特征可以包括:依据第二用户的历史行为数据得到的环境特征A。环境特征A可以适用于第一用户为新用户的情况,在第一用户为新用户的情况下,第一用户的历史行为数据为空,此种情况下,可以利用环境特征A为第一用户开启图像识别相关的识别能力。
随着第一用户的历史行为数据的积累,第二环境特征可以包括:依据第一用户的历史行为数据得到的环境特征B。环境特征B可以适用于第一用户为老用户的情况,在第一用户为老用户的情况下,第一用户的历史行为数据不为空,此种情况下,可以利用环境特征A和/或环境特征B为第一用户开启图像识别相关的识别能力。因此,本申请实施例可以依据第一用户的历史行为数据,对第二环境特征进行扩充。
本申请实施例中,可选的是,开启图像识别相关的识别能力,具体可以包括:开启图像识别相关的识别能力对应的软件和/或硬件。
识别能力对应的硬件可以包括:图像采集装置,图像采集装置可以包括:摄像头等。
识别能力对应的软件可以包括:与识别能力相关的设置等。识别能力对应的软件的功能可以包括:通过图像采集装置采集手势图像数据,通过手势识别技术确定手势图像数据对应的目标手势,并执行该目标手势对应的操作。
本申请实施例中,手势的方位可以包括:方向、角度和弧度中的至少一种。在实际应用中,预设状态下的手可以沿着任意方向移动,或者预设状态下的手可以在平面内绕某个点旋转,或者,预设状态下的手可以绕着某个轴翻转,以得到多样性的手势。其中,预设状态可以包括:握拳状态、手掌展开状态、手掌半展开状态等。可以理解,本领域技术人员或者用户可以根据实际应用需求,设置所需的手势,并采用所需的信息来表征手势的方位,本申请实施例对于具体的手势、以及手势的具体方位表示方法不加以限制。
在本申请的一种应用示例中,识别能力对应的软硬件可以包括:手势识别装置。上述手势识别装置可以包括:两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元。其中,图像采集单元与两个红外摄像头电连接,红外发光二极管驱动单元与红外发光二极管电连接以驱动红外发光二极管发光,运算单元与图像采集单元、红外发光二极管驱动单元、手势识别单元电连接;图像采集单元通过两个红外摄像头采集手势图像数据,并将手势图像数据发送到运算单元进行处理,运算单元获得手势图像数据并进行三维坐标定位后发送给手势识别单元进行模式匹配实现手势识别。
在实际应用中,上述手势识别装置可以与用于执行本申请实施例的方法的设备相互独立,或者,上述手势识别装置可被集成在用于执行本申请实施例的方法的设备中。可以理解,本领域技术人员可以根据所需的任意手势识别装置,实现手势识别,本申请实施例对于具体的手势识别装置、以及手势识别装置与用于执行本申请实施例的方法的设备之间的具体关系不加以限制。
在本申请的一种可选实施例中,上述方法还可以包括:在开启图像识别相关的识别能力后,在界面上显示第一标识;第一标识用于表征识别能力在第一环境特征下处于开启状态,可以提示第一用户使用识别能力,也即识别能力是可用的。
第一标识可以包括:图标和/或文本。可选地,第一标识可以包括:手掌图标、以及手掌图标的修饰图标,该修饰图标可以位于手掌图标的上方、下方、右上角、右下角、左上角或者左下角。修饰图标可以包括:ok、或者对勾等。
在本申请的一种可选实施例中,上述方法还可以包括:确定第一用户的手势;依据智能设备对应的界面环境特征,确定手势对应的目标操作,以执行目标操作。
上述确定第一用户的手势,具体可以包括:在开启图像识别相关的识别能力后,可以采集第一用户的手势图像数据,并通过手势识别技术确定手势图像数据对应的手势。
本申请实施例依据界面环境特征,确定手势对应的目标操作,以使不同界面环境特征对应的手势相互独立,故可以减少手势的种类,降低用户对于手势的记忆成本和学习成本。
根据一种实施例,界面环境特征可以包括:媒体播放环境特征;
若手势为上行手势,则目标操作可以包括:切换到上一首的操作;或者
若手势为下行手势,则目标操作可以包括:切换到下一首的操作;或者
若手势为正向手势,则目标操作可以包括:播放操作;或者
若手势为负向手势,则目标操作可以包括:暂停操作;或者
若手势为返回手势,则目标操作可以包括:返回操作。
根据另一种实施例,界面环境特征可以包括:媒体浏览环境特征;
若手势为上行手势,则目标操作可以包括:切换到上一页的操作;或者
若手势为下行手势,则目标操作可以包括:切换到下一页的操作;或者
若手势为正向手势,则目标操作可以包括:打开操作;或者
若手势为返回手势,则目标操作可以包括:返回操作。
根据再一种实施例,界面环境特征可以包括:通话环境特征;
若手势为正向手势,则目标操作可以包括:接听操作;或者
若手势为返回手势,则目标操作可以包括:拒绝操作。
本领域技术人员可以根据实际应用需求,确定上行手势、下行手势、正向手势、负向手势和返回手势,本申请实施例对于具体的上行手势、下行手势、正向手势、负向手势和返回手势不加以限制。
在本申请的一种可选实施例中,上行手势可以为:第一方向的拳头手势,下行手势可以为第二方向的拳头手势。第一方向和第二方向可用于表征大拇指的指向或者大拇指相对于其他手指的方向。例如,第一方向可以为:大拇指的指向为左向,或者,第一方向可以为大拇指在其他手指上方等。又如,第二方向可以为:大拇指的指向为右向,或者,第二方向可以为大拇指在其他手指下方等。
在本申请的一种可选实施例中,上行手势可以为:“ok”手势,下行手势可以为“no”手势等。
在本申请的一种可选实施例中,返回手势可以为:手掌摊开手势等。
例如,对于“ok”手势,在界面环境特征为媒体播放环境的情况下,“ok”手势对应的操作为“播放”,而在界面环境特征为通话环境的情况下,“ok”手势对应的操作为“接听”。
可以理解,除了“ok”手势之外,上述手势还可以包括:“no”手势、拳头手势、比心手势、点赞手势、喜欢手势等,例如,“no”手势在界面环境特征为媒体播放环境的情况下对应的操作可以为“暂停”,“no”手势在界面环境特征为视频通话环境的情况下对应的操作可以为“拒接”等。
除了媒体播放环境和媒体播放环境之外,本申请实施例的界面环境特征还可以包括:图像阅读环境等,例如图像阅读环境对应的操作可以包括:翻页操作等。
可选地,可以保存界面环境特征、手势与操作之间的映射关系,这样,可以依据界面环境特征和手势,在该映射关系中进行查找,以得到目标手势。
参照图3,示出了本申请实施例的一种媒体播放界面的示意,该媒体播放界面用于播放音乐,该媒体播放界面对应的空间环境特征可以为厨房特征;在初始情况下,该媒体播放界面处于未播放状态,若检测到正向手势301,则可以播放音乐,也即使该媒体播放界面处于播放状态。可以理解,若检测到上行手势302(如大拇指的指向为左向的拳头手势),则可以执行切换到上一首的操作。或者,若检测到下行手势303(如大拇指的指向为左向的拳头手势),则可以执行切换到下一首的操作。
参照图4,示出了本申请实施例的一种视频通话的邀请界面的示意,该来电界面来自用户A,此种情况下,若检测到正向手势401,则可以接听视频通话,或者,若检测到正向手势402,则可以拒绝视频通话。
综上,本申请实施例的设备控制方法,第一环境特征可用于表征智能设备所处的实时环境特征,第二环境特征可用于表征适于手势交互的环境特征,在第一环境特征与第二环境特征相匹配的情况下,可以认为第一环境特征适于手势交互,因此可以自动开启图像识别相关的识别能力;由于可以节省用户开启手势识别能力所需的操作成本,故可以降低识别能力的开启成本。
方法实施例二
参照图5,示出了本申请的一种设备控制方法实施例二的步骤流程图,具体可以包括如下步骤:
步骤501、确定智能设备相关的第一环境特征;
步骤502、若第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;第二环境特征可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征。
相对于图2所示方法实施例一,本实施例的方法还可以包括:
步骤503、若第一环境特征与第二环境特征不匹配,则关闭识别能力,并开启第一环境特征对应的识别能力。
在第一环境特征与第二环境特征不匹配的情况下,本申请实施例可以自动进行识别能力的切换,具体地,可以将识别能力切换为第一环境特征对应的识别能力。
第一环境特征与第二环境特征不匹配,具体可以包括:第一环境特征表征第一用户与设备之间的距离不在第二环境特征表征的第一距离范围内。或者,第一环境特征与第二环境特征不匹配,具体可以包括:第一环境特征包括的第一界面环境特征与第二环境特征包括的第二界面环境特征不匹配等。或者,第一环境特征与第二环境特征不匹配,具体可以包括:第一环境特征表征第一用户不处于第二环境特征表征的预设空间环境内,
可选地,上述开启第一环境特征对应的识别能力,包括:
若第一环境特征表征第一用户与设备之间的距离在第二距离范围内,则开启语音识别能力;或者
若第一环境特征表征第一用户与设备之间的距离在第三距离范围内,则开启触控识别能力。
第二距离范围可用于表征适于语音交互的距离范围,第三距离范围可用于表征适于触控交互的距离范围。
在实际应用中,适于手势交互的距离通常大于适于触控交互的距离,因此,第一距离范围对应的距离通常大于第三距离范围对应的距离。
在实际应用中,在第一用户与设备的距离较远的情况下,图像采集装置可能无法采集到合理的手势图像数据,例如,手势图像数据中的手势过小导致手势识别的准确率较低等。因此,适于手势交互的距离通常小于适于语音交互的距离,因此,第一距离范围对应的距离通常小于第二距离范围对应的距离。
可以理解,本领域技术人员可以根据实际应用需求,确定第一距离范围、第二距离范围和第三距离范围,本申请实施例对于具体的第一距离范围、第二距离范围和第三距离范围不加以限制。
在本申请的一种实施例中,在开启图像识别相关的识别能力后,可以依据第一用户与设备之间的距离,将识别能力切换为第一环境特征对应的识别能力。例如,该距离呈现由远到近的趋势,则第一环境特征对应的识别能力可以为触控识别能力,故可以在节省用户的操作成本的情况下,自动将识别能力切换为触控识别能力。例如,该距离呈现由近到远的趋势,则第一环境特征对应的识别能力可以为语音识别能力,故可以在节省用户的操作成本的情况下,自动将识别能力切换为语音识别能力。
本申请实施例中,可选的是,上述方法还可以包括:在关闭识别能力后,在界面上显示第二标识;第二标识用于表征识别能力在第一环境特征下处于关闭状态,可以提示第一用户识别能力是不可用的。
第二标识可以包括:图标和/或文本。可选地,第二标识可以包括:手掌图标,相对于第一标识,第二标识可以不包括修饰图标,因此可以标识识别能力的不可用性。当然,第二标识也可以包括:用于标识识别能力的不可用性的修饰图标。可以理解,本申请实施例对于具体的第一图标和第二图标不加以限制。
在本申请的一种可选实施例中,上述方法还可以包括:在界面上显示第三标识;第三标识用于表征识别能力在任意第一环境特征下处于关闭状态。可选地,可以通过设备的设置界面,将识别能力在系统范围内关闭,以使识别能力在任意第一环境特征下处于关闭状态。第三标识可以为:交叉图标,以提示识别能力在任意第一环境特征下不可用。
方法实施例三
参照图6,示出了本申请的一种设备控制方法实施例三的步骤流程图,具体可以包括如下步骤:
步骤601、确定智能设备相关的第一环境特征;
步骤602、判断第一用户是否在第一环境特征下使用过识别能力,若否,则执行步骤603,若是,则执行步骤605;
步骤603、判断第一环境特征是否与第二环境特征相匹配,若是,则执行步骤604;
第二环境特征包括:依据第二用户的历史行为数据得到的环境特征,历史行为数据用于表征第二用户在历史环境特征下对于识别能力的操作行为。
步骤604、开启图像识别相关的识别能力;
步骤605、判断第一用户在第一环境特征下对于识别能力的使用次数是否超过阈值,若是,则执行步骤606;
步骤606、开启图像识别相关的识别能力。
本申请实施例在第一用户未在第一环境特征下使用过识别能力的情况下,可以说明第一用户为新用户,因此可以使用依据第二用户的历史行为数据得到的第二环境特征,判断是否开启图像识别相关的识别能力。
在第一用户在第一环境特征下使用过识别能力的情况下,可以说明第一用户为旧用户,因此可以使用依据第一用户的历史行为数据得到的第二环境特征,判断是否开启图像识别相关的识别能力。
在本申请的一种可选实施例中,可以响应于第一用户的语音开启指令,开启图像识别相关的识别能力。语音开启指令用于开启图像识别相关的识别能力。例如,在步骤603的判断结果为否、或者步骤605的判断结果为否的情况下,可以响应于第一用户的语音开启指令,开启图像识别相关的识别能力。此种情况下,可以在第一用户的历史行为数据中记录相应的数据,例如,可以记录:第一用户在第二环境特征下开启过识别能力。
可选地,在响应于第一用户的语音开启指令,开启图像识别相关的识别能力的情况下,可以将语音开启指令对应的第一环境特征确定为第二环境特征,可以节省第一用户下次开启手势识别能力所需的操作成本。
在本申请的一种可选实施例中,若在开启图像识别相关的识别能力后,接收到第一用户的语音开启指令,则可以输出对应的第一提示信息,第一提示信息可用于提示开启图像识别相关的识别能力已开启
在本申请的一种可选实施例中,可以响应于第一用户的语音关闭操作,关闭识别能力。语音关闭操作用于关闭识别能力。
方法实施例四
参照图7,示出了本申请的一种设备控制方法实施例四的步骤流程图,具体可以包括如下步骤:
步骤701、显示界面;
步骤702、在满足设定条件的情况下,开启图像识别相关的识别能力;
步骤703、采集用户的图像;
步骤704、依据图像对应的分析结果,确定用户针对界面的操作意图。
可选地,可以利用手势识别技术,对上述图像进行分析,以得到图像对应的分析结果。图像对应的分析结果可以包括:图像对应的手势等。
可选地,可以依据界面环境特征,对上述图像进行分析,以得到图像对应的分析结果。
根据一种实施例,界面环境特征具体可以包括:媒体播放环境特征;
若手势为上行手势,则操作意图可以包括:切换到上一首的操作;或者
若手势为下行手势,则操作意图可以包括:切换到下一首的操作;或者
若手势为正向手势,则操作意图可以包括:播放操作;或者
若手势为负向手势,则操作意图可以包括:暂停操作;或者
若手势为返回手势,则操作意图可以包括:返回操作。
根据另一种实施例,界面环境特征包括:媒体浏览环境特征;
若手势为上行手势,则操作意图包括:切换到上一页的操作;或者
若手势为下行手势,则操作意图包括:切换到下一页的操作;或者
若手势为正向手势,则操作意图包括:打开操作;或者
若手势为返回手势,则操作意图包括:返回操作。
根据再一种实施例,界面环境特征包括:通话环境特征;
若手势为正向手势,则操作意图包括:接听操作;或者
若手势为返回手势,则操作意图包括:拒绝操作。
可选地,设定条件具体可以包括:
第一环境特征与第二环境特征相匹配;或者
接收到用户的语音指令或触控指令。
可选地,开启图像识别相关的识别能力,可以包括:
开启图像采集装置;或者
开启与识别能力相关的设置。
可选地,第一环境特征,可以包括:
第一用户所处的空间环境特征;和/或
智能设备对应的界面环境特征。
可选地,空间环境特征可以包括:
家居环境特征;和/或
第一用户与设备之间的相对特征。
可选地,空间环境特征为对第一用户的图像数据进行图像识别得到。
可选地,第二环境特征可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征。
可选地,第二环境特征可以包括:使用次数超过阈值的识别能力对应的环境特征。
可选地,第一环境特征与第二环境特征相匹配,可以包括:
第一环境特征表征第一用户与设备之间的距离在第二环境特征表征的第一距离范围内。
综上,本申请实施例的设备控制方法,在满足设定条件的情况下,自动开启图像识别相关的识别能力;由于可以节省用户开启手势识别能力所需的操作成本,故可以降低识别能力的开启成本。
并且,本申请实施例依据图像对应的分析结果,确定用户针对界面的操作意图,可以向用户提供非接触式的交互体验。
方法实施例五
参照图11,示出了本申请的一种设备控制方法实施例五的步骤流程图,具体可以包括如下步骤:
步骤1101、确定智能设备相关的第一环境特征;
步骤1102、若第一环境特征与第二环境特征相匹配,则开启手势识别能力;第二环境特征可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征;
步骤1103、通过识别能力,对用户输入进行识别,得到识别结果;
步骤1104、采用与识别结果对应的指令对智能设备输出的内容进行控制。
本申请实施例中,识别能力可以包括:图像识别相关的识别能力。本申请实施例可以通过该识别能力,对用户输入进行识别。
可选地,用户输入可以包括:手势,可以利用手势识别技术,对上述手势进行识别,以得到手势识别结果。
本申请实施例中,识别结果可以对应有指令,则可以采用与识别结果对应的指令对智能设备输出的内容进行控制。
例如,在媒体播放环境下,智能设备输出的内容可以包括:例如音乐的媒体内容,则可以采用手势识别结果对应的指令,对媒体内容进行控制,例如,可以切换媒体内容的播放方式等。
又如,在通话环境下,智能设备输出的内容可以包括:接听通话的控件和拒绝通话的控件等,则可以采用手势识别结果对应的指令,对媒体内容进行控制,例如,可以选中对应的控件等。
方法实施例六
参照图12,示出了本申请的一种设备控制方法实施例六的步骤流程图,具体可以包括如下步骤:
步骤1201、确定智能设备相关的第一环境特征;
步骤1202、若第一环境特征与第二环境特征相匹配,则采用与第二环境特征对应的识别能力,对用户输入进行识别;第二环境特征对应的识别能力可以包括:在第二环境特征下,触发智能设备响应操作指令的用户输入方式。
用户输入方式可以包括:手势输入方式、语音输入方式、或者触控输入方式等。
本申请实施例中,第一环境特征与第二环境特征相匹配,可以说明,第一环境特征与第二环境特征对应的识别能力具有相似之处,因此可以利用第二环境特征对应的识别能力,对第一环境特征下的用户输入进行识别。
例如,第二环境特征包括:厨房环境和第二距离(用户与智能设备之间的距离),第一环境特征包括:厨房环境和第一距离(用户与智能设备之间的距离)等,则在第一距离和第二距离相匹配的情况下,可以采用第二环境特征对应的识别能力,对用户输入进行识别。
例如,第二距离对应有第一距离范围、第二距离范围和第三距离范围。第一距离范围可用于表征适于手势交互的距离范围,此种情况下,第二环境特征对应的识别能力为手势识别能力。第二距离范围可用于表征适于语音交互的距离范围,此种情况下,第二环境特征对应的识别能力为语音识别能力。第三距离范围可用于表征适于触控交互的距离范围,此种情况下,第二环境特征对应的识别能力为触控识别能力。
因此,可以依据第一距离与第一距离范围、第二距离范围或第三距离范围之间的匹配结果,针对第一环境特征,采用第二环境特征对应的识别能力。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
本申请实施例还提供了一种设备控制装置。
参照图8,示出了本申请的一种设备控制装置实施例的结构框图,具体可以包括如下模块:
第一环境特征确定模块801,用于确定智能设备相关的第一环境特征;以及
开启模块802,用于若第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;第二环境特征可以包括:智能设备接收到针对识别能力的开启指令或识别指令时,对应的环境特征。
可选地,第一环境特征,可以包括:
第一用户所处的空间环境特征;和/或
智能设备对应的界面环境特征。
可选地,空间环境特征可以包括:
家居环境特征;和/或
第一用户与设备之间的相对特征。
可选地,空间环境特征为对第一用户的图像数据进行图像识别得到。
可选地,第二环境特征可以包括:使用次数超过阈值的识别能力对应的环境特征。
可选地,第一环境特征与第二环境特征相匹配,可以包括:
第一环境特征表征第一用户与设备之间的距离在第二环境特征表征的第一距离范围内。
可选地,装置还可以包括:
第一标识显示模块,用于在开启图像识别相关的识别能力后,在界面上显示第一标识;第一标识用于表征识别能力在第一环境特征下处于开启状态。
可选地,装置还可以包括:
功能切换模块,用于若第一环境特征与第二环境特征不匹配,则关闭识别能力,并开启第一环境特征对应的识别能力。
可选地,功能切换模块可以包括:
第一切换模块,用于若第一环境特征表征第一用户与设备之间的距离在第二距离范围内,则开启语音识别能力;或者
第二切换模块,用于若第一环境特征表征第一用户与设备之间的距离在第三距离范围内,则开启触控识别能力。
可选地,装置还可以包括:
第二标识显示模块,用于在关闭识别能力后,在界面上显示第二标识;第二标识用于表征识别能力在第一环境特征下处于关闭状态。
可选地,装置还可以包括:
手势确定模块,用于确定第一用户的手势;
目标操作执行模块,用于依据智能设备对应的界面环境特征,确定手势对应的目标操作,以执行目标操作。
可选地,界面环境特征可以包括:媒体播放环境特征;
若手势为上行手势,则目标操作可以包括:切换到上一首的操作;或者
若手势为下行手势,则目标操作可以包括:切换到下一首的操作;或者
若手势为正向手势,则目标操作可以包括:播放操作;或者
若手势为负向手势,则目标操作可以包括:暂停操作;或者
若手势为返回手势,则目标操作可以包括:返回操作。
可选地,界面环境特征可以包括:媒体浏览环境特征;
若手势为上行手势,则目标操作可以包括:切换到上一页的操作;或者
若手势为下行手势,则目标操作可以包括:切换到下一页的操作;或者
若手势为正向手势,则目标操作可以包括:打开操作;或者
若手势为返回手势,则目标操作可以包括:返回操作。
可选地,界面环境特征可以包括:通话环境特征;
若手势为正向手势,则目标操作可以包括:接听操作;或者
若手势为返回手势,则目标操作可以包括:拒绝操作。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例的实施例可被实现为使用任意适当的硬件和/或软件进行想要的配置的系统或装置。图9示意性地示出了可被用于实现本申请中的各个实施例的示例性设备1300。
对于一个实施例,图9示出了示例性设备1300,该设备1300可以包括:一个或多个处理器1302、与处理器1302中的至少一个耦合的系统控制模块(芯片组)1304、与系统控制模块1304耦合的系统存储器1306、与系统控制模块1304耦合的非易失性存储器(NVM)/存储装置1308、与系统控制模块1304耦合的一个或多个输入/输出设备1310,以及与系统控制模块1306耦合的网络接口1312。该系统存储器1306可以包括:指令1822,该指令1822可被一个或多个处理器1302执行。
处理器1302可包括一个或多个单核或多核处理器,处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用程序处理器、基带处理器等)的任意组合。在一些实施例中,设备1300能够作为本申请实施例中的服务端、目标设备、无线设备等。
在一些实施例中,设备1300可包括具有指令的一个或多个机器可读介质(例如,系统存储器1306或NVM/存储装置1308)以及与该一个或多个机器可读介质相合并被配置为执行指令、以实现前述装置包括的模块、从而执行本申请实施例中的动作的一个或多个处理器1302。
一个实施例的系统控制模块1304可包括任何适合的接口控制器,用于提供任何适合的接口给处理器1302中的至少一个和/或与系统控制模块1304通信的任意适合的装置或部件。
一个实施例的系统控制模块1304可包括一个或多个存储器控制器,用于提供接口给系统存储器1306。存储器控制器可以是硬件模块、软件模块和/或固件模块。
一个实施例的系统存储器1306可被用于加载和存储数据和/或指令1822。对于一个实施例,系统存储器1306可包括任何适合的易失性存储器,例如,适合的DRAM(动态随机存取存储器)。在一些实施例中,系统存储器1306可包括:双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
一个实施例的系统控制模块1304可包括一个或多个输入/输出控制器,以向NVM/存储装置1308及(一个或多个)输入/输出设备1310提供接口。
一个实施例的NVM/存储装置1308可被用于存储数据和/或指令1382。NVM/存储装置1308可包括任何适合的非易失性存储器(例如闪存等)和/或可包括任何适合的(一个或多个)非易失性存储设备,例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器等。
NVM/存储装置1308可包括在物理上是设备1300被安装在其上的装置的一部分的存储资源,或者其可被该装置访问而不必作为该装置的一部分。例如,NVM/存储装置1308可经由网络接口1312通过网络和/或通过输入/输出设备1310进行访问。
一个实施例的(一个或多个)输入/输出设备1310可为设备1300提供接口以与任意其他适当的设备通信,输入/输出设备1310可以包括通信组件、音频组件、传感器组件等。
一个实施例的网络接口1312可为设备1300提供接口以通过一个或多个网络和/或与任何其他适合的装置通信,设备1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合进行无线通信。
对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器(例如,存储器控制器)的逻辑封装在一起。对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑集成在同一新品上。对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑集成在同一芯片上以形成片上系统(SoC)。
在各个实施例中,设备1300可以包括但不限于:台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等计算设备。在各个实施例中,设备1300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,设备1300可以包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,如果显示器包括触摸面板,显示屏可以被实现为触屏显示器,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在装置时,可以使得该装置执行本申请实施例中各方法的指令(instructions)。
在一个示例中提供了一种设备,包括:一个或多个处理器;和,其上存储的一个或多个机器可读介质中的指令,由一个或多个处理器执行时,导致装置执行如本申请实施例中的方法,该方法可以包括:图2或图3或图4或图5或图6或7所示的方法。
在一个示例中还提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如本申请实施例中的方法,该方法可以包括:图2或图3或图4或图5或图6或7所示的方法。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备控制装置的处理器以产生一个机器,使得通过计算机或其他可编程设备控制装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备控制装置以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备控制装置上,使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上对本申请所提供的一种设备控制方法、一种设备控制装置、一种设备、以及一种机器可读介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (22)

1.一种设备控制方法,其特征在于,包括:
确定智能设备相关的第一环境特征;
若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;
所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征。
2.根据权利要求1所述的方法,其特征在于,所述开启图像识别相关的识别能力,包括:
开启图像采集装置;或者
开启与所述识别能力相关的设置。
3.根据权利要求1所述的方法,其特征在于,所述第一环境特征,包括:
第一用户所处的空间环境特征;和/或
智能设备对应的界面环境特征。
4.根据权利要求1所述的方法,其特征在于,所述空间环境特征包括:
家居环境特征;和/或
第一用户与设备之间的相对特征。
5.根据权利要求2或3所述的方法,其特征在于,所述空间环境特征为对所述第一用户的图像数据进行图像识别得到。
6.根据权利要求1所述的方法,其特征在于,所述第二环境特征包括:使用次数超过阈值的识别能力对应的环境特征。
7.根据权利要求1所述的方法,其特征在于,所述第一环境特征与第二环境特征相匹配,包括:
所述第一环境特征表征所述第一用户与设备之间的距离在所述第二环境特征表征的第一距离范围内。
8.根据权利要求1或2或3或5或6所述的方法,其特征在于,所述方法还包括:
在开启图像识别相关的识别能力后,在界面上显示第一标识;所述第一标识用于表征所述识别能力在所述第一环境特征下处于开启状态。
9.根据权利要求1或2或3或5或6所述的方法,其特征在于,所述方法还包括:
若所述第一环境特征与第二环境特征不匹配,则关闭识别能力,并开启所述第一环境特征对应的识别能力。
10.根据权利要求9所述的方法,其特征在于,所述开启所述第一环境特征对应的识别能力,包括:
若所述第一环境特征表征所述第一用户与设备之间的距离在第二距离范围内,则开启语音识别能力;或者
若所述第一环境特征表征所述第一用户与设备之间的距离在第三距离范围内,则开启触控识别能力。
11.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在关闭识别能力后,在界面上显示第二标识;所述第二标识用于表征所述识别能力在所述第一环境特征下处于关闭状态。
12.根据权利要求1或2或3或4或6或7所述的方法,其特征在于,所述方法还包括:
确定所述第一用户的手势;
依据所述智能设备对应的界面环境特征,确定所述手势对应的目标操作,以执行所述目标操作。
13.根据权利要求12所述的方法,其特征在于,所述界面环境特征包括:媒体播放环境特征;
若所述手势为上行手势,则所述目标操作包括:切换到上一首的操作;或者
若所述手势为下行手势,则所述目标操作包括:切换到下一首的操作;或者
若所述手势为正向手势,则所述目标操作包括:播放操作;或者
若所述手势为负向手势,则所述目标操作包括:暂停操作;或者
若所述手势为返回手势,则所述目标操作包括:返回操作。
14.根据权利要求12所述的方法,其特征在于,所述界面环境特征包括:媒体浏览环境特征;
若所述手势为上行手势,则所述目标操作包括:切换到上一页的操作;或者
若所述手势为下行手势,则所述目标操作包括:切换到下一页的操作;或者
若所述手势为正向手势,则所述目标操作包括:打开操作;或者
若所述手势为返回手势,则所述目标操作包括:返回操作。
15.根据权利要求12所述的方法,其特征在于,所述界面环境特征包括:通话环境特征;
若所述手势为正向手势,则所述目标操作包括:接听操作;或者
若所述手势为返回手势,则所述目标操作包括:拒绝操作。
16.一种设备控制装置,其特征在于,包括:
第一环境特征确定模块,用于确定智能设备相关的第一环境特征;以及
开启模块,用于若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征。
17.一种设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述装置执行如权利要求1-15中一个或多个所述的方法。
18.一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如权利要求1-15中一个或多个所述的方法。
19.一种识别方法,其特征在于,包括:
显示界面;
在满足设定条件的情况下,开启图像识别相关的识别能力;
采集用户的图像;
依据所述图像对应的分析结果,确定所述用户针对所述界面的操作意图。
20.根据权利要求19所述的方法,其特征在于,所述设定条件包括:
第一环境特征与第二环境特征相匹配;或者
接收到用户的语音指令或触控指令。
21.一种识别方法,其特征在于,包括:
确定智能设备相关的第一环境特征;
若所述第一环境特征与第二环境特征相匹配,则开启图像识别相关的识别能力;所述第二环境特征包括:所述智能设备接收到针对所述识别能力的开启指令或识别指令时,对应的环境特征;
通过所述识别能力,对用户输入进行识别,得到识别结果;
采用与所述识别结果对应的指令对所述智能设备输出的内容进行控制。
22.一种识别方法,其特征在于,包括:
确定智能设备相关的第一环境特征;
若所述第一环境特征与第二环境特征相匹配,则采用与所述第二环境特征对应的识别能力,对用户输入进行识别;所述第二环境特征对应的识别能力包括:在所述第二环境特征下,触发所述智能设备响应操作指令的用户输入方式。
CN201910600194.1A 2019-07-04 2019-07-04 一种设备控制方法、装置、设备和机器可读介质 Active CN112181129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910600194.1A CN112181129B (zh) 2019-07-04 2019-07-04 一种设备控制方法、装置、设备和机器可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910600194.1A CN112181129B (zh) 2019-07-04 2019-07-04 一种设备控制方法、装置、设备和机器可读介质

Publications (2)

Publication Number Publication Date
CN112181129A true CN112181129A (zh) 2021-01-05
CN112181129B CN112181129B (zh) 2024-04-16

Family

ID=73914588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910600194.1A Active CN112181129B (zh) 2019-07-04 2019-07-04 一种设备控制方法、装置、设备和机器可读介质

Country Status (1)

Country Link
CN (1) CN112181129B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090259342A1 (en) * 2008-04-15 2009-10-15 Honeywell International Inc. Surrogate-based control system
WO2012134476A1 (en) * 2011-03-31 2012-10-04 Wacsi Ip Llc Providing product environmental feature information
US20120280901A1 (en) * 2010-12-29 2012-11-08 Empire Technology Development Llc Environment-dependent dynamic range control for gesture recognition
JP2013003817A (ja) * 2011-06-16 2013-01-07 V-Sync Co Ltd 顔認識による環境理解型制御方式
CN105892639A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技(天津)有限公司 一种对虚拟现实vr设备进行控制的方法及设备
CN106126042A (zh) * 2016-07-01 2016-11-16 京东方科技集团股份有限公司 一种环境提醒方法和系统
US20170168467A1 (en) * 2015-12-11 2017-06-15 Xiaomi Inc. Method and device for controlling intelligent device, and computer-readable medium
CN107077275A (zh) * 2015-01-20 2017-08-18 华为技术有限公司 多媒体信息的呈现方法和终端
CN107357271A (zh) * 2017-06-30 2017-11-17 深圳前海弘稼科技有限公司 温室作物病虫害的防治方法、防治系统
CN107562198A (zh) * 2016-11-14 2018-01-09 上海闻泰电子科技有限公司 Vr设备控制方法
CN107883527A (zh) * 2017-09-28 2018-04-06 努比亚技术有限公司 控制空调设备的方法、移动设备及计算机可读存储介质
US10007948B1 (en) * 2016-12-22 2018-06-26 Capital One Services, Llc Systems and methods for facilitating a transaction relating to newly identified items using augmented reality
CN208569552U (zh) * 2018-07-27 2019-03-01 广州大学 一种低功耗的手势识别装置及便携式设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090259342A1 (en) * 2008-04-15 2009-10-15 Honeywell International Inc. Surrogate-based control system
US20120280901A1 (en) * 2010-12-29 2012-11-08 Empire Technology Development Llc Environment-dependent dynamic range control for gesture recognition
CN103154856A (zh) * 2010-12-29 2013-06-12 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
WO2012134476A1 (en) * 2011-03-31 2012-10-04 Wacsi Ip Llc Providing product environmental feature information
JP2013003817A (ja) * 2011-06-16 2013-01-07 V-Sync Co Ltd 顔認識による環境理解型制御方式
CN107077275A (zh) * 2015-01-20 2017-08-18 华为技术有限公司 多媒体信息的呈现方法和终端
CN105892639A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技(天津)有限公司 一种对虚拟现实vr设备进行控制的方法及设备
US20170168467A1 (en) * 2015-12-11 2017-06-15 Xiaomi Inc. Method and device for controlling intelligent device, and computer-readable medium
CN106126042A (zh) * 2016-07-01 2016-11-16 京东方科技集团股份有限公司 一种环境提醒方法和系统
CN107562198A (zh) * 2016-11-14 2018-01-09 上海闻泰电子科技有限公司 Vr设备控制方法
US10007948B1 (en) * 2016-12-22 2018-06-26 Capital One Services, Llc Systems and methods for facilitating a transaction relating to newly identified items using augmented reality
CN107357271A (zh) * 2017-06-30 2017-11-17 深圳前海弘稼科技有限公司 温室作物病虫害的防治方法、防治系统
CN107883527A (zh) * 2017-09-28 2018-04-06 努比亚技术有限公司 控制空调设备的方法、移动设备及计算机可读存储介质
CN208569552U (zh) * 2018-07-27 2019-03-01 广州大学 一种低功耗的手势识别装置及便携式设备

Also Published As

Publication number Publication date
CN112181129B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US10416789B2 (en) Automatic selection of a wireless connectivity protocol for an input device
CN109074819B (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
KR102334272B1 (ko) 트레이닝가능한 센서 기반의 제스처 인식
US20140157209A1 (en) System and method for detecting gestures
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
US8606735B2 (en) Apparatus and method for predicting user's intention based on multimodal information
US20130211843A1 (en) Engagement-dependent gesture recognition
CN109035914B (zh) 一种基于智能台灯的学习方法及智能台灯
CN108702446A (zh) 一种拍照方法和终端
CN110740262A (zh) 背景音乐的添加方法、装置及电子设备
CN103529934A (zh) 用于处理多个输入的方法和装置
US20190271940A1 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
US11048459B2 (en) Content prioritization for a display array
CN105100672A (zh) 显示装置及其视频通话执行方法
CN109857787B (zh) 一种展示方法及终端
US20180181263A1 (en) Uninterruptable overlay on a display
US20220019288A1 (en) Information processing apparatus, information processing method, and program
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
CN114077227A (zh) 页面切换方法、装置、场景控制面板、设备及存储介质
TW201642117A (zh) 虛擬滑鼠控制系統及其控制方法
CN106873939A (zh) 电子设备及其使用方法
JPWO2019093123A1 (ja) 情報処理装置および電子機器
CN112181129B (zh) 一种设备控制方法、装置、设备和机器可读介质
CN115086094B (zh) 设备选择方法及相关装置
KR20240099616A (ko) 끼어들기 기능을 갖는 음성인식장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant