CN115079810A - 信息处理方法与装置、主控设备和受控设备 - Google Patents

信息处理方法与装置、主控设备和受控设备 Download PDF

Info

Publication number
CN115079810A
CN115079810A CN202110263156.9A CN202110263156A CN115079810A CN 115079810 A CN115079810 A CN 115079810A CN 202110263156 A CN202110263156 A CN 202110263156A CN 115079810 A CN115079810 A CN 115079810A
Authority
CN
China
Prior art keywords
information
user
equipment
target
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110263156.9A
Other languages
English (en)
Inventor
戴强
张晓帆
曾理
钟卫东
王佩玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110263156.9A priority Critical patent/CN115079810A/zh
Priority to PCT/CN2022/072350 priority patent/WO2022188551A1/zh
Publication of CN115079810A publication Critical patent/CN115079810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4418Suspend and resume; Hibernate and awake
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

本申请实施例公开了一种信息处理方法与装置、主控设备和受控设备,该方法包括:受控设备获取第一用户的第一信息,并向主控设备发送第一信息;主控设备接收来自受控设备的第一信息;主控设备从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组;主控设备获取第一用户的用户决策参数和第一候选设备的状态信息集中的第一状态信息;主控设备根据用户决策参数和状态信息集从候选设备组中确定目标设备;主控设备向目标设备发送第二信息,第二信息用于控制目标设备执行目标服务功能。可见,本申请实施例有利于保证决策出的目标设备更加符合用户的需求或意向,提供给用户更准确的个性化决策和更满足用户的个性化需求。

Description

信息处理方法与装置、主控设备和受控设备
技术领域
本申请涉及计算机技术领域,具体涉及一种信息处理方法与装置、主控设备和受控设备。
背景技术
在日常生活中,用户通常可以通过各类电子设备所能提供的不同服务功能(如视频播放、音乐播放、画面投屏等)来满足不同的使用需求。例如,使用电视来观看新闻联播,使用音响播放音乐,使用手机打电话等。同时,用户还可以通过语音、手势等多种操控方式实现与电子设备之间的动态交互。例如,用户通过输入语音或手势以操控手机播放音乐。
然而,随着物联网软硬件的快速发展,电子设备所能提供的服务功能、处理能力等不断增强,即不同类型的电子设备之间的差异性逐渐减小,从而导致不同类型的电子设备出现服务功能同质化现象。比如,智能电视和智能手机在视频播放、音乐播放等服务功能上存在较小的差异性。因此,在用户通过语音、手势等设备操控命令对多个电子设备进行操控的场景中,多个电子设备如何按照用户的设备操控命令自主决策出适合的电子设备以执行用户所需的服务功能,仍然需要进一步的研究。
发明内容
本申请实施例提供了一种信息处理方法与装置、主控设备和受控设备,以期望保证决策出的目标设备更加符合用户的需求或意向,提供给用户更准确的个性化决策和更满足用户的个性化需求。
第一方面,本申请实施例提供一种信息处理方法,应用于主控设备,所述方法包括:
接收来自受控设备的第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向所述主控设备执行注册的电子设备组成;
从所述注册设备组中确定具备执行所述第一信息所识别的目标服务功能的电子设备以得到候选设备组;
获取所述第一用户的用户决策参数和第一候选设备的第一状态信息,所述第一候选设备为所述候选设备组中的一个候选设备,所述第一状态信息为状态信息集中的一个状态信息;
根据所述用户决策参数和所述状态信息集从所述候选设备组中确定目标设备;
向所述目标设备发送第二信息,所述第二信息用于控制所述目标设备执行所述目标服务功能。
第二方面,本申请实施例提供一种信息处理方法,应用于受控设备,所述方法包括:
获取第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向主控设备执行注册的电子设备组成;
向所述主控设备发送所述第一信息,所述第一信息用于所述主控设备从所述注册设备组中确定执行所述第一信息所识别的目标服务功能的目标设备。
第三方面,本申请实施例提供一种信息处理装置,应用于主控设备;所述装置包括处理单元和通信单元,所述处理单元用于:
通过所述通信单元接收来自受控设备的第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向所述主控设备执行注册的电子设备组成;
从所述注册设备组中确定具备执行所述第一信息所识别的目标服务功能的电子设备以得到候选设备组;
获取所述第一用户的用户决策参数和第一候选设备的第一状态信息,所述第一候选设备为所述候选设备组中的一个候选设备,所述第一状态信息为状态信息集中的一个状态信息;
根据所述用户决策参数和所述状态信息集从所述候选设备组中确定目标设备;
通过所述通信单元向所述目标设备发送第二信息,所述第二信息用于控制所述目标设备执行所述目标服务功能。
第四方面,本申请实施例提供一种信息处理装置,应用于受控设备;所述装置包括处理单元和通信单元,所述处理单元用于:
获取第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向主控设备执行注册的电子设备组成;
通过所述通信单元向所述主控设备发送所述第一信息,所述第一信息用于所述主控设备从所述注册设备组中确定执行所述第一信息所识别的目标服务功能的目标设备。
第五方面,本申请实施例提供一种主控设备,所述主控设备包括电子设备或者服务器;所述主控设备包括处理器、存储器和通信接口,所述存储器存储有一个或多个程序,并且所述一个或多个程序由所述处理器执行,所述一个或多个程序用于执行本申请实施例第一方面中的步骤的指令。
第六方面,本申请实施例提供一种受控设备,所述受控设备包括电子设备;所述主控设备包括处理器、存储器和通信接口,所述存储器存储有一个或多个程序,并且所述一个或多个程序由所述处理器执行,所述一个或多个程序用于执行本申请实施例第二方面中的步骤的指令。
第七方面,本申请实施例提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储用于电子数据交换的计算机程序,所述计算机程序可操作来使得计算机执行本申请实施例第一方面或第二方面中所描述的部分或全部步骤。
第八方面,本申请实施例提供一种计算机程序产品,其中,所述计算机程序产品包括计算机程序,所述计算机程序可操作来使得计算机执行本申请实施例第一方面中所描述的部分或全部步骤。所述计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,首先,受控设备获取第一用户的第一信息,并向主控设备发送第一信息;其次,主控设备接收来自受控设备的第一信息,并从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组;再次,主控设备获取第一用户的用户决策参数和第一候选设备的第一状态信息;最后,主控设备根据用户决策参数和状态信息集从候选设备组中确定目标设备,并向目标设备发送第二信息。由于本申请实施例先从注册设备组中筛选出具备执行目标服务功能的候选设备组(即初次筛选),再从候选设备组中筛选出最终执行目标服务功能的目标设备(即第二次筛选),初次筛选中主控设备只需简单初步筛选出具备执行目标服务功能的电子设备,而第二次筛选中主控设备需要根据第一用户的用户决策参数和状态信息集进行联合决策,具体较大的计算量,因此通过在初次筛选的基础上再进行第二次筛选(即二次筛选),从而有利于提高设备间的协同控制的效率,保证决策出的目标设备更符合用户的意向,提升设备决策的准确性。另外,本申请实施例根据第一用户的用户决策参数和状态信息集进行个性化的设备决策,保证决策出的目标设备更加符合用户的需求或意向,提供给用户更准确的个性化决策和更满足用户的个性化需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述的附图仅仅是本申请的一些实施例。对于本领域技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1是本申请实施例提供的一种设备间的协同控制系统的架构示意图;
图2是本申请实施例提供的一种设备唤醒的流程示意图;
图3是本申请实施例提供的一种决策目标设备的流程示意图;
图4是本申请实施例提供的一种主控设备或受控设备的硬件结构示意图;
图5是本申请实施例提供的一种主控设备或受控设备的软件结构示意图;
图6是本申请实施例提供的一种信息处理方法的流程示意图;
图7是本申请实施例提供的一种服务功能分析模型的结构示意图;
图8是本申请实施例提供的一种手部关键点的结构示意图;
图9是本申请实施例提供的一种手部关键点的结构示意图;
图10是本申请实施例提供的根据手势操控信息中所识别的目标手势类型的结构示意图;
图11是本申请实施例提供的又一种信息处理方法的流程示意图;
图12是本申请实施例提供的一种信息处理装置的功能单元组成框图;
图13是本申请实施例提供的又一种信息处理装置的功能单元组成框图;
图14是本申请实施例提供的一种主控设备的结构示意图;
图15是本申请实施例提供的一种受控设备的结构示意图。
具体实施方式
为了本技术领域人员更好理解本申请的技术方案,下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的部分实施例,而并非全部的实施例。基于本申请实施例的描述,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所保护的范围。
在对本申请实施例的技术方案进行描述之前,下面先对本申请可能涉及的相关概念、设备间的协同控制系统、设备的软硬件结构等进行介绍。
(1)设备间的协同控制系统
本申请实施例的设备间的协同控制系统可以包括主控设备和注册设备组。其中,主控设备与注册设备组中的各个电子设备可以通过无线网络或者有线网络建立通信链路。同时,注册设备组中的各个电子设备之间也可以通过无线网络或者有线网络建立通信链路;或者,注册设备组中的各个电子设备之间未建立通信链路。
具体的,无线网络可以包括移动蜂窝网络(如第五代5G移动通信网络)、卫星通信网络、物联网、无线局域网(wireless local area network,WLAN)、广域网(wide areanetwork,WAN)、蓝牙(bluetooth,BT)、无线保真(wireless fidelity,Wi-Fi)、紫蜂(Zigbee)、近距离无线通信(near field communication,NFC)、超宽带(ultra wide band,UWB)、可见光通信(light fidelity,LiFi)、红外技术(infrared,IR)等;有线网络可以是通过高清多媒体接口(high definition multimedia interface,HDMI)数据线、通用串行总线(universal serial bus,USB)数据线等数据线构建的网络。
具体的,本申请实施例的电子设备可以是手持设备、车载设备、可穿戴设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、投影设备、投影仪或者连接到无线调制解调器的其他设备,也可以是各种具体形式的用户设备(userequipment,UE)、终端设备(terminal device)、手机(smart phone)、智慧屏、智慧电视、智能手表、笔记本电脑、智能音响、摄像头、游戏手柄、麦克风、站点(station,STA)、接入点(access point,AP)、移动台(mobile Station,MS)、个人数字助理(personal digitalassistant,PDA)、个人计算机(personal computer,PC)或者中继设备等。
进一步的,本申请实施例的电子设备可以具体分为以下六类:第一设备类型具备基本的语音输入、语音输出或语音识别等能力,只作为用户的语音操控信息或设备唤醒信息的输入接口,而不执行该语音操控信息(或语音操控指令、语音操控命令)所识别的服务功能;第二设备类型具备基本的手势输入、手势输出或手势识别等能力,只作为用户的手势操控信息或设备唤醒信息的输入接口,而不执行或提供该手势操控信息所识别的服务功能;第三设备类型具有语音输入、语音输出、语音识别以及执行语音操控信息所识别的服务功能等能力,比如智能手机、智能音箱、智能电视、智能手表等;第四设备类型具有手势输入、手势输出、手势识别以及执行手势操控信息所识别的服务功能等能力,比如智能手机、摄像头等;第五设备类型不具有语音输入、语音输出或语音识别等能力,而只具有执行语音操控信息所识别的服务功能等能力,比如空调、冰箱、洗衣机等;第六设备类型不具有手势输入、手势输出或手势识别等能力,而只具有执行手势操控信息所识别的服务功能等能力,比如空调、冰箱、洗衣机等。因此,本申请实施例可以涉及各种类型的电子设备。
具体的,主控设备可以是具有设备唤醒决策、设备服务能力决策、设备协同控制、语音识别、手势识别等功能的设备。主控设备可以包括电子设备、服务器或者具备上述功能的硬件模块等。其中,本申请实施例的服务器可以是云服务器、车联网云平台、车联网云服务器、物联网云服务器、物联网设备、数据中心网络设备、云计算设备等。
示例性的,以主控设备为服务器为例,请参阅图1。设备间的协同控制系统10可以包括服务器110和注册设备组120。其中,服务器110与注册设备组120中的各个电子设备可以通过无线网络或者有线网络建立通信链路。注册设备组120可以包括手机1201、智慧电视1202、笔记本电脑1203、智能音箱1204、智能手表1205等。同时,注册设备组120中的每个电子设备之间可以通过无线网络或有线网络相互通信连接。
进一步的,主控设备可以是获取、存储和管理注册设备组中的每个电子设备的设备注册信息的设备,设备注册信息包括距离信息、服务功能信息、设备标识信息、历史使用记录信息、设备位置信息、设备状态信息、服务状态适合信息中的至少之一。其中,设备注册信息的相关描述将在下文详细描述。
进一步的,主控设备可以通过利用所存储的设备注册信息来获取、确定或生成用于控制注册设备组中的目标设备执行用户的语音操控信息或手势操控信息所识别的服务功能的控制命令。另外,主控设备也可以接收来自目标设备根据该控制命令执行服务功能后的执行结果。
具体的,注册设备组可以是由向主控设备执行注册的电子设备组成的。其中,电子设备向主控设备执行注册,可以理解为,电子设备将自身的设备标识信息(如媒体接入控制MAC地址、网际互连协议IP地址、设备序列号SN等)、自身所具备的服务功能信息(如手机具备视频播放等)、自身的设备状态信息(如电量剩余等)、自身的服务状态适合信息(如当手机正在执行视频播放时该手机是否适合再执行其他服务功能)、自身获取到用户输入的设备唤醒信息等上传(或者周期性上传、响应注册设备的请求而上传)至主控设备,并由主控设备进行存储或管理,从而完成该电子设备的注册。
进一步的,电子设备可以是在与主控设备建立初始通信连接时将上述各信息上传给主控设备以完成注册,可以是在获取用户输入的设备唤醒信息时将上述各信息和该设备唤醒信息一起上传给主控设备以完成注册,对此不作具体限制。
进一步的,注册设备组中的电子设备可以安装有智能语音助手或者智能手势助手,从而使得该电子设备实现语音操控功能或者手势操控功能。由于电子设备中的智能语音助手或者智能手势助手通常处于休眠状态以节省电量,因此在用户需要使用该电子设备的语音操控功能或者手势操控功能之前,需要针对智能语音助手或者智能手势助手进行唤醒操作(如语音唤醒或手势唤醒)。其中,唤醒智能语音助手的设备唤醒信息可以称为唤醒词(如“小布小布”),而唤醒智能手势助手的设备唤醒信息可以称为唤醒手势(如“OK”手势)。同时,该唤醒词或者该唤醒手势可以预先注册或存储在该电子设备中。需要说明的是,唤醒智能语音助手可以是指电子设备响应于用户输入的唤醒词以启动智能语音助手,而唤醒智能手势助手可以是指电子设备响应于用户输入的唤醒手势以启动智能手势助手。另外,上述的语音操控功能可以是指在电子设备的智能语音助手启动后,用户通过向该电子设备输入语音操控信息(如“在电视上播放新闻联播”的一段语音),从而可以触发电子设备自动执行该语音操控信息所识别的服务功能。上述的手势操控功能可以是指在电子设备的智能手势助手启动后,用户通过向该电子设备输入手势操作信息,从而可以触发电子设备自动执行该手势操控信息所识别的服务功能。
进一步的,注册设备组中的每个电子设备可以关联同一个用户的用户标识信息。其中,用户标识信息可以包括生理特征信息(如手形、指纹、声纹、虹膜、人脸等)、用户账户信息(如用户账号等)中的至少之一。例如,用户使用同一个用户账号登录过注册设备组中的每个电子设备;用户使用声音/人脸/指纹/手势解锁或验证功能开启过注册设备组中的每个电子设备等。
进一步的,注册设备组包括受控设备(或者称为唤醒设备),该受控设备可以为注册设备组中响应第一用户的设备唤醒信息所确定的一个电子设备。
示例性的,以主控设备为服务器以及注册设备组包括智能音箱、智能手机和智能电视为例对设备唤醒流程进行说明,请参阅图2。首先,用户向其周围输入设备唤醒信息,如“小布小布”;其次,具有语音输入功能的电子设备(智能音箱、智能手机和智能电视)接收到该设备唤醒信息;其中,该电子设备安装有智能语音助手,并处于休眠状态;再次,该电子设备通过预先存储的唤醒词与该设备唤醒信息进行匹配。若匹配成功,则将自己接收到的该设备唤醒信息的信号强度、自身的服务能力信息、自身的设备标识信息等上传至服务器;接着,服务器接收来自上述各信息以完成该电子设备的注册,并根据预设唤醒规则(如设备距离最近、设备历史使用时间最近、设备历史使用频次最高等唤醒规则)响应于该设备唤醒信息以确定唤醒智能音箱,并向该智能音箱下发控制指令;最后,智能音箱接收该控制指令,并开启自身的语音智能助手,以及向用户发出提示信息(如“在,主人”)。
需要说明的是,服务器可以通过该设备唤醒信息的信号强度确定该用户与该电子设备之间的距离以便执行设备距离最近唤醒规则的判定。服务器可以通过该电子设备的的设备标识信息确定该用户使用该电子设备的历史使用时间以执行设备历史使用时间最近唤醒规则的判定。服务器可以通过该电子设备的设备标识信息确定该用户使用该电子设备的历史使用频次以便执行设备历史使用频次最高唤醒规则的判定。
进一步的,注册设备组可以包括目标设备,该目标设备可以为注册设备组中用于执行用户输入的语音操控信息或手势操控信息所识别的服务功能的一个或多个电子设备。可以理解的是,目标设备可以包括上述的受控设备。
示例性的,以主控设备为服务器、注册设备组包括智能音箱、智能手机和智能电视以及受控设备为智能音箱为例对决策目标设备的流程进行说明,请参阅图3。首先,用户输入语音操控信息,如“播放新闻联播”;其次,已开启智能语音助手的智能音箱接收到该语音操控信息,并将该语音操控信息上传至服务器;再次,服务器识别该语音操作信息以确定目标服务功能,如内容播放,并通过存储的已注册的电子设备(智能音箱、智能手机、智能电视)的服务能力信息、设备状态信息、服务状态适合信息、历史使用记录信息等确定执行该目标服务功能的电子设备为智能电视;接着,服务器生成控制命令,该控制命令用于控制智能电视执行该目标服务功能,并向智能电视下发该控制命令;最后,服务器获取到该控制命令,并执行该控制命令。
下面结合图4对本申请实施例的主控设备或受控设备(以下简称设备)的结构进行详细说明,可以理解的是,图4示意的结构并不构成对设备的具体限定。在本申请另一些实施例中,设备还可以包括比图4示意更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。另外,图4示意的部件可以通过硬件、软件或软件和硬件的组合实现。
请参阅图4,设备可以包括处理器410、天线1、天线2、移动通信模块420、无线通信模块430、音频模块440、传感器模块450、显示模块460、摄像模块470、充电管理模块480、内部存储器4901和外部存储器接口4902等。
具体的,处理器410可以包括一个或多个处理单元。例如,处理器410可以包括中央处理器(central processing unit,CPU)、应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(imagesignal processor,ISP)、控制器、存储器、视频编解码器、数字信号处理器(digitalsignal processor,DSP)、现场可编程逻辑门阵列(field programmable gate array,FPGA)、专用集成电路(application-specific integrated circuit,ASIC)、基带处理器和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
进一步的,处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,则可以从所述存储器中直接调用,从而避免重复存取,减少处理器410的等待时间以提高系统效率。
进一步的,处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口、集成电路内置音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purposeinput/output,GPIO)接口、用户标识模块(subscriber identity module,SIM)接口和/或通用串行总线(universal serial bus,USB)接口等。
需要说明的是,无线通信功能可以通过天线1、天线2、移动通信模块420、无线通信模块430、调制解调处理器和基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号。设备中的每个天线可用于覆盖单个或多个通信频带。另外,不同的天线还可以复用以提高天线的利用率。例如,将天线1复用为无线局域网的分集天线。
具体的,移动通信模块420可以提供应用在设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块420可以包括至少一个滤波器、开关、功率放大器和低噪声放大器(low noise amplifier,LNA)等。
进一步的,移动通信模块420可以由天线1接收电磁波,并对接收的电磁波进行滤波、放大等处理,传送至调制解调处理器进行解调。另外,移动通信模块420还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
进一步的,移动通信模块420的至少部分功能模块可以被设置于处理器410中;或者,移动通信模块420的至少部分功能模块可以与处理器410的部分模块设置在同一个器件中。
具体的,无线通信模块430可以提供应用在设备上的包括蓝牙(Bluetooth,BT)、无线局域网(wireless local area networks,WLAN)、无线保真(wireless fidelity,Wi-Fi)网络、近距离无线通信(near field communication,NFC)、红外技术(infrared,IR)等无线通信的解决方案。
进一步的,无线通信模块430可以是集成至少一个通信处理模块的一个或多个器件。另外,无线通信模块430经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器410。无线通信模块430还可以从处理器410接收待发送的信号,对其进行调频和放大,再由天线2转为电磁波辐射出去。
需要说明的是,设备可以通过音频模块440、扬声器4401、受话器4402、麦克风4403、耳机接口4404以及处理器410等实现音频功能。例如,音乐/视频播放、录音等。
具体的,音频模块440可以用于将数字音频信息转换成模拟音频信号输出,也可以用于将模拟音频输入转换为数字音频信号。另外,音频模块440还可以用于对音频信号编码和解码。在一些可能示例中,音频模块440可以设置于处理器410中,或将音频模块440的部分功能模块设置于处理器410中。
具体的,扬声器4401可以用于将音频电信号转换为声音信号。设备可以通过扬声器4401收听音乐/视频中播放的声音,或收听免提通话等。
具体的,受话器4402可以用于将音频电信号转换成声音信号。设备接听电话或语音信息时,可以通过将受话器4402靠近人耳接听语音。
具体的,麦克风4403可以用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风4403发声,将声音信号输入到麦克风4403。另外,设备可以设置至少一个麦克风4403。在一些可能的示例中,电子设备可以设置两个麦克风4403,除了采集声音信号外,还可以实现降噪功能;在一些可能的示例中,设备还可以设置三个、四个或更多麦克风4403,除了可以实现采集声音信号或降噪外,还可以识别声音来源以实现定向录音功能等,对此不作具体限制。
具体的,耳机接口4404可以用于连接有线耳机。耳机接口4404可以是USB接口4803,也可以是3.5mm的开放移动设备平台(open mobile terminal platform,OMTP)标准接口、美国蜂窝电信工业协会(cellular telecommunications industry association ofthe USA,CTIA)标准接口等。
具体的,传感器模块450中可以包括惯性传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器、超带宽UWB传感器、近场通信NFC传感器、激光传感器和/或可见光传感器等。
需要说明的是,设备可以通过GPU、显示模块460以及处理器410等实现显示功能。其中,GPU可以用于执行数学和几何计算,并进行图形渲染。另外,GPU可以为图像处理的微处理器,并连接显示模块460和处理器410。处理器410可以包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
具体的,显示模块460可以为显示屏,其用于显示图像、视频等。其中,显示模块460可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、量子点发光二极管(quantum dotlightemitting diodes,QLED)等。在一些可能的示例中,设备可以包括1个或多个显示模块460。
需要说明的是,设备可以通过ISP、DSP、摄像模块470、视频编解码器、GPU、显示模块460以及处理器410等实现拍摄功能。其中,ISP可以用于处理摄像模块470反馈的数据。例如,在拍照时,先打开快门,再由光线通过镜头传递到摄像头感光元件上,实现光信号转换为电信号,最终通过摄像头感光元件将该电信号传递给ISP处理以转化为肉眼可见的图像。另外,ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些可能的示例中,ISP或DSP可以设置在摄像模块470中。
具体的,摄像模块470可以为摄像头,其用于捕获静态/动态的图像或视频。其中,物体通过镜头生成光学图像投射到感光元件,而感光元件可以是电荷耦合器件(chargecoupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,再将该电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些可能的示例中,设备可以包括1个或多个摄像模块470。
具体的,充电管理模块480可以用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些可能的示例中,充电管理模块480可以通过USB接口4803接收有线充电器的充电输入。在一些可能的示例中,充电管理模块480可以通过设备的无线充电线圈接收无线充电输入。充电管理模块480为电池4801充电的同时,还可以通过电源管理模块4802为设备供电。
需要说明的是,电源管理模块4802可以用于连接电池4801、充电管理模块480和处理器410。其中,电源管理模块4802接收电池4801和/或充电管理模块480的输入,为设备中的各个模块和处理器410等供电。
具体的,电源管理模块4802还可以用于监测电池容量、电池循环次数、电池健康状态(漏电、阻抗)等参数。在一些可能的示例中,电源管理模块4802也可以设置于处理器410中;在一些可能的示例中,电源管理模块4802和充电管理模块480也可以设置于同一个器件中。
需要说明的是,内部存储器4901可以用于存储计算机可执行程序代码,该可执行程序代码包括指令。其中,处理器410通过运行存储在内部存储器4901的指令,从而执行设备的各种功能应用以及数据处理。在一些可能的示例中,内部存储器4901存储执行本申请实施例的技术方案的程序代码。
具体的,内部存储器4901可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(例如,声音播放功能和图像播放功能等)等。存储数据区可存储设备使用过程中所创建的数据(例如,音频数据和电话本等)等。另外,内部存储器4901可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。
具体的,外部存储器接口4902可以用于连接外部存储卡,例如micro SD卡,实现扩展设备的存储能力。外部存储卡通过外部存储器接口4902与处理器410通信,实现数据存储功能。例如,将音乐、视频等文件保存在外部存储卡中。
本申请实施例中,主控设备或受控设备(以下简称设备)的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。下面本申请实施例以分层架构的Android系统为例,示例性说明主控设备的软件结构。
如图5所示的设置有Android系统的软硬件系统的架构示意图。其中,内部存储器4901中可存储有内核层520、系统运行库层540、应用框架层560和应用层580。其中,层与层之间通过软件接口通信,并且内核层520、系统运行库层540和应用框架层560属于操作系统空间。
具体的,应用层580属于用户空间,应用层580中运行有至少一个应用程序(或简称为“应用”),这些应用程序可以是操作系统自带的原生应用程序,也可以是第三方开发者所开发的第三方应用程序。例如,应用层580可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、智能手势助手、智能语音助手、视频和短信息等应用程序。
需要说明的是,应用框架层560提供构建应用层的应用程序可能用到的各种应用编程接口(application programming interface,API)和编程框架,从而开发者也可以通过使用这些API来构建自己的应用程序。例如,窗口管理器(window manager)、内容提供器(content providers)、视图系统(view system)、电话管理器(telephony manager)、资源管理器、通知管理器(notification manager)、消息管理器、活动管理器(activitymanager)、包管理器(package manager)、位置管理(location manager)和NFC服务等。
具体的,窗口管理器可以用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏、锁定屏幕、截取屏幕等。
具体的,内容提供器可以用于存放和获取数据,并使该数据可以被应用程序访问。其中,该数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。另外,内容提供器可以使得应用程序可以访问另一个应用程序的数据,如联系人数据库,或者共享它们自己的数据。
具体的,视图系统包括可视控件。例如,显示文字的控件和显示图片的控件等。视图系统可以用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
具体的,电话管理器用于提供电子设备的通信功能。例如,通话状态的管理(如接通、挂断等)。
具体的,资源管理器可以为应用程序提供各种资源。比如,本地化字符串、图标、图片、布局文件、视频文件等。
具体的,通知管理器使得应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知。另外,后台运行的应用程序的通知还可以是以对话窗口形式出现在屏幕上的通知。例如,在状态栏提示文本信息,发出提示音,电子设备振动、指示灯闪烁等。
具体的,消息管理器可以用于存储各个应用程序上报的消息的数据,并对各个应用程序上报的数据进行处理。
具体的,活动管理器可以用于管理应用程序生命周期并提供常用的导航回退功能。在一种可能的示例中,消息管理器可以是通知管理器的一部分。
需要说明的是,系统运行库层540通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持,OpenGL/ES库提供了3D绘图的支持,Webkit库提供了浏览器内核的支持等。在系统运行库层540中还提供有安卓运行时库(AndroidRuntime),其主要提供了一些核心库,能够允许开发者使用Java语言来编写Android应用。
具体的,内核层520可以为电子设备的各种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理、NFC驱动、UWB驱动等。
随着互联网软硬件的发展,功能各异的电子设备环绕在用户周围,如手机、平板、智能音箱、电子手表等。智能语音助手作为连通多个设备与用户进行交互的工具,能够使得设备与用户的连接更加紧密,从而实现万物互融的战略目标。
在智能语音助手与用户的交互过程中,通常会面临多设备抉择的问题。例如,当用户对智能语音助理发出“播放音乐”的语音操控信息时,手机、电视或音箱等电子设备都能提供音乐播放的服务功能。在此情景下,智能语音助手应该以用户注意力为中心,并通过对当前设备状态信息、用户习惯等条件,推导用户所需操控的意图设备,从而智能地为用户提供所需的服务。
结合上述描述,下面将从方法示例的角度介绍信息处理方法的执行步骤,请参阅图6。图6是本申请实施例提供的一种信息处理方法的流程示意图,该方法包括:
S610、受控设备获取第一用户的第一信息,并向主控设备发送第一信息。
其中,受控设备可以为注册设备组中响应于第一用户的设备唤醒信息所确定的一个电子设备;注册设备组可以由向主控设备执行注册的电子设备组成。
其中,第一信息可以为设备操控命令。第一信息可以用于主控设备从注册设备组中确定执行第一信息所识别的目标服务功能的目标设备。
具体的,第一信息可以包括第一用户输入的语音操控信息或者第一用户输入的手势操控信息。
需要说明的是,首先,受控设备可以通过麦克风获取第一用户输入的语音操控信息(如语音信号或者由语音信号转化后的可读文本信息等);受控设备可以通过摄像模块获取第一用户输入的手势操控信息。
其次,若语音操控信号为语音信号(以模拟信号或者数字信号等形式表示),则受控设备可以先将麦克风接收的声音转换为声信号,再从声信号中去除相关的环境噪声来获取该语音信号,并将该语音信号上传至主控设备。或者,若语音操控想信息为声信号,则受控设备直接将该声信号上传至主控设备,再由主控设备进行环境噪声等处理,对此不作具体限制。
再次,若语音操控信号为由语音信号转化后的可读文本信息,则受控设备可以通过自动语音识别(automatic speech recognition,ASR)等技术将该语音信号转化为计算机可读文本,再将该计算机可读文本上传至主控设备,对此不作具体限制。
接着,若手势操控信息为视频帧(或者图像帧序列、帧图像、图像帧等),则受控设备可以通过摄像模块采集针对用户的手部(单手或者双手)的视频帧(或者图像帧序列、帧图像等),并将该视频帧(或者图像帧序列、帧图像等)上传至主控设备,对此不作具体限制。
最后,若手势操控信息为手部特征信息,则受控设备可以先通过摄像模块采集针对用户的手部(单手或者双手)的视频帧(或者图像帧序列、帧图像、图像帧等),再通过图像处理、图像识别等技术进行特征提取以获取手部特征信息,并将该手部特征信息上传至主控设备,对此不作具体限制。
S620、主控设备接收来自受控设备的第一信息。
需要说明的是,结合上述的描述可知,首先,本申请实施例的主控设备可以获取、存储和管理注册设备组中的每个电子设备的设备注册信息。其中,电子设备的设备注册信息可以包括距离信息(如用户与电子设备之间的距离)、服务功能信息(如该电子设备具备视频播放、音乐播放等)、设备标识信息(如该电子设备的MAC地址、IP地址、SN等)、历史使用记录信息(如用户使用该电子设备的历史使用时间、历史使用频次)、设备位置信息(如该电子设备放置于厨房、客厅或卧室等)、设备状态信息(该电子设备的剩余电量等)、服务状态适合信息(如当该电子设备正在执行视频播放时是否适合再执行音乐播发或者显示推送消息等)中的至少之一。
其次,电子设备向主控设备执行注册,可以理解为,电子设备将自身的设备标识信息、自身所具备的服务功能信息、自身的设备状态信息、自身的服务状态适合信息、自身获取到用户输入的设备唤醒信息等上传(或者周期性上传、响应注册设备的请求而上传等)至主控设备,再由主控设备进行存储或管理,从而完成该电子设备的注册。
再次,注册设备组中的电子设备可以安装有智能语音助手或者智能手势助手,从而使得该电子设备实现语音操控功能或者手势操控功能。同时,注册设备组中的每个电子设备均处于开机或上电状态,而每个电子设备中的智能语音助手或者智能手势助手可能处于休眠状态以节省电量。由于智能语音助手或者智能手势助手可能处于休眠状态,因此在用户需要使用该电子设备的语音操控功能或者手势操控功能之前,需要针对智能语音助手或者智能手势助手进行唤醒操作(如语音唤醒或手势唤醒)。其中,唤醒智能语音助手的设备唤醒信息可以称为唤醒词(如“小布小布”),而唤醒智能手势助手的设备唤醒信息可以称为唤醒手势(如“OK”手势)。同时,该唤醒词或者该唤醒手势可以预先注册或存储在该电子设备中。
接着,唤醒智能语音助手可以是指电子设备响应于用户输入的唤醒词以启动智能语音助手,而唤醒智能手势助手可以是指电子设备响应于用户输入的唤醒手势以启动智能手势助手。另外,上述的语音操控功能可以是指在电子设备的智能语音助手启动后,用户通过向该电子设备输入语音操控信息(如“在电视上播放新闻联播”的一段语音),从而可以触发电子设备自动执行该语音操控信息所识别的服务功能。上述的手势操控功能可以是指在电子设备的智能手势助手启动后,用户通过向该电子设备输入手势操作信息,从而可以触发电子设备自动执行该手势操控信息所识别的服务功能。
最后,注册设备组中的每个电子设备可以关联第一用户的用户标识信息。其中,用户标识信息可以包括生理特征信息(如手形、指纹、声纹、虹膜、人脸等)、用户账户信息(如用户账号等)中的至少之一。例如,第一用户使用同一个用户账号登录过注册设备中的每个电子设备;第一用户使用声音/人脸/指纹/手势解锁或验证功能开启过注册设备中的每个电子设备等。
具体的,主控设备可以根据第一信息从注册设备组中确定第一用户想要操控的目标设备,以便控制目标设备执行第一用户所需的服务功能。其中,若第一信息包括语音操控信息,并且该语音操控信息为语音信号,则主控设备可以通过ASR等技术将该语音信号转化为计算机可读文本,再通过自然语言处理(natural language processing,NLP)、自然语言理解(natural language understanding,NLU)等技术将该计算机可读文本进行分析,从而获取到该语音信号所识别的服务功能。例如,当该语音信号为“播放新闻联播”时,该语音信号所识别的服务功能为视频播放等。
S630、主控设备从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组。
其中,候选设备组中的每个电子设备具备执行目标服务功能。
需要说明的是,本申请实施例先从注册设备组中筛选出具备执行目标服务功能的候选设备组(即初次筛选),再从候选设备组中筛选出最终执行目标服务功能的目标设备(即第二次筛选)。由于初次筛选中主控设备只需简单初步筛选出具备执行目标服务功能的电子设备,而第二次筛选中主控设备需要根据第一用户的用户决策参数和状态信息集进行联合决策,具体较大的计算量,因此通过初次筛选可以减少第二次筛选中的计算量,从而有利于提高设备间的协同控制的效率,保证决策出的目标设备更符合用户的意向,进而提升设备决策的准确性以提高给用户更准确的个性化决策和更满足用户的个性化需求。
在一个可能的示例中,从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组,可以包括以下步骤:识别第一信息以得到目标服务功能;获取注册设备组中的每个电子设备的设备注册信息;根据设备注册信息从注册设备组中确定具备执行目标服务功能的电子设备以得到候选设备组。
需要说明的是,主控设备可以在电子设备的注册过程中获取到该电子设备的设备注册信息以进行存储或管理。其中,该电子设备可以是在与主控设备建立初始通信连接时将设备注册信息上传给主控设备以完成注册,可以是在获取用户输入的设备唤醒信息时将设备注册信息和该设备唤醒信息一起上传给主控设备以完成注册,对此不作具体限制。
具体的,设备注册信息可以包括距离信息、服务功能信息、设备标识信息、历史使用记录信息、设备位置信息、设备状态信息、服务状态适合信息中的至少之一。
进一步的,距离信息可以用于指示用户与电子设备之间的距离。
需要说明的是,首先,用户与电子设备之间的距离可以由通过麦克风检测到的语音信号(如设备唤醒信息、语音操控信息)的能量强度来确定。其中,注册设备组中的电子设备或者主控设备可以预先存储语音强度检测算法,并根据该语音强度检测算法来检测语音信号的能量强度以确定用户与电子设备之间的距离。
其次,用户与电子设备之间的距离可以由通过摄像模块检测到的视频帧、图像帧序列或图像帧中的成像大小来确定。其中,注册设备组中的电子设备或者主控设备可以通过小孔成像原理和成像大小计算出用户与电子设备之间的距离。
最后,设备注册信息也可以不包括距离信息,即待注册的电子设备无需自己进行用户与自身之间的距离计算,而是将检测到的语音信号(或者检测到的图像帧)上传至主控设备,再由主控设备根据该语音信号的能量强度(或者小孔成像原理)计算出用户与该待注册的电子设备之间的距离以进行存储、管理。
进一步的,服务功能信息可以用于指示电子设备所具备的预定服务功能的类型。其中,电子设备所具备的预定服务功能是指电子设备可以通过调用内部的应用程序或指令来执行的至少一个预定动作操作。例如,当电子设备为智能手机时,手机可以通过调用内部的应用程序或指令来执行视频播放、音乐播发、拨打电话、电子邮件收发、天气信息接收、多媒体信息显示、游戏画面操控、照片拍摄、画面投屏等。
需要说明的是,主控设备可以通过服务功能信息从注册设备组中确定出与第一信息所识别的目标服务功能向匹配的电子设备,从而将匹配的电子设备组成候选设备组。另外,电子设备可以在执行向主控设备的注册过程中将自身的服务功能信息上传至主控设备以进行存储或管理,以便完成注册。
进一步的,设备标识信息可以用于指示电子设备的标识信息。例如,电子设备的MAC地址、IP地址、SN等。
需要说明的是,主控设备可以通过设备标识信息来区分注册设备组中的电子设备;可以通过设备标识信息向相应的电子设备(如目标设备)下发控制命令;可以通过设备标识信息查询与其关联的用户标识信息等。另外,电子设备可以在执行向主控设备的注册过程中将自身的设备标识信息上传至主控设备以进行存储或管理,以便完成注册。
进一步的,历史使用记录信息可以用于指示用户使用电子设备的历史记录。其中,历史使用记录信息可以包括历史使用时间信息、历史使用频次信息中的至少之一。
需要说明的是,由于注册设备组中的电子设备可以关联第一用户的用户标识信息,即设备标识信息与用户标识信息关联,因此主控设备可以存储有第一用户使用注册设备组中的每个电子设备的历史使用记录信息,从而主控设备可以通过历史使用时间信息来确定第一用户最近使用过注册设备组中的哪些电子设备(由历史使用时间信息确定),或者第一用户使用频次最高的是注册设备组中的哪些电子设备(由历史使用频次信息确定)。另外,电子设备可以在执行向主控设备的注册过程中将自身的历史使用记录信息上传至主控设备以进行存储,以便完成注册。
进一步的,设备位置信息可以用于指示电子设备当前放置的位置。例如,电子设备放置于厨房、客厅或卧室等。
需要说明的是,主控设备可以通过注册设备组中的电子设备的设备位置信息来确定候选设备组(或者第一用户想要操控的目标设备)。例如,当注册设备组包括放置于客厅的智能电视和放置于卧室的智能电视时,主控设备可以将放置于卧室的智能电视排除在候选设备组(或者目标设备)之外;当注册设备组包括放置于客厅的智能电视和放置于厨房的智能冰箱时,主控设备可以将放置于厨房的智能冰箱排除在候选设备组(或者目标设备)之外。另外,电子设备可以在执行向主控设备的注册过程中将自身的设备位置信息上传至主控设备以进行存储或管理,以便完成注册。
进一步的,设备状态信息可以用于指示电子设备当前的设备状态。例如,电子设备当前的剩余电量等。
需要说明的是,主控设备可以通过注册设备组中的电子设备的设备状态信息来确定候选设备组(或者第一用户想要操控的目标设备)。例如,当注册设备组包括电量较低的手机和电量充足的手机时,主控设备可以将电量较低的手机排除在候选设备组(或者目标设备)之外。另外,电子设备可以在执行向主控设备的注册过程中将自身的设备状态信息上传至主控设备以进行存储或管理,以便完成注册。
进一步的,服务状态适合信息可以用于指示电子设备当前某服务功能时是否适合再执行其他服务功能。
需要说明的是,主控设备可以通过注册设备组中的电子设备的服务状态适合信息来确定候选设备组(或者第一用户想要操控的目标设备)。例如,当第一信息所识别的目标服务功能为音乐播放时,如果手机正在执行视频播放,该手机将无法适合再执行音乐播发,从而需要将该手机排除在候选设备组(或者目标设备)之外。另外,电子设备可以在执行向主控设备的注册过程中将自身的服务状态适合信息上传至主控设备以进行存储或管理,以便完成注册。
下面本申请实施例将对如何识别第一信息以得到目标服务功能进行说明。
在一个可能的示例中,识别第一信息以得到目标服务功能,可以包括以下步骤:若第一信息包括语音操控信息,根据语音操控信息所识别的词向量矩阵和预先训练的服务功能分析模型确定目标服务功能。
其中,语音操控信息可以为语音信号、语音数据等。
具体的,根据语音操控信息所识别的词向量矩阵和预先训练的服务功能分析模型确定目标服务功能,可以包括以下步骤:将语音操控信息进行文本转化操作以得到文本数据信息;将文本数据信息中的每个文字进行中文分词处理以得到目标分词组,目标分词组中的所有文字用于组成文本数据信息中的一段语句;将目标分词组中的所有文字输入预先训练的词向量模型以得到词向量矩阵;将词向量矩阵输入预先训练的服务功能分析模型以得到目标服务功能。
需要说明的是,首先,词向量模型可以包括以下一种:one-hot模型、词袋(bag ofwords,BOW)模型、连续词袋(continuous bag-of-words,CBOW)模型、连续跳跃语法(skipgrammar,Skip-Gram)模型。
其次,服务功能分析模型包括输入层、两层长短期记忆(long short-termmemory,LSTM)神经层和Softmax函数层。其中,词向量矩阵通过输入层输入两层LSTM神经层;两层LSTM神经层中的每层LSTM神经层共有多个(如32、64、128、256或512个)神经元,并且该多个神经元通过全连接实现正负映射;Softmax函数层用于进行服务功能分类,如图7所示。需要说明的是,由于服务功能分析模型中的Softmax函数层可以输出至少一个概率值,因此本申请实施例将该至少一个概率值中具有最大值的概率值作为目标服务功能。
最后,本申请实施例中的两层LSTM神经层中的每层LSTM神经层都引入丢弃(dropout)策略,即随机丢弃预设阈值(如20%)的参数以防止过拟合和提高计算速率。同时,窗口批量大小(batch)设置在[10,16]之间,并采用均方根传播(root mean squarepropagation,RMSProp)优化算法,以及设置其参数学习速率为0.001,模糊因子为1e-8,从而保证服务功能分析模型的输出结果更加准确。
在一个可能的示例中,识别第一信息以得到目标服务功能,可以包括以下步骤:若第一信息包括手势操控信息,根据手势操控信息中所识别的目标手势类型和预设映射关系确定目标服务能力,预设映射关系用于指示目标手势类型与目标服务能力之间的映射关系。
其中,目标手势类型可以由手部关键点的坐标信息确定。
其中,手势操控信息可以为视频帧、图像帧序列、图像帧或者帧图像等。
需要说明的是,手势类型是指用户通过手部(单手或双手)所做出的各种手势动作的类型。例如,“握拳”手势、“摆手”手势、“OK”手势、“比心”手势、“胜利”手势、“数字”手势、“祈祷”手势、“点赞”手势、“竖中指”手势等。因此,本申请实施例可以通过预设映射关系查找目标手势类型与目标服务能力之间的映射关系,从而实现通过识别手势操控信息以得到目标服务类型。例如,“握拳”手势对应“视频播放”等。
另外,本申请实施例的手部关键点是指手部骨架的关键位置。其中,该手部关键点可以包括各个手指(即大拇指、食指、中指、无名指和小拇指)的指尖、各个手指的指骨连接处等。
示例性的,请参阅图8,手部800可以包括腕骨、5根掌骨和5根指骨。其中,5根掌骨分别与5根指骨相连,5根指骨包括大拇指骨、食指骨、中指骨、无名指骨和小拇指骨。大拇指骨分为2节,而食指骨、中指骨、无名指骨和小拇指骨均分为3节。另外,沿朝向腕部的方向,同大拇指骨相连的掌骨可以分为第一掌骨和第二掌骨。总之,手部可以包括以下21个关键点:腕骨与各根掌骨的连接点k0;第一掌骨与第二掌骨的连接点k1;大拇指骨的第二节与第一掌骨的连接点k2;大拇指骨的第二节与大拇指骨的第一节的连接点k3;大拇指骨指尖点k4;食指骨的第三节与同食指骨相连的掌骨的连接点k5;食指骨的第二节与食指骨的第三节的连接点k6;食指骨的第一节与食指骨的第二节的连接点k7;食指骨指尖点k8;中指骨的第三节与同中指骨相连的掌骨的连接点k9;中指骨的第二节与中指骨的第三节的连接点k10;中指骨的第一节与中指骨的第二节的连接点k11;中指骨指尖点k12;无名指骨的第三节与同无名指骨相连的掌骨的连接点k13;无名指骨的第二节与无名指骨的第三节的连接点k14;无名指骨的第一节与无名指骨的第二节的连接点k15;无名指骨指尖点k16;小拇指骨的第三节与同小拇指骨相连的掌骨的连接点k17;小拇指指骨的第二节与小拇指骨的第三节的连接点k18;小拇指骨的第一节与小拇指骨的第二节的连接点k19;小拇指骨指尖点k20。
具体的,根据手势操控信息中所识别的目标手势类型和预设映射关系确定目标服务能力,可以包括以下步骤:确定手势操控信息中的目标区域,目标区域用于框选第一用户的手部在手势操控信息上的成像的边界;确定目标区域内的手部关键点的坐标信息;根据手部关键点的坐标信息确定目标手势类型;根据目标手势类型和预设映射关系确定目标服务能力。
进一步的,确定手势操控信息上的目标区域,可以包括以下步骤:通过目标检测算法确定手势操控信息上的目标区域。
需要说明的是,目标检测定义为识别图像中有哪些物体以及物体的位置(坐标位置)。其中,需要识别哪些物体可以是由用户设定的,并且物体的坐标位置由极坐标表示(xmin,ymin,xmax,ymax)或者中心点坐标表示(x_center,y_center,w,h)。因此,目标区域可以看做在目标检测算法中的边框(bounding box),该边框可以是边框回归(bounding-box regression)后的边框,也可以是真实(ground truth)边框。
另外,目标检测算法可以包括单次(one-stage)检测算法和双次(two-stage)检测算法。其中,单次检测算法可以包括单次多框检测器(single-shot multi-box detector,SSD)、只看一次(you only look once,YOLO)算法等;双次检测算法可以包括区域卷积神经网络(region-convolutional neural network,R-CNN)、快速R-CNN(fast R-CNN)、更快速R-CNN(faster R-CNN)、基于区域的全卷积网络(region-based fully convolutionalnetwork,R-FCN)等。
进一步的,确定目标区域内的手部关键点的坐标信息,可以包括以下步骤:通过手势关键点检测(hand Keypoint detection)模型确定目标区域内的手部关键点;确定手部关键点在第一坐标系上的坐标信息,第一坐标系由手势操控信息所在的二维平面构建。
需要说明的是,对于手势关键点检测模型,首先,本申请实施例使用少量标注的含有手部关键点的数据集训练卷积姿态机(convolutional pose machines,CPMs)模型;其次,通过摄像机拍摄得到多组手部图像,并将该多组手部图像输入训练后的该CPMs模型以初步的手部关键点;再次,将该初步的手部关键点根据摄像机的位姿构建三角(triangulation)以得到手部关键点的3D坐标位置,再将该3D坐标位置投影到每幅不同视角的2D图像;最后,使用该2D图像和初步的手部关键点再训练该CPMs模型,并经过几次迭代以得到更加精准的手部关键点检测模型。
示例性的,请参阅图9。在图8中,图像帧900表示手势操控信息。其中,图像帧900所在的二维平面为通过xy轴构建的一个二维坐标系(即第一坐标系),该二维坐标系的坐标原点为图像帧900的中心点。其次,通过上述的手势关键点检测模型确定目标区域910内的各个手部关键点。最后,计算得到各个手部关键点在该二维坐标系上的坐标信息,并根据坐标信息确定在图像帧900中的手势类型。
S640、主控设备获取第一用户的用户决策参数和第一候选设备的第一状态信息。
其中,第一候选设备可以为候选设备组中的一个候选设备,第一状态信息可以为状态信息集中的一个状态信息。
其中,用户决策参数可以用于指示第一用户所做的历史决策、第一用户的使用习惯或者第一用户的决策习惯等。例如,用户决策参数指示用户习惯选取距离较近且历史使用频率较高的电子设备。
具体的,用户决策参数可以包括预设初始值。需要说明的是,如果主控设备未预先存储有第一用户的用户决策参数,即第一用户为新用户,则主控设备可以按照大数据统计的多个用户的使用习惯来选择的预设初始值。其中,主控设备可以根据第一用户后续的响应于主控设备的请求信息对预设初始值进行更新与优化。
具体的,用户决策参数可以包括历史决策参数,该历史决策参数可以用于指示第一用户历史响应于主控设备的请求信息时所选择的待操控的电子设备(即第一用户所做的历史决策、第一用户的使用习惯、第一用户的决策习惯等),该请求信息可以用于请求第一用户选择待操控的电子设备。或者,该历史决策参数可以用于指示主控设备历史响应于第一用户的设备调整信息时所调整的待操控的电子设备(即第一用户所做的历史决策、第一用户的使用习惯、第一用户的决策习惯等),该设备调整信息可以用于请求主控设备调整执行目标服务功能的电子设备。
其中,第一状态信息可以用于指示第一用户与第一候选设备之间的多维状态特征或者第一候选设备的多维状态特征。第一用户与第一候选设备之间的多维状态特征可以包括地理距离、历史使用时间、历史使用频次中的至少之一。第一候选设备的多维状态特征可以包括设备状态、服务状态适合、设备位置中的至少之一。
需要说明的是,首先,在信息处理方案中,本申请实施例可以采用单一的设备选择策略。例如,主控设备只根据电子设备所提供的服务功能选择目标设备、选取离用户最近的电子设备作为目标设备、选择用户使用频次最高的电子设备作为目标设备或者选取用户最近使用的电子设备等。然而,采用单一的设备选择策略可能无法适应现环境中的复杂情况。因此,本申请实施例还需要考虑多维度的设备选择策略,即用户与候选设备之间的多维状态特征和/或各候选设备的多维状态特征,从而通过用户与各电子设备间的多维状态特征和/或电子设备的多维状态特征进行决策,避免单一维度决策过于简单的问题,更能适应现实环境中的复杂场景。
示例性的,请参阅图10。候选设备组包括智能电视1011、智能手机1012、笔记本电脑1013、智能手机1014。其中,用户1020与智能电视1011之间的距离为0.5m、用户1020与智能手机1012之间的距离为0.6m、用户1020与笔记本电脑1013之间的距离为1.2m、用户1020与智能手机1014之间的距离为0.55m、用户1020使用智能电视1011的历史使用频次为20次、用户1020使用智能手机1012的历史使用频次为60次、用户1020使用笔记本电脑1013的历史使用频次为70次、用户1020使用智能手机1014的历史使用频次为35次。当用户1020的历史决策(或者决策习惯、使用习惯)为选取距离较近且历史使用频率较高的电子设备时,如果按照用户1020的历史决策,则智能手机1012或者智能手机1014可能作为执行用户1020所需的服务功能的目标设备。但是,如果按照单一的设备选择策略,则智能电视1011或者笔记本电脑可能作为执行用户1020所需的服务功能的目标设备,从而导致无法准确识别用户的意图。
其次,针对不同的用户所执行的设备选择策略可能不同。例如,有的用户习惯使用距离最近的设备,此时图10中的智能电视1011作为目标设备,而有的用户习惯使用最常用的设备,此时图10中的笔记本电脑1013作为目标设备。因此,为了考虑不同用户的使用习惯,避免针对不同的用户使用同相同的设备选择策略,以及避免使用单一的设备选择策略,本申请实施例不仅考虑将第一用户的用户决策参数(用于指示第一用户所做的历史决策、第一用户的使用习惯或者第一用户的决策习惯等)作为设备选择策略的一个因素,还考虑用户与候选设备之间的多维状态特征或者候选设备的多维状态特征,从而实现根据用户的使用习惯(由用户决策参数指示)和多维度特征(由状态信息指示)进行个性化的设备决策,保证选择出的设备更加符合用户的需求或意图,进而有利于提供更好的用户体验、保证用户的个性化决策,以及满足用户的个性化需求。
最后,主控设备可以获取、存储或管理第一用户的用户决策参数。这是因为:第一:如果主控设备未预先存储有第一用户的用户决策参数,即第一用户为新用户,则主控设备可以按照大数据统计的多个用户的使用习惯来选择的预设初始值;第二:如果主控设备预先存储有第一用户的用户决策参数,即第一用户为非新用户,则当主控设备确定出的候选设备组中存在多个电子设备时,主控设备可以生成用于请求第一用户从候选设备组中选择待操控的电子设备的请求信息,从而主控设备可以获取到第一用户响应于该请求信息时所做出的历史决策或使用习惯(由用户决策参数指示)以便进行更新。其中,主控设备可以将第一用户的用户标识信息、待操控的电子设备的标识信息进行关联以得到用户决策参数。
示例性的,以受控设备为智能手机和主控设备为服务器为例。首先,用户通过智能手机输入“播放新闻联播”的语音操控信息,并通过智能手机将该语音操控信息上传至服务器。其次,服务器从注册设备组中确定出该语音操控信息所识别的目标服务功能(即播发视频)的候选设备组,该候选设备组包括智能电视、笔记本电脑、平板电脑。再次,服务器向智能手机下发“您想哪个设备播放新闻联播:1.智能电视;2.笔记本电脑;3.平板电脑?”的请求信息。紧接,用户通过智能手机选择“1.智能电视”以响应于该请求信息,并将选择结果反馈给服务器。此时,智能电视作为用户的待操控的电子设备。最后,服务器根据该选择结果向智能电视下发用于执行“播放新闻联播”的控制命令,并且服务器将用户的用户标识信息、智能电视的标识信息进行关联以得到用户的用户决策参数。
具体的,第一状态信息可以包括第一用户与第一候选设备之间的距离信息、第一用户使用第一候选设备的历史使用时间信息、第一用户使用第一候选设备的历史使用频次信息、第一候选设备的设备状态信息、第一候选设备的服务状态适合信息中的至少之一。
需要说明的是,主控设备可以通过存储的设备注册信息、第一用户的用户标识信息、电子设备的设备标识信息等来获取状态信息集。
S650、主控设备根据用户决策参数和状态信息集从候选设备组中确定目标设备。
需要说明的是,在多设备的协同控制场景中,智能语音助手或者智能手势助手可能存在无法仅通过用户的语音操控信息或者手势操控信息等命令判断用户想要操控的电子设备。例如,在图10中,当用户发出“播放音乐”指令时,设备间的协同控制系统可能无法判断应该选择哪个电子设备为该用户提供所需的服务功能。在此情形下,本申请实施例考虑智能语音助手或者语音手势助手应该通过该用户的使用习惯、用户与各候选设备之间的多维状态特征和/或各候选设备的多维状态特征推断出用户的所需的目标设备。因此,本申请实施例根据用户的使用习惯(由用户决策参数指示)和多维度特征(由状态信息指示)进行个性化的设备决策,保证选择出的设备更加符合用户的需求或意图,进而有利于提供更好的用户体验、保证用户的个性化决策,以及满足用户的个性化需求。
另外,本申请实施例先从注册设备组中筛选出具备执行目标服务功能的候选设备组(即初次筛选),再从候选设备组中筛选出最终执行目标服务功能的目标设备(即第二次筛选)。由于初次筛选中主控设备只需简单初步筛选出具备执行目标服务功能的电子设备,而第二次筛选中主控设备需要根据第一用户的用户决策参数和状态信息集进行联合决策,具体较大的计算量,因此通过在初次筛选的基础上再进行第二次筛选(即二次筛选),从而有利于提高设备间的协同控制的效率,保证决策出的目标设备更符合用户的意向,提升设备决策的准确性,进而提供给用户更准确的个性化决策和更满足用户的个性化需求。
在一个可能的示例中,根据用户决策参数和状态信息集从候选设备组中确定目标设备,可以包括以下步骤:根据用户决策参数和状态信息集确定针对第一候选设备的第一参数值,第一参数值用于指示第一候选设备作为执行目标服务功能的概率大小,第一参数值为参数值集合中的一个参数值;根据参数值集合和预设阈值从候选设备组中确定目标设备。
需要说明的是,本申请实施例根据第一用户的用户决策参数和状态信息确定候选设备组中的各候选设备作为执行目标服务功能的概率大小以得到参数值集合,再通过参数值集合与预设阈值之间的比较结果从候选设备组中确定目标设备,从而通过各设备的概率大小实现根据用户的使用习惯(由用户决策参数指示)和多维度特征(由多维状态信息指示)进行个性化的设备决策(即确定目标设备),保证选择出的设备更加符合用户的需求或意图,进而有利于提供更好的用户体验、保证用户的个性化决策,以及满足用户的个性化需求。
具体的,根据用户决策参数和状态信息集确定针对第一候选设备的第一参数值,可以包括以下步骤:将用户决策参数和状态信息集中的各个状态信息输入预先训练的设备决策模型以得到候选设备组中的各候选设备作为执行目标服务功能的概率大小,并将各候选设备作为执行目标服务功能的概率大小组成参数值集合,参数值集合包括第一参数值。
需要说明的是,预先训练的设备决策模型可以为预先训练的神经网络模块。可见,通过预先训练的设备决策模块可以保证输出的概率大小更加准确。下面对第一参数值进行示例说明。
示例性的,第一参数值的计算如下:
Pi=f(hi,1,hi,2,...,hi,N,θ),i∈{1,2,...,M};
其中,Pi表示第一参数值;M表示候选设备组中的候选设备的总数,即第一候选设备为候选设备组中的第i个候选设备;N表示针对第i个候选设备的状态信息(即第一状态信息)中的单维度信息的总数;hi,j,j∈{1,2,...,N}表示第i个候选设备的状态信息中的第j个单维度信息,如hi,j表示第一用户使用第i个候选设备的历史使用频次信息等;θ表示第一用户的用户决策参数;f(·)表示设备决策函数,在工程实现中f(·)可以为一个神经网络模型。
具体的,根据参数值集合和预设阈值从候选设备组中确定目标设备,可以包括:根据参数值集合中的目标参数值与预设阈值之间的比较结果从候选设备组中确定目标设备。其中,目标参数值为参数值集合中的最大值。
在一个可能的示例中,根据参数值集合和预设阈值从候选设备组中确定目标设备,可以包括以下步骤:若参数值集合中的目标参数值大于或等于预设阈值,则将目标参数值对应的候选设备作为目标设备,目标参数值为参数值集合中的最大值。
需要说明的是,本申请实施例通过参数值集合中的最大值与预设阈值进行比较,如果该最大值大于或者等于预设阈值,则主控设备将该最大值对应的候选设备作为目标设备。也就是说,如果候选设备组中的某个候选设备执行目标服务功能的概率大小为最大值,并且该最大值大于或等于预设阈值,则将该候选设备作为目标设备,再向该候选设备下发执行目标服务功能的控制指令,从而通过最大值与预设阈值的判断结果保证选择出的设备更加符合用户的需求或意图,进而有利于提供更好的用户体验、保证用户的个性化决策,以及满足用户的个性化需求。
在一个可能的示例中,根据参数值集合和预设阈值从候选设备组中确定目标设备,可以包括以下步骤:若目标参数值小于预设阈值,则生成用于请求第一用户从候选设备组中选择待操控的候选设备的请求信息,并向受控设备发送请求信息;获取来自受控设备针对请求信息的响应信息;将响应信息所指示的待操控的候选设备作为目标设备。
需要说明的是,本申请实施例通过参数值集合中的最大值与预设阈值进行比较,如果该最大值小于预设阈值,则主控设备需要向受控设备下发请求信息以请求第一用户从候选设备组中选择待操控的候选设备以执行目标服务功能。然后,第一用户通过受控设备输入响应于该请求信息的响应信息,并由受控设备向主控设备发送该响应信息,该响应信息用于指示候选设备组中的待操控设备为目标设备。最后,主控设备接收到该响应信息,并向响应信息所指示的待操控的候选设备下发用于指示目标服务功能的控制命令,从而通过请求信息的下发实现设备间的协同控制系统与用户之间的协同交互过程,保证选择出的设备更加符合用户的需求或意图,进而有利于提供更好的用户体验、保证用户的个性化决策,以及满足用户的个性化需求。
具体的,在获取来自受控设备针对请求信息的响应信息,该方法还可以包括以下步骤:根据响应信息更新用户决策参数。
需要说明的是,结合上述的描述可知,用户决策参数可以包括历史决策参数,而历史决策参数可以用于指示第一用户历史响应于主控设备的请求信息时所选择的待操控的电子设备。因此,本申请实施例考虑主控设备可以根据用户反馈的响应信息实时更新与优化用户的使用习惯(由用户决策参数指示),从而提供给用户更准确的个性化决策和更满足用户的个性化需求,进而保证智能语音助手或智能手势助手与用户的交流过程更加流畅智能。
在一个可能的示例中,根据参数值集合和预设阈值从候选设备组中确定目标设备,可以包括以下步骤:将参数值集合中大于或等于预设阈值的参数值所对应的至少一个候选设备作为目标设备。
需要说明的是,与上述示例不同的是,本申请实施例考虑目标设备可能包括至少一个候选设备。此时,主控设备可以向该至少一个候选设备同时下发用于执行目标服务功能的控制指令,再由该至少一个候选设备同时执行目标服务功能,而不仅限于将概率大小为最大值的一个候选设备作为目标设备,从而实现同时控制多个设备,满足不同用户需求和场景。
S660、主控设备向目标设备发送第二信息。
其中,第二信息可以用于控制目标设备执行目标服务功能。
需要说明的是,第二信息可以为目标设备可读取或执行的控制命令。
在一个可能的示例中,在向目标设备发送第二信息之后,该方法还可以包括以下步骤:接收来自目标设备的设备调整信息,设备调整信息用于请求主控设备调整执行目标服务功能的电子设备。
需要说明的是,在主控设备向目标设备下发用于执行目标服务功能的控制命令之后,如果第一用户需要调整执行目标服务功能的电子设备,即第一用户需要调整目标设备,则第一用户可以通过目标设备向主控设备发送设备调整信息。可见,本申请实施例的电子设备(如注册设备组中的各个电子设备、候选设备组中的各个候选设备、受控设备、目标设备等)和主控设备具备或提供设备调整功能,从而通过设备调整提供多样的设备决策策略,进而提供更好的用户体验、保证用户的个性化决策、满足用户的个性化需求。
具体的,在接收来自目标设备的设备调整信息之后,该方法还包括:根据设备调整信息更新用户决策参数。
需要说明的是,结合上述的描述可知,本申请实施例考虑主控设备可以根据用户反馈的设备调整信息实时更新与优化用户的使用习惯(由用户决策参数指示),从而提供给用户更准确的个性化决策和更满足用户的个性化需求,进而保证智能语音助手或智能手势助手与用户的交流过程更加流畅智能。
示例性的,用户决策参数的更新计算如下:
Figure BDA0002970382130000141
其中,θ表示根据设备调整信息更新后的用户决策参数;yk表示设备调整后的在候选设备组中用于执行目标服务功能的第k个电子设备(由设备调整信息指示),并且yk=1;f(hi,1,hi,2,...,hi,N,θ)表示由主控设备根据θ和第k个电子设备的状态信息所确定的预测结果;L(yk,f(hk,1,hk,2,...,hk,L,θ))表示yk与f(hi,1,hi,2,...,hi,N,θ)之间的误差大小;λ表示由主控设备定义的预设超参数;θold表示设备调整信息更新前的用户决策参数;
Figure BDA0002970382130000142
用于限制θ,以避免θ与θold相差过大,造成预测结果不稳定。
结合上述的描述,本申请实施例再对信息处理方法的流程作一个示例说明。
示例性的,请参阅图11。信息处理方法包括:
S1101、用户向受控设备输入设备操控命令。
其中,该设备操控命令可以看作上述的第一信息。
其中,受控设备将设备操控命令发送给主控设备。
S1102、主控设备根据设备操控命令判断是否能确定目标设备。
例如,如果设备操控命令为“在智能手机上播放音乐”,则主控设备可以直接识别出目标设备为“智能手机”。
其中,主控设备可以识别设备操控命令以得到目标服务功能。
其中,若S1102不能确定目标设备,则执行S1103;若S1102能确定目标设备,则执行S1111。
S1103、主控设备根据设备操控命令确定具备执行目标服务功能的电子设备以得到候选设备组。
其中,主控设备可以根据电子设备的服务能力信息确定候选设备组。
S1104、主控设备获取用户的用户决策参数和状态信息集。
其中,状态信息集包括候选设备组中的每个候选设备的状态信息。
其中,状态信息包括至少一个单纬度状态特征。该单纬度状态特征可以是历史使用时间特征、距离特征或者历史使用频次特征等。
S1105、主控设备的设备决策模块根据用户决策参数和状态信息集确定候选设备集中的每个候选设备作为执行目标服务功能的概率大小以得到参数值集合。
其中,设备决策模块可以是预选训练的设备决策模型。
S1106、主控设备判断参数值集合中是否有高于预设阈值的参数值。
其中,主控设备可以通过参数值集合中的最大值来判断。
其中,若有高于预设阈值的参数值,则执行S1107;若没有高于预设阈值的参数值,则执行S1108。
S1107、主控设备将高于预设阈值的参数值对应的候选设备作为目标设备。
S1108、主控设备向用户发送请求信息。
其中,请求信息用于请求用户从候选设备组中选择待操控的候选设备。
其中,用户通过受控设备输入响应于请求信息的响应信息,并由受控设备向主控设备发送响应信息。
其中,主控设备接收到响应信息之后,执行S1109和S1110。
S1109、主控设备根据针对请求信息的响应信息确定目标设备。
S1110、主控设备根据响应信息更新用户决策参数。
其中,通过更新用户决策参数,从而保证设备决策模块的决策更符合用户的使用习惯。
S1111、主控设备控制目标设备执行目标服务功能。
其中,主控设备可以向目标设备下发控制命令,控制命令用于控制目标设备执行目标服务功能。
S1112、用户是否需要调整执行目标服务功能的电子设备。
其中,若需要调整,则用户通过目标设备向主控设备发送设备调整信息,设备调整信息用于请求主控设备调整执行目标服务功能的电子设备,并执行S1113。
S1113、主控设备根据设备调整信息更新用户决策参数。
其中,通过更新用户决策参数,从而保证设备决策模块的决策更符合用户的使用习惯。
需要说明的是,本申请对各个实施例的描述都各有侧重,因此,图11所述实施例中没有详述的部分,可以具体参见图6所述实施例中的相关描述,对此不再具体赘述。
可以看出,本申请实施例中,首先,受控设备获取第一用户的第一信息,并向主控设备发送第一信息;其次,主控设备接收来自受控设备的第一信息,并从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组;再次,主控设备获取第一用户的用户决策参数和第一候选设备的第一状态信息;最后,主控设备根据用户决策参数和状态信息集从候选设备组中确定目标设备,并向目标设备发送第二信息。由于本申请实施例先从注册设备组中筛选出具备执行目标服务功能的候选设备组(即初次筛选),再从候选设备组中筛选出最终执行目标服务功能的目标设备(即第二次筛选),初次筛选中主控设备只需简单初步筛选出具备执行目标服务功能的电子设备,而第二次筛选中主控设备需要根据第一用户的用户决策参数和状态信息集进行联合决策,具体较大的计算量,因此通过在初次筛选的基础上再进行第二次筛选(即二次筛选),从而有利于提高设备间的协同控制的效率,保证决策出的目标设备更符合用户的意向,提升设备决策的准确性。另外,本申请实施例根据第一用户的用户决策参数和状态信息集进行个性化的设备决策,保证决策出的目标设备更加符合用户的需求或意向,提供给用户更准确的个性化决策和更满足用户的个性化需求。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,主控设备或受控设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对主控设备或受控设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,只是一种逻辑功能划分,而实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图12提供一种信息处理装置的功能单元组成框图。信息处理装置1200应用于主控设备,具体包括:处理单元1220和通信单元1230。处理单元1220用于对主控设备的动作进行控制管理,例如,处理单元1220用于支持主控设备执行图6或图11中的部分或全部步骤,以及用于本文所描述的技术的其它过程。通信单元1230用于支持主控设备与其他设备的通信。信息处理装置1200还可以包括存储单元1210,用于存储信息处理装置1200的程序代码和数据。
其中,处理单元1220可以是处理器或控制器,例如CPU、通用处理器、DSP、ASIC、FPGA、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请实施例所描述的各种示例性的逻辑方框、模块和电路。另外,处理单元1220也可以是实现计算功能的组合,例如包含一个或多个微处理器组合、DSP和微处理器的组合。通信单元1230可以是通信接口、收发器和收发电路等。存储单元1210可以是存储器。当处理单元1220为处理器,通信单元1230为通信接口,存储单元1210为存储器时,本申请实施例所涉及的信息处理装置1200可以为图14所示的主控设备。
具体的,处理单元1220用于执行如上述方法实施例中由主控设备执行的任一步骤,且在执行诸如发送等数据传输时,可选择的调用通信单元1230来完成相应操作。下面进行详细说明。
处理单元1220用于:接收来自受控设备的第一用户的第一信息,受控设备为注册设备组中响应于第一用户的设备唤醒信息所确定的一个电子设备,注册设备组由向主控设备执行注册的电子设备组成;从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组;获取第一用户的用户决策参数和第一候选设备的第一状态信息,第一候选设备为候选设备组中的一个候选设备,第一状态信息为状态信息集中的一个状态信息;根据用户决策参数和状态信息集从候选设备组中确定目标设备;向目标设备发送第二信息,第二信息用于控制目标设备执行目标服务功能。
需要说明的是,信息处理装置1200执行的各个操作的具体实现可以参见上述图6或图11所示的方法实施例的相应描述,在此不再赘述。
可以看出,本申请实施例中,由于本申请实施例先从注册设备组中筛选出具备执行目标服务功能的候选设备组(即初次筛选),再从候选设备组中筛选出最终执行目标服务功能的目标设备(即第二次筛选),初次筛选中主控设备只需简单初步筛选出具备执行目标服务功能的电子设备,而第二次筛选中主控设备需要根据第一用户的用户决策参数和状态信息集进行联合决策,具体较大的计算量,因此通过在初次筛选的基础上再进行第二次筛选(即二次筛选),从而有利于提高设备间的协同控制的效率,保证决策出的目标设备更符合用户的意向,提升设备决策的准确性。另外,本申请实施例根据第一用户的用户决策参数和状态信息集进行个性化的设备决策,保证决策出的目标设备更加符合用户的需求或意向,提供给用户更准确的个性化决策和更满足用户的个性化需求。
在一个可能的示例中,在根据用户决策参数和状态信息集从候选设备组中确定目标设备方面,处理单元1220具体用于:根据所述用户决策参数和所述状态信息集确定针对所述第一候选设备的第一参数值,所述第一参数值用于指示所述第一候选设备作为执行所述目标服务功能的概率大小,所述第一参数值为参数值集合中的一个参数值;根据所述参数值集合和预设阈值从所述候选设备组中确定所述目标设备。
在一个可能的示例中,在根据参数值集合和预设阈值从候选设备组中确定目标设备方面,处理单元1220具体用于:若所述参数值集合中的目标参数值大于或等于所述预设阈值,则将所述目标参数值对应的候选设备作为所述目标设备,所述目标参数值为所述参数值集合中的最大值;或者,若所述目标参数值小于所述预设阈值,则生成用于请求所述第一用户从所述候选设备组中选择待操控的候选设备的请求信息,并向所述受控设备发送所述请求信息;获取来自所述受控设备针对所述请求信息的响应信息;将所述响应信息所指示的所述待操控的候选设备作为所述目标设备;或者,将所述参数值集合中大于或等于所述预设阈值的参数值所对应的至少一个候选设备作为所述目标设备。
在一个可能的示例中,在获取来自受控设备针对请求信息的响应信息之后,处理单元1220还用于:根据响应信息更新用户决策参数。
在一个可能的示例中,在从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组方面,处理单元1220具体用于:识别所述第一信息以得到目标服务功能;获取所述注册设备组中的每个电子设备的设备注册信息;根据所述设备注册信息从所述注册设备组中确定具备执行所述目标服务功能的电子设备以得到所述候选设备组。
在一个可能的示例中,在识别第一信息以得到目标服务功能方面,处理单元1220具体用于:若所述第一信息包括语音操控信息,则根据所述语音操控信息所识别的词向量矩阵和预先训练的服务功能分析模型确定所述目标服务功能;或者,若所述第一信息包括手势操控信息,则根据所述手势操控信息中所识别的目标手势类型和预设映射关系确定所述目标服务能力,所述预设映射关系用于指示目标手势类型与目标服务能力之间的映射关系。
在一个可能的示例中,在向目标设备发送第二信息之后,处理单元1220还用于:接收来自所述目标设备的设备调整信息,所述设备调整信息用于请求所述主控设备调整执行所述目标服务功能的电子设备。
在采用集成的单元的情况下,图13提供了又一种信息处理装置的功能单元组成框图。信息处理装置1300包括处理单元1320和通信单元1330。处理单元1320用于对受控设备的动作进行控制管理,例如,处理单元1320用于支持终端执行图6或图11中的步骤以及用于本申请所描述的技术方案的其它过程。通信单元1330用于支持受控设备与其他设备之间的通信。信息处理装置1300还可以包括存储单元1310,用于存储信息处理装置1300所执行的程序代码和所传输的数据。
其中,处理单元1320可以是处理器或控制器,例如可以是CPU、DSP、ASIC、FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理单元1320也可以是实现计算功能的组合,例如包含一个或多个微处理器组合、DSP和微处理器的组合等等。通信单元1330可以是通信接口、收发器、收发电路等,存储单元1310可以是存储器。当处理单元1320为处理器,通信单元1330为通信接口,存储单元1310为存储器时,本申请实施例所涉及的信息处理装置1300可以为图15所示的受控设备。
具体实现时,处理单元1320用于执行如上述方法实施例中由受控设备执行的任一步骤,且在执行诸如发送等数据传输时,可选择的调用通信单元1330来完成相应操作。下面进行详细说明。
处理单元1320用于:获取第一用户的第一信息,受控设备为注册设备组中响应于第一用户的设备唤醒信息所确定的一个电子设备,注册设备组由向主控设备执行注册的电子设备组成;向主控设备发送第一信息,第一信息用于主控设备从注册设备组中确定执行第一信息所识别的目标服务功能的目标设备。
需要说明的是,信息处理装置1300执行的各个操作的具体实现可以参见上述图6或图11所示的方法实施例的相应描述,在此不再赘述。
可以看出,本申请实施例中,通过获取第一用户的第一信息,并向主控设备发送第一信息。由于第一信息用于主控设备从注册设备组中确定执行第一信息所识别的目标服务功能的目标设备,从而实现设备间的协同控制操作。
下面介绍本申请实施例提供的一种主控设备的结构示意图,如图14所示。其中,主控设备1400包括处理器1410、存储器1420、通信接口1430和至少一个用于连接处理器1410、存储器1420、通信接口1430的通信总线。
处理器1410可以是一个或多个中央处理器CPU。在处理器1410是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。存储器1420包括但不限于是随机存储记忆体(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)或便携式只读存储器(Compact Disc Read-Only Memory,CD-ROM),并且存储器1420用于存储相关指令及数据。通信接口1430用于接收和发送数据。
主控设备1400中的处理器1410用于读取存储器1420中存储的一个或多个程序1421用于执行以下步骤:接收来自受控设备的第一用户的第一信息,受控设备为注册设备组中响应于第一用户的设备唤醒信息所确定的一个电子设备,注册设备组由向所述主控设备执行注册的电子设备组成;从注册设备组中确定具备执行第一信息所识别的目标服务功能的电子设备以得到候选设备组;获取第一用户的用户决策参数和第一候选设备的第一状态信息,第一候选设备为候选设备组中的一个候选设备,第一状态信息为状态信息集中的一个状态信息;根据用户决策参数和状态信息集从候选设备组中确定目标设备;向目标设备发送第二信息,第二信息用于控制目标设备执行目标服务功能。
需要说明的是,主控设备1400执行的各个操作的具体实现可以参见上述图6或者图11所示的方法实施例的相应描述,在此不再赘述。
下面介绍本申请实施例提供的一种受控设备的结构示意图,如图15所示。其中,受控设备1500包括处理器1510、存储器1520、通信接口1530和至少一个用于连接处理器1510、存储器1520、通信接口1530的通信总线。
处理器1510可以是一个或多个中央处理器CPU。在处理器1510是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。存储器1520包括但不限于是随机存储记忆体(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)或便携式只读存储器(Compact Disc Read-Only Memory,CD-ROM),并且存储器1520用于存储相关指令及数据。通信接口1530用于接收和发送数据。
受控设备1500中的处理器1510用于读取存储器1520中存储的一个或多个程序1521用于执行以下步骤:获取第一用户的第一信息,受控设备为注册设备组中响应于第一用户的设备唤醒信息所确定的一个电子设备,注册设备组由向主控设备执行注册的电子设备组成;向主控设备发送第一信息,第一信息用于主控设备从注册设备组中确定执行第一信息所识别的目标服务功能的目标设备。
需要说明的是,受控设备1500执行的各个操作的具体实现可以参见上述图6或者图11所示的方法实施例的相应描述,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,其中,该计算机可读存储介质存储用于电子数据交换的计算机程序,该计算机程序可操作来使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,其中,该计算机程序产品包括计算机程序,该计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
需要说明的是,对于上述的各方法实施例,为了简单描述,将其都表述为一系列的动作组合。本领域技术人员应该知悉,本申请不受所描述的动作顺序的限制,因为本申请实施例中的某些步骤可以采用其他顺序或者同时进行。此外,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请实施例所必须的。
在上述实施例中,本申请对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,本领域技术人员应该知悉,所描述的装置可以通过其它的方式实现。可以理解的是,上述描述的装置实施例仅仅是示意性的。例如,上述单元的划分只是一种逻辑功能划分,实际中可以有另外的划分方式。也就是说,多个单元或组件可以结合或集成到另一个软件,以及一些特征可以忽略或不执行。此外,所显示或讨论的相互之间的耦合、直接耦合或通信连接等方式可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电性或其它的形式。
上述单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。可以理解的是,本申请的技术方案(该技术方案对现有技术做出贡献的部分或者该技术方案的全部或部分)可以通过计算机软件产品的形式体现。该计算机软件产品存储在一个存储器中,包括若干指令用以使得计算机设备(个人计算机、服务器或者网络设备等)执行本申请实施例的全部或部分步骤。另外,上述计算机可读取存储介质可以存储在U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种存储器中。
以上对本申请实施例进行了具体介绍,本领域技术人员应该知悉,本申请实施例只是用于帮助理解本申请的技术方案的核心思想,因此本申请实施例在具体实施方式和应用范围上均会有改变之处。至此,本说明书中记载的内容不应理解为对本申请的保护范围的限制。另外,在本申请实施例的技术方案的基础之上,任意所做的任何修改、等同替换、改进等,均应包括在本申请实施例的保护范围之内。

Claims (13)

1.一种信息处理方法,其特征在于,应用于主控设备;所述方法包括:
接收来自受控设备的第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向所述主控设备执行注册的电子设备组成;
从所述注册设备组中确定具备执行所述第一信息所识别的目标服务功能的电子设备以得到候选设备组;
获取所述第一用户的用户决策参数和第一候选设备的第一状态信息,所述第一候选设备为所述候选设备组中的一个候选设备,所述第一状态信息为状态信息集中的一个状态信息;
根据所述用户决策参数和所述状态信息集从所述候选设备组中确定目标设备;
向所述目标设备发送第二信息,所述第二信息用于控制所述目标设备执行所述目标服务功能。
2.根据权利要求1所述的方法,其特征在于,所述根据所述用户决策参数和所述状态信息集从所述候选设备组中确定目标设备,包括:
根据所述用户决策参数和所述状态信息集确定针对所述第一候选设备的第一参数值,所述第一参数值用于指示所述第一候选设备作为执行所述目标服务功能的概率大小,所述第一参数值为参数值集合中的一个参数值;
根据所述参数值集合和预设阈值从所述候选设备组中确定所述目标设备。
3.根据权利要求2所述的方法,其特征在于,所述根据所述参数值集合和预设阈值从所述候选设备组中确定所述目标设备,包括:
若所述参数值集合中的目标参数值大于或等于所述预设阈值,则将所述目标参数值对应的候选设备作为所述目标设备,所述目标参数值为所述参数值集合中的最大值;或者,
若所述目标参数值小于所述预设阈值,则生成用于请求所述第一用户从所述候选设备组中选择待操控的候选设备的请求信息,并向所述受控设备发送所述请求信息;获取来自所述受控设备针对所述请求信息的响应信息;将所述响应信息所指示的所述待操控的候选设备作为所述目标设备;或者,
将所述参数值集合中大于或等于所述预设阈值的参数值所对应的至少一个候选设备作为所述目标设备。
4.根据权利要求3所述的方法,其特征在于,在所述获取来自所述受控设备针对所述请求信息的响应信息之后,所述方法还包括:
根据所述响应信息更新所述用户决策参数。
5.根据权利要求1所述的方法,其特征在于,所述从所述注册设备组中确定具备执行所述第一信息所识别的目标服务功能的电子设备以得到候选设备组,包括:
识别所述第一信息以得到目标服务功能;
获取所述注册设备组中的每个电子设备的设备注册信息;
根据所述设备注册信息从所述注册设备组中确定具备执行所述目标服务功能的电子设备以得到所述候选设备组。
6.根据权利要求5所述的方法,其特征在于,所述识别所述第一信息以得到目标服务功能,包括:
若所述第一信息包括语音操控信息,则根据所述语音操控信息所识别的词向量矩阵和预先训练的服务功能分析模型确定所述目标服务功能;或者,
若所述第一信息包括手势操控信息,则根据所述手势操控信息中所识别的目标手势类型和预设映射关系确定所述目标服务能力,所述预设映射关系用于指示目标手势类型与目标服务能力之间的映射关系。
7.根据权利要求1-6任一项所述的方法,其特征在于,在所述向所述目标设备发送第二信息之后,所述方法还包括:
接收来自所述目标设备的设备调整信息,所述设备调整信息用于请求所述主控设备调整执行所述目标服务功能的电子设备。
8.一种信息处理方法,其特征在于,应用于受控设备;所述方法包括:
获取第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向主控设备执行注册的电子设备组成;
向所述主控设备发送所述第一信息,所述第一信息用于所述主控设备从所述注册设备组中确定执行所述第一信息所识别的目标服务功能的目标设备。
9.一种信息处理装置,其特征在于,应用于主控设备;所述装置包括处理单元和通信单元,所述处理单元用于:
通过所述通信单元接收来自受控设备的第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向所述主控设备执行注册的电子设备组成;
从所述注册设备组中确定具备执行所述第一信息所识别的目标服务功能的电子设备以得到候选设备组;
获取所述第一用户的用户决策参数和第一候选设备的第一状态信息,所述第一候选设备为所述候选设备组中的一个候选设备,所述第一状态信息为状态信息集中的一个状态信息;
根据所述用户决策参数和所述状态信息集从所述候选设备组中确定目标设备;
通过所述通信单元向所述目标设备发送第二信息,所述第二信息用于控制所述目标设备执行所述目标服务功能。
10.一种信息处理装置,其特征在于,应用于受控设备;所述装置包括处理单元和通信单元,所述处理单元用于:
获取第一用户的第一信息,所述受控设备为注册设备组中响应于所述第一用户的设备唤醒信息所确定的一个电子设备,所述注册设备组由向主控设备执行注册的电子设备组成;
通过所述通信单元向所述主控设备发送所述第一信息,所述第一信息用于所述主控设备从所述注册设备组中确定执行所述第一信息所识别的目标服务功能的目标设备。
11.一种主控设备,其特征在于,所述主控设备包括电子设备或者服务器;所述主控设备包括处理器、存储器和通信接口,所述存储器存储有一个或多个程序,并且所述一个或多个程序由所述处理器执行,所述一个或多个程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
12.一种受控设备,其特征在于,所述受控设备包括电子设备;所述受控设备包括处理器、存储器和通信接口,所述存储器存储有一个或多个程序,并且所述一个或多个程序由所述处理器执行,所述一个或多个程序包括用于执行如权利要求8所述的方法中的步骤的指令。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,所述计算机程序可操作来使得计算机执行如权利要求1-8中任一项所述的方法。
CN202110263156.9A 2021-03-10 2021-03-10 信息处理方法与装置、主控设备和受控设备 Pending CN115079810A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110263156.9A CN115079810A (zh) 2021-03-10 2021-03-10 信息处理方法与装置、主控设备和受控设备
PCT/CN2022/072350 WO2022188551A1 (zh) 2021-03-10 2022-01-17 信息处理方法与装置、主控设备和受控设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263156.9A CN115079810A (zh) 2021-03-10 2021-03-10 信息处理方法与装置、主控设备和受控设备

Publications (1)

Publication Number Publication Date
CN115079810A true CN115079810A (zh) 2022-09-20

Family

ID=83226329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263156.9A Pending CN115079810A (zh) 2021-03-10 2021-03-10 信息处理方法与装置、主控设备和受控设备

Country Status (2)

Country Link
CN (1) CN115079810A (zh)
WO (1) WO2022188551A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617498A (zh) * 2022-12-15 2023-01-17 安徽淘云科技股份有限公司 应用优化方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461637A (zh) * 2014-12-11 2015-03-25 上海鼎讯电子有限公司 一种手势唤醒应用方法、终端及系统
US20180152557A1 (en) * 2014-07-09 2018-05-31 Ooma, Inc. Integrating intelligent personal assistants with appliance devices
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备
CN111369988A (zh) * 2018-12-26 2020-07-03 华为终端有限公司 一种语音唤醒方法及电子设备
CN111696562A (zh) * 2020-04-29 2020-09-22 华为技术有限公司 语音唤醒方法、设备及存储介质
CN112289313A (zh) * 2019-07-01 2021-01-29 华为技术有限公司 一种语音控制方法、电子设备及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363151A (zh) * 2014-10-31 2015-02-18 广东康宝电器股份有限公司 无线物联家居系统及其联网方法和远程访问控制方法
KR20200074690A (ko) * 2018-12-17 2020-06-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN110012103B (zh) * 2019-04-11 2021-11-02 芋头科技(杭州)有限公司 智能设备的控制方法、装置以及控制器和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180152557A1 (en) * 2014-07-09 2018-05-31 Ooma, Inc. Integrating intelligent personal assistants with appliance devices
CN104461637A (zh) * 2014-12-11 2015-03-25 上海鼎讯电子有限公司 一种手势唤醒应用方法、终端及系统
CN111369988A (zh) * 2018-12-26 2020-07-03 华为终端有限公司 一种语音唤醒方法及电子设备
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备
CN112289313A (zh) * 2019-07-01 2021-01-29 华为技术有限公司 一种语音控制方法、电子设备及系统
CN111696562A (zh) * 2020-04-29 2020-09-22 华为技术有限公司 语音唤醒方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115617498A (zh) * 2022-12-15 2023-01-17 安徽淘云科技股份有限公司 应用优化方法、装置、电子设备和存储介质
CN115617498B (zh) * 2022-12-15 2023-08-22 安徽淘云科技股份有限公司 应用优化方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022188551A1 (zh) 2022-09-15

Similar Documents

Publication Publication Date Title
WO2020156269A1 (zh) 一种具有柔性屏幕的电子设备的显示方法及电子设备
CN109814766B (zh) 一种应用显示方法及电子设备
CN110910872B (zh) 语音交互方法及装置
WO2020192456A1 (zh) 一种语音交互方法及电子设备
EP4064284A1 (en) Voice detection method, prediction model training method, apparatus, device, and medium
EP4149109A1 (en) Video generation method and related apparatus
WO2022179376A1 (zh) 手势控制方法与装置、电子设备及存储介质
WO2020077540A1 (zh) 一种信息处理方法及电子设备
CN111738122A (zh) 图像处理的方法及相关装置
CN113805487B (zh) 控制指令的生成方法、装置、终端设备及可读存储介质
CN112860428A (zh) 一种高能效的显示处理方法及设备
CN112527093A (zh) 手势输入方法及电子设备
CN114168128A (zh) 生成响应式页面的方法、图形用户界面及电子设备
CN115934314A (zh) 一种应用运行方法以及相关设备
WO2023273543A1 (zh) 一种文件夹管理方法及装置
CN113971271A (zh) 一种指纹解锁的方法、装置、终端以及存储介质
WO2022007707A1 (zh) 家居设备控制方法、终端设备及计算机可读存储介质
EP4199488A1 (en) Voice interaction method and electronic device
CN111163213A (zh) 终端控制方法、装置及终端设备
WO2022188551A1 (zh) 信息处理方法与装置、主控设备和受控设备
CN115113751A (zh) 调整触摸手势的识别参数的数值范围的方法和装置
CN115131789A (zh) 文字识别方法、设备及存储介质
CN111880661A (zh) 手势识别方法及装置
CN115083401A (zh) 语音控制方法及装置
WO2022095983A1 (zh) 一种防止手势误识别的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination