CN107728482A - 控制系统、控制处理方法及装置 - Google Patents

控制系统、控制处理方法及装置 Download PDF

Info

Publication number
CN107728482A
CN107728482A CN201610658833.6A CN201610658833A CN107728482A CN 107728482 A CN107728482 A CN 107728482A CN 201610658833 A CN201610658833 A CN 201610658833A CN 107728482 A CN107728482 A CN 107728482A
Authority
CN
China
Prior art keywords
information
equipment
user
predetermined space
directional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610658833.6A
Other languages
English (en)
Inventor
王正博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610658833.6A priority Critical patent/CN107728482A/zh
Priority to TW106115504A priority patent/TW201805744A/zh
Priority to JP2019507757A priority patent/JP6968154B2/ja
Priority to EP17840270.7A priority patent/EP3497467A4/en
Priority to US15/674,147 priority patent/US20180048482A1/en
Priority to PCT/US2017/046276 priority patent/WO2018031758A1/en
Publication of CN107728482A publication Critical patent/CN107728482A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814Exchanging control software or macros for controlling appliance services in a home automation network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/045Programme control other than numerical control, i.e. in sequence controllers or logic controllers using logic state machines, consisting only of a memory or a programmable logic device containing the logic for the controlled machine and in which the state of its outputs is dependent on the state of its inputs or part of its own output states, e.g. binary decision controllers, finite state controllers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/284Home automation networks characterised by the type of medium used
    • H04L2012/2841Wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/2849Audio/video appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/285Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本申请公开了一种控制系统、控制处理方法及装置。其中,该系统包括:采集单元,用于采集预定空间中的信息,其中,预定空间包括多个设备;处理单元,用于根据信息,确定用户的指向信息;根据指向信息,从多个设备中选择用户控制的目标设备。本申请解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题。

Description

控制系统、控制处理方法及装置
技术领域
本申请涉及控制领域,具体而言,涉及一种控制系统、控制处理方法及装置。
背景技术
智能家居是利用先进的计算机技术、网络通讯技术、综合布线技术以及医疗电子技术依照人体工程学原理,融合个性需求,将与家居生活有关的各个系统如安防、灯光控制、窗帘控制、煤气阀控制、信息家电、场景联动、地板采暖、健康保健、卫生防疫和安防保安等有机结合。
现有技术中,各种智能家居设备的控制一般通过与各种智能家居设备相对应的手机APP进行控制,采取将手机APP虚拟为遥控器的方法,实现对各种智能家居设备的控制。采取将手机APP虚拟为遥控器的方法,在控制家居设备的过程中也存在一定的响应等待时长,并且随着大量智能家居设备的应用,各种家居设备相对应的手机APP操作界面越来越多,界面切换越来越频繁。
针对现有技术控制家居设备时操作繁琐、控制效率低的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种控制系统、控制处理方法及装置,以至少解决现有技术中控制家居设备时操作繁琐、控制效率低的技术问题。
根据本申请实施例的一个方面,提供了一种控制系统,控制系统包括:采集单元,用于采集预定空间中的信息,其中,所述预定空间包括多个设备;处理单元,用于根据所述信息,确定用户的指向信息;根据所述指向信息,从所述多个设备中选择所述用户控制的目标设备。
根据本申请上述实施例,本申请还提供了一种控制处理方法,包括:采集预定空间中的信息,其中,所述预定空间包括多个设备;根据所述信息,确定用户的指向信息;根据所述指向信息,从所述多个设备中选择所述用户控制的目标设备。
根据本申请上述实施例,本申请还提供了一种控制处理装置,包括:第一采集单元,用于采集预定空间中的信息,其中,所述预定空间包括多个设备;第一确定单元,用于根据所述信息,确定用户的指向信息;第二确定单元,用于根据所述指向信息,从所述多个设备中选择所述用户控制的目标设备。
采用上述实施例,处理单元根据采集单元采集的信息确定出现在预定空间中的用户的面部的指向信息,并根据该指向信息指示确认将被控制设备,然后控制该确定的设备。通过本申请上述实施例,可以基于预定空间中的用户的面部指向信息,来确定将被用户控制的设备,进而控制该设备,在这个过程中,只需要采集多媒体信息即可实现对设备的控制,而无需用户通过切换应用程序的各个操作界面实现对设备的控制,解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题,达到了可以根据采集的信息直接控制设备的目的,操作简单。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种控制系统的示意图;
图2是根据本申请实施例的一种控制系统的结构框图;
图3(a)是根据本申请实施例的一种控制处理方法的流程图;
图3(b)是根据本申请实施例的一种可选的控制处理方法的流程图;
图4是根据本申请实施例的一种可选的人机交互系统结构示意图;
图5是根据本申请实施例的一种可选的人机交互系统方法流程图;以及
图6是根据本申请实施例的一种控制处理装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种控制系统的实施例,图1是根据本申请实施例的一种控制系统的示意图。如图1所示,该系统可以包括:
采集单元101,用于采集预定空间中的信息,其中,预定空间包括多个设备;
其中,上述实施例中的采集单元101用于采集预定空间中的信息。上述的预定空间可以为一个或多个预先设置的空间,该空间所包含的区域大小可以是固定的,也可以是可变的。该预定空间基于采集单元的采集范围而确定,如,该预定空间可以与该采集单元的采集范围相同,该预定空间在该采集单元的采集范围内。
例如,用户的房间包括区域A、区域B、区域C、区域D和E区域,其中,A区域是一个可变空间,如阳台,根据采集单元的采集能力可以将区域A、区域B、区域C、区域D和E区域的任一个或多个设置为该预定空间。
上述信息可以包括多媒体信息、红外信号等,其中,多媒体信息是计算机和视频技术的结合,该多媒体信息主要包括声音和图像。红外信号可以通过被检测对象的热状态表现被检测对象的特征。
在一个可选的实施例中,采集单元101可以通过一个或多个传感器采集预定空间的信息,该传感器包括但不局限于:图像传感器、声音传感器和红外传感器,采集单元可以通过一个或多个传感器采集预定空间的环境信息和/生物信息,该生物信息可以包括图像信息、声音信号和/或生物体征信息。可选地,采集单元101也可以通过一个或多个信号采集器(或信号采集装置)实现。
在另一个可选的实施例中,采集单元可以包括:图像采集系统,用于采集预定空间的图像,其中,信息包括图像。
上述图像采集系统可以是DSP(Digital Signal Processor,即数字信号处理)图像采集系统,可以将采集的预定空间的模拟信号,转换为0或1的数字信号,在对数字信号进行修改、删除和强化,并在系统芯片中把数字数据解释回模拟数据或实际环境格式。具体的,DSP图像采集系统采集预定空间的图像,并将采集的图像转化为数字信号,并通过对数字信号进行修改、删除和强化,校正错误的数字信号,并将校正后的数字信号转换为模拟信号,从而实现对模拟信号的校正,并将校正后的模拟信号确定为最终的图像。
可选的,上述图像采集系统还可以是数码图像采集系统、多光谱图像采集系统或像素图像采集系统。
在一个可选的实施例中,采集单元包括:声音采集系统,可以利用收音器、声音采集器、声卡等采集预定空间的声音信号,其中,信息包括声音信号。
处理单元103,用于根据信息,确定用户的指向信息;根据指向信息,从多个设备中选择用户控制的目标设备。
具体地,处理单元可以根据信息确定出现在预定空间中的用户的面部的指向信息,并根据指向信息确定将被用户控制的设备。在一个可选的实施例中,在采集到预定空间的信息后,从信息中提取用户的面部信息,基于该面部信息确定用户面部的姿态和空间位置信息等,生成指向信息。在确定用户的面部指向信息后,根据该指向信息确定该指向信息所指向的用户设备,并将该用户设备确定为将被用户控制的设备。
为了提高准确性,可以通过用户面部特征点的指向信息确定用户的面部的指向信息。具体地,在采集到预定空间的信息后,在该预定空间的信息中包含人体信息的情况下,从信息中提取一个或多个人体面部特征点的信息,并基于提取到的面部特征点的信息确定用户的指向信息,该指向信息指向用户想控制的设备。例如,从信息中提取到鼻子的信息(该信息中包含鼻子的某个局部位置的指向,如鼻尖的指向),基于鼻子的指向确定上述的指向信息;若从信息中提取到眼睛的晶状体的信息,该信息中可以包含晶状体的基准位置的指向,基于眼睛的晶状体的基准位置的指向确定上述的指向信息;在面部特征点包括眼睛和鼻子的情况下,可以根据眼睛和鼻子的信息确定指向信息,具体地,可以通过眼睛的晶状体的方位和角度确定用户面部的一个指向信息,也可以通过鼻子的方位和角度确定用户面部的另一个指向信息,如果眼睛的晶状体确定的用户面部的一个指向信息与鼻子确定的用户面部的另一个指向信息一致,则将该用户面部的指向信息确定为预定空间中的用户的面部的指向信息。进一步地,在确定用户的面部的指向信息后,根据已确定的用户的面部的指向信息确定该指向信息所指方位内的设备,并将所指方位内的设备确定为将被控制的设备。
通过上述实施例,可以基于采集的预定空间的信息确定预定空间的用户面部指向信息,并根据用户面部的指向信息确定被用户控制的设备,利用用户面部指向信息确定被控制的设备,简化了人与设备之间的交互过程,提升了交互体验,实现了在预定空间对不同设备的控制。
在采集到的信息包括图像的情况下,处理单元用于在图像中出现人体的情况下确定预定空间中出现用户,并确定用户的面部的指向信息。
在该实施例中,检测预定空间中是否出现用户,在预定空间中出现用户的情况下,基于采集到的预定空间的信息确定用户的面部的指向信息。
其中,检测预定空间中是否出现用户可以通过如下步骤实现:检测图像中是否出现人体特征,在检测出图像中出现人体特征的情况下,确定预定空间中出现用户。
具体地,可以预先存储人体的图像特征,在采集单元采集到图像之后,利用预先存储的人体的图像特征(即人体特征)对该图像进行识别,若识别出该图像中存在图像特征,则确定该图像中出现人体。
在采集到的信息包括声音的情况下,处理单元,用于根据声音信号确定用户的面部的指向信息。
具体地,根据声音信号检测预定空间中是否出现用户,在预定空间中出现用户的情况下,基于采集到的预定空间的信息确定用户的面部的指向信息。
其中,根据声音信号检测预定空间中是否出现用户可以通过如下步骤实现:检测声音信号是否来源于人体,在检测出声音信号来源于人体的情况下,确定预定空间中出现用户。
具体地,可以预先存储人体的声音特征(如人体声线特征),在采集单元采集到声音信号之后,利用预先存储的人体的声音特征对该声音信号进行识别,若识别出该声音信号中存在声音特征,则确定该声音信号来源于人体。
采用本申请上述实施例,采集单元首先进行信息采集,处理单元根据采集到的信息,进行人体识别,在识别出预定空间中出现人体的情况下,确定用户的面部指向信息,可以准确的检测出预定空间中是否有人体存在,并在人体存在的情况下,进行人体面部指向信息的确认,提升了人体面部指向信息确认的效率。
通过上述实施例,处理单元根据采集单元采集的信息确定出现在预定空间中的用户的面部的指向信息,并根据该指向信息指示确认将被控制设备,然后控制该确定的设备。通过本申请上述实施例,可以基于预定空间中的用户的面部指向信息,来确定将被用户控制的设备,进而控制该设备,在这个过程中,只需要采集多媒体信息即可实现对设备的控制,而无需用户通过切换应用程序的各个操作界面实现对设备的控制,解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题,达到了可以根据采集的信息直接控制设备的目的,操作简单。
本申请实施例所提供的实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图2是根据本申请实施例的一种控制系统的结构框图。如图2所示,计算机终端20可以包括一个或多个(图中仅示出一个)处理单元202(处理单元202可以包括但不限于微处理单元MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、采集信息的采集单元204以及用于通信功能的传输模块206。本领域普通技术人员可以理解,图2所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端20还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。
传输模块206用于经由一个网络接收或者发送数据,具体地,该传输装可以用于将处理单元生成的指令发送至各个被控设备10(包括上述实施例中将被用户控制的设备)。上述的网络具体实例可包括计算机终端20的通信供应商提供的无线网络。在一个实例中,传输模块206包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块206可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与被控设备10进行通讯。
上述网络的实施包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
根据本申请实施例,还提供了一种控制处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在上述运行环境下,本申请提供了如图3所示的控制处理方法。如图3(a)所示,该方法可以包括如下步骤:
步骤S302,采集预定空间中的信息,其中,预定空间包括多个设备;
步骤S304,根据信息,确定用户的指向信息;
步骤S306,根据指向信息,从多个设备中选择用户控制的目标设备。
采用上述实施例,在采集单元采集预定空间中的信息之后,处理单元根据采集的信息确定出现在预定空间中的用户的面部的指向信息,并根据该指向信息指示确认将被控制设备,然后控制该确定的目标设备。通过本申请上述实施例,可以基于预定空间中的用户的面部指向信息,来确定将被用户控制的设备,进而控制该设备,在这个过程中,只需要采集多媒体信息即可实现对设备的控制,而无需用户通过切换应用程序的各个操作界面实现对设备的控制,解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题,达到了可以根据采集的信息直接控制设备的目的,操作简单。
其中,上述实施例中的步骤S302可以通过采集单元101来实现。上述的预定空间可以为一个或多个预先设置的空间,该空间所包含的区域大小可以是固定的,也可以是可变的。该预定空间基于采集单元的采集范围而确定,如,该预定空间可以与该采集单元的采集范围相同,该预定空间在该采集单元的采集范围内。
例如,用户的房间包括区域A、区域B、区域C、区域D和E区域,其中,A区域是一个可变空间,如阳台,根据采集单元的采集能力可以将区域A、区域B、区域C、区域D和E区域的任一个或多个设置为该预定空间。
上述信息可以包括多媒体信息、红外信号等,其中,多媒体信息是计算机和视频技术的结合,该多媒体信息主要包括声音和图像。红外信号可以通过被检测对象的热状态表现被检测对象的特征。
下面结合图3(b)详述上述实施例,如图3(b)所示,该实施例可以包括:
步骤S301,采集预定空间中的信息;
步骤S303,根据信息确定出现在预定空间中的用户的面部的指向信息;
步骤S305,根据指向信息确定将被用户控制的设备。
在上述实施例中,可以基于预定空间中的用户的面部指向信息,来确定将被用户控制的设备,进而控制该设备,在这个过程中,只需要采集多媒体信息即可实现对设备的控制,而无需用户通过切换应用程序的各个操作界面实现对设备的控制,解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题,达到了可以根据采集的信息直接控制设备的目的,操作简单。
在一个可选的实施例中,在采集到预定空间的信息后,从信息中提取用户的面部信息,基于该面部信息确定用户面部的姿态和空间位置信息等,生成指向信息。在确定用户的面部指向信息后,根据该指向信息确定该指向信息所指向的用户设备,并将该用户设备确定为将被用户控制的目标设备。
为了进一步提高准确性,可以通过用户面部特征点的指向信息确定用户的面部的指向信息。具体地,在采集到预定空间的信息后,在该预定空间的信息中包含人体信息的情况下,从信息中提取一个或多个人体面部特征点的信息,并基于提取到的面部特征点的信息确定用户的指向信息,该指向信息指向用户想控制的设备。例如,从信息中提取到鼻子的信息(该信息中包含鼻子的某个局部位置的指向,如鼻尖的指向),基于鼻子的指向确定上述的指向信息;若从信息中提取到眼睛的晶状体的信息,该信息中可以包含晶状体的基准位置的指向,基于眼睛的晶状体的基准位置的指向确定上述的指向信息;在面部特征点包括眼睛和鼻子的情况下,可以根据眼睛和鼻子的信息确定指向信息,具体地,可以通过眼睛的晶状体的方位和角度确定用户面部的一个指向信息,也可以通过鼻子的方位和角度确定用户面部的另一个指向信息,如果眼睛的晶状体确定的用户面部的一个指向信息与鼻子确定的用户面部的另一个指向信息一致,则将该用户面部的指向信息确定为预定空间中的用户的面部的指向信息。进一步地,在确定用户的面部的指向信息后,根据已确定的用户的面部的指向信息确定该指向信息所指方位内的设备,并将所指方位内的设备确定为将被控制的设备。
通过上述实施例,可以基于采集的预定空间的信息确定预定空间的用户面部指向信息,并根据用户面部的指向信息确定被用户控制的设备,利用用户面部指向信息确定被控制的设备,简化了人与设备之间的交互过程,提升了交互体验,实现了在预定空间对不同设备的控制。
在一个可选的实施例中,信息包括:图像,根据图像确定用户的指向信息包括:确定图像中包含人体特征,其中,该人体特征包括头部特征;从图像中,获取头部特征的空间位置和姿态;根据头部特征的空间位置和姿态确定指向信息,以确定多个设备中的目标设备。
其中,根据图像确定指向信息包括:判断图像中是否出现人体;在判断出出现人体的情况下,获取人体的头部的空间位置和姿态。
可选的,判断采集到的图像中是否出现人体;在出现人体的情况下,对图像进行特征识别,以识别出人体的头部特征的空间位置和姿态。
具体地,为预定空间建立一个三维空间坐标系(该坐标系包括x轴、y轴和z轴),根据采集到的图像,判断图像中有无人体,在出现人体的情况下,获取人体的头部特征的位置rf(xf,yf,zf),其中,f表示人体头部,rf(xf,yf,zf)为人体头部空间位置坐标,xf为人体头部在三维空间坐标系中x轴坐标,yf为人体头部在三维空间坐标系中y轴坐标,zf为人体头部在三维空间坐标系中z轴坐标。在出现人体的情况下,获取人体头部的姿态Rffff),其中,ψfff用于表示人体头部的欧拉角,ψf用于表示进动角,θf用于表示章动角,φf用于表示自转角,然后根据确定人体头部特征的位置和头部特征的姿态Rffff),确定指向信息。
在获取人体头部空间位置和头部的姿态之后,以人体头部特征的空间位置作为起点,以头部特征的姿态为方向,确定指向射线,并将该指向射线作为指向信息,基于该指向信息确定将被用户控制的设备(即目标设备)。
在一个可选的实施例中,确定多个设备对应于预定空间的设备坐标;基于预先设置的误差范围和每个设备的设备坐标确定每个设备的设备范围;将指向射线所指向的设备范围对应的设备,确定为目标设备,其中,若指向射线穿过设备范围,则确定指向射线指向设备范围。
上述的设备坐标可以为三维坐标,可选地,在建立的三维空间坐标系之后,确定位于该预定空间内的各个设备的三维坐标,并基于预先设置的误差范围和每个设备的三维坐标确定该设备的设备范围,在获取指向射线之后。若该射线穿过设备范围,则该设备范围对应的设备为将被用户控制的设备(即目标设备)。
采用本申请上述实施例,在采集到预定空间的图像后,根据采集到的图像,进行人体识别,在识别出人体的情况下,进行人体面部信息的获取,进而确定用户的面部指向信息,可以准确的检测出预定空间中是否有人体存在,并在人体存在的情况下,进行人体面部指向信息的确认,提升了人体面部指向信息确认的效率。
根据本申请上述实施例,在判断出出现人体的情况下,方法还包括:确定图像中人体特征中的姿势特征和/或手势特征;根据姿势特征和/或手势特征对应的命令控制目标设备。
在采集到预定空间的图像后,根据采集到的图像,在进行人体识别的过程中,不仅获取人体的面部指向信息,还可以对图像中人体的姿势或者手势进行识别,以确定用户的控制指令(即上述的命令)。
具体地,可以预先设置姿势特征和/或手势特征对应的命令,将设置好的对应关系存储在数据表中,在识别出姿势特征和/或手势特征之后,从数据表中读取与该姿势特征和/或手势特征相匹配的命令。如表1所示,该表中记录有姿势、手势和命令的对应关系。其中,姿态特征用于指示人体(或用户)的姿态,手势特征用于指示人体(或用户)的手势。
表1
如表1所示的实施例中,当用户面部信息指向A区域的M设备,如用户面部信息指向阳台的窗帘,在识别出姿势为坐姿、且手势为挥动的情况下,从表1中读取到对应的命令为开,则向M设备(如窗帘)发出开启指令,控制窗帘打开。
采用本申请上述实施例,在确定用户面部信息时,还可以识别人体的姿势和/或手势,通过预设的人体的姿势和/或手势对应的控制指令,控制面部信息指向的设备执行相应的操作。可以在确定被控制的设备时,确定控制该设备需要执行的操作,一定程度上减小了人机交互的等待时间。
在另一个可选的实施例中,采集的信息包括声音信号,其中,根据声音信号确定用户的指向信息包括:确定声音信号中包含人体声线特征;根据人体声线特征,确定声音信号的来源在预定空间中的位置信息和声音信号的传播方向;根据声音信号的来源在预定空间中的位置信息和传播方向确定指向信息,以确定多个设备中的目标设备。
具体地,可以确定声音信号是否为人体发出的声音;在确定出声音信号为人体发出的声音的情况下,确定声音信号的来源在预定空间中的位置信息和声音信号的传播方向;根据位置信息和传播方向确定指向信息,以确定将被用户控制的设备(即目标设备)。
进一步地,还可以采集到预定空间的声音信号,在采集到声音信号后,根据采集到的声音信号,进行确认该声音信号是否为人体发出的声音信号,在确定该声音信号为人体发出的声音信号后,进一步获取该声音信号的来源位置以及传播方向,并根据确认的位置信息和传播方向确定指向信息。
需要说明的是,以声音信号的来源在预定空间中的位置信息为起点,以传播方向为方向,确定指向射线;将指向射线作为指向信息。
在一个可选的实施例中,确定多个设备对应于预定空间的设备坐标;基于预先设置的误差范围和每个设备的设备坐标确定每个设备的设备范围;将指向射线所指向的设备范围对应的设备,确定为目标设备,其中,若指向射线穿过设备范围,则确定指向射线指向设备范围。
上述的设备坐标可以为三维坐标,可选地,在建立的三维空间坐标系之后,确定位于该预定空间内的各个设备的三维坐标,并基于预先设置的误差范围和每个设备的三维坐标确定该设备的设备范围,在获取指向射线之后。若该射线穿过设备范围,则该设备范围对应的设备为将被用户控制的设备(即目标设备)。
例如,用户在卧室面向阳台站立,对在阳台的窗帘发出“开启”的声音,首先在采集到“开启”的声音信号后,判断该“开启”声音信号是否为人体发出的,在确认声音信号为人体发出后,获取该声音信号的来源位置和传播方向,即人体的发声位置以及该声音的传播方向,进而确定该声音信号的指向信息。
采用本申请上述实施例,不仅可以通过人体面部确定指向信息,还可以通过人体声音确定指向信息,进一步增加了人机交互的灵活性,也提供了不同的方式去确定指向信息。
具体地,在确定出声音信号为人体发出的声音的情况下,对声音信号进行语音识别,获取声音信号对应的命令;控制目标设备执行命令,其中,设备为根据指向信息确定将被用户控制的设备。
进一步地,在确定“开启”声音信号的指向信息后,对该声音信号进行语音识别,如识别“开启”声音信号在系统中解析后的语义为“启动”,则获取解析后的语音指令,如启动指令,然后通过该启动指令,控制窗帘执行该启动指令所指示的启动操作。
需要说明的是,上述语音识别可以基于不同业务关联进行相应的业务语音以及语义识别。例如,“开启”在窗帘的业务中,指示窗帘打开;在电视的业务中,指示电视开机;在电灯的业务中,指示电灯亮灯。
采用本申请上述实施例,可以通过对语音信号进行语音识别,转换为各设备可以识别的不同业务相对应的语音指令,然后通过该指令控制该声音信号指向的设备执行相应的操作,使得各设备的控制更加便捷、快速和准确。
然后通过该指令控制该声音信号指向的设备执行相应的操作,使得各设备的控制更加便捷、快速和准确。
可选的,采用麦克风阵列测量语音传播方向和发声位置,可以将达到与图像识别头部姿态和位置相类似效果。
可选的,统一的交互平台可以分散安装至多个设备,如在多个设备上都安装图像和语音采集系统,各自进行人脸识别及姿态判断,而不是统一进行判断。
在一个可选的实施例中,可以在通过采集预定空间的图像信息确定用户的指向信息之后,采集预定空间中的另一信息;对另一信息进行识别得到另一信息对应的命令;控制设备执行命令,其中,设备为根据指向信息确定将被用户控制的设备,也即,可在该实施例中通过不同的信息确定指向信息和命令,增加了处理的灵活性。例如,在确定电灯为用户控制的设备后,在用户发出亮灯指令后电灯亮灯,此时,进一步采集预定空间中的另一信息,如用户发出调亮指令,则进一步执行调亮灯光的操作。
采用本申请上述实施例,可以通过采集预定空间中的另一信息,进一步控制设备,使得各设备的控制较为连续化。
具体的,另一信息可以包括以下至少之一:声音信号、图像和红外信号。即可以通过图像、声音信号或红外信号等来进一步控制已被用户控制过的设备执行相应的操作,进一步增加了人机交互的体验效果。并且,采用人体面部的指向性信息,将无指向性的语音和手势指令复用,使同一指令可以对多个设备使用。
例如,可以通过红外信号确定用户的指向信息和命令。根据采集到的红外信号,在进行人体识别的过程中,识别红外信号中携带的人体的面部指向信息,并可以从红外信息中提取人体的姿势或者手势进行识别,以确定用户的控制指令(即上述的命令)。
在一个可选的实施例中,可以在通过采集预定空间的图像确定用户的指向信息之后,采集预定空间中的声音信号;对声音信号进行识别得到声音信号对应的命令;控制被控设备执行命令。
在另一个可选的实施例中,可以在通过采集预定空间的声音信号确定用户的指向信息之后,采集预定空间中的红外信号;对红外信号进行识别得到红外信号对应的命令;控制被控设备执行命令。
可选的,本申请上述实施例中的图像识别和语音识别可选择采用开源的软件库,图像识别可以选用相关的开源项目如openCV(Open Source Computer Vision Library,即跨平台计算机视觉库),dlib(一个开源的使用现代C++鸡蛋糊编写的跨平台的通用库)等,语音识别可以使用相关的语音开源项目如openAL(Open Audio Library,即跨平台音效API),HKT(Hidden Markov Model Toolkit,即隐马尔科夫模型工具包)。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
下面结合图4详述本申请实施例,如图4所示的控制系统(如人机交互系统)包括:摄像头或其他图像采集系统401、麦克风或其他音频信号采集系统402、信息处理系统403、无线指令交互系统404和被控制设备(该被控制设备中包括上述的将被用户控制的设备),其中被控制设备包括:电灯4051、电视机4053和窗帘4055。
其中,该实施例中的摄像头或其他图像采集系统401、麦克风或其他音频信号采集系统402包含在图1示出的实施例中的采集单元中。信息处理系统403、无线指令交互系统404包含在图1示出的实施例中的处理单元中。
摄像头或其他图像采集系统401和麦克风或其他音频信号采集系统402分别用于采集用户活动空间的图像信息和音频信息,并将所采集的信息传送至信息处理系统403进行处理。
信息处理系统403提取用户的面部指向信息和用户指令。其中,信息处理系统403包括处理程序和硬件平台,其实现形式可以采用但不限于本地架构或云端架构。
无线指令交互系统405将信息处理系统403提取的用户面部指向信息、和用户指令通过无线电波或者红外等方式,将用户指令发给用户面部指向信息所指定的被控制设备405。
本申请实施例中的设备可以为智能设备,该智能设备可以与本申请实施例中的处理单元进行通信,例如,该智能设备中也可以包括处理单元和传输或通信模块。该智能设备可以为智能家居,如电视等。
图4示出的控制系统可以按照图5所示的步骤实现对设备的控制:
步骤S501,启动系统。在图4所示的控制系统(如人机交互系统)启动后,分别执行步骤S502和步骤S503,以采集预定空间的图像和声音信号。
步骤S502,图像采集。可以利用图像采集系统采集预定空间的图像。
步骤S504,人体识别。在图像采集系统采集预定空间的图像后,对采集到的图像进行人体识别,判断预定空间中是否有人体存在;并在识别出预定空间中有人体存在的情况下,执行分别步骤S505,步骤S507,和步骤S508。
步骤S505,手势识别。识别出预定空间中有人体存在的情况下,对采集的预定空间中的图像进行人体手势识别,以通过识别到的手势获取用户欲执行的操作。
步骤S506,手势指令匹配。在识别到人体的手势后,人机交互系统对识别到的人体手势与系统中存储的手势指令进行匹配,以通过该手势指令控制被控制的设备执行相应的操作。
步骤S507,头部姿态估计。识别出预定空间中有人体存在的情况下,对采集的预定空间中的图像进行人体头部姿态估计,以通过识别到的头部姿态估计确定用户将要控制的设备。
步骤S508,头部位置估计。识别出预定空间中有人体存在的情况下,对采集的预定空间中的图像进行人体头部位置估计,以通过识别到的头部位置估计确定用户将要控制的设备。
步骤S509,设备方位匹配。在预定空间建立的三维空间坐标系中,人机交互系统结合人体头部的姿态欧拉角Rffff)和头部空间位置坐标rf(xf,yf,zf)确定出该指向信息指示的将被控制的设备的坐标rd(xd,yd,zd),其中,xd,yd,zd分别为控制设备的横坐标、纵坐标和竖坐标。
可选的,在预定空间建立三维空间坐标系,利用人机交互系统得到人体头部的姿态欧拉角Rffff)和头部空间位置坐标rf(xf,yf,zf)。
其中,在确定被控制设备的坐标过程中,可以允许一定的指向误差(或者,误差范围)ε。可选的,在确定目标控制设备的坐标过程中,可以采用以rf为起点,Rf为方向作射线,若射线(即上述的指向射线)穿过以rd为球心以ε为半径的球体(即上述实施例中的设备范围),则判定人脸指向该目标控制设备(即上述实施例中的将被用户控制的设备)。
需要说明的是,上述步骤S506-步骤S508的执行不分先后。
步骤S503,声音采集。可以利用音频采集系统采集预定空间的声音信号。
步骤S510,语音识别。在音频采集系统采集到预定空间的声音信号后,对采集到的声音信号进行识别,判断该声音信号是否为人体发出的声音。
步骤S511,语音指令匹配。在识别出采集到的声音信号为人体发出的声音后,人机交互系统对识别到的语音信息与系统中存储的语音指令进行匹配,以通过该语音指令控制被控制的设备执行相应的操作。
步骤S512,指令综合。在执行步骤S506、步骤S509和步骤S511后,对匹配后的手势指令、语音指令和被控制的设备进行综合,生成一个综合的指令,以指示对该被控制的设备执行综合的操作。
步骤S513,指令发播。在对各种指令进行综合之后,将该综合指令进行发播(即发送传播),以控制各将被控制的设备执行相应的操作。
其中,命令的发送形式可以采用但不限于无线电通讯的方式或红外遥控的方式。
步骤S514,回到开始。
上述人机交互系统包括图像处理部分和声音处理部分。
其中,图像处理部分又可分为人体识别单元和手势识别单元。图像处理部分首先进行用户活动空间(即预定空间)的图像采集,然后识别图像中有无人体图像。若存在人体图像,则分别进入头部识别单元和手势识别单元。在头部识别单元中,进行头部姿态估计和头部位置估计,然后综合头部姿态和位置求解面部朝向;在手势识别单元中,对于图像中用户的手势进行识别,并与手势指令进行匹配,如匹配成功,则输出指令。
在声音处理部分中,首先进行声音信号的采集,然后对其进行语音识别,提取语音指令,如提取成功,则输出指令。
在头部识别单元和语音处理部分输出的指令结合面部朝向得到的目标设备地址综合后得到最终指令。因此,通过人体面部姿态为人机交互系统提供指向性信息,准确指向特定设备,通过语音指令和手势指令实现在多个特定设备间的复用。如:语音指令“开”,当用户面向不同设备发出时,可以将所面向的设备打开;再如:手势指令“掌变拳”,当用户面向不同设备做出时,可以将所面向设备关闭等等。
采用本申请上述实施例,可以有效提升人机交互的体验快感,人机交互更加灵活化和人性化。
需要说明的是,可以通过如下方式降低上述实施例中的人机交互的延迟和成本:第一种方式,可以采用专门图像识别芯片ASIC(Application Specific IntegratedCircuit,即集成电路)来降低延迟,但成本较高;第二种方式,通过采用FPGA(Field-Programmable Gate Array,即现场可编程门阵列)来降低交互延迟和成本;第三种方式,还可以采用x86(一种微处理器)或arm(Advanced RISC Machines,即嵌入式RISC处理器)等架构,使其拥有较低的成本,并且还可采用GPU(Graphic Processing Unit,即图形处理器)来降低延迟;第四种方式,将所有或部分处理程序在云端运行。
在上述运行环境下,还提供了一种控制处理装置,图6是根据本申请实施例的一种控制处理装置示意图,该装置可以包括:
第一采集单元601,用于采集预定空间中的信息,其中,预定空间包括多个设备;
第一确定单元603,用于根据信息,确定用户的指向信息;
第二确定单元605,用于根据指向信息,从多个设备中选择用户控制的目标设备。
采用上述实施例,处理单元根据采集单元采集的信息确定出现在预定空间中的用户的面部的指向信息,并根据该指向信息指示确认将被控制设备,然后控制该确定的设备。通过本申请上述实施例,可以基于预定空间中的用户的面部指向信息,来确定将被用户控制的设备,进而控制该设备,在这个过程中,只需要采集多媒体信息即可实现对设备的控制,而无需用户通过切换应用程序的各个操作界面实现对设备的控制,解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题,达到了可以根据采集的信息直接控制设备的目的,操作简单。
上述的预定空间可以为一个或多个预先设置的空间,该空间所包含的区域大小可以是固定的,也可以是可变的。该预定空间基于采集单元的采集范围而确定,如,该预定空间可以与该采集单元的采集范围相同,该预定空间在该采集单元的采集范围内。
例如,用户的房间包括区域A、区域B、区域C、区域D和E区域,其中,A区域是一个可变空间,如阳台,根据采集单元的采集能力可以将区域A、区域B、区域C、区域D和E区域的任一个或多个设置为该预定空间。
上述信息可以包括多媒体信息、红外信号等,其中,多媒体信息是计算机和视频技术的结合,该多媒体信息主要包括声音和图像。红外信号可以通过被检测对象的热状态表现被检测对象的特征。
在采集到预定空间的信息后,从信息中提取用户的面部信息,基于该面部信息确定用户面部的姿态和空间位置信息等,生成指向信息。在确定用户的面部指向信息后,根据该指向信息确定该指向信息所指向的用户设备,并将该用户设备确定为将被用户控制的设备。
为了进一步提高准确性,可以通过用户面部特征点的指向信息确定用户的面部的指向信息。具体地,在采集到预定空间的信息后,在该预定空间的信息中包含人体信息的情况下,从信息中提取一个或多个人体面部特征点的信息,并基于提取到的面部特征点的信息确定用户的指向信息,该指向信息指向用户想控制的设备。例如,从信息中提取到鼻子的信息(该信息中包含鼻子的某个局部位置的指向,如鼻尖的指向),基于鼻子的指向确定上述的指向信息;若从信息中提取到眼睛的晶状体的信息,该信息中可以包含晶状体的基准位置的指向,基于眼睛的晶状体的基准位置的指向确定上述的指向信息;在面部特征点包括眼睛和鼻子的情况下,可以根据眼睛和鼻子的信息确定指向信息,具体地,可以通过眼睛的晶状体的方位和角度确定用户面部的一个指向信息,也可以通过鼻子的方位和角度确定用户面部的另一个指向信息,如果眼睛的晶状体确定的用户面部的一个指向信息与鼻子确定的用户面部的另一个指向信息一致,则将该用户面部的指向信息确定为预定空间中的用户的面部的指向信息。进一步地,在确定用户的面部的指向信息后,根据已确定的用户的面部的指向信息确定该指向信息所指方位内的设备,并将所指方位内的设备确定为将被控制的设备。
通过上述实施例,可以基于采集的预定空间的信息确定预定空间的用户面部指向信息,并根据用户面部的指向信息确定被用户控制的设备,利用用户面部指向信息确定被控制的设备,简化了人与设备之间的交互过程,提升了交互体验,实现了在预定空间对不同设备的控制。
具体的,在信息包括:图像,根据图像确定指向信息的情况下,第一确定单元可以包括:第一特征确定模块,用于确定图像中包含人体特征,其中,该人体特征包括头部特征;第一获取模块,用于从图像中,获取头部特征的空间位置和姿态;第一信息确定模块,用于根据头部特征的空间位置和姿态确定指向信息,以确定多个设备中的目标设备。
第一信息确定模块具体用于:以头部特征的空间位置作为起点,以头部特征的姿态为方向,确定指向射线;将指向射线作为指向信息。
采用本申请上述实施例,在采集到预定空间的图像后,根据采集到的图像,进行人体识别,在识别出人体的情况下,进行人体面部信息的获取,进而确定用户的面部指向信息,可以准确的检测出预定空间中是否有人体存在,并在人体存在的情况下,进行人体面部指向信息的确认,提升了人体面部指向信息确认的效率。
根据本申请上述实施例,装置还包括:第一识别模块,用于在确定图像中包含人体特征的情况下,从图像中,获取人体特征中的姿势特征和/或手势特征;第一控制模块,用于根据姿势特征和/或手势特征对应的命令控制目标设备。
采用本申请上述实施例,在确定用户面部信息时,还可以识别人体的姿势和/或手势,通过预设的人体的姿势和/或手势对应的控制指令,控制面部信息指向的设备执行相应的操作。可以在确定被控制的设备时,确定控制该设备需要执行的操作,一定程度上减小了人机交互的等待时间。
根据本申请上述实施例,在信息包括:声音信号,根据声音信号确定指向信息的情况下,第一确定单元还包括:第二特征确定模块,用于确定声音信号中包含人体声线特征;第二获取模块,用于根据人体声线特征,确定声音信号的来源在预定空间中的位置信息和声音信号的传播方向;第二信息确定模块,用于根据声音信号的来源在预定空间中的位置信息和传播方向确定指向信息,以确定多个设备中的目标设备。
第二信息确定模块具体用于:以声音信号的来源在预定空间中的位置信息为起点,以传播方向为方向,确定指向射线;将指向射线作为指向信息。
采用本申请上述实施例,不仅可以通过人体面部确定指向信息,还可以通过人体声音确定指向信息,进一步增加了人机交互的灵活性,也提供了不同的方式去确定指向信息。
根据本申请上述实施例,装置还包括:第二识别模块,用于在确定声音信号中包含人体声线特征的情况下,对声音信号进行语音识别,获取声音信号对应的命令;第二控制模块,用于控制目标设备执行命令。
采用本申请上述实施例,可以通过对语音信号进行语音识别,转换为各设备可以识别的不同业务相对应的语音指令,然后通过该指令控制该声音信号指向的设备执行相应的操作,使得各设备的控制更加便捷、快速和准确。
进一步地,在确定将被用户控制的设备之后,装置还包括:第二采集单元,用于采集预定空间中的另一信息;识别单元,用于对另一信息进行识别得到另一信息对应的命令;控制单元,用于控制设备执行命令,其中,设备为根据指向信息确定将被用户控制的设备。
在一个可选的实施例中,可以在通过采集预定空间的图像信息确定用户的指向信息之后,采集预定空间中的另一信息;对另一信息进行识别得到另一信息对应的命令;控制设备执行命令,其中,设备为根据指向信息确定将被用户控制的设备,也即,可在该实施例中通过不同的信息确定指向信息和命令,增加了处理的灵活性。
根据本申请上述实施例,另一信息包括以下至少之一:声音信号、图像和红外信号。即可以通过图像、声音信号或红外信号等来进一步控制已被用户控制过的设备执行相应的操作,进一步增加了人机交互的体验效果。并且,采用人体面部的指向性信息,将无指向性的语音和手势指令复用,使同一指令可以对多个设备使用。
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的控制处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:采集预定空间中的信息;根据信息确定出现在预定空间中的用户的面部的指向信息;根据指向信息确定将被用户控制的设备。
采用上述实施例,处理单元根据采集单元采集的信息确定出现在预定空间中的用户的面部的指向信息,并根据该指向信息指示确认将被控制设备,然后控制该确定的设备。通过本申请上述实施例,可以基于预定空间中的用户的面部指向信息,来确定将被用户控制的设备,进而控制该设备,在这个过程中,只需要采集多媒体信息即可实现对设备的控制,而无需用户通过切换应用程序的各个操作界面实现对设备的控制,解决了现有技术中控制家居设备时操作繁琐、控制效率低的技术问题,达到了可以根据采集的信息直接控制设备的目的,操作简单。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种控制系统,其特征在于,包括:
采集单元,用于采集预定空间中的信息,其中,所述预定空间包括多个设备;
处理单元,用于根据所述信息,确定用户的指向信息;根据所述指向信息,从所述多个设备中选择所述用户控制的目标设备。
2.根据权利要求1所述的控制系统,其特征在于,
所述采集单元包括:图像采集系统,用于采集所述预定空间的图像,其中,所述信息包括所述图像;
所述处理单元,用于在所述图像中包含人体特征的情况下,确定所述用户的指向信息。
3.根据权利要求1所述的控制系统,其特征在于,
所述采集单元包括:声音采集系统,用于采集所述预定空间的声音信号,其中,所述信息包括所述声音信号;
所述处理单元,用于根据所述声音信号确定所述用户的指向信息。
4.一种控制处理方法,其特征在于,包括:
采集预定空间中的信息,其中,所述预定空间包括多个设备;
根据所述信息,确定用户的指向信息;
根据所述指向信息,从所述多个设备中选择所述用户控制的目标设备。
5.根据权利要求4所述的方法,其特征在于,所述信息包括:图像,根据所述图像确定用户的指向信息包括:
确定所述图像中包含人体特征,其中,该人体特征包括头部特征;
从所述图像中,获取所述头部特征的空间位置和姿态;
根据所述头部特征的空间位置和姿态确定所述指向信息,以确定所述多个设备中的目标设备。
6.根据权利要求5所述的方法,其特征在于,根据所述头部特征的空间位置和姿态确定所述指向信息包括:
以所述头部特征的空间位置作为起点,以头部特征的姿态为方向,确定指向射线;将所述指向射线作为指向信息。
7.根据权利要求5所述的方法,其特征在于,
在确定所述图像中包含人体特征的情况下,所述方法还包括:从所述图像中,获取人体特征中的姿势特征和/或手势特征;
根据所述姿势特征和/或手势特征对应的命令控制所述目标设备。
8.根据权利要求4所述的方法,其特征在于,所述信息包括:声音信号,根据所述声音信号确定用户的述指向信息包括:
确定所述声音信号中包含人体声线特征;
根据所述人体声线特征,确定所述声音信号的来源在所述预定空间中的位置信息和所述声音信号的传播方向;
根据所述声音信号的来源在所述预定空间中的位置信息和所述传播方向确定所述指向信息,以确定所述多个设备中的目标设备。
9.根据权利要求8所述的方法,其特征在于,根据所述声音信号的来源在所述预定空间中的位置信息和所述传播方向确定所述指向信息包括:
以所述声音信号的来源在所述预定空间中的位置信息为起点,以所述传播方向为方向,确定指向射线;将所述指向射线作为指向信息。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在确定所述声音信号中包含人体声线特征的情况下,对所述声音信号进行语音识别,获取所述声音信号对应的命令;
控制所述目标设备执行所述命令。
11.根据权利要求6或9所述的方法,其特征在于,从所述多个设备中选择所述用户控制的目标设备包括:
确定所述多个设备对应于所述预定空间的设备坐标;
基于预先设置的误差范围和每个设备的设备坐标确定每个设备的设备范围;
将所述指向射线所指向的设备范围对应的设备,确定为所述目标设备,其中,若所述指向射线穿过所述设备范围,则确定所述指向射线指向所述设备范围。
12.根据权利要求5或8所述的方法,其特征在于,在从所述多个设备中选择所述用户控制的目标设备之后,所述方法还包括:
采集所述预定空间中的另一信息;
对所述另一信息进行识别得到所述另一信息对应的命令;
控制所述设备执行所述命令,其中,所述设备为根据指向信息确定将被所述用户控制的设备。
13.根据权利要求12所述的方法,其特征在于,所述另一信息包括以下至少之一:声音信号、图像以及红外信号。
14.一种控制处理装置,其特征在于,包括:
第一采集单元,用于采集预定空间中的信息,其中,所述预定空间包括多个设备;
第一确定单元,用于根据所述信息,确定用户的指向信息;
第二确定单元,用于根据所述指向信息,从所述多个设备中选择所述用户控制的目标设备。
CN201610658833.6A 2016-08-11 2016-08-11 控制系统、控制处理方法及装置 Pending CN107728482A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610658833.6A CN107728482A (zh) 2016-08-11 2016-08-11 控制系统、控制处理方法及装置
TW106115504A TW201805744A (zh) 2016-08-11 2017-05-10 控制系統、控制處理方法及裝置
JP2019507757A JP6968154B2 (ja) 2016-08-11 2017-08-10 制御システムならびに制御処理方法および装置
EP17840270.7A EP3497467A4 (en) 2016-08-11 2017-08-10 CONTROL SYSTEM AND METHOD AND APPARATUS FOR PROCESSING ORDER
US15/674,147 US20180048482A1 (en) 2016-08-11 2017-08-10 Control system and control processing method and apparatus
PCT/US2017/046276 WO2018031758A1 (en) 2016-08-11 2017-08-10 Control system and control processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610658833.6A CN107728482A (zh) 2016-08-11 2016-08-11 控制系统、控制处理方法及装置

Publications (1)

Publication Number Publication Date
CN107728482A true CN107728482A (zh) 2018-02-23

Family

ID=61159612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610658833.6A Pending CN107728482A (zh) 2016-08-11 2016-08-11 控制系统、控制处理方法及装置

Country Status (6)

Country Link
US (1) US20180048482A1 (zh)
EP (1) EP3497467A4 (zh)
JP (1) JP6968154B2 (zh)
CN (1) CN107728482A (zh)
TW (1) TW201805744A (zh)
WO (1) WO2018031758A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108490832A (zh) * 2018-03-27 2018-09-04 百度在线网络技术(北京)有限公司 用于发送信息的方法和装置
CN109032039A (zh) * 2018-09-05 2018-12-18 北京羽扇智信息科技有限公司 一种语音控制的方法及装置
CN109143875A (zh) * 2018-06-29 2019-01-04 广州市得腾技术服务有限责任公司 一种手势控制智能家居方法及其系统
CN109240096A (zh) * 2018-08-15 2019-01-18 珠海格力电器股份有限公司 设备控制方法及装置、存储介质、音量控制方法及装置
CN109492779A (zh) * 2018-10-29 2019-03-19 珠海格力电器股份有限公司 一种家用电器健康管理方法、装置及家用电器
CN109839827A (zh) * 2018-12-26 2019-06-04 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN110196630A (zh) * 2018-08-17 2019-09-03 平安科技(深圳)有限公司 指令处理、模型训练方法、装置、计算机设备及存储介质
CN110970023A (zh) * 2019-10-17 2020-04-07 珠海格力电器股份有限公司 语音设备的控制装置、语音交互方法、装置及电子设备
CN112838968A (zh) * 2020-12-31 2021-05-25 青岛海尔科技有限公司 一种设备控制方法、装置、系统、存储介质及电子装置
CN112908321A (zh) * 2020-12-02 2021-06-04 青岛海尔科技有限公司 设备控制方法、装置、存储介质及电子装置
CN115086095A (zh) * 2021-03-10 2022-09-20 Oppo广东移动通信有限公司 设备控制方法及相关装置
WO2023083105A1 (zh) * 2021-11-15 2023-05-19 歌尔微电子股份有限公司 电子设备、交互模块及其控制方法和控制装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108800473A (zh) * 2018-07-20 2018-11-13 珠海格力电器股份有限公司 设备的控制方法及装置、存储介质和电子装置
CN110857067B (zh) * 2018-08-24 2023-04-07 上海汽车集团股份有限公司 一种人车交互装置和人车交互方法
CN110262277B (zh) * 2019-07-30 2020-11-10 珠海格力电器股份有限公司 智能家居设备的控制方法及装置、智能家居设备
TWI756963B (zh) * 2020-12-03 2022-03-01 禾聯碩股份有限公司 目標物件之區域定義辨識系統及其方法
CN112750437A (zh) * 2021-01-04 2021-05-04 欧普照明股份有限公司 控制方法、控制装置及电子设备
CN112968819B (zh) * 2021-01-18 2022-07-22 珠海格力电器股份有限公司 基于tof的家电设备控制方法及装置
CN116434514B (zh) * 2023-06-02 2023-09-01 永林电子股份有限公司 一种红外遥控方法以及红外遥控装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100066821A1 (en) * 2008-09-16 2010-03-18 Plantronics, Inc. Infrared Derived User Presence and Associated Remote Control
AU2007247958B2 (en) * 2006-05-03 2012-11-29 Cloud Systems, Inc. System and method for managing, routing, and controlling devices and inter-device connections
CN103164416A (zh) * 2011-12-12 2013-06-19 阿里巴巴集团控股有限公司 一种用户关系的识别方法及设备
CN103558923A (zh) * 2013-10-31 2014-02-05 广州视睿电子科技有限公司 一种电子系统及其数据输入方法
CN103869967A (zh) * 2012-12-14 2014-06-18 歌乐株式会社 控制装置、车辆以及便携终端
US9207769B2 (en) * 2012-12-17 2015-12-08 Lenovo (Beijing) Co., Ltd. Processing method and electronic device
CN105527862A (zh) * 2014-09-28 2016-04-27 联想(北京)有限公司 一种信息处理方法及第一电子设备
CN105759627A (zh) * 2016-04-27 2016-07-13 福建星网锐捷通讯股份有限公司 一种手势控制系统及其方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980485B2 (en) * 2001-10-25 2005-12-27 Polycom, Inc. Automatic camera tracking using beamforming
KR100580648B1 (ko) * 2004-04-10 2006-05-16 삼성전자주식회사 3차원 포인팅 기기 제어 방법 및 장치
WO2006021916A1 (en) * 2004-08-24 2006-03-02 Philips Intellectual Property & Standards Gmbh Method for locating an object associated with a device to be controlled and a method for controlling the device
JP2007088803A (ja) * 2005-09-22 2007-04-05 Hitachi Ltd 情報処理装置
JP2007141223A (ja) * 2005-10-17 2007-06-07 Omron Corp 情報処理装置および方法、記録媒体、並びに、プログラム
US8269663B2 (en) * 2007-03-30 2012-09-18 Pioneer Corporation Remote control system and method of controlling the remote control system
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
KR101749100B1 (ko) * 2010-12-23 2017-07-03 한국전자통신연구원 디바이스 제어를 위한 제스처/음향 융합 인식 시스템 및 방법
KR101760804B1 (ko) * 2011-11-23 2017-07-24 인텔 코포레이션 복수의 뷰, 디스플레이 및 피직스를 가진 제스쳐 입력
JP2013197737A (ja) * 2012-03-16 2013-09-30 Sharp Corp 機器操作装置
WO2014087495A1 (ja) * 2012-12-05 2014-06-12 株式会社日立製作所 音声対話ロボット、音声対話ロボットシステム
KR20140109020A (ko) * 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
JP6316559B2 (ja) * 2013-09-11 2018-04-25 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US9477217B2 (en) 2014-03-06 2016-10-25 Haier Us Appliance Solutions, Inc. Using visual cues to improve appliance audio recognition
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
US10089543B2 (en) * 2016-07-29 2018-10-02 Honda Motor Co., Ltd. System and method for detecting distraction and a downward vertical head pose in a vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007247958B2 (en) * 2006-05-03 2012-11-29 Cloud Systems, Inc. System and method for managing, routing, and controlling devices and inter-device connections
US20100066821A1 (en) * 2008-09-16 2010-03-18 Plantronics, Inc. Infrared Derived User Presence and Associated Remote Control
CN103164416A (zh) * 2011-12-12 2013-06-19 阿里巴巴集团控股有限公司 一种用户关系的识别方法及设备
CN103869967A (zh) * 2012-12-14 2014-06-18 歌乐株式会社 控制装置、车辆以及便携终端
US9207769B2 (en) * 2012-12-17 2015-12-08 Lenovo (Beijing) Co., Ltd. Processing method and electronic device
CN103558923A (zh) * 2013-10-31 2014-02-05 广州视睿电子科技有限公司 一种电子系统及其数据输入方法
CN105527862A (zh) * 2014-09-28 2016-04-27 联想(北京)有限公司 一种信息处理方法及第一电子设备
CN105759627A (zh) * 2016-04-27 2016-07-13 福建星网锐捷通讯股份有限公司 一种手势控制系统及其方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108490832A (zh) * 2018-03-27 2018-09-04 百度在线网络技术(北京)有限公司 用于发送信息的方法和装置
CN109143875A (zh) * 2018-06-29 2019-01-04 广州市得腾技术服务有限责任公司 一种手势控制智能家居方法及其系统
CN109143875B (zh) * 2018-06-29 2021-06-15 广州市得腾技术服务有限责任公司 一种手势控制智能家居方法及其系统
CN109240096A (zh) * 2018-08-15 2019-01-18 珠海格力电器股份有限公司 设备控制方法及装置、存储介质、音量控制方法及装置
CN110196630A (zh) * 2018-08-17 2019-09-03 平安科技(深圳)有限公司 指令处理、模型训练方法、装置、计算机设备及存储介质
CN109032039B (zh) * 2018-09-05 2021-05-11 出门问问创新科技有限公司 一种语音控制的方法及装置
CN109032039A (zh) * 2018-09-05 2018-12-18 北京羽扇智信息科技有限公司 一种语音控制的方法及装置
CN109492779A (zh) * 2018-10-29 2019-03-19 珠海格力电器股份有限公司 一种家用电器健康管理方法、装置及家用电器
CN109492779B (zh) * 2018-10-29 2023-05-02 珠海格力电器股份有限公司 一种家用电器健康管理方法、装置及家用电器
CN109839827A (zh) * 2018-12-26 2019-06-04 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN109839827B (zh) * 2018-12-26 2021-11-30 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN110970023A (zh) * 2019-10-17 2020-04-07 珠海格力电器股份有限公司 语音设备的控制装置、语音交互方法、装置及电子设备
CN112908321A (zh) * 2020-12-02 2021-06-04 青岛海尔科技有限公司 设备控制方法、装置、存储介质及电子装置
CN112838968A (zh) * 2020-12-31 2021-05-25 青岛海尔科技有限公司 一种设备控制方法、装置、系统、存储介质及电子装置
CN115086095A (zh) * 2021-03-10 2022-09-20 Oppo广东移动通信有限公司 设备控制方法及相关装置
WO2023083105A1 (zh) * 2021-11-15 2023-05-19 歌尔微电子股份有限公司 电子设备、交互模块及其控制方法和控制装置

Also Published As

Publication number Publication date
JP6968154B2 (ja) 2021-11-17
WO2018031758A1 (en) 2018-02-15
JP2019532543A (ja) 2019-11-07
TW201805744A (zh) 2018-02-16
EP3497467A1 (en) 2019-06-19
EP3497467A4 (en) 2020-04-08
US20180048482A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN107728482A (zh) 控制系统、控制处理方法及装置
CN105378742B (zh) 所管理的生物计量身份
CN103109244B (zh) 用于物体跟踪和识别的方法和装置
KR20240038163A (ko) 신체 자세 추정
CN109600550B (zh) 一种拍摄提示方法及终端设备
CN109918975A (zh) 一种增强现实的处理方法、对象识别的方法及终端
CN103890696A (zh) 经认证的手势辨识
CN111163906B (zh) 能够移动的电子设备及其操作方法
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
CN107045631A (zh) 人脸特征点检测方法、装置及设备
CN107277260A (zh) 一种情景模式调整方法、装置和移动终端
CN105518579A (zh) 信息处理设备和信息处理方法
CN109521927A (zh) 机器人互动方法和设备
CN107832784A (zh) 一种图像美化的方法和一种移动终端
CN109905593A (zh) 一种图像处理方法和装置
CN108961157A (zh) 图片处理方法、图片处理装置及终端设备
CN111245688A (zh) 一种基于室内智能控制电器设备的方法及系统
CN109218648A (zh) 一种显示控制方法及终端设备
CN108920119A (zh) 一种分享方法及移动终端
CN114786786A (zh) 使用先前帧进行骨骼跟踪
CN109743504A (zh) 一种辅助拍照方法、移动终端和存储介质
CN108490832A (zh) 用于发送信息的方法和装置
CN110822641A (zh) 空调器及其控制方法、装置和可读存储介质
CN109461124A (zh) 一种图像处理方法及终端设备
CN106325112A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223

RJ01 Rejection of invention patent application after publication