CN109166579A - 一种结合人脸信息的语音控制方法及系统 - Google Patents

一种结合人脸信息的语音控制方法及系统 Download PDF

Info

Publication number
CN109166579A
CN109166579A CN201811026545.4A CN201811026545A CN109166579A CN 109166579 A CN109166579 A CN 109166579A CN 201811026545 A CN201811026545 A CN 201811026545A CN 109166579 A CN109166579 A CN 109166579A
Authority
CN
China
Prior art keywords
user
face information
phonetic
control command
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811026545.4A
Other languages
English (en)
Inventor
黄可斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fruit Bean Technology Co Ltd
Original Assignee
Guangzhou Fruit Bean Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fruit Bean Technology Co Ltd filed Critical Guangzhou Fruit Bean Technology Co Ltd
Priority to CN201811026545.4A priority Critical patent/CN109166579A/zh
Publication of CN109166579A publication Critical patent/CN109166579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明提出一种结合人脸信息的语音控制方法及系统，通过本发明所提供的一种结合人脸信息的语音控制方法及系统可实现通过一个摄像头获取多个智能设备的人脸信息，避免了每个设备都必须单独配置摄像头的情况，降低了智能设备的制作成本；并且可通过人脸加语音结合的操作方式，使目标用户判断更明确，实现了在多个用户同时使用本系统时以权限更高的用户发出的指令为准的功能；并通过获取用户的眼球信息判断用户的操控目标，判断更精确，避免了误操作情况的出现。

Description

一种结合人脸信息的语音控制方法及系统
技术领域
本发明涉及智能操作领域，具体涉及一种结合人脸信息的语音控制方法及系统。
背景技术
目前，大部分复杂的家电都是通过遥控器的键盘输入方式进行遥控的，随着家居的智能化以及包含内容的多样化，为了优化操作方式、增强操作的舒适性，用户需要更加易于操作的遥控器。语言是人类最直接最方便的交流和表达方式，如果采用语音识别技术，可以将原来的被动静止结构转变为具有主动识别语音执行的智慧工具，从而满足人们日益增长的需求。
近年来，语音识别技术发展十分迅速，目前已出现了许多自动语音识别类的产品，例如IBM开发的ViaVoice语音系统等。但是这些系统仍然缺乏较强的抗干扰能力，在这种背景下，一些结合人脸识别以及语音系统的智能产品应运而生，但是当这些系统应用到真实环境中时，基本上每一个智能产品都需要单独设置一个摄像头，成本十分高昂，而且在同时应用多个该类产品是，很容易造成各个产品之间的操作信号相互串扰，导致设备的误操作，并且这样的应用环境十分常见，如：办公室、汽车、工厂或机场等，就连家庭环境也是如此。
发明内容
为了解决上述问题，本发明提供了一种结合人脸信息的语音控制方法及系统，通过本专利可实现通过一个摄像头获取多个智能设备的人脸信息，降低了智能设备的制作成本；并且可通过人脸加语音结合的操作方式，并通过获取用户的眼球信息判断用户的操控目标，判断更精确，避免了误操作情况的出现。
第一方面，本发明提供了一种结合人脸信息的语音控制方法，具体包括：
获取用户的人脸信息；
获取预设数据库，所述预设数据库包括至少一条预设人脸信息；
当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；
获取所述目标用户的眼球滚动数据；
根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；
获取与所述控制目标匹配的第一预设语音控制指令库；
获取目标用户发出的语音控制指令；
当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时；
执行所述语音控制指令对应的操作。
在本发明一实施例中，所述获取预设数据库，所述预设数据库包括至少一条预设人脸信息之后，还包括：
当所获取的用户人脸信息与预设数据库中的预设人脸信息不匹配时；
不获取所述用户的眼球滚动数据。
在本发明一实施例中，所述获取与所述控制目标匹配的第一预设语音控制指令库之前，还包括：
获取第一用户及第二用户的人脸信息；
获取预设数据库，所述预设数据库包括至少两条预设人脸信息；
当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；
当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；
根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；
根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；
当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；
分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。
在本发明一实施例中，所述当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时之后，还包括：
获取所述目标用户与与所述控制目标匹配的第二预设语音控制指令库；
判断当所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时；
不执行所述语音控制指令对应的操作。
在本发明一实施例中，所述获取目标用户发出的语音控制指令之后，还包括：
当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时；
不执行所述语音控制指令对应的操作。
第二方面，本发明提供了一种结合人脸的语音控制装置，其中包括存储器、至少一个处理器及可执行代码，所述存储器用于存储可执行代码；
所述处理经配置以执行所述可执行代码，以实现如本发明第一方面所述一种结合人脸的语音控制方法。
第三方面，本发明包括一种结合人脸信息的语音控制系统，包括摄像头、处理模块、人脸信息匹配模块、眼球数据获取模块、目标判断模块、语音指令获取模块、语音指令匹配模块以及语音指令匹配模块，各个模块之间耦合相连；
所述摄像头用于获取用户的人脸信息；
所述处理模块用于获取预设数据库，所述预设数据库包括至少一条预设人脸信息；
所述人脸信息匹配模块用于判断当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；
所述眼球数据获取模块用于获取所述目标用户的眼球滚动数据；
所述目标判断模块用于根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；
所述语音指令获取模块用于获取与所述控制目标匹配的第一预设语音控制指令库；
所述语音指令获取模块还用于获取目标用户发出的语音控制指令；
所述语音指令匹配模块用于将所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令进行比较；
当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时，所述处理模块还用于执行所述语音控制指令对应的操作。
在本发明一实施例中，所述一种结合人脸信息的语音控制系统还包括权限获取模块，所述权限获取模块与其他模块耦合相连；
所述摄像头还用于获取第一用户及第二用户的人脸信息；
所述处理模块还用于获取预设数据库，所述预设数据库包括至少两条预设人脸信息；
所述人脸信息匹配模块还用于判断当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；
所述人脸信息匹配模块还用于判断当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；
所述目标判断模块还用于根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；
所述目标判断模块还用于根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；
所述处理模块还用于判断当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；
所述权限获取模块用于分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。
在本发明一实施例中，所述语音指令匹配模块还用于将所述目标用户发出的语音控制指令与第二预设语音控制指令库中所有指令进行比较；
当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时，所述处理模块还用于不执行所述语音控制指令对应的操作。
在本发明一实施例中，所述一种结合人脸的语音控制系统还包括：
当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时，所述处理模块还用于不执行所述语音控制指令对应的操作。
本发明的有益效果有：通过本专利所提供的一种结合人脸信息的语音控制方法及系统，可实现通过一个摄像头获取多个智能设备的人脸信息，避免了每个设备都必须单独配置摄像头的情况，降低了智能设备的制作成本；并且可通过人脸加语音结合的操作方式，使目标用户判断更明确，实现了在多个用户同时使用本系统时以权限更高的用户发出的指令为准的功能；并通过获取用户的眼球信息判断用户的操控目标，判断更精确，避免了误操作情况的出现。
附图说明
图1为本发明一实施例中一种结合人脸以及语音的智能操作方法的方法流程图；
图2为本发明另一实施例中一种结合人脸以及语音的智能操作方法的方法流程图；
图3为本发明另一实施例中一种结合人脸以及语音的智能操作方法的方法流程图；
图4为本发明一实施例中一种结合人脸以及语音的智能操作系统的系统结构图。
具体实施方式
需要说明的是，在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下面结合附图以及具体实施例对本发明做进一步说明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
第一方面，本发明提供了一种结合人脸信息的语音控制方法，所述一种结合人脸信息的语音控制方法，如图1所示，具体包括：
S100、获取用户的人脸信息；
S200、获取预设数据库，所述预设数据库包括至少一条预设人脸信息；
S300、当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；
S400、获取所述目标用户的眼球滚动数据；
S500、根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；
S600、获取与所述控制目标匹配的第一预设语音控制指令库；
S700、获取目标用户发出的语音控制指令；
S800、当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时；
S900、执行所述语音控制指令对应的操作。
在本发明一具体应用场景中，本发明第一方面所提供的方法由用户家中的智能控制系统完成，所述智能控制系统包括至少一个摄像头及处理器；
摄像头设置在客厅，处理器通过摄像头获取用户的眼球滚动信息，判断用户直视的目标设备为电视机，则系统获取所述电视机的语音控制指令库，此时用户向电视机说出“关机”，则系统获取到用户发出的“关机”语音指令后，系统判断与电视机的语音控制指令库中的“关机”指令匹配，则系统控制电视机执行关机指令。
在本发明一实施例中，所述预设数据库包括用户人脸信息以及与所述用户人脸信息匹配的用户语音信息。
在本发明一实施例中，所述步骤S200之后，还包括：
当所获取的用户人脸信息与预设数据库中的预设人脸信息不匹配时；
不获取所述用户的眼球滚动数据。
在本发明一实施例中，如图2所示，所述步骤S600之前，还包括：
S601、获取第一用户及第二用户的人脸信息；
S602、获取预设数据库，所述预设数据库包括至少两条预设人脸信息；
S603、当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；
S604、当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；
S605、根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；
S606、根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；
S607、当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；
S608、分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。
在本发明一具体应用场景中，沿用上例，系统通过摄像头获取到爸爸以及儿子的人脸信息，此时系统从预设数据库获取到了预保存的爸爸以及儿子的人脸信息，则系统开始同时获取爸爸以及儿子的眼球滚动数据，当系统通过眼球滚动数据判断爸爸以及儿子的直视目标设备都为电视机时，根据预设权限优先级判断爸爸的权限比儿子高，则系统在爸爸与儿子的直视目标设备都为电视机时，系统判断以爸爸发出的控制信息为准，当系统获取到“开机”语音指令时，则系统将电视机的语音控制数据库中的语音控制指令与系统获取到的语音“开机”语音信息匹配，当系统获取到电视机的语音控制数据库中也存在“开机”的语音指令时，则系统控制电视机执行开机指令。
在本发明一实施例中，如图3所示，所述步骤S800之后还包括：
S801、获取所述目标用户与所述控制目标匹配的第二预设语音控制指令库；
S802、判断当所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时；
S803、不执行所述语音控制指令对应的操作。
在本发明一具体应用场景中，本发明第一方面所提供的方法由用户家中的智能控制系统完成，所述智能控制系统包括至少一个摄像头及处理器；
其中，所述目标用户为儿子，所述第二预设语音控制指令库内容如下表所示：
当爸爸不想儿子通过语音控制指令控制电视机开机时，则爸爸通过后台终端在儿子与电视对应的第二控制指令库中加入开机指令，则当所述儿子尝试通过语音控制指令控制电视机开机时，处理器判断所述儿子不拥有控制电视机开机语音指令的使用权限，则不控制电视机开机，而由于所述儿子依然拥有除开机之外所有电视机控制语音指令的权限，所以在电视机开机之后所述儿子依然可以通过语音控制指令正常控制电视。
在本发明一实施例中，步骤S700之后还包括：
当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时；
不执行所述语音控制指令对应的操作。
第二方面，本发明提供了一种结合人脸的语音控制装置，其中包括存储器、至少一个处理器及可执行代码，所述存储器用于存储可执行代码；
所述处理经配置以执行所述可执行代码，以实现如本发明第一方面所述一种结合人脸的语音控制方法。
第三方面，本发明包括一种结合人脸的语音控制系统，如图4所示，包括摄像头100、处理模块200、人脸信息匹配模块300、眼球数据获取模块400、目标判断模块500、语音指令获取模块600、语音指令匹配模块700以及语音指令匹配模块800，所述各个模块之间耦合相连；
摄像头100用于获取用户的人脸信息；
处理模块200用于获取预设数据库，所述预设数据库包括至少一条预设人脸信息；
人脸信息匹配模块300用于判断当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；
眼球数据获取模块400用于获取所述目标用户的眼球滚动数据；
目标判断模块500用于根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；
语音指令获取模块600用于获取与所述控制目标匹配的第一预设语音控制指令库；
语音指令获取模块700还用于获取目标用户发出的语音控制指令；
语音指令匹配模块800用于将所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令进行比较；
当语音指令匹配模块800判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时，处理模块200还用于执行所述语音控制指令对应的操作。
在本发明一实施例中，所述一种结合人脸的语音控制系统还包括权限获取模块900，权限获取模块900与其他模块耦合相连；
摄像头100还用于获取第一用户及第二用户的人脸信息；
处理模块200还用于获取预设数据库，所述预设数据库包括至少两条预设人脸信息；
人脸信息匹配模块300还用于判断当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；
人脸信息匹配模块300还用于判断当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；
目标判断模块500还用于根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；
目标判断模块500还用于根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；
处理模块200还用于判断当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；
权限获取模块900用于分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。
在本发明一具体用用场景中，处理模块200、人脸信息匹配模块300、眼球数据获取模块400、目标判断模块500、语音指令获取模块600、语音指令匹配模块700、语音指令匹配模块800以及权限获取模块900均集成在处理器中，摄像头100设置在客厅；
处理器通过摄像头获取到爸爸以及儿子的人脸信息，此时处理器从预设数据库获取到了预保存的爸爸以及儿子的人脸信息，则处理器开始同时获取爸爸以及儿子的眼球滚动数据，当处理器通过眼球滚动数据判断爸爸以及儿子的直视目标设备都为电视机时，根据预设权限优先级判断爸爸的权限比儿子高，则处理器在爸爸与儿子的直视目标设备都为电视机时，处理器判断以爸爸发出的控制信息为准，当处理器获取到“开机”语音指令时，处理器从预设数据库中获取与爸爸的人脸信息匹配的语音信息并与处理器获取到的语音信息匹配，防止语音信息获取错误，当处理器判断预设数据库中爸爸的语音信息与处理器获取到的语音信息匹配时，则处理器将电视机的语音控制数据库中的语音控制指令与处理器获取到的语音“开机”语音信息匹配，当处理器获取到电视机的语音控制数据库中也存在“开机”的语音指令时，则处理器控制电视机执行开机指令。
在本发明一实施例中，语音指令获取模块600还用于获取所述目标用户与所述控制目标匹配的第二预设语音控制指令库；
语音指令匹配模块800还用于将所述目标用户发出的语音控制指令与第二预设语音控制指令库中所有指令进行比较；
当语音指令匹配模块800判断所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时，处理模块200还用于不执行所述语音控制指令对应的操作。
在本发明一具体应用场景中，处理模块200、人脸信息匹配模块300、眼球数据获取模块400、目标判断模块500、语音指令获取模块600、语音指令匹配模块700、语音指令匹配模块800以及权限获取模块900均集成在处理器中，摄像头100设置在客厅；所述目标用户为儿子，所述第二预设语音控制指令库内容如下表所示：
当爸爸不想儿子通过语音控制指令控制电视机开机时，则爸爸通过系统在儿子与电视对应的第二控制指令库中加入开机指令，则当所述儿子尝试通过语音控制指令控制电视机开机时，系统判断所述儿子不拥有控制电视机开机语音指令的使用权限，则不控制电视机开机，而由于所述儿子依然拥有除开机之外所有电视机控制语音指令的权限，所以在电视机开机之后所述儿子依然可以通过语音控制指令正常控制电视。
在本发明一实施例中，所述一种结合人脸的语音控制系统还包括：
当语音指令匹配模块800判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时，处理模块200还用于不执行所述语音控制指令对应的操作。
显然，上述实施例仅仅是为了更清楚的表达本发明技术方案所作的举例，而非对本发明实施方式的限定。对于本领域技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，在不脱离本发明构思的前提下，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种结合人脸信息的语音控制方法，其特征在于，包括：
获取用户的人脸信息；
获取预设数据库，所述预设数据库包括至少一条预设人脸信息；
当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；
获取所述目标用户的眼球滚动数据；
根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；
获取与所述控制目标匹配的第一预设语音控制指令库；
获取目标用户发出的语音控制指令；
当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时；
执行所述语音控制指令对应的操作。
2.如权利要求1所述的一种结合人脸信息的语音控制方法，其特征在于，所述获取预设数据库，所述预设数据库包括至少一条预设人脸信息之后，还包括：
当所获取的用户人脸信息与预设数据库中的预设人脸信息不匹配时；
不获取所述用户的眼球滚动数据。
3.如权利要求1所述的一种结合人脸信息的语音控制方法，其特征在于，所述获取与所述控制目标匹配的第一预设语音控制指令库之前，还包括：
获取第一用户及第二用户的人脸信息；
获取预设数据库，所述预设数据库包括至少两条预设人脸信息；
当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；
当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；
根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；
根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；
当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；
分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。
4.如权利要求1所述的一种结合人脸信息的语音控制方法，其特征在于，所述当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时之后，还包括：
获取所述目标用户与所述控制目标匹配的第二预设语音控制指令库；
判断当所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时；
不执行所述语音控制指令对应的操作。
5.如权利要求1所述的一种结合人脸信息的语音控制方法，其特征在于，所述获取目标用户发出的语音控制指令之后，还包括：
当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时；
不执行所述语音控制指令对应的操作。
6.一种结合人脸信息的语音控制装置，其中包括存储器、至少一个处理器及可执行代码，所述存储器用于存储可执行代码；
所述处理经配置以执行所述可执行代码，以实现如本发明权利要求1到5中所述方法。
7.一种结合人脸信息的语音控制系统，其特征在于，包括摄像头、处理模块、人脸信息匹配模块、眼球数据获取模块、目标判断模块、语音指令获取模块、语音指令匹配模块以及语音指令匹配模块，各个模块之间耦合相连；
所述摄像头用于获取用户的人脸信息；
所述处理模块用于获取预设数据库，所述预设数据库包括至少一条预设人脸信息；
所述人脸信息匹配模块用于判断当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；
所述眼球数据获取模块用于获取所述目标用户的眼球滚动数据；
所述目标判断模块用于根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；
所述语音指令获取模块用于获取与所述控制目标匹配的第一预设语音控制指令库；
所述语音指令获取模块还用于获取目标用户发出的语音控制指令；
所述语音指令匹配模块用于将所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令进行比较；
当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时，所述处理模块还用于执行所述语音控制指令对应的操作。
8.如权利要求7所述的一种结合人脸信息的语音控制系统，其特征在于，所述结合人脸信息的语音控制系统还包括权限获取模块，所述权限获取模块与其他模块耦合相连；
所述摄像头还用于获取第一用户及第二用户的人脸信息；
所述处理模块还用于获取预设数据库，所述预设数据库包括至少两条预设人脸信息；
所述人脸信息匹配模块还用于判断当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；
所述人脸信息匹配模块还用于判断当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；
所述目标判断模块还用于根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；
所述目标判断模块还用于根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；
所述处理模块还用于判断当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；
所述权限获取模块用于分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。
9.如权利要求7所述的一种结合人脸信息的语音控制系统，其特征在于，
所述语音指令匹配模块还用于将所述目标用户发出的语音控制指令与第二预设语音控制指令库中所有指令进行比较；
当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时，所述处理模块还用于不执行所述语音控制指令对应的操作。
10.如权利要求7所述的一种结合人脸信息的语音控制系统，其特征在于，
当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时，所述处理模块还用于不执行所述语音控制指令对应的操作。
CN201811026545.4A 2018-09-04 2018-09-04 一种结合人脸信息的语音控制方法及系统 Pending CN109166579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811026545.4A CN109166579A (zh) 2018-09-04 2018-09-04 一种结合人脸信息的语音控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811026545.4A CN109166579A (zh) 2018-09-04 2018-09-04 一种结合人脸信息的语音控制方法及系统

Publications (1)

Publication Number Publication Date
CN109166579A true CN109166579A (zh) 2019-01-08

Family

ID=64894173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811026545.4A Pending CN109166579A (zh) 2018-09-04 2018-09-04 一种结合人脸信息的语音控制方法及系统

Country Status (1)

Country Link
CN (1) CN109166579A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111252087A (zh) * 2020-01-17 2020-06-09 中车株洲电力机车有限公司 一种司机台控制系统
CN111276140A (zh) * 2020-01-19 2020-06-12 珠海格力电器股份有限公司 语音命令识别方法、装置、系统及存储介质
CN112200944A (zh) * 2020-09-30 2021-01-08 广州市果豆科技有限责任公司 一种结合人脸识别的道闸控制方法及系统
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质
WO2022022346A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 一种安全交互方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838335A (zh) * 2012-05-18 2015-08-12 微软技术许可有限责任公司 使用凝视检测的设备的交互和管理
CN104978957A (zh) * 2014-04-14 2015-10-14 美的集团股份有限公司 基于声纹识别的语音控制方法和系统
CN105703978A (zh) * 2014-11-24 2016-06-22 武汉物联远科技有限公司 智能家居控制系统和方法
CN106257355A (zh) * 2015-06-18 2016-12-28 松下电器（美国）知识产权公司 设备控制方法和控制器
CN106373568A (zh) * 2016-08-30 2017-02-01 深圳市元征科技股份有限公司 智能车载单元控制方法和装置
CN107086038A (zh) * 2017-05-04 2017-08-22 珠海格力电器股份有限公司 语音控制方法以及语音控制器
CN107742069A (zh) * 2017-09-18 2018-02-27 广东美的制冷设备有限公司 终端控制方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838335A (zh) * 2012-05-18 2015-08-12 微软技术许可有限责任公司 使用凝视检测的设备的交互和管理
CN104978957A (zh) * 2014-04-14 2015-10-14 美的集团股份有限公司 基于声纹识别的语音控制方法和系统
CN105703978A (zh) * 2014-11-24 2016-06-22 武汉物联远科技有限公司 智能家居控制系统和方法
CN106257355A (zh) * 2015-06-18 2016-12-28 松下电器（美国）知识产权公司 设备控制方法和控制器
CN106373568A (zh) * 2016-08-30 2017-02-01 深圳市元征科技股份有限公司 智能车载单元控制方法和装置
CN107086038A (zh) * 2017-05-04 2017-08-22 珠海格力电器股份有限公司 语音控制方法以及语音控制器
CN107742069A (zh) * 2017-09-18 2018-02-27 广东美的制冷设备有限公司 终端控制方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111252087A (zh) * 2020-01-17 2020-06-09 中车株洲电力机车有限公司 一种司机台控制系统
CN111276140A (zh) * 2020-01-19 2020-06-12 珠海格力电器股份有限公司 语音命令识别方法、装置、系统及存储介质
CN111276140B (zh) * 2020-01-19 2023-05-12 珠海格力电器股份有限公司 语音命令识别方法、装置、系统及存储介质
WO2022022346A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 一种安全交互方法及装置
CN112200944A (zh) * 2020-09-30 2021-01-08 广州市果豆科技有限责任公司 一种结合人脸识别的道闸控制方法及系统
CN112200944B (zh) * 2020-09-30 2023-01-13 广州市果豆科技有限责任公司 一种结合人脸识别的道闸控制方法及系统
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109166579A (zh) 一种结合人脸信息的语音控制方法及系统
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN111766798A (zh) 一种智能家居设备控制方法及其装置
US11765234B2 (en) Electronic device, server and recording medium supporting task execution using external device
CN108572559A (zh) 一种智能家居情景控制方法及系统
WO2022193698A1 (zh) 用于调整显示界面展示方式的方法、装置及设备
CN109308159B (zh) 智能设备控制方法、装置、系统、电子设备及存储介质
CN108768806A (zh) 家电设备控制方法、装置、遥控器、终端、服务器及介质
KR20200098856A (ko) 전자 장치에서 스케줄 관리 방법 및 장치
CN106302991A (zh) 一种应用管理方法、装置及终端
CN106782522A (zh) 语音控制方法及语音控制系统
CN109450747A (zh) 一种唤醒智能家居设备的方法、装置及计算机存储介质
CN109613836A (zh) 电动床触摸控制方法、装置、设备及存储介质
CN112856739A (zh) 用于空调器的控制方法及系统、装置、空调器
CN112054946A (zh) 一种基于多模态信息融合的智能家居控制方法及其系统
US10748545B2 (en) Interactive electronic device control system, interactive electronic device, and interactive electronic device controlling method
CN106200716A (zh) 混水器及其控制方法
CN106292356A (zh) 一种机器人控制方法及电子设备
CN108919655A (zh) 一种基于用户行为的情景判断方法及装置
CN112286350A (zh) 设备控制方法及装置、电子设备、电子装置、处理器
CN115731684B (zh) 无线按键开关设备的控制方法和装置
CN108415572B (zh) 应用于移动终端的模块控制方法、装置及存储介质
CN101656690B (zh) 一种远程分工协作系统和方法
CN106292329A (zh) 智能家居控制方法、装置、系统及一种电子设备
JP2000347970A (ja) ホームネットワークシステム及びホストコンピュータ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108