CN113742687B - 一种基于人工智能的物联网控制方法及系统 - Google Patents

Abstract

本发明提供了一种基于人工智能的物联网控制方法及系统，方法包括：S1、识别目标区域的所有用户；S2、根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；S3、获取目标用户的唇语信息，分析唇语信息得到语音指令；S4、根据语音指令控制指定物联网设备的工作状态；系统包括识别模块，用于识别目标区域的所有用户；筛选模块，用于根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；获取模块，用于获取目标用户的唇语信息；分析模块，用于分析唇语信息得到语音指令；控制模块，用于根据语音指令控制指定物联网设备的工作状态。

Description

一种基于人工智能的物联网控制方法及系统

技术领域

本发明涉及物联网控制技术，尤其涉及一种基于人工智能的物联网控制方法及系统。

背景技术

随着社会科技的进步，智能化建筑和智能化设备的发展越来越方便人们的生活以及工作，对人们周围各种可控装置的控制也与人们意识本身直接靠拢，各种利用人们声音就能够完成的控制系统不断的涌现，以更加方便人们自身，提高效率，但传统的语音控制系统在接收目标用户发出的语音指令时总会受到环境中各种各样的杂音和人声干扰，从而影响语音控制系统接收到的语音指令的质量，降低语音控制系统根据目标用户语音指令执行相应操作的精确度，因此，亟需一种基于人工智能的物联网控制方法及系统，用于解决在众多用户中识别出目标用户，并准确识别出目标用户发出的语音指令的问题。

发明内容

本发明提供一种基于人工智能的物联网控制方法及系统，用于解决在众多用户中识别出目标用户，并准确识别出目标用户发出的语音指令的问题。

一种基于人工智能的物联网控制方法，包括：

S1、识别目标区域的所有用户；

S2、根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；

S3、获取目标用户的唇语信息，分析所述唇语信息得到语音指令；

S4、根据语音指令控制指定物联网设备的工作状态。

作为本发明的一种实施例，识别目标区域的所有用户，包括：

预先在进入目标区域的必经通道上设置人脸识别装置；

当用户进入目标区域时，通过人脸识别装置识别用户人脸图像；

将用户人脸图像添加至目标区域的用户人脸图像池中；

当用户离开目标区域时，通过人脸识别装置识别用户人脸图像；

从目标区域的用户人脸图像池中删除离开的用户人脸图像。

作为本发明的一种实施例，根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户，包括：

预先在目标区域内设置若干人脸识别跟踪摄像头；

根据预设用户优先级别，从目标区域的用户人脸图像池中选取优先级别最高的用户人脸图像作为目标用户；

人脸识别跟踪摄像头根据目标用户的用户人脸图像对目标用户进行实时跟踪。

作为本发明的一种实施例，获取目标用户的唇语信息，包括：

通过人脸识别跟踪摄像头获取目标用户的人脸图像；

将目标用户的人脸图像输入至预先训练好的唇语识别模型中，得到唇语识别结果；

将唇语识别结果输入至预先构建的语义理解模型中，得到目标用户的唇语信息，根据唇语信息，得到目标用户的语音指令。

作为本发明的一种实施例，分析所述唇语信息得到语音指令，包括：

判断唇语信息中是否包含预设语音指令关键词；其中，预设语音指令关键词有且唯一对应一句完整语音指令；

若不包含，重新获取唇语信息；

若包含，根据唇语信息中的预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令。

作为本发明的一种实施例，一种基于人工智能的物联网控制方法，还包括：预先将目标区域划分为若干子区域，每个子区域内均包含若干人脸识别跟踪摄像头；

获取采集目标用户的人脸图像清晰度最高的人脸识别跟踪摄像头所在的子区域作为目标用户所在子区域；

获取目标用户的语音指令，根据语音指令控制目标用户所在子区域内的指定物联网设备的工作状态。

作为本发明的一种实施例，根据语音指令控制指定物联网设备的工作状态，还包括：

获取目标用户对指定物联网设备的历史语音指令；

获取历史语音指令中目标用户对指定物联网设备的历史控制参数指令；

根据历史控制参数指令统计出控制参数指令的时间规律，得到时间规律-控制参数指令集合；其中，时间规律-控制参数指令集合包括时间规律特征、控制参数指令之间的对应关系；

获取目标用户的语音指令，若目标用户中的语音指令中包含控制参数指令，根据包含控制参数指令的语音指令控制指定物联网设备的第一工作状态；其中，第一工作状态中的工作参数与控制参数指令一致；

若目标用户中的语音指令中不包含控制参数指令；

获取当前时间，根据当前时间确定当前时间对应的时间规律特征，根据时间规律特征查找对应的时间规律-控制参数指令集合；

若查找到匹配的控制参数指令，根据匹配的控制参数指令和不包含控制参数指令的语音指令控制指定物联网设备的第二工作状态；其中，第二工作状态中的工作参数与匹配的控制参数指令一致；

若查找不到匹配的控制参数指令，根据不包含控制参数指令的语音指令控制指定物联网设备的第三工作状态；其中，第三工作状态中的工作参数为指定物联网设备默认参数。

作为本发明的一种实施例，一种基于人工智能的物联网控制方法，还包括：

采集数据，建立用户-表情集合；

获取目标用户发出的语音指令，根据语音指令中的控制参数指令、指定的物联网设备和发出语音指令的目标用户查找对应的用户-表情集合；

若查找到匹配的第一表情，判断第一表情的类型；

若第一表情的类型为难过类型，对目标用户发出提醒信号，同时重新获取目标用户的语音指令；

根据重新获取的目标用户的语音指令控制指定物联网设备的工作状态；

其中，采集数据，建立用户-表情集合详细步骤包括：

获取目标用户在发出语音指令时的人脸图像；

判断目标用户发出的语音指令中是否包含对指定物联网设备的工作参数进行修改的控制参数指令；

若是，将目标用户在发出语音指令时的人脸图像输入至预设的训练好的表情识别模型中，得到第一表情；其中，第一表情类型包括正常、开心、难过；

建立用户-表情集合，用户-表情集合包括目标用户、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数、第一表情之间的对应关系。

作为本发明的一种实施例，一种基于人工智能的物联网控制方法，还包括：

生成用户个性化语音指令字典；

获取不包含预设语音指令关键词的无效唇语信息以及无效唇语信息对应的目标用户；

查找用户个性化语音指令字典中目标用户对应的第二唇语集合；

将无效唇语信息与第二唇语集合进行匹配，若第二唇语集合中存在与无效唇语信息文本相似度大于预设文本相似度的第一唇语数据，获取第一唇语数据中的预设语音指令关键词；

根据预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

生成用户个性化语音指令字典的详细步骤包括：

S344、获取包含预设语音指令关键词的唇语信息作为第一唇语数据；其中，第一唇语数据包含目标用户的标签信息；

S345、根据不同目标用户的标签信息将第一唇语数据分割为若干个不同目标用户的第一唇语集合；其中，每个第一唇语集合中仅包含同一目标用户的第一唇语数据；

S346、对第一唇语集合中的所有第一唇语数据进行文本相似度判断，若任一第一唇语数据在第一唇语集合中存在文本相似度大于预设文本相似度的其他第一唇语数据，删除第一唇语集合中其他第一唇语数据，得到第二唇语集合；

S347、整合所有目标用户的第二唇语集合，生成用户个性化语音指令字典；其中，用户个性化语音指令字典中包含若干目标用户的第二唇语集合。

一种基于人工智能的物联网控制系统，包括：

识别模块，用于识别目标区域的所有用户；

筛选模块，用于根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；

获取模块，用于获取目标用户的唇语信息；

分析模块，用于分析唇语信息得到语音指令；

控制模块，用于根据语音指令控制指定物联网设备的工作状态。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于人工智能的物联网控制方法的流程图；

图2为本发明实施例中一种基于人工智能的物联网控制方法中获取目标用户的语音指令的流程图1；

图3为本发明实施例中一种基于人工智能的物联网控制方法中获取目标用户的语音指令的流程图2；

图4为本发明实施例中一种基于人工智能的物联网控制方法中获取目标用户的语音指令的流程图3；

图5为本发明实施例中一种基于人工智能的物联网控制系统的模块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1，本发明实施例提供了一种基于人工智能的物联网控制方法，包括：

S1、识别目标区域的所有用户；

S2、根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；

S3、获取目标用户的唇语信息，分析唇语信息得到语音指令；

S4、根据语音指令控制指定物联网设备的工作状态；

上述技术方案的工作原理为：S1、识别目标区域的所有用户，其中，目标区域包括但不限于办公区域、住宅区域；S2、根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户，其中，预设用户优先级别的设定步骤优选为：1、事先录入该目标区域内拥有权限的用户；2、根据录入的拥有权限的用户的权限等级从高到低排序，权限等级高的即优先级别高；S3、获取目标用户的唇语信息，分析唇语信息得到语音指令；S4、根据语音指令控制指定物联网设备的工作状态，其中，指定物联网设备包括但不限于空调设备、照明设备、自来水设备等各种电器设备；

上述技术方案的有益效果为：用于在众多用户中识别出目标用户，并准确识别出目标用户发出的语音指令从而根据语音指令控制指定物联网设备的工作状态，有益于提高用户语音指令的执行精确度，使用户仅需通过语音指令便可控制物联网设备，有益于提高用户的生活质量。

在一个实施例中，识别目标区域的所有用户，包括：

预先在进入目标区域的必经通道上设置人脸识别装置；

当用户进入目标区域时，通过人脸识别装置识别用户人脸图像；

将用户人脸图像添加至目标区域的用户人脸图像池中；

当用户离开目标区域时，通过人脸识别装置识别用户人脸图像；

从目标区域的用户人脸图像池中删除离开的用户人脸图像；

上述技术方案的工作原理为：识别目标区域的所有用户详细步骤包括：预先在进入目标区域的必经通道上设置人脸识别装置，该人脸识别装置优选设置多个，便于同时对多人仅需识别记录，设置的方法可以设置在隐秘处，或直接要求进入的用户进行人脸识别；当用户进入目标区域时，通过人脸识别装置识别用户人脸图像，例如，在办公区域优选为通过人脸打卡机对上班用户进行打卡的同时录入每个用户的人脸图像，在住宅区域优选为通过大门的人脸识别装置对住宅用户进行识别开门的同时录入每个进门用户的人脸图像；识别后将该用户的人脸图像录入到目标区域的用户人脸图像池，便于后续对该用户的人脸图像的调用，当用户离开目标区域时，同样通过人脸识别装置识别用户人脸图像，人脸识别装置如果为摄像头之类的装置，则优选设置可转动的摄像头，或者在进出两个方向均设置人脸识别装置，或是让用户在离开时主动进行人脸识别，例如，在办公区域优选为通过人脸打卡机对下班用户进行打卡的同时录入每个用户的人脸图像，在住宅区域优选为通过大门里侧的人脸识别装置和大门外侧的人脸识别装置对住宅用户进行识别开门、关门、离开时录入每个离开用户的人脸图像，如开门时录入正脸图像，关门离开时录入背影、侧脸等图像进行辅助判断；识别后从目标区域的用户人脸图像池中删除离开的用户人脸图像，便于后续对该用户的人脸图像的调用；

上述技术方案的有益效果为：对每个进入或离开的用户进行精确识别，提高目标区域内用户识别的精确度。

在一个实施例中，根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户，包括：

预先在目标区域内设置若干人脸识别跟踪摄像头；

根据预设用户优先级别，从目标区域的用户人脸图像池中选取优先级别最高的用户人脸图像作为目标用户；

人脸识别跟踪摄像头根据目标用户的用户人脸图像对目标用户进行实时跟踪；

上述技术方案的工作原理为：根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户详细包括：预先在目标区域内设置若干人脸识别跟踪摄像头，当有用户经过人脸识别装置进入目标区域后，处理器判断该用户与当前目标区域内目标用户的优先级别的高低，若当前目标区域内不存在任何用户，则直接将该用户设置为目标用户，其中，若存在相同级别的用户，则以优先识别的用户为目标用户；若该用户的优先级别高于当前目标区域内目标用户的优先级别，则将该用户调整为目标用户，并使得人脸识别跟踪摄像头实时对目标用户的人脸进行实时跟踪；

更进一步地，若目标用户发生更替且新的目标用户未发出指令时，所有物联网设备的工作状态保持上一目标用户设定的工作状态不变；

更进一步地，目标区域内没有任何用户时人脸识别跟踪摄像头处于待机状态；

上述技术方案的有益效果为：有益于根据优先级别快速切换目标用户，提高用户语音识别的及时性和识别效率。

请参阅图2，在一个实施例中，获取目标用户的唇语信息，包括：

S31、通过人脸识别跟踪摄像头获取目标用户的人脸图像；

S32、将目标用户的人脸图像输入至预先训练好的唇语识别模型中，得到唇语识别结果；

S33、将唇语识别结果输入至预先构建的语义理解模型中，得到目标用户的唇语信息；

S34、根据唇语信息，得到目标用户的语音指令；

上述技术方案的工作原理为：获取目标用户的语音指令详细包括：确定目标用户的人脸图像后，通过人脸识别跟踪摄像头获取目标用户的实时人脸图像，其中，该实时人脸图像优选包括目标用户至少3个方向的实时人脸图像将目标用户的实时人脸图像输入至预先训练好的唇语识别模型中，得到唇语识别结果，将唇语识别结果输入至预先构建的语义理解模型中，得到目标用户的唇语信息，根据唇语信息，得到目标用户的语音指令；

更进一步的，若无法识别到目标用户的语音指令，例如，目标用户佩戴口罩之类的物品对目标人脸进行遮挡，则直接使用除当前目标用户外优先级别最高的用户替换当前目标用户成为新的目标用户；若存在全部用户均佩戴口罩，其中，人脸识别装置通过用户眼部特征对用户人脸进行识别，语音指令的获取方法包括但不限于提前录入每个用户的智能设备的硬件信息，通过特定软件对目标用户连接wifi的智能设备的话筒功能进行语音指令监控获取语音指令；

上述技术方案的有益效果为：便于及时获取目标用户语音指令，且不需要目标用户使用任何特定设备辅助，通过识别用户唇语进行语音指令获取，有益于防止其他杂音对目标用户语音指令获取造成干扰。

请参阅图3，在一个实施例中，分析唇语信息得到语音指令，包括：

S341、判断唇语信息中是否包含预设语音指令关键词；其中，预设语音指令关键词有且唯一对应一句完整语音指令；

S342、若不包含，重新获取唇语信息；

S343、若包含，根据唇语信息中的预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

上述技术方案的工作原理为：根据唇语信息，得到目标用户的语音指令详细步骤包括：判断唇语信息中是否包含预设语音指令关键词；其中，预设语音指令关键词有且唯一对应一句完整语音指令，例如，温度降低2度，温度降低为预设语音指令关键词，对应的唯一一局完整语音指令为空调温度降低，2度为具体控制参数指令，完整语音指令便为空调温度降低2摄氏度；若不包含，重新获取唇语信息；若包含，根据唇语信息中的预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

上述技术方案的有益效果为：通过获取关键词便能识别用户想表达的语音指令，有益于提高语音识别灵敏度，提高用户的使用体验。

在一个实施例中，一种基于人工智能的物联网控制方法，还包括：

预先将目标区域划分为若干子区域，每个子区域内均包含若干人脸识别跟踪摄像头；

获取采集目标用户的人脸图像清晰度最高的人脸识别跟踪摄像头所在的子区域作为目标用户所在子区域；

获取目标用户的语音指令，根据语音指令控制目标用户所在子区域内的指定物联网设备的工作状态；

上述技术方案的工作原理为：该方法还包括预先将目标区域划分为若干子区域，每个子区域内均包含若干人脸识别跟踪摄像头，例如，将办公区域划分为普通员工区域、高级员工区域，更进一步的，每个子区域内均设有一个目标用户；例如，将住宅区域划分为卧室区域、客厅区域、厨房区域等，获取采集目标用户的人脸图像清晰度最高的人脸识别跟踪摄像头所在的子区域作为目标用户所在子区域，获取目标用户的语音指令，根据语音指令控制目标用户所在子区域内的指定物联网设备的工作状态；

更进一步地，当目标区域内没有任何用户时，使所有的物联网设备处于待机状态，防止因目标用户忘记发出关闭指令导致某些物联网设备一直处于开启状态浪费资源；

上述技术方案的有益效果为：精准对目标用户所在区域的指定物联网设备实施语音指令，有益于减少其他区域内的资源浪费。

在一个实施例中，根据语音指令控制指定物联网设备的工作状态，还包括：

获取目标用户对指定物联网设备的历史语音指令；

获取历史语音指令中目标用户对指定物联网设备的历史控制参数指令；

根据历史控制参数指令统计出控制参数指令的时间规律，得到时间规律-控制参数指令集合；其中，时间规律-控制参数指令集合包括时间规律特征、控制参数指令之间的对应关系；

获取目标用户的语音指令，若目标用户中的语音指令中包含控制参数指令，根据包含控制参数指令的语音指令控制指定物联网设备的第一工作状态；其中，第一工作状态中的工作参数与控制参数指令一致；

若目标用户中的语音指令中不包含控制参数指令；

获取当前时间，根据当前时间确定当前时间对应的时间规律特征，根据时间规律特征查找对应的时间规律-控制参数指令集合；

若查找到匹配的控制参数指令，根据匹配的控制参数指令和不包含控制参数指令的语音指令控制指定物联网设备的第二工作状态；其中，第二工作状态中的工作参数与匹配的控制参数指令一致；

若查找不到匹配的控制参数指令，根据不包含控制参数指令的语音指令控制指定物联网设备的第三工作状态；其中，第三工作状态中的工作参数为指定物联网设备默认参数；

上述技术方案的工作原理为：根据语音指令控制指定物联网设备的工作状态详细包括：获取目标用户对指定物联网设备的历史语音指令；获取历史语音指令中目标用户对指定物联网设备的历史控制参数指令，例如：空调温度降低2摄氏度，其中降低2摄氏度便为控制参数指令；根据历史控制参数指令统计出控制参数指令的时间规律，得到时间规律-控制参数指令集合；其中，时间规律-控制参数指令集合包括时间规律特征、控制参数指令之间的对应关系；获取目标用户的语音指令，若目标用户中的语音指令中包含控制参数指令，根据包含控制参数指令的语音指令控制指定物联网设备的第一工作状态；其中，第一工作状态中的工作参数与控制参数指令一致；若目标用户中的语音指令中不包含控制参数指令；获取当前时间，根据当前时间确定当前时间对应的时间规律特征，根据时间规律特征查找对应的时间规律-控制参数指令集合；若查找到匹配的控制参数指令，根据匹配的控制参数指令和不包含控制参数指令的语音指令控制指定物联网设备的第二工作状态；其中，第二工作状态中的工作参数与匹配的控制参数指令一致；例如，今天A用户在下午三点时发出了打开空调的语音指令，但没发出具体的控制参数指令，此时，根据时间规律特征查找对应的时间规律-控制参数指令集合，发现A用户在时间规律-控制参数指令集合中，这个时间点的控制参数指令为空调温度选择为25摄氏度，则根据该控制参数指令，为A用户提供服务；若查找不到匹配的控制参数指令，根据不包含控制参数指令的语音指令控制指定物联网设备的第三工作状态；其中，第三工作状态中的工作参数为指定物联网设备默认参数，指定物联网设备默认参数为该物联网设备上一次关闭前的工作参数；

上述技术方案的有益效果为：针对不同目标用户，精准了解该用户对不同物联网设备的使用需求，使得该用户在下一次发出语音指令控制且该语音指令不包含具体控制参数指令时，根据该用户以往的指令习惯，智能为该用户设定控制参数指令，有益于提高用户的生活质量。

在一个实施例中，一种基于人工智能的物联网控制方法，还包括：

采集数据，建立用户-表情集合；

获取目标用户发出的语音指令，根据语音指令中的控制参数指令、指定的物联网设备和发出语音指令的目标用户查找对应的用户-表情集合；

若查找到匹配的第一表情，判断第一表情的类型；

若第一表情的类型为难过类型，对目标用户发出提醒信号，同时重新获取目标用户的语音指令；

根据重新获取的目标用户的语音指令控制指定物联网设备的工作状态；

其中，采集数据，建立用户-表情集合详细步骤包括：

获取目标用户在发出语音指令时的人脸图像；

判断目标用户发出的语音指令中是否包含对指定物联网设备的工作参数进行修改的控制参数指令；

若是，将目标用户在发出语音指令时的人脸图像输入至预设的训练好的表情识别模型中，得到第一表情；其中，第一表情类型包括正常、开心、难过；

建立用户-表情集合，用户-表情集合包括目标用户、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数、第一表情之间的对应关系；

上述技术方案的工作原理为：采集数据，建立用户-表情集合；获取目标用户发出的语音指令，根据语音指令中的控制参数指令、指定的物联网设备和发出语音指令的目标用户查找对应的用户-表情集合；若查找到匹配的第一表情，判断第一表情的类型；若第一表情的类型为难过类型，对目标用户发出提醒信号，提醒信号优选为采用语音提醒，如“当前设备的控制指令参数可能会引起您的不适，请重新输入指令”，在办公区域则优选为采用特殊提示声进行提示；同时重新获取目标用户的语音指令；根据重新获取的目标用户的语音指令控制指定物联网设备的工作状态；第二次获取的语音指令不用与用户-表情集合进行匹配，但第二次获取的语音指令会被纳入采集数据，建立用户-表情集合的步骤中持续对用户-表情集合中的数据进行修正；其中，采集数据，建立用户-表情集合详细步骤包括：获取目标用户在发出语音指令时的人脸图像；判断目标用户发出的语音指令中是否包含对指定物联网设备的工作参数进行修改的控制参数指令；若是，将目标用户在发出语音指令时的人脸图像输入至预设的训练好的表情识别模型中，得到第一表情；其中，第一表情类型包括正常、开心、难过，优选为将兴奋、喜欢、惊讶、害羞归类于开心，将痛苦、恐惧、愤怒、厌恶归类于难过；建立用户-表情集合，用户-表情集合包括目标用户、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数、第一表情之间的对应关系，其中，用户-表情集合中的第一表情是会随时更新的，且是当其他参数不变时，随着最新的第一表情的更新而变化，例如，用户-表情集合存储有一组数据：A用户、照明设备、亮度90％、难过；但现在采集数据又采集到一组新的数据为：A用户、照明设备、亮度90％、正常，则用A用户、照明设备、亮度90％、正常代替用户-表情集合中的A用户、照明设备、亮度90％、难过数据；

更进一步地，表情识别模型的训练步骤优选为：1、获取初始训练图像集，其中，初始训练图像集中的各个图像中包含人脸部分图像；2、将初始训练图像集中的各个人脸图像中的各个像素点使用四元数进行表示，确定出各个像素点的第一四元数；3、根据各个像素点的第一四元数使用特定矩阵计算公式计算得到矩阵元素，根据矩阵元素建立初始训练图像集中各个人脸图像的四元矩阵；4、将各个人脸图像的四元矩阵形成训练数据集，其中，四元数中的每一虚数的权重则表示其中一个颜色分量的值；5、将训练数据集输入至初始神经网络模型中进行训练，得到表情识别模型；其中，特定矩阵计算公式优选为：

其中，Q_i,j为四元矩阵中第i行第j列的值，π为圆周率，f^p(n,m)为坐标为(n,m)的像素点的第一四元数，(n,m)为极坐标，p为四元数矩阵形式，

为中间变量，k为临时变量，！为阶乘，|j|≤i且i-|j|为偶数，μ为单位四元数；该计算方法有益于提高四元矩阵内各行各列的矩阵元素的计算精确度，提高后续表情识别模型的识别准确率；

上述技术方案的有益效果为：人的记忆是存在遗忘周期的，往往让自己难受的控制参数指令总会反复发出，如空调温度过低或过高，光亮度过暗或过亮等，这些都是可以通过用户的表情得知当前控制参数指令对用户来说是否舒适，通过记录每次用户更改参数时的第一表情、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数建立用户-表情集合用于后续当用户想再次发出某类控制参数指令时，对该类控制参数指令进行匹配，对不合适的控制参数指令向用户发出提醒，有益于提高目标用户的生活质量。

在一个实施例中，一种基于人工智能的物联网控制方法，还包括：

生成用户个性化语音指令字典；

获取不包含预设语音指令关键词的无效唇语信息以及无效唇语信息对应的目标用户；

查找用户个性化语音指令字典中目标用户对应的第二唇语集合；

将无效唇语信息与第二唇语集合进行匹配，若第二唇语集合中存在与无效唇语信息文本相似度大于预设文本相似度的第一唇语数据，获取第一唇语数据中的预设语音指令关键词；

根据预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

请参阅图4，生成用户个性化语音指令字典的详细步骤包括：

S344、获取包含预设语音指令关键词的唇语信息作为第一唇语数据；其中，第一唇语数据包含目标用户的标签信息；

S345、根据不同目标用户的标签信息将第一唇语数据分割为若干个不同目标用户的第一唇语集合；其中，每个第一唇语集合中仅包含同一目标用户的第一唇语数据；

S346、对第一唇语集合中的所有第一唇语数据进行文本相似度判断，若任一第一唇语数据在第一唇语集合中存在文本相似度大于预设文本相似度的其他第一唇语数据，删除第一唇语集合中其他第一唇语数据，得到第二唇语集合；

S347、整合所有目标用户的第二唇语集合，生成用户个性化语音指令字典；其中，用户个性化语音指令字典中包含若干目标用户的第二唇语集合；

上述技术方案的工作原理为：生成用户个性化语音指令字典；获取不包含预设语音指令关键词的无效唇语信息以及无效唇语信息对应的目标用户；查找用户个性化语音指令字典中目标用户对应的第二唇语集合；将无效唇语信息与第二唇语集合进行匹配，若第二唇语集合中存在与无效唇语信息文本相似度大于预设文本相似度的第一唇语数据，获取第一唇语数据中的预设语音指令关键词；根据预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；生成用户个性化语音指令字典的详细步骤包括：S344、获取包含预设语音指令关键词的唇语信息作为第一唇语数据；其中，第一唇语数据包含目标用户的标签信息；S345、根据不同目标用户的标签信息将第一唇语数据分割为若干个不同目标用户的第一唇语集合；其中，每个第一唇语集合中仅包含同一目标用户的第一唇语数据；S346、对第一唇语集合中的所有第一唇语数据进行文本相似度判断，进行去重处理，若任一第一唇语数据在第一唇语集合中存在文本相似度大于预设文本相似度的其他第一唇语数据，删除第一唇语集合中其他第一唇语数据，得到第二唇语集合，保证第二唇语集合中不会存在重复唇语信息，减少内存占用，提高后续检索效率；S347、整合所有目标用户的第二唇语集合，生成用户个性化语音指令字典；其中，用户个性化语音指令字典中包含若干目标用户的第二唇语集合；其中，预设文本相似度优选为95％；

上述技术方案的有益效果为：每个用户的语音指令习惯是不同的，发出的语音指令则存在偏差，有时候甚至会出现在发出语音指令时漏说或少说一两个字，从而影响语音指令的识别精度，在通过用户个性化语音指令字典，对每个用户的语音指令习惯进行统计，形成每个用户单独的第二唇语集合，当存在某个目标用户发出语音指令，但因漏说或少说一两个字导致通过关键词判断该目标用户并未发出语音指令时，将针对该目标用户采集的唇语信息与用户个性化语音指令字典进行匹配，查找用户个性化语音指令字典中是否存在与该唇语信息相似度高的第一唇语数据，从而根据第一唇语数据实现目标用户发出的语音指令，针对用户的语音习惯建立用户个性化语音指令字典，有益于提高语音指令的识别精度和效率，使得用户不需要反复发出同样的语音指令，有益于提高用户的生活质量。

请参阅图5，一种基于人工智能的物联网控制系统，包括：识别模1，用于识别目标区域的所有用户；

筛选模块2，用于根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；

获取模块3，用于获取目标用户的唇语信息；

分析模块4，用于分析唇语信息得到语音指令；

控制模块5，用于根据语音指令控制指定物联网设备的工作状态；

上述技术方案的工作原理为：识别模块1，用于识别目标区域的所有用户，其中，目标区域包括但不限于办公区域、住宅区域；更进一步地，识别模块优选使用人脸识别装置，识别方法优选为预先在进入目标区域的必经通道上设置人脸识别装置；当用户进入目标区域时，通过人脸识别装置识别用户人脸图像；将用户人脸图像添加至目标区域的用户人脸图像池中；当用户离开目标区域时，通过人脸识别装置识别用户人脸图像；从目标区域的用户人脸图像池中删除离开的用户人脸图像；筛选模块2，用于根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户，其中，预设用户优先级别的设定步骤优选为：1、事先录入该目标区域内拥有权限的用户；2、根据录入的拥有权限的用户的权限等级从高到低排序，权限等级高的即优先级别高；更进一步地，筛选模块的筛选方法优选为预先在目标区域内设置若干人脸识别跟踪摄像头；根据预设用户优先级别，从目标区域的用户人脸图像池中选取优先级别最高的用户人脸图像作为目标用户；人脸识别跟踪摄像头根据目标用户的用户人脸图像对目标用户进行实时跟踪；获取模块3，用于获取目标用户的唇语信息，更进一步地，获取模块的获取方法优选为通过人脸识别跟踪摄像头获取目标用户的人脸图像；将目标用户的人脸图像输入至预先训练好的唇语识别模型中，得到唇语识别结果；将唇语识别结果输入至预先构建的语义理解模型中，得到目标用户的唇语信息；分析模块4，用于分析唇语信息得到语音指令吗，更进一步地，分析模块的分析方法优选为判断唇语信息中是否包含预设语音指令关键词；其中，预设语音指令关键词有且唯一对应一句完整语音指令；若不包含，重新获取唇语信息；若包含，根据唇语信息中的预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；控制模块5，用于根据语音指令控制指定物联网设备的工作状态，其中，指定物联网设备包括但不限于空调设备、照明设备、自来水设备等各种电器设备；更进一步地，控制模块的控制方法优选为获取目标用户对指定物联网设备的历史语音指令；获取历史语音指令中目标用户对指定物联网设备的历史控制参数指令；根据历史控制参数指令统计出控制参数指令的时间规律，得到时间规律-控制参数指令集合；其中，时间规律-控制参数指令集合包括时间规律特征、控制参数指令之间的对应关系；获取目标用户的语音指令，若目标用户中的语音指令中包含控制参数指令，根据包含控制参数指令的语音指令控制指定物联网设备的第一工作状态；其中，第一工作状态中的工作参数与控制参数指令一致；若目标用户中的语音指令中不包含控制参数指令；获取当前时间，根据当前时间确定当前时间对应的时间规律特征，根据时间规律特征查找对应的时间规律-控制参数指令集合；若查找到匹配的控制参数指令，根据匹配的控制参数指令和不包含控制参数指令的语音指令控制指定物联网设备的第二工作状态；其中，第二工作状态中的工作参数与匹配的控制参数指令一致；若查找不到匹配的控制参数指令，根据不包含控制参数指令的语音指令控制指定物联网设备的第三工作状态；其中，第三工作状态中的工作参数为指定物联网设备默认参数；更进一步地，该系统还包括子区域确定模块，该子区域确定模块的确定方法优选为预先将目标区域划分为若干子区域，每个子区域内均包含若干人脸识别跟踪摄像头；获取采集目标用户的人脸图像清晰度最高的人脸识别跟踪摄像头所在的子区域作为目标用户所在子区域；获取目标用户的语音指令，根据语音指令控制目标用户所在子区域内的指定物联网设备的工作状态；更进一步地，该系统还包括不适控制参数提醒模块，该不适控制参数提醒模块的提醒方法优选为采集数据，建立用户-表情集合；获取目标用户发出的语音指令，根据语音指令中的控制参数指令、指定的物联网设备和发出语音指令的目标用户查找对应的用户-表情集合；若查找到匹配的第一表情，判断第一表情的类型；若第一表情的类型为难过类型，对目标用户发出提醒信号，同时重新获取目标用户的语音指令；根据重新获取的目标用户的语音指令控制指定物联网设备的工作状态；其中，采集数据，建立用户-表情集合详细步骤包括：获取目标用户在发出语音指令时的人脸图像；判断目标用户发出的语音指令中是否包含对指定物联网设备的工作参数进行修改的控制参数指令；若是，将目标用户在发出语音指令时的人脸图像输入至预设的训练好的表情识别模型中，得到第一表情；其中，第一表情类型包括正常、开心、难过；建立用户-表情集合，用户-表情集合包括目标用户、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数、第一表情之间的对应关系；更进一步地，该系统还包括用户个性化语音指令修正模块，该用户个性化语音指令修正模块的修正方法优选为生成用户个性化语音指令字典；获取不包含预设语音指令关键词的无效唇语信息以及无效唇语信息对应的目标用户；查找用户个性化语音指令字典中目标用户对应的第二唇语集合；将无效唇语信息与第二唇语集合进行匹配，若第二唇语集合中存在与无效唇语信息文本相似度大于预设文本相似度的第一唇语数据，获取第一唇语数据中的预设语音指令关键词；根据预设语音指令关键词得到与预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；生成用户个性化语音指令字典的详细步骤包括：S344、获取包含预设语音指令关键词的唇语信息作为第一唇语数据；其中，第一唇语数据包含目标用户的标签信息；S345、根据不同目标用户的标签信息将第一唇语数据分割为若干个不同目标用户的第一唇语集合；其中，每个第一唇语集合中仅包含同一目标用户的第一唇语数据；S346、对第一唇语集合中的所有第一唇语数据进行文本相似度判断，若任一第一唇语数据在第一唇语集合中存在文本相似度大于预设文本相似度的其他第一唇语数据，删除第一唇语集合中其他第一唇语数据，得到第二唇语集合；S347、整合所有目标用户的第二唇语集合，生成用户个性化语音指令字典；其中，用户个性化语音指令字典中包含若干目标用户的第二唇语集合；

上述技术方案的有益效果为：用于在众多用户中识别出目标用户，并准确识别出目标用户发出的语音指令从而根据语音指令控制指定物联网设备的工作状态，有益于提高用户语音指令的执行精确度，使用户仅需通过语音指令便可控制物联网设备，有益于提高用户的生活质量。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于人工智能的物联网控制方法，其特征在于，包括：

S1、识别目标区域的所有用户；

S2、根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；

S3、获取目标用户的唇语信息，分析所述唇语信息得到语音指令；

S4、根据所述语音指令控制指定物联网设备的工作状态；

还包括：采集数据，建立用户-表情集合；

获取目标用户发出的语音指令，根据语音指令中的控制参数指令、指定的物联网设备和发出语音指令的目标用户查找对应的用户-表情集合；

若查找到匹配的第一表情，判断所述第一表情的类型；

若所述第一表情的类型为难过类型，对目标用户发出提醒信号，同时重新获取目标用户的语音指令；

根据重新获取的目标用户的语音指令控制指定物联网设备的工作状态；

其中，采集数据，建立用户-表情集合详细步骤包括：

获取目标用户在发出语音指令时的人脸图像；

判断目标用户发出的语音指令中是否包含对指定物联网设备的工作参数进行修改的控制参数指令；

若是，将所述目标用户在发出语音指令时的人脸图像输入至预设的训练好的表情识别模型中，得到第一表情；其中，所述第一表情类型包括正常、开心、难过；

建立用户-表情集合，所述用户-表情集合包括目标用户、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数、第一表情之间的对应关系；

其中，所述识别目标区域的所有用户，包括：

预先在进入目标区域的必经通道上设置人脸识别装置；

当用户进入目标区域时，通过人脸识别装置识别用户人脸图像；

将所述用户人脸图像添加至目标区域的用户人脸图像池中；

当用户离开目标区域时，通过人脸识别装置识别用户人脸图像；

从所述目标区域的用户人脸图像池中删除离开的用户人脸图像；

根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户，包括：

预先在目标区域内设置若干人脸识别跟踪摄像头；

根据所述预设用户优先级别，从所述目标区域的用户人脸图像池中选取优先级别最高的用户人脸图像作为目标用户；

所述人脸识别跟踪摄像头根据所述目标用户的用户人脸图像对目标用户进行实时跟踪；

其中，获取目标用户的唇语信息，包括：

通过所述人脸识别跟踪摄像头获取目标用户的人脸图像；

将所述目标用户的人脸图像输入至预先训练好的唇语识别模型中，得到唇语识别结果；

将所述唇语识别结果输入至预先构建的语义理解模型中，得到目标用户的唇语信息；

其中，分析所述唇语信息得到语音指令，包括：

判断所述唇语信息中是否包含预设语音指令关键词；其中，所述预设语音指令关键词有且唯一对应一句完整语音指令；

若不包含，重新获取唇语信息；

若包含，根据所述唇语信息中的预设语音指令关键词得到与所述预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

还包括：

生成用户个性化语音指令字典；

获取不包含预设语音指令关键词的无效唇语信息以及所述无效唇语信息对应的目标用户；

查找用户个性化语音指令字典中所述目标用户对应的第二唇语集合；

将所述无效唇语信息与所述第二唇语集合进行匹配，若所述第二唇语集合中存在与所述无效唇语信息文本相似度大于预设文本相似度的第一唇语数据，获取所述第一唇语数据中的预设语音指令关键词；

根据所述预设语音指令关键词得到与所述预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

生成用户个性化语音指令字典的详细步骤包括：

S344、获取包含预设语音指令关键词的唇语信息作为第一唇语数据；其中，所述第一唇语数据包含目标用户的标签信息；

S345、根据不同目标用户的标签信息将所述第一唇语数据分割为若干个不同目标用户的第一唇语集合；其中，每个第一唇语集合中仅包含同一目标用户的第一唇语数据；

S346、对所述第一唇语集合中的所有第一唇语数据进行文本相似度判断，若任一第一唇语数据在所述第一唇语集合中存在文本相似度大于预设文本相似度的其他第一唇语数据，删除第一唇语集合中所述其他第一唇语数据，得到第二唇语集合；

S347、整合所有目标用户的第二唇语集合，生成用户个性化语音指令字典；其中，所述用户个性化语音指令字典中包含若干目标用户的第二唇语集合。

2.根据权利要求1所述的一种基于人工智能的物联网控制方法，其特征在于，还包括：

预先将所述目标区域划分为若干子区域，每个子区域内均包含若干人脸识别跟踪摄像头；

获取采集目标用户的人脸图像清晰度最高的人脸识别跟踪摄像头所在的子区域作为目标用户所在子区域；

获取目标用户的语音指令，根据所述语音指令控制目标用户所在子区域内的指定物联网设备的工作状态。

3.根据权利要求1所述的一种基于人工智能的物联网控制方法，其特征在于，所述根据所述语音指令控制指定物联网设备的工作状态，还包括：

获取目标用户对指定物联网设备的历史语音指令；

获取所述历史语音指令中目标用户对指定物联网设备的历史控制参数指令；

根据所述历史控制参数指令统计出控制参数指令的时间规律，得到时间规律-控制参数指令集合；其中，所述时间规律-控制参数指令集合包括时间规律特征、控制参数指令之间的对应关系；

获取目标用户的语音指令，若所述目标用户中的语音指令中包含控制参数指令，根据包含控制参数指令的语音指令控制指定物联网设备的第一工作状态；其中，所述第一工作状态中的工作参数与所述控制参数指令一致；

若所述目标用户中的语音指令中不包含控制参数指令；

获取当前时间，根据所述当前时间确定当前时间对应的时间规律特征，根据所述时间规律特征查找对应的时间规律-控制参数指令集合；

若查找到匹配的控制参数指令，根据所述匹配的控制参数指令和不包含控制参数指令的语音指令控制指定物联网设备的第二工作状态；其中，所述第二工作状态中的工作参数与所述匹配的控制参数指令一致；

若查找不到匹配的控制参数指令，根据所述不包含控制参数指令的语音指令控制指定物联网设备的第三工作状态；其中，所述第三工作状态中的工作参数为指定物联网设备默认参数。

4.一种基于人工智能的物联网控制系统，其特征在于，包括：

识别模块，用于识别目标区域的所有用户；

筛选模块，用于根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户；

获取模块，用于获取目标用户的唇语信息；

分析模块，用于分析所述唇语信息得到语音指令；

控制模块，用于根据所述语音指令控制指定物联网设备的工作状态；

还包括提醒模块，所述提醒模块执行包括如下操作：采集数据，建立用户-表情集合；

获取目标用户发出的语音指令，根据语音指令中的控制参数指令、指定的物联网设备和发出语音指令的目标用户查找对应的用户-表情集合；

若查找到匹配的第一表情，判断所述第一表情的类型；

若所述第一表情的类型为难过类型，对目标用户发出提醒信号，同时重新获取目标用户的语音指令；

根据重新获取的目标用户的语音指令控制指定物联网设备的工作状态；

其中，采集数据，建立用户-表情集合详细步骤包括：

获取目标用户在发出语音指令时的人脸图像；

判断目标用户发出的语音指令中是否包含对指定物联网设备的工作参数进行修改的控制参数指令；

若是，将所述目标用户在发出语音指令时的人脸图像输入至预设的训练好的表情识别模型中，得到第一表情；其中，所述第一表情类型包括正常、开心、难过；

建立用户-表情集合，所述用户-表情集合包括目标用户、物联网设备、根据控制参数指令对物联网设备工作参数进行修改前的物联网设备工作参数、第一表情之间的对应关系；

其中，所述识别目标区域的所有用户，包括：

预先在进入目标区域的必经通道上设置人脸识别装置；

当用户进入目标区域时，通过人脸识别装置识别用户人脸图像；

将所述用户人脸图像添加至目标区域的用户人脸图像池中；

当用户离开目标区域时，通过人脸识别装置识别用户人脸图像；

从所述目标区域的用户人脸图像池中删除离开的用户人脸图像；

根据预设用户优先级别，将所有用户中优先级别最高的用户作为目标用户，包括：

预先在目标区域内设置若干人脸识别跟踪摄像头；

根据所述预设用户优先级别，从所述目标区域的用户人脸图像池中选取优先级别最高的用户人脸图像作为目标用户；

所述人脸识别跟踪摄像头根据所述目标用户的用户人脸图像对目标用户进行实时跟踪；

其中，获取目标用户的唇语信息，包括：

通过所述人脸识别跟踪摄像头获取目标用户的人脸图像；

将所述目标用户的人脸图像输入至预先训练好的唇语识别模型中，得到唇语识别结果；

将所述唇语识别结果输入至预先构建的语义理解模型中，得到目标用户的唇语信息；

其中，分析所述唇语信息得到语音指令，包括：

判断所述唇语信息中是否包含预设语音指令关键词；其中，所述预设语音指令关键词有且唯一对应一句完整语音指令；

若不包含，重新获取唇语信息；

若包含，根据所述唇语信息中的预设语音指令关键词得到与所述预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

还包括：用户个性化语音指令修正模块；所述用户个性化语音指令修正模块执行如下操作：

生成用户个性化语音指令字典；

获取不包含预设语音指令关键词的无效唇语信息以及所述无效唇语信息对应的目标用户；

查找用户个性化语音指令字典中所述目标用户对应的第二唇语集合；

将所述无效唇语信息与所述第二唇语集合进行匹配，若所述第二唇语集合中存在与所述无效唇语信息文本相似度大于预设文本相似度的第一唇语数据，获取所述第一唇语数据中的预设语音指令关键词；

根据所述预设语音指令关键词得到与所述预设语音指令关键词对应的完整语音指令作为目标用户的语音指令；

生成用户个性化语音指令字典的详细步骤包括：

S344、获取包含预设语音指令关键词的唇语信息作为第一唇语数据；其中，所述第一唇语数据包含目标用户的标签信息；

S345、根据不同目标用户的标签信息将所述第一唇语数据分割为若干个不同目标用户的第一唇语集合；其中，每个第一唇语集合中仅包含同一目标用户的第一唇语数据；

S346、对所述第一唇语集合中的所有第一唇语数据进行文本相似度判断，若任一第一唇语数据在所述第一唇语集合中存在文本相似度大于预设文本相似度的其他第一唇语数据，删除第一唇语集合中所述其他第一唇语数据，得到第二唇语集合；

S347、整合所有目标用户的第二唇语集合，生成用户个性化语音指令字典；其中，所述用户个性化语音指令字典中包含若干目标用户的第二唇语集合。

Images