CN115718443A - 控制指令的确定方法及装置、存储介质及电子装置 - Google Patents

Abstract

本申请公开了一种控制指令的确定方法及装置、存储介质及电子装置，涉及智慧家庭技术领域，该控制指令的确定方法包括：通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。采用上述技术方案，解决了设备无法针对用户的行为进行相应的设备控制，导致设备的智能化程度较低的问题。

Description

控制指令的确定方法及装置、存储介质及电子装置

技术领域

本申请涉及智慧家庭技术领域，具体而言，涉及一种控制指令的确定方法及装置、存储介质及电子装置。

背景技术

随着社会的快速发展，人们对于家电设备的需求正在从基本功能需求转向智能化需求，但现有家电设备还是停留在人为主动控制的层次上，即用户通过终端或者语音交互等对家电设备下发控制指令。例如当用户要出门的时候，用户需要通过终端或者语音交互进行一系列电器关闭操作，繁琐而且不够智能化。

针对相关技术中，设备无法针对用户的行为进行相应的设备控制，导致设备的智能化程度较低的问题，目前尚未提出有效的解决方案。

因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

发明内容

本发明实施例提供了一种控制指令的确定方法及装置、存储介质及电子装置，以至少解决设备无法针对用户的行为进行相应的设备控制，导致设备的智能化程度较低的问题。

根据本发明实施例的一方面，提供一种控制指令的确定方法，包括：通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

在一个示例性的实施例中，确定所述目标对象的行为偏好，包括：获取所述目标对象在目标应用上设置的行为偏好，其中，所述目标应用被设置为允许控制所述第一组设备中的设备；或者获取目标对象在第二预设时间内对第一组设备的第二操作记录，并根据所述第二操作记录确定所述目标对象的行为偏好，其中，所述第二预设时间对应的时长大于所述第一预设时间对应的时长。

在一个示例性的实施例中，根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图，包括：将所述目标图像、所述第一操作记录和所述行为偏好进行特征处理后输入至意图识别模型中，得到多个意图以及与所述多个意图对应的概率；将所述多个意图中概率最大的意图确定为所述目标对象的目标意图。

在一个示例性的实施例中，所述意图识别模型至少包括第一模块、第二模块、第三模块、第四模块；所述第一模块用于通过所述目标对象的位置与所述目标对象的动作得到第一中间结果，所述第二模块用于根据所述第一操作记录得到第二中间结果，所述第三模块用于通过所述行为偏好确定第三中间结果，所述第四模块用于通过所述第一中间结果、所述第二中间结果和所述第三中间结果确定所述多个意图以及与所述多个意图对应的概率，所述目标对象的位置与所述目标对象的动作通过对所述目标图像进行图像识别得到。

在一个示例性的实施例中，根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图之后，所述方法还包括：指示所述目标对象确定所述目标意图是否正确；在所述目标对象确定所述目标意图不正确的情况下，获取所述目标对象反馈的真实意图，并将目标数据以及所述目标数据与所述真实意图的对应关系作为一条训练数据保存至目标列表中，其中，所述目标数据包括所述目标图像、所述第一操作记录、所述行为偏好；在所述目标列表中的训练数据的数目大于预设阈值的情况下，根据所述目标列表中的训练数据重新训练所述意图识别模型；根据所述目标意图确定一组控制指令，包括：在所述目标对象确定所述目标意图正确的情况下，根据所述目标意图确定一组控制指令。

在一个示例性的实施例中，根据所述目标意图确定一组控制指令，包括：根据预设的意图与控制指令的对应关系确定与所述目标意图对应的一组控制指令；或者根据环境信息、所述目标对象的行为偏好和所述目标意图确定一组控制指令。

在一个示例性的实施例中，根据所述环境信息、所述目标对象的行为偏好和所述目标意图确定一组控制指令，包括：根据所述目标对象的行为偏好和所述目标意图确定第二组设备；根据所述环境信息和所述行为偏好确定所述第二组设备中每个设备的运行参数，并根据所述每个设备的运行参数确定所述一组控制指令。

根据本发明实施例的另一方面，还提供了一种控制指令的确定装置，包括：获取模块，用于通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；第一确定模块，用于根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；第二确定模块，用于根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述控制指令的确定方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述控制指令的确定方法。

通过本发明，根据图像采集设备对目标对象进行图像采集得到的目标图像、目标对象在第一预设时间内对第一组设备的第一操作记录以及目标对象的行为偏好确定目标对象的目标意图，进而根据目标意图确定用于控制第二组设备的一组控制指令。由于可以提前预判确定用户的意图，进而根据用户的意图来对设备进行设备控制，进而解决了设备无法针对用户的行为进行相应的设备控制，导致设备的智能化程度较低的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种控制指令的确定方法的硬件环境示意图；

图2是根据本发明实施例的控制指令的确定方法的流程图(一)；

图3是根据本发明实施例的控制指令的确定方法的流程图(二；

图4是根据本发明实施例的控制指令的确定装置的结构框图(一)；

图5是根据本发明实施例的控制指令的确定装置的结构框图(二)。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面，提供了一种控制指令的确定方法。该控制指令的确定方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述控制指令的确定方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。

上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。

为了解决上述问题，在本实施例中提供了一种控制指令的确定方法，包括但不限于应用在云端服务器中，图2是根据本发明实施例的控制指令的确定方法的流程图(一)，该流程包括如下步骤：

步骤S202，通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；

需要说明的是，图像采集设备可以为一个或者多个。在图像采集设备为多个的情况下，可以通过多个图像采集设备对目标图像进行采集，进而将多个设备采集到的图像进行拼接，得到目标图像。图像采集设备包括具有图像采集功能的设备，例如，具有图像采集功能的冰箱，电视，洗衣机，门锁等等。

需要说明的是，第一组设备可以理解为家庭中包括的所有设备。

在一个示例性的实施例中，第一预设时间可以为10分钟内。具体值可以通过目标对象(即使用设备的用户)进行设置，也可以由云端服务器根据意图预判的结果进行相应的调整。

在一个示例性的实施例中，确定所述目标对象的行为偏好，可以通过以下方式之一实现：

方式一：获取所述目标对象在目标应用上设置的行为偏好，其中，所述目标应用被设置为允许控制所述第一组设备中的设备；

需要说明的是，在第一组设备中的设备对应的进行设备控制的应用不相同，即具有多个的情况下，可以获取目标对象在多个应用上设置的行为偏好。进而综合确定目标对象的行为偏好。

在本实施例中，通过方式一获取目标对象的行为偏好，可以使得获取到的目标对象的行为偏好更加准确。

方式二：获取目标对象在第二预设时间内对第一组设备的第二操作记录，并根据所述第二操作记录确定所述目标对象的行为偏好，其中，所述第二预设时间对应的时长大于所述第一预设时间对应的时长。

需要说明的是，目标对象的行为偏好包括但不限于目标对象在做一件事情的前后对设备进行的操作、目标对象的喜好和画像等等。

需要说明的是，第二预设时间可以为1个月内，2个月内。

上述方式二，可以在目标对象没有在目标应用上设置的行为偏好的情况下，也可以确定目标对象的行为偏好，避免了在预测目标对象的意图的时候，由于缺乏目标对象的行为偏好所导致的预测准确度较低。

在一个示例性的实施例中，也可以通过目标对象在目标应用上设置的行为偏好以及目标对象在第二预设时间内对第一组设备的第二操作记录共同确定目标对象的行为偏好。

步骤S204，根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；

需要说明的是，相比单独使用目标图像、第一操作记录和行为偏好中的一个进行意图的预测，使用目标图像、第一操作记录和行为偏好共同进行意图的预测，可以提高预测的准确性。

在一个示例性的实施例中，上述步骤S204可以通过以下方式实现：将所述目标图像、所述第一操作记录和所述行为偏好进行特征处理后输入至意图识别模型中，得到多个意图以及与所述多个意图对应的概率；将所述多个意图中概率最大的意图确定为所述目标对象的目标意图。可选的，上述意图识别模型为一种深度学习模型，意图识别模型为预先根据训练数据训练好的。

需要说明的是，意图包括但不限于：出门，办公、会客、娱乐等等。具体的，还可以预测目标对象的目标意图为出门半个小时等。

在本实施例中，通过意图识别模型的方式来对目标对象的意图进行预测，可以更方便的进行意图的预测，并且使得预测到的意图更加准确。

在一个示例性的实施例中，意图识别模型至少包括第一模块、第二模块、第三模块、第四模块；所述第一模块用于通过所述目标对象的位置与所述目标对象的动作得到第一中间结果，所述第二模块用于根据所述第一操作记录得到第二中间结果，所述第三模块用于通过所述行为偏好确定第三中间结果，所述第四模块用于通过所述第一中间结果、所述第二中间结果和所述第三中间结果确定所述多个意图以及与所述多个意图对应的概率，所述目标对象的位置与所述目标对象的动作通过对所述目标图像进行图像识别得到。

需要说明的是，第一模块可以先对图像采集设备采集得到的目标图像进行图像识别，进而确定目标对象的位置与目标对象的动作(例如，确定目标对象此时正在客厅中看电视、在厨房做饭等等)。

在一个示例性的实施例中，假设图像采集设备采集到第一图像，其中，第一图像用于指示目标对象此时正在门口穿鞋，获取到的第一操作记录用于指示用户10分钟前开启洗衣机清洗衣物，用户的行为偏好指示目标对象经常在开启洗衣机以后出门半小时左右，进而通过意图识别模型进行预测，确定目标对象的目标意图为出门半小时。

在本实施例中，在构建意图识别模型的时候，通过不同模块对不同的数据进出处理和预测，并将不同模块的处理预测结果进行综合处理，可以使得意图识别模型的预测效率更高，预测结果更加准确。

在一个示例性的实施例中，在执行完上述步骤S204之后，还具有以下步骤S11-S14：

步骤S11：指示所述目标对象确定所述目标意图是否正确；

具体的，可以将确定的目标意图发送与至目标对象相对应的移动终端，使得在移动终端上显示目标意图，指示目标对象确定目标意图是否正确。

需要说明的是，移动终端包括但不限于：手机，手表等等。

步骤S12：在所述目标对象确定所述目标意图不正确的情况下，获取所述目标对象反馈的真实意图，并将目标数据以及所述目标数据与所述真实意图的对应关系作为一条训练数据保存至目标列表中，其中，所述目标数据包括所述目标图像、所述第一操作记录、所述行为偏好；

需要说明的是，如果目标对象通过移动终端确定识别的意图不正确，则目标对象可以通过移动终端向云端服务器反馈真实的意图。

在一个示例性的实施例中，在获取到目标对象的真实意图以后，可以根据真实意图确定第二组控制指令，进而控制与第二组控制指令相对应的第三组设备执行相对应的操作。

步骤S13：在所述目标列表中的训练数据的数目大于预设阈值的情况下，根据所述目标列表中的训练数据重新训练所述意图识别模型；

需要说明的是，上述根据目标对象的反馈意见对意图识别模型进行迭代优化，进一步的提高了意图识别模型预测目标对象的意图的准确性。

步骤S14：在所述目标对象确定所述目标意图正确的情况下，根据所述目标意图确定一组控制指令。

可选的，只有意图识别模型识别得到的目标对象的目标意图正确的情况下，才执行步骤S206。

步骤S206，根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作；

需要说明的是，第二组设备中设备为目标对象所在的家庭中的部分设备。在第一组设备为家庭中的全部设备的情况下，所述第一组设备包括第二组设备。

在一个示例性的实施例中，上述步骤S206可以通过以下方式三或者方式四实现：

方式三：根据预设的意图与控制指令的对应关系确定与所述目标意图对应的一组控制指令；

需要说明的是，预设的意图与控制指令的对应关系可以通过控制指令表来体现，控制指令表中的意图与控制指令的对应关系可以是目标对象自定义的。

也就是说，目标对象可以根据不同的意图来自定义不同的控制指令，例如，当意图为长时间出门的时候，控制指令为关闭家中所有的设备。当意图为出门半小时的时候，控制指令为将家中的照明电器关闭等等。

在本实施例中，用户可以根据不同的意图自定义不同的控制指令，可以使得控制指令完全符合用户的实际需求，进而提高了用户的体验感。

方式四：根据环境信息、所述目标对象的行为偏好和所述目标意图确定一组控制指令。

上述方式四，可以避免在用户没有根据意图自定义控制指令时，无法确定控制指令的情况，提高了用户的体验感；同时根据环境信息、目标对象的行为偏好和目标意图确定控制指令，也可以使得预测到的控制指令更加准确。

在一个示例性的实施例中，上述方式四可以通过以下方式实现：根据所述目标对象的行为偏好和所述目标意图确定第二组设备；根据所述环境信息和所述行为偏好确定所述第二组设备中每个设备的运行参数，并根据所述每个设备的运行参数确定所述一组控制指令。

需要说明的是，由于目标对象的行为偏好包括目标对象在做一件事情以后，所执行的设备操作，例如，在出门回家以后，所做的设备操作，进而可以根据目标对象的行为偏好和目标意图确定要进行设备控制的第二组设备。例如，用户在出门回家以后，会打开空调，开启照明，使用热水器烧水等等。进而第二组设备包括空调，照明灯，热水器。

需要说明的是，在确定了第二组设备以后，就可以根据当前的环境信息以及用户的行为偏好共同确定第二组设备中每一个设备的控制指令。例如，以空调为例，用户的行为偏好指示用户经常开28度。但由于此时环境温度十分热，则可以根据根据环境温度将空调温度设置为25度。再例如，用户在回家以后，经常将照明灯调整到最亮的档位，但由于此时环境信息指示当前室内外面环境光线相对充足，进而可以将照明灯的亮度设置得较暗。

需要说明的是，在本实施例中，先根据行为偏好和目标意图确定待控制的设备，再根据环境信息和行为偏好确定设备的运行参数，可以使得最终的控制指令较为符合用户的实际需求，提高了用户的体验感。

通过上述步骤，根据图像采集设备对目标对象进行图像采集得到的目标图像、目标对象在第一预设时间内对第一组设备的第一操作记录以及目标对象的行为偏好确定目标对象的目标意图，进而根据目标意图确定用于控制第二组设备的一组控制指令。由于可以提前预判确定用户的意图，进而根据用户的意图来对设备进行设备控制，进而解决了设备无法针对用户的行为进行相应的设备控制，导致设备的智能化程度较低的问题。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：

在一个可选的实施例中，图3是根据本发明实施例的控制指令的确定方法的流程图(二)，具体，包括以下步骤：

步骤S301：用户居家场景物联网数据上传(摄像头采集的图像数据，家电设备(例如：空调，冰箱)的使用记录)；

具体的，用户居家场景物联网数据上传，包含家居摄像头识别出的用户所在家居的位置(客厅，厨房等)，用户动作序列(站立，行走，就坐等)，用户使用家电设备的操作记录，比如开关操作，调整操作等，家电设备包括电视，空调，冰箱等所有进行过设备绑定的家电单元。

步骤S302：数据云端原始数据结构化，多模态特征加工生成；

具体的，将上述步骤S301中获取到的原始数据进行清洗，分析加工，生产出结构化的特征维度数据。

步骤S303：构建用户居家场景意图分类体系，通过摄像头采集的图像数据对用户意图打标；

需要说明的是，需要将用户居家场景的意图进行分类，构建意图分类体系，比如分为睡觉，洗澡，做饭，用餐，运动，娱乐，办公，会客，出门大类意图。再在每个大类意图下拆分二级小类意图，比如娱乐拆分为看电视，打游戏等。通过家居摄像头采集到的图像数据识别出用户当前的意图，比如用户穿鞋后打开门离开屋子，则可认为用户当下的意图为出门。

步骤S304：搭建深度学习bi-directional-LSTM模型，训练用户意图识别模型；

需要说明的是，可以根据用户意图的特征(用户意图发生前的特征)和标签(用户发生的意图分类)，基于此数据集作为训练数据，进行用户意图识别模型的训练，模型结构可采用深度学习的Bi-directional-LSTM模型，输入为用户的各种行为序列以及用户画像相关的统计类特征，输出为用户意图的概率分布向量。

步骤S305：对用户居家意图进行预测，通过手机app或其他智能穿戴设备对用户进行意图推送，等待用户确认反馈；

也就是说，在得到训练好的用户意图识别模型后，可实时通过云端用户上报的数据计算而得的特征对用户意图进行预测，通过手机APP或其他智能穿戴设备对用户进行意图推送，获取用户是否确认该意图的反馈，如用户不反馈则默认意图识别错误。

步骤S306：如果用户确认意图，针对用户意图智能化对家居连接的各种家电设备做出调整动作，然后告知用户做了哪些操作，获取用户对设备操作的反馈；

需要说明的是，如果用户确认意图，针对相应意图，结合用户当时所处环境以及用户历史行为习惯偏好等，个性化对于绑定的家电进行相关操作和配置。比如用户确认为短时间出行意图后，同时用户之前一直开启了空调制冷，则会关闭空调以外的家电，比如电灯。调整后再次通过手机app或其他智能设备告知用户所进行的智能操作，用户可反馈对于操作哪些是满意的，哪些有待改进。如用户不反馈则默认操作满意。

步骤S307：收集用户反馈对意图和设备操作的反馈，上报到云端，形成数据闭环，对意图模型以及用户相应意图操作进行迭代优化。

也就是说，可以建立完整的用户反馈机制，获取用户的反馈，进而对用户意图识别模型以及用户相应意图操作进行迭代优化，形成数据闭环，提升用户体验。

本发明实施例可以通过多模态数据记录用户习惯，用户行为模式，用户偏好等。进而结合多模态数据使用人工智能深度学习模型对用户意图进行深度识别，在用户未明确告知的情况下对用户意图进行预测，进而针对预测出的用户意图进行相应场景的智能化配置。

也就是说，本发明实施例在家居场景中，充分利用物联网技术，将用户家居行为多模态特征数据进行充分挖掘，更加智能化的理解用户需求，对用户居家场景的各种意图进行细粒度预测，个性化智能化为用户相应意图进行居家场景配置，提升用户居家体验。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

在本实施例中还提供了一种控制指令的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的控制指令的确定装置的结构框图(一)，该装置包括：

获取模块42，用于通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；

第一确定模块44，用于根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；

第二确定模块46，用于根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

通过上述装置，根据图像采集设备对目标对象进行图像采集得到的目标图像、目标对象在第一预设时间内对第一组设备的第一操作记录以及目标对象的行为偏好确定目标对象的目标意图，进而根据目标意图确定用于控制第二组设备的一组控制指令。由于可以提前预判确定用户的意图，进而根据用户的意图来对设备进行设备控制，进而解决了设备无法针对用户的行为进行相应的设备控制，导致设备的智能化程度较低的问题。

在一个示例性的实施例中，获取模块42，还用于获取所述目标对象在目标应用上设置的行为偏好，其中，所述目标应用被设置为允许控制所述第一组设备中的设备；或者获取目标对象在第二预设时间内对第一组设备的第二操作记录，并根据所述第二操作记录确定所述目标对象的行为偏好，其中，所述第二预设时间对应的时长大于所述第一预设时间对应的时长。

在一个示例性的实施例中，第一确定模块44，用于将所述目标图像、所述第一操作记录和所述行为偏好进行特征处理后输入至意图识别模型中，得到多个意图以及与所述多个意图对应的概率；将所述多个意图中概率最大的意图确定为所述目标对象的目标意图。

在一个示例性的实施例中，所述意图识别模型至少包括第一模块、第二模块、第三模块、第四模块；所述第一模块用于通过所述目标对象的位置与所述目标对象的动作得到第一中间结果，所述第二模块用于根据所述第一操作记录得到第二中间结果，所述第三模块用于通过所述行为偏好确定第三中间结果，所述第四模块用于通过所述第一中间结果、所述第二中间结果和所述第三中间结果确定所述多个意图以及与所述多个意图对应的概率，所述目标对象的位置与所述目标对象的动作通过对所述目标图像进行图像识别得到。

图5是根据本发明实施例的控制指令的确定装置的结构框图(二)，该装置包括：处理模块48，用于在根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图之后，指示所述目标对象确定所述目标意图是否正确；在所述目标对象确定所述目标意图不正确的情况下，获取所述目标对象反馈的真实意图，并将目标数据以及所述目标数据与所述真实意图的对应关系作为一条训练数据保存至目标列表中，其中，所述目标数据包括所述目标图像、所述第一操作记录、所述行为偏好；在所述目标列表中的训练数据的数目大于预设阈值的情况下，根据所述目标列表中的训练数据重新训练所述意图识别模型；第二确定模块，还用于在所述目标对象确定所述目标意图正确的情况下，根据所述目标意图确定一组控制指令。

在一个示例性的实施例中，第二确定模块46，还用于根据预设的意图与控制指令的对应关系确定与所述目标意图对应的一组控制指令；或者根据环境信息、所述目标对象的行为偏好和所述目标意图确定一组控制指令。

在一个示例性的实施例中，第二确定模块46，还用于根据所述目标对象的行为偏好和所述目标意图确定第二组设备；根据所述环境信息和所述行为偏好确定所述第二组设备中每个设备的运行参数，并根据所述每个设备的运行参数确定所述一组控制指令。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；

S2，根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；

S3，根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；

S2，根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；

S3，根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种控制指令的确定方法，其特征在于，包括：

通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；

根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；

根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

2.根据权利要求1所述的方法，其特征在于，确定所述目标对象的行为偏好，包括：

获取所述目标对象在目标应用上设置的行为偏好，其中，所述目标应用被设置为允许控制所述第一组设备中的设备；或者

获取目标对象在第二预设时间内对第一组设备的第二操作记录，并根据所述第二操作记录确定所述目标对象的行为偏好，其中，所述第二预设时间对应的时长大于所述第一预设时间对应的时长。

3.根据权利要求1所述的方法，其特征在于，根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图，包括：

将所述目标图像、所述第一操作记录和所述行为偏好进行特征处理后输入至意图识别模型中，得到多个意图以及与所述多个意图对应的概率；

将所述多个意图中概率最大的意图确定为所述目标对象的目标意图。

4.根据权利要求3所述的方法，其特征在于，所述意图识别模型至少包括第一模块、第二模块、第三模块、第四模块；所述第一模块用于通过所述目标对象的位置与所述目标对象的动作得到第一中间结果，所述第二模块用于根据所述第一操作记录得到第二中间结果，所述第三模块用于通过所述行为偏好确定第三中间结果，所述第四模块用于通过所述第一中间结果、所述第二中间结果和所述第三中间结果确定所述多个意图以及与所述多个意图对应的概率，所述目标对象的位置与所述目标对象的动作通过对所述目标图像进行图像识别得到。

5.根据权利要求3所述的方法，其特征在于，

根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图之后，所述方法还包括：

指示所述目标对象确定所述目标意图是否正确；

在所述目标对象确定所述目标意图不正确的情况下，获取所述目标对象反馈的真实意图，并将目标数据以及所述目标数据与所述真实意图的对应关系作为一条训练数据保存至目标列表中，其中，所述目标数据包括所述目标图像、所述第一操作记录、所述行为偏好；

在所述目标列表中的训练数据的数目大于预设阈值的情况下，根据所述目标列表中的训练数据重新训练所述意图识别模型；

根据所述目标意图确定一组控制指令，包括：

在所述目标对象确定所述目标意图正确的情况下，根据所述目标意图确定一组控制指令。

6.根据权利要求1所述的方法，其特征在于，根据所述目标意图确定一组控制指令，包括：

根据预设的意图与控制指令的对应关系确定与所述目标意图对应的一组控制指令；或者

根据环境信息、所述目标对象的行为偏好和所述目标意图确定一组控制指令。

7.根据权利要求6所述的方法，其特征在于，根据所述环境信息、所述目标对象的行为偏好和所述目标意图确定一组控制指令，包括：

根据所述目标对象的行为偏好和所述目标意图确定第二组设备；

根据所述环境信息和所述行为偏好确定所述第二组设备中每个设备的运行参数，并根据所述每个设备的运行参数确定所述一组控制指令。

8.一种控制指令的确定装置，其特征在于，包括：

获取模块，用于通过图像采集设备对目标对象进行图像采集，得到目标图像；以及获取目标对象在第一预设时间内对第一组设备的第一操作记录；以及确定所述目标对象的行为偏好；

第一确定模块，用于根据所述目标图像、所述第一操作记录和所述行为偏好确定所述目标对象的目标意图；

第二确定模块，用于根据所述目标意图确定一组控制指令，其中，所述一组控制指令用于控制第二组设备执行相对应的操作。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。

Images