CN109240745B - 一种指令分发的方法及装置 - Google Patents

Abstract

本发明提供的一种指令分发的方法及装置，通过对第一终端当前的屏幕截屏和第一终端前的用户当前的画面进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备，实现了现有的大数据和人工智能系统的融合，提高指令分发的准确性和控制用户使用IOT设备的效率。

Description

一种指令分发的方法及装置

技术领域

本发明涉及物联网技术领域，特别涉及一种指令分发的方法及装置。

背景技术

目前在物联网的发展过程中诞生出很多物联网产品，如智能家居、穿戴设备、智能畜牧业产品等，而在这些所谓的物联网产品只是将现有的各个厂商的物联网产品进行整合，实现一个物联网IOT的生态链。

如最近小米出的IOT开放平台，硬件产商可以将自己的硬件产品集成到IOT平台上以此达到用户可以通过手机和互联网来控制这些产品，而小米则利用自己的人工智能系统来控制这些产品。这仅仅是目前整个行业内的一个趋势，并非一个真正的物联网产品。

所谓的物联网产品，它并非是将现有的硬件联网、用户使用硬件的行为分析，而是将现有所有的硬件设备结合现有的大数据以及人工智能系统进行一个融合性的产物。因此需要一种基于大数据和人工智能系统融合的指令分发的方法及装置。

发明内容

本发明所要解决的技术问题是：提供一种指令分发的方法及装置，能够实现现有的大数据和人工智能系统的融合，提高指令分发的准确性和控制终端设备的效率。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种指令分发的方法，包括步骤：

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种指令分发的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现步骤：

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备。

本发明的有益效果在于：通过对第一终端当前的屏幕截屏和第一终端前的用户当前的画面进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备，实现了现有大数据和人工智能系统的融合，提高指令分发的准确性和控制用户使用IOT设备的效率。

附图说明

图1为本发明实施例的指令分发的方法流程图；

图2为本发明实施例的指令分发的装置的结构示意图；

标号说明：

1、指令分发的装置；     2、存储器；     3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于:通过对第一终端当前的屏幕截屏和第一终端前的用户当前的画面进行特征提取，得到用户画像，并根据用户画像控制指令的分发，实现了现有大数据和人工智能系统的融合，提高指令分发的准确性和控制用户使用IOT设备的效率。

请参照图1，一种指令分发的方法，包括步骤：

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备。

从上述描述可知，本发明的有益效果在于：通过对第一终端当前的屏幕截屏和第一终端前的用户当前的画面进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备，实现了现有的大数据和人工智能系统的融合，提高指令分发的准确性和控制用户使用IOT设备的效率。

进一步的，步骤S1之前还包括：

对采集图片的IOT设备进行身份验证，若验证成功，则发送相应的授权码至所述IOT设备，以使得所述IOT设备根据所述授权码进行图片采集。

由上述描述可知，通过对采集图片的IOT设备进行身份验证，并在验证成功后发送相应的授权码，提高了安全性，降低了用户隐私泄漏的风险。

进一步的，所述第一图片和第二图片为所述IOT设备在预设时间间隔内定时采集的。

由上述描述可知，通过在预设时间间隔内定时采集第一图片和第二图片，可防止出现过度频繁的采集图片。

进一步的，步骤S3所述的根据所述第一图片和第二图片进行特征提取，得到用户画像具体包括：

S31、根据所述第一图片和第二图片进行特征提取，得到特征点；

S32、根据所述特征点分别在人工智能系统训练库中的第一训练集和第一测试集中进行训练，得到第一训练数据和第一测试数据，并根据所述第一训练数据和所述第一测试数据进行交叉验证，得到正确率；

S33、根据所述正确率得到用户画像，并标定当前用户行为。

由上述描述可知，通过交叉验证得到正确率，并根据正确率得到用户画像，提高了标定当前用户行为的准确性。

进一步的，步骤S3中所述的根据所述用户画像发送相应的控制指令至所述IOT设备具体包括：

S34、根据所述用户画像从预设的列表中进行指令匹配，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备。

由上述描述可知，通过将用户画像从预设的列表中进行指令匹配，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备，提高了指令分发的准确性和控制用户使用IOT设备的效率。

请参照图2，一种指令分发的装置1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现步骤：

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备。

从上述描述可知，本发明的有益效果在于：通过对第一终端当前的屏幕截屏和第一终端前的用户当前的画面进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备，实现了现有的大数据和人工智能系统的融合，提高指令分发的准确性和控制用户使用IOT设备的效率。

进一步的，步骤S1之前还包括：

对采集图片的IOT设备进行身份验证，若验证成功，则发送相应的授权码至所述IOT设备，以使得所述IOT设备根据所述授权码进行图片采集。

由上述描述可知，通过对采集图片的IOT设备进行身份验证，并在验证成功后发送相应的授权码，提高了安全性，降低了用户隐私泄漏的风险。

进一步的，所述第一图片和第二图片为所述IOT设备在预设时间间隔内定时采集的。

由上述描述可知，通过在预设时间间隔内定时采集第一图片和第二图片，可防止出现过度频繁的采集图片。

进一步的，步骤S3所述的根据所述第一图片和第二图片进行特征提取，得到用户画像具体包括：

S31、根据所述第一图片和第二图片进行特征提取，得到特征点；

S32、根据所述特征点分别在人工智能系统训练库中的第一训练集和第一测试集中进行训练，得到第一训练数据和第一测试数据，并根据所述第一训练数据和所述第一测试数据进行交叉验证，得到正确率；

S33、根据所述正确率得到用户画像，并标定当前用户行为。

由上述描述可知，通过交叉验证得到正确率，并根据正确率得到用户画像，提高了标定当前用户行为的准确性。

进一步的，步骤S3中所述的根据所述用户画像发送相应的控制指令至所述IOT设备具体包括：

S34、根据所述用户画像从预设的列表中进行指令匹配，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备。

由上述描述可知，通过将用户画像从预设的列表中进行指令匹配，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备，提高了指令分发的准确性和控制用户使用IOT设备的效率。

实施例一

请参照图1，一种指令分发的方法，包括步骤：

对采集图片的IOT设备进行身份验证，若验证成功，则发送相应的授权码至所述IOT设备，以使得所述IOT设备根据所述授权码进行图片采集；

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面，所述第一图片和第二图片为所述IOT设备在预设时间间隔内定时采集的；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备；

步骤S3所述的根据所述第一图片和第二图片进行特征提取，得到用户画像具体包括：

S31、根据所述第一图片和第二图片进行特征提取，得到特征点；

S32、根据所述特征点分别在人工智能系统训练库中的第一训练集和第一测试集中进行训练，得到第一训练数据和第一测试数据，并根据所述第一训练数据和所述第一测试数据进行交叉验证，得到正确率；

S33、根据所述正确率得到用户画像，并标定当前用户行为；

步骤S3中所述的根据所述用户画像发送相应的控制指令至所述IOT设备具体包括：

S34、根据所述用户画像从预设的列表中进行指令匹配，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备。

实施例二

本实施例将结合具体的应用场景，进一步说明本发明上述指令分发的分发是如何实现的：

1、图片采集前的准备工作

1.1、开启IOT设备端，进入IOT设备端应用；

1.2、IOT设备端初始化设备产商号、设备版本等身份信息，发送所述身份信息至IOT平台端进行验证，若验证成功，则发送相应的授权码至所述IOT设备；

1.3、IOT设备端接受所述授权码，并根据所述授权码启动屏幕采集服务CaptureService进行图片采集；

1.4、启动CaptureService后，启动相机摄像头采集服务CameraService；

1.5、CameraService启动后，发送启动成功的指令给IOT设备端；

1.6、IOT设备端接收到CameraService发送的启动成功指令后，发送第一命令至IOT平台端；

1.7、IOT平台端根据所述第一命令创建CaptureThread来接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏；

屏幕截屏产生的第一图片还包括截屏的时间以及触摸点坐标，如用户小明在玩王者荣耀时，通过获取用户在屏幕上触摸的点坐标，根据所述屏幕截屏和相应的点坐标提高后续进行用户画像时判断当前用户行为的准确性；

IOT平台端根据所述第一命令创建CameraThread来接收IOT设备的摄像头采集H263格式的第二图片，所述第二图片包括第一终端前的用户当前的画面；

识别用户的人脸特征，分析用户的心理状态，如人工智能系统在进行用户画像时，识别到用户小明的人脸特征为“兴奋”；

2、图片采集过程

2.1、IOT平台端在成功创建CaptureThread和CameraThread后，发送开始采集命令至IOT设备端；

2.2、IOT设备端接收所述开始采集命令后，发送开始采集的指令至所述CaptureService和CameraService进行图片采集；

2.3、CameraService在预设时间间隔内定时采集所述第一图片和第二图片，其中第一图片为RGB格式的图片，需要将其转换为H263编码后的图片；

2.4、CaptureThread接收所述第一图片并存储；

2.5、CameraThread接收所述第二图片并存储；

3、图片采集后的处理工作

3.1、根据所述第一图片和第二图片进行特征提取，得到特征点；

3.2、根据所述特征点分别在人工智能系统训练库中的第一训练集和第一测试集中进行训练，得到第一训练数据和第一测试数据，并根据所述第一训练数据和所述第一测试数据进行交叉验证，得到正确率；

所述交叉验证具体为将所述特征点分别与第一训练集和第一测试集进行K-近邻算法(K-NearesNeighbor)聚类，从而得到所述特征点在第一训练集中的第一误差率以及在第一测试集中的第二误差率，然后根据所述第一误差率和第二误差率通过sklkit-learn的分类函数(metrics)进行交叉验证，从而得出正确率；

人工智能系统训练库中已通过爬虫的方式将大量的图库数据爬虫至本地并形成第一训练集和第一测试集，训练的主要过程是根据所述特征点和训练库中的第一训练集对所述特征点进行分类，即划分所述特征点所属的类别，再进一步的判断所述特征点是否已存在该类别中，如果存在，则进行下一部的分析(如第一训练集中的某个类别是王者荣耀的特征点，那么人工智能系统则认定所述第一图片为王者荣耀)，此时将该用户的首次定义字段为：王者荣耀；

3.3、根据所述正确率得到用户画像，并标定当前用户行为；

根据所述正确率判断与所述特征点对应的图片属于哪一类图片，从而根据聚类的类型打上TAG标签，从而标定当前用户行为；

则产生的用户画像为：小明、兴奋、玩王者荣耀；

3.4、IOT平台端根据所述用户画像从预设的列表中进行指令匹配，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备；

IOT平台端根据所述小明的用户画像快速的从预设的列表中匹配出相关应用程序的包名，并发送指令关闭该应用程序；

比如：IOT平台发送关闭王者荣耀的程序，则IOT设备端将执行相应的应用程序，并发送警告信息，关闭该应用程序并在预设时间内阻止该应用再次启动，本发明还可应用于老师在上课期间，通过利用图像采集以及人工智能，使得学生无法操作自己的设备，从而保证课堂的质量。

实施例三

请参照图2，一种指令分发的装置1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一中的各个步骤。

综上所述，本发明提供的一种指令分发的方法及装置，通过对第一终端当前的屏幕截屏和第一终端前的用户当前的画面进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备，实现了现有的大数据和人工智能系统的融合，提高指令分发的准确性和控制用户使用IOT设备的效率，通过对采集图片的IOT设备进行身份验证，并在验证成功后发送相应的授权码，提高了安全性，降低了用户隐私泄漏的风险，通过交叉验证得到正确率，并根据正确率得到用户画像，提高了标定当前用户行为的准确性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种指令分发的方法，其特征在于，包括步骤：

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏，所述第一图片为RGB格式，将其转换为H263编码后的图片；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面，所述第二图片为H263格式；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备；

步骤S3所述的根据所述第一图片和第二图片进行特征提取，得到用户画像具体包括：

S31、根据所述第一图片和第二图片进行特征提取，得到特征点；

S32、根据所述特征点分别在人工智能系统训练库中的第一训练集和第一测试集中进行训练，得到第一训练数据和第一测试数据，并根据所述第一训练数据和所述第一测试数据进行交叉验证，得到正确率；

所述交叉验证具体为将所述特征点分别与第一训练集和第一测试集进行K-近邻算法聚类，从而得到所述特征点在第一训练集中的第一误差率以及在第一测试集中的第二误差率，然后根据所述第一误差率和第二误差率通过sklkit-learn的分类函数进行交叉验证，从而得出正确率；

S33、根据所述正确率得到用户画像，并标定当前用户行为；

所述第一图片还包括与所述屏幕截屏对应的触摸点坐标，通过获取用户在屏幕上触摸的点坐标，根据所述屏幕截屏和相应的点坐标提高后续进行用户画像时判断当前用户行为的准确性；

所述根据所述用户画像发送相应的控制指令至所述IOT设备包括：

IOT平台端根据所述用户画像从预设的列表中进行指令匹配，匹配出相关应用程序的包名，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备；

所述人工智能系统训练库中通过爬虫的方式将大量的图库数据爬虫至本地并形成所述第一训练集和所述第一测试集，训练的主要过程是根据所述特征点和训练库中的第一训练集对所述特征点进行分类；

所述第一图片和第二图片为所述IOT设备在预设时间间隔内定时采集的；

对采集图片的IOT设备进行身份验证，若验证成功，则发送相应的授权码至所述IOT设备，以使得所述IOT设备根据所述授权码进行图片采集。

2.一种指令分发的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现步骤：

S1、接收IOT设备采集的第一图片，所述第一图片包括第一终端当前的屏幕截屏，所述第一图片为RGB格式，将其转换为H263编码后的图片；

S2、接收IOT设备采集的第二图片，所述第二图片包括第一终端前的用户当前的画面，所述第二图片为H263格式；

S3、根据所述第一图片和第二图片进行特征提取，得到用户画像，并根据所述用户画像发送相应的控制指令至所述IOT设备；

步骤S3所述的根据所述第一图片和第二图片进行特征提取，得到用户画像具体包括：

S31、根据所述第一图片和第二图片进行特征提取，得到特征点；

S32、根据所述特征点分别在人工智能系统训练库中的第一训练集和第一测试集中进行训练，得到第一训练数据和第一测试数据，并根据所述第一训练数据和所述第一测试数据进行交叉验证，得到正确率；

所述交叉验证具体为将所述特征点分别与第一训练集和第一测试集进行K-近邻算法聚类，从而得到所述特征点在第一训练集中的第一误差率以及在第一测试集中的第二误差率，然后根据所述第一误差率和第二误差率通过sklkit-learn的分类函数进行交叉验证，从而得出正确率；

S33、根据所述正确率得到用户画像，并标定当前用户行为；

所述第一图片还包括与所述屏幕截屏对应的触摸点坐标，通过获取用户在屏幕上触摸的点坐标，根据所述屏幕截屏和相应的点坐标提高后续进行用户画像时判断当前用户行为的准确性；

所述根据所述用户画像发送相应的控制指令至所述IOT设备包括：

IOT平台端根据所述用户画像从预设的列表中进行指令匹配，匹配出相关应用程序的包名，得到与所述用户画像相应的控制指令，并发送所述控制指令至所述IOT设备；

所述人工智能系统训练库中通过爬虫的方式将大量的图库数据爬虫至本地并形成所述第一训练集和所述第一测试集，训练的主要过程是根据所述特征点和训练库中的第一训练集对所述特征点进行分类；

所述第一图片和第二图片为所述IOT设备在预设时间间隔内定时采集的；

对采集图片的IOT设备进行身份验证，若验证成功，则发送相应的授权码至所述IOT设备，以使得所述IOT设备根据所述授权码进行图片采集。

Images