CN115937855B - 一种基于大数据的智能设备控制方法及系统 - Google Patents

Abstract

本发明适用于设备控制技术领域，尤其涉及一种基于大数据的智能设备控制方法及系统，所述方法包括：与智能设备建立数据连接，获取智能设备画面截图；通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果；根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。本发明通过不断从智能设备获取画面截图，对画面截图进行实时分析，判定智能设备当前是否需要进行操作，若需要进行操作，则识别画面截图的中的文字，根据文字内容确定交互方式，生成相应的指令对智能设备进行控制，实现了自动关闭广告的操作，提升了用户体验。

Description

一种基于大数据的智能设备控制方法及系统

技术领域

本发明属于设备控制技术领域，尤其涉及一种基于大数据的智能设备控制方法及系统。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

在当前的家庭环境中，智能设备的种类很多，电视作为其中的一种智能设备，具有多种控制方法，而在智能电视使用过程中，经常存在插入性广告，此时需要用户进行手动关闭，操作繁琐，影响观感体验。

发明内容

本发明实施例的目的在于提供一种基于大数据的智能设备控制方法，旨在解决在智能电视使用过程中，经常存在插入性广告，此时需要用户进行手动关闭，操作繁琐，影响观感体验的问题。

本发明实施例是这样实现的，一种基于大数据的智能设备控制方法，所述方法包括：

与智能设备建立数据连接，获取智能设备画面截图；

通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；

对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果；

根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

优选的，所述通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面的步骤，具体包括：

获取图像大数据，构建画面分析分类模型；

根据图像大数据构建模型训练集和模型测试集，对画面分析分类模型进行训练和测试；

将智能设备画面截图导入到画面分析分类模型中，判定智能设备画面截图是否为交互界面。

优选的，所述对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果的步骤，具体包括：

对智能设备画面截图进行文字识别，得到交互文字信息；

按照文字所在区域对交互文字信息进行分区，得到独立文字信息；

对独立文字信息进行语义识别，得到语义识别结果，所述语义识别结果中包含用于引导用户交互的控制操作指示。

优选的，所述根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备的步骤，具体包括：

根据语义识别结果判定需要执行的控制操作；

根据控制操作生成对应的智能设备控制指令，对智能设备控制指令进行加密；

向智能设备画面截图的来源设备发出加密后的智能设备控制指令，并接收反馈画面截图进行验证。

优选的，验证失败时，重新获取反馈画面截图。

优选的，与智能设备建立通讯时，通过蓝牙通讯连接。

本发明实施例的另一目的在于提供一种基于大数据的智能设备控制系统，所述系统包括：

数据获取模块，用于与智能设备建立数据连接，获取智能设备画面截图；

界面分析模块，用于通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；

语义识别模块，用于对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果；

主动交互模块，用于根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

优选的，所述界面分析模块包括：

模型构建单元，用于获取图像大数据，构建画面分析分类模型；

模型训练单元，用于根据图像大数据构建模型训练集和模型测试集，对画面分析分类模型进行训练和测试；

画面分析单元，用于将智能设备画面截图导入到画面分析分类模型中，判定智能设备画面截图是否为交互界面。

优选的，所述语义识别模块包括：

文字识别单元，用于对智能设备画面截图进行文字识别，得到交互文字信息；

分子分区单元，用于按照文字所在区域对交互文字信息进行分区，得到独立文字信息；

语义识别单元，用于对独立文字信息进行语义识别，得到语义识别结果，所述语义识别结果中包含用于引导用户交互的控制操作指示。

优选的，所述主动交互模块包括：

操作判定单元，用于根据语义识别结果判定需要执行的控制操作；

指令生成单元，用于根据控制操作生成对应的智能设备控制指令，对智能设备控制指令进行加密；

指令交互单元，用于向智能设备画面截图的来源设备发出加密后的智能设备控制指令，并接收反馈画面截图进行验证。

本发明的有益效果为：通过不断从智能设备获取画面截图，对画面截图进行实时分析，判定智能设备当前是否需要进行操作，若需要进行操作，则识别画面截图的中的文字，根据文字内容确定交互方式，生成相应的指令对智能设备进行控制，实现了自动关闭广告的操作，提升了用户体验。

附图说明

图1为本发明实施例提供的一种基于大数据的智能设备控制方法的流程图；

图2为本发明实施例提供的通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面的步骤的流程图；

图3为本发明实施例提供的对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果的步骤的流程图；

图4为本发明实施例提供的根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备的步骤的流程图；

图5为本发明实施例提供的一种基于大数据的智能设备控制系统的架构图；

图6为本发明实施例提供的一种界面分析模块的架构图；

图7为本发明实施例提供的一种语义识别模块的架构图；

图8为本发明实施例提供的一种主动交互模块的架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明实施例提供的一种基于大数据的智能设备控制方法的流程图，所述方法包括：

S100，与智能设备建立数据连接，获取智能设备画面截图。

在本步骤中，与智能设备建立数据连接，通过无线通讯的方式与智能设备（智能电视）建立数据连接，无线通讯的方式可以为蓝牙，也可以是WIFI方式，在建立无线通讯之后，智能设备便每间隔一段时间采集一组画面，即为智能设备画面截图，该智能设备画面截图为智能设备工作过程中截取的图片，截取的当前显示的画面，具体的，按照预设的截取间隔进行截取，通过无线通讯的方式对其进行获取。

S200，通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面。

在本步骤中，通过大数据对智能设备画面截图进行分析，为了能够识别该智能设备画面截图中是否包含广告内容，即判定智能设备画面截图是否为交互界面，仅包含广告内容，但是不包含交互信息的不属于存在交互界面的情况，通过构建机器学习模型，对机器学习模型进行训练，使得机器学习模型可以根据智能设备画面截图的内容判定其中是否包含交互界面，若存在交互界面，说明可以通过交互的方式消除画面中的广告内容。

S300，对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果。

在本步骤中，对智能设备画面截图进行文字识别，通过文字识别的方式能够提取智能设备画面截图中的文字信息，由于在节目画面中会存在字幕等干扰信息，因此需要对识别得到的文字信息进行语义识别，判定其是否为干扰信息，若是干扰信息，则将其舍弃，如果不是干扰信息，则将其存储起来，作为语义识别结果，根据语义识别结果可以确定跳过当前广告的操作。

S400，根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

在本步骤中，根据语义识别结果生成智能设备控制指令，在语义识别过程中，根据关键词判定语义内容，如“关闭广告”“关闭符号”“跳过按钮”等信息，从而确定根据当前交互界面可以执行的操作，据此生成对应的智能设备控制指令，如按压下键，按压确定键等，为了保证数据的安全性，对需要发出的智能设备控制指令进行加密，加密后的智能设备控制指令抵达智能设备，智能设备验证数据来源的身份之后，进行解密，并执行，从而完成跳过广告等操作。

如图2所示，作为本发明的一个优选实施例，所述通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面的步骤，具体包括：

S201，获取图像大数据，构建画面分析分类模型。

在本步骤中，获取图像大数据，图像大数据为智能设备使用过程中截取的图片，其中包含具有交互界面的截图和不具有交互界面的截图，并构建画面分析分类模型，画面分析分类模型可以为决策树分类器。

S202，根据图像大数据构建模型训练集和模型测试集，对画面分析分类模型进行训练和测试。

在本步骤中，根据图像大数据构建模型训练集和模型测试集，模型训练集和模型测试集均包含具有交互界面的截图和不具有交互界面的截图，在模型训练集和模型测试集中的截图都已经标记出其中是否包含交互界面，进而利用其对画面分析分类模型进行训练和测试。

S203，将智能设备画面截图导入到画面分析分类模型中，判定智能设备画面截图是否为交互界面。

在本步骤中，将智能设备画面截图导入到画面分析分类模型中，通过训练后的画面分析分类模型对智能设备画面截图进行识别，从而判定其是否为交互界面，若为交互界面，则说明能够通过操作遥控器进行交互，如跳过、关闭广告等。

如图3所示，作为本发明的一个优选实施例，所述对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果的步骤，具体包括：

S301，对智能设备画面截图进行文字识别，得到交互文字信息。

在本步骤中，对智能设备画面截图进行文字识别，得到多个识别得到的文字内容，具体的，按照识别的顺序对文字内容进行保存，从而形成交互文字信息。

S302，按照文字所在区域对交互文字信息进行分区，得到独立文字信息。

在本步骤中，按照文字所在区域对交互文字信息进行分区，识别时，对智能设备画面截图进行处理，将其转化为线条图，通过线条来确定显示区域，将处于同一个显示区域的文字划分为一个分区，得到独立文字信息，独立文字信息包含同一个区域内的所有文字内容。

S303，对独立文字信息进行语义识别，得到语义识别结果，所述语义识别结果中包含用于引导用户交互的控制操作指示。

在本步骤中，对独立文字信息进行语义识别，通过语义识别，判定其中的内容是否为交互内容，如“通过触摸下键可以跳过广告”，上述内容可以理解为可以进行控制交互，以跳过广告，将其记录在语义识别结果中，若不包含用于引导用户交互的控制操作指示则将其舍弃。

如图4所示，作为本发明的一个优选实施例，所述根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备的步骤，具体包括：

S401，根据语义识别结果判定需要执行的控制操作。

在步骤中，通过语义识别结果，确定执行操作与执行结果之间的对应关系，执行操作包括触摸按键，执行结果包括跳过广告、关闭广告等，在执行操作与执行结果之间形成对应关系，上述对应关系通过语义识别结果确定。

S402，根据控制操作生成对应的智能设备控制指令，对智能设备控制指令进行加密。

在步骤中，根据控制操作生成对应的智能设备控制指令，根据预设的关键词确定需要得到的执行结果，如关闭广告，跳过广告等，则根据对应关系查询对应的执行操作，根据执行操作确定智能设备控制指令，对智能设备控制指令进行加密。

S403，向智能设备画面截图的来源设备发出加密后的智能设备控制指令，并接收反馈画面截图进行验证。

在步骤中，向智能设备画面截图的来源设备发出加密后的智能设备控制指令，智能设备在接收到该智能设备控制指令之后对其进行解密，然后进行执行，执行完毕之后，返回反馈画面截图，根据反馈画面截图判定执行结果是否成功。

如图5所示，为本发明实施例提供的一种基于大数据的智能设备控制系统，所述系统包括：

数据获取模块100，用于与智能设备建立数据连接，获取智能设备画面截图。

在本模块中，数据获取模块100与智能设备建立数据连接，通过无线通讯的方式与智能设备（智能电视）建立数据连接，无线通讯的方式可以为蓝牙，也可以是WIFI方式，在建立无线通讯之后，智能设备便每间隔一段时间采集一组画面，即为智能设备画面截图，该智能设备画面截图为智能设备工作过程中截取的图片，截取的当前显示的画面，具体的，按照预设的截取间隔进行截取，通过无线通讯的方式对其进行获取。

界面分析模块200，用于通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面。

在本模块中，界面分析模块200通过大数据对智能设备画面截图进行分析，为了能够识别该智能设备画面截图中是否包含广告内容，即判定智能设备画面截图是否为交互界面，仅包含广告内容，但是不包含交互信息的不属于存在交互界面的情况，通过构建机器学习模型，对机器学习模型进行训练，使得机器学习模型可以根据智能设备画面截图的内容判定其中是否包含交互界面，若存在交互界面，说明可以通过交互的方式消除画面中的广告内容。

语义识别模块300，用于对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果。

在本模块中，语义识别模块300对智能设备画面截图进行文字识别，通过文字识别的方式能够提取智能设备画面截图中的文字信息，由于在节目画面中会存在字幕等干扰信息，因此需要对识别得到的文字信息进行语义识别，判定其是否为干扰信息，若是干扰信息，则将其舍弃，如果不是干扰信息，则将其存储起来，作为语义识别结果，根据语义识别结果可以确定跳过当前广告的操作。

主动交互模块400，用于根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

在本模块中，主动交互模块400根据语义识别结果生成智能设备控制指令，在语义识别过程中，根据关键词判定语义内容，如“关闭广告”“关闭符号”“跳过按钮”等信息，从而确定根据当前交互界面可以执行的操作，据此生成对应的智能设备控制指令，如按压下键，按压确定键等，为了保证数据的安全性，对需要发出的智能设备控制指令进行加密，加密后的智能设备控制指令抵达智能设备，智能设备验证数据来源的身份之后，进行解密，并执行，从而完成跳过广告等操作。

如图6所示，作为本发明的一个优选实施例，所述界面分析模块200包括：

模型构建单元201，用于获取图像大数据，构建画面分析分类模型。

在本模块中，模型构建单元201获取图像大数据，图像大数据为智能设备使用过程中截取的图片，其中包含具有交互界面的截图和不具有交互界面的截图，并构建画面分析分类模型，画面分析分类模型可以为决策树分类器。

模型训练单元202，用于根据图像大数据构建模型训练集和模型测试集，对画面分析分类模型进行训练和测试。

在本模块中，模型训练单元202根据图像大数据构建模型训练集和模型测试集，模型训练集和模型测试集均包含具有交互界面的截图和不具有交互界面的截图，在模型训练集和模型测试集中的截图都已经标记出其中是否包含交互界面，进而利用其对画面分析分类模型进行训练和测试。

画面分析单元203，用于将智能设备画面截图导入到画面分析分类模型中，判定智能设备画面截图是否为交互界面。

在本模块中，画面分析单元203将智能设备画面截图导入到画面分析分类模型中，通过训练后的画面分析分类模型对智能设备画面截图进行识别，从而判定其是否为交互界面，若为交互界面，则说明能够通过操作遥控器进行交互，如跳过、关闭广告等。

如图7所示，作为本发明的一个优选实施例，所述语义识别模块300包括：

文字识别单元301，用于对智能设备画面截图进行文字识别，得到交互文字信息。

在本模块中，文字识别单元301对智能设备画面截图进行文字识别，得到多个识别得到的文字内容，具体的，按照识别的顺序对文字内容进行保存，从而形成交互文字信息。

分子分区单元302，用于按照文字所在区域对交互文字信息进行分区，得到独立文字信息。

在本模块中，分子分区单元302按照文字所在区域对交互文字信息进行分区，识别时，对智能设备画面截图进行处理，将其转化为线条图，通过线条来确定显示区域，将处于同一个显示区域的文字划分为一个分区，得到独立文字信息，独立文字信息包含同一个区域内的所有文字内容。

语义识别单元303，用于对独立文字信息进行语义识别，得到语义识别结果，所述语义识别结果中包含用于引导用户交互的控制操作指示。

在本模块中，语义识别单元303对独立文字信息进行语义识别，通过语义识别，判定其中的内容是否为交互内容，如“通过触摸下键可以跳过广告”，上述内容可以理解为可以进行控制交互，以跳过广告，将其记录在语义识别结果中，若不包含用于引导用户交互的控制操作指示则将其舍弃。

如图8所示，作为本发明的一个优选实施例，所述主动交互模块400包括：

操作判定单元401，用于根据语义识别结果判定需要执行的控制操作。

在本模块中，操作判定单元401通过语义识别结果，确定执行操作与执行结果之间的对应关系，执行操作包括触摸按键，执行结果包括跳过广告、关闭广告等，在执行操作与执行结果之间形成对应关系，上述对应关系通过语义识别结果确定。

指令生成单元402，用于根据控制操作生成对应的智能设备控制指令，对智能设备控制指令进行加密。

在本模块中，指令生成单元402根据控制操作生成对应的智能设备控制指令，根据预设的关键词确定需要得到的执行结果，如关闭广告，跳过广告等，则根据对应关系查询对应的执行操作，根据执行操作确定智能设备控制指令，对智能设备控制指令进行加密。

指令交互单元403，用于向智能设备画面截图的来源设备发出加密后的智能设备控制指令，并接收反馈画面截图进行验证。

在本模块中，指令交互单元403向智能设备画面截图的来源设备发出加密后的智能设备控制指令，智能设备在接收到该智能设备控制指令之后对其进行解密，然后进行执行，执行完毕之后，返回反馈画面截图，根据反馈画面截图判定执行结果是否成功。

在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

与智能设备建立数据连接，获取智能设备画面截图；

通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；

对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果；

根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

与智能设备建立数据连接，获取智能设备画面截图；

通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；

对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果；

根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于大数据的智能设备控制方法，其特征在于，所述方法包括：

与智能设备建立数据连接，获取智能设备画面截图；

通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；

对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果；

根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备；所述通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面的步骤，具体包括：

获取图像大数据，构建画面分析分类模型，图像大数据为智能设备使用过程中截取的图片，其中包含具有交互界面的截图和不具有交互界面的截图；

根据图像大数据构建模型训练集和模型测试集，对画面分析分类模型进行训练和测试，模型训练集和模型测试集均包含具有交互界面的截图和不具有交互界面的截图，在模型训练集和模型测试集中的截图都已经标记出其中是否包含交互界面；

将智能设备画面截图导入到画面分析分类模型中，判定智能设备画面截图是否为交互界面，将智能设备画面截图导入到画面分析分类模型中，通过训练后的画面分析分类模型对智能设备画面截图进行识别，从而判定其是否为交互界面，若为交互界面，则通过操作遥控器进行跳过和关闭广告的交互；所述对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果的步骤，具体包括：

对智能设备画面截图进行文字识别，得到交互文字信息，按照识别的顺序对文字内容进行保存，从而形成交互文字信息；

按照文字所在区域对交互文字信息进行分区，得到独立文字信息，识别时，对智能设备画面截图进行处理，将其转化为线条图，通过线条来确定显示区域，将处于同一个显示区域的文字划分为一个分区，得到独立文字信息，独立文字信息包含同一个区域内的所有文字内容；

对独立文字信息进行语义识别，得到语义识别结果，所述语义识别结果中包含用于引导用户交互的控制操作指示，通过语义识别，判定其中的内容是否为交互内容，通过触摸下键跳过广告，将其记录在语义识别结果中，若不包含用于引导用户交互的控制操作指示则将其舍弃。

2.根据权利要求1所述的基于大数据的智能设备控制方法，其特征在于，所述根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备的步骤，具体包括：

根据语义识别结果判定需要执行的控制操作；

根据控制操作生成对应的智能设备控制指令，对智能设备控制指令进行加密；

向智能设备画面截图的来源设备发出加密后的智能设备控制指令，并接收反馈画面截图进行验证。

3.根据权利要求2所述的基于大数据的智能设备控制方法，其特征在于，验证失败时，重新获取反馈画面截图。

4.根据权利要求1所述的基于大数据的智能设备控制方法，其特征在于，与智能设备建立通讯时，通过蓝牙通讯连接。

5.一种基于大数据的智能设备控制系统，其特征在于，所述系统包括：

数据获取模块，用于与智能设备建立数据连接，获取智能设备画面截图；

界面分析模块，用于通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面；所述通过大数据对智能设备画面截图进行分析，判定智能设备画面截图是否为交互界面的步骤，具体包括：

获取图像大数据，构建画面分析分类模型，图像大数据为智能设备使用过程中截取的图片，其中包含具有交互界面的截图和不具有交互界面的截图；

根据图像大数据构建模型训练集和模型测试集，对画面分析分类模型进行训练和测试，模型训练集和模型测试集均包含具有交互界面的截图和不具有交互界面的截图，在模型训练集和模型测试集中的截图都已经标记出其中是否包含交互界面；

将智能设备画面截图导入到画面分析分类模型中，判定智能设备画面截图是否为交互界面，将智能设备画面截图导入到画面分析分类模型中，通过训练后的画面分析分类模型对智能设备画面截图进行识别，从而判定其是否为交互界面，若为交互界面，则通过操作遥控器进行跳过和关闭广告的交互；

语义识别模块，用于对智能设备画面截图进行文字识别，获取交互文字信息，并进行语义识别，得到语义识别结果，具体包括：

对智能设备画面截图进行文字识别，得到交互文字信息，按照识别的顺序对文字内容进行保存，从而形成交互文字信息；

按照文字所在区域对交互文字信息进行分区，得到独立文字信息，识别时，对智能设备画面截图进行处理，将其转化为线条图，通过线条来确定显示区域，将处于同一个显示区域的文字划分为一个分区，得到独立文字信息，独立文字信息包含同一个区域内的所有文字内容；

对独立文字信息进行语义识别，得到语义识别结果，所述语义识别结果中包含用于引导用户交互的控制操作指示，通过语义识别，判定其中的内容是否为交互内容，通过触摸下键跳过广告，将其记录在语义识别结果中，若不包含用于引导用户交互的控制操作指示则将其舍弃；

主动交互模块，用于根据语义识别结果生成智能设备控制指令，将智能设备控制指令发送给智能设备。

6.根据权利要求5所述的基于大数据的智能设备控制系统，其特征在于，所述主动交互模块包括：

操作判定单元，用于根据语义识别结果判定需要执行的控制操作；

指令生成单元，用于根据控制操作生成对应的智能设备控制指令，对智能设备控制指令进行加密；

指令交互单元，用于向智能设备画面截图的来源设备发出加密后的智能设备控制指令，并接收反馈画面截图进行验证。

Images