CN108985461B - 一种自主机器学习的方法、装置和终端设备 - Google Patents

Abstract

本发明适用于通信技术领域，提供了一种自主机器学习的方法、装置和终端设备。其中，方法包括：在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；根据所述结果数据控制相应设备响应。本发明将模型的训练和优化集成在边缘端，实现本地智能计算从而快速得到可以满足本地数据特性分析需求的第一计算模型，而不依赖云端支撑，从而既真正使边缘端具备智能能力，能够控制相应设备及时响应，另外，能够有效节省与云端交互的数据量，具有较强的易用性和实用性。

Description

一种自主机器学习的方法、装置和终端设备

技术领域

本发明属于通信技术领域，尤其涉及一种自主机器学习的方法、装置和终端设备。

背景技术

随着物联网技术的发展和普及，随之而来的是联网终端的海量数据，原始数据只是反映物理世界真实状况，只有经过人类智力分析处理才能产生有效价值。边缘计算是在靠近现场应用端提供对数据的处理能力，但现今的主流边缘计算方案，并未实现真正意义上的边缘端自主计算，即它们需要通过云平台提前学习产生数据处理模型，而边缘端只是使用云端提供的模型对原始数据进行简单处理，再将结果数据传输到云平台进行进一步分析和存储。

另一方面，边缘计算依赖于数据，采集数据则需要大量的传感器，数据密度可以反映设备实时情况，但高数据密度则代表增大数据量。由于现有边缘计算方案对云端的依赖仍较高，从而只能维持高数据密度，如此会存在通讯不畅时关键数据丢失和设备无法即时响应的风险。

因此，有必要提出一种方案，以解决上述问题。

发明内容

有鉴于此，本发明实施例提供了一种自主机器学习的方法、装置和终端设备，以解决现有技术中边缘计算存在数据丢失和无法即时响应的风险的问题。

本发明实施例的第一方面提供了一种自主机器学习的方法，所述方法包括：

在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；

通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；

根据所述结果数据控制相应设备响应。

可选地，通过所述第一计算模型对原始数据进行预设处理，得到结果数据，包括：

对原始的第一密度数据进行过滤，得到过滤后的数据；

对所述过滤后的数据进行推理和分析，得到第二密度的结果数据，所述第一密度高于所述第二密度。

可选地，在通过传感器采集到的数据对所述学习模型进行训练之前，所述自主机器学习的方法还包括：

通过传感器采集数据，对采集到的数据进行预处理转换成主题数据；

将所述主题数据缓存在本地数据库并定期发送到通讯总线以供第一计算模型以订阅的形式获取。

可选地，在根据所述结果数据控制相应设备响应之后，所述自主机器学习的方法还包括：

将设备响应后的应用结果数据送给通讯总线；

从所述通讯总线中获取所述应用结果数据，将所述应用结果数据进行格式转化后发布到云平台。

可选地，在得到训练后的第一计算模型之后，所述自主机器学习的方法还包括：

获取适应当前环境的第二计算模型，并分别对所述第二计算模型和所述第一计算模型进行评分；

若所述第二模型的评分值高于正在使用的所述第一计算模型的评分值，则发布所述第二计算模型，通过通讯总线传送给订阅方。

本发明实施例的第二方面提供了一种自主机器学习的装置，包括：

创建模块，用于在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；

数据处理模块，用于通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；

控制模块，用于根据所述结果数据控制相应设备响应。

可选地，数据处理模块包括：

过滤单元，用于对原始的第一密度数据进行过滤，得到过滤后的数据；

推理分析单元，用于对所述过滤后的数据进行推理和分析，得到第二密度的结果数据，所述第一密度高于所述第二密度。

可选地，自主机器学习的装置还包括：

采集转换模块，用于通过传感器采集数据，对采集到的数据进行预处理转换成主题数据；

缓存模块，用于将所述主题数据缓存在本地数据库并定期发送到通讯总线以供第一计算模型以订阅的形式获取。

可选地，自主机器学习的装置还包括：

发送模块，用于将设备响应后的应用结果数据发送给通讯总线；

发布模块，用于从所述通讯总线中获取所述应用结果数据，将所述应用结果数据进行格式转化后发布到云平台。

可选地，自主机器学习的装置还包括：

评分模块，用于获取适应当前环境的第二计算模型，并分别对所述第二计算模型和所述第一计算模型进行评分；

判断模块，用于若所述第二模型的评分值高于正在使用的所述第一计算模型的评分值，则发布所述第二计算模型，通过通讯总线传送给订阅方。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面中方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面中方法的步骤。

在本发明实施例中，将模型的训练和优化集成在边缘端，实现本地智能计算从而快速得到可以满足本地数据特性分析需求的第一计算模型，而不依赖云端支撑，从而既真正使边缘端具备智能能力，能够控制相应设备及时响应，另外，能够有效节省与云端交互的数据量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的自主机器学习的方法的实现流程示意图；

图2是本发明实施例提供的自主机器学习的方法的具体实现流程示意图；

图3是本发明实施例二提供的自主机器学习的装置的结构框图；

图4是本发明实施例三提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当……时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

图1示出了本发明实施例一提供的自主机器学习的方法的实现流程示意图。如图1所示，该自主机器学习的方法具体可包括如下步骤S101至步骤S103。

步骤S101：在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型。

其中，执行主体可以为自主机器学习边缘计算平台，称为边缘端。在边缘端创建初始的学习模型，将传感器采集到的数据作为训练样本，通过训练样本对学习模型进行训练，训练完成后得到第一计算模型。通过对传感器采集到的数据进行持续的学习分析，使所述第一计算模型得到训练而不断自主优化。

在通过传感器采集到的数据对所述学习模型进行训练之前，还包括：

A1、通过传感器采集数据，对采集到的数据进行预处理转换成主题数据。

边缘端通过与各类传感器设备连接，并接收传感器发送的数据，底层集成多种物联网物理层及数据链路层通讯协议，如OPCUA、Modbus、HDFS、Kafka、PIDB、Postgres、Video、Event Hub等。上层实现MQTT client功能，为每个传感器与通讯总线建立连接，将传感器消息统一封装为MQTT数据包，并发布为不同主题，传送给通讯总线。

A2、将所述主题数据缓存在本地数据库并定期发送到通讯总线以供第一计算模型以订阅的形式获取。

其中，通讯总线作为自主机器学习边缘计算平台内部各模块间的信息传递中介，使用MQTT协议的消息发布/订阅机制，相当于MQTT协议中的代理(Broker)，可以接受其他模块的连接请求和发布的数据信息，处理其他模块的订阅和退订请求，并向已订阅模块转发所需的主题数据。

在得到训练后的第一计算模型之后，还包括：

B1、获取适应当前环境的第二计算模型，并分别对所述第二计算模型和所述第一计算模型进行评分。

B2、若所述第二模型的评分值高于正在使用的所述第一计算模型的评分值，则发布所述第二计算模型，通过通讯总线传送给订阅方。

订阅并定期获取数据存储模块发布的批量数据，对其通过基础第二计算模型进行机器学习计算，得到适应当前环境的新模型(即为第二计算模型)，并对新模型进行综合评分，若对新模型的评分值高于正在使用的模型(即为第一计算模型)的评分值，则将新模型发布出去，通过通讯总线传送给数据加工模块；反之，则舍弃本次第二计算模型，等待下次计算。

步骤S102：通过所述第一计算模型对订阅数据进行预设处理，得到结果数据。

具体地，通过所述第一计算模型对原始数据进行预设处理，得到结果数据，包括：

步骤S201：对原始的第一密度数据进行过滤，得到过滤后的数据。

步骤S202：对所述过滤后的数据进行推理和分析，得到第二密度的结果数据，所述第一密度高于所述第二密度。

其中，第一密度是高密度数据，第二密度是低密度数据。对于C1和C2，在对传感器原始数据打包之前，按一定的过滤规则对无效或重复消息进行初步过滤，以降低数据密度，在对低密度数据进行推理和分析，得到低密度的结果数据。

步骤S103：根据所述结果数据控制相应设备响应。

在根据所述结果数据控制相应设备响应之后，还包括：

D1、将设备响应后的应用结果数据送给通讯总线；

D2、从所述通讯总线中获取所述应用结果数据，将所述应用结果数据进行格式转化后发布到云平台。

在边缘端接收所订阅的结论数据，以及设备控制模块的应用结果数据，并统一转换为JSON数据格式，以http post方式发布给云端。

本实施例的自主机器学习边缘计算平台，具有数据在边缘端采集、过滤、计算、存储、发布、应用的能力，可以弥补现有边缘计算技术在计算能力、自主性上的缺陷，同时又解决了在保持高频率数据采集的同时缩减数据量的矛盾，实现边缘端的智能和自治，有助于有效降低云端负担。

在本发明实施例中，将模型的训练和优化集成在边缘端，实现本地智能计算从而快速得到可以满足本地数据特性分析需求的第一计算模型，而不依赖云端支撑，从而既真正使边缘端具备智能能力，能够控制相应设备及时响应，另外，能够有效节省与云端交互的数据量。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二

请参考图3，其示出了本发明实施例二提供的自主机器学习的装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。所述自主机器学习的装置30包括：创建模块31、数据处理模块32和控制模块33。其中，各模块的具体功能如下：

创建模块31，用于在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；

数据处理模块32，用于通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；

控制模块33，用于根据所述结果数据控制相应设备响应。

可选地，数据处理模块32包括：

过滤单元，用于对原始的第一密度数据进行过滤，得到过滤后的数据；

推理分析单元，用于对所述过滤后的数据进行推理和分析，得到第二密度的结果数据，所述第一密度高于所述第二密度。

可选地，自主机器学习的装置30还包括：

采集转换模块，用于通过传感器采集数据，对采集到的数据进行预处理转换成主题数据；

缓存模块，用于将所述主题数据缓存在本地数据库并定期发送到通讯总线以供第一计算模型以订阅的形式获取。

可选地，自主机器学习的装置30还包括：

发送模块，用于将设备响应后的应用结果数据发送给通讯总线；

发布模块，用于从所述通讯总线中获取所述应用结果数据，将所述应用结果数据进行格式转化后发布到云平台。

可选地，自主机器学习的装置30还包括：

评分模块，用于获取适应当前环境的第二计算模型，并分别对所述第二计算模型和所述第一计算模型进行评分；

判断模块，用于若所述第二模型的评分值高于正在使用的所述第一计算模型的评分值，则发布所述第二计算模型，通过通讯总线传送给订阅方。

在本发明实施例中，将模型的训练和优化集成在边缘端，实现本地智能计算从而快速得到可以满足本地数据特性分析需求的第一计算模型，而不依赖云端支撑，从而既真正使边缘端具备智能能力，能够控制相应设备及时响应，另外，能够有效节省与云端交互的数据量。

实施例三

图4是本发明实施例三提供的终端设备的示意图，为了便于说明，仅示出了与本发明实施例相关的部分。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如自主机器学习的方法程序。所述处理器40执行所述计算机程序42时实现上述各个自主机器学习的方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块的功能，例如图3所示模块31至33的功能。

示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如，所述计算机程序42可以被分割成采集模块、评估分析模块和激活模块，各模块的具体功能如下：

创建模块，用于在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；

数据处理模块，用于通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；

控制模块，用于根据所述结果数据控制相应设备响应。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (6)

1.一种自主机器学习的方法，其特征在于，包括：

在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；其中，所述边缘端为边缘计算平台；

通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；

根据所述结果数据控制相应设备响应；

通过所述第一计算模型对订阅数据进行预设处理，得到结果数据，包括：对原始的第一密度数据进行过滤，得到过滤后的数据；对所述过滤后的数据进行推理和分析，得到第二密度的结果数据，所述第一密度高于所述第二密度；

在通过传感器采集到的数据对所述学习模型进行训练之前，还包括：通过传感器采集数据，对采集到的数据进行预处理转换成主题数据；将所述主题数据缓存在本地数据库并定期发送到通讯总线以供第一计算模型以订阅的形式获取。

2.如权利要求1所述的自主机器学习的方法，其特征在于，在根据所述结果数据控制相应设备响应之后，还包括：

将设备响应后的应用结果数据送给通讯总线；

从所述通讯总线中获取所述应用结果数据，将所述应用结果数据进行格式转化后发布到云平台。

3.如权利要求1所述的自主机器学习的方法，其特征在于，在得到训练后的第一计算模型之后，还包括：

获取适应当前环境的第二计算模型，并分别对所述第二计算模型和所述第一计算模型进行评分；

若所述第二计算模型的评分值高于正在使用的所述第一计算模型的评分值，则发布所述第二计算模型，通过通讯总线传送给订阅方。

4.一种自主机器学习的装置，其特征在于，包括：

创建模块，用于在边缘端创建学习模型，通过传感器采集到的数据对所述学习模型进行训练，得到训练后的第一计算模型；其中，所述边缘端为边缘计算平台；

数据处理模块，用于通过所述第一计算模型对订阅数据进行预设处理，得到结果数据；

控制模块，用于根据所述结果数据控制相应设备响应；

所述数据处理模块包括：过滤单元，用于对原始的第一密度数据进行过滤，得到过滤后的数据；推理分析单元，用于对所述过滤后的数据进行推理和分析，得到第二密度的结果数据，所述第一密度高于所述第二密度；

采集转换模块，用于通过传感器采集数据，对采集到的数据进行预处理转换成主题数据；

缓存模块，用于将所述主题数据缓存在本地数据库并定期发送到通讯总线以供第一计算模型以订阅的形式获取。

5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。

Images