CN109951363B - 数据处理方法、装置及系统 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置及系统，该方法应用于数据处理系统内的网关，所述系统包括至少一个所述数据采集器和至少一个所述受控设备，至少一个所述数据采集器和至少一个所述受控设备均与所述网关连接，所述方法包括：获取每一所述数据采集器发送的目标数据；对每一所述目标数据分析以获取每一所述目标数据对应的识别结果；根据所述识别结果确定对应的至少一个场景信息；发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。本申请提出的数据处理方法可以利用网关进行复杂的本地运算，其对目标数据分析的同时可以协调多个受控设备。

Description

数据处理方法、装置及系统

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置及系统。

背景技术

网关是一种充当转换重任的计算机系统设备，其既可以用于广域网互联，也可以用于局域网互联。总的来说，现有的网关主要作用是充当另一个网络入口的网络点，与服务器相比现有的网关功能单一，只能进行一些简单的运算。因此，利用网关进行复杂的运算是亟待解决的问题。

发明内容

有鉴于此，本申请提出了一种数据处理方法、装置及系统，以改善上述缺陷。

第一方面，本申请实施例提供了一种数据处理方法，应用于数据处理系统内的网关，所述系统包括至少一个所述数据采集器和至少一个所述受控设备，至少一个所述数据采集器和至少一个所述受控设备均与所述网关连接，该方法包括：获取每一所述数据采集器发送的目标数据；对每一所述目标数据分析以获取每一所述目标数据对应的识别结果；根据所述识别结果确定对应的至少一个场景信息；发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

第二方面，本申请实施例提供了一种数据处理装置，所述装置应用于数据处理系统内的网关，所述系统包括至少一个所述数据采集器和至少一个所述受控设备，至少一个所述数据采集器和至少一个所述受控设备均与所述网关连接，该装置包括：获取模块、分析模块、确定模块和控制模块。所述获取模块用于获取每一所述数据采集器发送的目标数据。所述分析模块用于对每一所述目标数据分析以获取每一所述目标数据对应的识别结果。所述确定模块用于根据所述识别结果确定对应的至少一个场景信息。所述控制模块用于发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

第三方面，本申请实施例提供了一种数据处理系统，该系统包括至少一个数据采集器、网关和至少一个受控设备。所述数据采集器用于发送目标数据。所述网关用于对每一所述目标数据分析以获取每一所述目标数据对应的识别结果，并根据所述识别结果确定对应的至少一个场景信息。所述受控设备用于接收所述网关发送的与每一所述场景信息对应的控制指令，所述控制指令用于指示所述受控设备执行指定操作。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行本申请任意实施例提供的数据处理的方法。

相对于现有技术，本申请实施例提出了一种数据处理方法、装置及系统，该数据处理方法应用于网关，通过数据采集器获取目标数据，并利用网关对所述目标数据进行分析而获得目标数据的识别结果，即该网关可进行本地目标数据的识别，得到识别结果；根据所述识别结果可以确定场景信息，获取到受控设备对应的场景信息后，网关可以发送与所述场景信息对应的控制指令至受控设备，这个控制指令主要用于指示所述受控设备执行指定操作，即本申请利用网关在本地得到识别结果，可根据计算结果控制受控设备，不仅可以协调各个数据采集器而且可以控制受控设备。

为使本申请的上述目的、特征和优点能够更明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提出的一种网络系统的结构示意图；

图2示出了本申请实施例提出的一种数据处理系统的结构框图；

图3示出了本申请一个实施例提出的一种数据处理方法流程图；

图4示出了本申请一个实施例提出的一种数据处理方法流程中步骤S120的流程图；

图5示出了本申请一个实施例提出的一种数据处理方法中步骤S120中步骤S121的流程图；

图6示出了本申请一个实施例提出的一种数据处理方法中各装置的交互示意图；

图7示出了本申请另一个实施例提出的一种数据处理方法流程图；

图8示出了本申请实施例提出的一种数据处理装置的结构框图；

图9示出了本申请实施例提出的一种数据处理系统的其他结构框图；

图10示出了本申请实施例提出的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

智能家居系统中的智能家居设备，其主要可以分为两大类：网关及子设备，网关及子设备之间可以采用ZIGBEE、蓝牙、2.4GHz、红外等无线通信协议进行组网。在本实施例中，以ZigBee技术为例进行说明。ZigBee技术(ZigBee Technology，紫蜂技术)是一种短距离、低功耗的无线通信技术，其特点是近距离、低复杂度、自组织、低功耗、低数据速率。网关做为组建ZigBee网络的核心设备，是ZigBee网络协议的基础。ZigBee的子设备可以不依赖于网关进行分布式组网，暨两个或更多子设备直连。但分布式组网由于存在设备管理困难，应用场景局限，无法智能化联动等弊端，并不普及。目前，主流的组网模式是集中式组网，ZigBee的子设备通过连接网关，形成ZigBee网络。设备管理、应用设置等都是通过网关下发信息控制子设备来实现。由于ZigBee网络属于局域网，为了扩展应用场景，目前网关多具有互联网接入功能。基于互联网接入，用户可以使用手机APP经互联网远程操作ZigBee设备，实现智能化管理，如智能家庭、智能办公、智能工厂等。

常见的智能家居系统如图1所示的系统10中，该系统10可以包括终端设备11、服务器12、网关13、子设备14及路由器15。其中，终端设备11可以是任何具备通信和存储功能的设备，例如，智能手机、PC(personal computer)电脑、平板电脑、笔记本电脑、移动互联网设备(Mobile Internet Device，MID)或其他具有网络连接功能的智能通信设备。服务器12可以是网络接入服务器、数据库服务器、云服务器等。可选的，网关13可以基于ZigBee协议搭建，网关13可以带有互联网访问接口，例如，无线有线以太网、光纤、Wi-Fi、GSM或者3G/4G/5G等；网关13也可以带有本地控制网络访问接口，例如，ZIGBEE、蓝牙、2.4GHz、红外等。子设备14可以是预先加入网关13中的设备，例如，子设备14可以是网关13出厂时网关13所归属套件中的设备；也可以是后续通过用户操作连接至网关13中的设备。

本申请中子设备14可以包括两类，分别是数据采集器和受控设备，而且数据采集器可以包括图像采集装置、音频采集装置或者其他智能家居设备等。图像采集装置可以为红外摄像头、彩色摄像头等；音频采集装置可以为声音采集装置或者录音设备等；其他智能家居设备可以包括电表、门磁传感器、人体传感器、门窗传感器、温湿度传感器、光照传感器、红外传感器、水浸传感器、天然气报警器、烟雾报警器、墙壁开关、墙壁插座、智能插座、无线开关、无线墙贴开关、魔方控制器、窗帘电机、多功能网关、空调伴侣等。受控设备则可以为智能家居设备，例如，电视、空调、冰箱等。在一定情况下，其他智能家居设备也可以作为受控设备，子设备14具体包括哪些这里不进行明确限制。

可选的，终端设备11中安装了可以对智能家居设备进行管理的客户端，所述客户端可以是应用程序客户端(如手机APP)，也可以是网页客户端，在此不作限定。

可选的，一个或多个子设备14可以基于ZigBee协议与网关13建立网络连接，从而加入到ZigBee网络中。网关13以及终端设备11均可以与路由器15连接，并通过路由器15接入到以太网中，路由器15通过2G/3G/4G/5G、Wi-Fi等接入服务器12。例如，网关13以及终端设备11可以将获取的信息存储到服务器12中。可选的，终端设备11还可以通过2G/3G/4G/5G、Wi-Fi等与服务器12建立网络连接，从而可以获取服务器12下发的数据。

随着科技的发展，对智能家居的要求越来越高，如现有的智能家居要求能即时检测当前环境内的人员、动物、家具、个人用品、水、火等各种目标，并协调多种传感器、控制器、一个或多个摄像机，且与环境内的用户持续交互协作，可以将这些设备作为一个系统，而这个系统可以智能工作。然而，当前常见的技术方案，很难协调多个摄像机或多个传感器，主要原因是电子设备的运算能力难以满足“深度”神经网络的运算需求。目前复杂的运算功能都是在云端实现，在云端实现有其优点，即云端可以调用异地数据和设备来协同，但云端也有其自身的弊端，例如，云端传输通常会有延迟问题，如此会损害用户体验。又如，云端的带宽和存储都会提高数据运算的成本。另外，现有的网关无法实现复杂运算。

为了便于详细说明本申请方案，下面先将结合附图对本申请的系统进行介绍。

为了克服上述缺陷，如图2，本申请实施例提供了一种数据处理系统400，该数据处理系统400可以包括至少一个数据采集器410、网关420和至少一个受控设备430。所述数据采集器410用于发送目标数据；所述网关420用于对每一所述目标数据分析以获取每一所述目标数据对应的识别结果，根据所述识别结果确定所述每一受控设备430对应的场景信息；所述受控设备430用于接收所述网关420发送的每一与所述场景信息对应的控制指令，所述控制指令用于指示所述受控设备430执行指定操作。则网关420能够协调各个数据采集器获取的目标数据，并可以利用所述目标数据对受控设备进行控制，而具体的实施方式请参阅以下实施例。

为了更好的理解本系统，下面将通过不同实施例对本系统所涉及的方法进行详细的描述。

请参阅图3，本申请实施例提供了一种数据处理方法，该方法应用于数据处理系统内的网关，所述系统包括至少一个所述数据采集器和至少一个所述受控设备，至少一个所述数据采集器和至少一个所述受控设备均与所述网关连接，所述方法可以包括步骤S110至步骤S140。

步骤S110：获取每一所述数据采集器发送的目标数据。

本申请实施例中，一个数据处理系统可以包括多个数据采集器，这里多个指的是数据采集器的数量，即目标数据可以由多个数据采集器获取，而这些数据采集器也可以根据不同的需求安装在不同的位置，例如，房间的客厅、卧室和洗手间可以分别安装一个摄像头，这样网关接收到的目标数据就可能是通过三个摄像头采集的，因此，网关可以获取每一所述数据采集器发送的目标数据。

另外，一个数据处理系统可以包括多个不同类型的数据采集器，本申请实施例中数据采集器的类型可以包括图像采集装置、音频采集装置或者其他形式的数据采集装置，而其他形式数据采集装置可以包括震动传感器、人体传感器、温度传感器等。这些多种类型的数据采集器可以根据用户需求进行安装，例如，想要预测老人是否摔倒，就需对老人的姿态信息进行分析，这时就可以利用图像采集装置采集图像数据。又如，想要进行火灾检测，就可以利用烟雾报警器、光照传感器、温湿度传感器以及红外传感器分别采集传感数据，这些传感数据即为目标数据。

需要说明的是，本申请实施例中不同类型的数据采集器可以同时安装，且这些不同类型的数据采集器的数量也不做限定。例如，在进行火灾预测的时候可以分别在客厅和卧室安装多个图像采集装置，这些图像采集装置用于采集火焰的图像，另外，也可以安装多个烟雾报警器、光照传感器、温湿度传感器以及红外传感器来采集传感数据，这里的火焰图像和传感数据可以统称为目标数据。

在一个实施例中，数据采集器不仅可以用于数据的采集，还可以将其用于数据的处理，换句话说，可以为数据采集器配置一定算法，当数据采集器获取到目标数据后，其可以利用所述算法对目标数据进行一定的处理与分析。例如，可以在图像采集装置中配置神经网络加速引擎，当图像采集装置获取到图像数据后，所述神经网络加速引擎就可以对采集到的图像数据进行分析或识别。

步骤S120：对每一所述目标数据分析以获取每一所述目标数据对应的识别结果。

网关接收到数据采集器传输的每一目标数据后，可以根据实际情况对接收到的每一目标数据进行分析操作，这里的分析操作指的是网关根据获取到的每一目标数据以及其自身的参数设置执行的一些操作，本申请实施例中分析操作可以是简单的判断操作，也可以是与或操作，或者也可以是一些比较复杂的识别操作等。例如，网关接收到的目标数据是烟雾报警器上传的烟雾数据，其所要做的就是判断所述烟雾数据是否超出了烟雾预设值，如果超出了则可以判定烟雾报警器发生异常，这时候网关的分析操作指的就是判断操作。又如，网关接收到的目标数据是人脸图像，其所要做的就是识别出人脸图像中的人是谁、是男是女、年龄多大以及表情如何等，这时网关的分析操作指的就是识别操作。网关的分析操作具体包括哪些这里明确限制，可以根据实际情况来确定。

通过分析操作可以获取到每一目标数据对应的识别结果，所述识别结果是针对应用需求而言的，用户的应用需求不相同则最终获取的识别结果也是不相同的。例如，用户想要判断烟雾数据是否超出烟雾预设值时，网关的识别结果就是“超出”或者“未超出”。又如，用户的应用需求是识别图像中的人是谁、年龄多大，则网关的识别结果就是“图像中的人是小花，年龄18”等。因此，用户的应用需求不相同则网关最终的识别结果也是不相同的。

在一个实施例中，可以在网关上安装神经网络加速引擎以实现目标数据的分析，如图4所示，对每一目标数据分析以获取每一所述目标数据对应的识别结果可以包括步骤S121至步骤S122。

步骤S121：将每一所述目标数据输入至所述神经网络加速引擎。

在一个实施例中，网关内配置有神经网络加速引擎，当网关接收到多个目标数据后，可以将每一所述目标数据输入至神经网络加速引擎中，该神经网络加速引擎可以看作是张量处理管道，其有一个针对输入数据和权重快速卷积核优化了的神经网络计算引擎，辅之以各种其他单元的表现元素和张量操作，如激活、汇集和规范化，所述神经网络加速引擎可以将操作分组传递，从而最小化外部内存访问。本实施例中神经网络加速引擎可以是CNN(Convolutional Neural Networks，卷积神经网络)加速器，因为CNN能模仿生物视觉神经的行为获得很高识别准确率，因此CNN加速器具有更高性能、可重配置、快速开发等周期优势。一个CNN加速器可以包括处理单元、片上缓存、外部存储器以及片内外互联，处理单元是卷积的基本计算单元，用于处理的所有数据放在外部存储器，由于片上资源限制，数据首先缓存到片上双缓冲，之后才送到处理单元，片上互联用于处理单元和片上缓冲的通信。

神经网络加速引擎可以用来识别目标数据，即神经网络加速引擎中需存储有目标识别模型，目标识别模型获取的过程如图5所示，从图5可以看出步骤S121包括步骤S1211至步骤S1213。

步骤S1211：获取目标识别网络。

目标数据不同则对应的目标识别网络也不相同，常见的目标识别网络有FasterR-CNN、YOLO、SSD等，在获取目标识别网络之前可以先确定目标数据的类型，因为目标数据类型不相同则适用的目标识别网络也可能不相同，例如，对目标图像中的目标物体检测的时候可以使用Faster R-CNN网络进行物体检测，因为Faster R-CNN网络可以更准确的对目标图像中的物体进行检测；对语音进行识别的时候可以使用LSTM(Long Short-TermMemory，长短期记忆网络)；对自然语言处理可以使用注意力机制(Attention Mechanism)等。需要说明的是，不同类型的目标数据也可以使用同一个神经网络，不过最终识别的速度、准确率以及用途不相同，具体使用何种目标识别网络这里不进行明确限制，可以根据应用需求来确定，应用需求可以包括有人无人判断，人数检测，人和动物区分，手势判断，跌倒检测，区域警戒检测，火焰检测等。

步骤S1212：构建数据集并将所述数据集输入至所述目标识别网络进行训练，得到所述目标识别模型。

在对目标数据识别之前需先利用数据集训练一个目标识别模型，本申请实施例中数据集可以为图像数据集、文本数据集或者语音数据集，而这些数据集又可以包括原始数据和监督数据，所述原始数据指的是没有经过任何数据处理的数据，所述原始数据可以直接由数据采集装置获取，也可以利用网络爬虫从互联网中获取，而监督数据则是为了训练目标识别模型而创建的数据。例如，图像数据集可以包括图像数据和文本数据，所述文本数据即为监督数据，其可以利用标注工具标注获取，所述文本数据中可以包括图像数据中待检测物体的种类和物体在图像中的位置。

步骤S1213：将所述目标识别模型存储至所述神经网络加速引擎中。

本申请实施例中目标识别模型可以直接在网关上训练获取，即目标识别网络存储于网关上，可以将构建好的数据集传输至网关进行目标识别模型的训练。也可以将目标识别网络存储至云端服务器上，即将训练好的数据集传输至服务器，服务器接收到所述数据集后进行目标识别模型的训练，然后将所述目标识别模型迁移至网关。另外，也可以直接在本地进行目标识别模型的训练，训练好以后再将所述模型迁移至网关。目标识别模型具体在哪里训练获取，这里不进行明确限制。

目标识别模型的训练主要是统计目标识别网络的输出与监督数据的差别，利用随机梯度下降法不断自动调整目标识别网络，直到网络输出与监督数据偏差小于一定阈值或在迭代中不断减小，如此，就可以获取到目标识别模型，因为获取到的目标识别模型对目标识别网络的可变参数进行了固化(frozen)，因此，可以直接利用此模型进行目标识别。

步骤S122:调用所述神经网络加速引擎中的目标识别模型，并对每一所述目标数据进行识别，以获得识别结果。

网关接收到目标数据后可以判断目标数据中是否包括第一目标数据和第二目标数据，如果存在第一目标数据，网关则根据所述第一目标数据得到第一结果，通过上述分析可以知道第一目标数据是经过神经网络引擎分析的，所以网关接收到第一目标数据后可以对所述第一目标数据进行简单的判断与分析。

如果目标数据中包括第二目标数据，网关则调用其自身设置的神经网络加速引擎，利用所述神经网络加速引擎对第二目标数据分析，以获得第二结果，这里的第二目数据为基础数据，是没有经过神经网络加速引擎处理的数据，因此，网关接收到所述第二目标数据后可以先识别所述数据，在此基础上再进行数据分析。

需要说明的是，本申请实施例中网关内的神经网络加速引擎与第一数据采集装置内的神经网络加速引擎包含相同的识别模型，如此，当网关接收到的目标数据中既包括第一目标数据又包括第二目标数据时，可以保持第一结果和第二结果的统一，如果网关内的神经网络加速引擎与第一数据采集装置内的神经网络加速引擎包含的识别模型不相同则可能导致最终的识别结果不一致，或者可能会增加数据分析的难度，最后将第一结果和第二结果作为该目标数据对应的识别结果。

步骤S130：根据所述识别结果确定对应的至少一个场景信息。

在一个实施例中受控设备可以为智能家居，而智能家居可以包括电视、空调、洗衣机或者冰箱等。场景信息指的是场景的配置信息，其可以是正常模式或者静音模式等，当场景信息为静音模式的时候，各个受控设备发出的声音都会被控制在一定范围内。

网关通过分析获取到识别结果后，可以根据所述识别结果确定受控设备对应的场景信息，识别结果不相同则受控设备对应的场景信息也不相同，本实施例中一种识别结果可以对应一种场景信息，识别结果不相同则对应的场景信息也可能不相同，而所述识别结果和所述场景信息是根据一定的对应关系进行存储的。当识别结果确定后就可以按照所述对应关系查找到识别结果。例如，识别结果是“A区的人在看电视，而B区的人在睡觉”，则其对应的场景信息就是“安静模式”；又如，当识别结果是“A区的人在看电视，B区的人在唱歌”，则其对应的场景信息就是“正常模式”；或者，识别结果是“A区间的人在跑动，B区间有火苗”，则其对应的场景信息是“火灾模式”等。

识别结果不相同则对应的场景信息也不相同，并且识别结果多种多样，则对应的场景信息也会各有不同。用户的需求不相同则识别结果与场景信息的对应关系也是不相同的。另外，网关可以通过数据匹配的方法获得场景信息，也可以利用数据遍历的方法获得场景信息，甚至可以利用键值对的方法通过识别结果获得场景信息，具体如何通过识别结果获取场景信息，这里就不进行一一赘述。

步骤S140：发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

网关获取到场景信息后可以根据每一所述场景信息查找与其对应的控制指令，所述控制指令用于指示受控设备执行指定操作，本申请实施例中场景信息与控制指令可以是一一对应的，即场景信息不相同则对应的控制指令也不相同。场景信息与控制指令通过一定的对应关系存储于网关中，场景信息确定后就可以获取到其对应的控制指令。

在一个实施例中，控制指令可以以代码形式直接发送至受控设备，即受控设备接收到的可以是二进制形式的命令。另外，控制指令也可以先发送至一个发音装置，控制指令用于控制所述发音装置发出控制指令对应的控制语音，所述控制语音可以控制受控装置执行其下发的命令。例如，网关获取到的场景信息是“静音模式”，则其可以根据所述“静音模式”查找到与其对应的控制指令“禁止继续增大电视声音”，发音装置接收到所述控制指令后，可以将所述控制指令以语音的形式发出，这时候受控设备就可以根据所述控制语音执行相应的操作，受控设备具体接收到何种格式的控制指令这里不进行明确限制。

需要说明的是，本申请实施例中受控设备可以是智能家居，也可以是终端设备等，而智能家居又可以包括电视、冰箱、空调、摄像机或者传感器等，而终端设备主要可以用来接收所述控制指令，而所述控制指令的主要作用就是提示作用。

为了更好的理解本申请实施例，现给出一个具体的实施例，请参阅图6，图6中的A区摄像机和B区摄像机为本申请中的数据采集器，电视则为本申请中的受控设备。A区摄像机和B区摄像机可以实时采集目标数据，并将所述目标数据上传至网关，网关进行数据处理的可以包括S1至S9。

S1：A区摄像机发送获取的目标数据。

A区摄像机可以将获取的目标数据通过ZigBee网络实时上传至网关，这里的网关可以是ZigBee网关。目标数据可以是A图像数据，所述A图像数据中可以包括A区任何物体的图像，所述物体可以包括人、动物、植物或者家居设备等。

S2：检测A区是否有人在看电视。

当ZigBee网关接收到A区摄像机发送的A图像数据后，可以利用分析算法对所述A图像数据进行分析与识别，通过分析与识别判断所述A图像数据中是否有人、电视是否打开等，如果A区有人并且电视画面在不断切换，则可以判断A区有人在看电视。

S3：B区摄像机发送获取的目标数据。

B区摄像机可以将获取的目标数据通过ZigBee网络实时上传至ZigBee网关，这里的网关和A区的网关是同一个网关。目标数据可以是B图像数据，所述B图像数据中可以包括B区任何物体的图像，所述物体可以包括人、动物、植物或者家居设备等。

S4：检测B区是否有人在睡觉。

当ZigBee网关接收到B区摄像机发送的B图像数据后，可以利用分析算法对所述B图像数据进行分析与识别，通过分析与识别判断所述B图像数据中是否有人、人是否躺在床上且没有显著动作，如果B区有人、人躺在床上且没有显著动作，则可以判断B区有人在睡觉。

S5：当A区有人看电视且B区有人睡觉则将会场景信息切换为安静模式。

S6：发送声音控制指令。

当网关将场景信息切换为安静模式后，其可以发送声音控制指令至电视，所述声音控制指令可以用于控制电视音量的大小，换句话说，声音控制指令中可以包括声音阈值，电视接收到所述控制指令后可以先判断当前的音量是否超出了声音阈值，如果超出了则应不断降低所述音量，直至其小于声音阈值。如果未超出所述声音阈值，则可以不断对所述声音进行监控，只要声音有升高，网关就会进行相应的控制。

S7：电视音量增大。

A区的受控设备电视的音量增大有两种情况，一种是切换频道导致电视声音增大，另一种是A区的人主动增大电视的声音。

S8：上报电视音量上升。

电视的音量增大后，其可以通过ZigBee网关将这一事件上传至ZigBee网关。

S9：控制电视音量使其不超过音量阈值。

ZigBee网关接收到电视上传的音量增大事件后，可以先判断所述音量是否超出了预设极大值，如果所述音量未超出预设极大值，则ZigBee网关不发出任何指令；如果所述音量超出了预设极大值，则ZigBee网关可以限制电视继续增大音量。

S10：向A区终端设备发送消息，提示B区有人睡觉，请保持安静。

当音量超出了预设极大值，ZigBee网关可以向A区设备发送消息，提示A区有人睡觉，请保持安静。所述消息为提示信息，其可以直接以短信息的形式发送，也可以利用APP发送，这里的APP可以是社交软件，例如，微信、QQ或者微博等，APP也可以是与ZigBee网关匹配的专属软件，即提示信息可以直接通过所述专属软件发送给A区的人。

上述示例如果采用传统方案，单一摄像机无法检测多个区域的状态，必须采用多个摄像机协调进行多个区域状态的检测，而不带有神经网络加速引擎的网关，无法实现多种深度学习算法的本地计算，若将多个摄像头采集到的图像信息上传至云端，在云端对多个摄像头采集到的图像信息进行计算，则会有隐私泄露、延迟高等问题。

本申请提出的一种数据处理方法中网关可以综合多个数据采集器获取到的目标数据，其对目标数据分析后可以对受控设备进行控制，即本申请提出的数据处理方法可以协调多个数据采集器，且不会提高数据采集器的成本，换句话说可以在网关本地集中处理局域网络内的数据，并可以对这些数据进行协调运算。

请参阅图7，本申请另一实施例提出了一种数据处理方法，从图7可以看出该方法包括步骤S210至步骤S240，其中步骤S220可以包括步骤S221至步骤S223。

步骤S210：获取每一所述数据采集器发送的目标数据。

网关获取到目标数据后需先对每一数据采集器进行一个判断，即判断每一数据采集器中是否设置有神经网络加速引擎，然后将设置有神经网络加速引擎的数据采集器看作是第一数据采集装置，将未设置有神经网络加速引擎的数据采集器看作是第二数据采集装置。如果数据采集器为第一数据采集装置，则发送第一获取请求至所述第一数据采集装置，所述第一获取请求用于指示所述第一数据采集装置采集基础数据，且调用所述第一数据采集装置内的神经网络加速引擎分析所述基础数据以得到第一目标数据且将所述第一目标数据返回至所述网关，获取所述第一目标数据作为所述数据采集器发送的目标数据。

如果数据采集器为第二数据采集装置，则发送第二获取请求至所述第二数据采集装置，所述第二获取请求用于指示所述第二数据采集装置采集基础数据，所述基础数据为第二目标数据，将所述第二目标数据返回至所述网关，获取所述第二目标数据作为所述数据采集器发送的目标数据。

本申请实施将设置有神经网络加速引擎的数据采集装置统称为第一数据采集装置，将未设置神经网络加速引擎的数据采集装置统称为第二数据采集装置。第一数据采集装置接收到网关发送的第一获取请求后，就可以根据所述第一获取请求进行数据的采集和分析，这里的第一获取请求可以包括两种情况，一种情况是只要求采集数据，另一种是既要求采集数据又要求分析数据。第一获取请求的格式可以是文本形式的，或者是二进制形式，例如，其可以是文本形式的命令：“采集基础数据，并对所述基础数据进行分析”。因为第二数据采集装置不具有数据分析的能力，因此，第二数据采集装置的主要功能是数据采集，即第二获取请求只有一种情况，与第一获取请求类似，第二获取请求也可以是文本形式的命令，或者是二进制形式的命令等，例如，其可以是文本形式的命令：“采集基础数据”。本申请实施例中第一目标数据指的是经过识别或分析后的数据，而第二目标数据则指的是基础数据，即第二目标数据是没有经过识别和分析的数据。

通过上述介绍可以知道网关接收到的目标数据可以分为两种类型，第一种类型是直接由数据采集装置采集的基础数据，第二种是经过神经网络加速引擎处理后的数据。基础数据中的数据既可以为图像数据或视频数据，也可以是语音数据，经过神经网络加速引擎处理后的数据可以是携带文本信息的图像数据，也可以直接是文本数据。

需要说明的是，本申请实施例中数据采集装置不同，则采集到的基础数据类型也可能不相同，例如，数据采集装置为图像采集装置时则采集到基础数据类型为图像或者视频；数据采集装置为音频采集装置时则采集到的基础数据类型为声音。

步骤S220：对每一所述目标数据分析以获取每一所述目标数据对应的识别结果。

当网关获取到数据采集装置的上传的目标数据后，可以先判断所述目标数据为第一目标数据还是第二目标数据，如果所述目标数据为第一目标数据，则网关可以不调用其自身配置的神经网络加速引擎来识别所述第一目标数据，因为所述第一目标数据是经过第一数据采集装置识别过的，因此，网关只需对所述第一目标数据进行简单的判断和分析操作。如果所述目标数据为第二目标数据，则网关可以调用其自身配置的神经网络加速引擎来识别所述第二目标数据，通过上述介绍可以知道第二目标数据是第二数据采集装置获取的，因为第二数据采集装置不配置有神经网络加速引擎，因此，第二数据采集装置无法对获取到的基础数据进行识别。

因此，根据所述第一目标数据得到第一结果；调用所述网关内设置的神经网络加速引擎对所述第二目标数据进行分析，以获得第二结果，所述网关内的神经网络加速引擎与所述第一数据采集装置内的神经网络加速引擎包含相同的识别模型；所述第一结果为所述第一目标数据对应的识别结果；所述第二结果为所述第二目标数据对应的识别结果。

步骤S221：确定每一所述目标数据对应的属性信息。

网关接收到目标数据后需先根据所述目标数据确定其对应的属性信息，目标数据对应的属性信息可以包括数据类型和目标场景中的至少一种。目标数据的数据类型指的是目标数据本身所属的类型，其可以包括图像数据或者语音数据等，图像数据指的是获取到的目标数据是图像格式的，本申请实施例中图像格式的数据既可以是普通图像，也可以是帧间图像，帧间图像指的是的数据采集器获取的数据是视频数据，数据采集器可以将采集到的视频数据转换为帧间图像。语音数据指的是获取到的目标数据是音频格式的数据。

另外，属性信息还可以包括目标场景，目标场景不相同则其适用的识别模型不相同，例如，目标场景是人脸，则识别模型是适用于人脸识别的模型，且所述人脸模型是通过大量人脸数据训练获取的；目标场景是老人，则识别模型是适用于跌倒预测的模型，且所述跌倒预测模型是通过大量跌倒图像数据训练获取的。话句话说，本申请可以根据当前场景选择适用的网络模型，目标场景可以是物体检测、人体检测或者姿态预测等，例如，不确定家中是否有人，可以对物体检测来确定家中是否有人；如果家中有人，则判断检测到的人是不是老人，如果是老人则进行人体检测或姿态预测，以此来判断是否有人摔倒。

需要说明的是，网关接收到目标数据后可以先确定目标数据的数据类型，在此基础上再确定目标数据属于哪个目标场景，其也可以先判断目标场景，再判断目标数据的类型。例如，网关接收到一个目标数据，所述目标数据是一张包含人体的图像，这时网关可以先判断出这个目标数据的数据类型是图像，然后再确定这个目标数据的场景是人体检测。

步骤S222：在所述神经网络加速引擎内的所述多个识别模型中，查找每一所述目标数据的属性信息对应的目标识别模型。

确定目标数据的属性信息后可以在神经网络加速引擎内的多个识别模型中，查找与所述属性信息对应的目标识别模型，因为属性信息不相同则其适用的目标识别模型也是不相同的，图像数据适用图像识别模型，语音识别模型适用语音识别模型，物体检测场景适用物体识别模型，人体预测场景则适用人体识别模型等。

本申请实施例中神经网络加速引擎中可以存储多个识别模型，而这些识别模型与属性信息一一对应，例如，识别模型可以分为图像识别模型和语音识别模型两大类，而这两类模型又可以根据场景不同而划分，例如，图像识别模型可以包括文本识别、人脸识别、物体检测、跌倒预测或者手掌识别等；语音识别可以包括语音拨号、语音导航、室内设备控制、语音文本检索以及简单的听写数据录入等。

另外，多个识别模型可以根据属性信息来获取，即当要获取图像识别模型的时候，可以先获取大量图像数据集，然后用所述图像数据集训练图像识别模型；当要获取语音识别模型的时候，可以先获取大量语音数据集，然后用所述语音数据集训练语音识别模型。同理，当要获取文本识别模型的时候，可以先获取大量的文本数据集，然后用所述文本数据集来训练文本识别模型；当要获取人脸识别模型的时候，可以先获取大量的人脸数据集，然后用所述人脸数据集来训练人脸识别模型等。

需要说明的是，在一个实施例中数据类型除了图像数据和语音数据以外还可以是其他形式的数据，所述其他形式的数据可以由子设备获取，而子设备则可以是烟雾传感器、温湿度传感器、红外传感器、震动传感器或者光照传感器等，这些子设备采集到传感数据后，可以直接将所述传感数据作为目标数据上传至网关，网关接收到所述目标数据后就就可以对所述目标数据进行分析或识别。

步骤S223：调用每一所述目标数据的目标识别模型对该目标数据进行识别，以获得识别结果。

因为网关接收到的目标数据类型可能有多种，目标识别模型也相应的有多个，即为了满足多种类型的目标数据，网关中可以包括多个目标识别模型，例如，网关接收到的目标数据中可以既包括图像，又包括语音，这时就可以同时调用图像识别模型和语音识别模型。又如，接收到的目标数据中既包括家居图像又包括人脸图像，这时候就可以同时调用人脸识别模型和家居识别模型。另外，场景不相同也可以使用同一个目标识别模型，不过最后获取的识别结果不相同，因此，具体怎么根据目标数据确定目标识别模型，这里不进行明确限制。

步骤S230：根据所述识别结果确定对应的至少一个场景信息。

步骤S240：发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

本申请提出的一种数据处理可以根据不同的场景和功能实现分时复用，同时又不会造成资源的浪费，即网关利用神经网络加速引擎可以综合两个或者多个数据采集器的数据，且通过分析所述数据可以对受控设备进行智能控制，在一定程度上可以增加用户使用体验。

请参阅图8，本申请实施例提出的一种数据处理装置300，该装置包括获取模块310，分析模块320、确定模块330和控制模块340。

获取模块310，用于获取每一所述数据采集器发送的目标数据。

数据采集器包括设置有神经网络加速引擎的第一数据采集装置，获取模块310用于发送第一获取请求至所述第一数据采集装置，所述第一获取请求用于指示所述第一数据采集装置采集基础数据，且调用所述第一数据采集装置内的神经网络加速引擎分析所述基础数据以得到第一目标数据且将所述第一目标数据返回至所述网关；获取所述第一目标数据作为所述数据采集器发送的目标数据。

另外，数据采集器包括未设置有神经网络加速引擎的第二数据采集装置，获取模块310用于发送第二获取请求至所述第二数据采集装置，所述第二获取请求用于指示所述第二数据采集装置采集基础数据，所述基础数据为第二目标数据，将所述第二目标数据返回至所述网关；获取所述第二目标数据作为所述数据采集器发送的目标数据。

分析模块320，用于对每一所述目标数据分析以获取每一所述目标数据对应的识别结果。

分析模块320用于将每一所述目标数据输入至神经网络加速引擎；调用所述神经网络加速引擎中的目标识别模型，并对每一所述目标数据进行识别，以获得识别结果。在调用神经网络加速引擎中的目标识别模型之前，分析模块320还用于获取目标识别网络；构建数据集并将所述数据集输入至所述目标识别网络进行训练，得到所述目标识别模型；将所述目标识别模型存储至所述神经网络加速引擎中。所述神经网络加速引擎至少包括一个识别模型。分析模块320还用于确定每一所述目标数据对应的属性信息；在所述神经网络加速引擎内的至少一个所述识别模型中，查找每一所述目标数据的属性信息对应的目标识别模型；调用每一所述目标数据的目标识别模型对该目标数据进行识别，以获得识别结果。

分析模块320还用于根据所述第一目标数据得到第一结果；调用所述网关内设置的神经网络加速引擎对所述第二目标数据进行分析，以获得第二结果，所述网关内的神经网络加速引擎与所述第一数据采集装置内的神经网络加速引擎包含相同的识别模型；所述第一结果为所述第一目标数据对应的识别结果；所述第二结果为所述第二目标数据对应的识别结果。

确定模块330，用于根据所述识别结果确定对应的至少一个场景信息。

控制模块340，用于发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

请参阅图9，本申请中网关420可以包括处理器421、存储器422、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在处理器422中并被配置为由一个或多个处理器421执行，一个或系统的指令多个程序配置用于执行如前述方法实施例所描述的方法。

处理器421可以包括一个或者多个处理核。处理器421利用各种接口和线路连接整个网关420内的各个部分，通过运行或执行存储在处理器422内的指令、程序、代码集或指令集，以及调用存储在处理器422内的数据，执行网关420的各种功能和处理数据。可选地，处理器421可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器421可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器421中，单独通过一块通信芯片进行实现。

处理器422可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。处理器422可用于存储指令、程序、代码、代码集或指令集。处理器422可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储网关420在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图10，本申请实施例提出的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。该计算机可读存储介质500中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本申请技术方案的范围内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据处理系统内的网关，所述网关内设置神经网络加速引擎，所述数据处理系统包括至少一个数据采集器和至少一个受控设备，至少一个所述数据采集器和至少一个所述受控设备均与所述网关连接，所述数据采集器包括设置有神经网络加速引擎的第一数据采集装置和未设置有神经网络加速引擎的第二数据采集装置，所述方法包括：

获取每一所述数据采集器发送的目标数据；

确定所述目标数据是第一目标数据或第二目标数据，所述第一目标数据是所述第一数据采集装置发送至所述网关的数据，所述第一目标数据是所述第一数据采集装置调用所述第一数据采集装置内部的神经网络加速引擎对所述第一数据采集装置采集到的数据进行识别后得到的数据，所述第二目标数据是所述第二数据采集装置采集后直接发送至所述网关的数据；

当确定所述目标数据为所述第一目标数据时，对所述第一目标数据进行分析，得到第一结果；

当确定所述目标数据为所述第二目标数据时，调用所述网关内的神经网络加速引擎对所述第二目标数据进行识别，得到第二结果；

根据识别结果确定对应的至少一个场景信息，所述识别结果包括所述第一结果和/或所述第二结果；

发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

2.根据权利要求1所述的方法，其特征在于，所述当确定所述目标数据为所述第二目标数据时，调用所述网关内的神经网络加速引擎对所述第二目标数据进行识别，得到第二结果，包括：

将所述第二目标数据输入至所述网关内的神经网络加速引擎；

调用所述网关内的神经网络加速引擎中的目标识别模型，并对所述第二目标数据进行识别，以获得第二结果。

3.根据权利要求2所述的方法，其特征在于，所述调用所述神经网络加速引擎中的目标识别模型之前，还包括：

获取目标识别网络；

构建数据集并将所述数据集输入至所述目标识别网络进行训练，得到所述目标识别模型；

将所述目标识别模型存储至所述神经网络加速引擎中。

4.根据权利要求2所述的方法，其特征在于，所述网关内的神经网络加速引擎至少包括一个识别模型；

所述调用所述网关内的神经网络加速引擎中的目标识别模型，并对所述第二目标数据进行识别，以获得第二结果，包括：

确定所述第二目标数据对应的属性信息；

在所述网关内的神经网络加速引擎内的至少一个所述识别模型中，查找所述第二目标数据的属性信息对应的目标识别模型；

调用所述第二目标数据的目标识别模型对所述第二目标数据进行识别，以获得识别结果。

5.根据权利要求1所述的方法，其特征在于，所述获取每一所述数据采集器发送的目标数据，包括：

发送第一获取请求至所述第一数据采集装置，所述第一获取请求用于指示所述第一数据采集装置采集基础数据，且调用所述第一数据采集装置内的神经网络加速引擎分析所述基础数据以得到第一目标数据且将所述第一目标数据返回至所述网关；

获取所述第一目标数据作为所述数据采集器发送的目标数据。

6.根据权利要求1或5所述的方法，其特征在于，所述获取每一所述数据采集器发送的目标数据，还包括：

发送第二获取请求至所述第二数据采集装置，所述第二获取请求用于指示所述第二数据采集装置采集基础数据，所述基础数据为第二目标数据，将所述第二目标数据返回至所述网关；

获取所述第二目标数据作为所述数据采集器发送的目标数据。

7.根据权利要求6所述的方法，其特征在于，所述网关内的神经网络加速引擎与所述第一数据采集装置内的神经网络加速引擎包含相同的识别模型。

8.一种数据处理装置，其特征在于，应用于数据处理系统内的网关，所述网关内设置神经网络加速引擎，所述数据处理系统包括至少一个数据采集器和至少一个受控设备，至少一个所述数据采集器和至少一个所述受控设备均与所述网关连接，所述数据采集器包括设置有神经网络加速引擎的第一数据采集装置和未设置有神经网络加速引擎的第二数据采集装置，所述装置包括：

获取模块，用于获取每一所述数据采集器发送的目标数据；

分析模块，用于确定所述目标数据是第一目标数据或第二目标数据，所述第一目标数据是所述第一数据采集装置发送至所述网关的数据，所述第一目标数据是所述第一数据采集装置调用所述第一数据采集装置内部的神经网络加速引擎对所述第一数据采集装置采集到的数据进行识别后得到的数据，所述第二目标数据是所述第二数据采集装置采集后直接发送至所述网关的数据；当确定所述目标数据为所述第一目标数据时，对所述第一目标数据进行分析，得到第一结果；当确定所述目标数据为所述第二目标数据时，调用所述网关内的神经网络加速引擎对所述第二目标数据进行识别，得到第二结果；

确定模块，用于根据识别结果确定对应的至少一个场景信息，所述识别结果包括所述第一结果和/或所述第二结果；

控制模块，用于发送与每一所述场景信息对应的控制指令至至少一个所述受控设备，所述控制指令用于指示所述受控设备执行指定操作。

9.一种数据处理系统，其特征在于，包括至少一个数据采集器、网关和至少一个受控设备，所述数据采集器包括设置有神经网络加速引擎的第一数据采集装置和未设置有神经网络加速引擎的第二数据采集装置，其中：

所述数据采集器，用于发送目标数据，所述目标数据包括第一目标数据和/或第二目标数据，所述第一目标数据是所述第一数据采集装置发送至所述网关的数据，所述第一目标数据是所述第一数据采集装置调用所述第一数据采集装置内部的神经网络加速引擎对所述第一数据采集装置采集到的数据进行识别后得到的数据，所述第二目标数据是所述第二数据采集装置采集后直接发送至所述网关的数据；

所述网关，用于确定所述目标数据是第一目标数据或第二目标数据，当确定所述目标数据为所述第一目标数据时，对所述第一目标数据进行分析，得到第一结果；当确定所述目标数据为所述第二目标数据时，调用所述网关内的神经网络加速引擎对所述第二目标数据进行识别，得到第二结果，并根据所述识别结果确定对应的至少一个场景信息，所述识别结果包括所述第一结果和/或所述第二结果；

所述受控设备，用于接收所述网关发送的与每一所述场景信息对应的控制指令，所述控制指令用于指示所述受控设备执行指定操作。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。

Images