CN112995287B - 一种面向边缘计算的关键词检测任务调度方法 - Google Patents

Abstract

本发明提供一种面向边缘计算的关键词检测方法，其中物联网设备包括边缘节点、边缘网关以及云服务器，用于关键词检测的模型分别部署在物联网的设备上，所述方法包括：步骤100：由边缘节点执行收集音频的任务；步骤200：分别计算边缘节点、边缘网关以及云服务器执行关键词检测任务所需的时延；步骤300：由执行关键词检测任务所需时延最短的设备使用其上部署的模型进行关键词检测。基于本发明的实施例，在物联网设备上部署训练多种精度的模型，包括在同一物联网设备上也可以部署多个不同精度模型,以按照应用场景的需求调用，本发明旨在减少数据传输的带宽占用，并按照时延最小的原则，最终选择合适的执行任务的设备，降低系统整个的任务完成时延。

Description

一种面向边缘计算的关键词检测任务调度方法

技术领域

本发明涉及边缘计算，尤其涉及关键词检测任务的调度。

背景技术

随着物联网市场的发展，物联网设备数量不断增多，网络带宽逐渐成为物联网系统的发展瓶颈。以往的云计算模式中，边缘节点采集的数据一般是传输到云计算中心进行处理。随着设备数量的井喷式增长，边缘节点的数据采集、传输、处理所需要的带宽越来越高。目前网络带宽的技术发展速度落后于IoT数据的增长速度，使得原来的云计算模式不能满足高实时性、低能耗等需求。同时云计算还存在安全性、可靠性等问题，为了解决上述的问题以及需求，边缘计算的概念被提出。

相对云计算，边缘计算[1]可以认为是一种对云计算的补充和扩展。如图1所示，物联网主要分成云服务器、边缘网关、边缘节点三个层次，物联网设备包括云服务器、边缘网关、边缘节点，边缘计算中的边缘节点部署的位置距离感知层更近，且边缘节点分布更广，能够在网络边缘侧直接处理大量数据，不再全部上传云端，从而能够拥有更小的网络延迟，更少的功耗，更强的反馈实时性。边缘节点广泛部署于世界各地，主要负责采集数据，通常可搭载多种传感器，比如温湿度传感器、摄像头、录音麦克风等。边缘节点的设备往往计算资源非常有限，能进行的计算任务的数据规模非常有限。边缘网关通常是多个边缘节点的父节点，每个边缘节点只从属于一个边缘网关。边缘网关拥有的计算资源更加充足，具有一定的存储能力以及计算能力。云服务器是边缘网关的上一级，具备非常强的存储与计算能力，通常一些非常消耗计算资源或者要求高精度的任务都是交由云服务器执行。

目前已经有越来越多的感知任务部署于整个物联网，比如通过拾音进行关键词检测反恐，通过摄像头收集城市交通情况帮助规划交通路线等。但是关键词检测这类任务，需要的计算资源较多，边缘节点的设备当前资源、设备的计算能力等条件可能不足以支撑当前的任务，边缘网关就会将数据和对应的计算任务分配到其它边缘网关或者云服务器上。在这个过程中，数据可能会经过一次或者多次传输。当数据量很大时，传输所带来的带宽占用以及能耗占用都是非常惊人的，为整个系统带来了非常大的资源负荷。传输数据带来的高时延和高能耗的问题成了亟待解决的问题。如果能在边缘节点上进行信息收集的同时，能直接进行处理感知任务，那么将在一定程度上减少时延以及降低能耗。然而边缘节点的计算能力不能应付一些计算能力需求较大的任务，此时仍然需要将任务传给边缘网关甚至云服务器。所以，为了更好地提升任务的完成质量，任务调度成了关键问题之一。

关键词检测的任务，其应用场景众多。比如，在某些服务类行业中，为了保障顾客的权益以及商家对外形象，需要规范业务员的话术，限制业务员在服务过程中必须要说出特定的词汇，或者不能提到不雅的词汇，可以对业务员的服务过程进行录音录像，实时进行关键词检测，或者先将录音保存，随后再对录音进行检测。在反恐场景中，在一些可能存在恐怖分子的高危地点，安插拾音器，进行实时关键词检测，一旦检查到“爆炸”、“抢劫”等敏感词汇，将当时的上下文录音直接转送到集中的安全中心，进行进一步处理，能够提前预知恐怖事件，提高安全性。

根据应用场景的不同，对关键词检测模型会有不同要求，比如检测的准确率、检测的关键词集合(包括内容以及数量)。准确率越高、关键词数量越大的模型，占用的资源越多，推理的速度也越慢。以往的关键词检测应用物联网应用中，在边缘节点、边缘网关等物联网设备上，关键词检测模型往往只会部署一个。然而单个模型无法应对多种多样的应用场景需求。如何提高整个系统的泛用性是一个亟待解决的问题。

同时，由于设备周围环境以及应用场景需求的变化，训练完成后的模型如果不再做更新，很有可能无法满足新的要求，因此定期更新物联网设备上的模型也是非常重要的。

针对上述问题，目前国内外已有部分相关工作。文献[2]介绍了一种面向边缘计算环境基于多副本的任务调度方法和系统。该文献公开了在边缘集群内定期测量和收集任务的执行状态，建立针对该模型的任务时延因子概率分布模型，描述集群的资源性能。但是，该方案只提到了在边缘侧收集数据，训练模型，没有考虑到将数据整合，根据应用场景按需训练相关模型并部署。

文献[3]提出了一种边缘计算网络中基于云边多层协作的时延优化方法、装置、电子设备和可读存储介质。该文献通过云计算中心收集多个边缘服务器的设备与资源信息，根据云边协同的方式，得到任务卸载比例和资源分配策略对原始数据进行处理，降低系统时延。但是，该文献要求云计算中心掌握各个边缘服务器的信息，频繁同步设备信息的过程会带来非常高的带宽占用，传输的过程会带来隐私与安全性的问题。

文献[4]提出了一种移动边缘计算中协作卸载机制下的最小化时延方法。该文献构建移动边缘计算中协作卸载机制下的数学模型，建立构造拉格朗日函数，利用梯度下降法求解任务卸载决策变量，决定任务在本地、MEC服务器或者云服务器上执行，有效降低了任务的完成时延。然而，该方法没有考虑到应用场景的复杂性，设备上单个模型不足以应对各种各样的场景需求。

综上所述，现有的边缘计算任务调度方法忽略了物联网系统中带宽占用高、应用场景需求多变的问题，没有考虑到在边缘节点/边缘网关上存储多种准确率、内存占用不同的模型，并且按准确率、待检测的关键词集合等系统目标进行调度的方案，不能充分利用物联网设备的计算资源，无法最大程度地降低系统时间。因此有必要提出一种能够克服上述问题的关键词检测任务调度方法。

文献列表：

[1]SHI W,CAO J,ZHANG Q,et al.Edge computing:Vision and challenges[J].IEEE internet of things journal,2016,3(5):637–646.

[2]钱柱中,王甜甜,陆桑璐.一种面向边缘计算环境基于多副本的任务调度方法和系统,CN111381950A

[3]宋令阳,王鹏飞,邸博雅等.边缘计算网络中云边多层协作的时延优化方法及装置,CN111970323A

[4]邝祝芳,李哲,马志豪.移动边缘计算中协作卸载机制下的最小化时延方法.CN111556143A

发明内容

本发明针对上述问题，根据本发明的第一方面，提出一种面向边缘计算的关键词检测方法，其中物联网设备包括边缘节点、边缘网关以及云服务器，用于关键词检测的模型分别部署在物联网的设备上，所述方法包括：

步骤100：由所述边缘节点执行收集音频的任务；

步骤200：分别计算所述边缘节点、所述边缘网关以及所述云服务器执行关键词检测任务所需的时延；

步骤300：由执行所述关键词检测任务所需时延最短的设备使用其上部署的模型进行关键词检测。

在本发明的一个实施例中，在同一物联网设备上可以部署多个不同精度模型,以按照应用场景的需求调用。

在本发明的一个实施例中，还包括在云服务器上通过扩充语料库对模型进行进一步的训练以增加准确率或关键词。

在本发明的一个实施例中，其中所述执行关键词检测任务所需的时延T_total包括传输时延T_transmission与执行时延T_execute。

在本发明的一个实施例中，其中，传输时延T_transmission包括任务上传时延T_{task_}以及结果回传时延T_{result_n}。

在本发明的一个实施例中，其中，执行时延T_execute按照以下公式计算

其中，λ表示在使用符合应用场景需求的模型时每kb的数据量对应的cpu计算周期数，cpu_frequency表示cpu的主频，cpu_utilization表示当前设备的总cpu利用率。

在本发明的一个实施例中，其中扩充语料库包括：

1)去除模型误判为包含关键词但实际不包含关键词的语料；

2)去除背景声音过于嘈杂的语料。

在本发明的一个实施例中，其中扩充语料库还包括加入开源免费语料库、购买收费语料库以及收集各类场景的语音并人工标注。

根据本发明的第二方面，提供一种计算机可读存储介质，其中存储有一个或者多个计算机程序，所述计算机程序在被执行时用于实现本发明的面向边缘计算的关键词检测方法。

根据本发明的第三方面，提供一种计算系统，包括：存储装置、以及一个或者多个处理器；其中，所述存储装置用于存储一个或者多个计算机程序，所述计算机程序在被所述处理器执行时用于实现本发明的面向边缘计算的关键词检测方法。

与现有技术相比，本发明的优点在于本发明利用边缘计算尽可能靠近边缘节点侧的设备执行任务的原则，旨在减少数据传输的带宽占用，降低访问的时延。首先在边缘节点、边缘网关和云服务器上部署训练多种精度的模型，即使在同一物联网设备上也可以部署多个不同精度模型,以按照应用场景的需求调用。其次，边缘节点收集数据，筛选出有效数据后，传输至云服务器。云服务器上按需训练多种精度的模型，再分发到各个物联网设备。需要执行任务时，利用基于时延的贪心任务调度方法，筛选出近距离内符合条件的设备，按照时延最小的原则，最终选择合适的执行任务的设备，降低系统整个的任务完成时延。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了物联网的三个层次的示意图；

图2示出了根据本发明实施例的关键词检测流程图。

具体实施方式

针对背景技术指出的问题，发明人进行了研究，提出了一种面向边缘计算的关键词检测方法，考虑到检测精度需求经常变化，例如反恐级别会在不同时间有不同的需求，因此需要不同精度的检测模型,该方法针对不同场景不同应用训练不同的精度与关键词范围的模型，并将这些模型根据其对硬件的需求部署到不同的设备上，例如边缘节点、边缘网关以及云服务器上，一般来来说越大的模型需要越多的资源。此外，即使在同一个设备上也可以部署多个不同精度模型以提高整个系统的灵活性。在关键词检测时，通过最小化时延的方法，选择边缘节点、边缘网关以及云服务器中一个设备上的模型进行关键词检测，通过不断对语料库进行扩充，模型可以重新训练以获取所需准确度和关键词的模型。

以下首先描述本方案的三个重要组成部分。

(一)存储与利用多种精度模型

单个关键词检测模型不足以应对多种用户需求。比如不同应用需要检测的关键词、准确率都会有一定区别。因此，可以训练多种不同的模型，模型分为两种：通用型与定制型。通用的关键词检测模型，一般是使用通用的音频语料进行训练，这类模型通常泛用性较强，能够检测的关键词比较多且比较通用。可以设定多种关键词集合(以下称为关键词词表)，集合中词的数量范围在几十个至几万个。根据关键词词表，选择合适的语料进行训练，得到模型。定制型的关键词检测模型，通常是针对特定的场景需求，在通用型模型的基础上进行强化训练。比如应用场景为检测恐怖行为，则需要预先准备一些恐怖行为相关的语料，把通用模型作为一个预训练模型，加载其模型参数后，使用恐怖行为语料进行进一步训练，更新模型参数。通过该方法得到的定制型模型，在检测恐怖行为时的准确率会更高。

在物联网设备(包括边缘节点、边缘网关以及云服务器等)中，部署多种不同关键词词集、不同准确率的通用型或者定制型模型，根据应用场景需求，设备可以选择满足要求的模型进行服务。

(二)模型的定期更新策略

在边缘节点和边缘网关中，计算资源难以支撑模型的快速训练，因此模型的训练通常在云服务器中完成。训练模型需要的数据，由如下三部分组成：a)公开数据集；b)收集各类场景的语音，交由人工标注；c)在边缘节点收集的音频，如果由关键词检测模型判断为关键词命中(筛选掉无关的音频)，则这些音频也可以作为语料，交由人工标注。以上三部分数据，都会汇总保存至云服务器上。

可以配置是否收集在边缘节点的拾音器录制的音频数据。按照各个应用场景的需求，定期利用不同的语料训练出针对性的模型，再将这些模型更新至边缘节点或者边缘网关中。

(三)基于时延的贪心任务调度方法

在以往任务调度的研究中，调度目标包括降低时延、优化能耗、最大化任务完成的数量等。考虑到近年物联网大量带宽占用带来的高延迟问题，本发明中任务调度方法的系统总体目标为最小化所有任务完成的时延。

下面结合附图和具体实施例，对本方法进行详细描述。

图2示出了本发明的流程,包括边缘节点采集音频，选择执行设备、关键词检测、以及语料入库。

步骤210：收集音频，边缘节点可以设定收集音频的频率，可以有几种方式可选，例如：1)按时间间隔不间断录音：每十秒录一次音，录音时长为十秒，如此往复；2)按时间间隔间断录音，每十秒录一次音，录音时长为五秒；3)流式录音，持续录音，直接将音频流传输到边缘网关或者云服务器。方式1)、2)得到的录音以文件形式保存，方式3)以流式录音的形式保存，方式3)对网络稳定性以及带宽的要求都非常高。

步骤220：根据调度算法，选择合适的物联网设备、边缘网关或云服务器作为关键词检测的任务执行设备。所选设备选择满足应用场景要求的模型进行关键词检测，得到关键词命中情况。

在以往任务调度的研究中，调度目标有降低时延、优化能耗、最大化任务完成的数量等。考虑到近年物联网大量带宽占用带来的高延迟问题，本发明提出了基于时延的贪心任务的调度方法，其中任务调度方法的系统总体目标为最小化所有任务完成的时延。边缘节点向边缘网关获取边缘网关设备以及网关下其他边缘节点设备的信息，设备信息包括设备的cpu利用率、设备的主频、该设备下每kb数据量对应的计算周期数、以及存储在设备中的各个模型的信息。另外还需要按照当前任务的对准确率、模型的关键词检测范围等要求，判断其它设备中是否存在满足条件的模型，如果不存在，则直接将该设备从候选设备列表中移除。由于边缘节点自身已知当前任务的数据量等信息，再结合以上的设备信息可以计算出任务在候选列表中各个设备上的执行时间。另外根据当前的网络带宽情况推算出将数据传输到候选列表中其它设备所需要的传输时间。选择执行时间和传输时间的总和最小的设备作为最终执行任务的设备。

T_total＝T_transmissionT_execute1

单个任务的完成时延T_total计算公式如(1)所示，包括传输时延T_transmission以及执行时延T_execute两部分。

T_transmission＝T_{task_}+T_{result_eturn}2

传输时延T_transmission如公式(2)所示，由任务上传时延T_{task_}以及结果回传时延T_{result_n}两部分组成。任务上传时延是指，将任务和数据由边缘节点传输到边缘网关或者云服务器的过程中消耗的时间。将任务和数据上传至边缘网关或者云服务器之后，边缘网关或者云服务器会执行完任务。结果回传时延是指，将任务执行之后的结果返回给边缘节点的过程。在本发明中，假设任务上传时延由任务的数据量、传输距离、网络带宽决定，结果回传时延由任务结果的数据量、传输距离、网络带宽决定。如果边缘节点本身持有足以支持任务的计算资源，根据任务调度方法选择将任务放在边缘节点本地执行的话，那么任务上传时延和结果回传时延都为0。

单个任务执行的时间计算公式如(3)所示，T_execute指的是单个任务执行的时延，本发明中以该任务执行的最小时延来近似估计该任务的执行时延。λ表示在使用符合应用场景需求的模型时每kb的数据量对应的cpu计算周期数，cpu_{_}frequency表示cpu的主频，cpu_{_}utilization表示当前设备的总cpu利用率。

设备在一定周期内会同步近距离内的其他设备(包括边缘节点、边缘网关)的资源使用情况以及已接受的任务数，过滤掉未存储符合任务需求模型的设备,由于同一设备上也会有多个精度的模型，只有当这个设备上所有的模型都不符合任务需求时，该设备才会被过滤掉。如公式(4)所示，i表示最终选择的执行任务的设备，在该设备接收到某个任务时，在过滤掉不符合条件的设备后，会计算在该设备本地(i＝0)执行任务所需要的总时延，以及将任务传输到近距离内的其它设备(i>＝1)以及云服务器上的总时延。本发明使用贪心选择的算法，选择总完成时延最小模型所在的设备，作为最终执行任务的设备。

综上所述，本发明中任务调度方法分为云-边缘网关-边缘节点三个层次。边缘网关更接近边缘节点，在边缘网关或者边缘节点进行任务处理，相比云服务器可以降低通信延时，避免了将所有边缘节点采集的数据都上传到云服务器，减少了网络带宽占用。利用贪心的调度方法，选择总完成时延最少的设备进行任务计算，能够降低总体任务的完成时延，提高计算效率，提升系统服务质量。

步骤230：关键词检测,由所选设备利用满足应用场景要求的模型进行关键词检测，得到关键词命中情况。关键词命中结果中包含时间以及命中的关键词，具体示例如下：“2020.1.1 13:30:00炸弹；2020.1.1 18:21:00抢劫”。如果是服务业场景，要求业务员说出特定术语，则需要将业务员服务过程中的音频记录下来，查看服务的起始结束时间范围内，特定术语是否都命中，如果出现某个术语未命中，则表示业务员描述不规范，需要将该服务过程和检测结果上传到云服务器进行记录。而如果是反恐场景，只要检测到特定的敏感词，则认为存在一定恐怖事件发生的风险，需要将该录音的前后时间范围内的录音都上传至云服务器，交由专门人员进一步审查并进行预警。

步骤240：确定是否符合语料入库条件，在关键词检测后，对于模型判断为含有关键词的语料进一步进行人工判断，以确定是否可以加入语料库供今后对模型进行进一步训练。例如可以将模型判断为含有关键词的语料进行存储，并定期或不定期地由人工判断这些语料是否符合语料入库条件，因为模型可能存在误判的情况，即模型认为音频中说了关键词，但是人工听了之后，发现并没有说，那么这种没有包括关键词的音频则不能作为训练语料，另外一种情况就是音频的背景声音太嘈杂，基本听不太清人说话，那么这种音频也需要舍弃，不能入库。

步骤250：将符合语料入库条件的语料数据上传至云服务器，扩充云服务器中的音频语料库。云服务器中的语料还可以有其他数据来源，例如公有语料库，即开源免费语料库，以及通过购买收费语料库扩充语料库。还可以收集各类场景的语音，交由人工标注。加入上述所有这些语料数据集以及其人工标注之后，当需要增加应用场景下设备的准确率以及关键词检测词集时，云服务器按照应用场景的需求，筛选出语音中出现了相关关键词的语音作为候选的训练语料，训练出多种精度的关键词检测模型，再下发到应用场景关联的物联网设备、边缘网关以及云服务器中。

为使本领域任何普通技术人员能够实现或者使用本公开内容，上面围绕本公开内容进行了描述。对于本领域普通技术人员来说，对本公开内容进行各种修改是显而易见的，并且，本文定义的通用原理也可以在不脱离本公开内容的精神或保护范围的基础上适用于其它变型。此外，除非另外说明，否则任何方面和/或实施例的所有部分或一部分可以与任何其它方面和/或实施例的所有部分或一部分一起使用。因此，本公开内容并不限于本文所描述的例子和设计方案，而是与本文公开的原理和新颖性特征的最广范围相一致。

Claims (9)

1.一种面向边缘计算的关键词检测方法，其中物联网设备包括边缘节点、边缘网关以及云服务器，用于关键词检测的模型分别部署在物联网的设备上，其中，针对不同场景不同应用训练不同的精度与关键词范围的模型，并将这些模型根据其对硬件的需求部署到不同的设备上，在同一物联网设备上可以部署多个不同精度模型,以按照应用场景的需求调用，所述方法包括：

步骤100：由所述边缘节点执行收集音频的任务；

步骤200：过滤掉未存储符合任务需求模型的设备后，分别计算边缘节点、边缘网关以及云服务器执行关键词检测任务所需的时延，其中，根据应用场景的不同，对关键词检测模型设有不同需求，所述需求包括检测的精度、检测的关键词集合的需求；

步骤300：由执行所述关键词检测任务所需时延最短的设备使用其上部署的模型进行关键词检测。

2.根据权利要求1所述的方法，还包括在云服务器上通过扩充语料库对模型进行进一步的训练以增加准确率或关键词。

3.根据权利要求1所述的方法，其中所述执行关键词检测任务所需的时延T_total包括传输时延T_transmission与执行时延T_execute。

4.根据权利要求3所述的方法，其中，传输时延T_transmission包括任务上传时延T_{task_upload}以及结果回传时延T_{result_return}。

5.根据权利要求3所述的方法，其中，执行时延T_execute按照以下公式计算

其中，λ表示在使用符合应用场景需求的模型时每kb的数据量对应的cpu计算周期数，cpu_frequency表示cpu的主频，cpu_utilization表示当前设备的总cpu利用率。

6.根据权利要求2所述的方法，其中扩充语料库包括：

1)去除模型误判为包含关键词但实际不包含关键词的语料；

2)去除背景声音过于嘈杂的语料。

7.根据权利要求2所述的方法，其中扩充语料库还包括加入开源免费语料库、购买收费语料库以及收集各类场景的语音并人工标注。

8.一种计算机可读存储介质，其中存储有一个或者多个计算机程序，所述计算机程序在被执行时用于实现如权利要求1-7任意一项所述的方法。

9.一种计算系统，包括：

存储装置、以及一个或者多个处理器；

其中，所述存储装置用于存储一个或者多个计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求1-7任意一项所述的方法。

Images