CN111212264A - 基于边缘计算的图像处理方法、装置、及存储介质 - Google Patents

Abstract

本发明实施例涉及视频监控技术领域，公开了一种基于边缘计算的图像处理方法。本发明中，第一边缘计算节点接收图像处理任务；若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。本发明还提出一种基于边缘计算的图像处理装置以及一种计算机可读存储介质。本发明可以提高图像处理的效率，进而提高视频监控效率。

Description

基于边缘计算的图像处理方法、装置、及存储介质

技术领域

本发明实施例涉及视频监控技术领域，特别涉及一种基于边缘计算的图像处理方法、装置及计算机可读存储介质。

背景技术

视频监控技术普遍应用于安防系统中，发明人发现，现有的视频监控系统基本都是在摄像装置和云端之间进行信息同步和交互，云端类似大脑，控制摄像装置采集到的图像进行怎样的处理。具体的，常见的视频监控系统的运行方式是通过大量摄像装置采集图像，并将采集到的图像上传至云端进行处理。在这种方式中，云端的计算负载较高，并且大量的数据频繁的传输会增大传输带宽负载，从而导致视频监控时图像处理的效率不高，并且降低了视频监控的效率。

发明内容

本发明实施方式的目的在于提供一种基于边缘计算的图像处理方法、装置及计算机可读存储介质，可以提高图像处理的效率，进而提高视频监控效率。

为解决上述技术问题，本发明的实施方式提供了一种基于边缘计算的图像处理方法，所述方法包括：

第一边缘计算节点接收图像处理任务；

若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；

若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

优选地，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：

所述第一边缘计算节点通过流言协议将所述图像处理任务广播至其他边缘计算节点。

优选地，所述第一边缘计算节点处理所述图像处理任务包括：

所述第一边缘计算节点接收摄像装置获取到的监控图像，所述摄像装置是接入所述第一边缘计算节点的至少一个摄像装置；

所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理。

优选地，所述图像处理任务为基于待跟踪对象的信息进行跟踪，所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理包括：

所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像；

若所述监控图像中存在与所述待跟踪对象匹配的图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息。

优选地，所述待跟踪对象的信息为所述待跟踪对象的图像，所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像包括：

所述第一边缘计算节点计算所述待跟踪对象的图像与所述监控图像的相似度；

当计算得到的相似度大于预设相似度时，所述第一边缘计算节点确定所述监控图像中存在与所述待跟踪对象匹配的图像。

优选地，所述至少一个摄像装置包括第一摄像装置和第二摄像装置，所述监控图像包括所述第一摄像装置采集到的至少一张第一监控图像以及所述第二摄像装置采集到的至少一张第二监控图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息包括：

所述第一边缘计算节点确定所述至少一张第一监控图像和所述至少一张第二监控图像之中与所述待跟踪对象的图像的相似度最高的图像为目标图像；

所述第一边缘计算节点确定所述第一摄像装置和所述第二摄像装置之中采集到所述目标图像的摄像装置为目标摄像装置；

所述第一边缘计算节点根据所述目标摄像头的监控范围确定所述待跟踪对象的位置信息；

所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息。

优选地，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息之后，所述方法还包括：

所述第一边缘计算节点接收所述第一摄像装置采集到的至少一张第三监控图像以及所述第二摄像装置采集到的至少一张第四监控图像；

所述第一边缘计算节点根据所述第三监控图像和所述第四监控图像确定所述待跟踪对象的位置信息是否存在变化；

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点获取并发送所述待跟踪对象位置变化后的位置信息；或者

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点接收通过所述其他边缘计算节点广播的所述待跟踪对象的跟踪状态消息。

本发明的实施方式还提供了一种基于边缘计算的图像处理装置，所述装置包括：

接收模块，用于第一边缘计算节点接收图像处理任务；

发送模块，用于若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；

处理模块，用于若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

本发明的实施方式还提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的基于边缘计算的图像处理方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述基于边缘计算的图像处理。

本发明第一边缘计算节点接收图像处理任务；若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。由于在本发明中，第一边缘计算节点既能够接收终端上传的图像处理任务从而发送至其他边缘计算节点，也能够接收其他边缘计算节点发送的图像处理任务，所以图像处理任务的发送可以是由边缘计算节点下某个终端触发的，并且可以在所有边缘计算节点之间传输，从而使所有边缘计算节点能够并行处理图像处理任务，无需通过云端依次分发任务和处理图像，提高了信息传输的实时性和图像处理的实时性，边缘计算节点是部署在设备接入侧的具有计算能力的处理节点，因此，通过边缘计算节点能够更加快速的处理图像，提高了图像处理的效率，从而有利于提高视频监控的效率。

进一步地，当图像处理任务为基于待跟踪对象的信息进行跟踪时，所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像；若所述监控图像中存在与所述待跟踪对象匹配的图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息，从而能够快速更快速的进行图像追踪以及获取图像追踪结果。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明一实施例提供的基于边缘计算的图像处理方法的流程示意图；

图2为本发明一实施例提供的包含多个边缘计算节点的系统结构示意图；

图3为本发明一实施例提供的基于边缘计算的图像处理模块的结构示意图；

图4为本发明一实施例提供的电子设备的内部结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种基于边缘计算的图像处理方法。下面对本实施方式的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

请参见图1，图1为一实施例提供的基于边缘计算的图像处理方法的流程示意图。本实施例中基于边缘计算的图像处理方法包括：

S1，第一边缘计算节点接收图像处理任务。

本发明实施例中的第一边缘计算节点可以存在于基于边缘计算的图像处理系统中，该图像处理系统中包含至少两个边缘计算节点，每个边缘计算节点在无线接入侧可以接入终端和摄像装置，接入的终端和摄像装置可以与边缘计算节点进行通信，边缘计算节点之间可以进行通信。

本实施例中，第一边缘计算节点可以是基于边缘计算的图像处理系统中的任意一个边缘计算节点，其中，边缘计算节点是靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的平台，该平台可以部署在边缘计算服务器上。

一种可选实例中，所述图像处理任务为图像跟踪任务。

S2，若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务。

一种可选实例中，接入第一终端的数量可以为一个或多个，第一终端可以为手机、电脑、平板等计算机设备。所述第一终端可以通过图形用户界面与用户交互。

本实施例中，当第一终端的数量多个时，第一边缘计算节点可以接收多个终端中的任意一个终端上传的图像处理任务，并将图像处理任务发送至其他边缘计算节点。

本实施例中，所述其他边缘计算节点的数量可以为一个或多个。

一种可选实施例中，第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：第一边缘计算节点直接将所述图像处理任务直接发送其他多个边缘计算节点。

一种可选实施例中，第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：第一边缘计算节点将图像处理任务发送至第二边缘计算节点，以使第二边缘计算节点发送至第三边缘计算节点，其中，第二边缘计算节点是与第一边缘计算节点相邻的边缘计算节点，第三边缘计算节点是与第二边缘计算节点相邻的边缘计算节点。

在本实施例中，通过边缘计算节点依次传输图像处理任务，最终能够使得每个边缘计算节点都获取到该图像处理任务，这种协同传输的方式提高了图像处理任务传输的效率。

优选地，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：

所述第一边缘计算节点通过流言协议将所述图像处理任务广播至其他边缘计算节点。

本实施中，流言协议(Gossip)是一种去中心化、容错但最终一致性的算法，其收敛性不但得到证明还具有指数级的收敛速度，流言协议实时性可以满足同一个区域时延10ms以内，不同区域100ms以内，因此使用流言协议可以快速地把信息扩散到更多的边缘计算节点。

具体的，在通过流言协议进行广播时，第一边缘计算节点随机与其他边缘计算节点通信，经过一段时间的交互后，最终所有的边缘计算节点都会达成信息一致。

请参考图2，图2为包含多个边缘计算节点的系统结构示意图。

在图2中，存在四个边缘计算节点，每个边缘计算节点可以接入至少一个终端和至少摄像装置，每个边缘计算节点接入的终端数量和摄像数量可以是相同的也可以是不同的，每个边缘计算节点可以通过流言协议(Gossip)与相邻的其他边缘计算节点进行通信。图2中第一边缘计算节点接收接入的终端上传的第一图像处理任务，并通过流言协议广播该图像处理任务，以使所有边缘计算节点(如图2中的第一边缘计算节点、第二边缘计算节点、第三边缘计算节点、第四边缘计算节点)并行处该第一图像处理任务。

在本实施例中，每个接收到图像处理任务的边缘计算节点能够以相同方式处理图像处理任务。具体边缘计算节点如何处理，请参照步骤S13的相关说明。

在本实施例中，图像处理任务可以由任意边缘计算节点接收，并向其他边缘计算节点广播，提高图像处理任务传输的实时性和灵活性。并且，通过在一个边缘计算节点接收到图像处理任务之后，通过传输该图像处理任务使所有边缘计算节点并行处理该图像处理任务，提高了图像处理任务的速度。

当图像处理任务较多时，应用本发明所述方法，可以同时将多个任务快速同步至每个边缘计算节点，无需等待云端一一传输处理，极大的提高了图像任务分发和图像处理的效率。

S3，若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

在本实施例中，第一边缘计算节点可以接收其他边缘计算节点发送的图像处理任务，并直接处理该图像处理任务。

请继续参考图2，在图2中，第一边缘计算节点还可以接收其他边缘计算节点通过流言协议发送的第二图像处理任务(该第二图像处理任务由接入第二边缘计算平台的终端上传)，并与其他边缘计算节点并行处该第二图像处理任务。

优选地，所述第一边缘计算节点处理所述图像处理任务包括：

所述第一边缘计算节点接收摄像装置获取到的监控图像，所述摄像装置是接入所述第一边缘计算节点的至少一个摄像装置；

所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理。

在本实施中，第一边缘计算节点接收到摄像装置获取到的监控图像之后，直接对该图像进行处理，无需上传到云端进行处理，进一步提高了图像处理的效率。

由于在基于所述图像处理任务对监控图像进行处理时，需要消耗大量的计算资源，如果在云端集中处理容易降低处理效率，造成性能瓶颈，在本实施例中，通过各边缘计算节点直接处理接入的摄像装置获取到的图像，可以有效降低网络负载和避免出现性能瓶颈。

优选地，所述图像处理任务为基于待跟踪对象的信息进行跟踪，所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理包括：

所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像；

若所述监控图像中存在与所述待跟踪对象匹配的图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息。

一种可选实施例中，待跟踪对象可以是人物、建筑物、宠物、汽车、车牌等对象。

本实施中，所述跟踪对象的信息可以是待跟踪对象的类别信息或者特征信息等，如待跟踪对象的外形/外观特征、待跟踪对象的行为特征等信息。

本实施例中，监控图像可以是多张图像，当存在匹配的图像时，向其他边缘卷节点发送跟踪状态消息，所述跟踪状态消息可以包括定位到了该待跟踪对象的通知消息。

请继续参照图2，在图2中，当第二图像处理任务为基于待跟踪对象的信息进行跟踪，当第一边缘计算节点对应的摄像装置获取到待跟踪对象时，第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送跟踪状态消息。

具体的，可以由第一边缘计算节点向所述第一终端发送跟踪状态消息，以及由第一边缘计算节点通过流言协议向和所述其他边缘计算节点广播跟踪状态消息。

通过本实施例，在一个边缘计算节点识别待跟踪对象之后，可以使边缘计算节点的终端侧和其他边缘计算节点快速的获取到该信息，有利于用户快速获取到图像处理任务的结果。

优选地，所述待跟踪对象的信息为所述待跟踪对象的图像，所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像包括：

所述第一边缘计算节点计算所述待跟踪对象的图像与所述监控图像的相似度；

当计算得到的相似度大于预设相似度时，所述第一边缘计算节点确定所述监控图像中存在与所述待跟踪对象匹配的图像。

本实施例中，监控图像可以是视频流数据，第一边缘计算节点在获取到视频流数据之后提取图像帧，即提取多帧图像，然后对多帧图像进行去噪、降噪、图像增强等预处理，再提取目标区域(例如，提取包含人脸区域的区域图像)，进而对目标区域进行特征提取，计算相似度，从而根据相似度确定是否存在于待跟踪对象匹配的图像。

优选地，所述至少一个摄像装置包括第一摄像装置和第二摄像装置，所述监控图像包括所述第一摄像装置采集到的至少一张第一监控图像以及所述第二摄像装置采集到的至少一张第二监控图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息包括：

所述第一边缘计算节点确定所述至少一张第一监控图像和所述至少一张第二监控图像之中与所述待跟踪对象的图像的相似度最高的图像为目标图像；

所述第一边缘计算节点确定所述第一摄像装置和所述第二摄像装置之中采集到所述目标图像的摄像装置为目标摄像装置；

所述第一边缘计算节点根据所述目标摄像头的监控范围确定所述待跟踪对象的位置信息；

所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息。

在本实施例中，监控图像可以来自于接入第一边缘计算节点的多个摄像装置，第一边缘计算节点对多个摄像装置采集到的图像进行处理，进而准确定位待跟踪对象的位置，因此通过本实施例在边缘计算节点上就进行图像处理和判断能够快速准确定位待监控对象的位置。

优选地，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息之后，所述方法还包括：

所述第一边缘计算节点接收所述第一摄像装置采集到的至少一张第三监控图像以及所述第二摄像装置采集到的至少一张第四监控图像；

所述第一边缘计算节点根据所述第三监控图像和所述第四监控图像确定所述待跟踪对象的位置信息是否存在变化；

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点获取并发送所述待跟踪对象位置变化后的位置信息；或者

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点接收通过所述其他边缘计算节点广播的所述待跟踪对象的跟踪状态消息。

在本实施例中，第一边缘计算节点可以持续处理图像处理任务，例如持续进行监控并跟踪待跟踪对象。

一种可选实施例中，第一边缘计算节点根据所述第三监控图像和所述第四监控图像确定所述待跟踪对象的位置信息是否存在变化包括：第一边缘计算节点分别计算待跟踪对象的图像与第三监控图像和第四监控图像的相似度，确定拍摄到待跟踪对象的目标摄像装置是否发生变化，进而确定待跟踪对象的位置信息是否发生变化。

例如，待跟踪对象开始由接入第一边缘计算节点的第一摄像装置采集到，一段时间后，待跟踪对象由接入第一边缘计算节点的第二摄像装置采集到，则确定待跟踪对象的位置信息存在变换，第一边缘计算节点向接入的终端发送待跟踪的对象新的位置信息；又过了一段时间，待跟踪由接入其他边缘计算节点的其他摄像装置采集到，则此时第一边缘计算节点通过获取到的监控图像匹配不到与的待跟踪对象相似的图像，在其他边缘计算节点定位到待跟踪对象时，接收由其他边缘计算节点广播的待跟踪对象的跟踪状态信息，并且，第一边缘计算节点在接收到其他边缘计算节点广播的待跟踪对象的跟踪状态信息之后，向接入第一边缘计算节点的终端发送。

通过本实施例，当待跟踪对象的位置可能在某个区域内发送变化时，第一边缘计算节点可以识别到并通知第一边缘计算节点的接入的终端，并且可以使其他边缘计算节点获取到该信息，以使接入其他边缘计算节点的其他终端获取该信息。在这个过程中，信息在在边缘计算节点与终端之间以及边缘计算节点之间传输，无需由云端判断并传输，从而在待跟踪对象的位置发生变化后能迅速处理图像以及确定待跟踪对象的最新的位置，提高了视频监控的效率。

本发明实施例中，第一边缘计算节点接收图像处理任务；若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。由于在本发明中，第一边缘计算节点既能够接收终端上传的图像处理任务从而发送至其他边缘计算节点，也能够接收其他边缘计算节点发送的图像处理任务，所以图像处理任务的发送可以是由边缘计算节点下某个终端触发的，并且可以在所有边缘计算节点之间传输，从而使所有边缘计算节点能够并行处理图像处理任务，无需通过云端依次分发任务和处理图像，提高了信息传输的实时性和图像处理的实时性，边缘计算节点是部署在设备接入侧的具有计算能力的处理节点，因此，通过边缘计算节点能够更加快速的处理图像，提高了图像处理的效率，从而有利于提高视频监控的效率。

请参考图3，图3本发明一实施例提供的基于边缘计算的图像处理装置的结构示意图。本实施方式中的基于边缘计算的图像处理装置包括：

接收模块10，用于第一边缘计算节点接收图像处理任务；

发送模块20，用于若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；

处理模块30，用于若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

本申请所提供的装置中提供的模块能够在使用时基于与上述的基于边缘计算的图像处理方法(相同的技术手段)在基于边缘计算节点进行图像处理，其在具体运行时可以取得上述的方法实施例一样的技术效果，即提高图像处理的效率，从而有利于提高视频监控的效率。

本发明还提供一种电子设备。参照图4所示，为本发明一实施例提供的电子设备的内部结构示意图。

在本实施例中，所述电子设备1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该电子设备1至少包括存储器11、处理器12，通信总线13，以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的硬盘。存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于边缘计算的图像处理程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于边缘计算的图像处理程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选地用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

图4仅示出了具有组件11-14以及基于边缘计算的图像处理程序01的电子设备1，本领域技术人员可以理解的是，图4示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图4所示的电子设备1实施例中，存储器11中存储有基于边缘计算的图像处理程序01；处理器12执行存储器11中存储的基于边缘计算的图像处理程序01时实现如下步骤：

步骤一、第一边缘计算节点接收图像处理任务。

本发明实施例中的第一边缘计算节点可以部署于电子设备1中，部署边缘计算节点的多个电子设备组成基于边缘计算的图像处理系统，每个边缘计算节点在无线接入侧可以接入终端和摄像装置，接入的终端和摄像装置可以与边缘计算节点进行通信，边缘计算节点之间可以进行通信。

本实施例中，第一边缘计算节点可以是基于边缘计算的图像处理系统中的任意一个边缘计算节点，其中，边缘计算节点是靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的平台，该平台可以部署在边缘计算服务器上。

一种可选实例中，所述图像处理任务为图像跟踪任务。

步骤二、若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务。

一种可选实例中，接入第一终端的数量可以为一个或多个，第一终端可以为手机、电脑、平板等计算机设备。所述第一终端可以通过图形用户界面与用户交互。

本实施例中，当第一终端的数量多个时，第一边缘计算节点可以接收多个终端中的任意一个终端上传的图像处理任务，并将图像处理任务发送至其他边缘计算节点。

本实施例中，所述其他边缘计算节点的数量可以为一个或多个。

一种可选实施例中，第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：第一边缘计算节点直接将所述图像处理任务直接发送其他多个边缘计算节点。

一种可选实施例中，第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：第一边缘计算节点将图像处理任务发送至第二边缘计算节点，以使第二边缘计算节点发送至第三边缘计算节点，其中，第二边缘计算节点是与第一边缘计算节点相邻的边缘计算节点，第三边缘计算节点是与第二边缘计算节点相邻的边缘计算节点。

在本实施例中，通过边缘计算节点依次传输图像处理任务，最终能够使得每个边缘计算节点都获取到该图像处理任务，这种协同传输的方式提高了图像处理任务传输的效率。

优选地，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：

所述第一边缘计算节点通过流言协议将所述图像处理任务广播至其他边缘计算节点。

本实施中，流言协议(Gossip)是一种去中心化、容错但最终一致性的算法，其收敛性不但得到证明还具有指数级的收敛速度，流言协议实时性可以满足同一个区域时延10ms以内，不同区域100ms以内，因此使用流言协议可以快速地把信息扩散到更多的边缘计算节点。

具体的，在通过流言协议进行广播时，第一边缘计算节点随机与其他边缘计算节点通信，经过一段时间的交互后，最终所有的边缘计算节点都会达成信息一致。

请参考图2，图2为包含多个边缘计算节点的系统结构示意图。

在图2中，存在四个边缘计算节点，每个边缘计算节点可以接入至少一个终端和至少摄像装置，每个边缘计算节点接入的终端数量和摄像数量可以是相同的也可以是不同的，每个边缘计算节点可以通过流言协议(Gossip)与相邻的其他边缘计算节点进行通信。图2中第一边缘计算节点接收接入的终端上传的第一图像处理任务，并通过流言协议广播该图像处理任务，以使所有边缘计算节点(如图2中的第一边缘计算节点、第二边缘计算节点、第三边缘计算节点、第四边缘计算节点)并行处该第一图像处理任务。

在本实施例中，每个接收到图像处理任务的边缘计算节点能够以相同方式处理图像处理任务。具体边缘计算节点如何处理，请参照步骤三的相关说明。

在本实施例中，图像处理任务可以由任意边缘计算节点接收，并向其他边缘计算节点广播，提高图像处理任务传输的实时性和灵活性。并且，通过在一个边缘计算节点接收到图像处理任务之后，通过传输该图像处理任务使所有边缘计算节点并行处理该图像处理任务，提高了图像处理任务的速度。

当图像处理任务较多时，应用本发明所述方法，可以同时将多个任务快速同步至每个边缘计算节点，无需等待云端一一传输处理，极大的提高了图像任务分发和图像处理的效率。

步骤三、若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

在本实施例中，第一边缘计算节点可以接收其他边缘计算节点发送的图像处理任务，并直接处理该图像处理任务。

请继续参考图2，在图2中，第一边缘计算节点还可以接收其他边缘计算节点通过流言协议发送的第二图像处理任务(该第二图像处理任务由接入第二边缘计算平台的终端上传)，并与其他边缘计算节点并行处该第二图像处理任务。

优选地，所述第一边缘计算节点处理所述图像处理任务包括：

所述第一边缘计算节点接收摄像装置获取到的监控图像，所述摄像装置是接入所述第一边缘计算节点的至少一个摄像装置；

所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理。

在本实施中，第一边缘计算节点接收到摄像装置获取到的监控图像之后，直接对该图像进行处理，无需上传到云端进行处理，进一步提高了图像处理的效率。

由于在基于所述图像处理任务对监控图像进行处理时，需要消耗大量的计算资源，如果在云端集中处理容易降低处理效率，造成性能瓶颈，在本实施例中，通过各边缘计算节点直接处理接入的摄像装置获取到的图像，可以有效降低网络负载和避免出现性能瓶颈。

优选地，所述图像处理任务为基于待跟踪对象的信息进行跟踪，所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理包括：

所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像；

若所述监控图像中存在与所述待跟踪对象匹配的图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息。

一种可选实施例中，待跟踪对象可以是人物、建筑物、宠物、汽车、车牌等对象。

本实施中，所述跟踪对象的信息可以是待跟踪对象的类别信息或者特征信息等，如待跟踪对象的外形/外观特征、待跟踪对象的行为特征等信息。

本实施例中，监控图像可以是多张图像，当存在匹配的图像时，向其他边缘卷节点发送跟踪状态消息，所述跟踪状态消息可以包括定位到了该待跟踪对象的通知消息。

请继续参照图2，在图2中，当第二图像处理任务为基于待跟踪对象的信息进行跟踪，当第一边缘计算节点对应的摄像装置获取到待跟踪对象时，第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送跟踪状态消息。

具体的，可以由第一边缘计算节点向所述第一终端发送跟踪状态消息，以及由第一边缘计算节点通过流言协议向和所述其他边缘计算节点广播跟踪状态消息。

通过本实施例，在一个边缘计算节点识别待跟踪对象之后，可以使边缘计算节点的终端侧和其他边缘计算节点快速的获取到该信息，有利于用户快速获取到图像处理任务的结果。

优选地，所述待跟踪对象的信息为所述待跟踪对象的图像，所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像包括：

所述第一边缘计算节点计算所述待跟踪对象的图像与所述监控图像的相似度；

当计算得到的相似度大于预设相似度时，所述第一边缘计算节点确定所述监控图像中存在与所述待跟踪对象匹配的图像。

本实施例中，监控图像可以是视频流数据，第一边缘计算节点在获取到视频流数据之后提取图像帧，即提取多帧图像，然后对多帧图像进行去噪、降噪、图像增强等预处理，再提取目标区域(例如，提取包含人脸区域的区域图像)，进而对目标区域进行特征提取，计算相似度，从而根据相似度确定是否存在于待跟踪对象匹配的图像。

优选地，所述至少一个摄像装置包括第一摄像装置和第二摄像装置，所述监控图像包括所述第一摄像装置采集到的至少一张第一监控图像以及所述第二摄像装置采集到的至少一张第二监控图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息包括：

所述第一边缘计算节点确定所述至少一张第一监控图像和所述至少一张第二监控图像之中与所述待跟踪对象的图像的相似度最高的图像为目标图像；

所述第一边缘计算节点确定所述第一摄像装置和所述第二摄像装置之中采集到所述目标图像的摄像装置为目标摄像装置；

所述第一边缘计算节点根据所述目标摄像头的监控范围确定所述待跟踪对象的位置信息；

所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息。

在本实施例中，监控图像可以来自于接入第一边缘计算节点的多个摄像装置，第一边缘计算节点对多个摄像装置采集到的图像进行处理，进而准确定位待跟踪对象的位置，因此通过本实施例在边缘计算节点上就进行图像处理和判断能够快速准确定位待监控对象的位置。

优选地，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息之后，所述方法还包括：

所述第一边缘计算节点接收所述第一摄像装置采集到的至少一张第三监控图像以及所述第二摄像装置采集到的至少一张第四监控图像；

所述第一边缘计算节点根据所述第三监控图像和所述第四监控图像确定所述待跟踪对象的位置信息是否存在变化；

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点获取并发送所述待跟踪对象位置变化后的位置信息；或者

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点接收通过所述其他边缘计算节点广播的所述待跟踪对象的跟踪状态消息。

在本实施例中，第一边缘计算节点可以持续处理图像处理任务，例如持续进行监控并跟踪待跟踪对象。

一种可选实施例中，第一边缘计算节点根据所述第三监控图像和所述第四监控图像确定所述待跟踪对象的位置信息是否存在变化包括：第一边缘计算节点分别计算待跟踪对象的图像与第三监控图像和第四监控图像的相似度，确定拍摄到待跟踪对象的目标摄像装置是否发生变化，进而确定待跟踪对象的位置信息是否发生变化。

例如，待跟踪对象开始由接入第一边缘计算节点的第一摄像装置采集到，一段时间后，待跟踪对象由接入第一边缘计算节点的第二摄像装置采集到，则确定待跟踪对象的位置信息存在变换，第一边缘计算节点向接入的终端发送待跟踪的对象新的位置信息；又过了一段时间，待跟踪由接入其他边缘计算节点的其他摄像装置采集到，则此时第一边缘计算节点通过获取到的监控图像匹配不到与的待跟踪对象相似的图像，在其他边缘计算节点定位到待跟踪对象时，接收由其他边缘计算节点广播的待跟踪对象的跟踪状态信息，并且，第一边缘计算节点在接收到其他边缘计算节点广播的待跟踪对象的跟踪状态信息之后，向接入第一边缘计算节点的终端发送。

通过本实施例，当待跟踪对象的位置可能在某个区域内发送变化时，第一边缘计算节点可以识别到并通知第一边缘计算节点的接入的终端，并且可以使其他边缘计算节点获取到该信息，以使接入其他边缘计算节点的其他终端获取该信息。在这个过程中，信息在在边缘计算节点与终端之间以及边缘计算节点之间传输，无需由云端判断并传输，从而在待跟踪对象的位置发生变化后能迅速处理图像以及确定待跟踪对象的最新的位置，提高了视频监控的效率。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于边缘计算的图像处理方法，其特征在于，所述方法包括：

第一边缘计算节点接收图像处理任务；

若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；

若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

2.根据权利要求1所述的基于边缘计算的图像处理方法，其特征在于，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点包括：

所述第一边缘计算节点通过流言协议将所述图像处理任务广播至其他边缘计算节点。

3.根据权利要求1或2所述的基于边缘计算的图像处理方法，其特征在于，所述第一边缘计算节点处理所述图像处理任务包括：

所述第一边缘计算节点接收摄像装置获取到的监控图像，所述摄像装置是接入所述第一边缘计算节点的至少一个摄像装置；

所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理。

4.根据权利要求3所述的基于边缘计算的图像处理的方法，其特征在于，所述图像处理任务为基于待跟踪对象的信息进行跟踪，所述第一边缘计算节点基于所述所述图像处理任务对所述监控图像进行处理包括：

所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像；

若所述监控图像中存在与所述待跟踪对象匹配的图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息。

5.根据权利要求4所述的基于边缘计算的图像处理的方法，其特征在于，所述待跟踪对象的信息为所述待跟踪对象的图像，所述第一边缘计算节点判断所述监控图像中是否存在与所述待跟踪对象匹配的图像包括：

所述第一边缘计算节点计算所述待跟踪对象的图像与所述监控图像的相似度；

当计算得到的相似度大于预设相似度时，所述第一边缘计算节点确定所述监控图像中存在与所述待跟踪对象匹配的图像。

6.根据权利要求5所述的基于边缘计算的图像处理的方法，其特征在于，所述至少一个摄像装置包括第一摄像装置和第二摄像装置，所述监控图像包括所述第一摄像装置采集到的至少一张第一监控图像以及所述第二摄像装置采集到的至少一张第二监控图像，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送识别到所述待跟踪对象的跟踪状态消息包括：

所述第一边缘计算节点确定所述至少一张第一监控图像和所述至少一张第二监控图像之中与所述待跟踪对象的图像的相似度最高的图像为目标图像；

所述第一边缘计算节点确定所述第一摄像装置和所述第二摄像装置之中采集到所述目标图像的摄像装置为目标摄像装置；

所述第一边缘计算节点根据所述目标摄像头的监控范围确定所述待跟踪对象的位置信息；

所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息。

7.根据权利要求6所述的基于边缘计算的图像处理的方法，其特征在于，所述第一边缘计算节点向所述第一终端和所述其他边缘计算节点发送包含所述待跟踪对象的位置信息的跟踪状态消息之后，所述方法还包括：

所述第一边缘计算节点接收所述第一摄像装置采集到的至少一张第三监控图像以及所述第二摄像装置采集到的至少一张第四监控图像；

所述第一边缘计算节点根据所述第三监控图像和所述第四监控图像确定所述待跟踪对象的位置信息是否存在变化；

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点获取并发送所述待跟踪对象位置变化后的位置信息；或者

若所述待跟踪对象的位置信息存在变化，所述第一边缘计算节点接收通过所述其他边缘计算节点广播的所述待跟踪对象的跟踪状态消息。

8.一种基于边缘计算的图像处理装置，其特征在于，所述装置包括：

接收模块，用于第一边缘计算节点接收图像处理任务；

发送模块，用于若所述图像处理任务为接入所述第一边缘计算节点的第一终端上传的，所述第一边缘计算节点将所述图像处理任务发送至其他边缘计算节点，以使所述其他边缘计算节点和所述第一边缘计算节点并行处理所述图像处理任务；

处理模块，用于若所述图像处理任务为所述其他边缘计算节点发送的，所述第一边缘计算节点处理所述图像处理任务。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的基于边缘计算的图像处理方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的基于边缘计算的图像处理方法。

Images