CN111405241B - 一种用于视频监控的边缘计算方法和系统 - Google Patents

Abstract

本发明提出一种用于视频监控的边缘计算方法和系统，其中包括：视频采集节点获取监控目标的视频采集数据；视频采集节点根据监控目标，对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据；所述视频采集节点将整合视频采集数据上传到边缘计算服务器；所述边缘计算服务器接收所述基于监控目标的整合视频采集数据；由所述边缘计算服务器保存视频采集数据，并对视频采集数据进行识别，形成识别结果；所述边缘计算服务器则将识别结果上传到云中心；所述云中心用于接收并保存识别结果；通过上述方法和系统的实施，可以保证视频监控内容在网络边缘进行处理，减少了运算负荷的同时保护了用户的隐私。

Description

一种用于视频监控的边缘计算方法和系统

技术领域

本发明属于边缘计算技术领域，尤其涉及一种用于视频监控的边缘计算方法和系统。

背景技术

随着物联网（IoT）成为我们日常生活和环境的一部分，我们预计联网设备的数量将快速增长。物联网有望连接数十亿设备和人类，从而为我们带来前途光明的优势。随着这种增长，雾计算及其相关的边缘计算形式，例如多路访问边缘计算（MEC）和微云计算（cloudlet），被视为用于处理大量对安全性要求严格且对时间敏感的安全性的有前途的解决方案。

边缘计算位于靠近IoT设备的网络边缘。边缘不在IoT设备上，而距它们仅一跳之遥。值得注意的是，边缘与本地物联网网络中的物联网设备的距离可能不止一跳。OpenEdge计算将边缘计算定义为通过靠近用户的小型数据中心在网络边缘进行的计算。边缘计算的最初愿景是以开放标准和无所不在的方式向用户提供计算和存储资源。边缘计算是当前物联网设备领域的关键计算方式。它通过部署在靠近IoT设备的云服务来智能地过滤，预处理和聚合IoT数据，从而将IoT设备与云集成在一起。

网络边缘设备不仅从云中心请求内容及服务，而且还可以执行部分计算任务，包括数据存储、处理、缓存、设备管理、隐私保护等。可以说边缘计算分担了部署在云端的部分计算能力，降低物联网高频、碎片计算、传输和回源带来的延时、拥塞等问题，使AI时代下多场景应用不再受限于网络带宽传输能力。另外，边缘计算的“边缘”不限制在边缘计算服务器这样的边缘节点，还包括网络边缘的摄像头、智能手机、网关、可穿戴的计算设备和传感器等设备。

视觉目标跟踪是计算机视觉领域的一个重要分支，其主要任务是通过对摄取的图像或视频进行分析计算，达到对场景中的目标进行识别与跟踪的目的。基于多个摄像机组成的摄像机网络在扩大监控范围的同时也产生了海量视频数据，给视频的传输、存储以及实时目标跟踪应用，带来了极大挑战。若将视频都上传云中心，云中心将面临数据洪流的挑战。需就近对视频进行处理，而现有摄像机端计算资源不足。因此，需针对大规模摄像机网络，以降低通信负载、计算负担和提高算法实时性为目标，提出适合大规模环境下目标跟踪的方案。而网络边缘数据涉及个人隐私，传统的云计算模式需要将这些隐私数据上传至云计算中心，这将增加泄露用户隐私数据的风险。如何充分利用物联网中视频采集设备和边缘计算设备的视频监控的能力和相应的隐私保护是我们面对的问题。

发明内容

为解决上述技术问题，本发明提出了一种用于视频监控的边缘计算方法，视频采集节点获取监控目标的视频采集数据； 视频采集节点根据监控目标，对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据；所述视频采集节点将整合视频采集数据上传到边缘计算服务器； 所述边缘计算服务器接收所述基于监控目标的整合视频采集数据；由所述边缘计算服务器保存视频采集数据，并对视频采集数据进行识别，形成识别结果； 所述边缘计算服务器则将识别结果上传到云中心；所述云中心用于接收并保存识别结果。

特别的，所述监控目标为人脸、车牌、车身。所述识别结果为按照按采集时间从早到晚的顺序排序所述目标图片；根据排序后的所述第一目标图片，生成所述识别结果。

特别的，所述识别结果为按照按采集时间从早到晚的顺序排序所述目标图片；根据排序后的所述第一目标图片，生成所述识别结果。

特别的，对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据包括：根据监控目标的实时位置，在以所属中心为半径一定距离的范围内所有采集节点形成识别区域；视频采集节点将有用的信息传输给其邻居节点，同时接收邻居节点发送过来的信息，该视频采集节点将对接收到的信息和自身检测到的信息进行信息整合，去除其中重复的内容，再将整合后的信息发送给邻居节点，实现视频采集节点与邻居节点之间数据的共享。

特别的，根据监控目标的移动速度确定所述识别区域的半径，所述监控目标移动速度越快，监控的半径越大。

特别的，由所述边缘计算服务器对视频采集数据进行识别，形成识别结果包括：所述边缘计算服务器从整合视频中搜索与所述监控目标的特征信息匹配的目标图片；根据所述目标图片和所述目标图片对应的采集时间生成识别结果。

本发明还提出了一种视频采集节点，包括视频采集模块，其用于获取监控目标的视频；视频处理模块，其用于根据监控目标，对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据；视频传输模块，其用于将整合视频采集数据上传到边缘计算服务器。

本发明还提出了一种边缘服务器，包括视频接收模块，用于接收视频采集节点对监控目标的经过整合的视频信息；待识别目标提取模块，获取待识别目标的图像，提取其中的特征信息；识别结果生成模块，其用于将上述特征信息与视频中监控目标的特征信息进行匹配，形成识别结果；识别结果发送模块，其用于将识别结果发送给云中心。

本发明还提出了一种用于视频监控的边缘计算系统，该系统包括云中心，视频采集节点，边缘计算服务器。

采用本发明的方法和系统的实施，可以保证视频监控内容在网络边缘进行处理，减少了运算负荷的同时保护了用户的隐私。

附图说明

图1为本发明提出的一种视频监控的边缘计算的系统架构的示意图；

图2为本发明提出的一种视频采集节点；

图3为本发明提出的一种边缘计算服务器。

具体实施方式

以下结合附图对本发明的具体实施方式作出详细说明。

为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面先对本发明实施例适用的系统架构进行简单说明。请参见图1，为本发明实施例提供的一种视频监控的边缘计算的系统架构的示意图，该系统包括云中心，边缘计算服务器和多个视频采集设备节点。具体本发明实施例提供的一种用于视频监控的边缘计算方法，其中包括如下步骤：

S1：视频采集节点获取监控目标的视频；监控目标可以包括但不限于人脸、车辆或车牌等；视频采集节点可以是网络摄像头，其通常为多个，并在需要关注的地区构成监控网络；

S2：当在得到监控目标位置后，视频采集节点将采集到的监控目标的视频，对视频内容进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据传输给其邻居节点；

详细地，在确定监控目标的位置后，以该监控目标为中心，设定一定半径范围内的视频采集节点形成监控识别区域；半径的大小随着监控目标的移动速度改变，所述监控目标移动速度越快，监控的识别区域半径越大；随着监控目标的不断移动位置，监控网络中的视频采集节点接收邻居节点发送过来监控目标的视频；并可同时复制监控目标的视频并向邻居节点发送监控目标的视频，实现监控目标的视频在监控网络中共享。

详细地，在视频采集节点内部具有视频处理的硬件单元，其可以对接收到的视频和自身采集得到视频进行信息整合，去除视频采集过程中的不必要的重复内容，从而提取有用信息，再将整合后的信息发送给邻居节点。在相邻时刻内完成多次类似的信息传输，就可以使得整个网络信息达到一致。因此，可以整合各个视频采集节点的视频信息，用分布式的方式实现全局信息共享。最后使用状态估计算法组成鲁棒的目标跟踪系统。

S3：所述视频采集节点将整合视频采集数据上传到边缘计算服务器；

详细地，视频采集节点如网络摄像头，可通过ONVIF/RTSP协议传输视频流到边缘计算服务器；

S4：边缘计算服务器保存视频流，并可视频流进行识别，并形成识别结果。

详细地，对于已经保存的视频流或者是实时传输的视频流信息，边缘计算服务器采用Python通过OpenCV获取视频流；当监控目标是人脸时，通过face_recognition对视频中的人脸进行识别；face_recognition是一个强大、简单、易上手的人脸识别开源项目；通过红色矩形将人脸在图像中进行标注；将从后台数据库中获取待识别目标的图像，提取其中的特征信息，将上述特征信息与视频流中识别的人脸图像的特征信息进行匹配；如果视频流中的人脸与待识别目标匹配，则将视频流中的监控目标的特征信息、待识别目标在视频中出现的时间从早到晚的顺序生成识别结果。

详细地，当监控目标是车牌时，对车牌的图像采集过程包括：图像采集和转换，考虑到现有牌照的字符与背景的颜色搭配一般有蓝底白字、黄底黑字、白底红字、绿底白字和黑底白字等几种，利用不同的色彩通道就能够将区域与背景明显地区分出来；边缘提取，边缘是指图像局部亮度变化显著的部分，是纹理特征提取和形状特征提取等图像分析的重要基础。所以在此我们要对图像进行边缘检测。图象增强处理对图象牌照的可辩认度；灰度矫正和图像平滑处理，由于摄像头的曝光不足等原因，车辆牌照图象的灰度取值范围大多局限在r=(50,200)之间，并且整体上灰度偏低，图象较暗。依据图象处理系统的条件，最好将灰度范围展开到s=(0,255)之间；随后进行平滑处理；平滑处理会使得图象灰度急剧变化的地方，尤其是物体边缘区域和字符轮廓等部分产生模糊作用。为了克服这样的平均化引起的图象模糊现象，我们给中心点象素值与其邻域平均值的差值设置一固定的阈值，仅仅有大于该阈值的点才干替换为邻域平均值，而差值不大于阈值时，仍保留原来的值，从而降低因为平均化引起的图象模糊。随后对牌照进行定位和切割，其主要目的是在经图象预处理后的原始灰度图象中确定牌照的详细位置，并将包括牌照字符的一块子图象从整个图象中切割出来，以便进行识别。最后，同样如人脸识别过程类似，将识别得到的特征信息与视频流中识别的车牌的特征信息进行匹配；如果视频流中的车牌号与待识别目标匹配，则将视频流中的监控目标的特征信息、待识别目标在视频中出现的时间从早到晚的顺序生成识别结果；

详细地，监控的目标还可以是车辆的车身，还可以是车内司机、乘客的行为等。

S5：边缘计算服务器将识别结果发送给云中心。

采用本方案，在边缘计算服务器保存完整的视频采集的内容，可以限定保存一段时间后删除，例如限定为30天；本方案中仅仅上传监控目标的相关内容到云中心，而并不是将所有视频采集内容都上传到云中心；既可以保护与监控目标无关的人或车辆等的隐私，也可以有效降低边缘计算服务器与云中心的流量；并且在边缘计算服务器上进行对监控内容中对监控目标的匹配，也有效降低了云中心的工作负担，提高了云中心的工作效率。

基于前述内容相同的构思，本发明还提供了一种视频采集节点，具体参见图2，包括视频采集模块，其用于获取监控目标的视频； 视频处理模块，其用于当在得到监控目标位置后，视频采集节点将采集到的监控目标的视频，对视频内容进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据；

视频传输模块，其用于将整合视频采集数据上传到边缘计算服务器。

基于前述内容相同的构思，本发明还提供了一种边缘计算服务器，具体参见图3，边缘计算服务器保存视频流，并可对视频流进行识别，并形成识别结果，具体包括：视频接收模块，用于接收监控目标的经过视频采集节点整合的视频信息；监控目标为人脸，车牌，车辆的其他部分，还可以是车内司机、乘客的行为等；待识别目标提取模块，其用于获取待识别目标的图像，提取其中的特征信息；识别结果生成模块，其用于将上述特征信息与视频流中识别目标如人脸，车牌，车身等的特征信息进行匹配；如果视频流中的识别目标与待识别目标匹配，则将视频流中的监控目标的特征信息、待识别目标在视频中出现的时间从早到晚的顺序生成识别结果；识别结果发送模块，其用于将识别结果发送给云中心。

采用本方案，既可以保护与监控目标无关的人或车辆等的隐私，也可以有效降低边缘计算服务器与云中心的流量；并且在边缘计算服务器上进行对监控内容中对监控目标的匹配，也有效降低了云中心的工作负担，提高了云中心的工作效率。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims (8)

1.一种用于视频监控的边缘计算方法，其特征在于：S1：视频采集节点获取监控目标的视频采集数据；S2：所述视频采集节点根据监控目标，对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据；S3：所述视频采集节点将所述整合视频采集数据上传到边缘计算服务器；S4：所述边缘计算服务器接收所述基于监控目标的整合视频采集数据；S5：所述边缘计算服务器获取待识别目标的图像，提取其中的特征信息，将上述特征信息与视频中监控目标的特征信息进行匹配，得到目标图片，形成识别结果；S6：所述边缘计算服务器则将识别结果上传到云中心；S7：所述云中心用于接收并保存识别结果；所述对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据包括：确定监控目标的实时位置，以该监控目标为中心，设定一定半径范围内的视频采集节点形成监控识别区域；所述监控识别区域中的视频采集节点将有用的信息传输给其邻居节点，同时接收邻居节点发送过来的信息，所述监控识别区域中的视频采集节点将对接收到的信息和自身检测到的信息进行信息整合，去除其中重复的内容，再将整合后的信息发送给邻居节点，实现所述监控识别区域中的视频采集节点与邻居节点之间数据的共享。

2.根据权利要求1所述的视频监控的边缘计算方法，其中所述监控目标为人脸、车牌和车身。

3.根据权利要求2所述的视频监控的边缘计算方法，其中所述识别结果为按照按采集时间从早到晚的顺序对所述目标图片排序；根据排序后的所述目标图片，生成所述识别结果。

4.根据权利要求3所述的视频监控的边缘计算方法，其特征在于：根据监控目标的移动速度确定所述监控识别区域的半径，所述监控目标移动速度越快，监控的半径越大。

5.根据权利要求1所述的视频监控的边缘计算方法，由所述边缘计算服务器对整合视频采集数据进行识别，形成的识别结果包括：所述边缘计算服务器从整合视频采集数据中搜索与所述待识别目标的特征信息匹配的目标图片；根据所述目标图片和所述目标图片对应的采集时间生成识别结果。

6.一种视频采集节点，其特征在于：包括视频采集模块，其用于获取监控目标的视频；视频处理模块，其用于根据监控目标，对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据；视频传输模块，其用于将所述整合视频采集数据上传到边缘计算服务器，其中，所述对视频采集数据进行提取、整合，并在周围的视频采集节点间共享得到基于监控目标的整合视频采集数据包括：确定监控目标的实时位置，以该监控目标为中心，设定一定半径范围内的视频采集节点形成监控识别区域；所述监控识别区域中的视频采集节点将有用的信息传输给其邻居节点，同时接收邻居节点发送过来的信息，所述监控识别区域中的视频采集节点将对接收到的信息和自身检测到的信息进行信息整合，去除其中重复的内容，再将整合后的信息发送给邻居节点，实现所述监控识别区域中的视频采集节点与邻居节点之间数据的共享。

7.一种边缘计算服务器，其特征在于：包括视频接收模块，用于接收视频采集节点对监控目标的经过提取，整合，并在周围的视频采集节点间共享得到的整合视频采集数据；待识别目标提取模块，获取待识别目标的图像，提取其中的特征信息；识别结果生成模块，其用于将上述特征信息与视频中监控目标的特征信息进行匹配，形成识别结果；识别结果发送模块，其用于将识别结果发送给云中心；其中，所述视频接收模块，用于接收视频采集节点对监控目标的经过提取，整合，并在周围的视频采集节点间共享得到的整合视频采集数据包括：确定监控目标的实时位置，以该监控目标为中心，设定一定半径范围内的视频采集节点形成监控识别区域；所述监控识别区域中的视频采集节点将有用的信息传输给其邻居节点，同时接收邻居节点发送过来的信息，所述监控识别区域中的视频采集节点将对接收到的信息和自身检测到的信息进行信息整合，去除其中重复的内容，再将整合后的信息发送给邻居节点，实现所述监控识别区域中的视频采集节点与邻居节点之间数据的共享。

8.一种用于视频监控的边缘计算系统，其特征在于，该系统包括云中心，如权利要求6所述的视频采集节点，如权利要求7所述的边缘计算服务器。

Images