CN114972550A - 面向实时视频流分析的边缘计算方法 - Google Patents

面向实时视频流分析的边缘计算方法 Download PDF

Info

Publication number
CN114972550A
CN114972550A CN202210688416.1A CN202210688416A CN114972550A CN 114972550 A CN114972550 A CN 114972550A CN 202210688416 A CN202210688416 A CN 202210688416A CN 114972550 A CN114972550 A CN 114972550A
Authority
CN
China
Prior art keywords
target object
video stream
video
edge
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210688416.1A
Other languages
English (en)
Other versions
CN114972550B (zh
Inventor
余丹
刘一凡
兰雨晴
王丹星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202210688416.1A priority Critical patent/CN114972550B/zh
Publication of CN114972550A publication Critical patent/CN114972550A/zh
Application granted granted Critical
Publication of CN114972550B publication Critical patent/CN114972550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了面向实时视频流分析的边缘计算方法，其根据边缘计算系统包含的所有边缘计算服务器的数据计算性能，将边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；对摄像设备拍摄得到的目标对象视频进行分析处理，确定目标对象视频的视频流画面特征，以此将目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；再将目标对象视频的分析处理结果通过互联网上传到目标终端设备上；上述边缘计算方法将所有边缘计算服务器整合为具有三层纵向计算框架结构的边缘计算系统，以识别分析具有不同画面特征的目标对象视频，在不需要占用互联网带宽的情况下，也能实现快速准确安全的视频流分析。

Description

面向实时视频流分析的边缘计算方法
技术领域
本发明涉及视频流分析的技术领域，特别涉及面向实时视频流分析的边缘计算方法。
背景技术
现有的中心化云计算架构是将处于网络边缘的摄像设备直接通过互联网将视频传输到网络中心的云服务器，云服务器获得视频后，对视频进行存储，并利用图像处理单元GPU进行推理分析，最后将推理分析结果在云服务器中进行整合。上述视频处理方式存在互联网带宽占用较大，数据传输延迟高，以及视频数据安全性低的问题。
发明内容
针对现有技术存在的缺陷，本发明提供面向实时视频流分析的边缘计算方法，其根据边缘计算系统包含的所有边缘计算服务器的数据计算性能，将边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；对摄像设备拍摄得到的目标对象视频进行分析处理，确定目标对象视频的视频流画面特征，以此将目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；再将目标对象视频的分析处理结果通过互联网上传到目标终端设备上；上述边缘计算方法将所有边缘计算服务器整合为具有三层纵向计算框架结构的边缘计算系统，每一层具有不同的数据计算性能，以适应性识别分析具有不同画面特征的目标对象视频，从而在不需要占用互联网带宽的情况下，也能实现快速准确安全的视频流分析。
本发明提供面向实时视频流分析的边缘计算方法，其包括如下步骤：
步骤S1，将边缘计算系统与摄像设备进行连接，根据所述边缘计算系统包含的所有边缘计算服务器的数据计算性能，将所述边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；
步骤S2，指示摄像设备对目标对象进行视频拍摄，得到目标对象视频；对所述目标对象视频进行分析处理，确定所述目标对象视频的视频流画面特征；
步骤S3，根据所述视频流画面特征，将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；
步骤S4，将对目标对象视频的分析处理结果通过互联网上传到目标终端设备上。
进一步，在所述步骤S1中，将边缘计算系统与摄像设备进行连接之后，还包括：
获取所述边缘计算系统包含的所有边缘计算服务器各自所使用的数据计算工具类型和数据计算工具的计算速率。
进一步，在所述步骤S1中，根据所述边缘计算系统包含的所有边缘计算服务器的数据计算性能，将所述边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统具体包括：
根据每个边缘计算服务器所使用的数据计算工具类型和数据计算工具的计算速率，确定每个边缘计算服务器的算力值；
根据每个边缘计算服务器的算力值大小，将所有边缘计算服务器分别划分到底层服务器集合、中层服务器集合和顶层服务器集合中；其中，所述底层服务器集合、所述中层服务器集合和所述顶层服务器集合中边缘计算服务器的算力值依次增大；
将所述底层服务器集合、所述中层服务器集合和所述顶层服务器集合由下至上依次组成具有三层纵向计算框架结构的边缘计算系统。
进一步，在所述步骤S2中，指示摄像设备对目标对象进行视频拍摄，得到目标对象视频具体包括：
指示摄像设备对目标对象进行彩色全景视频拍摄，得到目标对象视频。
进一步，在所述步骤S2中，对所述目标对象视频进行分析处理，确定所述目标对象视频的视频流画面特征具体包括：
按照所述目标对象视频的拍摄时序，将所述目标对象视频划分为若干目标对象视频流；
从每个目标对象视频流中提取得到若干视频流画面，并确定每个视频流画面的色度分布特征和轮廓分布特征。
进一步，在所述步骤S3中，根据所述视频流画面特征，将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理具体包括：
根据所述目标对象视频对应的视频流画面的色度分布特征和轮廓分布特征，确定所述目标对象视频的画面复杂程度；
根据所述目标对象视频的画面复杂程度，将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合，从而对所述目标对象视频进行画面内容识别分析。
进一步，在所述步骤S2中，从每个目标对象视频流中提取得到若干视频流画面，并确定每个视频流画面的色度分布特征和轮廓分布特征具体包括：
利用下面公式(1)，根据每个视频流画面的RGB，确定每个视频流画面的色度分布特征值，
Figure BDA0003698702300000031
在上述公式(1)中，E(a)表示第a个视频流画面的色度分布特征值；Sa,k(i,j)表示第a个视频流画面中第i行第j列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；m表示每个视频流画面中每一行像素点的总个数；n表示每个视频流画面中每一列像素点的总个数；max(Sa,k)表示第a个视频流画面中所有像素点的RGB值中的最大值；min(Sa,k)表示第a个视频流画面中所有像素点的RGB值中的最小值；
Figure BDA0003698702300000041
表示将的值从1取值到3代入到括号内得到括号内的最大值；R(a)表示预设色度分布指数放大值；
利用下面公式(2)，根据每个视频流画面的RGB值，确定每个视频流画面的轮廓分布特征值，
Figure BDA0003698702300000042
在上述公式(2)中，H(a)表示第a个视频流画面的轮廓分布特征值；Sa,k(i,j+1)表示第a个视频流画面中第i行第j+1列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；Sa,k(i+1,j)表示第a个视频流画面中第i+1行第j列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；||表示求取绝对值；
在所述步骤S3中，根据所述目标对象视频对应的视频流画面的色度分布特征和轮廓分布特征，确定所述目标对象视频的画面复杂程度具体包括：
利用下面公式(3)，对每个视频流画面的色度分布特征值以及每个视频流画面的轮廓分布特征值进行综合整合，得到所述目标对象视频的画面复杂程度，
Figure BDA0003698702300000043
在上述公式(3)中，C表示目标对象视频的画面复杂程度值；G表示目标对象视频中提取得到视频流画面的总个数。
进一步，在所述步骤S3中，还包括：
当将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合后，
将所述目标对象视频切分为若干视频计算任务，再将所述视频计算任务分配至其对应的服务器集合中处于空闲状态的边缘计算服务器进行画面内容识别分析。
进一步，在所述步骤S4中，将对目标对象视频的分析处理结果通过互联网上传到目标终端设备上具体包括：
将对目标对象视频的画面内容识别分析结果通过互联网上传到目标终端设备上，同时在所述边缘计算系统中对所述目标对象视频进行删除处理。
相比于现有技术，该面向实时视频流分析的边缘计算方法根据边缘计算系统包含的所有边缘计算服务器的数据计算性能，将边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；对摄像设备拍摄得到的目标对象视频进行分析处理，确定目标对象视频的视频流画面特征，以此将目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；再将目标对象视频的分析处理结果通过互联网上传到目标终端设备上；上述边缘计算方法将所有边缘计算服务器整合为具有三层纵向计算框架结构的边缘计算系统，每一层具有不同的数据计算性能，以适应性识别分析具有不同画面特征的目标对象视频，从而在不需要占用互联网带宽的情况下，也能实现快速准确安全的视频流分析。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的面向实时视频流分析的边缘计算方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的面向实时视频流分析的边缘计算方法的流程示意图。该面向实时视频流分析的边缘计算方法包括如下步骤：
步骤S1，将边缘计算系统与摄像设备进行连接，根据该边缘计算系统包含的所有边缘计算服务器的数据计算性能，将该边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；
步骤S2，指示摄像设备对目标对象进行视频拍摄，得到目标对象视频；对该目标对象视频进行分析处理，确定该目标对象视频的视频流画面特征；
步骤S3，根据该视频流画面特征，将该目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；
步骤S4，将对目标对象视频的分析处理结果通过互联网上传到目标终端设备上。
上述技术方案的有益效果为：该面向实时视频流分析的边缘计算方法根据边缘计算系统包含的所有边缘计算服务器的数据计算性能，将边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；对摄像设备拍摄得到的目标对象视频进行分析处理，确定目标对象视频的视频流画面特征，以此将目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；再将目标对象视频的分析处理结果通过互联网上传到目标终端设备上；上述边缘计算方法将所有边缘计算服务器整合为具有三层纵向计算框架结构的边缘计算系统，每一层具有不同的数据计算性能，以适应性识别分析具有不同画面特征的目标对象视频，从而在不需要占用互联网带宽的情况下，也能实现快速准确安全的视频流分析。
优选地，在该步骤S1中，将边缘计算系统与摄像设备进行连接之后，还包括：
获取该边缘计算系统包含的所有边缘计算服务器各自所使用的数据计算工具类型和数据计算工具的计算速率。
上述技术方案的有益效果为：当摄像设备接入到边缘计算系统后，对边缘计算系统包含的所有边缘计算服务器分别进行测试，确定每个边缘计算服务器对于视频数据进行分析所使用的数据计算工具类型(比如显卡处理设备或者图像处理软件等)和数据计算工具的计算速率，这样能够为后续确定每个边缘计算服务器的算力值提供可靠的依据。
优选地，在该步骤S1中，根据该边缘计算系统包含的所有边缘计算服务器的数据计算性能，将该边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统具体包括：
根据每个边缘计算服务器所使用的数据计算工具类型和数据计算工具的计算速率，确定每个边缘计算服务器的算力值；
根据每个边缘计算服务器的算力值大小，将所有边缘计算服务器分别划分到底层服务器集合、中层服务器集合和顶层服务器集合中；其中，该底层服务器集合、该中层服务器集合和该顶层服务器集合中边缘计算服务器的算力值依次增大；
将该底层服务器集合、该中层服务器集合和该顶层服务器集合由下至上依次组成具有三层纵向计算框架结构的边缘计算系统。
上述技术方案的有益效果为：边缘计算系统中每个边缘计算服务器都是相互独立工作的，并且每个边缘计算服务器对于视频数据的计算能力高低并不相同，而每个边缘计算服务器的算力值(即对于视频数据的计算能力高低)与其所使用的数据计算工具类型和数据计算工具的计算速率相关。通常而言，若边缘计算服务器所使用的数据计算工具类型版本越高或者数据计算工具的计算速率越高，其对应的算力值也越高，即分析处理视频数据的性能越优。根据每个边缘计算服务器的算力值大小，将每个边缘计算服务器归类划分到底层服务器集合、中层服务器集合和顶层服务器集合，从而对边缘计算系统整体根据算力值的高低进行纵向的层次框架划分，便于后续有针对性地将不同目标对象视频进行区分化的分析处理，提高边缘计算系统中每个边缘计算服务器的计算效率。
优选地，在该步骤S2中，指示摄像设备对目标对象进行视频拍摄，得到目标对象视频具体包括：
指示摄像设备对目标对象进行彩色全景视频拍摄，得到目标对象视频。
上述技术方案的有益效果为：指示摄像设备对目标对象进行彩色全景视频拍摄，这样能够保证获得关于目标对象的真实视频数据；其中目标对象可为但不限于是人、物体或者环境等。
优选地，在该步骤S2中，对该目标对象视频进行分析处理，确定该目标对象视频的视频流画面特征具体包括：
按照该目标对象视频的拍摄时序，将该目标对象视频划分为若干目标对象视频流；
从每个目标对象视频流中提取得到若干视频流画面，并确定每个视频流画面的色度分布特征和轮廓分布特征。
上述技术方案的有益效果为：目标对象视频的数据量通常较大，按照目标对象视频的拍摄时序，将该目标对象视频划分为若干目标对象视频流，能够避免对目标对象视频整体进行画面特征的识别分析而导致分析耗时较长和分析精确度下降的情况发生。
优选地，在该步骤S3中，根据该视频流画面特征，将该目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理具体包括：
根据该目标对象视频对应的视频流画面的色度分布特征和轮廓分布特征，确定该目标对象视频的画面复杂程度；
根据该目标对象视频的画面复杂程度，将该目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合，从而对该目标对象视频进行画面内容识别分析。
上述技术方案的有益效果为：当视频流画面中的色度种类越多，色度分布变化越大、画面的线条轮廓越多，画面的线条轮廓弯曲程度越大，对应的目标对象视频的画面复杂程度也越大。相应地，当目标对象视频的画面复杂程度越大，对目标对象视频进行画面内容识别分析所需的计算量也越大。此时，根据目标对象视频的画面复杂程度，将该目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合，这样能够选择具有合适算力值的服务器集合来对目标对象视频进行识别分析，提高对目标对象视频的识别分析效率和准确性。
优选地，在该步骤S2中，从每个目标对象视频流中提取得到若干视频流画面，并确定每个视频流画面的色度分布特征和轮廓分布特征具体包括：
利用下面公式(1)，根据每个视频流画面的RGB，确定每个视频流画面的色度分布特征值，
Figure BDA0003698702300000091
在上述公式(1)中，E(a)表示第a个视频流画面的色度分布特征值；Sa,k(i,j)表示第a个视频流画面中第i行第j列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；m表示每个视频流画面中每一行像素点的总个数；n表示每个视频流画面中每一列像素点的总个数；max(Sa,k)表示第a个视频流画面中所有像素点的RGB值中的最大值；min(Sa,k)表示第a个视频流画面中所有像素点的RGB值中的最小值；
Figure BDA0003698702300000092
表示将的值从1取值到3代入到括号内得到括号内的最大值；R(a)表示预设色度分布指数放大值；
利用下面公式(2)，根据每个视频流画面的RGB值，确定每个视频流画面的轮廓分布特征值，
Figure BDA0003698702300000093
在上述公式(2)中，H(a)表示第a个视频流画面的轮廓分布特征值；Sa,k(i,j+1)表示第a个视频流画面中第i行第j+1列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；Sa,k(i+1,j)表示第a个视频流画面中第i+1行第j列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；||表示求取绝对值；
在该步骤S3中，根据该目标对象视频对应的视频流画面的色度分布特征和轮廓分布特征，确定该目标对象视频的画面复杂程度具体包括：
利用下面公式(3)，对每个视频流画面的色度分布特征值以及每个视频流画面的轮廓分布特征值进行综合整合，得到该目标对象视频的画面复杂程度，
Figure BDA0003698702300000101
在上述公式(3)中，C表示目标对象视频的画面复杂程度值；G表示目标对象视频中提取得到视频流画面的总个数。
上述技术方案的有益效果为：利用上述公式(1)，根据每个视频流画面的RGB值快速准确的确定出每个视频流画面的色度分布特征值，目的是利用一个可以快速并且能反映每个视频流画面的色度分布的通用公式确定出每个视频流画面的色度分布特征值，通用公式可以提高计算效率节省时间，并在求取每个视频流画面的色度分布的同时还加入了一个色度分布指数放大值，目的是放大色度分布的差异便于色度分布的量化计算；然后利用上述公式(2)，根据每个视频流画面的RGB值快速准确的确定出每个视频流画面的轮廓分布特征值，从而利用通用公式高效的得到每个视频流画面的轮廓分布特征值；最后利用上述公式(3)，对每个视频流画面的色度分布特征值以及每个视频流画面的轮廓分布特征值进行综合整合得到所述目标对象视频的画面复杂程度，从而将所有视频流画面的色度分布特征值以及轮廓分布特征值进行综合整合，使得对目标对象视频的画面复杂程度的判定可以量化，从而实现自动判定的目的，体现了系统的自动化和智能化。
优选地，在该步骤S3中，还包括：
当将该目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合后，
将该目标对象视频切分为若干视频计算任务，再将该视频计算任务分配至其对应的服务器集合中处于空闲状态的边缘计算服务器进行画面内容识别分析。
上述技术方案的有益效果为：在底层服务器集合、中层服务器集合或顶层服务器集合中，每个服务器集合包括的所有边缘计算服务器相互之间是独立工作互不影响的。为了快速地对目标对象视频进行画面内容的识别分析，将目标对象视频切分为若干视频计算任务，每个视频计算任务对应于目标对象视频的不同视频流区段，再将所有视频计算任务分别分配至其对应的服务器集合中处于空闲状态的边缘计算服务器进行画面内容识别分析，这样处于空闲状态的边缘计算服务器能够并行识别其接收得到的视频计算任务的画面内容，进一步提高视频流的分析效率。
优选地，在该步骤S4中，将对目标对象视频的分析处理结果通过互联网上传到目标终端设备上具体包括：
将对目标对象视频的画面内容识别分析结果通过互联网上传到目标终端设备上，同时在该边缘计算系统中对该目标对象视频进行删除处理。
上述技术方案的有益效果为：将对目标对象视频的画面内容识别分析结果通过互联网上传到目标终端设备上，同时在边缘计算系统中对该目标对象视频进行删除处理，这样能够避免目标对象视频过度占用边缘计算系统的存储空间，提高边缘计算系统的存储空间利用效率。
从上述实施例的内容可知，该面向实时视频流分析的边缘计算方法根据边缘计算系统包含的所有边缘计算服务器的数据计算性能，将边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；对摄像设备拍摄得到的目标对象视频进行分析处理，确定目标对象视频的视频流画面特征，以此将目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；再将目标对象视频的分析处理结果通过互联网上传到目标终端设备上；上述边缘计算方法将所有边缘计算服务器整合为具有三层纵向计算框架结构的边缘计算系统，每一层具有不同的数据计算性能，以适应性识别分析具有不同画面特征的目标对象视频，从而在不需要占用互联网带宽的情况下，也能实现快速准确安全的视频流分析。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.面向实时视频流分析的边缘计算方法，其特征在于，其包括如下步骤：
步骤S1，将边缘计算系统与摄像设备进行连接，根据所述边缘计算系统包含的所有边缘计算服务器的数据计算性能，将所述边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统；
步骤S2，指示摄像设备对目标对象进行视频拍摄，得到目标对象视频；对所述目标对象视频进行分析处理，确定所述目标对象视频的视频流画面特征；
步骤S3，根据所述视频流画面特征，将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理；
步骤S4，将对目标对象视频的分析处理结果通过互联网上传到目标终端设备上。
2.如权利要求1所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S1中，将边缘计算系统与摄像设备进行连接之后，还包括：
获取所述边缘计算系统包含的所有边缘计算服务器各自所使用的数据计算工具类型和数据计算工具的计算速率。
3.如权利要求2所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S1中，根据所述边缘计算系统包含的所有边缘计算服务器的数据计算性能，将所述边缘计算系统转换为具有三层纵向计算框架结构的边缘计算系统具体包括：
根据每个边缘计算服务器所使用的数据计算工具类型和数据计算工具的计算速率，确定每个边缘计算服务器的算力值；
根据每个边缘计算服务器的算力值大小，将所有边缘计算服务器分别划分到底层服务器集合、中层服务器集合和顶层服务器集合中；其中，所述底层服务器集合、所述中层服务器集合和所述顶层服务器集合中边缘计算服务器的算力值依次增大；
将所述底层服务器集合、所述中层服务器集合和所述顶层服务器集合由下至上依次组成具有三层纵向计算框架结构的边缘计算系统。
4.如权利要求3所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S2中，指示摄像设备对目标对象进行视频拍摄，得到目标对象视频具体包括：
指示摄像设备对目标对象进行彩色全景视频拍摄，得到目标对象视频。
5.如权利要求4所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S2中，对所述目标对象视频进行分析处理，确定所述目标对象视频的视频流画面特征具体包括：
按照所述目标对象视频的拍摄时序，将所述目标对象视频划分为若干目标对象视频流；
从每个目标对象视频流中提取得到若干视频流画面，并确定每个视频流画面的色度分布特征和轮廓分布特征。
6.如权利要求5所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S3中，根据所述视频流画面特征，将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统的其中一层边缘计算层进行分析处理具体包括：
根据所述目标对象视频对应的视频流画面的色度分布特征和轮廓分布特征，确定所述目标对象视频的画面复杂程度；
根据所述目标对象视频的画面复杂程度，将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合，从而对所述目标对象视频进行画面内容识别分析。
7.如权利要求6所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S2中，从每个目标对象视频流中提取得到若干视频流画面，并确定每个视频流画面的色度分布特征和轮廓分布特征具体包括：
利用下面公式(1)，根据每个视频流画面的RGB，确定每个视频流画面的色度分布特征值，
Figure FDA0003698702290000031
在上述公式(1)中，E(a)表示第a个视频流画面的色度分布特征值；Sa,k(i,j)表示第a个视频流画面中第i行第j列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；m表示每个视频流画面中每一行像素点的总个数；n表示每个视频流画面中每一列像素点的总个数；max(Sa,k)表示第a个视频流画面中所有像素点的RGB值中的最大值；min(Sa,k)表示第a个视频流画面中所有像素点的RGB值中的最小值；
Figure FDA0003698702290000032
表示将的值从1取值到3代入到括号内得到括号内的最大值；R(a)表示预设色度分布指数放大值；
利用下面公式(2)，根据每个视频流画面的RGB值，确定每个视频流画面的轮廓分布特征值，
Figure FDA0003698702290000033
在上述公式(2)中，H(a)表示第a个视频流画面的轮廓分布特征值；Sa,k(i,j+1)表示第a个视频流画面中第i行第j+1列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；Sa,k(i+1,j)表示第a个视频流画面中第i+1行第j列像素点的RGB值里的第k个值，其中k＝1，2，3分别对应于R值、G值、B值；||表示求取绝对值；在所述步骤S3中，根据所述目标对象视频对应的视频流画面的色度分布特征和轮廓分布特征，确定所述目标对象视频的画面复杂程度具体包括：
利用下面公式(3)，对每个视频流画面的色度分布特征值以及每个视频流画面的轮廓分布特征值进行综合整合，得到所述目标对象视频的画面复杂程度，
Figure FDA0003698702290000041
在上述公式(3)中，C表示目标对象视频的画面复杂程度值；G表示目标对象视频中提取得到视频流画面的总个数。
8.如权利要求7所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S3中，还包括：
当将所述目标对象视频分配至具有三层纵向计算框架结构的边缘计算系统中的底层服务器集合、中层服务器集合或顶层服务器集合后，将所述目标对象视频切分为若干视频计算任务，再将所述视频计算任务分配至其对应的服务器集合中处于空闲状态的边缘计算服务器进行画面内容识别分析。
9.如权利要求8所述的面向实时视频流分析的边缘计算方法，其特征在于：在所述步骤S4中，将对目标对象视频的分析处理结果通过互联网上传到目标终端设备上具体包括：
将对目标对象视频的画面内容识别分析结果通过互联网上传到目标终端设备上，同时在所述边缘计算系统中对所述目标对象视频进行删除处理。
CN202210688416.1A 2022-06-16 2022-06-16 面向实时视频流分析的边缘计算方法 Active CN114972550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688416.1A CN114972550B (zh) 2022-06-16 2022-06-16 面向实时视频流分析的边缘计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688416.1A CN114972550B (zh) 2022-06-16 2022-06-16 面向实时视频流分析的边缘计算方法

Publications (2)

Publication Number Publication Date
CN114972550A true CN114972550A (zh) 2022-08-30
CN114972550B CN114972550B (zh) 2023-03-24

Family

ID=82963847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688416.1A Active CN114972550B (zh) 2022-06-16 2022-06-16 面向实时视频流分析的边缘计算方法

Country Status (1)

Country Link
CN (1) CN114972550B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851529A (zh) * 2019-11-01 2020-02-28 腾讯科技（深圳）有限公司 算力调度方法及相关设备
CN111405241A (zh) * 2020-02-21 2020-07-10 中国电子技术标准化研究院 一种用于视频监控的边缘计算方法和系统
CN111479048A (zh) * 2020-04-22 2020-07-31 安徽大学 一种基于边缘计算的智能视频图像处理设备
CN111901573A (zh) * 2020-08-17 2020-11-06 泽达易盛（天津）科技股份有限公司 一种基于边缘计算的细颗粒度实时监管系统
US20200364468A1 (en) * 2019-05-17 2020-11-19 Zeroeyes Llc Intelligent video surveillance system and method
US20200387539A1 (en) * 2019-06-04 2020-12-10 Microsoft Technology Licensing, Llc Cascaded video analytics for edge computing
CN112102367A (zh) * 2020-09-21 2020-12-18 中国电子科技集团公司第二十八研究所 一种基于运动模型的视频分析算力实时分配调度方法
CN112804219A (zh) * 2020-12-31 2021-05-14 中山大学 基于边缘计算的低时延实时视频分析方法
CN114257785A (zh) * 2021-12-13 2022-03-29 山东电工电气集团有限公司 一种基于边缘计算的视频处理方法
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200364468A1 (en) * 2019-05-17 2020-11-19 Zeroeyes Llc Intelligent video surveillance system and method
US20200387539A1 (en) * 2019-06-04 2020-12-10 Microsoft Technology Licensing, Llc Cascaded video analytics for edge computing
CN110851529A (zh) * 2019-11-01 2020-02-28 腾讯科技（深圳）有限公司 算力调度方法及相关设备
CN111405241A (zh) * 2020-02-21 2020-07-10 中国电子技术标准化研究院 一种用于视频监控的边缘计算方法和系统
CN111479048A (zh) * 2020-04-22 2020-07-31 安徽大学 一种基于边缘计算的智能视频图像处理设备
CN111901573A (zh) * 2020-08-17 2020-11-06 泽达易盛（天津）科技股份有限公司 一种基于边缘计算的细颗粒度实时监管系统
CN112102367A (zh) * 2020-09-21 2020-12-18 中国电子科技集团公司第二十八研究所 一种基于运动模型的视频分析算力实时分配调度方法
CN112804219A (zh) * 2020-12-31 2021-05-14 中山大学 基于边缘计算的低时延实时视频分析方法
CN114257785A (zh) * 2021-12-13 2022-03-29 山东电工电气集团有限公司 一种基于边缘计算的视频处理方法
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨铮等: "面向实时视频流分析的边缘计算技术", 《中国科学:信息科学》 *
殷昆燕: "基于多视觉特征的图像复杂度评价及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN114972550B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US11410035B2 (en) Real-time target detection method deployed on platform with limited computing resources
US11055516B2 (en) Behavior prediction method, behavior prediction system, and non-transitory recording medium
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN107527045A (zh) 一种面向多路视频的人体行为事件实时分析方法
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN113515655A (zh) 一种基于图像分类的故障识别方法及装置
CN114972550B (zh) 面向实时视频流分析的边缘计算方法
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN116582693B (zh) 一种基于视频资源池的摄像头调用管控方法
CN113068024B (zh) 一种实时抓图分析方法及存储介质
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN114998185A (zh) 一种基于YOLOv5模型的泥浆泌水率实时检测方法
CN113486788A (zh) 视频相似度确定方法、装置、电子设备及存储介质
CN116546304A (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN110991361B (zh) 面向高清高速视频的多通道多模态背景建模方法
CN113743235A (zh) 基于边缘计算的电力巡检图像处理方法、装置和设备
CN113391617A (zh) 基于5g网络的车辆远程诊断方法、存储器、装置及系统
CN112733610A (zh) 一种基于无人机的输电线路图像识别检测方法
CN112232307A (zh) 夜视环境下的安全帽佩戴检测方法
CN117061698B (zh) 一种隐藏沉浸式远程会议通道建立方法及系统
CN115866411B (zh) 基于光线校正的车载监控自适应曝光方法、装置及设备
CN117061824B (zh) 流媒体视频补帧方法、装置及计算机设备
CN113570515B (zh) 基于并行处理框架的图像增强算法加速方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant