CN115357379A - 一种视频传输配置模型的构建方法及应用 - Google Patents

一种视频传输配置模型的构建方法及应用 Download PDF

Info

Publication number
CN115357379A
CN115357379A CN202210898346.2A CN202210898346A CN115357379A CN 115357379 A CN115357379 A CN 115357379A CN 202210898346 A CN202210898346 A CN 202210898346A CN 115357379 A CN115357379 A CN 115357379A
Authority
CN
China
Prior art keywords
video
video transmission
camera
transmission configuration
edge computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210898346.2A
Other languages
English (en)
Inventor
戴祥祥
杨鹏
张泽宇
陈芃
周楚骎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210898346.2A priority Critical patent/CN115357379A/zh
Publication of CN115357379A publication Critical patent/CN115357379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频传输配置模型的构建方法及应用，属于视频分析技术领域；本发明预先基于各摄像头的采集到的历史视频视频，将各摄像头按照其所采集的视频内容的相似度聚类到多个摄像头簇中，并与距离最近的边缘计算节点进行匹配，划分的子集共享同一边缘节点，从而使得同一摄像头簇中具有相似特征的视频源的各摄像头共享同一视频传输配置，有选择性的传输数据，大大减少了资源开销；与此同时，基于强化学习方法为每一个边缘计算节点均训练得到一个视频传输配置单元，共同构建得到视频传输配置模型，实现了动态视频段的自适应配置选择，能够以较小的资源开销实现视频传输参数的自适配置。

Description

一种视频传输配置模型的构建方法及应用
技术领域
本发明属于视频分析技术领域，更具体地，涉及一种视频传输配置模型的构建方法及应用。
背景技术
随着大数据时代的来临，通信网络和嵌入式技术的不断发展，摄像机由于其捕捉丰富信息的能力，在智能城市发挥着越来越重要的作用。摄像头被广泛部署以获得丰富、直观的环境信息。这些摄像头被用于交通管制、安全监督、工厂监控等场景。由于大规模的自动化和低经济成本的需求，视频分析的目的即利用计算机视觉技分析摄像头采集信息，分离场景中的背景，并进行目标分析，广泛应用于道路监控、自动驾驶、目标检测及智能工业等领域中。视频分析中的视频来源通常为一个多视角摄像头集群系统，多视角集群系统中往往含有多个摄像头，各摄像头的视频传输参数(如帧率、分辨率和视频段大小等)各不相同，其具体配置将会影响后续视频分析的准确度、传输带宽需求等性能表现，因此，研究一种视频传输配置方法及应用存在重要意义。
边缘计算节点在视频传输和分析中有着广泛的应用前景。通过添加边缘节点体系结构，视频流最初可以在边缘节点进行处理，而不是将所有内容交付到云端。与后者相比，在边缘节点具有网络负担更小的优点，处理查询有助于减少服务延迟，同时保持较高的准确性。在边缘节点体系结构下，现有的视频传输配置方法通常将摄像头所捕获的视频传输至随机的边缘节点，将摄像头与边缘节点进行随意匹配，使得多视角摄像头集群系统采集的视频数据存在大量的冗余，导致配置资源的浪费；并且，各摄像头传输视频的配置参数相对固定，无法针对具体分析任务和实际网络环境进行自适应调整，资源开销较大，也无法兼顾视频传输性能及视频分析任务的准确率。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种视频传输配置模型的构建方法及应用，用以解决现有技术无法以较小的资源开销，实现视频传输参数的自适配置的技术问题。
为了实现上述目的，本发明提供了一种视频传输配置模型的构建方法，包括以下步骤：
S1、搭建视频传输配置模型；其中，视频传输配置模型包括：多个视频传输配置单元；视频传输配置单元的数量与边缘计算节点的数量相同，一个视频传输配置单元对应一个边缘计算节点；视频传输配置单元包括强化学习网络；
视频传输配置单元用于将对应边缘计算节点接收对应摄像头采集的视频段时的环境状态信息输入至其强化学习网络中，得到视频传输参数；将对应边缘计算节点所对应的各摄像头按照所得视频传输参数进行统一配置后，计算得到在上述环境状态信息下进行相应配置后的奖励值，记为环境状态信息所对应的奖励值；其中，环境状态信息包括：传输延迟、传输带宽、视频分析的准确度及类型；视频传输参数包括：视频帧率、视频分辨率和用于进行视频分析的视频段大小；
S2、将各边缘计算节点所对应的训练样本子集输入至对应的视频传输配置单元中，分别最大化各训练样本子集中的所有环境状态信息所对应的奖励累积值，对各视频传输配置单元进行训练，从而得到训练好的视频传输配置模型；
其中，边缘计算节点所对应的训练样本子集包括：在若干历史时刻下边缘计算节点接收对应摄像头采集的视频段时的环境状态信息；其中，边缘计算节点与摄像头之间的对应关系的确定方法，包括：对各摄像头按照其所采集的视频内容的相似度进行聚类，得到各摄像头簇；并分别将各摄像头簇和与其距离最近的边缘计算节点进行匹配。
进一步优选地，边缘计算节点与摄像头之间的对应关系的确定方法，包括以下步骤：
S01、分别对各摄像头采集的视频段按帧进行奇异值分解，得到各摄像头所采集的各视频帧的奇异值；
S02、对任意两个摄像头，按照以下公式计算其采集的视频内容的相似度；
Figure BDA0003769911130000031
其中，simpq为第p个摄像头和第q个摄像头所采集的视频内容的相似度；Sp为第p个摄像头所采集的各视频帧的奇异值集合；|Sq|为奇异值集合Sp中奇异值的个数；Sq为第q个摄像头所采集的各视频帧的奇异值集合；|Sq|为奇异值集合Sq中奇异值的个数；
Figure BDA0003769911130000032
为奇异值集合Sq中第i个奇异值，
Figure BDA0003769911130000033
Figure BDA0003769911130000034
Figure BDA0003769911130000035
为奇异值集合Sq中第i个奇异值，
Figure BDA0003769911130000036
S03、对各摄像头进行聚类，得到各摄像头簇，使得在各摄像头簇中任意两个摄像头所采集的视频内容的相似度小于预设相似度；
S04、分别计算各摄像头簇与各边缘计算节点之间的地理距离，分别将各摄像头簇和与其距离最近的边缘计算节点进行匹配。
进一步优选地，记将对应边缘计算节点所对应的各摄像头按照基于环境状态信息所得的视频传输参数进行统一配置后，将摄像头输出的视频段传输至云端服务器进行视频分析的时刻为t，此时，所得环境状态信息对应的奖励值为：
Rt＝(1-ε)accuracyt-εdelayt
其中，ε为预设权重；accuracyt为对t时刻下所传输的视频段进行视频分析的准确度；delayt为t时刻下将摄像头输出的视频段传输至云端服务器的传输延迟。
进一步优选地，强化学习网络包括：Actor网络和Critic网络；Actor网络用于基于对应边缘计算节点接收对应摄像头采集的视频段时的环境状态信息，得到视频传输参数；Critic网络用于对Actor网络所得的视频传输参数进行评价，以最大化评价结果为目标，对Actor网络进行训练。
进一步优选地，在训练过程中，对各视频传输配置单元，每输入一次环境状态信息样本，并将对应边缘计算节点所对应的各摄像头按照该视频传输参数进行统一配置后，采集此时对所传输的视频段进行视频分析后的QoE指标值，判断QoE指标值是否小于预设阈值，若是，则计算对应的奖励值，并基于奖励值对视频传输配置单元中强化学习网络的参数值进行更新；否则，结束当前轮次的训练，直接输入下一个环境状态信息样本，从而开始下一轮训练。
进一步优选地，上述步骤S2中，对各视频传输配置单元的训练过程并行执行。
进一步优选地，上述视频传输配置模型的构建方法，还包括：每隔预设时间段，重新收集边缘计算节点所对应的训练样本子集，采用步骤S2对视频传输配置模型进行强化学习训练，从而对视频传输配置模型进行更新。
进一步优选地，边缘计算节点与摄像头之间的对应关系按照其确定方法定期更新。
第二方面，本发明提供了一种视频传输配置方法，包括：将待配置摄像头采集视频段时的环境状态信息，输入至视频传输配置模型中与待配置摄像头相对应的边缘计算节点所对应的视频传输配置单元中，得到视频传输参数，并按照所得视频传输参数对待配置摄像头进行配置；
其中，视频传输配置模型采用本发明第一方面所提供的视频传输配置模型的构建方法构建得到。
第三方面，本发明提供了一种视频传输配置系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明第二方面所提供的视频传输配置方法。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行本发明第一方面所提供的视频传输配置模型的构建方法和/或本发明第二方面所提供的视频传输配置方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
1、本发明提供了一种视频传输配置模型的构建方法，预先基于各摄像头的采集到的历史视频视频，将各摄像头按照其所采集的视频内容的相似度聚类到多个摄像头簇中，并与距离最近的边缘计算节点进行匹配，通过聚类所得的子集共享同一边缘计算节点，从而使得同一摄像头簇中具有相似特征的视频源的各摄像头共享同一视频传输配置，有选择性的传输数据，大大减少了资源开销；与此同时，基于强化学习的方式对每个边缘计算节点均训练一个视频传输配置单元，共同构建了一个视频传输配置模型，实现了动态视频段的自适应配置选择，能够以较小的资源开销实现视频传输参数的自适配置。
2、本发明所提供的视频传输配置模型的构建方法，采用自定义的类KL距离结合奇异值分解来计算多视角摄像机集群彼此的相似度，将相似度高的聚类成一簇，完成摄像机网络拓扑的分区匹配，该方法基于奇异值分解，便于实现，计算复杂度低，采用对数比值衡量距离，能够快速得到摄像头集群相似度。
3、本发明所提供的视频传输配置模型的构建方法，所采集的环境状态信息包括：传输延迟、传输带宽、视频分析的准确度及类型，在摄像头和边缘节点之间的带宽是波动且有限的情况下，以低延以低传输延迟和高视频分析精度为目标，将摄像头的视频传输参数的配置问题转化为顺序决策问题，采用深度强化学习算法进行训练，能够兼顾视频传输性能及视频分析任务的准确率，从而实现针对具体分析任务和实际网络环境下的视频传输参数的自适应调整。
4、考虑到模型的训练过程主要是在黑盒模型下进行，整个过程由机器决策，为了防止其存在错误决策和风险决策，本发明所提供的视频传输配置模型的构建方法，在训练过程中，除了考虑到所得的奖励值，还进一步考虑到了对所传输的视频段进行视频分析后的QoE指标值，且QoE指标值的优先级高于奖励值，通过引入先验信息来控制训练过程中网络参数的更新，利用丰富的领域知识来提高鲁棒性，以减小错误决策和风险决策的可能。
附图说明
图1为本发明实施例1提供的一种视频分析架构示意图；
图2为本发明实施例1提供的摄像头网络拓扑划分流程图；
图3为本发明实施例1提供的视频传输配置模型构建方法的流程图；
图4为本发明实施例1提供的任一视频传输配置单元的训练流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1、
本实施例提供了一种视频传输配置模型的构建方法，所构建的视频传输配置模型服务于后续的视频分析操作。需要说明的是，现实环境中(例如交通路口)会部署多个摄像头(摄像头集群)来监控和收集不同区域内的视频数据。考虑到复杂的场景，摄像头是通过无线连接到边缘计算节点上的，摄像头集群实时采集视频(如斑马线处行人、车辆信息等，每隔一段时间可视具体网络波动情况调整)发送视频段到不同边缘节点上进行预处理，然后再由边缘计算节点将预处理结果上传到云端服务器进行视频分析，是一个端边云”协作视频分析架构，如图1所示，该视频分析系统包括摄像头、边缘计算节点和云端服务器。离线时，边缘计算节点收到视频段后将保存在节点本地，作为历史训练数据。在线时，边缘计算节点通过分析时空冗余性来选择信息最丰富的帧集。
虽然有多个摄像头在摄像头集群，但彼此可能没有相关或冗余，这意味着这个摄像头集群的拓扑结构存在进一步分区子集的空间。以交通摄像头为例，在离线分析部分中，面对高速公路路段的交通摄像头可能是相关的，如交通路口摄像机捕捉到的场景中可能有更多的空间重叠，因为相同的车辆可能会出现在多个摄像头的视频馈源中，所以他们倾向于共享相似的配置。边缘计算节点部署的视频分析器可以根据视频信息数据，进一步筛选分划，从而得到不同的摄像机集群子集。
具体地，本实施例中，边缘计算节点与摄像头之间的对应关系通过以下方式确定：对各摄像头，按照其所采集的视频内容的相似度进行聚类，得到各摄像头簇；并分别将各摄像头簇和与其距离最近的边缘计算节点进行匹配，从而完成摄像头网络拓扑的分区匹配。计算视频内容相似度的方法包括均方误差、特征点检测、光流法等。在一种可选实施方式下，采用下述方法计算视频内容相似度，对应的边缘计算节点与摄像头之间的对应关系的确定方法，包括以下步骤：
S01、分别对各摄像头采集的视频段按帧进行奇异值分解，得到各摄像头所采集的各视频帧的奇异值；
具体地，奇异值分解公式如下：
Figure BDA0003769911130000081
U和V的列向量为特征向量，Σ为奇异值矩阵，其对角线上是值为奇异值。
S02、对任意两个摄像头，按照以下公式计算其采集的视频内容的相似度；
Figure BDA0003769911130000082
其中，simpq为第p个摄像头和第q个摄像头所采集的视频内容的相似度，用于反映两视频内容之间的冗余性；Sp为第p个摄像头所采集的各视频帧的奇异值集合；|Sq|为奇异值集合Sp中奇异值的个数；Sq为第q个摄像头所采集的各视频帧的奇异值集合；|Sq|为奇异值集合Sq中奇异值的个数；
Figure BDA0003769911130000083
为奇异值集合Sp中第i个奇异值，
Figure BDA0003769911130000084
Figure BDA0003769911130000085
为奇异值集合Sq中第i个奇异值，
Figure BDA0003769911130000086
S03、对各摄像头进行聚类，得到各摄像头簇，使得在各摄像头簇中任意两个摄像头所采集的视频内容的相似度小于预设相似度；具体地，可以利用热力图来表示各摄像头所采集的视频内容的相似度将相似度高的聚类成一簇，完成摄像机集群的分区匹配。本实施例中，在对摄像机集群中任意两个摄像头所采集的视频内容的相似度归一化后，预设相似度取值为0.7。
S04、分别计算各摄像头簇与各边缘计算节点之间的地理距离，分别将各摄像头簇和与其距离最近的边缘计算节点进行匹配。
同一摄像头簇将共享相同的边缘计算节点，实现配置共享，或者在资源有限的情况下只有选择性的上传子集中的一个摄像机的视频数据(比如计数任务)。进一步地，边缘计算节点与摄像头之间的对应关系可以依据历史数据集按照其确定方法定期更新(本实施例中每隔24h进行更新)，整个过程如图2所示。
在预先得到的边缘计算节点与摄像头之间的对应关系后，如图3所示，上述视频传输配置模型的构建方法，包括以下步骤：
S1、搭建视频传输配置模型；其中，视频传输配置模型包括：多个视频传输配置单元；视频传输配置单元的数量与边缘计算节点的数量相同，一个视频传输配置单元对应一个边缘计算节点；视频传输配置单元包括强化学习网络；
视频传输配置单元用于将对应边缘计算节点接收对应摄像头采集的视频段时的环境状态信息输入至其强化学习网络中，得到视频传输参数；将对应边缘计算节点所对应的各摄像头按照所得视频传输参数进行统一配置后，计算得到在上述环境状态信息下进行相应配置后的奖励值，记为环境状态信息所对应的奖励值；其中，环境状态信息包括：传输延迟、传输带宽、进行视频分析后所得的准确度及视频分析类型；视频分析类型包括：目标计数、目标追踪、目标检测等；视频传输参数包括：视频帧率、视频分辨率和用于进行视频分析的视频段大小；
S2、将各边缘计算节点所对应的训练样本子集输入至对应的视频传输配置单元中，分别最大化各训练样本子集中的所有环境状态信息所对应的奖励累积值，对各视频传输配置单元进行训练，从而得到训练好的视频传输配置模型；其中，边缘计算节点所对应的训练样本子集包括：在若干历史时刻下边缘计算节点接收对应摄像头采集的视频段时的环境状态信息。
需要说明的是，除了视频帧率、视频分辨率等基本视频传输参数，由于在摄像头实时捕获视频帧阶段，摄像头以视频段的形式上传至边缘计算节点，每次上传下一段之前缓冲设定时间窗口的视频帧。每个工作负载和资源需求都受到视频内容的影响。小的段大小容易受噪声影响，而大的段需要缓冲更多的帧，因此还需要关注窗口大小，即用于进行视频分析的视频段大小，因此，本发明所关注的视频传输参数包括：视频帧率、视频分辨率和用于进行视频分析的视频段大小，即动作空间为视频传输参数，强化学习网络根据当前环境状态信息为每个查询选择动作来表示，即使用哪个配置编码段(即视频传输参数)，并通过来自环境的奖励反馈来重置状态。
需要说明的是，可以采用准确度、能量损耗、带宽需求、延迟等等互斥的指标的权衡来计算环境状态信息所对应的奖励值；具体地，在一种可选实施方式下，在摄像头和边缘节点之间的带宽是波动且有限的情况下，以低延以低传输延迟、高视频分析精度为目标，将摄像头的视频传输参数的配置问题转化为顺序决策问题，采用深度强化学习算法进行训练。记将对应边缘计算节点所对应的各摄像头按照基于环境状态信息所得的视频传输参数进行统一配置后，将摄像头输出的视频段传输至云端服务器进行视频分析的时刻为t，由于低传输延迟和高视频分析精度两个目标存在冲突，因此，此时环境状态信息对应的奖励值为：
Rt＝(1-ε)accuracyt-εdelayt
其中，ε为预设权重，用来权衡准确度和延迟的比重，本实施例中取值为0.4；accuracyt为对t时刻下所传输的视频段进行对应类型的视频分析的准确度；delayt为t时刻下将摄像头输出的视频段传输至云端服务器的传输延迟。
本实施中，将训练样本子集分批输入到模型中进行训练，最大化训练样本子集中的所有环境状态信息所对应的奖励累积值来更新强化学习网络的权重值，从而使得强化学习网络能够输出最优的视频传输参数，对应的目标函数为：
Figure BDA0003769911130000101
其中，T为一个批次的样本数量，对应一个训练周期，从而累计奖励被定义为周期内一个事件的所有查询的准确度和延迟函数的总和，本发明通过累积奖励实现低延迟和准确性的平均最大化。本发明通过代理与外界环境之间的交互来做出最有益的配置决策，对当前所采集的视频段做出了细粒度的自适应配置，选择对它们进行独立编码，同时为后续段的配置提供参考选择。
进一步地，在一种可选实施方式下，如图4所示为任一视频传输配置单元的训练流程图，其中，强化学习网络包括：Actor网络和Critic网络；Actor网络用于基于对应边缘计算节点接收对应摄像头采集的视频段时的环境状态信息，得到视频传输参数；Critic网络用于对Actor网络所得的视频传输参数进行评价，以最大化评价结果为目标，对Actor网络进行训练。在该强化学习网络下，Actor网络学习最大的期望回报，Critic提供建议；此时，Critic学习的是一个中心价值函数，能够观测到全局信息。具体地，采用A3C强化学习算法进行训练，在训练过程中，训练样本子集中的环境状态信息先输入至Actor网络中，得到对应的视频传输参数；将环境状态信息及对应的视频传输参数输入至Critic网络中得到其评价结果，以最大化评价结果为目标，对Actor网络进行训练；与此同时，将对应边缘计算节点所对应的各摄像头按照所得视频传输参数进行统一配置后，计算得到在上述环境状态信息下进行相应配置后的奖励值；将环境状态信息、对应的视频传输参数和奖励值作为一个元组信息存入经验池中；当经验池存满数据时，从经验池中随机采样元组信息数据对Critic网络进行训练。
进一步地，为了加快训练速度，提高训练效率，在一种可选实施方式下，可以对各视频传输配置单元的训练过程并行执行，即同时基于多智能体任务学习，不同线程的代理探索不同的策略，通过并行代理提高学习的速度。
进一步地，由于上述训练过程主要是在黑盒模型下进行，整个过程由机器决策，为了防止其存在错误决策和风险决策，在一种可选实施方式下，在训练过程中，对视频传输配置模型中的参数进行更新时，除了考虑到所得的奖励值，还进一步考虑到了对所传输的视频段进行视频分析后的QoE(用户体验质量)指标值，且QoE指标值的优先级高于奖励值；具体地，在训练过程中，对各视频传输配置单元，每输入一次环境状态信息样本，并将对应边缘计算节点所对应的各摄像头按照该视频传输参数进行统一配置后，采集此时对所传输的视频段进行视频分析后的QoE指标值(设置取值范围为[0,10])，判断QoE指标值是否小于预设阈值(本实施例中取值为8)，若是，则计算对应的奖励值，并基于奖励值对视频传输配置单元中强化学习网络的参数值进行更新；否则，结束当前轮次的训练，直接输入下一个环境状态信息样本，从而开始下一轮训练。通过引入先验信息来控制训练过程中网络参数的更新，以减小错误决策和风险决策的可能。
进一步地，在一种可选实施方式下，上述视频传输配置模型的构建方法，还包括：每隔预设时间段(本实施例中取值为4h)，重新收集边缘计算节点所对应的训练样本子集，采用步骤S2对视频传输配置模型进行强化学习训练，从而对视频传输配置模型进行更新。
综上，本发明公开了一种视频传输配置模型的构建方法，主要用于减少资源消耗，满足低延迟、高准确度要求。本发明一方面利用历史数据集，在离线阶段使用帧间冗余相似度计算，利用整体结构对多视角摄像机集群划分配置。划分的子集共享同一边缘节点，有选择性的传输数据，减少资源开销。另一方面，提出了改进的带有先验知识的深度强化学习算法，实现对配置旋钮动态视频段的自适应配置选择，通过调整视频编码配置来在带宽波动、查询任务不定的情况下取得精度和延迟要求的平衡，在结合边缘计算节点的基础上，为多媒体视频流的配置选择分析提供了灵活高效的解决方案。
实施例2、
一种视频传输配置方法，包括：将待配置摄像头采集视频段时的环境状态信息，输入至视频传输配置模型中与待配置摄像头相对应的边缘计算节点所对应的视频传输配置单元中，得到视频传输参数，并按照所得视频传输参数对待配置摄像头进行配置。
其中，视频传输配置模型采用本发明实施例1所提供的视频传输配置模型的构建方法构建得到。
相关技术方案同实施例1，这里不做赘述。
实施例3、
一种视频传输配置系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明实施例2所提供的视频传输配置方法。
相关技术方案同实施例2，这里不做赘述。
实施例4、
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行本发明实施例1所提供的视频传输配置模型的构建方法和/或本发明实施例2所提供的视频传输配置方法。
相关技术方案同实施例1和实施例2，这里不做赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频传输配置模型的构建方法，其特征在于，包括以下步骤：
S1、搭建视频传输配置模型；所述视频传输配置模型包括：多个视频传输配置单元；视频传输配置单元的数量与边缘计算节点的数量相同，一个视频传输配置单元对应一个边缘计算节点；所述视频传输配置单元包括强化学习网络；
所述视频传输配置单元用于将对应边缘计算节点接收对应摄像头采集的视频段时的环境状态信息输入至其强化学习网络中，得到视频传输参数；将对应边缘计算节点所对应的各摄像头按照所得视频传输参数进行统一配置后，计算得到在所述环境状态信息下进行相应配置后的奖励值，记为环境状态信息所对应的奖励值；所述环境状态信息包括：传输延迟、传输带宽、视频分析的准确度及类型；视频传输参数包括：视频帧率、视频分辨率和用于进行视频分析的视频段大小；
S2、将各边缘计算节点所对应的训练样本子集输入至对应的视频传输配置单元中，分别最大化各训练样本子集中的所有环境状态信息所对应的奖励累积值，对各视频传输配置单元进行训练，从而得到训练好的视频传输配置模型；
其中，边缘计算节点所对应的训练样本子集包括：在若干历史时刻下边缘计算节点接收对应摄像头采集的视频段时的环境状态信息；
边缘计算节点与摄像头之间的对应关系的确定方法，包括：对各摄像头按照其所采集的视频内容的相似度进行聚类，得到各摄像头簇；并分别将各摄像头簇和与其距离最近的边缘计算节点进行匹配。
2.根据权利要求1所述的视频传输配置模型的构建方法，其特征在于，所述边缘计算节点与摄像头之间的对应关系的确定方法，包括以下步骤：
S01、分别对各摄像头采集的视频段按帧进行奇异值分解，得到各摄像头所采集的各视频帧的奇异值；
S02、对任意两个摄像头，按照以下公式计算其采集的视频内容的相似度；
Figure FDA0003769911120000021
其中，simpq为第p个摄像头和第q个摄像头所采集的视频内容的相似度；Sp为第p个摄像头所采集的各视频帧的奇异值集合；|Sq|为奇异值集合Sp中奇异值的个数；Sq为第q个摄像头所采集的各视频帧的奇异值集合；|Sq|为奇异值集合Sq中奇异值的个数；
Figure FDA0003769911120000022
为奇异值集合Sp中第i个奇异值，
Figure FDA0003769911120000023
Figure FDA0003769911120000024
Figure FDA0003769911120000025
为奇异值集合Sq中第i个奇异值，
Figure FDA0003769911120000026
S03、对各摄像头进行聚类，得到各摄像头簇，使得在各摄像头簇中任意两个摄像头所采集的视频内容的相似度小于预设相似度；
S04、分别计算各摄像头簇与各边缘计算节点之间的地理距离，分别将各摄像头簇和与其距离最近的边缘计算节点进行匹配。
3.根据权利要求1所述的视频传输配置模型的构建方法，其特征在于，记将对应边缘计算节点所对应的各摄像头按照基于环境状态信息所得的视频传输参数进行统一配置后，将摄像头输出的视频段传输至云端服务器进行视频分析的时刻为t，此时，所得环境状态信息对应的奖励值为：
Rt＝(1-ε)accuracyt-εdelayt
其中，ε为预设权重；accuracyt为对t时刻下所传输的视频段进行视频分析的准确度；delayt为t时刻下将摄像头输出的视频段传输至云端服务器的传输延迟。
4.根据权利要求1所述的视频传输配置模型的构建方法，其特征在于，所述强化学习网络包括：Actor网络和Critic网络；所述Actor网络用于基于对应边缘计算节点接收对应摄像头采集的视频段时的环境状态信息，得到视频传输参数；所述Critic网络用于对所述Actor网络所得的视频传输参数进行评价，以最大化评价结果为目标，对Actor网络进行训练。
5.根据权利要求1所述的视频传输配置模型的构建方法，其特征在于，所述步骤S2中，对各视频传输配置单元的训练过程并行执行。
6.根据权利要求1-5任意一项所述的视频传输配置模型的构建方法，其特征在于，在训练过程中，对各视频传输配置单元，每输入一次环境状态信息样本，并将对应边缘计算节点所对应的各摄像头按照该视频传输参数进行统一配置后，采集此时对所传输的视频段进行视频分析后的QoE指标值，判断所述QoE指标值是否小于预设阈值，若是，则计算对应的奖励值，并基于奖励值对视频传输配置单元中强化学习网络的参数值进行更新；否则，结束当前轮次的训练，直接输入下一个环境状态信息样本，从而开始下一轮训练。
7.根据权利要求1-5任意一项所述的视频传输配置模型的构建方法，其特征在于，还包括：每隔预设时间段，重新收集边缘计算节点所对应的训练样本子集，采用步骤S2对视频传输配置模型进行强化学习训练，从而对所述视频传输配置模型进行更新；
所述边缘计算节点与摄像头之间的对应关系按照其确定方法定期更新。
8.一种视频传输配置方法，其特征在于，包括：将待配置摄像头采集视频段时的环境状态信息，输入至视频传输配置模型中与待配置摄像头相对应的边缘计算节点所对应的视频传输配置单元中，得到视频传输参数，并按照所得视频传输参数对待配置摄像头进行配置；
其中，视频传输配置模型采用权利要求1-7任意一项所述的视频传输配置模型的构建方法构建得到。
9.一种视频传输配置系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行权利要求8所述的视频传输配置方法。
10.一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求1-7任意一项所述的视频传输配置模型的构建方法和/或权利要求8所述的视频传输配置方法。
CN202210898346.2A 2022-07-28 2022-07-28 一种视频传输配置模型的构建方法及应用 Pending CN115357379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210898346.2A CN115357379A (zh) 2022-07-28 2022-07-28 一种视频传输配置模型的构建方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210898346.2A CN115357379A (zh) 2022-07-28 2022-07-28 一种视频传输配置模型的构建方法及应用

Publications (1)

Publication Number Publication Date
CN115357379A true CN115357379A (zh) 2022-11-18

Family

ID=84032252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210898346.2A Pending CN115357379A (zh) 2022-07-28 2022-07-28 一种视频传输配置模型的构建方法及应用

Country Status (1)

Country Link
CN (1) CN115357379A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115866417A (zh) * 2023-02-28 2023-03-28 中国人民解放军军事科学院战争研究院 基于边缘计算的视频服务方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115866417A (zh) * 2023-02-28 2023-03-28 中国人民解放军军事科学院战争研究院 基于边缘计算的视频服务方法及系统

Similar Documents

Publication Publication Date Title
CN111160525B (zh) 一种边缘计算环境下基于无人机群的任务卸载智能决策方法
CN115037749A (zh) 一种性能感知的大规模微服务智能多资源协同调度方法及系统
CN113538910A (zh) 一种自适应的全链条城市区域网络信号控制优化方法
CN113037783B (zh) 一种异常行为检测方法及系统
CN115357379A (zh) 一种视频传输配置模型的构建方法及应用
CN112434789A (zh) 一种用于边缘视频分析的分布式神经网络模型划分方法
CN117240887A (zh) 一种智慧物联网能源管理平台系统
CN111860621A (zh) 一种数据驱动的分布式交通流量预测方法及系统
CN114885388A (zh) 联合rss预测的多业务类型自适应切换判决方法
CN116012880A (zh) 分布式边缘协同推理的行人重识别方法、系统及装置
CN114741185A (zh) 面向多目标视频监控的边缘计算系统及其工作方法
Chen et al. Traffic signal optimization control method based on adaptive weighted averaged double deep Q network
CN113905049A (zh) 一种基于多分类和分布式强化学习的卸载决策优化方法
CN112070280A (zh) 实时交通流量并行预测方法、系统、终端及存储介质
Zhang et al. RTCoInfer: Real-time collaborative CNN inference for stream analytics on ubiquitous images
CN115208892B (zh) 基于动态资源需求的车路协同在线任务调度方法及系统
CN113114480A (zh) 一种数据的上报方法及相关设备
CN116455820A (zh) 基于拥塞规避的多传输路径调整系统及方法
La Bruna et al. Edge-assisted federated learning in vehicular networks
Oka et al. Spatial feature-based prioritization for transmission of point cloud data in 3D-image sensor networks
Zhou et al. Digital Twin-Based 3D Map Management for Edge-Assisted Device Pose Tracking in Mobile AR
CN117273182A (zh) 参数预测方法、预测服务器、预测系统及电子设备
Zhao et al. Learning multi-agent communication with policy fingerprints for adaptive traffic signal control
CN111950691A (zh) 一种基于潜在动作表示空间的强化学习策略学习方法
CN115086663B (zh) 一种基于深度强化学习的多摄像头实时视频传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination