CN111813528B - 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法 - Google Patents

一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法 Download PDF

Info

Publication number
CN111813528B
CN111813528B CN202010694044.4A CN202010694044A CN111813528B CN 111813528 B CN111813528 B CN 111813528B CN 202010694044 A CN202010694044 A CN 202010694044A CN 111813528 B CN111813528 B CN 111813528B
Authority
CN
China
Prior art keywords
video
task
conversion
data
standardized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010694044.4A
Other languages
English (en)
Other versions
CN111813528A (zh
Inventor
戴杰
朱兴国
吴金波
齐力
吴松洋
金钲伟
黄稳定
刘焕龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN202010694044.4A priority Critical patent/CN111813528B/zh
Publication of CN111813528A publication Critical patent/CN111813528A/zh
Application granted granted Critical
Publication of CN111813528B publication Critical patent/CN111813528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法，本方案首先接收多系统的视频特征数据，接下来基于动态任务调度策略，将视频特征数据分发到系统中多台服务器进行并行转换处理。视频数据标准化转换模块能够根据输入数据的来源，确定相应的转换规则，由原系统的定义值转换为符合标准规范的视频特征数据。最后汇总标准化的视频特征数据，并将数据输出至视频大数据平台。根据任务负载统计确定的任务调度策略。本方案将非标准化的视频特征数据自动转换为标准化数据，解决现有视频应用中的数据异构问题，使系统具备更强的整体可用性，提升视频数据的整体应用效能。

Description

一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法
技术领域
本发明属于视频图像应用领域，具体涉及视频大数据标准化汇聚技术。
背景技术
为了解决传统的通过人工观看方式从视频中获取线索的低效率问题，视频分析技术被广泛应用到各类视频监控系统中，可对所提取目标的相关特征信息如车牌号、车辆颜色、车辆品牌等进行识别，并对目标和属性信息进行存储，以方便用户对视频中的目标进行管理和查询。
然而，在实际应用过程中存在多个视频分析系统同时部署的情况，大量的视频特征数据在各自系统中独立存储，相互隔离。由于视频分析系统种类繁多，且视频特征数据根据各自字段定义进行存储，数据格式各异，从而难以利用全部视频特征数据进行全局研判。
因此，面对大量存在的视频分析系统，如何高效地实现视频的统一标准化存储和应用，提升数据应用价值，成为视频分析系统应用中的一个重要问题。
发明内容
针对现有方案中视频特征数据难以统一汇聚应用的问题，需要一种新的视频数据分析处理方案。
为此，本发明的目的在于提供一种基于任务统计特性的视频大数据标准化汇聚网关系统。该系统将独立的视频分析系统所产生的视频特征数据按照标准规范进行标准化转换和汇聚，解决了视频特征数据孤立应用的问题，提升了数据应用价值。同时，系统基于任务统计特性进行高效的任务调度，具有良好的扩展性。本发明基于该系统还提供一种任务统计特性的视频大数据标准化汇聚方法。
为了达到上述目的，本发明提供的基于任务统计特性的视频大数据标准化汇聚网关系统，该系统包括：
汇聚输入模块，所述汇聚输入模块提供适应多个视频分析系统的输入接口，用于接收多系统视频特征数据的汇聚输入；
任务调度模块，所述任务调度模块用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中至少一个视频数据标准化转换模块进行并行转换；
视频数据标准化转换模块，所述视频数据标准化转换模块用于根据输入视频特征数据的来源，确定对应的转换规则，将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征数据；
任务统计模块，所述任务统计模块用于统计视频特征数据标准化转换的任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据；
标准化数据输出模块，所述标准化数据输出模块用于汇总符合标准规范的视频特征数据，并输出至视频大数据平台。
进一步地，所述汇聚输入模块从多个视频分析系统获取输出的视频特征数据。
进一步地，所述系统中包含至少一个视频数据标准化转换模块，至少一个视频数据标准化转换模块之间并行设置和并行运行。
进一步地，所述视频数据标准化模块分别布置在系统的计算节点之上，并与任务调度模块数据连接。
进一步地，所述系统中的计算节点可通过注册的方式进行扩展，并实现可调度。
为了达到上述目的，本发明提供的基于任务统计特性的视频大数据标准化汇聚方法，包括：
(1)接收多个系统输出的视频特征数据，标记系统来源信息后进行标准化转换任务调度；
(2)根据来源系统数据的转换复杂度分级和标准化计算转换节点的处理能力分级，从计算资源池中挑选合适的计算节点作为目标节点，进行标准化转换任务分发；
(3)根据标准化转换任务的视频特征数据来源，确定转换规则，将视频特征数据由原系统的定义值转换为符合标准规范的数据，生成符合标准规范定义的JSON文件；
(4)统计视频特征数据标准化转换过程的任务特征、任务执行时间，反馈至步骤(2)，作为调度策略动态调整的依据。
(5)将步骤(3)标准化转换后的视频特征数据输出至视频大数据平台，以便后续应用。
进一步地，所述方法中进行任务调度时，根据步骤(4)返回的周期性统计特性，进行标准化转换任务的转换复杂度估算，计算节点处理能力估算，标准化任务转换复杂度分级以及确定调度策略。
进一步地，所述方法进行任务调度时，根据视频特征数据的来源系统确定本次标准化转换任务的复杂度等级，并在对应同样等级的计算节点池中选择空闲节点进行任务分配；若对应同样等级的计算节点池中所有节点都在工作中，则依次在较高等级的计算节点池中选择空闲节点进行任务分配。
本发明所提供地视频大数据标准化汇聚网关方案提供了一种视频特征数据标准化转换策略，可对视频特征数据进行快速标准化转换。本方案中通过汇聚输入模块、任务调度模块、视频标准化转换模块、任务统计模块和标准化数据输出模块之间的相互协调工作，实现了各独立系统视频特征数据的快速标准化转换和汇聚输出。本方案将独立的视频分析系统所产生的视频特征数据按照标准规范进行标准化转换和汇聚，解决了视频特征数据孤立应用的问题，提升了数据应用价值。同时，系统基于任务统计特性进行高效的任务调度，具有良好的扩展性。
具体而言，本发明方案具有以下技术效果：
(1)汇聚的标准性。在本发明所描述的视频大数据标准化汇聚网关系统中，各视频特征字段根据标准进行标准化转换并输出，从而为基于多系统视频特征数据的汇聚和联合应用提供支撑；
(2)转换的高效性。视频特征数据通过任务调度后在多台服务器并行完成标准化转换，缩短了整体转换时间，解决了由单一服务器串行化转换所造成的转换效率问题；
(3)系统的可扩展性。当接入视频特征数据随着应用规模增长而快速增长时，系统支持标准化转换服务器动态添加，扩充标准化转换处理能力，实现系统的可扩展性，提升系统整体的转换效能。
(4)调度的灵活性。通过对视频特征数据按转换复杂度进行分级，对标准化计算节点按处理能力进行分级，并实现级别匹配的调度，使得系统在实现高效并行的同时又兼顾了负载均衡。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为基于任务统计特性的视频大数据标准化汇聚网关系统架构图；
图2为任务调度模块工作流程示意图；
图3为视频数据标准化转换模块工作流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
针对不同的视频分析系统具有不同的数据定义规范，本方案给出一种视频大数据标准化汇聚方案，用于多个视频分析系统集成应用时的视频特征数据汇聚，对于不符合标准的视频特征数据需要根据规则进行数据转换处理后再汇聚。
参见图1，其所示为本方案给出的基于任务统计特性的视频大数据标准化汇聚网关系统的构成原理示例。
该视频大数据标准化汇聚网关系统将汇聚输入的视频特征数据调度到多台服务器，由部署于服务器上的视频数据标准化转换模块完成标准化转换，转换结果汇总到标准化数据输出模块并输出。任务统计模块统计一个周期内的标准化转换任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据。
由图可知，该系统主要包括汇聚输入模块201，任务调度模块301，若干视频数据标准化转换模块401、402、…、40m，任务统计模块501，以及标准化数据输出模块601。
本发明系统通过汇聚输入模块201，任务调度模块301，若干视频数据标准化转换模块401、402、…、40m，任务统计模块501，以及标准化数据输出模块601之间的相互协调工作，实现对多个视频分析系统101、102、…、10n输出的视频特征数据的快速标准化转换和汇聚输出。
本系统中的汇聚输入模块201负责对多个视频分析系统101、102、…、10n输出的视频特征数据的汇聚输入。
该汇聚输入模块201具体主要包括输入接口管理、视频特征数据的接收和任务队列管理，其提供适应多个视频分析系统的输入接口，实现从多个视频分析系统获取输出的视频特征数据。
本系统中的任务调度模块301与汇聚输入模块201数据连接，用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中多台服务器进行并行转换。
具体的，本任务调度模块301采用自适应动态调整任务调度算法，在一个周期的标准化转换任务完成后评估不同标准化转换任务的转换复杂度分级，以及各计算节点的处理能力分级。再者，根据分级情况对来自多系统的视频特征数据进行调度，将视频特征数据合理地分发到系统中多台服务器进行并行转换，确保标准化转换的高效率。
本系统中的多个视频数据标准化转换模块401、402、…、40m部署于计算节点之上，与任务调度模块301相接，用于根据标准规范要求转换每一项输入的视频特征数据。
具体的，多个视频数据标准化转换模块401、402、…、40m部署于各台服务器中，是系统的核心工作模块，能够根据输入视频特征数据的来源，确定相应的转换规则，并将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征值；完成视频特征数据标准化转换后，生成符合标准规范定义的JSON文件。生成的JSON文件发送到标准化数据输出模块6，作为本网关的标准化输出。
本系统中的任务统计模块501用于统计每个视频特征数据标准化转换任务涉及的处理信息量、任务完成时长等参数，在一个周期的标准化转换任务完成后发送到任务调度模块301。任务调度模块301将以此为主要依据进行任务调度，提高整个系统的运行效率。任务统计模块501不参与具体的标准化转换过程，是任务调度模块301的前端探针。
本系统中的标准化数据输出模块601从各台服务器的视频数据标准化转换模块401、402、…、40m获取标准化的视频特征数据，解析标准化后的JSON文件，并将数据汇总后输出至视频大数据平台。
由此构成的基于任务统计特性的视频大数据标准化汇聚网关系统，在实现多视频特征数据的高效转换汇聚时，首先接收多系统的视频特征数据，接下来基于动态任务调度策略，将视频特征数据分发到系统中多台服务器进行并行转换处理。视频数据标准化转换模块能够根据输入数据的来源，确定相应的转换规则，由原系统的定义值转换为符合标准规范的视频特征数据；系统最后汇总标准化的视频特征数据，并将数据输出至视频大数据平台。本系统还根据任务负载统计确定的任务调度策略可在确保系统高效运行的同时，兼顾不同标准化转换计算节点间的负载平衡。
作为举例，本基于任务统计特性的视频大数据标准化汇聚网关系统进行运行时的基本流程如下：
①汇聚输入模块接收多个系统输出的视频特征数据，标记系统来源信息后提交至任务调度模块进行标准化转换任务调度。
②任务调度模块接受任务后，根据来源系统数据的转换复杂度分级和标准化计算转换节点的处理能力分级，从计算资源池中挑选合适的计算节点作为目标节点，进行标准化转换任务分发。
③视频数据标准化转换模块根据标准化转换任务的视频特征数据来源，确定转换规则，将视频特征数据由原系统的定义值转换为符合标准规范的数据，生成符合标准规范定义的JSON文件，并将JSON文件发送至标准化数据输出模块。
④任务统计模块统计视频特征数据标准化转换过程的任务特征、任务执行时间，反馈至任务调度模块，作为调度策略动态调整的依据。
⑤标准化数据输出模块将标准化转换后的视频特征数据输出至视频大数据平台，以便后续应用。
由此可见，本方案给出的视频大数据标准化汇聚网关系统与传统的视频资源汇聚系统不同，传统系统主要实现视频原始数据的汇聚和调用，主要解决的是视频原始数据的传输、存储及共享问题；而本系统面向的是视频特征数据的汇聚和标准化转换，将视频特征数据所包含的每个视频特征字段按照标准规范进行转换后输出。同时，本系统进行视频特征数据的标准化转换不是一个串行化的过程，而是将视频标准化转换任务被提交至任务调度模块后，将由任务调度模块根据标准化转换任务计算复杂度、计算节点的处理能力等，将任务调度到多台服务器的视频标准化转换模块上，从而实现并行高效处理。
针对上述方案，以下通过以具体应用实例来进一步说明其实施过程。
基于上述方案构建基于任务统计特性的视频大数据标准化汇聚网关系统(如图1所示)。该系统运行时，汇聚输入模块201获取各视频分析系统101、102、…、10n生成的视频特征数据，每个视频特征数据包含平台系统序号i和具体的视频特征数据如车牌号码、车辆颜色特征等。
系统中的任务调度模块301根据任务统计模块501返回的周期性统计特性，评估不同标准化转换任务的转换复杂度分级，以及各计算节点的处理能力分级。并与汇聚输入模块201数据相接，按照调度策略将汇聚输入模块201中的视频特征数据转发至对应的视频数据标准化转换模块401、402、…、40m，进行视频标准化转换。
系统中任务调度模块301调度策略如下：
标准化转换任务的转换复杂度估算：根据一个周期内的标准化转换过程估算每个视频分析平台产生视频特征数据的转换复杂度，计算方式如下：
Figure BDA0002590289600000071
其中，Ci为对应于视频分析平台i的转换复杂度，Bi表示来自该视频分析平台的视频特征数据第i次标准化过程处理的有效特征值数量，n表示近一个周期内来自该视频分析平台的视频特征数据标准化转换总次数。
计算节点处理能力估算：根据一个周期内的标准化转换过程估算每个标准化转换服务器的处理能力，计算方式如下：
Figure BDA0002590289600000072
其中，Fj为对应于标准化计算节点j的处理能力，Bj表示运行于当前计算节点的第j次标准化过程处理的有效特征值数量，Tj表示运行于当前计算节点的第j次标准化过程的处理时间，m表示近一个周期内运行于该计算节点的标准化转换总次数。
标准化任务转换复杂度分级：根据估算的标准化过程计算复杂度Ci进行排序，分为3个等级，Ci值较小的视频分析系统为1级，并依次递增。标准化任务的分级会在一个周期结束后根据任务统计模块5的反馈进行动态调整。
计算节点分级：根据估算的计算节点处理能力Fj进行排序并分为3个等级，Fj值较小的计算节点为1级，并依次递增。计算节点的分级会在一个周期结束后根据任务统计模块5的反馈进行动态调整。
调度策略：任务调度的原则是尽可能实现标准化转换任务和计算节点等级的匹配，具体的调度过程为：根据视频特征数据的来源系统确定本次标准化转换任务的复杂度等级，并在对应同样等级的计算节点池中选择空闲节点进行任务分配；若对应同样等级的计算节点池中所有节点都在工作中，则依次在较高等级的计算节点池中选择空闲节点进行任务分配。
由此，系统中任务调度模块301工作流程示意图如图2所示。在接收视频特征数据标准化任务后，首先确定任务的复杂度等级，再根据调度策略选择空闲的计算节点进行分配。如所有对应等级或较高等级的计算节点均未空闲，则等待节点空闲后再进行标准化任务分配，开展标准化转换过程。
系统中多个视频数据标准化转换模块部署于计算节点之上，与任务调度模块301相接，用于根据标准规范要求转换每个输入的视频特征数据。
参见图3，系统中的视频数据标准化转换模块进行工作的流程如下：
第一步，根据视频特征数据来源进行数据解析，获得每一项具体的视频特征数据，如车型、车牌、车辆颜色等。
第二步，根据数据来源从转换规则库中选择标准化转换规则。每个不同的视频分析平台对应一个预先设定的转换规则。转换规则预先存储于转换规则库中，包括进行特征值转换、图片格式转换等。以车身颜色特征的特征值转换为例，下表描述了具体的转换要求：
表1转换规则示例
Figure BDA0002590289600000091
根据解析获得的每一条视频特征，对照视频分析平台的标准化转换规则表，对不符合标准要求的进行转换。如无对应转换规则，则不进行转换，直接进行输出。
第三步，根据标准规范要求，将转换后的视频特征数据打包生成JSON文件。
第四步，将任务执行情况发送至任务统计模块5，将JSON文件发送至汇聚输出模块6。
系统中的任务统计模块501与视频数据标准化转换模块401、402、…、40m相接，在标准化任务完成后，接收视频数据标准化转换模块401、402、…、40m发送的任务执行情况，包含任务处理量、任务起止时间、任务完成情况等，统计视频特征数据的有效处理数量及任务的执行时长，在一个设定的周期后反馈至任务调度模块301。
系统中的汇聚输出模块601与视频数据标准化转换模块401、402、…、40m相接。用于接收视频数据标准化转换模401、402、…、40m转化形成的JSON文件，最终导入视频大数据平台。
本系统通过视频标准化转换方案，可以将多系统产生的视频特征数据转换为符合标准规范的标准化特征数据。同时，在任务调度时使用任务和计算节点分级的方式，尽可能将任务分配到处理能力匹配的计算节点，保障系统运行高效的同时兼顾负载平衡。最后，完成标准化转换的视频特征数据进行汇聚，输出到视频大数据平台，便于后续全局研判应用。
最后，需要说明的，上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于任务统计特性的视频大数据标准化汇聚网关系统，其特征在于，系统包括：
汇聚输入模块，所述汇聚输入模块提供适应多个视频分析系统的输入接口，用于接收多系统视频特征数据的汇聚输入；
任务调度模块，所述任务调度模块根据任务统计模块返回的周期性统计特性，评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中至少一个视频数据标准化转换模块进行并行转换；所述任务调度模块根据一个周期内的标准化转换过程估算每个视频分析平台产生视频特征数据的转换复杂度；同时根据一个周期内的标准化转换过程估算每个标准化转换服务器的处理能力；
视频数据标准化转换模块，所述视频数据标准化转换模块用于根据输入视频特征数据的来源，确定对应的转换规则，将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征数据；
任务统计模块，所述任务统计模块用于统计视频特征数据标准化转换的任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据；
标准化数据输出模块，所述标准化数据输出模块用于汇总符合标准规范的视频特征数据，并输出至视频大数据平台。
2.根据权利要求1所述的视频大数据标准化汇聚网关系统，其特征在于，所述汇聚输入模块从多个视频分析系统获取输出的视频特征数据。
3.根据权利要求1所述的视频大数据标准化汇聚网关系统，其特征在于，所述系统中包含至少一个视频数据标准化转换模块，至少一个视频数据标准化转换模块之间并行设置和并行运行。
4.根据权利要求1或2或3所述的视频大数据标准化汇聚网关系统，其特征在于，所述视频数据标准化模块分别布置在系统的计算节点之上，并与任务调度模块数据连接。
5.根据权利要求4所述的视频大数据标准化汇聚网关系统，其特征在于，所述系统中的计算节点可通过注册的方式进行扩展，并实现可调度。
6.基于任务统计特性的视频大数据标准化汇聚方法，其特征在于，包括：
(1)接收多个系统输出的视频特征数据，标记系统来源信息后进行标准化转换任务调度；
(2)根据来源系统数据的转换复杂度分级和标准化计算转换节点的处理能力分级，从计算资源池中挑选合适的计算节点作为目标节点，进行标准化转换任务分发；根据一个周期内的标准化转换过程估算每个视频分析平台产生视频特征数据的转换复杂度；同时根据一个周期内的标准化转换过程估算每个标准化转换服务器的处理能力；
(3)根据标准化转换任务的视频特征数据来源，确定转换规则，将视频特征数据由原系统的定义值转换为符合标准规范的数据，生成符合标准规范定义的JSON文件；
(4)统计视频特征数据标准化转换过程的任务特征、任务执行时间，反馈至步骤(2)，作为调度策略动态调整的依据；
(5)将步骤(3)标准化转换后的视频特征数据输出至视频大数据平台，以便后续应用。
7.根据权利要求6所述的视频大数据标准化汇聚方法，其特征在于，所述方法中进行任务调度时，根据步骤(4)返回的周期性统计特性，进行标准化转换任务的转换复杂度估算，计算节点处理能力估算，标准化任务转换复杂度分级以及确定调度策略。
8.根据权利要求6所述的视频大数据标准化汇聚方法，其特征在于，所述方法进行任务调度时，根据视频特征数据的来源系统确定本次标准化转换任务的复杂度等级，并在对应同样等级的计算节点池中选择空闲节点进行任务分配；若对应同样等级的计算节点池中所有节点都在工作中，则依次在较高等级的计算节点池中选择空闲节点进行任务分配。
CN202010694044.4A 2020-07-17 2020-07-17 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法 Active CN111813528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010694044.4A CN111813528B (zh) 2020-07-17 2020-07-17 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010694044.4A CN111813528B (zh) 2020-07-17 2020-07-17 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法

Publications (2)

Publication Number Publication Date
CN111813528A CN111813528A (zh) 2020-10-23
CN111813528B true CN111813528B (zh) 2023-04-18

Family

ID=72866623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010694044.4A Active CN111813528B (zh) 2020-07-17 2020-07-17 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法

Country Status (1)

Country Link
CN (1) CN111813528B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5603058A (en) * 1994-09-08 1997-02-11 International Business Machines Corporation Video optimized media streamer having communication nodes received digital data from storage node and transmitted said data to adapters for generating isochronous digital data streams
US5761417A (en) * 1994-09-08 1998-06-02 International Business Machines Corporation Video data streamer having scheduler for scheduling read request for individual data buffers associated with output ports of communication node to one storage node
CN102497534A (zh) * 2011-12-01 2012-06-13 吕宁 分布式网络全高清视频矩阵系统
CN103152613A (zh) * 2011-12-06 2013-06-12 上海文广互动电视有限公司 基于视频图像组分割的分布式转码任务调度系统及方法
CN104751639A (zh) * 2015-03-17 2015-07-01 上海视聪网络信息技术有限公司 基于大数据的视频结构化车牌识别系统及方法
CN104780294A (zh) * 2015-04-21 2015-07-15 东方网力科技股份有限公司 基于FPGA Soc并行处理的分布式大数据量视频处理系统和方法
CN105045820A (zh) * 2015-06-25 2015-11-11 浙江立元通信技术股份有限公司 一种处理海量级数据的视频图像信息的方法及数据库系统
CN105959709A (zh) * 2016-04-26 2016-09-21 北京数智源科技股份有限公司 多媒体视频融合应用云平台
CN106127114A (zh) * 2016-06-16 2016-11-16 北京数智源科技股份有限公司 智能视频分析方法
CN106598973A (zh) * 2015-10-14 2017-04-26 杭州海康威视数字技术股份有限公司 一种基于云存储管理的智能检索的方法及系统
CN106844654A (zh) * 2017-01-23 2017-06-13 公安部第三研究所 面向警务实战的海量视频分布式检索方法
CN107580023A (zh) * 2017-08-04 2018-01-12 山东大学 一种动态调整任务分配的流处理作业调度方法及系统
CN108363713A (zh) * 2017-12-20 2018-08-03 武汉烽火众智数字技术有限责任公司 视频图像信息解析装置、系统及方法
CN108898072A (zh) * 2018-06-11 2018-11-27 东莞中国科学院云计算产业技术创新与育成中心 一种面向公安刑侦应用的视频图像智能研判系统
CN109144783A (zh) * 2018-08-22 2019-01-04 南京壹进制信息技术股份有限公司 一种分布式海量非结构化数据备份方法及系统
CN110515714A (zh) * 2019-08-15 2019-11-29 浙江万朋教育科技股份有限公司 一种基于集群系统的任务均衡调度方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7797723B2 (en) * 2004-10-30 2010-09-14 Sharp Laboratories Of America, Inc. Packet scheduling for video transmission with sender queue control
WO2008092255A1 (en) * 2007-01-30 2008-08-07 March Networks Corporation Method and system for task-based video analytics processing
CN104834722B (zh) * 2015-05-12 2018-03-02 网宿科技股份有限公司 基于cdn的内容管理系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761417A (en) * 1994-09-08 1998-06-02 International Business Machines Corporation Video data streamer having scheduler for scheduling read request for individual data buffers associated with output ports of communication node to one storage node
US5603058A (en) * 1994-09-08 1997-02-11 International Business Machines Corporation Video optimized media streamer having communication nodes received digital data from storage node and transmitted said data to adapters for generating isochronous digital data streams
CN102497534A (zh) * 2011-12-01 2012-06-13 吕宁 分布式网络全高清视频矩阵系统
CN103152613A (zh) * 2011-12-06 2013-06-12 上海文广互动电视有限公司 基于视频图像组分割的分布式转码任务调度系统及方法
CN104751639A (zh) * 2015-03-17 2015-07-01 上海视聪网络信息技术有限公司 基于大数据的视频结构化车牌识别系统及方法
CN104780294A (zh) * 2015-04-21 2015-07-15 东方网力科技股份有限公司 基于FPGA Soc并行处理的分布式大数据量视频处理系统和方法
CN105045820A (zh) * 2015-06-25 2015-11-11 浙江立元通信技术股份有限公司 一种处理海量级数据的视频图像信息的方法及数据库系统
CN106598973A (zh) * 2015-10-14 2017-04-26 杭州海康威视数字技术股份有限公司 一种基于云存储管理的智能检索的方法及系统
CN105959709A (zh) * 2016-04-26 2016-09-21 北京数智源科技股份有限公司 多媒体视频融合应用云平台
CN106127114A (zh) * 2016-06-16 2016-11-16 北京数智源科技股份有限公司 智能视频分析方法
CN106844654A (zh) * 2017-01-23 2017-06-13 公安部第三研究所 面向警务实战的海量视频分布式检索方法
CN107580023A (zh) * 2017-08-04 2018-01-12 山东大学 一种动态调整任务分配的流处理作业调度方法及系统
CN108363713A (zh) * 2017-12-20 2018-08-03 武汉烽火众智数字技术有限责任公司 视频图像信息解析装置、系统及方法
CN108898072A (zh) * 2018-06-11 2018-11-27 东莞中国科学院云计算产业技术创新与育成中心 一种面向公安刑侦应用的视频图像智能研判系统
CN109144783A (zh) * 2018-08-22 2019-01-04 南京壹进制信息技术股份有限公司 一种分布式海量非结构化数据备份方法及系统
CN110515714A (zh) * 2019-08-15 2019-11-29 浙江万朋教育科技股份有限公司 一种基于集群系统的任务均衡调度方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Proactive Data Placement for Surveillance Video Processing in Heterogeneous Cluster;Haitao Zhang 等;《2016 IEEE International Conference on Cloud Computing Technology and Science (CloudCom)》;20170126;第206-214页 *
下一代公共安全视频监控系统的大数据分析;颜志国 等;《上海大学学报》;20160228;第22卷(第1期);第81-88页 *
混合任务调度方法研究及其应用;杜姗姗等;《微型电脑应用》;20150131(第01期);全文 *
视频大数据分析及其在公安合成作战中的应用;周川等;《警察技术》;20170731(第04期);全文 *
视频监控系统中负载均衡算法的设计;孟利民等;《浙江工业大学学报》;20141231(第06期);全文 *

Also Published As

Publication number Publication date
CN111813528A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109194984B (zh) 一种基于边缘计算的视频帧调度方法
CN104168318A (zh) 一种资源服务系统及其资源分配方法
CN112541426B (zh) 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
CN112162863B (zh) 一种边缘卸载决策方法、终端及可读存储介质
US20230281513A1 (en) Data model training method and apparatus
CN110198339A (zh) 一种基于QoE感知的边缘计算任务调度方法
CN106454402A (zh) 转码任务调度方法和装置
CN113961264B (zh) 一种面向视频监控云边协同的智能卸载算法与系统
CN116112557A (zh) 一种基于确定数据的多种报文格式适配方法和系统
CN108762936A (zh) 基于人工智能图像识别的分布式计算系统及方法
CN111813528B (zh) 一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法
CN115185600A (zh) 一种个性化车路云协同任务卸载分配方法及系统
CN113946389A (zh) 联邦学习流程执行优化方法、设备、存储介质及程序产品
CN104735134B (zh) 一种用于提供计算服务的方法和装置
CN109949202B (zh) 一种并行的图计算加速器结构
Li Optimization of task offloading problem based on simulated annealing algorithm in MEC
CN102957733A (zh) 一种动态调优的内容发布方法及系统
CN105955895B (zh) 分布式消息队列的逻辑控制方法和装置、数据处理设备
CN104965836A (zh) 一种互联网的数据处理方法和装置
CN111582774B (zh) 任务数据处理方法、装置、可读存储介质和电子设备
CN111340408A (zh) 物流收派件仿真系统和仿真方法
CN117834614B (zh) 一种云计算环境中gpu资源调度方法
WO2022120993A1 (zh) 在线场景的资源分配方法、装置及电子设备
CN118035475B (zh) 一种海量图像轨迹数据质量优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant