CN116863408B - 基于监控摄像头ai算法的并行加速和动态调度实现方法 - Google Patents

基于监控摄像头ai算法的并行加速和动态调度实现方法 Download PDF

Info

Publication number
CN116863408B
CN116863408B CN202311126714.2A CN202311126714A CN116863408B CN 116863408 B CN116863408 B CN 116863408B CN 202311126714 A CN202311126714 A CN 202311126714A CN 116863408 B CN116863408 B CN 116863408B
Authority
CN
China
Prior art keywords
image
video
analysis
value
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311126714.2A
Other languages
English (en)
Other versions
CN116863408A (zh
Inventor
王僖
马新凡
陈莉
谌发全
于力
葛佳莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Smart City Information Technology Co ltd
Original Assignee
Chengdu Smart City Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Smart City Information Technology Co ltd filed Critical Chengdu Smart City Information Technology Co ltd
Priority to CN202311126714.2A priority Critical patent/CN116863408B/zh
Publication of CN116863408A publication Critical patent/CN116863408A/zh
Application granted granted Critical
Publication of CN116863408B publication Critical patent/CN116863408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了基于监控摄像头AI算法的并行加速和动态调度实现方法，涉及视频AI算法分析领域，包括在针对稀疏需求的视频智能分析时，根据分析任务的类型按需动态调度AI算力和拟分析视频，根据所述时间参数对所述视频参数截取后进行针对性的视频截取得到第一视频，通过对所述第一视频进行分段处理的方式后，对拟分析视频进行并行的智能AI运算分析，对所述片段结果进行整合后得到所述拟分析视频对应的分析结果，降低分析速度对应用业务的影响的同时，极大地提高AI算力的利用效率，降低算力资源能耗，提高了分析速度，对于不满足用户需求的视频不再进行后续的视频分析操作，减少了视频分析的工作量。

Description

基于监控摄像头AI算法的并行加速和动态调度实现方法
技术领域
本申请涉及视频AI算法分析领域，具体涉及一种基于监控摄像头AI算法的并行加速和动态调度实现方法。
背景技术
监控系统是安防系统中应用最多的系统之一，可以通过对摄像头采集视频进行实时分析或回放分析，利用AI分析算法对监控摄像头视频流进行智能分析，针对安全预警等事件进行智能识别，对于城市管理、治安联防等方面有着极为重要的意义。
目前，城市安防摄像头的智能分析算法，主要以对视频流的实时分析为主，需要对视频流持续进行智能分析，因而需要持续占用算力，产生大量能耗。然而对于例如寻找走失人员这类的稀疏需求，由于稀疏需求在同一自然周期内，有实际分析需求的视频时间之和，远小于分析能力能覆盖的视频时间之和，相对于特定分析任务而言，持续进行智能分析获取的结果中存在大量的冗余信息，对算力、能耗和存储资源等需求量巨大。
本发明旨在采用按需调用模式，通过对符合用户需求的视频片段进行智能分析，仅驱动指定地理位置和时间范围的部分历史视频流参与分析任务，分析过程利用并行加速缩短历史视频流的分析时间、减少对业务的影响，通过AI算力动态调度机制，降低能耗。同时，在针对稀疏需求的视频智能分析时，根据分析任务的类型按需动态调度AI算力，对视频流按需智能分析，并进行并行加速，在降低对应用业务的影响的同时，极大地提高AI算力的利用效率、降低能耗，助力碳中和目标的实现。
发明内容
本发明的目的在于解决具有稀疏需求的分析任务对应用业务影响大的技术问题，提供了基于监控摄像头AI算法的并行加速和动态调度实现方法，在针对稀疏需求的视频智能分析时，根据分析任务的类型按需动态调度AI算力和拟分析视频，根据所述时间参数对所述视频参数截取后进行针对性的视频截取得到第一视频，通过对所述第一视频进行分段处理的方式后，对拟分析视频进行并行的智能AI运算分析，对所述片段结果进行整合后得到所述拟分析视频对应的分析结果，降低分析速度对应用业务的影响的同时，极大地提高AI算力的利用效率，降低算力资源能耗，提高了分析速度，对于不满足用户需求的视频不再进行后续的视频分析操作，减少了视频分析的工作量。
本发明请求保护基于监控摄像头AI算法的并行加速和动态调度实现方法，包括：
获取分析任务对应的视频参数、时间参数和资源参数；
其中，所述视频参数为所述分析任务对应需要调度的视频，所述时间参数为所述分析任务对应的时间跨度，所述资源参数为可调度的算力资源的数量；
根据所述时间参数对所述视频参数进行截取操作，得到第一视频；
计算所述时间参数与所述资源参数的比值，得到第一数值；
根据所述第一数值对所述第一视频进行分段处理，得到若干个视频片段；
调度所述资源参数对应的所述算力资源，同时对每个所述视频片段进行视频分析，得到对应的片段结果；
整合所有所述片段结果，得到所述视频参数对应的分析结果。
在本申请一实施例中，获取分析任务对应的所述视频参数、所述时间参数和所述资源参数之前，还包括获取所述分析任务对应的任务模式，所述任务模式为按照所述分析任务的类型匹配的资源集合，包括完成所述分析任务对应的解决步骤、算法集合和输入类型，不同的所述分析任务通过所述任务模式对应调用不同的所述解决步骤、所述算法集合和所述输入类型。
在本申请一实施例中，所述根据所述第一数值对所述第一视频进行分段处理中，还包括：
获取所述分析任务对应的第一阈值，所述第一阈值为分段处理能够划分的最小时间长度；
对比所述第一数值和所述第一阈值，当所述第一数值大于所述第一阈值时，将所述第一数值作为单位长度，当所述第一数值不大于所述第一阈值时，以所述第一阈值为所述单位长度；
根据所述单位长度对所述第一视频进行分段处理，得到若干个所述视频片段。
在本申请一实施例中，所述调度所述资源参数对应的所述算力资源，同时对每个所述视频片段进行视频分析中，还包括：
分别对所述视频片段进行分帧处理，得到若干个第一图像集；
分别获取每个所述第一图像集的关键帧，得到对应的第二图像集；
分别对所述第二图像集进行特征识别和提取，整合得到所述片段结果。
在本申请一实施例中，所述第一阈值的取值不小于两帧，所述关键帧的获取方法包括：
S1：将所述第一图像集中的第一帧图像作为第三图像，将所述第一图像集中的第二帧图像作为第四图像；
S2：计算所述第三图像和所述第四图像的相似率；
S3：将所述相似率和第二阈值进行对比，所述第二阈值为所述第二图像集中时间相邻的两帧图像之间预设的所述相似率最大值，当所述相似率不小于所述第二阈值时，取所述第四图像的下一帧图像作为所述第四图像，当所述相似率小于所述第二阈值时，将所述第三图像作为所述第二图像集的元素，以所述第四图像为所述第三图像，以所述第四图像的下一帧图像为所述第四图像；
S4：判断所述第四图像是否为所述第一图像集中的最后一帧图像，
若是，返回步骤S2，
若否，停止操作。
在本申请一实施例中，所述相似率的计算方法包括：
根据检测对象对所述第三图像进行特征识别和边缘提取，得到第一目标区域，根据所述检测对象对所述第四图像进行特征识别和边缘提取，得到第二目标区域；
将所述第四图像与所述第三图像中对应像素点进行帧间差分运算；
所述相似率的计算方法如下：
其中，A为所述第一目标区域的像素点数量，B为所述第二目标区域的像素点数量，C为所述帧间差分运算结果大于第三阈值的像素点数量，所述第三阈值为两帧图像之间的灰度补偿值。
在本申请一实施例中，所述分别对所述第二图像集进行特征识别和提取之前，还包括采用算力调度算法对所述算力资源的分配进行优化，所述算力调度算法的计算方法具体如下：
统计所有所述第二图像集中的元素总数，得到第二数值；
将所述第二数值与所述资源参数的比值向上取整后作为单位数量对所有所述第二图像集的元素进行重新划分，得到第五图像集；
将所述第五图像集作为所述第二图像集进行特征识别和提取。
在本申请一实施例中，所述关键帧的获取方法还包括：
获取背景图像，所述背景图像为根据所述第一视频之前相邻时间段对应的视频进行背景建模操作后，不存在所述检测对象的图像；
获取所述第一图像集与所述背景图像在检测区域对应像素点的灰度值差值，得到第三数值；
其中，所述检测区域为在所述第一视频的视域中设置的虚拟图像区域，用于获取所述检测对象到达特定位置时的图像；
统计所述第三数值大于第四阈值时对应像素点的数量，所述第四阈值为第一图像和所述背景图像之间的灰度补偿值，其中，所述第一图像为所述第一图像集的元素，得到第四数值；
当所述第四数值大于第五阈值时，获取对应时间点对应的图像，得到所述第二图像集的元素，其中，所述第五阈值为所述第一图像中所述检测区域的灰度值变化阈值。
在本申请一实施例中，所述检测区域的设置方法包括：
判断所述第一视频中的道路是否属于双向通行道，其中，所述双向通行道为允许同时出现两种移动方向的道路，当所述道路属于所述双向通行道时，在所述道路对应区域中设置检测组，所述检测组包括两个并列的所述检测区域，对同一个所述检测组中的两个所述检测区域设置大小不同的权重参数，当所述道路不属于所述双向通行道时，在所述道路对应区域中仅设置一个所述检测区域。
在本申请一实施例中，所述检测区域的设置方法还包括：
所述检测区域和/或所述检测组设置在所述第一视频中所述道路的出口位置；
根据所述视频参数对应摄像头的地理位置关系，对所有所述检测区域建立关联关系，所述关联关系用于根据当前所述视频参数获取下一个需要进行分析任务的视频。
本申请具有以下有益效果：
1、算力资源实现的技术效果在于将所述分析任务分模块完成，通过将所述分析任务划分为若干个可以独立执行的所述子任务，使不存在相互关联的所述子任务能够并行执行，相较于直接执行所述分析任务而言，在保证分析结果相同的前提下，提高了分析速度。
2、按需调用模式根据特定的稀疏需求，筛选出符合用户需求的所述视频参数和所述时间参数进行分析，根据所述时间参数对所述视频参数截取后进行针对性的视频分析，对于不满足用户需求的视频不再进行后续的视频分析操作，减少了视频分析的工作量。
3、对所述第一视频的视频分析操作重复度高，所有所述片段结果不会相互独立，将所述第一视频进行分段处理，同时对所述视频片段进行视频分析，所述分析结果由所有所述片段结果整合得到，通过并行加速的方式，缩短了视频分析的时间，提高了分析速度。
4、当所述分析任务为在指定的地理位置区域对所述检测对象的当前位置进行定位时，例如寻找走失人员，对所述第一视频分段后再同时进行视频检测，以所有所述片段结果中所述检测对象离开所述第一视频的最晚时间点作为下一个所述时间参数的起始时间点，避免将所述算力资源浪费在所述检测对象的重复运动路径的视频检测上，同时还减少了视频分析的工作量，加快了对所述检测对象的定位速度。
5、通过所述任务模式将完成所述分析任务对应的解决步骤和算法集合进行封装，提高了视频分析与实际应用场景的适配程度，在进行视频分析的过程中仅调度指定的部分所述视频参数进行分析，避免对所有所述视频参数进行遍历，减小了视频分析的工作量，节约了计算能耗，同时还避免由于全面的遍历导致对所述片段结果整合的不良影响，减少了所述片段结果的冗余信息，例如实际应用场景中的监控摄像头拍摄的画质清晰度难以实现对所述检测对象的精准匹配，对所有监控视频进行特征匹配容易出现同时匹配到多个疑似目标，从而影响最终的检测结果。同时，所述任务模式将分析过程中的数据传递和算法调用进行了封装，降低了视频分析算法对操作人员的专业技术要求，使得操作更加简单。
6、所述第一阈值实现的技术效果为根据当前可调用的所述算力资源的数量和后续视频分析任务的方法对所述算力资源进行动态分配和调度，根据视频分析的具体方法选择不同的并行加速方案，提高了并行加速的应用场景，在满足当前可调用的所述算力资源的数量的前提下加快视频分析的速度。
7、视频分析相较于图像分析而言在时间上存在大量的冗余，即分帧处理后得到的所述第一图像集，按照时间顺序相邻两帧的图像之间的变化可能较小，提取所述关键帧实现的技术效果是通过从所述视频片段中提取关键帧的方式对所述视频片段采用舍弃部分变化较小的图像，从所述视频片段中提取所述关键帧实现的技术效果是减少视频冗余，减少分析工作量，提高分析速度。
8、由于监控摄像头在拍摄视频时是对固定场景进行记录，所述第一图像集中的背景部分可视作不变图像，所述第一图像集中的两个元素之间的所述相似率主要受到该场景下的运动对象的影响，根据所述运动对象的移动速度舍弃冗余图像，当所述第一图像集中的两个元素的相似度高时，所述运动对象在运动速度相对较慢，选择其中一张所述第一图像作为所述关键帧图像，将另一张所述关键帧图像进行舍弃，降低了视频的冗余度，减少了视频分析的工作量，当所述第一图像集中的两个元素的所述相似率低时，所述运动对象在运动速度较快，分别将两张所述第一图像都作为所述关键帧图像，减少了细节遗漏现象的出现，保证了后续视频分析的准确性。
9、监控摄像头对固定场景进行视频拍摄时，容易出现画面抖动等干扰因素，所述第二阈值除了用于判断当前场景中的所述运动对象的运动速度，还可以减少干扰因素导致的误差。
10、所述第三图像和所述第四图像可能由于环境因素产生误差，如光照变化、视频抖动等，所述第三阈值实现的技术效果为减少所述环境误差。
11、重新调度所述算力资源对每个所述第五图像进行特征识别，能够实现在相同的分析时间中，最大化所述算子资源的利用率，避免所述第二图像集中的元素个数小于最大值对应的所述算力资源产生闲置，将所有所述视频片段的视频分析时间从所述第二图像集中的元素个数的最大值缩短为所有所述第二图像集中的元素个数的平均值，通过动态调度所述算力资源提高了视频分析的速度。
12、所述第二数值与所述资源参数的比值可能不为整数，通过将所述比值向上取整后匹配对应的所述算力资源，由于向上取整的操作可能导致最后一个所述算力资源对应的所述第五图像集为空集，可以选择释放最后一个所述算力资源，避免所述算力资源的浪费。
13、通过背景重构的方式对被所述检测对象遮挡部分进行补充，截取与所述时间参数相邻的、在所述时间参数之前的一段时间对应的所述视频参数作为前置图像，根据前置图像进行背景建模，所有所述视频片段均以所述背景图像为标准对所述检测区域进行持续监测，对于同一个所述视频参数对应的所述视频片段仅需要进行一个背景重构操作，计算过程更加简单，分析的速度更快。
14、不同帧图像的干扰因素可能不同，例如光照，两帧图像与同一张所述背景图像进行对比时，由于光照强度导致的影响存在差异，可以采用根据所述背景图像与所述第三图像中除所述检测区域以外区域的灰度差值的均值对所述第五阈值设置权重，从而消除所述干扰因素对灰度差值的影响。
15、所述检测组中所述检测区域对应的权重参数根据所述检测对象经过所述检测区域时产生的不同顺序的权重差值，从而实现判断所述检测对象的运动方向。
16、当所述检测对象经过所述检测区域时，可以根据多个监控摄像头对应的视频中的所述检测区域之间的所述关联关系，获取所述检测对象可能出现的下一个所述视频参数，从而实现从多视频中对检测对象进行追踪。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例涉及的基于监控摄像头AI算法的并行加速流程图；
图2为本申请实施例涉及的分段处理的流程图；
图3为本申请实施例涉及的根据图片相似度获取关键帧的流程图；
图4为本申请实施例涉及的根据检测区域获取关键帧的流程图；
图5为本申请实施例涉及的检测区域的设置方法示意图；
图中标识：1-检测区域，2-关联关系，3-地理位置相邻的摄像头，4-检测组，5-双向通行道。
具体实施方式
本发明提供了基于监控摄像头AI算法的并行加速和动态调度实现方法，在针对稀疏需求的视频智能分析时，根据分析任务的类型按需动态调度AI算力和拟分析视频，根据所述时间参数对所述视频参数截取后进行针对性的视频截取得到第一视频，通过对所述第一视频进行分段处理的方式后，对拟分析视频进行并行的智能AI运算分析，对所述片段结果进行整合后得到所述拟分析视频对应的分析结果，降低分析速度对应用业务的影响的同时，极大地提高AI算力的利用效率，降低算力资源能耗，提高了分析速度，对于不满足用户需求的视频不再进行后续的视频分析操作，减少了视频分析的工作量。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
因此，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述并非旨在限制要求保护的本发明的范围，而是仅仅表示结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
参照附图1所示，本发明请求保护基于监控摄像头AI算法的并行加速和动态调度实现方法，包括：
获取分析任务对应的视频参数、时间参数和资源参数；
其中，所述视频参数为所述分析任务对应需要调度的视频，所述时间参数为所述分析任务对应的时间跨度，所述资源参数为可调度的算力资源的数量，所述算力资源为完成所述分析任务对应子任务需要的资源的最小集合，包括CPU资源、GPU资源、内存资源、硬盘资源和网络资源等。
需要说明的是，在实际应用场景中，所述分析任务可划分为若干个子任务，例如获取调用参数、调度所述算力资源、分析视频流图像、数据存储、数据处理等，所述子任务可能相同，也可能不同，多个所述子任务之间可能产生相互影响，可能相互独立，可为所述子任务分配进程和/或线程得到分析结果，将所述子任务的分析结果进行整合从而得到所述分析任务对应的最终分析结果。其中，所述进程和/或线程为本领域技术人员所公知的，本发明不作进一步限制，同时，所述算力资源的目的在于将所述分析任务分模块完成，通过将所述分析任务划分为若干个可以独立执行的所述子任务，使不存在相互关联的所述子任务能够并行执行，相较于直接执行所述分析任务而言，在保证分析结果相同的前提下，提高了分析速度。
根据所述时间参数对所述视频参数进行截取操作，得到第一视频；
需要说明的是，按需调用模式根据特定的稀疏需求，筛选出符合用户需求的所述视频参数和所述时间参数进行分析，根据所述时间参数对所述视频参数截取后进行针对性的视频分析，对于不满足用户需求的视频不再进行后续的视频分析操作，减少了视频分析的工作量。
计算所述时间参数与所述资源参数的比值，得到第一数值；
根据所述第一数值对所述第一视频进行分段处理，得到若干个视频片段；
调度所述资源参数对应的所述算力资源，同时对每个所述视频片段进行视频分析，得到对应的片段结果；
整合所有所述片段结果，得到所述视频参数对应的分析结果。
在本实施例中，多个所述片段结果之间不存在相互关联，具体地，某个所述视频片段对应的所述片段结果不会对其他所述视频片段对应的所述片段结果产生影响，例如，从特定的所述第一视频中检测是否存在所述检测对象，对所述第一视频进行分段处理后，其中某个所述视频片段是否存在所述检测对象，并不会影响时间相邻的下一个和上一个所述视频片段的判断结果，若所述视频片段存在所述检测对象，下一个所述视频片段对应的片段结果可能为存在所述检测对象，也可能为不存在所述检测对象，所有所述片段结果整合后才会对所述分析结果产生影响。对所述第一视频的视频分析操作重复度高，所有所述片段结果不会相互独立，将所述第一视频进行分段处理，同时对所述视频片段进行视频分析，所述分析结果由所有所述片段结果整合得到，通过并行加速的方式，缩短了视频分析的时间，提高了分析速度。同时，当所述分析任务为在指定的地理位置区域对所述检测对象的当前位置进行定位时，例如寻找走失人员，对所述第一视频分段后再同时进行视频检测，以所有所述片段结果中所述检测对象离开所述第一视频的最晚时间点作为下一个所述时间参数的起始时间点，避免将所述算力资源浪费在所述检测对象的重复运动路径的视频检测上，同时还减少了视频分析的工作量，加快了对所述检测对象的定位速度。
在一个可行的实施方式中，获取分析任务对应的所述视频参数、所述时间参数和所述资源参数之前，还包括获取所述分析任务对应的任务模式，所述任务模式为按照所述分析任务的类型匹配的资源集合，包括完成所述分析任务对应的解决步骤、算法集合和输入类型，不同的所述分析任务通过所述任务模式对应调用不同的所述解决步骤、所述算法集合和所述输入类型。
在本实施例中，不同的所述分析任务对应选择不同的所述任务模式，同时在完成所述分析任务过程中会涉及到大量需要使用的参数，例如输入参数、算法类型参数、各个算法的输入参数和输出参数等，所述任务模式可以作为功能模块，封装了完成所述分析任务对应的解决步骤、算法集合和输入参数类型。所述任务模式包括第一模式，所述第一模式对应的所述分析任务为对所述检测对象的轨迹进行跟踪，所述第一模式中封装了完成目标追踪所需要的解决步骤、算法集合和输入参数类型，例如目标检测算法用于对所述视频片段中的内容进行特征对比，可以选择SIFT算法进行目标跟踪，视频调度算法用于将多个所述第一视频进行调度以完成分析，片段拼接算法用于将检测到所述检测对象的视频流进行拼接得到所述检测对象的运动轨迹视频流等。
另外，所述任务模式还包括第二模式，所述第二模式为获取所述检测对象的数量，所述第二模式中封装了对检测目标进行计数所需要的解决步骤、算法集合和输入参数类型，例如分类算法用于对所述视频片段中的内容进行分类，并对特定种类的数量进行计数，可以选择YOLOv5算法进行目标识别和计数，计数合并算法用于将所有所述片段结果中的计数结果进行合并，得到整个所述第一视频中所述特定种类的总数。
需要说明的是，本申请不对分析任务对应的具体算法进行限制，不脱离本发明的精神和范围的技术方案及其改进，均仍属于本发明技术方案的保护范围之内。
在本实施方式中，通过所述任务模式将完成所述分析任务对应的解决步骤和算法集合进行封装，提高了视频分析与实际应用场景的适配程度，在进行视频分析的过程中仅调度指定的部分所述视频参数进行分析，避免对所有所述视频参数进行遍历，减小了视频分析的工作量，节约了计算能耗，同时还避免由于全面的遍历导致对所述片段结果整合的不良影响，例如实际应用场景中的监控摄像头拍摄的画质清晰度难以实现对所述检测对象的精准匹配，对所有监控视频进行特征匹配容易出现同时匹配到多个疑似目标，从而影响最终的检测结果。同时，所述任务模式将分析过程中的数据传递和算法调用进行了封装，降低了视频分析算法对操作人员的专业技术要求，使得操作更加简单。
在一个可行的实施方式中，参照附图2所示，所述根据所述第一数值对所述第一视频进行分段处理中，还包括：
获取所述分析任务对应的第一阈值，所述第一阈值为分段处理能够划分的最小时间长度；
对比所述第一数值和所述第一阈值，当所述第一数值大于所述第一阈值时，将所述第一数值作为单位长度，当所述第一数值不大于所述第一阈值时，以所述第一阈值为所述单位长度；
根据所述单位长度对所述第一视频进行分段处理，得到若干个所述视频片段。
在本实施例中，通过所述第一阈值对分段处理过程中的分段长度进行限制，在以一帧图像为视频分析的单位时，对所述第一视频的分段处理可以取一帧的长度作为所述第一阈值进行分段，当所述第一数值大于一帧时，当前可调用的所述算力资源数量不足以按照所述第一阈值对所述第一视频进行分析，以所述第一数值作为单位长度分段，当所述第一数值小于或等于一帧时，当前可调用的所述算力资源数量足以按照所述第一阈值对所述第一视频进行分析，以所述第一阈值作为单位长度分段后每一个所述算力资源仅对一帧图像进行识别和分析。同时，所述第一阈值的取值可以选择以一帧为单位长度，也可以选择一帧的整数倍作为单位长度，还可以按照时间进行划分，如一秒或一秒的整数倍作为单位长度，本申请不对所述第一阈值的取值方法做限制，所述第一阈值的目的在于根据当前可调用的所述算力资源的数量和后续视频分析任务的方法对所述算力资源进行动态分配和调度，例如，当对所述视频片段选择帧间差分法进行目标追踪时，由于帧间差分法的原理是根据连续两帧图像之间的像素差对所述检测对象进行定位，在进行所述视频片段分析时所述第一阈值的最小值为两帧图像，不能选择一帧图像为单位长度进行视频分析，当所述视频片段的分析通过对每帧图像进行图像分析，从而得到所述片段结果，则可以选择一帧图像为单位长度，根据视频分析的具体方法选择不同的并行加速方案，提高了并行加速的应用场景，在满足当前可调用的所述算力资源的数量的前提下加快视频分析的速度。
在一个可行的实施方式中，所述调度所述资源参数对应的所述算力资源，同时对每个所述视频片段进行视频分析中，还包括：
分别对所述视频片段进行分帧处理，得到若干个第一图像集；
分别获取每个所述第一图像集的关键帧，得到对应的第二图像集；
分别对所述第二图像集进行特征识别和提取，整合得到所述片段结果。
在本实施例中，视频分析相较于图像分析而言在时间上存在大量的冗余，即分帧处理后得到的所述第一图像集，按照时间顺序相邻两帧的图像之间的变化可能较小，可以通过从所述视频片段中提取关键帧的方式对所述视频片段采用舍弃部分变化较小的图像，从而将所述视频分析转化为图像分析。所述关键帧为所述视频片段中起决定性作用的帧图像，提取关键帧的方法可以采用帧间差分法，也可以选择聚类法，从所述视频片段中提取所述关键帧实现的技术效果是减少视频冗余，减少分析工作量，提高分析速度。
在一个可行的实施方式中，参照附图3所示，所述第一阈值的取值不小于两帧，所述关键帧的获取方法包括：
S1：将所述第一图像集中的第一帧图像作为第三图像，将所述第一图像集中的第二帧图像作为第四图像；
S2：计算所述第三图像和所述第四图像的相似率；
S3：将所述相似率和第二阈值进行对比，所述第二阈值为所述第二图像集中时间相邻的两帧图像之间预设的所述相似率最大值，当所述相似率不小于所述第二阈值时，取所述第四图像的下一帧图像作为所述第四图像，当所述相似率小于所述第二阈值时，将所述第三图像作为所述第二图像集的元素，以所述第四图像为所述第三图像，以所述第四图像的下一帧图像为所述第四图像；
S4：判断所述第四图像是否为所述第一图像集中的最后一帧图像，
若是，返回步骤S2，
若否，停止操作。
在本实施例中，对所述第一图像集中的所有元素按照时间顺序进行编号，记为P[i]，表示所述第一图像集中的第i个元素，根据如下操作，得到所述第二图像集，其中i1的初始值为1，i2的初始值为2，N为所述第一图像集中元素的数量：
S1：获取P[i1]和P[i2]；
S2：计算P[i1]和P[i2]的所述相似率；
S3：判断所述相似率是否不小于所述第二阈值，
若是，i1的取值不变，i2的取值加1，
若否，将P[i1]加入所述第二图像集，将i2的取值赋给i1后，i2的取值加1；
S4：判断i2是否小于或等于N，
若是，返回执行步骤S1，
若否，结束操作。
需要说明的是，根据所述第一图像集中元素之间的所述相似率进行所述关键帧的提取，由于监控摄像头在拍摄视频时是对固定场景进行记录，所述第一图像集中的背景部分可视作不变图像，所述第一图像集中的两个元素之间的所述相似率主要受到该场景下的运动对象的影响，当所述第一图像集中的两个元素的相似度高时，所述运动对象在运动速度相对较慢，选择其中一张所述第一图像作为所述关键帧图像，将另一张所述关键帧图像进行舍弃，当所述第一图像集中的两个元素的所述相似率低时，所述运动对象在运动速度较快，分别将两张所述第一图像都作为所述关键帧图像，根据所述运动对象的移动速度舍弃冗余图像，降低了视频的冗余度，减少了视频分析的工作量，同时减少了细节遗漏现象的出现，保证了后续视频分析的准确性。同时，监控摄像头对固定场景进行视频拍摄时，容易出现画面抖动等干扰因素，所述第二阈值除了用于判断当前场景中的所述运动对象的运动速度，还可以减少干扰因素导致的误差。
在一个可行的实施方式中，所述相似率的计算方法包括：
根据检测对象对所述第三图像进行特征识别和边缘提取，得到第一目标区域，根据所述检测对象对所述第四图像进行特征识别和边缘提取，得到第二目标区域；
将所述第四图像与所述第三图像中对应像素点进行帧间差分运算；
所述相似率的计算方法如下：
其中，A为所述第一目标区域的像素点数量，B为所述第二目标区域的像素点数量，C为所述帧间差分运算结果大于第三阈值的像素点数量，所述第三阈值为两帧图像之间的灰度补偿值。
在本实施例中，所述第一标记区域中的像素点集合记为L1，L1中元素的数量为A，所述第二标记区域中的像素点集合记为L2，L2中元素的数量为B，由于连续两帧图像之间变化可能较小，所以L1与L2之间可能存在元素重叠的部分，记为L1∩L2，表示L1和L2的交集，即当所述运动目标的移动速度较慢时，存在相同位置的像素点同时属于所述第一目标区域和所述第二目标区域，即L1∩L2的取值为C，L1∪L2表示L1和L2的并集，即L1∪L2的取值为A+B。L1∩L2中包含的像素点数量的计算方法通过所述帧间差分进行计算，取所述第四图像与所述第三图像对应像素点位灰度值的差值绝对值，将所述差值绝对值大于所述第三阈值的所有像素点数量即为L1∩L2的具体取值。可以通过卷积神经网络分别对所述第三图像和所述第四图像进行边缘提取，将提取到的所述第一目标区域和所述第二目标区域的像素点相加，得到L1∪L2的具体取值，所述相似率为L1∩L2与L1∪L2的一半计算比值，计算方法如下：
需要说明的是，所述检测对象在运动过程中被监控摄像头捕捉的动作等姿势等的不同，容易造成所述第一目标区域和所述第二目标区域包含的像素点数量可能存在差异，例如人物的正视图和左视图中包含的像素点数量一般不同，所述检测对象经过了小段位移距离后，当所述检测对象所述第一图像从正视图变为左视图，且满足L1∩L2=L2时，在计算所述相似率时选择B作为标准，此时的相似率为100%，表示所述第三图像和第四图像完全相同，但所述检测对象实际发生了位移，所述相似率与实际不符。采用所述第一目标区域和所述第二目标区域像素点数量的平均数作为标准进行衡量，可以使所述相似率更加贴合实际。同时，在实际应用场景中，所述第三图像和所述第四图像可能由于环境因素产生误差，如光照变化、视频抖动等，所述第三阈值实现的技术效果为减少所述环境误差。
在一个可行的实施方式中，所述分别对所述第二图像集进行特征识别和提取之前，还包括采用算力调度算法对所述算力资源的分配进行优化，所述算力调度算法的计算方法具体如下：
统计所有所述第二图像集中的元素总数，得到第二数值；
将所述第二数值与所述资源参数的比值向上取整后作为单位数量对所有所述第二图像集的元素进行重新划分，得到第五图像集；
将所述第五图像集作为所述第二图像集进行特征识别和提取。
在本实施例中，从不同的所述第一图像集中获取的关键帧数量不同，得到的所述第二图像集的数量也不同，将所述第二数值与所述资源参数的比值向上取整后作为单位数量对所有所述第二图像集的元素进行重新划分，使得所述第五图像集中的元素数量相同，重新调度所述算力资源对每个所述第五图像进行特征识别，在相同的分析时间中，最大化所述算子资源的利用率，避免所述第二图像集中的元素个数小于最大值对应的所述算力资源产生闲置，将所有所述视频片段的视频分析时间从所述第二图像集中的元素个数的最大值缩短为所有所述第二图像集中的元素个数的平均值，通过动态调度所述算力资源提高了视频分析的速度。另外，所述第二数值与所述资源参数的比值可能不为整数，通过将所述比值向上取整后匹配对应的所述算力资源，由于向上取整的操作可能导致最后一个所述算力资源对应的所述第五图像集为空集，可以选择释放最后一个所述算力资源，避免所述算力资源的浪费。
在一个可行的实施方式中，参照附图4所示，所述关键帧的获取方法还包括：
获取背景图像，所述背景图像为根据所述第一视频之前相邻时间段对应的视频进行背景建模操作后，不存在所述检测对象的图像；
获取所述第一图像集与所述背景图像在检测区域对应像素点的灰度值差值，得到第三数值；
其中，所述检测区域为在所述第一视频的视域中设置的虚拟图像区域，用于获取所述检测对象到达特定位置时的图像；
统计所述第三数值大于第四阈值时对应像素点的数量，所述第四阈值为第一图像和所述背景图像之间的灰度补偿值，其中，所述第一图像为所述第一图像集的元素，得到第四数值；
当所述第四数值大于第五阈值时，获取对应时间点对应的图像，得到所述第二图像集的元素，其中，所述第五阈值为所述第一图像中所述检测区域的灰度值变化阈值。
在本实施例中，所述检测区域为所述第一图像集中需要重点关注的图像区域，所述背景图像可以选择所述第一图像集中的一张图像，通过背景重构的方式对被所述检测对象遮挡部分进行补充，可以采用截取与所述时间参数相邻的、在所述时间参数之前的一段时间对应的所述视频参数作为前置图像，根据前置图像进行背景建模，得到所述背景图像，对所述第一图像集进行关键帧提取时，所有所述视频片段均以所述背景图像为标准进行持续监测，对于同一个所述视频参数对应的所述视频片段仅需要进行一个背景重构操作，计算过程更加简单，分析的速度更快。
需要说明的是，所述背景建模的方法可以选择中值法、均值法、卡尔曼滤波器模型或者单高斯模型等，本发明不对背景重构的具体方法进行限定，所述背景建模的目的在于持续监测预设的所述检测区域像素点灰度值的变化情况，根据变化情况判断所述检测对象是否达到所述检测区域。由于在所述视频片段中，更多的像素数据是支持背景分布的，同时，相较于所述运动对象而言，所述背景图像的变化更少，因此本实施例选择混合高斯模型进行背景建模，根据中心极限定理，将所述前值图像中的每一个像素点所呈现的颜色用K个高斯分布的加权平均表示，将像素点所呈现的颜色X认为是随机变量，像素点的概率分布模型P的表示方法如下：
其中，xj表示像素j在t时刻的灰度取值，如果像素为RGB三通道，则xj为向量，记为xj=[xjR，xjG，xjB]，表示t时刻第k个高斯分布的权重系数，η表示高斯分布概率密度函数，/>和/>表示t时刻第k个高斯分布的均值参数和协方差矩阵参数，η的具体计算方式为：
其中，n为高斯分布的维度，为协方差矩阵参数的逆，/>为样本点与均值参数的转置。
需要说明的是，参数、/>和/>是需要通过模型训练获取的，具体的，将所述前置图像的第一帧图像的每个像素点对应的K个高斯分布进行初始化，即第一个高斯分布的/>的取值为1，预设/>的取值设为像素j对应的xj，其他高斯分布对应的/>和/>赋值为0，将所有高斯分布的/>的预设取值设为固定的正值，将所述前置图像的其他帧图像对应的像素xj与其对应的高斯模型进行参数更新，具体方法如下：
将第t帧图像中的像素点对应灰度值xj分别与K个高斯模型均值进行比较，当小于/>时，所述像素点与第k个高斯模型匹配，所述像素点属于背景，Mkt的取值设为1，对/>和/>进行参数根据，具体更新方法如下：
，
，
其中，α为参数估计的学习速度，取，N为所述第一图像集中元素的数量。若所述像素点与K各高斯模型都不匹配，则将最小的/>对应的第k个高斯模型重新赋值，新建的高斯模型取所述像素点对应的xj为/>的取值，/>预设为固定的正值，/>的取值预设为α。当对所有的高斯模型完成训练后，对权重系数/>进行更新，更新方式如下：
其目的在于将匹配成功的高斯模型设置更大的权重系数，将匹配不成功的高斯模型设置更小的权重系数。更新完成的还需要进行归一化操作，使所有高斯模型的权重参数之和恒为1。按照/>的降序进行排序，选择前B个高斯模型作为背景模型，其目的在于使新建的高斯模型在更新了一次参数后才可能加入背景模型，保证了背景建模的稳定性，同时也具有背景适应环境变化的特点。
在本实施例中，根据训练得到的各个像素点对应的混合高斯模型，分别将每个所述视频片段输入所述混合高斯模型，所述混合高斯模型根据时间轴顺序输出所述第一图像集中对应的所述背景图像，在实际应用场景中，所述第四数值中可能包括干扰因素导致的像素差异和所述第三数值的计算误差导致的像素差异，其中干扰因素包括光照变化、视频画面抖动以及其他运动对象的干扰，如鸟等，通过预设所述第五阈值将两帧图像中由于干扰因素产生的灰度值变化进行过滤，当所述第四数值超过所述第五阈值时，表示所述检测对象到达指定区域，当帧图像即为所述第二图像。
需要说明的是，在实际应用场景中，不同帧图像的干扰因素可能不同，例如光照，两帧图像与同一张所述背景图像进行对比时，由于光照强度导致的影响存在差异，可以采用根据所述背景图像与所述第三图像中除所述检测区域以外区域的灰度差值的均值对所述第五阈值设置权重，从而消除所述干扰因素对灰度差值的影响。
在一个可行的实施方式中，参照附图5所示，所述检测区域的设置方法包括：
判断所述第一视频中的道路是否属于双向通行道，其中，所述双向通行道为允许同时出现两种移动方向的道路，当所述道路属于所述双向通行道时，在所述道路对应区域中设置检测组，所述检测组包括两个并列的所述检测区域，对同一个所述检测组中的两个所述检测区域设置大小不同的权重参数，当所述道路不属于所述双向通行道时，在所述道路对应区域中仅设置一个所述检测区域。
在本实施例中，将所述同一个所述检测组中的两个所述检测区域对应的权重参数分别记为a和b，将所述检测对象在所述检测组的行径flag的取值为a-b，若预设a的取值大于b，当所述检测对象先经过所述权重参数为a的所述检测区域时，flag的取值大于0，当所述检测对象先经过所述权重参数为a的所述检测区域时，flag的取值小于0，同样的，若预设a的取值小于b，当所述检测对象先经过所述权重参数为a的所述检测区域时，flag的取值小于0，当所述检测对象先经过所述权重参数为a的所述检测区域时，flag的取值大于0。因此，根据所述flag的取值可以判断所述检测对象经过所述检测组的方向，在实际应用场景中，可以适用于在双向通行道中对所述检测对象的数量进行计数，例如对景点进行人流量的实时统计。
在一个可行的实施方式中，参照附图5所示，所述检测区域的设置方法还包括：
所述检测区域和/或所述检测组设置在所述第一视频中所述道路的出口位置；
根据所述视频参数对应摄像头的地理位置关系，对所有所述检测区域建立关联关系，所述关联关系用于根据当前所述视频参数获取下一个需要进行分析任务的视频。
在本实施例中，将所述检测区域设置在当前所述视频参数的道路出口位置，所述出口位置为所述检测对象可能从当前视频的视域中消失的位置，根据所述视频参数对应摄像头的地理位置关系，将所有所述视频参数中的所述检测区域建立关联关系，当所述检测对象经过所述检测区域时，可以根据所述关联关系获取所述检测对象可能出现的下一个所述视频参数，从而实现从多视频中对检测对象进行追踪。
本领域内普通技术人员可以理解，上述方法中的全部或部分步骤中可通过计算机程序指令相关硬件完成，这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
本公开中使用了流程图用来说明通过本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时评价各种步骤。同时，也可以将其他操作添加到这些过程中。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上对所提供的基于监控摄像头AI算法的并行加速和动态调度实现方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的基于监控摄像头AI算法的并行加速和动态调度实现方法；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，包括：
获取分析任务对应的视频参数、时间参数和资源参数；
其中，所述视频参数为所述分析任务对应需要调度的视频，所述时间参数为所述分析任务对应的时间跨度，所述资源参数为可调度的算力资源的数量；
根据所述时间参数对所述视频参数进行截取操作，得到第一视频；
计算所述时间参数与所述资源参数的比值，得到第一数值；
根据所述第一数值对所述第一视频进行分段处理，得到若干个视频片段；
调度所述资源参数对应的所述算力资源，同时对每个所述视频片段进行视频分析，得到对应的片段结果；
整合所有所述片段结果，得到所述视频参数对应的分析结果；
所述根据所述第一数值对所述第一视频进行分段处理中，还包括：
获取所述分析任务对应的第一阈值，所述第一阈值为分段处理能够划分的最小时间长度；
对比所述第一数值和所述第一阈值，当所述第一数值大于所述第一阈值时，将所述第一数值作为单位长度，当所述第一数值不大于所述第一阈值时，以所述第一阈值为单位长度；
根据所述单位长度对所述第一视频进行分段处理，得到若干个所述视频片段。
2.根据权利要求1所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，获取分析任务对应的所述视频参数、所述时间参数和所述资源参数之前，还包括获取所述分析任务对应的任务模式，所述任务模式为按照所述分析任务的类型匹配的资源集合，包括完成所述分析任务对应的解决步骤、算法集合和输入类型，不同的所述分析任务通过所述任务模式对应调用不同的所述解决步骤、所述算法集合和所述输入类型。
3.根据权利要求1或2所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述调度所述资源参数对应的所述算力资源，同时对每个所述视频片段进行视频分析中，还包括：
分别对所述视频片段进行分帧处理，得到若干个第一图像集；
分别获取每个所述第一图像集的关键帧，得到对应的第二图像集；
分别对所述第二图像集进行特征识别和提取，整合得到所述片段结果。
4.根据权利要求3所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述第一阈值的取值不小于两帧，所述关键帧的获取方法包括：
S1：将所述第一图像集中的第一帧图像作为第三图像，将所述第一图像集中的第二帧图像作为第四图像；
S2：计算所述第三图像和所述第四图像的相似率；
S3：将所述相似率和第二阈值进行对比，所述第二阈值为所述第二图像集中时间相邻的两帧图像之间预设的所述相似率最大值，当所述相似率不小于所述第二阈值时，取所述第四图像的下一帧图像作为所述第四图像，当所述相似率小于所述第二阈值时，将所述第三图像作为所述第二图像集的元素，以所述第四图像为所述第三图像，以所述第四图像的下一帧图像为所述第四图像；
S4：判断所述第四图像是否为所述第一图像集中的最后一帧图像，
若是，返回步骤S2，
若否，停止操作。
5.根据权利要求4所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述相似率的计算方法包括：
根据检测对象对所述第三图像进行特征识别和边缘提取，得到第一目标区域，根据所述检测对象对所述第四图像进行特征识别和边缘提取，得到第二目标区域；
将所述第四图像与所述第三图像中对应像素点进行帧间差分运算；
所述相似率的计算方法如下：
；
其中，A为所述第一目标区域的像素点数量，B为所述第二目标区域的像素点数量，C为所述帧间差分运算结果大于第三阈值的像素点数量，所述第三阈值为两帧图像之间的灰度补偿值。
6.根据权利要求5所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述分别对所述第二图像集进行特征识别和提取之前，还包括采用算力调度算法对所述算力资源的分配进行优化，所述算力调度算法的计算方法具体如下：
统计所有所述第二图像集中的元素总数，得到第二数值；
将所述第二数值与所述资源参数的比值向上取整后作为单位数量对所有所述第二图像集的元素进行重新划分，得到第五图像集；
将所述第五图像集作为所述第二图像集进行特征识别和提取。
7.根据权利要求6所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述关键帧的获取方法还包括：
获取背景图像，所述背景图像为根据所述第一视频之前相邻时间段对应的视频进行背景建模操作后，不存在所述检测对象的图像；
获取所述第一图像集与所述背景图像在检测区域对应像素点的灰度值差值，得到第三数值；
其中，所述检测区域为在所述第一视频的视域中设置的虚拟图像区域，用于获取所述检测对象到达特定位置时的图像；
统计所述第三数值大于第四阈值时对应像素点的数量，所述第四阈值为第一图像和所述背景图像之间的灰度补偿值，其中，所述第一图像为所述第一图像集的元素，得到第四数值；
当所述第四数值大于第五阈值时，获取对应时间点对应的图像，得到所述第二图像集的元素，其中，所述第五阈值为所述第一图像中所述检测区域的灰度值变化阈值。
8.根据权利要求7所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述检测区域的设置方法包括：
判断所述第一视频中的道路是否属于双向通行道，其中，所述双向通行道为允许同时出现两种移动方向的道路，当所述道路属于所述双向通行道时，在所述道路对应区域中设置检测组，所述检测组包括两个并列的所述检测区域，对同一个所述检测组中的两个所述检测区域设置大小不同的权重参数，当所述道路不属于所述双向通行道时，在所述道路对应区域中仅设置一个所述检测区域。
9.根据权利要求8所述的基于监控摄像头AI算法的并行加速和动态调度实现方法，其特征在于，所述检测区域的设置方法还包括：
所述检测区域和/或所述检测组设置在所述第一视频中所述道路的出口位置；
根据所述视频参数对应摄像头的地理位置关系，对所有所述检测区域建立关联关系，所述关联关系用于根据当前所述视频参数获取下一个需要进行分析任务的视频。
CN202311126714.2A 2023-09-04 2023-09-04 基于监控摄像头ai算法的并行加速和动态调度实现方法 Active CN116863408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126714.2A CN116863408B (zh) 2023-09-04 2023-09-04 基于监控摄像头ai算法的并行加速和动态调度实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126714.2A CN116863408B (zh) 2023-09-04 2023-09-04 基于监控摄像头ai算法的并行加速和动态调度实现方法

Publications (2)

Publication Number Publication Date
CN116863408A CN116863408A (zh) 2023-10-10
CN116863408B true CN116863408B (zh) 2023-11-21

Family

ID=88219427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126714.2A Active CN116863408B (zh) 2023-09-04 2023-09-04 基于监控摄像头ai算法的并行加速和动态调度实现方法

Country Status (1)

Country Link
CN (1) CN116863408B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087144A (zh) * 2019-05-15 2019-08-02 深圳市商汤科技有限公司 视频文件处理方法、装置、电子设备和计算机存储介质
CN110677619A (zh) * 2019-08-20 2020-01-10 青岛萨纳斯智能科技股份有限公司 一种智能监控视频处理方法
CN114255432A (zh) * 2021-12-24 2022-03-29 中电信数智科技有限公司 视频流处理方法、装置、电子设备、存储介质及系统
CN114257794A (zh) * 2022-03-02 2022-03-29 英特灵达信息技术(深圳)有限公司 一种视频分析算力调度方法及系统
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统
CN114501037A (zh) * 2021-12-24 2022-05-13 泰华智慧产业集团股份有限公司 智慧杆场景下基于边云协同计算的视频分析方法及系统
CN115150473A (zh) * 2022-06-06 2022-10-04 杭州海康威视系统技术有限公司 一种资源调度方法、装置及存储介质
CN115220916A (zh) * 2022-07-19 2022-10-21 浙江通见科技有限公司 视频智能分析平台的自动算力调度方法、装置及系统
CN115328661A (zh) * 2022-09-09 2022-11-11 中诚华隆计算机技术有限公司 一种基于语音和图像特征的算力均衡执行方法及芯片
CN115578694A (zh) * 2022-11-18 2023-01-06 合肥英特灵达信息技术有限公司 一种视频分析算力调度方法、系统、电子设备及存储介质
CN115981799A (zh) * 2022-11-23 2023-04-18 重庆紫光华山智安科技有限公司 一种视频分析方法、系统、设备及介质
CN116225643A (zh) * 2022-12-26 2023-06-06 中国电信股份有限公司 基于共享资源的任务调度方法及装置、电子设备
CN116233256A (zh) * 2023-01-29 2023-06-06 浪潮通信技术有限公司 调度路径配置方法、装置、设备及存储介质
CN116567170A (zh) * 2023-06-06 2023-08-08 湖南马栏山视频先进技术研究院有限公司 一种云平台的视频超分辨率并行调度方法、装置及云平台
CN116627631A (zh) * 2023-04-19 2023-08-22 浪潮通信信息系统有限公司 资源调度方法、系统、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953039B2 (en) * 2011-07-01 2015-02-10 Utc Fire & Security Corporation System and method for auto-commissioning an intelligent video system
KR102150703B1 (ko) * 2014-08-14 2020-09-01 한화테크윈 주식회사 지능형 비디오 분석 시스템에서 비디오를 분석하는 방법 및 시스템

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087144A (zh) * 2019-05-15 2019-08-02 深圳市商汤科技有限公司 视频文件处理方法、装置、电子设备和计算机存储介质
CN110677619A (zh) * 2019-08-20 2020-01-10 青岛萨纳斯智能科技股份有限公司 一种智能监控视频处理方法
CN114255432A (zh) * 2021-12-24 2022-03-29 中电信数智科技有限公司 视频流处理方法、装置、电子设备、存储介质及系统
CN114501037A (zh) * 2021-12-24 2022-05-13 泰华智慧产业集团股份有限公司 智慧杆场景下基于边云协同计算的视频分析方法及系统
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统
CN114257794A (zh) * 2022-03-02 2022-03-29 英特灵达信息技术(深圳)有限公司 一种视频分析算力调度方法及系统
CN115150473A (zh) * 2022-06-06 2022-10-04 杭州海康威视系统技术有限公司 一种资源调度方法、装置及存储介质
CN115220916A (zh) * 2022-07-19 2022-10-21 浙江通见科技有限公司 视频智能分析平台的自动算力调度方法、装置及系统
CN115328661A (zh) * 2022-09-09 2022-11-11 中诚华隆计算机技术有限公司 一种基于语音和图像特征的算力均衡执行方法及芯片
CN115578694A (zh) * 2022-11-18 2023-01-06 合肥英特灵达信息技术有限公司 一种视频分析算力调度方法、系统、电子设备及存储介质
CN115981799A (zh) * 2022-11-23 2023-04-18 重庆紫光华山智安科技有限公司 一种视频分析方法、系统、设备及介质
CN116225643A (zh) * 2022-12-26 2023-06-06 中国电信股份有限公司 基于共享资源的任务调度方法及装置、电子设备
CN116233256A (zh) * 2023-01-29 2023-06-06 浪潮通信技术有限公司 调度路径配置方法、装置、设备及存储介质
CN116627631A (zh) * 2023-04-19 2023-08-22 浪潮通信信息系统有限公司 资源调度方法、系统、电子设备和存储介质
CN116567170A (zh) * 2023-06-06 2023-08-08 湖南马栏山视频先进技术研究院有限公司 一种云平台的视频超分辨率并行调度方法、装置及云平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AI+高速公路智慧视频监测系统;朴金旭;中国交通信息化;97-100 *
ESMO: Joint Frame Scheduling and Model Caching for Edge Video Analytics;Ting Li等;IEEE Transactions on Parallel and Distributed Systems;第34卷(第8期);2295 - 2310 *
基于边缘算力协同系统的视频智能分析任务动态调度方法;李成华等;电子与信息学报;1-11 *

Also Published As

Publication number Publication date
CN116863408A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
US9251425B2 (en) Object retrieval in video data using complementary detectors
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN104063883B (zh) 一种基于对象和关键帧相结合的监控视频摘要生成方法
US20190130165A1 (en) System and method for selecting a part of a video image for a face detection operation
CN108039044B (zh) 基于多尺度卷积神经网络的车辆智能排队的系统及方法
CN109657545B (zh) 一种基于多任务学习的行人检测方法
CN109063667B (zh) 一种基于场景的视频识别方式优化及推送方法
CN113553979B (zh) 一种基于改进yolo v5的安全服检测方法和系统
CN107659754B (zh) 一种树叶扰动情况下监控视频的有效浓缩方法
CN109583355B (zh) 一种基于边界选择的人流统计的装置和方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
TW201530443A (zh) 一種影片濃縮之系統及方法
Gnouma et al. Abnormal events’ detection in crowded scenes
CN109684986B (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
CN114463390A (zh) 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
CN102314591A (zh) 静止前景物体的检测方法和设备
CN106780544B (zh) 图像前景提取的方法和装置
CN116863408B (zh) 基于监控摄像头ai算法的并行加速和动态调度实现方法
CN110633641A (zh) 一种智能安防行人检测方法、系统、装置及存储介质
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
CN115690084A (zh) 一种基于改进yolov5的面向复杂场景的安全帽检测方法
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN113627383A (zh) 一种用于全景智能安防的行人徘徊重识别方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
Acevedo-Ávila et al. A statistical background modeling algorithm for real-time pixel classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant