CN117372934A - 一种视频分析处理的方法、系统、设备及存储介质 - Google Patents

一种视频分析处理的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN117372934A
CN117372934A CN202311665884.8A CN202311665884A CN117372934A CN 117372934 A CN117372934 A CN 117372934A CN 202311665884 A CN202311665884 A CN 202311665884A CN 117372934 A CN117372934 A CN 117372934A
Authority
CN
China
Prior art keywords
frame
target analysis
processing
real
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311665884.8A
Other languages
English (en)
Inventor
杨腾
李娜
邹刚
黄雕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Radio And Television Sichuan Network Co ltd
Original Assignee
China Radio And Television Sichuan Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Radio And Television Sichuan Network Co ltd filed Critical China Radio And Television Sichuan Network Co ltd
Priority to CN202311665884.8A priority Critical patent/CN117372934A/zh
Publication of CN117372934A publication Critical patent/CN117372934A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种视频分析处理的方法、系统、设备及存储介质，涉及计算机视觉领域。该方法包括：按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；利用目标分析算法对所述图像帧进行目标分析，得到目标分析结果；基于所述目标分析结果、及基于所述目标分析结果进行预先构建的抽帧频率调整机制，对所述第一抽帧频率进行频率调整，得到第二抽帧频率；基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。采用本发明的技术方案，能够在保证对视频分析处理的可靠性的基础上，有效的降低算力资源的消耗。

Description

一种视频分析处理的方法、系统、设备及存储介质
技术领域
本发明涉及计算机视觉领域，具体而言，涉及一种视频分析处理的方法、系统、设备及存储介质。
背景技术
在计算机视觉领域，经常需要对目标视频进行分析处理，例如对接入的摄像头视频进行对应的分析。在实际应用场景中，分为实时处理和非实时处理，所谓实时处理是对视频实时流进行逐帧分析处理，而非实时处理是按照预定的抽帧方式进行分析处理。
然而，经过发明人研究发现，在采用实时处理时，分析处理的硬件资源耗费大，而采用非实时处理虽然可以降低硬件资源消耗，但是又存在分析可靠性较低的情况。
发明内容
本发明的目的在于提供一种视频分析处理的方法、系统、设备及存储介质，其能够在保证对视频分析处理的可靠性的基础上，有效的降低算力资源的消耗。
本发明是这样实现的：
第一方面，本申请提供一种视频分析处理的方法，包括以下步骤：
按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果；基于上述目标分析结果、及基于上述目标分析结果进行预先构建的抽帧频率调整机制，对上述第一抽帧频率进行频率调整，得到第二抽帧频率；基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
第二方面，本申请提供一种视频分析处理的系统，包括实时处理模块和算法分析模块，上述实时处理模块用于接收实时码流数据，进行抽帧处理，得到对应的图像帧，并基于接收的上述算法分析模块对上述图像帧进行分析识别得到的目标分析结果，进行调整对实时码流数据的抽帧频率。
第三方面，本申请提供一种视频分析处理的系统，其包括：
视频抽帧模块，被配置为：按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；目标分析模块，被配置为：利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果；帧率调整模块，被配置为：基于上述目标分析结果、及基于上述目标分析结果进行预先构建的抽帧频率调整机制，对上述第一抽帧频率进行频率调整，得到第二抽帧频率；数据处理模块，被配置为：基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
进一步的，基于前述方案，还包括：
数据采集模块，被配置为：基于流媒体协议从摄像装置中获取实时码流数据，上述实时码流数据携带有上述摄像装置采集的目标场景的实时视频数据；数据解码模块，被配置为：基于上述实时码流数据的编码方式调用对应的解码器进行解码，得到解码后的实时视频数据。其中，视频抽帧模块，被配置为：按照预定的第一抽帧频率对解码后的实时视频数据进行抽帧处理，得到对应的图像帧。
进一步的，基于前述方案，上述抽帧频率调整机制包括：
响应于目标分析结果中不包括预定的目标分析对象，将上述第一抽帧频率调整为预定的非实时抽帧频率；或，响应于目标分析结果中包括预定的目标分析对象，将上述第一抽帧频率调整为预定的实时抽帧频率。
进一步的，基于前述方案，上述目标分析算法运行在硬件算力资源上，用以对分析上述图像帧中是否包括目标分析对象。
进一步的，基于前述方案，上述目标分析算法封装在Docker容器中，使用容器化部署的方式运行在硬件算力资源上。
进一步的，基于前述方案，上述利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果，包括：上述目标分析算法使用容器化部署的方式运行在GPU显卡上，将上述图像帧作为上述GPU显卡的输入，经过目标分析算法对上述图像帧进行目标分析，得到目标分析结果。
第四方面，本申请提供一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：上述处理器与上述存储器通过上述数据总线完成相互间的通信；上述存储器存储有被上述处理器执行的程序指令，上述处理器调用上述程序指令以执行如上述第一方面中任一项所述的方法。
第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项上述的方法。
相对于现有技术，本发明至少具有如下优点或有益效果：
在对实时视频数据进行分析处理之前，先按照预定的第一抽帧频率进行抽取图像帧，然后利用目标分析算法对图像帧进行目标分析，得到目标分析结果。接着就可以基于该目标分析结果进行构建抽帧频率调整机制，用以对第一抽帧频率进行调节，从而使用调节后的抽帧频率对该实施视频数据进行抽帧分析处理。通过实时和非实时相结合的思路，来实现对实时视频数据的智能分析，由于抽帧频率是跟目标分析结果相关的，而其通过对目标分析结果进行分析构建适配的抽帧频率调整机制，可以有效的调节抽帧的频率，保证抽帧频率合理有效（不会抽太快，也不会抽太慢），用以保证对视频分析处理的可靠性的基础上，有效的降低算力资源的消耗。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种视频分析处理的方法一实施例的流程图；
图2为本发明一种视频分析处理的方法另一实施例的流程图；
图3为本发明一种视频分析处理的系统一实施例的结构框图；
图4为本发明一种视频分析处理的系统又一实施例的结构框图；
图5为本发明实施例提供的一种电子设备的结构框图。
图标：1、实时处理模块；2、算法分析模块；3、视频抽帧模块；4、目标分析模块；5、帧率调整模块；6、数据处理模块；7、处理器；8、存储器；9、数据总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。另外，在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
实施例1
直接对摄像头等视频获取装置获取的视频逐帧进行分析处理，对算力资源的消耗较大，特别是在视频中大部分时间内都不包括需要检测的目标对象时，浪费的更加明显。当然，针对该视频，也可以仅仅抽取部分视频帧进行分析，但是其容易出现分析可靠性下降的问题（抽取的视频帧可能是无效的视频帧，并不具有可分析的有效数据）。
本申请实施例提供了一种视频分析处理的方法，其能够在保证对视频分析处理的可靠性的基础上，有效的降低算力资源的消耗。
请参阅图1，该一种视频分析处理的方法包括以下步骤：
步骤S101：按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧。
需要说明的是，其中实时视频数据可以是当前通过视频获取装置进行实时获取的视频数据，也可以是提前获取存储的视频数据，当然也可以是其他系统或装置传送过来的需要分析的视频数据。另外，对于第一抽帧帧率可以是动态的抽帧频率，或者是提前设定的多种不同抽帧频率。也可以是根据场景不同，而对第一抽帧频率进行不同场景下的抽帧频率设置。
示例性地，第一抽帧频率可以是随时间进行变化的不同抽帧频率，如在白天时间段的抽帧频率为1秒抽5帧，而晚上时间段的抽帧频率为5秒抽取一帧。亦或是，早上9点至12点的抽帧频率为1秒抽4帧，而下午12点至16点帧频率为1秒抽6帧，其他时间的抽帧频率为10秒抽1帧。需要说明的是，上述抽帧频率仅仅是为了便于理解，进行的示例，实际应用的时候，可以根据需要进行选择设置，此处并不对其进行限定。
步骤S102：利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果。从而，可以根据目标分析结果对第一抽样频率进行调整，进行更加匹配的抽样。其中，在本发明的一些实现方式中，上述目标分析算法运行在硬件算力资源上，用以对分析上述图像帧中是否包括目标分析对象。
具体地，对图像帧进行目标分析，是指进行分析图像帧是否包括需要分析处理的目标对象，例如，判断是否存在人、车等目标对象。从而，可以采用现有的R-CNN、SSD和YOLO等目标检测算法进行检测图像帧中是否包括需要分析处理的目标对象。
也可以是指分析图像帧中包括动态对象，即是否处于运动状态的对象，而不仅仅是单纯的判断图像帧中是否存在预定设定的目标对象种类，可以提升其判断的范围。示例性地，可以采用帧差法、背景减法和光流法等常见的视频运动目标检测算法，进行分析图像帧中是否存在运动对象。也就是说，目标分析算法可以根据实际情况需要，进行选择对应的算法即可，只要能够实现对图像帧进行目标分析，然后为构建以及执行抽帧频率调整机制提供依据即可，并不是仅仅是分析图像帧中是否存在特定目标对象，或者运动对象，也可以是其他的目标分析。例如，图像帧满足了特定了状态变化（图像变暗了、色彩变艳丽了、视频获取装置发生变化了等等）、图像帧中包括的时间变化（图像帧中携带的时间信息发生变化）等等。
在本发明的一些实现方式中，上述目标分析算法封装在Docker容器中，使用容器化部署的方式运行在硬件算力资源上。
容器化部署是指将软件代码和所需的组件（例如库、框架和其他依赖项）打包在一起，让它们隔离在自己的“容器”中。也就是说，将目标分析算法封装在Docker容器中后，可以将该容器移动到硬件算力资源上后，该目标分析算法即可在对应的硬件算力资源上进行运行使用，因为容器中包含了成功运行目标算法对应的应用所需的一起。从而，可以便于目标分析算法的安装部署，以及有效的利用硬件算力资源为目标分析算法提供算力资源。
示例性地，在本发明的一些实现方式中，上述利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果，包括：上述目标分析算法使用容器化部署的方式运行在GPU显卡上，将上述图像帧作为上述GPU显卡的输入，经过目标分析算法对上述图像帧进行目标分析，得到目标分析结果。
其中，调用目标分析算法以及运行在GPU显卡等硬件资源上的处理是由资源调度管理来实现。资源调度管理是对系统的GPU显卡等硬件资源以及目标分析算法对应的软件资源进行统一的调度管理。具体地，上述调度管理是指GPU显卡的内存、显存占用情况，以及剩余情况。调度管理还包括对目标分析算法对应的软件资源的管理，例如目标分析算法对应模型镜像启用路数情况。而上述目标分析是指在Docker容器中的目标分析算法对应的模型镜像运行在GPU显卡上，将图像帧作为GPU显卡的输入，经过上述目标分析算法进行运算推理，得到目标分析结果。
请继续参阅图1，步骤S103：基于上述目标分析结果、及基于上述目标分析结果进行预先构建的抽帧频率调整机制，对上述第一抽帧频率进行频率调整，得到第二抽帧频率；
步骤S104：基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。由于抽帧频率是跟目标分析结果相关的，从而通过对目标分析结果进行分析构建适配的抽帧频率调整机制，可以有效的调节抽帧的频率，保证抽帧频率合理有效（不会抽太快，也不会抽太慢），用以保证对视频分析处理的可靠性的基础上，有效的降低算力资源的消耗。
对于目标分析结果而言，其携带有根据需要对上述图像帧进行分析目标分析后的分析结果数据，可以用以构建不同的抽帧频率调整机制。例如，若该分析结果数据是表征上述图像帧是否包括预定的目标对象的数据，则可以基于是否包括该目标对象进行构建抽帧频率调整机制，用以在包括该目标对象的时候，将第一抽帧频率进行调高，而在不包括的时候，维持原状或进行调低。亦或是，该分析结果数据是表征上述图像帧是否包括运动对象的数据，则可以在包括该运动对象的时候，将第一抽帧频率进行调高，而在不包括的时候，维持原状或进行调低。更或者是，该分析结果数据是表征上述图像帧对应的视频获取装置是否发生变化的数据，则可以在视频获取装置发生变化的时候，将第一抽帧频率调整为与改变后的视频获取装置适配的第二抽帧频率。
需要说明的是，上述第一抽帧频率和第二抽帧频率，是用以区分原始的抽帧频率和经过抽帧频率调整机制进行调整后的抽帧频率。从而，第一抽帧频率和第二抽帧频率可能是不同的抽帧频率，也可能是相同的抽帧频率（未进行调整），具体如何变化，得看抽帧频率调整机制对原始的抽帧频率进行了如何的调整。
在本发明的一些实现方式中，在目标分析结果中仅仅是用以表征述图像帧是否包括预定的目标对象的数据，则上述抽帧频率调整机制包括：响应于目标分析结果中不包括预定的目标分析对象，将上述第一抽帧频率调整为预定的非实时抽帧频率；或，响应于目标分析结果中包括预定的目标分析对象，将上述第一抽帧频率调整为预定的实时抽帧频率。
需要说明的是，此处的非实时抽帧频率和实时抽帧频率，仅仅是用以区分对第一抽帧的进行不同的调整后的取值。所以，若一开始第一抽帧频率即和非实时抽帧频率或实时抽帧频率的某一种相等，则对应的调整处理即为不对第一抽帧频率进行调整。示例性地，非实时抽帧频率可以为10秒抽取1帧，实时抽帧频率可以为1秒抽取5帧。
如图2所示，在本发明的一些实现方式中，在按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧之前，还包括：
步骤S201：基于流媒体协议从摄像装置中获取实时码流数据，上述实时码流数据携带有上述摄像装置采集的目标场景的实时视频数据。示例性地，流媒体协议包括但不限于：RTSP、RTMP、ONVIF、GB28181协议。
步骤S202：基于上述实时码流数据的编码方式调用对应的解码器进行解码，得到解码后的实时视频数据。
上述按照预定的第一抽帧频率对实时视频数据进行抽帧处理，包括：按照预定的第一抽帧频率对解码后的实时视频数据进行抽帧处理。
其中，基于上述实时码流数据的编码方式调用对应的解码器进行解码时，具体包括：，若实时码流数据的编码方式是H.264就调用H.264解码器进行解码；若实时码流数据的编码方式是H.265解码器就调用H.265进行解码，依此类推。
实施例2
请参阅图3，本申请实施例提供了一种视频分析处理的系统，包括实时处理模块1和算法分析模块2，上述实时处理模块1用于接收实时码流数据，进行抽帧处理，得到对应的图像帧，并基于接收的上述算法分析模块2对上述图像帧进行分析识别得到的目标分析结果，进行调整对实时码流数据的抽帧频率。
在本发明的一些实现方式中，上述实时处理模块1包括流媒体接入单元、视频解码单元、抽帧单元、结果判定接收单元、帧率调节单元和图片推动单元，上述算法分析模块2包括图片接收单元、图片缓存单元、算法模型镜像单元、结果输出单元和结果判定单元。
其中，流媒体接入单元用于基于流媒体协议从摄像头中获取实施码流数据，上述流媒体协议包括但不限于：RTSP、RTMP、ONVIF、GB28181协议；上述实时码流数据具体是指摄像头采集的实际场景的实时视频数据。
上述视频解码单元用于对上述流媒体接入单元获取的上述实时视频数据进行解码处理。其中，解码是指根据实时视频的编码方式调用相应的解码器对实时视频数据进行解码。例如，若实时视频数据的编码方式是H.264就调用H.264解码器进行解码；若实时视频数据的编码方式是H.265解码器就调用H.265进行解码，依此类推。
上述抽帧单元用于对上述视频解码单元解码后得到的实时视频数据，进行抽帧处理，比如1秒抽取5帧或10秒抽取1帧。
上述结果判定接收单元用于接收上述算法分析模块的结果判定单元发送的目标分析结果判断，从而提供给上述帧率调节单元进行帧率调节。
上述帧率调节单元用于根据上述结果判定接收单元接收到的目标分析结果，调整上述抽帧单元的抽帧频率。例如调整为：没有发现目标分析对象时的抽帧频率，以及发现目标分析对象后的抽帧频率。上述没有发现目标分析对象时的抽帧频率又可以称为非实时抽帧频率；上述发现目标分析对象后的抽帧频率又可以称为实时抽帧频率。上述非实时抽帧频率、实时抽帧频率可以用户进行设置，也可以系统自动调节。示例性地，在实际应用中，非实时抽帧频率建议为10秒抽取1帧，实时抽帧频率建议为1秒抽取10帧。
需要说明的是，上述帧率调节单元调整上述抽帧单元的抽帧频率时，是基于目标分析结果进行构建不同的抽帧频率调整机制进行调节的。例如，若该分析结果数据是表征上述图像帧是否包括预定的目标对象的数据，则可以基于是否包括该目标对象进行构建抽帧频率调整机制，用以在包括该目标对象的时候，将第一抽帧频率进行调高，而在不包括的时候，维持原状或进行调低。亦或是，该分析结果数据是表征上述图像帧是否包括运动对象的数据，则可以在包括该运动对象的时候，将第一抽帧频率进行调高，而在不包括的时候，维持原状或进行调低。更或者是，该分析结果数据是表征上述图像帧对应的视频获取装置是否发生变化的数据，则可以在视频获取装置发生变化的时候，将第一抽帧频率调整为与改变后的视频获取装置适配的第二抽帧频率。
上述图片推送单元用于对上述抽帧单元抽取的图片推送给上述算法分析模块2进行目标分析。
上述图片接收单元用于接收上述实时处理模块1的图片推送单元推送的图像帧数据；上述图像帧数据可以是非实时的，也可以是实时的，具体实时处理模块1的抽帧单元的抽帧频率而定。
上述图片缓存单元用于对上述的图片接收单元接收的图像帧数据进行缓存，并逐帧提供给上述算法模型镜像单元进行目标分析。
上述算法模型镜像用于对上述图片缓存单元提供的图像帧数据进行目标分析。上述目标分析包括调用目标分析算法对应的模型，运行在GPU显卡等硬件算力资源上，从而实现对图像帧数据的目标分析。更具体的，上述算法模型镜像可以是封装在Docker容器中，使用容器化部署的方式。上述调用目标分析算法对应的模型以及运行在GPU显卡等硬件算力资源上的处理是由资源调度管理来实现。上述资源调度管理是对系统的GPU显卡硬件资源以及目标分析算法对应的模型的软件资源进行统一的调度管理。更进一步的，上述调度管理是指GPU显卡的内存、显存占用情况，以及剩余情况。上述调度管理还包括对算法模型资源的管理，例如算法模型镜像启用路数情况。上述的智能分析是指在Docker容器中的算法模型镜像运行在GPU显卡上，上述图片缓存单元提供的图片作为显卡的输入，经过上述算法模型镜像运算推理，得到目标分析结果。
上述结果输出单元用于输出上述算法模型镜像的目标分析结果，比如图片中是否存在人、车等。
上述结果判定单元用于对上述结果输出单元输出的智能分析结果进行判定，判定图片中是否存在目标；并且将判定的结果推送给算法分析模块2的结果判定接收单元。
请参阅图4，本申请实施例还提供了一种视频分析处理的系统，其包括：
视频抽帧模块3，被配置为：按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；目标分析模块4，被配置为：利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果；帧率调整模块5，被配置为：基于上述目标分析结果、及基于上述目标分析结果进行预先构建的抽帧频率调整机制，对上述第一抽帧频率进行频率调整，得到第二抽帧频率；数据处理模块6，被配置为：基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
上述系统具体实现过程请参照实施例1中提供的一种视频分析处理的方法，在此不再赘述。
实施例3
请参阅图5，本申请实施例提供了一种电子设备，该电子设备包括至少一个处理器7、至少一个存储器8和数据总线9；其中：处理器7与存储器8通过数据总线9完成相互间的通信；存储器8存储有可被处理器7执行的程序指令，处理器7调用程序指令以执行一种视频分析处理的方法。例如实现：
按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果；基于上述目标分析结果、及基于上述目标分析结果进行预先构建的抽帧频率调整机制，对上述第一抽帧频率进行频率调整，得到第二抽帧频率；基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
其中，存储器8可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。
处理器7可以是一种集成电路芯片，具有信号处理能力。该处理器7可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
实施例4
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器7执行时实现一种视频分析处理的方法。例如实现：
按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；利用目标分析算法对上述图像帧进行目标分析，得到目标分析结果；基于上述目标分析结果、及基于上述目标分析结果进行预先构建的抽帧频率调整机制，对上述第一抽帧频率进行频率调整，得到第二抽帧频率；基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种视频分析处理的方法，其特征在于，包括以下步骤：
按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；
利用目标分析算法对所述图像帧进行目标分析，得到目标分析结果；
基于所述目标分析结果、及基于所述目标分析结果进行预先构建的抽帧频率调整机制，对所述第一抽帧频率进行频率调整，得到第二抽帧频率；
基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
2.如权利要求1所述的一种视频分析处理的方法，其特征在于，在按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧之前，还包括：
基于流媒体协议从摄像装置中获取实时码流数据，所述实时码流数据携带有所述摄像装置采集的目标场景的实时视频数据；
基于所述实时码流数据的编码方式调用对应的解码器进行解码，得到解码后的实时视频数据；
所述按照预定的第一抽帧频率对实时视频数据进行抽帧处理，包括：按照预定的第一抽帧频率对解码后的实时视频数据进行抽帧处理。
3.如权利要求1所述的一种视频分析处理的方法，其特征在于，所述抽帧频率调整机制包括：
响应于目标分析结果中不包括预定的目标分析对象，将所述第一抽帧频率调整为预定的非实时抽帧频率；或，响应于目标分析结果中包括预定的目标分析对象，将所述第一抽帧频率调整为预定的实时抽帧频率。
4.如权利要求1所述的一种视频分析处理的方法，其特征在于，所述目标分析算法运行在硬件算力资源上，用以对分析所述图像帧中是否包括目标分析对象。
5.如权利要求4所述的一种视频分析处理的方法，其特征在于，所述目标分析算法封装在Docker容器中，使用容器化部署的方式运行在硬件算力资源上。
6.如权利要求4所述的一种视频分析处理的方法，其特征在于，所述利用目标分析算法对所述图像帧进行目标分析，得到目标分析结果，包括：
所述目标分析算法使用容器化部署的方式运行在GPU显卡上，将所述图像帧作为所述GPU显卡的输入，经过目标分析算法对所述图像帧进行目标分析，得到目标分析结果。
7.一种视频分析处理的系统， 其特征在于，包括：
视频抽帧模块，被配置为：按照预定的第一抽帧频率对实时视频数据进行抽帧处理，得到对应的图像帧；
目标分析模块，被配置为：利用目标分析算法对所述图像帧进行目标分析，得到目标分析结果；
帧率调整模块，被配置为：基于所述目标分析结果、及基于所述目标分析结果进行预先构建的抽帧频率调整机制，对所述第一抽帧频率进行频率调整，得到第二抽帧频率；
数据处理模块，被配置为：基于第二抽帧频率对实时视频数据进行抽帧处理，用以对抽帧处理得到的数据进行分析处理。
8.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202311665884.8A 2023-12-07 2023-12-07 一种视频分析处理的方法、系统、设备及存储介质 Pending CN117372934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311665884.8A CN117372934A (zh) 2023-12-07 2023-12-07 一种视频分析处理的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311665884.8A CN117372934A (zh) 2023-12-07 2023-12-07 一种视频分析处理的方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117372934A true CN117372934A (zh) 2024-01-09

Family

ID=89391371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311665884.8A Pending CN117372934A (zh) 2023-12-07 2023-12-07 一种视频分析处理的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117372934A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401813A1 (en) * 2019-06-21 2020-12-24 Gfycat, Inc. Adaptive content classification of a video content item
CN114679607A (zh) * 2022-03-22 2022-06-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
WO2022143688A1 (zh) * 2020-12-31 2022-07-07 百果园技术(新加坡)有限公司 视频抽帧处理方法、装置、设备及介质
CN115761571A (zh) * 2022-10-26 2023-03-07 北京百度网讯科技有限公司 基于视频的目标检索方法、装置、设备以及存储介质
CN116012762A (zh) * 2023-01-29 2023-04-25 山东鲁软数字科技有限公司 一种针对电力设备的交通路口视频影像分析方法及系统
CN116229307A (zh) * 2022-12-20 2023-06-06 东云睿连(武汉)计算技术有限公司 基于抽帧策略的目标识别方法、系统、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401813A1 (en) * 2019-06-21 2020-12-24 Gfycat, Inc. Adaptive content classification of a video content item
WO2022143688A1 (zh) * 2020-12-31 2022-07-07 百果园技术(新加坡)有限公司 视频抽帧处理方法、装置、设备及介质
CN114679607A (zh) * 2022-03-22 2022-06-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN115761571A (zh) * 2022-10-26 2023-03-07 北京百度网讯科技有限公司 基于视频的目标检索方法、装置、设备以及存储介质
CN116229307A (zh) * 2022-12-20 2023-06-06 东云睿连(武汉)计算技术有限公司 基于抽帧策略的目标识别方法、系统、设备及存储介质
CN116012762A (zh) * 2023-01-29 2023-04-25 山东鲁软数字科技有限公司 一种针对电力设备的交通路口视频影像分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王楠: "基于深度学习的UGC短视频质量评审系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, pages 138 - 1190 *

Similar Documents

Publication Publication Date Title
US10110913B2 (en) Motion estimation using hybrid video imaging system
US10769849B2 (en) Use of temporal motion vectors for 3D reconstruction
CN114401447B (zh) 一种视频卡顿预测方法、装置、设备和介质
US11847816B2 (en) Resource optimization based on video frame analysis
CN111598902B (zh) 图像分割方法、装置、电子设备及计算机可读介质
CN109120988B (zh) 解码方法、装置、电子设备以及存储介质
CN110166796B (zh) 视频帧的处理方法、装置、计算机可读介质及电子设备
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
US11562772B2 (en) Video processing method, electronic device, and storage medium
WO2023124428A1 (zh) 芯片、加速卡以及电子设备、数据处理方法
CN107770487B (zh) 一种特征提取并优选的方法、系统及终端设备
CN112040090A (zh) 视频流处理方法、装置、电子设备和存储介质
US20120005587A1 (en) Performing Remoting Operations For Different Regions Of A Display Surface At Different Rates
CN111783632A (zh) 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN117372934A (zh) 一种视频分析处理的方法、系统、设备及存储介质
CN111369591A (zh) 一种运动物体的跟踪方法、装置及设备
CN111405293A (zh) 一种视频传输方法及装置
CN112637538B (zh) 用于优化视频分析的智能标签方法、系统、介质及终端
CN111311603B (zh) 用于输出目标物体数目信息的方法和装置
CN112287803A (zh) 基于RoI编码的边缘协同目标检测方法及装置
CN117176962B (zh) 一种视频编解码方法、装置及相关设备
CN116996503B (zh) 一种桌面图像传输方法、系统、电子设备及介质
CN113283430B (zh) 目标检测的方法、装置、电子设备及计算机可读存储介质
CN114842414B (zh) 图像处理方法、装置、电子设备及存储介质
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20240109