CN114679607A - 一种视频帧率控制方法、装置、电子设备及存储介质 - Google Patents

一种视频帧率控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114679607A
CN114679607A CN202210283048.2A CN202210283048A CN114679607A CN 114679607 A CN114679607 A CN 114679607A CN 202210283048 A CN202210283048 A CN 202210283048A CN 114679607 A CN114679607 A CN 114679607A
Authority
CN
China
Prior art keywords
frame
frequency
data
video stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210283048.2A
Other languages
English (en)
Other versions
CN114679607B (zh
Inventor
曾卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202210283048.2A priority Critical patent/CN114679607B/zh
Publication of CN114679607A publication Critical patent/CN114679607A/zh
Priority to PCT/CN2022/143524 priority patent/WO2023179161A1/zh
Application granted granted Critical
Publication of CN114679607B publication Critical patent/CN114679607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频检测技术领域,尤其涉及一种视频帧率控制方法、装置、电子设备及存储介质,其中,视频帧率控制方法包括步骤:基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;对所述视频帧数据进行编码处理,生成图片编码数据;识别所述图片编码数据中包括的当前事件数据;根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率。本发明能够根据视频流的当前事件数据去调动算法动态的重新定义抽帧间隔时长,不仅可以降低低频的事件占用的资源,还可以去提高高频的事件的识别数,根据修改后得到的目标抽帧频率对后续的视频流进行抽帧,针对运用在不同场景下,能提升算法训练平台的算法识别率。

Description

一种视频帧率控制方法、装置、电子设备及存储介质
技术领域
本发明涉及视频检测技术领域,尤其涉及一种视频帧率控制方法、装置、电子设备及存储介质。
背景技术
视频结构化描述技术是指,通过对原始视频进行智能分析,提取出关键信息,并进行文本的语义描述,得到视频的结构化语义信息。通过视频结构化描述技术可以对视频数据进行目标分类识别、目标姿态识别、目标物体分割等。
现有技术中,主流的摄像头视频流服务抽帧方式都是默认多少秒抽帧一次或者手动去配置,且同一时间运用不同算法时一直在针对不同算法重复消耗资源。实际上,针对在不同的运用场景中时,视频流中的对象的状态是不同的,因此,使用固定的抽帧频率并不利于对象的识别。可见,在现有的视频抽帧中,存在差异性小、识别效率低的问题。
发明内容
本发明实施例提供一种视频帧率控制方法,旨在解决现有的视频帧率控制方法中存在差异性小、识别效率低的问题。
第一方面,本发明实施例提供一种视频帧率控制方法,所述方法包括以下步骤:
基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;
识别所述图片编码数据中包括的当前事件数据;
根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率。
第二方面,本发明实施例还提供一种视频帧率控制装置,包括:
抽帧模块,用于基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;
识别模块,用于识别所述图片编码数据中包括的当前事件数据;
修改模块,用于根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率。
第三方面,本发明实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的视频帧率控制方法中的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的视频帧率控制方法中的步骤。
在本发明实施例中,通过基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;对所述视频帧数据进行编码处理,生成图片编码数据;识别所述图片编码数据中包括的当前事件数据;根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率。所以,本发明实施例可以根据视频流的当前事件数据去调动算法动态的重新定义抽帧间隔时长,不仅可以降低低频的事件占用的资源,还可以去提高高频的事件的识别数,从而达到快速的获取算法素材,根据修改后得到的目标抽帧频率对后续的视频流进行抽帧,针对运用在不同场景下,能提升算法训练平台的算法识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供一种系统结构示意图;
图2是本发明实施例提供的一种视频帧率控制方法的流程图;
图3a是本发明实施例提供的另一种视频帧率控制方法的流程图;
图3b是本发明实施例提供的另一种视频帧率控制方法的流程图;
图3c是本发明实施例提供的另一种视频帧率控制方法的流程图;
图3d是本发明实施例提供的另一种视频帧率控制方法的流程图;
图4是本发明实施例提供的一种视频帧率控制装置的结构示意图;
图5是本发明实施例提供的修改模块的结构示意图;
图6是本发明实施例提供的另一种视频帧率控制装置的结构示意图;
图7是本发明实施例提供的另一种视频帧率控制装置的结构示意图;
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103可以为采集设备。终端设备101、102、103可以是具有视频采集功能的摄像头、客流相机等。摄像头又称为电脑相机、电脑眼、电子眼等,是一种视频输入设备,被广泛的运用于视频会议,远程医疗及实时监控等方面。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103采集到的视频流、图像信息提供支持的后台服务器。
需要说明的是,本申请实施例所提供的一种视频帧率控制方法一般由服务器执行,相应地,一种视频帧率控制装置一般设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
如图2所示,图2是本发明实施例提供的一种视频帧率控制方法的流程图,如图2所示,包括以下步骤:
S201、基于初始抽帧频率对视频流进行抽帧,得到视频帧数据。
其中,本实施例提供的一种视频帧率控制方法所运用的电子设备使用的场景包括但不限于城市治理,例如道路监测、人员识别、环境监测等。其中,上述视频流可以是通过采集设备采集得到,具体可以是在线实时采集到的视频,也可以是离线保存的视频。采集设备包括摄像头、客流相机等具有可以进行视频采集及图片保存、处理等功能的图像采集设备。在本实施例中,上述采集设备作为示例指摄像头。上述的视频流可以是指需要进行抽帧、解码、编码、识别分析等的视频流。视频流是指视频数据的传输,例如,视频流能够被作为一个稳定的和连续的流通过网络处理。
上述通过摄像头获取到视频流之后,可以对视频流进行视频抽帧,抽帧会得到上述的视频帧数据。具体的,每个视频在抽帧之前,都会先形成帧数。视频的帧数指在1秒钟时间里传输的图片的量,也可以理解为图形处理器每秒钟能够刷新几次,通常用fps(FramesPer Second)表示。上述视频抽帧就是在一段视频中,通过间隔一定帧抽取若干帧的方式,模拟每隔一段时间拍摄一张照片并接合起来形成视频的过程。起始可以预先设置摄像头的初始抽帧频率区控制抽帧,通过设置的初始抽帧频率去对视频流进行抽帧,同时还会进行缓存。将抽帧后的数据进行缓存可以针对同一个摄像头在同一时间调用多个算法时,不用每次都从视频流中去获取,直接从缓存中获取可以节省资源。
S202、对视频帧数据进行编码处理,生成图片编码数据。
具体的,对视频帧数据进行编码处理后便可以得到上述图片编码数据。上述图片编码数据可以是基于base64编码得到的数据。base64编码是将数据用64个可打印的字符进行编码的方式,任何数据底层实现都是二进制,所以都可以进行base64编码,base64编码主要用在数据传输过程中(编码、解码)。
S203、识别图片编码数据中包括的当前事件数据。
其中,可以通过调用算法仓,根据图片编码数据去算法仓中调取对应的算法进行识别,以获取图片编码数据中包括的当前事件数据。当前事件数据可以指对视频流进行分析后得到的结果,例如:视频流中包括的道路、道路上的人、车、道路的情况等。
S204、根据当前事件数据对初始抽帧频率进行初次修改,以确定对视频流进行抽帧的目标抽帧频率。
其中,初始抽帧频率也可以指摄像头上一次运用时的抽帧频率。上述当前事件数据中可以包括有具体的事件内容,事件内容可以包括识别目标、识别时间、识别地点、识别结果、识别时的抽帧频率等。根据事件内容可以调取对应的识别根据事件内容对初始抽帧频率进行修改,最终来确定合适的目标抽帧频率,来对初始抽帧频率进行修改调整,同时对每次修改的数据进行记录。例如:事件内容为道路破损检测,需要获取的图像帧的抽帧频率较小,则对应道路破损检测算法修改为每次获取图像帧的时间间隔可以更长,因道路破损检测长时间的图像一致,变化率低。当然,事件内容包括流动性大、变换程度高的数据时,对应的算法就会提高抽帧频率进行识别。再例如:当摄像头设置在商场、城市交通道路场景,在短时间内通过识别算法识别到有大量的人员出现在视频流中,或者有大量的车辆出现在视频流中,则可以提高初始抽帧频率。
在本发明实施例中,通过基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;对视频帧数据进行编码处理,生成图片编码数据;识别图片编码数据中包括的当前事件数据;根据当前事件数据对初始抽帧频率进行初次修改,以确定对视频流进行抽帧的目标抽帧频率。所以,本发明实施例可以根据视频流的当前事件数据去调动算法动态的重新定义抽帧间隔时长,不仅可以降低低频的事件占用的资源,还可以去提高高频的事件的识别数,从而达到快速的获取算法素材,根据修改后得到的目标抽帧频率对后续的视频流进行抽帧,针对运用在不同场景下,能提升算法训练平台的算法识别率。
如图3a所示,图3a是本发明实施例提供的另一种视频帧率控制方法的流程图,如图3所示,包括以下步骤:
S301、基于初始抽帧频率对视频流进行抽帧,得到视频帧数据。
S302、对视频帧数据进行编码处理,生成图片编码数据。
S303、识别图片编码数据中包括的当前事件数据。
S304、获取历史事件数据中的历史事件内容。
其中,上述历史事件数据可以包括摄像头在之前所获取的视频流的图像数据,每个图像数据匹配有对应的抽帧帧率。上述历史事件内容可以包括人员识别、道路识别、动物识别等等。
S305、计算事件内容与历史事件内容的匹配度。
其中,获取到当前的事件内容之后,为了便于修改对应的抽帧频率,可以将当前的事件内容与历史事件内容进行比较。历史事件数据量大,在进行识别比较时,可以优选判断当前的事件内容所属的事件类型,然后根据事件类型再去锁定历史事件数据中对应同类型的历史事件内容,然后再将当前的事件内容与同类型的历史事件内容进行逐一比较,筛选出匹配度最高的历史事件内容。
更具体的,事件内容以及历史事件内容对应有不同的识别算法,识别算法包含在算法仓中,针对不同识别物体可以对应不同的识别算法,例如:用于人员识别时可以包括人体关键点识别算法、人体特征识别算法等,用于道路车辆检测时可以包括车牌识别算法等。上述的事件类型可以包括但不限于人员识别、车辆识别、道路情况识别、动物识别等等。历史事件信息可以缓存在后台预设的缓存区中,当然,可以设置缓存时间,例如对1个月内的历史事件信息进行缓存。
S306、若匹配度满足匹配度阈值,则根据历史事件内容的抽帧频率对当前事件数据的初始抽帧频率进行修改,以确定对视频流进行抽帧的目标抽帧频率。
其中,筛选出匹配度最高的历史事件内容之后,可以与预设的匹配度阈值进行比较,若满足匹配度阈值,则可以基于匹配度最高的历史事件内容对应的抽帧频率对当前时间数据的初始抽帧频率进行修改,以确定对视频流进行抽帧的目标抽帧频率。这样,当再次遇到同类型的事件内容时,可以加快算法的识别速度以及准确率。
S308、若匹配度不满足匹配度阈值,则基于预设的抽帧频率进行修改,以确定对视频流进行抽帧的目标抽帧频率。
当然,若匹配度最高的历史事件内容的匹配度依然不满足匹配度阈值,可能说明同一摄像头还未识别过/识别数据较少,此时,可以基于预设的抽帧频率对初始抽帧频率进行修改。
作为另一种可能的实施例方式,结合图3b所示,图3b是本发明实施例提供的另一种视频帧率控制方法在的流程图,在上述步骤S305之后,还包括:
308、获取采集视频流的采集设备所在的环境参数。
其中,因采集设备(摄像头)设置的应用场景不同,所以摄像头的环境参数可指摄像头所应用的环境,包括:白天、夜晚、室内、室外、旅游景区、餐厅、学校、商场、车库等等。因此,可以获取采集视频流的摄像头所在的环境参数,结合环境参数进行初始帧率的修改。
309、根据事件内容与历史事件内容的匹配度,以及采集设备的环境参数,对视频流的初始抽帧频率进行再次修改,以确定对视频流进行抽帧的目标抽帧频率。
在获取到摄像头的环境参数后,可以结合摄像头的环境参数与上述得到的匹配度最高的历史事件内容的抽帧帧率对视频流的初始抽帧帧率再次进行修改。这样结合多个维度调整初始抽帧频率有利于后台提升算法的识别率,后续可进行更高效的识别。
作为另一种可能的实施例方式,结合图3c所示,本发明实施例提供的另一种视频帧率控制方法流程图,在上述步骤S305之后,还包括:
310、获取采集视频流的采集设备的内置性能参数。
其中,摄像头的内置性能参数可以指摄像头的自身参数。因设置在不同的环境中,因此对应摄像头的内置性能参数会进行一定程度的调节,且针对不同型号的摄像头对应的内置性能参数也不一致,例如:摄像头在白天、黑夜环境中的分辨率、视频中的亮度等,设置在有照明条件的车库时可以选择分辨率相对低一些的摄像头,用在商场时便可以选择一些高清摄像头。
311、根据事件内容与历史事件内容的匹配度,以及采集设备的内置性能参数,对视频流的初始抽帧频率进行再次修改,以确定对视频流进行抽帧的目标抽帧频率。
在获取到摄像头的内置性能参数后,可以结合摄像头的内置性能参数与上述得到的匹配度最高的历史事件内容的抽帧帧率对视频流的初始抽帧帧率再次进行修改。这样,结合多个维度调整初始抽帧频率有利于后台提升算法的识别率,后续可进行更高效的识别。
作为另一种可能的实施例方式,结合图3d所示,图3d为本发明实施例提供的另一种视频帧率控制方法的流程图。还可以是结合当前事件数据的事件内容与历史事件内容的匹配度、摄像头的内置性能参数、摄像头的环境参数同时对视频流的初始抽帧频率进行修改。通过将每个修改条件(匹配度、内置性能参数和环境参数)进行量化,分别对应上述每个条件匹配量化值,基于量化值通过对应算法的特性去修改初始抽帧频率。这样,结合更多维度的条件调整初始抽帧频率更有利于后台提升算法的识别率,后续可进行更高效的识别。
此外,还可结合算法的识别时间,如晚上运用动物识别算法对视频流中的动物识别时,提高对视频流的初始抽帧频率,白天运行与人员活动相关的算法时,提高对应视频流的初始抽帧频率。这样,能够实现针对活动量大的应用场景,提高对视频流的抽帧频率;活动量较小的应用场景,则可以降低对视频流的抽帧频率。
可选的,方法还包括:根据多次修改数据对目标抽帧频率进行再次调整。
当对初始抽帧频率进行多次修改后,每次的修改数据都会进行记录,可以给不同的修改参对照数(历史事件数据、环境参数、内置参数等)匹配一权重,同时还可以设置修改对照参数的优先级,结合修改对照参数的权重和/或优先级对目标抽帧频率再次进行调整后再作为最终的修改数据进行帧率修改。这样可以提高算法的识别准确率。
可选的,参考图3d所示,方法还包括:获取当前事件数据的事件类型与事件内容,基于当前事件数据的事件类型与事件内容调整采集设备的分辨率。
其中,可以根据对视频流的抽帧得到的当前时间数据,分析所对应的事件类型以及事件内容,例如:识别到当前摄像头c用于车牌识别,识别内容包括在晚上20点进行小区车辆进出管理,针对夜晚车牌识别时环境带来的影响可以增强摄像头c的分辨率,若同一摄像头c识别内容为在中午12点,则可以相对夜晚的将分辨率降低,因环境本身提供一定的亮度。
在本发明实施例中,通过根据当前事件数据的事件内容与历史事件内容进行比较获取匹配度最高的历史事件内容,将匹配度最高的历史事件内容的抽帧频率作为对当前事件数据的事件内容的修改数据,去调动算法动态的重新定义抽帧间隔时长,不仅可以降低低频的事件占用的资源,还可以去提高高频的事件的识别数,从而达到快速的获取算法素材,根据修改后得到的目标抽帧频率对后续的视频流进行抽帧,针对运用在不同场景下,能提升算法训练平台的算法识别率。其次,通过基于初始抽帧频率对视频流进行抽帧并缓存,可以针对同一个摄像头在同一时间调用多个算法时,不用每次都从视频流中去获取,直接从缓存中获取可以节省资源。此外,通过结合当前事件数据的事件内容与历史事件内容的匹配度、摄像头的环境参数和/或摄像头的内置参数对初始抽帧频率进行再次修改,结合了多个维度,通过多种方式都可以实现对初始抽帧频率的自动修改,通过对视频流的抽帧频率进行动态调整,可以针对运用在不同场景下,自动的降低低频重复的算法识别和提升高频的算法识别,极大的提升了算法训练平台的算法识别率。
如图4所示,图4是本发明实施例提供的一种视频帧率控制装置的模块结构图,如图4所示,装置包括:
抽帧模块401,用于基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;
编码模块402,用于对视频帧数据进行编码处理,生成图片编码数据;
识别模块403,用于识别图片编码数据中包括的当前事件数据;
修改模块404,用于根据当前事件数据对初始抽帧频率进行初次修改,以确定对视频流进行抽帧的目标抽帧频率。
可选的,当前事件数据包括事件内容,不同的事件内容对应不同的抽帧频率。如图5所示,图5是本发明实施例提供的修改模块的结构示意图。其中,抽帧模块修改模块404包括:
获取单元4041,用于获取历史事件数据中的历史事件内容;
识别单元4042,用于计算事件内容与历史事件内容的匹配度;
第一修改单元4043,用于若匹配度满足匹配度阈值,则根据历史事件内容的抽帧频率对当前事件数据的初始抽帧频率进行修改,以确定对视频流进行抽帧的目标抽帧频率;
第二修改单元4044,用于若匹配度不满足匹配度阈值,则基于预设的抽帧频率进行修改。
可选的,如图6所示,图6是本发明实施例提供的另一种视频帧率控制装置的结构示意图。装置400还包括:
第一获取模块405,用于获取采集视频流的采集设备所在的环境参数;
第一计算模块406,用于根据事件内容与历史事件内容的匹配度,以及采集设备的环境参数,对视频流的初始抽帧频率进行再次修改,以确定对视频流进行抽帧的目标抽帧频率。
可选的,如图7所示,图7是本发明实施例提供的另一种视频帧率控制装置的结构示意图。装置400还包括:
第二获取模块408,用于获取采集视频流的采集设备的内置性能参数;
第二计算模块408,用于根据事件内容与历史事件内容的匹配度,以及采集设备的内置性能参数,对视频流的初始抽帧频率进行再次修改,以确定对视频流进行抽帧的目标抽帧频率。
本发明实施例提供的视频帧率控制装置能够实现上述的视频帧率控制方法各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
如图8所示,图8为本发明实施例提供的一种电子设备的结构图。如图8所示,包括:处理器801、存储器802、网络接口803及存储在存储器802上并可在处理器801上运行的计算机程序,其中:
处理器801用于调用存储器802存储的计算机程序,执行如下步骤:
基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;
对视频帧数据进行编码处理,生成图片编码数据;
识别图片编码数据中包括的当前事件数据;
根据当前事件数据对初始抽帧频率进行初次修改,以确定对视频流进行抽帧的目标抽帧频率。
可选的,当前事件数据包括事件内容,不同的事件内容对应不同的抽帧频率,处理器801执行的根据当前事件数据对初始抽帧频率进行初次修改,以确定对视频流进行抽帧的目标抽帧频率,包括:
获取历史事件数据中的历史事件内容;
计算事件内容与历史事件内容的匹配度;
若匹配度满足匹配度阈值,则根据历史事件内容的抽帧频率对当前事件数据的初始抽帧频率进行修改,以确定对视频流进行抽帧的目标抽帧频率;
若匹配度不满足匹配度阈值,则基于预设的抽帧频率进行修改,以确定对视频流进行抽帧的目标抽帧频率。
可选的,处理器801执行的计算事件内容与历史事件内容的匹配度之后,还包括:
获取采集视频流的采集设备所在的环境参数;
根据事件内容与历史事件内容的匹配度,以及采集设备的环境参数,对视频流的初始抽帧频率进行再次修改,以确定对视频流进行抽帧的目标抽帧频率。
可选的,处理器801执行的计算事件内容与历史事件内容的匹配度之后,还包括:
获取采集视频流的采集设备的内置性能参数;
根据事件内容与历史事件内容的匹配度,以及采集设备的内置性能参数,对视频流的初始抽帧频率进行再次修改,以确定对视频流进行抽帧的目标抽帧频率。
可选的,处理器801还用于执行根据多次修改数据对目标抽帧频率进行再次调整。
可选的,处理器801还用于执行获取当前事件数据的事件类型与事件内容,基于当前事件数据的事件类型与事件内容调整采集设备的分辨率。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的视频帧率控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要指出的是,图中仅示出了具有组件的801-803,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
电子设备800可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备800可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器802至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器802可以是电子设备的内部存储单元,例如该电子设备的硬盘或内存。在另一些实施例中,存储器802也可以是电子设备的外部存储设备,例如该电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器802还可以既包括电子设备的内部存储单元也包括其外部存储设备。本实施例中,存储器802通常用于存储安装于电子设备的操作系统和各类应用软件,例如视频帧率控制方法的程序代码等。此外,存储器802还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器801在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器801通常用于控制电子设备的总体操作。本实施例中,处理器801用于运行存储器801中存储的程序代码或者处理数据,例如运行视频帧率控制方法的程序代码。
网络接口803可包括无线网络接口或有线网络接口,该网络接口803通常用于在电子设备800与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器801执行时实现本发明实施例提供的视频帧率控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现实施例视频帧率控制方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器802(Random AccessMemory,简称RAM)等。
本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种视频帧率控制方法,其特征在于,所述方法包括以下步骤:
基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;
对所述视频帧数据进行编码处理,生成图片编码数据;
识别所述图片编码数据中包括的当前事件数据;
根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率。
2.如权利要求1所述的方法,其特征在于,所述当前事件数据包括事件内容,不同的所述事件内容对应不同的抽帧频率,所述根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率,包括:
获取历史事件数据中的历史事件内容;
计算所述事件内容与所述历史事件内容的匹配度;
若所述匹配度满足匹配度阈值,则根据所述历史事件内容的抽帧频率对所述当前事件数据的初始抽帧频率进行修改,以确定对所述视频流进行抽帧的目标抽帧频率;
若所述匹配度不满足匹配度阈值,则基于预设的抽帧频率进行修改,以确定对所述视频流进行抽帧的目标抽帧频率。
3.如权利要求2所述的方法,其特征在于,所述计算所述事件内容与历史事件内容的匹配度之后,还包括:
获取采集所述视频流的采集设备所在的环境参数;
根据所述事件内容与所述历史事件内容的匹配度,以及所述采集设备的环境参数,对所述视频流的初始抽帧频率进行再次修改,以确定对所述视频流进行抽帧的所述目标抽帧频率。
4.如权利要求2所述的方法,其特征在于,所述计算所述事件内容与历史事件内容的匹配度之后,还包括:
获取采集所述视频流的采集设备的内置性能参数;
根据所述事件内容与所述历史事件内容的匹配度,以及所述采集设备的内置性能参数,对所述视频流的初始抽帧频率进行再次修改,以确定对所述视频流进行抽帧的所述目标抽帧频率。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据多次修改数据对所述目标抽帧频率进行再次调整。
6.如权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述当前事件数据的事件类型与事件内容,基于所述当前事件数据的事件类型与事件内容调整所述采集设备的分辨率。
7.一种视频帧率控制装置,其特征在于,包括:
抽帧模块,用于基于初始抽帧频率对视频流进行抽帧,得到视频帧数据;
编码模块,用于对所述视频帧数据进行编码处理,生成图片编码数据;
识别模块,用于识别所述图片编码数据中包括的当前事件数据;
修改模块,用于根据所述当前事件数据对所述初始抽帧频率进行初次修改,以确定对所述视频流进行抽帧的目标抽帧频率。
8.如权利要求7所述的装置,其特征在于,所述修改模块包括:
获取单元,用于获取历史事件数据中的历史事件内容;
识别单元,用于计算所述事件内容与历史事件内容的匹配度;
第一修改单元,用于若所述匹配度满足匹配度阈值,则根据所述历史事件内容的抽帧频率对所述当前事件数据的初始抽帧频率进行修改,以确定对所述视频流进行抽帧的目标抽帧频率;
第二修改单元,用于若所述匹配度不满足匹配度阈值,则基于预设的抽帧频率进行修改。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的一种视频帧率控制方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的一种视频帧率控制方法中的步骤。
CN202210283048.2A 2022-03-22 2022-03-22 一种视频帧率控制方法、装置、电子设备及存储介质 Active CN114679607B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210283048.2A CN114679607B (zh) 2022-03-22 2022-03-22 一种视频帧率控制方法、装置、电子设备及存储介质
PCT/CN2022/143524 WO2023179161A1 (zh) 2022-03-22 2022-12-29 一种视频帧率控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283048.2A CN114679607B (zh) 2022-03-22 2022-03-22 一种视频帧率控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114679607A true CN114679607A (zh) 2022-06-28
CN114679607B CN114679607B (zh) 2024-03-05

Family

ID=82075128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283048.2A Active CN114679607B (zh) 2022-03-22 2022-03-22 一种视频帧率控制方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114679607B (zh)
WO (1) WO2023179161A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761571A (zh) * 2022-10-26 2023-03-07 北京百度网讯科技有限公司 基于视频的目标检索方法、装置、设备以及存储介质
WO2023179161A1 (zh) * 2022-03-22 2023-09-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN117372934A (zh) * 2023-12-07 2024-01-09 中国广电四川网络股份有限公司 一种视频分析处理的方法、系统、设备及存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290644A1 (en) * 2008-05-20 2009-11-26 Broadcom Corporation Video processing system with layered video coding for fast channel change and methods for use therewith
US20110274155A1 (en) * 2010-05-07 2011-11-10 The Board Of Trustees Of The Leland Stanford Junior University Apparatus, system, and method for distributed video transcoding
US20160366475A1 (en) * 2014-04-22 2016-12-15 Tencent Technology (Shenzhen) Company Limited Method for controlling network media information publication, apparatus, and server
US20170180645A1 (en) * 2015-12-16 2017-06-22 Gopro, Inc. Dynamic Synchronization of Frame Rate to a Detected Cadence in a Time Lapse Image Sequence
CN107172354A (zh) * 2017-06-21 2017-09-15 深圳市万普拉斯科技有限公司 视频处理方法、装置、电子设备及存储介质
US20180041765A1 (en) * 2016-08-04 2018-02-08 Microsoft Technology Licensing, Llc Compact video representation for video event retrieval and recognition
CN107707931A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN108875538A (zh) * 2018-03-05 2018-11-23 北京旷视科技有限公司 属性检测方法、装置和系统及存储介质
CN110086985A (zh) * 2019-03-25 2019-08-02 华为技术有限公司 一种延时摄影的录制方法及电子设备
CN110505454A (zh) * 2019-08-29 2019-11-26 西安电子科技大学 基于场景模式与用户感知需求的视频供给系统与方法
CN111064924A (zh) * 2019-11-26 2020-04-24 天津易华录信息技术有限公司 一种基于人工智能的视频监控方法及系统
CN111523347A (zh) * 2019-02-01 2020-08-11 北京奇虎科技有限公司 图像侦测方法、装置、计算机设备及存储介质
CN112560723A (zh) * 2020-12-22 2021-03-26 中电海康集团有限公司 一种基于形态识别与速度估计的跌倒检测方法及系统
US20210142069A1 (en) * 2018-05-18 2021-05-13 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN113518256A (zh) * 2021-07-23 2021-10-19 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113542777A (zh) * 2020-12-25 2021-10-22 腾讯科技(深圳)有限公司 直播视频剪辑方法、装置及计算机设备
CN113573061A (zh) * 2020-04-29 2021-10-29 安徽华米健康科技有限公司 一种视频抽帧方法、装置及设备
CN113609956A (zh) * 2021-07-30 2021-11-05 北京百度网讯科技有限公司 训练方法、识别方法、装置、电子设备以及存储介质
EP3907652A1 (en) * 2020-05-08 2021-11-10 Kepler Vision Technologies B.V. Method for adapting the quality and/or frame rate of a live video stream based upon pose
US20210352207A1 (en) * 2020-05-08 2021-11-11 Kepler Vision Technologies B.V. Method for adapting the quality and/or frame rate of a live video stream based upon pose
CN113792622A (zh) * 2021-08-27 2021-12-14 深圳市商汤科技有限公司 帧率调整方法及装置、电子设备和存储介质
US20220059132A1 (en) * 2020-08-19 2022-02-24 Ambarella International Lp Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input
US20220078530A1 (en) * 2019-12-17 2022-03-10 Tencent Technology (Shenzhen) Company Limited Video labeling method and apparatus, device, and computer-readable storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373458B2 (en) * 2017-04-20 2019-08-06 Deep Sentinel Corp. Automatic threat detection based on video frame delta information in compressed video streams
CN113963307A (zh) * 2020-07-02 2022-01-21 上海际链网络科技有限公司 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备
CN112883782B (zh) * 2021-01-12 2023-03-24 上海肯汀通讯科技有限公司 投放行为识别方法、装置、设备及存储介质
CN113691721B (zh) * 2021-07-28 2023-07-18 浙江大华技术股份有限公司 一种缩时摄影视频的合成方法、装置、计算机设备和介质
CN114679607B (zh) * 2022-03-22 2024-03-05 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290644A1 (en) * 2008-05-20 2009-11-26 Broadcom Corporation Video processing system with layered video coding for fast channel change and methods for use therewith
US20110274155A1 (en) * 2010-05-07 2011-11-10 The Board Of Trustees Of The Leland Stanford Junior University Apparatus, system, and method for distributed video transcoding
US20160366475A1 (en) * 2014-04-22 2016-12-15 Tencent Technology (Shenzhen) Company Limited Method for controlling network media information publication, apparatus, and server
US20170180645A1 (en) * 2015-12-16 2017-06-22 Gopro, Inc. Dynamic Synchronization of Frame Rate to a Detected Cadence in a Time Lapse Image Sequence
US20180041765A1 (en) * 2016-08-04 2018-02-08 Microsoft Technology Licensing, Llc Compact video representation for video event retrieval and recognition
CN107707931A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN107172354A (zh) * 2017-06-21 2017-09-15 深圳市万普拉斯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN108875538A (zh) * 2018-03-05 2018-11-23 北京旷视科技有限公司 属性检测方法、装置和系统及存储介质
US20210142069A1 (en) * 2018-05-18 2021-05-13 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN111523347A (zh) * 2019-02-01 2020-08-11 北京奇虎科技有限公司 图像侦测方法、装置、计算机设备及存储介质
CN110086985A (zh) * 2019-03-25 2019-08-02 华为技术有限公司 一种延时摄影的录制方法及电子设备
CN110505454A (zh) * 2019-08-29 2019-11-26 西安电子科技大学 基于场景模式与用户感知需求的视频供给系统与方法
CN111064924A (zh) * 2019-11-26 2020-04-24 天津易华录信息技术有限公司 一种基于人工智能的视频监控方法及系统
US20220078530A1 (en) * 2019-12-17 2022-03-10 Tencent Technology (Shenzhen) Company Limited Video labeling method and apparatus, device, and computer-readable storage medium
CN113573061A (zh) * 2020-04-29 2021-10-29 安徽华米健康科技有限公司 一种视频抽帧方法、装置及设备
EP3907652A1 (en) * 2020-05-08 2021-11-10 Kepler Vision Technologies B.V. Method for adapting the quality and/or frame rate of a live video stream based upon pose
US20210352207A1 (en) * 2020-05-08 2021-11-11 Kepler Vision Technologies B.V. Method for adapting the quality and/or frame rate of a live video stream based upon pose
US20220059132A1 (en) * 2020-08-19 2022-02-24 Ambarella International Lp Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input
CN112560723A (zh) * 2020-12-22 2021-03-26 中电海康集团有限公司 一种基于形态识别与速度估计的跌倒检测方法及系统
CN113542777A (zh) * 2020-12-25 2021-10-22 腾讯科技(深圳)有限公司 直播视频剪辑方法、装置及计算机设备
CN113518256A (zh) * 2021-07-23 2021-10-19 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113609956A (zh) * 2021-07-30 2021-11-05 北京百度网讯科技有限公司 训练方法、识别方法、装置、电子设备以及存储介质
CN113792622A (zh) * 2021-08-27 2021-12-14 深圳市商汤科技有限公司 帧率调整方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
石念峰;侯小静;张平;孙西铭;: "姿态估计和跟踪结合的运动视频关键帧提取", 电视技术, no. 1 *
赵建国,周军,吕越峰: "一种基于滑动窗的自适应帧率控制策略", 电视技术, no. 12 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179161A1 (zh) * 2022-03-22 2023-09-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN115761571A (zh) * 2022-10-26 2023-03-07 北京百度网讯科技有限公司 基于视频的目标检索方法、装置、设备以及存储介质
CN117372934A (zh) * 2023-12-07 2024-01-09 中国广电四川网络股份有限公司 一种视频分析处理的方法、系统、设备及存储介质

Also Published As

Publication number Publication date
WO2023179161A1 (zh) 2023-09-28
CN114679607B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
KR102190483B1 (ko) Ai 기반의 영상 압축 및 복원 시스템
CN111479112B (zh) 一种视频编码方法、装置、设备和存储介质
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
WO2019237821A1 (zh) 虚拟场景的场景图像传输方法、装置、计算机设备及计算机可读存储介质
CN112565777B (zh) 基于深度学习模型视频数据传输方法、系统、介质及设备
CN111510680B (zh) 一种图像数据的处理方法、系统及存储介质
CN116347045B (zh) 基于通信及卫星技术的监控方法、装置、设备及存储介质
CN110991369A (zh) 图像数据处理方法及相关装置
CN106529497A (zh) 一种图像采集设备的定位方法及装置
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN113822110B (zh) 一种目标检测的方法和装置
CN113507611A (zh) 图像存储方法、装置、计算机设备和存储介质
US11095901B2 (en) Object manipulation video conference compression
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
KR102398788B1 (ko) 블록체인 기반 영상압축기술을 이용한 고화질 실시간 관제 서비스 제공 시스템
CN110697517A (zh) 基于小区的电梯控制方法、系统及存储介质
CN111541864B (zh) 一种数字视网膜软件定义摄像机方法及系统
CN108198160B (zh) 图像处理方法、装置、图像过滤方法、电子设备及介质
CN116052047B (zh) 运动物体检测方法及其相关设备
CN113259680B (zh) 视频流解码方法、装置、计算机设备和存储介质
Kim et al. ENTRO: Tackling the Encoding and Networking Trade-off in Offloaded Video Analytics
CN116996661B (zh) 三维视频展示方法、装置、设备及介质
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备
CN113365018B (zh) 一种周期调整方法、装置及设备
CN112019892A (zh) 客户端服务端分离的行为识别方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant