CN114143188B - 一种视频处理的方法、装置、电子设备及存储介质 - Google Patents
一种视频处理的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114143188B CN114143188B CN202111371316.8A CN202111371316A CN114143188B CN 114143188 B CN114143188 B CN 114143188B CN 202111371316 A CN202111371316 A CN 202111371316A CN 114143188 B CN114143188 B CN 114143188B
- Authority
- CN
- China
- Prior art keywords
- configuration information
- video
- decision
- determining
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例公开了一种视频处理的方法、装置、电子设备及存储介质。其中,该方法包括:根据当前决策分析窗口中初始决策分析窗口配置信息,确定初始决策分析窗口的视频分析准确率;判断视频分析准确率是否满足准确率稳定规则,若是,确定初始决策分析窗口配置信息为最优配置信息,并确定最优带宽需求;根据当前带宽和预设带宽需求范围,确定待筛选带宽需求,并确定候选配置信息;根据候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以目标配置信息对视频源端中目标决策应用窗口进行分析,目标决策应用窗口作为新当前决策分析窗口由视频源发送至服务器。
Description
技术领域
本发明实施例涉及计算机技术,尤其涉及一种视频处理的方法、装置、电子设备及存储介质。
背景技术
目标检测与识别等计算机视觉任务在视频分析中被广泛应用,视频分析任务通常需要持续不断地从视频源采集视频,并将采集到的视频传输到服务器执行视频分析算法。视频分析任务要求视频分析结果具有较高的准确率,所以需要消耗大量的网络带宽资源和计算资源。
现有技术中,视频源采集原始的视频帧,对预设批大小的图片组进行编码,将编码完成的视频片段传输到服务器端。服务器端对收到的视频片段进行解码并转换为视频帧,预设批大小的视频帧为视频分析算法的输入。这种方法在网络带宽变化和视频内容变化的情况下,视频分析性能较差,视频分析处理的准确率较低,网络带宽的消耗较大,影响视频处理的效率和精度。
发明内容
本发明实施例提供一种视频处理的方法、装置、电子设备及存储介质,以提高视频分析处理的效率和精度。
第一方面,本发明实施例提供了一种视频处理的方法,该方法包括:
接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息;
根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
第二方面,本发明实施例还提供了一种视频处理的装置,该装置包括:
初始视频分析准确率确定模块,用于接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
最优配置信息确定模块,用于判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
候选配置信息确定模块,用于获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息;
目标决策应用窗口确定模块,用于根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任意实施例所述的视频处理的方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的视频处理的方法。
本发明实施例接收视频源端发送的当前决策分析窗口,从当前决策分析窗口中获取预设大小的初始决策分析窗口。根据初始决策分析窗口的配置信息,确定初始决策分析窗口的初始视频分析准确率。判断初始视频分析准确率是否满足预设的准确率稳定规则,若是,则将初始决策分析窗口中视频段的配置信息确定为最优配置信息,并确定最优配置信息对应的最优带宽需求。根据预设带宽需求范围,以当前实际的带宽为基准,确定多个待筛选带宽需求,将待筛选带宽需求中的最优配置信息和最优带宽需求确定为候选配置信息和候选带宽需求。根据深度强化学习模型和候选配置信息,得到目标决策应用窗口大小和目标配置信息。采用目标配置信息对目标决策应用窗口进行处理,且服务器端将目标决策应用窗口作为新的当前决策分析窗口,以实现通过不同批大小和不同配置信息对视频进行处理。解决了现有技术中,对固定批大小的视频帧进行处理的问题,满足网络带宽变化和视频内容变化情况下的视频处理需求,使批大小符合当前的网络变化情况,提高配置信息的自适应决策质量,减小网络带宽的消耗,提高视频处理的效率和精度。
附图说明
图1是本发明实施例一中的一种视频处理的方法的流程示意图;
图2是本发明实施例二中的一种视频处理的方法的流程示意图;
图3是本发明实施例三中的一种视频处理的装置的结构框图;
图4是本发明实施例四中的一种视频处理的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种视频处理的方法的流程示意图,本实施例可适用于对视频进行实时分析处理的情况,该方法可以由配置于服务器端的视频处理的方法来执行。如图1所示,该方法具体包括如下步骤:
步骤110、接收视频源端发送的当前决策分析窗口,根据当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定初始决策分析窗口的至少一个初始视频分析准确率。
其中,视频源端为采集视频内容的一侧,例如,可以是摄像头端。视频源端可以实时采集环境的视频内容,根据服务器端给出的传输配置自适应决策,对不同批大小的视频段进行编码,将编码完成的视频段传输到服务器端。服务器端对收到的视频段进行解码并转换为视频帧,根据不同批大小的视频段确定后一批视频段的自适应决策。传输配置可以包括帧率、分辨率和帧区域等配置信息,自适应决策是对配置信息进行自适应的确定,即,通过不同的配置信息对不同批大小的视频段进行分析处理,一个视频段的窗口可以有多组配置信息,一组配置信息中可以包括帧率、分辨率和帧区域等。
视频源端可以将当前采集的视频段实时传送给服务器端,由服务器端确定对后面的视频段进行配置的传输配置自适应决策。视频源端向服务器端传输的视频段为决策分析窗口,初始化决策分析窗口大小,即初始化视频源端第一次向服务器端传输的决策分析窗口的大小。服务器端接收视频源端传输的决策分析窗口作为当前决策分析窗口,第一次接收的当前决策分析窗口的视频段的配置信息为预先设置,第二次及以后接收的当前决策分析窗口的视频段配置信息为服务器在接收当前决策分析窗口之前自适应确定。即,服务器在接收到当前决策分析窗口后可以直接得到当前决策分析窗口的视频段配置信息。可以预先设置一个初始决策分析窗口,初始决策分析窗口的大小要小于当前决策分析窗口的大小。在得到当前决策分析窗口后,可以根据预设的初始决策分析窗口的大小,从当前决策分析窗口中获取初始决策分析窗口。初始决策分析窗口的视频段配置信息预先确定,根据初始决策分析窗口的多组视频段配置信息,基于预设的视频分析算法,对初始决策分析窗口中的视频帧进行分析,确定初始决策分析窗口的多个初始视频分析准确率,即,确定是否将初始决策分析窗口中的对象全部分析出来,一组配置信息对应一个视频分析准确率。
本实施例中,可选的,根据当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定初始决策分析窗口的至少一个初始视频分析准确率,包括:获取视频源端中未转码的初始决策分析窗口的视频分析结果,作为标准分析结果;根据预设的视频转码算法和初始决策分析窗口的至少一组配置信息,对未转码的初始决策分析窗口大小的视频段进行转码,得到至少一个待分析视频段;根据预设的视频分析算法,对待分析视频段进行视频分析,得到实际分析结果;对比标准分析结果和实际分析结果,得到初始决策分析窗口的至少一个初始视频分析准确率。
具体的,为了得到初始决策分析窗口下应用配置信息对应的视频分析准确率,具体步骤可以包括:给定视频传输的配置信息和视频传输与处理的批大小,视频传输配置信息可以包含帧率、分辨率和帧区域等,给定的视频传输与处理的批大小为待分析的决策分析窗口的大小。例如,可以是初始决策分析窗口的大小。对视频源端所采集的原始视频片段,根据视频传输配置信息使用FFmpeg等预设的视频转码算法进行转码,FFmpeg是一套可以用来记录、转换数字音频视频,并能将其转化为流的开源计算机程序。所进行转码的原始视频片段与初始决策分析窗口中的视频段的内容一致,即,原始视频片段为未转码的初始决策分析窗口大小的视频段。转码完成后的视频段转换为了成批的视频帧,即,决策分析窗口中的待分析视频段。不同的配置信息可以转化成不同的待分析视频段,待分析视频段的视频内容一致,但表现形式可以不同,例如,待分析视频段的清晰度可以不同。根据预设的视频分析算法对各个待分析视频段进行视频分析,得到实际分析结果。为了量化每种视频传输配置信息对视频分析准确率的影响,对未转码的原始视频片段也进行视频分析,得到标准分析结果。以标准分析结果为基准,对比标准分析结果和各个实际分析结果,得到标准分析结果和实际分析结果的偏差程度,以偏差程度作为对比结果,根据对比结果,得到多个初始视频分析准确率。视频的分析结果可以表示为,采用矩形框对视频帧中的对象进行框选,对比结果可以表示为标准分析结果和实际分析结果中矩形框的位置是否一致。这样设置的有益效果在于,通过以标准分析结果为基准,可以提高初始视频分析准确率的确定精度,从而提高后续确定最优配置信息的精度,有利于实现配置信息的自适应决策。
在确定标准分析结果和实际分析结果的对比结果时,定义TP(True Positive,真阳性)、FP(False Positive,假阳性)、TN(True Negative,真阴性)和FN(False Negative,假阴性)。TP代表转码后识别到的目标在原始视频段中识别到的数量,FP代表识别到的目标未在原始视频段中识别到的数量,TN代表未识别到的目标且未在原始视频段中识别到的数量,FN代表未识别到的目标在原始视频段中识别到的数量。根据TP、FP、TN和FN,计算出在当前的视频传输配置信息下视频分析的精确率和召回率。计算公式如下所示:
其中,Precision表示精确率,Recall表示召回率。在本实施例中,为了协调精确率和召回率的关系,定义F1作为视频分析准确率的最终结果,F1的计算公式为:
步骤120、判断初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据最优配置信息确定最优带宽需求。
其中,预先设置一个准确率稳定规则,例如,准确率稳定规则可以设置为视频分析准确率阈值。在得到初始视频分析准确率后,可以将初始视频分析准确率与准确率稳定规则比较,判断初始视频分析准确率是否满足预设的准确率稳定规则。若满足,则确定初始决策分析窗口中视频段的配置信息为最优配置信息。一个决策分析窗口的最优配置信息可以有多组,最优配置信息的组数小于或等于该决策分析窗口的配置信息的组数。根据预设的带宽计算公式,确定最优配置信息下的带宽需求,作为最优带宽需求。
本实施例中,可选的,判断初始视频分析准确率是否满足预设的准确率稳定规则,包括:根据预设的决策分析窗口大小递增规则对初始决策分析窗口的大小进行调整,得到第一决策分析窗口;根据第一决策分析窗口的至少一组配置信息,确定第一决策分析窗口的至少一个第一视频分析准确率;比较初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息;根据比较结果判断初始视频分析准确率是否满足预设的准确率稳定规则。
具体的,预先设置决策分析窗口大小递增规则,在得到初始视频分析准确率后,根据决策分析窗口大小递增规则,对初始决策分析窗口的大小进行调整,得到第一决策分析窗口,第一决策分析窗口的大小仍然小于当前决策分析窗口的大小。决策分析窗口大小递增规则可以是以预设的增长粒度增加初始决策分析窗口的大小,得到第一决策分析窗口。例如,初始决策分析窗口为1秒的视频段,增长粒度可以设为1秒,则第一决策分析窗口为2秒的视频段。获取调整后第一决策分析窗口的配置信息,本实施例中,在得到当前决策分析窗口后,可以得到当前决策分析窗口下各个窗口大小的配置信息。根据第一决策分析窗口多个配置信息,确定第一决策分析窗口的多个视频分析准确率,作为第一视频分析准确率。第一视频分析准确率的确定方法可以与初始视频分析准确率方法一致,即,确定第一决策分析窗口对应的未转码的原始视频片段的标准分析结果,以及确定转码后第一决策分析窗口的待分析视频段的实际分析结果,对比标准分析结果和实际分析结果,得到第一决策分析窗口的第一视频分析准确率。在得到第一视频分析准确率后,比较初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息,根据预设的准确率稳定规则,确定初始视频分析准确率满足该规则。例如,可以将初始视频分析准确率中最大值对应的配置信息与第一视频分析准确率中最大值对应的配置信息进行比较,判断是否是同样的配置信息。若是,则确定在该配置信息下,视频分析的准确率最高,初始视频分析准确率满足预设的准确率稳定规则,即,初始决策分析窗口中的该配置信息为最优配置信息。
这样设置的有益效果在于,可以在当前决策分析窗口下,应用不同的视频传输配置信息确定不同批大小的视频段的视频分析准确率,从而找到高准确率所对应的配置信息,有利于确定下一批视频段的目标配置信息,从而根据目标配置信息对下一批视频段进行处理分析,提高视频处理的效率。
本实施例中,可选的,比较初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息,根据比较结果确定初始视频分析准确率是否满足预设的准确率稳定规则,包括:对初始视频分析准确率进行大小排序,以及对第一视频分析准确率进行大小排序;若预设排位内的初始视频分析准确率与第一视频分析准确率所对应的配置信息一致,则确定初始视频分析准确率满足预设的准确率稳定规则。
具体的,准确率稳定规则可以是当前确定的决策分析窗口的前K个视频分析准确率与前一个决策分析窗口的前K个视频分析准确率所对应的配置信息一致。例如,可以是当前确定的决策分析窗口的前3个视频分析准确率与前一个决策分析窗口的前3个视频分析准确率所对应的配置信息依次一致。若当前决策分析窗口的前K个视频分析准确率与前一个决策分析窗口的前K个视频分析准确率所对应的配置信息一致,则确定当前确定的决策分析窗口的前K个视频分析准确率所对应的配置信息为最优配置信息,也就是前一个决策分析窗口的前K个视频分析准确率所对应的配置信息为最优配置信息。本实施例中,对初始视频分析准确率进行由大至小的排序,以及对第一视频分析准确率进行由大至小的排序。将排在前K个初始视频分析准确率的配置信息与前K个第一视频分析准确率的配置信息进行比较,若相同排位的视频分析准确率对应的配置信息没有变化,则确定初始视频分析准确率满足预设的准确率稳定规则。例如,K为2,初始决策分析窗口的前2个视频分析准确率分别为98%和97%,对应的配置信息分别为30帧1080P和30帧710P;第一决策分析窗口的前2个视频分析准确率分别为96%和95%,对应的配置信息分别为30帧1080P和30帧710P。即,排在前两位的视频分析准确率对应的配置信息没有变化,初始决策分析窗口的初始视频分析准确率满足预设的准确率稳定规则。若前K个初始视频分析准确率的配置信息与第一视频分析准确率的配置信息不同,则确定初始视频分析准确率不满足预设的准确率稳定规则。若初始视频分析准确率满足预设的准确率稳定规则,则不在当前决策分析窗口下生成新的第二决策分析窗口,将初始决策分析窗口的前K组配置信息作为整个当前决策分析窗口的最优配置信息,并根据最优配置信息计算出对应的最优带宽需求。
这样设置的有益效果在于,可以快速确定是否能够确定当前决策分析窗口的最优配置信息。在初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息一致时,确定相同配置信息下视频分析准确率的排位高低稳定不变,减少对当前决策分析窗口下的递增计算,提高计算效率和视频处理效率。且所找到的配置信息为当前的最优配置信息,有利于根据最优配置信息确定后续批视频段的目标配置信息。
步骤130、获取当前带宽,根据当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息。
其中,获取当前实际的带宽作为当前带宽,预先设置一个带宽需求范围,例如,带宽需求范围可以是以当前实际的带宽为中心,左右两侧各200kb/s的范围。若当前带宽为200kb/s,则待筛选带宽需求在0至400kb/s的范围内。可以预设待筛选带宽需求的确定条件,例如,待筛选带宽需求为100的整数倍,则可以确定待筛选带宽需求为0、100、200、300和400kb/s。判断最优带宽需求是否存在于待筛选带宽需求中,若是,则将待筛选带宽需求中的最优带宽需求确定为候选带宽需求,不在待筛选带宽需求中的最优带宽需求可以舍弃。候选带宽需求对应的候选配置信息即为最优带宽需求对应的最优配置信息。
本实施例中,可选的,在根据最优配置信息确定最优带宽需求之后,还包括:确定最优配置信息对应的视频分析准确率和最优带宽需求;根据预设的最优配置信息筛选规则,从最优配置信息中确定更优配置信息。
具体的,在确定最优带宽需求后,可以先对最优带宽需求和最优配置信息进行一次初步筛选。预先设置最优配置信息筛选规则,最优配置信息筛选规则可以是筛选掉带宽需求大且视频分析准确率低的最优配置。例如,最优配置信息有两个,分别为30帧710P和30帧1080P,对应的视频分析准确率分别为90%和70%,对应的最优带宽需求分别为200kb/s和500kb/s,则可以将30帧1080P的最优配置信息舍弃,30帧710P的最优配置信息为更优配置信息。在确定候选配置信息时,只需从待筛选带宽需求中确定更优配置信息的带宽需求即可,有效提高候选配置信息的确定效率,并可以找到更好的配置信息,提高视频处理精度。本实施例中,最优配置信息筛选规则可以采用帕累托公式进行确定,在这里不做限定。
步骤140、根据候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
其中,候选带宽需求条件下的候选配置信息已经确定,服务器端需要从候选配置信息中找到目标配置信息,以及需要确定目标配置信息应用到多长的视频段中,即,需要确定目标决策应用窗口的大小。所确定的目标决策应用窗口的大小会影响之后的视频传输配置信息的自适应决策及后续确定决策应用窗口大小的决策。采用DRL(Deep ReinforcementLearning,深度强化学习)算法给出传输配置信息与目标决策应用窗口的批大小的自适应决策。预先训练一个DRL模型,以不同的视频传输配置信息对待训练场景下的视频进行编码,采集待训练场景下视频传输配置信息对应的编码时间及带宽消耗的实验数据。以待训练场景下的不同视频段和真实网络带宽数据作为输入,利用采集的实验数据,构建视频分析任务的动态视频流模拟环境。动态视频流模拟环境通过输入不同时刻及不同长度的视频段,以及不同的网络带宽条件,得到足够丰富的视频分析数据供DRL模型训练。在DRL模型训练过程中,每输出一个决策,即对输出决策赋予一个奖励值,DRL模型向着奖励值高的方向进行训练。
DRL模型训练完成后,可以输出目标决策应用窗口。可以将预设数量的历史决策应用窗口大小输入至DRL模型中,得到目标决策应用窗口的大小。历史决策应用窗口是已经进行过视频处理的决策应用窗口。根据目标决策应用窗口的大小、实际带宽需求、预设的带宽需求范围和候选配置信息,确定目标配置信息。例如,可以确定目标决策应用窗口大小下候选配置信息对应的带宽,确定计算出来的带宽是否满足预设带宽需求的范围,若是,则确定该带宽对应的候选配置信息为目标配置信息。目标配置信息是目标决策应用窗口的配置信息自适应决策,用于对目标决策应用窗口进行视频处理。即,目标配置信息只对目标决策应用窗口内的视频内容起作用,对目标决策应用窗口之后采集的视频内容,需要重新确定配置信息。每一次得到的目标决策应用窗口为下一次确定最优配置信息的当前决策分析窗口,即,每一次的当前决策分析窗口大小可以不一致。实现了根据前一次决策确定的配置信息和决策应用窗口确定当前次的配置信息和决策应用窗口,有效考虑了视频的动态变化,提高视频处理精度。
本实施例中,可选的,根据候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,包括:根据深度强化学习模型中预设的目标配置信息确定条件,从候选配置信息中确定目标配置信息;根据预设数量的历史决策应用窗口大小、预设的初始决策应用窗口大小和决策应用窗口增长粒度,确定与目标配置信息适配的目标决策应用窗口大小。
具体的,DRL模型可以从多个候选配置信息中确定目标配置信息,目标配置信息即为最终要被应用的自适应决策。可以设置目标配置信息的确定条件,可以在DRL模型的训练过程中确定目标配置信息的确定条件。例如,目标配置信息的确定条件可以是查找带宽消耗少且分辨率高的配置信息。在确定目标配置信息后,可以根据预设数量的历史决策应用窗口大小、预设初始决策应用窗口大小和决策应用窗口增长粒度,确定目标决策应用窗口的大小。在确定目标决策应用窗口的大小时,以预设的初始决策应用窗口的大小开始,依据预设的增长粒度,逐渐增加决策应用窗口的大小。确定各个决策应用窗口大小下,采用目标配置信息进行视频处理所得到的视频分析准确率。若得到的视频分析准确率满足预设的增长停止条件,则将满足增长停止条件的决策应用窗口确定为目标决策应用窗口。这样设置的有益效果在于,每一次对各个决策应用窗口进行视频分析所需的配置信息不同,应用该配置信息的窗口大小也不同,实现了每次视频分析可以满足视频流的当前带宽条件,同时保证了视频分析准确率,提高视频处理的自适应性和处理精度。
本实施例的技术方案,通过接收视频源端发送的当前决策分析窗口,从当前决策分析窗口中获取预设大小的初始决策分析窗口。根据初始决策分析窗口的配置信息,确定初始决策分析窗口的初始视频分析准确率。判断初始视频分析准确率是否满足预设的准确率稳定规则,若是,则将初始决策分析窗口中视频段的配置信息确定为最优配置信息,并确定最优配置信息对应的最优带宽需求。根据预设带宽需求范围,以当前实际的带宽为基准,确定多个待筛选带宽需求,将待筛选带宽需求中的最优配置信息和最优带宽需求确定为候选配置信息和候选带宽需求。根据深度强化学习模型和候选配置信息,得到目标决策应用窗口大小和目标配置信息,采用目标配置信息对目标决策应用窗口进行处理,且服务器端接收目标决策应用窗口作为新的当前决策分析窗口,以实现通过不同批大小对视频进行处理。解决了现有技术中,对固定批大小的视频帧进行处理的问题,满足网络带宽变化和视频内容变化情况下的视频处理需求,使批大小符合当前的网络变化情况,提高配置信息的自适应决策质量,减小网络带宽的消耗,提高视频处理的效率和精度。
实施例二
图2为本发明实施例二所提供的一种视频处理的方法的流程示意图,本实施例以上述实施例为基础进行进一步的优化,该方法可以由一种视频处理的装置来执行。如图2所示,该方法具体包括如下步骤:
步骤210、接收视频源端发送的当前决策分析窗口,根据当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定初始决策分析窗口的至少一个初始视频分析准确率。
步骤220、根据预设的决策分析窗口大小递增规则对初始决策分析窗口的大小进行调整,得到第一决策分析窗口。
步骤230、根据第一决策分析窗口的至少一组配置信息,确定第一决策分析窗口的至少一个第一视频分析准确率。
步骤240、比较初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息,根据比较结果判断初始视频分析准确率是否满足预设的准确率稳定规则。
其中,若预设排位内的初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息一致,则确定初始视频分析准确率满足预设的准确率稳定规则;若初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息不一致,则确定初始视频分析准确率不满足预设的准确率稳定规则。
本实施例中,可选的,在判断初始视频分析准确率是否满足预设的准确率稳定规则之后,还包括:若初始视频分析准确率不满足预设的准确率稳定规则,则根据预设的决策分析窗口大小递增规则对第一决策分析窗口的大小进行调整,得到第二决策分析窗口;根据第二决策分析窗口的至少一组配置信息,确定第二决策分析窗口的至少一个第二视频分析准确率;比较第一视频分析准确率对应的配置信息与第二视频分析准确率对应的配置信息;根据比较结果判断第一视频分析准确率是否满足预设的准确率稳定规则。
具体的,若初始视频分析准确率不满足预设的准确率稳定规则,即,若预设排位内初始视频分析准确率对应的配置信息与第一视频分析准确率对应的配置信息不一致,则根据预设的决策分析窗口大小递增规则对第一决策分析窗口的大小进行调整,增加第一决策分析窗口的大小,得到第二决策分析窗口,第二决策分析窗口的大小要小于或等于当前决策分析窗口的大小。例如,预设的决策分析窗口大小递增规则为每次增加一秒的视频段,初始决策分析窗口为1秒的视频段,第一决策分析窗口为2秒的视频段,第二决策分析窗口为3秒的视频段。若增加后的决策分析窗口大于当前决策分析窗口的大小,则将第一决策分析窗口的配置信息确定为最优配置信息。
在得到第二决策分析窗口后,获取第二决策分析窗口的多组配置信息,根据第二决策分析窗口配置信息,计算第二决策分析窗口的多个第二视频分析准确率。计算第二视频分析准确率的方法与计算第一视频分析准确率的方法一致,即,与计算初始视频分析准确率的方法一致。获取与第二决策分析窗口对应的未转码的原始视频片段,对未转码的原始视频片段进行分析,得到第二决策分析窗口的标准分析结果。根据预设的视频转码算法和第二决策分析窗口的视频段配置信息,对未转码的第二决策分析窗口大小的视频段进行转码,得到待分析视频段。根据预设的视频分析算法,对待分析视频段进行视频分析,得到实际分析结果。将各个实际分析结果分别与标准对比结果比较,得到第二决策分析窗口的第二视频分析准确率。标准分析结果和实际分析结果的一致性越高,视频分析准确率越高。
对第一视频分析准确率进行大小排序,以及对第二视频分析准确率进行大小排序。若预设排位内的第一视频分析准确率与第二视频分析准确率所对应的配置信息一致,则确定第一视频分析准确率满足预设的准确率稳定规则。若预设排位内第一视频分析准确率对应的配置信息与第二视频分析准确率对应的配置信息还不一致,则继续根据预设的决策分析窗口大小递增规则对第二决策分析窗口的大小进行调整,得到第三决策分析窗口,判断第二决策分析窗口的第二视频分析准确率对应的配置信息与第三决策分析窗口的第三视频分析准确率对应的配置信息是否一致,直至视频分析准确率对应的配置信息稳定。
步骤250、若是,则确定初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据最优配置信息确定最优带宽需求。
步骤260、获取当前带宽,根据当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息。
步骤270、根据候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
本发明实施例根据带宽需求和视频内容分析出视频传输与处理的配置信息决策以及决策应用窗口中视频段批大小的决策,并在视频源端及时将自适应决策应用到最新采集到的决策应用窗口视频段中,使视频流的传输和处理及时响应网络带宽和视频内容的变化,从而在带宽条件的限制下最大化视频分析准确率。通过动态调整视频流传输与处理的批大小,能够更灵活地适应动态带宽和视频内容的变化,提高视频分析准确率,减少传输带宽消耗,降低视频分析结果响应延迟。本实施例的视频自适应批传输与批处理方法适用于不同的视频分析任务,例如,目标检测、人脸验证和语义分割等。
本发明实施例通过接收视频源端发送的当前决策分析窗口,从当前决策分析窗口中获取预设大小的初始决策分析窗口。根据初始决策分析窗口的配置信息,确定初始决策分析窗口的初始视频分析准确率。判断初始视频分析准确率是否满足预设的准确率稳定规则,若否,则以一定的粒度增大决策分析窗口,直至视频分析准确率对应的配置信息稳定,将开始稳定的那个决策分析窗口的配置信息确定为最优配置信息,并确定最优配置信息对应的最优带宽需求。根据预设带宽需求范围,以当前实际的带宽为基准,确定多个待筛选带宽需求,将待筛选带宽需求中的最优配置信息和最优带宽需求确定为候选配置信息和候选带宽需求。根据深度强化学习模型和候选配置信息,确定目标配置信息和视频段接下来要处理的批大小,即目标决策应用窗口大小,采用目标配置信息对目标决策应用窗口进行处理,且服务器端接收目标决策应用窗口作为新的当前决策分析窗口,以实现通过不同批大小对视频进行处理。解决了现有技术中,对固定批大小的视频帧进行处理的问题,满足网络带宽变化和视频内容变化情况下的视频处理需求,使批大小符合当前的网络变化情况。通过增加决策分析窗口的大小,得到最优配置信息,提高配置信息的自适应决策质量,减小网络带宽的消耗,提高视频处理的效率和精度。
实施例三
图3为本发明实施例三所提供的一种视频处理的装置的结构框图,可执行本发明任意实施例所提供的一种视频处理的方法,该装置配置于服务器端,具备执行方法相应的功能模块和有益效果。如图3所示,该装置具体包括:
初始视频分析准确率确定模块301,用于接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
最优配置信息确定模块302,用于判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
候选配置信息确定模块303,用于获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息;
目标决策应用窗口确定模块304,用于根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
可选的,初始视频分析准确率确定模块301,具体用于:
获取视频源端中未转码的初始决策分析窗口的视频分析结果,作为标准分析结果;
根据预设的视频转码算法和初始决策分析窗口的至少一组配置信息,对所述未转码的初始决策分析窗口大小的视频段进行转码,得到至少一组待分析视频段;
根据预设的视频分析算法,对所述待分析视频段进行视频分析,得到实际分析结果;
对比所述标准分析结果和实际分析结果,得到所述初始决策分析窗口的至少一组初始视频分析准确率。
可选的,最优配置信息确定模块302,包括:
第一决策分析窗口获得单元,用于根据预设的决策分析窗口大小递增规则对所述初始决策分析窗口的大小进行调整,得到第一决策分析窗口;
第一视频分析准确率确定单元,用于根据第一决策分析窗口的至少一组配置信息,确定所述第一决策分析窗口的至少一个第一视频分析准确率;
准确率比较单元,用于比较所述初始视频分析准确率对应的配置信息与所述第一视频分析准确率对应的配置信息,根据比较结果判断所述初始视频分析准确率是否满足预设的准确率稳定规则。
可选的,准确率比较单元,具体用于:
对所述初始视频分析准确率进行大小排序,以及对所述第一视频分析准确率进行大小排序;
若预设排位内的初始视频分析准确率与第一视频分析准确率所对应的配置信息一致,则确定所述初始视频分析准确率满足预设的准确率稳定规则。
可选的,最优配置信息确定模块302,还包括:
第二决策分析窗口获得单元,用于在判断所述初始视频分析准确率是否满足预设的准确率稳定规则之后,若所述初始视频分析准确率不满足预设的准确率稳定规则,则根据预设的决策分析窗口大小递增规则对所述第一决策分析窗口的大小进行调整,得到第二决策分析窗口;
第二视频分析准确率确定单元,用于根据第二决策分析窗口至少一组配置信息,确定所述第二决策分析窗口的至少一个第二视频分析准确率;
准确率再次比较单元,用于比较所述第一视频分析准确率对应的配置信息与所述第二视频分析准确率对应的配置信息;
比较结果再次判断单元,用于根据比较结果判断所述第一视频分析准确率是否满足预设的准确率稳定规则。
可选的,该装置还包括:
最优配置筛选模块,用于确定所述最优配置信息对应的视频分析准确率和最优带宽需求;
根据预设的最优配置信息筛选规则,从所述最优配置信息中确定更优配置信息。
可选的,目标决策应用窗口确定模块304,具体用于:
根据所述深度强化学习模型中预设的目标配置信息确定条件,从所述候选配置信息中确定所述目标配置信息;
根据和预设数量的历史决策应用窗口大小、预设的初始决策应用窗口大小和决策应用窗口增长粒度,确定与所述目标配置信息适配的目标决策应用窗口大小。
本发明实施例通过接收视频源端发送的当前决策分析窗口,从当前决策分析窗口中获取预设大小的初始决策分析窗口。根据初始决策分析窗口的配置信息,确定初始决策分析窗口的初始视频分析准确率。判断初始视频分析准确率是否满足预设的准确率稳定规则,若是,则将初始决策分析窗口中视频段的配置信息确定为最优配置信息,并确定最优配置信息对应的最优带宽需求。根据预设带宽需求范围,以当前实际的带宽为基准,确定多个待筛选带宽需求,将待筛选带宽需求中的最优配置信息和最优带宽需求确定为候选配置信息和候选带宽需求。根据深度强化学习模型,从候选配置信息中确定目标配置信息和视频段接下来要处理的批大小,即目标决策应用窗口大小,采用目标配置信息对目标决策应用窗口进行处理,且服务器端接收目标决策应用窗口作为新的当前决策分析窗口,以实现通过不同批大小对视频进行处理。解决了现有技术中,对固定批大小的视频帧进行处理的问题,满足网络带宽变化和视频内容变化情况下的视频处理需求,使批大小符合当前的网络变化情况,提高配置信息的自适应决策质量,减小网络带宽的消耗,提高视频处理的效率和精度。
实施例四
图4是本发明实施例四提供的一种视频处理的设备的结构示意图。视频处理的设备是一种电子设备,图4示出了适于用来实现本发明实施方式的示例性电子设备400的框图。图4显示的电子设备400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备400典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备400访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408,可以存储在例如存储器402中,这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备400也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信,还可与一个或者多个使得用户能与该电子设备400交互的设备通信,和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且,电子设备400还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器412通过总线403与电子设备400的其它模块通信。应当明白,尽管图4中未示出,可以结合电子设备400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种视频处理的方法,包括:
接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的最优配置信息为对应的候选配置信息;
根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的一种视频处理的方法,包括:
接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的最优配置信息为对应的候选配置信息;
根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种视频处理的方法,其特征在于,由服务器端执行,所述方法包括:
接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息;
根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
2.根据权利要求1所述的方法,其特征在于,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率,包括:
获取视频源端中未转码的初始决策分析窗口的视频分析结果,作为标准分析结果;
根据预设的视频转码算法和初始决策分析窗口的至少一组配置信息,对所述未转码的初始决策分析窗口大小的视频段进行转码,得到至少一个待分析视频段;
根据预设的视频分析算法,对所述待分析视频段进行视频分析,得到实际分析结果;
对比所述标准分析结果和实际分析结果,得到所述初始决策分析窗口的至少一个初始视频分析准确率。
3.根据权利要求1所述的方法,其特征在于,判断所述初始视频分析准确率是否满足预设的准确率稳定规则,包括:
根据预设的决策分析窗口大小递增规则对所述初始决策分析窗口的大小进行调整,得到第一决策分析窗口;
根据第一决策分析窗口的至少一组配置信息,确定所述第一决策分析窗口的至少一个第一视频分析准确率;
比较所述初始视频分析准确率对应的配置信息与所述第一视频分析准确率对应的配置信息,根据比较结果判断所述初始视频分析准确率是否满足预设的准确率稳定规则。
4.根据权利要求3所述的方法,其特征在于,比较所述初始视频分析准确率对应的配置信息与所述第一视频分析准确率对应的配置信息,根据比较结果确定所述初始视频分析准确率是否满足预设的准确率稳定规则,包括:
对所述初始视频分析准确率进行大小排序,以及对所述第一视频分析准确率进行大小排序;
若预设排位内的初始视频分析准确率与第一视频分析准确率所对应的配置信息一致,则确定所述初始视频分析准确率满足预设的准确率稳定规则。
5.根据权利要求3所述的方法,其特征在于,在判断所述初始视频分析准确率是否满足预设的准确率稳定规则之后,还包括:
若所述初始视频分析准确率不满足预设的准确率稳定规则,则根据预设的决策分析窗口大小递增规则对所述第一决策分析窗口的大小进行调整,得到第二决策分析窗口;
根据第二决策分析窗口至少一组配置信息,确定所述第二决策分析窗口的至少一个第二视频分析准确率;
比较所述第一视频分析准确率对应的配置信息与所述第二视频分析准确率对应的配置信息;
根据比较结果判断所述第一视频分析准确率是否满足预设的准确率稳定规则。
6.根据权利要求1所述的方法,其特征在于,在根据所述最优配置信息确定最优带宽需求之后,还包括:
确定所述最优配置信息对应的视频分析准确率和最优带宽需求;
根据预设的最优配置信息筛选规则,从所述最优配置信息中确定更优配置信息。
7.根据权利要求1所述的方法,其特征在于,根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,包括:
根据所述深度强化学习模型中预设的目标配置信息确定条件,从所述候选配置信息中确定所述目标配置信息;
根据预设数量的历史决策应用窗口大小、预设的初始决策应用窗口大小和决策应用窗口增长粒度,确定与所述目标配置信息适配的目标决策应用窗口大小。
8.一种视频处理的装置,其特征在于,配置于服务器端,所述装置包括:
初始视频分析准确率确定模块,用于接收视频源端发送的当前决策分析窗口,根据所述当前决策分析窗口中预设的初始决策分析窗口的至少一组配置信息,确定所述初始决策分析窗口的至少一个初始视频分析准确率;
最优配置信息确定模块,用于判断所述初始视频分析准确率是否满足预设的准确率稳定规则,若是,则确定所述初始决策分析窗口中视频段的至少一组配置信息为最优配置信息,并根据所述最优配置信息确定最优带宽需求;
候选配置信息确定模块,用于获取当前带宽,根据所述当前带宽和预设的带宽需求范围,确定至少两个待筛选带宽需求,将所述待筛选带宽需求中的最优带宽需求确定为候选带宽需求,确定候选带宽需求的候选配置信息为对应的最优配置信息;
目标决策应用窗口确定模块,用于根据所述候选配置信息和预设数量的历史决策应用窗口大小,基于预先训练的深度强化学习模型,得到目标配置信息和目标决策应用窗口,以所述目标配置信息对视频源端中目标决策应用窗口的视频段进行分析,其中,所述目标决策应用窗口作为新的当前决策分析窗口由视频源端发送至服务器端。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的视频处理的方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的视频处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111371316.8A CN114143188B (zh) | 2021-11-18 | 2021-11-18 | 一种视频处理的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111371316.8A CN114143188B (zh) | 2021-11-18 | 2021-11-18 | 一种视频处理的方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114143188A CN114143188A (zh) | 2022-03-04 |
CN114143188B true CN114143188B (zh) | 2023-06-23 |
Family
ID=80390508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111371316.8A Active CN114143188B (zh) | 2021-11-18 | 2021-11-18 | 一种视频处理的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114143188B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065464A (zh) * | 2013-03-18 | 2014-09-24 | 中国移动通信集团公司 | 一种调整tcp连接的初始窗口大小的方法和装置 |
CN108600834A (zh) * | 2018-04-13 | 2018-09-28 | 深圳银澎云计算有限公司 | 视频传输系统、接收/发送/传输方法及装置 |
CN112184304A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 一种辅助决策的方法、系统、服务器和存储介质 |
CN112399123A (zh) * | 2021-01-19 | 2021-02-23 | 游密科技(深圳)有限公司 | 视频清晰度的调整方法、装置、电子设备及存储介质 |
-
2021
- 2021-11-18 CN CN202111371316.8A patent/CN114143188B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065464A (zh) * | 2013-03-18 | 2014-09-24 | 中国移动通信集团公司 | 一种调整tcp连接的初始窗口大小的方法和装置 |
CN108600834A (zh) * | 2018-04-13 | 2018-09-28 | 深圳银澎云计算有限公司 | 视频传输系统、接收/发送/传输方法及装置 |
CN112184304A (zh) * | 2020-09-25 | 2021-01-05 | 中国建设银行股份有限公司 | 一种辅助决策的方法、系统、服务器和存储介质 |
CN112399123A (zh) * | 2021-01-19 | 2021-02-23 | 游密科技(深圳)有限公司 | 视频清晰度的调整方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114143188A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102235590B1 (ko) | 비디오를 처리하기 위한 방법 및 장치 | |
CN112633384B (zh) | 基于图像识别模型的对象识别方法、装置和电子设备 | |
CN112929744B (zh) | 用于分割视频剪辑的方法、装置、设备、介质和程序产品 | |
CN110351595B (zh) | 一种缓冲处理方法、装置、设备和计算机存储介质 | |
WO2023016155A1 (zh) | 图像处理方法、装置、介质及电子设备 | |
CN113115067A (zh) | 直播系统、视频处理方法及相关装置 | |
CN114245209B (zh) | 视频分辨率确定、模型训练、视频编码方法及装置 | |
US10536696B2 (en) | Image encoding device and image encoding method | |
CN104618734A (zh) | 相同协议类型下视频码流的转码方法和装置 | |
WO2022000298A1 (en) | Reinforcement learning based rate control | |
CN114900692A (zh) | 视频流帧率调整方法及其装置、设备、介质、产品 | |
WO2021092821A1 (en) | Adaptively encoding video frames using content and network analysis | |
CN114143188B (zh) | 一种视频处理的方法、装置、电子设备及存储介质 | |
CN113079386A (zh) | 一种视频在线播放方法、装置、电子设备及存储介质 | |
Gong et al. | Adaptive bitrate video semantic communication over wireless networks | |
CN116709037A (zh) | 一种基于5g摄像头的风雨天气的监控关键数据传递方法 | |
US20220030233A1 (en) | Interpolation filtering method and apparatus for intra-frame prediction, medium, and electronic device | |
US11917163B2 (en) | ROI-based video coding method and device | |
CN115767146A (zh) | 数据流控制方法、系统、装置、电子设备及存储介质 | |
US11825088B2 (en) | Adaptively encoding video frames based on complexity | |
CN113709517A (zh) | 一种基于弱终端的在线视频流处理系统 | |
CN109219960B (zh) | 视频编码质量平滑度的优化方法、装置、设备及存储介质 | |
WO2024139166A1 (zh) | 视频编码方法及装置、电子设备和存储介质 | |
CN114697656B (zh) | 一种编码方法、装置、电子设备及介质 | |
CN110909688B (zh) | 人脸检测小模型优化训练方法、人脸检测方法及计算机系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |