CN115942010B - 一种质量评估结果获取方法、装置、服务器及存储介质 - Google Patents
一种质量评估结果获取方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN115942010B CN115942010B CN202211410818.1A CN202211410818A CN115942010B CN 115942010 B CN115942010 B CN 115942010B CN 202211410818 A CN202211410818 A CN 202211410818A CN 115942010 B CN115942010 B CN 115942010B
- Authority
- CN
- China
- Prior art keywords
- video
- image
- received
- server
- video images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 212
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000005540 biological transmission Effects 0.000 claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000001303 quality assessment method Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种质量评估结果获取方法、装置、服务器及存储介质,涉及计算机技术领域,包括:基于连续接收到的至少两个数据包中的视频图像的时间戳和原始视频的帧率,确定进行数据接收时是否发生丢包;基于进行数据接收时发生丢包的次数,计算传输质量评估结果;对连续接收到的至少两个数据包中的视频图像进行图像检测,并对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;基于接收到的视频图像中发生图像损失的视频图像的数目,计算内容质量评估结果;基于内容质量评估结果和传输质量评估结果,计算接收到的视频图像的综合质量评估结果,可以提高确定视频图像的质量的效率。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种质量评估结果获取方法、装置、服务器及存储介质。
背景技术
在进行电视直播时,直播信号源(例如,电视台)通过有线信号或者卫星信号将直播的视频图像传输至接收设备,接收设备可以接收视频图像。然后,接收设备可以向部署于不同地区的服务器发送视频图像,服务器则可以基于接收到的视频图像,为用户提供视频服务。然而,在视频图像传输的过程中可能受到各种因素的影响,导致服务器接收到的视频图像的质量较低。例如,通过有线信号传输视频图像时,对视频图像进行编码可能会导致视频图像的清晰度损耗;通过卫星信号传输视频图像时可能发生数据丢包问题,进而导致视频图像中出现花屏等问题。
相关技术中,由人工观察视频图像,以确定视频图像的质量,例如,如果观察到视频图像中包含花屏区域、黑屏区域等,则表明视频图像的质量较低。然后,根据视频图像的质量,调整服务器在接收电视直播的视频图像时的接收参数,例如,在视频图像的质量较低时,增加接收设备向服务器发送视频图像所使用的带宽。
然而,由人工观察视频图像,确定视频图像的质量,需要较大的时间成本和人工成本,导致相关技术中确定视频图像的质量的效率较低。
发明内容
本发明实施例的目的在于提供一种质量评估结果获取方法、装置、服务器及存储介质,以提高确定视频图像的质量的效率。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种质量评估结果获取方法,所述方法应用于服务器,所述方法包括:
基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频的帧率,确定所述服务器进行数据接收时是否发生丢包;
基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果;
对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;
基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果;
基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果。
可选的,所述基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频的帧率,确定所述服务器进行数据接收时是否发生丢包,包括:
如果待比较数据包中的视频图像的时间戳,小于参考数据包中的视频图像的时间戳,则确定上一次发送的待比较数据包丢失;其中,所述参考数据包为所述至少两个数据包中所述服务器先接收到的数据包;所述待比较数据包为至少两个数据包中所述服务器后接收到的数据包;
如果所述待比较数据包中的视频图像的时间戳,不小于所述参考数据包中的视频图像的时间戳,按照所述视频图像所属的原始视频的帧率和所述参考数据包中的视频图像的时间戳,计算对应的理论时间戳;其中,所述理论时间戳为:按照各视频图像在所述原始视频中的位置,所述服务器在接收到所述参考数据包后接收的数据包中的视频图像的时间戳;如果所述待比较数据包中的视频图像的时间戳大于所述理论时间戳,确定所述理论时间戳对应的数据包丢失。
可选的,所述基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果,包括:
针对预设时间段内的每一子时间段,基于该子时间段内所述服务器进行数据接收时发生丢包的次数,以及所述预设时间段内所述服务器进行数据接收时发生丢包的总次数,计算该子时间段对应的第一集中度;其中,一个子时间段对应的第一集中度表示:该子时间段内所述服务器进行数据接收时发生丢包的集中程度;
计算该子时间段内所述服务器进行数据接收时发生丢包的次数与对应的第一集中度的乘积,得到该子时间段内所述服务器进行数据接收的传输质量评估结果;
计算所述预设时间段内的各子时间段对应的传输质量评估结果的加权和,得到所述服务器进行数据接收的传输质量评估结果。
可选的,所述对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目,包括:
针对接收到的每一数据包,如果该数据包中携带有预设标识,将该数据包中的视频图像输入至预先训练的图像检测模型,得到该数据包中的视频图像发生图像损失的概率;其中,一个视频图像发生图像损失表示该视频图像中包含花屏区域和黑屏区域中的至少一项;
如果该数据包中的视频图像发生图像损失的概率大于第一阈值,确定该数据包中的视频图像发生图像损失;
针对每相邻的两个数据包中的视频图像,如果该两个数据包中的视频图像的相似度小于第二阈值,确定该两个数据包中的视频图像之间发生跳帧;其中,两个视频图像之间发生跳帧表示该两个视频图像之间的视频图像丢失;
计算发生图像损失的视频图像的数目,以及各视频图像之间发生跳帧的次数,作为接收到的视频图像中发生图像损失的视频图像的数目。
可选的,所述基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果,包括:
针对预设时间段内的每一子时间段,基于该子时间段内接收到的视频图像中发生图像损失的视频图像的数目,以及所述预设时间段内接收到的视频图像中发生图像损失的视频图像的总数目,计算该子时间段对应的第二集中度;其中,一个子时间段对应的第二集中度表示:该子时间段内接收到的视频图像发生图像损失的集中程度;
计算该子时间段内接收到的视频图像中发生图像损失的视频图像的数目与对应的第二集中度的乘积,得到该子时间段内接收到视频图像的内容质量评估结果;
计算所述预设时间段内的各子时间段对应的内容质量评估结果的加权和,得到所述服务器接收到的视频图像的内容质量评估结果。
可选的,所述基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果,包括:
计算所述内容质量评估结果与所述传输质量评估结果的加权和,得到所述服务器接收到的视频图像的综合质量评估结果。
在本发明实施的第二方面,还提供了一种质量评估结果获取装置,所述装置应用于服务器,所述装置包括:
丢包确定模块,用于基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频帧的帧率,确定所述服务器进行数据接收时是否发生丢包;
传输质量评估结果确定模块,用于基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果;
图像损失确定模块,用于对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;
内容质量评估结果确定模块,用于基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果;
综合质量评估结果确定模块,用于基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果。
可选的,所述丢包确定模块,具体用于如果待比较数据包中的视频图像的时间戳,小于参考数据包中的视频图像的时间戳,则确定上一次发送的待比较数据包丢失;其中,所述参考数据包为所述至少两个数据包中所述服务器先接收到的数据包;所述待比较数据包为至少两个数据包中所述服务器后接收到的数据包;
如果所述待比较数据包中的视频图像的时间戳,不小于所述参考数据包中的视频图像的时间戳,按照所述视频图像所属的原始视频的帧率和所述参考数据包中的视频图像的时间戳,计算对应的理论时间戳;其中,所述理论时间戳为:按照各视频图像在所述原始视频中的位置,所述服务器在接收到所述参考数据包后接收的数据包中的视频图像的时间戳;如果所述待比较数据包中的视频图像的时间戳大于所述理论时间戳,确定所述理论时间戳对应的数据包丢失。
可选的,所述传输质量评估结果确定模块,具体用于针对预设时间段内的每一子时间段,基于该子时间段内所述服务器进行数据接收时发生丢包的次数,以及所述预设时间段内所述服务器进行数据接收时发生丢包的总次数,计算该子时间段对应的第一集中度;其中,一个子时间段对应的第一集中度表示:该子时间段内所述服务器进行数据接收时发生丢包的集中程度;
计算该子时间段内所述服务器进行数据接收时发生丢包的次数与对应的第一集中度的乘积,得到该子时间段内所述服务器进行数据接收的传输质量评估结果;
计算所述预设时间段内的各子时间段对应的传输质量评估结果的加权和,得到所述服务器进行数据接收的传输质量评估结果。
可选的,所述图像损失确定模块,具体用于针对接收到的每一数据包,如果该数据包中携带有预设标识,将该数据包中的视频图像输入至预先训练的图像检测模型,得到该数据包中的视频图像发生图像损失的概率;其中,一个视频图像发生图像损失表示该视频图像中包含花屏区域和黑屏区域中的至少一项;
如果该数据包中的视频图像发生图像损失的概率大于第一阈值,确定该数据包中的视频图像发生图像损失;
针对每相邻的两个数据包中的视频图像,如果该两个数据包中的视频图像的相似度小于第二阈值,确定该两个数据包中的视频图像之间发生跳帧;其中,两个视频图像之间发生跳帧表示该两个视频图像之间的视频图像丢失;
计算发生图像损失的视频图像的数目,以及各视频图像之间发生跳帧的次数,作为接收到的视频图像中发生图像损失的视频图像的数目。
可选的,所述内容质量评估结果确定模块,具体用于针对预设时间段内的每一子时间段,基于该子时间段内接收到的视频图像中发生图像损失的视频图像的数目,以及所述预设时间段内接收到的视频图像中发生图像损失的视频图像的总数目,计算该子时间段对应的第二集中度;其中,一个子时间段对应的第二集中度表示:该子时间段内接收到的视频图像发生图像损失的集中程度;
计算该子时间段内接收到的视频图像中发生图像损失的视频图像的数目与对应的第二集中度的乘积,得到该子时间段内接收到视频图像的内容质量评估结果;
计算所述预设时间段内的各子时间段对应的内容质量评估结果的加权和,得到所述服务器接收到的视频图像的内容质量评估结果。
可选的,所述综合质量评估结果确定模块,具体用于计算所述内容质量评估结果与所述传输质量评估结果的加权和,得到所述服务器接收到的视频图像的综合质量评估结果。
在本发明实施的又一方面,还提供了一种服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的质量评估结果获取方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的质量评估结果获取方法步骤。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的质量评估结果获取方法。
本发明实施例提供的一种质量评估结果获取方法,应用于服务器,包括:基于连续接收到的至少两个数据包中的视频图像的时间戳,以及视频图像所属的原始视频的帧率,确定服务器进行数据接收时是否发生丢包;基于服务器进行数据接收时发生丢包的次数,计算服务器进行数据接收的传输质量评估结果;对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;基于接收到的视频图像中发生图像损失的视频图像的数目,计算服务器接收到的视频图像的内容质量评估结果;基于内容质量评估结果和传输质量评估结果,计算服务器接收到的视频图像的综合质量评估结果。
基于上述处理,在进行数据接收时发生丢包的次数越多,则接收到的视频图像的质量越低,传输质量评估结果为基于服务器进行数据接收时发生丢包的次数计算得到的,则传输质量评估结果可以表示接收到的视频图像的质量。接收到的视频图像中发生图像损失的视频图像的数目越多,则接收到的视频图像的质量越低,内容质量评估结果为基于发生图像损失的视频图像的数目确定的,则内容质量评估结果可以表示接收到的视频图像的质量。相应的,基于内容质量评估结果和传输质量评估结果,计算得到的综合质量评估结果可以表示接收到的视频图像的质量,相对于相关技术,无需人工观察视频图像,可以降低时间成本和人工成本,进而可以提高确定视频图像的质量的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中提供的第一种质量评估结果获取方法的流程图;
图2为本发明实施例中提供的第二种质量评估结果获取方法的流程图;
图3为本发明实施例中提供的第三种质量评估结果获取方法的流程图;
图4为本发明实施例中提供的第四种质量评估结果获取方法的流程图;
图5为本发明实施例中提供的第五种质量评估结果获取方法的流程图;
图6为本发明实施例中提供的第六种质量评估结果获取方法的流程图;
图7为本发明实施例中提供的一种确定传输质量评估结果的方法的流程图;
图8为本发明实施例中提供的一种质量评估结果装置的结构图;
图9为本发明实施例中提供的一种服务器的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
相关技术中,由人工观察视频图像,确定视频图像的质量,需要较大的时间成本和人工成本,导致相关技术中确定视频图像的质量的效率较低。
为了解决上述问题,本发明实施例提供了一种质量评估结果获取方法,该方法应用于服务器。服务器可以接收电视直播的视频图像,并向用户提供视频服务。服务器可以按照本发明实施例提供的方法,根据接收到的视频图像,确定表示接收到的视频图像的质量的综合质量评估结果,可以提高确定视频图像的质量的效率。后续,则可以基于服务器接收到的视频图像的综合质量评估结果,对服务器进行数据接收的接收参数进行调整,以提高接收到的视频图像的质量。
参见图1,图1为本发明实施例提供的一种质量评估结果获取方法的流程图,该方法应用于服务器,该方法可以包括以下步骤:
S101:基于连续接收到的至少两个数据包中的视频图像的时间戳,以及视频图像所属的原始视频的帧率,确定服务器进行数据接收时是否发生丢包。
S102:基于服务器进行数据接收时发生丢包的次数,计算服务器进行数据接收的传输质量评估结果。
S103:对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目。
S104:基于接收到的视频图像中发生图像损失的视频图像的数目,计算服务器接收到的视频图像的内容质量评估结果。
S105:基于内容质量评估结果和传输质量评估结果,计算服务器接收到的视频图像的综合质量评估结果。
基于本发明实施例提供的质量评估结果获取方法,在进行数据接收时发生丢包的次数越多,则接收到的视频图像的质量越低,传输质量评估结果为基于服务器进行数据接收时发生丢包的次数计算得到的,则传输质量评估结果可以表示接收到的视频图像的质量。接收到的视频图像中发生图像损失的视频图像的数目越多,则接收到的视频图像的质量越低,内容质量评估结果为基于发生图像损失的视频图像的数目确定的,则内容质量评估结果可以表示接收到的视频图像的质量。相应的,基于内容质量评估结果和传输质量评估结果,计算得到的综合质量评估结果可以表示接收到的视频图像的质量,相对于相关技术,无需人工观察视频图像,可以降低时间成本和人工成本,进而可以提高确定视频图像的质量的效率。
针对步骤S101,在进行电视直播时,直播信号源向接收设备发送包含视频图像的数据包。接收设备基于直播信号源发送的数据包,向服务器发送包含视频图像的数据包,例如,向服务器发送包含视频图像的TS(Transport Stream,传输流)报文。相应的,服务器可以接收该数据包,服务器接收到的数据包为包含视频图像的TS报文。
一个视频图像可以为原始视频中的一个视频帧,直播信号源在发送原始视频中的各视频图像时,按照各视频图像在原始视频中的位置,依次发送包含各视频图像的数据包。相应的,服务器接收到的数据包中的视频图像是连续的,如果服务器接收到的数据包中的视频图像不是连续的,则表明服务器进行数据接收时发生丢包。
一个数据包中的视频图像的时间戳表示该视频图像在原始视频中的位置。例如,原始视频的FPS(Frames per Second,每秒显示帧数)为25,则每一个视频帧在原始视频所占的时长为40毫秒。原始视频中的第1个视频帧的时间戳为40毫秒,第2个视频帧的时间戳为80毫秒,第3个视频帧的时间戳为120毫秒。如果一个数据包中的视频图像的时间戳为80毫秒,则表示该视频图像为原始视频中的第2个视频帧。
相应的,服务器则可以基于接收到的各数据包中的视频图像的时间戳,判断接收到的数据包中的视频图像是否为连续的视频图像,以确定服务器进行数据接收时是否发生丢包。
在一些实施例中,在图1的基础上,参见图2,步骤S101可以包括以下步骤:
S1011:如果待比较数据包中的视频图像的时间戳,小于参考数据包中的视频图像的时间戳,则确定上一次发送的待比较数据包丢失。
其中,参考数据包为至少两个数据包中服务器先接收到的数据包;待比较数据包为至少两个数据包中服务器后接收到的数据包。
S1012:如果待比较数据包中的视频图像的时间戳,不小于参考数据包中的视频图像的时间戳,按照视频图像所属的原始视频的帧率和参考数据包中的视频图像的时间戳,计算对应的理论时间戳。
其中,理论时间戳为:按照各视频图像在原始视频中的位置,服务器在接收到参考数据包后接收的数据包中的视频图像的时间戳。
S1013:如果待比较数据包中的视频图像的时间戳大于理论时间戳,确定理论时间戳对应的数据包丢失。
由于直播信号源按照各视频图像在原始视频中的位置,依次发送包含各视频图像的数据包,针对服务器接收到的每一个数据包,该数据包中的视频图像在原始视频中位于在该数据包之前接收到的数据包中的视频图像之后,也就是说该数据包中的视频图像的时间戳,大于在该数据包之前接收到的数据包中的视频图像的时间戳。
针对服务器连续接收到的两个数据包,该两个数据包中服务器先接收到的数据包可以称为当前的参考数据包,该两个数据包中服务器后接收到的数据包可以称为当前的待比较数据包。例如,针对服务器连续接收到的前两个数据包,服务器接收到的第一个数据包为当前的参考数据包,服务器接收到的第二个数据包为当前的待比较数据包。
服务器在接收到当前的参考数据包之后接收到当前的待比较数据包,则当前的待比较数据包中的视频图像在原始视频中,位于当前的参考数据包中的视频图像之后,也就是当前的待比较数据包中的视频图像的时间戳,大于当前的参考数据包中的视频图像的时间戳。如果当前的待比较数据包中的视频图像的时间戳,小于当前的参考数据包中的视频图像的时间戳,则表明当前的待比较数据包中的视频图像在原始视频中,位于当前的参考数据包中的视频图像之前,则服务器应该在接收到当前的参考数据包之前接收到当前的待比较数据包,然而,服务器在接收到当前的参考数据包之后接收到当前的待比较数据包,则表明当前的待比较数据包为直播信号源重新发送的,也就是上一次发送的当前的待比较数据包丢失。
示例性的,服务器接收到2个数据包分别为:数据包1和数据包2,数据包1中的视频图像的时间戳为80毫秒,数据包2中的视频图像的时间戳为40毫秒。该两个数据包中先接收到的数据包为数据包1,后接收到的数据包为数据包2,则数据包1为当前的参考数据包,数据包2为当前的待比较数据包。由于数据包2中的视频图像的时间戳小于数据包1中的视频图像的时间戳,表明数据包2为直播信号源重新发送的,也就是上一次发送的数据包2丢失。
由于当前的待比较数据包不是服务器在接收到当前的参考数据包后应该接收到的数据包,则服务器可以丢弃当前的待比较数据包。然后,服务器可以按照接收各数据包的顺序,确定位于当前的待比较数据包之后的第一个数据包,作为当前的待比较数据包,例如,将服务器接收到的第三个数据包作为当前的待比较数据包。进而,服务器再次对比当前的待比较数据中的视频图像的时间戳与当前的参考数据包中的视频图像的时间戳,以此类推,直至对比完成服务器接收到的所有数据包中的视频图像的时间戳。
如果当前的待比较数据包中的视频图像的时间戳,不小于当前的参考数据包中的视频图像的时间戳,服务器按照视频图像所属的原始视频的帧率和当前的参考数据包中的视频图像的时间戳,计算对应的理论时间戳。例如,服务器按照视频图像所属的原始视频的帧率,计算得到原始视频中的每一视频帧在原始视频所占的时长,并计算该时长与当前的参考数据包中的视频图像的时间戳的和值,得到对应的理论时间戳。理论时间戳为:按照各视频图像在原始视频中的位置,服务器在接收到当前的参考数据包后应该接收到的数据包中的视频图像的时间戳。
如果当前的待比较数据包中的视频图像的时间戳大于理论时间戳,表明服务器接收到的当前的待比较数据包,不是服务器在接收到当前的参考数据包后应该接收到的数据包(即理论时间戳对应的数据包),也就是服务器未接收到理论时间戳对应的数据包,则确定理论时间戳对应的数据包丢失。
示例性的,原始视频的帧率为25FPS,也就是原始视频中的一个视频帧的时长为40ms。服务器接收到的2个数据包分别为:数据包1和数据包2,数据包1中的视频图像的时间戳为40毫秒,数据包2中的视频图像的时间戳为120毫秒,该两个数据包中先接收到的数据包为数据包1,后接收到的数据包为数据包2,则数据包1为当前的参考数据包,数据包2为当前的待比较数据包。
由于数据包2中的视频图像的时间戳不小于数据包1中的视频图像的时间戳,则服务器计算原始视频中的一个视频帧的时长与数据包1中的视频图像的时间戳的和值,得到理论时间戳为80ms,也就是服务器接收到数据包1之后应该接收到的数据包中的视频图像的时间戳为80ms。然而,数据包2中的视频图像的待比较时间戳为120毫秒,也就是数据包2中的视频图像的时间戳大于理论时间戳,则表明数据包2不是服务器在接收到数据包1后应该接收到的数据包,也就是服务器在接收到数据包1后应该接收到的数据包(即理论时间戳为80毫秒的数据包)丢失。
然后,服务器可以将当前的待比较数据包作为当前的参考数据包,并按照服务器接收各数据包的顺序,确定位于当前的参考数据包之后第一个数据包,作为当前的待比较数据包。进而,服务器再次对比当前的待比较数据中的视频图像的时间戳与当前的参考数据包中的视频图像的时间戳,以此类推,直至对比完成服务器接收到的所有数据包中的视频图像的时间戳。
针对步骤S102,在确定服务器进行数据接收时是否发生丢包之后,服务器可以统计丢失的数据包的数目,得到服务器在进行数据接收时发生丢包的次数(可以称为第一次数)。进而,根据第一次数,计算服务器进行数据接收的传输质量评估结果。
一种实现方式中,服务器可以将第一次数归一化至预设范围内,并计算预设数值与归一化后的第一次数的差值,作为服务器进行数据接收的传输质量评估结果。例如,将第一次数归一化至[0,1],并计算1与归一化后的第一次数的差值,得到服务器进行数据接收的传输质量评估结果。
另一种实现方式中,在图1的基础上,参见图3,步骤S102可以包括以下步骤:
S1021:针对预设时间段内的每一子时间段,基于该子时间段内服务器进行数据接收时发生丢包的次数,以及预设时间段内服务器进行数据接收时发生丢包的总次数,计算该子时间段对应的第一集中度。
其中,一个子时间段对应的第一集中度表示:该子时间段内服务器进行数据接收时发生丢包的集中程度。
S1022:计算该子时间段内服务器进行数据接收时发生丢包的次数与对应的第一集中度的乘积,得到该子时间段内服务器进行数据接收的传输质量评估结果。
S1023:计算预设时间段内的各子时间段对应的传输质量评估结果的加权和,得到服务器进行数据接收的传输质量评估结果。
预设时间段的时长,以及预设时间段包含的子时间段可以根据需求设置,例如,预设时间段可以为5分钟,预设时间段可以包含5个时长为1分钟的子时间段;或者,预设时间段也可以为6分钟,预设时间段可以包含3个时长为2分钟的子时间段,但并不限于此。
针对预设时间段内的每一子时间段,服务器可以计算该子时间段内进行数据接收时发生丢包的次数(可以称为第二次数)。预设时间段内进行数据接收时发生丢包的总次数(即第一次数)为:各个子时间段对应的第二次数的和值。
针对每一子时间段,服务器计算该子时间段内对应的第二次数与第一次数的比值(可以称为第一比值),根据预设的比值区间与集中度的对应关系,获取第一比值所属的比值区间对应的集中度,得到该子时间段对应的第一集中度。
在预设的比值区间与集中度的对应关系中,比值越大对应的集中度越大。例如,预设的比值区间与集中度的对应关系中,集中度为1至5,预设的比值区间与集中度的对应关系包括:比值区间[0,0.2]对应的集中度为1,比值区间(0.2,0.4]对应的集中度为2,比值区间(0.4,0.6]对应的集中度为3,以此类推,比值区间(0.8,1]对应的集中度为5。
一个子时间段对应的第一集中度越高,表示该子时间段内进行数据接收时发生丢包的次数越多,该子时间段内进行数据接收时的传输质量评估结果越低。
然后,服务器可以计算该子时间段对应的第二次数与该子时间段对应的第一集中度的乘积,得到该子时间段内服务器进行数据接收的传输质量评估结果。进而,服务器计算预设时间段内的各子时间段对应的传输质量评估结果的加权和,得到服务器进行数据接收的传输质量评估结果。
示例性的,服务器可以基于如下公式(1),计算预设时间段内服务器进行数据接收的传输质量评估结果。
R1表示预设时间段内服务器进行数据接收的传输质量评估结果;N表示预设时间段包含的子时间段的数目;Xi表示第i个子时间段对应的第二次数;Yi表示第i个子时间段对应的第一集中度;ai表示第i个子时间段对应的第一权重;XiYi表示第i个子时间段内服务器进行数据接收的传输质量评估结果。
针对步骤S103,一种实现方式中,针对接收到的每一数据包中的视频图像,服务器可以将该视频图像输入至预先训练的图像检测模型,得到图像检测模块输出的该视频图像发生图像损失的概率。如果该视频图像对应的概率大于第一阈值,确定该视频图像发生图像损失。
针对相邻的两个数据包,服务器还可以计算该两个数据包中的视频图像的相似度,并基于该两个数据包中的视频图像的相似度,计算各视频图像之间发生跳帧的次数。进而,服务器计算发生图像损失的视频图像的数目,与各视频图像之间发生跳帧的次数的和值,得到接收到的视频图像中发生图像损失的视频图像的数目。
另一种实现方式中,在图1的基础上,参见图4,步骤S103可以包括以下步骤:
S1031:针对接收到的每一数据包,如果该数据包中携带有预设标识,将该数据包中的视频图像输入至预先训练的图像检测模型,得到该数据包中的视频图像发生图像损失的概率。
其中,一个视频图像发生图像损失表示该视频图像中包含花屏区域和黑屏区域中的至少一项。
S1032:如果该数据包中的视频图像发生图像损失的概率大于第一阈值,确定该数据包中的视频图像发生图像损失。
S1033:针对每相邻的两个数据包中的视频图像,如果该两个数据包中的视频图像的相似度小于第二阈值,确定该两个数据包中的视频图像之间发生跳帧。
其中,两个视频图像之间发生跳帧表示该两个视频图像之间的视频图像丢失。
S1034:计算发生图像损失的视频图像的数目,以及各视频图像之间发生跳帧的次数,作为接收到的视频图像中发生图像损失的视频图像的数目。
直播信号源在发送原始视频中的各视频图像时,直播信号源从原始视频中确定多个指定的视频图像(可以称为关键视频图像)。然后,直播信号源基于关键视频图像,对原始视频中位于关键视频图像之后的其他视频图像进行编码,并向服务器发送包含编码后的视频图像的数据包。
相应的,针对每一数据包,如果该数据包中携带有预设标识,表明该数据包中的视频图像为关键视频图像,也就是直播信号源在发送数据包时,基于该数据包中的视频图像,对原始视频中位于该数据包中的视频图像之后的其他视频图像进行编码。进而,服务器基于该数据包中的视频图像,对其他数据包中的视频图像进行解码,得到原始视频中的其他视频图像。相应的,如果该数据包中的视频图像发生图像损失,则基于该数据包中的视频图像得到的原始视频中的其他视频图像也会发生图像损失。
为了减少服务器进行图像检测时的计算量,进一步提高质量评估结果获取效率,服务器可以从接收到的各数据包中,确定携带有预设标识的数据包,然后,将该数据包中的视频图像输入至预先训练的图像检测模型,得到图像检测模型输出的该数据包中的视频图像中发生图像损失的图像区域(可以称为损失区域)、损失区域发生图像损失的概率,以及损失区域发生的图像损失的类型。图像损失的类型包括:花屏、黑屏等。
图像检测模型可以为分类模型,例如,图像检测模型可以为YOLO(You only lookonce,基于深度学习的端到端的目标检测算法)模型,或者,图像检测模型也可以为RCNN(Region Convolutional Neural Networks,区域卷积神经网络)模型等。
进而,如果该数据包中的视频图像发生图像损失的概率大于第一阈值,确定该数据包中的视频图像发生图像损失。
由于直播信号源按照视频图像在原始视频中的位置,依次发送包含各个视频图像的数据包,则相邻的两个数据包中的视频图像为原始视频中相邻的视频帧,相应的,相邻的两个数据包中的视频图像的相似度较高。
针对每相邻的两个数据包中的视频图像,服务器可以计算该两个数据包中的视频图像的相似度。例如,服务器可以分别计算该两个视频图像的直方图,并计算该两个视频图像的直方图的巴氏距离,得到该两个视频图像的相似度。或者,服务器可以基于NMF(Non-negative Matrix Factorization,非负矩阵分解)算法,以及该两个视频图像各自的像素矩阵,计算该两个视频图像的相似度。一个视频图像的像素矩阵包含该视频图像中的各像素点的像素值。
如果该两个数据包中的视频图像的相似度小于第二阈值,确定该两个数据包中的视频图像之间发生跳帧。两个视频图像之间发生跳帧表示该两个视频图像之间的视频图像丢失。
进而,服务器可以计算发生图像损失的视频图像的数目与各视频图像之间发生跳帧的次数的和值,得到接收到的视频图像中发生图像损失的视频图像的数目(可以称为第一数目)。
在一些实施例中,由于服务器在接收数据包时发生丢包,对于直播信号源重新发送的数据包,服务器可以丢弃该数据包,则服务器在确定发生图像损失的视频图像的数目时,可以只针对服务器未丢弃的数据包进行处理,也就是针对服务器未丢弃的数据包,对该数据包中的视频图像进行图像检测,并对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目。
针对步骤S104,一种实现方式中,服务器可以将第一数目归一化至预设范围内,并计算预设数值与归一化后的第一数目的差值,作为服务器接收到的视频图像的内容质量评估结果。例如,将第一数目归一化至[0,1],并计算1与归一化后的第一数目的差值,得到服务器接收到的视频图像的内容质量评估结果。
另一种实现方式中,在图1的基础上,参见图5,步骤S104可以包括以下步骤:
S1041:针对预设时间段内的每一子时间段,基于该子时间段内接收到的视频图像中发生图像损失的视频图像的数目,以及预设时间段内接收到的视频图像中发生图像损失的视频图像的总数目,计算该子时间段对应的第二集中度。
其中,一个子时间段对应的第二集中度表示:该子时间段内接收到的视频图像发生图像损失的集中程度。
S1042:计算该子时间段内接收到的视频图像中发生图像损失的视频图像的数目与对应的第二集中度的乘积,得到该子时间段内接收到视频图像的内容质量评估结果。
S1043:计算预设时间段内的各子时间段对应的内容质量评估结果的加权和,得到服务器接收到的视频图像的内容质量评估结果。
针对预设时间段内的每一子时间段,服务器可以计算该子时间段内接收到的视频图像中发生图像损失的视频图像的数目(可以称为第二数目)。预设时间段内接收到的视频图像中发生图像损失的视频图像的总数目(即第一数目)为:各个子时间段内对应的第二数目的和值。
针对每一子时间段,服务器计算该子时间段内对应的第二数目与第一数目的比值(可以称为第二比值),根据预设的比值区间与集中度的对应关系,获取第二比值所属的比值区间对应的集中度,得到该子时间段对应的第二集中度。
在预设的比值区间与集中度的对应关系中,比值越大对应的集中度越大。例如,预设的比值区间与集中度的对应关系中,集中度为1至5,预设的比值区间与集中度的对应关系包括:比值区间[0,0.2]对应的集中度为1,比值区间(0.2,0.4]对应的集中度为2,比值区间(0.4,0.6]对应的集中度为3,以此类推,比值区间(0.8,1]对应的集中度为5。
一个子时间段对应的第二集中度越高,表示该子时间段内接收到的视频图像中发生图像损失的视频图像越多,该子时间段内接收到的视频图像的内容质量评估结果越低。
然后,服务器可以计算该子时间段对应的第二数目与该子时间段对应的第二集中度的乘积,得到该子时间段内接收到的视频图像的内容质量评估结果。进而,服务器计算预设时间段内的各子时间段对应的内容质量评估结果的加权和,得到服务器接收到的视频图像的内容质量评估结果。
示例性的,服务器可以基于如下公式(2),计算预设时间段内服务器接收到的视频图像的内容质量评估结果。
R2表示预设时间段内服务器接收到的视频图像的内容质量评估结果;N表示预设时间段包含的子时间段的数目;Ei表示第i个子时间段对应的第二数目;Fi表示第i个子时间段对应的第二集中度;bi表示第i个子时间段对应的第二权重;EiFi表示第i个子时间段内接收到的视频图像的内容质量评估结果。
针对步骤S105,一种实现方式中,服务器可以计算预设时间段对应的内容质量评估结果与传输质量评估结果的均值,得到服务器在预设时间段内接收到的视频图像的综合质量评估结果。
另一种实现方式中,服务器可以计算预设时间段对应的内容质量评估结果与传输质量评估结果的加权和,得到服务器在预设时间段内接收到的视频图像的综合质量评估结果。
在一些实施例中,如果服务器接收多个直播信号源的视频图像,针对每一直播信号源,服务器还可以获取该直播信号源发的视频图像的分辨率,并根据预设的分辨率与权重的对应关系,确定该直播信号源对应的权重。预设的分辨率与权重的对应关系中,分辨率越高对应的权重越大。
针对每一直播信号源,服务器计算预设时间段内接收到的该直播信号发送的视频图像的综合质量评估结果与该直播信号源对应的权重的乘积,作为该直播信号源发送的视频图像的综合质量评估结果。
一个直播信号源发送的视频图像的综合质量评估结果越高,表明该直播信号源发送的视频图像的质量越高,则服务器可以基于各直播信号源发送的视频图像的综合质量评估结果,确定各直播信号源发送的视频图像的质量。
在一些实施例中,在确定出服务器接收到的视频图像的综合质量评估结果之后,还可以基于服务器接收到的视频图像的综合质量评估结果,对接收设备向服务器发送数据包的传输参数进行调整。
服务器可以获取多个预设时间段对应的综合质量评估结果,并基于该多个预设时间段对应的综合质量评估结果,对接收设备向服务器发送数据包的传输参数进行调整。
一种实现方式中,服务器获取多个预设时间段中,对应的综合质量评估结果小于第三阈值的预设时间段的数目(可以称为第三数目),并计算第三数目与多个预设时间段的数目的比值(可以称为第三比值)。如果第三比值小于第四阈值,表明对应的综合质量评估结果较低的预设时间段较少,则可能是除传输参数外的其他因素(例如,天气因素)的影响,导致对应的综合质量评估结果较低,则可以不对传输参数进行调整。
如果第三比值较不小于第四阈值,表明对应的综合质量评估结果较低的预设时间段较多,则可能是传输参数的影响,导致对应的综合质量评估结果较低,则对传输参数进行调整。例如,可以降低接收设备向服务器发送数据包的传输码率、增加接收设备向服务器发送数据包所使用的带宽等。
参见图6,图6为本发明实施例提供的一种质量评估结果获取方法的流程图。该质量评估结果获取方法应用于质量评估结果获取系统,质量评估结果获取系统包括直播信号源、收录服务器、传输打分服务、算法视频打分服务和评估系统。收录服务器为前述实施例中的服务器。传输打分服务、算法视频打分服务和评估系统可以为收录服务器包含的不同模块,或者,传输打分服务、算法视频打分服务和评估系统也可以为与收录服务器进行通信的服务器。
直播信号源向收录服务器传输直播流信号,直播流信号也就是前述实施例中的数据包。传输打分服务确定收录服务器在预设时间段内进行数据接收时发生丢包的次数,并根据收录服务器在预设时间段内进行数据接收时发生丢包的次数,计算预设时间段对应的传输质量评估结果。然后,传输打分服务向评估系统发送任务id和直播丢包数据。任务id也就是预设时间段的标识,直播丢包数据也就是预设时间段对应的传输质量评估结果。
算法视频传输打分服务基于对各数据包中的视频图像进行图像检测,以及每两个相邻的数据包中的视频图像的相似度,确定收录服务器在预设时间段内接收到的视频图像中发生图像损失的视频图像的数目,并基于收录服务器在预设时间段内接收到的视频图像中发生图像损失的视频图像的数目,计算预设时间段对应的内容质量评估结果。然后,算法视频传输打分服务向评估系统发送任务id和得分。任务id也就是预设时间段的标识,得分也就是预设时间段对应的内容质量评估结果。
进而,评估系统基于预设时间段对应的内容质量评估结果和传输质量评估结果,计算收录服务器在预设时间段内接收到的视频图像的综合质量评估结果,并向收录服务器同步任务id,也就是向收录服务器发送预设时间段内对应的综合质量评估结果。
基于本发明实施例提供的质量评估结果获取方法,在进行数据接收时发生丢包的次数越多,则接收到的视频图像的质量越低,传输质量评估结果为基于服务器进行数据接收时发生丢包的次数计算得到的,则传输质量评估结果可以表示接收到的视频图像的质量。接收到的视频图像中发生图像损失的视频图像的数目越多,则接收到的视频图像的质量越低,内容质量评估结果为基于发生图像损失的视频图像的数目确定的,则内容质量评估结果可以表示接收到的视频图像的质量。相应的,基于内容质量评估结果和传输质量评估结果,计算得到的综合质量评估结果可以表示接收到的视频图像的质量,相对于相关技术,无需人工观察视频图像,可以降低时间成本和人工成本,进而可以提高确定视频图像的质量的效率。
参见图7,图7为本发明实施例提供的一种确定传输质量评估结果的方法的流程图。
直播信号源按照各视频图像在原始视频中位置,依次向收录服务器发送包含各视频图像的TS报文。收录服务器为前述实施例中的服务器。例如,原始视频包含4个视频帧,则直播信号源先向收录服务器发送包含第1个视频帧的TS报文1,再向收录服务器发送包含第2个视频帧的TS报文2,然后向收录服务器发送包含第3个视频帧的TS报文3,最后向收录服务器发送包含第4个视频帧的TS报文4。
收录服务器接收到各TS报文后,可以处理TS包流时间信息,也就是收录服务器获取各TS报文中的视频图像的时间戳。进而,收录服务器将当前已处理的TS报文与将处理报文进行比对,得出丢包信息。当前已处理的TS报文也就是服务器先接收到的TS报文,将处理报文也就是服务器在当前已处理的TS报文之后接收到的TS报文,也就是收录服务器基于接收到的各数据包中的视频图像的时间戳,确定收录服务器进行数据接收时是否发生丢包,并基于收录服务器进行数据接收时发生丢包的次数,计算收录服务器进行数据接收的传输质量评估结果。
基于本发明实施例提供的确定传输质量评估结果的方法,在进行数据接收时发生丢包的次数越多,则接收到的视频图像的质量越低,传输质量评估结果为基于服务器进行数据接收时发生丢包的次数计算得到的,则传输质量评估结果可以表示接收到的视频图像的质量。后续,基于内容质量评估结果和传输质量评估结果,计算得到的综合质量评估结果可以表示接收到的视频图像的质量,相对于相关技术,无需人工观察视频图像,可以降低时间成本和人工成本,进而提高确定视频图像的质量的效率。
与图1的方法实施例相对应,参见图8,图8为本发明实施例提供的一种质量评估结果获取装置的结构图,所述装置应用于服务器,所述装置包括:
丢包确定模块801,用于基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频帧的帧率,确定所述服务器进行数据接收时是否发生丢包;
传输质量评估结果确定模块802,用于基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果;
图像损失确定模块803,用于对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;
内容质量评估结果确定模块804,用于基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果;
综合质量评估结果确定模块805,用于基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果。
可选的,所述丢包确定模块801,具体用于如果待比较数据包中的视频图像的时间戳,小于参考数据包中的视频图像的时间戳,则确定上一次发送的待比较数据包丢失;其中,所述参考数据包为所述至少两个数据包中所述服务器先接收到的数据包;所述待比较数据包为至少两个数据包中所述服务器后接收到的数据包;
如果所述待比较数据包中的视频图像的时间戳,不小于所述参考数据包中的视频图像的时间戳,按照所述视频图像所属的原始视频的帧率和所述参考数据包中的视频图像的时间戳,计算对应的理论时间戳;其中,所述理论时间戳为:按照各视频图像在所述原始视频中的位置,所述服务器在接收到所述参考数据包后接收的数据包中的视频图像的时间戳;如果所述待比较数据包中的视频图像的时间戳大于所述理论时间戳,确定所述理论时间戳对应的数据包丢失。
可选的,所述传输质量评估结果确定模块802,具体用于针对预设时间段内的每一子时间段,基于该子时间段内所述服务器进行数据接收时发生丢包的次数,以及所述预设时间段内所述服务器进行数据接收时发生丢包的总次数,计算该子时间段对应的第一集中度;其中,一个子时间段对应的第一集中度表示:该子时间段内所述服务器进行数据接收时发生丢包的集中程度;
计算该子时间段内所述服务器进行数据接收时发生丢包的次数与对应的第一集中度的乘积,得到该子时间段内所述服务器进行数据接收的传输质量评估结果;
计算所述预设时间段内的各子时间段对应的传输质量评估结果的加权和,得到所述服务器进行数据接收的传输质量评估结果。
可选的,所述图像损失确定模块803,具体用于针对接收到的每一数据包,如果该数据包中携带有预设标识,将该数据包中的视频图像输入至预先训练的图像检测模型,得到该数据包中的视频图像发生图像损失的概率;其中,一个视频图像发生图像损失表示该视频图像中包含花屏区域和黑屏区域中的至少一项;
如果该数据包中的视频图像发生图像损失的概率大于第一阈值,确定该数据包中的视频图像发生图像损失;
针对每相邻的两个数据包中的视频图像,如果该两个数据包中的视频图像的相似度小于第二阈值,确定该两个数据包中的视频图像之间发生跳帧;其中,两个视频图像之间发生跳帧表示该两个视频图像之间的视频图像丢失;
计算发生图像损失的视频图像的数目,以及各视频图像之间发生跳帧的次数,作为接收到的视频图像中发生图像损失的视频图像的数目。
可选的,所述内容质量评估结果确定模块804,具体用于针对预设时间段内的每一子时间段,基于该子时间段内接收到的视频图像中发生图像损失的视频图像的数目,以及所述预设时间段内接收到的视频图像中发生图像损失的视频图像的总数目,计算该子时间段对应的第二集中度;其中,一个子时间段对应的第二集中度表示:该子时间段内接收到的视频图像发生图像损失的集中程度;
计算该子时间段内接收到的视频图像中发生图像损失的视频图像的数目与对应的第二集中度的乘积,得到该子时间段内接收到视频图像的内容质量评估结果;
计算所述预设时间段内的各子时间段对应的内容质量评估结果的加权和,得到所述服务器接收到的视频图像的内容质量评估结果。
可选的,所述综合质量评估结果确定模块805,具体用于计算所述内容质量评估结果与所述传输质量评估结果的加权和,得到所述服务器接收到的视频图像的综合质量评估结果。
基于本发明实施例提供的质量评估结果装置,在进行数据接收时发生丢包的次数越多,则接收到的视频图像的质量越低,传输质量评估结果为基于服务器进行数据接收时发生丢包的次数计算得到的,则传输质量评估结果可以表示接收到的视频图像的质量。接收到的视频图像中发生图像损失的视频图像的数目越多,则接收到的视频图像的质量越低,内容质量评估结果为基于发生图像损失的视频图像的数目确定的,则内容质量评估结果可以表示接收到的视频图像的质量。相应的,基于内容质量评估结果和传输质量评估结果,计算得到的综合质量评估结果可以表示接收到的视频图像的质量,相对于相关技术,无需人工观察视频图像,可以降低时间成本和人工成本,进而可以提高确定视频图像的质量的效率。
本发明实施例还提供了一种服务器,如图9所示,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,
存储器903,用于存放计算机程序;
处理器901,用于执行存储器903上所存放的程序时,实现如下步骤:
基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频的帧率,确定所述服务器进行数据接收时是否发生丢包;
基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果;
对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;
基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果;
基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的质量评估结果获取方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的质量评估结果获取方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、服务器、计算机可读存储介质、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (8)
1.一种质量评估结果获取方法,其特征在于,所述方法应用于服务器,所述方法包括:
基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频的帧率,确定所述服务器进行数据接收时是否发生丢包;
基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果;
对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;
基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果;
基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果;
所述基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频的帧率,确定所述服务器进行数据接收时是否发生丢包,包括:
如果待比较数据包中的视频图像的时间戳,小于参考数据包中的视频图像的时间戳,则确定上一次发送的待比较数据包丢失;其中,所述参考数据包为所述至少两个数据包中所述服务器先接收到的数据包;所述待比较数据包为至少两个数据包中所述服务器后接收到的数据包;
如果所述待比较数据包中的视频图像的时间戳,不小于所述参考数据包中的视频图像的时间戳,按照所述视频图像所属的原始视频的帧率和所述参考数据包中的视频图像的时间戳,计算对应的理论时间戳;其中,所述理论时间戳为:按照各视频图像在所述原始视频中的位置,所述服务器在接收到所述参考数据包后接收的数据包中的视频图像的时间戳;如果所述待比较数据包中的视频图像的时间戳大于所述理论时间戳,确定所述理论时间戳对应的数据包丢失。
2.根据权利要求1所述的方法,其特征在于,所述基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果,包括:
针对预设时间段内的每一子时间段,基于该子时间段内所述服务器进行数据接收时发生丢包的次数,以及所述预设时间段内所述服务器进行数据接收时发生丢包的总次数,计算该子时间段对应的第一集中度;其中,一个子时间段对应的第一集中度表示:该子时间段内所述服务器进行数据接收时发生丢包的集中程度;
计算该子时间段内所述服务器进行数据接收时发生丢包的次数与对应的第一集中度的乘积,得到该子时间段内所述服务器进行数据接收的传输质量评估结果;
计算所述预设时间段内的各子时间段对应的传输质量评估结果的加权和,得到所述服务器进行数据接收的传输质量评估结果。
3.根据权利要求1所述的方法,其特征在于,所述对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目,包括:
针对接收到的每一数据包,如果该数据包中携带有预设标识,将该数据包中的视频图像输入至预先训练的图像检测模型,得到该数据包中的视频图像发生图像损失的概率;其中,一个视频图像发生图像损失表示该视频图像中包含花屏区域和黑屏区域中的至少一项;
如果该数据包中的视频图像发生图像损失的概率大于第一阈值,确定该数据包中的视频图像发生图像损失;
针对每相邻的两个数据包中的视频图像,如果该两个数据包中的视频图像的相似度小于第二阈值,确定该两个数据包中的视频图像之间发生跳帧;其中,两个视频图像之间发生跳帧表示该两个视频图像之间的视频图像丢失;
计算发生图像损失的视频图像的数目,以及各视频图像之间发生跳帧的次数,作为接收到的视频图像中发生图像损失的视频图像的数目。
4.根据权利要求1所述的方法,其特征在于,所述基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果,包括:
针对预设时间段内的每一子时间段,基于该子时间段内接收到的视频图像中发生图像损失的视频图像的数目,以及所述预设时间段内接收到的视频图像中发生图像损失的视频图像的总数目,计算该子时间段对应的第二集中度;其中,一个子时间段对应的第二集中度表示:该子时间段内接收到的视频图像发生图像损失的集中程度;
计算该子时间段内接收到的视频图像中发生图像损失的视频图像的数目与对应的第二集中度的乘积,得到该子时间段内接收到视频图像的内容质量评估结果;
计算所述预设时间段内的各子时间段对应的内容质量评估结果的加权和,得到所述服务器接收到的视频图像的内容质量评估结果。
5.根据权利要求1所述的方法,其特征在于,所述基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果,包括:
计算所述内容质量评估结果与所述传输质量评估结果的加权和,得到所述服务器接收到的视频图像的综合质量评估结果。
6.一种质量评估结果获取装置,其特征在于,所述装置应用于服务器,所述装置包括:
丢包确定模块,用于基于连续接收到的至少两个数据包中的视频图像的时间戳,以及所述视频图像所属的原始视频的帧率,确定所述服务器进行数据接收时是否发生丢包;
传输质量评估结果确定模块,用于基于所述服务器进行数据接收时发生丢包的次数,计算所述服务器进行数据接收的传输质量评估结果;
图像损失确定模块,用于对连续接收到的至少两个数据包中的视频图像进行图像检测,以及对每两个相邻的数据包中的视频图像的相似度进行比对,确定接收到的视频图像中发生图像损失的视频图像的数目;
内容质量评估结果确定模块,用于基于接收到的视频图像中发生图像损失的视频图像的数目,计算所述服务器接收到的视频图像的内容质量评估结果;
综合质量评估结果确定模块,用于基于所述内容质量评估结果和所述传输质量评估结果,计算所述服务器接收到的视频图像的综合质量评估结果;
所述丢包确定模块,具体用于如果待比较数据包中的视频图像的时间戳,小于参考数据包中的视频图像的时间戳,则确定上一次发送的待比较数据包丢失;其中,所述参考数据包为所述至少两个数据包中所述服务器先接收到的数据包;所述待比较数据包为至少两个数据包中所述服务器后接收到的数据包;
如果所述待比较数据包中的视频图像的时间戳,不小于所述参考数据包中的视频图像的时间戳,按照所述视频图像所属的原始视频的帧率和所述参考数据包中的视频图像的时间戳,计算对应的理论时间戳;其中,所述理论时间戳为:按照各视频图像在所述原始视频中的位置,所述服务器在接收到所述参考数据包后接收的数据包中的视频图像的时间戳;如果所述待比较数据包中的视频图像的时间戳大于所述理论时间戳,确定所述理论时间戳对应的数据包丢失。
7.一种服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-5任一所述的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211410818.1A CN115942010B (zh) | 2022-11-11 | 2022-11-11 | 一种质量评估结果获取方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211410818.1A CN115942010B (zh) | 2022-11-11 | 2022-11-11 | 一种质量评估结果获取方法、装置、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115942010A CN115942010A (zh) | 2023-04-07 |
CN115942010B true CN115942010B (zh) | 2024-07-19 |
Family
ID=86556622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211410818.1A Active CN115942010B (zh) | 2022-11-11 | 2022-11-11 | 一种质量评估结果获取方法、装置、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115942010B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102882747A (zh) * | 2012-10-10 | 2013-01-16 | 烽火通信科技股份有限公司 | 基于发送、接收时间戳的以太网丢包率测量方法及系统 |
CN106792262A (zh) * | 2016-12-05 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频数据传输方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5172440B2 (ja) * | 2008-01-08 | 2013-03-27 | 日本電信電話株式会社 | 映像品質推定装置、方法およびプログラム |
CN107404646B (zh) * | 2016-05-20 | 2019-11-29 | 华为技术有限公司 | 视频质量评估的方法、装置和头端设备 |
CN106603543B (zh) * | 2016-12-22 | 2019-08-09 | 努比亚技术有限公司 | 校正流媒体音视频同步的方法及装置 |
CN109286813B (zh) * | 2018-11-14 | 2020-06-05 | 北京奇艺世纪科技有限公司 | 一种视频通信质量检测方法和装置 |
WO2021164019A1 (zh) * | 2020-02-21 | 2021-08-26 | 华为技术有限公司 | 一种测量方法及装置 |
CN114866763A (zh) * | 2022-04-08 | 2022-08-05 | 海南视联通信技术有限公司 | 一种视频质量的评估方法、装置、终端设备和存储介质 |
CN115190325B (zh) * | 2022-07-01 | 2023-09-05 | 广州市百果园信息技术有限公司 | 丢帧控制方法、装置、设备、存储介质及程序产品 |
-
2022
- 2022-11-11 CN CN202211410818.1A patent/CN115942010B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102882747A (zh) * | 2012-10-10 | 2013-01-16 | 烽火通信科技股份有限公司 | 基于发送、接收时间戳的以太网丢包率测量方法及系统 |
CN106792262A (zh) * | 2016-12-05 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频数据传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115942010A (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11228794B2 (en) | Method, computer device, and storage medium for media code rate self-adaptation | |
CN1938972B (zh) | 用于测量多媒体数据传输质量的方法和装置 | |
US8826314B2 (en) | Method and apparatus for managing quality of service | |
CN109729390B (zh) | 一种iptv节目监测方法、装置及系统 | |
US9277208B2 (en) | System and method for estimating quality of video with frame freezing artifacts | |
CN109286813B (zh) | 一种视频通信质量检测方法和装置 | |
CN106028147A (zh) | 视频信号监测方法及视频信号监测系统 | |
CN114071232B (zh) | 音视频质量可视化方法及其装置、设备、介质、产品 | |
CN109040830B (zh) | 直播播放卡顿的预测方法、切换方法及装置 | |
CN112752117B (zh) | 一种视频缓存方法、装置、设备及存储介质 | |
CN111263225A (zh) | 视频卡顿预测方法、装置、计算机设备及存储介质 | |
CN117376613B (zh) | 一种分布式音视频传输控制方法、系统及存储介质 | |
CN110636176B (zh) | 一种通话故障检测方法、装置、设备及存储介质 | |
CN113727092B (zh) | 基于决策树的视频监控质量巡检方法及装置 | |
CN115942010B (zh) | 一种质量评估结果获取方法、装置、服务器及存储介质 | |
WO2024120134A1 (zh) | 视频传输方法、装置、设备及存储介质 | |
CN107707938B (zh) | 降低直播视频播放延迟的方法及装置 | |
CN111479161B (zh) | 一种直播的质量数据上报方法和装置 | |
CN111918142B (zh) | 国标视频码流转rtp流的平顺方法、装置、设备及介质 | |
EP3629577B1 (en) | Data transmission method, camera and electronic device | |
CN116170606B (zh) | 直播质量评估方法、装置、电子设备及介质 | |
WO2020244283A1 (zh) | 一种视频业务处理方法、系统及装置 | |
CN105007526A (zh) | 一种网络诊断方法及装置 | |
CN109558839A (zh) | 自适应人脸识别方法和实现该方法的设备及系统 | |
CN117560531B (zh) | 一种带宽探测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |