CN111818338A - 一种异常显示检测方法、装置、设备及介质 - Google Patents
一种异常显示检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111818338A CN111818338A CN202010716858.3A CN202010716858A CN111818338A CN 111818338 A CN111818338 A CN 111818338A CN 202010716858 A CN202010716858 A CN 202010716858A CN 111818338 A CN111818338 A CN 111818338A
- Authority
- CN
- China
- Prior art keywords
- video
- detected
- transcoded
- transcoding
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种异常显示检测方法、装置、设备及介质,包括:获取对源视频进行转码后得到的待检测转码视频;基于源视频确定参考视频;参考视频的帧率与待检测转码视频的帧率相同,并且,参考视频与源视频之间的视频画面差异符合预设差异条件;确定待检测转码视频与参考视频之间的相似度,以得到目标相似度;基于目标相似度确定待检测转码视频引起异常显示现象,以对源视频进行重新转码以得到更新后的待检测转码视频。本申请的上述异常显示检测过程通过后台服务器完成,无需借助图形用户界面来播放转码视频,降低了检测过程的时间开销,提升了检测速度。并且,上述检测过程无需对视频播放画面进行分析,避免了误检情况,降低了误检率。
Description
技术领域
本发明涉及视频处理技术领域,特别涉及一种异常显示检测方法、装置、设备及介质。
背景技术
当前,视频转码是互联网视频点播服务商普遍采用的用于消除视频格式差异、编码差异等播放适配性问题、网络传输协议适配问题等的常用手段之一。但由于转码过程中可能出现的软件漏洞,会导致某个时间点/段的视频数据出错,当这些出错的视频数据在客户端上显示时可能会出现花屏、绿屏、黑屏等异常显示事件,严重影响了用户体验和品牌口碑。为了检测转码视频的显示异常情况,现在具体可以在通过GUI(即Graphic UserInterface,图形用户界面)播放转码视频的过程中,由用户在观看视频时发现并反馈显示异常,或者,定时抓取播放画面形成相应的图片,然后将上述图片发给管理员或者人工智能(AI,即Artificial Intelligence)识别系统,以检测这些图片中是否出现显示异常的情况。然而,上述两种异常显示检测方案均需要依赖前端的图形用户界面来播放转码视频,然后通过分析视频播放画面来确定是否存在显示异常,一方面会导致时间开销非常大,影响了检测速度,另一方面考虑到有些情况下视频中会存在正常的打码画面、特效画面或层次复杂画面等特殊画面,在对这些特殊画面对应的视频播放画面进行人工分析或AI识别时,由于人为因素或AI算法漏洞等原因,可能会出现将上述正常的特殊画面误检为异常显示画面。综上,在实现本发明过程中,发明人发现现有技术中至少存在异常显示检测速度较慢以及误检率较高的问题。
发明内容
有鉴于此,本发明的目的在于提供一种异常显示检测方法、装置、设备及介质,能够有效提高异常显示检测的检测速度并降低误检率。其具体方案如下:
第一方面,本申请公开了一种异常显示检测方法,应用于后台服务器,包括:
获取对源视频进行转码后得到的待检测转码视频;
基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件;
确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度;
基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频。
可选的,所述基于所述源视频确定参考视频,包括:
若所述源视频的帧率与所述待检测转码视频的帧率一致,则直接将所述源视频作为所述参考视频。
可选的,所述基于所述源视频确定参考视频,包括:
基于预设转码规则对所述源视频进行转码以得到所述参考视频;
其中,所述预设转码规则中包括与所述待检测转码视频的帧率一致的转码帧率以及基于画质影响因子构建的转码原则,所述转码原则用于控制所述参考视频与所述源视频之间的视频画面差异符合所述预设差异条件。
可选的,所述基于所述源视频确定参考视频,包括:
基于与所述待检测转码视频的分辨率一致的转码分辨率,对所述源视频进行转码以得到所述参考视频。
可选的,所述基于所述源视频确定参考视频,包括:
基于与所述待检测转码视频的分辨率不一致的转码分辨率,对所述源视频进行转码以得到所述参考视频;
相应的,所述确定所述待检测转码视频与所述参考视频之间的相似度,包括:
将所述待检测转码视频的分辨率调整至所述参考视频的分辨率得到调整后视频,计算所述调整后视频和所述参考视频之间的相似度。
可选的,所述基于预设转码规则对所述源视频进行转码以得到所述参考视频之前,还包括:
基于恒定质量因子和/或转码码率构建所述转码原则。
可选的,所述异常显示检测方法,还包括:
统计被确定为能够引起异常显示现象的所述待检测转码视频的数量;
确定所述数量与所述待检测转码视频的总数量之间的比值;
若所述比值大于预设比值阈值,则重新执行所述基于预设转码规则对所述源视频进行转码以得到参考视频的步骤。
可选的,所述确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度,包括:
计算所述待检测转码视频与所述参考视频之间的峰值信噪比以得到所述目标相似度。
可选的,所述确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度,基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频,包括:
确定所述待检测转码视频的每张视频帧和所述参考视频中相应的每张视频帧之间的相似度,以得到单帧相似度;
利用每张视频帧对应的所述单帧相似度计算相应的平均相似度;
判断每张视频帧对应的所述单帧相似度是否小于第一相似度阈值以及判断所述平均相似度是否小于第二相似度阈值;
若所述平均相似度小于所述第二相似度阈值,则判定所述待检测转码视频中的视频帧普遍存在能够引起异常显示现象的情况,并对所述源视频中的全部视频帧进行重新转码,以得到更新后的待检测转码视频;和/或,
若所述平均相似度不小于所述第二相似度阈值并且存在视频帧对应的所述单帧相似度小于所述第一相似度阈值,则判定所述待检测转码视频中的视频帧个别存在的能够引起异常显示现象的情况,并对所述源视频中的相应视频帧进行重新转码,以得到更新后的待检测转码视频。
第二方面,本申请公开了一种异常显示检测装置,应用于后台服务器,包括:
视频转码模块,用于获取对源视频进行转码后得到的待检测转码视频;
参考视频确定模块,用于基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件;
相似度确定模块,用于确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度;
异常显示判断模块,用于基于所述目标相似度确定所述待检测转码视频引起异常显示现象;
重新转码模块,用于当所述待检测转码视频引起异常显示现象,则对所述源视频进行重新转码以得到更新后的待检测转码视频。
第三方面,本申请公开了一种电子设备,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现前述公开的异常显示检测方法。
第四方面,本申请公开了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述公开的异常显示检测方法。
本申请中,先获取对源视频进行转码后得到的待检测转码视频,并基于源视频确定参考视频,其中,上述参考视频的帧率与待检测转码视频的帧率相同,并且,参考视频与源视频之间的视频画面差异符合预设差异条件,然后确定待检测转码视频与参考视频之间的相似度,最后基于上述相似度来确定待检测转码视频是否能够引起视频异常现象,如果会引起视频异常现象,则可以对所述源视频进行重新转码以得到更新后的待检测转码视频。可见,本申请引入了帧率与待检测转码视频的帧率相同并且与源视频之间的视频画面差异符合预设差异条件的参考视频,然后在此基础上,基于待检测转码视频和参考视频之间的相似度来确定待检测转码视频是否会引起异常显示现象,并且,本申请中的上述异常显示检测过程均是在后台服务器中完成的,无需借助前端的图形用户界面来播放转码视频,从而大幅降低了检测过程的时间开销,提升了检测速度。并且,上述检测过程无需对视频播放画面进行分析,避免了在对视频播放画面进行分析时可能会存在的误检情况,从而降低了误检率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的异常显示检测方案所适用的系统框架示意图;
图2为本申请提供的一种异常显示检测方法流程图;
图3为本申请提供的一种具体的异常显示检测方法流程图;
图4为本申请提供的一种具体的异常显示检测方法流程图;
图5为本申请提供的一种异常显示检测方法子流程图;
图6为本申请提供的一种具体的异常显示检测方法流程图;
图7为本申请提供的一种具体的异常显示检测方法流程图;
图8为本申请提供的一种具体的异常显示检测方法示意图;
图9为本申请提供的一种异常显示检测装置结构示意图;
图10为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
当前,为了检测转码视频的显示异常情况,具体可以在通过前端的图形用户界面播放转码视频的过程中,由用户在观看视频时发现并反馈显示异常,或者,定时抓取播放画面形成相应的图片,然后将上述图片发给管理员或者人工智能识别系统,以检测这些图片中是否出现显示异常的情况。然而,上述两种异常显示检测方案均需要依赖前端的图形用户界面来播放转码视频,导致时间开销非常大,影响了检测效率。为了克服上述技术问题,本申请提供了一种异常显示检测方案,能够提高异常显示检测的检测效率。
本申请的异常显示检测方案中,采用的系统框架具体可以参见图1所示,具体可以包括:后台服务器01和与后台服务器01建立通信连接的若干数量的用户端02。
本申请中,后台服务器01用于执行异常显示检测方法步骤,包括获取对源视频进行转码后得到的待检测转码视频;基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件;确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度;基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频。
进一步的,后台服务器01中还可以设有源视频数据库、转码视频数据库以及参考视频数据库。其中,源视频数据库用于保存各种源视频,如电视剧视频源数据、电影视频源数据、MV(即Music Video,音乐短片)视频源数据等。转码视频数据库中具体可以用于保存经过检测核实后确定不会引起异常显示现象的转码视频。参考视频数据库则可以用来保存待检测转码视频对应的参考视频。可以理解的是,经过本申请的异常显示检测方案对待检测转码视频检测完毕后,如果检测结果显示上述待检测转码视频不会引起异常显示现象,后续则可以将其保存至上述转码视频数据库。这样一来,当后台服务器01接收到用户端02针对某一转码视频发起的点播请求,则可以先从上述转码视频数据库中查找是否存在相应的转码视频;如果是则可以直接利用上述转码视频数据库中的转码视频对上述点播请求进行响应,无需再次展开转码以及异常显示检测过程,从而有利于节省大量时间;如果否则需要利用点播请求确定出相应的转码规则,然后利用该转码规则对相应的源视频进行转码以得到待检测转码视频,接着利用上述待检测转码视频与相应的参考视频之间的相似度来确定上述待检测转码视频是否会引起异常显示现象,如果不会引起异常显示现象,则将上述待检测转码视频传输给用户端02进行显示;如果会引起异常显示现象,则需要重新对源视频进行再次转码,直到检测到转码视频不会引起异常显示现象。另外,本申请可以按照帧率的不同对同一源视频对应的所有不同规格的待检测转码视频进行分组,得到一组或多组帧率相同的待检测转码视频,然后为上述每组待检测转码视频分别生成相应的一个参考视频,并可以将上述生成的参考视频保存至参考视频数据库,以便后续在计算待检测转码视频和参考视频之间的相似度时直接从参考视频数据库中调取出相应的参考视频来使用即可,有利于加快检测效率。需要指出的是,待检测转码视频的规格具体可以包括但不限于转码后视频的分辨率、编码格式和封装格式。
当然,本申请也可以将上述源视频数据库设置在第三方的业务服务器中,通过上述业务服务器可以专门收集业务端上传的原始视频内容数据。如此一来,当后台服务器01需要使用源视频时,可以通过向上述业务服务器发起相应的源视频调用请求的方式来获取相应的源视频。
本申请中,后台服务器01可以对一个或多个用户端02的点播请求进行响应,可以理解的是,本申请不同的用户端02所发起的点播请求,可以是针对同一个源视频的不同转码视频规格发起的点播请求,也可以是针对不同源视频发起的点播请求。当后台服务器01接收到用户端02发起的一个特定点播请求,则可以先确定出与该特定点播请求对应的源视频以及相应的转码规则,然后利用该转码规则对源视频进行转码以得到待检测转码视频,然后利用上述待检测转码视频与相应参考视频之间的相似度来确定上述待检测转码视频是否能够引起异常显示现象。
图2为本申请实施例提供的一种异常显示检测方法流程图。参见图2所示,该异常显示检测方法包括:
步骤S11:获取对源视频进行转码后得到的待检测转码视频。
本实施例中,源视频是指业务端获取到的原始视频内容数据。视频的封装格式包括但不限于MP4(即MPEG-4Part 14)、MOV(即QuickTime影片格式)、MPG(又称MPEG,即MovingPictures Experts Group)、AVI(即Audio Video Interleaved)、MKV(Matroska多媒体容器)、WMV(即Windows Media Video)、FLV(即FLASH VIDEO)等;另外,视频中的内部音视频数据的编码格式也可能以任意格式存在,其中,视频编码格式包括但不限于MPEG、H.263、H.264、H.265、VP8、VP9等,音频编码格式包括但不限于PCM(即Pulse Code Modulation)、MP3(即MPEG Audio Layer 3)、AAC(即Advanced Audio Coding)、AC3(即Audio Coding 3)、OGG(即OGG Vobis)等。
可以理解的是,由于用户端上播放器的兼容性限制、网络带宽限制、传输协议限制或用户实际的个性化偏好等方面的原因,使得不适合直接在用户端上播放源视频。因此,通常需要先对源视频进行转码,然后将转码视频发送至用户端上进行播放。在实际应用过程中,同一个源视频往往会被转码成不同规格的视频,以满足不同用户端对转码视频规格的个性化需求。其中,转码视频规格具体可以包括但不限于转码后视频的分辨率、编码格式和封装格式。
本实施例中,用户端在获取到用户通过预设接口提交的与源视频对应的转码视频规格的需求信息后,触发相应的点播请求并发送至后台服务器。其中,上述转码视频规格包括转码视频的分辨率、编码格式和封装格式,上述点播请求具体可以包括相应源视频的标识信息和转码视频规格等信息。后台服务器接收并解析上述点播请求,根据相应源视频的标识信息去源视频数据库查找源视频,接着根据源视频的规格以及转码视频规格确定出相应的转码规则,并利用该转码规则对查找到的源视频进行相应的转码处理,以得到待检测转码视频。可以理解的是,针对同一源视频,若用户所需的转码视频规格不同,则相应的转码规则也会存在差异。也即,对于同一源视频,不同的用于创建相应待检测转码视频的转码规则对应于不同的转码视频规格。
例如,假设一个音乐类APP能够为用户提供1080P、720P、480P和360P四种不同的分辨率档位以及MP4和TS(即Transport Stream,传输流)这两种格式,其中,MP4和TS分别可以适应基于HTTP(即HyperText Transfer Protocol)协议和HLS(即HTTP Live Streaming)协议的点播。如果用户提交了针对某个MV源视频的分辨率档位为720P、格式为MP4的转码视频规格信息之后,该音乐类APP触发相应的点播请求并发送至后台服务器,后台服务器根据接收到的点播请求中携带的转码视频规格信息,将上述MV源视频相应地转码成分辨率为720P、格式为MP4的视频以满足用户的实际点播需求。
步骤S12:基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件。
本申请实施例中,基于源视频确定出了参考视频,其中,参考视频的帧率与待检测转码视频的帧率相同,并且,该参考视频与源视频之间在视频画面差异方面需要满足一定的条件,以使得它们之间的视频画面差异足够小,也即,参考视频与源视频在视频画面方面需要具有足够小的视频画面差异,这样可以使得参考视频具有足够好的画质,以便在视频画面方面能够足够清楚地反映出源视频的画面特征,从而使得后续基于参考视频与待检测转码视频之间的相似度得到的异常显示检测结果具有足够的识别准确率。需要指出的是,参考视频与源视频在视频画面方面的差异越小,后续基于参考视频与待检测转码视频之间的相似度得到的异常显示检测结果的准确率越高。为此,本实施例具体可以根据对异常显示检测结果的准确率的实际需求,来设置参考视频与源视频之间在视频画面差异方面所需要满足的所述预设差异条件。可以理解的是,如果对异常显示检测结果的准确率要求越高,所使用的参考视频与源视频之间的视频画面差异则需要越小,也即它们之间的视频画面相似度需要越高。在对异常显示检测结果的准确率要求一般的情况下,为了加快整体的运算速度,本实施例可以适当地降低所使用的参考视频与源视频之间的视频画面相似度。
步骤S13:确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度。
本实施例中,为了能够顺利地计算出参考视频与待检测转码视频之间的相似度,需要尽可能地对参考视频与待检测转码视频进行帧对齐。而为了实现参考视频与待检测转码视频之间的帧对齐,很关键的一点是需要保证参考视频的帧率与待检测转码视频的帧率一致。虽然仅依靠参考视频与待检测转码视频的帧率相同,无法保证做到参考视频与待检测转码视频之间绝对的帧对齐,但此时帧对齐的程度已经能够满足本实施例对帧对齐程度的实际需求,有利于提高后续异常显示检测结果的准确率。
另外,需要强调的是,本实施例中参考视频的分辨率与待检测转码视频的分辨率可以相同,也可以不同。如果参考视频的分辨率不同于待检测转码视频的分辨率,则在计算参考视频与待检测转码视频之间的相似度时,需要先将待检测转码视频的分辨率调整至与参考视频一致的分辨率,然后再计算调整后的待检测转码视频与参考视频之间的相似度以得到所述目标相似度。
本实施例中,所述确定所述待检测转码视频与参考视频之间的相似度,具体可以包括:计算所述待检测转码视频与参考视频之间的峰值信噪比(PSNR,即Peak Signal toNoise Ratio)以得到所述目标相似度。也即,本实施例具体可以通过计算待检测转码视频相对于参考视频的PSNR值,从而得到待检测转码视频和参考视频之间的相似度,以此作为用于检测待检测转码视频是否会导致用户端出现异常显示现象的依据,可以间接地确定出视频转码过程中所使用的转码软件是否存在可以导致花屏、绿屏或黑屏等异常显示问题的漏洞,以便于展开相应的漏洞修复工作。
可以理解的是,本实施例在计算待检测转码视频和参考视频之间的PSNR值时,需要先将预先经过编码的视频数据解码成YUV(Y表示明亮度,U和V表示色度)裸数据,然后利用YUV裸数据来计算PSNR值。其中,上述PSRN值的计算过程可以由后台工作人员编写相应计算程序来完成,也可以使用FFMPEG、OPENCV、MATLAB等开源或商业软件中携带的相应计算方法来完成。在考虑计算效率的情况下,本实施例优先推荐使用FFMPEG,这种方式无需以解码后得到的YUV裸数据作为输入,而是能够直接以经过编码的视频数据作为输入,然后在内部自动解码成YUV裸数据以计算PSNR值,并且在计算的同时可完成分辨率缩放操作,具有较好的运算速度和简易性。
进一步的,本实施例中,除了可以基于PSNR来确定待检测转码视频和参考视频之间的能够用于检测异常显示现象的相似度,还可以通过其他可行方案来确定待检测转码视频和参考视频之间的相似度,以得到所述目标相似度。例如,还可以基于SSIM(即Structural Similarity Index,结构相似性)、VMAF(即Video Multimethod AssessmentFusion,视频质量多方法评价融合)、VIFP(即Pixel-based Visual InformationFidelity,基于像素的视觉信息保真度)等来确定所述目标相似度。
步骤S14:基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频。
本实施例中,待检测转码视频所能引起的异常显示现象包括但不限于花屏、绿屏、黑屏等异常显示现象。
可以理解的是,本实施例中,如果待检测转码视频和参考视频之间的相似度越低,则表明所述待检测转码视频引起用户端出现花屏、绿屏和黑屏等异常显示现象的可能性越大;相反,如果待检测转码视频和参考视频之间的相似度越高,则表明所述待检测转码视频能够引起用户端出现异常显示现象的可能性越小。
本实施例中,当基于所述目标相似度确定出待检测转码视频能够引起异常显示现象之后,可以对源视频重新进行转码以得到更新后的待检测转码视频,然后基于更新后的待检测转码视频与参考视频之间的相似度再次进行异常显示检测操作,直到确定当前待检测转码视频不会引起异常显示现象为止。
进一步的,当确定出待检测转码视频不会引起异常显示现象之后,后台服务器可以将其保存至本地的转码视频数据库。当后续接收到用户端发起的针对该转码视频的点播请求,则可以直接从上述转码视频数据库中调取出相应的转码视频并发送至该用户端,以在该用户端上播放该转码视频,这样可以避免对源视频重复进行与同一转码视频规格对应的转码操作,以及避免反复地对同一转码视频规格对应的转码视频展开上述异常显示检测操作。
另外,需要说明的是,本实施例中,针对同一种转码视频规格的首次转码操作以及相应的首次异常显示检测操作,具体可以为通过后台服务器首次接收到用户端针对该转码视频规格发起的点播请求这一事件来触发的操作,当然也可以是由后台服务器在空闲时间自动触发的操作,通过这种方式可以实现将与多种转码视频规格对应的并被确定不会引起异常显示现象的多个转码视频提前保存至上述转码视频数据库的效果,以便于后续能够对用户端所发起的各种点播请求进行非常快速的响应。
可见,本申请实施例引入了帧率与待检测转码视频的帧率相同并且与源视频之间的视频画面差异符合预设差异条件的参考视频,然后在此基础上,基于待检测转码视频和参考视频之间的相似度来确定待检测转码视频是否会引起异常显示现象,如果会引起视频异常现象,则可以对所述源视频进行重新转码以得到更新后的待检测转码视频;并且,本申请实施例中的上述异常显示检测过程均是在后台服务器中完成的,无需借助前端的图形用户界面来播放转码视频,从而大幅降低了检测过程的时间开销,提升了检测速度。并且,上述检测过程无需对视频播放画面进行分析,避免了在对视频播放画面进行分析时可能会存在的误检情况,从而降低了误检率,提升了异常显示检测过程的客观性、可靠性和准确度。其次,由于上述检测过程均可以通过后台服务器来完成,无需依赖用户端的图形用户界面播放转码视频,有利于对大批量的待检测转码视频展开并发式的异常显示检测,极大地提升了检测效率。另外,上述检测过程无需涉及复杂的AI算法,避免了繁琐的模型训练过程,从而缩短了产品的开发周期,并降低了对设备性能的要求,易于部署推广。
图3为本申请实施例提供的一种具体的异常显示检测方法流程图。参见图3所示,该异常显示检测方法包括:
步骤S21:获取对源视频进行转码后得到的待检测转码视频。
步骤S22:将帧率与所述待检测转码视频的帧率一致的所述源视频直接作为参考视频。
本实施例中,如果所述源视频的帧率与所述待检测转码视频的帧率一致,则选择直接将所述源视频作为参考视频。可以理解的是,由于本实施例直接将源视频作为参考视频,因此该参考视频的视频画面与所述源视频的视频画面是一致的,也即意味着,它们两者之间的视频画面差异能够满足本方案实际所需的画面差异条件。
步骤S23:确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度。
在一种具体实施方式中,如果待检测转码视频的分辨率与参考视频的分辨率不相同,则需要先将待检测转码视频的分辨率调整至参考视频的分辨率,也即需要先将待检测转码视频的分辨率调整至源视频的分辨率,以得到调整后视频,然后计算调整后视频和参考视频之间的相似度,以得到目标相似度。
在另一种具体实施方式中,如果待检测转码视频的分辨率与参考视频的分辨率相同,则可以直接计算待检测转码视频与参考视频之间的相似度,以得到目标相似度。
步骤S24:基于所述目标相似度确定所述待检测转码视频是否能够引起异常显示现象。
可见,本实施例在源视频的帧率和待检测转码视频的帧率一致的前提下,直接将源视频作为参考视频,从而能够极大地减少参考视频创建过程所消耗的时间,并且能够保证参考视频与源视频之间具有非常高的视频画面差异,有利于保证后续的异常显示检测结果具有比较高的准确性。
图4为本申请实施例提供的一种具体的异常显示检测方法流程图。参见图4所示,该异常显示检测方法包括:
步骤S31:获取对源视频进行转码后得到的待检测转码视频。
步骤S32:基于预设转码规则对所述源视频进行转码以得到参考视频;所述预设转码规则中包括与所述待检测转码视频的帧率一致的转码帧率以及基于画质影响因子构建的转码原则,所述转码原则用于控制所述参考视频与所述源视频之间的视频画面差异符合所述预设差异条件。
步骤S33:确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度。
也即,前述实施例中的基于所述源视频确定参考视频的过程,具体可以是基于所述预设转码规则对所述源视频进行转码以得到参考视频。
本实施例中,后台服务器具体通过对源视频进行转码的方式来得到参考视频。其中,在对源视频进行转码以得到参考视频的过程中所使用的所述预设转码规则,可以包括与待检测转码视频的帧率一致的转码帧率以及基于画质影响因子构建的用于控制参考视频与源视频之间的视频画面差异符合预设差异条件的转码原则。其中,通过上述转码帧率可以使得在利用上述预设转码规则对源视频进行转码后,所得到的参考视频的帧率与待检测转码视频的帧率保持一致;通过上述基于画质影响因子构建的转码原则可以使得在利用上述预设转码规则对源视频进行转码后,所得到的参考视频与源视频之间的视频画面差异能够满足所述预设差异条件。
需要指出的是,上述画质影响因子是指能够对视频画质产生影响的影响因子,具体可以包括但不限于恒定质量因子(CRF,即Constant Rate Factor)和/或转码码率。也即,本实施例中,所述基于预设转码规则对所述源视频进行转码以得到参考视频之前,还可以包括:基于恒定质量因子和/或转码码率构建所述转码原则。可以理解的是,CRF值越低,上述转码过程所输出的参考视频的画面越接近源视频的画面;而转码码率越高,意味着压缩率就越低,这样转码损失则越少,使得上述转码后得到的参考视频越接近源视频。可见,本实施例中,后台服务器可以根据实际业务需要,通过降低CRF值或者提高转码码率,提高参考视频与源视频之间的相似度,以使得所创建的参考视频与源视频之间的视频画面差异能够符合所述预设差异条件,此时所得到的参考视频相当于源视频的傀儡视频。
在一种具体实施方式中,所述基于所述源视频确定参考视频,可以包括:基于与所述待检测转码视频的分辨率一致的转码分辨率,对所述源视频进行转码以得到所述参考视频一致。也即,本实施例中,所述基于预设转码规则对所述源视频进行转码以得到参考视频,具体可以包括:基于预设转码规则中的第一转码参数和所述转码原则对所述源视频进行转码以得到参考视频;其中,所述第一转码参数包括所述转码帧率以及与所述待检测转码视频的分辨率一致的转码分辨率。可见,本实施方式中的预设转码规则,除了包含所述转码帧率和所述转码原则之外,还包括与所述待检测转码视频的分辨率一致的转码分辨率。通过上述转码分辨率可以使得在利用上述预设转码规则对源视频进行转码后,所得到的参考视频的分辨率与待检测转码视频的分辨率保持一致。可以理解的是,通过本实施方式中的预设转码规则所创建的参考视频与待检测转码视频之间,在帧率和分辨率上均保持一致,并且相互之间的视频画面差异也满足预设差异条件,因此,后续可以直接计算上述待检测转码视频与参考视频之间的相似度,以得到目标相似度。需要指出的是,本实施方式中,在上述对源视频进行转码以得到参考视频的时候,将参考视频的分辨率设置为与待检测转码视频的分辨率一致,这样一来,后续在计算待检测转码视频和参考视频的相似度时,便无需对待检测转码视频的分辨率进行调整,从而有利于保证后续的异常显示检测结果具有比较高的准确率。
在另一种具体实施方式中,所述基于所述源视频确定参考视频,可以包括:基于与所述待检测转码视频的分辨率不一致的转码分辨率,对所述源视频进行转码以得到所述参考视频。也即,本实施例中,所述基于预设转码规则对所述源视频进行转码以得到参考视频,具体可以包括:基于预设转码规则中的第二转码参数和所述转码原则对所述源视频进行转码以得到参考视频;其中,所述第二转码参数包括所述转码帧率以及与所述待检测转码视频的分辨率不一致的转码分辨率。可见,本实施方式中的预设转码规则,除了包含所述转码帧率和所述转码原则之外,还包括与所述待检测转码视频的分辨率不一致的转码分辨率。如此一来,在利用上述预设转码规则对源视频进行转码后,所得到的参考视频的分辨率与待检测转码视频的分辨率存在差别。为了后续能够计算出待检测转码视频与参考视频之间的相似度,则需要先将待检测转码视频的分辨率调整至参考视频的分辨率以得到调整后视频,然后再计算调整后视频和参考视频之间的相似度,以得到目标相似度。进一步的,为了降低参考视频创建过程的运算复杂度,以降低参考视频对应的转码过程的转码成本并提升转码效率,本实施例可以将参考视频的分辨率设置为与源视频一致的分辨率,也即,在对源视频转码以得到参考视频的过程中,维持了转码前的源视频和转码后的参考视频之间在分辨率上的一致性,有利于降低本次转码过程的运算复杂度,从而降低了转码成本并提升了转码效率。并且,如果此时待检测转码视频的分辨率不同于参考视频的分辨率,则需要先将待检测转码视频的分辨率调整至参考视频的分辨率,也即是调整至源视频的分辨率以得到调整后视频,然后计算调整后视频与参考视频之间的相似度,以得到目标相似度。
步骤S34:基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频。
需要指出的是,由于本实施例中的参考视频是通过对源视频进行转码的方式创建的,因此,本实施例所创建的参考视频与待检测转码视频一样,也存在会引起花屏、绿屏等异常显示现象的可能。为此,本实施例需要对上述通过转码方式创建的参考视频是否存在能够引起异常显示现象的情况进行核实。具体的,参见图5所示,本实施例还可以进一步包括:
步骤S41:统计被确定为能够引起异常显示现象的所述待检测转码视频的数量;
步骤S42:确定所述数量与所述待检测转码视频的总数量之间的比值;
步骤S43:若所述比值大于预设比值阈值,则重新执行所述基于预设转码规则对所述源视频进行转码以得到参考视频的步骤。
也即,本实施例通过计算被确定为能够引起异常显示现象的待检测转码视频的数量与待检测转码视频的总数量之间的比值,来确定当前所使用的参考视频是否是可靠的参考视频。如果上述比值大于预设比值阈值,则表明当前被确定为能够引起异常显示现象的所述待检测转码视频的数量异常偏多,很有可能是因为参考视频自身存在异常显示问题而引起的,因此可以选择基于所述预设转码规则对源视频进行重新转码,以实现对参考视频的更新。
可见,本实施例具体通过对源视频进行转码的方式,来创建与源视频具有足够视频画面相似度并且帧率与待检测转码帧率保持一致的参考视频,通过上述方案,可以使得在源视频的帧率与待检测转码视频的帧率不一致的情况下,依然能够获得可以用于与待检测转码视频进行相似度计算的参考视频,进而保障了后续基于上述相似度的异常显示检测过程的顺利实施。
图6为本申请实施例提供的一种具体的异常显示检测方法流程图。参见图6所示,该异常显示检测方法包括:
步骤S51:获取对源视频进行转码后得到的待检测转码视频。
步骤S52:基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件。
步骤S53:确定所述待检测转码视频的每张视频帧和所述参考视频中相应的每张视频帧之间的相似度,以得到单帧相似度。
本实施例中,在确定出待检测转码视频和参考视频之后,计算待检测转码视频中的每张视频帧与参考视频中相对应的每张视频帧之间的相似度,从而得到待检测转码视频中每张视频帧各自对应的单帧相似度。
步骤S54:利用每张视频帧对应的所述单帧相似度计算相应的平均相似度。
本实施例中,在得到待检测转码视频中每张视频帧各自对应的单帧相似度之后,计算待检测转码视频对应的所有单帧相似度的平均值,从而得到上述平均相似度。
步骤S55:判断每张视频帧对应的所述单帧相似度是否小于第一相似度阈值以及判断所述平均相似度是否小于第二相似度阈值。
步骤S56:若所述平均相似度小于所述第二相似度阈值,则判定所述待检测转码视频中的视频帧普遍存在能够引起异常显示现象的情况,并对所述源视频中的全部视频帧进行重新转码,以得到更新后的待检测转码视频。
步骤S57:若所述平均相似度不小于所述第二相似度阈值并且存在视频帧对应的所述单帧相似度小于所述第一相似度阈值,则判定所述待检测转码视频中的视频帧个别存在的能够引起异常显示现象的情况,并对所述源视频中的相应视频帧进行重新转码,以得到更新后的待检测转码视频。
需要指出的是,在一个较长的待检测转码视频中,如果存在较多的能够引起花屏等异常显示现象的视频数据,则其对应的所述平均相似度的数值会比较小,使得所述平均相似度低于所述第二相似度阈值的概率较高,因此被识别出存在异常视频数据的概率也较高;但如果该待检测转码视频中仅出现极少的能够引起花屏等异常显示现象的视频数据,则这些引起异常显示现象的视频数据对所述平均相似度的影响是比较小的,此时基于所述平均相似度能够识别出存在异常视频数据的概率便较低,因此,这种情况下可以结合单帧相似度是否低于所述第一相似度阈值来进一步加强判断,提高异常视频数据的识别能力。本实施例通过上述单帧相似度,能够识别出待检测转码视频中的极短时间内的异常视频数据,如0.1秒内的异常视频数据;通过上述平均相似度,则可以从整体上发现待检测转码视频所存在的一些问题,如待检测转码视频中是否存在视频截断、损坏等问题,以致使待检测转码视频中出现大量的异常视频数据。
本实施例中,所述基于所述相似度确定所述待检测转码视频是否能够引起异常显示现象之前,还可以进一步包括:基于与待检测转码视频对应的转码码率、恒定质量因子以及检测精度需求,确定所述第一相似度阈值和所述第二相似度阈值。例如,如果上述待检测转码视频与参考视频之间的相似度是通过PSNR值来表征,则基于与待检测转码视频对应的转码码率、恒定质量因子以及检测精度需求所确定出的所述第一相似度阈值和所述第二相似度阈值一般均是低于30dB。
本实施例中,所述异常显示检测方法还可以进一步包括:若所述平均相似度小于所述第二相似度阈值,则说明此时待检测转码视频中存在大量的异常视频数据,为此可以对所述源视频中的全部视频帧进行重新转码,以得到更新后的待检测转码视频;若所述平均相似度不小于所述第二相似度阈值并且存在视频帧对应的所述单帧相似度小于所述第一相似度阈值,则说明此时待检测转码视频中存在少量的异常视频数据,为此可以对所述源视频中的相应视频帧进行重新转码,以得到更新后的待检测转码视频。
本实施例中,如果待检测转码视频对应的所有单帧相似度和平均相似度均高于相应的相似度阈值,则可认定该待检测转码视频中不存在会引起异常显示的视频数据,可直接将其发送至用户端进行显示。
可见,通过本实施例的上述方案,后台服务器可以实现对待检测转码视频中每一视频帧的检测,避免出现由于进行抽帧检测而可能引起的漏检现象,提高了检测结果的可靠性和准确性。
图7和图8示出了本申请实施例的一种具体的异常显示检测方法流程。参见图7和图8所示,该异常显示检测方法包括:
步骤S61:确定针对同一源视频的基于不同转码视频帧率划分的多组转码视频规格;所述转码视频规格包括转码后的帧率、分辨率、编码格式和封装格式。
可以理解的是,在实际应用过程中,针对同一源视频,不同的用户对于转码后视频的规格存在不同的需求,例如对于转码后视频的帧率、分辨率、编码格式等存在不同的需求。对此,本实施例以不同的转码视频帧率为划分依据,对所有不同的转码视频规格进行分组,得到多组转码视频规格,也即,每组转码视频规格对应于不同的转码视频帧率。另外,每组转码视频规格中可以包括多个转码视频规格。可以理解的是,同一组转码视频规格中的所有转码视频规格均具有相同的转码后视频帧率,除了转码后视频帧率之外,同一组转码视频规格中的不同转码视频规格还可以包含不同的转码后视频的分辨率、编码格式和封装格式等。
步骤S62:根据所述多组转码视频规格中的所有不同的转码视频规格确定出相应的不同的转码规则,然后基于上述确定出的不同的转码规则对所述源视频进行相应的转码,以得到与所述多组转码视频规格中的所有转码视频规格对应的多个待检测转码视频。
例如,假设存在5组转码视频规格,每组转码视频规格分别对应于不同的转码视频帧率,并且每组转码视频规格各自均包含4种不同的转码视频规格,那么上述5组转码视频规格中一共包含20种不同的转码视频规格。本实施例基于上述20种不同的转码视频规格确定出相应的20种不同的转码规则,然后基于上述20种不同的转码规则对源视频进行相应的20次转码,从而得到20个不同的待检测转码视频。
步骤S63:根据每组转码视频规格各自对应的不同的转码视频帧率分别确定出不同的预设转码规则,然后利用上述确定出的不同的预设转码规则对源视频进行转码,以得到与所述多组转码视频规格分别一一对应的多个参考视频。
本实施例中,对于同一组转码视频规格中的不同转码视频规格,可以采用同一个参考视频,也即,与同一组转码视频规格对应的不同待检测转码视频,可以采用同一个参考视频。例如,同样以上述5组转码视频规格为例,可以针对每组转码视频规格采用同一个参考视频,其中,每组转码视频规格中的转码视频帧率与相应的参考视频的帧率一致,这样便得到与上述5组转码视频规格分别一一对应的帧率互不相同的5个参考视频。可以理解的是,上述5个参考视频与源视频之间的视频画面差异均符合相应的预设差异条件。
本实施例中,可以将参考视频的分辨率设置为与源视频一致的分辨率,也即,在对源视频转码以得到参考视频的过程中,维持了转码前的源视频和转码后的参考视频之间在分辨率上的一致性,这样有利于降低本次转码过程的运算复杂度,从而降低了转码成本并提升了转码效率。
步骤S64:将每个所述待检测转码视频的分辨率均调整至与相应的所述参考视频的分辨率一致,以得到调整后视频。
本实施例中,当待检测转码视频的分辨率不同于相应的参考视频的分辨率时,则需要将这些待检测转码视频的分辨率调整至与参考视频一致的分辨率,以便能够展开后续的相似度计算过程。
步骤S65:分别计算每个调整后视频与相应的所述参考视频之间的峰值信噪比以得到多个相似度计算结果。
步骤S66:基于每个所述相似度计算结果确定相应的待检测转码视频是否能够引起异常显示现象,如果能够引起异常显示现象,则对所述源视频进行相应的重新转码以得到更新后的待检测转码视频。
可以理解的是,如果某个所述相似度计算结果表明相应的待检测转码视频会引起异常显示现象,则可以单独针对该待检测转码视频,重新对源视频进行转码处理,以得到更新后的待检测转码视频。当所有的待检测转码视频的异常显示问题全部得到解决之后,便可将所有转码视频规格对应的所有转码视频一次性外显输出至用户端。
下面以某款音乐客户端APP的MV视频播放过程为例,对本申请中的技术方案进行说明。
假设这款音乐客户端APP针对分辨率为1080P的源MV视频《凉凉》,为用户提供了720P、480P以及360P这三种不同分辨率档位的观看体验。后台服务器可以基于上述三种分辨率档位,分别将1080P的源MV视频《凉凉》转码成720P的第一待检测转码MV视频、480P的第二待检测转码MV视频以及360P的第三待检测转码MV视频。其中,第一待检测转码MV视频、第二待检测转码MV视频和第三待检测转码MV视频的帧率均相同。
并且,基于降低CRF值和提高转码码率的方式,将源MV视频《凉凉》转码成参考MV视频,其中,上述参考MV视频的帧率与前述三个待检测转码MV视频的帧率均相同,所述参考MV视频的分辨率与源MV视频的分辨率一致,均为1080P。
将第一待检测转码MV视频的分辨率由720P调整至1080P,得到第一调整后MV视频。将第二待检测转码MV视频的分辨率由480P调整至1080P,得到第二调整后MV视频。将第三待检测转码MV视频的分辨率由360P调整至1080P,得到第三调整后MV视频。
接着,计算第一调整后MV视频相对于所述参考MV视频的峰值信噪比,以得到第一相似度计算结果,计算第二调整后MV视频相对于所述参考MV视频的峰值信噪比,以得到第二相似度计算结果,以及计算第三调整后MV视频相对于所述参考MV视频的峰值信噪比,以得到第三相似度计算结果。
通过判断每一相似度计算结果中的单帧相似度与第一相似度阈值的大小关系以及每一相似度计算结果中的平均相似度与第二相似度阈值的大小关系,以确定相应的待检测转码MV视频是否会引起异常显示现象。
如果存在任意待检测转码MV视频会引起异常显示现象,则针对相应的待检测转码MV视频,重新对源MV视频进行相应的转码处理,以得到更新后的待检测转码MV视频,当所有的待检测转码MV视频均不会引起异常显示时,则可以将所有的待检测转码MV视频发送至音乐客户端APP进行显示,或者也可以将它们保存至后台服务器的本地存储中。当后续接收到用户端发起的针对某一规格的转码MV视频点播请求时,则可以从本地存储中调取出相应的转码MV视频并返回至用户端进行显示。
参见图9所示,本申请实施例还相应公开的一种异常显示检测装置,应用于后台服务器,包括:
视频转码模块11,用于获取对源视频进行转码后得到的待检测转码视频;
参考视频确定模块12,用于基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件;
相似度确定模块13,用于确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度;
异常显示判断模块14,用于基于所述目标相似度确定所述待检测转码视频引起异常显示现象;
重新转码模块15,用于当所述待检测转码视频引起异常显示现象,则对所述源视频进行重新转码以得到更新后的待检测转码视频。
可见,本申请实施例引入了帧率与待检测转码视频的帧率相同并且与源视频之间的视频画面差异符合预设差异条件的参考视频,然后在此基础上,基于待检测转码视频和参考视频之间的相似度来确定待检测转码视频是否会引起异常显示现象,如果会引起视频异常现象,则可以对所述源视频进行重新转码以得到更新后的待检测转码视频;并且,本申请实施例中的上述异常显示检测过程均是在后台服务器中完成的,无需借助前端的图形用户界面来播放转码视频,从而大幅降低了检测过程的时间开销,提升了检测速度。并且,上述检测过程无需对视频播放画面进行分析,避免了在对视频播放画面进行分析时可能会存在的误检情况,从而降低了误检率,提升了异常显示检测过程的客观性、可靠性和准确度。其次,由于上述检测过程均可以通过后台服务器来完成,无需依赖用户端的图形用户界面播放转码视频,有利于对大批量的待检测转码视频展开并发式的异常显示检测,极大地提升了检测效率。另外,上述检测过程无需涉及复杂的AI算法,避免了繁琐的模型训练过程,从而缩短了产品的开发周期,并降低了对设备性能的要求,易于部署推广。
在一些具体实施例中,所述参考视频确定模块12包括:
第一参考视频创建模块,用于当所述源视频的帧率与所述待检测转码视频的帧率一致,则直接将所述源视频作为所述参考视频;
在一些具体实施例中,所述参考视频确定模块12包括:
第二参考视频创建模块,用于基于预设转码规则对所述源视频进行转码以得到所述参考视频;
其中,所述预设转码规则中包括与所述待检测转码视频的帧率一致的转码帧率以及基于画质影响因子构建的转码原则,所述转码原则用于控制所述参考视频与所述源视频之间的视频画面差异符合所述预设差异条件。
在一些具体实施例中,所述参考视频确定模块12,具体用于:基于与所述待检测转码视频的分辨率一致的转码分辨率,对所述源视频进行转码以得到所述参考视频。
在一些具体实施例中,所述参考视频确定模块12,具体用于:基于与所述待检测转码视频的分辨率不一致的转码分辨率,对所述源视频进行转码以得到所述参考视频;
相应的,所述相似度确定模块13,具体包括:
分辨率调整单元,用于将所述待检测转码视频的分辨率调整至所述参考视频的分辨率得到调整后视频;
相似度计算单元,用于计算所述调整后视频和所述参考视频之间的相似度。
在一些具体实施例中,所述异常显示检测装置还包括:
转码原则创建模块,用于基于恒定质量因子和/或转码码率构建所述转码原则。
在一些具体实施例中,所述异常显示检测装置还包括:
数量统计模块,用于统计被确定为能够引起异常显示现象的所述待检测转码视频的数量;
比值确定模块,用于确定所述数量与所述待检测转码视频的总数量之间的比值;
重新执行模块,用于当所述比值大于预设比值阈值,则重新执行所述基于预设转码规则对所述源视频进行转码以得到参考视频的步骤。
在一些具体实施例中,所述相似度确定模块13,具体用于计算所述待检测转码视频与所述参考视频之间的峰值信噪比以得到所述目标相似度。
在一些具体实施例中,所述相似度确定模块13,具体包括:
第一相似度确定单元,用于确定所述待检测转码视频的每张视频帧和所述参考视频中相应的每张视频帧之间的相似度,以得到单帧相似度;
第二相似度确定单元,用于利用每张视频帧对应的所述单帧相似度计算相应的平均相似度;
相应的,所述异常显示判断模块14,具体用于判断每张视频帧对应的所述单帧相似度是否小于第一相似度阈值以及判断所述平均相似度是否小于第二相似度阈值;若所述平均相似度小于所述第二相似度阈值,则判定所述待检测转码视频中的视频帧普遍存在能够引起异常显示现象的情况;若所述平均相似度不小于所述第二相似度阈值并且存在视频帧对应的所述单帧相似度小于所述第一相似度阈值,则判定所述待检测转码视频中的视频帧个别存在的能够引起异常显示现象的情况。
相应的,所述重新转码模块15包括:
第一重新转码模块,用于当所述平均相似度小于所述第二相似度阈值,则对所述源视频中的全部视频帧进行重新转码,以得到更新后的待检测转码视频;
第二重新转码模块,用于当所述平均相似度不小于所述第二相似度阈值并且存在视频帧对应的所述单帧相似度小于所述第一相似度阈值,则对所述源视频中的相应视频帧进行重新转码,以得到更新后的待检测转码视频。
进一步的,本申请实施例还提供了一种电子设备。图10是根据一示例性实施例示出的电子设备20结构图,图中的内容不能被认为是对本申请的使用范围的任何限制。
图10为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的异常显示检测方法中的相关步骤。另外,本实施例中的电子设备20具体可以为服务器。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222及视频数据223等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中海量视频数据223的运算与处理,其可以是WindowsServer、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的异常显示检测方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的各种视频数据。
进一步的,本申请实施例还公开了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的异常显示检测方法步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种异常显示检测方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种异常显示检测方法,其特征在于,应用于后台服务器,包括:
获取对源视频进行转码后得到的待检测转码视频;
基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件;
确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度;
基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频。
2.根据权利要求1所述的异常显示检测方法,其特征在于,所述基于所述源视频确定参考视频,包括:
若所述源视频的帧率与所述待检测转码视频的帧率一致,则直接将所述源视频作为所述参考视频。
3.根据权利要求1所述的异常显示检测方法,其特征在于,所述基于所述源视频确定参考视频,包括:
基于预设转码规则对所述源视频进行转码以得到所述参考视频;
其中,所述预设转码规则中包括与所述待检测转码视频的帧率一致的转码帧率以及基于画质影响因子构建的转码原则,所述转码原则用于控制所述参考视频与所述源视频之间的视频画面差异符合所述预设差异条件。
4.根据权利要求1所述的异常显示检测方法,其特征在于,所述基于所述源视频确定参考视频,包括:
基于与所述待检测转码视频的分辨率一致的转码分辨率,对所述源视频进行转码以得到所述参考视频。
5.根据权利要求1所述的异常显示检测方法,其特征在于,所述基于所述源视频确定参考视频,包括:
基于与所述待检测转码视频的分辨率不一致的转码分辨率,对所述源视频进行转码以得到所述参考视频;
相应的,所述确定所述待检测转码视频与所述参考视频之间的相似度,包括:
将所述待检测转码视频的分辨率调整至所述参考视频的分辨率得到调整后视频,计算所述调整后视频和所述参考视频之间的相似度。
6.根据权利要求3所述的异常显示检测方法,其特征在于,所述基于预设转码规则对所述源视频进行转码以得到所述参考视频之前,还包括:
基于恒定质量因子和/或转码码率构建所述转码原则。
7.根据权利要求3所述的异常显示检测方法,其特征在于,还包括:
统计被确定为能够引起异常显示现象的所述待检测转码视频的数量;
确定所述数量与所述待检测转码视频的总数量之间的比值;
若所述比值大于预设比值阈值,则重新执行所述基于预设转码规则对所述源视频进行转码以得到参考视频的步骤。
8.根据权利要求1至7任一项所述的异常显示检测方法,其特征在于,所述确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度,包括:
计算所述待检测转码视频与所述参考视频之间的峰值信噪比以得到所述目标相似度。
9.根据权利要求1至7任一项所述的异常显示检测方法,其特征在于,所述确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度,基于所述目标相似度确定所述待检测转码视频引起异常显示现象,以对所述源视频进行重新转码以得到更新后的待检测转码视频,包括:
确定所述待检测转码视频的每张视频帧和所述参考视频中相应的每张视频帧之间的相似度,以得到单帧相似度;
利用每张视频帧对应的所述单帧相似度计算相应的平均相似度;
判断每张视频帧对应的所述单帧相似度是否小于第一相似度阈值以及判断所述平均相似度是否小于第二相似度阈值;
若所述平均相似度小于所述第二相似度阈值,则判定所述待检测转码视频中的视频帧普遍存在能够引起异常显示现象的情况,并对所述源视频中的全部视频帧进行重新转码,以得到更新后的待检测转码视频;和/或,
若所述平均相似度不小于所述第二相似度阈值并且存在视频帧对应的所述单帧相似度小于所述第一相似度阈值,则判定所述待检测转码视频中的视频帧个别存在的能够引起异常显示现象的情况,并对所述源视频中的相应视频帧进行重新转码,以得到更新后的待检测转码视频。
10.一种异常显示检测装置,其特征在于,应用于后台服务器,包括:
视频转码模块,用于获取对源视频进行转码后得到的待检测转码视频;
参考视频确定模块,用于基于所述源视频确定参考视频;所述参考视频的帧率与所述待检测转码视频的帧率相同,并且,所述参考视频与所述源视频之间的视频画面差异符合预设差异条件;
相似度确定模块,用于确定所述待检测转码视频与所述参考视频之间的相似度,以得到目标相似度;
异常显示判断模块,用于基于所述目标相似度确定所述待检测转码视频引起异常显示现象;
重新转码模块,用于当所述待检测转码视频引起异常显示现象,则对所述源视频进行重新转码以得到更新后的待检测转码视频。
11.一种电子设备,其特征在于,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1至9任一项所述的异常显示检测方法。
12.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的异常显示检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010716858.3A CN111818338B (zh) | 2020-07-23 | 2020-07-23 | 一种异常显示检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010716858.3A CN111818338B (zh) | 2020-07-23 | 2020-07-23 | 一种异常显示检测方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111818338A true CN111818338A (zh) | 2020-10-23 |
CN111818338B CN111818338B (zh) | 2022-10-11 |
Family
ID=72862435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010716858.3A Active CN111818338B (zh) | 2020-07-23 | 2020-07-23 | 一种异常显示检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111818338B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114143534A (zh) * | 2021-11-26 | 2022-03-04 | 京东方科技集团股份有限公司 | 一种展示状态监测方法、装置、电子设备和可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040252761A1 (en) * | 2003-06-16 | 2004-12-16 | Dilithium Networks Pty Limited (An Australian Corporation) | Method and apparatus for handling video communication errors |
US9615098B1 (en) * | 2009-11-30 | 2017-04-04 | Google Inc. | Adaptive resolution transcoding for optimal visual quality |
WO2018010662A1 (zh) * | 2016-07-13 | 2018-01-18 | 腾讯科技(深圳)有限公司 | 视频文件的转码方法,装置及存储介质 |
CN110049313A (zh) * | 2019-04-17 | 2019-07-23 | 微梦创科网络科技(中国)有限公司 | 一种视频测试方法及系统 |
CN110891195A (zh) * | 2019-11-22 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 花屏图像的生成方法、装置、设备和存储介质 |
CN111093094A (zh) * | 2019-12-03 | 2020-05-01 | 深圳市万佳安物联科技股份有限公司 | 视频转码方法、装置、系统及电子设备及可读存储介质 |
CN111277846A (zh) * | 2020-01-15 | 2020-06-12 | 广州虎牙科技有限公司 | 一种直播的异常定位方法、装置、计算机设备和存储介质 |
CN113596467A (zh) * | 2020-04-30 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 一种转码服务的检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-23 CN CN202010716858.3A patent/CN111818338B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040252761A1 (en) * | 2003-06-16 | 2004-12-16 | Dilithium Networks Pty Limited (An Australian Corporation) | Method and apparatus for handling video communication errors |
US9615098B1 (en) * | 2009-11-30 | 2017-04-04 | Google Inc. | Adaptive resolution transcoding for optimal visual quality |
WO2018010662A1 (zh) * | 2016-07-13 | 2018-01-18 | 腾讯科技(深圳)有限公司 | 视频文件的转码方法,装置及存储介质 |
CN110049313A (zh) * | 2019-04-17 | 2019-07-23 | 微梦创科网络科技(中国)有限公司 | 一种视频测试方法及系统 |
CN110891195A (zh) * | 2019-11-22 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 花屏图像的生成方法、装置、设备和存储介质 |
CN111093094A (zh) * | 2019-12-03 | 2020-05-01 | 深圳市万佳安物联科技股份有限公司 | 视频转码方法、装置、系统及电子设备及可读存储介质 |
CN111277846A (zh) * | 2020-01-15 | 2020-06-12 | 广州虎牙科技有限公司 | 一种直播的异常定位方法、装置、计算机设备和存储介质 |
CN113596467A (zh) * | 2020-04-30 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 一种转码服务的检测方法、装置、电子设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114143534A (zh) * | 2021-11-26 | 2022-03-04 | 京东方科技集团股份有限公司 | 一种展示状态监测方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111818338B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
USRE49990E1 (en) | Use of objective quality measures of streamed content to reduce streaming bandwidth | |
CN109844736B (zh) | 概括视频内容 | |
US9264475B2 (en) | Use of objective quality measures of streamed content to reduce streaming bandwidth | |
US11416546B2 (en) | Content type detection in videos using multiple classifiers | |
WO2017041366A1 (zh) | 图像识别方法和装置 | |
US9854232B2 (en) | Systems and methods for picture quality monitoring | |
US20150156557A1 (en) | Display apparatus, method of displaying image thereof, and computer-readable recording medium | |
US10567825B2 (en) | Cloud DVR storage | |
CN111263243B (zh) | 视频编码方法、装置、计算机可读介质及电子设备 | |
US11356739B2 (en) | Video playback method, terminal apparatus, and storage medium | |
CN113784118A (zh) | 视频质量评估方法及装置、电子设备和存储介质 | |
CN114245209A (zh) | 视频分辨率确定、模型训练、视频编码方法及装置 | |
CN111818338B (zh) | 一种异常显示检测方法、装置、设备及介质 | |
Saha et al. | Perceptual video quality assessment: The journey continues! | |
US10250941B2 (en) | System and method for mapping affiliated graphs using video fingerprints | |
CN113452996A (zh) | 一种视频编码、解码方法及装置 | |
US9916867B2 (en) | Video capture and testing of media player playback of a video | |
CN111918074A (zh) | 直播视频故障预警方法及相关设备 | |
CN115379291B (zh) | 一种码表更新方法、装置、设备及存储介质 | |
CN108989905B (zh) | 媒体流控制方法、装置、计算设备及存储介质 | |
US20170374432A1 (en) | System and method for adaptive video streaming with quality equivalent segmentation and delivery | |
US11641496B2 (en) | Method for just-in-time transcoding of byterange-addressable parts | |
US20220232275A1 (en) | Adaptive bitrate video testing from screen recording | |
EP4068779A1 (en) | Cross-validation of video encoding | |
US10885343B1 (en) | Repairing missing frames in recorded video with machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |