CN112492297B - 一种对视频的处理方法以及相关设备 - Google Patents

一种对视频的处理方法以及相关设备 Download PDF

Info

Publication number
CN112492297B
CN112492297B CN202011286186.3A CN202011286186A CN112492297B CN 112492297 B CN112492297 B CN 112492297B CN 202011286186 A CN202011286186 A CN 202011286186A CN 112492297 B CN112492297 B CN 112492297B
Authority
CN
China
Prior art keywords
video
quality
detected
low
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011286186.3A
Other languages
English (en)
Other versions
CN112492297A (zh
Inventor
龚桂良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011286186.3A priority Critical patent/CN112492297B/zh
Publication of CN112492297A publication Critical patent/CN112492297A/zh
Application granted granted Critical
Publication of CN112492297B publication Critical patent/CN112492297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种对视频的处理方法以及相关设备,其中,方法包括:获取待检测视频,并对待检测视频的图像帧进行预处理,得到预处理后的待检测视频;对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数;当根据质量参数确定待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因,并根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;将低质量原因和拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示信息,通过该实施例,一方面可以提升视频质量检测的准确度,另一方面可以给出拍摄调整策略,以针对性的提高视频拍摄质量。

Description

一种对视频的处理方法以及相关设备
技术领域
本申请涉及人工智能领域,尤其涉及一种对视频的处理方法、一种视频处理装置、一种计算机设备以及一种计算机可读存储介质。
背景技术
随着互联网时代的快速发展,直播视频以及其他各类视频都在正在兴起,不同的用户可以在不同的环境、不同的网络状况,甚至不同的网络设备上去上传或下载视频,但由于海量的数据汇集,导致视频的质量参差不齐,从而影响了用户的观看体验,所以,针对视频质量的检测便成了当下比较火热的研究热点之一。
目前,大多数对视频质量检测的技术都比较依赖人工,且大多数视频都是只检测了视频的清晰度,但针对大量的视频,怎样实现快速且准确的检测视频的质量便成为了亟待解决的问题。
发明内容
本申请实施例提供了一种对视频的处理方法以及相关设备,一方面可以提升视频质量检测的准确度,另一方面可以给出拍摄调整策略,以针对性的提高视频拍摄质量。
本申请实施一方面公开了一种对视频的处理方法,该方法包括:
获取待检测视频,并对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频;
对所述预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定所述待检测视频的质量参数;
当根据所述质量参数确定所述待检测视频为低质量视频时,根据所述质量参数确定所述待检测视频对应的低质量原因,并根据所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略;
将所述低质量原因和所述拍摄调整策略发送给客户端,以使所述客户端根据所述低质量原因和所述拍摄调整策略输出目标提示信息。
本申请实施一方面公开了一种视频处理装置,该装置包括:
获取单元,用于获取待检测视频;
处理单元,用于对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频;
所述处理单元,还用于对所述预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定所述待检测视频的质量参数;
确定单元,用于当根据所述质量参数确定所述待检测视频为低质量视频时,根据所述质量参数确定所述待检测视频对应的低质量原因;
所述处理单元,还用于根据所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略;
发送单元,用于将所述低质量原因和所述拍摄调整策略发送给客户端,以使所述客户端根据所述低质量原因和所述拍摄调整策略输出目标提示信息。
在一种可能的实现方式中,确定单元,还用于根据所述质量参数确定所述待检测视频的质量评分;
处理单元,还用于检测所述质量评分是否小于或者等于评分阈值;
确定单元,还用于若所述质量评分小于或者等于所述评分阈值,则确定所述待检测视频为低质量视频。
在一种可能的实现方式中,确定单元,还用于根据提取的特征数据确定所述待检测视频对应的视频场景类型;
处理单元,还用于根据所述视频场景类型和所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略。
在一种可能的实现方式中,确定单元,用于根据所述待检测视频的图像帧的原始尺寸和目标尺寸确定等比缩放比例;
处理单元,还用于:
按照所述等比缩放比例对所述待检测视频的图像帧进行等比缩放处理;
当等比缩放处理后的图像帧的尺寸与所述目标尺寸相匹配时,根据所述等比缩放处理后的图像帧生成预处理后的待检测视频。
在一种可能的实现方式中,处理单元,还用于:
当所述等比缩放处理后的图像帧的尺寸与所述目标尺寸不匹配时,对所述等比缩放处理后的图像帧进行填充处理,以使填充处理后的图像帧的尺寸与所述目标尺寸匹配;
根据所述填充处理后的图像帧生成预处理后的待检测视频。
在一种可能的实现方式中,获取单元,用于获取训练数据集,所述训练数据集包括样本视频集以及所述样本视频集中各个样本视频所对应的样本参数;
处理单元,用于利用所述训练数据集对初始化模型进行训练,得到所述目标模型。
在一种可能的实现方式中,获取单元,用于获取样本视频,获取所述样本视频的样本视频标识、样本视频质量评分、样本视频场景类型和样本视频低质量原因;
处理单元,用于建立所述样本视频标识、所述样本视频质量评分、所述样本视频场景类型以及所述样本视频低质量原因之间的映射关系,并根据所述样本视频和所述映射关系得到所述训练数据集。
在一种可能的实现方式中,获取单元,用于获取所述客户端发送的视频,其中,所述客户端发送的视频为在直播的过程中所述客户端截取的视频段;
发送单元,用于根据所述客户端发送的视频获取待检测视频。
本申请实施例一方面公开了一种计算机设备,所述计算机设备包括存储器和处理器:所述存储器,用于存储计算机程序;所述处理器运行所述计算机程序,实现上述的对视频的处理方法。
本申请实施例一方面公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器运行时,执行上述的对视频的处理方法。
本申请实施例一方面公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的对视频的处理方法。
本申请实施例中,计算机设备对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数;当根据质量参数确定待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因,并根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;将低质量原因和拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示信息,通过该实施例,一方面可以提高对视频质量检测的准确度,准度识别出视频低质量时所对应的原因;另一面,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种视频处理系统的架构示意图;
图2是本申请实施例公开的一种对视频的处理方法的流程示意图;
图3是本申请实施例公开的一种示例性的客户端界面显示的示意图;
图4是本申请实施例公开的另一种对视频的处理方法的流程示意图;
图5是本申请实施例公开的一种基于resnet18的模型的结构示意图;
图6是本申请实施例公开的一种基于resnet18的散点图的示意图;
图7是本申请实施例公开的一种对视频的处理方法对应的预测示意图;
图8示出了针对视频拍摄策略下发生成的相关信息;
图9是本申请实施例公开的一种视频处理装置的结构示意图;
图10是本申请实施例公开的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请涉及人工智能技术下属的计算机视觉技术以及机器学习。其中,计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案具体涉及人工智能的计算机视觉技术以及机器学习等技术,具体通过如下实施例进行说明:
计算机设备获取待检测视频,利用计算机视觉技术对待检测视频的图像帧进行预处理,得到预处理后的待检测视频;并利用机器学习技术对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数;当根据质量参数确定待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因,并根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;将低质量原因和拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示信息,通过该实施例,一方面可以提高对视频质量检测的准确度,准度识别出视频低质量时所对应的原因;另一面,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
请参见图1,图1为本申请实施例公开的一种视频处理系统的架构示意图,如图1所示,该视频处理系统的架构图100可以包括客户端101、计算机设备102。其中,客户端101与计算机设备102可以进行通信连接。其中,客户端101主要用于向计算机设备102发送视频,客户端101还用于接收计算机设备102对视频进行质量检测后所返回的视频的低质量原因,以及接收用于提升视频拍摄质量的拍摄调整策略,客户端101还可以根据拍摄调整策略和低质量原因生成对应的目标提示信息,并在客户端101的可视化界面上输出目标提示信息,目标提示信息主要是提供给用户的;计算机设备102主要用于对待检测视频进行处理,以得到待检测视频所对应的质量评分、视频场景类型以及对应的低质量原因,并根据低质量原因以及视频场景类型生成对应的拍摄调整策略,进而将拍摄调整策略和低质量原因发送给客户端101。
在一种可能的实现方式中,计算机设备102获取待检测视频,并对待检测视频的图像帧进行预处理,得到预处理后的待检测视频;对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数;当根据质量参数确定待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因,并根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;将低质量原因和拍摄调整策略发送给客户端101,以使客户端101根据低质量原因和拍摄调整策略输出目标提示信息,通过该实施例,一方面可以提高对视频质量检测的准确度,准度识别出视频低质量时所对应的原因;另一面,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
在一种可能的实现方式中,计算机设备102获取样本视频,并获取样本视频的样本视频标识、样本视频质量评分、样本视频场景类型和样本视频低质量原因,建立样本视频标识、样本视频质量评分、样本视频场景类型以及样本视频低质量原因之间的映射关系,根据样本视频和映射关系得到训练数据集,再利用训练数据集对初始化模型进行训练,得到目标模型。通过该方法对训练数据集进行构建,可以多方面评估视频的质量,从而达到提升对视频质量检测的准确性的效果。
对客户端101进行解释,作为在此使用的“客户端”包括但不限于用户设备、具有无线通信功能的手持式设备、车载设备、可穿戴设备或计算设备。示例性地,客户端101可以是手机(mobile phone)、平板电脑或带无线收发功能的电脑。客户端101还可以是虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、远程医疗中的无线终端设备、智能电网中的无线终端设备、智慧城市(smart city)中的无线终端设备、智慧家庭(smart home)中的无线终端设备等等。本申请实施例中,用于实现客户端的功能的装置可以是终端;也可以是能够支持终端设备实现该功能的装置,例如芯片系统,该装置可以被安装在终端设备中。本申请实施例提供的技术方案中,以用于实现客户端的功能的装置是客户端为例,描述本申请实施例提供的技术方案。
对计算机设备102进行解释,计算机设备102具体可以是服务器,这里的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器,本申请实施例在此不作限制。本申请实施例提供的技术方案中,以计算机设备为例,描述本申请实施例提供的技术方案。
请参见图2,图2是本申请实施例公开的一种对视频的处理方法的流程示意图,其执行主体可以是图1所示的计算机设备102,具体可以是服务器,该流程图主要可以包括以下步骤:
S201、计算机设备获取待检测视频,并对待检测视频的图像帧进行预处理,得到预处理后的待检测视频。
在一种可能的实现方式中,计算机设备获取的待检测视频可以是客户端发送的视频,进而根据客户端发送的视频获取待检测视频。客户端发送的视频可以是用户在直播的过程中,客户端根据相关规则进行截取的视频段,在本申请实施例中,相关规则可以是根据预设的时间点,如利用定时器实现,还可以是周期性的截取,如利用循环计时器实现,本申请实施例不对此处的相关规则进行具体的限定;客户端发送的视频也可以是用户上传至客户端的实时视频,如用户想要通过在客户端的某个应用软件上传某段视频到互联网上去,上传的这段视频便可以作为此处的实时视频。进一步地,计算机设备在获取到客户端发送的视频后,根据计算机设备所设定的一个预设视频长度,对客户端发送的视频进行一个处理,例如,若是客户端发送的视频长度(时间长度)大于了预设视频长度,则对视频进行片段截取,将截取后的视频作为待检测视频;若是客户端发送的视频长度小于或者等于预设视频长度,那么就可以直接将客户端发送的视频作为待检测视频。
在一种可能的实现方式中,计算机设备获取到待检测视频后,对待检测视频的图像帧进行预处理,具体可以是:计算机设备根据待检测视频的图像帧的原始尺寸和目标尺寸确定等比缩放比例,确定等比缩放比例的时候可以是按照目标尺寸的长为基准,也可以按照目标尺寸的宽为基准,具体根据每张图像帧原始尺寸大小进行选择,其中,按照等比缩放比例对图像进行缩放,可以最大程度的减少压缩图像或者裁剪图像等带来的计算冗余,也能最大程度的保持图像帧的结构信息;计算机设备按照确定的等比缩放比例对待检测视频的图像帧进行等比缩放处理;当等比缩放处理后的图像帧的尺寸与目标尺寸相匹配时,则根据等比缩放处理后的图像帧生成预处理后的待检测视频,若是等比缩放处理后的图像帧的尺寸与目标尺寸不匹配时,再对等比缩放处理后的图像帧进行填充处理,以使填充处理后的图像帧的尺寸与目标尺寸相匹配,再根据填充处理后的图像帧生成预处理后的待检测视频。通过这种方式对视频的图像帧进行处理,可以解决裁剪和压缩打来的计算冗余以及信息损失。
例如,待检测视频的一张图像帧的原始尺寸为1344×896,假定目标尺寸为672×448,则计算机设备可以根据目标尺寸的长为基准,确定出等比缩放比例为2,则根据缩放比例对图像帧的原始尺寸(1344×896)进行缩小后,得到的尺寸为672×448,我们可以看出缩放处理后的图像帧的尺寸大小672×448与目标尺寸672×448是匹配的,即等比缩放后的尺寸与目标尺寸一样,所以可以直接根据缩放处理后的图像帧生成待检测视频。又例如,待检测视频的一张图像帧的原始尺寸为1344×880,假定目标尺寸为672×448,则计算机设备可以根据目标尺寸的长为基准,确定出等比缩放比例为2,则根据缩放比例对图像帧的原始尺寸(1344×880)进行缩小后,得到的尺寸为672×440,我们可以看出672×440与目标尺寸672×448并不匹配,即等比缩放后的尺寸比目标尺寸稍微小一点,所以需要对尺寸大小为672×440的图像帧进行填充处理,以使得填充后的尺寸与目标尺寸相匹配,进而根据填充处理后的图像帧生成预处理后的待检测视频。
S202、计算机设备对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数。
其中,计算机设备对预处理后的待检测视频的图像帧进行特征提取,可以是针对预处理后的待检测视频的所有图像帧,也可以是针对预处理后的待检测视频的部分图像帧。
在一种可能的实现方式中,计算机设备对预处理后的待检测视频的图像帧进行特征提取,在本申请实施例中,主要是依赖神经网络层的卷积层进行卷积操作以得到不同的特征数据,具体是根据图像帧的像素点,提取出图像帧的特征数据。图像帧的特征数据有些是可以直观地感受到的自然特征,如亮度、边缘、纹理和色彩等;有些则是需要通过变换或者处理才能得到的,如矩、直方图以及主成份等。本申请主要是针对后者,得到了对应的数值后,进行训练以实现机器对图像的识别。提取到待检测视频的图像帧的特征数据后,根据特征数据确定质量参数,质量参数主要用于对待检测视频的质量进行评判。其中,质量参数可以包括像素值、采样率、分辨率以及噪声等。
S203、当根据质量参数确定待检测视频为低质量视频时,计算机设备根据质量参数确定待检测视频对应的低质量原因,并根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略。
在一种可能的实现方式中,计算机设备根据获取到的待检测视频的特征数据确定了质量参数后,根据该质量参数进行计算从而确定出待检测视频的质量评分,质量评分为一个具体的数值,再检测待检测视频的质量评分是否小于或者等于评分阈值,评分阈值是一个设定的参数,一般都是根据历史参数统计得到的。若待检测视频的质量评分小于或者等于评分阈值,则可以确定待检测视频为低质量视频,这里的低质量视频是综合了视频的各个方面,如清晰度、饱和度、信噪比等,评估出来的一个相对概念。反之,若待检测视频的质量评分大于评分阈值,则可以不把待检测视频作为低质量视频,也可以作为高质量视频进行存储,以供用户浏览下载。
在一种可能的实现方式中,当计算机设备根据待检测视频的质量分数确定出待检测视频为低质量视频后,便根据质量参数确定待检测视频为低质量视频的低质量原因,从质量参数中确定哪些参数是非正常值,进而确定出低质量原因。具体的,低质量原因可以包括过曝、噪声、蒙层、杂光以及其他原因等等,这里不进行一一列举。确定出低质量视频对应的低质量原因后,可以根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略,如低质量原因为过曝,那么生成的拍摄调整策略便是调整曝光度。
在一种可能的实现方式中,计算机设备还可以根据提取的特征数据确定出待检测视频所对应的视频场景类型,视频场景类型可以分为户外场景、室内场景、动漫头场景、漫画场景、MV场景、三明治结构场景(即没有背景,构图简单的场景)以及其他场景等等,这里不进行一一列举。计算机设备生成拍摄调整策略时,可以结合视频场景类型以及视频的低质量原因生成更为优化的拍摄调整策略,例如,检测到待检测视频为低质量视频时所对应的低质量原因为过曝,且视频场景类型为室外时,则生成的拍摄调整策略可以是调整曝光度并建议调整拍摄位置。
S204、计算机设备将低质量原因和拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整方案输出目标提示信息。
在一种可能的实现方式中,计算机设备将低质量原因和拍摄调整策略发送给客户端,以使得客户端根据低质量原因和拍摄调整方案输出目标提示信息。对于客户端,可以有一套专门生成目标提示信息的规则,即接收到低质量原因和拍摄调整方案后,会自动生成目标提示信息,经过一套这样的规则优化后,目标提示信息可能会更生动,让用户更容易接受和理解,输出的目标提示信息具体可以是:“您的直播间光线过暗,请尝试调整灯光以改善直播画面”。输出的目标提示信息是以可视化界面显示给用户看的,可以如图3所示,图3是本申请实施例公开的一种示例性的客户端界面显示的示意图,图3表示的是一个直播的场景,针对直播的视频,在经过计算机设备对直播的片段视频进行检测评分(包括视频的质量评分、视频场景类型、视频低质量原因对应的拍摄调整策略)后,输出了“您的直播间光线过暗,请尝试调整灯光以改善直播画面”的目标提示信息,目标提示信息如图3中的30区域所示,直播用户收到这样的目标提示信息后,可以根据具体情况进行相对应的调整。
本申请实施中,计算机设备获取待检测视频,并对待检测视频的图像帧进行预处理,得到预处理后的待检测视频;对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数;当根据质量参数确定待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因,并根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;将低质量原因和拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示信息,通过该实施例,一方面可以提高对视频质量检测的准确度,准度识别出视频低质量时所对应的原因;另一面,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
请参见图4,图4是本申请实施例公开的另一种对视频的处理方法的流程示意图,该流程示意图主要阐述的是训练数据集的构建,利用构建好的训练数据集对模型进行训练以及利用训练好的模型进行预测,该流程图可以包括以下步骤:
S401、计算机设备获取训练数据集。
其中,训练数据集主要是用于对初始化模型进行训练,训练数据集包括样本视频集以及样本视频集中各个样本视频所对应的样本参数,这里的样本视频集中的样本视频可能是完整的视频,也可能是一些视频片段。
在一种可能的实现方式中,计算机设备获取训练数据集,具体为:计算机获取样本视频集,样本视频集中的样本视频数量是比较多的。获取的样本视频可以是用户在直播过程中客户端截取的片段视频,也可以用户上传到应用程序上的,也可以是数据库中存储的视频等。首先获取到每个样本视频的视频标识,然后利用众包打分平台对样本视频进行打分,得到样本视频质量评分。众包平台指的是利用人工对样本视频进行打分,过滤掉一些不可用的视频(不可用视频指的是人工进行打分时多次得到的统计得分差距很大的视频,如第一次的得分很高100分,第二次的得分很低10,两者相差太大),根据人工打分对样本视频的分进行平均计算,得到样本视频的样本视频质量评分。计算机设备再对样本视频的特征进行提取,根据提取的特征信息确定样本视频的样本视频场景类型,以及样本视频的样本视频低质量原因。然后将得到的样本视频的样本视频标识、样本视频质量评分、样本视频场景类型以及样本视频低质量原因进行组合,以建立四者之间的映射关系,每一个样本视频对应一个映射关系,由此得到训练数据集。其中,可以建立样本视频质量评分和样本视频低质量原因之间的相关性,将此不同任务的数据表示统一到相同的语义空间,再对不同任务用各自的层来完成对应的不同任务。其可以防止单一的简单分类任务过拟合,也可以通过任务的内在相关性相互约束促进。对样本视频的样本视频标识、样本视频质量评分、样本视频场景类型以及样本视频低质量原因的组合可以用表一的代码实现,如表一所示,组合后的数据包括:视频ID(样本视频标识),MOS得分(样本视频质量评分)、样本视频低质量原因(lowQ:#0未知,#1过曝,#2噪声,#3蒙层,#4杂光,…)和样本视频场景类型(scnece:#0未知,#1三明治结构,#2MV,#3户外,#4动漫头,#5漫画,…)等信息。
表一
Figure BDA0002782416210000121
S402、计算机设备利用训练数据集对初始化模型进行训练,得到目标模型。
在一种可能的实现方式中,计算机设备利用样本数据集对初始化模型进行训练,在本申请实施例中,对模型进行训练时所采用的网络架构为resnet18,其结构如图5所示,包括四层,每层分别得到对应的特征向量,相关的数据也在图5中具体标示了。其中,S(stride)是卷积核移动的步长;P是进行卷积操作时的参数,图像尺寸是否保持原图大小;k是卷积核的大小。计算机设备利用resnet18对训练数据集进行处理得到特征数据后,再将得到的特征数据输入到全局平均池化层、全连接层与sigmoid激活函数,得到对应的输出,即本申请实施中,得到的输出便是对应的视频场景类型的概率、对应的视频低质量原因的概率以及对应的视频的质量评分。
本申请实施例在进行训练时,对应的参数设置可以如表二所示:
表二
Figure BDA0002782416210000131
其中,“arch”为主干网络框架,可以根据需求进行选择resnet18、resnet50或者其他适用于视频质量预测和分类任务的经典骨干网络,在本申请实施中,在平衡训练结果、时间和计算资源消耗后,选择了resnet18;“epochs”为所有数据训练循环的次数,取能够保证loss变化平缓达到收敛时的数值,推荐可取数值为[120,200],在本申请实施例中,选取的150;“batch_size”为每次输入网络的数据量,依据输入图像帧尺寸和算力情况进行设置,尽量偏大,可以选取256;“opt_id”为优化器,在本申请实施中,选取的Adam;“lr”为学习率,可以取1e-3、1e-4、1e-5等值,可以随epoch做级减调整(例如每过50个epoch变为1/10),还可以为多任务中的不同任务分开设置,在本申请实施中为整体任务设置为1e-4;“loss”为损失函数,总loss函数为各任务loss的加权和,其中清晰度打分(视频质量评分)loss为推土机距离,低质量原因和视频场景分类loss均为交叉熵,加权权重可以调整,在本申请实施中,权重设置为[1,0.25,0.25];“shuffle”为布尔值,取值{0,1},为1时表示数据加载时对数据进行打乱处理,否则取0时为按顺序输入;“fixsize”为调整后的输入帧尺寸,依据算力可以尽量取大,在本申请实施中,设置为[672,448]。
结合上述网络框架和参数的训练测试结果,可以用如图6所示的散点图直观地观测到resnet18性能是比较优的,该散点图的数据分布越聚集在中心实线,则表明客观算法越接近人眼主观打分,其中,可以看到PLCC=0.923,SRCC=0.912,RMSE=0.180。PLCC(Pearson Linear Correlation Coefficient,皮尔逊相关系数)和SRCC(Spearman Rankorder Correlation Coefficient,斯皮尔曼等级相关系数)越接近1越好,而RMSE(root-mean-square error,均方根误差)为了表明数据的离散程度,其值越小越好。进一步,通过实验,得到resnet18与其他网络框架算法的比较结果,如表三所示,综合对PLCC和SRCC的综合观测,可以看出resnet18的效果比较理想。
表三
Figure BDA0002782416210000141
S403、计算机设备利用目标模型对预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定待检测视频的质量参数以及确定待检测视频的视频场景类型。
S404、计算机设备根据质量参数确定待检测视频的质量评分。
S405、计算机设备根据质量评分确定待检测视频是否为低质量视频。
S406、若是,计算机设备根据质量参数确定待检测视频对应的低质量原因。
其中,步骤S403~步骤S406已经在图2对应的实施例中进行了详细的阐述,这里便不再进行一一阐述。对于预测部分可以用图7进行阐述,即输入一段源视频,并对源视频的图像帧进行预处理(尺寸固定),进而将处理了的视频输入到resnet18的四个模块,分别得到特征数据,并将各个特征数据进行集成组合(利用全局平均池化层、全连接层以及sigmoid激活函数)等,得到最后对应的视频的质量评分、视频场景类型(得到的是视频对应的各个场景类型的比例,并根据比例大小确定出视频场景类型)和视频低质量原因(得到的是视频对应的各个低质量的比例,并根据比例大小确定出视频低质量原因)。如图7所示,对输入的视频进行处理后,得到的视频质量评分是85.20,对应的低质量原因具体为:过曝为15.50%,噪声为10.04%,蒙层为5.21%,杂光为3.20%,其他原因的比例更低,因此可以确定该视频相对其他低质量原因存在的问题为过曝,对应的视频场景类型具体为:户外为27.05%,三明治结构为7.04%,MV为5.01%,漫画为2.41%,动漫头为2.02%,其他的场景类型更低,因此,可以确定该视频相对其他视频场景类型而言视频场景类型为户外。在一些可行的实现方式中,还会根据对视频的检测结果所对应的比例是否大于指定阈值,再进行视频场景类型以及视频低质量原因的确定,例如,对于一个检测完成后的视频,得到的视频场景分类具体为:户外为8.05%,三明治结构为7.04%,MV为5.01%,漫画为2.41%,动漫头为2.02%,其他的场景类型更低,假定指定阈值为15%,由于得到的最大比例8.05%都小于15%,在这种情况下,对于视频场景类型的判断便不太确定,为了结果的准确性,可以选择性的输出该视频的视频场景类型为未知。
结合该方法对视频的测试,本申请实施例测试了一些视频数据,得到了相对应的视频质量评分、视频场景类型以及视频低质量原因,如表四所示,对于非低质量视频而言,低质量原因可能为未知,同时,还有一些视频场景类型不可识别时,也输出未知。具体如表四所示,如文件2所示,在其已经完成测试的状态下,可以清楚地看到文件2所对应的视频的质量评分为41.69(根据评分阈值确定是否为低质量视频,若是评分阈值为75,则可以得出文件2对应的视频为低质量视频),场景类型为未知(由于检测时各个场景类型对应的概率都太低,导致不能识别场景),低质量原因为噪声;再如文件5所示,在其已经完成测试的状态下,可以清楚地看到文件5所对应的视频的质量评分为79.13(根据评分阈值确定是否为低质量视频,若是评分阈值为75,则可以得出文件5对应的视频为非低质量视频),场景类型为头像,低质量原因为未知(由于确定出文件5对应的视频为非低质量视频,因此在这里得到的低质量原因为未知)。
表四
Figure BDA0002782416210000161
S407、计算机设备根据低质量原因和视频场景类型中的至少一种生成用于提升视频拍摄质量的拍摄调整策略。
在一种可能的实现方式中,计算机设备根据低质量原因和视频场景类型中的至少一种生成用于提升视频拍摄质量的拍摄调整策略,生成的拍摄调整策略记录在计算机设备的显示界面,具体可以如图8所示,示出了一种对拍摄调整策略的记录图,计算机设备记录了各种样本数据,还包括对视频采集与实时触达(发送给客户端)的记录,还记录了具体的拍摄调整策略下发的时间以及具体内容,如:“2020-07-20 09:02:59:操作人system给主播[em]e6094[/em]***下发IM:您的直播画面不清晰,请根据调整灯光背景。”计算机设备可以选择性的将记录的拍摄调整记录下发给客户端。
S408、计算机设备将低质量原因和拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示。
在一种可能的实现方式中,计算机将低质量原因和拍摄调整策略发送给客户端后,如触发如图8所示的下发按钮后,就可以将相对应的拍摄调整策略发送给客户端了,客户端根据相对应的规则生成目标提示信息,以可视化界面输出,如图3所示。相对应的规则,可以是一个规定好的框架,客户端在知道拍照调整策略后,根据该框架对拍摄调整策略进行修饰,修饰后的拍摄调整策略便是此处的目标提示信息。
本申请实施例,计算机设备获取样本视频,并获取样本视频的样本视频标识、样本视频质量评分、样本视频场景类型和样本视频低质量原因,建立样本视频标识、样本视频质量评分、样本视频场景类型以及样本视频低质量原因之间的映射关系,根据样本视频和映射关系得到训练数据集,再利用训练数据集对初始化模型进行训练,得到目标模型,通过该方法对训练样本集进行构建,可以多方面评估视频的质量,从而达到提升对视频质量检测的准确性。同时,本申请实施例,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
请参见图9,图9为本申请实施例公开的一种视频处理装置的结构示意图,该视频处理装置900可以包括:获取单元901、处理单元902、确定单元903以及发送单元904,主要用于:
获取单元901,用于获取待检测视频;
处理单元902,用于对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频,对所述预处理后的待检测视频的图像帧进行特征提取;
确定单元903,用于根据提取的特征数据确定所述待检测视频的质量参数;当根据所述质量参数确定所述待检测视频为低质量视频时,根据所述质量参数确定所述待检测视频对应的低质量原因;
所述处理单元902,还用于根据所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略;
发送单元904,用于将所述低质量原因和所述拍摄调整策略发送给客户端,以使所述客户端根据所述低质量原因和所述拍摄调整策略输出目标提示信息。
在一种可能的实现方式中,所述确定单元903,还用于根据所述质量参数确定所述待检测视频的质量评分;
所述处理单元902,还用于检测所述质量评分是否小于或者等于评分阈值;
所述确定单元903,还用于若所述质量评分小于或者等于所述评分阈值,则确定所述待检测视频为低质量视频。
在一种可能的实现方式中,所述处理单元902,还用于:
根据提取的特征数据确定所述待检测视频对应的视频场景类型;
根据所述视频场景类型和所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略。
在一种可能的实现方式中,所述处理单元902对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频,用于:
根据所述待检测视频的图像帧的原始尺寸和目标尺寸确定等比缩放比例;
按照所述等比缩放比例对所述待检测视频的图像帧进行等比缩放处理;
当等比缩放处理后的图像帧的尺寸与所述目标尺寸相匹配时,根据所述等比缩放处理后的图像帧生成预处理后的待检测视频。
在一种可能的实现方式中,所述处理单元902,还用于:
当所述等比缩放处理后的图像帧的尺寸与所述目标尺寸不匹配时,对所述等比缩放处理后的图像帧进行填充处理,以使填充处理后的图像帧的尺寸与所述目标尺寸匹配;
根据所述填充处理后的图像帧生成预处理后的待检测视频。
在一种可能的实现方式中,所述获取单元901,还用于获取训练数据集,所述训练数据集包括样本视频集以及所述样本视频集中各个样本视频所对应的样本参数;
所述处理单元902,还用于利用所述训练数据集对初始化模型进行训练,得到所述目标模型。
在一种可能的实现方式中,所述获取单元901获取训练数据集,还用于获取样本视频,获取所述样本视频的样本视频标识、样本视频质量评分、样本视频场景类型和样本视频低质量原因;
所述处理单元902,还用于建立所述样本视频标识、所述样本视频质量评分、所述样本视频场景类型以及所述样本视频低质量原因之间的映射关系,并根据所述样本视频和所述映射关系得到所述训练数据集。
在一种可能的实现方式中,所述获取单元901获取待检测视频,用于:
获取所述客户端发送的视频,其中,所述客户端发送的视频为在直播的过程中所述客户端截取的视频段;
根据所述客户端发送的视频获取待检测视频。
本申请实施例中,获取单元901获取待检测视频;处理单元902对预处理后的待检测视频的图像帧进行特征提取;确定单元903根据提取的特征数据确定待检测视频的质量参数,当根据质量参数确定待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因;处理单元902根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;发送单元904将低质量原因和所述拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示信息。通过该实施例,一方面可以提高对视频质量检测的准确度,准度识别出视频低质量时所对应的原因;另一面,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
请参见图10,图10是本申请实施例公开的一种计算机设备的结构示意图,该计算机设备1000至少包括处理器1001、存储器1002以及通信装置1003。其中,处理器1001、存储器1002以及通信装置1003可通过总线或者其它方式连接。通信装置1003用于收发数据。存储器1002可以包括计算机可读存储介质,存储器1002用于存储计算机程序,计算机程序包括计算机指令,处理器1001用于执行存储器1002存储的计算机指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是计算机设备1000的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还公开了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备1000中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器1002既可以包括计算机设备1000中的内置存储介质,当然也可以包括计算机设备1000所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备1000的操作系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的存储器1002可以是高速RAM存储器,也可以是非不稳定的存储器(Non-Volatile Memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器1001的计算机可读存储介质。
在一种实现方式中,计算机设备1000可以是图1所示的视频处理系统中的计算机设备102;该存储器1002中存储有第一计算机指令;由处理器1001加载并执行存储器1002中存放的第一计算机指令,以实现图2、图4所示方法实施例中的相应步骤;具体实现中,存储器1002中的第一计算机指令由处理器1001加载并执行如下步骤:
获取待检测视频,对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频;
对所述预处理后的待检测视频的图像帧进行特征提取,根据提取的特征数据确定所述待检测视频的质量参数;
当根据所述质量参数确定所述待检测视频为低质量视频时,根据所述质量参数确定所述待检测视频对应的低质量原因,根据所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略;
将所述低质量原因和所述拍摄调整策略发送给客户端,以使所述客户端根据所述低质量原因和所述拍摄调整策略输出目标提示信息。
在一种可能的实现方式中,所述处理器1001,还用于:
根据所述质量参数确定所述待检测视频的质量评分;
检测所述质量评分是否小于或者等于评分阈值;
若所述质量评分小于或者等于所述评分阈值,则确定所述待检测视频为低质量视频。
在一种可能的实现方式中,所述处理器1001,还用于:
根据提取的特征数据确定所述待检测视频对应的视频场景类型;
根据所述视频场景类型和所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略。
在一种可能的实现方式中,所述处理器1001对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频,用于:
根据所述待检测视频的图像帧的原始尺寸和目标尺寸确定等比缩放比例;
按照所述等比缩放比例对所述待检测视频的图像帧进行等比缩放处理;
当等比缩放处理后的图像帧的尺寸与所述目标尺寸相匹配时,根据所述等比缩放处理后的图像帧生成预处理后的待检测视频。
在一种可能的实现方式中,所述处理器1001,还用于:
当所述等比缩放处理后的图像帧的尺寸与所述目标尺寸不匹配时,对所述等比缩放处理后的图像帧进行填充处理,以使填充处理后的图像帧的尺寸与所述目标尺寸匹配;
根据所述填充处理后的图像帧生成预处理后的待检测视频。
在一种可能的实现方式中,所述处理器1001,还用于:
获取训练数据集,所述训练数据集包括样本视频集以及所述样本视频集中各个样本视频所对应的样本参数;
利用所述训练数据集对初始化模型进行训练,得到所述目标模型。
在一种可能的实现方式中,所述处理器1001获取训练数据集,用于:
获取样本视频,获取所述样本视频的样本视频标识、样本视频质量评分、样本视频场景类型和样本视频低质量原因;
建立所述样本视频标识、所述样本视频质量评分、所述样本视频场景类型以及所述样本视频低质量原因之间的映射关系,并根据所述样本视频和所述映射关系得到所述训练数据集。
在一种可能的实现方式中,所述处理器1001获取待检测视频,用于:
获取所述客户端发送的视频,其中,所述客户端发送的视频为在直播的过程中所述客户端截取的视频段;
根据所述客户端发送的视频获取待检测视频。
本申请实施例,计算机设备的处理器1001获取待检测视频,对预处理后的待检测视频的图像帧进行特征提取;根据提取的特征数据确定待检测视频的质量参数,当根据质量参数确定所述待检测视频为低质量视频时,根据质量参数确定待检测视频对应的低质量原因;根据低质量原因生成用于提升视频拍摄质量的拍摄调整策略;将低质量原因和所述拍摄调整策略发送给客户端,以使客户端根据低质量原因和拍摄调整策略输出目标提示信息。通过该实施例,一方面可以提高对视频质量检测的准确度,准度识别出视频低质量时所对应的原因;另一面,结合视频场景类型以及视频低质量原因生成对应的拍摄调整策略,可以针对性的提高视频的质量。
根据本申请的一个方面,还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可以执行前文图2、图4流程图所对应实施例中的方法,因此,这里将不再进行赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种对视频的处理方法,其特征在于,所述方法包括:
获取客户端发送的视频,所述客户端发送的视频为在直播的过程中客户端按照规则截取的视频段;若所述规则包括预设的时间点,则所述客户端根据所述预设的时间点利用定时器在所述直播的过程中截取;若所述规则包括周期,则所述客户端根据所述周期利用循环计算器在所述直播过程中周期性截取;
若所述客户端发送的视频的长度大于预设视频长度,则对所述发送的视频进行片段截取,将截取后的视频作为待检测视频;
若所述客户端发送的视频的长度小于或等于预设视频长度,则将所述客户端发送的视频确定为待检测视频;
对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频;
调用目标模型对所述预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定所述待检测视频的质量参数;所述特征数据是指需要通过变换处理的非自然特征,所述特征数据包括以下任一种:矩、直方图、主成分;
根据提取的特征数据确定所述待检测视频对应的视频场景类型;所述视频场景类型包括:户外场景或室内场景;
当根据所述质量参数确定所述待检测视频为低质量视频时,根据所述质量参数确定所述待检测视频对应的低质量原因;所述低质量视频是对所述待检测视频的各个方面的质量进行综合评估得到的,所述方面包括清晰度、饱和度和信噪比;所述低质量原因包括:过曝、噪声、蒙层、杂光中的一种或多种;
根据所述视频场景类型和所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略;
将所述低质量原因和所述拍摄调整策略发送给客户端,以使所述客户端根据所述低质量原因和所述拍摄调整策略在所述直播过程中以可视化界面输出目标提示信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述质量参数确定所述待检测视频的质量评分;
检测所述质量评分是否小于或者等于评分阈值;
若所述质量评分小于或者等于所述评分阈值,则确定所述待检测视频为低质量视频。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频,包括:
根据所述待检测视频的图像帧的原始尺寸和目标尺寸确定等比缩放比例;
按照所述等比缩放比例对所述待检测视频的图像帧进行等比缩放处理;
当等比缩放处理后的图像帧的尺寸与所述目标尺寸相匹配时,根据所述等比缩放处理后的图像帧生成预处理后的待检测视频。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述等比缩放处理后的图像帧的尺寸与所述目标尺寸不匹配时,对所述等比缩放处理后的图像帧进行填充处理,以使填充处理后的图像帧的尺寸与所述目标尺寸匹配;
根据所述填充处理后的图像帧生成预处理后的待检测视频。
5.根据权利要求2所述的方法,其特征在于,对所述预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定所述待检测视频的质量参数、根据所述质量参数确定所述待检测视频的质量评分、根据提取的特征数据确定所述待检测视频对应的视频场景类型是利用目标模型处理得到的;所述方法还包括:
获取训练数据集,所述训练数据集包括样本视频集以及所述样本视频集中各个样本视频所对应的样本参数;
利用所述训练数据集对初始化模型进行训练,得到所述目标模型。
6.根据权利要求5所述的方法,其特征在于,所述获取训练数据集,包括:
获取样本视频;
获取所述样本视频的样本视频标识、样本视频质量评分、样本视频场景类型和样本视频低质量原因;
建立所述样本视频标识、所述样本视频质量评分、所述样本视频场景类型以及所述样本视频低质量原因之间的映射关系,并根据所述样本视频和所述映射关系得到所述训练数据集。
7.一种视频处理装置,其特征在于,所述装置包括:
获取单元,用于获取客户端发送的视频,所述客户端发送的视频为在直播的过程中客户端按照规则截取的视频段;若所述规则包括预设的时间点,则所述客户端根据所述预设的时间点利用定时器在所述直播的过程中截取;若所述规则包括周期,则所述客户端根据所述周期利用循环计算器在所述直播过程中周期性截取;
处理单元,用于若所述客户端发送的视频的长度大于预设视频长度,则对所述发送的视频进行片段截取,将截取后的视频作为待检测视频;
所述处理单元,还用于若所述客户端发送的视频的长度小于或等于预设视频长度,则将所述客户端发送的视频确定为待检测视频;
所述处理单元,用于对所述待检测视频的图像帧进行预处理,得到预处理后的待检测视频;
所述处理单元,还用于调用目标模型对所述预处理后的待检测视频的图像帧进行特征提取,并根据提取的特征数据确定所述待检测视频的质量参数;所述特征数据是指需要通过变换处理的非自然特征,所述特征数据包括以下任一种:矩、直方图、主成分;
所述处理单元,还用于根据提取的特征数据确定所述待检测视频对应的视频场景类型;所述视频场景类型包括:户外场景或室内场景;
确定单元,用于当根据所述质量参数确定所述待检测视频为低质量视频时,根据所述质量参数确定所述待检测视频对应的低质量原因;所述低质量视频是对所述待检测视频的各个方面的质量进行综合评估得到的,所述方面包括清晰度、饱和度和信噪比;所述低质量原因包括:过曝、噪声、蒙层、杂光中的一种或多种;
所述处理单元,还用于根据所述视频场景类型和所述低质量原因生成用于提升视频拍摄质量的拍摄调整策略;
发送单元,用于将所述低质量原因和所述拍摄调整策略发送给客户端,以使所述客户端根据所述低质量原因和所述拍摄调整策略在所述直播过程中以可视化界面输出目标提示信息。
8.一种计算机设备,其特征在于,所述计算机设备包括:
存储器,用于存储计算机程序;
处理器,运行所述计算机程序;实现如权利要求1至6任一项所述的对视频的处理方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的对视频的处理方法。
CN202011286186.3A 2020-11-17 2020-11-17 一种对视频的处理方法以及相关设备 Active CN112492297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011286186.3A CN112492297B (zh) 2020-11-17 2020-11-17 一种对视频的处理方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011286186.3A CN112492297B (zh) 2020-11-17 2020-11-17 一种对视频的处理方法以及相关设备

Publications (2)

Publication Number Publication Date
CN112492297A CN112492297A (zh) 2021-03-12
CN112492297B true CN112492297B (zh) 2022-06-14

Family

ID=74931034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011286186.3A Active CN112492297B (zh) 2020-11-17 2020-11-17 一种对视频的处理方法以及相关设备

Country Status (1)

Country Link
CN (1) CN112492297B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191286B (zh) * 2021-05-08 2023-04-25 重庆紫光华山智安科技有限公司 图像数据质量检测调优方法、系统、设备及介质
CN113938674B (zh) * 2021-10-25 2023-09-26 重庆紫光华山智安科技有限公司 视频质量检测方法、装置、电子设备及可读存储介质
CN114390344A (zh) * 2022-01-11 2022-04-22 北京达佳互联信息技术有限公司 视频分发方法、装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410918A (zh) * 2014-12-09 2015-03-11 广州华多网络科技有限公司 一种直播视频参数调整方法和装置
CN108076386A (zh) * 2017-12-22 2018-05-25 广州酷狗计算机科技有限公司 视频卡顿检测方法及装置、存储介质
CN109639973A (zh) * 2018-12-21 2019-04-16 中国科学院自动化研究所南京人工智能芯片创新研究院 拍摄图像评分方法、评分装置、电子设备及存储介质
WO2020062789A1 (zh) * 2018-09-27 2020-04-02 中兴通讯股份有限公司 视频业务质量评估方法、装置、设备、及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559707A (zh) * 2015-09-29 2017-04-05 华为技术有限公司 视频质量检测方法、装置及业务质量管理中心
CN108198177A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 图像获取方法、装置、终端及存储介质
CN110366043B (zh) * 2019-08-20 2022-02-18 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410918A (zh) * 2014-12-09 2015-03-11 广州华多网络科技有限公司 一种直播视频参数调整方法和装置
CN108076386A (zh) * 2017-12-22 2018-05-25 广州酷狗计算机科技有限公司 视频卡顿检测方法及装置、存储介质
WO2020062789A1 (zh) * 2018-09-27 2020-04-02 中兴通讯股份有限公司 视频业务质量评估方法、装置、设备、及可读存储介质
CN109639973A (zh) * 2018-12-21 2019-04-16 中国科学院自动化研究所南京人工智能芯片创新研究院 拍摄图像评分方法、评分装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112492297A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN110929622B (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN112492297B (zh) 一种对视频的处理方法以及相关设备
CN108416324B (zh) 用于检测活体的方法和装置
CN108537152B (zh) 用于检测活体的方法和装置
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN110136144B (zh) 一种图像分割方法、装置及终端设备
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN111553419A (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN111931679A (zh) 动作识别方法、装置、设备及存储介质
CN115346262A (zh) 一种表情驱动参数的确定方法、装置、设备及存储介质
CN114926754A (zh) 图像检测方法、存储介质及处理器
CN113793366A (zh) 图像处理方法、装置、设备及存储介质
CN111353330A (zh) 图像处理方法、装置、电子设备及存储介质
CN115002516A (zh) 视频处理的系统、方法、电子设备、存储介质及程序产品
CN116546304A (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN111461971B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN113723168A (zh) 一种基于人工智能的主体识别方法、相关装置及存储介质
CN113256556A (zh) 一种图像选择方法及装置
CN109922343A (zh) 一种从少量用户眼动数据提取显著性进行视频压缩的方法
Tran et al. Indoor navigation assistance system for visually impaired with semantic segmentation using edgetpu
CN116636660B (zh) 一种电子烟烟油信息处理方法、系统及电子烟

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041043

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant