CN116777914B - 一种数据处理方法、装置、设备以及计算机可读存储介质 - Google Patents
一种数据处理方法、装置、设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116777914B CN116777914B CN202311057822.9A CN202311057822A CN116777914B CN 116777914 B CN116777914 B CN 116777914B CN 202311057822 A CN202311057822 A CN 202311057822A CN 116777914 B CN116777914 B CN 116777914B
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- video frames
- candidate
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 22
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 238000012163 sequencing technique Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备以及计算机可读存储介质,该方法包括:获取视频中的至少两个视频帧;对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧;对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度;根据对比度、内容丰富度以及色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。采用本申请,可以提高业务视频帧的选取质量,进而可以提高业务处理效果。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据处理方法、装置、设备以及计算机可读存储介质。
背景技术
随着多媒体技术的普及以及计算机互联网的发展,图像应用随处可见。其中,从视频中选取一个视频帧进行业务处理(例如推送视频时作为视频的封面)是图像应用当下火热的领域之一。
在现有技术中,用户对视频进行业务处理时,例如用户a想把视频共享至用户b,此时,用户a通过终端设备查看视频,并手动滑动视频选择一个视频帧作为该视频的封面,然后将封面与视频作为共享数据(即业务数据)共享至用户b。明显地,现有技术中的封面(即业务视频帧)选取依赖于用户,而不是视频帧本身,故选取的封面可能质量不佳;可以理解的是,一张能够突出视频内容的封面可以提高视频的业务处理效果(例如共享效果),故一张不能突出视频内容的封面可以降低视频的业务处理效果。
发明内容
本申请实施例提供一种数据处理方法、装置、设备以及计算机可读存储介质,可以提高业务视频帧的选取质量,进而可以提高业务处理效果。
本申请实施例一方面提供了一种数据处理方法,包括:
获取视频中的至少两个视频帧;至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量;
对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧;
对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度;
根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。
本申请实施例一方面提供了一种数据处理装置,包括:
第一获取模块,用于获取视频中的至少两个视频帧;至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量;
第一检测模块,用于对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧;
第二检测模块,用于对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度;
第二获取模块,用于根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。
其中,第一获取模块,包括:
第一获取单元,用于在应用客户端的应用内存中获取视频,获取视频的视频标识;
第一处理单元,用于根据视频标识,在挂载于应用客户端的服务组件中进行视频帧搜索处理;
第二处理单元,用于若服务组件中不存在与视频标识关联缓存的至少两个视频帧,则对视频进行抽帧处理,得到视频中的至少两个视频帧;
视频缓存单元,用于将视频标识以及至少两个视频帧关联缓存于服务组件;
第二获取单元,用于若服务组件中存在与视频标识关联缓存的至少两个视频帧,则在服务组件中获取与视频标识关联缓存的至少两个视频帧;与视频标识关联缓存的至少两个视频帧属于视频。
其中,第一获取模块,还包括:
第一加载单元,用于若设备磁盘中包含视频,则将设备磁盘中的视频加载至应用客户端的应用内存中;
请求生成单元,用于若设备磁盘中不包含视频,则生成第一视频获取请求,将第一视频获取请求同步至服务组件;
第二加载单元,用于在服务组件中,通过第一视频获取请求获取视频,将视频加载至应用内存。
其中,第二加载单元,包括:
第一处理子单元,用于根据第一视频获取请求,在服务组件对应的结构数据库中进行视频搜索处理;
第一获取子单元,用于若结构数据库中存在视频,则在结构数据库中获取视频;
请求发送子单元,用于若结构数据库中不存在视频,则通过服务组件,将第一视频获取请求发送至业务服务器,以使业务服务器响应第一视频获取请求,返回第一状态码;
第二获取子单元,用于通过服务组件获取第一状态码,根据第一状态码,获取视频。
其中,第二获取子单元,包括:
视频获取子单元,用于若第一状态码指示业务服务器针对第一视频获取请求的响应结果为整体完成结果,则根据第一状态码,获取视频;
局部获取子单元,用于若第一状态码指示业务服务器针对第一视频获取请求的响应结果为局部完成结果,则根据第一状态码,获取第一局部视频;
请求生成子单元,用于根据第一局部视频,生成第二视频获取请求,通过服务组件,向业务服务器发送第二视频获取请求,以使业务服务器响应第二视频获取请求,返回第二状态码;
视频生成子单元,用于通过服务组件获取第二状态码,根据第二状态码,获取第二局部视频,根据第一局部视频以及第二局部视频,生成视频。
其中,第一检测模块,包括:
第一转换单元,用于将视频帧Ab的第一像素参数从第一颜色空间下转换至第二颜色空间,得到第二颜色空间下的第二像素参数;
第三获取单元,用于在第二像素参数中,获取视频帧Ab的亮度参数,根据视频帧Ab的亮度参数,确定视频帧Ab的对比度。
其中,视频帧Ab包括n个像素点;n为大于1的正整数;n个像素点包括像素点Cd,d为正整数且d小于或等于n;视频帧Ab的亮度参数包括n个像素点分别对应的亮度子参数;
第三获取单元,包括:
第三获取子单元,用于对n个亮度子参数进行均值处理,得到视频帧Ab的均值亮度子参数,在n个亮度子参数中,获取像素点Cd对应的亮度子参数Ed;
第二处理子单元,用于对亮度子参数Ed以及视频帧Ab的均值亮度子参数进行求差处理,得到像素点Cd对应的差值亮度子参数;
第三处理子单元,用于对像素点Cd对应的差值亮度子参数进行平方处理,得到像素点Cd对应的平方亮度子参数;
第四处理子单元,用于对n个像素点分别对应的平方亮度子参数进行求和处理,得到平方亮度参数;
第一确定子单元,用于对平方亮度参数以及n进行求商处理,得到比值亮度参数,对比值亮度参数进行平方根处理,得到离散亮度参数,将离散亮度参数确定为视频帧Ab的对比度。
其中,第一检测模块,包括:
第四获取单元,用于获取对比度阈值,将视频帧Ab的对比度与对比度阈值进行对比;
第一确定单元,用于若视频帧Ab的对比度大于或等于对比度阈值,则确定视频帧Ab为候选视频帧。
其中,第二检测模块,包括:
第五获取单元,用于在至少两个视频帧分别对应的亮度参数中,获取候选视频帧的亮度参数;候选视频帧包括m个像素点;m为大于1的正整数;m个像素点包括像素点Fg,g为正整数且g小于或等于m;候选视频帧的亮度参数包括m个像素点分别对应的亮度子参数;
第六获取单元,用于获取第一方向上的第一梯度矩阵以及第二方向上的第二梯度矩阵;第一方向垂直于第二方向;第一梯度矩阵的矩阵尺寸等于第二梯度矩阵的矩阵尺寸;
第七获取单元,用于在候选视频帧的亮度参数中,获取像素点Fg对应的亮度矩阵;像素点Fg对应的亮度矩阵等于第一梯度矩阵的矩阵尺寸,且像素点Fg对应的亮度矩阵包括像素点Fg的亮度子参数;
第二确定单元,用于根据第一梯度矩阵、第二梯度矩阵以及像素点Fg对应的亮度矩阵,确定像素点Fg的梯度值;
第三确定单元,用于根据m个像素点分别对应的梯度值,确定候选视频帧的内容丰富度。
其中,第二确定单元,包括:
第五处理子单元,用于对第一梯度矩阵以及像素点Fg对应的亮度矩阵进行矩阵融合处理,得到像素点Fg在第一方向上的第一梯度值;
第六处理子单元,用于对第二梯度矩阵以及像素点Fg对应的亮度矩阵进行矩阵融合处理,得到像素点Fg在第二方向上的第二梯度值;
第七处理子单元,用于对第一梯度值以及第二梯度值进行融合处理,得到像素点Fg的梯度值。
其中,第三确定单元,包括:
第八处理子单元,用于对m个像素点分别对应的梯度值进行均值处理,得到候选视频帧对应的均值梯度值;
梯度对比子单元,用于将像素点Fg的梯度值与均值梯度值进行对比,得到对比结果;
第九处理子单元,用于根据对比结果,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;
第十处理子单元,用于对m个像素点分别对应的更新亮度子参数进行均值处理,得到候选视频帧的均值亮度子参数;
第二确定子单元,用于将候选视频帧的均值亮度子参数确定为候选视频帧的内容丰富度。
其中,梯度对比子单元,包括:
第一更新子单元,用于若对比结果为像素点Fg的梯度值等于或大于均值梯度值,则通过第一数值,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;第一数值用于指示像素点Fg具有边缘属性;
第二更新子单元,用于若对比结果为像素点Fg的梯度值小于均值梯度值,则通过第二数值,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;第二数值用于指示像素点Fg不具有边缘属性;第二数值不同于第一数值。
其中,第二检测模块,包括:
第二转换单元,用于将候选视频帧的第三像素参数从第一颜色空间下转换至第三颜色空间,得到第三颜色空间下的第四像素参数;
第四确定单元,用于在第四像素参数中,获取候选视频帧的色相参数,根据候选视频帧的色相参数,确定候选视频帧的色彩丰富度。
其中,第二获取模块,包括:
第三处理单元,用于对候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度进行加权求和处理,得到候选视频帧的业务质量;候选视频帧的总数量为H,H为大于1的正整数;
第五确定单元,用于在H个候选视频帧分别对应的业务质量中,获取最大业务质量,在H个候选视频帧中,将最大业务质量对应的候选视频帧确定为业务视频帧。
本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以使得计算机设备执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,上述计算机程序适于由处理器加载并执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行本申请实施例中的方法。
在本申请实施例中,计算机设备对视频帧Ab进行亮度检测,可以得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,可以从至少两个视频帧中获取候选视频帧,通过上述处理,可以筛选掉部分视频帧,故可以提高后续数据处理效率;进一步,计算机设备对候选视频帧进行边缘检测,可以得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,可以得到候选视频帧的色彩丰富度,通过上述处理,可以得到候选视频帧的多个评价指标值(包括对比度、内容丰富度以及色彩丰富度);进一步,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,计算机设备可以从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。上述可知,本申请实施例是基于多个不同的评价指标对视频帧进行评价,故可以从多个维度上共同评价视频帧的业务质量,因此采用本申请,可以提高业务视频帧的选取质量,通过高质量的业务视频帧,可以提高业务处理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构示意图;
图2是本申请实施例提供的一种数据处理方法的流程示意图一;
图3是本申请实施例提供的一种数据处理的场景示意图一;
图4是本申请实施例提供的一种数据处理的场景示意图二;
图5是本申请实施例提供的一种数据处理方法的流程示意图二;
图6是本申请实施例提供的一种数据处理方法的流程示意图三;
图7是本申请实施例提供的一种数据处理的场景示意图三;
图8是本申请实施例提供的一种数据处理装置的结构示意图;
图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于理解,首先对相关概念进行阐述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请实施例中,计算机视觉技术可以用于从视频中选取业务视频帧。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果,融合了以上技术。在本申请实施例中,机器学习可以用于生成多个不同的图像评价指标的评价权重。
请参见图1,图1是本申请实施例提供的一种系统架构示意图。如图1所示,该系统可以包括业务服务器100以及终端设备集群。终端设备集群可以包括:终端设备200a、终端设备200b、终端设备200c、…、终端设备200n,可以理解的是,上述系统可以包括一个或者多个终端设备,本申请不对终端设备的数量进行限制。
其中,终端设备集群之间可以存在通信连接,例如终端设备200a与终端设备200b之间存在通信连接,终端设备200a与终端设备200c之间存在通信连接。同时,终端设备集群中的任一终端设备可以与业务服务器100存在通信连接,例如终端设备200a与业务服务器100之间存在通信连接。其中,上述通信连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其它方式,本申请在此不做限制。
应当理解,如图1所示的终端设备集群中的每个终端设备均可以安装有应用客户端,当该应用客户端运行于各终端设备中时,可以分别与上述图1所示的业务服务器100进行数据交互,即上述的通信连接。其中,该应用客户端可以为视频应用、便捷生活应用、支付应用、理财应用、游戏应用、购物应用、小说应用、相机应用、浏览器等具有确定业务视频帧功能的应用客户端。
其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如,视频客户端以及出行客户端等)中的嵌入式子客户端,在此不做限定。以视频应用为例,业务服务器100可以为包括视频应用对应的后台服务器、数据处理服务器等多个服务器的集合,因此,每个终端设备均可以通过该视频应用对应的应用客户端,与业务服务器100进行数据传输,例如每个终端设备均可以通过视频应用的应用客户端,将视频上传至业务服务器100,进而业务服务器100可以从视频中确定进行业务处理的业务视频帧,并将业务视频帧返回给终端设备或上传至云端服务器。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息(例如视频以及业务视频帧)等相关的数据,当本申请中的实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准。
为便于后续理解和说明,本申请实施例可以在图1所示的终端设备集群中选择一个终端设备示例进行描述,例如以终端设备200a示例进行描述。当获取到针对视频的业务处理指令时,终端设备200a可以生成针对视频的业务处理请求,将业务处理请求发送至业务服务器100。本申请实施例不对视频的具体内容进行限定,可以根据实际应用场景进行设定。本申请实施例不对业务处理的具体内容进行限定,可以根据实际应用场景进行设定,例如生成视频封面图,例如生成视频推荐图,分享携带封面图的视频等,其中,视频封面图、视频推荐图等属于视频,即下文描述的业务视频帧。
进一步,业务服务器100接收终端设备200a发送的业务处理请求,根据业务处理请求,业务服务器100获取视频。本申请实施例不对业务服务器100获取视频的方式进行限定,一种可行的获取方式是终端设备200a发送的业务处理请求中携带视频;另一种可行的获取方式是终端设备200a发送的业务处理请求中携带视频的存储地址,故业务服务器100可以根据存储地址获取视频;再另一种可行的获取方式是终端设备200a发送的业务处理请求中携带视频的视频信息(例如视频名等),故业务服务器100可以根据视频信息在本地磁盘或云服务器中获取视频。
进一步,业务服务器100获取视频中的至少两个视频帧,可以理解的是,若业务服务器100的缓存数据库中缓存有视频中的至少两个视频帧,那么业务服务器100可以直接获取上述至少两个视频帧;若缓存数据库中不包含视频对应的至少两个视频帧,那么业务服务器100可以对视频进行抽帧处理,得到至少两个视频帧。其中,至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量。
进一步,业务服务器100对视频帧Ab进行亮度检测,可以得到视频帧Ab的对比度,故可以得到至少两个视频帧分别对应的对比度;根据上述的至少两个对比度,业务服务器100可以从至少两个视频帧中获取候选视频帧,即从至少两个视频帧中过滤掉部分对比度低的视频帧。
进一步,业务服务器100对候选视频帧进行边缘检测,可以得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,可以得到候选视频帧的色彩丰富度。根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,业务服务器100可以从候选视频帧中获取业务视频帧,进一步,根据业务视频帧,业务服务器100进行与视频相关联的业务处理,例如将业务视频帧作为视频的封面图,即业务视频帧用于作为视频的封面图;又例如将业务视频帧作为视频共享的共享数据发送给另一终端设备(例如图1中的终端设备200b),即业务视频帧用于作为视频的共享数据并发送给另一终端设备;又例如将业务视频帧作为视频的推荐图,即业务视频帧用于作为视频的推荐图。
后续,业务服务器100可以将业务视频帧发送至终端设备200a。终端设备200a接收到业务服务器100发送的业务视频帧后,可以在其对应的屏幕上显示业务视频帧。
可选的,业务服务器100可以将候选视频帧、候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,均发送给终端设备200a,故终端设备200a可以根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧,后续过程与业务服务器100的处理过程相同,故不进行赘述。
可选的,业务服务器100可以将至少两个视频帧返回至终端设备200a,故终端设备200a可以对至少两个视频帧分别进行亮度检测,得到至少两个视频帧分别对应的对比度,后续过程与业务服务器100的处理过程相同,故不进行赘述。
可选的,业务服务器100可以将视频返回给终端设备200a,故终端设备200a可以获取视频中的至少两个视频帧,后续过程与业务服务器100的处理过程相同,故不进行赘述。此外,若本地存储有视频,则终端设备200a可以如业务服务器100执行上述数据处理方法。
若终端设备200a的本地存储了视频,则可以在获取到交通工具的缓存信息后,在本地确定交通工具的缓存信息以及转向中值生成条件之间的满足关系,在交通工具的缓存信息满足转向中值生成条件时,终端设备200a可以生成交通工具的行驶状态信息所指示的行驶路径,进而可以确定行驶路径的转弯半径,可以理解的是,后续的处理过程,与业务服务器100所处理的过程相同,故不进行赘述。
上述可知,本申请实施例是基于多个不同的评价指标对视频帧进行评价,故可以从多个维度上共同评价视频帧的业务质量,因此采用本申请,可以提高业务视频帧的选取质量,通过高质量的业务视频帧,可以提高业务处理效果。
需要说明的是,上述业务服务器100、终端设备200a、终端设备200b、终端设备200c...、终端设备200n均可以为区块链网络中的区块链节点,全文叙述的数据(例如视频以及业务视频帧)可以进行存储,存储方式可以是区块链节点根据数据生成区块,并将区块添加至区块链中进行存储的方式。
区块链是一种分布式数据存储、点对点传输、共识机制以及加密算法等计算机技术的新型应用模式,主要用于对数据按时间顺序进行整理,并加密成账本,使其不可被篡改和伪造,同时可进行数据的验证、存储和更新。区块链本质上是一个去中心化的数据库,该数据库中的每个节点均存储一条相同的区块链,区块链网络可以将节点区分为核心节点、数据节点以及轻节点。核心节点、数据节点以及轻节点共同组成区块链节点。其中核心节点负责区块链全网的共识,也就是说核心节点为区块链网络中的共识节点。
对于区块链网络中的交易数据被写入账本的流程可以为,区块链网络中的数据节点或轻节点获取到交易数据,将交易数据在区块链网络中传递(也就是节点以接力棒的方式进行传递),直到共识节点收到该交易数据,共识节点再将该交易数据打包进区块,对该区块执行共识,待共识完成后将该交易数据写入账本。此处以视频以及业务视频帧示例交易数据,业务服务器100(区块链节点)在通过对交易数据的共识后,根据交易数据生成区块,将区块存储至区块链网络中;而对于交易数据(即视频以及业务视频帧)的读取,则可以由区块链节点在区块链网络中,获取到包含该交易数据的区块,进一步,在区块中获取交易数据。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于终端设备或业务服务器。其中,业务服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。其中,终端设备和业务服务器可以通过有线或无线方式进行直接或间接地连接,本申请实施例在此不做限制。
进一步地,请参见图2,图2是本申请实施例提供的一种数据处理方法的流程示意图一。本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶、自动驾驶等。该数据处理方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由终端设备执行为例进行说明,即本申请实施例示例计算机设备为终端设备。如图2所示,该数据处理方法至少可以包括以下步骤S101-步骤S104。
步骤S101,获取视频中的至少两个视频帧;至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量。
具体的,在应用客户端的应用内存中获取视频,获取视频的视频标识;根据视频标识,在挂载于应用客户端的服务组件中进行视频帧搜索处理;若服务组件中不存在与视频标识关联缓存的至少两个视频帧,则对视频进行抽帧处理,得到视频中的至少两个视频帧;将视频标识以及至少两个视频帧关联缓存于服务组件;若服务组件中存在与视频标识关联缓存的至少两个视频帧,则在服务组件中获取与视频标识关联缓存的至少两个视频帧;与视频标识关联缓存的至少两个视频帧属于视频。
请一并参见图3,图3是本申请实施例提供的一种数据处理的场景示意图一。如图3所示,终端设备200a安装有应用客户端201a以及应用客户端202a,其中,应用客户端202a可以为一个视频客户端。对应地,终端设备200a的内存30a可以包含应用客户端201a的应用内存301a,以及应用客户端202a的应用内存302a。可以理解的是,应用内存301a用于缓存应用客户端301a的数据,应用内存302a用于缓存应用客户端302a的数据。
进一步,终端设备200a在应用内存302a中获取视频30b,本申请实施例不对视频30b的具体内容进行限定,可以根据实际应用场景进行设定。终端设备200a获取视频的视频标识301b,本申请实施例不对视频标识的形式进行限定,可为任意一种能够用于标识视频的信息。例如,通过 URL.create Object URL,终端设备200a对视频30b进行封装,得到视频30b的ObjectURL,ObjectURL就可以作为本申请实施例中的视频标识。其中,URL.createObject URL是一种将内存中的数据(例如本申请实施例的视频30b),转换成一个统一资源定位系统(uniform resource locator,简称URL)的方法。ObjectURL 是用于引用任何数据的简单URL字符串,即通过ObjectURL可以访问数据资源。
请再参见图3,本申请实施例将视频标识301b示例为AAAA0。进一步,终端设备200a调用挂载于应用客户端202a的服务组件,如图3所示,服务组件可以提供结构数据库30c。在本申请实施例中,服务组件可以表示Service Worker,结构数据库30c可以表示IndexedDatabase(简称IndexedDb)。
Service Worker是业务服务器与应用客户端之间的代理服务器,如果应用客户端中注册了Service Worker,那么Service Worker可以拦截当前应用客户端的请求,并进行判断(需要编写相应的判断程序);如果需要向业务服务器发起请求,则就将请求转给业务服务器,如果可以直接使用缓存的数据,Service Worker就直接返回缓存数据,不再转发请求给业务服务器。综上所述,Service Worker 可以做拦截应用客户端的请求、向应用客户端发送消息、向业务服务器发起请求等相关操作,其中最重要且广泛的作用就是离线资源缓存。
如图3所示,结构数据库30c可以存储索引键值对,在本步骤中,索引键值对包括以视频标识所生成的索引键,以及以视频帧所生成的索引值。具体的,结构数据库30c包括3个索引键值对,第一个索引键值对包括以AAAA4所生成的索引键,以及以视频帧301c所生成的索引值;第二个索引键值对包括以AAAA3所生成的索引键,以及以视频帧302c所生成的索引值;第三个索引键值对包括以AAAA0所生成的索引键,以及以视频帧303c所生成的索引值。
根据视频标识301b,终端设备200a在结构数据库30c中进行视频帧搜索处理,即以视频标识301b为索引键,在结构数据库30c中进行索引处理,明显地,图3示例结构数据库30c中存在以视频标识301b所生成的索引键,故服务组件中存在与视频标识301b关联缓存的至少两个视频帧,即图3中的视频帧303c。进一步,终端设备200a在结构数据库30c中获取与视频标识301b关联缓存的至少两个视频帧,即视频帧303c,可以理解的是,与视频标识301b关联缓存的至少两个视频帧属于视频30b。
上述可知,将视频标识以及视频中的至少两个视频帧缓存到应用客户端对应的结构数据库中,在后续获取到视频帧获取请求时,终端设备可以通过结构数据库中的缓存直接获取视频中的至少两个视频帧,故避免了二次抽帧的无用耗时,进而可以提升视频帧的获取效率。
假设结构数据库30c中不存在以视频标识301b所生成的索引键,即服务组件中不存在与视频标识301b关联缓存的至少两个视频帧,此时,终端设备200a对视频30b进行抽帧处理,得到视频中的至少两个视频帧。本申请实施例不对抽帧方法进行限定,可以根据实际应用场景进行确定。本步骤提供如下两种抽帧方案:1、通过Ffmpeg Wasm Core驱动;2、通过Canvas Core驱动。
Ffmpeg Wasm提帧的具体过程如下:
再建立一层线程(Web Worker),实现全双工的通信模式来实现ffmpeg运行线程,与主线程(JavaScript线程,简称JS主线程)执行隔离和信息互通。其中,Web Worker内部代理了ffmpeg-core.js胶水层的内存文件读写和指令运行能力。
Canvas Core提帧的具体过程如下:
直接采用应用客户端原生的应用程序接口(Application ProgrammingInterface,简称API)即可。流程主要分为几步:
A、使用视频(video)标签来加载视频,并检测loadeddata事件(当视频当前播放位置的帧完成加载时触发),以及seeked事件(在已移动/跳跃到音频/视频(audio/video)中的新位置时触发)。
B、加载后的视频可获取时长,用来计算所要获取帧的时间节点。
C、批量的seek视频到指定时间,利用Canvas来获取视频当前时间节点的帧数据。
D、返回批量生产的frames数组对象。
基于上述过程,可以得到视频的至少两个视频帧,最后,终端设备将视频标识以及至少两个视频帧关联缓存于服务组件,即以索引键值对的方式缓存于结构数据库中。
步骤S102,对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧。
具体的,将视频帧Ab的第一像素参数从第一颜色空间下转换至第二颜色空间,得到第二颜色空间下的第二像素参数;在第二像素参数中,获取视频帧Ab的亮度参数,根据视频帧Ab的亮度参数,确定视频帧Ab的对比度。
其中,视频帧Ab包括n个像素点;n为大于1的正整数;n个像素点包括像素点Cd,d为正整数且d小于或等于n;视频帧Ab的亮度参数包括n个像素点分别对应的亮度子参数;根据视频帧Ab的亮度参数,确定视频帧Ab的对比度的具体过程可以包括:对n个亮度子参数进行均值处理,得到视频帧Ab的均值亮度子参数,在n个亮度子参数中,获取像素点Cd对应的亮度子参数Ed;对亮度子参数Ed以及视频帧Ab的均值亮度子参数进行求差处理,得到像素点Cd对应的差值亮度子参数;对像素点Cd对应的差值亮度子参数进行平方处理,得到像素点Cd对应的平方亮度子参数;对n个像素点分别对应的平方亮度子参数进行求和处理,得到平方亮度参数;对平方亮度参数以及n进行求商处理,得到比值亮度参数,对比值亮度参数进行平方根处理,得到离散亮度参数,将离散亮度参数确定为视频帧Ab的对比度。
在视频轨道构建的过程中,终端设备可能提取出一些白屏的图像,即整张图片都是纯色系,比如纯白、纯黑等,因此需要对至少两个视频帧分别进行白屏检测。如何判断一张图片(即本申请实施例中的视频帧)是过亮还是过暗,本申请实施例衡量的标准采用了对比度计算,其中,图像对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,也可以理解为是指一幅图像灰度反差的大小。所以当计算图像的对比度低于预设的对比度阈值时,终端设备就会过滤掉该部分图片。
可以理解的是,视频帧是以RGB色彩模式进行显示,在本申请实施例中,第一颜色空间用于表示RGB色彩模式,也可以称作RGB颜色空间。RGB颜色空间以R(Red,红)、G(Green,绿)、B(Blue,蓝)三种基本色为基础,进行不同程度的叠加,产生丰富而广泛的颜色,所以俗称三基色模式。
视频帧是以YUV色彩模式进行编码,在本申请实施例中,第二颜色空间用于表示YUV色彩模式,也可以称作YUV颜色空间。YUV颜色空间是一种颜色表示方法,常使用在各个视频处理组件中。YUV是编译true-color颜色空间(color space)的种类,“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
综上所述,终端设备需要将处于第一颜色空间下的视频帧转化为处于第二颜色空间。需要将第一颜色空间(即RGB颜色空间)转换为第二颜色空间(即YUV颜色空间)的原因是,在RGB颜色空间中,描述一个像素点的颜色需要r(红)、g(绿)、b(蓝)三个通道的色值(即色度)来做复合,而在YUV颜色空间中,一个像素的色值可以通过UV两个通道确定, Y通道用来描述这个像素点的明亮程度,即灰度值。
可以理解的是,至少两个视频帧分别对应的对比度的计算过程是相同的,故本申请实施例以视频帧Ab的对比度的确定过程为例进行描述,其中,视频帧Ab可以表示至少两个视频帧中的任意一个视频帧。视频帧Ab的对比度计算过程主要分为以下两步。
第一步、终端设备将视频帧Ab的第一像素参数从第一颜色空间下转换至第二颜色空间,得到第二颜色空间下的第二像素参数,这个过程的表达如公式(1)所示:
(1)
其中,公式(1)中的L是第一颜色空间以及第二颜色空间之间的第一空间转换矩阵,R、G、B是视频帧Ab在RGB颜色空间(即第一颜色空间)下的第一像素参数,Y、U、V是视频帧Ab在YUV颜色空间下的第二像素参数,故上述公式(1)可以用如下公式(2)—公式(4)表示:
Y=0.299R+0.587G+0.114B (2)
U=-0.147R-0.289G+0.436B(3)
V=0.615R-0.515G-0.100B(4)
第二步、终端设备提取Y通道分量灰度图,即公式(2)的结果,本申请实施例称作亮度参数,对视频帧Ab的亮度参数做一次标准差计算,以实现用Y数值的离散性衡量视频帧Ab的对比度,具体过程如下:终端设备获取视频帧Ab中的每个像素点分别对应的亮度子参数,可以理解为获取每个像素点分别对应的灰度值,本申请实施例示例视频帧Ab包括n个像素点。
进一步,终端设备对n个像素点分别对应的亮度子参数进行均值处理,得到视频帧Ab的均值亮度子参数,该过程可以通过如下公式(5)表示:
(5)
其中,公式(5)中的表示第i个像素点的亮度子参数,即第i个像素点的灰度值,i的取值范围是[1,n],n是视频帧Ab包含的像素点的总数量;/>表示视频帧Ab的均值亮度子参数,即n个像素点对应的平均灰度值。
进一步,终端设备对第i个像素点的亮度子参数以及视频帧Ab的均值亮度子参数进行求差处理,得到第i个像素点(等同于上文的像素点Cd)对应的差值亮度子参数,该过程可以通过如下公式(6)表示:
(6)
其中,公式(6)中的表示第i个像素点对应的差值亮度子参数。
进一步,终端设备对像素点Cd(即上述的第i个像素点)对应的差值亮度子参数进行平方处理,得到像素点Cd对应的平方亮度子参数;对n个像素点分别对应的平方亮度子参数进行求和处理,终端设备可以得到平方亮度参数;进一步,终端设备对平方亮度参数以及n进行求商处理,得到比值亮度参数,对比值亮度参数进行平方根处理,终端设备可以得到离散亮度参数,将离散亮度参数确定为视频帧Ab的对比度。上述过程可以通过如下公式(7)表示:
(7)
其中,公式(7)中的表示视频帧Ab的离散亮度参数,即对比度。
按照上述处理过程,终端设备可以生成至少两个视频帧分别对应的对比度,根据得到的至少两个对比度,从至少两个视频帧中获取候选视频帧的方式可以如下:终端设备对至少两个视频帧分别对应的对比度进行从大至小的排序,得到对比度的排序结果,根据对比度的排序结果,对至少两个视频帧进行排序,即将对比度大的视频帧排在前游,将对比度小的视频帧排在下游,故终端设备可以得到视频帧的排序结果;进一步,终端设备按照获取比例,在视频帧的排序结果中获取视频帧,将获取到的视频帧确定为候选视频帧,例如至少两个视频帧的总数量为2000,获取比例为80%,则终端设备在排序后的2000帧中,获取排在前1600的视频帧,将其确定为候选视频帧。本申请实施例不对候选视频帧的总数量进行限定,通常为至少两个。
步骤S103,对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度。
具体的,将候选视频帧的第三像素参数从第一颜色空间下转换至第三颜色空间,得到第三颜色空间下的第四像素参数;在第四像素参数中,获取候选视频帧的色相参数,根据候选视频帧的色相参数,确定候选视频帧的色彩丰富度。
想要评价一个视频帧的质量,首先需要选定一些评价指标,本申请实施例主要通过内容丰富度、对比度以及色彩丰富度对视频帧进行质量评价。
首先是内容丰富度,本申请实施例对内容丰富度的评价算法采用边缘矩阵计算,依据是当一张图片的边缘轮廓越多,就认为它的内容越丰富。边缘矩阵可以选择很多卷积算法,比如最简单的Sobel滤波或者Canny算子。
本步骤Sobel滤波为例进行描述,首先终端设备需要将候选视频帧进行Y通道的灰度图转换,获取候选视频帧的亮度参数。该过程可以参见上文步骤S102中视频帧Ab的亮度参数的获取过程,也可以理解为,执行完上文步骤S102,终端设备可以从至少两个视频帧分别对应的亮度参数中,获取候选视频帧的亮度参数。
进一步,终端设备获取Sobel算子,Sobel算子包括两个垂直方向上的梯度矩阵,即下文图5所对应的实施例中的第一梯度矩阵以及第二梯度矩阵;终端设备将候选视频帧的亮度参数和Sobel算子进行两个方向的卷积计算,该过程可以通过如下公式(8)表示:
(8)/>
其中,公式(8)中的A表示候选视频帧的亮度参数,即候选视频帧的灰度值;表示第一梯度矩阵,/>表示第二梯度矩阵,/>表示候选视频帧在第一方向上的梯度值,/>表示候选视频帧在第二方向上的梯度值。
进一步,对以及/>进行标准差计算,终端设备可以得到候选视频帧的梯度值,进一步,根据候选视频帧的梯度值,终端设备对候选视频帧的灰度值进行二值化,得到候选视频帧的边缘矩阵,整体渲染出来的效果为一张黑白边缘图,请一并参见图4,图4是本申请实施例提供的一种数据处理的场景示意图二。如图4所示,终端设备200a获取到候选视频帧301d,对候选视频帧301d进行上述边缘检测处理,得到图像302d。
最后,终端设备对二值化的结果,即图4所示例的图像302d中的每个像素点分别对应的灰度值(此时灰度值要么为1,要么为0)进行均值处理,得到候选视频帧的内容丰富度。
终端设备计算候选视频帧的色彩丰富度,色彩丰富度计算的核心思路和上文步骤S102中的对比度计算的核心思路相似,只是本步骤是将候选视频帧从第一颜色空间转换为第三颜色空间。其中,第三颜色空间为HSV颜色空间,也可以称作HSV色彩模式。HSV(Hue,Saturation, Value)是根据颜色的直观特性所创建的一种颜色空间, 也称六角锥体模型(Hexcone Model)。
HSV色系是一种直观的颜色模型,每一种颜色都是由色相(Hue,简称H),饱和度(Saturation,简称S)和色明度(Value,简称V)表示,即这个模型中颜色的参数分别是:色调(H),饱和度(S),亮度(V)。色调H参数表示色彩信息,即所处的光谱颜色的位置,该参数用一角度量来表示,取值范围为0°~360°。若从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°,它们的补色是:黄色为60°,青色为180°,紫色为300°。饱和度S的取值范围为0.0~1.0。亮度V的取值范围为0.0(黑色)~1.0(白色)。
上述可知,在HUV颜色空间中,是通过H色相单一数值来描述一个像素点的色彩,UV用来描述饱和度和明亮度,故终端设备可以通过一定的转化公式得到候选视频帧在H通道上的色相图,然后继续求离散,得到候选视频帧的色彩丰富度。
首先,终端设备将候选视频帧的第三像素参数从第一颜色空间下转换至第三颜色空间,得到第三颜色空间下的第四像素参数,该过程可以通过如下公式(9)表示:
(9)
其中,公式(9)中的R、G、B是候选视频帧在RGB颜色空间(即第一颜色空间)下的第三像素参数,H、S、V是候选视频帧在HSV颜色空间(即第三颜色空间)下的第四像素参数。
进一步,终端设备在第四像素参数中,获取候选视频帧的色相参数,即H通道分量,根据候选视频帧的色相参数,可以确定候选视频帧的色彩丰富度,该过程可以通过如下公式(10)表示:
(10)
其中,公式(10)中的表示一个候选视频帧中第i个像素点的色相子参数;/>候选视频帧的均值色度子参数,即n个相似度的平均色相值,/>表示候选视频帧的色度离散程度,等同于色彩丰富度。
结合步骤S102以及步骤S103,可知本申请实施例对视频帧的评价如表1所示,其中,表1是本申请实施例提供的一种无参考评价图像质量的示例表:
表1
步骤S104,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。
具体的,对候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度进行加权求和处理,得到候选视频帧的业务质量;候选视频帧的总数量为H,H为大于1的正整数;在H个候选视频帧分别对应的业务质量中,获取最大业务质量,在H个候选视频帧中,将最大业务质量对应的候选视频帧确定为业务视频帧。
智能地评价一张图像的好坏时,可以分为两种形式:第一种是无参考评价,是指没有参考图像的评价,第二种是有参考评价,是指有参考图像的评价。在本申请实施例中,采用的是无参考评价体系。
通过步骤S102以及步骤S103,终端设备可以拥有候选视频帧的3个评价数据,即对比度、内容丰富度以及色彩丰富度。有了这三部分数据后,终端设备需要确定这三个指标在评价体系中所占的比重,为了能准确地评价图像质量,本申请实施例利用人工智能中的机器学习确定三个指标在评价体系中所占的比重。故终端设备需要先对预训练好的图像评价初始模型进行训练,训练过程可以分为以下几步:
1、获取训练集数据,并从中挑选部分作为验证集。训练集数据包括样本视频以及样本视频对应的标签视频帧。
2、设置图像评价初始模型。具体为添加dense层(全链路),使用sigmoid作为激活函数,指定输入数据的形状(input Shape)。
3、定义训练过程,指定优化器,确定损失函数(logLoss)。
4、开始训练图像评价初始模型,指定训练集大小和总体的训练次数。
5、导出训练好的模型(可称作图像评价模型)。
可以理解的是,图像评价模型包括对比度、内容丰富度以及色彩丰富度这三个指标在评价体系中所占的比重,此外,视频帧的对比度、视频帧的内容丰富度以及视频帧的色彩丰富度分别对应的生成算法也可以布置在图像评价模型中。
上述可知,本申请实施例通过使用本地网页(Web)端视频帧抽取的方式,使用Service Work、Ffmpeg Wasm、Canvas Coreb等技术,实现视频帧的本地快速提取,使用机器学习技术对提取的图像帧进行质量打分,从而使视频中的优质视频帧可以作为封面图或推荐图片,且可以快速又高质量地提取出来,故极大优化用户使用体验。
在本申请实施例中,计算机设备对视频帧Ab进行亮度检测,可以得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,可以从至少两个视频帧中获取候选视频帧,通过上述处理,可以筛选掉部分视频帧,故可以提高后续数据处理效率;进一步,计算机设备对候选视频帧进行边缘检测,可以得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,可以得到候选视频帧的色彩丰富度,通过上述处理,可以得到候选视频帧的多个评价指标值(包括对比度、内容丰富度以及色彩丰富度);进一步,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,计算机设备可以从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。上述可知,本申请实施例是基于多个不同的评价指标对视频帧进行评价,故可以从多个维度上共同评价视频帧的业务质量,因此采用本申请,可以提高业务视频帧的选取质量,通过高质量的业务视频帧,可以提高业务处理效果。
进一步地,请参见图5,图5是本申请实施例提供的一种数据处理方法的流程示意图二。如图5所示,该数据处理方法至少可以包括以下步骤S1031-步骤S1035,且步骤S1031-步骤S1035为图2所对应的实施例中步骤S103的一个具体实施例。
步骤S1031,在至少两个视频帧分别对应的亮度参数中,获取候选视频帧的亮度参数;候选视频帧包括m个像素点;m为大于1的正整数;m个像素点包括像素点Fg,g为正整数且g小于或等于m;候选视频帧的亮度参数包括m个像素点分别对应的亮度子参数。
具体的,该过程可以参见上文图2所对应的实施例中步骤S102中的视频帧Ab的亮度参数的获取过程,也可以理解为,执行完上文步骤S102,终端设备可以从至少两个视频帧分别对应的亮度参数中,获取候选视频帧的亮度参数。
步骤S1032,获取第一方向上的第一梯度矩阵以及第二方向上的第二梯度矩阵;第一方向垂直于第二方向;第一梯度矩阵的矩阵尺寸等于第二梯度矩阵的矩阵尺寸。
步骤S1033,在候选视频帧的亮度参数中,获取像素点Fg对应的亮度矩阵;像素点Fg对应的亮度矩阵等于第一梯度矩阵的矩阵尺寸,且像素点Fg对应的亮度矩阵包括像素点Fg的亮度子参数。
具体的,通常情况下,像素点Fg对应的亮度矩阵属于候选视频帧的亮度参数,对于位于特殊位置的像素点,例如位于候选视频帧的顶点位置或边缘位置,此时,终端设备首先在候选视频帧的亮度参数中,获取包括像素点Fg的亮度子参数的待填充亮度矩阵,然后根据位置关系,对待填充亮度矩阵进行填充,例如填充0等数值,得到像素点Fg对应的亮度矩阵。
步骤S1034,根据第一梯度矩阵、第二梯度矩阵以及像素点Fg对应的亮度矩阵,确定像素点Fg的梯度值。
具体的,对第一梯度矩阵以及像素点Fg对应的亮度矩阵进行矩阵融合处理,得到像素点Fg在第一方向上的第一梯度值;对第二梯度矩阵以及像素点Fg对应的亮度矩阵进行矩阵融合处理,得到像素点Fg在第二方向上的第二梯度值;对第一梯度值以及第二梯度值进行融合处理,得到像素点Fg的梯度值。
步骤S1035,根据m个像素点分别对应的梯度值,确定候选视频帧的内容丰富度。
具体的,对m个像素点分别对应的梯度值进行均值处理,得到候选视频帧对应的均值梯度值;将像素点Fg的梯度值与均值梯度值进行对比,得到对比结果;根据对比结果,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;对m个像素点分别对应的更新亮度子参数进行均值处理,得到候选视频帧的均值亮度子参数;将候选视频帧的均值亮度子参数确定为候选视频帧的内容丰富度。
其中,根据对比结果,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数的具体过程可以包括:若对比结果为像素点Fg的梯度值等于或大于均值梯度值,则通过第一数值,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;第一数值用于指示像素点Fg具有边缘属性;若对比结果为像素点Fg的梯度值小于均值梯度值,则通过第二数值,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;第二数值用于指示像素点Fg不具有边缘属性;第二数值不同于第一数值。
可以理解的是,第一数值表示0,第二数值表示1。
在本申请实施例中,计算机设备对视频帧Ab进行亮度检测,可以得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,可以从至少两个视频帧中获取候选视频帧,通过上述处理,可以筛选掉部分视频帧,故可以提高后续数据处理效率;进一步,计算机设备对候选视频帧进行边缘检测,可以得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,可以得到候选视频帧的色彩丰富度,通过上述处理,可以得到候选视频帧的多个评价指标值(包括对比度、内容丰富度以及色彩丰富度);进一步,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,计算机设备可以从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。上述可知,本申请实施例是基于多个不同的评价指标对视频帧进行评价,故可以从多个维度上共同评价视频帧的业务质量,因此采用本申请,可以提高业务视频帧的选取质量,通过高质量的业务视频帧,可以提高业务处理效果。
进一步地,请参见图6,图6是本申请实施例提供的一种数据处理方法的流程示意图三。该数据处理方法可以由业务服务器(例如,上述图1所示的业务服务器100)执行,也可以由终端设备(例如,上述图1所示的终端设备200a)执行,还可以由业务服务器和终端设备交互执行。为便于理解,本申请实施例以该方法由终端设备执行为例进行说明,即本申请实施例示例计算机设备为终端设备。如图6所示,该数据处理方法至少可以包括以下步骤S201-步骤S207。
步骤S201,若设备磁盘中包含视频,则将设备磁盘中的视频加载至应用客户端的应用内存中。
具体的,终端设备在Web端内对视频进行抽帧,主要考虑两种场景,第一种视频来自本地磁盘,即上述的设备磁盘,第二种是通过远程链接。对于来自本地的视频,终端设备可以将视频从本地磁盘加载到应用客户端的应用内存,该加载过程可以视作瞬时完成,而对于远程视频来说,终端设备要对内容分发网络(Content Delivery Network,简称CDN),即网络资源进行请求,请参见下文步骤的描述。
步骤S202,若设备磁盘中不包含视频,则生成第一视频获取请求,将第一视频获取请求同步至服务组件。
具体的,终端设备可以在应用客户端下挂载一份service worker文件,即本申请实施例中的服务组件。生成第一视频获取请求后,终端设备会将第一视频获取请求发送至服务组件。
步骤S203,在服务组件中,通过第一视频获取请求获取视频,将视频加载至应用内存。
具体的,根据第一视频获取请求,在服务组件对应的结构数据库中进行视频搜索处理;若结构数据库中存在视频,则在结构数据库中获取视频;若结构数据库中不存在视频,则通过服务组件,将第一视频获取请求发送至业务服务器,以使业务服务器响应第一视频获取请求,返回第一状态码;通过服务组件获取第一状态码,根据第一状态码,获取视频。
其中,根据第一状态码,获取视频的具体过程可以包括:若第一状态码指示业务服务器针对第一视频获取请求的响应结果为整体完成结果,则根据第一状态码,获取视频;若第一状态码指示业务服务器针对第一视频获取请求的响应结果为局部完成结果,则根据第一状态码,获取第一局部视频;根据第一局部视频,生成第二视频获取请求,通过服务组件,向业务服务器发送第二视频获取请求,以使业务服务器响应第二视频获取请求,返回第二状态码;通过服务组件获取第二状态码,根据第二状态码,获取第二局部视频,根据第一局部视频以及第二局部视频,生成视频。
服务请求调用indexedDb(即结构数据库),并在indexedDb里查找视频是否被缓存。请一并参见图7,图7是本申请实施例提供的一种数据处理的场景示意图三。如图7所示,终端设备200a将第一视频获取请求同步至服务组件,服务组件的含义请参见上文图2所对应的实施例中步骤S101的描述,此处不进行赘述。服务组件可以持有结构数据库60b,其含义等同上文描述的结构数据库30c,本申请实施例示例结构数据库60b缓存有视频601b、视频602b、视频603b以及视频604b。
根据第一视频获取请求,终端设备200a可以在结构数据库60b中进行视频搜索处理;当结构数据库60b缓存有请求的视频时,例如终端设备200a请求获取视频601b,此时,服务组件可以直接响应第一视频获取请求,将视频601b加载至应用内存。当结构数据库60b未缓存有请求的视频时,服务组件将第一视频获取请求转发至业务服务器100,如图7所示。
进一步,业务服务器100响应第一视频获取请求,并根据响应结果返回第一状态码,通过服务组件,终端设备200a获取第一状态码,根据第一状态码,可以获取视频。若第一状态码为图7示例的状态码60c(即200),则终端设备200a可以确定业务服务器100已成功处理第一视频获取请求,故可以通过业务服务器100提供的网页或数据地址,获取视频。
若第一状态码为206,则终端设备200a可以确定业务服务器100成功处理了部分请求,故可以通过业务服务器100提供的网页,获取第一局部视频,进一步,终端设备进行资源分片以继续获取剩下的视频数据,并不断的拼接获取到的视频数据(包括第一局部视频),最后得到完整的视频。
步骤S204,在应用客户端的应用内存中获取视频,获取视频中的至少两个视频帧;至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量。
其中,步骤S204的具体实现过程,请参见上文图2所对应的实施例中的步骤S101,此处不进行赘述。
步骤S205,对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧。
具体的,获取对比度阈值,将视频帧Ab的对比度与对比度阈值进行对比;若视频帧Ab的对比度大于或等于对比度阈值,则确定视频帧Ab为候选视频帧。
对比度阈值可以根据实际应用场景进行调整,本申请实施例不对取值进行限定。
步骤S206,对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度。
步骤S207,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。
其中,步骤S206-步骤S207的具体实现过程,请参见上文图2所对应的实施例中的步骤S103-步骤S104,此处不进行赘述。
在本申请实施例中,计算机设备对视频帧Ab进行亮度检测,可以得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,可以从至少两个视频帧中获取候选视频帧,通过上述处理,可以筛选掉部分视频帧,故可以提高后续数据处理效率;进一步,计算机设备对候选视频帧进行边缘检测,可以得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,可以得到候选视频帧的色彩丰富度,通过上述处理,可以得到候选视频帧的多个评价指标值(包括对比度、内容丰富度以及色彩丰富度);进一步,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,计算机设备可以从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。上述可知,本申请实施例是基于多个不同的评价指标对视频帧进行评价,故可以从多个维度上共同评价视频帧的业务质量,因此采用本申请,可以提高业务视频帧的选取质量,通过高质量的业务视频帧,可以提高业务处理效果。
进一步地,请参见图8,图8是本申请实施例提供的一种数据处理装置的结构示意图。上述数据处理装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置1为一个应用软件;数据处理装置1可以用于执行本申请实施例提供的方法中的相应步骤。如图8所示,该数据处理装置1可以包括:第一获取模块11、第一检测模块12、第二检测模块13以及第二获取模块14。
第一获取模块11,用于获取视频中的至少两个视频帧;至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量;
第一检测模块12,用于对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧;
第二检测模块13,用于对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度;
第二获取模块14,用于根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。
其中,第一获取模块11、第一检测模块12、第二检测模块13以及第二获取模块14的具体功能实现方式,可以参见上述图2对应实施例中的步骤S101-步骤S104,这里不再进行赘述。
再请参见图8,第一获取模块11可以包括:第一获取单元111、第一处理单元112、第二处理单元113、视频缓存单元114以及第二获取单元115。
第一获取单元111,用于在应用客户端的应用内存中获取视频,获取视频的视频标识;
第一处理单元112,用于根据视频标识,在挂载于应用客户端的服务组件中进行视频帧搜索处理;
第二处理单元113,用于若服务组件中不存在与视频标识关联缓存的至少两个视频帧,则对视频进行抽帧处理,得到视频中的至少两个视频帧;
视频缓存单元114,用于将视频标识以及至少两个视频帧关联缓存于服务组件;
第二获取单元115,用于若服务组件中存在与视频标识关联缓存的至少两个视频帧,则在服务组件中获取与视频标识关联缓存的至少两个视频帧;与视频标识关联缓存的至少两个视频帧属于视频。
其中,第一获取单元111、第一处理单元112、第二处理单元113、视频缓存单元114以及第二获取单元115的具体功能实现方式,可以参见上述图2对应实施例中的步骤S101,这里不再进行赘述。
再请参见图8,第一获取模块11还可以包括:第一加载单元116、请求生成单元117以及第二加载单元118。
第一加载单元116,用于若设备磁盘中包含视频,则将设备磁盘中的视频加载至应用客户端的应用内存中;
请求生成单元117,用于若设备磁盘中不包含视频,则生成第一视频获取请求,将第一视频获取请求同步至服务组件;
第二加载单元118,用于在服务组件中,通过第一视频获取请求获取视频,将视频加载至应用内存。
其中,第一加载单元116、请求生成单元117以及第二加载单元118的具体功能实现方式,可以参见上述图6对应实施例中的步骤S201-步骤S203,这里不再进行赘述。
再请参见图8,第二加载单元118可以包括:第一处理子单元1181、第一获取子单元1182、请求发送子单元1183以及第二获取子单元1184。
第一处理子单元1181,用于根据第一视频获取请求,在服务组件对应的结构数据库中进行视频搜索处理;
第一获取子单元1182,用于若结构数据库中存在视频,则在结构数据库中获取视频;
请求发送子单元1183,用于若结构数据库中不存在视频,则通过服务组件,将第一视频获取请求发送至业务服务器,以使业务服务器响应第一视频获取请求,返回第一状态码;
第二获取子单元1184,用于通过服务组件获取第一状态码,根据第一状态码,获取视频。
其中,第一处理子单元1181、第一获取子单元1182、请求发送子单元1183以及第二获取子单元1184的具体功能实现方式,可以参见上述图6对应实施例中的步骤S203,这里不再进行赘述。
再请参见图8,第二获取子单元1184可以包括:视频获取子单元11841、局部获取子单元11842、请求生成子单元11843以及视频生成子单元11844。
视频获取子单元11841,用于若第一状态码指示业务服务器针对第一视频获取请求的响应结果为整体完成结果,则根据第一状态码,获取视频;
局部获取子单元11842,用于若第一状态码指示业务服务器针对第一视频获取请求的响应结果为局部完成结果,则根据第一状态码,获取第一局部视频;
请求生成子单元11843,用于根据第一局部视频,生成第二视频获取请求,通过服务组件,向业务服务器发送第二视频获取请求,以使业务服务器响应第二视频获取请求,返回第二状态码;
视频生成子单元11844,用于通过服务组件获取第二状态码,根据第二状态码,获取第二局部视频,根据第一局部视频以及第二局部视频,生成视频。
其中,视频获取子单元11841、局部获取子单元11842、请求生成子单元11843以及视频生成子单元11844的具体功能实现方式,可以参见上述图6对应实施例中的步骤S203,这里不再进行赘述。
再请参见图8,第一检测模块12可以包括:第一转换单元121以及第三获取单元122。
第一转换单元121,用于将视频帧Ab的第一像素参数从第一颜色空间下转换至第二颜色空间,得到第二颜色空间下的第二像素参数;
第三获取单元122,用于在第二像素参数中,获取视频帧Ab的亮度参数,根据视频帧Ab的亮度参数,确定视频帧Ab的对比度。
其中,第一转换单元121以及第三获取单元122的具体功能实现方式,可以参见上述图2对应实施例中的步骤S102,这里不再进行赘述。
再请参见图8,视频帧Ab包括n个像素点;n为大于1的正整数;n个像素点包括像素点Cd,d为正整数且d小于或等于n;视频帧Ab的亮度参数包括n个像素点分别对应的亮度子参数;
第三获取单元122可以包括:第三获取子单元1221、第二处理子单元1222、第三处理子单元1223、第四处理子单元1224以及第一确定子单元1225。
第三获取子单元1221,用于对n个亮度子参数进行均值处理,得到视频帧Ab的均值亮度子参数,在n个亮度子参数中,获取像素点Cd对应的亮度子参数Ed;
第二处理子单元1222,用于对亮度子参数Ed以及视频帧Ab的均值亮度子参数进行求差处理,得到像素点Cd对应的差值亮度子参数;
第三处理子单元1223,用于对像素点Cd对应的差值亮度子参数进行平方处理,得到像素点Cd对应的平方亮度子参数;
第四处理子单元1224,用于对n个像素点分别对应的平方亮度子参数进行求和处理,得到平方亮度参数;
第一确定子单元1225,用于对平方亮度参数以及n进行求商处理,得到比值亮度参数,对比值亮度参数进行平方根处理,得到离散亮度参数,将离散亮度参数确定为视频帧Ab的对比度。
其中,第三获取子单元1221、第二处理子单元1222、第三处理子单元1223、第四处理子单元1224以及第一确定子单元1225的具体功能实现方式,可以参见上述图2对应实施例中的步骤S102,这里不再进行赘述。
再请参见图8,第一检测模块12可以包括:第四获取单元123以及第一确定单元124。
第四获取单元123,用于获取对比度阈值,将视频帧Ab的对比度与对比度阈值进行对比;
第一确定单元124,用于若视频帧Ab的对比度大于或等于对比度阈值,则确定视频帧Ab为候选视频帧。
其中,第四获取单元123以及第一确定单元124的具体功能实现方式,可以参见上述图6对应实施例中的步骤S205,这里不再进行赘述。
再请参见图8,第二检测模块13可以包括:第五获取单元131、第六获取单元132、第七获取单元133、第二确定单元134以及第三确定单元135。
第五获取单元131,用于在至少两个视频帧分别对应的亮度参数中,获取候选视频帧的亮度参数;候选视频帧包括m个像素点;m为大于1的正整数;m个像素点包括像素点Fg,g为正整数且g小于或等于m;候选视频帧的亮度参数包括m个像素点分别对应的亮度子参数;
第六获取单元132,用于获取第一方向上的第一梯度矩阵以及第二方向上的第二梯度矩阵;第一方向垂直于第二方向;第一梯度矩阵的矩阵尺寸等于第二梯度矩阵的矩阵尺寸;
第七获取单元133,用于在候选视频帧的亮度参数中,获取像素点Fg对应的亮度矩阵;像素点Fg对应的亮度矩阵等于第一梯度矩阵的矩阵尺寸,且像素点Fg对应的亮度矩阵包括像素点Fg的亮度子参数;
第二确定单元134,用于根据第一梯度矩阵、第二梯度矩阵以及像素点Fg对应的亮度矩阵,确定像素点Fg的梯度值;
第三确定单元135,用于根据m个像素点分别对应的梯度值,确定候选视频帧的内容丰富度。
其中,第五获取单元131、第六获取单元132、第七获取单元133、第二确定单元134以及第三确定单元135的具体功能实现方式,可以参见上述图5对应实施例中的步骤S1031-步骤S1035,这里不再进行赘述。
再请参见图8,第二确定单元134可以包括:第五处理子单元1341、第六处理子单元1342以及第七处理子单元1343。
第五处理子单元1341,用于对第一梯度矩阵以及像素点Fg对应的亮度矩阵进行矩阵融合处理,得到像素点Fg在第一方向上的第一梯度值;
第六处理子单元1342,用于对第二梯度矩阵以及像素点Fg对应的亮度矩阵进行矩阵融合处理,得到像素点Fg在第二方向上的第二梯度值;
第七处理子单元1343,用于对第一梯度值以及第二梯度值进行融合处理,得到像素点Fg的梯度值。
其中,第五处理子单元1341、第六处理子单元1342以及第七处理子单元1343的具体功能实现方式,可以参见上述图5对应实施例中的步骤S1034,这里不再进行赘述。
再请参见图8,第三确定单元135可以包括:第八处理子单元1351、梯度对比子单元1352、第九处理子单元1353、第十处理子单元1354以及第二确定子单元1355。
第八处理子单元1351,用于对m个像素点分别对应的梯度值进行均值处理,得到候选视频帧对应的均值梯度值;
梯度对比子单元1352,用于将像素点Fg的梯度值与均值梯度值进行对比,得到对比结果;
第九处理子单元1353,用于根据对比结果,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;
第十处理子单元1354,用于对m个像素点分别对应的更新亮度子参数进行均值处理,得到候选视频帧的均值亮度子参数;
第二确定子单元1355,用于将候选视频帧的均值亮度子参数确定为候选视频帧的内容丰富度。
其中,第八处理子单元1351、梯度对比子单元1352、第九处理子单元1353、第十处理子单元1354以及第二确定子单元1355的具体功能实现方式,可以参见上述图5对应实施例中的步骤S1035,这里不再进行赘述。
再请参见图8,梯度对比子单元1352可以包括:第一更新子单元13521以及第二更新子单元13522。
第一更新子单元13521,用于若对比结果为像素点Fg的梯度值等于或大于均值梯度值,则通过第一数值,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;第一数值用于指示像素点Fg具有边缘属性;
第二更新子单元13522,用于若对比结果为像素点Fg的梯度值小于均值梯度值,则通过第二数值,对像素点Fg的亮度子参数进行更新处理,得到像素点Fg的更新亮度子参数;第二数值用于指示像素点Fg不具有边缘属性;第二数值不同于第一数值。
其中,第一更新子单元13521以及第二更新子单元13522的具体功能实现方式,可以参见上述图5对应实施例中的步骤S1035,这里不再进行赘述。
再请参见图8,第二检测模块13可以包括:第二转换单元136以及第四确定单元137。
第二转换单元136,用于将候选视频帧的第三像素参数从第一颜色空间下转换至第三颜色空间,得到第三颜色空间下的第四像素参数;
第四确定单元137,用于在第四像素参数中,获取候选视频帧的色相参数,根据候选视频帧的色相参数,确定候选视频帧的色彩丰富度。
其中,第二转换单元136以及第四确定单元137的具体功能实现方式,可以参见上述图2对应实施例中的步骤S103,这里不再进行赘述。
再请参见图8,第二获取模块14可以包括:第三处理单元141以及第五确定单元142。
第三处理单元141,用于对候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度进行加权求和处理,得到候选视频帧的业务质量;候选视频帧的总数量为H,H为大于1的正整数;
第五确定单元142,用于在H个候选视频帧分别对应的业务质量中,获取最大业务质量,在H个候选视频帧中,将最大业务质量对应的候选视频帧确定为业务视频帧。
其中,第三处理单元141以及第五确定单元142的具体功能实现方式,可以参见上述图2对应实施例中的步骤S104,这里不再进行赘述。
在本申请实施例中,计算机设备对视频帧Ab进行亮度检测,可以得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,可以从至少两个视频帧中获取候选视频帧,通过上述处理,可以筛选掉部分视频帧,故可以提高后续数据处理效率;进一步,计算机设备对候选视频帧进行边缘检测,可以得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,可以得到候选视频帧的色彩丰富度,通过上述处理,可以得到候选视频帧的多个评价指标值(包括对比度、内容丰富度以及色彩丰富度);进一步,根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,计算机设备可以从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。上述可知,本申请实施例是基于多个不同的评价指标对视频帧进行评价,故可以从多个维度上共同评价视频帧的业务质量,因此采用本申请,可以提高业务视频帧的选取质量,通过高质量的业务视频帧,可以提高业务处理效果。
进一步地,请参见图9,图9是本申请实施例提供的一种计算机设备的结构示意图。如图9所示,该计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,在一些实施例中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取视频中的至少两个视频帧;至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于至少两个视频帧的总数量;
对视频帧Ab进行亮度检测,得到视频帧Ab的对比度,根据至少两个视频帧分别对应的对比度,从至少两个视频帧中获取候选视频帧;
对候选视频帧进行边缘检测,得到候选视频帧的内容丰富度,对候选视频帧进行色相检测,得到候选视频帧的色彩丰富度;
根据候选视频帧的对比度、候选视频帧的内容丰富度以及候选视频帧的色彩丰富度,从候选视频帧中获取业务视频帧;业务视频帧用于进行与视频相关联的业务处理。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文各实施例中对数据处理方法或装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现前文各实施例中对数据处理方法或装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,简称SMC),安全数字(secure digital,简称SD)卡,闪存卡(flashcard)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备可执行前文各实施例中对数据处理方法或装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (15)
1.一种数据处理方法,其特征在于,包括:
获取视频中的至少两个视频帧;所述至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于所述至少两个视频帧的总数量;
将所述视频帧Ab的第一像素参数从第一颜色空间下转换至第二颜色空间,得到所述第二颜色空间下的第二像素参数;
在所述第二像素参数中,获取所述视频帧Ab的亮度参数;所述视频帧Ab包括n个像素点;n为大于1的正整数;所述n个像素点包括像素点Cd,d为正整数且d小于或等于n;所述视频帧Ab的亮度参数包括所述n个像素点分别对应的亮度子参数;
对n个亮度子参数进行均值处理,得到所述视频帧Ab的均值亮度子参数,在所述n个亮度子参数中,获取所述像素点Cd对应的亮度子参数Ed;
对所述亮度子参数Ed以及所述视频帧Ab的均值亮度子参数进行求差处理,得到所述像素点Cd对应的差值亮度子参数;
对所述像素点Cd对应的差值亮度子参数进行平方处理,得到所述像素点Cd对应的平方亮度子参数;
对所述n个像素点分别对应的平方亮度子参数进行求和处理,得到平方亮度参数;
对所述平方亮度参数以及n进行求商处理,得到比值亮度参数,对所述比值亮度参数进行平方根处理,得到离散亮度参数,将所述离散亮度参数确定为所述视频帧Ab的对比度;
根据所述至少两个视频帧分别对应的对比度,从所述至少两个视频帧中获取候选视频帧;
对所述候选视频帧进行边缘检测,得到所述候选视频帧的内容丰富度,对所述候选视频帧进行色相检测,得到所述候选视频帧的色彩丰富度;
根据所述候选视频帧的对比度、所述候选视频帧的内容丰富度以及所述候选视频帧的色彩丰富度,从所述候选视频帧中获取业务视频帧;所述业务视频帧用于进行与所述视频相关联的业务处理。
2.根据权利要求1所述的方法,其特征在于,所述获取视频中的至少两个视频帧,包括:
在应用客户端的应用内存中获取视频,获取所述视频的视频标识;
根据所述视频标识,在挂载于所述应用客户端的服务组件中进行视频帧搜索处理;
若所述服务组件中不存在与所述视频标识关联缓存的至少两个视频帧,则对所述视频进行抽帧处理,得到所述视频中的至少两个视频帧;
将所述视频标识以及所述至少两个视频帧关联缓存于所述服务组件;
若所述服务组件中存在与所述视频标识关联缓存的至少两个视频帧,则在所述服务组件中获取与所述视频标识关联缓存的至少两个视频帧;与所述视频标识关联缓存的至少两个视频帧属于所述视频。
3.根据权利要求2所述的方法,其特征在于,所述在应用客户端的应用内存中获取视频之前,还包括:
若设备磁盘中包含所述视频,则将所述设备磁盘中的所述视频加载至所述应用客户端的应用内存中;
若所述设备磁盘中不包含所述视频,则生成第一视频获取请求,将所述第一视频获取请求同步至所述服务组件;
在所述服务组件中,通过所述第一视频获取请求获取所述视频,将所述视频加载至所述应用内存。
4.根据权利要求3所述的方法,其特征在于,所述通过所述第一视频获取请求获取所述视频,包括:
根据所述第一视频获取请求,在所述服务组件对应的结构数据库中进行视频搜索处理;
若所述结构数据库中存在所述视频,则在所述结构数据库中获取所述视频;
若所述结构数据库中不存在所述视频,则通过所述服务组件,将所述第一视频获取请求发送至业务服务器,以使所述业务服务器响应所述第一视频获取请求,返回第一状态码;
通过所述服务组件获取所述第一状态码,根据所述第一状态码,获取所述视频。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一状态码,获取所述视频,包括:
若所述第一状态码指示所述业务服务器针对所述第一视频获取请求的响应结果为整体完成结果,则根据所述第一状态码,获取所述视频;
若所述第一状态码指示所述业务服务器针对所述第一视频获取请求的响应结果为局部完成结果,则根据所述第一状态码,获取第一局部视频;
根据所述第一局部视频,生成第二视频获取请求,通过所述服务组件,向所述业务服务器发送所述第二视频获取请求,以使所述业务服务器响应所述第二视频获取请求,返回第二状态码;
通过所述服务组件获取所述第二状态码,根据所述第二状态码,获取第二局部视频,根据所述第一局部视频以及所述第二局部视频,生成所述视频。
6.根据权利要求1所述的方法,其特征在于,所述根据所述至少两个视频帧分别对应的对比度,从所述至少两个视频帧中获取候选视频帧,包括:
获取对比度阈值,将所述视频帧Ab的对比度与所述对比度阈值进行对比;
若所述视频帧Ab的对比度大于或等于所述对比度阈值,则确定所述视频帧Ab为候选视频帧。
7.根据权利要求1所述的方法,其特征在于,所述对所述候选视频帧进行边缘检测,得到所述候选视频帧的内容丰富度,包括:
在所述至少两个视频帧分别对应的亮度参数中,获取所述候选视频帧的亮度参数;所述候选视频帧包括m个像素点;m为大于1的正整数;所述m个像素点包括像素点Fg,g为正整数且g小于或等于m;所述候选视频帧的亮度参数包括所述m个像素点分别对应的亮度子参数;
获取第一方向上的第一梯度矩阵以及第二方向上的第二梯度矩阵;所述第一方向垂直于所述第二方向;所述第一梯度矩阵的矩阵尺寸等于所述第二梯度矩阵的矩阵尺寸;
在所述候选视频帧的亮度参数中,获取所述像素点Fg对应的亮度矩阵;所述像素点Fg对应的亮度矩阵等于所述第一梯度矩阵的矩阵尺寸,且所述像素点Fg对应的亮度矩阵包括所述像素点Fg的亮度子参数;
根据所述第一梯度矩阵、所述第二梯度矩阵以及所述像素点Fg对应的亮度矩阵,确定所述像素点Fg的梯度值;
根据所述m个像素点分别对应的梯度值,确定所述候选视频帧的内容丰富度。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一梯度矩阵、所述第二梯度矩阵以及所述像素点Fg对应的亮度矩阵,确定所述像素点Fg的梯度值,包括:
对所述第一梯度矩阵以及所述像素点Fg对应的亮度矩阵进行矩阵融合处理,得到所述像素点Fg在所述第一方向上的第一梯度值;
对所述第二梯度矩阵以及所述像素点Fg对应的亮度矩阵进行矩阵融合处理,得到所述像素点Fg在所述第二方向上的第二梯度值;
对所述第一梯度值以及所述第二梯度值进行融合处理,得到所述像素点Fg的梯度值。
9.根据权利要求7所述的方法,其特征在于,所述根据所述m个像素点分别对应的梯度值,确定所述候选视频帧的内容丰富度,包括:
对所述m个像素点分别对应的梯度值进行均值处理,得到所述候选视频帧对应的均值梯度值;
将所述像素点Fg的梯度值与所述均值梯度值进行对比,得到对比结果;
根据所述对比结果,对所述像素点Fg的亮度子参数进行更新处理,得到所述像素点Fg的更新亮度子参数;
对所述m个像素点分别对应的更新亮度子参数进行均值处理,得到所述候选视频帧的均值亮度子参数;
将所述候选视频帧的均值亮度子参数确定为所述候选视频帧的内容丰富度。
10.根据权利要求9所述的方法,其特征在于,所述根据所述对比结果,对所述像素点Fg的亮度子参数进行更新处理,得到所述像素点Fg的更新亮度子参数,包括:
若所述对比结果为所述像素点Fg的梯度值等于或大于所述均值梯度值,则通过第一数值,对所述像素点Fg的亮度子参数进行更新处理,得到所述像素点Fg的更新亮度子参数;所述第一数值用于指示所述像素点Fg具有边缘属性;
若所述对比结果为所述像素点Fg的梯度值小于所述均值梯度值,则通过第二数值,对所述像素点Fg的亮度子参数进行更新处理,得到所述像素点Fg的更新亮度子参数;所述第二数值用于指示所述像素点Fg不具有边缘属性;所述第二数值不同于第一数值。
11.根据权利要求1所述的方法,其特征在于,所述对所述候选视频帧进行色相检测,得到所述候选视频帧的色彩丰富度,包括:
将所述候选视频帧的第三像素参数从第一颜色空间下转换至第三颜色空间,得到所述第三颜色空间下的第四像素参数;
在所述第四像素参数中,获取所述候选视频帧的色相参数,根据所述候选视频帧的色相参数,确定所述候选视频帧的色彩丰富度。
12.根据权利要求1所述的方法,其特征在于,所述根据所述候选视频帧的对比度、所述候选视频帧的内容丰富度以及所述候选视频帧的色彩丰富度,从所述候选视频帧中获取业务视频帧,包括:
对所述候选视频帧的对比度、所述候选视频帧的内容丰富度以及所述候选视频帧的色彩丰富度进行加权求和处理,得到所述候选视频帧的业务质量;所述候选视频帧的总数量为H,H为大于1的正整数;
在H个候选视频帧分别对应的业务质量中,获取最大业务质量,在所述H个候选视频帧中,将所述最大业务质量对应的候选视频帧确定为业务视频帧。
13.一种数据处理装置,其特征在于,包括:
第一获取模块,用于获取视频中的至少两个视频帧;所述至少两个视频帧包括视频帧Ab,b为正整数,且b小于或等于所述至少两个视频帧的总数量;
第一检测模块,用于将所述视频帧Ab的第一像素参数从第一颜色空间下转换至第二颜色空间,得到所述第二颜色空间下的第二像素参数;
所述第一检测模块,还用于在所述第二像素参数中,获取所述视频帧Ab的亮度参数;所述视频帧Ab包括n个像素点;n为大于1的正整数;所述n个像素点包括像素点Cd,d为正整数且d小于或等于n;所述视频帧Ab的亮度参数包括所述n个像素点分别对应的亮度子参数;
所述第一检测模块,还用于对n个亮度子参数进行均值处理,得到所述视频帧Ab的均值亮度子参数,在所述n个亮度子参数中,获取所述像素点Cd对应的亮度子参数Ed;
所述第一检测模块,还用于对所述亮度子参数Ed以及所述视频帧Ab的均值亮度子参数进行求差处理,得到所述像素点Cd对应的差值亮度子参数;
所述第一检测模块,还用于对所述像素点Cd对应的差值亮度子参数进行平方处理,得到所述像素点Cd对应的平方亮度子参数;
所述第一检测模块,还用于对所述n个像素点分别对应的平方亮度子参数进行求和处理,得到平方亮度参数;
所述第一检测模块,还用于对所述平方亮度参数以及n进行求商处理,得到比值亮度参数,对所述比值亮度参数进行平方根处理,得到离散亮度参数,将所述离散亮度参数确定为所述视频帧Ab的对比度;
所述第一检测模块,还用于根据所述至少两个视频帧分别对应的对比度,从所述至少两个视频帧中获取候选视频帧;
第二检测模块,用于对所述候选视频帧进行边缘检测,得到所述候选视频帧的内容丰富度,对所述候选视频帧进行色相检测,得到所述候选视频帧的色彩丰富度;
第二获取模块,用于根据所述候选视频帧的对比度、所述候选视频帧的内容丰富度以及所述候选视频帧的色彩丰富度,从所述候选视频帧中获取业务视频帧;所述业务视频帧用于进行与所述视频相关联的业务处理。
14.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311057822.9A CN116777914B (zh) | 2023-08-22 | 2023-08-22 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311057822.9A CN116777914B (zh) | 2023-08-22 | 2023-08-22 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116777914A CN116777914A (zh) | 2023-09-19 |
CN116777914B true CN116777914B (zh) | 2023-11-07 |
Family
ID=87994869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311057822.9A Active CN116777914B (zh) | 2023-08-22 | 2023-08-22 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116777914B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102932679A (zh) * | 2012-11-21 | 2013-02-13 | 合一网络技术(北京)有限公司 | 一种网络视频预览系统和方法 |
CN105635790A (zh) * | 2015-12-29 | 2016-06-01 | 腾讯科技(北京)有限公司 | 视频展示方法及装置 |
CN109388721A (zh) * | 2018-10-18 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 封面视频帧的确定方法和装置 |
CN110324706A (zh) * | 2018-03-30 | 2019-10-11 | 优酷网络技术(北京)有限公司 | 一种视频封面的生成方法、装置及计算机存储介质 |
CN111385640A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 视频封面的确定方法、装置、设备及存储介质 |
CN112312200A (zh) * | 2019-08-06 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 视频封面生成方法、装置和电子设备 |
CN113407774A (zh) * | 2021-06-30 | 2021-09-17 | 广州酷狗计算机科技有限公司 | 封面确定方法、装置、计算机设备及存储介质 |
CN114283351A (zh) * | 2021-09-29 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 视频场景分割方法、装置、设备及计算机可读存储介质 |
CN114390369A (zh) * | 2020-10-22 | 2022-04-22 | 北京鸿享技术服务有限公司 | 动态封面生成方法、装置、设备及存储介质 |
CN114419527A (zh) * | 2022-04-01 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备以及计算机可读存储介质 |
CN114845158A (zh) * | 2022-04-11 | 2022-08-02 | 广州虎牙科技有限公司 | 视频封面的生成方法、视频发布方法及相关设备 |
CN115134677A (zh) * | 2022-05-30 | 2022-09-30 | 一点灵犀信息技术(广州)有限公司 | 视频封面选择方法、装置、电子设备以及计算机存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9270841B2 (en) * | 2005-04-15 | 2016-02-23 | Freeze Frame, Llc | Interactive image capture, marketing and distribution |
US8994826B2 (en) * | 2010-08-26 | 2015-03-31 | Blast Motion Inc. | Portable wireless mobile device motion capture and analysis system and method |
US10147460B2 (en) * | 2016-12-28 | 2018-12-04 | Immersion Corporation | Haptic effect generation for space-dependent content |
CN112069951A (zh) * | 2020-08-25 | 2020-12-11 | 北京小米松果电子有限公司 | 视频片段提取方法、视频片段提取装置及存储介质 |
CN112383830A (zh) * | 2020-11-06 | 2021-02-19 | 北京小米移动软件有限公司 | 视频封面确定方法及装置、存储介质 |
CN112559800B (zh) * | 2020-12-17 | 2023-11-14 | 北京百度网讯科技有限公司 | 用于处理视频的方法、装置、电子设备、介质和产品 |
-
2023
- 2023-08-22 CN CN202311057822.9A patent/CN116777914B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102932679A (zh) * | 2012-11-21 | 2013-02-13 | 合一网络技术(北京)有限公司 | 一种网络视频预览系统和方法 |
CN105635790A (zh) * | 2015-12-29 | 2016-06-01 | 腾讯科技(北京)有限公司 | 视频展示方法及装置 |
CN110324706A (zh) * | 2018-03-30 | 2019-10-11 | 优酷网络技术(北京)有限公司 | 一种视频封面的生成方法、装置及计算机存储介质 |
CN109388721A (zh) * | 2018-10-18 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 封面视频帧的确定方法和装置 |
CN111385640A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 视频封面的确定方法、装置、设备及存储介质 |
CN112312200A (zh) * | 2019-08-06 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 视频封面生成方法、装置和电子设备 |
CN114390369A (zh) * | 2020-10-22 | 2022-04-22 | 北京鸿享技术服务有限公司 | 动态封面生成方法、装置、设备及存储介质 |
CN113407774A (zh) * | 2021-06-30 | 2021-09-17 | 广州酷狗计算机科技有限公司 | 封面确定方法、装置、计算机设备及存储介质 |
CN114283351A (zh) * | 2021-09-29 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 视频场景分割方法、装置、设备及计算机可读存储介质 |
CN114419527A (zh) * | 2022-04-01 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备以及计算机可读存储介质 |
CN114845158A (zh) * | 2022-04-11 | 2022-08-02 | 广州虎牙科技有限公司 | 视频封面的生成方法、视频发布方法及相关设备 |
CN115134677A (zh) * | 2022-05-30 | 2022-09-30 | 一点灵犀信息技术(广州)有限公司 | 视频封面选择方法、装置、电子设备以及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116777914A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215171B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
CN113518256B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
CN109871845B (zh) | 证件图像提取方法及终端设备 | |
CN113822951B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113763296A (zh) | 图像处理方法、设备以及介质 | |
CN114529490B (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
CN113627402B (zh) | 一种图像识别方法及相关装置 | |
CN114550051A (zh) | 一种车损检测方法、装置、计算机设备及存储介质 | |
CN111582155A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
Yang et al. | No‐reference image quality assessment via structural information fluctuation | |
CN114187515A (zh) | 图像分割方法和图像分割装置 | |
CN113011254B (zh) | 一种视频数据处理方法、计算机设备及可读存储介质 | |
CN106776699A (zh) | 在线3d模型的获取方法、提供方法、装置及管理系统 | |
CN116701706B (zh) | 一种基于人工智能的数据处理方法、装置、设备及介质 | |
CN116777914B (zh) | 一种数据处理方法、装置、设备以及计算机可读存储介质 | |
CN113411550A (zh) | 视频上色方法、装置、设备及存储介质 | |
CN112287945A (zh) | 碎屏确定方法、装置、计算机设备及计算机可读存储介质 | |
CN116012612A (zh) | 内容检测方法和系统 | |
CN113449808B (zh) | 多源图文信息分类方法及其相应的装置、设备、介质 | |
CN117009577A (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
CN114581994A (zh) | 一种课堂考勤管理方法和系统 | |
CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN113762032A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092338 Country of ref document: HK |