CN111062926B - 一种视频数据处理方法、装置及存储介质 - Google Patents
一种视频数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111062926B CN111062926B CN201911309688.0A CN201911309688A CN111062926B CN 111062926 B CN111062926 B CN 111062926B CN 201911309688 A CN201911309688 A CN 201911309688A CN 111062926 B CN111062926 B CN 111062926B
- Authority
- CN
- China
- Prior art keywords
- image
- image frame
- frame
- filtering
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 177
- 238000001514 detection method Methods 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 154
- 238000006243 chemical reaction Methods 0.000 claims description 62
- 238000005070 sampling Methods 0.000 claims description 35
- 238000005286 illumination Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000004880 explosion Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005422 blasting Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种视频数据处理方法、装置及存储介质，该方法包括：获取视频序列中的图像帧Mi‑2、图像帧Mi‑1和图像帧Mi；确定与上述图像帧Mi‑2相关联的滤波图像Fi‑2、与上述图像帧Mi‑1相关联的滤波图像Fi‑1和与上述图像帧Mi相关联的滤波图像Fi；将上述滤波图像Fi‑2与上述滤波图像Fi‑1之间的差异图像作为上述图像帧Mi‑1的第一帧差图像，将上述滤波图像Fi‑1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像；在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值；在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。采用本申请实施例，可以提高边界检测的抗干扰性以及边界检测的准确率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种视频数据处理方法、装置及存储介质。
背景技术
随着多媒体技术在日常生活中的广泛应用，视频处理成了必不可少的研究方向。而视频处理的首要步骤就是对视频场景中边界图像帧的检测。由于镜头切变会导致图像帧对应的像素值发生剧烈变化，所以，大部分对视频序列的边界检测的方法是对所有图像帧的色彩信息进行检测。
例如，图像帧A与图像帧B是某个视频中的两个图像帧，其中，图像帧A可以为终端所采集到的游戏中的游戏角色在第一时刻的图像数据，图像帧B可以为这个游戏角色在第二时刻(即第一时刻的下一时刻)的图像数据，若该图像帧B中存在爆破等剧烈光照强度变化的镜头，则会导致这两个图像帧的像素值发生剧烈变化，即现有技术在进行边界检测时，并不具备抗干扰性，所以，该终端在进行边界检测的过程中，难免会存在误将该图像帧B确定为边界图像帧的可能，进而降低了边界检测的准确率。
申请内容
本申请实施例提供一种视频数据处理方法、装置及存储介质，可以提高边界检测的抗干扰性以及边界检测的准确率。
本申请实施例一方面提供一种视频数据处理方法，该方法包括：
获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi；上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数；
确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi；
将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像；
在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值；
在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。
其中，上述确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi，包括：
将上述图像帧Mi-2、上述图像帧Mi-1和上述图像帧Mi分别确定为目标图像帧；上述目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的；
根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，对上述目标图像帧进行灰度转换，得到与上述目标图像帧具有相同图像尺寸的目标灰度图像；
根据上述目标灰度图像的图像尺寸以及上述目标灰度图像的下采样率，对上述目标灰度图像进行下采样处理，得到目标采样图像；
对上述目标采样图像进行滤波处理，得到滤波处理结果；上述滤波处理结果包括：与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
其中，上述多个通道包含第一通道、第二通道和第三通道；
上述根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，对上述目标图像帧进行灰度转换，得到与上述目标图像帧具有相同图像尺寸的目标灰度图像，包括：
根据上述目标图像帧中的像素点的像素值，确定上述像素点中的每个像素点分别在上述第一通道上的色彩分量、上述第二通道上的色彩分量以及上述第三通道上的色彩分量；
获取上述第一通道对应的第一灰度转换参数、上述第二通道对应的第二灰度转换参数以及上述第三通道对应的第三灰度转换参数；
根据上述第一通道上的色彩分量、上述第一灰度转换参数、上述第二通道上的色彩分量、上述第二灰度转换参数、上述第三通道上的色彩分量以及上述第一灰度转换参数，确定上述每个像素点的灰度值；
基于上述每个像素点的灰度值，确定与上述目标图像帧具有相同图像尺寸的目标灰度图像。
其中，上述对上述目标采样图像进行滤波处理，得到滤波处理结果，包括：
获取用于对上述目标采样图像进行滤波处理的滤波辅助参数以及N个滤波方向参数；上述滤波辅助参数为对上述目标采样图像进行滤波处理时的固定参数，上述滤波方向参数的角度范围包含0度至360度；上述N为正整数；
基于上述滤波辅助参数、上述N个滤波方向参数，分别对上述目标采样图像进行滤波处理，得到N个滤波子图像；
对上述N个滤波子图像进行融合，得到上述目标采样图像对应的滤波处理结果。
其中，上述在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值，包括：
将上述第二帧差图像中的每个像素点分别确定为待处理像素点，在上述第二帧差图像中确定每个待处理像素点的位置坐标信息；
根据上述第二帧差图像的图像尺寸、上述每个待处理像素点的位置坐标信息，对上述每个待处理像素点的像素值进行均值处理，得到上述第二帧差图像的第一均值；
获取与上述视频序列相关联的第一检测条件；上述第一检测条件包含第一阈值和第二阈值，且上述第一阈值小于上述第二阈值；
若上述第一均值大于上述第一阈值且小于上述第二阈值时，则获取上述第一帧差图像的第二均值；上述第二均值是根据上述第一帧差图像的图像尺寸、上述第一帧差图像中的每个像素点的位置坐标信息所确定的。
其中，上述方法还包括：
若上述第一均值小于或者等于上述第一阈值，则确定上述图像帧Mi为上述图像帧Mi-1的连续图像帧；上述连续图像帧是指上述图像帧Mi与上述图像帧Mi-1属于同一场景；
若上述第一均值大于或者等于上述第二阈值，则对上述图像帧Mi设置切变标识，且将具有上述切变标识的图像帧Mi确定为边界图像帧；上述边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
其中，上述在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧，包括：
获取上述第一均值与上述第二均值的比值，获取与上述视频序列相关联的第二检测条件；
若上述比值小于或者等于上述第二检测条件中的第三阈值，则将上述图像帧Mi确定为上述图像帧Mi-1的上述连续图像帧；
若上述比值大于上述第三阈值，则对上述图像帧Mi设置切变标识，且将具有上述切变标识的图像帧Mi确定为上述边界图像帧。
本申请实施例一方面提供一种视频数据处理装置，该装置可以集成在具有视频数据处理功能的实体终端，该实体终端可以为视频数据处理终端，该装置包括：
第一获取模块，用于获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi；上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数；
第一确定模块，用于确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi；
第二确定模块，用于将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像；
第二获取模块，用于在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值；
第三确定模块，用于在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。
其中，上述第一确定模块包括：
第一确定单元，用于将上述图像帧Mi-2、上述图像帧Mi-1和上述图像帧Mi分别确定为目标图像帧；上述目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的；
灰度转换单元，用于根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，对上述目标图像帧进行灰度转换，得到与上述目标图像帧具有相同图像尺寸的目标灰度图像；
下采样处理单元，用于根据上述目标灰度图像的图像尺寸以及上述目标灰度图像的下采样率，对上述目标灰度图像进行下采样处理，得到目标采样图像；
滤波处理单元，用于对上述目标采样图像进行滤波处理，得到滤波处理结果；上述滤波处理结果包括：与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
其中，上述多个通道包含第一通道、第二通道和第三通道；
上述灰度转换单元包括：
第一确定子单元，用于根据上述目标图像帧中的像素点的像素值，确定上述像素点中的每个像素点分别在上述第一通道上的色彩分量、上述第二通道上的色彩分量以及上述第三通道上的色彩分量；
第一获取子单元，用于获取上述第一通道对应的第一灰度转换参数、上述第二通道对应的第二灰度转换参数以及上述第三通道对应的第三灰度转换参数；
第二确定子单元，用于根据上述第一通道上的色彩分量、上述第一灰度转换参数、上述第二通道上的色彩分量、上述第二灰度转换参数、上述第三通道上的色彩分量以及上述第一灰度转换参数，确定上述每个像素点的灰度值；
第三确定子单元，用于基于上述每个像素点的灰度值，确定与上述目标图像帧具有相同图像尺寸的目标灰度图像。
其中，上述滤波处理单元包括：
第二获取子单元，用于获取用于对上述目标采样图像进行滤波处理的滤波辅助参数以及N个滤波方向参数；上述滤波辅助参数为对上述目标采样图像进行滤波处理时的固定参数，上述滤波方向参数的角度范围包含0度至360度；上述N为正整数；
滤波处理子单元，用于基于上述滤波辅助参数、上述N个滤波方向参数，分别对上述目标采样图像进行滤波处理，得到N个滤波子图像；
融合子单元，用于对上述N个滤波子图像进行融合，得到上述目标采样图像对应的滤波处理结果。
其中，上述第二获取模块包括：
第二确定单元，用于将上述第二帧差图像中的每个像素点分别确定为待处理像素点，在上述第二帧差图像中确定每个待处理像素点的位置坐标信息；
均值处理单元，用于根据上述第二帧差图像的图像尺寸、上述每个待处理像素点的位置坐标信息，对上述每个待处理像素点的像素值进行均值处理，得到上述第二帧差图像的第一均值；
第一获取单元，用于获取与上述视频序列相关联的第一检测条件；上述第一检测条件包含第一阈值和第二阈值，且上述第一阈值小于上述第二阈值；
第二获取单元，用于若上述第一均值大于上述第一阈值且小于上述第二阈值时，则获取上述第一帧差图像的第二均值；上述第二均值是根据上述第一帧差图像的图像尺寸、上述第一帧差图像中的每个像素点的位置坐标信息所确定的。
其中，所述装置还包括：
第四确定模块，用于若上述第一均值小于或者等于上述第一阈值，则确定上述图像帧Mi为上述图像帧Mi-1的连续图像帧；上述连续图像帧是指上述图像帧Mi与上述图像帧Mi-1属于同一场景；
第五确定模块，用于若上述第一均值大于或者等于上述第二阈值，则对上述图像帧Mi设置切变标识，且将具有上述切变标识的图像帧Mi确定为边界图像帧；上述边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
其中，上述第三确定模块包括：
第三获取单元，用于获取上述第一均值与上述第二均值的比值，获取与上述视频序列相关联的第二检测条件；
第三确定单元，用于若上述比值小于或者等于上述第二检测条件中的第三阈值，则将上述图像帧Mi确定为上述图像帧Mi-1的上述连续图像帧；
第四确定单元，用于若上述比值大于上述第三阈值，则对上述图像帧Mi设置切变标识，且将具有上述切变标识的图像帧Mi确定为上述边界图像帧。
本申请一方面提供了一种计算机设备，包括：处理器、存储器、网络接口；
该处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，该存储器用于存储计算机程序，该处理器用于调用该计算机程序，以执行本申请实施例中上述一方面中的方法。
本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时，执行本申请实施例中上述一方面中的方法。
在本申请实施例中，视频数据处理终端可以获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi。其中，上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数。进一步地，该服务器可以确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。该服务器可以将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。在上述第二帧差图像的第一均值满足第一检测条件时，该服务器可以获取上述第一帧差图像的第二均值；在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，该服务器可以将上述图像帧Mi确定为边界图像帧。由此可见，该视频数据处理终端可以对视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi进行滤波处理，从而可以得到与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。可以理解的是，该视频数据处理终端在进行滤波处理时，可以降低图像帧对光照强度的敏感程度，从而可以有效减少光照强度对边界检测的干扰性。此外，该视频数据处理终端根据第一检测条件和第二检测条件，对上述图像帧进行二次判断，可以提高边界检测的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图；
图2是本申请实施例提供的一种进行数据交互的场景示意图；
图3是本申请实施例提供的一种视频数据处理方法的流程示意图；
图4是本申请实施例提供的一种对目标采样图像进行滤波处理的场景示意图；
图5是本申请实施例提供的一种确定帧差图像的场景示意图；
图6是本申请实施例提供的一种将具有切变标识的图像帧确定为边界图像帧的场景示意图；
图7是本申请实施例提供的一种视频数据处理方法的流程示意图；
图8是本申请实施例提供的一种检测视频序列中的边界图像帧的流程示意图；
图9是本申请实施例提供的一种视频数据处理装置的结构示意图；
图10是本申请实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，是本申请实施例提供的一种网络架构的结构示意图。如图1所示，该网络架构可以包括服务器2000和用户终端集群，该用户终端集群可以包括多个用户终端，如图1所示，具体可以包括用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n。
如图1所示，用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n可以分别与所述服务器2000进行网络连接，以便于每个用户终端可以通过该网络连接与服务器2000进行数据交互。
如图1所示，该用户终端集群中的每个用户终端均可以安装有目标应用，当该目标应用运行于各用户终端中时，可以分别与上述图1所示的服务器2000之间进行数据交互，其中，该目标应用可以为具有视频数据处理功能的应用。
其中，为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端，该目标用户终端可以包括：智能手机、平板电脑、桌上型电脑等具有视频数据处理功能的智能终端。例如，本申请实施例可以将图1所示的用户终端3000a作为所述目标用户终端，该目标用户终端中可以集成有上述目标应用，此时，该目标用户终端可以通过该目标应用对应的业务数据平台与服务器2000之间实现数据交互。
应当理解，视频数据处理终端对视频序列中的图像帧进行边界检测的方法，可以理解为一种对视频进行预处理的方法。根据该视频数据处理终端所检测出的边界图像帧，可以对该视频序列进行进一步地视频处理。其中，对视频序列进行视频处理的操作可以包括对长视频切割，视频内容检测前处理，视频去雾、视频增强、视频修复等。例如，在对视频序列(即长视频，播放时长为90分钟的视频数据)进行色彩修复时，针对不同的镜头进行修复的色彩强度和颜色不一样。为保持该视频序列中同一个镜头下的连贯性，以及不出现色彩的跳跃闪烁，因此，修复该视频序列的色彩的强度和颜色要求一致。可以理解的是，在针对该视频序列进行色彩修复之前，需要对该视频序列进行边界图像帧的检测，可以根据该边界图像帧将该视频序列切成多个镜头的组合，从而可以对每个镜头进行特定的色彩修复。
可以理解的是，本申请实施例中的视频数据处理终端以图1所示的服务器2000为例，用以阐述该服务器2000对视频序列的边界检测过程。该用户终端3000a可以将视频序列(例如，视频序列A)发送至具有视频数据处理功能的服务器2000，以使该服务器2000可以从该视频序列中检测边界图像帧的个数。其中，该视频序列可以为短视频(例如，播放时长为十秒的视频数据)，也可以为长视频(例如，播放时长为90分钟的视频数据)。应当理解，该视频序列可以为该用户终端3000a通过相机拍摄所获得的视频数据，该视频序列也可以为其他用户终端(例如，图1所示的用户终端集群中的用户终端3000b)分享给该用户终端3000a的视频数据，该视频序列还可以为该用户终端3000a在某一视频播放应用中所存储的完整视频或者从该完整视频中所截取的一段视频数据等。其中，该用户终端3000a可以采集视频数据，也可以对所采集到的视频数据进行上述的边界检测。该视频序列还可以通过其他方式获得，在此不做限定。
应当理解，在该用户终端3000a将该视频序列发送至该服务器2000时，该服务器2000可以从该视频序列中获取图像帧Mi-2、图像帧Mi-1和图像帧Mi。其中，视频序列中的每一幅画面称之为图像帧。该图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数。
其中，可以理解的是，该服务器2000在对该视频序列进行边界图像帧检测时，可以从该视频序列中获取具有相邻时间戳的三个图像帧。例如，该服务器2000可以获取图像帧M1、图像帧M2和图像帧M3，若该图像帧M3与该图像帧M2不属于同一个场景，则可以确定该图像帧M3是边界图像帧。若该图像帧M3与该图像帧M2属于同一个场景，则可以确定该图像帧M3是图像帧M2的连续图像帧。本申请实施例可以默认该图像帧M1与该图像帧M2属于同一个场景，则可以确定该图像帧M2是图像帧M1的连续图像帧。
应当理解，该服务器2000可以确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。此时，该服务器2000可以将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的帧差图像。其中，本申请实施例可以将上述图像帧Mi-1的帧差图像称之为第一帧差图像，可以将上述图像帧Mi的帧差图像称之为第二帧差图像。应当理解，该帧差图像是由两张具有相同图像尺寸的滤波图像在每个像素点的像素值之差的绝对值所构成的图像。
可以理解的是，在上述第二帧差图像的第一均值满足第一检测条件时，该服务器2000可以获取上述第一帧差图像的第二均值。其中，该第一检测条件包含第一阈值和第二阈值，且该第一阈值小于该第二阈值。该第一检测条件是指该第一均值大于该第一阈值且小于该第二阈值。此时，该服务器2000可以在该第一均值与该第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧，从而提高了检测边界图像帧的准确率。其中，所述第二检测条件包含第三阈值，该第二检测条件是指第一均值与第二均值的比值大于该第三阈值。其中，该边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
为便于理解，进一步地，请参见图2，是本申请实施例提供的一种进行数据交互的场景示意图。如图2所示，该目标用户终端可以为上述图1所示的用户终端集群中的任意一个用户终端(例如，用户终端3000a)，该服务器可以为上述图1所示的服务器2000。其中，该目标用户终端与该服务器可以通过网络连接进行数据交互。
应当理解，目标用户终端可以获取如图2所示的视频序列A。其中，该视频序列A中可以包含多个图像帧，具体可以包含图像帧M1、图像帧M2、图像帧M3、…、图像帧Mn。可以理解的是，该视频序列A可以为短视频(例如，播放时长为十秒的视频数据)，也可以为长视频(例如，播放时长为90分钟的视频数据)。该视频序列A可以为该目标用户终端通过相机拍摄所获得的视频数据，该视频序列A也可以为其他用户终端分享给该目标用户终端的视频数据，该视频序列A还可以为该目标用户终端在某一视频播放应用中所存储的完整视频或者从该完整视频中所截取的一段视频数据等。其中，该目标用户终端可以采集视频数据，也可以对所采集到的视频数据进行上述的边界检测。该视频序列A还可以通过其他方式获得，在此不做限定。
比如，该目标用户终端可以将该视频序列A发送给该服务器，以使该服务器对该视频序列A中的边界图像帧进行检测。可以理解的是，该目标用户终端可以获取该视频序列A中的图像帧M1、图像帧M2、图像帧M3，对图像帧M3进行检测。其中，本申请实施例可以默认图像帧M2为连续图像帧。换言之，图像帧M2与图像帧M1属于同一场景。
应当理解，该服务器可以将该图像帧M1、图像帧M2、图像帧M3分别确定为目标图像帧。其中，该目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的。根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，该服务器可以对该目标图像帧进行灰度转换，得到与该目标图像帧具有相同图像尺寸的目标灰度图像。进一步地，该服务器可以根据该目标灰度图像的图像尺寸以及目标灰度图像的下采样率，对该目标灰度图像进行下采样处理，得到目标采样图像。然后，该服务器可以对该目标采样图像进行滤波处理，得到滤波结果。也就是说，该服务器可以得到如图2所示的与图像帧M1相关联的滤波图像F1、与图像帧M2相关联的滤波图像F2、与图像帧M3相关联的滤波图像F3。
其中，可以理解的是，在该服务器对目标采样图像进行滤波处理时，对目标采样图像的光照强度不敏感。换言之，同一场景的目标采样图像在不同的光照强度下，经过滤波处理后所得到的滤波处理结果近似一致。例如，图像帧A与图像帧B是某个视频中的两个图像帧。其中，图像帧A可以为该目标用户终端所采集的某个游戏中的游戏角色A在第一时刻的图像数据，图像帧B可以为该目标用户终端所采集的这个游戏角色A在第二时刻(即第一时刻的下一时刻)的图像数据。可以理解的是，在图像帧B中存在爆炸爆破等剧烈光照强度变化的镜头，即图像帧A和图像帧B之间的像素值会出现变化。此时，该服务器在对这两张图像帧进行滤波处理时，所得到的滤波处理结果是近似一致的。所以，本申请实施例可以有效减少光照强度对边界检测的干扰性。
进一步地，该服务器可以确定该滤波图像F1与该滤波图像F2之间的差异图像，并确定该滤波图像F2与该滤波图像F3之间的差异图像。其中，本申请实施例可以将滤波图像F1与滤波图像F2之间的差异图像作为图像帧M2的第一帧差图像(如图2所示的帧差图像D2)，可以将滤波图像F2与滤波图像F3之间的差异图像作为图像帧M3的第二帧差图像(如图2所示的帧差图像D3)。
此时，该服务器可以根据该第二帧差图像的图像尺寸、该第二帧差图像中的每个像素点的位置的坐标信息，对帧差图像D3中的每个像素点的像素值进行均值处理，从而得到该帧差图像D3的均值(例如，30)。其中，本申请实施例可以将帧差图像D3(第二帧差图像)的均值称之为第一均值。该服务器可以获取与该视频序列A相关联的第一检测条件。该第一检测条件可以包含第一阈值和第二阈值，且该第一阈值小于该第二阈值。例如，该第一阈值可以为20，该第二阈值可以为45，则该第一检测条件可以为大于20且小于45。
应当理解，该第一均值为30，是大于20且小于45的值。即该第一均值满足上述第一检测条件。此时，该服务器可以获取第一帧差图像(帧差图像D2)的均值。其中，本申请实施例可以将第一帧差图像(帧差图像D2)的均值称之为第二均值。该第二均值是根据该第一帧差图像的图像尺寸、该第一帧差图像中的每个像素点的位置坐标信息所确定的。例如，该服务器所确定的该第二均值可以为6。
进一步地，该服务器可以获取该第一均值与该第二均值的比值(即5)，并获取与该视频序列A相关联的第二检测条件。其中，该第二检测条件可以包含第三阈值(例如，3)。可以理解的是，该服务器可以确定出该第一均值与该第二均值的比值大于该第三阈值，也就是说，该第一均值与该第二均值之间的映射关系满足该第二检测条件。此时，该服务器可以对该图像帧M3设置切变标识，并将具有该切变标识的图像帧M3确定为边界图像帧。
可以理解的是，在该服务器检测完该视频序列A中的图像帧M3之后，该服务器可以获取图像帧M2、图像帧M3以及图像帧M4，对该图像帧M4由进行检测，以此类推。由此可见，在本申请实施例中，该服务器在检测视频序列A的边界图像帧中，由于用于进行滤波处理的滤波器对光照强度不敏感，从而可以有效的减少光照强度对检测结果的影响，从而提高了检测边界图像帧的准确率。
其中，该视频数据处理终端检测视频序列中的边界图像帧的具体实现方式可以参见下述图3-图8所对应的实施例。
进一步地，请参见图3，是本申请实施例提供的一种视频数据处理方法的流程示意图。如图3所示，该方法可以包括：
S101，获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi。
具体地，视频数据处理终端可以从该视频序列中获取图像帧Mi-2、图像帧Mi-1和图像帧Mi。其中，该图像帧Mi-2为该图像帧Mi-1的上一图像帧，且该图像帧Mi为该图像帧Mi-1的下一图像帧；i为大于2的正整数。
应当理解，上述视频数据处理装置可以集成在具有视频数据处理功能的实体终端，该实体终端可以为视频数据处理终端。其中，该视频数据处理终端可以为服务器，也可以为用户终端。该用户终端可以采集视频数据，也可以对所采集到的视频数据进行上述的边界检测。
可以理解的是，视频序列中的每一幅画面都称之为图像帧。在本申请实施例中，可以默认该视频数据处理终端所获取的视频序列中的第二个图像帧(即图像帧M2)为连续图像帧，换言之，该图像帧M2与该视频序列中的第一个图像帧(即图像帧M1)属于同一场景。
其中，该视频序列可以为短视频(例如，播放时长为十秒的视频数据)，也可以为长视频(例如，播放时长为90分钟的视频数据)。该视频序列可以为该视频数据处理终端(例如，上述图1所对应的用户终端3000a)通过相机拍摄所获得的视频数据，该视频序列也可以为其他用户终端分享给该视频数据处理终端的视频数据，该视频序列还可以为该视频数据处理终端在某一视频播放应用中所存储的完整视频或者从该完整视频中所截取的一段视频数据等。其中，该视频序列还可以通过其他方式获得，在此不做限定。
为便于理解，本申请实施例以服务器为例，用以阐述该视频数据处理终端对视频序列的边界检测过程。本申请实施例中的用户终端可以为用于采集视频序列的用户终端。其中，该服务器可以为上述图2所对应的服务器，该服务器可以为上述图1所对应的服务器2000。该用户终端可以为上述图2所对应的目标用户终端，该目标用户终端可以上述图1所对应的用户终端集群中的任意一个用户终端(例如，用户终端3000a)。
应当理解，该服务器所接收的视频序列可以为图2所示的视频序列A。本申请实施例以检测该视频序列A中的图像帧M4为例，用于阐述该服务器检测视频序列中边界图像帧的具体实现方式。其中，该服务器可以从该视频序列A中获取图像帧M2、图像帧M3以及图像帧M4。
S102，确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
具体地，该视频数据处理终端可以将上述图像帧Mi-2、上述图像帧Mi-1和上述图像帧Mi分别确定为目标图像帧。其中，上述目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的。根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，该视频数据处理终端可以对上述目标图像帧进行灰度转换，得到与上述目标图像帧具有相同图像尺寸的目标灰度图像。进一步地，根据上述目标灰度图像的图像尺寸以及上述目标灰度图像的下采样率，该视频数据处理终端可以对上述目标灰度图像进行下采样处理，得到目标采样图像。然后，该视频数据处理终端可以对上述目标采样图像进行滤波处理，得到滤波处理结果。其中，上述滤波处理结果可以包括：与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
应当理解，如图2所示的服务器可以将该图像帧M2、该图像帧M3以及该图像帧M4分别确定为目标图像帧。其中，该目标图像帧中的像素点的像素值是由多个通道对应的色彩分量进行组合后所确定的。其中，上述多个通道包含第一通道、第二通道以及第三通道。
其中，该服务器可以根据该目标图像帧中的像素点的像素值，确定出该像素点中每个像素值分别在上述第一通道上的色彩分量、上述第二通道中的色彩分量以及上述第三通道中的色彩分量。进一步地，该服务器可以获取上述第一通道对应的第一灰度转换参数、上述第二通道对应的第二灰度转换参数以及上述第三通道对应的第三灰度转换参数。此时，该服务器可以根据上述第一通道上的色彩分量、上述第一灰度转换参数、上述第二通道上的色彩分量、上述第二灰度转换参数、上述第三通道上的色彩分量以及上述第一灰度转换参数，确定上述每个像素点的灰度值。
具体地，确定像素点灰度值的表达式可以如下述公式(1)所示：
Garyi＝Ri×0.299+Gi×0.587+Bi×0.114， (1)
其中，Ri为第一通道(红色通道)上的色彩分量，0.299为该第一通道对应的第一灰度转换参数，Gi为第二通道(绿色通道)上的色彩分量，0.587为该第二通道对应的第二灰度转换参数，Bi为第三通道(蓝色通道)上的色彩分量，0.114为该第三通道对应的第三灰度转换参数。
应当理解，通过上述公式(1)可以确定目标图像帧中每个像素点的灰度值，基于每个像素点的灰度值，该服务器可以确定与该目标图像帧具有相同图像尺寸的目标灰度图像。例如，该目标图像帧的图像尺寸可以为6×8，则进行灰度转换后所得到的目标灰度图像的图像尺寸也为6×8。其中，6表示该目标灰度图像的宽，8表示该目标灰度图像的高。
进一步地，该服务器可以获取用于对该目标灰度图像进行下采样处理的下采样率(例如，2)。此时，该服务器可以根据该下采样率以及该目标灰度图像的图像尺寸进行对该目标灰度图像进行下采样处理，从而可以得到目标采样图像。可以理解的是，该服务器对上述目标灰度图像进行下采样处理后，得到的目标采样图像的图像尺寸可以为3×4。其中，本申请实施例对该目标图像帧进行灰度转换得到目标灰度图像，再对该目标灰度图像进行下采样处理得到目标采样图像，可以减少图像处理时的计算量，从而可以提高算法效率。
应当理解，该服务器可以对上述目标采样图像进行滤波处理，从而可以得到与该目标采样图像相关联的滤波图像。其中，本申请实施例可以利用一个线性滤波器(例如，gabor滤波器)提取该目标采样图像在各个方向和尺度上的纹理信息，并且该gabor滤波器在进行滤波处理时对光照强度不敏感。换言之，同一场景图像的不同光照强度下，经过该gabor滤波器进行滤波处理后所获得的滤波图像近似一致。由此可见，本申请实施例利用gabor滤波器对目标采样图像进行滤波处理，可以提取该目标采样图像在各个方向和尺度上的纹理信息，从而可以减少仅依靠色彩分布而不关注图像内容造成的误检。此外，因为gabor滤波器对光照强度的不敏感性，可以有效减少因闪光灯、爆炸爆破等原因所造成的光照强度对检测的干扰，从而可以提高检测的准确率。
其中，可以理解的是，该服务器可以获取用于对上述目标采样图像进行滤波处理的滤波辅助参数以及N个滤波方向参数。其中，该滤波辅助参数可以为对上述目标采样图像进行滤波处理时的固定参数，该滤波方向参数的角度范围可以包含0度至360度，N为正整数。该滤波辅助参数可以包括目标采样图像的像素点的位置坐标信息，波长，相位偏移，空间横纵比以及带宽。
具体地，对目标采样图像进行滤波处理的gabor滤波器中的二维gabor函数表达式如下述公式(2)所示：
其中，gabor函数的实数部分的表达式如下述公式(3)所示，gabor函数的虚数部分的表达式如下述公式(4)所示：
其中，x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ，x和y为目标采样图像的像素点的横纵坐标(位置坐标信息)；λ为臂长；θ为滤波方向参数，在0度至360度之间；σ为带宽；ψ为相位偏移，在-180°至180°之间；γ为空间纵横比，决定了gabor函数的形状的椭圆率。当γ为1时，该gabor函数的形状为圆形。
进一步地，该服务器可以基于上述滤波辅助参数、上述N个滤波方向参数，对上述目标采样图像分别进行滤波处理，得到N个滤波子图像。此时，该服务器可以对上述N个滤波子图像进行融合，得到上述目标采样图像对应的滤波处理结果。其中，该滤波处理结果可以包括：与上述图像帧M2相关联的滤波图像F2、与上述图像帧M3相关联的滤波图像F3以及与上述图像帧M4相关联的滤波图像F4。
为便于理解，进一步地，请参见图4，是本申请实施例提供的一种对目标采样图像进行滤波处理的场景示意图。本申请实施例可以将如图4所示中的图像10称之为上述目标采样图像。其中，视频数据处理终端可以为上述图2所对应的服务器，该服务器还可以为上述图1所对应的服务器2000。
应当理解，该服务器可以对图4中的图像10进行多个方向的滤波处理。该服务器可以获取用于对该目标采样图像进行滤波处理的滤波辅助参数以及多个滤波方向参数。例如，该服务器可以获取0度、90度、180度、270度这四个滤波方向参数，对该目标采样图像分别进行滤波处理，得到每个滤波方向参数对应的滤波处理结果。
其中，如图4所示，图像20a可以为0度这个滤波方向参数进行滤波处理后所得到滤波子图像，图像20b可以为90度这个滤波方向参数进行滤波处理后所得到滤波子图像，图像20c可以为180度这个滤波方向参数进行滤波处理后所得到滤波子图像，图像20d可以为270度这个滤波方向参数进行滤波处理后所得到滤波子图像。进一步地，该服务器可以将图像20a、图像20b、图像20c以及图像20d这4个滤波子图像进行融合，从而得到与图像10相关联的滤波图像30。
S103，将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。
具体地，该视频数据处理终端可以确定上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像，以及上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像。其中，本申请实施例可以将滤波图像Fi-2与滤波图像Fi-1之间的差异图像作为图像帧Mi-1的第一帧差图像，可以将滤波图像Fi-1与滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。
具体地，确定第一帧差图像和第二帧差图像的表达式如下述公式(5)和公式(6)所示：
Di＝|Fi-Fi-1|， (5)
Di-1＝|Fi-1-Fi-2|， (6)
其中，Fi是指与上述图像帧Mi相关联的滤波图像，Fi-1是指上述图像帧Mi-1相关联的滤波图像，Fi-2与上述图像帧Mi-2相关联的滤波图像。
应当理解，如图2所示的服务器可以在上述步骤S102中确定与上述图像帧M2相关联的滤波图像F2、与上述图像帧M3相关联的滤波图像F3以及与上述图像帧M4相关联的滤波图像F4。进一步地，该服务器可以根据上述公式(5)确定滤波图像F2与滤波图像F3之间的第一帧差图像D3，以及滤波图像F3与滤波图像F4之间的第二帧差图像D4。
为便于理解，进一步地，请参见图5，是本申请实施例提供的一种确定帧差图像的场景示意图。如图5所示，滤波图像100a可以为上述滤波图像F4，滤波图像100b可以为上述滤波图像F3，帧差图像200可以为滤波图像F3与滤波图像F4之间的第二帧差图像D4。
应当理解，该服务器对目标采样图像进行滤波处理后，可以得到滤波处理结果。其中，该滤波处理结果包括：滤波图像100a和滤波图像100b。可以理解的是，该服务器可以获取滤波图像100a和滤波图像100b中每个像素点的位置坐标信息，以及该像素点的像素值。
此时，该服务器可以获取如上述公式(5)所示的确定图像帧差的表达式，从而可以确定该滤波图像100a与该滤波图像100b之间的帧差图像。换言之，该服务器可以确定该滤波图像100a与该滤波图像100b中每个像素点的像素值之差的绝对值，并将该绝对值确定为帧差图像200中相关联像素点的像素值。
例如，该滤波图像100a中的(1，1)处像素点的像素值可以为25，滤波图像100b中的(1，1)处像素点的像素值可以为213，所以，通过上述公式(5)可以确定出该滤波图像100a与该滤波图像100b在(1，1)处的像素点的像素值之差的绝对值为188。以此类推，该服务器可以确定出该滤波图像100a与该滤波图像100b在每个像素点的像素值之差的绝对值。进一步地，该服务器可以根据每个像素点的像素值之差的绝对值，确定如图5所示的帧差图像200。
S104，在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值。
具体地，该视频数据处理终端可以将上述第二帧差图像中的每个像素点分别确定为待处理像素点，并在上述第二帧差图像中确定每个待处理像素点的位置坐标信息。根据上述第二帧差图像的图像尺寸、上述每个待处理像素点的位置坐标信息，该视频数据处理终端可以对上述每个待处理像素点的像素值进行均值处理，得到上述第二帧差图像的第一均值。进一步地，该视频数据处理终端可以获取与上述视频序列相关联的第一检测条件。其中，该第一检测条件包含第一阈值和第二阈值，且该第一阈值小于该第二阈值。若该第一均值大于该第一阈值且小于该第二阈值时，则该视频数据处理终端可以获取上述第一帧差图像的第二均值。其中，该第二均值是根据上述第一帧差图像的图像尺寸、上述第一帧差图像中的每个像素点的位置坐标信息所确定的。
具体地，本申请实施例可以将由两张具有相同图像尺寸的滤波图像在每个像素点的像素值之差的绝对值所构成的图像称之为帧差图像。其中，对该帧差图像中每个待处理像素点进行均值处理的表达式如下述公式(7)所示：
其中，x和y为帧差图像的像素点的横纵坐标(位置坐标信息)，w为帧差图像的宽，h为帧差图像的高。
应当理解，如图2所示的服务器可以将如图5所示的帧差图像200(第二帧差图像D4)中每个像素点分别确定为待处理像素点，并在该帧差图像200中确定每个待处理像素点的位置坐标信息。例如，该帧差图像200中(1，1)处像素点的像素值为188；(1，2)处像素点的像素值为7；(1，3)处像素点的像素值为0；(1，4)处像素点的像素值为7；(2，1)处像素点的像素值为21；(2，2)处像素点的像素值为165；(2，3)处像素点的像素值为9；(2，4)处像素点的像素值为12；(3，1)处像素点的像素值为27；(3，2)处像素点的像素值为0；(3，3)处像素点的像素值为13；(3，4)处像素点的像素值为17。
进一步地，该服务器可以根据该帧差图像200的图像尺寸(3×4)、以及该帧差图像200的待处理像素点的位置坐标信息，对该每个待处理像素点的像素值根据上述公式(7)进行均值处理，得到该帧差图像200的均值(第一均值Ave4)。其中，该帧差图像200的均值为38.8。
应当理解，该服务器可以获取与如图2所示的视频序列A相关联的第一检测条件。其中，该第一检测条件包含第一阈值(例如，25)和第二阈值(例如，45)。进一步地，该服务器可以确定出该帧差图像200的均值大于该第一阈值且小于第二阈值。此时，该服务器可以获取如图2所示的滤波图像F2与滤波图像F3之间的第一帧差图像D3的第二均值Ave3。其中，该第二均值是根据第一帧差图像的图像尺寸、该第一帧差图像中的每个像素点的位置坐标信息所确定的。
S105，在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。
具体地，该视频数据处理终端可以获取上述第一均值与上述第二均值的比值，并获取与上述视频序列相关联的第二检测条件。若上述比值小于或者等于上述第二检测条件中的第三阈值，则该视频数据处理终端可以将上述图像帧Mi确定为上述图像帧Mi-1的连续图像帧。若上述比值大于上述第三阈值，则对上述图像帧Mi设置切变标识，且将具有该切变标识的图像帧Mi确定为上述边界图像帧。其中，该连续图像帧是指上述图像帧Mi与上述图像帧Mi-1属于同一场景，该边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
应当理解，如图2所示的服务器可以获取上述第二帧差图像D4的第一均值Ave4(例如，38.8)与第一帧差图像D3的第二均值Ave3之间的比值，还可以获取与图2所示视频序列A相关联的第二检测条件。其中，该第二检测条件包含第三阈值(例如，3)，该第二检测条件是指第一均值Ave4与第二均值Ave3的比值大于该第三阈值。
可以理解的是，若该服务器获取的第一帧差图像D3的第二均值Ave3为10，则该服务器可以确定该第一均值Ave4与该第二均值Ave3之间的比值为3.9。换言之，该比值大于上述第三阈值，则该服务器可以对该图像帧M4设置切变标识，且将具有该切变标识的该图像帧M4确定为边界图像帧。
可选的，若该服务器获取的第一帧差图像D3的第二均值Ave3为20，则该服务器可以确定该第一均值Ave4与该第二均值Ave3之间的比值为1.94。换言之，该比值小于上述第三阈值，则该服务器可以将该图像帧M4确定为上述图像帧M3的连续图像帧。
为便于理解，进一步地，请参见图6，是本申请实施例提供的一种将具有切变标识的图像帧确定为边界图像帧的场景示意图。如图6所示，边界检测前的视频序列A可以为图2所示服务器所获取的视频序列。其中，该边界检测前的视频序列A中包含多个图像帧，本申请实施例仅以6个图像帧为例，具体包括：图像帧300a、图像帧300b、图像帧300c、图像帧300d、图像帧300e以及图像帧300f。
应当理解，该服务器可以对满足上述第一检测条件和上述第二检测条件的图像帧设置切变标识。如图6所示，可以理解的是，若图像帧300a为该边界检测前的视频序列A的首个图像帧，则该服务器可以对视频序列A中的图像帧300d和图像帧300f设置切变标识400。此时，该服务器可以将具有该切变标识400的图像帧300d和图像帧300f分别确定为该视频序列A中的边界图像帧。
可选的，若图像帧300a为该边界检测前的视频序列A中的某一时刻的图像帧。换言之，在该图像帧300a之间还存在其他场景(例如，场景D)的图像帧。此时，该服务器可以为对该视频序列A中的图像帧300a、图像帧300d和图像帧300f设置切变标识400。进一步地，该服务器可以将具有该切变标识400的图像帧300a、图像帧300d和图像帧300f分别确定为该视频序列A中的边界图像帧。
可以理解的是，如图6所示的边界检测后的视频序列A中，图像帧300a、图像帧300b以及图像帧300c属于同一场景(即，场景A)，图像帧300d以及图像帧300e属于同一场景(即，场景B)，图像300f属于一个场景(即，场景C)。其中，场景A是不同于场景B的场景，场景B是不同于场景C的场景。
在本申请实施例中，视频数据处理终端可以获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi。其中，上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数。进一步地，该服务器可以确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。该服务器可以将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。在上述第二帧差图像的第一均值满足第一检测条件时，该服务器可以获取上述第一帧差图像的第二均值；在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，该服务器可以将上述图像帧Mi确定为边界图像帧。由此可见，该视频数据处理终端可以对视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi进行滤波处理，从而可以得到与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。可以理解的是，该视频数据处理终端在进行滤波处理时，可以降低图像帧对光照强度的敏感程度，从而可以有效减少光照强度对边界检测的干扰性。此外，该视频数据处理终端根据第一检测条件和第二检测条件，对上述图像帧进行二次判断，可以提高边界检测的准确率。
进一步地，请参见图7，是本申请实施例提供的一种视频数据处理方法的流程示意图。如图7所示，该方法可以包括：
S201，获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi。
具体地，视频数据处理终端可以从该视频序列中获取图像帧Mi-2、图像帧Mi-1和图像帧Mi。其中，该图像帧Mi-2为该图像帧Mi-1的上一图像帧，且该图像帧Mi为该图像帧Mi-1的下一图像帧；i为大于2的正整数。
应当理解，上述视频数据处理装置可以集成在具有视频数据处理功能的实体终端，该实体终端可以为视频数据处理终端。其中，该视频数据处理终端可以为服务器，也可以为用户终端。该用户终端可以采集视频数据，也可以对所采集到的视频数据进行上述的边界检测。
可以理解的是，视频序列中的每一幅画面都称之为图像帧。在本申请实施例中，可以默认该视频数据处理终端所获取的视频序列中的第二个图像帧(即图像帧M2)为连续图像帧，换言之，该图像帧M2与该视频序列中的第一个图像帧(即图像帧M1)属于同一场景。
其中，该视频序列可以为短视频(例如，播放时长为十秒的视频数据)，也可以为长视频(例如，播放时长为90分钟的视频数据)。该视频序列可以为该视频数据处理终端(例如，上述图1所对应的用户终端3000a)通过相机拍摄所获得的视频数据，该视频序列也可以为其他用户终端分享给该视频数据处理终端的视频数据，该视频序列还可以为该视频数据处理终端在某一视频播放应用中所存储的完整视频或者从该完整视频中所截取的一段视频数据等。其中，该视频序列还可以通过其他方式获得，在此不做限定。
为便于理解，本申请实施例以服务器为例用以阐述该视频数据处理终端对视频序列的边界检测过程。本申请实施例中的用户终端是用于采集视频数据的用户终端。其中，该服务器可以为上述图2所对应的服务器，该服务器可以为上述图1所对应的服务器2000。该用户终端可以为上述图2所对应的目标用户终端，该目标用户终端可以上述图1所对应的用户终端集群中的任意一个用户终端(例如，用户终端3000a)。
S202，确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
具体地，该视频数据处理终端可以将上述图像帧Mi-2、上述图像帧Mi-1和上述图像帧Mi分别确定为目标图像帧。其中，上述目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的。根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，该视频数据处理终端可以对上述目标图像帧进行灰度转换，得到与上述目标图像帧具有相同图像尺寸的目标灰度图像。进一步地，根据上述目标灰度图像的图像尺寸以及上述目标灰度图像的下采样率，该视频数据处理终端可以对上述目标灰度图像进行下采样处理，得到目标采样图像。然后，该视频数据处理终端可以对上述目标采样图像进行滤波处理，得到滤波处理结果。其中，上述滤波处理结果可以包括：与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
S203，将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。
具体地，该视频数据处理终端可以确定上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像，以及上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像。其中，本申请实施例可以将滤波图像Fi-2与滤波图像Fi-1之间的差异图像作为图像帧Mi-1的第一帧差图像，可以将滤波图像Fi-1与滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。
S204，在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值。
具体地，该视频数据处理终端可以将上述第二帧差图像中的每个像素点分别确定为待处理像素点，并在上述第二帧差图像中确定每个待处理像素点的位置坐标信息。根据上述第二帧差图像的图像尺寸、上述每个待处理像素点的位置坐标信息，该视频数据处理终端可以对上述每个待处理像素点的像素值进行均值处理，得到上述第二帧差图像的第一均值。进一步地，该视频数据处理终端可以获取与上述视频序列相关联的第一检测条件。其中，该第一检测条件包含第一阈值和第二阈值，且该第一阈值小于该第二阈值。若该第一均值大于该第一阈值且小于该第二阈值时，则该视频数据处理终端可以获取上述第一帧差图像的第二均值。其中，该第二均值是根据上述第一帧差图像的图像尺寸、上述第一帧差图像中的每个像素点的位置坐标信息所确定的。
S205，在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。
具体地，该视频数据处理终端可以获取上述第一均值与上述第二均值的比值，并获取与上述视频序列相关联的第二检测条件。若上述比值小于或者等于上述第二检测条件中的第三阈值，则该视频数据处理终端可以将上述图像帧Mi确定为上述图像帧Mi-1的连续图像帧。若上述比值大于上述第三阈值，则对上述图像帧Mi设置切变标识，且将具有该切变标识的图像帧Mi确定为上述边界图像帧。其中，该连续图像帧是指上述图像帧Mi与上述图像帧Mi-1属于同一场景，该边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
其中，该步骤S201-步骤S205的具体实施方式可参见上述图3所对应实施例中对步骤S101-步骤S105的描述，这里将不再赘述。
S206，若上述第一均值小于或者等于上述第二阈值，则确定上述图像帧Mi为上述图像帧Mi-1的连续图像帧；上述连续图像帧是指上述图像帧Mi与上述图像帧Mi-1属于同一场景。
S207，若上述第一均值大于或者等于上述第一阈值，则对上述图像帧Mi设置切变标识，且将具有切变标识的图像帧Mi确定为边界图像帧；上述边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
为便于理解，进一步地，请参见图8，是本申请实施例提供的一种检测视频序列中的边界图像帧的流程示意图。其中，图像帧M2、图像帧M3以及图像帧M4可以为上述图2所示的视频序列A中的图像帧。本申请实施例仅以这三个图像帧为例，用以阐述服务器确定该图像帧M4为边界图像帧的过程。
应当理解，该服务器可以从视频序列A中获取图像帧M2、图像帧M3以及图像帧M4这三个图像帧，并将这三个图像帧分别确定为目标图像帧。进一步地，该服务器可以依次对上述三个图像帧进行灰度转换、下采样处理、滤波处理，得到与上述图像帧M2相关联的滤波图像F2、与上述图像帧M3相关联的滤波图像F3以及与上述图像帧M4相关联的滤波图像F4。
进一步地，该服务器可以计算滤波图像F2与滤波图像F3之间的第一帧差图像D3，以及滤波图像F3与滤波图像F4之间的第二帧差图像D4。此时，该服务器可以根据第二帧差图像D4的图像尺寸、该第二帧差图像D4中的每个像素点的位置坐标信息确定第二帧差图像的第一均值Ave4。应当理解，该服务器可以获取如图2所示的视频序列A的第一检测条件。该第一检测条件是指第一均值Ave4大于第一阈值且小于第二阈值。
可以理解的是，若该第一均值Ave4满足第一检测条件，则该服务器可以获取如图2所示的滤波图像F2与滤波图像F3之间的第一帧差图像D3的第二均值Ave3。其中，该第二均值Ave3是根据第一帧差图像D3的图像尺寸、该第一帧差图像D3中的每个像素点的位置坐标信息所确定的。此时，该服务器可以获取该第一均值Ave4与该第二均值Ave3的比值，并可以获取如图2所示的视频序列A的第二检测条件。该第二检测条件是指该第一均值Ave4与该第二均值Ave3的比值大于第三阈值。
其中，若该第一均值Ave4与该第二均值Ave3的比值大于第三阈值，则该服务器可以对该图像帧M4设置切变标识，且将具有该切变标识的该图像帧M4确定为边界图像帧。若该第一均值Ave4与该第二均值Ave3的比值小于或者等于第三阈值，则该服务器可以将该图像帧M4确定为上述图像帧M3的连续图像帧。
可选的，如图8所示，若第一均值Ave4小于或者等于该第一检测条件中的第一阈值，则该服务器可以将该图像帧M4确定为上述图像帧M3的连续图像帧。若第一均值Ave4大于或者等于该第一检测条件中的第二阈值，则该服务器可以对该图像帧M4设置切变标识，且将具有该切变标识的该图像帧M4确定为边界图像帧。
为更清晰准确的体现本申请实施例可以提高检测的准确率，该服务器针对网上截取的一段视频序列采用了三种检测方法进行边界检测。其中，该视频序列中含有剧烈镜头抖动和抖动场景以及爆炸爆破等剧烈光照强度变化的镜头。具体地，该视频的具体测试信息如下述表1所示。
表1
| 视频序列 | 图像帧数 | 边界图像帧个数 |
| 电视剧《XXX》 | 2580 | 35 |
可以理解的是，如表1所示，在网上截取的视频序列为电视剧《XXX》中的一段视频序列，在该视频序列中共有2580个图像帧，其中，属于边界图像帧的个数为35个。
应当理解，在对该视频序列中的边界图像帧的检测中，共采用了三种检测方法。其中，这三种检测方法用于测试上述表1所示视频序列的准确率、精确率以及召回率。其中，准确率、精确率以及召回率对应的数值越接近于1，则说明这种检测方法效果最佳。具体地，三种检测方法客观指标对比如下述表2所示：
表2
如上述表2所示，本次测试比较了三种检测方法。第一种检测方法是使用单次灰度帧差均值判断的检测方法，该方法是指基于像素的方法，从而计算帧差并设置阈值的检测方法。其中，该方法的准确率为0.9977，精确率为0.8718，召回率为0.9714。第二种检测方法是使用二次灰度帧差均值判断的检测方法，该方法是指通过第一检测条件和第二检测条件，判断视频序列中的边界图像帧。其中，该方法的准确率为0.9981，精确率为0.875，召回率为1。第三种检测方法是使用二次灰度帧差均值判断和gabor滤波的检测方法，该方法是指本申请对应的方法。其中，该方法的准确率为0.9984，精确率为0.8974，召回率为1。
由上述表2可以看出，第三种检测方法的准确率，精确率以及召回率均最高。在边界图像帧的检测中，该方法使用的二次灰度帧差均值判断能够提升检测的准确率、精确率以及召回率，且阈值和参数设置合理。此外，本方法在此基础之上引入gabor滤波进行滤波处理，能够有效地减少光照强度对检测结果的影响，从而可以提高检测边界图像帧的准确率。
在本申请实施例中，视频数据处理终端可以获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi。其中，上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数。进一步地，该服务器可以确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。该服务器可以将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像。在上述第二帧差图像的第一均值满足第一检测条件时，该服务器可以获取上述第一帧差图像的第二均值；在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，该服务器可以将上述图像帧Mi确定为边界图像帧。由此可见，该视频数据处理终端可以对视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi进行滤波处理，从而可以得到与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。可以理解的是，该视频数据处理终端在进行滤波处理时，可以降低图像帧对光照强度的敏感程度，从而可以有效减少光照强度对边界检测的干扰性。此外，该视频数据处理终端根据第一检测条件和第二检测条件，对上述图像帧进行二次判断，可以提高边界检测的准确率。
进一步地，请参见图9，是本申请实施例提供的一种视频数据处理装置的结构示意图。该视频数据处理装置1可以应用于视频数据处理终端，该视频数据处理终端可以为上述图2所对应实施例中的服务器。该视频数据处理装置1可以包括：第一获取模块10，第一确定模块20，第二确定模块30，第二获取模块40，第三确定模块50，第四确定模块60以及第五确定模块70。
该第一获取模块10，用于获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi；上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数；
该第一确定模块20，用于确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
其中，上述第一确定模块20包括：第一确定单元201，灰度转换单元202，下采样处理单元203以及滤波处理单元204。
该第一确定单元201，用于将上述图像帧Mi-2、上述图像帧Mi-1和上述图像帧Mi分别确定为目标图像帧；上述目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的；
该灰度转换单元202，用于根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，对上述目标图像帧进行灰度转换，得到与上述目标图像帧具有相同图像尺寸的目标灰度图像。
其中，上述多个通道包含第一通道、第二通道和第三通道；
上述灰度转换单元202包括：第一确定子单元2021，第一获取子单元2022，第二确定子单元2023以及第三确定子单元2024。
该第一确定子单元2021，用于根据上述目标图像帧中的像素点的像素值，确定上述像素点中的每个像素点分别在上述第一通道上的色彩分量、上述第二通道上的色彩分量以及上述第三通道上的色彩分量；
该第一获取子单元2022，用于获取上述第一通道对应的第一灰度转换参数、上述第二通道对应的第二灰度转换参数以及上述第三通道对应的第三灰度转换参数；
该第二确定子单元2023，用于根据上述第一通道上的色彩分量、上述第一灰度转换参数、上述第二通道上的色彩分量、上述第二灰度转换参数、上述第三通道上的色彩分量以及上述第一灰度转换参数，确定上述每个像素点的灰度值；
该第三确定子单元2024，用于基于上述每个像素点的灰度值，确定与上述目标图像帧具有相同图像尺寸的目标灰度图像。
其中，该第一确定子单元2021，第一获取子单元2022，第二确定子单元2023以及第三确定子单元2024的具体实现方式可以参见上述图3所对应实施例中对目标图像帧进行灰度转换的描述，这里将不再继续进行赘述。
该下采样处理单元203，用于根据上述目标灰度图像的图像尺寸以及上述目标灰度图像的下采样率，对上述目标灰度图像进行下采样处理，得到目标采样图像；
该滤波处理单元204，用于对上述目标采样图像进行滤波处理，得到滤波处理结果；上述滤波处理结果包括：与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi。
其中，上述滤波处理单元204包括：第二获取子单元2041，滤波处理子单元2042以及融合子单元2043。
该第二获取子单元2041，用于获取用于对上述目标采样图像进行滤波处理的滤波辅助参数以及N个滤波方向参数；上述滤波辅助参数为对上述目标采样图像进行滤波处理时的固定参数，上述滤波方向参数的角度范围包含0度至360度；上述N为正整数；
该滤波处理子单元2042，用于基于上述滤波辅助参数、上述N个滤波方向参数，分别对上述目标采样图像进行滤波处理，得到N个滤波子图像；
该融合子单元2043，用于对上述N个滤波子图像进行融合，得到上述目标采样图像对应的滤波处理结果。
其中，该第二获取子单元2041，滤波处理子单元2042以及融合子单元2043的具体实现方式可以参见上述图3所对应实施例中对目标采样图像进行滤波处理的描述，这里将不再继续进行赘述。
其中，该第一确定单元201，灰度转换单元202，下采样处理单元203以及滤波处理单元204的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述，这里将不再继续进行赘述。
该第二确定模块30，用于将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像；
该第二获取模块40，用于在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值。
其中，上述第二获取模块40包括：第二确定单元401，均值处理单元402，第一获取单元403以及第二获取单元404。
该第二确定单元401，用于将上述第二帧差图像中的每个像素点分别确定为待处理像素点，在上述第二帧差图像中确定每个待处理像素点的位置坐标信息；
该均值处理单元402，用于根据上述第二帧差图像的图像尺寸、上述每个待处理像素点的位置坐标信息，对上述每个待处理像素点的像素值进行均值处理，得到上述第二帧差图像的第一均值；
该第一获取单元403，用于获取与上述视频序列相关联的第一检测条件；上述第一检测条件包含第一阈值和第二阈值，且上述第一阈值小于上述第二阈值；
该第二获取单元404，用于若上述第一均值大于上述第一阈值且小于上述第二阈值时，则获取上述第一帧差图像的第二均值；上述第二均值是根据上述第一帧差图像的图像尺寸、上述第一帧差图像中的每个像素点的位置坐标信息所确定的。
其中，该第二确定单元401，均值处理单元402，第一获取单元403以及第二获取单元404的具体实现方式可以参见上述图3所对应实施例中对步骤S104的描述，这里将不再继续进行赘述。
该第三确定模块50，用于在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。
其中，上述第三确定模块50包括：第三获取单元501，第三确定单元502以及第四确定单元503。
该第三获取单元501，用于获取上述第一均值与上述第二均值的比值，获取与上述视频序列相关联的第二检测条件；
该第三确定单元502，用于若上述比值小于或者等于上述第二检测条件中的第三阈值，则将上述图像帧Mi确定为上述图像帧Mi-1的上述连续图像帧；
该第四确定单元503，用于若上述比值大于上述第三阈值，则对上述图像帧Mi设置切变标识，且将具有上述切变标识的图像帧Mi确定为上述边界图像帧。
其中，该第三获取单元501，第三确定单元502以及第四确定单元503的具体实现方式可以参见上述图3所对应实施例中对步骤S105的描述，这里将不再继续进行赘述。
其中，该视频数据处理装置1还包括：
该第四确定模块60，用于若上述第一均值小于或者等于上述第一阈值，则确定上述图像帧Mi为上述图像帧Mi-1的连续图像帧；上述连续图像帧是指上述图像帧Mi与上述图像帧Mi-1属于同一场景；
该第五确定模块70，用于若上述第一均值大于或者等于上述第二阈值，则对上述图像帧Mi设置切变标识，且将具有上述切变标识的图像帧Mi确定为边界图像帧；上述边界图像帧是指上述图像帧Mi的场景不同于上述图像帧Mi-1的场景。
其中，该第一获取模块10，第一确定模块20，第二确定模块30，第二获取模块40，第三确定模块50，第四确定模块60以及第五确定模块70的具体实现方式可以参见上述图7所对应实施例中对步骤S201-步骤S207的描述，这里将不再继续进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步地，请参见图10，是本申请实施例提供的一种计算机设备的示意图。如图10所示，该计算机设备1000可以为上述图2对应实施例中的服务器，该计算机设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图10所示的计算机设备1000中，网络接口1004主要用于与用户终端进行网络通信；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi；上述图像帧Mi-2为上述图像帧Mi-1的上一图像帧，且上述图像帧Mi为上述图像帧Mi-1的下一图像帧；i为大于2的正整数；
确定与上述图像帧Mi-2相关联的滤波图像Fi-2、与上述图像帧Mi-1相关联的滤波图像Fi-1和与上述图像帧Mi相关联的滤波图像Fi；
将上述滤波图像Fi-2与上述滤波图像Fi-1之间的差异图像作为上述图像帧Mi-1的第一帧差图像，将上述滤波图像Fi-1与上述滤波图像Fi之间的差异图像作为上述图像帧Mi的第二帧差图像；
在上述第二帧差图像的第一均值满足第一检测条件时，获取上述第一帧差图像的第二均值；
在上述第一均值与上述第二均值之间的映射关系满足第二检测条件时，将上述图像帧Mi确定为边界图像帧。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3和图7所对应实施例中对该视频数据处理方法的描述，也可执行前文图9所对应实施例中对该视频数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且该计算机可读存储介质中存储有前文提及的视频数据处理装置1所执行的计算机程序，且该计算机程序包括程序指令，当该处理器执行该程序指令时，能够执行前文图3或者图7所对应实施例中对该视频数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种视频数据处理的方法，其特征在于，所述方法包括：
获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi；所述图像帧Mi-2为所述图像帧Mi-1的上一图像帧，且所述图像帧Mi为所述图像帧Mi-1的下一图像帧；i为大于2的正整数；
确定与所述图像帧Mi-2相关联的滤波图像Fi-2、与所述图像帧Mi-1相关联的滤波图像Fi-1和与所述图像帧Mi相关联的滤波图像Fi；所述滤波图像Fi-2、所述滤波图像Fi-1以及所述滤波图像Fi属于滤波处理结果；所述滤波处理结果中的每个滤波图像均是对目标图像帧进行灰度转换、下采样处理以及滤波处理后所得到的；所述目标图像帧包括所述图像帧Mi-2、所述图像帧Mi-1和所述图像帧Mi；所述滤波处理用于降低所述目标图像帧对光照强度的敏感程度；
将所述滤波图像Fi-2与所述滤波图像Fi-1之间的差异图像作为所述图像帧Mi-1的第一帧差图像，将所述滤波图像Fi-1与所述滤波图像Fi之间的差异图像作为所述图像帧Mi的第二帧差图像；
在所述第二帧差图像的第一均值满足第一检测条件时，获取所述第一帧差图像的第二均值；
在所述第一均值与所述第二均值之间的映射关系满足第二检测条件时，将所述图像帧Mi确定为边界图像帧；所述第二检测条件是指所述第一均值与所述第二均值的比值大于第三阈值。
2.根据权利要求1所述的方法，其特征在于，所述确定与所述图像帧Mi-2相关联的滤波图像Fi-2、与所述图像帧Mi-1相关联的滤波图像Fi-1和与所述图像帧Mi相关联的滤波图像Fi，包括：
将所述图像帧Mi-2、所述图像帧Mi-1和所述图像帧Mi分别确定为目标图像帧；所述目标图像帧中的像素点的像素值是由多个通道分别对应的色彩分量进行组合后所确定的；
根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，对所述目标图像帧进行灰度转换，得到与所述目标图像帧具有相同图像尺寸的目标灰度图像；
根据所述目标灰度图像的图像尺寸以及所述目标灰度图像的下采样率，对所述目标灰度图像进行下采样处理，得到目标采样图像；
对所述目标采样图像进行滤波处理，得到滤波处理结果；所述滤波处理结果包括：与所述图像帧Mi-2相关联的滤波图像Fi-2、与所述图像帧Mi-1相关联的滤波图像Fi-1和与所述图像帧Mi相关联的滤波图像Fi。
3.根据权利要求2所述的方法，其特征在于，所述多个通道包含第一通道、第二通道和第三通道；
所述根据每个通道分别对应的色彩分量以及对应通道的灰度转换参数，对所述目标图像帧进行灰度转换，得到与所述目标图像帧具有相同图像尺寸的目标灰度图像，包括：
根据所述目标图像帧中的像素点的像素值，确定所述像素点中的每个像素点分别在所述第一通道上的色彩分量、所述第二通道上的色彩分量以及所述第三通道上的色彩分量；
获取所述第一通道对应的第一灰度转换参数、所述第二通道对应的第二灰度转换参数以及所述第三通道对应的第三灰度转换参数；
根据所述第一通道上的色彩分量、所述第一灰度转换参数、所述第二通道上的色彩分量、所述第二灰度转换参数、所述第三通道上的色彩分量以及所述第三灰度转换参数，确定所述每个像素点的灰度值；
基于所述每个像素点的灰度值，确定与所述目标图像帧具有相同图像尺寸的目标灰度图像。
4.根据权利要求2所述的方法，其特征在于，所述对所述目标采样图像进行滤波处理，得到滤波处理结果，包括：
获取用于对所述目标采样图像进行滤波处理的滤波辅助参数以及N个滤波方向参数；所述滤波辅助参数为对所述目标采样图像进行滤波处理时的固定参数，所述滤波方向参数的角度范围包含0度至360度；所述N为正整数；
基于所述滤波辅助参数、所述N个滤波方向参数，分别对所述目标采样图像进行滤波处理，得到N个滤波子图像；
对所述N个滤波子图像进行融合，得到所述目标采样图像对应的滤波处理结果。
5.根据权利要求1所述的方法，其特征在于，所述在所述第二帧差图像的第一均值满足第一检测条件时，获取所述第一帧差图像的第二均值，包括：
将所述第二帧差图像中的每个像素点分别确定为待处理像素点，在所述第二帧差图像中确定每个待处理像素点的位置坐标信息；
根据所述第二帧差图像的图像尺寸、所述每个待处理像素点的位置坐标信息，对所述每个待处理像素点的像素值进行均值处理，得到所述第二帧差图像的第一均值；
获取与所述视频序列相关联的第一检测条件；所述第一检测条件包含第一阈值和第二阈值，且所述第一阈值小于所述第二阈值；
若所述第一均值大于所述第一阈值且小于所述第二阈值时，则获取所述第一帧差图像的第二均值；所述第二均值是根据所述第一帧差图像的图像尺寸、所述第一帧差图像中的每个像素点的位置坐标信息所确定的。
6.根据权利要求5所述的方法，其特征在于，还包括：
若所述第一均值小于或者等于所述第一阈值，则确定所述图像帧Mi为所述图像帧Mi-1的连续图像帧；所述连续图像帧是指所述图像帧Mi与所述图像帧Mi-1属于同一场景；
若所述第一均值大于或者等于所述第二阈值，则对所述图像帧Mi设置切变标识，且将具有所述切变标识的图像帧Mi确定为边界图像帧；所述边界图像帧是指所述图像帧Mi的场景不同于所述图像帧Mi-1的场景。
7.根据权利要求6所述的方法，其特征在于，所述在所述第一均值与所述第二均值之间的映射关系满足第二检测条件时，将所述图像帧Mi确定为边界图像帧，包括：
获取所述第一均值与所述第二均值的比值，获取与所述视频序列相关联的第二检测条件；
若所述比值小于或者等于所述第二检测条件中的第三阈值，则将所述图像帧Mi确定为所述图像帧Mi-1的所述连续图像帧；
若所述比值大于所述第三阈值，则对所述图像帧Mi设置切变标识，且将具有所述切变标识的图像帧Mi确定为所述边界图像帧。
8.一种视频数据处理的装置，其特征在于，所述装置包括：
第一获取模块，用于获取视频序列中的图像帧Mi-2、图像帧Mi-1和图像帧Mi；所述图像帧Mi-2为所述图像帧Mi-1的上一图像帧，且所述图像帧Mi为所述图像帧Mi-1的下一图像帧；i为大于2的正整数；
第一确定模块，用于确定与所述图像帧Mi-2相关联的滤波图像Fi-2、与所述图像帧Mi-1相关联的滤波图像Fi-1和与所述图像帧Mi相关联的滤波图像Fi；所述滤波图像Fi-2、所述滤波图像Fi-1以及所述滤波图像Fi属于滤波处理结果；所述滤波处理结果中的每个滤波图像均是对目标图像帧进行灰度转换、下采样处理以及滤波处理后所得到的；所述目标图像帧包括所述图像帧Mi-2、所述图像帧Mi-1和所述图像帧Mi；所述滤波处理用于降低所述目标图像帧对光照强度的敏感程度；
第二确定模块，用于将所述滤波图像Fi-2与所述滤波图像Fi-1之间的差异图像作为所述图像帧Mi-1的第一帧差图像，将所述滤波图像Fi-1与所述滤波图像Fi之间的差异图像作为所述图像帧Mi的第二帧差图像；
第二获取模块，用于在所述第二帧差图像的第一均值满足第一检测条件时，获取所述第一帧差图像的第二均值；
第三确定模块，用于在所述第一均值与所述第二均值之间的映射关系满足第二检测条件时，将所述图像帧Mi确定为边界图像帧；所述第二检测条件是指所述第一均值与所述第二均值的比值大于第三阈值。
9.一种计算机设备，其特征在于，包括：处理器、存储器、网络接口；
所述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309688.0A CN111062926B (zh) | 2019-12-18 | 2019-12-18 | 一种视频数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309688.0A CN111062926B (zh) | 2019-12-18 | 2019-12-18 | 一种视频数据处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062926A CN111062926A (zh) | 2020-04-24 |
| CN111062926B true CN111062926B (zh) | 2023-08-22 |
Family
ID=70302292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911309688.0A Active CN111062926B (zh) | 2019-12-18 | 2019-12-18 | 一种视频数据处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062926B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706393A (zh) * | 2020-05-20 | 2021-11-26 | 武汉Tcl集团工业研究院有限公司 | 视频增强方法、装置、设备及存储介质 |
| CN115330779B (zh) * | 2022-10-13 | 2022-12-20 | 四川迪晟新达类脑智能技术有限公司 | 民用爆破中基于火光和烟尘的爆破时刻确认方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102307274A (zh) * | 2011-08-31 | 2012-01-04 | 南京南自信息技术有限公司 | 基于边缘检测和帧差法的运动检测方法 |
| CN102314613A (zh) * | 2011-07-06 | 2012-01-11 | 北京航空航天大学 | 一种基于信息理论与支持向量机的镜头边界检测算法 |
| US8254671B1 (en) * | 2009-05-14 | 2012-08-28 | Adobe Systems Incorporated | System and method for shot boundary detection in video clips |
| WO2013051628A1 (ja) * | 2011-10-04 | 2013-04-11 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
| CN104811586A (zh) * | 2015-04-24 | 2015-07-29 | 福建星网锐捷安防科技有限公司 | 场景变换视频智能分析方法、装置、网络摄像机及监控系统 |
| CN104978731A (zh) * | 2014-04-10 | 2015-10-14 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105405153A (zh) * | 2015-10-29 | 2016-03-16 | 宁波大学 | 智能移动终端抗噪声干扰运动目标提取方法 |
| CN108205657A (zh) * | 2017-11-24 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频镜头分割的方法、存储介质和移动终端 |
| CN108830146A (zh) * | 2018-05-04 | 2018-11-16 | 南京邮电大学 | 一种基于滑动窗口的非压缩域镜头边界检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085401B2 (en) * | 2001-10-31 | 2006-08-01 | Infowrap Systems Ltd. | Automatic object extraction |
-
2019
- 2019-12-18 CN CN201911309688.0A patent/CN111062926B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8254671B1 (en) * | 2009-05-14 | 2012-08-28 | Adobe Systems Incorporated | System and method for shot boundary detection in video clips |
| CN102314613A (zh) * | 2011-07-06 | 2012-01-11 | 北京航空航天大学 | 一种基于信息理论与支持向量机的镜头边界检测算法 |
| CN102307274A (zh) * | 2011-08-31 | 2012-01-04 | 南京南自信息技术有限公司 | 基于边缘检测和帧差法的运动检测方法 |
| WO2013051628A1 (ja) * | 2011-10-04 | 2013-04-11 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
| CN104978731A (zh) * | 2014-04-10 | 2015-10-14 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104811586A (zh) * | 2015-04-24 | 2015-07-29 | 福建星网锐捷安防科技有限公司 | 场景变换视频智能分析方法、装置、网络摄像机及监控系统 |
| CN105405153A (zh) * | 2015-10-29 | 2016-03-16 | 宁波大学 | 智能移动终端抗噪声干扰运动目标提取方法 |
| CN108205657A (zh) * | 2017-11-24 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频镜头分割的方法、存储介质和移动终端 |
| CN108830146A (zh) * | 2018-05-04 | 2018-11-16 | 南京邮电大学 | 一种基于滑动窗口的非压缩域镜头边界检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Fast-moving target tracking based on mean shift and frame-difference methods;Hongpeng Yin et al.;《Journal of Systems Engineering and Electronics》;第22卷(第4期);第587-592页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062926A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101662846B1 (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| CN103455790B (zh) | 一种基于肤色模型的皮肤识别方法 | |
| CN103778900B (zh) | 一种图像处理方法及系统 | |
| CN108805265A (zh) | 神经网络模型处理方法和装置、图像处理方法、移动终端 | |
| CN110487737B (zh) | 用于智能手机光谱检测的图像信息提取与计算方法及系统 | |
| CN111062926B (zh) | 一种视频数据处理方法、装置及存储介质 | |
| CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
| CN111028165B (zh) | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 | |
| JP5440241B2 (ja) | 画像強調装置、画像強調方法及び画像強調プログラム | |
| CN113962859B (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN104657994B (zh) | 一种基于光流法判断图像一致性的方法和系统 | |
| CN111429371B (zh) | 图像处理方法、装置及终端设备 | |
| CN104954627B (zh) | 一种信息处理方法及电子设备 | |
| CN104268888A (zh) | 一种图像模糊检测方法 | |
| Yang et al. | No‐reference image quality assessment via structural information fluctuation | |
| CN114926826A (zh) | 场景文本检测系统 | |
| CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
| CN111797694B (zh) | 一种车牌检测方法及装置 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN113096103A (zh) | 一种面向放空火炬的烟气智能影像感知方法 | |
| CN111080683A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| Lian et al. | [Retracted] Film and Television Animation Sensing and Visual Image by Computer Digital Image Technology | |
| CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022557 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |