CN106327531B - 全景视频的识别方法及设备、播放视频方法及设备 - Google Patents
全景视频的识别方法及设备、播放视频方法及设备 Download PDFInfo
- Publication number
- CN106327531B CN106327531B CN201610680474.4A CN201610680474A CN106327531B CN 106327531 B CN106327531 B CN 106327531B CN 201610680474 A CN201610680474 A CN 201610680474A CN 106327531 B CN106327531 B CN 106327531B
- Authority
- CN
- China
- Prior art keywords
- video
- frame image
- difference component
- played
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004904 shortening Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种全景视频的识别方法及设备、播放视频方法及设备,从待播放视频中提取N帧图像,其中,N为不小于2的整数;获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。本发明提供的一种全景视频的识别方法及设备、播放视频方法及设备,能够通过机器自动识别出待播放视频为全景视频,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种全景视频的识别方法及设备、播放视频方法及设备。
背景技术
360度全景图像是通过对专业相机捕捉整个场景的图像信息,使用软件进行图片拼合,并用专门的播放器即全景视频播放器进行播放,即将平面照及计算机图变为360度全景景观。通过360度全景图像能够把二维的平面图模拟成真实的三维空间,呈现给观赏者,并给观赏者提供各种操纵图像的功能,可以放大缩小,各个方向移动观看场景,以达到模拟和再现场景的真实环境的效果。
随着全景图像广泛应用于人机交互、地理信息、工程管理、环境模拟、医疗诊断、农林业管理等领域,使得全景图像应用领域越来越广,且由全景图像制成的视频即全景视频需要专用的全景视频播放器进行播放,使得现有技术在播放视频时,需要用户首先识别出播放视频是否为全景视频,在识别出播放视频为全景视频之后,还需要用户手动选择全景视频播放器来播放全景视频,由此可知,现有技术在播放全景视频时,需要用户进行识别和手动选择操作,使得从识别到开始播放全景视频的时间较长,导致出现播放效率低的问题。
发明内容
本发明提供了一种全景视频的识别方法及设备、播放视频方法及设备,能够通过机器自动识别出待播放视频为全景视频,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
本申请实施例第一方面提供了一种全景视频的识别方法,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
可选的,所述获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,具体包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,并将所述灰度差分均值作为所述灰度差分量。
可选的,所述方法还包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
可选的,所述方法还包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
可选的,在从待播放视频中提取N帧图像之后,所述方法还包括:
获取每帧图像的特征点集;
对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;
若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
可选的,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
可选的,在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,所述方法还包括:
获取每帧图像中匹配特征点对集的距离平均值。
可选的,所述获取每帧图像中匹配特征点对集的距离平均值,具体包括:
获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
可选的,在从待播放视频中提取N帧图像之后,所述方法还包括:
判断每帧图像的宽高比是否为预设宽高比;
若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;
若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
本申请实施例第二方面提供了一种播放视频的方法,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
在所述差分占比大于预设比例时,确定所述待播放视频为全景视频;
在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
本申请实施例第三方面提供了一种全景视频的识别设备,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
本申请实施例第四方面提供了一种播放视频的设备,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频;
播放单元,用于在所述识别单元确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
本发明的有益效果如下:
本发明实施例中,首先从待播放视频中提取N帧图像,然后获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;再将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比大于预设比例时,确定所述待播放视频为全景视频,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
附图说明
图1为本发明实施例中全景视频的识别方法的第一种流程图;
图2为本发明实施例中全景视频的识别方法的第二种流程图;
图3为本发明实施例中全景视频的识别方法的第三种流程图;
图4为本发明实施例中分屏视频的识别方法的流程图;
图5为本发明实施例中一帧图像中的匹配特征点对集的结构示意图;
图6为本发明实施例中获取每帧图像中匹配特征点对集的距离平均值的流程图;
图7为本发明实施例中播放视频的方法的流程图;
图8为本发明实施例中全景视频的识别设备的模块图;
图9为本发明实施例中播放视频的设备的模块图。
具体实施方式
本发明提供了一种全景视频的识别方法及设备、播放视频方法及设备,能够通过机器自动识别出待播放视频为全景视频,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。。
下面结合附图对本发明优选的实施方式进行详细说明。
实施例一:
如图1所示,本发明第一方面提供了一种全景视频的识别方法,包括:
S101、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S102、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S103、将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
S104、在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
其中,在步骤S101中,首先需要获取所述待播放视频,然后从所述待播放视频中提取所述N帧图像。
具体的,所述待播放视频的获取方式可以是通过用户单击或双击视频等操作来获取,例如在显示器上显示有A、B和C视频,当通过传感器检测到有针对A视频的双击操作时,则根据针对A视频的双击操作,可以确定所述待播放视频为A视频。
具体的,在获取所述待播放视频之后,可以将所述待播放视频的片头和片尾去除,再从去除片头和片尾的所述待播放视频中提取所述N帧图像。当然,为了使得后续基于所述N帧图像识别所述待播放视频是否为全景视频的精确度提高,所述N帧图像为不连续的视频帧图像;当然,所述N帧图像也可以为连续的视频帧图像。
例如,以待播放视频为A视频为例,首先将A视频的片头和片尾去掉,然后从去掉片头和片尾的A视频中提取不连续的第15、第25、第30和第35帧图像作为所述N帧图像;当然,也可以取连续的第3、第4、第5和第6帧图像作为所述N帧图像。
接下来执行步骤S102,在该步骤中,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量。
具体来讲,由于每帧图像都是由多行多列的像素组成,如此,可以获取每帧图像中第一列像素和最后一列像素的灰度值,然后将每帧图像中第一列像素和最后一列像素的灰度值进行差分处理,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,从而得到所述N帧图像对应的N个灰度差分量,其中,每帧图像中第一列像素包括多个像素,且每帧图像中最后一列像素也包括多个像素。
具体的,每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量可以为每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量;当然,每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量也可以为每帧图像中第一列像素和最后一列像素的灰度值的灰度差分和,其中,所述灰度差分和为所述灰度差分量。
具体的,设g(i,j)为视频帧图像在第i行第j列的灰度值;sumDiff为视频帧图像中第一列像素与最后一列像素的灰度值的灰度差分和;则可以确定
其中,公式(1)中row表示视频帧的总列数;list表示视频帧的总行数,且i依次取0-(list-1)的值。
例如,以A视频的第15帧图像为例,若第15帧图像的分辨率为1920×1080,则row=1920,list=1080,如此,可与通过公式(1)获取第15帧图像中第0列像素与第1919列像素的灰度值的灰度差分和。
本申请实施例中,在所述灰度差分和为所述灰度差分量时,可以通过公式(1)获取到每帧图像的灰度差分量,从而获取到所述N个灰度差分量。
具体的,在所述灰度差分均值为所述灰度差分量时,所述灰度差分均值用meanDiff进行表示,则可以确定meanDiff=sumDiff/row公式(2)。
例如,以A视频的第15帧图像为例,若第15帧图像的分辨率为1920×1080,则row=1920,list=1080,如此,可与通过公式(2)获取第15帧图像中第0列像素与第1919列像素的灰度值的灰度差分均值。
本申请实施例中,所述灰度差分均值为所述灰度差分量时,可以通过公式(2)获取到每帧图像的灰度差分均值,从而获取到所述N个灰度差分量。
接下来执行步骤S103,在该步骤中,将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比。
在具体实施过程中,在通过步骤S102获取到所述N个灰度差分量之后,将每个灰度差分量分别与所述预设差分量进行对比,获取小于所述预设差分量的灰度差分量的数量以S进行表示,则所述差分占比用K1进行表示,则K1=S/N,公式(3)。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,若所述预设差分量为800,由于小于800的灰度差分和的数量为3,则通过公式(3)确定K1=3/4=75%。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,若所述预设差分量为100,由于小于100的灰度差分均值的数量为4,则通过公式(3)确定K1=4/4=100%。
接下来执行步骤S104,在该步骤中,在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
在具体实施过程中,所述预设比例可以根据采集大量全景图像使用步骤S101-S103进行训练来确定,以使得通过所述预设比例来确定所述待播放视频为全景视频的准确度更高,其中,所述预设比例可以为75%-100%中的任意一个值,例如可以为75%、85%、90%和100%等。
例如,可以采集100万幅全景图像通过步骤S101-S103获取到的100万个差分占比,若大于80%的差分占比在100万个差分占比中所占比例大于第一预设阈值,则所述预设比例可以取80%,其中,所述第一预设阈值的取值范围为80%~100%;例如在所述第一预设阈值为91%时,若大于85%的差分占比在100万个差分占比中所占比例大于92%,由于92%>91%,则所述预设比例可以取85%。
具体来讲,在通过预先的训练获取所述预设比例之后,将所述预设比例进行存储,在通过步骤S103获取到所述差分占比之后,将所述差分占比与所述预设比例进行比对,若比对出所述差分占比大于所述预设比例时,则确定所述待播放视频为全景视频,否则,则确定所述待播放视频为2D视频。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,若所述预设差分量为800,由于小于800的灰度差分和的数量为3,则通过公式(3)确定K1=3/4=75%,若所述预设比例为80%,由于75%<80%,则判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,若所述预设差分量为100,由于小于100的灰度差分均值的数量为4,则通过公式(3)确定K1=4/4=100%,若所述预设比例为90%,由于90%<100%,则判定A视频为全景视频。
在本发明第一方面中,由于全景视频中的每帧图像都是全景图像,而全景图像中最左边和最右边的内容是连续的,由此可知,全景图像中第一列像素和最后一列像素的灰度值差别较小,基于上述原理,本申请在获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量之后,通过步骤S103~S104识别出所述待播放视频为全景视频的准确度较高,进而降低了误判的概率。
本发明第一方面是从待播放视频中提取N帧图像,然后获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;再将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比大于预设比例时,确定所述待播放视频为全景视频,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
而且在通过机器自动识别出待播放视频为全景视频之后,可以自动启动全景视频播放器来播放所述待播放视频,如此,不仅缩短了识别时间,还能够缩短打开全景视频播放器的时间,从而有效缩短了从识别到开始播放全景视频的时间,能够有效提高播放效率。
实施例二:
如图2所示,本发明第二方面提供了一种全景视频的识别方法,包括:
S201、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S202、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S203、将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
S204、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
S205、将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
S206、在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
其中,步骤S201-S203的具体实施过程可以参考实施例一中关于步骤S101~S103的详细介绍,为了说明书的简洁在此就不再赘述了。
在执行步骤S203之后,执行步骤S204,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量。
在本申请第二方面中,步骤S204可以在步骤S201和步骤S202之间执行,也可以和步骤S202同时执行,也可以在步骤S202和步骤S203之间执行,也可以和步骤S203同时执行,本申请不作具体限制。
具体来讲,在获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量时,可以首先根据本申请第一方面的公式(1)获取每帧图像中第一列像素与最后一列像素的灰度值的灰度差分和,再根据公式(2)获取每帧图像中第一列像素与最后一列像素的灰度值的灰度差分均值,设方差用varDiff进行表示,则可以确定
具体的,可以通过公式(4)获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,从而获取到所述N个灰度方差量。
例如,以A视频的第15帧图像为例,若第15帧图像的分辨率为1920×1080,则row=1920,list=1080,如此,可与通过公式(1)、公式(2)和公式(4)获取第15帧图像中第0列像素与第1919列像素的灰度值的灰度方差量;采用获取第15帧图像的灰度方差量相同的方式,获取A视频中的第25、第30和第35帧图像中每帧图像的灰度方差量,从而获得所述N个灰度方差量。
接下来执行步骤S205,在该步骤中,将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比。
在具体实施过程中,在通过步骤S204获取到所述N个灰度方差量之后,将每个灰度差分量分别与所述第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量的数量以F进行表示,则所述方差占比用K2进行表示,则可以确定K2=F/N,公式(5)。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)、公式(2)和公式(4)依次获取到各帧图像的灰度方差量为15、16、22和34,若所述第一预设方差为35,由于小于35的灰度方差量的数量为4,则通过公式(5)确定K2=4/4=100%。
具体来讲,所述第一预设方差可以根据采集大量全景图像使用步骤S204进行训练来确定,以使得获取的所述第一预设方差与全景图像更匹配,其中,在一个实例中,所述第一预设方差可以为10~100中的任意一个正整数,例如可以为10、20、30、50和100等。
例如,可以采集300万幅全景图像通过步骤S204获取到的300万个灰度差分量,根据300万个灰度差分量的分布参数,确定所述第一预设方差的取值,例如300万个灰度差分量中取值在20-40之间的占比为90%,则所述第一预设方差可以为41、42和43等大于40的值。
接下来执行步骤S206,在该步骤中,在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
在具体实施过程中,所述预设占比可以根据采集大量全景图像使用步骤S204-S205进行训练来确定,以使得通过所述预设占比来确定所述待播放视频为全景视频的准确度更高,其中,所述预设占比可以为75%-100%中的任意一个值,例如可以为75%、85%、90%和100%等。
例如,可以采集200万幅全景图像通过步骤S204-S205获取到的200万个方差占比,若大于80%的方差占比在100万个方差占比中所占比例大于第二预设阈值,则所述预设占比可以取80%;其中,所述第二预设阈值的取值范围为80%~100%;例如在所述第一预设阈值为91%时,若大于85%的方差占比在100万个方差占比中所占比例大于92%,由于92%>91%,则所述预设占比可以取85%。
具体来讲,在通过预先的训练获取所述预设占比之后,将所述预设占比进行存储,在通过步骤S203获取到所述差分占比和步骤S205获取到所述方差占比之后,分别将所述差分占比与所述预设比例进行对比和将所述方差占比与所述预设占比进行比对,若比对出所述差分占比大于所述预设比例且所述方差占比大于预设占比时,则确定所述待播放视频为全景视频,否则,则确定所述待播放视频为2D视频。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,若所述预设差分量为800,由于小于800的灰度差分和的数量为3,则通过公式(3)确定K1=3/4=75%,以及通过公式(1)、公式(2)和公式(4)依次获取到各帧图像的灰度方差量为15、16、22和34,若所述第一预设方差为35,由于小于35的灰度方差量的数量为4,则通过公式(5)确定K2=4/4=100%;若所述预设比例和所述预设占比均为80%,由于75%<80%,则判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,若所述预设差分量为100,由于小于100的灰度差分均值的数量为4,则通过公式(3)确定K1=4/4=100%,若所述预设比例为90%,由于90%<100%;以及通过公式(1)、公式(2)和公式(4)依次获取到各帧图像的灰度方差量为15、16、22和34,若所述第一预设方差为35,由于小于35的灰度方差量的数量为4,则通过公式(5)确定K2=4/4=100%;若所述预设占比均为85%,由于85%<100%,则确定所述差分占比大于所述预设比例且所述方差占比大于所述预设占比,进而判定A视频为全景视频。
在本发明第二方面中,由于全景视频中的每帧图像都是全景图像,而全景图像中最左边和最右边的内容是连续的,由此可知,全景图像中第一列像素和最后一列像素的灰度值差别较小,基于上述原理,通过步骤S201~S206识别出所述待播放视频为全景视频的准确度较高,进而降低了误判的概率。
本发明第二方面在判断出所述差分占比大于所述预设比例之后,还需判断所述方差占比大于所述预设占比,才能判定所述待播放视频为全景视频,且所述预设比例和所述预设占比均是通过采集大量的全景图像进行训练得到的,在所述预设比例和所述预设占比的准确性确保的基础上,其通过多个约束条件判断出所述待播放视频是否为全景视频的准确度得以进一步提高,进而降低了出现误判的概率。
本发明第二方面是通过机器自动判断出所述差分占比大于所述预设比例且所述方差占比大于所述预设占比时,识别出所述待播放视频为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
而且在通过机器自动识别出待播放视频为全景视频之后,可以自动启动全景视频播放器来播放所述待播放视频,如此,不仅缩短了识别时间,还能够缩短打开全景视频播放器的时间,从而有效缩短了从识别到开始播放全景视频的时间,能够有效提高播放效率。
实施例三:
如图3所示,本发明第三方面提供了一种全景视频的识别方法,包括:
S301、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S302、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S303、将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
S304、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
S305、将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
S306、在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
其中,步骤S301-S303的具体实施过程可以参考实施例一中关于步骤S101~S103的详细介绍,为了说明书的简洁在此就不再赘述了。
在执行步骤S303之后,执行步骤S304,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量。
在本申请第二方面中,步骤S304可以在步骤S301和步骤S302之间执行,也可以和步骤S302同时执行,也可以在步骤S302和步骤S303之间执行,也可以和步骤S303同时执行,本申请不作具体限制。
其中,步骤S304的具体实施过程可以参考实施例二中关于步骤S204的详细介绍,为了说明书的简洁在此就不再赘述了。
在执行步骤S304之后,执行步骤S305,在该步骤中,将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比。
在具体实施过程中,在通过步骤S304获取到所述N个灰度方差量之后,获取所述N个灰度方差量的平均灰度方差量,即所述平均灰度方差量为所述N个灰度方差量之和/N,再将所述平均灰度方差量与所述第二预设方差进行比对。
具体来讲,所述第二预设方差可以根据采集大量全景图像使用步骤S304~S305进行训练来确定,以使得获取的所述第二预设方差与全景图像更匹配,其中,在一个实例中,所述第二预设方差可以为10~100中的任意一个正整数,例如可以为10、20、30、50和100等。
例如,可以采集400万幅全景图像通过步骤S304-S305获取到的400万个平均灰度方差量,根据400万个平均灰度差分量的分布参数,确定所述第二预设方差的取值,例如400万个平均灰度方差量中取值在20-60之间的占比为98%,则所述第二预设方差可以为61、62和63等大于60的值。
接下来执行步骤S306,在该步骤中,在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
在具体实施过程中,在通过预先的训练获取所述第二预设方差之后,将所述第二预设方差进行存储,在通过步骤S303获取到所述差分占比和步骤S305获取到所述平均灰度方差量之后,分别将所述差分占比与所述预设比例进行对比和将所述平均灰度方差量与所述第二预设方差进行比对,若比对出所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,则确定所述待播放视频为全景视频,否则,则确定所述待播放视频为2D视频。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,若所述预设差分量为800,由于小于800的灰度差分和的数量为3,则通过公式(3)确定K1=3/4=75%,以及通过公式(1)、公式(2)和公式(4)依次获取到各帧图像的灰度方差量为15、16、22和34,然后获取所述平均灰度方差量为(15+16+22+34)/4=21.75,若所述第二预设方差为25,使得21.75<25;若所述预设比例和所述预设占比均为80%,由于75%<80%,则判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,若所述预设差分量为100,由于小于100的灰度差分均值的数量为4,则通过公式(3)确定K1=4/4=100%,若所述预设比例为90%,由于90%<100%;以及通过公式(1)、公式(2)和公式(4)依次获取到各帧图像的灰度方差量为15、16、22和34,然后获取所述平均灰度方差量为(15+16+22+34)/4=21.75,若所述第二预设方差为25,使得21.75<25;若所述预设占比均为85%,由于85%<100%,则确定所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差,进而判定A视频为全景视频。
在本发明第三方面中,由于全景视频中的每帧图像都是全景图像,而全景图像中最左边和最右边的内容是连续的,由此可知,全景图像中第一列像素和最后一列像素的灰度值差别较小,基于上述原理,通过步骤S301~S306识别出所述待播放视频为全景视频的准确度较高,进而降低了误判的概率。
本发明第三方面在判断出所述差分占比大于所述预设比例之后,还需判断所述平均灰度方差量小于所述第二预设方差,才能判定所述待播放视频为全景视频,且所述预设比例和所述第二预设方差均是通过采集大量的全景图像进行训练得到的,在所述预设比例和所述方差站的准确性确保的基础上,其通过多个约束条件判断出所述待播放视频是否为全景视频的准确度得以进一步提高,进而降低了出现误判的概率。
本发明第三方面是通过机器来判断出所述差分占比大于所述预设比例且判断所述平均灰度方差量小于所述第二预设方差时,识别出所述待播放视频为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
而且在通过机器自动识别出待播放视频为全景视频之后,可以自动启动全景视频播放器来播放所述待播放视频,如此,不仅缩短了识别时间,还能够缩短打开全景视频播放器的时间,从而有效缩短了从识别到开始播放全景视频的时间,能够有效提高播放效率。
实施例四:
参见图4,本发明第四方面提供了一种分屏视频的识别方法,包括:
S401、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S402、获取每帧图像的特征点集;
S403、对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
S404、判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
S405、若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;
S406、若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
其中,首先执行步骤S401,步骤S401具体可以参考实施例一中关于步骤S101的详细叙述,为了说明书的简洁在此就不再赘述了。
在执行步骤S401之后,执行步骤S402,在该步骤中,获取每帧图像的特征点集。
在具体实施过程中,可以通过特征点提取算法从每帧图像中提取特征点,从而获取到每帧图像的特征点集,例如可以通过ORB,S I FT,SURF等算法对每帧图像进行特征提取,从而提取到每帧图像的特征点集,其中,每帧图像的特征点集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息,特征描述信息可以为一个8字节的内容描述,特征点方向例如可以是一个0-1023的方向信息。
接下来执行步骤S403,在该步骤中,对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集。
具体来讲,通过特征点匹配算法对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集,其中,所述特征点匹配算法例如可以是可以采用归一化互相关(Normalized Cross Correlation method,简称NCC)匹配算法、序贯相似性检测(sequential similarity detection algorithm,简称SSDA)算法和测度因子有像素灰度差的绝对值和(Sum of Absolute Differences,检测SAD)算法等。
接下来执行步骤S404,在该步骤中,判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内。
在具体实施过程中,在执行步骤S404之前,还需先获取每帧图像中匹配特征点对集的距离平均值;在获取每帧图像对应的距离平均值时,可以获取每帧图像中每对匹配特征点对之间的距离,然后将每帧图像中每对匹配特征点对之间的距离之和除以每帧图像中匹配特征点对集中匹配特征点对的总数,从而可以获取到每帧图像中匹配特征点对集的距离平均值。
例如,如图5所示,以A视频的第15帧图像为例,通过步骤S403获取到第15帧图像的匹配特征点对集包括A A’、B B’、C C’、D D’、E E’和F F’,然后获取A A’之间的距离A1,BB’之间的距离B1,C C’之间的距离C1、D D’之间的距离D1、E E’之间的距离E1和F F’之间的距离F1;然后获取第15帧图像中匹配特征点对集的距离平均值为(A1+B1+C1+E1+F1)/6;然后判断(A1+B1+C1+E1+F1)/6是否在所述第一预设范围还是在所述第二预设范围内,若在所述第一预设范围内,则执行步骤S405;若在所述第二预设范围内,则执行步骤S406。
本申请实施例中,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
由于视频在上下分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的高度的1/2左右;而视频在左右分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的宽度的1/2左右;因此,根据每帧图像的高度的1/2来设定所述第一预设距离范围和根据每帧图像的宽度的1/2来设定所述第二预设距离范围,如此,能够确保所述第一预设距离范围和所述第二预设距离范围的设定更准确,使得通过所述第一预设距离范围和所述第二预设距离范围判定出来的结果也更准确。
本申请实施例中,所述第一预设距离范围和所述第二预设距离范围可以通过像素dpi表示,也可以用厘米表示,本申请不作具体限制。
例如,以A视频的第15帧图像为例,若第15帧图像的尺寸的宽度为1600dpi,而高度为1200dpi;则根据第15帧图像的尺寸的宽度的1/2即800dpi来设定所述第一预设距离范围,其中,所述第一预设距离范围例如可以为的范围即为700~900,也可以为的范围即为750-850;同理,所述第二预设距离范围可以为的范围即为500-700;也可以为的范围即为550-650;可以通过上下分屏的图片进行训练来获取所述第一预设距离范围的取值,使得所述第一预设距离范围的取值更准确;同理,也可以通过左右分屏的图片进行训练来获取所述第二预设距离范围的取值,使得所述第二预设距离范围的取值更准确;进一步使得通过所述第一预设距离范围和所述第二预设距离范围判定出来的结果也更准确。
若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则执行步骤S405,确定所述待播放视频为上下分屏视频;若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则执行步骤S406,确定所述待播放视频为左右分屏视频;若每帧图像中匹配特征点对集的距离平均值既不在所述第一预设距离范围内,也不在所述第二预设距离范围内,在确定所述待播放视频为非分屏视频,即为正常视频。
例如,如图5所示,同样以A视频的第15帧图像为例,第15帧图像的宽高比为1600×1200,获取第15帧图像中匹配特征点对集的距离平均值为(A1+B1+C1+E1+F1)/6=620,若所述第二预设距离范围为750-850,所述第一预设距离范围为550-650;由于620在550-650内,由此可知,第15帧图像中匹配特征点对集的距离平均值在所述第一预设距离范围内;同理,采用相同的方法依次获取A视频中的第25、第30和第35帧图像中的每帧图像中匹配特征点对集的距离平均值执行步骤S404的步骤,若第25、第30和第35帧图像中的每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则可以确定A视频为上下分屏视频。
本申请实施例中,可以在执行完步骤S104之后,再执行步骤S402-S406;当然也可以和步骤S102~104并行执行步骤S402-S406;还可以在步骤S405或步骤S406执行完毕之后,再执行步骤S102,此时,若确定A视频为上下分屏视频,则可以取N帧图像中的每帧图像的上分屏图像或下分屏图像来执行步骤S102-S104;若确定A视频为左右分屏视频,则可以取N帧图像中的每帧图像的左分屏图像或右分屏图像来执行步骤S102-S104;当然,也可以直接去N帧图像中的每帧图像的整个图像来执行步骤S102-S104,本申请不作具体限制。
在本申请的另一实施例中,为了使得获取的每帧图像中匹配特征点对集的距离平均值更准确,在获取每帧图像中匹配特征点对集的距离平均值时,还可以采用另一种方法,如图6所示,具体包括如下步骤:
S601、获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
S602、从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
S603、获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
其中,步骤S601、S602和S603在步骤S403之后且在步骤S404之前执行。
具体的,在执行步骤403之后,执行步骤S601,获取每帧图像中每个匹配特征点对之间的连线与参考线之间的夹角角度,其中,所述参考线是根据匹配特征点对之间的连线来确定的。若匹配特征点对之间的连线与水平线之间的夹角小于该连线与垂直线之间的夹角,则确定所述参考线为水平线;反之,连线与水平线之间的夹角不小于该连线与垂直线之间的夹角,则确定所述参考线为垂直线。
例如,参见图5,A视频的第15帧图像中E E’之间的连线10,由于连线10与水平线之间的夹角大于连线10与垂直线20之间的夹角30,则确定参考线为垂直线20,并获取连线10和垂直线20之间的夹角30为20°。
接下来执行步骤S602,在该步骤中,首先将每帧图像中匹配特征点对的夹角信息用户所述预设夹角进行比对,获取每帧图中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对。
例如,参见图5,第15帧图像的匹配特征点对集包括A A’、B B’、C C’、D D’、E E’和F F’,然后通过步骤S601的方式获取上述6个特征点对中每个特征点对的夹角信息,然后将获取的每个夹角信息与所述预设夹角进行对比,若所述预设夹角为15°,检测到E E’的夹角信息为20°大于15°,其它特征点对的夹角信息均小于15°,则确定第15帧图像的剩余匹配特征点对为A A’、B B’、C C’、D D’和F F’;采用同样的方式,依次获取N帧图像中其它每帧图像的剩余匹配特征点对。
接下来执行步骤S603,在该步骤中,获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
例如,参见图5,第15帧图像的剩余匹配特征点对为A A’、B B’、C C’、D D’和F F’,则获取A A’、B B’、C C’、D D’和F F’的距离平均值为(A1+B1+C1+F1)/5为第15帧图像中匹配特征点对集的距离平均值;采用同样的方式,依次获取N帧图像中其它每帧图像的剩余匹配特征点对的距离平均值。
在通过步骤S603获取到每帧图像中匹配特征点对集的距离平均值之后,依次执行步骤S404-S406。
具体来讲,由于图像不管是上下分屏还是左右分屏,其相应的特征点对之间的连线通常会近似平行于水平线或垂直线,基于此就可以设定所述预设夹角的值,通过所述预设夹角能够将每帧图中匹配特征点对集中去掉匹配度低的特征点对,使得使用每帧图像中的剩余匹配特征点对的距离平均值能够与自身图像更匹配,如此,使得通过每帧图像中的剩余匹配特征点对的距离平均值作为输入来执行后续步骤S404-S406,使得判断出的结果的准确度更高。
本申请另一实施例中,在从待播放视频中提取N帧图像之后,所述方法还包括:判断每帧图像的宽高比是否为预设宽高比;若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则执行步骤S102-S104。
在具体实施过程中,由于全景视频中每帧图像均是全景图,而全景图为水平方向360°和垂直方向180°的图片,因此,一般的全景视频的宽是高的两倍;宽高比为2可以作为判断待播放视频是否为全景视频的一个充分不必要条件,即所述预设宽高比为2,如此,可以在执行步骤S102之前,首先判断每帧图像的宽高比是否均为取值为2的预设宽高比。若每帧图像的宽高比是均为取值为2的预设宽高比,则判定待播放视频为全景视频;若存在至少一帧图像的宽高比不为2,则执行步骤S102-S104。当然,有些全景图像的宽高比为3:2,与2D图像的宽高比4:3和16:9均不同,则可以确定所述预设宽高比还可以取与2D图像的宽高比不同的值例如为3:2。
本发明的有益效果如下:
本发明实施例中是根据每帧图像的高度的1/2来设定所述第一预设距离范围和根据每帧图像的宽度的1/2来设定所述第二预设距离范围,由于视频在上下分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的高度的1/2左右;而视频在左右分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的宽度的1/2左右;如此,能够确保所述第一预设距离范围和所述第二预设距离范围的设定更准确,使得通过所述第一预设距离范围和所述第二预设距离范围判定出来的结果也更准确,即能够更准确的判断出待播放视频是上下还是左右分屏的视频。
实施例五:
参见图7,本发明第五方面提供了一种播放视频的方法,包括以下步骤:
S701、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S702、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S703、将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
S704、在所述差分占比大于预设比例时,确定所述待播放视频为全景视频;
S705、在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
其中,步骤S701-S704具体可以参考S101-S104的实现过程,为了说明书的简洁,在此就不再赘述了。
在执行完步骤S704之后,执行步骤S705,在该步骤中,在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
在具体实施过程中,在确定所述待播放视频为全景视频之后,自行启动所述全景视频播放器,然后将所述待播放视频加载到所述全景视频播放器中进行播放,如此,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,在识别为全景视频时,自动启动全景视频播放器来播放所述待播放视频,使得全景视频播放器的开启和加载所述待播放视频均是机器自动执行的,与现有技术中的全景视频播放器需要人工开启和人工加载所述待播放视频相比,能够有效缩短开启全景视频播放器到加载所述待播放视频的时间,如此,能够进一步的从识别到开始播放全景视频的时间,进一步提高播放效率。
具体来讲,在确定所述待播放视频为全景视频之后,首先在本地查找所述全景视频播放器,若查找到,则自动启动所述全景视频播放器然后加载所述待播放视频进行播放;若未查找到,则推荐一款全景视频播放器给用户进行下载,如此,使得用户的体验更好,智能化更高。
在执行步骤S702的过程中,可以获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量;也可以获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分和,其中,所述灰度差分和为所述灰度差分量。
在本申请的另一实施例中,所述方法还包括:获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
在本申请的另一实施例中,所述方法还包括:获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
在本申请的另一实施例中,在从待播放视频中提取N帧图像之后,所述方法还包括:获取每帧图像的特征点集;对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
其中,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
具体的,在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,所述方法还包括:获取每帧图像中匹配特征点对集的距离平均值。
具体的,所述获取每帧图像中匹配特征点对集的距离平均值,具体包括:获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
在本申请的另一实施例中,在从待播放视频中提取N帧图像之后,所述方法还包括:判断每帧图像的宽高比是否为预设宽高比;若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则执行步骤S702-S704。
本发明的有益效果如下:
本发明实施例中,本申请实施例是通过机器自动识别出待播放视频是否为全景视频,且在识别为全景视频时,自动启动全景视频播放器来播放所述待播放视频,使得全景视频播放器的开启和加载所述待播放视频均是机器自动执行的,与现有技术中的全景视频播放器需要人工开启和人工加载所述待播放视频相比,能够有效缩短开启全景视频播放器到加载所述待播放视频的时间,如此,能够进一步的从识别到开始播放全景视频的时间,进一步提高播放效率。
实施例六:
参见图8,基于与本发明第一至第三方面相似的技术构思,本发明第五方面提供了一种全景视频的识别设备,包括:
图像提取单元801,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元802,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元803,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元804,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
较佳的,灰度差分量获取单元802,具体用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量。
较佳的,所述识别设备还包括:
灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
方差占比获取单元,用于将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
识别单元804,还用于在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
较佳的,所述识别设备还包括:
所述灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
比对单元,用于将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
识别单元804,还用于在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
较佳的,所述识别设备还包括:
特征点集获取单元,用于获取每帧图像的特征点集;
匹配特定点对获取单元,用于对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
第一判断单元,用于判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
分屏确定单元,用于在判断出每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,确定所述待播放视频为上下分屏视频;以及在判断出每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,确定所述待播放视频为左右分屏视频。
较佳的,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
较佳的,所述识别设备还包括:
距离平均值获取单元,用于在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,获取每帧图像中匹配特征点对集的距离平均值。
较佳的,所述距离平均值获取单元具体包括:
夹角获取子单元,用于获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
剩余特征点对获取子单元,用于从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
距离平均值获取子单元,用于获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
较佳的,所述识别设备还包括:
第二判断单元,用于在从待播放视频中提取N帧图像之后,判断每帧图像的宽高比是否为预设宽高比;
确定单元,还用于在判断出每帧图像的宽高比均为所述预设宽高比时,确定所述待播放视频为全景视频;
灰度差分量获取单元802,还用于在判断出所述N帧图像中存在宽高比不为所述预设宽高比的图像,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元803,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元804,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
本发明的有益效果如下:
本发明实施例中,首先从待播放视频中提取N帧图像,然后获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;再将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比大于预设比例时,确定所述待播放视频为全景视频,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
实施例七:
参见图9,基于与本发明第一至第四方面相似的技术构思,本发明第六方面提供了一种播放视频的设备,包括:
图像提取单元901,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元902,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元903,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元904,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频;
播放单元905,用于在所述识别单元确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
较佳的,灰度差分量获取单元902,具体用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量。
较佳的,所述识别设备还包括:
灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
方差占比获取单元,用于将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
识别单元904,还用于在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
较佳的,所述识别设备还包括:
所述灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
比对单元,用于将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
识别单元904,还用于在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
较佳的,所述播放视频的设备还包括:
特征点集获取单元,用于获取每帧图像的特征点集;
匹配特定点对获取单元,用于对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
第一判断单元,用于判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
分屏确定单元,用于在判断出每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,确定所述待播放视频为上下分屏视频;以及在判断出每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,确定所述待播放视频为左右分屏视频。
较佳的,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
较佳的,所述播放视频的设备还包括:
距离平均值获取单元,用于在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,获取每帧图像中匹配特征点对集的距离平均值。
较佳的,所述距离平均值获取单元具体包括:
夹角获取子单元,用于获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
剩余特征点对获取子单元,用于从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
距离平均值获取子单元,用于获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
较佳的,所述播放视频的设备还包括:
第二判断单元,用于在从待播放视频中提取N帧图像之后,判断每帧图像的宽高比是否为预设宽高比;
确定单元,还用于在判断出每帧图像的宽高比均为所述预设宽高比时,确定所述待播放视频为全景视频;
灰度差分量获取单元902,还用于在判断出所述N帧图像中存在宽高比不为所述预设宽高比的图像,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元903,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元904,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
本发明的有益效果如下:
本发明实施例中,本申请实施例是通过机器自动识别出待播放视频是否为全景视频,且在识别为全景视频时,自动启动全景视频播放器来播放所述待播放视频,使得全景视频播放器的开启和加载所述待播放视频均是机器自动执行的,与现有技术中的全景视频播放器需要人工开启和人工加载所述待播放视频相比,能够有效缩短开启全景视频播放器到加载所述待播放视频的时间,如此,能够进一步的从识别到开始播放全景视频的时间,进一步提高播放效率。
本发明实施例中所述模块或单元,可以通过通用集成电路,例如CPU(CentralProcessing Unit,中央处理器),或通过ASIC(Application SpecificIntegratedCircuit,专用集成电路)来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (12)
1.一种全景视频的识别方法,其特征在于,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
2.如权利要求1所述的识别方法,其特征在于,所述获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,具体包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,并将所述灰度差分均值作为所述灰度差分量。
3.如权利要求1所述的识别方法,其特征在于,所述方法还包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
在所述差分占比大于所述预设比例且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
4.如权利要求1所述的识别方法,其特征在于,所述方法还包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
在所述差分占比大于所述预设比例且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
5.如权利要求1或3或4所述的识别方法,其特征在于,在从待播放视频中提取N帧图像之后,所述方法还包括:
获取每帧图像的特征点集;
对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;
若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
6.如权利要求5所述的识别方法,其特征在于,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
7.如权利要求6所述的识别方法,其特征在于,在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,所述方法还包括:
获取每帧图像中匹配特征点对集的距离平均值。
8.如权利要求7所述的方法,其特征在于,所述获取每帧图像中匹配特征点对集的距离平均值,具体包括:
获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
9.如权利要求1所述的方法,其特征在于,在从待播放视频中提取N帧图像之后,所述方法还包括:
判断每帧图像的宽高比是否为预设宽高比;
若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;
若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
10.一种播放视频的方法,其特征在于,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
在所述差分占比大于预设比例时,确定所述待播放视频为全景视频;
在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
11.一种全景视频的识别设备,其特征在于,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频。
12.一种播放视频的设备,其特征在于,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分占比获取单元,用于将每个灰度差分量与预设差分量进行对比,获取小于所述预设差分量的灰度差分量在所述N个灰度差分量中的差分占比;
识别单元,用于在所述差分占比大于预设比例时,确定所述待播放视频为全景视频;
播放单元,用于在所述识别单元确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610680474.4A CN106327531B (zh) | 2016-08-18 | 2016-08-18 | 全景视频的识别方法及设备、播放视频方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610680474.4A CN106327531B (zh) | 2016-08-18 | 2016-08-18 | 全景视频的识别方法及设备、播放视频方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106327531A CN106327531A (zh) | 2017-01-11 |
CN106327531B true CN106327531B (zh) | 2019-10-01 |
Family
ID=57743218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610680474.4A Expired - Fee Related CN106327531B (zh) | 2016-08-18 | 2016-08-18 | 全景视频的识别方法及设备、播放视频方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106327531B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107027071B (zh) * | 2017-03-14 | 2019-12-13 | 深圳市创达天盛智能科技有限公司 | 一种视频播放的方法和装置 |
CN108475432B (zh) * | 2017-06-07 | 2021-12-28 | 深圳市柔宇科技股份有限公司 | 360度全景图像及360度全景视频的识别方法及电子装置 |
CN107197326B (zh) * | 2017-06-21 | 2019-12-03 | 歌尔科技有限公司 | 视频识别方法及装置 |
CN107330944B (zh) * | 2017-06-27 | 2020-01-21 | 深圳市冠旭电子股份有限公司 | 一种全景图像的识别方法、装置、终端设备和存储介质 |
CN108040287A (zh) * | 2017-12-18 | 2018-05-15 | 北京搜狐新媒体信息技术有限公司 | 一种全景视频的识别方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105245838A (zh) * | 2015-09-29 | 2016-01-13 | 成都虚拟世界科技有限公司 | 一种全景视频播放方法及播放器 |
CN105376500A (zh) * | 2014-08-18 | 2016-03-02 | 三星电子株式会社 | 用于产生全景视频的视频处理设备及其方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333552A (ja) * | 2004-05-21 | 2005-12-02 | Viewplus Inc | パノラマ映像配信システム |
US8581961B2 (en) * | 2011-03-31 | 2013-11-12 | Vangogh Imaging, Inc. | Stereoscopic panoramic video capture system using surface identification and distance registration technique |
-
2016
- 2016-08-18 CN CN201610680474.4A patent/CN106327531B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105376500A (zh) * | 2014-08-18 | 2016-03-02 | 三星电子株式会社 | 用于产生全景视频的视频处理设备及其方法 |
CN105245838A (zh) * | 2015-09-29 | 2016-01-13 | 成都虚拟世界科技有限公司 | 一种全景视频播放方法及播放器 |
Non-Patent Citations (2)
Title |
---|
The pleasure of being (there?): an explorative study into the effects of presence and identification on the enjoyment of an interactive theatrical performance using omnidirectional video;Jan Van Looy 等;《AI & Soc》;20130717;第1-12页 * |
多镜头反光式全景视频系统的研究;彭勃 等;《现代电子技术》;20091231(第22期);第91-95页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106327531A (zh) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106327531B (zh) | 全景视频的识别方法及设备、播放视频方法及设备 | |
CN106331848B (zh) | 全景视频的识别方法及设备、播放视频方法及设备 | |
CN111667520B (zh) | 红外图像和可见光图像的配准方法、装置及可读存储介质 | |
CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
CN103578116B (zh) | 用于跟踪对象的设备和方法 | |
CN102509118B (zh) | 一种监控视频检索方法 | |
JP2010045613A (ja) | 画像識別方法および撮像装置 | |
US8175335B2 (en) | Content adaptive detection of images with stand-out object | |
CN103582697A (zh) | 图像处理装置、图像处理方法和图像处理系统 | |
CN102375987B (zh) | 图像处理设备及图像特征向量提取与图像匹配方法 | |
CN104396231A (zh) | 图像处理装置和图像处理方法 | |
CN106488215A (zh) | 图像处理方法和设备 | |
CN110598715A (zh) | 图像识别方法、装置、计算机设备及可读存储介质 | |
US20190387184A1 (en) | Method and device for displaying target object | |
CN110346704A (zh) | 板卡测试中测试文件的确定方法、装置、设备及存储介质 | |
CN112307847A (zh) | 一种基于指导的多尺度注意力行人重识别深度学习系统 | |
CN112686122B (zh) | 人体及影子的检测方法、装置、电子设备、存储介质 | |
JP2009123150A (ja) | 対象物検出装置及び方法、対象物検出システム、プログラム | |
CN109324967A (zh) | 应用程序弹窗控件测试的方法、装置及终端设备 | |
CN111881996A (zh) | 目标检测方法、计算机设备和存储介质 | |
CN110443322A (zh) | 图像处理方法、装置、服务器及可读存储介质 | |
CN108629786B (zh) | 图像边缘检测方法及装置 | |
CN110619597A (zh) | 一种半透明水印去除方法、装置、电子设备及存储介质 | |
CN116048682A (zh) | 一种终端系统界面布局对比方法及电子设备 | |
CN106303161B (zh) | 一种图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200706 Address after: No.18 Xilin 1st Street, Chenghua District, Chengdu, Sichuan 610051 Patentee after: Chengdu Ideal Zhimei Technology Co.,Ltd. Address before: -C2-101 sky high tech Zone of Chengdu City, Sichuan province 610041 2 Road, Tianfu Software Park C District Patentee before: IDEALENS TECHNOLOGY (CHENGDU) Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191001 |