CN106331848B - 全景视频的识别方法及设备、播放视频方法及设备 - Google Patents

全景视频的识别方法及设备、播放视频方法及设备 Download PDF

Info

Publication number
CN106331848B
CN106331848B CN201610680455.1A CN201610680455A CN106331848B CN 106331848 B CN106331848 B CN 106331848B CN 201610680455 A CN201610680455 A CN 201610680455A CN 106331848 B CN106331848 B CN 106331848B
Authority
CN
China
Prior art keywords
video
frame image
difference component
gray
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610680455.1A
Other languages
English (en)
Other versions
CN106331848A (zh
Inventor
余雅丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ideal Zhimei Technology Co ltd
Original Assignee
Chengdu Xunishijie Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xunishijie Technology Co Ltd filed Critical Chengdu Xunishijie Technology Co Ltd
Priority to CN201610680455.1A priority Critical patent/CN106331848B/zh
Publication of CN106331848A publication Critical patent/CN106331848A/zh
Application granted granted Critical
Publication of CN106331848B publication Critical patent/CN106331848B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全景视频的识别方法及设备、播放视频方法及设备,从待播放视频中提取N帧图像,其中,N为不小于2的整数;获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。本发明提供的一种全景视频的识别方法及设备、播放视频方法及设备,能够通过机器自动识别出待播放视频为全景视频,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。

Description

全景视频的识别方法及设备、播放视频方法及设备
技术领域
本发明涉及视频处理技术领域,尤其涉及一种全景视频的识别方法及设备、播放视频方法及设备。
背景技术
360度全景图像是通过对专业相机捕捉整个场景的图像信息,使用软件进行图片拼合,并用专门的播放器即全景视频播放器进行播放,即将平面照及计算机图变为360度全景景观。通过360度全景图像能够把二维的平面图模拟成真实的三维空间,呈现给观赏者,并给观赏者提供各种操纵图像的功能,可以放大缩小,各个方向移动观看场景,以达到模拟和再现场景的真实环境的效果。
随着全景图像广泛应用于人机交互、地理信息、工程管理、环境模拟、医疗诊断、农林业管理等领域,使得全景图像应用领域越来越广,且由全景图像制成的视频即全景视频需要专用的全景视频播放器进行播放,使得现有技术在播放视频时,需要用户首先识别出播放视频是否为全景视频,在识别出播放视频为全景视频之后,还需要用户手动选择全景视频播放器来播放全景视频,由此可知,现有技术在播放全景视频时,需要用户进行识别和手动选择操作,使得从识别到开始播放全景视频的时间较长,导致出现播放效率低的问题。
发明内容
本发明提供了一种全景视频的识别方法及设备、播放视频方法及设备,能够通过机器自动识别出待播放视频为全景视频,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
本申请实施例第一方面提供了一种全景视频的识别方法,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;
将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
可选的,所述获取每帧图像中的第一列像素和最后一列像素的灰度值的灰度差分量,具体包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量。
可选的,所述方法还包括:
获取每帧图像中的第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
可选的,所述方法还包括:
获取每帧图像中的第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
可选的,在从待播放视频中提取N帧图像之后,所述方法还包括:
提取所述N帧图像中的每帧图像的特征点集;
对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;
若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
可选的,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
可选的,在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,所述方法还包括:
获取每帧图像中匹配特征点对集的距离平均值。
可选的,所述获取每帧图像中匹配特征点对集的距离平均值,具体包括:
获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
从每帧图像中匹配特征点集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
可选的,在从待播放视频中提取N帧图像之后,所述方法还包括:
判断每帧图像的宽高比是否为预设宽高比;
若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;
若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
本申请实施例第二方面提供了一种播放视频的方法,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;
将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频;
在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
本申请实施例第三方面提供了一种全景视频的识别设备,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
对比单元,用于将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
本申请实施例第四方面提供了一种播放视频设备,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
对比单元,用于将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频;
播放单元,用于在所述识别单元确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
本发明的有益效果如下:
本发明实施例中,首先从待播放视频中提取N帧图像,然后获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;再将N个灰度差分量的平均灰度差分量与预设差分量进行对比,在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
附图说明
图1为本发明实施例中全景视频的识别方法的第一种流程图;
图2为本发明实施例中全景视频的识别方法的第二种流程图;
图3为本发明实施例中全景视频的识别方法的第三种流程图;
图4为本发明实施例中分屏视频的识别方法的流程图;
图5为本发明实施例中一帧图像中的匹配特征点对集的结构示意图;
图6为本发明实施例中获取每帧图像中匹配特征点对集的距离平均值的流程图;
图7为本发明实施例中播放视频的方法的流程图;
图8为本发明实施例中全景视频的识别设备的模块图;
图9为本发明实施例中播放视频设备的模块图。
具体实施方式
本发明提供了一种全景视频的识别方法及设备、播放视频方法及设备,能够通过机器自动识别出待播放视频为全景视频,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。。
下面结合附图对本发明优选的实施方式进行详细说明。
实施例一:
如图1所示,本发明第一方面提供了一种全景视频的识别方法,包括:
S101、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S102、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S103、将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
S104、在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
其中,在步骤S101中,首先需要获取所述待播放视频,然后从所述待播放视频中提取所述N帧图像。
具体的,所述待播放视频的获取方式可以是通过用户单击或双击视频等操作来获取,例如在显示器上显示有A、B和C视频,当通过传感器检测到有针对A视频的双击操作时,则根据针对A视频的双击操作,可以确定所述待播放视频为A视频。
具体的,在获取所述待播放视频之后,可以将所述待播放视频的片头和片尾去除,再从去除片头和片尾的所述待播放视频中提取所述N帧图像。当然,为了使得后续基于所述N帧图像识别所述待播放视频是否为全景视频的精确度提高,所述N帧图像为不连续的视频帧图像;当然,所述N帧图像也可以为连续的视频帧图像。
例如,以待播放视频为A视频为例,首先将A视频的片头和片尾去掉,然后从去掉片头和片尾的A视频中提取不连续的第15、第25、第30和第35帧图像作为所述N帧图像;当然,也可以取连续的第3、第4、第5和第6帧图像作为所述N帧图像。
接下来执行步骤S102,在该步骤中,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量。
具体来讲,由于每帧图像都是由多行多列的像素组成,如此,可以获取每帧图像中第一列像素和最后一列像素的灰度值,然后将每帧图像中第一列像素和最后一列像素的灰度值进行差分处理,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,从而得到所述N帧图像对应的N个灰度差分量,其中,每帧图像中第一列像素包括多个像素,且每帧图像中最后一列像素也包括多个像素。
具体的,每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量可以为每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量;当然,每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量也可以为每帧图像中第一列像素和最后一列像素的灰度值的灰度差分和,其中,所述灰度差分和为所述灰度差分量。
具体的,设g(i,j)为视频帧图像在第i行第j列的灰度值;sumDiff为视频帧图像中第一列像素与最后一列像素的灰度值的灰度差分和;则可以确定
其中,公式(1)中row表示视频帧的总列数;list表示视频帧的总行数,且i依次取0-(list-1)的值。
例如,以A视频的第15帧图像为例,若第15帧图像的分辨率为1920×1080,则row=1920,list=1080,如此,可与通过公式(1)获取第15帧图像中第0列像素与第1919列像素的灰度值的灰度差分和。
本申请实施例中,在所述灰度差分和为所述灰度差分量时,可以通过公式(1)获取到每帧图像的灰度差分量,从而获取到所述N个灰度差分量。
具体的,在所述灰度差分均值为所述灰度差分量时,所述灰度差分均值用meanDiff进行表示,则可以确定meanDiff=sumDiff/row 公式(2)。
例如,以A视频的第15帧图像为例,若第15帧图像的分辨率为1920×1080,则row=1920,list=1080,如此,可与通过公式(2)获取第15帧图像中第0列像素与第1919列像素的灰度值的灰度差分均值。
本申请实施例中,所述灰度差分均值为所述灰度差分量时,可以通过公式(2)获取到每帧图像的灰度差分均值,从而获取到所述N个灰度差分量。
接下来执行步骤S103,在该步骤中,将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比。
在具体实施过程中,在通过步骤S102获取到所述N个灰度差分量之后,在执行步骤S103之前,还需获取所述N个灰度差分量的平均灰度差分量,然后将所述平均灰度差分量与所述预设差分量进行比对,若所述平均灰度差分量小于所述预设差分量,则执行步骤S104;若所述平均灰度差分量不小于所述预设差分量,则判定所述待播放视频为2D视频。
具体来讲,在获取所述平均灰度差分量时,首先可以获取所述N个灰度差分量之和,然后将获取的所述N个灰度差分量之和除以N,即可获取所述平均灰度差分量。
具体的,所述预设差分量可以根据采集大量全景图像进行训练来确定,通过大量全景图像的训练来获取每副全景图像的平均灰度差分量,然后对大量的平均灰度差分量进行统计,根据统计结果来设定所述预设差分量,以使得通过所述预设差分量来确定所述待播放视频为全景视频的准确度更高。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,然后获取到平均灰度差分量为(260+980+540+650)/4=607.5,若所述预设差分量为600,由于607.5>600,则判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,然后获取到平均灰度差分量为(50+70+60+20)/4=50,若所述预设差分量为60,由于50<60,即所述平均灰度差分量小于所述预设差分量,进而执行步骤S104。
在所述平均灰度差分量小于所述预设差分量时,执行步骤S104,确定所述待播放视频为全景视频。
在具体实施过程中,在通过步骤S103将所述平均灰度差分量与所述预设差分量进行对,对比得到的结果表征所述平均灰度差分量小于所述预设差分量,则确定所述待播放视频为全景视频;若对比得到的结果表征所述平均灰度差分量不小于所述预设差分量,则确定所述待播放视频为2D视频。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,然后获取到平均灰度差分量为(260+980+540+650)/4=607.5,若所述预设差分量为600,由于607.5>600,则判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,然后获取到平均灰度差分量为(50+70+60+20)/4=50,若所述预设差分量为60,由于50<60,即所述平均灰度差分量小于所述预设差分量,进而判定A视频为全景视频。
在本发明第一方面中,由于全景视频中的每帧图像都是全景图像,而全景图像中最左边和最右边的内容是连续的,由此可知,全景图像中第一列像素和最后一列像素的灰度值差别较小,基于上述原理,本申请在获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量之后,通过步骤S103~S104识别出所述待播放视频为全景视频的准确度较高,进而降低了误判的概率。
本发明第一方面是从待播放视频中提取N帧图像,然后获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;再将N个灰度差分量的平均灰度差分量与预设差分量进行对比,在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
而且,在通过机器自动识别出待播放视频为全景视频之后,可以自动启动全景视频播放器来播放所述待播放视频,如此,不仅缩短了识别时间,还能够缩短打开全景视频播放器的时间,从而有效缩短了从识别到开始播放全景视频的时间,能够有效提高播放效率。
实施例二:
如图2所示,本发明第二方面提供了一种全景视频的识别方法,包括:
S201、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S202、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S203、将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
S204、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
S205、将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
S206、在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
其中,步骤S201-S203的具体实施过程可以参考实施例一中关于步骤S101~S103的详细介绍,为了说明书的简洁在此就不再赘述了。
在执行步骤S203之后,执行步骤S204,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量。
在本申请第二方面中,步骤S204可以在步骤S201和步骤S202之间执行,也可以和步骤S202同时执行,也可以在步骤S202和步骤S203之间执行,也可以和步骤S203同时执行,本申请不作具体限制。
具体来讲,在获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量时,可以首先根据本申请第一方面的公式(1)获取每帧图像中第一列像素与最后一列像素的灰度值的灰度差分和,再根据公式(2)获取每帧图像中第一列像素与最后一列像素的灰度值的灰度差分均值,设方差用varDiff进行表示,则可以确定
具体的,可以通过公式(3)获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,从而获取到所述N个灰度方差量。
例如,以A视频的第15帧图像为例,若第15帧图像的分辨率为1920×1080,则row=1920,list=1080,如此,可与通过公式(1)、公式(2)和公式(3)获取第15帧图像中第0列像素与第1919列像素的灰度值的灰度方差量;采用获取第15帧图像的灰度方差量相同的方式,获取A视频中的第25、第30和第35帧图像中每帧图像的灰度方差量,从而获得所述N个灰度方差量。
接下来执行步骤S205,在该步骤中,将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比。
在具体实施过程中,在通过步骤S204获取到所述N个灰度方差量之后,将每个灰度差分量分别与所述第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量的数量以F进行表示,则所述方差占比用K进行表示,则可以确定K=F/N, 公式(4)。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)、公式(2)和公式(3)依次获取到各帧图像的灰度方差量为15、16、22和34,若所述第一预设方差为35,由于小于35的灰度方差量的数量为4,则通过公式(4)确定K=4/4=100%。
具体来讲,所述第一预设方差可以根据采集大量全景图像使用步骤S204进行训练来确定,以使得获取的所述第一预设方差与全景图像更匹配,其中,在一个实例中,所述第一预设方差可以为10~100中的任意一个正整数,例如可以为10、20、30、50和100等。
例如,可以采集300万幅全景图像通过步骤S204获取到的300万个灰度差分量,根据300万个灰度差分量的分布参数,确定所述第一预设方差的取值,例如300万个灰度差分量中取值在20-40之间的占比为90%,则所述第一预设方差可以为41、42和43等大于40的值。
接下来执行步骤S206,在该步骤中,在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
在具体实施过程中,所述预设占比可以根据采集大量全景图像使用步骤S204-S205进行训练来确定,以使得通过所述预设占比来确定所述待播放视频为全景视频的准确度更高,其中,所述预设占比可以为75%-100%中的任意一个值,例如可以为75%、85%、90%和100%等。
例如,可以采集200万幅全景图像通过步骤S204-S205获取到的200万个方差占比,若大于80%的方差占比在100万个方差占比中所占比例大于第二预设阈值,则所述预设占比可以取80%;其中,所述第二预设阈值的取值范围为80%~100%;例如在所述第一预设阈值为91%时,若大于85%的方差占比在100万个方差占比中所占比例大于92%,由于92%>91%,则所述预设占比可以取85%。
具体来讲,在获取所述预设差分量和所述预设占比之后,将所述预设差分量和所述预设占比进行存储,在此之后,分别将获取的所述平均灰度差分量与所述预设差分量进行对比和将获取的所述方差占比与所述预设占比进行比对,若比对出所述平均灰度差分量小于所述预设差分量且所述方差占比大于所述预设占比,则确定所述待播放视频为全景视频;否则,则确定所述待播放视频为2D视频。
例如,以A视频为例,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,然后获取到平均灰度差分量为(260+980+540+650)/4=607.5,若所述预设差分量为600,由于607.5>600,则确定所述平均灰度差分量大于所述预设差分量;以及通过公式(1)、公式(2)和公式(3)依次获取到各帧图像的灰度方差量为15、16、22和34,若所述第一预设方差为35,由于小于35的灰度方差量的数量为4,则通过公式(4)确定K=4/4=100%;若所述预设占比为80%,由于80%<100%,则确定所述方差占比大于所述预设占比但所述平均灰度差分量大于所述预设差分量,如此,可以判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,然后获取到平均灰度差分量为(50+70+60+20)/4=50,若所述预设差分量为60,由于50<60,即所述平均灰度差分量小于所述预设差分量;以及通过公式(1)、公式(2)和公式(3)依次获取到各帧图像的灰度方差量为15、16、22和34,若所述第一预设方差为35,由于小于35的灰度方差量的数量为4,则通过公式(4)确定K=4/4=100%;若所述预设占比均为85%,由于85%<100%,则确定所述平均灰度差分量小于所述预设差分量且所述方差占比大于所述预设占比,如此,可以判定A视频为全景视频。
在本发明第二方面中,由于全景视频中的每帧图像都是全景图像,而全景图像中最左边和最右边的内容是连续的,由此可知,全景图像中第一列像素和最后一列像素的灰度值差别较小,基于上述原理,通过步骤S201~S206识别出所述待播放视频为全景视频的准确度较高,进而降低了误判的概率。
本发明第二方面在判断出所述平均灰度差分量小于所述预设差分量之后,还需判断所述方差占比大于所述预设占比,才能判定所述待播放视频为全景视频,且所述预设差分量和所述预设占比均是通过采集大量的全景图像进行训练得到的,在所述预设差分量和所述预设占比的准确性确保的基础上,其通过多个约束条件判断出所述待播放视频是否为全景视频的准确度得以进一步提高,进而降低了出现误判的概率。
本发明第二方面是通过机器自动判断出所述平均灰度差分量小于所述预设差分量且所述方差占比大于所述预设占比时,识别出所述待播放视频为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
而且在通过机器自动识别出待播放视频为全景视频之后,可以自动启动全景视频播放器来播放所述待播放视频,如此,不仅缩短了识别时间,还能够缩短打开全景视频播放器的时间,从而有效缩短了从识别到开始播放全景视频的时间,能够有效提高播放效率。
实施例三:
如图3所示,本发明第三方面提供了一种全景视频的识别方法,包括:
S301、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S302、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S303、将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
S304、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
S305、将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
S306、在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
其中,步骤S301-S303的具体实施过程可以参考实施例一中关于步骤S101~S103的详细介绍,为了说明书的简洁在此就不再赘述了。
在执行步骤S303之后,执行步骤S304,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量。
在本申请第二方面中,步骤S304可以在步骤S301和步骤S302之间执行,也可以和步骤S302同时执行,也可以在步骤S302和步骤S303之间执行,也可以和步骤S303同时执行,本申请不作具体限制。
其中,步骤S304的具体实施过程可以参考实施例二中关于步骤S204的详细介绍,为了说明书的简洁在此就不再赘述了。
在执行步骤S304之后,执行步骤S305,在该步骤中,将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比。
在具体实施过程中,在通过步骤S304获取到所述N个灰度方差量之后,获取所述N个灰度方差量的平均灰度方差量,即所述平均灰度方差量为所述N个灰度方差量之和/N,再将所述平均灰度方差量与所述第二预设方差进行比对。
具体来讲,所述第二预设方差可以根据采集大量全景图像使用步骤S304~S305进行训练来确定,以使得获取的所述第二预设方差与全景图像更匹配,其中,在一个实例中,所述第二预设方差可以为10~100中的任意一个正整数,例如可以为10、20、30、50和100等。
例如,可以采集400万幅全景图像通过步骤S304-S305获取到的400万个平均灰度方差量,根据400万个平均灰度差分量的分布参数,确定所述第二预设方差的取值,例如400万个平均灰度方差量中取值在20-60之间的占比为98%,则所述第二预设方差可以为61、62和63等大于60的值。
接下来执行步骤S306,在该步骤中,在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
在具体实施过程中,在获取所述预设差分量和所述第二预设方差之后,将所述预设差分量和所述第二预设方差进行存储,在此之后,分别将获取的所述平均灰度差分量与所述预设差分量进行对比和将获取的所述平均灰度方差量与所述第二预设方差进行比对,若比对出所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差,则确定所述待播放视频为全景视频;否则,则确定所述待播放视频为2D视频。
例如,以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(1)依次获取到各帧图像的灰度差分和为260、980、540和650,然后获取到平均灰度差分量为(260+980+540+650)/4=607.5,若所述预设差分量为600,由于607.5>600,则确定所述平均灰度差分量大于所述预设差分量;以及通过公式(1)、公式(2)和公式(3)依次获取到各帧图像的灰度方差量为15、16、22和34,然后获取所述平均灰度方差量为(15+16+22+34)/4=21.75,若所述第二预设方差为25,使得21.75<25,则所述平均灰度方差量小于所述第二预设方差但所述平均灰度差分量大于所述预设差分量,如此,可以判定A视频为2D视频。
又例如,同样以A视频为例,从A视频中提取的N帧图像为A视频中的第15、第25、第30和第35帧图像,通过公式(2)依次获取到各帧图像的灰度差分均值为50、70、60和20,然后获取到平均灰度差分量为(50+70+60+20)/4=50,若所述预设差分量为60,由于50<60,即所述平均灰度差分量小于所述预设差分量;以及通过公式(1)、公式(2)和公式(3)依次获取到各帧图像的灰度方差量为15、16、22和34,然后获取所述平均灰度方差量为(15+16+22+34)/4=21.75,若所述第二预设方差为25,使得21.75<25;则确定所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差,如此,可以判定A视频为全景视频。
在本发明第三方面中,由于全景视频中的每帧图像都是全景图像,而全景图像中最左边和最右边的内容是连续的,由此可知,全景图像中第一列像素和最后一列像素的灰度值差别较小,基于上述原理,通过步骤S301~S306识别出所述待播放视频为全景视频的准确度较高,进而降低了误判的概率。
本发明第三方面在判断出所述平均灰度差分量小于所述预设差分量之后,还需判断所述平均灰度方差量小于所述第二预设方差,才能判定所述待播放视频为全景视频,且所述预设差分量和所述第二预设方差均是通过采集大量的全景图像进行训练得到的,在所述预设差分量和所述方差站的准确性确保的基础上,其通过多个约束条件判断出所述待播放视频是否为全景视频的准确度得以进一步提高,进而降低了出现误判的概率。
本发明第三方面是通过机器来判断出所述平均灰度差分量小于所述预设差分量且判断所述平均灰度方差量小于所述第二预设方差时,识别出所述待播放视频为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
而且在通过机器自动识别出待播放视频为全景视频之后,可以自动启动全景视频播放器来播放所述待播放视频,如此,不仅缩短了识别时间,还能够缩短打开全景视频播放器的时间,从而有效缩短了从识别到开始播放全景视频的时间,能够有效提高播放效率。
实施例四:
参见图4,本发明第四方面提供了一种分屏视频的识别方法,包括:
S401、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S402、获取每帧图像的特征点集;
S403、对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
S404、判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
S405、若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;
S406、若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
其中,首先执行步骤S401,步骤S401具体可以参考实施例一中关于步骤S101的详细叙述,为了说明书的简洁在此就不再赘述了。
在执行步骤S401之后,执行步骤S402,在该步骤中,获取每帧图像的特征点集。
在具体实施过程中,可以通过特征点提取算法从每帧图像中提取特征点,从而获取到每帧图像的特征点集,例如可以通过ORB,SIFT,SURF等算法对每帧图像进行特征提取,从而提取到每帧图像的特征点集,其中,每帧图像的特征点集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息,特征描述信息可以为一个8字节的内容描述,特征点方向例如可以是一个0-1023的方向信息。
接下来执行步骤S403,在该步骤中,对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集。
具体来讲,通过特征点匹配算法对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集,其中,所述特征点匹配算法例如可以是可以采用归一化互相关(Normalized Cross Correlation method,简称NCC)匹配算法、序贯相似性检测(sequential similarity detection algorithm,简称SSDA)算法和测度因子有像素灰度差的绝对值和(Sum of Absolute Differences,检测SAD)算法等。
接下来执行步骤S404,在该步骤中,判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内。
在具体实施过程中,在执行步骤S404之前,还需先获取每帧图像中匹配特征点对集的距离平均值;在获取每帧图像对应的距离平均值时,可以获取每帧图像中每对匹配特征点对之间的距离,然后将每帧图像中每对匹配特征点对之间的距离之和除以每帧图像中匹配特征点对集中匹配特征点对的总数,从而可以获取到每帧图像中匹配特征点对集的距离平均值。
例如,如图5所示,以A视频的第15帧图像为例,通过步骤S403获取到第15帧图像的匹配特征点对集包括A A’、B B’、C C’、D D’、E E’和F F’,然后获取A A’之间的距离A1,BB’之间的距离B1,C C’之间的距离C1、D D’之间的距离D1、E E’之间的距离E1和F F’之间的距离F1;然后获取第15帧图像中匹配特征点对集的距离平均值为(A1+B1+C1+E1+F1)/6;然后判断(A1+B1+C1+E1+F1)/6是否在所述第一预设范围还是在所述第二预设范围内,若在所述第一预设范围内,则执行步骤S405;若在所述第二预设范围内,则执行步骤S406。
本申请实施例中,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
由于视频在上下分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的高度的1/2左右;而视频在左右分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的宽度的1/2左右;因此,根据每帧图像的高度的1/2来设定所述第一预设距离范围和根据每帧图像的宽度的1/2来设定所述第二预设距离范围,如此,能够确保所述第一预设距离范围和所述第二预设距离范围的设定更准确,使得通过所述第一预设距离范围和所述第二预设距离范围判定出来的结果也更准确。
本申请实施例中,所述第一预设距离范围和所述第二预设距离范围可以通过像素dpi表示,也可以用厘米表示,本申请不作具体限制。
例如,以A视频的第15帧图像为例,若第15帧图像的尺寸的宽度为1600dpi,而高度为1200dpi;则根据第15帧图像的尺寸的宽度的1/2即800dpi来设定所述第一预设距离范围,其中,所述第一预设距离范围例如可以为的范围即为700~900,也可以为的范围即为750-850;同理,所述第二预设距离范围可以为的范围即为500-700;也可以为的范围即为550-650;可以通过上下分屏的图片进行训练来获取所述第一预设距离范围的取值,使得所述第一预设距离范围的取值更准确;同理,也可以通过左右分屏的图片进行训练来获取所述第二预设距离范围的取值,使得所述第二预设距离范围的取值更准确;进一步使得通过所述第一预设距离范围和所述第二预设距离范围判定出来的结果也更准确。
若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则执行步骤S405,确定所述待播放视频为上下分屏视频;若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则执行步骤S406,确定所述待播放视频为左右分屏视频;若每帧图像中匹配特征点对集的距离平均值既不在所述第一预设距离范围内,也不在所述第二预设距离范围内,在确定所述待播放视频为非分屏视频,即为正常视频。
例如,如图5所示,同样以A视频的第15帧图像为例,第15帧图像的宽高比为1600×1200,获取第15帧图像中匹配特征点对集的距离平均值为(A1+B1+C1+E1+F1)/6=620,若所述第二预设距离范围为750-850,所述第一预设距离范围为550-650;由于620在550-650内,由此可知,第15帧图像中匹配特征点对集的距离平均值在所述第一预设距离范围内;同理,采用相同的方法依次获取A视频中的第25、第30和第35帧图像中的每帧图像中匹配特征点对集的距离平均值执行步骤S404的步骤,若第25、第30和第35帧图像中的每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则可以确定A视频为上下分屏视频。
本申请实施例中,可以在执行完步骤S104之后,再执行步骤S402-S406;当然也可以和步骤S102~104并行执行步骤S402-S406;还可以在步骤S405或步骤S406执行完毕之后,再执行步骤S102,此时,若确定A视频为上下分屏视频,则可以取N帧图像中的每帧图像的上分屏图像或下分屏图像来执行步骤S102-S104;若确定A视频为左右分屏视频,则可以取N帧图像中的每帧图像的左分屏图像或右分屏图像来执行步骤S102-S104;当然,也可以直接去N帧图像中的每帧图像的整个图像来执行步骤S102-S104,本申请不作具体限制。
在本申请的另一实施例中,为了使得获取的每帧图像中匹配特征点对集的距离平均值更准确,在获取每帧图像中匹配特征点对集的距离平均值时,还可以采用另一种方法,如图6所示,具体包括如下步骤:
S601、获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
S602、从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
S603、获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
其中,步骤S601、S602和S603在步骤S403之后且在步骤S404之前执行。
具体的,在执行步骤403之后,执行步骤S601,获取每帧图像中每个匹配特征点对之间的连线与参考线之间的夹角角度,其中,所述参考线是根据匹配特征点对之间的连线来确定的。若匹配特征点对之间的连线与水平线之间的夹角小于该连线与垂直线之间的夹角,则确定所述参考线为水平线;反之,连线与水平线之间的夹角不小于该连线与垂直线之间的夹角,则确定所述参考线为垂直线。
例如,参见图5,A视频的第15帧图像中E E’之间的连线10,由于连线10与水平线之间的夹角大于连线10与垂直线20之间的夹角30,则确定参考线为垂直线20,并获取连线10和垂直线20之间的夹角30为20°。
接下来执行步骤S602,在该步骤中,首先将每帧图像中匹配特征点对的夹角信息用户所述预设夹角进行比对,获取每帧图中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对。
例如,参见图5,第15帧图像的匹配特征点对集包括A A’、B B’、C C’、D D’、E E’和F F’,然后通过步骤S601的方式获取上述6个特征点对中每个特征点对的夹角信息,然后将获取的每个夹角信息与所述预设夹角进行对比,若所述预设夹角为15°,检测到E E’的夹角信息为20°大于15°,其它特征点对的夹角信息均小于15°,则确定第15帧图像的剩余匹配特征点对为A A’、B B’、C C’、D D’和F F’;采用同样的方式,依次获取N帧图像中其它每帧图像的剩余匹配特征点对。
接下来执行步骤S603,在该步骤中,获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
例如,参见图5,第15帧图像的剩余匹配特征点对为A A’、B B’、C C’、D D’和F F’,则获取A A’、B B’、C C’、D D’和F F’的距离平均值为(A1+B1+C1+F1)/5为第15帧图像中匹配特征点对集的距离平均值;采用同样的方式,依次获取N帧图像中其它每帧图像的剩余匹配特征点对的距离平均值。
在通过步骤S603获取到每帧图像中匹配特征点对集的距离平均值之后,依次执行步骤S404-S406。
具体来讲,由于图像不管是上下分屏还是左右分屏,其相应的特征点对之间的连线通常会近似平行于水平线或垂直线,基于此就可以设定所述预设夹角的值,通过所述预设夹角能够将每帧图中匹配特征点对集中去掉匹配度低的特征点对,使得使用每帧图像中的剩余匹配特征点对的距离平均值能够与自身图像更匹配,如此,使得通过每帧图像中的剩余匹配特征点对的距离平均值作为输入来执行后续步骤S404-S406,使得判断出的结果的准确度更高。
本申请另一实施例中,在从待播放视频中提取N帧图像之后,所述方法还包括:判断每帧图像的宽高比是否为预设宽高比;若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则执行步骤S102-S104。
在具体实施过程中,由于全景视频中每帧图像均是全景图,而全景图为水平方向360°和垂直方向180°的图片,因此,一般的全景视频的宽是高的两倍;宽高比为2可以作为判断待播放视频是否为全景视频的一个充分不必要条件,即所述预设宽高比为2,如此,可以在执行步骤S102之前,首先判断每帧图像的宽高比是否均为取值为2的预设宽高比。若每帧图像的宽高比是均为取值为2的预设宽高比,则判定待播放视频为全景视频;若存在至少一帧图像的宽高比不为2,则执行步骤S102-S104。当然,有些全景图像的宽高比为3:2,与2D图像的宽高比4:3和16:9均不同,则可以确定所述预设宽高比还可以取与2D图像的宽高比不同的值例如为3:2。
本发明的有益效果如下:
本发明实施例中是根据每帧图像的高度的1/2来设定所述第一预设距离范围和根据每帧图像的宽度的1/2来设定所述第二预设距离范围,由于视频在上下分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的高度的1/2左右;而视频在左右分屏时,其每帧图像的匹配特征点对之间的距离通常在该帧图像的宽度的1/2左右;如此,能够确保所述第一预设距离范围和所述第二预设距离范围的设定更准确,使得通过所述第一预设距离范围和所述第二预设距离范围判定出来的结果也更准确,即能够更准确的判断出待播放视频是上下还是左右分屏的视频。
实施例五:
参见图7,本发明第五方面提供了一种播放视频的方法,包括以下步骤:
S701、从待播放视频中提取N帧图像,其中,N为不小于2的整数;
S702、获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
S703、将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
S704、在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频;
S705、在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
其中,步骤S701-S704具体可以参考S101-S104的实现过程,为了说明书的简洁,在此就不再赘述了。
在执行完步骤S704之后,执行步骤S705,在该步骤中,在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
在具体实施过程中,在确定所述待播放视频为全景视频之后,自动启动所述全景视频播放器,然后将所述待播放视频加载到所述全景视频播放器中进行播放,如此,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,在识别为全景视频时,自动启动全景视频播放器来播放所述待播放视频,使得全景视频播放器的开启和加载所述待播放视频均是机器自动执行的,与现有技术中的全景视频播放器需要人工开启和人工加载所述待播放视频相比,能够有效缩短开启全景视频播放器到加载所述待播放视频的时间,如此,能够进一步的从识别到开始播放全景视频的时间,进一步提高播放效率。
具体来讲,在确定所述待播放视频为全景视频之后,首先在本地查找所述全景视频播放器,若查找到,则自动启动所述全景视频播放器然后加载所述待播放视频进行播放;若未查找到,则推荐一款全景视频播放器给用户进行下载,如此,使得用户的体验更好,智能化更高。
在执行步骤S702的过程中,可以获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量;也可以获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分和,其中,所述灰度差分和为所述灰度差分量。
在本申请的另一实施例中,所述方法还包括:获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
在本申请的另一实施例中,所述方法还包括:获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
在本申请的另一实施例中,在从待播放视频中提取N帧图像之后,所述方法还包括:获取每帧图像的特征点集;对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
其中,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
具体的,在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,所述方法还包括:获取每帧图像中匹配特征点对集的距离平均值。
具体的,所述获取每帧图像中匹配特征点对集的距离平均值,具体包括:获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
在本申请的另一实施例中,在从待播放视频中提取N帧图像之后,所述方法还包括:判断每帧图像的宽高比是否为预设宽高比;若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则执行步骤S702-S704。
本发明的有益效果如下:
本发明实施例中,本申请实施例是通过机器自动识别出待播放视频是否为全景视频,且在识别为全景视频时,自动启动全景视频播放器来播放所述待播放视频,使得全景视频播放器的开启和加载所述待播放视频均是机器自动执行的,与现有技术中的全景视频播放器需要人工开启和人工加载所述待播放视频相比,能够有效缩短开启全景视频播放器到加载所述待播放视频的时间,如此,能够进一步的从识别到开始播放全景视频的时间,进一步提高播放效率。
实施例六:
参见图8,基于与本发明第一至第三方面相似的技术构思,本发明第五方面提供了一种全景视频的识别设备,包括:
图像提取单元801,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元802,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分比对单元803,用于将N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元804,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
较佳的,灰度差分量获取单元802,具体用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量。
较佳的,所述识别设备还包括:
灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
方差占比获取单元,用于将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
识别单元804,还用于在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
较佳的,所述识别设备还包括:
所述灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
方差比对单元,用于将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
识别单元804,还用于在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
较佳的,所述识别设备还包括:
特征点集获取单元,用于获取每帧图像的特征点集;
匹配特定点对获取单元,用于对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
第一判断单元,用于判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
分屏确定单元,用于在判断出每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,确定所述待播放视频为上下分屏视频;以及在判断出每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,确定所述待播放视频为左右分屏视频。
较佳的,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
较佳的,所述识别设备还包括:
距离平均值获取单元,用于在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,获取每帧图像中匹配特征点对集的距离平均值。
较佳的,所述距离平均值获取单元具体包括:
夹角获取子单元,用于获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
剩余特征点对获取子单元,用于从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
距离平均值获取子单元,用于获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
较佳的,所述识别设备还包括:
第二判断单元,用于在从待播放视频中提取N帧图像之后,判断每帧图像的宽高比是否为预设宽高比;
确定单元,还用于在判断出每帧图像的宽高比均为所述预设宽高比时,确定所述待播放视频为全景视频;
灰度差分量获取单元802,还用于在判断出所述N帧图像中存在宽高比不为所述预设宽高比的图像,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分比对单元803,用于将N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元804,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
本发明的有益效果如下:
本发明实施例中,首先从待播放视频中提取N帧图像,然后获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;再将N个灰度差分量的平均灰度差分量与预设差分量进行对比,在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频,使得本申请实施例是通过机器自动识别出待播放视频是否为全景视频,与现有技术的人工识别待播放视频是否为全景视频相比,缩短了识别时间,使得从识别到开始播放全景视频的时间也随之缩短,从而有效提高了播放效率。
实施例七:
参见图9,基于与本发明第一至第四方面相似的技术构思,本发明第六方面提供了一种播放视频设备,包括:
图像提取单元901,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元902,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分比对单元903,用于将N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元904,用于在在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频;
播放单元905,用于在所述识别单元确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
较佳的,灰度差分量获取单元902,具体用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量。
较佳的,所述识别设备还包括:
灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
方差占比获取单元,用于将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
识别单元904,还用于在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
较佳的,所述识别设备还包括:
所述灰度方差量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
方差比对单元,用于将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
识别单元904,还用于在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
较佳的,所述播放视频设备还包括:
特征点集获取单元,用于获取每帧图像的特征点集;
匹配特定点对获取单元,用于对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
第一判断单元,用于判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
分屏确定单元,用于在判断出每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,确定所述待播放视频为上下分屏视频;以及在判断出每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,确定所述待播放视频为左右分屏视频。
较佳的,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
较佳的,所述播放视频设备还包括:
距离平均值获取单元,用于在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,获取每帧图像中匹配特征点对集的距离平均值。
较佳的,所述距离平均值获取单元具体包括:
夹角获取子单元,用于获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
剩余特征点对获取子单元,用于从每帧图像中匹配特征点对集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
距离平均值获取子单元,用于获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
较佳的,所述播放视频设备还包括:
第二判断单元,用于在从待播放视频中提取N帧图像之后,判断每帧图像的宽高比是否为预设宽高比;
确定单元,还用于在判断出每帧图像的宽高比均为所述预设宽高比时,确定所述待播放视频为全景视频;
灰度差分量获取单元902,还用于在判断出所述N帧图像中存在宽高比不为所述预设宽高比的图像,获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
差分比对单元903,用于将N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元904,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
本发明的有益效果如下:
本发明实施例中,本申请实施例是通过机器自动识别出待播放视频是否为全景视频,且在识别为全景视频时,自动启动全景视频播放器来播放所述待播放视频,使得全景视频播放器的开启和加载所述待播放视频均是机器自动执行的,与现有技术中的全景视频播放器需要人工开启和人工加载所述待播放视频相比,能够有效缩短开启全景视频播放器到加载所述待播放视频的时间,如此,能够进一步的从识别到开始播放全景视频的时间,进一步提高播放效率。
本发明实施例中所述模块或单元,可以通过通用集成电路,例如CPU(CentralProcessing Unit,中央处理器),或通过ASIC(Application SpecificIntegratedCircuit,专用集成电路)来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (12)

1.一种全景视频的识别方法,其特征在于,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;
将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
2.如权利要求1所述的识别方法,其特征在于,所述获取每帧图像中的第一列像素和最后一列像素的灰度值的灰度差分量,具体包括:
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分均值,其中,所述灰度差分均值为所述灰度差分量。
3.如权利要求1所述的识别方法,其特征在于,所述方法还包括:
获取每帧图像中的第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将每个灰度方差量与第一预设方差进行对比,获取小于所述第一预设方差的灰度方差量在所述N个灰度方差量中的方差占比;
在所述平均灰度差分量小于所述预设差分量且所述方差占比大于预设占比时,确定所述待播放视频为全景视频。
4.如权利要求1所述的识别方法,其特征在于,所述方法还包括:
获取每帧图像中的第一列像素和最后一列像素的灰度值的灰度方差量,获取所述N帧图像对应的N个灰度方差量;
将所述N个灰度方差量的平均灰度方差量与第二预设方差进行对比;
在所述平均灰度差分量小于所述预设差分量且所述平均灰度方差量小于所述第二预设方差时,确定所述待播放视频为全景视频。
5.如权利要求1或3或4所述的识别方法,其特征在于,在从待播放视频中提取N帧图像之后,所述方法还包括:
提取所述N帧图像中的每帧图像的特征点集;
对每帧图像的特征点集进行特征点匹配,获取每帧图像的匹配特征点对集;
判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内;
若每帧图像中匹配特征点对集的距离平均值均在所述第一预设距离范围内,则确定所述待播放视频为上下分屏视频;
若每帧图像中匹配特征点对集的距离平均值均在所述第二预设距离范围内,则确定所述待播放视频为左右分屏视频。
6.如权利要求5所述的识别方法,其特征在于,所述第一预设距离范围是根据每帧图像的高度的1/2来设定的;所述第二预设距离范围是根据每帧图像的宽度的1/2来设定的。
7.如权利要求6所述的识别方法,其特征在于,在所述判断每帧图像中匹配特征点对集的距离平均值是在第一预设距离范围内还是在第二预设距离范围内之前,所述方法还包括:
获取每帧图像中匹配特征点对集的距离平均值。
8.如权利要求7所述的方法,其特征在于,所述获取每帧图像中匹配特征点对集的距离平均值,具体包括:
获取每帧图像中每个匹配特征点对的夹角信息,所述夹角信息为匹配特征点对之间的连线与参考线之间的夹角角度;
从每帧图像中匹配特征点集中去掉夹角信息大于预设夹角的所有匹配特征点对,获取每帧图像中的剩余匹配特征点对;
获取每帧图像中的剩余匹配特征点对的距离平均值作为每帧图像中匹配特征点对集的距离平均值。
9.如权利要求1所述的方法,其特征在于,在从待播放视频中提取N帧图像之后,所述方法还包括:
判断每帧图像的宽高比是否为预设宽高比;
若每帧图像的宽高比均为所述预设宽高比,则确定所述待播放视频为全景视频;
若所述N帧图像中存在宽高比不为所述预设宽高比的图像,则获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
10.一种播放视频的方法,其特征在于,包括:
从待播放视频中提取N帧图像,其中,N为不小于2的整数;
获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N个帧图像对应的N个灰度差分量;
将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频;
在确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
11.一种全景视频的识别设备,其特征在于,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
对比单元,用于将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频。
12.一种播放视频设备,其特征在于,包括:
图像提取单元,用于从待播放视频中提取N帧图像,其中,N为不小于2的整数;
灰度差分量获取单元,用于获取每帧图像中第一列像素和最后一列像素的灰度值的灰度差分量,得到所述N帧图像对应的N个灰度差分量;
对比单元,用于将所述N个灰度差分量的平均灰度差分量与预设差分量进行对比;
识别单元,用于在所述平均灰度差分量小于所述预设差分量时,确定所述待播放视频为全景视频;
播放单元,用于在所述识别单元确定所述待播放视频为全景视频之后,利用全景视频播放器播放所述待播放视频。
CN201610680455.1A 2016-08-18 2016-08-18 全景视频的识别方法及设备、播放视频方法及设备 Expired - Fee Related CN106331848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610680455.1A CN106331848B (zh) 2016-08-18 2016-08-18 全景视频的识别方法及设备、播放视频方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610680455.1A CN106331848B (zh) 2016-08-18 2016-08-18 全景视频的识别方法及设备、播放视频方法及设备

Publications (2)

Publication Number Publication Date
CN106331848A CN106331848A (zh) 2017-01-11
CN106331848B true CN106331848B (zh) 2019-04-19

Family

ID=57742949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610680455.1A Expired - Fee Related CN106331848B (zh) 2016-08-18 2016-08-18 全景视频的识别方法及设备、播放视频方法及设备

Country Status (1)

Country Link
CN (1) CN106331848B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475432B (zh) * 2017-06-07 2021-12-28 深圳市柔宇科技股份有限公司 360度全景图像及360度全景视频的识别方法及电子装置
CN107197326B (zh) * 2017-06-21 2019-12-03 歌尔科技有限公司 视频识别方法及装置
CN107330944B (zh) * 2017-06-27 2020-01-21 深圳市冠旭电子股份有限公司 一种全景图像的识别方法、装置、终端设备和存储介质
CN108040287A (zh) * 2017-12-18 2018-05-15 北京搜狐新媒体信息技术有限公司 一种全景视频的识别方法及装置
CN109743566B (zh) * 2018-12-21 2021-01-15 重庆爱奇艺智能科技有限公司 一种用于识别vr视频格式的方法与设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
CN101488217A (zh) * 2008-01-18 2009-07-22 华晶科技股份有限公司 影像特征像素点的辨识装置及其辨识方法
CN102970478A (zh) * 2011-08-30 2013-03-13 三星电子株式会社 用于显示全景图像的数字拍摄设备及其控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965121B2 (en) * 2012-10-04 2015-02-24 3Dmedia Corporation Image color matching and equalization devices and related methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
CN101488217A (zh) * 2008-01-18 2009-07-22 华晶科技股份有限公司 影像特征像素点的辨识装置及其辨识方法
CN102970478A (zh) * 2011-08-30 2013-03-13 三星电子株式会社 用于显示全景图像的数字拍摄设备及其控制方法

Also Published As

Publication number Publication date
CN106331848A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106331848B (zh) 全景视频的识别方法及设备、播放视频方法及设备
CN106327531B (zh) 全景视频的识别方法及设备、播放视频方法及设备
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
CN103578116B (zh) 用于跟踪对象的设备和方法
JP4772839B2 (ja) 画像識別方法および撮像装置
US8175335B2 (en) Content adaptive detection of images with stand-out object
CN111738321A (zh) 数据处理方法、装置、终端设备以及存储介质
CN103582697A (zh) 图像处理装置、图像处理方法和图像处理系统
CN106488215A (zh) 图像处理方法和设备
CN111241872B (zh) 视频图像遮挡方法及装置
CN104396231A (zh) 图像处理装置和图像处理方法
CN110765903A (zh) 行人重识别方法、装置及存储介质
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN110346704A (zh) 板卡测试中测试文件的确定方法、装置、设备及存储介质
CN112766123A (zh) 一种基于纵横交叉注意力网络的人群计数方法及系统
CN112307847A (zh) 一种基于指导的多尺度注意力行人重识别深度学习系统
CN111860448A (zh) 洗手动作识别方法及系统
CN111401238A (zh) 一种视频中人物特写片段的检测方法及装置
CN110619597A (zh) 一种半透明水印去除方法、装置、电子设备及存储介质
CN106910207B (zh) 用于识别图像局部区域的方法、装置及终端设备
CN109558505A (zh) 视觉搜索方法、装置、计算机设备及存储介质
CN112446850B (zh) 适配测试方法、装置及电子设备
CN109977937B (zh) 图像处理方法、装置及设备
CN111881996A (zh) 目标检测方法、计算机设备和存储介质
CN111797737A (zh) 遥感目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200707

Address after: No.18 Xilin 1st Street, Chenghua District, Chengdu, Sichuan 610051

Patentee after: Chengdu Ideal Zhimei Technology Co.,Ltd.

Address before: -C2-101 sky high tech Zone of Chengdu City, Sichuan province 610041 2 Road, Tianfu Software Park C District

Patentee before: IDEALENS TECHNOLOGY (CHENGDU) Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190419