CN106162146B - 自动识别并播放全景视频的方法及系统 - Google Patents

自动识别并播放全景视频的方法及系统 Download PDF

Info

Publication number
CN106162146B
CN106162146B CN201610616738.XA CN201610616738A CN106162146B CN 106162146 B CN106162146 B CN 106162146B CN 201610616738 A CN201610616738 A CN 201610616738A CN 106162146 B CN106162146 B CN 106162146B
Authority
CN
China
Prior art keywords
color difference
edge
pixel
pixel pair
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610616738.XA
Other languages
English (en)
Other versions
CN106162146A (zh
Inventor
李进
朱春明
朱彦东
张鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Storm Group Ltd By Share Ltd
Original Assignee
Storm Group Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Storm Group Ltd By Share Ltd filed Critical Storm Group Ltd By Share Ltd
Priority to CN201610616738.XA priority Critical patent/CN106162146B/zh
Publication of CN106162146A publication Critical patent/CN106162146A/zh
Application granted granted Critical
Publication of CN106162146B publication Critical patent/CN106162146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明公开自动识别并播放全景视频的方法,包括:获取视频数据中的视频图像帧并计算视频图像帧的宽高比值;视频图像帧的宽高比值为2时,分别获取视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,边缘行像素对的颜色差值的方差均小于或等于边缘行像素对的颜色差值的方差阈值时,计算边缘列像素对的颜色差值的平均值及边缘列像素对的颜色差值的平均局部波动系数;边缘列像素对的颜色差值的平均值小于或等于边缘列像素对颜色差值的平均阈值,且边缘列像素对的颜色差值的局部波动系数大于等于边缘行像素对的颜色差值的局部波动系数阈值时,根据视频图像帧生成对应的映射球面进行播放。本发明实现了全景视频的自动识别及自动播放。

Description

自动识别并播放全景视频的方法及系统
技术领域
本发明涉及全景视频识别的技术领域,更具体地,涉及一种自动识别并播放全景视频的方法及系统。
背景技术
全景数据,包括全景视频,已成为当前的热门研究课题之一。全景视频,即720度或者360度全景视频,它是在720度或者360度全景的技术之上发展延伸而来,将静态的全景图片转化为动态的视频图像,全景视频可以在拍摄角度上下左右360度范围内任意观看动态视频,让用户有一种身临其境的感觉。在制作全景视频时使用一组摄像机在拍摄点周围同时拍摄360度(或720度)的画面,并经过后期的图像拼接缝合后使之能够在任意时刻无失真地展现拍摄点周围画面的视频。
目前还没有保存全景视频的特有格式,现有的全景视频还是采用与传统视频相同的保存格式:全景播放器播放的是经过拼接处理的以拍摄点为中心的球面投影面上的画面,目前对这种球面投影不方便存储,而是常常将球面投影变换存储为矩形图像,在全景播放器播放该全景视频时将存储的矩形图像重新映射贴合到球面上播放。矩形图像两侧的宽边分别对应球面上的北极点和南极点,矩形图像的每一行像素都对应球面上的每一条纬线,矩形图像的每一列像素都对应着球面上的每一条经线。因此,如果不考虑画面的差异,仅依据视频的格式无法区分一个视频是否是全景视频。在现有的播放器中,只能通过用户手动选择“全景模式”才能进行全景视频播放。但是,用户每次播放全景视频都需要通过人工手动选择对用户来讲很不方便,极大地影响了用户对产品的使用体验。
因此,提供一种自动识别并播放全景视频并自动进行全景视频播放的方案是本领域亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种自动识别并播放全景视频的方法及系统,解决了现有技术中不能自动识别并播放全景视频的问题。
为了解决上述技术问题,本发明提出一种自动识别并播放全景视频的方法,包括:
在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值;
获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值;
所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并分别计算所述边缘行像素对的颜色差值的方差;
所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数;
所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放。
进一步地,其中,所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数,进一步为:
所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值;
计算在所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的平均值及标准方差;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的标准方差与平均值的比值得到该像素对的局部波动系数;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的局部波动系数得到所述边缘列像素对颜色差值的平均局部波动系数。
进一步地,其中,所述预定局部范围为7-18像素。
进一步地,其中,所述边缘行像素对颜色差值的方差阈值为小于或等于10;
所述边缘列像素对颜色差值的平均阈值为小于或等于20;
所述边缘列像素对颜色差值的局部波动系数阈值为大于等于0.2。
进一步地,其中,所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放为:
所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放;
所述边缘列像素对的颜色差值的平均值大于所述边缘列像素对颜色差值的平均阈值,或所述边缘列像素对的颜色差值的局部波动系数小于所述局部波动系数阈值时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
另一发面,本发明还提供一种自动识别并播放全景视频的系统,包括:识别设置模块、视频获取模块、第一计算模块、第二计算模块及视频播放模块;其中,
所述识别设置模块,用于在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值;
所述视频获取模块,用于获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值;
所述第一计算模块,用于所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并分别计算所述边缘行像素对的颜色差值的方差;
所述第二计算模块,用于所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数;
所述视频播放模块,用于所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放。
进一步地,其中,所述第二计算模块,用于:
所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值;
计算在所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的平均值及标准方差;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的标准方差与平均值的比值得到该像素对的局部波动系数;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的局部波动系数得到所述边缘列像素对颜色差值的平均局部波动系数。
进一步地,其中,所述预定局部范围为7-18像素。
进一步地,其中,所述边缘行像素对颜色差值的方差阈值为小于或等于10;
所述边缘列像素对颜色差值的平均阈值为小于或等于20;
所述边缘列像素对颜色差值的局部波动系数阈值为大于等于0.2。
进一步地,其中,所述视频播放模块,用于:
所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放;
所述边缘列像素对的颜色差值的平均值大于所述边缘列像素对颜色差值的平均阈值,或所述边缘列像素对的颜色差值的局部波动系数小于所述局部波动系数阈值时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
与现有技术相比,本发明的自动识别并播放全景视频的方法及系统,实现了如下的有益效果:
(1)本发明所述的自动识别并播放全景视频的方法及系统,基于存储的全景视频画面宽高比为2:1的特性,判断不符合该特性的视频不是全景视频。再结合全景视频两侧视频画面贴合一体的相关性,计算两侧画面的颜色连续性以及像素的相关性进一步判断是否为全景视频,并自动进行判断到的全景视频播放,实现了全景视频的自动识别及自动播放,提升了用户使用体验。
(2)本发明所述的自动识别并播放全景视频的方法及系统,基于存储的全景视频画面宽高比为2:1的特性,判断不符合该特性的视频不是全景视频。再结合全景视频两侧视频画面贴合一体的相关性,计算两侧画面的颜色连续性以及像素的相关性进一步判断是否为全景视频,并自动进行判断到的全景视频播放,不单单通过全景视频画面宽高比为2:1的特性,还结合全景视频两侧画面贴合的相关性进行判断,提高了自动识别并播放全景视频的准确性,避免将普通平面视频识别为全景视频进行播放造成的画面失真现象。
当然,实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为本发明本实施例1中所述自动识别并播放全景视频的方法的流程示意图;
图2为本发明实施例1中所述全景视频以等效矩形形式存储的视频帧图像与球模型的映射示意图;
图3为本发明实施例2中所述的自动识别并播放全景视频的方法的流程示意图;
图4为本发明实施例2中所述的普通视频图像帧边缘列像素对差值与对应行数位置的示意图
图5为本发明实施例2中所述的全景视频图像帧边缘列像素对差值与对应行数位置的示意图;
图6为本发明实施例3中所述自动识别并播放全景视频的系统结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
实施例1
如图1所示,为本实施例中所述自动识别并播放全景视频的方法的流程示意图。在本实施例中,先基于视频的视频帧图像宽高比是否为2:1排除一部分非全景视频,再根据以等效矩形形式存储的全景视频上、下边缘行的像素对颜色值方差以及左、右边缘列的像素颜色相关性进一步判断是否为全景视频,达到了自动识别并播放全景视频的目的同时提高了识别全景视频的准确性。本实施例中所述的自动识别并播放全景视频的方法包括以下步骤:
步骤101、在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值。
目前没有全景视频特有的存储格式,只能通过等效矩形形式存储全景视频,再将存储的全景视频图像帧纹理贴图到球模型上实现全景的效果展现。在等效矩形映射的全景图像帧上,边缘像素行,即从上而下的第一行像素和最后一行像素分别由球模型的北极点和南极点映射而来,也就是说,第一行像素及最后一行像素的所有像素的颜色值应该相同。考虑到在全景视频制作过程中可能引入的随机误差,那第一行像素及最后一行像素的应该具有较小的方差值,因此,在播放器中预先设置好用于判断全景视频的边缘行像素颜色差值的方差阈值,有利于后续通过方差值的比较自动判断是否为全景视频。
全景视频以矩形图像帧进行存储,在矩形图像帧上从上而下的第一行像素及最后一行像素成为边缘行像素,而第一行中的像素与在该像素同列上最后一行所对应的像素称为边缘行像素对,边缘行像素对中两个像素的颜色差值为边缘行像素对颜色差值。在矩形图像帧上从左至右的第一列像素及最后一列像素成为边缘列像素,而第一列中的像素与在该像素同行上最后一列所对应的像素称为边缘列像素对,边缘列像素对中两个像素的颜色差值为边缘列像素对颜色差值。
再者,依据等效矩形映射原理可知,等效矩形映射的全景视频的图像帧的边缘列像素,即左边第一列像素与右边第一列像素应该是相邻的两列像素(在球模型上是缝合到一起的相邻两列像素),其像素的颜色值应该具有相关性,也就是说全景视频的边缘列像素的同行的左边第一列像素与右边第一列像素的颜色差值应该比较小。通过在播放器中预先设置边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值,用于判断视频边缘列像素对之间的相关性程度以增加全景视频判断的准确性。
步骤102、获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值。
如图2所述,为全景视频以等效矩形形式存储的视频帧图像与球模型的映射示意图。等效矩形形式存储的全景视频映射时将球形上的每一条经线201映射为图像帧上的每一列202,一条经线对应的弧度为π,所有经线同一高度的点构成一条纬线203,即映射到图像帧上的对应行204,而在球模型中,纬线203对应的弧度为2π。因此,采用等效矩形映射的全景视频的图像帧的宽高比为2:1。不符合图像帧的宽高比为2:1的肯定不是全景视频,通过本步骤的判定可以排除不符合全景视频的普通平面视频。
步骤103、所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并分别计算所述边缘行像素对的颜色差值的方差。
然而在普通平面视频中,也存在图像帧的宽高比为2:1的情况,因此,在本步骤中,利用全景视频中边缘行像素对分别由球模型的北极点和南极点映射而来,各个边缘行像素对的所有像素对的颜色值应该是相同的特点,再考虑到制作全景视频过程中的随机误差,设定边缘行像素对的颜色差值的方差与所述方差阈值比较判定是否为全景视频的步骤。
步骤104、所述边缘行像素对的颜色差值的方差均小于或等于所述方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数。
为了进一步提升判定全景视频的准确性,在本步骤中基于全景视频的视频图像帧边缘列由球模型中相邻经线像素映射而来,在像素颜色值上具有相关性的特性,设置计算所述边缘列像素的颜色差值的平均值及所述边缘列像素对的颜色差值的局部波动系数的步骤。
步骤105、所述边缘列像素对的颜色差值的平均值小于或等于所述平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放。
通过视频图像帧的宽高比值为2,边缘行像素对的颜色值及边缘列像素对的颜色值在预设的边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值范围内时,即可判断出该视频为全景视频,进而自动将所述视频图像帧映射到对应的球面进行全景视频播放。
本实施例基于全景视频图像帧映射贴合到球模型的特性,根据视频图像帧的宽高比值、边缘行像素对的颜色值及边缘列像素对的颜色值的相关性自动判定是否为全景视频,再根据全景视频的特征将全景视频生成映射的球模型进行播放,现实了全景视频的自动识别、播放的效果。
实施例2
如图3所示,为本实施例所述的自动识别并播放全景视频的方法的流程示意图。本实施例在实施例1的基础上,说明了通过边缘行像素对的颜色值及边缘列像素对的颜色值的相关性自动判定是否为全景视频,以及自动判别全景视频或者普票平面视频进行对应模式播放的具体内容。本实施例中所述的自动识别并播放全景视频的方法包括以下步骤:
步骤301、在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值。
优选地,所述边缘行像素对颜色差值的方差阈值为小于或等于10;
所述边缘列像素对颜色差值的平均阈值为小于或等于20;
所述边缘列像素对颜色差值的局部波动系数阈值为大于等于0.2。
步骤302、获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值。
步骤303、判断所述视频图像帧的宽高比值是否为2。
步骤304、所述视频图像帧的宽高比值不为2时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
当视频图像帧的宽高比值不为2时,即可判断该视频为普通平面视频,自动将其按照普通平面视频进行播放,保证了用户观看视频的连贯性,提升了用户使用体验。
步骤305、所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,计算所述边缘行像素对中每个同列像素对的颜色差值,再计算所述边缘行像素对中所有同列像素对的颜色差值的方差。
步骤306、判断所述边缘行像素对的颜色差值的方差是否小于或等于所述方差阈值。
步骤307、判断所述边缘行像素对的颜色差值的方差是否大于所述方差阈值时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
步骤308、所述边缘行像素对的颜色差值的方差小于或等于所述方差阈值时,计算所述边缘列像素对中每个同行像素对的颜色差值,再计算所述边缘列像素对中每个同行像素对的颜色差值的平均值。
优选地,所述边缘列像素对中每个同行像素对中颜色值(红色值、绿色值和蓝色值)的欧式距离作为所述边缘列像素对中每个同行像素对的颜色差值。
步骤309、计算在所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的平均值及标准方差,优选地,所述预定局部范围为7-18像素,更优选地,所述预定局部范围为9像素;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的标准方差与平均值的比值得到该像素对的局部波动系数。
步骤310、根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的局部波动系数得到所述边缘列像素对颜色差值的平均局部波动系数。
在本步骤中,为防止所选择像素点在所述边缘列像素中超出局部范围,计算所述边缘列像素对颜色差值的平均局部波动系数时,计算在所述边缘列像素对中除去两端预定局部范围后的所有像素对的颜色差值的局部波动系数的平均值作为所述边缘列像素对颜色差值的平均局部波动系数。
如图4和图5所示,分别为普通视频图像帧边缘列像素对差值与对应行数位置的示意图及全景视频图像帧边缘列像素对差值与对应行数位置的示意图。从图4和图5中可以看出,全景视频图像帧边缘列像素对差值在一个特定的范围内波动,但是普通平面视频的边缘列像素对差值波动无规律。因此,通过视频图像帧边缘列像素对差值的波动可以判断出是否为全景视频。
步骤311、判断所述边缘列像素对的颜色差值的平均值是否小于或等于所述平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述局部波动系数阈值。
步骤312、判断所述边缘列像素对的颜色差值的平均值是否大于所述平均阈值,或所述边缘列像素对的颜色差值的局部波动系数小于所述局部波动系数阈值时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
步骤313、所述边缘列像素对的颜色差值的平均值小于或等于所述平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面。
步骤314、检测所述播放器中预先设置的显示视窗在所述全景数据映射球面上的位置,并获取所述显示视窗在所述全景数据映射球面上对应的内容在所述显示视窗中显示。
在本实施例中,基于存储的全景视频画面宽高比值为2:1的特性,判断不符合该特性的视频不是全景视频。再结合全景视频两侧视频画面贴合一体的相关性,计算两侧画面的颜色连续性以及像素的相关性进一步判断是否为全景视频,并自动进行判断到的全景视频播放,不单单通过全景视频画面宽高比值为2:1的特性,还结合全景视频两侧画面贴合的相关性进行判断,提高了自动识别并播放全景视频的准确性,避免将普通平面视频识别为全景视频进行播放造成的画面失真现象。
实施例3
如图6所示,为本实施例所述自动识别并播放全景视频的系统结构示意图。本实施例所述的自动识别并播放全景视频的系统可以实施上述实施例中的自动识别并播放全景视频的方法。本实施例所述的自动识别并播放全景视频的系统包括:识别设置模块601、视频获取模块602、第一计算模块603、第二计算模块604及视频播放模块605;其中,
所述识别设置模块601,与所述第一计算模块603及所述第二计算模块604相藕接,用于在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值。
所述边缘行像素对颜色差值的方差阈值为小于或等于10;
所述边缘列像素对颜色差值的平均阈值为小于或等于20;
所述边缘列像素对颜色差值的局部波动系数阈值为大于等于0.2。
所述视频获取模块602与所述第一计算模块603相藕接,用于获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值;
所述第一计算模块603与所述识别设置模块601、所述视频获取模块602及所述第二计算模块604相藕接,用于所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并分别计算所述边缘行像素对的颜色差值的方差;
所述第二计算模块604与所述识别设置模块601、所述第一计算模块603及所述视频播放模块605相藕接,用于所述边缘行像素对的颜色差值的方差均小于或等于所述方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的局部波动系数;
所述视频播放模块605与所述第二计算模块604相藕接,用于所述边缘列像素对的颜色差值的平均值小于或等于所述平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放。
其中,所述第一计算模块603进一步用于:
所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,计算所述边缘行像素中每个同列像素对的颜色差值,再计算所述边缘行像素中所有同列像素对的颜色差值的方差。
所述第二计算模块604进一步用于:
所述边缘行像素对的颜色差值的方差小于或等于所述方差阈值时,计算所述边缘列像素中每个同行像素对的颜色差值,再计算所述边缘列像素中每个同行像素对的颜色差值的平均值;
计算在所述边缘列像素对中每个像素上下预定局部范围内像素对的颜色差值的平均值及标准方差,优选地,所述预定局部范围为7-18像素,更优选地,所述预定局部范围为9像素;
根据所述边缘列像素中每个像素对上下预定局部范围内像素对的颜色差值的标准方差与平均值的比值得到该像素对的局部波动系数;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的局部波动系数得到所述边缘列像素对颜色差值的平均局部波动系数。
所述视频播放模块605进一步用于:
所述边缘列像素对的颜色差值的平均值小于或等于所述平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面;
检测所述播放器中预先设置的显示视窗在所述全景数据映射球面上的位置,并获取所述显示视窗在所述全景数据映射球面上对应的内容在所述显示视窗中显示。
第一计算模块603还用于:所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并计算所述边缘行像素对的颜色差值的方差;
所述视频图像帧的宽高比值不为2时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
通过以上各个实施例可知,本发明的自动识别并播放全景视频的方法及系统,存在的有益效果是:
(1)本发明所述的自动识别并播放全景视频的方法及系统,基于存储的全景视频画面宽高比为2:1的特性,判断不符合该特性的视频不是全景视频。再结合全景视频两侧视频画面贴合一体的相关性,计算两侧画面的颜色连续性以及像素的相关性进一步判断是否为全景视频,并自动进行判断到的全景视频播放,实现了全景视频的自动识别及自动播放,提升了用户使用体验。
(2)本发明所述的自动识别并播放全景视频的方法及系统,基于存储的全景视频画面宽高比为2:1的特性,判断不符合该特性的视频不是全景视频。再结合全景视频两侧视频画面贴合一体的相关性,计算两侧画面的颜色连续性以及像素的相关性进一步判断是否为全景视频,并自动进行判断到的全景视频播放,不单单通过全景视频画面宽高比为2:1的特性,还结合全景视频两侧画面贴合的相关性进行判断,提高了自动识别并播放全景视频的准确性,避免将普通平面视频识别为全景视频进行播放造成的画面失真现象。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种自动识别并播放全景视频的方法,其特征在于,包括:
在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值;
获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值;
所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并分别计算所述边缘行像素对的颜色差值的方差;
所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数;
所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放。
2.根据权利要求1所述的自动识别并播放全景视频的方法,其特征在于,所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数,进一步为:
所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值;
计算在所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的平均值及标准方差;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的标准方差与平均值的比值得到该像素对的局部波动系数;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的局部波动系数得到所述边缘列像素对颜色差值的平均局部波动系数。
3.根据权利要求2所述的自动识别并播放全景视频的方法,其特征在于,所述预定局部范围为7-18像素。
4.根据权利要求1所述的自动识别并播放全景视频的方法,其特征在于,所述边缘行像素对颜色差值的方差阈值为10;
所述边缘列像素对颜色差值的平均阈值为20;
所述边缘列像素对颜色差值的局部波动系数阈值为0.2。
5.根据权利要求1所述的自动识别并播放全景视频的方法,其特征在于,所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放,进一步为:
所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放;
所述边缘列像素对的颜色差值的平均值大于所述边缘列像素对颜色差值的平均阈值,或所述边缘列像素对的颜色差值的局部波动系数小于所述局部波动系数阈值时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
6.一种自动识别并播放全景视频的系统,其特征在于,包括:识别设置模块、视频获取模块、第一计算模块、第二计算模块及视频播放模块;其中,
所述识别设置模块,用于在播放器中设置用于判断全景视频的边缘行像素对颜色差值的方差阈值、边缘列像素对颜色差值的平均阈值及边缘列像素对颜色差值的局部波动系数阈值;
所述视频获取模块,用于获取视频数据中的视频图像帧并计算所述视频图像帧的宽高比值;
所述第一计算模块,用于所述视频图像帧的宽高比值为2时,分别获取所述视频图像帧中边缘行像素对的颜色值和边缘列像素对的颜色值,并分别计算所述边缘行像素对的颜色差值的方差;
所述第二计算模块,用于所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值及所述边缘列像素对的颜色差值的平均局部波动系数;
所述视频播放模块,用于所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放。
7.根据权利要求6所述的自动识别并播放全景视频的系统,其特征在于,所述第二计算模块,进一步用于:
所述边缘行像素对的颜色差值的方差均小于或等于所述边缘行像素对的颜色差值的方差阈值时,计算所述边缘列像素对的颜色差值的平均值;
计算在所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的平均值及标准方差;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的标准方差与平均值的比值得到该像素对的局部波动系数;
根据所述边缘列像素对中每个像素对上下预定局部范围内像素对的颜色差值的局部波动系数得到所述边缘列像素对颜色差值的平均局部波动系数。
8.根据权利要求7所述的自动识别并播放全景视频的系统,其特征在于,所述预定局部范围为7-18像素。
9.根据权利要求6所述的自动识别并播放全景视频的系统,其特征在于,所述边缘行像素对颜色差值的方差阈值为10;
所述边缘列像素对颜色差值的平均阈值为20;
所述边缘列像素对颜色差值的局部波动系数阈值为0.2。
10.根据权利要求6所述的自动识别并播放全景视频的系统,其特征在于,所述视频播放模块,进一步用于:
所述边缘列像素对的颜色差值的平均值小于或等于所述边缘列像素对颜色差值的平均阈值,且所述边缘列像素对的颜色差值的局部波动系数大于等于所述边缘行像素对的颜色差值的局部波动系数阈值时,根据所述视频图像帧生成对应的映射球面进行播放;
所述边缘列像素对的颜色差值的平均值大于所述边缘列像素对颜色差值的平均阈值,或所述边缘列像素对的颜色差值的局部波动系数小于所述局部波动系数阈值时,将所述视频图像帧发送至所述播放器按照平面视频进行播放。
CN201610616738.XA 2016-07-29 2016-07-29 自动识别并播放全景视频的方法及系统 Active CN106162146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610616738.XA CN106162146B (zh) 2016-07-29 2016-07-29 自动识别并播放全景视频的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610616738.XA CN106162146B (zh) 2016-07-29 2016-07-29 自动识别并播放全景视频的方法及系统

Publications (2)

Publication Number Publication Date
CN106162146A CN106162146A (zh) 2016-11-23
CN106162146B true CN106162146B (zh) 2017-12-08

Family

ID=57328057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610616738.XA Active CN106162146B (zh) 2016-07-29 2016-07-29 自动识别并播放全景视频的方法及系统

Country Status (1)

Country Link
CN (1) CN106162146B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124108B (zh) * 2016-11-30 2020-03-27 央视国际网络无锡有限公司 一种球面全景图像/视频中像素均衡方法
CN106780595A (zh) * 2016-12-15 2017-05-31 歌尔科技有限公司 一种全景图片的识别方法和装置
CN106815598B (zh) * 2016-12-15 2020-09-11 歌尔科技有限公司 一种360度全景图片的识别方法和装置
CN106777114B (zh) * 2016-12-15 2023-05-19 北京奇艺世纪科技有限公司 一种视频分类方法及系统
CN106534974B (zh) * 2016-12-16 2019-04-26 暴风集团股份有限公司 自动识别立方体全景视频的方法及系统
CN106778762B (zh) * 2016-12-31 2020-06-05 歌尔科技有限公司 360度全景图片的特征向量提取方法、识别方法和相应装置
CN107027071B (zh) * 2017-03-14 2019-12-13 深圳市创达天盛智能科技有限公司 一种视频播放的方法和装置
CN106803994B (zh) * 2017-03-29 2019-07-26 暴风集团股份有限公司 识别四棱锥全景视频的方法及系统
CN106990932B (zh) * 2017-03-31 2021-06-29 奇酷互联网络科技(深圳)有限公司 图片显示方法和装置
CN108475432B (zh) * 2017-06-07 2021-12-28 深圳市柔宇科技股份有限公司 360度全景图像及360度全景视频的识别方法及电子装置
CN107330944B (zh) * 2017-06-27 2020-01-21 深圳市冠旭电子股份有限公司 一种全景图像的识别方法、装置、终端设备和存储介质
CN108040287A (zh) * 2017-12-18 2018-05-15 北京搜狐新媒体信息技术有限公司 一种全景视频的识别方法及装置
CN109743566B (zh) * 2018-12-21 2021-01-15 重庆爱奇艺智能科技有限公司 一种用于识别vr视频格式的方法与设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036903A (ja) * 1998-07-17 2000-02-02 Canon Inc パノラマ合成処理機能付きプリンタ
JP2007325002A (ja) * 2006-06-01 2007-12-13 Canon Inc 画像出力装置及び画像出力方法
CN101843093A (zh) * 2008-09-08 2010-09-22 索尼公司 图像处理设备和方法、图像捕捉设备、以及程序
JP2012099906A (ja) * 2010-10-29 2012-05-24 Jvc Kenwood Corp サムネイル表示装置
CN102710953A (zh) * 2012-05-08 2012-10-03 深圳Tcl新技术有限公司 自动识别3d视频播放模式的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036903A (ja) * 1998-07-17 2000-02-02 Canon Inc パノラマ合成処理機能付きプリンタ
JP2007325002A (ja) * 2006-06-01 2007-12-13 Canon Inc 画像出力装置及び画像出力方法
CN101843093A (zh) * 2008-09-08 2010-09-22 索尼公司 图像处理设备和方法、图像捕捉设备、以及程序
JP2012099906A (ja) * 2010-10-29 2012-05-24 Jvc Kenwood Corp サムネイル表示装置
CN102710953A (zh) * 2012-05-08 2012-10-03 深圳Tcl新技术有限公司 自动识别3d视频播放模式的方法和装置

Also Published As

Publication number Publication date
CN106162146A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN106162146B (zh) 自动识别并播放全景视频的方法及系统
US7075556B1 (en) Telestrator system
CN105141920B (zh) 一种360度全景视频拼接系统
CN104270562B (zh) 一种拍照对焦方法和拍照对焦装置
TWI332640B (en) Method capable of detecting a scoreboard in a program and related system
US8451265B2 (en) Virtual viewpoint animation
CN106534974B (zh) 自动识别立方体全景视频的方法及系统
CN104427318B (zh) 校正图像交叠区域的方法及设备
CN103593175B (zh) 对象定位的装置和方法
CN106534827B (zh) 基于用户视角播放全景视频的方法及系统
CN103455978B (zh) 用于增强视频图像的设备和方法
JP2009505553A (ja) ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法
WO2019080792A1 (zh) 全景视频图像的播放方法、装置、存储介质及电子装置
US11074759B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
CN104822069B (zh) 一种图像信息检测方法及装置
CN108616718A (zh) 监控显示方法、装置及系统
US20130251199A1 (en) System and method of estimating page position
CN108600858A (zh) 一种同步显示ar信息的视频播放方法
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
CN106803994B (zh) 识别四棱锥全景视频的方法及系统
US9286692B2 (en) System and method of book leaf tracking
CN108010058A (zh) 一种对视频流中目标对象进行视觉跟踪的方法及系统
CN107517510A (zh) 一种屏幕显示方法、装置和系统
CN108012160B (zh) 一种基于全景视频的台标插入方法
CN109788311B (zh) 人物替换方法、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20190705

Granted publication date: 20171208

PP01 Preservation of patent right