CN111819570A - 用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质 - Google Patents

用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质 Download PDF

Info

Publication number
CN111819570A
CN111819570A CN201980017368.XA CN201980017368A CN111819570A CN 111819570 A CN111819570 A CN 111819570A CN 201980017368 A CN201980017368 A CN 201980017368A CN 111819570 A CN111819570 A CN 111819570A
Authority
CN
China
Prior art keywords
video content
content item
spherical video
region
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980017368.XA
Other languages
English (en)
Inventor
菲利普·帕维蒂克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111819570A publication Critical patent/CN111819570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16Program or content traceability, e.g. by watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了用于分析球形视频内容的方法、系统和介质。更具体地,提供了用于检测滥用球形视频内容中放置在球体上的二维视频的方法、系统和介质。在一些实施例中,该方法包括:接收球形视频内容项的标识符,其中球形视频内容项具有多个视图;以及选择球形视频内容项的第一帧;使用由映射定义的投影来将球形视频内容项的第一帧投影到二维区域,第一帧的相邻点根据该映射而被映射到该区域的相应相邻点,并且该帧的一个或多个连续部分帧分别映射到该区域的对应的多个连续部分;识别该区域内满足标准的分区,该标准指示该区域具有大于包括特定类型的内容的阈值的可能性;响应于识别区域内满足标准的分区,使用视频指纹鉴定技术对区域的所识别的分区进行分析;响应于使用视频指纹鉴定技术确定与区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配的指示。

Description

用于检测滥用球形视频内容中被放置在球体上的二维视频的 方法、系统和介质
技术领域
所公开的主题涉及用于分析球形视频内容,并且在一些实施例中,通过使球体图块化(tile)来检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质。更具体地,所公开的主题涉及辨识球形视频内容中的内容与多个参考内容项中的一个之间的匹配。
背景技术
人们经常经由不同的视频服务提供商查看视频内容,例如,通过流传输来自服务提供商的内容。在许多情况下,将该视频内容与参考视频文件的数据库进行比较,以确定视频内容是否与参考视频文件中的一个匹配。例如,这有助于确定视频内容是否包括已经由另一内容创建者或实体拥有版权的内容。
沉浸式或360度球形视频内容已变得越来越流行,其中包括从多个视图记录的视频内容,这些内容可以由用户操纵和导航。然而,可能难以确定拥有版权的视频内容被叠加在球形视频内容上,被插入到球形视频内容中或与球形视频内容缝合在一起的情况。
因此,期望提供用于分析球形视频内容的方法、系统和介质。
发明内容
提供了新的且有用的方法、系统和介质来分析球形视频内容。
特别地,提供了用于检测球形视频内容和多个参考内容项之间的匹配的技术问题的方法、系统和介质。
在示例中,所述方法、系统和介质可用于通过使球体图块化来检测滥用球形视频内容中的放置在球体上的二维视频。在这种情况下,这些方法、系统和介质可用于检测潜在的拥有版权的内容。在另一示例中,方法、系统和介质可用于例如通过向与匹配参考项有关的球形视频内容分配标签来为球形视频内容建立索引。这允许自动索引过程。
根据所公开的主题的一些实施例,提供了一种用于分析球形视频内容的计算机实现的方法,该方法包括:接收球形视频内容项的标识符,其中球形视频内容项具有多个视图,其中,球形视频内容项被编码为多个二维视频帧;选择与球形视频内容项相关联的多个二维视频帧中的第一帧;将第一帧划分为多个图块,这些图块跨越球形视频内容项的第一帧;对于所述多个图块中的每个图块,计算图块包括特定类型的内容的概率(即,概率值);针对每个图块确定概率是否超过预定阈值;响应于对于特定图块确定概率超过预定阈值,从而使得使用视频指纹鉴定技术来分析与图块相关联的内容;响应于使用视频指纹鉴定技术确定与图块相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配指示。
在一些实施例中,特定类型的内容包括运动中的内容。
在一些实施例中,特定类型的内容包括面部。
在一些实施例中,特定类型的内容包括边缘,该边缘是面板的边框的一部分,其中视频内容项被插入到球形视频内容项中。
换句话说,特定类型的内容可以包括由下述组成的组中的任何一个或多个元素:运动中的内容;包括面部的内容;包括边缘的内容,该边缘是面板边界的一部分,其中视频内容项被插入到球形视频内容项中。
在一些实施例中,该方法还包括确定图块的大小。
在一些实施例中,该方法还包括在使与图块相关联的内容使用视频指纹鉴定技术而被分析之前,将与图块相关联的内容投影到二维平面上。
在一些实施例中,该方法还包括:响应于与图块相关联的内容与多个参考内容项中的参考内容项匹配,禁止呈现球形视频内容项。
在一些实施例中,该方法还包括:响应于确定对于特定图块的概率不超过预定阈值,通过禁止与特定图块相关联的内容使用视频指纹鉴定技术被分析来丢弃特定图块。
根据所公开的主题的一些实施例,提供了一种用于分析球形视频内容的系统,该系统包括:存储计算机可执行指令的存储器;以及硬件处理器,当执行存储在存储器中的计算机可执行指令时,该硬件处理器被配置为:接收球形视频内容项的标识符,其中球形视频内容项具有多个视图,并且其中球形视频内容项被编码成多个二维视频帧;选择与球形视频内容项相关联的多个二维视频帧中的第一帧;将第一帧划分为多个图块,这些图块跨越球形视频内容项的第一帧;对于所述多个图块中的每个图块,计算图块包括特定类型的内容的概率;针对每个图块确定概率是否超过预定阈值;响应于对于特定图块确定概率超过预定阈值,从而使得使用视频指纹鉴定技术来分析与图块相关联的内容;响应于使用视频指纹鉴定技术确定与图块相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配指示。
根据所公开的主题的一些实施例,一种计算机程序产品(例如,计算机可读介质,其可以是非暂时性计算机可读介质),其包含计算机可执行指令,当其由处理器执行时使处理器执行用于分析球形视频内容的方法,该方法包括:接收球形视频内容项的标识符,其中球形视频内容项具有多个视图,并且其中球形视频内容项被编码成多个二维视频帧;选择与球形视频内容项相关联的多个二维视频帧中的第一帧;将第一帧划分为多个图块,这些图块跨越球形视频内容项的第一帧;对于所述多个图块中的每个图块,计算图块包括特定类型的内容的概率;针对每个图块确定概率是否超过预定阈值;响应于对于特定图块确定概率超过预定阈值,从而使得使用视频指纹鉴定技术来分析与图块相关联的内容;响应于使用视频指纹鉴定技术确定与图块相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配的指示。
根据所公开的主题的一些实施例,提供了一种用于分析球形视频内容的系统,该系统包括:接收球形视频内容项的标识符的装置,其中球形视频内容项具有多个视图,并且其中球形视频内容项被编码成多个二维视频帧;选择与球形视频内容项相关联的多个二维视频帧中的第一帧的装置;将第一帧划分为多个图块的装置,这些图块跨越球形视频内容项的第一帧;对于所述多个图块中的每个图块,计算图块包括特定类型的内容的概率的装置;针对每个图块确定概率是否超过预定阈值的装置;响应于对于特定图块确定概率超过预定阈值,从而使得使用视频指纹鉴定技术来分析与图块相关联的内容的装置;响应于使用视频指纹鉴定技术确定与图块相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配指示的装置。
根据所公开的主题的一些实施例,提供了一种用于分析球形视频内容的方法,该方法包括:接收球形视频内容项的标识符,其中球形视频内容项具有多个视图;以及选择球形视频内容项的第一帧;使用由映射定义的投影将球形视频内容项的第一帧投影到二维区域(region),第一帧的相邻点根据该映射而被映射到该区域的相应相邻点,以及该帧的一个或多个连续部分帧各自映射到该区域的对应的多个连续部分;识别该区域内满足标准的分区(area),该标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;响应于识别区域内满足标准的分区,使用视频指纹鉴定技术对区域的所识别的分区进行分析;响应于使用视频指纹鉴定技术确定与区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配的指示。
在一些实施例中,将帧的两个或更多个间隔开的连续部分各自映射到该区域的两个对应部分。
在一些实施例中,二维区域被第一和第二横轴跨越,并且其中帧的第一连续部分被映射到该区域的相对于第一轴具有不同位置的两个部分。帧的第二连续部分被映射到区域的相对于第二轴具有不同位置的两个部分。
在一些实施例中,该方法还包括基于纬度和经度针对帧定义坐标系,其中,经度对应于第一轴,纬度对应于第二轴。
在一些实施例中,球体的第一连续部分包括根据坐标系的极点。
在一些实施例中,该方法还包括:响应于使用视频指纹鉴定技术确定与所修改的等距矩形投影的所识别分区相关联的内容与参考内容项匹配,阻止球形视频内容项呈现在用户设备上。
在一些实施例中,基于应用于投影的对象辨识技术,识别满足指示区域具有大于包括特定类型的内容的阈值的可能性的标准的区域。
在一些实施例中,包括在区域内的所识别的分区中的内容的特定类型是二维视频内容项。
在一些实施例中,多个参考内容项是多个拥有版权的媒体内容项。
在一些实施例中,该方法还包括使用音频指纹鉴定技术来分析与球形视频内容项相关联的音频内容。
根据所公开的主题的一些实施例,提供了一种用于分析球形视频内容的系统,该系统包括:存储计算机可执行指令的存储器;以及硬件处理器,当执行存储在存储器中的计算机可执行指令时,被配置为接收球形视频内容项的标识符,其中球形视频内容项具有多个视图;以及选择球形视频内容项的第一帧;使用由映射定义的投影将球形视频内容项的第一帧投影到二维区域,第一帧的相邻点根据该映射而被映射到该区域的相应相邻点,以及该帧的一个或多个连续部分帧各自映射到该区域的对应的多个连续部分;识别该区域内满足标准的分区,该标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;响应于识别区域内满足标准的分区,使用视频指纹鉴定技术对区域的所识别的分区进行分析;响应于使用视频指纹鉴定技术确定与区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配的指示。
根据所公开的主题的一些实施例,提供了一种计算机程序产品(例如,计算机可读介质,其可以是非暂时性计算机可读介质),其包含计算机可执行指令,当其由处理器执行时使处理器执行用于分析球形视频内容的方法,该方法包括:接收球形视频内容项的标识符,其中球形视频内容项具有多个视图;以及选择球形视频内容项的第一帧;使用由映射定义的投影将球形视频内容项的第一帧投影到二维区域,第一帧的相邻点根据该映射而被映射到该区域的相应相邻点,以及该帧的一个或多个连续部分帧各自映射到该区域的对应的多个连续部分;识别该区域内满足标准的分区,该标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;响应于识别区域内满足标准的分区,使用视频指纹鉴定技术对区域的所识别的分区进行分析;响应于使用视频指纹鉴定技术确定与区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配的指示。
根据所公开的主题的一些实施例,提供了一种用于分析球形视频内容的系统,该系统包括:接收球形视频内容项的标识符的装置,其中球形视频内容项具有多个视图;选择球形视频内容项的第一帧的装置;使用由映射定义的投影将球形视频内容项的第一帧投影到二维区域的装置,第一帧的相邻点根据该映射而被映射到该区域的相应相邻点,以及该帧的一个或多个连续部分帧各自映射到该区域的对应的多个连续部分;识别该区域内满足标准的分区的装置,该标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;响应于识别区域内满足标准的分区,使用视频指纹鉴定技术对区域的所识别的分区进行分析的装置;响应于使用视频指纹鉴定技术确定与区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与球形视频内容项的标识符相关联的匹配的指示的装置。
所公开的主题的实施例可以具有以下的技术效果:在基本上无需人工参与(即,自动)的情况下就可以可靠地识别出球形视频内容和参考内容项之间的匹配,或者至少可以识别出候选匹配以便通过另一种技术(诸如人工操作员)进行后续评估。
附图说明
当结合以下附图考虑时,参考对所公开主题的以下详细描述,可以更充分地理解所公开主题的各种目的、特征和优点,其中,相同的附图标记表示相同的元件。
图1A、1B、1C和1D示出了根据所公开的主题的一些实施例的用于检测球形视频内容中的潜在拥有版权的内容的示意图的说明性示例。
图2示出了根据所公开的主题的一些实施例的适用于实现本文所述的用于检测球形视频内容中的潜在拥有版权的内容的机制的说明性系统的示意图。
图3示出了根据所公开的主题的一些实施例的可以在图2的服务器和/或用户设备中使用的硬件的详细示例。
图4示出了根据所公开主题的一些实施例的用于检测球形视频内容中的潜在拥有版权的内容的过程的说明性示例。
图5示出了根据所公开的主题的一些实施例的用于检测球形视频内容项的区域的过程的说明性示例,该球形视频内容项的区域满足指示该区域具有大于包括嵌入视频的阈值的可能性的标准。
图6示出了根据所公开的主题的一些实施例的用于使用等距矩形投影(equirectangular projection)来投影球形视频的示意图的说明性示例。
具体实施方式
根据各种实施例,提供了用于通过使球体图块化来检测滥用球形视频内容中放置在球体上的二维视频的机制(其可以包括方法、系统和介质)。
在一些实施例中,本文描述的机制可以用于检测叠加在球形视频内容上和/或与球形视频内容缝合在一起的特定类型的视频内容。例如,在一些实施例中,该机制可以用于检测已经叠加在球形视频内容上或插入到球形视频内容中的潜在拥有版权视频内容或潜在拥有版权音频内容。应当注意,例如通过将内容项的一部分与参考内容项的数据库中的参考内容项进行匹配,已经使用了各种指纹鉴定(fingerprinting)技术来识别拥有版权的内容。但是,这些指纹鉴定技术有时无法识别已插入到球形视频内容项中的拥有版权的视频内容。特别是,在某些情况下,拥有版权的视频内容可能插入到球形视频内容的非默认观看位置,这可能会使这些指纹鉴定技术难以识别已插入拥有版权的视频内容所在的球形视频内容的位置。另外,在将球形视频内容编码为二维内容的情况下,拥有版权的视频内容可能会失真,这也可能使视频指纹鉴定技术难以将内容与未失真的参考内容项进行匹配。
在一些实施例中,在将一种或多种指纹鉴定技术应用于经处理的球形视频内容项以检测和识别特定视频内容项——例如潜在拥有版权的视频内容项——之前,本文所述的机制可以处理球形视频内容项(如本文中更详细地描述)。例如,本文所述的机制可以在应用一种或多种将内容与一个或多个二维参考文件进行比较的指纹鉴定技术之前,对球形视频内容项进行处理,以确定球形视频内容项是否很可能在非默认视口中包含完整电影。
注意,如本文所述,球形视频内容是指使用任何合适数量的相机(例如,一个、两个、五个和/或任何其他合适数量)从多个视图(例如同时地)记录的视频内容,其将缝合在一起以形成跨围绕轴的任何合适的空间范围(例如180度、270度、360度和/或任何其他合适的空间范围)的图像。更具体地,在一些实施例中,可以由一个或多个视频捕获设备同时记录沿不同方向的同一场景的多个视图,并且可以将所得到的视频内容缝合在一起以允许用户改变球形视频内容的视点。例如,在一些实施例中,用户可以通过使用用户输入设备(例如,当使用触敏显示器时)点击和/或拖动球形视频内容、改变用户的凝视点(例如,当使用与呈现球形视频内容的用户设备相关联的注视跟踪设备时)、和/或以任何其他合适的方式操纵球形视频内容,从而使球形视频内容的视点相应地旋转来操纵球形视频内容的视点。另外,如本文所述,球形视频内容项的视口(viewport)可被描述为由观看者观看的球形视频内容项的一部分,该观看者位于在特定方向上看由球形视频内容项表示的球体的中心。
在一些实施例中,本文描述的机制可以将球形视频内容的帧划分为多个图块,并且可以确定每个图块是否可能包括待进一步分析的内容(例如,使用指纹鉴定技术进行分析以确定内容是否与拥有版权的内容相对应,和/或以任何其他合适的方式进一步分析)。在一些实施例中,本文描述的机制可以针对每个图块计算图块包含待进一步分析的内容的概率,并且如果该概率不超过预定阈值,则可以丢弃该图块。替代地,在图块的概率确实超过预定阈值的情况下,然后可以例如使用一种或多种指纹鉴定技术(例如,视频指纹鉴定、音频指纹鉴定和/或其任何合适组合)来进一步分析图块的内容以识别包括叠加和/或插入到球形视频内容中的特定视频内容项的球形视频内容项。
在一些实施例中,图块的概率可以指示与图块相对应的内容包括运动的可能性、图块的内容包括特定类型的对象(例如,面部、徽标、文本和/或任何其他合适类型的对象)的可能性、图块的内容包括边界、边缘和/或任何其他合适的视觉特征的可能性和/或任何其他合适信息。
在一些实施例中,可以用适当的指示来标记包括超过预定阈值的一个或多个图块的球形视频内容项。例如,在一些实施例中,可以与球形视频内容项的标识符一起存储指示,其指示在其中找到了与参考数据库中的内容匹配的内容的帧号,匹配的参考内容项的标识符以及/或任何其他合适的信息。在一些这样的实施例中,可以例如通过将标记的球形视频内容项的标识符放置在要手动查看的内容项的队列中来标记球形视频内容项以用于手动查看。替代地,可以禁止或改变球形视频内容项的呈现——例如,通过用消息界面替换球形视频内容项,通过扭曲视频或音频内容,通过不允许用户在球形视频内容项的三维空间内导航等——来禁止或更改球形视频内容项的呈现。
在一些实施例中,本文描述的机制可以识别球形视频内容项目的帧的可能包含嵌入的视频项的一部分。在一些实施例中,这些机制然后可以例如通过对帧的该部分执行指纹分析以识别嵌入的视频项,来对球形视频内容项的帧的识别部分进行进一步的分析。
在一些实施例中,这些机制可以使用任何适当的技术来识别球形视频内容项的帧的一部分。例如,在一些实施例中,该机制可以使用诸如修改的等距矩形投影的投影来投影球形视频内容项的帧,该投影扩展球形图像并将扩展的球形图像通过赤道并围绕球体的极点包裹(wrap),从而允许在修改的等距矩形投影中识别沿球体任何位置(即包括等距矩形投影的边缘和/或极点)嵌入的视频项。
在另一示例中,所述机制可以选择球形视频内容项的帧,并且可以使用由映射定义的投影来将球形视频内容项的帧投影到二维区域,帧的相邻点根据该映射而被映射到该区域的相应相邻点,并且帧的一个或多个连续部分各自被映射到该区域的对应的多个连续部分。继续该示例,可以将帧的两个或更多个间隔开的连续部分各自映射到该区域的两个相应部分。应当注意的是,二维区域可以被第一和第二横轴跨越,其中,帧的第一连续部分可以被映射到该区域的相对于第一轴具有不同位置的两个部分,帧的第二连续部分可以映射到该区域的相对于第二轴具有不同位置的两个部分。在一些实施例中,机制可以基于纬度和经度来定义帧的坐标系,其中,经度对应于第一轴,纬度对应于第二轴,并且其中根据坐标系球体的第一连续部分包括极点。
下面结合图5和图6示出并描述了用于识别球形视频内容项的帧的一部分的更详细的技术,其可能包括嵌入的视频项(例如,识别满足大于指示区域具有包括嵌入的视频内容项的阈值的可能性的标准的所选择的帧的二维投影区域内的分区)。
应注意,可以在任何合适的时间执行此机制。例如,可以响应于将球形视频内容项上传到内容数据库的请求来执行这些机制。在更特定的示例中,该机制可以用于执行指纹分析,以在上传时(例如,与离线处理相反)识别球形视频内容项内的嵌入的视频项。在另一个更具体的示例中,该机制可以确定是使用(i)在上传时执行指纹分析以识别球形视频内容项中的嵌入的视频项的第一机制,还是使用(ii)将球形视频内容的一个帧划分成多个图块,并确定每个图块是否可能包含要进一步分析的内容的第二机制。
本文结合图1A至图6描述了用于分析球形视频内容的这些和其他特征。
返回图1A,根据所公开的主题的一些实施例,示出了球形视频内容项的帧的示意图的说明性示例。如图1A所示,球形视频内容项100的帧可以包括已经从任意合适数量的相机(一个、两个、五个和/或任何其他合适数量)的多个视点记录并且已经缝合在一起以创建可以浏览的内容项的视频内容。例如,在一些实施例中,球形视频内容项100可以被呈现给用户,就如用户位于表示球形视频内容项100的球体的中心并且正在通过视口观看球形视频内容项100一样,并且用户可以通过围绕视口旋转球形视频内容项100来操纵视点。在一些这样的实施例中,可以经由诸如鼠标点击或拖动的任何合适的用户输入、来自与用户设备相关联的触摸屏的输入和/或任何其他合适的用户输入来接收对视点的操纵。
在一些实施例中,球形视频内容项目100可以被划分成多个图块,诸如图1A中所示的图块102。在一些实施例中,图块102可以具有任何合适的大小。例如,在一些实施例中,如果表示球形视频内容100的球体中心处的观看者正在看图块102,则图块102可以对应于视口的大小,如下面结合图4所述。另外或替代地,在一些实施例中,图块102可小于或大于视口的大小。
在更特定的示例中,图1B示出了球体的说明性示例,该球体表示可以在其上呈现球形视频内容项100的表面,其中球体的表面已经被划分为多个图块。应当注意,球形视频内容项目100可以被划分为任何适当大小(例如,与视口的大小相对应的大小、默认大小等)的图块。例如,球形视频内容项目100可以被划分成具有不同大小的图块,其中特定的图块组被配置为特定大小,而另一特定的图块组被配置为不同大小。还应该注意的是,尽管图1B大体示出了球形视频内容项100被划分为具有矩形形状的图块,这仅是示例性的,并且球形视频内容项100可被划分为任何合适形状的图块。
在一些实施例中,返回参考图1A,可以分析图块102(或任何其他图块)的内容,例如,以确定该内容是否是特定视频内容项(例如,拥有版权的视频内容项和/或任何其他合适的视频内容项)的一部分)。结合图4进一步描述了用于分析图块102的内容的更具体的技术。在一些实施例中,可以以任何合适的方式来操纵图块102,以执行对图块102的内容的分析。如图1C中所示,可以修改图块102的形状以创建修改的图块152。作为更特定的示例,如图1A和1C所示,可以将来自球形视频内容100的图块102投影到二维平面上以形成矩形的修改的图块,如结合图4更详细地描述的。
返回图2,示出了根据所公开的主题的一些实施例可以使用的用于分析球形视频内容的硬件的示例200。如图所示,硬件200可以包括一个或多个服务器,例如服务器202,通信网络204,和/或一个或多个用户设备206,例如用户设备208和210。
在一些实施例中,服务器202可以是用于存储视频内容、分析视频内容、将视频内容发送到用户设备206和/或执行任何其他合适功能的任何合适服务器。在一些实施例中,视频内容可以包括球形视频内容,球形视频内容可以包括从多个视图记录并缝合在一起以形成跨越任何合适的空间范围(例如,270度,360度和/或任何其他空间)的视频内容的视频内容,其可以进行浏览和/或操纵(例如,通过用户输入)。在一些这样的实施例中,服务器202可执行用于分析球形视频内容的任何合适的功能。例如,如结合图4所示和以下所述,在一些实施例中,服务器202可以将球形视频内容划分为组成球形视频内容的多个图块,并且可以分析图块以确定球形视频内容是否包括特定的视频内容项。在一些实施例中,服务器202可以被省略,使得图4的方法例如代替地在用户设备206上被执行。
在一些实施例中,通信网络204可以是一个或多个有线和/或无线网络的任何合适的组合。例如,通信网络206可以包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网(VPN)和/或任何其他合适的通信网络中的任何一个或多个。用户设备206可以通过一个或多个通信链路212连接到通信网络204,该通信网络204可以通过一个或多个通信链路(例如,通信链路216)链接到服务器202。通信链路212和/或214可以是适用于在用户设备206和服务器202之间传递数据的任何通信链接,例如网络链接、拨号链接、无线链接、硬连线链接、任何其他合适的通信链接或这些链接的任何合适组合。
在一些实施例中,用户设备206可包括适合于请求视频内容、观看视频内容、改变视频内容的视图和/或任何其他合适功能的一个或多个计算设备。例如,在一些实施例中,用户设备206可以被实现为移动设备,诸如智能电话、移动电话、平板计算机、膝上型计算机、载具(例如,汽车、船、飞机或任何其他合适的载具)娱乐系统、便携式媒体播放器和/或任何其他合适的移动设备。作为另一示例,在一些实施例中,用户设备206可以被实现为非移动设备,例如台式计算机、机顶盒、电视、流媒体播放器、游戏控制台和/或任何其他合适的非移动设备。
尽管服务器202被示为单个设备,但是在一些实施例中,可以使用任何适当数量的设备来执行服务器202执行的功能。例如,在一些实施例中,服务器202执行的功能可以在单个服务器上执行。作为另一示例,在一些实施例中,可以使用多个设备来实现服务器202执行的功能。
尽管在图2中示出了两个用户设备208和210,但是在一些实施例中,可以使用任何合适数量的用户设备和/或任何合适类型的用户设备。
在一些实施例中,服务器202和用户设备206可以使用任何合适的硬件来实现。例如,在一些实施例中,可以使用任何合适的通用计算机或专用计算机来实现设备202和206。例如,可以使用专用计算机来实现服务器。任何这样的通用计算机或专用计算机可以包括任何适当的硬件。例如,如在图3的示例硬件300中所图示的,这样的硬件可以包括硬件处理器302、存储器和/或存储304、输入设备控制器306、输入设备308、显示/音频驱动器310、显示和音频输出电路312、通信接口314、天线316和总线318。
在一些实施例中,硬件处理器302可以包括任何合适的硬件处理器,例如微处理器、微控制器、数字信号处理器、专用逻辑和/或用于控制通用计算机或专用计算机的功能的任何其他合适的电路。在一些实施例中,硬件处理器302可以由存储在服务器(例如,服务器202)的存储器和/或存储304中的服务器程序控制。例如,服务器程序可以使硬件处理器302分析存储在服务器202上的视频内容,将视频内容发送到用户设备206,和/或执行任何其他合适的动作。在一些实施例中,硬件处理器302可以由存储在用户设备206的存储器和/或存储304中的计算机程序控制。例如,计算机程序可以使硬件处理器302呈现视频内容,改变视频内容的视图和/或执行任何其他适当的操作。
在一些实施例中,存储器和/或存储304可以是用于存储程序、数据、媒体内容、广告和/或任何其他适当的信息的任何适当的存储器和/或存储。例如,存储器和/或存储304可以包括随机存取存储器、只读存储器、闪存、硬盘存储器、光学媒体和/或任何其他合适的存储器。
在一些实施例中,输入设备控制器306可以是用于控制和接收来自一个或多个输入设备308的输入的任何合适的电路。例如,输入设备控制器306可以是用于接收来自触摸屏、键盘、鼠标、一个或多个按钮、语音识别电路、麦克风、相机、光学传感器、加速度计、温度传感器、近场传感器和/或任何其他类型的输入设备的输入的电路。
在一些实施例中,显示/音频驱动器310可以是用于控制和驱动到一个或多个显示/音频输出设备312的输出的任何合适的电路。例如,显示/音频驱动器310可以是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个扬声器或多个扬声器和/或任何其他合适的显示和/或呈现设备的电路。
通信接口314可以是用于与诸如图2所示的网络204的一个或多个通信网络对接的任何合适的电路。例如,一个或多个接口314可以包括网络接口卡电路、无线通信电路和/或任何其他合适类型的通信网络电路。
在一些实施例中,天线316可以是用于与通信网络(例如,通信网络204)无线通信的任何合适的一个或多个天线。在一些实施例中,可以省略天线316。
在一些实施例中,总线318可以是用于在两个或更多个组件302、304、306、310和314之间进行通信的任何合适的机制。
根据一些实施例,任何其他合适的组件可以被包括在硬件300中。
返回图4,示出了根据所公开主题的一些实施例的用于分析球形视频内容的过程的示例400。在一些实施例中,过程400的框可以在服务器202上实现。
过程400可以通过在402处接收到球形视频内容项的指示而开始。在一些实施例中,可以以任何合适的方式来接收指示。例如,在一些实施例中,过程400可以检测到球形视频内容项已经由内容创建者上传到服务器202(例如,使用用于上传视频内容项的接口、使用用于上传可以包括球形视频内容项的多个视频内容项的应用程序编程接口等)。作为另一示例,在一些实施例中,过程400可以使用框404-414中描述的技术来处理包括球形视频内容项的一组球形视频内容项。
如上所述,球形视频内容项可以是任何合适类型的视频内容,包括从任何合适数量的相机记录的多个视图,这些视图被缝合在一起以形成可以在视点中操纵并由用户浏览的视频内容项。在一些实施例中,球形视频内容项可以包括具有跨多个帧复制的多个视图的静止图像。注意,在一些实施例中,球形视频内容项可以被编码为二维视频,例如,作为球形视频内容在矩形平面上的投影。
过程400可以在404处识别球形视频内容项的帧。在一些实施例中,过程400可以以任何合适的方式识别帧。例如,在一些实施例中,过程400可以以球形视频内容项的第一帧开始。作为另一示例,在一些实施例中,过程400可以从球形视频内容项的中间部分选择帧。
在406处,过程400可以将球形视频内容项的帧划分为跨越帧的多个图块。应当注意,每个图块的大小可以是任何合适的大小。例如,在一些实施例中,图块的大小可以对应于与位于观看该图块的球形视频内容项的中心的观看者的视点相对应的视口的大小。替代地,在一些实施例中,图块的大小可以小于或大于视口的大小。注意,在一些实施例中,多个图块可以具有不同的大小(例如,帧中央的图块集的大小大于帧外围上的图块集的大小)。
应注意,球形视频内容项的可见透视可以表示为球体的一部分。例如,过程400可以将球形视频内容项的球形表示划分为多个图块,类似于图1B所示的划分,其中球形图像被映射到球形图像的二维表示。映射可以包括基于球形投影将球形视频或图像的帧映射到二维表示。这些图块可以例如使球体的表面图块化。
在一些实施例中,过程400可以基于任何合适的信息来确定图块的大小。例如,在一些实施例中,可以基于特定大小的图块在识别特定类型的内容中的有效性,通过实验确定大小并且可以随着时间对其进行修改。作为更特定的示例,在一些实施例中,过程400可以使用对检测特定类型的内容有效的最大大小的图块(并且因此使用最少的计算时间来分析球形视频内容项)。作为另一示例,在一些实施例中,过程400可以在球形视频内容项的被确定具有很多颜色变化的区域中使用较小的块,并且在球形视频内容项的被确定为具有较少颜色变化的区域使用较大的块。作为又一个示例,在一些实施例中,可以基于任何其他合适的信息(诸如与球形视频内容项相关联的内容的类型、球形视频内容项的创建者的身份和/或任何其他合适的信息)来确定图块的大小。
在408处,过程400可以针对球形视频内容项目的帧的每个图块确定该图块包含待进一步分析的内容的概率(即,概率值)。例如,在一些实施例中,概率可以指示图块包含运动中的内容的概率,图块包含作为面板(其中呈现特定的视频内容项)的一部分的边界或边缘的概率(例如,矩形面板、正方形面板和/或任何其他合适形状的面板)和/或任何其他合适概率。
过程400可以使用任何合适的技术或技术组合来计算概率。例如,在一些实施例中,过程400可以计算图块的内容包括运动的概率。在一些这样的实施例中,过程400可以通过比较包括图块的两个或更多个帧来确定图块的内容包括运动的概率。在一些实施例中,过程400可以使用任何合适的算法或技术来估计运动。例如,在一些实施例中,过程400可以使用基于像素的方法(例如,光流、相位相关性和/或任何其他合适的技术或技术组合)来估计运动。作为另一示例,在一些实施例中,过程400可以使用基于特征的方法来估计运动。作为更具体的示例,在一些这样的实施例中,过程400可以识别出图块中存在的一个或多个特征(例如,边缘、拐角、边界、特定形状和/或任何其他合适的特征)并且可以比较跨多个帧(包括图块)的相应特征。
作为另一示例,在一些实施例中,过程400可以计算图块包括边界和/或边缘的概率。作为更特定的示例,在一些实施例中,边界和/或边缘可以对应于包含特定视频内容项(例如,拥有版权的视频内容项)的呈现的视频窗口的边界。如图1D的具体示例所示,过程400可以确定图块162是否包括其中正在呈现视频内容项的视频窗口的边界164,其中视频窗口被叠加在球形视频内容项上。
注意,在一些实施例中,过程400可以识别视频窗口或面板的边界,其中以任何其他合适的方式在球形视频内容项内呈现视频内容项。例如,在一些实施例中,过程400可以计算出任何合适大小的窗口(例如,以像素、英寸、和/或以任何其他合适的度量)包含边缘或边界的概率,并且可以通过在投影在二维平面上的球形视频内容项的空间范围上滑动窗口来计算或球形视频内容项的概率矩阵和/或热映射。概率矩阵或热映射的更特定的示例可以包括:[0.0001,0.0002,...0.0123;0.0001,0.8,...0.7;...],从而表示此特定帧在与矩阵第二行相对应的位置具有边框或边缘的概率相对较高。在一些这样的实施例中,过程400可以对跨多个帧的所计算的概率求平均。然后,过程400可以识别球形视频内容项内的最有可能包含边界或边缘的空间位置(例如,基于概率,基于平均概率和/或以任何其他合适的方式)。
作为又一个示例,在一些实施例中,过程400可以计算图块的内容表示特定类型的对象——诸如面部、动物、徽标、特定演员、文本和/或任何其他合适类型的对象——的概率。在一些这样的实施例中,过程400可以使用任何合适类型的图像辨识技术来识别图块内的特定类型的对象。
在一些实施例中,除了和/或代替上述技术,可以使用任何合适类型的分类器或其他机器学习技术。例如,在一些实施例中,过程400可以使用分类器(例如,支持向量机、逻辑回归、感知器和/或任何其他合适类型的分类器)来计算图块包含待进一步分析的内容的概率。作为更具体的示例,分类器可以用于计算图块和/或窗口包含与其中呈现拥有版权的视频内容的视频播放器面板相对应的边界的可能性,图块和/或窗口包含特定类型的对象(例如,面部、徽标和/或任何其他合适的类型的对象)的可能性和/或任何其他合适的分类。在一些这样的实施例中,过程400可以使用与分类器相关联的权重和/或因子,所述权重和/或因子基于由来自其他球形视频内容项的图块组成的任何合适的训练数据集而确定。
注意,在一些实施例中,过程400可以针对每个图块计算图块包括待使用信息的组合进一步被分析的内容的概率。例如,在一些实施例中,该概率可以表示图块包括运动中的内容的第一概率和图块包括特定类型的对象(例如,面部和/或任何其他合适类型的对象)的第二概率的组合。在一些这样的实施例中,可以以诸如加权平均值的任何合适的方式来组合多个信息源。
在410处,过程400可以确定概率是否超过预定阈值。在一些实施例中,阈值可以是任何合适的值(例如,50%、70%、90%和/或任何其他合适的值)。在一些实施例中,过程400可以基于任何合适的信息来设置阈值。例如,在一些实施例中,过程400可以基于针对已经被分析的所有图块的概率值的分布来设置阈值。作为更特定的示例,在一些实施例中,过程400可以设置阈值,以使得少于预定数量的图块(例如,少于50、少于十和/或任何其他合适数量)超过阈值和/或使得少于图块总数的预定分数(例如,小于10%、小于20%和/或任何其他合适的分数)超过阈值。作为另一示例,在一些实施例中,过程400可以基于图块的大小来设置阈值。作为更具体的示例,在图块的大小对应于球形视频内容项的相对较小部分的情况下,相对于图块的大小是球形视频内容项的更大部分的情况而言过程400可以将阈值设置为更高。在一些实施例中,过程400可以例如基于性能随时间修改阈值。作为更具体的示例,在过程400确定特定阈值已经允许应当被标记的图块不被标记的情况下,过程400可以将阈值调整为较低的数字。作为另一个更具体的示例,在过程400确定特定阈值已标记了大于预定数量或大于预定比例的图块的情况下,这些图块随后被手动确定为不应该被标记的图块,过程400可以将阈值调整为更大的数字。
如果在410处确定概率不超过阈值(在410处为“否”),则过程400可以进行到框412,并且可以丢弃图块。在以这种方式分析在框406处识别的任何合适数量的图块(例如,所有图块、图块的合适子集和/或任何其他合适数量)之后,过程400可以循环回到框404并可以识别球形视频内容项的另一帧。例如,在一些实施例中,过程400可以识别球形视频内容项的下一帧。作为另一示例,在一些实施例中,过程400可以跳过预定数量的帧(例如,五个帧、十个帧、二十个帧和/或任何其他合适的数量)以识别球形视频内容项的不同帧。
如果在410处确定概率确实超过阈值(在410处为“是”),则过程400可以进行到框414,并且可以进一步分析图块的内容。例如,在一些实施例中,过程400可以执行任何适当的指纹鉴定技术(例如,视频指纹、音频指纹和/或任何其他适当类型的指纹分析)以确定图块的内容是否与参考内容项匹配。作为更具体的示例,在一些实施例中,过程400可以使用指纹鉴定技术来确定图块的内容是否与参考内容项目的数据库(例如,拥有版权的视频,拥有版权的音轨和/或任何其他合适的内容项的数据库)内的任何内容项匹配。在一些实施例中,过程400可以结合音频指纹鉴定技术和视频指纹鉴定技术。另外,在过程400利用音频指纹鉴定技术的情况下,过程400可以确定图块的音频内容是否与以修改的速度(例如,加速、减速和/或任何合适的因素修改速度)播放的参考音频内容项匹配。
在一些实施例中,过程400可以在分析图块的内容之前执行任何适当的处理。例如,在一些实施例中,过程400可以确定将仅分析图块的空间区域的子集。在一些这样的实施例中,过程400可以将空间区域的所选择的子集在特定视口内居中,将空间区域的所选择的子集投影在矩形平面上以最小化空间区域的所选择的子集的视觉失真,和/或执行任何其他合适的处理。
注意,在一些实施例中,如果确定图块的内容与参考内容相匹配,则可以以任何合适的方式对图块和/或球形视频内容项本身进行标记和/或标注。例如,在一些实施例中,过程400可以标记球形视频内容项的标识符,从而使球形视频内容项被标记为手动查看以确定球形视频内容项是否包含特定的视频内容项(例如,特定拥有版权的视频内容项和/或任何其他合适类型的内容)。在一些这样的实施例中,过程400的输出可以包括任何其他合适的信息,例如与标记的图块相对应的帧号,与标记的图块的内容产生匹配的参考内容项的标识符,和/或任何其他合适的信息。
在一些实施例中,过程400可以禁止或阻止球形视频内容项被呈现给其他观看者,因为它可能包含拥有版权的视频内容项。例如,过程400可以使警告消息或删除消息被呈现来代替球形视频内容项。在另一示例中,过程400可以修改球形视频内容项(例如,防止移动到特定视点,改变与球形视频内容项相关联的视频和/或音频内容等)。
过程400然后可循环回到框404,并识别球形视频内容项的不同帧,如上所述。
注意,在一些实施例中,过程400可以在分析球形视频内容项的所有帧之前终止。例如,在一些实施例中,过程400可以确定是否满足特定的停止标准,并且如果满足,则可以终止对球形视频内容项的分析。作为更具体的示例,在一些实施例中,停止标准可以包括是否已经将超过预定数量的图块标记为包括与参考内容项匹配的内容,如以上结合框414所述。
根据所公开的主题的一些实施例,可以提供用于识别球形视频内容项的帧的可能包括嵌入的视频项的部分的机制(例如,识别所选择的帧的二维投影区域内的分区,其满足指示该区域具有大于包括嵌入的视频内容项的阈值的可能性的标准)。可以例如响应于接收到将球形视频内容项上传到内容数据库的请求而使用这种球形指纹鉴定机制。在更特定的示例中,该机制可以用于执行球形指纹分析,以在上传时(例如,与离线处理相反)识别球形视频内容项内的嵌入的视频项。
返回图5,根据所公开主题的一些实施例,示出了用于识别球形视频内容项的可能包括嵌入的视频项的一部分的过程的说明性示例500。在一些实施例中,过程500的框可以在服务器202上实现。
过程500可以通过在502处接收到球形视频内容项的指示而开始。在一些实施例中,可以以任何合适的方式来接收指示。例如,在一些实施例中,过程500可以检测到球形视频内容项已经被内容创建者上传或者已经由内容创建者请求上传到服务器202(例如,使用用于上传视频内容项的界面、使用用于上传可以包括球形视频内容项的多个视频内容项的应用程序编程接口等)。作为另一示例,在一些实施例中,过程500可以使用框504-510中描述的技术来处理包括球形视频内容项的一组球形视频内容项。
如上所述,球形视频内容项可以是任何合适类型的视频内容,包括从任何合适数量的相机记录的多个视图,其被缝合在一起以形成可在视点中操纵并由用户导航的视频内容项。在一些实施例中,球形视频内容项可以包括具有跨多个帧复制的多个视图的静止图像。注意,在一些实施例中,球形视频内容项可以被编码为二维视频,例如,作为球形视频内容在矩形平面上的投影。
过程500可以在504处识别球形视频内容项的帧。在一些实施例中,过程500可以以任何合适的方式识别该帧。例如,在一些实施例中,过程500可以以球形视频内容项的第一帧开始。作为另一示例,在一些实施例中,过程500可以从球形视频内容项的中间部分选择帧。
在506处,过程500可以使用诸如修改的等距矩形投影的投影来投影球形视频内容项的帧。在一些实施例中,修改的等距矩形投影可以包括任何合适数量的矩形,每个矩形代表球形视频内容项的帧的特定角度范围。例如,在一些实施例中,包括在修改的等距矩形投影中的矩形可以在球形内容项的帧上跨越特定的偏航角范围(例如,-30度至30度,-35度至35度和/或任何其他合适的偏航范围)和特定的俯仰角范围(例如-25度至25度,-30度至30度和/或任何其他合适的俯仰角范围)。注意,在一些实施例中,包括在修改的等距矩形投影中的矩形可以相对于彼此跨越不同的角度。例如,在一些实施例中,表示球形视频内容项的帧的顶点附近的内容的、在修改的等距矩形投影的顶部处的矩形可以相对于修改的等距矩形投影的中间部分中的矩形跨越球形视频内容项的帧的更小的角度范围。
在图6中示出了球形视频内容项的帧的修改的等距矩形投影600的说明性示例。如图所示,投影600可以被修改为包括球形视频内容项的帧的扩展范围。例如,在一些实施例中,球形视频内容项的帧的扩展图像可以包裹在赤道周围和/或穿过极点。作为更具体的示例,在一些实施例中,修改的等距矩形投影600可以包括冗余部分。作为特定示例,矩形602和604可以是球形视频内容项的帧的冗余部分,并且可以分别位于修改的等距矩形投影600的左侧和右侧。作为另一特定示例,矩形606和608可以是球形视频内容项的帧的冗余部分,其位于球形视频内容项的帧的极点处或附近,并且矩形606和608可以位于修改的等距矩形投影600顶侧和底侧。注意,尽管修改的等距矩形投影600包括冗余矩形602和604以及冗余矩形606和608,但是在某些实施例中,修改的等距矩形投影600可以包括任何合适数量的冗余矩形(例如零,一、五、十和/或任何其他合适的数字)。
应注意,过程500可以使用由映射定义的修改的等角投影600将球形视频内容项的所选择的帧投影到二维区域,根据该映射,帧的相邻点被映射到该区域的相应相邻点,并且将帧的一个或多个连续部分各自映射到该区域的相应多个连续部分。继续该示例,可以将帧的两个或更多个间隔开的连续部分各自映射到该区域的两个相应部分。还应该注意的是,二维区域可以被第一和第二横轴跨越,其中帧的第一连续部分可以被映射到相对于第一轴具有不同位置的区域的两个部分,帧的第二连续部分可以被映射到相对于第二轴具有不同位置的区域的两个部分。还应当注意,在一些实施例中,过程500可以基于纬度和经度来定义帧的坐标系,其中,经度对应于第一轴,纬度对应于第二轴,并且其中球体的第一连续部分根据坐标系包括极点。
返回图5,在508处,过程500可以识别包括在修改的等距矩形投影中、可能包括在球形视频内容项中嵌入的视频内容项(例如,二维视频内容项和/或任何其他合适类型的视频内容项)的矩形。例如,过程500可以识别球形视频内容项的所选择的帧的二维投影区域内的矩形分区,其满足指示区域具有大于包括视频内容项的阈值的可能性的标准。在一些实施例中,过程500可以使用任何适当的技术或技术的组合来识别矩形。
例如,在一些实施例中,过程500可以使用任何合适的对象辨识技术来识别修改的等距矩形投影内的特定对象(例如,脸、人、特定角色、徽标和/或任何其他合适的对象)。
作为另一示例,在一些实施例中,过程500可以使用任何合适的图像辨识技术来识别包括在修改的等距矩形投影中的、与修改的等距矩形投影的周围部分是异常的矩形(例如,其中可以通过满足指示具有至少一个与修改的等距矩形投影的周围部分不同的特性的标准来将矩形或任何合适的部分视为异常部分)。作为更具体的示例,在一些实施例中,过程500可以识别包括与修改的等距矩形投影的周围部分基本上不同的颜色的矩形。作为另一个更具体的示例,在一些实施例中,过程500可以识别修改的等距矩形投影内的边缘,并且可以识别包括在修改的等距矩形投影中的、包括相对于修改的等距矩形投影的周围部分的折断或不连续的边缘的矩形。
作为另一示例,在一些实施例中,过程500可以使用任何合适的运动矢量检测或识别技术来识别包括在等距矩形投影中的可能包括运动的矩形。
注意,在一些实施例中,过程500可以识别位于修改的等距矩形投影内的任何合适分区中的矩形。另外,注意,在一些实施例中,过程500可以识别修改的等距矩形投影内的多个矩形。例如,在视频内容项被嵌入在球形视频内容项的极点处或附近的情况下,过程500可以识别位于修改的等距矩形投影的顶部中的矩形和位于修改的等距矩形投影的底部中的冗余矩形,如上面结合图6所示和所述的。
在一些实施例中,过程500可以计算所识别的矩形包括嵌入式视频内容项的概率。例如,在一些实施例中,概率可以基于矩形相对于修改的等距矩形投影的周围部分的异常程度(例如,其中可以使用指示具有至少一个与修改的等距矩形投影的周围部分不同的属性的矩形的参数来计算概率)。在一些实施例中,响应于确定概率超过预定阈值(例如,大于0.5、大于0.75和/或任何其他合适的阈值),过程500可以前进至框510。相反,在一些实施例中,响应于确定概率未超过预定阈值,过程500可以终止或循环回到框504。
在510处,过程500可以进一步分析所识别的矩形。例如,在一些实施例中,过程500可以对所识别的矩形中的内容执行任何适当的视频指纹鉴定技术,以识别所识别的矩形中包括的视频内容项。例如,在一些实施例中,所识别的视频内容项可以是任何合适的视频内容项,例如电视节目、电影、实时流视频内容和/或任何其他合适的视频内容项。在一些实施例中,过程500可以以任何合适的方式执行视频指纹鉴定技术。例如,在一些实施例中,过程500可以计算所识别的矩形的任何合适的视频指纹,并且可以将视频指纹与已知视频内容项的指纹的参考数据库(例如,拥有版权的媒体内容的数据库和/或任何其他合适的数据库)进行比较以识别相应的视频内容项。
注意,在一些实施例中,过程500可以附加地或替代地执行任何适当的音频指纹鉴定技术,以例如识别与球形视频内容项的帧相关联的拥有版权的音频轨道。在一些实施例中,过程500可以结合任何合适的视频指纹鉴定和音频指纹识别鉴定。此外,在过程500执行音频指纹鉴定技术的情况下,过程500可以识别已以任何适当方式修改的拥有版权的音轨,诸如加快、减慢、频率偏移和/或以任何其他适当方式修改,如上面结合图4的414更详细地描述的。
在一些实施例中,响应于识别与修改的等距矩形投影的所识别的矩形相关联的视频内容项和/或音频内容项(例如,拥有版权的视频内容项、拥有版权的音频内容项和/或任何其他合适的媒体内容项),过程500可以执行任何适当的动作。例如,在一些实施例中,过程500可以从球形视频内容项被上传到的视频共享服务中移除球形视频内容项和/或阻止球形视频内容项的呈现。作为另一示例,在一些实施例中,过程500可以以任何合适的方式标记球形视频内容项和/或所识别的矩形。作为更具体的示例,在一些实施例中,过程500可以将矩形和/或球形视频内容项的指示发送到任何合适的实体,例如球形视频内容项被上传到的视频共享服务的管理员、球形视频内容项的创建者和/或任何其他合适的实体。作为又一个示例,在一些实施例中,过程500可以例如在托管球形视频内容项的服务器中存储与球形视频内容项的标识符相关的修改的等距矩形投影的所识别的矩形中的内容匹配的媒体内容项的指示。
在一些实施例中,可以以任何顺序或次序执行或进行图4和图5的过程的至少一些上述框,顺序或次序不限于结合附图所示和描述的顺序或次序。另外,图4和图5中的上述框中的一些框也可以基本上同时执行或进行,其中适当地或并行地减少等待时间和处理时间。附加地或替代地,可以省略图4和图5的过程的一些上述框。
在一些实施例中,任何合适的计算机可读介质可以用于存储用于执行本文的功能和/或过程的指令。例如,在一些实施例中,计算机可读介质可以是暂时的或非暂时的。例如,非暂时性计算机可读介质可以包括诸如磁性介质(诸如硬盘、软盘和/或任何其他合适的磁性介质)、光学介质(诸如压缩盘、数字视频盘,蓝光光盘和/或任何其他合适的光学介质)、半导体介质(诸如闪存、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)和/或任何其他合适的半导体介质)、在传输过程中不会短暂或没有任何永久性表现的任何合适的介质,和/或任何合适的有形介质。作为另一示例,瞬时计算机可读介质可以包括网络、电线、导体、光纤、电路中的信号、在传输过程中短暂且没有任何永久性表现的任何合适的介质和/或任何合适的无形介质。指令集可以被称为计算机程序产品(例如,可以租用或购买的商品)。
在此处描述的系统收集有关用户的个人信息或利用个人信息的情况下,可以为用户提供控制程序或功能是否收集用户信息(例如,有关用户社交网络、社交活动或活动、职业、用户的偏好或用户的当前位置的信息)的机会。另外,在存储或使用某些数据之前,可能会以一种或多种方式处理某些数据,以便删除个人信息。例如,可以处理用户的身份,以便无法为该用户确定任何个人信息,或者可以在获得位置信息(例如到城市、邮政编码或州级别)的位置上概括用户的地理位置,因此无法确定用户的特定位置。因此,用户可以控制如何收集有关用户的信息以及如何由内容服务器使用。
因此,提供了用于分析球形视频内容,并且更具体地,用于通过使球体图块化来检测滥用球形视频内容中放置在球体上的二维视频的方法、系统和介质。
尽管已经在前述说明性实施例中描述和说明了本发明,但是应当理解,本公开仅是通过示例的方式进行的,并且可以在不脱离本发明的实施方式的情况下进行许多改变。本发明的精神和范围仅由所附权利要求书限定。所公开的实施例的特征可以以各种方式组合和重新布置。

Claims (21)

1.一种用于分析球形视频内容的方法,所述方法包括:
接收球形视频内容项的标识符,其中,所述球形视频内容项具有多个视图;
选择所述球形视频内容项的第一帧;
使用由映射定义的投影来将所述球形视频内容项的所述第一帧投影到二维区域,所述第一帧的相邻点根据所述映射而被映射到所述区域的相应相邻点,并且所述帧的一个或多个连续部分各自被映射到所述区域的对应多个连续部分;
识别所述区域内满足标准的分区,所述标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;
响应于识别所述区域内满足所述标准的分区,使用视频指纹鉴定技术对所述区域的所识别的分区进行分析;以及
响应于使用所述视频指纹鉴定技术确定与所述区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与所述球形视频内容项的所述标识符相关联的匹配的指示。
2.根据权利要求1所述的方法,其中,所述帧的两个或更多个间隔开的连续部分各自被映射到所述区域的两个对应部分。
3.根据权利要求2所述的方法,其中,所述二维区域由第一横轴和第二横轴跨越,并且其中,所述帧的第一连续部分被映射到所述区域的相对于所述第一轴具有不同位置的两个部分,并且所述帧的第二连续部分被映射到所述区域的相对于所述第二轴具有不同位置的两个部分。
4.根据权利要求3所述的方法,进一步包括:基于纬度和经度针对所述帧定义坐标系,其中,所述经度对应于所述第一轴,并且所述纬度对应于所述第二轴。
5.根据权利要求4所述的方法,其中,所述球体的所述第一连续部分包括根据所述坐标系的极点。
6.根据权利要求1所述的方法,进一步包括:响应于使用所述视频指纹鉴定技术确定与所修改的等距矩形投影的所识别的分区相关联的内容与所述参考内容项相匹配,阻止所述球形视频内容项呈现在用户设备上。
7.根据权利要求1所述的方法,其中,基于应用于所述投影的对象辨识技术来识别满足所述标准的区域,所述标准指示所述区域具有大于包括所述特定类型的内容的阈值的可能性。
8.根据权利要求1所述的方法,其中,包括在所述区域内的所识别的分区中的特定类型的内容是二维视频内容项。
9.根据权利要求1所述的方法,其中,所述多个参考内容项是多个拥有版权的媒体内容项。
10.根据权利要求1所述的方法,进一步包括:使用音频指纹鉴定技术来分析与所述球形视频内容项相关联的音频内容。
11.一种用于分析球形视频内容的系统,所述系统包括:
存储器;和
处理器,所述处理器当执行存储在所述存储器中的计算机可执行指令时,被配置为:
接收球形视频内容项的标识符,其中,所述球形视频内容项具有多个视图;
选择所述球形视频内容项的第一帧;
使用由映射定义的投影来将所述球形视频内容项的所述第一帧投影到二维区域,所述第一帧的相邻点根据所述映射而被映射到所述区域的相应相邻点,并且所述帧的一个或多个连续部分各自被映射到所述区域的对应多个连续部分;
识别所述区域内满足标准的分区,所述标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;
响应于识别所述区域内满足所述标准的分区,使用视频指纹鉴定技术对所述区域的所识别的分区进行分析;以及
响应于使用所述视频指纹鉴定技术确定与所述区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与所述球形视频内容项的所述标识符相关联的匹配的指示。
12.根据权利要求11所述的系统,其中,所述帧的两个或更多个间隔开的连续部分各自被映射到所述区域的两个对应部分。
13.根据权利要求12所述的系统,其中,所述二维区域由第一横轴和第二横轴跨越,并且其中,所述帧的第一连续部分被映射到所述区域的相对于所述第一轴具有不同位置的两个部分,并且所述帧的第二连续部分被映射到所述区域的相对于所述第二轴具有不同位置的两个部分。
14.根据权利要求13所述的系统,其中,所述硬件处理器进一步被配置为:基于纬度和经度针对所述帧定义坐标系,其中,所述经度对应于所述第一轴,并且所述纬度对应于所述第二轴。
15.根据权利要求14所述的系统,其中,所述球体的所述第一连续部分包括根据所述坐标系的极点。
16.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:响应于使用所述视频指纹鉴定技术确定与所修改的等距矩形投影的所识别的分区相关联的内容与所述参考内容项相匹配,阻止所述球形视频内容项呈现在用户设备上。
17.根据权利要求11所述的系统,其中,基于应用于所述投影的对象辨识技术来识别满足所述标准的区域,所述标准指示所述区域具有大于包括所述特定类型的内容的阈值的可能性。
18.根据权利要求11所述的系统,其中,包括在所述区域内的所识别的分区中的特定类型的内容是二维视频内容项。
19.根据权利要求11所述的系统,其中,所述多个参考内容项是多个拥有版权的媒体内容项。
20.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:使用音频指纹鉴定技术来分析与所述球形视频内容项相关联的音频内容。
21.一种计算机程序产品,所述计算机程序产品包含计算机可执行指令,在所述计算机可执行指令由处理器执行时使所述处理器执行用于呈现视频内容的方法,所述方法包括:
接收球形视频内容项的标识符,其中,所述球形视频内容项具有多个视图;
选择所述球形视频内容项的第一帧;
使用由映射定义的投影来将所述球形视频内容项的所述第一帧投影到二维区域,所述第一帧的相邻点根据所述映射而被映射到所述区域的相应相邻点,并且所述帧的一个或多个连续部分各自被映射到所述区域的对应多个连续部分;
识别所述区域内满足标准的分区,所述标准指示所述区域具有大于包括特定类型的内容的阈值的可能性;
响应于识别所述区域内满足所述标准的分区,使用视频指纹鉴定技术对所述区域的所识别的分区进行分析;以及
响应于使用所述视频指纹鉴定技术确定与所述区域的所识别的分区相关联的内容与多个参考内容项中的参考内容项相匹配,生成与所述球形视频内容项的所述标识符相关联的匹配的指示。
CN201980017368.XA 2018-05-21 2019-05-21 用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质 Pending CN111819570A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862674230P 2018-05-21 2018-05-21
US62/674,230 2018-05-21
PCT/US2019/033284 WO2019226632A1 (en) 2018-05-21 2019-05-21 Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content

Publications (1)

Publication Number Publication Date
CN111819570A true CN111819570A (zh) 2020-10-23

Family

ID=66912916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017368.XA Pending CN111819570A (zh) 2018-05-21 2019-05-21 用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质

Country Status (4)

Country Link
US (2) US10909381B2 (zh)
EP (1) EP3752956B1 (zh)
CN (1) CN111819570A (zh)
WO (1) WO2019226632A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102696223A (zh) * 2009-09-14 2012-09-26 Tivo有限公司 多功能多媒体装置
CN103312770A (zh) * 2013-04-19 2013-09-18 无锡成电科大科技发展有限公司 一种云平台资源审核的方法
CN106664403A (zh) * 2014-10-20 2017-05-10 谷歌公司 连续预测域
EP3264323A1 (en) * 2016-06-27 2018-01-03 Facebook, Inc. Systems and methods for identifying matching content
US9872056B1 (en) * 2016-12-16 2018-01-16 Google Inc. Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame
CN107636534A (zh) * 2015-09-16 2018-01-26 谷歌有限责任公司 一般球面捕获方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934545B2 (en) 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
US9652667B2 (en) 2014-03-04 2017-05-16 Gopro, Inc. Automatic generation of video from spherical content using audio/visual analysis
JP6501904B2 (ja) 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
CN106056531B (zh) * 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
US10074012B2 (en) * 2016-06-17 2018-09-11 Dolby Laboratories Licensing Corporation Sound and video object tracking
US9972060B2 (en) * 2016-09-08 2018-05-15 Google Llc Detecting multiple parts of a screen to fingerprint to detect abusive uploading videos
KR20180042777A (ko) * 2016-10-18 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102696223A (zh) * 2009-09-14 2012-09-26 Tivo有限公司 多功能多媒体装置
CN103312770A (zh) * 2013-04-19 2013-09-18 无锡成电科大科技发展有限公司 一种云平台资源审核的方法
CN106664403A (zh) * 2014-10-20 2017-05-10 谷歌公司 连续预测域
CN107636534A (zh) * 2015-09-16 2018-01-26 谷歌有限责任公司 一般球面捕获方法
EP3264323A1 (en) * 2016-06-27 2018-01-03 Facebook, Inc. Systems and methods for identifying matching content
US9872056B1 (en) * 2016-12-16 2018-01-16 Google Inc. Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame

Also Published As

Publication number Publication date
US11810353B2 (en) 2023-11-07
US20210158050A1 (en) 2021-05-27
WO2019226632A1 (en) 2019-11-28
US20190354767A1 (en) 2019-11-21
EP3752956B1 (en) 2023-12-13
EP3752956A1 (en) 2020-12-23
US10909381B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
US10936877B2 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere
CN109325933B (zh) 一种翻拍图像识别方法及装置
WO2021012837A1 (zh) 推荐信息植入位置的确定方法、装置、设备及存储介质
US10643667B2 (en) Bounding box doubling as redaction boundary
US8363984B1 (en) Method and system for automatically cropping images
US9292756B2 (en) Systems and methods for automated image cropping
CN109923543B (zh) 通过生成视频帧的多个部分的指纹来检测立体视频的方法、系统和介质
CN115134649B (zh) 用于在视频内容内呈现交互式元素的方法和系统
KR20170038040A (ko) 비디오에서의 컴퓨터화된 현저한 인물 인식
JP2018506198A (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
WO2014194501A1 (en) Combining a digital image with a virtual entity
CN110710203B (zh) 用于生成和渲染沉浸式视频内容的方法、系统和介质
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
EP3752956B1 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content
CN112016609B (zh) 一种图像聚类方法、装置、设备及计算机存储介质
Padilha et al. Motion-aware ghosted views for single layer occlusions in augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination