CN110709841A - 用于检测和转换旋转的视频内容项的方法、系统和介质 - Google Patents

用于检测和转换旋转的视频内容项的方法、系统和介质 Download PDF

Info

Publication number
CN110709841A
CN110709841A CN201780091429.8A CN201780091429A CN110709841A CN 110709841 A CN110709841 A CN 110709841A CN 201780091429 A CN201780091429 A CN 201780091429A CN 110709841 A CN110709841 A CN 110709841A
Authority
CN
China
Prior art keywords
video
rotation
video content
content item
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780091429.8A
Other languages
English (en)
Other versions
CN110709841B (zh
Inventor
菲利普·帕维蒂克
汉娜·帕苏拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110709841A publication Critical patent/CN110709841A/zh
Application granted granted Critical
Publication of CN110709841B publication Critical patent/CN110709841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1063—Personalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了用于检测和转换旋转的视频内容项的方法、系统和介质。该方法包括：接收具有多个帧的视频，其中所述视频与第一指纹相关联；确定与所述多个帧的至少一部分相关联的旋转值以获得多个旋转值；基于所述多个旋转值中的一部分来确定与所述视频相关联的总旋转值；基于所述总旋转值确定是否应生成所述视频的至少一个附加指纹；响应于基于所述总旋转值确定应生成所述视频的至少一个附加指纹，基于总旋转值来选择旋转转换，所述旋转转换将所述视频的多个帧旋转到初始旋转位置；将旋转转换应用到所述视频的多个帧的至少一部分；生成第二指纹，所述第二指纹表示转换后的视频；以及将所述转换后的视频的所述第二指纹与和参考视频相关联的多个指纹进行比较，以确定与所述转换后的视频相对应的视频是否与所述参考视频中的一个参考视频相匹配。

Description

用于检测和转换旋转的视频内容项的方法、系统和介质
技术领域
所公开的主题涉及用于检测和转换旋转的视频内容项的方法、系统和介质。更具体地，所公开的主题涉及基于对视频内容项的帧履行的旋转检测来确定视频内容项是否已经被旋转，以及确定是否生成视频内容项的转换版本的附加指纹表示。
背景技术
视频内容提供者能够接收上传的视频内容、存储上传的视频内容，并且然后，例如通过将视频内容流式传输到多个用户设备来将上传的视频内容提供给许多用户。这些视频内容提供者可以确定上传的视频内容是否与例如包括受版权保护的内容的参考文件的参考数据库中的视频内容相匹配。
然而，通常难以确定上传的视频内容是否与受版权保护的内容的参考文件相匹配。例如，视频内容提供者已经开始接收上传的视频内容，在该上传的视频内容中，包含视频内容的一些帧已经被旋转(例如，90度)的内容。在一个更特定的示例中，视频内容的上传者可以通过以诸如如下方式旋转视频内容来绕过视频内容提供者的检测系统，该方式使得视频内容在能够物理旋转以适应旋转的视频内容的设备(诸如平板计算设备或移动通信设备)上保持可见的视频内容。难以确定这种旋转后的视频内容是否与参考文件中存储的视频内容相匹配。
因此，期望提供一种用于检测和转换旋转的视频内容项的方法、系统和介质。
发明内容
提供了一种用于检测和转换旋转的视频内容项的方法、系统和介质。
根据所公开的主题的一些实施例，提供了一种用于检测未经授权的媒体内容项的计算机实施方法，该方法包括：使用硬件处理器接收具有多个帧的视频，其中该视频与第一指纹相关联；使用硬件处理器确定与多个帧的至少一部分相关联的旋转值，以获得多个旋转值；使用硬件处理器，基于多个旋转值中的一部分来确定与所述视频相关联的总旋转值；使用硬件处理器，基于总旋转值来确定是否应生成视频的至少一个附加指纹；响应于确定应基于总旋转值生成视频的至少一个附加指纹，使用硬件处理器，基于总旋转值的旋转转换将视频的多个帧旋转到初始旋转位置；使用硬件处理器，将旋转转换应用于视频的多个帧的至少一部分；使用硬件处理器生成第二指纹，该第二指纹表示转换后的视频；并且使用硬件处理器将转换后的视频的第二指纹与和参考视频相关联的多个指纹进行比较，以确定与转换后的视频相对应的视频是否与参考视频中的一个参考视频相匹配。
在一些实施例中，每个旋转值与置信度值相关联，其中该方法还包括基于置信度值选择多个旋转值的子集，并且其中，基于多个旋转值的子集确定总旋转值。
在一些实施例中，响应于确定总旋转值正交于初始旋转位置而生成第二指纹。
在一些实施例中，该方法还包括响应于确定总旋转值指示所接收到的视频是原始视频的竖直翻转版本而禁止生成第二指纹。
在一些实施例中，第二指纹表示转换后的视频的至少一部分。
在一些实施例中，该方法还包括：响应于确定与转换后的视频相对应的视频与所述参考视频中的一个参考视频以至少阈值量相匹配，而使匹配的指示被发送到计算设备。
在一些实施例中，该方法进一步包括生成多个附加指纹，每个所述附加指纹表示转换后的视频的特征。
根据所公开的主题的一些实施例，提供了一种用于检测未经授权的媒体内容项的系统，该系统包括存储器和硬件处理器，当执行存储在存储器中的计算机可执行指令时，该硬件处理器被构造成：接收具有多个帧的视频，其中该视频与第一指纹相关联；确定与所述多个帧中的至少一部分相关联的旋转值，以获得多个旋转值；基于所述多个旋转值中的一部分，确定与视频相关联的总旋转值；基于总旋转值，确定是否应生成视频的至少一个附加指纹；响应于基于总旋转值确定应该生成视频的至少一个附加指纹，基于总旋转值选择旋转转换，该旋转转换将视频的多个帧旋转到初始旋转位置；将旋转转换应用于视频的多个帧的至少一部分；生成表示转换后的视频的第二个指纹；并将转换后的视频的第二指纹与和参考视频相关联的多个指纹进行比较，以确定与转换后的视频相对应的视频是否与所述参考视频中的一个参考视频相匹配。
根据所公开的主题的一些实施例，提供了一种包含计算机可执行指令的非暂时性计算机可读介质，在由处理器执行该计算机可执行指令时，该计算机可执行指令使处理器执行用于检测未经授权的媒体内容项的方法。该方法包括：接收具有多个帧的视频，其中该视频与第一指纹相关联；确定与所述多个帧中的至少一部分相关联的旋转值，以获得多个旋转值；基于所述多个旋转值中的一部分，确定与视频相关联的总旋转值；基于所述总旋转值确定是否应生成视频的至少一个附加指纹；响应于基于总旋转值确定应生成视频的至少一个附加指纹，基于总旋转值选择旋转转换，该旋转转换将视频的多个帧旋转到初始旋转位置；将旋转转换应用于视频的多个帧的至少一部分；生成表示转换后的视频的第二指纹；并且将转换后的视频的第二指纹与和参考视频相关联的多个指纹进行比较，以确定与转换后的视频相对应的视频是否与所述参考视频中的一个参考视频相匹配。
根据所公开的主题的一些实施例，提供了一种用于检测未经授权的媒体内容项的系统，该系统包括：用于接收具有多个帧的视频的装置，其中，所述视频与第一指纹相关联；用于确定与所述多个帧的至少一部分相关联的旋转值以获得多个旋转值的装置；用于基于所述多个旋转值的一部分来确定与视频相关联的总旋转值的装置；用于基于总旋转值来确定是否应生成视频的至少一个附加指纹的装置；响应于确定应基于总旋转值来生成视频的至少一个附加指纹，用于基于总旋转值选择旋转转换的装置，该装置将视频的多个帧旋转到初始旋转位置；用于将旋转转换应用到视频的多个帧的至少一部分的装置；用于生成表示转换后的视频的第二指纹的装置；以及用于将转换后的视频的第二指纹与和参考视频相关联的多个指纹进行比较以确定与转换后的视频相对应的视频是否与所述参考视频中的一个参考视频相匹配的装置。
附图说明
当结合以下附图考虑时，参考对所公开主题的以下详细描述，能够更充分地理解所公开主题的各种目的、特征和优点，在所述附图中，相同的附图标记表示相同的元件。
图1示出了根据所公开主题的一些实施例的在用户设备上呈现的旋转视频内容项的说明性示例。
图2示出了根据所公开的主题的一些实施例的适合于实现本文中所述的用于检测和转换旋转视频内容项的机构的图解系统的示意图。
图3根据所公开的主题的一些实施例的图，示出了能够在图2的服务器和/或用户设备中使用的硬件的详细示例。
图4示出了根据所公开主题的一些实施例的用于检测和转换旋转视频内容项的过程的图解示例。
图5示出了根据所公开主题的一些实施例的用于使用转换视频内容项的指纹来检测视频内容项的滥用或未授权上传的过程的图解示例。
具体实施方式
根据各种实施例，提供了用于检测和转换旋转的视频内容项的机构(能够包括方法、系统和介质)。
在一些实施例中，本文中描述的机构能够接收视频内容项并确定该视频内容项包括已被旋转的内容的可能性。这能够包括，例如确定视频内容项的每一帧相对于初始旋转位置(例如，0度旋转)的旋转值。在更特定的示例中，这能够包括应用旋转分类器，该旋转分类器确定视频内容项的帧是否落入多个类别的一个类别内，其中每个类别表示特定的旋转(例如0度旋转、90度旋转、180度旋转、270度旋转或任何其它合适的旋转)。继续在该示例中，所述机构能够基于从旋转分类器针对视频内容项的帧输出的一个或多个旋转值来确定视频内容项的总旋转值。
应当注意，在一些实施例中，该机构能够确定与每个旋转值相关联的置信度值。置信度值能够例如表示置信度水平或旋转分类器已经确定帧的正确旋转值的概率。例如，旋转分类器能够输出视频内容项的特定帧属于特定旋转类别的概率(例如，该特定帧已经旋转了270度的概率为90％)。继续在该示例中，基于置信度值(例如，大于特定置信度阈值)，该机构能够确定所确定的旋转值中的哪一个与视频内容项相关联并存储。在另一个示例中，这些机构能够基于具有最高置信度值的旋转值(例如，基于置信度值的前十个旋转值)来关联并存储特定数量的旋转值。替代地，在一些实施例中，这些机构能够使用来自旋转分类器的旋转值中的每一个旋转值来确定与视频内容项相关联的总旋转值。
在一些实施例中，该机构能够基于总旋转值来确定是否应当生成视频内容项的附加指纹。例如，响应于确定视频内容项已经被旋转到特定旋转角度(例如，90度旋转或270度旋转)，这些机构能够基于总旋转值来选择旋转转换并生成一个转换后的视频内容项。应当注意，能够生成一个或多个指纹或其它合适的紧凑表示，诸如转换后的视频内容项的一部分的视频指纹、音频指纹和/或旋律指纹，从而获得一个或多个转换后的视频内容项的其它指纹。
在一些实施例中，该机构能够将额外的指纹与所存储的视频内容项的指纹(诸如与参考数据库中的参考文件相关联的指纹)进行比较，以确定是否存在匹配。例如，响应于确定转换后的指纹至少与所存储的视频内容项的指纹的阈值量相匹配，所述机构能够履行与视频内容项有关的动作。
在一些实施例中，本文中描述的机构能够被用于检测所上传的视频内容项中的特定类型的视频内容。例如，在一些实施例中，该机构能够被用于检测所上传的视频内容项内的可能受版权保护的视频内容或可能受版权保护的音频内容。应当注意，例如通过将内容项的一部分与参考内容项的数据库中的参考内容项进行匹配，各种指纹技术来已经被用于识别受版权保护的内容。然而，当所上传的视频内容项是受版权保护的视频内容项的修改版本时，这些指纹技术有时无法识别受版权保护的视频内容。例如，在所上传的视频内容项包括已被修改成旋转特定数量的度数的视频内容项的情况下，指纹识别技术可能无法在参考数据库中检测到与视频内容的匹配。
例如，这些机构能够允许内容服务器持续检测新形式的规避技术(例如，不同的旋转角度)的应用，这些技术可能在媒体内容项被上传到内容服务器时没有被使用。在另一示例中，这些机构能够允许内容服务器识别上传了已经用规避技术修改的多个媒体内容项的用户帐户。
转到图1，根据所公开主题的一些实施例，示出了呈现视频内容项的用户界面的说明性示例，其中可能已经将旋转规避技术应用于该视频内容项。如图所示，与视频窗口和视频窗口的控制部分110(例如，相对于视口的旋转定向大约为0度)相比，用户界面能够包括已经旋转了特定数量的度数(例如，相对于视窗以90度的旋转定向)的视频内容100，诸如，识别视频内容项的媒体块、指示视频内容项在视频内容项的播放列表内的位置的播放列表指示器以及用于控制视频内容项的回放的控制选项。
转到图2，根据所公开的主题的一些实施例，示出了适于应用本文中所述的用于检测和转换旋转的视频内容项的机构的示例性系统300的示例。如图所示，硬件200能够包括一个或多个服务器，例如服务器202、通信网络204，和/或一个或多个用户设备206，诸如用户设备208和用户设备210。
在一些实施例中，一个或多个服务器202能够是用于接收视频内容项，将旋转分类器应用于视频内容项的帧以确定旋转值的任何合适的服务器，其能够确定所述旋转值中的每一个旋转值相关联的置信度值，基于该置信度值选择和/或存储视频内容项的旋转值的子集，基于与视频内容项相关联的旋转值的子集确定总旋转值，确定是否基于总旋转值生成视频内容项的一个或多个附加指纹，响应于以下内容选择旋转转换并将其应用于视频内容项，即：确定应该生成视频内容项的一个或多个附加指纹，生成一个或多个表示已转换视频内容项至少一部分的附加指纹，确定所述一个或多个附加指纹是否与参考视频内容项相匹配，和/或履行任何其它合适的功能。例如，如以下结合图4至图5所描述的，一个或多个服务器202能够将一个或多个附加指纹与视频内容项相关联，所述一个或多个附加指纹表示应用了旋转转换的转换后的视频内容项的至少一部分。作为更特定的示例，在一些实施例中，以特定的间隔(例如，每天一次、每周一次等)，一个或多个服务器202能够执行查询以确定表示转换后的媒体内容项的一个或多个附加指纹与参考视频内容项是否匹配。作为更特定的示例，在一些实施例中，一个或多个服务器202能够生成整个视频内容项以及所述视频内容项的多个部分(例如，视频内容项的音频部分、视频内容项的旋律、视频内容项的开头介绍等)的指纹。在一些实施例中，能够省略一个或多个服务器202。
在一些实施例中，通信网络204能够是一个或多个有线和/或无线网络的任何合适的组合。例如，通信网络306能够包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络，虚拟专用网(VPN)和/或任何其它合适的通信网络中的一个或多个。用户设备206能够通过一个或多个通信链路212和/或通信链路214连接到通信网络204，该通信网络204能够经由一个或多个通信链路(例如，通信链路216)链接到一个或多个服务器202。通信链路212、通信链路214和/或通信链路216能够是适合于在用户设备306和一个或多个服务器202之间通信数据的任何通信链路，例如网络链路、拨号链路、无线链路、硬线链路、任何其它合适的通信链路，或此类链路的任何适当组合。
在一些实施例中，用户设备206能够包括一个或多个计算设备，所述一个或多个计算设备适合于将视频内容项传输到一个或多个服务器202，将与视频内容项有关的信息传输到一个或多个服务器202，和/或任何其它合适的功能。例如，在一些实施例中，用户设备206能够被实施为移动设备，诸如智能手机、移动电话、平板计算机、笔记本电脑、交通工具(例如，汽车、船、飞机或任何其它合适的交通工具)娱乐系统、便携式媒体播放器和/或任何其它合适的移动设备。作为另一个示例，在一些实施例中，用户设备306能够被实施为非移动设备，诸如台式计算机、机顶盒、电视、流媒体播放器、游戏机主机和/或任何其它合适的非移动设备。
尽管服务器202被示为单个设备，但是在一些实施例中，能够使用任何适当数量的设备来履行由服务器202履行的功能。例如，在一些实施例中，能够使用多个设备来实施由服务器202履行的功能。在更特定的示例中，第一服务器能够被用于存储视频内容项，第二服务器能够被用于通过一个或多个旋转分类器来确定与视频内容项的帧相关联的旋转值，第三服务器能够被使用于确定是否应该基于与视频内容项相关联的旋转值来生成视频内容项的一个或多个其它指纹，第四服务器能够被用于通过应用旋转转换来生成转换后的视频内容项并生成一个或多个转换后的视频内容项的附加指纹，第五服务器能够被用于确定转换后的指纹是否与参考视频内容项相匹配，和/或第六服务器能够被用于响应于确定与转换后的视频内容项相关联的转换后的指纹与参考视频内容项相匹配而采取行动(例如，标记用户帐户、标记上传了转换后的视频内容项的频道或媒体源、移除视频内容项，使得禁止内容服务器的其它用户消费该视频内容项等)。
尽管在图2中示出了两个用户设备208和用户设备210，但是在一些实施例中，能够使用任何合适数量的用户设备和/或任何合适类型的用户设备。
在一些实施例中，一个或多个服务器202和用户设备206能够使用任何合适的硬件来实施。例如，在一些实施例中，能够使用任何合适的通用计算机或专用计算机来实施设备202和设备206。例如，可以使用专用计算机来实施服务器。任何这样的通用计算机或专用计算机能够包括任何合适的硬件。例如，如在图3的示例硬件300中所示，这样的硬件能够包括硬件处理器302、存储器和/或存储设备304、输入设备控制器306、输入设备308、显示/音频驱动器310、显示和音频输出电路312、一个或多个消息接口314、天线316和总线318。
在一些实施例中，硬件处理器302能够包括任何合适的硬件处理器，诸如微处理器、微控制器、一个或多个数字信号处理器、专用逻辑和/或任何其它合适的用于控制通用计算机或专用计算机的功能电路。在一些实施例中，硬件处理器302能够由存储在服务器(例如，诸如服务器202)的存储器和/或存储设备304中的服务器程序控制。例如，服务器程序能够利用一个或多个旋转分类器来使硬件处理器302确定与视频内容项的帧相关联的旋转值，基于与视频内容项相关联的旋转值确定是否应当生成视频内容项的一个或多个附加指纹，通过应用旋转转换生成转换后的视频内容项，并生成该转换后的视频内容项的一个或多个附加指纹，确定转换后的指纹是否与参考视频内容项相匹配，和/或响应于确定与转换后的视频内容项相关联的转换的指纹与参考视频内容项相匹配而采取行动(例如，标记用户帐户、标记上传了转换后的视频内容项的频道或媒体源、移除视频内容项，使得禁止内容服务器的其它用户消费该视频内容项等)，和/或履行任何其它合适的动作。在一些实施例中，硬件处理器302能够由存储在用户设备206的存储器和/或存储设备304中的计算机程序控制。例如，计算机程序能够使硬件处理器302将视频内容项传输到一个或多个服务器202，和/或执行任何其它合适的动作。
在一些实施例中，存储器和/或存储设备304能够是用于存储程序、数据、媒体内容、广告和/或任何其它合适的信息的任何合适的存储器和/或存储设备。例如，存储器和/或存储器304能够包括随机存取存储器、只读存储器、闪存、硬盘存储器、光学媒体和/或任何其它合适的存储器。
在一些实施例中，输入设备控制器306能够是用于控制和接收来自一个或多个输入设备308的输入的任何合适的电路。例如，输入设备控制器406能够是用于接收来自触摸屏、键盘、鼠标、一个或多个按钮、语音识别电路、麦克风、相机、光学传感器、加速度计、温度传感器、近场传感器和/或任何其它类型的输入设备的输入的电路。在另一示例中，输入设备控制器406能够是用于接收来自可头戴式设备的输入的电路(例如，用于呈现虚拟现实内容或增强现实内容)。
在一些实施例中，显示/音频驱动器310能够是用于控制和驱动到一个或多个显示/音频输出设备312的输出的任何合适的电路。例如，显示/音频驱动器310能够是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器和/或任何其它合适的显示设备和/或呈现设备的电路。
一个或多个通信接口314能够是用于与一个或多个通信网络接合的任何合适的电路，诸如，如图2中所示的网络204。例如，一个或多个接口314能够包括网络接口卡电路、无线通信电路和/或任何其它合适类型的通信网络电路。
在一些实施例中，天线316能够是用于与通信网络(例如，通信网络204)无线通信的任何合适的一个或多个天线。在一些实施例中，能够省略天线316。
在一些实施例中，总线318能够是用于在两个或多个部件302、部件304、部件306、部件310和部件314之间进行通信的任何合适的机构。
根据一些实施例，任何其它合适的部件能够被包括在硬件300中。
转到图4，根据所公开的主题的一些实施例，示出了用于生成和执行与视频内容项相关的一个或多个查询转换的过程的说明性示例400。在一些实施例中，过程500的模块能够在抑或多个服务器302上执行。
图4示出了根据所公开主题的一些实施例的用于检测和转换旋转的视频内容项的过程的说明性示例。
过程400能够通过在410接收包括多个帧的视频内容项开始。例如，过程400能够访问存储在内容服务器上的上传视频内容项，其中视频内容项具有一个或多个表示视频内容项的关联指纹。在另一个示例中，过程400能够选择满足特定标准(例如，上传日期、观看次数等)的特定视频内容项。在又一个示例中，过程400能够接收已经由具有用户帐户的用户上传的视频内容项。
在一些实施例中，过程400能够接收与检测规避技术相关联的滥用标准，该规避技术可能已经被应用于一个或多个视频内容项以及示例性视频内容项(例如，可能已应用规避技术的视频内容项的链接)。接收到的滥用标准能够包括一个或多个术语，这些术语描述了一种可能已被应用于一个或多个视频内容项的规避技术，诸如视频内容项在特定时间在视频内容项内旋转的特定角度。例如，过程400能够呈现提示用户输入与已经由用户观察到的与规避技术相关联的滥用标准的用户界面。
在一些实施例中，在420处，过程400能够为视频内容项的多个帧中的每个帧确定与帧相关联的旋转值或旋转预测。例如，过程400能够将视频内容项的每个帧应用于旋转分类器，该旋转分类器被训练成将图像信息分类为可能属于多个类别中的一个类别，其中每个类别表示特定数量的旋转角度。在更特定的示例中，训练后的旋转分类器能够被用于预测输入视频帧是否已旋转90度的倍数，例如0度、90度、180度或270度。
应当注意，能够为视频内容项的任何合适的数量的帧确定旋转值。例如，在一些实施例中，过程400能够将视频内容项的每个帧作为输入提供到旋转分类器，并且能够获取视频内容项的每个帧的旋转值。在另一个示例中，在一些实施例中，过程400能够以任何合适的间隔或以不同的间隔来选择特定帧。在更特定的示例中，过程400能够在视频内容项的前三十秒以两个第二间隔从视频内容项中提取帧，并以五个第二间隔从视频内容项中提取其余视频内容项的帧。在另一更特定的示例中，过程400能够基于视频内容项的总长度以特定间隔从视频内容项提取帧(例如，如果视频内容项的长度超过十分钟，则每十秒钟一帧)。
在一些实施例中，在430处，过程400还能够使用与每个旋转值相关联的确定的概率作为置信度值或置信度的指示。例如，在420处，旋转分类器能够生成输出，该输出指示视频内容项的特定帧尚未旋转且因此属于0度旋转分类的可能性为90％。在另一个示例中，在420处，旋转分类器能够生成输出，该输出指示视频内容项的特定帧已经旋转270度的可能性为10％。
在一些实施例中，在440处，过程400能够至少部分地基于所确定的置信度值来关联和存储视频内容项的特定数量的旋转值。继续在上面的示例中，过程400能够选择特定数量的旋转值(例如，十个旋转值或任何其它合适的数量)，其中每个旋转值具有属于特定旋转类别的概率大于概率阈值(例如，80％的概率属于该旋转类别)。在另一示例中，过程400能够继续从视频内容项的不同帧获得旋转值或旋转预测，直到它已经获得特定数量的具有属于大于特定概率阈值的旋转分类的置信度或可能性的旋转预测为止。
在一些实施例中，在450处，过程400能够基于所存储的旋转值来确定总旋转输出以与视频内容项相关联。例如，过程400能够从所存储的旋转值中确定最常见的旋转类别，并选择该旋转类别作为视频内容项的总旋转输出(例如，视频内容项的总旋转输出为90度)。在另一示例中，过程400能够通过其对应的概率对所述旋转值中的每一个旋转值进行加权，并且基于该加权的旋转值来确定总旋转输出。
在一些实施例中，在460处，过程400能够基于总旋转输出来确定是否应当生成视频内容项的附加指纹。例如，基于视频内容项或视频内容项的一部分的预测旋转并且基于接收到的视频内容项，过程400能够确定是否应当生成一个或多个附加指纹。
应当注意，在一些实施例中，过程400能够响应于指示视频内容项已经旋转0度(不旋转)或180度(视频内容项的翻转版本)的总旋转输出来确定不应生成视频内容项的附加指纹。例如，在410处接收的视频内容项能够与如下翻转的指纹相关联，即：基于与视频内容项的上传版本相关联的散列值和与视频内容项的上传版本的竖直翻转版本相关联的散列值生成。例如，这能够减少生成的附加指纹的数量。
参照图4，响应于在460处确定应生成至少一个附加指纹，过程400能够选择旋转转换并将所选择的旋转转换应用到在410接收到的视频内容项的上传版本。例如，响应于确定总旋转输出是90度或270度，过程400能够使用视频编辑应用程序以选择适当的旋转转换，该转换将视频内容项的上传版本的定向返回到0度(不旋转)。在应用适当的旋转转换时，能够获得转换后的视频内容项。
在一些实施例中，在480处，过程400能够使用任何合适的指纹识别技术来生成转换后的视频内容项的一个或多个指纹表示(例如，视频指纹、音频指纹、旋律指纹，任何合适类型的指纹分析和/或其任何合适组合)。在更具体的示例中，一种指纹技术能够包括确定识别视频内容项的时频表示的局部特征的独特特征的各个兴趣点。这能够包括例如识别与视频内容项相关联的光谱图的独特特征。兴趣点能够定义为特定时间段内的特定频率的光谱峰值或光谱事件。在一些实施例中，兴趣点还能够包括音符(note)开始的时间。然后能够生成一个或多个指纹作为兴趣点的集的功能。
应当注意，能够生成转换后的视频内容项的指纹以表示整个转换后的视频内容项或视频内容项的一部分。例如，响应于确定视频内容项的一部分被旋转特定角度(例如270度)，过程400能够选择视频内容项的该部分，转换该视频内容项的所选部分，并生成一个或多个指纹，这些指纹表示视频内容项的转换部分。
在一些实施例中，能够使用多种指纹识别技术来生成与转换后的视频内容项相关联的多个指纹。例如，能够生成表示视频内容项的视频部分的第一指纹，能够生成表示视频内容项的背景音频部分的第二指纹，能够生成表示视频内容项内重复播放的歌曲的第三指纹，能够生成表示视频内容项的语音部分的第四指纹，和/或能够生成表示与视频内容项内的片头字幕相对应的视频部分的第五指纹。
图5示出了根据所公开的主题的一些实施例的用于使用转换后的视频内容项的指纹来检测视频内容项的滥用或未授权上传的过程的说明性示例。
转到图5，响应于获得转换后的视频内容项的指纹或其它合适的紧凑表示，在510处，过程500能够确定所生成的指纹是否与参考内容项或存储的内容项的任何其它部分相匹配。例如，能够将为表示转换后的视频内容项而生成的一个或多个指纹与参考内容项(例如，受版权保护的视频的数据库、受版权保护的音轨的数据库和/或任何其它合适的内容项)的参考指纹进行比较。
在一些实施例中，在520处，响应于确定转换后的视频内容项的指纹或其它合适的紧凑表示与参考内容项相匹配(例如，至少在对应于转换后的视频内容项的指纹的阈值量与对应于参考内容项的参考指纹相匹配的情况下)，过程500能够对与转换后的视频内容项相对应的视频内容项履行动作。
例如，在一些实施例中，响应于确定转换后的视频内容项的指纹或其它合适的紧凑表示与参考内容项相匹配，能够以任何合适的方式对视频内容项进行标记和/或标出。在一个更特定的示例中，在一些实施例中，过程500能够标记视频内容项的标识符，从而使视频内容项被标记为手动查看，以验证规避技术是否被应用到该视频内容项(例如，转换后的视频内容项与特定的受版权保护的视频内容项相匹配)。在一些这样的实施例中，过程500能够包括任何其它合适的信息，诸如与视频内容项的标记部分相对应的帧号，与视频内容项产生相匹配的参考内容项的标识符和/或任何其它合适的信息。
在一些实施例中，过程500能够抑制或阻止将视频内容项呈现给其它观看者，这是因为可能应用了规避技术，其中视频内容项被旋转了特定数量的角度，并且可能包含受版权保护的视频内容项。例如，过程500能够使警告消息代替视频内容项被呈现。在另一个示例中，过程500能够修改视频内容项(例如，防止移动到特定视点、改变与视频内容项相关联的视频和/或音频内容等等)。
在一些实施例中，过程500能够确定与上传了视频内容项的用户相关联的用户帐户，该视频内容项具有应用的规避技术，其中视频内容项被旋转了特定的度数。例如，过程500能够将检测到的应用于已上传的视频内容项的规避技术的通知发送到用户帐户。在另一个示例中，过程500能够禁止或阻止与用户账户相关联的视频内容项被呈现给其它观看者。
替代地，响应于确定转换后的视频内容项的指纹或其它合适的紧凑表示与参考内容项不匹配，能够以任何合适的方式对视频内容项进行标记和/或标出。例如，在一些实施例中，过程500能够用指示该视频内容项已经因特定滥用查询和特定转换而被清除的标识符来标记视频内容项。
在一些实施例中，图4和图5的过程的上述模块中的至少一些模块能够以任何顺序或序列执行或履行，而不限于附图所示和结合附图描述的顺序和序列。另外，在适当地或并行地的情况下，图4和图5的模块能够基本同时执行或履行以减少等待时间和处理时间。附加地或替代地，图4和图5的过程中的上述模块中的一些模块能够被省略。
在一些实施例中，任何合适的计算机可读介质能够被用于存储用于履行本文的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质能够是暂时的或非暂时的。例如，非暂时性计算机可读介质能够包括如下介质，诸如磁性介质(诸如硬盘、软盘和/或任何其它合适的磁介质)，光学介质(诸如光盘、数字视频光盘、蓝光光盘和/或其它任何合适的光学介质)，半导体介质(诸如闪存、电可编程只读存储器(EPROM)，电可擦可编程只读存储器(EEPROM和/或任何其它合适的半导体介质)，在传输期间不会短暂或没有永久性外观的任何合适的介质，和/或任何合适的有形介质。作为另一个示例，瞬态计算机可读介质能够包括在网络、电线、导体、光纤、电路，在传输期间短暂且没有永久性表现的任何合适的介质和/或任何合适的无形介质中的信号。
在本文中描述的系统收集有关用户的个人信息或利用个人信息的情况下，可以为用户提供控制程序或特征是否收集用户信息(例如，有关用户的社交网络、社交行为或活动、职业、用户的偏好或用户的当前位置的信息)的机会。此外，在存储或使用某些数据之前，可能会以一种或多种方式处理某些数据，使得个人信息被移除。例如，可以处理用户的身份，使得无法为该用户确定任何个人信息，或者可以在获得位置信息(诸如到城市、邮政编码或州级别)的地方概括用户的地理位置，使得不能确定用户的特定位置。因此，用户可以控制如何收集与用户相关的信息以及如何通过内容服务器使用上述信息。
因此，提供了用于检测和转换旋转的视频内容项的方法、系统和介质。
尽管已经在前述说明性实施例中描述和说明了本发明，但是应当理解，本公开仅是通过示例的方式进行的，并且能够在不脱离本发明的精神和范围的情况下对本发明的事实方式的细节进行许多改变，本发明的精神和范围仅由所附权利要求书限定。所公开的实施例的特征能够以各种方式组合和重新布置。

Claims (9)

1.一种用于检测未经授权的内容项的计算机实现的方法，所述方法包括：
使用硬件处理器接收具有多个帧的视频，其中所述视频与第一指纹相关联；
使用所述硬件处理器确定与所述多个帧的至少一部分相关联的旋转值以获得多个旋转值；
使用所述硬件处理器基于所述多个旋转值中的一部分来确定与所述视频相关联的总旋转值；
使用所述硬件处理器基于所述总旋转值确定是否应生成所述视频的至少一个附加指纹；
响应于基于所述总旋转值确定应生成所述视频的至少一个附加指纹，使用所述硬件处理器基于所述总旋转值来选择旋转转换，所述旋转转换将所述视频的所述多个帧旋转到初始旋转位置；
使用所述硬件处理器将所述旋转转换应用到所述视频的所述多个帧的至少一部分；
使用所述硬件处理器生成第二指纹，所述第二指纹表示转换后的视频；以及
使用所述硬件处理器将所述转换后的视频的所述第二指纹与和参考视频相关联的多个指纹进行比较，以确定与所述转换后的视频相对应的视频是否与所述参考视频中的一个参考视频相匹配。
2.根据权利要求1所述的计算机实现的方法，其中，每个旋转值与置信度值相关联，其中，所述方法还包括：
基于所述置信度值选择所述多个旋转值的子集，并且其中，基于所述多个旋转值的所述子集确定所述总旋转值。
3.根据权利要求1或2所述的计算机实现的方法，其中，响应于确定所述总旋转值与所述初始旋转位置正交而生成所述第二指纹。
4.根据前述权利要求中的任一项所述的计算机实现的方法，还包括：响应于确定所述总旋转值指示所接收到的视频是原始视频的竖直翻转版本而禁止生成所述第二指纹。
5.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第二指纹表示所述转换后的视频的至少一部分。
6.根据前述权利要求中的任一项所述的计算机实现的方法，还包括：响应于确定与所述转换后的视频相对应的视频与所述参考视频中的一个参考视频以至少阈值量相匹配而使得将所述匹配的指示发送到计算设备。
7.根据前述权利要求中的任一项所述的计算机实现的方法，还包括：生成多个附加指纹，每个所述附加指纹表示所述转换后的视频的特征。
8.一种用于检测未授权内容项的系统，所述系统包括：
存储器；以及
硬件处理器，所述硬件处理器在执行存储在所述存储器中的计算机可执行指令时被构造成实现根据前述权利要求中的任一项所述的方法。
9.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含计算机可执行指令，所述计算机可执行指令在由处理器执行时使所述处理器执行根据权利要求1至7中的任一项所述的方法。
CN201780091429.8A 2017-12-13 2017-12-13 用于检测和转换旋转的视频内容项的方法、系统和介质 Active CN110709841B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/066116 WO2019117892A1 (en) 2017-12-13 2017-12-13 Methods, systems, and media for detecting and transforming rotated video content items

Publications (2)

Publication Number Publication Date
CN110709841A true CN110709841A (zh) 2020-01-17
CN110709841B CN110709841B (zh) 2023-09-12

Family

ID=60923922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780091429.8A Active CN110709841B (zh) 2017-12-13 2017-12-13 用于检测和转换旋转的视频内容项的方法、系统和介质

Country Status (4)

Country Link
US (1) US10904586B2 (zh)
EP (1) EP3616104B1 (zh)
CN (1) CN110709841B (zh)
WO (1) WO2019117892A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853659B2 (en) 2017-05-05 2020-12-01 Google Llc Methods, systems, and media for adaptive presentation of a video content item based on an area of interest
JP7115376B2 (ja) * 2019-03-18 2022-08-09 日本電信電話株式会社 回転状態推定装置、方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106465A1 (en) * 2007-02-26 2008-09-04 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified video signals
US20090031326A1 (en) * 2007-07-27 2009-01-29 Audible Magic Corporation System for identifying content of digital data
CN101473657A (zh) * 2006-06-20 2009-07-01 皇家飞利浦电子股份有限公司 产生视频信号的指纹
CN101635851A (zh) * 2009-08-24 2010-01-27 清华大学 视频指纹提取方法
US20100211794A1 (en) * 2009-02-13 2010-08-19 Auditude, Inc. Extraction of Video Fingerprints and Identification of Multimedia Using Video Fingerprinting
US20120213438A1 (en) * 2011-02-23 2012-08-23 Rovi Technologies Corporation Method and apparatus for identifying video program material or content via filter banks
CN105959686A (zh) * 2016-06-22 2016-09-21 腾讯科技（深圳）有限公司 一种视频特征提取方法、视频匹配方法及装置
US20170155933A1 (en) * 2014-06-05 2017-06-01 Friend for Media Limited Security and/or tracing video media-content

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731335B2 (en) 2011-11-28 2014-05-20 Ati Technologies Ulc Method and apparatus for correcting rotation of video frames
US8989376B2 (en) 2012-03-29 2015-03-24 Alcatel Lucent Method and apparatus for authenticating video content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101473657A (zh) * 2006-06-20 2009-07-01 皇家飞利浦电子股份有限公司 产生视频信号的指纹
WO2008106465A1 (en) * 2007-02-26 2008-09-04 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified video signals
US20090031326A1 (en) * 2007-07-27 2009-01-29 Audible Magic Corporation System for identifying content of digital data
US20100211794A1 (en) * 2009-02-13 2010-08-19 Auditude, Inc. Extraction of Video Fingerprints and Identification of Multimedia Using Video Fingerprinting
CN101635851A (zh) * 2009-08-24 2010-01-27 清华大学 视频指纹提取方法
US20120213438A1 (en) * 2011-02-23 2012-08-23 Rovi Technologies Corporation Method and apparatus for identifying video program material or content via filter banks
US20170155933A1 (en) * 2014-06-05 2017-06-01 Friend for Media Limited Security and/or tracing video media-content
CN105959686A (zh) * 2016-06-22 2016-09-21 腾讯科技（深圳）有限公司 一种视频特征提取方法、视频匹配方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MANI MALEK ESMAEILI ET AL.: ""A Robust and Fast Video Copy Detection System Using Content-Based Fingerprinting"", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 *
孙锐等: ""采用压缩传感的鲁棒的视频指纹方案"", 《中国图象图形学报》 *

Also Published As

Publication number Publication date
US20200162770A1 (en) 2020-05-21
WO2019117892A1 (en) 2019-06-20
EP3616104A1 (en) 2020-03-04
CN110709841B (zh) 2023-09-12
US10904586B2 (en) 2021-01-26
EP3616104B1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
US11917223B2 (en) Methods, systems, and media for presenting media content items belonging to a media content group
US9110988B1 (en) Methods, systems, and media for aggregating and presenting multiple videos of an event
US10430835B2 (en) Methods, systems, and media for language identification of a media content item based on comments
US11816111B2 (en) Methods, systems, and media for presenting related media content items
US20150185599A1 (en) Audio based on captured image data of visual content
CN111095939B (zh) 识别媒体项目的先前流传输部分以避免重复重放
WO2013049451A1 (en) Method and system for automated labeling at scale of motion-detected events in video surveillance
US12120154B2 (en) Filtering video content items
JP2020513705A (ja) ビデオフレームの複数の部分のフィンガープリントを生成することによって立体ビデオを検出するための方法、システム、および媒体
CN110709841B (zh) 用于检测和转换旋转的视频内容项的方法、系统和介质
US20160027050A1 (en) Method of providing advertisement service using cloud album
EP3528151A1 (en) Method and apparatus for user authentication
US9749690B2 (en) System for collecting metadata of a video data in a video data providing system and method thereof
Ghanem et al. Context-aware learning for automatic sports highlight recognition
US11700285B2 (en) Filtering video content items
CN112445921B (zh) 摘要生成方法和装置
EP3596628B1 (en) Methods, systems and media for transforming fingerprints to detect unauthorized media content items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant