CN113784153A - 检测相似直播流媒体项的方法、系统和计算机可读介质 - Google Patents
检测相似直播流媒体项的方法、系统和计算机可读介质 Download PDFInfo
- Publication number
- CN113784153A CN113784153A CN202110856297.1A CN202110856297A CN113784153A CN 113784153 A CN113784153 A CN 113784153A CN 202110856297 A CN202110856297 A CN 202110856297A CN 113784153 A CN113784153 A CN 113784153A
- Authority
- CN
- China
- Prior art keywords
- media item
- segment
- probe
- similarity
- probe media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000000523 sample Substances 0.000 claims abstract description 289
- 230000000246 remedial effect Effects 0.000 claims abstract description 61
- 230000004044 response Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 44
- 230000015654 memory Effects 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 81
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及检测相似直播流媒体项的方法、系统和计算机可读介质。一种系统和方法包括接收作为事件的第一直播流发送的探测媒体项的第一段。该方法包括在第一延迟时段之后确定探测媒体项的第一段是否与作为事件的第二直播流发送并且在探测媒体项之后接收的第一参考媒体项的第一段相似。该方法包括在第一延迟时段之后确定探测媒体项的第二段是否与第一参考媒体项的第二段相似。该方法还包括响应于确定探测媒体项的第一段和第二段分别与第一参考媒体项的第一段和第二段相似,执行与探测媒体项相关联的补救动作。
Description
分案说明
本申请属于申请日为2017年9月28日的中国发明专利申请No.201780075362.9的分案申请。
技术领域
本公开涉及内容共享平台领域,并且具体地,涉及检测在参考内容之前摄取的相似直播流内容。
背景技术
经由互联网连接的社交网络允许用户彼此连接并彼此共享信息。许多社交网络包括允许用户上传、查看和共享诸如视频项、图像项和音频项等的内容的内容共享方面。社交网络的其他用户可以评论共享内容,发现新内容,定位更新,共享内容,以及以其他方式与所提供的内容交互。共享内容可以包括来自专业内容创建者的内容,例如,电影剪辑、电视剪辑和音乐视频项以及来自业余内容创建者的内容,例如视频博客和短原始视频项。
用户对内容共享平台的一种用途是上传由内容平台发送的媒体项作为事件的直播流。“直播流”可以是直播事件的现场直播或发送,其中,媒体项(例如,事件的音频、视觉或视听媒体项)在事件发生的基本上同时发送(尽管通常受到在将媒体项上传到内容平台和内容平台发送媒体项的过程中引起的微小时间延迟的影响)。由于许多用户通常能够将媒体项上传到内容共享平台,所以可能发生两个或更多个用户将表示相同直播事件的媒体项上传到内容平台,使得内容共享平台发送相同事件的多个直播流,这可能是不合需要的——例如,这可能是对网络资源的浪费。
发明内容
以下是本公开的简化汇总,以便提供对本公开的一些方面的基本理解。该汇总不是本公开的广泛概述。其既不旨在标识本公开的关键或重要元素,也不旨在描绘本公开的特定实现的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本公开的一些概念来作为对于稍后呈现的更详细描述的序言。
在一种实现中,一种方法包括识别作为事件的直播流发送的相似媒体项。该方法包括接收作为事件的第一直播流发送的探测媒体项的第一段。该方法还包括确定探测媒体项的第一段是否与作为事件的另一个直播流发送并且不迟于探测媒体项接收的任何参考媒体项的第一段相似。该方法包括响应于确定探测媒体项的第一段与不迟于探测媒体项接收的任何参考媒体项的第一段不相似,在第一延迟时段之后确定探测媒体项的第一段是否与作为事件的第二直播流发送并且在探测媒体项之后接收的第一参考媒体项的第一段相似。该方法包括响应于在第一延迟时段之后确定探测媒体项的第一段与在探测媒体项之后接收的第一参考媒体项的第一段相似,在第一延迟时段之后确定探测媒体项的第二段是否与第一参考媒体项的第二段相似。该方法包括响应于在第一延迟时段之后确定探测媒体项的第一段和第二段分别与第一参考媒体项的第一段和第二段相似,确定探测媒体项和参考媒体项表示相同的事件(即,是同一事件的直播流),并且另外地或替代地执行与探测媒体项相关联的动作。(应当注意,短语“第一段”和“第二段”用于标识媒体项的两个不同段,其是在专利或专利申请中常规的;术语“第一段”不要求“第一段”是要作为事件的直播流发送的参考或探测媒体项的第一段;相似地,“第二段”不需要是要发送的参考或探测媒体项的第二段。)该动作可以处理相同事件的多个直播流的发送,并且可以例如包括以下中的一个或多个:静音或阻止诸如探测流之类的一个直播流的显示,阻止诸如探测流的直播流之一的发送,或请求或指示阻止诸如探测流之类的直播流之一的发送。
在另一实现中,该方法包括响应于确定探测媒体项的第一段与在探测媒体项之后接收的第一参考媒体项的第一段不相似,在第二延迟时段之后确定探测媒体项的第一段是否与作为事件的第三直播流发送并且在探测媒体项之后接收的第二参考媒体项的第一段相似。该方法包括响应于在第二延迟时段之后确定探测媒体项的第一段与在探测媒体项之后接收的第二参考媒体项的第一段相似,在第二延迟时段之后确定探测媒体项的第二段是否与第二参考媒体项的第二段相似。该方法还包括响应于在第二延迟时段之后确定探测媒体项的第一段和第二段分别与第二参考媒体项的第一段和第二段相似,确定探测媒体项和参考媒体项表示相同的事件(即,是同一事件的直播流),并且另外地或替代地执行与探测媒体项相关联的动作。
在一种实现中,确定探测媒体项的第一段是否与作为事件的另一个直播流发送并且不迟于探测媒体项接收的任何参考媒体项的第一段相似,该方法包括:为探测媒体项的第一段生成第一探测指纹。该方法还包括将第一探测指纹和与不迟于探测媒体项接收的多个参考媒体项的多个段相关联的多个参考指纹相比较,以确定在探测媒体项的第一段与多个参考媒体项中的任何参考媒体项的段之间的相似度。
在一种实现中,在第一延迟时段之后,确定探测媒体项的第一段是否与作为事件的第二直播流发送并且在探测媒体项之后接收的第一参考媒体项的第一段相似,该方法包括确定第一延迟时段。在第一延迟时段之后,该方法包括将第一探测指纹和与第一参考媒体项的第一段相关联的第一参考指纹进行比较,以确定在探测媒体项的第一段与第一参考媒体项的第一段之间的相似度。响应于确定在探测媒体项的第一段与第一参考媒体项的第一段之间的相似度,该方法包括将第一相似度值聚合到与探测媒体项相关联的相似度分值。
在一种实现中,在第一延迟时段之后确定探测媒体项的第二段是否与第一参考媒体项的第二段相似,该方法包括:在第一延迟时段之后,将与探测媒体项的第二段相关联的第二探测指纹和与第一参考媒体项的第二段相关联的第二参考指纹进行比较,以确定在探测媒体项的第二段和第一参考媒体项的第二段之间的相似度。该方法还包括响应于确定在探测媒体项的第二段和第一参考媒体项的第二段之间的相似度,将第二相似度值聚合到与探测媒体项相关联的相似度分值。
在另一实现中,执行与探测媒体项相关联的补救动作,该方法包括将与探测媒体项相关联的相似度分值与第一相似度阈值进行比较。相似度分值指示在探测媒体项与第一参考媒体项之间的相似度。响应于确定相似度分值大于或等于第一相似度阈值,该方法执行补救动作。在一些实现中,补救动作包括下述动作中的一个:向与探测媒体项的发送相关联的用户账户发送警告通知;使探测媒体项静音;阻止探测媒体项的视频内容的显示;或终止探测媒体项的发送。
在一些实现中,执行与探测媒体项相关联的补救动作,该方法包括将与探测媒体项相关联的相似度分值与第二相似度阈值进行比较。该方法还包括响应于确定相似度分值大于或等于第一相似度阈值并且低于第二相似度阈值,执行补救动作,所述补救动作包括下述动作中的至少一个:向与探测媒体项的发送相关联的用户账户发送警告通知;使探测媒体项静音;或阻止探测媒体项的视频内容的显示。响应于确定相似度分值大于或等于第二相似度阈值,该方法包括通过终止探测媒体项的发送来执行补救动作。
在多个实现中,第一延迟时段在3分钟至15分钟的范围内。在多个实现中,探测媒体项是视频媒体项。在多个实现中,探测媒体项是音频媒体项。
在任何所述实现中,媒体项的段可以具有2分钟或更短的长度,可以具有1分钟或更短的长度,或者可以具有30秒或更短的长度。所有段都没有必要具有相同的长度(尽管它们可以这样做);例如,探测[参考]媒体项的第一段不需要具有与探测[参考]媒体项的第二段相同的长度。
在另外的多个实现中,公开了用于执行上述实现的操作的一个或多个处理设备。另外,在本公开的实现中,计算机可读存储介质(其可以是非暂时性计算机可读存储介质,尽管该实现不限于此)存储用于执行包括根据此处描述的任何示例或实现的方法的操作的指令。同样在其他实现中,还公开了用于执行所描述的实现的操作的系统。例如,这样的系统可以包括存储器和处理设备,处理设备耦合到存储器并且被配置为执行包括根据本文描述的任何示例或实现的方法的操作。
附图说明
将从以下给出的详细描述和本公开的各种实现的附图中更全面地理解本公开的各种实现。
图1示出了根据本公开的一种实现的示例系统架构
图2是根据本公开的实现的直播流相似度检测模块的示例使用。
图3是示出根据一些实现的用于使用直播流相似度检测模块确定媒体项之间的相似度的方法的流程图。
图4是示出根据一些实现的用于确定在探测媒体项和探测媒体项之后接收的参考媒体项之间的相似度的方法的流程图。
图5是示出根据一些实现的用于执行与探测媒体项相关联的补救动作的方法的流程图。
图6是示出根据一些实现的示例性计算机系统的框图。
具体实施方式
诸如视频项(也称为“视频”)之类的媒体项可以由视频所有者(例如,被授权代表视频创建者上传视频项的视频创建者或视频发布者)上传到内容共享平台,用于作为事件的直播流发送,以供内容共享平台的用户通过其用户设备消费。直播流可以是直播事件的直播或发送,其中,视频项在事件发生时被同时发送。视频所有者(也是内容共享平台的用户)可能希望防止其他用户将与所有者上传的视频项相似的视频项上传到内容共享平台,防止相似的视频项作为事件的直播流发送,或对内容共享平台上相似视频项的使用施加一些限制。
除了视频所有者和未被授权上传视频项的某人之外的用户可以将另一视频项上传到内容共享平台以作为该事件的另一个直播流进行发送。可以针对签名(例如是各种视频项的指纹,包括所有者上传的视频项的指纹(这里称为参考视频项))的数据库扫描用户上传的视频项(此处称为探测视频项),以确定用户上传的视频项(探测视频项)是否与在数据库中表示的任何视频项相似。如果基于指纹扫描确定探测视频项与所有者上传的视频项(参考视频项)相似,则视频所有者可以决定应该对探测视频项做什么(例如,是否通知应该被发送到与探测视频项关联的用户账户,或者是否应该对探测视频项进行静音、阻止、删除、货币化、跟踪等)。然而,在一些情况下,探测视频项可能在参考视频项的上传之前被上传到内容共享平台。例如,由于所有者的基础设施限制引起的延迟问题,可能会延迟参考视频项的上传。关于在上传参考视频项之前上传并随后作为直播流发送的探测视频项,至少因为参考视频项可能无法与探测视频项进行比较,确定探测视频项与参考视频项相似可能呈现挑战。
在探测媒体项之后接收参考媒体项的情况下,一些系统通过采用探测媒体项的大块(例如,10分钟)来确定探测媒体项是否与任何参考媒体项相似,并且周期性地执行查找(例如,与参考媒体项的比较)以确定探测媒体项是否与任何参考媒体项相似。大块包括大量数据,并且使用这样大块的单个查找可以确定探测媒体项是否与任何参考媒体项相似。可以使用相同的大块来执行周期查找。使用大的数据块执行查找需要大量的计算和存储资源,尤其是在处理大量媒体项和大量数据业务时。
本公开的各方面通过下述方式来解决上述和其他缺陷:在延迟时段之后执行作为直播流发送的探测媒体项的第一段的查找以确定探测媒体项的第一段与参考媒体项的第一段相似,并且在延迟时段之后响应于先前查找,执行探测媒体项的第二段的查找以确定第二段与参考媒体项的第二段相似。参考媒体项可以作为事件的另一个直播流发送,并在探测媒体项之后被接收。(对“在延迟时段之后执行探测媒体项的第一段的查找...”的引用意味着将探测媒体项的第一段与比探测媒体项的第一段晚了等于延迟时间的时间接收的参考媒体项的段进行比较,等等。)
在多个实现中,直播流相似度检测可以指执行两个媒体项(例如,探测媒体项和参考媒体项)的多个段之间的比较以确定该两个媒体项之间的相似度,其中,在作为事件的直播流发送的探测媒体项之前、同时或之前接收参考媒体项。相似度可以是两个媒体项之间的细节或特征中的一致或对应。相似度概率可以是两个媒体项相似的可能性的度量,其中,100%相似度概率可以指示两个媒体项是精确匹配,并且0%相似度概率可以指示两个媒体项完全不同。
与使用相同数据块周期性地执行查找相比,本公开的各方面导致存储资源的显著减少和计算(处理)资源的显著减少,因为直播流相似度检测比较了比大的数据块明显更小(例如,1分钟)的探测媒体项的段,并且在定义的延迟时段之后比较不同的小段而不是比周期性地比较相同的大的数据块。
可以注意到,出于说明而非限制的目的,以下描述描述了对视频项执行直播流相似度检测。还可以注意到,可以对除视频项或媒体项之外的各种数据对象执行多步序列对齐。
为了清楚和简单的目的,术语“探测媒体项”可以指媒体项(例如,媒体项的电子文件)。例如,探测视频项指的是视频项。术语“探测段”可以指探测媒体项的段。术语“探测指纹”可以指探测媒体项的一个或多个指纹。同样,术语“参考媒体项”可以指代另一媒体项。例如,参考视频项指的是另一个视频项。术语“参考段”可以指参考媒体项的段。术语“参考指纹”可以指参考媒体项的一个或多个指纹。
图1示出了根据本公开的一种实现的示例系统架构100。系统架构100包括客户端设备110A到110Z、网络105、数据存储106、内容共享平台120和服务器130。
在一种实现中,网络105可以包括公共网络(例如,互联网)、专用网络(例如,局域网(LAN)或广域网(WAN))、有线网络(例如,以太网)、无线网络(例如,802.11网络或Wi-Fi网络)、蜂窝网络(例如,长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机和/或其组合。
在一种实现中,数据存储106可以是存储器(例如,随机存取存储器)、高速缓存、驱动器(例如,硬盘驱动器)、闪存驱动器、数据库系统或能够存储数据的另一种类型组件或设备。数据存储106还可以包括多个存储组件(例如,多个驱动器或多个数据库),其也可以跨越多个计算设备(例如,多个服务器计算机)。在一种实现中,数据存储106存储诸如视频项的媒体项或表示媒体项的段的指纹。表示媒体项的段的指纹在本文中可称为“指纹”。
客户端设备110A至110Z每个可以包括计算设备,诸如个人计算机(PC)、膝上型计算机、移动电话、智能电话、平板计算机、上网本计算机、网络连接的电视等。在一些实现中,客户端设备110A至110Z也可以称为“用户设备”。每个客户端设备包括媒体查看器111。在一种实现中,媒体查看器111可以是允许用户查看或上传诸如图像、视频项、网页、文档等的内容的应用程序。例如,媒体查看器111可以是能够访问、检索、呈现和/或导航由Web服务器服务的内容(例如,诸如超文本标记语言(HTML)页面的网页、数字媒体项等)的网络浏览器。媒体查看器111可以向用户呈现、显示和/或显现内容(例如,网页、媒体查看器)。媒体查看器111还可以包括嵌入在网页(例如,可以提供关于由在线商家销售的产品的信息的网页)中的嵌入式媒体播放器(例如,播放器或HTML5播放器)。在另一示例中,媒体查看器111可以是允许用户查看数字媒体项(例如,数字视频项、数字图像、电子书籍等)的独立应用程序(例如,移动应用程序或app)。根据本公开的方面,媒体查看器111可以是内容共享平台应用,用于用户记录、编辑和/或上传内容以在内容共享平台上共享。这样,媒体观看者111可以由服务器130和/或内容共享平台120提供给客户端设备110A到110Z。例如,媒体观看者111可以是嵌入在由内容共享平台120提供的网页中的嵌入式媒体播放器。在另一示例中,媒体查看器111可以是从服务器130下载的应用程序。
通常,如果合适,在一种实现中描述为由内容共享平台120执行的功能也可以在其他实现中在客户端设备110A到110Z上执行。另外,归因于特定组件的功能可以由一起操作的不同或多个组件来执行。内容共享平台120还可以作为通过适当的应用程序编程接口提供给其他系统或设备的服务来访问,因此不限于在网站中使用。
在一种实现中,内容共享平台120可以是可用于向用户提供对媒体项的访问和/或向用户提供媒体项的一个或多个计算设备(诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板计算机、台式计算机等)、数据存储(例如,硬盘、存储器、数据库)、网络、软件组件和/或硬件组件。例如,内容共享平台120可以允许用户消费、上传、搜索、赞同(“赞”)、不赞同(“踩”)和/或评论媒体项。内容共享平台120还可以包括可以用于向用户提供对媒体项的访问的网站(例如,网页)或应用后端软件。
在本公开的实现中,“用户”可以表示为单个个体。然而,本公开的其他实现包括作为由一组用户和/或自动源控制的实体的“用户”。例如,联合为社交网络中的社区的一组个人用户可以被视为“用户”。在另一示例中,自动化消费者可以是内容共享平台120的自动摄取管道,诸如主题频道。
内容共享平台120可以包括多个频道(例如,频道A到Z)。频道可以是可从公共源获得的数据内容或具有共同话题、主题或实质的数据内容。数据内容可以是用户选择的数字内容、用户可获得的数字内容、用户上传的数字内容、内容提供商选择的数字内容、广播公司选择的数字内容等。例如,频道X可以包括视频Y和Z。频道可以与所有者相关联,所有者是可以对于频道执行动作的用户。可以基于所有者的动作(例如,所有者制作在频道上可获得的数字内容,所有者选择(例如,点赞)与另一频道相关联的数字内容,所有者评论与另一频道相关联的数字内容等)将不同的行为与频道相关联。可以将与频道相关联的活动收集到频道的活动馈送中。除了频道所有者之外的用户可以订阅他们感兴趣的一个或多个频道。“订阅”的概念也可以称为“点赞”、“专注”和“加为好友”等。
一旦用户订阅了频道,就可以向用户呈现来自频道的活动馈送的信息。如果用户订阅多个频道,则可以将用户订阅的每个频道的活动馈送组合成联合活动馈送。来自联合活动馈送的信息可以呈现给用户。频道可能有自己的馈送。例如,当导航到内容共享平台上的频道的主页时,可以在频道主页上显示由该频道产生的馈送项。用户可以具有联合馈送,该联合馈送是包括来自用户订阅的所有频道的至少一部分内容项的馈送。联合馈送还可以包括来自用户未订阅的频道的内容项。例如,内容共享平台120或其他社交网络可以将推荐的内容项插入到用户的联合馈送中,或者可以在联合的馈送中插入与用户的相关连接相关联的内容项。
每个频道可以包括一个或多个媒体项121。媒体项121的示例可以包括但不限于数字视频、数字电影、数字照片、数字音乐、音频内容、旋律、网站内容、社交媒体更新、电子书(ebook)、电子杂志、数字报纸、数字有声读物、电子期刊、网络博客、简单信息聚合(RSS)馈送、电子漫画书、软件应用等。在一些实现中,媒体项121是也称为内容或内容项。
可以经由互联网和/或经由移动设备应用来消费媒体项121。为了简洁和简单起见,在整个文档中使用视频项作为媒体项121的示例。如这里所使用的,“媒体”、媒体项、“在线媒体项”、“数字媒体”、“数字媒体项”、“内容”和“内容项”可以包括可以使用被配置为向实体呈现数字媒体项的软件、固件或硬件执行或加载的电子文件。在一种实现中,内容共享平台120可以使用数据存储106存储媒体项121。在另一实现中,内容共享平台120可以使用数据存储106将视频项和/或指纹存储为一种或多种格式的电子文件。
在一种实现中,服务器130可以是一个或多个计算设备(例如,机架式服务器、服务器计算机等)。服务器130可以包括在内容共享平台120中,作为独立系统或者作为另一系统/平台的一部分。服务器130可以包括直播流相似度检测模块140。直播流相似度检测模块140使得能够检测在(例如,作为频道的一部分或独立媒体项)上传到内容共享平台120以作为事件的直播流传输的探测媒体项和(例如,作为频道的一部分或独立媒体项)上传到内容共享平台120以作为另一个直播流传输的参考媒体项之间的相似度。可以注意到,在一些实现中,探测媒体项作为事件的直播流被发送,并且参考媒体项不作为事件的直播流被发送,或者作为事件的直播流但使用另一个内容共享平台被发送。在一些实现中,直播流相似度检测模块140可以在被接收时生成媒体项(探测媒体项或参考媒体项)的指纹以促进媒体项的比较。或者,客户端设备110A-110Z可以包括客户端指纹生成器(未示出),其使得能够生成媒体项的指纹。客户端指纹生成器可以独立于服务器130的直播流相似度检测模块140执行本公开的实现,或者可以与直播流相似度检测模块140相结合地工作。尽管以下描述可以涉及直播流相似度检测模块140执行本公开的实现,但是可以理解,直播流相似度检测模块140的功能可以类似地由客户端设备110A-110Z处的客户端侧指纹生成器执行,或者与客户端设备110A-110Z处的客户端侧指纹生成器相结合执行。
在一种实现中,探测媒体项和参考媒体项是视频项。视频项是表示运动中的场景的一组连续视频帧(例如,图像帧)。例如,可连续捕获或稍后重建一系列连续视频帧以产生动画。视频项可以以各种格式呈现,包括但不限于模拟、数字、二维和三维视频。此外,视频项可以包括要按顺序显示的电影、视频剪辑或任何一组动画图像。另外,视频项可以存储为包括视频组件和音频组件的视频文件。视频组件可以指视频译码格式或图像译码格式(例如,H.264(MPEG-4AVC)、H.264MPEG-4第2部分、图形交换格式(GIF)、WebP等)的视频数据。音频组件可以指音频编码格式(例如,高级音频编码(AAC)、MP3等)的音频数据。可以注意到,GIF可以保存为图像文件(例如,.gif文件)或者作为一系列图像保存为动画GIF(例如,GIF89a格式)。可以注意到,H.264可以是视频译码格式,其是例如用于记录、压缩或分发视频内容的基于面向块的运动补偿的视频压缩标准。在一种实现中,视频项的指纹可以是视频项的视频组件的指纹。在其他实现中,视频项的指纹可以是视频项的音频组件的指纹。在其他实现中,视频项的指纹可以是视频项的视频组件和音频组件的指纹。
在一种实现中,用户可以经由客户端设备110A上传诸如视频项的媒体项。上传的视频项可以存储在数据存储106中,或者通过客户端设备110B-110Z作为直播流发送(除了可忽略的延迟之外几乎瞬时)。直播流相似度检测模块140可以为用户上传的视频项(例如,探测视频项)生成多个指纹。多个指纹中的每一个可以表示固定长度(或可变长度)的探测视频项的不同段。探测视频项的多个指纹可以存储在数据存储106处。可以通过直播流相似度检测模块140生成或从客户端设备110接收内容共享平台120的其他视频项(例如,所有者上传的视频项(例如,参考视频项))的指纹。内容共享平台120的视频项的指纹可以存储在数据存储106中。
在一种实现中,直播流相似度检测模块140可以接收作为事件的直播流发送的探测视频项的第一段(例如,探测媒体项的第一个1分钟段)。直播流相似度检测模块140可以生成表示探测视频项的第一段的一个或多个探测指纹。响应于接收第一段(例如,在接收到完整的第一个1分钟段时但在接收到探测媒体项的完整的第二个1分钟段之前),直播流相似度检测模块140可以执行探测视频项的第一段的第一次查找。查找可以指将探测媒体与参考媒体项相比较以确定两者之间的相似度。在一些示例中,查找可以包括将表示探测媒体项的一个或多个段的一个或多个探测指纹与表示参考媒体项的一个或多个段的一个或多个参考指纹进行比较以确定相似度。在一些情况下,其中,参考视频项作为相同事件的直播流被发送并且不迟于探测视频项(在其之前或同时)被发送,直播流相似度检测模块140可以执行初始查找以确定探测视频项的第一段和第二段是否与参考视频项的对应段相似(例如,通过将探测指纹与存储在数据存储106中的参考指纹进行比较)。初始查找可以指在服务器130接收到探测媒体项的一个或多个段之后基本上立即执行的探测媒体项的一个或多个段的一个或多个查找。在一些情况下,其中参考视频项作为相同事件的直播流被发送但是被延迟(例如,延迟3分钟),直播流相似度检测模块140可以考虑到初始查找确定探测视频项的第一段与数据存储106中的任何参考视频项的段不相似,因为尚未接收参考视频项。响应于基于探测视频项的第一段的初始查找确定探测媒体项的第一段与任何参考视频项的段不相似,直播流相似度检测模块140可以在第一延迟时段(例如,5分钟延迟时段)之后发起并执行对探测媒体项的第一段进行辅助查找,以确定探测视频项的第一段是否与作为事件的另一个直播流发送并且在探测视频项后(例如,在延迟3分钟之后)接收到的参考媒体项的第一段相似。辅助查找可以指在服务器130接收到探测媒体项的一个或多个段之后的延迟时段之后执行的探测媒体项的一个或多个段的一个或多个查找。响应于确定探测媒体项的第一段与参考项的对应的第一段相似,直播流相似度检测模块140可以继续辅助查找,并在第一延迟时段之后执行探测媒体项的第二段的查找,以确定探测媒体项的第二段是否与参考媒体项的第二段相似。响应于基于探测视频项的第一段和第二段的查找确定探测视频项的第一段和第二段与第一参考媒体项的第一段和第二段中的对应一个相似,直播流相似度检测模块140可以执行与探测视频项相关联的补救动作。
尽管在内容共享平台和促进内容共享平台上的内容项的社交网络共享方面讨论了本公开的实现,但是实现通常也可以应用于提供用户之间的连接的任何类型的社交网络。本公开的实现不限于向用户提供频道订阅的内容共享平台。
在这里讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况下,可以向用户提供下述机会:控制内容共享平台120是否收集用户信息(例如,关于用户的社交网络、社交活动、专业、用户的偏好或用户的当前位置的信息)的机会,或控制是否和/或如何从内容服务器接收可能与用户更相关的内容。另外,可以在存储或使用之前以一种或多种方式处理某些数据,从而移除个人身份信息。例如,可以处理用户的身份,使得不能为用户确定个人身份信息,或者可以在获得位置信息(例如城市、邮政编码或州级别)的情况下上位化用户的地理位置,使得无法确定用户的具体位置。因此,用户可以控制如何收集关于用户的信息并由内容共享平台120使用该信息。
图2是根据本公开的实现的直播流相似度检测模块的示例使用。系统200示出了直播流相似度检测模块140、探测媒体项201和参考媒体项202。系统200可以包括与参考图1所描述的系统架构100相似的特征。可以注意到,这里可以使用图1的特征来帮助描述图2。可以注意到,探测媒体项201和参考媒体项202都可以作为相同事件的直播流被发送。参考媒体项202可以由媒体项的所有者发送。探测媒体项201可以由除了所有者之外的用户发送。还可以注意到,可以在接收到段之后立即执行探测媒体项201的初始查找,以检测探测媒体项201与在探测媒体项201之前或同时接收的参考媒体项的相似度。可以执行独立段203(P1-Pn)的一个或多个查找作为初始查找的一部分。还可以注意到,可以在延迟时段之后执行一个或多个辅助查找,以检测探测媒体项201与在探测媒体项201之后接收的参考媒体项202的相似度。可以执行各个段203(P1-Pn)的一个或多个查找作为一个或多个辅助查找的一部分。
探测媒体项201被示出为包括段203(例如,P1至Pn)(也称为“探测段”)。参考媒体项202被示出为包括段204(例如,R1至Rn)(也称为“参考段”)。可以注意到,探测媒体项201或参考媒体项202可以包括任何数量的段。段可以是媒体项的一部分。在一些实现中,段可以包括媒体项的连续部分,其具有与其他段不同的开始时间戳和结束时间戳。在一些实现中,段可以是媒体项的非重叠部分。例如,时间轴205示出了从时间“0”开始的1分钟(min)间隔。探测媒体项201的段203每个可以是1分钟长。P1可以具有开始时间戳(0:00分钟)和结束时间戳(1:00分钟),P2可以具有开始时间戳(1:00分钟)和结束时间戳(2:00分钟),P3可以具有开始时间戳(2:00分钟)和结束时间戳(3:00分钟)。可以注意到,提供1分钟长度的段是出于说明而非限制的目的。在其他实现中,段可以是任何长度并且也可以在长度上变化。可以注意到,在多个实现中,段可以保持相对较小,使得执行查找的计算开销也保持很小。相似地,在一些实现中,在采取补救动作之前,发现两个或更多个探测段与相应的参考段相似(例如,而不是仅仅一个大的段)。在一些实现中,在确定探测媒体项201与参考媒体项202相似之前,发现两个或更多个探测段与相应的参考段相似。
系统200还示出了在参考媒体项202之前由系统200接收的探测媒体项201。在一些实现中,在其他媒体项之前接收的媒体项也可以作为直播流被发送或广播到用户设备,以用于在其他媒体项之前消费。可以注意到,探测媒体项201的每个段也在参考媒体项202的相应的段之前被接收(例如,在R1之前两分钟接收P1,并且在R3之前两分钟接收P3)。可以注意到,当媒体项的段被上传到系统200时,段也可以经由系统200作为直播流发送,并且从上传段的时间起以可忽略的延迟作为直播流被发送。还可以注意到,当事件发生时上传作为直播流上传的媒体项的段,并且因此例如在大约1分钟的时间间隔内接收作为直播流上传的媒体项的1分钟段。可以注意到,如本文所述,直播流相似度检测模块140可以与将媒体项作为直播流发送到用户设备同时或串行地执行相似度检测。
如上所述,在参考媒体项202(例如,所有者上传的媒体项)之前接收的探测媒体项201(例如,用户上传的媒体项)可以呈现对于相似度检测的挑战。例如,当系统200接收到探测媒体项201的段P1时,直播流相似度检测模块140可以执行初始查找并在系统200接收到段P1之后执行段P1的查找。由于参考媒体项202还没有到达系统200,所以直播流相似度检测模块140可能不会检测到与段P1相似的段,因为尚未接收到参考媒体项202的对应段R1并且不能检测到相似度。
在一些实现中,相似度检测模块140可以包括指纹生成器210、延迟单元212、指纹相似度比较器214、相似度分值聚合器216、相似度阈值比较器218和补救动作单元220。在一种实现中,在参考媒体项202之前,由直播流相似度检测模块140接收探测媒体项201。在一些实现中,探测媒体项201或参考媒体项202作为相同事件的直播流被发送。
在一种实现中,指纹生成器210为探测媒体项201的特定段(例如,段P1)生成一个或多个指纹。可以注意到,这里使用的指纹可以指代一个或多个指纹,除非另有说明。
在一种实现中,一旦接收到足够的探测媒体项201的帧以构成段(例如,探测媒体项201的1分钟段)并且已生成该段的对应指纹,则直播流相似度检测模块140可以通过经由将表示段P1的指纹(也称为“指纹P1”或“探测指纹P1”)传递到指纹相似度比较器214执行对段(例如,段P1)的查找来发起初始查找。指纹相似度比较器214接收指纹P1并将指纹P1与在探测媒体项201的段P1之前或同时接收的一个或多个参考媒体项的一个或多个指纹进行比较。可以在数据存储206中存储一个或多个参考指纹。在本示例中,由于尚未接收到参考媒体项202的对应段R1,因此直播流相似度检测模块140可能找不到与指纹P1相似的参考指纹。
在一些实现中,指纹相似度比较器214可以产生相似度值。相似度值可以是分配给探测媒体项的段并指示特定探测段是否与任何参考媒体项的参考段相似的值。例如,相似度值可以是整数(例如,对于相似的段为“1”,对于非相似段为“0”)。在另一个示例中,相似度值可以反映被发现与参考段相似的特定探测段的时间长度。例如,可以将1分钟的相似度值分配给被发现与参考段相似的1分钟探测段。在另一个示例中,可以将2分钟的相似度值分配给被发现与参考段相似的2分钟探测段,等等。可以将相似度值“0”分配给未发现与参考段相似的探测段。在本示例中,对于指纹P1没有发现相似度,并且可以分配相似度值“0”。提供上述相似度值是出于说明而不是限制的目的。可以以任何数量的方式表达相似度值。
可以注意到,在执行初始查找中的一些实现中,指纹生成器可以绕过延迟单元212。可以在系统200接收到探测媒体项201的段(例如,段P1)之后以可忽略的延迟执行初始查找。可以在随后的辅助查找(例如,以检测在探测媒体项201之后接收的参考媒体项202的相似度)中实现延迟单元212。在多个实现中,指纹生成器210还可以在初始查找的同时将指纹传递到延迟单元212,并且延迟单元212可以在执行一个或多个辅助查找之前等待预定的延迟时段。
在一种实现中,可以将探测媒体项201的指纹P1与参考指纹的比较的结果(例如,相似度值)发送到相似度分值聚合器216。相似度分值聚合器216可以将所接收的相似度值聚合到先前接收的探测媒体项201的相似度值以生成探测媒体项201的相似度分值。相似度分值可以是分配给探测媒体项并指示特定探测媒体项是否与任何参考媒体项相似的值。在本示例中,当前相似度值“0”是第一相似度值,并且相似度值与相似度分值聚合以产生相似度分值“0+0=0”。可以注意到,可以以多种方式聚合相似度值,例如通过加权一个或多个相似度值或使用其他函数。为了说明而不是限制,可以通过将新的相似度值加到现有相似度分值来聚合相似度值。
在一种实现中,直播流相似度检测模块140可以将与探测媒体项201相关联的相似度分值传递到相似度阈值比较器218,以将相似度分值与例如由管理员定义的一个或多个相似度阈值进行比较。响应于相似度分值大于或等于一个或多个相似度阈值,直播流相似度检测模块140可将该信息传递给补救动作单元220以发起适当的补救动作。在本示例中,相似度分值“0”不超过任何相似度阈值,并且不对探测媒体项201采取补救动作。
在一些实现中,如果没有确定指纹P1与任何参考媒体项的指纹的相似度,则直播相似度检测模块140可以终止初始查找(例如,不执行P2-Pn的查找)。在其他实现中,如果没有确定指纹P1与任何参考媒体项的指纹的相似度,则直播流相似度检测模块140可以等待延迟时段以发起指纹P1的辅助查找(例如,以检测相似于在探测媒体项201之后接收的参考媒体项202的探测媒体项201)。在其他实现中,如果直播流相似度检测模块140确定指纹P1与参考指纹之间的相似度,则直播流相似度检测模块140可以通过下述方式来继续执行初始查找:对于探测媒体项201的一个或多个附加段P2至Pn执行如上所述的相似操作,以检测在参考媒体项202之前或与其同时接收的参考媒体项202的相似度。在其他实现中,如果直播流相似度检测模块140未确定指纹P1与参考指纹之间的相似度,则直播流相似度检测模块140可以通过下述方式来继续初始查找:对于段P2至Pn中的一个或多个执行如上所述的相似操作(例如,在终止初始查找之前,继续执行至少一些非相似(或连续的非相似)探测段的初始查找)。可以注意到,响应于执行查找并且检测指纹P1与参考指纹相似或不相似,可以执行多种响应组合。
在本示例中,参考媒体项202被延迟2分钟,并且通过使用探测媒体的段203执行初始查找直播流相似度检测模块140可以不将探测媒体项201检测为与参考媒体项202相似。可以注意到,在探测媒体项201之前或与其同时接收参考媒体项202的其他示例中,直播相似度检测模块140可以使用以上描述的初始查找的操作检测在两个媒体项之间的相似度。
在一些实现中,直播流相似度检测模块140可以在延迟时段之后执行一个或多个辅助查找。延迟时段可以是系统(例如,系统200)接收媒体项的特定段与执行特定段的查找之间的时段。例如,3分钟的延迟时段可以指示在系统200接收到段P1(例如,在时间轴205上的第1分钟处)之后,系统200可以在3分钟之后(例如,在时间轴205上第4分钟处)执行段P1的查找。相似地,3分钟的延迟时段可以指示在系统200接收到段P2(例如,在时间轴205上的第2分钟处)之后,系统200可以在3分钟之后(例如,在时间轴205上的第5分钟处)执行段P2的查找。可以注意到,在本示例中,尽管延迟时段对于段P1和P2是相同的,但是在不同时间执行P1和P2的相应查找。可以注意到,可以以其他方式测量延迟时段。在多个实现中,可以在2分钟到15分钟的范围中的延迟时段之后执行辅助查找。可以注意到,延迟时段可以是任何时间量,并且可以通过操作考虑来被选择,等等。
在多个实现中,直播流相似度检测模块140可以通过使延迟单元212将段P1的指纹传递到指纹相似度比较器214来在第一延迟时段(例如,3分钟延迟时段)之后发起辅助查找。例如,直播流相似度检测模块140可以通过在时间轴201上的第4分钟(3分钟延迟时段)执行段P1的查找来发起辅助查找。可以注意到,指纹P1可以在由系统200的指纹生成器210生成之后存储在数据存储106中并从数据存储106中检索。指纹相似度比较器214可以将指纹P1与参考媒体项的指纹进行比较。参考媒体项202的段R1在时间轴205的第3分钟之前被接收。段R1被传递到指纹生成器210以产生参考媒体项202的段R1的指纹(例如,指纹R1)。由于在第一延迟时段内接收到段R1,因此使得指纹R1可用于指纹相似度比较器214以与指纹P1进行比较。指纹相似度比较器214将指纹P1与指纹R1进行比较并确定相似度,并产生相似度值(例如,表示段P1的长度的1分钟的相似度值)。
在一种实现中,直播流相似度检测模块140可以将段P1的相似度值传递给相似度分值聚合器216。相似度分值聚合器216可以将相似度值(例如,1分钟)与当前相似度分值(例如,0分钟)进行聚合以确定新的相似度分值(例如,1分钟+0分钟=1分钟——相似度分值)。
在一种实现中,直播流相似度检测模块140可以将相似度分值传递给相似度阈值比较器218,以将相似度分值与一个或多个相似度阈值进行比较。在本示例中,第一相似度阈值可以设置在2分钟。直播流相似度检测模块140可将相似度分值(1分钟)与第一相似度阈值(2分钟)进行比较,并计算当前相似度分值小于第一相似度阈值。响应于相似度分值不超过(或等于)第一相似度阈值,直播流相似度检测模块140不将指示符传递给补救动作单元220,并且不对探测媒体项201采取补救动作。
在多个实现中,直播流相似度检测模块140可以通过使延迟单元212将探测媒体项201的段P2的指纹传递到指纹相似度比较器214来在第一延迟时段(例如,3分钟延迟时段)之后继续辅助查找。例如,直播流相似度检测模块140可以通过在时间轴2015上的第5分钟(3分钟延迟时段)执行段P2的查找来继续辅助查找。可以注意到,指纹P2可以存储在数据存储106中并从数据存储106中检索。指纹相似度比较器214可以将指纹P2与参考媒体项的指纹进行比较。参考媒体项202的段R2在时间轴205的第4分钟之前被接收。R2被传递到指纹生成器210以产生用于段R2或参考媒体项202的指纹(例如,指纹R2)。由于在与段P2相关联的第一延迟时段内接收到段R2,因此可以使得指纹R2可用于指纹相似度比较器214与指纹P2进行比较。指纹相似度比较器214将指纹P2与指纹R2进行比较并确定相似度,并产生相似度值(例如,表示段P2的长度的1分钟的相似度值)。
在一种实现中,直播流相似度检测模块140可以将段P2的相似度值传递给相似度分值聚合器216。相似度分值聚合器216可以将相似度值(例如,1分钟)与当前相似度分值(例如,1分钟)进行聚合以确定新的相似度分值(例如,1分钟+1分钟=2分钟——相似度分值)。
在一种实现中,直播流相似度检测模块140可以将相似度分值传递给相似度阈值比较器218,以将相似度分值与一个或多个相似度阈值进行比较。在本示例中,实现单个相似度阈值并将其设置在2分钟。直播流相似度检测模块140可以将相似度分值(2分钟)与相似度阈值(2分钟)进行比较,并计算当前相似度分值大于或等于相似度阈值。响应于相似度分值超过或等于相似度阈值,直播流相似度检测模块140将相应的指示符传递给补救动作单元220。
在一种实现中,补救动作单元220从相似度阈值比较器218接收指示探测媒体项201的相似度分值已经超过或等于相似度阈值的指示符。补救动作单元220可以执行多种补救动作。在一些实现中,补救动作可以包括向与探测媒体项201的发送相关联的用户账户发送警告通知。例如,可以向用户账户发送电子邮件,用于请求用户停止探测媒体项201的发送。在一些实现中,补救动作可以包括使探测媒体项静音。例如,如果探测媒体项201是音频媒体项,则可以静音音频内容的声音。在其他实现中,补救动作可以包括阻止探测媒体项201的视频内容的显示。例如,如果探测媒体项201是视频媒体项,则可以当音频内容被呈现给用户设备时从用户设备阻止探测媒体项201的视频内容。在其他实现中,补救动作可以包括终止探测媒体项201的发送。例如,可以终止向一些或所有用户设备的探测媒体项201的发送。在其他实现中,补救动作可以包括暂停与探测媒体项201的发送相关联的用户账户,因此用户例如不能从同一用户账户重新上传探测媒体项201。
在一些实现中,可以使用单个相似度阈值。如果相似度分值超过或等于单个相似度阈值,则直播流相似度检测模块140可以执行上述补救动作中的一个或多个。在其他实现中,可以实现两个或更多个相似度阈值。例如,第一相似度阈值可以被设置在2分钟,并且第二相似度阈值可以被设置在4分钟。如果相似度分值低于第一和第二相似度阈值,则补救动作单元220可以不采取动作。如果相似度分值大于或等于第一相似度阈值并且低于第二相似度阈值,则可以执行除终止探测媒体项201的发送之外的补救动作。例如,补救动作单元220可以执行补救动作,包括向与探测媒体项201的发送相关联的用户账户发送警告通知、使探查媒体项201静音或阻止视频显示中的至少一个。如果相似度分值大于或等于第二相似度阈值,则补救动作单元220可以终止探测媒体项的发送。
在多个实现中,直播流相似度检测模块140可以继续上述操作以对剩余探测段P3-Pn中的一个或多个执行第一次查找。在一些实现中,直播流相似度检测模块140可以针对探测媒体项201的所有段203,或者直到发生一个或多个补救动作(例如,终止探测媒体项201的发送)(如果有的话)之前,继续第一辅助查找。在一些实现中,在发现探测媒体项201的一些数量的段203与参考媒体项202的段不相似之后,直播流相似度检测模块140可以终止第一辅助查找。例如,在发现探测媒体项201的三个连续段与参考媒体项202不相似之后,直播流相似度检测模块140可以终止第一辅助查找。在一些实现中,直播流相似度检测模块140执行一次辅助查找。在其他实现中,直播流相似度检测模块140执行两次辅助查找。在其他实现中,直播流相似度检测模块140执行任意数量的辅助查找。在一些实现中,如果直播流相似度检测模块140没有找到探测媒体项201的段P1(或者例如两个连续段P1和P2),则可以终止第一辅助查找,并且可以在第二个延迟时段后执行第二辅助查找。可以注意到,可以如本文所述但是与先前的辅助查找不同的延迟时段(例如,7分钟)执行另外的辅助查找。
在一些实现中,指纹可以指代第一数据项(例如,探测媒体项201或探测媒体项201的段或探测媒体项201的帧)的签名,其可以唯一地标识第一数据项,并且可以映射到第二数据项(例如,参考媒体项202或参考媒体项202的段或参考媒体项202的帧)的签名,其可以唯一地标识第二数据项。在一些示例中,媒体项或媒体项的段可以被输入到指纹函数(例如,散列函数)中以分别生成表示媒体项或段的指纹。在一些实现中,媒体项可以被变换为多个指纹的序列,其中,每个指纹代表媒体项的不同段。在一些实现中,指纹序列中的每一个表示媒体项的不同的非重叠段。可以注意到,媒体项的段的指纹可以包括一个或多个指纹。例如,指纹生成器210可以为1分钟段的每1/4秒生成指纹。除非另有说明,否则本文中指纹可以指一个或多个指纹。
在一种实现中,直播流相似度检测模块140可以用于比较代表两个视频项的段的指纹,以确定两个视频项是否相似。在另一实现中,直播流相似度检测模块140可用于比较表示两个音频项的段的指纹以确定两个音频项是否相似。在又一实现中,直播相似度检测模块140可用于比较两个旋律以确定两个旋律是否相似。旋律可以是足以识别歌曲的数据,例如和弦进行。例如,如果两个旋律在大致相同的时间在音符之间具有大致相同的过渡,则可以认为该两个旋律相似(例如,相似度分值超过相似度阈值)。以不同音高或速度演奏的旋律可以被认为是相似的。另外,即使当该旋律之一已经添加了一些音符或泛音,也可以认为旋律是相似的。
在一些实现中,当发现探测媒体项201的足够多的段相似于参考媒体项202的段(例如,等于或超过相似度阈值)时,直播流相似度检测模块140可确定探测媒体项201和参考媒体项202是相似的。可以以多种方式确定相似度。例如,可以实现相似度函数,其定量地测量两个数据项之间的相似度。在一个示例中,一对指纹(例如,指纹P1和指纹R1)可以用作相似度函数的输入。相似度函数可以输出指示两个指纹之间的相似度的值。相似度函数可输出0和1之间的指纹对相似度分值(或指纹对相似度分值0或1),其中,1是最相似的而0是最不相似的。指纹对相似度分值可以指示相关联的段(例如,段P1和段R1)之间的相似度。可以注意到,可以实现任何数量的相似度函数,例如表示为向量的两个指纹之间的欧几里德(L2)距离、表示为向量的两个指纹之间的余弦距离、Kendall-Tau距离或汉明距离。
图3是示出根据一些实现的用于使用直播流相似度检测模块确定媒体项之间的相似度的方法300的流程图。方法300可以由处理逻辑执行,处理逻辑包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码)、软件(例如,在处理设备上运行以执行硬件模拟的指令)或其组合。在一种实现中,直播流相似度检测模块140可以执行本文描述的一些或所有操作。
方法300开始于框305,其中,处理逻辑接收作为事件的第一直播流发送的探测媒体项的第一段。在框310,响应于接收探测媒体项的第一段,处理逻辑启动初始查找并执行探测媒体项的第一段的第一次查找,以确定探测媒体项的第一段是否相似于作为事件的另一个直播流发送并且在探测媒体项之前或同时被接收的任何参考媒体项的段。在框315,响应于基于探测媒体项的第一段的第一次查找确定探测媒体项的第一段与任何参考媒体项的段不相似,处理逻辑在第一延迟时段之后执行探测媒体项的第一段的第二次辅助查找,以确定探测媒体项的第一段是否相似于作为事件的第二直播流发送并且在探测媒体项之后接收的第一参考媒体项的第一段。在框320,响应于基于探测媒体项的第一段的第二查找确定探测媒体项的第一段相似于第一参考媒体项的第一段,处理逻辑在第一延迟时段之后执行探测媒体项的第二段的第三查找以确定探测媒体项的第二段是否相似于第一参考媒体项的第二段。在框325,响应于基于第二查找和第三查找确定探测媒体项的第一段和第二段分别相似于第一参考媒体项的第一段和第二段,处理逻辑执行与探测媒体项关联的补救动作。
图4是示出根据一些实现的用于确定探测媒体项和在探测媒体项之后接收的参考媒体项之间的相似度的方法的流程图。方法400可以由处理逻辑执行,处理逻辑包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码)、软件(例如,在处理设备上运行以执行硬件模拟的指令)或其组合。在一种实现中,直播流相似度检测模块140可以执行本文描述的一些或所有操作。方法400可以描述在第一延迟时段之后执行探测媒体项的第一段的第二查找或者在第一延迟时段之后执行探测媒体项的第二段的第三查找的操作。在一些实现中,方法400可以表示关于图3描述的方法300的框315或框320的操作。
方法400开始于框405,其中,处理逻辑确定用于执行第二查找的第一延迟时段。在多个实现中,直播流相似度检测模块140可以与延迟单元212通信以确定第一延迟时段。在其他实现中,延迟时段可以是与服务器130相关联地存储的信息的一部分,并且可以由直播流相似度检测模块140检索。在框410,在第一延迟时段之后,处理逻辑比较第一探测指纹和与第一参考媒体项的第一段相关联的第一参考指纹,以确定探测媒体项的第一段与第一参考媒体项的第一段之间的相似度。在框415,响应于确定探测媒体项的第一段与第一参考媒体项的第一段之间的相似度,处理逻辑将第一相似度值聚合到与探测媒体项相关联的相似度分值。在框420处,在第一延迟时段之后,处理逻辑将与探测媒体项的第二段相关联的第二探测指纹和与第一参考媒体项的第二段相关联的第二参考指纹进行比较,以确定探测媒体项的第二段和第一参考媒体项的第二段之间的相似度。在框425,响应于确定探测媒体项的第二段与第一参考媒体项的第二段之间的相似度,处理逻辑将第二相似度值聚合到与探测媒体项相关联的相似度分值。
图5是示出根据一些实现的用于执行与探测媒体项相关联的补救动作的方法的流程图。方法500可以由处理逻辑执行,处理逻辑包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码)、软件(例如,在处理设备上运行以执行硬件模拟的指令)或其组合。在一种实现中,直播流相似度检测模块140可以执行本文描述的一些或所有操作。在一些实现中,方法500可以表示参考图3描述的方法300的框325的操作。
方法500开始于框505,其中,处理逻辑将与探测媒体项相关联的相似度分值与第一相似度阈值进行比较。相似度分值指示探测媒体项与第一参考媒体项之间的相似度。在框510处,处理逻辑将与探测媒体项相关联的相似度分值与第二相似度阈值进行比较。在框515,响应于确定相似度分值大于或等于第一相似度阈值并且低于第二相似度阈值,处理逻辑执行第一补救动作。第一补救动作可以包括下述操作的至少一个:向与探测媒体项的发送相关联的用户账户发送警告通知,使探测媒体项静音,或者阻止探测媒体项的视频内容的显示。在框520处,响应于确定相似度分值大于或等于第二相似度阈值,处理逻辑通过终止探测媒体项的发送来执行第二补救动作。第二补救动作与第一补救动作不同。
为了简化说明,将本公开的过程描绘和描述为一系列动作。然而,根据本公开的动作可以以各种顺序和/或同时发生,并且与本文未呈现和描述的其他动作一起发生。此外,可能不是需要所有示出的动作来实现根据所公开的主题的过程。另外,本领域技术人员将理解并明白,可替代地通过状态图或事件将过程表示为一系列相互关联的状态。另外,应该注意,本说明书中公开的过程能够存储在制品上,以便于将这样的过程传输和传送到计算设备。这里使用的术语“制品”旨在涵盖可从非暂时性计算机可读设备或存储介质访问的计算机程序。
图6是示出示例性计算机系统600的框图。计算机系统600执行一组或多组指令,这些指令使机器执行本文所讨论的任何一种或多种方法。指令集和指令等可以指的是当被计算机系统600执行时使计算机系统600执行直播流相似度检测模块140的一个或多个操作的指令。该机器可以以客户端-服务器网络环境中的服务器或客户端设备的能力或者作为对等(或分布式)网络环境中的对等机器运行。该机器可以是个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、移动电话、网络设备、服务器、网络路由器、交换机或网桥或能够执行指定该机器要采取的动作的一组指令(顺序或其他)的任何机器。此外,虽然仅示出了单个机器,但术语“机器”还应被视为包括单独或联合执行指令集以执行本文所讨论的任何一种或多种方法的任何机器集合。
计算机系统600包括处理设备602、主存储器604(例如,只读存储器(ROM)、闪存、诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)等的动态随机存取存储器(DRAM)、静态存储器606(例如,闪存、静态随机存取存储器(SRAM)等)和数据存储设备616,它们通过总线608相互通信。
处理设备602表示一个或多个通用处理设备,诸如微处理器或中央处理单元等。更具体地,处理设备602可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器或实现其他指令集的处理设备或实现指令集的组合的处理设备。处理设备602还可以是一个或多个专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或网络处理器等。处理设备602被配置为执行系统架构100和直播流相似度检测模块140的指令,以执行本文所讨论的操作和步骤。
计算机系统600还可以包括网络接口设备622,其通过网络618(例如,局域网(LAN)、内联网、外联网或互联网)提供与其他机器的通信。计算机系统600还可以包括显示设备610(例如,液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入设备612(例如,键盘)、光标控制设备614(例如,鼠标)和信号生成设备620(例如,扬声器)。
数据存储设备616可以包括非暂时性计算机可读存储介质624,其上存储有体现任何一种或多种这里描述的方法或功能的系统架构100和直播流相似度检测模块140的指令集。系统架构100和直播流相似度检测模块140的指令集也可以在计算机系统600执行其期间完全或至少部分地驻留在主存储器604内和/或处理设备602内,主存储器604和处理设备602也构成计算机可读存储介质。还可以经由网络接口设备622在网络618上发送或接收指令集。
虽然计算机可读存储介质624的示例被示为单个介质,但术语“计算机可读存储介质”可包括存储指令集的单个介质或多个介质(例如,集中式或分布式数据库和/或相关的高速缓存和服务器)。术语“计算机可读存储介质”可以包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本公开的任何一种或多种方法的任何介质。术语“计算机可读存储介质”可以包括但不限于固态存储器、光学介质和磁介质。
在前面的描述中,阐述了许多细节。然而,对于受益于本公开的本领域普通技术人员显而易见的是,可以在没有这些具体细节的情况下实践本公开。在一些情况下,以框图形式而不是详细地示出众所周知的结构和设备,以避免模糊本公开。
已经根据对计算机存储器内的数据比特的操作的算法和符号表示来呈现详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域其他技术人员的手段。算法在这里通常被认为是导致期望结果的自相一致的步骤序列。这些步骤是需要物理量的物理操纵的步骤。通常,尽管不是必须的,这些量采用能够被存储、发送、组合、比较和否则操纵的电信号或磁信号的形式。有时,主要出于通用的原因,已经证明将这些信号称为比特、值、元素、符号、字符、术语或数字等是方便的。
然而,可以记住,所有这些和相似术语都与适当的物理量相关联,并且仅仅是应用于这些量的方便标签。除非另外特别说明,否则应理解,在整个说明书中,利用诸如“识别”、“比较”、“确定”或“生成”等术语的讨论是指计算机系统或者相似的电子计算设备的动作和过程,计算机系统或者相似的电子计算设备将表示为在计算机系统存储器或寄存器内的物理(例如,电子)量的数据操纵和转换成相似地表示为在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。
本公开还涉及用于执行本文的操作的装置。该装置可以为所需目的而专门构造,或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中,例如但不限于任何类型的盘,包括软盘、光盘、光盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡或适用于存储电子指令的任何类型的介质。
本文使用词语“示例”或“示例性”来表示用作示例、实例或例示。本文中描述为“示例”或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。相反,使用词语“示例”或“示例性”旨在以具体方式呈现概念。如在本申请中所使用的,术语“或”旨在表示包括性的“或”而不是排他性的“或”。即,除非另有说明或从上下文中清楚,否则“X包括A或B”旨在表示意味着任何自然的包容性排列。也就是说,如果X包括A;X包括B;或者X包括A和B,则在任何前述情况下满足“X包括A或B”。另外,本申请和所附权利要求中使用的冠词“一”和“一个”通常可以解释为表示“一个或多个”,除非另有说明或从上下文中清楚地指向单数形式。此外,否则贯穿使用术语“实现”或“一种实现”或“实现方式”或“一种实现方式”并非旨在表示相同的实现或实现方式,除非如此描述。这里使用的术语“第一”、“第二”、“第三”、“第四”等是指用于区分不同元件的标签,并且根据它们的数字标记可以不一定具有序数含义。
应理解,以上描述旨在是说明性的而非限制性的。在阅读和理解以上描述之后,其他实现对于本领域技术人员将是显而易见的。因此,可以参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定本公开的范围。
Claims (20)
1.一种方法,包括:
由处理设备接收作为事件的第一直播流发送的探测媒体项的第一段;
在第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的第二直播流发送并且在所述探测媒体项之后接收的第一参考媒体项的第一段相似;以及
响应于在所述第一延迟时段之后确定所述探测媒体项的所述第一段与所述第一参考媒体项的所述第一段相似,执行与所述探测媒体项相关联的补救动作。
2.根据权利要求1所述的方法,还包括:
确定所述探测媒体项的所述第一段是否与作为所述事件的另一个直播流发送并且不迟于所述探测媒体项接收的任何参考媒体项的第一段相似,其中,在所述第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的所述第二直播流发送并且在所述探测媒体项之后接收的所述第一参考媒体项的所述第一段相似是响应于以下来执行的:确定所述探测媒体项的所述第一段与不迟于所述探测媒体项接收的任何参考媒体项的所述第一段不相似。
3.根据权利要求1所述的方法,还包括:
在第二延迟时段之后确定所述探测媒体项的第二段是否与所述第一参考媒体项的第二段相似。
4.根据权利要求1所述的方法,还包括:
响应于确定所述探测媒体项的所述第一段与在所述探测媒体项之后接收的所述第一参考媒体项的所述第一段不相似,在第三延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的第三直播流发送并且在所述探测媒体项之后接收的第二参考媒体项的第一段相似;
响应于在所述第三延迟时段之后确定所述探测媒体项的所述第一段与在所述探测媒体项之后接收的所述第二参考媒体项的所述第一段相似,在第四延迟时段之后确定所述探测媒体项的第二段是否与所述第二参考媒体项的第二段相似;以及
响应于在所述第四延迟时段之后确定所述探测媒体项的所述第一段和所述第二段分别与所述第二参考媒体项的所述第一段和所述第二段相似,执行与所述探测媒体项相关联的所述补救动作。
5.根据权利要求2所述的方法,其中,确定所述探测媒体项的所述第一段是否与作为所述事件的另一个直播流发送并且不迟于所述探测媒体项接收的任何参考媒体项的第一段相似包括:
为所述探测媒体项的所述第一段生成第一探测指纹;以及
将所述第一探测指纹和与不迟于所述探测媒体项接收的多个参考媒体项的多个段相关联的多个参考指纹相比较,以确定在所述探测媒体项的所述第一段和所述多个参考媒体项中的所述任何参考媒体项的段之间的相似度。
6.根据权利要求5所述的方法,其中,在所述第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的所述第二直播流发送并且在所述探测媒体项之后接收的所述第一参考媒体项的所述第一段相似包括:
确定所述第一延迟时段;
在所述第一延迟时段之后,将所述第一探测指纹和与所述第一参考媒体项的所述第一段相关联的第一参考指纹进行比较,以确定在所述探测媒体项的所述第一段与所述第一参考媒体项的所述第一段之间的相似度;以及
响应于确定在所述探测媒体项的所述第一段与所述第一参考媒体项的所述第一段之间的相似度,将第一相似度值聚合到与所述探测媒体项相关联的相似度分值。
7.根据权利要求1所述的方法,其中,执行与所述探测媒体项相关联的补救动作包括:
将与所述探测媒体项相关联的相似度分值与第一相似度阈值进行比较,其中,所述相似度分值指示在所述探测媒体项与所述第一参考媒体项之间的相似度;以及
响应于确定所述相似度分值大于或等于第一相似度阈值,执行所述补救动作。
8.根据权利要求7所述的方法,其中,所述补救动作包括下述动作的一个:向与所述探测媒体项的发送相关联的用户账户发送警告通知;使所述探测媒体项静音;阻止所述探测媒体项的视频内容的显示;或终止所述探测媒体项的发送。
9.根据权利要求7所述的方法,其中,执行与所述探测媒体项相关联的补救动作还包括:
将与所述探测媒体项相关联的所述相似度分值和第二相似度阈值进行比较;
响应于确定所述相似度分值大于或等于所述第一相似度阈值并且低于第二相似度阈值,执行第一补救动作,所述第一补救动作包括下述动作中的至少一个:向与所述探测媒体项的发送相关联的用户账户发送警告通知;使所述探测媒体项静音;或阻止所述探测媒体项的视频内容的显示;以及
响应于确定所述相似度分值大于或等于所述第二相似度阈值,通过终止所述探测媒体项的发送来执行第二补救动作。
10.一种系统,包括:
存储器;以及
处理设备,耦合到所述存储器,用于:
接收作为事件的第一直播流发送的探测媒体项的第一段;
在第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的第二直播流发送并且在所述探测媒体项之后接收的第一参考媒体项的第一段相似;以及
响应于在所述第一延迟时段之后确定所述探测媒体项的所述第一段与所述第一参考媒体项的所述第一段相似,执行与所述探测媒体项相关联的补救动作。
11.根据权利要求10所述的系统,其中,所述处理设备还用于:
确定所述探测媒体项的所述第一段是否与作为所述事件的另一个直播流发送并且不迟于所述探测媒体项接收的任何参考媒体项的第一段相似,其中,在所述第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的所述第二直播流发送并且在所述探测媒体项之后接收的所述第一参考媒体项的所述第一段相似是响应于以下来执行的:确定所述探测媒体项的所述第一段与不迟于所述探测媒体项接收的任何参考媒体项的所述第一段不相似。
12.根据权利要求10所述的系统,其中,所述处理设备还用于:
在第二延迟时段之后确定所述探测媒体项的第二段是否与所述第一参考媒体项的第二段相似。
13.根据权利要求10所述的系统,其中,为了执行与所述探测媒体项相关联的补救动作,所述处理设备用于:
将与所述探测媒体项相关联的相似度分值和第一相似度阈值进行比较,其中,所述相似度分值指示在所述探测媒体项与所述第一参考媒体项之间的相似度;以及
响应于确定所述相似度分值大于或等于第一相似度阈值,执行所述补救动作。
14.根据权利要求13所述的系统,其中,所述补救动作包括下述动作中的一个:向与所述探测媒体项的发送相关联的用户账户发送警告通知;使所述探测媒体项静音;阻止所述探测媒体项的视频内容的显示;或终止所述探测媒体项的发送。
15.根据权利要求13所述的系统,其中,为了执行与所述探测媒体项相关联的补救动作,所述处理设备还用于:
将与所述探测媒体项相关联的所述相似度分值和第二相似度阈值进行比较;
响应于确定所述相似度分值大于或等于所述第一相似度阈值并且低于第二相似度阈值,执行第一补救动作,所述第一补救动作包括下述动作中的至少一个:向与所述探测媒体项的发送相关联的用户账户发送警告通知;使所述探测媒体项静音;或阻止所述探测媒体项的视频内容的显示;以及
响应于确定所述相似度分值大于或等于所述第二相似度阈值,通过终止所述探测媒体项的发送来执行第二补救动作。
16.一种存储有指令的非暂时性计算机可读介质,所述指令在由处理设备执行时使所述处理设备执行包括以下的操作:
接收作为事件的第一直播流发送的探测媒体项的第一段;
在第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的第二直播流发送并且在所述探测媒体项之后接收的第一参考媒体项的第一段相似;以及
响应于在所述第一延迟时段之后确定所述探测媒体项的所述第一段与所述第一参考媒体项的所述第一段相似,执行与所述探测媒体项相关联的补救动作。
17.根据权利要求16所述的非暂时性计算机可读介质,其中,所述操作还包括:
确定所述探测媒体项的所述第一段是否与作为所述事件的另一个直播流发送并且不迟于所述探测媒体项接收的任何参考媒体项的第一段相似,其中,在所述第一延迟时段之后确定所述探测媒体项的所述第一段是否与作为所述事件的所述第二直播流发送并且在所述探测媒体项之后接收的所述第一参考媒体项的所述第一段相似是响应于以下来执行的:确定所述探测媒体项的所述第一段与不迟于所述探测媒体项接收的任何参考媒体项的所述第一段不相似。
18.根据权利要求16所述的非暂时性计算机可读介质,其中,所述操作还包括:
在第二延迟时段之后确定所述探测媒体项的第二段是否与所述第一参考媒体项的第二段相似。
19.根据权利要求18所述的非暂时性计算机可读介质,其中,执行与所述探测媒体项相关联的补救动作包括:
将与所述探测媒体项相关联的相似度分值与第一相似度阈值进行比较,其中,所述相似度分值指示在所述探测媒体项与所述第一参考媒体项之间的相似度;以及
响应于确定所述相似度分值大于或等于第一相似度阈值,执行所述补救动作。
20.根据权利要求19所述的非暂时性计算机可读介质,其中,所述补救动作包括下述动作的一个:向与所述探测媒体项的发送相关联的用户账户发送警告通知;使所述探测媒体项静音;阻止所述探测媒体项的视频内容的显示;或终止所述探测媒体项的发送。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110856297.1A CN113784153B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/370,886 US10659509B2 (en) | 2016-12-06 | 2016-12-06 | Detecting similar live streams ingested ahead of the reference content |
US15/370,886 | 2016-12-06 | ||
PCT/US2017/054143 WO2018106323A1 (en) | 2016-12-06 | 2017-09-28 | Detecting similar live streams ingested ahead of the reference content |
CN201780075362.9A CN110036643B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
CN202110856297.1A CN113784153B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780075362.9A Division CN110036643B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113784153A true CN113784153A (zh) | 2021-12-10 |
CN113784153B CN113784153B (zh) | 2024-06-25 |
Family
ID=60117766
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110856297.1A Active CN113784153B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
CN201780075362.9A Active CN110036643B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780075362.9A Active CN110036643B (zh) | 2016-12-06 | 2017-09-28 | 检测相似直播流媒体项的方法、系统和计算机可读介质 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10659509B2 (zh) |
EP (1) | EP3552397A1 (zh) |
CN (2) | CN113784153B (zh) |
WO (1) | WO2018106323A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10313413B2 (en) | 2017-08-28 | 2019-06-04 | Banjo, Inc. | Detecting events from ingested communication signals |
US11025693B2 (en) * | 2017-08-28 | 2021-06-01 | Banjo, Inc. | Event detection from signal data removing private information |
US10585724B2 (en) | 2018-04-13 | 2020-03-10 | Banjo, Inc. | Notifying entities of relevant events |
CN110677682B (zh) | 2018-07-02 | 2022-05-31 | 阿里巴巴集团控股有限公司 | 直播检测与数据处理方法、设备、系统及存储介质 |
US10623800B2 (en) * | 2018-07-16 | 2020-04-14 | Gracenote, Inc. | Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content |
US10715840B2 (en) | 2018-07-19 | 2020-07-14 | Gracenote, Inc. | Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision |
KR20200017306A (ko) * | 2018-08-08 | 2020-02-18 | 삼성전자주식회사 | 카테고리에 기반하여 아이템에 관한 정보를 제공하는 전자 장치 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1839375A (zh) * | 2003-07-07 | 2006-09-27 | 密码研究公司 | 用于控制盗版和启用交互式内容的可重编程的安全性 |
US20070033408A1 (en) * | 2005-08-08 | 2007-02-08 | Widevine Technologies, Inc. | Preventing illegal distribution of copy protected content |
WO2007128185A1 (fr) * | 2006-04-30 | 2007-11-15 | Huawei Technologies Co., Ltd. | Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure |
CN101228787A (zh) * | 2005-06-03 | 2008-07-23 | 尼尔逊媒介研究股份有限公司 | 检测与媒体内容的呈现相关的时移事件的方法和装置 |
US20090254933A1 (en) * | 2008-03-27 | 2009-10-08 | Vishwa Nath Gupta | Media detection using acoustic recognition |
US20130162902A1 (en) * | 2011-12-27 | 2013-06-27 | Elmer Gehman Musser, JR. | System and method for verification of media content synchronization |
US8612517B1 (en) * | 2012-01-30 | 2013-12-17 | Google Inc. | Social based aggregation of related media content |
US20130343598A1 (en) * | 2012-06-26 | 2013-12-26 | Aol Inc. | Systems and methods for associating electronic content |
US20150254344A1 (en) * | 2008-06-18 | 2015-09-10 | Zeitera, Llc | Scalable, Adaptable, and Manageable System for Multimedia Identification |
US9153239B1 (en) * | 2013-03-14 | 2015-10-06 | Google Inc. | Differentiating between near identical versions of a song |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349411B2 (en) * | 2002-07-16 | 2016-05-24 | Digimarc Corporation | Digital watermarking and fingerprinting applications for copy protection |
KR100765749B1 (ko) * | 2005-04-26 | 2007-10-15 | 삼성전자주식회사 | 이진영상 압축장치 및 방법 |
US9177209B2 (en) | 2007-12-17 | 2015-11-03 | Sinoeast Concept Limited | Temporal segment based extraction and robust matching of video fingerprints |
US8259177B2 (en) * | 2008-06-30 | 2012-09-04 | Cisco Technology, Inc. | Video fingerprint systems and methods |
US8422731B2 (en) * | 2008-09-10 | 2013-04-16 | Yahoo! Inc. | System, method, and apparatus for video fingerprinting |
EP2323046A1 (en) * | 2009-10-16 | 2011-05-18 | Telefónica, S.A. | Method for detecting audio and video copy in multimedia streams |
TWI438605B (zh) * | 2010-07-21 | 2014-05-21 | Global Unichip Corp | Method and device for aligning multi - channel data in transmission system |
US8639178B2 (en) * | 2011-08-30 | 2014-01-28 | Clear Channel Management Sevices, Inc. | Broadcast source identification based on matching broadcast signal fingerprints |
US8966571B2 (en) | 2012-04-03 | 2015-02-24 | Google Inc. | Detection of potentially copyrighted content in user-initiated live streams |
US20130271655A1 (en) * | 2012-04-12 | 2013-10-17 | Google Inc. | System, apparatus and method to facilitate live video streaming |
US9661361B2 (en) * | 2012-09-19 | 2017-05-23 | Google Inc. | Systems and methods for live media content matching |
US9207964B1 (en) * | 2012-11-15 | 2015-12-08 | Google Inc. | Distributed batch matching of videos with dynamic resource allocation based on global score and prioritized scheduling score in a heterogeneous computing environment |
US8976221B2 (en) * | 2012-12-03 | 2015-03-10 | Google Inc. | Adaptable identification of relevant regions in live streams |
US9442935B2 (en) * | 2013-05-31 | 2016-09-13 | Nokia Technologies Oy | Method and apparatus for presenting media to users |
ES2879628T3 (es) * | 2013-11-08 | 2021-11-22 | Friend For Media Ltd | Identificación de componentes multimedia |
US9665614B2 (en) * | 2014-03-25 | 2017-05-30 | Google Inc. | Preventing abuse in content sharing system |
US20170185675A1 (en) * | 2014-05-27 | 2017-06-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Fingerprinting and matching of content of a multi-media file |
US10152479B1 (en) * | 2014-08-01 | 2018-12-11 | Google Llc | Selecting representative media items based on match information |
US9497505B2 (en) * | 2014-09-30 | 2016-11-15 | The Nielsen Company (Us), Llc | Systems and methods to verify and/or correct media lineup information |
US20160294763A1 (en) * | 2015-03-31 | 2016-10-06 | Facebook, Inc. | Multi-user media presentation system |
US20170279757A1 (en) * | 2016-03-22 | 2017-09-28 | Facebook, Inc. | Systems and methods for identifying matching content |
US10305958B2 (en) * | 2017-04-25 | 2019-05-28 | International Business Machines Corporation | Checkpointing a set of stream computing data |
-
2016
- 2016-12-06 US US15/370,886 patent/US10659509B2/en active Active
-
2017
- 2017-09-28 EP EP17784746.4A patent/EP3552397A1/en active Pending
- 2017-09-28 CN CN202110856297.1A patent/CN113784153B/zh active Active
- 2017-09-28 WO PCT/US2017/054143 patent/WO2018106323A1/en active Search and Examination
- 2017-09-28 CN CN201780075362.9A patent/CN110036643B/zh active Active
-
2020
- 2020-05-18 US US16/877,228 patent/US11757966B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1839375A (zh) * | 2003-07-07 | 2006-09-27 | 密码研究公司 | 用于控制盗版和启用交互式内容的可重编程的安全性 |
CN101228787A (zh) * | 2005-06-03 | 2008-07-23 | 尼尔逊媒介研究股份有限公司 | 检测与媒体内容的呈现相关的时移事件的方法和装置 |
US20070033408A1 (en) * | 2005-08-08 | 2007-02-08 | Widevine Technologies, Inc. | Preventing illegal distribution of copy protected content |
WO2007128185A1 (fr) * | 2006-04-30 | 2007-11-15 | Huawei Technologies Co., Ltd. | Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure |
US20090254933A1 (en) * | 2008-03-27 | 2009-10-08 | Vishwa Nath Gupta | Media detection using acoustic recognition |
US20150254344A1 (en) * | 2008-06-18 | 2015-09-10 | Zeitera, Llc | Scalable, Adaptable, and Manageable System for Multimedia Identification |
US20130162902A1 (en) * | 2011-12-27 | 2013-06-27 | Elmer Gehman Musser, JR. | System and method for verification of media content synchronization |
US8612517B1 (en) * | 2012-01-30 | 2013-12-17 | Google Inc. | Social based aggregation of related media content |
US20130343598A1 (en) * | 2012-06-26 | 2013-12-26 | Aol Inc. | Systems and methods for associating electronic content |
US9153239B1 (en) * | 2013-03-14 | 2015-10-06 | Google Inc. | Differentiating between near identical versions of a song |
Non-Patent Citations (1)
Title |
---|
唐玉元: "基于视频指纹的快速视频拷贝检测方法", 《计算机工程》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113784153B (zh) | 2024-06-25 |
US20200280593A1 (en) | 2020-09-03 |
CN110036643A (zh) | 2019-07-19 |
CN110036643B (zh) | 2021-08-13 |
US20180159914A1 (en) | 2018-06-07 |
EP3552397A1 (en) | 2019-10-16 |
US11757966B2 (en) | 2023-09-12 |
WO2018106323A1 (en) | 2018-06-14 |
US10659509B2 (en) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110036643B (zh) | 检测相似直播流媒体项的方法、系统和计算机可读介质 | |
CN110574387B (zh) | 使用机器学习推荐直播流内容 | |
US10347294B2 (en) | Generating moving thumbnails for videos | |
US11115695B2 (en) | Using machine learning and other models to determine a user preference to cancel a stream or download | |
US10452891B2 (en) | Multi-step sequence alignment | |
WO2015017004A1 (en) | Creating personalized and continuous playlists for a content sharing platform based on user history | |
US10320939B2 (en) | Video playlists and recommendations based on electronic messaging communications | |
US10419376B2 (en) | Staggered notification by affinity to promote positive discussion | |
US20140074859A1 (en) | System and method for rating audiences of network-based content of multiple content publishers | |
US9336210B2 (en) | Determining a likelihood and degree of derivation among media content items | |
US11727046B2 (en) | Media item matching using search query analysis | |
US9936264B1 (en) | Method of restricting offline video playback to include advertisements | |
US20220345777A1 (en) | Proactive detection of media item matching | |
US20230379556A1 (en) | Crowd source-based time marking of media items at a platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |