CN111095940A - 用于自动内容识别的标记广告帧 - Google Patents

用于自动内容识别的标记广告帧 Download PDF

Info

Publication number
CN111095940A
CN111095940A CN201880059810.0A CN201880059810A CN111095940A CN 111095940 A CN111095940 A CN 111095940A CN 201880059810 A CN201880059810 A CN 201880059810A CN 111095940 A CN111095940 A CN 111095940A
Authority
CN
China
Prior art keywords
broadcast
scene
advertisement
fingerprint
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880059810.0A
Other languages
English (en)
Other versions
CN111095940B (zh
Inventor
瑞坤·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Nielsen Co US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nielsen Co US LLC filed Critical Nielsen Co US LLC
Priority to CN202110526881.0A priority Critical patent/CN113283321A/zh
Publication of CN111095940A publication Critical patent/CN111095940A/zh
Application granted granted Critical
Publication of CN111095940B publication Critical patent/CN111095940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于自动内容识别的标记广告帧的方法，包括接收指示包括一系列广播场景(302b(1‑n))的媒体流(S)的广播帧(FB(1‑n))的广播指纹(222b)。该方法还包括接收指示广告场景(302a(1‑n))的广告帧(Fad(1‑n))的广告指纹(222a)。该方法还包括确定在第一广播场景(302b(1))与第二广播场景(302b(2))之间的场景改变(312)、以及第二广播场景是否是广告场景中的一个。场景改变基于在第二广播场景的初始广播帧(FB(i))的初始广播指纹(222b(i))与第一广播场景的最后广播帧(FB(L))的最后广播指纹(222b(L))之间的皮尔逊相关系数(PsΔ)。当第二广播场景是广告场景中的一个时，该方法将标识(332)与第二广播场景相关联。

Description

用于自动内容识别的标记广告帧
技术领域
本公开涉及在自动内容识别期间标记广告帧。
背景技术
当今媒体设备正变得越来越普遍，并且其范围可以从家庭中的诸如电视的固定装置到随同媒体消费者一起行进的移动设备。诸如电视、机顶盒、移动电话、笔记本电脑以及平板电脑之类的媒体设备可以访问并可以从各种源检索媒体内容。例如，媒体设备可以经由卫星、空中广播或从有线或无线连接的流系统接收媒体内容。随着媒体设备的使用持续增加，媒体设备到媒体内容的连接性也增加了。随着这种增长，新的媒体内容市场出现，并且旧的媒体内容市场已经适于了解媒体消费者并向其提供语境相关的媒体内容。
发明内容
本公开的一个方面提供了一种用于自动内容识别的标记广告帧的方法。该方法包括在数据处理硬件处接收指示媒体流的广播帧的广播指纹。媒体流包括一系列广播场景。该方法还包括在数据处理硬件处接收指示广告场景的广告帧的广告(ad)指纹。该方法包括通过数据处理硬件确定在第一广播场景与第二广播场景之间的场景改变。场景改变基于在第二广播场景的初始广播帧的初始广播指纹与第一广播场景的最后广播帧的最后广播指纹之间的场景改变皮尔逊相关系数。该方法还通过数据处理硬件确定第二广播场景是否是广告场景中的一个。当第二广播场景是广告场景中的一个时，该方法通过数据处理硬件将第二广播场景的标识关联为广告场景中的一个。
本公开的实施方式可以包括以下可选特征中的一个或更多个。在一些实施方式中，场景改变包括确定在第二广播场景的初始广播帧的初始广播指纹与第一广播场景的最后广播帧的最后广播指纹之间的场景改变皮尔逊相关系数。场景改变还可以包括通过数据处理硬件确定场景改变皮尔逊相关系数满足场景改变相关性阈值。
在一些示例中，该方法包括针对每个连续相邻的广播帧对确定场景改变。在该示例中，所述方法可以确定广播帧对中的第一广播帧的第一广播指纹与广播帧对中的第二广播帧的第二广播指纹之间的场景改变皮尔逊相关系数。该方法还可以通过数据处理硬件确定场景改变皮尔逊相关系数是否满足场景改变相关性阈值。当场景改变皮尔逊相关系数满足场景改变相关性阈值时，该方法可以将广播帧对中的第一广播帧标识为对应的广播场景的最后广播帧。当场景改变皮尔逊相关系数满足场景改变相关性阈值时，该方法还可以将广播帧对中的第二广播帧标识为对应的连续相邻的广播场景的初始广播帧。
在一些配置中，该方法包括在确定第二广播场景是否是广告场景中的一个之前在第一广播场景的最后广播帧的最后广播指纹之后，等待阈值时间段。针对每个广告指纹确定第二广播场景是否是广告场景中的一个可以包括通过数据处理硬件确定在相应广告指纹与第二广播指纹之间的匹配皮尔逊相关系数。该方法还可以包括通过数据处理硬件确定匹配皮尔逊相关系数是否满足匹配相关性阈值。当匹配皮尔逊相关系数满足匹配相关性阈值时，该方法可以通过数据处理硬件将第二广播场景标识为与相应广告指纹的广告场景相对应。
在一些实施方式中，第二广播场景可以是广告场景中的一个。在这些实施方式中，该方法可以通过数据处理硬件确定第二广播场景是否在另一广告场景内或与之相邻。该方法还可以通过数据处理硬件将广告标识符与第二广播场景相关联。
在一些示例中，每个指纹表示对应的帧的至少一个像素。每个指纹还可以包括表示对应的帧的灰度值的总和的平均像素值。此外地或替代地，每个指纹可以表示与十六个子帧的平均像素值相对应的16个整数矢量，十所述六个子帧限定了对应的帧的四乘四阵列。
本公开的另一方面提供了一种用于自动内容识别的标记广告帧的方法。该方法包括在数据处理硬件处接收指示媒体流的广播帧的广播指纹。该方法还包括在数据处理硬件处接收指示广告场景的广告帧的广告(ad)指纹。对于每个连续相邻的广播帧对，该方法包括通过数据处理硬件确定在广播帧对中的第一广播帧的第一广播指纹与广播帧对中的第二广播帧的第二广播指纹之间的场景改变皮尔逊相关系数。对于每个顺序连续相邻的广播帧对，该方法还通过数据处理硬件确定场景改变皮尔逊相关系数是否满足场景改变相关性阈值。当场景改变皮尔逊相关系数满足场景改变相关性阈值时，该方法通过数据处理硬件将第一广播场景标识为在第一广播帧结束，将第二广播场景标识为在第二广播帧处开始。对于每个广告指纹，当场景改变皮尔逊相关系数满足场景改变相关性阈值时，该方法通过数据处理硬件确定在相应广告指纹与第二广播指纹之间的匹配皮尔逊相关系数以及匹配皮尔逊相关系数是否满足匹配相关性阈值。当匹配皮尔逊相关系数满足匹配相关性阈值时，该方法包括通过数据处理硬件将第二广播场景标识为相应广告指纹的广告场景。
本公开的实施方式可以包括以下可选特征中的一个或更多个。在一些示例中，当第二广播场景是广告场景中的一个时，该方法包括通过数据处理硬件确定第二广播场景是否在另一广告场景之内或与之连续相邻。当第二广播场景是广告场景中的一个时，该方法还可以包括通过数据处理硬件将广告标识符与第二广播场景相关联。
在一些实施方式中，每个指纹表示对应的帧的至少一个像素。此外地或替代地，每个指纹还可以表示与十六个子帧的平均像素值相对应的16个整数矢量，所述十六个子帧限定了对应的帧的四乘四阵列。
本公开的另一方面提供了一种用于自动内容识别的标记广告帧的系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，所述指令在数据处理硬件上被执行时引起数据处理硬件执行操作。该操作包括接收指示媒体流的广播帧的广播指纹。媒体流包括一系列广播场景。该操作还包括接收指示广告场景的广告帧的广告(ad)指纹。操作还包括基于场景改变皮尔逊相关系数来确定在第一广播场景与第二广播场景之间的场景改变。场景改变皮尔逊相关系数在第二广播场景的初始广播帧的初始广播指纹与第一广播场景的最后广播帧的最后广播指纹之间。操作还包括确定第二广播场景是否是广告场景中的一个。当第二广播场景是广告场景中的一个时，操作包括将第二广播场景的标识关联为广告场景中的一个。
本公开的实施方式可以包括以下可选特征中的一个或更多个。在一些示例中，系统包括确定场景改变。在这些示例中，场景改变可以包括确定在第二广播场景的初始广播帧的初始广播指纹与第一广播场景的最后广播帧的最后广播指纹之间的场景改变皮尔逊相关系数。该系统还可包括确定场景改变皮尔逊相关系数满足场景改变相关性阈值。
在一些配置中，对于每个连续相邻的广播帧对，确定场景改变包括确定在广播帧对中的第一广播帧的第一广播指纹与广播帧对中的第二广播帧的第二广播指纹之间的场景改变皮尔逊相关系数。对于每个连续相邻的广播帧对，确定场景改变还可以包括确定场景改变皮尔逊相关系数是否满足场景改变相关性阈值。当场景改变皮尔逊相关系数满足场景改变相关性阈值时，该系统可以包括将广播帧对中的第一广播帧标识为对应的广播场景的最后广播帧。该系统还可以包括将广播帧对中的第二广播帧标识为对应的连续相邻的广播场景的初始广播帧。操作还可以包括在确定第二广播场景是否是广告场景中的一个之前在第一广播场景的最后广播帧的最后广播指纹之后，等待阈值时间段。
在一些实施方式中，针对每个广告指纹确定第二广播场景是否是广告场景中的一个包括确定在相应广告指纹与第二广播指纹之间的匹配皮尔逊相关系数以及确定匹配皮尔逊相关系数是否满足匹配相关性阈值。当匹配皮尔逊相关系数满足匹配相关性阈值时，该系统可以将第二广播场景标识为与相应广告指纹的广告场景相对应。
在一些示例中，当第二广播场景是广告场景中的一个时，操作还包括确定第二广播场景是否在另一广告场景之内或与之连续相邻。此外地或替代地，当第二广播场景是广告场景中的一个时，操作可以包括将广告标识符与第二广播场景相关联。在该系统中，每个指纹可以表示对应的帧的至少一个像素。每个指纹还可以包括表示对应的帧的灰度值的总和的平均像素值。每个指纹还可以表示与十六个子帧的平均像素值相对应的16个整数矢量，所述十六个子帧限定了对应的帧的四乘四阵列。
本公开的又一方面提供了一种用于自动内容识别得标记广告帧的系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，所述指令在数据处理硬件上被执行时引起数据处理硬件执行操作。该操作包括接收指示媒体流的广播帧的广播指纹。媒体流包括一系列广播场景。该操作还包括接收指示广告场景的广告帧的广告(ad)指纹。对于每个连续相邻的广播帧对，该操作还包括确定在广播帧对中的第一广播帧的第一广播指纹与广播针对中的第二广播帧的第二广播指纹之间的场景改变皮尔逊相关系数。对于每个连续相邻的广播帧对，该操作还包括确定场景改变皮尔逊相关系数是否满足场景改变相关性阈值。当场景改变皮尔逊相关系数满足场景改变相关性阈值时，该操作还包括将第一广播场景的标识为在第一广播帧处结束并且将第二广播场景标识为在第二广播帧处开始。对于每个广告指纹，该操作还包括确定在相应广告指纹与第二广播指纹之间的匹配皮尔逊相关系数以及匹配皮尔逊相关系数是否满足匹配相关性阈值。当匹配皮尔逊相关系数满足匹配相关性阈值时，该操作包括将第二广播场景标识为相应广告指纹的广告场景。
本公开的实施方式可以包括以下可选特征中的一个或更多个。在一些实施方式中，当第二广播场景是广告场景中的一个时，该操作还包括确定第二广播场景是否在另一广告场景之内或与之连续相邻。当第二广播场景是广告场景中的一个时，该操作可以包括将广告标识符与第二广播场景相关联。每个指纹可以表示对应的帧的至少一个像素。每个指纹还可以表示与十六个子帧的平均像素值相对应的16个整数矢量，所述十六个子帧限定了对应的帧的四乘四阵列。
在附图和以下描述中阐述了本公开的一种或更多个实施方式的细节。通过描述和附图以及权利要求，其他方面、特征以及优点将是显而易见。
附图说明
图1A和图1B是自动内容识别环境的示例的示意图。
图2是自动内容识别环境的示例服务器的示意图。
图3A-3F是示例广告标识符的示意图。
图4是可以用于实现本文描述的系统和方法的示例计算设备的示意图。
各个附图中相似的参考标记指示相似的元件。
具体实施方式
通常，自动内容识别(ACR)是自动标识在媒体设备上或媒体文件内的媒体内容的过程。ACR在标识社会每天消费的大量媒体内容方面变得越来越有用。从商业角度看，ACR可以允许企业和其他实体了解媒体内容的消费，并可能更有效地了解媒体内容的市场或目标消费者(即，媒体设备用户)。例如，当广告对媒体设备的用户呈现个性化时，广告或提议可能更有效。因此，广播公司、商业提供商、广告商和其他实体想要知道什么节目正在被观看，或更具体地，用户在观看期间在节目中的位置。利用这种类型的信息，媒体设备用户可以接收更精确迎合的媒体内容。
在了解和标识媒体内容的方法中，系统可以作为先锋标识广播公司或其他内容提供商向媒体内容消费者分发的广告。通过预先标识广告，广播公司或其他内容提供商可以更高效且更有效地在媒体设备处执行ACR。然后，作为ACR功能的一部分或结果，可以对媒体内容的目标消费者替换、覆盖或修改所标识的广告。
图1A是ACR环境10的示例。ACR环境10可以包括多个层，以将媒体内容分发给媒体设备30的用户20(即，观看者)。图1A试图将媒体内容分发过程简化为四层：广播层100；附加内容层110；网络层120；以及设备层130。每一层100、110、120、130可以具有影响媒体流S的实体。广播层100表示可以涉及产生广播媒体流SB的广播实体。这些广播实体可以包括广播公司102和广播分发器104。广播公司102可以是一个或更多个媒体内容提供商，诸如本地广播公司、多信道网络或其他媒体内容所有者。广播分发器104是提供基础设施或资源(例如，信号线、通信塔、通信天线、服务器等)以分发媒体内容的广播实体。根据诸如被提供的媒体内容类型或接收媒体内容的媒体设备类型的广播变量，广播公司102和广播分发器104可以是相同的广播实体或不同的广播实体。
在一些实施方式中，媒体流S包括来自被表示为附加内容层110的内容实体的附加媒体内容流SC。这些内容实体包括商业提供商112、广告商114或向媒体流S贡献附加媒体内容的其他实体。通常，商业提供商112是采购和/或托管附加媒体内容流SC的内容实体，而广告商114是生成诸如广告、报价、交易、折扣、奖金或其他商品和/或服务促销之类的附加媒体内容流SC的内容实体。此外地或替代地，商业提供商112和广告商114可以是相同的内容实体。附加内容层110可以将附加媒体内容流SC传达到广播层100、网络层120、设备层130或其任何组合。可选地，附加内容层110可以将附加媒体内容流SC与广播媒体流SB配对，以形成包括广播媒体流SB和附加媒体内容流SC的媒体流S。
进一步参照图1A，网络层120配置为从广播层100和/或附加内容层110接收广播媒体流SB和附加媒体内容流SC。例如，如果网络层120从广播层100接收媒体流S，则网络层120可以接收具有附加媒体内容流SC或独立于附加媒体内容流SC的广播媒体流SB。类似地，如果网络层120从附加内容层110接收媒体流S，则网络层120可以接收具有附加媒体内容流SC或者独立于附加媒体内容流SC的广播媒体流SB。在一些实施方式中，网络层120可以将来自广播层100的广播媒体流SB与来自附加内容层110的附加媒体内容流SC配对，以生成表示浸透有附加媒体内容流SC的媒体广播媒体流SB的网络媒体流SN。
网络层120包括指纹识别器200。指纹识别器200配置为在具有数据处理硬件212和存储器硬件214的服务器210上操作。指纹识别器200包括指纹生成器220。网络层120可以配置为存储与诸如广播指纹数据库或广告指纹数据库的指纹数据库230和/或元数据数据库240中的指纹222有关的指纹222和元数据224。网络层120可以配置为经由指纹生成器220生成指纹222或者从ACR环境10内的另一内容实体接收指纹222。例如，网络层120从广播层100和/或附加内容层110接收指示广告帧Fad的广告指纹222、222a。通常，指纹222是与媒体流S的至少一帧Fn相对应的至少一个唯一标识符。例如，至少一个唯一标识符可以是视听图像的值(例如，像素值)、字母数字表示或压缩版本。此外地或替代地，网络层120配置为存储广播媒体流SB、附加媒体内容流SC或两者。
网络层120还包括广告标识符300。图1A利用虚线框描绘了广告标识符300，以表示广告标识符300实际上可以存在于除网络层120之外的其他层上(即，广播层100、附加内容层110或设备层130)。广告标识符300配置为接收指纹222并确定指纹222是否与广告相对应。在一些示例中，广告标识符300接收广告指纹222、222a并指示何时广播指纹222、222b与广告指纹222、222a相对应。来自其他层的内容实体，诸如广播公司102、广播分发器104、商业提供商112或广告商114，可以向广告标识符300提供广告帧Fad和/或广告指纹222、222a。当广告标识符300确定广播指纹222、222b与广告指纹222、222a相对应时，广告标识符300可以将标识332传达到ACR环境10内的一个或更多个内容实体、ACR模块132和/或媒体设备30。
图1A还示出了任何层(即，广播层100、附加内容层110或网络层120)可以与设备层130通信。在设备层130处，诸如电视、机顶盒、PC、笔记本电脑、平板电脑或移动电话之类的媒体设备30接收媒体设备流SD(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任何组合)，并且可以向用户20传送对应的媒体设备流SD的全部或一部分(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任何组合)。设备可以指与被配置为接收或传达一种形式的媒体内容的媒体设备30有关的任何硬件或任何软件。此外，设备可以包括数据处理硬件和/或存储器硬件。在一些实施方式中，媒体设备30可以配置为诠释或与对应的媒体流(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任何组合)交互。例如，媒体设备30从广播媒体流SB中标识附加媒体内容流SC。媒体设备30可以利用替换媒体内容来替换或覆盖广播媒体流SB的附加媒体内容流SC。媒体设备30可以过滤媒体流S以获取预定内容。此外地或替代地，媒体设备30可以配置为使与媒体流(例如，广播媒体流SB、附加内容流SC或网络媒体流SN的任何组合)有关的信息或数据与广播层100、附加内容层110、网络层120或设备层130的其他媒体设备30通信。媒体设备30可以执行ACR模块132，或者与执行ACR模块132的其他数据处理硬件通信。ACR模块132可以配置为基于对媒体流的一部分进行采样、处理该样本以及将该样本与通过诸如音频或视频指纹或水印的唯一特征来标识内容的源服务进行比较，来标识内容元素(例如，音频、视频或数字图像)。
图1B示出了示例ACR环境10。ACR环境10包括广播公司102、广告指纹识别器200、200a、广播指纹识别器200、200b和广告标识符300。在一些示例中，广告指纹识别器200、200a和广播指纹识别器200、200b是相同的指纹识别器200，但是为了简单起见，图1B的ACR环境10具有对广告帧Fad(广告指纹识别器200、200a)和广播帧Fab(1-n)(广播指纹识别器200、200b)生成指纹222的指纹识别器200。在此，广播公司102将广告帧Fad(1-n)传达给广告指纹识别器200、200a。广告帧Fad(1-n)与可以划分成广告场景302、302a的广告相对应。每个广告场景302、302a可以涉及部分或整个广告。例如，广告长度发生变化(例如，一分钟广告、三十秒广告、十五秒广告、十秒广告等)；因此，为了标准化帧分析，使每个广告减少与广告场景302、302a相对应的离散数量的广告帧Fad(1-n)。广告指纹识别器200、200a可以在广告指纹生成器220、220a处针对每个广告帧Fad(1-n)生成广告指纹222、222a，并且根据广告场景302、302a将广告指纹222、222a存储在广告场景数据库250中。通常，广告指纹222、222a是与至少广告帧Fad(1-n)相对应的至少一个唯一标识符。此外地或替代地，除广播公司102之外的内容实体可以将广告帧Fad(1-n)传达到广告指纹识别器200、200a。利用广告指纹222、222a，广告指纹识别器200、200a然后可以将广告指纹222、222a发送到广告标识符300。广告指纹222、222a可以自动地被发送到广告标识符300，或者广告标识符300可以查询或者可以检索至少一个广告指纹222、222a以用于广告标识。
进一步参照图1B，广播公司102通过信道Ch1-n以广播帧速率RB将广播媒体流SB广播到广播指纹识别器200、200b。广播帧速率RB将广播媒体流SB划分成广播帧FB(1-n)，使得在广播媒体流SB内每个广播帧FB(1-n)与由像素表示的视听图像相对应。广播指纹识别器200、200b配置为在广播指纹生成器220、220b处接收每个广播帧FB(1-n)。广播指纹生成器220、220b接收每个广播帧FB(1-n)，并且配置为生成指示每个广播帧FB(1-n)的广播指纹222、222b。通常，广播指纹222、222b是与至少一个广播帧FB(1-n)相对应的至少一个唯一标识符。指纹识别器200、200b可以将每个广播指纹222、222b存储在诸如指纹数据库230的数据库中。在一些示例中，指纹识别器200根据元数据224或与其一起存储每个指纹222，所述元数据与诸如帧位置(例如，帧时间码)、帧类型(例如，直播节目或广告)或指纹标识符标签的帧F相对应。在其他示例中，指纹识别器200具有与每个指纹222的元数据224相对应的单独数据库或多个数据库。元数据224的单独数据库可以允许指纹识别器200存储更多的指纹222。然后，广播指纹识别器200、200b可以将广播指纹222、222b传送到广告标识符300。
在一些示例中，广告标识符300从广告指纹识别器200、200a接收广告指纹222、222a，并从广播指纹识别器200、200b接收广播指纹222、222b。广告标识符300可以将广播指纹222、222b与广告指纹222、222a进行比较，以标识广播指纹222、222b何时也是广告指纹222、222a。换言之，广告标识符300标识广播帧FB(1-n)与广告帧Fad匹配。
图2是指纹识别器200的指纹生成器220的示例。指纹生成器220接收与广播媒体流SB的信道Ch1-n或广告Ad(1-n)相对应的帧F1-n(广播帧FB(1-n)或广告帧Fad(1-n))。指纹生成器220可以针对每个接收的帧F1-n生成指纹222，并且可以将指纹222存储在诸如指纹数据库230或广告场景数据库250的数据库中。在一些示例中，每个指纹222表示与信道Ch或广告Ad相对应的帧F1-n的至少一个像素值Vp。该至少一个像素值Vp可以是帧F1-n的平均像素值或颜色空间值的总和。例如，当指纹生成器220根据灰度-UV(YUV)颜色空间生成指纹222时，至少一个像素值Vp可以表示对应的帧F1-n的灰度值的总和和/或平均。换言之，对应的帧F1-n的每个像素由灰度值表示，使得指纹222表示像素区域的灰度值的总和和/或平均值。在一些实施方式中，指纹222(例如，广告指纹222、222a或广播指纹222、222b)是基于对应的帧F1-n的子帧Fsub的唯一标识符。根据每个子帧Fsub的像素，每个子帧Fsub可以具有对应的像素值Vp或对应的平均像素值。
图2还示出了与被划分成子帧Fsub的帧F(例如，广播帧FB(1-n)或广告帧Fad)相对应的指纹222、F1-n的示例。在一些示例中，指纹生成器220将每个帧F划分成子帧Fsub，以在帧F1-n之间进行更准确的比较或区分。利用子帧Fsub，每个指纹222(例如，广告指纹222、222a或广播指纹222、222b)可以表示对应的帧F1-n的一个以上平均像素值Vp。通过将每个帧F1-n划分成子帧Fsub，相比于基于整个帧F1-n的像素值Vp(或平均像素值)的指纹222，在指纹生成期间考虑了更多细节(例如，每个子帧Fsub的像素)。这样，指纹生成器220将每个帧F1-n划分成的子帧Fsub的数量取决于期望的精度水平。例如，如图2所示，指纹生成器220将每个帧F1-n划分成限定了四乘四阵列的十六个子帧Fsub。十六个子帧Fsub中的每个子帧Fsub具有平均像素值Vp11-44，使得每个指纹222通过具有与每个子帧Fsub相关联的整数值的十六个整数值矢量来表示每个对应的帧F1-n。尽管附图可以将每个帧F1-n或每个媒体设备帧FD1-n描绘为四乘四阵列，但是任何子帧划分都是可能的。
传统上，在指纹222之间(例如，在广告指纹222、222a与广播指纹222、222b之间)的比较遭受分辨率问题。例如，一些系统通常根据与每个帧F相对应的平均像素值Vp的等级来索引帧F(1-n)。通过根据等级进行索引，等级可以因像素值异常值而更加偏斜。此外，利用等级作为单个像素值Vp，系统可以对像素的改变更不敏感。作为说明性的隐喻，科学的测量值包括有效数字，该有效数字是指示精度的数位数量。例如，一位有效数字0.1的测量值仅精确到十分之一，并且范围可以从0.10到0.19；而两位有效数字0.12的测量值精确到百分之一，并且范围可以从0.120到0.129。换言之，根据单个像素值Vp的等级的指纹222类似于一位有效数字，而根据多个像素值Vp的矢量的指纹222类似于一位以上有效数字。根据等级的指纹222可以允许更大的像素变化而不考虑该变化；因此，当与作为表示帧F的多个像素值Vp的矢量的指纹222相比时，该等级更不可能真正表示帧F的像素。对于广告标识符300，这是指当广告具有与直播节目相似像素值Vp时，使用等级的指纹222的场景标识符310会难以标识广告。
图3A-3F示出了广告标识符300的示例。广告标识符300包括场景标识符310、匹配器320以及广告指示器330。场景标识符310配置为从媒体流S确定场景302何时改变为另一场景302(即，场景改变312)。通常，场景302是具有相似像素值Vp的一系列序列帧F1-n。场景302具有相似像素值Vp，因为每个帧F通常基于帧速率R与几分之一秒相对应。在几分之一秒内，除非场景302改变，否则作为由每个帧F表示的视听图像而捕获的主要内容不能够快速改变。因此，由指纹222表示的至少一个像素值Vp可以通过与两个连续相邻的帧Fadj、F1-n相对应的指纹222之间的像素值Vp的相异性来确定场景改变312。当场景标识符310确定场景改变312时，匹配器320配置为确定场景改变312的后续场景304是否与广告(例如，广告场景数据库250内的广告)相对应。当后续场景304与广告相对应时，广告指示器330配置为针对与后续场景304相对应的媒体流S的至少一个广播帧FB提供标识332。
在整个图3A-3F中，虚线框通常指示选择一个或多个元素以示出广告标识符300的功能。例如，在一些图示中，虚线框指示选择元素作为广告标识符300的输入或输出。在其他图示中，虚线框指示与广告标识符300有关的硬件和/或软件的逻辑判定。
图3A和图3B示出了广告标识符300的场景标识符310部分的示例。场景标识符310接收指示媒体流S的广播帧FB(1-n)的广播指纹222、222b。具有相似像素值Vp的广播帧序列FB(1-n)限定了广播场景302、302b，使得媒体流S包括一系列广播场景302、302b(1-n)。场景标识符310基于场景改变相关性来确定第一广播场景302、302b(1)与第二广播场景302、302b(2)之间的场景改变312。场景改变相关性是指示帧F和/或与帧F相对应的指纹222之间相似度的相似度测量值。相似度测量值可以是定量相关性，诸如测量两个变量之间的关联的统计相关性(例如，皮尔逊相关性、肯德尔相关性或斯皮尔曼相关性)。在一些实施方式中，场景改变相关性具有不同的相似度水平，其中每个相似度水平指示帧F和/或与帧F相对应的指纹222之间的不同相似度程度。图3A描绘了场景改变相关性是场景改变皮尔逊相关系数PsΔ的基本示例。在该示例中，场景改变皮尔逊相关系数PsΔ具有两个相似度水平，即高相似度和低相似度。例如，高和低相似度与离散的定量测量值范围相对应(例如，低＝0-0.50并且高＝0.051-1.0)。这些离散的定量测量值范围可以针对场景标识符310进行预编程，或者基于在场景标识符310处测量的场景改变相关性进行调整。
在一些示例中，场景标识符310通过确定媒体流S内的每个连续相邻的广播帧对FB(1-n)、FBadj之间的场景改变皮尔逊相关系数PsΔ来标识场景改变312。在这些示例中，场景标识符310确定广播帧对FB(1-n)、FBadj的第一广播帧FB(1)的第一广播指纹222、222b(1)与广播帧对FB(1-n)、FBadj的第二广播帧FB(2)的第二广播指纹222、222b(2)之间的场景改变皮尔逊相关系数PsΔ。在一些实施方式中，诸如图3C和图3D，当场景标识符310确定在连续相邻的广播帧对FB(1-n)、FBadj之间的场景改变皮尔逊相关系数PsΔ与场景改变312相对应时，场景标识符310标识第一广播场景302、302b(1)和第二广播场景302、302b(2)。换言之，场景标识符310将第二广播场景302、302b(2)标识为第一广播场景302、302b(1)的后续场景304。例如，场景标识符310将广播帧对FB(1-n)、FBadj中的第一广播指纹222、222b(1)标识为最后广播帧FB(L)的最后广播指纹222、222b(L)，并且将广播帧对FB(1-n)、FBadj中的第二广播指纹222、222b(2)标识为第二广播场景302、302b(2)的初始广播帧FB(i)的初始广播指纹222、222b(i)。
进一步参照图3A，与广播帧FB(1-n)，FBadj对相对应的广播指纹222、222b之间的场景改变皮尔逊相关系数PsΔ可以是高测量值(例如，接近1.0)或低测量值(例如，接近0)。例如，当场景改变皮尔逊相关系数PsΔ高时，广播帧对FB(1-n)、FBadj中的第一广播指纹222、222b(1)和第二广播指纹222、222b(2)具有指示场景改变312尚未发生的相似度。相反，当场景改变皮尔逊相关系数PsΔ低时，广播帧对FB(1-n)、FBadj中的第一广播指纹222、222b(1)和第二广播指纹222、222b(2)具有指示场景改变312已经发生的相异性。在一些示例中，场景标识符310确定场景改变皮尔逊相关系数PsΔ是否满足场景改变相关性阈值TsΔ。当场景改变皮尔逊相关系数PsΔ满足场景改变相关性阈值TsΔ时，场景标识符310可以根据场景标识符310的配置来确定场景改变312已经发生或尚未发生。例如，图3B示出了被配置为在场景改变皮尔逊相关系数PsΔ满足场景改变相关性阈值TsΔ时标识场景改变312已经发生的场景标识符310。图3A和3B两图示出了场景标识符310已经确定广播帧对FB(1-n)、FBadj的第一广播指纹222、222b(1)与第二广播指纹222、222b(2)之间尚未发生场景改变312。
如图3C-3F所示，广告标识符300还包括匹配器320。匹配器320接收指示广告场景302、302a(1-n)的广告帧Fad(1-n)的广告指纹222、222a。在一些示例中，一旦场景标识符310确定场景改变312，匹配器320可以从广告场景数据库250中检索广告指纹222、222a。在其他示例中，内容实体可以将广告指纹222、222a直接提供给匹配器320。此外地或替代地，匹配器320可以包括被配置为存储广告指纹222、222a和/或广告帧Fad(1-n)的广告场景数据库250。当场景标识符310确定场景改变312并且将第一广播场景302、302b(1)改变标识为第二广播场景302、302b(2)时，广告标识符300确定第二广播场景302、302b是否是广告场景302、302a(1-n)中的一个。在一些实施方式中，对于匹配器320接收的每个广告场景302、302a，匹配器320确定在与广告场景302、302a相对应的相应广告指纹222、222a与第二广播场景302、302b(2)的至少一个广播指纹222、222b之间的匹配相关性。在一些示例中，第二广播场景302、302b(2)的至少一个广播指纹222、222b是广播帧对FB(1-n)、FBadj中的第二广播指纹222、222b(2)。在一些示例中，非常类似于场景改变相关性，匹配相关性是诸如皮尔逊相关性、肯德尔相关性或斯皮尔曼相关性的统计相关性。图3C-3F示出了作为匹配皮尔逊相关系数PM的匹配相关性的示例。例如，匹配器320确定在第二广播场景302、302b的至少一个广播指纹222、222b与每个广告场景302、302a的每个相应广告指纹222、222a之间的匹配皮尔逊相关系数PM。
在一些示例中，匹配器320确定在与广告场景302、302a的多个广告指纹222、222a相对应的广告指纹块222、222a(block)(例如，包括相应广告指纹222、222a)和与第二广播场景302、302b(2)的多个广播指纹222、222b相对应的广播指纹块222、222b(block)之间的匹配相关性。广告指纹块222、222a(block)和广播指纹块222、222b(block)的每个块可以包括预定数量的指纹222。在一些实施方式中，每个块包括相似数量的指纹222，使得匹配器320的匹配相关性使相等数量的广告指纹222、222a与相等数量的广播指纹222、222b进行比较。例如，广告指纹块222、222a(block)和广播指纹块222、222b(block)的每个块与两秒的指纹222相对应，使得每个块以每秒三十帧的帧速率包括60个指纹(例如，广告指纹222、222a(1-60)和广播指纹222、222b(1-60))。作为说明性示例，图3C、3D以及3F描绘了匹配器320关于四个广告指纹222、222a(在每个广告场景302、302a处的虚线选择框内)和四个广播指纹222、222b(在每个广播场景302、302b处的虚线选择框内)执行匹配相关性。
在一些示例中，广告场景302、302a与整个广告或广告的一部分相对应。因此，广告场景数据库250可以包括用于广告的所有广告帧Fad(1-n)或与广告有关的任何数量的广告帧Fad(1-n)。在一些示例中，每个广告场景302、302a是一定数量的帧Fad(1-n)，以确保广告标识符300的一致性。例如，假设每个广告在广告的前两秒期间是唯一的，则每个广告场景302、302a与两秒的广告帧Fad(1-n)相对应。在该示例中，当帧速率是每秒三十帧时，两秒的广告帧Fad(1-n)大约等于六十个广告帧Fad(1-60)。在其他示例中，每个广告场景302、302a是任何数量的广告帧Fad(1-n)，但是匹配器320配置为确定在一定数量的广告帧Fad(1-n)(例如，两秒的广告帧Fad(1-n))与第二广播场景302、302b(2)的相似数量的广播帧FB(1-n)之间的匹配相关性(即，后续广播场景)。一定数量的广告帧Fad(1-n)可以减少广告场景数据库250所需的存储量。在一些情况下，减少广告场景数据库250所需的存储量使匹配器320降低处理能力。例如，广告的范围通常从大约十秒钟的短版本到大约一分钟的长版本。从帧的角度看，长版本可以比短版本多一千帧。在这方面，广告场景数据库250可以针对每个广告将整个广告的一千多个帧的潜在存储减少到一定数量的广告帧Fad(1-n)，并利用存储的减少使得每个广告指纹222、222a在广告帧Fad内并入更多的子帧Fsub并因此并入更多的像素值Vp。换言之，广告的部分(即，离散数量的广告帧Fad(1-n))可以允许匹配器320准确地标识广播场景302、302b与广告相对应，因为指纹222(例如，广告指纹222、222a或广播指纹222、222b)可以表示比仅单个平均像素值Vp的指纹222大得多的像素值Vp的矢量(例如，十六个整数矢量)。
此外，图3C和图3D提供了场景标识符310确定场景改变312的位置的示例。在这些示例中，当场景标识符310确定在连续相邻的广播帧对FB(1)、FB(2)之间的场景改变皮尔逊相关系数PsΔ与场景改变312相对应时，场景标识符310将第一广播帧对FB(1)、FB(2)中的第一广播指纹222、222b(1)标识为第一广播场景302、302b(1)的最后广播帧FB(L)的最后广播指纹222、222b(L)，并且将广播帧对FB(1)、FB(2)中的第二广播指纹222、222b(2)标识为第二广播场景302、302b(2)的初始广播帧FB(i)的初始广播指纹222、222b(i)。场景改变312的确定触发匹配器320确定第二广播场景302、302b(2)是否是广告场景302、302a(1-n)中的一个。在图3C和图3D中，匹配器320接收表示相似数量的帧F(1-n)的广告指纹222、222a和广播指纹222、222b。在一些情况下，匹配器320接收相似尺寸或矢量的指纹222以流线化与广告标识符300相关联的数据处理硬件和/或存储器硬件可以是有利的。在一些示例中，场景标识符310将后续场景304的广播指纹222、222b传送到匹配器320。在其他示例中，当场景标识符310确定场景改变312时，匹配器320可以检索后续场景304的广播指纹222、222b。在图3C和图3D中，匹配器320接收与第二广播场景302、302b(2)(即，后续场景304)的四个广播帧FB(2-5)有关的广播指纹222、222b以及与每个广告场景302、302a(1-n)的四个广告帧Fad(1-4)有关的广告指纹222、222a。例如，匹配器320从广告场景数据库250中接收广告指纹222、222a。
图3C和3D描绘了匹配器320基于匹配皮尔逊相关系数PM来确定第二广播场景302、302b(2)是否是广告场景302、302a(1-n)中的一个。与场景标识符310相似，匹配器320可以将相似度水平或阈值用于匹配皮尔逊相关系数PM。在一些示例中，诸如图3C，当匹配皮尔逊相关系数PM与相似度水平(例如，类似于图3A的高相似度和相似度)相对应时，匹配器320确定第二广播场景302、302b(2)是广告场景302、302a(1-n)中的一个。在图3C中，匹配器320已经确定第二广播场景302、302b(2)的广播指纹222、222b与广告场景302、302a(1-n)的至少一个广告指纹222、222a具有高的相似度。在其他示例中，诸如图3D，当匹配皮尔逊相关系数PM满足匹配相关性阈值TM时，匹配器320可以确定第二广播场景302、302b(2)是广告场景302、302a(1-n)中的一个。与场景标识符310的场景改变相关性阈值TsΔ相似，匹配相关性阈值TM可以根据匹配器320的配置来确定后续场景304是否与广告场景302、302a匹配。例如，图3D示出了被配置为当匹配皮尔逊相关系数PM满足匹配相关性阈值TM时标识后续场景304与广告场景302、302a匹配的匹配器320。尽管图3C-3F将匹配皮尔逊相关系数PM示出为匹配相关性，但是匹配器320可以结合相似度水平和/或阈值使用任何统计相关性。此外，尽管图3A-3F示出了场景标识符310和匹配器320的多个组合，但是任何组合是可能的。例如，当匹配器320使用相似度水平时，附图无法使用阈值一起示出匹配相关性和场景标识符310，反之亦然。附图也无法示出场景标识符310可以确定场景改变312，但是匹配器320没有确定匹配广告场景302、302a。这可以在媒体流S的节目期间发生在直播节目改变场景时，但是该节目没有过渡到广告。
在一些实施方式中，匹配器320确定每个广告场景302、302a关于第二广播场景302、302b(2)中的至少一个广播指纹222、222b的匹配相关性。利用每个匹配相关性，匹配器320可以配置为将具有最大匹配相关性的广告场景302、302a标识为与第二广播场景302、302b(2)的至少一个广播指纹222、222b匹配的广告场景302、302a。例如，当广告场景302、302a包括相似广告、但长度变化时，这种配置可以有助于匹配器320准确。
在一些示例中，当场景标识符310确定场景改变312时，匹配器320在广播帧FB(1)、FB(2)中的第一广播指纹222、222b(1)与场景改变312相对应之后在确定第二广播场景302、302b(2)是否是广告场景302、302a(1-n)中的一个之前，等待阈值时间段PT。在一些实施方式中，匹配器320在第一广播场景302、302b(1)的最后广播帧FB(L)的最后广播指纹222、222b(L)之后，等待阈值时间段PT。例如，在图3C-3F中，第二广播场景302、302b(2)的广播指纹222、222b与广播帧FB(2-5)的阈值时间段PT相对应。换言之，由匹配器320分析的第二广播场景302、302b(2)的广播指纹222、222b可以与一个以上的广播帧FB(1-n)相对应。在一些示例中，阈值时间段PT用于考虑由匹配器320针对每个广告场景302、302a接收的一定数量的广告帧Fad(1-n)。通过考虑一定数量的广告帧Fad(1-n)，阈值时间段PT可以向匹配器320提供相等尺寸的矢量或像素值，以比较指纹222。例如，当每个广告场景302、302a与两秒的广告帧Fad(1-n)相对应时，阈值时间段PT是在确定第二广播场景302、302b(2)是否为广告场景302、302a(1-n)中的一个之前至少两秒。该两秒钟可以使匹配器320基于两秒的广播帧FB(1-n)来确定第二广播场景302、302b(2)是否是广告场景302、302a中的一个。
图3C-3F还示出了广告标识符300的广告指示器330。当匹配相关性满足匹配器320的匹配标准(例如，匹配相关性阈值TM或相似度水平)时，广告指示器330可以将第二广播场景302、302b(2)的标识332关联为广告场景302、302a(1-n)中的一个。例如，广告指示器330将第二广播场景302、302b(2)标识为与匹配器320接收并由匹配器320确定以匹配第二广播场景302、302b(2)的广播指纹222、222b的相应广告指纹222、222a的广告场景302、302a相对应。在一些示例中，标识332是到内容实体或ACR模块132的通信，使得在媒体设备30处在实时观看期间容易区分第二广播场景302、302b(2)。根据标识332，可以利用替代内容替换、覆盖或修改与广告相对应的第二广播场景302、302b(2)。通过提供第二广播场景302、302b(2)是广告的标识332，广告标识符300可以允许ACR模块132在媒体设备30处更有效率且更有效地运行。此外地或替代地，标识332是与第二广播场景302、302b(2)相关联的诸如元数据标签的标识符。标识符的一些示例包括关于对应的广告场景302、302a的信息(例如，广告商、产品、服务、广告长度等)或广播帧数据(例如，帧位置)。换言之，标识符可以是当媒体设备30接收媒体流S时可以帮助内容实体或ACR模块132标识对应的广告场景302、302a的任何数据。广告标识符300可以消除在ACR模块132处的一些广告标识错误，因为广告标识符300提供了广告的标识332。此外地或替代地，广告标识符300可以降低ACR模块132将消耗与广告标识符300相似的执行功能的处理能力。
一些广告可以是更复杂的广告形式。示例包括彼此嵌套的广告、彼此连续相邻的广告、或在另一广告之前紧接一小段常规节目的广告。例如，高尔夫球杆制造商可以具有带有高尔夫球杆和/或高尔夫挥杆的特写镜头的标准广告，但然后还与豪华汽车制造商合作。在该示例中，可以有多个不同的广告序列：广告可以以驾驶到高尔夫球场的汽车开始，并以标准的高尔夫球杆广告和高尔夫球杆特写镜头结束；广告可以以高尔夫球杆开始，并以高尔夫球杆被放入车内且驾驶离开结束；或者广告可以以汽车开始和结束，但在中间部分包含高尔夫球杆标准广告。对于任何这些广告序列，广告标识符300配置为确定第二广播场景302、302b(2)是否在另一广告场景302、302a之内或与之连续相邻。
图3E和图3F描绘了确定第二广播场景302、302b(2)是否在另一广告场景302、302a之内或与之连续相邻的广告标识符300。当广告指示器330提供第二广播场景302、302b(2)的标识332和/或标识符时，标识332可以触发场景标识符310以确定在第二广播帧302、302b(2)的广播指纹222、222b之后的广播帧FB处是否存在第三广播场景302、302b(3)。换言之，场景标识符310可以确定后续广播帧对FB(1-n)、FBadj之间的场景改变相关性。在一些示例中，场景标识符310递归地执行媒体流S的每个连续相邻的广播帧对FB(1-n)、FBadj之间的场景改变相关性。在其他示例中，广播帧对FB(1-n)、FBadj的第二次迭代以在第一次迭代中由匹配器320分析的广播帧FB(1-n)的阈值时间段PT中的最终广播帧FB(f)开始。例如，图3E和图3F示出了广播帧对FB(1-n)、FBadj的第二迭代以广播帧FB(1-n)(即，图3C和图3D的广播帧FB(5))的阈值时间段PT中的最终广播帧FB(f)开始。在这些示例中，广播帧FB(1-n)的阈值时间段PT中的最终广播帧FB(f)变成第二次迭代的广播帧对FB(1-n)、FBadj的第一广播帧FB(1)。图3E描绘了除场景标识符310确定第二广播场景302、302b(2)内没有场景改变312之外与图3B相似的场景标识符310的过程。
另一方面，图3F是广告标识符300确定在第二广播场景302、302b(2)的广告场景302、302a内或与之连续相邻的广告的示例。在此，场景标识符310标识第二广播场景302、302b(2)与第三广播场景302、302b(3)之间的场景改变312。匹配器320等待阈值时间段PT(例如，四个广播帧FB(2-5))，并确定第三广播场景302、302b(3)与另一广告场景302、302a相对应。基于匹配器320的该确定，广告指示器330将标识332与第三广播场景302、302b(3)相关联。
软件应用程序(即，软件资源)可以指代使计算设备执行任务的计算机软件。在一些示例中，软件应用程序可以称为“应用程序”、“手机应用程序”或“程序”。示例应用程序包括但不限于系统诊断应用程序、系统管理应用程序、系统维护应用程序、文字处理应用程序、电子表格应用程序、消息应用程序、媒体流应用程序、社交网络应用程序以及游戏应用程序。
图4是可以用于实现本文中描述的系统和方法的示例计算设备400的示意图。计算设备400旨在表示各种数字计算机形式，诸如笔记本计算机、台式计算机、工作站、个人数字助理、服务器、刀峰服务器、大型商业服务器以及其他适当的计算机。此处所示的组件、它们的连接和关系以及它们的功能仅意味着示例性的，并不意味着限制本文中描述和/或要求保护的发明的实施方式。
计算设备400包括处理器410、存储器420、存储设备430、连接到存储器420和高速扩展端口450的高速接口/控制器440、以及连接到低速总线470和存储设备430的低速接口/控制器460。组件410、420、430、440、450以及460中的每一个使用各种总线互连，并且可以在通用主板上或以其他适当的方式安装。处理器410能够处理用于在计算设备400内执行的指令，包括存储在存储器420中或在存储设备430上的指令，以将图形用户界面(GUI)的图形信息显示在诸如耦接到高速接口440的显示器480之类的外部输入/输出设备上。在其他实施方式中，可以适当地一起使用多个处理器和/或多个总线以及多个存储器和存储器类型。并且，可以连接多个计算设备400，其中每个设备提供必要操作的部分(例如，作为服务器阵列、刀峰服务器组或多处理器系统)。
存储器420在计算设备400内非暂时地存储信息。存储器420可以是计算机可读介质、易失性存储单元或非易失性存储单元。非暂时存储器420可以是用于临时或永久地存储程序(例如，指令序列)或数据(例如，程序状态信息)以供计算设备400使用的物理设备。非暂时存储器420可以是用于临时或永久地存储程序(例如，指令序列)或数据(例如，程序状态信息)以供计算设备400使用的物理设备。非易失性存储器的示例包括但不限于闪存和只读存储器(ROM)/可编程只读存储器(PROM)/可擦除可编程只读存储器(EPROM)/电子可擦除可编程只读存储器(EEPROM)(例如，通常用于诸如启动程序的固件)。易失性存储器的示例包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、相变存储器(PCM)以及磁盘或磁带。
存储设备430能向计算设备400提供大容量存储。在一些实施方式中，存储设备430是计算机可读介质。在各种不同的实施方式中，存储设备430可以是软盘设备、硬盘设备、光学盘设备或磁带设备、闪存或其他相似固态存储器设备、或设备阵列，包括在存储区域网络中的设备或其他配置。在另外的实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含在被执行时执行诸如上述那些的一种或更多种方法的指令。信息载体是计算机或机器可读介质，诸如存储器420、存储设备430或处理器410上的存储器。
高速控制器440管理计算设备400的带宽密集型操作，而低速控制器460管理更低带宽密集型操作。这种职责分配仅是示例性的。在一些实施方式中，高速控制器440耦接到存储器420、显示器480(例如，通过图形处理器或加速器)以及高速扩展端口450，所述高速扩展端口可以接受各种扩展卡(未示出)。在一些实施方式中，低速控制器460耦接到存储设备430和低速扩展端口490。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口490可以例如通过网络适配器耦接到一个或更多个输入/输出设备，诸如键盘、指示设备、扫描仪或如交换机或路由器的网络设备。
如图所示，计算设备400可以以多种不同的形式实现。例如，该计算机设备可以实现为标准服务器400a或这种服务器400a组的翻倍、实现为笔记本计算机400b、或实现为机架服务器系统400c的部分。
本文描述的系统和技术的各种实现方式能够在数字电子和/或光学电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式能够包括在可编程系统上可执行和/或诠释的一个或更多个计算机程序中的实施方式，所述可编程系统包括被耦接的以从中接收数据和指令并向其传输数据和指令的至少一个可编程处理器(可以是专用的或通用目的)、存储系统、至少一个输入设备以及至少一个输出设备。
这些计算机程序(也已知为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且能够以高阶程序式和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、非暂时性计算机可读介质、装置和/或设备(例如，磁盘、光学盘、存储器、可编程逻辑设备(PLD))，包括将机器指令接收为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的过程和逻辑流程能够由一个或更多个可编程处理器来执行，所述可编程处理器执行一个或更多个计算机程序以通过在输入数据上操作并生成输出来执行功能。过程和逻辑流程也能够由例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的专用逻辑电路执行。例如，适合于执行计算机程序的处理器包括通用和专用微处理器两者以及任何种类的数字计算机的任何一个或更多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于执行指令的处理器和用于存储指令和数据的一个或更多个存储设备。通常，计算机还将包括或可操作地被耦接以从计算机接收数据或向其传输数据或两者的用于存储数据的一个或更多个大容量存储设备，例如，磁性、磁光盘、或光学盘。然而，计算机不需要具有这种设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有非易失性存储器、介质以及存储器设备形式，包括例如半导体存储器设备，例如EPROM、EEPROM以及闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器能够由专用逻辑电路补充或并入其中。
为了提供与用户的交互，本公开的一个或更多个方面能够在具有：用于将信息显示给用户的显示器设备的计算机上实现，所述显示器设备例如是CRT(阴极射线管)、LCD(液晶显示器)监视器或触摸屏；以及可选的键盘和例如鼠标或跟踪球的指示设备，用户通过所述设备能够向计算机提供输入。还能够使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈能够是任何感觉反馈形式，例如视觉反馈、听觉反馈或触觉反馈；并且能够以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机能够通过向用户使用的设备发送文档以及从其接收文档来与用户交互；例如，通过将网页发送到用户客户端设备上的Web浏览器来响应从Web浏览器接收的请求。
已经描述了多个实施方式。然而，应当理解的是，在不脱离本公开的精神和范围的情况下可以进行各种修改。因此，其他实施方式在所附权利要求的范围内。

Claims (30)

1.一种方法，包括：
在数据处理硬件(212)处接收指示媒体流(S)的广播帧(FB(1-n))的广播指纹(222b)，所述媒体流(S)包括一系列广播场景(302b(1-n))；
在数据处理硬件(212)处接收指示广告场景(302a(1-n))的广告帧(Fad(1-n))的广告(ad)指纹(222a)；
通过数据处理硬件(212)确定第一广播场景(302b(1))与第二广播场景(302b(2))之间的场景改变(312)，所述场景改变基于在所述第二广播场景(302b(2))的初始广播帧(FB(i))的初始广播指纹(222b(i))与所述第一广播场景(302b(1))的最后广播帧(FB(L))的最后广播指纹(222b(L))之间的场景改变皮尔逊相关系数(PsΔ)；
通过数据处理硬件(212)确定所述第二广播场景(302b(2))是否是广告场景(302a(1-n))中的一个；以及
当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，通过数据处理硬件(212)将所述第二广播场景(302b(2))的标识关联为广告场景(302a(1-n))中的一个。
2.根据权利要求1所述的方法，其中，确定所述场景改变(312)包括：
确定在所述第二广播场景(302b(2))的初始广播帧(FB(i))的初始广播指纹(222b(i))与所述第一广播场景(302b(1))的最后广播帧(FB(L))的最后广播指纹(222b(L))之间的场景改变皮尔逊相关系数(PsΔ)；并且
通过数据处理硬件(212)确定场景改变皮尔逊相关系数(PsΔ)满足场景改变相关性阈值(TsΔ)。
3.根据权利要求1所述的方法，其中，确定所述场景改变(312)包括：
对于每个连续相邻的广播帧对(FB(1)、FB(2))：
确定以下之间的场景改变皮尔逊相关系数(PsΔ)：
广播帧对(FB(1)、FB(2))中的第一广播帧(FB(1))的第一广播指纹(222b(1))；与
广播帧对(FB(1)、FB(2))中的第二广播帧(FB(2))的第二广播指纹(222b(2))；
通过数据处理硬件(212)确定场景改变皮尔逊相关系数(PsΔ)是否满足场景改变相关性阈值(TsΔ)；以及
当场景改变皮尔逊相关系数(PsΔ)满足场景改变相关性阈值(TsΔ)时：
将广播帧对(FB(1)、FB(2))中的所述第一广播帧(FB(1))标识为对应的广播场景(302b)的最后广播帧(FB(L))；并且
将广播帧对(FB(1)、FB(2))中的所述第二广播帧(FB(2))标识为对应的连续相邻的广播场景的初始广播帧(FB(i))。
4.根据权利要求1-3中的任一项所述的方法，还包括在确定所述第二广播场景(302b(2))是否是广告场景(302a(1-n))中的一个之前，在所述第一广播场景(302b(1))的最后广播帧(FB(L))的最后广播指纹222b(L))之后等待阈值时间段。
5.根据权利要求1-4中任一项所述的方法，其中，确定所述第二广播场景(302b(2))是否是广告场景(302a(1-n))中的一个包括：
针对每个广告指纹(222a)：
通过数据处理硬件(212)确定在相应广告指纹(222a)与所述第二广播指纹(222b(2))之间的匹配皮尔逊相关系数(PM)；
通过数据处理硬件(212)确定匹配皮尔逊相关系数(PM)是否满足匹配相关性阈值(TM)；以及
当匹配皮尔逊相关系数(PM)满足匹配相关性阈值(TM)时，通过数据处理硬件(212)将所述第二广播场景(302b(2))标识为与相应广告指纹(222a)的广告场景(302a)相对应。
6.根据权利要求1-5中任一项所述的方法，还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，通过数据处理硬件(212)确定所述第二广播场景(302b(2))是否在另一广告场景(302a)之内或与所述另一广告场景连续相邻。
7.根据权利要求1-6中任一项所述的方法，还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，通过数据处理硬件(212)将广告标识符(300)与所述第二广播场景(302b(2))相关联。
8.根据权利要求1-7中的任一项所述的方法，其中，每个指纹(222)表示对应的帧(F)的至少一个像素。
9.根据权利要求1-8中的任一项所述的方法，其中，每个指纹(222)包括表示对应的帧(F)的灰度值的总和的平均像素值(Vp)。
10.根据权利要求1-9中任一项所述的方法，其中，每个指纹(222)表示与十六个子帧的平均像素值(Vp)相对应的16个整数矢量，所述十六个子帧限定了对应的帧(F)的四乘四阵列。
11.一种方法，包括：
在数据处理硬件(212)处接收指示媒体流(S)的广播帧(FB(1-n))的广播指纹(222b)；
在数据处理硬件(212)处接收指示广告场景(302a(1-n))的广告帧(Fad(1-n))的广告(ad)指纹(222a)；以及
对于每个连续相邻的广播帧对(FB(1-n)、FBadj)：
通过数据处理硬件(212)确定以下之间的场景改变皮尔逊相关系数(PsΔ)：
广播帧对(FB(1)、FB(2))中的第一广播帧(FB(1))的第一广播指纹(222b(1))；与
广播帧对(FB(1)、FB(2))中的第二广播帧(FB(2))的第二广播指纹(222b(2))；
通过数据处理硬件(212)确定场景改变皮尔逊相关系数(PsΔ)是否满足场景改变相关性阈值(TsΔ)；以及
当场景改变皮尔逊相关系数(PsΔ)满足场景改变相关性阈值(TsΔ)时：
通过数据处理硬件(212)将所述第一广播场景(302b(1))标识为在所述第一广播帧(FB(1))处结束；
通过数据处理硬件(212)将所述第二广播场景(302b(2))标识为在所述第二广播帧(FB(2))处开始；以及
针对每个广告指纹(222a)：
通过数据处理硬件(212)确定在相应广告指纹(222a)与所述第二广播指纹(222b(2))之间的匹配皮尔逊相关系数(PM)；
通过数据处理硬件(212)确定匹配皮尔逊相关系数(PM)是否满足匹配相关性阈值(TM)；以及
当匹配皮尔逊相关系数(PM)满足匹配相关性阈值(TM)时，通过数据处理硬件(212)将所述第二广播场景(302b(2))标识为相应广告指纹(222a)的广告场景(302a)。
12.根据权利要求11所述的方法，还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，通过数据处理硬件(212)确定所述第二广播场景(302b(2))是否在另一广告场景(302a)之内或与所述另一广告场景连续相邻。
13.根据权利要求11或12中任一项所述的方法，还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，通过数据处理硬件(212)将广告标识符(300)与所述第二广播场景(302b(2))相关联。
14.根据权利要求11-13中的任一项所述的方法，其中，每个指纹(222)表示对应的帧(F)的至少一个像素。
15.根据权利要求11-14中的任一项所述的方法，其中，每个指纹(222)表示与十六个子帧的平均像素值(Vp)相对应的16个整数矢量，所述十六个子帧限定了对应的帧(F)的四乘四阵列。
16.一种系统，包括：
数据处理硬件(212)；以及
与数据处理硬件(212)通信的存储器硬件(214)，所述存储器硬件(214)存储指令，所述指令在数据处理硬件(212)上被执行时引起数据处理硬件(212)执行操作，所述操作包括：
接收指示媒体流(S)的广播帧(FB(1-n))的广播指纹(222b)，所述媒体流(S)包括一系列广播场景(302b(1-n))；
接收指示广告场景(302a(1-n))的广告帧(Fad(1-n))的广告(ad)指纹(222a)；
基于在第二广播场景(302b(2))的初始广播帧(FB(i))的初始广播指纹(222b(i)与第一广播场景(302b(1))的最后广播帧(FB(L))的最后广播指纹(222b(L))之间的场景改变皮尔逊相关系数(PsΔ)来确定在所述第一广播场景(302b(1))与所述第二广播场景(302b(2))之间的场景改变(312)；
确定所述第二广播场景(302b(2))是否是广告场景(302a(1-n))中的一个；以及
当所述第二广播场景(302b(2))是广告场景(302a(1-n)中的一个时，将所述第二广播场景(302b(2))的标识(332)关联为广告场景(302a(1-n))中的一个。
17.根据权利要求16所述的系统，其中，确定所述场景改变(312)包括：
确定在所述第二广播场景(302b(2))的初始广播帧(FB(i))的初始广播指纹(222b(i))与所述第一广播场景(302b(1))的最后广播帧(FB(L))的最后广播指纹222b(L))之间的场景改变皮尔逊相关系数(PsΔ)；并且
确定场景改变皮尔逊相关系数(PsΔ)满足场景改变相关性阈值(TsΔ)。
18.根据权利要求16所述的系统，其中，确定所述场景改变(312)包括：
对于每个连续相邻的广播帧对(FB(1)、FB(2))：
确定以下之间的场景改变皮尔逊相关系数(PsΔ)：
广播帧对(FB(1)、FB(2))中的第一广播帧(FB(1))的第一广播指纹(222b(1))；和
广播帧对(FB(1)、FB(2))中的第二广播帧(FB(2))的第二广播指纹(222b(2))；
确定场景改变皮尔逊相关系数(PsΔ)是否满足场景改变相关性阈值(TsΔ)；以及
当场景改变皮尔逊相关系数(PsΔ)满足场景改变相关性阈值(TsΔ)时：
将广播帧对(FB(1)、FB(2))中的所述第一广播帧(FB(1))标识为对应的广播场景(302b)的最后广播帧(FB(L))；并且
将广播帧对(FB(1)、FB(2))中的所述第二广播帧(FB(2))标识为对应的连续相邻的广播场景的初始广播帧(FB(i))。
19.根据权利要求16-18中任一项所述的系统，其中，所述操作还包括在确定所述第二广播场景(302b(2))是否是广告场景(302a(1-n))中的一个之前，在所述第一广播场景(302b(1))的最后广播帧(FB(L))的最后广播指纹(222b(L))之后等待阈值时间段(PT)。
20.根据权利要求16-19中任一项所述的系统，其中，确定所述第二广播场景(302b(2))是否是广告场景(302a(1-n))中的一个包括：
针对每个广告指纹(222a)：
确定在相应广告指纹(222a)与第二广播指纹(222b(2))之间的匹配皮尔逊相关系数(PM)；
确定匹配皮尔逊相关系数(PM)是否满足匹配相关性阈值(TM)；以及
当匹配皮尔逊相关系数(PM)满足匹配相关性阈值(TM)时，将所述第二广播场景(302b(2))标识为与相应广告指纹(222a)的广告场景(302a)相对应。
21.根据权利要求16-20中的任一项所述的系统，其中，所述操作还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，确定所述第二广播场景(302b(2))是否在另一广告场景(302a)之内或与所述另一广告场景连续相邻。
22.根据权利要求16-21中的任一项所述的系统，其中，所述操作还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，将广告标识符(300)与所述第二广播场景(302b(2))相关联。
23.根据权利要求16-22中的任一项所述的系统，其中，每个指纹(222)表示对应的帧(F)的至少一个像素。
24.根据权利要求16-23中的任一项所述的系统，其中，每个指纹(222)包括表示对应的帧(F)的灰度值的总和的平均像素值(Vp)。
25.根据权利要求16-24中的任一项所述的系统，其中，所述每个指纹(222)表示与十六个子帧的平均像素值(Vp)相对应的16个整数矢量，所述十六个子帧限定了对应的帧(F)的四乘四阵列。
26.一种系统，包括：
数据处理硬件(212)；以及
与数据处理硬件(212)通信的存储器硬件(214)，所述存储器硬件(214)存储指令，所述指令在数据处理硬件(212)上被执行时引起数据处理硬件(212)执行操作，所述操作包括：
接收指示媒体流(S)的广播帧(FB(1-n))的广播指纹(222b)；
接收指示广告场景(302a(1-n))的广告帧(Fad(1-n))的广告(ad)指纹(222a)；以及
对于每个连续相邻的广播帧对(FB(1-n)、FBadj)：
确定以下之间的场景改变皮尔逊相关系数(PsΔ)：
广播帧对(FB(1)、FB(2))中的第一广播帧(FB(1))的第一广播指纹(222b(1))；与
广播帧对(FB(1)、FB(2))中的第二广播帧(FB(2))的第二广播指纹(222b(2))；
确定场景改变皮尔逊相关系数(PsΔ)是否满足场景改变相关性阈值(TsΔ)；以及
当场景改变的皮尔逊相关系数(PsΔ)满足场景改变的相关性阈值(TsΔ)时：
将第一广播场景(302b(1))标识为在所述第一广播帧(FB(1))处结束；
将第二广播场景(302b(2))标识为在所述第二广播帧(FB(2))处开始；以及
针对每个广告指纹(222a)：
确定相应广告指纹(222a)与所述第二广播指纹(222b(2))之间的匹配皮尔逊相关系数(PM)；
确定匹配皮尔逊相关系数(PM)是否满足匹配相关性阈值(TM)；以及
当匹配皮尔逊相关系数(PM)满足匹配相关性阈值(TM)时，将所述第二广播场景(302b(2))标识为相应广告指纹(222a)的广告场景(302a)。
27.根据权利要求26所述的系统，其中，所述操作还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，确定所述第二广播场景(302b(2)是否在另一广告场景(302a)之内或与所述另一广告场景连续相邻。
28.根据权利要求26或27所述的任一项所述的系统，其中，所述操作还包括：当所述第二广播场景(302b(2))是广告场景(302a(1-n))中的一个时，将广告标识符(300)与所述第二广播场景(302b(2))相关联。
29.根据权利要求26-28中的任一项所述的系统，其中，每个指纹(222)表示对应的帧(F)的至少一个像素。
30.根据权利要求26-29中的任一项所述的系统，其中，每个指纹(222)表示与十六个子帧的平均像素值(Vp)相对应的16个整数矢量，所述十六个子帧限定了对应的帧(F)的四乘四阵列。
CN201880059810.0A 2017-09-13 2018-09-10 用于自动内容识别的标记广告帧的方法和系统 Active CN111095940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110526881.0A CN113283321A (zh) 2017-09-13 2018-09-10 用于自动内容识别的标记广告帧的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/703,391 US10306333B2 (en) 2017-09-13 2017-09-13 Flagging advertisement frames for automatic content recognition
US15/703,391 2017-09-13
PCT/US2018/050184 WO2019055338A1 (en) 2017-09-13 2018-09-10 MARKING ADVERTISING FRAMES FOR AUTOMATIC RECOGNITION OF CONTENT

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110526881.0A Division CN113283321A (zh) 2017-09-13 2018-09-10 用于自动内容识别的标记广告帧的方法和系统

Publications (2)

Publication Number Publication Date
CN111095940A true CN111095940A (zh) 2020-05-01
CN111095940B CN111095940B (zh) 2021-05-25

Family

ID=63722769

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880059810.0A Active CN111095940B (zh) 2017-09-13 2018-09-10 用于自动内容识别的标记广告帧的方法和系统
CN202110526881.0A Pending CN113283321A (zh) 2017-09-13 2018-09-10 用于自动内容识别的标记广告帧的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110526881.0A Pending CN113283321A (zh) 2017-09-13 2018-09-10 用于自动内容识别的标记广告帧的方法和系统

Country Status (9)

Country Link
US (3) US10306333B2 (zh)
EP (1) EP3682643A1 (zh)
JP (3) JP6873321B2 (zh)
KR (2) KR102148248B1 (zh)
CN (2) CN111095940B (zh)
AU (2) AU2018331308B2 (zh)
BR (1) BR112020005086B1 (zh)
CA (1) CA3075620C (zh)
WO (1) WO2019055338A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11917240B2 (en) * 2018-08-14 2024-02-27 Inscape Data, Inc. Dynamic content serving using automated content recognition (ACR) and digital media watermarks
US20200275168A1 (en) * 2019-02-22 2020-08-27 The Nielsen Company (Us), Llc Use of Watermarking to Trigger Fingerprint-Related Action
KR20200142787A (ko) 2019-06-13 2020-12-23 네이버 주식회사 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법
CN110636330B (zh) * 2019-09-20 2021-10-26 深圳市梦网视讯有限公司 基于压缩信息的片源场景复杂度分析方法和系统
CN111182303A (zh) * 2019-10-08 2020-05-19 腾讯科技（深圳）有限公司 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN110956648A (zh) * 2019-11-15 2020-04-03 深圳市宏电技术股份有限公司 一种视频图像处理方法、装置、设备及存储介质
CN111970559B (zh) * 2020-07-09 2022-07-22 北京百度网讯科技有限公司 视频获取方法、装置、电子设备及存储介质
US11974024B2 (en) * 2020-09-11 2024-04-30 Sling TV L.L.C. Automated program promotion detection in a video streaming system
US20220264171A1 (en) * 2021-02-12 2022-08-18 Roku, Inc. Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement
US11770566B1 (en) * 2022-03-16 2023-09-26 Roku, Inc. Automatically determining an optimal supplemental content spot in a media stream

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411659A (zh) * 1999-11-10 2003-04-16 汤姆森特许公司 在可记录媒体上的商业广告跳越和章节描述特性
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
CN1757236A (zh) * 2001-05-14 2006-04-05 皇家菲利浦电子有限公司 操纵数据压缩参量的视频内容分析方法和系统
CN1758737A (zh) * 2004-10-04 2006-04-12 索尼株式会社 用于处理信息的装置、方法和计算机程序
EP2437498A1 (en) * 2010-09-30 2012-04-04 British Telecommunications Public Limited Company Digital video fingerprinting
CN105190618A (zh) * 2013-04-05 2015-12-23 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
WO2016200622A1 (en) * 2015-06-12 2016-12-15 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
JP2008011316A (ja) * 2006-06-30 2008-01-17 Casio Comput Co Ltd カメラ装置及びカメラ装置制御プログラム
US8358381B1 (en) * 2007-04-10 2013-01-22 Nvidia Corporation Real-time video segmentation on a GPU for scene and take indexing
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8300884B2 (en) 2009-05-21 2012-10-30 Digimarc Corporation Combined watermarking and fingerprinting
US8786785B2 (en) * 2011-04-05 2014-07-22 Microsoft Corporation Video signature
EP3534615B1 (en) 2013-03-15 2024-01-17 Inscape Data, Inc. Systems and methods for real-time television ad detection using an automated content recognition database
KR101456926B1 (ko) * 2013-06-14 2014-10-31 (주)엔써즈 핑거프린트에 기반한 광고 검출 시스템 및 방법
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
US10200765B2 (en) * 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
KR20170047267A (ko) 2014-08-29 2017-05-04 도쿠리츠다이가쿠호징 가나자와다이가쿠 폴리올레핀계 수지 조성물, 성형체 및 폴리올레핀계 수지 필름
CN104581222A (zh) * 2015-01-05 2015-04-29 李伟贤 一种在视频中快速识别广告位并嵌入广告的方法
US9578394B2 (en) * 2015-03-25 2017-02-21 Cisco Technology, Inc. Video signature creation and matching
US9854326B1 (en) 2015-09-09 2017-12-26 Sorenson Media, Inc. Creating and fulfilling dynamic advertisement replacement inventory
US9813781B2 (en) 2015-10-27 2017-11-07 Sorenson Media, Inc. Media content matching and indexing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411659A (zh) * 1999-11-10 2003-04-16 汤姆森特许公司 在可记录媒体上的商业广告跳越和章节描述特性
CN1757236A (zh) * 2001-05-14 2006-04-05 皇家菲利浦电子有限公司 操纵数据压缩参量的视频内容分析方法和系统
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
CN1758737A (zh) * 2004-10-04 2006-04-12 索尼株式会社 用于处理信息的装置、方法和计算机程序
EP2437498A1 (en) * 2010-09-30 2012-04-04 British Telecommunications Public Limited Company Digital video fingerprinting
CN105190618A (zh) * 2013-04-05 2015-12-23 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
WO2016200622A1 (en) * 2015-06-12 2016-12-15 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching

Also Published As

Publication number Publication date
US20190268670A1 (en) 2019-08-29
US10887667B2 (en) 2021-01-05
CA3075620A1 (en) 2019-03-21
BR112020005086A2 (pt) 2020-08-18
KR102148248B1 (ko) 2020-08-27
CA3075620C (en) 2022-01-11
KR20200037423A (ko) 2020-04-08
WO2019055338A1 (en) 2019-03-21
EP3682643A1 (en) 2020-07-22
US10306333B2 (en) 2019-05-28
JP6873321B2 (ja) 2021-05-19
KR20200103117A (ko) 2020-09-01
US20210084386A1 (en) 2021-03-18
JP7240437B2 (ja) 2023-03-15
JP2021122117A (ja) 2021-08-26
BR112020005086B1 (pt) 2022-07-12
AU2020289863A1 (en) 2021-01-28
US11303974B2 (en) 2022-04-12
KR102272767B1 (ko) 2021-07-06
AU2018331308A1 (en) 2020-04-02
JP2023078202A (ja) 2023-06-06
US20190082231A1 (en) 2019-03-14
AU2018331308B2 (en) 2020-09-24
CN111095940B (zh) 2021-05-25
CN113283321A (zh) 2021-08-20
AU2020289863B2 (en) 2021-09-23
JP2020533920A (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
CN111095940B (zh) 用于自动内容识别的标记广告帧的方法和系统
US11361549B2 (en) Scene frame matching for automatic content recognition
US11184682B2 (en) Obtaining viewer demographics through advertisement selections
CN110537371B (zh) 用于自动内容识别的帧确定性
AU2021201776B2 (en) Cold matching by automatic content recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210714

Address after: California, USA

Patentee after: Liuke Co.,Ltd.

Address before: New York State, USA

Patentee before: Nielsen (USA) Ltd.

TR01 Transfer of patent right