CN107852252B - 通过自动内容辨识指纹匹配来检测频道改变 - Google Patents

通过自动内容辨识指纹匹配来检测频道改变 Download PDF

Info

Publication number
CN107852252B
CN107852252B CN201680043941.0A CN201680043941A CN107852252B CN 107852252 B CN107852252 B CN 107852252B CN 201680043941 A CN201680043941 A CN 201680043941A CN 107852252 B CN107852252 B CN 107852252B
Authority
CN
China
Prior art keywords
channel
content
fingerprint
node
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680043941.0A
Other languages
English (en)
Other versions
CN107852252A (zh
Inventor
瑞坤·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Nielsen Co US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nielsen Co US LLC filed Critical Nielsen Co US LLC
Priority to CN201910905526.7A priority Critical patent/CN110730361B/zh
Priority to CN201910904897.3A priority patent/CN110830843B/zh
Publication of CN107852252A publication Critical patent/CN107852252A/zh
Application granted granted Critical
Publication of CN107852252B publication Critical patent/CN107852252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Abstract

所揭示系统及方法从媒体装置接收包含正被消费的内容的有序帧序列的查询指纹，且通过确定相应帧指纹与所述有序帧序列中的对应者之间的距离而对所述查询指纹与帧指纹进行匹配。可通过跨越二叉树结构的叶节点按时间顺序用相应距离来填充所述二叉树结构且接着记录根节点的值而执行所述匹配。如果低于最大阈值，那么存在匹配。所述系统及方法可通过遍历所述二叉树结构的子树且在所述子树的第一或第二节点处定位低值(或零)而检测所述媒体装置处的频道改变。此频道改变可用于将媒体对准被流式传输到所述媒体装置的内容。

Description

通过自动内容辨识指纹匹配来检测频道改变
技术领域
本申请大体涉及媒体内容识别。
背景技术
媒体消费装置(例如智能电视(TV))可存取广播数字内容且从数据网络(例如因特网)接收数据(例如流式传输媒体)。流式传输媒体是指其中例如电影或新闻等媒体内容可在请求后即刻经由电话线、有线电视、因特网等等被提供给终端用户的服务。举例来说，用户可在不必离开其住所的情况下观看电影。而且，用户可在不必亲自到学校或教育机构的情况下存取各种类型的教育内容(例如视频讲座)。
由于媒体消费装置数目不断增加，因此视频内容产生及递送可类似地增加。随着使用媒体消费装置(例如智能电话、平板计算机及智能电视)来存取流式传输媒体的增加，内容或网络提供者(例如本地广播台、多频道网络及其它内容所有者/散布者)可向消费流式传输媒体(例如，媒体节目)的观看者散布上下文相关材料。举例来说，本地广播台可包含上下文相关广告及与流式传输媒体的互动内容。
发明内容
一方面，本申请提供一种用于识别媒体的系统，其包括：计算机可读存储媒体，其存储指令及数据库，所述数据库具有与被流式传输到多个频道的媒体节目相关联的多个帧指纹；至少一个处理装置，其用以执行所述指令以：从媒体装置接收正被消费的内容的查询指纹，所述查询指纹包含有序帧序列；通过确定存储于所述数据库中的所述多个帧指纹与所述有序帧序列中的对应者之间的距离而对所述查询指纹与相应帧指纹进行匹配，其中匹配包括用相应距离来填充二叉树结构；响应于在向下遍历所述二叉树结构时在距根节点的阈值数目个子节点内定位零值而检测从第一频道到第二频道的频道改变；及通过识别对具有与所述查询指纹的所述有序帧序列的末端处的帧匹配的帧的内容进行流式传输的频道而确定所述第二频道的身份。
另一方面，本申请提供一种用于识别媒体的方法，其包括：从媒体装置接收正被消费的内容的查询指纹，所述查询指纹包含有序帧序列；使用至少一个处理装置来通过确定存储于存储器中的数据库中的多个帧指纹与所述有序帧序列中的对应者之间的距离而对所述查询指纹与相应帧指纹进行匹配，其包括：从二叉树结构的一侧到相对侧按时间顺序用相应距离的值来填充所述二叉树结构的叶节点；用通过将连接到所述二叉树结构的父代节点的子节点的值相加所导出的值来填充所述父代节点；及在所述二叉树结构的根节点处检测到等于或低于预设最大阈值的值以指示匹配；以及向内容管理器逻辑通知对应于所述匹配的查询指纹的频道，使得所述内容管理器逻辑可将媒体对准被流式传输到所述频道的内容。
再一方面，本申请提供一种服务器，其包括：计算机可读存储媒体，其存储指令及数据库，所述数据库具有与被流式传输到多个频道的媒体节目相关联的多个帧指纹；至少一个处理装置，其用以执行所述指令以：通过确定存储于所述数据库中的多个帧指纹与所述有序帧序列中的对应者之间的距离而对所述查询指纹与相应帧指纹进行匹配，包括：从二叉树结构的一侧到相对侧按时间顺序用相应距离的值来填充所述二叉树结构的叶节点；用通过将连接到所述二叉树结构的父代节点的子节点的值相加所导出的值来填充所述父代节点；及在所述二叉树结构的根节点处检测到等于或低于预设最大阈值的值以指示匹配；以及向内容管理器逻辑通知对应于所述匹配的查询指纹的频道，使得所述内容管理器逻辑可将媒体对准被流式传输到所述频道的内容。
附图说明
将依据下文所给出的详细描述及本发明的各种实施例的附图更完全地理解本发明。然而，图式不应被理解为将本发明限制于特定实施例，而是仅出于解释及理解的目的。
图1图解说明根据一个实施例的内容散布网络的系统图式。
图2图解说明根据一个实施例的用以将叠盖内容提供到客户端装置的内容管理器。
图3图解说明图2的内容管理器的用于对媒体内容进行指纹形成的自动内容辨识(ACR)引擎的系统图式。
图4图解说明根据一个实施例的自动内容辨识(ACR)方法的流程图，所述ACR方法匹配输入(或查询)指纹的帧序列以识别对应电视节目。
图5是经填充二叉树结构的实例性图式，其指示媒体装置在64帧查询指纹中间处的频道改变。
图6是经填充二叉树结构的实例性图式，其指示在12帧之后频道改变成64帧查询指纹。
图7是经填充二叉树结构的实例性图式，其指示在距64帧查询指纹的末端16帧处的频道改变。
图8图解说明ACR方法的流程图，所述ACR方法采用二叉树结构来匹配指纹且检测媒体装置的频道改变。
图9图解说明呈计算机系统的实例性形式的机器的图解性表示，可在所述计算机系统内执行用于致使所述机器执行本文中所论述的方法中的任何一或多者的一组指令。
具体实施方式
媒体内容广播或流式传输(例如电视(TV)或因特网节目广播)可为用以为产品及服务做广告、向观看者提供信息或其任何组合的有吸引力的场所。因此，广播台想要知晓个别观看者正观看什么节目及何时进行观看，使得可使用那些节目的主题来将广告及其它有用(任选地)非商业广告信息准确地对准观看者。举例来说，非商业广告可包含新闻警告、公告或教育信息。因此，确定用户正观看或将要观看的节目并将节目信息的识别发送到用于此类目标确定行动中的广告(“ad”)目标确定器或服务器将为有利的。为促进此类目标确定行动，迅速地检测频道改变以便不错过可能紧跟在频道改变之后的目标确定机会为有利的。
所揭示系统及方法从媒体装置接收包含由用户消费的内容的有序帧序列的查询指纹。所述系统及方法通过确定相应帧指纹与有序帧序列中的对应者之间的距离而对查询指纹与帧指纹进行匹配，所述帧指纹由系统针对流式传输到多个电视频道的节目的个别帧进行存储。举例来说，距离可包含指示两个帧彼此不同的程度或两个相应帧进行流式传输的频道之间的差异的数值。在另一实施例中，通过对两个指纹之间的每一帧对的绝对距离进行求和而导出所述距离。
可通过跨越二叉树结构的叶节点按时间顺序用相应距离(相应帧之间)来填充所述二叉树结构且接着记录根节点的值而执行对查询指纹与来自已知节目或频道的指纹进行匹配。当所述值低于预设最大阈值时，则存在匹配。在一个实例中，最大阈值是小数字或零，(例如)其指示极小差异及统计上接近的匹配。
填充二叉树结构可通过跨越二叉树结构的叶节点(或第一子代)从左到右(或从右到左)地填充相应帧指纹与有序帧序列之间的相应距离而发生。随着二叉树结构被向上填充到根节点，父代接着呈现其两个子代的值的总和或相加，如将较详细地论述。
在一些情形中，电视频道可通过查询指纹的有序帧序列被中途改变，例如在从第一频道改变到第二频道的转变期间。此可在根节点处产生中值，从而指示不匹配，但查询指纹的有序帧序列的后半部分可实际上与始发内容的帧指纹匹配。所述系统及方法可通过遍历二叉树结构的右(或左)子树且在子树的第一节点或第二节点处定位阈值低值(或零)而检测媒体装置处的频道改变。可接着将对在查询指纹的有序帧序列的末端处与所述有序帧序列匹配的媒体内容进行流式传输的频道视为新的(或第二)频道。检测频道改变可用于尽可能迅速且连续地将媒体对准被流式传输到媒体装置的内容而不管频道改变如何。
所述系统及方法可将频道的识别发送到广告服务器且从广告服务器接收与那个频道上所播放的媒体节目的主题上下文相关的广告。所述系统及方法可接着在媒体节目中的插播(例如，特定时隙或位置)期间将广告(或其它内容)递送到媒体装置以显示为叠盖或显示为替换广告(或信息分段)。
为了向观看者提供媒体内容，个体或组织可(例如)通过经由因特网将媒体内容递送给观看者而将媒体内容流式传输给观看者。由个体或组织使用的媒体内容可为从一或多个实况广播媒体馈送获取的媒体内容(例如视频数据)。举例来说，媒体内容提供者可经由因特网向用户提供线性媒体频道(例如，从实况媒体馈送源提供给观看者的媒体)。
词语“内容”可用于指媒体或多媒体。词语“内容”还可为意指媒体的主题而非媒体本身的特定术语。同样，词语“媒体”及包含“媒体”的一些复合词(例如多媒体、超媒体)替代地是指参考内容，而非是指信息递送给终端用户/观众所通过的频道。媒体或媒体内容可包含图形表示，例如：视频、电影、电视节目、商业广告、流式传输视频等等；文字；图形；动画；静态图像；互动性内容形式；等等。通常称为媒体类型的内容类型的实例是称为“电影”的“运动图片”。
在一个实施例中，内容叠盖系统或内容叠盖装置可使得能够将媒体内容与特定、适时及/或目标叠盖内容(例如广告)组合。内容叠盖系统或内容叠盖装置可使得叠盖内容提供者能够通过邀请观看者对内容叠盖内的行动呼吁作出响应(例如，引起对内容叠盖的注意的邀请)而引起观看者的注意。将观看者邀请到行动呼吁的一个优点可为对观看者提供用以请求额外信息、询问问题、提供输入、联系所广告的服务或产品的提供者等等的返回路径或跟随路径。将观看者邀请到行动呼吁的另一优点可为对广告商提供用以提供额外信息、进一步引起观看者注意、收集关于观看者的额外信息、回答观看者关于所广告的产品或服务的问题等等的返回路径或跟随路径。在另一实例中，内容叠盖系统或内容叠盖装置可使得一旦观看者已观看媒体节目的叠盖内容及/或与所述叠盖内容进行互动，广告商便能够使用跨平台重定目标活动。
图1图解说明根据一个实例的内容散布网络100的系统图式。在内容散布网络100中，内容提供者102可向本地提供者106广播内容馈送。本地提供者106可包含头端104及自动内容辨识(ACR)指纹形成器(fingerprinter)服务器105。可在本地提供者106的头端104处接收来自内容提供者102的内容馈送。头端104可基于所接收内容馈送而产生本地内容馈送。举例来说，头端104可为接收具有来自国家或全球广播台的节目及广告的网络频道的本地联播广播台。
头端104可将本地内容馈送传递到ACR指纹形成器服务器105、无线(OTA)广播台108及/或多频道视频节目散布器(MVPD)110。OTA广播台108及/或MVPD 110可将本地内容馈送传递到媒体装置115。媒体装置115的一些实例包含客户端装置118及120、将提供者内容流式传输到客户端装置118及120的机顶盒114以及其它装置116(例如，用户可通过其以无线方式流式传输本地内容馈送)。
在一个实例中，OTA广播台108可使用传统本地电视或无线电频道来广播本地内容馈送。在此实例中，客户端装置118及120可包含天线(例如TV或无线电天线)且接收本地内容馈送。在另一实例中，MVPD 110(例如有线电视或卫星广播台)可将本地内容馈送传递到机顶盒114。在此实例中，机顶盒114可针对客户端装置118及120将内容馈送格式化且可将经格式化内容馈送传递到客户端装置118及120。客户端装置118及120可包含显示装置(例如电视屏幕或触摸屏幕)以向观看者显示本地内容。内容散布网络100的各种组件可被集成或耦合到客户端装置118及120。举例来说，智能电视可在单个单元中包含天线、机顶盒114及显示装置。
ACR指纹服务器105可分析本地内容馈送且确定指纹信息(例如，指纹)。ACR指纹服务器105可将指纹传递到ACR系统124及/或126。ACR系统124及126可为由装置制造商(例如智能TV制造商)选择的不同ACR系统。在一些实施例中，如下文所描述，ACR系统124包含ACR指纹序列匹配器125。ACR指纹序列匹配器125可对帧指纹与原始视频内容进行匹配，对应视频帧源自所述原始视频内容。ACR系统126可或可不具有ACR指纹序列匹配器125。下文关于图3描述关于ACR指纹序列匹配器125的细节。
ACR指纹服务器105可分析本地内容馈送且捕获指纹，所述指纹可包含来自本地内容馈送的有序帧序列。ACR指纹服务器105可将指纹传递到ACR系统124及/或126。ACR系统124及126可为由装置制造商(例如智能TV制造商)选择的不同ACR系统。在一个实例中，ACR指纹服务器105可针对不同ACR系统124及126(例如，其包含不同类型的指纹形成技术，例如不同指纹形成算法)将指纹格式化。ACR系统124及126可分别与不同媒体装置115(包含客户端装置118及120)建立通信连接。客户端装置118及120可分别将指纹信息传递到ACR系统124及126。当ACR系统124或126从客户端装置118及/或120接收到ACR指纹信息时，ACR系统124或126可对所接收指纹与由ACR指纹服务器105产生的指纹进行匹配且可在匹配发生且内容已被识别时将ACR事件传递到内容管理器122。
在另一实例中，ACR系统124及126可从客户端装置118及120接收ACR指纹信息且可对所接收指纹与由ACR指纹服务器105产生的指纹进行匹配。当匹配发生且内容已被识别时，ACR系统124及/或126可向客户端装置118或120通知ACR事件且接着客户端装置118或120可将那些ACR事件传递到内容管理器122。替代地或另外，ACR系统124及/或126可将ACR事件直接传递到内容管理器122。ACR指纹信息可包含：对去往观看者的本地内容馈送中的广告的显示、对去往观看者的本地内容馈送中的选定或经标记内容的显示、客户端装置118或120处的内容频道的改变等等。
来自不同ACR系统124及126的事件信息可呈不同格式且内容管理器122可在将数据存储到数据库123中之前将所述数据正规化为通用格式。举例来说，内容管理器122可从ACR系统124及126接收相异数据集，所述相异数据集包含类似但不相同数据(例如具有相同内容但以不同方式格式化的数据)。内容管理器122可对相异数据集进行处理及重新格式化以形成单个数据模型或格式(例如，经重新格式化数据集)且可将经重新格式化数据集填充到内容管理器122中的数据库123中。
在一个实施例中，为了使来自ACR系统124及126的相异数据集正规化，内容管理器122可对数据集中的数据进行净化或滤波。举例来说，一些数据集可含有可与内容管理器122不相关的字段或数据。在此实例中，内容管理器122可对不相关数据进行净化或滤波(例如，所述数据可被移除或忽略)。在另一实例中，一些数据集可包含不完整或不正确数据或数据集的实例且内容管理器122可对不完整或不正确数据或数据集进行净化或滤波。在另一实施例中，为了使来自ACR系统124及126的相异数据集正规化，内容管理器122可映射数据集的字段。举例来说，当内容管理器122从ACR系统124接收到第一数据集且从ACR系统126接收到第二数据集时，第一数据集及第二数据集的数据字段中的至少一些数据字段可为第一数据集及第二数据集两者共有的。然而，共有数据字段可在第一数据集及第二数据集中定位于不同位置处。在此实例中，内容管理器122可将第一数据集及第二数据集的不同数据字段映射到经正规化字段且使相同数据字段位于数据库123中的相同数据字段位置中。
在另一实施例中，为了使来自ACR系统124及126的相异数据集正规化，内容管理器122可从数据集导出数据。举例来说，来自ACR系统124及/或126的数据可不含有填充数据库中的数据字段所需的所有字段。然而，内容管理器122可使用来自ACR系统124及126的数据集中的其它字段来针对这些数据字段导出数据。
在一个实例中，数据库123可包含例如国内州字段、指定市场区域(DMA)及县及/或城市字段等数据字段，但来自ACR系统124及126的数据集可仅包含地区改进计划(ZIP)代码。在此实例中，内容管理器122可使用ZIP代码来针对数据库中的字段导出数据。在另一实例中，数据集可不含有任何地理位置信息，但可包含ACR系统124及126的因特网协议(IP)地址。在此实例中，内容管理器122可使用地理IP查找服务来导出州、DMA、县、城市及ZIP代码信息。
在另一实例中，数据库123可包含人口统计字段，例如年龄字段、性别字段、家庭收入字段等等。然而，来自ACR系统124及126的数据集可不包含人口统计字段或人口统计数据。在此实例中，ACR系统124及126可向内容管理器122提供客户端装置118及120的IP地址。内容管理器122可使用IP地址来确定人口统计数据以填充数据库中的数据字段。
在另一实例中，来自ACR系统124的第一数据集中的字段可包含本地时间区信息(例如山区夏令时间(MDT)区)，且来自ACR系统126的第二数据集可包含来自另一时间区(例如协调通用时间(UTC)区)的信息。数据库可存储使用UTC的所有数据且内容管理器122可在将数据存储于数据库123中之前将本地时间转换为UTC。
在一个实施例中，内容管理器122可使用经正规化数据来跨越不同ACR技术供应商及智能TV或其它因特网连接的视频装置产生关于用户观看行为的报告或数据(观看数据)。内容管理器122及媒体装置115可包含用以在媒体装置115与内容管理器122之间传递信息(例如叠盖内容)的通信接口。
在一个实例中，通信接口可使用蜂窝式网络及/或无线网络来传递信息。在一个实例中，通信网络可为蜂窝式网络，所述蜂窝式网络可为第三代合作伙伴计划(3GPP)发行版8、9、10、11或12或者电子及电气工程师协会(IEEE)802.16p、802.16n、802.16m-2011、802.16h-2010、802.16j-2009、802.16-2009。在另一实施例中，通信网络可为无线网络(例如使用由Wi-Fi联盟开发的技术的网络)，所述无线网络可遵循由电气及电子工程师协会有限公司开发的标准，例如IEEE 802.11-2012、IEEE 802.11ac或IEEE802.11ad标准。在另一实施例中，通信网络可为由蓝牙特别兴趣小组(SIG)开发的连接，例如蓝牙v1.0、蓝牙v2.0、蓝牙v3.0或蓝牙v4.0。在另一实施例中，通信网络可为由ZigBee联盟开发的连接，例如IEEE802.15.4-2003(Zigbee 2003)、IEEE802.15.4-2006(Zigbee 2006)、IEEE 802.15.4-2007(Zigbee Pro)。
在一个实例中，内容管理器122还可指示媒体装置115用叠盖内容来替换从OTA广播台108或MVPD 110接收的本地内容馈送的部分。在另一实例中，内容管理器122可指示媒体装置115叠盖本地内容馈送的部分或将叠盖内容叠加于所述部分上。内容管理器122可跨越多个ACR系统124及126而聚合ACR信息且可将叠盖内容传递到不同客户端装置118及120，其中客户端装置118及120可来自不同装置制造商。
内容管理器122还可与通常归类为媒体装置115的其它装置116建立通信连接。在一个实例中，其它装置116可与客户端装置118或120进行通信且提供额外屏幕(例如，第二屏幕)以显示叠盖内容。举例来说，客户端装置118及120可从OTA广播台108或MVPD 110接收本地内容馈送且向用户显示本地内容馈送。当ACR事件发生时，其它装置116还可将ACR事件信息传递到ACR系统124及126，如前述段落中所论述。当内容管理器122接收到ACR事件信息时，内容管理器122可将叠盖内容传递到其它装置116。
在一个实例中，客户端装置118及120可继续显示本地内容馈送，而其它装置116显示叠盖内容。在另一实例中，客户端装置118及120以及其它装置116可均显示叠盖内容。在另一实例中，客户端装置118及120以及其它装置116可显示叠盖内容的一部分及本地内容馈送的一部分。在另一实例中，客户端装置118及120以及其它装置116可显示不同本地内容馈送及/或叠盖内容。
在一个实例中，客户端装置118及120及/或其它装置116可在一接收到叠盖内容时就显示所述叠盖内容。在另一实例中，客户端装置118及120及/或其它装置116可延迟显示叠盖内容达阈值时间周期。阈值时间周期可为预定义时间周期，或内容管理器122可针对客户端装置118及120及/或其它装置116选择时间周期以延迟显示叠盖内容。
图2图解说明根据一个实施例的用以将叠盖内容提供到媒体装置115(例如客户端装置218及/或220)的内容管理器222。内容提供者202可经由网络219将媒体内容流式传输到媒体装置115，所述流式传输可在媒体内容流式传输到媒体装置115之前或与此同时被内容管理器222拦截。内容管理器222还可与广告服务器(或“ad”服务器)230进行通信以便向广告服务器230发送广告呼叫，所述广告呼叫请求给媒体内容提供(或作为对所述媒体内容的叠盖)的广告以对准媒体内容的主题及/或用户的兴趣，如将较详细地解释。广告服务器230可为第三方或外部服务器，所述第三方或外部服务器将广告或其它叠盖内容提供到内容管理器222以用于稍后递送到媒体装置115或者可将内容直接提供到媒体装置115以用于作为叠盖或替换广告而递送。
内容管理器222可包含ACR引擎204、查找服务器206、叠盖决策引擎210、其中存储叠盖内容的叠盖数据库211以及广告目标确定器212。内容提供者202可将媒体内容上传到ACR引擎204。
ACR引擎204可对媒体内容进行指纹形成。在一个实例中，可通过对馈送的每个帧、所述馈送的每隔一个帧、帧序列等等进行指纹形成而产生指纹。举例来说，ACR引擎204可通过执行所述馈送的帧的离散余弦变换(DCT)且将所得系数(例如，低频系数)的子集指定为指纹而产生针对所述帧的指纹。另外或替代地，ACR引擎204可产生(或识别)与被流式传输到媒体装置115的内容的有序帧序列对应的指纹的目标块。此外，查找服务器206可找到存储于指纹数据库207中的用于始发媒体节目(例如，始发内容)(其身份为已知的)的帧指纹的匹配源块。
在另一或相关实施例中，ACR引擎204还可分析ACR事件信息以确定可能已发生什么事件，例如，帧序列查询指纹与存储于ACR系统124或126中的始发内容的帧指纹之间的肯定匹配。当存在肯定匹配时，ACR引擎204可将肯定匹配指示符发送到请求的媒体装置115，所述肯定匹配指示符可包含识别肯定匹配所产生的内容的媒体内容识别符(ID)。媒体装置115可将叠盖请求发送到叠盖决策引擎210，从而请求媒体内容叠盖。在一个实例中，叠盖请求可包含媒体内容ID。在另一实例中，叠盖请求可包含叠盖信息或叠盖参数。
进一步参考图2，ACR引擎204可将指纹传递到查找服务器206，所述查找服务器可查找并确定电视节目(或举例来说，频道)以及所述电视节目内的与从ACR系统124或126接收的ACR事件对应的位置。所述馈送的分段的每一指纹可与时间戳相关联。当由ACR引擎204接收时，时间戳可属于所述馈送的分段的个别帧。时间戳可为所述馈送内的从任意开始点的帧号。查找服务器206可与指纹的相应时间戳相关联地存储所述指纹(例如，存储于指纹数据库207中)，且帮助广告目标确定器212及叠盖决策引擎210在用户正观看的馈送的媒体内容内进行计时及内容目标确定。
在一个实施例中，ACR引擎204与各种媒体装置115处的ACR客户端215进行互动。ACR客户端215可在本地匹配指纹且确认用户是否已改变频道来观看不同电视节目，并且将频道改变报告给内容管理器222。因此，在一些情形中，指纹匹配可在媒体装置115本地发生。
此外，ACR客户端215可将用户指纹信息(例如)以查询指纹(其包含目标块)的形式周期性地、连续地或半连续地传递到查找服务器206，从而请求确认正在媒体装置115上被观看的电视节目或频道。查找服务器206可确定何时存在查询指纹(或目标块)与众多帧指纹之间的匹配，所述帧指纹可作为指纹的源块存储于指纹数据库207中或跨越网络219从查找服务器而来。查询指纹可为有序帧序列，可对所述有序帧序列中的相应者与帧指纹中的个别者进行匹配直到找到与电视节目或流式传输所述电视节目的频道相关联的充分匹配为止。当存在肯定匹配时，查找服务器206可将肯定匹配指示符传递到ACR客户端215。ACR客户端215可将叠盖请求发送到叠盖决策引擎210，从而请求媒体内容叠盖。
在一个实例中，叠盖请求可包含媒体内容识别符(ID)。在另一实例中，叠盖请求可包含叠盖信息或叠盖参数。在一个实例中，叠盖决策引擎210可使用内容ID、叠盖信息及/或叠盖参数来识别目标叠盖内容。在另一实例中，叠盖决策引擎210可使用内容ID、叠盖信息及/或叠盖参数来识别叠盖格式。叠盖决策引擎210可将内容ID、叠盖信息及/或叠盖参数与叠盖数据库211进行比较以识别目标叠盖内容及叠盖格式。叠盖数据库可由内容提供者或广告商(例如，广告服务器230)在周期性或连续基础上用新的叠盖内容及叠盖格式来更新。叠盖内容可在被递送到频道的电视节目的经流式传输媒体内容的叠盖位置之前或之后填充叠盖格式(例如叠盖模板等等)。
广告目标确定器212可追踪并分析用户与广告的互动及用户关于广告的行为以及由叠盖决策引擎递送到媒体装置115的其它叠盖内容。广告目标确定器212还可在每个媒体装置基础上接收用户简档信息且将所述用户简档信息与用户行为分析进行合并，以确定用户感兴趣的主题。所收集的关于用户或用户群组的此信息及数据可扩展到优选观看时间及关于电视节目的典型观看习惯以及通常观看的频道及何时观看所述频道。广告目标确定器212可接着(例如)以参数的形式向叠盖决策引擎210通知不同的感兴趣主题及观看习惯，叠盖决策引擎210可使用所述不同的感兴趣主题及观看习惯来决定选择什么叠盖内容递送给相应用户、如何将所述叠盖内容格式化及最好何时递送来获得活动预算的最大投资回报。
当叠盖决策引擎210在广告目标确定器212的帮助下识别目标叠盖内容时，叠盖决策引擎可将目标叠盖内容返回到媒体装置115。在一个实例中，叠盖决策引擎210可(例如)经由无线通信网络将目标叠盖内容直接传递到媒体装置115。在另一实例中，叠盖决策引擎210可经由通用资源定位器(URL)将目标叠盖内容传递到媒体装置115。在一个实例中，当多个目标叠盖内容与内容ID、叠盖信息及/或叠盖参数匹配时，叠盖决策引擎210可选择满足最大数目个参数或其它信息的目标内容叠盖。在另一实例中，当多个目标叠盖内容与内容ID、叠盖信息及其它叠盖参数匹配时，叠盖决策引擎210可随机选择满足参数及其它信息的叠盖内容。在另一实例中，当多个目标叠盖内容与内容ID、叠盖信息及叠盖参数匹配时，叠盖决策引擎210可选择与内容ID、叠盖信息及/或叠盖参数匹配的预定叠盖内容。叠盖内容可填充有动态内容(例如，可以周期性间隔进行更新或刷新的内容)。动态内容可存储于本地数据库或外部系统中。
当ACR指纹信息与用户指纹信息匹配时，媒体装置115的ACR客户端215可将叠盖内容叠加于内容馈送上。在一个实例中，媒体装置115可将叠盖内容叠加于超文本标记语言(HTML)浏览器中的内容馈送上。在另一实例中，媒体装置115可将叠盖内容叠加于来自OTA广播台或有线电视广播台的内容馈送上。当将叠盖内容置于内容馈送上时，叠盖内容可经由媒体装置115的显示器被显示给用户。在一个实例中，叠盖内容可包含可被显示给用户的一或多个行动呼吁选项。在此实例中，用户可使用输入装置(例如TV遥控器、键盘、智能电话或平板计算机)来与叠盖内容进行互动以形成反馈信息。ACR客户端215可将反馈信息传递到广告目标确定器212。另一个体(例如广告商)可存取反馈信息并分析反馈信息以确定所要信息，例如用户对叠盖内容的兴趣。
ACR客户端215可监视内容馈送以确定叠盖内容与内容馈送的匹配何时终止及/或阈值时间周期何时期满。在一个实例中，当叠盖内容与内容馈送的匹配终止或阈值时间周期期满时，媒体装置可终止叠加叠盖内容以显示于媒体装置115上。
图3是图2的内容管理器的用于对媒体内容进行指纹形成的ACR引擎204的系统图式。根据一个实施例，ACR引擎204可从指纹形成器305、指纹序列匹配器325以及其中存储帧指纹的数据库327接收将被进行指纹形成的媒体内容的内容帧。内容提供者202可产生被流式传输到媒体装置115(包含客户端装置218及/或220)的多媒体内容。
指纹形成器305可从多媒体内容检测或选择若干个内容帧302作为指纹。在一个实施例中，所述若干个内容帧302可为顺序排序的(例如，作为目标块)，且因此包含从指纹的开始到末端的顺序时间戳。在一个实例中，内容可为音频数据、视频数据或此两者。在此实例中，视频内容可为原始视频帧。
举例来说，当指纹形成器305接收到内容帧302时，指纹形成器305可确定如何处理内容帧302(例如原始视频及/或音频帧)以产生指纹。在一个实例中，可对所述帧个别地进行指纹形成。在另一实例中，可以集合或依序对所述帧进行指纹形成。指纹形成器305可基于指纹形成器305在指纹形成期间执行的ACR算法而确定何时个别地或顺序地对所述帧进行指纹形成，将论述所述ACR算法的实例。
另外，指纹形成器305可针对不同广播台或用户以不同方式对内容帧302进行指纹形成。在此实例中，指纹形成器305可针对不同ACR供应商包含不同ACR指纹形成算法。在一个实例中，不同ACR指纹形成算法可被预定并存储于指纹形成器305的存储器中。
在又一实例中，不同ACR指纹形成算法可由第三方ACR供应商提供。当由此类供应商提供不同ACR指纹形成算法时，指纹形成器305可聚合不同ACR指纹形成算法。在一个实例中，ACR指纹形成可在YUV 4:2:2色彩空间中且以高分辨率或其它分辨率水平来使用原始视频。当在本地提供者106或其它内容提供者202处接收到视频内容时，指纹形成器305可将视频内容转换为YUV 4:2:0色彩空间且将所述视频内容的分辨率按比例缩小到阈值分辨率水平以用于在被发送到媒体装置115之前由广播台或散布器进行编码。
在一些实施例中，指纹形成器305可包含指纹序列匹配器325或可与所述指纹序列匹配器进行通信。指纹序列匹配器325可对指纹序列与原始视频内容(一组给定个别帧指纹源自其)进行匹配，如下文更详细地描述。
当指纹形成器305已对内容帧302进行指纹形成时，指纹形成器305可将指纹(包含频道信息、时间代码及指纹信息)发送到叠盖数据库211及/或查找服务器206。查找服务器206可从叠盖数据库211检索指纹及相关信息。查找服务器206还可与叠盖决策引擎210及广告目标确定器212进行通信或耦合，以将叠盖及主题匹配信息发送到叠盖决策引擎210及广告目标确定器212，利用所述广告目标确定器来根据上下文对准客户端装置218或220的用户。
在一个实例中，可对相同内容使用不同ACR指纹形成算法以将不同指纹信息提供到不同ACR供应商的查找服务器。以不同方式对相同内容(例如，内容帧)302进行指纹形成的优点可为将上下文相关广告及互动内容提供给媒体消费装置的不同观看者。在另一实例中，内容帧302可包含来自不同馈送的媒体内容。在此实例中，可对内容帧302的不同馈送的内容使用不同ACR指纹形成算法以将不同指纹形成信息提供到不同ACR供应商的查找服务器。
可将不同指纹形成信息分别上传到不同ACR供应商的查找服务器。可将不同ACR供应商集成于由不同合约装备制造商(CEM)制造的观看装置上。举例来说，东芝(Toshiba)电视可利用ACR指纹形成且电视可使用ACR指纹形成。指纹形成器305包含针对不同ACR供应商的ACR指纹形成算法的优点可为对经由不同ACR供应商被提供到观看者的内容进行指纹形成而不管媒体消费装置的制造商如何。在一个实例中，ACR指纹形成信息可用于数字广告替换(DAR)。在另一实例中，ACR指纹形成信息可用于广告或内容扩增及数据收集。叠盖决策引擎210及广告目标确定器212(图2)可使用指纹形成信息来对经编码内容与上下文相关广告、信息及/或互动内容进行匹配。可接着将经匹配内容及/或广告提供到媒体装置115以在其上进行流式传输显示。在另一实例中，可将关于匹配事件的信息传递到广播云以用于分析内容匹配。
在一个实例中，指纹形成器305可在系统中的广播散布的上游执行ACR指纹形成。在另一实例中，指纹形成可发生在广播链中，其中广播馈送可被递送以用于编码/上传。当使用单个广播馈送时，可需要购买、安装、监视及维护以用于ACR指纹形成及编码/上传的装置及/或应用程序的数目可减少。举例来说，资本费用(CAPEX)及/或运营费用(OPEX)可减少，例如减少的系统基础设施(机架空间、电力及以太网连接)。另外，当使用单个广播馈送时，从广播台的散布放大器产生的广播馈送的数目可减少。
如所论述，指纹形成器305可从多媒体内容产生个别指纹，所述个别指纹例如可在途中经过广播服务器、头端、交换机及/或机顶盒而被显示于媒体装置115中的一者上。指纹可包含一个帧或若干个帧。可利用按时间顺序的时间戳以顺序次序采用所述帧，或(举例来说)仍可利用对应时间戳以某一间隔(例如每隔一个(或每隔两个帧))采用所述帧。
指纹序列匹配器325可处理这些个别帧的集合或序列(作为查询指纹)以对所述帧与原始视频内容的帧指纹(存储于数据库327中)进行匹配，由这些指纹表示的对应视频帧源自所述原始视频内容。帧指纹可为单个帧且各自包含对应时隙(或某一种类的索引，例如帧号或从媒体节目的开始的时间量)。找到匹配可导致确定用户正在媒体装置115上观看的媒体节目、频道或频道改变、关于节目的开始及结束时间的时间表的时隙、商业广告时隙以及匹配的媒体节目或电视频道的此信息。
为了使匹配结果具有置信度，指纹序列匹配器325可利用以下事实：指纹的序列按时间进行排序，且因此匹配的指纹不仅属于相同视频，而且类似地按时间进行排序。指纹序列匹配器325利用此性质来跨越二叉树结构的叶节点按时间顺序填充所述二叉树结构，且接着遍历经完全填充的二叉树结构以检测频道改变，如将更详细地解释。
指纹序列匹配器325还可使用指纹中的帧序列的此类时间性质来检测匹配的指纹序列如何播出(较快、较慢还是反向)。ACR指纹序列匹配器325中的算法可经实施以检测特定播放情景，例如，全帧速率下的正常速度、1/2帧速率下的正常速度、1/3帧速率下的正常速度等等。
图4图解说明根据一个实施例的自动内容辨识(ACR)方法的流程图400，所述ACR方法匹配输入(或查询)指纹的帧序列以识别对应电视节目。所述方法可由处理逻辑至少部分地执行，所述处理逻辑可包含硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，由处理装置执行的指令)、固件或其组合。所述方法可通过服务器系统(例如图1的ACR系统124或126或者图2的ACR系统)由客户端装置(例如客户端装置218或220)的处理逻辑执行。内容管理器122或222(图1及2)也可在执行所述方法时起作用。替代地，所述方法可由各种类型的用户装置、便携式装置、电视、投影仪或其它媒体装置中的其它处理装置执行。
参考图4，处理逻辑以从内容(或媒体)装置处的内容馈送接收媒体内容开始(402)。所述逻辑可继续对媒体内容执行指纹形成以产生含有帧序列及对应的基于时间的索引(例如对应时间戳)的输入(或查询)指纹(404)。所述逻辑可继续根据基于时间的索引而对查询指纹与来自原始媒体内容的多个帧指纹进行匹配，以识别对应于媒体内容的媒体节目(406)。
图5是经填充二叉树结构500的实例性图式，其指示媒体装置在64帧查询指纹中间处的频道改变。尽管在本文中将查询指纹(或目标块)以及帧指纹的源块展示为横跨64帧的源内容，但可使用不同大小的目标块及源块，例如32帧或128帧以及为2的幂的其它大小。
其中媒体帧逐帧地进行匹配的传统方法可为通过计算所述帧之间的距离，且仅在查询指纹的相应帧之间的距离均为零时找到匹配。如图5中所图解说明，二叉树结构可提供对此传统方法的替代方案。举例来说，ACR引擎可用查询指纹的相应帧与来自始发内容的源块的帧指纹之间的距离来填充二叉树结构的叶节点504。叶节点504的此填充可从左到右地按时间顺序发生。在替代实施例中，叶节点可从右到左地被填充。时间戳可帮助ACR引擎(或其它服务器)确保使目标块与源块的恰当帧匹配且按时间顺序填充叶节点。多个父代节点506可接着用通过将所述多个父代节点的相应子节点的值相加(或求和)所得的值来填充。当根节点508含有在阈值最大数字(例如低数字，例如8、10、12或甚至零)内的值时，则可据称指纹匹配。否则，不存在匹配。
更具体来说，图5的实例图解说明用其中目标块指示在穿过64帧的中途(例如，在帧33处)从频道8到频道9的频道改变的距离来填充二叉树结构500。源块始终为频道9，这是因为所述源块已从频道9流式传输且到达媒体装置115处的实际内容尚未被追上(因此通过频道改变而中途追上媒体装置)。虽然不存在用以展示叶节点处的所有64个帧的空间，但二叉树结构包含左子树512及右子树516。穿过前32个帧的所有频道8与9之间的距离“1”沿二叉树结构被向上传播，因此在左子树的根节点处且在整个二叉树结构的根节点508处以值32结束。此造成不匹配的出现，尤其是在阈值最大数字相对小的情况下。
但是，由于频道被中途改变，因此查询指纹的后一半与帧指纹匹配，从而导致沿着右子树516一直是零距离。由于二叉树结构内的此行为，因此ACR引擎(或其它服务器)可遍历右子树516且在右子树的第一或第二节点处识别出零后即刻检测到频道改变。(注意，如果二叉树如替代实施例中所指示从右到左地被填充，那么将对左子树进行遍历。)在另一实施例中，ACR引擎可检测到低于阈值最大距离的低值(大于零的某个值)从而同样发信号通知频道改变。新的频道可被识别为具有与查询指纹(例如，有序帧序列)末端处的帧匹配的媒体内容的频道。此新的频道可与内容ID相关联(如所论述)，且被内容管理器222立即用于内容及广告目标确定。这有利地避免了在媒体装置115开始从所述新的频道(例如，图5中的频道9)接收媒体内容之后很快漏失任何叠盖或替换广告机会。
图6是经填充二叉树结构600的实例性图式，其指示在12帧之后频道改变成64帧查询指纹。在多个叶节点604内，频道在第13个节点处改变成当前查询指纹的有序帧序列。多个父代节点606沿二叉树结构的左子树612向上传播距离，从而在根节点608处以较小距离值12结束。在一个实施例中，值12可足够低于根节点处的阈值最大距离从而被视为匹配。在此情形中，所述匹配将是与当前频道或节目(图6中指定为“9”)的匹配。
然而，在另一实施例中，根节点处的值12可不被视为匹配，且因此ACR引擎可沿二叉树结构600的右子树616继续向下遍历所述二叉树结构，以确定右子树的第一或第二节点处是否存在足够小的距离(例如，阈值最大值或更低)以检测频道改变。阈值最大值可为零或相对小的值，例如8、10、12或16。
图7是经填充二叉树结构700的实例性图式，其指示在距64帧查询指纹的末端16帧处的频道改变。在此实施例中，在末端之前的17帧处，在产生查询指纹的媒体装置处改变频道，从而提供用以检测频道改变的较少时间。因此，多个叶节点706用距离“1”来填充直到距末端的帧16处为止，此时去往媒体装置的流式传输追上频道改变，从而产生距离零。多个父代节点706在相应帧中传播越来越高的距离值直到根节点708呈现距离值48为止。
距离值48反映查询指纹与来自新的电视频道的始发内容之间的不匹配。但是，根据所揭示过程，ACR引擎(服务器)可遍历二叉树结构的右子树716且并非在第一节点处而是在沿右子树716向下的第二节点处找到零。如所论述，替代零，可检测到低值(例如，阈值最大值或更低)以触发对频道改变的检测。因此，虽然根节点708可指示不匹配，但沿右子树向下在第二节点处找到零(或阈值低值)会向ACR引擎发信号通知频道改变。有利地，在知晓新的频道(或与所述新的频道相关联的媒体节目)的情况下，广告目标确定器212及/或广告服务器230可继续将叠盖或替换媒体内容对准频道改变的媒体装置115，而无需中断或等待下一查询指纹处的频道改变确定。
图8图解说明ACR方法的流程图800，所述ACR方法采用二叉树结构来匹配指纹且检测媒体装置的频道改变。所述方法可由处理逻辑至少部分地执行，所述处理逻辑可包含硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(例如，由处理装置执行的指令)、固件或其组合。所述方法可通过服务器系统(例如图1的ACR系统124或126或者图2的ACR系统)由客户端装置(例如客户端装置218或220)的处理逻辑执行。内容管理器122或222(图1及2)也可在执行所述方法时起作用。替代地，所述方法可由各种类型的用户装置、便携式装置、电视、投影仪或其它媒体装置中的其它处理装置执行。
参考图8，处理逻辑以从媒体装置接收被消费的内容的查询指纹开始，所述查询指纹包含有序帧序列(810)。处理逻辑可进一步通过确定存储于数据库中的多个帧指纹与有序帧序列中的对应者之间的距离而对查询指纹与相应帧指纹进行匹配(820)。匹配可包含若干个步骤，但在一个实施例中，匹配可包含从左到右地按时间顺序用相应距离值来填充二叉树结构的叶节点(822)及用通过将连接到父代节点的子节点的值相加所导出的值来填充所述父代节点(824)。
处理逻辑可进一步响应于在向下遍历二叉树结构时在距根节点的阈值数目个子节点内定位零值而检测从第一频道到第二频道的频道改变(830)。处理逻辑可进一步通过识别对具有与查询指纹的有序帧序列的末端处的帧匹配的帧的内容进行流式传输的频道而确定第二频道的身份(840)。处理逻辑可进一步响应于检测到频道改变而向广告(“ad”)目标确定器通知正被观看的第二频道的身份，使得广告目标确定器可调整去往被流式传输到所述第二频道的内容的目标媒体(850)。
举例来说，逻辑可将媒体节目的识别发送到广告服务器且从广告服务器接收与媒体节目的主题上下文相关的广告。逻辑可接着将广告(或其它内容)递送到媒体装置以用于在媒体节目中的商业广告插播期间显示为叠盖或替换广告(或信息分段)。
图9图解说明呈计算机系统900的实例性形式的机器的图解性表示，可在所述计算机系统内执行用于致使所述机器执行本文中所论述的方法中的任何一或多者的一组指令。在替代实施例中，所述机器可连接(例如，网络连接)到LAN、内联网、外联网或因特网中的其它机器。所述机器可在客户端-服务器网络环境中以服务器或客户端装置的能力操作，或在对等(或散布式)网络环境中操作为对等机器。所述机器可为个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝式电话、智能电话、网络器具、服务器、网络路由器、交换机或桥接器或者能够执行指定将由所述机器采取的动作的一组指令(顺序的或其它)的任何机器。此外，尽管仅图解说明单个机器，但还应将术语“机器”视为包含个别地或联合地执行一组(或多组)指令以执行本文中所论述的方法中的任何一或多者的任何机器集合。
计算机系统900可对应于图1的ACR系统124或126、图2及3的ACR系统或者图1的内容管理器122或图2的内容管理器222。计算机系统900可对应于任何媒体装置115。例如图1的客户端装置118或120。计算机系统900可对应于基于云的计算机系统的至少一部分。
计算机系统900包含经由总线930彼此通信的处理装置902、主存储器904(例如，只读存储器(ROM)、快闪存储器、动态随机存取存储器(DRAM)(例如同步DRAM(SDRAM)或DRAM(RDRAM)等))、静态存储器506(例如，快闪存储器、静态随机存取存储器(SRAM)等)及数据存储装置918。
处理装置902表示一或多个通用处理装置(例如微处理器、中央处理单元等等)。更特定来说，处理装置可为复杂指令集计算(CISC)微处理器、精简指令集计算机(RISC)微处理器、极长指令字(VLIW)微处理器或实施其它指令集的处理器或者实施指令集的组合的处理器。处理装置902还可为一或多个专用处理装置，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等等)。在一个实施例中，处理装置902可包含一或多个处理核心。处理装置902可执行镜像逻辑的指令926以用于执行本文中所论述的操作。
计算机系统900可进一步包含可传达地耦合到网络920的网络接口装置908。计算机系统900还可包含视频显示单元910(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入装置912(例如，键盘)、游标控制装置914(例如，鼠标)及信号产生装置916(例如，扬声器)。此外，计算机系统900可包含图形处理单元922、视频处理单元928及音频处理单元932。在另一实施例中，计算机系统900可包含芯片集(未图解说明)，所述芯片集是指经设计以与处理装置902一起工作的集成电路或芯片的群组并且控制处理装置902与外部装置之间的通信。举例来说，芯片集可为主板上的一组芯片，所述组芯片将处理装置902链接到极高速装置(例如主存储器904及图形控制器)，以及将处理装置902链接到外围设备的较低速外围总线(例如USB、PCI或ISA总线)。
数据存储装置918可包含上面存储有体现本文中所描述的功能方法中的任何一或多者的指令926的计算机可读存储媒体925。指令926还可在由计算机系统900执行其期间完全地或至少部分地驻存于主存储器904及/或处理装置902内；主存储器904及处理装置902还构成计算机可读存储媒体。
计算机可读存储媒体925还可用于存储利用逻辑的指令926及/或含有调用以上应用的方法的软件库。尽管在示范性实施方案中将计算机可读存储媒体925展示为单个媒体，但术语“计算机可读存储媒体”应视为包含存储一或多个指令集的单个媒体或多个媒体(例如，集中式或散布式数据库及/或相关联高速缓冲存储器及服务器)。术语“计算机可读存储媒体”还应视为包含能够存储、编码或载运供由机器执行的一组指令926且致使机器执行本发明的方法中的任何一或多者的任何媒体。因此，术语“计算机可读存储媒体”应视为包含但不限于固态存储器、光学媒体及磁性媒体。以下实例涉及其它实施例。
尽管已关于有限数目个实施例描述了本发明，但所属领域的技术人员将了解从本发明进行的众多修改及变化。打算使所附权利要求书涵盖如落于本发明的真正精神及范围内的所有此类修改及变化。
在本文中的描述中，陈述众多特定细节，例如特定类型的处理器及系统配置、特定硬件结构、特定架构及微架构细节、特定寄存器配置、特定指令类型、特定系统组件、特定测量/高度、特定处理器管线级及操作等的实例以便提供对本发明的透彻理解。然而，所属领域的技术人员将明了，不需要采用这些特定细节来实践本发明。在其它实例中，未详细描述众所周知的组件或方法(例如特定及替代处理器架构、用于所描述算法的特定逻辑电路/代码、特定固件代码、特定互连操作、特定逻辑配置、特定制造技术及材料、特定编译器实施方案、代码中的算法的特定表达、特定关闭电源及闸控技术/逻辑以及计算机系统的其它特定操作细节)以便避免不必要地使本发明模糊。
参考特定集成电路(例如计算平台或微处理器)中的安全存储器重新分割来描述实施例。实施例还可适用于其它类型的集成电路及可编程逻辑装置。举例来说，所揭示实施例不限于桌上型计算机系统或便携式计算机，例如UltrabooksTM计算机。并且还可用于其它装置中，例如手持式装置、平板计算机、其它薄笔记本计算机、单芯片系统(SoC)装置及嵌入式应用。手持式装置的一些实例包含蜂窝式电话、因特网协议装置、数码相机、个人数字助理(PDA)及手持式PC。嵌入式应用通常包含微控制器、数字信号处理器(DSP)、单芯片系统、网络计算机(NetPC)、机顶盒、网络集线器、广域网络(WAN)交换机或可执行下文教示的功能及操作的任何其它系统。描述所述系统可为任何种类的计算机或嵌入式系统。所揭示实施例可尤其用于低端装置，如可穿戴式装置(例如，手表)、电子植入物、感测及控制基础设施装置、控制器、监督控制及数据获取(SCADA)系统等等。此外，本文中所描述的设备、方法及系统不限于物理计算装置，而是还可涉及针对能量保存及效率的软件优化。如在下文的描述中将易于明了，本文中所描述的方法、设备及系统的实施例(无论是参考硬件、固件、软件还是其组合)对于与性能考虑平衡的‘绿色技术’未来是至关重要的。
虽然参考处理器描述了本文中的实施例，但其它实施例适用于其它类型的集成电路及逻辑装置。本发明的实施例的类似技术及教示可应用于可受益于较高管线吞吐量及经改进性能的其它类型的电路或半导体装置。本发明的实施例的教示适用于执行数据操纵的任何处理器或机器。然而，本发明不限于执行512位、256位、128位、64位、32位或16位数据操作的处理器或机器，而是可应用于其中执行数据的操纵或管理的任何处理器及机器。另外，本文中的描述提供实例，且随附图式出于图解说明的目的而展示各种实例。然而，这些实例不应在限制意义上被解释为其仅打算提供本发明的实施例的实例而非提供本发明的实施例的所有可能实施方案的穷尽性列表。
虽然以下实例在执行单元及逻辑电路的上下文中描述指令处置及散布，但本发明的其它实施例可通过存储于机器可读有形媒体上的数据或指令的方式实现，所述数据或指令在由机器执行时致使所述机器执行与本发明的至少一个实施例一致的功能。在一个实施例中，与本发明的实施例相关联的功能以机器可执行指令来体现。所述指令可用于致使用所述指令进行编程的通用或专用处理器执行本发明的步骤。本发明的实施例可提供为可包含上面存储有指令的机器或计算机可读媒体的计算机程序产品或软件，所述指令可用于对计算机(或其它电子装置)进行编程以执行根据本发明的实施例的一或多个操作。替代地，本发明的实施例的操作可由含有用于执行操作的固定功能逻辑的特定硬件组件执行，或由经编程计算机组件与固定功能硬件组件的任何组合执行。
用于对逻辑进行编程以执行本发明的实施例的指令可存储于系统中的存储器内，例如DRAM、高速缓冲存储器、快闪存储器或其它存储装置。此外，所述指令可经由网络或通过其它计算机可读媒体的方式进行散布。因此，机器可读媒体可包含用于存储或发射呈可由机器(例如，计算机)读取的形式的信息的任何机构，但不限于软盘、光盘、压缩光盘、只读存储器(CD-ROM)及磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁性或光学卡、快闪存储器或者用于经由电、光学、声学或其它形式的经传播信号(例如，载波、红外信号、数字信号等)在因特网上发射信息的有形机器可读存储装置。因此，计算机可读媒体包含适合于存储或发射呈可由机器(例如，计算机)读取的形式的电子指令或信息的任何类型的有形机器可读媒体。
设计可经历各种阶段，从形成到模拟再到制作。表示设计的数据可以若干种方式来表示设计。首先，如用于模拟中，硬件可使用硬件描述语言或另一功能描述语言来表示。另外，可在设计过程的一些阶段产生具有逻辑及/或晶体管栅极的电路层级模型。此外，大多数设计在某一阶段达到表示硬件模型中的各种装置的物理放置的数据层级。在其中使用常规半导体制作技术的情形中，表示硬件模型的数据可为指定在用于产生集成电路的掩模的不同掩模层上的各种特征的存在或不存在的数据。在设计的任何表示中，数据可以机器可读媒体的任何形式进行存储。存储器或者磁性或光学存储装置(例如磁盘)可为用以存储经由光学或电波发射的信息的机器可读媒体，所述光学或电波经调制或以其它方式经产生以发射此信息。当发射指示或载运代码或设计的电载波时，就执行电信号的复制、缓冲或重新发射来说，进行新的复制。因此，通信提供者或网络提供者可在有形机器可读媒体上至少暂时地存储例如经编码成载波的信息等物品，从而体现本发明的实施例的技术。
如本文中所使用的模块是指硬件、软件及/或固件的任何组合。作为实例，模块包含例如微控制器等硬件，所述硬件与用以存储适于被所述微控制器执行的代码的非暂时性媒体相关联。因此，在一个实施例中，对模块的提及是指硬件，所述硬件具体经配置以辨识及/或执行将被保持于非暂时性媒体上的代码。此外，在另一实施例中，对模块的使用是指非暂时性媒体，所述非暂时性媒体包含具体适于由微控制器执行以执行预定操作的代码。并且如可推断，在又一实施例中，术语模块(在此实例中)可指微控制器与非暂时性媒体的组合。通常，图解说明为单独的模块边界通常变化且可能重叠。举例来说，第一模块及第二模块可共享硬件、软件、固件或其组合，而同时可能保持一些独立硬件、软件或固件。在一个实施例中，对术语逻辑的使用包含硬件，例如晶体管、寄存器或其它硬件，例如可编程逻辑装置。
在一个实施例中，对短语‘经配置以’的使用是指对设备、硬件、逻辑或元件进行布置、放置在一起、制造、提供出售、导入及/或设计以执行指定或确定的任务。在此实例中，如果并未正进行操作的设备或其元件经设计、耦合及/或互连以执行指定任务，那么所述设备或其元件仍‘经配置以’执行所述指定任务。作为仅说明性实例，逻辑栅极可在操作期间提供0或1。但‘经配置以’将启用信号提供到时钟的逻辑栅极并非包含可提供1或0的每个可能逻辑栅极。而是，逻辑栅极是以某一方式耦合使得在操作期间1或0输出将启用时钟的逻辑栅极。再次注意，对术语‘经配置以’的使用不需要操作，而是集中于设备、硬件及/或元件的潜伏状态，其中在所述潜伏状态中，设备、硬件及/或元件经设计以在所述设备、硬件及/或元件进行操作时执行特定任务。
此外，在一个实施例中，对短语‘以(to)’‘能够(capable of/to)’及‘可操作以(operable to)’的使用是指一些设备、逻辑、硬件及/或元件以此方式经设计以使得能够以指定方式来使用所述设备、逻辑、硬件及/或元件。如上文应注意，在一个实施例中，对“以”、“能够”或“可操作以”的使用是指设备、逻辑、硬件及/或元件的潜伏状态，其中所述设备、逻辑、硬件及/或元件并未正进行操作而是以此方式经设计以使得能够以指定方式使用设备。
如本文中所使用，值包含数字、状态、逻辑状态或二进制逻辑状态的任何已知表示。通常，对逻辑电平、逻辑(logic或logical)值的使用也称为1及0，其简单地表示二进制逻辑状态。举例来说，1是指高逻辑电平且0是指低逻辑电平。在一个实施例中，存储单元(例如晶体管或快闪单元)可能够保持单个逻辑值或多个逻辑值。然而，已使用计算机系统的值的其它表示。举例来说，十进制数字10还可表示为二进制值1010及十六进制字母A。因此，值包含能够被保持于计算机系统中的信息的任何表示。
此外，状态可由值或值的部分表示。作为实例，第一值(例如逻辑一)可表示默认或初始状态，而第二值(例如逻辑零)可表示非默认状态。另外，在一个实施例中，术语复位及设定分别是指默认及经更新值或状态。举例来说，默认值可能包含高逻辑值(即，复位)，而经更新值可能包含低逻辑值(即，设定)。注意，可使用值的任何组合来表示任何数目个状态。
上文所陈述的方法、硬件、软件、固件或代码的实施例可经由存储于可由处理元件执行的机器可存取、机器可读、计算机可存取或计算机可读媒体上的指令或代码实施。非暂时性机器可存取/可读媒体包含提供(即，存储及/或发射)呈可由机器(例如计算机或电子系统)读取的形式的信息的任何机构。举例来说，非暂时性机器可存取媒体包含随机存取存储器(RAM)，例如静态RAM(SRAM)或动态RAM(DRAM)；ROM；磁性或光学存储媒体；快闪存储器装置；电存储装置；光学存储装置；声学存储装置；用于保持从暂时(经传播)信号(例如，载波、红外信号、数字信号)接收的信息的其它形式的存储装置等(其将与可从其接收信息的非暂时性媒体区分开)。
用于对逻辑进行编程以执行本发明的实施例的指令可存储于系统中的存储器内，例如DRAM、高速缓冲存储器、快闪存储器或其它存储装置。此外，所述指令可经由网络或通过其它计算机可读媒体的方式进行散布。因此，机器可读媒体可包含用于存储或发射呈可由机器(例如，计算机)读取的形式的信息的任何机构，但不限于软盘、光盘、压缩光盘、只读存储器(CD-ROM)及磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁性或光学卡、快闪存储器或者用于经由电、光学、声学或其它形式的经传播信号(例如，载波、红外信号、数字信号等)在因特网上发射信息的有形机器可读存储装置。因此，计算机可读媒体包含适合于存储或发射呈可由机器(例如，计算机)读取的形式的电子指令或信息的任何类型的有形机器可读媒体。
贯穿本说明书对“一个实施例”或“一实施例”的提及意指结合所述实施例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，贯穿本说明书在各个地方中出现的短语“在一个实施例中”或“在一实施例中”未必全部是指相同实施例。此外，特定特征、结构或特性可以任何适合方式组合于一或多个实施例中。
在前述说明书中，已参考特定示范性实施例给出详细描述。然而，将显而易见，可在不背离所附权利要求书中所陈述的本发明的较广泛精神及范围的情况下对本发明做出各种修改及改变。因此，应将本说明书及图式视为具有说明性意义而非限制性意义。此外，对实施例及其它示范语言的使用未必是指相同实施例或相同实例，而可能是指不同且相异实施例，以及可能相同实施例。
详细说明的一些部分是就对计算机存储器内的数据位的操作的算法及符号表示方面而呈现。这些算法描述及表示是由数据处理领域的技术人员用以最有效地将其工作的实质传达给所属领域的其它技术人员的手段。算法在此处且大体地设想为达到所要结果的始终一致的步骤序列。所述操作是需要对物理量的物理操纵的那些操作。通常(但并非必要地)，这些量呈现能够被存储、传送、组合、比较及以其它方式加以操纵的电信号或磁信号的形式。已证明，主要出于常用的原因，将这些信号称为位、值、元素、符号、字元、项、数字等等有时比较方便。本文中所描述的块可为硬件、软件、固件或其组合。
然而，应记住，所有这些术语及类似术语均与适当的物理量相关联，且仅作为应用于这些量的方便标签。除非如从以上论述明了另有具体陈述，否则应了解，在本描述通篇中，利用例如“定义”、“接收”、“确定”、“发布”、“链接”、“使…相关联”、“获得”、“验证”、“禁止”、“执行”、“请求”、“传递”等等术语的论述是指计算系统或类似电子计算装置的动作及过程，其对表示为计算系统的寄存器及存储器内的物理(例如，电子)量的数据进行操纵并将其变换成类似地表示为计算系统存储器或寄存器或者其它此类信息存储装置、发射或显示装置内的物理量的其它数据。
本文中使用词语“实例性”或“示范性”意指用作实例、例子或图解说明。在本文中描述为“实例性”或“示范性”的任何方面或设计未必应视为比其它方面或设计优选或有利。而是，打算使用词语“实例性”或“示范性”来以具体方式呈现概念。如此申请书中所使用，术语“或”打算意指包含性“或”而非排他性“或”。也就是说，除非另有规定或从上下文显而易见，否则“X包含A或B”打算意指自然包含性排列中的任一者。也就是说，如果X包含A；X包含B；或X包含A及B两者，那么在前述实例中的任一者下满足“X包含A或B”。另外，如此申请书及所附权利要求书中所使用的冠词“一(a及an)”应通常被解释为意指“一或多个”，除非另有规定或从上下文显而易见是针对单数形式。此外，通篇对术语“一实施例”或“一个实施例”或者“一实施方案”或“一个实施方案”的使用并非打算意指相同实施例或实施方案，除非如此进行描述。而且，如本文中所使用的术语“第一”、“第二”、“第三”、“第四”等意为在不同元件间进行区分的标记且可未必具有根据其数字标示的序数意义。

Claims (20)

1.一种用于识别媒体的系统，其包括：
计算机可读存储媒体，其存储指令及数据库，所述数据库具有与被流式传输到多个频道的媒体节目相关联的多个帧指纹；
至少一个处理装置，其用以执行所述指令以：
从媒体装置接收正被消费的内容的查询指纹，所述查询指纹包含有序帧序列；
通过确定存储于所述数据库中的所述多个帧指纹与所述有序帧序列中的对应者之间的距离而对所述查询指纹与相应帧指纹进行匹配，其中匹配包括用相应距离来填充二叉树结构；
响应于在向下遍历所述二叉树结构时在距根节点的阈值数目个子节点内定位零值而检测从第一频道到第二频道的频道改变；及
通过识别对具有与所述查询指纹的所述有序帧序列的末端处的帧匹配的帧的内容进行流式传输的频道而确定所述第二频道的身份。
2.根据权利要求1所述的系统，其中为了检测所述频道改变，所述处理装置在定位于所述根节点下方的右子树或左子树的第一节点处定位所述零值。
3.根据权利要求1所述的系统，其中为了检测所述频道改变，所述处理装置在定位于所述根节点下方的右子树或左子树的第二节点处定位所述零值。
4.根据权利要求1所述的系统，其中为了用相应距离来填充所述二叉树结构，所述至少一个处理装置进一步：
从一侧到相对侧按时间顺序用所述相应距离的值来填充所述二叉树结构的叶节点；及
用通过将连接到父代节点的子节点的值相加所导出的值来填充所述父代节点。
5.根据权利要求1所述的系统，其中所述至少一个处理装置进一步响应于检测到所述频道改变而向广告“ad”目标确定器通知正被观看的所述第二频道的所述身份，使得所述广告目标确定器可调整去往被流式传输到所述第二频道的内容的目标媒体。
6.根据权利要求5所述的系统，其中调整去往被流式传输到所述第二频道的所述内容的目标媒体包括更新叠盖或替换广告以分别叠盖于流式传输到所述第二频道的广告上或替换所述广告。
7.根据权利要求5所述的系统，其中所述广告目标确定器进一步：
将所述频道改变的通知及所述第二频道的所述身份发送到跨越网络而定位的广告服务器；及
从所述广告服务器接收替换广告或叠盖内容以对准所述第二频道的商业广告时隙。
8.一种用于识别媒体的方法，其包括：
从媒体装置接收正被消费的内容的查询指纹，所述查询指纹包含有序帧序列；
使用至少一个处理装置来通过确定存储于存储器中的数据库中的多个帧指纹与所述有序帧序列中的对应者之间的距离而对所述查询指纹与相应帧指纹进行匹配，其包括：
从二叉树结构的一侧到相对侧按时间顺序用相应距离的值来填充所述二叉树结构的叶节点；
用通过将连接到所述二叉树结构的父代节点的子节点的值相加所导出的值来填充所述父代节点；及
在所述二叉树结构的根节点处检测到等于或低于预设最大阈值的值以指示匹配；以及
向内容管理器逻辑通知对应于所述匹配的查询指纹的频道，使得所述内容管理器逻辑可将媒体对准被流式传输到所述频道的内容。
9.根据权利要求8所述的方法，其中所述预设最大阈值为零，所述方法进一步包括通过识别对具有与所述查询指纹的所述有序帧序列的末端处的帧匹配的帧的内容进行流式传输的频道而确定第二频道的身份。
10.根据权利要求8所述的方法，其中所确定频道是第一频道，所述方法进一步包括：
响应于在向下遍历所述二叉树结构时在距所述根节点的阈值数目个子节点内定位低值而检测从所述第一频道到第二频道的频道改变，其中所述低值是等于或低于所述预设最大阈值；及
向所述内容管理器逻辑通知到所述第二频道的所述频道改变。
11.根据权利要求10所述的方法，其中所述预设最大阈值为零。
12.根据权利要求10所述的方法，其中检测所述频道改变包括在定位于所述根节点下方的右子树或左子树的第一节点处定位所述低值。
13.根据权利要求10所述的方法，其中检测所述频道改变包括在定位于所述根节点下方的右子树或左子树的第二节点处定位所述低值。
14.根据权利要求10所述的方法，其进一步包括：
将所述第二频道的通知发送到跨越网络而定位的广告服务器；及
从所述广告服务器接收替换广告或叠盖内容以对准所述第二频道的商业广告时隙。
15.一种服务器，其包括：
计算机可读存储媒体，其存储指令及数据库，所述数据库具有与被流式传输到多个频道的媒体节目相关联的多个帧指纹；
至少一个处理装置，其用以执行所述指令以：
通过确定存储于所述数据库中的多个帧指纹与有序帧序列中的对应者之间的距离而对查询指纹与相应帧指纹进行匹配，包括：
从二叉树结构的一侧到相对侧按时间顺序用相应距离的值来填充所述二叉树结构的叶节点；
用通过将连接到所述二叉树结构的父代节点的子节点的值相加所导出的值来填充所述父代节点；及
在所述二叉树结构的根节点处检测到等于或低于预设最大阈值的值以指示匹配；以及
向内容管理器逻辑通知对应于所述匹配的查询指纹的频道，使得所述内容管理器逻辑可将媒体对准被流式传输到所述频道的内容。
16.根据权利要求15所述的服务器，其中所确定频道是第一频道，所述至少一个处理装置进一步：
响应于在向下遍历所述二叉树结构时在距所述根节点的阈值数目个子节点内定位低值而检测从所述第一频道到第二频道的频道改变，其中所述低值是等于或低于所述预设最大阈值；
通过识别对具有与所述查询指纹的所述有序帧序列的末端处的帧匹配的帧的内容进行流式传输的频道而确定所述第二频道的身份；及
向所述内容管理器逻辑通知所述频道改变及所述第二频道的所述身份。
17.根据权利要求16所述的服务器，其中所述预设最大阈值为零。
18.根据权利要求17所述的服务器，其中检测所述频道改变包括在定位于所述根节点下方的右子树或左子树的第一节点处定位零值。
19.根据权利要求17所述的服务器，其中检测所述频道改变包括在定位于所述根节点下方的右子树或左子树的第二节点处定位零值。
20.根据权利要求16所述的服务器，其中所述至少一个处理装置进一步：
将所述第二频道的通知发送到跨越网络而定位的广告服务器；及
从所述广告服务器接收替换广告或叠盖内容以对准所述第二频道的商业广告时隙。
CN201680043941.0A 2015-06-12 2016-05-26 通过自动内容辨识指纹匹配来检测频道改变 Active CN107852252B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910905526.7A CN110730361B (zh) 2015-06-12 2016-05-26 通过自动内容辨识指纹匹配来检测频道改变
CN201910904897.3A CN110830843B (zh) 2015-06-12 2016-05-26 用于识别媒体的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562175145P 2015-06-12 2015-06-12
US62/175,145 2015-06-12
US14/815,256 US9516377B1 (en) 2015-06-12 2015-07-31 Detecting channel change in automatic content recognition fingerprint matching
US14/815,256 2015-07-31
PCT/US2016/034401 WO2016200622A1 (en) 2015-06-12 2016-05-26 Detecting channel change in automatic content recognition fingerprint matching

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910904897.3A Division CN110830843B (zh) 2015-06-12 2016-05-26 用于识别媒体的系统和方法
CN201910905526.7A Division CN110730361B (zh) 2015-06-12 2016-05-26 通过自动内容辨识指纹匹配来检测频道改变

Publications (2)

Publication Number Publication Date
CN107852252A CN107852252A (zh) 2018-03-27
CN107852252B true CN107852252B (zh) 2019-10-22

Family

ID=57400101

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201680043941.0A Active CN107852252B (zh) 2015-06-12 2016-05-26 通过自动内容辨识指纹匹配来检测频道改变
CN201910905526.7A Active CN110730361B (zh) 2015-06-12 2016-05-26 通过自动内容辨识指纹匹配来检测频道改变
CN201910904897.3A Active CN110830843B (zh) 2015-06-12 2016-05-26 用于识别媒体的系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201910905526.7A Active CN110730361B (zh) 2015-06-12 2016-05-26 通过自动内容辨识指纹匹配来检测频道改变
CN201910904897.3A Active CN110830843B (zh) 2015-06-12 2016-05-26 用于识别媒体的系统和方法

Country Status (6)

Country Link
US (3) US9516377B1 (zh)
EP (2) EP3308480B1 (zh)
JP (3) JP6672454B2 (zh)
KR (3) KR102265260B1 (zh)
CN (3) CN107852252B (zh)
WO (1) WO2016200622A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854326B1 (en) 2015-09-09 2017-12-26 Sorenson Media, Inc. Creating and fulfilling dynamic advertisement replacement inventory
US20170164050A1 (en) * 2015-12-06 2017-06-08 Cisco Technology, Inc. Presenting alternate content
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
US10575055B2 (en) * 2016-07-11 2020-02-25 Sony Corporation Using automatic content recognition (ACR) to weight search results for audio video display device (AVDD)
US10909173B2 (en) * 2016-12-09 2021-02-02 The Nielsen Company (Us), Llc Scalable architectures for reference signature matching and updating
WO2018175979A1 (en) 2017-03-24 2018-09-27 Sorenson Media, Inc. Enabling interactive control of live television broadcast streams
WO2018175894A1 (en) * 2017-03-24 2018-09-27 Sorenson Media, Inc. Employing automatic content recognition to allow resumption of watching interrupted media program from television broadcast
US10832144B2 (en) * 2017-04-12 2020-11-10 International Business Machines Corporation Event sequence management
EP3646197A1 (en) * 2017-06-30 2020-05-06 The Nielsen Company (US), LLC Frame certainty for automatic content recognition
US10306333B2 (en) 2017-09-13 2019-05-28 The Nielsen Company (Us), Llc Flagging advertisement frames for automatic content recognition
US10803038B2 (en) * 2017-09-13 2020-10-13 The Nielsen Company (Us), Llc Cold matching by automatic content recognition
KR102384209B1 (ko) * 2017-10-30 2022-04-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102504174B1 (ko) * 2018-05-11 2023-02-27 삼성전자주식회사 전자 장치 및 그의 제어방법
US10623800B2 (en) * 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US10827224B2 (en) 2018-07-19 2020-11-03 Gracenote, Inc. Modifying playback of replacement content responsive to detection of remote control signals that control a device providing video to the playback device
JP7146614B2 (ja) * 2018-12-20 2022-10-04 Ｔｖｓ Ｒｅｇｚａ株式会社 送受信システム及び方法
JP7146613B2 (ja) * 2018-12-20 2022-10-04 Ｔｖｓ Ｒｅｇｚａ株式会社 受信装置および受信方法
JP7146615B2 (ja) * 2018-12-20 2022-10-04 Ｔｖｓ Ｒｅｇｚａ株式会社 録画再生装置および録画再生方法
CN109684217B (zh) * 2018-12-25 2022-06-14 网易（杭州）网络有限公司 一种游戏检测的方法及装置、电子设备、存储介质
WO2020231815A1 (en) * 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data mismatch and responsive action feature
US11153648B2 (en) 2019-05-10 2021-10-19 Roku, Inc. Content-modification system with transmission delay-based feature
US20200359080A1 (en) * 2019-05-10 2020-11-12 The Nielsen Company (Us), Llc Content-Modification System with Issue Detection and Responsive Action Feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11689753B2 (en) 2019-06-18 2023-06-27 The Nielsen Company (Us), Llc Use of steganographically-encoded data as basis to disambiguate fingerprint-based channel-multi-match
US11234050B2 (en) * 2019-06-18 2022-01-25 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis
US11202109B2 (en) * 2019-07-19 2021-12-14 Roku, Inc. Method and system for use of network affiliation as basis to determine channel rendered by content presentation device
US11297367B2 (en) * 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11328014B2 (en) * 2019-10-25 2022-05-10 Google Llc Frame-accurate automated cutting of media content by using multiple airings
KR20210051048A (ko) 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
US11343565B2 (en) 2020-04-08 2022-05-24 Roku, Inc. Content-modification system with feature for detecting and responding to a content modification by a tuner device
CN111722879A (zh) * 2020-06-19 2020-09-29 浪潮电子信息产业股份有限公司 U盘识别方法、Linux系统、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460470A (zh) * 2009-06-11 2012-05-16 杜比实验室特许公司 基于指纹的内容识别趋势分析

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909837B1 (en) 2000-11-13 2005-06-21 Sony Corporation Method and system for providing alternative, less-intrusive advertising that appears during fast forward playback of a recorded video program
ES2358889T3 (es) 2001-08-02 2011-05-16 Intellocity Usa, Inc. Alteraciones visuales posproducción.
JP3844446B2 (ja) * 2002-04-19 2006-11-15 日本電信電話株式会社 映像管理方法、装置、映像管理プログラム、および同プログラムを記録した記録媒体
US7346009B2 (en) * 2002-09-30 2008-03-18 Mosaid Technologies, Inc. Dense mode coding scheme
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US7715934B2 (en) * 2003-09-19 2010-05-11 Macrovision Corporation Identification of input files using reference files associated with nodes of a sparse binary tree
US10032192B2 (en) 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
US20050249080A1 (en) 2004-05-07 2005-11-10 Fuji Xerox Co., Ltd. Method and system for harvesting a media stream
CN100592789C (zh) * 2004-08-12 2010-02-24 皇家飞利浦电子股份有限公司 从视频或音频数据流选择内容
CA2594003C (en) 2005-01-12 2016-04-05 Invidi Technologies Corporation Targeted impression model for broadcast network asset delivery
EP1983755A1 (en) * 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata
JP5241832B2 (ja) 2007-06-27 2013-07-17 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造
EP2188711A4 (en) * 2007-09-14 2012-08-22 Auditude Inc RESTORING PROGRAM INFORMATION FOR CLIPS FROM ONLINE USED BROADCASTING PROGRAMS
EP2301222B1 (en) * 2008-06-07 2012-01-18 Coherent Logix Incorporated Transmitting and receiving control information for use with multimedia streams
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US20130097632A1 (en) * 2009-05-27 2013-04-18 Ajay Shah Synchronization to broadcast media
US20110238493A1 (en) 2010-03-29 2011-09-29 Yahoo! Inc. Efficient ad selection in ad exchange with intermediaries
US20110264516A1 (en) 2010-04-27 2011-10-27 Yahoo! Inc. Limiting latency due to excessive demand in ad exchange
JP5567384B2 (ja) * 2010-05-06 2014-08-06 株式会社日立製作所 類似映像検索装置
US20120005029A1 (en) 2010-07-01 2012-01-05 Yahoo! Inc. System for handling multiple priorities in ad exchange auction
US20120036023A1 (en) 2010-08-04 2012-02-09 Yahoo! Inc. System for conducting demand-side, real-time bidding in an advertising exchange
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR101211098B1 (ko) * 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
US8930307B2 (en) * 2011-09-30 2015-01-06 Pure Storage, Inc. Method for removing duplicate data from a storage array
KR101893151B1 (ko) * 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US8805827B2 (en) * 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101873364B1 (ko) * 2011-09-27 2018-08-03 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법
US20130085865A1 (en) 2011-10-04 2013-04-04 Yahoo! Inc. Context-contingent targeting in online advertising
US9351037B2 (en) 2012-02-07 2016-05-24 Turner Broadcasting System, Inc. Method and system for contextual advertisement replacement utilizing automatic content recognition
US20150020094A1 (en) * 2012-02-10 2015-01-15 Lg Electronics Inc. Image display apparatus and method for operating same
GB201210702D0 (en) * 2012-06-15 2012-08-01 Qatar Foundation A system and method to store video fingerprints on distributed nodes in cloud systems
JP6193993B2 (ja) * 2012-07-16 2017-09-06 エルジー エレクトロニクス インコーポレイティド デジタルサービス信号処理方法及び装置
US20140074621A1 (en) 2012-09-07 2014-03-13 Opentv, Inc. Pushing content to secondary connected devices
JP6433427B2 (ja) 2012-09-12 2018-12-05 アイイーエックス グループ，インコーポレーテッド 通信レイテンシー平準化装置、方法、およびシステム
CN103051925A (zh) * 2012-12-31 2013-04-17 传聚互动(北京)科技有限公司 基于视频指纹的快速视频检测方法和装置
US9794642B2 (en) 2013-01-07 2017-10-17 Gracenote, Inc. Inserting advertisements into video content
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
KR20150049243A (ko) * 2013-10-29 2015-05-08 엘지전자 주식회사 지문 인식을 이용한 영상표시기기 및 그 제어 방법
US20150163545A1 (en) * 2013-12-11 2015-06-11 Echostar Technologies L.L.C. Identification of video content segments based on signature analysis of the video content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460470A (zh) * 2009-06-11 2012-05-16 杜比实验室特许公司 基于指纹的内容识别趋势分析

Also Published As

Publication number Publication date
JP2021106003A (ja) 2021-07-26
KR102054912B1 (ko) 2019-12-11
KR20190138706A (ko) 2019-12-13
EP3843298A1 (en) 2021-06-30
KR102265260B1 (ko) 2021-06-16
JP7216756B2 (ja) 2023-02-01
EP3308480B1 (en) 2021-02-17
WO2016200622A1 (en) 2016-12-15
KR20200146047A (ko) 2020-12-31
US9516377B1 (en) 2016-12-06
CN107852252A (zh) 2018-03-27
US20160366474A1 (en) 2016-12-15
JP2018523433A (ja) 2018-08-16
JP6850826B2 (ja) 2021-03-31
CN110730361B (zh) 2021-11-02
US9877085B2 (en) 2018-01-23
EP3308480A4 (en) 2018-09-26
CN110830843B (zh) 2022-01-04
EP3308480A1 (en) 2018-04-18
KR20180035790A (ko) 2018-04-06
CN110730361A (zh) 2020-01-24
US20170013324A1 (en) 2017-01-12
JP2019179557A (ja) 2019-10-17
JP6672454B2 (ja) 2020-03-25
US20170272836A1 (en) 2017-09-21
KR102197311B1 (ko) 2021-01-05
CN110830843A (zh) 2020-02-21
US9706261B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN107852252B (zh) 通过自动内容辨识指纹匹配来检测频道改变
JP7128255B2 (ja) 自動コンテンツ認識フィンガープリントシーケンス照合
CN107851103A (zh) 自动内容辨识指纹序列匹配
CN110476428A (zh) 使用覆盖的定向内容放置
US11140435B2 (en) Interactive overlays to determine viewer data
CN108141563A (zh) 所连接媒体装置上的数字覆盖报价
CN106303591B (zh) 一种视频推荐方法及装置
KR20190113987A (ko) 라이브 텔레비전 브로드캐스트 스트림의 인터랙티브 제어 구현
WO2018175894A1 (en) Employing automatic content recognition to allow resumption of watching interrupted media program from television broadcast

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190507

Address after: American New York

Applicant after: The Nielsen Company (US) LLC

Address before: American Utah

Applicant before: Sorensen Media Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210917

Address after: California, USA

Patentee after: Liuke Co.,Ltd.

Address before: New York, United States

Patentee before: Nielsen (USA) Ltd.