CN107851104A - 自动内容辨识指纹序列匹配 - Google Patents

自动内容辨识指纹序列匹配 Download PDF

Info

Publication number
CN107851104A
CN107851104A CN201680023473.0A CN201680023473A CN107851104A CN 107851104 A CN107851104 A CN 107851104A CN 201680023473 A CN201680023473 A CN 201680023473A CN 107851104 A CN107851104 A CN 107851104A
Authority
CN
China
Prior art keywords
fingerprint
frame
content
media
media program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680023473.0A
Other languages
English (en)
Other versions
CN107851104B (zh
Inventor
帕维尔·A·科舍沃伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Sorensen Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sorensen Media Co Ltd filed Critical Sorensen Media Co Ltd
Publication of CN107851104A publication Critical patent/CN107851104A/zh
Application granted granted Critical
Publication of CN107851104B publication Critical patent/CN107851104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

本发明揭示一种处理装置及方法，其具有存储数据库的计算机可读存储装置，所述数据库具有包含对应时间戳的与媒体节目相关联的帧指纹，例如，起源媒体内容的帧。所述处理装置从媒体装置接收用户正消费的内容的指纹，所述指纹包含有序帧序列及对应时间戳。所述处理装置查询所述数据库以产生基于时间的结果，所述基于时间的结果包含从将所述指纹的所述有序帧序列的时间戳映射到最密切匹配的帧指纹的时间戳产生的一组点。所述处理装置对所述组点执行图案辨识算法以确定对应于所述正消费的内容的媒体节目，且将所述媒体节目的标识发送到广告服务器(或目标确定器)，利用所述媒体节目的所述标识使额外内容将正观看所述媒体节目的所述用户定为目标。

Description

自动内容辨识指纹序列匹配
背景技术
媒体消费装置(例如智能电视(TV))可存取广播数字内容且从数据网络(例如因特网)接收数据(例如流式媒体)。流式媒体是指其中可在请求后经由电话线、电缆、因特网等等将媒体内容(例如电影或新闻)提供给终端用户的服务。举例来说，用户可在不需要离开其住所的情况下观看电影。并且，用户可在不需要亲自前往学校或教育机构的情况下存取各种类型的教育内容(例如视频演讲)。
由于媒体消费装置的数目持续增加，视频内容产生及递送可类似地增加。随着对用以存取流式媒体的媒体消费装置(例如智能电话、平板计算机及智能电视)的使用的增加，内容或网络提供者(例如本地广播电台、多通道网络及其它内容拥有者/分配者)可将上下文相关材料分配给正消费流式媒体(例如，媒体节目)的观看者。举例来说，本地广播电台可包含上下文相关广告及与流式媒体互动的内容。
附图说明
将从下文所给出的详细描述及从本发明的各种实施例的附图更完全地理解本发明。然而，不应将图式视为将本发明限制于特定实施例，而是仅出于解释及理解的目的。
图1图解说明根据一个实施例的内容分配网络的系统图式。
图2图解说明根据一个实施例的用以将叠加内容提供到客户端装置的内容管理器。
图3图解说明用于指纹识别图2的内容管理器的媒体内容的自动内容辨识(ACR)引擎的系统图式。
图4以图表图解说明输入(或查询)指纹的有序帧序列的时间戳到匹配帧指纹的时间戳的映射。
图5图解说明根据一个实施例的对输入(或查询)指纹的帧序列进行匹配以识别对应电视节目的自动内容辨识(ACR)方法的流程图。
图6图解说明根据另一实施例的对输入(或查询)指纹的帧序列进行匹配以识别对应电视节目的自动内容辨识(ACR)方法的流程图。
图7图解说明呈计算机系统的实例性形式的机器的图解性表示，可在所述计算机系统内执行用于致使所述机器执行本文中所论述的方法中的任何一或多者的指令集。
具体实施方式
媒体内容广播或流(例如电视(TV)或因特网表演广播)可为对广告产品及服务、将信息提供给观看者或其任何组合有吸引力的地点。因此，广播电台希望知晓个别观看者正观看何种节目及时间，使得那些节目的主题可用于使广告及其它有用、任选地非商业性信息准确地将所述观看者定为目标。举例来说，非商业性可包含新闻警报、公告或教育信息。因此，确定用户正观看或将要观看的节目且将节目信息的标识发送到广告服务器以用于此类有目标性的行动将是有利的。
揭示一种处理装置及方法，其具有存储数据库的计算机可读存储装置，所述数据库具有包含对应时间戳的与媒体节目相关联的帧指纹，例如，起源媒体内容的帧。所述处理装置从媒体装置接收用户正消费的内容的指纹，所述指纹包含有序帧序列及对应时间戳。所述处理装置查询所述数据库以产生基于时间的结果，所述基于时间的结果包含从将所述指纹的所述有序帧序列的时间戳映射到最密切匹配的帧指纹的时间戳产生的一组点。所述处理装置对所述组点执行图案辨识算法以确定对应于所述正消费的内容的媒体节目，且将所述媒体节目的标识发送到广告服务器，利用所述媒体节目的所述标识使额外内容将正观看所述媒体节目的所述用户定为目标。所述图案辨识算法可检测线的特定斜率或可包含可检测任何线的任何斜率的随机取样一致性(RANSAC)。在给出斜率的情况下，形成所述线的一组匹配帧指纹对应于用户正观看的媒体节目。
另外或替代地，一种自动辨识(ACR)服务器可包含至少一个处理装置及具有与媒体节目相关联的多个帧指纹的数据库。相应帧指纹可为从媒体节目选择的帧及所述帧的对应时间戳。所述至少一个处理装置可从媒体装置接收正消费的内容的指纹，所述指纹包含帧序列及对应时间戳。所述至少一个处理装置可执行所述数据库的搜索以产生呈二维数据结构的一组基于时间的结果，所述二维数据结构包含所述多个帧指纹中与所述指纹的所述帧序列内的帧及对应时间戳最密切匹配的那些帧指纹。在一个实例中，将所述指纹的所述帧序列的所述时间戳映射到最密切匹配的帧指纹的时间戳，从而形成时间戳的二维数据结构中的点。所述至少一个处理装置可进一步对所述组基于时间的结果执行图案辨识算法(例如，通过使用RANSAC等等)以确定对应于所述正消费的内容的媒体节目。
所述至少一个处理装置可将所述媒体节目的标识发送到广告服务器，且从所述广告服务器接收与所述媒体节目的主题上下文相关的广告。所述至少一个处理装置可接着将所述广告(或其它内容)递送到所述媒体装置以作为叠加或作为广告(或信息片段)在所述媒体节目中的商业插播期间进行显示。
为了给观看者提供媒体内容，个体或组织可例如通过经由因特网将媒体内容递送到观看者而将媒体内容流式传输给观看者。个体或组织所使用的媒体内容可为从一或多个实时广播媒体馈源获取的媒体内容(例如视频数据)。举例来说，媒体内容提供者可经由因特网给用户提供线性媒体频道(例如，从实时媒体馈源提供到观看者的媒体)。
词语“内容”可用于指媒体或多媒体。词语“内容”还可为意指媒体的主题而非媒体本身的特定术语。同样地，词语“媒体”及包含“媒体”的一些复合词语(例如，多媒体、超媒体)替代地是指内容，而非指信息通过其递送到终端用户/观众的频道。媒体或媒体内容可包含图形表示，例如视频、电影、电视表演、商业广告、流式视频等等，文本，图形，动画，静止图像，互动性内容形式等等。通常称为媒体类型的内容的类型的实例是称为“电影”的“运动图片”。
在一个实施例中，内容叠加系统或内容叠加装置可使得能够组合媒体内容与特定实时及/或目标叠加内容(例如广告)。内容叠加系统或内容叠加装置可使得叠加内容提供者能够通过邀请观看者对内容叠加内的呼吁行动(例如，参与内容叠加的邀请)做出响应而吸引观看者。邀请观看者参与呼吁行动的一个优点可为给观看者请求额外信息、提出问题、提供输入、联系所广告的服务或产品的提供者等等提供返回路径或沿循路径。邀请观看者参与呼吁行动的另一优点可为给广告商提供额外信息、进一步吸引观看者、收集关于观看者的额外信息、回答观看者关于所广告的产品或服务的问题等等提供返回路径或沿循路径。在另一实例中，一旦观看者已观看媒体节目的叠加内容及/或与媒体节目的叠加内容互动，内容叠加系统或内容叠加装置便可使得广告商能够使用交叉平台重定目标活动。
图1图解说明根据一个实例的内容分配网络100的系统图式。在内容分配网络100中，内容提供者102可向本地提供者106广播内容馈源。本地提供者106可包含头端104及自动内容辨识(ACR)指纹识别器服务器105。来自内容提供者102的内容馈源可在本地提供者106的头端104处接收。头端104可基于所接收内容馈源而产生本地内容馈源。举例来说，头端104可为从国家或全球广播电台接收具有节目及广告的网络通道的本地分支广播电台。
头端104可将本地内容馈源传达到ACR指纹识别器服务器105、空中(OTA)广播电台108及/或多通道视频节目分配者(MVPD)110。OTA广播电台108及/或MVPD 110可将本地内容馈源传达到媒体装置115。媒体装置115的一些实例包含客户端装置118及120、将提供者内容流式传输到客户端装置118及120的机顶盒114以及用户可通过其流式传输(例如，无线地)本地内容馈源的其它装置116。
在一个实例中，OTA广播电台108可使用传统本地电视或无线电频道广播本地内容馈源。在此实例中，客户端装置118及120可包含天线(例如TV或无线电天线)且接收本地内容馈源。在另一实例中，MVPD 110(例如电缆或卫星广播电台)可将本地内容馈源传达到机顶盒114。在此实例中，机顶盒114可针对客户端装置118及120将内容馈源格式化且可将经格式化内容馈源传达到客户端装置118及120。客户端装置118及120可包含用以向观看者显示本地内容的显示装置，例如电视屏幕或触摸屏。内容分配网络100的各种组件可集成或耦合到客户端装置118及120。举例来说，智能电视可在单个单元中包含天线、机顶盒114及显示装置。
ACR指纹服务器105可分析本地内容馈源且确定指纹信息(例如，指纹)。ACR指纹服务器105可将指纹传达到ACR系统124及/或126。ACR系统124及126可为由装置制造商(例如智能TV制造商)选择的不同ACR系统。在一些实施例中，如下文所描述，ACR系统124包含ACR指纹序列匹配器125。ACR指纹序列匹配器125可将帧指纹与对应视频帧起源于其的原始视频内容进行匹配。ACR系统126可或可不具有ACR指纹序列匹配器125。下文关于图3描述关于ACR指纹序列匹配器125的细节。
ACR指纹服务器105可分析本地内容馈源且捕获指纹，所述指纹可包含来自本地内容馈源的有序帧序列。ACR指纹服务器105可将指纹传达到ACR系统124及/或126。ACR系统124及126可为由装置制造商(例如智能TV制造商)选择的不同ACR系统。在一个实例中，ACR指纹服务器105可针对不同ACR系统124及126(例如，包含不同类型的指纹识别技术)将指纹格式化。ACR系统124及126可分别与包含客户端装置118及120的不同媒体装置115建立通信连接。客户端装置118及120可分别将指纹信息传达到ACR系统124及126。当ACR系统124或126接收到来自客户端装置118及/或120的ACR指纹信息时，ACR系统124或126可将所接收指纹与由ACR指纹服务器105产生的那些指纹进行匹配，且当匹配发生且内容已被识别时，可将ACR事件传达到内容管理器122。
在另一实例中，ACR系统124及/或126可从客户端装置118及/或120接收ACR指纹信息且可将所接收指纹与由ACR指纹服务器105产生的那些指纹进行匹配。当匹配发生且内容已被识别时，ACR系统124及/或126可向客户端装置118及/或120通知ACR事件且接着客户端装置118及/或120可将那些ACR事件传达到内容管理器122。替代地或另外，ACR系统124及/或126可直接将ACR事件传达到内容管理器122。ACR指纹信息可包含：到观看者的本地内容馈源中的广告的显示、到观看者的本地内容馈源中的所选择或所标记内容的显示、客户端装置118或120处内容频道的改变等等。
来自不同ACR系统124及126的事件信息可呈不同格式，且内容管理器122可在将数据存储到数据库123中之前将数据正规化为共同格式。举例来说，内容管理器122可从ACR系统124及126接收包含类似但不完全相同数据(例如具有相同内容但以不同方式格式化的数据)的不同数据集。内容管理器122可处理不同数据集且将不同数据集重新格式化以创建单个数据模型或格式(例如，经重新格式化数据集)，且经重新格式化数据集可被填充到内容管理器122中的数据库123中。
在一个实施例中，为了将来自ACR系统124及126的不同数据集正规化，内容管理器122可对数据集中的数据进行清理或滤波。举例来说，一些数据集可含有可与内容管理器122不相关的字段或数据。在此实例中，内容管理器122可对不相关数据(例如，可被移除或忽略的数据)进行清理或滤波。在另一实例中，一些数据集可包含不完整或不正确数据或数据集的例子，且内容管理器122可对不完整或不正确数据或数据集进行清理或滤波。在另一实施例中，为了将来自ACR系统124及126的不同数据集正规化，内容管理器122可对数据集的字段进行映射。举例来说，当内容管理器122接收到来自ACR系统124的第一数据集及来自ACR系统126的第二数据集时，第一数据集及第二数据集的数据字段中的至少一些可为第一及第二数据集两者共同的。然而，共同数据字段可位于第一及第二数据集中的不同地点处。在此实例中，内容管理器122可将第一及第二数据集的不同数据字段映射为经正规化字段且在数据库123中的相同数据字段位置中具有相同数据字段。
在另一实施例中，为了将来自ACR系统124及126的不同数据集正规化，内容管理器122可从数据集导出数据。举例来说，来自ACR系统124及/或126的数据可不含有将数据字段填充于数据库中所需的所有字段。然而，内容管理器122可使用来自ACR系统124及126的数据集中的其它字段来导出用于这些数据字段的数据。
在一个实例中，数据库123可包含例如国家字段中的州、指定市场区域(DMA)及郡县及/或城市字段等数据字段，但来自ACR系统124及126的数据集可仅包含地区改进计划(ZIP)代码。在此实例中，内容管理器122可使用ZIP代码来导出用于数据库中的字段的数据。在另一实例中，数据集可不含有任何地理位置信息，但可包含ACR系统124及126的因特网协议(IP)地址。在此实例中，内容管理器122可使用geo-IP查找服务来导出州、DMA、郡县、城市及ZIP代码信息。
在另一实例中，数据库123可包含人口统计字段，例如年龄字段、性别字段、家庭收入字段等等。然而，来自ACR系统124及126的数据集可不包含人口统计字段或人口统计数据。在此实例中，ACR系统124及126可给内容管理器122提供客户端装置118及120的IP地址。内容管理器122可使用所述IP地址来确定人口统计数据以将数据字段填充于数据库中。
在另一实例中，来自ACR系统124的第一数据集中的字段可包含本地时间分区信息(例如山区日光时间(MDT)分区)，且来自ACR系统126的第二数据集可包含来自另一时间分区(例如协调世界时间(UTC)分区)的信息。数据库可使用UTC存储所有数据，且内容管理器122可在将数据存储于数据库123中之前将本地时间转换为UTC。
在一个实施例中，内容管理器122可使用经正规化数据来产生关于跨越不同ACR技术供应商及智能TV或其它因特网连接的视频装置的用户观看行为的报告或数据(观看数据)。内容管理器122及媒体装置115可包含用以在媒体装置115与内容管理器122之间传达信息(例如叠加内容)的通信接口。
在一个实例中，通信接口可使用蜂窝式网络及/或无线网络传达信息。在一个实例中，通信网络可为蜂窝式网络，蜂窝式网络可为第三代合作伙伴计划(3GPP)版本8、9、10、11或12或者电气与电子工程师协会(IEEE)802.16p、802.16n、802.16m-2011、802.16h-2010、802.16j-2009、802.16-2009。在另一实施例中，通信网络可为可遵循由电气与电子工程师协会公司开发的标准(例如IEEE 802.11-2012、IEEE 802.11ac或IEEE 802.11ad标准)的无线网络(例如使用由Wi-Fi联盟开发的技术的网络)。在另一实施例中，通信网络可为由蓝牙特别兴趣小组(SIG)开发的连接，例如蓝牙v1.0、蓝牙v2.0、蓝牙v3.0或蓝牙v4.0。在另一实施例中，通信网络可为由ZigBee联盟开发的连接，例如IEEE 802.15.4-2003(Zigbee 2003)、IEEE 802.15.4-2006(Zigbee 2006)、IEEE802.15.4-2007(Zigbee Pro)。
在一个实例中，内容管理器122还可指令媒体装置115用叠加内容替换从OTA广播电台108或MVPD 110接收的本地内容馈源的部分。在另一实例中，内容管理器122可指令媒体装置115将叠加内容叠加或叠置到本地内容馈源的部分上。内容管理器122可聚合跨越多个ACR系统124及126的ACR信息，且可将叠加内容传达到不同客户端装置118及120，其中客户端装置118及120可来自不同装置制造商。
内容管理器122还可与媒体装置115的其它装置116建立通信连接。在一个实例中，其它装置116可与客户端装置118或120通信且提供额外屏幕(例如，第二屏幕)以显示叠加内容。举例来说，客户端装置118及120可从OTA广播电台108或MVPD 110接收本地内容馈源且向用户显示本地内容馈源。当ACR事件发生时，其它装置116也可将ACR事件信息传达到ACR系统124及126，如先前段落中所论述。当内容管理器122接收到ACR事件信息时，内容管理器122可将叠加内容传达到其它装置116。
在一个实例中，客户端装置118及120可在其它装置116显示叠加内容时继续显示本地内容馈源。在另一实例中，客户端装置118与120及其它装置116两者均可显示叠加内容。在另一实例中，客户端装置118与120及其它装置116可显示叠加内容的一部分及本地内容馈源的一部分。在另一实例中，客户端装置118与120及其它装置116可显示不同本地内容馈源及/或叠加内容。
在一个实例中，客户端装置118及120及/或其它装置116可在接收到叠加内容时显示叠加内容。在另一实例中，客户端装置118及120及/或其它装置116可延迟显示叠加内容达阈值时间段。阈值时间段可为预定义时间段，或者内容管理器122可选择客户端装置118及120及/或其它装置116延迟显示叠加内容的时间段。
图2图解说明根据一个实施例的用以将叠加内容提供到媒体装置115(例如提供到客户端装置218及/或220)的内容管理器222。内容提供者202可经由网络219将媒体内容流式传输到媒体装置115，所述流式传输可在媒体内容向媒体装置115的流式传输之前或与其同时由内容管理器222拦截。内容管理器222还可与广告服务器(或“广告(ad)”服务器)230通信，例如向广告服务器230发送请求与媒体内容一起(或作为对媒体内容的叠加)来提供广告的广告调用以将目标定为媒体内容的主题及/或用户的关注点，如将更详细地解释。广告服务器230可为将广告或其它叠加内容提供到内容管理器222以便稍后递送到媒体装置115或可将内容作为叠加直接提供到媒体装置115的第三方服务器或外部服务器。
内容管理器222可包含ACR引擎204、查找服务器206、叠加决策引擎210、其中存储叠加内容的叠加数据库211及广告目标确定器212。内容提供者202可将媒体内容上传到ACR引擎204。
ACR引擎204可对媒体内容进行指纹识别。在一个实例中，可通过对馈源的每一帧、馈源的每隔一个帧、帧序列等等进行指纹识别而产生指纹。举例来说，ACR引擎204可通过执行馈源的帧的离散余弦变换(DCT)且将所得系数(例如，低频率系数)的子集指定为指纹而产生所述帧的指纹。在另一或相关实施例中，ACR引擎204还可分析ACR事件信息以确定可能已发生何种事件，例如，帧序列查询指纹与存储于ACR系统124或126中的起源内容的帧指纹之间的肯定匹配。当存在肯定匹配时，ACR引擎204可将肯定匹配指示符发送到请求媒体装置115，所述肯定匹配指示符可包含识别产生肯定匹配所针对的内容的媒体内容识别符(ID)。媒体装置115可将请求媒体内容叠加的叠加请求发送到叠加决策引擎210。在一个实例中，叠加请求可包含媒体内容ID。在另一实例中，叠加请求可包含叠加信息或叠加参数。
进一步参考图2，ACR引擎204可将ACR指纹传达到查找服务器206，查找服务器206可查找且确定电视节目(或频道，举例来说)及电视节目内对应于从ACR系统124或126接收的ACR事件的位置。馈源的片段的每一指纹可与时间戳相关联。时间戳可在由ACR引擎204接收时属于馈源的片段的个别帧。时间戳可为馈源内从任意开始点的帧编号。查找服务器206可将指纹与其相应时间戳相关联地进行存储(例如，存储于指纹数据库207中)，且帮助广告目标确定器212及叠加决策引擎210对馈源的媒体内容内用户正观看的内容进行计时及定目标。
在一个实施例中，ACR引擎204与各种媒体装置115处的ACR客户端215互动。ACR客户端215可在本地对指纹进行匹配且确认用户是否已改变频道来观看不同电视节目，且向内容管理器222报告频道改变。因此，在一些情形中，指纹的匹配可在媒体装置115处在本地发生。
此外，ACR客户端215可周期性地、连续地或半连续地将用户指纹信息(例如，呈请求确认正在媒体装置115上观看的电视节目或频道的查询指纹的形式)传达到查找服务器206。查找服务器206可确定何时存在查询指纹与存储于指纹数据库207中或来自查找服务器的跨越网络219的众多帧指纹之间的匹配。查询指纹可为有序帧序列，可将所述有序帧序列中的相应者与帧指纹中的个别者进行匹配直到找到待与电视节目或频道相关联的充分匹配为止。当存在肯定匹配时，查找服务器206可将肯定匹配指示符传达到ACR客户端215。ACR客户端215可将请求媒体内容叠加的叠加请求发送到叠加决策引擎210。
在一个实例中，叠加请求可包含媒体内容识别符(ID)。在另一实例中，叠加请求可包含叠加信息或叠加参数。在一个实例中，叠加决策引擎210可使用内容ID、叠加信息、及/或叠加参数来识别目标叠加内容。在另一实例中，叠加决策引擎210可使用内容ID、叠加信息及/或叠加参数来识别叠加格式。叠加决策引擎210可将内容ID、叠加信息及/或叠加参数与叠加数据库211进行比较以识别目标叠加内容及叠加格式。可在周期性或连续基础上由内容提供者或广告商(例如，广告服务器230)用新的叠加内容及叠加格式更新叠加数据库。叠加内容可在递送到频道的电视节目的经流式传输媒体内容的叠加位置之前或之后填入叠加格式(例如叠加模板等等)。
广告目标确定器212可跟踪且分析用户与由叠加决策引擎递送到媒体装置115的广告及其它叠加内容的互动及关于所述广告及其它叠加内容的行为。广告目标确定器212还可接收用户配置文件信息且在每媒体-装置基础上将其与对用户行为的分析合并以确定用户所关注的主题。关于用户或用户群组所收集的此信息及数据可延伸到关于通常所观看的电视节目及频道的优选观看时间及典型观看习惯以及时间。广告目标确定器212可接着(例如，以参数的形式)向叠加决策引擎210通知不同所关注主题及观看习惯，叠加决策引擎210可使用所述不同所关注主题及观看习惯来决定选择何种叠加内容来递送到相应用户，如何将其格式化及何时递送最佳以实现活动预算的最大投资回报。
当叠加决策引擎210在广告目标确定器212的帮助下识别出目标叠加内容时，叠加决策引擎可将目标叠加内容传回到媒体装置115。在一个实例中，叠加决策引擎210可(例如经由无线通信网络)将目标叠加内容直接传达到媒体装置115。在另一实例中，叠加决策引擎210可经由统一资源定位符(URL)将目标叠加内容传达到媒体装置115。在一个实例中，当多个目标叠加内容与内容ID、叠加信息及/或叠加参数匹配时，叠加决策引擎210可选择满足最大数目个参数或其它信息的目标内容叠加。在另一实例中，当多个目标叠加内容与内容ID、叠加信息及其它叠加参数匹配时，叠加决策引擎210可随机地选择满足参数及其它信息的叠加内容。在另一实例中，当多个目标叠加内容与内容ID、叠加信息及叠加参数匹配时，叠加决策引擎210可选择与内容ID、叠加信息及/或叠加参数匹配的预定叠加内容。可用动态内容(例如，可以周期性间隔更新或刷新的内容)填充叠加内容。动态内容可存储于本地数据库或外部系统中。
媒体装置115的ACR客户端215可在ACR指纹信息与用户指纹信息匹配时将叠加内容叠置于内容馈源上。在一个实例中，媒体装置115可在超文本标记语言(HTML)浏览器中将叠加内容叠置于内容馈源上。在另一实例中，媒体装置115可将叠加内容叠置于来自OTA广播电台或有线广播电台的内容馈源上。当将叠加内容放置于内容馈源上时，可经由媒体装置115的显示器向用户显示叠加内容。在一个实例中，叠加内容可包含对可向用户显示的动作选项的一或多个调用。在此实例中，用户可使用输入装置(例如TV遥控器、键盘、智能电话或平板计算机)与叠加内容互动以创建反馈信息。ACR客户端215可将反馈信息传达到广告目标确定器212。另一个体(例如广告商)可存取反馈信息且分析反馈信息以确定所要信息，例如叠加内容中的用户关注点。
ACR客户端215可监视内容馈源以确定叠加内容与内容馈源匹配何时停止及/或阈值时间段何时到期。在一个实例中，当叠加内容与内容馈源匹配停止及/或阈值时间段到期时，媒体装置115可停止叠置叠加内容以在媒体装置115上显示。
图3是用于指纹识别图2的内容管理器的媒体内容的ACR引擎204的系统图式。根据一个实施例，ACR引擎204可接收待被指纹识别的媒体内容的内容帧，指纹识别器305，指纹序列匹配器325及其中存储有帧指纹的数据库327。内容提供者202可产生多媒体内容，所述多媒体内容被流式传输到包含客户端装置218及/或220的媒体装置115。
指纹识别器305可检测来自多媒体内容的若干个内容帧302或将其选择为指纹。在一个实施例中，若干个内容帧302可为顺序排序的，且因此从指纹的开始到结束包含顺序时间戳。在一个实例中，内容可为音频数据、视频数据或两者。在此实例中，视频内容可为原始视频帧。
举例来说，当指纹识别器305接收内容帧302时，指纹识别器305可确定如何处理内容帧302(例如原始视频及/或音频帧)以产生指纹。在一个实例中，可个别地指纹识别帧。在另一实例中，可以集合或序列指纹识别帧。指纹识别器305可基于指纹识别器305在指纹识别期间执行的ACR算法而确定何时个别地或顺序地指纹识别帧。
在另一实例中，指纹识别器305可针对不同广播电台或用户以不同方式指纹识别内容帧302。在此实例中，指纹识别器305可包含不同ACR供应商的不同ACR指纹识别算法。在一个实例中，不同ACR指纹识别算法可为预定的且存储于指纹识别器305的存储器中。
在又一实例中，不同ACR指纹识别算法可由第三方ACR供应商提供。当不同ACR指纹识别算法由此类供应商提供时，指纹识别器305可聚合不同ACR指纹识别算法。在一个实例中，ACR指纹识别可使用在YUV 4:2:2色彩空间内且处于高分辨率或其它分辨率水平的原始视频。当在本地提供者106或其它内容提供者202处接收到视频内容时，指纹识别器305可将视频内容转换为YUV 4:2:0色彩空间且将其分辨率按比例缩小为阈值分辨率水平以在发送到媒体装置115之前由广播电台或分配者编码。
在一些实施例中，指纹识别器305可包含指纹序列匹配器325或可与指纹序列匹配器325通信。指纹序列匹配器325可将指纹序列与个别帧指纹的给定集起源于其的原始视频内容进行匹配，如下文更详细地描述。
当指纹识别器305指纹识别内容帧302时，指纹识别器可将指纹(包含频道信息、时间代码及指纹信息)发送到叠加数据库211及/或发送到查找服务器206。查找服务器206也可从叠加数据库211检索指纹及相关信息。查找服务器206还可与叠加决策引擎210及广告目标确定器212通信或耦合以将叠加及主题匹配信息发送到叠加决策引擎210及广告目标确定器212，叠加决策引擎210及广告目标确定器212利用所述叠加及主题匹配信息来对客户端装置218及220上的用户进行上下文定目标。
在一个实例中，可对相同内容使用不同ACR指纹识别算法以将不同指纹信息提供到不同ACR供应商的查找服务器。以不同方式指纹识别相同内容(例如，内容帧)302的优点可为将上下文相关广告及互动内容提供到媒体消费装置的不同观看者。在另一实例中，内容帧302可包含来自不同馈源的媒体内容。在此实例中，可对内容帧302的不同馈源的内容使用不同ACR指纹识别算法以将不同指纹识别信息提供到不同ACR供应商的查找服务器。
可分别将不同指纹识别信息上传到不同ACR供应商的查找服务器。不同ACR供应商可集成于由不同合同设备制造商(CEM)制造的观看装置上。举例来说，Toshiba电视可利用 ACR指纹识别，且电视可使用 ACR指纹识别。包含不同ACR供应商的ACR指纹识别算法的指纹识别器305的优点可为指纹识别经由不同ACR供应商提供给观看者的内容而无论媒体消费装置的制造商如何。在一个实例中，ACR指纹识别信息可用于数字广告替换(DAR)。在另一实例中，ACR指纹识别信息可用于广告或内容扩增及数据收集。叠加决策引擎210及广告目标确定器212(图2)可使用指纹识别信息来将经编码内容与上下文相关广告、信息及/或互动内容进行匹配。经匹配内容及/或广告可接着提供到媒体装置115以在其上进行流式显示。在另一实例中，可将关于匹配事件的信息传达到广播云以分析内容匹配。
在一个实例中，指纹识别器305可在系统中的广播分配上游执行ACR指纹识别。在另一实例中，指纹识别可发生于广播链中，其中可递送广播馈源以进行编码/上传。当使用单个广播馈源时，可需要购买、安装、监视及维护以进行ACR指纹识别及编码/上传的装置及/或应用的数目可减少。举例来说，资本支出(CAPEX)及/或运营支出(OPEX)可减少，例如减少的系统设施(机架空间、电力及因特网连接性)。另外，当使用单个广播馈源时，从广播电台的分配放大器产生的广播馈源的数目可减少。
如所论述，指纹识别器305可从多媒体内容产生个别指纹，例如在路线上可通过广播服务器、头端、交换机及/或机顶盒以显示于用户的媒体装置115中的一者上。指纹可包含一个帧或若干个帧。可利用时序时间戳以顺序次序取得帧，或者可(举例来说)仍利用对应时间戳以某一间隔(例如每隔一个(或每三个帧))取得帧。
指纹序列匹配器325可处理这些个别帧(作为查询指纹)的集或序列以将所述帧与由这些指纹表示的对应视频帧起源于的原始视频内容的帧指纹(存储于数据库327中)进行匹配。帧指纹可为单个帧且各自包含对应时隙(或某一种类的索引，例如帧编号或从媒体节目开始以来的时间量)。找出匹配可导致确定用户正在媒体装置115上观看的媒体节目、频道、日程安排就节目的开始及结束时间来说的时隙、商业时隙及匹配的媒体节目的此类信息。
为了对匹配结果有信心，指纹序列匹配器325可利用以下事实：指纹的序列是按时间排序，且因此匹配的指纹不仅属于相同视频，而且类似地按时间排序。指纹序列匹配器325利用此性质来将查询指纹的帧的时间戳映射到用于匹配(例如，呈二维数据结构)的原始内容的帧指纹，且通过(举例来说)对所映射时间戳点执行图案辨识算法而滤除离群值。
指纹序列匹配器325还可使用指纹中的帧序列的此时间性质来检测如何播出(较快地、较慢地或反向地)匹配的指纹序列。ACR指纹序列匹配器325中的算法可经实施以检测某些播放情境，例如，处于全帧速率的正常速度、处于1/2帧速率的正常速度、处于1/3帧速率的正常速度等等。
参考图4，指纹序列匹配器325可使用输入(或查询)指纹的第一时间戳(或其它类型的索引)及匹配的帧指纹的第二时间戳(或其它类型的索引)。第一时间戳及第二时间戳形成点(Xi,Yj)的二维(2D)字段，其中Xi是呈给定序列的查询指纹的第一时间戳(或索引)，且Yj是查询指纹的相应帧的所检索匹配帧指纹的第二时间戳(或索引)。
更具体来说，给出处于时间X0的指纹，指纹序列匹配器325查询指纹数据库327以找出适当匹配，且在时间戳Yj及Yj+3处识别密切匹配的帧指纹集。在此匹配集的情况下，无法确定哪一者是正确匹配，这是因为匹配可包含(X0,Yj)或(X0,Yj+3)。给出处于时间X1的下一指纹，最密切匹配集包含Yj+1及Yj+5。在这些额外匹配的情况下，如果假设关于指纹识别且重新播放帧的速率的内容，那么指纹序列匹配器325已具有足够信息来确定哪些匹配是正确及不正确的。如果指纹序列匹配器假设指纹正被送入以进行实时匹配(不具有时间伸展或挤压)，那么正确匹配将排在具有斜率＝1的线上。即，(X0,Yj)及(X1,Yj+1)是正确匹配，而(X0,Yj+3)及(X1,Yj+5)是误匹配(离群值)，这是因为其形成具有斜率＝2的线。
给出处于时间Xi的额外指纹，潜在匹配集应包含继续由Xi–1、Xi–2等等处的匹配形成的相同线的点。因此，为了一次识别出所有正确匹配，指纹序列匹配器325识别与相同线对准的点(Xi,Yj)。唯一识别方式是通过使用图案辨识算法。随机取样一致性(RANSAC)是可用于找出此线的一种此类算法，但也可使用其它算法。RANSAC可用于检测任何斜率的线。
举例来说，所检测线的斜率不必为一(1)。所述斜率在反向地播放视频的情况下将为负的。所述斜率在比实时快地播放视频(以为商业广告可能留出更多空间)的情况下将大于1。所述斜率在慢放视频的情况下将小于1。举例来说，可能以25帧/秒(fps)指纹识别原始逐行倒相(PAL)内容，但针对国家电视系统委员会(NTSC)广播以23.976fps在时间上伸展。指纹序列匹配器需要至少3个指纹(X0,X1,X2)以能够确定线的斜率，但更多指纹将使此确定更稳健。给出所检测线的斜率，指纹序列匹配器可确定内容在客户端装置上与原始内容播放速率相对的播放速率。
因此，指纹序列匹配器325可针对查询指纹的给定有序序列中的每一帧找出数据库327中前N个匹配帧指纹。此处，变量N可为二进制整数或其它预定值(例如，10)。在一个实施例中，变量N可为数据库327中针对给定查询指纹的匹配帧的数目。在另一实施例中，取决于实施方案及设计因素，N可为固定极限值，或者其可为不受约束的(无限的)。举例来说，针对Xi处的每一指纹，指纹序列匹配器325可选择识别数据库327中的前10个最密切匹配的指纹，因此将Xi处的可能匹配的数目限制为最多10对。替代地，指纹序列匹配器325可选择传回数据库中所有大致匹配的指纹，在所述情形中，指纹序列匹配器325可具有为误匹配的更多对。给出足够大的输入指纹序列(X0...Xi)，应仍可能识别正确匹配，这是因为其仍排成线，但无限数目个误匹配可使此图案更难以检测。限制最密切匹配的数目会帮助减少误匹配的数目且还可允许使用较简单且较快速算法进行线检测。限制最密切匹配的数目的风险是这还可能排除真匹配，但利用足够大的N会减小此风险。
此外，当视频(或其它媒体节目)正在播放(未被暂停)时，在可能匹配的每一集中最多存在一个正常值。由于指纹是有序的，因此所有正常值应排成线。这可在图4中看出：正常值形成在(X0,Yj)与(X7,Yj+7)之间具有斜率一(1)的线。在一些情形中，当使媒体节目加速时，所述线可包含丢失的正常值。相反地，当使媒体节目减速时，所述线可包含额外正常值。
为了有信心地检测正常值，指纹序列匹配器325检测点的场中的线。这可在指纹序列匹配器325知晓线的斜率(例如，斜率1、2或3)时利用简单线检测器完成。此方法利用以下各项来工作：已知斜率及论述，以及在相同算法产生用于找出查询指纹与存储于数据库327中的帧指纹之间的匹配的帧指纹时。当存在多于一条线时，指纹序列匹配器325可采取两条线中的较长者。
替代地，可利用图案辨识算法(例如RANSAC)检测线，如已论述。RANSAC是用以从含有离群值的所观察数据集估计数学模型的参数的迭代方法。RANSAC是非确定算法，因为RANSAC产生具有特定概率的合理结果，其中此概率随允许的迭代变多而增加。基本假设是数据包含“正常值”(例如，其分布可由某一模型参数集解释但可经受噪声的数据)及为不与模型拟合的数据的“离群值”。离群值可来自(例如)噪声的极限值或来自关于数据的解释的错误测量值或不正确假设。RANSAC还假设给出(通常为小的)一组正常值，存在可估计最优地解释或拟合此数据的模型的参数的程序。指纹序列匹配器325可使用RANSAC来检测来自一组稀疏点的任何斜率的线。无论帧速率如何，所述线是可检测的，这些因为在具有足够的正常值的情况下，可无论帧速率如何而检测线。所检测线还可用于识别输入帧序列的播放速率。指纹序列匹配器325可检测用户何时改变播放速度，或甚至何时视频反向播放(例如，具有负斜率)。播放速率可以所检测线的斜率反应。
如所提及，指纹序列匹配器325可在播放处于原始(未改变)速率的情况下检测特定斜率的线。举例来说，具有1值的斜率对应于不具有帧速率改变的1:1播放速度。在此实施例中，指纹序列匹配器325可简化线检测算法且不使用图案检测算法，例如RANSAC。在另一实施例中，指纹序列匹配器325还可寻找具有斜率2的线，其将对应于其中每隔一个帧被丢弃的输入指纹序列。举例来说，这可针对HTTP实时流式传输(HLS)输出中的第二最低位速率流完成。在另一实施例中，指纹序列匹配器325还可通过检测排成水平线的所有点而检测用户暂停播放。
指纹序列匹配器325的实施例可将用于在给出输入帧的有序序列的情况下检测起源视频的方法形式化。指纹序列匹配器325可用于改进ACR系统(例如由美国犹他州盐湖城的索伦森(Sorenson)媒体公司开发的Spark Core ACR)中的匹配检测可靠性。
序列匹配的一个可能优点是利用个别帧指纹的时间排序可允许个别帧匹配算法的放松的质量要求。举例来说，可在个别帧匹配算法中容忍更多误肯定。这些实施例还可允许检测播放帧速率及速度或播放是否被暂停。
图5图解说明根据一个实施例的对输入(或查询)指纹的帧序列进行匹配以识别对应电视节目的自动内容辨识(ACR)的方法的流程图500。所述方法可至少部分地由处理逻辑执行，所述处理逻辑可包含硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，由处理装置执行的指令)、固件或其组合。所述方法可由客户端装置(例如客户端装置218或220)的处理逻辑、由服务器系统(例如图1的ACR系统124或126或者图2的ACR系统224或226)执行。内容管理器122或222(图1及2)还可在执行所述方法时起部分作用。替代地，所述方法可由各种类型的用户装置、便携式装置、电视、投影仪或其它媒体装置中的其它处理装置执行。
参考图5，处理逻辑以从内容(或媒体)装置处的内容馈源接收媒体内容开始(502)。所述逻辑可继续对媒体内容执行指纹识别以产生含有帧序列及对应基于时间的索引(例如对应时间戳)的输入(或查询)指纹(504)。所述逻辑可继续将查询指纹根据基于时间的索引与来自原始媒体内容的多个帧指纹进行匹配以识别对应于媒体内容的媒体节目(506)。
图6图解说明根据另一实施例的对输入(或查询)指纹的帧序列进行匹配以识别对应电视节目的自动内容辨识(ACR)的方法的流程图600。所述方法可至少部分地由处理逻辑执行，所述处理逻辑可包含硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如，由处理装置执行的指令)、固件或其组合。所述方法可由客户端装置(例如客户端装置218或220)的处理逻辑、由服务器系统(例如图1的ACR系统124或126或者图2的ACR系统224或226)执行。内容管理器122或222(图1及2)还可在执行所述方法时起部分作用。替代地，所述方法可由各种类型的用户装置、便携式装置、电视、投影仪或其它媒体装置中的其它处理装置执行。
参考图6，处理逻辑以将媒体节目的多个帧指纹存储于数据库中开始(610)。处理逻辑继续从媒体装置接收用户正消费的内容的指纹(620)。所述指纹包含有序帧序列及对应时间戳。所述逻辑继续查询数据库以产生包含从将指纹的有序帧序列的时间戳映射到来自多个帧指纹的最密切匹配的帧指纹的时间戳产生的一组点的基于时间的结果(630)。所述逻辑继续对所述组点执行图案辨识算法以确定对应于正消费的内容的媒体节目(640)，例如执行RANSAC以检测任何斜率的线。所述逻辑继续将媒体节目的标识发送到广告服务器，利用所述媒体节目的所述标识来使额外内容将正在观看媒体节目的用户定为目标(650)。所述逻辑还可将媒体节目的标识(及相关信息)发送到叠加决策引擎以用于将广告(或其它内容)作为对媒体节目内的内容的叠加来递送及/或在商业插播期间进行递送。
举例来说，逻辑可将媒体节目的标识发送到广告服务器，且从广告服务器接收与媒体节目的主题上下文相关的广告。逻辑可接着将广告(或其它内容)递送到媒体装置以在媒体节目中的商业插播期间显示为叠加或显示为广告(或信息片段)。
图7图解说明呈计算机系统700的实例性形式的机器的图解性表示，在计算机系统700内可执行用于致使所述机器执行本文中所论述的方法中的任何一者或多者的指令集。在一些替代实施例中，所述机器可连接(例如，网络连接)到LAN、内联网、外联网或因特网中的其它机器。所述机器可在客户端-服务器网络环境中的服务器或客户端装置的容量内操作，或作为对等(或分布式)网络环境中的对等机器操作。所述机器可为个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝式电话、智能电话、web器具、服务器、网络路由器、交换机或桥接器或者能够执行规定将由所述机器采取的动作的指令集(顺序的或其它)的任何机器。此外，虽然图解说明仅单个机器，但还应将术语“机器”视为包含个别地或联合地执行一指令集(或多个指令集)以执行本文中所论述的方法中的任何一者或多者的任何机器集合。
计算机系统700可对应于图1的ACR系统124或126、对应于图2及3的ACR系统224或226，或者对应于图1的内容管理器122或图2的内容管理器222。计算机系统700可对应于图1的客户端装置118或120。计算机系统700可对应于基于云的计算机系统的至少一部分。
计算机系统700包含处理装置702、主存储器704(例如，只读存储器(ROM)、快闪存储器、动态随机存取存储器(DRAM)(例如同步DRAM(SDRAM)或DRAM(RDRAM))等)、静态存储器506(例如，快闪存储器、静态随机存取存储器(SRAM)等)及数据存储装置718，所述装置经由总线730彼此通信。
处理装置702表示一或多个通用处理装置(例如微处理器、中央处理单元等等)。更特定来说，所述处理装置可为复杂指令集计算(CISC)微处理器、精简指令集计算机(RISC)微处理器、极长指令字(VLIW)微处理器或实施其它指令集的处理器或者实施指令集的组合的处理器。处理装置702也可为一或多个专用处理装置(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等等)。在一个实施例中，处理装置702可包含一或多个处理核心。处理装置702可执行用于执行本文中所论述的操作的镜射逻辑的指令726。
计算机系统700可进一步包含可通信地耦合到网络720的网络接口装置708。计算机系统700还可包含视频显示单元710(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入装置712(例如，键盘)、光标控制装置714(例如，鼠标)、信号产生装置716(例如，扬声器)或其它外围装置。此外，计算机系统700可包含图形处理单元722,、视频处理单元728及音频处理单元732。在另一实施例中，计算机系统700可包含芯片集(未图解说明)，芯片集是指经设计以与处理装置702一起工作的集成电路或芯片群组且控制处理装置702与外部装置之间的通信。举例来说，芯片集可为将处理装置702链接到极高速装置(例如主存储器704及图形控制器)以及将处理装置702链接到外围装置的较低速外围总线(例如USB、PCI或ISA总线)的母板上的芯片集。
数据存储装置718可包含其上存储有体现本文中所描述的功能的方法中的任何一者或多者的指令726的计算机可读存储媒体725。指令726还可在其由计算机系统700执行期间完全地或至少部分地驻存于主存储器704内及/或处理装置702内，主存储器704及处理装置702也构成计算机可读存储媒体。
计算机可读存储媒体725还可用于利用含有调用以上应用的方法的逻辑及/或软件库来存储指令726。虽然在示范性实施方案中将计算机可读存储媒体725展示为单个媒体，但术语“计算机可读存储媒体”应视为包含存储一或多个指令集的单个媒体或多个媒体(例如，集中式或分布式数据库及/或相关联高速缓冲存储器及服务器)。术语“计算机可读存储媒体”还应视为包含能够存储、编码或载运供由机器执行且致使机器执行本发明的方法中的任何一者或多者的指令集726的任何媒体。因此，术语“计算机可读存储媒体”应视为包含但不限于固态存储器、光学媒体及磁性媒体。以下实例涉及其它实施例。
虽然已关于有限数目个实施例描述了本发明，但所属领域的技术人员将从其了解众多修改及变化形式。打算所附权利要求书涵盖归属于本发明的精神及范围内的所有此些修改及变化形式。
在本文中的描述中，陈述众多特定细节(例如特定类型的处理器及系统配置、特定硬件结构、特定架构及微架构细节、特定寄存器配置、特定指令类型、特定系统组件、特定测量值/高度、特定处理器流水线级及操作等的实例)以便提供对本发明的透彻理解。然而，所属领域的技术人员将明了，不需要采用这些特定细节来实践本发明。在其它例子中，未详细描述众所周知的组件或方法(例如特定及替代处理器架构、用于所描述算法的特定逻辑电路/代码、特定固件代码、特定互连操作、特定逻辑配置、特定构造技术及材料、特定编译器实施方案、呈代码的算法的特定表达、特定断电及门控技术/逻辑以及计算机系统的其它特定操作细节)以便避免不必要地使本发明模糊。
参考特定集成电路中(例如计算平台或微处理器中)的安全存储器重新分割描述实施例。实施例还可适用于其它类型的集成电路及可编程逻辑装置。举例来说，所描述实施例不限于桌上型计算机系统或便携式计算机，例如 UltrabooksTM计算机。且还可用于其它装置(例如手持式装置、平板计算机、其它薄笔记型计算机、系统单芯片(SoC)装置)及嵌入式应用中。手持式装置的一些实例包含蜂窝式电话、因特网协议装置、数字相机、个人数字助理(PDA)及手持式PC。嵌入式应用通常包含微控制器、数字信号处理器(DSP)、系统单芯片、网络计算机(NetPC)、机顶盒、网络集线器、广域网(WAN)交换机或可执行下文所教示的功能及操作的任何其它系统。描述所述系统可为任何种类的计算机或嵌入式系统。所揭示实施例可尤其用于低端装置(如可佩戴装置(例如，手表))、电子植入物、感测及控制设施装置、控制器、监控与数据采集(SCADA)系统等等。此外，本文中所描述的设备、方法及系统不限于物理计算装置，而是也可涉及用于能量节约与效率的软件优化。在下文的描述中将容易地明了，本文中所描述的方法、设备及系统的实施例(无论是提及硬件、固件、软件还是其组合)对于与性能考虑平衡的‘绿色技术’未来是至关重要的。
尽管本文中的实施例是参考处理器描述，但其它实施例适用于其它类型的集成电路及逻辑装置。本发明的实施例的类似技术及教示可适用于可受益于较高流水线吞吐量及经改进性能的其它类型的电路或半导体装置。本发明的实施例的教示适用于任何处理器或执行数据操纵的机器。然而，本发明不限于执行512位、256位、128位、64位、32位或16位数据运算的处理器或机器，且可适用于其中执行数据的操纵或管理的任何处理器及机器。另外，本文中的描述提供实例，且附图出于说明的目的而展示各种实例。然而，这些实例不应解释为具限制意义，因为这些实例仅打算提供本发明的实施例的实例而不打算提供本发明的实施例的所有可能实施方案的穷尽性列表。
尽管下文实例在执行单元及逻辑电路的上下文中描述指令处置及分配，但本发明的其它实施例可通过存储于机器可读有形媒体上的数据或指令实现，所述数据或指令在由机器执行时致使机器执行与本发明的至少一个实施例一致的功能。在一个实施例中，与本发明的实施例相关联的功能体现为机器可执行指令。所述指令可用于致使利用所述指令编程的通用或专用处理器执行本发明的步骤。本发明的实施例可经提供作为可包含机器或计算机可读媒体的计算机程序产品或软件，所述机器或计算机可读媒体上存储有可用于将计算机(或其它电子装置)编程为执行根据本发明的实施例的一或多个操作的指令。替代地，本发明的实施例的操作可由含有用于执行所述操作的固定功能逻辑的特定硬件组件或者由经编程计算机组件与固定功能硬件组件的任何组合执行。
用于将逻辑编程为执行本发明的实施例的指令可存储于系统中的存储器(例如DRAM、高速缓冲存储器、快闪存储器或其它存储装置)内。此外，指令可经由网络或通过其它计算机可读媒体来分配。因此，机器可读媒体可包含用于存储或发射呈可由机器(例如，计算机)读取的形式的信息的任何机构，但不限于软盘、光盘、光盘只读存储器(CD-ROM)及磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁性或光学卡、快闪存储器或用于通过因特网经由电、光学、声学或其它形式的传播信号(例如，载波、红外信号、数字信号等)发射信息的有形机器可读存储装置。因此，计算机可读媒体包含适合于存储或发射呈可由机器(例如，计算机)读取的形式的电子指令或信息的任何类型的有形机器可读媒体。
设计可经历从创建到模拟再到制作的各种阶段。表示设计的数目可以若干种方式表示设计。首先，如适用于模拟中，硬件可使用硬件描述语言或另一功能描述语言来表示。另外，具有逻辑及/或晶体管栅极的电路级模型可在设计过程的一些阶段处产生。此外，在某一阶段处，大多数设计达到表示硬件模型中的各种装置的物理放置的数据级。在其中使用常规半导体制作技术的情形中，表示硬件模型的数据可为规定用于产生集成电路的任务的不同掩模层上的各种特征的存在或缺乏的数据。在设计的任何表示中，数据可以机器可读媒体的任何形式存储。存储器或者磁性或光学存储装置(例如光盘)可为用以存储经由光波或电波发射的信息的机器可读媒体，所述光波或电波经调制或以其它方式产生以发射此类信息。当发射指示或载运代码或设计的电载波时，在执行电信号的复制、缓冲或重新发射的意义上，制作新的副本。因此，通信提供者或网络提供者可将体现本发明的实施例的技术的物品(例如编码到载波中的信息)至少暂时性地存储于有形机器可读媒体上。
如本文中所使用的模块是指硬件、软件及/或固件的任何组合。作为一实例，模块包含与非暂时性媒体相关联的硬件，例如微控制器，所述非暂时性媒体用以存储适于由微控制器执行的代码。因此，在一个实施例中，对模块的提及是指经特别配置以组织及/或执行待保持于非暂时性媒体上的代码的硬件。此外，在另一实施例中，模块的使用是指包含特别适于由微控制器执行以执行预定操作的代码的非暂时性媒体。且如可推断出，在又一实施例中，术语模块(在此实例中)可指微控制器与非暂时性媒体的组合。通常，图解说明为分离的模块边界通常有变化且有可能重叠。举例来说，第一与第二模块可共享硬件、软件、固件或其组合，同时有可能保留一些独立硬件、软件或固件。在一个实施例中，术语逻辑的使用包含例如晶体管、寄存器等硬件或例如可编程逻辑装置等其它硬件。
在一个实施例中，短语‘经配置以’的使用是指对设备、硬件、逻辑或元件进行布置、放在一起、制造、提供以销售、进口及/或设计以执行指定或所确定任务。在此实例中，未操作的设备或其元件在其经设计、耦合及/或互连以执行指定任务的情况下仍‘经配置以’执行所述指定任务。作为仅说明性实例，逻辑门可在操作期间提供0或1。但‘经配置以’将启用信号提供到时钟的逻辑门不包含可提供1或0的每一潜在逻辑门。替代地，逻辑门以于操作期间1或0输出将用以启用时钟的某一方式被耦合为1。再次注意，术语‘经配置以’的使用不需要操作，而是替代地集中于设备、硬件及/或元件的潜在状态，其中设备、硬件及/或元件的潜在状态经设计以当设备、硬件及/或元件正在操作时执行特定任务。
此外，在一个实施例中，短语‘用以’、‘能够’及/或‘可操作以’的使用是指一些设备、逻辑、硬件及/或元件以使得能够以所规定方式使用所述设备、逻辑、硬件及/或元件的方式设计。如上文应注意，在一个实施例中，用以、能够或可操作以的使用是指设备、逻辑、硬件及/或元件的潜在状态，其中设备、逻辑、硬件及/或元件不操作但以使得能够以所规定方式使用设备的方式设计。
如本文中所使用，值包含数字、状态、逻辑状态或二进制逻辑状态的任何已知表示。通常，逻辑电平、逻辑值或逻辑值的使用也称为1及0，其仅表示二进制逻辑状态。举例来说，1是指高逻辑电平且0是指低逻辑电平。在一个实施例中，例如晶体管或快闪单元等存储单元可能够保持单个逻辑值或多个逻辑值。然而，已使用计算机系统中对值的其它表示。举例来说，十进制数10也可表示为二进制值1010及十六进制字母A。因此，值包含能够保持于计算机系统中的信息的任何表示。
此外，状态可由值或值的部分表示。作为一实例，第一值(例如逻辑1)可表示默认或初始状态，而第二值(例如逻辑0)可表示非默认状态。另外，在一个实施例中，术语复位及设定分别是指默认值或状态及经更新值或状态。举例来说，默认值可能包含高逻辑值(即，复位)，而经更新值可能包含低逻辑值(即，复位)。注意，值的任何组合可用于表示任何数目个状态。
上文所陈述的方法、硬件、软件、固件或代码的实施例可经由存储于机器可存取、机器可读、计算机可存取或计算机可读媒体上可由处理元件执行的指令或代码来实施。非暂时性机器可存取/可读媒体包含提供(即，存储及/或发射)呈可由机器(例如计算机或电子系统)读取的形式的信息的任何机构。举例来说，非暂时性机器可存取媒体包含随机存取存储器(RAM)(例如静态RAM(SRAM)或动态RAM(DRAM))、ROM、磁性或光学存储媒体、快闪存储器装置、电存储装置、光学存储装置、声学存储装置、用于保持从暂时性(传播)信号(例如，载波、红外信号、数字信号)接收的信息的其它形式的存储装置等，其等与可从其等接收信息的非暂时性媒体有区别。
用于将逻辑编程为执行本发明的实施例的指令可存储于系统中的存储器(例如DRAM、高速缓冲存储器、快闪存储器或其它存储装置)内。此外，指令可经由网络或通过其它计算机可读媒体分配。因此，机器可读媒体可包含用于存储或发射呈可由机器(例如，计算机)读取的形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)及慈光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁性或光学卡、快闪存储器或者用于通过因特网经由电、光学、声学或其它形式的传播信号(例如，载波、红外信号、数字信号等)发射信息的有形机器可读存储装置。因此，计算机可读媒体包含适于存储或发射电子指令或呈可由机器(例如，计算机)读取的形式的信息的任何类型的有形机器可读媒体。
贯穿本说明书对“一个实施例”或“一实施例”的提及意指结合所述实施例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，贯穿本说明书在各个地方中出现的短语“在一个实施例中”或“在一实施例中”未必全部是指相同实施例。此外，特定特征、结构或特性可以任一适合方式组合于一或多个实施例中。
在前述说明书中，已参考特定示范性实施例给出详细描述。然而，将显而易见，可在不背离所附权利要求书中所陈述的本发明的较广泛精神及范围的情况下对本发明做出各种修改及改变。因此，应将本说明书及图式视为具有说明性意义而非限制性意义。此外，实施例及其它示范性语言的前述使用未必是指相同实施例或相同实例，而是可值不同且相异实施例以及可能指相同实施例。
详细描述的一些部分是就对计算机存储器内的数据位的运算的算法及符号表示方面而呈现。这些算法描述及表示是由数据处理技术领域的技术人员用以最有效地将其工作的实质传达给所属领域的其它技术人员的手段。算法在此处且大体地设想为达到所要结果的始终一致的运算序列。所述运算是需要对物理量的物理操纵的那些运算。通常(但并非必要地)，这些量呈现能够被存储、传送、组合、比较及以其它方式加以操纵的电信号或磁信号的形式。已证明，主要出于常用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等等有时比较方便。本文中所描述的块可为硬件、软件、固件或其组合。
然而，应记住，所有这些术语及类似术语均与适当的物理量相关联，且仅作为应用于这些量的方便标签。除非如从以上论述明了另有具体陈述，否则应了解，在本描述通篇中，利用例如“定义”、“接收”、“确定”、“发出”、“链接”、“关联”、“获得”、“验证”、“禁止”、“执行”、“请求”、“通信”等等术语的论述是指计算机系统或类似电子计算装置的动作及过程，其对表示为计算系统的寄存器及存储器内的物理(例如，电子)量的数据进行操纵并将其变换成类似地表示为计算系统存储器或寄存器或者其它此类信息存储、发射或显示装置内的物理量的其它数据。
本文中使用词语“实例性”或“示范性”来意指用作实例、例子或说明。在本文中描述为“实例性”或“示范性”的任一方面或设计未必应视为比其它方面或设计优选或有利。而是，打算使用词语“实例性”或“示范性”来以具体方式呈现概念。如本申请案中所使用，术语“或”打算意指包含性“或”而非排他性“或”。即，除非另有规定或从上下文清楚，否则“X包含A或B”打算意指自然包含性排列中的任一者。即，如果X包含A，X包含B，或X包含A及B两者，那么在前述例子的任一者下满足“X包含A或B”。另外，如本申请案及所附权利要求书中所使用的冠词“一(a及an)”应通常视为意指“一或多个”，除非另外规定或从上下文清楚其针对于单数形式。此外，通篇使用术语“一实施例”或“一个实施例”或“一实施方案”或者“一个实施方案”不打算意指相同实施例或实施方案，除非如此描述。并且，如本文中所使用的术语“第一”、“第二”、“第三”、“第四”等意为在不同元件间进行区分的标签且可不必具有根据其数字标示的次序意义。

Claims (20)

1.一种服务器，其包括：
至少一个处理装置；
计算机可读存储媒体，其存储具有与媒体节目相关联的多个帧指纹的数据库且存储指令，其中所述多个帧指纹中的相应者包含对应时间戳；
其中所述至少一个处理装置用以执行所述指令以：
从媒体装置接收正消费的内容的指纹，所述指纹包含帧序列及对应时间戳；
执行所述数据库的搜索以产生呈二维数据结构的一组基于时间的结果，所述二维数据结构包括所述多个帧指纹中与所述指纹的所述帧序列内的帧及对应时间戳最密切匹配的那些帧指纹；及
对所述组基于时间的结果执行图案辨识算法以确定对应于所述正消费的内容的媒体节目。
2.根据权利要求1所述的服务器，其中所述至少一个处理装置进一步用以响应于所述正消费的媒体节目的确定而进行以下操作：
将所述媒体节目的标识发送到广告服务器；
从所述广告服务器接收与所述媒体节目的主题是上下文相关的广告；及
将所述广告递送到所述媒体装置以作为叠加或在所述媒体节目中的商业插播期间进行显示。
3.根据权利要求1所述的服务器，其中所述至少一个处理装置进一步用以从所述多个帧指纹中选择与所述指纹的所述帧及对应时间戳中的任一者最密切匹配的预定数目个所述帧指纹，所述预定数目个所述帧指纹经选择以消除误肯定匹配。
4.根据权利要求1所述的服务器，其中所述二维数据结构包括对照来自所述多个帧指纹的匹配帧指纹的时间戳映射的按顺序取得的所述指纹的所述帧序列的时间戳。
5.根据权利要求1所述的服务器，其中所述图案辨识算法包括检测来自一组稀疏点的任何斜率的线的随机取样一致性RANSAC。
6.根据权利要求1所述的服务器，其中所述图案辨识算法包括用以在所述内容的播放速率未改变时确定特定斜率的线的斜率检测算法。
7.根据权利要求1所述的服务器，其中所述时间戳包括与所述指纹及所述多个帧指纹的相应帧对应的帧编号。
8.根据权利要求7所述的服务器，其中所述时间戳是以特定数目个帧的预定间隔取得。
9.根据权利要求1所述的服务器，其中所述时间戳包括从相应媒体节目的开始起的基于时间的位置。
10.一种方法，其包括：
使用计算装置在存储器中的数据库中存取对应于媒体节目的多个帧指纹，其中所述多个帧指纹中的相应者包含对应时间戳；
从媒体装置接收正消费的内容的指纹，所述指纹包含有序帧序列及对应时间戳；
使用所述计算装置查询所述数据库以产生基于时间的结果，所述基于时间的结果包括从将所述指纹的所述有序帧序列的时间戳映射到来自所述多个帧指纹的最密切匹配的帧指纹的时间戳产生的一组点；
使用所述计算装置对所述组点执行图案辨识算法以确定对应于所述正消费的内容的媒体节目；及
将所述媒体节目的标识发送到广告服务器，利用所述媒体节目的所述标识在消费所述媒体节目时使额外内容将所述媒体装置定为目标。
11.根据权利要求10所述的方法，其进一步包括：
从所述广告服务器接收与所述媒体节目的主题是上下文相关的所述额外内容；及
利用所述额外内容作为对所述媒体节目的叠加或在商业插播期间观看而扩增所述媒体节目的编码。
12.根据权利要求10所述的方法，其中所述至少一个处理装置进一步用以从所述多个帧指纹中选择与所述指纹的所述帧及对应时间戳中的任一者最密切匹配的预定数目个所述帧指纹，所述预定数目个所述帧指纹经选择以消除误肯定匹配。
13.根据权利要求10所述的方法，其中所述组点形成来自对应于所述媒体节目的所述查询的命中的基本上连续线。
14.根据权利要求13所述的方法，其中所述图案辨识算法包括检测任何斜率的线的随机取样一致性RANSAC。
15.根据权利要求13所述的方法，其中所述图案辨识算法包括用以在所述内容的播放速率未改变时确定特定斜率的线的斜率检测算法。
16.根据权利要求10所述的方法，其中所述时间戳包括与所述指纹及所述多个帧指纹的相应帧对应的帧编号，且其中所述时间戳是以特定数目个帧的预定间隔取得。
17.根据权利要求10所述的方法，其中所述时间戳包括从相应媒体节目的开始起的基于时间的间隔。
18.一种包括数据及指令的非暂时性计算机可读存储媒体，所述指令用于确定与正观看的内容的指纹相关的媒体节目，其中所述指令可由至少一个处理装置执行以：
使用计算装置将对应于媒体节目的多个帧指纹存储于存储器中的数据库中，其中所述多个帧指纹中的相应者包含对应时间戳；
从媒体装置接收正消费的内容的指纹，所述指纹包含帧序列及对应时间戳；
查询所述数据库以产生基于时间的结果，所述基于时间的结果包括从将所述指纹的所述帧序列的时间戳映射到来自所述多个帧指纹的最密切匹配的帧指纹的时间戳产生的一组点；及
对所述组点执行图案辨识算法以确定对应于所述正消费的内容的媒体节目。
19.根据权利要求18所述的非暂时性计算机可读存储媒体，其中所述指令可进一步由所述至少一个处理装置执行以：
将所述媒体节目的标识发送到广告目标确定器；
从所述广告目标确定器接收与所述媒体节目的主题是上下文相关的广告；及
将所述广告递送到所述媒体装置以作为叠加或在所述媒体节目中的商业插播期间进行显示。
20.根据权利要求18所述的非暂时性计算机可读存储媒体，其中所述组点形成来自对应于所述媒体节目的所述查询的命中的基本上连续线，其中所述图案辨识算法包括检测任何斜率的线的随机取样一致性RANSAC。
CN201680023473.0A 2015-04-23 2016-04-25 自动内容辨识指纹序列匹配 Active CN107851104B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562151914P 2015-04-23 2015-04-23
US62/151,914 2015-04-23
US14/801,307 2015-07-16
US14/801,307 US20160316261A1 (en) 2015-04-23 2015-07-16 Automatic content recognition fingerprint sequence matching
PCT/US2016/029221 WO2016172711A1 (en) 2015-04-23 2016-04-25 Automatic content recognition fingerprint sequence matching

Publications (2)

Publication Number Publication Date
CN107851104A true CN107851104A (zh) 2018-03-27
CN107851104B CN107851104B (zh) 2022-05-06

Family

ID=57143641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023473.0A Active CN107851104B (zh) 2015-04-23 2016-04-25 自动内容辨识指纹序列匹配

Country Status (6)

Country Link
US (1) US20160316261A1 (zh)
EP (1) EP3286673A4 (zh)
JP (3) JP6612432B2 (zh)
KR (1) KR20180026377A (zh)
CN (1) CN107851104B (zh)
WO (1) WO2016172711A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712642A (zh) * 2018-12-10 2019-05-03 电子科技大学 一种精准快速的广告播出监测方法
CN110275989A (zh) * 2019-06-21 2019-09-24 唢纳网络科技(上海)有限公司 多媒体数据处理方法、装置、计算机设备和存储介质
CN110999311A (zh) * 2018-07-19 2020-04-10 格雷斯诺特公司 基于内插使用低速率指纹识别建立和使用时间映射，以帮助促进帧准确内容修正
TWI716022B (zh) * 2018-07-16 2021-01-11 美商葛蘭諾公司 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TWI716017B (zh) * 2018-08-17 2021-01-11 美商葛蘭諾公司 在媒體串流播放之間進行轉換的同時動態播放轉換訊框
CN112514410A (zh) * 2018-09-21 2021-03-16 三星电子株式会社 电子设备及其控制方法
CN113039805A (zh) * 2019-10-25 2021-06-25 谷歌有限责任公司 使用多个标记按照帧精确地自动剪切媒体内容
CN114339416A (zh) * 2021-12-29 2022-04-12 神州数码系统集成服务有限公司 远端大屏播放内容监控方法、系统、设备、介质及应用

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743154B2 (en) 2015-09-09 2017-08-22 Sorenson Media, Inc Dynamic video advertisement replacement
US9813781B2 (en) * 2015-10-27 2017-11-07 Sorenson Media, Inc. Media content matching and indexing
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
KR101963200B1 (ko) * 2017-03-09 2019-03-28 경희대학교 산학협력단 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법
KR102263896B1 (ko) * 2017-03-29 2021-06-15 더 닐슨 컴퍼니 (유에스) 엘엘씨 오버레이를 이용하는 타겟 콘텐츠 배치
EP3646197A1 (en) * 2017-06-30 2020-05-06 The Nielsen Company (US), LLC Frame certainty for automatic content recognition
BR112020004179A2 (pt) * 2017-08-29 2020-09-08 Home Control Singapore Pte Ltd reconhecimento sutil de usuário
US10803038B2 (en) * 2017-09-13 2020-10-13 The Nielsen Company (Us), Llc Cold matching by automatic content recognition
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
US11317143B2 (en) 2018-08-17 2022-04-26 Roku, Inc. Dynamic reduction in playout of replacement content to help align end of replacement content with end of replaced content
KR20200080387A (ko) * 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10796159B1 (en) * 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11245959B2 (en) * 2019-06-20 2022-02-08 Source Digital, Inc. Continuous dual authentication to access media content
US11234049B2 (en) 2019-06-24 2022-01-25 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
US11233840B2 (en) * 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
KR102380540B1 (ko) * 2020-09-14 2022-04-01 네이버 주식회사 음원을 검출하기 위한 전자 장치 및 그의 동작 방법
US11922967B2 (en) * 2020-10-08 2024-03-05 Gracenote, Inc. System and method for podcast repetitive content detection
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371254A (zh) * 2003-02-21 2009-02-18 索尼电子有限公司 媒体内容识别
US20110116719A1 (en) * 2009-11-18 2011-05-19 Auditude, Inc. Media Identification System for Efficient Matching of Media Items Having Common Content
CN102460470A (zh) * 2009-06-11 2012-05-16 杜比实验室特许公司 基于指纹的内容识别趋势分析
US20130345840A1 (en) * 2012-06-20 2013-12-26 Yahoo! Inc. Method and system for detecting users' emotions when experiencing a media program

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005079510A2 (en) * 2004-02-17 2005-09-01 Auditude.Com, Inc. Generation of a media content database by correlating repeating media content in media streams
US8094872B1 (en) * 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
US8265333B2 (en) * 2007-07-27 2012-09-11 Synergy Sports Technology, Llc Systems and methods for generating bookmark video fingerprints
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
CA2837725C (en) 2011-06-10 2017-07-11 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US8639178B2 (en) * 2011-08-30 2014-01-28 Clear Channel Management Sevices, Inc. Broadcast source identification based on matching broadcast signal fingerprints
CN103999150B (zh) * 2011-12-12 2016-10-19 杜比实验室特许公司 媒体数据中的低复杂度重复检测
US9351037B2 (en) * 2012-02-07 2016-05-24 Turner Broadcasting System, Inc. Method and system for contextual advertisement replacement utilizing automatic content recognition
JP6042675B2 (ja) 2012-09-21 2016-12-14 株式会社ビデオリサーチ 視聴状況調査システム及び方法、視聴状況調査処理プログラム、視聴状況計算装置
US20140089424A1 (en) * 2012-09-27 2014-03-27 Ant Oztaskent Enriching Broadcast Media Related Electronic Messaging
US8713600B2 (en) 2013-01-30 2014-04-29 Almondnet, Inc. User control of replacement television advertisements inserted by a smart television
CN103970793B (zh) * 2013-02-04 2020-03-03 腾讯科技（深圳）有限公司 信息查询方法、客户端及服务器
US9900650B2 (en) * 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US20150106403A1 (en) * 2013-10-15 2015-04-16 Indooratlas Oy Generating search database based on sensor measurements
US9609373B2 (en) * 2013-10-25 2017-03-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Presentation timeline synchronization across audio-video (AV) streams
US20150281756A1 (en) * 2014-03-26 2015-10-01 Nantx Technologies Ltd Data session management method and system including content recognition of broadcast data and remote device feedback
US20160096073A1 (en) * 2014-10-07 2016-04-07 Umm Al-Qura University Game-based method and system for physical rehabilitation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371254A (zh) * 2003-02-21 2009-02-18 索尼电子有限公司 媒体内容识别
CN102460470A (zh) * 2009-06-11 2012-05-16 杜比实验室特许公司 基于指纹的内容识别趋势分析
US20110116719A1 (en) * 2009-11-18 2011-05-19 Auditude, Inc. Media Identification System for Efficient Matching of Media Items Having Common Content
US20130345840A1 (en) * 2012-06-20 2013-12-26 Yahoo! Inc. Method and system for detecting users' emotions when experiencing a media program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038241A (zh) * 2018-07-16 2021-06-25 格雷斯诺特公司 动态控制指纹识别速率以促进媒体内容的时间精确修正
TWI716022B (zh) * 2018-07-16 2021-01-11 美商葛蘭諾公司 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
CN113038241B (zh) * 2018-07-16 2024-01-26 六科股份有限公司 一种用于在媒体流中执行修正的方法、计算系统及非暂时性计算机可读介质
TWI762117B (zh) * 2018-07-16 2022-04-21 美商六科股份有限公司 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TWI733132B (zh) * 2018-07-19 2021-07-11 美商葛蘭諾公司 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正
CN110999311A (zh) * 2018-07-19 2020-04-10 格雷斯诺特公司 基于内插使用低速率指纹识别建立和使用时间映射，以帮助促进帧准确内容修正
TWI716017B (zh) * 2018-08-17 2021-01-11 美商葛蘭諾公司 在媒體串流播放之間進行轉換的同時動態播放轉換訊框
TWI760981B (zh) * 2018-08-17 2022-04-11 美商六科股份有限公司 在媒體串流播放之間進行轉換的同時動態播放轉換訊框
CN112514410A (zh) * 2018-09-21 2021-03-16 三星电子株式会社 电子设备及其控制方法
CN112514410B (zh) * 2018-09-21 2024-04-26 三星电子株式会社 电子设备及其控制方法
CN109712642A (zh) * 2018-12-10 2019-05-03 电子科技大学 一种精准快速的广告播出监测方法
CN110275989A (zh) * 2019-06-21 2019-09-24 唢纳网络科技(上海)有限公司 多媒体数据处理方法、装置、计算机设备和存储介质
CN113039805B (zh) * 2019-10-25 2023-07-14 谷歌有限责任公司 一种基于指纹匹配的媒体片段提取方法及系统
CN113039805A (zh) * 2019-10-25 2021-06-25 谷歌有限责任公司 使用多个标记按照帧精确地自动剪切媒体内容
CN114339416A (zh) * 2021-12-29 2022-04-12 神州数码系统集成服务有限公司 远端大屏播放内容监控方法、系统、设备、介质及应用

Also Published As

Publication number Publication date
JP6818846B2 (ja) 2021-01-20
CN107851104B (zh) 2022-05-06
KR20180026377A (ko) 2018-03-12
WO2016172711A1 (en) 2016-10-27
US20160316261A1 (en) 2016-10-27
EP3286673A1 (en) 2018-02-28
JP2018523419A (ja) 2018-08-16
JP2020025322A (ja) 2020-02-13
EP3286673A4 (en) 2018-10-31
JP2021064960A (ja) 2021-04-22
JP6612432B2 (ja) 2019-11-27
JP7128255B2 (ja) 2022-08-30

Similar Documents

Publication Publication Date Title
CN107851104A (zh) 自动内容辨识指纹序列匹配
CN107852252B (zh) 通过自动内容辨识指纹匹配来检测频道改变
CN107851103A (zh) 自动内容辨识指纹序列匹配
AU2016277657B2 (en) Methods and systems for identifying media assets
CN108352914A (zh) 媒体内容匹配及索引
US8578415B2 (en) Information providing method, content display terminal, portable terminal, server device, information providing system and program
CN102467661B (zh) 多媒体设备及其控制方法
CN106471816B (zh) 用于在受众测量期间确定个人存在的系统和方法
JP7053655B2 (ja) オーバレイを用いたターゲットコンテンツ配置
CN105808182B (zh) 显示控制方法及系统、广告破口判断装置、影音处理装置
CN106105230A (zh) 显示内容和相关社交媒体数据的系统及方法
CN109906611A (zh) 用于内容特征图谱化的特征图谱布局
CN108141563A (zh) 所连接媒体装置上的数字覆盖报价
CN103686344A (zh) 增强视频系统及方法
CN112183084B (zh) 一种音视频数据处理方法和装置及设备
CN108134951A (zh) 用于推荐播放内容的方法和装置
CN110248246B (zh) 数据分析方法、装置、计算机设备及计算机可读存储介质
US20180288473A1 (en) Interactive Overlays to Determine Viewer Data
CN103475911B (zh) 基于视频特征的电视信息提供方法及系统
CN106303591B (zh) 一种视频推荐方法及装置
CN104036407A (zh) 移动互联网广告系统及广告方法
CN110324713A (zh) 虚拟资源的管理方法及装置、直播系统
KR102117922B1 (ko) 라이브 텔레비전 브로드캐스트 스트림의 인터랙티브 제어 구현
CN102665115A (zh) 观众满意度的确定方法
CN110909206B (zh) 用于输出信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190506

Address after: American New York

Applicant after: The Nielsen Company (US) LLC

Address before: Utah, USA

Applicant before: Sorensen Media Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210916

Address after: California, USA

Applicant after: Liuke Co.,Ltd.

Address before: New York, United States

Applicant before: Nielsen (USA) Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant