CN104429091B - 用于识别媒体的方法和装置 - Google Patents

用于识别媒体的方法和装置 Download PDF

Info

Publication number
CN104429091B
CN104429091B CN201380029269.6A CN201380029269A CN104429091B CN 104429091 B CN104429091 B CN 104429091B CN 201380029269 A CN201380029269 A CN 201380029269A CN 104429091 B CN104429091 B CN 104429091B
Authority
CN
China
Prior art keywords
media
look
signature
subregion
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380029269.6A
Other languages
English (en)
Other versions
CN104429091A (zh
Inventor
韦努戈帕尔·斯里尼瓦桑
亚历山大·托普奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nielsen Co US LLC
Original Assignee
Nielsen Co US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nielsen Co US LLC filed Critical Nielsen Co US LLC
Publication of CN104429091A publication Critical patent/CN104429091A/zh
Application granted granted Critical
Publication of CN104429091B publication Critical patent/CN104429091B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/372—Programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/39—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space-time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/30—Aspects of broadcast communication characterised by the use of a return channel, e.g. for collecting users' opinions, for returning broadcast space/time information or for requesting data
    • H04H2201/37—Aspects of broadcast communication characterised by the use of a return channel, e.g. for collecting users' opinions, for returning broadcast space/time information or for requesting data via a different channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/50—Aspects of broadcast communication characterised by the use of watermarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Storage Device Security (AREA)

Abstract

公开了用于识别媒体的方法和装置，并且更具体地，公开了用于在广播之后对识别符进行解码的方法和装置。示例方法包括以下步骤：根据媒体信号确定识别码的一部分；基于识别码的该部分确定查找表的分区，其中，查找表的分区包括与识别码的该部分相关联的参考签名；以及通过比较从媒体信号提取的签名与查找表的分区中的参考签名来识别媒体信号。

Description

用于识别媒体的方法和装置
技术领域
本公开总体上涉及媒体，并且更具体地，涉及用于识别媒体的方法和装置。
背景技术
媒体识别系统利用多种技术来识别媒体(例如，电视(TV)节目、无线电节目、广告、评论、音频/视频内容、电影、宣传片(commercials)、广告和/或调查等)。在某些媒体识别系统中，将代码插入媒体节目的音频和/或视频中。当呈现媒体节目时，随后在一个或更多个监测点处检测代码。被插入媒体中的代码的信息净荷能够包括独特媒体识别信息、源识别信息、广播信息时间和/或任何其它识别信息。
媒体识别系统可以另外或另选地在一个或更多个监测点处根据媒体的某一方面(例如，音频和/或视频)生成签名。签名是媒体(例如，音频和/或视频)的特征的表示，其独特地或半独特地识别媒体或其一部分。例如，可以通过针对音频采样的频谱能量分布分析音频采样块并且确定表征这些音频采样块的选择频带的能量分布的签名来计算签名。将根据待在监测点处识别的媒体生成的签名与先前根据已知媒体生成的签名的参考数据库进行比较，以识别该媒体。
监测点包括诸如住宅(households)、商店、商业地点和/或任何其它公共和/或私人设施(其中，媒体呈现装置上的媒体陈列和/或媒体消费被监测)这样的位置。例如，在监测点处，获取来自音频和/或视频的代码和/或生成签名。所收集的代码和/或所生成的签名随后可以被分析和/或发送至中央数据收集设施以供分析。在某些系统中，中央数据收集设施或另一网络组件还可以向监测点发送辅(secondary)媒体(例如，与监测的媒体相关联的辅媒体)，以供在媒体呈现装置上呈现。例如，辅媒体可以是与在监测的媒体中显示的产品相关联的广告。
附图说明
图1是用于识别主(primary)媒体和提供与主媒体相关联的辅媒体的示例系统的框图。
图2是图1中的识别生成器的示例框图。
图3是图1中的辅媒体呈现装置的示例框图。
图4是图1中的辅媒体管理器的示例框图。
图5是可以结合图1中的示例系统使用的示例查找表。
图6至图9例示了示例识别码，其可以通过图3中的代码提取器提取。
图10是表示可以被执行以实现图1和/或图2中的示例识别生成器的示例机器可读指令的流程图。
图11是表示可以被执行以实现图1和/或图3中的示例辅媒体呈现装置的示例机器可读指令的流程图。
图12是表示可以被执行以实现图1和/或图4中的示例辅媒体管理器的示例机器可读指令的流程图。
图13是表示可以被执行以实现图4中的示例代码逼近器(approximator)的示例机器可读指令的流程图。
图14是表示可以被执行以实现图4中的示例签名读取器的示例机器可读指令的流程图。
图15是表示可以被执行以实现图4中的示例签名比较器的示例机器可读指令的流程图。
图16是表示可以被执行以实现图1和/或图4中的媒体监测器的示例机器可读指令的流程图。
图17是表示可以被执行以实现图4中的辅媒体选择器的示例机器可读指令的流程图。
图18是可以执行图10至图17中的示例机器可读指令以实现图1和/或图2中的示例识别生成器、图1和/或图3中的示例辅媒体呈现装置、图1和/或图4中的示例辅媒体管理器、图4中的示例代码逼近器、图4中的示例签名读取器、图4中的示例签名比较器、图1和/或图4中的示例媒体监测器和/或图4中的示例辅媒体选择器的示例处理系统的框图。
具体实施方式
音频水印可以以恒定速率被嵌入音频信号中(例如，每4.6秒)。在某些情况下，当接收到音频信号并且尝试解码水印时，可以检测到少于全部的水印(例如，由于干扰、噪声等而可能仅大约每30秒检测水印)。例如，通过麦克风检测并接着解码的呈现音频特别易受干扰和噪声的影响。此外，水印的净荷(payload)不能完全地被解码。例如，净荷的时间戳(timestamp)可能仅是部分可获得的(例如，时间戳的秒值可能由于噪声和/或由于在一定时间内堆积或组合若干个水印以提高检测准确度的技术而不能读取)。相反，与参考签名相比较，从媒体获取的签名通常能够更可靠地识别媒体。然而，这种比较往往由于用于比较的参考签名的数目而在计算上集中。
在本文中所描述的方法和装置利用从水印获取的部分数据来减小参考签名的搜索空间。因此，能够将所获取的签名与在减小的搜索空间中的参考签名相比较，以识别导致减小的计算复杂性和减小的签名被错误匹配的可能性的匹配。如在本文中更详细描述的，来自水印的部分数据能够被用于滤除与和该部分数据不匹配的媒体相关联的参考签名。例如，水印可以指示源识别符1234和时间戳13:44:？？，其中，？？指示秒是未知的。如在本文中所描述的，不与源识别符1234相关联并且不在时间范围13:44:00至13:44:59中的参考签名能够从与所收集的签名比较的参考签名的列表中被消除(例如，其中，签名是在与水印相同的时间附近被收集的)。因此，即使水印不总是被检测到和/或水印被部分地检测到，也能够有效地识别所呈现的媒体内容。这种效率可以导致用于通过与签名匹配来识别媒体的计算资源和计算时间的节省，因为减小尺寸的分区(partition)减小了被利用以匹配签名的搜索空间。
所公开的方法和装置可以另外或另选地利于媒体的更准确的识别。在某些示例中，相同媒体可以多次和/或在多个台(station)上被呈现。因此，相同序列的签名可以多次和在多个不同的台上被发现。因此，签名独自不能独特地识别被呈现的媒体的特定示例(instance)。如在本文中所公开的，利用全部或部分的提取的水印减小签名的搜索空间减小了一系列签名将与媒体呈现的多个示例匹配或者将与媒体呈现的错误示例匹配的可能性。例如，如果能够从水印提取仅一个源识别符，则该源识别符能够将签名搜索限制到分配了识别源的媒体，因此，一系列签名将不会与来自另一个源的媒体错误地匹配。在另一个示例中，如果从水印提取部分时间戳，则该部分时间戳能够将签名搜索限制到在与该部分时间戳相关联的时段期间所呈现的媒体，因此，一系列签名将不会被错误地匹配。
公开的示例方法包括以下步骤：从媒体呈现装置接收媒体信号；根据媒体信号确定识别码的至少一部分；根据媒体信号生成签名；确定参考签名的查找表的分区，其中，该分区包括与识别码的所述部分相关联的参考签名；以及通过比较所生成的签名与查找表的分区中的参考签名来识别媒体信号。在某些这样的示例中，查找表包含来自参考媒体信号的时间戳和签名，其中，签名与时间戳相关联。在某些示例中，查找表的分区通过减小参考签名查找表的搜索空间来确定。
在某些示例中，识别码的所述部分是时间戳。在这样的示例中，查找表的分区可以通过以下步骤来确定：基于时间戳确定查找表内的时间范围，并且选择包括在查找表的分区中的、含有该时间范围内的时间戳的条目。另外，当时间戳的一部分不可读或者另外不可用时，查找表的分区可以通过以下步骤来确定：根据时间戳的可用或可读的部分确定近似时间戳；基于该近似时间戳确定查找表内的时间范围；并且选择包括在查找表的分区中的、含有该时间范围内的时间戳的条目。
在某些示例中，识别码的所述部分是源识别数据。在这样的示例中，查找表的分区通过选择包括在查找表的分区中的含有源识别信息的条目来确定。
在某些示例中，识别码的所述部分包含源识别数据和时间戳。在这样的示例中，查找表的分区可以通过以下步骤来确定：基于时间戳确定查找表内的时间范围，并且选择包括在查找表的分区中的、含有该时间范围内的时间戳和源识别信息的条目。另外，查找表的分区可以通过以下步骤来确定：根据时间戳的可读部分确定近似时间戳；基于该近似时间戳确定查找表内的时间范围，并且选择包括在查找表的分区中的、含有该时间范围内的时间戳和源识别信息的条目。
在某些示例中，媒体信号包括音频信号。该音频信号可以体现为语音、音乐、噪声或任何其它声音。可以在音频内对代码进行编码作为音频水印。在音频水印代码的某些示例中，代码被心理声学地(psycho-acoustically)掩码，使得音频的人类听者察觉不到该代码。在其它示例中，某些或全部人类听众可以察觉代码。代码可以包括和/或可以表示任何信息，举例来说，诸如频道识别符、台识别符、节目识别符、时间戳、广播识别符等。代码可以具有任何适当的长度。可以利用用于向代码映射信息的任何适当的技术。此外，代码可以被转换成由信号表示的符号。例如，可以通过调整(例如，增大或减小)选择的频率来将代码或表示代码的符号嵌入音频信号中。任何适当的编码和/或纠错技术都可以被用于将代码转换成符号。
图1是用于识别主媒体、计量(metering)主媒体和提供与主媒体相关联的辅媒体的示例系统100的框图。示例系统100包括媒体提供器105、识别生成器110、查找表(LUT)115、媒体接收器120、主媒体呈现装置122、扬声器125、辅媒体呈现装置130、麦克风135、辅媒体管理器140、媒体监测器150、媒体监测数据库155和网络160。媒体提供器105向识别生成器110发送媒体信号。示例识别生成器110产生识别信息(例如，用于嵌入媒体信号中的代码和/或从媒体信号提取的签名)、将所产生的识别信息作为参考媒体监测信息存储在LUT115中，并且将媒体信号发送至媒体接收器120。示例媒体接收器120将媒体信号发送至主媒体呈现装置122，该主媒体呈现装置122经由扬声器125呈现媒体信号的音频部分。辅媒体呈现装置130经由麦克风135接收媒体信号的音频部分。辅媒体呈现装置130随后根据媒体信号的音频部分确定识别信息(例如，通过提取识别码和/或生成识别签名)，并且将该识别信息发送至辅媒体管理器140作为识别媒体监测信息。辅媒体管理器140随后比较识别媒体监测信息与在LUT 115中存储的参考媒体监测信息，以找到匹配媒体监测信息。示例辅媒体管理器140向媒体监测器150发送匹配媒体监测信息，并且基于该匹配媒体监测信息选择性地向辅媒体呈现装置130提供辅媒体。示例媒体监测器150将匹配媒体监测信息存储在媒体监测数据库155中。
所例示的示例的媒体提供器105分发用于广播的媒体。由媒体提供器105提供的媒体可以是任何类型的媒体，诸如音频内容、视频内容、多媒体内容、广告等。另外，媒体可以是实时媒体、存储媒体等。
所例示的示例的识别生成器110从媒体提供器105接收媒体信号，生成与媒体信号相关联的识别信息，将识别信息存储在LUT 115中作为参考媒体监测信息，对媒体信号内的识别信息进行编码，并且将经编码的媒体信号发送至媒体接收器120。所例示的示例的识别生成器110根据媒体信号生成签名，并且将识别码插入该媒体信号中。所生成的签名被存储在LUT 115中。虽然图1中例示了单个识别生成器110，但是可以通过单独的组件来实现识别生成器110，其中，第一组件生成签名，并且第二组件将识别码插入信号中。例如，生成并插入识别码的组件可以位于媒体分发器处，并且生成签名的组件可以位于参考点、媒体监测设施等处，其在媒体被广播、分发等之后接收媒体；识别媒体；生成签名；并且将签名连同识别信息一起存储在LUT 115中。下面在图2中更详细例示并描述识别生成器110的示例实现。
所例示的示例的LUT 115是存储与媒体相关联的参考识别信息的表。所例示的示例的LUT 115从由识别生成器110处理的媒体信号接收识别信息和生成的签名，并且存储该识别信息作为通过时间戳组织的参考媒体监测信息。示例LUT 115是例如在数据库、硬盘、存储设施或可移除媒体存储装置中的至少一个上存储的数据表。LUT115接收来自识别生成器110的输入，以创建数据表。LUT 115被辅媒体管理器140存取，以提供用于媒体识别的参考数据。LUT 115可以另外或另选地存储其它识别信息，举例来说，诸如与媒体相关联的识别代码。虽然在图1中例示了单个LUT 115，但是可以利用多个LUT 115，并且可以通过单独的数据库、计算装置上的数据存储器等维护多个LUT 115。例如，单独的LUT 115可以与每个媒体台/频道相关联。此外，每个LUT 115都可以被实现为多个表，举例来说，诸如通过将时间戳关联至签名值的时间戳分类的第一表和通过将签名链接至第一表中的对应位置或时间戳的签名分类的第二表(例如，单个签名值可以与多个时间戳和/或多个台/频道相关联)。结合图5描述了LUT 115的示例实现。
所示示例的媒体接收器120是从识别生成器110接收媒体信号并呈现和/或记录该媒体信号的装置。在某些示例中，媒体接收器120是用户驻地装置、用户装置和/或例如在住宅、公寓、商业地点、学校、政府办公室、医疗设施、教堂等中定位、实现和/或操作的用户装置。示例媒体接收器120包括但不限于任何类型的用户电子装置中的内部调谐器、机顶盒(STB)、数字录像机(DVR)、盒式录像机(VCR)、DVD播放器、CD播放器、个人计算机(PC)、游戏机、收音机、广告装置、公告系统和/或任何其它类型的媒体播放器。
所例示的示例的主媒体呈现装置122从媒体接收器120接收媒体信号，并且呈现媒体。示例主媒体呈现装置122包括但不限于音频系统、电视机、计算机、移动装置、监视器和/或任何其它媒体呈现系统。在某些示例中，图1中的媒体接收器120经由主媒体呈现装置122输出音频/视频信号。例如，DVD播放器可以经由TV的屏幕和扬声器和/或音频系统的扬声器显示电影。
所例示的示例的扬声器125从主媒体接收器122接收音频信号，并且呈现该音频信号。示例扬声器125包括但不限于电视机中的内部扬声器、音频系统的扬声器、经由直达线(例如，扬声器线、组件线缆等)连接至媒体呈现装置122的扬声器和/或经由无线连接(例如，Bluetooth、Wi-Fi网络等)连接至媒体呈现装置122的扬声器。
所例示的示例的辅媒体呈现装置130从媒体提取识别信息，并且呈现从辅媒体管理器140经由网络160接收的媒体。辅媒体呈现装置140的示例包括但不限于台式计算机、膝上型计算机、移动计算装置、电视机、智能电话、移动电话、 AndroidTM供电计算装置、计算装置等。示例辅媒体管理器140包括用于从通过麦克风135检测到的音频信号提取识别信息的接口。在所例示的示例中，辅媒体呈现装置140经由网络160向辅媒体管理器140发送所提取的识别信息作为识别媒体监测信息。在某些示例中，辅媒体呈现装置包括一个或更多个可执行媒体播放器，以呈现由辅媒体管理器140提供的辅媒体。例如，可用于媒体呈现装置120的媒体播放器可以按照(例如，在SWF文件中设置的)来实现，可以按照超文本标记语言(HTML)版本5(HTML5)来实现，可以按照来实现，可以根据开放源媒体架构(OSMF)来实现，可以根据装置或操作系统提供商的媒体播放器应用编程接口(API)来实现，可以在装置或操作系统提供商的媒体播放器架构(例如，MPMoviePlayer软件)或者任何其它媒体播放器或其组合上来实现。虽然在图1中例示了单个辅媒体呈现装置130，但是在系统100中可以包括任意数目和/或种类的辅媒体呈现装置130。结合图3描述了辅媒体呈现装置130的示例实现。
所例示的示例的麦克风135从源(例如，扬声器125)接收音频信号，并且将所接收的音频信号发送至辅媒体呈现装置130。麦克风135可以是辅媒体呈现装置130内的内部麦克风、经由直达线直接连接至辅媒体呈现装置130的麦克风和/或经由无线连接(例如，Bluetooth、Wi-Fi网络等)连接至辅媒体呈现装置130的麦克风。
所例示的示例的辅媒体管理器140从辅媒体呈现装置130经由网络160接收识别媒体监测信息，并且通过比较该识别媒体监测信息与在LUT 115内存储的参考媒体监测信息来识别媒体。在其中媒体监测信息包括识别码和签名的某些示例中，识别码可以仅部分可读和/或被稀疏检测。在这样的示例中，辅媒体管理器140将基于代码的可读部分估计代码值，并且根据所估计的代码值确定时间范围。例如，识别码的可读部分可以缺少时间戳的秒值(例如，18:21:？？)。在这样的示例中，辅媒体管理器140可以估计包括时间戳的可读的小时部分和分钟部分的所有时间戳的时间范围(例如，根据部分时间戳18:21:？？确定的时间范围是18:21:00至18:21:59)。类似地，辅媒体管理器140可以基于先前检索的代码估计代码值。例如，如果具有时间戳14:11:45的代码是所检索的最后一个代码，则辅媒体管理器140可以将所有时间戳的时间范围估计为18:21:00至18:22:59，以解释在该时间范围中已经收集的签名。
利用所确定的时间范围，辅媒体管理器140创建包括具有在该时间范围内的时间戳的参考签名的参考LUT 115的分区。为了确定匹配参考签名，辅媒体管理器140将在LUT115的分区中包含的参考签名和与识别媒体监测信息相关联的签名进行比较。LUT 115还可以基于源识别符来分区(例如，可以选择与源识别符相对应的表)。还可以比较先前接收的签名(例如，其中，各个签名不是全球独特的，一系列签名或邻近的签名可以被用于独特地识别媒体)。
一旦找到匹配签名，辅媒体管理器140就将与匹配签名相关联的识别信息作为匹配媒体监测信息向媒体监测器150报告。因此，当代码没有被完全恢复时和/或当不是所有的代码被恢复(例如，每个连续嵌入的代码没有被成功恢复)时，辅媒体管理器140能够有效地识别媒体内容。
示例辅媒体管理器140从内部或外部数据库选择与匹配媒体监测信息相关联的辅媒体，并且向辅媒体呈现装置130发送该辅媒体。示例辅媒体包括但不限于视频、宣传片、广告、音频、游戏、网页、广告和/或调查。例如，辅媒体呈现装置140可以是连接至因特网的平板计算机。在这样的示例中，当辅媒体呈现装置140的用户正在观看电视节目(示例媒体)并且辅媒体呈现装置130的嵌入式麦克风(例如，麦克风135)接收该电视节目的音频部分时，辅媒体呈现装置130处理音频以得到识别信息，将该识别信息发送至辅媒体管理器140，并且接收与该电视节目相关联的辅媒体。结合图4描述了辅媒体管理器140的示例实现。
所例示的示例的媒体监测器150从辅媒体管理器140接收匹配媒体监测信息，并且将该匹配媒体监测信息存储在媒体监测数据库155中。示例媒体监测器150基于媒体监测信息生成报告。例如，媒体监测器150可以报告媒体已经被呈现的次数。另外或另选地，媒体监测器150可以生成任何其它报告。
所例示的示例的媒体监测数据库155是例如在数据库、硬盘、存储设施或可移除媒体存储装置中的至少一个上存储的媒体监测信息的数据库。媒体监测数据库155从媒体监测器150接收输入，以创建媒体监测信息的数据库。例如，媒体监测器150可以跟踪统计上选择的个体(小组成员)的媒体暴露，并且使用数据来产生媒体暴露统计。
所例示的示例的网络160是因特网。另外或另选地，可以使用链接辅媒体呈现装置130和辅媒体管理器140的任何其它网络。网络160可以包括使用任何类型的联网协议的任何数目的公共和/或私人的网络。
虽然图1例示了用于识别主媒体和提供与主媒体相关联的辅媒体的一个示例系统100，但是在标题名为“Methods，Apparatus and Articles of Manufacture to ProvideSecondary Content in Association with Primary Broadcast Media Content”并且在2010年4月30日提交的美国专利申请No.12/771640中描述了用于提供与主媒体相关联的辅媒体的其它示例方法、系统和装置，该美国专利申请通过引用方式全部并入本文中。
图2是图1中的识别生成器110的示例实现的框图。为了生成参考媒体监测信息，识别生成器110包括代码生成器210、签名生成器215和时钟220。为了将代码插入由媒体提供器105提供的媒体信号中，识别生成器110还包括代码插入器205。
所例示的示例的代码生成器210生成针对媒体信号的识别码，这些识别码由代码插入器205插入媒体信号中。识别码可以另外或另选地被存储在参考数据存储器(例如，LUT115)中。示例识别码可以包括时间戳、源识别数据、媒体识别数据，或者与媒体信号相关联的任何其它数据。代码生成器210可以接收信息以利于根据时钟220、一个或更多个外部输入、配置文件、已经在媒体信号中编码的预先存在的代码或者任何其它数据源来生成代码。示例代码生成器210创建代码，这些代码由代码插入器205作为音频水印嵌入媒体信号的音频部分内。在某些示例中，这样的识别码系统包括Nielsen Company(US)，LLC的NielsenWatermarks codes(a.k.a.Nielsen codes)。其它示例识别码包括但不限于与Arbitron音频代码系统相关联的代码。可以另外或另选地使用任何其它类型的代码。
所例示的示例的签名生成器215根据媒体信号生成签名，并且将签名作为参考签名存储在LUT 115内。示例签名提取器215被构造成接收媒体信号并生成表示媒体信号的签名。在所例示的示例中，签名生成器215使用媒体信号的音频部分生成签名。然而，签名生成器215可以使用任何适当的方法来根据音频和/或视频生成一个签名和/或多个签名。例如，可以利用与视频片段相关联的照度值、媒体的一个或更多个音频特性等来生成签名。示例签名生成器215生成并存储针对每个时间戳的签名的包(例如，每秒60个签名)。另选地，可以利用任何其它签名定时。虽然示例签名生成器215被例示在图2中的代码生成器210的附近，但是示例签名生成器215在物理上远离在媒体信号已经被广播之后接收媒体信号的参考点、媒体监测设施等处的代码生成器210。例如，签名生成器215可以包括信号接收器120，以接收来自媒体提供器105的媒体信号。
所例示的示例的时钟220提供定时数据，并且将参考代码和与媒体信号的特定部分相关联的参考签名关联。在某些示例中，时钟220创建待在识别码中使用的时间戳，并且将代码与参考签名关联以形成LUT 115。在某些示例中，媒体信号可以包含包括时间戳的预先存在的代码，并且不需要时钟220。
所例示的示例的代码插入器205将由代码生成器210生成的识别码插入由媒体提供器105提供的媒体信号中。示例代码插入器205接收来自媒体提供器105的媒体信号和与来自代码生成器210的媒体信号相关联的识别码。代码插入器205使用任何形式的插入或编码将代码插入媒体信号中。例如，如果由代码生成器210生成的识别码是Nielsen水印代码(即，Nielsen Company(US)，LLC的专有代码)，则将该识别码作为音频水印在媒体信号的音频部分中进行编码。包括识别码的媒体信号被发送至一个或更多个媒体提供器以供广播。例如，根据图1中的示例，媒体信号被发送至媒体接收器120。
图3是图1中的辅媒体呈现装置130的示例实现的框图。为了从包括由麦克风135接收的识别码的媒体信号提取和/或生成识别数据，辅媒体呈现装置130包括代码提取器310、签名生成器315和数据封装器320。为了接收来自辅媒体管理器140的辅媒体，示例辅媒体呈现装置130包括辅媒体呈现器325。
所例示的示例的代码提取器310接收来自麦克风135的包括识别码的媒体信号，并且提取这些识别码的一部分。代码提取器310可以提取完整代码，可以提取部分代码，或者可以提取不完整代码。例如，部分代码或不完整代码可以由于阻止完整代码的提取的环境噪声而提取。所提取的代码可以包含时间戳、时间戳的一部分、源识别数据、独特媒体识别数据、和/或任何其它完整或部分信息。由代码提取器310提取的识别码的某些示例包括包含时间戳和源识别数据的代码(参见图6和下面的描述)、包含不完整时间戳和源识别数据的代码(参见图7和下面的描述)、包含不可读或者要不不可用的时间戳和完整源识别数据的代码(参见图8和下面的描述)、和/或包括不完整时间戳和不可读或者要不不可用的源识别数据的代码(参见图9和下面的描述)。所提取的代码或其一部分被从代码提取器310被发送至数据封装器320。
所例示的示例的签名生成器315接收来自麦克风的具有识别码的媒体信号，并且根据该媒体信号生成签名。在某些示例中，根据代码提取器310从其中提取识别码的一部分的媒体信号的相同部分来生成签名。签名生成器315向数据封装器320发送所生成签名。
所例示的示例的数据封装器320将由代码提取器310提取的识别码和/或识别码的一部分和由签名生成器315生成的签名封装到用于作为识别媒体计量信息发送的数据包中。数据包可以作为一个完整包、作为单独的包或者用于发送数据的任何其它适当的方式被发送至辅媒体管理器140。数据包可以采取可以经由网络160被传送至辅媒体管理器140的任何形式(例如，文本流、数据流等)。
所例示的示例的辅媒体呈现器325显示由辅媒体管理器140提供至辅媒体呈现装置130的辅媒体。例如，可用于辅媒体呈现装置130的辅媒体呈现器325可以按照(例如，在SWF文件中设置的)来实现，可以按照超文本标记语言(HTML)版本5(HTML5)来实现，可以按照来实现，可以根据开放源媒体架构(OSMF)来实现，可以根据装置或操作系统提供器的媒体播放器应用编程接口(API)来实现，可以在装置或操作系统提供器的媒体播放器架构(例如，MPMoviePlayer软件)等或其任何组合上实现。虽然在图3中例示了辅媒体呈现器325，但是在辅媒体呈现装置130中可以包括任何数目和/或种类的媒体呈现装置。
图4是图1中的示例辅媒体管理器140的框图。为了分析从辅媒体呈现装置130接收的识别数据，图4中的辅媒体管理器140包括代码逼近器410、签名读取器415和签名比较器420。为了选择辅媒体并将其发送至辅媒体呈现装置130，辅媒体管理器包括辅媒体选择器425，并且连接至辅媒体数据库430。
所例示的示例的代码逼近器410根据在识别媒体计量信息中包含的识别码的一部分来确定近似识别码。所接收的识别码的一部分可以包含完整或不完整的数据。代码逼近器410可以另外或另选地基于先前检测的代码(例如，通过将代码的时间戳的一部分视为通配符(例如，时间戳的秒或分))来确定近似识别码。代码逼近器410基于近似识别码(例如，基于在代码中包括的部分时间戳和/或所插入的具有通配符的时间戳)来确定时间戳的时间范围，并且确定LUT 115的分区，该分区包括含有具有该时间范围内的时间戳的参考签名的条目。可以基于由代码逼近器410确定的其它识别信息(例如，源识别符)来选择LUT 115的分区和/或LUT 115的表。LUT 115的分区被报告至签名比较器420。
所例示的示例的签名读取器415从从辅媒体计量装置130接收的识别媒体计量信息来读取识别签名。签名读取器415发送识别签名值。
所例示的示例的签名比较器420从签名读取器415接收识别签名，从代码逼近器410接收LUT 415的分区，并且比较识别签名与在LUT 115的分区中包含的参考签名。如果签名比较器420确定在LUT 115中包含的签名与识别签名匹配，则签名比较器420将在匹配签名的位置处包含的参考识别信息作为匹配媒体监测信息输出至媒体监测器150和辅媒体选择器425。
所例示的示例的辅媒体选择器425从签名比较器420接收识别信息，从与识别信息相关联的辅媒体数据库430选择辅媒体，并且将辅媒体发送至辅媒体呈现装置130。辅媒体数据库430将辅媒体存储在例如数据库、硬盘、存储设施或可移除媒体存储装置中的至少一个上。示例辅媒体包括但不限于视频、宣传片、广告、音频、游戏、网页、广告和/或调查。辅媒体数据库向辅媒体选择器425提供辅媒体。辅媒体数据库430中的媒体可以由媒体制作者、媒体分发者、第三方广告商或任何其它媒体源来提供。例如，辅媒体选择器420可以从签名比较器420接收与电视节目相关联的识别信息。辅媒体选择器425可以从辅媒体数据库430检索由媒体制作者创建的、与电视节目相关联的辅媒体。
在某些示例中，除了识别信息以外，辅媒体管理器140还可以接收与辅媒体呈现装置130相关联的附加信息。例如，附加信息可以包括关于在辅媒体呈现装置130上执行的应用的信息、在辅媒体呈现装置130上被执行的活动等。辅媒体选择器425可以基于经识别的主媒体和附加信息来选择辅媒体。例如，在第一辅媒体呈现装置130正在执行体育应用的情况下，辅媒体选择器425可以选择与特定主媒体(例如，电视新闻节目)相关联的体育信息作为辅媒体。类似地，在第二辅媒体呈现装置130正在执行trivia游戏的情况下，辅媒体选择器425可以选择与相同特定主媒体相关联的益智问答(trivia)信息作为辅媒体。换句话说，可以针对检测相同主媒体内容的呈、现的不同的辅媒体呈现装置130来选择不同的辅媒体。
在图5中例示了图1和图4中的LUT 115的示例实现。图5中的示例LUT 115包括三列：列510包括源识别数据，列520包括针对列530中的参考签名的时间戳数据。LUT 115可以包含含有任何附加信息的附加或另选的列。
图5中的示例LUT 115的行首先依据列510中的参考源识别数据来分类。另选地，LUT 115可以包括依据参考源识别数据分区的独立的表(例如，针对每个独特源识别符的一个表)。一旦示例LUT 115按列510来分类，示例LUT 115就可依据列520中的时间戳数据按照时间顺序被进一步分类。为了更快或更有效的搜索或者出于任何其它原因，LUT 115可以不被分类或者可以按照任何其它方式来分类。例如，参考数据的第二表可以依据参考签名来分类，其中，每个参考签名被链接至一个或更多个时间戳，在所述一个或更多个时间戳，根据媒体生成参考签名。
列510、520和530中的数据通过图1中的识别生成器110输入至示例LUT 115。具体地，列510、520和530中的数据通过图2中的签名生成器215输入至示例LUT115。在图5中的示例中，每个时间戳(列520)与在时间戳的时间帧(timeframe)期间被获取的参考签名(列530)的包(例如，多个)相关联。例如，列520中的时间戳可以按1秒递增，并且签名可以每16毫秒被获取，从而获得针对列520中的每个时间戳值的约62个签名。另选地，单个签名可以与每个时间戳相关联，可以按更高的分辨率(例如，每毫秒)计算时间戳，可以不太频繁地(例如，每2秒)计算时间戳，等等。在图5中的示例中，参考签名(列530)通过16进制格式的24位数字来表征，这24位数字表征在所选择的音频样本的限定频带中的频谱能量分布。根据所例示的示例，签名值不是全球独特的(例如，签名2F56AB与01/01/2011 12:00:00和07/12/2011 05:07:12相关联)。因此，一系列签名(例如，通过计量器连续获取的签名)被用于独特地识别媒体。另选地，可以采用任何其它签名方案(例如，签名可以是全球独特的)。
图6中例示了由代码提取器310提取并由代码逼近器410读取的示例识别码600。示例识别码600包括时间戳610和源识别数据615。在该示例中，识别码600的时间戳610已经被无误地提取，因此是完整的。在该示例中，识别码600的源识别数据615也已经被无误地提取。
图7中例示了由代码提取器310提取并由代码逼近器410读取的示例识别码700。示例识别码700包括时间戳710和源识别数据715。在该示例中，识别码700的时间戳710仅部分可读。因此，时间戳710中的秒值不可用。在该示例中，识别码700的源识别数据715已经被无误地提取。
图8中例示了由代码提取器310提取并由代码逼近器410读取的示例识别码800。示例识别码800包括时间戳810和源识别数据815。在该示例中，识别码800的时间戳810未能被读取。在该示例中，识别码800的源识别数据815已经被无误地提取。
图9中例示了由代码提取器310提取并由代码逼近器410读取的示例识别码900。示例识别码900包括时间戳910和源识别数据915。在该示例中，识别码900的时间戳910仅部分可读。因此，时间戳910中的秒值不可用。在该示例中，识别码900的源识别数据915不可读。
虽然图2至图4中已经例示了实现图1中的识别生成器110、辅媒体呈现装置130和辅媒体管理器140的示例方式，但是图2至图4中例示的部件(elements)、处理和/或装置中的一个或更多个可以按照任何其它方式被组合、划分、重新排列、省略、消除和/或实现。此外，图1至图4中的示例代码插入器205、示例代码生成器210、示例签名生成器215、示例时钟220、示例代码提取器310、示例签名生成器315、示例数据封装器320、示例辅媒体呈现器325、示例代码逼近器410、示例签名读取器415、示例签名比较器420、示例辅媒体选择器425和/或，更一般地，示例识别生成器110、示例辅媒体呈现装置130和/或辅媒体管理器140可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，图1至图4中的示例代码插入器205、示例代码生成器210、示例签名生成器215、示例时钟220、示例代码提取器310、示例签名生成器315、示例数据封装器320、示例辅媒体呈现器325、示例代码逼近器410、示例签名读取器415、示例签名比较器420、示例辅媒体选择器425和/或，更一般地，示例识别生成器110、示例辅媒体呈现装置130和/或辅媒体管理器140可以通过一个或更多个电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)等来实现。当将本专利的装置权利要求或系统权利要求中的任一项被理解成覆盖纯软件和/或固件实现时，示例代码插入器205、示例代码生成器210、示例签名生成器215、示例时钟220、示例代码提取器310、示例签名生成器315、示例数据封装器320、示例辅媒体呈现器325、示例代码逼近器410、示例签名读取器415、示例签名比较器420、示例辅媒体选择器425和/或，更一般地，示例识别生成器110、示例辅媒体呈现装置130和/或辅媒体管理器140中的至少一个据此被明确地限定成包括存储软件和/或固件的有形计算机可读介质(诸如存储器、DVD、CD、Blu-ray等)。更进一步地，已经在图1至图4中例示了图1中的识别生成器110、辅媒体呈现装置130和辅媒体管理器140的示例还可以包括除了图1至图4中所例示的这些组件以外的或者代替图1至图4中所例示的这些组件的一个或更多个部件、处理和/或装置，和/或可以包括所例示的部件、处理和装置中的若干或全部中的一个以上。
图10至图17中示出了表示用于实现示例识别生成器110、示例辅媒体呈现装置130、示例辅媒体管理器140、示例媒体监测器150、示例代码逼近器410、示例签名读取器415、示例签名比较器420和示例辅媒体选择器420的示例机器可读指令的流程图。在这些示例中，机器可读指令包括用于由处理器(诸如在下面结合图18讨论的示例处理器平台1800中示出的处理器1812)执行的程序。该程序可以被体现为在与处理器1812相关联的有形计算机可读介质(诸如CD-ROM、软盘、硬盘驱动器、数字化通用磁盘(DVD)、Blu-ray盘或存储器)上存储的软件，但是整个程序和/或其部分可以另选地由除了处理器1812以外的其它装置执行和/或被体现为固件或专用硬件。此外，虽然参照图10至图17中例示的流程图描述了示例程序，但是可以另选地使用实现示例识别生成器110、示例辅媒体呈现装置130、示例辅媒体管理器140、示例媒体监测器150、示例代码逼近器410、示例签名读取器415、示例签名比较器420和示例辅媒体选择器420的许多其它方法。例如，可以改变块(blocks)的执行顺序，和/或可以改变、消除或组合块的某些。
如上面提到的，可以使用在有形计算机可读介质(诸如硬盘驱动器、闪速存储器、只读存储器(ROM)、光盘(CD)、数字式通用磁盘(DVD)、高速缓冲存储器(cache)、随机存取存储器(RAM)和/或其中信息被存储持续任何持续时间(例如，持续延长的时段、永久性地，简单举例，用于信息的临时缓冲和/或用于信息的高速缓冲)的任何其它存储介质)上存储的编码指令(例如，计算机可读指令)来实现图10至图17中的示例处理。如在本文中使用的，术语有形计算机可读介质被明确地限定成包括任何类型的计算机可读存储，并且排除传播信号。另外或另选地，可以利用在非暂时性计算机可读介质(诸如硬盘驱动器、闪速存储器、只读存储器、光盘、数字式通用磁盘、高速缓冲存储器、随机存取存储器和/或其中信息被存储持续任何持续时间(例如，持续延长的时段、永久性地，简单举例，用于信息的临时缓冲和/或用于信息的高速缓冲)的任何其它存储介质)上存储的编码指令(例如，计算机可读指令)来实现图10至图17中的示例处理。如在本文中使用的，术语非暂时性计算机可读介质被明确地限定成包括任何类型的计算机可读介质，并且排除传播信号。如在本文中使用的，当短语“至少(at least)”被用作权利要求的前序中的过渡术语时，其如同术语“包括(comprising)”是开放式的一样按照相同方式是开放式的。因此，在其前序中使用“至少”作为过渡术语的权利要求可以包括除了该权利要求中明确陈述的那些部件以外的其它部件。
图10中例示了可以被执行以实现图1和图2中的识别生成器110的示例机器可读指令1000。参照图1和图2，图10中的示例机器可读指令1000在块1005处开始执行，在块1005处，识别生成器110从媒体提供器105接收媒体信号的一部分(块1005)。代码生成器210生成针对媒体信号的该部分的识别码(块1010)。代码插入器205将识别码插入媒体信号中(块1015)。签名生成器215根据媒体信号的该部分生成签名(块1025)。签名生成器215将签名存储在LUT 115中(块1030)。签名生成器215确定媒体信号的该部分是否是该媒体信号的结尾(块1035)。如果媒体信号的该部分是该媒体信号的结尾(例如，没有另外的媒体留下待处理)，则识别生成器110向媒体接收器120发送包含代码的媒体信号(块1040)。如果存在待处理的附加媒体，则控制返回至块1005。虽然图10例示了其中按顺序插入识别码并生成签名，但是可以通过独立的流程(例如，在分离位置处)来执行代码插入和签名生成。因此，可以按独立的过程来执行图10所例示的指令。例如，可以在第一位置处(例如，在媒体分发之前的媒体首端处)执行块1005、1010、1015、1035和1040，并且可以在第二位置处(例如，在参考媒体监测点处)执行块1005、1025、1030和1035。
图11中例示了可以被执行以实现图1和图3中的辅媒体呈现装置130的示例机器可读指令1100。参考图1和图3，图11中的示例机器可读指令1100在块1105处开始执行，在块1105处，辅媒体呈现装置130接收包括识别码的媒体信号(块1105)。代码提取器310从包括识别码的媒体信号提取识别码(块1110)。签名生成器315根据包括识别码的相同媒体信号生成签名(块1115)。数据封装器320将所提取的识别码和所生成的签名封装为识别媒体监测信息(块1120)。辅媒体呈现装置130随后向辅媒体管理器140发送识别媒体监测信息(块1125)。辅媒体呈现装置130从辅媒体管理器140接收与识别数据相关联的媒体(块1130)。
图12中例示了可以被执行以实现图1和图4中的辅媒体管理器140的示例机器可读指令1200。参考图1和图4，图12中的示例机器可读指令1200在块1205处开始执行，在块1205处，辅媒体呈现装置接收包含识别码和识别签名在内的识别媒体监测信息(块1205)。代码逼近器410使用识别媒体监测信息的识别码来确定LUT 115的分区(块1210)。签名读取器415接收来自识别媒体监测信息的识别签名(块1215)。签名比较器420通过比较识别签名与LUT 115的分区中的参考签名来确定匹配媒体监测信息(块1220)。辅媒体选择器425使用匹配媒体监测信息来选择辅媒体(块1225)。辅媒体管理器140经由网络160向辅媒体呈现装置130发送辅媒体(块1230)。
图13中例示了可以被执行以实现图12中的块1210的机器可读指令(其实现图4中的代码逼近器410)的示例机器可读指令1210。参照图4，图13中的示例机器可读指令1300在块1305处开始执行，在块1305处，代码逼近器410接收来自识别媒体监测信息的识别码(块1305)。代码逼近器410根据所接收的识别码确定近似识别码(块1310)。代码逼近器410基于近似识别码确定时间戳的时间范围(块1315)。代码逼近器410确定LUT 115的分区，其中，LUT 115的分区中的每个条目都包括具有该时间范围中的时间戳的参考签名(块1320)。代码逼近器410可以利用任何过滤参数来对LUT 115进行分区，举例来说，诸如识别码的全部或一部分、源识别符、识别时间范围和/或用于减小LUT 115的搜索空间以确定LUT 115的分区的任何其它参数。代码逼近器向签名比较器420报告LUT 115的分区(块1325)。
图14中例示了可以被执行以实现图12中的块1215的机器可读指令(其实现图4中的签名读取器415)的示例机器可读指令1215。参照图4，图14中的示例机器可读指令1215在块1405处开始执行，在块1405处，签名读取器415从识别媒体监测信息读取识别签名(块1405)。签名读取器向签名比较器420发送所读取的识别签名(块1410)。
图15中例示了可以被执行以进一步实现图12中的块1220的机器可读指令(其实现图4中的签名比较器420)的示例机器可读指令1220。参照图4，图15中的示例机器可读指令1500在块1505处开始执行，在块1505处，签名比较器420从签名读取器415接收识别签名(块1505)。签名比较器420从代码逼近器410接收LUT 115的分区(块1510)。签名比较器420比较识别签名与在LUT 115的分区中包含的签名(块1515)。如果没有找到匹配签名，则签名比较器420报告出错(块1525)。如果找到匹配签名(块1520)，则签名比较器420从与匹配签名相关联的LUT的分区的行提取匹配识别信息(块1530)。签名比较器420将与从LUT 115提取的签名相关联的匹配识别信息作为匹配媒体监测信息发送至辅媒体选择器425和媒体监测器150(块1535)。
图16中例示了可以被执行以实现图1和图4中的媒体监测器150的示例机器可读指令1600。参照图1和图4，图16中的示例机器可读指令1600在块1605处开始执行，在块1605处，媒体监测器从签名比较器420接收匹配媒体监测信息(块1605)。媒体监测器150使用匹配媒体监测信息来识别主媒体(块1610)。媒体监测器150将匹配媒体监测信息存储在媒体监测数据库155中(块1615)。
图17中例示了可以被执行以实现图12中的块1225的机器可读指令(其实现图4中的辅媒体选择器425)的示例机器可读指令1225。参照图4，图17中的示例机器可读指令1700在块1705处开始执行，在块1705处，辅媒体选择器从签名比较器420接收匹配媒体监测信息(块1705)。辅媒体选择器425选择与匹配媒体监测信息相关联的辅媒体(块1710)。辅媒体选择器425从辅媒体数据库430获取所选择的辅媒体(块1715)。辅媒体选择器425向辅媒体呈现装置130发送辅媒体(块1720)。
图18是能够执行图10至图17中的指令以实现图1至图4中的装置的示例处理器平台1800的框图。处理器平台1800可以是例如服务器、个人计算机、移动电话(例如，手机)、个人数字助理(PDA)、因特网装置、DVD播放器、CD播放器、数字录像机、Blu-ray播放器、游戏机、个人录像机、机顶盒或任何其它类型的计算装置。
本示例的系统1800包括处理器1812。例如，处理器1812能够通过来自任何期望系列(family)或制造商的一个或更多个微处理器或控制器来实现。
处理器1812包括本地存储器1813(例如，高速缓冲存储器)，并且经由总线1818与包括易失性存储器1816和非易失性存储器1814在内的主存储器通信。易失性存储器1816可以通过同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其它类型的随机存取存储器装置来实现。非易失性存储器1814可以通过闪速存储器和/或任何其它期望类型的存储器装置来实现。接入至主存储器1814、1816由存储器控制器来控制。
处理器平台1800还包括接口电路1820。接口电路1820可以通过任何类型的接口标准(诸如以太网接口、通用串行总线(USB)和/或PCI扩展接口)来实现。
一个或更多个输入装置1822连接至接口电路1820。输入装置1822准许用户将数据和命令输入处理器1812中。输入装置能够例如通过键盘、鼠标、触摸屏、触控板、轨迹球、isopoint和/或话音识别系统来实现。
一个或更多个输出装置1824还连接至接口电路1820。输出装置1824能够例如通过显示装置(例如，液晶显示器、阴极射线管显示器(CRT)、打印机和/或扬声器)来实现。因此，接口电路1820通常包括图形驱动器卡。
接口电路1820还包括诸如调制解调器或网络接口卡这样的通信装置(例如，通信装置56)，以利于经由网络1826(例如，以太网连接、数字用户线(DSL)、电话线、同轴线缆、蜂窝电话系统等)与外部计算机交换数据。
处理器平台1800还包括用于存储软件和数据的一个或更多个大容量存储装置1828。这样的大容量存储装置1828的示例包括软盘驱动器、硬盘驱动器、光盘驱动器和数字式通用磁盘(DVD)驱动器。大容量存储装置1828可以实现示例媒体提供器105、示例LUT115、示例媒体监测数据库155和/或示例辅媒体数据库430。
图10至图17中的编码指令1832可以被存储在大容量存储装置1828中、易失性存储器1814中、非易失性存储器1816中和/或诸如CD或DVD这样的可移除存储介质上。
虽然本文中已经描述了特定示例方法、装置和制品，但是该专利的覆盖范围不限于此。相反，该专利覆盖完全落入该专利的权利要求的范围内的所有方法、装置和制品。

Claims (36)

1.一种用于识别媒体的方法，该方法包括以下步骤：
根据媒体信号确定识别码的一部分，所述识别码的所述一部分包括识别时间戳，所述识别时间戳的至少一部分不可读或者不可用；
通过以下操作确定参考签名查找表的分区：根据所述识别时间戳确定近似时间戳；基于所述近似时间戳确定时间范围；以及识别所述查找表的、包含在所述查找表的所述分区中的条目，所述条目包括所述时间范围中的时间戳；以及
通过对从所述媒体信号提取的签名与所述查找表的所述分区中的参考签名进行比较来识别所述媒体信号。
2.如权利要求1中所限定的方法，其中，识别所述媒体信号的步骤包括将从所述媒体信号提取的一系列签名与所述参考签名匹配。
3.如权利要求1中所限定的方法，其中，所述参考签名查找表包含：
时间戳；以及
来自参考媒体信号的签名，其中，所述签名与所述时间戳相关联。
4.如权利要求1中所限定的方法，其中，所述参考签名查找表的所述分区通过减小所述参考签名查找表的搜索空间来确定。
5.如权利要求1中所限定的方法，所述方法还包括以下步骤：使用所述媒体信号的身份使媒体呈现装置与所述媒体信号同步。
6.如权利要求1中所限定的方法，其中，所述识别码的所述部分包括源识别数据。
7.如权利要求6中所限定的方法，其中，所述查找表的、被识别包含在所述查找表的所述分区中的所述条目包括所述源识别数据。
8.如权利要求1中所限定的方法，其中，所述媒体信号包含音频信号。
9.如权利要求8中所限定的方法，其中，所述识别码根据音频水印来确定。
10.如权利要求1中所限定的方法，其中，所述查找表被存储在数据库、硬盘、存储设施或可移除媒体存储装置中的至少一个上。
11.如权利要求1中所限定的方法，其中，确定所述查找表的所述分区进一步通过以下步骤来执行：
基于所述识别码的所述部分确定用于所述分区的过滤参数；以及
执行所述过滤参数以构造所述分区。
12.如权利要求1中所限定的方法，其中，从所述媒体信号提取一系列签名，其中，所述一系列签名与所述参考签名查找表中的媒体呈现的至少两个示例匹配，并且其中，所述一系列签名与所述参考签名查找表的所述分区中的所述媒体呈现的一个示例匹配。
13.一种用于识别媒体的系统，该系统包括：
代码提取器，其用于根据媒体信号确定识别码的一部分，所述识别码的所述一部分包括识别时间戳，所述识别时间戳的至少一部分不可读或者不可用；
接口，其用于通过以下操作确定参考签名查找表的分区：根据所述识别时间戳确定近似时间戳；基于所述近似时间戳确定时间范围；以及识别所述查找表的、包含在所述查找表的所述分区中的条目，所述条目包括所述时间范围中的时间戳；以及
媒体识别符，其用于通过对从所述媒体信号提取的签名与所述查找表的所述分区中的参考签名进行比较来识别所述媒体信号。
14.如权利要求13中所限定的系统，其中，所述媒体识别符用于通过将从所述媒体信号提取的一系列签名与所述参考签名匹配来识别所述媒体信号。
15.如权利要求13中所限定的系统，其中，所述参考签名查找表包含：
时间戳；以及
来自参考媒体信号的签名，其中，所述签名与所述时间戳相关联。
16.如权利要求13中所限定的系统，所述系统还包括媒体管理器，所述媒体管理器用于使用所述媒体信号的身份使媒体呈现装置与所述媒体信号同步。
17.如权利要求13中所限定的系统，其中，所述参考签名查找表的所述分区通过减小所述参考签名查找表的搜索空间来确定。
18.如权利要求13中所限定的系统，其中，所述识别码的所述部分包括源识别数据。
19.如权利要求18中所限定的系统，其中，所述接口确定所述查找表的、被识别包含在所述查找表的所述分区中的条目包括所述源识别数据。
20.如权利要求13中所限定的系统，其中，所述媒体信号包含音频信号。
21.如权利要求20中所限定的系统，其中，所述识别码根据音频水印来确定。
22.如权利要求13中所限定的系统，其中，所述查找表被存储在数据库、硬盘、存储设施或可移除媒体存储装置中的至少一个上。
23.如权利要求13中所限定的系统，其中，确定查找表的所述分区进一步通过以下操作来执行：
基于所述识别码的所述部分确定用于所述分区的过滤参数；以及
执行所述过滤参数以构造所述分区。
24.如权利要求13中所限定的系统，其中，从所述媒体信号提取一系列签名，其中，所述一系列签名与所述参考签名查找表中的媒体呈现的至少两个示例匹配，并且其中，所述一系列签名与所述参考签名查找表的所述分区中的所述媒体呈现的一个示例匹配。
25.一种包括机器可读指令的计算机可读存储介质，当被执行时，所述机器可读指令使机器至少：
根据媒体信号确定识别码的一部分，所述识别码的所述一部分包括识别时间戳，所述识别时间戳的至少一部分不可读或者不可用；
通过以下操作确定参考签名查找表的分区：根据所述识别时间戳确定近似时间戳；基于所述近似时间戳确定时间范围；以及识别所述查找表的、包含在所述查找表的所述分区中的条目，所述条目包括所述时间范围中的时间戳；以及
通过对从所述媒体信号提取的签名与所述查找表的所述分区中的参考签名进行比较来识别所述媒体信号。
26.如权利要求25中所限定的计算机可读存储介质，其中，当被执行时，所述指令使所述机器通过将从所述媒体信号提取的一系列签名与所述参考签名匹配来识别所述媒体信号。
27.如权利要求25中所限定的计算机可读存储介质，其中，所述参考签名查找表包含：
时间戳；以及
来自参考媒体信号的签名，其中，所述签名与所述时间戳相关联。
28.如权利要求25中所限定的计算机可读存储介质，其中，所述机器可读指令还使所述机器使用所述媒体信号的身份来使媒体呈现装置与所述媒体信号同步。
29.如权利要求25中所限定的计算机可读存储介质，其中，通过减小所述参考签名查找表的搜索空间来确定所述参考签名查找表的所述分区。
30.如权利要求25中所限定的计算机可读存储介质，其中，所述识别码的所述部分包括源识别数据。
31.如权利要求30中所限定的计算机可读存储介质，其中，所述查找表的、被识别包含在所述查找表的所述分区中的所述条目包括所述源识别数据。
32.如权利要求25中所限定的计算机可读存储介质，其中，所述媒体信号包含音频信号。
33.如权利要求32中所限定的计算机可读存储介质，其中，所述识别码根据音频水印来确定。
34.如权利要求25中所限定的计算机可读存储介质，其中，所述查找表被存储在数据库、硬盘、存储设施或可移除媒体存储装置中的至少一个上。
35.如权利要求25中所限定的计算机可读存储介质，其中，确定查找表的所述分区进一步通过以下操作来执行：
基于所述识别码的所述部分确定用于所述分区的过滤参数；以及
执行所述过滤参数以构造所述分区。
36.如权利要求25中所限定的计算机可读存储介质，其中，从所述媒体信号提取一系列签名，其中，所述一系列签名与所述参考签名查找表中的媒体呈现的至少两个示例匹配，并且其中，所述一系列签名与所述参考签名查找表的所述分区中的所述媒体呈现的一个示例匹配。
CN201380029269.6A 2012-09-26 2013-09-12 用于识别媒体的方法和装置 Expired - Fee Related CN104429091B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/627,495 2012-09-26
US13/627,495 US9286912B2 (en) 2012-09-26 2012-09-26 Methods and apparatus for identifying media
PCT/US2013/059497 WO2014052028A1 (en) 2012-09-26 2013-09-12 Methods and apparatus for identifying media

Publications (2)

Publication Number Publication Date
CN104429091A CN104429091A (zh) 2015-03-18
CN104429091B true CN104429091B (zh) 2018-02-02

Family

ID=50339643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029269.6A Expired - Fee Related CN104429091B (zh) 2012-09-26 2013-09-12 用于识别媒体的方法和装置

Country Status (10)

Country Link
US (1) US9286912B2 (zh)
EP (1) EP2901706B1 (zh)
JP (1) JP5951133B2 (zh)
CN (1) CN104429091B (zh)
AU (1) AU2013324105B2 (zh)
CA (1) CA2875289C (zh)
HK (1) HK1207501A1 (zh)
IN (1) IN2014DN10101A (zh)
MX (1) MX343492B (zh)
WO (1) WO2014052028A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071868B2 (en) 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
US9668020B2 (en) * 2014-04-07 2017-05-30 The Nielsen Company (Us), Llc Signature retrieval and matching for media monitoring
US10410643B2 (en) 2014-07-15 2019-09-10 The Nielson Company (Us), Llc Audio watermarking for people monitoring
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
US9497505B2 (en) 2014-09-30 2016-11-15 The Nielsen Company (Us), Llc Systems and methods to verify and/or correct media lineup information
WO2016089749A1 (en) * 2014-12-01 2016-06-09 Hoarty W Leo System and method for continuous media segment identification
US9418395B1 (en) 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
AU2016211254B2 (en) 2015-01-30 2019-09-19 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US9680583B2 (en) 2015-03-30 2017-06-13 The Nielsen Company (Us), Llc Methods and apparatus to report reference media data to multiple data collection facilities
CA2982797C (en) 2015-04-17 2023-03-14 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
EP3288277A4 (en) * 2015-04-23 2018-09-12 LG Electronics Inc. Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
BR112018000801A2 (pt) 2015-07-16 2018-09-04 Inscape Data Inc sistema, e método
CA3216076A1 (en) 2015-07-16 2017-01-19 Inscape Data, Inc. Detection of common media segments
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
BR112018000820A2 (pt) 2015-07-16 2018-09-04 Inscape Data Inc método computadorizado, sistema, e produto de programa de computador
US10200546B2 (en) * 2015-09-25 2019-02-05 The Nielsen Company (Us), Llc Methods and apparatus to identify media using hybrid hash keys
US9728188B1 (en) * 2016-06-28 2017-08-08 Amazon Technologies, Inc. Methods and devices for ignoring similar audio being received by a system
US11023581B2 (en) 2016-07-28 2021-06-01 Hewlett-Packard Development Company, L.P. Code package variants
US10785329B2 (en) * 2017-01-05 2020-09-22 The Nielsen Company (Us), Llc Methods and apparatus to facilitate meter to meter matching for media identification
CA3058975A1 (en) 2017-04-06 2018-10-11 Inscape Data, Inc. Systems and methods for improving accuracy of device maps using media viewing data
US10536757B2 (en) 2017-08-17 2020-01-14 The Nielsen Company (Us), Llc Methods and apparatus to synthesize reference media signatures
US10347262B2 (en) 2017-10-18 2019-07-09 The Nielsen Company (Us), Llc Systems and methods to improve timestamp transition resolution
JP6557886B1 (ja) * 2018-02-23 2019-08-14 エヴィクサー株式会社 コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システム
US11166054B2 (en) * 2018-04-06 2021-11-02 The Nielsen Company (Us), Llc Methods and apparatus for identification of local commercial insertion opportunities
US10581541B1 (en) * 2018-08-30 2020-03-03 The Nielsen Company (Us), Llc Media identification using watermarks and signatures
US11082730B2 (en) 2019-09-30 2021-08-03 The Nielsen Company (Us), Llc Methods and apparatus for affiliate interrupt detection
CN111191414B (zh) * 2019-11-11 2021-02-02 苏州亿歌网络科技有限公司 一种页面水印生成方法、识别方法、装置、设备及存储介质
US11501786B2 (en) 2020-04-30 2022-11-15 The Nielsen Company (Us), Llc Methods and apparatus for supplementing partially readable and/or inaccurate codes in media
US11343592B2 (en) 2020-07-23 2022-05-24 The Nielsen Company (Us), Llc Methods and apparatus to use station identification to enable confirmation of exposure to live media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1345419A (zh) * 1999-03-29 2002-04-17 高通股份有限公司 用于定位以模拟模式操作的配备gps的无线装置的方法和装置
CN102413313A (zh) * 2010-09-26 2012-04-11 索尼公司 数据完整性验证信息生成方法和装置、数据完整性验证方法和装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2106143C (en) * 1992-11-25 2004-02-24 William L. Thomas Universal broadcast code and multi-level encoded signal monitoring system
US5481294A (en) * 1993-10-27 1996-01-02 A. C. Nielsen Company Audience measurement system utilizing ancillary codes and passive signatures
US5606609A (en) 1994-09-19 1997-02-25 Scientific-Atlanta Electronic document verification system and method
US6035177A (en) * 1996-02-26 2000-03-07 Donald W. Moses Simultaneous transmission of ancillary and audio signals by means of perceptual coding
US7457962B2 (en) 1996-07-02 2008-11-25 Wistaria Trading, Inc Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
EP1043853B1 (en) 1998-05-12 2005-06-01 Nielsen Media Research, Inc. Audience measurement system for digital television
US6154571A (en) 1998-06-24 2000-11-28 Nec Research Institute, Inc. Robust digital watermarking
AU4436401A (en) * 2000-04-05 2001-10-15 Sony United Kingdom Limited Identifying material
WO2002009328A1 (en) * 2000-07-21 2002-01-31 Koninklijke Philips Electronics N.V. Multimedia monitoring by combining watermarking and characteristic signature of signal
US20020168082A1 (en) 2001-03-07 2002-11-14 Ravi Razdan Real-time, distributed, transactional, hybrid watermarking method to provide trace-ability and copyright protection of digital content in peer-to-peer networks
US8457346B2 (en) 2001-04-24 2013-06-04 Digimarc Corporation Digital watermarking image signals on-chip
US20030131350A1 (en) * 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
US8601504B2 (en) 2002-06-20 2013-12-03 Verance Corporation Secure tracking system and method for video program content
EP1730105B1 (en) 2004-02-26 2012-01-25 Mediaguide, inc. Method and apparatus for automatic detection and identification of broadcast audio or video programming signal
JP4848128B2 (ja) 2004-12-24 2011-12-28 インターナショナル・ビジネス・マシーンズ・コーポレーション データベース・システム、データベース・システムのためのコンピュータ実行可能な方法、プログラムおよびデータベース・システムにおける索引テーブルをアップデートする方法
WO2006077551A2 (en) 2005-01-24 2006-07-27 Koninklijke Philips Electronics N.V. Private and controlled ownership sharing
WO2007106093A1 (en) 2006-03-15 2007-09-20 Tte Technology, Inc. System and method for searching video signals
MX2007015979A (es) 2006-03-31 2009-04-07 Nielsen Media Res Inc Metodos, sistemas y aparato para medicion de multiples fines.
US8453170B2 (en) 2007-02-27 2013-05-28 Landmark Digital Services Llc System and method for monitoring and recognizing broadcast data
US8213521B2 (en) * 2007-08-15 2012-07-03 The Nielsen Company (Us), Llc Methods and apparatus for audience measurement using global signature representation and matching
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
US20100226526A1 (en) 2008-12-31 2010-09-09 Modro Sierra K Mobile media, devices, and signaling
US20110066437A1 (en) * 2009-01-26 2011-03-17 Robert Luff Methods and apparatus to monitor media exposure using content-aware watermarks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1345419A (zh) * 1999-03-29 2002-04-17 高通股份有限公司 用于定位以模拟模式操作的配备gps的无线装置的方法和装置
CN102413313A (zh) * 2010-09-26 2012-04-11 索尼公司 数据完整性验证信息生成方法和装置、数据完整性验证方法和装置

Also Published As

Publication number Publication date
EP2901706A4 (en) 2016-08-17
CN104429091A (zh) 2015-03-18
IN2014DN10101A (zh) 2015-08-21
JP2015534294A (ja) 2015-11-26
AU2013324105A1 (en) 2014-12-18
MX343492B (es) 2016-11-07
EP2901706B1 (en) 2021-08-11
CA2875289C (en) 2017-08-29
US9286912B2 (en) 2016-03-15
MX2014014741A (es) 2015-05-11
EP2901706A1 (en) 2015-08-05
HK1207501A1 (zh) 2016-01-29
US20140088742A1 (en) 2014-03-27
AU2013324105B2 (en) 2016-05-12
WO2014052028A1 (en) 2014-04-03
JP5951133B2 (ja) 2016-07-13
CA2875289A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
CN104429091B (zh) 用于识别媒体的方法和装置
CN102625982B (zh) 提供与主要广播媒体内容关联的辅助内容的方法、装置和制品
US8718805B2 (en) Audio-based synchronization to media
US11508027B2 (en) Methods and apparatus to perform symbol-based watermark detection
US9368123B2 (en) Methods and apparatus to perform audio watermark detection and extraction
WO2019073420A1 (en) SYSTEMS AND METHODS FOR PERFORMING READING OF MULTIPLE MULTIMEDIA RECORDINGS BASED ON A SEGMENT CORRECTED THROUGH RECORDINGS
US10757456B2 (en) Methods and systems for determining a latency between a source and an alternative feed of the source
US10917732B2 (en) Methods and apparatus for analyzing microphone placement for watermark and signature recovery
US12033642B1 (en) Methods and apparatus for supplementing partially readable and/or inaccurate codes in media
WO2019032860A1 (en) METHODS AND APPARATUS FOR DETECTING MULTIMEDIA DEVICE FOR MINIMALLY INVASIVE MULTIMEDIA COUNTERS

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207501

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1207501

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202

CF01 Termination of patent right due to non-payment of annual fee