CN101959055A - 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 - Google Patents
对包括多个内容窗口的多媒体呈现进行监视的方法和装置 Download PDFInfo
- Publication number
- CN101959055A CN101959055A CN2010102420907A CN201010242090A CN101959055A CN 101959055 A CN101959055 A CN 101959055A CN 2010102420907 A CN2010102420907 A CN 2010102420907A CN 201010242090 A CN201010242090 A CN 201010242090A CN 101959055 A CN101959055 A CN 101959055A
- Authority
- CN
- China
- Prior art keywords
- window
- content
- exemplary
- highlighted
- properties
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 163
- 238000012545 processing Methods 0.000 claims description 21
- 230000005236 sound signal Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 76
- 238000001514 detection method Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 19
- 230000008878 coupling Effects 0.000 description 13
- 238000010168 coupling process Methods 0.000 description 13
- 238000005859 coupling reaction Methods 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 10
- 238000013500 data storage Methods 0.000 description 10
- 210000000352 storage cell Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/31—Arrangements for monitoring the use made of the broadcast services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了对包括多个内容窗口的多媒体呈现进行监视的方法和装置。所述方法包括:获得对应于该媒体设备提供的媒体呈现的监视图像;确定表示在该监视图像中的一个区域的亮度或色度中至少一个的参数值,该区域的形状表示所述多个内容窗口中的至少一个内容窗口;以及将参数值与高亮显示阈值进行比较以确定与该监视图像中的所述区域的位置相关的内容窗口是否被高亮显示。
Description
技术领域
本公开一般涉及对多媒体呈现(multimedia presentation)进行的监视,更具体地,涉及对包括多个内容窗口的多媒体呈现进行监视的方法和装置。
背景技术
现在,许多宽频带有线和卫星业务供应商提供了互动解决方案,以允许观众在观看时与包括在单个多媒体内容呈现中的多个内容窗口进行互动。在示例性互动电视(TV)解决方案中,各内容窗口可被单独配置以呈现由特定广播网络所提供的内容或其它互动业务的观众导航菜单。例如,DISH(DISH网)提供的直接广播卫星(DBS)业务的用户可以选择该DISH的家庭门户频道,该家庭门户频道使得能够在多窗口视频显示拼图(mosaic)中包含的六个视频内容窗口中的各视频内容窗口之间进行导航。使用遥控器的方向箭头来完成窗口导航。由于观众在呈现网络媒体内容的多窗口视频显示的不同窗口之间进行导航,因此音频呈现对应于已被该观众高亮显示的特定窗口进行改变。当随后选择观看一个呈现网络媒体内容的高亮显示的窗口时,则呈现对应于所选网络媒体内容的全屏视频和音频。但是,当观众导航到并高亮显示了呈现一些其它无音频互动应用的窗口时,该音频停留在呈现网络媒体内容的最后的高亮窗口上。可通过多种方式来访问该DISH家庭门户频道,包括但不局限于:调谐到预定频道(如,频道100);按下遥控器上的互动TV按钮;从电子节目指南(EPG)登陆该家庭门户频道以及在另一个频道上选择触发广告。
附图说明
图1是能够实现本文所述的媒体内容监视技术的示例性媒体内容监视系统的方框图;
图2是能够监视包括多个内容窗口的多媒体呈现的示例性监视单元的方框图;并且其可被用来实现图1的示例性媒体内容监视系统;
图3描述了预定关注区域的第一示例组,其可被图2的示例性监视单元使用以确定包含在被监视的多媒体呈现中的内容窗口是否被高亮显不;
图4描述了预定关注区域的第二示例组,其可被图2的示例性监视单元使用以确定包含在被监视的多媒体呈现中的内容窗口是否被高亮显示;
图5描述了示例模板组,其可被图2的示例性监视单元使用以确定包含在被监视的多媒体呈现中的内容窗口是否被高亮显示;
图6是可被用于实现图2的示例性监视单元的示例性高亮显示窗口检测器的方框图;
图7是表示可被执行以实现用以实现图2的示例性监视单元的示例性配置过程的示例性机器可读指令的流程图;
图8是表示可被执行以实现用以实现图2的示例性监视单元的示例性监视过程的示例性机器可读指令的典型流程图;
图9A-9B共同形成了这样的示例性机器可读指令的流程图,该示例性机器可读指令可被执行以实现用以实现图8的示例性机器可读指令和/或图2的示例性监视单元的示例性高亮窗口检测过程;
图10是示例性计算机系统的方框图,其可以存储和/或执行用以实现图2的示例性监视单元的图7、图8和/或图9A-9B的示例性机器可读指令。
具体实施方式
本文公开了对包括多个内容窗口的多媒体呈现进行监视的方法和装置。在本文所公开的实施例中,监视提供能包括多个内容窗口的媒体呈现的示例性媒体设备的方法包括获得对应于所述媒体设备提供的媒体呈现的监视图像。该示例性方法还包括确定表示该监视图像中的第一区域的亮度或色度中至少一个的第一参数值,其中该第一区域的形状表示多个内容窗口中的至少一个内容窗口。进一步地,该示例性方法包括将该第一参数值与高亮显示阈值进行比较以确定与该监视图像中第一区域的位置相关的第一内容窗口是否被高亮显示。
在本文公开的另一个实施例中,机器可读制品存储了机器可读指令,该机器可读指令被执行时使得机器获得对应于该媒体设备提供的媒体呈现的监视图像,其中该媒体呈现能够包括多个内容窗口。执行该存储的示例性的机器可读指令还使得该示例性机器确定表示在该监视图像中第一区域的亮度或色度中至少一个的第一参数值,其中该第一区域的形状表示了多个内容窗口中的至少一个。进一步地,执行该存储的示例性的机器可读指令使得该示例性机器将该第一参数值与高亮显示阈值进行比较以确定与该监视图像中的第一区域的位置相关的第一内容窗口是否被高亮显示。
在本文公开的又一实施例中,媒体设备监视单元包括示例性视频接口,该示例性视频接口与示例性媒体设备的摄像机或视频输出的至少一个可通信地耦合以获得对应于该媒体设备提供的媒体呈现的监视图像,其中该媒体设备能够在该媒体呈现中包括多个内容窗口。该示例性媒体设备监视单元还包括示例性高亮显示窗口检测器,该高亮显示窗口检测器与该示例性视频接口可通信地耦合并可操作用于确定表示该监视图像中的第一区域的亮度或色度中至少一个的第一参数值,其中该第一区域的形状表示多个内容窗口中的至少一个。此外,该示例性高亮显示窗口检测器可操作用于将第一参数值与高亮显示阈值进行比较以确定与该监视图像中的第一区域的位置相关的第一内容窗口是否被高亮显示。进一步地,该示例性媒体设备监视单元包括示例性配置接口,该示例性配置接口用于指定对应于多个内容窗口中的至少一个窗口的形状的至少一个模板,或用于指定分别对应于多个内容窗口的多个关注区域。在示例性实现中,该高亮显示窗口检测器可操作以使用该示例性配置接口指定的至少一个模板或多个关注区域来确定该监视图像中的第一区域。
许多现有媒体内容监视技术通过处理被假定为代表仅仅单个媒体内容呈现的视频和/或音频信号来实现内容监视。相反地,本文所述的示例性媒体内容监视技术通过检测该多窗口多媒体呈现的哪一个内容窗口(举例来说,例如哪一个内容呈现或显示区域)被观众当前进行高亮显示来确定观众与包括多个内容窗口的多媒体呈现的互动。通常,观众通过导航到窗口或者对窗口(或例如与该窗口有关的标签或其它标识)进行初始选择能够高亮显示特定的内容窗口,从而使得所选的内容窗口(或标签等)相对于该多窗口多媒体呈现中的其它内容窗口(或标签等)被高亮显示。这样,本文所述的示例性媒体内容监视技术能够被动地或非侵入地处理对应于该多窗口多媒体呈现的监视图像(举例来说,例如捕获的视频帧),以及使用包括在该监视图像中的亮度和/或色度信息来确定哪一个内容窗口(举例来说,例如哪一个内容呈现或显示区域)被观众高亮显示。
本文所述的媒体内容监视技术的另一个示例性实现中,示例性监视单元被配置成监视能够提供多媒体呈现的媒体设备,其中该多媒体呈现包括在该多媒体呈现的已知位置处的多个可选择的内容窗口。至少一些内容窗口能够被观众进行高亮显示。在这样的实施例中,使用该多媒体呈现中预定关注区域(所述关注区域与能够被观众高亮显示的多个内容窗口的已知位置对应)对该监视单元进行配置或训练。附加地或另选地,该预定关注区域对应于多媒体呈现中的识别区域,所述识别区域标记各内容窗口并且能够被观众高亮显示以选择对应的内容窗口。
在使用该预定关注区域进行配置后,该示例性监视单元捕获并数字化(或者获取)表示该被监视的多媒体呈现的视频帧(或,换句话说,图像)。该示例性监视单元随后分析与该监视视频帧(或监视图像)的各预定关注区域相关的亮度和/或色度信息来确定是否一个或更多相关内容窗口被观众高亮显示。例如,当内容窗口被高亮显示时,该多媒体呈现的对应于该高亮窗口的区域在该区域的大部分(如果不是所有区域的话)展示出高并且一致的亮度和色度等级。因此,在本实施例中,如果该监视视频帧(或监视图像)的特定关注区域中的亮度和/或色度符合某些标准(举例来说,例如如果特定的预定关注区域的亮度高于阈值并大于与其它预定关注区域相关的亮度),则与该特定关注区域相关的内容窗口被确定为被用户高亮显示。
在另一个示例性实现中,该示例性监视单元被附加地或另选地配置为监视能提供多媒体呈现的媒体设备,该多媒体呈现包括在该多媒体呈现中的可能未知(以及已知)的位置的多个可选内容窗口。在这样的实施例中,该监视单元被配置了一组模板(举例来说,例如以二值图像、图像区域的数据指定形状和/或大小,图像区域的数据指定像素边界等形式),所述模板表示了在该被监视的多媒体呈现中的所有可能被高亮显示的内容窗口和/或识别区域的形状。在操作期间,该示例性监视单元捕获并处理(或者获取)表示被监视的多媒体呈现的监视视频帧(或换句话说监视图像)。该示例性监视单元随后将监视视频帧(或监视图像)与所述模板组进行比较以识别高亮显示的内容窗口(如果存在的话)与一个或更多个模板之间的匹配。
各种数字图像处理和匹配技术(例如二值化、相关分析等)可以用于将监视视频帧(或监视图像)与该模板组进行比较。例如,数字图像二值化涉及将彩色或灰度图像转换为二值(如,黑白)图像,而数字图像相关分析则提供两个数字图像之间的关联性(相似性)指标以确定该两个图像是否匹配。在特定示例性实现中,监视单元捕获、数字化并二值化对应于被监视的多媒体呈现的视频帧以获得表示被监视的多媒体呈现的二值监视图像。该示例性监视单元随后在该二值监视图像上以水平和垂直两个方向移动一些或所有配置的模板(或者选择该二值监视图像的位置(如,像素位置)和区域(如,像素边界)来与已配置模板进行比较)以确定是否任意模板在该二值监视图像中的某一位置得到匹配。如果发现匹配,则该匹配的位置和得到匹配的特定模板被用于指示在该被监视的多媒体呈现中的内容窗口已经被观众进行高亮显示。
在确定了是否以及哪一个内容窗口已经被观众进行了高亮显示后,本文所述的示例性监视技术的至少一些技术工作以识别在该高亮显示的内容窗口中呈现的媒体内容。例如,各内容窗口可以被预先指定到特定的广播频道(或者更具体地说,内容源)。在这样的实施例中,识别该高亮显示的内容窗口同样唯一地识别了该内容源。附加地或另选地,光学字符识别(OCR)和/或标志检测能够被用于处理在该高亮显示的内容窗口中出现的内容以获取能被用来识别在该高亮显示的内容窗口出现的内容源的识别信息(举例来说,例如广播频道号、名称、标志等)。根据该被监视的媒体设备发出的音频信号所确定的音频代码/签名、和/或根据该媒体设备发出的视频信号所确定的视频代码/签名,同样能用来识别出现在该被监视的多媒体呈现的高亮显示的内容窗口中的内容。
回到附图,图1示出了能够实现本文所述的媒体内容监视技术的示例性媒体内容监视系统100的方框图。该示例性媒体内容监视系统100包括示例性媒体设备105,该示例性媒体设备105被配置为呈现示例性多媒体呈现110,该示例性多媒体呈现110使用从示例性业务供应商115所接收的媒体内容。该示例性媒体内容监视系统100还包括示例性监视单元120,该示例性监视单元120被配置为用于监视由该示例性媒体设备105提供的示例性多媒体呈现110。该示例性媒体内容监视系统100还包括示例性中央处理设备125,该示例性中央处理设备125通过示例性网络130与该示例性监视单元120进行通信,并被配置为用于接收该监视单元120确定的监视数据。此外,该媒体内容监视系统100的至少一些示例性实现包括示例性配置终端135,该示例性配置终端135允许对该示例性监视单元120进行本地配置。附加地或另选地,至少一些示例性实现允许通过该示例性中央处理设备125和该示例性网络130对该示例性监视单元120进行远程配置。附加地或另选地,在至少一些示例性实现中,该示例性监视单元120能够被配置成使得该示例性媒体设备105呈现一个或更多个配置窗口,使用该示例性监视单元120从例如遥控器或其它输入设备接收输入配置数据。
更详细地参照图1,该示例性业务供应商115作为该示例性媒体内容监视系统100的输入操作并能够以任意类型业务供应商来实现,例如广播有线电视业务供应商、卫星电视业务供应商(举例来说,例如该DISH网络)、直播卫星馈入、射频(RF)电视业务供应商、互联网业务供应商、互联网流媒体视频/音频供应商(举例来说,例如Netflix,Inc.)、视频点播(VOD)供应商等。附加地或另选地,该示例性业务供应商115能够附加一个或更多个本地媒体内容源,或被一个或更多个本地媒体内容源替代,所述本地媒体内容源例如数字通用光盘(DVD)播放器、录像机(VCR)、视频游戏控制台、数字视频录像机(DVR)等。此外,该示例业务供应商115能够通过任意数目的业务供应商和/或任意数目的本地媒体内容源(例如上面所述的那些)的任意组合的形式来实现。
该示例性媒体设备105可以通过任意类型的媒体设备来实现,例如电视机、机顶盒(STB)、多媒体计算机系统、多媒体功能手机、个人数字助理(PDA)等。此外,在一些示例性实现中,该示例性媒体设备105可以与一个或更多个本地媒体内容源(例如在上面描述示例性业务供应商115中所述的那些)相耦合或集成。更一般地,该示例性媒体设备105可以通过能够处理媒体内容以提供包括多个内容区域或窗口的多媒体呈现(例如示出的实施例中的示例性多媒体呈现110)的任意类型媒体设备来实现。这样,该示例性媒体设备105对应于能够呈现(如,显示)多窗口多媒体呈现的设备(例如电视)或该示例性媒体设备105可对应于例如STB的设备,其能够将该多窗口多媒体呈现提供给另一个例如电视的设备,以进行呈现。
在示出的实施例中,该示例性媒体设备105能够提供该示例性多媒体呈现110,该示例性多媒体呈现110包括六(6)个媒体内容窗口140A-F以及六(6)个相关的识别标签145A-F。该示例性媒体设备105连续地提供该示例性多窗口多媒体呈现110。附加地或另选地,该示例性媒体设备105仅仅在特定操作环境下提供该示例性多窗口多媒体呈现110,如当该媒体设备105调谐到特定频道时、被配置用于以特定呈现/显示模式进行操作时、被配置用于执行特定多媒体呈现应用时等。虽然所述示例性多媒体呈现110包括六(6)个内容窗口,但本文所述的示例性监视技术支持包括任意数目内容窗口的多窗口多媒体呈现。进一步地,包括在多窗口多媒体呈现中的各内容窗口可以是具有或不具有边界的任意类型的显示窗口、区域、条、菜单等。同样,该多窗口多媒体呈现中的各内容窗口通常与不同媒体源相关。例如,第一内容窗口可以以业务供应商115提供的第一广播频道作为它的源,而第二内容窗口可以以该业务供应商115提供的或由该媒体设备105产生的菜单显示数据作为它的源。在另一例中,该第二内容窗口可以以该业务供应商115提供的第二广播频道作为它的源。在又一例中,该第二内容窗口可以从本地媒体内容源获取它的输入。前面的实施例仅仅是示意性的而不是限定性的。
作为第一示意性实施例,该示例性业务供应商115对应于DISH直播卫星业务,并且媒体设备105对应于能够接收并呈现通过该DISH直播卫星业务所接收的媒体内容的媒体设备。在该实施例中,该示例性媒体设备105所呈现的多媒体呈现110对应于该DISH家庭门户频道的呈现。该示例性媒体设备105可以通过多种方式来访问该DISH家庭门户频道,包括但不限于:调谐到预定频道(如,频道100);在遥控器(未图示)上按下互动TV按钮;根据电子节目指南(EPG)登陆该家庭门户频道;在另一个频道上选择触发广告等。
如示出的实施例中所示的,该DISH家庭门户频道提供包含在该多媒体呈现110中的六(6)个视频内容窗口140A-140F,从而形成了由示例性媒体设备105显示的多窗口视频显示拼图。各内容窗口140A-140F可以被分别配置成呈现由DISH网络直播卫星业务运营的特定广播网络所提供的内容或其它互动业务的观众导航菜单。使用遥控器(未图示)的方向性箭头来完成对该六(6)个视频内容窗口140A-140F中的各视频内容窗口的导航。当观众导航到该多媒体呈现110的特定视频内容窗口140A-140F时,被选中的视频内容窗口被高亮显示。例如,该示例性多媒体呈现110指定第一内容窗口140A进行高亮显示(同样第一信息标签145A也被高亮显示)。
在该DISH家庭门户频道的实施例中,当观众高亮显示特定视频内容窗口140A-140F并且该高亮显示的内容窗口呈现媒体内容时,该示例性媒体设备105输出的音频信号对应于在该高亮显示的内容窗口中呈现的媒体内容。例如,如果示出的实施例的高亮第一内容窗口140A正在呈现由该DISH所运营的特定广播网络提供的媒体内容,则该示例性媒体设备105输出的音频信号改变为对应于在该高亮显示的第一内容窗口140A中呈现的网络媒体内容。当呈现网络媒体内容的高亮显示的内容窗口(举例来说,例如第一内容窗口140A)随后被再次选中以进行观看时,对应于该被选中的网络媒体内容的全屏视频和音频被呈现。但是,当观众导航到且高亮显示正呈现一些其它非音频交互式应用(举例来说,例如交互式节目指南)的内容窗口140A-140F时,该示例性媒体设备105输出的音频将对应于呈现网络媒体内容的最近的被高亮显示的窗口。例如,如果观众在之前已经高亮显示了用来呈现具有音频内容的广播节目的第一内容窗口之后高亮显示用来呈现交互式节目指南的第二内容窗口,则即使呈现该交互式节目指南的第二内容窗口正在被高亮显示,该媒体设备105也将继续输出对应于在第一内容窗口中呈现的广播节目的音频。这样,因为呈现的音频不是必然在所有情况下都对应于高亮显示的内容窗口,因而仅仅监视由该示例性媒体设备105所输出的音频会不足以精确地识别包括在该示例性多媒体呈现110中的哪一个内容窗口140A-F已经被观众进行高亮显示。
在第二示意性实施例中,该示例性业务供应商115对应于互联网业务供应商和/或一个或更多个互联网流视频/音频供应商,并且媒体设备105可以对应于多媒体计算机系统、多媒体功能手机、PDA等。在该实施例中,示例性媒体设备105呈现的多媒体呈现110可以对应于被开启用于呈现多个各自媒体内容呈现的多个媒体内容窗口140A-F。例如,各内容窗口140A-F能够被开启并配置为用于呈现不同流传输的或下载的音频/视频内容。在该实施例中,观众可以使用输入设备,例如鼠标、指针等(未图示)来高亮显示该多个内容窗口140A-F中被激活的那个。
如上述实施例所示,包括在图1的示例性媒体设备105所提供的示例性多媒体呈现110中的各媒体内容窗口140A-F能够展示任意类型的媒体内容,包括但不局限于,宽带音频/视频内容、流音频/视频内容、根据下载的文件呈现的音频/视频内容、图像、菜单、图形等。该识别标签145A-F能包括任意类型的识别信息,例如广播频道号、频道名称、节目名称、文件名称、站点、标志等,对应于呈现在相应媒体内容窗口140A-F中的媒体内容。如上述实施例所讨论的,包括在该示例性多媒体呈现110中的各媒体内容窗口140A-F可以被观众高亮显示以允许该观众与该示例性媒体设备105所提供的示例多媒体呈现110进行互动。在示例性实现中,当观众选择了特定媒体内容窗口时,选中的内容窗口(或至少它的实质部分)被高亮显示。例如,当一个内容窗口被高亮显示时,对应于该高亮窗口的多媒体呈现区域呈现出实质上不同于(如,高于、低于等)对应于其它内容窗口的多媒体呈现区域的亮度和/或色度等级(或其它图像特征,例如纹理、阴影等)。例如,图1中的第一媒体内容窗口140A被观众指定为高亮。附加地或另选地,当观众选择了一个特定媒体内容窗口时,与选中的内容窗口相关的识别标签(或至少它的实质部分)被高亮显示。例如,图1中与第一内容窗口140A相关的第一识别标签145A也被观众指定为高亮显示。
为了监视由该示例性媒体设备105提供的示例性多媒体呈现110,该示例性媒体内容监视系统100包括示例性监视单元120。不像许多(如果不是全部的话)常用媒体内容监视器,该示例性监视单元120能够监视示例性多媒体呈现110并确定该多个内容窗口140A-F中的哪一个或更多个已经被观众高亮显示。此外,在至少一些实施例中,该监视单元120能够识别在被确定已经高亮显示的特定内容窗口140A-F中所呈现的特定媒体内容。此外,在至少一些示例性实现中,该监视单元120能够确定该被监视的媒体设备105是否已经调谐到特定频道,或者是否已经被特意配置以用于呈现包括该多个内容窗口140A-F的示例性多媒体呈现110。
在示出的实施例中,监视单元120包括视频信号输入端150,用于接收由该示例性媒体设备105输出的视频信号。附加地或另选地,示出的实施例的监视单元120包括相机155(举例来说,例如摄像机或数码相机),该相机155被定位为可用来捕获与该媒体设备105的显示对应的图像。虽然描述为包括该示例性视频信号输入150和示例相机155,该示例性监视单元120可以包括任意类型能够接收、检测和/或处理由该示例性媒体设备105所提供的示例性多媒体呈现110的传感器。在该示例性监视单元120中包括该示例视频信号输入端150和/或示例相机155(和/或任意其它合适的传感器)允许该监视单元120来无损地监视由该示例性媒体设备105所提供的示例性多媒体呈现110(也就是,没有对该示例性媒体设备105进行修改)。
例如,如下所更具体地描述的,该监视单元120使用通过该示例性视频信号输入150接收的视频信号和/或通过该示例相机155拍摄的(多个)图像以确定(例如,捕获)对应于该示例性媒体设备105所提供的示例性多媒体呈现110的监视图像(或,等同的,监视视频帧)。该示例性监视单元120随后处理包括在监视图像中的亮度和/或色度信息以确定对应的被监视的多媒体呈现110是否包括多个内容窗口,例如示出的实施例的多个内容窗口140A-F。如果确定该被监视的多媒体呈现110包括多个内容窗口(举例来说,例如该多个内容窗口140A-F),则该示例性监视单元120还确定该内容窗口中的哪一个或更多个已被观众高亮显示。
例如,在包括在该被监视的多媒体呈现110中的多个内容窗口140A-F具有已知位置的场景中,能够使用对应于该多个内容窗口140A-F的已知位置的该多媒体呈现110中的预定关注区域对该示例性监视单元120进行配置或训练。附加地或另选地,为了支持与特定内容窗口相关的识别标签能够被高亮显示的场景,能够使用对应于该多个识别标签145A-F的已知位置的该多媒体呈现110中的预定关注区域对该示例性监视单元120进行配置或训练。在被预定关注区域配置/训练后,该示例性监视单元120对包括在被监视的图像中各预定关注区域处的亮度和/或色度信息进行处理,以确定一个或更多个相关内容窗口是否已经被高亮显示。后文会结合图2中所示的监视单元120的示例性实现的描述对该关注区域的处理进行更具体的描述。
对于包括在该被监视的多媒体呈现110中的多个内容窗口140A-F可能具有未知(以及已知的)位置的场景,附加地或另选地,使用一组模板(举例来说,例如二值图像、图像区域的数据指定形状和/或大小、图像区域的数据指定像素边界等形式)对该示例性监视单元120进行配置或训练,该模板表示了在该被监视的多媒体呈现110中的所有可能被高亮显示的内容窗口140A-F和/或识别区域145A-F的形状。在被该模板组配置/训练后,该示例性监视单元120采用各种数字图像处理和匹配技术,例如二值化、相关分析等,将监视图像与该模板组进行比较。例如,该监视单元120在该监视图像上以水平和垂直两个方向移动一些或所有被配置的模板(或者选择该二值监视图像的位置(如,像素位置)和区域(如,像素边界)用来与已配置的模板进行比较)以确定是否任一模板与该监视图像的相关度达到在该监视图像中的某一位置的匹配。如果发现匹配,则该匹配的位置和达到匹配的特定模板被用来指示在该被监视的多媒体呈现110中的相关内容窗口140A-F(和/或识别标签145A-F)已经被高亮显示。在后文会结合图2中监视单元12的实现的描述对这样的模板处理进行更具体的描述。
在一些示例性实现中,该监视单元12在试图检测任一高亮显示的内容窗口之前(例如使用上述关注区域或模板的处理),可做出关于该被监视的多媒体呈现110是否包括多个内容窗口(例如所述实施例的多个内容窗口140A-F)的初始决定。例如,为了减少该监视单元120的处理需求,只有在对应于该多媒体呈现110的监视图像指出该多媒体呈现110包括多个内容窗口时,这样的高亮窗口检测才得以执行。任意适合的图像处理技术,例如基于对例如该监视图像的亮度和/或色度值的处理的线特征检测或边缘检测技术,能够被用来确定在该被监视的多媒体呈现110中是否包括多个内容窗口。
假设该示例性监视单元120确定出包括在该被监视的多媒体呈现110中的内容窗口(例如示例内容窗口140A)已经被高亮显示,则所述实施例的该监视单元120进一步操作去识别该高亮显示的内容窗口140A中呈现的媒体内容。例如,如果各内容窗口140A-F被指定了特定广播频道或,更一般地,由该示例业务供应商115提供的内容源,则该示例性监视单元120能通过该高亮显示的内容窗口140A在该被监视的多媒体呈现110中的位置来识别该高亮显示的内容窗口140A中呈现的媒体内容。
附加地或另选地,该示例性监视单元120能够采用光学字符识别(OCR)和/或标志检测来处理该高亮显示的内容窗口140A以获取能用来识别在该高亮显示的内容窗口140A中出现的媒体内容的识别信息(举例来说,例如广播频道号、名称、标志等)。附加地或另选地,该示例性监视单元120能够采用从该示例性信号输入150和/或该示例性相机155获取的视频/图像数据来确定视频代码/签名,从而识别在该高亮显示的内容窗口140A中出现的媒体内容。
进一步地,该示例性监视单元120包括麦克风160,麦克风160用于捕获从该示例性媒体设备105发出的声音。虽然未示出,该示例性监视单元120还可包括附加的或作为该示例性麦克风160的替换的音频线输入。示出的实施例的示例性监视单元120使用麦克风160来捕获来自示例性媒体设备105并对应于该示例性被监视的多媒体呈现110的监视音频信号。随后,使用任意适合的技术,该示例性监视单元120根据该监视音频信号确定音频代码/签名,从而识别在该高亮显示的内容窗口140A中出现的媒体内容。例如,如上所述,当观众在至少一些示例性多媒体呈现110(举例来说,对应于该DISH家庭门户频道的呈现)的不同内容窗口140A-F间导航时,发自该媒体设备105的声音改变以对应于已被观众高亮显示的特定内容窗口。在该实施例中,根据该监视音频信号确定的音频代码/签名对应于在该高亮显示的内容窗口(例如内容窗口140A)中呈现的媒体内容,以及因此,能够被用来识别这样的媒体内容。
该示例性监视单元120按照预定时间间隔和/或发生特定事件时(举例来说,例如该中央处理设备125发给该监视单元120提示以报告任意可获得监视数据时)将监视数据存储并报告给该示例中央处理设备125。该监视数据包括例如包括多个内容窗口(举例来说,例如窗口140A-F)的示例性多媒体呈现110的检测、哪一个这样的内容窗口已经被观众高亮显示的确定、在这样高亮显示的内容窗口中所呈现的媒体内容的识别信息等。在该实施例中,该示例性监视单元120通过该示例性网络130与该示例性中央处理设备125进行通信。该示例性网络130可由任意类型的通信网络来实现,例如,举例来说,公司/企业局域网(LAN)、宽带有线网、宽带卫星网、宽带手机网、提供访问互联网的互联网业务供应商(ISP)、拨号连接等。
所示出的实施例的中央处理设备125处理从该示例性监视设备120接收的监视数据以确定收视率信息、内容验证信息、定向广告信息等。附加地,在至少一些示例性实现中,中央处理设备125对该监视单元120进行远程配置,例如,配置用于实现亮度窗口检测的预定关注区域和/或模板组。所示出的实施例的示例性监视单元120同样支持本地配置,例如,用于通过该示例配置终端135进行亮度窗口检测的预定关注区域和/或模板组的配置。该示例性配置终端135可以使用任意类型的终端或计算机来实现,例如计算机工作站、PDA、手持终端、手机等。
图2示出了图1的监视单元120的示例性实现的方框图。图2的示例性监视单元120包括示例性视频接口205,该示例性视频接口205使用能够与该示例性视频输入端150进行通信耦合(由此与被监视的媒体设备的视频输出通信耦合)的任意视频接口技术来实现和/或由被包括在该监视单元120中示例性相机155实现,用于决定(例如,捕获)对应于被监视的媒体设备(例如图1的示例性媒体设备105)提供的多媒体呈现的监视图像。图2的示例性监视设备120还包括示例性音频接口210,该示例性音频接口210使用能够从示例性音频线输入(未图示)获取被监视的音频信号的任意音频接口技术和/或包括在监视单元120中的示例性麦克风160来实现。图2的示例性监视单元120还包括示例性网络接口215,该示例性网络接口215使用能够与该示例性网络130相接口的任意网络技术来实现,用于支持与中央处理设备(例如图1的示例性中央处理设备125)的通信。该示例性网络接口215还支持与图1的示例性配置终端135的接口。
附加地,示例性关注区域配置单元225包括监视数据存储单元218,该监视数据存储单元218用来存储通过该示例性视频接口205获得的监视图像数据、通过该示例性音频接口210获得的监视音频数据、和/或它们的任意组合。该示例性监视数据存储单元218可使用任意类型的存储器或存储技术来实现。例如,该监视数据存储单元218可实现为图10所示的示例性系统1000中包括的易失性存储器1018和/或大存储设备1030,下面进行更具体的描述。
为了确定被监视的多媒体呈现(例如图1的示例性多媒体呈现110)是否包括多个内容窗口(例如该示例性内容窗口140A-F),以及为了确定是否任意这样的内容窗口被观众进行了高亮显示,图2的示例性监视单元120包括高亮显示窗口检测器220、关注区域(ROI)配置单元225和模板配置单元230。该示例性关注区域配置单元225允许将预定关注区域组指定为对应于被示例性监视单元120所监视的多媒体呈现中具有已知位置的一个或更多个内容窗口。在示出的实施例中,该关注区域配置单元225接收从图1的该示例性中央处理设备125和/或该示例性配置终端135处通过该网络接口215获得的ROI配置信息。该示例性关注区域配置单元225所接收的ROI配置信息的实施例包括:包括在该被监视的多媒体呈现中的内容窗口的数目、各内容窗口的位置、各内容窗口的大小(例如,如果内容窗口具有大小不同的预定形状)、各内容窗口的形状(例如,由指定为限定出特定位置的特定内容窗口的点或顶点,具有不同大小的可能形状组中选出的形状和尺寸等)等。
该示例性关注区域配置单元225在示例性配置数据存储单元235中存储使用所获取的ROI配置信息指定的预定关注区域组。可使用任意类型存储器或存储技术来实现该示例性配置数据存储单元235。例如,该配置数据存储单元235可由后文将进行更具体的说明的图10所示出的示例性系统1000中包括的非易失性存储器1020实现。附加地或另选地,该配置数据存储单元235可由后文将进行更具体的说明的图10所示出的示例性系统1000中包括的易失性存储器1018和/或大存储设备1030实现。如下面所更具体地说明的,该示例性高亮显示窗口检测器220能够检索存储在该示例性配置数据存储单元235中的预定关注区域组,从而执行高亮显示的内容窗口的检测以用于其中在被监视的多媒体呈现中包括的内容窗口具有已知位置的场景。
图3示出了可被该示例性关注区域配置单元225指定并存储的预定关注区域的第一示例组300。该预定关注区域的第一示例组300对应于图1的示例性多媒体呈现110。更具体地,该预定关注区域的第一示例组300表示了示例性多媒体呈现110的与该示例性内容窗口140A-F相关的区域。相应地,该预定关注区域的第一示例组300包括六个(6)预定关注区域305A-F。该六个(6)预定关注区域305A-F分别对应于示例性多媒体呈现110的六个(6)示例性内容窗口140A-F。该六个(6)预定关注区域305A-F可以由该示例性关注区域配置单元225使用位置、大小和/或形状信息的任意组合进行指定,或由能在图像、视频帧中指定多个区域的任意其它类型配置信息等进行指定。
图4中示出了可被该示例性关注区域配置单元225指定并存储的预定关注区域的第二示例组400。该预定关注区域的第二示例组400也对应于图1的示例性多媒体呈现110。更具体地,该预定关注区域的第二示例组400表示了示例性多媒体呈现110的与该示例性识别标签145A-F相关的区域。相应地,该预定关注区域的第二示例组400包括六个(6)预定关注区域405A-F。该六个(6)预定关注区域405A-F分别对应于包括在该示例性多媒体呈现110中的六个(6)示例性识别标签145A-F。与图3的实施例类似,图4的六个(6)预定关注区域405A-F可以由该示例性关注区域配置单元225使用位置、大小和/或形状信息的任意组合等指定,或由能在图像、视频帧中指定多个区域的任意其它类型配置信息等指定。
图3和图4的实施例之外的预定关注区域组同样可以由该示例性关注区域配置单元225进行配置。
回到图2,该示例性模板配置单元230允许指定用于寻找该示例性监视单元120所监视的多媒体呈现中具有可能未知(以及已知)位置的一个或更多个内容窗口的一组模板。在示出的实施例中,该模板配置单元230接收通过该网络接口215从图1的示例性中央处理设备125和/或该示例性配置终端135处获得的模板配置信息。该示例性模板配置单元230所获得的模板配置信息的实施例包括用来搜索该被监视的多媒体呈现的模板的数目、各模板的大小(例如,如果模板具有大小不同的预定形状)、各模板的形状(例如,指定为限定出该模板的点或顶点,一组可能的模板中选择等)等。
该示例性模板配置单元230在示例性配置数据存储单元235中存储利用获取的模板配置信息指定的模板组。如下面更具体地描述的,该示例性高亮窗口探测器220能够检索存储在该示例性配置数据存储单元235中的模板组,来执行用于其中被监视的多媒体呈现中包括的内容窗口具有可能未知(以及已知)位置的场景下的高亮显示的内容窗口的检测。
图5示出了可被该示例性模板配置单元230指定并存储的示例性模板组500。该示例性模板组500包括模板505和510,能够单独或共同用于执行与图1的示例性多媒体呈现110相关的高亮显示的窗口的检测。例如,该模板505具有对应于包括在该示例性多媒体呈现110中的示例性内容窗口140A-F的指定的形状和大小,并如下面更具体的描述的,能够用于检测该示例性内容窗口140A-F中一个或更多个是否被高亮显示。该示例性模板510具有对应于包括在该示例多媒体呈现110中的示例性识别标签145A-F的指定的形状和大小,并且如下面更具体的说明的,能够用于检测示例性识别标签145A-F中一个或更多个是否被高亮显示。图5示出了其它示例性模板515、520和525,它们具有对应于能包括在该被监视的多媒体呈现中的其它可能的内容窗口、识别标签、菜单、图标等的形状和大小。该示例性模板配置单元230同样能配置具有不同于图5所述实施例的形状和大小的模板。
回到图2,包括在该示例性监视单元120中的示例性高亮显示窗口检测器220被通信耦合到示例性视频接口205(举例来说,通过该示例性监视数据存储单元218)用来获取由该视频接口205确定(例如捕获)的并对应于包括多个内容窗口的被监视的多媒体呈现(例如图1的示例性媒体设备105所提供的示例性多媒体呈现110)的(多个)监视图像。例如,该视频接口205可以将监视图像存储在该示例性监视数据存储单元218中以供该示例性高亮显示窗口检测器220检索。高亮显示窗口检测器220处理该监视图像的区域来确定各个被处理区域的各自参数值,各参数值指出内容窗口是否被包括在该被监视的多媒体呈现中,以及,如果包括在该被监视的多媒体呈现中,那么该内容窗口是否被高亮显示。如下文所述,该高亮显示窗口检测器220使用存储在该示例性配置数据存储单元235中的关注区域组和/或模板组来选择各被处理区域。这样,该监视图像的各被处理区域具有对应于包括在该被监视的多媒体呈现中的各自内容窗口的形状和可能位置。
在许多包括多个内容窗口的多媒体呈现中,当内容窗口被高亮显示时,对应于该高亮显示的窗口的该多媒体呈现的区域的至少一部分(举例来说,例如该高亮显示的窗口的基本上全部,或仅仅是围绕该高亮显示的窗口的边框或沿着该窗口一段的边框等)在该区域(或者该区域的一部分)呈现通常保持一致的亮度和/或色度等级,并且该亮度和/或色度等级显著地高于或低于与该多媒体呈现的余下部分(包括与该多媒体呈现的其它内容窗口相关的区域)相关的亮度和/或色度等级。因此,在示出的实施例中,该高亮显示窗口检测器220确定了各被处理区域的参数值,其表示与该被处理区域相关的亮度和/或色度。该示例性高亮显示窗口检测器220随后将所确定的被处理区域的亮度和/或色度参数值与高亮显示阈值进行比较,以确定该被处理区域是否对应于高亮显示的内容窗口。在示例性实现中,该高亮显示阈值可以是固定阈值,其被确定为表示亮度和/或色度参数,一个内容窗口达到或超出亮度和/或色度参数,则该内容窗口将被可靠地检测为高亮显示。在另一示例性实现中,该高亮显示阈值可以是一个变化的(例如,自适应的)阈值,其基于与整个监视图像相关的整体亮度和/或色度、与该监视图像中可能内容窗口的一些或所有区域相关的平均亮度和/或色度、这些亮度和/或色度值的组合等而被确定。在这样的示例性实现中,如果处理过的区域的亮度和/或色度参数超过该变化的(例如自适应的)高亮显示阈值或偏离该变化的(例如自适应的)高亮显示阈值达指定的数量、因数等,则可以确定该被处理区域对应于高亮显示的内容窗口。
图2的高亮显示窗口检测器220的示例性实现在图6中示出。转到图6,所示出的实施例的高亮显示窗口检测器220包括区域选择器605、亮度比较器610和色度比较器615,以使用预定关注区域组(例如上面结合图3和4描述的预定关注区域组300和/或400),来检测高亮显示的内容窗口。图6的示例性高亮显示窗口检测器220还包括二值图像转换器620和模板相关器625,以采用模板组(例如上面结合图5描述的模板组500)来检测高亮显示的内容窗口。图6的示例性高亮显示窗口检测器220还包括判定单元630,判定单元630用于基于示例性亮度比较器610、示例性色度比较器615和/或示例性模板相关器625确定的信息来检测包括在被监视的多媒体呈现中的高亮显示的内容窗口。
为了支持基于预定关注区域检测高亮显示的内容窗口,区域选择器605根据如图2的关注区域配置单元225所配置的预定关注区域组选择监视图像的预定区域,该监视图像例如由图2的视频接口205获得(例如,捕获)。例如,区域选择器605可以选择该监视图像的预定关注区域,图3的305A-F或图4的405A-F中的一个。示例性区域选择器605随后将监视图像的选中区域提供给示例性亮度比较器610和/或示例性色度比较器615,进行后续处理以确定所选区域的各自的亮度和/或色度参数值。基于特定的实施例,区域选择器605继续从已配置的预定关注区域组中选择预定关注区域,直到例如所有关注区域都已经被处理,该关注区域的指定子组已经被处理,高亮显示的内容窗口已经被检测到等。
包括在图6的示例性高亮显示窗口检测器220中的示例性亮度比较器610处理由该示例性区域选择器605提供的监视图像的所选区域以确定该所选区域的各自亮度参数值。所示出的实施例的亮度比较器610可以使用任何用于确定与监视图像所选区域相关的亮度的技术来实现。例如,该亮度比较器610可以通过处理在该所选区域中包括的各像素,确定各像素的亮度并随后求和、平均、求积分等或者其它地组合各像素的亮度来为所选区域确定亮度参数值,来确定与监视图像的所选区域相关的亮度。在一些示例性实现中,替代处理该监视图像所选区域中的所有像素,可以配置该亮度比较器610来处理所选区域的像素的子组以例如排除异常值,减少处理需求等。
该示例性亮度比较器610还将为该监视图像的所选区域确定的亮度参数值与基于亮度的高亮显示阈值进行比较,以确定与该监视图像中的所选区域位置相关的各个内容窗口是否被高亮显示。在示出的实施例中,该示例性亮度比较器610所用的基于亮度的高亮显示阈值对应于与包括在被监视的多媒体呈现中的多个内容窗口中的至少一个内容窗口的人类可察觉高亮显示相关的亮度。在示例性实现中,使用固定的基于亮度的高亮显示阈值来配置该亮度比较器610,该阈值被确定用来表示这样的亮度参数,对应于各自内容窗口的所选区域必须达到或超出该亮度参数才能将该内容窗口可靠地检测为是高亮显示的内容窗口。在另一示例性实现中,该基于亮度的阈值是变化的(例如自适应的)阈值,其取决于由示例性亮度比较器610所确定的与该整个监视图像相关的整体亮度、与该监视图像中可能内容窗口对应的一些或所有区域相关的平均亮度、这些亮度值的组合等。
包括在图6的示例性高亮显示窗口检测器220中的示例性色度比较器615处理由该示例性区域选择器605提供的监视图像所选区域以确定所选区域的各自色度参数值。示出的实施例的色度比较器615可以使用任意用于确定与监视图像所选区域相关的色度的技术来实现。例如,该色度比较器615可以通过处理在该所选区域中包括的各像素,确定各像素的色度以及随后求和、平均、求积分等或者其它组合各像素的色度用于为所选区域确定色度参数值,来确定与监视图像所选区域相关的色度。在一些示例性实现中,替代处理该监视图像的所选区域中的所有像素,可以配置该色度比较器615来处理所选区域的像素的子组以例如排除异常值,减少处理需求等。
该示例性色度比较器615还将为该监视图像的所选区域确定的色度参数值与基于色度的高亮显示阈值进行比较,以确定与该监视图像中所选区域位置相关的各个内容窗口是否被高亮显示。在示出的实施例中,示例性色度比较器615所用的基于色度的高亮显示阈值对应于与包括在被监视的多媒体呈现中的多个内容窗口中的至少一个窗口的人类可察觉高亮显示相关的色度。在示例性实现中,使用固定的基于色度的高亮显示阈值来配置该色度比较器615,该固定的基于色度的高亮显示阈值被确定用来表示这样的色度参数,对应于各自内容窗口的所选区域必须达到或超出该色度参数才能可靠地将该内容窗口检测为是高亮显示的内容窗口。在另一示例性实现中,该基于色度的高亮显示阈值是变化的(例如自适应的)阈值,其取决于示例性色度比较器615所确定的与该整个监视图像相关的整体色度、与监视图像中可能内容窗口对应的一些或所有区域相关的平均色度、这些色度值的组合等。
包括在图6的示例性高亮显示窗口检测器220中的示例性判定单元630处理该示例性亮度比较器610和/或示例性色度比较器615所确定的比较结果,以确定与该监视图像中所选区域的位置相关的各个内容窗口是否被高亮显示。在示例性实现中,将该判定单元630配置为如果由该示例性亮度比较器610和/或该示例性色度比较器615所确定的比较结果指出该确定的亮度和/或色度参数值大于或等于相关的高亮显示阈值,则确定该监视图像的所选区域的位置对应于在该被监视的多窗口多媒体呈现中的高亮显示的内容窗口。在另一示例性实现中,将该判定单元630配置为如果该示例性亮度比较器610和/或该示例性色度比较器615所确定的比较结果指出该所确定出的亮度和/或色度参数值偏离相关的高亮显示阈值达指定的量、因数等,则确定该监视图像所选区域的位置对应于在该被监视的多窗口多媒体呈现中的高亮显示的内容窗口。基于该特定的示例性实现,将该判定单元630配置为如果所确定的亮度和/或色度参数值中的任一个大于或等于、或偏离该相关阈值,则确定该监视图像的所选区域的位置对应于在该被监视的多窗口多媒体呈现中的高亮显示的内容窗口,或可以将该判定单元630配置为需要该亮度和色度参数值都必须大于或等于、或偏离它们的相关阈值,该判定单元630才确定高亮显示的内容窗口位于该监视图像的所选区域。
为了支持基于模板组检测高亮显示的内容窗口,图6的示例性二值图像转换器620将例如由图2的视频接口205所获得(例如,捕获)的监视图像转换为对应于被监视的多媒体呈现的二值监视图像。在示出的实施例中,该二值图像转换器620使用二值转换阈值来将该监视图像的灰度或颜色像素转换为二值监视图像的相应二值像素。各二值像素具有两个可能取值(例如黑或白)中的一个。在示例性实现中,配置和/或确定该二值转换阈值以对应于与被包括在多窗口多媒体呈现中的内容窗口的人类可察觉的高亮显示相关的像素亮度值。在另一示例性实现中,配置和/或确定该二值转换阈值以对应于与包括在多窗口多媒体呈现中的内容窗口的人类可察觉高亮显示相关的像素色度值。在再一示例性实现中,配置和/或确定该二值转换阈值以对应于与包括在多窗口多媒体呈现中的内容窗口的人类可察觉高亮显示相关的组合像素亮度色度值。这样的二值转换阈值可以是固定的或变化的,并基于使用已知包括高亮显示的内容窗口的图像和其它已知不包括高亮显示的内容窗口的图像对该示例性二值图像转换器620进行的配置或训练,以对被监视的特定多媒体呈现和/或媒体设备进行合适的二值图像转换。
包括在图6的示例性高亮显示窗口检测器220中的示例性模板相关器625使用从例如图2的模板配置单元230配置的模板组中所选出的模板处理该示例性二值图像转换器620确定的二值监视图像。例如,该模板相关器625可以选择图5的模板505A-F中的一个模板用于处理该二值监视图像。基于特定示例性实现,该模板相关器625继续从该配置模板组中选择模板用于处理该二值监视图像直到例如所有模板已被处理、模板的指定子组已被处理、高亮显示的内容窗口已被检测到等。
在选择了一个特定模板后,该示例性模板相关器625开始在覆盖该二值监视图像一部分或全部的水平移动位置和垂直移动位置的结合上移动所选模板。对于各水平移动位置和垂直移动位置,该示例性模板相关器625选择位于该特定水平移动位置和垂直移动位置并由该模板限定的该二值监视图像的各个区域。该示例性模板相关器625随后将该二值监视图像所选区域与该模板进行相关以确定与该二值监视图像所选区域相关的相关性参数值。由于该二值图像转换器620使用了基于像素亮度值、像素色度值、或它们二者的二值转换阈值,该示例性模板相关器625所确定的该二值监视图像的所选区域的相关性参数值表示在该监视图像的所选区域中具有大于或等于该二值转换阈值的亮度值和/或色度值的像素的数量。
包括在图6的示例性高亮显示窗口检测器220中的示例性判定单元630随后处理由该示例性模板相关器625确定的相关性参数值,以确定内容窗口是否被高亮显示以及是否位于该被监视的多媒体呈现中的与该二值监视图像的所选区域相关的水平移动位置和垂直移动位置上。在示例性实现中,该判定单元630被配置为如果通过对该所选区域和所选模板之间进行相关所确定的相关性参数值大于或等于高亮显示阈值,则确定特定水平移动位置和垂直移动位置处的该监视图像的所选区域对应于被监视的多窗口多媒体呈现中的高亮显示的内容窗口。在另一示例性实现中,该判定单元630被配置为如果通过对该所选区域和所选模板之间进行相关所确定的相关性参数值偏离该高亮显示阈值达指定的量、因数等,则确定位于特定水平移动位置和垂直移动位置处的该监视图像所选区域对应于被监视的多窗口多媒体呈现中的高亮显示的内容窗口。由于该示例性模板相关器625为该二值监视图像的所选区域所确定的该参数值表示了在该监视图像的所选区域中具有大于或等于该二值转换阈值的亮度值和/或色度值的像素数量,因而该高亮显示阈值可被指定为对于将所选区域确定为是对应于高亮显示的内容窗口所需要的具有大于或等于该二值转换阈值的亮度值和/或色度值的最少像素数量。
虽然图6中已经描述了实现图2的高亮显示窗口检测器220的示例性方式,但图6中示出的元件、步骤和/或设备中的一个或更多个可被组合、分离、重新安排、省略、删除和/或用任意其它方式实现。进一步地,示例性区域选择器605、示例性亮度比较器610、示例性色度比较器615、示例性二值图像转换器620、示例性模板相关器625、示例性判定单元630和/或更一般地图6的示例性高亮显示窗口检测器220可以通过硬件、软件、固件和/或硬件、软件和/或固件的任意组合来实现。因此,例如,示例性区域选择器605、示例性亮度比较器610、示例性色度比较器615、示例性二值图像转换器620、示例性模板相关器625、示例性判定单元630和/或更一般的示例性高亮显示窗口检测器220中的任意一个可以通过一个或更多个电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑设备(PLD)和/或现场可编程逻辑器件(FPLD)等来实现。当权利要求的任意一个覆盖纯软件和/或固件实施方式时,示例性高亮显示窗口检测器220、示例性区域选择器605、示例性亮度比较器610、示例性色度比较器615、示例性二值图像转换器620、示例性模板相关器625和/或示例性判定单元630中的至少一个据此明确地被定义为包括有形介质,例如存储器、数字通用光盘(DVD)、光盘(CD)等,存储这样的软件和/或固件。更进一步地,图6的示例性高亮显示窗口检测器220可包括附加于或替换图6中示出的元件、步骤和/或设备的一个或更多个元件、步骤和/或设备,和/或可包括多于一个的所示出的上述元件、步骤和设备中的任一个或全部。
回到图2,示出的实施例的被监视单元120还包括频道检测器240,频道检测器240用于确定正在被该监视单元120监视的媒体设备(举例来说,例如该示例性媒体设备105)是否已经被调谐到能提供包括多个内容窗口的多媒体呈现(举例来说,例如包括多个内容窗口140A-F的示例性多媒体呈现110)的特定已知频道。在示出的实施例中,该频道检测器240被可通信地耦合到该示例性高亮显示窗口检测器220,并当该示例性高亮显示窗口检测器220检测到该被监视的多媒体呈现中的内容窗口被高亮显示时,提供该被监视的媒体设备被调谐到多个可调谐频道中特定已知频道(举例来说,例如该DISH家庭门户频道)的指示。在该被监视的多媒体呈现中检测到这样的高亮显示的内容窗口可以是一个不错的指示:正在被该示例性监视单元120所监视的媒体设备已经被调谐到能提供多窗口多媒体呈现的特定已知频道。该示例性频道检测器240还可包括任意其它类型的能够确定被监视媒体设备已被调谐到哪一个频道的频道检测技术。
所示出的实施例的监视单元120还包括内容识别器245,内容识别器245用于识别呈现在被监视的多窗口多媒体呈现的高亮显示的内容窗口中的内容。在示出的实施例中,该内容识别器245被可通信地耦合到该示例性高亮显示窗口检测器220,并可操作用于仅识别呈现在被监视的多媒体呈现中的被该高亮显示窗口检测器220检测为正在高亮显示的特定内容窗口中的媒体内容。在示例性实现中,包括在被监视的多媒体呈现中的各内容窗口被预先指定到一个特定广播频道(或更具体地,内容源)。在这样的实施例中,该内容识别器245将呈现在该示例性高亮显示窗口检测器220检测出的高亮显示的内容窗口中的内容识别为对应于被指定给该高亮显示的内容窗口的特定广播频道或内容源。在另一示例性实现中,该内容识别器245采用OCR和/或标志检测来处理该示例性高亮显示窗口检测器220所检测出的高亮显示的内容窗口中呈现的内容,以获取能够用来识别在该高亮显示的内容窗口中所呈现内容的源的识别信息(举例来说,例如广播频道号、名称、标志等)。在又一示例性实现中,该内容识别器245根据该被监视的媒体设备发出的音频信号来确定音频代码和/或签名,和/或根据该媒体设备发出的视频信号来确定视频代码和/或签名,从而识别呈现在该示例性高亮显示窗口检测器220检测出的高亮显示的内容窗口中的内容。在再一示例性实现中,该内容识别器245使用预先指定的广播频道和/或内容源、OCR和/或标志检测、音频和/或视频代码和/或签名等的任意组合,来识别呈现在该示例性高亮显示窗口检测器220检测出的高亮显示的内容窗口中的内容。
虽然图2中已经示出了实现图1的示例性监视单元120的示例性方式,但图2中示出的元件、步骤和/或设备的一个或更多个可被组合、分离、重新安排、省略、删除和/或用任意其它方式实现。进一步地,示例性视频接口205、示例性音频接口210、示例性网络接口215、示例性高亮显示窗口检测器220、示例性关注区域配置单元225、示例性模板配置单元230、示例性频道检测器240、示例性内容识别器245和/或更一般地,图2的示例性监视单元120可以通过硬件、软件、固件和/或,硬件、软件和/或固件的任意组合来实现。因此,例如,示例性视频接口205、示例性音频接口210、示例性网络接口215、示例性高亮显示窗口检测器220、示例性关注区域配置单元225、示例性模板配置单元230、示例性频道检测器240、示例性内容识别器245和/或,更一般地,示例性监视单元120中的任意一个可以通过一个或更多个电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑设备(PLD)和/或现场可编程逻辑器件(FPLD)等来实现。当附属的权利要求的任意一个读起来覆盖纯软件和/或固件实施方式时,示例性监视单元120、示例性视频接口205、示例性音频接口210、示例性网络接口215、示例性高亮显示窗口检测器220、示例性关注区域配置单元225、示例性模板配置单元230、示例性频道检测器240和/或示例性内容识别器245中的至少一个据此明确地被定义为包括有形介质,例如存储器、数字通用光盘(DVD)、光盘(CD)等来存储这样的软件和/或固件。更进一步地,图2的示例性高亮显示窗口检测器120可包括附加于或替换图2中示出的元件、步骤和/或设备的一个或更多个元件、步骤和/或设备,和/或可包括多于一个的所示出的上述元件、步骤和设备中的任一个或全部。
图7、图8和图9A-9B示出了表示示例性机器可读指令的流程图,可执行该示例性机器可读指令以实现示例性媒体内容监视系统100、示例性监视单元120、示例性视频接口205、示例性音频接口210、示例性网络接口215、示例性高亮显示窗口检测器220、示例性关注区域配置单元225、示例性模板配置单元230、示例性频道检测器240、示例性内容识别器245、示例性区域选择器605、示例性亮度比较器610、示例性色度比较器615、示例性二值图像转换器620、示例性模板相关器625和/或示例性判定单元630。在这些实施例中,各流程图所表示的机器可读指令可包括一个或更多个程序,其由以下设备来执行:(a)处理器,例如下面结合图10来讨论的示例性计算机1000中所示的处理器1012;(b)控制器;和/或(c)任意其它合适设备。该一个或更多个程序可实现为存储在有形介质上的软件,有形介质例如闪存、CD-ROM、软盘、硬盘、DVD或与该处理器1012有关的存储器,但此处的整个程序和/或部分程序能够另选地被该处理器1012以外的设备来执行,和/或实现为固件或专用硬件(例如,由专用集成电路(ASIC)、可编程逻辑设备(PLD),现场可编程逻辑器件(FPLD),离散逻辑等来实现)。例如,示例性媒体内容监视系统100、示例性监视单元120、示例性视频接口205、示例性音频接口210、示例性网络接口215、示例性高亮显示窗口检测器220、示例性关注区域配置单元225、示例性模板配置单元230、示例性频道检测器240、示例性内容识别器245、示例性区域选择器605、示例性亮度比较器610、示例性色度比较器615、示例性二值图像转换器620、示例性模板相关器625和/或示例性判定单元630中的任意一个或全部可以通过软件、硬件和/或固件的任意组合来实现。同样,图7、图8和图9A-9B的流程图所表示的机器可读指令的一些或全部可以人工地进行实现。此外,虽然参照图7、图8和图9A-9B中示出的流程图对该示例性机器可读指令进行了描述,可以另选地使用许多其它实现本文所述的示例性方法和设备的技术。例如,参照图7、图8和图9A-9B中的流程图,可以改变方框的执行顺序,和/或可以将所述方框中的一些改变、删除、合并和/或细分为多个块。
图7中示出的流程图表示可被执行用于实现图1和/或图2的示例性监视单元120的配置过程的示例性机器可读指令700。在开启和/或重启示例性监视单元120时、当激活示例性监视单元120的配置模式时等,或这些时候的任意组合等时,执行该示例性机器可读指令700。参照图2的示例性监视单元120,在图7的方框705处,所述机器可读指令700开始执行,其中,在该示例性监视单元120所包括的示例性关注区域配置单元225配置对应于被监视的多媒体呈现中包括的各个内容窗口组的已知位置的预定关注区域组。例如,在方框705处,关注区域配置单元225接收通过该网络接口215获取的来自该示例性中央处理设备125和/或示例性配置终端135的关注区域配置信息。在示例性实现中,所获取的关注区域配置信息包括数量、位置、大小、形状和/或任意其它类型信息,该信息允许该示例性关注区域配置单元225指定对应于具有多个内容窗口140A-F的示例多媒体呈现110的该示例性预定关注区域组300和/或400。
下一步,控制进行到方框710处,在该处,该示例性监视单元120所包括的示例性模板配置单元230配置了用来寻找被监视的多媒体呈现中具有可能未知(以及已知的)位置的一个或更多个内容窗口的模板组。例如,在方框710处,该示例性模板配置单元230接收通过该网络接口215获取的来自该示例性中央处理设备125和/或该示例性配置终端135的模板配置信息。在示例性实现中,所获取的模板配置信息包括数量、大小、形状和/或任意其它类型的(多种)信息,该信息允许该模板配置单元230指定用于在具有多个内容窗口140A-F的示例性多媒体呈现110中检测高亮显示的内容窗口的示例模板组500。在方框710的处理完成后,结束该示例性机器可读指令700的执行。
图8中示出的流程图表示可被执行用来实现图1和/或图2的示例性监视单元120的监视过程的示例性机器可读指令800。可以连续地、按照预定间隔、基于事件的检测(举例来说,例如频道改变事件的检测、遥控器按钮按压的检测、由遥控器或其它输入装置发送命令的检测等)等或对它们任意组合地来执行该示例性机器可读指令800。参照图2的示例性监视单元120,该示例性机器可读指令800在图8的方框805处开始执行,在该方框805处,该示例性监视单元120确定是否可获得初步频道检测程序以确定被监视的媒体设备(举例来说,例如该示例性媒体设备105)是否被调谐到能够提供包括多个内容窗口的多媒体呈现(举例来说,例如包括多个内容窗口140A-F的示例性多媒体呈现110)的频道。如果可获得这样的初步频道检测程序(方框805),则控制进行到方框810处,在该处,该示例性频道检测器240采用任意合适的频道检测技术来确定被监视的媒体设备是否已被调谐到能够提供包括多个内容窗口的多媒体呈现的已知的(举例来说,预定的或先前识别出的)频道(也被称作为“多窗口频道”)。如果检测到了这样的多窗口频道(方框810),或如果无法获得该初步频道检测程序(方框805),则控制进行到方框815处。否则,控制进行到方框820处。
在方框815处,该示例性监视单元120执行高亮显示窗口检测过程以确定被监视的多媒体呈现(举例来说,例如该多媒体呈现110)是否包括一个或更多个高亮显示的内容窗口(举例来说,例如该示例性高亮显示的内容窗口140A)。图9A-9B中示出了可以执行用来实现方框815处的处理的示例性机器可读指令,在下文将更具体地描述。接着,控制进行到方框825处,在该处,该示例性监视单元120确定通过在方框815处的处理,是否检测到了高亮显示的内容窗口。如果没有检测到高亮显示的内容窗口(方框825),则控制进行到方框820处。但是,如果检测到了高亮显示的内容窗口(方框825),则控制进行到方框830处。
在方框830处,包括在该示例性监视单元120中的示例性频道检测器240确定该监视单元120正在监视的媒体设备(举例来说,例如该示例性媒体设备105)是否已经被调谐到多窗口频道。例如,在方框830处,由于在方框815处的处理检测到被监视的多媒体呈现中的内容窗口被高亮显示,因而该示例性频道检测器240提供了该被监视的媒体设备被调谐到了多个可调谐频道中的特定已知频道(举例,例如该DISH家庭门户频道)的提示。接着,控制进行到方框835处,在该处,该示例性监视单元120所包括的示例性内容识别器245识别通过方框815处的高亮显示窗口检测处理检测出来的高亮显示的内容窗口中所呈现的内容。例如,如以上更具体地描述的,在方框835处,该示例性内容识别器245可以使用预定广播频道和/或内容源、OCR和/或标志检测、音频和/或视频代码和/或签名等中任意一个或组合,来识别方框815处的处理所检测到的高亮显示的内容窗口中呈现的内容。
下一步,控制进行到方框820处,在该处,该示例性监视单元120确定监视是否继续。例如,在方框820处,该示例性监视单元120可以基于监视单元120被配置成连续地、以预定间隔地、还是基于特定事件的检测等地进行监视从而确定监视是否继续。如果监视继续(方框820),则控制回到方框805和其后续方框处以继续监视处理。但是,如果监视不再继续(方框820),则结束该示例性机器可读指令800的执行。
图9A-9B所示的流程图表示可被执行以实现用以实现图8的方框815处的处理的高亮显示窗口检测程序、和/或图2和/或图6的示例性高亮显示窗口检测器220的示例性机器可读指令815。参照图6的示例性高亮显示窗口检测器220,所述机器可读指令815在图9A的方框905处开始执行,在该处,示例性高亮显示窗口检测器220从该示例性视频接口205处获取对应于被监视的媒体设备(例如该示例性媒体设备105)的显示的监视图像。例如,在方框905处,该示例性视频接口205可以根据被可通信地耦合到该被监视的媒体设备的视频输出的示例性视频输入150确定(例如,捕获)监视图像。作为另选的实施例,在方框905处,该示例性视频接口205可以根据被定位以观看该被监视的媒体设备的显示的示例性相机155确定(例如,捕获)监视图像。
下一步,控制进行到方框910处,其中该示例性高亮显示窗口检测器220确定是否支持基于关注区域匹配的高亮显示窗口检测(例如,基于被保持在该高亮显示窗口检测器220和/或监视单元120中的配置数据)。如果支持基于关注区域匹配的高亮显示窗口检测(方框910),则控制进行到方框915处,其中包括在该示例性高亮显示窗口检测器220中的该示例性区域选择器605从在方框905处获得的监视图像中选择(例如,提取)预定关注区域。在方框915处,该监视图像的所选的(例如所提取的)区域对应于从例如执行图7的示例性机器可读指令700所配置的预定关注区域组中选出的关注区域。
控制随后进行到方框920处,在该处,包括在该示例性高亮显示窗口检测器220中的示例性亮度比较器610处理在方框915处确定的监视图像的选中区域,以确定该选中区域的各个亮度参数值,如上文更具体地描述的。附加地或另选地,在方框920处,包括在示例性高亮显示窗口检测器220中的示例性色度比较器615处理在方框915处确定的监视图像的选中区域,以确定该选中区域的各个色度参数值,如上文更具体地描述的。下一步,控制进行到方框925处,其中,示例性亮度比较器610将在方框920处为该监视图像的选中区域确定的亮度参数值与固定的或变化的基于亮度的高亮显示阈值进行比较。附加地或另选地,在方框925处,示例性色度比较器615将在方框920处为该监视图像的选中区域确定的色度参数值与固定的或变化的基于色度的高亮显示阈值进行比较。在方框920处,将该(多个)高亮显示阈值配置和/或确定为表示与包括在被监视的多媒体呈现中的多个内容窗口中的至少一个窗口的人类可察觉高亮显示相关的亮度和/或色度,如下文更具体地描述的。
控制接着进行到方框930处,在该处,包括在示例性高亮显示窗口检测器220中的示例性判定单元630确定在方框925处对该选中区域的亮度和/或色度参数值与各自的基于亮度的和/或基于色度的高亮显示阈值进行的比较是否指示已经满足高亮显示窗口检测标准。例如,如果在方框925处确定的比较结果指出该被确定的亮度和/或色度参数值大于或等于各自的高亮显示阈值,则在方框925处,示例性判定单元630可确定高亮显示的内容窗口对应于正被处理的监视图像的选中区域。附加地或另选地,如果在方框925处确定的比较结果指出该被确定的亮度和/或色度参数偏离各个高亮显示阈值指定的量、因数等,则在方框925处,示例性判定单元630可确定高亮显示的内容窗口对应于正被处理的监视图像的选中区域。如果示例判定单元630确定出已经满足了该高亮显示窗口检测标准(方框930),则控制进行到方框935,在方框935处,示例性判定单元630指出对应于正被处理的所选关注区域的内容窗口被高亮显示在被监视的多媒体呈现中。随后结束该示例性机器可读指令815的执行。
但是,如果示例判定单元630确定出没有满足高亮显示窗口检测标准(方框930),则控制进行到方框940,在该处,包括在该示例性高亮显示窗口检测器220中的示例性区域选择器605确定是否已经处理了所有的已配置关注区域。如果尚未处理完所有的关注区域(方框940),则控制返回到方框915和其后续方框,该示例性区域选择器605选择在已配置的关注区域组中的下一个关注区域以进行处理。但是,如果已经处理了所有关注区域(方框940),或如果不支持基于关注区域匹配的高亮显示窗口检测(方框910),则控制进行到附图9B的方框945处。
转到附图9B,在方框945处,示例性高亮显示窗口检测器220确定是否支持基于模板匹配的高亮显示窗口检测(举例来说,基于被保持在高亮显示窗口检测器220和/或监视单元120中的配置数据)。如果不支持基于模板匹配的高亮显示窗口检测(方框945),则结束该示例性机器可读指令815的执行。但是,如果支持基于模板匹配的高亮显示窗口检测(方框945),则控制进行到方框950处,在该处,包括在示例性高亮显示窗口检测器220中的示例性二值图像转换器620将图9A的方框905处获得的监视图像转换为二值监视图像。例如,如上面更具体地描述的,在方框950处,示例性二值图像转换器620使用了基于像素亮度和/或色度值的二值转换阈值来将监视图像的灰度或彩色像素转换为二值监视图像的各个二值像素。
下一步,控制进行到方框955处,在该处,包括在示例性高亮显示窗口检测器220中的示例性模板相关器625从已被执行例如图7的示例性机器可读指令700所配置的模板组中选择一个模板。控制随后进行到方框960处,在该处,示例性模板相关器625移动所选模板,通过覆盖该二值监视图像一些或全部的水平移动位置和垂直移动位置的结合。如上文已经更具体地描述的,对于各水平移动位置和垂直移动位置,示例性模板相关器625选择由该模板限定的二值监视图像的各个区域,以及将该二值监视图像所选区域与模板进行相关以确定相关性参数值,其表示在监视图像所选区域中具有大于或等于二值转换阈值的亮度值和/或色度值的像素数量。
接着,控制进行到方框965处,在该处,包括在示例性高亮显示窗口检测器220中的示例性判定单元630确定通过在方框960处通过对该二值监视图像与所选模板在任意水平移动位置和垂直移动位置进行的相关所确定的相关性参数值是否指出已经满足了高亮显示窗口检测标准。例如,在方框965处,如果针对该位置的相关性参数值大于或等于高亮显示阈值,或另选地,偏离该高亮显示阈值,则示例性判定单元630确定该监视二值图像和所选模板在特定水平移动位置和垂直移动位置处的相关性的参数值指出被监视的多媒体呈现的上述位置处高亮显示的内容窗口。因为在方框960处通过对所选模板与该二值监视图像在特定移动位置进行相关所确定的相关性参数值表示在该模板区域内具有大于或等于该二值转换阈值的亮度值和/或色度值的监视图像像素的数量,因而该高亮显示阈值可被指定为监视图像的在特定移动位置处的区域被确定为对应于高亮显示的内容窗口所需的具有大于或等于该二值转换阈值的亮度值和/或色度值的最少像素数量。
如果示例性判定单元630确定已经满足了该高亮显示窗口检测标准(方框965),则控制进行到方框970处,在该处,示例判定单元630指出高亮显示的内容窗口被定位于获得了符合该检测标准的相关性参数值的特定水平和垂直移动位置。随后结束该示例性机器可读指令815的执行。但是,如果该示例性判定单元630确定没有满足该高亮显示的窗口检测标准(方框965),则控制进行到方框975,在该处,包括在示例性高亮显示窗口检测器220中的示例性模板相关器625确定是否已经处理了该已配置模板组中的所有模板。如果尚未处理所有模板(方框975),则控制返回到方框955和其后续方框处,选择在已配置模板中的下一个模板用于对该被监视二值图像的处理。但是,如果已经处理了所有模板(方框975),则结束该示例性机器可读指令815的执行。
图10是能够实现本文所公开的装置和方法的示例性计算机1000的方框图。该计算机1000可以是,例如,服务器、个人计算机、个人数字助理(PDA)、互联网应用、DVD播放器、CD播放器、数字视频录像机、个人视频录像机、机顶盒、或任意其它类型的计算设备。
该系统1000的直接的实施例包括处理器1012,例如通用可编程处理器。该处理器1012包括本地存储器1014,并执行存在于本地存储器1014和/或其它存储设备中的编码指令1016。该处理器1012可以执行在图7、图8和/或图9A-9B中表示的机器可读指令。该处理器1012可以是任意类型的处理单元,例如来自该英特尔迅驰系列微处理器,英特尔奔腾系列微处理器,英特尔安腾系列微处理器,和/或英特尔系列微处理器中的一个或更多个微处理器。当然,来自其它系列的其它处理器也是适合的。
该处理器1012通过总线1022与包括易失性存储器1018和非易失性存储器1020的主存储器进行通信。静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任意其它类型的随机存储设备可用来实现该易失性存储器1018。闪存和/或其它任意所需类型的存储器设备可用来实现该非易失性存储器1020。通常由存储器控制器(未图示)来控制对该主存储器1018、1020的访问。
该计算机1000还包括接口电路1024。任意类型的接口标准,例如以太网(Ethernet)接口、通用串行总线(USB)、和/或第三代输入/输出(3GIO)接口,可用来实现该接口电路1024。
该接口电路1024连接一个或更多个输入设备1026。输入设备1026允许用户将数据和命令输入处理器1012中。输入设备可以由例如键盘、鼠标、触摸屏、触摸板、触摸球、isopoint和/或语音识别系统来实现。
该接口电路1024也连接一个或更多个输出设备1028。输出设备1028可以由例如显示设备(例如,液晶显示器、阴极射线管显示器(CRT))、打印机和/或扬声器来实现。该接口电路1024因而通常包括显卡。
该接口电路1024也包括通信设备,例如调制解调器或网卡,用于通过网络(例如,以太网连接、数字用户线(DSL)、电话线、同轴电缆、移动电话系统等)与外部计算机实现数据交换。
该计算机1000还包括一个或更多个用来存储软件和数据的大存储设备1030。这样的大存储设备1030的示例包括软盘驱动器、硬盘驱动器、光盘驱动器和数字通用光盘(DVD)驱动器。该大存储设备1030可以实现示例性监视数据存储单元218和/或示例性配置数据存储单元235。附加地或另选地,易失性存储器1018可以实现示例性监视数据存储单元218和/或示例性配置数据存储单元235来。附加地或另选地,非易失性存储器1020可以实现该示例性配置数据存储单元235。
作为在诸如图10的设备的系统中实现本文所述的方法和/或装置的一种替换,本文所述的方法和/或装置可以被嵌入例如处理器和/或ASIC(专用集成电路)的结构中。
最后,虽然本文已经描述了特定的示例性方法、装置和产品,本专利的包括范围不局限于此。相反,本专利覆盖了在全面覆盖或等同原则下落在附属权利要求保护范围内的所有方法、装置和产品。
Claims (25)
1.一种监视媒体设备的方法,该媒体设备提供能够包括多个内容窗口的媒体呈现,该方法包括以下步骤:
获得对应于所述媒体设备提供的所述媒体呈现的监视图像;
确定第一参数值,所述第一参数值表示所述监视图像中的第一区域的亮度或色度中的至少一个,所述第一区域的形状表示所述多个内容窗口中的至少一个内容窗口;以及
将所述第一参数值与高亮显示阈值进行比较以确定与所述监视图像中的所述第一区域的位置相关的第一内容窗口是否被高亮显示。
2.如权利要求1所述的方法,所述方法还包括以下步骤中的至少一个:
从定位为用以查看所述媒体设备所提供的所述媒体呈现的相机捕获所述监视图像;或
处理所述媒体设备所输出的视频信号以获得所述监视图像。
3.如权利要求1所述的方法,所述方法还包括:
选择所述第一区域以对应于多个预定关注区域中的一个,各预定关注区域对应于所述多个内容窗口中的相应的内容窗口。
4.如权利要求1所述的方法,所述方法还包括:
在所述监视图像的多个水平移动位置和多个垂直移动位置上移动表示所述多个内容窗口中的至少一个内容窗口的模板;以及
选择所述第一区域以对应于所述模板限定的、定位在所述模板的第一水平移动位置和第一垂直移动位置处的所述监视图像的区域。
5.如权利要求4所述的方法,所述方法还包括:
执行输入图像的二值转换以确定所述监视图像,所述二值转换使用二值转换阈值执行,将所述输入图像的至少一个灰度像素或彩色像素转换为所述监视图像的对应的二值像素;以及
将所述第一区域与所述模板进行相关以确定所述第一参数值。
6.如权利要求5所述的方法,其中所述二值转换阈值对应于与所述多个内容窗口中的一个内容窗口的人类可察觉高亮显示相应的像素亮度值或像素色度值中的至少一个。
7.如权利要求6所述的方法,其中所述高亮显示阈值对应于将所述第一区域确定为对应于高亮显示的内容窗口所需要的、所述第一区域中的、像素亮度值或像素色度值中的至少一个大于或等于所述二值转换阈值的像素的最少数量。
8.如权利要求4所述的方法,所述方法还包括:当所述第一参数值大于或等于所述高亮显示阈值时,指示所述第一内容窗口被高亮显示且定位在所述第一水平移动位置和所述第一垂直移动位置处。
9.如权利要求1所述的方法,其中所述高亮显示阈值对应于与所述多个内容窗口中的至少一个内容窗口的人类可察觉高亮显示相关的亮度或色度中的至少一个。
10.如权利要求1所述的方法,所述方法还包括:当所述第一参数值大于或等于所述高亮显示阈值时,指示与所述第一区域的位置相关的所述第一内容窗口被高亮显示。
11.如权利要求1所述的方法,所述方法还包括:当所述第一参数值大于或等于所述高亮显示阈值时,指示所述媒体设备被调谐到多个可调谐频道中的第一频道,所述第一频道被配置用来提供能使用所述多个内容窗口进行呈现的内容。
12.如权利要求1所述的方法,所述方法还包括:当所述第一参数值大于或等于所述高亮显示阈值时,在所述监视图像的所述第一区域中执行光学字符识别以识别在所述第一内容窗口中呈现的第一内容,所述第一内容不同于在所述媒体呈现中所包括的第二内容窗口中呈现的第二内容。
13.如权利要求1所述的方法,所述方法还包括:当所述第一参数值大于或等于所述高亮显示阈值时,处理由所述媒体设备所提供的音频信号或视频信号中的至少一个以识别在所述第一内容窗口中呈现的第一内容,所述第一内容不同于在所述媒体呈现中所包括的第二内容窗口中呈现的第二内容。
14.如权利要求1所述的方法,其中所述多个内容窗口被映射到相应的多个内容源,所述方法还包括:当所述第一参数值大于或等于所述高亮显示阈值时,将所述第一内容窗口中呈现的第一内容识别为对应于被映射到所述第一内容窗口的第一内容源,所述第一内容不同于在所述媒体呈现中包括的第二内容窗口中呈现的第二内容。
15.如权利要求1所述的方法,所述方法还包括,当所述第一参数值小于所述高亮显示阈值时:
确定第二参数值,所述第二参数值用于表示所述监视图像中第二区域的亮度或色度中的至少一个,所述第二区域的形状表示所述多个内容窗口中的至少一个内容窗口;以及
将所述第二参数值与所述高亮显示阈值进行比较以确定与所述监视图像中的所述第二区域的位置相关的第二内容窗口是否被高亮显示。
16.一种存储机器可读指令的机器可读制品,当所述机器可读指令被执行时使得机器:
获得对应于媒体设备所提供的媒体呈现的监视图像,所述媒体呈现能够包括多个内容窗口;
确定第一参数值,所述第一参数值表示所述监视图像中的第一区域的亮度或色度中的至少一个,所述第一区域的形状表示所述多个内容窗口中的至少一个内容窗口;以及
将所述第一参数值与高亮显示阈值进行比较以确定与所述监视图像中的所述第一区域的位置相关的第一内容窗口是否被高亮显示。
17.如权利要求16所述的制品,其中所述机器可读指令在被执行时还使所述机器来选择所述第一区域以对应于多个预定关注区域中的一个预定关注区域,各预定关注区域对应于所述多个内容窗口中的各个内容窗口。
18.如权利要求16所述的制品,其中所述机器可读指令在被执行时还使所述机器:
使用二值转换阈值将所述监视图像的至少一个灰度像素或彩色像素转换为二值监视图像的对应的二值像素,而将所述监视图像转换为二值监视图像,所述二值转换阈值对应于与所述多个内容窗口中的一个内容窗口的人类可察觉高亮显示相应的像素亮度值或像素色度值中的至少一个;
在所述二值监视图像的多个水平移动位置和多个垂直移动位置上移动用于表示所述多个内容窗口中的至少一个内容窗口的模板;
选择所述第一区域以对应于所述二值监视图像的由所述模板限定的、定位在所述模板的第一水平移动位置和第一垂直移动位置处的区域;以及
将所述第一区域与所述模板进行相关以确定所述第一参数值。
19.如权利要求16所述的制品,其中所述机器可读指令在被执行时还使所述机器在所述第一内容窗口被确定为被高亮显示时指示所述媒体设备被调谐到多个可调谐频道中的第一频道,所述第一频道被配置用来提供能使用所述多个内容窗口进行呈现的内容。
20.如权利要求16所述的制品,其中所述机器可读指令在被执行时还使所述机器在所述第一内容窗口被确定为被高亮显示时识别在所述第一内容窗口中呈现的第一内容,所述第一内容不同于在所述媒体呈现中包括的第二内容窗口中呈现的第二内容,所述机器通过以下中的至少一个来识别所述第一内容:
在所述监视图像的所述第一区域中执行光学字符识别;
处理所述媒体设备所提供的音频信号或视频信号中的至少一个;或
将所述第一内容与被映射到所述第一内容窗口的第一内容源相关联,所述多个内容窗口被分别映射到相应的多个内容源。
21.一种媒体设备监视单元,所述媒体设备监视单元包括:
视频接口,所述视频接口能够通信地耦合到相机或媒体设备视频输出这两者中的至少一个,以获得与所述媒体设备所提供的媒体呈现对应的监视图像,所述媒体设备能在所述媒体呈现中包括多个内容窗口;
高亮显示窗口检测器,所述高亮显示窗口检测器能够通信地耦合到所述视频接口,所述高亮显示窗口检测器用于:确定第一参数值,所述第一参数值表示所述监视图像中的第一区域的亮度或色度中的至少一个,所述第一区域的形状表示所述多个内容窗口中的至少一个内容窗口;以及将所述第一参数值与高亮显示阈值进行比较以确定与所述监视图像中的所述第一区域的位置相关的第一内容窗口是否被高亮显示;以及
配置接口,用于指定至少一个模板或多个关注区域,所述至少一个模板对应于所述多个内容窗口中的至少一个内容窗口的形状,所述多个关注区域分别对应于所述多个内容窗口,所述高亮显示窗口检测器使用所述至少一个模板或所述多个关注区域来确定所述监视图像中的所述第一区域。
22.如权利要求21所述的监视单元,其中所述高亮显示窗口检测器包括:
二值图像转换器,所述二值图像转换器使用二值转换阈值将所述监视图像的至少一个灰度像素或彩色像素转换为二值监视图像的相应二值像素而将所述监视图像转换为二值监视图像,所述二值转换阈值对应于与所述多个内容窗口中的一个内容窗口的人类可察觉高亮显示相应的像素亮度值;以及
模板相关器,所述模板相关器用于:在所述二值监视图像的多个水平移动位置和多个垂直移动位置移动所述配置接口指定的模板;选择第一区域以对应于二值监视图像的、被所述模板限定的、定位在所述模板的第一水平移动位置和第一垂直移动位置处的区域;以及将所述第一区域与所述模板进行相关以确定所述第一参数值;以及
判定单元,当所述第一参数值大于或等于所述高亮显示阈值时,指示所述第一内容窗口被高亮显示并定位在所述第一水平移动位置和所述第一垂直移动位置处。
23.如权利要求21所述的监视单元,其中所述高亮显示窗口检测器包括:
区域选择器,在所述监视图像中选择所述第一区域以对应于所述配置接口所指定的所述多个关注区域中的第一关注区域;以及
亮度比较器,所述亮度比较器用于:确定用于表示所述监视图像中的所述第一区域的亮度的所述第一参数值;以及将所述第一参数值与所述高亮显示阈值进行比较,所述高亮显示阈值对应于与所述多个内容窗口中的至少一个内容窗口的人类可察觉高亮显示相应的亮度;以及
判定单元,用于基于所述第一参数值和所述高亮显示阈值的比较来确定与所述第一关注区域相关的所述第一内容窗口是否被高亮显示。
24.如权利要求21所述的监视单元,所述监视单元还包括频道检测器,所述频道检测器能够通信地耦合到所述高亮显示窗口检测器,所述频道检测器用于当所述高亮显示窗口检测器检测出所述第一内容窗口被高亮显示时指出所述媒体设备被调谐到多个可调谐频道中的第一频道,所述第一频道被配置用于提供能使用所述多个内容窗口进行呈现的内容。
25.如权利要求21所述的监视单元,所述监视单元还包括内容识别器,所述内容识别器能够通信地耦合到所述高亮显示窗口检测器,所述内容识别器用于当所述高亮显示窗口检测器检测出所述第一内容窗口被高亮显示时识别在所述第一内容窗口中呈现的第一内容,所述第一内容不同于在所述媒体呈现中所包括的第二内容窗口中呈现的第二内容。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/474,906 | 2009-05-29 | ||
US12/474,906 US20100303365A1 (en) | 2009-05-29 | 2009-05-29 | Methods and apparatus to monitor a multimedia presentation including multiple content windows |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012104059325A Division CN102917193A (zh) | 2009-05-29 | 2010-05-31 | 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101959055A true CN101959055A (zh) | 2011-01-26 |
Family
ID=42338039
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102420907A Pending CN101959055A (zh) | 2009-05-29 | 2010-05-31 | 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 |
CN2012104059325A Pending CN102917193A (zh) | 2009-05-29 | 2010-05-31 | 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012104059325A Pending CN102917193A (zh) | 2009-05-29 | 2010-05-31 | 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100303365A1 (zh) |
EP (1) | EP2259577A1 (zh) |
JP (1) | JP5086393B2 (zh) |
CN (2) | CN101959055A (zh) |
AU (1) | AU2010202212B2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105635609A (zh) * | 2014-11-20 | 2016-06-01 | 三星电子株式会社 | 显示设备和显示方法 |
CN107507475A (zh) * | 2017-07-27 | 2017-12-22 | 北京华文众合科技有限公司 | 中控系统、交互教学系统及方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8107010B2 (en) | 2005-01-05 | 2012-01-31 | Rovi Solutions Corporation | Windows management in a television environment |
US9172960B1 (en) * | 2010-09-23 | 2015-10-27 | Qualcomm Technologies, Inc. | Quantization based on statistics and threshold of luminanceand chrominance |
CN105580013A (zh) * | 2013-09-16 | 2016-05-11 | 汤姆逊许可公司 | 通过搜索多个用户评论并将其覆盖到内容中来浏览视频 |
KR102213212B1 (ko) * | 2014-01-02 | 2021-02-08 | 삼성전자주식회사 | 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치 |
US9179184B1 (en) * | 2014-06-20 | 2015-11-03 | Google Inc. | Methods, systems, and media for detecting a presentation of media content on a display device |
AU2016209079B2 (en) * | 2015-01-22 | 2020-09-10 | Huddly Inc. | Video transmission based on independently encoded background updates |
US9917999B2 (en) | 2016-03-09 | 2018-03-13 | Wipro Limited | System and method for capturing multi-media of an area of interest using multi-media capturing devices |
CN106484257A (zh) * | 2016-09-22 | 2017-03-08 | 广东欧珀移动通信有限公司 | 拍照控制方法、装置和电子设备 |
US10839225B2 (en) | 2018-07-11 | 2020-11-17 | The Nielsen Company (Us), Llc | Methods and apparatus to monitor a split screen media presentation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1852410A (zh) * | 2006-04-07 | 2006-10-25 | Ut斯达康通讯有限公司 | 一种电视个性化广告实现方法和装置 |
CN101094249A (zh) * | 2007-07-04 | 2007-12-26 | 迪岸网络技术(上海)有限公司 | 媒体电子广告、海报播放设备远程监视互动通讯方法 |
CN101116339A (zh) * | 2005-02-10 | 2008-01-30 | 松下电器产业株式会社 | 通信方法、活动图像重放装置和因特网连接装置 |
US20090123025A1 (en) * | 2007-11-09 | 2009-05-14 | Kevin Keqiang Deng | Methods and apparatus to measure brand exposure in media streams |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
US6366296B1 (en) * | 1998-09-11 | 2002-04-02 | Xerox Corporation | Media browser using multimodal analysis |
US6906743B1 (en) * | 1999-01-13 | 2005-06-14 | Tektronix, Inc. | Detecting content based defects in a video stream |
KR100346259B1 (ko) * | 1999-05-29 | 2002-07-26 | 엘지전자주식회사 | 다수개의 영역특징정보를 이용한 이미지 검색 방법 |
US7039229B2 (en) * | 2000-08-14 | 2006-05-02 | National Instruments Corporation | Locating regions in a target image using color match, luminance pattern match and hill-climbing techniques |
KR100464075B1 (ko) * | 2001-12-28 | 2004-12-30 | 엘지전자 주식회사 | 비디오 하이라이트 자동 생성 방법 및 장치 |
JP3915621B2 (ja) * | 2002-07-29 | 2007-05-16 | 日産自動車株式会社 | レーンマーク検出装置 |
JP4690226B2 (ja) * | 2006-03-13 | 2011-06-01 | Necシステムテクノロジー株式会社 | 情報処理装置、機密データ監視方法およびプログラム |
WO2007149458A2 (en) * | 2006-06-20 | 2007-12-27 | Nielsen Media Research, Inc. | Methods and apparatus for detecting on-screen media sources |
US20080091713A1 (en) * | 2006-10-16 | 2008-04-17 | Candelore Brant L | Capture of television metadata via OCR |
JP4775230B2 (ja) * | 2006-11-06 | 2011-09-21 | 株式会社ニコン | 画像処理装置、撮像装置、及び画像処理プログラム |
US7831063B2 (en) * | 2007-02-19 | 2010-11-09 | Laughlin Richard H | Small event detector in presence of clutter |
-
2009
- 2009-05-29 US US12/474,906 patent/US20100303365A1/en not_active Abandoned
-
2010
- 2010-05-31 JP JP2010124786A patent/JP5086393B2/ja not_active Expired - Fee Related
- 2010-05-31 CN CN2010102420907A patent/CN101959055A/zh active Pending
- 2010-05-31 CN CN2012104059325A patent/CN102917193A/zh active Pending
- 2010-05-31 EP EP10005652A patent/EP2259577A1/en not_active Withdrawn
- 2010-05-31 AU AU2010202212A patent/AU2010202212B2/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101116339A (zh) * | 2005-02-10 | 2008-01-30 | 松下电器产业株式会社 | 通信方法、活动图像重放装置和因特网连接装置 |
CN1852410A (zh) * | 2006-04-07 | 2006-10-25 | Ut斯达康通讯有限公司 | 一种电视个性化广告实现方法和装置 |
CN101094249A (zh) * | 2007-07-04 | 2007-12-26 | 迪岸网络技术(上海)有限公司 | 媒体电子广告、海报播放设备远程监视互动通讯方法 |
US20090123025A1 (en) * | 2007-11-09 | 2009-05-14 | Kevin Keqiang Deng | Methods and apparatus to measure brand exposure in media streams |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105635609A (zh) * | 2014-11-20 | 2016-06-01 | 三星电子株式会社 | 显示设备和显示方法 |
US10203927B2 (en) | 2014-11-20 | 2019-02-12 | Samsung Electronics Co., Ltd. | Display apparatus and display method |
CN107507475A (zh) * | 2017-07-27 | 2017-12-22 | 北京华文众合科技有限公司 | 中控系统、交互教学系统及方法 |
CN107507475B (zh) * | 2017-07-27 | 2020-06-16 | 北京华文众合科技有限公司 | 中控系统、交互教学系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2259577A1 (en) | 2010-12-08 |
CN102917193A (zh) | 2013-02-06 |
AU2010202212B2 (en) | 2013-05-16 |
JP5086393B2 (ja) | 2012-11-28 |
JP2010277594A (ja) | 2010-12-09 |
US20100303365A1 (en) | 2010-12-02 |
AU2010202212A1 (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101959055A (zh) | 对包括多个内容窗口的多媒体呈现进行监视的方法和装置 | |
US7643090B2 (en) | Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal | |
US8917937B2 (en) | Methods and apparatus for identifying primary media content in a post-production media content presentation | |
US8407744B2 (en) | Snapshot recognition for TV | |
KR101495297B1 (ko) | 스마트 티비 기반의 상황 인지를 통한 사용자 이력 분석 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
US20100169919A1 (en) | Acquiring cable channel map information in a cable receiver | |
WO2017011798A1 (en) | Detection of common media segments | |
JP2006100881A (ja) | 記録再生装置、記録再生方法および記録再生システム | |
CN101536513B (zh) | 用于检测屏上媒体源的方法和设备 | |
EP2658273B1 (en) | Display control device, display control method and program | |
US20230119783A1 (en) | Methods and apparatus to monitor a split screen media presentation | |
WO2005057322A2 (en) | Methods and apparatus for detecting a television channel change event | |
KR20140099983A (ko) | 리다이렉트를 이용한 광고 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
KR100593830B1 (ko) | 디지털 티비 방송에서 지능형 프로그램 필터링 시스템 | |
KR102487111B1 (ko) | 수화 방송 품질 모니터링 방법 및 장치 | |
AU2012268871B2 (en) | Methods and apparatus for identifying primary media content in a post-production media content presentation | |
MXPA06007503A (es) | Metodos y aparatos para distinguir una señal que se origina desde un dispositivo local de una señal de difusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1149871 Country of ref document: HK |
|
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20110126 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1149871 Country of ref document: HK |