CN103748892A - 用于基于音频的人类存在检测的系统和方法以及计算机程序产品 - Google Patents

用于基于音频的人类存在检测的系统和方法以及计算机程序产品 Download PDF

Info

Publication number
CN103748892A
CN103748892A CN201180073043.7A CN201180073043A CN103748892A CN 103748892 A CN103748892 A CN 103748892A CN 201180073043 A CN201180073043 A CN 201180073043A CN 103748892 A CN103748892 A CN 103748892A
Authority
CN
China
Prior art keywords
audio frequency
room
processor
content
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180073043.7A
Other languages
English (en)
Other versions
CN103748892B (zh
Inventor
R·H·奥海依比
M·D·亚维斯
S·K·加尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103748892A publication Critical patent/CN103748892A/zh
Application granted granted Critical
Publication of CN103748892B publication Critical patent/CN103748892B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04Systems determining presence of a target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Abstract

本发明公开了允许确定其中呈现有内容的房间中的人类存在的方法、系统和计算机程序产品。可以捕获与所述内容相关联的音频,连同由可以位于包括所述内容的所述呈现的所述房间中的任何源共同生成的音频。可以从所述内容音频和所述房间音频二者提取特征。然后可以将这些特征进行比较,并且可以对差异进行量化。如果所述差异显著,则可以推断人类存在。

Description

用于基于音频的人类存在检测的系统和方法以及计算机程序产品
背景技术
由于很多原因,如果家庭娱乐设备或系统能够确定人们是否存在于房间中将是有用的。例如,如果观看者离开房间以便去厨房,系统可以进入低功耗状态,也许通过使显示器变暗或掉电或者通过完全关闭。按照这种方式,能够节约功率。如果正在观看所记录的媒体,则当观看者离开房间时,重放可以被自动暂停。
此外,下一代智能电视可以是为观看者提供诸如银行业务、在线购物等等几种服务的服务平台。对于这样的基于TV的服务,人类存在检测也将是有用的。例如,如果观看者正在使用TV访问银行/经纪人帐户,但是然后离开房间而没有关闭该服务,则人类存在检测能力能够用于在预定时间之后自动退出或关闭该服务。在另一种情况下,如果另一个人进入房间同时在线银行服务正在运行,则人类存在检测可以用于出于安全或隐私原因而自动关闭该银行服务。
检测人类存在对于广告人和内容提供方也将是有用的。能够确定实际观众人数。内容提供方能够确定观看节目的人数。广告人能够使用这一信息来确定暴露于给定广告的人数。而且,广告人能够确定多少人观看了广告的特定广播,即,多少人在特定的时间和频道并且在特定节目的背景中看到了广告。这转而能够允许广告人执行成本收益分析。可以将广告的暴露与制造该广告的成本进行比较,以便确定在特定的时间和频道广播的广告是否是值得的花费。
附图说明
图1是本文描述的系统、方法和计算机产品的实施例可以在其中操作的示例性环境的方框图。
图2是说明根据实施例的本文描述的系统、方法和计算机产品的处理的流程图。
图3是说明根据实施例的本文描述的系统、方法和计算机产品的整体处理的更加详细的流程图。
图4是说明根据实施例的内容音频的特征提取的流程图。
图5是说明根据实施例的房间音频的特征提取的流程图。
图6是说明根据实施例的内容音频的特征提取以便确定多于一个人的存在的流程图。
图7是说明根据实施例的房间音频的特征提取以便确定多于一个人的存在的流程图。
图8是说明根据实施例的房间音频和内容音频的特征的比较以及人类存在或不存在的推断的流程图。
图9是说明根据实施例的数据的标准化以及以标准化的数据为基础对人类存在或不存在的推断的流程图。
图10是说明多于一个人是否存在于房间中的推断的流程图。
图11是说明根据实施例的其中可以实现本文描述的处理的系统的部件的方框图。
图12是说明根据实施例的特征提取处理的固件实施例的计算背景的方框图。
图13是说明根据实施例的比较、标准化和推断处理的软件实施例的计算背景的方框图。
在附图中,附图标记的最左边的数字识别该附图标记首次出现的附图。
具体实施方式
现在参照附图来描述实施例,其中相似的附图标记可以指示相同或功能相关的元件。尽管讨论了特定的配置和布置,但是应该理解,这仅仅出于说明目的来进行。相关领域中的技术人员将认识到,在不偏离本描述的精神和范围的情况下,可以使用其它配置和布置。对于相关领域中的技术人员将显而易见的是,这也可以在除了本文描述之外的各种其它系统和应用中使用。
本文公开了可以允许确定其中呈现有内容的房间中的人类存在的方法、系统和计算机程序产品。可以捕获与该内容相关的音频,连同可以在房间中由共同存在的任何源生成的音频。可以从内容音频和房间音频提取特征。然后可以对这些特征进行比较,并且可以量化差异。如果该差异是显著的,则可以推断人类存在。轻微的差异可以用于推断人们不存在。
根据实施例,图1中说明了系统的整体背景。可以将内容110提供到用户的家庭娱乐或计算机系统。在所说明的实施例中,可以在诸如机顶盒(STB)120的消费电子设备处接收内容110。在可选实施例中,可以在诸如家用计算机的另一消费电子设备处接收内容110。可以从诸如广播网络、与网站相关联的服务器的内容提供方或其它源接收内容110。可以经由数据网络接收内容110,并且可以经过光纤、有线或无线介质或其某种组合来传送内容110。在可选实施例中,可以不从外部源接收内容110,但是内容110可以是能够由用户播放的本地存储的内容。进而,注意到,内容110可以包括被表示为内容音频115的音频分量。
可以经过诸如电视(TV)150的一个或多个输出设备来向用户呈现内容110。可以经过使用远程控制160来控制内容110的呈现,远程控制160可以将控制信号传输到STB120。控制信号可以由STB120处的射频(RF)接口(i/f)接收。
也可以存在房间音频170,包括在房间中生成的所有声音。房间音频170的源可以包括环境噪声以及任何用户产生的声音,包括但不局限于语音。房间音频170还可以包括由房间中的消费电子产品生成的声音,例如,由TV150产生的内容音频115。房间音频可以由麦克风140捕获。在所说明的实施例中,可以将麦克风140结合在STB170中。在可选实施例中,可以将麦克风140结合在TV150中或其它地方。
根据实施例,本文描述的系统的处理通常被表示为图2中的处理200。在210,可以接收包括如在房间中听到的任何内容音频的房间音频以及内容音频。在实施例中,房间音频和内容音频中的一个或者二者可以被记录,或者在内容音频的情况下,可以当在房间中传输视频流时从该视频流提取,以便方便下面描述的处理。在220,可以提取房间音频和内容音频的类似特征。在230,可以将房间音频的所提取的特征与内容音频的所提取的特征进行比较。在240,该比较可以用于推断房间中的人们的存在或不存在。
根据实施例,图3中更加详细地示出了处理200。在310,可以接收内容音频。在320,可以对内容音频进行采样。在实施例中,可以以8kHz对内容音频进行采样。在可选实施例中,可以以另一频率对内容音频进行采样。在330,可以将所采样的内容音频划分为间隔用于随后的处理。在实施例中,所述间隔可以是0.5秒长。在340,可以从所采样的内容音频的每一个间隔提取特征。下面将更加详细地描述特征提取处理。通常,对于每一个间隔,可以计算统计度量,例如,每一个间隔的变化系数,并且可以使用该统计度量作为所述特征,用于随后的处理。
可以按照类似的方式处理房间音频。在315,可以接收房间音频。如上所述,可以使用合并在STB或房间中的其它消费电子部件中的麦克风来捕获房间音频,并且可以接着记录该房间音频用于处理目的。在325,可以对房间音频进行采样。在实施例中,可以以8kHz或任何其它频率对房间音频进行采样。在335,可以将所采样的房间音频划分为间隔用于随后的处理。在实施例中,所述间隔可以是0.5秒长。关于时间,所采样的房间音频的间隔可以与所采样的内容音频的各自间隔相对应。在345,可以从所采样的房间音频的每一个间隔提取特征。如在内容音频的情况中,对于每一个间隔,可以计算变化系数或其它统计度量,并且可以使用该变化系数或其它统计度量作为特征,用于随后的处理。
在350,可以对所提取的特征进行比较。在实施例中,这包括对于所采样的房间音频和所采样的内容音频的时间上相对应的间隔,对作为公共统计度量的变化系数的比较。下面将更加详细地描述比较处理。在实施例中,这可以包括对于相对应的间隔计算房间音频和内容音频的变化系数之间的差异。在360,可以发生标准化或平滑化处理。这可以包括在连续间隔的序列上计算房间音频和内容音频的变化系数之间的差异的函数。在370,可以得到关于房间中的人们的存在的推断,其中所述推断可以以由在360执行的标准化产生的统计为基础。在实施例中,如果变化系数在房间音频和内容音频的时间上相对应的间隔之间足够不同,则可以推断一个或多个人的存在。
图4说明了对于所采样的内容音频的每一个间隔可以执行的特征提取的处理的实施例。在410,对于所述检测,可以确定标准差。在420,可以确定平均值。在430,如果平均值不为零,则可以通过使标准差除以平均值来确定变化系数;否则,将变化系数设置为零。
图5说明了根据实施例对于所采样的房间音频的每一个间隔可以执行的特征提取的处理。在510,对于所采样的房间音频间隔,可以确定标准差。在520,可以确定平均值。在530,如果平均值不为零,则可以通过使标准差除以平均值来确定变化系数;否则,将变化系数设置为零。在540,可以丢弃所采样的房间音频间隔。这可以用作对于可能存在于房间中的一个或多个人的隐私预防措施。
在可选实施例中,可以结合特征提取来执行额外的处理。图6说明了对于所采样的内容音频的每一个间隔可以执行的特征提取的处理的这样的实施例。在604,可以对所采样的内容音频间隔应用傅立叶变换。这可以允许信号到频域的转换。在607,可以执行带通滤波,以使得可以保持公共语音频率。在实施例中,可以保持频率85-1000Hz,其中语音能量可以被最多地集中。在610,对于这一间隔,对于607的输出,可以确定标准差。在620,可以确定平均值。在630,如果平均值不为零,则可以通过使标准差除以平均值来确定变化系数;否则,将变化系数设置为零。
图7说明了对于所采样的房间音频的每一个间隔可以执行的特征提取的处理的这样的实施例。在704,可以对所采样的房间音频间隔应用傅立叶变换。这可以允许信号到频域的转换。在707,可以执行带通滤波,以使得可以保持公共语音频率。如在图6的处理中,可以保持频率85-1000Hz,其中语音能量可以被最多地集中。在710,对于这一间隔,对于707的输出,可以确定标准差。在720,可以确定平均值。在730,如果平均值不为零,则可以通过使标准差除以平均值来确定变化系数;否则,将变化系数设置为零。在740,可以丢弃房间音频间隔。
根据实施例,在图8中说明了变化系数的比较。在810,对于每一个间隔,可以确定房间音频和内容音频的变化系数之间的差异。在实施例中,可以将这一差异表示为这两个系数之间的百分比差异。在820,可以计算这一百分比差异。给定一系列内容音频间隔和相对应的房间音频间隔,820的输出可以是一系列百分比差异。每一个百分比差异可以与一对时间同步的间隔,即,内容音频间隔和相对应的房间音频间隔,相对应。
注意到,百分比差异的幅值可以允许人类存在推断中的较大或较小的置信度。如果百分比差异小于阈值,在人类存在会是不可能的,如上所述。如果百分比明显小于阈值,例如接近于零,则这可以表明房间音频和内容音频非常相似,以使得可以在人类存在是不可能的推断中放置较高的置信度。相反,如果百分比差异超过阈值,则人类存在会是可能的。如果百分比差异超过阈值一显著的量,则这可以表明房间音频和内容音频非常不同,并且可以在人类存在是可能的推断中放置较高的置信度。
在实施例中,可以通过考虑给定间隔以及紧接前面的间隔的序列来对与这一间隔相关的数据进行标准化。按照这种方式,可以减小离群值的显著性,同时间隔的隐含置信水平可以影响在连续间隔中推导的推断。在数字上,标准化处理可以使用几种函数中的任一个。标准化可以使用来自过去间隔的数据的移动平均值,或者可以使用这一数据的线性或指数衰减函数。
图9说明了根据实施例可以使用移动平均值连同随后的推断执行的标准化。这里,可以使用先前间隔的预定数量。在这一实施例中,可以使用十个先前间隔。在910,可以考虑对于先前九个间隔的每一个的房间音频和内容音频的变化系数之间的百分比差异,连同当前间隔中的百分比差异。然后在920对十个值的这一系列取平均,产生平均百分比差异。然后将这一平均百分比差异与阈值进行比较,以便在930确定是否要推断人类存在。如果平均值在阈值内(例如,在实施例中为10%),则在940人类存在会是不可能的。否则,在950可以推断人类存在。
图6和图7的处理可以用于如在图3中分别在340和345示出的确定人类存在的背景中提取特征。在可选实施例中,可以按照稍微不同的方式来使用这些处理。这里,图3的处理可以按照如图所示发生,其中特征提取340(对于内容音频)可以按照图4所示发生,并且特征提取345(对于房间音频)可以按照图5所示发生。如果在370推断人类存在,则可以执行额外的处理以便确定是否多于一个人存在于房间中。
这在根据实施例的图10中示出。在1030,可以将所采样的内容音频划分为间隔。在1040,对于内容音频的间隔,可以提取特征。在实施例中,可以根据在图6中说明的以及上面讨论的处理来提取内容音频间隔的特征。在1035,可以将所采样的房间音频划分为间隔。在1045,对于房间音频的间隔,可以提取特征。在实施例中,可以根据在图7中说明的以及上面讨论的处理来提取内容音频间隔的特征。
在1050,可以将内容音频间隔和房间音频间隔的所提取的特征进行比较。可以按照与图8所示的相同方式来执行这一比较。在1060,可以按照与图9所示的相同方式来执行标准化和推断。在这种情况下,可以做出关于多于一个人的存在是可能的或者不可能的推断。
如上所述,本文描述的系统、方法和计算机程序产品可以在可以包括STB和/或智能电视的家庭娱乐系统的背景中实现,或者可以在个人计算机中实现。而且,本文描述的系统、方法和计算机程序产品也可以在膝上型计算机、超级膝上型或笔记本计算机、平板电脑、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能设备(例如,智能电话、智能平板电脑或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等等的背景中实现。
本文公开的一个或多个特征可以在硬件、软件、固件及其组合中实现,包括分立和集成电路逻辑、专用集成电路(ASIC)逻辑和微控制器,并且可以被实现为专域集成电路封装的一部分或者集成电路封装的组合。如本文使用的,术语“软件”指代包括计算机可读介质的计算机程序产品,该计算机可读介质具有存储在其中的计算机程序逻辑以便使计算机系统执行本文公开的一个或多个特征和/或特征的组合。计算机可读介质可以是暂态的或非暂态的。暂态计算机可读介质的示例可以是通过射频或者通过电导体经过局域网或者广域网或者经过诸如互联网的网络传输的数字信号。非暂态计算机可读介质的示例可以是压缩盘、闪存、随机存取存储器(RAM)、只读存储器(ROM0或其它数据存储设备。
在图11中示出了可以执行本文描述的处理的系统的实施例。这里,特征提取可以体现在可编程集成电路(PIC)中的固件中。比较和标准化处理可以体现在软件中。
麦克风1105可以捕获房间音频1107。内容音频1117可以被接收并且路由到PIC1110。可以在PIC1110中或其它地方执行房间和内容音频的采样以及这些信号到间隔的分解。在采样和分解为间隔之后,可以由PIC1110中的特征提取固件1115处理该内容和房间音频。如上所述,对于所采样的房间音频和所采样的内容音频,特征提取处理可以产生对于每一个间隔的变化系数。在所说明的实施例中,特征提取可以经过执行特征提取固件1115而在PIC1110中发生。可选地,特征提取功能可以实现在片上系统(SOC)1120的执行引擎中。
如果在PIC1110处执行特征提取,则可以将变化系数发送到SOC1120,并且接着使其对于操作系统(OS)1130可访问。可以由存在中间件1140中的逻辑1160执行来自相对应的房间音频和内容音频间隔的系数的比较。可以由标准化逻辑1150执行标准化,该标准化逻辑1150也可以是存在中间件1140的一部分。然后使关于人类存在的推断对于存在使能的应用1170可用。如果推断出没有人存在,则这样的应用可以例如将系统1100置于低功率状态。存在使能的应用1170的另一示例可以是从系统1100等等收集存在推断的程序,就好像它在其它家庭中一样,以便确定电视节目或广告的观众人数。
如上面关于图6、图7和图10提到的,实施例也可以推断多于一个人的存在。在这种情况下,如果推断人类存在,则可以使用傅立叶变换和带通滤波来重复特征提取。在实施例中,这一功能可以实现在特征提取固件1115中。接着可以对所生成的变化系数执行比较和标准化。这一处理可以由中间件1140中的比较逻辑1160和标准化逻辑1150执行。
在实施例中,项目1105、1110、1120和1130可以全部位于用户的家庭娱乐系统或计算机系统中的一个或多个部件中。它们可以例如位于STB、数字视频记录器或者电视中。存在中间件1140和存在使能的应用1170也可以位于用户的家庭娱乐系统或计算机系统中的一个或多个部件中。在可选实施例中,存在中间件1140和存在使能的应用1170中的一个或二者可以位于其它地方,例如内容提供方的设施。
注意到,在一些实施例中,可以使由麦克风1105捕获的音频静音。用户可以选择经由远程控制1180或家庭娱乐系统上的按钮来完成此。这样的静音功能不干扰使从TV出来的音频静音的远程控制上的静音。然后将对于麦克风的“静音”命令发送到PIC1110中的音频选择逻辑。作为这样的命令的结果,来自麦克风1105的音频将不由OS1130接收。尽管如此,将仍然可以在其中可以执行特征提取的PIC1110处接收房间音频1107。这样的能力可以由PIC1110中的特征提取固件1115的存在使能。然后可以使统计数据,即,变化系数,对于OS1130可用,即使房间音频本身被静音。变化系数的本质可以是这样的,以使得所述系数不可用于重建房间音频1107的目的。
图12说明了其中可以将特征提取功能体现在固件中的实施例。如上面讨论的,可以将这样的功能合并为PIC的一部分。系统1200可以包括处理器1220,并且可以进一步包括固件设备1210。设备1210可以包括可以存储计算机程序逻辑1240的一个或多个计算机可读介质。固件设备1210可以例如实现在只读存储器(ROM)或其它数据存储部件中,这对于本领域中的普通技术人员来说应该理解。处理器1220和设备1210可以使用本领域中的普通技术人员已知的几种技术中的任意一种,例如总线,进行通信。包含在设备1210中的计算机程序逻辑1240可以由处理器1220读取并且执行。被共同表示为I/O1230的一个或多个I/O端口和/或I/O部件也可以连接到处理器1220和设备1210。
计算机程序逻辑1240可以包括特征提取代码1250。这一代码可以负责确定对于所采样的房间音频和内容音频的间隔的标准差和平均值,如上所述。特征提取代码1250也可以负责实现如上面关于图6和图7讨论的傅立叶变换和带通滤波。特征提取代码1250也可以负责计算对于所采样的房间音频和内容音频的每一个间隔的变化系数。
在图13中说明了比较和标准化功能的软件实施例。所说明的系统1300可以包括处理器1320,并且可以进一步包括存储器1310的主体。存储器1310可以包括可以存储计算机程序逻辑1340的一个或多个计算机可读介质。存储器1310可以被实现为例如硬盘和驱动、诸如压缩盘的可移动介质、只读存储器(ROM)或随机存取存储器(RAM)设备或者其某种组合。处理器1320和存储器1310可以使用本领域中的普通技术人员已知的几种技术中的任意一种,例如总线,进行通信。包含在存储器1310中的计算机程序逻辑1340可以由处理器1320读取并且执行。被共同表示为I/O1330的一个或多个I/O端口和/或I/O设备也可以连接到处理器1320和存储器1310。
计算机程序逻辑1340可以包括比较代码1350。这一模块可以负责比较房间音频和内容音频的相对应的间隔的变化系数,并且产生诸如百分比差异的差异的定量指示,如上所述。计算机程序逻辑1340可以包括用于执行标准化的代码1350。这一模块可以负责使用移动平均或其它处理来执行由比较代码1350生成的数据的标准化,如上所述。计算机程序逻辑1340可以包括推断代码1370。假定标准化代码1360的结果的情况下,这一模块可以负责生成关于人类的存在或者不存在的推断。
上面描述的系统、方法和计算机程序产品可以具有多种应用。例如,如果观看者离开房间,则可以如上所述地检测人们的不存在,并且娱乐或计算机系统可以进入低功耗状态,也许通过使显示器变暗或掉电,或者通过完全关闭。按照这种方式,能够节约功率。如果正在观看所记录的介质,则当观看者离开房间时,重放可以被自动暂停。
此外,服务平台可以为观看者提供诸如银行业务、在线购物等等的服务。如上所述的人类存在检测对于这样的基于TV的服务将是有用的。例如,如果观看者正在使用TV访问银行/经纪人帐户,但是然后离开房间而没有关闭该服务,则人类存在检测能力能够用于在预定时间之后自动退出或关闭该服务。在另一种情况下,如果另一个人进入房间同时在线银行服务正在运行,则人类存在检测能够用于出于安全或隐私原因而自动关闭该银行服务。
检测人类存在也将由广告人和内容提供方使用。可以确定实际观众人数。内容提供方能够确定观看节目的人数。广告人可以使用这一信息来确定暴露于给定广告的人数。而且,广告人能够确定多少人观看了广告的特定广播,即,多少人在特定的时间和频道并且在特定节目的背景中看到了广告。这转而能够允许广告人执行成本收益分析。可以将广告的暴露与制造该广告的成本进行比较,以便确定在特定的时间和频道广播的广告是否是值得的花费。
在说明本文公开的方法和系统的功能、特征和其关系的功能构造块的帮助下在本文公开了所述方法和系统。为了描述的方便,这些功能构造块中的界限中的至少一些在本文被任意定义。可以定义可选的界限,只要适当地执行特定的功能及其关系。
尽管本文公开了各种实施例,但是应该理解,仅通过示例而非限制的方式来提出这些实施例。对于相关领域中的技术人员显而易见的是,在不偏离本文公开的方法和系统的精神和范围的情况下,可以做出形式和细节上的各种改变。因而,权利要求的广度和范围不应该由本文公开的任何示例性实施例限制。

Claims (30)

1.一种方法,包括:
在消费电子设备处接收房间音频和内容音频;
将所述房间音频和所述内容音频中的每一个划分为相对应的相等长度的间隔;
从所述房间音频和所述内容音频中的每一个提取特征;
将所述房间音频的所述特征与所述内容音频的所述特征进行比较;并且
如果在所述内容音频的所述特征与所述房间音频的所述特征之间存在显著的差异,则推断在所述消费电子设备位于其中的房间中存在一个或多个人。
2.如权利要求1所述的方法,其中:
所述内容音频包括来自所述内容的音频,并且
所述推断包括推断所述房间中的所述一个或多个人暴露于所述内容。
3.如权利要求1所述的方法,其中,在所述消费电子设备处接收所述房间音频和所述内容音频,同时经过所述设备呈现内容。
4.如权利要求1所述的方法,其中,所述提取包括,对于所述房间音频的每一个间隔和所述内容音频的每一个间隔:
确定标准差;
确定平均值;并且
如果所述平均值不为零,则计算等于所述标准差除以所述平均值的变化系数,否则将所述变化系数设置为零。
5.如权利要求4所述的方法,其中,对于所述房间音频的每一个间隔,所述提取跟随有所述房间音频的丢弃。
6.如权利要求4所述的方法,进一步包括:
通过应用傅立叶变换将所述房间音频和所述内容音频中的每一个转换到频域;并且
将带通滤波器应用于所述傅立叶变换的输出,
在所述提取之前执行上述步骤。
7.如权利要求6所述的方法,其中,所述带通滤波器的所述应用包括过滤出除了人类话音频率在其中集中的频率范围以外的频率。
8.如权利要求4所述的方法,其中,所述比较包括:
确定在所述房间音频和所述内容音频的相对应的间隔的所述变化系数之间的百分比差异,从而产生一系列百分比差异,针对包括房间音频间隔和相对应的内容音频间隔的每一对有一个百分比差异。
9.如权利要求8所述的方法,进一步包括:
通过对对于预定数量的先前间隔的所述百分比差异取平均来标准化所述百分比差异,产生标准化的百分比差异,
在所述比较之后执行上述步骤。
10.如权利要求9所述的方法,其中,所述推断包括:
如果所述标准化的百分比差异超过阈值,则推断一个或多个人存在于所述房间中;并且
如果所述标准化的百分比差异小于所述阈值,则推断没有人存在于所述房间中。
11.一种系统,包括:
可编程集成电路(PIC),包括:
第一处理器;以及
与所述第一处理器通信的PIC存储器电路,其中,所述PIC存储器电路存储第一多个处理指令,所述第一多个处理指令配置为指示所述第一处理器以便执行下列步骤:
从所采样的房间音频和所采样的内容音频中的每一个提取特征,其中,所采样的房间音频和所采样的内容音频已经被分别划分为相对应的相等长度的间隔;
第二处理器;以及
与所述第二处理器通信的存储器设备,其中,所述存储器存储第二多个处理指令,所述第二多个处理指令配置为指示所述第二处理器以便执行下列步骤:
将所述房间音频的所述特征与所述内容音频的所述特征进行比较;并且
如果在所述内容音频的所述特征与所述房间音频的所述特征之间存在显著的差异,则推断在所述系统位于其中的房间中存在一个或多个人。
12.如权利要求11所述的系统,其中:
所述内容音频包括来自内容的音频,并且
所述推断包括推断所述房间中的所述一个或多个人暴露于所述内容。
13.如权利要求11所述的系统,其中,所述第一多个处理指令进一步配置为指示所述第一处理器对用户命令做出响应而使所述所采样的房间音频静音并且防止所述所采样的房间音频到达操作系统。
14.如权利要求11所述的系统,其中,配置为指示所述第一处理器以便提取特征的所述第一多个处理指令包括配置为指示所述第一处理器执行下列操作的处理指令:
对于所述房间音频的每一个间隔和所述内容音频的每一个间隔,
确定标准差;
确定平均值;并且
如果所述平均值不为零,则计算等于所述标准差除以所述平均值的变化系数,否则将所述变化系数设置为零。
15.如权利要求14所述的系统,其中,所述第一多个处理指令进一步包括配置为指示所述第一处理器在从所采样的房间音频提取特征之后丢弃所采样的房间音频的处理指令。
16.如权利要求14所述的系统,其中,所述第一多个处理指令进一步包括配置为在指示所述第一处理器提取所述特征之前指示所述第一处理器执行下列操作的处理指令:
通过应用傅立叶变换将所述房间音频和所述内容音频中的每一个转换到频域;并且
将带通滤波器应用于所述傅立叶变换的输出。
17.如权利要求16所述的系统,其中,所述带通滤波器的所述应用包括过滤出除了人类话音频率在其中集中的频率范围以外的频率。
18.如权利要求14所述的系统,其中,配置为指示所述第二处理器对特征进行比较的所述第二多个处理指令包括配置为指示所述第二处理器执行下列操作的指令:
确定在所述房间音频和所述内容音频的相对应的间隔的所述变化系数之间的百分比差异,从而产生一系列百分比差异,针对包括房间音频间隔和相对应的内容音频间隔的每一对有一个百分比差异。
19.如权利要求18所述的系统,其中,所述第二多个处理指令进一步包括配置为指示所述第二处理器执行下列操作的指令:
通过对对于预定数量的先前间隔的所述百分比差异取平均来标准化所述百分比差异,产生标准化的百分比差异。
20.如权利要求19所述的系统,其中,配置为指示所述第二处理器推断存在的所述多个处理指令包括配置为指示所述第二处理器执行下列操作的处理指令:
如果所述标准化的百分比差异超过阈值,则推断一个或多个人存在于所述房间中;并且
如果所述标准化的百分比差异小于所述阈值,则推断没有人存在于所述房间中。
21.一种包括非暂态计算机可读介质的计算机程序产品,所述非暂态计算机可读介质具有存储在其中的计算机程序逻辑,所述计算机程序逻辑包括:
用于使第一处理器从所采样的房间音频和所采样的内容音频中的每一个提取特征的逻辑,其中,所采样的房间音频和所采样的内容音频已经分别被划分为相对应的相等长度的间隔;
用于使第二处理器将所述房间音频的所述特征与所述内容音频的所述特征进行比较的逻辑;以及
用于如果在所述内容音频的所述特征与所述房间音频的所述特征之间存在显著的差异,则使所述第二处理器推断存在一个或多个人的逻辑。
22.如权利要求21所述的计算机程序产品,其中:
所述内容音频包括来自一段内容的音频,并且
所述用于使所述第二处理器推断存在一个或多个人的逻辑包括用于使所述第二处理器推断所述房间中的所述一个或多个人暴露于所述内容的逻辑。
23.如权利要求21所述的计算机程序产品,其中,所述房间音频和内容音频已经以8kHz被采样。
24.如权利要求21所述的计算机程序产品,其中,所述用于使所述第一处理器提取特征的逻辑包括用于使所述第一处理器执行下列操作的逻辑:
对于所述房间音频的每一个间隔和所述内容音频的每一个间隔:
确定标准差;
确定平均值;并且
如果所述平均值不为零,则计算等于所述标准差除以所述平均值的变化系数,否则将所述变化系数设置为零。
25.如权利要求24所述的计算机程序产品,进一步包括用于使所述第一处理器在从所采样的房间音频提取特征之后丢弃所采样的房间音频的逻辑。
26.如权利要求24所述的计算机程序产品,进一步包括:
用于使所述第一处理器通过应用傅立叶变换来将所述房间音频和所述内容音频中的每一个转换到频域的逻辑;以及
用于使所述第一处理器将带通滤波器应用于所述傅立叶变换的输出的逻辑,
其中,所述傅立叶变换的应用和所述带通滤波器的应用在所述特征的所述提取之前执行。
27.如权利要求26所述的计算机程序产品,其中,所述用于使所述第一处理器应用带通滤波器的逻辑包括:
用于使所述第一处理器过滤出除了人类话音频率在其中集中的频率范围以外的频率的逻辑。
28.如权利要求24所述的计算机程序产品,其中,所述用于使所述第二处理器对特征进行比较的逻辑包括:
用于使所述第二处理器确定在所述房间音频和所述内容音频的相对应的间隔的所述变化系数之间的百分比差异的逻辑,从而产生一系列百分比差异,针对包括房间音频间隔和相对应的内容音频间隔的每一对有一个百分比差异。
29.如权利要求28所述的计算机程序产品,进一步包括:
用于使所述第二处理器通过对对于预定数量的先前间隔的所述百分比差异取平均来标准化所述百分比差异的逻辑,产生标准化的百分比差异。
30.如权利要求29所述的计算机程序产品,其中,所述用于使所述第二处理器推断存在一个或多个人的逻辑包括:
用于如果所述标准化的百分比差异超过阈值,则使所述第二处理器推断一个或多个人存在于所述房间中的逻辑;以及
用于如果所述标准化的百分比差异小于所述阈值,则使所述第二处理器推断没有人存在于所述房间中的逻辑。
CN201180073043.7A 2011-08-25 2011-08-25 用于基于音频的人类存在检测的系统和方法以及计算机程序产品 Expired - Fee Related CN103748892B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/049228 WO2013028204A1 (en) 2011-08-25 2011-08-25 System and method and computer program product for human presence detection based on audio

Publications (2)

Publication Number Publication Date
CN103748892A true CN103748892A (zh) 2014-04-23
CN103748892B CN103748892B (zh) 2017-04-05

Family

ID=47746738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073043.7A Expired - Fee Related CN103748892B (zh) 2011-08-25 2011-08-25 用于基于音频的人类存在检测的系统和方法以及计算机程序产品

Country Status (4)

Country Link
US (1) US10082574B2 (zh)
EP (1) EP2749036B1 (zh)
CN (1) CN103748892B (zh)
WO (1) WO2013028204A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013028204A1 (en) 2011-08-25 2013-02-28 Intel Corporation System and method and computer program product for human presence detection based on audio
US10547658B2 (en) * 2017-03-23 2020-01-28 Cognant Llc System and method for managing content presentation on client devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000198412A (ja) * 1999-01-07 2000-07-18 Yazaki Corp 乗員検知装置
WO2001093578A1 (en) * 2000-05-31 2001-12-06 Keen Personal Media System and method for displaying a personalized portal screen upon initiation of a viewing session
US20040240676A1 (en) * 2003-05-26 2004-12-02 Hiroyuki Hashimoto Sound field measurement device
TW200516467A (en) * 2003-09-17 2005-05-16 Nielsen Media Res Inc Methods and apparatus to operate an audience metering device with voice commands
US7134130B1 (en) * 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
CN101077014A (zh) * 2004-08-09 2007-11-21 尼尔逊媒介研究股份有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
US20100162285A1 (en) * 2007-09-11 2010-06-24 Yossef Gerard Cohen Presence Detector and Method for Estimating an Audience

Family Cites Families (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4769697A (en) 1986-12-17 1988-09-06 R. D. Percy & Company Passive television audience measuring systems
US5644723A (en) 1989-05-01 1997-07-01 Credit Verification Corporation Method and system for selective incentive point-of-sale marketing in response to customer shopping histories
US5515098A (en) 1994-09-08 1996-05-07 Carles; John B. System and method for selectively distributing commercial messages over a communications network
US5911773A (en) 1995-07-24 1999-06-15 Aisin Aw Co., Ltd. Navigation system for vehicles
JP3790602B2 (ja) 1997-04-25 2006-06-28 富士ゼロックス株式会社 情報共有装置
WO1999007148A1 (en) 1997-08-01 1999-02-11 Scientific-Atlanta, Inc. Authorization of services in a conditional access system
US7761345B1 (en) 1998-04-21 2010-07-20 Socrates Holding GmbH Decision aid
US7240022B1 (en) 1998-05-19 2007-07-03 Mypoints.Com Inc. Demographic information gathering and incentive award system and method
US6327318B1 (en) 1998-06-30 2001-12-04 Mosaid Technologies Incorporated Process, voltage, temperature independent switched delay compensation scheme
JP4003314B2 (ja) 1998-09-03 2007-11-07 富士ゼロックス株式会社 個人プロファイル管理装置
JP3488104B2 (ja) 1998-11-18 2004-01-19 富士通株式会社 移動体の特性抽出装置,特性抽出方法およびそのプログラム記録媒体
US7260823B2 (en) 2001-01-11 2007-08-21 Prime Research Alliance E., Inc. Profiling and identification of television viewers
US6334110B1 (en) 1999-03-10 2001-12-25 Ncr Corporation System and method for analyzing customer transactions and interactions
US8943527B2 (en) 1999-03-30 2015-01-27 Tivo Inc. Audience measurement system
US7302429B1 (en) 1999-04-11 2007-11-27 William Paul Wanker Customizable electronic commerce comparison system and method
US6941197B1 (en) 1999-07-07 2005-09-06 The Regents Of The University Of California Vehicle sharing system and method with vehicle parameter tracking
US6947881B1 (en) 1999-07-07 2005-09-20 Honda Giken Kogyo Kabushiki Kaisha Shared vehicle system and method with vehicle relocation
US6708335B1 (en) 1999-08-18 2004-03-16 Webtv Networks, Inc. Tracking viewing behavior of advertisements on a home entertainment system
US6401034B1 (en) 1999-09-02 2002-06-04 Navigation Technologies Corp. Method and system for finding intermediate destinations with a navigation system
US7072942B1 (en) 2000-02-04 2006-07-04 Microsoft Corporation Email filtering methods and systems
AU3433401A (en) 2000-02-24 2001-09-03 Metra Inzeniring D.O.O. Device and process for enabling voluntary exchange of data for electronic points
AU2001249080A1 (en) 2000-02-29 2001-09-12 Expanse Networks, Inc. Privacy-protected targeting system
AU2001250891A1 (en) 2000-03-21 2001-10-03 Greg A. Piccionelli System and process for distribution of information on a communication network
WO2001084338A2 (en) 2000-05-02 2001-11-08 Sun Microsystems, Inc. Cluster configuration repository
US6766524B1 (en) 2000-05-08 2004-07-20 Webtv Networks, Inc. System and method for encouraging viewers to watch television programs
US20020023002A1 (en) 2000-07-26 2002-02-21 Phillip Staehelin System and method for offline advertising
AU2001273692A1 (en) 2000-09-01 2002-03-13 Moxi Digital Inc. System and method for intelligent buffering and bandwidth allocation
KR100481443B1 (ko) 2000-09-26 2005-04-08 주식회사 지피에스아이 인터넷을 이용한 위성 위치 확인 시스템 관련 정보 서비스방법 및 시스템
JP4432246B2 (ja) * 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
WO2002032136A2 (en) 2000-10-10 2002-04-18 Koninklijke Philips Electronics N.V. Device control via image-based recognition
US20020072952A1 (en) 2000-12-07 2002-06-13 International Business Machines Corporation Visual and audible consumer reaction collection
US20020078444A1 (en) 2000-12-15 2002-06-20 William Krewin System and method for the scaleable delivery of targeted commercials
EP1217560A1 (en) 2000-12-22 2002-06-26 William Bottigelli Method of incentive delivery of interactive advertisement contents inside an internet domain characterized by user profiling
KR100475496B1 (ko) 2001-03-08 2005-03-10 김석배 인터넷에서의 광고 방법
GB2373887A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Context dependent operation, including power management, of a mobile computer
US7092926B2 (en) 2001-04-06 2006-08-15 Sedna Patent Services, Llc Method and apparatus for identifying unique client users from user behavioral data
US20020156677A1 (en) 2001-04-18 2002-10-24 Peters Marcia L. Method and system for providing targeted advertising in public places and carriers
US20020174025A1 (en) 2001-05-17 2002-11-21 Hind John R. Method and system for providing targeted advertising and personalized customer services
US7730509B2 (en) 2001-06-08 2010-06-01 Invidi Technologies Corporation Asset delivery reporting in a broadcast network
JP2002366550A (ja) 2001-06-08 2002-12-20 Fujitsu Ltd 個人情報管理装置、個人情報管理方法、記録媒体およびプログラム
US7503480B2 (en) 2001-07-10 2009-03-17 American Express Travel Related Services Company, Inc. Method and system for tracking user performance
US7162522B2 (en) 2001-11-02 2007-01-09 Xerox Corporation User profile classification by web usage analysis
JP4240874B2 (ja) 2001-11-09 2009-03-18 日本電気株式会社 情報提供システム、情報端末、情報提供装置、判定装置及びそれらに用いるプログラム並びに情報提供方法
US7509393B2 (en) 2001-12-19 2009-03-24 International Business Machines Corporation Method and system for caching role-specific fragments
US7124353B2 (en) 2002-01-14 2006-10-17 International Business Machines Corporation System and method for calculating a user affinity
US20040039629A1 (en) 2002-05-23 2004-02-26 Kevin Hoffman Web based method and system for managing and transferring business information
US8429042B2 (en) 2002-05-30 2013-04-23 Goldman, Sachs & Co. Methods for performing data processing operations associated with securities and security structures
US20040003392A1 (en) 2002-06-26 2004-01-01 Koninklijke Philips Electronics N.V. Method and apparatus for finding and updating user group preferences in an entertainment system
JP3867627B2 (ja) * 2002-06-26 2007-01-10 ソニー株式会社 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
JP2005537708A (ja) 2002-08-21 2005-12-08 ディズニー エンタープライゼス インコーポレイテッド デジタルホームムービーライブラリ
JP4140326B2 (ja) 2002-09-17 2008-08-27 日産自動車株式会社 情報提供装置、情報提供用プログラムおよび情報提供方法
US7318056B2 (en) 2002-09-30 2008-01-08 Microsoft Corporation System and method for performing click stream analysis
JP2004171343A (ja) 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 個人情報の分散開示制御方法及びシステム
JP2004258872A (ja) 2003-02-25 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> 個人情報に基づく情報提供方法及びシステム
US7441195B2 (en) 2003-03-04 2008-10-21 Omniture, Inc. Associating website clicks with links on a web page
WO2004090472A1 (ja) 2003-04-03 2004-10-21 Pioneer Corporation ナビゲーション装置、ナビゲーション方法、経路データ生成プログラム、経路データ生成プログラムを記録した記録媒体、および、ナビゲーションシステムにおけるサーバ装置
US7457828B2 (en) 2003-08-29 2008-11-25 Sap Ag System and method for synchronizing distributed buffers when committing data to a database
US11042886B2 (en) 2003-09-04 2021-06-22 Google Llc Systems and methods for determining user actions
US20070121845A1 (en) 2003-10-06 2007-05-31 Utbk, Inc. Methods and apparatuses for offline selection of pay-per-call advertisers via visual advertisements
US7366683B2 (en) 2003-10-06 2008-04-29 Utbk, Inc. Methods and apparatuses for offline selection of pay-per-call advertisers
US7115319B2 (en) 2003-10-08 2006-10-03 Honeywell International, Inc. Braze-based protective coating for silicon nitride
WO2005043279A2 (en) 2003-10-31 2005-05-12 Disksites Research And Development Ltd. Device, system and method for storage and access of computer files
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
US8065227B1 (en) 2003-12-31 2011-11-22 Bank Of America Corporation Method and system for producing custom behavior scores for use in credit decisioning
US20050228553A1 (en) 2004-03-30 2005-10-13 Williams International Co., L.L.C. Hybrid Electric Vehicle Energy Management System
US20070299671A1 (en) * 2004-03-31 2007-12-27 Ruchika Kapur Method and apparatus for analysing sound- converting sound into information
CA2563834C (en) 2004-04-23 2016-08-16 Nielsen Media Research, Inc. Methods and apparatus to maintain audience privacy while determining viewing of video-on-demand programs
US7363151B2 (en) 2004-06-21 2008-04-22 Matsushita Electric Industrial Co., Ltd. Map error information obtaining system and map error information obtaining method
JP4681556B2 (ja) 2004-06-25 2011-05-11 パイオニア株式会社 交通状況報知装置
US8484308B2 (en) 2004-07-02 2013-07-09 MatrixStream Technologies, Inc. System and method for transferring content via a network
US9344765B2 (en) 2004-07-30 2016-05-17 Broadband Itv, Inc. Dynamic adjustment of electronic program guide displays based on viewer preferences for minimizing navigation in VOD program selection
WO2006042265A2 (en) 2004-10-11 2006-04-20 Nextumi, Inc. System and method for facilitating network connectivity based on user characteristics
US20060090131A1 (en) 2004-10-26 2006-04-27 Kumagai Hiroyuki S Multi-media user terminal for a presentation medium
US8930358B2 (en) 2004-10-26 2015-01-06 Yahoo! Inc. System and method for presenting search results
US7835859B2 (en) 2004-10-29 2010-11-16 Aol Inc. Determining a route to a destination based on partially completed route
US7831384B2 (en) 2004-10-29 2010-11-09 Aol Inc. Determining a route to destination based on partially completed route
US7636785B2 (en) 2004-11-16 2009-12-22 Microsoft Corporation Heuristic determination of user origin
US7882043B2 (en) 2005-01-07 2011-02-01 International Business Machines Corporation Method and apparatuses for facilitating spontaneous shopping collaboration
AU2006204872B2 (en) 2005-01-12 2011-09-15 Invidi Technologies Corporation Targeted impression model for broadcast network asset delivery
WO2006083939A2 (en) 2005-01-31 2006-08-10 4Info, Inc. Prioritization of search responses system and method
US8768766B2 (en) 2005-03-07 2014-07-01 Turn Inc. Enhanced online advertising system
US8014762B2 (en) 2005-03-31 2011-09-06 Qualcomm Incorporated Time and location-based non-intrusive advertisements and informational messages
US8214264B2 (en) 2005-05-02 2012-07-03 Cbs Interactive, Inc. System and method for an electronic product advisor
US8131861B2 (en) 2005-05-20 2012-03-06 Webtrends, Inc. Method for cross-domain tracking of web site traffic
KR101149725B1 (ko) 2005-05-27 2012-06-08 한라공조주식회사 열교환기
KR20060122372A (ko) 2005-05-27 2006-11-30 박상인 전자상거래에서의 적립금 활용하기
US20060271425A1 (en) 2005-05-27 2006-11-30 Microsoft Corporation Advertising in application programs
JP2006350813A (ja) 2005-06-17 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 個人情報保護運用システムおよび個人情報保護運用方法
US8302030B2 (en) 2005-09-14 2012-10-30 Jumptap, Inc. Management of multiple advertising inventories using a monetization platform
US8364540B2 (en) 2005-09-14 2013-01-29 Jumptap, Inc. Contextual targeting of content using a monetization platform
US10592930B2 (en) 2005-09-14 2020-03-17 Millenial Media, LLC Syndication of a behavioral profile using a monetization platform
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
US8024112B2 (en) 2005-09-29 2011-09-20 Microsoft Corporation Methods for predicting destinations from partial trajectories employing open-and closed-world modeling methods
US20070088801A1 (en) 2005-10-17 2007-04-19 Zohar Levkovitz Device, system and method of delivering targeted advertisements using wireless application protocol
US20070106468A1 (en) 2005-11-07 2007-05-10 France Telecom Product, service and activity based interactive trip mapping system, method, and computer program product
KR100776201B1 (ko) 2005-12-10 2007-11-16 주식회사 지에스홈쇼핑 전자상거래를 위한 홈네트워크와 연계된 데이터방송 방법및 그 시스템
US7827208B2 (en) 2006-08-11 2010-11-02 Facebook, Inc. Generating a feed of stories personalized for members of a social network
US8402094B2 (en) 2006-08-11 2013-03-19 Facebook, Inc. Providing a newsfeed based on user affinity for entities and monitored actions in a social network environment
JP4861004B2 (ja) 2005-12-27 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ サービス推薦システム、及び、サービス推薦方法
US20080114651A1 (en) 2006-02-02 2008-05-15 Microsoft Corporation Omaha - user price incentive model
AU2007219997A1 (en) 2006-02-28 2007-09-07 Buzzlogic, Inc. Social analytics system and method for analyzing conversations in social media
JP5087850B2 (ja) 2006-03-14 2012-12-05 富士通株式会社 サービス仲介方法、サービス仲介装置及びサービス仲介システム
US20070220010A1 (en) 2006-03-15 2007-09-20 Kent Thomas Ertugrul Targeted content delivery for networks
US20070239527A1 (en) 2006-03-17 2007-10-11 Adteractive, Inc. Network-based advertising trading platform and method
US20070239533A1 (en) 2006-03-31 2007-10-11 Susan Wojcicki Allocating and monetizing advertising space in offline media through online usage and pricing model
US20070255617A1 (en) 2006-04-27 2007-11-01 Microsoft Corporation Offline advertisement serving and presentation
CN107103489B (zh) 2006-05-02 2021-09-28 英维迪技术公司 一种用于在广播网络中为有用资源确定目标的方法和设备
US8775252B2 (en) 2006-05-04 2014-07-08 National Ict Australia Limited Electronic media system
US7756534B2 (en) 2006-05-19 2010-07-13 Alcatel-Lucent Usa Inc. Provision of location-based services utilizing user movement statistics
US7975310B2 (en) 2006-06-14 2011-07-05 Microsoft Corporation Offline playback of advertising supported media
US7657626B1 (en) 2006-09-19 2010-02-02 Enquisite, Inc. Click fraud detection
US7675414B2 (en) 2006-08-10 2010-03-09 Qualcomm Incorporated Methods and apparatus for an environmental and behavioral adaptive wireless communication device
EP2052335A4 (en) 2006-08-18 2010-11-17 Sony Corp SYSTEM AND METHOD FOR SELECTIVE ACCESS TO MULTIMEDIA CONTENT VIA A RECOMMENDATION ENGINE
TW200811703A (en) * 2006-08-23 2008-03-01 Asustek Comp Inc Voice control method
US7778987B2 (en) 2006-10-06 2010-08-17 Microsoft Corporation Locally storing web-based database data
WO2008047363A2 (en) 2006-10-19 2008-04-24 Taboola.Com Ltd. Method and system for content composition
US7814234B2 (en) 2006-10-30 2010-10-12 Microsoft Corporation Offline execution of web based applications
US8402356B2 (en) 2006-11-22 2013-03-19 Yahoo! Inc. Methods, systems and apparatus for delivery of media
US20080120308A1 (en) 2006-11-22 2008-05-22 Ronald Martinez Methods, Systems and Apparatus for Delivery of Media
JP2008152564A (ja) 2006-12-18 2008-07-03 Orion Denki Kk 携帯情報端末装置及びコンテンツ配信システム
US20080154720A1 (en) 2006-12-20 2008-06-26 Microsoft Corporation Shopping route optimization and personalization
US20080222283A1 (en) 2007-03-08 2008-09-11 Phorm Uk, Inc. Behavioral Networking Systems And Methods For Facilitating Delivery Of Targeted Content
EP1939797A1 (en) 2006-12-23 2008-07-02 NTT DoCoMo, Inc. Method and apparatus for automatically determining a semantic classification of context data
US20080162186A1 (en) 2006-12-28 2008-07-03 Michael Jones System and method for diet and exercise
US20100316218A1 (en) 2007-02-06 2010-12-16 Nec Corporation Personal information managing device for falsification prevention of personal information and non repudiation of personal information circulation
US20100281042A1 (en) 2007-02-09 2010-11-04 Novarra, Inc. Method and System for Transforming and Delivering Video File Content for Mobile Devices
WO2008101033A2 (en) 2007-02-14 2008-08-21 Ripple Networks, Inc. Methods and systems for self-service programing of content and advertising in digital out-of-home networks
US20080215348A1 (en) 2007-03-02 2008-09-04 Marc Guldimann System and methods for advertisement and event promotion
US20080221987A1 (en) 2007-03-07 2008-09-11 Ebay Inc. System and method for contextual advertisement and merchandizing based on an automatically generated user demographic profile
US8386310B2 (en) 2007-03-20 2013-02-26 Yahoo! Inc. System for measuring web traffic related to an offline advertising campaign
JP5114994B2 (ja) 2007-03-27 2013-01-09 日本電気株式会社 自動収集システム、通信端末、サーバー、自動収集方法、及びプログラム
US7966638B2 (en) 2007-03-30 2011-06-21 Google Inc. Interactive media display across devices
EP2150902A4 (en) 2007-04-22 2012-03-21 Phone Through Inc METHODS AND APPARATUS ASSOCIATED WITH CONTENT SHARING BETWEEN DEVICES
US7904461B2 (en) 2007-05-01 2011-03-08 Google Inc. Advertiser and user association
US7983926B2 (en) 2007-06-08 2011-07-19 Conopco, Inc. Purchases method and system
JP2010531626A (ja) 2007-06-25 2010-09-24 ジャンプタップ,インコーポレイテッド モバイルコンテンツの一部に関連するコンテキストデータ及び挙動データに基づくモバイル通信設備へのコンテンツの提供
US8745060B2 (en) 2007-07-25 2014-06-03 Yahoo! Inc. Indexing and searching content behind links presented in a communication
KR20090014846A (ko) 2007-08-07 2009-02-11 삼성전자주식회사 맞춤형 정보 표시 방법 및 브라우저 에이전트
US7882056B2 (en) 2007-09-18 2011-02-01 Palo Alto Research Center Incorporated Method and system to predict and recommend future goal-oriented activity
US8108405B2 (en) 2007-10-05 2012-01-31 Fujitsu Limited Refining a search space in response to user input
EP2202486B1 (en) 2007-10-23 2012-12-12 Panasonic Corporation Destination display device and destination display method
CN100544408C (zh) 2007-10-29 2009-09-23 上海文广新闻传媒集团 一种基于二层结构的媒资系统及输入输出方法
US20090172035A1 (en) 2007-12-31 2009-07-02 Pieter Lessing System and method for capturing and storing casino information in a relational database system
US8161505B2 (en) 2007-12-31 2012-04-17 The Partnership Of Jeffrey R. Lloyd And Frank Westcott Interactive television system
US9959547B2 (en) 2008-02-01 2018-05-01 Qualcomm Incorporated Platform for mobile advertising and persistent microtargeting of promotions
WO2009100460A1 (en) 2008-02-07 2009-08-13 Epic Advertising, Inc. Systems and methods for measuring the effectiveness of advertising
US8015144B2 (en) 2008-02-26 2011-09-06 Microsoft Corporation Learning transportation modes from raw GPS data
US7974873B2 (en) 2008-03-06 2011-07-05 Now On Wireless, Llc Just in time pickup or receipt of goods or services by a mobile user
US8112301B2 (en) * 2008-04-14 2012-02-07 Tra, Inc. Using consumer purchase behavior for television targeting
US8000993B2 (en) 2008-04-14 2011-08-16 Tra, Inc. Using consumer purchase behavior for television targeting
US8055673B2 (en) 2008-06-05 2011-11-08 Yahoo! Inc. Friendly search and socially augmented search query assistance layer
US8495190B2 (en) 2008-06-25 2013-07-23 International Business Machines Corporation Providing access by a client application program over an internet protocol (IP) network to a server application program instance
US9276747B2 (en) 2008-08-04 2016-03-01 Technology Policy Associates, Llc Remote profile security system
US8606651B2 (en) 2008-09-05 2013-12-10 Sony Corporation Generation of home network use recommendations based on collected metadata of prior connected items
US20100082432A1 (en) 2008-09-30 2010-04-01 Yahoo! Inc. Systems and methods for providing constraint-based advertising
US8478642B2 (en) 2008-10-20 2013-07-02 Carnegie Mellon University System, method and device for predicting navigational decision-making behavior
US8719208B2 (en) 2008-10-29 2014-05-06 Microsoft Corporation Certainty factor decay
EP2350946B1 (en) 2008-11-03 2018-02-28 Telefonaktiebolaget LM Ericsson (publ) Pre-fetching of data in a mobile communications environment
US20100114864A1 (en) 2008-11-06 2010-05-06 Leedor Agam Method and system for search engine optimization
US8271413B2 (en) 2008-11-25 2012-09-18 Google Inc. Providing digital content based on expected user behavior
US8989106B2 (en) 2009-02-27 2015-03-24 Qualcomm Incorporated Methods and apparatuses for scheduling uplink request spatial division multiple access (RSDMA) messages in an SDMA capable wireless LAN
US9547865B2 (en) 2009-03-30 2017-01-17 Ebay Inc. System and method for providing advertising server optimization for online computer users
US11076189B2 (en) 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
US8204800B2 (en) 2009-05-19 2012-06-19 Nokia Corporation Method and apparatus for displaying purchasing information on a mobile device
US8307068B2 (en) 2009-06-17 2012-11-06 Volonics Corporation Supervised access computer network router
US20110010433A1 (en) 2009-07-10 2011-01-13 Microsoft Corporation Targeted presentation and delivery of themes
US20110072452A1 (en) 2009-09-23 2011-03-24 Rovi Technologies Corporation Systems and methods for providing automatic parental control activation when a restricted user is detected within range of a device
US8984548B2 (en) * 2009-09-29 2015-03-17 At&T Intellectual Property I, L.P. Applied automatic demographic analysis
US20110137975A1 (en) 2009-12-04 2011-06-09 Authernative, Inc. Secure profiling method providing privacy in social networking systems
US20110251918A1 (en) 2009-12-15 2011-10-13 Mark D Yarvis Recommendation-guided internet purchases utlizing context derived from a constellation of devices
WO2011075119A1 (en) 2009-12-15 2011-06-23 Intel Corporation Systems, apparatus and methods using probabilistic techniques in trending and profiling and template-based predictions of user behavior in order to offer recommendations
US20110251788A1 (en) 2009-12-15 2011-10-13 Yarvis Mark D Goals based route optimization
US20110264613A1 (en) 2009-12-15 2011-10-27 Yarvis Mark D Methods, apparatus and systems using probabilistic techniques in trending and profiling
US20110264553A1 (en) 2009-12-15 2011-10-27 Yarvis Mark D Systems, apparatus and methods capable of delivering purchase recommendations based on an interactive mobile shopping applications
US20110246300A1 (en) 2009-12-15 2011-10-06 Yarvis Mark D Techniques to determe when an internet user is in-market for a specific product and determining general shopping preferences and habits of internet users
US20110251990A1 (en) 2009-12-15 2011-10-13 Yarvis Mark D Techniques for template-based predictions and recommendations
US20110246469A1 (en) 2009-12-15 2011-10-06 Yarvis Mark D Techniques to capture context and location information and utilize heuristics to turn location tracked over time and context information into semantic location information
US20120246000A1 (en) 2009-12-15 2012-09-27 Yarvis Mark D Techniques to capture context and location information and utilize heuristics to turn location tracked over time and context information into semantic location information
US20110246214A1 (en) 2009-12-15 2011-10-06 Yarvis Mark D Techniques to identify in-market purchasing interests
US20110246283A1 (en) 2009-12-18 2011-10-06 Yarvis Mark D Approval service based techniques for offering context to service providers utilizing incentives
US20110247029A1 (en) 2009-12-18 2011-10-06 Yarvis Mark D Techniques for offering context to service providers utilizing incentives
US20110247030A1 (en) 2009-12-18 2011-10-06 Yarvis Mark D Incentives based techniques for offering context to service providers utilizing syncronizing profile stores
EP2513859A4 (en) 2009-12-18 2014-03-19 Intel Corp PROCEDURE FOR THE OFFER OF CONTEXT TO SERVICE PROVIDERS WITH INCENTIVES AND USER-CONTROLLED DATA PROTECTION
US20110246213A1 (en) 2009-12-18 2011-10-06 Yarvis Mark D Techniques for offering context to service providers utilizing an approval service and incentives utlizing online secure profile storage
US8347325B2 (en) 2009-12-22 2013-01-01 Vizio, Inc. System, method and apparatus for viewer detection and action
US8621046B2 (en) 2009-12-26 2013-12-31 Intel Corporation Offline advertising services
US8527336B2 (en) 2010-03-04 2013-09-03 Sanjay Kothari Payment method decision engine
US9357565B2 (en) 2010-03-09 2016-05-31 Qualcomm Incorporated Multi-user uplink communication using EDCA with polling
US20110258203A1 (en) 2010-04-16 2011-10-20 Wouhaybi Rita H Methods and systems for relationship characterization and utilization from a user's social networks
US8538835B2 (en) 2010-05-28 2013-09-17 Time Warner Cable Enterprises Llc Methods and apparatus for supporting electronic requests for information and promotions on multiple device platforms in an integrated manner
US20110321073A1 (en) 2010-06-23 2011-12-29 Yarvis Mark D Techniques for customization
US8429685B2 (en) 2010-07-09 2013-04-23 Intel Corporation System and method for privacy-preserving advertisement selection
US20120079521A1 (en) 2010-09-23 2012-03-29 Garg Sharad K Incentivizing advertisement viewing and validating associated purchase
US8645743B2 (en) 2010-11-22 2014-02-04 Apple Inc. Mechanism for an efficient DLL training protocol during a frequency change
US20120253920A1 (en) 2011-04-01 2012-10-04 Yarvis Mark D System and method for viewership validation based on cross-device contextual inputs
US20120304206A1 (en) 2011-05-26 2012-11-29 Verizon Patent And Licensing, Inc. Methods and Systems for Presenting an Advertisement Associated with an Ambient Action of a User
WO2013028204A1 (en) 2011-08-25 2013-02-28 Intel Corporation System and method and computer program product for human presence detection based on audio
US8515828B1 (en) 2012-05-29 2013-08-20 Google Inc. Providing product recommendations through keyword extraction from negative reviews

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134130B1 (en) * 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
JP2000198412A (ja) * 1999-01-07 2000-07-18 Yazaki Corp 乗員検知装置
WO2001093578A1 (en) * 2000-05-31 2001-12-06 Keen Personal Media System and method for displaying a personalized portal screen upon initiation of a viewing session
US20040240676A1 (en) * 2003-05-26 2004-12-02 Hiroyuki Hashimoto Sound field measurement device
TW200516467A (en) * 2003-09-17 2005-05-16 Nielsen Media Res Inc Methods and apparatus to operate an audience metering device with voice commands
CN101077014A (zh) * 2004-08-09 2007-11-21 尼尔逊媒介研究股份有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
US20100162285A1 (en) * 2007-09-11 2010-06-24 Yossef Gerard Cohen Presence Detector and Method for Estimating an Audience

Also Published As

Publication number Publication date
EP2749036A4 (en) 2015-06-10
US20140340992A1 (en) 2014-11-20
CN103748892B (zh) 2017-04-05
WO2013028204A1 (en) 2013-02-28
US10082574B2 (en) 2018-09-25
EP2749036A1 (en) 2014-07-02
EP2749036B1 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
CN104429091B (zh) 用于识别媒体的方法和装置
CN105229629B (zh) 用于估计对媒体内容的用户兴趣的方法、电子设备和介质
CN107613392B (zh) 信息处理方法、装置、终端设备及存储介质
CN107645686A (zh) 信息处理方法、装置、终端设备及存储介质
US20130345840A1 (en) Method and system for detecting users&#39; emotions when experiencing a media program
CN104023247A (zh) 获取、推送信息的方法和装置以及信息交互系统
US10757468B2 (en) Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
WO2013169935A1 (en) Methods and apparatuses for communication of audio tokens
CN104335591A (zh) 用于基于上下文的媒体的自适应递送的系统
CN105100911A (zh) 智能多媒体系统和方法
KR102208822B1 (ko) 음성 인식 장치, 방법 그리고 이를 위한 사용자 인터페이스 표시 방법
CN108134951A (zh) 用于推荐播放内容的方法和装置
CN110047497B (zh) 背景音频信号滤除方法、装置及存储介质
CN103594083A (zh) 通过电视伴音自动识别电视节目的技术
CN106792253A (zh) 音效处理方法和系统
CN114339392B (zh) 视频剪辑方法、装置、计算机设备及存储介质
CN103748892A (zh) 用于基于音频的人类存在检测的系统和方法以及计算机程序产品
CN108960213A (zh) 目标跟踪方法、装置、存储介质及终端
US9569716B2 (en) System and method for distributing audio-based data tags
CN109451254A (zh) 一种智能电视数字接收机
CN107564534A (zh) 音频品质鉴定方法和装置
CN112312208A (zh) 多媒体信息的处理方法、装置、存储介质和电子设备
CN109634554A (zh) 用于输出信息的方法和装置
US11277663B2 (en) Systems and methods for providing survey data
CN116758934B (zh) 一种智能穿戴设备对讲功能的实现方法、系统及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170405

Termination date: 20190825