CN105474652B - 用于用户监控和意图判断的系统和方法 - Google Patents

用于用户监控和意图判断的系统和方法 Download PDF

Info

Publication number
CN105474652B
CN105474652B CN201480047129.6A CN201480047129A CN105474652B CN 105474652 B CN105474652 B CN 105474652B CN 201480047129 A CN201480047129 A CN 201480047129A CN 105474652 B CN105474652 B CN 105474652B
Authority
CN
China
Prior art keywords
user
event
assembly apparatus
interface
multiple assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480047129.6A
Other languages
English (en)
Other versions
CN105474652A (zh
Inventor
阿沙姆·哈塔姆贝可伊
保罗·D·阿林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universal Electronics Inc
Original Assignee
Universal Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/925,966 external-priority patent/US9137570B2/en
Application filed by Universal Electronics Inc filed Critical Universal Electronics Inc
Publication of CN105474652A publication Critical patent/CN105474652A/zh
Application granted granted Critical
Publication of CN105474652B publication Critical patent/CN105474652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4826End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Abstract

与家庭娱乐系统相关联的传感接口用于使系统自动相应发生在与家庭娱乐系统相关联的观看区域中的事件。来源于这种传感接口的数据也可用于增强一种或多种系统组件的响应准备。更进一步而言,来源于这种传感接口的用户存在数据可用于获取和报告用户观看习惯和/或偏好。

Description

用于用户监控和意图判断的系统和方法
相关申请信息
本申请主张2013年2月4日提交的美国申请第13/758,307号的权益,并且是该申请的部分继续申请,该申请的公开内容通过引用全文并入本文中。
背景技术
包括多个装置(appliance)和/或用于对这些装置发出指令的控制装置的家庭娱乐系统可配置有经由诸如手势、语音、面部识别、空间分析等方法来检测用户存在和/或用户交互的装置,这是本领域中已知的。此外,诸如智能电话、平板计算机等的个人通讯装置日益增长的使用可提供经由检测诸如WiFi网络、蓝牙网络等的局域无线网络上的这些个人通讯装置来识别用户存在的额外方法。虽然多个媒体源和多个媒体呈现装置可通过中央路由装置,诸如AV接收器、机顶盒、智能电视等结合在许多这样的家庭娱乐系统中,但目前不存在单独利用用户存在和/或用户交互检测或利用其与中央路由装置的组合来提供增强的家庭娱乐系统功能的系统或方法。
发明内容
本发明通常涉及家庭娱乐系统及其控制方法,并特别涉及这些家庭娱乐系统的增强功能,所述增强功能通过用于这种系统的额外的用户相关的输入方法来实现。例如,在本发明的一个方面,可使用传感接口,诸如图像传感接口(例如,与照相机相关联的接口)、声音传感接口(例如,与麦克风相关联的接口),和/或用于感测诸如智能电话的射频(RF)装置的存在的接口,来完全地或部分地使系统自动相应电视观看期间可能发生的常见事件,诸如一个或多个用户离开或进入观看区域、用户回答电话呼叫、检测门铃响起或婴儿监视器警报等。在本发明的另一个方面,例如,通过感测用户何时伸手去拿物理遥控单元或准备发出声音或手势指令的组件,可利用来源于这些传感接口的数据来增强一个或多个系统组件的响应能力。在本发明的又一个方面,中央路由装置可使用来源于这些传感接口的用户存在数据以及媒体流信息,以便获取和报告用户的观看习惯和/或偏好。
根据下面的详细说明以及附图,能够更好地理解本发明的目的、优点、特征、性质和关系,所述详细说明和附图阐明说明性实施方式且其指示了可以应用本发明原理的各种方式。
附图说明
为了更好的理解本发明的各个方面,可参考附图中所示的优选实施方式,其中:
图1示出了可使用本发明的教导的例示性系统;
图2示出了可使用本发明的教导的另一例示性系统;
图3以方框图形式说明用于装置的例示性硬件架构,该装置可以是图1和图2中所示的系统的组件部分;
图4以方框图形式说明用于图3的说明性装置的例示性软件架构;以及
图5以流程图形式说明图4中说明的软件架构的例示性事件处理模块的操作。
具体实施方式
参考图1,可应用本发明方法的例示性家庭娱乐系统可包括用作集线器(hub)的AV接收器100,其用于将来自源装置,例如卫星或有线系统机顶盒和/或DVR装置(“STB”)104、DVD播放器106、CD播放器108或游戏机110的选定的视频和/或音频媒体流引导到目的装置,例如电视机102,其中所选择的视频和/或音频媒体流将得以呈现。在一个优选实施方式中,在装置102至110和AV接收器100之间的连接130、132一般可包括用于传送HDMI兼容的数字信号的连接,尽管可以理解的是,必要时,其它接口标准,诸如分量视频、脉冲编码调制(PCM)音频等等可由特定装置的限制来替换。在一些实施方式中,额外的AV内容流也可经由广域网诸如因特网116从例如Netflix、Vudu、YouTube、NBC在线等的流服务118获得,为此AV接收器100可配置有至因特网网关装置、例如路由器114的连接112。可以理解的是,在AV接收器100和因特网网关装置114之间的连接可以如图所示是有线的,或可以是无线的,例如WiFi局域网,视情况而定。为了支持音频和/或视频电话呼叫、会议等,并根据本发明的某些教导,例示性家庭娱乐系统还可配置有一个或多个传感接口,诸如与麦克风120和照相机122相关联的接口,其适用于在家庭娱乐系统环境内获取可听和/或可见的事件。说明性娱乐系统的用户124、126可通过任何便利方法,例如通过使用本领域已知的遥控器、声音指令、手势等等,来选择当前正在被观看的媒体流。在一些实施方式中,关于这些选择的数据,包括但不限于媒体源、频道、音轨、标题等等,以及观看持续时间、用户存在等等,可以累积并汇报给数据库服务器128,以便集合和分析用户的观看习惯和偏好,这将在下文更详细地讨论。
现参考图2,在第二说明性实施方式中,“智能”电视装置200可合并内容呈现和源流选择功能。在这种配置中,本地装置104至110可经由例如HDMI连接130直接连接到电视200的多个输入端口。按照智能电视类型的特点,电视200还可支持至广域网诸如因特网116的接线112,通过它可接收流AV内容和其它数据。用于将用户指令输入电视200和装置104至110的方法可采取控制装置204的形式,例如常规遥控或智能电话应用,其根据需要经由任何便利的红外(IR)、射频(RF)、硬连线、点对点或网络协议与所述装置通讯,以使各个目标装置执行所需操作功能。此外,在某些实施方式中,用户输入还可包括口头和/或手势指令,以代替控制装置信号或对控制装置信号进行补充,所述声音和手势可由麦克风120和照相机122接收,通过所述装置之一(例如电视200)来处理和解码,并且必要时经由例如HDMICEC指令、红外或射频信号等中继到其它目标装置,例如在共同所有的共同未决的美国专利申请13/657,176“用于优化装置控制的系统和方法”中所描述的,所述专利申请全文以引用方式并入本文中。
为了简便起见,下文论述中一般将参考图2的例示性设备配置,然而,应了解在其它实施方式中,例如图1中所说明,本文中所提供的方法的步骤经过必要的变更可通过适于特定设备配置的各种装置或装置的组合来执行。
如图3中所示出的,例示性中央路由装置,诸如智能电视装置200,根据特定应用的需要可包括呈现能力,例如电视引擎(TV engine)和媒体处理器300(应理解,取决于特定实施方式,这可以包括一个或多个物理处理器);存储器302,其可包括任何类型的可读或读/写介质,诸如RAM、ROM、FLASH、EEPROM、硬盘、光盘等等,或其组合;通用串行总线(USB)接口304;数字AV输入端口和接口,例如数字视频接口(DVI)或HDMI;模拟AV输入端口和接口,例如带有相关模拟音频的复合或分量视频;以太网和/或WiFi接口310;蓝牙接口328;带有相关照相机122的数字照相机接口312,所述照相机可外接或内置于电视200的机壳(cabinet);带有相关麦克风120的麦克风接口314,所述麦克风可外接或内置于电视200的机壳;遥控接口316,其经由红外或射频信号326接收用户启动的操作指令;连接到电视屏幕322的显示输出318;以及连接到内部或外部扬声器324的音频输出320。
为了使智能电视装置200执行一动作,可将适当的编程指令存储在存储器302(下文称为“电视编程”)以便通过电视引擎和(一个或多个)媒体处理器300来执行。这种电视编程的例示性架构呈示于图4中。如图所示,根据特定应用的需要,例示性电视编程可包括,底层操作系统402,例如LINUX,其可支持实现智能电视设备的各种功能的一组软件模块。这种软件模块可包括硬件抽象层404,以在各种应用软件模块与硬件依赖的软件模块之间提供装置独立的接口,所述硬件依赖的软件模块诸如视频输出驱动器406、音频输出驱动器408、HDMI接口410、模拟输入/输出ADC/DAC 412、以太网和/或WiFi接口414、蓝牙接口416;USB接口418、遥控接口420,以及照相机和麦克风驱动器422和423。根据特定实施方式的需要,位于抽象层404上的例示性应用模块可包括传输和会话层协议和接口管理428;AV输出管理424;输入/输出处理和路由440;支持隐藏字幕、显示配置、OSD等的杂项服务模块426;遥控指令解码器430;以及设备资源管理442。此外,与本发明的教导相一致,例示性电视编程可包括音频和可视事件检测器模块432、434,例如声音和/或图像识别引擎等;用户事件处理436;以及用户统计数据收集和报告模块438。
受此电视编程控制,智能电视装置200可例如接收来自输入端口306、308之一的AV媒体流,所述媒体流被处理、缓冲、被分成音频和视频分量,并通过指定路线发送至输出318、320,以呈现在电视显示屏幕322和(一个或多个)扬声器324上;可接收来自遥控接口316的指令,其被解码并依照其进行动作,例如用以选择输入媒体流,调节音频音量等等;可管理通过以太网或WiFi接口310到因特网的连接,以浏览内容、下载软件更新、利用来自照相机122和麦克风120的输入视频电话;等等。此外,根据本文的教导,例示性电视编程可接收和处理来自控制装置204、照相机122和/或麦克风120的输入信号以检测用户的存在,标识各个用户,和/或接收用户指令输入,这将在下文中描述。应理解的是,虽然在说明性实施方式中,音频输入信号的来源可包括配置为智能电视装置200的一部分的麦克风120和相关接口314,在替代性实施方式中,音频输入信号可通过系统中的任何其它装置获取并发送至装置200以供处理,或可来源于控制装置中配置的麦克风,所述控制装置诸如为遥控器或智能电话204,所述麦克风的输出可以例如通过控制装置204数字化和/或处理,并经由遥控接口316、WiFi接口310、蓝牙接口328,或适于特定实施方式的任何其它途径以无线方式发送到智能电视装置200。在一例示性实施方式中,电视装置200的电视编程的用户事件处理模块436(下文称为“事件处理”)在发生用户相关事件时可起如图5的流程图中所说明的作用。首先,在步骤502中,可以判断该事件是否构成接收遥控指令,这可以通过遥控指令解码器430报告。应理解,取决于特定实施方式和目前在使用的特定控制装置,可经由任何或所有的遥控接口420(例如红外或RF4CE信号等等)、以太网/WiFi接口414或蓝牙接口416来接收遥控指令。如果判断该事件构成接收遥控指令,则在步骤540中可执行所请求的功能操作。例如但不限于,这些操作可包括通过AV输出管理424执行的输出音频音量的调节、通过I/O和路由模块440执行新的媒体输入流的选择,等等。在一些实施方式中,接收的遥控指令还可包括指导其它连接装置的功能操作的请求,例如经由CEC指令控制DVD播放器106或机顶盒104,所述指令将会由HDMI连接130上的接口管理模块428发出;或者可选地经由连接的红外激发器(IR blaster)或局域网(LAN)发出,例如在共同所有的共同未决的美国专利申请13/657,176“用于优化装置控制的系统和方法”中所描述的,所述专利申请全文以引用方式并入本文中。一旦完成所请求的指令功能,接着在步骤542中可判断刚才执行的指令功能是否包括通过电视200呈现的媒体流的改变,例如选择新的输入端口306、308;改变所选择的机顶盒104的广播频道或DVR回放;改变因特网媒体源,等等。如果是这样的话,在步骤544中关于此事件的数据可以被传送到用户统计数据收集和报告模块438用于记录,并最终报告给数据库服务器128。应理解,关于新的内容流所记录的数据可包括指令参数本身的一些或全部,例如,机顶盒频道编号和时间戳;从内容源装置或频道得到的元数据项,诸如DVD标题、流视频URL等等;用于分析的音频或视频内容样本本身,其是本领域技术人员已知的,并在例如美国专利7,986,913、7,627,477或7,346,512中描述;或可以适合识别目的的任何其它数据。如果判断所执行的功能不包括当前媒体流的任何改变,随后在步骤546中可判断所执行的功能是否包括可报告的事件,例如,打开或关闭电视200(或任何其它连接的装置),在DVR回放期间发出快进指令,等等。如果是这样的话,此事件也可被报告给用户统计数据收集和报告模块438以供记录,然后遥控器指令的处理完成。在这点上,应理解可报告的装置事件,诸如打开或关闭连接的装置,还可经由来自其自身的遥控对一个装置的直接通讯分别启动。因此,虽然没有说明,但这些事件是可检测的,例如经由HDMI状态,视频或音频信号存在或不存在等等,这些事件也可被报告和记录。
如果所报告的事件不是遥控指令,则在步骤504中,接下来的事件处理可以判断所报告的事件是否构成响应于经由照相机驱动器422从照相机122接收的图像数据的分析通过可视事件检测模块432报告的图像改变事件。这种图像处理可以利用例如美国专利5,534,917、6,829,384、8,274,535、WIPO(PCT)专利申请公开文本WO2010/057683A1等中描述的技术,并且可以例如周期性地监控图像,该图像包括照相机122的视场,以便响应于检测到的超过特定阈值的图像数据的任何变化来启动图像分析。如果判断所述事件是报告检测到的图像改变,则在随后的步骤518中判断该事件是否包括用户从电视200的观看环境离开或即将离开。如果是这样的话,则视情况而定事件处理436可采取各种动作。例如,如果离开的用户是唯一的观众(或在一些实施方式中是主要用户,例如启动当前观看会话的用户,该用户相对于其余用户在系统内被提供有较高优先级,等等),则可将事件处理调整以发出“暂停”指令给当前媒体流的源。其它动作可包括但不限于,激活DVR的记录功能、退出网址等,以适于特定的实施方式和配置。如果要采取这种动作,则在步骤520,在说明性实施方式中,事件处理可以导致在电视屏幕322上显示要求确认的请求,例如“你想暂停这个节目吗?(是/否)”。如果在步骤522中被用户确认,所述确认可采取手势、口头指令、遥控输入等等形式,或在缺省设置是采取动作的实施方式中,超时,则在步骤528中所指示的动作可以被执行。在本说明书上下文中应理解,在预期声音或手势响应的实施方式中,音频和/或可视事件检测模块432、434的性能精度可通过以下方式得到改进:预先对这些模块指示一系列可能的响应(例如,在这种情况下,“是”或“否”),从而限制需要匹配的声音或手势模板的数目。同时,在一些可使用声音输入的实施方式中,电视音频输出320的声级可被临时降低以减少背景噪声。其后,在步骤530中关于用户改变的数据,包括例如经由使用诸如美国专利7,551,756、7,702,599等中描述的技术可判断的用户身份,可传送到用户统计数据收集和报告模块438以供记录,之后处理完成。
如果检测到的图像改变事件不是用户离开,则在步骤524中,事件处理器可接着判断所报告的事件是否包括新用户或另外的用户到达电视观看环境,且如果是这样的话则采取适当的动作。例如,在另外的用户进入观看环境的事件中,一些实施方式可以被调节为允许观看者调用“私人(private)观看”状态,其可使当前内容被自动静音、暂停、切换等。在又一个实施方式中,用户进入观看环境可以触发提供先前暂停内容的恢复重放;或者在装置联网在一起并配备有观看者识别的多房间、多装置的家庭中,用户进入一个观看环境可以使该环境中的事件处理器查询家庭中位于别处的其他事件处理器和/或统计模块,以判断该用户是否最近离开另一个环境,如果是这样的话,提供先前在其它环境中暂停的内容流的恢复重放。
可预期,当用户进入观看环境时将采取的(一个或多个)动作可以被设置为针对到达的人的身份,例如,只有当具体识别的个体或识别个体的类型/类别,诸如儿童,进入观看环境时,才可执行。类似地,在用户到达观看环境时要采取的(一个或多个)动作可被设置为针对当前观看的用户(们)的身份和/或类型。在这种情况下,待执行的动作可以是阻止当前观看的用户(们)进行任何新动作,例如,阻止孩子改变当前正在观看的频道,从而使父母有机会看看孩子当前观看什么。在后者实例中,所述阻止任何(一个或多个)动作可在以下情形下解除:在一给定时期的时间结束后、当新用户再次退出观看区域时、当新用户覆盖(overriding)动作时(例如经由手势、声音、进一步动作等等,达到用户被授权执行该动作的程度)等等。在更进一步情况下,当用户进入观看区域时要采取的动作可基于新到达用户和当前观看的用户(们)的身份区分优先次序。然而更进一步地,可使用检测到“用户进入事件”时系统会采取的动作来在具有所需状态的系统内提供一个或多个装置,例如,来建立音量级设置、隐藏字幕设置、商业跳过设置、SAP设置、照明度设置,和/或类似类型的用户偏好设置,但不限于这些。因此,从上述实例应理解,可指定在检测到“用户进入事件”时系统采取的各种动作组合,所述动作可以考虑或可以不考虑用户身份和/或用户身份优先级,且因此本文所提供的实例不打算以任何形式限制。
通过更进一步的实例,检测到新用户到达观看区域时系统所要采取的动作可使系统将为多个观看者建立的收藏频道列表(诸如电子节目指南中的所示)组合成单个列表,或提供单个列表,其只包括通常在已为多个观看者中的每一个建立的收藏频道列表内发现的节目和/或频道。类似地,对视频、游戏、节目、频道等等的访问(诸如经由使用家长控制芯片设置)可仅限于多个观看者中的每一个都可访问的那些视频、游戏、节目、频道,等等。更进一步的,在已为所识别的用户建立的偏好不冲突的程度上,所述系统可采取适当的(一个或多个)行动,以便在检测到“用户进入事件”时在所述系统内建立这些偏好的一个或多个。
为上述目的,在步骤526中可判断是否已设置任何这种“用户进入事件”动作偏好,如果是,则在步骤528中可执行适当的(一个或多个)动作,之后可将关于用户到达的数据,包括可判断的用户身份,传送到用于记录的用户统计数据收集和报告模块438,并且完成事件处理。
还应理解,尽管上述内容描述了在检测到“用户进入事件”时可采取的各种动作,应理解的是,当多个观看者存在下初始启动系统时可采取类似动作。
在检测到对“用户进入事件”负责的用户退出或处于从观看区域退出的过程中,即检测到“用户退出事件”时,与“用户进入事件”有关而采取的上述动作可以自动反转(或提示剩下的(一个或多个)用户是否进行反转动作)。例如,可恢复暂停的视频,可恢复电子节目指南/收藏频道列表等等。以类似的方式,表示一个或多个用户退出或准备退出观看环境的“用户退出事件”可被系统利用,从而可采取移除对退出用户偏好的考虑的动作,以使系统进入适合于其余用户的状态,等等。如前所述,可以设置在检测到“用户退出事件”时系统要采取的动作,以便针对退出的一个或多个用户的身份、剩下的一个或多个用户的身份,和/或可以基于退出的一个或多个用户和剩下的一个或多个用户的身份按优先次序列出。再次,对这些目的来说,在步骤518中,可以判断任何这种“用户退出事件”动作偏好是否已设置,如果是这样的话,则在步骤520中,可以执行适当的动作,之后可将关于用户退出的数据,包括可判断的用户身份,传送到用于记录的用户统计数据收集和报告模块438,并且完成事件处理。
如果检测到的图像改变事件不是用户到达或离开,则在步骤532、534和536中,下一步可判断所报告的事件是否包括可检测的手势,在本说明书上下文中可检测的手势包括用户动作或行动,其通过预编程或学习过程已被可视事件检测模块432识别为具有和用户输入一样的重要意义。如果判断报告的事件与操作指令功能有关,例如“暂停”、“静音”、“换台”等等,在步骤540中可继续处理,以执行先前所述的指令。如果所报告的事件被判断为预备手势,在步骤538中可以采取适当的预期行动。在本说明书上下文中,预备手势可包括但不限于用户的任何初步行动或手势,其可被解释为用户执行一个动作的意图的可能指示,该动作为例如站起、伸手取或放下遥控装置、召唤视界外的人进入房间、拿起电话,等等。预期动作可以包括例如预处理可视和/或声音检测模块432、434,以便为了匹配的目的支持某些模板的子集;将屏幕上的菜单从为手势控制而优化的格式更改成为了经由键盘装置(诸如遥控)的导航而优化的格式,反之亦然;降低或关闭声音音量;给遥控装置发信号使其退出静止状态,以开启或关闭其背光,诸如此类;等等。
如果报告的事件不是图像变化事件,则在步骤506中,事件处理可随后判断所报告的事件是否构成由声音事件检测模块434所报告的声音识别事件。可利用例如美国专利7,603,276、WIPO(PCT)专利申请公开文本WO2002/054382A1等等中所描述的技术通过模块434进行语言或声音识别。如果所述事件是声音识别事件,则在步骤512中可判断解码的声音是否构成由用户发出的声音指令。如果是这样的话,则处理可在步骤540中继续,以执行如前所述的所需求的指令。如果不是声音指令,则在步骤514中,可判断所报告的事件是否构成触发声音。在本说明书上下文中,触发声音可以是经由麦克风120接收的非声音的音频信号的情况,麦克风120通过预编程或经由学习过程已被分配指令或预期动作。例如(但不限于),触发声音可以包括电话或门铃响、婴儿监视器、烟雾警报、微波提示音(chime),等等。如果报告的声音事件是触发声音,则在步骤516中可采取适当的动作,诸如将电视调至静音等等。系统还可被编程为识别各种声音和/或口语单词/短语为预备事件的指示,因此一个或多个系统组件将经由如上所述的预期动作而有所准备。例如,口语短语(诸如,“让我们看看还有其他什么”)可以被认为是预备事件,于是可执行预期动作以便使遥控装置进入一个状态,其中所述遥控装置准备好接收预期其应用的输入,或口语短语(诸如,“来这里”)、门铃声等等,这些可以被识别为预备事件,因此可执行预期动作,以便使系统准备寻找预期事件(例如,具体的手势,诸如用户站起、离开观察区域等等),由此可执行预期的对于所感测的事件的适当响应动作,例如,暂停媒体。
当预期事件不是在预定的一段时间执行时,必要时,系统可执行更多动作,诸如恢复动作,以使所述系统进入所想要的状态,例如,使家庭娱乐系统的一个或多个组件返回组件不再寻找预期事件出现的状态。
如果报告的事件不是声音识别事件,则在步骤508中,事件处理可接着判断所报告的事件是否包括无线装置加入或退出与智能电视200或系统中的其它装置相关联的LAN或PAN,所述无线装置例如为智能电话、平板电脑、游戏控制器等。如果这些装置以前已利用电视编程注册,则该活动可用来推断特定用户存在或不存在。然后,可以与前述的在步骤518继续的用户图像检测(例如,当用户被添加或离开时处理)类似的方式处理这种信息。
最后,在步骤510中,事件处理器可按照特定实施方式来处理任何其它事件报告活动。例如,在一些实施方式中,用户可以配备有个人遥控装置,在它们的指令传输中嵌入用户标识数据,诸如在共同所有的共同未决的美国专利申请13/225,635“用于提供适应的用户接口的控制装置”中所描述,所述专利申请全文以引用方式并入本文中,在这种情况下,用户存在报告事件可由遥控接口420产生。在其它实施方式中,诸如用于自动无人监控关机应用的本领域提出的红外体温感测的技术,还可进一步适合于本文描述的目的。适当情况下,活动事件的其它来源还可包括从其它家用设备接收的数据,所述家用设备诸如为装备有占用传感器的安全、照明或HVAC控制系统;入口通道照相机;车道传感器等。
用户统计数据收集报告模块438可适合于将上述事件处理步骤过程中传送至它的数据报告至集中服务,例如,驻留(host)在与因特网连接的服务器装置128上,用于聚集和分析用户收看习惯和偏好。取决于特定实施方式,这样的报告可在逐个事件(event-by-event)的基础上执行,或者,可选地,数据可以累积并以预定的时间间隔或仅在从服务器装置接收到请求时报告。
例如,在说明性实施方式中,报告给用户统计数据收集和报告模块438的数据可以被格式化成若干不同事件记录类别和类型,以供上载至服务器装置128。例示性记录类别可包括用户事件,例如,可在图5的步骤530中报告;装置事件,例如,可在图5的步骤548中报告;和内容事件,例如,可在图5的步骤544中报告。正如所理解的,不同的或其它的事件类别可适用于替换实施例,因此上述分类仅是例示性而非限制性地提出。
参照下表1,用户事件记录类型可包括向观看区域增加用户(即到达)和从观看区域去除用户(即离开)。如图所示,这些记录类型中的每个均可包括时间戳数据和用户ID。所示时间戳适用于服务器装置已知报告系统地理位置的应用,例如,作为初始安装程序的结果,通过URL解码等等。在情况并非如此的实施方式中,在需要时,时间戳字段可包括其它数据,诸如时区、邮政编码等等。用户身份可以是任何数据项,其用来唯一识别各个用户,以方便服务器128的观看习惯和偏好分析。例如,用户ID数据可包括在安装/配置过程中明确指定的身份;当初始检测每个不同用户时由系统指定的随机数;通过面部或语音识别算法产生的散列值;指定给智能电话或平板电脑的MAC地址或编号等等;根据特定实施方式而定。
事件类型 时间戳 用户ID
用户:增加 yyyy:mm:dd:hh:mm:ss xxxxxxxx
用户:去除 yyyy:mm:dd:hh:mm:ss xxxxxxxx
表1:用户事件记录
现参见表2,装置事件记录可包括记录类型,表示所报告的事件,发出的功能指令,和/或通过各种控制装置执行的操作,例如,如图5的步骤548中所报告的。这样的事件可包括但不限于装置通电/关闭指令、重放控制指令等等,这对于完整理解用户收看习惯和偏好是必需的。例如,对于DVR装置,除了获取电源状态,为了监控商业跳过活动还可记录快进指令。如图所示,每个装置事件记录类型还可包括如上所述的时间戳字段和装置类型/ID字段,其包括装置类型指示器(例如,STB/DVR、DVD、因特网流等)连同唯一ID或子类型值,其可通过事件监测和/或统计收集模块指定,以便区分相同类型的多个装置,例如,在有多个DVD播放器或同时有有线和卫星机顶盒的家庭中。
事件类型 时间戳 装置类型/ID
电器:开 yyyy:mm:dd:hh:mm:ss tt:xxxx
电器:关 yyyy:mm:dd:hh:mm:ss tt:xxxx
电器:播放 yyyy:mm:dd:hh:mm:ss tt:xxxx
电器:停止 yyyy:mm:dd:hh:mm:ss tt:xxxx
电器:暂停 yyyy:mm:dd:hh:mm:ss tt:xxxx
电器:快进 yyyy:mm:dd:hh:mm:ss tt:xxxx
等等……
表2:装置事件记录
现参考表3,内容事件记录类型可包括但不限于频道或轨道改变信息记录类型;含有例如从程序指南数据、DVD或视频点播标题信息等等中检索到的节目标题的标题信息记录类型;含有从DVD或CD、流视频服务等等处获得的元数据值的元数据记录类型;含有用于同内容标识数据库比较的音频和/或视频内容的样本剪辑的内容样本记录类型;或在替换实施方式中,可在判断特定内容流的身份(identity)时所使用的任何其它数据。每个记录类型可包括上述时间戳和源装置字段,以及含有身份数据的字段,其可根据需要包括数字、文字或二进制数据。正如所理解的,根据需要,附加记录和/或字段类型可用于其它实施方式中,以便能可靠识别媒体内容流。
表3:内容事件记录
应当理解,尽管本文提出的表1至表3的例示性数据结构使用表格格式以便于参考,在实践中,这些可以各种形式来实现,其使用任何方便的数据表示法,例如结构化数据库、XML文件、基于云的服务等等,以适于特定的实施方式。此外,还应当理解,尽管说明性实施方式的统计收集和记录功能作为例示性装置200的编程的一部分来实现,即,在用户统计数据收集和报告模块438中,在其他实施方式中,此功能可在不同位置提供,例如在形成娱乐系统的一部分的其它装置之一中,在本地PC中,在远程服务器或有线系统前端处,等等,或在特定装置编程能够报告用户事件的任何其它方便位置。
******
虽然各种概念已经详细说明,所属领域的技术人员应当理解,可根据本公开内容的总体教导而开发出对那些概念的各种修改和替换。例如,在替换实施方式中,视情况可以在各种其它装置中(例如在AV接收器或有线/卫星机顶盒中)有利地执行上述方法的步骤。此外,在诸如图1或图2中所示的互联系统中,尤其在数字互联时,应当理解,所述方法的各种步骤可通过不同装置来执行。例如但不限于,图像分析和/或语音识别可以通过智能电视设备、本地连接的个人计算机、家庭安全系统等等,或甚至“在云中”(即通过基于因特网的服务)来执行,其结果报告给驻留在连接的AV接收器或机顶盒中的用户统计收集模块和/或事件处理模块。
此外,虽然在本说明书上下文中描述功能模块并使用方框图形式图示,但应理解,除非另有相反说明,否则一个或多个所述功能和/或特征可被集成于单个物理设备和/或软件模块,或者一个或多个功能和/或特征可在单独的物理设备或软件模块中实现。还应理解,对每个模块的实际实现的详细论述对能够理解本发明并非必需。相反,考虑到本文公开的系统中各种功能模块的属性、功能和相互关系,这种模块的实际实现正属于工程师的常规技术范围内。因此,本领域技术人员应用常规技术,应能够在无需过多实验的情况下实现权利要求中提出的发明。另外,应理解本发明公开的特定概念只是说明性的,而非限制本发明的范围,本发明的范围通过所附的权利要求及其等同而给定全部广度。
本文件中所引用的所有专利由此全文以引用方式并入本文中。

Claims (4)

1.一种用于控制包括多个组件装置的家庭娱乐系统中的至少一个组件装置的方法,包括:
当多个组件装置中的至少一个处于调谐状态时,经由传感接口接收事件数据;
当根据所接收的事件数据并依据预定的规则确定在与所述多个组件装置中的至少一个相关联的观看区域中观看者的数目增加至少一个新用户时,执行指令动作,因此导致所述多个组件装置中的至少一个执行操作功能,从而防止改变所述多个组件装置中的所述至少一个的状态,其中所述多个组件装置的所述至少一个的所述状态包括其中经由使用收藏列表和/或电子节目指南使得媒体可用的状态;
其中所述多个组件装置中的所述至少一个在相对于执行指令动作的至少一个预定时间段呈现为对于向其提供的指令临时性地无响应,在预定时间段结束时,所述多个组件装置中的所述至少一个自动返回到对于向其提供的指令有响应。
2.如权利要求1所述的方法,其中所述传感接口包括图像传感接口。
3.如权利要求1所述的方法,其中所述传感接口包括声音传感接口。
4.如权利要求1所述的方法,其中所述传感接口包括用于感测射频装置的存在的接口。
CN201480047129.6A 2013-06-25 2014-06-17 用于用户监控和意图判断的系统和方法 Active CN105474652B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/925,966 2013-06-25
US13/925,966 US9137570B2 (en) 2013-02-04 2013-06-25 System and method for user monitoring and intent determination
PCT/US2014/042687 WO2014209674A1 (en) 2013-06-25 2014-06-17 System and method for user monitoring and intent determination

Publications (2)

Publication Number Publication Date
CN105474652A CN105474652A (zh) 2016-04-06
CN105474652B true CN105474652B (zh) 2019-07-05

Family

ID=52142560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480047129.6A Active CN105474652B (zh) 2013-06-25 2014-06-17 用于用户监控和意图判断的系统和方法

Country Status (3)

Country Link
EP (1) EP3014874A4 (zh)
CN (1) CN105474652B (zh)
WO (1) WO2014209674A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057640B2 (en) * 2015-08-17 2018-08-21 Google Llc Media content migration based on user location
CN108681398A (zh) * 2018-05-10 2018-10-19 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970606A (zh) * 2012-12-04 2013-03-13 深圳Tcl新技术有限公司 基于身份识别的电视节目推荐方法和装置
CN102984588A (zh) * 2011-09-02 2013-03-20 索尼公司 响应于面部辨认的个性化电视观看模式调整

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185355B1 (en) * 1998-03-04 2007-02-27 United Video Properties, Inc. Program guide system with preference profiles
DK1327209T3 (da) * 2000-10-11 2008-12-08 United Video Properties Inc Systemer og fremgangsmåder til tilvejebringelse af lagring af data på servere i et on-demand-medieleveringssystem
CN103369391B (zh) * 2007-11-21 2016-12-28 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
US8949871B2 (en) * 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
US20130219417A1 (en) * 2012-02-16 2013-08-22 Comcast Cable Communications, Llc Automated Personalization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984588A (zh) * 2011-09-02 2013-03-20 索尼公司 响应于面部辨认的个性化电视观看模式调整
CN102970606A (zh) * 2012-12-04 2013-03-13 深圳Tcl新技术有限公司 基于身份识别的电视节目推荐方法和装置

Also Published As

Publication number Publication date
EP3014874A4 (en) 2016-06-08
EP3014874A1 (en) 2016-05-04
BR112015032568A2 (pt) 2017-07-25
WO2014209674A1 (en) 2014-12-31
CN105474652A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105122177B (zh) 用户监控和目的确定的系统和方法
CN108604254B (zh) 语音控制的隐藏字幕显示
US20140223461A1 (en) System and method for user monitoring and intent determination
US20170199934A1 (en) Method and apparatus for audio summarization
US11736760B2 (en) Video integration with home assistant
US20140274147A1 (en) Activating Devices Bases On User Location
CN101583931A (zh) 管理受控的住宅或非住宅环境的产品
US6980868B2 (en) System and method for application communication
CN100394383C (zh) 自动管理受控环境中的组件的方法和系统
US20180213291A1 (en) Contextual user interface based on media playback
CN105474652B (zh) 用于用户监控和意图判断的系统和方法
EP2362582A1 (fr) Procédé et système domotique contextuel
JP5321137B2 (ja) 通信機器、関連機器特定方法、及びネットワークシステム
EP3448046A1 (en) Method for controlling of external devices in dependency of video and/or audio content
US20220122745A1 (en) System and method for providing a vacation mode of home device operation
EP3457703A1 (en) Smart player
WO2023219649A1 (en) Context-based user interface
KR20190122379A (ko) 전자장치 및 그 제어방법
BR112015032568B1 (pt) Método para controlar pelo menos um dispositivo componente em um sistema de entreterimento doméstico

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant