CN107979772B - 共用和个人装置协作提供个性化用户功能的方法和设备 - Google Patents

共用和个人装置协作提供个性化用户功能的方法和设备 Download PDF

Info

Publication number
CN107979772B
CN107979772B CN201710904253.5A CN201710904253A CN107979772B CN 107979772 B CN107979772 B CN 107979772B CN 201710904253 A CN201710904253 A CN 201710904253A CN 107979772 B CN107979772 B CN 107979772B
Authority
CN
China
Prior art keywords
top box
user
set top
gesture
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710904253.5A
Other languages
English (en)
Other versions
CN107979772A (zh
Inventor
李文龙
H.杨
R.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201710904253.5A priority Critical patent/CN107979772B/zh
Publication of CN107979772A publication Critical patent/CN107979772A/zh
Application granted granted Critical
Publication of CN107979772B publication Critical patent/CN107979772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的名称是使用共用和个人装置的个性化用户功能的协作式提供。本文公开与使用共用装置和个人装置的个性化用户功能的协作式提供所关联的方法、设备和存储介质。在各种实施例中,个人装置(PD)方法可包括由用户的个人装置接收为了执行要由该个人装置和配置成由多个用户使用的共用装置(SD)协作式地提供的用户功能的请求;以及由该个人装置与该共用装置协作,来提供所请求的对该个人装置的用户所个性化的用户功能。在各种实施例中,SD方法可包括由SD执行的相似的接收和协作操作。可公开或要求保护其他实施例。

Description

共用和个人装置协作提供个性化用户功能的方法和设备
本申请是申请号为201180073398.6、申请日为2011年9月12日、发明名称为“使用共用和个人装置的个性化用户功能的协作式提供”的发明专利申请的分案申请。
相关申请
该申请涉及:
(1)使用共用视频装置和个人装置的个性化视频内容消费,代理机构卷号110466-182902(客户案号P39285PCT),以及
(2)视频内容注释和/或推荐的方法和设备,代理机构卷号116536-182903(客户案号P38948PCT)。
两者都与本申请同时提交。
技术领域
该申请涉及数据处理的技术领域,更具体地涉及与使用共用和个人装置的个性化用户功能的协作式提供关联的方法和设备。
背景技术
本文提供的背景描述是为了大体上呈现本公开的上下文的目的。除非在本文另外指示,在该章节中描述的资料对于该申请中的权利要求来说不是现有技术并且不因为包括在该章节中而承认是现有技术。
随着集成电路、计算、联网和其他技术的发展,例如智能电话、平板计算机等配置成由用户使用的个人装置越来越流行。同时,例如电视、或耦合于电视的机顶盒等配置成由多个用户使用的共用装置仍然流行,部分是因为它们增加的功能性,例如高清视频、环绕音响等。当前,除了可能使用个人装置作为对共用装置的常规遥控外,个人和共用装置之间很少有集成或协作。
发明内容
本公开的一方面提供一种能够与电视和至少一个远程服务器关联使用的设备,当设备在操作中时设备能够经由因特网网络与至少一个远程服务器进行通信,设备是:机顶盒,用于至少部分经由电视来呈递流播视频内容中,流播视频内容将要由机顶盒经由因特网网络从至少一个远程服务器来接收,机顶盒包括:拍摄装置;至少一个多核处理器;用于存储指令的存储装置,指令能够至少部分由至少一个多核处理器来运行,指令在至少部分由至少一个多核处理器运行时使机顶盒能够执行操作,操作包括:至少部分基于至少部分经由拍摄装置对包括机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理,用户面部识别相关处理用于从机顶盒的多个可能用户之中识别机顶盒的当前用户中;捕捉至少包括经由电视所呈递的流播视频的部分的视频片段数据以经由至少一个远程服务器上传到至少一个社交网络;其中:在设备的操作中,图像数据能够用于至少部分由机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,用户姿势识别处理将要用于至少部分确定当前用户的至少一个姿势输入以用于至少部分控制机顶盒中,用户面部表情分析将要用于至少部分确定当前用户的至少一个面部表情;以及在设备的操作中,机顶盒能够至少部分经由无线通信来接收指令以提供给存储装置。
本公开的另一方面提供一种至少部分使用机顶盒所实现的方法,机顶盒包括拍摄装置并且是与电视和至少一个远程服务器关联可使用的,机顶盒是在当机顶盒在操作中时至少部分经由电视来呈递流播视频内容中可使用的,流播视频内容将要由机顶盒经由因特网网络从至少一个远程服务器来接收,方法包括:至少部分由机顶盒至少部分基于至少部分经由拍摄装置对包括机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理,用户面部识别相关处理用于从机顶盒的多个可能用户之中来识别机顶盒的当前用户中;至少部分由机顶盒来捕捉至少包括经由电视所呈递的流播视频的部分的视频片段数据以经由至少一个远程服务器上传到至少一个社交网络;其中:在机顶盒的操作中,图像数据能够用于至少部分由机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,用户姿势识别处理将要用于至少部分确定当前用户的至少一个姿势输入以用于至少部分控制机顶盒中,用户面部表情分析将要用于至少部分确定当前用户的至少一个面部表情;以及在机顶盒的操作中,机顶盒能够至少部分经由无线通信来接收指令。
本公开的又一方面提供一种能够与电视和至少一个远程服务器关联使用的设备,当设备在操作中时设备能够经由因特网网络与至少一个远程服务器进行通信,设备是:机顶盒,用于至少部分经由电视来呈递流播视频内容中,流播视频内容将要由机顶盒经由因特网网络从至少一个远程服务器来接收,机顶盒包括:拍摄装置;用于至少部分基于至少部分经由拍摄装置对包括机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理的部件,用户面部识别相关处理用于从机顶盒的多个可能用户之中识别机顶盒的当前用户中;用于捕捉至少包括经由电视所呈递的流播视频的部分的视频片段数据以经由至少一个远程服务器上传到至少一个社交网络的部件;其中:在设备的操作中,图像数据能够用于至少部分由机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,用户姿势识别处理将要用于至少部分确定当前用户的至少一个姿势输入以用于至少部分控制机顶盒中,用户面部表情分析将要用于至少部分确定当前用户的至少一个面部表情;以及在设备的操作中,机顶盒能够至少部分经由无线通信来接收程序指令以提供给机顶盒的存储部件。
本公开的又一方面提供一种至少部分使用机顶盒所实现的设备,机顶盒包括拍摄装置并且是与电视和至少一个远程服务器关联可使用的,机顶盒是在当机顶盒在操作中时至少部分经由电视来呈递流播视频内容中可使用的,流播视频内容将要由机顶盒经由因特网网络从至少一个远程服务器来接收,设备包括:用于至少部分由机顶盒至少部分基于至少部分经由拍摄装置对包括机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理的部件,用户面部识别相关处理用于从机顶盒的多个可能用户之中来识别机顶盒的当前用户中;用于至少部分由机顶盒来捕捉至少包括经由电视所呈递的流播视频的部分的视频片段数据以经由至少一个远程服务器上传到至少一个社交网络的部件;其中:在机顶盒的操作中,图像数据能够用于至少部分由机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,用户姿势识别处理将要用于至少部分确定当前用户的至少一个姿势输入以用于至少部分控制机顶盒中,用户面部表情分析将要用于至少部分确定当前用户的至少一个面部表情;以及在机顶盒的操作中,机顶盒能够至少部分经由无线通信来接收指令。
本公开的又一方面提供至少一个存储指令的计算机可读存储介质,指令在由机顶盒运行时使机顶盒执行上述方法。
附图说明
本发明的实施例将通过示范性实施例而非限制的方式描述、在附图中图示,其中类似的标号指代相似的元件,并且其中:
图1是图示示例共用和个人装置使用设置的框图;
图2更详细地图示共用装置和个人装置中每个的一个示例;
图3图示使用共用和个人装置来协作式提供个性化用户功能的示例方法;
图4图示共用和个人装置之间基于面部识别的注册和/或关联方法的各种示例;
图5图示使用共用和个人装置来协作式提供个性化用户功能的用户视图;
图6图示具有配置成实践图3-4的方法的所有或选择步骤的指令的非临时性计算机可读存储介质;以及
图7图示适合用作共用或个人装置的示例计算环境;全部根据本公开的实施例来设置。
具体实施方式
本文公开与使用共用和个人装置来协作式提供个性化用户功能所关联的方法、设备和存储介质。在各种实施例中,个人装置(PD)方法可包括由用户的个人装置接收为了执行由该个人装置和配置成由多个用户使用的共用装置协作式提供的用户功能的请求;以及由该个人装置与该共用装置协作,来提供所请求的对该个人装置的用户个性化的用户功能。
说明性实施例的各种方面将使用通常由本领域内技术人员采用的术语来描述以向本领域内其他技术人员传达他们的工作的实质。然而,替代实施例可仅用描述的方面中的一些来实践,这对于本领域内技术人员将是明显的。为了说明的目的,阐述具体数字、材料和配置以便提供对说明性实施例的全面理解。然而,替代实施例可在没有具体细节的情况下实践,这对于本领域内技术人员将是明显的。在其他实例中,省略或简化众所周知的特征以便不混淆说明性实施例。
此外,各种操作将进而采用对于理解说明性实施例最有帮助的方式描述为多个分立操作;然而,描述的顺序不应该解释为暗示这些操作必定依赖于顺序。特别地,这些操作不需要按呈现的顺序执行。
如本文(包括权利要求)使用的术语“智能电话”指具有超出移动通话的丰富功能性的“移动电话”,例如个人数字助理(PDA)、媒体播放器、拍摄装置、触摸屏、网页浏览器、全球定位系统(GPS)导航、WiFi、移动宽带等等。术语“移动电话”或其的变化形式(包括权利要求)指用于跨由许多公共小区服务的广阔的地理区域进行移动电话呼叫的移动电子装置。
重复使用短语“在一个实施例中”或“在实施例中”。该短语一般不指相同的实施例;然而,它可指相同的实施例。术语“包括”、“具有”和“包含”是同义的,除非上下文另外指示。短语“A/B”意思是“A或B”。短语“A和/或B”意思是“(A)、(B)或(A和B)”。短语“A、B和C中的至少一个”意思是“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。如本文使用的短语“A或B中选择的一个”指“A”或“B”,并且不以任何方式暗示或要求执行“选择”操作。
现在参照图1,其中框图根据各种实施例图示示例共用和个人装置使用设置。如图示的,设置100可包括配置成提供用户功能供多个用户使用的共用装置(SD)102(例如接收和呈递听觉/视觉(A/V)内容134)和配置成提供各种个人功能(例如移动通话等)供用户使用的个人装置(PD)112。此外,SD 102和PD 112可分别配置有PD协作功能152和SD协作功能162,来彼此协作以提供个性化的用户功能,将在下文更充分地描述。除了根据本公开的实施例提供的PD和SD协作功能152和162,SD 102的示例可包括电视106和机顶盒104的多装置耦合组合,或电视106和机顶盒104的单装置集成组合,然而PD 112的示例可包括智能电话或平板计算机。在各种实施例中,电视106可包括具有一个或多个PIP 108的画中画(PIP)特征,并且机顶盒104可包括例如拍摄装置等数字图像捕捉装置154。同样,PD 112也可包括例如拍摄装置等数字图像捕捉装置164。
如图示的,SD 102可配置成耦合于一个或多个A/V内容源(未示出),并且从其中选择性接收A/V内容134,然而PD 112可配置成经由无线广域网(WWAN)120无线148耦合于蜂窝通信服务136。A/V内容源的示例可包括但不限于电视节目广播公司、有线电视运营商、卫星电视节目提供商、数字视频录像机(DVR)、压缩盘(CD)或数字视频盘(DVD)播放器或视频卡带录像机(VCR)。蜂窝通信服务136可以是码分多址(CDMA)服务、增强GPRS(EDGE)服务、3G或4G服务(GPRS=通用分组无线电服务)。
仍然参照图1,在各种实施例中,SD 102和PD 112可经由接入点110彼此无线142和144耦合。进而,接入点110可进一步经由一个或多个私人或公共网络(包括例如因特网122)将SD 102和PD 112耦合于远程云计算/web服务器132。也就是说,SD 102、PD 112和接入点110可形成局域网,例如家庭网络等。远程云计算/web服务器132可包括搜索服务(例如Google®或Bing®等)、电子商务网站(例如Amazon®等)或社交网站(例如Facebook®或MySpace®等)。此外,在各种实施例中,SD 102和PD 112可分别配置成使用个人和/或近场通信协议使这些装置能够无线146耦合。在各种实施例中,无线耦合142和144可包括WiFi连接,然而无线耦合146可包括蓝牙连接。在各种实施例中,PD协作功能152和SD协作功能162可根据传输控制协议(TCP)、用户图表协议(User Diagram Protocol)或其他消息协议彼此通信。
在各种实施例中,SD 102和PD 112可分别具有关联的标识符。对于这些实施例,其中SD 102包括具有PIP 108的电视106,SD 102可进一步包括分别标识主画面和PIP 108的逻辑标识符。另外,在各种实施例中,标识符可分别包括在至少由SD 102和PD 112传送的发现通信中,来使例如PD 112和SD 102等这些通信的接收方能够辨别这些通信的发送方。
图2根据各种实施例更详细地图示SD 102和PD 112中每个的一个示例。如示出和之前描述的,SD 102可包括SD功能151和PD协作功能152,然而PD 112可包括PD功能161和SD协作功能162。
在各种实施例中,SD功能151可包括一个或多个通信接口202(具有相应的收发器)和媒体播放器204(具有一个或多个A/V解码器)。具有相应收发器的通信接口202可包括但不限于配置成从电视节目广播公司、有线电视运营商、或卫星节目提供商接收A/V内容的通信接口,配置成从DVR、CD/DVD/Blu-ray播放器或VCR接收A/V内容的通信接口,配置成与接入点110通信的通信接口和/或配置成直接与PD 112通信的通信接口。具有一个或多个A/V解码器的媒体播放器204可配置成解码和呈递各种A/V内容流。这些各种A/V解码器可配置成将各种格式和/或编码方案的A/V内容流解码。
在各种实施例中,PD协作功能152可包括PD注册/关联功能212、PD视频/图像/数据服务214和PD控制功能216。此外,PD协作功能152可包括面部/姿势识别功能218。
PD注册/关联功能212可配置成将SD 102向PD 112注册或将PD 112与SD 102关联。在各种实施例中,注册/关联功能212可配置成通过交换具有标识和/或配置的消息将SD102向PD 112注册/与PD112关联。在备选实施例中,注册/关联功能212可配置成使用面部识别服务与面部/姿势识别服务218协作地将SD 102向PD 112注册/与PD112关联。在各种实施例中,注册/关联功能212可配置成维持SD 102向其注册和/或与其关联的PD 112的映射。对于各种机顶盒104和电视106实施例,其中电视106包括具有一个或多个PIP 108的PIP特征,PD注册/关联功能212可配置成在PIP粒度级别将SD 102向PD 112注册或将SD 102与PD 112关联,来使在主画面和PIP 108中呈递的视频流能够与不同的PD 112逻辑关联。此外,PD注册/关联功能212可配置成在PIP粒度级别维持之前描述的SD 102到PD 112映射。在各种实施例中,PD注册/关联功能212可进一步配置成维持映射来包括PD 112的用户的当前状态,例如该用户是否在SD 102的当前用户之中。PD注册/关联功能212可配置成当用户变成SD102的当前用户(或SD 102的当前用户中的一个)或不再是SD 102的当前用户时更新状态。
PD视频/图像/数据服务214可配置成使SD 102能够与PD 112交换与正在SD 102上呈递的视频流关联的视频、图像和/或数据。由SD 102提供给PD 112的与视频流关联的视频、图像和/或数据可由SD 102捕捉,或从另一个第三方获得。特别地,PD 视频/图像/数据服务214可配置成从正在SD 102上呈递的视频流捕捉图像或视频片段,或从SD 102的拍摄装置捕捉图像。除了提供给PD 112外,捕捉的图像或视频片段可被存储和/或提供给PD112。
此外,PD 视频/图像/数据服务 214可配置成提供从视频流捕捉的图像或视频片段给云计算服务器来识别该视频流,和/或获得与该视频流关联的元数据。该元数据可由视频流创建者/所有者、发布者或关联的广告者提供。与该视频流关联的该元数据也可被存储或提供给PD 112。此外,观看历史可存储在SD 102上。
PD控制功能216可配置成接受来自PD 112的控制,并且作为响应,相应地控制SD102,包括但不限于控制图像从正在SD 102上呈递的视频流的捕捉,或控制视频流在SD 102上的呈递,例如停止、暂停、前进或倒回该视频流。PD控制功能216还可配置成接受来自PD112的控制,来调节3DTV视频流在SD 102上的呈递,来控制呈递的3DTV图像的质量。控制可包括分量图像之间的相对深度的控制,减少边缘的颜色和/或清晰度失真的控制。
面部/姿势识别服务218可配置成提供若干面部识别和/或姿势识别服务。面部识别服务可包括画面中面部的识别,包括年龄、性别、种族等等。面部识别服务可进一步包括面部表情的识别,例如批准、不批准、感兴趣、不感兴趣、高兴、悲伤、愤怒或平和。面部识别可基于一个或多个面部或生物计量特征。姿势识别服务可包括识别若干手势,包括但不限于指代“喜欢”的拇指向上手势、指代“不喜欢”的拇指向下手势、指代“扩大”的两个手指移动远离彼此、指代“缩小”的两个手指朝彼此移动、指代“交换”的两个手指或两只手彼此交叉。
在各种实施例中,PD注册/关联功能212可配置成与面部/姿势识别功能218协作来实行SD 102或SD 102的逻辑单元(例如,如果SD 102包括具有PIP 108的电视106的话,则是PIP 108)向各种PD 112的注册,或各种PD 112的关联。
如本文使用的术语“关联”指例如SD 102和PD 112两个实体之间的关系,然而如本文使用的术语“注册”指一个实体与另一个实体的动作,例如为了形成这些实体之间的“关联”的目的的“动作”。也就是说,本公开预期SD 102和PD 112之间的“关联”可单方面或双方面形成。例如,SD 102凭借其对特定PD 112的了解(例如其标识等)可单方面认为该特定PD112与该SD 102关联,而无需其自身向该特定PD 112注册或不要求该特定PD 112向其自身注册。在另一方面,SD 102和/或PD 112可明确地彼此识别它们自身(“注册”)来形成关联。
继续参照图2,在各种实施例中,PD功能161可包括一个或多个通信接口222(具有相应收发器)、媒体播放器224(具有一个或多个A/V解码器)、输入装置226和浏览器228。通信接口222可包括配置成与蜂窝通信服务通信的通信接口,配置成与接入点110通信的通信接口,和/或配置成直接与SD 102通信的通信接口。具有一个或多个A/V解码器的媒体播放器224可配置成解码和呈递各种A/V内容流。这些各种A/V解码器可配置成将各种格式和/或编码方案的A/V内容流解码。
输入装置226可配置成使PD 112的用户能够提供各种用户输入。输入装置226可包括键盘(真实或虚拟的)来使用户能够提供文本输入,和/或光标控制装置,例如触摸板、轨迹球等等。在各种实施例中,输入装置226包括视频和/或触敏屏幕来使用户能够提供姿势输入。姿势输入可包括之前关于面部/姿势识别服务218描述的相同或不同的手势。
浏览器228可配置成使PD 112的用户能够访问因特网上的远程搜索服务、电子商务网站或社交网络。搜索服务的示例可包括Google®、Bing®等等。电子商务网站可包括Amazon、Best Buy等等。社交网络可包括Facebook®、MySpace®等等。浏览器228还可配置成使PD 112的用户能够参加与正在SD 102上呈递的视频流节目关联的特殊兴趣组(SIG)。这样的SIG可基于正由内容提供商递送的当前内容预先形成或动态形成。这样SIG还可在地理上划分,或按PD装置类型划分。
在各种实施例中,SD协作功能162可包括SD注册功能232、SD视频/数据服务234和SD控制功能236。SD协作功能162可进一步包括面部/姿势识别服务244。
与SD 102的PD注册/关联功能212相似的SD注册/关联功能232可配置成将PD 112向SD 102注册或将SD 102与PD 112关联。对于各种机顶盒104和电视106实施例,其中电视106包括PIP特征,SD注册功能232可配置成在PIP粒度级别将PD 112向SD 102注册或将SD102与PD 112关联,来使在主画面和PIP 108中呈递的视频流能够与相同或不同的PD 112独立关联。
与SD102的PD视频/图像/数据服务214相似的SD视频/图像/数据服务234可配置成与SD 102交换与正在SD 102上呈递的视频流关联的视频、图像和/或数据。相似地,SD视频/图像/数据服务234可配置成发送视频、图像和/或数据到云计算服务器和/或从云计算服务器接受视频、图像和/或数据。SD视频/图像/数据服务234可配置成与浏览器228协作来实行视频、图像和/或数据到云计算服务器的发送和从云计算服务器的接受。
SD控制236可配置成向SD 102提供控制来控制SD 102。如之前描述的,关于对SD102的PD控制216,控制可包括但不限于扩大或缩小PIP 108,在主画面和PIP 108之间交换视频流,停止、暂停、快进或倒回视频流。SD控制236还可配置成向SD 102提供控制来调节3DTV视频流的呈递,以控制SD 102来控制它的质量。此外,SD控制236可配置成提供商业活动期间的自动视频流切换和当商业活动结束时自动切换回来。SD控制236还可配置成向SD102提供控制来调节3DTV视频流在SD 102上的呈递,来控制呈递的3DTV图像的质量。控制可包括分量图像之间的相对深度的控制,减少边缘的颜色和/或分辨率失真的控制。
在继续另外的描述之前,应该注意到尽管SD 102和PD 112的实施例在图2中图示,其中两个装置分别具有面部/姿势识别服务218和244,可实践其他实施例,其中SD 102和PD112中的仅一个或没有一个具有面部/姿势识别服务。相似地,尽管为了容易理解,视频/图像/数据服务214和234与面部/姿势识别服务218和244描述为组合服务,在备选实施例中,可实践本公开,其中这些服务中的一个或两个细分成分开的服务,例如视频/图像/数据服务细分成分开的视频、图像和数据服务,或面部/姿势识别服务细分成分开的面部和姿势识别服务。
因此,在注册或关联时,PD协作功能152和SD协作功能162可协作来提供由PD 112的用户进行的个性化用户功能。例如,视频/图像/数据服务214和234可协作来使来自正在SD 102上(例如,在电视的主画面或PIP 108中)呈递的视频流的图像帧能够从SD 102提供给PD 112。该图像帧可响应于由PD 112的用户对协作式用户功能的请求而被提供。该图像帧可以是大致上在PD 112做出请求时在SD 102上呈递的图像帧。该请求时间可由服务234传达给服务214。
作为另一个示例,视频/图像/数据服务234还可与浏览器228协作来使接收的图像帧能够提供给搜索服务来至少部分基于接收的图像帧执行搜索。相似地,视频/图像/数据服务234还可与浏览器228协作来使PD 112的用户能够用电子商务网站进行电子商务交易,其中电子商务交易至少部分是接收的图像帧的结果。更具体地,在看见正在SD 102上呈递的视频流中感兴趣的项目时,PD 112的用户可请求图像帧,并且使用如之前描述的服务214和234使具有该项目的图像帧提供给PD 112。在接收图像帧时,并且在突显感兴趣的项目后,用户可进一步使用浏览器228使该项目的搜索被执行。在电子商务网站上定位到出售的该项目时,用户可在电子商务交易中用该电子商务网站来购买该项目。
图3图示根据各种实施例使用共用和个人装置协作式地提供个性化用户功能的示例方法。如图示的,方法300可在框302和/或304开始,其中SD 102和/或PD 112彼此注册或关联,将在下文参照图4更充分地描述。在各种实施例中,可实践方法300,其中PD 112向SD102注册它自身或另外将SD 102关联到它自身。在其他实施例中,可实践方法300,其中SD102向PD 112注册它自身或另外将PD 112关联到它自身。在再另外的实施例中,可实践方法300,其中SD 102和PD 112向彼此注册它们自身或另外使它们自身彼此关联。
在各种实施例中,SD 102和PD 112还可交换配置信息作为注册过程的一部分来便于随后的通信。例如,SD 102和PD 112可交换它们相应的能力信息,例如处理能力、支持的编码/解码方案、支持的消息传递协议等等。在各种实施例中,SD 102和/或PD 112也可配置成作为注册过程的一部分使要求的软件和/或更新被推送到和/或安装在另一个装置上。
在注册或关联时,方法300可进行到框306,其中PD 112可从PD 112的用户接收指示或选择来使SD 102和PD 112协作来提供个性化的用户功能。方法300可从框306进行到框308,其中PD 112可与SD 102协作来便于向用户协作式提供个性化用户功能。
方法300可从框308进行到框310,然后到框312,并且然后回到框310,其中可请求正在SD 102上呈递的视频流的图像帧,其被提供给并且呈递在PD 112上。如之前描述的,在各种实施例中,该图像帧可以是大致上在PD 112做出请求时在SD 102上呈递的图像帧。方法300可从框310进行回到框308,其中用户可使用该图像帧执行各种功能,例如将该图像帧上传到社交网络或云计算服务器,基于该图像帧或内部的对象实施搜索,或用电子商务网站实施至少部分因为该图像帧或内部的对象而促成的电子商务交易。
其后,可响应于各种另外的用户输入重复上文描述的操作。最后,方法300可从框308进行到框324,其中可接收到用户输入来退出用户功能的协作式提供。在接收到这样的输入时,方法300可终止。
在各种实施例中,除了协作式提供个性化用户功能外,方法300还可包括SD 102和PD 112协作来方便个性化视频内容由PD 112的用户消费。这样的个性化视频内容消费的示例可包括经由框318和320的来自PD 112的对SD 102的控制。此外,SD 102和PD 112可协作来经由框314和316支持与使用PD 112消费的视频内容关联的图像和/或图像内的对象的注释,将该注释存储回SD 102上,并且随后检索该存储的注释。另外,SD 102和PD 112还可协作来经由框322支持注释获得的图像帧和/或内部的对象,历史视频内容消费的分析,与消费的视频内容关联的用户动作,SD 102和PD 112之间的交互/协作,和提供其他内容消费或用户动作的个性化推荐。这些另外的支持和特征是相关申请的主题。另外的细节参考相关申请。
图4图示根据各种实施例的共用和个人装置之间基于面部识别的注册和/或关联方法的各种示例。如图示的,方法400可例如在框402开始,其中SD 102(配备有图像捕捉装置,例如拍摄装置等)捕捉它的用户的画面。在各种实施例中,SD 102可通过捕捉SD 102前面的空间的画面而捕捉它的用户的画面,并且然后为了用户的面部而分析画面(使用例如面部/姿势识别服务218)。在识别新用户的面部时,SD 102(使用例如注册/关联功能212)可生成这些新用户的画面。SD 102可定期(例如在通电时)执行捕捉和生成操作,并且因此在时间基础上或在事件驱动的基础上定期地,例如在正呈递的视频流改变时或在正呈递的视频流的风格改变时执行捕捉和生成操作。
方法400可从框402进行到框404,其中SD 102响应于PD 112的检测或由PD 112的联系可发送SD 102的用户的画面给PD 112。方法400可从框404进行到框406,其中对于某些“手动”实施例,PD 112可向PD 112的用户显示接收的画面来确认接收的画面中的一个是否是PD 112的用户的画面。备选地,对于某些“自动”实施例,使用例如面部/姿势识别服务244的PD 112可比较接收的画面与PD 112的用户的参考画面。PD 112的用户的该参考画面可在以前提供给PD 112,或由PD 112捕捉(对于配备有例如拍摄装置等图像捕捉装置的实施例)。
方法400可从框406进行到框408,其中对于“手动”实施例,PD 112可从PD 112的用户接收所接收的画面中的一个的选择,指示SD 102的用户的选择的画面对应于PD 112的用户。对于“自动”实施例,PD 112可选择大致上匹配参考画面的接收的画面中的一个。
方法400可从框408进行到框410,其中PD 112可将它自身与SD 102关联。在将它自身与SD 102关联时,PD 112可发送选择信息(由用户提供或通过比较操作来提供)给SD 102来向SD 102(或SD 102的逻辑单元,例如SD 102的电视106的PIP 108等)注册它自身。
方法400可从框410进行到框412,其中SD 102可响应于提供的选择,并且将它自身与PD 112关联,包括将选择的画面的用户与PD 112关联。在各种实施例中,其中PD 112还维持它与之关联的各种SD 102的映射(例如在主要住所的SD 102、在沙滩别墅的SD 102等等),作为响应,SD 102可将它自身向PD 112注册。
在备选实施例中,方法400可反而从框404进行到框422,其中在框422,SD 102可联系外部源(例如云计算服务器)来使用捕捉/生成的它的用户的画面获得PD 112的标识和/或配置信息。方法400可从框422进行到框412,其中SD 102可将它自身与它能够至少获得标识信息的所有PD 112关联,包括分别将用户画面与它能够基于用户画面获得标识信息的PD112关联。
在备选实施例中,方法400也可反而在框432开始,其中PD 112联系外部源(例如云计算服务器)来获得SD 102的标识和/或配置信息。如果成功,PD 112可从框432进行到框410,其中PD 112将SD 102关联到它自身。在框410,PD 112可将它自身与SD 102关联。方法400可如之前描述的从框410进行到框412。
图5图示根据本公开的各种实施例的由共用和个人装置的协作式个性化用户功能提供的用户视图。如图示的,最初示例协作式个性化用户功能提供500可经由例如PD 112上显示的图标向PD 112的用户呈现选项,来发起SD协作功能162。响应于该选项的选择,PD112的用户可呈现有选择SD注册/关联功能232或SD视频/图像/数据服务234的选项。在各种实施例中,PD 112的用户可进一步呈现有SD控制236的选项。
在选择SD注册/关联功能232时,可执行如之前描述的各种注册和/或关联操作508。在选择SD视频/图像/数据服务的选项时,PD 112的用户可被呈现有请求502正在SD102上呈递的视频流的视频段或请求504正在SD 102上呈递的视频流的图像帧的选项。在选择用于请求502正在SD 102上呈递的视频流的视频段,并且PD 112(使用例如媒体播放器224)在做出请求后作为响应而接收该视频段的选项时,PD 112的用户可被呈现有播放/呈递506该视频段的选项。在选择用于请求504正在SD 102上呈递的视频流的图像帧,并且在做出请求后作为响应接收该图像帧的选项时,PD 112的用户可被呈现有上传510的选项来将该图像上传到社交网络或云计算服务器,或浏览器228来向在线搜索服务提交搜索,随后用电子商务网站实施电子商务交易或参与SIG。
另外,在其中提供SD控制功能236的选项的实施例中,PD 112的用户可提供有姿势识别功能516来接收并且接受姿势以控制SD 102,例如扩大或缩小PIP 108,在主画面和PIP108之间交换两个视频流,或停止、暂停、快进或倒回正在SD 102上呈递的视频流。这些特征是相关申请的主题。对于另外的细节,参考相关申请。
图6图示根据本公开的各种实施例的非临时性计算机可读存储介质。如图示的,非临时性计算机可读存储介质802可包括若干编程指令804。编程指令804可配置成响应于这些编程指令由SD 102或PD 112的对应执行,使SD 102或PD 112能够执行之前参照图3和4描述的方法300-400的SD或PD部分的操作。在备选实施例中,这些编程指令可反而设置在两个或更多存储介质中。
图7图示根据本公开的各种实施例适合用作SD或PD的示例计算机系统。如示出的,计算系统900包括若干处理器或处理器核902和系统存储器904。为了该申请的目的(包括权利要求),术语“处理器”和“处理器核”可认为是同义的,除非上下文清楚地另外要求。另外,计算系统900包括大容量存储装置906(例如磁盘、硬盘驱动器、压缩盘只读存储器(CD-ROM)等等)、输入/输出装置908(例如显示器、键盘、光标控制、触摸板、拍摄装置等等)和通信接口910(例如WiFi、Bluetooth、3G/4G网络接口卡、调制解调器等等)。这些元件经由系统总线912(其代表一个或多个总线)彼此耦合。在多个总线的情况下,它们由一个或多个总线桥(未示出)桥接。
这些元件中的每个执行它在本领域内已知的常规功能。特别地,可采用系统存储器904和大容量存储906来存储实现之前参照图3和4描述的方法300-400的SD或PD部分(即PD协作功能152或SD协作功能162,或其的部分,本文通称为计算逻辑922)的编程指令的工作副本和永久副本。计算逻辑922可进一步包括编程指令来实践或支持SD功能151或PD功能161,或其的部分。各种部件可由处理器902支持的汇编指令或可以编译成这样的指令的高级语言(例如C等)来实现。
编程指令的永久副本可在工厂或在现场置入大容量存储906,这通过例如分发介质(未示出,例如压缩盘(CD)等)或通过通信接口910(从分发服务器(未示出))来进行。即,可采用具有计算逻辑922的实现的一个或多个分发介质来分发计算逻辑922以给各种计算装置编程。
这些元件902-910的构成是已知的,并且因此将不进一步描述。
尽管已经在本文说明和描述具体实施例,本领域内普通技术人员将意识到很多种备选和/或等同实现可代替示出和描述的具体实施例,而不偏离本公开的实施例的范围。该申请意在涵盖本文论述的实施例的任何适配或变化。因此,明显规定本公开的实施例仅由权利要求和其等同物所限制。

Claims (17)

1.一种能够与电视和至少一个远程服务器关联使用的设备,当所述设备在操作中时所述设备能够经由因特网网络与所述至少一个远程服务器进行通信,所述设备是:
机顶盒,用于至少部分经由所述电视来呈递流播视频内容中,所述流播视频内容将要由所述机顶盒经由所述因特网网络从所述至少一个远程服务器来接收,所述机顶盒包括:
拍摄装置;
至少一个多核处理器;
用于存储指令的存储装置,所述指令能够至少部分由所述至少一个多核处理器来运行,所述指令在至少部分由所述至少一个多核处理器运行时使所述机顶盒能够执行操作,所述操作包括:
至少部分基于至少部分经由所述拍摄装置对包括所述机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理,所述用户面部识别相关处理用于从所述机顶盒的多个可能用户之中识别所述机顶盒的所述当前用户中;
捕捉至少包括经由所述电视所呈递的所述流播视频的部分的视频片段数据以经由所述至少一个远程服务器上传到至少一个社交网络;
为了所述机顶盒的用户的面部而分析所述图像数据;
将所述机顶盒的用户的画面发送到智能电话,使得所述智能电话能够执行以下操作:比较所述机顶盒的用户的所述画面与所述智能电话的用户的参考画面,选择所述画面中匹配所述参考画面的画面并且将选择信息发送到所述机顶盒;
基于由所述智能电话提供的所述选择信息将所述机顶盒与所述智能电话关联;
从所述智能电话接收用于控制所述机顶盒的操作中的控制信息,所述控制信息基于将要经由所述智能电话接收的至少一个用户输入;
其中:
在所述设备的操作中,所述图像数据能够用于至少部分由所述机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,所述用户姿势识别处理将要用于至少部分确定所述当前用户的至少一个姿势输入以用于至少部分控制所述机顶盒中,所述用户面部表情分析将要用于至少部分确定所述当前用户的至少一个面部表情;以及
在所述设备的操作中,所述机顶盒能够至少部分经由无线通信来接收所述指令以提供给所述存储装置。
2.如权利要求1所述的设备,其中以下各项中的至少一项:
所述至少一个远程服务器包括云计算服务器、社交网络服务器和/或电子商务服务器;
所述至少一个面部表情包括批准、不批准、感兴趣、不感兴趣、高兴、悲伤、愤怒或者平和;和
所述至少一个姿势输入包括至少一个手势。
3.如权利要求2所述的设备,其中:
所述至少一个手势包括扩大手势、缩小手势、喜欢手势、不喜欢手势或者交换手势;和/或
所述机顶盒能够经由所述电视来呈递至少一个画中画。
4.如权利要求3所述的设备,其中以下各项中的至少一项:
所述机顶盒能够至少部分基于用户命令来改变所述至少一个画中画的大小;
所述机顶盒和所述电视是将要耦合在一起的相互分开的装置;
所述多个可能用户包括与所述机顶盒的注册功能关联的某些用户;和
经由所述机顶盒的无线通信接口进行所述无线通信。
5.一种至少部分使用机顶盒所实现的方法,所述机顶盒包括拍摄装置并且是与电视和至少一个远程服务器关联可使用的,所述机顶盒是在当所述机顶盒在操作中时至少部分经由所述电视来呈递流播视频内容中可使用的,所述流播视频内容将要由所述机顶盒经由因特网网络从所述至少一个远程服务器来接收,所述方法包括:
至少部分由所述机顶盒至少部分基于至少部分经由所述拍摄装置对包括所述机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理,所述用户面部识别相关处理用于从所述机顶盒的多个可能用户之中来识别所述机顶盒的所述当前用户中;
至少部分由所述机顶盒来捕捉至少包括经由所述电视所呈递的所述流播视频的部分的视频片段数据以经由所述至少一个远程服务器上传到至少一个社交网络;
为了所述机顶盒的用户的面部而分析所述图像数据;
将所述机顶盒的用户的画面发送到智能电话,使得所述智能电话能够执行以下操作:比较所述机顶盒的用户的所述画面与所述智能电话的用户的参考画面,选择所述画面中匹配所述参考画面的画面并且将选择信息发送到所述机顶盒;
基于由所述智能电话提供的所述选择信息将所述机顶盒与所述智能电话关联;
从所述智能电话接收用于控制所述机顶盒的操作中的控制信息,所述控制信息基于将要经由所述智能电话接收的至少一个用户输入;
其中:
在所述机顶盒的操作中,所述图像数据能够用于至少部分由所述机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,所述用户姿势识别处理将要用于至少部分确定所述当前用户的至少一个姿势输入以用于至少部分控制所述机顶盒中,所述用户面部表情分析将要用于至少部分确定所述当前用户的至少一个面部表情;以及
在所述机顶盒的操作中,所述机顶盒能够至少部分经由无线通信来接收指令。
6.如权利要求5所述的方法,其中以下各项中的至少一项:
所述至少一个远程服务器包括云计算服务器、社交网络服务器和/或电子商务服务器;
所述至少一个面部表情包括批准、不批准、感兴趣、不感兴趣、高兴、悲伤、愤怒或者平和;和
所述至少一个姿势输入包括至少一个手势。
7.如权利要求6所述的方法,其中:
所述至少一个手势包括扩大手势、缩小手势、喜欢手势、不喜欢手势或者交换手势;和/或
所述机顶盒能够经由所述电视来呈递至少一个画中画。
8.如权利要求7所述的方法,其中以下各项中的至少一项:
所述机顶盒能够至少部分基于用户命令来改变所述至少一个画中画的大小;
所述机顶盒和所述电视是将要耦合在一起的相互分开的装置;
所述多个可能用户包括与所述机顶盒的注册功能关联的某些用户;和
经由所述机顶盒的无线通信接口进行所述无线通信。
9.一种能够与电视和至少一个远程服务器关联使用的设备,当所述设备在操作中时所述设备能够经由因特网网络与所述至少一个远程服务器进行通信,所述设备是:
机顶盒,用于至少部分经由所述电视来呈递流播视频内容中,所述流播视频内容将要由所述机顶盒经由所述因特网网络从所述至少一个远程服务器来接收,所述机顶盒包括:
拍摄装置;
用于至少部分基于至少部分经由所述拍摄装置对包括所述机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理的部件,所述用户面部识别相关处理用于从所述机顶盒的多个可能用户之中识别所述机顶盒的所述当前用户中;
用于捕捉至少包括经由所述电视所呈递的所述流播视频的部分的视频片段数据以经由所述至少一个远程服务器上传到至少一个社交网络的部件;
用于为了所述机顶盒的用户的面部而分析所述图像数据的部件;
用于将所述机顶盒的用户的画面发送到智能电话,使得所述智能电话能够执行以下操作的部件:比较所述机顶盒的用户的所述画面与所述智能电话的用户的参考画面,选择所述画面中匹配所述参考画面的画面并且将选择信息发送到所述机顶盒;
用于基于由所述智能电话提供的所述选择信息将所述机顶盒与所述智能电话关联的部件;
用于从所述智能电话接收用于控制所述机顶盒的操作中的控制信息的部件,所述控制信息基于将要经由所述智能电话接收的至少一个用户输入;
其中:
在所述设备的操作中,所述图像数据能够用于至少部分由所述机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,所述用户姿势识别处理将要用于至少部分确定所述当前用户的至少一个姿势输入以用于至少部分控制所述机顶盒中,所述用户面部表情分析将要用于至少部分确定所述当前用户的至少一个面部表情;以及
在所述设备的操作中,所述机顶盒能够至少部分经由无线通信来接收程序指令以提供给所述机顶盒的存储部件。
10.如权利要求9所述的设备,其中以下各项中的至少一项:
所述至少一个远程服务器包括云计算服务器、社交网络服务器和/或电子商务服务器;
所述至少一个面部表情包括批准、不批准、感兴趣、不感兴趣、高兴、悲伤、愤怒或者平和;和
所述至少一个姿势输入包括至少一个手势。
11.如权利要求10所述的设备,其中:
所述至少一个手势包括扩大手势、缩小手势、喜欢手势、不喜欢手势或者交换手势;和/或
所述机顶盒能够经由所述电视来呈递至少一个画中画。
12.如权利要求11所述的设备,其中以下各项中的至少一项:
所述机顶盒能够至少部分基于用户命令来改变所述至少一个画中画的大小;
所述机顶盒和所述电视是将要耦合在一起的相互分开的装置;
所述多个可能用户包括与所述机顶盒的注册功能关联的某些用户;和
经由所述机顶盒的无线通信接口进行所述无线通信。
13.至少一个存储指令的计算机可读存储介质,所述指令在由机顶盒运行时使所述机顶盒执行如权利要求5至8中的任一项所述的方法。
14.一种至少部分使用机顶盒所实现的设备,所述机顶盒包括拍摄装置并且是与电视和至少一个远程服务器关联可使用的,所述机顶盒是在当所述机顶盒在操作中时至少部分经由所述电视来呈递流播视频内容中可使用的,所述流播视频内容将要由所述机顶盒经由因特网网络从所述至少一个远程服务器来接收,所述设备包括:
用于至少部分由所述机顶盒至少部分基于至少部分经由所述拍摄装置对包括所述机顶盒的当前用户的区域的图像捕捉所生成的图像数据来执行用户面部识别相关处理的部件,所述用户面部识别相关处理用于从所述机顶盒的多个可能用户之中来识别所述机顶盒的所述当前用户中;
用于至少部分由所述机顶盒来捕捉至少包括经由所述电视所呈递的所述流播视频的部分的视频片段数据以经由所述至少一个远程服务器上传到至少一个社交网络的部件;
用于为了所述机顶盒的用户的面部而分析所述图像数据的部件;
用于将所述机顶盒的用户的画面发送到智能电话,使得所述智能电话能够执行以下操作的部件:比较所述机顶盒的用户的所述画面与所述智能电话的用户的参考画面,选择所述画面中匹配所述参考画面的画面并且将选择信息发送到所述机顶盒;
用于基于由所述智能电话提供的所述选择信息将所述机顶盒与所述智能电话关联的部件;
用于从所述智能电话接收用于控制所述机顶盒的操作中的控制信息的部件,所述控制信息基于将要经由所述智能电话接收的至少一个用户输入;
其中:
在所述机顶盒的操作中,所述图像数据能够用于至少部分由所述机顶盒将要执行的用户姿势识别处理和用户面部表情分析中,所述用户姿势识别处理将要用于至少部分确定所述当前用户的至少一个姿势输入以用于至少部分控制所述机顶盒中,所述用户面部表情分析将要用于至少部分确定所述当前用户的至少一个面部表情;以及
在所述机顶盒的操作中,所述机顶盒能够至少部分经由无线通信来接收指令。
15.如权利要求14所述的设备,其中以下各项中的至少一项:
所述至少一个远程服务器包括云计算服务器、社交网络服务器和/或电子商务服务器;
所述至少一个面部表情包括批准、不批准、感兴趣、不感兴趣、高兴、悲伤、愤怒或者平和;和
所述至少一个姿势输入包括至少一个手势。
16.如权利要求15所述的设备,其中:
所述至少一个手势包括扩大手势、缩小手势、喜欢手势、不喜欢手势或者交换手势;和/或
所述机顶盒能够经由所述电视来呈递至少一个画中画。
17.如权利要求16所述的设备,其中以下各项中的至少一项:
所述机顶盒能够至少部分基于用户命令来改变所述至少一个画中画的大小;
所述机顶盒和所述电视是将要耦合在一起的相互分开的装置;
所述多个可能用户包括与所述机顶盒的注册功能关联的某些用户;和
经由所述机顶盒的无线通信接口进行所述无线通信。
CN201710904253.5A 2011-09-12 2011-09-12 共用和个人装置协作提供个性化用户功能的方法和设备 Active CN107979772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710904253.5A CN107979772B (zh) 2011-09-12 2011-09-12 共用和个人装置协作提供个性化用户功能的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201180073398.6A CN103765873B (zh) 2011-09-12 2011-09-12 使用共用和个人装置的个性化用户功能的协作式提供
CN201710904253.5A CN107979772B (zh) 2011-09-12 2011-09-12 共用和个人装置协作提供个性化用户功能的方法和设备
PCT/CN2011/001550 WO2013037084A1 (en) 2011-09-12 2011-09-12 Cooperative provision of personalized user functions using shared and personal devices

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180073398.6A Division CN103765873B (zh) 2011-09-12 2011-09-12 使用共用和个人装置的个性化用户功能的协作式提供

Publications (2)

Publication Number Publication Date
CN107979772A CN107979772A (zh) 2018-05-01
CN107979772B true CN107979772B (zh) 2021-10-29

Family

ID=47882508

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710712717.2A Active CN107529082B (zh) 2011-09-12 2011-09-12 使用共用和个人装置来提供个性化用户功能的方法和设备
CN201180073398.6A Active CN103765873B (zh) 2011-09-12 2011-09-12 使用共用和个人装置的个性化用户功能的协作式提供
CN201710904253.5A Active CN107979772B (zh) 2011-09-12 2011-09-12 共用和个人装置协作提供个性化用户功能的方法和设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710712717.2A Active CN107529082B (zh) 2011-09-12 2011-09-12 使用共用和个人装置来提供个性化用户功能的方法和设备
CN201180073398.6A Active CN103765873B (zh) 2011-09-12 2011-09-12 使用共用和个人装置的个性化用户功能的协作式提供

Country Status (7)

Country Link
US (3) US20130346508A1 (zh)
EP (3) EP2756671B1 (zh)
JP (1) JP5818994B2 (zh)
KR (4) KR101643238B1 (zh)
CN (3) CN107529082B (zh)
TW (3) TWI610180B (zh)
WO (1) WO2013037084A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2756671B1 (en) 2011-09-12 2019-05-22 Intel Corporation Cooperative provision of personalized user functions using shared and personal devices
EP2798836A4 (en) 2011-12-31 2015-08-05 Intel Corp CONTROL SYSTEM BASED ON CONTENT
US20130300823A1 (en) * 2012-05-10 2013-11-14 Jiun-Sian Chu Stereo effect enhancement systems and methods
US9152313B2 (en) * 2012-08-06 2015-10-06 Shutterfly, Inc. Unified picture access across devices
WO2014056122A1 (en) 2012-10-08 2014-04-17 Intel Corporation Method, apparatus and system of screenshot grabbing and sharing
US9038142B2 (en) 2013-02-05 2015-05-19 Google Inc. Authorization flow initiation using short-term wireless communication
US9143542B1 (en) * 2013-06-05 2015-09-22 Google Inc. Media content collaboration
KR102420916B1 (ko) * 2015-08-05 2022-07-15 엘지전자 주식회사 영상표시기기 및 그 제어방법
TWI668624B (zh) * 2018-04-19 2019-08-11 鴻佰科技股份有限公司 餐點寄存系統
CN110390780A (zh) 2018-04-19 2019-10-29 鸿富锦精密电子(天津)有限公司 餐点寄存系统
US11307667B2 (en) * 2019-06-03 2022-04-19 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for facilitating accessible virtual education
GB2586792B (en) 2019-08-30 2022-08-17 Samsung Electronics Co Ltd Apparatus, method and computer program for determining configuration settings for a display apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002042909A1 (en) * 2000-11-22 2002-05-30 Koninklijke Philips Electronics N.V. Method and apparatus for obtaining auditory and gestural feedback in a recommendation system

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196345A (ja) 1997-10-07 1999-07-21 Masanobu Kujirada 表示システム
CA2309459A1 (en) 1999-06-10 2000-12-10 International Business Machines Corporation System for personalized field of view in a broadcast environment
US6947995B2 (en) 2000-11-20 2005-09-20 Flexiworld Technologies, Inc. Mobile and pervasive output server
US20030001908A1 (en) * 2001-06-29 2003-01-02 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on speech and gesture control
US8869206B2 (en) * 2002-12-10 2014-10-21 Lg Electronics Inc. Digital television and channel editing method thereof
US7122367B2 (en) * 2003-06-03 2006-10-17 Board Of Trustees Operating Michigan State University Diacylglycerol acyltransferase genes, proteins, and uses thereof
KR20050083515A (ko) * 2004-02-23 2005-08-26 박선식 제스처 인식을 이용한 출입통제 시스템 및 출입통제제어방법
US8346605B2 (en) * 2004-06-07 2013-01-01 Sling Media, Inc. Management of shared media content
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
US7647617B2 (en) * 2004-11-16 2010-01-12 Integra5 Communications, Inc. Method for association between telephony and television network equipment
US20060141962A1 (en) 2004-12-23 2006-06-29 Sony Ericsson Mobile Communications Ab Selecting/acquiring desired multimedia content
KR100703693B1 (ko) * 2005-01-13 2007-04-05 삼성전자주식회사 얼굴 인식 시스템 및 방법
JP4792247B2 (ja) 2005-06-29 2011-10-12 Omo株式会社 コンテンツ視聴システム及びコンテンツの視聴方法
JP2007034895A (ja) * 2005-07-29 2007-02-08 Toshiba Corp 情報管理装置、情報管理方法、及び情報管理システム
US7558950B2 (en) * 2005-10-27 2009-07-07 Sony Ericsson Mobile Communications Ab Methods of configuring an electronic device to be operable with an electronic apparatus based on automatic identification thereof and related devices
CN100459674C (zh) * 2005-11-24 2009-02-04 腾讯科技(深圳)有限公司 一种视频通信画面显示控制装置及方法
WO2007119236A2 (en) 2006-04-13 2007-10-25 Yosef Mizrachi Method and apparatus for providing gaming services and for handling video content
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
CN101496404A (zh) * 2006-07-31 2009-07-29 株式会社爱可信 电子设备、显示系统、显示方法以及程序
JP4754432B2 (ja) * 2006-08-08 2011-08-24 東日本電信電話株式会社 遠隔操作システム、通信端末、サーバ装置、およびコンピュータプログラム
US20080066181A1 (en) * 2006-09-07 2008-03-13 Microsoft Corporation DRM aspects of peer-to-peer digital content distribution
US20080133327A1 (en) * 2006-09-14 2008-06-05 Shah Ullah Methods and systems for securing content played on mobile devices
TW200826631A (en) 2006-12-07 2008-06-16 Inventec Corp An audio-visual playing device and system using a mobile communication device to control the channel switching, and a method thereof
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US20090013309A1 (en) * 2006-12-29 2009-01-08 Mark Shavlik Generation of Custom Software Applications
GB2447095B (en) 2007-03-01 2010-07-28 Sony Comp Entertainment Europe Entertainment device and method
US20080295012A1 (en) * 2007-05-23 2008-11-27 Microsoft Corporation Drag-and-drop abstraction
US20080301737A1 (en) * 2007-05-31 2008-12-04 Sony Ericsson Mobile Communications Ab System and method for personalized television viewing triggered by a portable communication device
US8407744B2 (en) * 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090133090A1 (en) * 2007-11-19 2009-05-21 Verizon Data Services Inc. Method and system of providing content management for a set-top box
US8539357B2 (en) * 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
JP2011520302A (ja) * 2007-12-10 2011-07-14 デラックス・デジタル・スタジオズ,インコーポレイテッド マルチメディアデバイスを連係させる際に使用するための方法およびシステム
WO2009081307A1 (en) * 2007-12-21 2009-07-02 Koninklijke Philips Electronics N.V. Matched communicating devices
CN101557249B (zh) * 2008-04-07 2012-11-07 上海贝尔阿尔卡特股份有限公司 无线通信系统中控制协作传输下行信号的方法和装置
US20090288132A1 (en) * 2008-05-14 2009-11-19 Samsung Electronics Co. Ltd. Method and communication system for controlling appliance device using a mobile device
GB2460219B (en) * 2008-05-14 2010-10-20 Samsung Electronics Co Ltd Interaction between appliances and mobile devices
US8150387B2 (en) * 2008-06-02 2012-04-03 At&T Intellectual Property I, L.P. Smart phone as remote control device
US20100018857A1 (en) * 2008-07-23 2010-01-28 Seagate Technology Llc Sputter cathode apparatus allowing thick magnetic targets
EP2172927A1 (en) * 2008-10-02 2010-04-07 Telefonaktiebolaget LM Ericsson (PUBL) Method and computer program for operation of a multi-buffer graphics memory refresh, multi-buffer graphics memory arrangement and communication apparatus
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9160814B2 (en) * 2008-11-10 2015-10-13 Intel Corporation Intuitive data transfer between connected devices
TW201019723A (en) * 2008-11-11 2010-05-16 Hong-Xing Weng Multimedia broadcast system with split-screen functionality
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
US20100216441A1 (en) * 2009-02-25 2010-08-26 Bo Larsson Method for photo tagging based on broadcast assisted face identification
JP5148534B2 (ja) * 2009-03-03 2013-02-20 株式会社東芝 通信サーバ、装置及びセッション制御方法
US20140032722A1 (en) * 2009-05-29 2014-01-30 Adobe Systems Incorporated Controlling Characteristics of Network Device Widgets through a Network Device
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8262647B2 (en) * 2009-07-29 2012-09-11 Alcon Lensx, Inc. Optical system for ophthalmic surgical laser
US8380225B2 (en) * 2009-09-14 2013-02-19 Microsoft Corporation Content transfer involving a gesture
KR101732057B1 (ko) * 2009-11-02 2017-05-02 삼성전자주식회사 Av 시스템에서 사용자 입력 백 채널을 제공하는 방법 및 기기
KR101661232B1 (ko) * 2009-11-13 2016-09-30 삼성전자주식회사 외부기기로의 컨텐츠 제공방법
KR20110052997A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 디스플레이 장치와 클라이언트 단말 및 이의 제어 방법
KR101681321B1 (ko) * 2009-11-17 2016-11-30 엘지전자 주식회사 사용자 인증 방법 및 그를 이용한 화상 통신 장치 및 디스플레이 장치
CN101764920B (zh) * 2009-12-02 2012-12-26 陈奎林 一种家用影视设备的控制系统及方法
EP2513822A4 (en) * 2009-12-16 2014-08-13 Mozaik Multimedia Inc PERSONALIZED INTERACTIVE CONTENT SYSTEM AND METHOD FOR SEVERAL USERS
JP5434569B2 (ja) * 2009-12-22 2014-03-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10027676B2 (en) * 2010-01-04 2018-07-17 Samsung Electronics Co., Ltd. Method and system for multi-user, multi-device login and content access control and metering and blocking
CN101815162B (zh) * 2010-04-27 2012-12-05 四川长虹电器股份有限公司 一种遥控节目的系统
CN101931629A (zh) * 2010-08-31 2010-12-29 深圳市同洲电子股份有限公司 移动终端播放电视节目的方法、系统及数字电视接收终端
US20120078725A1 (en) * 2010-09-27 2012-03-29 Infosys Technologies Limited Method and system for contextual advertisement recommendation across multiple devices of content delivery
CN102026037A (zh) * 2010-11-25 2011-04-20 Tcl集团股份有限公司 基于widget的电视交互方法及系统及一种电视机
CN102098280A (zh) * 2010-12-03 2011-06-15 中国传媒大学 跨媒体交互系统
CN102075728B (zh) * 2011-01-18 2015-08-12 中兴通讯股份有限公司 一种共享音频和/或视频的方法及系统
CN102098564A (zh) * 2011-03-04 2011-06-15 东莞市中珩电子科技有限公司 一种基于wi-fi的观看电视节目的方法
CN102118635A (zh) * 2011-03-09 2011-07-06 深圳市同洲电子股份有限公司 移动终端控制时移电视的方法、装置及系统
KR101836403B1 (ko) * 2011-04-12 2018-04-19 엘지전자 주식회사 디스플레이 장치의 리모콘 기능을 수행하는 이동 단말기
EP2751989A4 (en) * 2011-09-01 2015-04-15 Thomson Licensing METHOD FOR CAPTURING VIDEO-ASSOCIATED CONTENT
EP2756671B1 (en) 2011-09-12 2019-05-22 Intel Corporation Cooperative provision of personalized user functions using shared and personal devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002042909A1 (en) * 2000-11-22 2002-05-30 Koninklijke Philips Electronics N.V. Method and apparatus for obtaining auditory and gestural feedback in a recommendation system

Also Published As

Publication number Publication date
TW201810066A (zh) 2018-03-16
JP5818994B2 (ja) 2015-11-18
EP3349472B1 (en) 2021-05-19
KR20150068488A (ko) 2015-06-19
KR20170105137A (ko) 2017-09-18
TW201327202A (zh) 2013-07-01
EP2756671B1 (en) 2019-05-22
JP2014530517A (ja) 2014-11-17
CN103765873A (zh) 2014-04-30
CN107529082B (zh) 2021-02-26
KR20170062548A (ko) 2017-06-07
KR20140054226A (ko) 2014-05-08
KR101942211B1 (ko) 2019-01-24
EP3349472A1 (en) 2018-07-18
TW201738770A (zh) 2017-11-01
WO2013037084A1 (en) 2013-03-21
CN107979772A (zh) 2018-05-01
CN103765873B (zh) 2018-04-06
EP2756671A1 (en) 2014-07-23
CN107529082A (zh) 2017-12-29
TWI628549B (zh) 2018-07-01
TWI630487B (zh) 2018-07-21
US10419804B2 (en) 2019-09-17
US20130346508A1 (en) 2013-12-26
KR101828889B1 (ko) 2018-02-13
US20170295392A1 (en) 2017-10-12
US20170374404A1 (en) 2017-12-28
TWI610180B (zh) 2018-01-01
EP3328088A1 (en) 2018-05-30
EP2756671A4 (en) 2015-07-15
KR101643238B1 (ko) 2016-07-29

Similar Documents

Publication Publication Date Title
CN107979772B (zh) 共用和个人装置协作提供个性化用户功能的方法和设备
KR101500913B1 (ko) 비디오 콘텐츠의 주석부기 및/또는 추천 방법 및 장치
CN103959803B (zh) 使用共享视频装置和个人装置的个性化视频内容消费
US10015557B2 (en) Content-based control system
TWI517683B (zh) 內容導向控制系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant