CN103765417B - 视频内容注释和/或推荐的方法和设备 - Google Patents

Abstract

与由共用和个人装置的协作式注释和/或推荐关联的方法、设备和存储介质。在各种实施例中，至少一个非暂时性计算机可读存储介质可包括若干指令，其配置成响应于这些指令由个人装置（PD）的执行而使用户的个人装置能够接收选择用户功能的执行的用户输入，用户功能与正在共用视频装置（SVD）（其配置成由多个用户使用）上呈递的视频流关联，呈递在接近用户输入的时间时在共用视频装置上呈递的视频流的图像帧以及促进用户功能的执行，其可包括视频对象的注释。可公开或要求保护其他实施例，其包括视频内容的推荐。

Description

视频内容注释和/或推荐的方法和设备

相关申请

该申请涉及：

（1）使用共用视频装置和个人装置的个性化视频内容消费，代理机构卷号110466-182902，以及

（2）使用共用和个人装置的个性化用户功能的协作式提供，代理机构卷号110466-182901。

两者都与本申请同时提交。

技术领域

该申请涉及数据处理的技术领域，更具体地涉及与使用共用和个人装置注释和/或推荐视频内容所关联的方法和设备。

背景技术

本文提供的背景描述是为了大体上呈现本公开的上下文的目的。除非在本文另外指示，在该章节中描述的资料对于该申请中的权利要求来说不是现有技术并且不因为包括在该章节中而承认是现有技术。

随着集成电路、计算、联网和其他技术的发展，例如智能电话、平板计算机等配置成由用户使用的个人装置越来越流行。同时，例如电视、耦合于电视的机顶盒等配置成由多个用户使用的共用视频装置仍然流行，部分是因为它们增加的功能性，例如高清视频、环绕音响等。当前，除了可能使用个人装置作为共用视频装置的常规遥控外，个人和共用视频装置之间很少有集成或协作。

附图说明

本发明的实施例将通过示范性实施例而非限制的方式描述、在附图中图示，其中类似的标号指代相似的元件，并且其中：

图1是图示示例共用和个人装置使用设置的框图；

图2更详细地图示共用视频装置和个人装置中每个的一个示例；

图3图示由共用和个人装置进行的协作式用户功能提供的示例方法；

图4图示共用和个人装置之间注册和/或关联的方法的各种示例；

图5图示由共用和个人装置进行的示例协作式个性化用户功能提供的用户视图；

图6图示由共用和个人装置提供的协作式个性化用户功能中选择的功能的另一个用户视图；

图7图示由共用和个人装置进行的协作式个性化推荐的示例方法；

图8图示具有配置成实践图3-4的方法的所有或选择方面的指令的示例非临时性计算机可读存储介质；以及

图9图示适合用作共用或个人装置的示例计算环境；全部根据本公开的实施例设置。

具体实施方式

本文公开与由共用和个人装置进行的协作式注释和推荐所关联的方法、设备和存储介质。在各种实施例中，具有若干指令的非临时性计算机可读存储介质，这些指令配置成响应于这些指令由个人装置（PD）的执行使用户的个人装置能够接收用户输入，其选择与正在共用视频装置（配置成由多个用户使用）上呈递的视频流关联的用户功能的执行，以及呈递在接近该用户输入的时间时在该共用视频装置上呈递的视频流的图像帧。此外，这些指令在执行时可进一步使个人装置能够促进用户功能的执行。与正在共用视频装置上呈递的视频流关联的用户功能可包括但不限于注释该视频流的图像帧或该图像帧内的对象，将该图像帧上传到社交网络或云计算服务器，至少部分基于该图像帧或内部的对象提交搜索，或用电子商务网站实施至少部分因为该图像帧而促成的电子商务交易。

在各种实施例中，个人装置可以是配置成由用户使用的任何装置，例如智能电话或平板计算机。共用视频装置可包括配置成由多个用户使用的任何视频装置，例如电视或耦合于该电视的机顶盒。视频流可以是正在电视的画中画中呈递的视频流。

在各种实施例中，指令在执行时可进一步使个人装置能够响应于用户输入从共用视频装置请求图像帧；并且在请求后从共用视频装置接收图像帧。此外，指令在执行时可进一步使个人装置能够促进要与视频流、图像帧或图像帧内的对象关联的注释的录入。特别地，指令在执行时可进一步使个人装置能够促进要与图像帧内的对象关联的注释的录入，包括促进该对象的选择。指令在执行时可进一步使个人装置能够促进相对于呈递的图像帧做出的用户手势的识别来选择该对象。

另外，指令在执行时可进一步使个人装置能够促进文本注释的录入，或促进喜欢或不喜欢的推荐的录入。指令在执行时可进一步使个人装置能够识别拇指向上或拇指向下的用户手势来分别促进喜欢或不喜欢的推荐的录入。指令在执行时可进一步使个人装置能够存储录入的注释或向共用视频装置或云计算服务器提交录入的注释。指令在执行时可进一步使个人装置能够检索之前录入的注释，并且促进检索到的注释的编辑。

此外，指令在执行时可进一步使个人装置能够分析一段时间期间录入的注释或用户输入，并且至少部分基于分析的结果对要在共用视频装置上呈递的视频流做出推荐。

在各种实施例中，个人设备可包括一个或多个处理器，和耦合于该一个或多个处理器的输入机构，并且配置成接收用户输入来选择与正在共用视频装置（配置成由多个用户使用）上呈递的视频流关联的用户功能的执行。该个人设备配置成由用户使用。此外，该个人设备可包括与该一个或多个处理器耦合的视频/图像部件，其配置成呈递在接近该用户输入的时间时在该共用视频装置上呈递的视频流的图像帧，以及由该一个或多个处理器操作的共用视频装置协作功能，其耦合于该输入机构和视频/图像部件，并且配置成促进该用户功能的执行。另外，该共用视频装置协作功能可由之前描述的计算机可读存储介质的指令来实行。

此外，个人装置（PD）方法可包括由之前描述的计算机可读存储介质的指令（当执行时）执行的操作中的所有或选择的操作。

说明性实施例的各种方面将使用通常由本领域内技术人员采用的术语来描述以向本领域内其他技术人员传达他们的工作的实质。然而，替代实施例可仅用描述的方面中的一些实践，这对于本领域内技术人员将是明显的。为了说明的目的，阐述具体数字、材料和配置以便提供对说明性实施例的全面理解。然而，替代实施例可在没有具体细节的情况下实践，这对于本领域内技术人员将是明显的。在其他实例中，省略或简化众所周知的特征以便不混淆说明性实施例。

此外，各种操作将进而采用对于理解说明性实施例最有帮助的方式描述为多个分立操作；然而，描述的顺序不应该解释为暗示这些操作必定依赖于顺序。特别地，这些操作不需要按呈现的顺序执行。

如本文（包括权利要求）使用的术语“智能电话”指具有超出移动通话的丰富功能性的“移动电话”，例如个人数字助理（PDA）、媒体播放器、拍摄装置、触摸屏、网页浏览器、全球定位系统（GPS）导航、WiFi、移动宽带等等。术语“移动电话”或其变化形式（包括权利要求）指用于跨由许多公共小区服务的广阔的地理区域进行移动电话呼叫的移动电子装置。

重复使用短语“在一个实施例中”或“在实施例中”。该短语一般不指相同的实施例；然而，它可指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文另外指示。短语“A/B”意思是“A或B”。短语“A和/或B”意思是“（A）、（B）或（A和B）”。短语“A、B和C中的至少一个”意思是“（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）”。如本文使用的短语“A或B中选择的一个”指“A”或“B”，并且不以任何方式暗示或要求执行“选择”操作。

现在参照图1，其中框图根据各种实施例图示示例共用和个人装置使用设置。如图示的，设置100可包括配置成接收并且呈递听觉/视觉（A/V）内容134供由多个用户使用的共用视频装置（SVD）102，和配置成提供各种个人功能（例如移动通话等）供由用户使用的个人装置（PD）112。此外，SVD 102和PD 112可分别配置有PD协作功能152和SVD协作功能162，来使PD 112能够被采用来注释与在SVD 102上呈递的视频流关联的视频对象，和/或做出视频内容推荐以供在SVD 102上消费。除了根据本公开的实施例提供的PD和SVD协作功能152和162，SVD 102的示例可包括电视106和机顶盒104的多装置耦合组合，或电视106和机顶盒104的单装置集成组合，然而PD 112的示例可包括智能电话或平板计算机。在各种实施例中，电视106可包括具有一个或多个PIP 108的画中画（PIP）特征，并且机顶盒104可包括例如拍摄装置等数字图像捕捉装置154。同样，PD 112也可包括例如拍摄装置等数字图像捕捉装置164。

如图示的，SVD 102可配置成耦合于一个或多个A/V内容源（未示出），并且从其中选择性接收A/V内容134，然而PD 112可配置成经由无线广域网（WWAN）120无线148耦合于蜂窝通信服务136。A/V内容源的示例可包括但不限于电视节目广播公司、有线电视运营商、卫星电视节目提供商、数字视频录像机（DVR）、压缩盘（CD）或数字视频盘（DVD）播放器或视频卡带录像机（VCR）。蜂窝通信服务136可以是码分多址（CDMA）服务、增强GPRS（EDGE）服务、3G或4G服务（GPRS=通用分组无线电服务）。

仍然参照图1，在各种实施例中，SVD 102和PD 112可经由接入点110彼此无线142和144耦合。进而，接入点110可进一步经由一个或多个专用或公共网络（包括例如因特网122）将SVD 102和PD 112耦合于远程云计算/web服务器132。也就是说，SVD 102、PD 112和接入点110可形成局域网，例如家庭网络等。远程云计算/web服务器132可包括搜索服务（例如Google®或Bing®等）、电子商务网站（例如Amazon等）或社交网站（例如Facebook®或MySpace®等）。此外，在各种实施例中，SVD 102和PD 112可分别配置成使用个人和/或近场通信协议使这些装置能够无线146耦合。在各种实施例中，无线耦合142和144可包括WiFi连接，然而无线耦合146可包括蓝牙连接。

在各种实施例中，SVD 102和PD 112可分别具有关联的标识符。对于这些实施例，其中SVD 102包括具有PIP 108的电视106，SVD 102可进一步包括分别标识主画面和PIP108的逻辑标识符。另外，在各种实施例中，标识符可至少分别包括在由SVD 102和PD 112传送的发现通信中，来使例如PD 112和SVD 102等这些通信的接收方能够辨别这些通信的发送方。

图2根据各种实施例更详细地图示SVD 102和PD 112中每个的一个示例。如示出和之前描述的，SVD 102可包括SVD功能151和PD协作功能152，然而PD 112可包括PD功能161和SVD协作功能162。

在各种实施例中，SVD功能151可包括一个或多个通信接口202（具有相应的收发器）和媒体播放器204（具有一个或多个A/V解码器）。具有相应收发器的通信接口202可包括配置成从电视节目广播公司、有线电视运营商或卫星节目提供商接收A/V内容的通信接口，配置成从DVR、CD/DVD播放器或VCR接收A/V内容的通信接口，配置成与接入点110通信的通信接口和/或配置成直接与PD 112通信的通信接口。具有一个或多个A/V解码器的媒体播放器204可配置成解码和呈递各种A/V内容流。这些各种A/V解码器可配置成将各种格式和/或编码方案的A/V内容流解码。

在各种实施例中，PD协作功能152可包括PD注册/关联功能212、PD视频/图像/数据服务214和PD控制功能216。此外，PD协作功能152可包括面部/手势识别功能218和推荐功能220。

PD注册/关联功能212可配置成将SVD 102向PD 112注册或将PD 112与SVD 102关联。在各种实施例中，注册/关联功能212可配置成通过交换具有标识和/或配置的消息将SVD 102向PD 112注册/与PD112关联。在备选实施例中，注册/关联功能212可配置成使用面部识别服务与面部/手势识别服务218协作地将SD 102向PD 112注册/与PD112关联。在各种实施例中，注册/关联功能212可配置成维持SVD 102向其注册和/或与其关联的PD 112的映射。对于各种机顶盒104和电视106实施例，其中电视106包括具有一个或多个PIP 108的PIP特征，PD注册/关联功能212可配置成在PIP粒度级别将SVD 102向PD 112注册或将SVD 102与PD 112关联，来使在主画面和PIP 108中呈递的视频流能够与不同的PD 112逻辑关联。此外，PD注册/关联功能212可配置成在PIP粒度级别维持之前描述的SVD 102到PD 112映射。在各种实施例中，PD注册/关联功能212可进一步配置成维持映射来包括PD 112的用户的当前状态，例如该用户是否在SVD 102的当前用户之中。PD注册/关联功能212可配置成当用户变成SVD 102的当前用户（或SVD 102的当前用户中的一个）或不再是SVD 102的当前用户时更新状态。

PD视频/图像/数据服务214可配置成向PD 112提供视频、图像和/或数据。特别地，PD 视频/图像/数据服务214可配置成从正在SVD 102上呈递的视频流捕捉图像或视频片段，或从SVD 102的拍摄装置捕捉图像。捕捉的图像或视频片段可被存储和/或提供给PD112。此外，PD 视频/图像/数据服务 214可配置成提供从视频流捕捉的图像或视频片段给云计算服务器来识别该视频流，和/或获得与该视频流关联的元数据。该元数据可由视频流创建者/所有者、分发者或关联的广告者提供。与该视频流关联的该元数据也可被存储或提供给PD 112。此外，观看历史可存储在SVD 102上。

PD视频/图像/数据服务214还可配置成接受来自PD 112的视频、图像和/或数据。例如，PD视频/图像/数据服务214可配置成接受由PD 112的用户对由SVD 102提供的图像录入的注释。PD视频/图像/数据服务214还可配置成接受来自PD 112的电子商务交易相关的信息，例如用于使用SVD 102的虚拟试衣以促进牵涉服装的潜在电子商务交易。同样，从PD112接收的视频、图像和/或数据可存储在SVD 102上。

PD控制功能216可配置成接受来自PD 112的控制，并且作为响应，相应地控制SVD102，包括但不限于控制图像从正在SVD 102上呈递的视频流的捕捉，或控制视频流在SVD102上的呈递，例如停止、暂停、前进或倒回该视频流。PD控制功能216还可配置成接受来自PD 112的控制，来调节3DTV视频流的呈递，来控制它的质量。

面部/手势识别服务218可配置成提供若干面部识别和/或手势识别服务。面部识别服务可包括画面中面部的识别，包括年龄、性别、种族等等。面部识别服务可进一步包括面部表情的识别，例如批准、不批准、感兴趣、不感兴趣、高兴、悲伤、愤怒或平和。面部识别可基于一个或多个面部或生物计量特征。手势识别服务可包括识别若干手势，包括但不限于指代“喜欢”的拇指向上手势、指代“不喜欢”的拇指向下手势、指代“扩大”的两个手指移动远离彼此、指代“缩小”的两个手指朝彼此移动、指代“交换”的两个手指或两只手彼此交叉。

推荐功能220可配置成单独或与推荐功能242结合、基于使用SVD 102而与PD 112的交互/协作和/或在SVD协作功能162和PD功能161之间的交互/协作对PD 112的用户提供个性化的推荐。个性化的推荐可以是对于PD 112的用户具有潜在兴趣的其他内容、其他网站、其他广告、其他商品等。

在各种实施例中，PD注册/关联功能212可配置成与面部/手势识别功能218协作来实行SVD 102或SVD 102的逻辑单元（例如，如果SVD 102包括具有PIP 108的电视106 的话，则是PIP 108）向各种PD 112的注册，或各种PD 112的关联。

如本文使用的术语“关联”指例如SVD 102和PD 112两个实体之间的关系，然而如本文使用的术语“注册”指一个实体与另一个实体的动作，例如为了形成这些实体之间的“关联”的目的的“动作”。也就是说，本公开预期SVD 102和PD 112之间的“关联”可单方面或双方面形成。例如，SVD 102凭借它对特定PD 112的了解（例如它的标识等）可单方面认为该特定PD 112与该SVD 102关联，而无需它自己向该特定PD 112注册或不要求该特定PD 112向它自己注册。在另一方面，SVD 102和/或PD 112可彼此明确地标识出它们自己（“注册”）来形成关联。

继续参照图2，在各种实施例中，PD功能161可包括一个或多个通信接口222（具有相应收发器）、媒体播放器224（具有一个或多个A/V解码器）、输入装置226和浏览器228。通信接口222可包括配置成与蜂窝通信服务通信的通信接口，配置成与接入点110通信的通信接口，和/或配置成直接与SVD 102通信的通信接口。具有一个或多个A/V解码器的媒体播放器224可配置成解码和呈递各种A/V内容流。这些各种A/V解码器可配置成将各种格式和/或编码方案的A/V内容流解码。

输入装置226可配置成使PD 112的用户能够提供各种用户输入。输入装置226可包括键盘（真实或虚拟的）来使用户能够提供文本输入，和/或光标控制装置，例如触摸板、轨迹球等等。在各种实施例中，输入装置226包括视频和/或触敏屏幕来使用户能够提供手势输入。手势输入可包括之前关于面部/手势识别服务218描述的相同或不同的手势。

浏览器228可配置成使PD 112的用户能够访问因特网上的远程搜索服务、电子商务网站或社交网络。搜索服务的示例可包括Google®、Bing®等等。电子商务网站可包括Amazon、Best Buy等等。社交网络可包括Facebook®、MySpace®等等。浏览器228还可配置成使PD 112的用户能够参加与正在SVD 102上呈递的视频流节目关联的特殊兴趣组（SIG）。这样的SIG可基于正由内容提供商递送的当前内容预先形成或动态形成。这样SIG还可在地理上划分，或按PD装置类型划分。

在各种实施例中，SVD协作功能162可包括SVD注册功能232、SVD视频/数据服务234和SVD控制功能236、注释功能238和日志功能240。SVD协作功能162可进一步包括推荐功能242和面部/手势识别服务244。

与SVD 102的PD注册/关联功能212相似的SVD注册/关联功能232可配置成将PD112向SVD 102注册或将SVD 102与PD 112关联。对于各种机顶盒104和电视106实施例，其中电视106包括PIP特征，SVD注册功能232可配置成在PIP粒度级别将PD 112向SVD 102注册或将SVD 102与PD 112关联，来使在主画面和PIP 108中呈递的视频流能够与相同或不同的PD112独立关联。

与SVD102的PD视频/图像/数据服务214相似的SVD视频/图像/数据服务234可配置成向SVD 102提供视频、图像和/或数据，或从SVD 102接受视频、图像和/或数据，其特别地包括源自正在SVD 102上呈递的视频流的视频段、从该视频流或由SVD 102的拍摄装置捕捉的画面帧或由PD 112的拍摄装置捕捉的画面。SVD视频/图像/数据服务234还可配置成发送视频、图像和/或数据到云计算服务器和/或从云计算服务器接受视频、图像和/或数据。SVD视频/图像/数据服务234可配置成与浏览器228协作来实行视频、图像和/或数据到云计算服务器的发送和从云计算服务器的接受。

SVD控制236可配置成向SVD 102提供控制来控制SVD 102。如之前描述的，关于对SVD 102的PD控制216，控制可包括但不限于扩大或缩小PIP 108，在主画面和PIP 108之间交换视频流，停止、暂停、快进或倒回视频流。SVD控制236还可配置成向SVD 102提供控制来调节3DTV视频流的呈递，以控制SVD 102来控制它的质量。此外，SVD控制236可配置成在商业活动期间提供自动视频流切换和当商业活动结束时自动切换回来。

注释功能238可配置成使PD 112的用户能够注释从SVD 102获得的对象，例如图像或这些图像内的对象等。注释功能238可配置成促进注释通过例如键盘装置或剪切和粘贴功能来文本式录入。注释功能238可配置成促进注释经由手势录入，例如指代“喜欢”或“不喜欢”的手势。

日志功能240可配置成记录SVD 102和PD 112之间和/或PD功能161和SVD协作功能162之间的交互或协作，包括例如对各种对象录入的注释。日志功能240可配置成存储交互和/或协作历史（包括例如对对象录入的注释），其本地存储在PD 112中、SVD 102上或向云计算服务器存储。日志功能240可配置成与SVD视频/图像/数据服务234协作来实行向SVD102或云计算服务器存储交互和/或协作历史。

与SVD 102的推荐功能220相似的推荐功能242可配置成单独或与推荐功能220结合、基于使用PD 112而与SVD 102的所记录的交互/协作和/或在PD功能161 和SVD协作功能162之间所记录的交互/协作对PD 112的用户提供个性化的推荐。推荐功能242可进一步配置成采用在PD 112上可用的其他数据，例如踪迹数据，例如由PD 112上的GPS记录的被访问位置等。

在继续另外的描述之前，应该注意到尽管SVD 102和PD 112的实施例在图2中图示，其中两个装置分别具有推荐功能220和242，以及面部/手势识别服务218和244，可实践其他实施例，其中SVD 102和PD 112中的仅一个或没有一个具有推荐功能或面部/手势识别服务。相似地，尽管为了容易理解，视频/图像/数据服务214和234与面部/手势识别服务218和244描述为组合服务，在备选实施例中，可实践本公开，其中这些服务中的一个或两个细分成分开的服务，例如视频/图像/数据服务细分成分开的视频、图像和数据服务，或面部/手势识别服务细分成分开的面部和手势识别服务。

因此，在注册或关联时，PD协作功能152和SVD协作功能162可协作来向PD 112的用户提供各种个性化的用户功能。例如，视频/图像/数据服务214和234可协作来使来自正在SVD 102上（例如，在电视的主画面或PIP 108中）呈递的视频流的图像帧能够从SVD 102提供给PD 112。该图像帧可响应于PD 112的用户的请求而被提供以用于协作式用户功能。该图像帧可以是大致上在PD 112做出请求时在SVD 102上呈递的图像帧。该请求时间可由服务234传达给服务214。

在接收到图像帧时，PD 112的用户可使用注释功能238来注释图像帧。注释功能238可由它自己或与面部/手势识别服务244协作以使PD 112的用户能够认出图像帧内的对象（例如人或项目）并且具体地注释该对象（如与整个图像相对地）。面部/手势识别服务244可使图像帧内的对象能够通过相对于图像帧做出的用户手势（例如，圈出对象或指向对象）的识别而认出。日志功能240可使用视频/图像/数据服务214和234使注释的图像帧和/或图像帧内的对象能够存储在PD 112上或回到SVD 102上。备选地，视频/图像/数据服务214也可由它自己或与浏览器228协作使注释的图像帧或图像帧内的对象能够上传到社交网络或云计算服务器。

作为另外的示例，在正在SVD 102上呈递的视频流中看见感兴趣的片段或人物的PD 112的用户可请求该视频流的图像帧。响应于该请求，服务214和234可协作来对PD 112提供大致上在做出请求时呈递的图像帧。在接收到该图像帧时，用户可使用注释功能238注释该图像帧、该图像帧内的项目或人物，并且其后将注释的图像帧或图像帧内的项目/人物存储在PD 112、SVD 102、社交网络或云计算服务器132上。为了注释图像帧内的人物或项目，用户可使用识别/手势识别服务244例如用用户手势圈出或指向图像帧内的人物或项目。

作为另一个示例，视频/图像/数据服务234还可与浏览器228协作来使接收的图像帧能够提供给搜索服务来至少部分基于接收的图像帧执行搜索。相似地，视频/图像/数据服务234还可与浏览器228协作来使PD 112的用户能够用电子商务网站进行电子商务交易，其中电子商务交易至少部分是接收的图像帧的结果。更具体地，在看见正在SVD 102上呈递的视频流中感兴趣的项目时，PD 112的用户可请求图像帧，并且使用如之前描述的服务214和234使具有该项目的图像帧提供给PD 112。在接收到图像帧时，并且在突显感兴趣的该项目后，用户可进一步使用浏览器228使该项目的搜索被执行。在电子商务网站上定位到出售的该项目时，用户可在电子商务交易中用该电子商务网站来购买该项目。

作为再另一个示例，PD控制功能216和SVD控制功能236可协作来使PD 112的用户能够控制SVD 102的操作。更具体地，利用识别特定用户手势的面部/手势识别服务，PD控制功能216和SVD控制功能236可协作来响应并且使正在SVD 102上呈递的视频流的片段能够在PD 112上重播。此外，响应于另一个用户手势输入的识别，PD控制功能216和SVD控制功能236可协作来使正在SVD 102上呈递的视频流能够停止、暂停、快进或倒回。相似地，响应于再另一个手势的识别，PD控制功能216和SVD控制功能236可协作来使SVD 102的PIP 108能够扩大或缩小，或使正在主画面中和PIP 108中呈递的两个视频流能够交换。

作为再另一个示例，日志功能240可配置成在用户控制/可选择的基础上在一段时间期间记录SVD 102和PD 112之间和/或PD功能161和SVD协作功能162之间的交互或协作。如之前描述的，记录的信息可本地存储在PD 112上、SVD 102上或云计算服务器上。因此，推荐功能220和/或242可单独或结合地被采用来分析记录的交互或协作，并且做出各种推荐，例如要在SVD 102上观看的其他视频内容、要在PD 112上访问/浏览的其他网站或内容和/或要购买的其他项目等。

图3图示根据各种实施例由共用和个人装置的协作式个性化用户功能提供的示例方法。如图示的，方法300可在框302和/或304开始，其中SVD 102和/或PD 112彼此注册或关联，将在下文参照图4更充分地描述。在各种实施例中，可实践方法300，其中PD 112向SVD102注册它自己或另外将SVD 102关联到它自己。在其他实施例中，可实践方法300，其中SVD102向PD 112注册它自己或另外将PD 112与它自己关联。在再另外的实施例中，可实践方法300，其中SVD 102和PD 112向彼此注册它们自己或另外将它们自己与彼此关联。

在各种实施例中，SVD 102和PD 112还可交换配置信息作为注册过程的一部分来促进随后的通信。例如，SVD 102和PD 112可交换它们相应的能力信息，例如处理能力、支持的编码/解码方案、支持的消息传递协议等等。在各种实施例中，SVD 102和/或PD 112也可配置成作为注册过程的一部分使要求的软件和/或更新被推送到和/或安装在另一个装置上。

在注册或关联时，方法300可进行到框306，其中PD 112可从PD 112的用户接收指示或选择来使SVD 102和PD 112协作来提供个性化的用户功能。方法300可从框306进行到框308，其中PD 112可与SVD 102协作来促进向用户协作式提供个性化的用户功能。

方法300可从框308进行到框310，然后到框312，并且然后回到框310，其中可请求正在SVD 102上呈递的视频流的图像帧，其被提供给并且呈递在PD 112上。如之前描述的，在各种实施例中，该图像帧可以是大致上在PD 112做出请求时在SVD 102上呈递的图像帧。方法300可从框310进行回到框308，其中用户可注释该图像帧或该图像帧内的对象。

其后方法300可响应于另一个用户输入从框308进行到框314，然后到框316，来在PD 112或SVD 102上存储注释的图像或图像帧内的对象。方法300可经由框314从框316回到框308。备选地，在框308，不管有没有注释图像或图像内的对象而在注释图像或图像内的对象之前或之后，方法300可留在框308中来至少部分基于图像帧或其中的对象执行搜索，和/或用电子商务网站执行至少部分因为图像帧或内部的对象而促成的电子商务交易。

其后，或代替之前描述的操作，在框308，可接收SVD 102的控制。如之前描述的，控制可经由PD 112的用户的手势而被输入。如之前描述的，控制可包括但不限于请求正在SVD102上呈递的视频流的片段在PD 112上重播，请求SVD 102停止、暂停、快进或倒回正在SVD102上呈递的视频流，请求PIP 108的扩大或缩小，和/或请求交换主画面和PIP 108。在接收到控制时，方法300可从框308进行到框318，然后到框320，来使控制从PD 112发送到SVD102，并且在SVD 102上处理并且对控制做出响应。如果控制是在PD 112上重播视频段，方法300可从框320经由框312和310回到框308，否则方法300可经由框318回到框308。

其后，或代替之前描述的操作，方法300可在框308进行到框322，其中可执行SVD102和PD 112之间的历史交互/协作的分析，并且可向PD 112的用户呈现其他内容消费或用户动作的个性化推荐。

其后，可响应于各种另外的用户输入重复上文描述的操作。最后，方法300可从框308进行到框324，其中可接收到用户输入来退出协作式提供用户功能。在接收到这样的输入时，方法300可终止。

图4图示根据各种实施例的共用和个人装置之间注册和/或关联的方法的各种示例。如图示的，方法400可例如在框402开始，其中SVD 102（配备有图像捕捉装置，例如拍摄装置等）捕捉它的用户的画面。在各种实施例中，SVD 102可通过捕捉SVD 102前面的空间的画面而捕捉它的用户的画面，并且然后对用户的面部分析画面（使用例如面部/手势识别服务218）。在识别新用户的面部时，SVD 102（使用例如注册/关联功能212）可生成这些新用户的画面。SVD 102可定期执行捕捉和生成操作，例如在通电时，并且因此在时间基础上或在事件驱动的基础上定期地，例如在正呈递的视频流改变时或在正呈递的视频流的风格改变时执行捕捉和生成操作。

方法400可从框402进行到框404，其中SVD 102响应于PD 112的检测或由PD 112的联系可发送SVD 102的用户的画面给PD 112。方法400可从框404进行到框406，其中对于某些“手动”实施例，PD 112可向PD 112的用户显示接收的画面来确认接收的画面中的一个是否是PD 112的用户的画面。备选地，对于某些“自动”实施例，使用例如面部/手势识别服务244的PD 112可比较接收的画面与PD 112的用户的参考画面。PD 112的用户的该参考画面可在以前提供给PD 112，或由PD 112捕捉（对于配备有例如拍摄装置等图像捕捉装置的实施例）。

方法400可从框406进行到框408，其中对于“手动”实施例，PD 112可从PD 112的用户接收所接收的画面中的一个的选择，指示SVD 102的用户的所选择画面对应于PD 112的用户。对于“自动”实施例，PD 112可选择大致上匹配参考画面的所接收的画面中的一个。

方法400可从框408进行到框410，其中PD 112可将它自己与SVD 102关联。在将它自己与SVD 102关联中，PD 112可发送选择信息（由用户或通过比较操作来提供）给SVD 102来向SVD 102（或SVD 102的逻辑单元，例如SVD 102的电视106的PIP 108等）注册它自己。

方法400可从框410进行到框412，其中SVD 102可响应于提供的选择，并且将它自己与PD 112关联，包括将选择的画面的用户与PD 112关联。在各种实施例中，其中PD 112还维持它与之关联的各种SVD 102的映射（例如在主要住所的SVD 102、在沙滩别墅的SVD 102等等），作为响应，SVD 102可向PD 112注册它自己。

在备选实施例中，方法400可反而从框404进行到框422，其中在框422，SVD 102可联系外部源（例如云计算服务器）来使用捕捉/生成的它的用户的画面而获得PD 112的标识和/或配置信息。方法400可从框422进行到框412，其中SVD 102可将它自己与它能够至少获得标识信息的所有PD 112关联，包括分别将用户画面与它能够基于用户画面获得标识信息的PD 112关联。

在备选实施例中，方法400也可反而在框432开始，其中PD 112联系外部源（例如云计算服务器）来获得SVD 102的标识和/或配置信息。如果成功，PD 112可从框432进行到框410，其中PD 112将SVD 102关联到它自己。在框410，PD 112可向SVD 102注册它自己。方法400可如之前描述的从框410进行到框412。

图5图示根据本公开的各种实施例的由共用和个人装置进行的协作式个性化用户功能提供的用户视图。如图示的，最初可经由例如PD 112上显示的图标向PD 112的用户呈现选项，来发起SVD协作功能162（来与SVD协作地促进用户功能）。响应于该选项的选择，PD112的用户可被呈现有选择SVD注册/关联功能232、SVD视频/图像/数据服务234或SVD控制服务236的选项。

在选择SVD视频/图像/数据服务234时，PD 112的用户可被呈现有请求502正在SVD102上呈递的视频流的视频段或请求504正在SVD 102上呈递的视频流的图像帧的选项。在选择为了请求502正在SVD 102上呈递的视频流的视频段，并且作为响应在做出请求后PD112（使用例如媒体播放器224）接收该视频段的选项时，PD 112的用户可被呈现有播放/呈递506该视频段的选项。

在选择为了请求504正在SVD 102上呈递的视频流的图像帧，并且作为响应在做出请求后接收该图像帧的选项时，PD 112的用户可被呈现有使用注释功能238（来注释图像或其中的对象）、日志功能240（来存储图像或其中的对象，不管有或没有注释）或浏览器228（来向在线搜索服务提交搜索，随后用电子商务网站实施电子商务交易或参与SIG）的选项。

响应于SVD控制功能236的选择，PD 112的用户可被提供有手势识别功能516来接收并且接受手势以控制SVD 102，例如扩大或缩小PIP 108，在主画面和PIP 108之间交换两个视频流，或停止、暂停、快进或倒回正在SVD 102上呈递的视频流。

图6图示根据本公开的各种实施例的由共用和个人装置进行的所选的协作式个性化用户功能提供的另一个用户视图。在图6中示出的是在PD 112上显示的图像612。图像612可从SVD 102接收。此外，图像612可由SVD 102响应于PD 112的请求而提供。如图示的，图像612可包括若干对象614，例如人、项目、建筑物、地标、植物等等。可选择对象614中的一个或多个，如由点线环绕矩形616描绘的。如之前描述的，选择可通过用户的手势做出。

如图示的，在选择一个或多个对象时，并且响应于用户的请求，可对用户提供弹出区域618来录入注释并且显示录入的注释。如之前描述的，注释可使用例如键盘、剪切和粘贴功能等等文本式地录入。此外备选地，注释可通过手势的识别来录入，例如指代“喜欢”的拇指向上或指代“不喜欢”的拇指向下等等。

不管有没有注释，响应于用户请求，可呈现弹出菜单620，其为PD 112的用户提供功能列表的选择，例如基于图像或选择的对象提交搜索，将图像或选择的对象上传到社交网络或云计算服务器，或用电子商务网站实施电子商务交易。

图7图示根据本公开的各种实施例的由共用和个人装置进行的协作式个性化推荐的示例。如图示的，方法700可在框702开始，其中PD 112由它自己或与SVD 102协作地记录PD 112和SVD 102之间的交互和协作。如之前描述的，记录的信息可本地存储在PD 112上、SVD 102上或在云计算服务器上。框702的操作可以是连续的。

方法700可从框702定期进行到框704，其中SVD 102和/或PD 112可单独或结合地分析记录/存储的交互或协作信息。方法700可从框704进行到框706，其中SVD 102或PD 112可至少部分基于分析的结果向PD 112的用户做出个性化的推荐。如之前描述的，个性化的推荐可包括视频流、网站等的个性化推荐。

方法700可从框706回到框702，并且如之前描述的由此进行下去。

图8图示根据本公开的各种实施例的非临时性计算机可读存储介质。如图示的，非临时性计算机可读存储介质802可包括若干编程指令804。编程指令804可配置成响应于这些编程指令由SVD 102或PD 112的对应执行，使SVD 102或PD 112能够执行之前参照图3和4描述的方法300-400的SVD或PD部分的操作。在备选实施例中，编程指令804可反而设置在多个非临时性计算机可读存储介质802中。

图9图示根据本公开的各种实施例适合用作SVD或PD的示例计算机系统。如示出的，计算系统900包括若干处理器或处理器核902和系统存储器904。为了该申请的目的（包括权利要求），术语“处理器”和“处理器核”可认为是同义的，除非上下文清楚地另外要求。另外，计算系统900包括大容量存储装置906（例如磁盘、硬盘驱动器、压缩盘只读存储器（CD-ROM）等等）、输入/输出装置908（例如显示器、键盘、光标控制、触摸板、拍摄装置等等）和通信接口910（例如WiFi、Bluetooth、3G/4G网络接口卡、调制解调器等等）。这些元件经由系统总线912（其代表一个或多个总线）彼此耦合。在多个总线的情况下，它们由一个或多个总线桥（未示出）桥接。

这些元件中的每个执行它在本领域内已知的常规功能。特别地，可采用系统存储器904和大容量存储906来存储实现之前参照图3和4描述的方法300-400的SVD或PD部分（即PD协作功能152或SVD协作功能162，或其的部分，本文共同指代为计算逻辑922）的编程指令的工作副本和永久副本。计算逻辑922可进一步包括编程指令来实践或支持SVD功能151或PD功能161，或其部分。各种部件可由处理器902支持的汇编指令或可以编译成这样的指令的高级语言（例如C等）实现。

编程指令的永久副本可在工厂或在现场置入大容量存储906，通过例如分发介质（未示出，例如压缩盘（CD）等）或通过通信接口910（从分发服务器（未示出））。即，可采用具有计算逻辑922的实现的一个或多个分发介质来分发计算逻辑922以给各种计算装置编程。

这些元件902-912的构成是已知的，并且因此将不进一步描述。

尽管已经在本文说明和描述具体实施例，本领域内普通技术人员将意识到很多种备选和/或等同实现可代替示出和描述的具体实施例，而不偏离本公开的实施例的范围。该申请意在涵盖本文论述的实施例的任何适配或变化。因此，明显规定本公开的实施例仅由权利要求和其等同所限制。

Claims (19)

1.一种用于执行用户功能的个人装置，其包括：

至少一个非暂时性计算机可读存储介质，其具有多个指令，所述指令配置成响应于所述指令由个人装置的执行而使所述个人装置能够：

接收选择用户功能的执行的用户输入，所述用户功能与正在配置成由多个用户使用的共用视频显示装置上呈递的视频流关联；

在所述个人装置上呈递在所述用户输入时在所述共用视频显示装置上呈递的视频流的图像帧；以及

促进所述用户功能的执行，

其中，所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够促进要与所述视频流、所述图像帧或所述图像帧内的对象关联的注释的录入，并且

其中，所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够分析一段时间期间录入的注释或用户输入，并且至少部分基于分析的结果而对要在所述共用视频显示装置上呈递的视频流做出推荐。

2.如权利要求1所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够：

响应于所述用户输入而从所述共用视频显示装置请求所述图像帧；以及

在所述请求后从所述共用视频显示装置接收所述图像帧。

3.如权利要求1所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够促进要与所述图像帧内的对象关联的注释的录入，其包括经由相对于呈递的图像帧做出的用户手势的识别而选择所述对象来促进所述对象的选择。

4.如权利要求1所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够促进文本注释的录入。

5.如权利要求1所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够经由识别拇指向上或拇指向下的用户手势来分别促进喜欢或不喜欢的推荐的录入而促进喜欢或不喜欢的推荐的录入。

6.如权利要求1所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够存储录入的注释或向所述共用视频显示装置或云计算服务器提交录入的注释。

7.如权利要求1所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够检索之前录入的注释，并且促进检索到的注释的编辑。

8.如权利要求1所述的个人装置，其中所述个人装置包括智能电话或平板计算机，所述共用视频显示装置包括电视或耦合于所述电视的机顶盒，并且所述视频流正在所述电视的画中画中呈递。

9.一种用于执行用户功能的个人装置，其包括：

至少一个非暂时性计算机可读存储介质，其具有多个指令，所述指令配置成响应于所述指令由个人装置的执行而使所述个人装置能够：

促进在共用视频显示装置上正呈递的视频流的图像帧内对象的选择，所述共用视频显示装置配置成由多个用户使用；以及

促进对于所述对象的注释的录入，

其中，所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够促进文本注释的录入，并且

其中，所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够分析一段时间期间录入的注释或用户输入，以及对要在所述共用视频显示装置上呈递的视频流做出推荐。

10.如权利要求9所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够促进相对于呈递的图像帧做出的用户手势的识别来选择所述对象。

11.如权利要求9所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够经由识别拇指向上或拇指向下的用户手势来分别促进喜欢或不喜欢的推荐的录入而促进喜欢或不喜欢的推荐的录入。

12.如权利要求9所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够存储录入的注释或提交录入的注释至所述共用视频显示装置或云计算服务器。

13.如权利要求9所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够检索之前录入的注释，以及促进检索到的注释的编辑。

14.一种用于执行用户功能的个人装置，其包括：

至少一个非暂时性计算机可读存储介质，其具有多个指令，所述指令配置成响应于所述指令由个人装置的执行而使用户的个人装置能够：

分析对于与在共用视频显示装置上呈递的多个视频流关联的多个图像在一段时间期间录入的注释或用户输入，所述共用视频显示装置配置成由多个用户使用，以及

至少部分基于分析的结果对要在所述共用视频显示装置上呈递的视频流做出推荐。

15.如权利要求14所述的个人装置，其中所述指令进一步配置成响应于所述指令由所述个人装置的执行而使所述个人装置能够经由识别拇指向上或拇指向下的用户手势来分别促进喜欢或不喜欢的推荐的录入而促进喜欢或不喜欢的推荐的录入。

16.一种用于执行用户功能的方法，包括：

由用户的个人装置接收用户输入，所述用户输入选择与正在共用视频显示装置上呈递的视频流关联的用户功能的执行，所述共用视频显示装置配置成由多个用户使用；

由所述个人装置呈递在所述用户输入时在所述共用视频显示装置上呈递的视频流的图像帧；以及

由所述个人装置促进所述用户功能的执行，

其中，所述促进包括：

由所述个人装置促进要与所述视频流、所述图像帧或所述图像帧内的对象关联的注释的录入；以及

使得所述个人装置能够分析在一段时间期间录入的注释或用户输入，并且至少部分基于分析的结果对要在所述共用视频显示装置上呈递的视频流做出推荐。

17.如权利要求16所述的方法，其中促进要与所述视频流、所述图像帧或所述图像帧内的对象关联的注释的录入包括经由所述个人装置识别拇指向上或拇指向下的用户手势来促进喜欢或不喜欢的推荐的录入，其中促进要与所述图像帧内的对象关联的注释的录入包括经由所述个人装置识别相对于呈递的图像帧做出的用户手势来促进所述对象的选择。

18.一种用于执行用户功能的个人设备，包括：

一个或多个处理器；

输入机构，其与所述一个或多个处理器耦合并且配置成接收用户输入来选择与正在共用视频显示装置上呈递的视频流关联的用户功能的执行，所述共用视频显示装置配置成由多个用户使用，其中所述设备配置成由用户使用；

视频/图像部件，其与所述一个或多个处理器耦合并且配置成呈递在所述用户输入时在所述共用视频显示装置上呈递的视频流的图像帧；以及

由所述一个或多个处理器操作的共用视频显示装置协作功能，其耦合于所述输入机构和视频/图像部件，并且配置成促进所述用户功能的执行，

其中，所述共用视频显示装置协作功能进一步配置成促进要与所述视频流、所述图像帧或所述图像帧内的对象关联的注释的录入，以及分析在一段时间期间录入的注释或用户输入，并且至少部分基于分析的结果对要在所述共用视频显示装置上呈递的视频流做出推荐。

19.如权利要求18所述的个人设备，其中促进要与所述视频流、所述图像帧或所述图像帧内的对象关联的注释的录入包括经由识别拇指向上或拇指向下的用户手势来促进喜欢或不喜欢的推荐的录入而促进喜欢或不喜欢的推荐的录入，其中促进要与所述图像帧内的对象关联的注释的录入包括经由识别相对于呈递的图像帧做出的用户手势来促进所述对象的选择。