CN117501701A - 用户感知自动内容捕获和增强 - Google Patents

用户感知自动内容捕获和增强 Download PDF

Info

Publication number
CN117501701A
CN117501701A CN202280042641.6A CN202280042641A CN117501701A CN 117501701 A CN117501701 A CN 117501701A CN 202280042641 A CN202280042641 A CN 202280042641A CN 117501701 A CN117501701 A CN 117501701A
Authority
CN
China
Prior art keywords
user
content
mcd
electronic device
multimedia content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280042641.6A
Other languages
English (en)
Inventor
刘璐
D·锡德
P·多尔蒂
金祥勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Patent Holdings Inc
Original Assignee
InterDigital Patent Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital Patent Holdings Inc filed Critical InterDigital Patent Holdings Inc
Publication of CN117501701A publication Critical patent/CN117501701A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4583—Automatically resolving scheduling conflicts, e.g. when a recording by reservation has been programmed for two programs in the same time slot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种由第一电子设备执行的方法包括：从第二电子设备接收关于在该第一设备上显示的多媒体内容的内容捕获的一个或多个触发条件发生的指示；响应于该触发条件指示而开始捕获该多媒体内容；从第三设备收集信息，其中来自该第三设备的该信息是与在该第一设备上显示的该多媒体内容相关的响应信息；利用从该第三设备收集的信息来增强所捕获的多媒体内容，以便同时显示；以及显示所增强的多媒体内容。

Description

用户感知自动内容捕获和增强
相关申请的交叉引用
本申请要求于2021年5月19日提交的美国临时专利申请63/190,518号的权益，该申请出于所有目的以引用的方式全文并入本文。
技术领域
本公开原理涉及来自数字电视设备的通信，具体地，本公开原理涉及代表用户提供内容捕获操作的方法和机器。
背景技术
存在使用户能够记录或重放来自显示设备的内容的现有技术。这些技术的一些示例包括数字视频录像机(DVR)和能够以数字形式记录视频并保存到存储设备的其他视频捕获设备。用户可手动配置设备以开始录制感兴趣的内容。一些录像机还提供自动录制用户可能感兴趣的节目或项目的功能。一些设备(例如，游戏控制台)提供即时重放的特征，该特征可使用户能够捕获刚播放的固定长度的视频剪辑。一些设备提供具有基于内容的触发(诸如面部识别、图像匹配或其他类型的数据匹配)的自动记录的特征。
现有系统在捕获与用户兴趣相关的内容方面存在缺陷。这些系统的内容捕获特征依赖于用户的手动配置，或者不会根据用户兴趣的精确匹配进行定制。存在为用户自动捕获内容的系统，但是这些系统不考虑关于用户的动态信息，诸如用户的当前状态或活动。另一个问题是，在系统捕获内容同时用户也在观看内容的情况下，现有系统无法向用户提供用于理解内容捕获原因的上下文的方法，也无法向用户提供基于相关性导航所捕获的内容的能力。
在一个示例性用例中，用户可能暂时离开屏幕或不注意屏幕(例如，开门、拿起电话等)。用户在离开之前可能没有时间开始录制，并且在离开时错过正在播放的内容。在一些情况下，用户可能能够使用倒带功能来重新观看错过的片段。然而，由于用户不知道其离开的确切时间戳，因此用户可能不得不多次尝试手动定位所需的时间戳。
在第二示例性用例中，用户可能想要选择性地录制来自最吸引其兴趣的相对较长的视频的若干片段/精彩画面，以供稍后重新观看或与朋友分享。用户可以在每次发现感兴趣的片段时暂停视频，并通过手动倒回到片段开始处的过去时间戳来录制该片段。另选地，用户可使用追溯录制功能来录制刚刚播放的片段。然而，此类功能仅支持固定长度的录制，该固定长度可能不是用户的期望长度。
在上述两个示例性用例中，可以看到，当前媒体消费设备(MCD)不能识别用户可能想要捕获的内容并自动执行内容捕获/录制。换句话说，缺乏用户对内容捕获的感知。MCD可被定义为可向用户提供多媒体观看体验并且能够捕获正在播放的内容的消费电子设备(例如，DTV、HMD、PC、平板计算机、智能电话)。MCD可具有互联网连接，该互联网连接允许观看者流式传输点播视频、在线交互媒体、过顶内容、音乐、浏览互联网、观看照片等。
在第三示例性用例中，用户正在观看锻炼视频，同时佩戴智能手表来跟踪心率。在锻炼会话结束之后，用户或其教练想要检查用户的心率随视频内容的变化情况，以便决定如何调整视频内容。用户必须手动同步视频和心率读数，并匹配来自两个设备的时间戳。
在第四用例中，用户正在观看在线讲座，同时在平板计算机上做笔记。讲师讲了一个要点，并且用户写下了一些文字来帮助理解该要点。在讲座结束之后，用户想要生成视觉笔记作为关键点集锦，其中包括包含讲师授课要点的视频片段以及用户写下的对应解释文本。用户必须重新观看整个录制的讲座并剪下感兴趣的剪辑，手动识别与每个视频剪辑相关联的文本输入，然后使用文本来覆盖剪辑。
如上述示例中所理解的，在许多情况下，MCD用户可在除MCD之外的设备上执行与MCD上正在播放的内容相关或受其影响的活动。用户可能想要将他们在其他设备上的活动与他们正在观看的视频相关联，并且共同捕获MCD的内容和设备上的输入。因此，希望MCD应当知道与MCD上正在播放的内容相关的用户在其他设备上的活动或输入，识别来自此类活动的用户输入并将其与MCD的内容组合，以实现联合内容捕获和增强。增强所捕获的内容可包括在MCD或其他设备处添加用户的输入。
发明内容
提供本发明内容是为了以简化的形式引入概念的选择，作为稍后呈现的具体实施方式的序言。本发明内容既不旨在识别关键或基本特征，也不旨在描述所要求保护的主题的范围。
在一个实施方案中，一种由第一电子设备执行的方法包括：从第二电子设备接收关于在该第一设备上显示的多媒体内容的内容捕获的一个或多个触发条件发生的指示；响应于该触发条件指示而开始捕获该多媒体内容；从第三设备收集信息，其中来自该第三设备的该信息是与在该第一设备上显示的该多媒体内容相关的响应信息；利用从该第三设备收集的信息来增强所捕获的多媒体内容，以便同时显示；以及显示所增强的多媒体内容。
从下面相对于附图进行的例示性实施方案的详细描述中，附加技术特征和优点将变得显而易见。附图的目的是为了说明本公开的概念，而不一定是用于说明本公开的唯一可能配置。除非另有说明，否则可组合各种附图的特征。
附图说明
当结合附图阅读时，可更好地理解前述发明内容以及例示性实施方案的以下详细描述，该附图以举例的方式而不是以相对于本公开原理的限制方式被包括在内。在附图中，相同的附图标记表示相同的元件。
图1描绘了用于内容捕获的示例性高级过程；
图2描绘了示例性内容捕获配置；
图3描绘了示例性触发监测和检测过程；
图4描绘了用于内容捕获和增强的示例性第一选项；
图5描绘了用于内容捕获和增强的示例性第二选项；
图6描绘了用于内容捕获和增强的示例性第三选项；
图7描绘了用于内容捕获和增强的示例性第四选项；
图8描绘了示例性系统级实施方案；
图9描绘了根据本公开的各方面的方法的示例性流程图；并且
图10描绘了内容捕获设备的示例性框图。
实施方案的详细讨论
以下结合附图对各种例示性实施方案进行描述，附图是描述的一部分并通过图解说明的方式示出可如何实施各种实施方案。应当理解，在不脱离本公开原理范围的情况下，可利用其他实施方案，并且可做出结构上和功能上的修改。
媒体消费设备(MCD)用户的活动通常与在MCD上显示的内容或用户的观看体验相关。如上文简要描述的，用户可能想要捕获感兴趣的内容(例如，录制、屏幕截图等)，并且/或者将来自MCD的内容与对应的活动(诸如到MCD或其他设备的用户输入或用户生成的信息或用户导出的信息)相关联。MCD目前缺乏基于对用户的兴趣或用户的活动的此类感知来捕获内容的能力。
为了使MCD的用户能够感知到内容捕获，本文讨论了自动内容捕获特征，该特征可由用户的动作、活动、对各种设备的输入和/或可为用户生成或用户导出的其他响应信息触发。触发可由用户配置，也可由MCD配置，该MCD可基于内容捕获历史记录来学习用户的偏好和倾向。此外，提出了利用来自其他设备的响应信息来增强正在显示和/或捕获的内容的特征，这使得MCD能够将用户的活动与内容相关联。响应信息可以是用户对各种设备的输入，也可以是用户在一个或多个设备处主动或被动提供的信息，该信息响应于提供给用户的内容或与提供给用户的内容相关。如本文所用，响应信息是一种形式的用户生成或用户导出的信息。
图1描绘了用于所提出的MCD内容捕获的高级过程100，该高级过程使用用户感知自动内容捕获和增强功能来解决上述缺点。所提出的用户感知内容捕获和增强功能可实现为集成在MCD中的应用/服务。MCD可利用本地可用的支持能力，或者与链接设备交互，并且与内容捕获分析器(CCA)交互以在提供功能方面获得帮助。链接设备可以是除MCD之外的设备，该设备通过提供用于捕获的触发/通知、通过提供要利用所捕获的内容来增强的响应信息或通过充当用于所捕获的内容的显示/存储设备来参与内容捕获。CCA可以是具有智能的实体，以收集内容捕获历史记录的信息，分析该信息，并基于该分析生成内容捕获触发建议。下面详细描述了每个实体和高级过程。
在图1中，媒体消费设备(MCD)104可被定义为消费电子设备，该消费电子设备向用户及其设备102提供多媒体观看体验，并且能够捕获(和增强)正在播放的内容。MCD的示例包括但不限于数字电视(DTV)、头戴式设备(HMD)、个人计算机(PC)、平板计算机、智能电话等。MCD还可能能够提供可辅助内容捕获和增强的过程的支持功能(例如，感测、文本编辑)。
在各个附图中，描绘了诸如图1中的用户设备102之类的用户设备。用户设备可以是能够从用户接收输入以便与MCD和系统环境的其余部分通信的膝上型计算机、PC、平板计算机、呼叫电话等中的任一者。用户设备还可配备有屏幕，以显示诸如多媒体内容和应用之类的项目。
在图1中，链接设备106可以是除目标MCD(目标MCD是执行内容捕获的MCD，链接设备可以是另一MCD)之外的一个或多个设备，该目标MCD将参与并辅助内容捕获。设备可通过多种方式参与，并且链接设备可通过多于一种方式参与。在一些实施方案中，链接设备106可以是作为独立设备或作为MCD 104的部件/组件的传感器或其他电路。在一个可能的实施方案中，MCD和链接设备可耦合在一起并且充当一个设备105。触发事件可在链接设备106处生成。例如，用作链接设备的传感器可监测用户或其设备的存在，在用户不在时生成触发，并通知MCD进行录制。在图1中，例如，可在将与所捕获的内容集成的链接设备106处接收响应信息。例如，作为链接设备的健康监测设备可提供传感器读数，作为要与所捕获的内容组合的用户输入。所捕获的内容被发送到链接设备，以便进行显示、处理、存储或共享。例如，所捕获的内容可被发送到链接平板计算机，其中该平板计算机可将所捕获的内容与用户在该平板计算机上的输入叠加并向用户显示所组合的内容。应当注意，链接设备106的参与可以是可选的。如果向链接设备描述的功能可由MCD执行，则MCD可独立地执行整个内容捕获和增强过程。在图1的此类示例中，MCD 104和链接设备106可在一个设备105中一起工作。
在图1中，内容捕获分析器108是具有智能的实体，以预测用户对内容捕获的偏好和倾向。CCA 106可收集与目标MCD 104的用户设备102交互的用户以及其他用户的内容捕获历史记录的信息。此外，CCA将收集关于所捕获的内容的用户反馈，诸如用户是否同意捕获，或者用户是否喜欢所捕获的内容。基于所收集的信息，CCA可作出推断，诸如可触发内容捕获的情况、条件和/或设备、流行内容或用户可能捕捉的内容等。例如，当观看标记有“讲座”的内容时，用户可始终打开用户平板计算机上的“笔记”应用，并且当存在对该应用的输入时录制剪辑。该推断可基于80％的用户在观看该节目时录制了最后10分钟内容的示例性统计信息。推断结果将作为内容捕获触发而被建议给MCD。
在图1的配置的替代方案中，CCA 108可集成到MCD 104或可与MCD连接的外部设备。另选地，CCA可实例化为云服务。CCA可通过通信网络与目标MCD以及其他MCD连接，以收集用户的捕获历史记录或偏好。CCA还可与内容提供商服务器连接，以获得与用户偏好相关的信息。
使用图1的配置，在步骤1处，MCD 104可共享内容捕获配置信息，链接设备106和CCA 108可包括触发和通知配置。内容捕获触发配置向MCD提供用于自动内容捕获和增强的触发。基于触发条件，MCD可识别用户感兴趣的内容并执行诸如录制和屏幕截图之类的内容捕获。该触发可由用户配置或由CCA建议。基于该触发，MCD可进一步识别并联系参与内容捕获的链接设备。内容捕获通知配置指定用户希望如何获知所捕获的内容。不同配置可导致MCD可就内容捕获与用户交互的不同方法。
在图1中，在步骤2处，基于所配置的内容捕获触发，MCD 104可监测触发中定义的对应条件和事件，并确定是否应当执行内容捕获。当接收到用户的命令或MCD作出的决定/检测时，或者当接收到来自链接设备的通知，或者当接收到来自MCD或链接设备的用户输入时，该内容捕获可被触发。
在图中，在步骤3处，当内容捕获被触发时，MCD 104可执行内容的录制或屏幕截图。内容捕获可包括使用临时或瞬态方法(诸如存储到随机存取存储器(RAM)缓冲器中)，或者通过较少瞬态存储方法(诸如经由硬盘介质或本领域已知的其他存储/录制介质)来缓冲或录制内容。所捕获的内容可全部或部分地捕获，并且可进一步与来自另一设备的用户输入组合，以生成增强的所捕获的内容，诸如与用户输入叠加的视频剪辑。在生成增强的所捕获的内容之后，MCD可通知用户，并且任选地向用户播放所增强的剪辑。
在图1中，在步骤4处，向CCA 10发送用户对用户设备102接收的所捕获的内容的响应和反馈以及内容捕获和增加的信息。通过分析结果，CCA能够学习用户对内容捕获的偏好并将该信息作为触发建议馈送到MCD。
信息元素
本节介绍了系统的信息元素，该信息元素将应用于以下各节中将描述的主要思想和过程。所定义的信息元素将应用于在图1的系统中的不同实体之间交换的消息中(例如，从用户102发送到MCD 104的请求、从MCD 104发送到CCA 108的请求、从MCD 104发送到用户102的通知)。
内容捕获触发
通过定义MCD应当何时捕获什么内容，内容捕获触发使得能够实现MCD的自动内容捕获功能。内容捕获触发可由用户定义或由CCA生成。在不丧失一般性的同时，在本公开的其余部分中，视频录制用作表示内容捕获的示例(屏幕截图可视为录制视频的单个帧)。内容捕获触发包含表1中列出的元素。
表1.内容捕获触发的元素
内容捕获触发的条件/事件可基于(但不限于)以下因素：
a.用户命令。作为内容捕获的触发，用户可向MCD发送命令。该命令可通过操作远程控制器、语音命令等来发送。该命令可以是记录期望的视频片段，而目标视频片段可以是尚未播放的或已经播放的(追溯录制)。可选地，用户可在命令中指定捕获设置，诸如录制的起点和终点和/或录制的质量要求。
b.用户不存在。当用户离开MCD屏幕时，内容捕获可被触发。MCD可检测用户是否存在，并且当用户不存在时触发内容捕获。
c.用户的状态/活动。当用户出现在屏幕前面但没有看到MCD处正在播放的内容时，内容捕获可被触发。例如，MCD可检测到(例如，通过摄像机感测)用户正在入睡或将目光从屏幕上移开，并触发内容捕获。另一方面，当用户聚焦于或密切关注MCD处正在播放的内容时(例如，对着屏幕欢呼或大笑、紧盯屏幕)，内容捕获可被触发，因为用户可能对该内容高度感兴趣并且可能再次观看该内容。MCD可监测用户对该内容的反应，并在用户被该内容吸引时触发内容捕获。此外，用户对该内容的生理响应也可充当内容捕获的触发条件。例如，如果用户的心率超过阈值，则内容捕获可被触发。
d.用户对MCD的动作/输入。当MCD接收到与MCD处正在播放的内容相关的用户输入时，内容捕获可被触发。此外，用户可执行由MCD处正在播放的内容触发或影响的动作，并且该动作通常采取用户对MCD的输入的形式。例如，用户可能对多于一个频道的内容感兴趣，并且在这些频道之间切换，录制可被触发以捕获用户当前没有观看的频道上的内容。又如，用户可在观看视频的同时评论内容，在这种情况下，MCD可录制用户的音频评论或反应，并将其与对应的视频片段/剪辑组合。
e.用户对其他设备的动作/输入。类似于上述情况，在MCD处播放的内容可触发或影响用户的动作，该动作被反映为用户对链接设备的输入，诸如在平板计算机/电话上键入、来自健康监测设备的读数等。当链接设备接收到与在MCD处播放的内容相关的用户输入时，内容捕获可被触发。另一方面，用户在另一设备上的活动可影响用户的观看体验，这也可触发内容捕获。例如，在用户的电话上接收到的电话呼叫可能中断用户的观看并触发MCD处的内容捕获。
f.用户的预测动作/活动。除用户的当前活动之外，MCD还可基于用户的预测动作或活动来触发内容捕获。例如，用户具有与该用户喜爱的TV节目之一同时安排的预定事项。时间表信息可存储在用户的智能电话处，并且MCD被告知该时间表，基于该时间表，MCD可安排录制TV节目。在这种情况下，用户不需要手动设置录制提醒，MCD可自动检测时间冲突，并在触发被配置之后安排录制。
g.用户的环境。用于观看或列出体验的用户环境的变化可触发内容捕获。例如，用户正在欣赏一部电影的高潮部分，但是受到一些环境噪声的干扰，这会影响观看体验。内容捕获可开始并持续到噪声消失。
h.用户指定的内容。当检测到用户指定的某些内容时，内容捕获可被触发。例如，用户可配置MCD，以在检测到特定对象或找到匹配的图像/音频时录制屏幕。示例性触发可包括：在讲座中对“重要话题”的语音检测；在赛车中对发动机轰鸣声的音频检测；在体育比赛中的得分场景等。
i.上述两项或更多项的组合。例如，用户可能在商业广告开始时离开屏幕，在这种情况下录制不会被触发。如果广告已经结束但用户还没有回来，则可开始录制。
MCD可具有多于一个用户。多个用户可共享内容捕获触发的相同配置，也可指定多组不同的触发。
内容捕获通知
用户可指定当内容捕获被触发时希望如何被通知。通知的配置可以是通用的，也可以是内容/触发特定的。对于内容特定通知方法，用户可为该通知方法指定适用内容。对于触发特定通知方法，用户可为该方法指定适用触发，也可在配置对应触发时指定通知方法(在“通知设置”元素中)。表2中示出了通知配置的信息元素。
表2.内容捕获通知配置
下面是通知方法的几个示例。
a.当检测到触发事件时，向用户发送通知。该通知可要求用户反馈是否应当执行对应的内容捕获。
b.当内容捕获开始时，向用户发送通知。该通知可通知用户当前正在录制内容并显示录制进度。在录制过程中，用户可选择结束录制和/或丢弃所录制的片段。
c.当内容捕获完成时，向用户发送通知。该通知可询问用户是否需要预览所捕获的内容、是否应当现在播放所捕获的内容或者是否应当保存或丢弃所捕获的内容。
d.在当前视频会话结束时(例如，电影结束、商业广告期间、当用户暂停视频时)，向用户发送通知，使其不会中断用户的观看体验。
e.不发送通知。可根据用户的请求来检索所捕获的内容。
用户可将MCD配置为在不同的定时发送关于相同的所捕获的内容的多个通知。例如，用户可将MCD配置为在内容捕获被触发时并且在捕获(和增强)完成时发送通知。
内容捕获配置
基于为内容捕获触发和通知配置定义的信息元素，用户可向MCD发送用于内容捕获的定制触发，并利用通知偏好来配置MCD。MCD存储由用户定义并从CCA获得的触发，并与从触发识别的链接设备连接。图2中示出了内容捕获配置过程200。
在图2中，在步骤1处(应当注意，步骤1和步骤2可以任何顺序发生)，用户设备202向MCD 204发送请求，以配置用于内容捕获和通知方法的触发。用户可通过指定表1中列出的每个元素来定义新的触发。用户还可从预定义触发的列表中选择/启用触发，其中预定义触发是通过图2中的步骤2获得的。用户可根据表2来配置通知方法。
在图2中，在步骤2处，MCD 204向CCA 208查询以检索触发建议。CCA 208维护目标MCD的用户和/或系统的其他用户(远程或本地)的内容捕获历史记录，基于该内容捕获历史记录，CCA可推断用户的偏好以及用户可能想要捕获的内容。例如，如果一部电影即将播放，则MCD 204可查询CCA 208以查看在用户中受欢迎的片段，并相应地设置触发以录制这些片段。MCD 204还可从CCA 208获得指令，该指令关于应当捕获什么信息以便利用所捕获片段来生成增强。MCD 204可周期性地向CCA 208检查所更新的触发配置，或者在每次开始新内容时发送对内容特定触发的一次性检索请求。
在图2中，在步骤3处，在来自用户202的请求和CCA 208的建议的触发配置之后，MCD 204可基于触发中指示的信息来识别参与内容捕获的设备，并在必要时建立与这些设备的连接。例如，如果被配置为通过检测来自设备的输入来触发内容捕获，则MCD 204可连接到该设备，以便从该设备接收用于内容捕获的通知/信息，或者将所捕获的内容发送到该设备。对于基于预测的捕获，MCD 204可联系链接设备206，以获得上下文信息(例如，时间表、安排信息)，使得MCD 204可确定内容捕获的时间表。
触发监测和检测
在内容捕获配置之后，MCD可开始监测触发条件，并在检测到触发事件时开始/安排内容捕获。图3中示出了触发监测和检测的一般过程300。
在图3中，在步骤1处，MCD 304识别适用于当前内容或要播放的内容的内容捕获触发，并开始监测触发中定义的条件和事件。例如，MCD 304可针对基于内容的触发来检查当前播放的内容，或者通过咨询面向用户的摄像机来监测用户的存在和/或反应，或者利用眼睛跟踪摄像机来监测用户的焦点。对于链接设备306所参与的触发，MCD 304可监听来自链接设备306的通知，或者从链接设备306接收/检索触发相关信息(诸如传感器数据或响应信息)以确定是否应当触发捕获。应当注意，用户/环境监测将仅在对应触发适用时被激活。
在图3中，在步骤2处，检测用于内容捕获的触发。该触发可以是在步骤2a处从用户设备302接收命令，其中用户可在该命令中指定用于该捕获的设置。该触发也可以是在步骤2b处由MCD 304做出的本地决定，诸如通过内置麦克风/摄像机检测来自用户设备302的音频/视频输入。此外，当从链接设备306接收通知时，或者在处理从链接设备306接收/检索的触发相关信息之后，可在步骤2c处检测该触发。
考虑图3的步骤3，该步骤可在某些配置/条件下执行。例如，如果与该触发对应的通知配置要求MCD 304在检测到该触发时经由用户设备302通知用户，则MCD 304将经由用户设备302通知用户检测到触发，并询问用户是否应当执行内容捕获。MCD 304可在等待来自用户设备302的响应的同时开始或停止捕获。
考虑图3的步骤4，该步骤可在某些配置/条件下执行。用户设备302可响应于MCD304继续进行内容捕获或拒绝该捕获。如果MCD 304已经开始内容捕获(同时等待用户的响应)，并且用户拒绝该捕获，则捕获过程将停止，并且所捕获的内容将被丢弃。
在图3中，在步骤5处，MCD 304在检测到触发之后开始内容捕获(并且用户同意执行内容捕获)。可基于触发中配置的设置来执行内容捕获。在所触发的内容捕获是针对未来时间的情况下，MCD 304可在期望的时间安排内容捕获。例如，用户在其智能电话或膝上型设备302上的日历应用中做出安排，向MCD 304发送通知，并且MCD 304识别用户喜爱的节目与该安排的时间冲突。内容捕获被触发，并且MCD 304将在节目播出时安排录制。
MCD内容捕获和增强
MCD可在检测到触发之后开始内容捕获，随后进行内容增强(如果适用)。根据用户的配置和请求，可通知用户，并且可向用户显示(增强的)所捕获的内容。用户对所捕获的内容的反馈将由MCD收集并与CCA共享，以便用于分析用户的偏好并更新触发生成过程。如图4至图7所示，根据是否需要来自链接设备的输入以及在哪里执行增强，用于内容捕获和增强的过程可能有所不同。应当注意，这些步骤中的一些步骤仅可在某些配置或情况下执行。
选项1：本地处理，无需来自链接设备的输入
图4示出了用于内容捕获的第一选项的基本过程400。在该选项中，内容捕获和/或增强在MCD本地执行，并且不依赖于链接设备406的输入。
在图4中，在步骤1处，当内容捕获被触发(并且用户同意执行内容捕获)时，或者当所安排的捕获到期时，开始内容捕获处理。在步骤2处，如果用户已经配置应当在开始内容捕获时发送通知，则MCD 404可向用户设备402发送通知。该通知可指示已经开始捕获什么内容。在步骤3处，在被通知之后，用户设备402可进一步指示MCD 404通过发送响应来停止或丢弃正在进行的内容捕获。如果先前没有指定终点，则用户设备402还可使用该响应来指示MCD 404结束捕获。
在图4中，在步骤4处，如果需要内容增强(其可在对应触发中的“增强设置”中指示)，则MCD 404将响应信息与所捕获的内容叠加，以生成/构造/组装增强的所捕获的内容，诸如视频剪辑。当在所捕获的内容之上添加(叠加)响应信息时，对准和同步它们的时间戳。根据内容和响应信息的类型，响应信息可作为字幕、附加音频轨道或帧内的弹出窗口叠加到所捕获的内容。可选地，MCD可在生成所增强的内容时(实时地或等效地接近实时地)播放所增强的内容。另选地，MCD可在捕获过程结束之后生成/构造/组装所增强的内容。在步骤5处，根据捕获设置，或者根据用户在先前步骤中的响应来结束内容捕获。
在图4中，在步骤6处，如果用户已经将MCD 404配置为在内容捕获之后发送通知，则MCD 404将向用户设备402通知所捕获的内容。根据配置，该步骤可在生成视频剪辑之后立即发生，或者在稍后的时间发生，使得该通知不会干扰用户的当前观看体验。在该通知中，MCD可询问用户是否应当保存或丢弃所捕获的内容。此外，MCD可询问用户是否需要预览剪辑，使得用户可决定是否应当保留该剪辑。在步骤7处，用户设备402响应于MCD 404，以保存、丢弃或预览所捕获的内容。
在图4中，在步骤8处，如果用户设备402在用户的控制下请求如响应中所指示的预览(增强的)所捕获的内容，则该剪辑将在MCD 404或链接设备406处播放。该剪辑也可按照用户的请求来播放。应当注意，播放所捕获的内容的设备不必与接收用户输入的设备相同。另选地，(增强的)所捕获的内容可存储在MCD 404处或发送到链接设备406，以便进行存储/共享/处理。
在图4中，在步骤9处，在观看捕获内容之后，用户设备402可用于向MCD 404提供进一步反馈，诸如是否应当保留剪辑、是否需要所捕获的内容或评估内容捕获(例如，喜欢、不喜欢、评级)。在步骤10处，向CCA 408发送该剪辑的信息以及在步骤3和步骤6中提供的用户反馈。该剪辑的信息可包括触发该捕获的内容、所捕获的内容的相对时间戳(例如，电影的最后10分钟)、参与捕获的链接设备406、对所捕获的内容执行的增强等。在步骤11处，基于来自MCD 404的报告信息，CCA 408可针对用户的偏好、内容捕获的倾向来更新数据库，并且生成/更新用于内容捕获和增强的触发建议。
选项2：通过实时输入收集在MCD处执行增强
图5示出了用于内容捕获的第二选项的基本过程500。在该选项中，内容增强是需要的，并且将由MCD 504执行。因此，MCD需要从链接设备收集用户的输入以执行增强。用户的输入与内容捕获过程同时收集。在这种情况下，MCD能够立即(诸如实时地或接近实时地)向用户显示增强的所捕获的内容。
在图5中，在步骤1处，动作可与图4选项1的步骤1相同。
在图5中，在步骤2，如果在内容捕获之后利用来自链接设备的响应信息执行增强，则MCD 504可向链接设备506发送通知，该通知指示内容捕获已经开始，使得该链接设备可与MCD同步或相应地对准响应信息。该通知还用作对该链接设备的请求，以向MCD发送响应信息。
在图5中，在步骤3处，动作可与图4选项1的步骤2类似。MCD 504可向用户设备502发送通知。该通知可指示已经开始捕获的内容，以及链接设备506正在提供用于增强的信息。
在图5中，在步骤4处，动作可与图4选项1的步骤3类似。在被通知之后，用户可进一步指示MCD 504通过发送响应来停止或丢弃正在进行的内容捕获。在这种情况下，MCD 504可通知链接设备506并停止从链接设备506收集信息。应当注意，用户设备502可在步骤5或步骤6期间发送响应。
在图5中，在步骤5处，MCD 504从链接设备506收集响应信息。该步骤可重复执行，以实时方式收集响应信息。此类响应信息可包括用户导出的对多媒体回放的反应的信息、来自传感器的指示用户的物理响应的信息、与伴随设备的使用相关的信息等。
在图5中，在步骤6处，动作可与图4选项1的步骤4类似。MCD 504将从链接设备506收集的响应信息叠加到所捕获的内容上，以生成/构造/组装诸如视频剪辑之类的增强的所捕获的内容。可选地，MCD 504可在生成所增强的内容时播放所增强的内容。另选地，MCD可在捕获过程结束之后生成所增强的内容。
在图5中，在步骤7处，动作可与图4选项1的步骤5相同。
在图5中，在步骤8处，作为步骤2的后续步骤，MCD 504可向链接设备506发送指示内容捕获已经结束的通知。
在图5中，在步骤9至步骤14处，动作可与图4选项1的步骤6至步骤11相同。
选项3：在内容捕获之后通过信息收集在MCD处执行增强
图6示出了用于内容捕获的第三选项的基本过程600。在该选项中，内容增强是需要的，并且将由MCD 604执行。因此，MCD 604需要从链接设备606收集响应信息以执行增强。在内容捕获过程之后收集用户导出的响应信息。
除步骤5至步骤8之外，这些步骤与图5选项2的步骤大体类似。
在图6中，在步骤1至步骤4处，动作可与图5选项2中的步骤1至步骤4相同。
在图6中，在步骤5处，根据捕获设置，或者根据用户在先前步骤中经由用户设备602的响应来结束内容捕获。
在图6中，在步骤6处，作为步骤2的后续步骤，MCD 604可向链接设备606发送指示内容捕获已经结束的通知。该通知还可用作从链接设备检索用户导出的响应信息以执行内容增加的请求。
在图6中，在步骤7处，MCD 604从链接设备606收集与所捕获的内容相关联的响应信息。链接设备606可在输入中指示时间戳信息，使得MCD 604可将响应信息与捕获内容对准。
在图6中，在步骤8处，MCD 604将响应信息与所捕获的内容叠加，以生成诸如视频剪辑之类的增强的所捕获的内容。
在图6中，在步骤9至步骤14处，动作可与图5选项2中的步骤9至步骤14相同。
选项4：在链接设备处执行增强
图7示出了用于内容捕获的第四选项的基本过程700。在该选项中，内容增强是需要的，并且将由链接设备706执行。因此，DTV需要将所捕获的内容发送到链接设备以执行增强。
在图7中，在步骤1至步骤4处，动作可分别与图5选项2或图6选项3中的步骤1至步骤4相同。
在图7中，在步骤5处，根据捕获设置，或者根据用户在先前步骤中经由用户设备702的响应来结束内容捕获。
在图7中，在步骤6处，动作可分别与图5选项2或图6选项3的步骤9类似。如果用户已经将MCD 704配置为在内容捕获之后发送通知，则MCD 704将向用户设备702通知所捕获的内容。在该通知中，MCD 704可指示在链接设备706处执行内容增强，使得用户可使用链接设备706来观看(增强的)所捕获的内容。
在图7中，在步骤7处，用户设备702响应于MCD 704，以根据用户的输入来保存或丢弃所捕获的内容。
在图7中，在步骤8处，MCD 704将所捕获的内容发送到链接设备706。所发送的视频剪辑包含时间戳信息，使得该设备能够将内容与响应信息同步。该步骤可在内容捕获结束之后发生(如图中所示)，也可与内容捕获同时发生(即，以实时方式将所捕获的内容发送到链接设备)。应当注意，如果在步骤7中用户设备702响应于丢弃所捕获的内容，则MCD 704可向链接设备706通知用户的决定。
在图7中，在步骤9处，在从MCD 704接收到所捕获的内容之后，链接设备706可将响应信息与内容组合，以生成/构造/组装增强的所捕获的内容。可选地，链接设备706可向用户设备702播放增强的所捕获的内容。
在图7中，在步骤10处，如果链接设备706可收集用户对(增强的)所捕获的内容的反馈，则链接设备706可将该反馈发送到MCD 704。另选地，链接设备706可将增强的所捕获的内容发送回MCD 704，并且MCD 704可播放/存储/共享该内容并收集用户的反馈。
在图7中，在步骤11处，动作可分别与图4/图5/图6中的选项1/选项2/选项3中的步骤10/步骤13/步骤13相同。
在图7中，在步骤12处，动作可分别与图4/图5/图6中的选项1/选项2/选项3中的步骤11/步骤14/步骤14相同。
实施方案
系统级实施方案
所提出的用户感知内容捕获和增强功能可实现为集成在多媒体消耗设备中的应用/服务。各种类型的多媒体消费设备可支持本文讨论的所提出的用户感知内容捕获和增强功能。此类设备可包括但不限于DTV、智能电话、平板计算机、膝上型计算机、智能眼镜、HMD等。例如，这些设备可支持诸如监测多媒体内容、检测内容捕获事件标准、生成内容捕获通知、向用户发送内容捕获通知以及执行内容捕获(和增强)之类的能力。
诸如监测和收集用户信息、监测用户的状态和活动、获得用户的观看环境、分析和学习内容捕获和增强偏好等之类的附加支持能力可由以媒体为中心或非以媒体为中心的应用或服务来提供。这些应用或服务可集成到提供核心能力的相同设备，或者由随后与媒体消费设备交互以支持内容捕获和增强的其他设备来提供。
图8捕获了本文讨论的用户感知内容捕获和增强功能的一个示例性实施方案。
在图8中，媒体消费设备804托管提供用户感知内容捕获和增强功能的应用/服务。控制用户设备(未示出)的用户802可与应用/服务交互，以配置内容捕获触发和通知、接收内容捕获的通知并检索/观看(增强的)所捕获的内容。
MCD 804可利用本地可用的支持能力或与其他设备交互以在以下方面获得帮助：监测用户的状态和活动以生成内容捕获触发；收集用于增强所捕获的内容的响应信息；或者显示/处理所捕获的内容。
MCD 804可进一步与内容捕获分析器808交互，以报告内容捕获历史记录并获得内容触发建议。分析器808可以是远程实体或本地安装在MCD 804上。内容捕获分析器808可与具有内容捕获功能的其他MCD 810交互，以构造用于学习用户对内容捕获的一般偏好的数据库。
根据不同的实现偏好或要求，可通过调整分配给MCD 804的工作负载来实现不同的实施方案。例如，为了最小化网络通信开销，可将支持能力和分析服务集成到MCD 804中。又如，对于具有受限计算能力的MCD，可将支持能力和分析能力中的一些卸载到其他设备和/或云。
协议实施方案
可通过使用内容捕获和增强协议来执行所公开的内容捕获和增强。该协议可由托管在内容消费设备(例如，DTV)上的应用和服务以及与诸如图8所示的内容消费设备交互的系统中的其他实体来支持。
内容消费设备和相关实体托管的应用和/或服务可支持交换内容捕获和增强协议消息。
在一个实施方案中，用户感知内容捕获和增强消息协议可实现为客户端/服务器消息传输协议，其中用户和/或他们的个人设备可充当客户端和/或服务器的角色，以与系统中的其他实体(例如，内容捕获分析器)交换用户感知内容捕获和增强请求以及响应消息。例如，用户感知内容捕获和增强请求以及响应协议消息的信息元素可被封装并携带在HTTP或网络套接字等现有客户端/服务器协议的有效载荷内。
在另一个实施方案中，这些信息元素可被封装和携带在TCP或UDP等较低层协议内，而不使用较高层协议。
在另一个实施方案中，用户感知内容捕获和增强消息可被封装并携带在发布/订阅消息传输协议内。例如，系统中的实体可支持消息代理功能。设备可使用该代理功能来与系统中的其他实体交换用户感知内容捕获和增强消息。这种交换可通过每个实体订阅消息代理以从其他实体接收消息来促进。同样，每个实体可向以其他实体为目标的消息代理发布消息。用户感知内容捕获和增强消息请求以及响应协议消息的信息元素可被封装并携带在MQTT或AMQP等现有发布/订阅协议的有效载荷内。
在另一个实施方案中，内容捕获和增强协议可采用上述协议类型的组合。
具有内容捕获能力的应用和/或服务可支持各种类型的内容捕获和增强请求以及响应协议消息。这些可包括但不限于表3中定义的消息类型。
表3.内容捕获和增强协议消息类型
/>
图9描绘了根据本公开的各方面的一般方法的示例性流程图。应当注意，除非在本文的相应描述中明确禁止，否则可组合图1至图7的特征。图9的过程900主要由电子设备(第一电子设备，诸如MCD)来执行。在905处，该设备被配置为监测开始捕获MCD接收的多媒体数据(多媒体内容)的指示，诸如触发指示。
在910处，该电子设备检测开始捕获多媒体数据的指示。检测该指示可包括检测该电子设备检测到的条件和/或来自第二设备(诸如链接设备)的条件的通知中的至少一者。图3中描述了此类通知。在一个变型中，该电子设备检测到的条件可以是来自用户设备的用户输入命令或该电子设备(诸如MCD)内部检测到的触发条件的检测中的一者。在另一个变型中，来自第二设备的条件的通知可以是来自链接设备的触发条件的通知。链接设备可以是电子设备的一部分(诸如如上所述的MCD的一部分)，也可以是作为第二设备(诸如伴随设备或其他消费设备)的一部分的传感器。因此，在910处，第一电子设备从第二电子设备接收关于在第一设备上显示的多媒体内容的内容捕获的一个或多个触发条件发生的指示。
在915处，该电子设备(诸如MCD)可任选地向用户提供触发指示通知。在一个变型中，用户可响应于该通知来确认触发。在920处，该电子设备可响应于触发条件指示来开始多媒体数据捕获。这可涉及在捕获(缓冲/保存)数据的同时显示数据。在925处，该电子设备从第三设备收集信息，其中来自第三设备的信息是用户导出的并且与在第一设备上显示的多媒体内容相关的响应信息。第三设备还可以是链接设备，该链接设备可检测并提供关于对正被捕获的多媒体数据的用户响应的信息。因此，在925处，第一设备从第三设备收集信息，其中来自第三设备的信息是与在第一设备上显示的多媒体内容相关的响应信息。在930处，将所收集的响应信息增强到多媒体内容，以便同时显示多媒体内容和响应信息两者。增强多媒体数据可在该电子设备处执行，或者可任选地被请求在链接的第二设备处执行。增强的一个示例是将通过响应信息(诸如用户在观看多媒体内容时导出或生成的响应)提供的音频或视频叠加到所捕获的多媒体数据或内容上。一个示例是将字幕叠加到所捕获的视频多媒体内容上。在一个变型中，将用户的音频或视频输入叠加到所捕获的多媒体数据/内容中可包括在内容捕获时间周期内或在内容捕获时间周期之后进行叠加。
在935处，该电子设备可任选地提供所捕获的内容的通知。该通知可呈现给用户。在940处，该电子设备可提供所增强的多媒体内容的显示或回放。应当注意，所增强的多媒体内容的这种显示可在多媒体数据捕获期间发生，或者它可在多媒体数据捕获结束之后发生。该电子设备(第一设备)可在连接的(内部或外部)显示屏上显示所增强的多媒体内容。另选地，该电子设备可启用或提供要在链接设备上显示的所增强的多媒体内容。此类提供可简单地访问第一设备或链接设备中的显示屏。
在945处，该电子设备可传输要由所捕获的内容分析器(CCA)使用的信息。该传输可包括用户反馈以及内容信息。然后，该电子设备可从CCA接收对开始内容多媒体数据捕获的指示的更新。实质上，该反馈机制允许CCA针对响应于用户反馈的触发条件提供推荐。因此，该电子设备可接收至少一个触发条件更新，以供该电子设备用于捕获多媒体内容。
执行图9的示例性方法900的该电子设备可以是但不限于数字电视、头戴式设备、个人计算机、平板计算机或智能电话中的一者。
如本文所述，可实施实现自动用户感知内容捕获和增强的若干期望的特征。下面概述了这些期望的特征。
媒体消费设备(MCD)可支持用户感知内容捕获功能，能够：
A.接收为用户配置内容捕获触发的请求。
i.其中该触发可指定用于捕获的适用内容、该触发的条件或事件、参与内容捕获和/或增强的设备、捕获和/或增强的配置、与捕获和/或增强相关联的通知和显示设置。
ii.其中触发条件/事件可基于：
1.用户的命令。
2.用户不存在。
3.用户的状态或活动。
4.用户对MCD的动作或输入。
5.用户对其他设备的动作或输入。
6.用户的预测动作或活动。
7.用户的环境(用于观看或收听体验)。
8.用户指定的内容。
9.上述两项或更多项的组合。
B.接收为用户配置内容捕获通知的请求。
i.其中该配置可指定该配置的适用性、通知的方法(通知的定时)、通知的显示设置(通知的显示位置和方式)、通知的预览设置(通知中是否包括预览选项)。
ii.其中通知方法可以是：
1.在检测到触发之后立即发送通知。
2.当内容捕获开始时发送通知。
3.当内容捕获和/或增强完成时发送通知。
4.在视频片段的末尾(不会中断用户的观看体验)。
5.不应发送通知，根据用户的请求检索所捕获的内容。
C.从分析服务检索触发建议。
i.其中触发建议可基于用户的内容捕获历史记录和其他用户的内容捕获历史记录来生成。
D.基于所配置的触发或所建议的触发来识别和连接可能参与内容捕获的一个或多个链接设备。
i.其中链接设备可生成用于内容捕获的触发，或者提供用于内容增加的用户输入，或者显示/处理/存储所捕获的内容。
ii.其中链接设备可在触发中指示。
iii.其中MCD可将链接设备配置为在触发事件发生时发送通知。
iv.其中MCD可从链接设备获得用户的信息以预测用户的活动/不存在作为内容捕获的触发条件。
E.监测内容捕获触发。
i.其中MCD可本地收集触发相关信息(诸如用户的状态、活动、输入)或从链接设备检索触发相关信息。
F.检测内容捕获触发。
i.其中该触发可由MCD基于本地信息或从链接设备检索的信息来检测，也可通过从链接设备接收通知来检测。
ii.任选地，在检测到触发之后，MCD可向用户发送查询，询问是否应当开始内容捕获。
G.执行内容捕获和/或增强。
i.其中所增强的内容可通过在本地或从链接设备收集用户的输入并将该输入叠加到所捕获的内容而在MCD处生成。
ii.其中MCD可通过将所捕获的内容与时间戳信息一起发送到链接设备来指示链接设备生成所增强的内容。
H.向用户通知内容捕获和/或增强。
i.其中该通知可包括是否应当保存、删除、预览或播放(增强的)所捕获的内容的查询。
ii.任选地，(增强的)所捕获的内容可在MCD或链接设备处播放/显示。
I.从用户接收关于(增强的)所捕获的内容的响应/反馈。
i.其中该响应可包括保存或删除(增强的)所捕获的内容的情况下、用户对(增强的)所捕获的内容的评估(例如，喜欢、不喜欢、评级)。
J.向分析服务发送用户的响应和所捕获的内容的信息。
i.其中所捕获的内容的信息可包括
1.捕获的对应触发
2.所捕获的内容的时间戳
3.对应的链接设备
4.对所捕获的内容执行的增强
图10描绘了示例性内容捕获和/或增强设备架构1000，诸如用于被配置为执行图9的方法的DTV、膝上型计算机、台式计算机、移动电话、平板计算机等的示例性内容捕获和/或增强设备架构。图10的架构可表示MCD或链接设备的电子设备。图10的装置可以是专用机器，也可以是执行其他任务的较大机器的一部分。例如，图10的装置可以是DTV、膝上型计算机、台式计算机等的一部分或能够支持无线局域网和供用户与内容交互的显示器的接入点或具有接入点能力的设备。此类机器可被配置为充当交互设备。
图10的装置1000包括提供到IP网络的连接以接收数字内容的传输器/接收器接口1002。接口1002连接到允许访问内部总线1024的总线接口1004。如本领域技术人员所熟知的，其他非总线实施方式也是可能的。存在于总线1024上的是存储设备1006，其可用于任何通用存储，诸如所检索或请求的数据和网络管理数据、参数和数字内容以及可执行软件指令程序。存储设备1006还可用作作为可显示数字内容收集的信息的磁盘或固态存储器。主可执行程序、实用程序和其他程序可在控制器/处理器1008的控制下。用于外部存储设备存储所捕获的内容以及用于其他存储目的的一个或多个接口也是可能的，但未示出。
控制器/处理器1008可以是执行数字内容数据获取、用户接口控制和资源管理任务的单个处理器或多个处理器。控制器/处理器1008可执行图10中所述的方法。控制存储器1010还可为控制器/处理器1008提供程序指令和配置控制。状态指示器1018是用户接口，并且允许用户、系统所有者或系统管理员查看装置1000的状态。此类指示器可包括显示器、LED、扬声器等。图形处理单元(GPU)和输入/输出(I/O)接口1016允许该设备连接到可用于在设备1000上显示数字内容的主显示屏1020。I/O接口1016还可包括硬线接口，诸如用于局域网的以太网接口，或者可以是用于主屏幕1020的HDMI接口。I/O接口的其他选项是用于遥控装置1000的RF或IR接口。I/O接口1016的另一选项是交互式接口，该交互式接口可包括使用单独的显示设备(另一辅助设备)、键盘、鼠标、光笔等。
装置1000具有无线网络接口1012，该无线网络接口允许接入到无线设备(诸如链接设备)和从无线设备接入。该无线链接设备可以是已知的并且注册到装置1000的WLAN的那些设备。此类接口1012包括用于控制无线网络的所有元件，包括使用诸如IEEE 802.XX、蓝牙、其他近场协议等无线网络协议在装置1000与接收观看者设备之间进行通信。
如本领域技术人员可以理解的，除非另外具体指明，否则可以组合本公开的各种利用的特征的组合。因此，可容易地组合各个附图的特征。例如，可针对MCD生成本文所述的功能的设置或配置，使得针对同时使用个人设备、辅助设备或全息图中的任一者或两者的观看者执行MCD内容感知操作。在该实例中，观看者还可调用MCD内容感知操作请求，以使第二(或更多)观看者共享MCD观看体验。组合本公开中描述的特征在本文呈现的概念范围内。概念和特征的此类组合被视为可行的实施方案，除非如本文指明另有限制。
本文描述的实施方式可在例如方法或过程、装置或硬件和软件的组合中实现。即使仅在单个形式的实施方式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以其他形式实现。例如，实施方式可通过硬件装置、硬件和软件装置来实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如是指任何处理设备的装置(诸如例如处理器)中实施，该装置包括例如计算机、微处理器、集成电路或可编程逻辑设备。
另外，方法可通过由处理器执行的指令来实现，并且此类指令可存储在一个或多个处理器或计算机可读介质上，诸如例如集成电路、软件载体或其他存储设备，诸如例如硬盘、光盘(“CD”或“DVD”)、随机存取存储器(“RAM”)、只读存储器(“ROM”)或任何其他磁性、光学或固态介质。指令可形成在计算机可读介质上有形地体现的应用程序，诸如上面列出的或本领域技术人员已知的任何介质。如此存储的指令可用于执行硬件和软件的元件以执行本文所述的方法的步骤。在本公开中，计算机可读介质可用于指示第一处理器和第二处理器中的任一者和/或两者执行本文所公开的方法的步骤。

Claims (20)

1.一种由第一电子设备执行的方法，所述方法包括：
从第二电子设备接收关于在所述第一设备上显示的多媒体内容的内容捕获的一个或多个触发条件发生的指示；
响应于所述触发条件指示而开始捕获所述多媒体内容；
从第三设备收集响应信息，其中来自所述第三设备的所述响应信息与在所述第一设备上显示的所述多媒体内容相关；
利用从所述第三设备收集的响应信息来增强所捕获的多媒体内容，以便同时显示；以及
提供对所增强的多媒体内容的显示。
2.根据权利要求1所述的方法，其中，从第二电子设备接收关于一个或多个触发条件发生的指示包括接收以下各项中的任一项：用户命令；用户实际上不在MCD中；用户的状态或活动；用户对所述第一设备或所述第二设备的输入；用户预计实际上不在所述MCD中；用户的环境和用户的指定内容发生。
3.根据权利要求1所述的方法，其中，从所述第三设备收集响应信息的信息包括：响应于在所述第一设备上显示的所述多媒体内容的注释、传感器读数、运动、视频或音频中的任一者。
4.根据权利要求3所述的方法，其中，根据增强设置，利用所收集的信息来增强所捕获的多媒体内容，所述增强设置定义所述响应信息与所述多媒体内容的组合。
5.根据权利要求4所述的方法，其中，所述响应信息与所述多媒体内容的所述组合包括视频和音频中的任一者与所述多媒体内容的叠加。
6.根据权利要求5所述的方法，其中，视频和音频的所述叠加包括在内容捕获期间或在内容捕获之后生成的叠加。
7.根据权利要求3所述的方法，其中，从所述第三设备收集信息还包括：接收时间戳信息，以将所述响应信息与所捕获的多媒体内容对准。
8.根据权利要求1所述的方法，其中，提供对所增强的多媒体内容的显示包括：在所述第一设备或所述第三设备上提供呈现，以便立即或稍后回放。
9.根据权利要求1所述的方法，所述方法还包括：从用户收集反馈信息并基于所收集的反馈来更新所述触发条件。
10.一种电子设备，所述电子设备包括至少一个处理器和电路，所述至少一个处理器和电路被配置为：
从第二电子设备接收关于在所述电子设备上显示的多媒体内容的内容捕获的一个或多个触发条件发生的指示；
响应于所述触发条件指示而开始捕获所述多媒体内容；
从第三设备收集响应信息，其中来自所述第三设备的所述响应信息与在所述电子设备上显示的所述多媒体内容相关；
利用从所述第三设备收集的响应信息来增强所捕获的多媒体内容，以便同时显示；以及
提供对所增强的多媒体内容的显示。
11.根据权利要求10所述的电子设备，所述电子设备包括数字电视(DTV)、头戴式设备(HMD)、个人计算机(PC)、计算机平板设备和智能电话中的一者或多者。
12.根据权利要求10所述的电子设备，其中，所述电子设备经由以下各项中的任一项来接收关于内容捕获的一个或多个触发条件的指示：用户命令；用户实际上不在MCD中；用户的状态或活动；用户对所述第一设备或所述第二设备的输入；用户预计实际上不在所述MCD中；用户的环境和用户的指定内容发生。
13.根据权利要求10所述的电子设备，其中，所述电子设备从所述第三设备收集响应信息，所述响应信息包括响应于在所述第一设备上显示的所述多媒体内容的注释、传感器读数、运动、视频或音频中的任一者。
14.根据权利要求13所述的电子设备，其中，根据增强设置，所述电子设备利用所述响应信息来增强所捕获的多媒体内容，所述增强设置定义所述响应信息与所述多媒体内容的组合。
15.根据权利要求14所述的电子设备，其中，所述增强设置包括视频和音频中的任一者与所述多媒体内容的叠加的信息。
16.根据权利要求15所述的电子设备，其中，视频和音频的所述叠加包括在内容捕获期间或在内容捕获之后生成的叠加。
17.根据权利要求13所述的电子设备，其中，所述电子设备还收集时间戳信息，以将所述响应信息与所捕获的多媒体内容对准。
18.根据权利要求10所述的电子设备，其中，所述电子设备提供对所增强的多媒体内容的显示，用于在所述第一设备或所述第三设备上呈现，以便实时或稍后回放。
19.根据权利要求10所述的电子设备，其中，所述电子设备被进一步配置为：从用户收集反馈信息并基于所收集的反馈来更新所述触发条件。
20.根据权利要求10所述的电子设备，其中，所述电子设备被配置为使得所述第二设备或所述第三设备可以是传感器或感测设备，并且所述电子设备和所述第二设备被组合成单个设备，或者所述第二设备和所述第三设备被组合成单个设备。
CN202280042641.6A 2021-05-19 2022-05-17 用户感知自动内容捕获和增强 Pending CN117501701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163190518P 2021-05-19 2021-05-19
US63/190,518 2021-05-19
PCT/US2022/029581 WO2022245788A1 (en) 2021-05-19 2022-05-17 User aware automated content capture and augmentation

Publications (1)

Publication Number Publication Date
CN117501701A true CN117501701A (zh) 2024-02-02

Family

ID=82156759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280042641.6A Pending CN117501701A (zh) 2021-05-19 2022-05-17 用户感知自动内容捕获和增强

Country Status (4)

Country Link
EP (1) EP4342184A1 (zh)
KR (1) KR20240009467A (zh)
CN (1) CN117501701A (zh)
WO (1) WO2022245788A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1793580B1 (en) * 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
US20150220537A1 (en) * 2014-02-06 2015-08-06 Kibra Llc System & Method for Constructing, Augmenting & Rendering Multimedia Stories
US9510047B2 (en) * 2014-08-20 2016-11-29 Rovi Guides, Inc. Systems and methods for automatically performing media actions based on status of external components
EP3726344A1 (en) * 2019-04-16 2020-10-21 InterDigital CE Patent Holdings Method and apparatus for user control of an application and corresponding device
JP7393526B2 (ja) * 2019-09-06 2023-12-06 グーグル エルエルシー イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム

Also Published As

Publication number Publication date
KR20240009467A (ko) 2024-01-22
WO2022245788A1 (en) 2022-11-24
EP4342184A1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
US20210105510A1 (en) Live video streaming services using one or more external devices
US11871093B2 (en) Socially annotated audiovisual content
US8074251B2 (en) Limited social TV apparatus
CN105637887B (zh) 视频印象分析的方法
US7818770B2 (en) Methods, apparatus, and program products to support a shared viewing experience from remote locations
US9665074B2 (en) System and method for providing playlists for social television
US7873983B2 (en) Method and apparatus for controlling an experiential data stream in a social space
US8082571B2 (en) Methods, apparatus, and program products to close interaction loops for social tv
US7870589B2 (en) Method for providing commentary audio and additional or replacement video content
US11412313B2 (en) Sharing timestamps for video content in a messaging platform
US20060112344A1 (en) Methods, apparatus, and program products for providing supplemental content to a recorded experiential data stream
US7814517B2 (en) Method and apparatus for associating commentary audio with a position in an experiential data stream
US7882530B2 (en) Method, apparatus, and program products for socially synchronizing an experiential data stream
TW201327202A (zh) 使用共享及個人裝置合作提供個人化使用者功能
US11842749B2 (en) Systems and methods for improved audio-video conferences
US20060112343A1 (en) Methods, apparatus, and program products for aligning presentation of separately recorded experiential data streams
US7814518B2 (en) Methods, apparatus, and program products for presenting replacement content instead of a portion of a recorded content
JP5043711B2 (ja) ビデオ評価装置及び方法
US7818771B2 (en) Methods, apparatus, and program products for controlling presentation of an experiential data stream responsive to conversations in a shared social space
US7673064B2 (en) Methods, apparatus, and program products for presenting commentary audio with recorded content
CN117501701A (zh) 用户感知自动内容捕获和增强
CN104303515A (zh) 家庭网关环境下的家长监控
JP2007214861A (ja) テレビチャットシステム、テレビチャット端末装置、テレビチャットサーバ、テレビチャットサービス提供方法
US20240022791A1 (en) Systems and methods to adapt a schedule to be played by a media player
US11902619B2 (en) Systems and methods for providing media content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination