CN102522102A - 基于事件标识的重播的智能确定 - Google Patents

基于事件标识的重播的智能确定 Download PDF

Info

Publication number
CN102522102A
CN102522102A CN2011103212554A CN201110321255A CN102522102A CN 102522102 A CN102522102 A CN 102522102A CN 2011103212554 A CN2011103212554 A CN 2011103212554A CN 201110321255 A CN201110321255 A CN 201110321255A CN 102522102 A CN102522102 A CN 102522102A
Authority
CN
China
Prior art keywords
multimedia content
content flows
user
replays
flows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103212554A
Other languages
English (en)
Inventor
B·麦克道尔
O·保卢斯
D·尤伦卡
I·阿尔瓦拉多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102522102A publication Critical patent/CN102522102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Abstract

本发明涉及基于事件标识的重播的智能确定。提供用于基于标识多媒体内容流中的事件来智能地确定多媒体内容流中的重播位置的系统。在一个实施例中，通过实时地分析多媒体内容流中的信息来标识多媒体内容流中的事件。在另一个实施例中，通过实时地分析来自观看多媒体内容的用户的观看行为和情感响应来标识多媒体内容流中的事件。基于多媒体内容流中所标识的事件确定多媒体内容流中的一个或多个重播位置。经由用户的处理设备中的用户界面向用户显示带有重播位置的多媒体内容流。

Description

基于事件标识的重播的智能确定
技术领域
本发明涉及对重播的确定，尤其是基于事件标识的重播的智能确定。
背景技术
数字录像机向诸如电视机、监视器、或移动计算设备等显示器传递视频、动作图形、音频和其他多媒体内容。观看显示器上多媒体内容的用户通常可以通过利用数字录像机中的一个或多个控件来访问多媒体内容的不同部分。例如，用户可利用数字录像机中的重播控件来重新观看视频或音频记录的片段。重播已记录片段通常包括将用户的当前观看位置变为多媒体内容流中在当前观看位置之前的某时刻。该时刻通常是任意的、固定的并且通常不能反映用户的真实意图，导致用户必须重新观看他并不想再次观看的内容。用户可能必须利用诸如快进控件或倒退控件的其他媒体设备控件的组合，来手动地确定用户实际上想要重新观看的媒体内容流中的观看位置。
发明内容
此处公开了通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能的确定的方法和系统。事件是观看者可希望在将来重播的多媒体内容流中的有趣的事件。在一个实施例中，通过实时地分析多媒体内容流中的信息来标识多媒体内容流中的事件。在一个示例中，通过检测多媒体内容流中的音频或视觉提示来标识事件。提示可包括例如来自多媒体内容流的音频或视频序列中的一个或多个实体的鼓掌、欢呼、评论、分数更新或者评论更新。在另一个实施例中，基于从观看多媒体内容的用户接收的用户反馈信息来标识多媒体内容流中的事件。例如，可以通过监视用户在观看多媒体内容时利用的一个或多个控件，基于用户的观看行为来标识事件。通过使用视觉检测或动作跟踪设备来跟踪用户的面部表情、声音响应、姿势和移动，还可以基于用户对多媒体内容的情感响应来标识多媒体内容流中的事件。基于所标识的事件确定多媒体内容流中的重播位置。带有重播位置的多媒体内容流被传递给用户。用户可以从重播位置中的一个或多个重新观看多媒体内容流中所标识的事件中的一个或多个。经由用户的处理设备中的用户界面向用户显示多媒体内容流。
在一个实施例中，公开了用于确定多媒体内容流中一个或多个重播位置的方法。方法包括接收与当前广播有关的多媒体内容流。方法随后包括实时地分析多媒体内容流以标识多媒体内容流中的一个或多个事件，并且基于事件确定多媒体内容流中的一个或多个重播位置。在一个实施例中，方法包括从一个或多个用户接收输入以重播多媒体内容流。方法随后包括将来自重播位置中的一个或多个的多媒体内容流的一部分显示给用户。
提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的实现。
附图说明
图1示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统的一个实施例。
图2A是描述用于通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能确定的过程的实施例的流程图。
图2B示出了用于实现本技术的系统。
图3示出了可在本技术中使用的处理设备的一个实施例。
图4示出了可用来实现图3的计算设备的计算设备的示例。
图5示出了可用来实现图3的计算设备的另一个实施例的通用计算设备。
图6例示了用于实现所公开技术的操作的计算设备的另一个实施例。
图7描述了可确定多媒体内容流中重播位置的过程的一个实施例。
图8描述了可确定多媒体内容流中重播位置的过程的另一个实施例。
图9-10示出了允许用户与图3中所讨论的计算设备交互以执行所公开技术的一个或多个操作的各种显示器屏幕。
具体实施方式
公开了提供用于通过标识多媒体内容流中的事件来智能地确定多媒体内容流中的重播位置的系统和方法的技术。事件是观看者可能希望在将来重播的多媒体内容流中的有趣的事件。例如，与足球比赛相对应的多媒体内容流中的事件可包括触底得分、长传、进球得分、任意球等。在一个实施例中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可通过分析多媒体内容流中的信息，或者实时地分析从一个或多个用户接收的用户反馈信息来自动地执行。在另一个实施例中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可手动地执行。带有一个或多个重播位置的多媒体内容流被提供给一个或多个用户。用户可经由用户处理设备中的用户界面从重播位置中的一个或多个重新观看多媒体内容流中所标识的事件。
图1示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统10的一个实施例(下文统称为动作跟踪系统)。该目标识别、分析和跟踪系统10可用来识别、分析和/或跟踪诸如用户18和19的一个或多个人类目标。如图1所示，跟踪系统10可包括计算设备12。在一个实施例中，计算设备12可被实现为有线和/或无线设备中的任何一个或组合，实现为电视机客户端设备(例如，电视机机顶盒、数字录像机(DVR)等)、数字媒体设备、个人计算机、便携式计算机设备、移动计算设备、通信设备、视频处理和/或呈现设备、电器设备、游戏设备、电子设备中的任何形式、和/或实现为可被实现为以音频、视频和/或图像数据中的任何形式接收媒体内容的任何其他类型的设备。根据一个实施例，计算设备12可以包括硬件组件和/或软件组件，使得计算设备12可用来执行诸如游戏应用程序、非游戏应用程序之类的应用程序。在一个实施例中，计算设备12可包括可执行在处理器可读存储设备上存储的、用于执行在此描述的过程的指令的处理器，诸如标准化处理器、专用处理器、微处理器等。
如图1所示，跟踪系统10还可包括捕捉设备20。捕捉设备20例如可以是相机，该相机可用于在视觉上监控视野6中诸如用户18和19的一个或多个用户，使得来自用户的移动、姿势以及音频响应可被捕捉设备20捕捉和跟踪。线2和4表示视野6的边界。
根据一个实施例，计算设备12可以连接到可向用户18和19提供视觉和/或音频的诸如电视机、监视器、高清电视机(HDTV)等的视听设备16。例如，计算设备12可以包括诸如图形卡的视频适配器和/或诸如声卡的音频适配器，这些适配器可以向输出设备提供视听信号。视听设备16可从计算设备12接收视听信号，并且可向用户18和19输出与视听信号相关联的视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算设备12。
在一个实施例中，计算设备12从远程计算系统接收多媒体内容流，并经由视听设备16向一个或多个用户提供多媒体内容流。多媒体内容流可以包括从诸如内容提供商、宽带、卫星和有线电视公司、广告代理、因特网或web服务器的媒体内容源接收的任何类型的音频、视频和/或图像媒体内容。如此处所描述的，多媒体内容流可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑，及其他点播媒体内容。多媒体内容流还可包括交互式游戏、基于网络的应用程序，以及任何其他内容或数据(例如，包括节目指南应用程序数据、用户界面数据、广告内容、隐藏字幕、内容元数据、搜索结果和/或推荐等)。由计算设备12所执行的操作在下面予以详细讨论。
图2A是描述用于通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能确定的过程的实施例的流程图。在步骤22中，接收与当前广播相关联的多媒体内容流。如图1中所描述的，多媒体内容流可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑，及其他点播媒体内容。在一个实施例中，可在计算设备12向用户18、19显示多媒体内容流。例如，多媒体内容流可以经由连接到计算设备12的视听设备16显示给用户。
在步骤24中，分析多媒体内容流以标识多媒体内容流中的一个或多个事件。如此处所描述的，事件是观看者可能希望在将来重播的多媒体内容流中的有趣的事件。在一种方法中，步骤24标识多媒体内容流中的事件包括自动地分析多媒体内容流中的信息。例如，可通过检测多媒体内容流中的诸如鼓掌、欢呼、评论、分数更新或评论更新的音频或视觉提示来标识事件。在另一种方法中，步骤24标识多媒体内容流中的事件包括自动地分析从一个或多个用户接收的用户反馈信息。例如，可以通过监控用户在观看多媒体内容时利用的一个或多个控件，基于用户的观看行为来标识事件。通过使用视觉检测或动作跟踪设备(如图1所示)来跟踪用户的面部表情、声音响应、姿势和移动，还可以基于用户对多媒体内容的情感响应来标识多媒体内容流中的事件。
在步骤26中，基于所标识的事件确定多媒体内容流中的一个或多个重播位置。图8描述了可通过分析多媒体内容流中的信息自动地确定多媒体内容流中的重播位置的过程。图9描述了可通过分析从一个或多个用户接收的用户专用信息自动地确定多媒体内容流中的重播位置的过程。
在另一个方法中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定还可以手动地执行。图2B描述了用于基于上述更详细的方法执行对多媒体内容流中重播位置的智能的标识的系统。
在步骤28中，带有一个或多个重播位置的多媒体内容流被提供给用户。在一个实施例中及如图2B详细讨论的，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流，使用一个或多个重播位置对多媒体内容流进行标记。
图2B示出了用于实现本技术的系统。图2B示出了多个处理设备30A、30B…30X，这些处理设备耦合到网络32并且可以与远程计算系统通信。处理设备30A、30B…30X可包括图1中讨论的计算设备12，或者可被实现为图3-6中描述的设备中的任一个。例如，处理设备30A、30B…30X可以包括游戏和媒体控制台、个人计算机、或者诸如蜂窝电话、启用web的智能电话、个人数字助理、掌上型计算机或者膝上型计算机的移动设备。在一个实施例中，远程计算系统是集中式多媒体内容流传输服务34。集中式多媒体内容流传输服务34管理多媒体内容到处理设备30A、30B…30X的存储和分发。网络32可包括因特网，尽管构想了诸如LAN或WAN等其他网络。
集中式多媒体内容流传输服务34可以包括能够从处理设备30A、30B…30X接收信息并向处理设备30A、30B…30X传送信息的一个或多个服务器36，并且提供服务的集合，这些服务可以被运行在处理设备30A、30B…30X上的应用程序调用和利用。例如，集中式多媒体内容流传输服务34中的服务器36可以通过汇聚来自用户的信息来并发地管理多个活动，该用户执行处理设备30A、30B…30X中的一个或多个游戏或非游戏应用程序80(如图3所示)。集中式多媒体内容流传输服务34还可包括用于存储从媒体提供者38接收的多媒体内容流的多媒体内容数据库40。媒体提供者38例如可以包括诸如内容提供者、宽带提供者或第三方提供者的任意实体，第三方提供者可创建结构并将多媒体内容传递给集中式多媒体内容流传输服务34。如以上所描述的，多媒体内容可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑及其他点播媒体内容。在一个实施例中，集中式多媒体内容流传输服务34从内容提供者38接收与当前广播(可以是实况、点播或预先录制的广播)相关联的多媒体内容流，并且在处理设备30A，30B…30X处实时地向一个或多个用户提供多媒体内容流。
如下面将详细讨论的，在一种方法中，集中式多媒体内容流传输服务34可以分析多媒体内容流，并且在处理设备30A，30B…30X处向多媒体内容流的全部用户/观看者提供分析的结果。或者，对多媒体内容流的分析也可以由处理设备30A，30B…30X中的每一个来执行。在另一种方法中，各个处理设备30A，30B…30X可以收集从处理设备处的用户接收的用户反馈信息，并随后向集中式多媒体内容流传输服务34提供用户反馈信息用于进一步的分析。
在一个实施例中，集中式多媒体内容流传输服务34分析多媒体内容流以标识多媒体内容流中的事件，基于所标识的事件执行对重播位置的智能确定，并且在处理设备30A，30B…30X向用户提供带有重播位置的多媒体内容流，以上操作全部实时进行。在一种方法中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可以通过分析多媒体内容流中的信息或者分析在一个或多个处理设备30A，30B…30X处从一个或多个用户接收的用户反馈信息，由一个或多个软件模块来自动地执行，诸如集中式多媒体内容流传输服务34中的事件识别引擎42和重播位置标记引擎44。在另一种方法中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可以由制作人17手动地执行，该制作人可以是集中式多媒体内容流传输服务34或媒体提供者38处的当前或实况广播的一部分。由集中式多媒体内容流传输服务34所执行的操作在下面予以详细讨论。
如图2B所示，集中式多媒体内容流传输服务34包括事件识别引擎42和重播位置标记引擎44。在一个实施例中，事件识别引擎42通过分析多媒体内容流中的信息来标识多媒体内容流中的事件。如上面所描述的，事件是观看者可能希望在将来重播的多媒体内容流中的有趣的事件。例如，与足球比赛相对应的多媒体内容流中的事件可包括触底得分、长传、进球得分、任意球等。事件识别引擎42通过将多媒体内容流中的信息与事件识别引擎42中事件库44中的一个或多个事件进行比较来标识多媒体内容流中的一个或多个事件。事件库44可包括事件的集合，包括与多媒体内容流中事件有关的信息。在另一个实施例中，事件识别引擎42还通过分析在处理设备30A，30B…30X处从用户接收的用户反馈信息来标识多媒体内容流中的一个或多个事件。用户反馈信息可由处理设备30A，30B…30X来生成。处理设备30A，30B…30X生成用户反馈信息的方式在图3中详细地讨论。在一个实施例中，用户反馈信息可包括关于用户观看行为的信息。关于用户观看行为的信息例如可包括用户在经由处理设备观看多媒体内容时所利用的处理设备上的一个或多个控件，诸如暂停、前进、倒退、跳转或停止控件。在另一个实施例中，用户反馈信息可包括关于对用户观看的多媒体内容的用户情感响应的信息。关于用户情感响应的信息可包括用户观看多媒体内容时其所表现的面部表情、声音响应、姿势或移动。面部表情可包括例如用户观看多媒体内容时来自用户的微笑、笑声、哭泣、皱眉、打呵欠或者鼓掌。声音响应可包括与面部表情相关联的笑声或掌声。姿势和移动可包括远离视野的用户移动、用户面向视听设备、向前倾斜、或在观看多媒体内容时向视听设备讲话。用户反馈信息还可包括从用户获得的特定动作，诸如在经由用户的处理设备观看多媒体内容时用户的投票。用户反馈信息还可包括从由用户执行的用户界面交互获得的信息，或者基于用户与连接到用户处理设备的诸如控制器、遥控器、鼠标或键盘的输入设备的交互的信息。例如，用户可经由用户界面与在用户处理设备中执行的应用程序进行交互以在经由用户处理设备观看多媒体内容时手动地指定的兴趣点或感兴趣的事件。
在一个实施例中，事件识别引擎42通过将从处理设备30A，30B…30X接收的用户反馈信息与事件识别引擎42中事件库44中的一个或多个事件进行比较来标识多媒体内容流中的一个或多个事件。事件库44可包括事件的集合，包括关于与用户专用信息有关的事件的信息。例如，可以基于诸如用户在观看多媒体内容时所用的一个或多个控件的观看行为信息来标识事件。还可以基于诸如在观看多媒体内容时用户的面部表情、声音响应、姿势和移动的情感响应信息来标识事件。在一个实施例中，事件识别引擎42可以确定来自阈值百分比的用户的用户专用反馈信息是否与事件库44中已识别的事件相对应。在一个实施例中，阈值百分比可由事件识别引擎42预先确定。例如，如果事件识别引擎42接收用户反馈信息，该用户反馈信息在观看多媒体内容的特定时间间隔包括来自20％的用户的“没有反应”的情感响应以及来自80％的用户的“鼓掌”的情感响应，则事件识别引擎42可以标识出用户反馈信息对应于发生在多媒体内容流的特定时间点的诸如知名选手入场的事件。或者，例如，如果事件识别引擎42接收用户反馈信息，该用户反馈信息包括来自80％观看多媒体内容流的用户的“倒退动作”至多媒体内容流中的特定时间点以及来自20％的用户的“无动作”，则事件识别引擎42可以标识出用户反馈信息对应于发生在多媒体内容流的特定时间点的触底得分事件。
在一个实施例中，事件识别引擎42向重播位置标记引擎44提供所标识的事件和所标识事件的发生时间用于进一步分析。重播位置标记引擎44基于由事件识别引擎42所标识的事件执行对多媒体内容流中的重播位置的智能确定。在一个实施例中，重播位置标记引擎44可将所标识事件的发生时间用作多媒体内容中的重播位置。在另一个实施例中，重播位置标记引擎44可将与所标识事件相关的某些其它兴趣点用作多媒体内容流中的重播位置。在一个示例中，可通过确定所标识的事件是否由提示引起来标识兴趣点，诸如在多媒体内容流中所标识的事件之前的时间点的体育比赛的动作起始。例如，如果多媒体内容流包括体育内容并且所标识的事件是“触底得分”事件，则重播位置标记引擎44可以确定“触底得分”事件与多媒体数据流中知名选手进入比赛的兴趣点有关，并且可以确定将兴趣点的发生时间、兴趣点的持续时间或兴趣点的类型作为多媒体内容流中的重播位置。
在对重播位置进行标识之后，重播位置标记引擎44还确定从重播位置重播多媒体内容流的持续时间。在一个示例中，重播多媒体内容流的持续时间可由重播位置标记引擎44预先确定。随后将带有一个或多个重播位置的多媒体内容流提供给在处理设备30A，30B…30X的一个或多个用户。
在一个实施例中，重播位置标记引擎44使用重播位置对多媒体内容流进行实时标记，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流来向用户提供多媒体内容流。例如，关于重播位置的信息可包括关于事件、事件的发生时间、与事件有关的兴趣点、兴趣点的发生时间、重播位置的起始时间以及从重播位置重播多媒体内容流的持续时间的信息。在一个示例中，与多媒体内容流相关联的元数据流可被实现为配置文件，诸如可扩展标记语言(XML)配置文件。下面示出了与元数据流相关联的配置文件的数据结构的示例性图示。
Figure BSA00000596071200091
Figure BSA00000596071200101
上面示出的配置文件描述了与“足球比赛”相关联的示例性元数据流。“MMContentDesc”是描述多媒体内容流的标记，“Title”是描述多媒体内容流中标题字段的标记，并且“VideoFormat”是描述多媒体内容流的视频格式的标记。标记Title、VideoFormat表示关于多媒体内容流的概要信息，并且可以在向集中式多媒体内容流传输服务34或向处理设备30A，30B…30X提供多媒体内容流之前由内容提供者38指定。可以理解，在其他实施例中，表示关于多媒体内容流的概要信息的任意数量和类型的标记可在元数据流中指定。
“ReplayLocation-1”和“ReplayLocation-2”描述关于多媒体内容流中重播位置的信息，该重播位置由重播位置标记引擎44嵌入到元数据流中。在一个实施例中，“ReplayLocation-1”和“ReplayLocation-2”表示元数据流中包括标记的可配置参数，该标记描述了事件的类型(EventType)、关于事件的信息(EventInfo)、事件的发生时间(EventTimeOfOccurence)、关于与所标识事件有关的兴趣点的信息(EventPointOfInterest)、重播位置的起始时间(EventReplayLocation)以及从重播位置重播多媒体内容流的持续时间(EventDuration)。
“ReplayLocation-1”包括关于重播位置的信息，该重播位置基于对多媒体内容流中位于时间14:15:00的“触底得分”事件的标识来确定。在所示示例中，重播位置标记引擎44确定出14:15:00的“触底得分”事件与关于该事件的兴趣点相关，诸如发生在多媒体内容流中之前时间14:10:00的知名选手进入比赛，并且将兴趣点的发生时间确定为多媒体内容流中的重播位置。“ReplayLocation-2”包括关于重播位置的信息，该重播位置基于对多媒体内容流中位于时间14:30:45的“触底得分”事件的标识来确定。在所示示例中，多媒体内容重播位置标记引擎44将“触底得分”事件的发生时间确定为多媒体内容流中的重播位置。可以理解，在其他实施例中，可在元数据流中指定任意数量和类型的重播位置标记。
向在处理设备30A，30B…30X的一个或多个用户实时地提供如上所讨论的带有时间戳或标记有一个或多个重播位置的多媒体内容流。在处理设备30A，30B…30X处的用户可通过经由在处理设备30A，30B…30X中的用户界面调用选项从重播位置中的任一个重新观看事件。多媒体内容流的片段经由用户界面重播给用户。用户与在处理设备30A，30B…30X中的用户界面进行交互以重播多媒体内容流的部分来重新观看事件的方式在图9-10中详细地讨论。
在另一种方法中并如上面讨论的，对事件的标识以及基于多媒体内容流中所标识的事件对重播位置的智能确定还可以由制作人17手动地执行，该制作人可以是集中式多媒体内容流传输服务34或媒体提供者38处的当前或实况广播的一部分。在一个实施例中，制作人17可以手动地分析诸如多媒体内容流中音频或视觉提示的信息以标识多媒体内容流中的一个或多个事件。制作人还可以如上所讨论的从在处理设备30A，30B…30X处的一个或多个用户接收用户反馈信息以标识多媒体内容流中的一个或多个事件。制作人12可随后使用基于所标识的事件的一个或多个重播位置来手动地标记多媒体内容流，例如基于所标识事件的发生时间，或者如以上讨论的，基于与所标识事件相关的兴趣点的发生时间。带有由制作人12确定的一个或多个重播位置的多媒体内容流可随后经由媒体提供者12或经由集中式多媒体内容流传输服务34被直接提供给处理设备30A，30B…30X处的用户。
图3示出了可在本技术中使用的处理设备的一个实施例。在一个示例中，处理设备可以是目标识别、分析和跟踪系统10中的计算设备12。在一个实施例中，计算设备12包括捕捉设备20以在捕捉区域中识别人和非人目标，并且在三维空间中唯一地标识和跟踪他们。捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，来捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20可将所计算的深度信息组织为“Z层”或可垂直于从深度相机沿其视线延伸的Z轴的层。
如图3所示，捕捉设备20可以包括图像相机组件56。根据一个实施例，图像相机组件56可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的所捕捉的场景中的对象距相机的距离。
如图3所示，图像相机组件56可包括可被用来捕捉捕捉区域的深度图像的IR光组件58、三维(3-D)相机60、以及RGB相机62。例如，在飞行时间分析中，捕捉设备20的IR光组件58可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机60和/或RGB相机62来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据一个实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。
在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件58被投影到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机60和/或RGB相机62来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据一个实施例，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。也可使用其他类型的深度图像传感器来创建深度图像。
捕捉设备20还可包括话筒64。话筒64可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒64可用来减少在目标识别、分析和跟踪系统10中的捕捉设备20与计算设备12之间的反馈。另外，话筒64可用于接收也可由用户提供的音频信号，以控制可由计算设备12执行的诸如游戏应用程序、非游戏应用程序等等之类的应用程序80。
在一个实施例中，捕捉设备20还可以包括可与图像相机组件56进行可操作的通信的处理器52。处理器52可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可包括存储器组件54，存储器组件可存储可由处理器52执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例，存储器组件54可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，存储器组件54可以是与图像捕捉组件56和处理器52进行通信的分离的组件。在另一实施例中，存储器组件54可被集成到处理器52和/或图像捕捉组件56中。在一个实施例中，图2中示出的捕捉设备20的组件56、58、60、62、46、52和54中的一些或全部被容纳在单个壳体中。
捕捉设备20可以经由通信链路50来与计算设备12进行通信。通信链路50可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。计算设备12可以经由通信链路50向捕捉设备20提供时钟，该时钟可以用来确定何时捕捉例如场景。
捕捉设备20可经由通信链路50来向计算设备12提供由例如3-D(或深度)相机60和/或RGB相机62捕捉的深度信息和图像，包括可由捕捉设备20生成的骨架模型。然后，计算设备12可以使用骨架模型、深度信息和所捕捉的图像来控制诸如游戏应用程序或非游戏应用程序之类可以由计算设备12来执行的应用程序80。
在另一实施例中，捕捉设备20可以通过检测用户的面部表情和/或声音响应来自动地跟踪用户对其正在观看的多媒体内容的情感响应。在一个示例中，捕捉设备20可以检测诸如微笑、笑声、哭泣、皱眉、打呵欠、或者鼓掌之类的来自用户的面部表情和/或声音响应。在一个实施例中，计算设备12中的面部识别引擎74可以通过将由捕捉设备20中的相机60、62(例如，深度相机和/或视觉相机)捕捉到的数据与面部识别引擎74中的面部表情库76中的一个或多个面部表情过滤器相比较来标识出用户所表现出的面部表情。面部表情库76可以包括面部表情过滤器的集合，其中每个面部表情过滤器包括关于用户的面部表情的信息。在另一示例中，面部识别引擎74还可以将由捕捉设备20中的麦克风64捕捉到的数据与面部表情库76中的面部表情过滤器相比较以标识出诸如例如与面部表情相关联的笑声或掌声之类的一个或多个声音响应。
在一个实施例中，捕捉设备20还可以通过跟踪用户的姿势和移动来跟踪用户对正在观看的多媒体内容的情感响应。在一个示例中，由捕捉设备跟踪的移动可以包括：检测用户在观看多媒体内容时是移动得远离捕捉设备20的视野还是停留在捕捉设备20的视野内。由捕捉设备10跟踪到的姿势可以包括：检测用户在观看多媒体节目时的身体姿势，比如用户在观看多媒体内容时是转身背向视听设备16、面向视听设备16或者向前倾斜、还是对着显示设备讲话(例如通过模仿与由多媒体内容所显示的活动相关联的动作)。在一个实施例中，计算设备12中的姿势识别引擎70可以通过将由捕捉设备20中的相机60、62(例如，深度相机和/或视觉相机)捕捉到的数据与姿势识别引擎70中的姿势库72中的一个或多个姿势过滤器相比较来标识出用户所表现出的姿势和移动。姿势库72可以包括姿势过滤器的集合，其中每个姿势过滤器包括关于用户的姿势或移动的信息。关于识别姿势的更多信息参见于2009年2月23日提交的美国专利申请12/391,150“Standard Gestures(标准姿势)”以及于2009年5月29日提交的美国专利申请12/474,655“Gesture Tool(姿势工具)”，这两个申请的全部内容都通过引用并入本申请。
在一个实施例中，计算设备12还包括用户行为识别引擎78。用户行为识别引擎78经由计算设备12中的视听设备16跟踪在观看多媒体内容时的用户的观看行为。观看行为可包括例如，在经由视听设备16观看多媒体内容时用户所执行的诸如暂停、前进、倒退、跳转或停止动作的控件列表。
在一个实施例中，计算设备12向集中式多媒体内容流传输服务34提供关于用户的情感响应的信息和关于用户的观看行为的信息用于分析，用户的情感响应包括用户的面部表情、声音响应、姿势、移动。集中式多媒体内容流传输服务34可以利用该信息以识别事件并基于多媒体内容流中所标识的事件来执行对重播位置的智能确定，如上面图2中所讨论的。
在一个实施例中，用户的面部表情、声音响应、移动、姿势和用户的观看行为可被存储到用户简档数据库84中。在一个示例中，对用户的面部表情、声音响应、移动和姿势的跟踪和标识可以在用户观看多媒体内容时以经预编程的时间间隔执行。经预编程的时间间隔可以由计算设备12来确定。可以理解，以经预编程的时间间隔对用户的面部表情、移动和姿势的跟踪和标识可以允许确定用户在不同时刻对所观看的多媒体内容的情感响应。在一个实施例中，所公开的技术可提供一种用来在与目标识别和分析系统10进行交互的同时满足用户的隐私担忧的机制。在一个示例中，在实现所公开的技术之前从用户获得用户对用户观看多媒体内容时跟踪用户的面部表情、移动、姿势和用户的观看行为的选择参加。
计算设备12中的显示模块82经由视听设备16向用户显示多媒体内容流。在一个实施例中，当用户经由视听设备16中的用户界面调用选项时，显示模块82向用户重播多媒体内容流的一部分。用户与在视听设备16中的用户界面进行交互以重播多媒体内容流的部分的方式在图9-10中详细地讨论。
图4示出了可用来实现图3的计算设备12的计算设备100的示例。在一个实施例中，图4的计算设备100可以是诸如游戏控制台之类的多媒体控制台100。如图4所示，多媒体控制台100具有中央处理单元(CPU)200以及便于处理器访问各种类型存储器的存储器控制器202，各种类型存储器包括闪速只读存储器(ROM)204、随机存取存储器(RAM)206、硬盘驱动器208、以及便携式媒体驱动器106。在一种实现中，CPU 200包括1级高速缓存210和2级高速缓存212，用于临时存储数据，并且因此减少对硬盘驱动器208进行的存储器访问周期的数量，从而提高处理速度和吞吐量。
CPU 200、存储器控制器202、以及各种存储器设备经由一个或多个总线(未示出)互连在一起。在此实现中所使用的总线的细节对理解此处所讨论的主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的体系结构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。
在一种实现中，CPU 200、存储器控制器202、ROM 204、以及RAM 206被集成到公用模块214上。在此实现中，ROM 204被配置为经由PCI总线和ROM总线(两者都没有示出)连接到存储器控制器202的闪速ROM。RAM 206被配置为多个双倍数据速率同步动态RAM(DDR SDRAM)模块，它们被存储器控制器202经由分开的总线(未示出)独立地进行控制。硬盘驱动器208和便携式媒体驱动器106被示为经由PCI总线和AT附加(ATA)总线216连接到存储器控制器202。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。
图形处理单元220和视频编码器222构成了用于进行高速度和高分辨率(例如，高清晰度)的图形处理的视频处理流水线。数据经由数字视频总线(未示出)从图形处理单元220传输到视频编码器222。音频处理单元224和音频编码解码器(编码器/解码器)226构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。经由通信链路(未示出)在音频处理单元224和音频编码解码器226之间传输音频数据。视频和音频处理流水线向A/V(音频/视频)端口228输出数据，以便传输到电视机或其他显示器。在所示的实现中，视频和音频处理组件220-228安装在模块214上。
图4示出了包括USB主控制器230和网络接口232的模块214。USB主控制器230被示为经由总线(例如，PCI总线)与CPU 200和存储器控制器202进行通信，并作为外围控制器104(1)-104(4)的主机。网络接口232提供对网络(例如因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。
在图4中所描绘的实现中，控制台102包括用于支持四个控制器104(1)-104(4)的控制器支持子组件240。控制器支持子组件240包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件242支持电源按钮112、弹出按钮114，以及任何LED(发光二极管)或暴露在控制台102的外表面上的其他指示灯等多个功能。子部件240和242经由一个或多个电缆部件244与模块214进行通信。在其他实现中，控制台102可以包括附加的控制器子部件。所示的实现还示出了被配置成发送和接收可以传递到模块214的信号的光学I/O接口235。
MU 140(1)和140(2)被示为可以分别连接到MU端口“A”130(1)和“B”130(2)。附加MU(例如，MU 140(3)-140(6))被示为可连接到控制器104(1)和104(3)，即每一个控制器两个MU。控制器104(2)和104(4)也可以被配置成接纳MU(未示出)。每个MU 140都提供附加存储器，在其上面可以存储游戏、游戏参数、及其他数据。在某些实现中，其他数据可以包括数字游戏组件、可执行的游戏应用程序，用于扩展游戏应用程序的指令集、以及媒体文件中的任何一种。当被插入到控制台102或控制器中时，MU 140可以被存储器控制器202访问。系统供电模块250向游戏系统100的组件供电。风扇252冷却控制台102内的电路。
包括机器指令的应用程序260被存储在硬盘驱动器208上。当控制台102被接通电源时，应用程序260的各个部分被加载到RAM 206，和/或高速缓存210以及212中以在CPU 200上执行，其中应用程序260是一个这样的示例。各种应用程序可以存储在硬盘驱动器208上以用于在CPU 200上执行。
可通过简单地将系统连接到视听设备16(图1)、电视机、视频投影仪、或其他显示设备来将游戏和媒体系统100用作独立系统。在此独立模式下，游戏和媒体系统100允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口232而成为可能，游戏和媒体系统100还可以作为较大的网络游戏社区的参与者来操作。
图5示出了可被用于实现计算设备12的另一实施例的通用计算设备。参考图5，用于实现所公开的技术的示例性系统包括以计算机310的形式呈现的通用计算设备。计算机310的组件可以包括，但不仅限于，处理单元320、系统存储器330，以及将包括系统存储器的各种系统组件耦合到处理单元320的系统总线321。系统总线321可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线，以及局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线，以及也称为夹层总线的外围部件互连(PCI)总线。
计算机310通常包括各种计算机可读介质。计算机可读介质可以是能由计算机310访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字多功能盘(DVD)或其他光盘存储设备，磁带盒、磁带、磁盘存储设备或其他磁存储设备，或者能用于存储所需信息且可以由计算机310访问的任何其他介质。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”指的是具有一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线介质，如有线网络或直接线连接，以及如声学、RF、红外及其他无线介质之类的无线介质。上述中任一组合也应包括在计算机可读介质的范围之内。
系统存储器330包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)331和随机存取存储器(RAM)332。基本输入/输出系统333(BIOS)包括如在启动时帮助在计算机310内的元件之间传输信息的基本例程，它通常储存在ROM 331中。RAM 332通常包含处理单元320可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图5示出了操作系统334、应用程序335、其他程序模块336，以及程序数据337。
计算机310也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图5示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器340，对可移动、非易失性磁盘352进行读写的磁盘驱动器351，以及对例如CD ROM或其它光学介质等可移动、非易失性光盘356进行读写的光盘驱动器355。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器341通常由诸如接口340的不可移动存储器接口连接至系统总线321，并且磁盘驱动器351和光盘驱动器355通常由诸如接口350的可移动存储器接口连接至系统总线321。
上文所讨论的并且在图5中示出的驱动器及其相关联的计算机存储介质为计算机310提供了对计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，图5中，硬盘驱动器341被示为存储操作系统344、应用程序345、其它程序模块346和程序数据347。注意，这些组件可以与操作系统334、应用程序335、其他程序模块336和程序数据337相同，也可以与它们不同。在此操作系统344、应用程序345、其他程序模块346以及程序数据347被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘362和定点设备361(通常被称为鼠标、跟踪球或触摸垫)之类的输入设备向计算机20输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由耦合至系统总线的用户输入接口360连接至处理单元320，但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来进行连接。监视器391或其他类型的显示设备也通过诸如视频接口390的接口连接至系统总线321。除监视器之外，计算机也可以包括诸如扬声器397和打印机396之类的其他外围输出设备，它们可以通过输出外围接口390来连接。
计算机310可使用至一个或多个远程计算机，诸如远程计算机380的逻辑连接在网络化环境中操作。远程计算机380可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上文参考计算机310所描述的许多或全部元件，虽然图5中只示出了存储器设备381。图5中所描述的逻辑连接包括局域网(LAN)371和广域网(WAN)373，但是，也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机310通过网络接口或适配器370连接至LAN 371。当在WAN联网环境中使用时，计算机310通常包括调制解调器372或用于通过诸如因特网等WAN 373建立通信的其他手段。调制解调器372可以是内置或外置的，它可以经由用户输入接口360或其他适当的机制连接至系统总线321。在联网环境中，相对于计算机310所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图5示出了驻留在存储器设备381上的远程应用程序385。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图6例出了用于实现所公开技术的操作的计算设备的另一个实施例。在一个实施例中，计算设备可以是移动计算设备，它可包括，但不限于，蜂窝电话、启用Web的智能电话、个人数字助理、掌上型计算机、膝上型计算机、或经由无线信号通信的任何类似设备。如图6所示，实现移动计算设备的系统400可包括可具有一个或多个处理器410的控制电路412和存储或存储器414，例如，诸如ROM的非易失性存储器和诸如RAM的易失性存储器。存储器414存储由控制电路412的一个或多个处理器410执行的处理器可读代码，以实现所公开技术的操作。一个或多个应用程序可载入存储器414，如电话拨号器程序、电子邮件程序、PIM(个人信息管理)程序、因特网浏览器应用程序、视频游戏应用程序等。
控制电路412可包括通信接口409，它控制移动计算设备和其它设备之间的无线的或经由有线连接的信号发送和接收。如所示的，在一个实施例中，通信接口409可包括用于无线信号的发射和接收的射频(RF)发射/接收电路406和/或红外发射/接收电路408。在发射模式期间，控制电路412可向发射/接收电路406提供语音和其它数据信号。发射/接收电路406可经由天线402将该信号发射到远程站(例如固定站、运营商、其它移动计算设备等)。
控制电路412也可与一个或多个传感器416、用户界面/键盘屏幕418、音频接口420和视频接口422通信。传感器416例如可包括诸如加速计的运动检测传感器，压力传感器、邻近传感器、电容触摸传感器等。加速计被结合到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用程序，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转移动设备时自动地将显示从纵向变为横向。例如通过微机电系统(MEMS)来提供加速计，该微机电系统是构建在半导体芯片上的。经由加速计可感应加速方向、以及定向、振动和震动。
用户界面键区/屏幕418可包括诸如按钮数字拨号盘区(如在典型的电话上)或多按键键盘(如常规键盘)的键区。UI键区/屏幕418还可以是触敏的，并包括液晶显示器(LCD)或在移动设备中常用的任何其它类型的显示器。音频接口420可用于向用户提供听觉信号并从用户接受听觉信号。音频接口420可耦合至扬声器424、话筒425和响铃器/振动器426。响铃器/振动器426可被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。响铃器/振动器426可发出由用户选择的一个或多个铃声和/或触觉振动。在接收模式期间，发射/接收电路406通过天线402接收来自远程站的语音或其他数据信号。所接收的语音信号可被提供给扬声器424，同时所接收到的其它数据信号也被适当地处理。话筒425可包括可接收声音并将其转换成电信号的换能器。话筒425也可包括压力传感器或音频传感器以便于感应用户姿势并控制通知。
视频接口422可用于向用户提供视频、图像和其它信号。视频接口422也可用于从相机428接收视频、图像和其它信号。相机428可用于捕捉可在用户界面屏幕418上显示的图像和/或视频。相机428也可包括一个或多个深度传感器，它可捕捉、感应或检测在移动计算设备的视野中的用户的动作或姿势。
系统400可包括电源404，其可被实现为一个或多个电池。电源404还可包括外部功率源，如补充电池或对电池重新充电的AC适配器或加电对接托架。移动计算设备实现系统400可具有附加特征或功能。例如，设备还可包括附加数据存储设备(可移动的/或不可移动的)，诸如磁盘、光盘或磁带。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。
以上讨论的图1-6的硬件设备可用于实现通过标识多媒体内容流中的事件来智能地确定多媒体内容流中的重播位置的系统。图7和8是描述用于通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能的确定的过程的一个实施例的流程图。在一个实施例中，图7和8的步骤可由软件模块来执行，例如，集中式多媒体内容流传输服务34中的事件识别引擎42和重播位置标记引擎44。图7描述了可确定多媒体内容流中重播位置的过程的一个实施例(例如，图2A的步骤24的更多细节)。在步骤720中，分析多媒体内容流中的信息以检测多媒体内容流中的音频或视觉提示。提示可包括例如来自多媒体内容流的音频或视频序列中的一个或多个实体的鼓掌、欢呼、评论、评论更新或者分数更新。在步骤722中，确定是否在多媒体内容流中检测到音频或视觉提示。如果确定出检测到音频或视觉提示，则在步骤724中标识多媒体内容流中的基于该音频或视觉提示的事件。例如，可基于与足球比赛相对应的多媒体内容流中检测到的音频或视觉提示来标识的事件可包括触底得分、奔跑者触地、进球得分、任意球等。
在步骤722中，如果确定未在多媒体内容流中检测到音频或视觉提示，则在步骤726确定当前广播是否已结束。如果当前广播尚未结束，则在步骤728中递增时间t并且在已更新的时间t如步骤720所讨论的执行对多媒体内容流中的信息的分析。如果当前广播已经结束，则在步骤730中向在处理设备30A，30B…30X处的一个或多个用户实时地提供多媒体内容流。
在步骤732中，确定多媒体内容流中所标识的事件的发生时间。在步骤734中，确定所标识的事件是否与多媒体内容流中的兴趣点相关。在一个示例中，可通过确定所标识的事件是否是由多媒体内容流中时间在先点的活动起始或动作起始引起的来标识兴趣点。例如，诸如“触底得分”的所标识的事件可与多媒体数据流中知名选手进入比赛的兴趣点相关。
如果在步骤734中确定所标识的事件与多媒体内容流中的兴趣点相关，则在步骤736中，兴趣点的发生时间被确定为多媒体内容流中的重播位置。如果确定所标识的事件与多媒体内容流中的兴趣点不相关，则在步骤738中，所标识的事件的发生时间被确定为多媒体内容流中的重播位置。
在步骤740中，确定从重播位置重播多媒体内容流的持续时间。在一个示例中，重播多媒体内容流的持续时间可被预先确定为在约45秒到约120秒的范围内。在步骤742中，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流，使用重播位置对多媒体内容流进行实时地标记。在步骤744中，向用户提供已标记的多媒体流。图7描述了用于确定多媒体内容流中的单个重播位置的过程。可以理解，尽管在特定示例中描述了对单个重播位置的确定，但是图7的过程可被多次执行以确定多媒体内容流中的多个重播位置。此外，所描述的过程可被并行或顺序地执行以确定多媒体内容流中的多个重播位置。
图8描述了可确定多媒体内容流中的重播位置的过程的另一个实施例(例如，图2A的24的更多细节)。在步骤750，从在处理设备30A，30B…30X的一个或多个用户接收用户反馈信息。如图2所讨论的，用户反馈信息可包括关于用户的观看行为的信息或者关于对用户观看的多媒体内容的用户情感响应的信息。在步骤752中，确定来自阈值百分比用户的用户反馈信息是否与多媒体内容流中的事件相对应。例如，如果来自100位用户的用户反馈信息指示在观看多媒体内容时在特定的时间间隔期间从80％的用户接收到鼓掌，则在步骤760在多媒体内容流中基于用户反馈信息标识事件。如果确定来自阈值百分比用户的用户反馈信息与多媒体内容流中的事件不对应，则在步骤754确定当前广播是否已结束。如果当前广播尚未结束，则在步骤756中递增时间t并且在已更新的时间t如步骤720所讨论的接收用户反馈信息。如果当前广播已经结束，则在步骤758中向在处理设备30A，30B…30X处的一个或多个用户实时地提供多媒体内容流。
在一个实施例中，图8中所描述的过程可与基于分析多媒体内容流中的信息来标识多媒体内容流中的事件(图7中所描述的)的过程并行执行。在步骤762中，确定所标识的事件(在步骤760中标识的)是否已经与带有多媒体内容流中已标记重播位置的所标识的事件(如由图8的过程所确定的)相对应。例如，如果步骤760中检测到的所标识的事件与多媒体内容流中位于特定重播位置的触底得分事件相对应，则可以确定通过分析多媒体内容流已经标识了多媒体内容流中特定重播位置的触底得分事件(图8的步骤724)。如果确定所标识的事件已经与多媒体内容流中的已标记重播位置相对应，则在步骤776中向用户提供已标记的多媒体内容流。
如果确定所标识的事件与多媒体内容流中的已标记重播位置不对应，则在步骤764中确定所标识的事件的发生时间。步骤(766-774)与图7中所讨论的步骤(734-744)是相似的。在步骤766中，确定所标识的事件是否与多媒体内容流中的兴趣点相关。如果在步骤766中确定所标识的事件与多媒体内容流中的兴趣点相关，则在步骤770中，兴趣点的发生时间被确定为多媒体内容流中的重播位置。如果确定所标识的事件与多媒体内容流中的兴趣点不相关，则在步骤768中，所标识的事件的发生时间被确定为内容流中的重播位置。在步骤772中，确定从重播位置重播多媒体内容流的持续时间。在步骤774中，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流，使用重播位置对多媒体内容流进行实时地标记。在步骤776中，向用户提供已标记的多媒体流。
图9-10示出了允许用户与图1-3中所讨论的计算设备交互以执行所公开技术的一个或多个操作的各种用户界面屏幕。在一个实施例中，诸如(图1所示的)用户18和19的一个或多个用户可以经由连接到计算设备12的视听设备16与计算设备12中的用户界面屏幕900进行交互。图9A示出了经由用户界面屏幕900显示给用户的多媒体内容流。用户界面屏幕900还描绘了显示给用户的多媒体内容流905的示意图，多媒体内容流带有时间戳或标记有一个或多个重播位置、重播位置-1 906和重播位置-2 904和当前位置902。在一个实施例中并如图2中所描述的，集中式多媒体内容流传输服务34中的事件识别引擎42和重播位置标记引擎44通过标识多媒体数据流中的事件来执行对多媒体内容流中重播位置的智能的确定。重播位置标记引擎44使用重播位置对多媒体内容流进行实时地标记，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流来向用户流传输多媒体内容。如图9A中进一步所示的，用户可通过选择“即时重播”选项908来重新观看多媒体内容流中的一个或多个所标识的事件。
图9B示出了用户与图9A中所示的用户界面屏幕交互的结果。在一个实施例中，通过选择“即时重播”选项908(图9A中所示的)，用户被直接传送到多媒体内容流905中的最新近的重播位置(即，重播位置-2 904)，如图9B所示。如进一步所示的，还向用户提供关于重播位置904的信息。该信息可包括事件的发生时间、对事件的描述和用户将观看事件的持续时间。用户可以通过选择“返回到当前广播”选项910来返回到当前广播。
在另一个实施例中并如图10A所示的，当用户选择“即时重播”选项908时，可向用户显示关于多媒体内容流905中重播位置列表912的信息。用户可以通过从列表912选择重播位置之一来选择观看重播位置中的任一个。在所示的示例中，用户的选择914将用户传送到多媒体内容流905中的重播位置-2906，如图10B所示。如进一步所示的，还向用户提供关于重播位置906的信息。该信息可包括事件的发生时间、对事件的描述和用户将观看事件的持续时间。用户可以通过选择“返回到当前广播”选项910来返回到当前广播。在另一个实施例中，当用户选择“即时重播”选项908时，可向用户提供多媒体内容流中所标识的事件的压缩视图。例如，当用户选择“即时重播”选项908时，可向用户提供对体育比赛的突出显示，以使得用户可以仅观看比赛的突出显示而不必执行与处理设备的进一步的交互。此外，用户还可以使用语音、姿势以及使用屏幕上控件来重播重播位置902、904和906中的任一个。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (15)

1.一种用于确定多媒体内容流中的一个或多个重播位置的方法，所述方法包括：
接收与当前广播相关的多媒体内容流(905)；
实时地分析所述多媒体内容流(905)以标识所述多媒体内容流中的一个或多个事件；
基于所述多媒体内容流(905)中所标识的所述一个或多个事件来确定所述多媒体内容流(905)中的一个或多个重播位置(902、904、906)；以及
向一个或多个用户(18、19)实时地提供带有所述一个或多个重播位置(902、904、906)的所述多媒体内容流(905)。
2.如权利要求1所述的方法，其特征在于，实时地分析所述多媒体内容流以标识所述多媒体内容流中的一个或多个事件还包括：
检测所述多媒体内容流中的音频提示或视觉提示中的至少一个以标识所述一个或多个事件，其中所述音频提示或所述视觉提示包括所述多媒体内容流中的鼓掌、欢呼、评论、分数更新或评论更新中的至少一个。
3.如权利要求1所述的方法，其特征在于，实时地分析所述多媒体内容流以标识所述多媒体内容流中的一个或多个事件还包括：
分析与所述一个或多个用户相关的用户反馈信息以标识所述一个或多个事件。
4.如权利要求3所述的方法，其特征在于，所述用户反馈信息包括与观看所述多媒体内容流的所述一个或多个用户相关的观看行为信息，其中所述观看行为信息还包括：
由在处理设备上观看所述多媒体内容流的用户利用的一个或多个控件，其中所述控件包括暂停、前进、倒退、跳转或停止控件中的一个或多个。
5.如权利要求3所述的方法，其特征在于，所述用户反馈信息包括对所述一个或多个用户观看的所述多媒体内容流的情感响应，其中所述情感响应还包括：
所述用户表现的面部表情、声音响应、姿势、移动以及与用户界面的交互中的一个或多个。
6.如权利要求1所述的方法，其特征在于，确定所述多媒体内容流中的所述一个或多个重播位置还包括：
将所述多媒体内容流中所标识的所述一个或多个事件的发生时间确定为所述多媒体内容流中的所述一个或多个重播位置。
7.如权利要求1所述的方法，其特征在于，确定所述多媒体内容流中的所述一个或多个重播位置还包括：
将与所述多媒体内容流中所标识的事件相关的兴趣点的发生时间、兴趣点的持续时间或兴趣点的类型确定为所述多媒体内容流中的所述一个或多个重播位置。
8.如权利要求1所述的方法，其特征在于，确定所述多媒体内容流中的所述一个或多个重播位置还包括：
将关于所述一个或多个重播位置的信息嵌入到与所述多媒体内容流相关联的元数据流，其中关于所述一个或多个重播位置的所述信息还包括：
关于所述多媒体内容流中所标识的所述一个或多个事件、所述一个或多个事件的发生时间、与所述一个或多个事件相关的兴趣点、所述兴趣点的发生时间、所述一个或多个重播位置的起始时间以及从所述一个或多个重播位置重播所述多媒体内容流的持续时间的信息。
9.如权利要求1所述的方法，其特征在于：
所述实时地分析所述多媒体内容流还包括，检测与当前广播相关联的多媒体内容流中的音频提示或视觉提示中的至少一个；
所述实时地分析所述多媒体内容流还包括，分析与所述一个或多个用户相关联的观看行为信息；
所述实时地分析所述多媒体内容流还包括，分析对所述一个或多个用户观看的所述多媒体内容流的情感响应；以及
基于所述一个或多个事件确定所述多媒体内容流中的一个或多个重播位置，是基于所述音频提示、所述视觉提示、所述观看行为信息和所述情感响应中的至少一个。
10.一个或多个处理器可读存储设备，具有包含在所述一个或多个处理器可读存储设备上的处理器可读代码，所述处理器可读代码用于对一个或多个处理器进行编程以执行一种方法，所述方法包括：
分析与当前广播相关联的多媒体内容流(905)中的音频提示和视觉提示中的至少一个；
从观看所述多媒体内容流(905)的一个或多个用户(18、19)接收观看行为信息；
从观看所述多媒体内容流(905)的所述一个或多个用户(18、19)接收情感响应信息；
基于所述音频提示、所述视觉提示、所述观看行为信息和所述情感响应信息中的至少一个，实时地标识所述多媒体内容流(905)中的一个或多个事件；
基于所述多媒体内容流(905)中所标识的所述一个或多个事件确定所述多媒体内容流(905)中的一个或多个重播位置(902、904、906)；以及
向一个或多个用户(18、19)实时地提供带有所述一个或多个重播位置(902、904、906)的所述多媒体内容流(905)。
11.如权利要求10所述的一个或多个处理器可读存储设备，其特征在于，还包括：
从所述一个或多个用户接收输入以重播所述多媒体内容流；以及
从所述一个或多个重播位置，向所述一个或多个用户重播所述多媒体内容流中所标识的所述事件中的一个或多个。
12.如权利要求10所述的一个或多个处理器可读存储设备，其特征在于，标识所述多媒体内容流中的所述一个或多个事件还包括：
确定来自观看所述多媒体内容流的阈值百分比的用户的所述观看行为信息和所述情感响应信息是否与所述多媒体内容流中的事件相对应。
13.一种装置，包括：
深度相机(56)；
计算设备(12)，连接到所述深度相机(56)以接收与当前广播相关的多媒体内容流(905)，在连接到所述计算设备(12)的捕捉设备(20)的视野(6)中标识一个或多个用户(18、19)，通过跟踪所述视野(6)中所述一个或多个用户(18、19)表现的移动、姿势和面部表情来跟踪所述一个或多个用户(18、19)对所述一个或多个用户(18、19)观看的所述多媒体内容流(905)的情感响应，向远程计算系统(34)提供关于所述情感响应的信息用于分析；基于所述分析从所述远程计算系统(34)接收带有一个或多个重播位置(902、904、906)的多媒体内容流(905)，并且向所述一个或多个用户(18、19)重播带有所述一个或多个重播位置(902、904、906)的所述多媒体内容流(905)的至少一部分。
14.如权利要求13所述的装置，其特征在于：
所述计算设备检测与观看所述多媒体内容流的所述一个或多个用户相关的观看行为信息，并且向所述远程计算系统提供所述观看行为信息用于分析。
15.如权利要求13所述的装置，其特征在于，还包括：
连接到所述计算设备的视听设备，其中所述视听设备向所述一个或多个用户显示带有所述一个或多个重播位置的所述多媒体内容流，其中所述视听设备经由用户界面从所述一个或多个用户接收输入以重新观看所述多媒体内容流的部分，并且向所述一个或多个用户显示所述多媒体内容流的所述部分。
CN2011103212554A 2010-10-15 2011-10-12 基于事件标识的重播的智能确定 Pending CN102522102A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/905,880 US9484065B2 (en) 2010-10-15 2010-10-15 Intelligent determination of replays based on event identification
US12/905,880 2010-10-15

Publications (1)

Publication Number Publication Date
CN102522102A true CN102522102A (zh) 2012-06-27

Family

ID=45934235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103212554A Pending CN102522102A (zh) 2010-10-15 2011-10-12 基于事件标识的重播的智能确定

Country Status (2)

Country Link
US (1) US9484065B2 (zh)
CN (1) CN102522102A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014087415A1 (en) * 2012-12-07 2014-06-12 Hewlett-Packard Development Company, L. P Creating multimodal objects of user responses to media
CN105163021A (zh) * 2015-07-08 2015-12-16 成都西可科技有限公司 一种运动相机的视频标记方法
CN106998494A (zh) * 2017-04-24 2017-08-01 腾讯科技（深圳）有限公司 一种视频录制方法及相关装置
CN107155127A (zh) * 2016-03-02 2017-09-12 谷歌公司 在视频内容项中提供突出部的指示
CN107786894A (zh) * 2017-09-29 2018-03-09 维沃移动通信有限公司 一种用户反馈数据的识别方法、移动终端和存储介质
CN108702571A (zh) * 2016-01-07 2018-10-23 诺威托系统有限公司 音频通信系统和方法
CN111183652A (zh) * 2017-07-10 2020-05-19 索尼互动娱乐有限责任公司 非线性内容呈现和体验
CN111448802A (zh) * 2017-10-26 2020-07-24 华为技术有限公司 一种用于数据跟踪和呈现的方法和装置
US10952008B2 (en) 2017-01-05 2021-03-16 Noveto Systems Ltd. Audio communication system and method
CN112740713A (zh) * 2018-09-21 2021-04-30 三星电子株式会社 用于提供多媒体内容中的关键时刻的方法及其电子设备
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
US9071868B2 (en) 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US9378516B2 (en) * 2010-12-17 2016-06-28 Verizon Patent And Licensing Inc. Content provisioning for user devices
US9077462B2 (en) * 2010-12-21 2015-07-07 Cox Communications, Inc. Systems and methods for measuring audience participation over a distribution network
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
US20120222057A1 (en) * 2011-02-27 2012-08-30 Richard Scott Sadowsky Visualization of affect responses to videos
KR101880450B1 (ko) * 2011-06-22 2018-07-23 삼성전자주식회사 티브이에서 휴대용 단말을 이용한 서비스 제공 방법 및 장치
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US20130103770A1 (en) * 2011-10-25 2013-04-25 Microsoft Corporation Distributed semi-synchronized event driven playback of multimedia
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
WO2013095416A1 (en) * 2011-12-21 2013-06-27 Hewlett-Packard Development Company, L.P. Interactive streaming video
US9015744B1 (en) * 2012-06-25 2015-04-21 IMBD.com, Inc. Ascertaining events in media
US8825764B2 (en) * 2012-09-10 2014-09-02 Facebook, Inc. Determining user personality characteristics from social networking system communications and characteristics
US8832721B2 (en) * 2012-11-12 2014-09-09 Mobitv, Inc. Video efficacy measurement
KR20140072720A (ko) * 2012-12-05 2014-06-13 삼성전자주식회사 콘텐츠 제공 장치, 콘텐츠 제공 방법, 영상표시장치 및 컴퓨터 판독가능 기록매체
US9721010B2 (en) 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
US10200761B1 (en) * 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9292923B2 (en) 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
WO2016123495A1 (en) 2015-01-30 2016-08-04 Vizio Inscape Technologies, Llc Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
CA2992319C (en) * 2015-07-16 2023-11-21 Inscape Data, Inc. Detection of common media segments
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10116976B2 (en) * 2015-10-15 2018-10-30 At&T Intellectual Property I, L.P. System and method for distributing media content associated with an event
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10617945B1 (en) * 2015-12-14 2020-04-14 Amazon Technologies, Inc. Game video analysis and information system
FR3049741A1 (fr) * 2016-03-31 2017-10-06 Mediabong Procede et systeme d'affichage dynamique d'au moins une publicite video dans une page internet destinee a etre vue par un utilisateur.
CN109416692B (zh) 2016-06-02 2023-08-11 柯达阿拉里斯股份有限公司 用于制作和分布一种或多种定制的以媒体为中心的产品的方法
US10489016B1 (en) * 2016-06-20 2019-11-26 Amazon Technologies, Inc. Identifying and recommending events of interest in real-time media content
AU2016426163C1 (en) * 2016-10-14 2023-05-25 Rovi Guides, Inc. Systems and methods for providing a slow motion video stream concurrently with a normal-speed video stream upon detection of an event
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US9854292B1 (en) 2017-01-05 2017-12-26 Rovi Guides, Inc. Systems and methods for determining audience engagement based on user motion
US10471360B2 (en) 2017-03-06 2019-11-12 Sony Interactive Entertainment LLC User-driven spectator channel for live game play in multi-player games
US10596445B2 (en) * 2017-04-04 2020-03-24 Shooter's Touch, Llc Referee scorekeeping and data dissemination system
US10818142B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Creation of winner tournaments with fandom influence
US10765957B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC Integrating commentary content and gameplay content over a multi-user platform
US10792577B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Discovery and detection of events in interactive content
US10953335B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment Inc. Online tournament integration
US11065548B2 (en) 2018-02-28 2021-07-20 Sony Interactive Entertainment LLC Statistical driven tournaments
US10751623B2 (en) 2018-02-28 2020-08-25 Sony Interactive Entertainment LLC Incentivizing players to engage in competitive gameplay
US10765938B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC De-interleaving gameplay data
US10792576B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls
US10814228B2 (en) * 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Statistically defined game channels
US10953322B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment LLC Scaled VR engagement and views in an e-sports event
CN113906419A (zh) 2019-03-24 2022-01-07 苹果公司 用于媒体浏览应用程序的用户界面
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11797606B2 (en) 2019-05-31 2023-10-24 Apple Inc. User interfaces for a podcast browsing and playback application
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783998A (zh) * 2004-10-30 2006-06-07 微软公司 用于记录的会议时间线的自动脸部提取
US20090089837A1 (en) * 2007-09-27 2009-04-02 Kabushiki Kaisha Toshiba Electronic Apparatus and Display Method
CN101490762A (zh) * 2006-07-12 2009-07-22 皇家飞利浦电子股份有限公司 用于播放音频-视频内容的设备和方法
US20090249387A1 (en) * 2008-03-31 2009-10-01 Microsoft Corporation Personalized Event Notification Using Real-Time Video Analysis
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
CN102214225A (zh) * 2010-06-11 2011-10-12 微软公司 记录数据的上下文标记

Family Cites Families (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
EP0835460B1 (en) 1995-06-22 2006-03-08 3DV Systems Ltd. Improved optical ranging camera
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US6112186A (en) 1995-06-30 2000-08-29 Microsoft Corporation Distributed system for facilitating exchange of user information and opinion using automated collaborative filtering
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US8360865B2 (en) 1997-03-21 2013-01-29 Igt Method and apparatus for providing a complimentary service to a player
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6061659A (en) 1997-06-03 2000-05-09 Digital Marketing Communications, Inc. System and method for integrating a message into a graphical environment
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US7028269B1 (en) 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
AU2001249994A1 (en) 2000-02-25 2001-09-03 Interval Research Corporation Method and system for selecting advertisements
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6699127B1 (en) 2000-06-20 2004-03-02 Nintendo Of America Inc. Real-time replay system for video game
US6873710B1 (en) 2000-06-27 2005-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for tuning content of information presented to an audience
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
CH697548B1 (de) 2000-09-11 2008-11-28 Hueg Li Ltd Werbemittel.
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US20020091568A1 (en) 2001-01-10 2002-07-11 International Business Machines Corporation Personalized profile based advertising system and method with integration of physical location using GPS
US7076741B2 (en) 2001-03-16 2006-07-11 Alpine Electronics, Inc. Point-of-interest icon and point-of-interest mark display method
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7324947B2 (en) 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
JP2003150529A (ja) 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US20030237093A1 (en) 2002-06-19 2003-12-25 Marsh David J. Electronic program guide systems and methods for handling multiple users
US7818763B2 (en) * 2002-06-25 2010-10-19 Starz Entertainment, Llc Video advertising
US20040193425A1 (en) 2002-11-12 2004-09-30 Tomes Christopher B. Marketing a business employing voice and speech recognition technology
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US7243085B2 (en) * 2003-04-16 2007-07-10 Sony Corporation Hybrid personalization architecture
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
JP4546956B2 (ja) 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
JP4238678B2 (ja) 2003-09-08 2009-03-18 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
EP1725312A4 (en) 2004-03-08 2007-05-30 Massive Inc SHOWING ADVERTISEMENT IN MULTIPLE VIDEO GAMES
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
EP1825674A1 (en) * 2004-12-07 2007-08-29 Koninklijke Philips Electronics N.V. Intelligent pause button
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US20070214471A1 (en) 2005-03-23 2007-09-13 Outland Research, L.L.C. System, method and computer program product for providing collective interactive television experiences
US20060224046A1 (en) 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
EP1886509B1 (en) 2005-05-17 2017-01-18 Qualcomm Incorporated Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US20070050242A1 (en) 2005-08-23 2007-03-01 Way Out World, Llc Solo-unit system and methods for game augmented interactive marketing
US20070078708A1 (en) 2005-09-30 2007-04-05 Hua Yu Using speech recognition to determine advertisements relevant to audio content and/or audio content relevant to advertisements
US8626588B2 (en) 2005-09-30 2014-01-07 Google Inc. Advertising with audio content
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7801910B2 (en) * 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
US20070157237A1 (en) 2005-12-29 2007-07-05 Charles Cordray Systems and methods for episode tracking in an interactive media environment
JP4754364B2 (ja) 2006-01-20 2011-08-24 三菱電機株式会社 画像重ね合わせ装置
EP2011017A4 (en) * 2006-03-30 2010-07-07 Stanford Res Inst Int METHOD AND APPARATUS FOR ANNOTATING MULTIMEDIA STREAMS
US20070243930A1 (en) 2006-04-12 2007-10-18 Gary Zalewski System and method for using user's audio environment to select advertising
US20080004959A1 (en) 2006-06-30 2008-01-03 Tunguz-Zawislak Tomasz J Profile advertisements
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7624416B1 (en) 2006-07-21 2009-11-24 Aol Llc Identifying events of interest within video content
US20080033826A1 (en) 2006-08-03 2008-02-07 Pudding Ltd. Personality-based and mood-base provisioning of advertisements
US8294823B2 (en) 2006-08-04 2012-10-23 Apple Inc. Video communication systems and methods
US20080077952A1 (en) 2006-09-25 2008-03-27 St Jean Randy Dynamic Association of Advertisements and Digital Video Content, and Overlay of Advertisements on Content
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US9715677B2 (en) 2006-12-14 2017-07-25 Aol Inc. Conditional advertising for instant messaging
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US9589380B2 (en) 2007-02-27 2017-03-07 International Business Machines Corporation Avatar-based unsolicited advertisements in a virtual universe
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US20080262909A1 (en) 2007-04-18 2008-10-23 Microsoft Corporation Intelligent information display
US20090217315A1 (en) 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US20090059175A1 (en) 2007-08-30 2009-03-05 The Big Space Ltd. Display arrangement
US9646312B2 (en) 2007-11-07 2017-05-09 Game Design Automation Pty Ltd Anonymous player tracking
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
WO2009079560A1 (en) 2007-12-17 2009-06-25 Stein Gausereide Real time video inclusion system
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8190479B2 (en) 2008-02-01 2012-05-29 Microsoft Corporation Video contextual advertisements using speech recognition
US20090248505A1 (en) 2008-03-28 2009-10-01 Microsoft Corporation User-controlled profile for customized advertisements
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20090271417A1 (en) * 2008-04-25 2009-10-29 John Toebes Identifying User Relationships from Situational Analysis of User Comments Made on Media Content
US8051444B2 (en) 2008-06-02 2011-11-01 Intent IQ, LLC Targeted television advertisements selected on the basis of an online user profile and presented with television programs or channels related to that profile
US9266023B2 (en) 2008-06-27 2016-02-23 John Nicholas and Kristin Gross Pictorial game system and method
US8813107B2 (en) 2008-06-27 2014-08-19 Yahoo! Inc. System and method for location based media delivery
US20090327073A1 (en) 2008-06-27 2009-12-31 Microsoft Corporation Intelligent advertising display
US9432629B2 (en) 2008-08-18 2016-08-30 Brigham Young University Interactive viewing of sports video
US20100086204A1 (en) 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US10102534B2 (en) 2008-12-09 2018-10-16 International Business Machines Corporation System and method for virtual universe relocation through an advertising offer
US8341550B2 (en) 2009-02-10 2012-12-25 Microsoft Corporation User generated targeted advertisements
US20110063440A1 (en) * 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications
US20110106375A1 (en) 2009-11-03 2011-05-05 Vishnu Gurusamy Sundaram Method and system for providing an integrated platform for entertainment, information, communication, control and computing applications in vehicles
US20110118858A1 (en) * 2009-11-13 2011-05-19 Apple Inc. Local storage of a portion of streamed media items
CA3042453C (en) * 2010-01-05 2020-11-10 Isolynx, Llc Systems and methods for analyzing event data
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783998A (zh) * 2004-10-30 2006-06-07 微软公司 用于记录的会议时间线的自动脸部提取
CN101490762A (zh) * 2006-07-12 2009-07-22 皇家飞利浦电子股份有限公司 用于播放音频-视频内容的设备和方法
US20090089837A1 (en) * 2007-09-27 2009-04-02 Kabushiki Kaisha Toshiba Electronic Apparatus and Display Method
US20090249387A1 (en) * 2008-03-31 2009-10-01 Microsoft Corporation Personalized Event Notification Using Real-Time Video Analysis
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
CN102214225A (zh) * 2010-06-11 2011-10-12 微软公司 记录数据的上下文标记

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014087415A1 (en) * 2012-12-07 2014-06-12 Hewlett-Packard Development Company, L. P Creating multimodal objects of user responses to media
CN105163021A (zh) * 2015-07-08 2015-12-16 成都西可科技有限公司 一种运动相机的视频标记方法
CN105163021B (zh) * 2015-07-08 2019-01-29 成都西可科技有限公司 一种运动相机的视频标记方法
US10999676B2 (en) 2016-01-07 2021-05-04 Noveto Systems Ltd. Audio communication system and method
CN108702571A (zh) * 2016-01-07 2018-10-23 诺威托系统有限公司 音频通信系统和方法
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
CN108702571B (zh) * 2016-01-07 2021-11-19 诺威托系统有限公司 音频通信系统和方法
CN107155127A (zh) * 2016-03-02 2017-09-12 谷歌公司 在视频内容项中提供突出部的指示
US10952008B2 (en) 2017-01-05 2021-03-16 Noveto Systems Ltd. Audio communication system and method
CN106998494A (zh) * 2017-04-24 2017-08-01 腾讯科技（深圳）有限公司 一种视频录制方法及相关装置
CN106998494B (zh) * 2017-04-24 2021-02-05 腾讯科技（深圳）有限公司 一种视频录制方法及相关装置
CN111183652A (zh) * 2017-07-10 2020-05-19 索尼互动娱乐有限责任公司 非线性内容呈现和体验
CN107786894A (zh) * 2017-09-29 2018-03-09 维沃移动通信有限公司 一种用户反馈数据的识别方法、移动终端和存储介质
CN111448802A (zh) * 2017-10-26 2020-07-24 华为技术有限公司 一种用于数据跟踪和呈现的方法和装置
CN112740713A (zh) * 2018-09-21 2021-04-30 三星电子株式会社 用于提供多媒体内容中的关键时刻的方法及其电子设备
CN112740713B (zh) * 2018-09-21 2023-08-22 三星电子株式会社 用于提供多媒体内容中的关键时刻的方法及其电子设备

Also Published As

Publication number Publication date
US20120093481A1 (en) 2012-04-19
US9484065B2 (en) 2016-11-01

Similar Documents

Publication Publication Date Title
CN102522102A (zh) 基于事件标识的重播的智能确定
US11503345B2 (en) Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
JP6672433B2 (ja) リアルタイムのデジタルアシスタントの知識更新
US9392211B2 (en) Providing video presentation commentary
US11048751B2 (en) Play control of content on a display device
CN102595212A (zh) 与多媒体内容的模拟组交互
CN102707797B (zh) 通过自然用户界面控制多媒体系统中的电子设备
Zhang et al. An automated end-to-end lecture capture and broadcasting system
CN107093100B (zh) 多功能多媒体装置
US9100667B2 (en) Life streaming
US20120072936A1 (en) Automatic Customized Advertisement Generation System
US20130111514A1 (en) Second screen interactive platform
CN102572539A (zh) 自动的被动和匿名反馈系统
CN106507207A (zh) 直播应用中互动的方法及装置
KR20200091941A (ko) 인덱싱된 오디오 비디오 스트림, 특히 스포츠 대회의 자연 언어 탐색 및 보조 시청
CN112653902A (zh) 说话人识别方法、装置及电子设备
JP4543694B2 (ja) コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
US20140372424A1 (en) Method and system for searching video scenes
US11968425B2 (en) Method and apparatus for shared viewing of media content
WO2011085384A2 (en) System and method for broadcasting media

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120627