CN102576247A - 用于互动电视的超链接3d视频插件 - Google Patents

用于互动电视的超链接3d视频插件 Download PDF

Info

Publication number
CN102576247A
CN102576247A CN2010800463484A CN201080046348A CN102576247A CN 102576247 A CN102576247 A CN 102576247A CN 2010800463484 A CN2010800463484 A CN 2010800463484A CN 201080046348 A CN201080046348 A CN 201080046348A CN 102576247 A CN102576247 A CN 102576247A
Authority
CN
China
Prior art keywords
target
video
virtual
virtual target
spectators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800463484A
Other languages
English (en)
Other versions
CN102576247B (zh
Inventor
斯马达尔·杰弗恩
格雷戈里·豪斯
杰伊·迪吉奥瓦尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
PVI Virtual Media Services LLC
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN102576247A publication Critical patent/CN102576247A/zh
Application granted granted Critical
Publication of CN102576247B publication Critical patent/CN102576247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

观众可以与虚拟放置于视频场景中的物理位置的3D目标直接互动。最初，目标以原始视频场景的组成部分出现，并且不干扰一般观众的节目体验。观众可以通过使用输入设备开始与目标的互动。感兴趣的观众可以通过基于观众兴趣的目标的结构定位。例如，观众可以将目标拖至场景中的新实际插入点。用户可以将3D目标旋转至不同的方向并且放大。目标的每个方向，如果被观众选择，可以激活预定义结构中的新链接目标。例如，观众可以浏览预定义结构中的链接目标或者以增加的细节水平观看目标。

Description

用于互动电视的超链接3D视频插件
背景技术
技术领域
本发明的实施例可用于互动多媒体技术和增强现实。尽管实施例中描述为与电视(例如，广播、有线、卫星、光纤)有关，但还可用于其他媒体，例如，因特网和移动设备(例如，手机)。
现有技术
电视广告是广播公司的主要收入来源，因此，确保它们有效对维持最大收益是必要的。确保广告有效的一个方法是要求它被相当多的观众或者人群收看。这目前是通过特定时间段期间和面向不同人群的频道上的广告安排来实现。然而，这样做并不能确保观众收看，特别是由于允许观众避免广告的新近技术，例如，通过快进。为了维持电视广告时间的销售额而不损害观众的体验，要求评测观众的注意力。
互动数字电视已经是普遍的现实，由机顶盒托管的互动软件应用程序提供的互动水平不断提高。电视互动为服务提供商带来直接从消费者获得关于电视上做广告的产品或者服务的即时且定量的反馈的机会。互动应用程序可被设计为控制电视广告与观众之间的互动。互动可以促销产品，指示消费者的喜好，和为消费者提供信息，同时最小化对节目观看体验的干扰。
通过在例如视频点播(VoD)上覆盖图像来与观众互动，是通常可用的技术。而且，电视广播中的超链接已被Dakss等(美国专利第7,367,042号，通过引用整体被合并于此)和其他人公开。例如，Dakss等提出预处理视频内容，并将图像划分为预定义的区域(产品)。这些区域当出现在视频上时，被高亮显示以指示给观众互动的机会。此时，观众可以按下控制按钮以激活与高亮显示区域相关的注释，结果，带有产品相关信息的图像将覆盖在屏幕上。接着，观众可以选择购买或者请求更多信息。然而，该电视互动的方法直接依赖于原始视频内容，其中，当原始视频生成时，感兴趣的目标出现在场景中的给定位置。
发明概述
根据本发明实施例的方法允许与虚拟地位于节目场景中一个或者更多物理位置的三维(3D)目标的直接互动。虚拟目标从原始视频中单独地生成，并且不出现在原始视频中。该互动由在接收器上运行并且通过一个或者更多输入设备与观众或者观众们交流的互动软件应用程序控制。虚拟目标可被连接至通过预定义结构彼此相关的其他虚拟目标。该结构可以提供可被改进为相关产品和/或服务的更加详细或者具体的说明的顶层说明。这些目标通过使用已知的视频插入技术被插入电视节目中。通过插入，观众可以选择与目标互动。观众采取的该动作和执行的互动水平可以被服务提供商追踪以进一步分析。
最初，虚拟目标以原始产品的组成部分出现，并且不干扰一般观众的节目体验。观众可以通过使用例如配备有类似鼠标功能(例如，轨迹球或者陀螺鼠标)的遥控器或者与视频交流的其他可用装置，开始与虚拟目标的互动。该互动是直接且直观的。感兴趣的观众可以通过基于观众兴趣的目标结构定位。例如，观众可以将目标拖至场景中更可取的新实际插入点。然后，通过使用鼠标旋转运动，观众可以将3D目标旋转至不同方向并且放大。目标的每个方向，如果被观众选择，可以激活预定义结构中的新链接目标。该范例允许浏览预定义结构中的链接目标，以增加的细节水平观察目标，并且可能导致购买或者信息咨询。
观众与所提出的超链接3D目标的互动，带来为将在艺术上对于观众比传统覆盖图像更吸引人和有趣的产品设计更丰富的广告计划的机会。尽管在这里描述的是电视广告，超链接3D目标可以用作传达任何种类的信息给电视观众的互动装置。
本发明的进一步实施例、特点和优点，以及本发明各种实施例的结构和操作，在下面参照附图详细描述。
附图简要说明
合并于此并形成说明书一部分的附图，示出本发明，并且与说明书一起，进一步用于解释本发明的原理和使本领域技术人员能够制造和使用本发明。
图1是根据本发明实施例的互动电视系统。
图2是根据本发明实施例的视频插入系统。
图3是根据本发明实施例的，观众与循环结构中相连的3D虚拟目标互动的例子。
图4是根据本发明实施例的，观众与树结构中相连的3D虚拟目标互动的例子。
图5是根据本发明实施例的接收器。
图6是根据本发明实施例的，观众与被插入视频广播的3D虚拟目标互动的方法的流程图。
图7是可以用于本发明实施例的示例性计算设备的方块图。
本发明将参照附图进行描述。
详细说明
虽然讨论的是具体的结构和布置，但应当理解，这仅仅用于示例性的目的。本领域技术人员将认识到，可以使用其他结构和布置而不脱离本发明的精神和范围。对于本领域技术人员显而易见的是，本发明还可用于各种其他应用。
注意，说明书中提到的“一个实施例”、“一实施例”、“一示例性实施例”等等，指出所描述的实施例可以包括一具体的特点、结构或者特征，但是每个实施例可以不必包括该具体的特点、结构或者特征。而且，这些用语不必指同一实施例。此外，当一具体的特点、结构或者特征被与一实施例相关地描述时，无论是否被清晰地描述都使这一特点、结构或者特征与其他实施例关联，将落入本领域技术人员的知识范围内。
已用于将图像插入运动赛事广播(例如，足球比赛中的首攻线和赞助商的徽标)的增强现实技术，对使电视活动更加灵活和与内容无关是有帮助的。在增强现实中，目标被渲染入视频以便它们被感知为场景的一部分。使用视频插入技术，可以导致更少干扰节目体验、更加有趣和艺术上更吸引人，从而对于广告客户更有效的互动。
例如，根据本发明的实施例，用户可以以不干扰原始广播的方式与加至视频广播的场景中的物理位置的3D虚拟目标互动。最初，目标看起来是原始视频场景的组成部分，并且不干扰一般观众的节目体验。然而，因为目标并不在原始广播中，用户可以将目标移动至用户喜好的位置，也可以以各种方式操作目标。观众可以通过使用输入设备开始与目标的互动。感兴趣的观众可以通过基于观众兴趣的目标结构定位。例如，观众可以将目标拖至场景中的新实际插入点。用户可以将3D目标旋转至不同方向并且放大目标。目标的每个方向，如果被观众选择，可以激活预定义结构中的新链接目标。例如，光中可以浏览预定义结构中的链接目标或者以增加的细节水平观察目标。
示例性系统
图1示出了示例性的互动视频广播系统。该互动视频广播系统包括传输系统10、前端系统22、服务提供商24和接收系统26。传输系统10、前端系统22、服务提供商24和接收系统26通过电视广播媒体或者网络34通信。网络34可以是，例如但不限于，有线、卫星或者地面设施。尽管在此互动视频广播系统将在实施例中被描述为与电视(例如，广播、有线、卫星、光纤)有关，本领域技术人员也将认识到，各实施例还可应用于其他媒体，例如，因特网和移动设备(例如，手机)，而不脱离本发明的精神和范围。
传输系统10包括视频源12、视频编码器14、视频分析器16、数据包流生成器18和多路复用器20。视频源12发出视频输出，典型地，来自内容提供商的视频输出。视频源12可以是任何类型的视频服务提供商。例如，视频源12可以是有线电视服务提供商、传统的广播服务提供商、网络电视(IPTV)服务提供商、互动虚拟演播室服务提供商或者手机视频服务提供商。视频输出可以是广播视频或者其他类型的视频。它可以是现场直播节目，例如运动赛事的一部分，或者，它可以在服务器或者本地记录设备例如数字视频记录器(例如，从TiVo公司可得的TIVO记录设备)上预先录制为视频文件。视频输出可以包括由相机、计算机软件、图像生成器或者其他已知方法生成的视频。
由视频源12生成的视频输出由视频编码器14使用标准CODEC例如MPEG2编码，生成传输流。来自视频源12的视频输出还被输入视频分析器16，其中生成插入相关的元数据。该元数据可包括数据，例如，相机型号或者感兴趣位置点数据，等等。关于插入相关元数据生成的进一步细节，由美国专利申请号12/424,056和美国专利申请号12/541,037提供，其中，每个均通过引用整体被合并于此。视频分析器16将参照图2进行详细描述。数据包流生成器18将元数据编码为恒定数据传输率流，其接着由多路复用器20将其与编码视频一起组合。多路复用器的输出，增强传输流，通过TV广播媒体或者网络34被传输至图1实施例中的广播服务提供商的前端22。广播服务提供商的前端22接收增强传输流以及来自各种内容提供商(频道)的传输流。然后它通过网络34重新分配这些广播频道给消费者的接收系统26。
消费者的接收系统26包括接收器28、显示器30和一个或者更多输入设备32。接收器28可以是，例如但不限于，机顶盒、手机、计算设备或者游戏机。显示器30可以是，例如，电视、计算机显示器、投影仪、LCD屏幕、便携式观看设备、手机或者本领域技术人员已知的别的显示设备。输入设备32可以是标准遥控器、陀螺鼠标或者任何定位设备。
在消费者的接收系统26，选择的广播频道在接收器28被解码为它的组件。图5是示例性接收器28的图示。示例性接收器28包括解码器36、渲染器37和用户输入处理模块38。输入视频流被缓冲，同时元数据由解码器36中接收器的互动软件应用程序处理。基于元数据中存储的信息，虚拟目标的原始渲染由渲染器37执行，并且烧入视频帧。关于生成和使用元数据以将虚拟目标插入视频流的进一步描述，由美国专利申请号12/424,056和美国专利申请号12/541,037提供，其中，每个均通过引用整体被合并于此。虚拟目标被渲染进的视频帧在这里被称为增强视频帧。然后，增强视频帧被传送至显示器30。
观众可以选择与感兴趣的虚拟目标互动。经由输入设备32(图1)执行的互动，被用户输入处理模块38接收，并且通过使用渲染器37由互动应用程序响应。这些响应可以包括选择的虚拟目标的新方面的渲染，例如，改变选择的虚拟目标的外观，这将参照图3和4在下面进行详细解释。观众互动操作还可以在服务提供商24的反向信道中被报告以便分析。
如图2所示，视频分析器16包括视频追踪器42、背景探测器44和3D目标模型生成器46。视频分析器16生成对应于每个视频帧的元数据作为数据包流18。这些元数据包括接收器中由渲染器请求以将3D目标虚拟插入视频帧的信息。该元数据还可以包括关于3D目标的原始出现状态的信息，例如，方向、尺寸，等等。
在这种视频的虚拟增强中，目标的图像投影被渲染进视频，好像目标就位于场景中的某物理位置。为了执行虚拟插入，要求相机参数和每个视频帧的场景背景。视频追踪器42识别每个视频帧中插入点的物理位置。本领域已知的用于视频追踪和目标追踪的方法，可被用于估算相机参数，和例如通过相关连续帧分别追踪移动目标。关于视频追踪和目标追踪的进一步细节，由美国专利号5,808,695、美国专利申请号12/424,056和美国专利申请号12/403,857提供，其中，每个均通过引用整体被合并于此。
背景探测器44将视频帧的前景区域从视频帧的背景区域分离。用于分离视频帧中前景和背景区域的方法在本领域也是已知的。场景背景可以由用于处理遮挡的二进制掩膜表示。可选地，可以提供深度图以表示处于各种深度的单个像素和像素集合。这可以使渲染的虚拟目标出现在场景中的背景和特定目标之前，同时位于视频场景中出现的其他目标之后。此外，观众可以控制与场景中虚拟目标互动期间目标渲染的深度。
3D目标生成器46是用于设计目标的三维模型和通过其这些目标概念性地彼此相连的结构的工具。近来可缩放表面建模(例如，通过使用球面小波)的进展，允许3D目标的有效表示和渲染，其中，目标可从不同方向和以不同精度水平观看。因此，目标的3D模型和它们与相机参数和背景掩膜组合的结构，部分地组成数据包流18中传送的元数据。
由3D目标模型生成器46生成的3D目标，可以通过处于稍微不同3D观看角度的一系列静止图像来表示。例如，原始实际目标可以放置在旋转平台上，并且该系列图像可以随着平台旋转通过相机从不同观看角度获取。目标的3D观看效果，可以通过允许观众单步跨越各旋转目标视图实现。如图1所示，多个图像视图可以从前端系统22传送至接收器28，并且根据输入设备32的用户命令显示。可选地，目标的真3D模型可以从多个视图生成，并且真3D渲染可以在观看平台上实现。这使得在处理用于按需渲染的资源的代价下，能够对观看目标进行更大的控制。
转回图1，与被插入电视节目场景的3D目标互动可以是直接的，通过使用一个或者更多输入设备32。示例性输入设备包括，例如但不限于，遥控器、鼠标、键盘、游戏机、触摸屏设备、手机、运动传感设备例如陀螺鼠标、可从日本京都的Nintendo有限公司获得的WII控制器、和本领域技术人员已知的其他设备。近来陀螺鼠标技术领域的进展，允许观众坐着舒服的长沙发，直接并且以像素级别的精度在屏幕上点击目标并且操作它。
光标是用于在与图像桌面计算机环境中的目标互动时给用户提供反馈的常用方法。当与具有动态背景的视频场景中的虚拟目标互动时，可以使用光标，如美国专利号7,139,034所详述，其通过引用整体被合并于此。用户反馈机制还可以是图像目标，例如“虚拟手”，其可以用于与场景中的目标互动。光标可以根据哪个控制器32有效而变化，例如，“他的”和“她的”手。在另一实施例中，完全的动画图可以用于与环境互动，随着沿着场景移动从一个位置走到另一位置。在进一步的实施例中，动画图可以彼此互动，例如，由加利福尼亚州红木城的Electronic Arts公司出品的“模拟城市”游戏应用程序中完成的交易虚拟货币。可选地，远距离的两个观众可以与相同的视频场景互动，并且互动可以在两个观看位置都看到。这可以伴随着两个观看位置之间的音频连接。以这种方式，两个观众能够从两个远离的位置在相同场景内体验共同互动。
图3和4示出根据本发明实施例的，观看超链接3D虚拟目标已被加入的视频时示例性的观众互动。最初，虚拟目标以原始产品的组成部分出现，并且不干扰一般观众的节目体验。在每个例子中，观众对3D虚拟目标的操作模仿虚拟现实，好像观众出现在场景本身中。如此，用户执行的操作并不干扰原始节目，即使观众中的一个正在与目标互动，也允许相同位置的其他观众享受原始节目。
图3示出在观看家居装饰节目时的示例性观众互动。第一工具(目标)62在实际场景位置60被插入。感兴趣的观众可以将该工具拖至不同的插入位置，可以旋转它以从不同方向观看，和放大以获得对它某部分更好的观看。观众对该工具的所有这些处理，模仿虚拟现实，好像观众出现在情景喜剧场景本身中。
如图3的下面所示，元数据可以包括多于一个的工具(目标)。在那种情况下，超链接工具62-70的集合被循环连接，以便观众可以浏览这些工具，并且每次可以与另一工具互动。注意，所有这些互动可以在观看节目时同时发生，并且可以由多于一个观众完成。可选地，观众可以在调查目标时选择暂停节目(例如，通过使用数字记录设备(DVR))。在这种情况下，音频元素也可以被加入互动。这具有简化支撑目标互动需要的信息的另外优点，因为与目标互动关联的亮点的屏幕位置在视频被定格时并不需要更新。在该方案中，可能不需要传送场景基础的追踪信息；数据可以被推导出用于视频中定期的中断点，并且DVR可以在数据可用的最接近关键帧处中断。
已检验目标的显示可以伴随关于目标的音频描述或者讨论。音轨可以包括与目标本身关联的非语言声音效果，例如，将钻孔机的声音与钻孔机的动画相关。声音效果可以以立体或者环绕声实现，以在与目标互动时增强用户的兴趣和乐趣。在一个实施例中，音频描述和关联声音可以作为当前音轨“上的声音”来实现。在另一实施例中，原始音频和视频在目标检验期间被定格。
在一实施例中，音频可以与虚拟目标的动画显示同步。例如，观众能够选择情景喜剧中的人物，并且该演员的“头部特写”可以出现以描述关于该人物或者该具体情节的信息。互动追踪可以作为给观众的服务被提供，非常类似于在观看电影DVD时可选地打开轨道“上的导演声音”的方式。在另一实施例中，“头部特写”可以提供关于场景中产品的信息，或者可以提供关于如何在场景中定位的用户信息。在进一步的实施例中，3D动画目标序列可以随着用户界面的小键盘响应而变化。例如，动画显示可以问观众问题，并且给予用户输入给出随后的响应。该应用程序可能适用于儿童节目，例如，其中，幼儿园学生可以与一个或者更多动画目标互动，例如，视频场景中的卡通人物。
图4示出与树结构中布置的3D虚拟目标的互动。推荐书籍的集合82被插入圆桌式书评节目。感兴趣的观众可以与每本书籍独立地互动(拖、旋转和放大)。一旦对某本书籍感兴趣，观众可以通过将虚拟目标作为超链接使用，选择观看同一作者84的推荐或者最新出版书籍的集合。类似地，对某本书籍的进一步兴趣可以显示书籍的前后页86。在树结构的不同级别上显示的项目，以不会干扰原始节目的方式被描述。
近来LCD技术的进展会允许显示文本的可读性和易读性，其可相比于市场上已可得的电子纸。因此，3D目标可以插入文本，例如，书籍的目录表或者序言。
3D目标还可以变形为另一3D目标，以显示，例如，目标的内部。例如，观众可以从不同视角检验图3中3D工具中的一个，然后点击引起3D工具目标变形的超链接，以显示它的横截面图像或者内部组件。在另一例子中，观众可以检验3D书籍目标，然后点击引起3D书籍目标变形为显示更多信息(例如，目录表)的打开的3D书籍目标的超链接。
3D目标还可被超链接为以便允许用户购买感兴趣的目标或者3D目标相关的项目。在一实施例中，选择目标可以开始购物交易。在另一实施例中，选择3D目标可以将用户关联至从其可购买目标的零售商(例如，通过显示零售商网站)。
通过与3D目标的互动使能的超链接可随着目标互动的类型而改变或者变化。例如，3D目标的简单选择可以将观众带至有目标的高级别描述的页，和可能类似的产品。可选地，以详细的3D旋转检验目标的观众可能被带至产品的详细描述或者说明。超链接触发还可被互动的过往历史，或者可能被从人口统计信息建立的文件影响。
伴随视频的元数据包括原始/默认插入点。如之前所述，观众可以随着他或者她与插入目标的互动而改变这些原始/默认插入点。插入点可以是场景(来自背景)中的实际静态位置或者场景(来自前景)中的实际动态位置。例如，插入点可被定义在移动车辆的顶部处。在接收器中，例如，目标可被渲染，好像它们实际就位于它们当前观众选择的插入点或者它附带的原始/默认插入点处。可选地，目标位置可以被关联至现实世界插入点，或者如观众互动所指示，可以被关联至图像空间中的点。
如果相机正在摇摄场景，并且插入目标正在移出视野，插入目标可以被重新置于或者重新插入场景中。在一实施例中，如果目标被插入正在移出视野的场景的背景中，目标可以被重新置于新场景中不同的背景位置。在另一实施例中，如果观众正在与目标互动，目标可以被移动至前景，以便相机对场景的摇摄不会影响目标的位置。在另外的实施例中，视频在观看目标期间可以被定格，以允许场景内的完全互动而无需担心目标移出视频帧的视野。
如果目标被插入可能被重新处理的视频流，例如在DVR倒带或者因特网上的视频被重新装载时，插入的虚拟目标可以出现在与它之前出现位置相同或者不同的位置，或者插入的虚拟目标可以与之前插入的虚拟目标不同。
在一实施例中，多个视频频道由视频编码器14编码为一比特流，视频分析器16相对于每个频道生成元数据，并且数据包流生成器18将元数据编码为之后与编码的多频道视频一起被多路复用器20组合的数据流。在接收器28中，解码器36(图5)解码第一视频频道。然后，观众被呈现被插入该当前显示视频频道的多个虚拟3D目标。基于观众与选择的目标互动的决定，用户输入处理模块38命令解码器36切换至具有反映观众兴趣的内容的第二视频频道。这样，观众在与某些目标互动时，可以通过他或者她做出的选择控制节目进程。
类似地，观众可控的内容可以通过记录的单频道视频实现。例如，预先记录的节目可能由介绍片段及其后的几个详细说明片段组成。在介绍片段期间，观众被呈现多个虚拟目标。在观众选择不互动的情况下，节目继续被播放。否则，基于观众通过互动展示的兴趣，节目可以跳跃至随后的详细说明片段中的一个的进程。
虚拟目标在视频流中的位置可以根据观众简介而变化。例如，提供用于场景中互动的汽车类型可以根据家庭的预期平均收入而变化。此外，互动目标的重要性可以根据可能的人口统计和电视观众的兴趣而变化。
观众与所提出的超链接3D虚拟目标的互动，带来为将在艺术上对于观众比传统覆盖图像更吸引人和有趣的产品设计更丰富的广告计划的机会。尽管在这里描述的是广告，超链接3D虚拟目标可以用作传达任何种类的信息给观众的互动装置。
示例性方法
图6是根据本发明实施例的，用于允许与增强视频流中目标互动的方法600的流程图。
当增强视频流在用户设备处被接收时，方法600开始于步骤602。如上所述，在一实施例中，增强视频流接收自广播服务提供商的前端系统。在一实施例中，增强视频流包括原始视频流和对应于视频流中每帧的元数据。原始视频流和元数据可以通过使用，例如，解码器36(图5)来解码。
在方法600的步骤604中，增强视频流显示在用户显示器上，例如，接收系统26(图1)的显示器30。增强视频流包括被插入视频场景的给定物理位置的3D虚拟目标，并且可以通过接收器中的渲染器，例如，渲染器37(图5)，传送至用户显示器。在一例子中，视觉元素可以是3D目标，并且渲染器37可以将3D目标渲染为出现在视频内。这可以通过使用3D建模技术来实现，包括，例如但不限于，纹理加载、虚拟相机建模和诸如游戏应用程序中广泛使用的到视区的渲染。
在步骤606，与虚拟目标互动的请求被从观众接收。观众可以通过使用用户输入设备，例如，输入设备32(图1)，开始该请求。该请求可以包括，其中诸如，将目标移动至视频场景中的不同位置，改变目标的空间取向，对目标进行放大，和观看通过预定义结构关联的另外的目标。
在步骤608，虚拟目标的外观被基于与虚拟目标关联的元数据和来自观众的互动请求改变。在一实施例中，改变给定目标的外观包括，显示超链接至给定虚拟目标的一个或者更多3D虚拟目标。这些另外的虚拟目标可以循环显示，取决于从观众接收的命令。在一实施例中，改变目标的外观包括，显示虚拟目标的内部(例如，目标的横截面、截面或者内部层/组件)，或者改变虚拟目标的空间取向。在一实施例中，改变目标的外观包括，根据分层树结构显示另外的相关目标。在这一实施例中，分层树结构的每一级别，关于虚拟目标可以提供比之前级别更多的细节。虚拟目标外观的这些改变可以通过，例如，渲染器37(图5)实现。
示例性计算设备
尽管本发明已在各实施例中被描述为与电视(例如，广播、有线、卫星、光纤)有关，但各实施例还可应用于其他媒体，例如，因特网和移动设备(例如，手机)。图7是示出可以用于本发明各实施例的示例性计算设备的方块图。计算设备700包括一个或者更多处理器，例如，处理器704。处理器704被连接至通信设施706(例如，通信总线、交叉开关或者网络)。各种软件实施例用该示例性计算设备来描述。在阅读该说明书之后，如何使用其他计算设备和/或结构来实现本发明，对于本领域技术人员将变得显而易见。
计算设备700可包括转发来自通信设施706(或者来自未示出的帧缓冲器)的图像、文本和其他数据以用于在显示器单元730上显示的显示器接口702。
计算设备700还包括主存储器708，优选随机存储器(RAM)，并且还可以包括，例如，硬盘驱动器712和/或代表软盘驱动器、磁带驱动器、光盘驱动器等等的可移动存储驱动器714。可移动存储驱动器714以众所周知的方式从可移动存储单元718读取和/或写入可移动存储单元718。可移动存储单元718代表软盘、磁带、光盘等等，其被可移动存储驱动器714读取和写入。将理解的是，可移动存储单元718包括其中已存储有计算机软件和/或数据的计算机可用存储媒体。
在可选的实施例中，次存储器710可以包括用于允许计算机程序或者其他命令被装载入计算设备700的其他类似设备。这些设备可以包括，例如，可移动存储单元722和接口720。这种例子可以包括程序盒和盒接口(例如那些在视频游戏设备中发现的)、可移动存储芯片(例如可擦除可编程只读存储器(EPROM)或者可编程只读存储器(PROM))及相关插座、和允许软件和数据从可移动存储单元722传送至计算设备700的其他可移动存储单元722和接口720。
计算设备700还可以包括通信接口724。通信接口724允许软件和数据在计算设备700与外部设备之间传送。通信接口724的例子可以包括调制解调器、网络接口(例如，以太网卡)、通信端口、个人计算机存储卡国际协会(PCMCIA)插槽和卡，等等。经由通信接口724传送的软件和数据是以信号728的形式，其可以是能够被通信接口724接收的电子的、电磁的、光学的或者其他信号。这些信号728经由通信路径(例如，频道)726被提供至通信接口724。该频道726携带信号728，并且可以通过使用电线或者电缆、光纤、电话线、蜂窝链路、射频(RF)链路和其他通信频道。
在该文件中，术语“计算机程序媒体”和“计算机可用媒体”通常用于指媒体，例如，可移动存储驱动器714、安装在硬盘驱动器712中的硬盘和信号728。这些计算机程序产品为计算设备700提供软件。本发明指向于这种计算机程序产品。
计算机程序(也称为计算机控制逻辑)存储在主存储器708和/或次存储器710中。计算机程序还可以经由通信接口724接收。这种计算机程序，当执行时，使计算设备700能够执行这里讨论的本发明的特点。尤其，该计算机程序，当执行时，使处理器704能够执行本发明的特点。因此，这种计算机程序代表计算设备700的控制器。
在本发明通过使用软件执行的一实施例中，该软件可以被存储在计算机程序产品中，并且通过使用可移动存储驱动器714、硬盘驱动器712或者通信接口724被装载入计算设备700。该控制逻辑(软件)，当被处理器704执行时，使处理器704执行这里描述的本发明的功能。
在另一实施例中，本发明主要在硬件中执行，通过使用，例如，诸如特定用途集成电路(ASICs)的硬件组件。为了执行这里描述的功能的硬件态机器的实现，将对于本领域技术人员显而易见。
本发明已如上在示出特定功能及其关系的实现的功能构件模块的帮助下被描述。这些功能构件模块的边界在这里被随机定义，用于方便描述。只要特定的功能及其关系被适当执行，可以定义可选的边界。
特定实施例的前述说明，将如此充分地显示本发明的一般性质以便其他人可以通过应用本领域内的知识，容易地修改和/或调整这种特定实施例适于各种应用，而无需过度实验，也不会脱离本发明的一般概念。因此，基于这里示出的教导和引导，这种调整和修改预期在公开的各实施例等同物的含义和范围内。应当理解，这里的用语和术语是用于描述的目的而非限制，以便本说明书的术语或者用语根据这些教导和引导被本领域技术人员解释。
本发明的广度和范围不应当被任何上述示例性实施例限制，而应当仅仅根据随后的权利要求和他们的等同物来定义。

Claims (40)

1.一种用于与增强视频流中的虚拟目标互动的方法，包括：
显示具有被插入视频场景的给定物理位置的三维虚拟目标的增强视频流；
从观众接收与所述虚拟目标互动的请求；
基于与所述虚拟目标关联的元数据和所述来自观众的互动请求，改变所述给定物理位置处的虚拟目标的外观。
2.如权利要求1所述的方法，其中，改变所述虚拟目标的外观包括：显示彼此超链接的多个三维虚拟目标。
3.如权利要求2所述的方法，其中，所述多个虚拟目标中的目标根据预定义的结构被链接和显示。
4.如权利要求3所述的方法，其中，在接收到所述观众的指令时，所述多个虚拟目标中的每个目标被循环显示。
5.如权利要求3所述的方法，其中，所述多个虚拟目标中的目标根据分层树结构被显示，其中，所述分层树结构的每个级别关于所述虚拟目标提供比之前级别更多的细节。
6.如权利要求2所述的方法，其中，所述超链接根据所述观众的互动历史和所述观众的人口统计信息中的至少一个而变化。
7.如权利要求1所述的方法，其中，改变所述虚拟目标的外观包括：将所述视频场景中的所述虚拟目标的位置从所述给定物理位置移动至由所述观众选择的所述视频场景中的其他物理位置。
8.如权利要求7所述的方法，其中，所述其他物理位置是所述视频场景的背景中的静态位置。
9.如权利要求7所述的方法，其中，所述其他物理位置是所述视频场景的前景中的动态位置。
10.如权利要求1所述的方法，其中，改变所述虚拟目标的外观包括：显示所述虚拟目标的内部。
11.如权利要求1所述的方法，其中，改变所述虚拟目标的外观包括：改变所述虚拟目标的空间取向。
12.如权利要求1所述的方法，其中，所述虚拟目标是动画目标。
13.如权利要求12所述的方法，其中，改变所述虚拟目标的外观包括：改变所述目标的动画序列。
14.如权利要求1所述的方法，其中，接收与所述虚拟目标互动的请求包括：接收由拖、点击或者旋转运动中的至少一个在屏幕上对所述虚拟目标的直接操作生成的请求。
15.如权利要求1所述的方法，其中，接收与所述虚拟目标互动的请求包括：接收当遥控器上可用的控制按钮被激活时生成的信息。
16.如权利要求1所述的方法，其中，接收与所述虚拟目标互动的请求包括：接收暂停所述视频的请求。
17.如权利要求1所述的方法，其中，接收与所述虚拟目标互动的请求包括：接收激活与所选择的虚拟目标相关的音轨的请求。
18.如权利要求17所述的方法，进一步包括：以立体声或者环绕声中的至少一个播放所述音轨。
19.一种用于使能够与增强视频流中的目标互动的系统，包括：
解码器，配置为接收视频流和与所述视频流中帧关联的元数据；
渲染器，配置为在视频场景的给定物理位置处将三维虚拟目标插入所述视频流的帧中，并且，基于所述元数据和来自观众的与所述虚拟目标互动的请求，改变所述给定位置处的所述虚拟目标的外观；以及
用户输入处理设备，配置为接收来自所述观众的与所述虚拟目标互动的所述请求。
20.如权利要求19所述的系统，其中，所述渲染器进一步配置为，通过将多个虚拟三维目标超链接至所述虚拟目标，改变所述虚拟目标的所述外观。
21.如权利要求20所述的系统，其中，所述渲染器进一步配置为，在接收到来自所述观众的指令时，根据预定义的结构将所述多个虚拟目标中的每个目标插入。
22.如权利要求21所述的系统，其中，所述渲染器进一步配置为，在接收到来自所述观众的指令时，以循环顺序将所述多个虚拟目标中的每个目标插入。
23.如权利要求21所述的系统，其中，所述渲染器进一步配置为，根据分层树结构将所述多个虚拟目标中的每个目标插入，其中，所述分层树结构的每个级别关于所述虚拟目标提供比之前级别更多的细节。
24.如权利要求19所述的系统，其中，所述渲染器进一步配置为，通过将所述视频场景中的所述虚拟目标插入到与所述给定物理位置不同的所述视频场景中的其他位置处，改变所述虚拟目标的外观。
25.如权利要求24所述的系统，其中，所述其他位置是所述视频场景的背景中的静态位置。
26.如权利要求24所述的系统，其中，所述其他位置是所述视频场景的前景中的动态位置。
27.如权利要求19所述的系统，其中，所述渲染器进一步配置为，通过显示所述虚拟目标的内部，改变所述虚拟目标的外观。
28.如权利要求19所述的系统，其中，所述渲染器进一步配置为，通过改变所述虚拟目标的空间取向，改变所述虚拟目标的外观。
29.如权利要求19所述的系统，其中，所述渲染器进一步配置为，将所述三维虚拟目标作为动画目标插入。
30.如权利要求19所述的系统，其中，所述用户输入处理模块进一步配置为暂停所述视频。
31.如权利要求19所述的系统，其中，所述用户输入处理模块进一步配置为，激活与所选择的虚拟目标相关的音轨。
32.一种用于使能够与增强视频流中的目标互动的系统，包括：
视频追踪器，配置为识别三维目标被虚拟插入视频帧的物理位置；
背景探测器，配置为将所述视频帧的前景区域从所述视频帧的背景区域分离；
三维目标生成器，配置为生成各目标的三维模型和通过其所述各目标被概念性地彼此关联的结构。
33.如权利要求32所述的系统，进一步包括：
数据流生成器，配置为将所述视频追踪器、所述背景探测器和所述三维目标生成器的各输出组合为元数据。
34.如权利要求32所述的系统，其中，由所述三维目标生成器设计的所述结构是其中每个目标是之前目标的更加详细的版本的树结构。
35.如权利要求32所述的系统，其中，由所述三维目标生成器设计的所述结构是其中每个目标具有相似类型的循环结构。
36.如权利要求32所述的系统，其中，目标的所述三维模型中的至少一个是所述目标的内部模型。
37.一种用于与增强视频流中的虚拟目标互动的方法，包括：
显示具有被插入视频场景的多个三维虚拟目标的增强视频流；
从观众接收与所述多个虚拟目标中的特定虚拟目标互动的请求；以及
基于与所述特定虚拟目标互动的所述请求，改变所显示的视频流。
38.如权利要求37所述的方法，其中，改变所显示的视频流包括，显示具有与所述特定虚拟目标相关内容的另一视频流。
39.如权利要求38所述的方法，其中，所述增强视频流在第一频道被接收，而所述另一视频流在第二频道被接收。
40.如权利要求37所述的方法，其中，所述增强视频流包括介绍片段和多个详细说明片段，所述多个三维虚拟目标在所述介绍片段期间被插入，并且其中，改变所显示的视频流包括：基于所述互动请求，显示所述多个详细说明片段中的至少一个详细说明片段。
CN201080046348.4A 2009-09-16 2010-08-25 用于互动电视的超链接3d视频插件 Active CN102576247B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/561,105 US8436891B2 (en) 2009-09-16 2009-09-16 Hyperlinked 3D video inserts for interactive television
US12/561,105 2009-09-16
PCT/US2010/046630 WO2011034697A1 (en) 2009-09-16 2010-08-25 Hyperlinked 3d video inserts for interactive television

Publications (2)

Publication Number Publication Date
CN102576247A true CN102576247A (zh) 2012-07-11
CN102576247B CN102576247B (zh) 2016-05-04

Family

ID=43730143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080046348.4A Active CN102576247B (zh) 2009-09-16 2010-08-25 用于互动电视的超链接3d视频插件

Country Status (5)

Country Link
US (1) US8436891B2 (zh)
EP (1) EP2478426A4 (zh)
JP (1) JP6049456B2 (zh)
CN (1) CN102576247B (zh)
WO (1) WO2011034697A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584079A (zh) * 2012-09-11 2015-04-29 高通股份有限公司 用于增强现实应用程序的装置和方法
CN105659191A (zh) * 2014-06-17 2016-06-08 深圳凌手科技有限公司 用于提供图形用户界面的系统和方法
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN107995533A (zh) * 2012-12-08 2018-05-04 周成 视频中弹出跟踪对象的视频的方法
CN108184136A (zh) * 2018-01-16 2018-06-19 北京三体云联科技有限公司 一种视频合流方法及装置
US10203765B2 (en) 2013-04-12 2019-02-12 Usens, Inc. Interactive input system and method

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277157B2 (en) * 2004-09-01 2016-03-01 Gravidi, Inc. Interactive marketing system
US8436891B2 (en) * 2009-09-16 2013-05-07 Disney Enterprises, Inc. Hyperlinked 3D video inserts for interactive television
US8395651B2 (en) * 2009-10-09 2013-03-12 Cisco Technology, Inc. System and method for providing a token in a video environment
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
US9838744B2 (en) 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
US9172943B2 (en) 2010-12-07 2015-10-27 At&T Intellectual Property I, L.P. Dynamic modification of video content at a set-top box device
EP2681638A4 (en) * 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
DE102011015136A1 (de) * 2011-03-25 2012-09-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Bestimmen einer Darstellung digitaler Objekte in einem dreidimensionalen Darstellungsraum
JP5766077B2 (ja) * 2011-09-14 2015-08-19 キヤノン株式会社 ノイズ低減のための画像処理装置及び画像処理方法
US9626798B2 (en) 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US9310882B2 (en) * 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
KR101769353B1 (ko) * 2012-03-22 2017-08-18 한국전자통신연구원 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
CN102722912B (zh) * 2012-05-25 2015-11-25 任伟峰 一种三维虚拟现实场景中物体按层级加卸载的方法和装置
US9854328B2 (en) * 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
WO2014105074A1 (en) * 2012-12-30 2014-07-03 Thomson Licensing Method and apparatus for using contextual content augmentation to provide information on recent events in a media program
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US20150277700A1 (en) * 2013-04-12 2015-10-01 Usens, Inc. System and method for providing graphical user interface
US9438947B2 (en) 2013-05-01 2016-09-06 Google Inc. Content annotation tool
CA2860738C (en) * 2013-08-27 2023-03-21 Matthews Resources, Inc. Systems, methods, and computer-readable media for generating a memorial product
WO2015105804A1 (en) * 2014-01-07 2015-07-16 Hypershow Ltd. System and method for generating and using spatial and temporal metadata
WO2016021861A1 (en) 2014-08-02 2016-02-11 Samsung Electronics Co., Ltd. Electronic device and user interaction method thereof
CN104123009A (zh) * 2014-08-15 2014-10-29 重庆巨蟹数码影像有限公司 一种利用手持通信设备触屏对虚拟现实展示端的控制系统
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
US9864734B2 (en) * 2015-08-12 2018-01-09 International Business Machines Corporation Clickable links within live collaborative web meetings
US10388046B1 (en) * 2015-08-13 2019-08-20 PRESENTIGO, s.r.o. System and method for displaying presentations including three-dimensional objects
US10720184B2 (en) * 2016-03-16 2020-07-21 Intel Corporation Selective recording of augmented reality objects
US11681748B2 (en) * 2016-04-06 2023-06-20 Worldwide Live Holding, Llc Video streaming with feedback using mobile device
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US10586377B2 (en) * 2017-05-31 2020-03-10 Verizon Patent And Licensing Inc. Methods and systems for generating virtual reality data that accounts for level of detail
US10311630B2 (en) 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10347037B2 (en) * 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
EP3489955A1 (en) * 2017-11-24 2019-05-29 Thomson Licensing Method and apparatus for interactive videos
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
WO2019239396A1 (en) 2018-06-12 2019-12-19 Kliots Shapira Ela Method and system for automatic real-time frame segmentation of high resolution video streams into constituent features and modifications of features in each frame to simultaneously create multiple different linear views from same video source
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
WO2020049434A1 (en) * 2018-09-03 2020-03-12 Playdeo Limited Interactive frame-synchronized augmented video
CN110493628A (zh) * 2019-08-29 2019-11-22 广州创幻数码科技有限公司 一种多角色同一虚拟场景互动的主播系统及实现方法
US11995749B2 (en) * 2020-01-23 2024-05-28 Disney Enterprises, Inc. Rig-space neural rendering of digital assets
CN111314759B (zh) * 2020-03-02 2021-08-10 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
CN111586319B (zh) * 2020-05-27 2024-04-09 北京百度网讯科技有限公司 视频的处理方法和装置
US20220176251A1 (en) * 2020-12-09 2022-06-09 Activision Publishing, Inc. Methods and Systems for Dynamically Selecting and Modifying Digital Assets Within Game Elements of a Multiplayer Video Game

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452923B1 (en) * 1998-12-31 2002-09-17 At&T Corp Cable connected wan interconnectivity services for corporate telecommuters
US20070003223A1 (en) * 2005-04-11 2007-01-04 Phatcat Media, Inc. User initiated access to secondary content from primary video/audio content
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
CN201146576Y (zh) * 2007-12-25 2008-11-05 北京恒通视讯科技发展有限公司 基于数字电视ts流的信息资讯平台设备
CN101465957A (zh) * 2008-12-30 2009-06-24 应旭峰 一种虚拟三维场景中实现遥控互动的系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE181631T1 (de) * 1991-07-19 1999-07-15 Princeton Video Image Inc Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
US7721307B2 (en) 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US5808695A (en) 1995-06-16 1998-09-15 Princeton Video Image, Inc. Method of tracking scene motion for live video insertion systems
US6496981B1 (en) 1997-09-19 2002-12-17 Douglass A. Wistendahl System for converting media content for interactive TV use
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6445398B1 (en) * 1998-02-04 2002-09-03 Corporate Media Partners Method and system for providing user interface for electronic program guide
JP2001035073A (ja) * 1999-07-26 2001-02-09 Kenwood Corp 電子機器
US20030014754A1 (en) * 2000-02-04 2003-01-16 Chang Vernon S. Advertisement response system
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US7062722B1 (en) * 2000-08-22 2006-06-13 Bruce Carlin Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of promotion and procurement
US7124424B2 (en) * 2000-11-27 2006-10-17 Sedna Patent Services, Llc Method and apparatus for providing interactive program guide (IPG) and video-on-demand (VOD) user interfaces
US7139034B2 (en) 2002-04-04 2006-11-21 Princeton Video Image, Inc. Positioning of a cursor associated with a dynamic background
JP4240293B2 (ja) * 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US8930561B2 (en) * 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20060150212A1 (en) * 2005-01-05 2006-07-06 Ripe, Llc Video-on-demand embedded advertising system and method
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
EP1887526A1 (en) * 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
US8086996B2 (en) * 2007-05-22 2011-12-27 International Business Machines Corporation Binding an image descriptor of a graphical object to a text descriptor
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8892999B2 (en) * 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
WO2009145848A1 (en) 2008-04-15 2009-12-03 Pvi Virtual Media Services, Llc Preprocessing video to insert visual elements and applications thereof
US8665374B2 (en) 2008-08-22 2014-03-04 Disney Enterprises, Inc. Interactive video insertions, and applications thereof
US20100138775A1 (en) * 2008-11-28 2010-06-03 Sharon Kohen Method, device and system, for extracting dynamic content from a running computer application
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
US8436891B2 (en) * 2009-09-16 2013-05-07 Disney Enterprises, Inc. Hyperlinked 3D video inserts for interactive television
US9838744B2 (en) * 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
US20120167146A1 (en) * 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452923B1 (en) * 1998-12-31 2002-09-17 At&T Corp Cable connected wan interconnectivity services for corporate telecommuters
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US20070003223A1 (en) * 2005-04-11 2007-01-04 Phatcat Media, Inc. User initiated access to secondary content from primary video/audio content
CN201146576Y (zh) * 2007-12-25 2008-11-05 北京恒通视讯科技发展有限公司 基于数字电视ts流的信息资讯平台设备
CN101465957A (zh) * 2008-12-30 2009-06-24 应旭峰 一种虚拟三维场景中实现遥控互动的系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584079A (zh) * 2012-09-11 2015-04-29 高通股份有限公司 用于增强现实应用程序的装置和方法
CN104584079B (zh) * 2012-09-11 2017-12-05 高通股份有限公司 用于增强现实应用程序的装置和方法
US10038892B2 (en) 2012-09-11 2018-07-31 Qualcomm Incorporated Device and method for augmented reality applications
CN107995533A (zh) * 2012-12-08 2018-05-04 周成 视频中弹出跟踪对象的视频的方法
CN107995533B (zh) * 2012-12-08 2020-09-18 周成 视频中弹出跟踪对象的视频的方法
US10203765B2 (en) 2013-04-12 2019-02-12 Usens, Inc. Interactive input system and method
CN105659191A (zh) * 2014-06-17 2016-06-08 深圳凌手科技有限公司 用于提供图形用户界面的系统和方法
CN105659191B (zh) * 2014-06-17 2019-01-15 杭州凌感科技有限公司 用于提供图形用户界面的系统和方法
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
WO2018045927A1 (zh) * 2016-09-06 2018-03-15 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN108184136A (zh) * 2018-01-16 2018-06-19 北京三体云联科技有限公司 一种视频合流方法及装置
CN108184136B (zh) * 2018-01-16 2020-06-02 北京三体云联科技有限公司 一种视频合流方法及装置

Also Published As

Publication number Publication date
EP2478426A4 (en) 2014-05-28
WO2011034697A1 (en) 2011-03-24
JP2013505636A (ja) 2013-02-14
EP2478426A1 (en) 2012-07-25
US8436891B2 (en) 2013-05-07
CN102576247B (zh) 2016-05-04
US20110063415A1 (en) 2011-03-17
JP6049456B2 (ja) 2016-12-21

Similar Documents

Publication Publication Date Title
CN102576247A (zh) 用于互动电视的超链接3d视频插件
JP2020188479A (ja) ３次元メディアガイダンスアプリケーションをナビゲートするためのシステムおよび方法
US8665374B2 (en) Interactive video insertions, and applications thereof
US8095646B2 (en) Content ancillary to sensory work playback
US9384587B2 (en) Virtual event viewing
KR100290216B1 (ko) 인터넷 접근을 위한 url 수신이 있는 텔레비전
US9832441B2 (en) Supplemental content on a mobile device
EP1415470B1 (en) Enhanced custom content television
US20170201808A1 (en) System and method of broadcast ar layer
US20120013770A1 (en) Overlay video content on a mobile device
US20130194437A1 (en) Overlay non-video content on a mobile device
CN101622655B (zh) 感觉作品回放的更改与控制
US20150332515A1 (en) Augmented reality system
US20110289535A1 (en) Personalized and Multiuser Interactive Content System and Method
US11659250B2 (en) System and method for exploring immersive content and immersive advertisements on television
JP2009529828A (ja) メディアコンテンツをウェブサイトにマッピングするためのシステムと方法
US20080031592A1 (en) Computer program, system, and media for enhancing video content
Bassbouss et al. Interactive 360° video and storytelling tool
US20100064331A1 (en) Hybrid Premium Terrestrial Television Service
US20200366964A1 (en) Device for interacting with audiovisual
US20230308630A1 (en) System and Method for Exploring Immersive Content and Immersive Advertisements on Television
KR20230134228A (ko) 3차원 vr 영상 제작 방법
Lo ARSpectator—Enriching On-Site Sports Spectating with Augmented Reality
Series Collection of usage scenarios and current statuses of advanced immersive audio-visual systems
Srivastava Broadcasting in the new millennium: A prediction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant