CN102577404B - 用于二维(2d)视频信使应用的三维(3d)视频 - Google Patents

用于二维(2d)视频信使应用的三维(3d)视频 Download PDF

Info

Publication number
CN102577404B
CN102577404B CN201080047673.2A CN201080047673A CN102577404B CN 102577404 B CN102577404 B CN 102577404B CN 201080047673 A CN201080047673 A CN 201080047673A CN 102577404 B CN102577404 B CN 102577404B
Authority
CN
China
Prior art keywords
video
camera
video camera
video content
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080047673.2A
Other languages
English (en)
Other versions
CN102577404A (zh
Inventor
郁杨
洪承郁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102577404A publication Critical patent/CN102577404A/zh
Application granted granted Critical
Publication of CN102577404B publication Critical patent/CN102577404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及用于二维(2D)视频信使应用的三维(3D)视频,提供三维(3D)视频提供给传统二维(2D)视频信使应用。在摄像机接口模块处从2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求。对于来自单个视频摄像机的视频内容的请求被转发到视频处理减负模块。第一视频摄像机和第二视频摄像机受到控制。从视频处理减负模块接收合并的3D视频内容。响应于从视频处理减负模块接收的合并的3D视频内容,将合并的3D视频内容发送到2D视频信使应用。摘要不应认为是限制性的,因为其他实施例可以通过在摘要中描述的特征得出。

Description

用于二维(2D)视频信使应用的三维(3D)视频
相关文件的交叉引用
本申请涉及2010年11月6日递交的美国临时专利申请61/258,992以及2010年3月16日递交的美国专利申请12/661,371,这两者都通过引用结合在这里。
技术领域
本专利文件的公开内容的一部分含有受到版权保护的材料。版权所有者不反对本专利文件或专利公开内容按照其出现在专利商标局文件或记录中的形式进行复制,但是在其他方面保留全部版权。商标是其相应所有者的财产。
背景技术
二维(2D)视频信使应用,诸如Messenger,Googleand提供了用于在联网的计算装置之间进行通信的互相联络能力。这些2D视频信使应用通过使用与每个联网的计算装置相关联的单个视频摄像机(诸如网络摄像头)来在联网的计算装置之间提供2D视频通信。
附图说明
通过参照具体描述并且之后结合附图,可以最好地理解示出了操作的组织和方法的具体图示实施例以及目的和优点,其中:
图1是按照本发明的具体实施例,对于二维(2D)视频信使应用提供自动的三维(3D)视频的系统的实施方式的示例的框图。
图2是按照本发明的具体实施例,对于2D视频信使应用提供自动的3D视频的计算装置的实施方式的示例的框图。
图3是按照本发明的具体实施例,对于2D视频信使应用提供自动的3D视频的消息及视频内容消息流的实施方式的示例的框图。
图4是按照本发明的具体实施例,在计算装置的架构内图3的消息和视频内容流的实施方式的示例的消息和视频内容流架构图。
图5是按照本发明的具体实施例,用于2D视频信使应用的自动3D视频的状态导向处理的实施方式的示例的架构状态图。
图6是按照本发明的具体实施例,用于2D视频信使应用的自动3D视频的系统堆栈的实施方式的示例的架构图。
图7是按照本发明的具体实施例,在相机接口模块处对于2D视频信使应用提供自动3D视频的处理的实施方式的示例的流程图。
图8是按照本发明的具体实施例,在视频处理减负模块处对于2D视频信使应用提供自动3D视频的处理的实施方式的示例的流程图。
图9是按照本发明的具体实施例,在相机接口模块处对于2D视频信使应用提供自动3D视频的处理的实施方式的示例的流程图。
图10是按照本发明的具体实施例,在视频处理减负模块处对于2D视频信使应用提供自动3D视频的处理的实施方式的示例的流程图。
具体实施方式
虽然本发明允许具有不同形式的实施例,但是附图中示出了并在本文描述了详细的具体实施例,应当理解这些实施例的公开内容被认为是原理的示例,而不是要将本发明局限于这里示出和描述的具体实施例。在以下的描述中,在多幅附图中,相似的附图标记被用来描述相同的、相似的或相对应的部分。
这里使用的表示单数的术语“一”被定义为一个以上而不仅是一个。这里所使用的术语“多个”被定义为两个或多于两个。这里所使用的术语“包括”和/或“具有”被定义为“至少包含”(即,开放性表述)。这里所使用的术语“耦合”被定义为相连,但不一定是直接连接,也不一定是机械方式连接。这里所使用的术语“程序”或“计算机程序”或类似术语被定义为设计成在计算机系统上执行的指令序列。“程序”或“计算机程序”可以包括被设计成在具有一个或多个处理器的计算机系统上执行的可执行应用、小型应用程序(applet)、伺服小程序(servlet)、源代码、目标代码、共享库/动态装载库和/或其他指令序列中的子程序、函数、过程、目标方法、目标实现方式。
本文件中提到的“一个实施例”、“某些实施例”、“实施例”、“实施方式”、“示例”或类似术语表示这里结合该示例所描述的具体特征、结构或特性被包含在本发明的至少一个实施例中。因此,这些词语的出现或在本说明书中的各个位置不一定全部指的是相同的实施例。此外,具体特征、结构或特性可以被以任何方式结合到一个或多个实施例中,而不具有限制。
术语“或者”被用在这里来表示包含关系或者表示任何一者或者任何组合。因此,“A、B或者C”表示“以下任一者:A;B;C;A和B;A和C;B和C;A、B和C”。这种定义的例外仅存在于元件、功能、步骤或动作的组合以某种方式固有地互斥的时候。
这里的主题提供了用于二维(2D)视频信使应用的自动三维(3D)视频。这里的主题相对于传统的(例如,已有的)2D视频信使应用提供了支持3D视频的产生、传输和呈现的处理平台。
为了说明的目的,应理解,传统的2D视频信使应用会发送针对与联网的计算装置相关联的单个摄像机装置(诸如网络摄像头)的请求。这些请求例如包括:摄像机打开请求、摄像机关闭请求、设置格式请求、设置参数请求、帧缓冲询问请求、出列(de-queue)视频请求以及针对单个摄像机装置的其他请求。此外,与即时信使应用相关的程序代码是私有的并且不能进行修改。本主题相对于传统的(例如,已有的)2D视频信使应用对于二维(2D)视频信使应用提供自动三维(3D)视频,而不需要修改这些私有的程序代码。
同样,已有的传统2D视频信使应用可以继续产生与单个视频摄像机装置相关联的请求,而不进行改变。在联网计算装置处,摄像机接口模块(例如,设备驱动器软件或硬件模块)被构造为从传统2D视频信使应用接收与单个视频摄像机相关联的请求。摄像机接口模块也被构造为与两个视频摄像机进行接口,而不是如传统视频信使应用所预期的那样与单个摄像机进行接口。在从传统视频信使应用接收到这种请求之后,摄像机接口模块产生两个视频摄像机中每一者的摄像机控制信号。视频内容被从两个视频摄像机接收并且合并为3D视频内容,并且响应于从传统视频信使应用接收的对于来自单个视频摄像机的视频内容的请求而返回。该3D视频内容由传统视频信使应用发送到另一个联网计算装置,而不需要知道其发送的不是2D视频内容。在接收3D视频内容的联网计算装置处,执行后期处理以渲染3D视频内容,同样不改变已有的传统2D视频信使应用。
对于在负责产生3D视频内容的联网计算装置上内核代码空间或执行占用率有限的那些实施方式,采用视频处理减负(offload)模块来将3D处理和计算负荷移动到用户空间应用和/或硬件模块。这样,通过把更大的3D处理负荷容量减负给3D处理模块,运行内核代码的处理器可以遵守内核代码空间和执行占用率。
对于这种实施方式,在接收到对于来自单个视频摄像机的视频内容的请求时,摄像机接口模块基于对于来自单个视频摄像机的视频内容的请求来产生摄像机控制信号以产生来自第一视频摄像机的视频内容,将该请求转发到视频处理减负模块,并且响应于从视频处理减负模块接收到该请求来产生摄像机控制信号以产生来自第二视频摄像机的视频内容。这样,摄像机接口模块将该请求识别为对于来自单个视频摄像机的视频内容的请求,经由视频处理减负模块处理该请求,并对来自这两个视频摄像机的视频内容的产生进行控制。
视频处理减负模块接收到对于来自单个视频摄像机的视频内容的请求,并且将对于来自第二视频摄像机的视频内容的请求发送到摄像机接口模块。摄像机接口模块接收该请求,并且基于对于第二视频摄像机的请求来产生摄像机控制信号。摄像机接口模块从每个视频摄像机接收视频内容,并且将来自两个视频摄像机的所接收的视频内容转发到视频处理减负模块。视频处理减负模块将从第一视频摄像机接收的视频内容和从第二视频摄像机接收的视频内容合并为三维(3D)视频内容。响应于对于来自单个视频摄像机的视频内容的请求,视频处理减负模块将合并的3D视频内容经由摄像机接口模块发送到传统2D视频信使应用。传统2D视频信使应用将3D视频内容转发到接收的联网计算装置。该接收的联网计算装置将所接收的视频内容识别为3D视频内容,并且对所接收的3D视频内容进行后期处理,以渲染在与接收的联网计算装置相关联的显示器上。
为了本主题的目的,可以理解当前可以获得许多形式的3D内容。例如,3D视频内容可以针对偏振的、帧序列的或能3D显示的输出装置而被编码。对于偏振编码,可以通过将左、右图像在视频内容的每帧上按照并排或上下格式合并来产生3D内容。在渲染时,这些图像被缩放和格式化为在每个显示视频帧上的奇数线和偶数线上分别具有相反的圆偏振。无源偏振3D眼镜被用来为观察者提供左、右眼图像。或者,可以使用以偏振编码的帧速率两倍速率工作的帧序列格式,使得左、右图像的每一者被顺序地渲染。有源3D眼镜被用来与每个序列帧同步并选择哪个镜片对于该帧激活。使用上述3D编码和渲染选项可能使3D成像的分辨率受到折衷。或者也可以使用这样的能够3D显示的显示器:其执行3D视频内容向3D渲染输出的转换,与使用有源或无源眼镜的方法相比对于3D内容可以具有更高的渲染分辨率。应该理解,本主题适用于上述3D视频内容编码和渲染格式,以及任何其他3D视频内容编码和渲染格式。也应该理解本领域技术人员能够基于本说明书实施本主题。因此,这里将再描述3D编码和渲染的细节。
应理解,可以执行3D校准(calibration)和3D校正(rectification)活动以对准(align)合并的左、右图像。可以通过对产生左、右图像的摄像机前方的图像的边缘和角部进行检测来执行3D校正。可以通过估计产生左、右图像的那些摄像机之间的位置关系来执行3D校准。通过获得应用到图像的扭曲矩阵(warpingmatrix)并将该扭曲矩阵应用到从两个视频摄像机接收的左、右图像,可以基于所估计的摄像机之间的位置关系来调整左、右图像中的至少一者。基于这里所包括的主题的描述,应当理解本领域技术人员能够校准和校正这里描述的图像。
现在转向图1,图1是对于二维(2D)视频信使应用提供自动的三维(3D)视频的系统100的实施方式的示例的框图。计算装置102经由网络104而与计算装置106和视频应用服务器108互相连接。视频应用服务器108对于传统2D视频信使应用提供存储和下载访问能力。在通过计算装置102和计算装置106进行传统2D视频信使应用的下载和安装时,对于计算装置102和计算装置106,传统2D视频信使应用基于给定应用提供对等网络互连或服务器控制的互连能力。对于对等网络实施方式,安装在计算装置102和计算装置106上的所安装的2D视频信使应用可以发起视频会议并且消息可以被经由网络104转达给其他计算装置。对于服务器控制的实施方式,视频应用服务器108可以与所安装的2D视频信使应用通信,以接收和转发与计算装置102和计算装置106之间的视频会议相关的全部信息。
摄像机1110和摄像机2112与计算装置102相关联。摄像机3114和摄像机4116与计算装置106相关联。同样,为了本示例的目的,计算装置102和计算装置106都被构造为对于2D视频信使应用产生3D视频。也可以理解计算装置102和计算装置106都可以被构造为识别所接收的3D内容并且将3D内容渲染给各个计算装置的用户。还应当注意计算装置102或计算装置106可以与对于流出的视频产生仅具有一个摄像机的计算装置通信。在这种情况下,这种装置可以被构造为对于与本主题相关的2D视频信使应用处理所接收到的3D视频。
计算装置102和106可以包括能够执行下载、安装和执行2D视频信使应用的装置,诸如网络机顶盒(STB)、个人计算机(PC)、个人数字助手(PDA)、移动电话或其他移动装置(未示出)或者其他装置。摄像机1110、摄像机2112、摄像机3114、摄像机4116可以是适合于预期应用的任何形式的摄像机。例如,摄像机110到116可以包括网络摄像机或者适合于用在各个计算装置处拍摄图像的其他摄像机。
视频应用服务器108可以是可以经由网络104访问的任何基于网络的服务器。存在于市场内的基于网络的服务器的示例是Messenger服务器、Google服务器和报务器。存在许多其他的基于网络访问网的服务器并且可以由本主题想到其他许多。因此,全部的这种基于网络访问网的服务器被认为是在本主题的范围内。
网络104可以包括适合于期望意图的任何形式的互连,包括私人或公共网络(诸如内部网络或因特网)、直接内部模块互连、拨号、无线或能够允许装置之间通信的任何其他互连机构。适合于在网络104上提供通信的基于网络的协议的示例是因特网协议上的传输控制协议(TCP/IP)。标记语言格式(诸如超文本传输协议(HTTP)和可扩展标记语言(XML)格式)可以被用于在与装置(其可以经由网络104访问)的TCP/IP连接上发消息。也存在期望的网络协议并且它们全部都可以被认为在本主题的范围内。
为了本描述的目的,术语“实时”应当包括一般所说的“接近实时”——一般意味着足够短的时间段的任何时间帧,短到对于所请求的信息处理足以提供合理的响应时间,该响应时间对于由所描述的主题的用户而言是可接受的(例如,在一些系统中在几秒内或小于十秒等等)。虽然难以精确定义,但本领域技术人员熟悉这些术语。还可以理解这里描述的主题可以实时或接近实时地执行。
图2是对于2D视频信使应用提供自动的3D视频的计算装置102的实施方式的示例的框图。应当理解,计算装置102的当前描述也适用于计算装置106。然而,如上所述,计算装置102或计算装置106都可以与对于流出的视频产生仅具有一个摄像机的计算装置通信。在这种情况下,这种装置可以被构造为对于与本主题相关的2D视频信使应用处理所接收到的3D视频。
处理器200在计算装置102内提供计算机指令执行、计算和其他应用。显示装置202向计算装置102的用户提供视觉和/或其他信息。显示装置202可以包括任何类型的显示装置,诸如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、投影仪或其他显示元件或面板。输入装置204对计算装置102的用户提供输入能力。输入装置204可以包括鼠标、笔、轨迹球或其他输入装置。可以使用一个或多个输入装置,诸如输入装置204。
音频输出装置206对于计算装置102提供音频输出能力,诸如与上文描述并且下文更具体描述的视频会议相关的口头通信。音频输出装置206可以包括扬声器、驱动器电路和对于给定实施方式合适的接口电路。
通信模块208提供用于与下载和安装2D视频信使应用的计算装置106和视频应用服务器108交互以及用于在视频会议期间与各个装置经由网络104通信的通信能力。
应当注意,为了易于图示和描述的目的,通信模块208被示出为组件水平的模块。可以理解通信模块208包括用于执行通信模块208的功能的任何硬件、(一个或多个)编程处理器和存储器。例如,通信模块208可以包括具有专用集成电路(ASIC)的形式的附加控制器电路、处理器和/或离散集成电路以及用于执行与通信模块208相关的电子控制活动的组件。此外,通信模块208可以包括适当的中断水平、堆栈水平和应用水平模块。此外,通信模块208可以包括用于由用于执行与通信模块208相关的处理活动的这些模块进行的存储、执行和数据处理的任何存储组件。通信模块208也可以形成下文描述的其他电路的部分,而不超出本主题的范围。
存储器210包括2D视频信使应用212和摄像机接口模块214。2D视频信使应用212表示从视频应用服务器108下载和安装的、用于2D视频发信的应用,如上所述。摄像机接口模块214包括用于将计算装置102与摄像机_1110和摄像机_2112连接的驱动器和通信能力。
应当理解存储器210包括适合于期望目的、适当地分布或定位的易失性和非易失性存储器的任何组合,并且可以包括为了容易图示的目的而在本示例中未示出的其他存储区段。例如,存储器210可以包括适合于存储信息以及各个应用和与编程处理器相关的任何固件的代码存储区域、代码执行区域和数据区域,该编程处理器适当地形成与计算装置102相关的其他组件的一部分。也理解其他信息可以对于给定实施方式适当地存储在存储器210中,而不超出本主题的范围。
如下文中更加具体地描述的,摄像机接口模块214也与2D视频信使应用212连接以对于2D视频信使应用212提供合适的连接信号发送。在2D视频信使应用212接收到指向单个视频摄像机的发信号和/或请求时,摄像机接口模块214基于指向单个视频摄像机的发信号和/或请求来产生控制信号,并且如下文更详细地描述的,将这些控制信号引导到摄像机_1110和摄像机_2112两者,以对于计算装置102提供两个摄像机接口。从摄像机_1110和摄像机_2112二者接收的视频内容被结合以形成3D视频内容。3D视频内容响应于指向单个视频摄像机的发信号和/或请求二返回到2D视频信使应用212。同样,摄像机接口模块214提供允许计算装置102在现有的2D视频信使应用212上提供3D视频的接口,而不需要改变已有的2D视频信使应用212。
摄像机接口模块214包括由处理器200执行的、用于执行这些和其他功能的指令。摄像机接口模块214可以形成中断服务例程(ISR)的一部分、操作系统的一部分或者独立应用的一部分,而不超出本主题的范围。
应当注意,本示例描述了摄像机接口模块214作为下级驱动器工作。同样,摄像机接口模块214可以被认为是驱动器并且可以被认为是用于由处理器200执行的操作的内核空间的一部分。为了限制在处理器200的内核空间上的处理负担,计算装置102的3D视频处理在处理器200的内核空间之外执行。
视频处理减负模块216对于与本主题相关的计算装置102提供3D视频处理能力。如下文中更详细地描述的,摄像机接口模块214将由2D视频信使应用212发起的某些发信号和/或请求转发到视频处理减负模块216。视频处理减负模块216响应于这些请求并且将它们引导到摄像机_1110和摄像机_2112。视频处理减负模块216接收视频输出并且响应于来自摄像机_1110和摄像机_2112的发信号和/或响应并且产生3D视频或对于发信号和/或请求的结合的响应,并且将它们经由摄像机接口模块214返回到2D视频信使应用212。
虽然上文描述以及下文中更详细地描述的本示例为了容易描述的目的描绘了某些发信号互连方式,可以理解可以使用其他的发信号互连方式而不超出本主题的范围。例如,本示例被描述为摄像机接口模块214从2D视频信使应用212接收进入的请求、产生用于第一摄像机_1110的控制信号以及将请求发送到视频处理减负模块216。视频处理减负模块216将该请求转发回摄像机接口模块214,并且摄像机接口模块214产生用于摄像机_2112的控制信号。然而,这应当不被认为是限制。虽然本示例被描述为视频处理减负模块216将全部信号通过摄像机接口模块214发送到摄像机_1110和摄像机_2112,但是视频处理减负模块216可以直接连接摄像机_1110和摄像机_2112,而不超出本主题的范围。许多其他的变化也是可能的并且它们全部都在本主题的范围内。
应当注意,为了图适合描述简单的目的,视频处理减负模块216被示出为组件水平模块。但是也理解视频处理减负模块216包括用于执行如上所述和下文中更详细描述的视频处理减负模块216的功能的任何硬件、(一个或多个)编程处理器以及存储器。例如,视频处理减负模块216可以包括具有专用集成电路(ASIC)的形式的附加控制器电路、处理器和/或离散集成电路以及用于执行与视频处理减负模块216相关的电子控制活动的组件。此外,视频处理减负模块216可以包括适当的中断水平、堆栈水平和应用水平模块。此外,视频处理减负模块216可以包括用于由用于执行与视频处理减负模块216相关的处理活动的这些模块进行的存储、执行和数据处理的任何存储组件。
应当注意,视频处理减负模块216也可以形成下文中描述的其他电路的一部分,而不超出本主题的范围。此外,视频处理减负模块216可以可选择地被实施为存储在存储器210中的应用。在这种实施方式中,视频处理减负模块216可以包括由处理器200执行的指令,以执行这里描述的功能。处理器200可以执行这些指令,以对于计算装置102提供上文描述和下文中更详细地描述的处理能力。视频处理减负模块216可以形成中断服务例程(ISR)的一部分、操作系统的一部分或者独立应用的一部分,而不超出本主题的范围。
为了图示简单,处理器200、显示装置202、输入装置204、音频输出装置206、通信模块208、存储器210、视频处理减负模块216、摄像机_1110和摄像机_2112经由示出为互连部218的一个或多个互连部互连。互连部218可以包括系统总线、网络或者能够为各个组件出于各种目的提供合适的互连的任何其他互连部。
此外,在计算装置102内的组件可以在网络内协同定位或者分布,而不超出本主题的范围。例如,在计算装置102内的组件可以位于独立装置内,诸如个人计算机(例如,桌上型或膝上型计算机)或手持装置(例如,蜂窝电话、个人数字助手(PDA)、邮件装置、音乐记录或回放装置等)。对于分布的配置,显示装置202和输入装置204可以位于报亭,而处理器200和存储器210可以位于本地或远程的服务器。对于计算装置102的组件的许多其他可能布置是可能的,并且全部这些可能都被认为是在本主题的范围内。
图3是对于2D视频信使应用提供自动的3D视频的消息及视频内容消息流300的实施方式的示例的框图。2D视频信使应用212将对于来自单个视频摄像机的视频内容的请求发送到摄像机接口模块214(线1)。响应于对于来自单个视频摄像机的视频内容的请求,摄像机接口模块214将该请求转发到视频处理减负模块216(线2)。响应于接收到的请求,视频处理减负模块216将对于第二摄像机的相同请求发送回摄像机接口模块214(线3)。
响应于从视频处理减负模块216接收到的请求,摄像机接口模块214产生控制信息和命令(例如,控制信号)并且将所产生的信息和命令发送到摄像机_1110和摄像机_2112(分别是线4和线5)。摄像机_1110和摄像机_2112处理各个控制信息和命令,并且将视频内容返回到摄像机接口模块214(分别为线6和7)。
摄像机接口模块214将从摄像机_1110和摄像机_2112接收的视频内容返回到视频处理减负模块216来进行处理(分别是线8和9)。响应于视频内容的接收,视频处理减负模块216形成3D视频内容并且在块302处执行任何附加处理。
如上文中和下文中更详细地讨论的,视频处理减负模块216可以执行适合于给定实施方式的任何3D格式化。此外,视频处理减负模块216可以执行视觉影响以改变所产生的合并3D视频内容。改变视频内容可以包括改变从摄像机_1110接收的第一视频内容的一部分以及从摄像机_2112接收的第二视频内容的一部分。同样,对于3D视频内容的改变可以通过改变从每个摄像机接收的各个视频内容的部分来进行。改变视频内容的请求可以从用户界面或经由网络连接从另一个计算装置接收。改变合并的3D视频内容的一部分的请求可以包括使得人的图像的面部特征平滑的请求、使得认得面部或身体图像变瘦的请求或者使得任何图像的部分伸长的请求或者对于合并的3D视频内容的任何其他请求。同样,为了实际和娱乐目的,视频处理减负模块216可以对于合并的3D视频内容执行图像增强和图像改变。
响应于接收到改变合并的3D视频内容的部分的请求,视频处理减负模块216可以从接收自第一视频摄像机(摄像机_1110)的每个第一内容检测合并的3D视频内容的该部分,并且可以从接收自第二视频摄像机(摄像机_2112)的每个第二内容检测合并的3D视频内容的该部分。响应于在各个相应视频内容中检测到的要被改变的合并的3D视频内容的该部分,视频处理减负模块216可以改变视频内容的被请求部分。应当注意,对于给定实施方式适当地,对于合并的3D视频内容的改变可以在两个视频内容元素已经被合并之前或之后执行。
当在框304处完成返回的视频内容的处理以形成合并的3D内容以及任何附加的处理时,视频处理减负模块216将合并的3D视频内容返回到摄像机接口模块214(线10)。摄像机接口模块214之后将合并的3D视频内容返回到2D视频信使应用212(线11)。同样,摄像机接口模块214和视频处理减负模块216对于2D视频信使应用提供自动3D视频。此外,已有的2D视频信使应用212不需要被改变。
图4是在计算装置102的架构内图3的信息和视频内容流400的实施方式的示例的信息和视频内容流架构图。如可以从图4看到的,为了表达的方便,在图4内保持提及图3内的消息和内容返回路径的线编号。关于图4的描述,通过参照结合如上所述的消息和内容返回路径的描述。也应当注意,在图4内对于返回到摄像机接口模块214的视频内容,摄像机_1110和摄像机_2112被分别表示为返回的左视频内容和右视频内容。此外,左、右视频内容被返回到视频处理减负模块216(在图3和图4内分别为线8和9)。合并的3D视频被示出为经由摄像机接口模块214返回到2D视频信使应用212(在图3和图4内分别为线10和11)。同样,消息和视频内容流架构图400提供了图3的消息流与计算装置102的架构的映射。
图5是用于2D视频信使应用的自动3D视频的状态导向处理500的实施方式的示例的架构状态图。图5也是出了2D视频信使应用212、摄像机接口模块214和视频处理减负模块216。也应当注意图5的发消息和状态转变序列编号不一定映射到图3和图4的线编号。
在从2D视频信使应用212接收到对于视频内容的请求时,摄像机接口模块214在502处进入激活状态。如上所述,摄像机接口模块214将请求转发到视频处理减负模块216(线2)。摄像机接口模块214从502处的激活状态转变到在504处的睡眠状态,并且等待3D视频内容返回(在摄像机接口模块214内的虚线3)。
响应于所接收到的转发的请求,视频处理减负模块216从在506处的睡眠状态转变为在508处的激活状态(例如,唤醒),以处理所接收到的请求(在视频处理减负模块216内的虚线3)。视频处理减负模块216处理分别从摄像机_1110和摄像机_2112接收的左、右视频内容(如图4所示),并且将二者合并为3D视频内容。
视频处理减负模块216将3D视频内容返回到摄像机接口模块214(线4)。视频处理减负模块216从在508处的激活状态转变为在506处的睡眠状态,以等待新的请求(在视频处理减负模块216内的虚线5)。
响应于所接收到的返回的3D视频内容,摄像机接口模块214从在504处的睡眠状态转变为在502处的激活状态(例如,唤醒,在摄像机接口模块214内的虚线5)。摄像机接口模块214将3D视频内容返回到2D视频信使应用212(线6)。
同样,用于摄像机接口模块214与视频处理减负模块216之间的视频内容的请求的处理是有状态的(即,状态导向的),以允许每个模块在完成其各个处理之后进入睡眠状态并且分别在接收到返回的3D视频内容时或者转发对于视频内容的请求时转变回激活状态。
为了描述简单的目的,应当注意上文描述的在其他示例中的某些附加处理已经被从图5的描述中省略。然而,理解这种附加处理可以对于给定实施方式适当执行而不超出本主题的范围。
基于上述消息流和架构图,消息流和事件的以下附加示例可以被摄像机接口模块214结合视频处理减负模块216来应用。例如,如果由摄像机接口模块214接收到打开单个视频摄像机的请求,视频处理减负模块216将会打开第二视频摄像机。类似地,如果由摄像机接口模块214接收到关闭单个视频摄像机的请求,视频处理减负模块216将会关闭第二视频摄像机。如果由摄像机接口模块214接收到设置对于与单个视频摄像机相关的输出的格式的请求,视频处理减负模块216将会设置用于与第二视频摄像机相关的输出的格式。如果由摄像机接口模块214接收到设置与单个视频摄像机相关的操作参数的请求,视频处理减负模块216将会设置与第二视频摄像机相关的操作参数。许多其他的请求也是可能的并且它们都在本主题的范围内。
如果由摄像机接口模块214接收到分配与单个摄像机相关联的帧缓存的数目的请求,视频处理减负模块216将会要求将相同数目的帧缓存分配为与第二摄像机相关联。如果由摄像机接口模块214接收到取得与单个摄像机相关联的帧缓存的索引的请求,视频处理减负模块216也可以将对于索引的请求发送到与第二摄像机相关联的帧缓存。摄像机接口模块214可以返回所请求的索引,并且该索引可以被映射到可由视频处理减负模块216访问的存储空间,以处理3D视频内容。
此外,如果从2D视频信使应用212接收到使得与单个视频摄像机相关联的流出队列出列的请求,视频处理减负模块216可以判断分别从摄像机1110和摄像机2112接收的第一视频内容和第二视频内容的3D校准和3D校正是否完成。响应于第一视频内容和第二视频内容的3D校准和3D校正没有完成的判断,视频处理减负模块216可以将来自摄像机_1110的第一视频内容经由摄像机接口模块214发送到2D视频信使应用212。或者,响应于第一视频内容和第二视频内容的3D校准和3D校正已经完成的判断,视频处理减负模块216可以将合并的3D视频内容经由摄像机接口模块214发送到2D视频信使应用212。同样,视频处理减负模块216可以基于来自两个摄像机装置的视频内容的校准和校正的完成来控制3D视频内容是否返回到2D视频信使应用212。
还应当注意2D视频信使应用212从摄像机接口模块214接收的视频内容不在是从一个视频摄像机拍摄的图像。相反,视频内容时来自两个相连接的网络摄像头(例如,摄像机_1110和摄像机_2112)的经校正和合并的图像,该图像是并排3D格式或上下3D格式。
在接收装置处,合并的图像可以被后期处理以获得3D视觉效果。在一些3D显示器中,用于后期处理3D视频内容的硬件可以执行内容的缩放和合并。或者,可以实施与2D视频信使应用一同执行的后期处理模块(未示出)。后期处理模块获得对于显示装置的帧缓存的指针或其他参照。同样,对于合并图像的指针可以从合并图像在显示屏中的位置得出。对于并排格式,图像的左半和右半都被水平地缩放到图像的全宽度。对于上下格式,图像的上半和下半可以被竖直地缩放到图像的全高度。因此,可以获得3D内容的左图像和右图像,这同样不需要改变已有的2D视频信使应用。之后可以通过进行奇数线和偶数线内插或者通过设置用于3D视频内容的帧序列渲染的阿尔法面(alphaplane)来合并左图像和右图像。
图6是用于2D视频信使应用的自动3D视频的系统堆栈600的实施方式的示例的架构图。操作平台602可以由媒体处理器(诸如媒体处理器CE3100或其他媒体处理器)实施。Linux内核604在操作平台602的项部上提供操作系统平台。摄像机接口模块214被示出为在系统堆栈600内与Linux内核604相关联。软件开发套件和图像装置库606(诸如SDK:GDL)提供开发平台和图像库模块。X窗口系统608(诸如X11)在软件开发套件和图像装置库606上提供图像用户界面。交叉平台应用和用户界面(UI)框架610(诸如QT)对2D视频信使应用212提供用户界面等级库。消息总线系统612(诸如D-BUS)提供分布在客户装置(诸如计算装置102和计算装置106)处的应用之间的发信息接口。后期处理模块614在这种计算装置处对于由2D视频信使应用212接收的3D视频内容提供上述后期处理。视频处理减负模块216和摄像机接口模块214将用于由2D视频信使应用212递送的3D视频内容提供给这种计算装置。同样,系统堆栈600提供用于2D视频信使应用的自动3D视频并且可以实施在计算装置102和计算装置106的每一者上,以提供分别由摄像机接口模块214和视频处理减负模块216产生的3D视频内容。在由2D视频信使应用212接收到3D视频内容时,后期处理模块614可以判断视频内容是3D视频内容并且可以对3D视频内容进行后期处理并且如上所述地渲染3D视频内容。
以下的图7到图10描述了与本主题相关的、可以由这些装置(诸如计算装置102)执行以执行用于2D视频信使应用的自动3D视频的示例处理。可以对于示例处理进行许多其他改变,并且这些改变都被认为在本主题的范围内。示例处理可以由诸如摄像机接口模块214和视频处理减负模块216的模块执并且/或者可以由处理器200执行,他们与这些装置向关联。应当注意,为了图示简单的目的,在下文描述的示例处理中没有示出超时程序和其他错误控制程序。然而,理解全部的这些程序都被认为是在本主题的范围内。
图7是在相机接口模块(诸如摄像机接口模块214)处对于2D视频信使应用提供自动3D视频的处理700的实施方式的示例的流程图。处理700与下文描述的其他处理一起可以由任何客户装置(诸如计算装置102和/或计算装置106)执行,以对于本主题的2D信使应用提供自动3D视频。处理700在702处开始。在块704处,处理700在摄像机接口模块处从2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求。在块706处,处理700将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块。在块708处,处理700控制第一视频摄像机和第二视频摄像机。在块710处,处理700从视频处理减负模块接收合并的3D视频内容。在块712处,响应于从视频处理减负模块接收到的合并的3D视频内容,处理700将合并的3D视频内容发送到2D视频信使应用。
图8是在视频处理减负模块(视频处理减负模块216)处对于2D视频信使应用提供自动3D视频的处理800的实施方式的示例的流程图。处理800与下文描述的其他处理一起可以由任何客户装置(诸如计算装置102和/或计算装置106)执行,以对于本主题的2D信使应用提供自动3D视频。处理800在802处开始。在块804处,处理800在视频处理减负模块处经由摄像机接口模块从2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求。在块806处,处理800从第一视频摄像机接收第一视频内容并且从第二视频摄像机接收第二视频内容。在块808处,处理800将第一视频内容和第二视频内容合并到三维(3D)视频内容。在块810处,响应于对于来自单个视频摄像机的视频内容的请求,处理800将合并的3D视频内容经由摄像机接口模块发送到2D视频信使应用。
图9是在相机接口模块(诸如摄像机接口模块214)处对于2D视频信使应用提供自动3D视频的处理900的实施方式的示例的流程图。处理900在902处开始。在判断点904处,处理900进行是否已经接收到与单个视频摄像机相关联的内容请求的判断。如上所述,与单个视频摄像机相关联的内容请求可以被从2D视频信使应用(诸如2D视频信使应用212)接收。在块900处,响应于所接收到的内容请求,处理900产生用于第一视频摄像机(摄像机_1110)的控制信号。处理900在块908处将该请求转发到视频处理减负模块(诸如视频处理减负模块216)。在判断点901处,处理900等待从视频处理减负模块216接收到的请求。如上所述,视频处理减负模块216可以将该请求返回到摄像机接口模块214以在第二视频摄像机上执行相同操作。
响应于从视频处理减负模块216接收到的请求,处理900在块912处产生用于第二摄像机(诸如摄像机_2112)的控制信号。在判断点914处,处理900判断是或否已经从两个摄像机接收到视频内容。响应于从任一摄像机接收的视频内容,处理900在块916处开始将内容从摄像机发送到视频处理减负模块216。随着从两个摄像机的第二个接收到视频内容,该内容也在块916处被发送到视频处理减负模块216。
在判断点918处,处理900判断是否已经从视频处理减负模块216接收到经处理的视频内容。如上所述,在完成校准之前,可以返回来自单个摄像机的内容。在校准之后,经处理的视频内容可以是由视频处理减负模块216产生的合并的3D内容。该内容可以是经改变的内容,诸如进行改变以使得面部特征平滑或者使得视频图像变窄和/或伸长的内容。对于从第一和第二摄像机接收的视频内容许多其他改变也是可能的,并且这些改变都被认为在本主题的范围内。
在判断点918处响应于从视频处理减负模块216接收的经处理的视频内容,处理900在块920处开始将经处理的视频内容发送到2D视频信使应用,诸如2D视频信使应用212。在判断点922处,处理900判断是否停止将经处理的内容发送到2D视频信使应用212。如上所述,响应于摄像机关闭请求或其他事件,处理900可以判断是否停止发送经处理的内容。响应于进行停止发送经处理的内容的判断,处理900返回到判断点904,一等到接收到新的内容请求。
同样,响应于从传统2D视频信使应用接收到的与单个视频摄像机相关联的请求,处理900提供用于摄像机接口模块(诸如摄像机驱动器模块)的处理并且提供用于与两个视频摄像机连接的驱动器水平功能。处理900也与执行计算密集的3D和其他图像处理的视频处理减负模块通信。
图10是在视频处理减负模块(诸如视频处理减负模块216)处对于2D视频信使应用提供自动3D视频的处理1000的实施方式的示例的流程图。处理1000在1002处开始。在判断点1004,处理1000等待来自摄像机接口模块(诸如摄像机接口模块214)的内容请求。如上所述,内容请求可能与单个视频摄像机相关联并且可以由视频处理减负模块216从摄像机接口模块214接收。响应于已经接收到内容请求的判断,处理1000在块1006处将该请求发送到摄像机接口模块(诸如摄像机接口模块214)。如上所述,摄像机接口模块214可以控制两个视频摄像机(例如,摄像机_1110和摄像机_2112)。在判断点1008,处理1000判断是否正在接收两个视频内容流。
响应于已经接收到两个视频内容流的判断,处理1000在块1010处开始对于两个视频内容流的校准和校正活动。为了实现视频内容的校准和校正,处理1000例如可以检测保持在摄像机前方的图像的边缘和角部。处理1000可以估计第一视频摄像机与第二视频摄像机之间的位置关系。基于所估计的第一视频摄像机与第二视频摄像机之间的位置关系,处理1000可以通过获得应用到图像的扭曲矩阵以及将扭曲矩阵应用到从两个视频摄像机接收的左、右图像,来调整第一视频内容和第二视频内容中的至少一者。
在判断点1012处,处理1000判断是否已经完成了校准和校正活动。响应于还没有完成校准和校正的判断,处理1000在块1014处将来自一个摄像机的视频内容发送到摄像机接口模块214。响应于在判断点1012处已经完成校准和矫正的判断,处理1000在块1016处将从两个摄像机接收的视频内容合并为3D视频内容。
在块1018处,处理1000将合并的3D视频内容发送到摄像机接口模块214。在判断点1020处,处理1000判断是否停止发送合并的3D视频内容。如上所述,处理1000可以响应于摄像机关闭请求或其他事件来判断是否停止发送经处理的内容。响应于附加内容能够被合并到3D视频内容并且还没有接收到停止发送合并的3D视频内容的请求,处理1000在判断点1022处判断是否改变视频内容的至少一部分。如上所述,可以从另一个装置经由网络接收改变合并的3D视频内容的一部分的请求,或者可以经由与计算装置102相关联的用户界面接收该请求。响应于已经在判断点1022处接收到改变合并的3D视频内容的至少一部分的请求,处理1000在块1024处从第一视频摄像机接收的第一视频内容和从第二视频摄像机接收的第二视频内容的每一者内检测合并的3D视频要被改变的部分。
在块1026处,处理1000按照请求来改变第一视频内容和第二视频内容的部分。如上所述,改变合并的3D视频内容的部分的请求例如可以包括请求使表现在合并的3D视频内容内的人的图像的面部特征平滑。同样,在块1026处,改变来自每个摄像机的视频内容的部分可以包括使表现在第一和第二视频内容内的人的图像的面部特征平滑。改变合并的3D视频内容的部分的请求也可以包括请求将表现在合并的3D视频内容内的人的身体图像变瘦。同样,改变合并的3D视频内容可以包括将表现在第一和第二视频内容内的人的身体图像变瘦。改变来自视频内容的部分的部分的请求还可以包括请求将表现在合并的3D视频内容内的图像的部分伸长。同样,改变合并的3D视频内容的部分可以包括将表现在第一和第二视频内容内的图像的部分伸长。对于改变与合并的3D视频内容相关的视频内容也存在许多其他的可能,并且这些可能全部都在本主题的范围内。
在块1028处,处理1000将经改变的视频内容合并。响应于在块1028处完成合并经改变的图像,或者响应于在判断点1022处判断不改变视频内容,处理1000返回到块1018并且如上所述地重复。返回到判断点1020的描述,响应于作出的停止发送合并的3D视频内容的判断,处理1000返回到判断点1004以等待新的内容请求。
同样,处理1000在视频处理减负模块处提供用于2D视频信使应用的自动3D视频。执行校准和校正活动。两个视频内容流被合并以形成3D视频内容并且可以执行合并的3D视频内容内的图像的改变。3D视频内容返回到摄像机接口模块并且被转发到传统2D视频信使应用。
应当注意,为了图示简单的目的,关于处理900和处理1000没有示出附加的睡眠状态和激活状态的转变,并且示出了不具有上述睡眠状态和激活状态转变的处理。然而,应当理解这些处理可以被修改为包括上文关于图5描述的各个睡眠和激活状态转变,而不超出本主题的范围。同样,在视频处理减负模块216等待来自摄像机接口模块214的请求(例如,在处理1000中的判断点1004处)的同时,其可以处于睡眠状态,并且当其接收请求时,其可以被唤醒并且转变到激活状态以执行所描述的处理。类似地,在摄像机接口模块214等到合并的3D视频内容的同时(例如,在处理900中的判断点918处),其可以处于睡眠状态,并且当其接收合并的3D视频内容时,其可以被唤醒并且转变到激活状态以执行所描述的附加处理。可以对于所描述的处理进行许多其他改变,并且这些改变都在本主题的范围内。
因此,根据某些实施方式,一种向传统二维(2D)视频信使应用提供三维(3D)视频的方法,包括:在摄像机接口模块处从2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求;将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块;控制第一视频摄像机和第二视频摄像机;从视频处理减负模块接收合并的3D视频内容;以及响应于从视频处理减负模块接收的合并的3D视频内容来将合并的3D视频内容发送到2D视频信使应用。
在某些实施方式中,向传统二维(2D)视频信使应用提供三维(3D)视频的方法还包括:响应于将请求转发到视频处理减负模块,从视频处理减负模块接收对于来自单个视频摄像机的视频内容的请求;并且其中,控制第一视频摄像机和第二视频摄像机的步骤包括:响应于从2D视频信使应用接收的对于来自单个视频摄像机的视频内容的请求,控制第一视频摄像机;以及响应于从视频处理减负模块接收的对于来自单个视频摄像机的视频内容的请求,控制第二视频摄像机。在某些实施方式中,控制第一视频摄像机和第二视频摄像机的方法包括产生控制来自第一视频摄像机的视频输出的控制信号以及产生控制来自第二视频摄像机的视频输出的控制信号。在某些实施例中,该方法还包括接收来自第一视频摄像机的第一视频内容和来自第二视频摄像机的第二视频内容;将第一视频内容和第二视频内容发送到视频处理减负模块;其中,从视频处理减负模块接收合并的3D视频内容的步骤包括响应于将第一视频内容和第二视频内容发送到视频处理减负模块,从视频处理减负模块接收合并的3D视频内容。在某些实施方式中,该方法还包括从2D视频信使应用接收与第一视频摄像机的流出队列相关联的出列请求;其中,响应于从视频处理减负模块接收的合并的3D视频内容来将合并的3D视频内容发送到2D视频信使应用的步骤包括将从视频处理减负模块接收的合并的3D视频内容复制到第一视频摄像机的流出队列。在某些实施例中,该方法还包括在摄像机接口模块处从2D视频信使应用接收打开单个视频摄像机的请求;产生打开第一视频摄像机的控制信号;将打开单个视频摄像机的请求转发到视频处理减负模块;从视频处理减负模块接收打开单个视频摄像机的请求;以及响应于从视频处理减负模块接收到的打开单个视频摄像机的请求来产生打开第二视频摄像机的控制信号。在某些实施方式中,该方法还包括:在摄像机接口模块处从2D视频信使应用接收关闭单个视频摄像机的请求;产生关闭第一视频摄像机的控制信号;将关闭单个视频摄像机的请求转发到视频处理减负模块;从视频处理减负模块接收关闭单个视频摄像机的请求;以及响应于从视频处理减负模块接收到的关闭单个视频摄像机的请求来产生关闭第二视频摄像机的控制信号。在某些实施方式中,该方法还包括:在摄像机接口模块处从2D视频信使应用接收设置用于与单个视频摄像机相关联的输出的格式的请求;向第一视频摄像机产生设置用于与单个视频摄像机相关联的输出的格式的控制信号;将设置用于与单个视频摄像机相关联的输出的格式的请求转发到视频处理减负模块;从视频处理减负模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及响应于从视频处理减负模块接收到的设置用于与单个视频摄像机相关联的输出的格式的请求来向第二视频摄像机产生设置用于与第二视频摄像机相关联的输出的格式的控制信号。在某些实施方式中,该方法还包括在摄像机接口模块处从2D视频信使应用接收设置与单个视频摄像机相关联的操作参数的请求;产生设置与第一视频摄像机相关联的操作参数的控制信号;将设置与单个视频摄像机相关联的操作参数的请求转发到视频处理减负模块;从视频处理减负模块接收设置与单个视频摄像机相关联的操作参数的请求;以及响应于从视频处理减负模块接收到的设置与单个视频摄像机相关联的操作参数的请求来产生设置与第二视频摄像机相关联的操作参数的控制信号。在某些实施方式中,该方法还包括响应于将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块,在摄像机接口模块处进入睡眠状态;以及响应于从视频处理减负模块接收到合并的3D视频内容,在摄像机接口模块处进入激活状态。在某些实施方式中,合并的3D视频内容包括帧序列3D视频内容和偏振3D视频内容中的一者。
在另一个实施方式中,计算机可读存储介质可以存储指令,当在一个或多个编程的处理器上执行该指令时,该指令执行向传统二维(2D)视频信使应用提供三维(3D)视频的方法,其中,该处理器被编程为在摄像机接口模块处从2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求;将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块;控制第一视频摄像机和第二视频摄像机;从视频处理减负模块接收合并的3D视频内容;以及响应于从视频处理减负模块接收的合并的3D视频内容来将合并的3D视频内容发送到2D视频信使应用。
在另一个实施方式中,一种向传统二维(2D)视频信使应用提供三维(3D)视频的方法包括:在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收对于来自单个视频摄像机的视频内容的请求;从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容;将第一视频内容和第二视频内容合并为三维(3D)视频内容;以及响应于对于来自单个视频摄像机的视频内容的请求,将合并的3D视频内容经由摄像机接口模块发送到2D视频信使应用。
在某些实施方式中,向传统二维(2D)视频信使应用提供三维(3D)视频的方法还包括:响应于从2D视频信使应用经由摄像机接口模块接收到的对于来自单个视频摄像机的视频内容的请求,将对于来自单个视频摄像机的视频内容的请求发送到摄像机接口模块;其中,响应于从视频处理模块接收到对于来自单个视频摄像机的视频内容的请求,摄像机接口模块控制至少一个摄像机。在某些实施方式中,该方法还包括:响应于从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容,执行第一视频内容和第二视频内容的3D校准和3D校正。在某些实施方式中,该方法还包括:在视频处理减负模块处经由摄像机接口模块接收由2D视频信使应用发起的、与第一视频摄像机的流出队列相关联的出列请求;判断第一视频内容和第二视频内容的3D校准和3D校正是否完成;响应于第一视频内容和第二视频内容的3D校准和3D校正没有完成的判断,将来自第一视频摄像机的第一视频内容经由摄像机接口模块发送到2D视频信使应用;以及响应于第一视频内容和第二视频内容的3D校准和3D校正已经完成的判断,将合并的3D视频内容经由摄像机接口模块发送到2D视频信使应用。在某些实施方式中,该方法还包括:在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收打开单个视频摄像机的请求;以及将打开第二视频摄像机的请求发送到摄像机接口模块。在某些实施方式中,该方法还包括:在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收关闭单个视频摄像机的请求;以及将关闭第二视频摄像机的请求发送到摄像机接口模块。在某些实施方式中,该方法还包括:在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及将设置用于与第二视频摄像机相关联的输出的格式的请求发送到摄像机接口模块。在某些实施方式中,该方法还包括:在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收设置与单个视频摄像机相关联的操作参数的请求;以及将设置与第二视频摄像机相关联的操作参数的请求发送到摄像机接口模块。在某些实施方式中,该方法还包括:在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收分配用于单个视频摄像机的帧缓存的数目的请求;以及将分配用于第二视频摄像机的帧缓存的数目的请求发送到摄像机接口模块。在某些实施方式中,该方法还包括:将对于与第一视频摄像机和第二视频摄像机中每一者相关联的帧缓存的索引的请求发送到摄像机接口模块;从摄像机接口模块接收对于与第一视频摄像机相关联的帧缓存的索引以及对于与第二视频摄像机相关联的帧缓存的索引;以及将对于与第一视频摄像机相关联的帧缓存的索引以及对于与第二视频摄像机相关联的帧缓存的索引映射到与视频处理减负模块相关联的存储器。在某些实施方式中,该方法还包括:响应于从2D视频信使应用接收到对于来自单个视频摄像机的视频内容的请求,在视频处理减负模块处进入激活状态;以及响应于经由摄像机接口模块发送到2D视频信使应用的合并的3D视频内容,在视频处理减负模块处进入睡眠状态。在某些实施方式中,该方法还包括:接收执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准的请求;以及执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准。在某些实施方式中,执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准的方法包括:估计第一视频摄像机和第二视频摄像机之间的位置关系;以及校正第一视频内容和第二视频内容。在某些实施方式中,校正第一视频内容和第二视频内容的方法包括:获得扭曲矩阵;以及将扭曲矩阵应用到第一视频内容和第二视频内容。在某些实施方式中,执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准的方法包括:检测图像的边缘和角部中的至少一者;估计第一视频摄像机和第二视频摄像机之间的位置关系;以及基于所估计的第一视频摄像机和第二视频摄像机之间的位置关系来调整第一视频内容和第二视频内容中的至少一者。在某些实施方式中,将第一视频内容和第二视频内容合并为3D视频内容的方法包括将3D视频内容形成为并排3D视频内容、上下3D视频内容和帧序列3D视频内容。在某些实施方式中,该方法还包括:接收改变合并的3D视频内容的部分的请求;检测在从第一视频摄像机接收的第一视频内容和从第二视频摄像机接收的第二视频内容的每一者内合并的3D视频内容的部分;以及改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分。在某些实施方式中,改变合并的3D视频内容的请求涉及使得表现在合并的3D视频内容内的人的图像的面部特征平滑的请求;并且改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分的方法包括使得表示在从第一视频摄像机接收的第一视频内容中的人的图像的面部特征平滑;以及使得表示在从第二视频摄像机接收的第二视频内容中的人的图像的面部特征平滑。在某些实施方式中,改变合并的3D视频内容的请求涉及使得表现在合并的3D视频内容内的人的身体图像变瘦的请求;并且改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分的方法包括使得表示在从第一视频摄像机接收的第一视频内容中的人的身体图像变瘦;以及使得表示在从第二视频摄像机接收的第二视频内容中的人的身体图像变瘦。在某些实施方式中,改变合并的3D视频内容的请求涉及使得表现在合并的3D视频内容内的图像的部分伸长的请求;并且改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分的方法包括使得表示在从第一视频摄像机接收的第一视频内容中的图像的部分伸长;以及使得表示在从第二视频摄像机接收的第二视频内容中的图像的部分伸长。
在另一个实施方式中,计算机可读存储介质可以存储指令,当在一个或多个编程的处理器上执行该指令时,该指令执行向传统二维(2D)视频信使应用提供三维(3D)视频的方法,其中,该处理器被编程为在视频处理减负模块处从2D视频信使应用经由摄像机接口模块接收对于来自单个视频摄像机的视频内容的请求;从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容;将第一视频内容和第二视频内容合并为三维(3D)视频内容;以及响应于对于来自单个视频摄像机的视频内容的请求,将合并的3D视频内容经由摄像机接口模块发送到2D视频信使应用。
构成另一个实施方式的一种向传统二维(2D)视频信使应用提供三维(3D)视频的设备包括:第一视频摄像机;第二视频摄像机;以及处理器,处理器被编程为:从2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求;将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块;控制第一视频摄像机和第二视频摄像机;从视频处理减负模块接收合并的3D视频内容;以及响应于从视频处理减负模块接收的合并的3D视频内容来将合并的3D视频内容发送到2D视频信使应用。
在某些实施方式中,用于向传统二维(2D)视频信使应用提供三维(3D)视频的设备具有处理器,该处理器还被编程为:响应于将请求转发到视频处理减负模块,从视频处理减负模块接收对于来自单个视频摄像机的视频内容的请求;并且其中,在被编程为控制控制第一视频摄像机和第二视频摄像机时,处理器被编程为:响应于从2D视频信使应用接收的对于来自单个视频摄像机的视频内容的请求,控制第一视频摄像机;以及响应于从视频处理减负模块接收的对于来自单个视频摄像机的视频内容的请求,控制第二视频摄像机。在某些实施方式中,在被编程为控制控制第一视频摄像机和第二视频摄像机时,处理器还被编程为:产生控制来自第一视频摄像机的视频输出的控制信号;以及产生控制来自第二视频摄像机的视频输出的控制信号。在某些实施方式中,处理器还被编程为:接收来自第一视频摄像机的第一视频内容和来自第二视频摄像机的第二视频内容;将第一视频内容和第二视频内容发送到视频处理减负模块;其中,在被编程为从视频处理减负模块接收合并的3D视频内容时,处理器被编程为:响应于将第一视频内容和第二视频内容发送到视频处理减负模块,从视频处理减负模块接收合并的3D视频内容。在某些实施方式中,处理器还被编程为:从2D视频信使应用接收与第一视频摄像机的流出队列相关联的出列请求;其中,在被编程为响应于从视频处理减负模块接收合并的3D视频内容来将合并的3D视频内容发送到2D视频信使应用时,处理器被编程为:将从视频处理减负模块接收的合并的3D视频内容复制到第一视频摄像机的流出队列。在某些实施方式中,处理器还被编程为:从2D视频信使应用接收打开单个视频摄像机的请求;产生打开第一视频摄像机的控制信号;将打开单个视频摄像机的请求转发到视频处理减负模块;从视频处理减负模块接收打开单个视频摄像机的请求;以及响应于从视频处理减负模块接收到的打开单个视频摄像机的请求来产生打开第二视频摄像机的控制信号。在某些实施方式中,处理器还被编程为:从2D视频信使应用接收关闭单个视频摄像机的请求;产生关闭第一视频摄像机的控制信号;将关闭单个视频摄像机的请求转发到视频处理减负模块;从视频处理减负模块接收关闭单个视频摄像机的请求;以及响应于从视频处理减负模块接收到的关闭单个视频摄像机的请求来产生关闭第二视频摄像机的控制信号。在某些实施方式中,处理器还被编程为:从2D视频信使应用接收设置用于与单个视频摄像机相关联的输出的格式的请求;向第一视频摄像机产生设置用于与单个视频摄像机相关联的输出的格式的控制信号;将设置用于与单个视频摄像机相关联的输出的格式的请求转发到视频处理减负模块;从视频处理减负模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及响应于从视频处理减负模块接收到的设置用于与单个视频摄像机相关联的输出的格式的请求来向第二视频摄像机产生设置用于与第二视频摄像机相关联的输出的格式的控制信号。在某些实施方式中,处理器还被编程为:从2D视频信使应用接收设置与单个视频摄像机相关联的操作参数的请求;产生设置与第一视频摄像机相关联的操作参数的控制信号;将设置与单个视频摄像机相关联的操作参数的请求转发到视频处理减负模块;从视频处理减负模块接收设置与单个视频摄像机相关联的操作参数的请求;以及响应于从视频处理减负模块接收到的设置与单个视频摄像机相关联的操作参数的请求来产生设置与第二视频摄像机相关联的操作参数的控制信号。在某些实施方式中,处理器还被编程为:响应于将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块,进入睡眠状态;以及响应于从视频处理减负模块接收到合并的3D视频内容,进入激活状态。
按照另一个实施方式的一种向传统二维(2D)视频信使应用提供三维(3D)视频的设备包括:第一视频摄像机;第二视频摄像机;以及处理器,处理器被编程为:从2D视频信使应用经由摄像机接口模块接收对于来自单个视频摄像机的视频内容的请求;从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容;将第一视频内容和第二视频内容合并为三维(3D)视频内容;以及响应于对于来自单个视频摄像机的视频内容的请求,将合并的3D视频内容经由摄像机接口模块发送到2D视频信使应用。
在某些实施方式中,用于向传统二维(2D)视频信使应用提供三维(3D)视频的设备具有处理器,该处理器还被编程为:响应于从2D视频信使应用经由摄像机接口模块接收到的对于来自单个视频摄像机的视频内容的请求,将对于来自单个视频摄像机的视频内容的请求发送到摄像机接口模块;其中,响应于从视频处理模块接收到对于来自单个视频摄像机的视频内容的请求,摄像机接口模块控制至少一个摄像机。在某些实施方式中,处理器还被编程为响应于从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容,执行第一视频内容和第二视频内容的3D校准和3D校正。在某些实施方式中,处理器还被编程为:经由摄像机接口模块接收由2D视频信使应用发起的、与第一视频摄像机的流出队列相关联的出列请求;判断第一视频内容和第二视频内容的3D校准和3D校正是否完成;响应于第一视频内容和第二视频内容的3D校准和3D校正没有完成的判断,将来自第一视频摄像机的第一视频内容经由摄像机接口模块发送到2D视频信使应用;以及响应于第一视频内容和第二视频内容的3D校准和3D校正已经完成的判断,将合并的3D视频内容经由摄像机接口模块发送到2D视频信使应用。在某些实施方式中,处理器还被编程为:从2D视频信使应用经由摄像机接口模块接收打开单个视频摄像机的请求;以及将打开第二视频摄像机的请求发送到摄像机接口模块。在某些实施方式中,处理器还被编程为:从2D视频信使应用经由摄像机接口模块接收关闭单个视频摄像机的请求;以及将关闭第二视频摄像机的请求发送到摄像机接口模块。在某些实施方式中,处理器还被编程为:从2D视频信使应用经由摄像机接口模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及将设置用于与第二视频摄像机相关联的输出的格式的请求发送到摄像机接口模块。在某些实施方式中,处理器还被编程为:从2D视频信使应用经由摄像机接口模块接收设置与单个视频摄像机相关联的操作参数的请求;以及将设置与第二视频摄像机相关联的操作参数的请求发送到摄像机接口模块。在某些实施方式中,处理器还被编程为:从2D视频信使应用经由摄像机接口模块接收分配用于单个视频摄像机的帧缓存的数目的请求;以及将分配用于第二视频摄像机的帧缓存的数目的请求发送到摄像机接口模块。在某些实施方式中,的设备还包括存储器,并且其中,处理器还被编程为:将对于与第一视频摄像机和第二视频摄像机中每一者相关联的帧缓存的索引的请求发送到摄像机接口模块;从摄像机接口模块接收对于与第一视频摄像机相关联的帧缓存的索引以及对于与第二视频摄像机相关联的帧缓存的索引;以及将对于与第一视频摄像机相关联的帧缓存的索引以及对于与第二视频摄像机相关联的帧缓存的索引映射到存储器。在某些实施方式中,处理器还被编程为:响应于从2D视频信使应用接收到对于来自单个视频摄像机的视频内容的请求,进入激活状态;以及响应于经由摄像机接口模块发送到2D视频信使应用的合并的3D视频内容,在视频处理减负模块处进入睡眠状态。在某些实施方式中,处理器还被编程为:接收执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准的请求;以及执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准。在某些实施方式中,在被编程为执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准时,处理器被编程为:估计第一视频摄像机和第二视频摄像机之间的位置关系;以及校正第一视频内容和第二视频内容。在某些实施方式中,在被编程为校正第一视频内容和第二视频内容时,处理器被编程为:获得扭曲矩阵;以及将扭曲矩阵应用到第一视频内容和第二视频内容。在某些实施方式中,在被编程为执行从第一视频摄像机接收的第一视频内容以及从第二视频摄像机接收的第二视频内容的3D校准时,处理器被编程为:检测图像的边缘和角部中的至少一者;估计第一视频摄像机和第二视频摄像机之间的位置关系;以及基于所估计的第一视频摄像机和第二视频摄像机之间的位置关系来调整第一视频内容和第二视频内容中的至少一者。在某些实施方式中,在被编程为将第一视频内容和第二视频内容合并为3D视频内容时,处理器被编程为:将3D视频内容形成为并排3D视频内容、上下3D视频内容和帧序列3D视频内容。在某些实施方式中,处理器还被编程为:接收改变合并的3D视频内容的部分的请求;检测在从第一视频摄像机接收的第一视频内容和从第二视频摄像机接收的第二视频内容的每一者内合并的3D视频内容的部分;以及改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分。在某些实施方式中,改变合并的3D视频内容的请求涉及使得表现在合并的3D视频内容内的人的图像的面部特征平滑的请求;并且在被编程为改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分时,处理器被编程为:使得表示在从第一视频摄像机接收的第一视频内容中的人的图像的面部特征平滑;以及使得表示在从第二视频摄像机接收的第二视频内容中的人的图像的面部特征平滑。在某些实施方式中,改变合并的3D视频内容的请求涉及使得表现在合并的3D视频内容内的人的身体图像变瘦的请求;并且在被编程为改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分时,处理器被编程为:使得表示在从第一视频摄像机接收的第一视频内容中的人的身体图像变瘦;以及使得表示在从第二视频摄像机接收的第二视频内容中的人的身体图像变瘦。在某些实施方式中,改变合并的3D视频内容的请求涉及使得表现在合并的3D视频内容内的图像的部分伸长的请求;并且在被编程为改变从第一视频摄像机接收的第一视频内容的部分和从第二视频摄像机接收的第二视频内容的部分时,处理器被编程为:使得表示在从第一视频摄像机接收的第一视频内容中的图像的部分伸长;以及使得表示在从第二视频摄像机接收的第二视频内容中的图像的部分伸长。
虽然这里结合执行所述功能的具体电路描述了某些实施例,但是可以预料到其中在一个或多个编程处理器上执行的等效元件执行电路功能的其他实施例。可以使用一般用途计算机、基于微处理器的计算机、微控制器、光学计算机、模拟计算机、专用处理器、专用电路和/或专用硬布线逻辑和模拟电路来构造可选的等效实施例。可以使用硬件组件等价物来实施其他实施例,诸如特殊用途硬件、专用处理器或其组合。
某些实施例可以使用执行编程指令的一个或多个编程处理器来实施,这些编程指令在某些情况下比上文中以流程图形式描述的那些范围更广,并且可以被存储在任何合适的电子装置或计算机可读存储介质(诸如,盘状存储器、只读存储器(ROM)装置、随机访问存储器(RAM)装置、网络存储装置、光学存储元件、磁性存储元件、磁光存储元件、闪存、磁心存储器和/或其他等价易失和非易失性存储技术)中。然而,本领域技术人员将会面白,在考虑本教导时,上述处理可以以任何数目的改变以及任何合适的编程语言来实施,而不超出本发明的实施例。例如,所执行的具体操作的顺序通常可以改变,附加的操作可以被增加或者操作可以被删除,而不超出本发明的具体实施例。错误陷阱可以被增加和/或加强,并且可以在用户界面和信息表示中进行改变,而不超出本发明的具体实施例。这些改变被理解并认为作等价的。
虽然已经描述了某些示例性实施例,但是很明显本领域技术人员鉴于以上描述可以容易想到许多修改、调整、改变和变化。

Claims (52)

1.一种向传统二维2D视频信使应用提供三维3D视频的方法,包括:
在摄像机接口模块处从所述2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求;
将所述对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块;
响应于所述对于来自单个视频摄像机的视频内容的请求,控制第一视频摄像机和第二视频摄像机;
从所述视频处理减负模块接收合并的3D视频内容;以及
响应于从所述视频处理减负模块接收所述合并的3D视频内容,来将所述合并的3D视频内容发送到所述2D视频信使应用。
2.根据权利要求1所述的方法,还包括:
响应于将所述请求转发到所述视频处理减负模块,从所述视频处理减负模块接收所述对于来自单个视频摄像机的视频内容的请求;并且
其中,控制所述第一视频摄像机和所述第二视频摄像机的步骤包括:
响应于从所述2D视频信使应用接收所述对于来自单个视频摄像机的视频内容的请求,控制所述第一视频摄像机;以及
响应于从所述视频处理减负模块接收所述对于来自单个视频摄像机的视频内容的请求,控制所述第二视频摄像机。
3.根据权利要求1所述的方法,还包括:
接收来自所述第一视频摄像机的第一视频内容和来自所述第二视频摄像机的第二视频内容;
将所述第一视频内容和所述第二视频内容发送到所述视频处理减负模块;
其中,从所述视频处理减负模块接收所述合并的3D视频内容的步骤包括:响应于将所述第一视频内容和所述第二视频内容发送到所述视频处理减负模块,从所述视频处理减负模块接收所述合并的3D视频内容。
4.根据权利要求1所述的方法,还包括:
从所述2D视频信使应用接收与所述第一视频摄像机的流出队列相关联的出列请求;
其中,响应于从所述视频处理减负模块接收所述合并的3D视频内容来将所述合并的3D视频内容发送到所述2D视频信使应用的步骤包括:将从所述视频处理减负模块接收的所述合并的3D视频内容复制到所述第一视频摄像机的流出队列。
5.根据权利要求1所述的方法,还包括:
在所述摄像机接口模块处从所述2D视频信使应用接收打开单个视频摄像机的请求;
产生打开所述第一视频摄像机的控制信号;
将所述打开单个视频摄像机的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收所述打开单个视频摄像机的请求;以及
响应于从所述视频处理减负模块接收到所述打开单个视频摄像机的请求,来产生打开所述第二视频摄像机的控制信号。
6.根据权利要求1所述的方法,还包括:
在所述摄像机接口模块处从所述2D视频信使应用接收关闭单个视频摄像机的请求;
产生关闭所述第一视频摄像机的控制信号;
将所述关闭单个视频摄像机的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收所述关闭单个视频摄像机的请求;以及
响应于从所述视频处理减负模块接收到所述关闭单个视频摄像机的请求,来产生关闭所述第二视频摄像机的控制信号。
7.根据权利要求1所述的方法,还包括:
在所述摄像机接口模块处从所述2D视频信使应用接收设置用于与单个视频摄像机相关联的输出的格式的请求;
向所述第一视频摄像机产生设置用于与单个视频摄像机相关联的输出的格式的控制信号;
将所述设置用于与单个视频摄像机相关联的输出的格式的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收所述设置用于与单个视频摄像机相关联的输出的格式的请求;以及
响应于从所述视频处理减负模块接收到所述设置用于与单个视频摄像机相关联的输出的格式的请求,来向所述第二视频摄像机产生设置用于与所述第二视频摄像机相关联的输出的格式的控制信号。
8.根据权利要求1所述的方法,还包括:
在所述摄像机接口模块处从所述2D视频信使应用接收设置与单个视频摄像机相关联的操作参数的请求;
产生设置与所述第一视频摄像机相关联的操作参数的控制信号;
将所述设置与单个视频摄像机相关联的操作参数的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收所述设置与单个视频摄像机相关联的操作参数的请求;以及
响应于从所述视频处理减负模块接收到所述设置与单个视频摄像机相关联的操作参数的请求,来产生设置与所述第二视频摄像机相关联的操作参数的控制信号。
9.根据权利要求1所述的方法,还包括:
响应于把对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块,所述摄像机接口模块进入睡眠状态;以及
响应于从所述视频处理减负模块接收到所述合并的3D视频内容,所述摄像机接口模块进入激活状态。
10.一种向传统二维2D视频信使应用提供三维3D视频的方法,包括:
在视频处理减负模块处,从所述2D视频信使应用经由摄像机接口模块接收对于来自单个视频摄像机的视频内容的请求;
从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容;
将所述第一视频内容和所述第二视频内容合并为三维3D视频内容;以及
响应于所述对于来自单个视频摄像机的视频内容的请求,将合并的3D视频内容经由所述摄像机接口模块发送到所述2D视频信使应用。
11.根据权利要求10所述的方法,还包括:
响应于从所述2D视频信使应用经由所述摄像机接口模块接收到对于来自单个视频摄像机的视频内容的请求,将对于来自单个视频摄像机的视频内容的请求发送到所述摄像机接口模块;
其中,响应于从所述视频处理减负模块接收到对于来自单个视频摄像机的视频内容的请求,所述摄像机接口模块控制至少一个摄像机。
12.根据权利要求10所述的方法,还包括:响应于从所述第一视频摄像机接收第一视频内容以及从所述第二视频摄像机接收第二视频内容,执行所述第一视频内容和所述第二视频内容的3D校准和3D校正。
13.根据权利要求12所述的方法,还包括:
在所述视频处理减负模块处,经由所述摄像机接口模块接收由所述2D视频信使应用发起的、与所述第一视频摄像机的流出队列相关联的出列请求;
判断所述第一视频内容和所述第二视频内容的3D校准和3D校正是否完成;
响应于作出所述第一视频内容和所述第二视频内容的3D校准和3D校正没有完成的判断,将来自所述第一视频摄像机的第一视频内容经由所述摄像机接口模块发送到所述2D视频信使应用;以及
响应于作出所述第一视频内容和所述第二视频内容的3D校准和3D校正已经完成的判断,将所述合并的3D视频内容经由所述摄像机接口模块发送到所述2D视频信使应用。
14.根据权利要求10所述的方法,还包括:
在所述视频处理减负模块处,从所述2D视频信使应用经由所述摄像机接口模块接收打开单个视频摄像机的请求;以及
将打开所述第二视频摄像机的请求发送到所述摄像机接口模块。
15.根据权利要求10所述的方法,还包括:
在所述视频处理减负模块处,从所述2D视频信使应用经由所述摄像机接口模块接收关闭单个视频摄像机的请求;以及
将关闭所述第二视频摄像机的请求发送到所述摄像机接口模块。
16.根据权利要求10所述的方法,还包括:
在所述视频处理减负模块处,从所述2D视频信使应用经由所述摄像机接口模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及
将设置用于与所述第二视频摄像机相关联的输出的格式的请求发送到所述摄像机接口模块。
17.根据权利要求10所述的方法,还包括:
在所述视频处理减负模块处,从所述2D视频信使应用经由所述摄像机接口模块接收设置与单个视频摄像机相关联的操作参数的请求;以及
将设置与所述第二视频摄像机相关联的操作参数的请求发送到所述摄像机接口模块。
18.根据权利要求10所述的方法,还包括:
在所述视频处理减负模块处,从所述2D视频信使应用经由所述摄像机接口模块接收对于单个视频摄像机分配某个数目的帧缓存的请求;以及
将对于所述第二视频摄像机分配该数目的帧缓存的请求发送到所述摄像机接口模块。
19.根据权利要求10所述的方法,还包括:
将对于与所述第一视频摄像机和所述第二视频摄像机中每一者相关联的帧缓存的索引的请求发送到所述摄像机接口模块;
从所述摄像机接口模块接收对于与所述第一视频摄像机相关联的帧缓存的索引以及对于与所述第二视频摄像机相关联的帧缓存的索引;以及
将对于与所述第一视频摄像机相关联的帧缓存的索引以及对于与所述第二视频摄像机相关联的帧缓存的索引映射到与所述视频处理减负模块相关联的存储器。
20.根据权利要求10所述的方法,还包括:
响应于从所述2D视频信使应用接收到对于来自单个视频摄像机的视频内容的请求,所述视频处理减负模块进入激活状态;以及
响应于开始将所述合并的3D视频内容经由所述摄像机接口模块发送到所述2D视频信使应用,所述视频处理减负模块进入睡眠状态。
21.根据权利要求10所述的方法,还包括:
接收执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准的请求;以及
执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准。
22.根据权利要求21所述的方法,其中,执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准的步骤包括:
估计所述第一视频摄像机和所述第二视频摄像机之间的位置关系;以及
校正所述第一视频内容和所述第二视频内容。
23.根据权利要求22所述的方法,其中,校正所述第一视频内容和所述第二视频内容的步骤包括:
获得扭曲矩阵;以及
将所述扭曲矩阵应用到所述第一视频内容和所述第二视频内容。
24.根据权利要求21所述的方法,其中,执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准的步骤包括:
检测图像的边缘和角部中的至少一者;
估计所述第一视频摄像机和所述第二视频摄像机之间的位置关系;以及
基于所估计的所述第一视频摄像机和所述第二视频摄像机之间的位置关系,来调整所述第一视频内容和所述第二视频内容中的至少一者。
25.根据权利要求21所述的方法,其中,将所述第一视频内容和所述第二视频内容合并为3D视频内容的步骤包括:将所述3D视频内容形成为下述一项:并排3D视频内容、上下3D视频内容和帧序列3D视频内容。
26.根据权利要求21所述的方法,还包括:
接收改变所述合并的3D视频内容的一部分的请求;
在从所述第一视频摄像机接收的第一视频内容和从所述第二视频摄像机接收的第二视频内容的每一者内检测所述合并的3D视频内容的所述部分;以及
改变从所述第一视频摄像机接收的第一视频内容的一部分和从所述第二视频摄像机接收的第二视频内容的一部分。
27.一种向传统二维2D视频信使应用提供三维3D视频的设备,包括:
第一视频摄像机;
第二视频摄像机;以及
处理器,所述处理器被配置为:
从所述2D视频信使应用接收对于来自单个视频摄像机的视频内容的请求;
将所述对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块;
响应于所述对于来自单个视频摄像机的视频内容的请求,控制所述第一视频摄像机和所述第二视频摄像机;
从所述视频处理减负模块接收合并的3D视频内容;以及
响应于从所述视频处理减负模块接收所述合并的3D视频内容,来将所述合并的3D视频内容发送到所述2D视频信使应用。
28.根据权利要求27所述的设备,其中所述处理器还被配置为:
响应于将所述请求转发到所述视频处理减负模块,从所述视频处理减负模块接收所述对于来自单个视频摄像机的视频内容的请求;并且
其中,在被配置为控制所述第一视频摄像机和所述第二视频摄像机时,所述处理器被配置为:
响应于从所述2D视频信使应用接收所述对于来自单个视频摄像机的视频内容的请求,控制所述第一视频摄像机;以及
响应于从所述视频处理减负模块接收所述对于来自单个视频摄像机的视频内容的请求,控制所述第二视频摄像机。
29.根据权利要求27所述的设备,其中,在被配置为控制所述第一视频摄像机和所述第二视频摄像机时,所述处理器还被配置为:
产生控制来自所述第一视频摄像机的视频输出的控制信号;以及
产生控制来自所述第二视频摄像机的视频输出的控制信号。
30.根据权利要求27所述的设备,其中,所述处理器还被配置为:
接收来自所述第一视频摄像机的第一视频内容和来自所述第二视频摄像机的第二视频内容;
将所述第一视频内容和所述第二视频内容发送到所述视频处理减负模块;
其中,在被配置为从所述视频处理减负模块接收所述合并的3D视频内容时,所述处理器被配置为:响应于将所述第一视频内容和所述第二视频内容发送到所述视频处理减负模块,从所述视频处理减负模块接收所述合并的3D视频内容。
31.根据权利要求27所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用接收与所述第一视频摄像机的流出队列相关联的出列请求;
其中,在被配置为响应于从所述视频处理减负模块接收所述合并的3D视频内容来将所述合并的3D视频内容发送到所述2D视频信使应用时,所述处理器被配置为:将从所述视频处理减负模块接收的所述合并的3D视频内容复制到所述第一视频摄像机的流出队列。
32.根据权利要求27所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用接收打开单个视频摄像机的请求;
产生打开所述第一视频摄像机的控制信号;
将所述打开单个视频摄像机的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收所述打开单个视频摄像机的请求;以及
响应于从所述视频处理减负模块接收到所述打开单个视频摄像机的请求,来产生打开所述第二视频摄像机的控制信号。
33.根据权利要求27所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用接收关闭单个视频摄像机的请求;
产生关闭所述第一视频摄像机的控制信号;
将所述关闭单个视频摄像机的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收所述关闭单个视频摄像机的请求;以及
响应于从所述视频处理减负模块接收到所述关闭单个视频摄像机的请求,来产生关闭所述第二视频摄像机的控制信号。
34.根据权利要求27所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用接收设置用于与单个视频摄像机相关联的输出的格式的请求;
向所述第一视频摄像机产生设置用于与单个视频摄像机相关联的输出的格式的控制信号;
将设置用于与单个视频摄像机相关联的输出的格式的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及
响应于从所述视频处理减负模块接收到设置用于与单个视频摄像机相关联的输出的格式的请求,来向所述第二视频摄像机产生设置用于与所述第二视频摄像机相关联的输出的格式的控制信号。
35.根据权利要求27所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用接收设置与单个视频摄像机相关联的操作参数的请求;
产生设置与所述第一视频摄像机相关联的操作参数的控制信号;
将设置与单个视频摄像机相关联的操作参数的请求转发到所述视频处理减负模块;
从所述视频处理减负模块接收设置与单个视频摄像机相关联的操作参数的请求;以及
响应于从所述视频处理减负模块接收到设置与单个视频摄像机相关联的操作参数的请求,来产生设置与所述第二视频摄像机相关联的操作参数的控制信号。
36.根据权利要求27所述的设备,其中,所述处理器还被配置为:
响应于将对于来自单个视频摄像机的视频内容的请求转发到视频处理减负模块,进入睡眠状态;以及
响应于从所述视频处理减负模块接收到所述合并的3D视频内容,进入激活状态。
37.一种向传统二维2D视频信使应用提供三维3D视频的设备,包括:
第一视频摄像机;
第二视频摄像机;以及
处理器,所述处理器被配置为:
从所述2D视频信使应用经由摄像机接口模块接收对于来自单个视频摄像机的视频内容的请求;
从第一视频摄像机接收第一视频内容以及从第二视频摄像机接收第二视频内容;
将所述第一视频内容和所述第二视频内容合并为三维3D视频内容;以及
响应于对于来自单个视频摄像机的视频内容的请求,将合并的3D视频内容经由所述摄像机接口模块发送到所述2D视频信使应用。
38.根据权利要求37所述的设备,其中,所述处理器还被配置为:
响应于从所述2D视频信使应用经由所述摄像机接口模块接收到对于来自单个视频摄像机的视频内容的请求,将所述对于来自单个视频摄像机的视频内容的请求发送到所述摄像机接口模块;以及
其中,响应于从所述处理器接收到对于来自单个视频摄像机的视频内容的请求,所述摄像机接口模块控制至少一个摄像机。
39.根据权利要求37所述的设备,其中,所述处理器还被配置为:
经由所述摄像机接口模块接收由所述2D视频信使应用发起的、与所述第一视频摄像机的流出队列相关联的出列请求;
判断所述第一视频内容和所述第二视频内容的3D校准和3D校正是否完成;
响应于作出所述第一视频内容和所述第二视频内容的3D校准和3D校正没有完成的判断,将来自所述第一视频摄像机的第一视频内容经由所述摄像机接口模块发送到所述2D视频信使应用;以及
响应于作出所述第一视频内容和所述第二视频内容的3D校准和3D校正已经完成的判断,将所述合并的3D视频内容经由所述摄像机接口模块发送到所述2D视频信使应用。
40.根据权利要求37所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用经由所述摄像机接口模块接收打开单个视频摄像机的请求;以及
将打开所述第二视频摄像机的请求发送到所述摄像机接口模块。
41.根据权利要求37所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用经由所述摄像机接口模块接收关闭单个视频摄像机的请求;以及
将关闭所述第二视频摄像机的请求发送到所述摄像机接口模块。
42.根据权利要求37所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用经由所述摄像机接口模块接收设置用于与单个视频摄像机相关联的输出的格式的请求;以及
将设置用于与所述第二视频摄像机相关联的输出的格式的请求发送到所述摄像机接口模块。
43.根据权利要求37所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用经由所述摄像机接口模块接收设置与单个视频摄像机相关联的操作参数的请求;以及
将设置与所述第二视频摄像机相关联的操作参数的请求发送到所述摄像机接口模块。
44.根据权利要求37所述的设备,其中,所述处理器还被配置为:
从所述2D视频信使应用经由所述摄像机接口模块接收对于单个视频摄像机分配某个数目的帧缓存的请求;以及
将对于所述第二视频摄像机分配该数目的帧缓存的请求发送到所述摄像机接口模块。
45.根据权利要求37所述的设备,还包括:
存储器;并且
其中,所述处理器还被配置为:
将对于与所述第一视频摄像机和所述第二视频摄像机中每一者相关联的帧缓存的索引的请求发送到所述摄像机接口模块;
从所述摄像机接口模块接收对于与所述第一视频摄像机相关联的帧缓存的索引以及对于与所述第二视频摄像机相关联的帧缓存的索引;以及
将对于与所述第一视频摄像机相关联的帧缓存的索引以及对于与所述第二视频摄像机相关联的帧缓存的索引映射到所述存储器。
46.根据权利要求37所述的设备,其中,所述处理器还被配置为:
响应于从所述2D视频信使应用接收到对于来自单个视频摄像机的视频内容的请求,进入激活状态;以及
响应于开始将所述合并的3D视频内容经由所述摄像机接口模块发送到所述2D视频信使应用,进入睡眠状态。
47.根据权利要求37所述的设备,其中,所述处理器还被配置为:
接收执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准的请求;以及
执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准。
48.根据权利要求47所述的设备,其中,在被配置为执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准时,所述处理器被配置为:
估计所述第一视频摄像机和所述第二视频摄像机之间的位置关系;以及
校正所述第一视频内容和所述第二视频内容。
49.根据权利要求48所述的设备,其中,在被配置为校正所述第一视频内容和所述第二视频内容时,所述处理器被配置为:
获得扭曲矩阵;以及
将所述扭曲矩阵应用到所述第一视频内容和所述第二视频内容。
50.根据权利要求47所述的设备,其中,在被配置为执行从所述第一视频摄像机接收的第一视频内容以及从所述第二视频摄像机接收的第二视频内容的3D校准时,所述处理器被配置为:
检测图像的边缘和角部中的至少一者;
估计所述第一视频摄像机和所述第二视频摄像机之间的位置关系;以及
基于所估计的所述第一视频摄像机和所述第二视频摄像机之间的位置关系,来调整所述第一视频内容和所述第二视频内容中的至少一者。
51.根据权利要求37所述的设备,其中,在被配置为将所述第一视频内容和所述第二视频内容合并为3D视频内容时,所述处理器被配置为将所述3D视频内容形成为下述一项:并排3D视频内容、上下3D视频内容和帧序列3D视频内容。
52.根据权利要求37所述的设备,其中,所述处理器还被配置为:
接收改变所述合并的3D视频内容的一部分的请求;
在从所述第一视频摄像机接收的第一视频内容和从所述第二视频摄像机接收的第二视频内容的每一者内检测所述合并的3D视频内容的所述部分;以及
改变从所述第一视频摄像机接收的第一视频内容的一部分和从所述第二视频摄像机接收的第二视频内容的一部分。
CN201080047673.2A 2009-11-06 2010-10-22 用于二维(2d)视频信使应用的三维(3d)视频 Active CN102577404B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25899209P 2009-11-06 2009-11-06
US61/258,992 2009-11-06
US12/661,371 US8687046B2 (en) 2009-11-06 2010-03-16 Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
US12/661,371 2010-03-16
PCT/US2010/053759 WO2011056473A2 (en) 2009-11-06 2010-10-22 Three dimensional (3d) video for two-dimensional (2d) video messenger applications

Publications (2)

Publication Number Publication Date
CN102577404A CN102577404A (zh) 2012-07-11
CN102577404B true CN102577404B (zh) 2015-12-09

Family

ID=43970643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080047673.2A Active CN102577404B (zh) 2009-11-06 2010-10-22 用于二维(2d)视频信使应用的三维(3d)视频

Country Status (5)

Country Link
US (1) US8687046B2 (zh)
EP (1) EP2478709B1 (zh)
JP (1) JP5500513B2 (zh)
CN (1) CN102577404B (zh)
WO (1) WO2011056473A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110139497A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
WO2011163359A2 (en) * 2010-06-23 2011-12-29 The Trustees Of Dartmouth College 3d scanning laser systems and methods for determining surface geometry of an immersed object in a transparent cylindrical glass tank
US9420259B2 (en) 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
KR101844292B1 (ko) 2011-06-24 2018-04-02 톰슨 라이센싱 3d 콘텐츠를 전달하는 방법 및 장치
JP6139829B2 (ja) * 2012-07-20 2017-05-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
CN102843566B (zh) * 2012-09-20 2015-06-17 歌尔声学股份有限公司 一种3d视频数据的通讯方法和设备
CN105049825A (zh) * 2015-07-06 2015-11-11 深圳市双平泰科技有限公司 一种图像显示处理方法及终端
US10091264B2 (en) * 2015-12-26 2018-10-02 Intel Corporation Technologies for streaming device role reversal
CN105979159B (zh) * 2016-07-21 2019-01-25 上海小蚁科技有限公司 设备的同步方法和同步系统
CN106341600A (zh) * 2016-09-23 2017-01-18 乐视控股(北京)有限公司 一种全景视频播放处理方法及装置
US11812162B2 (en) * 2021-06-22 2023-11-07 Dell Products L.P. Distribution of video processing tasks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
CN1541485A (zh) * 2001-08-15 2004-10-27 �ʼҷ����ֵ��ӹɷ����޹�˾ 3d视频会议系统
WO2007031584A1 (fr) * 2005-09-16 2007-03-22 France Telecom Procede d'animation d'un agent conversationnel tridimensionnel mettant en oeuvre une etape de controle du comportement visuel, dispositif et programme d'ordinateur correspondants
CN101137152A (zh) * 2007-09-27 2008-03-05 腾讯科技(深圳)有限公司 一种在移动即时通信中交互三维动画的方法、系统及设备
CN101257640A (zh) * 2008-02-04 2008-09-03 长春理工大学 基于i2c总线控制的立体视频信号合成装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4429328A (en) * 1981-07-16 1984-01-31 Cjm Associates Three-dimensional display methods using vertically aligned points of origin
EP0563737B1 (en) * 1992-03-23 1997-09-10 Canon Kabushiki Kaisha Multilens imaging apparatus with correction of misregistration
DE69421873T2 (de) * 1993-09-20 2000-06-15 Canon Kk Bildaufnahme- und anzeigesystem
JP2000197074A (ja) * 1998-12-25 2000-07-14 Canon Inc 立体映像再生装置及び出力装置及びその制御方法及び記憶媒体
US6704042B2 (en) 1998-12-10 2004-03-09 Canon Kabushiki Kaisha Video processing apparatus, control method therefor, and storage medium
EP1043887A1 (en) 1999-03-30 2000-10-11 World Callnet, Inc. Method and apparatus for providing internet access through a television and telephone system
AU3180501A (en) * 2000-01-31 2001-08-14 Erkki Rantalainen Method for modifying a visible object shot with a television camera
KR100367746B1 (ko) 2000-02-22 2003-01-10 주식회사 현민시스템 인터넷을 이용한 대화형 통신 시스템 및 통신방법
KR100360825B1 (ko) * 2000-09-01 2002-11-13 한국해양연구원 거리측정이 가능한 단동형 수중 스테레오 카메라
US7631039B2 (en) 2000-12-01 2009-12-08 Radvision Ltd. Initiation and support of video conferencing using instant messaging
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
FR2836215B1 (fr) * 2002-02-21 2004-11-05 Yodea Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet
AU2003281138A1 (en) 2002-07-16 2004-02-02 Electronics And Telecommunications Research Institute Apparatus and method for adapting 2d and 3d stereoscopic video signal
JP2004274642A (ja) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 3次元映像情報の伝送方法
US20040207719A1 (en) 2003-04-15 2004-10-21 Tervo Timo P. Method and apparatus for exploiting video streaming services of mobile terminals via proximity connections
US7447740B2 (en) 2003-12-19 2008-11-04 Microsoft Corporation Internet video conferencing on a home television
US20050138546A1 (en) 2003-12-23 2005-06-23 Microsoft Corporation Personalized web page on a home network for viewing on a television
KR100657751B1 (ko) 2004-08-31 2006-12-13 에스케이 텔레콤주식회사 이동 단말기에서 입체 영상을 제공하기 위한 방법 및 그이동 단말기
JP4336636B2 (ja) * 2004-09-21 2009-09-30 キヤノン株式会社 通信装置及び通信方法
US20060242678A1 (en) * 2005-04-20 2006-10-26 Anthony Pugliese, Remote network video content recorder system
WO2006121365A1 (fr) 2005-05-13 2006-11-16 A4 Vision S.A. Formation d'images tridimensionnelles pour une videoconference
US20060285832A1 (en) 2005-06-16 2006-12-21 River Past Corporation Systems and methods for creating and recording digital three-dimensional video streams
US8589142B2 (en) * 2005-06-29 2013-11-19 Qualcomm Incorporated Visual debugging system for 3D user interface program
US20070174876A1 (en) 2006-01-24 2007-07-26 Media Ip Holdings Llc Method and system for providing broadband access, HDTV, and broadband-enabled services
KR100701823B1 (ko) 2006-05-24 2007-03-30 (주)시뮬레이션연구소 메신저를 활용한 토이(Toy) 로봇간 통신시스템 및 이와연동되는 토이 로봇
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US8059170B2 (en) * 2006-08-28 2011-11-15 Creative Technology Ltd. Method and system for processing a video instant message
US7942530B2 (en) * 2006-10-31 2011-05-17 The Regents Of The University Of California Apparatus and method for self-calibrating multi-projector displays via plug and play projectors
KR20080066408A (ko) 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
JP4848983B2 (ja) * 2007-03-22 2011-12-28 カシオ計算機株式会社 画像記憶装置、画像記憶制御プログラム及び画像記憶方法
US20080256591A1 (en) * 2007-04-10 2008-10-16 Arcsoft, Inc. Virtual webcam and method thereof
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
US8776117B2 (en) 2007-12-28 2014-07-08 Verizon Patent And Licensing Inc. Method and apparatus for providing expanded displayable applications
JP2009206992A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 監視カメラシステム及び監視カメラ管理方法
US20090228945A1 (en) 2008-03-04 2009-09-10 At&T Delaware Intellectual Property, Inc. Systems, methods, and computer products for internet protocol television media connect
JP4792054B2 (ja) * 2008-03-24 2011-10-12 株式会社東芝 立体映像表示装置、立体映像表示方法及び液晶ディスプレイ
US8525802B2 (en) 2008-03-31 2013-09-03 Lg Electronics Inc. Portable terminal capable of sensing proximity touch and method for providing graphic user interface using the same
KR101277223B1 (ko) * 2008-07-09 2013-06-24 엘지디스플레이 주식회사 입체영상표시장치
JP2010071782A (ja) * 2008-09-18 2010-04-02 Omron Corp 3次元計測装置およびその方法
US8284233B2 (en) 2009-02-06 2012-10-09 Broadcom Corporation Utilizing image sequences to perform video streaming during video conferencing
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
CN1541485A (zh) * 2001-08-15 2004-10-27 �ʼҷ����ֵ��ӹɷ����޹�˾ 3d视频会议系统
WO2007031584A1 (fr) * 2005-09-16 2007-03-22 France Telecom Procede d'animation d'un agent conversationnel tridimensionnel mettant en oeuvre une etape de controle du comportement visuel, dispositif et programme d'ordinateur correspondants
CN101137152A (zh) * 2007-09-27 2008-03-05 腾讯科技(深圳)有限公司 一种在移动即时通信中交互三维动画的方法、系统及设备
CN101257640A (zh) * 2008-02-04 2008-09-03 长春理工大学 基于i2c总线控制的立体视频信号合成装置

Also Published As

Publication number Publication date
WO2011056473A3 (en) 2011-08-18
US8687046B2 (en) 2014-04-01
EP2478709A4 (en) 2013-05-29
EP2478709B1 (en) 2016-03-02
JP5500513B2 (ja) 2014-05-21
CN102577404A (zh) 2012-07-11
WO2011056473A2 (en) 2011-05-12
EP2478709A2 (en) 2012-07-25
JP2013509103A (ja) 2013-03-07
US20110109725A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
CN102577404B (zh) 用于二维(2d)视频信使应用的三维(3d)视频
US20170195650A1 (en) Method and system for multi point same screen broadcast of video
CN103248946B (zh) 一种视频图像快速传输的方法及系统
US20080216125A1 (en) Mobile Device Collaboration
US20110109715A1 (en) Automated wireless three-dimensional (3D) video conferencing via a tunerless television device
US20150145750A1 (en) System and method for image processing, and vehicle electronic device and portable terminal supporting the same
WO2015192631A1 (zh) 视频会议系统及方法
US9632588B1 (en) System and method for redirecting content based on gestures
US20180203660A1 (en) Display system
CN103703772A (zh) 内容播放方法和装置
KR101942270B1 (ko) 재생 지연 방지 시스템을 포함하는 미디어 재생 장치 및 방법
US9491401B2 (en) Video call method and electronic device supporting the method
US20210289165A1 (en) Display Device and Video Communication Data Processing Method
CN103168466A (zh) 虚拟视频俘获装置
US11223872B2 (en) Set-top box with enhanced functionality and system and method for use of same
US20230333803A1 (en) Enhanced Screen Sharing Method and System, and Electronic Device
CN109885270B (zh) 显示设备控制方法、显示设备以及存储介质
US20120308193A1 (en) Electronic apparatus and display control method
US20120254933A1 (en) Network video server and video control method thereof
KR102542070B1 (ko) Iptv 망 기반 가상현실 콘텐츠 제공 시스템 및 방법
CN113141541A (zh) 码率切换方法、装置、设备及存储介质
CN115150648A (zh) 显示设备及消息传输方法
US7612792B1 (en) Method and apparatus for adaptive video encoding based on user perception and use
CN112711459A (zh) 多媒体数据处理方法、装置、设备及计算机可读存储介质
CN105959781A (zh) 自动推送媒体内容的系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant