CN1541485A - 3d视频会议系统 - Google Patents

3d视频会议系统 Download PDF

Info

Publication number
CN1541485A
CN1541485A CNA028158784A CN02815878A CN1541485A CN 1541485 A CN1541485 A CN 1541485A CN A028158784 A CNA028158784 A CN A028158784A CN 02815878 A CN02815878 A CN 02815878A CN 1541485 A CN1541485 A CN 1541485A
Authority
CN
China
Prior art keywords
video conference
station
depth
video
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028158784A
Other languages
English (en)
Other versions
CN100499830C (zh
Inventor
B��W��D������˹��
B·W·D·范吉斯特
R�����յ±ȿ�
M·J·R·奥普德比克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1541485A publication Critical patent/CN1541485A/zh
Application granted granted Critical
Publication of CN100499830C publication Critical patent/CN100499830C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种3D视频会议站(100)包括用于捕获视频信号的视频照相机(102)和用于创建3D视频会议站(100)的用户(114)的深度图(120)的深度图计算器(104)。视频信号连同深度图一起被发送作为3D视频数据。3D视频会议站(100)还包括用于显示立体图像的立体效果显示设备(112)，该立体图像是基于所接收的3D视频数据计算得到的。由深度图计算器(104)生成的深度图还用于估算用户(114)的位置，以便控制立体图像的计算。

Description

3D视频会议系统
本发明涉及3D视频会议站和方法。
在US 5,872,590中描述了一种允许观察立体效果的视频图像的图像显示装置。立体效果观察区域中的观察者的位置通过位置检测单元进行检测。通过图像形成单元形成右眼图像和左眼图像并显示在显示器上。通过设置投影光学系统的孔径位置，将右眼图像投影到观察者的右眼位置，并将左眼图像投影到观察者的左眼位置，由此允许观察到立体效果的图像。位置检测单元或是基于两个磁传感器，或是基于两个超声传感器。基于磁传感器的方法的缺点在于其是侵入式的：将一个特殊标记附着于观察者。基于超声传感器的位置检测单元的缺点在于其不够坚固。
本发明的一个目的在于提供一种设计用于相对容易地跟踪用户位置的3D视频会议站和方法。为了这个目的，本发明提供一种通过独立权利要求定义的3D视频会议站和方法。本发明的另一方面提供一种特别用于这种3D视频会议站的眼睛跟踪方法和设备。从属权利要求定义了具有优势的实施例。
本发明的目的借助包括下列部分的3D视频会议站来实现：
-视频照相机，用于捕获视频信号；
-深度装置，用于创建3D视频会议站的用户的深度图；
-发送器，用于发送基于视频信号和深度图的3D视频数据；以及
-立体效果显示设备，用于显示基于深度图和所接收的视频信号计算得到的立体图像。
根据本发明的3D视频会议站的主要优点在于将深度图用于3D视频会议站的两种不同的任务：
-第一个任务是基于由照相机捕获的视频信号创建3D视频数据。3D视频数据使3D视频数据所发送到的第二3D视频会议站上的用户实现3D可视化。换句话说，深度图是第二3D视频会议站所使用的3D视频数据的一个基本要素。第二3D视频会议站通常位于另一个位置。
-第二个任务是跟踪用户相对于立体效果显示设备的位置。需要该位置来计算适当的图像对，即，立体图像。基于用户的位置，计算该图像对并将其从第二3D视频会议站中接收的3D视频数据中提供。换句话说，深度图用于跟踪用户的位置，或者更精确地说是跟踪他的眼睛，以便控制3D视频会议站本身的一部分。基于该深度图，能相对容易地确定用户的位置。在根据本发明的3D视频会议站中不要求对于用户或眼睛跟踪的额外设备，例如传感器。
在根据本发明的3D视频会议站的实施例中，深度装置设置为从与照相机登记(register)的深度传感器中接收信号。它们在几何位置上和时间空间上都相关联。使用与照相机登记的深度传感器的优点在于以相对高质量捕获相对容易的深度图。
在根据本发明的3D视频会议站的另一实施例中，深度装置设计为基于视频信号创建深度图。使用视频信号创建深度图的优点在于不需要额外的深度传感器。
根据本发明的3D视频会议站的实施例包括用于通过分析深度图来检测3D视频会议站的用户鼻子位置的处理器。为了控制显示在立体效果显示设备上的立体对的创建，尽可能更好地知道用户的眼睛位置是很重要的。用户的鼻子位置是眼睛位置的很好指示。在用户的深度图中可以相对容易地发现鼻子。
在根据本发明的3D视频会议站的实施例中，将处理器设计为通过搜索深度图的最大或最小深度值来检测3D视频会议站的用户的鼻子位置。用户的鼻子通常是脸中位于距离照相机最近的那一部分。因此根据坐标系，它对应于深度图的最大或最小值。找出深度图的最大或最小深度值是相对简单的操作。
在根据本发明的3D视频会议站的另一实施例中，处理器设计为通过比较深度图的深度值和人脸模型来检测3D视频会议站的用户的鼻子位置。在用户的头部相对于照相机倾斜的情况下，可能有用户的前额或下巴具有比对应于鼻子的深度值更低/更高的深度值。通过考虑深度图的多个深度值，并将这些深度值与人脸模型进行匹配，可以获得更可靠的鼻子检测。
在根据本发明的3D视频会议站的另一实施例中，处理器设计为通过计算对应于用户脸部一部分的深度图的区域的深度值的平均导数，来检测3D视频会议站的用户的头部方向。在用户头部相对于照相机扭转的情况下，鼻子位置和左眼之间的距离可以在相当大的程度上偏离鼻子位置和右眼之间的距离。在这种情况下，鼻子位置用来指示各个眼睛的位置不是很好。采用对应于用户脸部一部分的深度图的区域的深度值的平均导数，可以估算头部的方向。具有了头部方向和鼻子位置的信息，可以更精确地估算眼睛的位置。
在根据本发明的3D视频会议站的实施例中，处理器设计为基于3D视频会议站的用户的鼻子位置来检测左眼的第一位置和右眼的第二位置。用户的鼻子位置信息是用于控制创建图像对的良好起点。知道了实际的眼睛位置信息，可以实现改进的控制。
在根据本发明的3D视频会议站的优选实施例中，处理器设计为基于视频信号检测左眼的第一位置和右眼的第二位置。除了深度图之外，还输入视频信号用于3D视频会议站的处理器的该实施例。对应于视频信号的像素的任选色度和亮度值提供了额外的数据，这些数据对于改进眼睛检测的可靠性是非常有用的。
在文献“Fast，Reliable Head Tracking under VaryingIllumination：An Approach Based on Registration of Texture-Mapped3D models”(作者M.La Cascia等，IEEE Transactions on patternanalysis and machine intelligence，Vol.22，No.4，April 2000)中描述了一种在改变照明条件下用于3D头部跟踪的技术。头部被模型化为一个结构映射的圆柱体。产生的动态结构图提供可以用于眼睛跟踪的稳定化的脸部视图。和根据本发明通过3D视频会议站执行的方法相比较，该文献中描述的方法对于眼睛跟踪来说相对更复杂。
视频会议站的各种修改及其变化可以对应于所描述的其眼睛跟踪器和眼睛跟踪方法的修改和变化。
根据本发明的3D视频会议站和方法的这些及其它方面将针对此后描述的实现方式和实施例并参考附图进行说明且变得显而易见，其中：
图1A示意性示出了3D视频会议站的实施例；
图1B示意性示出了包括深度传感器的3D视频会议站的实施例；
图1C示意性示出了设计为基于视频信号计算深度图的3D视频会议站的实施例；
图2A示意性示出了包括设计为检测用户的鼻子位置的处理器的3D视频会议站的实施例；
图2B示意性示出了包括设计为检测用户的眼睛位置的处理器的3D视频会议站的实施例；
图3示意性示出了包括根据本发明的两个3D视频会议站的3D视频会议系统。
在全部附图中相应的参考标号具有相同的含义。
图1A示意性示出了3D视频会议站100的实施例，包括：
-视频照相机102，用于捕获视频信号；
-深度图计算器104，用于创建3D视频会议站100的用户114的深度图120；
-发送器106，用于发送基于视频信号和深度图120的3D视频数据；
-接收器110，用于接收已经由第二3D视频会议站301获取的3D视频数据；以及
-立体图像生成器108，用于基于由接收器110接收的3D视频数据生成立体图像。立体图像生成器108要求关于用户114的位置的信息。该信息从由深度图计算器104生成的深度图120中检索；以及
-立体效果显示设备112，用于显示由立体图像生成器108生成的立体图像。
在3D视频会议站100中可以区别两个主要数据流：
-输出数据流105：首先，存在通过视频照相机102捕获的视频信号。这些视频信号用深度图增强，产生3D视频数据。深度图由深度图计算器104生成。通过发送器106发送该3D视频数据。由3D视频会议站100在其输出连接器116处提供该3D视频数据。将3D视频可选地进行编码，例如根据MPEG标准格式其中之一。
-输入数据流107：第二，存在由第二3D视频会议站301生成的3D视频数据。该3D视频数据在输入连接器118处提供并由接收器110接收。立体图像生成器108根据用户114的位置，基于该3D视频数据提供立体图像。基于深度图120确定用户的位置。生成的立体图像通过立体效果显示设备112显示。
图1B示意性示出了包括深度传感器124的3D视频会议站101的实施例。将深度传感器124的信号提供给深度图计算器104的输入连接器122用于创建深度图。在这种情况下，深度传感器提供关于例如超声或红外波的传播时间的信号，该波分别由深度传感器生成，由用户反射并由深度传感器接收。深度图计算器104的主要任务是将关于传播时间的信号转换成深度值。其它任务是例如同步和临时存储数据。同步是由视频照相机102生成的视频信号所要求的。深度传感器124和视频照相机102在几何位置和时间空间上都相关联。换句话说，对应于由视频照相机102生成的视频信号的视频图像像素在空间上临时与由深度图计算器104创建的深度图相关联。注意，存在结合了视频照相机102、深度传感器124和深度图计算器104的功能的市场可买得到的系统，例如3DV Systems的ZcamTM。
图1C示意性示出了设计为基于视频信号计算深度图120的3D视频会议站103的实施例。在这种情况下，由视频照相机102捕获的视频信号还提供给深度图计算器104。通过应用几何关系，可以从运动中推导出深度信息。这一概念例如由P.Wilinski和K.van Overveld在文献“Depth from motion using confidence based block matching”(Proceedings of Image and Multidimensional Signal ProcessingWorkshop，pages 159-162，Alpbach，Austria，1998)和WO99/40726中有所描述。一系列图像中所有明显的运动产生于视差。一个片断和另一个片断之间的运动差异表示深度差异。分析两个连续的图像，可以计算在t时刻的给定图像片断和t+1时刻的相同图像片断之间的视差。该视差对应于场景不同部分的运动。在转换照相机的情况下，前景中的目标比背景中的目标移动得多。存在用户相对于照相机的移动这一点是很重要的。是照相机移动还是用户移动在原则上是不相关的。可以使用任选的多个照相机来捕获视频信号。在这种情况下创建深度图的方法在概念上是相同的。估算用于3D视频会议站103中的深度图并不限于在引用文献中描述的方法，还可以使用其它深度估算方法。
图2A示意性示出了包括设计为检测用户的鼻子位置的处理器202的3D视频会议站200的实施例。处理器202要求深度图120作为输入，并提供鼻子的位置坐标202给立体图像生成器108。定义坐标系使得接近于3D视频会议站200的点具有低深度值，即z坐标。用户注视立体效果显示设备112。视频照相机102和/或深度传感器124与立体效果显示设备112对准。结果，用户的鼻子具有相对低的z坐标。处理器的工作如下。每个预定时间间隔处理一个新的深度图。在每个深度图中搜索最低深度值。于是自动得知鼻子尖端的相应x和y坐标。
任选地执行深度图的一个分段，以确定深度图中对应于用户脸部的感兴趣的区域。该分段例如通过阈值运算来执行，即只保留低深度值。假设相对高的深度值对应于用户所在场景中的其它目标，例如背景。感兴趣区域的深度值和人脸模型进行比较。在这种情况下，采用模板匹配技术搜索鼻子的坐标。
任选地估算用户的头部方向。这可以通过计算感兴趣区域的深度值的导数来实现。假设用户的头部是相对对称的。比较感兴趣区域的左半部分的导数和该区域右半部分的导数，使得能够估算头部的方向。
任选地通过利用基于以前获得的深度图N-1所检测的位置来确定深度图N中鼻子的位置。这种方法的优点在于可以更快且更可靠地检测用户的鼻子。
图2B示意性示出了包括设计为检测用户的眼睛位置的处理器202的3D视频会议站201的实施例。处理器202要求深度图120作为输入，并提供眼睛的位置坐标204给立体图像生成器108。考虑用户的右眼和左眼的位置，由于人眼之间的间隔在统计上位于32.5mm至97.5mm的范围内，因此将两眼之间的间隔W设定为例如W＝60mm，这已足够用于通过对两眼之间中心位置的坐标值加上或减去W/2来获得各个眼睛的x坐标值。这一中心位置可以对应于鼻子尖端的x坐标。任选地，这一中心位置基于鼻子尖端的x坐标，但是这是通过考虑了头部的方向。在这种情况下，从眼睛投影到鼻子尖端的距离是彼此不等的。
任选地，视频信号输入用于处理器。对应于视频信号的像素的色度和亮度值提供了额外的数据，这些数据对于改进眼睛检测的可靠性是非常有用的。通常眼睛导致对应于视频信号的图像中的高对比度。此外，眼睛的颜色在相当大的程度上偏离皮肤的颜色。
图3示意性示出了包括根据本发明的两个3D视频会议站100和301的3D视频会议系统300。结合图1A、1B、2A或2B其中之一描述3D视频会议站100和301的工作。3D视频会议站100和301可以借助专用通信链路进行连接。也可以使用例如internet的公共通信链路。优选地，3D视频会议系统允许在3D视频会议站100和301之间并行通信。任选地，3D视频会议系统100包括比两个3D视频会议站100和301更多的3D视频会议站。
采用图2A和2B中所示的深度图像计算器104和处理器202，可以构造眼睛跟踪器，其可以用于例如包括立体效果显示设备的各种类型的系统。
在实施例中使用立体效果视频作为3D视频的示例。其它3D可视化也是可能的，例如在其上呈现的3D模型根据观察者进行旋转的标准2D显示。可替换的可以使用多视图显示，例如结合多视频信道的Philips 3D-LCD。这些多视图通常以固定方向投影。可以应用观察者的位置信息来控制这些方向。第三种替换可以为多深度层显示。
应当注意，上述实施例是为了描述而非限制本发明，本领域技术人员应当能够设计替换的实施例而不背离附属权利要求的范围。在权利要求中，括号中的任意参考符号并不意味着限制权利要求。术语“包括”并不意味着排除那些未列于权利要求中的元件或步骤。元件前面的冠词“一”并不排除多个这种元件的存在。本发明可以借助包括一些不同元件的硬件和借助适当编程的计算机来实现。在列举了几种装置的单个的权利要求中，这些装置可以通过一种和相同的硬件项目来体现。

Claims (12)

1.一种3D视频会议站(100)，包括：
-视频照相机(102)，用于捕获视频信号；
-深度装置(104)，用于创建3D视频会议站(100)的用户(114)的深度图(120)；
-发送器(106)，用于发送基于视频信号和深度图(120)的3D视频数据；以及
-立体效果显示设备(112)，用于显示基于深度图(120)和所接收的视频信号(110)来计算得到的立体图像。
2.根据权利要求1所述的3D视频会议站(101)，其特征在于深度装置(104)被设置为从与照相机登记的深度传感器(124)中接收信号。
3.根据权利要求1所述的3D视频会议站(103)，其特征在于深度装置(104)被设计为基于视频信号创建深度图(120)。
4.根据权利要求1所述的3D视频会议站(200)，其特征在于3D视频会议站(200)包括用于通过分析深度图(120)来检测3D视频会议站(200)的用户(114)的鼻子位置的处理器(202)。
5.根据权利要求4所述的3D视频会议站(200)，其特征在于处理器(202)被设计为通过搜索深度图(120)的最大或最小深度值来检测3D视频会议站(100)的用户(114)的鼻子位置。
6.根据权利要求4所述的3D视频会议站(200)，其特征在于处理器被设计为通过比较深度图(120)的深度值和人脸的模型来检测3D视频会议站(100)的用户(114)的鼻子位置。
7.根据权利要求4所述的3D视频会议站(200)，其特征在于处理器(202)被设计为通过计算对应于用户(114)脸部的一部分的深度图(120)的区域的深度值的平均导数，来检测3D视频会议站(100)的用户(114)的头部方向。
8.根据权利要求4所述的3D视频会议站(200)，其特征在于处理器(202)被设计为基于3D视频会议站(200)的用户(114)的鼻子位置来检测左眼的第一位置和右眼的第二位置。
9.根据权利要求8所述的3D视频会议站(100)，其特征在于处理器(202)被设计为基于视频信号检测左眼的第一位置和右眼的第二位置。
10.一种3D视频会议方法(100)，包括：
-捕获(102)视频信号；
-创建(104)3D视频会议站(100)的用户(114)的深度图(120)；
-发送(106)基于视频信号和深度图(120)的3D视频数据；以及
-显示(112)基于深度图(120)和所接收的视频信号(110)计算得到的立体图像。
11.一种眼睛跟踪器(104、202)，用于估算左眼的第一位置和右眼的第二位置，其特征在于眼睛跟踪器(104、202)被设计为基于深度图(120)估算左眼的第一位置和右眼的第二位置。
12.一种眼睛跟踪方法，用于估算左眼的第一位置和右眼的第二位置，其特征在于基于深度图(120)估算左眼的第一位置和右眼的第二位置。
CNB028158784A 2001-08-15 2002-07-09 3d视频会议站和3d视频会议方法 Expired - Fee Related CN100499830C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01203108.4 2001-08-15
EP01203108 2001-08-15

Publications (2)

Publication Number Publication Date
CN1541485A true CN1541485A (zh) 2004-10-27
CN100499830C CN100499830C (zh) 2009-06-10

Family

ID=8180795

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028158784A Expired - Fee Related CN100499830C (zh) 2001-08-15 2002-07-09 3d视频会议站和3d视频会议方法

Country Status (8)

Country Link
US (1) US7825948B2 (zh)
EP (1) EP1433335B1 (zh)
JP (1) JP4198054B2 (zh)
KR (1) KR20040030081A (zh)
CN (1) CN100499830C (zh)
AT (1) ATE483327T1 (zh)
DE (1) DE60237834D1 (zh)
WO (1) WO2003017680A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009074110A1 (en) * 2007-12-10 2009-06-18 Shenzhen Huawei Communication Technologies Co., Ltd. Communication terminal and information system
WO2009143735A1 (zh) * 2008-05-30 2009-12-03 深圳华为通信技术有限公司 三维视频通信的方法、装置及系统
CN101022352B (zh) * 2006-02-15 2011-07-06 富士施乐株式会社 电子会议系统、电子会议控制器、信息终端设备以及电子会议支持方法
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102342100A (zh) * 2009-03-09 2012-02-01 思科技术公司 用于在网络环境中提供三维成像的系统和方法
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
CN101395912B (zh) * 2006-03-02 2012-05-09 思科技术公司 用于显示位置之间的视频会议中的参与者的系统和方法
CN101415125B (zh) * 2007-09-05 2012-07-11 索尼株式会社 用于通信的系统和方法
CN102577404A (zh) * 2009-11-06 2012-07-11 索尼公司 用于二维(2d)视频信使应用的三维(3d)视频
CN101720480B (zh) * 2007-07-03 2012-07-18 皇家飞利浦电子股份有限公司 计算深度图
WO2012103820A2 (zh) * 2012-03-08 2012-08-09 华为技术有限公司 视频会议中突显关注者的方法、设备及系统
CN102647606A (zh) * 2012-02-17 2012-08-22 钰创科技股份有限公司 立体影像处理器、立体影像互动系统及立体影像显示方法
CN105531998A (zh) * 2013-08-19 2016-04-27 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
CN100449572C (zh) * 2003-09-30 2009-01-07 皇家飞利浦电子股份有限公司 图像再现的运动控制
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US20050210408A1 (en) * 2004-03-19 2005-09-22 Baranda Emilia D Alternative, customizable, simplified device settings menu
US8345918B2 (en) * 2004-04-14 2013-01-01 L-3 Communications Corporation Active subject privacy imaging
US8300043B2 (en) * 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
CN101002482B (zh) 2004-08-10 2010-06-09 皇家飞利浦电子股份有限公司 视图模式的检测
US7747967B2 (en) * 2004-10-21 2010-06-29 Kyocera Mita Corporation Differential tree and dialog device settings menu
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US7797753B2 (en) * 2005-06-09 2010-09-14 Kyocera Mita Corporation Device driver setting profile lock-down
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
US8619121B2 (en) * 2005-11-17 2013-12-31 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
WO2008053417A1 (en) * 2006-10-30 2008-05-08 Koninklijke Philips Electronics N.V. Video depth map alignment
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US8558832B1 (en) * 2007-06-19 2013-10-15 Nvida Corporation System, method, and computer program product for generating a plurality of two-dimensional images and depth maps for a scene at a point in time
WO2009002115A2 (en) * 2007-06-26 2008-12-31 Lg Electronics Inc. Media file format based on, method and apparatus for reproducing the same, and apparatus for generating the same
DE102007039079B4 (de) * 2007-08-16 2011-07-21 VisuMotion GmbH, 07745 Verfahren und Anordnung zur räumlichen Darstellung einer Szene mit nur geringer oder ohne Beleuchtung
US10063848B2 (en) * 2007-08-24 2018-08-28 John G. Posa Perspective altering display system
US8842312B2 (en) * 2007-11-20 2014-09-23 Kyocera Document Solutions Inc. Application-based profiles of printer driver settings
TW200930069A (en) * 2007-12-21 2009-07-01 Altek Corp Method for correcting red-eye
PL2299726T3 (pl) 2008-06-17 2013-01-31 Huawei Device Co Ltd Sposób, urządzenie i system komunikacji wideo
CN101350931B (zh) 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
JP5388032B2 (ja) * 2009-05-11 2014-01-15 独立行政法人情報通信研究機構 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム
BRPI0924076B1 (pt) * 2009-05-12 2021-09-21 Huawei Device (Shenzhen) Co., Ltd. Sistema de telepresença e método de telepresença
US20100309290A1 (en) * 2009-06-08 2010-12-09 Stephen Brooks Myers System for capture and display of stereoscopic content
US20130332952A1 (en) * 2010-04-12 2013-12-12 Atul Anandpura Method and Apparatus for Adding User Preferred Information To Video on TV
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9087258B2 (en) 2010-08-17 2015-07-21 Lg Electronics Inc. Method for counting objects and apparatus using a plurality of sensors
US20120050495A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for multi-view 3d video rendering
US9100640B2 (en) * 2010-08-27 2015-08-04 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information
JP5520774B2 (ja) * 2010-10-13 2014-06-11 日本電信電話株式会社 コミュニケーション装置、コミュニケーション方法、及びプログラム
KR101732135B1 (ko) * 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
KR101824005B1 (ko) * 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
JP5087695B2 (ja) * 2011-04-19 2012-12-05 株式会社東芝 電子機器および映像表示方法
US9432617B2 (en) 2011-04-26 2016-08-30 Dell Products L.P. White balance adjustment of an image at an information handling system
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
JP2013115668A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101295976B1 (ko) * 2012-06-04 2013-08-13 충북대학교 산학협력단 3ｄ 화상 회의 시스템
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
KR102044498B1 (ko) * 2012-07-02 2019-11-13 삼성전자주식회사 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치.
US9106908B2 (en) * 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
CN102917232B (zh) * 2012-10-23 2014-12-24 深圳创维－Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014165863A2 (en) * 2013-04-05 2014-10-09 Keane Sean Frederick A system for capturing transmitting, and displaying volumetric data
KR101509012B1 (ko) * 2013-04-12 2015-04-06 조철연 구간 단위 강사 추적촬영시스템 및 그 방법
KR101502683B1 (ko) * 2013-05-23 2015-03-17 경북대학교 산학협력단 3차원 센서를 이용한 강사 추적 시스템
JP6221394B2 (ja) 2013-06-19 2017-11-01 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101535801B1 (ko) * 2013-12-09 2015-07-24 계명대학교 산학협력단 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
US20170293461A1 (en) * 2016-04-07 2017-10-12 VideoStitch Inc. Graphical placement of immersive audio sources
US20180089605A1 (en) * 2016-09-23 2018-03-29 Intel Corporation Enhanced ride sharing user experience
US10542300B2 (en) * 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
US10764533B2 (en) * 2018-11-09 2020-09-01 Google Llc Computerworkstation with curved lenticular display
CN109274924A (zh) * 2018-12-07 2019-01-25 合肥万户网络技术有限公司 一种基于虚拟现实的视频会议方法
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
WO2023230139A1 (en) * 2022-05-24 2023-11-30 Dolby Laboratories Licensing Corporation Videoconferencing booth

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
US4964103A (en) * 1989-07-13 1990-10-16 Conoco Inc. Three dimensional before stack depth migration of two dimensional or three dimensional seismic data
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
WO1997021188A1 (en) 1995-12-04 1997-06-12 David Sarnoff Research Center, Inc. Wide field of view/narrow field of view recognition system and method
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP3231618B2 (ja) 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6020931A (en) * 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
JP3397602B2 (ja) 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
JPH10255081A (ja) * 1997-03-10 1998-09-25 Canon Inc 画像処理方法及び画像処理装置
JPH10307923A (ja) 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
US5969721A (en) * 1997-06-03 1999-10-19 At&T Corp. System and apparatus for customizing a computer animation wireframe
US6989834B2 (en) * 1997-06-03 2006-01-24 At&T Corp. System and apparatus for customizing a computer animation wireframe
WO1999040726A2 (en) 1998-02-06 1999-08-12 Koninklijke Philips Electronics N.V. Motion or depth estimation
US6144861A (en) * 1998-04-07 2000-11-07 Telefonaktiebolaget Lm Ericsson Downlink power control in a cellular mobile radio communications system
AU4307499A (en) * 1998-05-03 1999-11-23 John Karl Myers Videophone with enhanced user defined imaging system
JP2000076454A (ja) 1998-08-31 2000-03-14 Minolta Co Ltd ３次元形状データ処理装置
WO2000023762A1 (fr) * 1998-10-21 2000-04-27 Omron Corporation Detecteur de mines et appareil d'inspection
US6661918B1 (en) * 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
JP4473358B2 (ja) * 1999-01-21 2010-06-02 株式会社東芝 診断装置
JP2001082147A (ja) 1999-09-16 2001-03-27 Nissan Motor Co Ltd 自己着火ガソリンエンジン
JP2001101429A (ja) 1999-09-28 2001-04-13 Omron Corp 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
WO2001029767A2 (en) * 1999-10-21 2001-04-26 Koninklijke Philips Electronics N.V. System and method for three-dimensional modeling
CN1185485C (zh) * 2000-05-02 2005-01-19 富士胶片株式会社 超声波探头
US6746921B2 (en) * 2002-06-24 2004-06-08 Micron Technology, Inc. Method of forming an array of FLASH field effect transistors and circuitry peripheral to such array

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101022352B (zh) * 2006-02-15 2011-07-06 富士施乐株式会社 电子会议系统、电子会议控制器、信息终端设备以及电子会议支持方法
CN101395912B (zh) * 2006-03-02 2012-05-09 思科技术公司 用于显示位置之间的视频会议中的参与者的系统和方法
CN101720480B (zh) * 2007-07-03 2012-07-18 皇家飞利浦电子股份有限公司 计算深度图
CN101415125B (zh) * 2007-09-05 2012-07-11 索尼株式会社 用于通信的系统和方法
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
WO2009074110A1 (en) * 2007-12-10 2009-06-18 Shenzhen Huawei Communication Technologies Co., Ltd. Communication terminal and information system
US8736659B2 (en) 2008-05-30 2014-05-27 Huawei Device Co., Ltd. Method, apparatus, and system for 3D video communication
US8456505B2 (en) 2008-05-30 2013-06-04 Huawei Device Co., Ltd. Method, apparatus, and system for 3D video communication
WO2009143735A1 (zh) * 2008-05-30 2009-12-03 深圳华为通信技术有限公司 三维视频通信的方法、装置及系统
CN102342100B (zh) * 2009-03-09 2015-09-16 思科技术公司 用于在网络环境中提供三维成像的系统和方法
CN102342100A (zh) * 2009-03-09 2012-02-01 思科技术公司 用于在网络环境中提供三维成像的系统和方法
CN102577404A (zh) * 2009-11-06 2012-07-11 索尼公司 用于二维(2d)视频信使应用的三维(3d)视频
CN102577404B (zh) * 2009-11-06 2015-12-09 索尼公司 用于二维(2d)视频信使应用的三维(3d)视频
CN102129152B (zh) * 2009-12-21 2015-09-02 微软技术许可有限责任公司 具有集成vcsel阵列的深度投影仪系统
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102647606B (zh) * 2012-02-17 2015-01-07 钰创科技股份有限公司 立体影像处理器、立体影像互动系统及立体影像显示方法
CN102647606A (zh) * 2012-02-17 2012-08-22 钰创科技股份有限公司 立体影像处理器、立体影像互动系统及立体影像显示方法
WO2012103820A2 (zh) * 2012-03-08 2012-08-09 华为技术有限公司 视频会议中突显关注者的方法、设备及系统
US9041764B2 (en) 2012-03-08 2015-05-26 Huawei Technologies Co., Ltd. Method, device, and system for highlighting party of interest in video conferencing
WO2012103820A3 (zh) * 2012-03-08 2013-02-21 华为技术有限公司 视频会议中突显关注者的方法、设备及系统
CN102714705A (zh) * 2012-03-08 2012-10-03 华为技术有限公司 视频会议中突显关注者的方法、设备及系统
CN105531998A (zh) * 2013-08-19 2016-04-27 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
CN105531998B (zh) * 2013-08-19 2017-07-07 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品

Also Published As

Publication number Publication date
WO2003017680A1 (en) 2003-02-27
US20030035001A1 (en) 2003-02-20
KR20040030081A (ko) 2004-04-08
ATE483327T1 (de) 2010-10-15
JP2005500757A (ja) 2005-01-06
JP4198054B2 (ja) 2008-12-17
CN100499830C (zh) 2009-06-10
DE60237834D1 (de) 2010-11-11
EP1433335A1 (en) 2004-06-30
US7825948B2 (en) 2010-11-02
EP1433335B1 (en) 2010-09-29

Similar Documents

Publication Publication Date Title
CN100499830C (zh) 3d视频会议站和3d视频会议方法
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的系统和方法
JP6548518B2 (ja) 情報処理装置および情報処理方法
US20080278487A1 (en) Method and Device for Three-Dimensional Rendering
WO2020237611A1 (zh) 图像处理方法、装置、控制终端及可移动设备
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
Levin Real-time target and pose recognition for 3-d graphical overlay
KR20150083581A (ko) 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
JP5554726B2 (ja) データ関連付けのための方法と装置
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
AU2012350230B2 (en) Method of 3D reconstruction of a scene calling upon asynchronous sensors
US20230014421A1 (en) 6DoF INSIDE-OUT TRACKING GAME CONTROLLER INITIAL REGISTRATION
RU2370817C2 (ru) Система и способ отслеживания объекта
Argyros et al. Binocular hand tracking and reconstruction based on 2D shape matching
KR20140074201A (ko) 추적 장치
KR20120026956A (ko) 동작 인식 장치 및 그 방법
JPH10198506A (ja) 座標検出システム
Kawai et al. A support system for visually impaired persons to understand three-dimensional visual information using acoustic interface
Andiel et al. Eye tracking for autostereoscopic displays using web cams
KR101945097B1 (ko) 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법
CN114374903B (zh) 拾音方法和拾音装置
KR20200109799A (ko) 영상내 객체의 깊이정보를 추정하는 장치 및 방법
JP4185271B2 (ja) 位置検出装置及び位置検出プログラム
US11934585B2 (en) Method for performing interactive operation upon a stereoscopic image and stereoscopic image display system
Kanbara et al. A stereo vision-based augmented reality system with marker and natural feature tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090610

Termination date: 20150709

EXPY Termination of patent right or utility model