CN100499830C - 3d视频会议站和3d视频会议方法 - Google Patents
3d视频会议站和3d视频会议方法 Download PDFInfo
- Publication number
- CN100499830C CN100499830C CNB028158784A CN02815878A CN100499830C CN 100499830 C CN100499830 C CN 100499830C CN B028158784 A CNB028158784 A CN B028158784A CN 02815878 A CN02815878 A CN 02815878A CN 100499830 C CN100499830 C CN 100499830C
- Authority
- CN
- China
- Prior art keywords
- station
- video conference
- video
- depth
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
一种3D视频会议站(100)包括用于捕获视频信号的视频照相机(102)和用于创建3D视频会议站(100)的用户(114)的深度图(120)的深度图计算器(104)。视频信号连同深度图一起被发送作为3D视频数据。3D视频会议站(100)还包括用于显示立体图像的立体效果显示设备(112),该立体图像是基于所接收的3D视频数据计算得到的。由深度图计算器(104)生成的深度图还用于估算用户(114)的位置,以便控制立体图像的计算。
Description
技术领域
本发明涉及3D视频会议站和方法。
背景技术
在US 5,872,590中描述了一种允许观察立体效果的视频图像的图像显示装置。立体效果观察区域中的观察者的位置通过位置检测单元进行检测。通过图像形成单元形成右眼图像和左眼图像并显示在显示器上。通过设置投影光学系统的孔径位置,将右眼图像投影到观察者的右眼位置,并将左眼图像投影到观察者的左眼位置,由此允许观察到立体效果的图像。位置检测单元或是基于两个磁传感器,或是基于两个超声传感器。基于磁传感器的方法的缺点在于其是侵入式的:将一个特殊标记附着于观察者。基于超声传感器的位置检测单元的缺点在于其不够坚固。
发明内容
本发明的一个目的在于提供一种设计用于相对容易地跟踪用户位置的3D视频会议站和方法。为了这个目的,本发明提供一种通过独立权利要求定义的3D视频会议站和方法。从属权利要求定义了具有优势的实施例。
本发明的目的借助包括下列部分的3D视频会议站来实现:
-视频照相机,用于捕获视频信号;
-深度装置,用于创建3D视频会议站的用户的深度图;
-发送器,用于发送基于视频信号和深度图的3D视频数据;
-立体图像生成器,用于基于接收的3D视频数据使用用户的左眼和右眼相对于立体效果显示设备的位置生成立体图像,并且其中该左眼和右眼的位置是基于深度图的;以及
-立体效果显示设备,用于显示该生成的立体图像。
根据本发明的3D视频会议站的主要优点在于将深度图用于3D视频会议站的两种不同的任务:
-第一个任务是基于由照相机捕获的视频信号创建3D视频数据。3D视频数据使3D视频数据所发送到的第二3D视频会议站上的用户实现3D可视化。换句话说,深度图是第二3D视频会议站所使用的3D视频数据的一个基本要素。第二3D视频会议站通常位于另一个位置。
-第二个任务是跟踪用户相对于立体效果显示设备的位置。需要该位置来计算适当的图像对,即,立体图像。基于用户的位置,计算该图像对并将其从第二3D视频会议站中接收的3D视频数据中提供.换句话说,深度图用于跟踪用户的位置,或者更精确地说是跟踪他的眼睛,以便控制3D视频会议站本身的一部分。基于该深度图,能相对容易地确定用户的位置。在根据本发明的3D视频会议站中不要求对于用户或眼睛跟踪的额外设备,例如传感器.
在根据本发明的3D视频会议站的实施例中,深度装置设置为从与照相机登记(register)的深度传感器中接收信号。它们在几何位置上和时间空间上都相关联。使用与照相机登记的深度传感器的优点在于以相对高质量捕获相对容易的深度图。
在根据本发明的3D视频会议站的另一实施例中,深度装置设计为基于视频信号创建深度图。使用视频信号创建深度图的优点在于不需要额外的深度传感器.
根据本发明的3D视频会议站的实施例包括用于通过分析深度图来检测3D视频会议站的用户鼻子位置的处理器。为了控制显示在立体效果显示设备上的立体对的创建,尽可能更好地知道用户的眼睛位置是很重要的。用户的鼻子位置是眼睛位置的很好指示。在用户的深度图中可以相对容易地发现鼻子。
在根据本发明的3D视频会议站的实施例中,将处理器设计为通过搜索深度图的最大或最小深度值来检测3D视频会议站的用户的鼻子位置。用户的鼻子通常是脸中位于距离照相机最近的那一部分。因此根据坐标系,它对应于深度图的最大或最小值。找出深度图的最大或最小深度值是相对简单的操作。
在根据本发明的3D视频会议站的另一实施例中,处理器设计为通过比较深度图的深度值和人脸模型来检测3D视频会议站的用户的鼻子位置。在用户的头部相对于照相机倾斜的情况下,可能有用户的前额或下巴具有比对应于鼻子的深度值更低/更高的深度值。通过考虑深度图的多个深度值,并将这些深度值与人脸模型进行匹配,可以获得更可靠的鼻子检测。
在根据本发明的3D视频会议站的另一实施例中,处理器设计为通过计算对应于用户脸部一部分的深度图的区域的深度值的平均导数,来检测3D视频会议站的用户的头部方向。在用户头部相对于照相机扭转的情况下,鼻子位置和左眼之间的距离可以在相当大的程度上偏离鼻子位置和右眼之间的距离。在这种情况下,鼻子位置用来指示各个眼睛的位置不是很好。采用对应于用户脸部一部分的深度图的区域的深度值的平均导数,可以估算头部的方向。具有了头部方向和鼻子位置的信息,可以更精确地估算眼睛的位置.
在根据本发明的3D视频会议站的实施例中,处理器设计为基于3D视频会议站的用户的鼻子位置来检测左眼的第一位置和右眼的第二位置。用户的鼻子位置信息是用于控制创建图像对的良好起点。知道了实际的眼睛位置信息,可以实现改进的控制。
在根据本发明的3D视频会议站的优选实施例中,处理器设计为基于视频信号检测左眼的第一位置和右眼的第二位置。除了深度图之外,还输入视频信号用于3D视频会议站的处理器的该实施例。对应于视频信号的像素的任选色度和亮度值提供了额外的数据,这些数据对于改进眼睛检测的可靠性是非常有用的。
在文献“Fast,Reliable Head Tracking under Varying Illumination:An Approach Based on Registration of Texture-Mapped 3D models”(作者M.La Cascia等,IEEE Transactions on pattern analysis and machineintelligence,Vol.22,No.4,April2000)中描述了一种在改变照明条件下用于3D头部跟踪的技术。头部被模型化为一个结构映射的圆柱体.产生的动态结构图提供可以用于眼睛跟踪的稳定化的脸部视图。和根据本发明通过3D视频会议站执行的方法相比较,该文献中描述的方法对于眼睛跟踪来说相对更复杂。
视频会议站的各种修改及其变化可以对应于所描述的其眼睛跟踪器的修改和变化。
附图说明
根据本发明的3D视频会议站和方法的这些及其它方面将针对此后描述的实现方式和实施例并参考附图进行说明且变得显而易见,其中:
图1A示意性示出了3D视频会议站的实施例;
图1B示意性示出了包括深度传感器的3D视频会议站的实施例;
图1C示意性示出了设计为基于视频信号计算深度图的3D视频会议站的实施例;
图2A示意性示出了包括设计为检测用户的鼻子位置的处理器的3D视频会议站的实施例;
图2B示意性示出了包括设计为检测用户的眼睛位置的处理器的3D视频会议站的实施例;
图3示意性示出了包括根据本发明的两个3D视频会议站的3D视频会议系统。
在全部附图中相应的参考标号具有相同的含义.
具体实施方式
图1A示意性示出了3D视频会议站100的实施例,包括:
-视频照相机102,用于捕获视频信号;
-深度图计算器104,用于创建3D视频会议站100的用户114的深度图120;
-发送器106,用于发送基于视频信号和深度图120的3D视频数据;
-接收器110,用于接收已经由第二3D视频会议站301获取的3D视频数据;以及
-立体图像生成器108,用于基于由接收器110接收的3D视频数据生成立体图像。立体图像生成器108要求关于用户114的位置的信息。该信息从由深度图计算器104生成的深度图120中检索;以及
-立体效果显示设备112,用于显示由立体图像生成器108生成的立体图像。
在3D视频会议站100中可以区别两个主要数据流:
-输出数据流105:首先,存在通过视频照相机102捕获的视频信号。这些视频信号用深度图增强,产生3D视频数据。深度图由深度图计算器104生成。通过发送器106发送该3D视频数据.由3D视频会议站100在其输出连接器116处提供该3D视频数据。将3D视频可选地进行编码,例如根据MPEG标准格式其中之一。
-输入数据流107:第二,存在由第二3D视频会议站301生成的3D视频数据。该3D视频数据在输入连接器118处提供并由接收器110接收。立体图像生成器108根据用户114的位置,基于该3D视频数据提供立体图像。基于深度图120确定用户的位置。生成的立体图像通过立体效果显示设备112显示。
图1B示意性示出了包括深度传感器124的3D视频会议站101的实施例。将深度传感器124的信号提供给深度图计算器104的输入连接器122用于创建深度图.在这种情况下,深度传感器提供关于例如超声或红外波的传播时间的信号,该波分别由深度传感器生成,由用户反射并由深度传感器接收。深度图计算器104的主要任务是将关于传播时间的信号转换成深度值。其它任务是例如同步和临时存储数据。同步是由视频照相机102生成的视频信号所要求的。深度传感器124和视频照相机102在几何位置和时间空间上都相关联。换句话说,对应于由视频照相机102生成的视频信号的视频图像像素在空间上临时与由深度图计算器104创建的深度图相关联。注意,存在结合了视频照相机102、深度传感器124和深度图计算器104的功能的市场可买得到的系统,例如3DV Systems的ZcamTM.
图1C示意性示出了设计为基于视频信号计算深度图120的3D视频会议站103的实施例。在这种情况下,由视频照相机102捕获的视频信号还提供给深度图计算器104。通过应用几何关系,可以从运动中推导出深度信息。这一概念例如由P.Wilinski和K.van Overveld在文献“Depth from motion using confidence based block matching”(Proceedings of Image and Multidimensional Signal ProcessingWorkshop,pages 159-162,Alpbach,Austria,1998)和WO99/40726中有所描述。一系列图像中所有明显的运动产生于视差.一个片断和另一个片断之间的运动差异表示深度差异。分析两个连续的图像,可以计算在t时刻的给定图像片断和t+1时刻的相同图像片断之间的视差。该视差对应于场景不同部分的运动。在转换照相机的情况下,前景中的目标比背景中的目标移动得多。存在用户相对于照相机的移动这一点是很重要的。是照相机移动还是用户移动在原则上是不相关的。可以使用任选的多个照相机来捕获视频信号.在这种情况下创建深度图的方法在概念上是相同的。估算用于3D视频会议站103中的深度图并不限于在引用文献中描述的方法,还可以使用其它深度估算方法。
图2A示意性示出了包括设计为检测用户的鼻子位置的处理器202的3D视频会议站200的实施例。处理器202要求深度图120作为输入,并提供鼻子的位置坐标202给立体图像生成器108。定义坐标系使得接近于3D视频会议站200的点具有低深度值,即z坐标。用户注视立体效果显示设备112。视频照相机102和/或深度传感器124与立体效果显示设备112对准。结果,用户的鼻子具有相对低的z坐标。处理器的工作如下。每个预定时间间隔处理一个新的深度图。在每个深度图中搜索最低深度值。于是自动得知鼻子尖端的相应x和y坐标。
任选地执行深度图的一个分段,以确定深度图中对应于用户脸部的感兴趣的区域。该分段例如通过阈值运算来执行,即只保留低深度值。假设相对高的深度值对应于用户所在场景中的其它目标,例如背景。感兴趣区域的深度值和人脸模型进行比较。在这种情况下,采用模板匹配技术搜索鼻子的坐标。
任选地估算用户的头部方向。这可以通过计算感兴趣区域的深度值的导数来实现。假设用户的头部是相对对称的。比较感兴趣区域的左半部分的导数和该区域右半部分的导数,使得能够估算头部的方向。
任选地通过利用基于以前获得的深度图N-1所检测的位置来确定深度图N中鼻子的位置。这种方法的优点在于可以更快且更可靠地检测用户的鼻子。
图2B示意性示出了包括设计为检测用户的眼睛位置的处理器202的3D视频会议站201的实施例。处理器202要求深度图120作为输入,并提供眼睛的位置坐标204给立体图像生成器108。考虑用户的右眼和左眼的位置,由于人眼之间的间隔在统计上位于32.5mm至97.5mm的范围内,因此将两眼之间的间隔W设定为例如W=60mm,这已足够用于通过对两眼之间中心位置的坐标值加上或减去W/2来获得各个眼睛的x坐标值。这一中心位置可以对应于鼻子尖端的x坐标。任选地,这一中心位置基于鼻子尖端的x坐标,但是这是通过考虑了头部的方向。在这种情况下,从眼睛投影到鼻子尖端的距离是彼此不等的。
任选地,视频信号输入用于处理器。对应于视频信号的像素的色度和亮度值提供了额外的数据,这些数据对于改进眼睛检测的可靠性是非常有用的。通常眼睛导致对应于视频信号的图像中的高对比度.此外,眼睛的颜色在相当大的程度上偏离皮肤的颜色。
图3示意性示出了包括根据本发明的两个3D视频会议站100和301的3D视频会议系统300。结合图1A、1B、2A或2B其中之一描述3D视频会议站100和301的工作.3D视频会议站100和301可以借助专用通信链路进行连接。也可以使用例如internet的公共通信链路.优选地,3D视频会议系统允许在3D视频会议站100和301之间并行通信。任选地,3D视频会议系统100包括比两个3D视频会议站100和301更多的3D视频会议站。
采用图2A和2B中所示的深度图像计算器104和处理器202,可以构造眼睛跟踪器,其可以用于例如包括立体效果显示设备的各种类型的系统。
在实施例中使用立体效果视频作为3D视频的示例。其它3D可视化也是可能的,例如在其上呈现的3D模型根据观察者进行旋转的标准2D显示。可替换的可以使用多视图显示,例如结合多视频信道的Philips3D-LCD。这些多视图通常以固定方向投影。可以应用观察者的位置信息来控制这些方向。第三种替换可以为多深度层显示。
应当注意,上述实施例是为了描述而非限制本发明,本领域技术人员应当能够设计替换的实施例而不背离附属权利要求的范围。在权利要求中,括号中的任意参考符号并不意味着限制权利要求。术语“包括”并不意味着排除那些未列于权利要求中的元件或步骤。元件前面的冠词“一”并不排除多个这种元件的存在。本发明可以借助包括一些不同元件的硬件和借助适当编程的计算机来实现。在列举了几种装置的单个的权利要求中,这些装置可以通过一种和相同的硬件项目来体现。
Claims (12)
1.一种3D视频会议站(100),包括:
- 视频照相机(102),用于捕获视频信号;
- 深度装置(104),用于创建3D视频会议站(100)的用户(114)的深度图(120);
- 发送器(106),用于发送基于视频信号和深度图(120)的3D视频数据;
- 立体图像生成器(108),用于基于接收的3D视频数据使用用户(114)的左眼和右眼相对于立体效果显示设备(112)的位置生成立体图像,并且其中该左眼和右眼的位置是基于深度图(120)的;以及
- 该立体效果显示设备(112),用于显示该生成的立体图像。
2.根据权利要求1所述的3D视频会议站(101),其特征在于深度装置(104)被设置为从与照相机登记的深度传感器(124)中接收信号。
3.根据权利要求1所述的3D视频会议站(103),其特征在于深度装置(104)被设计为基于视频信号创建深度图(120)。
4.根据权利要求1所述的3D视频会议站(200),其特征在于3D视频会议站(200)包括用于通过分析深度图(120)来检测3D视频会议站(200)的用户(114)的鼻子位置的处理器(202)。
5.根据权利要求4所述的3D视频会议站(200),其特征在于处理器(202)被设计为通过搜索深度图(120)的最大或最小深度值来检测3D视频会议站(100)的用户(114)的鼻子位置。
6.根据权利要求4所述的3D视频会议站(200),其特征在于处理器被设计为通过比较深度图(120)的深度值和人脸的模型来检测3D视频会议站(100)的用户(114)的鼻子位置。
7.根据权利要求4所述的3D视频会议站(200),其特征在于处理器(202)被设计为通过计算对应于用户(114)脸部的一部分的深度图(120)的区域的深度值的平均导数,来检测3D视频会议站(100)的用户(114)的头部方向。
8.根据权利要求4所述的3D视频会议站(200),其特征在于处理器(202)被设计为基于3D视频会议站(200)的用户(114)的鼻子位置来检测左眼的第一位置和右眼的第二位置。
9.根据权利要求8所述的3D视频会议站(100),其特征在于处理器(202)被设计为基于视频信号检测左眼的第一位置和右眼的第二位置。
10.根据权利要求1所述的3D视频会议站(100),其特征在于还包括:
眼睛跟踪器(104、202),用于估算左眼的第一位置和右眼的第二位置,其特征在于眼睛跟踪器(104、202)被设计为基于深度图(120)估算左眼的第一位置和右眼的第二位置。
11.一种3D视频会议方法(100),包括:
- 捕获(102)视频信号;
- 创建(104)3D视频会议站(100)的用户(114)的深度图(120);
- 发送(106)基于视频信号和深度图(120)的3D视频数据;
- 基于接收的3D视频数据使用用户(114)的左眼和右眼相对于立体效果显示设备(112)的位置生成立体图像,并且其中该左眼和右眼的位置是基于深度图(120)的;以及
- 显示(112)该生成的立体图像。
12.根据权利要求11所述的3D视频会议方法(100),其特征在于还包括:
眼睛跟踪,用于估算左眼的第一位置和右眼的第二位置,其中基于深度图(120)估算左眼的第一位置和右眼的第二位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01203108.4 | 2001-08-15 | ||
EP01203108 | 2001-08-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1541485A CN1541485A (zh) | 2004-10-27 |
CN100499830C true CN100499830C (zh) | 2009-06-10 |
Family
ID=8180795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028158784A Expired - Fee Related CN100499830C (zh) | 2001-08-15 | 2002-07-09 | 3d视频会议站和3d视频会议方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7825948B2 (zh) |
EP (1) | EP1433335B1 (zh) |
JP (1) | JP4198054B2 (zh) |
KR (1) | KR20040030081A (zh) |
CN (1) | CN100499830C (zh) |
AT (1) | ATE483327T1 (zh) |
DE (1) | DE60237834D1 (zh) |
WO (1) | WO2003017680A1 (zh) |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040037450A1 (en) * | 2002-08-22 | 2004-02-26 | Bradski Gary R. | Method, apparatus and system for using computer vision to identify facial characteristics |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
JP4533895B2 (ja) | 2003-09-30 | 2010-09-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像レンダリングのための動き制御 |
US20050207486A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
US20050210408A1 (en) * | 2004-03-19 | 2005-09-22 | Baranda Emilia D | Alternative, customizable, simplified device settings menu |
US8345918B2 (en) * | 2004-04-14 | 2013-01-01 | L-3 Communications Corporation | Active subject privacy imaging |
US8300043B2 (en) * | 2004-06-24 | 2012-10-30 | Sony Ericsson Mobile Communications AG | Proximity assisted 3D rendering |
CN101002482B (zh) | 2004-08-10 | 2010-06-09 | 皇家飞利浦电子股份有限公司 | 视图模式的检测 |
US7747967B2 (en) * | 2004-10-21 | 2010-06-29 | Kyocera Mita Corporation | Differential tree and dialog device settings menu |
US7626569B2 (en) * | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
US7797753B2 (en) * | 2005-06-09 | 2010-09-14 | Kyocera Mita Corporation | Device driver setting profile lock-down |
KR100649523B1 (ko) * | 2005-06-30 | 2006-11-27 | 삼성에스디아이 주식회사 | 입체 영상 표시 장치 |
WO2007057497A1 (en) * | 2005-11-17 | 2007-05-24 | Nokia Corporation | Method and devices for generating, transferring and processing three-dimensional image data |
JP4997783B2 (ja) * | 2006-02-15 | 2012-08-08 | 富士ゼロックス株式会社 | 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法 |
US8760485B2 (en) * | 2006-03-02 | 2014-06-24 | Cisco Technology, Inc. | System and method for displaying participants in a videoconference between locations |
US20100091012A1 (en) * | 2006-09-28 | 2010-04-15 | Koninklijke Philips Electronics N.V. | 3 menu display |
US8358301B2 (en) * | 2006-10-30 | 2013-01-22 | Koninklijke Philips Electronics N.V. | Video depth map alignment |
US8077964B2 (en) * | 2007-03-19 | 2011-12-13 | Sony Corporation | Two dimensional/three dimensional digital information acquisition and display device |
US8558832B1 (en) * | 2007-06-19 | 2013-10-15 | Nvida Corporation | System, method, and computer program product for generating a plurality of two-dimensional images and depth maps for a scene at a point in time |
WO2009002115A2 (en) * | 2007-06-26 | 2008-12-31 | Lg Electronics Inc. | Media file format based on, method and apparatus for reproducing the same, and apparatus for generating the same |
DE602008006555D1 (de) * | 2007-07-03 | 2011-06-09 | Koninkl Philips Electronics Nv | Berechnung einer tiefenkarte |
DE102007039079B4 (de) * | 2007-08-16 | 2011-07-21 | VisuMotion GmbH, 07745 | Verfahren und Anordnung zur räumlichen Darstellung einer Szene mit nur geringer oder ohne Beleuchtung |
US10063848B2 (en) * | 2007-08-24 | 2018-08-28 | John G. Posa | Perspective altering display system |
GB2452510A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
US8842312B2 (en) * | 2007-11-20 | 2014-09-23 | Kyocera Document Solutions Inc. | Application-based profiles of printer driver settings |
CN101453662B (zh) * | 2007-12-03 | 2012-04-04 | 华为技术有限公司 | 立体视频通信终端、系统及方法 |
CN101459857B (zh) * | 2007-12-10 | 2012-09-05 | 华为终端有限公司 | 通信终端 |
TW200930069A (en) * | 2007-12-21 | 2009-07-01 | Altek Corp | Method for correcting red-eye |
CN101291415B (zh) * | 2008-05-30 | 2010-07-21 | 华为终端有限公司 | 一种三维视频通信的方法、装置及系统 |
ES2389401T3 (es) | 2008-06-17 | 2012-10-25 | Huawei Device Co., Ltd. | Método, aparato y sistema de comunicación a través de vídeo |
CN101350931B (zh) | 2008-08-27 | 2011-09-14 | 华为终端有限公司 | 音频信号的生成、播放方法及装置、处理系统 |
US8477175B2 (en) * | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
JP5388032B2 (ja) * | 2009-05-11 | 2014-01-15 | 独立行政法人情報通信研究機構 | 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム |
WO2010130084A1 (zh) * | 2009-05-12 | 2010-11-18 | 华为终端有限公司 | 远程呈现系统、方法及视频采集设备 |
US20100309290A1 (en) * | 2009-06-08 | 2010-12-09 | Stephen Brooks Myers | System for capture and display of stereoscopic content |
US8687046B2 (en) * | 2009-11-06 | 2014-04-01 | Sony Corporation | Three-dimensional (3D) video for two-dimensional (2D) video messenger applications |
US8320621B2 (en) * | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US20130332952A1 (en) * | 2010-04-12 | 2013-12-12 | Atul Anandpura | Method and Apparatus for Adding User Preferred Information To Video on TV |
US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
EP2608536B1 (en) * | 2010-08-17 | 2017-05-03 | LG Electronics Inc. | Method for counting objects and apparatus using a plurality of sensors |
US20120050495A1 (en) * | 2010-08-27 | 2012-03-01 | Xuemin Chen | Method and system for multi-view 3d video rendering |
US20120050483A1 (en) * | 2010-08-27 | 2012-03-01 | Chris Boross | Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information |
JP5520774B2 (ja) * | 2010-10-13 | 2014-06-11 | 日本電信電話株式会社 | コミュニケーション装置、コミュニケーション方法、及びプログラム |
KR101732135B1 (ko) | 2010-11-05 | 2017-05-11 | 삼성전자주식회사 | 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 |
KR101824005B1 (ko) * | 2011-04-08 | 2018-01-31 | 엘지전자 주식회사 | 이동 단말기 및 그의 영상 깊이감 조절방법 |
JP5087695B2 (ja) * | 2011-04-19 | 2012-12-05 | 株式会社東芝 | 電子機器および映像表示方法 |
US9432617B2 (en) | 2011-04-26 | 2016-08-30 | Dell Products L.P. | White balance adjustment of an image at an information handling system |
US9098110B2 (en) * | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
JP2013115668A (ja) * | 2011-11-29 | 2013-06-10 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
TWI584222B (zh) * | 2012-02-17 | 2017-05-21 | 鈺立微電子股份有限公司 | 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法 |
WO2012103820A2 (zh) | 2012-03-08 | 2012-08-09 | 华为技术有限公司 | 视频会议中突显关注者的方法、设备及系统 |
KR101295976B1 (ko) * | 2012-06-04 | 2013-08-13 | 충북대학교 산학협력단 | 3d 화상 회의 시스템 |
TWI521940B (zh) * | 2012-06-14 | 2016-02-11 | 杜比實驗室特許公司 | 用於立體及自動立體顯示器之深度圖傳遞格式 |
KR102044498B1 (ko) * | 2012-07-02 | 2019-11-13 | 삼성전자주식회사 | 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치. |
US9106908B2 (en) * | 2012-07-30 | 2015-08-11 | Intel Corporation | Video communication with three dimensional perception |
CN102917232B (zh) * | 2012-10-23 | 2014-12-24 | 深圳创维-Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9325943B2 (en) * | 2013-02-20 | 2016-04-26 | Microsoft Technology Licensing, Llc | Providing a tele-immersive experience using a mirror metaphor |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
WO2014165863A2 (en) * | 2013-04-05 | 2014-10-09 | Keane Sean Frederick | A system for capturing transmitting, and displaying volumetric data |
KR101509012B1 (ko) * | 2013-04-12 | 2015-04-06 | 조철연 | 구간 단위 강사 추적촬영시스템 및 그 방법 |
KR101502683B1 (ko) * | 2013-05-23 | 2015-03-17 | 경북대학교 산학협력단 | 3차원 센서를 이용한 강사 추적 시스템 |
JP6221394B2 (ja) | 2013-06-19 | 2017-11-01 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6154075B2 (ja) * | 2013-08-19 | 2017-06-28 | ノキア テクノロジーズ オーユー | オブジェクト検出及び分割の方法,装置,コンピュータプログラム製品 |
KR101535801B1 (ko) * | 2013-12-09 | 2015-07-24 | 계명대학교 산학협력단 | 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템 |
US20170293461A1 (en) * | 2016-04-07 | 2017-10-12 | VideoStitch Inc. | Graphical placement of immersive audio sources |
US20180089605A1 (en) * | 2016-09-23 | 2018-03-29 | Intel Corporation | Enhanced ride sharing user experience |
US10542300B2 (en) * | 2017-05-31 | 2020-01-21 | Verizon Patent And Licensing Inc. | Methods and systems for customizing virtual reality data |
US20190387165A1 (en) * | 2018-06-07 | 2019-12-19 | Eys3D Microelectronics, Co. | Image device for generating depth images and related electronic device |
US10764533B2 (en) * | 2018-11-09 | 2020-09-01 | Google Llc | Computerworkstation with curved lenticular display |
CN109274924A (zh) * | 2018-12-07 | 2019-01-25 | 合肥万户网络技术有限公司 | 一种基于虚拟现实的视频会议方法 |
US10979672B1 (en) * | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
WO2023230139A1 (en) * | 2022-05-24 | 2023-11-30 | Dolby Laboratories Licensing Corporation | Videoconferencing booth |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5969721A (en) * | 1997-06-03 | 1999-10-19 | At&T Corp. | System and apparatus for customizing a computer animation wireframe |
WO1999057900A1 (en) * | 1998-05-03 | 1999-11-11 | John Karl Myers | Videophone with enhanced user defined imaging system |
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
WO2000034919A1 (en) * | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4805015A (en) * | 1986-09-04 | 1989-02-14 | Copeland J William | Airborne stereoscopic imaging system |
US4964103A (en) * | 1989-07-13 | 1990-10-16 | Conoco Inc. | Three dimensional before stack depth migration of two dimensional or three dimensional seismic data |
JP3481631B2 (ja) * | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5617334A (en) * | 1995-07-21 | 1997-04-01 | The Trustees Of Columbia University In The City Of New York | Multi-viewpoint digital video coder/decoder and method |
AU1127197A (en) | 1995-12-04 | 1997-06-27 | David Sarnoff Research Center, Inc. | Wide field of view/narrow field of view recognition system and method |
JP3231618B2 (ja) | 1996-04-23 | 2001-11-26 | 日本電気株式会社 | 3次元画像符号化復号方式 |
US6020931A (en) * | 1996-04-25 | 2000-02-01 | George S. Sheng | Video composition and position system and media signal communication system |
US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
JP3397602B2 (ja) | 1996-11-11 | 2003-04-21 | 富士通株式会社 | 画像表示装置及び方法 |
JPH10255081A (ja) * | 1997-03-10 | 1998-09-25 | Canon Inc | 画像処理方法及び画像処理装置 |
JPH10307923A (ja) | 1997-05-01 | 1998-11-17 | Mitsubishi Electric Corp | 顔部品抽出装置および顔の向き検出装置 |
US6989834B2 (en) * | 1997-06-03 | 2006-01-24 | At&T Corp. | System and apparatus for customizing a computer animation wireframe |
EP0972407A2 (en) | 1998-02-06 | 2000-01-19 | Koninklijke Philips Electronics N.V. | Motion or depth estimation |
US6144861A (en) * | 1998-04-07 | 2000-11-07 | Telefonaktiebolaget Lm Ericsson | Downlink power control in a cellular mobile radio communications system |
JP2000076454A (ja) | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | 3次元形状データ処理装置 |
JP3768101B2 (ja) * | 1998-10-21 | 2006-04-19 | オムロン株式会社 | 地雷検知装置および検査装置 |
JP4473358B2 (ja) * | 1999-01-21 | 2010-06-02 | 株式会社東芝 | 診断装置 |
JP2001082147A (ja) | 1999-09-16 | 2001-03-27 | Nissan Motor Co Ltd | 自己着火ガソリンエンジン |
JP2001101429A (ja) | 1999-09-28 | 2001-04-13 | Omron Corp | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 |
KR20010089664A (ko) * | 1999-10-21 | 2001-10-08 | 요트.게.아. 롤페즈 | 3차원 모델링 시스템 및 방법 |
CN100364482C (zh) * | 2000-05-02 | 2008-01-30 | 富士胶片株式会社 | 超声波诊断装置 |
US6746921B2 (en) * | 2002-06-24 | 2004-06-08 | Micron Technology, Inc. | Method of forming an array of FLASH field effect transistors and circuitry peripheral to such array |
-
2002
- 2002-07-09 JP JP2003521629A patent/JP4198054B2/ja not_active Expired - Fee Related
- 2002-07-09 KR KR10-2004-7002186A patent/KR20040030081A/ko not_active Application Discontinuation
- 2002-07-09 DE DE60237834T patent/DE60237834D1/de not_active Expired - Lifetime
- 2002-07-09 AT AT02751481T patent/ATE483327T1/de not_active IP Right Cessation
- 2002-07-09 EP EP02751481A patent/EP1433335B1/en not_active Expired - Lifetime
- 2002-07-09 WO PCT/IB2002/002961 patent/WO2003017680A1/en active Application Filing
- 2002-07-09 CN CNB028158784A patent/CN100499830C/zh not_active Expired - Fee Related
- 2002-08-09 US US10/216,412 patent/US7825948B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
US5969721A (en) * | 1997-06-03 | 1999-10-19 | At&T Corp. | System and apparatus for customizing a computer animation wireframe |
WO1999057900A1 (en) * | 1998-05-03 | 1999-11-11 | John Karl Myers | Videophone with enhanced user defined imaging system |
WO2000034919A1 (en) * | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
Also Published As
Publication number | Publication date |
---|---|
WO2003017680A1 (en) | 2003-02-27 |
CN1541485A (zh) | 2004-10-27 |
US7825948B2 (en) | 2010-11-02 |
EP1433335B1 (en) | 2010-09-29 |
EP1433335A1 (en) | 2004-06-30 |
ATE483327T1 (de) | 2010-10-15 |
US20030035001A1 (en) | 2003-02-20 |
KR20040030081A (ko) | 2004-04-08 |
JP4198054B2 (ja) | 2008-12-17 |
JP2005500757A (ja) | 2005-01-06 |
DE60237834D1 (de) | 2010-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100499830C (zh) | 3d视频会议站和3d视频会议方法 | |
CN110582798B (zh) | 用于虚拟增强视觉同时定位和地图构建的系统和方法 | |
US10977818B2 (en) | Machine learning based model localization system | |
WO2019105190A1 (zh) | 增强现实场景的实现方法、装置、设备及存储介质 | |
JP6062039B2 (ja) | 画像処理システムおよび画像処理用プログラム | |
Levin | Real-time target and pose recognition for 3-d graphical overlay | |
US20140104394A1 (en) | System and method for combining data from multiple depth cameras | |
JP5554726B2 (ja) | データ関連付けのための方法と装置 | |
CN104104862A (zh) | 图像处理装置和图像处理方法 | |
CN107977082A (zh) | 一种用于呈现ar信息的方法及系统 | |
RU2370817C2 (ru) | Система и способ отслеживания объекта | |
US11710273B2 (en) | Image processing | |
Chen et al. | Camera networks for healthcare, teleimmersion, and surveillance | |
JPH10198506A (ja) | 座標検出システム | |
Kawai et al. | A support system for visually impaired persons to understand three-dimensional visual information using acoustic interface | |
CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 | |
KR20120090866A (ko) | 모바일 기기를 이용하는 증강현실 환경에서 복수 객체 추적방법 및 이를 이용한 시스템 | |
CN114374903A (zh) | 拾音方法和拾音装置 | |
KR20200109799A (ko) | 영상내 객체의 깊이정보를 추정하는 장치 및 방법 | |
CN101751116A (zh) | 交互式立体影像显示方法及其相关立体显示装置 | |
Kanbara et al. | A stereo vision-based augmented reality system with marker and natural feature tracking | |
US11934585B2 (en) | Method for performing interactive operation upon a stereoscopic image and stereoscopic image display system | |
Plopski et al. | Tracking systems: Calibration, hardware, and peripherals | |
US11907434B2 (en) | Information processing apparatus, information processing system, and information processing method | |
KR20230124313A (ko) | 가상 아바타 동기화 장치 및 방법, 가상 아바타 동기화 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090610 Termination date: 20150709 |
|
EXPY | Termination of patent right or utility model |