CN100521770C - 3d视频会议系统 - Google Patents

3d视频会议系统 Download PDF

Info

Publication number
CN100521770C
CN100521770C CNB2004800068371A CN200480006837A CN100521770C CN 100521770 C CN100521770 C CN 100521770C CN B2004800068371 A CNB2004800068371 A CN B2004800068371A CN 200480006837 A CN200480006837 A CN 200480006837A CN 100521770 C CN100521770 C CN 100521770C
Authority
CN
China
Prior art keywords
image
polarization direction
polarising means
user
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800068371A
Other languages
English (en)
Other versions
CN1762157A (zh
Inventor
B·W·D·范格斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pendragon wireless limited liability company
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1762157A publication Critical patent/CN1762157A/zh
Application granted granted Critical
Publication of CN100521770C publication Critical patent/CN100521770C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Glass Compositions (AREA)

Abstract

一种3D视频会议平台(200、300、500、700)包括：一个用于采集第一用户(110)的第一图像(604)和第二图像(602)的照相机(104)；以及用于使第二用户的立体图像显象的光学装置，该光学装置包括用于该第一用户(110)的眼镜。该平台(200、300、500、700)被设置成在第一时刻采集该第一图像(604)并在第二时刻采集第二图像(602)，在第一时刻中该第一用户(110)的左眼比在第二时刻中可更好地被该照相机(104)观察到，在第二时刻中该第一用户(110)的右眼比在第一时刻中可更好地被该照相机(104)观察到。该平台进一步包括组合装置(714)，用于将该第一图像(604)的第一部分与该第二图像(602)的第二部分组合成一个第三图像(606)，在该第三图像中，第一用户(110)的左眼和右眼均被相对较好地看见。

Description

3D视频会议系统
技术领域
本发明涉及一种3D视频会议平台(station)，该平台包括：
-用于采集第一用户的第一图像和该第一用户的第二图像的照相机；
-用于接收第二用户的立体图像的接收装置；
-用于使所述立体图像显象的光学装置，所述光学装置包括用于该第一用户的眼镜。
背景技术
众所周知，非语言的消息构成个人通信的一个重要方面。这就是为什么人们具有要看到与他们交谈的人的自然需求的原因。廉价的网络摄像机的出现和用于IP业务的带宽的增加开始使得人们可以在家中或在办公室内进行个人可视通信。对可视通信系统增加给人的深刻印象即给用户好像真的和那个与他们交谈的人在一起的印象的一个方法是给显象增加一个第三空间维。图1示出一种可能的设置，即3D视频会议平台的一个例子。两台照相机104-106记录第一用户的立体图像。这个立体图像通过一个通信信道被传送到其中放置了类似的3D视频会议平台的远程位置。在该远程位置，立体图像例如被顺序地显示。3D视频会议平台包括一个被设计成在第一和第二偏振方向之间交替的电光设备108。该电光设备108被放置在显示设备102例如CRT监视器的前面，并与交替显示的左图像和右图像同步。第一用户戴着针对每只眼睛116-118具有不同偏振滤光片112-114的眼镜。左偏振滤光片114对第一偏振方向上的光基本上是半透明的(translucent)，而对第二偏振方向上的光基本上是不透明的。右偏振滤光片112对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光是不透明的。通过这种方式，第一用户的左眼118可以看见利用远程3D视频会议平台的左照相机(未示出)记录的图像，而第一用户的右眼116可以看见利用远程3D视频会议平台的右照相机(未示出)记录的图像。因此，第一用户看见了第二远程用户的立体图像。
在这个应用中使用具有偏振滤光片112-114的眼镜具有眼睛的可见度降低的恼人的副作用。换言之，它使得难以看到与第二用户交谈的第一用户的眼睛，并且反之亦然。注意，看见眼睛很可能是原先选择可视通信的最重要的原因。下面对可见度的降低进行解释。光源120照射第一用户110的面部。利用一组照相机104-106来拍摄图像。想象光源120发出的光线在用户的右眼区域116处反射向照相机104。这个光线穿过右眼116前面的偏振滤光片112，在第一方向上变成偏振的并因此损失其强度的50％。随后，光线在眼睛区域116处被反射，并且损失了它的偏振。反射后的光线再次穿过偏振滤光片112并变成偏振的，再次损失其强度的50％；并且最后被照相机104记录。与在面部的其他部分上反射的光线相比，在这个过程中损失了原始强度的75％。
发明内容
本发明的目的是提供一种在开始段落中描述的类型的3D视频会议平台，由此第一用户的眼睛较好地被远程3D视频会议平台的第二用户看见。
本发明的这个目的的实现是因为平台被设置成在第一时刻采集第一图像并在第二时刻采集第二图像，以及因为平台包括用于根据与第一用户的左眼相应的第一图像的第一部分以及与第一用户的右眼相应的第二图像的第二部分来计算第三图像的计算装置，其中，第一用户的左眼在第一时刻比在第二时刻可更好地被照相机观察到，而第一用户的右眼在第二时刻比在第一时刻可更好地被照相机观察到。因此，第一用户的左眼和右眼比较好地被看见。本发明的一个重要的方面是图像采集的同步。这意味着在第一时刻采集第一图像，在第一时刻中，与来自面部的其他部分的其他光线相比，来自第一用户的左眼附近的面部区域的光线可以在基本上没有强度损失的情况下穿过眼镜的左部传向照相机。类似地，第二图像在第二时刻被采集，在第二时刻中，与来自面部的其他部分的其他光线相比，来自第一用户的右眼附近的面部区域的光线可以在基本上没有强度损失的情况下穿过眼镜的左部传向照相机。
本发明的另一个重要的方面是根据在第一时刻采集的第一图像和根据在第二时刻采集的第二图像来合成第三图像，在第一时刻中，与第一用户面部的其他部分相比，左眼附近的面部区域可相对较好地被照相机观察到，在第二时刻中，与第一用户面部的其他部分相比，右眼附近的面部区域可相对较好地被照相机观察到。
根据本发明的3D视频会议平台的一个实施例包括：
-一个用于显示立体图像的显示装置；
-一个被布置在眼镜的左部的第一电光快门，该第一电光快门具有一个使第一用户利用左眼能够看到该显示装置的第一开启状态以及一个使第一用户利用左眼不能看到显示装置的第一关闭状态；
-一个被布置在眼镜的右部的第二电光快门，该第二电光快门具有一个使第一用户利用右眼能够看到该显示装置的第二开启状态以及一个使第一用户利用右眼不能看到显示装置的第二关闭状态；以及
-同步装置，用于在该第一电光快门处于第一开启状态时采集该第一图像，以及在该第二电光快门处于第二开启状态时采集该第二图像。
在根据本发明的这个实施例中，基于时分多路复用来显示立体图像。左眼和右眼前面的这两个电光快门分别交替地关闭和开启，以使第一用户利用相应的眼睛能够看见正被显示装置显示的图像。这意味着图像显示装置与这两个电光快门同步。通过照相机进行的图像采集还与这些电光快门同步。这意味着第一图像是在第一电光快门处于开启状态的时刻通过照相机采集的，以及第二图像是在第二电光快门处于开启状态的时刻通过照相机采集的。在电光快门处于开启状态时图像的采集意味着眼睛周围的区域的照相机可观察性比得上面部其他区域的照相机可观察性。
根据本发明的3D视频会议平台的另一个实施例包括：
-一个用于显示立体图像的显示装置；
-一个第一偏振装置，其被布置在该显示装置的前面，并被设置成在第一偏振状态与第二偏振状态之间转换，在第一偏振状态中，该第一偏振装置对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的，在第二偏振状态中，该第一偏振装置对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个第二偏振装置，其被布置在眼镜的左部，并对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的；
-一个第三偏振装置，其被布置在眼镜的右部，并对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个第四偏振装置，其被布置在照相机的前面，并被设置成在第三偏振状态和第四偏振状态之间转换，在第三偏振状态中，该第四偏振装置对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的，在第四偏振状态中，该第四偏振装置对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；以及
-同步装置，用于在该第四偏振装置处于该第三偏振状态时采集第一图像，以及在该第四偏振装置处于该第四偏振状态时采集第二图像。
在根据本发明的这个实施例中，还基于时分多路复用来显示立体图像。被布置在显示装置前面的第一偏振装置在第一偏振状态和第二偏振状态之间转换，第一偏振状态与被布置在眼镜左部的第二偏振装置的第一偏振方向匹配，第二偏振状态与被布置在眼镜右部的第三偏振装置的第二偏振方向匹配。图像显示装置与被布置在显示装置前面的第一偏振装置同步。通过照相机进行的图像的采集还与被布置在照相机前面的第四偏振装置同步。这意味着第一图像是在第一时刻通过照相机采集的，并且第二图像是在第二时刻通过照相机采集的，其中，在第一时刻中，被布置在照相机前面的第四偏振装置的状态与被布置在眼镜左部的第二偏振装置的第一偏振方向匹配，在第二时刻中，被布置在照相机前面的第四偏振装置的状态与被布置在眼镜的右部的第三偏振装置的第二偏振方向匹配。在第四偏振装置处于与相应眼镜的偏振方向匹配的偏振状态的时刻采集图像意味着，眼睛周围的区域的照相机可观察性实际上提高了。
在根据本发明的3D视频会议平台的一个实施例中，第一偏振装置是第四偏振装置。换言之，第一偏振装置和第四偏振装置是组合的。这意味着照相机和显示装置均被放置在相同的偏振装置后面。
根据本发明的3D视频会议平台的另一个实施例包括：
-一个用于显示立体图像的显示装置；
-一个第一偏振装置，其被布置在该显示装置的第一部分的前面，并对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的；
-一个第二偏振装置，其被布置在该显示装置的第二部分的前面，并对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个第三偏振装置，其被布置在眼镜的左部，并对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的；
-一个第四偏振装置，其被布置在眼镜的右部，并对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个第五偏振装置，其被布置在照相机的前面，并被设置成在第一偏振状态和第二偏振状态之间转换，其中，在第一偏振状态中，第五偏振装置对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的，在第二偏振状态中，第五偏振装置对第二偏振方向上的光基本上是半透明的，而对第一偏振方向的光基本上是不透明的；以及
-同步装置，用于在该第五偏振装置处于该第一偏振状态时采集第一图像，以及在该第五偏振装置处于该第二偏振状态时采集第二图像。
在根据本发明的这个实施例中，基于空间多路复用来显示立体图像。这意味着显示装置的第一部分被用来显示立体对的左面一个的相应部分，而与第一部分交错的显示装置的第二部分被用来显示立体对的右面一个的相应部分。在第一部分前面布置具有第一偏振方向的第一组偏振滤光片，并在第二部分的前面布置具有第二偏振方向的第二组偏振滤光片。第一组偏振滤光片的第一偏振方向与被布置在眼镜左部的第三偏振装置的第一偏振方向匹配，并且第二组偏振滤光片的第二偏振方向与被布置在眼镜右部的第四偏振装置的第二偏振方向匹配。
通过照相机进行的图像采集还与被布置在照相机前面的第五偏振装置同步。这意味着第一图像是在第一时刻通过照相机采集的，并且第二图像是在第二时刻通过照相机采集的，其中，在第一时刻中，被布置在照相机前面的第五偏振装置的状态与被布置在眼镜左部的第三偏振装置的第一偏振方向匹配，在第二时刻中，被布置在照相机前面的第五偏振装置的状态与被布置在眼镜右部的第四偏振装置的第二偏振方向匹配。在第五偏振装置处于与相应眼镜的偏振方向匹配的偏振状态的时刻采集图像意味着，眼睛周围的区域的照相机可观察性实际上提高了。
根据本发明的3D视频会议平台的一个实施例包括一个光源，该光源被设置成在第一时刻产生具有第一偏振方向的光，并在第二时刻产生具有第二偏振方向的光。这个实施例的优点是，来自眼镜后面的区域的光与来自面部其他部分的光之间的对比度是最小的。
在根据本发明的3D视频会议平台的一个实施例中，组合装置被设置成基于第一图像和第二图像之间的差异计算第三图像。优选地，该组合装置被设置成：
-通过计算第一图像和第二图像之间的差异来计算一个中间图像；
-分割该中间图像以检测与第一部分相应的第一区域；
-基于分段从该第一图像中提取出该第一部分；以及
-将该第一部分与该第二图像的第二部分进行组合。
附图说明
通过下文的实现和实施例并且参考附图，根据本发明的3D视频会议平台的这些和其他方面将变得明显并将被阐明，其中：
图1示意性地示出根据现有技术的3D视频会议平台的一个实施例；
图2A示意性地示出3D视频会议平台的一个实施例，该3D视频会议平台包括处于第一偏振状态的偏振装置，该第一偏振状态与左眼前面的偏振滤光片的偏振方向匹配；
图2B示意性地示出图2A的3D视频会议平台的实施例，该3D视频会议平台包括处于第二偏振状态的偏振装置，该第二偏振状态与右眼前面的偏振滤光片的偏振方向匹配；
图3A示意性地示出3D视频会议平台的一个实施例，该3D视频会议平台包括两个电光快门，其中位于左眼前面的第一个处于开启状态而位于右眼前面的另一个处于关闭状态；
图3B示意性地示出图3A的3D视频会议平台的实施例，该3D视频会议平台包括两个电光快门，其中位于左眼前面的第一个处于关闭状态而位于右眼前面的另一个处于开启状态；
图4示意性地示出光源，该光源被设置成在第一时刻产生具有第一偏振方向的光，并在第二时刻产生具有第二偏振方向的光；
图5示意性地示出3D视频会议平台的一个实施例，该平台包括基于空间多路复用显示立体图像的显示装置；
图6示意性地示出将第一和第二图像组合成将要被传输的第三图像的图像处理步骤；以及
图7示意性地示出包括通信装置的3D视频会议平台的一个实施例。
所有附图中相同的附图标记用来表示类似的部分。
具体实施方式
图1示意性地示出根据现有技术的3D视频会议平台100的一个实施例，如在上面引言中所述。
图2A示意性地示出根据本发明的3D视频会议平台200的一个实施例。该3D视频会议平台200包括：
-一个用于显示立体图像的显示装置102；
-一个第一偏振装置108，其被布置在显示装置102的前面和照相机104-106的前面，并被设置成在第一偏振状态和第二偏振状态之间转换，其中，在第一偏振状态中，第一偏振装置108对具有第一偏振方向的光基本上是半透明的，而对具有第二偏振方向的光基本上是不透明的，在第二偏振状态中，第一偏振装置对具有第二偏振方向的光是基本上是半透明的，而对具有第一偏振方向的光基本上是不透明的；
-一个第一偏振滤光片114，其被布置在眼镜的左部，并且对具有第一偏振方向的光基本上是半透明的，而对具有第二偏振方向的光基本上是不透明的；
-一个第二偏振滤光片112，其被布置在眼镜的右部，并对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个包括偏振装置206的光源120，该光源被设置成产生具有第一偏振方向或具有第二偏振方向的光。这个光源120是可选的；以及
-一个同步器220，用于使照相机104-106与第一偏振装置108同步。优选地，借助于相同的同步器220使显示装置102和光源也与照相机104-106同步。3D视频会议平台200的图像采集如下。假设第一偏振装置108包括两层：一个偏振层202和一个电控LC(液晶)层204。这个LC层204是双折射的材料，其可以改变穿过其的已偏振光的偏振方向。因此，LC层204被设置成调整由显示装置102产生的已偏振光的偏振方向，但也被设置成调整在相反方向上传播的已偏振光即来自包括第一用户110的面部的被照射场景的已偏振光的偏振方向。由于LC层204对非偏振光不起作用，这样的光在其传过第一偏振装置108传向照相机104-106时只受LC层204后面的偏振层202的影响。
假设第一偏振装置108处于第一偏振状态，该第一偏振状态与左眼118前面的偏振滤光片114的偏振方向匹配。包括偏振装置206的光源120正在产生具有一个与左眼118前面的偏振滤光片114的偏振方向基本上相同的偏振方向的光。
设想光线217由光源120产生并在第一用户的左眼区域118反射向照相机104。这个光线217是偏振的，并且在其穿过第一用户110的左眼118前面的第一偏振滤光片114时没有强度损失。光线217在左眼区域118被反射，并且因此解除了其偏振。当第二次穿过第一偏振滤光片114时其强度损失50％，因为只有第一偏振方向即第一偏振滤光片114的偏振方向的光可以通过。假设照相机104-106和显示装置102前面的第一偏振装置108的LC层204处于与第一偏振方向匹配的第一偏振状态。最后，光线217不受影响地通过第一偏振装置108的偏振层202。在用户面部的反射率等于100％的情况中，光线217接着以其原始强度的50％到达照相机104-106。
接着描述了由用户面部的另一部分反射的光线214的类似测定。已偏振光线214在用户面部被反射，在此其偏振被解除；其不受影响地穿过第一偏振装置108的LC层204，并最后穿过第一偏振装置108的偏振滤光片202，在此其强度损失50％。
因此，光线217和214均损失它们原始强度的50％。这意味着面部被覆盖部分即左眼区域118和面部未被覆盖部分例如鼻子之间没有对比度的差异。换言之，在第一偏振装置108的这个第一偏振状态期间采集的第一图像中，眼镜的左部114是透明的。然而，眼镜的右部112是黑暗的，因为其偏振方向与如由包括偏振装置206的光源120产生的被照射的光的偏振方向不匹配。因此，光线213不能通过被布置在眼镜右部的第二偏振滤光片112。此外，第二偏振滤光片112的偏振方向与第一偏振装置108的当前偏振方向不匹配。
图2B示意性地示出图2A的3D视频会议平台的实施例。然而，现在第一偏振装置108处于与右眼116前面的偏振滤光片112的偏振方向匹配的第二偏振状态。设想光线212由光源120产生并在第一用户的左眼区域116被反射向照相机104。这个光线212是偏振的，并且其在通过第一用户110的右眼116前面的第二偏振滤光片112时没有强度损失。光线212在右眼区域116被反射，并因此其偏振被解除。当第二次通过第二偏振滤光片112时其强度损失50％，因为只有第二偏振方向即第二偏振滤光片112的偏振方向的光可以通过。假设照相机104-106和显示装置102前面的第一偏振装置108的LC层204处于与第二偏振方向匹配的第二偏振状态。最后，光线212不受影响地通过第一偏振装置108的偏振层202。在用户面部反射率等于100％的情况中，光线212接着以其原始强度的50％到达照相机104-106。
因此，光线212和214损失它们原始强度的50％。这意味着面部被覆盖部分即右眼区域116和面部未被覆盖部分例如鼻子之间没有对比度的差异。换言之，在第一偏振装置108的这个第二偏振状态期间采集的第二图像中，眼镜的右部112是透明的。然而，眼镜的左部114是黑暗的，因为其偏振方向与如由包括偏振装置206的光源120产生的被照射的光的偏振方向不匹配。因此，光线216不能通过被布置在眼镜左部的第一偏振滤光片114。此外，第一偏振滤光片114的偏振方向与第一偏振装置108的当前偏振方向不匹配。
通过交替地将第一偏振装置108和可选地将偏振装置206设置在第一或第二偏振状态，可使得照相机104-106能够记录图像，在该图像中，第一用户110的左眼118和右眼116可以交替地被清楚地看见，此时另一只眼睛不能清楚地被看见。
图3A示意性地示出根据本发明的3D视频会议平台的另一个实施例300，包括：
-一个用于显示立体图像的显示装置102，该立体图像表示远程位置的第二用户；
-一个被布置在眼镜302的左部的第一电光快门114，该第一电光快门114具有一个使第一用户110利用左眼118能够看到显示装置102的第一开启状态以及一个使第一用户110利用左眼118不能看到显示装置102的第一关闭状态；
-一个被布置在眼镜302的右部的第二电光快门112，该第二电光快门112具有一个使第一用户110利用右眼116能够看到显示装置102的第二开启状态以及一个使第一用户110利用右眼116不能看到显示装置102的第二关闭状态；以及
-同步器220，用于在第一电光快门114处于第一开启状态时采集该第一图像，以及在第二电光快门112处于第二开启状态时采集该第二图像。
更具体地，图3A示意性地示出在第一时刻中的3D视频会议平台300，在第一时刻中，左眼118前面的第一电光快门114处于开启状态，而右眼116前面的第二电光快门112处于关闭状态。图3B示意性地示出在第二时刻中的3D视频会议平台300，在第二时刻中，左眼118前面的第二电光快门114处于关闭状态，而右眼116前面的第二电光快门112处于开启状态。
同步装置220被设置成控制立体图像的显示、眼镜302中的两个电光快门112-114以及照相机104-106。同步是这样的：第一图像是在左眼可相对较好地被照相机104-106观察到的第一时刻被采集，而第二图像是在右眼可相对较好地被照相机104-106观察到的第二时刻被采集。
图4示意性地示出光源120，其被设置成在第一时刻产生具有第一偏振方向的光，并在第二时刻产生具有第二偏振方向的光。光源120包括：
-在第一外壳中的第一光生成装置404，例如灯，其包括一个第一无源偏振滤光片408，该偏振滤光片对第一偏振方向上的光基本上是透明的；
-在第二外壳中的第二光生成装置402，例如灯，其包括一个第二无源偏振滤光片410，该偏振滤光片对第二偏振方向上的光基本上是透明的；以及
-一个开关406，其可使得第一光生成装置404产生光或使得第二光生成装置402产生光。
光源120的工作如下所述。如果开关406使得第一光生成装置404产生光，那么这个光部分地通过第一无源偏振滤光片408。因此，光源120则产生了具有第一偏振方向的光。如果开关406使得第二光生成装置402产生光，那么这个光部分地通过第二无源偏振滤光片410。因此，光源120产生了具有第二偏振方向的光。
这个光源120可以应用于如结合图2A和2B所描述的3D视频会议平台。在这种情况中，光源120被连接到同步器220。
图5示意性地示出3D视频会议平台的一个实施例，其包括基于空间多路复用显示立体图像的显示装置102。显示装置102与偏振器530-544阵列的组合例如是市场上可买到的由VREX制造的名为μPolTM。μPol是一个光学装置，其逐行地改变光的偏振。它是一个显微的小偏振器530-544的周期性的阵列，其在第一偏振方向和与第一偏振方向垂直的第二偏振方向之间在空间上交替。
该3D视频会议平台500包括：
-一个用于显示立体图像的显示装置102；
-一个第一偏振装置530，其被布置在显示装置102的第一部分510的前面，并对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的；
-一个第二偏振装置532，其被布置在显示装置102的第二部分512的前面，并对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个第三偏振装置114，其被布置在眼镜的左部，并对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的；
-一个第四偏振装置112，其被布置在眼镜的右部，并对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；
-一个第五偏振装置502，其被布置在照相机104的前面，并被设置成在第一偏振状态和第二偏振状态之间转换，其中，在第一偏振状态中，第五偏振装置对第一偏振方向上的光基本上是半透明的，而对第二偏振方向上的光基本上是不透明的，在第二偏振状态中，第五偏振装置对第二偏振方向上的光基本上是半透明的，而对第一偏振方向上的光基本上是不透明的；以及
-同步器220，用于在第五偏振装置502处于该第一偏振状态时采集第一图像，以及在第五偏振装置502处于该第二偏振状态时采集第二图像。
第五偏振装置502包括两层：偏振层506和电控LC(液晶)层504。显示装置102包括用于显示立体图像的左图像的第一组部分510、514、518和522以及用于显示立体图像的右图像的第二组部分512、516、520和524。
3D视频会议平台500的工作与如结合图2A和2B所描述的3D视频会议平台200的工作类似。不同的是，如图5中描述的3D视频会议平台500中不需要对显示装置前面的偏振装置530-544进行时间控制。
虽然在图5中没有示出，但是3D视频会议平台500包括第二照相机106并可包括光源120，该光源被设置成在第一时刻产生具有第一偏振方向的光，并在第二时刻产生具有第二偏振方向的光。
图6示意性地示出将第一图像604和第二图像602组合成必须被传送到远程3D视频会议平台的第三图像606的图像处理步骤。换言之，示出了由组合装置712执行的图像处理步骤。组合装置712包括一个用于计算的处理器和用于存储中间结果的存储器。组合装置712被设置成：
-通过计算第一图像604和第二图像602之间的差异来计算一个中间图像608；
-分割中间图像608以检测与第一图像604的第一部分相应的第一区域612；
-基于第一区域612从第一图像604中提取出该第一部分；以及
-将该第一图像的第一部分与第二图像602的第二部分进行组合。
换句话说，视频处理包括利用来自在时间n-1处采集的图像的未覆盖区域的信息代替图像n中被覆盖的面部区域，其中n表示所记录的图像数。视频处理包括下列步骤：
-两个连续的图像604-602的减法。优选地确定连续图像604-602之间的绝对差异。这产生一个中间图像608，该中间图像的与用户面部相应的像素具有相对较低的值，因为两个图像604-602就图像的这些部分来说基本上是彼此相同的。与眼镜相应的像素610-612具有相对较高的值；
-中间图像608中两个镜片的轮廓的检测。眼镜的框架的形状和颜色是先验已知的。这减轻了对轮廓的搜索。
-基于一个轮廓从第一图像604中提取第一部分。
-利用所提取的第一部分代替第二图像的一个部分。
如果在时刻n和n-1处轮廓不相同，那么应用来自第一图像604的第一部分的可选的几何缩放(scaling)。这也许是由于在照相机的光轴方向上的头部旋转或头部平移，即远离或靠近照相机。
应用来自第一图像604的第一部分的可选的光度缩放来对在眼镜中任何剩余光损耗进行补偿。与眼镜的其他部分相应的另一部分的光度缩放也可以被应用。
图7示意性地示出包括通信装置的3D视频会议平台的实施例700。用户110戴着眼镜112-114，并正看着帧速率为120Hz的基于CRT的监视器102。在监视器102的上面，放置着两个彼此水平相隔例如7cm的照相机104-106。照相机104-106还具有120Hz的帧速率。电光开关108被放置在监视器102前面，其遮盖着监视器102的前部以及照相机104-106。这个电光开关108包括两层：一个偏振滤光片202和一个电控LC层204。在监视器102上面某一位置放置用于用户110的照明的光源120。光源部分地被外壳覆盖，该外壳迫使发出的光通过另一个电光开关206。它也是工作在120Hz。监视器102、照相机104-106以及电光开关108-206全部是同步的。照相机104-106被连接到视频处理单元714。在60Hz间隔之内，视频处理单元714从每一照相机104-106接收两个图像。照相机104-106之一的两个图像基本上彼此相同，除了眼镜的透明度以外：在一个图像上，左眼镜是透明的而右眼镜是黑暗的，而在另一图像中反之亦然。视频处理单元714被设置成利用结合图6描述的步骤将两个图像组合成一个图像。然后，视频处理单元714以每60Hz的间隔将用户(具有透明的眼镜)的一个立体(左和右)图像输出到视频编码器712。视频编码器712例如利用MPEG编码对视频流进行压缩，以使其与通信信道702的可用带宽相适合。视频编码器712被连接到发射机710，该发射机将通过例如因特网的通信信道702发送视频信号。
由远程3D视频会议平台发送的一个输入信号被接收机704接收，被解码器706解码，并且合成的立体(左和右)图像以时间上顺序的方式被传送到监视器102。这是由包括帧存储器的显示驱动器708完成的，以便适应本地和远程3D视频会议平台之间缺乏的同步。显示驱动器708利用两个信号来驱动显示器102：视频信号和如由同步器220提供的同步信号。后一个信号还用来使照相机104-106和电光装置108以及206同步。远程用户利用透明的眼镜感觉到本地用户的3D印象，并且反之亦然。
注意，电光装置108和206需要一定量的时间来从一个偏振状态转换到另一个。照相机应当只记录偏振方向稳定时的图像。因此，照相机104-106内的光传感器的积分时间应该是短的。这是采用具有CMOS传感器的照相机的理由。这些传感器是敏感的，并因此可以具有短的积分时间。
可以采用其他类型的显示装置例如LCD或PDP来代替基于CRT的显示装置。
应该注意，上述的实施例是说明而不是限制本发明，并且本领域技术人员将可以在不脱离所附权利要求书的范围的情况下设计出替代的实施例。在权利要求书中，括号内的任何附图标记不应被解释为对权利要求的限制。措词“包括”不排除存在未列入权利要求中的其他元件或步骤。一个元件前面的措词“一”或“一个”不排除存在多个这样的元件。本发明可以通过包括若干不同元件的硬件以及通过适当编程的计算机来实施。在列举了若干装置的装置权利要求中，这些装置中的一些可以被同一项硬件来实现。

Claims (7)

1、一种3D视频会议系统(200、300、500、700)，包括：
-一个用于采集第一用户(110)的第一图像(604)和该第一用户(110)的第二图像(602)的照相机(104)；
-用于接收第二用户的立体图像的接收装置；
-用于使所述立体图像显象的光学装置，该光学装置包括用于该第一用户(110)的眼镜，其中，在第一时刻，来自该第一用户的左眼的光线与其他光线相比，能在基本没有强度损失的情况下穿过眼镜的左部传向该照相机，并且在第二时刻，来自该第一用户的右眼的光线与其他光线相比，能在基本没有强度损失的情况下穿过眼镜的右部传向该照相机，其特征在于，该系统被设置成在第一时刻采集该第一图像(604)并在第二时刻采集该第二图像(602)，在第一时刻中该第一用户(110)的左眼比在第二时刻中可更好地被该照相机(104)观察到，在第二时刻中该第一用户(110)的右眼比在第一时刻中可更好地被该照相机(104)观察到，并且其特征还在于该系统包括计算装置(714)，用于根据该第一图像(604)的与该第一用户(110)的左眼相应的第一部分和该第二图像(602)的与该第一用户(110)的右眼相应的第二部分来计算一个第三图像(606)。
2、如权利要求1所述的3D视频会议系统(300)，其特征在于该系统包括：
-一个用于显示立体图像的显示装置(102)；
-一个被布置在眼镜左部的第一电光快门(114)，该第一电光快门(114)具有一个使得该第一用户(110)利用左眼能够看到该显示装置(102)的第一开启状态和一个使得该第一用户(110)利用左眼不能看到该显示装置(102)的第一关闭状态；
-一个被布置在眼镜右部的第二电光快门(112)，该第二电光快门(112)具有一个使该第一用户(110)利用右眼能够看到该显示装置(102)的第二开启状态以及一个使第一用户(110)利用右眼不能看到该显示装置(102)的第二关闭状态；以及
-同步装置(220)，用于在该第一电光快门(114)处于第一开启状态时采集该第一图像(604)，以及在该第二电光快门(112)处于第二开启状态时采集该第二图像(602)。
3、如权利要求1所述的3D视频会议系统(200)，其特征在于该系统包括：
-一个用于显示立体图像的显示装置(102)；
-一个第一偏振装置(108)，其被布置在该显示装置(102)的前面，并被设置成在第一偏振状态和第二偏振状态之间转换，在第一偏振状态中，该第一偏振装置(108)对第一偏振方向上的光是半透明的，而对第二偏振方向上的光是不透明的，在第二偏振状态中，该第一偏振装置(108)对第二偏振方向上的光是半透明的，而对第一偏振方向上的光是不透明的；
-一个第二偏振装置(114)，其被布置在眼镜的左部，并对第一偏振方向上的光是半透明的，而对第二偏振方向上的光是不透明的；
-一个第三偏振装置(112)，其被布置在眼镜的右部，并对第二偏振方向上的光是半透明的，而对第一偏振方向上的光是不透明的；
-一个第四偏振装置(206)，其被布置在该照相机(104)的前面，并被设置成在第三偏振状态和第四偏振状态之间转换，在第三偏振状态中，该第四偏振装置(206)对第一偏振方向上的光是半透明的，而对第二偏振方向上的光是不透明的，在第四偏振状态中，该第四偏振装置(206)对第二偏振方向上的光是半透明的，而对第一偏振方向上的光是不透明的；以及
-同步装置(220)，用于在该第四偏振装置(206)处于该第三偏振状态时采集该第一图像(604)，以及在该第四偏振装置(206)处于该第四偏振状态时采集该第二图像(602)。
4、如权利要求1所述的3D视频会议系统(500)，其特征在于该系统包括：
-一个用于显示立体图像的显示装置(102)；
-一个第一偏振装置(530)，其被布置在该显示装置(102)的第一部分(510)的前面，并对第一偏振方向上的光是半透明的，而对第二偏振方向上的光是不透明的；
-一个第二偏振装置(532)，其被布置在该显示装置(102)的第二部分(512)的前面，并对第二偏振方向上的光是半透明的，而对第一偏振方向上的光是不透明的；
-一个第三偏振装置(114)，其被布置在眼镜的左部，并对第一偏振方向上的光是半透明的，而对第二偏振方向上的光是不透明的；
-一个第四偏振装置(112)，其被布置在眼镜的右部，并对第二偏振方向上的光是半透明的，而对第一偏振方向上的光是不透明的；
-一个第五偏振装置(502)，其被布置在该照相机(104)的前面，并被设置成在第一偏振状态和第二偏振状态之间转换，其中，在第一偏振状态中，该第五偏振装置(502)对第一偏振方向上的光是半透明的，而对第二偏振方向上的光是不透明的，在第二偏振状态中，该第五偏振装置(502)对第二偏振方向上的光是半透明的，而对第一偏振方向上的光是不透明的；以及
-同步装置(220)，用于在该第五偏振装置(502)处于该第一偏振状态时采集该第一图像(604)，以及在该第五偏振装置(502)处于该第二偏振状态时采集该第二图像(602)。
5、如权利要求2至4中任一项所述的3D视频会议系统(200、300、500、700)，其特征在于，该系统包括一个光源(120)，该光源(120)被设置成在该第一时刻产生具有该第一偏振方向的光，以及在该第二时刻产生具有该第二偏振方向的光。
6、如权利要求1所述的3D视频会议系统，其特征在于，该计算装置(714)被设置成基于该第一图像(604)和该第二图像(602)之间的差异计算该第三图像(606)。
7、如权利要求6所述的3D视频会议系统，其特征在于该计算装置(714)被设置成：
-通过计算该第一图像(604)和该第二图像(602)之间的差异来计算一个中间图像；
-分割该中间图像以检测与该第一部分相应的第一区域(612)；
-基于该第一区域(612)从该第一图像(604)中提取出该第一部分；以及
-将该第一部分与该第二图像(602)的第二部分进行组合。
CNB2004800068371A 2003-03-14 2004-03-11 3d视频会议系统 Expired - Fee Related CN100521770C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100648.9 2003-03-14
EP03100648 2003-03-14

Publications (2)

Publication Number Publication Date
CN1762157A CN1762157A (zh) 2006-04-19
CN100521770C true CN100521770C (zh) 2009-07-29

Family

ID=32981926

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800068371A Expired - Fee Related CN100521770C (zh) 2003-03-14 2004-03-11 3d视频会议系统

Country Status (8)

Country Link
US (1) US7525565B2 (zh)
EP (1) EP1606944B1 (zh)
JP (1) JP2006520570A (zh)
KR (1) KR20050107623A (zh)
CN (1) CN100521770C (zh)
AT (1) ATE346459T1 (zh)
DE (1) DE602004003355T2 (zh)
WO (1) WO2004082285A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
US8537196B2 (en) * 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
CA2684513A1 (en) * 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
US20100309290A1 (en) * 2009-06-08 2010-12-09 Stephen Brooks Myers System for capture and display of stereoscopic content
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
IT1397294B1 (it) * 2010-01-07 2013-01-04 3Dswitch S R L Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico.
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
JP4794678B1 (ja) 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
EP2453386B1 (en) * 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
CN103634563A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 视频会议显示方法及装置
EP2713593B1 (en) * 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
KR101617068B1 (ko) * 2012-10-11 2016-05-02 이문기 편광 차분 카메라를 이용한 영상처리 시스템
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
CN108093201B (zh) * 2018-01-24 2020-07-31 周永业 一种视频会议终端及系统
US20230370728A1 (en) * 2020-09-21 2023-11-16 Apple Inc. Synchronization of image capture and visual light transmission
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4723159A (en) * 1983-11-02 1988-02-02 Imsand Donald J Three dimensional television and video systems
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
JPS63194497A (ja) * 1987-02-07 1988-08-11 Nippon Telegr & Teleph Corp <Ntt> 立体テレビ会議方式
IL83752A (en) * 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
US6989834B2 (en) * 1997-06-03 2006-01-24 At&T Corp. System and apparatus for customizing a computer animation wireframe
AU756995B2 (en) * 1998-10-21 2003-01-30 Geo Search Co., Ltd. Mine detector and inspection apparatus
GB9918704D0 (en) * 1999-08-10 1999-10-13 White Peter M Device and method for eye to eye communication overa network
US6580556B2 (en) * 2000-11-29 2003-06-17 Intel Corporation Viewing stereoscopic image pairs

Also Published As

Publication number Publication date
EP1606944B1 (en) 2006-11-22
US20060209181A1 (en) 2006-09-21
US7525565B2 (en) 2009-04-28
CN1762157A (zh) 2006-04-19
ATE346459T1 (de) 2006-12-15
KR20050107623A (ko) 2005-11-14
EP1606944A1 (en) 2005-12-21
JP2006520570A (ja) 2006-09-07
DE602004003355T2 (de) 2007-10-04
DE602004003355D1 (de) 2007-01-04
WO2004082285A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
CN100521770C (zh) 3d视频会议系统
CN101782687B (zh) 显示三维图像的显示装置
US5757546A (en) Electronic stereoscopic viewer
JP4794678B1 (ja) 映像処理装置、映像処理方法、および映像通信システム
TW548960B (en) Method and apparatus of flicker reduction for LC shutter glasses
JP2004522382A (ja) ステレオスコピック画像処理機器および方法
US20180091738A1 (en) Image Display System and Image Display Method
CN201804154U (zh) 体视显微镜的3d观察装置
CN103327352B (zh) 采用串行处理方式实现双显示屏3d显示的装置及方法
US10567744B1 (en) Camera-based display method and system for simulators
CN2821607Y (zh) 一种立体图像观看装置
TW432354B (en) The control device of LCD shutter glass
CN102196276A (zh) 一种完全立体电视图像显示方案
KR20100027168A (ko) 비-정수 플래쉬 비율을 갖는 3ｄ 프로젝션 시스템
CA3018454C (en) Camera-based display method and system for simulators
Kejian et al. The development of stereoscopic display technology
CN205071233U (zh) 3d摄录放像机
CN112866679B (zh) 在运动状态下的多位点立体视检测方法
KR100208476B1 (ko) 디지탈 마스킹 기법을 이용한 실시간 입체영상 합성방법 및 장치
CA3018465C (en) See-through based display method and system for simulators
US10567743B1 (en) See-through based display method and system for simulators
WO2002073982A1 (fr) Procede de synthese d&#39;images virtuelles en images stereoscopiques et television stereoscopique de type lunettes
Kellnhofer et al. Improving perception of binocular stereo motion on 3D display devices
CN101625459A (zh) 偏振法数字立体图像投影装置及其使用方法
CN1713222A (zh) 一种获得立体数码图像的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: IPG ELECTRONICS 503 CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090828

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090828

Address after: British Channel Islands

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: PENDRAGON WIRELESS CO., LTD.

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD.

Effective date: 20130118

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130118

Address after: Washington State

Patentee after: Pendragon wireless limited liability company

Address before: British Channel Islands

Patentee before: Koninkl Philips Electronics NV

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090729

Termination date: 20160311

CF01 Termination of patent right due to non-payment of annual fee