CN112689994A - 演示系统和演示方法 - Google Patents

演示系统和演示方法 Download PDF

Info

Publication number
CN112689994A
CN112689994A CN201980043167.7A CN201980043167A CN112689994A CN 112689994 A CN112689994 A CN 112689994A CN 201980043167 A CN201980043167 A CN 201980043167A CN 112689994 A CN112689994 A CN 112689994A
Authority
CN
China
Prior art keywords
monitor
image
camera
presentation
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980043167.7A
Other languages
English (en)
Other versions
CN112689994B (zh
Inventor
基利安·塔洛·特奥多尔·辛格
塞缪尔·托马斯·道金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Kassel
Original Assignee
Universitaet Kassel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Kassel filed Critical Universitaet Kassel
Publication of CN112689994A publication Critical patent/CN112689994A/zh
Application granted granted Critical
Publication of CN112689994B publication Critical patent/CN112689994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288Filters employing polarising elements, e.g. Lyot or Solc filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/08Trick photography
    • G03B15/10Trick photography using back-projection, i.e. blending artificial background with real foreground
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及演示系统和演示方法,其用于由播放系统(40)共同地展示监视器图像(20')和用摄像机(10)拍摄的演讲者(1)的相机图像(100),其中监视器图像(200)和相机图像(10)在混合器(34)中被叠加,以由播放系统(40)展示。存在具有显示器的监视器(20),以向位于监视器(20)前方的演讲者(1)展示监视器图像(200),其中半透射的反射镜(22)被布置在显示器的前方,并且其中摄像机(10)被定位成使得其记录经由半透射的反射镜(22)镜面反射的演讲者(10)。演示系统的特征在于,至少一个摄像机(10)是红外相机。

Description

演示系统和演示方法
本发明涉及演示系统,其用于由播放系统(Wiedergabesystem)共同地展示监视器图像和用摄像机拍摄的演讲者的相机图像,其中监视器图像和相机图像在混合器中被叠加,以由播放系统展示。在此,存在具有显示器的监视器,以向位于监视器前方的演讲者展示监视器图像,其中半透射的反射镜被布置在显示器的前方,并且其中至少一个摄像机被定位成使得其记录经由半透射的反射镜镜面反射的演讲者。本发明还涉及利用播放系统共同展示利用摄像机从演讲者拍摄的相机图像与监视器图像的方法。
在面向更多公众的演讲中,通常利用摄像机来拍摄演讲者,并且利用播放系统(例如,具有相关联的银幕的投影仪)来展示由摄像机记录的图像。在典型的演讲情况或课堂情况下,演讲者经常参考包含例如文本或图形的监视器图像。通常,监视器图像以计算机辅助的方式借助于单独的播放系统显示给观众,或者作为所提到的播放系统上的背景图像或前景图像与演讲者一起显示给观众。
当演讲者转向播放系统以参考监视器图像时,他背对其观众,因此与其观众失去交流。为了防止这种情况,演讲者常常会使用位于他们前方的另外的监视器,例如膝上型电脑形式的监视器,这样他们自己可以看到监视器图像并同时面向观众。然而,如果演讲者看着这个监视器,那么他就不能同时注视相机,由此导致演讲者与监视器图像在播放系统上的令人不适的展示。如果监视器图像不是静态的,而是在演讲中例如由于触摸屏输入或在演讲者的监视器上使用数字画笔而发生变化或发展时,这种效果尤其明显。
在演播室电视转播中,如果主持人一方面要注视着相机,另一方面要指向他后面或前面真实布置的物体或只为观众插播的物体(例如,气象图),则会导致类似的情况。
视频会议的情况也与此类似,其中参与者在监视器上观看远处的参与者的图像,并由布置在监视器旁边的相机拍摄。如果参与者观看监视器,则他看着其对话者,但是该对话者没有感觉到该参与者在和他进行眼神交流。只有当参与者看向相机时,对话者才有这种感觉,则反过来该参与者又看不到显示器上的其对话者。
这种演示系统也可以在视频会议的范畴内使用,以便以交互方式共同处理文件。在这种情况下,存在至少两个演示系统,其中为每个会议参与者分配了一个相机和一个监视器,并且其中监视器同时充当用于至少一个另外的会议参与者的相机图像的播放系统。这里也产生了缺少眼神交流的问题。
从文献US 2004/0196359 A1中,已知一种用于进行视频会议的装置,其中视频会议的参与者经由半透射的曲面反射镜观看其对话者的图像,同时记录参与者的相机被布置在反射镜的后方,并通过反射镜至少记录参与者的面部。
使用曲面反射镜可以将监视器侧向定位在参与者的前方,使得监视器不位于相机的光轴上,因此不会阻挡相机朝向演讲者的面部的视野。然而,对于参与者来说,监视器的图像似乎来自于相机的方向,使得该参与者在注视着监视器时也注视着相机。然而,在这种装置中,监视器不指向参与者,使得该参与者例如不能在监视器上做出交互行为,例如,不能使用监视器的触摸功能或者不能利用数字画笔在监视器上做出举动。
文献DE 11 2010 001 819 T5描述了一种视频会议系统,其中演讲者站在半透明的显示面的前方,监视器图像被投射到该半透明的显示面的背面,并且通过该半透明的显示面由相机记录演讲者。在此,缺点在于系统的结构大小,这是由监视器图像在显示面背面的投影而导致的。
从文献US 9,270,933 B1中已知一种开篇所述类型的系统,该系统能够实现视频会议,其中记录参与者使得其在注视着监视器图像的同时看向相机。这通过监视器具有镜面反射的表面并且参与者由相机从该表面反射地拍摄这种方式来实现。为了能够在相机拍摄中将参与者的图像与监视器的图像分开,以周期性重复的方式将监视器暂时地切换成黑暗的,其中在接通黑暗期间仅对相机拍摄进一步进行处理。在此,接通黑暗的持续时间被选择成短到使得该持续时间对于参与者而言不会引起显示器图像闪烁。然而,该系统的缺点在于,由于相机拍摄的时间非常短,因此需要较高的相机灵敏度,这可能导致图像有噪声,或者必须用高的光强度照亮参与者,这可能导致眩光。另一缺点在于,现有的显示器,例如膝上型电脑的屏幕,不能轻松地并且在没有硬件干预的情况下快速地按所需顺序变暗,因此该方法只能用为此目的专门配置的监视器系统来执行。
本发明的任务在于实现开篇所提到的类型的紧凑的演示系统和演示方法,其中演讲者可以观看监视器,并且还可以交互式地(例如,利用数字画笔)使用监视器的表面,并且同时演讲者可以被相机记录,使得他在注视监视器时也注视着相机。在此,该系统应能够以简单的方式在现有的监视器中进行改装,而无需干预其硬件。此外,有意义的是,观众可以领会演讲者在屏幕上看向和指向哪里。
该任务通过具有相应的独立权利要求的特征的演示系统和演示方法来实现。有利的设计方案和改进方案是从属权利要求的主题。
开篇所提到的类型的根据本发明的演示系统的特征在于,至少一个摄像机是红外相机。
通过使用红外相机,优选地结合对场景(即演讲者)的红外照明,在相机图像中不出现监视器图像或者仅以可忽略的强度出现。同时,对于监视器的观看者来说,得到了最佳印象,因为他不会由于其自己本身的图像的反射而感到不适。这种效果可以通过在监视器上额外地使用屏幕薄膜或类似物来增强,该屏幕薄膜或类似物优选地反射红外辐射,但对于可见光是可透射的。除此之外,例如与从现有技术中已知的使监视器暂时变暗不同,不需要对监视器进行修改。
通过使用红外相机,演讲者和其周围环境可以被充分地照亮,而不会使演讲者受到光源本身或受到光源或被照亮的周围环境在显示器上的镜面反射的干扰。
在本申请的范围内,红外相机是强度在红外波长范围内(即,在大于约780纳米(nm)的波长下)明显高于可见光的范围内(即,波长在约400nm-750nm的范围内)的摄像机。这种灵敏度分布可以例如通过摄像机的对应的传感器和/或前置的滤波器来实现。
通过拍摄在监视器中镜面反射的演讲者,演讲者既看着监视器上的信息,也朝向相机的方向看。由于演讲者不是摄像机通过监视器来拍摄的,因此可以使用具有平面的且紧凑的结构的常见监视器。
在演示系统的有利的设计方案中,半透射的反射镜平行于显示器被平放在其上。例如,该半透射的反射镜可以作为用于显示器的保护玻璃被集成到监视器中。优选地,半透射的反射镜还具有触敏式感测表面,由此可以将监视器用作“触摸屏”,例如以在监视器上交互地绘制。于是,演示系统可以用作黑板或“白板”。
在演示系统的另一有利的设计方案中,偏振滤波器被布置在至少一个摄像机的前方。优选地,在该情况下,偏振器,特别是在整个显示器上平面地延伸的偏振滤波薄膜,被布置在监视器的显示器与半透射的反射镜之间。对此可替代地,也可以使用由于其功能原理而发射偏振光的监视器。摄像机前方的偏振滤波器实现了使从监视器发射的光不会到达摄像机,该偏振滤波器阻挡被固有地偏振或由于放置在监视器前方的偏振器而被偏振的光。由此,演讲者看到的监视器图像在相机图像中是不可见的。如果使用光的线性偏振以使监视器图像隐没,则摄像机前方的偏振滤波器和偏振器例如可以具有交叉的偏振面。可替代地,也可以经由圆形的或椭圆形的偏振来使监视器图像隐没。
在演示系统的对此可替代的设计方案中,彩色滤波器或视角滤波器被布置在监视器的显示器与半透射的反射镜之间。通过这种方式也可以在相机图像中进一步抑制监视器图像。例如通过(例如,经由可切换的反射镜)在监视器上频闪地展示这种方式,也可以在时域中对监视器图像进行额外的抑制。在监视器图像可见的时间期间,摄像机通过电子相机快门电动关闭(austakten),或者监视器图像由被布置在摄像机前方的可切换的透射滤波器光学隐没。
在另一有利的设计方案中,演示系统包括具有图像处理单元的控制计算机,该图像处理单元能够实现实时图像处理以修正相机图像,其中修改后的相机图像被传输到混合器。通过图像处理单元可以实时地校正由于相机相对于监视器的角度位置而产生的相机图像的失真,使得在播放系统中,监视器图像和演讲者均彼此正确定位地播放。演讲者看向或指向监视器时是特别相关的,以能够从输出图像中正确地得出演讲者看向或指向哪里。对此可替代地或额外地,在另一设计方案中,演讲者看到的监视器图像可以被预失真,使得这两个图像(监视器图像和相机图像)在输出图像中再次获得一致性(Deckungsgleichheit)。
在另一有利的设计方案中,演示系统被配置成将修改后的相机图像经由网络传输到远处的混合器。优选地,远处的混合器与远处的监视器连接。这个远离演讲者的监视器一方面用作播放系统,另一方面是另外的演示系统的一部分,由此使得演示系统可以用作视频会议系统。
在演示系统的另一有利的设计方案中,至少一个另外的反射镜被布置在至少一个摄像机与半透射的反射镜之间的光路中,其中由至少一个摄像机记录经由至少一个另外的反射镜和经由半透射的反射镜镜面反射的演讲者。通过至少一个另外的反射镜实现了摄像机定位上的更大的灵活性。
在演示系统的另一有利的设计方案中,提供和布置另外的相机来拍摄演讲者的彩色图像,根据该彩色图像可以对相机图像和/或监视器图像进行彩色着色。通过这种方式,在其他情况下以黑白或灰度重现的演讲者的红外图像可以被再次着色,以实现自然的颜色重现。优选地,另外的相机直接指向演讲者,即不在反射几何上指向演讲者。在此,着色可以使用人工智能的算法,特别是自学习算法。在另一可替代的设计方案中,也可以使用静态的彩色图像来代替另外的相机图像,该静态的彩色图像的颜色随后被转移到运动的红外图像。
在根据本发明的演示方法中,至少一个摄像机在红外波长范围内将经由布置在监视器的显示器(在该显示器上显示监视器图像)前方的半透射的反射镜镜面反射的演讲者记录在相机图像中。随后,由图像处理单元实时地修改相机图像,和/或使监视器图像在其展示在监视器上之前失真。必要时失真的监视器图像和修改后的相机图像在混合器中被叠加,以由播放系统展示。这得出了结合演示系统所提到的优点。
在演示方法的有利的改进方案中,在修改步骤中使相机图像失真,和/或进行边缘裁切和/或局部放大和/或位置校正和/或旋转校正和/或镜面反射。
在演示方法的另一有利的改进方案中,播放系统包括另外的演示系统的监视器。因此,监视器图像和与监视器图像叠加的演讲者(在这种情况下被称为参与者)的修改后的相机图像作为监视器图像被展示在监视器上,该监视器本身被另外的参与者用作另外的演示系统的一部分。随后,另外的演示系统的相机图像以类似的方式叠加在最初提到的参与者的监视器图像上,使得两个演示系统的布置能够实现视频会议的执行。
下面将基于实施例并借助于附图更详细地阐述本发明。在附图中:
图1示出了用于执行演示方法的演示系统的示意图;
图2示出了图1中所示的演示系统的几个部件的布置的细节;
图3示出了例如可以利用图1的演示系统执行的演示方法的示意图;以及
图4示出了用于执行视频会议而配置的演示系统的示意图。
在图1中,以示意性框图的形式示出了根据本申请的演示系统的实施例。图2示出了演示系统的部件相对于彼此以及相对于使用该演示系统的演讲者的几何布置。
演示系统包括摄像机10(以下也被称为相机10),在其光学器件的前方布置了偏振滤波器11。此外,演示系统还包括监视器20,在其显示器(即,展示面)上放置了作为偏振器的偏振滤波薄膜21和半透射的反射镜22。在所示的实施例中,摄像机10是红外相机,其在红外范围内的波长下的灵敏度大于在可见的范围内的灵敏度。
偏振滤波薄膜21和半透射的反射镜22以及监视器20的展示面均是平面的。
如下面将更详细阐述的,如果监视器20自身发射出偏振光,则可以省去偏振滤波薄膜21。通常,背光照明的LCD(Liquid Cristal Display,液晶显示器)监视器发射出偏振光。反之,如果监视器20基于自发光技术,例如被构造成具有(可能是有机的)发光二极管,则有利地使用偏振滤波薄膜21。
半透射的反射镜22可以被单独地放置在监视器20的显示器上,但是该半透射的反射镜22也可以是监视器20的构成整体的部件。重要的是,光既可以穿过半透射的反射镜22,也使从前方射到半透射的反射镜22上的光的一部分被反射。
图2示出了相机10和监视器20相对于彼此以及相对于使用演示系统的演讲者1的布置。有利地,该演讲者位于监视器20的前方中心,使得其可以观看监视器20输出的图像。相机10被倾斜地布置在演讲者1的上方,使得由半透射的反射镜22镜面反射的演讲者1的图像被相机10记录。在应用的范围内,“演讲”应理解为演示系统的任意用户,无所谓出于何种目的而使用演示系统。在这个意义上,视频会议参与者或主持人也被看作是“演讲者”。在此,演讲者1注视着监视器20的所示的观看角度是可变的,只要相机10可以被布置和取向成使得相机10可以记录到由半透射的反射镜22镜面反射的演讲者1的图像。相机10后方的选择性的暗背景减少了在监视器20上对于演讲者1的反射,因此便于阅读。
如又在图1中可看到的,相机10和监视器20均与控制计算机30连接。控制计算机30包括监视器图像生成器31,例如为演讲提供图像(“幻灯片”)的演示程序。这些图像被进一步传输到第一图形单元32(也被称为显卡),该第一图形单元与监视器20连接,并且由监视器图像生成器31输出的图像在监视器20上被展示。图3示意性地示出了这种由监视器20输出的监视器图像200。在图1中,监视器图像200被象征性地表示为由监视器图像生成器31输出的数据的形式。
演讲者1看着其前方的监视器20上的监视器图像200,并且可以用手指2指向监视器图像200的元素,或者使其眼睛3对准监视器图像200的部分。
在此期间,演讲者1被相机10记录,该相机实时输出相机图像100。该相机图像同样在图3中呈现。在图1中,相机图像100再次被象征性地表示为由相机10发送到控制计算机30的数据的形式。
由于相机10相对于监视器20和半透射的反射镜22倾斜的布置,在相机图像100中重现的监视器20的边缘23是失真的(例如,梯形的形式)。然而,由于镜面反射的物理性质,相机图像100的由半透射的反射镜22镜面反射的部分不会失真。此外,相机图像100还可以包括比半透射的反射镜22所镜面反射的部分更大的部分。
由于将红外相机用作摄像机10,使监视器图像隐没在相机图像100中。即使在黑暗中,监视器20的观看者的最佳印象也可以通过将红外相机与场景的红外照明相结合来实现,并且必要时,可以通过额外地与监视器20上屏幕薄膜相结合来实现,该屏幕薄膜优选地反射红外辐射,但是对于可见光是可透过的。
由于将红外相机用作摄像机10,演讲者1和其周围环境可以被充分地照亮,而不会使演讲者1受到光源本身或受到光源或被照亮的周围环境在监视器上的镜面反射的干扰。随后,可以通过使用另外的相机来实现相机图像100的彩色印象,该另外的相机必要时以更低的像素分辨率生成真实彩色图像。例如在使用人工智能的情况下,该真实彩色图像可以用于对监视器图像200进行同时的彩色着色。演讲者1的静态的彩色图像也可以用作给相机图像100着色的颜色模板(Farbvorlage)。
相机聚焦于演讲者1。结果,半透射的反射镜22的平面中的元素不能被相机10清晰地记录,这是因为在正常的周围环境照明下相机10的景深范围通常不会达到很远。因此有利地,相机10尽可能不拍摄监视器20的图像,因为该图像只会被模糊地展示。
为了使监视器图像200不进入相机10,在所示的示例中,额外地将偏振滤波器11布置在相机10的前方。设定成使得由监视器20发射的光(其被固有地偏振或由于前置的偏振滤波薄膜22而偏振)不会到达相机10,而是被偏振滤波器11隐没。出于这个原因,演讲者1看着的监视器图像200在相机图像100中被进一步抑制。如果偏振滤波薄膜22例如线性偏振,则偏振滤波器11被取向成使得偏振滤波薄膜22和偏振滤波器11具有彼此交叉的偏振平面。
在这种布置的改进方案中,可以使用反射式偏振薄膜,该反射式偏振薄膜以最小的损耗结合了偏振滤波薄膜22和半透射的反射镜22的特性,并因此形成偏振滤波薄膜22和半透射的反射镜22。
代替偏振滤波器11和偏振滤波薄膜22的组合,可以使用安装到显示器上的、角度相关的透射滤波器(也被称为视角滤波器),以使监视器图像200从相机图像100中隐没。
额外地,同样可以使用具有窄带宽的彩色发射器的监视器20,相机10对该监视器的波长尽可能不敏感,或者通过适当的前置滤波器使其不敏感。
也可以在时域中对监视器图像200进行额外的抑制,例如以(例如,经由可切换的反射镜)在监视器20上频闪地展示这种方式。在监视器图像200可见的时间期间,相机10通过电子相机快门电动关闭,或者监视器图像200由被布置在相机10前方的可切换的透射滤光器光学隐没。
相机10与控制计算机30内的图像处理单元33连接,该图像处理单元33实时地执行对相机图像100的转换,例如利用图像处理单元来补偿由于相机10的布置而产生的监视器20的边缘23的梯形失真(见图3)。特别地,这涉及将相机图像100与监视器图像200叠加,使得在输出图像400中这两个图像是一致的,并且输出图像400的观看者可以领会演讲者1实际上看向或指向监视器图像200中的哪个点。
替代对相机图像100的修改或除对相机图像100的修改外,也可以使监视器20上的监视器图像200对演讲者1的重现预失真,从而又获得了这两个图像在输出图像400上的一致性。
应注意,相机图像100的这种修改和/或监视器图像200在监视器20上的播放也可以在演示系统中使用,其中并非通过使用红外相机来进行对相机图像100中的演讲者的图像的分离,而是例如通过在相机的拍摄阶段中使监视器20变暗来实现的。
可选地,可以额外地执行边缘裁切或局部放大和/或位置校正和/或旋转校正和/或镜面反射。因此,图像处理单元33输出如图3中所示的修改后的相机图像330。上述同时进行的彩色着色同样可以在图像处理单元33中执行。
控制计算机30还包括第二图形单元35(即,另一个显卡),监视器图像200和修改后的相机图像330均经由混合器34被馈送至该第二图形单元。混合器34叠加这两个图像,必要时,以可设定的亮度和/或透明度进行叠加。播放系统40与第二图形单元35连接,监视器图像200和修改后的相机图像330的叠加作为输出图像400在该播放系统上展示。
在课堂或演讲的情况下,播放系统40可以例如是投影系统(投影仪),该投影系统在演讲者1后方的投影面上展示输出图像400。额外地或可替代地,第二图形单元35也可以被配置成以数据格式传输(“streamen”流传输)或存储输出图像400。
所示的演示系统或结合图3阐述的演示方法提供的优点在于,演讲者1可以观看监视器图像200,但是演讲者1的正面图片还可以在输出图像400中呈现给观众。此外,播放系统40上的输出图像400还示出了监视器图像200,使得播放系统40将对演讲所必需的或感兴趣的两个视角(正面可见的演讲者和演讲者1所涉及的材料)整合在一个图像中。
如果演讲者1用其眼睛3注视监视器图像20的某些点或区域,或者用其手指指向这些点或区域,则在输出图像400上也可以识别出对应的眼睛移动和取向或指向方向。因此,演讲者1相对于监视器图像200表现得完全自然,由此使得观众容易领会演讲者1的焦点当前指向哪里。
在所示的演示系统的改进方案中,半透射的反射镜22可以设有触敏式表面,因此用作控制计算机30的输入元件。优选地,设置了电容式工作的触敏式表面,其可以用手指2或这里未示出的数字输入笔来操作。
在这种设计方案中,演讲者1可以用其手指以触摸屏的方式来操作监视器20,或者在使用相应的交互式程序的情况下来影响监视器图像200。于是,通过演讲者1设置标记或借助于数字输入笔在半透射的反射镜上且因此在监视器20上书写,演示系统可以以黑板的方式使用。观众在播放播放系统40上看到所产生的“黑板图片”,并同时看到正视图中的演讲者。
在图1和图2中所示的演示系统的另一改型中,相机10可以直接地或经由反射镜被动态地移动,以便即使人不位于屏幕的前方中心也获得最佳的图像印象。
在演示系统的另一改型中,也可以实现多个相机10,并且例如可以被侧向安装并且分别经由监视器20上的反射来观察演讲者1。多个相机10的图像可以被组合成一个图像,于是该图像看起来好像来自“虚拟”相机。这种虚拟相机可以借助于例如三维换算被带到原本无法到达的位置。这个方案也可以与被配置成红外相机的多个(例如,两个)相机10结合。随后,这些相机10的图像优选地首先被组合成虚拟相机图像,随后基于额外的真实彩色相机的颜色信息对该图像进行着色。
在图1和图2中所示的演示系统的另一改型中,可以通过至少一个额外的反射镜来实现相机10定位上的更大的灵活性,该至少一个额外的反射镜被布置在相机10与半透射的反射镜22之间。特别地,这些反射镜也可以是对可见光透明的,以使干扰减小。
例如,可以将膝上型电脑的监视器用作监视器20。膝上型电脑通常具有位于监视器20上方中心的相机,该相机面向膝上型电脑的用户取向。利用额外的反射镜(其倾斜地设置并且从演讲者看其被布置在监视器20平面的前方并且被布置在监视器20的上方),可以由膝上型电脑的集成相机拍摄在半透射反射镜22处被镜面反射并随后在额外的反射镜处被镜面反射的演讲者的图像。例如,额外的反射镜可以通过具有夹持紧固件的小型伸缩式或鹅颈式支架放置到膝上型电脑的上边缘,由此膝上型电脑是演示系统的相机、监视器和控制计算机。
在图1和图2中所示的演示系统的另一改型中,可以通过使用演讲者的身体上的尽可能小的(例如,无线的)相机来实现移动式变型,该相机又经由(例如,移动电话或平板电脑的)监视器上的反射来拍摄观看者。在此,透视校正应实时地适应于可能发生变化的几何情况。为此,例如可以检测监视器的轮廓。监视器与相机之间的合适角度可以例如借助于伺服电机自动地或手动地跟踪。
在图4中,以类似于图1的示意图展示了两个相互交织的演示系统的装置。在该图中,相同的参考标记表示与前面的图中相同或效果相同的元件。
图4的装置在此示例性地被配置成用于两个参与者的视频会议系统。相应地,演示系统的部件以重复的方式存在并且分别与第一参与者或第二参与者相关联。出于更简单区分的目的,与第二参与者相关联的部件的参考标记设有撇号。
装置包括针对每个参与者的相机10、10',怀疑相机具有前置的偏振滤波器11、11'。此外,对于每个参与者,存在具有偏振滤波薄膜21、21'和半透射的反射镜22、22'的监视器20、20'。此外,装置的每个部分均具有控制计算机30、30',其中由相机10、10'提供的数据在图像处理单元33、33'中被处理成修改后的相机图像330、330'。关于相机10、10’和监视器20、20'的几何布置参考图1和图2的实施方式。在根据图4的装置的这两个部分的每个部分中,相应的相机10、10'拍摄由经由监视器20、20'并且特别是半透射的反射镜22、22'反射的演讲者(在这个实施例中被称为参与者)的图像。
与之前所描述的实施例不同,在这里,修改后的相机图像330、330'并非经由混合器34被传输到第二图形单元35,而是经由网络端口36被传输到装置的第二部分的混合器34'。在混合器34'那里,修改后的相机图像与由监视器图像发生器31'已提供的监视器图像200一起被馈送至第一图形单元32',该第一图形单元32'将监视器图像200和修改后的相机图像330的叠加传输到监视器20',以向第二参与者展示。因此,在这个实施例中,第二参与者的监视器20'构成播放系统40(参考图1)。监视器20、20'的整个部分或相应地其一部分(例如,以窗口的形式)可以用作播放系统。
反过来,第二参与者的相机图像100'通过图像处理单元33'进行修正,并且经由网络端口36'作为第二参与者的修改后的相机图像330'发送给第一参与者的控制计算机30。在这里,在混合器34中也进行与由监视器图像生成器31提供的监视器图像200的叠加。叠加的图像经由第一图形单元32被输出到第一参与者的监视器20。优选地,这两个控制计算机30、30'中的监视器图像发生器31、31'是同步的,使得在这两种情况下,相同的监视器图像200被混合到相应的修改后的相机图像330、330'。通过这种方式形成了两个相互交织的演示系统,其中一个系统的监视器20、20'也充当另一个系统的播放系统。
通过所描述的方法,这两个参与者中的每个参与者都看着监视器20上的监视器图像200和其对话者,即相应的另一个参与者。因此,这两个参与者可以同时观看监视器图像200,并且必要时,在使用触敏式显示器20、20'的情况下对该监视器图像进行处理。在使相机10、10'或监视器20、20'适当对准的情况下,这两个参与者也可以通过眼神交流看着彼此。
在图4中,这两个监视器图像发生器31、31'的同步用虚线箭头表示。因此应理解,控制计算机30、30'之间的总计三个示出的连接是通过单个网络连接形成的。然而,修改后的相机图像330、330'和监视器图像200的同步信息在此当然可以以不同的数据速率和延迟来传输,以考虑更快速地变化的相机图像100、100'。
与图4中所示的不同,可以在相应的控制计算机30、30'中实现使修改后的相机图像330、330'与监视器图像200的混合,然后传输到相应的另一控制计算机30、30'。
参考标记
1 演讲者
2 手指
3 眼睛
10、10' 摄像机
100 相机图像
11、11' 偏振滤波器
20、20' 监视器
200 监视器图像
21、21' 偏振滤波薄膜
22、22' 半透射的反射镜
23 边缘
30、30' 控制计算机
31、31' 监视器图像发生器
32、32' 第一图形单元
33、33' 图像处理单元
330 修改后的相机图像
34、34' 混合器
35 第二图形单元
36、36' 网络端口
40 播放系统
400 输出图像。

Claims (17)

1.一种演示系统,其用于由播放系统(40)共同地展示监视器图像(200)和用至少一个摄像机(10)拍摄的演讲者(1)的相机图像(100),其中所述监视器图像(200)和所述相机图像(100)在混合器(34)中被叠加,以由所述播放系统(40)展示,其中存在具有显示器的监视器(20),以向位于所述监视器(20)前方的演讲者(1)展示所述监视器图像(200),其中半透射的反射镜(22)被布置在所述显示器的前方,并且其中所述至少一个摄像机(10)被定位成使得其记录经由所述半透射的反射镜(22)镜面反射的演讲者(1),其特征在于,所述至少一个摄像机(10)是红外相机。
2.根据权利要求1所述的演示系统,其中,所述半透射的反射镜(22)平行于所述显示器被平放在其上。
3.根据权利要求1或2所述的演示系统,其中,所述半透射的反射镜(22)作为用于所述显示器的保护玻璃被集成到所述监视器(20)中。
4.根据权利要求1至3中任一项所述的演示系统,其中,所述半透射的反射镜(22)具有触敏式感测表面。
5.根据权利要求1至4中任一项所述的演示系统,其中,偏振滤波器被布置在所述至少一个摄像机(10)的前方。
6.根据权利要求5所述的演示系统,其中,偏振器被布置在所述监视器(20)的显示器与所述半透射的反射镜(22)之间。
7.根据权利要求6所述的演示系统,其中,所述偏振器是在整个显示器上平面地延伸的偏振滤波薄膜(21)。
8.根据权利要求1至4中任一项所述的演示系统,其中,彩色滤波器或视角滤波器被布置在所述监视器(20)的显示器与所述半透射的反射镜(22)之间。
9.根据权利要求1至8中任一项所述的演示系统,具有控制计算机(30),所述控制计算机具有图像处理单元(33),所述图像处理单元能够进行实时图像处理以修正所述相机图像(100),其中修改后的相机图像(330)被进一步传输到所述混合器(34)。
10.根据权利要求1至9中任一项所述的演示系统,其中,所述修改后的相机图像(330)经由网络被进一步传输到远离的混合器(34')。
11.根据权利要求10所述的演示系统,其中,所述远离的混合器(34')与远离的监视器(20')连接,所述远离的监视器充当播放系统(40)并且其本身是另外的演示系统的一部分。
12.根据权利要求1至11中任一项所述的演示系统,其中,至少一个另外的反射镜被布置在所述至少一个摄像机(10)与所述半透射的反射镜(22)之间的光路中,其中经由所述至少另外的反射镜并且经由所述半透射的反射镜(22)镜面反射的演讲者(1)由所述至少一个摄像机(10)记录。
13.根据权利要求1至12中任一项所述的演示系统,其中,另外的相机被提供和布置来拍摄演讲者(1)的彩色图像,根据所述彩色图像能够对所述相机图像(100)和/或所述监视器图像(200)进行彩色着色。
14.一种演示方法,其用于由播放系统(40)共同地展示监视器图像(200)和用至少一个摄像机(10)拍摄的演讲者的相机图像,其中:
提供具有显示器的监视器(20),在所述监视器上为位于所述监视器(20)前方的演讲者(1)展示所述监视器图像(200);
所述至少一个摄像机(10)在红外波长范围内将经由布置在所述监视器(20)的显示器前方的半透射的反射镜(22)镜面反射的演讲者(10)记录在相机图像(100)中;
由图像处理单元(33)实时地处理所述相机图像(100),以产生修改后的相机图像(330);和/或使所述监视器图像(200)在其展示在所述监视器(20)上之前失真;以及
在混合器(34)中叠加所述监视器图像(200)和所述修改后的相机图像(330),以由所述播放系统(40)展示。
15.根据权利要求14所述的演示方法,其中,在处理步骤中使所述相机图像(100)失真,和/或进行边缘裁切和/或局部放大和/或位置校正和/或旋转校正和/或镜面反射。
16.根据权利要求14或15所述的演示方法,其中,在处理步骤中在使用由另外的相机拍摄的演讲者(1)的彩色图像的情况下对所述相机图像(100)进行着色。
17.根据权利要求14至16中任一项所述的演示方法,其中,所述播放系统(40)包括另外的演示系统的监视器(20')。
CN201980043167.7A 2018-06-26 2019-06-26 演示系统和演示方法 Active CN112689994B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018115302.3 2018-06-26
DE102018115302.3A DE102018115302A1 (de) 2018-06-26 2018-06-26 Präsentationssystem und Präsentationsverfahren
PCT/EP2019/066983 WO2020002421A1 (de) 2018-06-26 2019-06-26 Präsentationssystem und präsentationsverfahren

Publications (2)

Publication Number Publication Date
CN112689994A true CN112689994A (zh) 2021-04-20
CN112689994B CN112689994B (zh) 2023-10-27

Family

ID=67539394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043167.7A Active CN112689994B (zh) 2018-06-26 2019-06-26 演示系统和演示方法

Country Status (6)

Country Link
US (1) US11399154B2 (zh)
EP (1) EP3815355A1 (zh)
JP (1) JP7387653B2 (zh)
CN (1) CN112689994B (zh)
DE (1) DE102018115302A1 (zh)
WO (1) WO2020002421A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023218978A1 (ja) * 2022-05-12 2023-11-16 ソニーグループ株式会社 表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0581221A1 (en) * 1992-07-31 1994-02-02 Nippon Telegraph And Telephone Corporation Display and image capture apparatus
WO2002067050A1 (en) * 2001-02-16 2002-08-29 Imatte, Inc. Interactive teleconferencing display system
US20050110964A1 (en) * 2002-05-28 2005-05-26 Matthew Bell Interactive video window display system
US20050151850A1 (en) * 2004-01-14 2005-07-14 Korea Institute Of Science And Technology Interactive presentation system
US20100188478A1 (en) * 2009-01-28 2010-07-29 Robinson Ian N Methods and systems for performing visual collaboration between remotely situated participants
US20160227164A1 (en) * 2015-01-29 2016-08-04 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292248B2 (ja) 1991-05-29 2002-06-17 富士通株式会社 遠隔会議システム
US6042235A (en) * 1996-11-08 2000-03-28 Videotronic Systems Videoconferencing eye contact spatial imaging display
US6783247B2 (en) * 2002-03-14 2004-08-31 White Peter Mcduffie Life-size communications systems with front projection
US20040196359A1 (en) * 2002-05-28 2004-10-07 Blackham Geoffrey Howard Video conferencing terminal apparatus with part-transmissive curved mirror
US7057637B2 (en) * 2004-04-21 2006-06-06 White Peter Mcduffie Reflected backdrop for communications systems
WO2007087142A2 (en) * 2006-01-12 2007-08-02 Children's Medical Center Corporation Video conference system with parallax correction and background reduction
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US8488042B2 (en) 2009-01-28 2013-07-16 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
US8508614B2 (en) * 2010-06-02 2013-08-13 Futurity Ventures LLC Teleprompting system and method
US8773464B2 (en) 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
US8780161B2 (en) 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
US20150138303A1 (en) * 2013-11-20 2015-05-21 Telepresence Technologies, Llc Eye to Eye Camera Apparatus
US9270933B1 (en) 2013-11-23 2016-02-23 Yuan Qing Jiang System and method for face-to-face video communication
JP2017032757A (ja) 2015-07-31 2017-02-09 キヤノン株式会社 表示制御装置、表示制御方法、表示制御システム、及び、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0581221A1 (en) * 1992-07-31 1994-02-02 Nippon Telegraph And Telephone Corporation Display and image capture apparatus
WO2002067050A1 (en) * 2001-02-16 2002-08-29 Imatte, Inc. Interactive teleconferencing display system
US20050110964A1 (en) * 2002-05-28 2005-05-26 Matthew Bell Interactive video window display system
US20050151850A1 (en) * 2004-01-14 2005-07-14 Korea Institute Of Science And Technology Interactive presentation system
US20100188478A1 (en) * 2009-01-28 2010-07-29 Robinson Ian N Methods and systems for performing visual collaboration between remotely situated participants
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US20160227164A1 (en) * 2015-01-29 2016-08-04 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof

Also Published As

Publication number Publication date
DE102018115302A1 (de) 2020-01-02
US20210274127A1 (en) 2021-09-02
WO2020002421A1 (de) 2020-01-02
JP2021529466A (ja) 2021-10-28
JP7387653B2 (ja) 2023-11-28
EP3815355A1 (de) 2021-05-05
CN112689994B (zh) 2023-10-27
US11399154B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
US8488042B2 (en) Systems for capturing images through a display
US9036043B2 (en) System and method for generating and transmitting interactive coordinated presentations
KR101795644B1 (ko) 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법
US7690795B2 (en) Projector/camera system
US8355038B2 (en) Systems for capturing images through a display
US20170322513A1 (en) Holographic Multimedia Presentation and Projector
US10037746B2 (en) System and method for displaying layered images
JPH04504786A (ja) 三次元ディスプレイ装置
US20110298894A1 (en) Stereoscopic field sequential colour display control
RU2719478C1 (ru) Система для записи и проведения мультимедийных презентаций
Large et al. Parallel optics in waveguide displays: a flat panel autostereoscopic display
CN112689994B (zh) 演示系统和演示方法
Kuechler et al. Holoport-a device for simultaneous video and data conferencing featuring gaze awareness
KR101554574B1 (ko) 투명 칠판을 이용한 강의 동영상의 녹화 시스템 및 방법
US20230282186A1 (en) Systems and methods for improved production and presentation of video content
US20220360755A1 (en) Interactive display with integrated camera for capturing audio and visual information
WO2018149266A1 (zh) 一种基于增强现实的信息处理方法及设备
JP3171955B2 (ja) 表示撮像装置
JPH05219501A (ja) 画像通信システム
Foote et al. Annotating Remote Reality with iLight

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant