CN115967782A - 背景显示设备、相机和显示虚拟背景的展示的方法 - Google Patents

背景显示设备、相机和显示虚拟背景的展示的方法 Download PDF

Info

Publication number
CN115967782A
CN115967782A CN202211243958.4A CN202211243958A CN115967782A CN 115967782 A CN115967782 A CN 115967782A CN 202211243958 A CN202211243958 A CN 202211243958A CN 115967782 A CN115967782 A CN 115967782A
Authority
CN
China
Prior art keywords
camera
display device
exposure
background
background display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211243958.4A
Other languages
English (en)
Inventor
H·泼普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arnold and Richter Cine Technik GmbH and Co KG
Original Assignee
Arnold and Richter Cine Technik GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arnold and Richter Cine Technik GmbH and Co KG filed Critical Arnold and Richter Cine Technik GmbH and Co KG
Publication of CN115967782A publication Critical patent/CN115967782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

在虚拟图像记录工作室中借助背景显示设备显示虚拟背景的展示以用于通过相机进行记录的方法中,所述虚拟背景的展示的显示根据时间控制进行。所述相机还根据曝光时间序列记录所述虚拟背景的展示的显示,并且所述虚拟背景的展示的显示的所述时间控制与所述曝光时间序列彼此同步。

Description

背景显示设备、相机和显示虚拟背景的展示的方法
技术领域
本发明涉及一种用于虚拟图像记录工作室的背景显示设备,其被配置为在真实主体后面显示虚拟背景的展示以用于相机记录。
本发明还涉及一种用于记录这种虚拟背景的展示的相机和一种在虚拟图像记录工作室中借助背景显示设备显示虚拟背景的展示以用于通过相关联的相机进行记录的方法。
背景技术
背景显示设备可以特别地被提供用于在图像记录工作室中显示景观或环境,将借助相关联的相机在图像记录工作室中进行记录并形成用于待记录的场景的虚拟背景。图像记录工作室可以例如是用于记录移动图像序列的电影工作室或记录单独图像或静止图像的照相工作室。一般来说,这样的记录可以包括图像数据的本地存储或向远程位置的传输(例如,广播、流式传输)。在虚拟图像记录工作室中,因此,可创建虚拟背景或虚拟环境,在该虚拟背景或虚拟环境中演员可在移动图像记录期间四处移动,或者该虚拟背景或虚拟环境可形成用于静止图像记录的背景。因此,在本上下文中提到的虚拟背景包括表示背景主体并可由相关联的相机直接地记录为(前景)场景的看起来真实的环境的图像信息。由于虚拟环境还可以设置在真实主体上面或下面,因此,在本上下文中应当全面地理解在真实主体“后面”的虚拟背景的展示。
例如,当记录移动图像时,可使用背景显示设备来显示虚拟背景的展示以能够直接地在预期环境中记录场景。特别地,因此,可促进表演,因为在虚拟背景中发生的可能事件可被演员感知,并且演员可对这些事件作出反应。,因此与使用例如演员不能看见环境的绿幕相比,演员可使他的表演针对任何背景事件进行调适,并且导演、摄影师或参与拍摄的任何其他人可在拍摄期间已经获得对场景的整体印象并可评估场景。另外,在记录之后可直接地查看和检查整个场景或电影的对应部分,而不必叠加被提供用于场景的背景。
在静止图像记录的情况下,这样的背景显示设备可以例如用于在图像记录工作室中的基本上任何环境中、并由此地在可控制环境中记录照片,并且在拍摄照片时完整地显示所得的图像。因此,背景和待拍摄的真实主体或人可彼此最佳地匹配或协调。另外,可立即地查看所记录的照片,以便在需要时进行必要调整。
为了显示虚拟背景的展示,背景显示设备可以特别地形成或具有电子显示器,该电子显示器具有有源像素矩阵,并且可以例如包括具有多个发光元件的有源照明装置。例如,为了在虚拟图像记录工作室中显示虚拟背景的展示,可使用LED墙,该LED墙的发光二极管可以是可单独地控制的和/或以相邻发光二极管组或以发光二极管阵列控制的。这样的LED壁的发光二极管可以例如被提供为LED(发光二极管)或OLED(有机发光二极管)。此外,发光二极管可以是液晶显示器的一部分。例如,此类背景显示设备可跨至少5m的宽度和至少2m的高度延伸,以能够记录在共同的(虚拟)背景前面的多个演员。
此外,背景显示设备可以包括多个面板,图像元素布置在所述多个面板处,并且所述多个面板一起形成LED墙。虽然面板可基本上是二维的,并且布置在面板处的图像元素可以以二维排列延伸,但是可以例如由多个面板的适当布置实现背景显示设备分段地弯曲和/或呈拱形。因此,背景显示设备可以例如在虚拟图像记录工作室中布置在真实主体后面以及上面或下面,以便也能够在图像记录工作室中直接地记录虚拟天空的展示、或房间的虚拟天花板的展示、或虚拟楼层的展示。作为LED墙的替代方案,虚拟背景的展示一般还可以由在光源墙(例如,用于背后投影的屏幕)处的反射或透射产生的光点生成。为此目的,可由投影仪进行有源光生成,其中光源仅间接地形成在屏幕上。
这样的背景显示设备可以特别地通过适当地控制图像元素来视觉上呈现可以特别地表示三维场景的虚拟背景和/或通过在记录期间改变控制以调适所述虚拟背景。因此,背景显示设备提供了这样的可能性:以动画且易调适的方式呈现待记录的场景的虚拟背景并由此特别地促进表演或手势。
为了在虚拟图像记录工作室中记录移动图像序列,相机可以例如生成虚拟背景的展示的图像的序列,其中相机可以特别地以预先定义或可设定的图像记录率或帧率记录图像。背景显示设备还可以被配置为适时地改变虚拟背景的展示,以便例如能够显示在虚拟背景中的移动。展示的这种改变还可以以特定刷新频率(也称为“刷新率”)进行,使得所显示的展示可以例如以该刷新率改变或与相应下一展示进行交换。
一般来说,在这样的虚拟图像记录工作室中进行记录期间,有利的是,将被提供用于记录的相机的帧率和背景显示设备的刷新率彼此同步,以使得由背景显示设备显示的虚拟背景的每个展示与由相机生成的相应图像相关联。此外,可提出,背景显示设备以比该刷新率高的特定光脉冲频率显示虚拟背景的展示。因此,在图像记录期间,相关联的相机可寄存再现虚拟背景的展示的多个光脉冲。
然而,即使在背景显示设备的刷新率与相机的帧率之间如此同步的情况下,也存在如下问题,相机在整个图像记录时间期间通常不生成图像,但是相机的任何光敏元件仅在一般可自由地选择并且不必与帧率相关的可设定曝光时间期间和/或可设定曝光窗口内进行曝光。由于可在相机处进行在这方面与帧率无关但与图像记录相关的设定,因此,在相机的帧率与背景显示设备的刷新率之间的排他性同步可能不足以实现虚拟背景的展示的自然图像,其重现与虚拟背景相对应的真实背景的图像。例如,相机的光敏元件的不同区域可根据曝光设定在记录期间寄存不同数量的光脉冲,使得由相机生成的图像的不同区域还可以不同地进行曝光。此外,在相机与背景显示设备之间的同步不足的情况下,当虚拟背景的展示在曝光期间刷新时,在由相机生成的图像中可能出现所谓的撕裂效应,并且最终地,虚拟背景的两种不同的展示在同一图像中成像。
发明内容
因此,本发明的目的在于提供用于在虚拟图像记录工作室中记录由背景显示设备显示的虚拟背景的展示的可能性,通过这种可能性,可生成虚拟背景的展示的均匀照明的图像并可避免因刷新展示而产生的成像错误。
该目的通过在虚拟图像记录工作室中借助背景显示设备显示虚拟背景的展示以用于通过相机进行记录的方法来实现,其中虚拟背景的展示的显示根据时间控制进行,并且其中相机根据曝光时间序列记录虚拟背景的展示的显示。此外,在该方法中,虚拟背景的展示的显示的时间控制与曝光时间序列彼此同步。
为了实现这种虚拟背景显示器的展示的显示的时间控制与曝光时间序列的同步,相机和背景显示设备可以特别地经由网络彼此链接。这样的链接可以特别地经由对应网络协议(例如,PTP(精确时间协议))实现相机和背景显示设备的时间信号的同步,这也将在下文进行解释。
在该方法的一些实施例中,背景显示设备可以包括多个有源照明图像元素,特别是多个发光二极管,该多个有源照明图像元素形成二维排列。有源照明图像元素可以特别地是可单独地控制和/或以图像元素组控制的,以便显示虚拟背景的展示。
在一些实施例中,背景显示设备还可以被配置为LED墙,并且图像元素可被配置为发光二极管或发光二极管单元。这样的LED墙的发光二极管例如可被配置为LED(发光二极管)或有机发光二极管或者说OLED(有机发光二极管)。此外,在LED墙的情况下,可提出,共同地生成虚拟背景的展示的单独的图像元素由单独的发光二极管形成。然而,单独的图像元素还可以由相应发光二极管单元形成,其中每个发光二极管单元可以特别地包括多个发光二极管,特别是三个发光二极管。例如,发光二极管单元还可以包括三个、四个或更多个发光二极管,其中发光二极管单元的所述多个发光二极管可以特别地具有不同发射光谱并可任选地配备有混色器。此外,在这样的发光二极管单元中,可提出,可选择地控制发光二极管单元的单独的发光二极管以生成由发光二极管单元形成的图像元素的所期望的颜色。发光二极管单元可以特别地包括发射红光的发光二极管、发射绿光的发光二极管和发射蓝光的发光二极管。
在一些实施例中,可提出,可单独地控制图像元素以生成虚拟背景的展示。通过控制图像元素,图像元素的相应颜色和/或亮度可以特别地设定为能够将由相应图像元素显示的虚拟背景的展示的区段或点设定为预期的颜色和/或亮度。
在一些实施例中,背景显示设备可在竖直和/或水平取向上延伸,特别是具有连续或准连续的过渡。例如,可提出,背景显示设备在真实主体后面以平面方式在竖直取向上延伸以显示在真实主体后面的虚拟背景的展示。然而,替代地或附加地,还可以提出,背景显示设备至少分段地在水平取向上延伸,使得例如还可以在真实主体上方显示虚拟背景的展示。此外,背景显示设备可被配置为包围并覆盖真实主体,以便能够在大角度范围内尽可能完整地显示虚拟背景。在背景显示设备从竖直取向过渡为水平取向的区段中,背景显示设备也可以是拱形和/或弯曲的。特别地,在由多个面板组装背景显示设备时,面板可组装成不同的且例如是拱顶状的几何形状,以便为了在虚拟图像记录工作室中记录而提供所期望的环境。此外,在一些实施例中,可提出,背景显示设备分段地布置在虚拟图像记录工作室的地板上。在此类区段中,背景显示设备还可以特别地在水平取向上延伸。
在一些实施例中,背景显示设备还可以被配置为对真实主体照明。除了虚拟图像记录工作室的其他照明之外,该背景显示设备可以特别地用于对真实主体照明。例如,由此,可实现当照明源(例如,街灯)被包括在虚拟背景中时,真实主体投出预期的阴影,因为预期的真实街灯的、对真实主体的照明源于所显示的虚拟背景的路灯的展示。然而,背景显示设备还可以被配置为分段地发光来照明场景并且可说是充当聚光灯,而背景显示设备可在其他区段处显示虚拟背景的展示。
在一些实施例中,背景显示设备还可以被配置为在记录期间、特别是在场景的记录期间由相机适时地改变虚拟背景的展示。由此,在虚拟背景中发生的事件可以特别地在相机记录期间借助背景显示设备直接地显示,使得与例如在绿幕记录的情况下不同,演员可对这些事件做出反应并可对应地调适针对这些事件的表演。因此,背景显示设备可以特别地被配置为在相机记录期间显示可由相机直接地记录的影片序列。因此,不再需要随后将相机的记录与所提供的背景叠加。
相机例如可被配置为模拟相机或数字相机,并可具有光敏元件,其中光敏元件可以例如由胶片或图像传感器形成。相机可以特别地以是配置成生成所记录的图像的序列的摄影机(也称为运动图像照相机)。所记录的图像中的每一个可以对应于光敏元件的相应曝光,使得两个连续图像可由阻止或不考虑在光敏元件上的光入射的相机的曝光暂停分离。
这种被配置为摄影机的相机可以特别地以特定或可设定的帧率生成连续图像,使得对于图像的记录,相应图像记录时间可作为帧率的倒数提供。曝光时间可对应于图像记录时间的期间中光敏元件被暴露于光的部分。相比之下,对于图像记录时间的剩余部分,可保护光敏元件免受光的入射,例如,通过相机快门机械地关闭,或者通过为了生成数字图像数据集而仅考虑在曝光时间期间因光的入射而生成的、在传感器的光敏传感器元件处生成的电荷,而不考虑在曝光时间之外生成的电荷。例如,这可通过实现传感器元件的电荷在预期曝光之前由相应电路取消或重置为参考值,以便然后从完全放电的传感器元件开始以开始曝光并记录图像并且在曝光时间已经过去之后读出传感器元件。例如,DE102010035811A1中描述了这样的用于读出图像传感器的电路。
一般来说,曝光时间因此可以对应于相机的光敏元件被曝光的曝光持续时间。此外,相机的曝光时间可从在第一光敏区域中生成光电或光化学信号开始进行直到在相机的最后的光敏区域中生成该信号结束。这可以特别地在相机具有所谓的全局快门时提供,在全局快门中光敏元件的所有区域同时被读出和/或被保护免受光的入射,使得曝光可在光敏元件的每个区域中在相同起始时间上开始并在相同结束时间上结束。
然而,还可以提出,例如当图像传感器的单独的行被相继地读出时,相机的图像传感器的光敏传感器元件的不同区域、特别是不同行被相继地曝光。在图像传感器的这样的连续逐行读出中,图像传感器的一行传感器元件可以例如首先被曝光,其中后继续行的曝光可在前一行的曝光一完成就开始,并且在曝光期间生成的电荷的读出已经在前一行中开始。因此,图像传感器的单独的行的曝光时间可彼此偏移。成行的传感器元件的这样的读出和曝光特别地使得能够电子再现机械卷帘镜头快门或镜头快门的开口在光敏元件(胶片或图像传感器)上或沿该光敏元件移动的卷帘快门,使得光敏元件的不同区域通过镜头快门的打开来释放以用于光的入射并在不同时间上再次关闭。在这样的机械卷帘快门或电子卷帘快门中,对于光敏元件的所有区域或行,曝光时间最终地可以是相同的,然而,其中单独的区域或行的曝光的起始时间点可彼此不同。
在这方面,曝光时间一般可对应于摄影师对相机设定的曝光时间,并且在具有图像传感器的电子相机的情况下,该术语特别地意指相应传感器元件的曝光的持续时间。在卷帘快门的情况下,这特别是相应行的传感器元件的曝光持续时间,其中不同行的曝光时间可彼此偏移,并且单独的行的曝光可在不同时间起点上开始。因此,从第一传感器元件(例如,第一传感器行)的曝光的起始时间点直至最后的传感器元件(例如,最后的传感器行)的曝光的结束时间点的时间间隔可被称为曝光窗口,使得在卷帘快门中的曝光窗口最终地因传感器元件单独的行的移位的曝光时间而可以比单次曝光时间更长。类似地,在机械卷帘快门中,曝光时间可以意指在单个图像记录期间相机的光敏元件(胶片或图像传感器)的相应点经受光的入射的持续时间。在机械卷帘快门中,曝光时间也比相机的曝光窗口小,该曝光窗口是指从光敏元件的第一曝光区域的曝光的起始直至光敏元件的最后的曝光区域的曝光的结束的时间间隔。
在例如同时地读出图像传感器的所有光敏传感器元件的电荷的全局快门中,相比之下,曝光窗口可对应于曝光时间。很一般地,在卷帘快门和全局快门两者中,在两个连续曝光窗口之间可以存在曝光暂停,其中在曝光暂停期间入射的光不会由图像传感器的任何传感器元件转换为传感器信号或光敏元件被机械保护以免受光的入射。
由于虚拟背景的显示的时间控制和曝光时间序列彼此同步,因此可以特别地解决在背景技术中提到的问题。展示的显示的时间控制的同步可以特别地包括调适背景显示设备的控制或背景显示设备的部件的控制的频率和/或时间点或相位。例如,在背景显示设备处改变虚拟背景的所显示的展示的刷新时间的相位可根据曝光时间进行调适并特别地使得展示仅在曝光时间和/或相机的曝光窗口之外改变,以便避免上文解释的撕裂效应。曝光时间序列的同步可以包括调适连续曝光时间的频率和/或调适曝光时间的相应时间点或相位和/或调适曝光时间的相应持续时间。例如,通过调适由相机在图像记录时间内进行的曝光的起始时间点的相位,还可以实现相机的曝光窗口和/或相机的曝光时间在图像记录时间内移位,使得虚拟背景的展示的显示的改变在相机的曝光窗口之外进行。
例如,通过将背景显示设备的时间控制与相机的曝光时间序列同步,还可以将曝光时间与背景显示设备的光脉冲频率相匹配,在该光脉冲频率下,背景显示设备显示虚拟背景的展示,使得相机的光敏元件的每个区域、特别是图像传感器的每行传感器元件在曝光时间期间寄存相同数量的光脉冲。例如,由此,如果在不同时间上曝光行和/或读出行,则由此可避免在图像传感器的不同行之间的亮度差异。
此外,相机的帧率和背景显示设备的刷新率一般可彼此匹配,使得相机可在相应的曝光期间记录虚拟背景的第一展示以能够在后续曝光中记录可相对于第一展示改变的虚拟背景的第二展示。在这方面,帧率可对应于刷新率。然而,还可以提出,帧率比刷新率更大并特别地对应于刷新率的整数倍(例如,刷新率的两倍或四倍)相对应,使得第一展示的两个记录和第二展示的两个记录可以例如借助相机生成。
另外的实施例可从权利要求书、说明书和附图中得出。
本发明还涉及一种在虚拟图像记录工作室中借助背景显示设备、特别是如本文所公开的背景显示设备显示虚拟背景的展示以用于通过相机、特别是如本文所公开的相机进行记录的方法。在该方法中,虚拟背景的展示根据光脉冲频率间歇地显示并根据相机的曝光时间间歇地记录。此外,在该方法中,根据背景显示设备的光脉冲频率设定相机的曝光时间,或者根据相机的曝光时间设定背景显示设备的光脉冲频率。在该方法中,相机的曝光时间和/或背景显示设备的光脉冲频率还被设定成使得曝光时间对应于光脉冲频率的倒数的整数倍。
如已经解释的,背景显示设备可以特别地被配置为以特定和/或可设定的光脉冲频率以脉动方式显示虚拟背景的展示,其中该光脉冲频率可以特别地比帧率更大几倍。光脉冲频率可以特别地对应于相机的帧率的整数倍,并且例如可提出,在60fps(每秒帧数)或60Hz的相机的帧率下,以1920Hz或3840Hz的光脉冲频率操作背景显示设备,而在50Hz的帧率下,例如,可提供1600Hz或3200Hz作为光脉冲频率。在24Hz或24fps的帧率下,背景显示设备还可以例如以1920Hz或3840Hz的光脉冲频率操作。
虽然背景显示设备的光脉冲频率因此能够与相机的帧率(该帧率特别是还可以对应于背景显示设备的刷新率)相匹配,但是相机的曝光时间通常可自由地设定并可对应于图像记录时间的任何所期望的部分。在这方面,相机的曝光时间或曝光窗口(在所述曝光时间或曝光窗口期间,作为电子卷帘快门操作的图像传感器的单独的行例如以设定曝光时间而接连地曝光)可与帧率无关,使得尽管在相机的帧率与光脉冲频率之间存在匹配,但是在背景显示设备的光脉冲频率与相机的曝光时间之间不存在整数关系。
然而,由于特别是在具有卷帘镜头快门的相机中,光敏元件的不同区域(例如,图像传感器的不同行)可在不同时间曝光,因此不同数量的和/或不同的不规则地不完整的光脉冲可以因在曝光时间与光脉冲频率之间缺乏联系而在图像记录期间寄存在传感器元件的不同行中,这可能导致对由相机生成的虚拟背景的展示的图像中的不同区域或行的亮度调制。
然而,由于相机的曝光时间和背景显示设备的光脉冲频率可彼此同步,使得曝光时间对应于光脉冲频率的倒数的整数倍,因此可实现例如逐行地曝光和读出的图像传感器的每个行在曝光期间寄存相同数量的光脉冲,从而可以防止对图像传感器的行的调制。由于这样的同步,还可以特别地实现,即使在图像传感器的单独的行的单独曝光时间的起始间点之间的相位移动时(例如在行中的曝光起始时),只有光脉冲的在该行的曝光时间内寄存的最后的光脉冲还寄存在该行中的那部分被截断。总之,因此,可在每行中记录整数且恒定数量的完整光脉冲。可以特别地进行同步,使得曝光时间对应于光脉冲频率的倒数的大于一的整数倍。因此,图像传感器的每行可在每个曝光期间记录至少两个光脉冲。
相机的曝光时间与背景显示设备的光脉冲频率的同步可通过在相机处调适曝光时间或在背景显示设备处调适光脉冲频率来进行。在调适相机处的曝光时间时,这例如可通过自动地设定曝光时间来自动地进行,使得曝光时间对应于光脉冲频率的倒数的整数倍。然而,替代地,调适可在相机处手动地进行,为此目的,例如可向用户显示可选择的允许曝光时间,其对应于光脉冲频率的倒数的整数倍。背景显示设备还可以被配置为根据相机的曝光时间自动地设定适应的光脉冲频率和/或向用户显示可能的光脉冲频率的选项,用户可从中选择。
在一些实施例中,可在该方法中进一步确定相机的曝光时间和/或背景显示设备的光脉冲频率。例如,可将背景显示设备的光脉冲频率传输到相机,使得相机和/或相机的控制设备可确定对应于光脉冲频率的倒数的倍数的允许曝光时间。允许曝光时间例如可显示在相机上、特别是显示在显示器上,使得用户可在允许曝光时间之间手动地选择。作为替代,可以例如将相机的曝光时间传输到背景显示设备,使得背景显示设备的控制设备可以例如设定光脉冲频率,使得曝光时间对应于光脉冲频率的倒数的整数倍或相应的光脉冲频率可显示给用户并供其选择。
本发明还涉及一种在虚拟图像记录工作室中借助背景显示设备、特别是如本文所公开的背景显示设备显示虚拟背景的展示以用于通过相机、特别是如本文所公开的相机进行记录的方法,其中所述展示在刷新时间上改变并根据相机的相应的曝光被记录。在该方法中,根据背景显示设备的刷新时间设定相机在连续曝光之间的曝光暂停,或者根据相机在连续曝光之间的曝光暂停设定背景显示设备的刷新时间。进一步进行曝光暂停和/或刷新时间的相应设定,使得虚拟背景的展示的相应改变在相机的曝光暂停期间进行。
由于刷新时间与相机的曝光暂停的这样的匹配,可以特别地实现在相机的光敏元件(图像传感器或胶片)的区域或行被曝光的时间点上不改变虚拟背景的展示。再次地特别是在具有卷帘镜头快门或卷帘快门的相机中,在曝光期间展示的改变造成原始显示的展示被记录在光敏元件的一些行或区域中,而所改变的展示已经寄存在光敏元件的其他行中。因此,在由相机最终地生成的图像中,可使不同的虚拟背景的展示分段地成像,使得图像可看起来分成两个部分。
然而,由于在相机的刷新时间和曝光暂停之间的匹配,可通过仅在曝光暂停期间改变展示来避免这样的所谓的撕裂效应。因此,在曝光期间,可借助相机记录未改变的虚拟背景的展示,使得相同的虚拟背景的展示可以特别地成像在图像传感器的每行中。
为了实现这一点,相机的帧率可以例如首先与背景显示设备的刷新率(即背景显示设备改变虚拟背景的展示的频率)同步。为此目的,帧率可以特别地对应于刷新率相或被选择为帧率的整数倍。此外,在图像记录中相机的曝光时间和/或曝光暂停的相可以例如被定义为使得背景显示设备的刷新时间落入相机的曝光暂停中。作为在相机处设定的替代方案,为了与相机的曝光暂停同步,在背景显示设备处的刷新时间还可以在时间上相对于相机的曝光和/或曝光窗口的起始而偏移,使得虚拟背景的展示在相机的曝光暂停中进行改变。在刷新时间与曝光暂停之间的这样的匹配可以特别地通过将相机和背景显示设备在网络中链接来实现,使得相机和背景显示设备的相应时间信号可经由对应的网络协议(例如,PTP(精确时间协议))彼此同步。由于还可以相同地选择相机的帧率和背景显示设备的刷新率,因此刷新时间和曝光暂停可在相同频率下重复,使得后续刷新时间还可以始终落入相应曝光暂停中。这还可以在帧率被选择为刷新率的整数倍的情况下实现。通过在刷新率与帧率之间的这样的匹配,还可以实现,在相应的先前刷新时间落入曝光暂停中的情况下,后续刷新时间落入相机的曝光暂停中。
此外,本发明涉及一种用于记录虚拟背景的展示的相机,所述虚拟背景的展示借助相关联的背景显示设备根据光脉冲频率间歇地显示在虚拟图像记录工作室中。所述相机包括:接口,所述接口用于接收相关联的背景显示设备的光脉冲频率的值;以及控制设备,其中所述控制设备被配置为根据可设定的曝光时间控制相机。此外,控制设备被配置为根据所接收的光脉冲频率的值确定多个允许曝光时间。
相机的接口可以特别地被配置为以有线或无线方式接收背景显示设备的光脉冲频率。例如,相机的接口可直接地从可以例如同样地具有为此目的的接口的背景显示设备接收背景显示设备的光脉冲频率。作为替代,背景显示设备的光脉冲频率可以例如通过用户在相机上输入而进行输入,使得控制设备可基于用于传输背景显示设备的光脉冲频率的用户输入来确定允许曝光时间。为此目的,相机的控制设备可以特别地连接到相机的接口。此外,控制设备可以例如被配置为CPU(中央处理单元)和/或微处理器。
由于控制设备被配置为根据光脉冲频率的值确定多个允许曝光时间,因此可以特别地实现,在曝光期间设定允许曝光时间时,当不同区域在曝光时间暴露于光的入射时,相同数量的光脉冲寄存在相机的光敏元件(例如,胶片或图像传感器)的不同区域或行处。例如,可确定允许曝光时间,使得在曝光时间期间可寄存背景显示设备的整数个光脉冲。由于曝光时间与背景显示设备的光脉冲频率的这样的匹配,可以特别地避免由相机生成的虚拟背景的展示的图像的亮度的调制。
在一些实施例中,相机可具有电子卷帘镜头快门或机械卷帘镜头快门。
例如,DE 10 2010 035 811 A1中描述了一种电子卷帘快门。这种电子卷帘快门可由图像传感器形成,该图像传感器具有布置成行和成列的多个光敏传感器元件,其中图像传感器被逐行读出。为了使这种情况成为可能,单独的行的曝光可以以略微的时间偏移进行,使得单独的行的相应曝光时间在时间上移位,而该时间移位不直接地与相机的帧率相关。由于对图像传感器的这样的控制,机械卷帘快门可以特别地进行再现,其中机械镜头快门可接续地移动以关闭光阑,使得相机的胶片或图像传感器的单独的区域在不同时间进行曝光。因此,在这样的机械卷帘快门中,所接收的光脉冲的数量差异还可以通常出现在胶片或图像传感器的不同位置处。然而,卷帘快门可以特别地用在摄影机中来创建运动图像记录,以能够描绘在所生成的图像序列中看起来自然的运动。
在一些实施例中,相机可具有图像传感器,所述图像传感器包括多个光敏传感器元件。图像传感器可以特别地被配置为CMOS图像传感器和/或具有像素矩阵,所述像素矩阵包括布置成多个行和多个列的多个像素。每个像素可被配置为由在曝光期间入射的光生成电荷。此外,图像传感器可以包括读出设备,所述读出设备被配置为逐行读出在曝光期间在像素矩阵的像素处生成的电荷并将其转换成相应的数字像素值。然后,可将像素矩阵的像素值输出为数字数据集。如已经解释的,电子卷帘快门可以特别地由这样的逐行读出的图像传感器形成。
在一些实施例中,控制设备可被配置为确定允许曝光时间,使得允许曝光时间对应于光脉冲频率的倒数的整数倍。允许曝光时间可以特别地由光脉冲频率的倒数的大于一的整数倍限定。
例如,可提出,借助相机以24Hz或24fps的帧率进行记录,而背景显示设备可以1920Hz的光脉冲频率进行操作。在这种情况下,每个记录的图像或在每个图像记录时间中可通常生成八十个光脉冲。因此,在该示例中,可确定八十个允许曝光时间,其中允许曝光时间具有相应的持续时间n×1/1920Hz,其中n=1至80。
由于对允许曝光时间的这样的选择,因此,可实现在每个曝光时间中寄存完整整数个光脉冲。特别是对于具有卷帘快门的相机,因此,可确保在曝光期间在光敏元件(胶片或图像传感器)的每个区域或每个行中检测到相同数量的光脉冲以避免由相机生成的虚拟背景的展示的图像的亮度的调制。
相机的控制设备可以特别地被配置为将所有曝光时间确定为对应于光脉冲频率的倒数的整数倍的允许曝光时间。然而,控制设备可被配置为考虑允许曝光时间的上限和/或下限,并且例如,仅进一步处理在上限和/或下限内的曝光时间。可以特别地至少仅考虑小于或等于图像记录时间的曝光时间。这将在下文更详细地解释。
在一些实施例中,控制设备可被配置为确定多个允许曝光时间,使得允许曝光时间位于预先确定的允许范围内。特别地,因此,可仅考虑位于预先确定的允许范围内的那些光脉冲频率的倒数的整数倍。控制设备可以特别地被配置为考虑可设定的曝光时间的极限。除了已经提到的作为总图像记录时间的曝光时间的上限之外,下限可以例如以相机特定和/或传感器特定的方式由实现具有高于纯噪声的信号的图像记录的最小曝光时间而定义。
在一些实施例中,控制设备可被配置为通过计算或通过在表中进行查找来确定允许曝光时间。例如,控制设备可连接到存储器,特别是非易失性存储器和/或半导体存储器,在该存储器中,可存储针对不同光脉冲频率的相应的允许曝光时间。在存储器中,可以特别地存储针对不同光脉冲频率、特别是共同光脉冲频率的相应的表,所述表包括该光脉冲频率允许曝光时间。替代地,控制设备还可以被配置为基于光脉冲频率来计算光脉冲持续时间作为最小允许曝光时间,以便由此将所有允许曝光时间确定为光脉冲持续时间的整数倍。
控制设备还可以被配置为根据所确定的允许曝光时间中的一个来控制相机。为此目的,控制设备可以特别地控制图像传感器、或图像传感器的读出、或镜头快门,使得相机的光敏元件的、胶片的或图像传感器的单独的行或区域根据所确定的允许曝光时间中的一个而进行曝光。在这方面,控制设备可被配置为在相机处自动地设定允许曝光时间。
在一些实施例中,相机还可以具有用于向用户传输信息的显示设备,并可以配置成在显示设备上显示关于所确定的允许曝光时间的信息。例如,相机可以包括呈现此类信息的显示器。信息可以特别地显示在相机的电子取景器上或显示在布置在相机的外壳的外侧处的单独的显示器上。这样的显示器还可以特别地被配置为触摸屏,使得用户可直接地在显示器或显示设备处进行设定,例如设定曝光时间。
在一些实施例中,信息可提供允许曝光时间的值和/或相机的镜头快门的张角的值。
因此,允许曝光时间和/或允许曝光时间的整数倍同样地表示允许曝光时间的允许曝光时间可以特别地直接地显示在显示设备上。然而,例如对于卷帘快门,还可以显示镜头快门的张角而不是曝光时间,其中相应的张角可以对应于这样的角度,该角度在360°中的比例可与在相机的图像记录时间中允许曝光时间的比例相对应。在这方面,例如在上文解释的实施例中,在光脉冲频率为1920Hz的情况下,在24Hz的帧率下,每个图像记录可生成80个光脉冲,使得与允许曝光时间相对应的镜头快门的张角可由360°/80=4.5°的整数倍定义。
在一些实施例中,控制设备可连接到输入设备,所述输入设备被配置为通过用户输入接收待设定的曝光时间并向控制设备传输待设定的曝光时间,其中控制设备可被配置为在相机处设定待设定的曝光时间。这样的输入设备还可以特别地连接到相机的接口,以便例如能够通过用户输入向相机传输背景显示设备的光脉冲频率的值。
例如,输入设备可以包括触摸屏和/或旋钮或按钮以实现用户输入。例如,输入设备还可以包括能够设定曝光时间的可旋转控制轮。输入设备可以特别地与上文已经提到的显示设备协作,使得例如触摸屏可被配置为既显示关于允许曝光时间的信息又接收用户输入。
待设定的曝光时间可通常具有任何期望值,并且不一定必须对应于与所确定的允许曝光时间中的一个。因此,控制设备可通常配置成、并且特别地独立于所接收的光脉冲频率而配置成设定相机的曝光时间。然而,相机的待设定的曝光时间也可以是选择允许曝光时间,特别是在允许曝光时间显示在相机的显示设备上并且用户选择这样的允许曝光时间的情况下。
在一些实施例中,控制设备还可以被配置为仅当待设定的曝光时间是允许曝光时间时才设定待设定的曝光时间。在此种实施例中,因此,用户只能在允许曝光时间之间选择,而通过控制设备可阻止设定不允许曝光时间。然而,这可以特别地实现,仅所确定的允许曝光时间(特别地考虑相应极限)可显示在显示设备上并供用户选择,使得用户无论如何都只能设定允许曝光时间。例如,这还可以实现,曝光时间可在相机处分阶段地设定,其中阶段(step)可借助控制设备自动地设定为所接收的光脉冲频率的倒数。例如,为了在相机处设定曝光时间,在一些实施例中,为此目的,特别是作为前述输入设备的部件,可提供分阶段旋转的控制轮,其中阶段可由控制设备自动地设定为相应允许曝光时间。
此外,在一些实施例中,控制设备可被配置为当待设定的曝光时间不是允许曝光时间时设定最接近待设定的曝光时间的允许曝光时间。在此种实施例中,因此,用户可通常自由地设定曝光时间,然而,其中控制设备可将待设定的曝光时间调适为允许曝光时间。由此,可实现由相机生成的图像近似地以用户期望的曝光时间生成,但是同时地确保相机的光敏元件的所有区域或行在图像记录期间寄存恒定数量的光脉冲。
在一些实施例中,控制设备可被配置为根据光脉冲频率自动地设定允许曝光时间。例如,控制设备可被配置为在接收到背景显示设备的光脉冲频率之后自动地设定最接近当前设定曝光时间的允许曝光时间。由此,还可以实现,考虑由用户预先设定曝光时间,以便同时地阻止因在光敏元件的不同区域或行中的不等数量的所记录的光脉冲而造成的在虚拟背景的展示的图像中的不想要的调制。
本发明还涉及一种用于虚拟图像记录工作室的背景显示设备,其被配置为在真实主体后面显示借助相关联的相机进行记录的虚拟背景的展示。背景显示设备具有控制设备,所述控制设备被配置为控制背景显示设备根据可设定的光脉冲频率间歇地显示虚拟背景的展示。背景显示设备还具有接口,所述接口被配置为接收相关联的相机的设定曝光时间的值,所述控制设备被配置为根据所接收的相关联的相机的设定曝光时间的值设定背景显示设备的光脉冲频率。
由于由背景显示设备的控制设备对光脉冲频率的这样的设定,可最终地实现背景显示设备的光脉冲频率也与相机的曝光时间相匹配。然而,在这种情况下,通过最终地在背景显示设备上执行所需调适,可以在相机处完全地自由地选择曝光时间。背景显示设备的接口还可以被配置为以无线或有线方式接收相关联的相机的曝光时间。此外,接口可被配置为直接地从相关联的相机接收曝光时间,或者接口可被配置为通过用户输入接收相机的曝光时间。
在一些实施例中,背景显示设备的控制设备可被配置为设定光脉冲频率,使得光脉冲频率对应于所接收的设定曝光时间的值的倒数的整数倍。由此,可同样地实现,特别是相机的光敏元件、特别是胶片或图像传感器的每个区域和/或每个行在相机曝光期间受到相同数量的光脉冲的作用,以便避免由相机生成的虚拟背景的展示的图像的任何亮度调制。
而且,关于这样的可设定背景显示设备,相关联的相机可以特别地具有电子卷帘镜头快门或机械卷帘镜头快门,使得相机的光敏元件的不同区域或行可在不同时间进行曝光。此外,相机可以特别地具有图像传感器,所述图像传感器包括布置成多个行和多个列的多个光敏传感器元件,其中这些行可以特别地在相应恒定曝光时间逐行且相继地进行曝光。
控制设备还可以特别地被配置为设定光脉冲频率,使得光脉冲频率对应于所接收的设定曝光时间的值的倒数的大于一的整数倍。此外,控制设备还可以被配置为考虑可设定的光脉冲频率的上限和/或下限。
在一些实施例中,背景显示设备的控制设备可被配置为自动地设定背景显示设备的光脉冲频率,或者控制设备可被配置为向用户传输关于允许的光脉冲频率的信息,以便根据用户输入设定允许的光脉冲频率中的一个。为此目的,背景显示设备还可以特别地具有输入设备和/或显示设备,以能够向用户传输信息和/或接收用户输入。显示设备和/或输入设备可以例如被配置为显示器和/或触摸屏。
在一些实施例中,背景显示设备可以包括多个有源照明图像元素,特别是发光二极管,所述多个有源照明图像元素形成二维排列。此外,背景显示设备可具有上文关于用于虚拟图像记录工作室的背景显示设备的已经解释的特征。
本发明还涉及一种用于虚拟图像记录工作室的背景显示设备,其被配置为在真实主体后面显示借助相关联的相机进行记录的虚拟背景的展示。背景显示设备具有被配置为在可设定的刷新时间改变虚拟背景的展示的控制设备。背景显示设备还具有接口,所述接口被配置为接收关于在相关联的相机的连续曝光之间的曝光暂停的信息。控制设备被配置为根据所接收的关于相关联的相机的曝光暂停的信息来设定背景显示设备的刷新时间。
背景显示设备的控制设备可以特别地被配置为以预先定义和/或可设定的刷新率改变虚拟背景的展示。就此而言,控制设备可被配置为在改变或刷新虚拟背景的展示时根据借助背景显示设备显示的展示改变所包括的图像信息。
例如,关于在相关联的相机的连续曝光之间的曝光暂停的信息可以包括相关联的相机的曝光时间和/或帧率。背景显示设备的接口还可以被配置为直接地从相机或通过用户输入接收该信息。在相机与背景显示设备的接口之间的通信可以特别地以无线或有线方式发生。
此外,关于曝光暂停的信息可以包括曝光时间的起始时间点和/或在相机的图像记录中的曝光窗口的起始时间点和/或在相机的图像记录时间内曝光时间的相位。在借助相机进行的记录期间,在该记录中相机以预先定义或可设定的帧率生成虚拟背景的展示的图像,曝光窗口在这方面还可以以该帧率周期性地进行重复,其中在曝光窗口之间提供曝光暂停。通过传输关于曝光窗口的起始及其持续时间的信息,曝光窗口可在时间上(例如通过刷新时间相对于曝光窗口的起始和/或相对于曝光窗口的结束的对应的移位)位于图像记录中,以能够实现虚拟背景的展示在背景显示设备的曝光窗口之外进行改变。为此目的,虚拟背景的展示可以特别地借助背景显示设备的控制设备以可对应于相关联的相机的帧率和/或对应于相关联的相机的帧率的整数份的刷新率改变。因为刷新时间相对于曝光窗口单个移位以使刷新时间移动到曝光暂停中,由此可确保后续的、周期性地重复的刷新时间也位于相关联的相机的曝光暂停中。
为了实现将关于相机的曝光暂停的信息对背景显示设备的这种传输,背景显示设备和相机可以特别地在网络中彼此链接。这样的链接可经由相应的网络协议(例如,PTP(精确时间协议))实现刷新时间和曝光时间的同步,为此目的,网络,特别是除了相机和背景显示设备之外,还可以包括可充当参考时钟(也称为主时钟)的时间测量设备。然而,作为替代,相机的或背景显示设备的各自的时间测量设备还可以形成网络中的参考时钟。为了控制在相机与背景显示设备之间的同步,可提供网络控制设备,该网络控制设备可以例如包括微处理器并可被配置为确定在相机和/或背景显示设备的时间信号相对于参考时钟的时间信号之间的对应延迟,并将相机和/或背景显示设备的时间信号近似为参考时钟的时间信号。替代地,背景显示设备的控制设备和/或相机的控制设备还可以被配置为执行在相机的时间信号与背景显示设备的时间信号之间的同步。在网络中形成参考时钟的相机和背景显示设备中的一者的控制设备可以特别地被配置为执行同步。
此外,在一些实施例中,背景显示设备的控制设备可被配置为设定刷新时间,使得虚拟背景的展示的相应改变在相关联的相机的曝光暂停期间进行。
如已经解释的,可通过对背景显示设备的这样的控制来实现虚拟背景的展示在相关联的相机的曝光或曝光窗口内不改变,以防止两个或更多个虚拟背景的展示在单个图像中成像。相反,由于在虚拟背景的展示的刷新与相机的曝光暂停的刷新之间的这样的同步,在曝光的整个持续时间内显示未改变的虚拟背景的展示,使得单个虚拟背景的展示可在每个图像记录期间成像。
在一些实施例中,所接收的关于相关联的相机的曝光暂停的信息可表示至少一个曝光暂停的起始、或持续时间及起始。该信息可以特别地表示至少单个曝光暂停或一系列连续曝光暂停的起始、或持续时间及起始。例如,由此,刷新时间可借助背景显示设备的控制设备设定,使得虚拟背景的展示在曝光暂停开始之后并因此在后续曝光尚未开始的时间点上立即改变。当接收到关于曝光暂停的起始和持续时间的信息时,还可以特别地提出,将刷新时间置于曝光暂停的中间,以防止例如因刷新率的轻微波动而造成的可能的成像效果。
所接收的关于曝光暂停的信息可以特别地包括关于相应的曝光暂停的时间点的信息或关于连续曝光暂停的频率和相应相位的信息。所接收的关于曝光暂停的信息可额外地包括关于相应的曝光暂停的持续时间的信息。然而,所接收的关于曝光暂停的信息还可以包括关于连续曝光时间的频率和相应相位的信息和关于相应的曝光时间的持续时间的信息,使得可以从中间接地确定连续曝光暂停的时间点.
在一些实施例中,背景显示设备可以包括多个有源照明图像元素,特别是发光二极管,该多个有源照明图像元素形成二维排列。
图像元素可以特别地布置成二维排列和/或规则网格。此外,背景显示设备可被配置为LED并可以包括多个发光二极管,特别是LED(发光二极管)或有机发光二极管或者说OLED(有机发光二极管)。
在一些实施例中,背景显示设备可以包括相同种类的多个面板,相应的多个图像元素布置在所述多个面板处。
此外,背景显示设备可具有上文解释的关于相机的曝光时间与背景显示设备的光脉冲频率的同步的用于虚拟图像记录工作室的背景显示设备的特征。
在一些实施例中,背景显示设备的控制设备还可以连接到存储虚拟背景的展示的至少一个下一展示的存储器,其中控制设备可被配置为显示所存储的下一展示,以便改变虚拟背景的展示。
例如,为此目的,控制设备可以包括用于控制一个或多个有源照明图像元素的驱动器,所述驱动器包括内部缓冲RAM。在这方面,存储器和/或缓冲RAM可形成影子寄存器,新图像或下一虚拟背景的展示可写入所述影子寄存器中,同时仍显示先前的展示。因此,不必首先生成下一展示并通过长路径将其传输到控制设备;而是,也就是说,在存储器中保持相应的下一展示可用,由此在整个背景显示设备上直接地且同步地改变。这可以特别是实现快速改变虚拟背景的展示,以便实现可以在相关联的相机的曝光暂停中可靠地改变所述展示。
此外,本发明涉及一种用于记录虚拟背景的展示的相机,所述虚拟背景的展示借助相关联的背景显示设备在虚拟图像记录工作室中显示并在刷新时间时改变。所述相机具有接口,所述接口被配置为接收关于相关联的背景显示设备的刷新时间的信息,并且相机具有控制设备,所述控制设备被配置为根据可设定的曝光时间控制相机。此外,控制设备被配置为根据所接收的关于刷新时间的信息设定相机的曝光暂停。
相机的曝光暂停可以特别地借助控制设备直接地或间接地设定。然而,可直接地或间接地特别地设定相机的曝光暂停,使得相应曝光暂停的时间点和持续时间被定义并与相关联的背景显示设备的刷新时间同步。为了间接地设定曝光暂停,特别地,可设定连续曝光时间和/或曝光窗口的频率和相应相位以及相应曝光时间的和/或相应曝光窗口的持续时间。曝光暂停可以特别地以可设定的帧率、频率周期性地重复,在该帧率、频率下,相机生成虚拟背景的展示的记录,其中连续曝光暂停的相应时间段可由曝光暂停的相对于图像记录的起始的相应的相位确定。
在这里还可以特别地经由包括相机和背景显示设备的网络进行曝光暂停与刷新时间之间的同步。可同样地特别地提供经由PTP(精确时间协议)的同步。
在一些实施例中,相机的控制设备可被配置为设定相机的曝光暂停,使得相机的曝光暂停在虚拟背景的展示的相应改变期间进行。在这种实施例中,因此,背景显示设备可在相应刷新时间时以不受影响的方式改变虚拟背景的展示,其中相机的控制设备可使用关于这些刷新时间的信息来相应地设定相机的曝光暂停。这可以特别地通过期间发生相机的光敏元件的曝光的曝光窗口相对于背景显示设备的刷新时间的对应的相位移动实现。背景显示设备的刷新时间还可以特别地由背景显示设备的刷新率周期性地确定,而曝光暂停可由相机的帧率确定。帧率和刷新率可以特别地彼此对应,其中相机的控制设备还可以特别地被配置为设定帧率,使得帧率对应于背景显示设备的刷新率或对应于刷新率的整数倍。为此目的,相机的接口还可以特别地被配置为从背景显示设备接收刷新率或关于刷新率的信息。
附图说明
下文将参考实施例并参考附图仅以举例的方式示例解释本发明。
在图中示出:
图1为用于图像记录工作室的记录系统的示意图,其具有用于显示虚拟背景的展示的背景显示设备和相机;
图2为被提供用于在图像记录工作室中进行记录的相机的示意图;
图3为相机的图像传感器的示意图;
图4A和图4B为用于示出图像传感器的逐行读出和该读出与由用于显示虚拟背景的展示的背景显示设备生成的光脉冲在时间上的重叠的相应示意图;
图5A至图5D为用于示出机械卷帘镜头快门的相应示意图;
图6A和图6B为示出用于改变虚拟背景的展示的时间序列和在由相机生成的虚拟背景的展示的图像中的撕裂效应的示意图;并且
图7A和图7B为示出相机的曝光暂停与背景显示设备的用于改变虚拟背景的展示的刷新时间在时间上的同步的示意图。
具体实施方式
图1示意性地示出了虚拟图像记录工作室13,可借助于相关联的相机23在该虚拟图像记录工作室中记录场景,特别是呈移动图像记录和/或照片记录的形式。相机23可以例如被设计为运动图像照相机,以便进行移动图像记录,该移动图像记录可被存储为由相机23生成的一系列图像。为此目的,相机23具有镜头59,该镜头可以特别地被设计为可互换镜头,并且该镜头可选择地连接到相机23的外壳。因此,可始终使用针对在图像记录工作室13中的环境进行最佳调整的相应镜头59,以便能够生成最佳可能的记录。包括多个光敏传感器元件55的图像传感器53可以特别地布置在相机23的外壳中,经由光阑的光阑光圈进入的光可借助镜头系统或至少一个镜头被导引到传感器元件55上以生成图像73(还参考图2和图7B)。
此外,具有背景显示设备15的背景显示系统11布置在图像记录工作室13中并连同相机23一起形成记录系统10。背景显示设备15包括被配置为LED墙33的有源照明装置31并被配置为显示借助相机23进行记录的虚拟背景21的展示19。为此目的,照明装置31或LED墙33具有多个有源照明图像元素35,该多个有源照明图像元素以二维排列彼此相邻地布置。例如,图像元素35可被配置为可单独地控制的发光二极管44或可单独地控制的发光二极管单元,其中这样的发光二极管单元中的每一者可以包括多个发光二极管44、特别是三个发光二极管44。可以特别地提出,图像元素35被配置为具有三个相应发光二极管44的发光二极管单元,其中该三个发光二极管44中的一者可发射红光,一个发光二极管44可发射绿光,并且一个发光二极管44可发射蓝光。发光二极管单元还可以包括混色器,以能够通过对发光二极管单元的发光二极管44的相应单独控制来设定由图像元素35发射的相应颜色和/或亮度。发光二极管44可以例如被设计为LED或设计为有机发光二极管44或者说OLED。一般还可以在图像记录工作室13中使用用于显示虚拟背景的展示的背景显示设备,该虚拟背景借助背后投影生成该展示。
背景显示设备15包括多个面板41。相应多个有源照明图像元素35布置在多个面板41中的每个面板41处,使得可在面板41中的每一者处显示虚拟背景21的展示19的某一区段。面板41特别地是矩形和/或正方形的,并且被形成为没有边缘,使得还可以在面板41之间的过渡处没有可见中断的情况下显示虚拟背景21的展示19。面板41还布置成二维矩阵以形成背景显示设备15。
虚拟背景21的展示19在这里反映例如具有物体91、92、93和94、即三棵树和一条路径的三维场景43,可通过适当地控制图像元素35、特别是通过适当地设定该图像元素的相应颜色和亮度来生成该三维场景。三维场景43被投影到照明装置31的图像元素35的基本上二维排列上,其中特别地,物体91、92和93出现在距照明装置31或背景显示设备11的不同距离处,以便重建与虚拟背景21相对应的真实背景的三维性。
特别地,借助背景显示设备15的虚拟背景21的展示19用于生成用于记录真实主体17(例如,演员)的背景,在该真实主体前面,可进行记录或可播放电影场景。因此,可在图像记录工作室13中创建基本上任何种类的景观、空间或环境,在该景观、空间或环境前面或在该景观、空间或环境中,将拍摄例如用于电影的场景。还可以通过图像元素35的时变控制来显示在虚拟背景21中的移动,例如正在经过的汽车,与在绿幕前面的场景相比,演员17可以容易且改善的方式对该移动做出反应。
背景显示设备15在这里基本上在竖直方向上延伸,使得演员17可在虚拟背景21前面移动。然而,为了能够更广泛地描绘虚拟背景21,背景显示设备15还可以在演员17周围或上面延伸,其中在演员17上面的背景显示设备15可以特别地呈现出水平取向。为了能够包围演员17或生成从所示出的竖直取向到水平取向的过渡,背景显示设备15或照明装置31或LED墙33还可以至少分段地是拱形或弯曲的。
除了表示虚拟背景21之外,背景显示设备15还可以用于照明真实主体17并由此促进例如图像记录工作室13的进一步工作室照亮。此外,通过借助背景显示设备15照明真实主体17,可改善真实主体17或演员17与存在于虚拟背景21中的光源(例如,提灯或灯)的相互作用,因为真实主体17投出与由相机23生成的图像中可见的光条件相对应的阴影。
为了能够生成虚拟背景21的展示19并控制图像元素35以显示展示,背景显示设备15具有连接到存储器39的控制设备37(例如,微处理器或中央处理单元CPU)。虚拟背景21的模型可以特别地存储在存储器39中,使得控制设备37可基于该模型来生成虚拟背景21。此外,控制设备37可被配置为将虚拟背景21投影到背景显示设备15并特别是图像元素35的二维排列上。
为了还能够在背景显示设备15上尽可能直接地显示虚拟背景21的时变展示19而没有时间损失,可将至少一个下一展示19b存储在存储器39中,其中控制设备37可被配置为显示存储在存储器37中的下一展示19b,以便改变虚拟背景21的展示19(还参考图6B)。特别地,因此,当显示将发生时不必首先生成下一展示19b,而是控制设备37可直接地控制图像元素35以显示下一展示19b。例如,控制设备37可被配置为在展示19的显示期间基于存储在存储器39中的模型来生成虚拟背景21的下一展示19b并将其写入存储器39中以能够当要求显示时直接地访问该下一展示19b。
为了进一步实现在记录系统10的部件之间的通信,背景显示设备15具有接口103,可经由该接口从相关联的相机23接收信息I。该信息I可以例如经由无线和/或有线连接直接地从相机23传输,或者可在接口103处通过用户输入输入。关于曝光时间E和/或在相关联的相机23的两次曝光之间的曝光暂停Q的信息I可以特别地经由接口103传输到背景显示设备15,如下文将更详细地解释的。
在图2中示意性地示出了相关联的相机的一个可能的实施例。相机23具有相机主体53,镜头59紧固到该相机主体。镜头59可以特别地被配置为可互换镜头,使得可选择地将各种经配置的镜头59连接到相机主体53,并且可始终选择对于相应记录最佳的镜头59。镜头59具有三个镜头圈81,镜头59的相应参数可借助该三个镜头圈进行设定。例如,聚焦距离、焦距、变焦因子和/或光阑光圈、特别是虹彩光阑的光圈可通过旋转镜头圈81中的相应一者来进行设定或调适。相机23可以特别地被配置为摄影机或运动图像照相机以能够连续地生成可以例如作为电影播放的图像73序列。
为了能够调整镜头圈81,镜头圈驱动单元85经由保持杆87连接到相机主体53并包括用于镜头圈81中的每一者的相应镜头设定马达83。可借助这些镜头设定马达83旋转镜头圈81,并且因此,可对镜头59做出调整。特别地,可远程地致动镜头圈驱动单元85,使得可远程地设定或改变所述镜头参数。
在相机主体53处,布置另外的显示设备49,可经由该另外的显示设备向用户显示关于相机23的设定的信息I。显示设备49可以特别地是显示器。相机23还具有输入设备51,该输入设备布置在相机主体53处,并且用户可经由该输入设备对相机23做出设定。相机23的曝光时间E可以特别地在输入设备51处设定,其中连接到输入设备51的控制设备25可被配置为根据输入曝光时间E来控制相机23。显示设备49和输入设备51可以特别地由触摸屏形成,经由该触摸屏,既可向用户显示信息I又可接收用户输入。
为了生成通过镜头59的入射光的图像,相机23还包括布置在相机主体53内的图像传感器1。该图像传感器1可基于例如CMOS技术或CCD技术来进行配置并包括多个光敏传感器元件55,该多个光敏传感器元件可布置成多个行14和列16(还参考图3)。此外,相机23具有读出电路97,该读出电路被配置为读出、处理相应传感器元件55的信号并使其数字化,并且将该信号输出到信号输出99或经由该信号输出99而输出。为此目的,读出电路97可以特别地包括放大器、复用器、模数转换器、缓冲存储器和/或微控制器。最终地,因此,可由相机23生成与图像或相机23的视场的图像相对应的图像数据集B,并且可经由信号输出99输出图像数据集B。为了检查相机23的视场并能够将相机23对准到相应图像区段上,在相机主体53上还布置了取景器79,摄影师可通过该取景器看向四周。
此外,相机23具有用于从背景显示设备15接收信息I和/或数据的接口101,其中可同样地提供无线和/或有线通信或用户输入。所接收的信息I可以特别地包括背景显示设备15改变虚拟背景21的展示19的刷新时间61或背景显示设备15间歇地显示虚拟背景21的展示19所根据的背景显示设备15的光脉冲频率P。这还在下文更详细地解释。
图3示出了相机23的图像传感器1的示例性的图。图像传感器1具有布置成行14和列16的多个像素54,其中每个像素54形成光敏传感器元件55以转换在曝光于电荷中期间入射的光(参考图3)。这样的图像传感器1的读出可以例如逐行发生,为此目的,提供行寻址逻辑3。为此目的,行14的传感器元件55可经由行选择线6耦合到与布置成列16的像素54相关联的相应列线18。行14的光敏传感器元件55的信号可经由列线18向列放大器4传输,所生成的信号可借助该列放大器进行放大并在此后可进行进一步处理、特别是数字化。
图4A的下区段中示出了相对于图像传感器1的这样的逐行读出的时间t的时间序列。图像传感器的读出发生,使得首先在步骤R中在图像传感器1的第一行14a中重置或抵消光敏传感器元件55的电荷,以便实现在由相机23输出的图像数据集B中仅考虑了在所定义的曝光时间E期间入射在传感器元件55上的光。在传感器元件55已经进行重置之后,使布置成行14a的传感器元件55曝光达曝光时间E,使得在该时间期间发生的步骤S中,根据在曝光时间E期间入射的光在传感器元件55处生成电荷。在所定义的曝光时间E之后,在初始控制的行14a中接着进行步骤C,在该步骤C中,读出在曝光时间E期间在行14a的传感器元件55处生成的电荷。为此目的,行14可耦合到列线18(还参考图3)。
为了尽可能使用于图像传感器1的读出时间最小化,已经在步骤R中重置布置成后续行14b的传感器元件55,同时在行14a的传感器元件55处仍然生成电荷。在这方面,行14b的重置R与曝光时间E相匹配,使得在行14b中的传感器元件55的重置R正好在行14a的传感器元件55完成用于生成电荷的步骤S时完成。这使得行14a的传感器元件55一开始对所生成的电荷的读出C,行14b的传感器元件55就可再次曝光达曝光时间E,并且通过将行14b的传感器元件55耦合到列线18,可在曝光时间E之后读出该传感器元件。然后,在后续行14c、14d和14e中以及在图4中未示出的图像传感器1的另外的行14中进行这些用于读出图像传感器1的步骤R、S和C,以便最终地生成虚拟背景21的展示19的图像73、或者图像数据集B。
由于图像传感器1的这种逐行读出,用电子卷帘透镜快门27或电子卷帘快门操作相机23,因为单独行14a、14b、14c、14d和14e的曝光彼此以某一时间偏移进行,并且单独行14a、14b、14c、14d和14e的相应曝光时间E相对于彼此移位了曝光时间E。特别是当使用相机23来创建移动图像记录时,可提供这样的电子卷帘快门27以使得能够以由相机23生成的图像73或以此类图像73的序列描绘自然运动序列。在这样的卷帘镜头快门27中,除了单独行14a、14b、14c、14d和14e进行曝光所用的曝光时间E之外,曝光窗口W还可以与图像传感器1相关联,所述曝光窗口W定义图像传感器的从第一传感器元件55的或第一行14a的曝光的起始时间点直至最后一个传感器元件55的或最后一个行14的曝光的结束时间点的持续时间或时间间隔。在图4A示出的电子卷帘镜头快门27中,图像传感器1的曝光窗口W在这方面比曝光时间E长。
在图4A的上区段中,还示出了背景显示设备15的控制设备37可被配置为控制背景显示设备15根据可设定光脉冲频率P间歇地显示虚拟背景21的展示19。在这方面,展示19可说是以脉冲方式进行显示,其中多个光脉冲65可在每个曝光时间E期间进行显示,使得单独光脉冲65的光脉冲持续时间L可比图像传感器1的行14的曝光时间E少。此外,光脉冲频率P可以特别地与相机23的帧率F同步,因为光脉冲频率P可与帧率F的倍数相对应(还参考图6A和图7A)。例如,相机23的图像记录率F还可以称为帧率并可指示相关联的相机23每秒生成多少图像。例如,在24fps或24Hz的常见帧率下,可提出,光脉冲频率P与1920Hz或3840Hz相对应。
虽然光脉冲频率P由此可与相机23的帧率F同步,但是相机23的曝光时间E一般是可自由地选择的,并且不直接地由帧率F或与帧率F的倒数相对应的图像记录时间D预先定义。因此,即使在光脉冲频率P与帧率F存在匹配,在曝光时间E与光脉冲频率P之间一般也不存在直接同步。然而,如图4A所示,这可以特别地在卷帘快门27的情况下造成图像传感器1的行14a、14b、14c、14d和14e中的每一者在相应曝光时间E期间寄存不同数量的光脉冲65或不完整光脉冲65的不同部分。因此,图像传感器1的行14a、14b、14c、14d和14e可由背景显示设备15曝光达不同程度,使得不想要的亮度调制可能出现在由相机23生成的虚拟背景21的展示19的图像73中,因为例如图像73的不同行因不同数量的所检测的光脉冲65而可具有不同亮度。
具有机械卷帘镜头快门27的相机23一般也会出现相同问题,如借助图5A至图5D所示。在这样的机械卷帘镜头快门27的情况下,可提供开口28,该开口跨相机23的光敏元件29(例如,图像传感器或胶片)接连地移动,使得在不同时间点上由开口28为入射光释放光敏元件29的不同区域30和30a。在图5A中,光敏元件29在这方面完全地被镜头快门27覆盖,而在图5B中,镜头快门27已经沿箭头105的方向移动如此远,以致第一光敏元件29的第一区域30可被曝光。在图5C中,整个光敏元件29被布置成与开口28对准,使得整个光敏元件29被曝光。相比之下,在图5D中,镜头快门27再次进一步移动,使得第一区域30已经被快门27覆盖,而光敏元件29的最后一个区域30a可仍然被曝光。而且,在这样的机械卷帘镜头快门27的情况下,区域30和30a由此确实被曝光达相同曝光时间E,但是是在不同时间点上,使得上文解释的调制在这里也因在区域30和30a处的不同数量的所寄存的光脉冲65或未完全地寄存的光脉冲65的不同部分而可能出现在由相机23生成的图像73中。
为了解决该问题,可以特别地提出,根据背景显示设备15的光脉冲频率P设定相机23的曝光时间E或根据相机23的曝光时间E设定背景显示设备15的光脉冲频率P,使得曝光时间E与光脉冲频率P的倒数的整数倍相对应。曝光时间E可以特别地相应进行设定,使得曝光时间E与光脉冲持续时间L的整数倍相对应,其中该整数倍可以特别地大于一。这借助图4B示出。
如图4B所示,可通过对曝光时间E的这样的调适来实现在每个曝光时间E期间,寄存整数个完整光脉冲65,该整数可以特别地大于一。在所示出的图中,曝光时间E或行14a、14b、14c、14d和14e中的曝光的相应起始点与光脉冲65之间的同步被选择为使得图像传感器1的每个行14的传感器元件55寄存整数个始终完整的光脉冲65。然而,即使曝光时间E的起始相对于光脉冲65的起始移位,即,寄存在行14中的第一光脉冲65的一部分被截断,通过将曝光时间E选择为使得曝光时间E与光脉冲频率P的倒数的整数倍相对应,还可以实现仅光脉冲65的在曝光时间E的起始时被截断的部分仍然被寄存在相应行14中,并且对应地,该光脉冲的在曝光时间E的结束时被截断的部分被寄存在图像传感器1的行14中的每一者中。在这方面,可通过对曝光时间E的这样的选择来确保在图像传感器1的每个行14中寄存相同数量的完整光脉冲65,并且可避免在相机23生成的虚拟背景21的展示19的图像73中的上文解释的调制。
如上文已经提到的,为了使得能够设定曝光时间E和/或光脉冲频率P,相机23可具有用于从背景显示设备15接收信息I的接口101。此外,背景显示设备15可具有用于从相机23接收信息I的接口103。例如,可提出,相机23的控制设备25被配置为根据所接收的光脉冲频率P的值来确定多个允许曝光时间E。在这方面,光脉冲频率P可经由接口101和信息I向相机23的控制设备25传输,其中这可以例如通过与背景显示设备15的通信或通过用户输入直接地发生。然后,控制设备25可被配置为将允许曝光时间E确定为与光脉冲频率P的倒数的整数倍或光脉冲持续时间L的整数倍相对应的曝光时间E。为此目的,控制设备25可以例如被配置为计算允许曝光时间E或在控制设备25连接到的存储器47中查找它们。如已经解释的,此类允许曝光时间E可实现在图像传感器1的每个行14中或在光敏元件29的每个区域30或30a中寄存相同数量的光脉冲65。因此,例如,在24fps或24Hz的帧率和1920Hz的光脉冲频率P下,这例如造成背景显示设备15每所记录的图像生成总共80个光脉冲65,使得在这种情况下可确定相应持续时间为n×1/1920Hz的80个允许曝光时间E,其中n等于1至80。
为了还在相机23处设定以此方式确定的允许曝光时间,相机23的控制设备25可以例如被配置为自动地设定允许曝光时间E。例如,控制设备25可设定最接近当前设定曝光时间E的允许曝光时间E。此外,控制设备25还可以被配置为在相机23的显示设备49上显示所确定的允许曝光时间E,使得用户可以特别地借助输入设备51选择允许曝光时间E中的一者本身,并且可向控制设备25传输该允许曝光时间。然后,控制设备25可在相机21处设定所设定的允许曝光时间E。然而,控制设备25还可以被配置为仅当该设定曝光时间E与允许曝光时间E相对应时才由用户在输入设备51处设定曝光时间E。否则,控制设备25可以例如设定最接近由用户设定的曝光时间E的该允许曝光时间E。然而,还可以提出,在确定允许曝光时间E之后,可借助输入设备51在输入设备51处仅设定允许曝光时间E。例如,为此目的,可在显示设备49上显示用户可经由输入设备51从中选择的允许曝光时间E的网格。还可以提出,可借助输入设备51阶段地设定曝光时间E,其中控制设备25可被配置为将阶段设定为允许曝光时间E。
作为在相机23处设定曝光时间E的替代方案,还可以提出,背景显示设备15的控制设备37经由接口103接收关于相机23的曝光时间E的信息I并根据在相机23处设定的所接收的曝光E的值设定光脉冲频率P。例如,背景显示设备15的控制设备37可被配置为设定光脉冲频率P,使得光脉冲频率P与所接收的设定曝光时间E的值的倒数的整数倍相对应。由于对光脉冲频率P的这样的设定,还可以实现最终地在设定曝光时间E期间在相机23的图像传感器1的行14中的每一者中寄存整数个光脉冲65。在背景显示设备15处对光脉冲频率P的调适使得摄影师可以例如借助输入设备51在相机23处自由地且不受限制地设定曝光时间E,其中可通过在背景显示设备15处调适光脉冲频率P来确保在设定曝光时间E上,相机23的图像传感器1的每个行14或光敏元件29的每个区域30或30a在曝光期间寄存相同数量的光脉冲65。光脉冲频率P的设定可再次自动地发生,或者不同允许光脉冲频率可进行显示以使用户可设定允许光脉冲频率。
关于在背景显示设备15与相机23之间的同步的另外的问题可能出现,因为背景显示设备15可被配置为显示改变虚拟背景21的展示19。例如,可提出,背景显示设备15的控制设备37被配置为以预先定义的或可设定的刷新率A改变展示19,以便例如能够示出在虚拟背景21中的移动。为此目的,如图6A所示,展示19可在相应刷新时间61上改变。刷新率A可再次特别地与相机23的帧率F同步,使得虚拟背景21的相应展示19一般可与相机23生成的虚拟背景21的展示19的每个图像73相关联。
然而,在这里,也出现如下问题,上文已经提到的相机23、即光敏元件29的至少一个相应区域30或30a或图像传感器1的行14暴露于光的时间窗由设定曝光时间E预先定义并一般与帧率F或图像记录持续时间D无关。因此,即使背景显示设备15的刷新率A与相机23的帧率F同步,当刷新率61在时间上落入相机23的图像传感器1或光敏元件29(例如,胶片)的曝光窗口B中时,在由相机23生成的背景显示设备15的图像73中还可以能出现所谓的撕裂效应。
如图6B所示,可以特别地反映这样的撕裂效应,因为在由相机23生成的图像73中,虚拟背景21的第一展示19a被成像到第一区域73a中,而在虚拟背景21的展示19的改变63落入曝光窗口W之后,虚拟背景21的后续展示19b已经被成像在图像73的区域73b中,其中展示19b在这里例如被示出为相对于展示19a移位。在这方面,图像73可被感知为被撕裂成区域73a和73b。
为了也避免该效应,可根据背景显示设备15的刷新时间61设定相机23的曝光暂停Q或根据相机23的曝光暂停Q设定背景显示设备15的刷新时间61,使得虚拟背景21的展示19的相应改变63在相机23的曝光暂停Q期间发生。这借助图7A示出。
为此目的,可以特别地提出,背景显示设备15的接口103被配置为从相机23接收关于曝光暂停Q的信息I,其中背景显示设备15的控制设备37可被配置为根据所接收的关于相关联的相机23的曝光暂停Q的信息I设定刷新时间61,并且特别地设定该刷新时间,使得刷新时间61在时间上位于曝光暂停Q内。为此目的,关于曝光暂停Q的信息I可以例如表示至少一个曝光暂停Q的起始、或者起始和持续时间。在这方面,信息I可以例如包括相应曝光暂停Q的特定时间点和/或帧率F,使得后续曝光暂停Q可基于第一曝光暂停Q的时间点来确定。此外,信息I可以包括曝光暂停Q的相位和帧率F,使得可再次确定连续曝光暂停Q的时间位置,这同样地可对帧率F重复。此外,信息I可以包括关于曝光时间E和/或曝光窗口W的持续时间的信息以能够将曝光暂停Q确定为位于两个连续曝光窗口W之间的时间窗。因此,由于控制设备37可说是将刷新时间61移动到相机23的曝光暂停Q中,可避免在由相机23生成的图像73中的撕裂效应,并且这可实现相机23的图像传感器1的所有行14或光敏元件29的所有区域30a和30b寄存相同展示19(参考图7B)。
作为在背景显示设备15处设定刷新时间61的替代方案,还可以提出,相机23的接口101被配置为接收关于背景显示设备15的刷新时间61的信息I。因此,相机23的控制设备25可被配置为根据所接收的关于刷新时间61的信息I设定相机23的曝光暂停Q。例如,相机23的控制设备25可被配置为定义在图像记录时间D内曝光暂停Q的相位,使得曝光暂停Q在时间上与刷新时间61重叠。通过同步相机23的帧率F和背景显示设备15的刷新率A,就可实现背景显示设备15的所有刷新时间61都落入相机23的相应曝光暂停Q中。因此,还可以通过对相机23的这样的控制来避免撕裂效应。
为了实现在背景显示设备15的时间控制与相机23的曝光时间E之间的可靠同步,可以特别地提出,相机23和背景显示设备15经由网络彼此链接。例如,这样的链接可使相机23和背景显示设备15的时间信号经由对应网络协议(例如PTP(精确时间协议))彼此同步,以便特别地能够可靠地使背景显示设备15的刷新时间A在时间上与相机23的曝光暂停Q重叠。
附图标记列表
1      图像传感器
3      行寻址逻辑
4      列放大器
6      行选择线
10     记录系统
11     背景显示系统
13     图像记录工作室
14     行
15     背景显示设备
16     列
17     真实主体、演员
18     列线
19     展示
19a    展示
19b    展示
21     虚拟背景
23     相机
25     控制设备
27     卷帘镜头快门
28     开口
29     光敏元件
30     区域
30a    区域
31     照明装置
33     LED墙
35     图像元素
37     控制设备
39     存储器
41     面板
43     三维场景
35     发光二极管
47     存储器
49     显示设备
51     输入设备
53     相机主体
54     像素
55     光敏传感器元件
59     相机镜头、可互换镜头
61     刷新时间
63     展示的改变
65     光脉冲
73     图像
73a    图像的区域
73b    图像的区域
79     取景器
81     镜头圈
83     镜头设定马达
85     镜头圈驱动单元
87     保持杆
91     第一物体
92     第二物体
93     第三物体
94     第四物体
97     读出电路
99     信号输出
101    接口
103    接口
105    箭头
A      刷新率
B      图像数据集
C      读出
D      图像记录时间
E      曝光时间
F      帧率
I      信息
P      光脉冲频率
L      光脉冲持续时间
W      曝光窗口
Q      曝光暂停
S      曝光
t      时间
R      重置。

Claims (25)

1.一种用于记录虚拟背景(21)的展示(19)的相机(23),所述虚拟背景的展示在虚拟图像记录工作室(13)中在相关联的背景显示设备(15)上根据光脉冲频率(P)间歇地显示,
其中所述相机(23)包括接(101)和控制设备(25),所述接口用于接收所述相关联的背景显示设备(15)的所述光脉冲频率(P)的值,
其中所述控制设备(25)被配置为根据可设定的曝光时间(E)控制所述相机(23),并且
其中所述控制设备(25)被配置为根据所接收的所述光脉冲频率(P)的值确定多个允许曝光时间(E)。
2.根据权利要求1所述的相机(23),
其中所述相机(23)具有电子卷帘镜头快门或机械卷帘镜头快门(27)。
3.根据权利要求1或权利要求2所述的相机(23),
其中所述相机(23)具有图像传感器(1),所述图像传感器包括多个光敏传感器元件(55)。
4.根据前述权利要求中任一项所述的相机(23),
其中所述控制设备(25)被配置为确定所述允许曝光时间CE),使得所述允许曝光时间(E)对应于所述光脉冲频率(P)的倒数的整数倍。
5.根据前述权利要求中任一项所述的相机(23),
其中所述控制设备(25)被配置为确定所述多个允许曝光时间(E),使得所述允许曝光时间(E)位于预先确定的允许范围内。
6.根据前述权利要求中任一项所述的相机(23),
其中所述控制设备(25)被配置为通过计算或通过在表中查找来确定所述允许曝光时间(E)。
7.根据前述权利要求中任一项所述的相机(23),
其中所述相机(23)具有用于向用户传输信息(I)的显示设备(49),并且所述相机被配置为在所述显示设备(49)上显示关于所确定的允许曝光时间(E)的信息(I)。
8.根据权利要求7所述的相机(23),
其中所述信息(I)表示所述允许曝光时间(E)的值和/或所述相机(23)的镜头快门(27)的张角的值。
9.根据前述权利要求中任一项所述的相机(23),
其中所述控制设备(25)连接到输入设备(51),所述输入设备被配置为通过用户输入接收待设定的曝光时间(E)并将所述待设定的曝光时间传输到所述控制设备(25),其中所述控制设备(25)被配置为在所述相机(23)处设定所述待设定的曝光时间(E)。
10.根据权利要求9所述的相机(23),
其中所述控制设备(25)被配置为仅当所述待设定的曝光时间(E)是允许曝光时间(E)时才设定所述待设定的曝光时间(E)。
11.根据权利要求9或权利要求10所述的相机(23),
其中所述控制设备(25)被配置为当所述待设定的曝光时间(E)不是允许曝光时间(E)时设定最接近所述待设定的曝光时间(E)的允许曝光时间(E)。
12.根据前述权利要求中任一项所述的相机(23),
其中所述控制设备(25)被配置为根据所述光脉冲频率(P)自动地设定允许曝光时间(E)。
13.一种用于虚拟图像记录工作室(13)的背景显示设备(15),其被配置为在真实主体(17)后面显示借助相关联的相机(23)进行记录的虚拟背景(21)的展示(19),
其中所述背景显示设备(15)具有控制设备(37),所述控制设备被配置为控制所述背景显示设备(15)根据可设定的光脉冲频率(P)间歇地显示所述虚拟背景(21)的展示(19),
其中所述背景显示设备(15)具有接口(103),所述接口被配置为接收所述相关联的相机(23)的设定曝光时间(E)的值,并且
其中所述控制设备(237)被配置为根据所接收的所述相关联的相机(23)的所述设定曝光时间(E)的值设定所述背景显示设备(15)的所述光脉冲频率(P)。
14.根据权利要求13所述的背景显示设备(15),
其中所述控制设备(37)被配置为设定所述光脉冲频率(P),使得所述光脉冲频率(P)对应于所接收的所述设定曝光时间(E)的值的倒数的整数倍。
15.根据权利要求13或权利要求14所述的背景显示设备(15),
其中所述背景显示设备(15)包括形成二维排列的多个有源照明图像元素(35),特别是发光二极管(44)。
16.一种用于虚拟图像记录工作室(13)的背景显示设备(15),其被配置为在真实主体(17)后面显示借助相关联的相机(23)进行记录的虚拟背景(21)的展示(19),
其中所述背景显示设备(15)具有控制设备(37),所述控制设备被配置为在可设定的刷新时间(61)时改变所述虚拟背景(21)的展示(19),
其中所述背景显示设备(15)具有接口(103),所述接口被配置为接收关于在所述相关联的相机(23)的连续曝光之间的曝光暂停(Q)的信息(I),并且
其中所述控制设备(37)被配置为根据所接收的关于所述相关联的相机(23)的所述曝光暂停(Q)的信息(I)设定所述背景显示设备(15)的所述刷新时间(61)。
17.根据权利要求16所述的背景显示设备(15),
其中所述控制设备(37)被配置为设定所述刷新时间(61),使得所述虚拟背景(21)的展示(19)的相应改变在所述相关联的相机(23)的曝光暂停(Q)期间发生。
18.根据权利要求16或权利要求17所述的背景显示设备(15),
其中所接收的关于所述相关联的相机(23)的所述曝光暂停(Q)的信息(I)表示至少一个曝光暂停(Q)的起始、或者持续时间及起始。
19.根据权利要求16至18中任一项所述的背景显示设备(15),
其中所述背景显示设备(15)包括形成二维排列的多个有源照明图像元素(35),特别是发光二极管(44)。
20.根据权利要求16至19中任一项所述的背景显示设备(15),
其中所述控制设备(37)连接到存储所述虚拟背景(21)的至少一个下一展示(19b)的存储器(39),其中所述控制设备(37)被配置为显示所存储的下一展示(19b),以改变所述虚拟背景(21)的展示(19)。
21.一种用于记录虚拟背景(21)的展示(19)的相机(23),所述展示在虚拟图像记录工作室(13)中在相关联的背景显示设备(15)上显示并且在刷新时间(61)时改变,
其中所述相机(23)具有接口(101),所述接口被配置为接收关于所述相关联的背景显示设备(15)的所述刷新时间(61)的信息(I),
其中所述相机(23)具有控制设备(25),所述控制设备被配置为根据可设定的曝光时间(E)控制所述相机(23),并且
其中所述控制设备(25)被配置为根据所接收的关于所述刷新时间(61)的信息(I)设定所述相机(23)的曝光暂停(Q)。
22.根据权利要求21所述的相机(23),
其中所述控制设备(25)被配置为设定所述相机(23)的所述曝光暂停(Q),使得在所述虚拟背景(21)的展示(19)的相应改变期间进行所述相机(23)的曝光暂停(Q)。
23.一种在虚拟图像记录工作室(13)中借助背景显示设备(15)、特别是根据权利要求13至15中任一项和/或根据权利要求16至20中任一项所述的背景显示设备(15)显示虚拟背景(21)的展示(19)以用于通过相机(23)、特别是根据权利要求1至12中任一项和/或根据权利要求21或权利要求22所述的相机(23)进行记录的方法,
其中所述虚拟背景(21)的展示(19)的显示根据时间控制进行,
其中所述相机(23)根据曝光时间(E)序列记录所述虚拟背景(21)的展示(19)的显示,并且
其中所述虚拟背景(21)的展示(19)的显示的所述时间控制与所述曝光时间(E)序列彼此同步。
24.一种在虚拟图像记录工作室(13)中借助背景显示设备(15)、特别是根据权利要求13至15中任一项和/或根据权利要求16至20中任一项所述的背景显示设备(15)显示虚拟背景(21)的展示(19)以用于通过相机(23)、特别是根据权利要求1至12中任一项和/或根据权利要求21或权利要求22所述的相机(23)进行记录的方法,其中所述展示(19)根据光脉冲频率(P)间歇地进行显示,并且根据所述相机(23)的曝光时间(E)间歇地进行记录,
所述方法包括以下步骤:
根据所述背景显示设备(15)的所述光脉冲频率(P)设定所述相机(23)的所述曝光时间(E),或者根据所述相机(23)的所述曝光时间(E)设定所述背景显示设备(15)的所述光脉冲频率(P),使得所述曝光时间(E)对应于所述光脉冲频率(P)的倒数的整数倍。
25.一种在虚拟图像记录工作室(13)中借助背景显示设备(15)、特别是根据权利要求13至15中任一项和/或根据权利要求16至20中任一项所述的背景显示设备(15)显示虚拟背景(21)的展示(19)以用于通过相机(23)、特别是根据权利要求1至12中任一项和/或根据权利要求21或权利要求22所述的相机(23)进行记录的方法,其中在刷新时间(61)时改变所述展示(19),并且根据所述相机(23)的相应曝光记录所述展示(19),
所述方法包括以下步骤:
根据所述背景显示设备(15)的所述刷新时间(61)设定在连续曝光之间的所述相机(23)的曝光暂停(Q),或者根据在连续曝光之间的所述相机(23)的曝光暂停(Q)设定所述背景显示设备(15)的所述刷新时间(61),使得在所述相机(23)的曝光暂停(Q)期间进行所述虚拟背景(21)的展示(19)的相应改变。
CN202211243958.4A 2021-10-11 2022-10-11 背景显示设备、相机和显示虚拟背景的展示的方法 Pending CN115967782A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021126309.3A DE102021126309B3 (de) 2021-10-11 2021-10-11 Hintergrund-Wiedergabeeinrichtung, Kamera und Verfahren zum Wiedergeben einer Darstellung eines virtuellen Hintergrunds
DE102021126309.3 2021-10-11

Publications (1)

Publication Number Publication Date
CN115967782A true CN115967782A (zh) 2023-04-14

Family

ID=83691417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211243958.4A Pending CN115967782A (zh) 2021-10-11 2022-10-11 背景显示设备、相机和显示虚拟背景的展示的方法

Country Status (4)

Country Link
US (1) US20230113256A1 (zh)
EP (2) EP4164236A1 (zh)
CN (1) CN115967782A (zh)
DE (1) DE102021126309B3 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021106488A1 (de) * 2020-12-23 2022-06-23 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrund-Wiedergabeeinrichtung, Hintergrundwiedergabesystem, Aufnahmesystem, Kamerasystem, digitale Kamera und Verfahren zum Steuern einer Hintergrund-Wiedergabeeinrichtung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039610B2 (ja) * 2002-04-04 2008-01-30 日本放送協会 画像合成装置およびその方法ならびに画像表示装置およびその方法
JP2005268838A (ja) 2004-03-16 2005-09-29 Nippon Hoso Kyokai <Nhk> 映像表示装置及び映像表示制御装置
JP2008090191A (ja) 2006-10-04 2008-04-17 Dainippon Printing Co Ltd カラーフィルタ基板の製造方法
DE102010035811B4 (de) 2010-08-30 2024-01-25 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor und Verfahren zum Auslesen eines Bildsensors
US9710972B2 (en) 2014-05-30 2017-07-18 Lucasfilm Entertainment Company Ltd. Immersion photography with dynamic matte screen
AU2019338669A1 (en) * 2018-09-13 2021-04-01 Appario Global Solutions (AGS) AG Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display
WO2020097212A1 (en) 2018-11-06 2020-05-14 Lucasfilm Entertainment Company Ltd. Immersive content production system

Also Published As

Publication number Publication date
EP4284010A2 (de) 2023-11-29
EP4164236A1 (de) 2023-04-12
DE102021126309B3 (de) 2022-12-01
EP4284010A3 (de) 2024-02-07
US20230113256A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
KR100667444B1 (ko) 개선된 동적범위 비디오카메라와 레코딩 시스템 및 레코딩방법
CN106165413B (zh) 自动色度键背景发生器
JPH03500714A (ja) 画像記録システム
JP2007215088A (ja) 面順次方式カラーカメラシステム
KR101767853B1 (ko) 정보 처리 장치, 화상 투영 시스템 및 컴퓨터 프로그램
US20230113256A1 (en) Background display device, camera and method of displaying a representation of a virtual background
CN105850119A (zh) 拍摄装置、拍摄装置的控制方法以及控制程序
JP2016111689A (ja) 画像読取装置
JP2007060272A (ja) 投影装置、投影画像の撮影方法及びプログラム
JP3832291B2 (ja) カメラ装置及びカメラ装置における発光制御方法
CN115966144A (zh) 背景显示设备
US20230110191A1 (en) Background display device
US12022243B2 (en) Background display device
US20230110184A1 (en) Background display device
US20230328194A1 (en) Background display device
JP2004312565A (ja) 高速度駒撮りテレビカメラシステム
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
JPWO2019111921A1 (ja) 撮像装置、電子機器および彩度抑制プログラム
US20230326385A1 (en) Method of calibrating a background display and recording system
JP5655969B1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
JP4470909B2 (ja) カメラ装置及びカメラ装置における発光制御方法
KR102110314B1 (ko) 다중 노출 촬영 시스템 및 제어 방법
JP2003281509A (ja) 撮影制御方法および3次元形状入力装置
JP2003279335A (ja) 撮影制御方法および装置
JP2002199257A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication