CN106165413B - 自动色度键背景发生器 - Google Patents

自动色度键背景发生器 Download PDF

Info

Publication number
CN106165413B
CN106165413B CN201480077835.5A CN201480077835A CN106165413B CN 106165413 B CN106165413 B CN 106165413B CN 201480077835 A CN201480077835 A CN 201480077835A CN 106165413 B CN106165413 B CN 106165413B
Authority
CN
China
Prior art keywords
light
capture device
control circuit
video capture
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480077835.5A
Other languages
English (en)
Other versions
CN106165413A (zh
Inventor
杰里米·霍克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heer virtual reality holding company, which operates in the name of megapixel virtual reality Co.
Original Assignee
Revolution Display LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Revolution Display LLC filed Critical Revolution Display LLC
Publication of CN106165413A publication Critical patent/CN106165413A/zh
Application granted granted Critical
Publication of CN106165413B publication Critical patent/CN106165413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20Controlling the colour of the light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/44Colour synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/155Coordinated control of two or more light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

各种实施方式涉及控制照明设备的装置。灯光控制电路可使用受控的照明序列控制及驱动照明设备的查看部分以显示色度键颜色或发出红外光,而驱动照明设备的其他非查看部分显示环境光和入射光。查看和非查看照明部分可基于图像捕获设备的视场,并可相对于图像捕获设备的运动而改变。传感器可进行测量以确定图像捕获设备的视场,并可被用于产生或修改受控的照明序列。图像处理电路可使用色度键产生合成图像,而维持主体使用环境光和入射光来捕获。

Description

自动色度键背景发生器
交叉引用相关申请
本申请要求于2014年4月8号提交的以及题为“AUTOMATIC CHROMA KEYBACKGROUND GENERATOR WITH INCIDENT KEY LIGHTING”的第14/248,212号美国专利申请的权益,本文以引用的方式将其全文并入。
技术领域
本文公开的各种示例实施例一般涉及视频制作。具体地,示例性实施例涉及视频效果的照明控制。
背景
色度键沉积(例如,色度键控)是在图像和视频制作中用来产生合成图像的技术。包含主题的目标图像的一部分被另一幅图像替换;为了轻松替换目标图像的该部分,该部分利用可与图像的其余部分区别开的单色“键控”,并且被第二图像替换。在视频制作的过程中,用固体绿或蓝(以远离自然的色调)作背景。在后期制作过程中,背景色用另一种背景替换以产生合成图像。
最近,固体哑光背景已由发光二极管(LED)阵列照明系统取代。一些LED系统取代现有灯光,如安装有LED的聚光灯或照相机上的闪光灯。在一些实例中,LED阵列也已经被用作背景,以补充或甚至取代合成图像的色度键背景。然而,除非LED阵列发射与色度键背景相同的颜色的光,否则为了有效进行色度键背景的后期制作处理,LED阵列必须完全走出相机的视场。
鉴于上述情况,期望的是在色度键图像和视频中结合LED照明阵列。具体地,期望的是在相机的视场内使用LED照明用于色度键视频捕获。
概述
针对受控的色度键和入射照明的当前需要,提出了各种示例性实施例的简短概述。在下面的概述中可进行了一些简化和忽略,旨在突出并介绍各种示例实施例的一些方面,但不是限制本发明的范围。在后面的章节中将介绍足以让本领域的一般技术人员实现和使用本发明的概念的优选的示例性实施例的详细描述。
各种实施方式涉及控制照明设备的灯光控制装置。灯光控制装置可包括照明设备和灯光控制电路,照明设备包括灯光的查看部分和灯光的非查看部分,灯光控制电路基于受控的照明序列控制LED阵列的查看部分和非查看部分。受控的照明序列可包括环境光模式。在各个方面,受控的照明序列还包括色度键颜色模式和/或入射光模式。
在各个方面,照明设备可包括LED阵列和/或投影仪。在各个方面,灯光控制装置还可包括视频捕获设备,其录制第一图像,其中,仅照明设备的查看部分是在视频捕获设备的视场中。一方面,照明设备可包括一个或多个聚光灯照明部分,其显示入射光模式。
在各个方面中,灯光控制装置还可包括传感器,其记录光测量结果,其中,灯光控制电路基于光测量结果确定图像捕获设备的视场。在各个方面中,灯光控制装置还可包括用户接口,其被连接到所述灯光控制电路,将信号发送到所述灯光控制电路以修改所述受控的照明序列。在一方面,照明控制电路基于光测量结果产生入射光模式。
在各个方面中,灯光控制装置还可包括图像存储设备,其至少包括参考图像。在各个方面中,灯光控制装置还可包括图像处理电路,其基于第一图像和参考图像产生合成图像。在一方面,图像存储设备存储与目标GPS坐标相关联的图像。
在各个方面中,灯光控制装置可操作,使得至少照明设备的查看部分显示色度键颜色和/或发出红外光。在一方面,仅照明设备的查看部分显示色度键颜色和/或发出红外光。
在各个方面中,灯光控制装置可操作,使得照明设备的非查看部分显示环境光模式。在一方面,仅照明设备的非查看部分显示环境光模式。在各个方面中,灯光控制装置可操作使得照明设备在显示色度键颜色和/或红外光与环境光模式之间交替。
明显的是,以这种方式,各种示例实施例实现自动的色度键和入射照明。具体地,通过在拍摄期间控制照明设备内的各个灯,该装置使用户能够在相同的录制期间内使用色度键照明及环境光和入射照明来捕获图像。
附图简述
为了更好地理解各种示例实施例,对附图进行了参考,其中:
图1示出示例性灯光控制装置的框图;
图2示出示例性发光二极管阵列;
图3示出利用灯光控制装置的实施例的示例性图像;以及
图4示出利用灯光控制装置的实施例照明场景的流程图。
详细描述
现在参考附图,其中,相似的数字指示相似的部件或步骤,公开了各种示例性实施例的广泛的方面。
图1示出示例性灯光控制装置的框图。灯光控制装置100例如可被用在图像或视频制作中以帮助用户制作合成图像和/或合成视频。灯光控制装置100可包括灯光控制电路102、照明设备104、用户接口(UI)106、显示器108、总线110、图像捕获设备112、传感器114、图像处理电路116和/或图像存储设备118。在某些实施例中,多个元件可以是单个设备中的组件。例如,图像捕获设备112、传感器114和显示器108可以在单个设备(如数字视频录像机)中。类似地,灯光控制电路102、用户接口106和显示器108可被包括在单个设备中。
灯光控制电路102可包括控制照明设备104中的每个灯的硬件。在一些实施方式中,灯光控制电路102可协调一致地控制多个离散的照明设备104(未示出)。灯光控制电路102可通过有线连接或无线连接发送信号来控制照明设备104。灯光控制电路102可通过受控的照明序列来控制照明设备104中的每个灯的功能,受控的照明序列对照明设备104中的每个灯的光特性在设定的周期上编程。一些光特性包括例如灯光设计图(即,在场景中灯光的位置)、颜色、焦点、周期、亮度、品质(例如,高反差的(hard)或柔和的),等等。在一些实施例中,灯光控制电路102可以接收来自传感器114的反馈并且使用反馈设置照明设备104的光特性。
在一些实施方式中,灯光控制电路102可以包括控制照明设备104内的各个灯或灯组的特性的软件。例如,灯光控制电路102可将灯组看成模拟的(skeuomorphic)“聚光灯”,照明设备104内的灯组被看成单一的整体,灯组的所有光特性被协调控制。在一些实施方式中,用户可以选择照明设备104内的各个的灯以通过灯光控制电路102来控制。
在操作期间,灯光控制电路102可以通过用户接口106或者经由总线110从图像存储设备118(例如,数据库、视频录制设备、硬盘驱动器,等等)接收受控的照明序列,并且可以使用该受控的照明序列在设定的周期期间来控制照明设备104中的每一个灯。在一些实施方式中,灯光控制电路102可以产生和/或修改该受控的照明序列。该受控的照明序列可以包括一个或多个照明模式,如色度键模式、环境光模式和/或入射光模式。受控的照明序列例如可以在拍摄期间设置和修改特定的灯或灯组的光特性以模仿不同的场景,并且,当主体在场景内移动时可以帮助正确地照亮主体。例如,所查看的部分可以显示色度键模式,非查看的部分一般可以显示环境光模式,而在非查看的部分中的特定的光组可以显示入射光模式。在一些实施方式中,灯光控制电路102接收来自一个或多个传感器114的反馈,并且可以基于接收的反馈改变一个或多个光的光特性。
在一些实施方式中,灯光控制电路102可以确定照明设备104的查看的部分和非查看的部分。例如,灯光控制电路102可以从一个或多个传感器114接收信号,这可用于确定图像捕获设备112的视场。在这样的实例中,灯光控制电路102可以将照明设备104的查看部分设置为仅与图像捕获设备112的视场中的灯一致。灯光控制电路102还可以设置图像捕获设备112的视场外的所有光作为照明设备104的非查看的部分。灯光控制电路102可以为照明设备104的特定部分设置特定的光特性。例如,灯光控制电路102可以将照明设备104的查看部分设置为显示单色的色度键颜色,如绿色或蓝色,而将照明设备104的非查看部分设置为显示编程的环境光或入射光,如通过移动云层模拟太阳光。
在一些实施方式中,光控制电路102可基于图像捕获设备112改变照明设备104的光特性。例如,如果图像捕获设备112是以48帧每秒(fps)拍摄的胶片相机,灯光控制电路102可以在色度键颜色和多个颜色之间交替照明设备104中的所有的光的特性以模拟环境光。当灯光控制电路102用这种方式改变光时,一半所拍摄的帧当照明设备104正显示色度键颜色时被拍摄,而另一半场景使用存储在受控的照明序列中的环境光模式被拍摄(因此,使用模拟的环境光照亮主体)。这使用户能够使用主体上的环境光产生合成图像,因此,当使用环境光图像来使用恰当的照明模式照亮主体时,用户可以使用色度键图像将新的背景插入到色度键控的图像中。在一些实施方式中,灯光控制电路102可使用同步锁相来使图像捕获设备112和照明设备104同步。
在一些实施方式中,灯光控制电路102可基于其接收的图像产生受控的照明序列。在一些实施方式中,灯光控制电路102可经由总线110从图像存储设备118接收一个或多个高分辨率图像,并且可为照明设备104产生光特性来模拟所接收的图像的模式。例如,灯光控制电路102可以接收满月的天空和月亮照亮地面的图像。灯光控制电路102可为照明设备104的部分产生受控的照明模式,使得在主体的上方的照明设备104中的灯模拟天空,而主体下方的照明设备104的灯模拟地面。
在一些实施方式中,用户可修改所产生的模式来控制各个灯或灯组。例如,用户可编辑受控的照明模式来改变颜色、强度和/或光的焦点以在模拟的夜色中更好的照亮主体。在一些实施方式中,灯光控制电路102可控制照明设备104使得照明设备不发出色度键颜色。在这样的实施例中,灯光控制电路102可控制照明设备104来特定地照亮主体。例如,传感器114可检测到图像捕获设备112的查看部分内的阴影区或其他照明问题。灯光控制电路102然后可使用经由总线110从传感器114接收的数据来驱动照明设备104内的各个灯或灯组来解决照明问题。
照明设备104可包括由灯光控制电路102控制和驱动的一个或多个灯。照明设备104中的每一个灯可从灯光控制电路102接收控制信号,并基于接收的控制信号发出光。在某些实例中,控制信号可在设定的周期上改变光,并可改变光特性,如颜色和强度,以及可控制灯是开还是关(例如,“闪光灯效应”)。
在一些实施方式中,照明设备104可包括发光二极管阵列(即,“LED阵列”)。LED(如红绿蓝(RGB)类型的LED或红绿蓝白(RGB+W)类型的LED)可连同组中的其他LED一起使用来以取决于LED阵列104的分辨率的高分辨率显示多个颜色。在一些实施方式中,LED阵列104还可包括红外线LED。灯光控制电路102可控制LED阵列104,使得仅查看部分内的那些红外线LED发出红外光。在这样的实例中,代替查看部分发出色度键颜色,图像处理电路116可使用检测到的红外区域来代替背景。当这种情况出现时,查看部分内的其他RGB LED或RGB+WLED可发出环境光。
在一些实施方式中,照明设备104可包括投影仪。在这样的实施方式中,投影仪104可将光发射到放置在投影仪104和图像捕获设备112之间的一个或多个屏幕上。在这样的实例中,灯光控制设备102可驱动通过投影仪104被投影在一个或多个屏幕上的图像。在一些实施方式中,投影仪104在图像捕获设备112的查看部分内发出色度键颜色。在一些实施方式中,投影仪104可包括红外光滤波器。在这样的实例中,投影仪104可代替投影色度键颜色,仅在图像捕获设备112的查看部分内投影红外光。
在一些实施方式中,照明设备104可包括多组灯。例如,照明设备104可包括环绕主体的六个灯墙。灯光控制电路102可分别控制六个离散的墙中的每一个墙。在一些实施方式中,灯光控制电路102可控制更小组的灯或灯组内的各个灯。例如,灯光控制电路102可控制“前墙”灯组上的一组灯作为仿真的前聚光灯。
用户接口(UI)106可包括用户和灯光控制电路102之间通信的硬件和/或软件。在一些实施方式中,UI106可以是图形用户接口(GUI),其可显示照明设备104的图形表示和/或图像捕获设备112正在拍摄的帧。在一些实施方式中,UI106和显示器108可由用户使用来产生和/或修改灯光控制电路102发送的受控的照明序列以控制照明设备104中的一个或多个灯的光特性。在一些实施方式中,UI将照明设备104内的灯组显示为灯光设计图内的仿真灯。用户可使用UI106软件来控制这样的灯组,就像控制一个单一的照明装置。在一些实施方式中,UI106包括用于通过灯光控制电路102控制一个或多个灯的物理控制。
显示器108可以是监视器,其经由总线从灯光控制装置100的其他设备(如图像捕获设备112、图像处理电路116、UI106、图像存储设备118和/或灯光控制设备102)接收信号,并基于接收的信号显示图像。在一些实施方式中,灯光控制装置100可包括多个显示器108,如分别用于图像捕获设备112和图像处理设备116的离散的显示器。显示器108可以是液晶显示(LCD)监视器或其他数字显示器。
总线110可以是便于灯光控制装置100中的多个设备间的通信的线总线。在一些实施方式中,经由总线110控制的所有设备是在相同的设备中。在一些实施方式中,灯光控制装置100中的设备可无线地通信;在这样的实例中,总线110可用无线通信装置代替。
图像捕获设备112可包括例如静物相机或视频相机,其捕获由照明设备104照亮的图像或视频。在一些实施方式中,图像捕获设备112可在照明设备104内。例如,当照明设备104包括六个灯墙时,图像捕获设备和主体可以在六个灯墙内。
在一些实施方式中,一个或多个传感器114可包括在图像捕获设备112内来确定图像捕获设备112的视场。在这样的实例中,图像捕获设备112中的传感器114可将信号发送到灯光控制电路102,然后灯光控制电路102用来设置照明设备104的查看部分。在一些实施方式中,图像捕获设备112可将其特性(例如,光圈、快门速度、视频帧速率、视角,等等)发送到灯光控制电路102,灯光控制电路102可用此产生或修改照明设备104的受控的照明序列。
传感器114可以例如是图像捕获设备112或灯光控制电路102内部的一个或多个内部传感器,或是相对于图像捕获设备112和照明设备104放置的一个或多个外部传感器。传感器114例如可以是可见光传感器、红外光传感器和/或可用于确定图像捕获设备112的视场的陀螺仪。在一些实施方式中,传感器114可以用来确定其他定量的测量,如光强、光温、房间温度,等等。
传感器114所做的测量可由灯光控制装置100中的其他设备使用来校正受控的照明序列。在一些实施方式中,传感器114所做的测量可用在维护和故障检修(如,当光温过高时)中。在一些实施方式中,传感器114可用于确定图像捕获设备112的可视部分内的照明问题,如检测主体上的阴影区域。一个或多个传感器114可将照明数据发送到灯光控制电路102,灯光控制电路102可改变照明设备104内的各个灯光的光特性来改变所检测的阴影区域。
图像处理电路116可包括硬件以基于由图像捕获设备112捕获的一个或多个图像产生合成图像。在一些实施方式中,图像处理电路116可基于从图像捕获设备112接收的图像和从图像存储设备118检索的图像产生合成图像。在一些实施方式中,图像处理电路116可包括软件和/或用户接口(未示出)以使用户能够产生合成图像。在一些实施方式中,当图像被录制时,图像处理电路116从图像捕获设备112接收图像,实时产生合成图像。在一些实施方式中,图像处理电路116,在所有的图像被录制后,检索图像捕获设备112使用照明设备104录制的图像和来自图像存储设备118的其他图像,产生合成图像。
在一些实施方式中,合成图像的产生基于照明设备104的帮助。例如,当主体利用环境光照亮时,图像捕获设备112可录制具有色度键背景的图像(例如,照明设备104的查看部分)。图像处理电路116可得到另一个图像(在一些实例中,来自图像存储设备118),并且可用其他检索到的图像替换图像捕获设备112的录制的图像中的色度键颜色以产生合成图像。在这样的实例中,尽管色度键控用来替换图像中的背景,但是合成图像中的主体利用环境光照亮。
在一些实施方式中,图像处理电路116可合成由图像捕获设备112录制的两个图像。例如,受控的照明序列驱动照明设备104,使得其在为录制的帧的一半显示色度键颜色和为录制的帧的剩余的一半显示环境光之间交替。图像处理电路116可通过类似同步锁相的过程将连续的图像合并在一起,使得尽管色度键控被用来使图像处理电路116能够代替图像中的背景,但是合成图像利用环境光照亮。
图像存储设备118可以是一个或多个数据库、硬盘驱动器、视频录制设备和/或存储关于灯光控制装置100中的其他设备的信息的其他媒体存储设备。在一些实施方式中,图像存储设备118存储当产生受控的照明序列时的灯光控制电路102用作参考的图像和/或视频,使得照明设备104仿真存储的图像或视频的回放。例如,用户可以将高分辨率的照片和/或视频上传到图像存储设备118。灯光控制电路102然后可使用存储的图像和/或视频以产生关于通过照明设备104根据仿真存储的媒体的环境光来进行回放的受控的照明程序。
在一些实施方式中,基于输入的全球定位系统(GPS)坐标,用户可将参考图像下载到图像存储设备118上。例如,用户可输入坐标{36.115369,-15.172761}和{36.121852,-115.171816}来检索表示拉斯维加斯中的“条状”的两个坐标之间的多个图像。多个图像和/或视频可存储在图像存储设备118中。灯光控制电路102然后可检索存储的图像和/或视频以产生通过照明设备104根据仿真存储的媒体的环境光来进行回放的受控的照明程序。
在一些实施方式中,图像存储设备118存储由图像捕获设备112录制的图像和/或由图像处理电路116产生的合成图像。在这样的实例中,图像存储设备118还可存储由图像处理单元116用来产生合成图像的原始图像。
图2示出示例性照明设备。照明设备200包括灯墙区201a-b,查看灯光部分203和程控灯光区205a、205b。在一些实施方式中,照明设备200还可包括当捕获图像或视频时环绕主体的其他墙区(未示出)。例如,照明设备可包括后墙部分201a、紧挨着图像捕获设备112放置的前墙部分201b、在墙部分201a-b上面的天花板部分(未示出)、地面部分(未示出)和图像捕获设备112。
查看光部分203是照明设备200的部分,其在图像捕获设备112的视场中。在一些实施方式中,传感器114可进行测量,图像捕获设备112和/或灯光控制电路102用来确定照明设备200内的查看部分203。在一些实施方式中,图像捕获设备112和/或灯光控制电路102可确定图像捕获设备112的视场中的改变并且修改包括在查看部分203中的光。在一些实施方式中,灯光控制电路102可具体地控制涉及照明设备200的查看部分203,使得查看部分203中的所有的灯显示色度键颜色,而照明设备200中的所有其他的灯基于包括在受控的灯光序列中的环境光模式显示环境光。
程序化的灯区205a、205b可以是照明设备104内的灯区,具体由灯光控制电路102作为组来控制。例如,灯区205a可以共同作为模拟的聚光灯来控制,并且灯区205a可共同以特定的几何形状来控制。在一些实施方式中,灯区205a可以如单个灯或LED那么小。
用户可控制照明设备200内的灯区205a、205b以通过使用灯区产生在帧内的物体上的入射光采用超出基于参考背景图像的程序化的照明序列的更大的照明控制。例如,用户可将灯光布局图添加到受控的照明序列,并可控制在灯光布局图内的每一个模拟灯的光特性。当使用灯光布局图时,受控的照明序列可被编程,使得对于照明设备200,不是查看区203或灯区205a-b中的所有灯显示环境光的程序化的序列,查看区203显示色度键颜色,以及灯区205a-b显示白光以模仿聚光灯。图像捕获设备112然后可依照技术上的照明惯例特定地照亮主体来捕获图像,同时还用合适的环境光以及具有色度键背景光照亮主体和其他物体,用于后期制作编辑以创造合成图像。
图3示出利用灯光控制装置的实施例的示例性图像。合成图像300例如可由图像处理电路116基于在图像存储设备118中存储的背景图像和使用照明设备104及图像捕获设备112录制的主体的图像来产生。合成图像300包括背景图像301、主体303a、303b和具体的主体照明305a、305b。
背景图像301可以例如是在后期制作期间由图像处理电路116替换的图像,代替由照明设备104、200产生的色度键颜色背景203。在一些实施方式中,背景图像301可以是在由灯光控制电路102驱动的受控的照明序列的具体帧期间由照明设备104显示的高分辨率的图像。例如,投影仪104、200可将高分辨率的图像或视频显示在灯墙部分201a,查看部分203被捕获作为背景图像301。
在记录期间,主体303a、303b可在灯墙201a和图像捕获设备112之间,并且可受到照明设备200中的所有灯的反射的光。在一些实例中,主体303a、303b可基于照明设备200中光的显示来反射光。
主体反射305a、305b可以是照明设备104(如照明设备104的非查看部分和模拟聚光灯205a、205b)显示的环境光的反射。在一些实施方式中,主体反射305a、305b可以是传感器114检测的初始的阴影区。灯光控制电路102可产生在受控的照明序列内的入射光模式,其控制照明设备104中的一个或多个灯以处理所检测的阴影区。在一些实施方式中,主体反射305a、305b在一个帧中被捕获,而色度键控图像在另一个帧中被捕获。图像处理电路116可合并两个帧以产生合成图像300,即用背景301替换色度键背景,而保持主体反射305a、305b来自环境光帧。
图4示出利用灯光控制装置的实施方式照亮场景的流程图。当录制用于以后后期制作编辑的图像或视频时,灯光控制装置100或灯光控制电路102可利用方法400来产生受控的灯光序列,并且控制照明设备104、200。当灯光控制电路102可确定照明设备104、200内的照明区域时,方法400可开始于步骤401并前进到步骤403。在一些实施方式中,照明区域包括查看部分203和/或包含照明设备104、200内的灯光布局的灯区205a、205b。在一些实施方式中,具体的照明区域可在受控的照明序列的期间(如当图像捕获设备112在录制期间移动时)改变。在这样的实例中,灯光控制电路102确定每一个步骤上的包括在每一个照明区域内的具体的灯(即,“路径”),并且设置每一帧的照明区域以在设定的周期上拍摄。
一旦设定照明设备104、200的照明区域,灯光控制电路102然后可前进到步骤405,在步骤405处其产生受控的照明序列。在一些实施方式中,当产生受控的照明序列时,灯光控制电路102可经由UI106接收来自用户的指令。受控的照明序列例如可包括环境光的光特性(例如,“环境光模式”)、色度键照明设置、灯光布局的灯光部分、模拟灯光设置,以及在设定的周期中每一帧上的每个灯的其他照明特性设置。
在产生受控的照明序列后,的灯光控制电路102可进行到步骤407,在步骤407处其确定是否从DB118加载图像或视频。在一些实施方式中,灯光控制电路102可产生或修改环境光模式以表示根据参考图像或照片(诸如存储在DB 118中的图像或与由第三方存储的场景图像相关的一组GPS坐标或GPS坐标的序列)产生的路径。如果灯光控制设备102确定从DB118或从GPS坐标加载图像,则其进行到步骤411,在步骤411中其从DB118检索图像。在一些实施方式中,灯光控制设备102从第三方数据库(如基于GPS坐标的图像数据库)检索图像。
检索图像后,在步骤413中,灯光控制电路可驱动照明设备104、200来基于加载的图像产生环境光。灯光控制电路例如可控制照明设备104、200以在照明设备104、200的非查看部分中显示环境光。在一些实施方式中,加载的图像修改在步骤405中产生的受控的照明序列。
如果在步骤407中,灯光控制电路102确定不从数据库加载图像,其进行到步骤421,在步骤421中,其驱动照明设备104、200以产生环境光。在灯光控制电路102不基于存储的图像产生环境光的实例中,灯光控制电路102可例如基于在步骤405中产生的受控的照明序列产生环境光。
在步骤413或步骤421之后,灯光控制电路可进行到步骤431,在步骤431中,其驱动照明设备104、200以产生色度键光。在一些实施方式中,产生的色度键光仅用于照明设备104、200的查看部分203。在一些实施方式中,灯光控制电路102驱动照明设备104、200以在显示步骤413中产生的环境光和在步骤431中产生的色度键光之间交替。一旦产生色度键光,灯光控制电路102可进行到步骤433以结束方法400。
根据前面的描述,明显的是,本发明的各种示例性实施例可以硬件和/或固件来实现。此外,各种示例性实施例可实现为在机器可读的存储介质上存储的指令,该指令可由至少一个处理器读取和执行以实施本文详细描述的操作。机器可读的存储介质可包括以由机器(如,个人电脑或笔记本电脑、服务器或其他计算设备)可读的形式存储信息的任何机制。因此,机器可读存储介质可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存存储器设备和类似的存储介质。
本领域的技术人员可以理解的是,本文中任何框图表示体现本发明的原理的说明性电路的概念视图。类似的,将要理解的是,任何流程图、流程图表、状态转换图、伪代码和类似物代表基本上可在机器可读的介质上表示的各种过程,因此由计算机或处理器执行,无论这种计算机或处理器是否显式显示。
虽然已详细描述了各种示例性实施例,特别提及其某些示例性的方面,应该理解,本发明还能有其他实施例,其细节能够在各种明显的方面进行修改。正如对本领域的技术人员明显的是,在本发明的精神和范围内可实现变型和修改。因此,上述披露、描述和数字仅用于说明目的,并且不以任何方式限制本发明,本发明仅由权利要求限制。

Claims (20)

1.一种视频和照明控制装置,包括:
发光设备,其包括多色发光元件的阵列,所述发光设备包括查看部分,其根据显示色度键颜色的色度键模式发光,和非查看部分,其根据环境光模式发光;以及
控制电路,其基于受控的照明序列控制所述查看部分和所述非查看部分,所述受控的照明序列包括所述色度键模式和环境光模式,其中所述非查看部分根据所述环境光模式发光以在模拟环境源的场景中创建环境光反射;以及
视频捕获设备,其记录所述场景的第一图像,其中,所述发光设备的查看部分在所述视频捕获设备的视场中且所述非查看部分不在所述视频捕获设备的视场中。
2.根据权利要求1所述的装置,还包括:
传感器,其记录光测量结果,其中,所述控制电路基于所述光测量结果确定所述视频捕获设备的视场。
3.根据权利要求1所述的装置,其中,至少所述控制电路被配置成在显示色度键颜色和显示所述环境光模式之间交替。
4.根据权利要求1所述的装置,其中,至少所述查看部分发出红外光。
5.根据权利要求4所述的装置,其中,所述发光设备被设计并配置成自动地在发出红外光和显示所述环境光模式之间交替。
6.根据权利要求5所述的装置,其中,所述视频捕获设备能够每秒捕获若干帧,其中,所述发光设备被设计和配置成自动地在发出红外光一个或多个帧和显示所述环境光模式一个或多个帧之间交替,使得对于在单个记录期中所述视频捕获设备捕获的任何数量的连续帧,所捕获的帧中的至少一个不包括红外光以及所述捕获的帧中的至少一个包括红外光。
7.根据权利要求6所述的装置,其中,所述控制电路被设计并配置成使用同步锁相来使所述视频捕获设备和所述发光设备同步。
8.根据权利要求1所述的装置,其中,所述查看部分模式包括色度键颜色模式;以及
其中,所述序列还包括入射光模式。
9.根据权利要求8所述的装置,还包括:
至少一个光传感器,其用于记录多个光测量结果,其中,所述控制电路基于所述多个光测量结果中的第一光测量结果确定所述视频捕获设备的视场,以及,其中,所述控制电路基于所述多个光测量结果中的第二光测量结果产生所述入射光模式。
10.根据权利要求1所述的装置,还包括:
传感器,其记录光测量结果,其中,所述控制电路被设计并被配置成基于所述光测量结果确定所述视频捕获设备的所述视场,并将所述查看部分设置为仅与所述视频捕获设备的所确定的视场中的所述多色发光元件一致。
11.根据权利要求10所述的装置,其中,所述控制电路被设计并配置成引起所述查看部分显示色度键颜色,并引起所述非查看部分显示环境光。
12.根据权利要求1所述的装置,其中,至少所述查看部分显示色度键颜色,并且所述发光设备被设计并配置成自动地在显示所述色度键颜色和显示所述环境光模式之间交替。
13.根据权利要求12所述的装置,其中,所述视频捕获设备能够每秒捕获若干帧,其中,所述发光设备被设计并配置成自动地在显示所述色度键颜色一个或多个帧和显示所述环境光模式一个或多个帧之间交替,使得对于在单个记录期中所述视频捕获设备捕获的第一多个连续帧,所捕获的帧中的至少一个不包括所述色度键颜色,且所捕获的帧中的至少一个包括所述色度键颜色。
14.根据权利要求1所述的装置,其中,所述控制电路被设计并配置成使用同步锁相使所述视频捕获设备和所述发光设备同步。
15.根据权利要求1所述的装置,还包括图像存储设备,其包括与相应的全球定位系统坐标相关联存储的多个参考图像,其中,所述控制电路被设计并配置成检索与具体的全球定位系统坐标相关联的参考图像或视频,以便产生所述序列。
16.根据权利要求15所述的装置,其中,所述控制电路被设计并配置成根据两组全球定位系统坐标和与包括所述两组全球定位系统坐标的路径相关联的参考图像或视频来产生所述序列。
17.根据权利要求1所述的装置,还包括:
位置感测设备,其能够操作地连接到所述视频捕获设备以用于感测所述视频捕获设备的位置,其中,所述控制电路被设计并配置成基于来自所述位置感测设备的读数确定所述视频捕获设备的所述视场,以及将所述查看部分设置成仅与所述视频捕获设备所确定的视场中的所述多色发光元件一致。
18.根据权利要求1所述的装置,还包括:
传感器,其记录光测量结果,其中,所述控制电路被设计并配置成检测在所述视频捕获设备的所述视场内的阴影区域,以及改变所述发光设备的光特性从而改变所检测的阴影区域。
19.根据权利要求1所述的装置,其中,所述控制电路被设计并配置成确定所述视频捕获设备的所述视场并将所述查看部分设置成仅与所述视频捕获设备所确定的视场中的所述多色发光元件一致。
20.根据权利要求10、17或19所述的装置,其中,所述控制电路被配置成响应于在所述视频捕获设备记录所述场景的视频时所确定的视场中的变化而调整所述查看部分。
CN201480077835.5A 2014-04-08 2014-04-09 自动色度键背景发生器 Active CN106165413B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/248,212 2014-04-08
US14/248,212 US20150289338A1 (en) 2014-04-08 2014-04-08 Automatic chroma key background generator with incident key lighting
PCT/US2014/033542 WO2015156799A1 (en) 2014-04-08 2014-04-09 Automatic chroma key background generator

Publications (2)

Publication Number Publication Date
CN106165413A CN106165413A (zh) 2016-11-23
CN106165413B true CN106165413B (zh) 2020-04-28

Family

ID=54210992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077835.5A Active CN106165413B (zh) 2014-04-08 2014-04-09 自动色度键背景发生器

Country Status (5)

Country Link
US (4) US20150289338A1 (zh)
EP (1) EP3130142B1 (zh)
CN (1) CN106165413B (zh)
CA (1) CA2944949C (zh)
WO (1) WO2015156799A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150289338A1 (en) 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting
CN105072350B (zh) 2015-06-30 2019-09-27 华为技术有限公司 一种拍照方法及装置
JP6725900B2 (ja) * 2016-11-25 2020-07-22 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 照明制御
US10382706B2 (en) * 2017-03-08 2019-08-13 DROPKEY, Inc. Portable chroma key compositing and lighting adjustment system
JP7211835B2 (ja) * 2019-02-04 2023-01-24 i-PRO株式会社 撮像システムおよび同期制御方法
US11425810B1 (en) * 2019-03-20 2022-08-23 Neopod LLC Smart lighting control system
US11496691B2 (en) 2019-12-16 2022-11-08 Disney Enterprises, Inc. Realistic illumination of a character for a scene
CN111601417A (zh) * 2020-04-03 2020-08-28 深圳市爱图仕影像器材有限公司 一种光影效果还原方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998031153A1 (en) * 1997-01-06 1998-07-16 U-R Star Limited Systems for producing personalized video clips
CN101039396A (zh) * 2006-03-14 2007-09-19 三星电子株式会社 使用多个色度键颜色来输出图像的设备和方法
WO2007146885A3 (en) * 2006-06-09 2008-02-21 Element Labs Inc Light-emitting display architecture
CN101690245A (zh) * 2007-06-29 2010-03-31 汤姆逊许可证公司 用于产生色度键的方法和装置
US8264468B1 (en) * 2007-06-19 2012-09-11 Imaging Systems Technology, Inc. Touch system for blue screen
WO2012150378A1 (en) * 2011-05-02 2012-11-08 Nokia Corporation Methods and apparatuses for capturing an image
CN103155539A (zh) * 2010-09-20 2013-06-12 弗劳恩霍弗应用技术研究院 区分场景背景和前景的方法和替换场景图像中背景的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4041527A (en) * 1976-03-15 1977-08-09 The Grass Valley Group, Inc. Video effects generator
US4386363A (en) * 1981-04-10 1983-05-31 Ampex Corporation Chroma key switching signal generator
GB9601101D0 (en) 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
US5838310A (en) 1996-05-17 1998-11-17 Matsushita Electric Industrial Co., Ltd. Chroma-key signal generator
JP3241327B2 (ja) 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
US6897984B2 (en) * 2001-04-11 2005-05-24 Globalstreams, Inc. Method of chromakey recording using luminescent screen
DE60319847T2 (de) 2002-08-29 2009-09-10 Department Of Veterans Affairs, Rehabilitation R&D Service Joystick mit variabler nachgiebigkeit mit kompensationsalgorithmen
GB0308054D0 (en) * 2003-04-08 2003-05-14 Koninkl Philips Electronics Nv A method of position stamping a photo or video clip taken with a digital camera
WO2005069639A1 (en) * 2004-01-05 2005-07-28 Koninklijke Philips Electronics, N.V. Ambient light derived by subsampling video content and mapped through unrendered color space
WO2006095779A1 (ja) * 2005-03-10 2006-09-14 Fuji Photo Film Co., Ltd. 撮影システム
US20080246743A1 (en) * 2007-04-06 2008-10-09 Element Labs, Inc. Transport Control Module for Remote Use
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor
US8274544B2 (en) * 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
US8837855B2 (en) * 2009-11-16 2014-09-16 Verizon Patent And Licensing Inc. Image compositing via multi-spectral detection
EP2514275B1 (en) * 2009-12-17 2015-04-22 Koninklijke Philips N.V. Ambience cinema lighting system
US9264627B2 (en) 2012-01-09 2016-02-16 Lifetouch Inc. Video photography system
GB201208088D0 (en) 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
WO2015134378A2 (en) 2014-03-03 2015-09-11 LiveLocation, Inc. Automatic control of location-registered lighting according to a live reference lighting environment
US20150289338A1 (en) 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998031153A1 (en) * 1997-01-06 1998-07-16 U-R Star Limited Systems for producing personalized video clips
CN101039396A (zh) * 2006-03-14 2007-09-19 三星电子株式会社 使用多个色度键颜色来输出图像的设备和方法
WO2007146885A3 (en) * 2006-06-09 2008-02-21 Element Labs Inc Light-emitting display architecture
US8264468B1 (en) * 2007-06-19 2012-09-11 Imaging Systems Technology, Inc. Touch system for blue screen
CN101690245A (zh) * 2007-06-29 2010-03-31 汤姆逊许可证公司 用于产生色度键的方法和装置
CN103155539A (zh) * 2010-09-20 2013-06-12 弗劳恩霍弗应用技术研究院 区分场景背景和前景的方法和替换场景图像中背景的方法
WO2012150378A1 (en) * 2011-05-02 2012-11-08 Nokia Corporation Methods and apparatuses for capturing an image

Also Published As

Publication number Publication date
US20180324398A1 (en) 2018-11-08
US20160381337A1 (en) 2016-12-29
CA2944949C (en) 2020-05-12
EP3130142B1 (en) 2020-03-11
WO2015156799A1 (en) 2015-10-15
US10356377B2 (en) 2019-07-16
CN106165413A (zh) 2016-11-23
US20170310941A1 (en) 2017-10-26
CA2944949A1 (en) 2015-10-15
US20150289338A1 (en) 2015-10-08
US10015460B2 (en) 2018-07-03
EP3130142A1 (en) 2017-02-15
EP3130142A4 (en) 2017-12-06
US9706183B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN106165413B (zh) 自动色度键背景发生器
EP1393124B1 (en) Realistic scene illumination reproduction
US20060158461A1 (en) Controls for digital lighting
US9648699B2 (en) Automatic control of location-registered lighting according to a live reference lighting environment
TWI568260B (zh) 同時顯示led光下的影像投射及擷取技術
US20230113256A1 (en) Background display device, camera and method of displaying a representation of a virtual background
JP2016015017A (ja) 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム
WO2023223759A1 (ja) 情報処理装置、情報処理方法、撮影システム
US20230110191A1 (en) Background display device
WO2024075525A1 (ja) 情報処理装置およびプログラム
US20230328194A1 (en) Background display device
US12022243B2 (en) Background display device
KR102677114B1 (ko) 인카메라 시각 효과 기반의 실제 환경과 가상 환경의 조명 매칭 시스템
WO2023238646A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
WO2023176269A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2023223758A1 (ja) スイッチャー装置、制御方法、撮影システム
US20230110184A1 (en) Background display device
US20230326385A1 (en) Method of calibrating a background display and recording system
WO2023090038A1 (ja) 情報処理装置、映像処理方法、プログラム
JP6837498B2 (ja) 3次元画像をキャプチャおよび生成するためのシステムおよび方法
CN117941340A (zh) 信息处理装置、视频处理方法和程序
JP2015184386A (ja) 撮影制御装置、撮影制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190528

Address after: American New York

Applicant after: Biagi Group Co., Ltd.

Address before: American California

Applicant before: REVOLUTION DISPLAY, LLC

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220317

Address after: California, USA

Patentee after: Heer virtual reality holding Co.

Patentee after: Operating under the name of megapixel virtual reality Co.

Address before: New York, United States

Patentee before: Biag Group Co.,Ltd.

CI03 Correction of invention patent
CI03 Correction of invention patent

Correction item: Patentee|Address

Correct: Biaji Group Co., Ltd.|New York, United States

False: Heer virtual reality holding company operates in the name of megapixel virtual reality company|California, USA

Number: 13-01

Volume: 38

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220418

Address after: California, USA

Patentee after: Heer virtual reality holding company, which operates in the name of megapixel virtual reality Co.

Address before: New York, United States

Patentee before: Biag Group Co.,Ltd.