CN111698391B - 通过仿真环境灯光参数控制真实灯光参数实时变化的方法 - Google Patents

通过仿真环境灯光参数控制真实灯光参数实时变化的方法 Download PDF

Info

Publication number
CN111698391B
CN111698391B CN202010591555.3A CN202010591555A CN111698391B CN 111698391 B CN111698391 B CN 111698391B CN 202010591555 A CN202010591555 A CN 202010591555A CN 111698391 B CN111698391 B CN 111698391B
Authority
CN
China
Prior art keywords
camera
light
real
parameters
installing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010591555.3A
Other languages
English (en)
Other versions
CN111698391A (zh
Inventor
金剑
林卫
尤家锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING BROADCASTING GROUP
Original Assignee
NANJING BROADCASTING GROUP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING BROADCASTING GROUP filed Critical NANJING BROADCASTING GROUP
Priority to CN202010591555.3A priority Critical patent/CN111698391B/zh
Publication of CN111698391A publication Critical patent/CN111698391A/zh
Application granted granted Critical
Publication of CN111698391B publication Critical patent/CN111698391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种通过仿真环境灯光参数控制真实灯光参数实时变化的方法，包括步骤：搭建显示空间，在显示空间上安装双色温LED灯；安装红外摄像头和摄像机，在显示空间前方安装各摄像机，摄像机机头上设至少四个标记点；构建虚拟环境，三块LED屏通过各自的三维渲染服务器进行渲染，之后通过AR沉浸式仿真系统将三块LED屏的画面拼接成连续的虚拟环境；安装控制服务器，根据红外摄像头控制三块LED屏的显示画面；控制服务器反馈至控制电脑，由控制电脑实时调整双色温LED灯参数，达到拍摄效果。上述技术方案中提供的通过仿真环境灯光参数控制真实灯光参数实时变化的方法，能有效解决AR沉浸式仿真系统在节目录制现场时，灯光难以灵活调整、录制效果差的问题。

Description

通过仿真环境灯光参数控制真实灯光参数实时变化的方法
技术领域
本发明涉及视频处理技术领域，具体涉及一种通过仿真环境灯光参数控制真实灯光参数实时变化的方法。
背景技术
AR增强现实(AugmentedReality，简称AR)技术其实就是将虚拟世界附加在真实世界上的应用，它不是引领人们进入一个新的世界，而是在现实世界中添加虚拟的元素，对现实世界进行各种增强效果扩展应用。可以想象，当AR与现实高效链接、交互后，再加上人工智能，AR能做的事想象空间极大。美国航天局(NASA)已经用AR技术来训练宇航员探索火星，国内在Build大会主题演讲上也有医学院教授演示它在医学教育领域的实际应用，应用前景十分广阔。尽管过去一年里媒体开始大肆报道AR技术，我们目前了解到的大部分AR解决方案仍处于开发之中。只有少数硬件解决方案得到了大规模生产并能够买到。据统计2011年初全球AR营收仅为1.81亿美元，而且当时AR往往被人们视作一种营销噱头：一种还在摸索实用应用的技术。很少有人认识到AR的潜力，开发相关应用大多也是用来快速打响名声，或者这些应用的价值仅限于添加视频效果这样的博眼球之举而已。
AR技术的发展其实己经有20多年的时间，只是进入大众的视野才是最近几年的事，在影视制作行业AR技术其实早有应用，行业内部把它称为一个更直观的名称“虚拟植入”，虚拟植入就是把虚拟的三维图文叠加到拍摄环境当中，在我们观看体育赛事的直播时常会看到选手名次的虚拟显示板，这也是AR的一种行业应用。目前AR沉浸式仿真系统在节目录制现场使用时，因为录制现场灯光较多且较为复杂，如果使用通常的布光方式，光线无主次分布，不能与虚拟场景实现动态调整，无法保证虚拟环境与人物的完美配合的录制效果。随着AR沉浸式仿真系统应用的逐渐广泛，在系统使用过程中面临灯光条件更为复杂的节目录制现场环境，无法实现灵活多变的场景与灯光要求。
发明内容
本发明的目的是提供一种通过仿真环境灯光参数控制真实灯光参数实时变化的方法，能有效解决AR沉浸式仿真系统在节目录制现场时，灯光难以灵活调整、录制效果差的问题。
为解决上述技术问题，本发明采用了以下技术方案：
一种通过仿真环境灯光参数控制真实灯光参数实时变化的方法，包括以下步骤：
步骤S1.搭建显示空间，采用LED屏搭建三角状的包括底面、左面和右面的显示空间，并在显示空间周围安装各双色温LED灯；
步骤S2.安装红外摄像头，在红外摄像头的有效距离范围内将红外摄像头均匀安装在显示空间角落处；
步骤S3.安装摄像机，在显示空间的底面上安装各摄像机，摄像机机头上设置至少四个标记点，各标记点至少位于两个平面内，且各摄像机上标记点的数量和位置各不相同；
步骤S4.构建虚拟环境，三块LED屏均分别通过各自的三维渲染服务器进行渲染，之后通过AR沉浸式仿真系统的三维缝合技术结合软硬件的同步，将三块LED屏的画面拼接成连续的虚拟环境；
步骤S5.安装控制服务器，控制服务器根据红外摄像头获取的摄像机上绑定标记点的位置、旋转信息得到真实摄像机的位置旋转信息，根据真实摄像机的位置旋转信息控制场景中的虚拟摄像机，然后将虚拟摄像机的位置旋转信息广播至三台三维渲染服务器，从而控制三块LED屏的显示画面；
步骤S6.控制服务器通过灯光控制数据传输协议读取三维渲染服务器所渲染的三维虚拟环境中的灯光参数，同时反馈至控制电脑，由控制电脑根据反馈所得的数据，实时调整双色温LED灯的参数，使外部灯光环境与虚拟环境中灯光效果一致，从而达到拍摄效果。
其中，红外摄像头的可视范围内与摄像机之间无遮挡，且红外摄像头的探测区域覆盖摄像机的运动区域和地屏远角的标记点；双色温LED灯设置在待拍摄者所在位置的前上方和侧上方；所述控制服务器为多通道控制服务器。
上述技术方案中提供的通过仿真环境灯光参数控制真实灯光参数实时变化的方法，在显示空间内安装红外摄像头、摄像机和双色温LED灯，并根据LED屏设置相应的三维渲染服务器对其画面进行渲染，控制服务器通过DMX512-A灯光控制数据传输协议读取三维渲染服务器所渲染的三维虚拟环境中的灯光参数，同时反馈至控制电脑，由控制电脑根据反馈所得的数据，实时调整双色LED灯的参数，使外部灯光环境与虚拟环境中灯光效果达到一致，从而得到最佳的拍摄效果；其中双色温LED灯采用一枚高亮WLED(白色发光二极管)闪光灯配合一枚亮度稍暗的琥珀色LED暖色灯来达到色温补偿的效果，当启动灯光时，选定合适的高低色温闪光强度的组合，呈现出接近自然光的补光效果；在低光环境下，可以大幅度的减少色彩失真、肤色惨白、油光和红眼等不佳效果，显著提升拍摄画质的真实性，使画质变得更为自然清晰。本发明的通过仿真环境灯光参数控制真实灯光参数实时变化的方法能够根据虚拟环境灯光参数实时调整真实环境中LED灯光参数，使虚拟环境更加真实，可实现动态变化的光影变化拍摄效果，为广播影视行业提供一种最佳的拍摄环境，达到最佳的拍摄效果。
附图说明
图1为本发明通过仿真环境灯光参数控制真实灯光参数实时变化的方法的系统结构图；
图2为本发明所述显示空间内红外摄像头、摄像机以及双色温LED灯的安装位置示意图。
图中：1.摄像机；2.LED屏；3.红外摄像头；4.双色温LED灯。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行具体说明。应当理解，以下文字仅仅用以描述本发明的一种或几种具体的实施方式，并不对本发明具体请求的保护范围进行严格限定。
通过仿真环境灯光参数控制真实灯光参数实时变化的方法，包括：
搭建显示空间，显示空间由三块LED屏2搭建组成，组成一个立方体的后面(左面和右面各一块竖屏)和底面；在显示空间后面竖屏的上方安置六个红外摄像头3(如图2所示)，在显示空间前方放置摄像机1(摄像机机头上有若干标记点，通过双面胶将标记点放置在摄像机相对固定的至少四个点，要求四个标记点不能在同一平面。AR全景仿真系统支持多机位，本实施例中使用了3台摄像机。不同的摄像机之间标记点选点位置数量与位置不同，这样可以让红外摄像头更容易识别出各个摄像机)。
红外摄像头型号为Prime41，有效探测距离为30米，在有效探测范围内将红外摄像头均匀放置在LED屏幕上方，并且要求在红外摄像头3可视范围内与摄像机之间不能有遮挡，同时调整红外摄像头的角度，保证红外摄像头的探测区域覆盖摄像机1的运动区域和地屏远角的标记点，该标记点位置数量与摄像机上标记点摆放规则一致，不与摄像机所标定标记点形成的刚体重合即可(刚体是在Motive软件根据每个机位标记点数量自动生成)。
在显示空间周围有多个双色温LED灯4(色温分别为3200K/5600K)，其采用一枚高亮WLED(白色发光二极管)闪光灯配合一枚亮度稍暗的琥珀色LED暖色灯来达到色温补偿的效果，当启动灯光时，选定合适的高低色温闪光强度的组合，呈现出接近自然光的补光效果。在低光环境下，可以大幅度的减少色彩失真、肤色惨白、油光和红眼等尴尬效果，显著提升拍摄画质的真实性，使画质变得更为自然清晰。双色温LED灯布置在主持人或待拍摄者所在位置的前上方与侧上方，由于LED屏幕属于自发光光源，后上方可以不用或者少用LED灯，使LED灯的光均匀照亮待拍摄者的面部。
另外还设置一台多通道控制服务器和三个独立的三维渲染服务器，每台服务器负责渲染一块LED屏的画面，然后通过AR沉浸式仿真系统的三维缝合技术结合软硬件的同步，将三块LED屏的画面拼接成一个完整连续的虚拟环境；控制服务器含有动捕模块和红外跟踪模型，控制服务器主要是控制三台渲染服务器的画面渲染，也就是控制三块LED屏幕显示什么画面；控制服务器根据红外摄像头获取的摄像机上绑定标记点的位置、旋转信息得到真实摄像机的位置旋转信息，根据真实摄像机的位置旋转信息控制场景中的虚拟摄像机，然后将虚拟摄像机的位置旋转信息广播给三台渲染服务器，进而控制LED屏幕的显示画面。
其中控制服务器(多通道控制服务器)通过DMX512-A灯光控制数据传输协议读取三维渲染服务器所渲染的三维虚拟环境中的灯光参数，同时反馈至控制电脑，由控制电脑根据反馈所得的数据，实时调整双色温LED灯的参数，使外部灯光环境与虚拟环境中灯光效果达到一致，从而得到最佳的拍摄效果。操作步骤如下：
(1)打开AR沉浸式仿真系统，加载要拍摄用的场景，确定机位、视点位置；
(2)打开面板/灯控面板；
(3)选择加载灯控面板配置文件(如已加载可跳过)；
(4)读取虚拟环境光照参数；
(5)根据虚拟环境光照参数计算双色温LED灯参数；
(6)记录计算出双色温LED灯的参数，下次使用该视点位置时可直接自动读取该参数
(7)根据计算出的双色温LED灯参数控制灯光控制台调整灯光参数；
(8)最终使外部LED灯光环境与虚拟环境中灯光效果达到一致，满足实际的拍摄要求。
按照上述方法进行如图2所示的实施例，本实施例使用了两块5.76*2.88米的P1.875LED竖屏和一块6*6米的P4.2LED地屏搭建的三面显示空间，视频拼接器为利亚德MVC-2-203；为了分别渲染LED屏上的画面，设置三台三维渲染服务器，其型号为惠普HPZ440；在距离地屏1米的地方，面向正面屏放置一台测试摄像机(索尼的PXW-280高清摄像机)；显示空间上方分三排布置9个双色温LED灯。此外，还有NaturalPoint公司的Optitrack红外跟踪系统进行摄像机的空间定位，此系统放包含六个红外摄像头，将其均匀分布在LED竖屏上方。
红外摄像头动捕电脑通过网络交换机NETGEARProSafe获取六个红外摄像头得到的摄像机的红外标记点位置参数，利用电脑中的MotiveTracker以及插件，在软件中分别修正红外标记点与摄像机镜头中心点的差值，摄像机位置数据通过交换机传输给三个通道渲染服务器和多通道控制服务器。多通道控制服务器把修正过的摄像机坐标信息分别匹配到虚拟空间中使用，通过算法的调整把虚拟空间图像进行匹配，呈现一个完整的三维场景空间。
图1是本发明的系统结构图，控制电脑通过DMX512-A灯光控制数据传输协议读取三维渲染服务器所渲染的三维虚拟环境中的灯光参数，同时反馈至控制电脑，控制电脑根据读取所得的数据，实时调整双色LED灯的相关参数，使外部灯光环境与虚拟环境中灯光效果达到一致，从而得到最佳的拍摄效果。
本发明的优点还在于能够根据虚拟环境灯光参数实时调整真实环境中LED灯光参数，使虚拟环境更加真实，更可以现实动态变化的光影变化拍摄效果，为广播影视行业提供一种最佳的拍摄环境，达到最佳的拍摄效果。
上面结合实施例对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，对于本技术领域的普通技术人员来说，在获知本发明中记载内容后，在不脱离本发明原理的前提下，还可以对其作出若干同等变换和替代，这些同等变换和替代也应视为属于本发明的保护范围。

Claims (4)

1.一种通过仿真环境灯光参数控制真实灯光参数实时变化的方法，其特征在于，包括以下步骤：
步骤S1.搭建显示空间，采用LED屏搭建三角状的包括底面、左面和右面的显示空间，并在显示空间上方安装各双色温LED灯；
步骤S2.安装红外摄像头，在红外摄像头的有效距离范围内将红外摄像头均匀安装在显示空间角落处；
步骤S3.安装摄像机，在显示空间前方安装各摄像机，摄像机机头上设置至少四个标记点，各标记点至少位于两个平面内，且各摄像机上标记点的数量和位置各不相同；
步骤S4.构建虚拟环境，三块LED屏均分别通过各自的三维渲染服务器进行渲染，之后通过AR沉浸式仿真系统的三维缝合技术结合软硬件的同步，将三块LED屏的画面拼接成连续的虚拟环境；
步骤S5.安装控制服务器，控制服务器根据红外摄像头获取的摄像机上绑定标记点的位置、旋转信息得到真实摄像机的位置旋转信息，根据真实摄像机的位置旋转信息控制场景中的虚拟摄像机，然后将虚拟摄像机的位置旋转信息广播至三台三维渲染服务器，从而控制三块LED屏的显示画面；
步骤S6.控制服务器通过灯光控制数据传输协议读取三维渲染服务器所渲染的三维虚拟环境中的灯光参数，同时反馈至控制电脑，由控制电脑根据反馈所得的数据，实时调整双色温LED灯的参数，使外部灯光环境与虚拟环境中灯光效果一致，从而达到拍摄效果。
2.根据权利要求1所述的通过仿真环境灯光参数控制真实灯光参数实时变化的方法，其特征在于：红外摄像头的可视范围内与摄像机之间无遮挡，且红外摄像头的探测区域覆盖摄像机的运动区域和地屏远角的标记点。
3.根据权利要求1所述的通过仿真环境灯光参数控制真实灯光参数实时变化的方法，其特征在于：双色温LED灯设置在待拍摄者所在位置的前上方和侧上方。
4.根据权利要求1所述的通过仿真环境灯光参数控制真实灯光参数实时变化的方法，其特征在于：所述控制服务器为多通道控制服务器。
CN202010591555.3A 2020-06-24 2020-06-24 通过仿真环境灯光参数控制真实灯光参数实时变化的方法 Active CN111698391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591555.3A CN111698391B (zh) 2020-06-24 2020-06-24 通过仿真环境灯光参数控制真实灯光参数实时变化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591555.3A CN111698391B (zh) 2020-06-24 2020-06-24 通过仿真环境灯光参数控制真实灯光参数实时变化的方法

Publications (2)

Publication Number Publication Date
CN111698391A CN111698391A (zh) 2020-09-22
CN111698391B true CN111698391B (zh) 2022-05-17

Family

ID=72483611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591555.3A Active CN111698391B (zh) 2020-06-24 2020-06-24 通过仿真环境灯光参数控制真实灯光参数实时变化的方法

Country Status (1)

Country Link
CN (1) CN111698391B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261422A (zh) * 2020-10-15 2021-01-22 北京德火科技有限责任公司 适用于广电领域的仿真远程直播流数据处理方法
CN112367750A (zh) * 2020-11-02 2021-02-12 北京德火科技有限责任公司 一种ar沉浸式全景仿真系统与灯光系统的联动结构及其控制方法
CN115294924A (zh) * 2022-09-13 2022-11-04 北京锋尚世纪文化传媒股份有限公司 灯光显示系统及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341832A (zh) * 2017-04-27 2017-11-10 北京德火新媒体技术有限公司 一种基于红外定位系统的多视角切换拍摄系统和方法
CN111182233A (zh) * 2020-01-03 2020-05-19 宁波方太厨具有限公司 拍摄空间自动补光的控制方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496353B2 (en) * 2016-09-29 2019-12-03 Jiang Chang Three-dimensional image formation and color correction system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341832A (zh) * 2017-04-27 2017-11-10 北京德火新媒体技术有限公司 一种基于红外定位系统的多视角切换拍摄系统和方法
CN111182233A (zh) * 2020-01-03 2020-05-19 宁波方太厨具有限公司 拍摄空间自动补光的控制方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AR沉浸式全景演播室系统中的关键技术应用;林卫等;《影视制作》;20180715(第07期);全文 *
采用Mental Ray对室内效果图渲染探究;梁永文;《福建电脑》;20130125(第01期);全文 *

Also Published As

Publication number Publication date
CN111698391A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111698391B (zh) 通过仿真环境灯光参数控制真实灯光参数实时变化的方法
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
US7180529B2 (en) Immersive image viewing system and method
CN102540464B (zh) 提供环绕视频的头戴式显示设备
CN107147899B (zh) 一种采用led 3d屏幕的cave显示系统及方法
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
CN110866978A (zh) 一种实时混合现实视频拍摄中的相机同步方法
CN107948466A (zh) 一种用于视频节目制作的三维场景构建方法及系统
CN107239143A (zh) 一种采用小间距led屏幕的cave显示系统及方法
US11615755B1 (en) Increasing resolution and luminance of a display
CN115118880A (zh) 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN108509173A (zh) 图像展示系统及方法、存储介质、处理器
CA2244467C (en) Chroma keying studio system
CN115866160A (zh) 一种低成本的电影虚拟化制作系统及方法
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
CN208506731U (zh) 图像展示系统
US20080247727A1 (en) System for creating content for video based illumination systems
CN109389538A (zh) 一种基于ar技术的智慧校园教育装备管理系统
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
WO2023094870A1 (en) Increasing dynamic range of a virtual production display
CN111346392A (zh) 一种基于数字全息技术的非遗戏曲演示系统
KR102654323B1 (ko) 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템
CN219802409U (zh) 一种xr虚拟制片实时合成系统
Zhang et al. Research on the Application of xR Extended Reality Shooting Technology in the Experimental Drama" Pipa Xing"
Yu et al. Design of outdoor LED ground display system in major scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant