CN114461165A - 虚实相机画面同步方法、装置及存储介质 - Google Patents

虚实相机画面同步方法、装置及存储介质 Download PDF

Info

Publication number
CN114461165A
CN114461165A CN202210120984.1A CN202210120984A CN114461165A CN 114461165 A CN114461165 A CN 114461165A CN 202210120984 A CN202210120984 A CN 202210120984A CN 114461165 A CN114461165 A CN 114461165A
Authority
CN
China
Prior art keywords
picture
virtual
time code
real camera
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210120984.1A
Other languages
English (en)
Other versions
CN114461165B (zh
Inventor
王玉珏
李炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Versatile Media Co ltd
Original Assignee
Zhejiang Versatile Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Versatile Media Co ltd filed Critical Zhejiang Versatile Media Co ltd
Priority to CN202210120984.1A priority Critical patent/CN114461165B/zh
Publication of CN114461165A publication Critical patent/CN114461165A/zh
Application granted granted Critical
Publication of CN114461165B publication Critical patent/CN114461165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12—Synchronisation of different clock signals provided by a plurality of clock generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种虚实相机画面同步方法、装置及存储介质，涉及计算机的技术领域，通过将LED画面的运动数据、真实相机以及合成端虚拟相机接入时间码，对比同时收到的三个时间码，选择最慢的时间码作为基准，再分别从各自缓存池中取值进行合成，选择最慢的时间码作为基准产生了最低的延迟，即表演和看到最终画面的间隔时间，由于时间码作为索引与相应数据一一对应，运动数据、真实相机画面数据、虚拟相机画面数据以帧同步方式进行合成，从而解决了在虚拟制片中，对虚拟相机画面、真实相机画面进行实时合成时出现画面撕裂的问题，进一步提高了虚拟制片的实时性、整体性、画面统一性。

Description

虚实相机画面同步方法、装置及存储介质
技术领域
本发明涉及计算机的技术领域，特别涉及一种虚实相机画面同步方法、装置及存储介质。
背景技术
LED环幕虚拟制片是一种通过将3D虚拟场景投影至LED环幕上，并通过与虚拟相机位置匹配的真实相机拍摄LED环幕的新型影视拍摄技术。LED环幕虚拟制片相比现有采用搭建绿幕环境的制片系统，解决了表演内容可视化差的问题，让导演和演员实时看到表演的内容和画面，同时也减少了后期制作的难度与工作量，实现后期前置。
为了形成最终画面，需要对虚拟相机画面、真实相机画面进行合成，现有方案中，最终画面需要通过后期手动合成，没有办法做到实时合成，其原因很大程度的是因为没有办法做到虚实相机的同步，导致实时合成的画面是撕裂的，从而影响虚拟制片的实时性、整体性、画面统一性都造成了很大程度的影响。
发明内容
本发明的目的就是解决背景技术中提到的问题，提出一种虚实相机画面同步方法、装置及存储介质。
为实现上述目的，本发明首先提出了一种虚实相机画面同步方法，包括以下步骤：将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码；将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码；将与合成端虚拟相机对应的时间码传输到合成端；将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值；对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
可选的，与LED画面的运动数据、真实相机、合成端虚拟相机对应的三个时间码设备被接入同一个主时钟服务器。
可选的，与LED画面的运动数据、真实相机、合成端虚拟相机对应的三个时间码设备被提前校准。
可选的，LED画面的运动数据和时间码通过UDP发送到合成端。
可选的，真实相机拍摄的画面和时间码通过采集卡传输到合成端。
可选的，与合成端虚拟相机对应的时间码直接使用时间码设备用音频线传入。
可选的，通过指定三个时间码中任意一个时间码作为基准。
本发明还提出了一种虚实相机画面同步装置，包括：第一传输模块，被配置为将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码；第二传输模块，被配置为将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码；第三传输模块，被配置为将与合成端虚拟相机对应的时间码传输到合成端；存储模块，被配置为将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值；合成模块，被配置为对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的虚实相机画面同步方法。
本发明的有益效果：
本发明实施例的一种虚实相机画面同步方法、装置及存储介质，通过将LED画面的运动数据、真实相机以及合成端虚拟相机接入时间码，并对比同时收到的三个时间码，选择最慢的时间码作为基准，再分别从各自缓存池中取值进行合成，由于时间码作为索引与相应数据一一对应，运动数据、真实相机画面数据、虚拟相机画面数据以帧同步方式进行合成，从而解决了在虚拟制片中，对虚拟相机画面、真实相机画面进行实时合成时画面撕裂的问题，进一步提高了虚拟制片的实时性、整体性、画面统一性。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1为本发明实施例一种虚实相机画面同步方法的流程示意图；
图2为本发明实施例一种虚实相机画面同步装置的结构框图。
具体实施方式
为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
图1示意性示出本发明实施例一种虚实相机画面同步方法的流程示意图。
如图1所示，该虚实相机画面同步方法包括步骤S10至步骤S50：
步骤S10，将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码；
步骤S20，将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码；
步骤S30，将与合成端虚拟相机对应的时间码传输到合成端；
步骤S40，将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值；
步骤S50，对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
本发明实施例的一种虚实相机画面同步方法，通过将LED画面的运动数据、真实相机以及合成端虚拟相机接入时间码，并对比同时收到的三个时间码，选择最慢的时间码作为基准，再分别从各自缓存池中取值进行合成，选择最慢的时间码作为基准从而产生最低的延迟，由于时间码作为索引与相应数据一一对应，运动数据、真实相机画面数据、虚拟相机画面数据以帧同步方式进行合成，从而解决了在虚拟制片中，对虚拟相机画面、真实相机画面进行实时合成时画面撕裂的问题，进一步提高了虚拟制片的实时性、整体性、画面统一性。
下面，将结合附图及实施例对本发明实施例中虚实相机画面同步方法的各个步骤进行更详细的说明。
步骤S10，将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码。
需要说明的是，LED画面的运动分为两部分，第一部分为LED画面自身的运动，这个运动可以由多种方式产生，一般为静止不动或者Sequence预设；第二部分是为了匹配真实相机做的补偿运动，将两部分运动合并成最终LED画面的运动。因此LED画面的运动数据为在虚拟场景中的LED模型与产生所述LED画面的虚拟相机间的位置数据。
具体的，先与LED画面的运动数据相关的设备接入第一时间码装置，再通过UDP协议将LED画面的运动数据以及与所述LED画面的运动数据对应的时间码信号发送至合成端。通过UDP协议来传输时刻变化的时间码信号，具有传输实时性高、传输速度快的优点。
步骤S20，将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码。
具体的，先将真实相机接入第二时间码装置，再通过采集卡将真实相机拍摄的画面和与所述画面对应的时间码信号传输到合成端。此处的真实相机包括但不限于：摄影机、摄像机、智能终端等拍摄设备。其中真实相机拍摄的画面分为两部分，一部分为真实场景，即真实相机拍摄的现实场景；另一部分为虚拟场景。因为虚拟场景通常会被提前通过LED屏幕的方式展示在现实场景中。
步骤S30，将与合成端虚拟相机对应的时间码传输到合成端。
具体的，与合成端虚拟相机对应的时间码信号直接使用时间码设备用音频线从第三时间码装置传入合成端。而合成端本身就包含了虚拟相机，即虚拟相机画面数据无需以有线或无线的形式传输至合成端。
在一实施例中，通过将接入LED画面的运动数据、真实相机、合成端虚拟相机的三个时间码设备接入同一个主时钟服务器，以确保产生的时间码的一致性。
在另一实施例中，通过将接入LED画面的运动数据、真实相机、合成端虚拟相机的三个时间码设备进行提前校准，以确保产生的时间码的一致性。
步骤S40，将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值。
本实施例中，通过将时间码作为索引，与该时间码对应的数据作为值存入缓存池中，时间码与相应数据一一对应，在匹配数据时，只需要对时间码进行匹配，然后再根据时间码去取数据即可实现不同数据间的帧同步。
步骤S50，对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
需要说明的是，在合成画面时，先将LED画面的运动数据给到LED模型来产生遮罩，再根据遮罩去对真实相机拍摄的画面、合成端虚拟相机产生的画面进行裁剪，再将经过裁剪真实相机拍摄的画面和合成端虚拟相机产生的画面进行合成的。
但由于运动数据、真实相机画面数据通过不同方式传输至合成端来与合成端的虚拟相机画面数据进行合成，在此过程中，会因为传输延时、跨设备差异等因素，导致运动数据、真实相机画面数据、虚拟相机画面数据之间的不同步，从而造成最终合成画面的撕裂。
本实施例，通过对比同时收到的三个时间码，选择最慢的时间码作为基准，再分别从各自缓存池中取值进行合成，选择最慢的时间码作为基准从而产生最低的延迟(即表演和看到最终画面的间隔时间)，由于时间码作为索引与相应数据一一对应，运动数据、真实相机画面数据、虚拟相机画面数据以帧同步方式进行合成，从而解决了画面撕裂的问题。
在其他实施例中，缓存池足够大的情况下，可以不选择最慢的时间码作为基准，而使用三个时间码中指定的时间码作为基准。
基于上述一种虚实相机画面同步方法，本发明实施例还提供了一种虚实相机画面同步装置，如图2所示，该装置包括以下模块：
第一传输模块100，被配置为将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码；
第二传输模块200，被配置为将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码；
第三传输模块300，被配置为将与合成端虚拟相机对应的时间码传输到合成端；
存储模块400，被配置为将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值；
合成模块500，被配置为对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
综上所述，本发明实施例的一种虚实相机画面同步装置，该装置可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该虚实相机画面同步装置的各个程序模块，比如，图2所示的第一传输模块100、第二传输模块200、第三传输模块300、存储模块400、合成模块500。各个程序模块构成的程序使得处理器执行本说明书中描述的本申请各个实施例的一种虚实相机画面同步方法中的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请各个实施例的一种虚实相机画面同步方法中的步骤。
上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种虚实相机画面同步方法，其特征在于，包括以下步骤：
将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码；
将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码；
将与合成端虚拟相机对应的时间码传输到合成端；
将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值；
对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
2.根据权利要求1所述的虚实相机画面同步方法，其特征在于，与LED画面的运动数据、真实相机、合成端虚拟相机对应的三个时间码设备被接入同一个主时钟服务器。
3.根据权利要求1所述的虚实相机画面同步方法，其特征在于，与LED画面的运动数据、真实相机、合成端虚拟相机对应的三个时间码设备被提前校准。
4.根据权利要求2所述的虚实相机画面同步方法，其特征在于，LED画面的运动数据和时间码通过UDP发送到合成端。
5.根据权利要求1所述的虚实相机画面同步方法，其特征在于，真实相机拍摄的画面和时间码通过采集卡传输到合成端。
6.根据权利要求1所述的虚实相机画面同步方法，其特征在于，与合成端虚拟相机对应的时间码直接使用时间码设备用音频线传入。
7.根据权利要求1所述的虚实相机画面同步方法，其特征在于，通过指定三个时间码中任意一个时间码作为基准。
8.一种虚实相机画面同步装置，其特征在于，包括：
第一传输模块，被配置为将LED画面的运动数据和对应时间码发送到合成端，一条运动数据对应一条时间码；
第二传输模块，被配置为将真实相机拍摄的画面和对应时间码传输到合成端，一帧真实相机画面数据对应一条时间码；
第三传输模块，被配置为将与合成端虚拟相机对应的时间码传输到合成端；
存储模块，被配置为将运动数据、真实相机画面数据、虚拟相机画面数据和时间码分别存入各自的缓存池中，其中时间码作为索引，与时间码对应的数据作为值；
合成模块，被配置为对比同时收到的三个时间码，选择最慢的时间码作为基准，分别从各自缓存池中取值进行合成。
9.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1～7任一项所述的虚实相机画面同步方法。
CN202210120984.1A 2022-02-09 2022-02-09 虚实相机画面同步方法、装置及存储介质 Active CN114461165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210120984.1A CN114461165B (zh) 2022-02-09 2022-02-09 虚实相机画面同步方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210120984.1A CN114461165B (zh) 2022-02-09 2022-02-09 虚实相机画面同步方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114461165A true CN114461165A (zh) 2022-05-10
CN114461165B CN114461165B (zh) 2023-06-20

Family

ID=81413762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210120984.1A Active CN114461165B (zh) 2022-02-09 2022-02-09 虚实相机画面同步方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114461165B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067462A (ja) * 2012-09-25 2014-04-17 Jvc Kenwood Corp タイムコード同期装置、及びタイムコード同期方法
CN104766526A (zh) * 2015-01-22 2015-07-08 中国石油技术开发公司 一种陆地钻机安装操作模拟系统的led环幕投影显示系统
CN107158695A (zh) * 2017-06-16 2017-09-15 苏州蜗牛数字科技股份有限公司 一种现实与虚拟场景混合展现的方法及系统
CN107392983A (zh) * 2017-08-07 2017-11-24 东方联合动画有限公司 一种录制动画的方法及系统
CN107439000A (zh) * 2017-06-12 2017-12-05 深圳市瑞立视多媒体科技有限公司 一种同步曝光的方法、装置及终端设备
CN107835397A (zh) * 2017-12-22 2018-03-23 成都华栖云科技有限公司 一种多镜头视频同步的方法
CN107968900A (zh) * 2017-12-08 2018-04-27 上海东方传媒技术有限公司 一种360度环绕拍摄制作系统
CN108055423A (zh) * 2017-12-22 2018-05-18 成都华栖云科技有限公司 一种多镜头视频同步偏移量计算方法
US20200089313A1 (en) * 2018-09-14 2020-03-19 Apple Inc. Tracking and drift correction
CN112040092A (zh) * 2020-09-08 2020-12-04 杭州时光坐标影视传媒股份有限公司 一种实时虚拟场景led拍摄系统及方法
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067462A (ja) * 2012-09-25 2014-04-17 Jvc Kenwood Corp タイムコード同期装置、及びタイムコード同期方法
CN104766526A (zh) * 2015-01-22 2015-07-08 中国石油技术开发公司 一种陆地钻机安装操作模拟系统的led环幕投影显示系统
CN107439000A (zh) * 2017-06-12 2017-12-05 深圳市瑞立视多媒体科技有限公司 一种同步曝光的方法、装置及终端设备
CN107158695A (zh) * 2017-06-16 2017-09-15 苏州蜗牛数字科技股份有限公司 一种现实与虚拟场景混合展现的方法及系统
CN107392983A (zh) * 2017-08-07 2017-11-24 东方联合动画有限公司 一种录制动画的方法及系统
CN107968900A (zh) * 2017-12-08 2018-04-27 上海东方传媒技术有限公司 一种360度环绕拍摄制作系统
CN107835397A (zh) * 2017-12-22 2018-03-23 成都华栖云科技有限公司 一种多镜头视频同步的方法
CN108055423A (zh) * 2017-12-22 2018-05-18 成都华栖云科技有限公司 一种多镜头视频同步偏移量计算方法
US20200089313A1 (en) * 2018-09-14 2020-03-19 Apple Inc. Tracking and drift correction
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN112040092A (zh) * 2020-09-08 2020-12-04 杭州时光坐标影视传媒股份有限公司 一种实时虚拟场景led拍摄系统及方法

Also Published As

Publication number Publication date
CN114461165B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
EP3151548A1 (en) Video recording method and device
CN113115110B (zh) 视频合成方法、装置、存储介质与电子设备
CN110866978A (zh) 一种实时混合现实视频拍摄中的相机同步方法
CN105120247A (zh) 一种白平衡调整方法及电子设备
CN111683260A (zh) 基于虚拟主播的节目视频生成方法、系统和存储介质
CN111710049A (zh) Ar场景中的环境光照确定方法和装置
CN105959562A (zh) 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN108632538B (zh) 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
CN116320364B (zh) 一种基于多层显示的虚拟现实拍摄方法及显示方法
US20130058618A1 (en) Imaging device and imaging method
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
CN114461165B (zh) 虚实相机画面同步方法、装置及存储介质
CN116781958A (zh) 一种基于xr的多机位演播系统及方法
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN115914718A (zh) 截取引擎渲染内容的虚拟制片视频重映方法及系统
CN112929694B (zh) 视频拼接方法、装置、存储介质、计算机设备
US10536685B2 (en) Method and apparatus for generating lens-related metadata
CN114466145A (zh) 视频处理方法、装置、设备和存储介质
CN114205650A (zh) 一种三维全景视频画面同步方法及装置
CN114785999B (zh) 一种实时虚拟拍摄同步控制方法及系统
EP3496039A1 (en) Method, device and system for estimating a pose of a camera
CN115334235B (zh) 视频处理方法、装置、终端设备和存储介质
US20240214521A1 (en) Video processing method and apparatus, computer, and readable storage medium
US20240096035A1 (en) Latency reduction for immersive content production systems
CN115209126B (zh) 一种子弹时间立体图像采集系统及同步控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant