CN114095621B - 4d照扫音频同步方法、装置及存储介质 - Google Patents

4d照扫音频同步方法、装置及存储介质 Download PDF

Info

Publication number
CN114095621B
CN114095621B CN202111367688.3A CN202111367688A CN114095621B CN 114095621 B CN114095621 B CN 114095621B CN 202111367688 A CN202111367688 A CN 202111367688A CN 114095621 B CN114095621 B CN 114095621B
Authority
CN
China
Prior art keywords
audio
recording instruction
recording
video
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111367688.3A
Other languages
English (en)
Other versions
CN114095621A (zh
Inventor
申左峰
李炼
王伟东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Versatile Media Co ltd
Original Assignee
Zhejiang Versatile Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Versatile Media Co ltd filed Critical Zhejiang Versatile Media Co ltd
Priority to CN202111367688.3A priority Critical patent/CN114095621B/zh
Publication of CN114095621A publication Critical patent/CN114095621A/zh
Application granted granted Critical
Publication of CN114095621B publication Critical patent/CN114095621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供了一种4D照扫音频同步方法、装置及存储介质，涉及虚拟制片的技术领域，通过在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制，再根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫，从而消除操作者发送第一录制指令到正式进行4D照扫拍摄的时间差达到音画同步的效果。

Description

4D照扫音频同步方法、装置及存储介质
技术领域
本发明涉及虚拟制片的技术领域，特别涉及一种4D照扫音频同步方法、装置及存储介质。
背景技术
近年来，得益于相机硬件的提升，以及建模和跟踪软件的普及，4D照扫被广泛应用于影视制片领域，4D照扫中的每一帧都是一个完整的3D模型。因为4D照扫仅仅是根据拍摄的照片进行人体或物体建模的过程，如果要进行后期的虚拟制片，在进行4D照描的过程中，往往还需要对演员同步录制音频。现有技术中，通常采用人工方式进行，即一人操控4D照扫设备进行4D照扫录制，另一人手持录音设备，位于4D照扫设备附近进行音频录制。
但现有录制音频的方法具有以下三方面缺点：
一、在录制过程中，控制4D照扫录制的人通过倒数口号与控制音频录制的人进行同步录制，因此会出现轻微的时间差。录制音频的设备有时也会出现响应时间，导致同步失败，录制音频不完整。
二、在录制过程中，会出现音频没及时开始录制的失误，4D照扫不可以中途暂停，只能等待4D照扫录制结束，4D照扫录制结束后会自动整理生成照扫数据，但因为没有配对音频所以录制数据会作废。此外，演员在表演时也会出现差错，比如表情不到位或者台词记错。所以会产生不需要的作废数据。录制结束后，会因为重复录制产生作废数据等原因，在音画同步过程中，需将音频全部播放，才能确认哪些数据是我们所需的，以及哪段音频对应哪段4D照扫数据，从而增加了确认、整理难度。
三、音画同步过程中，需要人为地根据演员口型来调整音频位置达到音画同步，当演员出现张嘴却并未说话时，就需要根据其他口型来确认音频位置，需要操作者来回反复地核对与调整，增加了音画同步的难度。
发明内容
本发明的目的就是解决背景技术中提到的问题，提出一种4D照扫音频同步方法、装置及存储介质。
为实现上述目的，本发明首先提出了一种4D照扫音频同步方法，包括以下步骤：接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数；根据帧速率、帧数生成第二录制指令；在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制；根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
可选的，通过以下步骤对所述固定时间间隔进行预设：根据4D照扫的照片序列生成视频；获取与所述照片序列对应的音频；通过判断音频、视频录制起始时间来确定固定时间间隔，从而实现自动音画同步。
可选的，所述固定时间间隔为1.4秒。
可选的，所述音频设备为枪型音频设备。
可选的，在根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫后，还包括：将4D照扫数据和音频命名一致并存放在同一文件夹下。
本发明还提出了一种4D照扫音频同步装置，包括：接收模块，被配置为接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数；生成模块，被配置为根据帧速率、帧数生成第二录制指令；发送模块，被配置为在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制；照扫模块，被配置为根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
可选的，所述发送模块还包括：视频生成模块，被配置为根据4D照扫的照片序列生成视频；音频生成模块，被配置为获取与所述照片序列对应的音频；延时模块，被配置为通过判断音频、视频录制起始时间来确定固定时间间隔，从而实现自动音画同步。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的4D照扫音频同步方法。
本发明的有益效果：
本发明实施例的一种4D照扫音频同步方法，通过在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制，再根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫，从而消除操作者发送第一录制指令到正式进行4D照扫拍摄的时间差达到音画同步的效果。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1为本发明实施例一种4D照扫音频同步方法的流程示意图之一；
图2为本发明实施例一种4D照扫音频同步方法的流程示意图之二；
图3为本发明实施例一种4D照扫音频同步装置的结构框图之一；
图4为本发明实施例一种4D照扫音频同步装置的结构框图之二。
具体实施方式
为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
图1示意性示出本发明实施例一种4D照扫音频同步方法的流程示意图。如图1所示，该4D照扫音频同步方法包括步骤S10至步骤S40：
步骤S10，接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数；
步骤S20，根据帧速率、帧数生成第二录制指令；
步骤S30，在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制；
步骤S40，根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
在本发明实施例的一种4D照扫音频同步方法中，通过在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制，再根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫，从而消除操作者发送第一录制指令到正式进行4D照扫拍摄的时间差达到音画同步的效果。
下面，将结合附图及实施例对本发明实施例中的4D照扫音频同步方法的各个步骤进行更详细的说明。
步骤S10，接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数。
在一实施例中，操作者通过对4D照扫设备UI界面进行相应操作来发送第一录制指令，所述第一录制指令用来生成每台相机的时间码。
步骤S20，根据帧速率、帧数生成第二录制指令，其中第二录制指令用来使音频设备触发音频录制。
由于现有可移动音频设备需要额外进行开启操作，暂停时间过长会进入休眠模型需要重新开启，且会受演员服装限制，从而会影响录制效果，当音频设备与嘴距离过近时会出现喷麦或者衣物摩擦杂音较大的问题。在一实施例中，选定新型枪型音频设备，在演员正前方的相机上进行加装，能够更好的控制杂音从而录制更为清晰的音频。
步骤S30，在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制。
从操作者发送第一录制指令，到根据第一录制指令生成每台相机的时间码，再到将时间码传输到相机上来控制相机进行4D照扫拍摄，需要一定的时间差，即操作者发送第一录制指令到正式进行4D照扫拍摄的时间差。本实施例通过在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制，来消除时间差从而达到音画同步的效果。
在一实施例中，通过对录制的多条4D照扫照片序列以及对应数量的音频进行测试，来计算得到具体固定时间间隔。
请参考图2，可通过以下步骤对所述固定时间间隔进行预设：
步骤S31，根据4D照扫的照片序列生成视频；
步骤S32，获取与所述照片序列对应的音频；
步骤S33，根据音频、视频录制起始时间来确定固定时间间隔，从而实现自动音画同步。
步骤S40，根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
4D照扫设备的帧速率为60帧每秒进行4D照扫时，每秒需要拍摄60次，形成60张照片。因为控制量过于庞大，故系统不能实时控制所有相机的每一次拍摄。在一实施例中，在接收用户发送的第一录制指令后，控制相机的代码函数会根据输入的帧速率与帧数，计算出每台相机的时间码，再将时间码通过与相机关联的网线设置给每台相机，相机接收后就统一开始拍摄。
在一实施例中，在根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫后，还包括：将通过第一录制指令生成的4D照扫数据和通过第二录制指令生成的音频数据命名一致并存放在同一文件夹下，其中每一个文件夹下相匹配的4D照扫数据与音频数据是一次录制所产生的，从而在后期整理制作时，更方便查找与使用，大大减少对应时间。
综上所述，本发明实施例一种4D照扫音频同步方法，接收第一录制指令并根据第一录制指令来生成第二录制指令，解决了现有技术中控制4D照扫录制的人与控制音频录制的人通过倒数口号进行录制的操作中会出现轻微时间差的问题，通过将4D照扫数据与通过第二录制指令生成的音频数据进行整理，降低了相关数据的确认、整理难度，通过事先根据音频、视频录制起始时间对固定时间间隔进行预设，解决了需要人为根据演员口型来调整音频位置达到音画同步的相关技术问题，降低了音画同步的难度。
基于上述一种4D照扫音频同步方法，本发明实施例还提供了一种4D照扫音频同步装置，如图3所示，该装置包括以下模块：
接收模块100，被配置为接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数；
生成模块200，被配置为根据帧速率、帧数生成第二录制指令；
发送模块300，被配置为在接收第一录制指令的固定时间间隔向音频设备发送第二录制指令来触发音频录制；
照扫模块400，被配置为根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
如图4所示，在一实施例中，发送模块300还包括：
视频生成模块310，被配置为根据4D照扫的照片序列生成视频；
音频生成模块320，被配置为获取与所述照片序列对应的音频；
延时模块330，被配置为根据音频、视频录制起始时间来确定固定时间间隔，从而实现自动音画同步。
综上所述，本发明实施例的一种4D照扫音频同步装置，该装置可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该4D照扫音频同步装置的各个程序模块，比如，图3所示的接收模块100、生成模块200、发送模块300、照扫模块400。各个程序模块构成的程序使得处理器执行本说明书中描述的本申请各个实施例的一种4D照扫音频同步方法中的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请各个实施例的一种4D照扫音频同步方法中的步骤。
上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种4D照扫音频同步方法，其特征在于，包括以下步骤：
接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数；
根据帧速率、帧数生成第二录制指令；
在接收第一录制指令之后，以固定时间间隔向音频设备发送第二录制指令来触发音频录制；
根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
2.根据权利要求1所述的4D照扫音频同步方法，其特征在于，通过以下步骤对所述固定时间间隔进行预设：
根据4D照扫的照片序列生成视频；
获取与所述照片序列对应的音频；
根据音频、视频录制起始时间来确定固定时间间隔，从而实现自动音画同步。
3.根据权利要求1所述的4D照扫音频同步方法，其特征在于，所述固定时间间隔为1.4秒。
4.根据权利要求1所述的4D照扫音频同步方法，其特征在于，所述音频设备为枪型音频设备。
5.根据权利要求1所述的4D照扫音频同步方法，其特征在于，在根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫后，还包括：将4D照扫数据和音频命名一致并存放在同一文件夹下。
6.一种4D照扫音频同步装置，其特征在于，包括：
接收模块，被配置为接收第一录制指令，所述第一录制指令包括输入的帧速率、帧数；
生成模块，被配置为根据帧速率、帧数生成第二录制指令；
发送模块，被配置为在接收第一录制指令之后，以固定时间间隔向音频设备发送第二录制指令来触发音频录制；
照扫模块，被配置为根据所述第一录制指令生成的时间码来控制相机同步进行4D照扫。
7.根据权利要求6所述的4D照扫音频同步装置，其特征在于，所述发送模块还包括：
视频生成模块，被配置为根据4D照扫的照片序列生成视频；
音频生成模块，被配置为获取与所述照片序列对应的音频；
延时模块，被配置为根据音频、视频录制起始时间来确定固定时间间隔，从而实现自动音画同步。
8.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1～5任一项所述的4D照扫音频同步方法。
CN202111367688.3A 2021-11-18 2021-11-18 4d照扫音频同步方法、装置及存储介质 Active CN114095621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111367688.3A CN114095621B (zh) 2021-11-18 2021-11-18 4d照扫音频同步方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111367688.3A CN114095621B (zh) 2021-11-18 2021-11-18 4d照扫音频同步方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114095621A CN114095621A (zh) 2022-02-25
CN114095621B true CN114095621B (zh) 2023-07-25

Family

ID=80301563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111367688.3A Active CN114095621B (zh) 2021-11-18 2021-11-18 4d照扫音频同步方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114095621B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747407A (zh) * 2013-12-27 2014-04-23 深圳英飞拓科技股份有限公司 一种基于fft扫频的音频模块自动化测试方法
CN106412662A (zh) * 2016-09-20 2017-02-15 腾讯科技（深圳）有限公司 时间戳分配方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008258781A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 撮影装置、通信端末装置及びデータ合成方法
JP6112852B2 (ja) * 2012-12-19 2017-04-12 キヤノン株式会社 記録装置、記録方法およびプログラム
CN103780949B (zh) * 2014-01-28 2016-11-16 佛山络威网络技术有限公司 一种多媒体数据录制方法
CN110225279B (zh) * 2019-07-15 2022-08-16 北京小糖科技有限责任公司 一种移动终端的视频制作系统和视频制作方法
JP7365212B2 (ja) * 2019-12-03 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 動画再生装置、動画再生システム、および動画再生方法
CN113132769A (zh) * 2020-01-15 2021-07-16 海信视像科技股份有限公司 显示设备及音画同步方法
CN111669636B (zh) * 2020-06-19 2022-02-25 海信视像科技股份有限公司 一种音画同步的视频录制方法及显示设备
CN113572954B (zh) * 2021-06-15 2022-10-04 荣耀终端有限公司 一种视频录制方法、电子设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747407A (zh) * 2013-12-27 2014-04-23 深圳英飞拓科技股份有限公司 一种基于fft扫频的音频模块自动化测试方法
CN106412662A (zh) * 2016-09-20 2017-02-15 腾讯科技（深圳）有限公司 时间戳分配方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于数字视频的水印技术解决音视频同步的探讨";杨光明;《电视字幕（特技与动画）》;全文 *

Also Published As

Publication number Publication date
CN114095621A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
EP3217643B1 (en) Photographing device, photographing system and photographing method
WO2017096857A1 (zh) 相机拍摄参数调整方法及装置
US20130155255A1 (en) Electronic device and method for controlling camera of the electronic device according to gestures
WO2022062896A1 (zh) 直播互动方法及装置
CN104704808B (zh) 摄像显示系统、摄像装置、摄像方法和程序
KR20060109487A (ko) 무선 멀티-레코더 시스템
CN110858873B (zh) 电子设备和拍摄方法
WO2012019517A1 (zh) 用于视频通信的视频处理方法、装置及系统
CN109769087A (zh) 远程合照的拍摄方法、装置及移动终端
CN105933614B (zh) 一种拍照摄像的方法和系统
CN114598786B (zh) 多摄像头的帧同步控制方法及自行走设备
CN114095621B (zh) 4d照扫音频同步方法、装置及存储介质
CN107979754B (zh) 一种基于摄像头应用的测试方法和装置
CN113542896B (zh) 一种自由视角的视频直播方法、设备及介质
CN113453022B (zh) 一种图像显示方法、装置、电视机及存储介质
CN113497894B (zh) 视频拍摄方法、装置、终端及存储介质
US11606480B2 (en) Method and system for automatically synchronizing audio-video inputs in a multi-camera environment
CN108632524B (zh) 一种云台控制方法和云台系统
CN108093166A (zh) 一种显示方法、装置和终端
CN107197147A (zh) 一种全景相机的操作控制方法和装置
WO2017096859A1 (zh) 照片的处理方法及装置
WO2016015539A1 (zh) 物体运动轨迹拍摄方法、终端及系统
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
CN107155062B (zh) 记录声音信息的拍照方法及装置、移动终端
CN114095660A (zh) 图像显示方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant