CN114827382A - 图像同步显示的方法、装置、系统及电子设备 - Google Patents

图像同步显示的方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN114827382A
CN114827382A CN202210435600.5A CN202210435600A CN114827382A CN 114827382 A CN114827382 A CN 114827382A CN 202210435600 A CN202210435600 A CN 202210435600A CN 114827382 A CN114827382 A CN 114827382A
Authority
CN
China
Prior art keywords
target
image
acquisition equipment
time
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210435600.5A
Other languages
English (en)
Inventor
张强强
韦桂锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Novastar Electronic Technology Co Ltd
Original Assignee
Xian Novastar Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Novastar Electronic Technology Co Ltd filed Critical Xian Novastar Electronic Technology Co Ltd
Priority to CN202210435600.5A priority Critical patent/CN114827382A/zh
Publication of CN114827382A publication Critical patent/CN114827382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像同步显示的方法、装置、系统及电子设备。其中,该方法包括:获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;至少依据第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;在图像采集设备移动至目标位置时,控制多个显示屏中的目标显示屏显示目标图像,其中,图像采集设备在目标时刻采集目标图像,多个显示屏用于显示图像采集设备在拍摄过程中的背景画面。本申请解决了现有技术中使用相机移动拍摄物体时,整个过程总体延迟较大,导致相机无法及时同步拍摄对应位置的画面的技术问题。

Description

图像同步显示的方法、装置、系统及电子设备
技术领域
本申请涉及图像处理领域,具体而言,涉及一种图像同步显示的方法、装置、系统及电子设备。
背景技术
由于近几年疫情影响,一些拍摄无法去户外取景,同时多地奔波,使物流,人力,时间成本也随之提高,加之背景绿幕拍摄后期制作成本较高。种种原因,衍生出室内拍摄,人物和场景拍摄一次成型,会减少很多后期制作成本。
相机拍摄方式对显示材料要求比较高,显示材料综合比较后,发现LED显示屏具有亮度高、色域广的特点,使其显示画面内容和人眼看到的自然场景基本接近。LED显示屏是由一个个的箱体拼接组成,可以灵活拼接为大型显示屏,最终组成一个完整的显示背景墙,进行360°无死角拍摄。
目前整个系统组成由追踪定位器,渲染引擎,服务器,控制发送卡,接收卡,显示屏组成,考虑渲染引擎,服务器将画面渲染好到输出有7帧时间延迟,控制发送卡,接收卡,显示屏有固定4帧延迟时间,总体延迟比较大,同步显示拍摄问题比较突出。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像同步显示的方法、装置、系统及电子设备,以至少解决现有技术中使用相机移动拍摄物体时,整个过程总体延迟较大,导致相机无法及时同步拍摄对应位置的画面的技术问题。
根据本申请实施例的一个方面,提供了一种图像同步显示的方法,包括:获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;至少依据第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;图像采集设备移动至目标位置时,控制多个显示屏中的目标显示屏显示目标图像,其中,图像采集设备在目标时刻采集目标图像,多个显示屏用于显示所述图像采集设备在拍摄过程中的背景画面。
可选地,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,包括:接收定位器发送的图像采集设备的第一位置、第一速度和第一加速度,其中,定位器用于以预设频率获取图像采集设备的位置、速度和加速度;预设频率至少大于图像采集设备的参数的刷新频率,其中,参数至少包括以下之一:位置、速度和加速度。
可选地,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,包括:确定由多个显示屏构成的目标空间;在目标空间内任取一点作为坐标原点,构建空间坐标系;获取图像采集设备在当前时刻的空间坐标系中的第一位置、第一速度,以及在第一位置下的第一加速度。
可选地,确定所述图像采集设备的目标位置和输出目标图像的目标时刻,包括:确定系统延迟时长,其中,系统延迟时长至少包括目标显示屏显示目标图像所需的延迟时长;依据系统延迟时长、第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻。
可选地,确定图像采集设备的目标位置和输出目标图像的目标时刻,包括:确定输出目标图像之前不同处理所需的时长,其中,不同处理至少包括:渲染、画面分割;依据不同时长确定输出目标图像的目标时刻。
可选地,确定输出目标图像之前不同处理所需的时长,包括:响应于目标对象的停止指令,控制图像采集设备停止移动,并记录图像采集设备停止移动对应的第一时间;响应于目标对象的启动指令,控制图像采集设备再次开始移动,并记录图像采集设备开始移动的第二时间;依据第一时间和第二时间,确定图像采集设备停止移动的总时长;依据总时长,更新输出目标图像之前不同处理所需的时长。
可选地,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度之后,方法还包括:至少将第一位置、第一速度和第一加速度同步至图像采集设备和服务器中。
根据本申请实施例的另一方面,还提供了一种图像同步显示的装置,包括:获取模块,用于获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;确定模块,用于至少依据第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;控制模块,用于图像采集设备移动至目标位置时,控制多个显示屏中的目标显示屏显示目标图像,其中,图像采集设备在目标时刻采集目标图像,多个显示屏用于显示图像采集设备在拍摄过程中的背景画面。
根据本申请实施例的又一方面,还提供了一种图像同步显示的系统,包括:定位器、渲染引擎、服务器、控制器、图像采集设备和多个显示屏,其中,定位器,用于获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;渲染引擎,用于至少依据第一位置和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;对原图像数据进行渲染后得到第一图像;将第一图像发送至服务器;服务器,用于对第一图像进行画面分割后得到目标图像,将目标图像发送至控制器;控制器,用于依据目标图像控制多个显示屏中的目标显示屏,使得目标显示屏显示目标图像;图像采集设备,用于在目标时刻移动至目标位置时,采集多个显示屏中的目标显示屏显示的目标图像;多个显示屏,用于显示目标图像,并显示图像采集设备在拍摄过程中使用的背景画面。
根据本申请实施例的再一方面,还提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的图像同步显示的方法。
根据本申请实施例的再一方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制该非易失性存储介质所在设备执行上述的图像同步显示的方法。
在本申请实施例中,采用在定位器中增加获取加速度的模块,通过获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻,达到了提前预判图像采集设备的位置的目的,从而实现了提前通知服务器和渲染引擎图像对原图像数据进行处理,使显示屏在目标时刻输出目标图像,配合图像采集设备实现采集同步的技术效果,进而解决了现有技术中使用相机移动拍摄物体时,整个过程总体延迟较大,导致相机无法及时同步拍摄对应位置的画面的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1a是根据现有技术的一种图像同步显示的系统结构图;
图1b是根据现有技术的一种相机移动过程中不同位置的拍摄画面示意图;
图1c是根据现有技术的一种相机拍摄显示屏画面的示意图;
图2是根据本申请实施例的一种用于实现图像同步显示的方法的计算机终端(或电子设备)的硬件结构框图;
图3是根据本申请实施例的一种图像同步显示的方法的流程图;
图4是根据本申请实施例的一种图像同步显示的装置结构图;
图5是根据本申请实施例的一种图像同步显示的系统结构图;
图6是根据本申请实施例的一种相机移动过程中不同位置的拍摄画面示意图;
图7是根据本申请实施例的一种图像同步显示的过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1a所示,相关技术通过相机对显示屏进行拍摄时,其使用的系统主要包括以下几部分:相机、追踪定位器、渲染引擎、服务器,控制器和显示屏组成,在相机移动拍摄画面时,追踪定位器实时反馈相机位置和拍摄角度,及时通知渲染引擎,输出显示背景画面,服务器将显示画面分割后,分发给控制器,显示器通过其中的接收卡将背景图显示出来。但是整个环节配合下来,实时显示和及时拍摄时间差比较大,导致拍摄内容中物体和背景图有不同步问题,相差比较大。考虑渲染引擎,服务器将画面渲染好到输出有7帧时间延迟,控制发送卡,接收卡,显示屏有固定4帧延迟时间,总体延迟比较大,同步显示拍摄问题比较突出。
在如1b所示的示意图中,相机从T4时刻位置,快速移动到T0时刻位置,期望每个时刻拍摄的位置,角度能和实际背景画面匹配。但在实际操作的过程中,如图1c所示的示意图,相机移动到T0时刻位置,实际想拍摄显示屏显示画面T0时刻位置的画面A,但是此刻追踪器通知渲染引擎,渲染引擎还在输出T1时刻位置画面,服务器输出T2时刻位置画面,控制器输出T3时刻位置画面,显示屏显示T4时刻位置画面,无法做到及时同步拍摄对应位置的画面。
为了解决上述问题,本申请实施例提供了一种图像同步显示的方法,采用在追踪定位器中增加获取加速度的模块,通过获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻,达到了提前预判图像采集设备的位置的目的,从而实现了提前通知服务器和渲染引擎图像对原图像数据进行处理,使显示屏在目标时刻输出目标图像,配合图像采集设备实现采集同步的技术效果。
本申请实施例所提供的图像同步显示的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图2示出了一种用于实现图像同步显示的方法的计算机终端(或电子设备)的硬件结构框图。如图2所示,计算机终端20(或电子设备20)可以包括一个或多个(图中采用202a、202b,……,202n来示出)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器204、以及用于通信功能的传输模块206。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图2所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端20还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。
应当注意到的是上述一个或多个处理器202和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端20(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器204可用于存储应用软件的软件程序以及模块,如本申请实施例中的图像同步显示的方法对应的程序指令/数据存储装置,处理器202通过运行存储在存储器204内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像同步显示的方法。存储器204可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器204可进一步包括相对于处理器202远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端20的通信供应商提供的无线网络。在一个实例中,传输装置206包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置206可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端20(或电子设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图2所示的计算机设备(或电子设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图2仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或电子设备)中的部件的类型。
在上述运行环境下,本申请实施例提供了如图3所示的图像同步显示的方法。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图3是根据本申请实施例的一种图像同步显示的方法的流程图,如图3所示,该方法包括如下步骤:
步骤S302,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;在本申请实施例中,图像采集设备可以是照相机、摄像机等设备,当前时刻为图像采集设备在第一位置时的时刻。
步骤S304,至少依据第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;
在上述步骤S302至步骤S304中,第一位置、第一速度和第一加速度可由图4中的追踪定位器获取,追踪定位器通过实时反馈相机的位置、拍摄角度和相机加速度和速度,预判下一时刻相机所在的位置,即确定了相机的目标位置。如可对加速度进行积分得到速度,再对速度积分得到位置。
需要说明的是,本申请实施例中的目标时刻可以是当前时刻的下一时刻,也可以是当前时刻之后的任意时刻。当根据相机在当前时刻的位置、速度和加速度,确定相机在当前时刻的下一时刻的位置时,其计算结果的准确度比确定当前时刻之后的任意时刻的位置要准确,因为在当前时刻至当前时刻之后的任意时刻这一过程中,相机的加速度可能发生变化,如加速、减速或停止等,在这种情况下,通过当前时刻的位置、速度和加速度,预判当前时刻之后的任意时刻的位置可能与实际存在一定的偏差。
步骤S306,在图像采集设备移动至目标位置时,控制多个显示屏中的目标显示屏同步显示目标图像,其中,图像采集设备在目标时刻采集目标图像,多个显示屏用于显示图像采集设备在拍摄过程中的背景画面。
在上述步骤S306中,由于相机(即图像采集设备)是处于不断移动的状态,追踪定位器在预判出相机在目标时刻的目标位置后,需要根据系统延迟时长,在本申请实施例中,系统延迟时长可以为4帧,即显示屏固有的延迟时长,从而做到提前通知渲染引擎对原图像数据进行渲染,以确保渲染后的图像经过服务器的画面分割处理后,可以在目标时刻显示到显示屏中。这样,当相机在目标时刻移动到目标位置时,可以同步采集到显示屏显示的目标图像。
通过上述步骤,采用在定位器中增加获取加速度的模块,通过获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻,达到了提前预判图像采集设备的位置的目的,从而实现了提前通知服务器和渲染引擎图像对原图像数据进行处理,使显示屏在目标时刻输出目标图像,配合图像采集设备实现采集同步的技术效果,进而解决了现有技术中使用相机移动拍摄物体时,整个过程总体延迟较大,导致相机无法及时同步拍摄对应位置的画面的技术问题。
在上述图像同步显示的方法中的步骤S302中,渲染引擎接收追踪定位器发送的图像采集设备的第一位置、第一速度和第一加速度,其中,追踪定位器用于以预设频率获取图像采集设备的位置、速度和加速度。在本申请实施例中,预设频率至少大于图像采集设备的参数刷新频率,其中,参数至少包括以下之一:位置、速度和加速度。例如,当图像采集设备的参数刷新频率为每秒钟刷新60次的情况下,则追踪定位器的定位频率可以为每秒定位80次,这样才能保证图像采集设备每次刷新的参数都能被追踪定位器获取到,从而在渲染引擎对获取到追踪定位器采集到的图像采集设备的位置、速度和加速度进行建模计算和预判时,减少预判图像采集设备的目标位置以及输出目标图像的目标时刻时的误差,从而使图像采集设备在目标时刻及时准确的采集到目标图像。
在上述图像同步显示的方法中的步骤S302中,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,具体通过以下过程实现:确定由多个显示屏构成的目标空间,在确定目标空间后,相机可在该目标空间内移动;在目标空间内任取一点作为坐标原点,构建空间坐标系,在本申请实施例中,该空间坐标系为绝对空间坐标系,在构建完成后,该空间坐标系的坐标原点,以及该空间坐标系对应的坐标轴均不再发生变化;由追踪定位器实时获取图像采集设备在当前时刻的空间坐标系中的第一位置、第一速度,以及在第一位置下的第一加速度,追踪定位器还用于获取图像采集设备在空间坐标系中的角度信息,该角度信息用于计算显示屏显示图像时所需的补偿参数。
在上述图像同步显示的方法中的步骤S304中,确定图像采集设备的目标位置和输出目标图像的目标时刻,具体包括如下步骤:由于在图像同步显示的方法的整个流程中,需要对原图像数据进行不同的处理后才能得到最终的目标图像,其中,不同处理至少包括:渲染、画面分割等;而对原图像数据进行渲染、画面分割等处理,到最终在目标显示屏上显示目标图像,不仅存在渲染、画面分割等处理延迟时长,还存在系统延迟时长,其中,系统延迟时长至少包括目标显示屏显示目标图像所需的延迟时长,即显示屏固有的延迟时长,因此,在确定输出目标图像的目标时刻时,需依据系统延迟时长、第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻,即通过相机的位置,移动速度,积分加速度,推算下一阶段的时间。
具体地,确定图像采集设备的目标位置和输出目标图像的目标时刻,还包括如下步骤:确定输出目标图像之前不同处理所需的时长,例如,确定渲染引擎对原图像数据进行渲染所需的时长,确定服务器对渲染后的图像进行画面分割所需的时长,确定控制器将画面分割后图像显示在显示屏上所需的时长等;依据不同时长确定输出目标图像的目标时刻。
具体地,在上述过程中,先由渲染引擎根据追踪定位器获取到的第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;对原图像数据进行渲染处理,得到第一图像,将第一图像在第一时刻发送至服务器;服务器对接收到的第一图像进行画面分割处理后,得到目标图像,并将目标图像在第二时刻发送至控制器;控制器依据接收到的目标图像,在第三时刻发出指令,该指令用于控制多个显示屏中的目标显示屏;由于显示屏存在固定延迟时长,显示屏在目标时刻接收到指令,并在目标时刻显示目标图像。
在上述图像同步显示的方法中,在图像采集设备移动至目标位置之前,图像采集设备可通过人为控制其停止移动或开始移动,在图像采集设备接收到用户的停止指令时,确定输出目标图像之前进行不同处理所需的不同时长,该方法具体还包括如下过程:响应于目标对象的停止指令,控制图像采集设备停止移动,并记录图像采集设备停止移动对应的第一时间;响应于目标对象的启动指令,控制图像采集设备再次开始移动,并记录图像采集设备开始移动的第二时间;依据第一时间和第二时间,确定图像采集设备停止移动的总时长;依据总时长,更新输出目标图像之前进行不同处理所需的不同时长。
具体可通过如下例子进行解释说明,如相机在8时第一次开始移动,追踪定位器获取其在8时的第一位置、第一速度和第一加速度,将第一位置、第一速度和第一加速度通过同步模块传输至渲染引擎、服务器、控制器中,渲染引擎依据系统延迟时长和第一位置、第一速度和第一加速度,提前计算图像采集设备的目标位置和输出经过渲染、画面分割等处理的目标图像的目标时刻,在8时01分时,相机收到了用户的停止指令,即第一时间为8时01分,在8时02分用户第二次启动相机开始移动,则第二时间为8时02分,依据第一时间和第二时间确定图像采集设备停止移动的总时长,通过将第二时间和第一时间作差后可知,本次相机停止移动的总时长为一分钟,将该总时长发送至渲染引擎、服务器和控制器中。由于相机停止移动了一分钟,假设在相机到达渲染引擎原先计算出目标位置时,对应的输出目标图像的目标时刻为8时04分,则需要更新显示屏显示目标图像之前,经过渲染引擎、服务器和控制器的不同处理所需的不同时长,即可以理解为渲染引擎、服务器和控制器对图像进行处理后的输出时刻为,按照原先的输出时间向后推迟一分钟,以使得图像采集设备在第二次启动后移动至目标位置时,即8时04分时采集到显示设备在8时04分显示的目标图像。
当渲染引擎仍以相机在8时的位置、速度和加速度预判相机在目标时刻的目标位置和输出目标图像的目标时刻时,由于用户的干预,输出目标图像的目标时刻发生了变化,且相机在原先目标时刻的目标位置也发生了变化,则需要更新图像采集设备的目标位置,同时需要更新目标图像在显示屏上显示时的目标时刻,以及更新原图像数据经过渲染引擎、服务器和控制器的不同处理后输出的时间,从而实现在图像采集设备移动到目标位置时,同步采集到显示屏显示的目标图像。
在上述图像同步显示的方法中,需通过同步模块将位置、速度和加速度的相关信息同步至图像采集设备、渲染引擎、服务器和控制器中,从而及时准确的确定各个模块发送图像的时间,达到图像采集设备移动至目标位置时,同步采集到显示屏显示的目标图像。需要说明的是,同步模块还用于同步图像采集设备的角度信息,在计算显示屏显示图像时所需的补偿参数时,可依据角度信息进行计算。
图4是根据本申请实施例的一种图像同步显示的装置结构图,如图4所示,该装置包括:
获取模块402,用于获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;
确定模块404,用于至少依据第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;
控制模块406,用于在图像采集设备移动至目标位置时,控制多个显示屏中的目标显示屏同步显示目标图像,使得图像采集设备在目标时刻采集到目标图像,其中,多个显示屏用于提供图像采集设备在拍摄过程中使用的背景画面。
需要说明的是,图4所示的图像同步显示的装置用于执行图3所示的图像同步显示的方法,因此上述图像同步显示的方法中的相关解释说明也适用于该图像同步显示的装置,此处不再赘述。
图5是根据申请实施例的一种图像同步显示的系统结构图,如图5所示,该系统包括:定位器501、渲染引擎502、服务器503、控制器504、图像采集设备505和多个显示屏506,同步模块507,其中:
定位器501,用于获取图像采集设备在当前时刻的第一位置、第一位置和第一加速度;渲染引擎502,用于至少依据第一位置、第一速度和第一加速度,确定图像采集设备的目标位置和输出目标图像的目标时刻;对原图像数据进行渲染后得到第一图像;将第一图像发送至服务器;服务器503,用于对第一图像进行画面分割后得到目标图像,将目标图像发送至控制器;控制器504,用于依据目标图像控制多个显示屏中的目标显示屏,使得目标显示屏显示目标图像;图像采集设备505,用于在目标时刻移动至目标位置时,采集多个显示屏中的目标显示屏显示的目标图像;多个显示屏506,用于显示目标图像,并提供图像采集设备在拍摄过程中使用的背景画面;同步模块507,用于将位置、速度和加速度的相关信息同步至图像采集设备、渲染引擎、服务器和控制器中。
需要说明的是,图5所示的图像同步显示的系统用于执行图3所示的图像同步显示的方法,因此上述图像同步显示的方法中的相关解释说明也适用于该图像同步显示的系统,此处不再赘述。
图6是根据本申请实施例的一种相机移动过程中不同位置的拍摄画面示意图,如图6所示,相机开始从T9时刻位置静止慢慢加速移动到T0时刻位置,通过获取相机的移动方向,位置定位,速度和加速度,可以基本预判每个时刻相机所处的位置。在T9时刻到T8时刻,相机移动比较缓慢,考虑位置和角度由于移动距离比较短,可以默认是同一个位置和角度,拍摄出来的画面效果大致相同。在T9到T8过渡中,及时将加速度、速度和位置信息传给渲染引擎,提前绘制T7时刻对应位置的显示画面,这样,在相机移动到T7位置时,可以同步拍摄到显示器显示的T7时刻对应的画面。T8时刻到T7时刻相机移动有一定位置和距离,加速度更大,及时将加速度、速度和位置嘻嘻传给渲染引擎,使其提前绘制T6时刻对应的位置画面。在T7到T0的每个时刻均按照上述过程进行提前绘制目标位置对应的目标画面,使得相机在目标时刻对应的目标位置采集到目标图像。
图7是根据本申请实施例的一种图像同步显示的过程示意图,如图7所示,相机移动在T4时刻位置时,追踪定位器提前预判T0时刻位置画面A,渲染引擎绘制预判T1时刻位置的画面B,服务器输出预判T2时刻的画面C,控制器输出预判T3时刻画面D,显示屏显示预判T4时刻画面E,刚好相机在T4时刻配置画面E,这样就能保证相机移动对应位置,能同步拍摄对应角度位置画面。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种图像同步显示的方法,其特征在于,包括:
获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;
至少依据所述第一位置、所述第一速度和所述第一加速度,确定所述图像采集设备的目标位置和输出目标图像的目标时刻;
在所述图像采集设备移动至所述目标位置时,控制多个显示屏中的目标显示屏显示所述目标图像,其中,所述图像采集设备在所述目标时刻采集所述目标图像,所述多个显示屏用于显示所述图像采集设备在拍摄过程中的背景画面。
2.根据权利要求1所述的方法,其特征在于,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,包括:
接收定位器发送的所述图像采集设备的所述第一位置、所述第一速度和所述第一加速度,其中,所述定位器用于以预设频率获取所述图像采集设备的位置、速度和加速度;
所述预设频率至少大于所述图像采集设备的参数的刷新频率,其中,所述参数至少包括以下之一:所述位置、所述速度和所述加速度。
3.根据权利要求1所述的方法,其特征在于,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度,包括:
确定由所述多个显示屏构成的目标空间;
在所述目标空间内任取一点作为坐标原点,构建空间坐标系;
获取所述图像采集设备在当前时刻的所述空间坐标系中的所述第一位置、所述第一速度,以及在所述第一位置下的所述第一加速度。
4.根据权利要求1所述的方法,其特征在于,确定所述图像采集设备的目标位置和输出目标图像的目标时刻,包括:
确定系统延迟时长,其中,所述系统延迟时长至少包括所述目标显示屏显示所述目标图像所需的延迟时长;
依据所述系统延迟时长、所述第一位置、所述第一速度和所述第一加速度,确定所述图像采集设备的目标位置和输出目标图像的目标时刻。
5.根据权利要求1所述的方法,其特征在于,确定所述图像采集设备的目标位置和输出目标图像的目标时刻,包括:
确定输出所述目标图像之前不同处理所需的时长,其中,所述不同处理至少包括:渲染、画面分割;
依据所述时长确定输出所述目标图像的目标时刻。
6.根据权利要求5所述的方法,其特征在于,确定输出所述目标图像之前不同处理所需的时长,包括:
响应于目标对象的停止指令,控制所述图像采集设备停止移动,并记录所述图像采集设备停止移动对应的第一时间;
响应于目标对象的启动指令,控制所述图像采集设备再次开始移动,并记录所述图像采集设备开始移动的第二时间;
依据所述第一时间和所述第二时间,确定所述图像采集设备停止移动的总时长;
依据所述总时长,更新输出所述目标图像之前不同处理所需的时长。
7.根据权利要求1所述的方法,其特征在于,获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度之后,所述方法还包括:
至少将所述第一位置、所述第一速度和所述第一加速度同步至所述图像采集设备和服务器中。
8.一种图像同步显示的装置,其特征在于,包括:
获取模块,用于获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;
确定模块,用于至少依据所述第一位置、第一速度和所述第一加速度,确定所述图像采集设备的目标位置和输出目标图像的目标时刻;
控制模块,用于在所述图像采集设备移动至所述目标位置时,控制多个显示屏中的目标显示屏显示所述目标图像,其中,所述图像采集设备在所述目标时刻采集所述目标图像,所述多个显示屏用于显示所述图像采集设备在拍摄过程中的背景画面。
9.一种图像同步显示的系统,其特征在于,包括:定位器、渲染引擎、服务器、控制器、图像采集设备和多个显示屏,其中,
所述定位器,用于获取图像采集设备在当前时刻的第一位置、第一速度和第一加速度;
所述渲染引擎,用于至少依据所述第一位置、所述第一速度和所述第一加速度,确定所述图像采集设备的目标位置和输出目标图像的目标时刻;对原图像数据进行渲染后得到第一图像;将所述第一图像发送至所述服务器;
所述服务器,用于对所述第一图像进行画面分割后得到所述目标图像,将所述目标图像发送至所述控制器;
所述控制器,用于依据所述目标图像控制多个显示屏中的目标显示屏,使得所述目标显示屏显示所述目标图像;
所述图像采集设备,用于在所述目标时刻移动至所述目标位置时,采集所述多个显示屏中的目标显示屏显示的所述目标图像;
所述多个显示屏,用于显示所述目标图像,并显示所述图像采集设备在拍摄过程中的背景画面。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任意一项所述的图像同步显示的方法。
11.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1-7中任意一项所述的图像同步显示的方法。
CN202210435600.5A 2022-04-24 2022-04-24 图像同步显示的方法、装置、系统及电子设备 Pending CN114827382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210435600.5A CN114827382A (zh) 2022-04-24 2022-04-24 图像同步显示的方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210435600.5A CN114827382A (zh) 2022-04-24 2022-04-24 图像同步显示的方法、装置、系统及电子设备

Publications (1)

Publication Number Publication Date
CN114827382A true CN114827382A (zh) 2022-07-29

Family

ID=82507671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210435600.5A Pending CN114827382A (zh) 2022-04-24 2022-04-24 图像同步显示的方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114827382A (zh)

Similar Documents

Publication Publication Date Title
EP3166079A1 (en) Augmented reality method and system based on wearable device
CN109445103B (zh) 显示画面的更新方法及装置、储存介质、电子装置
US20180359407A1 (en) System and method for bullet-time photography
US10015460B2 (en) Control and display system with synchronous direct view video array and incident key lighting
CN113923360A (zh) 摄像装置、摄像方法、显示装置和显示方法
CN110610546A (zh) 视频画面显示方法、装置、终端及存储介质
CN113115110A (zh) 视频合成方法、装置、存储介质与电子设备
CN108765084B (zh) 一种虚拟三维空间的同步处理方法及装置
JP2023538671A (ja) Ledタイルディスプレイの撮像画像におけるアーチファクトの除去
CN114125301A (zh) 一种虚拟现实技术拍摄延迟处理方法及装置
CN109360277B (zh) 虚拟仿真显示控制方法和装置,存储介质及电子装置
CN108632538B (zh) 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
KR101680367B1 (ko) 시뮬레이터 카메라와 가상카메라 동기화에 의한 cg적용 영상제작시스템
CN104601945A (zh) 连续显示画面局部的方法
CN112019921A (zh) 应用于虚拟演播室的肢体动作数据处理方法
CN114827382A (zh) 图像同步显示的方法、装置、系统及电子设备
CN112004023A (zh) 拍摄方法、多摄像头模组以及存储介质
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN115334235B (zh) 视频处理方法、装置、终端设备和存储介质
CN112770018A (zh) 一种3d动画立体显示方法、装置及计算机可读存储介质
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN114785999B (zh) 一种实时虚拟拍摄同步控制方法及系统
CN112019922A (zh) 应用于虚拟演播室的面部表情数据处理方法
CN115334322B (zh) 视频帧同步方法、终端、服务器、电子设备及存储介质
CN111641779B (zh) 一种拍摄控制方法、系统及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination