CN116385710A - 延迟数据计算方法、图像融合方法及电子设备 - Google Patents

延迟数据计算方法、图像融合方法及电子设备 Download PDF

Info

Publication number
CN116385710A
CN116385710A CN202310454627.3A CN202310454627A CN116385710A CN 116385710 A CN116385710 A CN 116385710A CN 202310454627 A CN202310454627 A CN 202310454627A CN 116385710 A CN116385710 A CN 116385710A
Authority
CN
China
Prior art keywords
data
frame
image
target
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310454627.3A
Other languages
English (en)
Inventor
佟欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenli Vision Shenzhen Cultural Technology Co ltd
Original Assignee
Beijing Youku Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youku Technology Co Ltd filed Critical Beijing Youku Technology Co Ltd
Priority to CN202310454627.3A priority Critical patent/CN116385710A/zh
Publication of CN116385710A publication Critical patent/CN116385710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种延迟数据计算方法、图像融合方法及电子设备。延迟数据计算方法包括：获取目标采集图像和连续多帧回传数据；采集图像为对显示有校准标记符的屏幕进行拍摄得到的；回传数据包括动捕数据或焦距数据；对目标采集图像进行标记符检测，得到校准标记符在目标采集图像中的实际位置；计算各帧回传数据对应的候选位置，候选位置为基于各帧回传数据计算得到的校准标记符在目标采集图像中的位置；根据实际位置和候选位置之间的差异，从多帧回传数据中确定目标回传数据，并基于目标回传数据得到延迟数据；延时数据包括动态延迟数据或变焦延迟数据。本申请实施例，实现了延迟数据的自动化校准，并且得到的延迟数据也更为精准。

Description

延迟数据计算方法、图像融合方法及电子设备
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种延迟数据计算方法、图像融合方法、电子设备及计算机存储介质。
背景技术
XR(Extended Reality,扩展现实)虚拟拍摄是通过将经虚拟引擎渲染得到的渲染画面(上屏图像)投屏到LED屏幕上显示，然后演员利用LED屏幕作为背景进行表演，图像采集设备(如相机)同时拍摄演员和LED屏幕，之后，再将拍摄到的相机画面(采集图像)与渲染画面合成，从而将真实演员置身于虚拟场景中，达到在影棚内拍摄外景或科幻背景的效果。
为保证最终合成的图像不出现撕裂等问题，在图像合成过程中，要基于拍摄采集图像时相机的焦距信息、相机的位置信息(动捕数据)对渲染画面进行视角调整，再将调整后得到的图像与相机画面合成。在实际拍摄中，相机画面、动捕数据和焦距数据的回传通常是各自独立的，且均会有不同的设备延迟，因此，存在三种不同的延迟：静态延迟、动态延迟，以及变焦延迟。其中，静态延迟，是指在相机位置和焦距不变的情况下，从引擎渲染画面，到获取到相机回传的相机画面的延迟；动态延迟，是动捕数据与相机画面回传不同步带来的延迟；变焦延迟，是指相机焦距数据与相机画面回传不同步带来的延迟。
相关技术在进行延迟数据计算时，通常是由操作人员自行输入延迟数据，再基于输入的延迟数据从连续回传的多帧候选回传数据(候选渲染画面、候选动捕数据及候选焦距数据)中确定出对应的一帧回传数据作为目标回传数据，进而基于目标回传数据对相机画面进行合成，再通过人眼观察合成图像中是否存在撕裂现象，经过多次上述尝试性地输入，根据合成效果从中筛选出最终的延迟数据。上述方式主要依靠人工多次输入并进行尝试性筛选，无法实现延迟数据的自动计算；另外，筛选过程主要靠人眼判断合成效果，因此，最终得到的延迟数据可能不够精准。
发明内容
有鉴于此，本申请实施例提供一种延迟数据计算方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种延迟数据计算方法，包括：
获取目标采集图像和连续多帧回传数据；所述目标采集图像为从与所述回传数据同步回传的连续多帧采集图像中确定出的图像；所述采集图像为对显示有校准标记符的屏幕进行拍摄得到的；所述回传数据包括动捕数据或焦距数据；
对所述目标采集图像进行标记符检测，得到所述校准标记符在所述目标采集图像中的实际位置；
计算各帧回传数据对应的候选位置，所述候选位置为基于各帧回传数据计算得到的所述校准标记符在所述目标采集图像中的位置；
根据所述实际位置和所述候选位置之间的差异，从多帧回传数据中确定目标回传数据，并基于所述目标回传数据得到延迟数据；所述延时数据包括动态延迟数据或变焦延迟数据。
根据本申请实施例的第二方面，提供了一种图像融合方法，包括：
接收待融合采集图像；
接收回传的连续多帧引擎渲染图像；基于所述待融合采集图像的接收时间信息和静态延迟数据，从所述连续多帧引擎渲染图像中确定待融合渲染图像；
接收回传的连续多帧动捕数据；基于所述待融合采集图像的接收时间信息和动态延迟数据，从所述连续多帧动捕数据中确定目标动捕数据；
接收回传的连续多帧焦距数据；基于所述待融合采集图像的接收时间信息和变焦延迟数据，从所述连续多帧动捕数据中确定目标焦距数据；
基于所述目标动捕数据和所述目标焦距数据，对所述待融合渲染图像和所述待融合采集图像进行图像融合，得到融合后图像；
其中，所述动态延迟数据和所述变焦延迟数据采用如上述第一方面所述的方法得到。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述方法对应的操作。
根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
根据本申请实施例提供的延迟数据计算方案，在获取到目标采集图像和连续多帧回传数据之后，检测出了校准标记点在目标采集图像中的实际位置，还基于各帧回传数据计算出了校准标记点在目标采集图像中的候选位置，通过对比实际位置和各候选位置之间的差异，从而确定出与目标采集图像对应的同步回传数据最接近的目标回传数据，进而再基于上述目标回传数据得到延迟数据。本申请实施例，无需人工输入延迟数据，实现了延迟数据的自动化校准；另外，本申请实施例中，是基于检测出的校准标记点的实际位置和计算出的多个候选位置之间的差异从多帧回传数据中确定出目标回传数据，进而得到延迟数据的，而不是进行尝试性筛选得到的，因此，得到的延迟数据也更为精准。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为XR虚拟拍摄过程中图像合成的流程示意图；
图2为根据本申请实施例一的一种延迟数据计算方法的步骤流程图；
图3为组合标记符示意图；
图4为本申请实施例一对应的延迟校准流程示意图；
图5为根据本申请实施例二的一种图像融合方法的步骤流程图；
图6为根据本申请实施例三的一种延迟数据计算装置的结构框图；
图7为根据本申请实施例四的一种图像融合装置的结构框图；
图8为根据本申请实施例五的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
参见图1，图1为XR虚拟拍摄过程中图像合成的流程示意图，在实际拍摄中，相机画面、动捕数据和焦距数据的回传通常是各自独立的，且均会有不同的设备延迟，因此，存在三种不同的延迟：静态延迟、动态延迟，以及变焦延迟。其中，静态延迟，是指在相机位置和焦距不变的情况下，从引擎渲染画面，到获取到相机回传的相机画面的延迟，参见图1，假设渲染时间为T0，接收到相机回传的相机画面时间为T2，则静态延迟为T2-T0；动态延迟，是动捕数据与相机画面回传不同步带来的时间差。参见图1，假设相机拍摄时间为T1，此时的相机位置是L1，接收到相机回传的这一帧相机画面时间为T2，接收到动捕回传的数据L1时间为T3，则T3-T2就是动态延迟；变焦延迟，是指相机焦距数据与相机画面回传不同步带来的时间差。参见图1，假设相机拍摄时间为T1，此时的相机焦距是F1，接收到相机回传的这一帧相机画面时间为T2，接收到焦距数据的时间为T4，则T4-T2就是变焦延迟。
相关技术在进行延迟数据计算时，通常是由操作人员自行输入延迟数据，再基于输入的延迟数据从连续回传的多帧候选回传数据(候选渲染画面、候选动捕数据及候选焦距数据)中确定出对应的一帧回传数据作为目标回传数据，进而基于目标回传数据对相机画面进行合成，再通过人眼观察合成图像中是否存在撕裂现象，经过多次上述尝试性地输入，根据合成效果从中筛选出最终的延迟数据。上述方式主要依靠人工多次输入并进行尝试性筛选，无法实现延迟数据的自动计算；另外，筛选过程主要靠人眼判断合成效果，因此，最终得到的延迟数据可能不够精准。
本申请实施例提供的延迟数据计算方案，在获取到目标采集图像和连续多帧回传数据之后，检测出了校准标记点在目标采集图像中的实际位置，还基于各帧回传数据计算出了校准标记点在目标采集图像中的候选位置，通过对比实际位置和各候选位置之间的差异，从而确定出与目标采集图像对应的同步回传数据最接近的目标回传数据，进而再基于上述目标回传数据得到延迟数据。本申请实施例，无需人工输入延迟数据，实现了延迟数据的自动化校准；另外，本申请实施例中，是基于检测出的校准标记点的实际位置和计算出的多个候选位置之间的差异从多帧回传数据中确定出目标回传数据，进而得到延迟数据的，而不是进行尝试性筛选得到的，因此，得到的延迟数据也更为精准。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
参照图2，图2为根据本申请实施例一的一种延迟数据计算方法的步骤流程图。具体地，本实施例提供的延迟数据计算方法包括以下步骤：
步骤202，获取目标采集图像和连续多帧回传数据。
其中，目标采集图像为从与回传数据同步回传的连续多帧采集图像中确定出的图像；采集图像为对显示有校准标记符的屏幕进行拍摄得到的；回传数据包括动捕数据或焦距数据。
具体地，本申请实施例中的目标采集图像可以为上述连续多帧采集图像中的任意一帧。进一步地，为了避免因回传数据的回传速度慢于采集图像的回传速度而导致的在后续步骤中无法找到匹配的目标回传数据的问题，本申请实施例中，可以将上述多帧采集图像中的第N帧确定为目标采集图像，其中，连续多帧采集图像的总数量为M，M和N为自然数，且N＜M。例如：步骤202中获取到连续10帧回传数据，对应地，也获取到连续10帧采集图像，为了避免因回传数据的回传速度慢于采集图像的回传速度而导致的在后续步骤中无法找到匹配的目标回传数据的问题，则可以将上述连续10帧采集图像中的第N帧(N可以取[1,9]这一范围内的任意自然数)确定为目标采集图像。
动捕追踪数据用于表征固定于采集设备上的动捕追踪器在动捕坐标系下的位置，在进行了空间校准的情况下，获取到动捕数据，即可得到采集设备的位置；焦距数据是指采集设备拍摄采集图像时所采用的焦距；采集图像可以为对在预设的位置上显示有校准标记符的屏幕进行拍摄得到的。
参见图1，在采集图像(相机画面)回传的过程中，动捕数据和焦距数据也同步回传，具体地，可以将图像采集卡、采集设备、屏幕及动捕设备均连接至同一同步信号发生器，以实现采集图像、动捕数据及焦距数据的同频率发送。因此，在获取到连续多帧采集图像的过程中，也会同步获取到连续多帧的动捕数据或焦距数据。
根据静态延迟、动态延迟及变焦延迟的含义可知，上述三种延迟是不同的链路延迟。
因此，在进行延迟校准时，可以独立地对各延迟分别进行校准。具体地：
动态延迟，是动捕数据与相机画面回传不同步带来的延迟。可以在采集设备的焦距固定，但位置不断改变(也即动捕数据连续改变)的情况下，对屏幕进行连续拍摄以得到连续多帧采集图像，进而进行动态延迟的校准。因此，本申请实施例中，在进行动态延迟校准时，回传数据则可以包括动捕数据，也就是说，在进行动态延迟校准时，步骤202的连续多帧回传数据可以包括不断变化的动捕数据(连续多帧动捕数据均不同)，对应地，在拍摄过程中，采集设备的焦距数据固定不变。
而变焦延迟，则是指相机焦距数据与相机画面回传不同步带来的延迟。类似地，可以在采集设备的位置固定，但焦距不断改变的情况下，对屏幕进行连续拍摄以得到连续多帧采集图像，进而进行变焦延迟的校准。因此，本申请实施例中，在进行变焦延迟校准时，回传数据则可以包括焦距数据，也就是说，在进行变焦延迟校准时，步骤202的连续多帧回传数据可以包括不断变化的焦距数据(连续多帧焦距数据均不同)，对应地，在拍摄过程中，动捕数据固定不变。
本申请实施例中，对于校准标记符的具体表现形式不做限定，可以根据实际情况设定任意的符号形状作为校准标记符。
进一步地，考虑到当采集设备位置不断改变时，可能拍摄到的采集图像的清晰度较低，因此，若采用较为复杂的图形作为校准标记符，可能会导致后续校准标记符检测失败或者检测准确度低；另一方面，考虑到在延迟校准的过程中，周围环境可能也会存在一些形状干扰，因此，若采用过于简单的图形作为校准标记符，可能会因为周围环境中存在类似简单形状而干扰校准标记符的检测。基于上述考虑，在本申请其中一些实施例中，可以在屏幕中引入组合标记符。具体地：采集图像可以为对在预设位置显示有组合标记符的屏幕进行拍摄得到的；组合标记符由校准标记符和辅助标记符按照预设位置关系组合而成。例如，参见图3，图3为组合标记符示意图。该组合标记有4个圆圈按照一定的位置关系组合而成，在实际应用中，可以从中指定一个或多个圆圈作为校准标记符，则其余圆圈为辅助标记符。
进一步地，在其中一些实施例中，步骤202可以包括：
响应于检测到预设操作，输出回传数据改变提示信息；
同步接收连续多帧回传数据和连续多帧采集图像；
若接收的连续多帧回传数据沿同一方向变化，且变化速度属于预设范围，则从连续多帧采集图像中选择一帧作为目标采集图像；其中，目标采集图像为连续多帧采集图像中的第N帧，连续多帧采集图像的总数量为M，M和N为自然数，且N＜M。
其中，上述帧序号的设定规则为：接收时间越晚，帧序号的值越大，且，接收到的第一帧采集图像的帧序号为第1帧。
进一步地，回传数据包括动捕数据，回传数据改变提示信息包括：改变采集设备位姿提示信息；或者，回传数据包括焦距数据，回传数据改变提示信息包括：改变焦距提示信息。
具体地，本申请实施例中，对于预设操作的具体内容不做限定，可以根据实际情况设定。例如：预设操作可以为点击鼠标右键、点击显示界面中的“开始”图标，等等。
在进行动态延迟校准时，回传数据包括动捕数据，对应地，输出的回传信息改变提示信息可以为：改变采集设备位姿提示信息。例如：当检测到点击“开始”图标，则在显示界面中输出“请移动相机位置”的提示信息；在进行变焦延迟校准时，回传数据包括焦距数据，对应地，输出的回传信息改变提示信息可以为：改变焦距提示信息。例如：当检测到点击“开始”图标，则在显示界面中输出“请连续变焦”的提示信息。
另外，在接收到连续多帧回传数据之后，可以先判断回传数据是否沿同一方向变化，且变化速度是否在预设范围内，若是，则表明在拍摄过程中，采集设备的位置或者焦距的变化较为平稳，这样，可以避免因变化速度过大而导致的采集图像出现画面模糊的现象，有利于后续步骤中对校准标记符的检测。其中，预设范围可以为实际应用过程中，回传数据的变化速度所处的大致范围。这样，可以使得延迟校准过程中的图像采集条件尽可能地接近实际应用，从而使得最终得到的延迟校准结果更准确。
本申请实施例中的目标采集图像可以为上述连续多帧采集图像中的一帧。进一步地，为了避免因回传数据的回传速度慢于采集图像的回传速度而导致的在后续步骤中无法找到匹配的目标回传数据的问题，本申请实施例中，可以采用缓存机制，设置缓存队列：在缓存了连续多帧采集图像的情况下，并不是将上述多帧采集图像中的最晚一帧确定为目标采集图像，而是将非最晚一帧采集图像(如：倒数第二帧，或者，倒数第三帧，等等)作为目标采集图像，以对其进行后续的回传数据匹配操作。
步骤204，对目标采集图像进行标记符检测，得到校准标记符在目标采集图像中的实际位置。
本步骤中的实际位置即为，通过标记符检测的方式从目标采集图像中检测得到的校准标记符在目标采集图像中的位置，也就是说，本申请实施例中，将对目标采集图像进行标记符检测，得到的校准标记符在目标采集图像中的位置称为实际位置。通常情况下，校准标记符在目标采集图像中的位置，是在目标采集图像对应的图像坐标系下的位置。
本步骤中的实际位置，可以通过如下方式计算得到：将校准标记符作为检测目标，对目标采集图像进行目标检测，得到的校准标记符在目标采集图像中的实际位置。本步骤可以将目标采集图像输入目标检测模型，通过目标检测模型进行校准标记符检测，从而输出校准标记符检测在目标采集图像中的位置信息，也即校准标记符在目标采集图像中的实际位置。
当采集图像为对显示有组合标记符的屏幕进行拍摄得到的图像时，本步骤可以包括：
对目标采集图像进行组合标记符检测，得到组合标记符在目标采集图像中的位置；
基于预设位置关系和组合标记符在目标采集图像中的位置，确定校准标记符在目标采集图像中的实际位置。
具体地，预设位置关系可以为校准标记符在组合标记符中的位置信息。本申请实施例中，可以先将目标采集图像输入目标检测模型，通过目标检测模型输出组合标记符在目标采集图像中的位置；在根据校准标记符在组合标记符中的位置信息，最终确定出校准标记符在目标采集图像中的位置，也即：校准标记符在目标采集图像中的实际位置。
步骤206，计算各帧回传数据对应的候选位置，候选位置为基于各帧回传数据计算得到的校准标记符在目标采集图像中的位置。
具体地，针对每帧回传数据，可以基于采集设备的焦距数据确定出采集设备的内参；进而基于采集设备的内参、动捕数据以及校准标记符在世界坐标系中的位置，通过投影变换，计算得到校准标记符在目标采集图像中的位置，该位置即为回传数据对应的候选位置。
其中，校准标记符在世界坐标系中的位置的获取方式可以为：在空间校准已经完成的情况下，则已知屏幕在世界坐标系中的位置，同时，还已知校准标记符在屏幕中的位置，因此，通过坐标变换则可以得到校准标记符在世界坐标系中的位置。
步骤208，根据实际位置和候选位置之间的差异，从多帧回传数据中确定目标回传数据，并基于目标回传数据得到延迟数据。
其中，具体地，当步骤202中的回传数据包括动捕数据时，本步骤中的延时数据包括动态延迟数据；或者，当步骤202中的回传数据包括焦距数据时，本步骤中的延时数据包括变焦延迟数据。
本申请实例中，可以先计算实际位置和各候选位置之间的差异值，然后将满足预设的差异条件的差异值对应的回传数据确定为目标回传数据；再基于目标回传数据的帧序号与目标采集图像的帧序号之间的差值，得到延迟数据；其中，预设的差异条件可以为：差异值最小、差异值小于预设差异阈值，等等。
进一步地，在确定出目标回传数据之后，若目标回传数据的数量为1个，则可以将该目标回传数据的帧序号，与目标采集图像对应的帧序号之间的差值，确定为延迟数据。例如：确定出的目标回传数据为连续多帧回传数据中的第4帧，而目标采集图像为连续多帧采集图像中的第5帧，则延迟数据为：1帧。
进一步地，在其中一些实施例中，步骤208还可以包括：
计算实际位置和各候选位置之间的差异值；
将最小的两个差异值对应的连续两帧回传数据确定为目标回传数据；
基于目标回传数据，采用插值算法得到插值回传数据，插值回传数据对应的候选位置与实际位置的差异值小于预设差异阈值；
根据差值回传数据得到延迟数据。
具体地，若目标回传数据的数量为两个(连续两帧回传数据)，则可以在上述多个回传数据之间进行插值，得到多个插值回传数据，并将与实际位置差异值最小的插值回传数据的帧序号，与目标采集图像对应的帧序号之间的差值确定为延迟数据。
例如：若目标回传数据为第4帧和第5帧，则可以在第4帧和第5帧之间进行插值，得到多个插值回传数据，假设与实际位置差异值最小的插值回传数据的帧序号为4.5,目标采集图像为连续多帧采集图像中的第5帧，则可以将0.5帧确定为延迟数据，其中，0.5＝5-4.5。
具体地，以计算动态延迟为例：假设校准标记符为图3所示组合标记符中位于屏幕中心位置的圆圈，在步骤204和步骤206分别获取到标记点的实际位置Or1，和各帧动捕数据L(i)对应的候选位置OP1(i)后，可以计算各OP1(i)与Or1之间的差异值，将最小差异值对应的连续两帧回传数据L(n)和L(n+1)确定为目标回传数据，对目标回传数据L(n)和L(n+1)进行插值，确定出使得计算出的候选位置与Or1之间的差异值更小(例如，小于预设差异阈值)的位置点m(1≥m≥0)，该位置点m对应插值回传数据L＝L(n)*m+L(n+1)*(1-m)，该插值回传数据的帧序号为：n+m，若目标采集图像的帧序号为：0，则最终可以得到动态延迟为n+m。其中，在该例子中，i为按照回传时间从晚到早的顺序排序后，各帧动捕数据对应的帧序号，例如：L(i)，i＝0时，表征连续多帧回传数据中回传时间最晚的动捕数据，目标采集图像为连续多帧采集图像中回传时间最晚的采集图像(帧序号为0)。
进一步地，在其中一些实施例中，回传数据为焦距数据，校准标记符的数量为多个；
计算实际位置和各候选位置之间的差异值，包括：
计算同一校准标记符的实际位置和候选位置之间的位置差异值；
计算不同校准标记符间的实际距离和候选距离之间的距离差异值；
融合位置差异值和距离差异值，得到实际位置和候选位置之间的差异值。
其中，位置差异值，表示同一校准标记符的实际位置和候选位置之间的距离。
实际距离为不同校准标记符的实际位置之间的距离；候选距离为不同校准标记符的候选位置之间的距离；距离差异值为不同校准标记符间的实际距离和候选距离之间的差值。
在对位置差异值和距离差异值进行融合时，可以将位置差异值和距离差异值作为自变量，采用预设的函数进行函数运算，并将运算结果作为实际位置和候选位置之间的差异值，其中，在距离差异值不变的情况下，位置差异值越大，运算结果越大；在位置差异值不变的情况下，距离差异值越大，运算结果也越大。本申请实施例，对于预设的函数的具体形式不做限定，可以根据实际情况设定，例如：预设函数可以为：x+y，或者，ax+by，其中，x和y分别表示位置差异值和距离差异值，a和b为大于0且小于1的常数，且，a+b＝1。
具体地，本申请实施例中，当进行动态延迟校准，步骤202中获取到的回传数据为连续多帧动捕数据时，校准标记符的数量可以为一个，也可以为单个。若将校准标记符的数量设置为一个，则后续计算过程较为简单；若将校准标记符的数量设置为多个，则可以获取到更为精准的延迟数据。本申请实施例中，对于校准标记符的具体数量不做限定，可以根据实际情况设定。
当进行变焦延迟校准，步骤202中获取到的回传数据为连续多帧焦距数据时，为防止在连续拍摄过程中，单个校准标记符一直处于画面正中心位置的情况出现，可以将校准标记符的数量设置为多个，例如：2个，或者3个，等等。
当校准标记符的数量为多个时，在进行实际位置和候选位置之间差异值的计算时，可以同时考虑同一校准标记符的实际位置与候选位置之间的位置差异，以及，不同校准标记符之间的实际距离与候选距离之间的距离差异，这样可以使得确定出的目标回传数据对应的候选位置更加接近实际位置，进而可以得到更为精准的延迟数据。
例如：假设校准标记符数量为两个：图3所示组合标记符中位于屏幕中心位置的圆圈和位于上方位置的圆圈，在步骤204和步骤206分别获取到标记点的实际位置Or1、Or2，和各帧焦距数据F(i)对应的候选位置OP1(i)、OP2(i)后，可以计算各OP1(i)与Or1、OP2(i)与Or2之间的差异值，作为位置差异值；计算Or1与Or2间的距离作为实际距离，计算OP1(i)与OP2(i)之间的距离作为候选距离，并计算实际距离与候选距离之间的差值，作为距离差异值；再对上述位置差异值和上述距离差异值进行融合，从而得到实际位置和候选位置之间的差异值；将最小差异值对应的连续两帧回传数据F(n)和F(n+1)确定为目标回传数据，对目标回传数据F(n)和F(n+1)进行插值，确定出使得计算出的上述差异值更小(例如，小于预设差异阈值)的位置点m(1≥m≥0)，该位置点m对应差值回传数据F＝F(n)*m+F(n+1)*(1-m)，最终可以得到变焦延迟为n+m。其中，i为按照回传时间从晚到早的顺序排序后，各帧动捕数据对应的序号，例如：L(i)，i＝1时，表征回传时间最晚的一帧焦距数据。
另外，本申请实施例提供的延迟数据计算方法，还可以包括对静态延迟的校准过程，具体地：
获取目标采集图像的渲染时间；
接收所述目标采集图像并获取所述目标采集图像的接收时间；
基于所述接收时间和所述渲染时间，得到静态延迟数据。
进一步地，为便于校准，可以在屏幕上重复进行一组图像集的渲染操作，该组图像集包含有多个第一预设图像和一个第二预设图像；按照相同的频率进行图像渲染及图像采集，记录第二预设图像的渲染时间，以及，接收到回传的第二预设图像的接收时间；基于上述接收时间和渲染时间，即可得到静态延迟数据。
本申请实施例中，对于第一预设图像和第二预设图像中的具体图像内容不做限定，可以根据实际情况设定。为便于操作，可以将第二预设图像设置为便于检测的图像，例如：将第一预设图像设置为纯黑色图像，将第二预设图像设置为纯白色图像，这样，基于接收到的图像的像素值，即可确定接收到的是第一预设图像还是第二预设图像。
例如：一组图像集中共包含21帧图像，其中20帧纯黑色图像(第一预设图像)和1帧纯白色图像(第二预设图像)，则可以在屏幕中连续投放纯黑色图像和纯白色图像，每投放20帧纯黑色图像之后，接一帧纯白色图像；记录纯白色图像的渲染时间，和接收到回传的纯白色图像的接收时间，从而得到静态延迟数据。
参见图4，图4为本申请实施例一对应的延迟校准流程示意图，以下，将参考图4所示的示意图，对本申请实施例进行说明：
第一步，设备链接Genlock，实现频率同步。具体地，可以将图像采集卡、相机、屏幕及动捕设备均连接至同一同步信号发生器，以实现采集图像、动捕数据及焦距数据的同频率发送。
第二步，相机固定不动，完成静态延迟校准。具体地，可以将相机设置于屏幕前方，进一步地，为保证静态延迟校准的准确度，可以使得采集图像中，屏幕面积占整个画面的面积的一半或以上；以Genlock的输出频率在屏幕上连续渲染纯黑色和纯白色的图像，其中，每渲染20帧黑色图像，则接一帧白色图像；按照Genlock的输出频率进行屏幕画面采集，得到采集图像并回传；当检测到操作人员对显示界面中“开始”图标的点击操作之后，可以开始进行静态延迟的校准操作：记录纯白色图像的渲染时间T0，以及，接收到回传的白色图像的接收时间T2，则静态延迟的结果为：T2-T0。
第三步，转动相机，完成动态延迟校准。具体地，将相机设置于屏幕前方，当检测到操作人员对显示界面中“开始”图标的点击操作之后，可以开始进行动态延迟的校准操作：在显示界面中显示“请移动相机位置”的提示信息，以提示操作人员改变相机的位姿(如：左右移动相机，或者，按照一定的方向旋转相机)；获取连续回传的动捕数据，并从中选择位置变化较为均匀的连续多帧回传数据，同时，从与上述回传数据对应的连续多帧采集图像中确定出目标采集图像(例如：倒数第二个接收到的采集图像)；执行步骤204-步骤208，得到动态延迟数据。
第四步，连续变焦，完成变焦延迟校准。具体地，与第三步类似地，将相机设置于屏幕前方，当检测到操作人员对显示界面中“开始”图标的点击操作之后，可以开始进行变焦延迟的校准操作：在显示界面中显示“请连续变焦”的提示信息，以提示操作人员改变相机的焦距数据；获取连续回传的焦距数据，并从中选择焦距变化较为均匀的连续多帧回传数据，同时，从与上述回传数据对应的连续多帧采集图像中确定出目标采集图像(例如：倒数第二个接收到的采集图像)；执行步骤204-步骤208，得到变焦延迟数据。
本申请实施例中，静态延迟校准、动态延迟校准及变焦延迟校准，是三个独立的校准过程，在上述第一步执行完成之后，可以同时执行上述三种延迟校准操作，也可以根据实际情况设定合适的校准顺序，依次执行校准操作。图4中，仅以先静态延迟校准，再动态延迟校准，最后变焦延迟校准作为示例进行说明，并不构成对本申请实施例校准方案的限制。
本申请实施例提供的延迟数据计算方案，在获取到目标采集图像和连续多帧回传数据之后，检测出了校准标记点在目标采集图像中的实际位置，还基于各帧回传数据计算出了校准标记点在目标采集图像中的候选位置，通过对比实际位置和各候选位置之间的差异，从而确定出与目标采集图像对应的同步回传数据最接近的目标回传数据，进而再基于上述目标回传数据得到延迟数据。本申请实施例，无需人工输入延迟数据，实现了延迟数据的自动化校准；另外，本申请实施例中，是基于检测出的校准标记点的实际位置和计算出的多个候选位置之间的差异从多帧回传数据中确定出目标回传数据，进而得到延迟数据的，而不是进行尝试性筛选得到的，因此，得到的延迟数据也更为精准。
实施例二
参照图5，图5为根据本申请实施例二的一种图像融合方法的步骤流程图。具体地，本实施例提供的图像融合方法包括以下步骤：
步骤502，接收待融合采集图像。
在虚拟拍摄场景中，渲染引擎可以进行背景图像的渲染，得到引擎渲染图像，在将引擎渲染图像渲染至显示屏之后，可以对显示屏进行拍摄从而得到待融合采集图像。
步骤504，接收回传的连续多帧引擎渲染图像；基于待融合采集图像的接收时间信息和静态延迟数据，从连续多帧引擎渲染图像中确定待融合渲染图像。
通常情况下，引擎的渲染过程是连续的，也就是说，可以按照一定的渲染频率进行连续多帧背景图像的渲染，得到连续多帧引擎渲染图像，并将上述连续多帧引擎渲染图像回传至执行图像融合的电子设备。
在接收到回传的连续多帧引擎渲染图像之后，可以基于步骤502中接收待融合采集图像的接收时间信息和静态延迟数据，从回传的上述连续多帧引擎渲染图像中确定与待融合采集图像对应的引擎渲染图像，作为待融合渲染图像。例如：待融合采集图像的接收时间为t＝9s，数据回传频率为1帧/s，则可以推算出待融合采集图像的帧序号为第10帧，若静态延迟数据为3帧，则可以确定待融合渲染图像为第7帧，其中，上述帧序号的设定规则为：接收时间越晚，帧序号的值越大。
步骤506，接收回传的连续多帧动捕数据；基于待融合采集图像的接收时间信息和动态延迟数据，从连续多帧动捕数据缓中确定目标动捕数据。
在接收到回传的连续多帧动捕数据之后，可以基于步骤502中接收待融合采集图像的接收时间信息和动态延迟数据，从回传的上述连续多帧动态延迟数据中确定与待融合采集图像对应的动态延迟数据，作为目标动捕数据。例如：待融合采集图像的接收时间为t＝9s，数据回传频率为1帧/s，则可以推算出待融合采集图像的帧序号为第10帧，若动态延迟数据为2帧，则可以确定目标动捕数据为第8帧，其中，上述帧序号的设定规则为：接收时间越晚，帧序号的值越大。
步骤508，接收回传的连续多帧焦距数据；基于待融合采集图像的接收时间信息和变焦延迟数据，从连续多帧动捕数据中确定目标焦距数据。
在接收到回传的连续多帧焦距数据之后，可以基于步骤502中接收待融合采集图像的接收时间信息和变焦延迟数据，从回传的上述连续多帧变焦延迟数据中确定与待融合采集图像对应的焦距数据，作为目标焦距数据。例如：待融合采集图像的接收时间为t＝9s，数据回传频率为1帧/s，则可以推算出待融合采集图像的帧序号为第10帧，若变焦延迟数据也为1帧，则可以确定目标焦距数据为第9帧，其中，上述帧序号的设定规则为：接收时间越晚，帧序号的值越大。
其中，静态延迟数据、动态延迟数据及变焦延迟数据可以采用如上述实施例一中的方法得到。
步骤510，基于目标动捕数据和目标焦距数据，对待融合渲染图像和待融合采集图像进行图像融合，得到融合后图像。
具体地，上述目标动捕数据即为拍摄待融合采集图像时，采集设备的位置信息，目标焦距数据即为拍摄待融合采集图像时，采集设备的焦距信息。
在获取到目标动捕数据、目标焦距数据，待融合渲染图像以及待融合采集图像之后，可以目标焦距数据和目标动捕数据对待融合渲染图像进行渲染视角调整，再将调整后得到的图像与待融合采集图像进行融合，得到融合后图像。
根据本申请实施例提供的图像融合方案，是基于准确性较高的延迟数据确定目标回传数据的，因此，确定出的目标回传数据更为准确，进而，基于更为准确的回传数据进行图像融合，最终得到的融合后图像的视觉效果也会更好。
实施例三
图6为根据本申请实施例三的一种延迟数据计算装置的结构框图。该装置包括：
获取模块602，用于获取目标采集图像和连续多帧回传数据；目标采集图像为从与回传数据同步回传的连续多帧采集图像中确定出的图像；采集图像为对显示有校准标记符的屏幕进行拍摄得到的；回传数据包括动捕数据或焦距数据；
实际位置得到模块604，用于对目标采集图像进行标记符检测，得到校准标记符在目标采集图像中的实际位置；
候选位置计算模块606，用于计算各帧回传数据对应的候选位置，候选位置为基于各帧回传数据计算得到的校准标记符在目标采集图像中的位置；
延迟数据得到模块608，用于根据实际位置和候选位置之间的差异，从多帧回传数据中确定目标回传数据，并基于目标回传数据得到延迟数据；延时数据包括动态延迟数据或变焦延迟数据。
可选地，在其中一些实施例中，延迟数据得到模块608，具体用于：
计算实际位置和各候选位置之间的差异值；
将最小的两个差异值对应的连续两帧回传数据确定为目标回传数据；
基于目标回传数据，采用插值算法得到插值回传数据，插值回传数据对应的候选位置与实际位置的差异值小于预设差异阈值；
根据差值回传数据得到延迟数据。
可选地，在其中一些实施例中，回传数据为焦距数据，校准标记符的数量为多个；延迟数据得到模块608在执行计算实际位置和各候选位置之间的差异值的步骤时，具体用于：
计算同一校准标记符的实际位置和候选位置之间的位置差异值；
计算不同校准标记符间的实际距离和候选距离之间的距离差异值；所述实际距离为不同校准标记符的实际位置之间的距离；所述候选距离为不同校准标记符的候选位置之间的距离；
融合位置差异值和距离差异值，得到实际位置和候选位置之间的差异值。
可选地，在其中一些实施例中，采集图像为对显示有组合标记符的屏幕进行拍摄得到的；组合标记符由校准标记符和辅助标记符按照预设位置关系组合而成；
实际位置得到模块604，具体用于：
对目标采集图像进行组合标记符检测，得到组合标记符在目标采集图像中的位置；
基于预设位置关系和组合标记符在目标采集图像中的位置，确定校准标记符在目标采集图像中的实际位置。
可选地，在其中一些实施例中，获取模块602，具体用于
响应于检测到预设操作，输出回传数据改变提示信息；
同步接收连续多帧回传数据和连续多帧采集图像；
若接收的连续多帧回传数据沿同一方向变化，且变化速度属于预设范围，则从连续多帧采集图像中选择一帧作为目标采集图像；其中，目标采集图像为连续多帧采集图像中的第N帧，连续多帧采集图像的总数量为M，M和N为自然数，且N＜M。
可选地，在其中一些实施例中，回传数据包括动捕数据，回传数据改变提示信息包括：改变采集设备位姿提示信息；
或者，
回传数据包括焦距数据，回传数据改变提示信息包括：改变焦距提示信息。
本实施例的延迟校准装置用于实现前述延迟校准方法实施例中相应的延迟校准方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的延迟校准装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例四
图7为根据本申请实施例四的一种图像融合装置的结构框图。该装置包括：
第一接收模块702，用于接收待融合采集图像；
第二接收模块704，用于接收回传的连续多帧引擎渲染图像；基于所述待融合采集图像的接收时间信息和静态延迟数据，从所述连续多帧引擎渲染图像中确定待融合渲染图像；
第三接收模块706，用于接收回传的连续多帧动捕数据；基于所述待融合采集图像的接收时间信息和动态延迟数据，从所述连续多帧动捕数据中确定目标动捕数据；
第四接收模块708，用于接收回传的连续多帧焦距数据；基于所述待融合采集图像的接收时间信息和变焦延迟数据，从所述连续多帧动捕数据中确定目标焦距数据；
融合模块710，用于基于目标动捕数据和目标焦距数据，对待融合渲染图像和待融合采集图像进行图像融合，得到融合后图像；
其中，动态延迟数据和变焦延迟数据采用如上述实施例一的方法得到。
本实施例的图像融合装置用于实现前述图像融合方法实施例中相应的图像融合方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的图像融合装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例五
参照图8，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图8所示，该控制终端可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：
处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。
通信接口804，用于与其它电子设备或服务器进行通信。
处理器802，用于执行程序810，具体可以执行上述延迟数据计算方法或图像融合方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
处理器802可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序810可包括多条计算机指令，程序810具体可以通过多条计算机指令使得处理器802执行前述多个方法实施例中所描述的方法对应的操作。
程序810中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种延迟数据计算方法，包括：
获取目标采集图像和连续多帧回传数据；所述目标采集图像为从与所述回传数据同步回传的连续多帧采集图像中确定出的图像；所述采集图像为对显示有校准标记符的屏幕进行拍摄得到的；所述回传数据包括动捕数据或焦距数据；
对所述目标采集图像进行标记符检测，得到所述校准标记符在所述目标采集图像中的实际位置；
计算各帧回传数据对应的候选位置，所述候选位置为基于各帧回传数据计算得到的所述校准标记符在所述目标采集图像中的位置；
根据所述实际位置和所述候选位置之间的差异，从多帧回传数据中确定目标回传数据，并基于所述目标回传数据得到延迟数据；所述延时数据包括动态延迟数据或变焦延迟数据。
2.根据权利要求1所述的方法，其中，所述根据所述实际位置和所述候选位置之间的差异，从多帧回传数据中确定目标回传数据，并基于所述目标回传数据得到延迟数据，包括：
计算所述实际位置和各候选位置之间的差异值；
将最小的两个差异值对应的连续两帧回传数据确定为目标回传数据；
基于所述目标回传数据，采用插值算法得到插值回传数据，所述插值回传数据对应的候选位置与所述实际位置的差异值小于预设差异阈值；
根据所述差值回传数据得到延迟数据。
3.根据权利要求2所述的方法，其中，所述回传数据为焦距数据，所述校准标记符的数量为多个；
所述计算所述实际位置和各候选位置之间的差异值，包括：
计算同一校准标记符的实际位置和候选位置之间的位置差异值；
计算不同校准标记符间的实际距离和候选距离之间的距离差异值；所述实际距离为不同校准标记符的实际位置之间的距离；所述候选距离为不同校准标记符的候选位置之间的距离；
融合所述位置差异值和所述距离差异值，得到所述实际位置和候选位置之间的差异值。
4.根据权利要求1所述的方法，其中，所述采集图像为对显示有组合标记符的屏幕进行拍摄得到的；所述组合标记符由校准标记符和辅助标记符按照预设位置关系组合而成；
所述对所述目标采集图像进行标记符检测，得到所述校准标记符在所述目标采集图像中的实际位置，包括：
对所述目标采集图像进行组合标记符检测，得到所述组合标记符在所述目标采集图像中的位置；
基于所述预设位置关系和所述组合标记符在所述目标采集图像中的位置，确定所述校准标记符在所述目标采集图像中的实际位置。
5.根据权利要求1所述的方法，其中，所述获取目标采集图像和连续多帧回传数据，包括：
响应于检测到预设操作，输出回传数据改变提示信息；
同步接收连续多帧回传数据和连续多帧采集图像；
若接收的所述连续多帧回传数据沿同一方向变化，且变化速度属于预设范围，则从所述连续多帧采集图像中选择一帧作为目标采集图像；其中，所述目标采集图像为所述连续多帧采集图像中的第N帧，所述连续多帧采集图像的总数量为M，M和N为自然数，且N＜M。
6.根据权利要求5所述的方法，其中，所述回传数据包括动捕数据，所述回传数据改变提示信息包括：改变采集设备位姿提示信息；
或者，
所述回传数据包括焦距数据，所述回传数据改变提示信息包括：改变焦距提示信息。
7.一种图像融合方法，其中，还包括：
接收待融合采集图像；
接收回传的连续多帧引擎渲染图像；基于所述待融合采集图像的接收时间信息和静态延迟数据，从所述连续多帧引擎渲染图像中确定待融合渲染图像；
接收回传的连续多帧动捕数据；基于所述待融合采集图像的接收时间信息和动态延迟数据，从所述连续多帧动捕数据中确定目标动捕数据；
接收回传的连续多帧焦距数据；基于所述待融合采集图像的接收时间信息和变焦延迟数据，从所述连续多帧动捕数据中确定目标焦距数据；
基于所述目标动捕数据和所述目标焦距数据，对所述待融合渲染图像和所述待融合采集图像进行图像融合，得到融合后图像；
其中，所述动态延迟数据和所述变焦延迟数据采用如权利要求1-6任一项所述的方法得到。
8.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7任一项所述的方法对应的操作。
9.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-7中任一项所述的方法。
CN202310454627.3A 2023-04-25 2023-04-25 延迟数据计算方法、图像融合方法及电子设备 Pending CN116385710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310454627.3A CN116385710A (zh) 2023-04-25 2023-04-25 延迟数据计算方法、图像融合方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310454627.3A CN116385710A (zh) 2023-04-25 2023-04-25 延迟数据计算方法、图像融合方法及电子设备

Publications (1)

Publication Number Publication Date
CN116385710A true CN116385710A (zh) 2023-07-04

Family

ID=86980722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310454627.3A Pending CN116385710A (zh) 2023-04-25 2023-04-25 延迟数据计算方法、图像融合方法及电子设备

Country Status (1)

Country Link
CN (1) CN116385710A (zh)

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
JP6730690B2 (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
US9591237B2 (en) Automated generation of panning shots
CN109565551B (zh) 对齐于参考帧合成图像
KR101643607B1 (ko) 영상 데이터 생성 방법 및 장치
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
US20210358204A1 (en) Image processing apparatus, image processing method, and storage medium
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
CN111325657A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112887617B (zh) 一种拍摄方法、装置和电子设备
WO2022027447A1 (zh) 图像处理方法、相机及移动终端
JP6552256B2 (ja) 画像処理装置及び画像処理装置の制御方法
CN112073632A (zh) 图像处理方法、设备及存储介质
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN116385710A (zh) 延迟数据计算方法、图像融合方法及电子设备
CN112399077B (zh) 拍摄方法、装置及电子设备
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
CN113890990A (zh) 信息采集过程中的提示方法、装置、电子设备及可读介质
CN113014820A (zh) 一种处理方法、装置及电子设备
CN113873160B (zh) 图像处理方法、装置、电子设备和计算机存储介质
JP2014186634A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN115086558B (zh) 对焦方法、摄像设备、终端设备及存储介质
CN114339029B (zh) 拍摄方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230818

Address after: Room 602, Building S1, Alibaba Cloud Building, No. 3239 Keyuan Road, Ulan Coast Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518054

Applicant after: Shenli Vision (Shenzhen) Cultural Technology Co.,Ltd.

Address before: Room 2601, floor 26, building 9, Wangjing Dongyuan Fourth District, Chaoyang District, Beijing 100102

Applicant before: BEIJING YOUKU TECHNOLOGY Co.,Ltd.