CN118055203A - 用于视频制作中的图像处理方法和系统 - Google Patents

Abstract

本申请涉及一种视频制作中用于增强现实的图像处理方法和系统，其中方法包括：获取采集到的位置信息和视频信息；将视频信息中的每帧图像与位置信息进行同步，得到现实场景；将现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。通过采用上述处理过程，实现了一种Solo Go增强现实（AR）图像制作工具，通过所实现的这一图形制作工具进行制片过程中的视频图像处理，达到了增强现实直播的目的，并且所实现的这一制作工具不需要采用昂贵的硬件设备即可实现，这也就大大嘉少了成本投入。

Description

用于视频制作中的图像处理方法和系统

技术领域

本公开涉及直播视频制作技术领域，尤其涉及一种用于视频制作中的图像处理方法和系统。

背景技术

目前，在视频制作技术领域中，为了提高所制作的视频的真实度，一般会采用高清晰度的直播设备来确保最终所制作的视频与现实场景的高匹配度，但是当前高清晰度增强现实直播所需设备价格昂贵，且搬运麻烦，而采用普通移动端增强现实软件的方式，虽然解决了采用昂贵的硬件设备方式的不放便性，但是却存在无法自定义模型和动画的问题，使得最终制作出来的视频与现实场景匹配的精确度不高。

发明内容

有鉴于此，本公开提出了一种用于视频制作中的图像处理方法，有效提高了图像处理过程中现实度的增强效果，使得制作出来的视频高度还原现实场景。

根据本公开的一方面，提供了一种视频制作中用于增强现实的图像处理方法，包括：

获取采集到的位置信息和视频信息；

将所述视频信息中的每帧图像与所述位置信息进行同步，得到现实场景；

将所述现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。

在一种可能的实现方式中，将所述视频信息中的每帧图像与所述位置信息进行同步时，包含将所述位置信息中的各位置数据与各每帧图像进行对应的操作。

在一种可能的实现方式中，所述现实场景中包含有所述视频信息中的每帧图像以及每帧图像对应的位置数据。

在一种可能的实现方式中，所述位置信息通过移动终端采集得到，所述视频信息通过图像采集设备采集得到。

在一种可能的实现方式中，将所述现实场景与预先搭建的虚拟场景进行合成时，包括：

获取所述虚拟场景中的各帧图像；

将各帧图像与所述现实场景中的各位置信息进行关联。

在一种可能的实现方式中，将所述现实场景与预先搭建的虚拟场景进行合成时，包括：

将所述虚拟场景中需要展示的虚拟物体进行标记；

以所述现实场景作为背景板，并将所述虚拟场景中未被标记的虚拟物体删除。

根据本申请的另一方面，还提供了一种视频制作中用于增强现实的图像处理系统，包括信息获取模块、同步模块和合成模块；

所述信息获取模块，被配置为获取采集到的位置信息和视频信息；

所述同步模块，被配置为将所述视频信息中的每帧图像与所述位置信息进行同步，得到现实场景；

所述合成模块，被配置为将所述现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。

在一种可能的实现方式中，还包括位置信息采集模块和视频信息采集模块；

所述位置信息采集模块，被配置为采集所述位置信息；

所述视频信息采集模块，被配置为采集所述视频信息。

根据本申请的另一方面，还提供了一种视频制作中用于增强现实的图像处理设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

本申请实施例的图像处理方法，通过采用上述处理过程，实现了一种Solo Go增强现实（AR）图像制作工具，通过所实现的这一图形制作工具进行制片过程中的视频图像处理，达到了增强现实直播的目的，并且所实现的这一制作工具不需要采用昂贵的硬件设备即可实现，这也就大大嘉少了成本投入。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出本申请一实施例的图像处理方法的流程图；

图2示出本申请另一实施例的图像处理方法的流程示意图；

图3示出本申请一实施例的图像处理系统的结构框图；

图4示出本申请一实施例的图像处理设备的结构框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

首先，需要说明的是，本申请实施例的图像处理方法，主要是用于直播领域中对于视频制作过程的图像处理，通过本申请实施例的方法来增强所制作的视频中的真实度，使得融合了虚拟场景的视频数据更加真实。

图1示出根据本公开一实施例的视频制作中用于增强现实的图像处理方法的流程图。如图1所示，该方法包括：步骤S1100，获取采集到的位置信息和视频信息。此处，需要指出的是，所获取到的位置信息指的是在所采集的视频数据的地理位置，位置信息中可以包含有多个地理位置，每个地理位置对应视频数据中不同帧图像的具体位置，并且各地理位置可以通过经纬度坐标来表征。视频信息则指的是所采集到的视频数据。

步骤S1200，将视频信息中的每帧图像与位置信息进行同步，得到现实场景。即，在本申请实施例的方法中，通过将获取到的位置信息和采集到的视频信息进行同步，以保证最终得到的现实场景中能够具备准确无误的地理位置信息，从而方便后续进行虚拟场景和现实场景的合成。

步骤S1300，将同步得到的现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。此处，需要说明的是，虚拟场景为预先搭建好的。在一种可能的实现方式中，虚拟场景可以根据需要在编辑场景中搭建所需虚拟物体，设计所需动画，以满足真实制片的需求。

由此，本申请实施例的图像处理方法，通过采用上述处理过程，实现了一种SoloGo增强现实（AR）图像制作工具，通过所实现的这一图形制作工具进行制片过程中的视频图像处理，达到了增强现实直播的目的，并且所实现的这一制作工具不需要采用昂贵的硬件设备即可实现，这也就大大嘉少了成本投入。

其中，需要指出的是，由于需要获取位置信息和视频信息，因此，在一种可能的实现方式中，位置信息的采集可以直接通过移动终端设备采集得到，如：手机、平板电脑等。视频信息的采集同样也可以直接采用现有的图像此采集设备，如：相机等采集得到。

进一步地，在本申请实施例的方法中，在将同步得到的现场场景与预先搭建的虚拟场景进行合成时，则可以直接通过Unreal Engine，由Unreal Engine将传入的现实场景与虚拟场景中的虚拟物体进行混合，同时还可以利用Unreal Engine强大的渲染能力对混合得到的视频数据进行渲染，以进一步增强画面。

也就是说，在本申请的突图像处理方法中，通过使用价格相对低廉、易于购买、操作轻便的移动端设备（如：iOS移动设备），或者是额外增加单反相机分别作为采集端来采集精准的位置信息和高清视频数据，然后将采集到的位置信息和视频数据通过视频传输协议传输给Unreal Engine。然后再通过Unreal Engine将传入的位置信息和视频数据进行同步，进而再将同步后得到的现实场景与虚拟场景进行合成，即可实现真实制片需求。

其中，本领域技术人员可以理解的是，在将采集到的视频数据与位置信息进行同步时，具体是将视频数据中的每帧图像与位置信息中的各位置数据进行对应，使得每帧图像对应都标记有准确的位置数据。

在一种可能的实现方式中，将视频数据中的每帧图像进行位置信息的对应时，可以基于时间信息这一因素来进行。即，将标记为同一时间的图像数据与位置数据进行对应。

具体的，参见图2，在本申请实施例的方法中，可以通过网络时间协议，NetworkTime Protocol（NTP）对所采集的每帧位置信息和每帧视频数据进行时间信息的注入。在一种可能的实现方式中，对每帧位置信息和每帧视频数据中的图像进行时间注入时，可以采用直接将当前确定的时间所对应的时间戳作为一个属性赋值添加进去来实现。然后，再将注入时间信息的位置信息和视频数据输入进行同步，得到同步后的现实场景。其中，在将注入时间信息的位置信息和视频数据进行同步时，可以通过以下方式来实现。

在本申请中，由于视频数据是通过额外设置的单反相机来采集的，因此为了能够采用单反采集的视频信息，需要将移动设备所采集的位置信息与单反设备所采集的视频信息进行同步。在同步时，首先，将两端（即视频信息采集端和位置信息采集端）接入同一NTP服务器，即可分别计算出视频信息采集端和位置信息采集端分别与NTP服务器的时间差值（即，视频信息采集端与NTP之间的时间差值Δs，以及位置信息采集端与NTP服务器之间的时间差值Δw）.

计算得到两端分别与NTP服务器之间的时间差值后，从而可以分别根据两端分别与NTP服务器的时间差值对两端自身服务器的信息发送时间进行校正，以保证两端在进行每帧信息发送时能够发送准确的NTP时间码。

在PC端接收获取到两端发送的视频信息和位置信息，以及对应的NTP时间码后，将当前时刻所接收到的该NTP时间码对应的视频信息和位置信息进行递增帧数的确定。并对两端分别所确定的递增帧数进行比较。

此处，需要指出的是，递增帧数指的是每帧信息所对应的编号。举例来说，对于视频信息采集端，在a时间发送了一组视频数据，该视频数据中包含有多帧图像，每帧图像按照先后顺序具有不同的编号，其中，各编号对应每帧图像在视频数据中的先后顺序。

同时，在将该NTP时间码对应的视频信息和位置信息进行递增帧数的确定时，可以采用虚幻引擎（Unreal Engine）中自带的算法来实现。

举例来说，将当前时刻所接收到的该NTP时间码对应的视频信息和位置信息进行递增帧数的确定时，视频信息采集端为A端，位置信息采集端为B端，A端在a0时间点发送一组视频数据至PC端，B端同样在a0时间点发送一组位置数据至PC端。其中，由于A端和B端所采用的传输协议以及传输方式等有可能有差异，因此PC端接收到视频数据和位置数据的时间有可能有所不同。即，PC端在接收到视频数据和位置数据的时间可能不同，此时需要对视频数据和位置数据进行同步。在同步时，通过获取PC端在NTP时间码到当前时刻这期间内所接收到的视频数据中的递增帧数（即，在此期间的最后一帧图像的编号）以及位置数据中的递增帧数（即，在此期间的最后一个位置信息的编号），进而再对两端分别对应的递增帧数进行比较。

若在某一时刻，一端递增帧数比另一端递增帧数大，则说明当前递增帧数大的这一端所传的数据（图像或位置）更加新鲜，需要缓存下来然后等另一端的递增帧数涨至一致，最终将匹配的双端信号进行提交从而实现双端信号同步。

此处，还需要指出的是，同步后得到的现实场景中包含有视频信息中的每帧图像以及每帧图像对应的位置数据。

在一种可能的实现方式中，将采集到的位置信息和视频信息进行同步时，采用NTP服务器来实现同步的过程中，还可以采用直接向PC端发送未经NTP校正的时间码，等帧数据送达PC端后再进行NTP校正，而不在信号发送端进行NTP的时间较正。此处，需要指出的是，在PC端进行NTP时间的校正方式，与前面所述的在信号发送端进行校正的方式相同或相似，此处不再进行赘述。

进一步地，PC端在获取到同步的现实场景（即位置和视频信息）后，即可进行AR合成。即，将同步得到的现实场景与预先搭建的虚拟场景进行合成。其中，在进行现实场景与虚拟场景的合成时，首先，获取虚拟场景中的各帧虚拟图像，然后再将各帧虚拟图像中的虚拟物体与现实场景中的各位置信息进行关联。从而使得虚拟场景中的每一帧虚拟图像需要展示的虚拟物体均能够与现实场景中的各帧图像保持一致。这是由于同步所得到的现实场景通常来说是由多帧图像组成的一段视频，视频在播放的过程中，图像是逐帧进行显示的，为了使得各帧图像与其对应的虚拟场景中的虚拟物体能够保持同步显示并且显示的位置同样也能达到同步，以保证合成后的画面跟更加真实，因此需要将虚拟场景中的各帧虚拟图像中的虚拟物体与传输进来的跟踪信息及性能同步达到AR效果。

在一种可能的实现方式中，将虚拟场景中各帧虚拟图像的虚拟物体的位置与现实场景的各帧图像的位置相关联时，可以通过以下方式来实现。

首先，确定现实场景中的原点。其中，现实场景中的原点可以人为设置，并且可以根据实际情况灵活选取。即，可以根据实际情况确定现实场景中当前帧图像中的某一像素点为坐标原点。然后，将现实相机（即，视频信息采集端）与该原点的相对位置，对应匹配到虚拟场景的当前帧虚拟图像中虚拟摄像头与虚拟场景的原点的相对位置。从而实现将虚拟场景的当前帧虚拟图像中需要显示的虚拟物体在现实场景中的相对位置确定出来，进而实现现实场景与虚拟场景中的虚拟物体的位置信息的关联。

其中，虚拟场景的当前帧虚拟图像的坐标原点的确定，与现实场景当前帧图像的原点的确定方式相同或相似，此处也不再进行赘述。

进一步地，在将现实场景与虚拟场景合成时，对于将虚拟场景各帧图像中需要展示的虚拟物体的位置与现实场景中的各帧图像进行位置时，需要先确定当前要展示的虚拟物体。即，先进行当前要展示的虚拟物体的标记确定。对于当前要展示的虚拟物体的标记可以采用以下方式来实现。

即，在将现实场景与预先搭建的虚拟场景进行合成时，还包括有：将虚拟场景中需要展示的虚拟物体在现实场景中展示出来的操作。

即，在进行虚拟场景与真实场景合成时，需要将所要展示的虚拟场景中的虚拟物体进行展示，同时将现实的视频画面作为背景板，然后减去不需要展示的虚拟画面，所减去的部分即会展示作为背景板的现实视频画面。

具体的实现方法为：可以使用虚幻引擎软件进行上述合成。在合成材质中，使用整个画面（即，最终输出的合成画面）的CustomDepth（自定义深度）减去SceneDepth（场景深度），整个画面的CustomDepth（自定义深度）值为无限大，如果画面中存在虚拟物体，则该虚拟物体所在虚拟画面的部分的SceneDepth（场景深度）不为无限大，该部分画面的CustomDepth（自定义深度）减SceneDepth（场景深度）的值则仍未无限大，而虚拟画面中不存在虚拟物体的部分，其SceneDepth（场景深度）同样为无限大，该部分画面CustomDepth（自定义深度）减SceneDepth（场景深度）的值为0。因此，将画面中CustomDepth（自定义深度）减SceneDepth（场景深度）的值为0的部分显示视频画面，而大于1的部分显示为虚拟画面，即可实现AR效果。。

也就是说，在本申请的方法中，通过采用虚幻引擎软件，对虚拟场景中各帧虚拟图像中的虚拟物体进行上述两项参数（即，CustomDepth和SceneDepth）的设置，从而实现虚拟物体是否现实的配置。操作简单方便，易于实现。

此处，本领域技术人员可以理解的是，在将现实场景与虚拟场景进行合成时，指的是将现实场景中的各帧图像与虚拟场景中的各帧图像进行合成。也就是说，由现实场景中获取当前帧图像，并由虚拟场景中获取当前虚拟图像。然后再以所获取的现实场景中的当前帧图像为背景板，将当前帧虚拟图像中不需展示的虚拟画面进行删除，由此即可使得作为背景板的当前帧图像中只展示出当前帧虚拟图像中需要显示的虚拟物体。

需要指出的是，在对现实场景中的各帧图像与虚拟场景的合成时，可以按照顺序逐帧获取现实场景中的每帧图像，也可以根据实际情况进行灵活选取。

需要说明的是，尽管以图2作为示例介绍了本申请的用于增强现实的图像处理方法，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的实现方式，只要能够实现轻量级、高清度并且具有极大自由设计空间的增强现实的图像处理即可。

相应的，基于上述任一种视频制作中用于增强现实的图像处理方法，本申请还提供了一种视频制作中用于增强现实的图像处理系统。由于本申请提供的用于增强现实的图像处理系统的原理，与本申请的图像处理方法的原理相同或相似，因此重复之处不再赘述。

参见图3，本申请提供的用于增强现实的图像处理系统100，包括：信息获取模块110、同步模块120和合成模块130。其中，信息获取模块110，被配置为获取采集到的位置信息和视频信息。同步模块120，被配置为将视频信息中的每帧图像与位置信息进行同步，得到现实场景。合成模块130，被配置为将现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。

在一种可能的实现方式中，还包括位置信息采集模块和视频信息采集模块（图中未示出）。位置信息采集模块，被配置为采集位置信息；视频信息采集模块，被配置为采集视频信息。

更进一步地，根据本公开的另一方面，还提供了一种用于增强现实的图像处理设备200。参阅图4，本公开实施例的用于增强现实的图像处理设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的用于增强现实的图像处理方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的用于增强现实的图像处理设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的用于增强现实的图像处理方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行用于增强现实的图像处理设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的用于增强现实的图像处理方法。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种视频制作中用于增强现实的图像处理方法，其特征在于，包括：

获取采集到的位置信息和视频信息；

将所述视频信息中的每帧图像与所述位置信息进行同步，得到现实场景；

将所述现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。

2.根据权利要求1所述的方法，其特征在于，将所述视频信息中的每帧图像与所述位置信息进行同步时，包含将所述位置信息中的各位置数据与各每帧图像进行对应的操作。

3.根据权利要求1所述的方法，其特征在于，所述现实场景中包含有所述视频信息中的每帧图像以及每帧图像对应的位置数据。

4.根据权利要求1所述的方法，其特征在于，所述位置信息通过移动终端采集得到，所述视频信息通过图像采集设备采集得到。

5.根据权利要求1所述的方法，其特征在于，将所述现实场景与预先搭建的虚拟场景进行合成时，包括：

获取所述虚拟场景中的各帧图像；

将各帧图像与所述现实场景中的各位置信息进行关联。

6.根据权利要求1所述的方法，其特征在于，将所述现实场景与预先搭建的虚拟场景进行合成时，包括：

将所述虚拟场景中需要展示的虚拟物体进行标记；

以所述现实场景作为背景板，并将所述虚拟场景中未被标记的虚拟物体删除。

7.一种视频制作中用于增强现实的图像处理系统，其特征在于，包括信息获取模块、同步模块和合成模块；

所述信息获取模块，被配置为获取采集到的位置信息和视频信息；

所述同步模块，被配置为将所述视频信息中的每帧图像与所述位置信息进行同步，得到现实场景；

所述合成模块，被配置为将所述现实场景与预先搭建的虚拟场景进行合成，得到最终合成后的视频数据。

8.根据权利要求7所述的系统，其特征在于，还包括位置信息采集模块和视频信息采集模块；

所述位置信息采集模块，被配置为采集所述位置信息；

所述视频信息采集模块，被配置为采集所述视频信息。

9.一种视频制作中用于增强现实的图像处理设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至6中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。