CN113347373B

CN113347373B - 通过ar空间定位实时制作特效视频的图像处理方法

Info

Publication number: CN113347373B
Application number: CN202110663226.XA
Authority: CN
Inventors: 李晔; 王娟娟
Original assignee: Weifang Vision Software Technology Co ltd
Current assignee: Weifang Vision Software Technology Co ltd
Priority date: 2021-06-16
Filing date: 2021-06-16
Publication date: 2022-06-03
Anticipated expiration: 2041-06-16
Also published as: CN113347373A

Abstract

本发明公开了一种通过AR空间定位实时制作特效视频的图像处理方法，使用具备平面检测及人像遮罩功能的视频录制设备，将预先制作好的虚拟场景模型放入现实世界中，让虚拟场景和现实场景在三维数据层面形成重合；启用虚拟背景和人像遮罩功能，当演员出现在设备的摄像头前方时，根据人物位置和虚拟模型在三维空间中的关系，实时将人像与虚拟场景的画面进行合成，视频录制设备屏幕上将显示演员融合在虚拟场景中的画面；可以通过录屏记录合成后的特效画面。采用本方法制作特效视频，可以实时看到人物与虚拟场景融合的画面，实时发现问题或调整；合成的视频不需要合成渲染的后续步骤；不需要专业设备和专业团队，可以短时间内完成拍摄制作。

Description

通过AR空间定位实时制作特效视频的图像处理方法

技术领域

本发明属于图像显示、数据处理技术领域，尤其涉及一种通过AR空间定位实时制作特效视频的图像处理方法。

背景技术

随着科技、文化的发展，人们对数字媒体的需求也产生了变化，用户从单纯的观看，逐渐开始成为了参与者，制作者。特效影视作品能给人们带来很强的视觉冲击，满足人们文化娱乐需求。而参与特效视频拍摄制作，能更加丰富这个领域的市场，让内容变得多元化，增加互动感，形成完整行业生态。

传统制作特效视频的实现方法是：1.先布置一个巨大的绿幕作为背景，布置与剧情相符的灯光；2.演员站在绿幕前，根据剧本做出预先设计好的动作；3.采用专业摄影机拍摄下演员在绿幕背景中的视频；4.由专业人员在拍摄的绿幕视频内容中将绿幕和人像分离；5.根据剧情制作模型，搭建场景、道具；6.由专业人员将模型等虚拟内容调整至与绿幕视频拍摄时相同的角度；7.将虚拟内容与人像进行合成渲染。

以上传统方法存在以下缺点：1.不能实时的看到人物与虚拟场景融合的画面，录制过程中靠演员和导演想象来进行表演；2.录制完成后，只有演员和绿色背景的视频，有的问题无法实时发现，只有在后期合成时才能发现；3.不能实时调整场景的位置及其中的模型；4.需要摄像机、电脑、灯光等专业设备，需要在固定的地方拍摄，不方便携带；5.在提取到人像，制作好虚拟内容后，单纯合成渲染的过程都很漫长，从几个小时到几十个小时不等；6.需要庞大的团队进行制作，在协调沟通中占用很多的时间和精力，产生很高的金钱和人力成本，普通人无法自己制作特效视频。

发明内容

本发明所要解决的技术问题是提供一种通过AR空间定位实时制作特效视频的图像处理方法，能够实时看到人物与虚拟场景融合的画面，可以直接录制人物和虚拟场景融合后的视频，实时发现问题，实时进行调整，无需专业团队与专业设备，无需进行后续合成渲染。

为解决上述技术问题，本发明的技术方案是：通过AR空间定位实时制作特效视频的图像处理方法，包括以下步骤：

S1、选用具有AR开发工具（或称ARSDK，下同）、平面检测功能和人像遮罩功能的视频录制设备；

S2、创建虚拟场景模型，将创建好的虚拟场景模型在3D引擎中缩放至合适的尺寸，将调整至合适尺寸的虚拟场景模型导入到3D引擎中；

S3、在3D引擎中确定虚拟场景模型的定位锚点；

S4、启用AR开发工具中的平面检测功能，将虚拟场景模型定位在真实空间中的平面上，使虚拟场景模型中演员落脚位置的平面和真实空间中演员要落脚的平面保持一致；定位后虚拟场景模型在视频录制设备屏幕中的显示状态位置与现实空间中所需要的状态位置在三维数据层面形成重合；

S5、启用3D引擎中的虚拟背景功能，视频录制设备显示虚拟的环境背景（行业中一般称作SkyBox天空盒，是给整个虚拟场景的一种背景渲染效果,常用天空的颜色）；

S6、启用AR开发工具中的人像遮罩功能，当演员站在现实空间中视频录制设备的前方进行表演时，根据演员人物位置和虚拟场景模型在三维空间中的关系，人像与虚拟场景的画面会进行实时合成，视频录制设备屏幕上将显示实际演员融合在虚拟场景中的画面；

S7、将显示在视频录制设备屏幕中的画面录制下来。

作为优选的技术方案，所述视频录制设备为手机或平板电脑，如苹果公司部分型号的手机：iPhone11、iPhone12等；或苹果公司部分型号的平板电脑：iPad Pro等。上述视频录制设备具备平面检测功能，可以检测到现实中的地面、墙壁等平面；还具备人像遮罩功能，可以识别到画面中的人像，并把人像的范围扣除出来与虚拟画面进行合并。所述AR开发工具为具备平面识别及人像遮罩功能的SDK，例如苹果公司的ARKit，使用平面检测功能可以检测真实空间中演员落脚平面，开启人像遮罩功能，可以调用硬件的人像遮罩功能。

作为优选的技术方案，在3D引擎中确定虚拟场景模型的定位锚点的方法如下：

S31、创建空对象A作为定位时的锚点；

S32、在虚拟场景模型上找到定位时要与真实场景平面贴合的平面，并且在这个平面上找到适合演员表演的落脚点B；

S33、把空对象A移动到B点位置上，将虚拟场景模型作为空对象A的子物体，空对象A就是虚拟场景模型的定位锚点。

作为优选的技术方案，将虚拟场景模型定位在真实空间中的平面上的方法如下：

S41、利用AR开发工具中的平面检测功能检测到真实场景中的平面后生成的一个虚拟平面碰撞器；

S42、通过AR开发工具的功能，在视频录制设备屏幕中可以看到真实场景的画面；

S43、调整视频录制设备的位置及旋转角度，找到真实场景中地面上一个合适演员表演的位置，从视频录制设备屏幕位置向垂直于屏幕并且朝向与屏幕显示方向相反的方向发射一道射线，当射线碰撞到虚拟平面碰撞器时，射线与虚拟平面碰撞器产生碰撞点C；

S44、当AR开发工具检测到平面后，在软件的虚拟场景的世界坐标中，就等于把真实世界中的位置信息映射在了虚拟场景里，碰撞点C在3D软件中的世界坐标会对应在虚拟平面碰撞器上，即与真实场景中的地面位置相关联；

S45、将虚拟场景模型的定位锚点移动到这个碰撞点C的位置上，此时虚拟场景模型的位置就重合在了真实空间中需要的位置上，此时视频录制设备屏幕中可以显示定位后的虚拟场景。

由于采用了上述技术方案，本发明具有以下有益效果：

1、可以实时看到人物与虚拟场景融合的画面；

2、可以直接录制人物和虚拟场景融合后的视频，实时发现问题，实时进行调整；

3、可以实时调整虚拟场景的位置及其中的模型；

4、不需要专业设备，只需要一台拥有平面识别及人物遮罩功能的手机或者平板即可，方便携带；

5、合成的视频是在演员表演时，用平板或手机实时录制的，不需要合成渲染的后续步骤；

6、不需要专业的团队，可以短时间内完成拍摄，除演员外只需要一个操作设备的人员即可。

附图说明

以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。其中：

图1是本发明实施例中创建好的虚拟场景模型；

图2是本发明实施例中真实场景的示意图；

图3是本发明实施例中视频录制设备上的硬件摄像头捕捉到的画面；

图4是3D软件中AR显示的工作原理示意图；

图5是本发明实施例中通过ARSDK功能、在视频录制设备屏幕中看到的跟图3真实场景一样的画面；

图6是虚拟平面碰撞器与碰撞点的表达示意图；

图7是3D软件识别到平面后的数据与虚拟摄像机的关系示意图；

图8是将虚拟场景模型定位在平面上C点位置后的状态示意图；

图9是3D引擎中靠近虚拟摄像机位置的实际状态示意图；

图10是图9经渲染后在屏幕上实际看到的画面示意图；

图11是启用虚拟背景之后的效果示意图；

图12是演员站在现实空间中视频录制设备的前方进行表演时的示意图；

图13是视频录制设备屏幕上显示的实际演员融合在虚拟场景中的画面效果示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐述本发明。在下面的详细描述中，只通过说明的方式描述了本发明的某些示范性实施例。毋庸置疑，本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。

通过AR空间定位实时制作特效视频的图像处理方法，包括以下步骤：

S1、选用具有AR开发工具（或称ARSDK，下同）、平面检测功能和人像遮罩功能的视频录制设备；视频录制设备可以采用苹果公司部分型号的手机或平板电脑，其具备平面检测功能，可以检测到现实中的地面、墙壁等平面；还具备人像遮罩功能，可以识别到画面中的人像，并把人像的范围扣除出来与虚拟画面进行合并。AR开发工具为具备平面识别及人像遮罩功能的SDK即可，例如可以采用苹果公司的ARkit，使用平面检测功能可以检测真实空间中演员落脚平面,以及人像的范围扣除出来与虚拟画面进行合并；

S2、创建虚拟场景模型（可以提前创建好），例如地形以及地形上的树木、花草、石块等，参考图1；当然，虚拟场景模型可以根据渲染效果需要灵活创建；

将创建好的虚拟场景模型在3D引擎中缩放至合适的尺寸，这样可以避免真实人物和虚拟场景中视觉上尺寸差距过大而出现明显穿帮；例如虚拟场景如果是一个模拟真实的国外场景，那么楼房、汽车等尺寸要和现实中的对应物体保持相似；而卡通、幻想风格则不一定，根据剧情需要可大可小；

S3、在3D引擎中按如下方法确定虚拟场景模型的定位锚点：

S31、创建空对象A作为定位时的锚点；

S32、参考图1，图1中山谷自然景观模型是创建好的虚拟场景模型Q，在虚拟场景模型Q上找到定位时要与真实场景平面贴合的平面（一般选取模型中的地面），并且在这个平面上找到适合演员表演的落脚点B；

S33、把空对象A移动到B点位置上，将虚拟场景模型Q作为空对象A的子物体，空对象A就是虚拟场景模型Q的定位锚点；

在本步骤中，定位虚拟场景模型时，是把模型的位置移动到3D空间中的一个坐标点上，而模型的位置是自身局部坐标的原点；由于模型自身的局部坐标原点不方便修改，用空对象作为辅助可以克服以上问题；空对象可以认为是3D空间中的一个仅有位置信息的点，把虚拟场景模型作为其子物体后，通过定位空对象可以方便实现对场景模型的定位；

其中，将虚拟场景模型定位在真实空间中的平面上的方法如下：

S41、参考图6，手持视频录制设备（如平板或手机，本实施例中以平板为例介绍，下同）扫描房间，利用AR开发工具中的平面检测功能检测到真实场景中的平面后，生成一个虚拟平面碰撞器，即图6中虚线部分；例如扫描这个房间的地面平面后，在3D软件中就会有一个对应的数据代表这个平面；

S42、通过AR开发工具的功能，在视频录制设备屏幕中可以看到跟真实场景一样的画面；其中，本步骤AR显示原理具体说明如下：

在AR技术中，使用者感觉好像透过了平板或者手机屏幕看到真实世界，但实际上屏幕中出现的现实世界是因为将硬件摄像头捕获的现实世界画面放在了3D场景中的虚拟摄像机远裁剪面位置作为一张背景图；

例如：参考图2，图2中是一个真实场景，使用者拿着平板，虚线是平板上硬件摄像头的视角；

参考图3，图3中就是平板上的硬件摄像头捕捉到的画面，这个画面并不是直接显示在屏幕上的，而是在3D软件中放置在虚拟摄像机的远裁剪面位置，是3D软件中渲染的结果，这一功能是通过ARSDK实现的；

参考图4，图4是3D软件中AR显示的工作原理，虚线是虚拟摄像机的摄像机椎体，abcd是近裁剪面，efgh是远裁剪面；

参考图5，图5是在屏幕上看到的画面，此时完全是现实画面，虽然和硬件摄像头捕捉到的画面一样，但原理不同，此时画面是经过3D引擎中ARSDK功能构建后渲染得到的。

S43、再参考图6，调整视频录制设备（平板）的位置及旋转角度，找到真实场景中地面上一个合适演员表演的位置，从视频录制设备屏幕位置向垂直于屏幕并且朝向与屏幕显示方向相反的方向发射一道射线，当射线碰撞到虚拟平面碰撞器时，射线与虚拟平面碰撞器产生碰撞点C；

S44、参考图7，图7中ijkl就是3D软件识别到平面后的数据与虚拟摄像机的关系；当AR开发工具检测到平面后，在软件的虚拟场景的世界坐标中，就等于把真实世界中的位置信息映射在了虚拟场景里，碰撞点C在3D软件中的世界坐标会对应在虚拟平面碰撞器上，即与真实场景中的地面位置相关联；

S45、将虚拟场景模型的定位锚点移动到这个碰撞点C的位置上，此时虚拟场景模型的位置就重合在了真实空间中需要的位置上，此时视频录制设备屏幕中可以显示定位后的虚拟场景；

参考图8至图10，图8中是3D引擎中将虚拟场景模型定位在平面上C点位置后的状态；图9是3D引擎中靠近虚拟摄像机位置的实际状态，可以看到虚拟摄像机会首先渲染到模型场景；图10是渲染后在屏幕上实际看到的结果；

S5、启用3D引擎中的虚拟背景功能，视频录制设备显示虚拟的环境背景（行业中一般称作SkyBox天空盒，是给整个虚拟场景的一种背景渲染效果,常用天空的颜色）；参考图11，图11中是启用虚拟背景之后的效果；启用虚拟背景之后，屏幕上不再出现显示硬件摄像头捕捉到的真实场景背景，而是显示天空盒内容，例如此处显示的是蓝天和白云

S6、启用AR开发工具中的人像遮罩功能，参考图12和图13，当演员站在现实空间中视频录制设备的前方进行表演时，根据演员人物位置和虚拟场景模型在三维空间中的关系，可以实时将人像与虚拟场景的画面进行合成，视频录制设备屏幕上将显示实际演员融合在虚拟场景中的画面；

本步骤中原理具体说明如下：

虚拟摄像机远裁剪面与近裁剪面之间的距离，远远超过硬件摄像头到现实场景的距离；也就是说视频录制设备扫描平面后，现实场景在3D软件中的映射数据位置其实非常靠近虚拟摄像机的近裁剪面；由于虚拟场景模型定位的位置是现实场景，会挡住远裁剪面处的现实画面；而一旦视频录制设备屏幕中出现了虚拟物体，在3D场景中虚拟物体一定出现在这个背景图的前方；如果不做特殊遮罩处理，所有虚拟内容都会出现在现实物体的前方，此时使用者在屏幕中看到的就完全是将位置定位过来的虚拟场景模型；也就是说，如果不开启ARSDK中的人像遮罩功能，这种情况下，虚拟场景模型在虚拟摄像机的椎体范围内，无论虚拟场景模型和现实场景中物体的相对位置关系如何，都只会显示虚拟场景模型。

S7、使用视频录制设备的录屏功能，将显示在视频录制设备屏幕中的画面录制下来，即制作完成人物和虚拟场景融合后的特效视频。

综上所述，本发明具有至少以下有益效果：

1、录制过程，可以实时看到人物与虚拟场景融合的画面；

3、可以实时调整虚拟场景的位置及其中的模型；

6、不需要专业的团队，可以短时间内完成拍摄，除演员外只需要一个操作设备的人员即可，普通人员即可完成特效视频的录制。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.通过AR空间定位实时制作特效视频的图像处理方法，其特征在于，包括以下步骤：

S1、选用具有AR开发工具、平面检测功能和人像遮罩功能的视频录制设备；

S2、将创建好的虚拟场景模型在3D引擎中缩放至合适的尺寸；

S3、在3D引擎中确定虚拟场景模型的定位锚点，具体方法如下：

S31、创建空对象A作为定位时的锚点；

S33、把空对象A移动到B点位置上，将虚拟场景模型作为空对象A的子物体，空对象A就是虚拟场景模型的定位锚点

将虚拟场景模型定位在真实空间中的平面上的方法如下：

S5、启用3D引擎中的虚拟背景功能，视频录制设备显示虚拟的环境背景；

S6、启用AR开发工具中的人像遮罩功能，当演员站在现实空间中视频录制设备的前方进行表演时，根据演员人物位置和虚拟场景模型在三维空间中的关系，实时将人像与虚拟场景的画面进行合成，视频录制设备屏幕上将显示实际演员融合在虚拟场景中的画面；

S7、将显示在视频录制设备屏幕中的画面录制下来。

2.如权利要求1所述的通过AR空间定位实时制作特效视频的图像处理方法，其特征在于：所述视频录制设备为手机或平板电脑。

3.如权利要求1所述的通过AR空间定位实时制作特效视频的图像处理方法，其特征在于：所述AR开发工具为具备平面识别和人像遮罩功能的AR开发工具。