CN112019747A - 基于云台传感器的前景跟踪方法 - Google Patents

Abstract

一种基于云台传感器的前景跟踪方法，包括：通过传感器云台摇臂系统，取得摄像机的状态参数，以实时传入三维引擎并应用到场景，同时三维场景内模拟镜头的畸变，并调节画面与相机参数变化的延迟不一样的问题；状态参数包括：镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据；镜头的变焦数据：镜头变焦与FOV的变化间的关系是非线性的，而且每只镜头的参数都不一样，无法通过数学计算出准确结构，这里采用均匀采集多个焦段的对应FOV，并进行曲线拟合，最终精度和采集的焦段密度成正比；畸变模拟：结合正弦函数的周期特点，通过周期函数实时改变画面FOV，使整个画面的边缘和非边缘具有不同的FOV。

Description

基于云台传感器的前景跟踪方法

技术领域

本发明属于涉及虚拟现实技术领域，尤其涉及一种基于云台传感器的前景跟踪方法。

背景技术

随着数字化技术的发展，越来越多的电影/电视节目是在虚拟场景下录制的。以广播电视领域广泛应用的虚拟演播室为例，其是运用三维虚拟现实技术制作出让人身临其境的虚拟场景和虚拟动画角色，而真实的演员可以与虚拟动画角色同台进行交互，大大增加了节目的娱乐性；这样可以大幅度节省节目制作的成本，并提高了节目制作的效率。

在影视制作过程中，拍摄的视频有需要叠加其他元素的需求，例如动画、粒子特效、三维场景模型等，这些元素也称为前景；在叠加时如果是移动机位(包括镜头旋转，变焦，推拉，移动位置等)拍摄，须使前景跟随机位拍摄的实物移动(称为前景跟踪)，否则效果会穿帮。前景跟踪技术在做虚拟演播室行业内是一个绕不开的问题，国外技术实力强的公司已经能做到肉眼无法察觉的跟踪精度，但是国内对于此技术的发展非常不足。

发明内容

针对现有技术中对于前景跟踪技术的发展不同，本发明实施例提出了一种基于云台传感器的前景跟踪方法，能够更好对虚拟演播室的数据进行处理。

为了解决上述问题，本发明实施例提出了一种基于云台传感器的前景跟踪方法，包括：

通过传感器云台摇臂系统，取得摄像机的状态参数，以实时传入三维引擎并应用到场景，同时三维场景内模拟镜头的畸变，并调节画面与相机参数变化的延迟不一样的问题；其中状态参数包括：镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据；

其中所述镜头的变焦数据通过以下方式确定：镜头变焦与FOV的变化间的关系是非线性的，而且每只镜头的参数都不一样，无法通过数学计算出准确结构，这里采用均匀采集多个焦段的对应FOV，并进行曲线拟合，最终精度和采集的焦段密度成正比；

其中畸变模拟通过以下的方式确定：结合正弦函数的周期特点，通过周期函数实时改变画面FOV，使整个画面的边缘和非边缘具有不同的FOV，来近似模拟拍摄画面。

在一些实施例中，其中畸变参数包括：K1、K2和scale调节，K1和K2为径向畸变率，Scale为缩放率；其中CCD偏移参数包括：镜头成像点(CCD)与云台旋转轴心的偏移；当摄像机固定在云台上，调节好动平衡后再调节，在镜头校准时确定下来。

在一些实施例中，所述方法还包括：

设置云台的参数；其中云台跟踪分为镜头校准和实时跟踪两种模式；

其中镜头校准模式是指：针对单个镜头进行校准；由于不同摄像机镜头的变焦范围不同，畸变率也不同，因此如果系统中没有该镜头的校准参数时候需要对镜头进行校准；

其中实时跟踪是指：针对所有镜头或选中的镜头进行跟踪。

在一些实施例中，所述镜头校准模式具体包括：将云台以及摄像机架假设好后，通过串口将云台接入前景服务器；将两张用于校准的A4纸固定好，并确保两张A4纸和云台的位置关系应保持3点一线；测量摄像机高度、两张A4纸中心点的高度、两张A4纸距离摄像机的距离；

启动FOV_project插件，其中跟踪设置中的PlayerPosition调整到x＝0y＝0z＝摄像机高度

PlayerRotation x＝90 y＝0 z＝0；

打开视图菜单下的互动面板，调节Red和Green节点，

Red节点对应离相机近的A4纸，位置调整为X＝0 Y＝离相机的距离(单位为米)Z＝A4纸高度，

Green节点对应离相机远的A4纸，位置调整为X＝0 Y＝离相机的距离(单位为米)Z＝A4纸高度；

将摄像机焦距调至最大，转动摄像机使A4纸处于画面中心，将云台数据置零，观察A4纸和场景虚拟片是否重合，如不重合，调整PanOffset值，使两者位置上重合，然后调整PlayerFov使两者大小近似相等；

进入镜头校准模式：

①Pan、Tilt和Zoom参数的方向及范围调整，左右摇动相机，观看摄像机图像与场景物体的移动方向是否一致，如不一致，调整Pan方向后，再试试是否一致；

Tilt的调整和Pan相似，区别在于上下摇动相机，Zoom方向无须调整，调整摄像机Zoom值到最大，将实时Zoom里的值填入ZoomMax；

②再将镜头焦距调整到最广角端，开始校准，摇动相机使A4纸居中，微调Tilt偏移和Pan偏移，使虚拟纸张和真实纸张重合，然后摇动相机，使A4纸到画面最左边，调整PlayerFov和K1，使虚拟和真实纸张重合，再摇回镜头中心看是否重合，反复调整几次后，将确定的参数加入当前点；

③推动镜头焦距，重复②过程，一般推动整个焦距范围的5％，如果有更高精度要求，或者更快的校准要求，可以调大或调小推动量。

实时跟踪模式包括；启动实时跟踪模式后，选择对应的镜头以及镜头的配置文件，开启实时跟踪。

本发明的上述技术方案的有益效果如下：上述的技术方案提出了一种基于云台传感器的前景跟踪方法，能够在基于LED的全景仿真环境中加入远程直播流。该技术方案能够将本地真实场景、远程真实场景和本地虚拟三维背景画面融为一个完整的并且同步的画面，大大降低了拍摄的难度，增强了节目交互效果，节省了节目摄制成本。

附图说明

图1是本发明实施例的方法流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提出了一种适用于广电领域的基于云台传感器的前景跟踪方法。现有技术中能够达到高精度前景跟踪的都是国外大厂，且其算法都集成在成套设备上，因此价格非常昂贵。本发明实施例提出了一种适用于广电领域的基于云台传感器的前景跟踪方法，包括：

通过传感器云台摇臂系统，取得摄像机的状态参数，以实时传入三维引擎并应用到场景，同时三维场景内模拟镜头的畸变，并调节画面与相机参数变化的延迟不一样的问题；其中状态参数包括：镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据；

其中所述镜头的变焦数据；

其中镜头变焦数据的跟踪较为复杂，畸变模拟较为复杂；

镜头变焦与FOV的变化间的关系是非线性的，而且每只镜头的参数都不一样，无法通过数学计算出准确结构，这里采用均匀采集多个焦段的对应FOV，并进行曲线拟合，最终精度和采集的焦段密度成正比；FOV是指三维场景内的视角范围；

畸变模拟，由于摄像机内本身内置了去畸变功能，而且并不能完全去掉畸变，导致模拟这种畸变很困难，如果不内置去畸变功能，整个画面的畸变是规律的，去掉后边缘畸变明显大于非边缘，三维引擎模拟这种效果较难，算法内结合了正弦函数的周期特点，通过周期函数实时改变画面FOV，使整个画面的边缘和非边缘具有不同的FOV，来近似模拟拍摄画面，达到肉眼无法分辨的跟踪效果

在一些实施例中，本发明实施例的方案可以包括以下步骤：

1.启动场景后，默认未开启跟踪；

2.设置开启“跟踪设置”功能，以调节以下参数显示：畸变、CCD偏移、位置调节、角度调节、FOV(视场角)调节；其中，FOV调节功能能够用于镜头校准；在本发明的实施例中，参数只能在开启跟踪之前进行设定和调节，而开启跟踪后会显示出各种数据，但是无法进行调节；

其中，畸变参数包括：K1、K2和scale调节，K1和K2为径向畸变率，Scale为缩放率；其中CCD偏移参数包括：镜头成像点(CCD)与云台旋转轴心的偏移；当摄像机固定在云台上，调节好动平衡后再调节，在镜头校准时确定下来；

3.启动云台跟踪；并设置云台的参数；其中云台跟踪分为镜头校准和实时跟踪两种模式；

其中镜头校准模式是指：针对单个镜头进行校准；由于不同摄像机镜头的变焦范围不同，畸变率也不同，因此如果系统中没有该镜头的校准参数时候需要对镜头进行校准；

其中实时跟踪是指：针对所有镜头或选中的镜头进行跟踪；

镜头校准模式具体包括：将云台以及摄像机架假设好后，通过串口将云台接入前景服务器；将两张用于校准的A4纸固定好，并确保两张A4纸和云台的位置关系应保持3点一线；测量摄像机高度、两张A4纸中心点的高度、两张A4纸距离摄像机的距离；

启动FOV_project插件，其中跟踪设置中的PlayerPosition调整到x＝0y＝0z＝摄像机高度

PlayerRotation x＝90 y＝0 z＝0；

打开视图菜单下的互动面板，调节Red和Green节点，

Red节点对应离相机近的A4纸，位置调整为X＝0 Y＝离相机的距离(单位为米)Z＝A4纸高度，

Green节点对应离相机远的A4纸，位置调整为X＝0 Y＝离相机的距离(单位为米)Z＝A4纸高度；

将摄像机焦距调至最大，转动摄像机使A4纸处于画面中心，将云台数据置零，观察A4纸和场景虚拟片是否重合，如不重合，调整PanOffset值，使两者位置上重合，然后调整PlayerFov使两者大小近似相等，

点击镜头校准复选框，进入镜头校准模式：

①Pan、Tilt和Zoom参数的方向及范围调整，左右摇动相机，观看摄像机图像与场景物体的移动方向是否一致，如不一致，调整Pan方向后，再试试是否一致；

Tilt的调整和Pan相似，区别在于上下摇动相机，Zoom方向无须调整，调整摄像机Zoom值到最大，将实时Zoom里的值填入ZoomMax；

②再将镜头焦距调整到最广角端，开始校准，摇动相机使A4纸居中，微调Tilt偏移和Pan偏移，使虚拟纸张和真实纸张重合，然后摇动相机，使A4纸到画面最左边，调整PlayerFov和K1，使虚拟和真实纸张重合，再摇回镜头中心看是否重合，反复调整几次后，将确定的参数加入当前点；

③推动镜头焦距，重复②过程，一般推动整个焦距范围的5％，如果有更高精度要求，或者更快的校准要求，可以调大或调小推动量。

实时跟踪模式包括；启动实时跟踪模式后，选择对应的镜头以及镜头的配置文件，开启实时跟踪。

在本发明实施例中，三维场景模拟镜头畸变、镜头边角跟踪、镜头位移和旋转跟踪，其实现的算法可以包括：

1.三维场景模拟镜头畸变的算法如下

STRUCT(FRAGMENT_IN)

INIT_POSITION

INIT_IN(float2,0)

INIT_IN(float3,1)

END

INIT_TEXTURE(0,TEX_COLOR)

float_distortion＝0.0f；//range(-3,3)

float_cubicDistortion＝0.0f；//range(0,3)

float_nodal＝0.0f；//range(0,3)

float_scale＝1.0f；//range(0,3)

MAIN_BEGIN(FRAGMENT_OUT,FRAGMENT_IN)

floatleftval＝0.25；

floatrightval＝0.75；

float2coords＝IN_DATA(0).xy；

float2fov＝coords；

floathres；

floathresy；

float2 h＝coords-float2(0.5,0.5)；

float r2＝h.x*h.x+h.y*h.y；

float x＝1.0+cos(3.14*h.x)*_nodal+r2*(_distortion+_cubicDistortion*sqrt(r2))；

float y＝1.0+cos(3.14*h.y)*_nodal+r2*(_distortion+_cubicDistortion*sqrt(r2))；

float2realCoordOffs＝h；

realCoordOffs.x＝h.x*_scale*x+0.5f；

realCoordOffs.y＝h.y*_scale*y+0.5f；

OUT_COLOR＝TEXTURE_BIAS_ZERO(TEX_COLOR,realCoordOffs)；

MAIN_END

2.镜头变焦跟踪的算法如下

3.镜头位移和旋转跟踪算法可以为：

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于云台传感器的前景跟踪方法，其特征在于，包括：

通过传感器云台摇臂系统，取得摄像机的状态参数，以实时传入三维引擎并应用到场景，同时三维场景内模拟镜头的畸变，并调节画面与相机参数变化的延迟不一样的问题；其中状态参数包括：镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据；

其中所述镜头的变焦数据通过以下方式确定：镜头变焦与FOV的变化间的关系是非线性的，而且每只镜头的参数都不一样，无法通过数学计算出准确结构，这里采用均匀采集多个焦段的对应FOV，并进行曲线拟合，最终精度和采集的焦段密度成正比；

其中畸变模拟通过以下的方式确定：结合正弦函数的周期特点，通过周期函数实时改变画面FOV，使整个画面的边缘和非边缘具有不同的FOV，来近似模拟拍摄画面。

2.根据权利要求1所述的基于云台传感器的前景跟踪方法，其特征在于，其中畸变参数包括：K1、K2和scale调节，K1和K2为径向畸变率，Scale为缩放率；其中CCD偏移参数包括：镜头成像点(CCD)与云台旋转轴心的偏移；当摄像机固定在云台上，调节好动平衡后再调节，在镜头校准时确定下来。

3.根据权利要求1所述的基于云台传感器的前景跟踪方法，其特征在于，所述方法还包括：

设置云台的参数；其中云台跟踪分为镜头校准和实时跟踪两种模式；

其中镜头校准模式是指：针对单个镜头进行校准；由于不同摄像机镜头的变焦范围不同，畸变率也不同，因此如果系统中没有该镜头的校准参数时候需要对镜头进行校准；

其中实时跟踪是指：针对所有镜头或选中的镜头进行跟踪。

4.根据权利要求3所述的基于云台传感器的前景跟踪方法，其特征在于，所述镜头校准模式具体包括：将云台以及摄像机架假设好后，通过串口将云台接入前景服务器；将两张用于校准的A4纸固定好，并确保两张A4纸和云台的位置关系应保持3点一线；测量摄像机高度、两张A4纸中心点的高度、两张A4纸距离摄像机的距离；

启动FOV_project插件，其中跟踪设置中的PlayerPosition调整到x＝0y＝0z＝摄像机高度

PlayerRotation x＝90y＝0z＝0；

打开视图菜单下的互动面板，调节Red和Green节点，

Red节点对应离相机近的A4纸，位置调整为X＝0Y＝离相机的距离(单位为米)Z＝A4纸高度，

Green节点对应离相机远的A4纸，位置调整为X＝0Y＝离相机的距离(单位为米)Z＝A4纸高度；

将摄像机焦距调至最大，转动摄像机使A4纸处于画面中心，将云台数据置零，观察A4纸和场景虚拟片是否重合，如不重合，调整PanOffset值，使两者位置上重合，然后调整PlayerFov使两者大小近似相等；

进入镜头校准模式：

①Pan、Tilt和Zoom参数的方向及范围调整，左右摇动相机，观看摄像机图像与场景物体的移动方向是否一致，如不一致，调整Pan方向后，再试试是否一致；

Tilt的调整和Pan相似，区别在于上下摇动相机，Zoom方向无须调整，调整摄像机Zoom值到最大，将实时Zoom里的值填入ZoomMax；

②再将镜头焦距调整到最广角端，开始校准，摇动相机使A4纸居中，微调Tilt偏移和Pan偏移，使虚拟纸张和真实纸张重合，然后摇动相机，使A4纸到画面最左边，调整PlayerFov和K1，使虚拟和真实纸张重合，再摇回镜头中心看是否重合，反复调整几次后，将确定的参数加入当前点；

③推动镜头焦距，重复②过程，一般推动整个焦距范围的5％，如果有更高精度要求，或者更快的校准要求，可以调大或调小推动量。

实时跟踪模式包括；启动实时跟踪模式后，选择对应的镜头以及镜头的配置文件，开启实时跟踪。

Images