CN108833782A - 一种基于视频自动跟踪拍摄的定位装置及方法 - Google Patents

Abstract

本发明公开了一种基于视频自动跟踪拍摄的定位装置及方法，是一套应用于视频自动跟踪拍摄功能的待拍摄目标定位装置，用于定位待拍摄目标相对于拍摄相机的角度位置，通过计算分析得到待拍摄目标与拍摄相机的相对位置数据，完成定位，计算得到的数据可用于调整拍摄云台相机的拍摄角度和镜头缩放,实现跟踪拍摄，相比于旧的装置，本装置提高了定位精度，减少了设备投入成本，结合自动检测装置可实现自动检测和自动定位跟踪拍摄，减少人员投入，增加了整套系统的美观感，减少了施工维护工作，减少系统的能耗，简化了调试工作。

Description

一种基于视频自动跟踪拍摄的定位装置及方法

技术领域

本发明涉及目标检测跟踪技术领域，具体涉及一种基于视频自动跟踪拍摄的定位装置及方法。

背景技术

目前市场上的自动跟踪拍摄产品存在复杂的摄像机标定工作，定位拍摄的精确度也不够，产品安装实施复杂度高，在设备上需要投入另外一台，或两台用于分析画面采集的摄像机，或者将另外一台分析采集像机通过结构设计做到拍摄相机里面，做成一个整体的设备，但均需要投入更多的设备，产生更多的施工维护工作，在定位跟踪精确度上跟本发明有一定的差距，相比本发明成本更高，更耗时间，造成效率低。

发明内容

为解决上述技术问题，本发明目的在于提供视频自动跟踪拍摄定位装置，以克服现有技术的不足。

为达到上述目的，本发明的技术方案如下：一种基于视频自动跟踪拍摄的定位装置，其特征在于：包括拍摄相机和定位系统，所述定位系统包括定位模块和调试模块，所述调试模块和定位模块均通过电连接所述拍摄相机；

拍摄相机为两台网络云台摄像机，用于定位待拍摄目标相对于拍摄相机的角度位置的两台网络云台摄像机；

目标定位系统，计算分析得到待拍摄目标与网络云台摄像机的相对位置数据，完成定位，计算得到的数据可用于调整网络云台摄像机的拍摄角度和镜头缩放,实现跟踪拍摄；

定位模块，通过在同一墙面的不同位置安装好两台相同的云台摄像机，并接上网线，通过网络将摄像机图像信号传输到定位系统，定位系统通过对两台相机的视频数据进行采集后按照调试好的参数进行计算，确定出场景中同一个目标相对与全景拍摄相机的相对位置和特写拍摄相机的相对位置；

调试模块，按计算得到的位置数据调用特写拍摄相机的云台指定进行跟踪特写拍摄。

进一步地，所述两台云台摄像机中的其中一台既可用于拍摄现场的全景画面采集拍摄，也可以用来做定位算法的分析计算数据。

进一步地，调试模块主要通过用户交互界面实现，交互调试方式包括以下方式，

连接调试：通过调试界面，分别输入特写相机和全景相机的视频信号采集 IP和端口，输入完成后点击“连接”按钮，使定位分析程序连接上摄像机，开始定位分析程序调试；

启停调试：通过点击“启动/停止定位”按钮，开始或停止定位分析程序的自动定位功能运行；

全景调试：通过点击“转到全景位”按钮，可以使全景相机镜头讯速转到到对应的拍摄位置，通过点击“设定全景位”按钮，可以将全景相机镜头当前位置设置为全景分析画面的拍摄位置，

定位调试：通过点击“启动定位”按钮，发送指令让全景拍摄相机转到该位置进行拍摄，并保持位置不做变动，“上”、“下”、“左”、“右”、“原点”、“+”、“-”、分别是对两个云台摄像机的拍摄角度、缩放倍数和云台转动速度；

设定调试：参照点中的“设定”按钮是用来确定当前特写画面中的参照物的，在全景画面中选择一个参照物，调整云台位置和镜头缩放倍数后对参照物进行居中放大拍摄，通过点击“转到”按钮，可以对当前参照点的设置进行检验；

保存调试：通过点击“保存设置”按钮，可将当前设置好的四个参照点位置信息数据和云台速度，摄像相IP，端口等数据进行保存，用于分析算法进行定位分析计算。

退出调试：通过点击“退出”按钮，直接退出定位分析程序。

一种基于视频自动跟踪拍摄的定位方法，其特征在于，包括以下步骤：

(1)首先在程序中基于全景分析摄像机云台的云台数据建立三维空间直角坐标系，以全景拍摄摄像机所在点为原点O，特写拍摄摄像机所在点为O',中心的坐标为(0,0)；

(2)特写摄像机中对目标A进行居中放大拍摄时的位置信息为(x',y',z'), 两组数据存在某种映射关系f,可使得(x',y',z')＝f(x,y,z)，通过对选定参照物的数据进行计算，f的求解可以分别分解在两个平面上的求解，分别是xoy,yoz 两个二维平面直接坐标系，通过建立xoy二维平面直接坐标系，我们可以求出 O,O'两点在xoy平台内的位置关系；

(3)求出点O，O'在xoy平台直角坐标系内的位置偏移关系，可转换为求出线段OD，O'D的长度，在全景相机的画面中找一个参照物，将全景拍摄相机和特写相机都调整到对目标进行居中放大拍摄时的位置,然后获取两台相机的当前云台位置，然后通过相机云台指令，获取当前云台位置坐标信息，再结合云台镜头的拍摄范围，可以通过云台坐标值计算出镜头在水平和垂直方向当前的拍摄角度，再结合当前的坐标值，便可以计算出O点和O点在坐标系中的位置偏移关系；

(4)参照点的选择和数量上，参照点的位置也选择在拍摄场景画面中的上下左右四个方向的点，通过4次同样的测量计算，再取4次计算的算数平均值，便可以得到两台相机精准的位置便移关系，得到了两台相机在同一平面的位置关系的数值；

(5)对光源进行居中定位拍摄就只需要对云台进行相应角度的转动调整即可实现，由于像机云台在设计上是镜头透镜光轴与云台原点重合，便可以将光源与透镜的位置关系转换为光源与云台的位置关系，

(6)得到全景拍摄相机中画面像点与云台位置的关系后再经过转换即可得到该物点与特写拍摄相机的云台位置关系，再将位置关系进行计算转换成云台位置数据，通过云台指令调整镜头云台位置，进行居中拍摄；

(7)定位跟踪拍摄时定位系统先获取像点在全景拍摄相机镜头画面中的位置，通过摄像机画面的分辨率计算可得到准确的像点在画面的坐标；

(8)通过界面调试和定位算法，定位分析程序可以准确找出两个相机位置的映射关系和找出全景拍摄相机中的特定物体在特写镜头的云台坐标中的位置；

(9)通过自动定位装置，结合外部的特定物体检测，便可实现全自动的跟踪定位拍摄，也可以通过此装置在全景云台相机的画面不做调整变化的同时，手动点击要特写拍摄的物体，让特写镜头对物体进行跟踪定位拍摄。

与现有技术相比，本发明的有益效果是：相比于旧的装置，本发明提高了定位精度，减少了设备投入成本，结合自动检测装置可实现自动检测和自动定位跟踪拍摄，减少人员投入，增加了整套系统的美观感，减少了施工维护工作，减少系统的能耗，简化了调试工作。

附图说明

图1为本发明的场景的空间建模图。

图2为本发明的位置偏移关系平面直角坐标图。

图3为本发明的映射关系的推导平面直角坐标图。

图4为本发明的拍摄相机靶面成像示意图。

图5为本发明的透镜成像推导图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。

一种基于视频自动跟踪拍摄的定位装置，包括拍摄相机和定位系统，所述定位系统包括定位模块和调试模块，所述调试模块和定位模块均通过电连接所述拍摄相机；

拍摄相机为两台网络云台摄像机，用于定位待拍摄目标相对于拍摄相机的角度位置的两台网络云台摄像机；

目标定位系统，计算分析得到待拍摄目标与网络云台摄像机的相对位置数据，完成定位，计算得到的数据可用于调整网络云台摄像机的拍摄角度和镜头缩放,实现跟踪拍摄；

定位模块，通过在同一墙面的不同位置安装好两台相同的云台摄像机，并接上网线，通过网络将摄像机图像信号传输到定位系统，定位系统通过对两台相机的视频数据进行采集后按照调试好的参数进行计算，确定出场景中同一个目标相对与全景拍摄相机的相对位置和特写拍摄相机的相对位置；

调试模块，按计算得到的位置数据调用特写拍摄相机的云台指定进行跟踪特写拍摄。

进一步地，所述两台云台摄像机中的其中一台既可用于拍摄现场的全景画面采集拍摄，也可以用来做定位算法的分析计算数据。

进一步地，所述调试模块主要通过用户交互界面实现，交互调试方式包括以下方式，

连接调试：通过调试界面，分别输入特写相机和全景相机的视频信号采集 IP和端口，输入完成后点击“连接”按钮，使定位分析程序连接上摄像机，开始定位分析程序调试；

启停调试：通过点击“启动/停止定位”按钮，开始或停止定位分析程序的自动定位功能运行，在调试时可先停止定位分析，调试完成后再次点击按钮启动定位分析功能；

全景调试：

1)通过点击“转到全景位”按钮，可以使全景相机镜头讯速转到到对应的拍摄位置，同时预览区域可以观察到全景预览画面是否合适，一般全景分析画面是否合适，以是否能采集到全部待定位跟踪目标涉及区域为标准，如不合适，可通过下方的云台控制按钮对相机镜头进行调整，以调整到合适位置；

2)通过点击“设定全景位”按钮，可以将全景相机镜头当前位置设置为全景分析画面的拍摄位置，当点击“启动定位”按钮时，分析程序会发送指令让全景拍摄相机转到。该位置进行拍摄，并保持位置不做变动；

定位调试：

1)“上”、“下”、“左”、“右”、“原点”、“+”、“-”、分别是对两个云台相机的拍摄角度，缩放倍数、云台转动速度，等参数进行调整，通过这些控制按钮对相机镜头进行调整，可以调整镜头到合适位置进行拍摄；

2)参照点设置中的1、2、3、4四个参照点是用来找出特写相机与全景相机云台位置映射关系的输入信息，如某一个目标A，当全景摄像机对目标A进行居中放大拍摄时，在全景摄像机中的云台位置信息为(x,y,z)，x,y,z分别代表A在云台坐标系统中水平位置，垂直位置，镜头缩放倍数位置，在特写摄像机中对目标A进行居中放大拍摄时的位置信息为(x',y',z'),设两组位置数据的映射关系为f，则两组位置信息关系可表示为(x',y',z')＝f(x,y,z)，通过对四个参照点的数据进行计算，可求得映射关系f.再通过对目标A的实际位置数据 x,y,z，则可求得(x',y',z')，从而求出在特写摄像机中对目标A进行居中放大拍摄时的位置数据，实现目标定位；

设定调试：

1)参照点中的“设定”按钮是用来确定当前特写画面中的参照物的，在全景画面中选择一个参照物，调整云台位置和镜头缩放倍数后对参照物进行居中放大拍摄，是否居中以十字标示居中在参照物上为准，同样在特写镜头画面中找到该参照物，调整云台位置和镜头缩放倍数后对参照物进行居中放大拍摄，是否居中以十字标示居中在参照物上为准，当全景预览和特写预览的画面对参照物的拍摄效果基本一致时，点击设定按钮，此时分析定位程序会发送相应指令，获取当前摄像机云台的当前X,Y,Z数据，参照点的X,Y,Z位置信息也会同步更新.对其他参照点也进行同样操作，可一一获取四个参照点的X,Y,Z位置信息；

2)通过点击“转到”按钮，可以对当前参照点的设置进行检验，当点击“转到”按钮时，如果特写摄像机的镜头直接调整到了对参照物进行居中放大拍摄的位置，证明设定参照点成功，否则需重新进行设置

保存调试：点击“保存设置”按钮，可将当前设置好的四个参照点位置信息数据和云台速度，摄像相IP，端口等数据进行保存，用于分析算法进行定位分析计算；

退出调试：点击“退出”按钮，直接退出定位分析程序。

一种基于视频自动跟踪拍摄的定位方法，其特征在于，包括以下步骤：

(1)如图1所示，首先在程序中基于全景分析摄像机云台的云台数据建立三维空间直角坐标系，即场景的空间建模，以全景拍摄摄像机所在点为原点O，特写拍摄摄像机所在点为O',中心的坐标为(0,0),X,Y的值有正负之分。右方向为X轴正方向；上方向为Y轴正方；

(2)当选定全景拍摄像机中的某一参照物A后，对目标A进行居中放大拍摄时可实时获取全景拍摄像机当前的云台位置数据(x,y,z),在特写摄像机中对目标A进行居中放大拍摄时的位置信息为(x',y',z'),则两组数据一定存在某种映射关系f,可使得(x',y',z')＝f(x,y,z)，通过对选定参照物的数据进行计算，可求得映射关系f，步骤如下，f的求解可以分别分解在两个平面上的求解，分别是xoy,yoz两个二维平面直接坐标系，通过建立xoy二维平面直接坐标系，可以求出O,O'两点在xoy平台内的位置关系；

(3)如图2所示，要求出点O，O'在平台直角坐标系内的位置偏移关系，可转换为求出线段OD，O'D的长度，在全景相机的画面中找一个参照物A，将全景拍摄相机和特写相机都调整到对目标A进行居中放大拍摄时的位置,然后获取两台相机的当前云台位置，然后通过相机云台指令，获取当前云台位置坐标信息，由于云台相机的云台转动坐标已经把转动的角度和坐标值进行了均匀的分布对应，即单位云台刻度对应的镜头转动角度相等，因此再结合云台镜头的拍摄范围，可以通过云台坐标值计算出镜头在水平和垂直方向当前的拍摄角度，再结合当前的坐标值，便可以计算出O点和O点在坐标系中的位置偏移关系，具体计算过程如下：

设A点在全景拍摄相机云台坐标中的位置为(x,y),在特写相机云台坐标中的坐标值为(x',y'),由于两台相机的云台参数一样，可得出，|x'|＝|AB|、 |y'|＝|O'B|,|x|＝|AC|、|y|＝|OC|,因此通过坐标计算可求出OD， O'D的长度，即：

|OD|＝＝|x-x'|，

|O'D|＝＝|y-y'|；

(4)由于要考虑单次测量计算的误差，参照点的选择和数量上，都得进行调整，本装置通过大量的测试和应用验证，可以实现位置关系的高精确测量定位，参照点的位置也选择在拍摄场景画面中的上下左右四个方向的点，通过4 次同样的测量计算，再取4次计算的算数平均值，便可以得到两台相机精准的位置便移关系，至此，得到了两台相机在同一平面的位置关系的数值；

如图3所示，当全景拍摄相机画面中的目标A需要定位跟踪拍摄时，定位系统先获取像点A在全景拍摄相机镜头画面中的位置，通过摄像机画面的分辨率计算可得到准确的像点A在画面的坐标，设像点A在画面中的像素坐标为 (a,b)，通过摄像机成像原理可计算像点A与全景拍摄像机的位置关系，

如图4所示，由于靶面上所成的像是光线经过透镜后折射在靶面上，再经过靶面的感光点传感器转换成电信号形成的，因此画面上的像点数与靶面尺寸存在着等比例的缩放关系，因此可将画面上的像点转换为靶面感光点位置，再将靶面感光点位置转换成光源与透镜的关系，设画面上的像数点与靶面尺寸的比值为θ，θ数值视不同摄像机靶面而定，设靶面的尺寸为h*v,h为靶面的长， v为靶面的宽，设图像的分辨率为H*V,H为图像的水平像素点数，V为图像的垂直像素点数，那么存在H/h＝V/v＝θ，则图像上的像素点A(a,b)点在靶面上的对应感光点的坐标值可以表示为A(aθ,bθ),感光点到靶面中心点的水平尺寸和垂直尺寸分别为|h/2-aθ|，|v/2-bθ|，

如图5所示，通过透镜成像原理进行推导,可求得靶面上的感光点的入射光源与透镜光轴所形成的角度为∠AOB,也就是物体在镜头的光轴方向的视角， A'B'即为感光点到靶面中心点的垂直尺寸，即A'B'＝|v/2-bθ|,根据摄像机参数的工作距离v的尺寸，可得到三角形△A'B'O两条边的长度数据即A'B'、B'O 的长度，因此通过反正切三角函数，可求得视角∠AOB的大小，即∠AOB＝∠ A'OB'＝arctan A'B'/B'O；

(5)求得了光源与光轴的夹角∠AOB，再对光源进行居中定位拍摄就只需要对云台进行相应角度的转动调整即可实现，由于像机云台在设计上是镜头透镜光轴与云台原点重合，便可以将光源与透镜的位置关系转换为光源与云台的位置关系，

(6)得到全景拍摄相机中画面像点与云台位置的关系后再经过转换即可得到该物点与特写拍摄相机的云台位置关系，再将位置关系进行计算转换成云台位置数据，通过云台指令调整镜头云台位置，进行居中拍摄；

(7)定位跟踪拍摄时定位系统先获取像点在全景拍摄相机镜头画面中的位置，通过摄像机画面的分辨率计算可得到准确的像点在画面的坐标；

(8)通过界面调试和定位算法，定位分析程序可以准确找出两个相机位置的映射关系和找出全景拍摄相机中的特定物体在特写镜头的云台坐标中的位置，因此能实现对目标进行正前方居中拍摄，即特写拍摄。实现了跟踪拍摄自动定位；

(9)通过自动定位装置，结合外部的特定物体检测，便可实现全自动的跟踪定位拍摄，也可以通过此装置在全景云台相机的画面不做调整变化的同时，手动点击要特写拍摄的物体，让特写镜头对物体进行跟踪定位拍摄。

本发明的工作原理及使用流程：

通过在拍摄现场安装两台参数完全一样的云台摄像机，再结合软件开发实现的调式程序和定位算法，即可简单实现待拍摄目标的精准定位，两台云台摄像机中的其中一台既可用于拍摄现场的全景画面采集拍摄，也可以用来做定位算法的分析计算数据，相比于旧的跟踪定位装置，本算法可获得更准确的定位数据，同时应用在视频拍摄时可减少一台分析画面的采集摄像机。

在类似课堂模试的教学、培训、会议等现场活动中多摄像机拍摄录制时，一般需要对主讲人和听讲人两个方位分别安排两台云台摄像机，一台用于拍摄该方位的全景画面，另一台用于拍摄该方位中特定情景的特写画面，如听讲人与主讲人的互动特写，通过使用本发明装置，可使用拍摄全景的摄像机做为用于分析画面采集的摄像机，可节省一台摄像机成本投入，也减少施工工作量。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (3)

1.一种基于视频自动跟踪拍摄的定位装置，其特征在于：包括拍摄相机和定位系统，所述定位系统包括定位模块和调试模块，所述调试模块和定位模块均通过电连接所述拍摄相机；

拍摄相机为两台网络云台摄像机，用于定位待拍摄目标相对于拍摄相机的角度位置的两台网络云台摄像机；

目标定位系统，计算分析得到待拍摄目标与网络云台摄像机的相对位置数据，完成定位，计算得到的数据可用于调整网络云台摄像机的拍摄角度和镜头缩放,实现跟踪拍摄；

定位模块，通过在同一墙面的不同位置安装好两台相同的云台摄像机，并接上网线，通过网络将摄像机图像信号传输到定位系统，定位系统通过对两台相机的视频数据进行采集后按照调试好的参数进行计算，确定出场景中同一个目标相对与全景拍摄相机的相对位置和特写拍摄相机的相对位置；

调试模块，按计算得到的位置数据调用特写拍摄相机的云台指定进行跟踪特写拍摄。

2.根据权利要求1所述的一种基于视频自动跟踪拍摄的定位装置，其特征在于：所述两台云台摄像机中的其中一台既可用于拍摄现场的全景画面采集拍摄，也可以用来做定位算法的分析计算数据。

3.根据权利要求1所述的一种基于视频自动跟踪拍摄的定位装置，其特征在于：所述调试模块主要通过用户交互界面实现，交互调试方式包括以下方式，

连接调试：通过调试界面，分别输入特写相机和全景相机的视频信号采集IP和端口，输入完成后点击“连接”按钮，使定位分析程序连接上摄像机，开始定位分析程序调试；

启停调试：通过点击“启动/停止定位”按钮，开始或停止定位分析程序的自动定位功能运行；

全景调试：通过点击“转到全景位”按钮，可以使全景相机镜头讯速转到到对应的拍摄位置，通过点击“设定全景位”按钮，可以将全景相机镜头当前位置设置为全景分析画面的拍摄位置，

定位调试：通过点击“启动定位”按钮，发送指令让全景拍摄相机转到该位置进行拍摄，并保持位置不做变动，“上”、“下”、“左”、“右”、“原点”、“+”、“-”、分别是对两个云台摄像机的拍摄角度、缩放倍数和云台转动速度；

设定调试：参照点中的“设定”按钮是用来确定当前特写画面中的参照物的，在全景画面中选择一个参照物，调整云台位置和镜头缩放倍数后对参照物进行居中放大拍摄，通过点击“转到”按钮，可以对当前参照点的设置进行检验；

保存调试：通过点击“保存设置”按钮，可将当前设置好的四个参照点位置信息数据和云台速度，摄像相IP，端口等数据进行保存，用于分析算法进行定位分析计算。

退出调试：通过点击“退出”按钮，直接退出定位分析程序。

一种基于视频自动跟踪拍摄的定位方法，其特征在于，包括以下步骤：

(1)首先在程序中基于全景分析摄像机云台的云台数据建立三维空间直角坐标系，以全景拍摄摄像机所在点为原点O，特写拍摄摄像机所在点为O',中心的坐标为(0,0)；

(2)特写摄像机中对目标A进行居中放大拍摄时的位置信息为(x',y',z'),两组数据存在某种映射关系f,可使得(x',y',z')＝f(x,y,z)，通过对选定参照物的数据进行计算，f的求解可以分别分解在两个平面上的求解，分别是xoy,yoz两个二维平面直接坐标系，通过建立xoy二维平面直接坐标系，我们可以求出O,O'两点在xoy平台内的位置关系；

(3)求出点O，O'在xoy平台直角坐标系内的位置偏移关系，可转换为求出线段OD，O'D的长度，在全景相机的画面中找一个参照物，将全景拍摄相机和特写相机都调整到对目标进行居中放大拍摄时的位置,然后获取两台相机的当前云台位置，然后通过相机云台指令，获取当前云台位置坐标信息，再结合云台镜头的拍摄范围，可以通过云台坐标值计算出镜头在水平和垂直方向当前的拍摄角度，再结合当前的坐标值，便可以计算出O点和O点在坐标系中的位置偏移关系；

(4)参照点的选择和数量上，参照点的位置也选择在拍摄场景画面中的上下左右四个方向的点，通过4次同样的测量计算，再取4次计算的算数平均值，便可以得到两台相机精准的位置便移关系，得到了两台相机在同一平面的位置关系的数值；

(5)对光源进行居中定位拍摄就只需要对云台进行相应角度的转动调整即可实现，由于像机云台在设计上是镜头透镜光轴与云台原点重合，便可以将光源与透镜的位置关系转换为光源与云台的位置关系，

(6)得到全景拍摄相机中画面像点与云台位置的关系后再经过转换即可得到该物点与特写拍摄相机的云台位置关系，再将位置关系进行计算转换成云台位置数据，通过云台指令调整镜头云台位置，进行居中拍摄；

(7)定位跟踪拍摄时定位系统先获取像点在全景拍摄相机镜头画面中的位置，通过摄像机画面的分辨率计算可得到准确的像点在画面的坐标；

(8)通过界面调试和定位算法，定位分析程序可以准确找出两个相机位置的映射关系和找出全景拍摄相机中的特定物体在特写镜头的云台坐标中的位置；

(9)通过自动定位装置，结合外部的特定物体检测，便可实现全自动的跟踪定位拍摄，也可以通过此装置在全景云台相机的画面不做调整变化的同时，手动点击要特写拍摄的物体，让特写镜头对物体进行跟踪定位拍摄。