CN104361603A - 枪机图像目标标定方法及其系统 - Google Patents

Abstract

一种枪机图像目标标定方法及其系统，属于视频监控技术领域，包括以下步骤：确定枪机图像的消隐线；选择枪机图像的基准线；计算基准线的实际单位长度对应的像素数；选择枪机图像中的目标第一脚点；计算第一脚点所在直线单位长度对应的像素数；计算目标实际宽度在枪机图像中对应的像素数；计算第一头点在枪机图像中的像素坐标；计算目标实际高度在枪机图像中对应的像素数。解决了现有技术仅通过运动检测来提取目标的方法存在误将虚警当作目标来跟踪的技术问题。可以快速标定出不同位置的目标在枪机图像中应占的像素数，以去除高和宽尺寸明显不符合所要跟踪的目标的虚警，降低目标跟踪的错误率。

Description

枪机图像目标标定方法及其系统

技术领域

本发明涉及视频监控技术领域。具体地说，涉及一种枪机图像目标标定方法及其系统。

背景技术

视频监控的基本功能是对用户关心的重点监控区域提供实时监控，并对监控的视频图像进行存储，以便事后回放。由于近年来公共安全防范的迫切需求，视频监控被广泛的应用于监狱、公路、车站、银行、机场和住宅小区等各种对治安要求较高的场所，发挥着重要的作用。随机计算机科学技术的快速发展，视频监控行业也趁着这股东风不断发展，其相关技术正日益成为计算机视觉领域的研究热点，枪球联动系统由于既实现了覆盖大面积的监控区域，又能准确关注目标的细节特写的突出优点正在被广泛使用。在枪球联动系统中，需要对枪机图像中的目标进行检测，只有准确地检测出目标，才能控制球机准确地跟踪放大。仅通过运动检测来提取运动目标的方法，已经满足不了某些对监控要求较高的场景。由于目标所处场景的复杂性，目标本身发生的姿态变化、目标被遮挡，以及枪机视频受天气、光照、阴影等自然条件的影响，降低了多目标跟踪的准确性。在枪机图像中，当目标距离成像系统较近时，目标在图像中占据的像素数较多；相反的，当目标距离成像系统较远时，目标的像只占据数量较小的像素。若目标在枪机图像不同位置的大小已知，那么不仅可以准确地跟踪目标，而且可以有效减少处理器的计算量、去除虚警的干扰。因此，如何较为准确的标定出枪机图像中不同位置的目标大小是现有技术中亟待解决的技术问题。

发明内容

为此，本发明所要解决的技术问题在于现有技术仅通过运动检测来提取目标的方法存在误将虚警当作目标来跟踪，降低了多目标跟踪的准确性，从而提出一种可以快速标定出不同位置的目标在枪机图像中应占的像素数的枪机图像目标标定方法，以去除高和宽尺寸明显不符合所要跟踪的目标的虚警，降低目标跟踪的错误率。

为解决上述技术问题，本发明提供了如下技术方案：

一种枪机图像目标标定方法，包括以下步骤：

确定枪机图像的消隐线，消隐线是平面上的无穷远直线在枪机图像中的投影；

选择枪机图像中与消隐线平行的一条直线作为枪机图像的基准线，基准线在平面上对应的实际线条与无穷远直线平行；

计算枪机图像的基准线单位实际长度对应的像素数；

选择目标的第一脚点，第一脚点是枪机图像中目标轮廓底部一侧的点，且第一脚点所在的实际位置位于平面内；

计算枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数；

根据枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数，计算目标实际宽度在枪机图像中的像素数；

计算第一脚点对应的第一头点在枪机图像中的像素坐标；

根据第一脚点和第一头点在枪机图像中的像素坐标计算目标实际高度在枪机图像中的像素数。

作为优化，消隐线是指地面上的无穷远处地平线在枪机图像上的投影，消隐线与枪机图像的底边平行。

作为优化，确定枪机图像的消隐线的过程包括：

计算枪机图像坐标到球机物理坐标的转换矩阵；

根据转换矩阵，计算枪机图像中心点对应的球机物理坐标；

控制球机转动至枪机图像中心点对应的球机物理坐标，再保持球机云台水平位置不变，将球机云台垂直位置移动至水平，此时球机光轴射出去的射线与地面平行，获取此时的球机物理坐标，根据转换矩阵的逆矩阵，计算对应的枪机图像的点的坐标，该点即为枪机图像的消隐点，消隐点所在的与枪机图像底边平行的直线为枪机图像的消隐线。

作为优化，计算枪机图像的基准线单位实际长度对应的像素数的过程包括：

计算枪机图像坐标到球机物理坐标的转换矩阵；

根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上一点A对应的球机物理坐标P_A；

选取基准线上距离点A若干个像素外的点B，根据枪机图像坐标到球机物理坐标的转换矩阵计算对应的球机物理坐标P_B；

根据球机物理坐标P_A、球机物理坐标P_B以及球机的安装高度，计算基准线上点A到点B的实际距离L_AB；

计算得到枪机图像的基准线单位实际长度对应的像素数，基准线单位实际长度对应的像素数是基准线上点A到点B之间的像素数除以实际距离L_AB得到的值。

作为优化，计算枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数的过程包括：

计算第一脚点所在的直线与枪机图像的消隐线之间的距离；

根据枪机图像的基准线与消隐线之间的距离以及第一脚点所在的直线与枪机图像的消隐线之间的距离，计算第一脚点所在的直线单位实际长度对应的像素数。

作为优化，计算出第一脚点对应的第一头点在枪机图像中的像素坐标的过程包括：

建立世界坐标系；

根据枪机图像坐标系中第一脚点的坐标、枪机图像坐标到世界坐标系的转换公式，计算出第一脚点在世界坐标系中的坐标；

根据第一脚点在世界坐标系中的坐标，得到第一头点在世界坐标系中的坐标；

利用世界坐标到枪机图像坐标的转换公式，根据第一头点在世界坐标系中的坐标，计算出第一头点在枪机图像坐标系中的坐标。

作为优化，基准线为枪机图像中位于消隐线和底边之间距离消隐线四分之三处的直线。

一种枪机图像目标标定系统，包括：

消隐线确定模块：用于确定枪机图像的消隐线；

基准线选择模块：用于选择枪机图像中与消隐线平行的一条直线作为枪机图像的基准线，基准线在平面上对应的实际线条与无穷远直线平行；

基准线单位实际长度对应的像素数计算模块：用于计算枪机图像的基准线单位实际长度对应的像素数；

第一脚点选择模块：用于选择目标的第一脚点，第一脚点是枪机图像中目标轮廓底部一侧的点，且第一脚点所在的实际位置位于平面内；

第一脚点所在直线单位实际长度对应的像素数计算模块：用于计算枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数；

目标实际宽度对应的像素数计算模块：用于计算目标实际宽度在枪机图像中的像素数；

第一头点的像素坐标计算模块：用于计算第一脚点对应的第一头点在枪机图像中的像素坐标；

目标实际高度对应的像素数计算模块：用于根据第一脚点和第一头点在枪机图像中的像素坐标求出目标实际高度在枪机图像中的像素数。

作为优化，消隐线确定模块包括：

第一转换矩阵计算单元：用于计算枪机图像坐标到球机物理坐标的转换矩阵；

枪机图像中心点对应的球机物理坐标计算单元：用于根据转换矩阵计算枪机图像中心点对应的球机物理坐标；

消隐点获取单元：用于获取枪机图像的消隐点，即可确定枪机图像的消隐线。

作为优化，基准线单位实际长度对应的像素数计算模块包括：

第二转换矩阵计算单元：用于计算枪机图像坐标到球机物理坐标的转换矩阵；

球机物理坐标P_A计算单元：用于根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上一点A对应的球机物理坐标P_A；

球机物理坐标P_B计算单元：用于根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上点A一侧若干个像素外的点B对应的球机物理坐标P_B；

实际距离L_AB计算单元：用于根据球机物理坐标P_A、球机物理坐标P_B以及球机的安装高度，计算基准线上的点A到点B的实际距离L_AB；

基准线单位实际长度对应的像素数计算单元：用于将基准线上的点A到点B之间的像素数除以实际距离L_AB得到基准线单位实际长度对应的像素数。

作为优化，第一脚点所在直线单位实际长度对应的像素数计算模块包括：

第一脚点与消隐线的距离计算单元：用于计算第一脚点所在的直线与枪机图像的消隐线之间的距离；

第一脚点所在的直线单位实际长度对应的像素数计算单元：用于根据枪机图像的基准线与消隐线之间的距离以及第一脚点所在的直线与枪机图像的消隐线之间的距离，计算第一脚点所在的直线单位实际长度对应的像素数。

作为优化，第一头点的像素坐标计算模块包括：

世界坐标系建立单元：用于建立世界坐标系；

第一脚点的世界坐标系坐标计算单元：用于根据枪机图像坐标系中第一脚点的坐标、枪机图像坐标到世界坐标系的转换公式，计算出第一脚点在世界坐标系中的坐标；

第一头点的世界坐标系坐标计算单元：用于根据第一脚点在世界坐标系中的坐标，得到第一头点在世界坐标系中的坐标；

第一头点在枪机图像坐标系中的像素坐标计算单元：用于利用世界坐标到枪机图像坐标的转换公式，根据第一头点在世界坐标系中的坐标，计算出第一头点在枪机图像坐标系中的像素坐标。

本发明的上述技术方案相比现有技术具有以下优点：

本发明提供的枪机图像目标标定方法及其系统，根据枪机图像中的目标第一脚点计算目标第一脚点所在的与基准线平行的直线单位实际长度对应的像素数，来确定目标的实际宽度在枪机图像中应占的像素数，然后根据世界坐标系与枪机图像坐标系的相互转换公式，计算第一头点在枪机图像坐标系中的像素坐标，后计算目标的实际高度在枪机图像中应该占的像素数。由此，可以将那些实际高度和宽度明显不符合所要追踪目标尺寸的虚警去除掉，不仅可以有效减少枪球联动系统的计算量，而且使其能更准确地追踪目标。

本发明提供的枪机图像目标标定方法及其系统，还可以应用于目标检测技术。例如当目标为行人时，可以为行人检测提供枪机图像不同位置行人的像素大小，在基于模板匹配的行人检测时，可以利用标定信息，采用大小合适的模板进行检测即可，减少了不必要的模板与待检测图像块的匹配，降低了行人检测的运算量。

附图说明

图1是本发明一个实施例的一种枪机图像目标标定方法流程图；

图2是本发明实施例2的一种枪机图像目标标定方法流程图；

图3是本发明实施例3的一种枪机图像目标标定方法流程图；

图4是本发明一个实施例的消隐线y＝y_v示意图；

图5是本发明一个实施例的基准线AB示意图；

图6是本发明一个实施例的计算点A和点B之间实际距离L_AB的示意图；

图7是本发明一个实施例的计算第一脚点所在直线单位实际长度对应像素数的示意图；

图8是本发明一个实施例的世界坐标系与摄像机坐标系的转换关系示意图；

图9是根据本发明一个实施例进行目标标定的结果示意图；

图10是本发明一个实施例的枪机图像目标标定系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的内容，下面结合附图和实施例对本发明所提供的技术方案作进一步的详细描述。

实施例1

在进行枪机图像目标标定之前，先要对枪机图像进行畸变校正。因为广角摄像机获取的图像会存在一定的畸变，从而导致平面上与光轴垂直的直线上，靠近光轴部分单位实际长度在枪机图像中对应的像素数比远离光轴部分单位长度对应的像素数多一点。进行畸变校正后，平面上与光轴垂直的直线上单位实际长度对应的像素数是一定的。

如图1所示，本实施例提供了一种枪机图像目标标定方法，包括以下步骤：

S1：确定枪机图像的消隐线。消隐线是指平面上的无穷远直线在枪机图像上的投影，平面可以是地面也可以是与地面成任意角度的平面。因枪机的角度原因，消隐线可能在枪机图像中也可能在枪机图像外，由于消隐线是一条直线，因此求出一个消隐点的坐标即可得到枪机图像的消隐线，在单目视觉系统中，通常利用直线的聚类和分析方法，实现对图像中消隐点的位置计算。在对枪球联动监控系统中的枪机图像进行目标标定时，可利用球机配合枪机来获取枪机图像的消隐点。

S2：选择枪机图像的基准线，即选择枪机图像中与消隐线平行的一条直线作为枪机图像的基准线。基准线在平面上对应的实际线条与无穷远直线平行，即基准线对应的实际直线在平面内且与消隐线在平面内所对应的无穷远直线平行。此时，基准线在平面内的实际长度与其在枪机图像中的像素数成正比关系。

S3：计算基准线单位实际长度对应的像素数。在枪球联动监控系统中标定枪机图像目标时可采用以下方法计算：第一步，计算枪机图像坐标到球机物理坐标的转换矩阵；第二步，根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上一点A对应的球机物理坐标P_A；第三步，选取基准线上点A一侧若干个像素外的点B，根据枪机图像坐标到球机物理坐标的转换矩阵计算出对应的球机物理坐标P_B；第四步，根据球机物理坐标P_A、球机物理坐标P_B以及球机的安装高度，即球机距离平面的高度，计算基准线上点A到点B的实际距离L_AB；第五步，计算得到枪机图像的基准线单位实际长度对应的像素数，基准线单位实际长度对应的像素数是基准线上点A到点B之间的像素数除以实际距离L_AB得到的值。优选地，点A取枪机图像基准线的中点，点B取基准线上距离点A三分之一枪机图像宽外的点。

S4：选择枪机图像中目标的第一脚点。第一脚点是枪机图像中目标轮廓底部一侧的点，且第一脚点所在的实际位置位于平面内，此时平面内第一脚点所在的与无穷远直线平行的直线的实际长度与其在枪机图像中所占像素数是正比关系，且在枪机图像中当第一脚点与消隐线的距离、消隐线与基准线的距离以及基准线单位实际长度对应的像素数已知时，可以利用三角形相似原理，计算第一脚点所在的与无穷远直线平行的直线的单位实际长度对应的像素数。第一脚点一般应选取其所在的与基准线平行的直线上目标所占的像素数尽量多的那一点，但是仍要保证第一脚点所对应的实际点在平面内。

S5：计算第一脚点所在直线单位长度对应的像素数，即计算枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数。具体步骤为：首先，计算第一脚点所在的直线与枪机图像的消隐线之间的距离；然后，根据枪机图像的基准线与消隐线之间的距离以及第一脚点所在的直线与枪机图像的消隐线之间的距离，计算第一脚点所在的直线单位实际长度对应的像素数。因为平面内第一脚点所在的实际直线与基准线所在的实际直线平行，因此在它们上面分别取单位实际长度的线段AE、CF，分别将线段AE、CF左边的点A、C连接起来、右边的点E、F连接起来，直线AC与EF平行，会在无穷远处相交，因此在枪机图像中，AC、EF相交于消隐线上的点V’。因第一脚点在枪机图像中的位置已知，因此可以计算出其与基准线的距离。而基准线单位实际长度对应的像素数已经在步骤S3中计算出。因此可以根据三角形相似原理计算出枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数。

S6：计算目标实际宽度在枪机图像中对应的像素数。已经计算出枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数，就可以将目标的实际宽度乘以第一脚点所在的与基准线平行的直线单位实际长度对应的像素数，来计算出目标宽度在枪机图像中的像素数。

S7：计算第一头点在枪机图像中的像素坐标，即计算出第一脚点对应的第一头点在枪机图像中的像素坐标。在平面与地面的夹角已知的前提下，可以根据枪机图像坐标系与世界坐标系的转换公式计算出第一脚点在世界坐标系中的坐标，然后根据目标的实际高度计算出与第一脚点对应的目标第一头点在世界坐标系中的坐标，再利用世界坐标系与枪机图像坐标系的转换公式计算第一头点在枪机图像坐标系中的像素坐标。

S8：计算目标实际高度在枪机图像中对应的像素数，即根据第一脚点和第一头点在枪机图像中的像素坐标求出目标实际高度在枪机图像中的像素数。将第一脚点在枪机图像中的纵坐标减去第一头点的纵坐标即可得出目标高度在枪机图像中对应的像素数。

本实施例的用途为：当所要追踪的目标为人或其他目标时，可以快速标定出枪机图像不同位置目标的宽高，并将长和宽度尺寸明显不符合所要追踪的目标的虚警去除掉，不仅省去了对虚警的计算处理过程、减小了系统的信息处理工作量，还可以有效去除虚警对目标检测的干扰、减少目标检测的错误率。假如所要追踪的目标为人，可以在配合使用的处理器中设定人的宽度范围以及高度范围，这个设定的范围应当包含所有人的尺寸以及人处于不同角度时其宽和高的尺寸，计算该宽和高的尺寸范围在枪机图像中应占的像素数，当其实际所占的像素数与应占的像素数差值超过一定阈值时，包括当其实际所占的像素数大于人的最大高度和宽度应占的像素数、以及当其实际所占的像素数小于人的最小高度和宽度应占的像素数，则可判断其不是所要追踪的目标，而是虚警，从而不对其进行追踪。可以利用该方法去除被风吹动的纸片或树叶等尺寸过小的虚警，也可以去除汽车等尺寸过大的虚警。

本实施例提供的枪机图像目标标定方法，还可以应用于目标检测技术。

例如当目标为行人时，可以为行人检测提供枪机图像不同位置行人的像素大小，在基于模板匹配的行人检测时，可以利用标定信息，采用大小合适的模板进行检测即可，减少了不必要的模板与待检测图像块的匹配，降低了行人检测的运算量。

实施例2

如图2所示，本实施例提供了一种枪机图像目标标定的方法，包括如下步骤：

本实施例仅适用于枪机监控对象为地面上的目标时。且在进行枪机图像目标标定之前，需要对枪机图像进行畸变校正。

步骤S21：确定枪机图像的消隐线。当枪机的监控对象为地面上的目标时，消隐线即是地面上无穷远处的地平线在枪机图像中的投影，为方便后续计算，此处设定枪机的成像结构底边与地面平行，此时，消隐线与枪机图像的底边平行。枪机图像上面显示的目标位置距离距枪机的位置远、下面显示的目标实际位置距离枪机位置近。由于利用直线的聚类和分析方法来计算枪机图像的消隐点的方法依赖于直线检测的结果和统计分析的结果，并且计算量大。当本实施例应用于枪球联动监控系统时，可利用球机配合枪机来确定枪机图像的消隐线，具体过程为：第一步，计算枪机图像坐标到球机物理坐标的转换矩阵；第二步，根据该转换矩阵计算枪机图像中心点对应的球机物理坐标；第三步，控制球机转动至枪机图像中心点对应的球机物理坐标，再保持球机云台水平位置不变，将球机云台垂直位置移动至水平，此时球机光轴射出去的射线与地面平行，获取此时的球机物理坐标，根据转换矩阵的逆矩阵，计算对应的枪机图像的点的坐标，该点即为枪机图像的消隐点，消隐点所在的与枪机图像底边平行的直线为枪机图像的消隐线。枪机图像坐标到球机物理坐标的转换矩阵的现有计算方法有很多种，本实施例可采用以下方法：首先枪机控制球机在1X倍率下按照一定步幅自动扫描整个球机覆盖空间；在扫描过程中，当球机画面和枪机画面达到最佳匹配时，即可计算出枪机图像坐标系到球机物理坐标系转换矩阵的粗略值H’；接着控制球机倍率放大至2X，计算出球机光心在球机图像的像素坐标；在枪机图像中取K个(K一般取9或16)特征点，利用枪机控制球机，使球机图像光心像素坐标与枪机中的特征点匹配，得到了K个点对，最后通过这K个点对，对H’进行修正，得到较为精确的转换矩阵H。

步骤S22：选择枪机图像中与消隐线平行的一条直线作为枪机图像的基准线。基准线在地面上对应的实际线条与无穷远处地平线平行，优选地，选取枪机图像中位于消隐线和底边之间距离消隐线四分之三处的直线为消隐线。

步骤S23：计算枪机图像的基准线单位实际长度对应的像素数。当本实施例应用于枪球联动监控系统，可利用球机配合枪机来计算枪机图像的基准线单位实际长度对应的像素数，具体过程为：首先，根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上一点A对应的球机物理坐标P_A；然后，选取基准线上点A一侧若干个像素外的点B，根据枪机图像坐标到球机物理坐标的转换矩阵计算出对应的球机物理坐标P_B；再根据球机物理坐标P_A、球机物理坐标P_B以及球机的安装高度，即球机距离地面的高度，计算基准线上点A到点B的实际距离L_AB；最后，计算得到枪机图像的基准线单位实际长度对应的像素数，基准线单位实际长度对应的像素数是基准线上点A到点B之间的像素数除以实际距离L_AB得到的值。优选地，点A取枪机图像基准线的中点，点B取基准线上距离点A三分之一枪机图像宽外的点。

步骤S24：选择目标的第一脚点，第一脚点是枪机图像中目标轮廓底部一侧的点，且第一脚点所在的实际位置位于地面上。

步骤S25：计算枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数。

步骤S26：计算目标实际宽度在枪机图像中的像素数。

步骤S27：计算出第一脚点对应的第一头点在枪机图像中的像素坐标。具体步骤为：因为第一脚点在枪机图像中的像素坐标是已知的，因此可直接根据枪机图像坐标系与世界坐标系的转换公式计算出第一脚点在世界坐标系中的坐标，然后根据目标的实际高度计算出与第一脚点对应的目标第一头点在世界坐标系中的坐标，再利用世界坐标系与枪机图像坐标系的转换公式计算第一头点在枪机图像坐标系中的像素坐标。

步骤S28：根据第一脚点和第一头点在枪机图像中的像素坐标求出目标实际高度在枪机图像中的像素数。

实施例3

如图3所示，本实施例提供了一种枪机图像目标标定方法，具体步骤如下所述。

本实施例适用于枪球联动监控系统且枪球联动监控系统的监控对象为地面上的目标时，此时枪机图像采集的也是位于地面上的目标的图像，消隐线是指地面上的无穷远处地平线在枪机图像上的投影，为方便后续计算与说明，设定枪机的图像成像部件底边与地面平行，此时消隐线与枪机图像的底边平行。枪机图像上面显示的目标实际所在位置距枪机的所在位置远、下面显示的目标实际所在位置距离枪机所在位置近。

枪机图像坐标系：以枪机图像左上角为原点O，x轴为沿着图像上边沿的直线，向右为x轴正方向，y轴为沿着图像左侧边沿的直线，向下为y轴正方向。

在开始枪机图像目标标定步骤前，需要确定或测量枪球联动监控装置的安装高度h，单位为米，即枪机和球机距离地面的实际安装高度，也即OD的实际长度，可以通过尺子进行测量，也可以通过楼层(立杆)的高度进行估算。还需要对枪机图像进行畸变校正。

步骤S31：计算枪机图像坐标到球机物理坐标的转换矩阵H。

步骤S32：根据转换矩阵H，计算枪机图像中心点M对应的球机物理坐标(P_M，T_M)。

步骤S33：获取枪机图像的消隐线。控制球机转动至球机物理坐标(P_M，T_M)，再保持球机云台水平位置不变，将球机云台垂直位置移动至水平，此时球机光轴射出去的射线与地面平行，根据消隐点原理，可知射线与地面在无穷远的交点即为消隐点，获取此时的球机物理坐标(P_M，0)，根据转换矩阵的逆矩阵H^-1，计算对应的枪机图像的点V的坐标(x_v，y_v)，该点即为枪机图像的消隐点，且该点所在的与枪机图像底边平行的直线y＝y_v，即为枪机图像的消隐线。如图4所示，本实施例中设定枪机图像的消隐线在枪机图像内(即y_v≥0)，实际应用中，消隐线也可能在枪机图像外(即y_v＜0)，但是不管消隐线是在枪机图像中还是枪机图像外，对本方法的计算没有影响。

步骤S34：选取枪机图像的基准线。选择枪机图像中与消隐线平行的一条直线作为枪机图像的基准线AB(y＝y_A)。优选枪机图像中位于消隐线和底边之间距离消隐线四分之三处的直线作为枪机图像的基准线。假定枪机图像的高为h_wac，单位为像素，那么即是选取y＝y_A＝(h_wac-y_v)*3/4+y_v为枪机图像的基准线，如图5所示。

步骤S35：计算基准线上点A对应的球机物理坐标P_A。如图5所示，选取基准线中点A，根据枪机图像坐标到球机物理坐标的转换矩阵H，计算出对应的球机物理坐标P_A(P₁，T₁)。

步骤S36：计算基准线上点B对应的球机物理坐标P_B。如图5所示，选取基准线上A点右侧n个像素外的点B，根据枪机图像坐标到球机物理坐标的转换矩阵H，计算出对应的球机物理坐标P_B(P₂，T₂)，n一般取三分之一枪机图像宽的像素数。

步骤S37：计算点A到点B的实际距离L_AB。根据球机物理坐标P_A(P₁，T₁)、球机物理坐标P_B(P₂，T₂)以及球机的安装高度h，计算点A到点B的实际距离L_AB，如图6所示，点A到点B的实际距离L_AB计算过程如下：

球机光心点O在地面的投影为D，为了一般化，假定BD小于AD，延长BD到C点，使AD＝CD，过B点作BE垂直AD于E，则有：

在直角三角形ODC中，有：AD＝CD＝ODtanΦ₁

在直角三角形ODB中，有：BD＝ODtanΦ₂

在直角三角形BDE中，有：BE＝BDsinθ,DE＝BDcosθ

在直角三角形AEB中，根据勾股定理，有：

$\mathrm{AB}=\sqrt{{\mathrm{AE}}^2+{\mathrm{BE}}^2}=\sqrt{{(\mathrm{AD}-\mathrm{DE})}^2+{\mathrm{BE}}^2}$

$\mathrm{AB}=\sqrt{{(h\tan {\mathrm{\Φ}}_1-h\tan {\mathrm{\Φ}}_2\cos \mathrm{\θ})}^2+{\left(h\tan {\mathrm{\Φ}}_2\sin \mathrm{\θ}\right)}^2}$

$\mathrm{AB}=h\sqrt{{\tan }^2{\mathrm{\Φ}}_1+{\tan }^2{\mathrm{\Φ}}_2-2\tan {\mathrm{\Φ}}_1\tan {\mathrm{\Φ}}_2\cos \mathrm{\θ}}$

其中：

AB的长度即为点A和点B之间的实际距离L_AB；

Φ₁为球机摄像机的主光轴经过点A时，球机主光轴与竖直方向所成的夹角，与球机物理坐标P_A中的T₁相对应；

Φ₂为球机摄像机的主光轴经过点B时，球机主光轴与竖直方向所成的夹角，与球机物理坐标P_B中的T₂相对应；

θ为平面OBD与平面OAD之间的夹角，也即是球机光轴从经过A点移动到经过B点，移动的水平角的大小。

步骤S38：计算枪机图像的基准线单位实际长度对应的像素数。将枪机图像中的点A和点B之间的像素数n除以A点到B点的实际距离L_AB，即为枪机图像基准线单位长度对应的像素数。

步骤S39：选择目标的第一脚点，第一脚点是枪机图像中目标轮廓底部一侧的点，且第一脚点所在的实际位置位于地面上。

步骤S40：计算第一脚点与消隐线的距离。计算目标第一脚点所在的与基准线平行的直线与枪机图像的消隐线之间的距离，即y-y_v，y为目标第一脚点所在直线的纵坐标。

步骤S41：根据枪机图像的基准线与消隐线之间的距离，即y_A-y_V，计算第一脚点所在直线单位长度对应的像素数。如图7所示，假定第一脚点所在的直线为基准线AB下方的CF，设C点到F点的实际距离为1m，取基准线AB上的实际距离为1m的线段AE，则在枪机图像中，分别连接CA、FE并延长，则它们必交于一点V’，且该点V’位于枪机图像的消隐线上，那么在枪机图像中，根据三角形相似原理，线段CF对应的像素数为n/s*(y-y_V)/(y_A-y_V)，即目标第一脚点所在的直线单位长度对应的像素数为n/s*(y-y_V)/(y_A-y_V)。其中，n为枪机图像中AB之间的像素数；s为AB之间的实际距离L_AB；n/s为AB所在直线的单位实际长度对应的像素数，即AE在枪机图像中的像素数；y_V为枪机图像的消隐线的纵坐标；y_A为枪机图像的基准线纵坐标，y为所求直线的纵坐标，也即目标的第一脚点所在直线的纵坐标。

步骤S42：计算出了枪机图像中目标第一脚点所在直线单位实际长度对应的像素数，就可以计算目标实际宽度在枪机图像中的像素数。例如目标脚点处的宽度为0.5米，其第一脚点所在的直线单位实际长度对应的像素数为40，则目标宽度在枪机图像中所占的像素数为0.5*40＝20个像素数。

步骤S43：计算出目标第一脚点对应的目标第一头点在枪机图像中的像素坐标。本实施例的这一步计算有一个前提条件是，计算的目标都位于地面上。根据射影几何，首先利用枪机图像坐标系到世界坐标系的转换公式，根据枪机图像中目标的第一脚点的像素坐标计算第一脚点在世界坐标系中的坐标；然后根据目标的实际高度计算与目标第一脚点对应的目标第一头点在世界坐标系中的坐标；最后利用世界坐标系到枪机图像坐标系的转换公式，计算目标第一头点在枪机图像坐标系中的像素坐标。具体计算过程如下：

世界坐标系到枪机图像坐标系的转换包括：世界坐标系到摄像机坐标系的转换、摄像机坐标系到枪机图像坐标系的转换。

世界坐标系到摄像机坐标系的转换可以通过旋转和平移得到，摄像机坐标系到图像坐标系的转换原理为：

$\left[\begin{array}{ccc}{f}_x& 0& C_x\\ 0& f_y& C_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=S\begin{array}{}\end{array}\left[\begin{array}{c}{C}_x+\frac{x}{z}{f}_x\\ C_y+\frac{y}{z}{f}_y\\ 1\end{array}\right]$

其中：

f_x为枪机焦距对应的横坐标方向像素数，通过枪机自标定获取；

f_y为枪机焦距对应的横坐标方向像素数，通过枪机自标定获取；

C_x为光心在枪机图像的横坐标，通过枪机自标定获取；

C_y为光心在枪机图像的纵坐标，通过枪机自标定获取；

S为尺度因子；

[x y z]^T为摄像机坐标系中的点；

${\left[\begin{array}{cc}{C}_x+\frac{x}{z}{f}_x& C_y+\frac{y}{z}{f}_y\end{array}\right]}^T$ 为枪机图像坐标系中的点。

如图8所示，枪机中心O’在地面的投影点为O，枪机光轴与地面交于点G，以点O为坐标原点，OG方向为z轴正方向，O’O方向为y轴正方向，根据右手坐标系，确定x轴正方向，建立世界坐标系。

假定此处目标为行人，并假定目标的高度为1.7米，宽度为0.5米，已知目标第一脚点的世界坐标为[x 0 z]^T，则其第一头点世界坐标为[x -1.7 z]^T，为求世界坐标在枪机图像中对应的像素坐标，首先将世界坐标系转换到摄像机坐标系。

此处采用先平移，后旋转的策略。先平移，也即是在Y分量上加h，h为枪机的安装高度。因为枪机和球机安装高度一致，所以此处可以采用配置的球机安装高度h。旋转时是绕着X轴逆时针旋转角度α，则旋转矩阵为：

$\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]$

假定f_x＝f_y＝f，则枪机的内参为：

$\left[\begin{array}{ccc}f& 0& C_x\\ 0& f& C_y\\ 0& 0& 1\end{array}\right]$

则目标第一脚点从世界坐标系到枪机图像坐标系的过程为：

(1)平移枪机安装高度h

[x 0 z]^T→[x h z]^T

(2)按X轴逆时针旋转α，得到目标第一脚点在摄像机坐标系中的坐标：

[x h z]^T→[x hcosα-zsinα hsinα+zcosα]^T

(3)从摄像机坐标系转换为枪机图像坐标系

${\left[\begin{array}{ccc}{C}_x+\frac{\mathrm{xf}}{h\sin \mathrm{\α}+z\cos \mathrm{\α}}& C_y+\frac{f(h\cos \mathrm{\α}-z\sin \mathrm{\α})}{h\sin \mathrm{\α}+z\cos \mathrm{\α}}& 1\end{array}\right]}^T$

同法，得到目标第一头点在图像坐标系中的坐标，如下：

${\left[\begin{array}{ccc}{C}_x+\frac{\mathrm{xf}}{(h-1.7)\sin \mathrm{\α}+z\cos \mathrm{\α}}& C_y+\frac{f((h-1.7)\cos \mathrm{\α}-z\sin \mathrm{\α})}{(h-1.7)\sin \mathrm{\α}+z\cos \mathrm{\α}}& 1\end{array}\right]}^T$

因为在枪机图像中，首先定位的是目标第一脚点的像素坐标，也即是目标第一脚点在枪机图像中的像素坐标是已知的，不妨设为[u v]^T，则有：

$u=C_x+\frac{\mathrm{xf}}{h\sin \mathrm{\α}+z\cos \mathrm{\α}}$

$v=C_y+\frac{f(h\cos \mathrm{\α}-z\sin \mathrm{\α})}{h\sin \mathrm{\α}+z\cos \mathrm{\α}}$

解方程组，得到目标第一脚点在图8所示世界坐标系中的x、z的值：

$z=\frac{\mathrm{fh}\cos \mathrm{\α}-(v-C_y)h\sin \mathrm{\α}}{(v-C_y)\cos \mathrm{\α}+f\sin \mathrm{\α}}$

$x=\frac{(u-C_x)(h\sin \mathrm{\α}+z\cos \mathrm{\α})}{f}$

设目标第一头点在枪机图像中的像素坐标为[u′ v′]^T，那么：

$u^{\′}=C_x+\frac{\mathrm{xf}}{(h-1.7)\sin \mathrm{\α}+z\cos \mathrm{\α}}$

$v^{\′}=C_y+\frac{f\left(\right(h-1.7)\cos \mathrm{\α}-z\sin \mathrm{\α})}{(h-1.7)\sin \mathrm{\α}+z\cos \mathrm{\α}}$

将x，z代入上公式，即可得到，目标第一头点在枪机图像中的像素坐标。

可用同样方法求目标的第二脚点的世界坐标，假定目标宽度为0.5米，则有：

[x+0.5 0 z]^T

转换为枪机图像坐标为：

${\left[\begin{array}{ccc}{C}_x+\frac{f(x+0.5)}{h\sin \mathrm{\α}+z\cos \mathrm{\α}}& C_y+\frac{f(h\cos \mathrm{\α}-z\sin \mathrm{\α})}{h\sin \mathrm{\α}+z\cos \mathrm{\α}}& 1\end{array}\right]}^T$

对应目标的第二头点转换为枪机图像坐标为：

${\left[\begin{array}{ccc}{C}_x+\frac{f(x+0.5)}{(h-1.7)\sin \mathrm{\α}+z\cos \mathrm{\α}}& C_y+\frac{f((h-1.7)\cos \mathrm{\α}-z\sin \mathrm{\α})}{(h-1.7)\sin \mathrm{\α}+z\cos \mathrm{\α}}& 1\end{array}\right]}^T$

步骤S44：根据目标第一脚点和第一头点在枪机图像中的像素坐标计算目标实际高度在枪机图像中的像素数。将目标第一脚点和目标第一头点在枪机图像中的像素坐标纵坐标相减即可得出目标高度在枪机图像中所占的像素数，还可以计算出目标在枪机图像中的倾斜角度。

根据本实施例在枪机图像中进行目标标定的标定结果如图9所示。

实施例4

如图10所示，本实施例提供了一种枪机图像目标标定系统，包括：

消隐线确定模块M1：用于确定枪机图像的消隐线。具体包括：第一转换矩阵计算单元M11，用于计算枪机图像坐标到球机物理坐标的转换矩阵；枪机图像中心点对应的球机物理坐标计算单元M12，用于根据转换矩阵计算枪机图像中心点对应的球机物理坐标；消隐点获取单元M13，用于获取枪机图像的消隐点，即可确定枪机图像的消隐线。

基准线选择模块M2：用于选择枪机图像中与消隐线平行的一条直线作为枪机图像的基准线，基准线在平面上对应的实际线条与无穷远直线平行；

基准线单位实际长度对应的像素数计算模块M3：用于计算枪机图像的基准线单位实际长度对应的像素数。具体包括：第二转换矩阵计算单元M31，用于计算枪机图像坐标到球机物理坐标的转换矩阵；球机物理坐标P_A计算单元M32，用于根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上一点A对应的球机物理坐标P_A；球机物理坐标P_B计算单元M33，用于根据枪机图像坐标到球机物理坐标的转换矩阵计算基准线上点A一侧若干个像素外的点B对应的球机物理坐标P_B；实际距离L_AB计算单元M34，用于根据球机物理坐标P_A、球机物理坐标P_B以及球机的安装高度，计算基准线上的点A到点B的实际距离L_AB；基准线单位实际长度对应的像素数计算单元M35，用于将基准线上的点A到点B之间的像素数除以实际距离L_AB得到基准线单位实际长度对应的像素数。

第一脚点选择模块M4：用于选择目标的第一脚点，第一脚点是枪机图像中目标轮廓底部一侧的点，且第一脚点所在的实际位置位于平面内。

第一脚点所在直线单位实际长度对应的像素数计算模块M5：用于计算枪机图像中第一脚点所在的与基准线平行的直线单位实际长度对应的像素数。具体包括：第一脚点与消隐线的距离计算单元M51，用于计算第一脚点所在的直线与枪机图像的消隐线之间的距离；第一脚点所在的直线单位实际长度对应的像素数计算单元M52，用于根据枪机图像的基准线与消隐线之间的距离以及第一脚点所在的直线与枪机图像的消隐线之间的距离，计算第一脚点所在的直线单位实际长度对应的像素数。

目标实际宽度对应的像素数计算模块M6：用于计算目标实际宽度在枪机图像中的像素数。

第一头点的像素坐标计算模块M7：用于计算第一脚点对应的第一头点在枪机图像中的像素坐标。具体包括：世界坐标系建立单元M71，用于建立世界坐标系；第一脚点的世界坐标系坐标计算单元M72，用于根据枪机图像坐标系中第一脚点的坐标、枪机图像坐标到世界坐标系的转换公式，计算出第一脚点在世界坐标系中的坐标；第一头点的世界坐标系坐标计算单元M73，用于根据第一脚点在世界坐标系中的坐标，得到第一头点在世界坐标系中的坐标；第一头点在枪机图像坐标系中的像素坐标计算单元M74，用于利用世界坐标到枪机图像坐标的转换公式，根据第一头点在世界坐标系中的坐标，计算出第一头点在枪机图像坐标系中的像素坐标。

目标实际高度对应的像素数计算模块M8：用于根据第一脚点和第一头点在枪机图像中的像素坐标求出目标实际高度在枪机图像中的像素数。

本实施例提供的枪机图像目标标定系统，能够确定目标实际高度和宽度在枪机图像中应占的像素数，因此可以将那些实际高度和宽度明显不符合所要追踪目标尺寸的虚警去除掉，不仅可以有效减少枪球联动系统的计算量、，而且使其能更准确地追踪目标。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种枪机图像目标标定方法，其特征在于包括以下步骤：

确定枪机图像的消隐线，所述消隐线是平面上的无穷远直线在枪机图像中的投影；

选择枪机图像中与所述消隐线平行的一条直线作为枪机图像的基准线，所述基准线在所述平面上对应的实际线条与所述无穷远直线平行；

计算枪机图像的所述基准线单位实际长度对应的像素数；

选择目标的第一脚点，所述第一脚点是枪机图像中目标轮廓底部一侧的点，且所述第一脚点所在的实际位置位于所述平面内；

计算枪机图像中所述第一脚点所在的与所述基准线平行的直线单位实际长度对应的像素数；

根据枪机图像中所述第一脚点所在的与所述基准线平行的直线单位实际长度对应的像素数，计算目标实际宽度在枪机图像中的像素数；

计算所述第一脚点对应的第一头点在枪机图像中的像素坐标；

根据所述第一脚点和所述第一头点在枪机图像中的像素坐标计算目标实际高度在枪机图像中的像素数。

2.如权利要求1所述的枪机图像目标标定方法，其特征在于，所述消隐线是指地面上的无穷远处地平线在枪机图像上的投影，所述消隐线与枪机图像的底边平行。

3.如权利要求1或2所述的枪机图像目标标定方法，其特征在于，所述确定枪机图像的消隐线的过程包括：

计算枪机图像坐标到球机物理坐标的转换矩阵；

根据所述转换矩阵，计算枪机图像中心点对应的球机物理坐标；

控制球机转动至枪机图像中心点对应的所述球机物理坐标，再保持球机云台水平位置不变，将球机云台垂直位置移动至水平，此时球机光轴射出去的射线与地面平行，获取此时的球机物理坐标，根据所述转换矩阵的逆矩阵，计算对应的枪机图像的点的坐标，该点即为枪机图像的消隐点，所述消隐点所在的与枪机图像底边平行的直线为枪机图像的所述消隐线。

4.如权利要求1或2所述的枪机图像目标标定方法，其特征在于，所述计算枪机图像的所述基准线单位实际长度对应的像素数的过程包括：

计算枪机图像坐标到球机物理坐标的转换矩阵；

根据所述枪机图像坐标到球机物理坐标的转换矩阵计算所述基准线上一点A对应的球机物理坐标P_A；

选取所述基准线上距离点A若干个像素外的点B，根据所述枪机图像坐标到球机物理坐标的转换矩阵计算对应的球机物理坐标P_B；

根据所述球机物理坐标P_A、所述球机物理坐标P_B以及球机的安装高度，计算所述基准线上点A到点B的实际距离L_AB；

计算得到枪机图像的所述基准线单位实际长度对应的像素数，所述基准线单位实际长度对应的像素数是所述基准线上点A到点B之间的像素数除以所述实际距离L_AB得到的值。

5.如权利要求1-4中任一项所述的枪机图像目标标定方法，其特征在于，所述计算枪机图像中所述第一脚点所在的与所述基准线平行的直线单位实际长度对应的像素数的过程包括：

计算所述第一脚点所在的直线与枪机图像的所述消隐线之间的距离；

根据枪机图像的所述基准线与所述消隐线之间的距离以及所述第一脚点所在的直线与枪机图像的所述消隐线之间的距离，计算所述第一脚点所在的直线单位实际长度对应的像素数。

6.如权利要求1-5中任一项所述的枪机图像目标标定方法，其特征在于，所述计算出所述第一脚点对应的第一头点在枪机图像中的像素坐标的过程包括：

建立世界坐标系；

根据枪机图像坐标系中所述第一脚点的坐标、枪机图像坐标到世界坐标系的转换公式，计算出所述第一脚点在世界坐标系中的坐标；

根据所述第一脚点在世界坐标系中的坐标，得到所述第一头点在世界坐标系中的坐标；

利用世界坐标到枪机图像坐标的转换公式，根据所述第一头点在世界坐标系中的坐标，计算出所述第一头点在枪机图像坐标系中的坐标。

7.如权利要求1或2或4或5所述的枪机图像目标标定方法，其特征在于，所述基准线为枪机图像中位于所述消隐线和底边之间距离所述消隐线四分之三处的直线。

8.一种枪机图像目标标定系统，其特征在于包括：

消隐线确定模块：用于确定枪机图像的消隐线；

基准线选择模块：用于选择枪机图像中与所述消隐线平行的一条直线作为枪机图像的基准线，所述基准线在所述平面上对应的实际线条与所述无穷远直线平行；

基准线单位实际长度对应的像素数计算模块：用于计算枪机图像的所述基准线单位实际长度对应的像素数；

第一脚点选择模块：用于选择目标的第一脚点，所述第一脚点是枪机图像中目标轮廓底部一侧的点，且所述第一脚点所在的实际位置位于所述平面内；

第一脚点所在直线单位实际长度对应的像素数计算模块：用于计算枪机图像中所述第一脚点所在的与所述基准线平行的直线单位实际长度对应的像素数；

目标实际宽度对应的像素数计算模块：用于计算目标实际宽度在枪机图像中的像素数；

第一头点的像素坐标计算模块：用于计算所述第一脚点对应的第一头点在枪机图像中的像素坐标；

目标实际高度对应的像素数计算模块：用于根据所述第一脚点和所述第一头点在枪机图像中的像素坐标求出目标实际高度在枪机图像中的像素数。

9.如权利要求8所述的枪机图像目标标定系统，其特征在于所述消隐线确定模块包括：

第一转换矩阵计算单元：用于计算枪机图像坐标到球机物理坐标的转换矩阵；

枪机图像中心点对应的球机物理坐标计算单元：用于根据所述转换矩阵计算枪机图像中心点对应的球机物理坐标；

消隐点获取单元：用于获取枪机图像的消隐点，即可确定枪机图像的所述消隐线。

10.如权利要求8所述的枪机图像目标标定系统，其特征在于所述基准线单位实际长度对应的像素数计算模块包括：

第二转换矩阵计算单元：用于计算枪机图像坐标到球机物理坐标的转换矩阵；

球机物理坐标P_A计算单元：用于根据枪机图像坐标到球机物理坐标的转换矩阵计算所述基准线上一点A对应的球机物理坐标P_A；

球机物理坐标P_B计算单元：用于根据枪机图像坐标到球机物理坐标的转换矩阵计算所述基准线上点A一侧若干个像素外的点B对应的球机物理坐标P_B；

实际距离L_AB计算单元：用于根据所述球机物理坐标P_A、所述球机物理坐标P_B以及球机的安装高度，计算所述基准线上的点A到点B的实际距离L_AB；

基准线单位实际长度对应的像素数计算单元：用于将所述基准线上的点A到点B之间的像素数除以所述实际距离L_AB得到基准线单位实际长度对应的像素数。

11.如权利要求8或9或10所述的枪机图像目标标定系统，其特征在于所述第一脚点所在直线单位实际长度对应的像素数计算模块包括：

第一脚点与消隐线的距离计算单元：用于计算所述第一脚点所在的直线与枪机图像的所述消隐线之间的距离；

第一脚点所在的直线单位实际长度对应的像素数计算单元：用于根据枪机图像的所述基准线与所述消隐线之间的距离以及所述第一脚点所在的直线与枪机图像的所述消隐线之间的距离，计算所述第一脚点所在的直线单位实际长度对应的像素数。

12.如权利要求8-11中任一项所述的枪机图像目标标定系统，其特征在于所述第一头点的像素坐标计算模块包括：

世界坐标系建立单元：用于建立世界坐标系；

第一脚点的世界坐标系坐标计算单元：用于根据枪机图像坐标系中所述第一脚点的坐标、枪机图像坐标到世界坐标系的转换公式，计算出所述第一脚点在所述世界坐标系中的坐标；

第一头点的世界坐标系坐标计算单元：用于根据所述第一脚点在世界坐标系中的坐标，得到所述第一头点在世界坐标系中的坐标；

第一头点在枪机图像坐标系中的像素坐标计算单元：用于利用世界坐标到枪机图像坐标的转换公式，根据所述第一头点在世界坐标系中的坐标，计算出所述第一头点在枪机图像坐标系中的像素坐标。