CN109034104A - 一种场景标签定位方法以及装置 - Google Patents

Abstract

本发明公开了一种场景标签定位方法以及装置，涉及图像处理领域。其中，该方法包括：初始化阶段，获取目标位置的世界坐标；应用阶段，根据所述的目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，通过坐标变换确定所述目标位置当前的屏幕坐标。本发明能够将地图地理信息叠加到PTZ摄像机设备的实时视频画面中，实现当PTZ摄像机旋转时准确快速地对视频背景物的标注，从而将实时视频转化为视频实景地图。

Description

一种场景标签定位方法以及装置

技术领域

本发明涉及图像处理领域，具体涉及一种场景标签定位方法。

背景技术

近年来，视频监控受到安保项目以及各行业视频监控需求快速增长等因素的刺激和拉动，取得了快速发展，整个市场规模迅速扩大。随着平安城市建设的深化以及安防监控需求的增加，一个城市安保建设往往是由数千个甚至是几万个防控系统组成，作为防控系统基础组成部分的单点监控设备的数量更是愈发庞大。因此，给实际监控调度，特别是针对重点区域的现场指挥带来了相当大的难度。

传统监控的局限性:单点监控范围小、监控画面无法兼顾整体与局部、无法了解城市整体治安情况、监控点位不关联，无法区域组网、大数据无法接入、统计分析欠缺、视频监控仅仅是录像存储等问题。

高低空联动系统引入最前沿的增强现实技术，提出可视化视频地图的概念，克服单一设备监控范围小、传统监控系统只能获取局部安防情况的缺点，为用户提供城市重点区域乃至整个城市的全局安防情况。同时，系统还通过高低联动、主动预警、智能组网、指定聚焦等多项功能，使区域内的视频终端不仅是物理上串联，还是功能上互通。

但是现有技术缺乏一种能够准确实现实时视频画面中对视频背景物的标注的标签准确快速定位方法，存在当视频画面切换时，无法准确快速跟踪视频中重点区域的问题。

发明内容

为了克服如上所述的技术问题，本发明提出一种标签准确快速定位方法以及装置，能够将地图地理信息叠加到PTZ摄像机设备的实时视频画面中，实现当PTZ摄像机旋转时对视频背景物的标注，从而将实时视频转化为视频实景地图。本发明的技术方案如下：

第一方面，提出一种场景标签定位方法，包括：

初始化阶段，获取目标位置的世界坐标；

应用阶段，根据所述的目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，通过坐标变换确定所述目标位置当前的屏幕坐标。

进一步地，在初始化阶段，根据目标位置的屏幕坐标，以及PTZ摄像机当前PTZ信息，利用摄像机模型将目标位置的屏幕坐标映射到三维球面上，获取目标位置的世界坐标。

进一步地，还包括利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行校准。

第二方面，一种场景标签定位装置，所述计算机装置包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如第一方面任一所述的场景标签定位方法。

第三方面，一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如第一方面任一所述的场景标签定位方法。

本发明提供的技术方案带来的有益效果是：

本发明主要分为两个阶段，首先在初始化阶段，根据目标位置的屏幕坐标，这里的目标位置是指我们想关注的场景位置，结合PTZ摄像机当前PTZ信息，可以确定摄像机焦距以及摄像机的旋转矩阵，进而利用摄像机模型将目标位置的屏幕坐标映射到三维球面上，获取目标位置的世界坐标；然后在应用阶段，通过在初始化阶段得到的世界坐标作为已知条件，同样考虑PTZ摄像机的当前PTZ信息，便能够标定所述目标位置当前的屏幕坐标，并在该位置设置标签，标签内容可为目标位置相关信息。另外，为进一步增加对目标位置的屏幕坐标进行标签标定的准确性，本发明利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行进一步地校准。

附图说明

图1为本发明的一种场景标签定位方法的流程图；

图2所示为拟合出来的PTZ摄像机放大倍数zoom与水平视场角fov的关系图；

图3所示为焦距和视场角的关系示意图；

图4为本发明所述图像坐标系；

图5所示为世界坐标投影到摄像机成像示意图；

图6所示为本发明建立旋转矩阵的世界坐标系；

图7所示为本发明所述球型摄像机旋转到不同角度时目标位置P点的屏幕坐标点映射关系；

图8示出了本发明球型摄像机旋转时，实际场景中目标位置的屏幕坐标的变化情况示意图；

图9所示为本发明的一种场景标签定位方法的另一种实施例流程图；

图10为本发明的一种场景标签定位方法流程图；

图11所示为本发明公布的一种局部模板匹配进行目标点匹配的示意图；

图12示出了本发明实施例所涉及的一种场景标签定位装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步地详细描述。

如图1所示，为本发明的一种场景标签定位方法的流程图，示出了实施该方法的具体步骤，包括：

在步骤101中，初始化阶段，获取目标位置的世界坐标；

本步骤为对目标位置进行标签标定的初始化阶段，需要说明的是，所述目标位置可以是单个，也可以是多个，对于每一个的目标位置所进行的标签定位方法在本发明方案中都是类似的，所以在本发明中主要详细描述如何对一个目标位置点进行标签标定。

在一种可能的实现中，根据目标位置的屏幕坐标，以及PTZ摄像机当前PTZ信息，利用摄像机模型将目标位置的屏幕坐标映射到三维球面上，获取目标位置的世界坐标。需要说明的是，所述屏幕坐标是基于视频图像来进行描述的。

具体地，步骤1：根据PTZ摄像机的PTZ信息，可以测量出PTZ摄像机在各个放大倍数zoom下的水平视场角fov。通过测量得到的数据进行最小二乘法拟合，如图2所示为拟合出来的放大倍数zoom与水平视场角fov的关系图，并得出PTZ摄像机的水平视场角fov和放大倍数zoom的关系公式：

式中的a和b为拟合出来的参数。

步骤2：根据步骤1可以求得任意PTZ状态下PTZ摄像机的水平视场角fov，通过水平视场角，可以初步计算出PTZ摄像机的焦距f，f单位为物理单位，例如毫米，如图3所示，为焦距和视场角的关系示意图，焦距f_x和视场角fov具体关系公式为：

式中width为摄像机最大分辨率的宽度，fov为水平视场角。

步骤3：图4为本发明所述图像坐标系，根据图4可得摄像机坐标系转化为屏幕坐标系的公式为：

式中，(u，v)为屏幕坐标，(x，y)为摄像机坐标，dx和dy的单位为毫米/像素。

根据图5所示的世界坐标投影到摄像机成像示意图，可知：

根据公式(3)和(4)以及旋转矩阵可得摄像机模型公式：

式(5)中，(u，v)和(u₀，v₀)为图4所示的图像坐标系中的坐标，Zc为摄像机坐标系下Z轴的坐标，f为摄像机的焦距(物理单位，可选的，为毫米)，dx和dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，可选的，为毫米，dx和dy的单位为毫米/像素。需要说明的是，式(2)计算出来的f_x单位为像素。式(5)中(X_w,Y_w,Z_w)为世界坐标，R为旋转矩阵，t为平移量。因为PTZ摄像机只能旋转，所以平移量在理想情况下可为0。如图5所示，在线OP中任意一点都将投影到摄像机中的P点，这里假设Zc＝1，且 由此公式(3)可转变为：

式(6)中已知屏幕坐标(u，v)，要计算世界坐标(X_w,Y_w,Z_w)，所以需要建立先旋转矩R。根据PTZ摄像机的结构，PTZ摄像机只能水平旋转或者垂直旋转，因此建立旋转公式：

式(8)中Hor和Ver分别是PTZ摄像机旋转的水平角度和垂直角度。建立的坐标系如图6所示，为本发明建立旋转矩阵的世界坐标系，PTZ摄像机起始位置在Z轴上，所以有：

R＝R_Y·R_X (9)

通过以上式(1)到式(9)，即可求出任意屏幕坐标(u，v)下的世界坐标(X_w,Y_w,Z_w)：

通过本步骤初始化得到的世界坐标，将作为后续对该世界坐标所对应的目标位置进行标签标定的前提和基础。

在步骤102中，应用阶段，根据所述的目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，通过坐标变换确定所述目标位置当前的屏幕坐标。

容易理解的是，当摄像机进行旋转时，原画面中的目标位置会随着摄像头的旋转而在图像中的坐标位置发生变化，而本步骤所要解决的就是在摄像机旋转放大的情况下，即摄像机的PTZ信息与步骤101中的初始化阶段不同时，仍然能够实时地对目标位置的坐标在视频画面中进行标签标定，能够快速直观地定位到目标位置新的所在点。

在一种可能的实现中，如图7所示，为本发明所述PTZ摄像机为球型摄像机时，其旋转到不同角度时目标位置P点的屏幕坐标点映射关系，P点映射到画面O₁为P1点，理论映射到画面O₂为P₂点，P₂'为偏移的位置。假设初始化阶段实际目标P映射到O₁中的P₁位置，可根据P₁的屏幕坐标求得世界坐标(X_w,Y_w,Z_w)。在应用阶段，当球型摄像机旋转到下一个位置O₂的时候，P点的世界坐标将映射到屏幕中的P₂'点。P₂'点的计算可由当前的PTZ信息以及世界坐标(X_w,Y_w,Z_w)计算得出，具体计算式如下式(11)：

因此，由式(11)最终投影到的屏幕坐标为：需要说明的是，当球机旋转到另外一个位置时，PTZ信息和原来不一样，包括水平角度，垂直角度和放大倍数，所以，式(11)中f_x'和f_y'以及R'分别是f_x和f_y以及R重新计算的结果，具体可通过上式步骤101中的式(1)到式(9)分别进行计算，而世界坐标(X_w,Y_w,Z_w)是在初始化阶段通过上述步骤101的式(10)预先得到的，进而通过式(11)得到最终的屏幕坐标(u'/s,v'/s)，即最终投影到的P₂'点的屏幕坐标(u'/s,v'/s)。

作为一种可能的实施效果，图8示出了本发明球型摄像机旋转时，实际场景中目标位置的屏幕坐标的变化情况示意图，包括摄像机旋转前的目标位置的屏幕坐标801，摄像机旋转后的目标位置的屏幕坐标802。

本实施例主要分为两个阶段，首先在初始化阶段，根据目标位置的屏幕坐标，这里的目标位置是指我们想关注的场景位置，结合PTZ摄像机当前PTZ信息，可以确定摄像机焦距以及摄像机的旋转矩阵，进而利用摄像机模型将目标位置的屏幕坐标映射到三维球面上，获取目标位置的世界坐标；然后在应用阶段，通过在初始化阶段得到的世界坐标作为已知条件，同样考虑PTZ摄像机的当前PTZ信息，便能够标定所述目标位置当前的屏幕坐标，并在该位置设置标签，标签内容可为目标位置相关信息。

如图9所示，为本发明的一种场景标签定位方法的另一种实施例流程图，示出了实施该方法的另一种具体步骤，包括：

在步骤901中，初始化阶段，获取目标位置的世界坐标；

在步骤902中，应用阶段，根据所述的目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，通过坐标变换确定所述目标位置当前的屏幕坐标；

其中步骤101和步骤202具体实施情况在图1所对应的实施例中已经详细说明，此处不再赘述。

在步骤903中，利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行校准。

通过图1所对应的实施例中的步骤101和步骤102可以初步确定目标位置，但是与目标位置会存在一定的误差，为进一步增加本发明技术方案进行场景标签标定方法的准确性，本步骤将进一步利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行校准。

在一种可能的实际操作中，局部模板匹配法利用以下公式来衡量目标点和原始标注点的相似性：

式中，T为模板，S^ij为被搜索图中的子图，如图11所示为本发明公布的一种局部模板匹配进行目标点匹配的示意图。

需要说明的是，这里的原始标注点为根据图1所对应的实施例中的步骤101和步骤102所确定的。结合图7进行说明，当模板T与S^ij相似性最高时，E最小，相似性最高。

在一种可能的实现中，以图7中初始标注点P₁为中心，取一定大小的模板T，模板大小可根据实际情况而定，这里不作限制，可选的，取5x5的模板T。以图1所对应的实施例中的步骤101和步骤102计算出来的投影到图7中的屏幕坐标P₂'为中心，优选的，取原图的10％，即192x108的搜索图S。由于被搜索的图像越大，模板匹配的速度越慢，通过图1所对应的实施例中的步骤101和步骤102可以初步确定目标位置的坐标位置，再利用本步骤203中的局部模板匹配的方法，从而达到快速准确的定位坐标位置P₂的目的，匹配出来的P₂与实际目标位置所在坐标之间的误差可控制在1％以内，精确度非常高。

如图10为本发明的一种场景标签定位方法流程图，完整地示出了本发明的场景标签定位方法的一种具体实施流程，包括：

下述步骤描述中将部分结合图7进行说明，

在步骤1001中，根据球型摄像机PTZ信息计算焦距和旋转矩阵；

在步骤1002中，根据摄像机模型计算出屏幕中任意点P的世界坐标，并记录P点5x5模板T；

在步骤1003中，根据球型摄像机PTZ信息计算焦距和旋转矩阵；

在步骤1004中，根据初始化的世界坐标，通过摄像机模型计算出投影到屏幕的坐标P'；

在步骤1005中，以P'为中心取原图十分之一大小子图为搜索图S；

在步骤1006中，在模板T在搜索图S中进行模板匹配，找出最匹配点P₂；

在步骤1007中，球型摄像机旋转到下一位置；

在步骤1008中，输出投影点P₂。

本实施例为进一步增加对目标位置的屏幕坐标进行标签标定的准确性，利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行进一步地校准，匹配出来的屏幕坐标实际目标位置所在坐标之间的可控制在1％以内，精确度非常高。

需要说明的是，本发明的技术方案描述中的PTZ摄像机在可能的实际操作中，可选的，为球型摄像机。

图12示出了本发明实施例所涉及的一种场景标签定位装置结构示意图。该装置包括：处理器1201、存储器1202和总线1203。

处理器1201包括一个或一个以上处理核心，处理器1202通过总线1203与处理器1201相连，存储器1203用于存储程序指令，处理器1201执行存储器1202中的程序指令时实现上述一种场景标签定位方法。

可选的，存储器1202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述方法实施例提供的一种场景标签定位方法。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的一种场景标签定位方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用于以限制发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种场景标签定位方法，其特征在于，包括：

初始化阶段，获取目标位置的世界坐标；

应用阶段，根据所述的目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，通过坐标变换确定所述目标位置当前的屏幕坐标。

2.根据权利要求1所述的场景标签定位方法，其特征在于，所述获取目标位置的世界坐标，包括：

根据目标位置的屏幕坐标，以及PTZ摄像机当前PTZ信息，利用摄像机模型将目标位置的屏幕坐标映射到三维球面上，获取目标位置的世界坐标。

3.根据权利要求2所述的场景标签定位方法，其特征在于，根据目标位置的屏幕坐标，以及PTZ摄像机当前PTZ信息，利用摄像机模型将目标位置的屏幕坐标映射到三维球面上，获取目标位置的世界坐标，包括：

S1，拟合各个倍数下水平视场角fov和放大倍数zoom的关系，其中a和b为拟合参数；

S2，计算焦距f_x，width为屏幕宽度；

S3，计算PTZ摄像机旋转矩阵其中，Hor为水平旋转角，Ver为垂直旋转角；

S4，获取目标位置的世界坐标u₀和v₀为屏幕中心坐标点位置，u和v为目标位置的屏幕坐标，其中，(x,y)为摄像机坐标，dx和dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，f_x和f_y的单位为像素。

4.根据权利要求3所述的场景标签定位方法，所述根据所述的目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，确定所述目标位置当前的屏幕坐标，包括：

根据所述目标位置的世界坐标以及PTZ摄像机的当前PTZ信息，得到目标位置的屏幕坐标满足其中，s不等于0，(X_w,Y_w,Z_w)为在初始化阶段时通过步骤S1，S2，S3和S4获取的世界坐标，f_x'和f_y'以及R'分别为在应用阶段，根据PTZ摄像机的当前PTZ信息，通过步骤S1，S2和S3重新计算得到的f_x和f_y以及R；

确定所述目标位置当前的屏幕坐标为

5.根据权利要求1至4任一所述的场景标签定位方法，所述PTZ摄像机为球型摄像机。

6.根据权利要求1至4任一所述的场景标签定位方法，还包括：

利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行校准。

7.根据权利要求5所述的场景标签定位方法，还包括：

利用局部模板匹配的方法，对所述目标位置的屏幕坐标进行校准。

8.一种场景标签定位装置，其特征在于，所述装置包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如权利要求1至7任一所述的场景标签定位方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如权利要求1至7任一所述的场景标签定位方法。