CN104301676B - 一种监控目标搜索方法和装置以及球型摄像机 - Google Patents

Abstract

本发明提供一种目标搜索方法，该方法包括：将待检测图像在纵向上划分为N个子区间，计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，W_imin、W_imax与待检测目标在子区间A_i中的边长相关；在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索。该方案在进行目标搜索的时候，效率高且误检率低。

Description

一种监控目标搜索方法和装置以及球型摄像机

技术领域

本发明涉及视频监控技术领域，尤其涉及一种监控目标搜索方法和装置。

背景技术

首先给出道路违停监控中涉及的一些专业名称说明：

违章停车：车辆在特定道路上停留时间超过违停时间的行为。

违停时间：道路允许车辆短暂停留的时间。

违章球：在没有人工参与下，依靠球机智能算法可自动完成对道路违章停车抓拍取证过程的球机。

车辆检测：通过监控画面智能算法检测出车辆目标的过程。

车辆检测纵深：智能车辆检测算法可检测到的最远和最近车辆距离差。

车辆误检：非车辆目标被检测为车辆或一个车辆目标被检测为多个车辆的现象都属于车辆误检。

违章捕获率：违章球捕获到的违停车辆数占实际违章停车的比例。

全景画面：违章球进行违停车辆检测的实况画面，一般为球机偏广角的画面。

特写画面：违停球为了看清车牌信息对目标车辆进行变倍放大的画面。

视场角：在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物象可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大。通俗地说，目标物体超过这个角就不会被收在镜头里。视场角有水平视场角和垂直视场角之分，分别表示水平、垂直方向的视野范围。

走廊模式：将摄像机的镜头旋转90°安装，从而水平、垂直视场角互换，显示端再将图像反向90°旋转进行显示。该安装及显示方式称为摄像机的走廊模式。

在道路违停监控中，违章球是依靠内置的智能算法来完成违章停车抓拍过程的。其大概原理是：首先，违章球在全景下进行车辆检测，对实况画面截图判断哪些目标为车辆。其次，智能算法根据检测到的车辆目标位置进行特写处理，从而识别违停车辆的车牌。最后，在车辆违停超过一定时间后，智能算法进行违停确认，违章球会对整个违停过程中全景、特写各阶段进行截图和录像操作，从而形成车辆违章停车的判罚证据。在上述违停监控过程中，智能算法在全景下进行车辆检测时，首先需要圈定车辆的检测框。请参图1所示的一种车辆检测示意图：图中有不同大小的正方形框，这些不同大小的正方形框分别在全景图中进行遍历；针对每一正方形框圈定的区域利用车辆检测算法判断该圈定的区域是否为车辆。那到底要设定多少个不同大小的正方形框呢？业界通常以车辆捕获率达95％以上时所需的不同大小的正方形框来进行设定，用[Pmin，Pmax](Pmin表示最小的正方形框的边长，Pmax表示最大正方形框的边长)表示；即在使用该[Pmin，Pmax]范围内的每个正方形框进行车辆检测框圈定，并利用车辆检测算法进行车辆检测时，车辆的捕获率可以达到95％以上。Pmin和Pmax的单位可以是像素点的个数，该[Pmin，Pmax]范围内的每个正方形框的边长可以从Pmin开始依次递增一定像素点个数作为该正方形的边长。

在现有的道路违章停车监控中，有的路段较窄但纵深很大，而一般球机采用的都是16:9的监控画面，不利于狭长地带车辆的监控。请参图2所示的道路监控画面截图。从该图可以看出，纵深方向上最远的监控距离被限制到车辆X，而车辆X之前的违停车辆则无法监控到；并且，在水平方向上，存在众多我们并不关心的物体，如机动车道路，树木等。所以针对纵深很长的监控区域，可以采用球机的走廊模式进行车辆违停监控。

但是实践证明，采用走廊模式后，违章球的车辆检测纵深提升有限。实验数据的结果是大概提升3个车位的车辆能被检测出来。如果用户按照实况界面划定违停区域后，直接的结果就是较远端车辆无法捕获，即违章捕获率较低。其实质是远端车辆太小，以至于智能算法无法检测出车辆。

针对上述问题，我们很容易想到通过降低车辆检测阈值Pmin的方式来解决。但是降低Pmin，就意味着智能检测耗时的增加，同时还出现了车辆误检率的上升。车辆检测耗时变长将导致短时违停车辆漏捕，而车辆误检则造成球机较多的无效抓拍动作。

发明内容

有鉴于此，本发明提供一种目标搜索方法。

该目标搜索方法包括：将待检测图像在纵向上划分为N个子区间，计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，W_imin、W_imax与待检测目标在子区间A_i中的边长相关；在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索。

优选地，计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]包括：计算子区间A_i的两个纵向边界y_i1和y_i2分别对应的检测阈值W_i1和W_i2，待检测目标在子区间A_i中对应的检测阈值区间为由W_i1和W_i2构成的区间。

优选地，计算子区间A_i的纵向边界y_i1对应的检测阈值W_i1包括：在待检测图像上设定若干个标定点，基于每个标定点分别进行图像变倍，记录每个标定点变倍到W大小时的倍率；基于所述若干标定点以及其对应的倍率，应用曲面拟合算法得到待检测图像上任意一点(X，Y)变倍到W大小时与倍率Z的函数关系：Z＝f1(X,Y)；根据垂直视场角θ和倍率Z的关系：θ＝f2(Z)，得到待检测图像上任意一点(X，Y)变倍到W大小时和垂直视场角θ的对应关系：θ＝f2(f1(X,Y))；根据图像上同一点在任一垂直视场角下的大小和该垂直视场角的乘积近似固定，且具有相同纵坐标的点的在变倍到相同大小下具有近似相同的垂直视场角得到：W_i1*θ_全景＝W*f2(f1(y_i1))；所以W_i1＝W*f2(f₁(y_i1))/θ_全景，其中θ_全景为待检测图像的垂直视场角。

基于同样的构思，本发明还提供一种目标搜索装置，该装置包括：检测阈值区间计算模块，用于计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，W_imin、W_imax与待检测目标在子区间A_i中的边长相关，A_i为待检测图像在纵向上被划分成N个子区间中的一个子区间；目标搜索模块，用于在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索。

优选地，该检测阈值区间计算模块在计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]时具体包括：计算子区间A_i的两个纵向边界y_i1和y_i2分别对应的检测阈值W_i1和W_i2，则待检测目标在子区间A_i中对应的检测阈值区间为由W_i1和W_i2构成的区间。

优选地，该检测阈值区间计算模块在计算子区间A_i的纵向边界y_i1对应的检测阈值W_i1包括：在待检测图像上设定若干个标定点，基于每个标定点分别进行图像变倍，记录每个标定点变倍到W大小时的倍率；基于所述若干标定点以及其对应的倍率，应用曲面拟合算法得到待检测图像上任意一点(X，Y)变倍到W大小时与倍率Z的函数关系：Z＝f1(X,Y)；根据垂直视场角θ和倍率Z的关系：θ＝f2(Z)，得到待检测图像上任意一点(X，Y)变倍到W大小时和垂直视场角θ的对应关系：θ＝f2(f1(X,Y))；根据图像上同一点在任一垂直视场角下的大小和该垂直视场角的乘积近似固定，且具有相同纵坐标的点在变倍到相同大小下具有近似相同的垂直视场角得到：W_i1*θ_全景＝W*f2(f1(y_i1))；所以W_i1＝W*f2(f₁(y_i1))/θ_全景，其中θ_全景为待检测图像的垂直视场角。

本发明还提供一种运用上述目标搜索算法的智能球型摄像机。该球型摄像机设置有一旋转电机，机芯设置在该旋转电机上；该旋转电机接收走廊模式的指令进行90度旋转，以使得机芯进行走廊模式的拍摄。

相较于现有技术，本发明方案在进行目标搜索的时候，效率高且误检率低。

附图说明

图1是一种车辆检测示意图。

图2是一道路监控画面截图。

图3是本发明实施例流程图。

图4是划有子区间和标定点的待检测图像。

图5是本发明又一实施例流程图。

图6是本发明实施例装置逻辑结构图。

图7是本发明实施例智能球机机芯安装图。

图8是本发明实施例球型摄像机进行违停车辆检测流程图。

具体实施方式

针对背景技术中提到的技术问题，本发明提供一种目标搜索方案。该方案在进行目标搜索的时候，效率高且误检率低。以下结合具体实施方式详细说明。

请参图3所示的本发明实施例流程图。

S31、将待检测图像在纵向上划分为N个子区间，计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，W_imin、W_imax与待检测目标在子区间A_i中的边长相关。

S32、在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索。

请参图4示意的被划分了子区间的待检测图像，其在纵向上，即y轴方向上被划分为了三个子区间：A1、A2、A3。后续在进行目标搜索的时候，将在这三个子区间中分别进行搜索。因此，在利用当前的一些智能算法进行目标搜索的时候就需要先获得各子区间对应的检测阈值区间[W_imin，W_imax]。以背景技术中提到的车辆检测为例，即需要先确定边长在哪个范围内的正方形车辆搜索框，即最小边长Pmin和最大边长Pmax分别是多少。如果S31中的待检测目标为车辆，则检测阈值区间[W_imin，W_imax]即可以用[Pmin，Pmax]含义的区间来表示。

基于划分的区间来分别进行目标搜索，可达到搜索时间效率高，准确率高目的。

关于每个子区间对应的检测阈值区间的确定可以有多种方法，本实施例以待检测目标为车辆介绍一种特别的方法。该方法只需要计算每个子区间的两条纵向边界分别对应的检测阈值即可得到该子区间对应的检测阈值区间。请参图4，如果要计算子区间A1对应的检测阈值区间，则只需要计算其两条纵向边界y＝0和y＝y1分别对应的检测阈值；如果要计算子区间A2对应的检测阈值区间，则只需要计算其两条纵向边界y＝y1和y＝y2分别对应的检测阈值。只所以可以这样设计，是因为图像中的物体，比如车辆，从近到远，逐渐缩小，所以相应的检测阈值在纵向上也应该是呈变小的趋势；并且横向，即X轴方向对于检测阈值的影响可以忽略不计，也就是具有相同纵坐标的车辆，在检测的时候其检测阈值相同。

下面以计算子区间A2对应的检测阈值区间为例进行说明。先分别计算子区间A2的纵向边界y1和y2对应的检测阈值。

请参图5所示的纵向边界y1对应的检测阈值W1计算流程：

S51、在待检测图像上设定若干个标定点，基于每个标定点分别进行图像变倍，记录每个标定点变倍到W大小时的倍率。

还是请参图4，在该待检测图像上设定若干个标定点，比如纵向设置了一排停车位，并且停车位上都停了车辆，则可以以每个车辆的车牌中心位置作为标定点进行标定。这里的每个标定点可以理解为以该标定点坐标为中心的车牌框；或者以该标定点坐标为中心，n个像素点为边长的小正方形，或者以该标定点坐标为中心，n个像素点为直径的小圆形等。变倍的目标是将所有的标定点变倍到相同的大小，比如说以每个车牌作为标定点的时候，可以将该若干个车牌均变倍的相同的大小W，比如说这若干个车牌的长均变倍到图像画面宽度的1/2。这样就可以记录每个标定点在变倍到W大小时所需要的倍率。

S52、基于所述若干标定点以及其对应的倍率，应用曲面拟合算法得到待检测图像上任意一点(X，Y)变倍到W大小时与倍率Z的函数关系：Z＝f1(X,Y)。

上述步骤得到若干标定点以及其对应的倍率后，基于这些标定点进行数学建模，通过曲面拟合可得到较为准确的(X,Y)和Z的拟合关系，(X,Y)为图像上任意一点的坐标。曲面拟合过程如下：

Z可以用X和Y的多项式表示，其矩阵形式为：

Z＝f1(X,Y)＝X^TAY (1)

其中,

通过若干个标定点数据代入上述公式1，就可计算出A的值。这样就可以得到任意点(X，Y)处变倍到W大小时需要变倍的倍率Z。

S53、根据垂直视场角θ和倍率Z的关系：θ＝f2(Z)，得到待检测图像上任意一点(X，Y)变倍到W大小时和垂直视场角θ的对应关系：θ＝f2(f1(X,Y))(2)。

垂直视场角和倍率的关系属于已知的内容，所以上述式(2)可以直接被推导出来，即可以得到待检测图像上任意一点(X，Y)变倍到W大小时，其对应的垂直视场角的大小。

S54、根据图像上同一点在任一垂直视场角下的大小和该垂直视场角的乘积近似固定，且具有相同纵坐标的点的在变倍到相同大小下具有近似相同的垂直视场角得到：W₁*θ_全景＝W*f2(f1(y₁))；所以W₁＝W*f2(f₁(y₁))/θ_全景，其中θ_全景为待检测图像的垂直视场角。

一旦一幅图像被拍摄下来，其垂直视场角就已经确定，所以当前待检测图像的垂直视场角θ_全景是一个确定的已知值；具有相同纵坐标的点的在变倍到相同大小下具有近似相同的垂直视场角，所以对于纵向边界y＝y1上的各点，可以近似认为在变倍到相同大小时，对应的垂直视场角相同，即θ＝f2(f1(x，y₁))＝f2(f1(y₁))；W也是一个已知值；所以，在垂直视场角θ_全景下，y＝y1上各点的大小W1可以计算得到，为W₁＝W*f2(f₁(y₁))/θ_全景。所以当前需要计算的纵向边界y1对应的检测阈值W1即为W₁＝W*f2(f₁(y₁))/θ_全景。

以上在介绍图5所对应的流程时涉及到的点的大小，可以理解为以该点为中心的小正方形的边长，“点”可近似的理解为小正方形。

同样的方式可以计算出其他边界对应的检测阈值。如果纵向边界y＝0对应的检测阈值为W₀，则子区间A1对应的检测阈值区间为[W₁，W₀]；如果纵向边界y2对应的检测阈值为W₂，则子区间A2对应的检测阈值区间为[W₂，W₁]；如果纵向边界y3对应的检测阈值为W₃，则子区间A3对应的检测阈值区间为[W₃，W₂]。这样每个子区间对应的检测阈值就都计算出来了，后续就可以将计算出来的检测阈值区间作为智能算法检测车辆时运用的参数了。

为了使检测结果更准确，结合实际的实验数据，可以在上述检测阈值基础上加一修正值△。这样A1对应的检测阈值区间为[W₁₊△，W₀₊△]；A2对应的检测阈值区间为[W₂₊△，W₁₊△]；A3对应的检测阈值区间为[W₃₊△，W₂₊△]。

实验证明目标智能搜索算法在不同的子区间利用不同的检测参数进行目标检测，有更高的准确率和效率。

基于同样的构思，本发明提供一种目标搜索装置，该装置包括：检测阈值区间计算模块和目标搜索模块，请参图6。

检测阈值区间计算模块，用于计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，A_i为待检测图像在纵向上被划分成N个子区间中的一个子区间，W_imin、W_imax与待检测目标在子区间A_i中的边长相关。

目标搜索模块，用于在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索。

该检测阈值区间计算模块在计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]时具体包括：计算子区间A_i的两个纵向边界y_i1和y_i2分别对应的检测阈值W_i1和W_i2，则待检测目标在子区间A_i中对应的检测阈值区间为由W_i1和W_i2构成的区间。

该检测阈值区间计算模块在计算子区间A_i的纵向边界y_i1对应的检测阈值W_i1包括：在待检测图像上设定若干个标定点，基于每个标定点分别进行图像变倍，记录每个标定点变倍到W大小时的倍率；基于所述若干标定点以及其对应的倍率，应用曲面拟合算法得到待检测图像上任意一点(X，Y)变倍到W大小时与倍率Z的函数关系：Z＝f1(X,Y)；根据垂直视场角θ和倍率Z的关系：θ＝f2(Z)，得到待检测图像上任意一点(X，Y)变倍到W大小时和垂直视场角θ的对应关系：θ＝f2(f1(X,Y))；根据图像上同一点在任一垂直视场角下的大小和该垂直视场角的乘积近似固定，且具有相同纵坐标的点在变倍到相同大小下具有近似相同的垂直视场角得到：W_i1*θ_全景＝W*f2(f1(y_i1))；故W_i1＝W*f2(f₁(y_i1))/θ_全景，其中θ_全景为待检测图像的垂直视场角。

本发明的另一实施例将上述目标搜索方法应用于智能球型摄像机。该智能球机具有走廊模式，同时其还保留了普通球机模式，即水平视场角大于垂直视场角，使之场景适用性更强。请参图7，在该球机内部固定一旋转电机，然后将机芯固定在该旋转电机上。在球机配置界面可选择走廊模式和普通模式，初始如果是普通模式的话，在选择走廊模式时机芯将随旋转电机进行90°旋转，同时图像处理模块会将图像进行反向90旋转，保证输出图像正常；如果选择普通模式，则电机和图像都不会进行响应。这样违章球就可同时适应纵向和横向场景对视场角的要求。这种设计相对于普通球机将机芯固定在球机内部，当需要走廊模式时，需要人员手动进行拆卸安装的方式来讲灵活很多。

请参图8，图8为嵌入了上述目标搜索方法的球机的工作流程图。

首先选择球机的工作模式，如果是走廊模式的话，则机芯自动旋转90度进行违停车辆的监控；否则按照初始的普通模式进行违停车辆的监控。在进行违停车辆的监控的时候，需要先按照前文所述的目标搜索算法进行车辆的搜索，然后再按照违停的原则进行车辆违停与否的判断。当然，在进行车辆搜索的时候是使用的各子区间分别检测的方法，所以球机最终上报的是各子区间违停车辆的检测结果汇总。

上述球机在进行违停车辆监控时解决了普通违章球机监控纵深小的问题，同时降低车辆误检率和车辆检测耗时，提升了违章球的性能，使其场景适用性更强。主要表现在：1、通过多点标定且划区间检测，使得每个检测区域的检测阈值区间(车辆宽度区间)计算更为准确，从而车辆检测耗时降低，误检率减少。2、该球机可同时满足横向和纵向对大视场角的需求。综上，该违章球综合性能得到了提升，使得其场景适用性更强。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种目标搜索方法，其特征在于：该方法包括：

将待检测图像在纵向上划分为N个子区间，计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，W_imin、W_imax与待检测目标在子区间A_i中的边长相关；

在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索；

其中，计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]包括：

计算子区间A_i的两个纵向边界y_i1和y_i2分别对应的检测阈值W_i1和W_i2，待检测目标在子区间A_i中对应的检测阈值区间为由W_i1和W_i2构成的区间；

其中纵向边界由近及远，对应的检测阈值呈减小的趋势。

2.如权利要求1所述的方法，其特征在于，计算子区间A_i的纵向边界y_i1对应的检测阈值W_i1包括：

在待检测图像上设定若干个标定点，基于每个标定点分别进行图像变倍，记录每个标定点变倍到W大小时的倍率；

基于所述若干标定点以及其对应的倍率，应用曲面拟合算法得到待检测图像上任意一点(X，Y)变倍到W大小时与倍率Z的函数关系：Z＝f1(X,Y)；

根据垂直视场角θ和倍率Z的关系：θ＝f2(Z)，得到待检测图像上任意一点(X，Y)变倍到W大小时和垂直视场角θ的对应关系：θ＝f2(f1(X,Y))；

根据图像上同一点在任一垂直视场角下的大小和该垂直视场角的乘积近似固定，且具有相同纵坐标的点的在变倍到相同大小下具有近似相同的垂直视场角得到：W_i1*θ_全景＝W*f2(f1(y_i1))；所以W_i1＝W*f2(f1(y_i1))/θ_全景，其中θ_全景为待检测图像的垂直视场角。

3.一种目标搜索装置，其特征在于，该装置包括：

检测阈值区间计算模块，用于计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]，i为1到N的自然数，A_i为待检测图像在纵向上被划分成N个子区间中的一个子区间，W_imin、W_imax与待检测目标在子区间A_i中的边长相关；

目标搜索模块，用于在所述子区间A_i中，利用其对应的检测阈值区间[W_imin，W_imax]并结合智能算法进行待检测目标的搜索；

其中，该检测阈值区间计算模块在计算待检测目标在子区间A_i中对应的检测阈值区间[W_imin，W_imax]时具体包括：计算子区间A_i的两个纵向边界y_i1和y_i2分别对应的检测阈值W_i1和W_i2，则待检测目标在子区间A_i中对应的检测阈值区间为由W_i1和W_i2构成的区间；

其中纵向边界由近及远，对应的检测阈值呈减小的趋势。

4.如权利要求3所述的装置，其特征在于，该检测阈值区间计算模块在计算子区间A_i的纵向边界y_i1对应的检测阈值W_i1包括：在待检测图像上设定若干个标定点，基于每个标定点分别进行图像变倍，记录每个标定点变倍到W大小时的倍率；基于所述若干标定点以及其对应的倍率，应用曲面拟合算法得到待检测图像上任意一点(X，Y)变倍到W大小时与倍率Z的函数关系：Z＝f1(X,Y)；根据垂直视场角θ和倍率Z的关系：θ＝f2(Z)，得到待检测图像上任意一点(X，Y)变倍到W大小时和垂直视场角θ的对应关系：θ＝f2(f1(X,Y))；根据图像上同一点在任一垂直视场角下的大小和该垂直视场角的乘积近似固定，且具有相同纵坐标的点在变倍到相同大小下具有近似相同的垂直视场角得到：W_i1*θ_全景＝W*f2(f1(y_i1))；所以W_i1＝W*f2(f1(y_i1))/θ_全景，其中θ_全景为待检测图像的垂直视场角。

5.一种智能球型摄像机，其特征在于，该球型摄像机包括如权利要求3至4任一项所述的目标搜索装置。

6.如权利要求5所述的智能球型摄像机，其特征在于，该球型摄像机设置有一旋转电机，机芯设置在该旋转电机上；该旋转电机接收走廊模式的指令进行90度旋转，以使得机芯进行走廊模式的拍摄。