一种监控场景下目标精确抓取的方法及系统
技术领域
本发明属于视频监控领域,尤其涉及一种监控场景下目标精确抓取的方法及系统。
背景技术
视频监控是安全防范领域的重要组成部分,它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于多种场合。近年来,随着计算机视觉、图像处理、模式识别、人工智能、数字信号处理等技术的发展成熟,智能视频监控技术已成为未来发展趋势。智能化技术可以针对各种应用环境的特点开发出不同类型的应用技术。目前,视频服务器、DVR等监控设备内置了移动侦测与报警功能的系统,初步具有了智能检测功能。各行业的监控智能化需要,促进了智能监控应用技术向各个分支发展,例如图像检测是利用背景图像的实时更新建模,与实时图像比对,可以及时地发现侵入指定区域的移动目标,因而具备了周界防范功能。
然而在某些监控要求较高的场景下,仅仅依靠图像检测或者运动检测来锁定运动目标的方法已达不到特殊应用功能的要求。例如广角镜头下的多目标跟踪功能,当前广角镜头下的多目标跟踪一般是在运动检测的基础上进行的,仅仅以运动检测算法提取运动目标可能出现多个目标距离过近或者是由于光照影响从而造成多个目标作为一个整体从当前图像中分割出来,不能有效实现多目标的跟踪。又例如云台摄像机自动跟踪功能,由于当前动态环境下的自动跟踪算法一般是基于目标特征信息匹配来实现的,因此获取一个较为理想的初始目标模板信息是跟踪算法能够稳定跟踪的前提和保证。显然,仅仅基于运动检测算法获取云台摄像机自动跟踪初始目标模板是不理想的。因为运动检测算法由于受到环境、光照、地面倾 斜度以及目标运动速度等的影响,其抓取的运动目标可能较大包含有较多的背景信息或者较小不能包含充分的目标信息,也就是不能有效的提取目标的模板信息,从而使得跟踪算法由于目标模板不理想而容易丢失目标,严重影响算法跟踪效果。
发明内容
本发明提供了一种监控场景下目标精确抓取的方法,旨在解决当前运动检测算法利用背景图像的实时更新建模,与实时图像比对,发现运动目标时,由于受到环境、光照、地面倾斜度以及目标运动速度等的影响,其抓取的运动目标可能包含有较多的背景信息或者不能包含充分的目标信息,在某些监控要求较高的场景下,仅仅依靠运动检测算法提取运动目标已经不能满足某些特殊应用功能要求的问题。
一种监控场景下目标精确抓取的方法,包括:
步骤S101,设定静态监控场景;
步骤S102,在静态监控场景中,标定基准目标的相关参量;
步骤S103,在显示图像中获得入侵目标前景,依据基准目标的相关参量,以及静态监控场景中摄像机吊高和摄像机光轴与水平面夹角确定入侵目标在显示图像中的准确大小;
步骤S104,确定入侵目标在入侵目标前景中的准确位置,即入侵目标在显示图像中准确位置。
步骤S101中,所述的设定静态监控场景,为确定摄像机(本发明的摄像机泛指视频采集设备)拍摄方向(即摄像机光轴)与水平面的夹角α,其中对于安装位置固定的摄像机,可以通过直接测量获得摄像机拍摄方向与水平面的夹角;对于云台摄像机,在确定云台摄像机拍摄方向和摄像机变倍后,可以通过查询获得摄像机拍摄方向与水平面的夹角。
步骤S102中,标定基准目标的相关参量包括:
步骤S201,确定基准目标的实际大小,包括实际高度h1和实际宽度w1;
步骤S202,计算基准目标沿摄像机光轴垂直投影线方向距离视 场中心的距离l1(即基准目标与视场中心的实际水平距离),以及这段距离对应于显示图像上的像素数nl1;
步骤S203,计算基准目标对应于显示图像上的像素数,即基准目标在显示图像中的大小,包括基准目标的像素高度nh1和基准目标的像素宽度nw1。
步骤S103中,可以利用现有的运动检测算法显示图像中获得入侵目标前景,但由于运动检测算法受光照,目标运动速度等影响,获得的入侵目标前景与入侵目标的实际大小有较大偏差,需要进一步确定入侵目标在显示图像中的准确大小。步骤S103中,依据基准目标的相关参量,确定入侵目标在显示图像中的准确大小,包括:
步骤S301,计算入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离l2(即入侵目标与视场中心的实际水平距离);
其中:
h0为摄像机吊装高度;
α为摄像机光轴与水平面的夹角;
f为摄像机的焦距;
l1是基准目标沿摄像机光轴垂直投影线方向距离视场中心的距离;
lu1为基准目标距摄像机的物距;
计算时,将l1对应于显示图像上的像素数nl1值给hv1;将nl2赋值给hv2;
nl2为l2对应于显示图像上的像素数,l2为入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离(即入侵目标与视场中心的实际水平距 离)。
作为优选,考虑到摄像机吊装高度h0,基准目标距摄像机的物距lu1,远远大于摄像机的焦距f,因此公式(1)可简化为:
步骤S302,计算入侵目标与摄像机之间的连线与摄像机光轴之间的夹角θ;
θ=θ1-α (3)
其中θ1是入侵目标与摄像机之间的连线与与水平面的夹角。
通过测量或计算可以得出基准目标与摄像机之间的连线与摄像机光轴之间的夹角θ1,以及基准目标与摄像机之间的连线与水平面之间的夹角
在实际视场中,设入侵目标顶沿与摄像机之间的连线为线A1,入侵目标底沿与摄像机之间的连线为线A2,而线A1与线A2与摄像机光轴之间的夹角近似相等,因此在计算入侵目标与摄像机之间的连线与摄像机光轴之间的夹角时,可将入侵目标近似为一点,即忽略其实际高度。
同样的道理在计算基准目标与摄像机之间的连线与水平面之间的夹角时,可将基准目标近似为一点,图9中以入侵目标顶沿以及基准目标与顶沿摄像机之间的连线为例。
步骤S303,基于镜头成像公式,计算出入侵目标在显示图像中的准确大小,即入侵目标对应于显示图像上的像素数,包括入侵目标的像素高度hv2和入侵目标的像素宽。
hu2=h2cosθ1 (9)
其中:
θ1是基准目标与摄像机之间的连线与摄像机光轴之间的夹角;
h1是基准目标实际高度;
hu1是h1相对于摄像机光轴的物高;
hv1是基准目标对应于图像上的像素数nh1;
h2是入侵目标的实际高度;
hu2是h2相对于摄像机光轴的物高,一般取h1=h2;
作为优选,考虑到摄像机吊装高度h0,入侵目标距摄像机的物距lu2,远远大于摄像机的焦距f,因此公式(5)可简化为:
步骤S104中,尽管之前已经获得了入侵目标在显示图像中的大小,但仍需在入侵目标前景中定位入侵目标的准确位置,本步骤中,以入侵目标在显示图像中的大小为目标框,在入侵目标前景中统计目标框处在不同位置时目标框内的前景点的数目,前景点的数目最多时,目标框所处的位置即为入侵目标在入侵目标前景中的准确位置。
作为另一种实施方式,对入侵目标前景中的前景点进行投影,波峰最大处作为目标框的中心,以此定位目标框,得到入侵目标在入侵目标前景中的准确位置。
本发明方法在计算时,假定所述的基准目标和入侵目标具有相同的实际高度,具有相同的实际高度与实际宽度的比例。由于在设定基准目标时选取的是与可能出现的入侵目标具有相似高度以及相似宽度的对象。因此 仅需计算出入侵目标的像素高度,就可以对应的得知其像素宽度。
在入侵目标前景中定位入侵目标的准确位置后,可以采用现有的运动目标跟踪方法锁定入侵目标,实时监控。
本发明还提供了一种监控场景下目标精确抓取的系统,该系统包括:
场景设定模块,用于设定静态监控场景;
参量标定模块,用于在静态监控场景中,标定基准目标的相关参量;
目标检测模块,用于在在显示图像中获得入侵目标前景,依据基准目标的相关参量,以及静态监控场景中摄像机吊高和摄像机光轴与水平面夹角确定入侵目标在显示图像中的准确大小;
目标定位模块,用于确定入侵目标在入侵目标前景中的准确位置。
所述的设定静态监控场景,为确定摄像机(本发明的摄像机泛指视频采集设备)拍摄方向(即摄像机光轴)与水平面的夹角α,其中对于安装位置固定的摄像机,可以通过直接测量获得摄像机拍摄方向与水平面的夹角;对于云台摄像机,在确定云台摄像机拍摄方向和摄像机变倍后,可以通过查询获得摄像机拍摄方向与水平面的夹角。
所述的参量标定模块中,包括:
目标大小标定单元,用于确定基准目标的实际大小,包括实际高度h1和实际宽度w1。
距离标定单元,用于计算基准目标沿摄像机光轴垂直投影线方向距离视场中心的距离l1(即基准目标与视场中心的实际水平距离),以及这段距离对应于显示图像上的像素数nl1;
像素数标定单元,用于计算基准目标对应于显示图像上的像素数,即基准目标在显示图像中的大小,包括基准目标的像素高度nh1和基准目标的像素宽度nw1。
所述的目标检测模块中,可以利用现有的运动检测算法显示图像中获得入侵目标前景,但由于运动检测算法受光照,目标运动速度等影响,获得的入侵目标前景与入侵目标的实际大小有较大偏差,需要进一步确定入侵目标在显示图像中的准确大小。作为优选,所述的目标检测模块包括: 距离计算子单元、夹角计算子单元和目标大小计算子单元。
其中所述的距离计算子单元用于计算入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离l2(即入侵目标与视场中心的实际水平距离);
其中:
h0为摄像机吊装高度;
α为摄像机光轴与水平面的夹角;
f为摄像机的焦距;
l1是基准目标沿摄像机光轴垂直投影线方向距离视场中心的距离;
lu1为基准目标距摄像机的物距;
计算时,将l1对应于显示图像上的像素数nl1值给hv1;将nl2赋值给hv2;
nl2为l2对应于显示图像上的像素数,l2为入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离(即入侵目标与视场中心的实际水平距离)。
作为优选,考虑到摄像机吊装高度h0,基准目标距摄像机的物距lu1,远远大于摄像机的焦距f,因此公式(1)可简化为:
所述的夹角计算子单元用于计算入侵目标与摄像机之间的连线 与摄像机光轴之间的夹角θ;
θ=θ1-α (3)
其中θ1是入侵目标与摄像机之间的连线与与水平面的夹角。
通过测量或计算可以得出基准目标与摄像机之间的连线与摄像机光轴之间的夹角θ1,以及基准目标与摄像机之间的连线与水平面之间的夹角
在实际视场中,设入侵目标顶沿与摄像机之间的连线为线A1,入侵目标底沿与摄像机之间的连线为线A2,而线A1与线A2与摄像机光轴之间的夹角近似相等,因此在计算入侵目标与摄像机之间的连线与摄像机光轴之间的夹角时,可将入侵目标近似为一点,即忽略其实际高度。
同样的道理在计算时基准目标与摄像机之间的连线与水平面之间的夹角时,可将基准目标近似为一点,图9中以入侵目标顶沿以及基准目标与顶沿摄像机之间的连线为例。
所述的目标大小计算子单元,用于基于镜头成像公式,计算出入侵目标在显示图像中的准确大小,即入侵目标对应于显示图像上的像素数,包括入侵目标的像素高度hv2和入侵目标的像素宽度。
hu2=h2cosθ1 (9)
其中:
θ1是基准目标与摄像机之间的连线与摄像机光轴之间的夹角;
h1是基准目标实际高度;
hu1是h1相对于摄像机光轴的物高;
hv1是基准目标对应于图像上的像素数nh1;
h2是入侵目标的实际高度;
hu2是h2相对于摄像机光轴的物高,一般取h1=h2;
作为优选,考虑到摄像机吊装高度h0,入侵目标距摄像机的物距lu2,远远大于摄像机的焦距f,因此因此公式(5)可简化为:
本发明通过标定具体监控场景下的标准目标参量,依据摄像机吊高和摄像机与水平面夹角信息以及镜头成像的物理公式,基于运动检测算法,准确定位出入侵目标的大小,在某些要求较高的监控场景下实现了运动目标的精确锁定,标定方法不但可以应用于枪机等固定摄像机监控场景下,也可以应用于云台摄像机等监控场景下,具有较广的应用范围,在同一监控环境下,只需标定一次,对于云台摄像机每次运行只需预调位置就可以实现,标定方法思想简单,易于实现,具有较高的执行效率和准确率,进一步提高了智能监控的效果。
附图说明
图1是本发明一种监控场景下目标精确抓取的系统的结构框图;
图2是本发明一种监控场景下目标精确抓取的方法的流程图;
图3是图2中标定基准目标的相关参量的方法的流程图;
图4是图2中依据基准目标的相关参量,确定入侵目标在显示图像中的准确大小的方法的流程图;
图5是本发明中标定基准目标的实际监控场景的示意图;
图6是基准目标以及入侵目标前景在显示图像中的示意图;
图7是基准目标以及入侵目标距离视场中心距离的示意图;
图8是基准目标以及入侵目标在实际监控场景中各角度以及物距换算的示意图;
图9是基准目标以及定位后的入侵目标在显示图像中的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定发明。
参见图1,本发明一种监控场景下目标精确抓取的系统,包括:
场景设定模块51,用于设定静态监控场景;
参量标定模块52,用于在静态监控场景中,标定基准目标的相关参量;
目标检测模块53,用于在显示图像中获得入侵目标前景,依据基准目标的相关参量,以及静态监控场景中摄像机吊高和摄像机光轴与水平面夹角确定入侵目标在显示图像中的准确大小;
目标定位模块54,用于确定入侵目标在入侵目标前景中的准确位置。
在参量标定模块52中,包括:
目标大小标定单元521,用于确定基准目标的实际大小,包括实际高度和实际宽度。
距离标定单元522,用于计算基准目标沿摄像机光轴垂直投影线方向距离视场中心的距离,以及这段距离对应于显示图像上的像素数;
像素数标定单元523,用于计算基准目标对应于显示图像上的像素数。
在目标检测模块53中,包括:
距离计算子单元531,用于计算入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离;
夹角计算子单元532,用于计算入侵目标与摄像机之间的连线与摄像机光轴之间的夹角,以及基准目标与摄像机之间的连线与水平面之间的夹角;
目标大小计算子单元533,用于基于镜头成像公式,计算出入侵目标 在显示图像中的准确大小。
参见图2~4,本发明实施例一种监控场景下目标精确抓取的方法,包括:
步骤S101,设定静态监控场景;
步骤S102,在静态监控场景中,标定基准目标的相关参量;
步骤S103,在显示图像中获得入侵目标前景,依据基准目标的相关参量,以及静态监控场景中摄像机吊高和摄像机光轴与水平面夹角确定入侵目标在显示图像中的准确大小;
步骤S104,确定入侵目标在入侵目标前景中的准确位置,即入侵目标在显示图像中准确位置。
步骤S102中,标定基准目标的相关参量包括:
步骤S201,确定基准目标的实际大小,包括实际高度和实际宽度;
步骤S202,计算基准目标沿摄像机光轴垂直投影线方向距离视场中心的距离,以及这段距离对应于显示图像上的像素数;
步骤S203,计算基准目标对应于显示图像上的像素数。
步骤S103中,依据基准目标的相关参量,确定入侵目标在显示图像中的准确大小,包括:
步骤S301,计算入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离;
步骤S302,计算入侵目标与摄像机之间的连线与摄像机光轴之间的夹角,以及基准目标与摄像机之间的连线与水平面之间的夹角;
步骤S303,基于镜头成像公式,计算出入侵目标在显示图像中的准确大小。
下面结合附图5~9及对本发明方法以及原理作进一步描述。
在步骤S101中,设定静态监控场景。本发明是基于摄像机的空间位置以及摄像机信息来实现的,所以首先得设定静态监控场景。
对于安装位置固定的摄像机,可以通过直接测量获得摄像机拍摄方向与水平面的夹角α,用于后续目标大小的计算;
对于云台摄像机,在确定云台摄像机拍摄方向和摄像机变倍后,可以通过查询获得摄像机拍摄方向与水平面的夹角α,用于后续目标大小的计算。这里应说明,由于本发明只用于在静态场景,即某一固定场景下的应用,因此对于云台摄像机来说,一旦设定监控场景,云台摄像机的拍摄方向和变倍信息应保持不变,直到准确定位出运动目标。
在步骤S102中,在设定的静态监控场景下,标定基准目标的相关参量;如图5、图6所示,在具体设定的静态监控场景下标定基准目标(比如人),要求基准目标在摄像机光轴的垂直投影线上,测出基准目标实际宽度w1和高度h1,以及保存基准目标对应于图像上的像素宽nw1和像素高nh1,测出基准目标垂直于视场中心的实际距离l1,以及保存下这段距离对应于图像上的像素数nl1。
在步骤S103中,启动运动检测算法,创建规则,比如越线检测、区域检测等,当检测到目标越线,或者入侵区域时,锁定目标,即获得了入侵的运动目标前景,由于运动检测算法受光照,目标运动速度等影响,框出的运动目标大小有时很不理想,需要进一步确定入侵目标在显示图像中的准确大小。
步骤S103中,依据基准目标的相关参量,以及静态监控场景中摄像机吊高和摄像机光轴与水平面夹角确定入侵目标在显示图像中的准确大小,是本发明的核心内容,步骤S103中包括:
步骤S301,计算入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离l2,即入侵目标与视场中心的实际水平距离;
参见如图5、图6,依据镜头成像公式: 和 (f是焦距,u=lu是物距,v=lv是像距,hu是物高,hv是像高)可以推导出计算入侵目标沿摄像机光轴垂直投影线方向上距离视场中心的实际距离l2,
其中:
h0为摄像机吊装高度;
α为摄像机光轴与水平面的夹角;
f为摄像机的焦距;
l1是基准目标沿摄像机光轴垂直投影线方向距离视场中心的距离;
lu1为基准目标距摄像机的物距;
计算时,将l1对应于显示图像上的像素数nl1值给hv1;将nl2赋值给hv2;
nl2为l2对应于显示图像上的像素数,l2为入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离(即入侵目标与视场中心的实际水平距离)。
考虑到摄像机吊装高度h0,基准目标距摄像机的物距lu1,远远大于摄像机的焦距f,因此公式(1)可简化为:
步骤S302,计算入侵目标与摄像机之间的连线与摄像机光轴之间的夹角θ;
参见图8,依据步骤S301计算的入侵目标沿摄像机光轴垂直投影线方向距离视场中心的距离l2,,可以计算出入侵目标与摄像机之间的连线与摄像机光轴之间的夹角θ,其推导出的公式如下,
θ=θ1-α (3)
其中θ1是入侵目标与摄像机之间的连线与与水平面的夹角。
通过测量或计算可以得出基准目标与摄像机之间的连线与摄像机光轴之间的夹角θ1,以及基准目标与摄像机之间的连线与水平面之间的夹角
步骤S303,如图8、图9所示,基于镜头成像公式,计算出入侵目标在显示图像中的准确大小,即入侵目标对应于显示图像上的像素数,包括入侵目标的像素高度hv2和入侵目标的像素宽度。
入侵目标与摄像机之间的连线与摄像机光轴之间的夹角θ后,可以直接计算出入侵目标在图像上的像素高度hv2,入侵目标在图像上的像素宽度可以根据预定的宽高比来换算获得,推导出的计算公式如下,
hu2=h2cosθ1 (9)
其中:
θ1是基准目标与摄像机之间的连线与摄像机光轴之间的夹角;
h1是基准目标实际高度;
hu1是h1相对于摄像机光轴的物高;
hv1是基准目标对应于图像上的像素数nh1;
h2是入侵目标的实际高度;
hu2是h2相对于摄像机光轴的物高,一般取h1=h2;
参见图8,在计算hu1和hu2时,会利用到θ3,θ4,可根据近似关系,令 θ4≈θ1。图中从基准目标顶沿向摄像机光轴作垂线,该垂线与基准目标(基准目标自身所处的竖直线)的夹角即为θ3。从入侵目标底沿 向摄像机光轴作垂线,该垂线与入侵目标(入侵目标自身所处的竖直线)的夹角即为θ4。
考虑到摄像机吊装高度h0,入侵目标距摄像机的物距lu2,远远大于摄像机的焦距f,因此因此公式(5)可简化为:
这样可以计算出入侵目标在显示图像中任意位置的准确大小,由于目标大小变化沿摄像机光轴垂直投影方向变化明显,而沿垂直于摄像机光轴垂直投影即水平方向变化较小,因此在这里计算时只考虑了摄像机与入侵目标的垂直夹角,忽略了摄像机与入侵目标的水平夹角。
参见图9,步骤S104中,需在入侵目标前景中定位出入侵目标,以入侵目标在显示图像中的大小为目标框,在入侵目标前景中统计目标框处在不同位置时,目标框内的前景点的数目,前景点的数目最多时,目标框所处的位置即为入侵目标在入侵目标前景中的准确位置。
步骤S104中还可以对入侵目标前景中的前景点进行投影,波峰最大处作为目标框的中心,以此定位目标框,得到入侵目标在入侵目标前景中的准确位置。
在入侵目标前景中定位入侵目标的准确位置后,可以采用现有的运动目标跟踪方法锁定入侵目标,实时监控。
本发明实施例的有益效果在于:
1、通过标定具体监控场景下的标准目标参量,依据摄像机吊高和摄像机与水平面夹角信息以及镜头成像的物理公式,基于运动检测算法,可以准确定位出入侵目标的大小,从而可以在某些要求较高的监控场景下精确锁定运动目标。
2、标定方法不但可以应用于枪机等固定摄像机监控场景下,也可以应用于云台摄像机等监控场景下,具有较广的应用范围。
3、在同一监控环境下,只需标定一次,对于云台摄像机每次运行只需预调位置就可以实现。
4、标定方法简单,易于实现,具有较高的执行效率和准确率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。