CN102905070A

CN102905070A - 多路图像联合监视与等价空间图像拼接方法

Info

Publication number: CN102905070A
Application number: CN2012103088161A
Authority: CN
Inventors: 史忠科
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2012-08-27
Filing date: 2012-08-27
Publication date: 2013-01-30
Anticipated expiration: 2032-08-27
Also published as: CN102905070B

Abstract

本发明公开了一种多路图像联合监视与等价空间图像拼接方法，用于解决现有的CCD图像幅面小的技术问题。技术方案是按照给定距离的区域覆盖要求和电动镜头不同距离的视场角，将安装在不同云台上的一组CCD方位角和高低角采用自动控制方式调整，或者将安装同一云台上的一组CCD高低角采用自动控制方式调整，实现给定监视区域的最大覆盖。通过监视空间等效方法将多个小幅面CCD系统等效为一个大幅面CCD监视系统，并对多个重复监视区域进行融合估计。

Description

多路图像联合监视与等价空间图像拼接方法

技术领域

本发明涉及智能交通系统，特别是涉及一种多路图像联合监视与等价空间图像拼接方法。

背景技术

视频监视有着广泛的应用，我国的高速公路、城市交通、小区安防等都采用视频监视；近年来，在飞机对地观测、低空监视、施工现场监视、机场场面监视等都使用CCD监视。

在低空监视方面，如文献(罗晓，卢宇，吴宏刚，采用多视频融合的机场场面监视方法，电讯技术，2011，Vol.51(7)，pp：128-132)所述，长期以来，雷达技术在民航空中交通信息控制(Air Traffic Control，ATC)系统中扮演着重要角色，根据与被探测物体的交互方式，可分为协作式雷达和非协作式雷达两种；所谓协作，是指雷达与被探测物体之间、信号发射机和接收机之间存在信息交互，如被探测物主动广播自身状态信息，而雷达接收到这些信息；对于非协作式雷达，则不存在这种交互关系，因此非协作式雷达可以独立工作；典型的非协作式类如一次雷达，具体到机场场面区域有场面监视雷达；但是，场面监视雷达十分昂贵，尤其是对航班起降架次较小的中小型机场而言，这是一笔很大的开销，在通用航空中难以使用；视频技术作为一种常见和更便宜的设备，也能够提供非协作式监视潜力，这表现在4个方面：首先，视频监视无需在飞行器、车辆等被探测物上安装专门的设备；其次，视频监视能够输出视频序列，并且在分析这些序列的基础上可以进一步获取活动目标的位置和速度信息，这一点很像场面监视雷达；再次，由于其通用和便宜的特点，视频摄像头可以大量部署使其可以覆盖到场面监视雷达覆盖受限的区域；最后，基于不同类型的摄像头相互融合的方法可以提供更加丰富的信息，如红外摄像头可以提供夜间的目标检测和跟踪；因此，视频监视能够作为中小型简易机场场面监视雷达等非协作式监视手段的替代方案；同时，考虑到广播式自主相关监视ADS-B技术的快速发展，将视频作为非协作式监视手段，将ADS-B作为协作式监视手段，这两种数据的融合甚至完全有可能为未来的中小型机场提供监视方案；在这种思路下，这就要求视频系统至少能够在场面区域内提供像场面监视雷达一样的位置、速度和图像序列信息。

在地形跟踪方面，如文献(王广君，陈欣，田金文，明德烈，柳健，地形导航中的3D地形跟踪方法，电波科学学报，2002，Vol.17(6)，pp：609-613，619)所述，目前飞行器导航主要是利用惯性系统，利用雷达高度表测量飞行器的飞行高度，从而确定飞行器的飞行过程；但是，在飞行器产生漂移，飞行器前方出现突变障碍物时，传统的导航方式难以实时的对障碍物进行回避；激光成像雷达具有单色性、方向性等特点可以高精度的获取前视距离图像和3D实时地形图；这为飞行器自动目标识别、障碍物回避、地形跟踪、地形匹配等提供可能；在飞行器自动导航中，可以用激光成像雷达作为传感器，实时获取飞行器正下方的地形图和飞行器前方的3D距离图像；飞行器下方的实时地形图用于飞行器的地形匹配，准确的确定飞行器的当前位置；飞行器前方的距离图像，可以识别飞行器前方障碍物的信息，实现飞行器自动障碍物回避和自动地形导航；近年来，英国等国家给飞机加装吊舱并采用图像和测距设备实现飞行器避障、地形跟踪/回避过程；地形参考图可以通过图像处理在线更新，不需要传输卫星等手段得到的已知高分辨率标准3D地形图，增加了系统可靠性。

在建筑施工方面，随着成像设备的广泛普及，价格低廉的视频监控已被越来越多的建筑公司采用，安装在施工现场的视频摄像机，不仅可以辅助管理人员远程、实时监控施工进度，监督工程用料，而且保存的视频资料还可满足项目双方的存证需求，为确保工程质量，提高施工效率，采用基于计算机视觉的施工场景监控提供了一种非侵入、方便、快捷的机制来分析施工现场的目标，理解施工现场时间、空间上的变化，为评估施工进度，提高生产效率提供了客观、准确、翔实、实时的数据。

大量的实践表明，常用CCD图像幅面大小为720*576，速度25帧/秒或30帧/秒，大幅面如图像幅面大小8000*6000的CCD速度仅为0.5帧/秒；CMOS镜头虽然速度快但不能适应很多应用场合；对于飞行器对地观测的地形跟踪、低空监视、大场面监视等都不能满足实际要求。

发明内容

为了克服现有的CCD图像幅面小的不足，本发明提供一种多路图像联合监视与等价空间图像拼接方法。该方法按照给定距离的区域覆盖要求和电动镜头不同距离的视场角，将安装在不同云台上的一组CCD方位角和高低角采用自动控制方式调整，或者将安装同一云台上的一组CCD高低角采用自动控制方式调整，实现给定监视区域的最大覆盖；通过监视空间等效方法将多个小幅面CCD系统等效为一个大幅面CCD监视系统，并对多个重复监视区域进行融合估计。

本发明解决其技术问题所采用的技术方案是：一种多路图像联合监视与等价空间图像拼接方法，其特点是包括以下步骤：

步骤一、将安装在不同云台上的一组CCD方位角和高低角、或者安装同一云台上的一组CCD高低角，采用自动控制方式调整，等效一个大幅面CCD监视系统；

步骤二、按照给定距离的区域覆盖要求和电动镜头不同距离的视场角，将安装在不同云台上的一组CCD方位角和高低角采用自动控制方式调整，或者安装同一云台上的一组CCD高低角采用自动控制方式调整，实现给定监视区域的最大覆盖；

步骤三、等价一个大幅面CCD系统所对应等价直角坐标系定义为OXYZ，第i个CCD系统对应的直角坐标系定义为O_iX_iY_iZ_i，多个CCD在覆盖区域等效观测点的直角坐标值校正按照以下公式：

[\begin{matrix} x \\ y \\ z \end{matrix}] = R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

式中，x，y，z为等价坐标系OXYZ中的坐标值，x_i，y_i，z_i为第i个CCD系统对应坐标系O_iX_iY_iZ_i中的坐标值，x_i0，y_i0，z_i0为坐标系O_iX_iY_iZ_i原点在坐标系OXYZ中的坐标值，全文符号定义相同；

步骤四、等价一个大幅面CCD系统所对应等价球面坐标系定义为ραβ，第i个CCD系统对应的球面坐标系定义为ρ_iα_iβ_i，多个CCD在覆盖区域等效观测点的球面坐标系坐标值校正关系为：

[\begin{matrix} x \\ y \\ z \end{matrix}] = ρ [\begin{matrix} \cos α \cos β \\ \sin α \cos β \\ \sin β \end{matrix}],

ρ^{2} = [\begin{matrix} x & y & z \end{matrix}] [\begin{matrix} x \\ y \\ z \end{matrix}]

以及

[\begin{matrix} \cos α \cos β \\ \sin α \cos β \\ \sin β \end{matrix}] = R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}] / ρ;

根据

ρ^{2} = [\begin{matrix} x & y & z \end{matrix}] [\begin{matrix} x \\ y \\ z \end{matrix}]

= [\begin{matrix} x_{i} + x_{i 0} & y_{i} + y_{i 0} & z_{i} + z_{i 0} \end{matrix}] R_{i}^{T} R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

= [\begin{matrix} x_{i} + x_{i 0} & y_{i} + y_{i 0} & z_{i} + z_{i 0} \end{matrix}] [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

求解出ρ；

根据sin

β = r_{3 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}] / ρ

计算得β；

如果

abs (\frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}) \leq 5,

则按照

\tan α = \frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}

计算α；

如果

abs (\frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}) > 5,

则按照

\cot anα = \frac{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}

计算α；

步骤五、m个CCD监视的重复区域融合估计方法为：

式中，λ为加权因子，

\begin{matrix} λ_{k} = {[\sqrt{x_{k 0}^{2} + y_{k 0}^{2} + z_{k 0}^{2}} Σ_{i = 1}^{m} \frac{1}{\sqrt{x_{i 0}^{2} + y_{i 0}^{2} + z_{i 0}^{2}}}]}^{- 1} & (k = 1,2, \cdot \cdot \cdot, m - 1) \\ λ_{m} = 1 - Σ_{i = 1}^{m - 1} λ_{i} \end{matrix},

其中：m为整数。

本发明的有益效果是：由于按照给定距离的区域覆盖要求和电动镜头不同距离的视场角，将安装在不同云台上的一组CCD方位角和高低角采用自动控制方式调整，或者将安装同一云台上的一组CCD高低角采用自动控制方式调整，实现给定监视区域的最大覆盖；通过监视空间等效方法，实现了将多个小幅面CCD系统等效为一个大幅面CCD监视系统，并对多个重复监视区域进行融合估计。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明多路图像联合监视与等价空间图像拼接方法具体步骤如下：

1、将安装在不同云台上的一组CCD方位角和高低角可调，或者将安装同一云台上的一组CCD需要高低角可调，采用自动控制方式调整，等效1个大幅面CCD监视系统；4个720*576幅面的CCD可组合成大于720*576小于等于1440*1152幅面的等效CCD，实现PAL制式25帧/秒，NTSC制式30帧/秒；

2、按照给定距离的区域覆盖要求和选定电动镜头不同距离可得到视场角，将安装在不同云台上的一组CCD方位角和高低角采用小型舵机调整，或者安装同一云台上的一组CCD需要高低角可调采用小型舵机调整，实现给定监视区域的最大覆盖；

3、等价一个大幅面CCD系统所对应等价直角坐标系定义为OXYZ，第i个CCD系统对应的直角坐标系定义为O_iX_iY_iZ_i，多个CCD在覆盖区域等效观测点的直角坐标值校正按照以下公式：

[\begin{matrix} x \\ y \\ z \end{matrix}] = R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

4、等价一个大幅面CCD系统所对应等价球面坐标系定义为ραβ，第i个CCD系统对应的球面坐标系定义为ρ_iα_iβ_i，多个CCD在覆盖区域等效观测点的球面坐标系坐标值校正关系为：

[\begin{matrix} x \\ y \\ z \end{matrix}] = ρ [\begin{matrix} \cos α \cos β \\ \sin α \cos β \\ \sin β \end{matrix}], ρ^{2} = [\begin{matrix} x & y & z \end{matrix}] [\begin{matrix} x \\ y \\ z \end{matrix}]

以及

[\begin{matrix} \cos α \cos β \\ \sin α \cos β \\ \sin β \end{matrix}] = R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}] / ρ;

根据

ρ^{2} = [\begin{matrix} x & y & z \end{matrix}] [\begin{matrix} x \\ y \\ z \end{matrix}]

= [\begin{matrix} x_{i} + x_{i 0} & y_{i} + y_{i 0} & z_{i} + z_{i 0} \end{matrix}] R_{i}^{T} R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

= [\begin{matrix} x_{i} + x_{i 0} & y_{i} + y_{i 0} & z_{i} + z_{i 0} \end{matrix}] [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

可求解出ρ；

根据sin

β = r_{3 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}] / ρ

计算可得β；

如果

abs (\frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}) \leq 5,

则按照

\tan α = \frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}

计算α；

如果

abs (\frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}) > 5,

则按照

\cot anα = \frac{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}

计算α；

5、m个CCD监视的重复区域融合估计方法为：

式中，λ为加权因子，

\begin{matrix} λ_{k} = {[\sqrt{x_{k 0}^{2} + y_{k 0}^{2} + z_{k 0}^{2}} Σ_{i = 1}^{m} \frac{1}{\sqrt{x_{i 0}^{2} + y_{i 0}^{2} + z_{i 0}^{2}}}]}^{- 1} & (k = 1,2, \cdot \cdot \cdot, m - 1) \\ λ_{m} = 1 - Σ_{i = 1}^{m - 1} λ_{i} \end{matrix},

其中：m为整数。

Claims

1.一种多路图像联合监视与等价空间图像拼接方法，其特征在于包括以下步骤：

[\begin{matrix} x \\ y \\ z \end{matrix}] = R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

[\begin{matrix} x \\ y \\ z \end{matrix}] = ρ [\begin{matrix} \cos α \cos β \\ \sin α \cos β \\ \sin β \end{matrix}], ρ^{2} = [\begin{matrix} x & y & z \end{matrix}] [\begin{matrix} x \\ y \\ z \end{matrix}]

以及

[\begin{matrix} \cos α \cos β \\ \sin α \cos β \\ \sin β \end{matrix}] = R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}] / ρ;

根据

ρ^{2} = [\begin{matrix} x & y & z \end{matrix}] [\begin{matrix} x \\ y \\ z \end{matrix}]

= [\begin{matrix} x_{i} + x_{i 0} & y_{i} + y_{i 0} & z_{i} + z_{i 0} \end{matrix}] R_{i}^{T} R_{i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

= [\begin{matrix} x_{i} + x_{i 0} & y_{i} + y_{i 0} & z_{i} + z_{i 0} \end{matrix}] [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]

求解出ρ；

根据

\sin β = r_{3 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}] / ρ

计算得β；

如果

abs (\frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}) \leq 5,

则按照

\tan α = \frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}

计算α；

如果

abs (\frac{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}) > 5,

则按照

\cot anα = \frac{r_{1 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}{r_{2 i} [\begin{matrix} x_{i} + x_{i 0} \\ y_{i} + y_{i 0} \\ z_{i} + z_{i 0} \end{matrix}]}

计算α；

步骤五、m个CCD监视的重复区域融合估计方法为：

式中，λ为加权因子，

λ_{k} = {[\sqrt{x_{k 0}^{2} + y_{k 0}^{2} + z_{k 0}^{2}} Σ_{i = 1}^{m} \frac{1}{\sqrt{x_{i 0}^{2} + y_{i 0}^{2} + z_{i 0}^{2}}}]}^{- 1} (k = 1,2, . . ., m - 1),

λ_{m} = 1 - Σ_{i = 1}^{m - 1} λ_{i}

式中，m为整数。