CN103986912B - 基于民用ipc的双向实时车辆底盘图像合成方法 - Google Patents

Abstract

本发明提供了基于民用IPC的双向实时车辆底盘图像合成方法，其中实时处理数据帧序列并进行拼接，包括以下步骤：步骤(1)，取得IPC数据帧，根据IPC畸变参数进行数据帧校正并提取候选配准区域；步骤(2)，计算相邻数据帧偏移增量；步骤(3)，偏移增量修正后融合拼接；步骤(4)，循环执行步骤(1)～(3)直到收到停止拼接信号。本发明满足了大多数应用场合。本发明中的控制方法使得车辆底盘拼接自动实时完成，杜绝漏检发生，所得车底盘图像完整，清晰度高分辨率达数百万像素，支持双向实时拼接，适应大多数应用场景。

Description

基于民用IPC的双向实时车辆底盘图像合成方法

技术领域

本发明涉及车辆底盘图像拼接合成方法，尤其涉及一种基于民用IPC(IP Camera，网络摄像机)数据帧序列的实时车辆底盘图像拼接的方法。

背景技术

当前监狱、看守所、戒毒所等羁押场所的出入口车辆通道在对进出车辆底盘进行安全检查时主要依靠警察进行人工搜查，比较费力费时。因机动车辆底盘种类繁多，这就要求检查人员对各种车辆底盘具有相当的了解，且需要检查经验丰富又比较认真负责，一般检查人员检查起来就会比较缓慢，且容易造成漏检现象。目前即使少部分单位在出入口车辆通道受检区域的地面上安装了监控，但大都是一些非专业性、简易的监控，实际应用中都成了摆设，不能有效发挥监控检查作用，这样就造成易漏检，易引发监管安全事故。

由于车辆底盘的隐蔽性加上羁押场所现有监控检查系统的落后，罪犯利用底盘藏匿危险物品以及利用车辆底盘成功从监狱逃脱的案件在我国时有发生。例如，在2006年9月13日，在江苏省龙潭监狱服刑的徐某就藏匿在货车底部的备用轮胎上成功地从监狱逃脱；在2009年7月18日，因盗窃罪于2009年初被判3年的案犯陈某也通过藏匿在货车的底部成功地从浙江省金华监狱脱逃。类似的案件还有很多，这充分说明了开发一款智能高效的车辆底盘扫描检测系统的必要性和迫切性，市场的需求催生了多种车辆底盘扫描检测系统。

目前，车辆底盘扫描检测系统根据车辆底盘成像摄像机设备分类，主要包括线阵CCD摄像机、面阵相机阵列以及全景摄像机，其都由于自身特点的局限性，不能满足所有场合应用，特别是对期望投资少所处环境恶劣而又想获得较清晰车底图像的特定场合不适用。

线阵CCD摄像机多为数字式，具有高分辨率、像素位置信息强、结构紧凑及自扫描等特性，从而可用于大多对图像分辨率要求极高的场合。由于线阵CCD摄像机每次只能拍到一个条纹，当被拍摄物体沿与像素阵列垂直的方向运动时，线阵CCD摄像机连续高速拍摄许多条纹，将这些条纹拼接起来就构成车辆底盘图像，这就造成车速的不同，所得车底盘图像往往有“拖影”或“重叠”现象，为了克服这个问题，就需要增加额外的控制设备，比如车辆速度传感器等，但由于目前市场上的速度传感器的精度并不能满足实际需要，所以对拼接成像结果的改观并不是很大。另外，目前使用的线阵CCD摄像机一般多为国外进口相机，价格高(约30000人民币/台)，售后困难，多数客户往往因资金限制或所处位置限制只能望而却步。

使用面阵相机阵列进行车底盘图像拼接的特点是使用多台面阵相机同时拍摄车辆底盘，然后依次从各个相机获取数据帧先后完成车底盘横向拼接和纵向拼接，其硬件安装及视频数据帧处理流程过于复杂，速度慢，易受环境因素影响，难以达到实用效果，故目前市场上并没有采用此方案的实际产品。使用全景摄像机完成车底盘拼接的主要出发点是降低项目成本，全景摄像机拍摄到车底盘序列图像后，由于画面扭曲严重，首先必须进行精确的畸变纠正，在此基础上进行图像配准和融合拼接。真实场景中，全景摄像机外部参数在使用过程中会发生改变，导致畸变纠正不能精确的完成，再加上该方案采用特征点匹配对图像质量依赖过大，而实际场景图像质量往往较差，从而极易引起图像配准过程不准确，其融合拼接的得到的车底盘图像质量必然较差，甚至不能得到拼接结果。特征点查找及匹配需要大量的计算，也导致该方案实时性不够。

发明内容

鉴于目前市场上车辆底盘安全检查系统价格过高或拼接实时性不够质量较差等现状，本发明提出了一种基于民用IPC的双向实时车辆底盘图像合成方法。

本发明公开了一种基于民用IPC的双向实时车辆底盘图像合成方法，采用民用IPC成像系统，从IPC获取实时数据帧序列，实时处理数据帧序列并进行拼接；所述实时处理数据帧序列并进行拼接，包括以下步骤：

步骤(1)，取得IPC数据帧，根据IPC畸变参数进行帧校正并提取候选配准区域；

步骤(2)，计算相邻数据帧偏移增量；

步骤(3)，偏移增量修正后融合拼接；

步骤(4)，循环执行步骤(1)～(3)直到收到停止拼接信号。

本发明中步骤(1)中，通过预处理步骤获得IPC畸变参数，包括：IPC上方空置，拍摄一张图像，依次经过二值化、边缘检测和拟合边缘曲线，得到IPC畸变参数。

本发明中步骤(1)中，数据帧有效区域内的最大内接矩形区域即为候选配准区域，在候选配准区域内进行数据帧配准，将数据帧配准过程限定为纵向偏移增量的计算。

本发明中所述步骤(2)计算相邻数据帧偏移增量中，使用一个8×8的区域配准模板M_8×8完成数据帧偏移增量的计算，对于数据帧P，其区域配准模板每个单元格计算方法是：

其中，M_P(i,j)为M_P的第i行第j列单元格的灰度值总和，M_P为数据帧P对应的配准模板，该配准模板对应一个矩形区域，其8×8等分后所得每个单元格也对应一个矩形区域；令M_P(i,j)对应矩形区域的左上角和右下角的坐标分别为和G(x,y)为数据帧P对应的灰度图在点(x,y)处的灰度值，M_P(i,j)左上角和右下角的坐标关系为：

W为数据帧宽度，模板参数span＝4,ρ＝0.8；

同一配准模板内，相邻模板单元格坐标关系计算公式为：

且

数据帧候选配准区域左上角和右下角坐标分别为(0,Y₀)和(W-1,Y_t)；

相邻两帧的配准模板差距为对应模板单元格灰度值总和之差的平方和累积，对于n个连续的数据帧中组成的数据帧序列P₁,P₂,P₃,...,P_k,P_k+1,...,P_n-1,P_n，其中相邻两帧P_k和P_k+1的模板差距D(d)计算方法是：

其中，k取区间[1,n-1]内整数，为数据帧P_k+1的配准模板，表示数据帧P_k+1中向下偏移0处的配准模板，即在候选配准区域中间位置的匹配模板，表示数据帧P_k中向下偏移d处的配准模板，ω＝{0.7,0.8,0.9,1.0,1.0,0.9,0.8,0.7}对应横向8个配准模板单元格的权值，为的第i行第j列单元格的灰度值总和，为的第i行第j列单元格的灰度值总和；

设模板差距最小值D_min＝min{D(0),D(1),...,D(l)}，l为数据帧P_k的配准模板候选配准区域内可达到的最大偏移增量，则该最小值的首次出现D(d')＝D_min，D(d')对应的d'，即为最佳偏移增量。

本发明中所述步骤(4)数据帧偏移增量修正后融合拼接，其第k帧的最佳偏移增量d_k的修正计算方法是：

其中，d_k-1为第k-1帧的偏移增量，参数d_para为实际场景中最大偏移增量，取d_para＝120。

为了达到双向实时拼接车辆底盘，本发明使用民用IPC获取车底盘数据帧序列，该序列中的数据帧具有光照不均匀分辨率低噪声多等特点，使用本发明中的方法依次完成数据帧预处理、数据帧配准和拼接融合，最终得到完整的车底盘图像。本发明方法使用若干传感器配合流程达到精确控制，从而实现全自动双向拼接。

区别现有技术的三个方案，本发明使用一台普通民用监控IPC获取车底盘图像序列，该IPC成本低(低于3000元/台)视角广，配合使用若干简单设备控制流程全自动完成。使用本发明的系统从IPC获取车底盘数据帧序列，预处理后利用一个8×8区域模板进行图像配准计算得到偏移增量，结合先验速度估计完成融合拼接生成一张完整车底盘图像。在数据处理的过程中，本发明使用区域模板，计算复杂度较低，实时性强，其依赖区域属性而非像素点属性，极大的降低了噪声及光照不均带来的负作用，从而使得系统具有极强的鲁棒性，不管是白天还是夜晚，室外或者室内，都能得到一张质量较好的车底盘完整图像。同时，本发明可用于双向车底盘图像拼接，从而满足特定场合中的进出监测。

本发明中的控制方法使得车辆底盘拼接自动实时完成，杜绝漏检发生，所得车底盘图像完整，清晰度高分辨率达数百万像素，支持双向实时拼接，在成本控制、拼接所得车底盘图像质量、实时性及用户操作方式等各个方面，具有明显的优势，适应大多数应用场景。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和和其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为本发明设备安装示意图，配合这些设备可实现双向实时全自动车底盘图像拼接。

图3为本发明所用IPC获取的实际场景中的数据帧。

图4为本发明畸变纠正后的数据帧。

图5为本发明畸变纠正后的数据帧的区域划分。

图6为本发明图5去掉背景后的区域划分图。

图7为本发明拼接过程示意图。

图8为使用本发明所得车底盘图像拼接结果图。

具体实施方式

本发明公开了一种基于民用IPC(IP Camera，网络摄像机)的双向实时车辆底盘图像合成方法，该方案涉及双向控制流程及该流程下实时完成车辆底盘图像拼接的方法。IPC安装在地平面以下，其上方安装辅助照明设备和高强度透光镜用来保护IPC及透光，若干传感器获取车辆行进方向，使用本发明方案获得高质量车底盘图像时，建议车辆以较低速度(<15km/h)通过IPC上方且不可逆行，这适用于绝大多数应用场合。当车辆进入IPC上方区域时触发开始拼接信号，车辆底盘拼接开始，一直到车辆离开IPC上方时触发结束拼接信号，车辆底盘拼接结束并且立即(<1s)显示所得完整彩色车底盘图像给用户。区别于目前主流市场上使用线阵CDD摄像机获取数据并完成底盘合成，使用本发明保证所得车底盘图像质量的基础上，极大地降低了成本；区别于面阵相机阵列或全景摄像机获取数据并完成底盘合成，本发明方案具有极强的实时性、可操作性及鲁棒性，保证车底盘图像完整且杜绝漏检的发生。

本发明所述的一种基于民用IPC的双向实时车辆底盘图像合成方法，其基本出发点是使用低端摄像机设备降低用户成本的基础上，利用一个8×8区域模板进行图像配准计算得到纵向偏移增量，结合先验速度估计完成融合拼接生成一张完整清晰车底盘图像，其满足绝大多数用户的要求。

双向车底盘拼接流程，分为进库方向和出库方向两种情况。图2中，传感器1和传感器3二者构成方向传感器，用于感知车辆行进方向，A→B为进库方向，B→A为出库方向；传感器2是拼接传感器，有信号时(ON)启动或继续车底盘拼接，无信号时(OFF)停止车底盘拼接；设备4为I/O控制器，直接控制设备，当传感器状态发生改变时发送信号给设备5，设备5为使用了本发明方案进行车底盘拼接的系统主机，设备6为辅助照明，设备7为IPC。下面结合图1来说明本发明方案的具体步骤。

由于本发明的特殊性，本发明图1～图8中的处理过程和处理效果的附图，必须使用带有灰度色彩的表格以及照片显示。

一、进库

车辆进库(A→B)，包括以下步骤：

步骤1，设备1-7加电，系统主机5维护一个状态表(传感器1状态，传感器2状态，传感器3状态)，初始状态所有传感器信号状态置为OFF，系统主机5状态表为(OFF，OFF，OFF)，此时系统置为空状态，无操作；

步骤2，车辆行进时首先触发传感器1，控制器4探测到传感器1状态为ON，控制器4发送“进库-ON”信号给系统主机5，系统主机5根据当前状态“空状态”置状态为“进库状态”，然后发送“打开辅助照明”信号给控制器4，控制器4打开辅助照明6；

步骤3，车辆继续前进，触发传感器2，控制器4探测到传感器2状态为ON，控制器4发送“启动拼接”信号给系统主机5，系统主机5根据当前状态“进库状态”，从IPC获取实时数据帧，进行处理，具体处理方法见下面所述车底盘图像拼接方法；

步骤4，车辆继续前进，触发传感器3，控制器4探测到传感器3状态为ON，控制器4发送“出库-ON”信号给系统主机，系统主机5根据当前已处于状态“进库状态”判定“出库-ON”为无效信号，忽略该信号，系统主机5继续维持在状态“进库状态”；

步骤5，车辆继续前进，控制器4探测到传感器2状态为OFF，控制器4发送“停止拼接”信号给系统主机5，系统主机5停止从IPC获取实时数据帧，然后发送“关闭辅助照明”信号给控制器4，控制器4关闭辅助照明6，将所得车辆底盘完成图像显示到系统主机5的界面；

步骤6，车辆继续前进，控制器4探测到传感器3状态为OFF，控制器4发送“出库-OFF”信号给系统主机5，系统主机5更新状态表为(OFF，OFF，OFF)，系统主机5进入空状态，车辆入库操作结束；

二、出库

车辆出库(B→A)，包括以下步骤：

步骤1，设备1-7加电，系统主机5状态表为(OFF，OFF，OFF)，此时系统置为空状态，无操作；

步骤2，车辆行进时首先触发传感器3，控制器4探测到传感器3状态为ON，控制器4发送“出库-ON”信号给系统主机5，系统主机5根据当前状态“空状态”置状态为“出库状态”，然后发送“打开辅助照明”信号给控制器4，控制器4打开辅助照明6；

步骤3，车辆继续前进，触发传感器2，控制器4探测到传感器2状态为ON，控制器4发送“启动拼接”信号给系统主机5，系统主机5根据当前状态“出库状态”，从IPC获取实时数据帧，垂直翻转后进行处理，具体处理方法见下面所述车底盘图像拼接方法；

步骤4，车辆继续前进，触发传感器1，控制器4探测到传感器1状态为ON，控制器4发送“进库-ON”信号给系统主机，系统主机5根据当前已处于状态“出库状态”判定“进库-ON”为无效信号，忽略该信号，系统主机5继续维持在状态“出库状态”；

步骤5，车辆继续前进，控制器4探测到传感器2状态为OFF，控制器4发送“停止拼接”信号给系统主机5，系统主机5停止从IPC获取实时数据帧，然后发送“关闭辅助照明”信号给控制器4，控制器4关闭辅助照明6，将所得车辆底盘完成图像显示到系统主机5的界面；

步骤6，车辆继续前进，控制器4探测到传感器1状态为OFF，控制器4发送“出进库-OFF”信号给系统主机5，系统主机5更新状态表为(OFF，OFF，OFF)，系统主机5进入空状态，车辆出库操作结束；

为了得到完整的车辆底盘图像，需要保证一旦车辆进入流程(进库流程或出库流程)，处于流程中的任何时候系统主机5都不应该进入空状态，这就要求流程中的任何时候传感器1-3至少有一个处于ON状态，即传感器1-3实际安装中相互之间的距离不宜过大。

本发明前述进库步骤3和出库步骤3中所提车底盘图像拼接方法，其实现的具体步骤是：

(1)取得数据帧，根据IPC畸变参数进行帧校正并提取候选配准区域。

数据帧校正基本操作包括边缘增强和亮度均衡等，在此基础上使用畸变参数对数据帧进行畸形纠正，如附图中所示，图3中实际数据帧经过畸形纠正后得到图4，对图4进行区域划分得到图5，ABEF四边形区域即为数据帧有效区域，矩形区域CBED为帧候选配准区域，M为配准模板区域。图6是对图5去掉背景后的抽象表示。

取得IPC畸变参数为预处理步骤，包括：IPC上方空置，捕获一张图像，依次经过二值化、边缘检测和拟合边缘曲线，得到IPC畸变参数。此步骤应该在设备安装完成后完成，其它时候该步骤省略。

数据帧有效区域内的最大内接矩形区域即为候选配准区域，如图5中数据帧有效区域ABEF内的最大内接矩形区域CBED即为候选配准区域。本发明方案中规定车辆以单一方向做平移运动，该方向与镜头方向垂直，IPC所获数据帧可能会因IPC内外参数而产生少量畸变，实践中本发明方案发明人员发现，畸变引起的副作用远不及数据帧配准失败严重，考虑实时性及实际可操作性，本发明方案着重关注数据帧配准过程，数据帧纠正过程仅起到辅助调整作用，对结果影响不大。由于限定车辆做平移运动，所以数据帧配准过程，即为相邻数据帧偏移增量的计算，特别地，可限定为纵向偏移增量。数据帧偏移增量的计算是关于相邻数据帧候选配准区域的偏移增量的计算。

(2)计算相邻数据帧偏移增量

本发明方案中使用新型8×8的区域模板配准完成数据帧纵向偏移增量的计算，具体地针对于已完成畸变纠正的数据帧序列(P₁,P₂,P₃,...,P_k,P_k+1,...,P_n-1,P_n)(下述数据帧皆为已完成畸变纠正的数据帧)，假定使用本发明方案处理该数据帧序列最后所得车底盘图像为Q。对于相邻两帧P_k和P_k+1(1≤k≤n-1)，二者尺寸相同，设高度为H，宽度为W，如图7所示，把P_k相对于P_k+1的偏移部分(高度为d_k的灰色部分)拼接到结果图像Q中，需要找到P_k相对于P_k+1的纵向偏移位置，即计算得到纵向偏移增量d_k，其详细步骤如下：

①P_k和P_k+1灰度化，分别得到灰度图G_k和G_k+1；

②计算得到P_k+1的配准模板

对一帧图像P，设数据帧候选配准区域CBED的左上角坐标为C(0,Y₀)，右下角坐标为E(W-1,Y_t)，帧候选配准区域中心位置设计一个配准模板M_8×8，使用M_P(i,j)表示数据帧P对应的配准模板M_P在第i行第j列单元格内灰度值总和：

其中，分别为M_P(i,j)对应矩形区域的左上角和右下角的坐标，t为无实际意义的参数(下面类同)，仅用于区分左上角和右下角坐标值，G(x,y)为数据帧P对应的灰度图在点(x,y)处的灰度值，单元格M_P(i,j)左上角和右下角的坐标关系为：

相邻单元格坐标关系有

且

其中W为数据帧宽度，设定模板参数span＝4,ρ＝0.8，即表示选定数据帧候选配准区域内高度为32(span×8＝32)且宽度为0.8W像素的中心区域作为配准模板，相邻模板单元格之间横向相差个像素，纵向相差span个像素。

对于P_k+1，其配准模板的各个单元格计算方式是：

计算得到各个模板单元格便完成了P_k+1的配准模板的构建。

③计算得到P_k各个纵向偏移增量d下的配准模板

P_k在纵向偏移增量d下的配准模板，指的是将模板区域纵向平移d后所形成的配准模板，如图6中左上图所示，该模板单元格定义为

由于辅助照明斜角的存在，导致光线不均，故在计算配准模板之前先要将其对应配准模板区域的平均亮度调整为与对于配准模板区域的平均亮度。

④计算得到最佳偏移增量

两个两帧模板越相似，二者的模板差距越小，本方法使用模板距离D(d)来衡量P_k相对于P_k+1在偏移d处的模板差距，进而找到最佳偏移位置，即偏移增量d的值，其定义如下：

其中，表示P_k+1在候选配准区域中间位置(即图6中的参考线位置)的匹配模板，表示P_k中向下偏移参考线d处的配准模板，为的第i行第j列单元格的灰度值总和，为的第i行第j列单元格的灰度值总和，ω＝{0.7,0.8,0.9,1.0,1.0,0.9,0.8,0.7}对应横向8个模板单元格的权值，越靠近中间其权值大，其原因是数据帧中间区域数据质量较好且畸变较少。D(d)表示P_k相对于P_k+1在偏移增量d处的模板差距。

设模板差距最小值D_min＝min{D(0),D(1),...,D(l)}，l为候选配准区域内可达到的最大偏移增量，则该最小值的首次出现D(d')＝D_min，D(d')对应的令d_k＝d'即为最佳偏移增量。

(3)偏移增量修正后融合拼接

设第k个数据帧P_k相对于第k+1个数据帧P_k+1的偏移增量为d_k，则有

其中d_k-1为第k-1帧P_k-1的偏移增量，参数d_para为最大偏移增量，车速低于15km/h，IPC分辨率1080p，帧率60fps时，取d_para＝120。亮度均衡化相邻两帧，如图7所示，数据帧P_k相对于数据帧P_k+1的偏移增量为d_k，将P_k中从参考线位置(图5中所示虚线位置)开始到距离偏移增量参考线d_k的矩形区域(图7左上P_k中高度为d_k的灰色区域)拼接至结果图像Q的尾部(图7下面Q中高度为d_k的灰色区域)，并使用线性渐进融合方法完成融合。

实施例

下面结合附图对本发明方案进行更加详细的解释，如图1流程图所示：

步骤1，起始；

步骤2，图2中所示中设备1-7加电，所有传感器信号状态置为OFF，系统主机5状态表为(OFF，OFF，OFF)，此时系统置为空状态，无操作；

步骤3，车辆行进时首先触发传感器1(或3)，控制器4探测到传感器1(或3)状态为ON，控制器4发送“进库-ON”(或“出库-ON”)信号给系统主机5，系统主机5根据当前状态“空状态”置新状态为“进库状态”(或出库状态)，然后发送“打开辅助照明”信号给控制器4，控制器4打开辅助照明6；

步骤4，车辆继续前进，触发传感器2，控制器4探测到传感器2状态为ON，控制器4发送“启动拼接”信号给系统主机5，系统主机5根据当前状态“进库状态”(或出库状态)，从IPC获取实时第一个数据帧，直接(或垂直翻转后)加入数据帧队列；

步骤5，系统主机5从IPC获取第二个数据帧，直接(或垂直翻转后)加入数据帧队列；

步骤6，从数据帧队列取得相邻两帧，数据帧校正并提取候选配准区域；

步骤7，第一帧相对于第二帧，计算得到偏移增量d；

步骤8，帧偏移增量d修正为d₁，将第一帧参考线位置到距离参考线位置d₁处数据融合拼接到结果图像Q尾部，删除第一帧数据；

步骤9，系统主机5从IPC获取第i(i＞2)个数据帧，直接(或垂直翻转后)加入数据帧队列；

步骤10，从数据帧队列取得队首数据帧，数据帧校正并提取候选配准区域；

步骤11，内存中保存的前一帧和当前帧比较，计算得到偏移增量d；

步骤12，帧偏移增量d修正为d_i-1，将前一帧模板起始点位置到偏移增量d_i-1处数据融合拼接到结果图像Q尾部，删除前一帧数据，转步骤9，除非收到“停止拼接”信号；

步骤13，车辆继续前进，触发传感器3，控制器4探测到传感器3(或1)状态为ON，控制器4发送“出库-ON”(或“入库-ON”)信号给系统主机，系统主机5根据当前已处于状态“进库状态”(或“出库状态”)判定“出库-ON”(或“入库-ON”)为无效信号，忽略该信号，系统主机5继续维持在状态“进库状态”；

步骤14，车辆继续前进，控制器4探测到传感器2状态为OFF，控制器4发送“停止拼接”信号给系统主机5，系统主机5停止从IPC获取实时数据帧，清空数据帧队列，并将车底盘成像结果显示到用户界面，然后发送“关闭辅助照明”信号给控制器4，控制器4关闭辅助照明6，将所得车辆底盘完成图像显示到系统主机5的界面；

步骤15，车辆继续前进，控制器4探测到传感器3(或1)状态为OFF，控制器4发送“出库-OFF”(或“进库OFF”)信号给系统主机5，系统主机5更新状态表为(OFF，OFF，OFF)，系统主机5进入空状态，；

步骤16，操作结束。

图2中传感器1和传感器3可采用地感线圈，更优化选择使用雷达探测器，缩小感应面积，防止误操作。传感器2使用两列红外对射，每列有三对对射，任意一列中有至少两对被挡住，传感器2置为ON状态。辅助灯光使用6使用暖光灯，7号设备IPC垂直放置，镜头方向垂直向上，或者平放并使用斜角45°的反光镜反射光线，IPC成像画面其高度方向与车行方向平行。优选车速低于15km/h，IPC分辨率1080p，帧率为60fps，通过六类网线连接系统主机5，通信链路质量好保证数据传输不延迟。

图3是实际场景中使用IPC获得一帧数据，其经过畸变纠正后的结果如图4所示，图5表示对图4进行区域划分，ABEF为数据帧有效区域，CBED为数据帧候选配准区域，图5去掉背景后得到图6，图6重点表示了区域配准模板M的位置及划分，M外层矩形CBED即为帧候选配准区域。图7表示相邻两帧拼接过程。图8是使用本发明得到的一张车底盘完整图像。

本发明提供了一种基于民用IPC的双向实时车辆底盘图像合成方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.基于民用IPC的双向实时车辆底盘图像合成方法，采用民用IPC成像系统，从IPC获取实时数据帧序列，实时处理数据帧序列并进行拼接；

其特征在于，所述实时处理数据帧序列并进行拼接，包括以下步骤：

步骤(1)，取得IPC数据帧，根据IPC畸变参数进行帧校正并提取候选配准区域；

步骤(2)，计算相邻数据帧偏移增量；

步骤(3)，偏移增量修正后融合拼接；

步骤(4)，循环执行步骤(1)～(3)直到收到停止拼接信号；

所述步骤(2)计算相邻数据帧偏移增量中，使用一个8×8的区域配准模板M_8×8完成数据帧偏移增量的计算，对于数据帧P，其区域配准模板每个单元格计算方法是：

$M_P(i,j)=\underset{x_{i,j}^0\&le;x<x_{i,j}^t}{\overset{y_{i,j}^0\&le;y<y_{i,j}^t}{\&Sigma;}}G(x,y),1\&le;i\&le;8,1\&le;j\&le;8,$

其中，M_P(i,j)为M_P的第i行第j列单元格的灰度值总和，M_P为数据帧P对应的配准模板，该配准模板对应一个矩形区域，其8×8等分后所得每个单元格也对应一个矩形区域；令M_P(i,j)对应矩形区域的左上角和右下角的坐标分别为和G(x,y)为数据帧P对应的灰度图在点(x,y)处的灰度值，M_P(i,j)左上角和右下角的坐标关系为：

$\left\{\begin{array}{c}{x}_{i,j}^t=x_{i,j}^0+\frac{\mathrm{\&rho;}W}{8}\\ y_{i,j}^t=y_{i,j}^0+span\end{array}\right.,$

W为数据帧宽度，模板参数span＝4,ρ＝0.8；

同一配准模板内，相邻模板单元格坐标关系计算公式为：

且

数据帧候选配准区域左上角和右下角坐标分别为(0,Y₀)和(W-1,Y_t)；

相邻两帧的配准模板差距为对应模板单元格灰度值总和之差的平方和累积，对于n个连续的数据帧中组成的数据帧序列P₁,P₂,P₃,...,P_k,P_k+1,...,P_n-1,P_n，其中相邻两帧P_k和P_k+1的模板差距D(d)计算方法是：

$D\left(d\right)=\underset{1\&le;j\&le;8}{\&Sigma;}\left\{\underset{1\&le;i\&le;8}{\&Sigma;}{\mathrm{\&omega;}}_i{\&lsqb;M_{P_k}^d(i,j)-M_{P_{k+1}}(i,j)\&rsqb;}^2\right\},$

其中，k取区间[1,n-1]内整数，为数据帧P_k+1的配准模板，表示数据帧P_k+1中向下偏移0处的配准模板，即在候选配准区域中间位置的匹配模板，表示数据帧P_k中向下偏移d处的配准模板，ω＝{0.7,0.8,0.9,1.0,1.0,0.9,0.8,0.7}对应横向8个配准模板单元格的权值，为的第i行第j列单元格的灰度值总和，为的第i行第j列单元格的灰度值总和；

设模板差距最小值D_min＝min{D(0),D(1),...,D(l)}，l为数据帧P_k的配准模板候选配准区域内可达到的最大偏移增量，则该最小值的首次出现D(d′)＝D_min，D(d′)对应的d′，即为最佳偏移增量。

2.根据权利要求1所述基于民用IPC的双向实时车辆底盘图像合成方法，其特征在于，步骤(1)中，通过预处理步骤获得IPC畸变参数，包括：IPC上方空置，拍摄一张图像，依次经过二值化、边缘检测和拟合边缘曲线，得到IPC畸变参数。

3.根据权利要求1所述基于民用IPC的双向实时车辆底盘图像合成方法，其特征在于，步骤(1)中，数据帧有效区域内的最大内接矩形区域即为候选配准区域，在候选配准区域内进行数据帧配准，将数据帧配准过程限定为纵向偏移增量的计算。

4.根据权利要求1所述基于民用IPC的双向实时车辆底盘图像合成方法，其特征在于所述步骤(3)数据帧偏移增量修正后融合拼接，其第k帧的最佳偏移增量d_k的修正计算方法是：

$d_k=\left\{\begin{array}{c}{d}_{k-1},k>1,d_k>d_{para}\\ d_{para},k=1,d_k>d_{para}\\ d_k,d_k<=d_{para}\end{array}\right.,$

其中，d_k-1为第k-1帧的偏移增量，参数d_para为实际场景中最大偏移增量，取d_para＝120。