CN114757833B - 一种车辆侧面图像拼接方法及系统 - Google Patents
一种车辆侧面图像拼接方法及系统 Download PDFInfo
- Publication number
- CN114757833B CN114757833B CN202210670760.8A CN202210670760A CN114757833B CN 114757833 B CN114757833 B CN 114757833B CN 202210670760 A CN202210670760 A CN 202210670760A CN 114757833 B CN114757833 B CN 114757833B
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- vehicle
- splicing
- reference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000006073 displacement reaction Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 18
- 238000003702 image correction Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 230000003137 locomotive effect Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000009434 installation Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种车辆侧面图像拼接方法及系统，所述方法包括图像采集；图像预处理；图像拼接；调整AE基准值；根据车轮的总平均亮度Y对图像采集传感器的AE基准值进行调整，图像采集传感器以调整后的AE基准值采集之后的图像，至下一次调整AE基准值；所述系统用于执行所述的拼接方法，所述系统包括：图像采集传感器和图像处理器，所述图像采集传感器将采集的车辆侧面图像发送至所述图像处理器，所述图像处理器对所述图像进行处理，形成拼接后的车辆侧面图像，并对AE基准值进行调整之后发送给所述图像采集传感器。本发明可以拼接出更接近实际的车辆侧面图像；可以避免顺逆光对图像拼接效果带来影响；拼接效果更好；且结构简单，安装便捷、部署方便。
Description
技术领域
本发明涉及高速公路收费站车辆管理技术领域，具体涉及一种车辆侧面图像拼接方法及系统。
背景技术
随着高速公路省界收费站的取消，高速公路行驶的车辆由原收费标准改为按照车型/轴数收费，因此出现了车辆驾驶员利用通行介质内写入的车型/轴数与实际驾驶车辆车型/轴数不一致达到逃费目的的行为。高速公路收费站作为高速公路的起始与结束的关键位置，需要对通行车辆的车型/轴数进行高精度识别，同时需要获取以及存档通行车辆的图像，特别是车辆侧面图像，以便于对通行车辆进行稽核。
获取车辆侧面图像多采用图像拼接的方式实现。常用的对车辆图像进行拼接的方法有两大类。
第一种是基于低位相机成像的车辆侧面拼接技术，该技术要求置摄像头的视野中心线与车道基本垂直，从而达到物体侧面中各特征区块距离摄像头的距离处处相等的约束目的，并且要求通行车辆匀速通过摄像头，才能达到每帧图像获取到的间隔相等从而计算出相应的时间以及速度。基于以上约束，当车辆运动时车身画面为无畸变或低畸变平移，通过相应的平移匹配拼接算法则可实现车辆侧面拼接，典型的方法如光流特征匹配、图像模板匹配法等。如申请号为202010732289.1的中国发明专利申请公开的一种车辆侧面图拼接方法，包括如下步骤：车辆驶入摄像头拍摄范围内，所述摄像头拍摄M帧车辆图像，并将M帧车辆图像传输至合成单元；M帧车辆图像按照时间顺序存储在队列中；识别子单元在M帧车辆图像中识别出车头和车身；速度计算子单元根据M帧车辆图像计算出车辆速度值；识别子单元识别出车尾；所述拼接子单元根据车辆速度值，以及车头、车身和车尾的位置，拼接出完整的车辆侧面图。但是该申请具有如下缺点：（1）要求置摄像头的视野中心线与车道基本垂直，从而达到物体侧面中各特征区块距离摄像头的距离处处相等的约束目的，才可以把拼接问题简化为水平移动图像块的匹配问题；（2）车辆通过摄像头时很大可能存在非匀速行驶或者非直线行驶的情况，因此会导致拼接出的图像存在连续成像畸变而无法得到真实的车辆侧面图像；（3）未考虑成像时逆光或者顺光对拼接图像的影响。
第二种是基于多个位置设置的多个摄像头的图像拼接技术，该技术需要首先对多个摄像头进行校准，然后基于多个摄像头采集到的图像进行图像拼接，得到一个无缝的广角图像。如US20070211934A1发明专利申请公开的优化的视频拼接方法采用的即为该技术。通过多个摄像机拍摄的图像通过网络传输到后台高性能主机上进行拼接处理，并使用拼接后的图像进行车辆特征识别，但是该技术也存在缺点：（1）由于不同位置不同角度的摄像机需要动态调节自身参数，会出现成像上的差异，以及因角度的差异导致拼接精度不高的问题；（2）需要安装多个摄像机，出现设备批量安装复杂的问题；（3）车辆非直线行驶时，会使拼接图像产生畸变。
发明内容
为解决以上技术问题中的至少一个，本发明提供了一种车辆侧面图像拼接方法及系统。
本发明的第一方面提供一种车辆侧面图像拼接方法，包括：
步骤1：图像采集；
步骤2：图像预处理；
步骤3：图像拼接；
步骤4：调整AE基准值。
优选的是，图像采集传感器执行所述步骤1：图像采集，所述图像采集传感器以每秒N帧的速度采集图像。
上述任一方案优选的是，所述图像采集传感器设置于一体机上。
上述任一方案优选的是，所述N为不小于50的整数。
上述任一方案优选的是，所述一体机安装时，所述图像采集传感器的视野中心线垂直于车道，所述图像采集传感器与车道的水平距离为80~120cm，垂直距离为150cm。
上述任一方案优选的是，所述一体机安装完成后，采用1米长1米宽的正方形标尺进行标定，具体为在距离车道线30~120cm的任意位置放置所述正方形标尺，并记录所述正方形标尺对应的像素值。
上述任一方案优选的是，所述图像采集传感器的左右视场角不小于45°，上下视场角不小于150°。
上述任一方案优选的是，所述图像采集传感器采用超广角鱼眼摄像头。
上述任一方案优选的是，所述超广角鱼眼摄像头采用多项式坐标变换算法进行校正，具体为实验室搭建现场仿真环境，采用多项式坐标变换算法，针对车辆所在位置调整算法控制点至车辆成像无畸变，得到图像校正表。
上述任一方案优选的是，所述图像校正表预存于所述图像处理器内。
上述任一方案优选的是，图像处理器执行所述步骤2~步骤4。
上述任一方案优选的是，所述图像处理器设置于所述一体机内，且与所述图像采集传感器连接。
上述任一方案优选的是，所述步骤2：图像预处理，包括：
步骤21：图像切分；
步骤22：图像校正。
上述任一方案优选的是，所述步骤21：图像切分为对所述图像采集传感器采集的图像进行切分，保留所述图像采集传感器采集的图像的中部宽W个像素、高H个像素的图像区域，得到初始待拼接图像。
上述任一方案优选的是，所述W和H的取值应保证所述初始待拼接图像中的各像素点与相机的距离相近。
上述任一方案优选的是，所述步骤22：图像校正为对所述初始待拼接图像，依据所述图像校正表对其进行校正，得到校正待拼接图像。
上述任一方案优选的是，所述步骤3：图像拼接为：将当前帧的校正待拼接图像拼接到前一时刻的拼接大图中，得到当前时刻的拼接大图。
上述任一方案优选的是，所述图像采集传感器采集到的第一帧图像经过预处理后得到的校正待拼接图像为第一帧校正待拼接图像以及初始时刻的拼接大图。
上述任一方案优选的是，所述步骤3包括：
步骤31：计算当前帧校正待拼接图像与上一帧校正待拼接图像之间的拼接位移；
步骤32：计算当前帧校正待拼接图像在上一时刻的拼接大图中的拼接起始点；
步骤33：根据所述拼接位移与所述拼接起始点将当前帧校正待拼接图像拼接到上一时刻的拼接大图中，得到当前时刻的拼接大图。
上述任一方案优选的是，计算所述拼接位移具体包括：分别对当前帧校正待拼接图像与上一帧校正待拼接图像进行特征点检测；对当前帧校正待拼接图像与上一帧校正待拼接图像的所述特征点进行特征点匹配；计算相匹配的特征点的平均位移{dmx，dmy}作为所述拼接位移，其中dmx表示横向拼接位移，dmy表示纵向拼接位移。
上述任一方案优选的是，采用SIFT法进行特征点检测，采用快速近似最近邻算法进行特征点匹配。
上述任一方案优选的是，计算所述拼接起始点具体包括：根据ssx=s-(W-dmx)计算拼接起始点横坐标，其中ssx表示拼接起始点横坐标，s表示当前拼接大图的长度，W为校正待拼接图像的宽度；拼接起始点纵坐标ssy=dmy。
上述任一方案优选的是，将当前帧校正待拼接图像叠加到上一时刻的拼接大图的{ssx，dmy}位置处，对于重叠的像素点，计算当前帧校正待拼接图像与前一时刻的拼接大图的像素的平均值作为当前时刻的拼接大图的该像素点的像素值。
上述任一方案优选的是，对于第一帧校正待拼接图像，不计算所述拼接位移和所述拼接起始点。
上述任一方案优选的是，步骤3还包括：针对每一帧校正待拼接图像进行信息识别，并：
判断是否存在车头信息，若是，计算车头在拼接大图中的车头坐标；
判断是否存在完整车尾信息，若是，计算车尾在拼接大图中的车尾坐标。
上述任一方案优选的是，采用深度神经网络yolo检测算法、预训好的车头模型以及预训好的车尾模型对所述校正待拼接图像进行信息识别。
上述任一方案优选的是，定义当前车辆的校正待拼接图像为：从识别到该车辆的车头信息的某帧所述校正待拼接图像开始，至之后首次识别到完整车尾信息（即识别到该车辆的完整车尾信息）的另一帧所述校正待拼接图像止的若干校正待拼接图像。
上述任一方案优选的是，在某帧所述校正待拼接图像中识别到车头信息后，锁定所述图像采集传感器的快门及增益，至识别到该车辆的完整车尾信息。
上述任一方案优选的是，在某帧所述校正待拼接图像中识别到车头信息后，根据计算的车头坐标及之后首次计算的车尾坐标（即该车辆的车尾坐标），对拼接大图进行截取，从所述拼接大图中获取当前车辆的拼接后的车辆侧面图像。
上述任一方案优选的是，所述步骤3还包括：针对当前车辆的校正待拼接图像：进行车轮识别并计算车轮平均亮度，根据每一帧识别到车轮信息的校正待拼接图像计算的车轮的平均亮度计算车轮总平均亮度Y。
上述任一方案优选的是，根据当前车辆的拼接后的车辆侧面图像进行车轮识别，并计算车轮的总平均亮度Y。
上述任一方案优选的是，采用深度神经网络yolo检测算法以及预训好的车轮模型对所述当前车辆的校正待拼接图像进行车轮识别。
上述任一方案优选的是，所述步骤4包括：根据车轮的总平均亮度Y对图像采集传感器的AE基准值进行调整，图像采集传感器以调整后的AE基准值采集之后的图像，至下一次调整AE基准值。
上述任一方案优选的是，所述步骤4中，判断Y与设定的亮度最大阈值Ymax、亮度最小阈值Ymin之间的关系，并根据下述条件调整图像采集传感器的AE基准值：
a) Y<Ymin时，
i. 若|Ymin-Y|>K1，则AE基准值相应的增加（|Ymin-Y|）/M1，
ii. 若K1>|Ymin-Y|>K2，则AE基准值相应的增加（|Ymin-Y|）/M2，
iii. 其他，则AE基准值相应的增加（|Ymin-Y|）/M3；
b) Y>Ymax时，
i. 若|Y-Ymax|>K1，则AE基准值相应的减少（|Y-Ymax|）/M1，
ii. 若K1>|Y-Ymax|>K2，则AE基准值相应的减少（|Y-Ymax|）/M2，
iii. 其他，则AE基准值相应的减少（|Y-Ymax|）/M3；
c) Ymin≤Y≤Ymax时，则AE基准值不变；
其中K1、K2、M1、M2、M3为常数，且K1＞K2，M1＜M2＜M3。
上述任一方案优选的是，所述K1取值为20，所述K2取值为10，所述M1取值为2，所述M2取值为3，所述M3取值为4。
上述任一方案优选的是，对所述AE基准值进行取整处理。
本发明的第二方面提供一种车辆侧面图像拼接系统，用于执行所述拼接方法，所述系统包括：相互连接的图像采集传感器和图像处理器，所述图像采集传感器将采集的车辆侧面图像发送至所述图像处理器，所述图像处理器对所述图像进行处理，形成拼接后的车辆侧面图像，并对AE基准值进行调整之后将调整后的AE基准值发送给所述图像采集传感器。
优选的是，所述车辆侧面图像拼接系统还包括通信单元，所述图像处理器通过所述通信单元将拼接后的车辆侧面图像传输至存储设备进行存储。
上述任一方案有选的是，所述车辆侧面图像拼接系统还包括存储设备，所述存储设备与所述图像处理器直接连接，所述图像处理器直接将拼接后的车辆侧面图像传输至存储设备进行存储。
上述任一方案有选的是，所述车辆侧面图像拼接系统设置于一体机上。
本发明的车辆侧面图像拼接方法及系统具有以下有益效果：
1、基于特征点匹配对多帧图像进行拼接，无论车辆以匀速还是非匀速的状态通过，都可以拼接出更接近实际的车辆侧面图像；
2、根据当前车的车轮亮度对图像采集传感器的AE基准值进行动态调整以作为采集下一辆车的图像的AE基准值，有效提高了图像质量，避免了顺逆光对图像拼接效果带来影响；
3、识别到某车辆的车头信息后，锁定图像采集传感器的快门和增益，可以有效避免采集的该车辆的图像的亮度发生变化，使得待拼接图像出现亮度前后不一、影响最终拼接效果的问题；
4、所述系统采用一体机的结构，结构简单，安装便捷、部署方便；
5、所获得的拼接后的车辆侧面图像质量更好，为后续根据拼接图进行车辆车型/轴数识别以及稽核提供有力保障。
附图说明
图1为按照本发明的车辆侧面图像拼接方法的一优选实施例的流程示意图。
图2为按照本发明的车辆侧面图像拼接方法的如图1所示实施例的步骤2的流程示意图。
图3为按照本发明的车辆侧面图像拼接方法的如图1所示实施例的步骤3的流程示意图。
图4为按照本发明的车辆侧面图像拼接方法的如图1所示实施例获取车辆拼接后的车辆侧面图像的流程示意图。
图5为按照本发明的车辆侧面图像拼接方法的如图1所示实施例的步骤4的流程示意图。
图6为按照本发明的车辆侧面图像拼接系统的一优选实施例的安装示意图。
具体实施方式
为了更好地理解本发明，下面结合具体实施例对本发明作详细说明。
实施例1
如图1所示，一种车辆侧面图像拼接方法，包括：
步骤1：图像采集；
步骤2：图像预处理；
步骤3：图像拼接；
步骤4：调整AE基准值。
如图5所示，一种车辆侧面图像拼接系统，用于执行所述车辆侧面图像拼接方法，所述系统包括：相互连接的图像采集传感器和图像处理器，所述车辆侧面图像拼接系统设置于一体机10上。
所述图像采集传感器执行所述步骤1：图像采集，所述图像采集传感器以每秒N帧的速度采集图像。N的取值为不小于50的整数，具体取值可以根据实际情况设置，N的取值越大，图像拼接的效果越好，但是会带来更多的计算压力，对图像处理器的要求就越高。在本实施例中优选的是，N的取值为50。
所述车辆侧面图像拼接系统设置于所述一体机10上，其中所述图像采集传感器设置于所述一体机10的上部。如图5所示，现有的高速公路收费站，每个车道20都依次设置有前防撞墩50、栏杆30、收费亭40和后防撞墩60。对于每一车道，所述一体机10安装在所述前防撞墩50和所述栏杆30之间的车道的一侧，在本实施例中优选的是，所述一体机10安装在与所述栏杆30连接的车道控制器的一侧，以便于布线。所述一体机10安装时，所述图像采集传感器的视野中心线垂直于车道，且所述图像采集传感器与临近的车道线的水平距离为80~120cm，垂直距离为150cm。
所述一体机10安装完成后，需采用标尺进行标定。在本实施例中优选的是，采用1米长1米宽的正方形标尺对所述图像采集传感器进行标定，具体为在所述图像采集传感器的视野范围内、在距离车道线30~120cm的车道上的任意位置放置所述正方形标尺，并记录所述图像采集传感器采集的所述正方形标尺对应的像素值。
由于所述一体机10安装位置距离车道较近，所述图像采集传感器需要具有更大的视角、更宽的视野。在本实施例中优选的是，所述图像采集传感器采用超广角鱼眼摄像头，且所述超广角鱼眼摄像头的左右视场角不小于45°，上下视场角不小于150°。在本实施例中优选的是，在所述一体机投入使用前，需要对所述超广角鱼眼摄像头进行校正。对所述超广角鱼眼摄像头进行校正采用多项式坐标变换算法进行，具体为在实验室搭建现场仿真环境，采用多项式坐标变换算法，针对车辆所在位置调整算法控制点至车辆成像无畸变，得到图像校正表，并将所述图像校正表预存于所述图像处理器内，如此可以在实际使用中直接调用所述图像校正表对图像进行校正，提高图像处理的时效性以及降低所述图像处理器的性能消耗。对所述超广角鱼眼摄像头进行校正也可以采用现有技术中的其他任何一种方式进行。
所述图像采集传感器采集图像后将其发送给所述图像处理器，所述图像处理器执行所述步骤2~步骤4。
如图2所示，所述步骤2：图像预处理，包括：
步骤21：图像切分；
步骤22：图像校正。
所述步骤21：图像切分为对所述图像采集传感器采集的图像进行切分，保留所述图像采集传感器采集的图像的中部宽W个像素、高H个像素的图像区域，得到初始待拼接图像。所述W和H的取值应保证所述初始待拼接图像中的各像素点与相机的距离相近。
所述步骤22：图像校正为对所述初始待拼接图像，依据所述图像校正表对其进行校正，得到校正待拼接图像。
所述图像采集传感器的像素值为不低于500万像素，所述W的取值为500~800像素，所述H的取值为800~1100像素，在本实施例中优选的是，所述图像采集传感器的像素值为500万像素，所述W的取值为700像素，所述H的取值为1080像素。
所述步骤3：图像拼接为：将当前帧的校正待拼接图像拼接到前一时刻的拼接大图中，得到当前时刻的拼接大图。所述图像采集传感器采集到的第一帧图像经过预处理后得到的校正待拼接图像为第一帧校正待拼接图像以及初始时刻的拼接大图。
如图3所示，所述步骤3包括：
步骤31：计算当前帧校正待拼接图像与上一帧校正待拼接图像之间的拼接位移；
步骤32：计算当前帧校正待拼接图像在上一时刻的拼接大图中的拼接起始点；
步骤33：根据所述拼接位移与所述拼接起始点将当前帧校正待拼接图像拼接到上一时刻的拼接大图中，得到当前时刻的拼接大图。
计算所述拼接位移具体包括：分别对当前帧校正待拼接图像与上一帧校正待拼接图像进行特征点检测；对当前帧校正待拼接图像与上一帧校正待拼接图像的所述特征点进行特征点匹配；计算相匹配的特征点的平均位移{dmx，dmy}作为所述拼接位移，其中dmx表示横向拼接位移，dmy表示纵向拼接位移。在本实施例中优选的是，采用SIFT法进行特征点检测，采用快速近似最近邻算法进行特征点匹配。
计算所述拼接起始点具体包括：根据ssx=s-(W-dmx)计算拼接起始点横坐标，其中ssx表示拼接起始点横坐标，s表示当前拼接大图的长度，W为校正待拼接图像的宽度；拼接起始点纵坐标ssy=dmy。将当前帧校正待拼接图像叠加到上一时刻的拼接大图的{ssx，dmy}位置处，对于重叠的像素点，计算当前帧校正待拼接图像与前一时刻的拼接大图的像素的平均值作为当前时刻的拼接大图的该像素点的像素值。对于第一帧校正待拼接图像，不计算所述拼接位移和所述拼接起始点。
具体的说，所述车辆侧面图像拼接系统开始工作时，所述图像采集传感器在第一时刻采集的图像为第一帧图像，第一帧图像经过预处理之后得到的校正待拼接图像为第一帧校正待拼接图像以及初始时刻的拼接大图；所述图像采集传感器采集在第二时刻采集的图像为第二帧图像，第二帧图像经过预处理之后得到第二帧校正待拼接图像，将第二帧校正待拼接图像拼接到初始时刻的拼接大图中，得到第二时刻的拼接大图；所述图像采集传感器在第三时刻采集的图像为第三帧图像，第三帧图像经过预处理之后得到第三帧校正待拼接图像，将第三帧校正待拼接图像拼接到第二时刻的拼接大图中，得到第三时刻的拼接大图；依此类推。可以理解，在所述车辆侧面图像拼接系统工作的过程中，对于图像采集传感器采集的所有图像，都进行图像拼接。
当没有车辆驶近所述车辆侧面图像拼接系统时，所述图像采集传感器采集的图像均是背景图像；当有车辆驶近所述车辆侧面图像拼接系统时，所述图像采集传感器采集的图像中开始包括车辆信息，直至该车辆驶离。应当理解，所述拼接大图是由多张背景图像、多张包括第一车辆的车辆信息的图像、多张背景图像、多张包括第二车辆的车辆信息的图像、多张背景图像、多张包括第三车辆的车辆信息的图像……拼接而成的。因此，需要对拼接大图进行处理，获得单一车辆的车辆侧面图像。
具体地说，如图4所示，步骤3还包括：针对每一帧校正待拼接图像进行信息识别，并：
判断是否存在车头信息，若是，计算车头在拼接大图中的车头坐标；
判断是否存在完整车尾信息，若是，计算车尾在拼接大图中的车尾坐标。
在本实施例中优选的是，采用深度神经网络yolo检测算法、预训好的车头模型以及预训好的车尾模型对所述校正待拼接图像进行信息识别。
为便于描述以及说明，定义当前车辆的校正待拼接图像为：从识别到该车辆的车头信息的某帧所述校正待拼接图像开始，至之后首次识别到完整车尾信息（即识别到该车辆的完整车尾信息）的另一帧所述校正待拼接图像止的若干帧校正待拼接图像。在某帧所述校正待拼接图像中识别到车头信息后，根据计算的车头坐标及之后首次计算的车尾坐标（即该车辆的车尾坐标），对拼接大图进行截取，从所述拼接大图中获取当前车辆的拼接后的车辆侧面图像。
特别需要说明的是，在某帧所述校正待拼接图像中识别到车头信息后，锁定所述图像采集传感器的快门及增益，至识别到该车辆的完整车尾信息。由此，可以保证针对同一辆车，采用相同的快门及增益采集图像后进行拼接，可以有效避免采集的同一车辆的图像的亮度发生变化，使得待拼接图像出现亮度前后不一的情况，影响最终拼接效果。
在图像采集过程中，光照条件会由于天气、日照角度、与车辆的相对位置等发生不可预期的变化，因此对图像采集传感器的AE基准值进行适应性调整。
具体地说，所述步骤3还包括：针对当前车辆的校正待拼接图像：进行车轮识别并
计算车轮平均亮度，根据每一帧识别到车轮信息的校正待拼接图像计算的车轮的平均亮度
计算车轮总平均亮度Y。举例说明，针对当前车辆，共有M帧校正待拼接图像，采用深度神经
网络yolo检测算法以及预训好的车轮模型对这M帧校正待拼接图像进行车轮识别后发现，
其中的MM帧可以识别到车轮信息，针对每一帧可以识别到车轮信息的较真待拼接图像计算
车轮的平均亮度
，然后计算该车辆的车轮总平均亮度
。
所述步骤4包括：根据车轮的总平均亮度Y对图像采集传感器的AE基准值进行调整，图像采集传感器以调整后的AE基准值采集之后的图像，至下一次调整AE基准值。
具体地说，如图5所示，所述步骤4中，所述图像处理器判断Y与设定的亮度最大阈值Ymax、亮度最小阈值Ymin之间的关系，并根据下述条件调整图像采集传感器的AE基准值：
a) Y<Ymin时，
i. 若|Ymin-Y|>K1，则AE基准值相应的增加（|Ymin-Y|）/M1，
ii. 若K1>|Ymin-Y|>K2，则AE基准值相应的增加（|Ymin-Y|）/M2，
iii. 其他，则AE基准值相应的增加（|Ymin-Y|）/M3；
b) Y>Ymax时，
i. 若|Y-Ymax|>K1，则AE基准值相应的减少（|Y-Ymax|）/M1，
ii. 若K1>|Y-Ymax|>K2，则AE基准值相应的减少（|Y-Ymax|）/M2，
iii. 其他，则AE基准值相应的减少（|Y-Ymax|）/M3；
c) Ymin≤Y≤Ymax时，则AE基准值不变；
其中K1、K2、M1、M2、M3为常数，且K1＞K2，M1＜M2＜M3。
在本实施例中优选的是，所述K1取值为20，所述K2取值为10，所述M1取值为2，所述M2取值为3，所述M3取值为4。对所述AE基准值进行取整处理。
计算车轮的平均亮度
的一种简单的方法是对车轮进行识别后，基于车轮位置获
取一个包括全部车轮信息的矩形框，计算矩形框内的所有像素点的平均亮度作为
的值，
该方法精度不高；另一种精度高的方法是对车轮进行识别后获取车轮的精确地轮廓，并对
轮廓内的所有像素点计算平均亮度以作为
的值，该方法对图像处理器的性能要求较高。
所述车头识别，所述车尾识别以及所述车轮识别可以采用除深度神经网络yolo检测算法之外的其他任何一种现有技术实现。
所述图像处理器确定调整后的AE基准值后将其发送至所述图像采集传感器，所述图像采集传感器以该调整后的AE基准值对下一辆车进行图像采集，有效提高了图像质量，避免了顺逆光等情况对图像拼接效果带来影响。
实施例2
与实施例1所不同的是，根据当前车辆的拼接后的车辆侧面图像进行车轮识别，并计算车轮的总平均亮度Y。即，对拼接大图进行截取获得当前车辆的车辆侧面图像后，对当前车辆的车辆侧面图像进行车轮识别，获得当前车辆的车轮的总平均亮度Y。该方法相对于实施例1中计算总平均亮度Y的方法，其需要的计算资源较少，但是实时性不如实施例1中的方法。
实施例3
与实施例1不同的是，所述车辆侧面图像拼接系统还包括通信单元，所述图像处理器通过所述通信单元将拼接后的车辆侧面图像传输至存储设备进行存储。
实施例4
与实施例1不同的是，所述车辆侧面图像拼接系统还包括通信单元还包括存储设备，所述存储设备与所述图像处理器直接连接，所述图像处理器直接将拼接后的车辆侧面图像传输至存储设备进行存储。
需要说明的是，以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的技术人员应该理解：其可以对前述实施例记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些替换，并不使相应技术方案的本质脱离本发明技术方案的范围。
Claims (5)
1.一种车辆侧面图像拼接方法，包括：
步骤1：图像采集；
步骤2：图像预处理；
步骤3：图像拼接；其特征在于：还包括：
步骤4：调整AE基准值；
图像采集传感器执行所述步骤1：图像采集，所述图像采集传感器以每秒N帧的速度采集图像，所述N为不小于50的整数；
图像处理器执行所述步骤2~步骤4，所述步骤2：图像预处理，包括：
步骤21：图像切分；
步骤22：图像校正；
所述步骤21：图像切分为对所述图像采集传感器采集的图像进行切分，保留所述图像采集传感器采集的图像的中部宽W个像素、高H个像素的图像区域，得到初始待拼接图像；
所述步骤22：图像校正为对所述初始待拼接图像，依据图像校正表对其进行校正，得到校正待拼接图像；
所述步骤3：图像拼接为：将当前帧的校正待拼接图像拼接到前一时刻的拼接大图中，得到当前时刻的拼接大图，所述拼接大图是由多张背景图像、多张包括第一车辆的车辆信息的图像、多张背景图像、多张包括第二车辆的车辆信息的图像、多张背景图像、多张包括第三车辆的车辆信息的图像、以此类推拼接而成的；
步骤3还包括：针对每一帧校正待拼接图像进行信息识别，并：
判断是否存在车头信息，若是，计算车头在拼接大图中的车头坐标；
判断是否存在完整车尾信息，若是，计算车尾在拼接大图中的车尾坐标；
在某帧所述校正待拼接图像中识别到车头信息后，根据计算的车头坐标及之后首次计算的车尾坐标，对拼接大图进行截取，从所述拼接大图中获取当前车辆的拼接后的车辆侧面图像；
在某帧所述校正待拼接图像中识别到车头信息后，锁定所述图像采集传感器的快门及增益，至识别到该车辆的完整车尾信息；
所述步骤3还包括：针对当前车辆的校正待拼接图像：进行车轮识别并计算车轮平均亮度，根据每一帧识别到车轮信息的校正待拼接图像计算的车轮的平均亮度计算车轮总平均亮度Y；
所述步骤4包括：根据车轮的总平均亮度Y对图像采集传感器的AE基准值进行调整，图像采集传感器以调整后的AE基准值采集之后的图像，至下一次调整AE基准值。
2.如权利要求1所述的车辆侧面图像拼接方法，其特征在于：所述步骤3还包括：
步骤31：计算当前帧校正待拼接图像与上一帧校正待拼接图像之间的拼接位移；
步骤32：计算当前帧校正待拼接图像在上一时刻的拼接大图中的拼接起始点；
步骤33：根据所述拼接位移与所述拼接起始点将当前帧校正待拼接图像拼接到上一时刻的拼接大图中，得到当前时刻的拼接大图。
3.如权利要求2所述的车辆侧面图像拼接方法，其特征在于：计算所述拼接位移具体包括：分别对当前帧校正待拼接图像与上一帧校正待拼接图像进行特征点检测；对当前帧校正待拼接图像与上一帧校正待拼接图像的所述特征点进行特征点匹配；计算相匹配的特征点的平均位移{dmx，dmy}作为所述拼接位移，其中dmx表示横向拼接位移，dmy表示纵向拼接位移；
计算所述拼接起始点具体包括：根据ssx=s-(W-dmx)计算拼接起始点横坐标，其中ssx表示拼接起始点横坐标，s表示当前拼接大图的长度，W为校正待拼接图像的宽度；拼接起始点纵坐标ssy=dmy；
将当前帧校正待拼接图像叠加到上一时刻的拼接大图的{ssx，dmy}位置处，对于重叠的像素点，计算当前帧校正待拼接图像与前一时刻的拼接大图的像素的平均值作为当前时刻的拼接大图的该像素点的像素值；
所述图像采集传感器采集到的第一帧图像经过预处理后得到的校正待拼接图像为第一帧校正待拼接图像以及初始时刻的拼接大图；对于第一帧校正待拼接图像，不计算所述拼接位移和所述拼接起始点。
4.如权利要求1所述的车辆侧面图像拼接方法，其特征在于：所述步骤4中，判断Y与设定的亮度最大阈值Ymax、亮度最小阈值Ymin之间的关系，并根据下述条件调整图像采集传感器的AE基准值：
a) Y<Ymin时，
i. 若|Ymin-Y|>K1，则AE基准值相应的增加（|Ymin-Y|）/M1，
ii. 若K1>|Ymin-Y|>K2，则AE基准值相应的增加（|Ymin-Y|）/M2，
iii. 其他，则AE基准值相应的增加（|Ymin-Y|）/M3；
b) Y>Ymax时，
i. 若|Y-Ymax|>K1，则AE基准值相应的减少（|Y-Ymax|）/M1，
ii. 若K1>|Y-Ymax|>K2，则AE基准值相应的减少（|Y-Ymax|）/M2，
iii. 其他，则AE基准值相应的减少（|Y-Ymax|）/M3；
c) Ymin≤Y≤Ymax时，则AE基准值不变；
其中K1、K2、M1、M2、M3为常数，且K1＞K2，M1＜M2＜M3。
5.一种车辆侧面图像拼接系统，用于执行如权利要求1-4任一项所述的拼接方法，所述系统包括：相互连接的图像采集传感器和图像处理器，所述图像采集传感器将采集的车辆侧面图像发送至所述图像处理器，所述图像处理器对所述图像进行处理，形成拼接后的车辆侧面图像，并对AE基准值进行调整之后将调整后的AE基准值发送给所述图像采集传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210670760.8A CN114757833B (zh) | 2022-06-15 | 2022-06-15 | 一种车辆侧面图像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210670760.8A CN114757833B (zh) | 2022-06-15 | 2022-06-15 | 一种车辆侧面图像拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114757833A CN114757833A (zh) | 2022-07-15 |
| CN114757833B true CN114757833B (zh) | 2022-09-27 |
Family
ID=82337160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210670760.8A Active CN114757833B (zh) | 2022-06-15 | 2022-06-15 | 一种车辆侧面图像拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114757833B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578441B (zh) * | 2022-08-30 | 2023-07-28 | 感知信息科技(浙江)有限责任公司 | 基于深度学习的车辆侧面图像拼接和车辆尺寸测量方法 |
| CN115439783B (zh) * | 2022-09-01 | 2023-10-31 | 苏州思卡信息系统有限公司 | 一种车辆识别和追踪的检测方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1756269A (zh) * | 2004-10-01 | 2006-04-05 | 居里泰尔通讯株式会社 | 配备数字图像采集模块的移动通信终端和采集数字图像的方法 |
| CN111860384A (zh) * | 2020-07-27 | 2020-10-30 | 上海福赛特智能科技有限公司 | 一种车型识别方法 |
| CN114078091A (zh) * | 2021-11-23 | 2022-02-22 | 北京巨视科技有限公司 | 一种车辆侧面全景图拼接的方法和装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4364903B2 (ja) * | 2004-03-17 | 2009-11-18 | 富士通マイクロエレクトロニクス株式会社 | 自動利得制御回路 |
| CN101247480B (zh) * | 2008-03-26 | 2011-11-23 | 北京中星微电子有限公司 | 一种基于图像中目标区域的自动曝光方法 |
| JP5328815B2 (ja) * | 2009-01-14 | 2013-10-30 | パナソニック株式会社 | 撮像装置及び撮像方法 |
| CN105824558B (zh) * | 2016-02-26 | 2017-07-04 | 维沃移动通信有限公司 | 一种拍照亮度调节方法及移动终端 |
| CN111862623A (zh) * | 2020-07-27 | 2020-10-30 | 上海福赛特智能科技有限公司 | 一种车辆侧面图拼接装置和方法 |
| CN115022552B (zh) * | 2021-02-18 | 2024-04-16 | 北京石头创新科技有限公司 | 自行走设备的摄像曝光方法和自行走设备 |
| CN112969037B (zh) * | 2021-02-26 | 2022-03-15 | 北京卓视智通科技有限责任公司 | 一种视频图像侧向融合拼接方法、电子设备及存储介质 |
-
2022
- 2022-06-15 CN CN202210670760.8A patent/CN114757833B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1756269A (zh) * | 2004-10-01 | 2006-04-05 | 居里泰尔通讯株式会社 | 配备数字图像采集模块的移动通信终端和采集数字图像的方法 |
| CN111860384A (zh) * | 2020-07-27 | 2020-10-30 | 上海福赛特智能科技有限公司 | 一种车型识别方法 |
| CN114078091A (zh) * | 2021-11-23 | 2022-02-22 | 北京巨视科技有限公司 | 一种车辆侧面全景图拼接的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114757833A (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114757833B (zh) | 一种车辆侧面图像拼接方法及系统 | |
| CN107862290B (zh) | 车道线检测方法及系统 | |
| CN109785291B (zh) | 一种车道线自适应检测方法 | |
| CN108038416B (zh) | 车道线检测方法及系统 | |
| CN111829549B (zh) | 一种基于高精度地图的积雪路面虚拟车道线投影方法 | |
| CN109886131B (zh) | 一种道路弯道识别方法及其装置 | |
| US6925206B2 (en) | White line detection apparatus and white line detection method | |
| CN110398979B (zh) | 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置 | |
| CN110414385B (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及系统 | |
| CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
| CN110850109B (zh) | 一种基于模糊图像测量车速的方法 | |
| CN115239820A (zh) | 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN114897684A (zh) | 车辆图像的拼接方法、装置、计算机设备和存储介质 | |
| CN113095283B (zh) | 一种基于动态roi和改进萤火虫算法的车道线提取方法 | |
| CN111626227B (zh) | 一种基于双目视觉车底透视全景系统的实现方法 | |
| CN111881878B (zh) | 一种环视复用的车道线识别方法 | |
| CN108109118B (zh) | 一种无控制点的航拍图像几何校正方法 | |
| CN110171263B (zh) | 一种用于ecas系统的弯道识别及车高调节方法 | |
| CN112465720A (zh) | 一种基于图像天空分割的图像去雾方法、装置和存储介质 | |
| CN115239667A (zh) | 一种基于多目摄像机的轮胎合格检测方法 | |
| CN111210384B (zh) | 一种适用于机场跑道场景的图像拼接方法 | |
| CN110992286B (zh) | 一种基于ccd相机的光伏组件图像校正方法 | |
| CN108989751B (zh) | 一种基于光流的视频拼接方法 | |
| CN111376904B (zh) | 一种自动跟车方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |