CN109376734B - 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 - Google Patents
一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 Download PDFInfo
- Publication number
- CN109376734B CN109376734B CN201810920734.XA CN201810920734A CN109376734B CN 109376734 B CN109376734 B CN 109376734B CN 201810920734 A CN201810920734 A CN 201810920734A CN 109376734 B CN109376734 B CN 109376734B
- Authority
- CN
- China
- Prior art keywords
- corner
- license plate
- class
- angular
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000006698 induction Effects 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000001939 inductive effect Effects 0.000 claims description 6
- 239000011295 pitch Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000009833 condensation Methods 0.000 claims description 3
- 230000005494 condensation Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000009499 grossing Methods 0.000 abstract 1
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- WHGYBXFWUBPSRW-FOUAGVGXSA-N beta-cyclodextrin Chemical compound OC[C@H]([C@H]([C@@H]([C@H]1O)O)O[C@H]2O[C@@H]([C@@H](O[C@H]3O[C@H](CO)[C@H]([C@@H]([C@H]3O)O)O[C@H]3O[C@H](CO)[C@H]([C@@H]([C@H]3O)O)O[C@H]3O[C@H](CO)[C@H]([C@@H]([C@H]3O)O)O[C@H]3O[C@H](CO)[C@H]([C@@H]([C@H]3O)O)O3)[C@H](O)[C@H]2O)CO)O[C@@H]1O[C@H]1[C@H](O)[C@@H](O)[C@@H]3O[C@@H]1CO WHGYBXFWUBPSRW-FOUAGVGXSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
- B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
- B60P3/12—Vehicles adapted to transport, to carry or to comprise special loads or objects for salvaging damaged vehicles
- B60P3/125—Vehicles adapted to transport, to carry or to comprise special loads or objects for salvaging damaged vehicles by supporting only part of the vehicle, e.g. front- or rear-axle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
- B60R2011/008—Adjustable or movable supports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法，该方法结合道路救援装备的结构及正方位拖牵作业的特点，首先通过安装摄像头采集作业区域图像，并进行灰度处理及高斯平滑滤波；接着对平滑后的灰度图像进行角点检测并根据角点强度实现优选；随后对优选得到的角点进行层次聚类；然后筛选出车牌字符有效角点集合，实现车牌定位；进而根据车牌定位的结果实施拖牵诱导，从而达到提高道路救援装备救援效率的目的。本发明提出的诱导方法具有良好的实时性、环境适应力和抗干扰能力，有效提高了道路救援装备的救援效率。
Description
技术领域
本发明属于道路救援装备智能化操作领域，尤其涉及一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法。
背景技术
随着社会经济的不断增长，我国道路交通基础设施建设及汽车工业得到飞速发展，机动车保有量在大幅增加，汽车在行驶途中由于驾驶不当或车辆自身故障等导致的车辆无法正常行驶等特殊情况与日俱增，作为汽车后市场的道路清障救援行业逐渐被社会和民众重视，道路清障救援行业对保障道路运输安全高效的重要性日益凸显。但是由于交通事故的发生具有无法彻底预防的客观必然性，因此在很多汽车交通事故后，常有因清障救援不及时或救援效率不高而导致城市交通拥堵或二次连锁事故发生，比如道路救援装备无法快速准确从正方位把事故车辆托离现场而导致交通堵塞就是其中之一。一般正方位救援环境比较复杂，大多面对狭窄及拥堵环境，作业空间严重受限，被拖车夹在左右两车中间，呈“三”字形排列，此时道路救援装备只能从被拖车的前方实施拖牵救援。
道路救援装备的拖牵装置主要由折臂、伸缩臂、摆臂及两侧托臂组成，在正方位拖牵作业实施的过程中，道路救援装备位于被拖车车头的前方，首先道路救援装备通过倒车作业，将其两侧托臂分别与被拖车两前轮进行对准，然后对被拖车两前轮进行抱胎固定，最后通过折臂牵拉起吊，将被拖车拖离。但是传统情况下在进行正方位拖牵作业时，主要凭借驾驶员经验，通过多次反复倒车进行位置修正，实现托臂与被拖车前轮的对准，进而完成拖牵作业，这种现状过于依赖作业人员操作经验，且费时过长，救援效率低下。
为了解决上述问题，本发明提出一种基于车牌角点特征的正方位拖牵诱导方法辅助驾驶员实施拖牵作业，从而达到提高道路救援装备救援效率的目的。由于拖牵环境的复杂多变性，本发明所提出的正方位拖牵诱导方法不仅应具有良好的实时性，还应具有适应各种车型及环境变化的能力以及抗各种噪声和干扰的能力，这也是该方法可靠性的前提保证。
发明内容
发明目的：针对以上问题，本发明提出一种既具有良好实时性，又具有较强环境自适应能力和抗干扰能力的道路救援装备正方位拖牵诱导方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法，该方法包括如下步骤：
(1)采集拖车后方作业区域图像并对图像进行预处理；
(2)对预处理后的图像进行角点检测及优选；
(3)对优选的角点进行聚类；
(4)根据优选的角点对车牌定位并得到车牌中心；
(5)根据车牌中心实施拖牵诱导。
其中，在步骤(1)中，图像采集及预处理方法如下：在道路救援装备尾部折臂上安装车载摄像头，对拖车后方作业区域图像采集，并且先将彩色采集图像转成灰度图像，减小图像处理数据量，对灰度图像平滑滤波。
其中，在步骤(2)中，采用哈里斯角点检测算法对平滑后的灰度图像进行角点检测，获得图像中的角点，并将得到的所有角点存储到角点集合O中；对哈里斯角点检测获得的角点进行优选，得到优质角点集合A，方法如下：
(2.1)按照角点横、纵坐标依次递增的顺序，遍历角点集合O中的所有角点，并在以每个角点为中心，半径为5像素的圆形区域内，将该区域角点强度最大的角点保存到优质角点集合A中；
(2.2)上述遍历结束后，对优质角点集合A中重复保存的具有相同坐标及角点强度的角点，只保留其中一个，并将多余的相同角点从优质角点集合A中删除，最后可得到N个不同的优质角点。
其中，在步骤(3)中，角点聚类方法如下：根据角点之间的距离对优选得到的优质角点集合A进行凝聚层次聚类，得到I个车牌字符预选角点集合Bi，i＝1,2,3…,I，其中，i表示预选角点集合的序号，方法如下：
(3.1)把优质角点集合A中的每个角点an，n＝1,2,3…,N，各视为一个类，每个类中有且只有一个角点，计算当前所有类两两之间的类间距Drg，Drg表示第r类和第g类之间的类间距，定义类间距Drg为第r类中的每个角点与第g类中的每个角点之间欧式距离的平均值，由于当前每个类中有且只有一个角点，即第r类中只有角点ar，第g类中只有角点ag，故此时类间距Drg计算公式为：
Drg＝drg
式中，drg表示角点ar和ag之间的欧式距离，即
其中，
和
分别表示角点ar的横、纵坐标，
和
分别表示角点ag的横、纵坐标；
根据类间距Drg的物理意义，则有Drg＝Dgr，且当r＝g时，Drg＝0，将上述计算得到的所有类间距用矩阵形式表示，可得到初始的N×N类间距矩阵
矩阵H中的r行g列元素即为Drg；
(3.2)遍历当前的类间距矩阵H，找到矩阵H中的非对角线最小元素，即当前类间距最小值，设为Dst，且s≠t，表示第s类和第t类为当前距离最近的两个类，若Dst<Dth，则将第t类中的角点归并到第s类中，进而将第s类和第t类合并为一个新类，并将合并后的角点总类数记为V，进入子步骤(3.3)；否则结束聚类计算，可得到I个车牌字符预选角点集合Bi，i＝1,2,3…,I，其中，i表示预选角点集合的序号；I表示车牌字符预选角点集合的总数，且I＝V，该子步骤的判别条件中，Dst为当前矩阵H中的非对角线最小元素；Dth为类间距最小值阈值；
(3.3)重新计算当前剩余的类与合并得到的新类两两之间的类间距Drg，此时类间距Drg的计算公式为：
式中，Mr表示第r类中的角点个数，该类中的角点表示为pj，j＝1,2,3…,Mr；Mg表示第g类中的角点个数，该类中的角点表示为qk，k＝1,2,3…,Mg；djk表示角点pj和qk之间的欧式距离，即
其中，
和ypj分别表示角点pj的横、纵坐标，
和
分别表示角点qk的横、纵坐标；
用上述重新计算得到的类间距，根据类间距Drg及类间距矩阵H的物理意义，对类间距矩阵H进行更新，可得到新的V×V类间距矩阵
并重新返回上述子步骤(3.2)。
其中，在步骤(4)中，车牌定位方法如下：对于步骤(3)中聚类得到的车牌字符预选角点集合Bi，i＝1,2,3…,I，从车牌字符预选角点集合Bi中筛选出车牌字符有效角点集合C，进而确定车牌位置，方法如下：
(4.1)初始化i＝1；
(4.2)若车牌字符预选角点集合Bi满足
则进入子步骤(4.3)，否则进入子步骤(4.5)，该子步骤的判别条件中，
为车牌字符预选角点集合Bi中的角点个数；numth为车牌字符角点集合的角点个数阈值；
(4.3)遍历车牌字符预选角点集合Bi，确定该集合中角点的最大横坐标
最小横坐标
最大纵坐标
最小纵坐标
并定义该角点集合的最小包围矩形的中心
长
及宽
即
进而计算车牌字符预选角点集合Bi的最小包围矩形的长宽比
及面积
即
若满足
且
则进入子步骤(4.4)，否则进入子步骤(4.5)。该子步骤的判别条件中，
表示车牌字符预选角点集合Bi的最小包围矩形的长宽比；βmin表示车牌字符预选角点集合Bi的最小包围矩形的长宽比低阈值；βmax表示车牌字符预选角点集合Bi的最小包围矩形的长宽比高阈值；
(4.4)若车牌字符预选角点集合Bi满足
且
则判定该预选角点集合Bi为车牌字符有效角点集合C，并确定车牌中心(x0,y0)、长l0及宽w0，即
结束车牌定位过程，进入(5)实施拖牵诱导；否则进入子步骤(4.5)；该子步骤的判别条件中，
表示车牌字符预选角点集合Bi的最小包围矩形的面积；γmin表示车牌字符预选角点集合Bi的最小包围矩形的面积低阈值；γmax表示车牌字符预选角点集合Bi的最小包围矩形的面积高阈值；
(4.5)若i<I，则将i的值增1，重新返回上述子步骤(4.2)；否则结束车牌定位过程，返回步骤(1)图像采集及预处理。
其中，在步骤(5)中，实施拖牵诱导方法如下：根据步骤(4)中车牌定位中已确定的车牌中心(x0,y0)在图像中的位置，实时给出方向提示，诱导驾驶员进行倒车作业：若图像中被拖车车牌中心在图像中心的左侧，则提示驾驶员向右倒；若图像中被拖车车牌中心在图像中心的右侧，则提示驾驶员向左倒，从而完成两侧托臂与被拖车两前轮的对准，进而对被拖车进行抱胎固定，将其牵拉拖离。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
1、针对道路救援装备的结构及正方位拖牵作业工作特点而提出，能有效加快正方位拖牵车轮对准过程，对拖牵作业形成诱导辅助，提高道路救援装备救援效率。
2、诱导可靠性高，抗干扰能力强，具有良好的环境适应能力。本发明所提出的诱导方法充分考虑并利用了不同车辆在车牌上共同具有的字符角点特征，能够适应各种不同的车型。
3、处理速度快，实时性好，本发明所提出的诱导方法采用灰度图像进行角点检测，并在角点聚类前先进行角点优选，有效提高了该诱导方法的运行速度，保证了实时性。
附图说明
图1是本发明提出的道路救援装备正方位拖牵诱导方法的流程图；
图2是道路救援装备正方位拖牵作业的立体示意图；
图3是道路救援装备正方位拖牵作业的俯视图；
图4是道路救援装备拖牵装置结构及摄像头安装位置示意图；
图5是采集的某帧图像；
图6是采集图像预处理结果图；
图7是采集图像角点检测结果图；
图8是采集图像角点优选结果图；
图9是采集图像角点聚类结果图；
图10是采集图像车牌字符有效角点筛选结果图；
图11是车牌定位结果图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
随着社会经济的不断增长，我国道路交通基础设施建设及汽车工业得到飞速发展，机动车保有量在大幅增加，汽车在行驶途中由于驾驶不当或车辆自身故障等导致的车辆无法正常行驶等特殊情况与日俱增，作为汽车后市场的道路清障救援行业逐渐被社会和民众重视，道路清障救援行业对保障道路运输安全高效的重要性日益凸显。但是由于交通事故的发生具有无法彻底预防的客观必然性，在很多交通事故发生后，常有因清障救援不及时或救援效率太低而导致的城市交通拥堵或二次连锁事故，比如道路救援装备无法快速准确从正方位将事故车拖离现场而导致交通堵塞就是其中之一。究其原因，一方面正方位救援环境比较复杂，大多面对狭窄及拥堵环境，作业空间严重受限，如说明书附图2和说明书附图3所示，被拖车夹在左右两车中间，呈“三”字形排列，此时道路救援装备只能从被拖车的前方实施拖牵救援；另一方面道路救援装备智能化水平低，没有利用现有科学技术手段，对拖牵作业进行诱导辅助，也是导致救援效率低的一个重要因素，但目前对于道路救援装备正方位拖牵诱导相关技术尚未见有研究。
以皮卡救援车为例的道路救援装备的拖牵装置主要由折臂、伸缩臂、摆臂及两侧托臂组成，具体形式如附图4所示。在正方位拖牵作业实施的过程中，道路救援装备位于被拖车车头的前方，首先道路救援装备通过倒车作业，将其两侧托臂分别与被拖车两前轮进行对准，然后对被拖车两前轮进行抱胎固定，最后通过折臂牵拉起吊，将被拖车拖离。在传统的正方位拖牵作业过程中，将被拖车前轮与道路救援装备托臂进行对准这一操作，其效率主要依赖于驾驶员技术经验等人为因素，通常需要多次反复倒车进行位置修正，作业耗时过长，救援效率低下。
针对道路救援装备正方位拖牵作业的特点，本发明提出一种既具有良好实时性，又具有较强环境自适应能力和抗干扰能力的道路救援装备正方位拖牵诱导方法，总流程参见说明书附图1，该方法主要包括下面几个步骤：
(1)图像采集及预处理
在道路救援装备尾部折臂上离地面40～60厘米处的中间位置上安装车载摄像头，摄像头水平朝向救援装备的后方，其采集范围为包含救援装备摆臂、托臂及被拖车车头等关键部位的后方作业区域，具体形式如说明书附图4所示。对采集的后方作业区域图像，参见说明书附图5，进行预处理，参见说明书附图6：先将彩色采集图像转成灰度图像，减小图像处理数据量，提高该方法的实时性，然后对灰度图像进行3×3邻域高斯平滑滤波，消除一些不必要的孤立点和凸起。
(2)角点检测及优选
应当指出，目前国内大部分社会车辆为蓝牌小型汽车，本发明所提出的诱导方法主要面向蓝牌小型汽车的拖牵救援，而车辆牌照是大部分社会车辆的共同特征，具有普遍性，且车牌字符属于印刷字符，字符笔画中蕴含比较丰富的角点信息，因此可通过角点检测提取车牌区域角点特征。
典型的角点检测方法包括Moravec角点检测、Susan角点检测、Fast角点检测、Harris角点检测等算法，其中Moravec角点检测算法简单，但计算量大，误检率很高，Susan角点检测算法对噪声不敏感，但定位精度较差，Harris角点检测算法简单，计算量不大，角点提取较为均匀，适应性强，具有较好的稳定性。本发明采用哈里斯(Harris)角点检测算法对平滑后的灰度图像进行检测，获得图像中的角点，参见说明书附图7，并将得到的所有角点存储到角点集合O中。
Harris角点检测的位置相对准确，角点提取也相对较为均匀，但所得到的角点位置大多还是以邻域的形式成批出现的，参见说明附图7，为了进一步减小后续角点聚类过程中的计算量，提高该诱导方法的实时性，可根据角点强度对上述Harris角点检测获得的角点进行优选，获得更具代表性的角点位置。正方位拖牵作业的有效作业距离一般为1～5米，摄像头的焦距选择为4～8毫米，本发明中摄像头采集的图像尺寸为960×540，可设置角点间最小允许距离为5像素，对Harris角点检测获得的角点进行优选，得到优质角点集合A，参见说明书附图8，具体子步骤为：
(2.1)按照角点横、纵坐标依次递增的顺序，遍历角点集合O中的所有角点，并在以每个角点为中心，半径为5像素的圆形区域内，将该区域角点强度最大的角点保存到优质角点集合A中；
(2.2)上述遍历结束后，对优质角点集合A中重复保存的具有相同坐标及角点强度的角点，只保留其中一个，并将多余的相同角点从优质角点集合A中删除，最后可得到N个不同的优质角点。
(3)角点聚类
车牌区域字符角点分布密集且有规则，可根据角点之间的距离对优选得到的优质角点集合A进行凝聚层次聚类，参见说明书附图9，得到I个车牌字符预选角点集合Bi，i＝1,2,3…,I，其中，i表示预选角点集合的序号，具体子步骤为：
(3.1)把优质角点集合A中的每个角点an，n＝1,2,3…,N，各视为一个类，每个类中有且只有一个角点，计算当前所有类两两之间的类间距Drg，Drg表示第r类和第g类之间的类间距，本发明中定义类间距Drg为第r类中的每个角点与第g类中的每个角点之间欧式距离的平均值，由于当前每个类中有且只有一个角点，即第r类中只有角点ar，第g类中只有角点ag，故此时类间距Drg计算公式为：
Drg＝drg
式中，drg表示角点ar和ag之间的欧式距离，即
其中，
和
分别表示角点ar的横、纵坐标，
和
分别表示角点ag的横、纵坐标。
根据类间距Drg的物理意义，则有Drg＝Dgr，且当r＝g时，Drg＝0，将上述计算得到的所有类间距用矩阵形式表示，可得到初始的N×N类间距矩阵
矩阵H中的r行g列元素即为Drg；
(3.2)遍历当前的类间距矩阵H，找到矩阵H中的非对角线最小元素，即当前类间距最小值，设为Dst，且s≠t，表示第s类和第t类为当前距离最近的两个类。若Dst<Dth，则将第t类中的角点归并到第s类中，进而将第s类和第t类合并为一个新类，并将合并后的角点总类数记为V，进入子步骤(3.3)；否则结束聚类计算，可得到I个车牌字符预选角点集合Bi，i＝1,2,3…,I，其中，i表示预选角点集合的序号；I表示车牌字符预选角点集合的总数，且I＝V。该子步骤的判别条件中，Dst为当前矩阵H中的非对角线最小元素；Dth为类间距最小值阈值，该阈值在10～15内取值；
(3.3)重新计算当前剩余的类与合并得到的新类两两之间的类间距Drg，此时类间距Drg的计算公式为：
式中，Mr表示第r类中的角点个数，该类中的角点表示为pj，j＝1,2,3…,Mr；Mg表示第g类中的角点个数，该类中的角点表示为qk，k＝1,2,3…,Mg；djk表示角点pj和qk之间的欧式距离，即
其中，
和
分别表示角点pj的横、纵坐标，
和
分别表示角点qk的横、纵坐标。
用上述重新计算得到的类间距，根据类间距Drg及类间距矩阵H的物理意义，对类间距矩阵H进行更新，可得到新的V×V类间距矩阵
并重新返回上述子步骤(3.2)。
(4)车牌定位
对于步骤(3)中聚类得到的车牌字符预选角点集合Bi，i＝1,2,3…,I，根据车牌尺寸的先验性知识，从车牌字符预选角点集合Bi中筛选出车牌字符有效角点集合C，参见说明书附图10，进而确定车牌位置，参见说明书附图11，具体子步骤为：
(4.1)初始化i＝1；
(4.2)若车牌字符预选角点集合Bi满足
则进入子步骤(4.3)，否则进入子步骤(4.5)。该子步骤的判别条件中，
为车牌字符预选角点集合Bi中的角点个数；numt2为车牌字符角点集合的角点个数阈值，该阈值在6～8内取值；
(4.3)遍历车牌字符预选角点集合Bi，确定该集合中角点的最大横坐标
最小横坐标
最大纵坐标
最小纵坐标
并定义该角点集合的最小包围矩形的中心
长
及宽
即
进而计算车牌字符预选角点集合Bi的最小包围矩形的长宽比
及面积
即
若满足
且
则进入子步骤(4.4)，否则进入子步骤(4.5)。该子步骤的判别条件中，
表示车牌字符预选角点集合Bi的最小包围矩形的长宽比；βmin表示车牌字符预选角点集合Bi的最小包围矩形的长宽比低阈值，该阈值在3～3.5内取值；βmax表示车牌字符预选角点集合Bi的最小包围矩形的长宽比高阈值，该阈值在4.5～5内取值。
(4.4)若车牌字符预选角点集合Bi满足
且
则判定该预选角点集合Bi为车牌字符有效角点集合C，并确定车牌中心(x0,y0)、长l0及宽w0，即
结束车牌定位过程，进入(5)实施拖牵诱导；否则进入子步骤(4.5)。该子步骤的判别条件中，
表示车牌字符预选角点集合Bi的最小包围矩形的面积；γmin表示车牌字符预选角点集合Bi的最小包围矩形的面积低阈值，该阈值在200～300内取值；γmax表示车牌字符预选角点集合Bi的最小包围矩形的面积高阈值，该阈值在5000～5500内取值；
(4.5)若i<I，则将i的值增1，重新返回上述子步骤(4.2)；否则结束车牌定位过程，返回步骤(1)图像采集及预处理。
上述车牌字符有效角点集合筛选算法的两点补充说明：①国内的蓝色牌照具有国家标准，其印刷字符均为七位，其中每个字符至少含有一个角点，七位印刷字符的长宽比约为4；②摄像头安装在道路救援装备折臂的中间固定位置处，且水平朝向道路救援装备后方，在进行正方位拖牵作业的过程中，被拖车位于道路救援装备的后方区域，作业距离一般为1～5米，摄像头的焦距可选择为4～8毫米，本发明中摄像头采集的图像尺寸为960×640，在有效作业距离1～5米范围内，采集图像中车牌字符区域的像素大小在300～5000范围内变化。
(5)实施拖牵诱导
如说明书附图4所示，在正方位拖牵作业的实施过程中，道路救援装备一般位于被拖车车头的前方，二者近似呈“一”字形排列，车载摄像头安装于道路救援装备折臂上中间固定位置处，且水平朝向道路救援装备后方，摄像头采集区域的中轴线与道路救援装备及其拖牵装置的中轴线相一致，而被拖车前车牌一般位于其车头中间位置，因而可根据摄像头输出画面的中心与画面中被拖车车牌中心的左右位置关系判断道路救援装备与被拖车的相对位置关系。
在实施正方位拖牵作业的过程中，驾驶员面向道路救援装备前方，故可根据步骤(4)中车牌定位中已确定的车牌中心(x0,y0)在图像中的位置，参见说明书附图11，实时给出方向提示，诱导驾驶员进行倒车作业：若图像中被拖车车牌中心在图像中心的左侧，则提示驾驶员向右倒；若图像中被拖车车牌中心在图像中心的右侧，则提示驾驶员向左倒，从而完成两侧托臂与被拖车两前轮的对准，进而对被拖车进行抱胎固定，将其牵拉拖离。
经过上述步骤，本发明提出的方法能够实现救援装备正方位拖牵作业过程中的实时诱导，有效提高了道路救援装备的救援效率。
Claims (4)
1.一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法，其特征在于，该方法包括如下步骤：
(1)采集拖车后方作业区域图像并对图像进行预处理；
(2)对预处理后的图像进行角点检测及优选；采用哈里斯角点检测算法对平滑后的灰度图像进行检测，获得图像中的角点，并将得到的所有角点存储到角点集合O中；对哈里斯角点检测算法获得的角点进行优选，得到优质角点集合A，方法如下：
(2.1)按照角点横、纵坐标依次递增的顺序，遍历角点集合O中的所有角点，并在以每个角点为中心，半径为5像素的圆形区域内，将该区域角点强度最大的角点保存到优质角点集合A中；
(2.2)上述遍历结束后，对优质角点集合A中重复保存的具有相同坐标及角点强度的角点，只保留其中一个，并将多余的相同角点从优质角点集合A中删除，最后得到N个不同的优质角点；
(3)对优选的角点进行聚类；
(4)根据优选的角点对车牌定位并得到车牌中心；车牌定位方法如下：对于步骤(3)中聚类得到的车牌字符预选角点集合Bi，i＝1，2，3…，I，从车牌字符预选角点集合Bi中筛选出车牌字符有效角点集合C，进而确定车牌位置，方法如下：
(4.1)初始化i＝1；
(4.2)若车牌字符预选角点集合Bi满足
则进入子步骤(4.3)，否则进入子步骤(4.5)，该子步骤的判别条件中，
为车牌字符预选角点集合Bi中的角点个数；numth为车牌字符角点集合的角点个数阈值；
(4.3)遍历车牌字符预选角点集合Bi，确定该集合中角点的最大横坐标
最小横坐标
最大纵坐标
最小纵坐标
并定义该角点集合的最小包围矩形的中心
长
及宽
即
进而计算车牌字符预选角点集合Bi的最小包围矩形的长宽比
及面积
即
若满足
且
则进入子步骤(4.4)，否则进入子步骤(4.5)，该子步骤的判别条件中，
表示车牌字符预选角点集合Bi的最小包围矩形的长宽比；βmin表示车牌字符预选角点集合Bi的最小包围矩形的长宽比低阈值；βmax表示车牌字符预选角点集合Bi的最小包围矩形的长宽比高阈值；
(4.4)若车牌字符预选角点集合Bi满足
且
则判定该预选角点集合Bi为车牌字符有效角点集合C，并确定车牌中心(x0，y0)、长l0及宽w0，即
结束车牌定位过程，进入(5)实施拖牵诱导；否则进入子步骤(4.5)；该子步骤的判别条件中，
表示车牌字符预选角点集合Bi的最小包围矩形的面积；γmin表示车牌字符预选角点集合Bi的最小包围矩形的面积低阈值；γmax表示车牌字符预选角点集合Bi的最小包围矩形的面积高阈值；
(4.5)若i＜I，则将i的值增1，重新返回上述子步骤(4.2)；否则结束车牌定位过程，返回步骤(1)图像采集及预处理；
(5)根据车牌中心实施拖牵诱导。
2.根据权利要求1所述的一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法，其特征在于，在步骤(1)中，图像采集及预处理方法如下：在道路救援装备尾部折臂上安装车载摄像头，对拖车后方作业区域图像采集，并先将彩色采集图像转成灰度图像，然后对灰度图像进行平滑滤波处理。
3.根据权利要求1所述的一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法，其特征在于，在步骤(3)中，角点聚类方法如下：根据角点之间的距离对优选得到的优质角点集合A进行凝聚层次聚类，得到I个车牌字符预选角点集合Bi，i＝1，2，3…，I，其中，i表示预选角点集合的序号，方法如下：
(3.1)把优质角点集合A中的每个角点an，n＝1，2，3…，N，各视为一个类，每个类中有且只有一个角点，计算当前所有类两两之间的类间距Drg，Drg表示第r类和第g类之间的类间距，定义类间距Drg为第r类中的每个角点与第g类中的每个角点之间欧式距离的平均值，由于当前每个类中有且只有一个角点，即第r类中只有角点ar，第g类中只有角点ag，故此时类间距Drg计算公式为：
Drg＝drg
式中，drg表示角点ar和ag之间的欧式距离，即
其中，
和
分别表示角点ar的横、纵坐标，
和
分别表示角点ag的横、纵坐标；
根据类间距Drg的物理意义，则有Drg＝Dgr，且当r＝g时，Drg＝0，将上述计算得到的所有类间距用矩阵形式表示，得到初始的N×N类间距矩阵
矩阵H中的r行g列元素即为Drg；
(3.2)遍历当前的类间距矩阵H，找到矩阵H中的非对角线最小元素，即当前类间距最小值，设为Dst，且s≠t，表示第s类和第t类为当前距离最近的两个类，若Dst＜Dth，则将第t类中的角点归并到第s类中，进而将第s类和第t类合并为一个新类，并将合并后的角点总类数记为V，进入子步骤(3.3)；否则结束聚类计算，得到1个车牌字符预选角点集合Bi，i＝1，2，3…，I，其中，i表示预选角点集合的序号；I表示车牌字符预选角点集合的总数，且I＝V，该子步骤的判别条件中，Dst为当前矩阵H中的非对角线最小元素；Dth为类间距最小值阈值；
(3.3)重新计算当前剩余的类与合并得到的新类两两之间的类间距Drg，此时类间距Drg的计算公式为：
式中，Mr表示第r类中的角点个数，该类中的角点表示为pj，j＝1，2，3…，Mr；Mg表示第g类中的角点个数，该类中的角点表示为qk，k＝1，2，3…，Mg；djk表示角点pj和qk之间的欧式距离，即
其中，
和
分别表示角点pj的横、纵坐标，
和
分别表示角点qk的横、纵坐标；
用上述重新计算得到的类间距，根据类间距Drg及类间距矩阵H的物理意义，对类间距矩阵H进行更新，得到新的V×V类间距矩阵
并重新返回上述子步骤(3.2)。
4.根据权利要求1所述的一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法，其特征在于，在步骤(5)中，实施拖牵诱导方法如下：根据步骤(4)中车牌定位中已确定的车牌中心(x0，y0)在图像中的位置，实时给出方向提示，诱导驾驶员进行倒车作业：若图像中被拖车车牌中心在图像中心的左侧，则提示驾驶员向右倒；若图像中被拖车车牌中心在图像中心的右侧，则提示驾驶员向左倒，从而完成两侧托臂与被拖车两前轮的对准，进而对被拖车进行抱胎固定，将其牵拉拖离。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810920734.XA CN109376734B (zh) | 2018-08-13 | 2018-08-13 | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 |
| PCT/CN2019/089077 WO2020034722A1 (zh) | 2018-08-13 | 2019-05-29 | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 |
| US17/057,915 US11367215B2 (en) | 2018-08-13 | 2019-05-29 | Positive azimuth towing guidance method for road rescue equipment based on license plate corner features |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810920734.XA CN109376734B (zh) | 2018-08-13 | 2018-08-13 | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109376734A CN109376734A (zh) | 2019-02-22 |
| CN109376734B true CN109376734B (zh) | 2020-07-31 |
Family
ID=65404377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810920734.XA Active CN109376734B (zh) | 2018-08-13 | 2018-08-13 | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11367215B2 (zh) |
| CN (1) | CN109376734B (zh) |
| WO (1) | WO2020034722A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376734B (zh) | 2018-08-13 | 2020-07-31 | 东南大学 | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 |
| CN113077513B (zh) * | 2021-06-03 | 2021-10-29 | 深圳市优必选科技股份有限公司 | 视觉定位方法、装置和计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632550A (zh) * | 2013-11-05 | 2014-03-12 | 广东工业大学 | 一种基于固定摄像头的道路车辆识别方法和装置 |
| CN106027997A (zh) * | 2016-07-13 | 2016-10-12 | 孙福盛 | 一种无线视频辅助集卡定位装置及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9238483B2 (en) * | 2011-04-19 | 2016-01-19 | Ford Global Technologies, Llc | Trailer backup assist system with trajectory planner for multiple waypoints |
| WO2014152470A2 (en) * | 2013-03-15 | 2014-09-25 | Tk Holdings, Inc. | Path sensing using structured lighting |
| AT514588B1 (de) * | 2013-08-29 | 2015-02-15 | Tech Universität Wien | Verfahren zur Steuerung eines Fahrzeuges |
| US9464886B2 (en) * | 2013-11-21 | 2016-10-11 | Ford Global Technologies, Llc | Luminescent hitch angle detection component |
| US9696723B2 (en) * | 2015-06-23 | 2017-07-04 | GM Global Technology Operations LLC | Smart trailer hitch control using HMI assisted visual servoing |
| US20160375831A1 (en) * | 2015-06-23 | 2016-12-29 | GM Global Technology Operations LLC | Hitching assist with pan/zoom and virtual top-view |
| CN107861510A (zh) * | 2017-11-01 | 2018-03-30 | 龚土婷 | 一种智能车辆驾驶系统 |
| CN112805207B (zh) * | 2018-05-08 | 2023-03-21 | 大陆汽车系统公司 | 用于自动车辆倒车的用户可调轨迹 |
| US11603100B2 (en) * | 2018-08-03 | 2023-03-14 | Continental Autonomous Mobility US, LLC | Automated reversing by following user-selected trajectories and estimating vehicle motion |
| CN109376734B (zh) * | 2018-08-13 | 2020-07-31 | 东南大学 | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 |
-
2018
- 2018-08-13 CN CN201810920734.XA patent/CN109376734B/zh active Active
-
2019
- 2019-05-29 US US17/057,915 patent/US11367215B2/en active Active
- 2019-05-29 WO PCT/CN2019/089077 patent/WO2020034722A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632550A (zh) * | 2013-11-05 | 2014-03-12 | 广东工业大学 | 一种基于固定摄像头的道路车辆识别方法和装置 |
| CN106027997A (zh) * | 2016-07-13 | 2016-10-12 | 孙福盛 | 一种无线视频辅助集卡定位装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020034722A1 (zh) | 2020-02-20 |
| US20210312653A1 (en) | 2021-10-07 |
| US11367215B2 (en) | 2022-06-21 |
| CN109376734A (zh) | 2019-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730520B (zh) | 车道线检测方法及系统 | |
| CN101750049B (zh) | 基于道路和车辆自身信息的单目视觉车距测量方法 | |
| CN110287905B (zh) | 一种基于深度学习的交通拥堵区域实时检测方法 | |
| CN103824066B (zh) | 一种基于视频流的车牌识别方法 | |
| CN104916163B (zh) | 泊车位检测方法 | |
| WO2019200938A1 (zh) | 一种车辆压线提前预警系统 | |
| CN104966049B (zh) | 基于图像的货车检测方法 | |
| CN109299674B (zh) | 一种基于车灯的隧道违章变道检测方法 | |
| CN106887004A (zh) | 一种基于块匹配的车道线检测方法 | |
| CN107292974A (zh) | 停车计费管理系统和方法 | |
| CN109376734B (zh) | 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法 | |
| CN109948552B (zh) | 一种复杂交通环境中的车道线检测的方法 | |
| CN103927548B (zh) | 一种新的避免车辆碰撞的刹车行为检测方法 | |
| CN107891808A (zh) | 行车提醒方法、装置及车辆 | |
| CN103978978A (zh) | 基于逆投影变换的车道保持方法 | |
| CN105654073A (zh) | 一种基于视觉检测的速度自动控制方法 | |
| CN106802144A (zh) | 一种基于单目视觉和车牌的车距测量方法 | |
| CN109285169B (zh) | 一种基于车轮识别的道路救援装备侧方位拖牵诱导方法 | |
| CN105021126A (zh) | 基于机器视觉技术货车侧防护栏安装尺寸测量系统及方法 | |
| CN109145797B (zh) | 基于车底阴影定位车牌的道路救援装备正方位诱导方法 | |
| CN110733416B (zh) | 一种基于逆透视变换的车道偏离预警方法 | |
| CN105966314B (zh) | 基于双低成本摄像头的车道偏离预警方法 | |
| CN109887273A (zh) | 一种基于多源冗余信息的桥梁活载优化识别方法 | |
| CN109376733B (zh) | 一种基于车牌定位的道路救援装备正方位拖牵诱导方法 | |
| CN103699899B (zh) | 基于等距曲线模型的车道线检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |