CN111612833A - 一种行驶车辆高度实时检测方法 - Google Patents
一种行驶车辆高度实时检测方法 Download PDFInfo
- Publication number
- CN111612833A CN111612833A CN202010410588.3A CN202010410588A CN111612833A CN 111612833 A CN111612833 A CN 111612833A CN 202010410588 A CN202010410588 A CN 202010410588A CN 111612833 A CN111612833 A CN 111612833A
- Authority
- CN
- China
- Prior art keywords
- real
- height
- vehicle
- camera
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011897 real-time detection Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/20—Information sensed or collected by the things relating to the thing itself
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种行驶车辆高度检测方法，所需装置包括双目摄像机和便携式计算机，双目摄像机用于返回拍摄图像，便携式计算机用于处理图像、识别目标及计算车辆高度，所述双目摄像机与所述计算机之间通过USB3.0数据线连接，实时数据可通过无线网络传输至服务器。本发明解决了现有技术设备复杂、抗干扰能力弱、实时性差等问题。
Description
技术领域
本发明涉及计算机视觉技术应用领域，具体地说是涉及一种基于目标检测和双目立体视觉的行驶车辆高度实时检测方法。
背景技术
城市交通系统的快速发展对道路车辆检测的实时化、自动化、智能化提出了越来越高的要求。道路限高是交通管理的重点工作之一，针对道路行驶车辆的高度测量，主要以非接触式测量为主，如红外光幕技术、激光雷达测量技术等，但这些技术普遍存在硬件成本高、设备安装维护复杂、抗干扰能力较弱、在遮挡或粘结情况下难以区分检测对象等缺陷，不适用于环境复杂的城市交通环境。
随着人工智能技术的发展，基于计算机视觉的车辆检测方法成为智能交通系统领域的研究热点。双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台相机拍摄同一幅场景，通过三角测量原理计算空间点在两幅图像中的视差，获得空间点的三维坐标，实现目标的三维重建。利用双目立体视觉技术进行车辆高度检测具有设备简单、测量精度高、灵活性强等优点。该方法的缺点主要在于在道路拥挤或照明不良的情况下，前景目标的识别和分割困难，另外，该方法的图像处理算法非常复杂，存在大量冗余信息，给系统的实时性和稳定性造成一定的影响。
因此，如何高精度实时检测行使车辆高度，是目前本领域技术人员亟待解决的问题。
发明内容
本发明目的在于提供一种基于目标识别和双目立体视觉的车辆高度检测方法，解决了现有技术设备复杂、抗干扰能力弱、实时性差等问题。
本发明的具体技术方案如下：
一种行使车辆高度检测方法，所需装置包括双目摄像机和便携式计算机。双目摄像机用于返回拍摄图像，便携式计算机用于处理图像、识别目标及计算车辆高度，双目摄像机与计算机之间通过USB3.0数据线连接，实时数据可通过无线网络传输至服务器。采用上述装置对道路上的行驶车辆进行实时高度检测，具体步骤如下：
（1）基于张正友方法，采用人机交互的方式对双目摄像机进行标定，获得精确的相机参数；
（2）安装调试，获取道路视频画面，以框选方式获取道路面，通过双目立体视觉技术对道路面进行三维重建并在相机坐标系下拟合道路面所在平面的方程；
（3）实时采集左右相机图像，以左图为基础，通过YOLOv3实时物体检测系统对行驶状态中的车辆目标进行识别；
（4）分别确定目标框选图中车辆的最高点位置，并通过双目立体匹配算法获得该点的三维坐标；
（5）利用目标车辆最高点坐标与道路平面方程计算得到目标车辆的实时高度并记录；
（6）将相关高度数据实时上传至服务器。
本发明具有以下有益结果：
1）采用计算机视觉技术进行行驶车辆的高度检测，所需设备简单，安装调试方便，自动化程度高；
2）采用YOLOv3实时物体检测系统对行驶车辆目标进行检测，识别精度高，响应速度快，可以在一张图像内实现多目标的识别，避免光线阴影、车辆遮挡、图像联结等不利条件带来的误差，适用于车流量大、干扰多的城市交通场景；
3）将车辆高度检测问题简化为车辆最高点的提取及双目视觉系统的三维匹配问题，避免了冗余点云数据的生成和处理，降低了算法复杂度，保证了检测系统的实时性和稳定性；
4）检测结果可实时上传至服务器，便于交通信息的获取和管理。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面将对实施例或者现有技术描述中所需要使用的附图作简单的介绍。显而易见的是，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的情况下，还可根据这些附图获得其他附图。
图1示出了本发明用于实时测量车辆高度的工作流程图。
图2示出了本发明用于实时测量车辆高度的装置示意图。
图3示出了双目视觉系统实现三维重建的原理示意图。
具体实施方式
本发明实施例提供一种适用于多车道、大流量交通环境中的行驶车辆高度实时检测方法，通过高精度实时目标识别系统提取前景图像中的车辆目标，确定车辆最高点，并通过双目立体视觉求得该点在相机坐标系下的三维坐标，通过计算该点与道路平面的垂直距离，进而获得目标车辆的实时高度。该方法不仅有效避免了场景光线、阴影及遮挡的影响，而且极大的简化了计算模型，剔除了无效数据点，降低了算法的时间复杂度，能有效提高车辆高度的检测精度和实时性，适用于车流量较大的城市道路交通环境。
为使得本发明的发明目的、特征、有点能够更加地显著和易懂，下面将结合本发明的实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，下面所描述的内容仅仅是本发明的一部分实施例，而非全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种对行驶车辆的高度进行实时检测的方法，该方法包括两个阶段。
第一阶段：准备阶段，注意包括相机标定、安装调试和道路平面方程的确定。
步骤1：使用张正友标定方法预标双目摄像头，获得摄像头参数。
通过二维图像认知三维环境是双目立体视觉的核心目标。真实的三维场景与摄像机所拍摄的二维图像之间存在映射关系，这种关系是由摄像机的参数决定的，求解这些参数的过程就成为相机标定。“张正友标定”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法，该方法克服了传统标定法需要的高精度标定物的缺点，仅需使用一个打印出来的棋盘格即可实现标点过程，操作方便，鲁棒性请，标定精度高，被广泛应用于计算机视觉领域。在这里我们通过张正友标定方法，结合双目立体视觉模型标定双目相机的内外部参数，建立以左摄像机为中心的三维相机坐标系。
步骤2：安装调试，获取道路视频画面，并拟合道路面在相机坐标系下的平面方程。
在现场安装设备并进行调试，使得双目摄像机可以获取到清晰、适宜的固定视角的道路视频画面。通过框选方式划定道路路面区域，获取路面特征点坐标，通过非线性最小二乘法拟合得到道路面在相机坐标系下的平面方程。
第二阶段：运行阶段，通过目标识别和双目立体视觉。
步骤1：逐帧读取摄像机画面，并通过YOLO算法检测画面内的通行车辆。
YOLO的全称是You Only Look Once，是一种将目标区域预测和目标类别预测相结合的目标检测系统。与传统的目标识别方法相比，YOLO算法流程简单，速度很快，可以实现实时监测，同时，由于该算法采用全图信息进行预测，可以提取目标的概括信息，具有较强的普适性，精确率也较高。在本发明中，选用最新的YOLOv3算法对左侧摄像机拍摄得到的道路画面进行检测，可以一次性框选出拍摄范围内的全部车辆对象，能有效避免由于车辆遮挡或粘连等情况造成测试目标的误选、漏选。
步骤2：提取目标车辆图像的最高点，并获得该点的三维坐标。
车辆的高度取决于其最高点与地面的垂直距离，对于已经被识别且框选出的车辆目标，其图像顶部中点通常即为车辆最高点。根据相机矫正结果，对摄像机拍摄画面进行去畸和矫正，并通过双目立体匹配和视差计算，可以实现图像的三维重建，分别获得目标车辆对应的最高点在相机坐标系内的空间坐标，该方法模型如图3所示。
步骤3：计算车辆最高点至道路路面的垂直距离，获得实时车高数据。
已知相机坐标系下道路面平面方程和车辆目标最高点，通过简单的数学运算即可获得车辆的垂直高度。相对于其他方法，本发明创造性地将车高检测简化为车辆目标的识别和车辆最高点距路面的垂直距离计算，避免了冗余数据的产生，极大的简化了算法的复杂度，使数据的实时获取成为可能。
步骤4：自动保存数据并上传至数据服务器。
通过上述方法获得的车辆高度信息可自动保存至本地并通过无线传输技术（WLAN/4G）实时上传至数据备份服务器，便于交通信息的统计和管理，有效提升交通运输数字化、网络化、智能化水平。
如图2所示，本发明中所提及的一种行驶车辆高度实时检测装置，主要包括一台便携式计算机和一部双目摄像头，为了保证实时数据传输速度，需使用USB 3.0的数据线连接摄像头和便携式计算机。摄像头用来返回拍摄到的图像，便携式计算机则用来进行目标识别和高度数据的计算。所得数据会通过无线传输技术（WLAN/4G）实时上传至数据备份服务器。
除便携式计算机需要为备份数据服务器提供无线数据传输服务外，并没有任何其他的电磁信号，因而该实时检测装置可以最大限度地减小对外界电器的干扰。此外，该系统只需要为便携式计算机供电，便携式计算机与摄像头之间的连接使用标准的USB3.0数据线。因而该实时检测设备使用的电缆符合TB/T1484.1-2010的规定。
所述技术领域的普通技术人员可以清楚地了解到，上述系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
与传统的红外光幕法、激光雷达测量法相比，本发明设备安装维护方便、成本低，能有效避免车流密集情况下目标的漏测、误测。与其他基于计算机视觉的方法相比，本发明测量速度快，测量精度高，抗干扰能力强，算法复杂度低，可实现实时测量。因此，本发明设计的一种基于目标识别和双目立体视觉的行驶车辆高度实时检测方法在城市交通环境中道路车辆高度的测量方面具有突出优势。
Claims (1)
1.一种行使车辆高度检测方法，所需装置包括双目摄像机和便携式计算机，所述双目摄像机用于返回拍摄图像，所述便携式计算机用于处理图像、识别目标及计算车辆高度，所述双目摄像机与所述计算机之间通过USB3.0数据线连接，实时数据可通过无线网络传输至服务器，其特征在于：所述方法步骤如下：
基于张正友方法，采用人机交互的方式对所述双目摄像机进行标定，获得精确的相机参数；
安装调试，获取道路视频画面，以框选方式获取道路面，通过双目立体视觉技术对道路面进行三维重建并在相机坐标系下拟合道路面所在平面的方程；
实时采集左右相机图像，以左图为基础，通过YOLOv3实时物体检测系统对行驶状态中的车辆目标进行识别；
分别确定目标框选图中车辆的最高点位置，并通过双目立体匹配算法获得该点的三维坐标；
利用目标车辆最高点坐标与道路平面方程计算得到目标车辆的实时高度并记录；
将所述高度数据实时上传至所述服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410588.3A CN111612833A (zh) | 2020-05-15 | 2020-05-15 | 一种行驶车辆高度实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410588.3A CN111612833A (zh) | 2020-05-15 | 2020-05-15 | 一种行驶车辆高度实时检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111612833A true CN111612833A (zh) | 2020-09-01 |
Family
ID=72200047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010410588.3A Pending CN111612833A (zh) | 2020-05-15 | 2020-05-15 | 一种行驶车辆高度实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612833A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888617A (zh) * | 2021-09-30 | 2022-01-04 | 北京工业大学 | 一种关联区域多相机物体匹配方法与系统 |
| CN114312578A (zh) * | 2021-12-31 | 2022-04-12 | 优跑汽车技术(上海)有限公司 | 车辆及其控制方法、控制装置、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491810A (zh) * | 2018-03-28 | 2018-09-04 | 武汉大学 | 基于背景建模和双目视觉的车辆限高方法及系统 |
| CN109360269A (zh) * | 2018-09-30 | 2019-02-19 | 国网黑龙江省电力有限公司电力科学研究院 | 基于计算机视觉的地面三维平面重建方法 |
-
2020
- 2020-05-15 CN CN202010410588.3A patent/CN111612833A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491810A (zh) * | 2018-03-28 | 2018-09-04 | 武汉大学 | 基于背景建模和双目视觉的车辆限高方法及系统 |
| CN109360269A (zh) * | 2018-09-30 | 2019-02-19 | 国网黑龙江省电力有限公司电力科学研究院 | 基于计算机视觉的地面三维平面重建方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888617A (zh) * | 2021-09-30 | 2022-01-04 | 北京工业大学 | 一种关联区域多相机物体匹配方法与系统 |
| CN114312578A (zh) * | 2021-12-31 | 2022-04-12 | 优跑汽车技术(上海)有限公司 | 车辆及其控制方法、控制装置、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951305B (zh) | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 | |
| WO2022206978A1 (zh) | 一种基于车载定位装置的路侧毫米波雷达校准方法 | |
| CN102622767B (zh) | 双目非标定空间定位方法 | |
| CN112686938B (zh) | 基于双目图像测距的输电线路净距计算与安全告警方法 | |
| CN103700140B (zh) | 用于单枪机‑多球机联动的空间建模方法 | |
| WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
| Fruh et al. | Fast 3D model generation in urban environments | |
| CN114638909A (zh) | 基于激光slam和视觉融合的变电站语义地图构建方法 | |
| CN109859269B (zh) | 岸基视频辅助定位无人机大范围流场测量方法及装置 | |
| CN111220126A (zh) | 一种基于点特征和单目相机的空间物体位姿测量方法 | |
| CN111612833A (zh) | 一种行驶车辆高度实时检测方法 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN114252075B (zh) | 一种电缆沟巡检机器人的路径跟踪方法及系统 | |
| CN112595236A (zh) | 一种水下激光三维扫描和实时测距的测量装置 | |
| CN114370871A (zh) | 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法 | |
| CN112455502A (zh) | 基于激光雷达的列车定位方法及装置 | |
| CN114037762A (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
| CN116699602A (zh) | 一种基于毫米波雷达和相机融合的目标检测系统及方法 | |
| CN112884832B (zh) | 一种基于多目视觉的智能小车轨迹预测方法 | |
| CN102930554B (zh) | 一种监控场景下目标精确抓取的方法及系统 | |
| CN114037968A (zh) | 基于深度雷达点云和图像数据融合的车道线检测方法 | |
| KR102065337B1 (ko) | 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법 | |
| CN113190564A (zh) | 地图更新系统、方法及设备 | |
| Douret et al. | A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application | |
| CN113280750B (zh) | 一种三维变形监测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |