CN111415369A - 一种基于路端单目摄像头的目标实时测速方法 - Google Patents
一种基于路端单目摄像头的目标实时测速方法 Download PDFInfo
- Publication number
- CN111415369A CN111415369A CN202010205435.5A CN202010205435A CN111415369A CN 111415369 A CN111415369 A CN 111415369A CN 202010205435 A CN202010205435 A CN 202010205435A CN 111415369 A CN111415369 A CN 111415369A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- speed
- monocular camera
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000006073 displacement reaction Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于路端单目摄像头的目标实时测速方法，包括以下步骤：S1：在路端安装单目摄像头，并通过安装的单目摄像头采集视频图像；S2：测量并计算同一目标在图像两帧之间的像素位移速度；S3：利用图像中两个相互垂直的消隐点，计算得到图像的单应矩阵；S4：利用单应矩阵矫正图像；S5：计算出图像的x轴和y轴对应到真实世界的x轴和y轴的变换尺度；S6：利用得到的图像到真实世界的变换尺度和目标的像素位移速度，计算得到目标的真实速度。该方法能够基于单目视频图像测得目标运行速度，检测速度快，准确度高，实现简单。
Description
技术领域
本发明属于目标测速技术领域，具体涉及一种基于路端单目摄像头的目标实时测速方法。
背景技术
随着人口的不断增长，道路车辆和行人的数量不断增加，给道路容量和基础设施带来了很大的压力，使交通管理变得困难，并且产生了诸如拥堵、碰撞和空气污染等问题。这些问题对我们的日常生活有很大的影响。随着深度学习和自动驾驶技术的日益普及，包括目标速度估计、道路交通事故检测、车辆重识别等在内的智能交通分析成为研究热点。
目标速度估计是交通分析的一个重要指标，可以用于检测交通拥挤程度或其他交通事故。对车辆、电动车和行人的速度估计，有利于更好地对交通路段进行管控。这项任务的一个重大难点是从图像空间到现实世界的转换往往是错误的转换，或者需要昂贵的测量设备，例如激光雷达。目标速度估计中最具挑战性的问题，是对从图像域到真实世界的转换进行建模，再从图像域的测量值中推断出目标的速度。以往的方法大多是通过大量的测量和摄像机标定来获得图像与三维世界中的点与像面的精确对应，例如通过比较当前帧和前一帧之间的目标位置，从静止摄像机拍摄的数字视频中预测交通速度，或利用几何方程对摄像机进行标定或者是使用图像中的运动参数，以及地面平面与图像平面之间的投影信息，利用实时跟踪技术获得包括目标速度在内的各种指标，测量步骤繁琐，实现成本高。
发明内容
本发明的目的在于提供一种基于路端单目摄像头的目标实时测速方法，该方法能够基于单目视频图像测得目标运行速度，检测速度快，准确度高，实现简单。
为实现上述目的，本发明采用的技术方案是：一种基于路端单目摄像头的目标实时测速方法，包括以下步骤：
步骤S1：在路端安装单目摄像头，并通过安装的单目摄像头采集视频图像；
步骤S2：测量并计算同一目标在图像两帧之间的像素位移速度；
步骤S3：利用图像中沿道路方向和垂直道路方向两个消隐点，计算得到图像的单应矩阵；
步骤S4：利用单应矩阵矫正图像；
步骤S5：计算出图像的x轴和y轴对应到真实世界的x轴和y轴的变换尺度；
步骤S6：利用得到的图像到真实世界的变换尺度和目标的像素位移速度，计算得到目标的真实速度。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：测量同一目标在图像连续两帧之间的位移Sp；
步骤S22：采用以下公式计算得到待测目标在两帧之间的运动速度Vp：
其中，tp是两帧之间的时间间隔。
进一步地，所述步骤S3具体包括以下步骤：
步骤S31：计算出图像中车道线方向的消隐点P1和垂直车道线方向的消隐点P2；
步骤S32：由消隐点P1、P2与单应矩阵H之间的关系：
求出图像的单应矩阵H如下：
进一步地，所述步骤S4中，利用步骤S3中得到的单应矩阵H，求得由原始图像坐标
矫正后的图像坐标
进一步地，所述步骤S5具体包括以下步骤：
步骤S51：由于矫正后的图像在x轴方向上的尺度变化是线性的，因此x轴水平方向的尺度由以下公式得到：
其中，Sx表示图像到真实世界在x轴方向上的变换尺度，W是真实世界中的车道线宽度；w是矫正后的图像中的车道线宽度；
步骤S52：矫正后的图像在y轴方向上的尺度是非线性变化的，采用以下的线性补偿器弥补这个比例的变化：
其中，Sy表示图像到真实世界在y轴方向上的变换尺度，L1和L2是两条车道线的长度，l1和l2是两条车道线在图像中的长度；图像空间中的高度在ymin到ymax范围之间。
进一步地，所述步骤S6中，在得到图像到真实世界的变换尺度后，利用以下公式计算得到目标在真实世界的速度V：
其中，
和
分别是图像中的目标在x轴方向和y轴方向上的速度。
相较于现有技术，本发明具有以下有益效果：该方法避免了现有方法中测量繁琐，不易实现的问题，无需标定就能通过单目摄像头采集到的单目视频图像测得目标运行速度，具有检测速度快、准确度高、对设备依赖少、实现简单等优点。该方法利用图像中的消隐点来计算单应矩阵，通过一个校正变换来恢复仿射特性，在图像域中测量的速度可以进行相应的校正，通过将实际车道宽度与经过校正的图像中的车道宽度进行比较，进而测量出从图像域到真实世界的比例因子，对场景中的非平面区域进行补偿，从而准确测得目标速度，有效解决了实际环境中目标测速问题，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中单目摄像头采集到的原始视频图像。
图3是本发明实施例中确定图像中车道线及消隐点的示意图。
图4是本发明实施例中矫正后的车辆图像。
图5是本发明实施例中检测得到的车辆速度的示意图。
具体实施方式
下面结合附图及实施例，以车辆作为目标范例进行测速，对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供了一种基于路端单目摄像头的目标实时测速方法，如图1所示，包括以下步骤：
步骤S1：在路端安装单目摄像头，并通过安装的单目摄像头采集视频图像。
步骤S2：测量并计算同一目标车辆在图像两帧之间的像素位移速度。具体包括以下步骤：
步骤S21：如图2所示，测量图中右侧中部车辆在图像连续两帧之间的位移Sp。
步骤S22：采用以下公式计算得到该车辆在两帧之间的运动速度Vp：
其中，tp是两帧之间的时间间隔。
步骤S3：利用图像中沿道路方向和垂直道路方向两个消隐点，计算得到图像的单应矩阵。具体包括以下步骤：
步骤S31：如图3所示，利用地面瓷砖方向来当做车道线方向。计算出图像中车道线方向的消隐点P1和垂直车道线方向的消隐点P2。
步骤S32：由消隐点P1、P2与单应矩阵H之间的关系：
求出图像的单应矩阵H如下：
步骤S4：利用单应矩阵矫正图像。
具体地，利用步骤S3中得到的单应矩阵H，求得由原始图像坐标
矫正后的图像坐标
矫正后的车辆图像如图4所示。
步骤S5：计算出图像的x轴和y轴对应到真实世界的x轴和y轴的变换尺度。具体包括以下步骤：
步骤S51：由于矫正后的图像在x轴方向上的尺度变化是线性的，因此x轴水平方向的尺度由以下公式得到：
其中，Sx表示图像到真实世界在x轴方向上的变换尺度，W是真实世界中的车道线宽度，由我们事先测量得到；w是矫正后的图像中的车道线宽度。
步骤S52：将图像投影矫正后，垂直方向上的像素被拉伸，这种效果在被检测到的消隐点附近更为突出。因此，矫正后的图像在y轴方向上的尺度是非线性变化的，采用以下的线性补偿器弥补这个比例的变化：
其中，Sy表示图像到真实世界在y轴方向上的变换尺度，L1和L2是两条车道线的长度，l1和l2是两条车道线在图像中的长度；图像空间中的高度在ymin到ymax范围之间。
步骤S6：利用得到的图像到真实世界的变换尺度和车辆目标的像素位移速度，计算得到车辆目标的真实速度。
如图5所示，在得到图像到真实世界的变换尺度后，利用以下公式计算得到目标车辆在真实世界的速度V：
其中，
和
分别是图像中的目标车辆在x轴方向和y轴方向上的速度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (6)
1.一种基于路端单目摄像头的目标实时测速方法，其特征在于，包括以下步骤：
步骤S1：在路端安装单目摄像头，并通过安装的单目摄像头采集视频图像；
步骤S2：测量并计算同一目标在图像两帧之间的像素位移速度；
步骤S3：利用图像中沿道路方向和垂直道路方向两个消隐点，计算得到图像的单应矩阵；
步骤S4：利用单应矩阵矫正图像；
步骤S5：计算出图像的x轴和y轴对应到真实世界的x轴和y轴的变换尺度；
步骤S6：利用得到的图像到真实世界的变换尺度和目标的像素位移速度，计算得到目标的真实速度。
2.根据权利要求1所述的一种基于路端单目摄像头的目标实时测速方法，其特征在于，所述步骤S2具体包括以下步骤：
步骤S21：测量同一目标在图像连续两帧之间的位移Sp；
步骤S22：采用以下公式计算得到待测目标在两帧之间的运动速度Vp：
其中，tp是两帧之间的时间间隔。
3.根据权利要求1所述的一种基于路端单目摄像头的目标实时测速方法，其特征在于，所述步骤S3具体包括以下步骤：
步骤S31：计算出图像中车道线方向的消隐点P1和垂直车道线方向的消隐点P2；
步骤S32：由消隐点P1、P2与单应矩阵H之间的关系：
求出图像的单应矩阵H如下：
4.根据权利要求1所述的一种基于路端单目摄像头的目标实时测速方法，其特征在于，所述步骤S4中，利用步骤S3中得到的单应矩阵H，求得由原始图像坐标
矫正后的图像坐标
5.根据权利要求1所述的一种基于路端单目摄像头的目标实时测速方法，其特征在于，所述步骤S5具体包括以下步骤：
步骤S51：由于矫正后的图像在x轴方向上的尺度变化是线性的，因此x轴水平方向的尺度由以下公式得到：
其中，Sx表示图像到真实世界在x轴方向上的变换尺度，W是真实世界中的车道线宽度；w是矫正后的图像中的车道线宽度；
步骤S52：矫正后的图像在y轴方向上的尺度是非线性变化的，采用以下的线性补偿器弥补这个比例的变化：
其中，Sy表示图像到真实世界在y轴方向上的变换尺度，L1和L2是两条车道线的长度，l1和l2是两条车道线在图像中的长度；图像空间中的高度在ymin到ymax范围之间。
6.根据权利要求5所述的一种基于路端单目摄像头的目标实时测速方法，其特征在于，所述步骤S6中，在得到图像到真实世界的变换尺度后，利用以下公式计算得到目标在真实世界的速度V：
其中，
和
分别是图像中的目标在x轴方向和y轴方向上的速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010205435.5A CN111415369B (zh) | 2020-03-23 | 2020-03-23 | 一种基于路端单目摄像头的目标实时测速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010205435.5A CN111415369B (zh) | 2020-03-23 | 2020-03-23 | 一种基于路端单目摄像头的目标实时测速方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111415369A true CN111415369A (zh) | 2020-07-14 |
| CN111415369B CN111415369B (zh) | 2023-06-13 |
Family
ID=71493306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010205435.5A Active CN111415369B (zh) | 2020-03-23 | 2020-03-23 | 一种基于路端单目摄像头的目标实时测速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111415369B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112798812A (zh) * | 2020-12-30 | 2021-05-14 | 中山联合汽车技术有限公司 | 基于单目视觉的目标测速方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101604448B (zh) * | 2009-03-16 | 2015-01-21 | 北京中星微电子有限公司 | 一种运动目标的测速方法和系统 |
| CN106370884A (zh) * | 2016-09-09 | 2017-02-01 | 成都通甲优博科技有限责任公司 | 基于双目相机计算机视觉技术的车辆测速方法 |
| US20180165822A1 (en) * | 2016-12-08 | 2018-06-14 | Lighmetrics Technologies Pvt. Ltd. | Methods and systems for estimating distance of an object from a moving vehicle |
| CN110084236A (zh) * | 2019-04-29 | 2019-08-02 | 北京朗镜科技有限责任公司 | 一种图像的矫正方法及装置 |
| CN110556003A (zh) * | 2019-08-27 | 2019-12-10 | 精英数智科技股份有限公司 | 无轨胶轮车速度的监控方法、装置、设备和存储介质 |
-
2020
- 2020-03-23 CN CN202010205435.5A patent/CN111415369B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101604448B (zh) * | 2009-03-16 | 2015-01-21 | 北京中星微电子有限公司 | 一种运动目标的测速方法和系统 |
| CN106370884A (zh) * | 2016-09-09 | 2017-02-01 | 成都通甲优博科技有限责任公司 | 基于双目相机计算机视觉技术的车辆测速方法 |
| US20180165822A1 (en) * | 2016-12-08 | 2018-06-14 | Lighmetrics Technologies Pvt. Ltd. | Methods and systems for estimating distance of an object from a moving vehicle |
| CN110084236A (zh) * | 2019-04-29 | 2019-08-02 | 北京朗镜科技有限责任公司 | 一种图像的矫正方法及装置 |
| CN110556003A (zh) * | 2019-08-27 | 2019-12-10 | 精英数智科技股份有限公司 | 无轨胶轮车速度的监控方法、装置、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112798812A (zh) * | 2020-12-30 | 2021-05-14 | 中山联合汽车技术有限公司 | 基于单目视觉的目标测速方法 |
| CN112798812B (zh) * | 2020-12-30 | 2023-09-26 | 中山联合汽车技术有限公司 | 基于单目视觉的目标测速方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111415369B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110567469B (zh) | 视觉定位方法、装置、电子设备及系统 | |
| Dubská et al. | Fully automatic roadside camera calibration for traffic surveillance | |
| Lan et al. | Vehicle speed measurement based on gray constraint optical flow algorithm | |
| CN104575003B (zh) | 一种基于道路监控视频的车辆速度检测方法 | |
| Arróspide et al. | Homography-based ground plane detection using a single on-board camera | |
| US10015394B2 (en) | Camera-based speed estimation and system calibration therefor | |
| JP5075672B2 (ja) | 対象物検出装置及び方法 | |
| CN110307791B (zh) | 基于三维车辆边界框的车辆长度及速度计算方法 | |
| JP4793324B2 (ja) | 車両監視装置および車両監視方法 | |
| CN103578109A (zh) | 一种监控摄像机测距方法及装置 | |
| CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
| CN109753841B (zh) | 车道线识别方法和装置 | |
| CN102055884B (zh) | 一种视频图像的稳像控制方法、系统及视频分析系统 | |
| CN113191239A (zh) | 一种基于计算机视觉的车辆外廓尺寸动态检测系统 | |
| Rao et al. | Real-time speed estimation of vehicles from uncalibrated view-independent traffic cameras | |
| CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
| Wang et al. | Preliminary research on vehicle speed detection using traffic cameras | |
| CN111415369B (zh) | 一种基于路端单目摄像头的目标实时测速方法 | |
| JP2011064639A (ja) | 距離計測装置及び距離計測方法 | |
| CN116884235B (zh) | 基于撞线的视频车速检测方法、装置、设备以及存储介质 | |
| JP2014115793A (ja) | 画像処理装置および画像処理方法 | |
| WO2018062335A1 (ja) | 位置情報特定方法、位置情報特定装置、及び、位置情報特定プログラム | |
| CN113160299B (zh) | 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质 | |
| CN113192011A (zh) | 一种基于监控视频图像的交通事故车速测量方法 | |
| CN113643374A (zh) | 基于道路特征的多目相机标定方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wu Linhuang Inventor before: Chen Zhifeng Inventor before: Wu Linhuang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |