CN115100290A - 交通场景下的单目视觉定位方法及装置、设备、存储介质 - Google Patents

交通场景下的单目视觉定位方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN115100290A
CN115100290A CN202210695357.0A CN202210695357A CN115100290A CN 115100290 A CN115100290 A CN 115100290A CN 202210695357 A CN202210695357 A CN 202210695357A CN 115100290 A CN115100290 A CN 115100290A
Authority
CN
China
Prior art keywords
coordinate system
target
dimensional image
road plane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210695357.0A
Other languages
English (en)
Other versions
CN115100290B (zh
Inventor
吴雷
张海东
范林林
王钦
周海明
曹葵康
刘军传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tztek Precision Co ltd
Tztek Technology Co Ltd
Original Assignee
Suzhou Tztek Precision Co ltd
Tztek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tztek Precision Co ltd, Tztek Technology Co Ltd filed Critical Suzhou Tztek Precision Co ltd
Priority to CN202210695357.0A priority Critical patent/CN115100290B/zh
Publication of CN115100290A publication Critical patent/CN115100290A/zh
Application granted granted Critical
Publication of CN115100290B publication Critical patent/CN115100290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种交通场景下的基于图像检测框的单目视觉定位方法及装置、终端设备、存储介质，该方法包括获取路侧传感器采集的二维图像；基于二维图像中的特征点对传感器进行标定，并建立二维图像坐标系与道路平面坐标系之间的映射关系；将二维图像输入卷积神经网络，得到二维图像中目标的图像矩形框，以对目标进行跟踪；基于图像矩形框利用边缘分析模块对二维图像进行分析，以得到目标在道路平面坐标系上的位置；该定位方法克服了单目相机在深度估计上的不足，通过本发明的定位方法实现对道路上目标的精确检测与定位及道路场景下精确的环境感知，并且基于此将感知结果广播至道路上的周围车辆，实现车路协同。

Description

交通场景下的单目视觉定位方法及装置、设备、存储介质
技术领域
本发明涉及一种智慧交通领域，尤其涉及交通场景下的基于图像检测框的单目视觉定位方法及装置、终端设备、存储介质。
背景技术
随着智慧交通行业及车联网技术的快速发展，对路测感知系统的要求不断提高。路测感知系统基于相机、激光雷达、毫米波雷达等智能设备的观测数据，通过边缘计算模块的分析，获得实时交通信息，并将这些信息传达至周围的车辆，从而实现车路协同。而如何提高路测感知系统的目标感知准确性与目标定位精度成为行业的重大挑战。
发明内容
有鉴于此，本发明提供交通场景下的基于图像检测框的单目视觉定位方法及装置、终端设备、存储介质，该方法利用路侧旁的智能传感器获取二维图像信息，结合便于分析模块以精准定位道路上的目标。
为解决上述技术问题，本发明采用以下技术方案：
第一方面，根据本发明实施例的交通场景下的基于图像检测框的单目视觉定位方法，包括：
获取路侧传感器采集的二维图像；
基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系；
将所述二维图像输入卷积神经网络，得到所述二维图像中目标的图像矩形框，以对所述目标进行跟踪；
基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置。
优选地，所述基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系包括：
获取所述二维图像坐标系与道路平面坐标系中的相同特征点，并利用最小二乘法基于所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值得到所述二维图像坐标系与道路平面坐标系之间的映射关系。
优选地，获取所述道路平面坐标系中的特征点包括：
通过GPS获取道路平面坐标系中的所述特征点的坐标值。
优选地，在建立所述二维图像坐标系与道路平面坐标系之间的映射关系之后，包括：
利用图像反投影误差与道路平面反投影误差对所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值进行验证。
优选地，基于所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置包括：
获取所述目标从所述二维图像坐标系映射到所述道路平面坐标系上的线段AB；
建立传感器坐标系，所述传感器坐标系以相机朝向为X轴，所述线段AB垂直于所述传感器坐标系的X轴；以及
建立道路平面上的目标坐标系，所述目标坐标系以所述目标的运动方向为Y轴方向，所述目标的横向左右为X轴；
基于所述道路平面坐标系中的所述线段AB与所述目标坐标系中的所述目标的几何位置关系进行计算，以得到所述目标在所述传感器坐标系中的位置；
基于所述目标在所述传感器坐标系中的位置利用坐标系转换，以得到所述目标在道路平面坐标系上的位置。
优选地，基于所述目标在所述传感器坐标系中的位置利用坐标系转换，得到所述目标在道路平面坐标系上的位置，包括：
获取所述传感器坐标系的朝向角；以及
获取所述目标自身的参数以及所述目标的航向角；
基于所述目标自身的参数、所述目标的航向角、所述传感器坐标系的朝向角和所述目标在所述传感器坐标系中的位置坐标进行计算，以得到所述目标底边的四个顶点在所述传感器坐标系中的坐标；
基于所述传感器坐标系的朝向角，将所述传感器坐标系中的所述四个顶点的坐标转换至所述平面道路坐标系中；
基于所述目标的四个顶点坐标得出所述目标在所述道路平面坐标系中的位置。
优选地，基于所述目标的四个顶点坐标得出所述目标在所述道路平面坐标系中的位置，包括：
基于所述目标自身的参数与四个顶点坐标，得到所述目标的三维位置姿态。
第二方面，本发明实施例还提供一种交通场景下的基于图像检测框的单目视觉定位装置，包括：
获取模块，所述获取模块被配置用于获取路侧传感器采集的二维图像；
映射模块，所述映射模块被配置用于基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系；
追踪模块，所述追踪模块被配置用于将所述二维图像输入卷积神经网络，得到所述二维图像中目标的图像矩形框，以对所述目标进行跟踪；
分析模块，所述分析模块被配置用于基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置。
第三方面，本发明实施例还提供一种终端设备，所述终端设备包括：
处理器；
存储器；以及程序，其中，所述程序被存储在所述存储器中，并且被配置成由处理器执行，以使得所述终端设备实现根据交通场景下的基于图像检测框的单目视觉定位方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据交通场景下的基于图像检测框的单目视觉定位方法。
本发明的上述技术方案至少具有如下有益效果之一：
本发明公开的交通场景下的基于图像检测框的单目视觉定位方法及装置、终端设备、存储介质，该方法利用道路旁固定的传感器获取二维图像信息，并通过标定建立二维图像坐标与道路坐标之间的映射关系，在此约束下通过目标的图像矩形框精确的恢复出目标在道路平面坐标系中的准确位置，本发明中的定位方法克服了单目相机在深度估计上的不足，通过本发明的定位方法实现对道路上目标的精确检测与定位及道路场景下精确的环境感知，进一步对交通情景的监测，并且基于此将感知结果广播至道路上的周围车辆，实现车路协同。
附图说明
图1为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法的整体流程图；
图2为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法中一实施例的具体流程图；
图3为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法中的特征点图像反投影结果图；
图4为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法中的特征点道路平面反投影结果图；
图5为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法中的一具体实施例的流程图；
图6为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法中的道路平面坐标系、传感器坐标系和目标坐标系；
图7为应用本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法显示基于图像的交通目标检测与跟踪结果；
图8为应用本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法得到目标车辆在整个运动过程中的感知位置与真值位置；
图9为应用本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法得到的感知结果在目标运动方向上的横向误差；
图10为应用本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位方法得到的感知结果在目标运动方向上的纵向误差；
图11为本发明实施例提供的交通场景下的基于图像检测框的单目视觉定位装置的模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种交通场景下的基于图像检测框的单目视觉定位方法，该定位方法基于将传感器按照常规的安装方式安装于路侧的杆子上，以获取道路上目标的二维图像，并通过标定建立二维图像坐标与道路坐标之间的映射关系，将传感器获取的二维图像输入卷积神经网络进行检测，获取每个目标的图像矩形框，并对每个目标进行跟踪，基于图像矩形框利用边缘分析模块对二维图像进行分析，以得出目标在道路平面坐标中的准确位置；该定位方法实现对道路上目标的准确定位，进一步实现车路协同。
下面首先结合附图具体描述根据本发明实施例的一种交通场景下的基于图像检测框的单目视觉定位方法。
具体的，如图1所示，本发明实施例提供的一种交通场景下的基于图像检测框的单目视觉定位方法，包括如下步骤：
S1、获取路侧传感器采集的二维图像。传感器优选为相机，当然并不仅限于此，将相机按常规的安装方式安装于道路侧的杆子上，并用于获取道路上的车辆进行图像获取。
S2、基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系。
通过单应性矩阵实现道路平面坐标系与二维图像坐标系建立一一映射的关系。两个坐标系之间的关系通过下面的公式进行表示，通过若干二维图像坐标与道路平面坐标系的点对，可以通过非线性优化求解出变换矩阵，也即完成相机与地面之间的标定。公式如下：
Figure BDA0003702284520000061
其中，
Figure BDA0003702284520000062
为变换矩阵，(u,v)为图像点坐标，(Xw,Yw)为局部点坐标。
S3、将所述二维图像输入卷积神经网络，得到所述二维图像中目标的图像矩形框，以对所述目标进行跟踪。
也就是说，基于深度学习，通过卷积神经网络对二维图像中的前景物体进行类别的分类与目标矩形框的回归，深度学习目标检测跟踪的方法在现有技术中已发展较为成熟。
S4、基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置。
本发明实施例基于传感器即相机的位置相对固定，通过标定建立二维图像坐标系与道路平面坐标系之间的映射关系，再基于图像矩形框精确的得出目标在道路上的精准位置。
在一实施例中，在步骤S2中还包括：
获取所述二维图像坐标系与道路平面坐标系中的相同特征点，并利用最小二乘法基于所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值得到所述二维图像坐标系与道路平面坐标系之间的映射关系。
在对相机传感器进行标定后，建立二维图像坐标系与道路平面坐标系之间的变换关系，相机标定时借助与场景中的特征点，基于最小二乘的方法根据特征点在两个坐标系中的观测值求解两个坐标系之间的变换矩阵。
进一步的，通过GPS获取道路平面坐标系中的所述特征点的坐标值。也就是，特征点在道路平面上的位置是通过GPS测量得到的。
如图2所示，在步骤S2之后还包括步骤：
S21、利用图像反投影误差与道路平面反投影误差对所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值进行验证。
如图3和图4所示，图3和图4分别位图像反投影与道路反投影的可视化结果，统计结果表面该标定方法的图像反投影误差在5个像素以内，道路平面反投影平均误差在1.5m以内。
在一实施例中，如图5所示，在步骤S4中还包括步骤：
S41、获取所述目标从所述二维图像坐标系映射到所述道路平面坐标系上的线段AB；
S42、建立传感器坐标系，所述传感器坐标系以相机朝向为X轴，所述线段AB垂直于所述传感器坐标系的X轴；以及
建立道路平面上的目标坐标系，所述目标坐标系以所述目标的运动方向为Y轴方向，所述目标的横向左右为X轴；
S43、基于所述道路平面坐标系中的所述线段AB与所述目标坐标系中的所述目标的几何位置关系进行计算，以得到所述目标在所述传感器坐标系中的位置；
S44、基于所述目标在所述传感器坐标系中的位置利用坐标系转换，得到所述目标在道路平面坐标系上的位置。
对于步骤S41至步骤S44即如何基于图像矩形框利用边缘分析模块进行分析的方法，具体如下：
如图6所示，建立坐标系X_wO_wY_w即道路平面坐标系，其原点为相机在地面上的投影点，X轴为当地东向，Y轴为北向；建立X_t0_tY_t坐标系即目标坐标系，其以目标中心为原点，目标运动方向为Y轴方向，目标横向左右为X轴方向，因此求解目标在道路上的位置便是求解目标中心在X_wO_wY_w坐标系下的坐标。
利用步骤S2中的变换矩阵可以将目标的2D检测框即图像矩形框转换到地面局部坐标系下。良好的图像检测框应该恰好将目标包围，本发明实施例提供的定位方法基于良好的图像检测框。因为局部坐标系X_wO_wY_w是建立在地面上的二维坐标系，因此只能将目标的下底边框从二维图像坐标系中映射到道路平面坐标系中。如图6所示，线段AB为目标的图像矩形框下底边框映射到地面上的结果。且应满足的约束包括：
首先，目标正好被图像矩形框包围，所以AB线段的端点位于目标底面四个顶点与原点的连线上，且是处于外侧的两条连线，在图中即为O_wV1和O_wV3。
其次，矩形框位于相机成像芯片中，且与成像芯片底边，相机安装时横滚角近似于零度，故成像芯片底边与地面平行，由投影关系可得AB平行于成像芯片底边，因为光轴垂直于成像芯片，所以光轴垂直于线段AB，以相机朝向为X轴，建立传感器坐标系即图中的X_cO_wY_c坐标系，则线段AB垂直于X_c轴。
由以上的线段AB满足的条件，继而可以得到如下关系：
Figure BDA0003702284520000081
Figure BDA0003702284520000082
其中，V1、V3是目标底边的两个顶点，且为与相机光心连线处于外侧的两个顶点。基于上述两个式子，可以求取目标中心O_t在X_cO_wY_c坐标系下的坐标。
进一步的，在步骤S44中还包括如下步骤：
获取所述传感器坐标系的朝向角；以及
获取所述目标自身的参数以及所述目标的航向角；
基于所述目标自身的参数、所述目标的航向角和所述传感器坐标系的朝向角，以得到所述目标底边的四个顶点在所述传感器坐标系中的坐标；
基于所述传感器坐标系的朝向角，将所述传感器坐标系中的所述四个顶点的坐标转换至所述平面道路坐标系中；
基于所述目标的四个顶点坐标得出所述目标在所述道路平面坐标系中的位置。
具体的，目标底边四个顶点在X_cOY_c坐标系下的坐标为：
Figure BDA0003702284520000091
其中，W、H是目标自身的长宽，其值可以根据车辆类型采用默认值，或者在检测网络中加入分支对目标尺寸进行回归，
Figure BDA0003702284520000092
是目标底边四个顶点在自身载体坐标系下的坐标，β是目标的航向角，可通过底边中心点帧间位置做差近似得到，α是相机的朝向角，可以通过标定得到，[Xv Yv 1]T是目标底边四个顶点在X_cOY_c坐标系下的坐标，(Xo_t,Yo_t)是载体中心在局部坐标系X_wOY_w下的坐标，上式先将目标载体坐标系下的四个顶点坐标转换到X_wOY_w坐标系中，再将其转换到X_cOY_c坐标系中。
同样，可以将图像检测框底边顶点转换到X_cOY_c坐标中，如下式：
Figure BDA0003702284520000093
其中，目标检测框的底边顶点A在图像中的坐标为[uA uB 1]T，转换到X_cOY_c坐标系下为[XA YA 1]T，也即，先根据标定结果将目标检测框的底边顶点A转换到地面坐标系上，然后再根据地面坐标系X_wOY_w与坐标系X_cOY_c之间的夹角，再将其转换到X_cOY_c中,同理可得顶点B在X_cOY_c坐标系下的坐标[XB YB 1]T。
于是，上面AB线段满足的条件可以表达为如下形式：
Figure BDA0003702284520000101
Figure BDA0003702284520000102
其中，B1＝cos(α)Xo_t-sin(α)Yo_t，B2＝sin(α)Xo_t+cos(α)Yo_t，Max(a,b,c,…)为
Figure BDA0003702284520000103
取a，b，c，…中的最大值，Yv'1,Yv'2,Yv'3,Yv'4分别是
Figure BDA0003702284520000104
X'max_y+B1是目标底部四个顶点在X_cOY_c中的y值最大的点所对应的x值坐标，X′min_y+B1是目标底部四个顶点在X_cOY_c中的y值最小的点所对应的x值坐标。
从而可以将B1、B2求解出来，进而可以求解出目标中心点(Xo_t,Yo_t)，如下式子所示：
Xo_t＝cos(α)B1+sin(α)B2
Yo_t＝cos(α)B2-sin(α)B1
结合通过预设或者回归出的目标的尺寸信息，可以估计出目标包围盒的八个顶点位置，也即实现对目标的三维位置姿态估计。
本发明实施例提供基于交通场景下的基于图像检测框的单目视觉定位方法的实际应用示例，并对其进行验证。具体的，如图7所示，图7中显示基于图像的交通目标检测与跟踪结果，在其中i d为0的车辆上装载了惯导-RTK设备以获得车辆实时的高精度位置，以此作为真值，将本发明实施例提供的定位方法的感知结果与真值进行比较。
图8为目标车辆整个运动过程中真值位置与感知位置的对比，图8中的真值轨迹与感知轨迹基本重合。图9和图10是运动过程中感知结果在目标运动方向上的横向误差与纵向误差，可以看到在距离相机传感器0-200m的范围内，本发明实施例提供的定位方法的位置感知平均误差为0.42m，横向均方根误差为0.23m，纵向均方根误差为0.88m，由此可得本发明实施例提供的定位方法定位精度高。
本发明实施例还提供一种交通场景下的基于图像检测框的单目视觉定位装置，如图11所示，包括获取模块、映射模块、追踪模块和分析模组，其中，
获取模块被配置用于获取路侧传感器采集的二维图像；
映射模块被配置用于基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系；
追踪模块被配置用于将所述二维图像输入卷积神经网络，得到所述二维图像中目标的图像矩形框，以对所述目标进行跟踪；
分析模块被配置用于基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置。
在一实施例中，映射模块包括二乘法单元，二乘法单元用于获取所述二维图像坐标系与道路平面坐标系中的相同特征点，并利用最小二乘法基于所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值得到所述二维图像坐标系与道路平面坐标系之间的映射关系。
在一实施例中，所述映射模块还包括验证单元，验证单元用于利用图像反投影误差与道路平面反投影误差对所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值进行验证。
在一实施例中，分析模块包括获取单元、建立坐标系单元、计算单元和转换单元，获取单元用于获取所述目标从所述二维图像坐标系映射到所述道路平面坐标系上的线段AB。
建立坐标系单元用于建立传感器坐标系，所述传感器坐标系以相机朝向为X轴，所述线段AB垂直于所述传感器坐标系的X轴；以及建立道路平面上的目标坐标系，所述目标坐标系以所述目标的运动方向为Y轴方向，所述目标的横向左右为X轴。
计算单元用于基于所述道路平面坐标系中的所述线段AB与所述目标坐标系中的所述目标的几何位置关系进行计算，以得到所述目标在所述传感器坐标系中的位置。
转换单元用于基于所述目标在所述传感器坐标系中的位置利用坐标系转换，以得到所述目标在道路平面坐标系上的位置。
进一步的，转换单元包括获取子单元、计算子单元和转换子单元；其中，
获取子单元用于获取所述传感器坐标系的朝向角；以及获取所述目标自身的参数以及所述目标的航向角；
计算子单元用于基于所述目标自身的参数、所述目标的航向角、所述传感器坐标系的朝向角和所述目标在所述传感器坐标系中的位置坐标进行计算，以得到所述目标底边的四个顶点在所述传感器坐标系中的坐标；
转换子单元用于基于所述传感器坐标系的朝向角，将所述传感器坐标系中的所述四个顶点的坐标转换至所述平面道路坐标系中；并基于所述目标的四个顶点坐标得出所述目标在所述道路平面坐标系中的位置。
本发明实施例还提供一种终端设备，终端设备包括：处理器；存储器；以及程序，其中，程序被存储在存储器中，并且被配置成由处理器执行，以使得终端设备实现一种交通场景下的基于图像检测框的单目视觉定位方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序：计算机程序被处理器执行实现交通场景下的基于图像检测框的单目视觉定位方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，包括：
获取路侧传感器采集的二维图像；
基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系；
将所述二维图像输入卷积神经网络，得到所述二维图像中目标的图像矩形框，以对所述目标进行跟踪；
基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置。
2.如权利要求1所述的交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，所述基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系包括：
获取所述二维图像坐标系与道路平面坐标系中的相同特征点，并利用最小二乘法基于所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值得到所述二维图像坐标系与道路平面坐标系之间的映射关系。
3.如权利要求2所述的交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，获取所述道路平面坐标系中的特征点包括：
通过GPS获取道路平面坐标系中的所述特征点的坐标值。
4.如权利要求1所述的交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，在建立所述二维图像坐标系与道路平面坐标系之间的映射关系之后，包括：
利用图像反投影误差与道路平面反投影误差对所述特征点在所述二维图像坐标系与道路平面坐标系中的坐标值进行验证。
5.如权利要求1所述的交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置包括：
获取所述目标从所述二维图像坐标系映射到所述道路平面坐标系上的线段AB；
建立传感器坐标系，所述传感器坐标系以相机朝向为X轴，所述线段AB垂直于所述传感器坐标系的X轴；以及
建立道路平面上的目标坐标系，所述目标坐标系以所述目标的运动方向为Y轴方向，所述目标的横向左右为X轴；
基于所述道路平面坐标系中的所述线段AB与所述目标坐标系中的所述目标的几何位置关系进行计算，以得到所述目标在所述传感器坐标系中的位置；
基于所述目标在所述传感器坐标系中的位置利用坐标系转换，以得到所述目标在道路平面坐标系上的位置。
6.如权利要求5所述的交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，基于所述目标在所述传感器坐标系中的位置利用坐标系转换，得到所述目标在道路平面坐标系上的位置，包括：
获取所述传感器坐标系的朝向角；以及
获取所述目标自身的参数以及所述目标的航向角；
基于所述目标自身的参数、所述目标的航向角、所述传感器坐标系的朝向角和所述目标在所述传感器坐标系中的位置坐标进行计算，以得到所述目标底边的四个顶点在所述传感器坐标系中的坐标；
基于所述传感器坐标系的朝向角，将所述传感器坐标系中的所述四个顶点的坐标转换至所述平面道路坐标系中；
基于所述目标的四个顶点坐标得出所述目标在所述道路平面坐标系中的位置。
7.如权利要求6所述的交通场景下的基于图像检测框的单目视觉定位方法，其特征在于，基于所述目标的四个顶点坐标得出所述目标在所述道路平面坐标系中的位置，包括：
基于所述目标自身的参数与四个顶点坐标，得到所述目标的三维位置姿态。
8.一种交通场景下的基于图像检测框的单目视觉定位装置，其特征在于，包括：
获取模块，所述获取模块被配置用于获取路侧传感器采集的二维图像；
映射模块，所述映射模块被配置用于基于所述二维图像中的特征点对所述传感器进行标定，并建立所述二维图像坐标系与道路平面坐标系之间的映射关系；
追踪模块，所述追踪模块被配置用于将所述二维图像输入卷积神经网络，得到所述二维图像中目标的图像矩形框，以对所述目标进行跟踪；
分析模块，所述分析模块被配置用于基于所述二维图像坐标系与道路平面坐标系之间的映射关系及所述图像矩形框利用边缘分析模块对所述二维图像进行分析，以得到目标在道路平面坐标系上的位置。
9.一种终端设备，其特征在于，所述终端设备包括：
处理器；
存储器；以及程序，其中，所述程序被存储在所述存储器中，并且被配置成由处理器执行，以使得所述终端设备实现根据权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现根据权利要求1-7任一项所述的方法。
CN202210695357.0A 2022-06-20 2022-06-20 交通场景下的单目视觉定位方法及装置、设备、存储介质 Active CN115100290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210695357.0A CN115100290B (zh) 2022-06-20 2022-06-20 交通场景下的单目视觉定位方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210695357.0A CN115100290B (zh) 2022-06-20 2022-06-20 交通场景下的单目视觉定位方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN115100290A true CN115100290A (zh) 2022-09-23
CN115100290B CN115100290B (zh) 2023-03-21

Family

ID=83290596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210695357.0A Active CN115100290B (zh) 2022-06-20 2022-06-20 交通场景下的单目视觉定位方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN115100290B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564836A (zh) * 2022-11-10 2023-01-03 凌度(广东)智能科技发展有限公司 幕墙机器人的单目坐标转换方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109764858A (zh) * 2018-12-24 2019-05-17 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN111476798A (zh) * 2020-03-20 2020-07-31 长安大学 一种基于轮廓约束的车辆空间形态识别方法及系统
CN112037159A (zh) * 2020-07-29 2020-12-04 长安大学 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN112132874A (zh) * 2020-09-23 2020-12-25 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN113223096A (zh) * 2021-06-09 2021-08-06 司法鉴定科学研究院 基于场景图像的轻微交通事故快速勘查方法和系统
CN113269829A (zh) * 2021-06-18 2021-08-17 华南农业大学 流水生产线目标定位方法、装置、计算机设备和存储介质
CN113989450A (zh) * 2021-10-27 2022-01-28 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN114170499A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN115077378A (zh) * 2022-06-07 2022-09-20 上海中车瑞伯德智能系统股份有限公司 一种应用于大型工件测量的线扫激光的手眼标定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109764858A (zh) * 2018-12-24 2019-05-17 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN111476798A (zh) * 2020-03-20 2020-07-31 长安大学 一种基于轮廓约束的车辆空间形态识别方法及系统
CN112037159A (zh) * 2020-07-29 2020-12-04 长安大学 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN114170499A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN112132874A (zh) * 2020-09-23 2020-12-25 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN113223096A (zh) * 2021-06-09 2021-08-06 司法鉴定科学研究院 基于场景图像的轻微交通事故快速勘查方法和系统
CN113269829A (zh) * 2021-06-18 2021-08-17 华南农业大学 流水生产线目标定位方法、装置、计算机设备和存储介质
CN113989450A (zh) * 2021-10-27 2022-01-28 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN115077378A (zh) * 2022-06-07 2022-09-20 上海中车瑞伯德智能系统股份有限公司 一种应用于大型工件测量的线扫激光的手眼标定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564836A (zh) * 2022-11-10 2023-01-03 凌度(广东)智能科技发展有限公司 幕墙机器人的单目坐标转换方法、装置及电子设备

Also Published As

Publication number Publication date
CN115100290B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110378965B (zh) 确定路侧成像设备坐标系转换参数的方法、装置、设备
CA3028653C (en) Methods and systems for color point cloud generation
US10860871B2 (en) Integrated sensor calibration in natural scenes
US10909395B2 (en) Object detection apparatus
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
US20130300870A1 (en) Method for monitoring a traffic stream and a traffic monitoring device
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN114755662A (zh) 一种路车融合感知的激光雷达和gps的标定方法和装置
CN115100290B (zh) 交通场景下的单目视觉定位方法及装置、设备、存储介质
CN115079143B (zh) 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN111145262B (zh) 一种基于车载的单目标定方法
CN111145260B (zh) 一种基于车载的双目标定方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN116704458A (zh) 一种自动驾驶商用车横向定位方法
CN112255604B (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN112446915A (zh) 一种基于图像组的建图方法及装置
WO2022133986A1 (en) Accuracy estimation method and system
CN110033493B (zh) 摄像机3d标定方法及终端
JP2021111302A (ja) カメラモジュールに基づいて自動的に地面を推定する方法
AU2018102199A4 (en) Methods and systems for color point cloud generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant