CN113034586B - 道路倾角检测方法和检测系统 - Google Patents

道路倾角检测方法和检测系统 Download PDF

Info

Publication number
CN113034586B
CN113034586B CN202110461939.8A CN202110461939A CN113034586B CN 113034586 B CN113034586 B CN 113034586B CN 202110461939 A CN202110461939 A CN 202110461939A CN 113034586 B CN113034586 B CN 113034586B
Authority
CN
China
Prior art keywords
target
road
radar
points
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110461939.8A
Other languages
English (en)
Other versions
CN113034586A (zh
Inventor
温向明
邓家寅
路兆铭
王鲁晗
陆平
欧阳新志
张慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Beijing University of Posts and Telecommunications
Original Assignee
ZTE Corp
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp, Beijing University of Posts and Telecommunications filed Critical ZTE Corp
Priority to CN202110461939.8A priority Critical patent/CN113034586B/zh
Publication of CN113034586A publication Critical patent/CN113034586A/zh
Application granted granted Critical
Publication of CN113034586B publication Critical patent/CN113034586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及智能驾驶技术领域，公开了一种道路倾角检测方法和检测系统，所述道路倾角检测方法，包括：根据摄像头采集到的目标道路的视觉数据在目标道路的图像信息上确定至少三个目标点；将毫米波雷达采集到的目标道路的雷达数据与视觉数据进行时空对齐，获取目标道路的对齐雷达数据；根据目标道路的对齐雷达数据分别获取至少三个目标点的对应的实体点的空间位置坐标；根据分别与至少三个目标点对应的实体点的空间位置坐标获取目标道路的道路倾角。本发明实现了一种通过道路侧设备检测道路倾角的方案，避免了需要通过设置有专用的坡度角测量装置的车辆才能获取到道路倾角的问题，提高了道路倾角检测的便捷性和实用性。

Description

道路倾角检测方法和检测系统
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种道路倾角检测方法和检 测系统。
背景技术
随着人工智能、传感器技术的快速发展和新型智慧城市建设的推进， 智慧交通具有良好的发展前景和广阔的市场空间，受到了广泛的关注。
相关技术中，智慧交通系统需要对道路倾角进行测量，以便于更好地 构建三维道路地图。具体的，该智慧交通系统可以借助道路上行驶的车辆 上设置的专用设备在行驶过程中对道路坡度进行测量，但是该方法需要车 辆设置专用的设备坡度角测量装置，例如陀螺仪，增加了车辆的硬件成本； 同时，上述方法也导致智慧交通系统无法对初次使用的道路，即之前没有 车辆行驶的道路进行倾角估测，进而导致智慧交通系统的道路预测性能较低，用户体验不佳。
发明内容
为了解决相关技术中存在的问题，本公开实施例提供一种道路倾角检 测方法和检测系统。
第一方面，本公开实施例中提供了一种道路倾角检测方法。
具体地，所述道路倾角检测方法，包括：
根据摄像头采集到的目标道路的视觉数据在所述目标道路的图像信 息上确定至少三个目标点，一个目标点对应一个目标物体，且所述目标点 为所述图像信息上与其对应的目标物体与所述目标道路接触区域的点；
将毫米波雷达采集到的所述目标道路的雷达数据与所述视觉数据进 行时空对齐，获取所述目标道路的对齐雷达数据，所述对齐雷达数据包括 所述视觉数据涉及的多个物体在采集所述视觉数据时的空间位置坐标；
根据所述目标道路的对齐雷达数据分别获取所述至少三个目标点的 空间位置信息，所述空间位置信息包括与目标点对应的实体点的空间位置 坐标；
根据分别与所述至少三个目标点对应的实体点的空间位置坐标获取 所述目标道路的道路倾角。
可选的，所述根据所述目标道路的对齐雷达数据分别获取所述至少三 个目标点的空间位置信息，所述空间位置信息包括与目标点对应的实体点 的空间位置坐标包括：
根据所述目标道路的对齐雷达数据，在所述目标道路的图像信息上确 定分别与所述至少三个目标点对应的至少三个参照点，并获取所述至少三 个参照点在所述摄像头的图像坐标系中的二维坐标，以及所述至少三个参 照点对应的实体点在与所述图像坐标系对应的空间坐标系中的三维坐标；
根据所述至少三个参照点在所述摄像头的图像坐标系中的二维坐标 确定所述至少三个目标点在所述图像坐标系中的二维坐标；
根据所述至少三个参照点对应的实体点在所述空间坐标系中的三维 坐标确定所述至少三个目标点对应的实体点在所述空间坐标系中的第三 维坐标值；
根据所述至少三个目标点在所述图像坐标系中的二维坐标和对应的 实体点在所述空间坐标系中的第三维坐标值，确定所述至少三个目标点对 应的实体点在所述空间坐标系中的三维坐标。
可选的，所述根据所述目标道路的对齐雷达数据，在所述目标道路的 图像信息上确定分别与所述至少三个目标点对应的至少三个参照点包括：
根据所述目标道路的视觉数据通过深度神经网络在所述目标道路的 图像信息上确定所述视觉数据涉及的多个物体的视觉识别框；
根据所述目标道路的对齐雷达数据在所述目标道路的图像信息上确 定所述视觉数据涉及的多个物体的雷达识别框；
获取所述多个物体的视觉识别框与所述多个物体的雷达识别框在所 述图像信息上的重合区域；
将重合区域大于或等于预设阈值的视觉识别框与雷达识别框确定为 标识同一物体的识别框组；
若根据所述多个物体的视觉识别框与所述多个物体的雷达识别框获 取到至少三个标识同一物体的识别框组，获取其中至少三个识别框组作为 目标识别框组；
从所述目标识别框组包括的视觉识别框标识的目标物体与目标道路 的接触区域中选取对应于所述目标物体的目标点；
根据所述目标识别框组包括的雷达识别框对应的对齐雷达数据获取 与所述目标点对应的参照点。
可选的，所述获取所述多个物体的视觉识别框与所述多个物体的雷达 识别框在所述图像信息上的重合区域包括：
采用以下公式计算任意一个视觉识别框与任意一个雷达识别框的重 合区域：
Figure BDA0003042684900000031
其中，ROIG代表视觉识别框的覆盖区域，ROIT代表雷达识别框的覆盖 区域。
可选的，所述将毫米波雷达采集到的所述目标道路的雷达数据与所述 视觉数据进行时空对齐，获取所述目标道路的对齐雷达数据包括：
根据所述毫米波雷达的空间坐标系和所述摄像头的空间坐标系，将所 述雷达数据投影至所述摄像头的空间坐标系，获取与所述视觉数据在空间 上对齐的雷达数据；
根据所述雷达数据的采集时间和所述视觉数据的采集时间，将与所述 视觉数据在空间上对齐的雷达数据外推至所述视觉数据的采集时间，获取 与所述视觉数据在时间和空间上均对齐的所述对齐雷达数据。
可选的，所述根据分别与所述至少三个目标点对应的至少三个实体点 的空间位置坐标获取所述目标道路的道路倾角包括：
根据所述至少三个目标点对应的实体点在所述空间坐标系中的三维 坐标，拟合所述目标道路所在的平面；
根据所述目标道路所在的平面的法向量确定所述目标道路的道路倾 角。
可选的，所述根据所述至少三个目标点对应的实体点在所述空间坐标 系中的三维坐标，拟合所述目标道路所在的平面包括：
采用最小二乘法和所述至少三个目标点对应的实体点在所述空间坐 标系中的三维坐标，拟合所述目标道路所在的平面。
第二方面，本公开实施例中提供了一种道路倾角检测系统。
具体地，所述道路倾角检测系统，包括摄像头、毫米波雷达和处理器；
所述摄像头用于采集目标道路的视觉数据；
所述毫米波雷达用于采集所述目标道路的雷达数据；
所述处理器用于采用所述摄像头采集到的所述目标道路的视觉数据 和所述毫米波雷达采集到的所述目标道路的雷达数据执行第一方面任一 实施例所述的道路倾角检测方法。
本公开实施例提供的技术方案可以包括以下有益效果：
根据本公开实施例提供的技术方案，由于现有的交通网络中广泛设置 有摄像头和毫米波雷达，因此通过目标道路附近设置的现有的摄像头和毫 米波雷达分别采集该目标道路的视觉数据和雷达数据，并根据该视觉数据 和雷达数据的在时间和空间的对应关系获取至少三个位于目标道路的实 体点的空间位置坐标，进而根据该至少三个位于目标道路的实体点的空间 位置坐标确定目标道路的道路倾角，实现了一种通过道路侧设备检测道路 倾角的方案，避免了需要通过设置有专用的坡度角测量装置的车辆才能获 取到道路倾角的问题，提高了道路倾角检测的便捷性和实用性。
附图说明
图1示出根据本公开一实施例的道路倾角检测方法的流程图；
图2示出根据本公开一实施例的视觉数据与雷达数据进行空间对齐的 示意图；
图3示出根据本公开一实施例的视觉数据与雷达数据进行时间对齐的 示意图；
图4示出根据本公开一实施例的道路倾角检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本 说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在， 并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其 组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施 例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公 开。
图1示出根据本公开一实施例的道路倾角检测方法的流程图，应用于 道路倾角检测装置，该道路倾角检测装置可以与道路上设置的摄像头和毫 米波雷达连接。
如图1所示，所述道路倾角检测方法包括以下步骤101至步骤104：
在步骤101中，根据摄像头采集到的目标道路的视觉数据在该目标道 路的图像信息上确定至少三个目标点，一个目标点对应一个目标物体，且 该目标点为该图像信息上与其对应的目标物体与该目标道路接触区域的 点。
在步骤102中，将毫米波雷达采集到的该目标道路的雷达数据与该视 觉数据进行时空对齐，获取该目标道路的对齐雷达数据，该对齐雷达数据 包括该视觉数据涉及的多个物体在采集该视觉数据时的空间位置坐标。
在步骤103中，根据该目标道路的对齐雷达数据分别获取该至少三个 目标点的空间位置信息，该空间位置信息包括与目标点对应的实体点的空 间位置坐标。
在步骤104中，根据分别与该至少三个目标点对应的实体点的空间位 置坐标获取该目标道路的道路倾角。
示例的，为了对道路的拥堵情况或者车辆的违章情况进行监控，现有 的道路系统广泛分布有摄像头和毫米波雷达，因此本公开的方案可以采用 上述当前道路系统已经设置的摄像头和毫米波雷达实现对道路倾角的测 量，实现了通过道路侧设备检测道路倾角的方案，避免了需要通过设置有 专用的坡度角测量装置的车辆才能获取到道路倾角的问题，提高了道路倾 角检测的便捷性和实用性。
本公开实施例以目标道路上设置的摄像头和毫米波雷达为例进行说 明，该目标道路上设置的摄像头可以按照第一预设周期采集该目标道路的 视觉数据，毫米波雷达可以按照第二预设周期采集该目标道路的雷达数据。
在获取到目标道路的视觉数据和雷达数据之后，可以首先识别出该视 觉数据涉及的多个物体，然后从该多个物体中获取与目标道路存在接触区 域的至少三个目标物体，并从该至少三个目标物体中每个目标物体与目标 道路的接触区域中确定一个目标点。
然后，将目标道路的雷达数据和视觉数据进行空间对齐，空间对齐的 目的是将毫米波雷达和摄像头检测到的物体投影到相同坐标系下，便于对 目标进行融合。具体的，可以分别确定毫米波雷达的空间坐标系和摄像头 的空间坐标系，然后根据上述两个空间坐标系的偏差，将雷达数据换算至 摄像头的空间坐标系，即对齐后该雷达数据涉及的坐标均采用摄像头的空 间坐标系表示。或者也可以根据上述两个空间坐标系的偏差，建立第三空间坐标系，并将雷达数据换算至该第三空间坐标系，即对齐后雷达数据涉 及的坐标采用第三空间坐标系表示。需要说明的是，本公开实施例以将雷 达数据换算至摄像头的空间坐标系为例进行说明，但并不以此为限。
例如，如图2所示，(u,v)为摄像头10a的图像坐标系，(x,y)为 摄像头10a的平面坐标系，Oc-XcYcZc为摄像头10a的空间坐标系， Or-XrYrZr为毫米波雷达10b的空间坐标系，O-XYZ为系统的世界坐标 系。由毫米波雷达10b的空间坐标系Or-XrYrZr与世界坐标系O-XYZ的关系，以及摄像头10a的空间坐标系Oc-XcYcZc与世界坐标系O-XYZ的 关系，可以得到Or-XrYrZr与Oc-XcYcZc的变换关系，根据该Or-XrYrZr与Oc-XcYcZc的变换关系即可将毫米波雷达10b在坐标系Or-XrYrZr下 采集的雷达数据换算至摄像头的空间坐标系Oc-XcYcZc。同时，标定摄像 头10a的内参，用符号dx和dy表示摄像头10a的感光芯片上对应一个像素 的实际感光点的物理尺寸，u0和v0表示图像中心相对左上角图像坐标系的 原点偏移的像素个数，f为摄像头10a的焦距。通过上述参数即可生成摄 像头10a的内参矩阵，通过该内参矩阵即可得到摄像头10a的空间坐标系 Oc-XcYcZc与图像坐标系(u,v)的变换关系。根据该摄像头10a的空间 坐标系Oc-XcYcZc与图像坐标系(u,v)的变换关系，以及毫米波雷达10b 的空间坐标系Or-XrYrZr与摄像头10a的空间坐标系Oc-XcYcZc之间的 的变换关系即可进行后续的目标点对应的实体点的三维坐标计算。
接着根据该目标道路的雷达数据的采集时间和视觉数据的采集时间 将已空间对齐的雷达数据和视觉数据进行时间对齐，即获取该视觉数据涉 及的多个物体在其采集时间的已空间对齐的雷达数据，即获取到对齐雷达 数据。
例如，如图3所示，摄像头和毫米波雷达分别按照第一预设周期T和 第二预设周期Tr采集并分析目标道路的数据，由于该第一预设周期T和第 二预设周期Tr可能不同，为了便于对两者采集到的数据进行关联，可以对 毫米波雷达采集到的雷达数据进行外推，达到时间对齐的目的。具体的， T(n-2)至T(n+1)为摄像头连续四帧数据的时间戳，Tr(n-2)和 Tr(n-1)为毫米波雷达连续两帧数据的时间戳，Tf(n)为毫米波雷达预测 的下一帧的数据时间戳，此三帧数据的时间差Δt相同。可以利用毫米波雷 达采集到的多个物体在Tr(n-1)和Tf(n)的位置及速度参数进行线形插值 运算，估算该多个物体在Te(n)的参数，该多个物体在Te(n)的参数即为视 觉数据涉及的多个物体在其采集时间T(n)的雷达数据。若采用已空间对齐 的雷达数据进行上述插值运算，可以得到视觉数据涉及的多个物体在其采 集时间T(n)的已空间对齐的雷达数据，即可获取到上述对齐雷达数据。
实际应用中，也可以首先根据该目标道路的雷达数据的采集时间和视 觉数据的采集时间，将雷达数据与视觉数据进行时间对齐，获取与该视觉 数据已时间对齐的雷达数据，然后根据毫米波雷达的空间坐标系和摄像头 的空间坐标系的变换关系，将已时间对齐的雷达数据与视觉数据进行空间 对齐，最终获取对齐雷达数据，本公开实施例对时空对齐的顺序不进行限 定。
获取到该对齐雷达数据之后，即可根据该对齐雷达数据获取至少三个 目标点的空间位置信息，该空间位置信息包括与目标点对应的实体点的空 间位置坐标。示例的，参考图2所示，可以首先根据视觉数据获取该至少 三个目标点在目标道路的图像信息上的二维坐标，即获取该至少三个目标 点在摄像头10a的图像坐标系(u,v)下的二维坐标。然后根据该对齐雷 达数据获取至少三个目标点对应的实体点在摄像头的空间坐标系的第三 维坐标值，该第三维坐标值为空间位置坐标中与图像信息上的二维坐标不 存在对应关系的坐标值，即获取至少三个目标点对应的实体点在 Oc-XcYcZc下的与(u,v)不存在对应关系的第三维的坐标值，如图2中 的Zc方向的坐标值。接着，根据该至少三个目标点在目标道路的图像信息 上的二维坐标和其对应的实体点在空间坐标系的第三维坐标值，推算该至 少三个目标点在空间坐标系对应的实体点的空间位置坐标，即获取至少三 个目标点对应的实体点在Oc-XcYcZc下的三维坐标，最后即可根据该至少 三个目标点对应的实体点的空间位置坐标，即至少三个目标点对应的实体 点在Oc-XcYcZc下的三维坐标获取该目标道路的道路倾角。
以第一目标点为例进行说明，根据视觉数据获取到该第一目标点在摄 像头10a的图像坐标系(u,v)下的二维坐标为(uc,vc)，根据对齐雷达 数据获取该第一目标点对应的实体点在Oc-XcYcZc下的第三维坐标值为 zc，然后根据如下公式(1)即可获取该第一目标点对应的实体点在 Oc-XcYcZc下的三维坐标：
Figure BDA0003042684900000081
由上述公式可知，该第一目标点对应的实体点在Oc-XcYcZc下的第一 维坐标值
Figure BDA0003042684900000082
该第一目标点对应的实体点在Oc-XcYcZc下的 第二维坐标值
Figure BDA0003042684900000083
据此即可获取到第一目标点对应的实体点 在Oc-XcYcZc下的三维坐标(xc,yc,zc)。以此类推，可以分别获取到至 少三个目标点对应的实体点在Oc-XcYcZc下的三维坐标。
可选的，可以根据该至少三个目标点对应的实体点在该空间坐标系中 的三维坐标，拟合该目标道路所在的平面；根据该目标道路所在的平面的 法向量确定该目标道路的道路倾角。具体的，可以采用最小二乘法和该至 少三个目标点对应的实体点在该空间坐标系中的三维坐标，拟合该目标道 路所在的平面。
示例的，根据上述方法可以获取到三个目标点对应的实体点在 Oc-XcYcZc下的三维坐标分别为(xc1,yc1,zc1)，(xc2,yc2,zc2)和 (xc3,yc3,zc3)，然后根据该三个三维坐标(xc1,yc1,zc1)， (xc2,yc2,zc2)和(xc3,yc3,zc3)采用最小二乘法拟合该目标道路所在平 面的平面方程，并根据该平面方程获取该目标道路所在平面的法向量，该 法向量与重力方向的夹角即为目标道路的倾角。
假设此平面方程为：yc＝a1xc+a2zc+a3
则平面拟合时的优化问题可以表示为：
Figure BDA0003042684900000091
求解此优化问题即可获得使用当前三个目标点对应的实体点的最优 道路倾角估计，平面的法向量为(a1,a2,1)T。
在一个实施例中，如图4所示，该步骤103，即根据该目标道路的对 齐雷达数据分别获取该至少三个目标点的空间位置信息的步骤，可以通过 步骤1031至步骤1034实现：
在步骤1031中，根据该目标道路的对齐雷达数据，在该目标道路的 图像信息上确定分别与该至少三个目标点对应的至少三个参照点，并获取 该至少三个参照点在该摄像头的图像坐标系中的二维坐标，以及该至少三 个参照点对应的实体点在与该图像坐标系对应的空间坐标系中的三维坐 标。
在步骤1032中，根据该至少三个参照点在该摄像头的图像坐标系中 的二维坐标确定该至少三个目标点在该图像坐标系中的二维坐标。
在步骤1033中，根据该至少三个参照点对应的实体点在该空间坐标 系中的三维坐标确定该至少三个目标点对应的实体点在该空间坐标系中 的第三维坐标值。
在步骤1034中，根据该至少三个目标点在该图像坐标系中的二维坐 标和对应的实体点在该空间坐标系中的第三维坐标值，确定该至少三个目 标点对应的实体点在该空间坐标系中的三维坐标。
初始化时，可以根据已标识有物体视觉识别框的多张图像训练得到深 度神经网络，通过该深度神经网络可以识别视觉数据包括的多个物体，并 在该视觉数据对应的图像信息上标识该视觉数据涉及的多个物体的视觉 识别框，该视觉识别框为物体在图像信息上对应的最小矩形。
示例的，在获取到该目标道路的视觉数据之后，可以通过该深度神经 网络识别该目标道路的视觉数据涉及的多个物体，并在该目标道路的图像 信息上确定该多个物体的视觉识别框，并将该视觉数据以及在该目标道路 的图像信息上确定的多个物体的视觉识别框存储至视觉缓存中。在获取到 毫米波雷达采集的雷达数据之后，将该雷达数据存储至雷达缓存中。若确 定该视觉缓存与雷达缓存均非空，则对该雷达数据和视觉数据进行时空对 齐，即获取该视觉数据的对齐雷达数据。
然后根据该目标道路的对齐雷达数据在该目标道路的图像信息上确 定多个物体的雷达识别框。具体的，根据该目标道路的对齐雷达数据获取 该多个物体中每个物体的多个雷达识别点，根据摄像头的空间坐标系与图 像坐标系的变换关系，可以将该每个物体的多个雷达识别点投影至该摄像 头的图像坐标系，进而根据该多个雷达识别点在图像坐标系的坐标确定每 个物体的雷达识别框，该雷达识别框可以为图像信息上包括该多个雷达识 别点的最小矩形。或者，也可以根据每个物体的多个雷达识别点获取每个 物体在摄像头的空间坐标系下的雷达识别立体框，然后根据摄像头的空间 坐标系与图像坐标系的变换关系，将每个物体的雷达识别立体框投影至该 图像坐标系，获取该每个物体在图像信息上的雷达识别框。或者，实际应 用中也可以根据该目标道路的已时间对齐雷达数据确定多个物体在毫米 波雷达的空间坐标系下的雷达识别立体框，然后根据毫米波雷达的空间坐标系与摄像头的空间坐标系变换关系下将该雷达识别立体框投影至摄像 头的空间坐标系下，接着根据摄像头的空间坐标系与图像坐标系的变换关 系，将投影至该摄像头的空间坐标系下的雷达识别立体框再次投影至该图 像坐标系，获取该每个物体在图像信息上的雷达识别框。
在获取到该多个物体在图像信息上的视觉识别框和雷达识别框之后， 可以获取该多个物体的视觉识别框与该多个物体的雷达识别框在该图像 信息上的重合区域，然后将重合区域大于或等于预设阈值的视觉识别框与 雷达识别框确定为标识同一物体的识别框组。
具体的，采用以下公式(2)计算任意一个视觉识别框与任意一个雷 达识别框的重合区域IOM：
Figure BDA0003042684900000111
其中，ROIG代表视觉识别框的覆盖区域，ROIT代表雷达识别框的覆 盖区域。
若根据该多个物体的视觉识别框与该多个物体的雷达识别框获取到 至少三个标识同一物体的识别框组，获取其中至少三个识别框组作为目标 识别框组。从该目标识别框组包括的视觉识别框标识的目标物体与目标道 路的接触区域中选取对应于该目标物体的目标点，然后根据该目标识别框 组包括的雷达识别框对应的对齐雷达数据获取与该目标点对应的参照点。 具体的，获取该目标识别框组包括的雷达识别框对应的多个雷达识别点， 将该多个离散的雷达识别点进行拟合，获取该多个雷达识别点的特征点， 并将该特征点确定为该目标识别框组包括的视觉识别框对应的目标点的 参照点。
根据该对齐雷达数据可以获取该至少三个参照点对应的实体点在摄 像头的空间坐标系下的三维坐标和该至少三个参照点在图像坐标系下的 二维坐标，根据图像坐标系下该至少三个参照点与该至少三个目标点之间 的位置关系，可以推算出该至少三个目标点在图像坐标系下的二维坐标。 例如，假设第一参照点在图像坐标系(u,v)下的二维坐标为(u1,v1)， 由于与其对应的第一目标点与其在图像坐标系的u方向上相差s个像素，在 v方向上相差l个像素，那么根据该(u1,v1)，s和l即可推算该第一目标 点在图像坐标系下的二维坐标(u2,v2)。
由于至少三个参照点和与其对应的至少三个目标点指示的目标物体 相同，因此可以将该至少三个参照点对应的实体点在摄像头的空间坐标系 中的第三维坐标值确定为该至少三个目标点对应的实体点在该空间坐标 系中的第三维坐标值，接着根据上述公式(1)即可获取到该至少三个目 标点在该空间坐标系中的三维坐标，进而根据该至少三个目标点在该空间 坐标系中的三维坐标拟合目标道路所在平面的平面方程。
本公开实施例提供一种道路倾角检测方法，由于现有的交通网络中广 泛设置有摄像头和毫米波雷达，因此该方法可以通过目标道路附近设置的 现有的摄像头和毫米波雷达分别采集该目标道路的视觉数据和雷达数据， 并根据该视觉数据和雷达数据的在时间和空间的对应关系获取至少三个 位于目标道路的实体点的空间位置坐标，进而根据该至少三个位于目标道 路的实体点的空间位置坐标确定目标道路的道路倾角，实现了一种通过道 路侧设备检测道路倾角的方案，避免了需要通过设置有专用的坡度角测量 装置的车辆才能获取到道路倾角的问题，提高了道路倾角检测的便捷性和 实用性。
本公开实施例提供一种道路倾角检测系统，该道路倾角检测系统包括 摄像头、毫米波雷达和处理器。
该摄像头可以为上述方法实施例中涉及的摄像头，用于采集目标道路 的视觉数据。
该毫米波雷达可以为上述方法实施例中涉及的毫米波雷达，用于采集 该目标道路的雷达数据。
该处理器用于采用该摄像头采集到的该目标道路的视觉数据和该毫 米波雷达采集到的该目标道路的雷达数据执行上述任一实施例所述的道 路倾角检测方法。
具体实现过程请参考上述方法实施例。
本公开实施例提供一种道路倾角检测系统，由于现有的交通网络中广 泛设置有摄像头和毫米波雷达，因此可以采用目标道路附近设置的现有的 摄像头和毫米波雷达组成该道路倾角检测系统，即可以通过目标道路附近 设置的现有的摄像头和毫米波雷达分别采集该目标道路的视觉数据和雷 达数据，并根据该视觉数据和雷达数据的在时间和空间的对应关系获取至 少三个位于目标道路的实体点的空间位置坐标，进而根据该至少三个位于 目标道路的实体点的空间位置坐标确定目标道路的道路倾角，实现了一种 通过道路侧设备检测道路倾角的方案，避免了需要通过设置有专用的坡度 角测量装置的车辆才能获取到道路倾角的问题，提高了道路倾角检测的便 捷性和实用性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种道路倾角检测方法，其特征在于，包括：
通过目标道路附近设置的现有的摄像头和毫米波雷达分别采集该目标道路的视觉数据和雷达数据；
根据摄像头采集到的目标道路的视觉数据在所述目标道路的图像信息上确定至少三个目标点，一个目标点对应一个目标物体，且所述目标点为所述图像信息上与其对应的目标物体与所述目标道路接触区域的点；
将毫米波雷达采集到的所述目标道路的雷达数据与所述视觉数据进行时空对齐，获取所述目标道路的对齐雷达数据，所述对齐雷达数据包括所述视觉数据涉及的多个物体在采集所述视觉数据时的空间位置坐标；
根据所述目标道路的对齐雷达数据分别获取所述至少三个目标点的空间位置信息，所述空间位置信息包括与目标点对应的实体点的空间位置坐标；
根据分别与所述至少三个目标点对应的实体点的空间位置坐标获取所述目标道路的道路倾角。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标道路的对齐雷达数据分别获取所述至少三个目标点的空间位置信息，所述空间位置信息包括与目标点对应的实体点的空间位置坐标包括：
根据所述目标道路的对齐雷达数据，在所述目标道路的图像信息上确定分别与所述至少三个目标点对应的至少三个参照点，并获取所述至少三个参照点在所述摄像头的图像坐标系中的二维坐标，以及所述至少三个参照点对应的实体点在与所述图像坐标系对应的空间坐标系中的三维坐标；
根据所述至少三个参照点在所述摄像头的图像坐标系中的二维坐标确定所述至少三个目标点在所述图像坐标系中的二维坐标；
根据所述至少三个参照点对应的实体点在所述空间坐标系中的三维坐标确定所述至少三个目标点对应的实体点在所述空间坐标系中的第三维坐标值；
根据所述至少三个目标点在所述图像坐标系中的二维坐标和对应的实体点在所述空间坐标系中的第三维坐标值，确定所述至少三个目标点对应的实体点在所述空间坐标系中的三维坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标道路的对齐雷达数据，在所述目标道路的图像信息上确定分别与所述至少三个目标点对应的至少三个参照点包括：
根据所述目标道路的视觉数据通过深度神经网络在所述目标道路的图像信息上确定所述视觉数据涉及的多个物体的视觉识别框；
根据所述目标道路的对齐雷达数据在所述目标道路的图像信息上确定所述视觉数据涉及的多个物体的雷达识别框；
获取所述多个物体的视觉识别框与所述多个物体的雷达识别框在所述图像信息上的重合区域；
将重合区域大于或等于预设阈值的视觉识别框与雷达识别框确定为标识同一物体的识别框组；
若根据所述多个物体的视觉识别框与所述多个物体的雷达识别框获取到至少三个标识同一物体的识别框组，获取其中至少三个识别框组作为目标识别框组；
从所述目标识别框组包括的视觉识别框标识的目标物体与目标道路的接触区域中选取对应于所述目标物体的目标点；
根据所述目标识别框组包括的雷达识别框对应的对齐雷达数据获取与所述目标点对应的参照点。
4.根据权利要求3所述的方法，其特征在于，所述获取所述多个物体的视觉识别框与所述多个物体的雷达识别框在所述图像信息上的重合区域包括：
采用以下公式计算任意一个视觉识别框与任意一个雷达识别框的重合区域：
Figure 134655DEST_PATH_IMAGE001
其中，
Figure 786216DEST_PATH_IMAGE002
代表视觉识别框的覆盖区域，
Figure 300374DEST_PATH_IMAGE003
代表雷达识别框的覆盖区域。
5.根据权利要求1至4任意一项权利要求所述的方法，其特征在于，所述将毫米波雷达采集到的所述目标道路的雷达数据与所述视觉数据进行时空对齐，获取所述目标道路的对齐雷达数据包括：
根据所述毫米波雷达的空间坐标系和所述摄像头的空间坐标系，将所述雷达数据投影至所述摄像头的空间坐标系，获取与所述视觉数据在空间上对齐的雷达数据；
根据所述雷达数据的采集时间和所述视觉数据的采集时间，将与所述视觉数据在空间上对齐的雷达数据外推至所述视觉数据的采集时间，获取与所述视觉数据在时间和空间上均对齐的所述对齐雷达数据。
6.根据权利要求2至4任意一项权利要求所述的方法，其特征在于，所述根据分别与所述至少三个目标点对应的至少三个实体点的空间位置坐标获取所述目标道路的道路倾角包括：
根据所述至少三个目标点对应的实体点在所述空间坐标系中的三维坐标，拟合所述目标道路所在的平面；
根据所述目标道路所在的平面的法向量确定所述目标道路的道路倾角。
7.根据权利要求6所述的方法，其特征在于，所述根据所述至少三个目标点对应的实体点在所述空间坐标系中的三维坐标，拟合所述目标道路所在的平面包括：
采用最小二乘法和所述至少三个目标点对应的实体点在所述空间坐标系中的三维坐标，拟合所述目标道路所在的平面。
8.一种道路倾角检测系统，其特征在于，包括摄像头、毫米波雷达和处理器；
所述摄像头用于采集目标道路的视觉数据；
所述毫米波雷达用于采集所述目标道路的雷达数据；
所述处理器用于采用所述摄像头采集到的所述目标道路的视觉数据和所述毫米波雷达采集到的所述目标道路的雷达数据执行权利要求1至7任意一项权利要求所述的道路倾角检测方法。
CN202110461939.8A 2021-04-27 2021-04-27 道路倾角检测方法和检测系统 Active CN113034586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110461939.8A CN113034586B (zh) 2021-04-27 2021-04-27 道路倾角检测方法和检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110461939.8A CN113034586B (zh) 2021-04-27 2021-04-27 道路倾角检测方法和检测系统

Publications (2)

Publication Number Publication Date
CN113034586A CN113034586A (zh) 2021-06-25
CN113034586B true CN113034586B (zh) 2022-09-23

Family

ID=76454759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461939.8A Active CN113034586B (zh) 2021-04-27 2021-04-27 道路倾角检测方法和检测系统

Country Status (1)

Country Link
CN (1) CN113034586B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113442932B (zh) * 2021-07-28 2022-10-14 广州小鹏汽车科技有限公司 估算路面坡度的方法、装置、车辆和计算机可读存储介质
CN113420732B (zh) * 2021-08-23 2022-02-01 深圳市城市交通规划设计研究中心股份有限公司 一种路面病害检测方法、装置和存储介质
CN114043531B (zh) * 2021-12-15 2023-10-03 东莞市李群自动化技术有限公司 台面倾角确定、使用方法、装置、机器人和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN110751788A (zh) * 2018-07-24 2020-02-04 李公健 识别车辆方位与道路的角度和距离是否正确的系统和方法
CN111222405A (zh) * 2019-11-15 2020-06-02 北京邮电大学 车道线的检测方法、装置、电子设备及可读存储介质
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN111476106A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 基于单目相机的直道相对坡度实时预测方法、系统及装置
CN112184792A (zh) * 2020-08-28 2021-01-05 辽宁石油化工大学 一种基于视觉的道路坡度计算方法及装置
CN112183378A (zh) * 2020-09-29 2021-01-05 北京深睿博联科技有限责任公司 一种基于颜色和深度图像的道路坡度估计方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法
CN110751788A (zh) * 2018-07-24 2020-02-04 李公健 识别车辆方位与道路的角度和距离是否正确的系统和方法
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN111222405A (zh) * 2019-11-15 2020-06-02 北京邮电大学 车道线的检测方法、装置、电子设备及可读存储介质
CN111476106A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 基于单目相机的直道相对坡度实时预测方法、系统及装置
CN112184792A (zh) * 2020-08-28 2021-01-05 辽宁石油化工大学 一种基于视觉的道路坡度计算方法及装置
CN112183378A (zh) * 2020-09-29 2021-01-05 北京深睿博联科技有限责任公司 一种基于颜色和深度图像的道路坡度估计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
重型商用车质量和道路坡度估算方法;李尊等;《重型汽车》;20200615(第03期);全文 *

Also Published As

Publication number Publication date
CN113034586A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113034586B (zh) 道路倾角检测方法和检测系统
Yamaguchi et al. Vehicle ego-motion estimation and moving object detection using a monocular camera
CN111220993B (zh) 目标场景定位方法、装置、计算机设备和存储介质
US8238610B2 (en) Homography-based passive vehicle speed measuring
EP2958054B1 (en) Hazard detection in a scene with moving shadows
EP3735675A1 (en) Image annotation
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN112435300B (zh) 定位方法及装置
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
GB2317066A (en) Method of detecting objects for road vehicles using stereo images
CN105205459B (zh) 一种图像特征点类型的识别方法和装置
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
Dawson et al. An energy minimization approach to automatic traffic camera calibration
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN108362205B (zh) 基于条纹投影的空间测距方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
Yamaguchi et al. Moving obstacle detection using monocular vision
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
CN113989766A (zh) 道路边缘检测方法、应用于车辆的道路边缘检测设备
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant