CN117423092A - 路面状态检测方法、装置、电子设备和存储介质 - Google Patents
路面状态检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117423092A CN117423092A CN202311564912.7A CN202311564912A CN117423092A CN 117423092 A CN117423092 A CN 117423092A CN 202311564912 A CN202311564912 A CN 202311564912A CN 117423092 A CN117423092 A CN 117423092A
- Authority
- CN
- China
- Prior art keywords
- road surface
- data
- abnormal
- state
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 220
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 12
- 230000001105 regulatory effect Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims 3
- 238000012545 processing Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种路面状态检测方法、装置、电子设备和存储介质。该方法包括：获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；基于目标激光点云数据确定第一路面异常状态，基于目标图像数据确定第二路面异常状态，第一路面异常状态和第二路面异常状态均是对路面进行凹凸状态监测所得；确定第一路面异常状态的第一异常数据和第二路面异常状态的第二异常数据，并基于第一异常数据和第二异常数据确定目标车辆行驶前方道路路面的目标路面异常状态。本申请结合第一异常数据和第二异常数据进行比对从而更加精确的确定路面异常状态，解决在确定路面状态过程中处理数据复杂性的问题，提高检测的精度，实现路面状态的准确确定。
Description
技术领域
本发明涉及传感器数据融合领域，尤其涉及一种路面状态检测方法、装置、电子设备和存储介质。
背景技术
随着智能驾驶汽车技术的不断发展，汽车对于更高级别的辅助驾驶的需求越来越高，利用多传感器融合，多源信息融合成为当下智能驾驶汽车发展的主要方向。
目前对于路面是否平整的检测，一般通过单目相机或双目相机获取目标区域内的图像数据，然后对图像数据进行处理得出路面的凹凸情况。但是，采用单目相机的方式往往难以应对复杂多变的场景变化，使得确定的路面状态不准确，而采用双目相机的方式会因镜头间存在的误差导致后期数据校正工作难度大，使得最终的数据结果可能不准确。因此，如何快速准确的处理所获取的周围环境信息从而得出准确的路面状态信息十分重要。
发明内容
本发明提供了一种路面状态检测方法、装置、电子设备和存储介质，以解决在确定路面状态过程中处理数据复杂性的问题，提高检测的精度，实现路面状态的准确确定。
根据本发明的一方面，提供了一种路面状态检测方法，该方法包括：
获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；
基于所述目标激光点云数据确定第一路面异常状态，基于所述目标图像数据确定第二路面异常状态，所述第一路面异常状态和所述第二路面异常状态均是对路面进行凹凸状态监测所得；
确定所述第一路面异常状态的第一异常数据和所述第二路面异常状态的第二异常数据，并基于所述第一异常数据和所述第二异常数据确定所述目标车辆行驶前方道路路面的目标路面异常状态，所述第一异常数据为在所述目标激光点云数据中与所述第一路面异常状态相对应的激光点云数据，第二异常数据为在所述目标图像数据中与所述第一路面异常状态相对应的图像数据。
根据本发明的另一方面，提供了一种路面状态检测装置，该装置包括：
数据获取模块，用于获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；
路面状态确定模块，用于基于所述目标激光点云数据确定第一路面异常状态，基于所述目标图像数据确定第二路面异常状态，所述第一路面异常状态和所述第二路面异常状态均是对路面进行凹凸状态监测所得；
目标路面状态确定模块，用于确定所述第一路面异常状态的第一异常数据和所述第二路面异常状态的第二异常数据，并基于所述第一异常数据和所述第二异常数据确定所述目标车辆行驶前方道路路面的目标路面异常状态，所述第一异常数据为在所述目标激光点云数据中与所述第一路面异常状态相对应的激光点云数据，第二异常数据为在所述目标图像数据中与所述第一路面异常状态相对应的图像数据。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的路面状态检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的路面状态检测方法。
本发明实施例的技术方案，获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；基于目标激光点云数据确定第一路面异常状态，基于目标图像数据确定第二路面异常状态，第一路面异常状态和第二路面异常状态均是对路面进行凹凸状态监测所得；确定第一路面异常状态的第一异常数据和第二路面异常状态的第二异常数据，并基于第一异常数据和第二异常数据确定目标车辆行驶前方道路路面的目标路面异常状态。本申请结合第一异常数据和第二异常数据进行比对从而更加精确的确定路面异常状态，解决在确定路面状态过程中处理数据复杂性的问题，提高检测的精度，实现路面状态的准确确定。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种路面状态检测方法的流程图；
图2是根据本发明实施例所适用的第一坐标系的结构示意图；
图3是根据本发明实施例所适用的第二坐标系的结构示意图；
图4是根据本发明实施例提供的一种路面状态检测装置的结构示意图；
图5是根据本发明实施例提供的实现本发明实施例的路面状态检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”和“参考”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例提供的一种路面状态检测方法的流程图，本实施例可适用于对路面状态进行检测的情况，该方法可以由路面状态检测装置来执行，该路面状态检测装置可以采用硬件和/或软件的形式实现，该路面状态检测装置可配置于任何具有网络通信功能的电子设备中。如图1所示，该方法包括：
S110、获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据。
本发明对于行驶前方道路路面有凹陷(坑槽)和前方道路路面有凸起的判别方法，道路路面凹陷和凸起分别是指车辆行驶道路在行车作用下，路面骨料局部脱落而产生的坑洼和由于施工、材料选择或者其他外界影响因素而导致路面鼓包或隆起等情况。其次，由于激光雷达、视觉传感器自身的条件限制，扫描角度范围、检测的范围有限，因此本发明中用于检测前方路面状态的激光雷达、视觉传感器的安装位置设定在车辆能够较好地获取道路路面信息的位置。
具体的，通过激光雷达扫描目标车辆行驶前方道路路面，从而得出用于描述路面信息的三维激光点云数据，将三维激光点云数据通过滤波操作消除数据中的异常噪声，从而得到目标激光点云数据，对于滤波器的选择，本专利包含但不限于直通滤波器、高斯滤波器、双边滤波器等；通过视觉传感器采集路面环境信息，以视频的形式存储起来，经过处理得到图像数据集，即目标图像数据。
S120、基于目标激光点云数据确定第一路面异常状态，基于目标图像数据确定第二路面异常状态，第一路面异常状态和第二路面异常状态均是对路面进行凹凸状态监测所得。
其中，路面异常状态则是用于描述路面为凹陷状态还是凸起状态。
具体的，对目标激光点云数据进行凹凸状态监测获得第一路面异常状态，对目标图像数据进行凹凸状态监测获得第二路面异常状态。
可选的，基于目标激光点云数据确定第一路面异常状态，包括步骤A1-A3：
步骤A1、将目标激光点云数据投影到第一坐标系得到点云数据，目标设备投影到第一坐标系得出目标设备位置信息，第一坐标系为由三维笛卡尔坐标系中横轴和竖轴构建的二维坐标系。
如图2所示，目标设备为图中LD(激光雷达)，第一坐标系为图2中的X-Z坐标系。
步骤A2、基于点云数据确定高度数据和距离信息，并获取角度信息，高度数据为目标设备距离路面的高度，角度信息为目标设备发射的激光光束与水平方向的夹角，距离信息为目标设备位置信息与点云数据之间的距离，目标设备为发射激光点云的设备。
示例的，目标设备发射的激光光束与水平方向的夹角在最大值和最小值之间，上述最大值和最小值与目标设备自身出厂设置有关。高度数据如图2中的H，距离信息如图2中的lxz(i)。
步骤A3、基于高度数据、角度信息和距离信息确定第一路面异常状态。
具体的，基于高度数据、角度信息和所述距离信息确定参考数据，并将参考数据与零进行比较；
若参考数据等于零，则路面状态为平面状态；
若参考数据大于零，则路面状态为凹陷状态；
若参考数据小于零，则路面状态为凸起状态；
相应的，参考数据的表达式为：
S＝lxz(i)·sinθ-H；
其中，S为参考数据，lxz(i)为距离信息，θ为角度信息，H为高度数据。
本技术方案，通过将目标激光点云数据投影到第一坐标系得到点云数据，进一步基于点云数据确定高度数据和距离信息，以及获取角度信息，然后基于高度数据、角度信息和距离信息确定第一路面异常状态，此过程计算简单，使得检测过程更加简便，且结果更加准确清晰。
可选的，基于目标图像数据确定第二路面异常状态，包括：将目标图像数据输入到路面状态模型中，输出第二路面异常状态，路面状态模型用于描述路面状态和图像数据的关联关系。
具体的，路面状态模型建立过程可以包括步骤B1-B4：
步骤B1、获取历史图像数据，对于获取到的历史图像数据进行打标签工作，对历史图像数据中路面部分的凹凸等异常部分进行标定工作，未标定的部分默认为是正常路面。标定完成后将对应的历史图像数据生成对应的预设文件格式，如xml文件。
步骤B2、通过文件格式转换以及按照一定的比例将上述标定的历史图像数据随机划分训练集与测试集。
步骤B3、将划分好的训练集与测试集送入预设路面状态模型(yolov5模型)中训练模型权重，训练过程中的预训练权重为预设初值(如yolov5s.pt)，然后经过训练后可以产生模型的权重文件。
步骤B4、将训练好的权重文件放入模型中，从而得到路面状态模型，然后使用测试集进行验证，确保路面状态模型的准确性，从而就可以依据路面状态模型识别出路面异常状态。
本技术方案，通过路面状态模型得出第二路面异常状态，使得第二路面异常状态的确认更加准确。
S130、确定第一路面异常状态的第一异常数据和第二路面异常状态的第二异常数据，并基于第一异常数据和第二异常数据确定目标车辆行驶前方道路路面的目标路面异常状态。
其中，第一异常数据为在目标激光点云数据中与第一路面异常状态相对应的激光点云数据，第二异常数据为在目标图像数据中与第一路面异常状态相对应的图像数据。
可选的，确定第一路面异常状态的第一异常数据和第二路面异常状态的第二异常数据，包括步骤C1-C3：
步骤C1、确定第一路面异常状态在所述目标激光点云数据中对应的参考激光点云数据。
确定第一路面异常状态在目标激光点云数据对应的参考激光点云数据之后，可以对参考激光点云数据进行一个筛选，以便于确定的第一路面异常状态对应的异常数据更加准确，具体包括如下：
获取筛选值，基于筛选值对参考激光点云数据进行筛选，以得到更新后的参考激光点云数据，筛选值由所述参考激光点云数据中的竖轴坐标值和预设调节值确定，且竖轴坐标值和预设调节值的和为高度数据，高度数据为所述目标设备距离路面的高度。预设调节值不是固定值，是经验值，可通过大量的数据训练确定。
步骤C2、将参考激光点云数据投影到第二坐标系得到第一异常数据，第二坐标系为由三维笛卡尔坐标系中横轴和纵轴构建的二维坐标系。
第二坐标系如图3所示的一个示例。
步骤C3、将第二路面异常状态在目标图像数据中对应的图像数据确定为第二异常数据。
在确定了第一异常数据和第二异常数据后，可基于第一异常数据和第二异常数据确定目标车辆行驶前方道路路面的目标路面异常状态，具体包括步骤D1-D3：
步骤D1、确定第一异常数据对应的第一异常区域和第二异常数据对应的第二异常区域；
步骤D2、判断参考值与预设阈值是否满足预设条件，参考值为第一参数和第二参数的比值，第一参数为所述第一异常区域和所述第二异常区域之间的交集，第二参数为第一异常区域和所述第二异常区域之间的并集，预设条件为参考值大于预设阈值；
步骤D3、若满足，则确定目标车辆行驶前方道路路面的状态为目标路面异常状态，并确定目标异常状态的异常区域；若不满足，则继续进行路面检测
可选的，为了方便后续对于目标路面异常状态对应的的数据进行决策处理，需要对激光雷达与视觉传感器获取的数据进行融合处理，即需要对于第一异常数据和第二异常数据进行融合处理，由于视觉传感器只能得到二维的数据，而激光雷达可以获得三维的数据。因此最终异常区域的确定是通过选取激光雷达与视觉传感器在XY投影的并集来确定，而Z轴方向上的最大值通过点云数据的范围来实现，最终在三个维度方向上确定异常区域的信息。然后通过坐标系之间的转换，将异常区域在图像中表示出，具体转化原理如下：
先将点云坐标系转换成视觉传感器坐标系，激光雷达获取到的点云数据表示形式为[xi,yi,zi]，数据点与视觉传感器之间的距离表示形式为[xj,yj,zj]，然后用R(3×3)表示两个坐标系之间转换的转换矩阵，用r(3×1)表示表示坐标系对应点之间的平移矩阵，转换表达式如下：
再换到视觉传感器的图像和像素坐标系下，转换表达式如下所示：
上式中，zc为比例因子，(μ,ν)为图像像素坐标，dx和dy表示像素的物理尺寸即真实的物理位置，(μ0,v0)是为图像原点坐标，s'为倾斜因子，f表示视觉传感器中的焦距，经过上面步骤的处理可以将异常区域的信息表示出来。
本发明实施例的技术方案，获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；基于目标激光点云数据确定第一路面异常状态，基于目标图像数据确定第二路面异常状态，第一路面异常状态和第二路面异常状态均是对路面进行凹凸状态监测所得；确定第一路面异常状态的第一异常数据和第二路面异常状态的第二异常数据，并基于第一异常数据和第二异常数据确定目标车辆行驶前方道路路面的目标路面异常状态。本申请结合第一异常数据和第二异常数据进行比对从而更加精确的确定路面异常状态，解决在确定路面状态过程中处理数据复杂性的问题，提高检测的精度，实现路面状态的准确确定，进一步的由于路面异常状态的准确确定，也提高了汽车行驶的稳定性，降低事故的发生概率。
实施例二
图4为本发明实施例提供的一种路面状态检测装置的结构示意图，本实施例可适用于对路面状态进行检测的情况，该路面状态检测装置可以采用硬件和/或软件的形式实现，该路面状态检测装置可配置于任何具有网络通信功能的电子设备中。如图4所示，该装置包括：
数据获取模块210，用于获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；
路面状态确定模块220，用于基于所述目标激光点云数据确定第一路面异常状态，基于所述目标图像数据确定第二路面异常状态，所述第一路面异常状态和所述第二路面异常状态均是对路面进行凹凸状态监测所得；
目标路面状态确定模块230，用于确定所述第一路面异常状态的第一异常数据和所述第二路面异常状态的第二异常数据，并基于所述第一异常数据和所述第二异常数据确定所述目标车辆行驶前方道路路面的目标路面异常状态，所述第一异常数据为在所述目标激光点云数据中与所述第一路面异常状态相对应的激光点云数据，第二异常数据为在所述目标图像数据中与所述第一路面异常状态相对应的图像数据。
可选的，路面状态确定模块包括：
第一信息确定单元，用于将所述目标激光点云数据投影到第一坐标系得到点云数据，所述目标设备投影到第一坐标系得出目标设备位置信息，所述第一坐标系为由三维笛卡尔坐标系中横轴和竖轴构建的二维坐标系；
第二信息确定单元，用于基于所述点云数据确定高度数据和距离信息，并获取角度信息，所述高度数据为所述目标设备距离路面的高度，所述角度信息为所述目标设备发射的激光光束与水平方向的夹角，所述距离信息为所述目标设备位置信息与所述点云数据之间的距离，所述目标设备为发射激光点云的设备；
第一路面异常状态确定单元，用于基于所述高度数据、所述角度信息和所述距离信息确定所述第一路面异常状态。
可选的，第一路面异常状态确定单元，用于：
基于所述高度数据、所述角度信息和所述距离信息确定参考数据，并将所述参考数据与零进行比较；
若所述参考数据等于零，则路面状态为平面状态；
若所述参考数据大于零，则路面状态为凹陷状态；
若所述参考数据小于零，则路面状态为凸起状态；
相应的，所述参考数据的表达式为：
S＝lxz(i)·sinθ-H；
其中，S为所述参考数据，lxz(i)为所述距离信息，θ为所述角度信息，H为所述高度数据。
可选的，路面状态确定模块包括第二路面异常状态确定单元，用于：
将所述目标图像数据输入到路面状态模型中，输出所述第二路面异常状态，所述路面状态模型用于描述路面状态和图像数据的关联关系。
可选的，目标路面状态确定模块，包括：
参考数据确定单元，用于确定所述第一路面异常状态在所述目标激光点云数据中对应的参考激光点云数据；
第一异常数据确定单元，用于将所述参考激光点云数据投影到第二坐标系得到所述第一异常数据，所述第二坐标系为由三维笛卡尔坐标系中横轴和纵轴构建的二维坐标系；
第二异常数据确定单元，用于将所述第二路面异常状态在所述目标图像数据中对应的图像数据确定为第二异常数据。
可选的，第一异常数据确定单元包括数据更新单元，用于：
获取筛选值，基于所述筛选值对所述参考激光点云数据进行筛选，以得到更新后的参考激光点云数据，所述筛选值由所述参考激光点云数据中的竖轴坐标值和预设调节值确定，且所述竖轴坐标值和所述预设调节值的和为高度数据，所述高度数据为所述目标设备距离路面的高度。
可选的，目标路面状态确定模块，用于：
确定所述第一异常数据对应的第一异常区域和所述第二异常数据对应的第二异常区域；
判断参考值与预设阈值是否满足预设条件，参考值为所述第一参数和第二参数的比值，所述第一参数为所述第一异常区域和所述第二异常区域之间的交集，所述第二参数为所述第一异常区域和所述第二异常区域之间的并集，所述预设条件为所述参考值大于所述预设阈值；
若满足，则确定所述目标车辆行驶前方道路路面的状态为目标路面异常状态，并确定所述目标异常状态的异常区域。
本发明实施例所提供的路面状态检测装置可执行本发明任意实施例所提供的路面状态检测方法，具备执行方法相应的功能模块和有益效果。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定，且不违背公序良俗。
实施例三
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实现本发明实施例的路面状态检测方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如路面状态检测方法。
在一些实施例中，路面状态检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的路面状态检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行路面状态检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种路面状态检测方法，其特征在于，所述方法包括：
获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；
基于所述目标激光点云数据确定第一路面异常状态，基于所述目标图像数据确定第二路面异常状态，所述第一路面异常状态和所述第二路面异常状态均是对路面进行凹凸状态监测所得；
确定所述第一路面异常状态的第一异常数据和所述第二路面异常状态的第二异常数据，并基于所述第一异常数据和所述第二异常数据确定所述目标车辆行驶前方道路路面的目标路面异常状态，所述第一异常数据为在所述目标激光点云数据中与所述第一路面异常状态相对应的激光点云数据，第二异常数据为在所述目标图像数据中与所述第一路面异常状态相对应的图像数据。
2.根据权利要求1所述的方法，其特征在于，基于所述目标激光点云数据确定第一路面异常状态，包括：
将所述目标激光点云数据投影到第一坐标系得到点云数据，所述目标设备投影到第一坐标系得出目标设备位置信息，所述第一坐标系为由三维笛卡尔坐标系中横轴和竖轴构建的二维坐标系；
基于所述点云数据确定高度数据和距离信息，并获取角度信息，所述高度数据为所述目标设备距离路面的高度，所述角度信息为所述目标设备发射的激光光束与水平方向的夹角，所述距离信息为所述目标设备位置信息与所述点云数据之间的距离，所述目标设备为发射激光点云的设备；
基于所述高度数据、所述角度信息和所述距离信息确定所述第一路面异常状态。
3.根据权利要求2所述的方法，其特征在于，基于所述高度数据、所述角度信息和所述距离信息确定所述第一路面异常状态，包括：
基于所述高度数据、所述角度信息和所述距离信息确定参考数据，并将所述参考数据与零进行比较；
若所述参考数据等于零，则路面状态为平面状态；
若所述参考数据大于零，则路面状态为凹陷状态；
若所述参考数据小于零，则路面状态为凸起状态；
相应的，所述参考数据的表达式为：
S＝lxz(i)·sinθ-H；
其中，S为所述参考数据，lxz(i)为所述距离信息，θ为所述角度信息，H为所述高度数据。
4.根据权利要求1所述的方法，其特征在于，基于所述目标图像数据确定第二路面异常状态，包括：
将所述目标图像数据输入到路面状态模型中，输出所述第二路面异常状态，所述路面状态模型用于描述路面状态和图像数据的关联关系。
5.根据权利要求1所述的方法，其特征在于，确定所述第一路面异常状态的第一异常数据和所述第二路面异常状态的第二异常数据，包括：
确定所述第一路面异常状态在所述目标激光点云数据中对应的参考激光点云数据；
将所述参考激光点云数据投影到第二坐标系得到所述第一异常数据，所述第二坐标系为由三维笛卡尔坐标系中横轴和纵轴构建的二维坐标系；
将所述第二路面异常状态在所述目标图像数据中对应的图像数据确定为第二异常数据。
6.根据权利要求5所述的方法，其特征在于，确定所述第一路面异常状态在所述目标激光点云数据对应的参考激光点云数据之后，所述方法还包括：
获取筛选值，基于所述筛选值对所述参考激光点云数据进行筛选，以得到更新后的参考激光点云数据，所述筛选值由所述参考激光点云数据中的竖轴坐标值和预设调节值确定，且所述竖轴坐标值和所述预设调节值的和为高度数据，所述高度数据为所述目标设备距离路面的高度。
7.根据权利要求1所述的方法，其特征在于，基于所述第一异常数据和所述第二异常数据确定所述目标车辆行驶前方道路路面的目标路面异常状态，包括：
确定所述第一异常数据对应的第一异常区域和所述第二异常数据对应的第二异常区域；
判断参考值与预设阈值是否满足预设条件，参考值为所述第一参数和第二参数的比值，所述第一参数为所述第一异常区域和所述第二异常区域之间的交集，所述第二参数为所述第一异常区域和所述第二异常区域之间的并集，所述预设条件为所述参考值大于所述预设阈值；
若满足，则确定所述目标车辆行驶前方道路路面的状态为目标路面异常状态，并确定所述目标异常状态的异常区域。
8.一种路面状态检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取用于描述目标车辆行驶前方道路路面的目标激光点云数据和目标图像数据；
路面状态确定模块，用于基于所述目标激光点云数据确定第一路面异常状态，基于所述目标图像数据确定第二路面异常状态，所述第一路面异常状态和所述第二路面异常状态均是对路面进行凹凸状态监测所得；
目标路面状态确定模块，用于确定所述第一路面异常状态的第一异常数据和所述第二路面异常状态的第二异常数据，并基于所述第一异常数据和所述第二异常数据确定所述目标车辆行驶前方道路路面的目标路面异常状态，所述第一异常数据为在所述目标激光点云数据中与所述第一路面异常状态相对应的激光点云数据，第二异常数据为在所述目标图像数据中与所述第一路面异常状态相对应的图像数据。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的路面状态检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的路面状态检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311564912.7A CN117423092A (zh) | 2023-11-22 | 2023-11-22 | 路面状态检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311564912.7A CN117423092A (zh) | 2023-11-22 | 2023-11-22 | 路面状态检测方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117423092A true CN117423092A (zh) | 2024-01-19 |
Family
ID=89530997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311564912.7A Pending CN117423092A (zh) | 2023-11-22 | 2023-11-22 | 路面状态检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117423092A (zh) |
-
2023
- 2023-11-22 CN CN202311564912.7A patent/CN117423092A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
| CN112991459B (zh) | 一种相机标定方法、装置、设备以及存储介质 | |
| CN111931704A (zh) | 评估地图质量的方法、装置、设备和计算机可读存储介质 | |
| CN115656989A (zh) | 外参标定方法、装置、电子设备及存储介质 | |
| CN117392241B (zh) | 自动驾驶中的传感器标定方法、装置及电子设备 | |
| CN117434568A (zh) | 一种基于遥感卫星的智能定位系统 | |
| CN116129422A (zh) | 单目3d目标检测方法、装置、电子设备和存储介质 | |
| CN117423092A (zh) | 路面状态检测方法、装置、电子设备和存储介质 | |
| CN115685127A (zh) | 一种基于点云数据分析目标物沉降风险的方法及装置 | |
| CN115908581A (zh) | 一种车载相机俯仰角标定方法、装置、设备及存储介质 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN115147561A (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| CN115035481A (zh) | 一种图像物距融合方法、装置、设备及存储介质 | |
| CN114926545A (zh) | 相机标定精度的评估方法、装置、电子设备及存储介质 | |
| CN114399558B (zh) | 一种球机的标定方法、装置、设备及存储介质 | |
| CN117129979B (zh) | 一种基于机器学习模型的激光雷达标定方法及系统 | |
| CN118012036A (zh) | 一种目标对确定方法、装置、电子设备及介质 | |
| CN116452663A (zh) | 铁塔异常检测方法、装置、电子设备和存储介质 | |
| CN117058250A (zh) | 一种基于相机的3d目标检测方法、装置、设备及介质 | |
| CN116309660A (zh) | 一种直线检测方法、装置、设备及存储介质 | |
| CN116862998A (zh) | 一种车辆全景影像标定方法、装置、设备以及存储介质 | |
| CN117911831A (zh) | 一种模型训练方法、目标检测方法、电子设备及存储介质 | |
| CN116593986A (zh) | 多传感器航迹融合过滤方法、装置、电子设备及存储介质 | |
| CN117576077A (zh) | 一种缺陷检测方法、装置、设备和存储介质 | |
| CN117331063A (zh) | 感知目标运动信息的确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |