CN113011255B - 基于rgb图像的路面检测方法、系统和智能终端 - Google Patents

基于rgb图像的路面检测方法、系统和智能终端 Download PDF

Info

Publication number
CN113011255B
CN113011255B CN202110160906.XA CN202110160906A CN113011255B CN 113011255 B CN113011255 B CN 113011255B CN 202110160906 A CN202110160906 A CN 202110160906A CN 113011255 B CN113011255 B CN 113011255B
Authority
CN
China
Prior art keywords
road surface
image
pavement
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110160906.XA
Other languages
English (en)
Other versions
CN113011255A (zh
Inventor
姚纯纯
杨超
孙旭生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202110160906.XA priority Critical patent/CN113011255B/zh
Publication of CN113011255A publication Critical patent/CN113011255A/zh
Application granted granted Critical
Publication of CN113011255B publication Critical patent/CN113011255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB图像的路面检测方法、系统和智能终端，方法包括：采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。该基于RGB图像的路面不平整检测，可以做到实时快速准确的检测，人工成本低，提高了路面坑洼情况的检测及时性和准确性，从而有效提高了乘坐舒适度和驾驶安全性。

Description

基于RGB图像的路面检测方法、系统和智能终端
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于RGB图像的路面检测方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。在辅助驾驶领域，对路面凹凸状态以及非标障碍物的检测一直是重要且具有挑战性的问题。不平整的路面将会增加行车的阻力，造成车辆颠簸。从而降低行车的可控性、平稳性和安全性，降低乘客的乘车体验，还会加剧轮胎的磨损，减少汽车其他部件的使用寿命。而且不平整路面会形成积水，使得车辆轮胎接地处的受力发生变化，加速了路面的损坏。
因此，提供一种基于RGB图像的路面检测方法、系统和智能终端，以便提高路面坑洼情况的检测及时性和准确性，从而有效提高乘坐舒适度和驾驶安全性，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于RGB图像的路面检测方法、系统和智能终端，以便提高路面坑洼情况的检测及时性和准确性，从而有效提高乘坐舒适度和驾驶安全性。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于RGB图像的路面检测方法，所述方法包括：
采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；
使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
基于所述估计值和当前车速输出预警指令和/或制动指令。
进一步地，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
获取所述待分割图像内所有目标障碍物的像素位置和大小；
根据所述目标障碍物的像素位置，将所述待分割图像区分为平整路面区域和不平整路面区域；
根据所述目标障碍物的大小，获取所述不平整路面区域的面积；
判定所述不平整路面区域的面积大于面积阈值，则基于所述目标障碍物的像素位置和当前车速输出预警指令和/或制动指令。
进一步地，所述平整路面区域包括可行驶区域、路面标识作为平整路面；
所述不平整路面包括井盖、路面破损、减速带和非标准障碍物；
不平整路面区域面积与平整路面区域面积的比值为路面不平整度的估计值。
进一步地，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
对所述原始图像进行特征提取；
获取粗略的语义分割结果；
根据粗略的语义分割结果和提取到的特征计算出多组特征向量，每组特征对应于一个语义类别，以得到多个物体区域表示；
计算网络像素特征表示与物体区域表示之间的关系矩阵，根据关系矩阵的数值对物体区域特征进行加权求和，得到物体的文字识别特征；
将得到的物体的文字识别特征与网络特征进行拼接之后作为上下文信息增强的特征表示，基于此预测每个像素的语义类别。
进一步地，使用HRNet-W48或者ResNet-101作为基础网络，进行原始图像的特征提取。
进一步地，使用1×1卷积预测一个粗略的语义分割结果，使用的损失函数为逐像素的交叉熵损失。
进一步地，所述对所述原始图像进行预处理，具体包括：
对所述原始图像进行像素区域裁剪。
本发明还提供一种基于RGB图像的路面检测系统，用于实施如上所述的方法，所述系统包括：
图像采集单元，用于采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；
结果预测单元，用于使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
估计值输出单元，用于对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
指令输出单元，用于基于所述估计值和当前车速输出预警指令和/或制动指令。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于RGB图像的路面检测方法和系统，通过采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。该基于RGB图像的路面不平整检测，可以做到实时快速准确的检测，人工成本低，其既可以在不平整路段对车辆进行提示和预警，又可以结合GPS系统的对某地路况进行评价，进而可以实现制作高精度地图、路况分析、道路检修需求分析等功能，提高了路面坑洼情况的检测及时性和准确性，从而有效提高了乘坐舒适度和驾驶安全性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的路面检测方法一种具体实施方式的流程图；
图2为本发明所提供的数据训练过程的流程图；
图3为本发明所提供的路面检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的路面检测方法基于语义分割网络，图像语义分割是指将图像根据语义信息分割成具有不同语义标识的分割块，是进一步进行图像分析的重要步骤，可应用于机器人导航，自动驾驶，多媒体技术等多个领域。基于RGB-D信息的图像语义分割算法能够充分利用图像的RGB信息和深度信息,有效的提高图像的语义分割精度，特别是近年来在针对室内场景的语义分割方面已经取得了很好的进展。
请参考图1，图1为本发明所提供的路面检测方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明所提供的基于RGB图像的路面检测方法包括以下步骤：
S1：采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；具体为对所述原始图像进行像素区域裁剪。通常原始采集到的图像分辨率较大，例如可以为1280*720，在原始图像中存在很多背景区域、非当前车道区域和过远距离区域等，直接输入到神经网络中检测效果不好，且会增加计算量，降低算法实时性。因此，在预处理时采取裁剪的方法，将检测范围限制为长为512像素，高为256像素的检测区域，假设对应于实际位置大致是4-30m的范围。这样的预处理有效的减少了计算量，滤除了大部分背景，降低了检测难度并提高了检测稳定性。
S2：使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
S3：对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
S4：基于所述估计值和当前车速输出预警指令和/或制动指令。
其中，在步骤S2中，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
获取所述待分割图像内所有目标障碍物的像素位置和大小；
根据所述目标障碍物的像素位置，将所述待分割图像区分为平整路面区域和不平整路面区域；
根据所述目标障碍物的大小，获取所述不平整路面区域的面积；
判定所述不平整路面区域的面积大于面积阈值，则基于所述目标障碍物的像素位置和当前车速输出预警指令和/或制动指令。
上述平整路面区域包括可行驶区域、路面标识作为平整路面，不平整路面包括井盖、路面破损、减速带和非标准障碍物；不平整路面区域面积与平整路面区域面积的比值为路面不平整度的估计值。
在实际使用场景中，从检测结果中将可行驶区域、路面标识作为平整路面，井盖、路面破损、减速带和非标准障碍物作为不平整路面，不平整路面和平整路面的比值可以作为路面不平整度的估计值。得到障碍物在像素上的位置和大小后，可以通过视差图(双目立体视差图)或者单目深度估计得到障碍物与相机的相对距离，从而结合子车车速对车辆前方障碍物进行距离预警，必要时可以采取自动紧急制动。
并且，可以根据路面区域置信度和不平整面积对车辆设置不同的提示或预警级别，比如设置高阈值，可以在路面不平整置信度高的时候进行提示，提高检测准确度；以低阈值来确定路面不平整，可以在路面有可能不平整的情况下进行提示，提高不平整路面的检出率。
进一步地，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，如图2所示，具体包括以下步骤：
S301：对所述原始图像进行特征提取；其中，使用HRNet-W48或者ResNet-101作为基础网络，进行原始图像的特征提取。
S302：获取粗略的语义分割结果；使用1×1卷积预测一个粗略的语义分割结果，使用的损失函数为逐像素的交叉熵损失。
S303：根据粗略的语义分割结果和提取到的特征计算出多组特征向量，每组特征对应于一个语义类别，以得到多个物体区域表示；
S304：计算网络像素特征表示与物体区域表示之间的关系矩阵，根据关系矩阵的数值对物体区域特征进行加权求和，得到物体的文字识别特征；
S305：将得到的物体的文字识别特征与网络特征进行拼接之后作为上下文信息增强的特征表示，基于此预测每个像素的语义类别。
在实际使用场景中，可以将数据集划分为N个类别，下面以六个类别为例作为说明，分别为可行驶区域、路面标识、路面破损、井盖、减速带和非标准小障碍物，且忽略背景类别，即背景区域不参与训练，不参与测试。
使用语义分割网络对像素信息数据进行训练和测试，以得到路面预测结果的实现主要分为五个阶段：
(1)使用HRNet-W48或者ResNet-101作为基础网络，进行原始图像的特征提取；
(2)使用1×1卷积预测一个粗略的语义分割结果，使用的损失函数为逐像素的交叉熵损失；
(3)根据粗略的语义分割结果和提取到的特征计算出7K组特征向量，每组特征对应于一个语义类别，称之为物体区域表示；
(4)计算网络像素特征表示与物体区域表示之间的关系矩阵，根据关系矩阵的数值对物体区域特征进行加权求和，最终得到物体的上下文表示，称之为OCR；
(5)将物体上下文表示OCR与网络特征进行拼接之后作为上下文信息增强的特征表示，基于此预测每个像素的语义类别。
在上述具体实施方式中，本发明所提供的基于RGB图像的路面检测方法和系统，通过采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。该基于RGB图像的路面不平整检测，可以做到实时快速准确的检测，人工成本低，其既可以在不平整路段对车辆进行提示和预警，又可以结合GPS系统的对某地路况进行评价，进而可以实现制作高精度地图、路况分析、道路检修需求分析等功能，提高了路面坑洼情况的检测及时性和准确性，从而有效提高了乘坐舒适度和驾驶安全性。
除了上述方法，本发明还提供一种基于RGB图像的路面检测系统，用于实施如上所述的方法，如图3所示，该系统包括：
图像采集单元100，用于采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；
结果预测单元200，用于使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
估计值输出单元300，用于对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
指令输出单元400，用于基于所述估计值和当前车速输出预警指令和/或制动指令。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
在上述具体实施方式中，本发明所提供的基于RGB图像的路面检测系统，通过采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；基于所述估计值和当前车速输出预警指令和/或制动指令。该基于RGB图像的路面不平整检测，可以做到实时快速准确的检测，人工成本低，其既可以在不平整路段对车辆进行提示和预警，又可以结合GPS系统的对某地路况进行评价，进而可以实现制作高精度地图、路况分析、道路检修需求分析等功能，提高了路面坑洼情况的检测及时性和准确性，从而有效提高了乘坐舒适度和驾驶安全性。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于RGB图像的路面检测方法，其特征在于，所述方法包括：
采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；
使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
基于所述估计值和当前车速输出预警指令和/或制动指令；
其中，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
对所述原始图像进行特征提取；
获取粗略的语义分割结果；
根据粗略的语义分割结果和提取到的特征计算出多组特征向量，每组特征对应于一个语义类别，以得到多个物体区域表示；
计算网络像素特征表示与物体区域表示之间的关系矩阵，根据关系矩阵的数值对物体区域特征进行加权求和，得到物体的文字识别特征；
将得到的物体的文字识别特征与网络特征进行拼接之后作为上下文信息增强的特征表示，基于此预测每个像素的语义类别。
2.根据权利要求1所述的路面检测方法，其特征在于，使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果，具体包括：
获取待分割图像内所有目标障碍物的像素位置和大小；
根据所述目标障碍物的像素位置，将所述待分割图像区分为平整路面区域和不平整路面区域；
根据所述目标障碍物的大小，获取所述不平整路面区域的面积；
判定所述不平整路面区域的面积大于面积阈值，则基于所述目标障碍物的像素位置和当前车速输出预警指令和/或制动指令。
3.根据权利要求2所述的路面检测方法，其特征在于，所述平整路面区域包括可行驶区域、路面标识作为平整路面；
所述不平整路面包括井盖、路面破损、减速带和非标准障碍物；
不平整路面区域面积与平整路面区域面积的比值为路面不平整度的估计值。
4.根据权利要求1所述的路面检测方法，其特征在于，使用HRNet-W48或者ResNet-101作为基础网络，进行原始图像的特征提取。
5.根据权利要求1所述的路面检测方法，其特征在于，使用1×1卷积预测一个粗略的语义分割结果，使用的损失函数为逐像素的交叉熵损失。
6.根据权利要求1所述的路面检测方法，其特征在于，所述对所述原始图像进行预处理，具体包括：
对所述原始图像进行像素区域裁剪。
7.一种基于RGB图像的路面检测系统，用于实施如权利要求1-6任一项所述的方法，其特征在于，所述系统包括：
图像采集单元，用于采集目标范围内的原始图像，并对所述原始图像进行预处理，根据相机安装位置角度确定图像感兴趣区域；
结果预测单元，用于使用语义分割网络对图像感兴趣区域数据据训练和测试，以得到路面预测结果；
估计值输出单元，用于对所述路面预测结果中代表不平整路面的类别进行像素级别统计，以得到路面不平整度的估计值；
指令输出单元，用于基于所述估计值和当前车速输出预警指令和/或制动指令。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
CN202110160906.XA 2021-02-05 2021-02-05 基于rgb图像的路面检测方法、系统和智能终端 Active CN113011255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160906.XA CN113011255B (zh) 2021-02-05 2021-02-05 基于rgb图像的路面检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160906.XA CN113011255B (zh) 2021-02-05 2021-02-05 基于rgb图像的路面检测方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113011255A CN113011255A (zh) 2021-06-22
CN113011255B true CN113011255B (zh) 2024-01-16

Family

ID=76383760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160906.XA Active CN113011255B (zh) 2021-02-05 2021-02-05 基于rgb图像的路面检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN113011255B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763392B (zh) * 2021-11-10 2022-03-18 北京中科慧眼科技有限公司 用于路面平坦度检测的模型预测方法、系统和智能终端
CN115205809B (zh) * 2022-09-15 2023-03-24 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统
CN116452941A (zh) * 2023-06-15 2023-07-18 山东中清智能科技股份有限公司 一种多视角的多图像融合方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN108445874A (zh) * 2017-12-11 2018-08-24 浙江捷尚人工智能研究发展有限公司 利用深度相机探测路面状态的方法、装置及系统
CN108717785A (zh) * 2018-05-30 2018-10-30 长安大学 一种智慧交通安全管理系统
CN110262514A (zh) * 2019-07-15 2019-09-20 南京航空航天大学 远程遥控与自动驾驶相结合的无人车系统及人机共驾方法
CN110610139A (zh) * 2019-08-23 2019-12-24 合肥移顺信息技术有限公司 障碍物预警方法、监控设备和监控系统
CN110979313A (zh) * 2019-12-13 2020-04-10 武汉乐庭软件技术有限公司 一种基于空间地图的自动泊车定位方法及系统
CN111666921A (zh) * 2020-06-30 2020-09-15 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112149460A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种障碍物检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN108445874A (zh) * 2017-12-11 2018-08-24 浙江捷尚人工智能研究发展有限公司 利用深度相机探测路面状态的方法、装置及系统
CN108717785A (zh) * 2018-05-30 2018-10-30 长安大学 一种智慧交通安全管理系统
CN112149460A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种障碍物检测方法及装置
CN110262514A (zh) * 2019-07-15 2019-09-20 南京航空航天大学 远程遥控与自动驾驶相结合的无人车系统及人机共驾方法
CN110610139A (zh) * 2019-08-23 2019-12-24 合肥移顺信息技术有限公司 障碍物预警方法、监控设备和监控系统
CN110979313A (zh) * 2019-12-13 2020-04-10 武汉乐庭软件技术有限公司 一种基于空间地图的自动泊车定位方法及系统
CN111666921A (zh) * 2020-06-30 2020-09-15 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN113011255A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113011255B (zh) 基于rgb图像的路面检测方法、系统和智能终端
JP6082802B2 (ja) 物体検知装置
CN107590470B (zh) 一种车道线检测方法及装置
US20140247968A1 (en) Method for Fog Detection
US20170262713A1 (en) Method and Device of Lane Departure Warning and Automobile Driving Assistance System
CN112163543A (zh) 一种车辆违法占道的检测方法及系统
CN107591005B (zh) 动静态检测相结合的停车区域管理方法、服务器及系统
CN113240632B (zh) 基于语义分割网络的路面检测方法、系统和智能终端
CN110738081B (zh) 异常路况检测方法及装置
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN108629763B (zh) 一种视差图的评判方法、装置及终端
CN110388929B (zh) 导航地图更新方法、装置及系统
CN114581886A (zh) 结合语义分割和频域分析的能见度判别方法、装置及介质
CN114119717A (zh) 智能识别减速带方法、装置、设备及存储介质
CN203020184U (zh) 一种基于双ccd的纯电动汽车车道标识线检测装置
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN115311522A (zh) 用于自动驾驶的目标检测方法及装置、电子设备及介质
CN116110230A (zh) 基于车载摄像头的车辆越车道线识别方法及系统
CN114972470A (zh) 基于双目视觉的路面环境获取方法和系统
CN114882205A (zh) 基于注意力机制的目标检测方法
CN111881834B (zh) 一种基于改进大津算法的结构化道路车道线识别方法
CN114170584A (zh) 基于辅助驾驶的行驶路面分类识别方法、系统和智能终端
CN108847085B (zh) 一种驾驶培训智能教练机器人
CN116416504B (zh) 基于车辆协同的高速公路异物检测系统和方法
CN110809088A (zh) 一种基于手机app的交通事故拍照方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant