CN113240632A - 基于语义分割网络的路面检测方法、系统和智能终端 - Google Patents

基于语义分割网络的路面检测方法、系统和智能终端 Download PDF

Info

Publication number
CN113240632A
CN113240632A CN202110437899.3A CN202110437899A CN113240632A CN 113240632 A CN113240632 A CN 113240632A CN 202110437899 A CN202110437899 A CN 202110437899A CN 113240632 A CN113240632 A CN 113240632A
Authority
CN
China
Prior art keywords
image
road surface
information
depth
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110437899.3A
Other languages
English (en)
Other versions
CN113240632B (zh
Inventor
孙旭生
杨超
姚纯纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202110437899.3A priority Critical patent/CN113240632B/zh
Publication of CN113240632A publication Critical patent/CN113240632A/zh
Application granted granted Critical
Publication of CN113240632B publication Critical patent/CN113240632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义分割网络的路面检测方法、系统和智能终端，该方法包括：采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。使用框架网络(TBS‑CNN)将双目立体相机拍摄得到的原始图像(RGB图像)与计算得到的深度图像作为输入信息，对路面不同状态进行语义分割，从而能够实现将路面的裂纹、破损、减速带、障碍物等不同路况的精准分割，提高了路面坑洼情况的检测准确性，从而有效提高乘坐舒适度和驾驶安全性。

Description

基于语义分割网络的路面检测方法、系统和智能终端
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于语义分割网络的路面检测方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。在辅助驾驶领域，对路面凹凸状态以及非标障碍物的检测一直是重要且具有挑战性的问题。路面坑洼不仅涉及到驾驶体验问题，更涉及到驾驶安全问题。及时的检测出路面的坑洼以及障碍物不仅能够让驾驶员及时避开危险，对于高端汽车来说，在了解了路面的状态之后自主的调节悬架系统可以让驾驶员和乘坐人员获得更好的乘坐舒适度。
因此，提供一种基于语义分割网络的路面检测方法、系统和智能终端，以便提高路面坑洼情况的检测准确性，从而有效提高乘坐舒适度和驾驶安全性，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于语义分割网络的路面检测方法、系统和智能终端，以便提高路面坑洼情况的检测准确性，从而有效提高乘坐舒适度和驾驶安全性。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于语义分割网络的路面检测方法，所述方法包括：
采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；
将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；
将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。
进一步地，所述将所述视差图中的视差信息转换为深度信息，具体包括：
通过以下公式实现视察信息与深度信息的转换：
depth＝bf/disparity
其中，depth为深度信息，b为相机的基线，f为相机的焦距，disparity为视差信息。
进一步地，所述将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息，具体包括：
在多个采样点处进行原始图像和深度图像的采样；
将同一采样点采集到的所述原始图像和所述深度图像进行融合，以分别得到融合后的特征图像；
根据所述特征图像得到不平整区域。
进一步地，所述在多个采样点处进行原始图像和深度图像的采样，具体包括：
设置多个上采样点，且在各上采样过程中，所述特征图像与所述原始图像的尺寸为第一预设比例；
设置多个下采样点，且在各下采样过程中，所述特征图像与所述原始图像的尺寸为第二预设比例。
进一步地，所述上采样点为五组，各所述上采样点对应的上采样过程中，特征图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。
进一步地，所述下采样点为五组，各所述下采样点对应的上采样过程中，特征图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。
进一步地，所述上采样过程获取语义信息和位置信息，所述下采样过程获取空间注意力信息和通道注意力信息。
本发明还提供一种基于语义分割网络的路面检测系统，用于实施如上所述的方法，所述系统包括：
图像采集单元，用于采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；
图像融合单元，用于将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；
图像处理单元，用于将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于语义分割网络的路面检测方法和系统，通过采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。使用框架网络(TBS-CNN)将双目立体相机拍摄得到的原始图像(RGB图像)与计算得到的深度图像作为输入信息，对路面不同状态进行语义分割，从而能够实现将路面的裂纹、破损、减速带、障碍物等不同路况的精准分割，提高了路面坑洼情况的检测准确性，从而有效提高乘坐舒适度和驾驶安全性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的路面检测方法一种具体实施方式的流程图；
图2为本发明所提供的TBS-CNN的网络结构图；
图3为本发明所提供的路面检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的路面检测方法基于语义分割网络，图像语义分割是指将图像根据语义信息分割成具有不同语义标识的分割块，是进一步进行图像分析的重要步骤，可应用于机器人导航，自动驾驶，多媒体技术等多个领域。基于RGB-D信息的图像语义分割算法能够充分利用图像的RGB信息和深度信息,有效的提高图像的语义分割精度，特别是近年来在针对室内场景的语义分割方面已经取得了很好的进展。
语义分割尽管在RGB图像领域已经取得了重大进展，但是将深度数据直接输入现有的RGB语义分割框架中或仅将两种模态的结果集成在一起可能会导致性能下降。关键挑战来自两个方面：首先是RGB图像和深度图之间的数据特征区别。RGB图像和深度图显示不同的特征。如何有效地识别它们之间的差异，以及将两种类型的信息统一为有效的语义分割表示法仍然是一个未解决的问题。其次是深度测量的不确定性。现有基准提供的深度数据主要由飞行时间相机或结构光相机(如Kinect，AsusXtion和RealSense等)捕获。由于使用环境与测量对象与理想条件不同，上述深度测量设备的深度测量通常范围有限并会产生噪音。这些深度测量设备的限制与弱点对于室外场景更为明显，并可能导致分割的结果变得更加不理想。
请参考图1，图1为本发明所提供的路面检测方法一种具体实施方式的流程图。
为了解决上述问题，提高路面检测的准确性，在一种具体实施方式中，本发明所提供的方法包括以下步骤：
S1：采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图。
S2：将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像。具体地，通过以下公式实现视察信息与深度信息的转换：
depth＝bf/disparity
其中，depth为深度信息，b为相机的基线，f为相机的焦距，disparity为视差信息。
S3：将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。
在一个具体使用场景中，首先双目立体相机会采集左、右相机同步成像的两幅原始图像，经过立体相机校准得到两幅校准图像，再对校准图像对逐点计算视差(仅针对左、右相机重合且有效图像区域)，得到与基准校准图像(假设为做相机校准图像)相对应的视差图。
其中，视差信息与深度信息的转换关系为：
depth＝bf/disparity (1)
在公式(1)中，depth为深度信息，b为相机的基线，f为相机的焦距，disparity为视差信息。本专利将视差信息转换为深度信息作为网络的输入用作特征提取。
将双目立体相机采集到的RGB图像(左相机成像)与转换得到的深度图像作为输入信息，利用TBS-CNN网络对路面的不平整区域进行检测。最终输出路面不平整区域的位置信息。
通过相机坐标系与世界坐标系的换算关系，将算法输出的路面不平整区域在图像中的位置信息转换到世界坐标系中，从而获得检测区域在真实驾驶场景中的位置。
进一步地，为了提高采样精度，上述将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息，具体包括：
在多个采样点处进行原始图像和深度图像的采样；
将同一采样点采集到的所述原始图像和所述深度图像进行融合，以分别得到融合后的特征图像；
根据所述特征图像得到不平整区域。
进一步地，所述在多个采样点处进行原始图像和深度图像的采样，具体包括：
设置多个上采样点，且在各上采样过程中，所述特征图像与所述原始图像的尺寸为第一预设比例；
设置多个下采样点，且在各下采样过程中，所述特征图像与所述原始图像的尺寸为第二预设比例。
其中，所述上采样点为五组，各所述上采样点对应的上采样过程中，特征图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。下采样点为五组，各所述下采样点对应的上采样过程中，特征图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。所述上采样过程获取语义信息和位置信息，所述下采样过程获取空间注意力信息和通道注意力信息。
也就是说，在上述具体使用场景中，如图2所示为TBS-CNN的网络结构图。其中，RGB和Depth分别为输入的RGB图像与深度图像，merge为融合所得的特征图像，predict为最终分割的结果。图中SA(Spatial Attention)与CA(Channel Attention)分别代表空间注意力模块与通道注意力模块。图中down sample与up sample分别为下采样和上采样过程。
具体地，TBS-CNN采用Resnet50作为编码部分的主干网络，并设置了5个下采样和5个上采样的操作。下采样过程中特征图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。上采样过程中特征图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。
TBS-CNN为RGB图像和深度图像在编码过程中分别设置了两个独立的主干网络，即RGB层和深度层。并在编码过程中，每进行一次下采样就将RGB层和深度层所得的特征图进行特征融合，并为融合所得到的特征图单独设立一个主干网络进行特征提取，即融合层。
TBS-CNN在下采样的过程中加入了空间注意力机制与通道注意力机制。空间注意力模块注重于路面异常状态的检测，通道注意力机制注重控制融合过程中RGB信息与深度信息所占的权重。TBS-CNN在上采样过程中融合了融合层的特征图，可以在上采样过程中获取到更多的语义信息与位置信息。
在上述具体实施方式中，本发明所提供的基于语义分割网络的路面检测方法和系统，通过采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。使用框架网络(TBS-CNN)将双目立体相机拍摄得到的原始图像(RGB图像)与计算得到的深度图像作为输入信息，对路面不同状态进行语义分割，从而能够实现将路面的裂纹、破损、减速带、障碍物等不同路况的精准分割，提高了路面坑洼情况的检测准确性，从而有效提高乘坐舒适度和驾驶安全性。
除了上述方法，本发明还提供一种基于语义分割网络的路面检测系统，用于实施如上所述的方法，如图3所示，所述系统包括：
图像采集单元100，用于采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；
图像融合单元200，用于将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；
图像处理单元300，用于将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于语义分割网络的路面检测方法，其特征在于，所述方法包括：
采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；
将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；
将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。
2.根据权利要求1所述的路面检测方法，其特征在于，所述将所述视差图中的视差信息转换为深度信息，具体包括：
通过以下公式实现视察信息与深度信息的转换：
depth＝bf/disparity
其中，depth为深度信息，b为相机的基线，f为相机的焦距，disparity为视差信息。
3.根据权利要求1所述的路面检测方法，其特征在于，所述将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息，具体包括：
在多个采样点处进行原始图像和深度图像的采样；
将同一采样点采集到的所述原始图像和所述深度图像进行融合，以分别得到融合后的特征图像；
根据所述特征图像得到不平整区域。
4.根据权利要求3所述的路面检测方法，其特征在于，所述在多个采样点处进行原始图像和深度图像的采样，具体包括：
设置多个上采样点，且在各上采样过程中，所述特征图像与所述原始图像的尺寸为第一预设比例；
设置多个下采样点，且在各下采样过程中，所述特征图像与所述原始图像的尺寸为第二预设比例。
5.根据权利要求4所述的路面检测方法，其特征在于，所述上采样点为五组，各所述上采样点对应的上采样过程中，特征图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。
6.根据权利要求4所述的路面检测方法，其特征在于，所述下采样点为五组，各所述下采样点对应的上采样过程中，特征图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。
7.根据权利要求4所述的路面检测方法，其特征在于，所述上采样过程获取语义信息和位置信息，所述下采样过程获取空间注意力信息和通道注意力信息。
8.一种基于语义分割网络的路面检测系统，用于实施如权利要求1-7任一项所述的方法，其特征在于，所述系统包括：
图像采集单元，用于采集目标位置的原始图像，并对所述原始图像进行处理以生成视差图；
图像融合单元，用于将所述视差图中的视差信息转换为深度信息，并基于所述深度信息生成深度图像；
图像处理单元，用于将所述原始图像和所述深度图像作为输入信息，利用框架网络对路面的不平整区域进行检测，以获取并输出路面不平整区域的位置信息。
9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN202110437899.3A 2021-04-22 2021-04-22 基于语义分割网络的路面检测方法、系统和智能终端 Active CN113240632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437899.3A CN113240632B (zh) 2021-04-22 2021-04-22 基于语义分割网络的路面检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437899.3A CN113240632B (zh) 2021-04-22 2021-04-22 基于语义分割网络的路面检测方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113240632A true CN113240632A (zh) 2021-08-10
CN113240632B CN113240632B (zh) 2024-04-16

Family

ID=77128936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437899.3A Active CN113240632B (zh) 2021-04-22 2021-04-22 基于语义分割网络的路面检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN113240632B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674275A (zh) * 2021-10-21 2021-11-19 北京中科慧眼科技有限公司 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN113762428A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 路面颠簸度等级分类方法和系统
CN113781543A (zh) * 2021-11-10 2021-12-10 北京中科慧眼科技有限公司 基于双目相机的限高装置检测方法、系统和智能终端
CN113792707A (zh) * 2021-11-10 2021-12-14 北京中科慧眼科技有限公司 基于双目立体相机的地形环境检测方法、系统和智能终端
CN113807306A (zh) * 2021-09-28 2021-12-17 江苏泰扬金属制品有限公司 利用云端服务的信息解析系统
CN114332802A (zh) * 2022-03-15 2022-04-12 北京中科慧眼科技有限公司 基于双目相机的路面平坦度语义分割方法和系统
CN115063594A (zh) * 2022-08-19 2022-09-16 清驰(济南)智能科技有限公司 一种基于自动驾驶的特征提取方法及装置
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
JP2021039692A (ja) * 2019-09-05 2021-03-11 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
JP2021039692A (ja) * 2019-09-05 2021-03-11 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807306A (zh) * 2021-09-28 2021-12-17 江苏泰扬金属制品有限公司 利用云端服务的信息解析系统
CN113674275A (zh) * 2021-10-21 2021-11-19 北京中科慧眼科技有限公司 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN113762428A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 路面颠簸度等级分类方法和系统
CN113781543A (zh) * 2021-11-10 2021-12-10 北京中科慧眼科技有限公司 基于双目相机的限高装置检测方法、系统和智能终端
CN113792707A (zh) * 2021-11-10 2021-12-14 北京中科慧眼科技有限公司 基于双目立体相机的地形环境检测方法、系统和智能终端
CN113781543B (zh) * 2021-11-10 2022-03-18 北京中科慧眼科技有限公司 基于双目相机的限高装置检测方法、系统和智能终端
CN114332802A (zh) * 2022-03-15 2022-04-12 北京中科慧眼科技有限公司 基于双目相机的路面平坦度语义分割方法和系统
CN115063594A (zh) * 2022-08-19 2022-09-16 清驰(济南)智能科技有限公司 一种基于自动驾驶的特征提取方法及装置
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Also Published As

Publication number Publication date
CN113240632B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN113240632B (zh) 基于语义分割网络的路面检测方法、系统和智能终端
CN110378965B (zh) 确定路侧成像设备坐标系转换参数的方法、装置、设备
US20200160561A1 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
CN112906449A (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN113128347B (zh) 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
WO2020117285A9 (en) A multicamera system for autonamous driving vehicles
CN112465831B (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
CN110969666A (zh) 双目相机深度标定方法、装置、系统和存储介质
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN113240631B (zh) 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
CN114509045A (zh) 车轮区域高程检测方法和系统
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN110736472A (zh) 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法
CN113140002A (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113763303B (zh) 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN111754574A (zh) 基于双目相机的距离测试方法、装置、系统和存储介质
CN116824152A (zh) 基于点云的目标检测方法及装置、可读存储介质、终端
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN116258687A (zh) 数据标注方法、系统、装置及电子设备、存储介质
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant