CN113240631A - 基于rgb-d融合信息的路面检测方法、系统和智能终端 - Google Patents

基于rgb-d融合信息的路面检测方法、系统和智能终端 Download PDF

Info

Publication number
CN113240631A
CN113240631A CN202110436467.0A CN202110436467A CN113240631A CN 113240631 A CN113240631 A CN 113240631A CN 202110436467 A CN202110436467 A CN 202110436467A CN 113240631 A CN113240631 A CN 113240631A
Authority
CN
China
Prior art keywords
image
rgb
road surface
coordinate system
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110436467.0A
Other languages
English (en)
Other versions
CN113240631B (zh
Inventor
孙旭生
杨超
姚纯纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202110436467.0A priority Critical patent/CN113240631B/zh
Publication of CN113240631A publication Critical patent/CN113240631A/zh
Application granted granted Critical
Publication of CN113240631B publication Critical patent/CN113240631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB‑D融合信息的路面检测方法、系统和智能终端，方法包括：获取目标区域内的左目视图和右目视图，并得到视差图；对所述视差图进行编码并得到编码图像；基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。该方法基于RGB‑D融合信息进行路面不平整度区域检测，实现对路面不平整区域的检测，解决了现有技术中路面平整度检测困难的技术问题。

Description

基于RGB-D融合信息的路面检测方法、系统和智能终端
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于RGB-D融合信息的路面检测方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。在辅助驾驶领域，对路面凹凸状态以及非标障碍物的检测一直是重要且具有挑战性的问题。路面坑洼不仅涉及到驾驶体验问题，更涉及到驾驶安全问题。但是，现有技术中，由于路面不平整度区域仅仅通过单目摄像头获取到的RGB图像信息难以检测，而且现有的基于RGB-D的主流检测方法都是趋于检测较大的物体，无法胜任路面部平整度区域的检测。
发明内容
为此，本发明实施例提供一种基于RGB-D融合信息的路面检测方法、系统和智能终端，以至少部分解决现有技术中路面平整度检测困难的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于RGB-D融合信息的路面检测方法，所述方法包括：
获取目标区域内的左目视图和右目视图，并得到视差图；
对所述视差图进行编码并得到编码图像；
基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；
根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。
进一步地，所述获取目标区域内的左目视图和右目视图，并得到视差图，具体包括：
获取目标区域内的左目视图和右目视图，并形成多组RGB原始图像对；
基于所述RGB原始图像对得到RGB基准校准图像；
设定每组RGB原始图像对中左目视图和右目视图的重合区域作为RGB有效图像区域；
计算所述RGB有效图像区域的视差，得到与RGB基准校准图像的像素点一一对应的视差图；
进一步地，所述基于所述RGB原始图像对得到RGB基准校准图像，具体包括：
对所述RGB原始图像对进行校准，以得到多组RGB校准图像对；
将每组RGB校准图像对中的其中一个校准图像作为RGB基准校准图像。
进一步地，所述对所述视差图进行编码并得到编码图像，具体包括：
采用HHA编码方式对视差图进行编码，以得到HHA图像；
其中，HHA编码方式具体为，将原单通道视差图经过计算得到每个视差点在真实世界坐标系中的水平差异、对地高度以及表面法向量角度，并以计算得到的三种数据作为新的图像三通道，根据新的图像三通道所得图像即为HHA图像。
进一步地，所述上采样点为五组，各所述上采样点对应的上采样过程中，所述编码图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。
进一步地，所述下采样点为五组，各所述下采样点对应的上采样过程中，所述编码图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。
进一步地，所述采用HHA编码方式对视差图进行编码，以得到HHA图像，具体包括：
采用HHA编码方式对视差图进行编码，以得到HHA图像；
其中，HHA编码方式具体为，将原单通道视差图经过计算得到每个视差点在真实世界坐标系中的水平差异、对地高度以及表面法向量角度，并以计算得到的三种数据作为新的图像三通道，根据新的图像三通道所得图像即为HHA图像。
本发明还提供一种基于RGB-D融合信息的路面检测系统，用于实施如上所述的方法，其特征在于，所述系统包括：
视图获取单元，用于获取目标区域内的左目视图和右目视图，并得到视差图；
图像编码单元，用于对所述视差图进行编码并得到编码图像；
图像融合单元，用于基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；
位置获取单元，用于根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于RGB-D融合信息的路面检测方法和系统，通过获取目标区域内的左目视图和右目视图，并得到视差图；对所述视差图进行编码并得到编码图像；基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。该方法基于RGB-D融合信息进行路面不平整度区域检测，首先对双目立体相机成像进行特殊编码处理，随后在语义分割算法中运用RGB图像与视差图像信息融合的方法，最后输出路面不平整区域的位置信息，实现对路面不平整区域的检测，解决了现有技术中路面平整度检测困难的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的路面检测方法一种具体实施方式的流程图；
图2为图1所示方法中视差图获取过程的流程图；
图3为本发明所提供的路面检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的路面检测方法基于语义分割网络，图像语义分割是指将图像根据语义信息分割成具有不同语义标识的分割块，是进一步进行图像分析的重要步骤，可应用于机器人导航，自动驾驶，多媒体技术等多个领域。基于RGB-D信息的图像语义分割算法能够充分利用图像的RGB信息和深度信息,有效的提高图像的语义分割精度，特别是近年来在针对室内场景的语义分割方面已经取得了很好的进展。
请参考图1，图1为本发明所提供的基于RGB-D融合信息的路面检测方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明所提供的基于RGB-D融合信息的路面检测方法包括以下步骤：
S1：获取目标区域内的左目视图和右目视图，并得到视差图；
S2：对所述视差图进行编码并得到编码图像，采用HHA的编码方式对视差图进行编码，以得到HHA图像。也就是说，为了从视差图中获取更多信息，本专利采取了HHA(水平视差、离地高度、平面法向量)的编码方式将视差图重新进行编码。
S3：基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息。在语义分割算法中，融合了双目立体相机采集到的RGB基准校准图像(假设为左相机校准图像)与编码得到的HHA图像，对路面的不平整区域进行检测。最终输出路面不平整区域的位置信息。
S4：根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。也就是说，通过相机坐标系与世界坐标系的换算关系，将算法输出的路面不平整区域在图像中的位置信息转换到世界坐标系中，从而获得检测区域在真实驾驶场景中的位置。
其中，在步骤S1中，所述获取目标区域内的左目视图和右目视图，并得到视差图，如图2所示，具体包括以下步骤：
S101：获取目标区域内的左目视图和右目视图，并形成多组RGB原始图像对；
S102：基于所述RGB原始图像对得到RGB基准校准图像；具体包括，对所述RGB原始图像对进行校准，以得到多组RGB校准图像对；将每组RGB校准图像对中的其中一个校准图像作为RGB基准校准图像。
S103：设定每组RGB原始图像对中左目视图和右目视图的重合区域作为RGB有效图像区域；
S104：计算所述RGB有效图像区域的视差，得到与RGB基准校准图像的像素点一一对应的视差图。
也就是说，在一种具体使用场景中，首先双目立体相机会采集左、右两幅同步成像的原始图像对，经过校准得到校准图像对，再逐点计算视差(仅针对左、右相机重合且有效图像区域)，得到与基准校准图像像素点(假设为左相机校准图像)一一对应的视差图。
其中，所述上采样点为五组，各所述上采样点对应的上采样过程中，所述编码图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。下采样点为五组，各所述下采样点对应的上采样过程中，所述编码图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。
在实际使用场景中，语义分割算法通常分为编码和解码两个过程。编码过程通常采取卷积神经网络(Convolutional Neural Network，CNN)作为主干(本文选择Resnet50作为主干网络)，对输入图像进行特征提取操作(下采样)，而解码过程则是对经过CNN得到的特征图进行反卷积操作(上采样)，旨在得到分辨率与输入图像相同的分割结果。本专利在编码过程中设置了5次上采样和5次下采样。下采样过程中特征图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。上采样过程中特征图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。本专利所采取的融合方法在编码过程中分别为RGB图像和HHA图像设置了一个主干网络，本文称为RGB层与HHA层，并且在每一步下采样的过程中都进行特征融合，本文称为融合层，且为融合得到的特征图也设立一个独立的主干网络进行特征提取(下采样)。此外，本专利所用融合方法在上采样的过程中与相同尺寸的融合层特征图进行融合。多次特征融合极大的增强了网络对路面不平整区域的检测能力。
进一步地，所述采用HHA编码方式对视差图进行编码，以得到HHA图像，具体包括：
采用HHA编码方式对视差图进行编码，以得到HHA图像；
其中，HHA编码方式具体为，将原单通道视差图经过计算得到每个视差点在真实世界坐标系中的水平差异、对地高度以及表面法向量角度，并以计算得到的三种数据作为新的图像三通道，根据新的图像三通道所得图像即为HHA图像。
在上述具体实施方式中，本发明所提供的基于RGB-D融合信息的路面检测方法，通过获取目标区域内的左目视图和右目视图，并得到视差图；对所述视差图进行编码并得到编码图像；基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。该方法基于RGB-D融合信息进行路面不平整度区域检测，首先对双目立体相机成像进行特殊编码处理，随后在语义分割算法中运用RGB图像与视差图像信息融合的方法，最后输出路面不平整区域的位置信息，实现对路面不平整区域的检测，解决了现有技术中路面平整度检测困难的技术问题。
除了上述方法，本发明还提供一种基于RGB-D融合信息的路面检测系统，用于实施如上所述的方法，如图3所示，所述系统包括：
视图获取单元100，用于获取目标区域内的左目视图和右目视图，并得到视差图；
图像编码单元200，用于对所述视差图进行编码并得到编码图像；
图像融合单元300，用于基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；
位置获取单元400，用于根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。
在上述具体实施方式中，本发明所提供的基于RGB-D融合信息的路面检测系统，通过获取目标区域内的左目视图和右目视图，并得到视差图；对所述视差图进行编码并得到编码图像；基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。该方法基于RGB-D融合信息进行路面不平整度区域检测，首先对双目立体相机成像进行特殊编码处理，随后在语义分割算法中运用RGB图像与视差图像信息融合的方法，最后输出路面不平整区域的位置信息，实现对路面不平整区域的检测，解决了现有技术中路面平整度检测困难的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于RGB-D融合信息的路面检测方法，其特征在于，所述方法包括：
获取目标区域内的左目视图和右目视图，并得到视差图；
对所述视差图进行编码并得到编码图像；
基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；
根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。
2.根据权利要求1所述的路面检测方法，其特征在于，所述获取目标区域内的左目视图和右目视图，并得到视差图，具体包括：
获取目标区域内的左目视图和右目视图，并形成多组RGB原始图像对；
基于所述RGB原始图像对得到RGB基准校准图像；
设定每组RGB原始图像对中左目视图和右目视图的重合区域作为RGB有效图像区域；
计算所述RGB有效图像区域的视差，得到与RGB基准校准图像的像素点一一对应的视差图；
3.根据权利要求1所述的路面检测方法，其特征在于，所述基于所述RGB原始图像对得到RGB基准校准图像，具体包括：
对所述RGB原始图像对进行校准，以得到多组RGB校准图像对；
将每组RGB校准图像对中的其中一个校准图像作为RGB基准校准图像。
4.根据权利要求3所述的路面检测方法，其特征在于，所述对所述视差图进行编码并得到编码图像，具体包括：
采用HHA编码方式对视差图进行编码，以得到HHA图像；
其中，HHA编码方式具体为，将原单通道视差图经过计算得到每个视差点在真实世界坐标系中的水平差异、对地高度以及表面法向量角度，并以计算得到的三种数据作为新的图像三通道，根据新的图像三通道所得图像即为HHA图像。
5.根据权利要求4所述的路面检测方法，其特征在于，所述上采样点为五组，各所述上采样点对应的上采样过程中，所述编码图像与原始图像尺寸比例分别为1/16、1/8、1/4、1/2、1。
6.根据权利要求4所述的路面检测方法，其特征在于，所述下采样点为五组，各所述下采样点对应的上采样过程中，所述编码图像与原始图像尺寸比例分别为1/2、1/4、1/8、1/16、1/32。
7.根据权利要求4所述的路面检测方法，其特征在于，所述采用HHA编码方式对视差图进行编码，以得到HHA图像，具体包括：
采用HHA编码方式对视差图进行编码，以得到HHA图像；
其中，HHA编码方式具体为，将原单通道视差图经过计算得到每个视差点在真实世界坐标系中的水平差异、对地高度以及表面法向量角度，并以计算得到的三种数据作为新的图像三通道，根据新的图像三通道所得图像即为HHA图像。
8.一种基于RGB-D融合信息的路面检测系统，用于实施如权利要求1-7任一项所述的方法，其特征在于，所述方法包括：
视图获取单元，用于获取目标区域内的左目视图和右目视图，并得到视差图；
图像编码单元，用于对所述视差图进行编码并得到编码图像；
图像融合单元，用于基于语义分隔算法，将所述编码图像与RGB基准校准图像相融合，以得到路面不平整区域的位置信息；
位置获取单元，用于根据相机坐标系和世界坐标系的关系，将路面不平整区域的位置信息转换到世界坐标系中，得到路面不平整区域在世界坐标系中的位置。
9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN202110436467.0A 2021-04-22 2021-04-22 基于rgb-d融合信息的路面检测方法、系统和智能终端 Active CN113240631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436467.0A CN113240631B (zh) 2021-04-22 2021-04-22 基于rgb-d融合信息的路面检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436467.0A CN113240631B (zh) 2021-04-22 2021-04-22 基于rgb-d融合信息的路面检测方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113240631A true CN113240631A (zh) 2021-08-10
CN113240631B CN113240631B (zh) 2023-12-12

Family

ID=77128880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436467.0A Active CN113240631B (zh) 2021-04-22 2021-04-22 基于rgb-d融合信息的路面检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN113240631B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674275A (zh) * 2021-10-21 2021-11-19 北京中科慧眼科技有限公司 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208264A1 (en) * 2016-06-03 2017-12-07 Deshmukh Ranjeet A road surface evenness and roughness measurement system
US20180285689A1 (en) * 2017-03-30 2018-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Rgb-d scene labeling with multimodal recurrent neural networks
CN110298361A (zh) * 2019-05-22 2019-10-01 浙江省北大信息技术高等研究院 一种rgb-d图像的语义分割方法和系统
CN110956094A (zh) * 2019-11-09 2020-04-03 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111062964A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 图像分割方法及相关装置
CN111179330A (zh) * 2019-12-27 2020-05-19 福建（泉州）哈工大工程技术研究院 一种基于卷积神经网络的双目视觉场景深度估计方法
CN112417976A (zh) * 2020-10-26 2021-02-26 深圳大学 一种路面检测识别方法、装置、智能终端及存储介质
CN112528829A (zh) * 2020-12-07 2021-03-19 中国科学院深圳先进技术研究院 一种基于视觉的非结构化道路的居中行驶方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208264A1 (en) * 2016-06-03 2017-12-07 Deshmukh Ranjeet A road surface evenness and roughness measurement system
US20180285689A1 (en) * 2017-03-30 2018-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Rgb-d scene labeling with multimodal recurrent neural networks
CN110298361A (zh) * 2019-05-22 2019-10-01 浙江省北大信息技术高等研究院 一种rgb-d图像的语义分割方法和系统
CN110956094A (zh) * 2019-11-09 2020-04-03 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111062964A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 图像分割方法及相关装置
CN111179330A (zh) * 2019-12-27 2020-05-19 福建（泉州）哈工大工程技术研究院 一种基于卷积神经网络的双目视觉场景深度估计方法
CN112417976A (zh) * 2020-10-26 2021-02-26 深圳大学 一种路面检测识别方法、装置、智能终端及存储介质
CN112528829A (zh) * 2020-12-07 2021-03-19 中国科学院深圳先进技术研究院 一种基于视觉的非结构化道路的居中行驶方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张旭东;王玉婷;范之国;付绪文;: "基于双金字塔特征融合网络的RGB-D多类实例分割", 控制与决策, no. 07 *
曲磊;王康如;陈利利;李嘉茂;张晓林;: "基于RGBD图像和卷积神经网络的快速道路检测", 光学学报, no. 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674275A (zh) * 2021-10-21 2021-11-19 北京中科慧眼科技有限公司 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Also Published As

Publication number Publication date
CN113240631B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN113240632B (zh) 基于语义分割网络的路面检测方法、系统和智能终端
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN112906449A (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113240631B (zh) 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
CN113196007B (zh) 一种应用于车辆的相机系统
WO2020248910A1 (zh) 目标检测方法和装置
CN113128347B (zh) 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN112465831A (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN111652937B (zh) 车载相机标定方法和装置
CN111225201A (zh) 视差校正方法及装置、存储介质
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN113763303B (zh) 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN114998412B (zh) 基于深度网络和双目视觉的阴影区域视差计算方法和系统
CN111627067B (zh) 一种双目相机的标定方法及车载设备
CN114972470B (zh) 基于双目视觉的路面环境获取方法和系统
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN116229426A (zh) 基于全景环视图像的无人驾驶泊车停车位检测方法
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant