CN113128347B - 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 - Google Patents

基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 Download PDF

Info

Publication number
CN113128347B
CN113128347B CN202110314425.XA CN202110314425A CN113128347B CN 113128347 B CN113128347 B CN 113128347B CN 202110314425 A CN202110314425 A CN 202110314425A CN 113128347 B CN113128347 B CN 113128347B
Authority
CN
China
Prior art keywords
target
obstacle
rgb
parallax
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110314425.XA
Other languages
English (en)
Other versions
CN113128347A (zh
Inventor
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202110314425.XA priority Critical patent/CN113128347B/zh
Publication of CN113128347A publication Critical patent/CN113128347A/zh
Priority to US17/400,574 priority patent/US11762957B2/en
Application granted granted Critical
Publication of CN113128347B publication Critical patent/CN113128347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB‑D融合信息的障碍物目标分类方法、系统和智能终端，方法包括：采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB‑D通道信息融合得到所述障碍物目标的分类结果。这样，该方法解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

Description

基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。尤其是在辅助驾驶领域中，无人驾驶的障碍物感知方向时，需要识别不同障碍物的类别属性，为后期的功能策略提供基础数据依据。但是，目前的分类方法中，输入信息为灰度图像和RGB彩色图像，在遇到逆光、暗光等特殊环境下，导致障碍物识别的效果下降，影响障碍物识别准确性。
发明内容
为此，本发明实施例提供一种基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端，以解决现有技术中，在特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于RGB-D融合信息的障碍物目标分类方法，所述方法包括：
采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；
采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；
基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；
根据所述目标视差图计算所述障碍物目标的深度信息；
基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。
进一步地，所述基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，具体包括：
筛选所述视差图中的有效视差点；
计算各所述有效视差点的视差值；
根据所述视差值的聚集程度，获得障碍物目标框。
进一步地，所述基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果，具体包括：
获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；
根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；
将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。
进一步地，所述备选类别的获取，具体包括：
基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；
将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；
针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。
进一步地，所述分类模型包括：
输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；
特征提取主干网络，所述特征提取主干网络用于进行特征提取；
分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。
进一步地，所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。
进一步地，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：
将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。
本发明还提供一种基于RGB-D融合信息的障碍物目标分类系统，用于实施如上所述的方法，所述系统包括：
视差图获取单元，用于采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；
RGB图像获取单元，用于采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；
障碍物确认单元，用于基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；
深度信息获取单元，用于根据所述目标视差图计算所述障碍物目标的深度信息；
分类结果获取单元，用于基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于RGB-D融合信息的障碍物目标分类方法和系统通过采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。这样，该方法融合了RGB和深度信息并共同作为分类模型的输入，能够很好的解决模型在特殊场景下的失效问题，提升分类模型的鲁棒性；依据障碍物的先验尺寸和空间尺寸的相似度，进行类别的筛选，能够进一步的减少人、车的误识别，从而解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的障碍物目标分类方法一种具体实施方式的流程图；
图2为本发明所提供的分类结果获取过程的流程图；
图3为本发明所提供的障碍物目标分类系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的障碍物目标分类方法和系统基于RGB-D融合信息，以RGB-D融合后的信息作为模型的输入数据，使物理空间目标的三维立体信息和色彩空间的颜色轮廓信息相融合，解决了在光照条件较差时模型识别效果变差的问题，从而保证了障碍物分类的准确性和及时性，为自动驾驶或辅助驾驶中的后续功能策略提供的可靠的数据依据。
在一种具体实施方式中，本发明所提供的障碍物目标分类方法基于RGB-D融合信息，如图1所示，所述方法包括以下步骤：
S1：采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；也就是说，利用双目相机的左目相机和右目相机分别得到双目的原始图像，并以原始图像为基础，基于双目立体匹配获得视差图。
S2：采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像，其中，基准相机可以为双目相机的左目相机，也可以为双目相机的右目相机，该实施例以左目相机作为基准相机为例。
S3：基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图。具体地，在通过视差聚类获取障碍物目标时，首先筛选所述视差图中的有效视差点，而后计算各所述有效视差点的视差值，最后根据所述视差值的聚集程度，获得障碍物目标框。
S4：根据所述目标视差图计算所述障碍物目标的深度信息；
S5：基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。
为了提高分类结果的准确性，步骤S5中，所述基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果，如图2所示，具体包括以下步骤：
S501：获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；
S502：根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；
S503：将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。其中，所述备选类别的获取，具体包括：基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。
上述分类模型包括输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；特征提取主干网络，所述特征提取主干网络用于进行特征提取；分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。其中，所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。
进一步地，为了提高图像效果，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。
在上述具体实施方式中，本发明所提供的基于RGB-D融合信息的障碍物目标分类方法和系统通过采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。这样，该方法融合了RGB和深度信息并共同作为分类模型的输入，能够很好的解决模型在特殊场景下的失效问题，提升分类模型的鲁棒性；依据障碍物的先验尺寸和空间尺寸的相似度，进行类别的筛选，能够进一步的减少人、车的误识别，从而解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。
除了上述方法，本发明还提供一种基于RGB-D融合信息的障碍物目标分类系统，用于实施如上所述的方法，在一种具体实施方式中，如图3所示，所述系统包括：
视差图获取单元100，用于采集目标范围内的双目相机的原始图像，并得到原始图像的视差图。在实际使用场景中，利用双目相机的左目相机和右目相机分别得到双目的原始图像，并以原始图像为基础，基于双目立体匹配获得视差图。
RGB图像获取单元200，用于采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像。其中，基准相机可以为双目相机的左目相机，也可以为双目相机的右目相机，该实施例以左目相机作为基准相机为例。
障碍物确认单元300，用于基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图。具体地，在通过视差聚类获取障碍物目标时，首先筛选所述视差图中的有效视差点，而后计算各所述有效视差点的视差值，最后根据所述视差值的聚集程度，获得障碍物目标框。
深度信息获取单元400，用于根据所述目标视差图计算所述障碍物目标的深度信息；
分类结果获取单元500，用于基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。
其中，分类结果获取单元500具体用于：
获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；
根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；
将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。其中，所述备选类别的获取，具体包括：基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。
上述分类模型包括输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；特征提取主干网络，所述特征提取主干网络用于进行特征提取；分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。其中，所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。
进一步地，为了提高图像效果，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。
在上述具体实施方式中，本发明所提供的基于RGB-D融合信息的障碍物目标分类方法和系统通过采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。这样，该方法融合了RGB和深度信息并共同作为分类模型的输入，能够很好的解决模型在特殊场景下的失效问题，提升分类模型的鲁棒性；依据障碍物的先验尺寸和空间尺寸的相似度，进行类别的筛选，能够进一步的减少人、车的误识别，从而解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (7)

1.一种基于RGB-D融合信息的障碍物目标分类方法，其特征在于，所述方法包括：
采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；
采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；
基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；
根据所述目标视差图计算所述障碍物目标的深度信息；
基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果；
所述基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，具体包括：
筛选所述视差图中的有效视差点；
计算各所述有效视差点的视差值；
根据所述视差值的聚集程度，获得障碍物目标框；
所述基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果，具体包括：
获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；
根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；
将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果；
所述备选类别的获取，具体包括：
基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；
将目标的RGB-D数据拼接为四个通道的张量，并将RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；
针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。
2.根据权利要求1所述的障碍物目标分类方法，其特征在于，所述分类模型包括：
输入层，所述输入层的输入维度为宽度值×高度值×通道数，其中，宽度值和高度值均为64，通道数为4；
特征提取主干网络，所述特征提取主干网络用于进行特征提取；
分类器，所述分类器的可识别类别包括大型车、中型车、小型车、骑行者和行人。
3.根据权利要求2所述的障碍物目标分类方法，其特征在于，
所述分类模型的特征提取主干网络为resnet18，分类器为softmax多类别分类器。
4.根据权利要求1所述的障碍物目标分类方法，其特征在于，所述将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合，之前还包括：
将所述障碍物的相对深度值与色彩通道统一为8bit位宽数据，以进行深度图归一化处理。
5.一种基于RGB-D融合信息的障碍物目标分类系统，用于实施如权利要求1-3任一项所述的方法，其特征在于，所述系统包括：
视差图获取单元，用于采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；
RGB图像获取单元，用于采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；
障碍物确认单元，用于基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；
深度信息获取单元，用于根据所述目标视差图计算所述障碍物目标的深度信息；
分类结果获取单元，用于基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。
6.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-3任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-3任一项所述的方法。
CN202110314425.XA 2021-03-24 2021-03-24 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 Active CN113128347B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110314425.XA CN113128347B (zh) 2021-03-24 2021-03-24 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
US17/400,574 US11762957B2 (en) 2021-03-24 2021-08-12 RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110314425.XA CN113128347B (zh) 2021-03-24 2021-03-24 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113128347A CN113128347A (zh) 2021-07-16
CN113128347B true CN113128347B (zh) 2024-01-16

Family

ID=76773959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110314425.XA Active CN113128347B (zh) 2021-03-24 2021-03-24 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端

Country Status (2)

Country Link
US (1) US11762957B2 (zh)
CN (1) CN113128347B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677573B (zh) * 2022-05-30 2022-08-26 上海捷勃特机器人有限公司 视觉分类方法、系统、装置及计算机可读介质
CN116310598B (zh) * 2023-05-16 2023-08-22 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置
CN116912805B (zh) * 2023-09-07 2024-02-02 山东博昂信息科技有限公司 一种基于无人清扫车的井盖异常智能检测识别方法及系统
CN117152133B (zh) * 2023-10-30 2024-03-19 北京中科慧眼科技有限公司 基于双目立体视觉的非纹理遮挡检测方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN107909010A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种道路障碍物检测方法与装置
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
KR20190041840A (ko) * 2017-10-13 2019-04-23 네이버랩스 주식회사 비동기 방식의 목표물 분류에 기반한 모바일 로봇 제어
CN110378942A (zh) * 2018-08-23 2019-10-25 北京京东尚科信息技术有限公司 基于双目相机的障碍物标识方法、系统、设备和存储介质
CN111191538A (zh) * 2019-12-20 2020-05-22 北京中科慧眼科技有限公司 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN111797836A (zh) * 2020-06-18 2020-10-20 中国空间技术研究院 一种基于深度学习的地外天体巡视器障碍物分割方法
CN112418040A (zh) * 2020-11-16 2021-02-26 南京邮电大学 一种基于双目视觉的障碍物占用消防通道的检测与识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
WO2012161734A1 (en) * 2011-05-26 2012-11-29 Thomson Licensing Scale-independent maps
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
US10645366B2 (en) * 2016-06-10 2020-05-05 Lucid VR, Inc. Real time re-calibration of stereo cameras
CN107980138B (zh) * 2016-12-28 2021-08-17 达闼机器人有限公司 一种虚警障碍物检测方法及装置
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
KR20190041840A (ko) * 2017-10-13 2019-04-23 네이버랩스 주식회사 비동기 방식의 목표물 분류에 기반한 모바일 로봇 제어
CN107909010A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种道路障碍物检测方法与装置
CN110378942A (zh) * 2018-08-23 2019-10-25 北京京东尚科信息技术有限公司 基于双目相机的障碍物标识方法、系统、设备和存储介质
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN111191538A (zh) * 2019-12-20 2020-05-22 北京中科慧眼科技有限公司 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN111797836A (zh) * 2020-06-18 2020-10-20 中国空间技术研究院 一种基于深度学习的地外天体巡视器障碍物分割方法
CN112418040A (zh) * 2020-11-16 2021-02-26 南京邮电大学 一种基于双目视觉的障碍物占用消防通道的检测与识别方法

Also Published As

Publication number Publication date
US20220309297A1 (en) 2022-09-29
US11762957B2 (en) 2023-09-19
CN113128347A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113128347B (zh) 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
CN109146929B (zh) 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
CN110348297B (zh) 一种用于识别立体停车库的检测方法、系统、终端和存储介质
US8761498B1 (en) Face and license plate detection in street level images with 3-D road width features estimated from laser data
WO2020248910A1 (zh) 目标检测方法和装置
CN107808140B (zh) 一种基于图像融合的单目视觉道路识别算法
CN110889464A (zh) 神经网络训练、目标对象的检测方法及装置
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
CN112733672A (zh) 基于单目相机的三维目标检测方法、装置和计算机设备
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN113792752B (zh) 基于双目相机的图像特征提取方法、系统和智能终端
CN112232368A (zh) 目标识别模型训练方法、目标识别方法及其相关装置
CN111814567A (zh) 人脸活体检测的方法、装置、设备和存储介质
CN116310684A (zh) 基于Transformer的多模态特征融合的三维目标检测方法
CN113240631B (zh) 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113420704A (zh) 一种基于视觉传感器的物体识别方法、装置及机器人
CN112529011A (zh) 目标检测方法及相关装置
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
KR20180093418A (ko) 보행자 검출 장치 및 방법
CN114972470A (zh) 基于双目视觉的路面环境获取方法和系统
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN111382654B (zh) 图像处理方法和装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant