CN111898671B - 激光成像仪和彩色相机编码融合目标识别方法及系统 - Google Patents

激光成像仪和彩色相机编码融合目标识别方法及系统 Download PDF

Info

Publication number
CN111898671B
CN111898671B CN202010730170.0A CN202010730170A CN111898671B CN 111898671 B CN111898671 B CN 111898671B CN 202010730170 A CN202010730170 A CN 202010730170A CN 111898671 B CN111898671 B CN 111898671B
Authority
CN
China
Prior art keywords
depth image
preprocessed
image
fusion
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010730170.0A
Other languages
English (en)
Other versions
CN111898671A (zh
Inventor
裴大茗
宋萍
翟亚宇
杨诚
王建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute Of Marine Technology & Economy
Beijing Institute of Technology BIT
Original Assignee
China Institute Of Marine Technology & Economy
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute Of Marine Technology & Economy, Beijing Institute of Technology BIT filed Critical China Institute Of Marine Technology & Economy
Priority to CN202010730170.0A priority Critical patent/CN111898671B/zh
Publication of CN111898671A publication Critical patent/CN111898671A/zh
Application granted granted Critical
Publication of CN111898671B publication Critical patent/CN111898671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种激光成像仪和彩色相机编码融合目标识别方法及系统。所述方法包括获取待识别目标的深度图像和RGB图像；对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；本发明所提供的一种激光成像仪和彩色相机编码融合目标识别方法及系统，提高了目标识别的速度和精度。

Description

激光成像仪和彩色相机编码融合目标识别方法及系统
技术领域
本发明涉及多模态融合目标识别领域，特别是涉及一种激光成像仪和彩色相机编码融合目标识别方法及系统。
背景技术
在人工智能迅猛发展的时代，机器人、无人车、智能安检、智能监控等智能设备发展迅速，正在不断改变人们的日常生活。这些智能设备虽然功能各异，但是为了在复杂环境下高可靠地完成多样化任务，其必须能够实现对目标的快速成像、识别，才能为智能设备的跟踪、排险、打击等提供信息支撑。因此，目标识别一直以来都是人工智能领域计算机视觉方向最受关注的视觉任务之一。
目前，目标识别方法按照图像类型主要可分为二维目标识别(RGB图像)和三维目标识别(RGB-D图像)。其中，基于RGB图像的目标识别算法已经达到了很高的识别精度，但是由于RGB色彩模态信息很容易受到外界环境的影响而导致此类算法难以适应更广泛的目标识别场景；关于RGB-D图像目标识别的研究多采用RGB图像数据集预训练的网络参数对深度图像网络进行微调或者把深度图像作为RGB图像的第四通道来进行简单处理，没有对RGB图像和深度图像之间的关系进行详细研究，未能充分对两种图像进行融合，以致于不能充分发挥两种图像在目标识别中的作用，从而造成目标识别速度较慢以及精度较低。
发明内容
本发明的目的是提供一种激光成像仪和彩色相机编码融合目标识别方法及系统，提高目标识别的速度和精度。
为实现上述目的，本发明提供了如下方案：
一种激光成像仪和彩色相机编码融合目标识别方法，包括：
获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取；
对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法；
采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出。
可选的，对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像，具体包括：
利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸；
利用深度图像彩色化的方法处理尺寸调整后的深度图像；
利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。
可选的，所述采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别，具体包括：
利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征；
利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征；
利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征；
根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数；
对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征；
对所述编码后的局部特征进行聚合和归一化处理，确定全局特征；
根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间；
利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别。
可选的，所述双线性编码融合网络RGB图像卷积层和深度图像卷积层的结构相同，且均由6层卷积网络构成；
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。
一种激光成像仪和彩色相机编码融合目标识别系统，包括：
图像获取模块，用于获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取；
图像预处理模块，用于对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法；
目标识别模块，用于采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出。
可选的，所述图像预处理模块具体包括：
尺寸调整单元，用于利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸；
深度图像彩色化处理单元，用于利用深度图像彩色化的方法处理尺寸调整后的深度图像；
去均值处理单元，用于利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。
可选的，所述目标识别模块具体包括：
RGB图像特征提取单元，用于利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征；
深度图像特征提取单元，用于利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征；
融合特征确定单元，用于利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征；
稀疏系数确定单元，用于根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数；
编码后的局部特征确定单元，用于对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征；
全局特征确定单元，用于对所述编码后的局部特征进行聚合和归一化处理，确定全局特征；
全局特征映射单元，用于根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间；
目标识别单元，用于利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别。
可选的，所述双线性编码融合网络RGB图像卷积层和深度图像卷积层的结构相同，且均由6层卷积网络构成；
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种激光成像仪和彩色相机编码融合目标识别方法及系统，通过采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别，即本发明将对RGB图像和深度图像进行融合，解决了RGB图像和深度图像在目标识别中不能充分发挥其优点而造成目标识别速度较慢以及精度较低的问题，本发明能够快速对彩色和深度图像进行训练，可以快速准确的识别目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种激光成像仪和彩色相机编码融合目标识别方法流程示意图；
图2为本发明所提供的双线性编码融合网络的结构示意图；
图3为本发明所提供的一种激光成像仪和彩色相机编码融合目标识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种激光成像仪和彩色相机编码融合目标识别方法及系统，提高目标识别的速度和精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种激光成像仪和彩色相机编码融合目标识别方法流程示意图，如图1所述，本发明所提供的一种激光成像仪和彩色相机编码融合目标识别方法，包括：
S101，获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；激光成像仪优选为固态面阵激光雷达；所述RGB图像利用彩色相机获取。
S102，对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法。
S102具体包括：
利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸。所述双线性编码融合网络需要输入224×224的图像，因此，在获取深度图像和RGB图像后需要先进行缩放调整。调整的具体步骤为：
1)假定原始实验图像大小为a′×b′，选择a′和b′中较大值的一边作为长边，另一边作为短边，则长边值为：m＝max(a′,b′)。
同时缩放比例为：
Figure BDA0002602844060000061
令输入图像a′和b′分别乘以α得到大小为224×N或者N×224的图像，其中，N为短边调整后的尺寸。
2)用短边最边缘两行的像素值去逐行填充图像，直到图像尺寸调整为224×224像素。
利用深度图像彩色化的方法处理尺寸调整后的深度图像。RGB图像和深度图像经过尺寸调整后，RGB图像去均值后可以直接送入双线性编码融合网络去提取特征，但是由于深度图像是单通道，双线性编码融合网络输入为三通道，因此不能直接将深度图输入到双线性编码融合网络中。深度图像彩色化具体步骤为：
1)采用min-max标准化方法对深度图像进行标准化，即
Figure BDA0002602844060000062
其中，Pij表示深度图像第i行第j列的像素值，Pmax和Pmin分别表示单幅深度图像素的最大值和最小值。
2)通过标准化后得到类灰度图D，根据像素值大小，通过COLORMAP_JET映射法，将像素值映射到从红(近)到绿再到蓝(远)。其中COLORMAP_JET映射法是一种将灰度图转换为彩色图的方法，其可以根据灰度值大小将像素值映射到从红到绿再到蓝的色彩空间。
利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。为了使图像在训练过程中不易发生过拟合的情况，需要对图像进行去均值处理，即对图像各维度都减对应维度的均值，从而使得输入数据各个维度都中心化为0。
分别遍历数据集中的RGB图像和深度图像，计算其各个通道的均值，分别对每一张RGB图像和深度图像的各个通道减去相应的均值，得到去均值后的图像。
S103，采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出。双线性编码融合网络的结构示意图如图2所示。
S103具体包括：
利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征。
利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征。
利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征。即通过向量外积的方式将预处理后的深度图像x和预处理后的RGB图像的特征y进行融合后得到全局特征并向量化f＝Vec(xyT)，其中，*T表示向量转置，Vec(X)表示将矩阵转换成向量形式。
根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数。具体采用近端梯度下降求解稀疏系数得到的结果如下：
α′＝(DTD)-1DTF
Figure BDA0002602844060000081
其中，F表示输入数据(向量化全局特征)，D为固定字典，sign()表示符号函数，abs()表示取绝对值，
Figure BDA0002602844060000083
表示哈达码积。
对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征。即
Figure BDA0002602844060000082
其中，αki代表稀疏编码中的稀疏系数，fi代表输入特征，dk表示字典。
对所述编码后的局部特征进行聚合和归一化处理，确定全局特征。
根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间。
利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别。
所述双线性编码融合网络RGB图像卷积层和深度图像卷积层的结构相同，且均由6层卷积网络构成。
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。
本发明所提供的一种激光成像仪和彩色相机编码融合目标识别方法的有益效果为：
提高目标识别精度。在充分研究RGB图像和深度图像双线性融合内在机理的基础上，将稀疏编码和VLAD编码方式融入双线性融合中，构成双线性编码融合网络，可有效提高目标识别精度。
提高双线性融合目标识别网络训练速度和目标识别效率。通过对现有的双线性融合目标识别网络进行改进，降低全连接层的连接维度，可有效提高目标识别网络训练速度，提高目标识别效率。
图3为本发明所提供的一种激光成像仪和彩色相机编码融合目标识别系统结构示意图，如图3所示，本发明所提供的一种激光成像仪和彩色相机编码融合目标识别系统，包括：图像获取模块301、图像预处理模块302和目标识别模块303。
图像获取模块301用于获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取。
图像预处理模块302用于对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法。
目标识别模块303用于采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出。
所述图像预处理模块302具体包括：尺寸调整单元、深度图像彩色化处理单元和去均值处理单元。
尺寸调整单元用于利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸。
深度图像彩色化处理单元用于利用深度图像彩色化的方法处理尺寸调整后的深度图像。
去均值处理单元用于利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。
所述目标识别模块具体包括：RGB图像特征提取单元、深度图像特征提取单元、融合特征确定单元、稀疏系数确定单元、编码后的局部特征确定单元、全局特征确定单元、全局特征映射单元和目标识别单元。
RGB图像特征提取单元用于利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征。
深度图像特征提取单元用于利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征。
融合特征确定单元用于利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征。
稀疏系数确定单元用于根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数。
编码后的局部特征确定单元用于对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征。
全局特征确定单元用于对所述编码后的局部特征进行聚合和归一化处理，确定全局特征。
全局特征映射单元用于根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间。
目标识别单元用于利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别。
所述双线性编码融合网络RGB图像卷积层和深度图像卷积层的结构相同，且均由6层卷积网络构成。
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，包括：
获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取；
对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法；
采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出；
所述采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别，具体包括：
利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征；
利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征；
利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征；
根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数；
对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征；
对所述编码后的局部特征进行聚合和归一化处理，确定全局特征；
根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间；
利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别；
利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征，具体包括：
通过向量外积的方式将所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合；
根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数，具体包括：
采用近端梯度下降求解稀疏系数。
2.根据权利要求1所述的一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，所述对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像，具体包括：
利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸；
利用深度图像彩色化的方法处理尺寸调整后的深度图像；
利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。
3.根据权利要求1所述的一种激光成像仪和彩色相机编码融合目标识别方法，其特征在于，所述双线性编码融合网络RGB图像卷积层和所述深度图像卷积层的结构相同，且均由6层卷积网络构成；
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。
4.一种激光成像仪和彩色相机编码融合目标识别系统，其特征在于，包括：
图像获取模块，用于获取待识别目标的深度图像和RGB图像；所述深度图像利用激光成像仪获取；所述RGB图像利用彩色相机获取；
图像预处理模块，用于对所述深度图像和所述RGB图像分别进行预处理，得到预处理后的深度图像和预处理后的RGB图像；所述预处理包括边缘填充法、深度图像彩色化的方法以及去均值的方法；
目标识别模块，用于采用双线性编码融合网络对所述预处理后的深度图像和预处理后的RGB图像进行目标识别；所述双线性编码融合网络以所述预处理后的深度图像和预处理后的RGB图像为输入，以目标识别结果为输出；
所述目标识别模块具体包括：
RGB图像特征提取单元，用于利用所述双线性编码融合网络的RGB图像卷积层提取所述预处理后的RGB图像的特征；
深度图像特征提取单元，用于利用所述双线性编码融合网络的深度图像卷积层提取所述预处理后的深度图像的特征；
融合特征确定单元，用于利用双线性融合方法对所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合，得到融合特征；
稀疏系数确定单元，用于根据所述融合特征，采用稀疏编码，确定所述融合特征的稀疏系数；
编码后的局部特征确定单元，用于对所述融合特征和所述稀疏系数进行局部聚合描述子向量编码，确定编码后的局部特征；
全局特征确定单元，用于对所述编码后的局部特征进行聚合和归一化处理，确定全局特征；
全局特征映射单元，用于根据所述全局特征，采用所述双线性编码融合网络的全连接层，将所述全局特征映射到样本标记空间；
目标识别单元，用于利用所述双线性编码融合网络的softmax分类器对映射到样本标记空间的全局特征进行目标识别；
融合特征确定单元具体包括：
通过向量外积的方式将所述预处理后的RGB图像的特征和所述预处理后的深度图像的特征进行融合；
稀疏系数确定单元具体包括：
采用近端梯度下降求解稀疏系数。
5.根据权利要求4所述的一种激光成像仪和彩色相机编码融合目标识别系统，其特征在于，所述图像预处理模块具体包括：
尺寸调整单元，用于利用边缘填充法调整所述深度图像的尺寸和所述RGB图像的尺寸；
深度图像彩色化处理单元，用于利用深度图像彩色化的方法处理尺寸调整后的深度图像；
去均值处理单元，用于利用去均值的方法处理尺寸调整后的RGB图像以及深度图像彩色化后的深度图像。
6.根据权利要求5所述的一种激光成像仪和彩色相机编码融合目标识别系统，其特征在于，所述双线性编码融合网络RGB图像卷积层和深度图像卷积层的结构相同，且均由6层卷积网络构成；
第一层卷积网络的输入大小为224×224×3，卷积核大小为11×11，输出通道数为64；第二层卷积网络的输入大小为27×27×64，卷积核大小为5×5，输出通道数为192；第三层卷积网络的输入大小为13×13×192，卷积核大小为3×3，输出通道数为384；第四层卷积网络的输入大小为13×13×384，卷积核大小为3×3，输出通道数为256；第五层卷积网络的输入大小为13×13×256，卷积核大小为3×3，输出通道数为256；第六层卷积网络的输入大小为6×6×256，卷积核大小为1×1，输出通道数为32。
CN202010730170.0A 2020-07-27 2020-07-27 激光成像仪和彩色相机编码融合目标识别方法及系统 Active CN111898671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010730170.0A CN111898671B (zh) 2020-07-27 2020-07-27 激光成像仪和彩色相机编码融合目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010730170.0A CN111898671B (zh) 2020-07-27 2020-07-27 激光成像仪和彩色相机编码融合目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN111898671A CN111898671A (zh) 2020-11-06
CN111898671B true CN111898671B (zh) 2022-05-24

Family

ID=73190159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010730170.0A Active CN111898671B (zh) 2020-07-27 2020-07-27 激光成像仪和彩色相机编码融合目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN111898671B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408590B (zh) * 2021-05-27 2022-07-15 华中科技大学 场景识别方法、训练方法、装置、电子设备及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN109685115A (zh) * 2018-11-30 2019-04-26 西北大学 一种双线性特征融合的细粒度概念模型及学习方法
CN111079561A (zh) * 2019-11-26 2020-04-28 华南理工大学 一种基于虚拟训练的机器人智能抓取方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543697A (zh) * 2018-11-16 2019-03-29 西北工业大学 一种基于深度学习的rgbd图像目标识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN109685115A (zh) * 2018-11-30 2019-04-26 西北大学 一种双线性特征融合的细粒度概念模型及学习方法
CN111079561A (zh) * 2019-11-26 2020-04-28 华南理工大学 一种基于虚拟训练的机器人智能抓取方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统

Also Published As

Publication number Publication date
CN111898671A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110689008A (zh) 一种面向单目图像的基于三维重建的三维物体检测方法
US20210065393A1 (en) Method for stereo matching using end-to-end convolutional neural network
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN113313703B (zh) 基于深度学习图像识别的无人机输电线巡检方法
CN114332639B (zh) 一种非线性残差自注意力机制的卫星姿态视觉测量方法
CN114445430A (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN116758130A (zh) 一种基于多路径特征提取和多尺度特征融合的单目深度预测方法
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
CN116385326A (zh) 一种基于多目标分割的多光谱图像融合方法、装置及设备
CN115861601A (zh) 一种多传感器融合感知方法及装置
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
Wang et al. Global perception-based robust parking space detection using a low-cost camera
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN117475216A (zh) 一种基于aglt网络的高光谱与激光雷达数据融合分类方法
CN111898671B (zh) 激光成像仪和彩色相机编码融合目标识别方法及系统
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115965783A (zh) 一种基于点云和图像特征融合的非结构化道路分割方法
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN117036658A (zh) 一种图像处理方法及相关设备
CN113192018A (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
Guo et al. Simultaneous object detection and association in connected vehicle platform
CN117132914B (zh) 通用电力设备识别大模型方法及系统
CN110910450A (zh) 一种基于混合特征感知神经网络进行3d目标检测的方法
CN115359271B (zh) 一种大尺度不变性的深空小天体图像匹配的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant