CN109035338A - 基于单尺度特征的点云与图片融合方法、装置及其设备 - Google Patents

基于单尺度特征的点云与图片融合方法、装置及其设备 Download PDF

Info

Publication number
CN109035338A
CN109035338A CN201810777774.3A CN201810777774A CN109035338A CN 109035338 A CN109035338 A CN 109035338A CN 201810777774 A CN201810777774 A CN 201810777774A CN 109035338 A CN109035338 A CN 109035338A
Authority
CN
China
Prior art keywords
feature
picture
point cloud
fusion
convolution operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810777774.3A
Other languages
English (en)
Other versions
CN109035338B (zh
Inventor
徐楷
冯良炳
陈先开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chen Shi Intelligent Technology Co Ltd
Original Assignee
Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chen Shi Intelligent Technology Co Ltd filed Critical Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority to CN201810777774.3A priority Critical patent/CN109035338B/zh
Publication of CN109035338A publication Critical patent/CN109035338A/zh
Application granted granted Critical
Publication of CN109035338B publication Critical patent/CN109035338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种基于单尺度特征的点云与图片融合方法、装置及其设备，所述方法包括：将点云特征与图片特征分别通过一卷积层进行第一次卷积操作；将第一次卷积层操作后输出结果分别做为第二个卷积层的输入，进行第二次卷积操作；将第二次卷积操作后输出的结果做一次逐元素取平均融合；将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合；然后再做第三次卷积操作；将经第三次卷积操作后结果进行逐元素取平均融合，并作为最终输出结果。本发明所述方法能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

Description

基于单尺度特征的点云与图片融合方法、装置及其设备
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于单尺度特征的点云与图片融合方法、装置及其设备。
背景技术
目前，人们对自动驾驶安全问题的关注，使得自动驾驶领域的3D目标检测研究成为了热点。相对于2D目标检测，3D目标检测需要检测出2D目标检测所没有要求的深度信息，因此雷达传感器获得的包含深度信息的点云数据成为了3D目标检测的数据来源之一。然而，由于点云数据往往是稀疏的，并且不能传达丰富的纹理信息，使得检测算法不能很好地达到预期的效果。而与点云数据相比，图片数据虽然无法表示深度信息，但是可以表示丰富的纹理信息，在这种情况下，设计可以有不错效果的同时利用点云数据与图片数据进行3D目标检测的算法成为了一个急待解决的问题。
然而，现有的点云数据与图片融合方法往往采用如线性相加或取平均值的方法进行处理，处理方法过于简单并且数据间无交互，如此，现有方法在对3D目标定位与方向预测方面均存在定位效果不佳，预测精准度不高等问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于单尺度特征的点云与图片融合方法及其装置，旨在能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。
本发明解决上述技术问题所采用的技术方案如下：
本发明的第一方面提供一种基于单尺度特征的点云与图片融合方法，该方法包括：
通过提取特征网络获得点云特征与图片特征，将点云特征与图片特征分别通过一卷积层进行第一次卷积操作；
将点云特征与图片特征经过第一次卷积操作后输出的结果分别做为第二个卷积层的输入，进行第二次卷积操作；
将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合；
将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合；
将经跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第三次卷积操作；
将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合，并作为融合算法的最终输出结果。
在一些实施例中，所述通过提取特征网络获得点云特征与图片特征，将点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括：
同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
xim,xpc为输入融合网络的特征图；
下标“im”、“pc”分别代表为图片特征和点云特征；
为两个并列的卷积层的权重参数；
b1im,b1pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y1im,y1pc为两个并列的卷积层的最终输出结果。
在一些实施例中，所述将点云特征与图片特征经过第一次卷积操作后输出结果分别做为第二个卷积层的输入，进行第二次卷积操作还包括步骤：
同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
y1im,y1pc为上一层卷积层的输出结果；
下标“im”、“pc”分别代表图片特征和点云特征；
为两个并列的卷积层的权重参数；
b2im,b2pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y2im,y2pc为两个并列的卷积层的最终输出结果。
在一些实施例中，所述将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合，公式为:
其中“b,h,w,i”为非负整数，代表张量下标序数。
在一些实施例中，所述方法还可包括：将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合公式为：
y4im[b][h][w][i]＝y1im[b][h][w][i],0≤i＜m 6；
y4im[b][h][w][i+m]＝y2im[b][h][w][i],0≤i＜n 7；
y4im[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 8；
y4pc[b][h][w][i]＝y1pc[b][h][w][i],0≤i＜m 9；
y4pc[b][h][w][i+m]＝y2pc[b][h][w][i],0≤i＜n 10；
y4pc[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 11；
其中“b,h,w,i”为非负整数，代表张量下标序数；
“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。
在一实施例中，所述将经跳跃连接，并进行线性融合后获得的特征图分别经过卷积层做第三次卷积操作还包括步骤：
同时控制卷积层输出的特征图个数，对应数学形式为：
其中，y4im,y4pc为上一层卷积层的输出；
下标“im”、“pc”分别表示为图片或点云特征；
为两个并列的卷积层的权重参数；该权重参数经网络学习自动获得；
b5im,b5pc为两个并列的卷积层的偏置参数；该偏置参数经网络学习自动获得；
σ为激活函数对应函数max{0,x}；
y5im,y5pc为两个并列的卷积层的最终输出。
在一实施例中，所述卷积层卷积核大小为1*1，步长为1，同时控制卷积层输出的特征图个数为16。
在一实施例中，所述将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合公式为：
本发明的第二方面还提供一种基于单尺度特征的点云与图片融合装置，所述装置包括：
特征提取模块，用于通过提取特征网络获得点云特征与图片特征；
第一次卷积模块，用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作；
第二次卷积模块，用于将经所述第一次卷积模块输出结果分别做为第二个卷积层的输入，进行第二次卷积操作；
第一平均融合模块，用于将所述第二卷积模块的输出结果做一次逐元素取平均融合；
跳跃连接模块，用于对所述第一卷积模块、所述第二卷积模块以及所述第一平均融合模块所获得的特征图进行一次跳跃连接；
线性融合模块；用于对特征图像进行线性融合操作；
第三次卷积模块，用于对所述线性融合模块输出的特征图分别经过第三次卷积模块做卷积操作；
第二平均融合模块，用于对经过所述第三次卷积模块操作输出的点云特征与图片特征再次进行逐元素取平均融合。
本发明的第三方面还提供一种基于单尺度特征的点云与图片融合设备，括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现上述所述方法中的步骤。
本发明实施例提供的一种基于单尺度特征的点云与图片融合方法、装置及其设备能加强点云特征与图片特征的交互，而且在特征交互的同时，能保持单个传感器获取网络特征的独立性；本发明实施例所述方法采用非线性的融合方法能增强特征的表现力；在非线性的融合方法框架下加入灵活的线性融合方式，利用快捷连接提高特征的利用率，从而能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。
附图说明
图1为本发明实施例的基于单尺度特征的点云与图片融合算法的可视化模型图；
图2为本发明实施例基于单尺度特征的点云与图片融合方法流程图；
图3为本发明实施例基于单尺度特征的点云与图片融合装置结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对于现有技术中对点云与图片融合方法往往采用如线性相加或取平均值的方法进行处理，处理方法过于简单并且数据间无交互，对3D目标定位与方向预测方面均存在定位效果不佳，预测精准度不高的问题，本发明提出一种基于单尺度特征的点云与图片融合方法、装置及其设备，能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性，从而提高使用该技术应用到相关领域的安全性能。
名义定义及解释：
本发明实施例中所提及的卷积层为2D卷积且已封装了TensorFlow(表示张量流)中的2D卷积层与激活层Relu。
卷积层初始参数采用0均值，1方差的高斯分布的初始化方式。
卷积层的输出特征图数会综合考虑融合数据中点云特征图数与图片特征图数的比率；并且融合数据再与单传感器获取的网络特征数据进行再次融合时的特征图数比率能有效得到控制。在本实施例中，所述单传感器是用来采集图像，从而在图像上提取网络特征数据。
实施例一：
本发明提供的一种基于单尺度特征的点云与图片融合方法，请参阅图1，其为本发明实施例所提出的基于单尺度特征的点云与图片融合算法的可视化模型图，请参阅图2，本发明实施例所述方法具体包括以下步骤：
S1通过提取特征网络获得点云特征与图片特征，将点云特征与图片特征分别通过一卷积层进行第一次卷积操作，同时控制卷积层输出的特征图个数。
具体地，通过提取特征网络将获得的点云特征与图片特征分别通过一个卷积层(两类特征抽象程度相同)进行卷积，同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
xim,xpc为输入融合网络的特征图；
下标“im”、“pc”分别代表为图片特征和点云特征；
为两个并列的卷积层的权重参数；该权重参数经网络学习自动获得；
b1im,b1pc为两个并列的卷积层的偏置参数；该偏置参数经网络学习自动获得；
σ为激活函数对应max{0,x}；
y1im,y1pc为两个并列的卷积层的最终输出结果。
S2将点云特征与图片特征经过第一次卷积层操作后输出结果分别做为第二个卷积层的输入，进行第二次卷积操作。
具体地，将S1中经过第一次卷积操作的输出结果分别做为第二个卷积层的输入，进行第二次卷积操作，同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
本实施例中，控制卷积层输出的特征图个数为16；
y1im,y1pc为上一层卷积层的输出结果；
下标“im”、“pc”分别代表图片特征和点云特征；
为两个并列的卷积层的权重参数；
b2im,b2pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y2im,y2pc为两个并列的卷积层的最终输出结果。
S3将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合。
具体地，将S2中点云特征与图片特征的第二次的卷积输出结果做一次逐元素取平均融合，即
如图1中所示从左往右的第一个表示上述融合函数5；
其中“b,h,w,i”为非负整数代表张量下标序数。
S4将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合。
具体地，将S1、S2、S3步骤中最终获得的特征图进行一次跳跃连接，并通过concatenation进行线性融合，对应图1中的即
y4im[b][h][w][i]＝y1im[b][h][w][i],0≤i＜m 6；
y4im[b][h][w][i+m]＝y2im[b][h][w][i],0≤i＜n 7；
y4im[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 8；
y4pc[b][h][w][i]＝y1pc[b][h][w][i],0≤i＜m 9；
y4pc[b][h][w][i+m]＝y2pc[b][h][w][i],0≤i＜n 10；
y4pc[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 11；
其中“b,h,w,i”为非负整数，代表张量下标序数；
“b,h,w”中b对应网络训练时的超参数值大小(需根据实际情况设定一个整数值)；
h,w分别对应特征图的长和宽，同样可以根据实际情况设定为某个整数值；
i对应特征图的个数，同样可以根据实际情况设定为某个整数值；
b,h,w,i均无明确范围且一旦设计网络结构确定，其值才能确定。
“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。
S5将经跳跃连接，并进行线性融合后获得的特征图分别经过卷积层做第三次卷积操作。
具体地，将S4步骤中获得的特征图分别经过一卷积层做第三次卷积操作，同时控制卷积层输出的特征图个数，对应数学形式为：
其中，y4im,y4pc为上一层卷积层的输出；
下标“im”、“pc”分别代表为图片云特征和点云特征；
为两个并列的卷积层的权重参数；该权重参数经网络学习自动获得；
b5im,b5pc为两个并列的卷积层的偏置参数；该偏置参数经网络学习自动获得；
σ为激活函数对应函数max{0,x}；
y5im,y5pc为两个并列的卷积层的最终输出。
在本实施例中，所述卷积层卷积核大小都为1*1，步长都为1，同时控制卷积层输出的特征图个数都为16。
S6将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合，并作为融合算法的最终输出结果。
具体地，将S5获得的点云特征与图片特征再次进行逐元素取平均融合，并作为融合算法的最终输出结果，对应图1中最右边的即：
上述步骤S1-S6步骤的模型数学公式表现形式为：
注：表示图片的L+1层网络特征；表示点云的L+1层网络特征；操作符为C:concatenate(线性融合操作)或M:element-wise mean(元素平均值)；L表示卷积的层数序号。
本发明实施例所述方法针对现有融合算法比较简单且数据间无交互的问题进行改进，包括在强化点云与图片数据间的交互同时强调数据的独立性、采用表现力更强的非线性融合方式，同时利用线性融合方式做灵活的特征拼接处理，通过小尺度的卷积核做特征整合处理。本发明所提出的基于单尺度特征的点云与图片融合方法经试验验证在3D目标物体定位精确性与方向预测准确性方面效果均优于现有的融合方法。
本发明实施例所述基于单尺度特征的点云与图片融合方法能加强点云特征与图片特征的交互，而且在特征交互的同时，能保持单个传感器获取网络特征的独立性；本发明实施例所述方法采用非线性的融合方法能增强特征的表现力；在非线性的融合方法框架下加入灵活的线性融合方式，利用快捷的跳跃连接提高特征的利用率，从而能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。
实施例二
本发明实施例还提供一种基于单尺度特征的点云与图片融合装置，请参阅图3，所述装置包括如下模块：
特征提取模块10，第一次卷积模块20、第二次卷积模块30、第一平均融合模块40、跳跃连接模块50、线性融合模块60、第三次卷积模块70以及第二平均融合模块80。
所述特征提取模块10，用于通过提取特征网络获得点云特征与图片特征。
所述第一次卷积模块20，用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作，同时控制卷积层输出的特征图个数。
具体地，通过特征提取模块10获得点云特征与图片特征；然后将获得的点云特征与图片特征分别通过所述第一次卷积模块20(两类特征抽象程度相同)进行卷积操作，同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
xim,xpc为输入融合网络的特征图；
下标“im”、“pc”分别代表为图片特征和点云特征；
为两个并列的卷积层的权重参数；
b1im,b1pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y1im,y1pc为两个并列的卷积层的最终输出结果。
所述第二次卷积模块30，用于将经第一次卷积模块20输出的结果分别做为第二个卷积层的输入，进行第二次卷积操作。
具体地，将所述点云特征与图片特征分别通过所述第一次卷积模块20后输出的结果分别输入所述第二次卷积模块30进行卷积操作，同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
本实施例中，同时控制卷积层输出的特征图个数为16；
y1im,y1pc为上一层卷积层的输出结果；
下标“im”、“pc”分别代表图片特征和点云特征；
为两个并列的卷积层的权重参数；
b2im,b2pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y2im,y2pc为两个并列的卷积层的最终输出结果。
第一平均融合模块40，用于将第二卷积模块30的输出结果做一次逐元素取平均融合，即
如图1中所示从左往右的第一个表示上述融合函数5
其中“b,h,w,i”为非负整数，代表张量下标序数。
跳跃连接模块50，用于对第一卷积模块20、第二卷积模块30以及第一平均融合模块40所获得的特征图进行一次跳跃连接，并通过所述线性融合模块60进行线性融合(concatenation)操作，对应图1中的即
y4im[b][h][w][i]＝y1im[b][h][w][i],0≤i＜m 6；
y4im[b][h][w][i+m]＝y2im[b][h][w][i],0≤i＜n 7；
y4im[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 8；
y4pc[b][h][w][i]＝y1pc[b][h][w][i],0≤i＜m 9；
y4pc[b][h][w][i+m]＝y2pc[b][h][w][i],0≤i＜n 10；
y4pc[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 11；
其中“b,h,w,i”为非负整数，代表张量下标序数；
“b,h,w”中b对应网络训练时的超参数值大小(需根据实际情况设定一个整数值)；
h,w分别对应特征图的长和宽，同样可以根据实际情况设定为某个整数值；
i对应特征图的个数，同样可以根据实际情况设定为某个整数值；
b,h,w,i均无明确范围且一旦设计网络结构确定，其值才能确定。
“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。
线性融合模块60；用于对特征图进行线性融合操作。
所述第三次卷积模块70，用于对线性融合模块30输出的特征图分别做卷积操作，同时控制卷积层输出的特征图个数，对应数学形式为：
其中，y4im,y4pc为上一层卷积层的输出结果；
下标“im”、“pc”分别代表图片特征和点云特征；
为两个并列的卷积层的权重参数；该权重参数经网络学习自动获得；
b5im,b5pc为两个并列的卷积层的偏置参数；该偏置参数经网络学习自动获得；
σ为激活函数对应函数max{0,x}；
y5im,y5pc为两个并列的卷积层的最终输出。
在本实施例中，所述卷积层卷积核大小都为1*1，步长都为1，同时控制卷积层输出的特征图个数都为16。
所述第二平均融合模块80，用于对经过所述第三次卷积模块70操作输出的点云特征与图片特征再次进行逐元素取平均融合，并作为融合算法的最终输出结果，对应图1中最右边的即：
本发明实施例所述基于单尺度特征的点云与图片融合装置能加强点云特征与图片特征的交互，而且在特征交互的同时，能保持单个传感器获取网络特征的独立性；本发明实施例通过所述第一卷积模块20、第二卷积模块30、第三卷积模块70和跳跃连接模块50能增强特征的表现力；通过线性融合模块60在非线性的融合方法框架下加入灵活的线性融合方式，利用快捷的跳跃连接模块50能有效提高特征的利用率，从而能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。
实施例三：
根据本发明的一个实施例提供的一种基于单尺度特征的点云与图片融合设备，该设备包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现上述基于单尺度特征的点云与图片融合方法中的步骤，具体步骤如实施例一中描述所述，在此不再赘述。
本实施例中的存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
根据本实施例的一个示例，上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。该存储介质包括但不限于磁碟、优盘、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种基于单尺度特征的点云与图片融合方法，其特征在于，包括步骤：
通过提取特征网络获得点云特征与图片特征，将点云特征与图片特征分别通过一卷积层进行第一次卷积操作；
将点云特征与图片特征经过第一次卷积操作后输出的结果分别做为第二个卷积层的输入，进行第二次卷积操作；
将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合；
将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合；
将经跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第三次卷积操作；
将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合，并作为融合算法的最终输出结果。
2.根据权利要求1所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述通过提取特征网络获得点云特征与图片特征，将点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括：
同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
xim,xpc为输入融合网络的特征图；
下标“im”、“pc”分别代表为图片特征和点云特征；
为两个并列的卷积层的权重参数；
b1im,b1pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y1im,y1pc为两个并列的卷积层的最终输出结果。
3.根据权利要求1所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述将点云特征与图片特征经过第一次卷积操作后输出结果分别做为第二个卷积层的输入，进行第二次卷积操作还包括步骤：
同时控制卷积层输出的特征图个数，对应数学公式为：
其中，卷积层卷积核大小都为1*1，步长都为1；
y1im,y1pc为上一层卷积层的输出结果；
下标“im”、“pc”分别代表图片特征和点云特征；
为两个并列的卷积层的权重参数；
b2im,b2pc为两个并列的卷积层的偏置参数；
σ为激活函数对应max{0,x}；
y2im,y2pc为两个并列的卷积层的最终输出结果。
4.根据权利要求1所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合，公式为:
其中“b,h,w,i”为非负整数，代表张量下标序数。
5.根据权利要求1所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合公式为：
y4im[b][h][w][i]＝y1im[b][h][w][i],0≤i＜m 6；
y4im[b][h][w][i+m]＝y2im[b][h][w][i],0≤i＜n 7；
y4im[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 8；
y4pc[b][h][w][i]＝y1pc[b][h][w][i],0≤i＜m 9；
y4pc[b][h][w][i+m]＝y2pc[b][h][w][i],0≤i＜n 10；
y4pc[b][h][w][i+m+n]＝y3[b][h][w][i],0≤i＜k 11；
其中“b,h,w,i”为非负整数，代表张量下标序数；
“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。
6.根据权利要求1所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述将经跳跃连接，并进行线性融合后获得的特征图分别经过卷积层做第三次卷积操作还包括步骤：
同时控制卷积层输出的特征图个数，对应数学形式为：
其中，y4im,y4pc为上一层卷积层的输出；
下标“im”、“pc”分别表示为图片或点云特征；
为两个并列的卷积层的权重参数；该权重参数经网络学习自动获得；
b5im,b5pc为两个并列的卷积层的偏置参数；该偏置参数经网络学习自动获得；
σ为激活函数对应函数max{0,x}；
y5im,y5pc为两个并列的卷积层的最终输出。
7.根据权利要求6所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述卷积层卷积核大小为1*1，步长为1，同时控制卷积层输出的特征图个数为16。
8.根据权利要求1所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合公式为：
9.一种基于单尺度特征的点云与图片融合装置，应用于权利要求1至8任一项所述的基于单尺度特征的点云与图片融合方法，其特征在于，所述装置包括：
特征提取模块，用于通过提取特征网络获得点云特征与图片特征；
第一次卷积模块，用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作；
第二次卷积模块，用于将经所述第一次卷积模块输出结果分别做为第二个卷积层的输入，进行第二次卷积操作；
第一平均融合模块，用于将所述第二卷积模块的输出结果做一次逐元素取平均融合；
跳跃连接模块，用于对所述第一卷积模块、所述第二卷积模块以及所述第一平均融合模块所获得的特征图进行一次跳跃连接；
线性融合模块；用于对特征图像进行线性融合操作；
第三次卷积模块，用于对所述线性融合模块输出的特征图分别经过第三次卷积模块做卷积操作；
第二平均融合模块，用于对经过所述第三次卷积模块操作输出的点云特征与图片特征再次进行逐元素取平均融合。
10.一种基于单尺度特征的点云与图片融合设备，包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法中的步骤。
CN201810777774.3A 2018-07-16 2018-07-16 一种基于单尺度特征的点云与图片融合方法、装置及其设备 Active CN109035338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810777774.3A CN109035338B (zh) 2018-07-16 2018-07-16 一种基于单尺度特征的点云与图片融合方法、装置及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810777774.3A CN109035338B (zh) 2018-07-16 2018-07-16 一种基于单尺度特征的点云与图片融合方法、装置及其设备

Publications (2)

Publication Number Publication Date
CN109035338A true CN109035338A (zh) 2018-12-18
CN109035338B CN109035338B (zh) 2020-11-10

Family

ID=64642752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810777774.3A Active CN109035338B (zh) 2018-07-16 2018-07-16 一种基于单尺度特征的点云与图片融合方法、装置及其设备

Country Status (1)

Country Link
CN (1) CN109035338B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1540575B1 (en) * 2002-08-28 2011-10-05 Bae Systems Aircraft Controls Inc. Image fusion system and method
CN105806315A (zh) * 2014-12-31 2016-07-27 上海新跃仪表厂 基于主动编码信息的非合作目标相对测量系统及测量方法
US20170148222A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of art-styled ar/vr content
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107578091A (zh) * 2017-08-30 2018-01-12 电子科技大学 一种基于轻量级深度网络的行人车辆实时检测方法
CN108231190A (zh) * 2017-12-12 2018-06-29 北京市商汤科技开发有限公司 处理图像的方法和神经网络系统、设备、介质、程序

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1540575B1 (en) * 2002-08-28 2011-10-05 Bae Systems Aircraft Controls Inc. Image fusion system and method
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20170148222A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of art-styled ar/vr content
CN105806315A (zh) * 2014-12-31 2016-07-27 上海新跃仪表厂 基于主动编码信息的非合作目标相对测量系统及测量方法
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107578091A (zh) * 2017-08-30 2018-01-12 电子科技大学 一种基于轻量级深度网络的行人车辆实时检测方法
CN108231190A (zh) * 2017-12-12 2018-06-29 北京市商汤科技开发有限公司 处理图像的方法和神经网络系统、设备、介质、程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO LI等: ""Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference"", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
谢艳梅: ""融合深度图和三维模型的人体运动捕获技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN109035338B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN105631426B (zh) 对图片进行文本检测的方法及装置
CN106372651A (zh) 图片品质的检测方法及装置
EP3679521A1 (en) Segmenting objects by refining shape priors
CN110852941B (zh) 一种基于神经网络的二维虚拟试衣方法
CN107341805A (zh) 图像前背景分割及网络模型训练、图像处理方法和装置
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107316029B (zh) 一种活体验证方法及设备
CN107358242A (zh) 目标区域颜色识别方法、装置及监控终端
CN109558902A (zh) 一种快速目标检测方法
CN108647712A (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN110349215A (zh) 一种相机位姿估计方法及装置
CN111881804A (zh) 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN108399370A (zh) 表情识别的方法及云系统
CN114529687A (zh) 图像重建方法、装置、电子设备及计算机可读存储介质
He et al. Facial landmark localization by part-aware deep convolutional network
Lim et al. Automated post-processing of 3D-printed parts: artificial powdering for deep classification and localisation
Hueting et al. Seethrough: finding chairs in heavily occluded indoor scene images
CN104504692A (zh) 基于区域对比度的图像中显著对象的提取方法
CN109035338A (zh) 基于单尺度特征的点云与图片融合方法、装置及其设备
CN109118539A (zh) 基于多尺度特征的点云与图片融合方法、装置及其设备
CN112966193A (zh) 出行意图推断方法、模型训练方法、相关装置及电子设备
Beaini et al. Deep green function convolution for improving saliency in convolutional neural networks
Pan et al. Progressive guidance edge perception network for semantic segmentation of remote-sensing images
CN109460485A (zh) 一种图像库建立方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant