CN109035338B - 一种基于单尺度特征的点云与图片融合方法、装置及其设备 - Google Patents
一种基于单尺度特征的点云与图片融合方法、装置及其设备 Download PDFInfo
- Publication number
- CN109035338B CN109035338B CN201810777774.3A CN201810777774A CN109035338B CN 109035338 B CN109035338 B CN 109035338B CN 201810777774 A CN201810777774 A CN 201810777774A CN 109035338 B CN109035338 B CN 109035338B
- Authority
- CN
- China
- Prior art keywords
- convolution
- point cloud
- fusion
- features
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于单尺度特征的点云与图片融合方法、装置及其设备,所述方法包括:将点云特征与图片特征分别通过一卷积层进行第一次卷积操作;将第一次卷积层操作后输出结果分别做为第二个卷积层的输入,进行第二次卷积操作;将第二次卷积操作后输出的结果做一次逐元素取平均融合;将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合;然后再做第三次卷积操作;将经第三次卷积操作后结果进行逐元素取平均融合,并作为最终输出结果。本发明所述方法能精确地对目标物体进行定位及方向预测,以提高对目标物体定位及方向预测的精准性。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种基于单尺度特征的点云与图片融合方法、装置及其设备。
背景技术
目前,人们对自动驾驶安全问题的关注,使得自动驾驶领域的3D目标检测研究成为了热点。相对于2D目标检测,3D目标检测需要检测出2D目标检测所没有要求的深度信息,因此雷达传感器获得的包含深度信息的点云数据成为了3D目标检测的数据来源之一。然而,由于点云数据往往是稀疏的,并且不能传达丰富的纹理信息,使得检测算法不能很好地达到预期的效果。而与点云数据相比,图片数据虽然无法表示深度信息,但是可以表示丰富的纹理信息,在这种情况下,设计可以有不错效果的同时利用点云数据与图片数据进行3D目标检测的算法成为了一个急待解决的问题。
然而,现有的点云数据与图片融合方法往往采用如线性相加或取平均值的方法进行处理,处理方法过于简单并且数据间无交互,如此,现有方法在对3D目标定位与方向预测方面均存在定位效果不佳,预测精准度不高等问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于单尺度特征的点云与图片融合方法及其装置,旨在能精确地对目标物体进行定位及方向预测,以提高对目标物体定位及方向预测的精准性。
本发明解决上述技术问题所采用的技术方案如下:
本发明的第一方面提供一种基于单尺度特征的点云与图片融合方法,该方法包括:
通过提取特征网络获得点云特征与图片特征,将点云特征与图片特征分别通过一卷积层进行第一次卷积操作;
将点云特征与图片特征经过第一次卷积操作后输出的结果分别做为第二个卷积层的输入,进行第二次卷积操作;
将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合;
将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合;
将经跳跃连接,并进行线性融合后获得的特征图分别经过一卷积层做第三次卷积操作;
将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合,并作为融合算法的最终输出结果。
在一些实施例中,所述通过提取特征网络获得点云特征与图片特征,将点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括:
同时控制卷积层输出的特征图个数,对应数学公式为:
其中,卷积层卷积核大小都为1*1,步长都为1;
xim,xpc为输入融合网络的特征图;
下标“im”、“pc”分别代表为图片特征和点云特征;
b1im,b1pc为两个并列的卷积层的偏置参数;
σ为激活函数对应max{0,x};
y1im,y1pc为两个并列的卷积层的最终输出结果。
在一些实施例中,所述将点云特征与图片特征经过第一次卷积操作后输出结果分别做为第二个卷积层的输入,进行第二次卷积操作还包括步骤:
同时控制卷积层输出的特征图个数,对应数学公式为:
其中,卷积层卷积核大小都为1*1,步长都为1;
y1im,y1pc为上一层卷积层的输出结果;
下标“im”、“pc”分别代表图片特征和点云特征;
b2im,b2pc为两个并列的卷积层的偏置参数;
σ为激活函数对应max{0,x};
y2im,y2pc为两个并列的卷积层的最终输出结果。
在一些实施例中,所述将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合,公式为:
其中“b,h,w,i”为非负整数,代表张量下标序数。
在一些实施例中,所述方法还可包括:将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合公式为:
y4im[b][h][w][i]=y1im[b][h][w][i],0≤i<m 6;
y4im[b][h][w][i+m]=y2im[b][h][w][i],0≤i<n 7;
y4im[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 8;
y4pc[b][h][w][i]=y1pc[b][h][w][i],0≤i<m 9;
y4pc[b][h][w][i+m]=y2pc[b][h][w][i],0≤i<n 10;
y4pc[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 11;
其中“b,h,w,i”为非负整数,代表张量下标序数;
“m,n,k”为正整数,不同公式中“b,h,w”变化范围相同,“i”的变化范围不同。
在一实施例中,所述将经跳跃连接,并进行线性融合后获得的特征图分别经过卷积层做第三次卷积操作还包括步骤:
同时控制卷积层输出的特征图个数,对应数学形式为:
其中,y4im,y4pc为上一层卷积层的输出;
下标“im”、“pc”分别表示为图片或点云特征;
b5im,b5pc为两个并列的卷积层的偏置参数;该偏置参数经网络学习自动获得;
σ为激活函数对应函数max{0,x};
y5im,y5pc为两个并列的卷积层的最终输出。
在一实施例中,所述卷积层卷积核大小为1*1,步长为1,同时控制卷积层输出的特征图个数为16。
在一实施例中,所述将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合公式为:
其中“b,h,w,i”为非负整数代表张量下标序数;
b对应网络训练时的超参数值大小;
h,w分别对应特征图的长和宽;
i对应特征图的个数;
下标“im”、“pc”分别代表图片特征和点云特征;
y5im[b][h][w][i]表示第三次卷积的图片特征;
y5pc[b][h][w][i]表示第三次卷积的点云特征;
y6[b][h][w][i]表示第三次卷积的点云特征和图片特征的融合结果。
本发明的第二方面还提供一种基于单尺度特征的点云与图片融合装置,所述装置包括:
特征提取模块,用于通过提取特征网络获得点云特征与图片特征;
第一次卷积模块,用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作;
第二次卷积模块,用于将经所述第一次卷积模块输出结果分别做为第二个卷积层的输入,进行第二次卷积操作;
第一平均融合模块,用于将所述第二次卷积模块的输出结果做一次逐元素取平均融合;
跳跃连接模块,用于对所述第一次卷积模块、所述第二次卷积模块以及所述第一平均融合模块所获得的特征图进行一次跳跃连接;
线性融合模块;用于对特征图像进行线性融合操作;
第三次卷积模块,用于对所述线性融合模块输出的特征图分别经过第三次卷积模块做卷积操作;
第二平均融合模块,用于对经过所述第三次卷积模块操作输出的点云特征与图片特征再次进行逐元素取平均融合。
本发明的第三方面还提供一种基于单尺度特征的点云与图片融合设备,括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序,所述计算机程序被处理器执行时实现上述所述方法中的步骤。
本发明实施例提供的一种基于单尺度特征的点云与图片融合方法、装置及其设备能加强点云特征与图片特征的交互,而且在特征交互的同时,能保持单个传感器获取网络特征的独立性;本发明实施例所述方法采用非线性的融合方法能增强特征的表现力;在非线性的融合方法框架下加入灵活的线性融合方式,利用快捷连接提高特征的利用率,从而能精确地对目标物体进行定位及方向预测,以提高对目标物体定位及方向预测的精准性。
附图说明
图1为本发明实施例的基于单尺度特征的点云与图片融合算法的可视化模型图;
图2为本发明实施例基于单尺度特征的点云与图片融合方法流程图;
图3为本发明实施例基于单尺度特征的点云与图片融合装置结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对于现有技术中对点云与图片融合方法往往采用如线性相加或取平均值的方法进行处理,处理方法过于简单并且数据间无交互,对3D目标定位与方向预测方面均存在定位效果不佳,预测精准度不高的问题,本发明提出一种基于单尺度特征的点云与图片融合方法、装置及其设备,能精确地对目标物体进行定位及方向预测,以提高对目标物体定位及方向预测的精准性,从而提高使用该技术应用到相关领域的安全性能。
名义定义及解释:
本发明实施例中所提及的卷积层为2D卷积且已封装了TensorF l ow(表示张量流)中的2D卷积层与激活层Re l u。
卷积层初始参数采用0均值,1方差的高斯分布的初始化方式。
卷积层的输出特征图数会综合考虑融合数据中点云特征图数与图片特征图数的比率;并且融合数据再与单传感器获取的网络特征数据进行再次融合时的特征图数比率能有效得到控制。在本实施例中,所述单传感器是用来采集图像,从而在图像上提取网络特征数据。
实施例一:
本发明提供的一种基于单尺度特征的点云与图片融合方法,请参阅图1,其为本发明实施例所提出的基于单尺度特征的点云与图片融合算法的可视化模型图,请参阅图2,本发明实施例所述方法具体包括以下步骤:
S1通过提取特征网络获得点云特征与图片特征,将点云特征与图片特征分别通过一卷积层进行第一次卷积操作,同时控制卷积层输出的特征图个数。
具体地,通过提取特征网络将获得的点云特征与图片特征分别通过一个卷积层(两类特征抽象程度相同)进行卷积,同时控制卷积层输出的特征图个数,对应数学公式为:
其中,卷积层卷积核大小都为1*1,步长都为1;
xim,xpc为输入融合网络的特征图;
下标“im”、“pc”分别代表为图片特征和点云特征;
b1im,b1pc为两个并列的卷积层的偏置参数;该偏置参数经网络学习自动获得;
σ为激活函数对应max{0,x};
y1im,y1pc为两个并列的卷积层的最终输出结果。
S2将点云特征与图片特征经过第一次卷积层操作后输出结果分别做为第二个卷积层的输入,进行第二次卷积操作。
具体地,将S1中经过第一次卷积操作的输出结果分别做为第二个卷积层的输入,进行第二次卷积操作,同时控制卷积层输出的特征图个数,对应数学公式为:
其中,卷积层卷积核大小都为1*1,步长都为1;
本实施例中,控制卷积层输出的特征图个数为16;
y1im,y1pc为上一层卷积层的输出结果;
下标“im”、“pc”分别代表图片特征和点云特征;
b2im,b2pc为两个并列的卷积层的偏置参数;
σ为激活函数对应max{0,x};
y2im,y2pc为两个并列的卷积层的最终输出结果。
S3将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合。
其中“b,h,w,i”为非负整数代表张量下标序数。
S4将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合。
y4im[b][h][w][i]=y1im[b][h][w][i],0≤i<m 6;
y4im[b][h][w][i+m]=y2im[b][h][w][i],0≤i<n 7;
y4im[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 8;
y4pc[b][h][w][i]=y1pc[b][h][w][i],0≤i<m 9;
y4pc[b][h][w][i+m]=y2pc[b][h][w][i],0≤i<n 10;
y4pc[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 11;
其中“b,h,w,i”为非负整数,代表张量下标序数;
“b,h,w”中b对应网络训练时的超参数值大小(需根据实际情况设定一个整数值);
h,w分别对应特征图的长和宽,同样可以根据实际情况设定为某个整数值;
i对应特征图的个数,同样可以根据实际情况设定为某个整数值;
b,h,w,i均无明确范围且一旦设计网络结构确定,其值才能确定。
“m,n,k”为正整数,不同公式中“b,h,w”变化范围相同,“i”的变化范围不同。
S5将经跳跃连接,并进行线性融合后获得的特征图分别经过卷积层做第三次卷积操作。
具体地,将S4步骤中获得的特征图分别经过一卷积层做第三次卷积操作,同时控制卷积层输出的特征图个数,对应数学形式为:
其中,y4im,y4pc为上一层卷积层的输出;
下标“im”、“pc”分别代表为图片云特征和点云特征;
b5im,b5pc为两个并列的卷积层的偏置参数;该偏置参数经网络学习自动获得;
σ为激活函数对应函数max{0,x};
y5im,y5pc为两个并列的卷积层的最终输出。
在本实施例中,所述卷积层卷积核大小都为1*1,步长都为1,同时控制卷积层输出的特征图个数都为16。
S6将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合,并作为融合算法的最终输出结果。
上述步骤S1-S6步骤的模型数学公式表现形式为:
本发明实施例所述方法针对现有融合算法比较简单且数据间无交互的问题进行改进,包括在强化点云与图片数据间的交互同时强调数据的独立性、采用表现力更强的非线性融合方式,同时利用线性融合方式做灵活的特征拼接处理,通过小尺度的卷积核做特征整合处理。本发明所提出的基于单尺度特征的点云与图片融合方法经试验验证在3D目标物体定位精确性与方向预测准确性方面效果均优于现有的融合方法。
本发明实施例所述基于单尺度特征的点云与图片融合方法能加强点云特征与图片特征的交互,而且在特征交互的同时,能保持单个传感器获取网络特征的独立性;本发明实施例所述方法采用非线性的融合方法能增强特征的表现力;在非线性的融合方法框架下加入灵活的线性融合方式,利用快捷的跳跃连接提高特征的利用率,从而能精确地对目标物体进行定位及方向预测,以提高对目标物体定位及方向预测的精准性。
实施例二
本发明实施例还提供一种基于单尺度特征的点云与图片融合装置,请参阅图3,所述装置包括如下模块:
特征提取模块10,第一次卷积模块20、第二次卷积模块30、第一平均融合模块40、跳跃连接模块50、线性融合模块60、第三次卷积模块70以及第二平均融合模块80。
所述特征提取模块10,用于通过提取特征网络获得点云特征与图片特征。
所述第一次卷积模块20,用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作,同时控制卷积层输出的特征图个数。
具体地,通过特征提取模块10获得点云特征与图片特征;然后将获得的点云特征与图片特征分别通过所述第一次卷积模块20(两类特征抽象程度相同)进行卷积操作,同时控制卷积层输出的特征图个数,对应数学公式为:
其中,卷积层卷积核大小都为1*1,步长都为1;
xim,xpc为输入融合网络的特征图;
下标“im”、“pc”分别代表为图片特征和点云特征;
b1im,b1pc为两个并列的卷积层的偏置参数;
σ为激活函数对应max{0,x};
y1im,y1pc为两个并列的卷积层的最终输出结果。
所述第二次卷积模块30,用于将经第一次卷积模块20输出的结果分别做为第二个卷积层的输入,进行第二次卷积操作。
具体地,将所述点云特征与图片特征分别通过所述第一次卷积模块20后输出的结果分别输入所述第二次卷积模块30进行卷积操作,同时控制卷积层输出的特征图个数,对应数学公式为:
其中,卷积层卷积核大小都为1*1,步长都为1;
本实施例中,同时控制卷积层输出的特征图个数为16;
y1im,y1pc为上一层卷积层的输出结果;
下标“im”、“pc”分别代表图片特征和点云特征;
b2im,b2pc为两个并列的卷积层的偏置参数;
σ为激活函数对应max{0,x};
y2im,y2pc为两个并列的卷积层的最终输出结果。
第一平均融合模块40,用于将第二次卷积模块30的输出结果做一次逐元素
其中“b,h,w,i”为非负整数,代表张量下标序数。
跳跃连接模块50,用于对第一次卷积模块20、第二次卷积模块30以及第一平均融合模块40所获得的特征图进行一次跳跃连接,并通过所述线性融合模块60进行线性融合(concatenation)操作,对应图即
y4im[b][h][w][i]=y1im[b][h][w][i],0≤i<m 6;
y4im[b][h][w][i+m]=y2im[b][h][w][i],0≤i<n 7;
y4im[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 8;
y4pc[b][h][w][i]=y1pc[b][h][w][i],0≤i<m 9;
y4pc[b][h][w][i+m]=y2pc[b][h][w][i],0≤i<n 10;
y4pc[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 11;
其中“b,h,w,i”为非负整数,代表张量下标序数;
“b,h,w”中b对应网络训练时的超参数值大小(需根据实际情况设定一个整数值);
h,w分别对应特征图的长和宽,同样可以根据实际情况设定为某个整数值;
i对应特征图的个数,同样可以根据实际情况设定为某个整数值;
b,h,w,i均无明确范围且一旦设计网络结构确定,其值才能确定。
“m,n,k”为正整数,不同公式中“b,h,w”变化范围相同,“i”的变化范围不同。
线性融合模块60;用于对特征图进行线性融合操作。
所述第三次卷积模块70,用于对线性融合模块30输出的特征图分别做卷积操作,同时控制卷积层输出的特征图个数,对应数学形式为:
其中,y4im,y4pc为上一层卷积层的输出结果;
下标“im”、“pc”分别代表图片特征和点云特征;
b5im,b5pc为两个并列的卷积层的偏置参数;该偏置参数经网络学习自动获得;
σ为激活函数对应函数max{0,x};
y5im,y5pc为两个并列的卷积层的最终输出。
在本实施例中,所述卷积层卷积核大小都为1*1,步长都为1,同时控制卷积层输出的特征图个数都为16。
本发明实施例所述基于单尺度特征的点云与图片融合装置能加强点云特征与图片特征的交互,而且在特征交互的同时,能保持单个传感器获取网络特征的独立性;本发明实施例通过所述第一卷积模块20、第二卷积模块30、第三卷积模块70和跳跃连接模块50能增强特征的表现力;通过线性融合模块60在非线性的融合方法框架下加入灵活的线性融合方式,利用快捷的跳跃连接模块50能有效提高特征的利用率,从而能精确地对目标物体进行定位及方向预测,以提高对目标物体定位及方向预测的精准性。
实施例三:
根据本发明的一个实施例提供的一种基于单尺度特征的点云与图片融合设备,该设备包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序,所述计算机程序被处理器执行时实现上述基于单尺度特征的点云与图片融合方法中的步骤,具体步骤如实施例一中描述所述,在此不再赘述。
本实施例中的存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据手机的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
根据本实施例的一个示例,上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。该存储介质包括但不限于磁碟、优盘、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上参照附图说明了本发明的优选实施例,并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质,可以有多种变型方案实现本发明,比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进,均应在本发明的权利范围之内。
Claims (10)
1.一种基于单尺度特征的点云与图片融合方法,其特征在于,包括步骤:
通过提取特征网络获得点云特征与图片特征,将点云特征与图片特征分别通过一卷积层进行第一次卷积操作;
将点云特征与图片特征经过第一次卷积操作后输出的结果分别做为第二个卷积层的输入,进行第二次卷积操作;
将点云特征与图片特征经过第二次卷积操作后输出的结果做一次逐元素取平均融合;
将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合;
将经跳跃连接,并进行线性融合后获得的特征图分别经过一卷积层做第三次卷积操作;
将经第三次卷积操作获得的点云特征与图片特征再次进行逐元素取平均融合,并作为融合算法的最终输出结果。
5.根据权利要求1所述的基于单尺度特征的点云与图片融合方法,其特征在于,所述将点云特征与图片特征经第一次卷积操作后输出结果、第二次卷积操作后输出结果以及逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合公式为:
y4im[b][h][w][i]=y1im[b][h][w][i],0≤i<m 6;
y4im[b][h][w][i+m]=y2im[b][h][w][i],0≤i<n 7;
y4im[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 8;
y4pc[b][h][w][i]=y1pc[b][h][w][i],0≤i<m 9;
y4pc[b][h][w][i+m]=y2pc[b][h][w][i],0≤i<n 10;
y4pc[b][h][w][i+m+n]=y3[b][h][w][i],0≤i<k 11;
其中“b,h,w,i”为非负整数,代表张量下标序数;
“m,n,k”为正整数,不同公式中“b,h,w”变化范围相同,“i”的变化范围不同。
7.根据权利要求6所述的基于单尺度特征的点云与图片融合方法,其特征在于,所述卷积层卷积核大小为1*1,步长为1,同时控制卷积层输出的特征图个数为16。
9.一种基于单尺度特征的点云与图片融合装置,应用于权利要求1至8任一项所述的基于单尺度特征的点云与图片融合方法,其特征在于,所述装置包括:
特征提取模块,用于通过提取特征网络获得点云特征与图片特征;
第一次卷积模块,用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作;
第二次卷积模块,用于将经所述第一次卷积模块输出结果分别做为第二个卷积层的输入,进行第二次卷积操作;
第一平均融合模块,用于将所述第二次卷积模块的输出结果做一次逐元素取平均融合;
跳跃连接模块,用于对所述第一次卷积模块、所述第二次卷积模块以及所述第一平均融合模块所获得的特征图进行一次跳跃连接;
线性融合模块;用于对特征图像进行线性融合操作;
第三次卷积模块,用于对所述线性融合模块输出的特征图分别经过第三次卷积模块做卷积操作;
第二平均融合模块,用于对经过所述第三次卷积模块操作输出的点云特征与图片特征再次进行逐元素取平均融合。
10.一种基于单尺度特征的点云与图片融合设备,包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810777774.3A CN109035338B (zh) | 2018-07-16 | 2018-07-16 | 一种基于单尺度特征的点云与图片融合方法、装置及其设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810777774.3A CN109035338B (zh) | 2018-07-16 | 2018-07-16 | 一种基于单尺度特征的点云与图片融合方法、装置及其设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109035338A CN109035338A (zh) | 2018-12-18 |
CN109035338B true CN109035338B (zh) | 2020-11-10 |
Family
ID=64642752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810777774.3A Active CN109035338B (zh) | 2018-07-16 | 2018-07-16 | 一种基于单尺度特征的点云与图片融合方法、装置及其设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109035338B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1540575B1 (en) * | 2002-08-28 | 2011-10-05 | Bae Systems Aircraft Controls Inc. | Image fusion system and method |
CN105806315A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 基于主动编码信息的非合作目标相对测量系统及测量方法 |
CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
CN107122705A (zh) * | 2017-03-17 | 2017-09-01 | 中国科学院自动化研究所 | 基于三维人脸模型的人脸关键点检测方法 |
CN107578091A (zh) * | 2017-08-30 | 2018-01-12 | 电子科技大学 | 一种基于轻量级深度网络的行人车辆实时检测方法 |
CN108231190A (zh) * | 2017-12-12 | 2018-06-29 | 北京市商汤科技开发有限公司 | 处理图像的方法和神经网络系统、设备、介质、程序 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10726560B2 (en) * | 2014-10-31 | 2020-07-28 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled AR/VR content |
-
2018
- 2018-07-16 CN CN201810777774.3A patent/CN109035338B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1540575B1 (en) * | 2002-08-28 | 2011-10-05 | Bae Systems Aircraft Controls Inc. | Image fusion system and method |
CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
CN105806315A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 基于主动编码信息的非合作目标相对测量系统及测量方法 |
CN107122705A (zh) * | 2017-03-17 | 2017-09-01 | 中国科学院自动化研究所 | 基于三维人脸模型的人脸关键点检测方法 |
CN107578091A (zh) * | 2017-08-30 | 2018-01-12 | 电子科技大学 | 一种基于轻量级深度网络的行人车辆实时检测方法 |
CN108231190A (zh) * | 2017-12-12 | 2018-06-29 | 北京市商汤科技开发有限公司 | 处理图像的方法和神经网络系统、设备、介质、程序 |
Non-Patent Citations (2)
Title |
---|
"Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference";Bo Li等;《Computer Vision and Pattern Recognition》;20170427;1-4 * |
"融合深度图和三维模型的人体运动捕获技术研究";谢艳梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215(第(2016)02期);I138-1233 * |
Also Published As
Publication number | Publication date |
---|---|
CN109035338A (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110168560B (zh) | 用于场景理解和生成的方法、系统和介质 | |
CN108122234B (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
WO2019223382A1 (zh) | 单目深度估计方法及其装置、设备和存储介质 | |
CN109325972B (zh) | 激光雷达稀疏深度图的处理方法、装置、设备及介质 | |
CN108027885B (zh) | 空间变换器模块 | |
JP2022534337A (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
JP7123133B2 (ja) | 両眼画像の深度推定方法及び装置、機器、プログラム並びに媒体 | |
CN109816769A (zh) | 基于深度相机的场景地图生成方法、装置及设备 | |
EP3679521A1 (en) | Segmenting objects by refining shape priors | |
CN112733820B (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
CN110622177A (zh) | 实例分割 | |
KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
CN110852349A (zh) | 一种图像处理方法、检测方法、相关设备及存储介质 | |
CN112348828A (zh) | 基于神经网络的实例分割方法和装置以及存储介质 | |
CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
CN109377508B (zh) | 图像处理方法和装置 | |
CN109118456B (zh) | 图像处理方法和装置 | |
CN111357018B (zh) | 使用神经网络的图像分割 | |
CN113255619B (zh) | 车道线识别及定位方法、电子设备和计算机可读介质 | |
US20150220804A1 (en) | Image processor with edge selection functionality | |
CN115115971A (zh) | 处理图像以定位新颖对象 | |
CN111882578A (zh) | 前景图像获取方法、前景图像获取装置和电子设备 | |
CN111382695A (zh) | 用于检测目标的边界点的方法和装置 | |
CN109118539B (zh) | 一种基于多尺度特征的点云与图片融合方法、装置及其设备 | |
CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |