CN112669219A - 一种立体360度全景图像拼接方法及装置 - Google Patents
一种立体360度全景图像拼接方法及装置 Download PDFInfo
- Publication number
- CN112669219A CN112669219A CN202110081734.7A CN202110081734A CN112669219A CN 112669219 A CN112669219 A CN 112669219A CN 202110081734 A CN202110081734 A CN 202110081734A CN 112669219 A CN112669219 A CN 112669219A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- splicing
- sub
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像拼接领域,提供一种立体360度全景图像拼接方法及装置,用于解决图像拼接处图像质量低的问题。本发明提供的立体360度全景图像拼接方法,包括:获取车辆四周及上方的图像,每个所述图像中均包含标定物;将拼接处的图像和校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成。提高了图像拼接的质量,尤其是提高了拼接处的图像质量。
Description
技术领域
本发明涉及图像拼接领域,具体涉及立体360度全景图像拼接方法。
背景技术
全景影像系统的应用,通过在安装在汽车的前后左右等方位安装摄像头拍摄汽车周边的影像,并在汽车内部的显示屏上进行汽车周边的影像的显示,全景影像系统的设置为驾驶员获知汽车周边的状况带来便利,避免无法看到汽车的视角盲区的状况所带来的风险,可辅助驾驶员在汽车停下或倒车时获知汽车周边的状况,从而为驾驶员带来更好的驾驶体验。
但现有的全景图像都是拼接产生的,拼接处的图像质量一般较差。
发明内容
本发明解决的技术问题为图像拼接处图像质量低的问题,提供立体360度全景图像拼接方法。
为了解决上述技术问题,本发明提供的技术方案为:
一种立体360度全景图像拼接方法,包括:
获取车辆四周及上方的图像,每个所述图像中均包含标定物;
将车辆四周的图像拼接后,得到的图像再与车辆上方的图像拼接,得到立体图像,根据所述立体图像获取拼接处的图像;
通过摄像头获取拼接处的实际图像,作为校验图像;
将所述拼接处的图像和所述校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;
计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;
根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;
根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成;若相似度低于阈值,调整摄像头参数,重复上述步骤,至相似度超过阈值。
为了拼接的图像更加真实,进行图像标定;在标定时,获取的图像内具有标定物,标定物同周围环境有明显的区别;对拼接产生的图形进行特征提取后,与实际的拼接处图形进行比对,二者的相似度满足要求即可完成图像拼接。
提高了图像拼接的质量,尤其是提高了拼接处的图像质量。
优选地,计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括:
优选地,计算所述拼接处的图像和所述校验图像的特征相似距离的方法包括:
优选地,所述卷积神经网络为训练好的视觉几何群模型,去掉改卷积神经网络的全连接层和softmax层;
将子图像进行归一化处理,输入卷积神经网络进行前向运算;
提取神经网络中所有池化层的输出,作为深度特征映射图;
将每个池化层中提取来的深度特征映射图叠加,其中每个像素得到一个高纬特征向量,维数为该池化层提取的深度特征映射图的个数,对于这些特征向量,利用主成分分析进行降维。特征提取后进行降维,可以有效地减少计算量。
优选地,利用主成分分析进行降维后,将降维得到的所有特征映射图进行双线性差值,重置到原输入图像大小,得到降维后的深度特征。提取出的特征映射到原图上,进行特征距离计算时,可以有效的降低计算量,提高计算效率。
一种立体360度全景图像拼接装置,包括:
第一图像获取模块,所述第一图像获取模块获取车辆四周及上方的图像,每个所述图像中均包含标定物;
拼接模块,所述拼接模块将车辆四周的图像拼接后,得到的图像再与车辆上方的图像拼接,得到立体图像,根据所述立体图像获取拼接处的图像;
第二图像获取模块,所述第二图像获取模块通过摄像头获取拼接处的实际图像,作为校验图像;
特征提取模块,所述特征提取模块将所述拼接处的图像和所述校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;
第一计算模块,所述第一计算模块计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;
第二计算模块,所述第二计算模块根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;
判断模块,所述判断模块根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成;若相似度低于阈值,调整摄像头参数,重复上述步骤,至相似度超过阈值。
优选地,所述第一计算模块计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括:
计算所述拼接处的图像和所述校验图像在像素点a的特征相似距离ra(C,D), ra(C,D)=|fC(a)-fD(a)|,其中fC(a)为所述拼接处的图像在像素点a的颜色值,fD(a)为所述校验图像在像素点a的颜色值;
优选地,所述第二计算模块计算所述拼接处的图像和所述校验图像的特征相似距离的方法包括:
优选地,所述特征提取模块采用的所述卷积神经网络为训练好的视觉几何群模型,去掉改卷积神经网络的全连接层和softmax层;
将子图像进行归一化处理,输入卷积神经网络进行前向运算;
提取神经网络中所有池化层的输出,作为深度特征映射图;
将每个池化层中提取来的深度特征映射图叠加,其中每个像素得到一个高纬特征向量,维数为该池化层提取的深度特征映射图的个数,对于这些特征向量,利用主成分分析进行降维。
优选地,利用主成分分析进行降维后,将降维得到的所有特征映射图进行双线性差值,重置到原输入图像大小,得到降维后的深度特征。
与现有技术相比,本发明具有的有益效果为:提高了图像拼接的质量,尤其是提高了拼接处的图像质量。
附图说明
图1为立体360度全景图像拼接方法的示意图。
图2为立体360度全景图像拼接装置的示意图。
具体实施方式
以下实施列是对本发明的进一步说明,不是对本发明的限制。
一种立体360度全景图像拼接方法,在本申请的一些实施例中,包括:
S100.获取车辆四周及上方的图像,每个所述图像中均包含标定物;
在本申请的一些实施例中,共有5个摄像头,获取了车前、车后、车左、车右、车上方的图像。
在本申请的一些实施例中,所述拼接方法还包括:S200.将车辆四周的图像拼接后,得到的图像再与车辆上方的图像拼接,得到立体图像,根据所述立体图像获取拼接处的图像;
拼接处的图像为车前、车左与车上方图像的拼接处。
在本申请的一些实施例中,所述拼接方法还包括:S300.通过摄像头获取拼接处的实际图像,作为校验图像;
校验图像为通过摄像头另外获取的,与车前、车左与车上方图像对应的实际图像。
在本申请的一些实施例中,所述拼接方法还包括:S400.将所述拼接处的图像和所述校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;
在本申请的一些实施例中,所述卷积神经网络为训练好的视觉几何群模型,
S401.去掉改卷积神经网络的全连接层和softmax层;
S402.将子图像进行归一化处理,输入卷积神经网络进行前向运算;
S403.提取神经网络中所有池化层的输出,作为深度特征映射图;
S404.将每个池化层中提取来的深度特征映射图叠加,其中每个像素得到一个高纬特征向量,维数为该池化层提取的深度特征映射图的个数,对于这些特征向量,利用主成分分析进行降维。
在本申请的一些实施例中,S405.利用主成分分析进行降维后,将降维得到的所有特征映射图进行双线性差值,重置到原输入图像大小,得到降维后的深度特征。
特征提取后进行降维,可以有效地减少计算量。提取出的特征映射到原图上,进行特征距离计算时,可以有效的降低计算量,提高计算效率。
在本申请的一些实施例中,所述拼接方法还包括:
S500.计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;
计算依据的特征时经过神经网络提取的特征对应的子图像。在包含标定物的图像中,主要是包含标定物的图像区域。
由于对神经网络提取的特征进行了降维,计算量大幅降低。
在本申请的一些实施例中,计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括:
S503.计算所述拼接处的图像和所述校验图像在像素点a的特征相似距离ra(C,D), ra(C,D)=|fC(a)-fD(a)|,其中fC(a)为所述拼接处的图像在像素点a的颜色值,fD(a)为所述校验图像在像素点a的颜色值;
在本申请的一些实施例中,所述拼接方法还包括:S600.根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;
在本申请的一些实施例中,计算所述拼接处的图像和所述校验图像的特征相似距离的方法包括:
在本申请的一些实施例中,所述拼接方法还包括:
S700.根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成;若相似度低于阈值,调整摄像头参数,重复上述步骤,至相似度超过阈值。
为了拼接的图像更加真实,进行图像标定;在标定时,获取的图像内具有标定物,标定物同周围环境有明显的区别;对拼接产生的图形进行特征提取后,与实际的拼接处图形进行比对,二者的相似度满足要求即可完成图像拼接。
提高了图像拼接的质量,尤其是提高了拼接处的图像质量。
一种立体360度全景图像凭借装置,包括:
第一图像获取模块100,所述第一图像获取模块100获取车辆四周及上方的图像,每个所述图像中均包含标定物;
拼接模块200,所述拼接模块200将车辆四周的图像拼接后,得到的图像再与车辆上方的图像拼接,得到立体图像,根据所述立体图像获取拼接处的图像;
第二图像获取模块300,所述第二图像获取模块300通过摄像头获取拼接处的实际图像,作为校验图像;
特征提取模块400,所述特征提取模块400将所述拼接处的图像和所述校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;
第一计算模块500,所述第一计算模块500计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;
第二计算模块600,所述第二计算模块600根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;
判断模块700,所述判断模块700根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成;若相似度低于阈值,调整摄像头参数,重复上述步骤,至相似度超过阈值。
在本申请的一些实施例中,所述第一计算模块500计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括:
计算所述拼接处的图像和所述校验图像在像素点a的特征相似距离ra(C,D), ra(C,D)=|fC(a)-fD(a)|,其中fC(a)为所述拼接处的图像在像素点a的颜色值,fD(a)为所述校验图像在像素点a的颜色值;
在本申请的一些实施例中,所述第二计算模块600计算所述拼接处的图像和所述校验图像的特征相似距离的方法包括:
在本申请的一些实施例中,所述特征提取模块400采用的所述卷积神经网络为训练好的视觉几何群模型,去掉改卷积神经网络的全连接层和softmax层;
将子图像进行归一化处理,输入卷积神经网络进行前向运算;
提取神经网络中所有池化层的输出,作为深度特征映射图;
将每个池化层中提取来的深度特征映射图叠加,其中每个像素得到一个高纬特征向量,维数为该池化层提取的深度特征映射图的个数,对于这些特征向量,利用主成分分析进行降维。
在本申请的一些实施例中,利用主成分分析进行降维后,将降维得到的所有特征映射图进行双线性差值,重置到原输入图像大小,得到降维后的深度特征。
上列详细说明是针对本发明可行实施例的具体说明,以上实施例并非用以限制本发明的专利范围,凡未脱离本发明所为的等效实施或变更,均应包含于本案的专利范围中。
Claims (10)
1.一种立体360度全景图像拼接方法,其特征在于,包括:
获取车辆四周及上方的图像,每个所述图像中均包含标定物;
将车辆四周的图像拼接后,得到的图像再与车辆上方的图像拼接,得到立体图像,根据所述立体图像获取拼接处的图像;
通过摄像头获取拼接处的实际图像,作为校验图像;
将所述拼接处的图像和所述校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;
计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;
根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;
根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成;若相似度低于阈值,调整摄像头参数,重复上述步骤,至相似度超过阈值。
2.根据权利要求1所述的立体360度全景图像拼接方法,其特征在于,计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括:
计算所述拼接处的图像和所述校验图像在像素点a的特征相似距离ra(C,D), ra(C,D)=|fC(a)-fD(a)|,其中fC(a)为所述拼接处的图像在像素点a的颜色值,fD(a)为所述校验图像在像素点a的颜色值;
4.根据权利要求2所述的立体360度全景图像拼接方法,其特征在于,所述卷积神经网络为训练好的视觉几何群模型,去掉改卷积神经网络的全连接层和softmax层;
将子图像进行归一化处理,输入卷积神经网络进行前向运算;
提取神经网络中所有池化层的输出,作为深度特征映射图;
将每个池化层中提取来的深度特征映射图叠加,其中每个像素得到一个高纬特征向量,维数为该池化层提取的深度特征映射图的个数,对于这些特征向量,利用主成分分析进行降维。
5.根据权利要求1所述的立体360度全景图像拼接方法,其特征在于,利用主成分分析进行降维后,将降维得到的所有特征映射图进行双线性差值,重置到原输入图像大小,得到降维后的深度特征。
6.一种立体360度全景图像拼接装置,其特征在于,包括:
第一图像获取模块,所述第一图像获取模块获取车辆四周及上方的图像,每个所述图像中均包含标定物;
拼接模块,所述拼接模块将车辆四周的图像拼接后,得到的图像再与车辆上方的图像拼接,得到立体图像,根据所述立体图像获取拼接处的图像;
第二图像获取模块,所述第二图像获取模块通过摄像头获取拼接处的实际图像,作为校验图像;
特征提取模块,所述特征提取模块将所述拼接处的图像和所述校验图像分别切割为多个子图像后,输入卷积神经网络中,提取子图像的特征;
第一计算模块,所述第一计算模块计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离;
第二计算模块,所述第二计算模块根据子图像的特征相似距离,计算所述拼接处的图像和所述校验图像的特征相似距离;
判断模块,所述判断模块根据所述拼接处的图像和所述校验图像的特征相似距离判断所述拼接处的图像和所述校验图像的相似度,若相似度超过阈值,则拼接完成;若相似度低于阈值,调整摄像头参数,重复上述步骤,至相似度超过阈值。
7.根据权利要求6所述的立体360度全景图像拼接装置,其特征在于,所述第一计算模块计算所述拼接处的图像和所述校验图像的相对应的子图像特征相似距离的方法包括:
计算所述拼接处的图像和所述校验图像在像素点a的特征相似距离ra(C,D), ra(C,D)=|fC(a)-fD(a)|,其中fC(a)为所述拼接处的图像在像素点a的颜色值,fD(a)为所述校验图像在像素点a的颜色值;
9.根据权利要求6所述的立体360度全景图像拼接装置,其特征在于,所述特征提取模块采用的所述卷积神经网络为训练好的视觉几何群模型,去掉改卷积神经网络的全连接层和softmax层;
将子图像进行归一化处理,输入卷积神经网络进行前向运算;
提取神经网络中所有池化层的输出,作为深度特征映射图;
将每个池化层中提取来的深度特征映射图叠加,其中每个像素得到一个高纬特征向量,维数为该池化层提取的深度特征映射图的个数,对于这些特征向量,利用主成分分析进行降维。
10.根据权利要求6所述的立体360度全景图像拼接装置,其特征在于,利用主成分分析进行降维后,将降维得到的所有特征映射图进行双线性差值,重置到原输入图像大小,得到降维后的深度特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110081734.7A CN112669219A (zh) | 2021-01-21 | 2021-01-21 | 一种立体360度全景图像拼接方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110081734.7A CN112669219A (zh) | 2021-01-21 | 2021-01-21 | 一种立体360度全景图像拼接方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112669219A true CN112669219A (zh) | 2021-04-16 |
Family
ID=75414044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110081734.7A Pending CN112669219A (zh) | 2021-01-21 | 2021-01-21 | 一种立体360度全景图像拼接方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112669219A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714349A (zh) * | 2014-01-09 | 2014-04-09 | 成都淞幸科技有限责任公司 | 一种基于颜色和纹理特征的图像识别方法 |
US20170177965A1 (en) * | 2015-12-17 | 2017-06-22 | Xerox Corporation | Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks |
CN107154022A (zh) * | 2017-05-10 | 2017-09-12 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
US20170287184A1 (en) * | 2016-04-04 | 2017-10-05 | Microsoft Technology Licensing, Llc | Image stitching |
US20170344223A1 (en) * | 2015-07-15 | 2017-11-30 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
CN107844795A (zh) * | 2017-11-18 | 2018-03-27 | 中国人民解放军陆军工程大学 | 基于主成分分析的卷积神经网络特征提取方法 |
-
2021
- 2021-01-21 CN CN202110081734.7A patent/CN112669219A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714349A (zh) * | 2014-01-09 | 2014-04-09 | 成都淞幸科技有限责任公司 | 一种基于颜色和纹理特征的图像识别方法 |
US20170344223A1 (en) * | 2015-07-15 | 2017-11-30 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US20170177965A1 (en) * | 2015-12-17 | 2017-06-22 | Xerox Corporation | Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks |
US20170287184A1 (en) * | 2016-04-04 | 2017-10-05 | Microsoft Technology Licensing, Llc | Image stitching |
CN107154022A (zh) * | 2017-05-10 | 2017-09-12 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
CN107844795A (zh) * | 2017-11-18 | 2018-03-27 | 中国人民解放军陆军工程大学 | 基于主成分分析的卷积神经网络特征提取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
CN102957937B (zh) | 处理三维立体影像的系统与方法 | |
CN106960414A (zh) | 一种多视角ldr图像生成高分辨率hdr图像的方法 | |
CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
DE102013223039A1 (de) | Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes | |
CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
CN110717936B (zh) | 一种基于相机姿态估计的图像拼接方法 | |
CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
US11380111B2 (en) | Image colorization for vehicular camera images | |
CN114372919B (zh) | 一种双挂汽车列车全景环视图像拼接方法及系统 | |
CN113971715A (zh) | 基于深度学习的三维脸部重建的系统 | |
CN104038752B (zh) | 基于三维高斯混合模型的多视点视频直方图颜色校正 | |
CN115936995A (zh) | 一种车辆四路鱼眼摄像头全景拼接方法 | |
CN113421183B (zh) | 车辆环视全景图的生成方法、装置、设备和存储介质 | |
CN112669219A (zh) | 一种立体360度全景图像拼接方法及装置 | |
CN116229426B (zh) | 基于全景环视图像的无人驾驶泊车停车位检测方法 | |
CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 | |
CN112669218A (zh) | 一种平面360度全景图像拼接方法及装置 | |
CN111105370A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN115409707A (zh) | 一种基于全景视频拼接的图像融合方法及系统 | |
JP4639044B2 (ja) | 輪郭形状抽出装置 | |
CN112669355B (zh) | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统 | |
CN113723373B (zh) | 一种基于无人机全景影像的违建检测方法 | |
WO2023272524A1 (zh) | 双目拍摄装置及确定其观测深度的方法、装置、可移动平台 | |
EP4148658A1 (en) | Method and system for super-resolution reconstruction of heterogeneous stereoscopic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |