CN111768332A - 一种车载环视实时3d全景图像的拼接方法及图形采集装置 - Google Patents
一种车载环视实时3d全景图像的拼接方法及图形采集装置 Download PDFInfo
- Publication number
- CN111768332A CN111768332A CN201910234554.0A CN201910234554A CN111768332A CN 111768332 A CN111768332 A CN 111768332A CN 201910234554 A CN201910234554 A CN 201910234554A CN 111768332 A CN111768332 A CN 111768332A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- images
- time
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000009825 accumulation Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 239000004744 fabric Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000000746 purification Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/153—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种车载环视实时3D全景图像的拼接方法及图形采集装置。能够解决传统方法中运动物体在拼接处产生的重影和鬼影的问题。本发明采用的一个技术方案是：提供一种车载环视实时3D全景图像的拼接方法，具体步骤如下：通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；对多个车载摄像头所采集的图像进行拼接；将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；输出所述3D全景图像。
Description
技术领域
本发明涉及图像的拼接方法及图像采集装置，特别是涉及一种车载环视实时3D全景图像的拼接方法及图形采集装置。
背景技术
最近几年，由于汽车行业的高速发展，越来越多的私家汽车成为了人们出行必不可少的交通工具，随着汽车安全技术的高速发展，以现代化的图像检测技术，雷达传感器技术，计算机技术，自动控制技术为核心的安全系统不断地提高特定的识别判断能力，并在各种复杂的情况下自动协助驾驶员安全行车，其中以多目摄像机系统为主的360全景驾驶辅助系统，通过视角的变换，能够让驾驶员更准确了解车辆周边的障碍物信息，避免在狭窄的城市道路行驶时由于盲区导致剐蹭和碰撞事故。
发明内容
本发明主要解决的技术问题是提供一种车载环视实时3D全景图像的拼接方法及图形采集装置，能够解决传统方法中运动物体在拼接处产生的重影和鬼影等的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种车载环视实时3D全景图像的拼接方法，具体步骤如下：
通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；
校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；
对多个车载摄像头所采集的图像进行拼接；
将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；
输出所述3D全景图像。
其中，车载摄像头数量为四个，分别采集车辆的前方、后方、左方和右方的图像；所述车载摄像头均为鱼眼摄像头，所述车载摄像头所采集的图像为鱼眼广角图像。
其中，校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标的步骤如下：
通过车载摄像头拍摄标定布图案的图像；
通过标定布图案对各车载摄像头的位姿进行标定；
计算车载摄像头的内参矩阵、外参矩阵和中心点偏移；
计算图像的特征点位置，求取变换矩阵，并用变换矩阵将图像像素融合到同意的模型坐标系下，即为3D模型坐标系。
其中，计算图像的特征点位置的步骤如下：
通过FAST特征检测算法求取特征点；
对求取的特征点数目进行筛选，对候选的哈里斯角点特征进行筛选；
构建高斯图像金字塔筛选特征点，并实现特征的旋转；
提取关键点，对候选的特征点计算描述子。
其中，对多个车载摄像头所采集的图像进行拼接的步骤如下：
多个车载摄像头拍摄的图像形成连续时间序列的运行图像帧；
对运动图像帧中的重叠区域寻找最优分割；
周期迭代，对特定图像帧进行运动分析，实现对图像中特征点的动态跟踪和定位，生成最优边界的映射查找表，作为下一次进行修正补偿的初值；
将融合区域的特征点映射到3D模型坐标系下。
其中，对运动图像帧中的重叠区域寻找最优分割的步骤如下：
通过快速近邻匹配方法找到两张图像特征点的匹配关系；
对图像进行能量梯度计算，并对能量梯度值进行累加计算；
对重叠区域的图像像素进行遍历，优化求最大流最小割；
记录最佳分割线的特征点坐标，并作特征点匹配、提纯和最大值抑制；
对特征点进行最佳拼接图像映射计算。
其中，形成连续时间序列的运行图像帧的步骤如下：
通过同步时间模块给多个车载摄像头拍摄的图像打上时间戳；
根据时间戳，将图像依照时间先后排序，进而形成连续时间序列的运行图像帧。
其中，对图像进行能量梯度计算，并对能量梯度值进行累加计算的步骤如下：
求取硬约束可以清晰定义满足软约束条件的梯度求解函数；
·
对每个重叠区域像素分配一个能量值并找到能量值最小的像素的八连通路径；
计算能量累加图：
·M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))
求取最小裁剪线。
为解决上述技术问题，本发明还采用的一个技术方案是：提供一种车载环视实时3D全景图像的采集装置，包括多个车载摄像头、图像传输单元、同步时间模块、视频数据处理单元和视频输出单元；
所述多个车载摄像头，用于采集车辆周围不同方位的图像；
所述多个车载摄像头，分别安装于车辆的前方、后方、左侧和右侧，且每个车载摄像头的光轴与垂线的夹角为40°～50°；
所述图像传输单元，用于传输图像；
所述同步时间模块，用于图像打上时间戳；
所述视频数据处理单元，用于对图像进行处理，构成3D全景图像；
所述视频输出单元，用于输出3D全景图像。
其中，视频数据处理单元包括摄像头校正模块、3D模型坐标系模块、图像拼接模块、3D全景图像模块；
所述摄像头校正模块，用于校正多个车载摄像头；
所述3D模型坐标系模块，用于建立3D模型坐标系；
所述图像拼接模块，用于对多个车载摄像头所采集的图像进行拼接；
所述3D全景图像模块，用于生成3D全景图像。
以上方案中的一种车载环视实时3D全景图像的拼接方法及图形采集装置，可提供一种包括精准时序传输前视，后视，左视，右视四路高清鱼眼摄像头，可实时迭代修正图像拼接与融合的方法和装置，帮助泊车和城市拥堵路段行驶期间，辅助车辆驾驶员的装置；
本发明相比传统的车载360环视的拼接和融合方式，能够有效地改善重叠区域的重影和鬼影现象。
附图说明
为了更清楚地说明本发明的方案，下面将对实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种车载环视实时3D全景图像的拼接方法一实施例的流程图；
图2为一种车载环视实时3D全景图像的采集装置一实施例的结构示意图；
图3为图2实施例中视频数据处理单元的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面结合附图和实施方式对本发明进行详细说明。
请参阅图1，图1为一种车载环视实时3D全景图像的拼接方法一实施例的流程图。
本实施例的一种车载环视实时3D全景图像的拼接方法，具体步骤如下：
S101：通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；
S102：校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；
S103：对多个车载摄像头所采集的图像进行拼接；
S104：将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；
S105：输出所述3D全景图像。
其中，车载摄像头数量为四个，分别采集车辆的前方、后方、左方和右方的图像；所述车载摄像头均为鱼眼摄像头，所述车载摄像头所采集的图像为鱼眼广角图像。
其中，校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标的步骤如下：
S121：通过车载摄像头拍摄标定布图案的图像；
S122：通过标定布图案对各车载摄像头的位姿进行标定；
S123：计算车载摄像头的内参矩阵、外参矩阵和中心点偏移；
S124：计算图像的特征点位置，求取变换矩阵，并用变换矩阵将图像像素融合到同意的模型坐标系下，即为3D模型坐标系。
摄像头标定步骤如下：
a.根据小孔成像模型，根据以下矩阵，求取相机内参数；
b.求取鱼眼镜头的径向畸变模型，求取畸变系数：
xcorrected＝x(1+k1r2+k2r4+k3r6)
ycorrected＝y(1+k1r2+k2r4+k3r6)
这里(x，y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，(xcorrected，ycorrected)是校正后的新位置。
c.求解相机位姿，获取相机外参系数；
X＝m11*x+m12*y+m13
Y＝m21*x+m22*y+m23
Z＝m31*x+m32*y+m33
其中，计算图像的特征点位置的步骤如下：
S131：通过FAST特征检测算法求取特征点；
S132：对求取的特征点数目进行筛选，对候选的哈里斯角点进行筛选；
S133：构建高斯图像金字塔筛选特征点，并实现特征的旋转；
S134：提取关键点，对候选的特征点计算描述子。
a.在图像中选取像素P，假设亮度值为Ip，设定一个阈值T；
b.以该像素点为中心，选取半径为3的圆上16个像素点；
c.检测16个像素点连续有N个点亮度大于该阈值波动幅度，那么该像素点被认为为特征点；
d.循环迭代，滑窗遍历图像感兴趣区域，确定特征点的像素坐标系位置；
e.非极大值抑制在感兴趣区域内保留响应极大值的角点；
该特征点求取特征值计算公式；
f.对最后求取的特征点数目进行筛选，对候选的角点计算harris响应值，并通过构建图像金字塔来筛选，并实现特征的旋转；
g.提取关键点之后，对候选的特征点计算描述子：
以特征点P为中心，取一个S×S大小的Patch邻域；
在这个邻域内随机取N对点，然后对这2×N点分别做高斯平滑。定义τ测试，比较N对像素点的灰度值的大小；
得到的N个二进制码串组成一个N维向量：
其中，对多个车载摄像头所采集的图像进行拼接的步骤如下：
S141：多个车载摄像头拍摄的图像形成连续时间序列的运行图像帧；
S142：对运动图像帧中的重叠区域寻找最优分割；
S143：周期迭代，对特定图像帧进行运动分析，实现对图像中特征点的动态跟踪和定位，生成最优边界的映射查找表，作为下一次进行修正补偿的初值；
S144：将融合区域的特征点映射到3D模型坐标系下。
其中，对运动图像帧中的重叠区域寻找最优分割的步骤如下：
S151：通过快速近邻匹配方法找到两张图像特征点的匹配关系；
S152：对图像进行能量梯度计算，并对能量梯度值进行累加计算；
S153：对重叠区域的图像像素进行遍历，优化求最大流最小割；
S154：记录最佳分割线的特征点坐标，并作特征点匹配、提纯和最大值抑制；
S155：对特征点进行最佳拼接图像映射计算。
h.通过快速近邻匹配方法找到两张图像特征点的匹配关系；
i.设置两张图像之间的特征重叠区域，对两张图像处理如下：
基于两个约束条件寻找最优的分割线；
求取硬约束可以清晰定义满足软约束条件的梯度求解函数；
·
对每个重叠区域像素分配一个能量值并找到能量值最小的像素的八连通路径；
计算能量累加图：
·M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))
求取最小裁剪线。
递归求解每一行与之相邻的点中能量最小的点，对整个图像进行处理，即得到裁剪线，并在该裁剪线坐标点做个标记，作为坐标映射的关键点；
以一定时间间隔迭代更新下述步骤，估计相邻两张图像的重合区域的运动物体的特征点(步骤f)，描述子(步骤g)，求取匹配点(步骤h)，最佳拼接位置掩码(步骤i)。
j.将四张图像通过变换矩阵变换到同一模型的坐标系下：(摄像头标定步骤a，b，c)；
k.生成原始像素与投影模型的数据查找表；
l.导入车辆处理器的GPU的顶点渲染器进行显示输出。
其中，形成连续时间序列的运行图像帧的步骤如下：
通过同步时间模块给多个车载摄像头拍摄的图像打上时间戳；
根据时间戳，将图像依照时间先后排序，进而形成连续时间序列的运行图像帧。
其中，对图像进行能量梯度计算，并对能量梯度值进行累加计算的步骤如下：
求取硬约束可以清晰定义满足软约束条件的梯度求解函数；
·
对每个重叠区域像素分配一个能量值并找到能量值最小的像素的八连通路径；
计算能量累加图：
·M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))
求取最小裁剪线。
本发明的一种车载环视实时3D全景图像的拼接方法，可提供一种包括精准时序传输前视，后视，左视，右视四路高清鱼眼摄像头，可实时迭代修正图像拼接与融合的方法和装置，帮助泊车和城市拥堵路段行驶期间，辅助车辆驾驶员的装置；
本发明相比传统的车载360环视的拼接和融合方式，能够有效地改善重叠区域的重影和鬼影现象。
请参阅图2和图3，图2为一种车载环视实时3D全景图像的采集装置一实施例的结构示意图；图3为图2实施例中视频数据处理单元的结构示意图。
本具体实施例中的一种车载环视实时3D全景图像的采集装置200，包括多个车载摄像头、图像传输单元220、同步时间模块230、视频数据处理单元240和视频输出单元250；
所述多个车载摄像头，用于采集车辆周围不同方位的图像；
所述多个车载摄像头，分别安装于车辆的前方、后方、左侧和右侧，且每个车载摄像头的光轴与垂线的夹角为40°～50°；
分为，前向广角鱼眼摄像头211，后向广角鱼眼摄像头212，左视广角鱼眼摄像头213，右视广角鱼眼摄像头214；前向安装在车辆的格栅中，使得与地面角度约为45度，后视安装在后车门开启处，左视和右视分别安装在左右两个后视镜的下方，垂线与光轴夹角约为45度。
所述图像传输单元220，用于传输图像；
所述同步时间模块230，用于图像打上时间戳；
所述视频数据处理单元240，用于对图像进行处理，构成3D全景图像；
所述视频输出单元250，用于输出3D全景图像。
其中图像传输单元可以选用LVDS视频传输单元，视频数据处理单元可以选用SOC视频数据处理单元，视频输出单元可以选用车载显示器等，用于显示3D全景图像。
其中，视频数据处理单元240包括摄像头校正模块241、3D模型坐标系模块242、图像拼接模块243、3D全景图像模块244；
所述摄像头校正模块241，用于校正多个车载摄像头；
所述3D模型坐标系模块242，用于建立3D模型坐标系；
所述图像拼接模块243，用于对多个车载摄像头所采集的图像进行拼接；
所述3D全景图像模块244，用于生成3D全景图像。
本发明的一种车载环视实时3D全景图像的采集装置，可提供一种包括精准时序传输前视，后视，左视，右视四路高清鱼眼摄像头，可实时迭代修正图像拼接与融合的方法和装置，帮助泊车和城市拥堵路段行驶期间，辅助车辆驾驶员的装置；
本发明相比传统的车载360环视的拼接和融合方式，能够有效地改善重叠区域的重影和鬼影现象。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (10)
1.一种车载环视实时3D全景图像的拼接方法，其特征在于，具体步骤如下：
通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；
校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；
对多个车载摄像头所采集的图像进行拼接；
将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；
输出所述3D全景图像。
2.根据权利要求1所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，
车载摄像头数量为四个，分别采集车辆的前方、后方、左方和右方的图像；所述车载摄像头均为鱼眼摄像头，所述车载摄像头所采集的图像为鱼眼广角图像。
3.根据权利要求1或2所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标的步骤如下：
通过车载摄像头拍摄标定布图案的图像；
通过标定布图案对各车载摄像头的位姿进行标定；
计算车载摄像头的内参矩阵、外参矩阵和中心点偏移；
计算图像的特征点位置，求取变换矩阵，并用变换矩阵将图像像素融合到同意的模型坐标系下，即为3D模型坐标系。
4.根据权利要求3所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，计算图像的特征点位置的步骤如下：
通过FAST特征检测算法求取特征点；
对求取的特征点数目进行筛选，对候选的哈里斯角点特征进行筛选；
构建高斯图像金字塔筛选特征点，并实现特征的旋转；
提取关键点，对候选的特征点计算描述子。
5.根据权利要求1、2或4所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对多个车载摄像头所采集的图像进行拼接的步骤如下：
多个车载摄像头拍摄的图像形成连续时间序列的运行图像帧；
对运动图像帧中的重叠区域寻找最优分割；
周期迭代，对特定图像帧进行运动分析，实现对图像中特征点的动态跟踪和定位，生成最优边界的映射查找表，作为下一次进行修正补偿的初值；
将融合区域的特征点映射到3D模型坐标系下。
6.根据权利要求5所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对运动图像帧中的重叠区域寻找最优分割的步骤如下：
通过快速近邻匹配方法找到两张图像特征点的匹配关系；
对图像进行能量梯度计算，并对能量梯度值进行累加计算；
对重叠区域的图像像素进行遍历，优化求最大流最小割；
记录最佳分割线的特征点坐标，并作特征点匹配、提纯和最大值抑制；
对特征点进行最佳拼接图像映射计算。
7.根据权利要求5所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，
形成连续时间序列的运行图像帧的步骤如下：
通过同步时间模块给多个车载摄像头拍摄的图像打上时间戳；
根据时间戳，将图像依照时间先后排序，进而形成连续时间序列的运行图像帧。
8.根据权利要求6或7所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对图像进行能量梯度计算，并对能量梯度值进行累加计算的步骤如下：
求取硬约束可以清晰定义满足软约束条件的梯度求解函数；
·
对每个重叠区域像素分配一个能量值并找到能量值最小的像素的八连通路径；
计算能量累加图：
·M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))
求取最小裁剪线。
9.一种车载环视实时3D全景图像的采集装置，其特征在于，包括多个车载摄像头、图像传输单元、同步时间模块、视频数据处理单元和视频输出单元；
所述多个车载摄像头，用于采集车辆周围不同方位的图像；
所述多个车载摄像头，分别安装于车辆的前方、后方、左侧和右侧，且每个车载摄像头的光轴与垂线的夹角为40°～50°；
所述图像传输单元，用于传输图像；
所述同步时间模块，用于图像打上时间戳；
所述视频数据处理单元，用于对图像进行处理，构成3D全景图像；
所述视频输出单元，用于输出3D全景图像。
10.根据权利要求7所述的一种车载环视实时3D全景图像的采集装置，其特征在于，
视频数据处理单元包括摄像头校正模块、3D模型坐标系模块、图像拼接模块、3D全景图像模块；
所述摄像头校正模块，用于校正多个车载摄像头；
所述3D模型坐标系模块，用于建立3D模型坐标系；
所述图像拼接模块，用于对多个车载摄像头所采集的图像进行拼接；
所述3D全景图像模块，用于生成3D全景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910234554.0A CN111768332A (zh) | 2019-03-26 | 2019-03-26 | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910234554.0A CN111768332A (zh) | 2019-03-26 | 2019-03-26 | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111768332A true CN111768332A (zh) | 2020-10-13 |
Family
ID=72718936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910234554.0A Pending CN111768332A (zh) | 2019-03-26 | 2019-03-26 | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768332A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308987A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112308986A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112367495A (zh) * | 2021-01-13 | 2021-02-12 | 北京电信易通信息技术股份有限公司 | 一种基于多摄像头的图像处理系统及方法 |
| CN113361545A (zh) * | 2021-06-18 | 2021-09-07 | 北京易航远智科技有限公司 | 图像特征提取方法、装置、电子设备和存储介质 |
| CN114827491A (zh) * | 2022-04-18 | 2022-07-29 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
| CN103763517A (zh) * | 2014-03-03 | 2014-04-30 | 惠州华阳通用电子有限公司 | 一种车载环视显示方法及系统 |
| CN104318604A (zh) * | 2014-10-21 | 2015-01-28 | 四川华雁信息产业股份有限公司 | 一种3d图像拼接方法及装置 |
| CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶系统及方法 |
-
2019
- 2019-03-26 CN CN201910234554.0A patent/CN111768332A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
| CN103763517A (zh) * | 2014-03-03 | 2014-04-30 | 惠州华阳通用电子有限公司 | 一种车载环视显示方法及系统 |
| CN104318604A (zh) * | 2014-10-21 | 2015-01-28 | 四川华雁信息产业股份有限公司 | 一种3d图像拼接方法及装置 |
| CN108765496A (zh) * | 2018-05-24 | 2018-11-06 | 河海大学常州校区 | 一种多视点汽车环视辅助驾驶系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李靖: "《局部自适应全景图像拼接方法研究 李靖》", 《全国优秀博士论文》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308987A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112308986A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112308987B (zh) * | 2020-11-03 | 2024-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112308986B (zh) * | 2020-11-03 | 2024-04-12 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112367495A (zh) * | 2021-01-13 | 2021-02-12 | 北京电信易通信息技术股份有限公司 | 一种基于多摄像头的图像处理系统及方法 |
| CN112367495B (zh) * | 2021-01-13 | 2021-04-13 | 北京电信易通信息技术股份有限公司 | 一种基于多摄像头的图像处理系统及方法 |
| CN113361545A (zh) * | 2021-06-18 | 2021-09-07 | 北京易航远智科技有限公司 | 图像特征提取方法、装置、电子设备和存储介质 |
| CN113361545B (zh) * | 2021-06-18 | 2024-04-05 | 北京易航远智科技有限公司 | 图像特征提取方法、装置、电子设备和存储介质 |
| CN114827491A (zh) * | 2022-04-18 | 2022-07-29 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
| CN114827491B (zh) * | 2022-04-18 | 2023-02-14 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN106799993B (zh) | 街景采集方法和系统、车辆 | |
| CN111178236A (zh) | 一种基于深度学习的车位检测方法 | |
| CN106856000B (zh) | 一种车载全景图像无缝拼接处理方法及系统 | |
| CN111830953A (zh) | 车辆自定位方法、装置及系统 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN112180373A (zh) | 一种多传感器融合的智能泊车系统和方法 | |
| CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
| CN109883433B (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN109131082B (zh) | 一种完全基于视觉的单目全景泊车影像系统及其泊车方法 | |
| CN113362228A (zh) | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 | |
| CN112348775B (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
| JP4872890B2 (ja) | 画像の歪曲補正方法 | |
| CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| CN114372919B (zh) | 一种双挂汽车列车全景环视图像拼接方法及系统 | |
| CN114897684A (zh) | 车辆图像的拼接方法、装置、计算机设备和存储介质 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| CN114339185A (zh) | 用于车辆相机图像的图像彩色化 | |
| CN110738696B (zh) | 行车盲区透视视频的生成方法及行车盲区视野透视系统 | |
| CN111951339A (zh) | 利用异构双目相机进行视差计算的图像处理方法 | |
| CN113327192B (zh) | 一种通过三维测量技术测算汽车行驶速度的方法 | |
| CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |