CN110738696A - 行车盲区透视视频的生成方法及行车盲区视野透视系统 - Google Patents

行车盲区透视视频的生成方法及行车盲区视野透视系统 Download PDF

Info

Publication number
CN110738696A
CN110738696A CN201910797038.9A CN201910797038A CN110738696A CN 110738696 A CN110738696 A CN 110738696A CN 201910797038 A CN201910797038 A CN 201910797038A CN 110738696 A CN110738696 A CN 110738696A
Authority
CN
China
Prior art keywords
image
blind area
driving
perspective
fixed camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910797038.9A
Other languages
English (en)
Other versions
CN110738696B (zh
Inventor
徐孟南
邱乙耕
杨朝雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN201910797038.9A priority Critical patent/CN110738696B/zh
Publication of CN110738696A publication Critical patent/CN110738696A/zh
Application granted granted Critical
Publication of CN110738696B publication Critical patent/CN110738696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种行车盲区透视视频的生成方法及行车盲区视野透视系统，生成方法实现盲区透视化显示的原理是基于计算机视觉的多视图几何，多个相机间通过射影变换的关系确定位姿，盲区通过固定相机获取图像，再将该图像传输到移动的用户相机上，利用相机间的视角变换关系，对盲区图像进行变换，使其在用户相机上以正确的位置和视角进行融合，从而得到辅助驾驶员驾驶车辆的行车盲区透视视频，进而能够大幅减少交通事故的发生。

Description

行车盲区透视视频的生成方法及行车盲区视野透视系统
技术领域
本发明涉及车辆行车安全技术领域，尤其涉及一种行车盲区透视视频的生成方法，还涉及一种行车盲区视野透视系统。
背景技术
车辆行车过程中，除了汽车反光镜装置的范围及目视范围外，其余大部分位置难以看到，属于驾驶员的驾驶盲区，盲区的存在容易发生行车危险。对于驾驶员而言，盲区就是视线的死角和意识不到的地方。通常情况下，车外驾驶盲区为当车辆在道路上行驶时，由于公路线形，路旁建筑物、植物、车辆等阻挡了驾驶员视线，造成的驾驶盲区。
对于单侧或两侧有视野盲区的用户相机来说，车辆在驾驶过程中常因盲区的存在导致交通事故的发生。由于5G技术的发展和5G时代即将到来，区域化的实时大量数据传输变为可能，在此技术背景下，亟需一种行车盲区视野透视系统。
发明内容
本发明要解决的技术问题是：现有技术中车辆在驾驶过程中常因盲区的存在导致交通事故的发生。
为解决上述技术问题，本发明提供了一种行车盲区视野透视系统。该系统设计为用于城市中的路口处或被建筑物遮挡的交通区域，通过将车辆用户视角上因遮挡产生的视野盲区透视化，来提高城市交通的安全性。此外，该方案也可以用于自动驾驶系统的城市路线规划和安全性辅助。
本发明的技术方案如下：
一种行车盲区透视视频的生成方法，其包括：
由车载的用户相机拍摄行车视频流；
由设置于所述用户相机的拍摄盲区的固定相机拍摄盲区视频流和包含标识板的图像，所述标识板设置于所述用户相机和所述固定相机的公共视野中；
根据所述包含标识板的图像确定初值图像；
针对所述行车视频流和所述盲区视频流中对应同一时刻的每帧行车图像和盲区图像，执行以下步骤：
对该行车图像与所述初值图像进行特征点匹配，得到与该行车图像对应的单应矩阵；
基于所述单应矩阵对该盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；
将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
优选的是，所述公共视野中设置有多个标识板，所述拍摄盲区设置有第一固定相机和第二固定相机，
根据所述包含标识板的图像确定初值图像，包括：针对每个标识板，根据所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像，确定该标识板对应的初值图像。
优选的是，根据所述包含标识板的图像确定初值图像，包括：
针对每个标识板，对所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像进行拼接和融合，以确定该标识板对应的初值图像。
优选的是，针对所述行车视频流、所述第一固定相机拍摄的第一盲区视频流和所述第二固定相机拍摄的第二盲区视频流中对应同一时刻的、每帧行车图像、第一盲区图像和第二盲区图像，执行以下步骤：
对该行车图像分别与各标识板对应的初值图像进行特征点匹配，得到与每个标识板对应的单应矩阵；
根据所有标识板对应的单应矩阵，确定一个单应矩阵；
对所述第一盲区图像和所述第二盲区图像进行拼接和融合，以确定盲区图像；
基于确定的单应矩阵对确定的盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；
将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
优选的是，根据所有标识板对应的单应矩阵，确定一个单应矩阵，包括：
对所有标识板对应的单应矩阵求取均值，并将均值结果作为确定的单应矩阵。
一种行车盲区视野透视系统，其包括：
车载的用户相机，其配置为拍摄行车视频流；
设置于所述用户相机的拍摄盲区的固定相机，其配置为拍摄盲区视频流和包含标识板的图像；
设置于所述用户相机和所述固定相机的公共视野中的标识板；以及
控制器，其配置为根据所述包含标识板的图像确定初值图像，并针对所述行车视频流和所述盲区视频流中对应同一时刻的每帧行车图像和盲区图像，执行以下步骤：
对该行车图像与所述初值图像进行特征点匹配，得到与该行车图像对应的单应矩阵；
基于所述单应矩阵对该盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；
将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
优选的是，上述行车盲区视野透视系统包括：
设置于所述公共视野的多个标识板；以及
设置于所述拍摄盲区的第一固定相机和第二固定相机，
其中，所述控制器具体配置为：针对每个标识板，根据所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像，确定该标识板对应的初值图像。
优选的是，所述控制器具体配置为：
针对每个标识板，对所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像进行拼接和融合，以确定该标识板对应的初值图像。
优选的是，所述控制器具体配置为：针对所述行车视频流、所述第一固定相机拍摄的第一盲区视频流和所述第二固定相机拍摄的第二盲区视频流中对应同一时刻的、每帧行车图像、第一盲区图像和第二盲区图像，执行以下步骤：
对该行车图像分别与各标识板对应的初值图像进行特征点匹配，得到与每个标识板对应的单应矩阵；
根据所有标识板对应的单应矩阵，确定一个单应矩阵；
对所述第一盲区图像和所述第二盲区图像进行拼接和融合，以确定盲区图像；
基于确定的单应矩阵对确定的盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；
将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
优选的是，所述控制器具体配置为：对所有标识板对应的单应矩阵求取均值，并将均值结果作为确定的单应矩阵。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明的行车盲区透视视频的生成方法实现盲区透视化显示的原理是基于计算机视觉的多视图几何，多个相机间通过射影变换的关系确定位姿，盲区通过固定相机获取图像，再将该图像传输到移动的用户相机上，利用相机间的视角变换关系，对盲区图像进行变换，使其在用户相机上以正确的位置和视角进行融合，从而得到辅助驾驶员驾驶车辆的行车盲区透视视频，进而能够大幅减少交通事故的发生。
附图说明
通过结合附图阅读下文示例性实施例的详细描述可更好地理解本公开的范围。其中所包括的附图是：
图1示出了本发明实施例一的行车盲区视野透视系统的示意图；
图2示出了本发明实施例一中行车盲区透视视频的生成方法的流程示意图；
图3示出了加权平滑算法示意图；
图4示出了本发明实施例二的行车盲区视野透视系统的示意图；
图5示出了本发明实施例二中行车盲区透视视频的生成方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将结合附图及实施例来详细说明本发明的实施方法，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
在现有技术中，对于单侧或两侧有视野盲区的用户相机来说，车辆在驾驶过程中常因盲区的存在导致交通事故的发生。由于5G技术的发展和5G时代即将到来，区域化的实时大量数据传输变为可能，在此技术背景下，亟需一种行车盲区视野透视系统。
为解决上述技术问题，本发明实施例提供了一种行车盲区视野透视系统。
实施例一
图1示出了本发明实施例一的行车盲区视野透视系统的示意图。本实施例的行车盲区视野透视系统主要包括用户相机、固定相机、标识板以及控制器(图中未示出)。
参照图1，用户相机可以为一般性车载摄像头，并附带视频显示系统。在路口的两侧装有固定相机，固定相机可以为固定的广角相机，固定相机与用户相机有公共的视野区域。在此公共视野区设有作为特定标识物的标识板。通过该标识板所在的平面，固定相机和用户相机之间可以建立视角变换关系，可以计算出基于标识板平面的单应矩阵(单应变换矩阵)。位于路口两侧的第一固定相机和第二固定相机所实时拍摄到的画面，基于单应矩阵以及图像的融合算法处理后，通过区域网络传输至用户相机，车内显示系统即可获取实时的盲区透视图像。
图2示出了本发明实施例一中行车盲区透视视频的生成方法的流程示意图。本实施例的行车盲区透视视频的生成方法主要包括步骤S101至步骤S110。
在步骤S101中，如图1所示地设置第一固定相机、第二固定相机和标识板。
在步骤S102中，两个固定相机位置确定后，处理预设图像。预设图像为当前位置的第一固定相机和第二固定相机拍摄的包含标识板的图像，对该图像进行背景剔除，即处理后的图像为仅保留标识板的图像，得到第一固定相机对应的计算图像1和第二固定相机对应的计算图像2。
在步骤S103中，对计算图像1和计算图像2进行拼接及融合，并将结果记为初值图像。
在步骤S104中，获取移动中用户相机采集的视频流和两个固定相机的视频流。
在步骤S105中，对用户相机采集的视频流和两个固定相机的视频流进行抽帧和时间轴对准，以不同时间点划分为图像组A1、A2、…、An，一个图像组(例如图像组A1)中包含一张用户相机拍摄的图像(a1)和两张固定相机拍摄的图像(b11、b12)。
在步骤S106中，用每个图像组中的用户相机图像分别与步骤S103中得到的初值图像进行特征点匹配，并以用户相机图像为主图计算单应矩阵，记为H1、H2、…、Hn。
在步骤S107中，对图像组A1中的两张固定相机图像(b11、b12)进行拼接融合，结果记为b1。以此类推，得到对应每个图像组对应的拼接融合图像b1、b2、b3、…、bn。
在步骤S108中，利用步骤S106中得到的单应矩阵H1、H2、…、Hn对拼接融合图像b1、b2、b3…bn分别计算，则可以得到视角变换后的图像c1、c2、c3、…、cn。
在步骤S109中，对a1、a2、a3、…、an分别与c1、c2、c3、…、cn进行图像拼接及融合，得到最终的实际场景的透视效果图，记为B1、B2、B3、…、Bn。
在步骤S110中，对B1、B2、B3、…、Bn进行拼帧，输出为视频流。
下面对本实施例的方法中的单应矩阵、通过匹配的点对计算单应矩阵、特征点匹配、特征点匹配后的优化、图像的拼接及融合以及系统的输入输出进行详细说明。
关于单应矩阵：
单应(Homography)是射影几何中的概念，又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质。总的来说，单应是关于三维齐次矢量的一种线性变换，可以用一个3×3的非奇异矩阵H表示：
Figure BDA0002181250600000061
上式为一个齐次坐标的等式，其中，(u1,v1,1)T表示图像1中的像点，(u2,v2,1)T是图像2中的像点，也就是可以通过单应矩阵H将图像2变换到图像1，H乘以一个非零的比例因子上述等式仍然成立，即H是一个3×3齐次矩阵，具有8个未知量。这样就可以实现图像的拼接等实际问题。
其中，需要注意的是，平面间的单应，并不像对极约束完全不需要场景的结构信息，它对场景的结构有了要求：场景的点必须在同一个平面上，因此单应矩阵H也就能够对两图像上对应点的提供更多的约束，已知某点在一幅图像的像点位置后，就可以通过单应矩阵，求得其在另一幅图像中像点的确切位置。
关于通过匹配的点对计算单应矩阵：
设两图像上的像点p1(x1,y1),p2(x2,y2)是一对匹配的点对，其单应矩阵为H，则有
Figure BDA0002181250600000071
将矩阵的乘法展开，即可得到
Figure BDA0002181250600000072
为方便求解，可以将上面等式变换为Ax＝0Ax＝0的形式，做如下变换，将式(1)和式(2)的左右两边同时乘以式(3)的左右两边得到：
Figure BDA0002181250600000073
将式子的右边变为0，得到：
Figure BDA0002181250600000074
将上面的等式改写为向量积的形式，令h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T，单应矩阵H是一个齐次矩阵，可以将其最后一个元素归一化为1。则式(5)可以改写为：
Figure BDA0002181250600000075
其中，ax＝(-x1,-y1,0,0,0,x2x1,x2y1,x2)T，ay＝(0,0,0,-x1,-y1,-1,y2x1,y2y1,y2)T。综上可知，一对匹配的点对，可以得到上述等式，H有8个未知量，也就说最少4对匹配的点对(任意3点不共线)，就可以求出两幅图像的单应矩阵H。
关于特征点匹配：
由上述内容可知，为了计算出两幅图像的单应矩阵需要最少4对匹配的点。如何高效且准确的匹配出两个不同视角的图像中的同一个物体，是许多计算机视觉应用中的第一步。虽然图像在计算机中是以灰度矩阵的形式存在的，但是利用图像的灰度并不能准确的找出两幅图像中的同一个物体。这是由于灰度受光照的影响，并且当图像视角变化后，同一个物体的灰度值也会跟着变化，所以，就需要找出一种能够在相机进行移动和旋转(视角发生变化)，仍然能够保持不变的特征，利用这些不变的特征来找出不同视角的图像中的同一个物体。
一个图像的特征点由两部分构成：关键点(Keypoint)和描述子(Descriptor)。关键点指的是该特征点在图像中的位置，有些还具有方向、尺度信息；描述子通常是一个向量，按照人为的设计的方式，描述关键点周围像素的信息。特征点的匹配通常需要以下三个步骤：
·提取图像中的关键点，这部分是查找图像中具有某些特征(不同的算法有不同的)的像素；
·根据得到的关键点位置，计算特征点的描述子；
·根据特征点的描述子，进行匹配。
本实施例使用opencv视觉库中封装的SIFT(Scale Invariant FeatureTransform)算法，即尺度不变特征变换。SIFT特征对旋转、尺度缩放、亮度变化等保持不变性，是一种非常稳定的局部特征。
SIFT算法主要有以下几个步骤：
·高斯差分金字塔的构建
使用组和层的结构构建了一个具有线性关系的金字塔(尺度空间)，这样可以在连续的高斯核尺度上查找图像的特征点；另外，它使用一阶的高斯差分来近似高斯的拉普拉斯核，大大的减少了运算量。
·尺度空间的极值检测及特征点的定位
搜索上一步建立的高斯尺度空间，通过高斯差分来识别潜在的对尺度和旋转不变的特征点。但是，在离散空间中，局部极值点可能并不是真正意义的极值点，真正的极值点有可能落在离散点的间隙中，SIFT通过尺度空间DoG函数进行曲线拟合寻找极值点。
·特征方向赋值
基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性。
·特征描述子的生成
通过上面的步骤已经找到的SIFT特征点的位置、方向、尺度信息，最后使用一组向量来描述特征点及其周围邻域像素的信息。
关于特征点匹配后的优化：
特征的匹配是针对特征描述子的进行的，上面提到特征描述子通常是一个向量，两个特征描述子的之间的距离可以反映出其相似的程度，也就是这两个特征点是不是同一个。根据描述子的不同，可以选择不同的距离度量。
本实施例采用随机采样一致性(RANSAC)来过滤掉错误的匹配，该方法利用匹配点计算两个图像之间单应矩阵，然后利用重投影误差来判定某一个匹配是不是正确的匹配。OpenCV中封装了求解单应矩阵的方法findHomography,可以为该方法设定一个重投影误差的阈值，可以得到一个向量mask来指定那些是符合该重投影误差的匹配点对，以此来剔除错误的匹配。
关于图像的拼接及融合：
根据图像间变换矩阵H，可以对相应图像进行变换以确定图像间的重叠区域，并将待融和图像映射到到一幅新的空白图像中形成拼接图。需要注意的是，由于普通的相机在拍摄照片时会自动选取曝光参数，这会使输入图像间存在亮度差异，导致拼接后的图像缝合线两端出现明显的明暗变化。因此，在融和过程中需要对缝合线进行处理。进行图像拼接缝合线处理的方法有很多种，如颜色插值和多分辨率样条技术等。
本实施例采用了快速简单的加权平滑算法处理拼接缝问题(见图3)。该算法的主要思想是：图像重叠区域中像素点的灰度值Pixel由两幅图像中对应点的灰度值Pixel_L和Pixel_R加权平均得到，即Pixel＝k×Pixel_L+(1-k)×Pixel_R，其中k是可调因子。
通常情况下0<k<1，即在重叠区域中，沿图像1向图像2的方向，k由1渐变为0，从而实现重叠区域的平滑拼接。为使图像重叠区域中的点与两幅图像建立更大的相关性，令k＝d1/(d1+d2),其中d1，d2分别表示重叠区域中的点到两幅图像重叠区域的左边界和右边界的距离。即使用表达式Pixel＝×Pixel_L+×Pixel_R进行缝合线处理。
关于系统的输入及输出：
本实施例中系统的输入为固定相机拍摄的视频流和用户相机拍摄的视频流。输入视频流后，对视频流进行抽帧提取图像，并进行时间轴对准。同一时间点的图像经上述方法合成处理后，在对全部合成完毕的图像进行视频流拼帧。最终结果输出在用户端的车载显示器上，输出形式为视频。
值得说明的是，上述步骤中，提到的初值图像的意义为提到计算速度并且减少匹配误差。因为在实际情况中，公共区域存在的可匹配点会很多，而特征点匹配的准确与否决定了计算出的单应矩阵的可信度。通过本实施例中提到的利用初值图像进行计算单应矩阵，可以使计算结果更为准确。
综上所述，本发明实施例实现盲区透视化显示的原理是基于计算机视觉的多视图几何，多个相机间通过射影变换的关系确定位姿，盲区通过固定相机获取图像，再将该图像传输到移动的用户相机上，利用相机间的视角变换关系，对盲区图像进行变换，使其在用户相机上以正确的位置和视角进行融合，从而得到辅助驾驶员驾驶车辆的行车盲区透视视频，进而能够大幅减少交通事故的发生。
实施例二
本实施例将实施例一的标识板扩展成两块标识板。
图4示出了本发明实施例二的行车盲区视野透视系统的示意图。本实施例的行车盲区视野透视系统主要包括用户相机、第一固定相机、第二固定相机、第一标识板、第二标识板以及控制器(图中未示出)。
参照图4，用户相机可以为一般性车载摄像头，并附带视频显示系统。在路口的两侧装有固定相机，第一和第二固定相机可以为固定的广角相机，固定相机与用户相机有公共的视野区域。在此公共视野区设有作为特定标识物的第一标识板和第二标识板。通过这两块标识板所在的平面，固定相机和用户相机之间可以建立视角变换关系，可以计算出基于各个标识板平面的单应矩阵(单应变换矩阵)。位于路口两侧的第一固定相机和第二固定相机所实时拍摄到的画面，基于第一单应矩阵、第二单应矩阵以及图像的融合算法处理后，通过区域网络传输至用户相机，车内显示系统即可获取实时的盲区透视图像。
图5示出了本发明实施例二中行车盲区透视视频的生成方法的流程示意图。本实施例的行车盲区透视视频的生成方法主要包括步骤S201至步骤S211。
在步骤S201中，如图4所示地设置第一固定相机、第一固定相机、第一标识板和第二标识板(根据到固定相机平面的距离不同设置多个，本实施例以两个为例)。
在步骤S202中，两个固定相机位置确定后，处理预设图像；预设图像为当前位置的固定相机拍摄的图像，对该图像进行背景剔除，即处理后的图像为仅保留某一位置的单个标定板的图像，记为L1，L2，R1，R2，L1为第一固定相机拍摄的仅包含第一标识板的图像，L2为第一固定相机拍摄的仅包含第二标识板的图像，R1为第二固定相机拍摄的仅包含第一标识板的图像，R2为第二固定相机拍摄的仅包含第二标识板的图像。
在步骤S203中，对L1、R1和L2、R2分别进行拼接及融合，得的结果定义为初值图像，记作S1、S2。具体地，对L1、R1进行拼接及融合，得到第一初值图像S1，对L2、R2进行拼接及融合，得到第二初值图像S2。
在步骤S204中，获取移动中用户相机采集的视频流、第一固定相机采集的视频流和第二固定相机采集的视频流。
在步骤S205中，对用户相机采集的视频流和两个固定相机的视频流进行抽帧和时间轴对准，以不同时间点划分为图像组A1、A2、…、An，一个图像组(例如图像组A1)中包含一张用户相机拍摄的图像(a1)和两张固定相机拍摄的图像(b11、b12)。
在步骤S206中，用每个图像组中的用户相机图像分别与第一初值图像S1和第二初值图像S2进行特征点匹配，并以用户相机图像为主图计算的单应矩阵，结果分别记为H11、H12、…、H1n；H21、H22、…、H2n。
在步骤S207中，对步骤S206中的结果求均值，结果记为H1、H2、…、Hn，(其中，
Figure BDA0002181250600000111
)。
在步骤S208中，对图像组A1中的两张固定相机图像(b11、b12)进行拼接融合，结果记为b1。以此类推，得到对应每个图像组对应的拼接融合图像b1、b2、b3、…、bn。
在步骤S209中，利用步骤S206中得到的单应矩阵H1、H2、…、Hn对拼接融合图像b1、b2、b3…bn分别计算，则可以得到视角变换后的图像c1、c2、c3、…、cn。
在步骤210中，对a1、a2、a3、…、an分别与c1、c2、c3、…、cn进行图像拼接及融合，得到最终的实际场景的透视效果图，记为B1、B2、B3、…、Bn。
在步骤S211中，对B1、B2、B3、…、Bn进行拼帧，输出为视频流。
本实施例方法中的单应矩阵、通过匹配的点对计算单应矩阵、特征点匹配、特征点匹配后的优化、图像的拼接及融合以及系统的输入输出与实施例一相同，在此不再赘述。
在现有技术中，通过背景立面的灭点和灭线确定单应矩阵、对于不在背景平面上的物体，利用背景平面的灭点、灭线、背景面与地面的交线得出尺度不变特征比，再根据此特征比对物体做射影变换。相比于现有技术，本实施例通过对标定板进行特征点匹配和筛选确定单应矩阵；对于不在背景平面上的物体，不进行分别处理和校正；而是通过设置不同位置的标定板，得到多个位置平面的单应矩阵，对这些单应矩阵求均值来减小因物体不在特定平面上带来的误差；预设初值图像，使特征点匹配时的外界场景干扰减小，提高了计算处理的实时性和准确性。
另外，在现有技术中，实验系统的组成为一个源相机和一个参考相机。相比于现有技术，本实施例的系统组成为两个固定相机和一个移动的用户相机，算法支持根据场景需求进行固定相机的增减。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种行车盲区透视视频的生成方法，其特征在于，包括：
由车载的用户相机拍摄行车视频流；
由设置于所述用户相机的拍摄盲区的固定相机拍摄盲区视频流和包含标识板的图像，所述标识板设置于所述用户相机和所述固定相机的公共视野中；
根据所述包含标识板的图像确定初值图像；
针对所述行车视频流和所述盲区视频流中对应同一时刻的每帧行车图像和盲区图像，执行以下步骤：
对该行车图像与所述初值图像进行特征点匹配，得到与该行车图像对应的单应矩阵；
基于所述单应矩阵对该盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
2.根据权利要求1所述的生成方法，其特征在于，所述公共视野中设置有多个标识板，所述拍摄盲区设置有第一固定相机和第二固定相机，
根据所述包含标识板的图像确定初值图像，包括：
针对每个标识板，根据所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像，确定该标识板对应的初值图像。
3.根据权利要求2所述的生成方法，其特征在于，根据所述包含标识板的图像确定初值图像，包括：
针对每个标识板，对所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像进行拼接和融合，以确定该标识板对应的初值图像。
4.根据权利要求3所述的生成方法，其特征在于，
针对所述行车视频流、所述第一固定相机拍摄的第一盲区视频流和所述第二固定相机拍摄的第二盲区视频流中对应同一时刻的、每帧行车图像、第一盲区图像和第二盲区图像，执行以下步骤：
对该行车图像分别与各标识板对应的初值图像进行特征点匹配，得到与每个标识板对应的单应矩阵；
根据所有标识板对应的单应矩阵，确定一个单应矩阵；
对所述第一盲区图像和所述第二盲区图像进行拼接和融合，以确定盲区图像；
基于确定的单应矩阵对确定的盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
5.根据权利要求4所述的生成方法，其特征在于，根据所有标识板对应的单应矩阵，确定一个单应矩阵，包括：
对所有标识板对应的单应矩阵求取均值，并将均值结果作为确定的单应矩阵。
6.一种行车盲区视野透视系统，其特征在于，包括：
车载的用户相机，其配置为拍摄行车视频流；
设置于所述用户相机的拍摄盲区的固定相机，其配置为拍摄盲区视频流和包含标识板的图像；
设置于所述用户相机和所述固定相机的公共视野中的标识板；以及
控制器，其配置为根据所述包含标识板的图像确定初值图像，并针对所述行车视频流和所述盲区视频流中对应同一时刻的每帧行车图像和盲区图像，执行以下步骤：
对该行车图像与所述初值图像进行特征点匹配，得到与该行车图像对应的单应矩阵；
基于所述单应矩阵对该盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
7.根据权利要求6所述的行车盲区视野透视系统，其特征在于，包括：
设置于所述公共视野的多个标识板；以及
设置于所述拍摄盲区的第一固定相机和第二固定相机，
其中，所述控制器具体配置为：针对每个标识板，根据所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像，确定该标识板对应的初值图像。
8.根据权利要求7所述的行车盲区视野透视系统，其特征在于，所述控制器具体配置为：
针对每个标识板，对所述第一固定相机和所述第二固定相机拍摄的包含该标识板的图像进行拼接和融合，以确定该标识板对应的初值图像。
9.根据权利要求8所述的行车盲区视野透视系统，其特征在于，所述控制器具体配置为：针对所述行车视频流、所述第一固定相机拍摄的第一盲区视频流和所述第二固定相机拍摄的第二盲区视频流中对应同一时刻的、每帧行车图像、第一盲区图像和第二盲区图像，执行以下步骤：
对该行车图像分别与各标识板对应的初值图像进行特征点匹配，得到与每个标识板对应的单应矩阵；
根据所有标识板对应的单应矩阵，确定一个单应矩阵；
对所述第一盲区图像和所述第二盲区图像进行拼接和融合，以确定盲区图像；
基于确定的单应矩阵对确定的盲区图像进行图像转换；
对该行车图像与图像转换后的盲区图像进行图像拼接和融合，得到该时刻的行车盲区透视图像；将各时刻的行车盲区透视图像拼帧成行车盲区透视视频。
10.根据权利要求9所述的行车盲区视野透视系统，其特征在于，所述控制器具体配置为：对所有标识板对应的单应矩阵求取均值，并将均值结果作为确定的单应矩阵。
CN201910797038.9A 2019-08-27 2019-08-27 行车盲区透视视频的生成方法及行车盲区视野透视系统 Active CN110738696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910797038.9A CN110738696B (zh) 2019-08-27 2019-08-27 行车盲区透视视频的生成方法及行车盲区视野透视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910797038.9A CN110738696B (zh) 2019-08-27 2019-08-27 行车盲区透视视频的生成方法及行车盲区视野透视系统

Publications (2)

Publication Number Publication Date
CN110738696A true CN110738696A (zh) 2020-01-31
CN110738696B CN110738696B (zh) 2022-09-09

Family

ID=69267794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910797038.9A Active CN110738696B (zh) 2019-08-27 2019-08-27 行车盲区透视视频的生成方法及行车盲区视野透视系统

Country Status (1)

Country Link
CN (1) CN110738696B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372051A (zh) * 2020-03-17 2020-07-03 三一重工股份有限公司 多相机联动盲区检测方法、装置和电子设备
CN112485262A (zh) * 2020-12-22 2021-03-12 常州信息职业技术学院 一种混凝土表观裂缝宽度及其扩展演化的检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043632A1 (en) * 2008-02-20 2011-02-24 Noriyuki Satoh Vehicle peripheral image displaying system
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
WO2018222122A1 (en) * 2017-05-31 2018-12-06 Uniti Sweden Ab Methods for perspective correction, computer program products and systems
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043632A1 (en) * 2008-02-20 2011-02-24 Noriyuki Satoh Vehicle peripheral image displaying system
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
WO2018222122A1 (en) * 2017-05-31 2018-12-06 Uniti Sweden Ab Methods for perspective correction, computer program products and systems
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YI GAO ET AL.: "《3-D Surround View for Advanced Driver Assistance Systems》", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
汪佩等: "基于单线激光雷达与视觉融合的负障碍检测算法", 《计算机工程》 *
谢毓: "基于无缝拼接的全景泊车辅助系统的设计", 《电子产品世界》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372051A (zh) * 2020-03-17 2020-07-03 三一重工股份有限公司 多相机联动盲区检测方法、装置和电子设备
CN111372051B (zh) * 2020-03-17 2021-06-01 三一重工股份有限公司 多相机联动盲区检测方法、装置和电子设备
CN112485262A (zh) * 2020-12-22 2021-03-12 常州信息职业技术学院 一种混凝土表观裂缝宽度及其扩展演化的检测方法及装置
CN112485262B (zh) * 2020-12-22 2023-08-11 常州信息职业技术学院 一种混凝土表观裂缝宽度及其扩展演化的检测方法及装置

Also Published As

Publication number Publication date
CN110738696B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
CN106952311B (zh) 基于全景拼接数据映射表的辅助泊车系统及方法
CN111750820B (zh) 影像定位方法及其系统
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN104835117B (zh) 基于重叠方式的球面全景图生成方法
CN112444242B (zh) 一种位姿优化方法及装置
Li et al. Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN111260779A (zh) 地图构建方法、装置及系统、存储介质
CN110738696B (zh) 行车盲区透视视频的生成方法及行车盲区视野透视系统
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
Mariotti et al. Spherical formulation of geometric motion segmentation constraints in fisheye cameras
Yeh et al. Driver assistance system providing an intuitive perspective view of vehicle surrounding
Müller et al. Multi-camera system for traffic light detection: About camera setup and mapping of detections
Ramirez et al. Panoramic stitching for driver assistance and applications to motion saliency-based risk analysis
Nguyen et al. Calibbd: Extrinsic calibration of the lidar and camera using a bidirectional neural network
CN115797405A (zh) 一种基于车辆轴距的多镜头自适应跟踪方法
CN113011212B (zh) 图像识别方法、装置及车辆
CN114463170A (zh) 一种针对agv应用的大场景图像拼接方法
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
Neves et al. A master-slave calibration algorithm with fish-eye correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant