CN214959899U

CN214959899U - 一种适用于大型车辆的车载全景拼接系统

Info

Publication number: CN214959899U
Application number: CN202121584618.9U
Authority: CN
Inventors: 张斌; 张连永; 傅哲; 刘颖
Original assignee: Xi'an Xingzhou Zhiyi Intelligent Technology Co ltd
Current assignee: Xi'an Xingzhou Zhiyi Intelligent Technology Co ltd
Priority date: 2021-07-13
Filing date: 2021-07-13
Publication date: 2021-11-30
Anticipated expiration: 2031-07-13

Abstract

本实用新型公开了一种适用于大型车辆的车载全景拼接系统，包括图像采集模块、图像处理模块和图像输出模块，图像采集模块包括多个安装在车辆身上并用于对车辆周围的视频图像进行采集的摄像机、与摄像机连接的交换机，交换机用于传输摄像机采集到的视频图像；图像处理模块包括与交换机连接的边缘AI服务器、与边缘AI服务器连接的HDMI采集卡以及与HDMI采集卡连接的车载工控机，边缘AI服务器用于将交换机传输过来的视频图像进行畸变校正，HDMI采集卡从边缘AI服务器获取校正后的视频图像并传输给车载工控机，车载工控机对校正图像进行实时全景拼接；图像输出模块包括与车载工控机连接的车载显示器。本系统实现了大型车辆车周视频影像的全景拼接，效果优良。

Description

一种适用于大型车辆的车载全景拼接系统

技术领域

本实用新型属于车载影像技术领域，具体涉及一种适用于大型车辆的车载全景拼接系统。

背景技术

近年来由于驾驶视野盲区导致的事故悲剧频发，使得以汽车安全为主旨的360°全景辅助系统日益重要，360°全景影像的技术也十分复杂，特别是车身多个摄像头的安装和拼接成像，是画面精确和流畅效果的关键，全景可视化的技术旨在为驾驶员提供车辆周围的鸟瞰图像，让驾驶员了解车辆四周障碍物和行人的位置及其与车辆的距离，360°的全景图像中没有任何视觉上的盲区。全景可视化的辅助泊车系统能够有效避免车辆擦碰事故的发生，提高车辆的安全驾驶性能。

但是目前的车载360°全景影像系统存在以下问题：首先是图像拼接存在盲区：由于现有系统采用的图像拼接技术，导致不能形成360°全景影像，无法实现覆盖所有区域，当行人站在特定的盲区时360°全景影像系统可能无法显示出行人的影像；其次就是目前全景拼接技术不能很好的适应光线不充足的低照明场景，并且图像分辨率一般较低。

实用新型内容

本实用新型要解决的技术问题是提供一种适用于大型车辆的车载全景拼接系统，适用范围较广，拼接效果较好。

为解决上述技术问题，本实用新型的目的是通过以下技术方案实现的：提供一种适用于大型车辆的车载全景拼接系统，包括图像采集模块、图像处理模块和图像输出模块，所述图像采集模块包括多个安装在车辆身上并用于对车辆周围的视频图像进行采集的摄像机及与摄像机连接的交换机，所述交换机用于传输所述摄像机采集到的视频图像；所述图像处理模块包括与所述交换机连接的边缘AI服务器、与所述边缘AI服务器连接的HDMI采集卡及与所述HDMI采集卡连接的车载工控机，所述边缘AI服务器用于将所述交换机传输过来的视频图像进行畸变校正，所述HDMI采集卡从所述边缘AI服务器获取校正后的视频图像并传输给车载工控机，所述车载工控机对校正图像进行实时全景拼接；所述图像输出模块包括与所述车载工控机连接的车载显示器。

进一步的，所述摄像机为全光照摄像机，所述摄像机通过第一网线与所述交换机连接。

进一步的，所述摄像机上安装有鱼眼镜头。

进一步的，所述鱼眼镜头的视角为190°。

进一步的，所述交换机为POE交换机，所述交换机通过第二网线与所述边缘AI服务器连接。

进一步的，所述边缘AI服务器通过HDMI线与所述HDMI采集卡连接。

进一步的，所述HDMI采集卡通过USB线与所述车载工控机连接。

本实用新型具有以下有益效果：

本实用新型通过安装在车辆身上前后两端的摄像机对车辆周围的视频图像进行实时采集，然后将采集到的视频图像传输至交换机，交换机将视频图像传递至边缘AI服务器处进行畸变校正，HDMI采集卡从边缘AI服务器处获取校正后的视频图像后传递至车载工控机处，通过处理实现了大型车辆车周视频影像的全景拼接，拼接效果优良；同时摄像机选取为全光照摄像机能够增强摄像机的场景适应性，能够实现低照度和逆光状态下的清晰成像；在摄像机上安装有鱼眼镜头，鱼眼镜头的使用能够扩大摄像机捕捉视频影像的范围，成像更为清晰。

附图说明

为了更清楚地说明本实用新型实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型实施例提供的适用于大型车辆的车载全景拼接系统的示意图；

图2为本实用新型实施例提供的适用于大型车辆的车载全景拼接系统的全景拼接数据处理的流程图；

图3为本实用新型实施例全景拼接数据处理的流程中的求取透视变换矩阵的流程图。

图中标识说明：

1－图像采集模块、2－图像处理模块、3－图像输出模块、11－摄像机、12－第一网线、13－鱼眼镜头、21－交换机、22－边缘AI服务器、23－HDMI采集卡、24－第二网线、25－HDMI线、26－USB线、31－车载工控机、32－显示屏。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本实用新型说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本实用新型。如在本实用新型说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本实用新型说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

实施例

请参阅图1所示，本实用新型实施例提供的适用于大型车辆的车载全景拼接系统，包括图像采集模块1、图像处理模块2和图像输出模块3，图像采集模块1包括四个安装在车辆(图中未全部示出)身上四周的摄像机11及与摄像机11连接的交换机21，摄像机11可以对车辆周围的视频图像进行实时采集，交换机21用于接收摄像机11所采集到的视频图像并进行传输转换；图像处理模块2包括与交换机21连接的边缘AI服务器22、与边缘AI服务器22连接的HDMI采集卡23以及与HDMI采集卡23连接的车载工控机31，边缘AI服务器22用于将交换机21传输过来的视频图像进行畸变校正，HDMI采集卡23从边缘AI服务器22处获取校正后的视频图像传输给车载工控机31，然后车载工控机31进行实时全景拼接；图像输出模块3包括车载工控机31连接的车载显示器32；在上述结构中，通过安装在车辆身上四周的摄像机11对车辆周围的视频图像进行实时采集，然后将采集到的视频图像传输至交换机21，交换机21将视频图像进行传输转换后传递至边缘AI服务器22处进行畸变校正，HDMI采集卡23从边缘AI服务器22处获取校正后的视频图像后再传递至车载工控机31处进行实时全景拼接，车载工控机31安装在车辆内部，全景拼接处理完成后的视频图像能够输出至车载显示器32处，车载工控机31还能够实现对整个系统的控制，便于驾驶员在车辆内部对整个系统进行操作控制，实现了大型车辆车周视频影像的全景拼接，拼接效果优良。

进一步的，摄像机11为全光照摄像机，摄像机11通过第一网线12与交换机21连接；摄像机11选取为全光照摄像机能够增强摄像机11的场景适应性，能够实现低照度和逆光状态下的清晰成像。

进一步的，在摄像机11上安装有鱼眼镜头13，鱼眼镜头13的视角为190°；鱼眼镜头13的使用能够扩大摄像机捕捉视频影像的范围，使用数量较少的摄像机即可捕捉到车辆周边的全部视频影像，当鱼眼镜头13的视角为190°时，使用四个摄像机即可捕捉到车辆周边的全部视频影像，使用范围较广。

进一步的，交换机21为POE交换机，交换机21通过第二网线24与边缘AI服务器22连接；交换机21不仅仅能够传输视频图像的数据信号同时还能为摄像机11提供直流供电。

进一步的，边缘AI服务器22通过HDMI线25与HDMI采集卡23连接。

进一步的，HDMI采集卡23通过USB线26与车载工控机31连接。

请参阅图2所示，图2为本实用新型适用于大型车辆的车载全景拼接系统的全景拼接数据处理的流程图，全景拼接数据处理的流程具体包括：

S1、摄像机采集视频图像；

S2、交换机转换传输视频图像；

S3、边缘AI服务器读取视频图像；

S4、边缘AI服务器进行畸变校正；

S5、HDMI采集卡采集传输校正图像；

S6、车载工控机读取校正图像；

S7、车载工控机求取透视变换矩阵；

S8、生成鸟瞰全景拼接视频图像。

请参阅图3所示，图3为本实用新型全景拼接数据处理的流程中的求取透视变换矩阵的流程图，读取透视变换矩阵的流程具体包括：

S701、铺设棋盘格标定布在车身四周；

S702、使用边缘AI服务器对各个相机视频进行解码并得到校正后的图像；

S703、将从边缘AI服务器获取的校正后的图片存到本地文件夹，可先使用ps等工具将图像中不包含角点的部分标白，否则获取的角点可能过多，处理后的图像作为输入；

S704、运行角点检测程序，生成角点图像及角点像素坐标索引json文件，并保存到本地；

S705、逐行逐个将角点索引记录到txt文件中，没有检测到角点的位置角点索引记为-1；

S706、创建python文件，设置矩阵存放各角点对应的物理坐标；

S707、结合json文件、txt文件及物理坐标矩阵，采用ransac算法求解透视变换矩阵；

S708、动态拼接文件中导入得到的透视变换矩阵，实时采集视频流进行全景拼接，实现动态的全景拼接。

以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以权利要求的保护范围为准。

Claims

1.一种适用于大型车辆的车载全景拼接系统，包括图像采集模块、图像处理模块和图像输出模块，其特征在于：

所述图像采集模块包括多个安装在车辆身上并用于对车辆周围的视频图像进行采集的摄像机及与摄像机连接的交换机，所述交换机用于传输所述摄像机采集到的视频图像；

所述图像处理模块包括与所述交换机连接的边缘AI服务器、与所述边缘AI服务器连接的HDMI采集卡以及与所述HDMI采集卡连接的车载工控机，所述边缘AI服务器用于将所述交换机传输过来的视频图像进行畸变校正，所述HDMI采集卡从所述边缘AI服务器获取校正后的视频图像并传输给车载工控机，所述车载工控机对校正图像进行实时全景拼接；

所述图像输出模块包括与所述车载工控机连接的车载显示器。

2.如权利要求1所述的适用于大型车辆的车载全景拼接系统，其特征在于，所述摄像机为全光照摄像机，所述摄像机通过第一网线与所述交换机连接。

3.如权利要求2所述的适用于大型车辆的车载全景拼接系统，其特征在于，所述摄像机上安装有鱼眼镜头。

4.如权利要求3所述的适用于大型车辆的车载全景拼接系统，其特征在于，所述鱼眼镜头的视角为190°。

5.如权利要求1所述的适用于大型车辆的车载全景拼接系统，其特征在于，所述交换机为POE交换机，所述交换机通过第二网线与所述边缘AI服务器连接。

6.如权利要求5所述的适用于大型车辆的车载全景拼接系统，其特征在于，所述边缘AI服务器通过HDMI线与所述HDMI采集卡连接。

7.如权利要求6所述的适用于大型车辆的车载全景拼接系统，其特征在于，所述HDMI采集卡通过USB线与所述车载工控机连接。