CN110381255B - 应用360全景环视技术的车载视频监控系统及方法 - Google Patents

Abstract

本发明提供了一种应用360全景环视技术的车载视频监控系统及方法,涉及汽车行车安全和车载视频监控领域，使用360全景环视技术以消除汽车盲区、提高行车安全性、低成本、方便实用为目的,为驾驶员提供车内监测影像与车外全景影像画面等信息。所述系统包括车载监控主机端、远程客户端、云服务器端、运维宝以及与本地主机连接的显示器端，全景合成模块包括鱼眼图像查表转换、图像前置处理、图像拼接融合、图像后置处理、全景图像增强。本发明融合多项先进的图像处理技术，以对硬件环境要求低、可移植、高性能等为特点。

Description

应用360全景环视技术的车载视频监控系统及方法

技术领域

本发明涉及汽车行车安全和车载视频监控领域，具体地，涉及一种应用360全景环视技术的车载视频监控系统及方法，尤其涉及一种将车辆内部和车辆外部影像等信息直观的呈现给驾驶员，以消除车辆盲区、提高行车的安全性和使用性的应用 360全景环视技术的车载视频监控系统。

背景技术

近年以来随着图像技术与计算机视觉的高速发展，更多的技术被应用在汽车电子领域，驾驶汽车通常会参考车身两侧后视镜和车内后视镜，虽然驾驶时可以保证较高的安全性，但在泊车仅仅依靠这些信息是远远不够的，倒车雷达虽然可以提供前后的障碍物的声音提醒，但对于车辆两侧的障碍物无法检测。传统的倒车影像虽然提供倒车影像，但覆盖范围有限，车辆前后以及两侧仍然存在较大的盲区，并且泊车中容易发生刮蹭等情况。

近年来汽车的急剧增加使的城市道路拥挤、小区内车辆拥堵，使得驾驶员在泊车时受到视野和车位狭小等客观条件的限制，极易发生碰撞事故，带来不必要的损失。虽然车速不会太快，但不小心刮蹭到车辆，仍是一件让人烦恼的事情。因此有了车辆全景环视的需求。

虽然市场上的全景多是针对小型汽车，对于大中型的客车、货车的非常欠缺，全景环视系统对于大体积的车辆来说可以明显减少泊车时造成的刮蹭事故。随着车辆的增多以及拥堵的加剧，客车巴士、校车、公交车、工程车辆等急需增加辅助的安全设备，以此更安全。

目前市场上流行的汽车全景泊车辅助系统，如专利文献CN105354796A公开的一种用于行车辅助的图像处理方法和系统，该方法包括：对所采集的车身周围的多个视频图像进行亮度调节，以使得所述多个视频图像之间亮度均匀；对亮度调节后的多个视频图像分别进行畸变校正，以降低或消除多个视频图像中每一个视频图像的成像畸变；对畸变校正后的多个视频图像分别进行投影变换，获得俯视投影的多个视频图像；以及对所述俯视投影的多个视频图像进行图像拼接，以获得全景视频图像。

类似上述的现有技术存在仅车外监控或仅车内监控、可视范围小、图像拼接融合色差严重、车前车后存在盲区、图像拼接不融合、公共重叠区域直线弯曲、清晰度低、操作复杂、设备价格偏贵等，这致使了驾驶员在开车过程中安全性大大降低了，容易出现碰撞、刮蹭等事故。

本发明使用先进的图像处理技术，改进了图像处理流程，通过图像合成模块中的鱼眼图像查表转换、图像前置处理、图像拼接融合、图像后置处理、全景图像增强，实现了对全景图像亮度、色彩均匀、拼接融合达到最佳效果，本专利支持远程客户端与车载监控主机端的数据信息交互，使得繁杂的标定工作更为方便、高效。与车内监控视频实时在显示器端显示，真正实现360度无死角的车外实时监控和车内实时监控。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种应用360全景环视技术的车载视频监控系统及方法。

根据本发明提供的一种应用360全景环视技术的车载视频监控系统，包括车载监控主机端；所述车载监控主机端包括图像采集模块、图像合成模块以及标定模块；

所述图像采集模块包括图像采集设备，能够采集设定的视频监控图像信号；

所述标定模块能够接收图像采集模块得到的视频监控图像信号，生成摄像头的内部参数和外部参数，建立图像标定模型；所述图像标定模型包括现实世界坐标与图像坐标的映射关系；

其中，所述内部参数包括参数矩阵和/或畸变系数；所述参数矩阵包括摄像机焦距、摄像机纵横比以及图像中心坐标中的任一种或任多种组合；所述畸变系数包括径向畸变系数和/或切向畸变系数；所述外部参数包括旋转向量R和/或平移向量T；

所述图像合成模块包括图像转换子模块；

所述图像转换子模块能够接收图像采集模块得到的视频监控图像信号，并通过标定模块得到的图像标定模型转换为设定的表现形式。

优选地，所述图像采集模块包括大于1个的图像采集设备，所述大于1个的图像采集设备作为车内视频采集子模块和/或车外视频采集子模块，采集设定的视频监控图像信号；

所述图像合成模块还包括图像前置处理模块、图像拼接融合模块、图像后置处理模块以及图像增强模块；

所述图像前置处理模块能够接收图像转换子模块转换后的视频监控图像信号，并进行联合亮度调整；

所述图像拼接融合模块能够接收图像前置处理模块联合亮度调整后的视频监控图像信号，通过坐标对应将大于1个的视频监控图像信号拼接融合为1个全景图像信号；

所述图像后置处理模块能够消除全景图像信号的亮度差异和色彩差异；

所述图像增强模块能够将图像后置处理模块处理后得到的全景图像信号进行清晰度增强处理。

优选地，所述应用360全景环视技术的车载视频监控系统还包括远程客户端、运维宝端、云服务器端以及本地车辆显示器端中的任一种或任多种组合；

所述远程客户端能够与云服务器端进行设定的数据通信；

所述远程客户端能够与运维宝端进行设定的数据通信；

所述运维宝端能够与车载监控主机端进行设定数据通信；

所述云服务器端能够存储设定的数据信息，并按照设定的方法反馈；

所述本地车辆显示器端能够接收车载监控主机端输出的信息并实时显示。

优选地，所述车载监控主机端还包括GPS定位模块、视图模式控制模块、存储模块以及通信模块中的任一种或任多种组合；

所述GPS定位模块能够获取车辆实时位置信息，并将获取的信息发送到显示器端和/ 或云服务器端；

所述视图模式控制模块与本地车辆显示器端通信连接，能够根据车辆行驶状态信息控制本地车辆显示器端以设定的视图模式展示；

所述存储模块能够存储设定的信息；

所述通信模块包括有线通信模块和无线通信模块；所述有线通信模块能够实现车载监控主机端与显示器端之间的通信连接；

所述无线通信模块能够实现车载监控主机端、远程客户端、云服务器端、运维宝端之间的通信连接。

优选地，所述远程客户端包括Android手机端、ios手端、Pad平板端、Web端以及 PC电脑端中的任一种或任多种组合，能够与云服务器端或运维宝进行数据通信，数据通信包括远程客户端的远程标定、发送信息服务请求以及接收相关服务信息。

优选地，所述图像采集设备包括广角鱼眼摄像头，所述广角鱼眼摄像头的摄像角度不小于175°；所述标定模块得到的图像标定模型还包括畸变校正子模型。

根据本发明提供的一种应用360全景环视技术的车载视频监控方法，包括标定步骤；所述标定步骤包括如下子步骤：

步骤1、准备一个模板平面；

步骤2、从不同的角度拍摄一组模板图像；

步骤3、自动分析提取模板图像的特征点坐标；

步骤4、通过数学模型计算摄像机的内部参数和外部参数；

步骤5、计算畸变参数并优化。

优选地，所述应用360全景环视技术的车载视频监控方法还包括本地手动标定步骤和本地自动标定步骤；

所述本地手动标定步骤包括如下子步骤：

步骤101、铺设标定布与输入车辆信息；

步骤102、车载监控主机端获取标定鱼眼图像；

步骤103、鱼眼图像标定点描点；

步骤104、描点完成后，开始标定；

步骤105、生成标定数据；

所述本地自动标定步骤包括如下子步骤：

步骤201、铺设标定布与输入车辆信息；

步骤202、车载监控主机端获取标定鱼眼图像；

步骤203、开始标定；

步骤204、生成标定数据；

优选地，所述应用360全景环视技术的车载视频监控方法还包括远程客户端手动标定步骤；所述远程客户端手动标定步骤包括如下子步骤：

步骤301、铺设标定布与输入车辆信息；

步骤302、车载监控主机端获取标定鱼眼图像；

步骤303、车载监控主机端通过网络模块传输前后左右的鱼眼标定图像到运维宝端或平台服务器端；

步骤304、远程客户端从服务器端或运维宝端获取到前后左右的鱼眼标定图像；

步骤305、鱼眼图像标定点描点；

步骤306、描点完成后，开始标定；

步骤307、生成标定数据；

步骤308、将标定数据上传到运维宝或平台服务器；

步骤309、本地中控主机端再下载标定数据。

优选地，所述应用360全景环视技术的车载视频监控方法还包括远程客户端自动标定步骤；所述远程客户端自动标定步骤包括如下子步骤：

步骤401、铺设标定布与输入车辆信息；

步骤402、车载监控主机端获取标定鱼眼图像；

步骤403、车载监控主机端通过网络模块传输鱼眼标定图像到运维宝端或平台服务器端；

步骤404、远程客户端从服务器端或运维宝端获取到鱼眼标定图像；

步骤405、开始标定；

步骤406、生成标定数据；

步骤407、将标定数据上传到运维宝或平台服务器；

步骤408、本地中控主机端再下载标定数据。

与现有技术相比，本发明具有如下的有益效果：

将全景环视、运维宝、远程客户端作为视频监控系统的一部分，增加了系统的方便性、灵活性和实用性。为用户远程查看和接收实时信息提供可能。通过远程客户端可对中控主机端进行鱼眼图像标定以及远程功能设置，极大的提高了用户的可操作性。将视频监控由外部或内部监控进行融合，并利用先进的图像处理技术，将车辆外部的驾驶员视线盲区进行完全消除，增加了驾驶员的行车的安全性和舒适性。为用户提供了结构简单、操作方便、成本较低的车载视频监控系统。具体地：

(1)通过采用车辆外部4路鱼眼摄像头经过全景拼接融合，生成一幅包含车身和车辆周围影像的全景图，并使用车内监控摄像头采集的视频数据，从而达成车外 360度全景监控与车内监控的真正“全景监控”。

(2)通过采用交车辆监控主机端与远程客户端的标定模块，从而实现了远程与本地两种标定方式，解决了鱼眼图像标定必须在车内标定的限制。

(3)通过采用360度全景环视技术，从而实现了车辆外部4路鱼眼图像的全景合成。

(4)通过增加360度全景环视技术的图像前置处理、图像后置处理、全景图像增强，从而实现了全景图像最佳显示效果。

(5)通过增加平台服务器端，从而实现了车辆监控主机端、远程客户端的信息交互。

(6)通过增加远程客户端，从而实现了对车辆监控主机端数据信息实时交互，以及对主机端的功能设置及图像标定操作，极大的增加了方便性与实用性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的硬件结构图；

图2为本发明的全景图像算法流程图；

图3为本发明的标定流程图；

图4为本发明的标定布铺设示意图；

图5为本发明的视频监控流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种应用360全景环视技术的车载视频监控系统，包括车载监控主机端；所述车载监控主机端包括图像采集模块、图像合成模块以及标定模块；所述图像采集模块包括图像采集设备，能够采集设定的视频监控图像信号；所述标定模块能够接收图像采集模块得到的视频监控图像信号，生成摄像头的内部参数和外部参数，建立图像标定模型；所述图像标定模型包括现实世界坐标与图像坐标的映射关系；其中，所述内部参数包括参数矩阵和/或畸变系数；所述参数矩阵包括摄像机焦距、摄像机纵横比以及图像中心坐标中的任一种或任多种组合；所述畸变系数包括径向畸变系数和/ 或切向畸变系数；所述外部参数包括旋转向量R和/或平移向量T；所述图像合成模块包括图像转换子模块；所述图像转换子模块能够接收图像采集模块得到的视频监控图像信号，并通过标定模块得到的图像标定模型转换为设定的表现形式。

具体地，所述图像采集模块包括大于1个的图像采集设备，所述大于1个的图像采集设备作为车内视频采集子模块和/或车外视频采集子模块，采集设定的视频监控图像信号；所述图像合成模块还包括图像前置处理模块、图像拼接融合模块、图像后置处理模块以及图像增强模块；所述图像前置处理模块能够接收图像转换子模块转换后的视频监控图像信号，并进行联合亮度调整；所述图像拼接融合模块能够接收图像前置处理模块联合亮度调整后的视频监控图像信号，通过坐标对应将大于1个的视频监控图像信号拼接融合为1个全景图像信号；所述图像后置处理模块能够消除全景图像信号的亮度差异和色彩差异；所述图像增强模块能够将图像后置处理模块处理后得到的全景图像信号进行清晰度增强处理。所述应用360全景环视技术的车载视频监控系统还包括远程客户端、运维宝端、云服务器端以及本地车辆显示器端中的任一种或任多种组合；

所述远程客户端能够与云服务器端进行设定的数据通信；所述远程客户端能够与运维宝端进行设定的数据通信；所述运维宝端能够与车载监控主机端进行设定数据通信；所述云服务器端能够存储设定的数据信息，并按照设定的方法反馈；所述本地车辆显示器端能够接收车载监控主机端输出的信息并实时显示。优选地，所述车载监控主机端还包括GPS定位模块、视图模式控制模块、存储模块以及通信模块中的任一种或任多种组合；所述GPS定位模块能够获取车辆实时位置信息，并将获取的信息发送到显示器端和 /或云服务器端；所述视图模式控制模块与本地车辆显示器端通信连接，能够根据车辆行驶状态信息控制本地车辆显示器端以设定的视图模式展示；所述存储模块能够存储设定的信息；所述通信模块包括有线通信模块和无线通信模块；所述有线通信模块能够实现车载监控主机端与显示器端之间的通信连接；所述无线通信模块能够实现车载监控主机端、远程客户端、云服务器端、运维宝端之间的通信连接。

更具体地，所述远程客户端包括Android手机端、ios手端、Pad平板端、Web端以及PC电脑端中的任一种或任多种组合，能够与云服务器端或运维宝进行数据通信，数据通信包括远程客户端的远程标定、发送信息服务请求以及接收相关服务信息。所述图像采集设备包括广角鱼眼摄像头，所述广角鱼眼摄像头的摄像角度不小于175°；所述标定模块得到的图像标定模型还包括畸变校正子模型。

根据本发明提供的一种应用360全景环视技术的车载视频监控方法，包括标定步骤；所述标定步骤包括如下子步骤：

步骤1、准备一个模板平面；

步骤2、从不同的角度拍摄一组模板图像；

步骤3、自动分析提取模板图像的特征点坐标；

步骤4、通过数学模型计算摄像机的内部参数和外部参数；

步骤5、计算畸变参数并优化。

所述应用360全景环视技术的车载视频监控方法还包括本地手动标定步骤和本地自动标定步骤；

所述本地手动标定步骤包括如下子步骤：

步骤101、铺设标定布与输入车辆信息；

步骤102、车载监控主机端获取标定鱼眼图像；

步骤103、鱼眼图像标定点描点；

步骤104、描点完成后，开始标定；

步骤105、生成标定数据；

所述本地自动标定步骤包括如下子步骤：

步骤201、铺设标定布与输入车辆信息；

步骤202、车载监控主机端获取标定鱼眼图像；

步骤203、开始标定；

步骤204、生成标定数据；

所述应用360全景环视技术的车载视频监控方法还包括远程客户端手动标定步骤；所述远程客户端手动标定步骤包括如下子步骤：

步骤301、铺设标定布与输入车辆信息；

步骤302、车载监控主机端获取标定鱼眼图像；

步骤303、车载监控主机端通过网络模块传输前后左右的鱼眼标定图像到运维宝端或平台服务器端；

步骤304、远程客户端从服务器端或运维宝端获取到前后左右的鱼眼标定图像；

步骤305、鱼眼图像标定点描点；

步骤306、描点完成后，开始标定；

步骤307、生成标定数据；

步骤308、将标定数据上传到运维宝或平台服务器；

步骤309、本地中控主机端再下载标定数据。

所述应用360全景环视技术的车载视频监控方法还包括远程客户端自动标定步骤；所述远程客户端自动标定步骤包括如下子步骤：

步骤401、铺设标定布与输入车辆信息；

步骤402、车载监控主机端获取标定鱼眼图像；

步骤403、车载监控主机端通过网络模块传输鱼眼标定图像到运维宝端或平台服务器端；

步骤404、远程客户端从服务器端或运维宝端获取到鱼眼标定图像；

步骤405、开始标定；

步骤406、生成标定数据；

步骤407、将标定数据上传到运维宝或平台服务器；

步骤408、本地中控主机端再下载标定数据。

进一步地，一种应用360全景环视技术的车载视频监控系统涉及汽车行车安全和车载视频监控领域，使用360全景环视技术以消除汽车盲区、提高行车安全性、低成本、方便实用为目的,为驾驶员提供车内监测影像与车外全景影像画面等信息。所述系统包括车载监控主机端、远程客户端、云服务器端、运维宝以及与本地主机连接的显示器端，全景合成模块包括鱼眼图像查表转换、图像前置处理、图像拼接融合、图像后置处理、全景图像增强。本发明融合多项先进的图像处理技术，以对硬件环境要求低、可移植、高性能等为特点。

为车载视频监控领域提供一种鸟瞰全景环视图像监控和车内的监控系统。所述一种应用360全景环视技术的车载视频监控系统包括车载监控主机端、远程客户端、运维宝端、云服务器端、本地车辆显示器端以及与车载监控主机端连接的车外四路广角鱼眼摄像头和车内四路监控摄像头。四路摄像头分别安装于车辆前后和两侧，分别采集四路画面，与车内监控视频实时在显示器端显示，真正实现360度无死角的车外实时监控和车内实时监控。

本发明优选例提供的一种应用360全景环视技术的车载视频监控系统，至少包括互相连接的车载监控主机端、远程客户端、运维宝端、云服务器端、本地车辆显示器端。

车载监控主机端包括：

1)用于视频监控图像采集模块，图像采集模块按照采集视频来源分为车内视频采集、车外视频采集，车外采集摄像头采用鱼眼摄像头，摄像头数量为4个或6个。车辆内部采集摄像头的数量根据不同车辆有所不同，可为2路、4路等。

2)用于鱼眼图像转换为俯视图的鱼眼图像查表校正模块。

3)用于图像拼接融合前亮度、色彩的图像前置处理模块。

4)用于合成全景图的图像拼接融合模块。

5)用于合成全景图后全景图整体的亮度、色彩调整的图像后置处理模块。

6)用于最终全景图像的整体清晰度增强处理的全景增强模块。

7)用于本地鱼眼图像标定的标定模块。

远程客户端包括Android手机端、ios手机端、Pad平板端、Web端、PC电脑端等。用于与云服务器端进行数据通信，数据通信包括远程客户端的远程标定，发送信息服务请求，接收相关服务信息；

运维宝用移动终端(手机、Pad)通过无线Wifi连接视频监控终端设备进行相关数据通信。运维宝方便的对终端设备进行维护；可以方便的节省标定安装的人员数量，解决以往标定至少需要2个工作人员的问题，以及在车外移动时可以使用运维宝实时调整标定、摄像头安装位置等。

云服务器端用于存储车载监控主机端、远程客户端的相关数据信息，接收和处理车载监控主机端、远程客户端的请求信息，并进行相应的反馈。

本地车辆显示器端接收车载监控主机端传输的数据并实时显示；

图像采集模块根据摄像头安装位置，采集的图像数据分为车辆内部的景象监控数据、车辆外部的景象监控数据。进一步地，获取车辆外部景象的监控数据的摄像头，为广角鱼眼摄像头，摄像头角度达到175度以上，可获取比普通摄像头更宽广的视野范围，车外鱼眼摄像头分别采集车辆前侧、后侧、左侧、右侧的车辆四周的景象。

本发明优选例的目的是解决上述问题，提供一种多种功能组合的，低成本的，方便实用的，同时不仅适用于常规汽车、同时适用于客车、货车、校车等车辆的监控系统。能够方便、直观的监控车内、车外的情况。

为了实现上述发明目的，本发明的优选例提供一种适用于一种应用360全景环视技术的车载视频监控系统方案如下：

一种应用360全景环视技术的车载视频监控系统，其特征在于，包括车载监控主机端、远程客户端、云服务器端、运维宝以及与车载监控主机端连接的显示器端。

所述车载监控主机端，其包括：摄像头、显示器、延长线、标定布，图像采集模块、图像合成模块、标定模块、GPS定位模块、视图模式控制模块、存储模块、通信模块、机车信息处理模块等。

图像采集模块，用于采集车辆内部、车辆外部的景象。

根据摄像头安装位置，采集的图像数据分为车辆内部的景象监控数据、车辆外部的景象监控数据。

获取车辆外部景象的监控数据的摄像头，为广角鱼眼摄像头，摄像头角度达到175度以上，可获取比普通摄像头更宽广的视野范围，车外鱼眼摄像头分别采集车辆前侧、后侧、左侧、右侧的车辆四周的景象。

按照车外摄像头的数量划分，摄像头分为6路车外监控、4路车外监控。4路车外监控摄像相投的安装位置为车辆外部前侧中间位置、车辆外部后侧中间位置、车辆外部左侧中间位置、车辆外部右侧中间位置。6路车外监控摄像相投的安装位置为车辆外部前侧中间位置、车辆外部后侧中间位置、车辆外部左侧中间靠前位置、车辆外部左侧中间靠后位置、车辆外部右侧中间靠前位置、车辆外部右侧中间靠后位置。以下以4路车外监控为例说明。

获取车辆内部景象的摄像头为针孔摄像头，摄像头的安装位置与数量与不同类型的车辆相关，如货车，可分别再车厢内部与朝向驾驶员位置各安装一个摄像头，如客车，朝向驾驶员位置安装一个摄像头，前后车门位置各安装一个摄像头，车厢后侧朝向前方可安准一个摄像头。车辆内部的摄像头数量可根据车辆需求增加摄像头的数量。

图像采集模块与图像合成模块连接，将监控视频数据传输至图像合成模块；

图像合成模块，图像合成模块接收图像采集模块传输的视频数据，将采集到的车辆外部图像拼接合成为一幅展示车身与车辆周围的鸟瞰图，并与车内监控图像一并输送到显示模块；

图像合成模块分为鱼眼图像查表转换、图像前置处理、图像拼接融合、图像后置处理、全景图像增强。

鱼眼图像查表转换部分，包含两个转换坐标映射表，分别为畸变校正查找表、俯视变换查找表，众所周知，视角越大、因光学原理产生的变形也就越强烈。为了达到180 度的超大视角，鱼眼镜头的设计不得不做出牺牲，即允许鱼眼图像存在变形。畸变校正查找表用于消除鱼眼图像的畸变，使得鱼眼图像经过畸变校正生成与针孔摄像头相同的画面。由于摄像头的安装位置、角度的不同，摄像头拍摄的画面并不是从上往下看到的俯视图像，因此，需要使用俯视变换查找表，将经过畸变校正的鱼眼图像转换为俯视图像。鱼眼图像转换的查找表由鱼眼图像标定模块生成后使用。

为了减少对处理的压力和算法的运算时间，本专利将畸变校正查找表与俯视变换查找表合二为一，进一步的加快鱼眼图像到俯视图像的转换。

由于采集模块采集的图像数据并不是全部是显示在全景图像中，因此，我们根据需要显示的全景图像的范围反向计算鱼眼图像中所需的图像像素，进而在鱼眼图像查表转换中再次提高运算效率。极大的减轻处理器压力。

由于鱼眼摄像头的安装位置不同、安装角度不同、朝向位置的光线的不同，获取的鱼眼图像的在亮度上会有差异，这会使拼接融合后的全景图像存在亮度差异、整体亮度不均匀。

图像前置处理模块接收鱼眼图像查表转后的图像数据,并对于拼接融合前的图像进行亮度联合亮度调整，使融合图像亮度过渡自然。即使用摄像机的光照模型校正单幅图像内部的光照不均，以及通过相邻图像重叠区域之间的关系，建立向图像之间的直方图映射表，通过映射表对相邻图像做整体的映射变换，以达到亮度和颜色的均衡化。

图像拼接融合模块，接收图像前置处理模块处理过的4路俯视图像，并对其进行拼接融合，对于全景拼接融合市场有些产品采用配准后进行拼接融合，这种方法对于硬件的要求更高，为了降低成本，我们虚拟坐标对应的方式实现图像拼接，即假设实际车辆的中心为世界坐标系的中心，世界坐标的中心与全景的虚拟中心相对应，全景图像与世界坐标中的摄像头视野内的尺寸成比例，因此，我们依据重叠区域的坐标对应，并通过重叠区域融合系数表将4路监控的图像拼接为全景图像。图像拼接融合模块针对拼接缝隙进行视觉过渡处理，可完全消除缝隙，其视觉过渡处理采用一定的过渡权重系数进行实现。

图像后置处理模块，一般图像拼接融合后，对于全景图像的重叠区域与非重叠区域的色彩、亮度的差异会增加。为了消除这种差异，本专利在图像拼接融合中增加融合区域与非融合区域的亮度平滑过渡处理。极大的消减图像拼接融合后的差异。图像后置处理模块用于全景图像拼接后，消除整体图像亮度、色彩差异，使得整体图像真实自然。

图像增强模块，由于鱼眼图像畸变校正、插值、拼接融合等操作，会影响整体图像的清晰度，因此，本专利增加图像增加处理。

所述摄像头拍摄的视频图像传送到图像处理模块，图像处理模块对所述视频图像进行拼接融合等处理，然后将处理后的视频图像数据送到显示器端。

标定模块，接收鱼眼图像采集模块采集的含有标定布的图像，建立鱼眼图像标定模型，生成摄像头的内部参数和外部参数，进而生成鱼眼图像畸变查找表、俯视变换查找表。所述鱼眼图像标定模型为世界坐标与鱼眼图像坐标的关系模型；

按照标定方式的不同，标定分为手动标定和自动标定。标定前需要预先铺设标定布，再采集含有标定布的鱼眼图像，进而标定生成标定数据。

GPS定位模块用于获取车辆实时位置信息，并将获取的信息发送到显示器端，同时将数据信息通过4G网路模块发送到云服务器端便于数据的保存和处理。用于监测车辆车辆的行驶轨迹和位置。

视图模式控制模块用于根据车辆行驶信息进而控制显示器端的视图模式。当方向盘左转角度大于30度，自动切换为全景图+左侧视频图像模式。当方向盘右转角度大于30度，自动切换为全景图+右侧视频图像模式。当车辆处于倒车状态下，显示器端自动切换为全景+后侧倒车视频的模式。当行驶到狭窄路段，可开启窄路模式，即显示车辆左右两侧的视频景象。

存储模块，支持SD与HDD存储监控录像。

通信模块根据有无连接线分为有线通信模块、无线通信模块，在主机与显示器端之间通过连接线通信，在主机、远程客户端、云服务器端、运维宝端之间使用无线通信连接。无线通信模块通过4G模块、Wifi模块进行通信。其中，主机是指车载监控主机端，即指车辆上安装的设备主机

主机信息处理模块用于管理主机的常规工作协调，以及与远程端通信等。

远程客户端分为Android手机端、ios手端、Pad平板端、Web端、PC电脑端等。用于与云服务器端进行数据通信，发送信息服务请求，接收相关服务信息；

进一步地，通过远程客户端可以远程查看当前车辆的运行状态、驾驶员状态、车辆内部情况以及车辆的行驶轨迹。同时可以通过远程客户端进行鱼眼图像远程标定。

云服务器端用于存储车载监控主机端、远程客户端的相关数据信息，接收和处理车载监控主机端、远程客户端的请求信息，并进行相应的反馈。

运维宝端用于手机端、Pad端等移动端通过Wifi连接本地主机进行相关数据通信。通过运维宝可以方便的节省标定安装的人员，解决以往标定至少需要2个工作人员的问题，以及在车外可以根据运维宝及时调整标定、摄像头安装等。

本发明采用的技术方案与现有技术相比，由于以下效果：将全景环视、运维宝、远程客户端作为视频监控系统的一部分，增加了系统的方便性、灵活性和实用性。为用户远程查看和接收实时信息提供可能。通过远程客户端可对中控主机端进行鱼眼图像标定以及远程功能设置，极大的提高了用户的可操作性。将视频监控由外部或内部监控进行融合，并利用先进的图像处理技术，将车辆外部的驾驶员视线盲区进行完全消除，增加了驾驶员的行车的安全性和舒适性。为用户提供了结构简单、操作方便、成本较低的车载视频监控系统。

下面将结合附图对本发明进行更完整、更清楚的描述本发明的目的和技术方案。

在图1为本发明的硬件连接图，其包括4个鱼眼摄像头、4个普通摄像头、ARM处理器、MCU、显示器、串口、4G网络模块、GPS定位模块、Wifi模块、存储模块、USB模块、CAN模块、IO通信、Gsensor等。

其中摄像头类型分为鱼眼摄像头和普通摄像头，通过4路鱼眼摄像头采集车外四周的实时鱼眼图像，将鱼眼图像传输至图像合成模块合成全景图像。所述四个方位的景象由4个摄像头获取，摄像头在车身的分布位置分为：车前摄像头、左右两侧摄像头、倒车摄像头；分别拍摄汽车的前方景象、后方景象、左方景象、右方景象。鱼眼摄像头的角度在175度以上，根据车辆的尺寸的不同，可以适当增加摄像头的角度，亦可通过增加车辆外部摄像头的数量来增加解决车辆过长的问题。普通摄像头安装在车内，根据不同类型的车辆摄像头的安装位置与数量有所不同。

鱼眼摄像头采用接近180度或超过180度的摄像头。与ARM处理器连接的鱼眼摄像的数量分为4个和6个，适用于不同的车辆类型。车内安装的普通摄像的数量为4个，根据不同车辆类别不同可采用不同的数量。

如图2所示，为全景图像算法流程图，包括：鱼眼图像采集模块、全景图像合成模块、显示器端。从图中可明显看出，所述一种应用360全景环视技术的车载监控系统的算法核心部分为：

鱼眼图像查表转换；

图像前置处理；

图像拼接融合；

图像后置处理；

全景图像增强；

实施例1

本实施例采用4路外部鱼眼摄像头来实现本发明的功能。

图1中显示8图像采集模块的8路摄像头，车辆外部以4个广角鱼眼摄像头为例，车辆内部摄像头可为4个或其他数量，根据不同车辆和需求采用不同的摄像头数量。

针对车辆的不同类型，4路鱼眼摄像的安装位置有所不同，对于轿车类车辆，前侧摄像头安装在车头车牌旁边位置，以中间为最佳，后侧摄像头安装在车辆后部车牌旁边，以中间位置为最佳，左右两侧的鱼眼摄像头安装在后视镜下面。对于客车和货车，前侧摄像头安装在车头前侧上部中间位置，后侧摄像头安装在车辆后部车牌旁边，以中间位置为最佳，左右两侧的鱼眼摄像头安装在车辆两侧中间位置。

鱼眼摄像头将采集的视频数据传输至处理器，处理器中视频处理模块将视频数据存储，图像合成模块将鱼眼图像经过查表转换、前置处理、拼接融合、后置处理、全景图像增强后合成一幅全景鸟瞰图像，最后将全景图像传输给显示器端显示。

实施例2：

本实施例采用6路外部鱼眼摄像头来实现本发明的功能。

对于长度较大的货车、客车等，有时仅仅使用4路外部鱼眼图像无法获得最佳的全景图像，为了获取最佳的全景环视图像，可采用外部6路鱼眼摄像头，前后各一个摄像偶，左右各2个摄像头，前侧摄像头安装在车头车牌旁边位置，以中间为最佳，后侧摄像头安装在车辆后部车牌旁边，以中间位置为最佳，左侧2个摄像头分别安装在车辆左侧靠近前部位置和左侧靠近后部位置，右侧2个摄像头分别安装在车辆右侧靠近前部位置和右侧靠近后部位置。鱼眼图像合成流程与实施例1中相同。

实施例3：

标定模块用于校正鱼眼图像，生成全景合成模块中所需的鱼眼图像转换表。由于鱼眼摄像头的自身特性，鱼眼摄像头拍摄的图像有严重的失真。如果要利用严重失真鱼眼图像的信息，就必须将这些失真图像进行矫正。传统标定方法标定精度较高，但标定过程复杂，需要高精度的结构信息。自标定虽然灵活、方便、不需要标定块，但精度不够，鲁棒性不足。我们使用张正友平面标定方法，一种介于传统标定方法和自标定方法之间的一种方法，可避免操作复杂、对设备要求过高、标定精度不够等问题。

标定过程：

1、准备一个模板平面

2、从不同的角度拍摄一组模板图像

3、自动分析提取模板图像的特征点坐标

4、通过数学模型计算摄像机的内部参数和外部参数

5、计算畸变参数并优化

标定方法，其特征在于，假设世界坐标系中的某点Pw(Xw,Yw,Zw)，该点在摄像机坐标系中表示为Pc(Xc,Yc,Zc)，两者之间的关系为：

R为3X3的旋转矩阵；T为3X1平移矩阵；

由于摄像的安装位置和角度的不同，仅仅经过畸变校正的鱼眼图像是含有角度的，因此经过畸变校正的鱼眼图像转为俯视图像，车辆四个方向的摄像头是以一定的角度安装的，因此图像会发生梯形形变。根据俯视变换的算法，我们可以得到俯视图的映射查找表。通过指定地面图像参考点与其对应的图像平面参考点，建立单应性矩阵。公式如下：

图3为本发明的标定操作流程图，通过鱼眼图像采集模块获取车辆外部4个方向的鱼眼图像，并输入到中控主机端，根据标定端的不同分为本地标定与远程客户端标定。在摄像头标定部分可使用手动标定与自动标定两种标定方式来生成标定数据。标定需要 4块标定布、4把长度大于车辆长宽的卷尺，标定定布如图4所示，前后使用两块较长的标定布，两侧采用两块较小的标定布，标定可通过本地标定或远程客户端标定两种标定方式实现标定。

本地标定的手动标定的步骤为：

1.铺设标定布与输入车辆信息

2.车载监控主机端获取4个方向的标定鱼眼图像

3.前侧鱼眼图像标定点描点

4.后侧鱼眼图像标定描点

5.左侧鱼眼图像标定点描点

6.右侧鱼眼图像标定点描点

7.描点完成后，开始标定

8.生成标定数据

本地标定的自动标定的步骤为：

1)铺设标定布与输入车辆信息

2)车载监控主机端获取4个方向的标定鱼眼图像

3)开始标定

4)生成标定数据

远程客户端手动标定步骤为:

1)铺设标定布与输入车辆信息

2)车载监控主机端获取4个方向的标定鱼眼图像

3)车载监控主机端通过网络模块传输前后左右的鱼眼标定图像到运维宝端或平台服务器端

4)远程客户端从服务器端或运维宝端获取到前后左右的鱼眼标定图像

5)前侧鱼眼图像标定点描点

6)后侧鱼眼图像标定描点

7)左侧鱼眼图像标定点描点

8)右侧鱼眼图像标定点描点

9)描点完成后，开始标定

10)生成标定数据

11)将标定数据上传到运维宝或平台服务器

12)本地中控主机端再下载标定数据

远程客户端自动标定步骤为:

1)铺设标定布与输入车辆信息

2)车载监控主机端获取4个方向的标定鱼眼图像

3)车载监控主机端通过网络模块传输前后左右的鱼眼标定图像到运维宝端或平台服务器端

4)远程客户端从服务器端或运维宝端获取到前后左右的鱼眼标定图像

5)开始标定

6)生成标定数据

7)将标定数据上传到运维宝或平台服务器

8)本地中控主机端再下载标定数据

图4为本发明的标定布摆设效果图。

由于汽车车辆的外观形状会有所差异，车辆外部鱼眼摄像头的安装位置有所不同，与其对应的标定布铺设位置也有所不同，图4中左侧铺设图示为客车、货车、校车、公交车等的标布铺设图，图4中右侧铺设图示为轿车的标布铺设图。

实施例4：

图5使出了本发明的视频监控的实现流程图。

图像采集模块通过鱼眼摄像头和普通摄像头采集到车辆周围和车辆内部图像信息进行编码传输，将监控图像数据传输到视频处理模块，视频处理模块将接收的视频数据进行存储后，将鱼眼图像视频数据传输到全景图像合成模块，由全景图像合成模块合成全景图像输出，与车内视频数据传输到显示器端。

车载监控主机端与运维宝通过Wifi网络连接，通过运维宝可以对本地主机端进行鱼眼图像标定、车载监控主机端设置、以及视频等信息查看和维护。GPS定位模块用于定位并获取地图信息，并将获取的信息发送给平台服务器端与车辆显示器端。机车信息处理模块主要作用是获取车辆的传感器采集的相应信息，并经信息数据发送到平台服务端或远程客户端。平台服务器：按照使用方分为本公司云端服务器、运维宝服务器、第三方云端平台服务器等

远程客户端通过与平台服务器连接，可实现远程的信息通信，进而实现相关设置和视频信息等的查看。

平台服务器端实时接收和保存中控主机端传输过来的数据，并对远程客户端的请求数据进行数据反馈；本实施例的平台服务器端的主要起到数据保存、数据处理和提供服务的功能。数据保存主要是保存车辆的轨迹信息、驾驶员信息、紧急视频数据等。数据处理主要是对保存的数据进行分析并处理。提供服务主要是对远程客户端的请求信息进行服务信息反馈。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种应用360全景环视技术的车载视频监控系统，其特征在于，包括车载监控主机端；所述车载监控主机端包括图像采集模块、图像合成模块以及标定模块；

所述图像采集模块包括图像采集设备，能够采集设定的视频监控图像信号；

所述标定模块能够接收图像采集模块得到的视频监控图像信号，生成摄像头的内部参数和外部参数，建立图像标定模型；所述图像标定模型包括现实世界坐标与图像坐标的映射关系；

其中，所述内部参数包括参数矩阵和/或畸变系数；所述参数矩阵包括摄像机焦距、摄像机纵横比以及图像中心坐标中的任一种或任多种组合；所述畸变系数包括径向畸变系数和/或切向畸变系数；所述外部参数包括旋转向量R和/或平移向量T；

所述图像合成模块包括图像转换子模块；

所述图像转换子模块能够接收图像采集模块得到的视频监控图像信号，并通过标定模块得到的图像标定模型转换为设定的表现形式；

所述图像采集模块包括大于1个的图像采集设备，所述大于1个的图像采集设备作为车内视频采集子模块和车外视频采集子模块，采集设定的视频监控图像信号；

所述图像合成模块还包括图像前置处理模块、图像拼接融合模块、图像后置处理模块以及图像增强模块；

所述图像前置处理模块能够接收图像转换子模块转换后的视频监控图像信号，并进行联合亮度调整；

所述图像拼接融合模块能够接收图像前置处理模块联合亮度调整后的视频监控图像信号，通过坐标对应将大于1个的视频监控图像信号拼接融合为1个全景图像信号；

所述图像后置处理模块能够消除全景图像信号的亮度差异和色彩差异；

所述图像增强模块能够将图像后置处理模块处理后得到的全景图像信号进行清晰度增强处理；

所述一种应用360全景环视技术的车载视频监控系统包括车载监控主机端、远程客户端、运维宝端、云服务器端、本地车辆显示器端以及与车载监控主机端连接的车外四路广角鱼眼摄像头和车内四路监控摄像头；四路摄像头分别安装于车辆前后和两侧，分别采集四路画面，与车内监控视频实时在显示器端显示，实现360度无死角的车外实时监控和车内实时监控；

应用360全景环视技术的车载视频监控系统，至少包括互相连接的车载监控主机端、远程客户端、运维宝端、云服务器端、本地车辆显示器端；

车载监控主机端包括：

1)用于视频监控图像采集模块，图像采集模块按照采集视频来源分为车内视频采集、车外视频采集，车外采集摄像头采用鱼眼摄像头；车辆内部采集摄像头的数量根据不同车辆有所不同；

2)用于鱼眼图像转换为俯视图的鱼眼图像查表校正模块；

3)用于图像拼接融合前亮度、色彩的图像前置处理模块；

4)用于合成全景图的图像拼接融合模块；

5)用于合成全景图后全景图整体的亮度、色彩调整的图像后置处理模块；

6)用于最终全景图像的整体清晰度增强处理的全景增强模块；

7)用于本地鱼眼图像标定的标定模块；

所述车载监控主机端包括视图模式控制模块；

视图模式控制模块能够根据车辆行驶状态信息控制本地车辆显示器端以设定的视图模式展示；

当方向盘左转角度大于30度，自动切换为全景图与左侧视频图像模式；

当方向盘右转角度大于30度，自动切换为全景图与右侧视频图像模式；

当车辆处于倒车状态下，显示器端自动切换为全景与后侧倒车视频的模式；

当开启窄路模式，即显示车辆左右两侧的视频景象。

2.根据权利要求1所述的应用360全景环视技术的车载视频监控系统，其特征在于，所述应用360全景环视技术的车载视频监控系统还包括远程客户端、运维宝端、云服务器端以及本地车辆显示器端中的任一种或任多种组合；

所述远程客户端能够与云服务器端进行设定的数据通信；

所述远程客户端能够与运维宝端进行设定的数据通信；

所述运维宝端能够与车载监控主机端进行设定数据通信；

所述云服务器端能够存储设定的数据信息，并按照设定的方法反馈；

所述本地车辆显示器端能够接收车载监控主机端输出的信息并实时显示。

3.根据权利要求2所述的应用360全景环视技术的车载视频监控系统，其特征在于，所述车载监控主机端还包括GPS定位模块、存储模块以及通信模块中的任一种或任多种组合；

所述GPS定位模块能够获取车辆实时位置信息，并将获取的信息发送到显示器端和/或云服务器端；

所述视图模式控制模块与本地车辆显示器端通信连接；

所述存储模块能够存储设定的信息；

所述通信模块包括有线通信模块和无线通信模块；所述有线通信模块能够实现车载监控主机端与显示器端之间的通信连接；

所述无线通信模块能够实现车载监控主机端、远程客户端、云服务器端、运维宝端之间的通信连接。

4.根据权利要求2所述的应用360全景环视技术的车载视频监控系统，其特征在于，所述远程客户端包括Android手机端、ios手端、Pad平板端、Web端以及PC电脑端中的任一种或任多种组合，能够与云服务器端或运维宝进行数据通信，数据通信包括远程客户端的远程标定、发送信息服务请求以及接收相关服务信息。

5.根据权利要求1至4中任一项所述的应用360全景环视技术的车载视频监控系统，其特征在于，所述图像采集设备包括广角鱼眼摄像头，所述广角鱼眼摄像头的摄像角度不小于175°；所述标定模块得到的图像标定模型还包括畸变校正子模型。

6.一种应用360全景环视技术的车载视频监控方法，其特征在于，基于权利要求1所述的应用360全景环视技术的车载视频监控系统，包括标定步骤；所述标定步骤包括如下子步骤：

步骤1、准备一个模板平面；

步骤2、从不同的角度拍摄一组模板图像；

步骤3、自动分析提取模板图像的特征点坐标；

步骤4、通过数学模型计算摄像机的内部参数和外部参数；

步骤5、计算畸变参数并优化。

7.根据权利要求6所述的应用360全景环视技术的车载视频监控方法，其特征在于，所述应用360全景环视技术的车载视频监控方法还包括本地手动标定步骤和本地自动标定步骤；

所述本地手动标定步骤包括如下子步骤：

步骤101、铺设标定布与输入车辆信息；

步骤102、车载监控主机端获取标定鱼眼图像；

步骤103、鱼眼图像标定点描点；

步骤104、描点完成后，开始标定；

步骤105、生成标定数据；

所述本地自动标定步骤包括如下子步骤：

步骤201、铺设标定布与输入车辆信息；

步骤202、车载监控主机端获取标定鱼眼图像；

步骤203、开始标定；

步骤204、生成标定数据。

8.根据权利要求6所述的应用360全景环视技术的车载视频监控方法，其特征在于，所述应用360全景环视技术的车载视频监控方法还包括远程客户端手动标定步骤；所述远程客户端手动标定步骤包括如下子步骤：

步骤301、铺设标定布与输入车辆信息；

步骤302、车载监控主机端获取标定鱼眼图像；

步骤303、车载监控主机端通过网络模块传输前后左右的鱼眼标定图像到运维宝端或平台服务器端；

步骤304、远程客户端从服务器端或运维宝端获取到前后左右的鱼眼标定图像；

步骤305、鱼眼图像标定点描点；

步骤306、描点完成后，开始标定；

步骤307、生成标定数据；

步骤308、将标定数据上传到运维宝或平台服务器；

步骤309、本地中控主机端再下载标定数据。

9.根据权利要求6所述的应用360全景环视技术的车载视频监控方法，其特征在于，所述应用360全景环视技术的车载视频监控方法还包括远程客户端自动标定步骤；所述远程客户端自动标定步骤包括如下子步骤：

步骤401、铺设标定布与输入车辆信息；

步骤402、车载监控主机端获取标定鱼眼图像；

步骤403、车载监控主机端通过网络模块传输鱼眼标定图像到运维宝端或平台服务器端；

步骤404、远程客户端从服务器端或运维宝端获取到鱼眼标定图像；

步骤405、开始标定；

步骤406、生成标定数据；

步骤407、将标定数据上传到运维宝或平台服务器；

步骤408、本地中控主机端再下载标定数据。

Images