CN110341597A - 一种车载全景视频显示系统、方法及车载控制器 - Google Patents

一种车载全景视频显示系统、方法及车载控制器 Download PDF

Info

Publication number
CN110341597A
CN110341597A CN201810284336.3A CN201810284336A CN110341597A CN 110341597 A CN110341597 A CN 110341597A CN 201810284336 A CN201810284336 A CN 201810284336A CN 110341597 A CN110341597 A CN 110341597A
Authority
CN
China
Prior art keywords
video
panoramic video
vehicular
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810284336.3A
Other languages
English (en)
Other versions
CN110341597B (zh
Inventor
王泽文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810284336.3A priority Critical patent/CN110341597B/zh
Priority to PCT/CN2019/079732 priority patent/WO2019192359A1/zh
Publication of CN110341597A publication Critical patent/CN110341597A/zh
Application granted granted Critical
Publication of CN110341597B publication Critical patent/CN110341597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例提供了一种车载全景视频显示系统、方法及车载控制器，其中，系统包括车载视频采集器、车载控制器及车载显示器；车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，车载视频采集器中所有摄像头的总覆盖区域大于或等于360度；发送各摄像头采集的原始视频至车载控制器；车载控制器，用于通过查找预先建立的全景合成映射表，针对各原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，生成全景视频；将全景视频发送至车载显示器；车载显示器，用于经过预设显示策略，显示全景视频。通过本方案，可以提高车辆行驶的安全性及拍摄视频的显示效果。

Description

一种车载全景视频显示系统、方法及车载控制器
技术领域
本发明涉及智能辅助驾驶技术领域，特别是涉及一种车载全景视频显示系统、方法及车载控制器。
背景技术
车辆的智能辅助驾驶技术对于行车安全和高效的行车效率有着非常重要的作用，利用智能辅助驾驶技术可以在很大程度上避免因为车辆驾驶员的驾驶失误而导致的交通事故。
在智能辅助驾驶技术中，有一种基于视频信息的智能辅助驾驶方式。该智能辅助驾驶方式中，利用行车记录仪对车辆行驶前方的路况进行拍摄，基于所拍摄的视频，识别车辆行驶前方是否存在障碍物目标，若识别到障碍物目标，则产生预警信号，并根据该预警信号提示驾驶员躲避障碍物。但是，影响车辆行驶安全的因素不仅仅包括车辆行驶正前方的障碍物，驾驶员的驾驶状态也影响着行驶安全，例如驾驶员处于疲劳驾驶状态，发生交通事故的几率也会变大。
为了应对上述问题，在行车记录仪上增加一个摄像头，用于采集驾驶员的眼部信息，通过对驾驶员眼部信息的分析，若确定驾驶员处于疲劳驾驶状态，或者基于上述拍摄前方路况的视频，识别到车辆行驶前方存在障碍物目标，则产生预警信号，并根据该预警信号提示驾驶员存在安全隐患。但是，基于上述方案，行车记录仪仅仅可以拍摄到车辆正前方的路况和驾驶员的视频，对于车辆侧方的情况无法拍摄，车辆侧方的安全性难以得到保障；并且，行车记录仪在进行拍摄视频显示时，对于拍摄的车内视频或者车外视频进行独立显示，驾驶员无法宏观观察车辆行驶的整体情况，显示效果差。
发明内容
本发明实施例的目的在于提供一种车载全景视频显示系统、方法及车载控制器，以提高车辆行驶的安全性及拍摄视频的显示效果。具体技术方案如下：
第一方面，本发明实施例提供了一种车载全景视频显示系统，所述系统包括车载视频采集器、车载控制器及车载显示器；
所述车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，所述车载视频采集器中所有摄像头的总覆盖区域大于或等于360度；发送各摄像头采集的原始视频至所述车载控制器；
所述车载控制器，用于接收所述车载视频采集器发送的各摄像头采集的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，所述全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系；根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频；将所述全景视频发送至所述车载显示器；
所述车载显示器，用于接收所述车载控制器发送的所述全景视频；经过预设显示策略，显示所述全景视频。
可选的，所述车载视频采集器为双鱼眼设备。
可选的，所述车载视频采集器与所述车载控制器之间，通过信息交互模块传输各摄像头采集的原始视频；
所述车载控制器与所述车载显示器之间，通过信息交互模块传输所述全景视频。
可选的，所述系统还包括：车身传感器；
所述车身传感器，用于采集方向盘转动信息；将所述方向盘转动信息发送至所述车载控制器；
所述车载控制器，还用于接收所述车身传感器发送的所述方向盘转动信息；根据所述方向盘转动信息，通过转动角度换算，得到所述全景视频的视角转动信息；按照所述视角转动信息，对所述全景视频进行转动变换，得到变换后的全景视频；将所述变换后的全景视频发送至所述车载显示器；
所述车载显示器，还用于接收所述车载控制器发送的所述变换后的全景视频；经过预设显示策略，显示所述变换后的全景视频。
可选的，所述车载视频采集器，还用于识别驾驶员姿态变化信息；发送所述驾驶员姿态变化信息至所述车载控制器；
所述车载控制器，还用于接收所述车载视频采集器发送的所述驾驶员姿态变化信息；根据所述驾驶员姿态变化信息，通过视点变换关系，确定所述全景视频的视点变换参数；根据所述视点变换参数，对所述全景视频进行视点更新，得到视点更新后的全景视频；将所述视点更新后的全景视频发送至所述车载显示器；
所述车载显示器，还用于接收所述车载控制器发送的所述视点更新后的全景视频；经过预设显示策略，显示所述视点更新后的全景视频。
可选的，所述车载视频采集器，还用于识别车外障碍物目标信息；发送所述车外障碍物目标信息至所述车载控制器；
所述车载控制器，还用于接收所述车载视频采集器发送的所述车外障碍物目标信息；根据所述车外障碍物目标信息，确定车外障碍物的类别信息，以及所述车外障碍物在所述全景视频中的位置信息；将所述类别信息以及所述位置信息叠加至所述全景视频上，得到叠加信息后的全景视频；将所述叠加信息后的全景视频发送至所述车载显示器；
所述车载显示器，还用于接收所述车载控制器发送的所述叠加信息后的全景视频；经过预设显示策略，显示所述叠加信息后的全景视频。
第二方面，本发明实施例提供了一种车载全景视频显示方法，应用于车载控制器，所述方法包括：
获取车载视频采集器中各摄像头采集的原始视频；
通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，所述全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系；
根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频；
将所述全景视频发送至车载显示器。
可选的，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的样本图像，以及所述车载视频采集器标定的各摄像头内参及各摄像头外参；
根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；
根据各摄像头外参，获得各球面投影图像之间的相对位置关系；
根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。
可选的，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的样本图像，以及所述车载视频采集器标定的各摄像头内参及各摄像头外参；
建立第一全景映射表，所述第一全景映射表的内容为空；
根据各摄像头外参，得到所述第一全景映射表中各预设区域之间的位置关系；
根据所述位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；
根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。
可选的，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；
检测各外参标定图像的有效区域外边缘；
通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；
针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；
根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；
根据各摄像头外参，获得各球面投影图像之间的相对位置关系；
根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。
可选的，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；
检测各外参标定图像的有效区域外边缘；
通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；
针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；
建立第一全景映射表，所述第一全景映射表的内容为空；
根据各摄像头外参，得到所述第一全景映射表中各预设区域之间的位置关系；
根据所述位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；
根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。
可选的，所述全景合成映射表包括所述车载视频采集器中各摄像头各自的映射表，各映射表两两之间存在重叠区域。
可选的，所述通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，包括：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频，包括：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个全景图像；
基于各全景图像，通过预设视频生成技术，生成全景视频。
可选的，所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频，包括：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影方式，将所述二维视频进行三维投影，得到全景视频。
可选的，在所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频之后，所述方法还包括：
获取车辆状态信息；
根据所述车辆状态信息，确定所述全景视频的待处理信息；
根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频；
所述将所述全景视频发送至车载显示器，包括：
将所述处理后的全景视频发送至车载显示器。
可选的，所述车辆状态信息包括方向盘转动信息；
所述获取车辆状态信息，包括：
获取车身传感器采集的方向盘转动信息；
所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：
根据所述方向盘转动信息，通过转动角度换算，得到所述全景视频的视角转动信息；
所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：
按照所述视角转动信息，对所述全景视频进行转动变换，得到变换后的全景视频；
所述将所述处理后的全景视频发送至车载显示器，包括：
将所述变换后的全景视频发送至车载显示器。
可选的，所述车辆状态信息包括驾驶员姿态变化信息；
所述获取车辆状态信息，包括：
获取所述车载视频采集器识别的驾驶员姿态变化信息；
所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：
根据所述驾驶员姿态变化信息，通过视点变换关系，确定所述全景视频的视点变换参数；
所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：
根据所述视点变换参数，对所述全景视频进行视点更新，得到视点更新后的全景视频；
所述将所述处理后的全景视频发送至车载显示器，包括：
将所述视点更新后的全景视频发送至车载显示器。
可选的，所述车辆状态信息包括：车外障碍物目标信息；
所述获取车辆状态信息，包括：
获取所述车载视频采集器识别的车外障碍物目标信息；
所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：
根据所述车外障碍物目标信息，确定车外障碍物的类别信息，以及所述车外障碍物在所述全景视频中的位置信息；
所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：
将所述类别信息以及所述位置信息叠加至所述全景视频上，得到叠加信息后的全景视频；
所述将所述处理后的全景视频发送至车载显示器，包括：
将所述叠加信息后的全景视频发送至车载显示器。
可选的，所述车载视频采集器为双鱼眼设备；
所述获取车载视频采集器中各摄像头采集的原始视频，包括：
获取双鱼眼设备中两个鱼眼摄像头分别采集的原始视频。
第三方面，本发明实施例提供了一种车载控制器，所述车载控制器中包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例第二方面所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第二方面所述的方法步骤。
本发明实施例提供的一种车载全景视频显示系统、方法及车载控制器，车载全景视频显示系统包括车载视频采集器、车载控制器和车载显示器。车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，并将各摄像头采集的原始视频发送至车载控制器；车载控制器，用于通过查找预先建立的全景合成映射表，针对接收到的各摄像头采集的原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据该拼接关系，将各待拼接视频进行拼接，生成全景视频，并将生成的全景视频发送至车载显示器；车载显示器，用于经过预设显示策略，显示所接收到的全景视频。由于车载视频采集器中所有摄像头的总覆盖区域大于或等于360度，在车辆行驶过程中，不仅仅对车辆行驶前方路况进行拍摄、还对车辆的侧方以及车辆内部进行拍摄，360度无死角地对车辆的四周情况进行全景拍摄，有效提高车辆行驶的安全性；并且，车载控制器通过将各摄像头采集的原始视频所对应的待拼接视频进行拼接，合成全景视频，然后利用车载显示器对该全景视频进行显示，有效提高了视频的显示效果，能够使驾驶员更直观的从显示内容中观察到车辆的四周情况，提高了驾驶员的交互体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的车载全景视频显示系统的结构示意图；
图2为本发明实施例的车载全景视频显示方法的流程示意图；
图3a为现有技术的包含视频处理芯片的双鱼眼设备的结构示意图；
图3b为现有技术的不包含视频处理芯片的双鱼眼设备的结构示意图；
图4为本发明实施例的车载控制器的工作机制流程示意图；
图5为本发明实施例的全景合成映射表生成过程的流程示意图；
图6为本发明实施例的全景合成映射表的结构示意图；
图7为本发明实施例的全景视频生成过程的流程示意图；
图8为本发明实施例的驾驶员姿态发生变化时全景视频的调整示意图；
图9为本发明实施例的识别到车外障碍物目标时全景视频的调整示意图；
图10为本发明另一实施例的车载全景视频显示系统的结构示意图；
图11为本发明实施例的车辆方向盘发生转动时全景视频的调整示意图；
图12a为本发明实施例的方向盘转角为β0时全景视频的显示示意图；
图12b为本发明实施例的方向盘转角为β1时全景视频的显示示意图；
图13为本发明实施例的车载控制器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高车辆行驶的安全性及拍摄视频的显示效果，本发明实施例提供了一种车载全景视频显示系统、方法及车载控制器，以下分别进行详细说明。
本发明实施例提供了一种车载全景视频显示系统，如图1所示，为车载全景视频显示系统的结构示意图，该车载全景视频显示系统包括：车载视频采集器110、车载控制器120以及车载显示器130。
下面，首先从如图1所示的车载全景视频显示系统中各设备的交互角度，对本发明实施例所提供的车载全景视频显示方法进行介绍，如图2所示，该车载全景视频显示方法可以包括如下步骤：
S201，车载视频采集器中各摄像头分别采集覆盖区域内的原始视频。
车载视频采集器安装在车辆上，可以位于车辆前挡的位置。车载视频采集器中包括多个摄像头，并且所有摄像头的总覆盖区域大于或等于360度。例如，车载视频采集器中可以包括4个摄像头，每个摄像头的覆盖区域为90度的覆盖区域，则这4个摄像头的总覆盖区域为360度的覆盖区域；再例如，车载视频采集器中可以包括3个摄像头，每个摄像头的覆盖区域为120度的覆盖区域，则这3个摄像头的总覆盖区域为360度的覆盖区域。需要说明的一点，车载视频采集器中各摄像头的覆盖区域可以不相等，例如，车载视频采集器中可以包括5个摄像头，其中两个摄像头的覆盖区域为90度的覆盖区域，而另外三个摄像头的覆盖区域为60度的覆盖区域；再例如，车载视频采集器中可以包括5个摄像头，各摄像头的覆盖区域分别为45度、60度、65度、90度、100度的覆盖区域。摄像头的覆盖区域，即为摄像头的视场角所覆盖的区域。
可选的，车载视频采集器可以为双鱼眼设备。
如图3a及图3b所示，为两种典型的双鱼眼设备，图3a所示的双鱼眼设备以及图3b所示的双鱼眼设备都是由两个背靠背的鱼眼摄像头(第一鱼眼摄像头301和第二鱼眼摄像头302)组成，图3a所示的双鱼眼设备包含视频处理芯片303，图3b所示的双鱼眼设备不包含视频处理芯片。两种双鱼眼设备的区别在于是否具备视频处理能力，视频处理芯片可以实现全景视频合成、智能检测等功能。但是由于图3a所示的双鱼眼设备中包含有视频处理芯片303，该双鱼眼设备的体积和重量要明显重于图3b所示的双鱼眼设备，且成本更高，不易进行装配。因此，在本实施例中，可以采用图3b所示的双鱼眼设备，即不包含视频处理芯片的双鱼眼设备，不具备全景视频合成功能，只进行视频采集，当然，双鱼眼设备自身可以完成图像滤波去噪、白平衡等基本图像处理功能。这样，可以有效控制系统成本、有助于双鱼眼设备的小型化、减少摄像头之间的基线聚。
车载视频采集器中的各摄像头，可以不具有一致的关键参数和安装参数，其中，关键参数包括但不限于摄像头内参、视场角、畸变量、焦距等；安装参数包括但不限于安装位置、安装角度等。只要所有摄像头的总覆盖区域满足大于或等于360度即可。
S202，车载视频采集器将各摄像头采集的原始视频发送至车载控制器。
车载控制器是一种安装在车辆中控位置的、与车辆主机和通信总线按照规定协议进行通信、完成信息的采集、存储和传输的设备。车载视频采集器将各摄像头采集的原始视频发送至车载控制器，以使车载控制器完成全景视频生成、智能检测等功能。
可选的，车载视频采集器与车载控制器之间，可以通过交互模块传输各摄像头采集的原始视频。
车载视频采集器与车载控制器之间可以通过交互模块传输各摄像头采集的原始视频，交互模块包括车载视频采集器与车载控制器之间的通信总线、各种数据协议，以及车载视频采集器的通信接口和车载控制器的通信接口。通信总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。
车载视频采集器与车载控制器之间还可以通过无线传输的方式传输各摄像头采集的原始视频，这里不再赘述。
S203，车载控制器通过查找预先建立的全景合成映射表，针对接收到的各摄像头采集的原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系。
其中，全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系。车载控制器的工作机制如图4所示，车载控制器中存储有全景合成映射表及智能检测模型文件。车载控制器的功能是完成包括但不限于全景视频生成、智能检测等，输出全景视频和检测信息，并能够根据控制信息输入对全景视频进行视点和视角变换，实现全景漫游。
全景合成映射表预先建立、并且已存储在车载控制器内，全景合成映射表用于合成全景视频。全景合成映射表描述了待拼接视频的像素与原始视频的像素间的一一对应关系，全景合成映射表中存储了视频的像素坐标，以及各待拼接视频间的拼接关系。
可选的，全景合成映射表的建立方式，可以包括如下步骤：
获取车载视频采集器中各摄像头采集的样本图像，以及车载视频采集器标定的各摄像头内参及各摄像头外参；
根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；
根据各摄像头外参，获得各球面投影图像之间的相对位置关系；
根据相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。
样本图像为车载视频采集器在建立全景合成映射表时，预先采集的图像，该样本图像可以是预先拍摄的图片，也可以是预先采集的视频样本中的任一视频帧，或多个视频帧；当然，样本图像还可以是在对各摄像头采集的原始视频进行全景视频生成之前，从原始视频中提取的任一视频帧或者多个视频帧。在样本图像中往往预先标定了摄像头内参或者摄像头外参，因此，可以直接通过各样本图像获取到标定的各摄像头内参或者各摄像头外参。
以车载视频采集器为双鱼眼设备为例，如图5所示，提供了全景合成映射表的生成过程。获取两个鱼眼摄像头分别采集的样本图像，经过球面投影将两个样本图像展开，生成无畸变的球面投影图像，然后根据摄像头外参，获得两个图像间的相对位置关系，根据该相对位置关系，对两个图像进行变换、裁剪，得到全景合成映射表。对两个图像进行变换可以是：以其中一幅图像为基准，对另外一幅图像进行变换，以达到全景无缝拼接的目的。
由于车载视频采集器中各摄像头的相对位置关系固定，摄像头的内参和外参可以通过离线标定的方式获得，各摄像头采集的图像/视频之间的相对位置关系也是固定的，则可以对坐标图像的坐标进行球面投影展开和变换，并经过裁剪，即可得到全景合成映射表。全景合成映射表只与输入图像的分辨率相关。采用离线标定的方式，对于每台车载视频采集器只需要标定一次，即可快速生成全景视频。
全景合成映射表的生成过程还可以是按照逆过程来生成，即建立空的全景映射表，通过逆变换、拟投影展开，建立全景合成映射表与原始图像之间的对应关系。
可选的，全景合成映射表的建立方式，可以包括如下步骤：
获取车载视频采集器中各摄像头采集的样本图像，以及车载视频采集器标定的各摄像头内参及各摄像头外参；
建立第一全景映射表，其中，第一全景映射表的内容为空；
根据各摄像头外参，得到第一全景映射表中各预设区域之间的位置关系；
根据位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；
根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。
通过上述正过程或者逆过程均可以生成全景合成映射表，相比之间，正过程生成全景合成映射表的耗时更短，而逆过程生成全景合成映射表的准确度更高。
车载视频采集器的各摄像头外参往往是固定的，在车载视频采集器安装好之后，各摄像头的安装位置、安装角度等外参即固定不变，但是摄像头内参和摄像头外参都需要预先由另外的辅助标定设备进行标定。为了减少辅助标定设备的数量，以提高内参和外参标定的效率，可以通过外参标定图像中标定的摄像头外参，计算出摄像头内参，也就是说，只需要对各摄像头外参进行标定，通过预设的内参检测算法即可得到各摄像头内参，而不需要单独的内参标定辅助设备对各摄像头内参进行标定。
可选的，全景合成映射表的建立方式，还可以包括：
获取车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；
检测各外参标定图像的有效区域外边缘；
通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；
针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；
根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；
根据各摄像头外参，获得各球面投影图像之间的相对位置关系；
根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。
外参标定图像为车载视频采集器在建立全景合成映射表时，基于各摄像头外参预先采集的图像，该外参标定图像可以是预先拍摄的图片，也可以是预先基于各摄像头外参采集的视频样本中的任一视频帧，或多个视频帧；当然，外参标定图像还可以是在对各摄像头采集的原始视频进行全景视频生成之前，从原始视频中提取的任一视频帧或者多个视频帧。在外参标定图像中预先标定了摄像头外参，因此，可以直接通过各外参标定图像获取到标定的各摄像头外参。
检测各外参标定图像的有效区域外边缘的方式可以通过对图像黑白区域过渡边缘的识别检测到有效区域外边缘，也可以为直线搜索的方式搜索得到有效区域外边缘的四个最远点，然后通过连线得到有效区域外边缘。当然，能够检测得到有效区域外边缘的方式均属于本实施例的保护范围，这里不再一一赘述。
相对应的，利用上述基于外参标定图像中标定的摄像头外参及计算得到的摄像头内参，也可以经过逆过程生成全景合成映射表。
可选的，全景合成映射表的建立方式，还可以包括：
获取车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；
检测各外参标定图像的有效区域外边缘；
通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；
针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；
建立第一全景映射表，其中，第一全景映射表的内容为空；
根据各摄像头外参，得到第一全景映射表中各预设区域之间的位置关系；
根据位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；
根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。
可选的，全景合成映射表包括车载视频采集器中各摄像头各自的映射表，各映射表两两之间存在重叠区域。
相邻两个摄像头采集的样本图像的重叠区域中内容相同。以车载视频采集器为双鱼眼设备为例，如图6所示的全景合成映射表结构，全景合成映射表分为两个部分，第一鱼眼摄像头映射表601和第二鱼眼摄像头映射表602，分别代表两个鱼眼摄像头所采集图像在平面全景图中映射关系。其中，第一鱼眼摄像头映射表601和第二鱼眼摄像头映射表602都存在一个重叠区域，代表了两个鱼眼摄像头在视场上的重叠区域，两个重叠区域内的内容相同。通过查找预先建立的全景合成映射表，针对各原始视频，可以生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系。
S204，车载控制器根据拼接关系，将各待拼接视频进行拼接，生成全景视频。
通过离线标定，对于一台各摄像头相对位置固定不变的车载视频采集器，只需要将全景合成映射表存储在车载控制器中，当车载视频采集器采集到视频时，利用全景合成映射表进行查表，得到待拼接视频，通过对各待拼接视频进行拼接融合，即可生成全景视频。拼接关系中给出了各待拼接视频的拼接方式，例如，第二个待拼接视频的第一列像素与第一个待拼接视频的第二十列像素重叠、第二个待拼接视频翻转45度后与第一个待拼接视频重叠等等。
由于全景合成映射表是基于样本图像生成的，因此，在进行视频拼接时，可以是对视频帧进行拼接，再对拼接后的视频帧进行视频合成，得到全景视频。
可选的，S203可以包括：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
S204可以包括：
根据各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个全景图像；
基于各全景图像，通过预设视频生成技术，生成全景视频。
基于全景合成映射表，可以得到原始视频中各视频帧对应的待拼接视频帧以及各待拼接视频帧之间的拼接关系，由于视频是由视频帧生成的，通过预设视频生成技术，即可生成待拼接视频，预设视频生成技术中规定了视频生成时，各视频帧在视频中的顺序以及播放速度。基于待拼接视频帧之间的拼接关系，可以将对应的待拼接视频帧进行拼接，得到多个全景图像，再通过预设视频生成技术即可生成全景视频。
全景视频即可以是二维视频，也可以是三维视频。由于三维视频更能够清楚显示立体空间中障碍物、车辆、驾驶员之间的空间位置关系，因此，全景视频主要是三维视频。
可选的，S204具体可以为：
根据拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影方式，将二维视频进行三维投影，得到全景视频。
以车载视频采集器为双鱼眼设备为例，当双鱼眼设备采集到视频时，针对两个鱼眼摄像头采集的视频，利用全景合成映射表进行查表，得到两个待拼接视频，根据拼接关系，拼接两个待拼接视频，生成二维视频，然后，通过对二维视频进行球面渲染，可以生成三维球面全景视频。
如图7所示，当双鱼眼设备采集到视频时，还可以从中提取两个鱼眼摄像头采集的视频帧，利用全景合成映射表进行查表，得到两幅待拼接子图，两个待拼接子图经过图像拼接，得到一副二维全景图像，经过视频生成技术，生成二维全景视频，二维全景视频经过球面渲染，可以生成三维球面全景视频。二维全景视频可以经过柱面投影、立方体投影等投影方式生成相应的三维球面全景视频。当然，也可以是先对二维全景图像进行球面投影，得到三维全景图像，在通过视频生成技术，生成三维球面全景视频，这里不做具体限定。
S205，车载控制器将全景视频发送至车载显示器。
车载显示器是一种安装在车辆中控位置的、用于显示全景视频的显示设备。
可选的，车载控制器与车载显示器之间，可以通过交互模块传输全景视频。
车载控制器与车载显示器之间可以通过交互模块传输全景视频，交互模块包括车载控制器与车载显示器之间的通信总线、各种数据协议，以及车载控制器的通信接口和车载显示器的通信接口。通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。
车载控制器与车载显示器之间还可以通过无线传输的方式传输全景视频，这里不再赘述。
S206，车载显示器经过预设显示策略，显示全景视频。
预设显示策略可以是将车载显示器中已显示的内容清空，再显示全景视频；对于三维球面的全景视频，预设显示策略还可以是三维显示方式，这里不再赘述。
由于车辆内部和车辆外部的场景内车辆状态在不断发生变化，例如方向盘转动、行驶前方出现障碍物、驾驶员姿态变化等等。在车辆状态发生变化时，需要对全景视频进行调整，以便车载显示器能够显示调整后的全景视频，为驾驶员提供更为直观的车辆场景。
可选的，在S204之后，还可以包括如下步骤：
车载控制器获取车辆状态信息；
车载控制器根据车辆状态信息，确定全景视频的待处理信息；
车载控制器根据待处理信息，对全景视频进行处理，得到处理后的全景视频；
则S205具体可以为：
车载控制器将处理后的全景视频发送至车载显示器；
S206具体可以为：
车载显示器经过预设显示策略，显示处理后的全景视频。
车辆状态信息可以包括方向盘转动信息、驾驶员姿态变化信息、车外障碍物目标信息等，分别对应的车内设备状态、驾驶员状态和车辆外部状态。对全景视频的处理可以是对视角、视点等参数的调整。
可选的，车辆状态信息包括驾驶员姿态变化信息；
车载视频采集器，还可以用于识别驾驶员姿态变化信息，并发送驾驶员姿态变化信息至车载控制器；
车载控制器获取车辆状态信息的步骤，具体可以为：
车载控制器获取车载视频采集器发送的驾驶员姿态变化信息；
车载控制器根据车辆状态信息，确定全景视频的待处理信息的步骤，具体可以为：
车载控制器根据驾驶员姿态变化信息，通过视点变换关系，确定全景视频的视点变换参数；
车载控制器根据待处理信息，对全景视频进行处理，得到处理后的全景视频的步骤，具体可以为：
车载控制器根据视点变换参数，对全景视频进行视点更新，得到视点更新后的全景视频；
车载控制器将处理后的全景视频发送至车载显示器的步骤，具体可以为：
车载控制器将视点更新后的全景视频发送至车载显示器；
车载显示器经过预设显示策略，显示处理后的全景视频的步骤，具体可以为：
车载显示器经过预设显示策略，显示视点更新后的全景视频。
驾驶员姿态发生了变化，例如，驾驶员身体后倾导致头部发生运动，此时，车载视频采集器中朝向车厢内部的摄像头识别到人体姿态变化，将采集到的人体姿态变化视频发送至车载控制器，车载控制器检测到驾驶员的头部发生了(xm,ym,zm)的位移，车载控制器通过该参数调整全景视频的视点，视点由(x0,y0,z0)变化为(x1,y1,z1)，视点变换参数可以描述为：
其中，kx、ky与kz为视点控制参数，可以预先设定。如图8所示，当驾驶员的姿态发生变化时，朝向车厢内部的摄像头可以对车内驾驶员进行视频采集和姿态变化的识别，车载控制器进行运动分析和跟踪，并利用运动信息对全景视点进行更新，从而建立了车内人员与车载全景视频显示系统之间的交互。
可选的，车辆状态信息可以包括：车外障碍物目标信息；
车载视频采集器，还可以用于识别车外障碍物目标信息，并发送车外障碍物目标信息至车载控制器；
车载控制器获取车辆状态信息的步骤，具体可以为：
车载控制器获取车载视频采集器识别的车外障碍物目标信息；
车载控制器根据车辆状态信息，确定全景视频的待处理信息的步骤，具体可以为：
车载控制器根据车外障碍物目标信息，确定车外障碍物的类别信息，以及车外障碍物在全景视频中的位置信息；
车载控制器根据待处理信息，对全景视频进行处理，得到处理后的全景视频的步骤，具体可以为：
车载控制器将类别信息以及位置信息叠加至全景视频上，得到叠加信息后的全景视频；
车载控制器将处理后的全景视频发送至车载显示器的步骤，具体可以为：
车载控制器将叠加信息后的全景视频发送至车载显示器；
车载显示器经过预设显示策略，显示处理后的全景视频的步骤，具体可以为：
车载显示器经过预设显示策略，显示叠加信息后的全景视频。
车载视频采集器中朝向车厢外部的摄像头可以拍摄到车外有影响车辆行驶的障碍目标，通过分析可以得到车外障碍物的类别信息，以及车外障碍物在全景视频中的位置信息，将车外障碍物目标的类别信息和位置信息叠加到全景视频上并在车载显示器中显示，可以达到障碍物目标的预警目的，如图9所示。
应用本实施例，车载全景视频显示系统包括车载视频采集器、车载控制器和车载显示器。车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，并将各摄像头采集的原始视频发送至车载控制器；车载控制器，用于通过查找预先建立的全景合成映射表，针对接收到的各摄像头采集的原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据该拼接关系，将各待拼接视频进行拼接，生成全景视频，并将生成的全景视频发送至车载显示器；车载显示器，用于经过预设显示策略，显示所接收到的全景视频。由于车载视频采集器中所有摄像头的总覆盖区域大于或等于360度，在车辆行驶过程中，不仅仅对车辆行驶前方路况进行拍摄、还对车辆的侧方以及车辆内部进行拍摄，360度无死角地对车辆的四周情况进行全景拍摄，有效提高车辆行驶的安全性；并且，车载控制器通过将各摄像头采集的原始视频所对应的待拼接视频进行拼接，合成全景视频，然后利用车载显示器对该全景视频进行显示，有效提高了视频的显示效果，能够使驾驶员更直观的从显示内容中观察到车辆的四周情况，提高了驾驶员的交互体验。车载全景视频显示系统中车载视频采集器、车载控制器和车载显示器之间构成了闭合环路，可以为辅助驾驶提供有益支撑。并且，将视频拼接功能从车载视频采集器迁移到车载控制器上，不仅节约显示处理设备的购买成本，而且有助于车载视频采集器的小型化，减少摄像头之间的基线聚、减少视差，提高了拼接质量。
基于图1所示的车载全景视频显示系统，如图10所示，为另一种车载全景视频显示系统的结构示意图，该车载全景视频显示系统包括以下设备：车载视频采集器1010、车载控制器1020、车载显示器1030以及车身传感器1040。
车载视频采集器1010、车载控制器1020以及车载显示器1030之间的交互如图2所示，这里不再赘述。
车身传感器1040，用于采集方向盘转动信息，并将方向盘转动信息发送至车载控制器1020；
车载控制器1020，还可以用于接收车身传感器1040发送的方向盘转动信息；根据方向盘转动信息，通过转动角度换算，得到全景视频的视角转动信息；按照视角转动信息，对全景视频进行转动变换，得到变换后的全景视频；将变换后的全景视频发送至车载显示器1030；
车载显示器1030，还可以用于接收车载控制器1020发送的变换后的全景视频；经过预设显示策略，显示变换后的全景视频。
车辆方向盘发生转动，驾驶员的视野范围会发生变化，变化方向与方向盘的转动方向相关，车身传感器在采集到方向盘转动信息后，将该方向盘转动信息发送至车载控制器，车载控制器重新计算视角来生成相应视角的全景视频，如图11所示，变换视角后的全景视频通过车载显示器显示。
如图12a及图12b所示，当方向盘转角由如图12a所示的β0变化到如图12b所示的β1时，全景视频的偏转视角由β0变化到β1，视图出现水平方向旋转。
应用本实施例，车载全景视频显示系统中还包括用于采集方向盘转动信息的车身传感器，车身传感器在采集到方向盘发生转动时，发送视角转动后的全景视频至车载显示器，通过车载显示器的显示，对车辆发生偏转后的场景进行显示，利于驾驶员对驾驶环境的直观观察，具有较高的智能辅助驾驶效果。
本发明实施例还提供了一种车载控制器，如图13所示，可以包括处理器1301和存储器1302，其中，
所述存储器1302，用于存放计算机程序；
所述处理器1301，用于执行所述存储器1302上所存放的程序时，实现本发明实施例应用于车载控制器的车载全景视频显示方法的所有步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外，相应于上述实施例所提供的应用于车载控制器的车载全景视频显示方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序在被处理器执行时实现本发明实施例应用于车载控制器的车载全景视频显示方法的所有步骤。
通过上述车载控制器，能够实现：由于车载视频采集器中所有摄像头的总覆盖区域大于或等于360度，在车辆行驶过程中，不仅仅对车辆行驶前方路况进行拍摄、还对车辆的侧方以及车辆内部进行拍摄，360度无死角地对车辆的四周情况进行全景拍摄，有效提高车辆行驶的安全性；并且，车载控制器通过将各摄像头采集的原始视频所对应的待拼接视频进行拼接，合成全景视频，然后利用车载显示器对该全景视频进行显示，有效提高了视频的显示效果，能够使驾驶员更直观的从显示内容中观察到车辆的四周情况，提高了驾驶员的交互体验。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的应用于车载控制器的车载全景视频显示方法的应用程序，因此能够实现：由于车载视频采集器中所有摄像头的总覆盖区域大于或等于360度，在车辆行驶过程中，不仅仅对车辆行驶前方路况进行拍摄、还对车辆的侧方以及车辆内部进行拍摄，360度无死角地对车辆的四周情况进行全景拍摄，有效提高车辆行驶的安全性；并且，车载控制器通过将各摄像头采集的原始视频所对应的待拼接视频进行拼接，合成全景视频，然后利用车载显示器对该全景视频进行显示，有效提高了视频的显示效果，能够使驾驶员更直观的从显示内容中观察到车辆的四周情况，提高了驾驶员的交互体验。
对于车载控制器以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者器不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者器所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者器中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统、车载控制器以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (21)

1.一种车载全景视频显示系统，其特征在于，所述系统包括车载视频采集器、车载控制器及车载显示器；
所述车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，所述车载视频采集器中所有摄像头的总覆盖区域大于或等于360度；发送各摄像头采集的原始视频至所述车载控制器；
所述车载控制器，用于接收所述车载视频采集器发送的各摄像头采集的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，所述全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系；根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频；将所述全景视频发送至所述车载显示器；
所述车载显示器，用于接收所述车载控制器发送的所述全景视频；经过预设显示策略，显示所述全景视频。
2.根据权利要求1所述的系统，其特征在于，所述车载视频采集器为双鱼眼设备。
3.根据权利要求1所述的系统，其特征在于，所述车载视频采集器与所述车载控制器之间，通过信息交互模块传输各摄像头采集的原始视频；
所述车载控制器与所述车载显示器之间，通过信息交互模块传输所述全景视频。
4.根据权利要求1所述的系统，其特征在于，所述系统还包括：车身传感器；
所述车身传感器，用于采集方向盘转动信息；将所述方向盘转动信息发送至所述车载控制器；
所述车载控制器，还用于接收所述车身传感器发送的所述方向盘转动信息；根据所述方向盘转动信息，通过转动角度换算，得到所述全景视频的视角转动信息；按照所述视角转动信息，对所述全景视频进行转动变换，得到变换后的全景视频；将所述变换后的全景视频发送至所述车载显示器；
所述车载显示器，还用于接收所述车载控制器发送的所述变换后的全景视频；经过预设显示策略，显示所述变换后的全景视频。
5.根据权利要求1所述的系统，其特征在于，
所述车载视频采集器，还用于识别驾驶员姿态变化信息；发送所述驾驶员姿态变化信息至所述车载控制器；
所述车载控制器，还用于接收所述车载视频采集器发送的所述驾驶员姿态变化信息；根据所述驾驶员姿态变化信息，通过视点变换关系，确定所述全景视频的视点变换参数；根据所述视点变换参数，对所述全景视频进行视点更新，得到视点更新后的全景视频；将所述视点更新后的全景视频发送至所述车载显示器；
所述车载显示器，还用于接收所述车载控制器发送的所述视点更新后的全景视频；经过预设显示策略，显示所述视点更新后的全景视频。
6.根据权利要求1所述的系统，其特征在于，
所述车载视频采集器，还用于识别车外障碍物目标信息；发送所述车外障碍物目标信息至所述车载控制器；
所述车载控制器，还用于接收所述车载视频采集器发送的所述车外障碍物目标信息；根据所述车外障碍物目标信息，确定车外障碍物的类别信息，以及所述车外障碍物在所述全景视频中的位置信息；将所述类别信息以及所述位置信息叠加至所述全景视频上，得到叠加信息后的全景视频；将所述叠加信息后的全景视频发送至所述车载显示器；
所述车载显示器，还用于接收所述车载控制器发送的所述叠加信息后的全景视频；经过预设显示策略，显示所述叠加信息后的全景视频。
7.一种车载全景视频显示方法，其特征在于，应用于车载控制器，所述方法包括：
获取车载视频采集器中各摄像头采集的原始视频；
通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，所述全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系；
根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频；
将所述全景视频发送至车载显示器。
8.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的样本图像，以及所述车载视频采集器标定的各摄像头内参及各摄像头外参；
根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；
根据各摄像头外参，获得各球面投影图像之间的相对位置关系；
根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。
9.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的样本图像，以及所述车载视频采集器标定的各摄像头内参及各摄像头外参；
建立第一全景映射表，所述第一全景映射表的内容为空；
根据各摄像头外参，得到所述第一全景映射表中各预设区域之间的位置关系；
根据所述位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；
根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。
10.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；
检测各外参标定图像的有效区域外边缘；
通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；
针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；
根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；
根据各摄像头外参，获得各球面投影图像之间的相对位置关系；
根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。
11.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：
获取所述车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；
检测各外参标定图像的有效区域外边缘；
通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；
针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；
建立第一全景映射表，所述第一全景映射表的内容为空；
根据各摄像头外参，得到所述第一全景映射表中各预设区域之间的位置关系；
根据所述位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；
根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。
12.根据权利要求8至11任一所述的方法，其特征在于，所述全景合成映射表包括所述车载视频采集器中各摄像头各自的映射表，各映射表两两之间存在重叠区域。
13.根据权利要求8至11任一所述的方法，其特征在于，所述通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，包括：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频，包括：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个全景图像；
基于各全景图像，通过预设视频生成技术，生成全景视频。
14.根据权利要求7所述的方法，其特征在于，所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频，包括：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影方式，将所述二维视频进行三维投影，得到全景视频。
15.根据权利要求7所述的方法，其特征在于，在所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频之后，所述方法还包括：
获取车辆状态信息；
根据所述车辆状态信息，确定所述全景视频的待处理信息；
根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频；
所述将所述全景视频发送至车载显示器，包括：
将所述处理后的全景视频发送至车载显示器。
16.根据权利要求15所述的方法，其特征在于，所述车辆状态信息包括方向盘转动信息；
所述获取车辆状态信息，包括：
获取车身传感器采集的方向盘转动信息；
所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：
根据所述方向盘转动信息，通过转动角度换算，得到所述全景视频的视角转动信息；
所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：
按照所述视角转动信息，对所述全景视频进行转动变换，得到变换后的全景视频；
所述将所述处理后的全景视频发送至车载显示器，包括：
将所述变换后的全景视频发送至车载显示器。
17.根据权利要求15所述的方法，其特征在于，所述车辆状态信息包括驾驶员姿态变化信息；
所述获取车辆状态信息，包括：
获取所述车载视频采集器识别的驾驶员姿态变化信息；
所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：
根据所述驾驶员姿态变化信息，通过视点变换关系，确定所述全景视频的视点变换参数；
所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：
根据所述视点变换参数，对所述全景视频进行视点更新，得到视点更新后的全景视频；
所述将所述处理后的全景视频发送至车载显示器，包括：
将所述视点更新后的全景视频发送至车载显示器。
18.根据权利要求15所述的方法，其特征在于，所述车辆状态信息包括：车外障碍物目标信息；
所述获取车辆状态信息，包括：
获取所述车载视频采集器识别的车外障碍物目标信息；
所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：
根据所述车外障碍物目标信息，确定车外障碍物的类别信息，以及所述车外障碍物在所述全景视频中的位置信息；
所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：
将所述类别信息以及所述位置信息叠加至所述全景视频上，得到叠加信息后的全景视频；
所述将所述处理后的全景视频发送至车载显示器，包括：
将所述叠加信息后的全景视频发送至车载显示器。
19.根据权利要求7所述的方法，其特征在于，所述车载视频采集器为双鱼眼设备；
所述获取车载视频采集器中各摄像头采集的原始视频，包括：
获取双鱼眼设备中两个鱼眼摄像头分别采集的原始视频。
20.一种车载控制器，其特征在于，所述车载控制器中包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求7-19任一所述的方法步骤。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7-19任一所述的方法步骤。
CN201810284336.3A 2018-04-02 2018-04-02 一种车载全景视频显示系统、方法及车载控制器 Active CN110341597B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810284336.3A CN110341597B (zh) 2018-04-02 2018-04-02 一种车载全景视频显示系统、方法及车载控制器
PCT/CN2019/079732 WO2019192359A1 (zh) 2018-04-02 2019-03-26 一种车载全景视频显示系统、方法及车载控制器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810284336.3A CN110341597B (zh) 2018-04-02 2018-04-02 一种车载全景视频显示系统、方法及车载控制器

Publications (2)

Publication Number Publication Date
CN110341597A true CN110341597A (zh) 2019-10-18
CN110341597B CN110341597B (zh) 2020-11-27

Family

ID=68099752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810284336.3A Active CN110341597B (zh) 2018-04-02 2018-04-02 一种车载全景视频显示系统、方法及车载控制器

Country Status (2)

Country Link
CN (1) CN110341597B (zh)
WO (1) WO2019192359A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105347A (zh) * 2019-11-19 2020-05-05 贝壳技术有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
CN111137210A (zh) * 2019-11-28 2020-05-12 天津津航技术物理研究所 车载全景观察系统
CN111447431A (zh) * 2020-04-02 2020-07-24 深圳普捷利科技有限公司 一种应用于车载环视摄像的裸眼3d显示方法及系统
CN111546986A (zh) * 2020-04-30 2020-08-18 北京大椽科技有限公司 一种拖挂车全景环视方法
CN111757057A (zh) * 2020-06-17 2020-10-09 广州市泰睿科技有限公司 一种全景环视显示方法、装置、设备及存储介质
CN111815752A (zh) * 2020-07-16 2020-10-23 展讯通信（上海）有限公司 图像处理方法、装置和电子设备
CN112509179A (zh) * 2020-12-18 2021-03-16 大连理工大学 具有全向碰撞感知和车内外三维场景重现的汽车黑匣子
CN112550469A (zh) * 2020-12-25 2021-03-26 浙江零跑科技有限公司 一种汽车透视a柱模块及显示方法
CN112606829A (zh) * 2020-12-16 2021-04-06 广州市车智连电子有限公司 一种基于全景拼接数据映射的辅助泊车系统
CN112818726A (zh) * 2019-11-15 2021-05-18 杭州海康威视数字技术股份有限公司 车辆违章预警方法、装置、系统及存储介质
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data
CN113715826A (zh) * 2021-08-31 2021-11-30 深圳市同进视讯技术有限公司 一种基于车载实时监控的车辆驾驶辅助方法及装置
WO2022088766A1 (zh) * 2020-10-29 2022-05-05 上海博泰悦臻网络技术服务有限公司 图像处理方法、介质、设备及图像处理系统
CN116095298A (zh) * 2021-11-06 2023-05-09 浙江吉利控股集团有限公司 车外场景显示方法、头戴显示设备、终端设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929601B (zh) * 2021-01-22 2024-05-10 广东新粤交通投资有限公司 一种车辆监控视频传输系统及传输方法
CN113240615B (zh) * 2021-05-20 2022-06-07 北京城市网邻信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN115065807B (zh) * 2022-05-30 2024-08-20 东风汽车集团股份有限公司 远程驾驶监控视频画面调整方法
CN115514751A (zh) * 2022-08-24 2022-12-23 网易（杭州）网络有限公司 用于挖掘机远程控制的图像获取方法及远程控制系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165004A (ja) * 1997-08-12 1999-03-05 Sony Corp パノラマ撮像システム
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
CN102629372A (zh) * 2012-02-22 2012-08-08 北京工业大学 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN105957010A (zh) * 2016-05-19 2016-09-21 沈祥明 一种车载图像拼接系统
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
CN106856000A (zh) * 2015-12-09 2017-06-16 广州汽车集团股份有限公司 一种车载全景图像无缝拼接处理方法及系统
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107644394A (zh) * 2016-07-21 2018-01-30 完美幻境(北京)科技有限公司 一种3d图像的处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987357B (zh) * 2006-12-26 2010-05-19 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
CN102111610B (zh) * 2010-05-21 2012-08-29 深圳安科智能视频技术有限公司 用于辅助驾驶的全景式影像生成方法
CN104851076B (zh) * 2015-05-27 2018-10-09 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN107627959B (zh) * 2017-09-20 2022-05-17 鹰驾科技（深圳）有限公司 机动车的全景视频监测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165004A (ja) * 1997-08-12 1999-03-05 Sony Corp パノラマ撮像システム
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
CN102629372A (zh) * 2012-02-22 2012-08-08 北京工业大学 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
CN106856000A (zh) * 2015-12-09 2017-06-16 广州汽车集团股份有限公司 一种车载全景图像无缝拼接处理方法及系统
CN105957010A (zh) * 2016-05-19 2016-09-21 沈祥明 一种车载图像拼接系统
CN107644394A (zh) * 2016-07-21 2018-01-30 完美幻境(北京)科技有限公司 一种3d图像的处理方法及装置
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818726A (zh) * 2019-11-15 2021-05-18 杭州海康威视数字技术股份有限公司 车辆违章预警方法、装置、系统及存储介质
CN111105347A (zh) * 2019-11-19 2020-05-05 贝壳技术有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
US11721006B2 (en) 2019-11-19 2023-08-08 Realsee (Beijing) Technology Co., Ltd. Method and device for generating virtual reality data
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data
CN111105347B (zh) * 2019-11-19 2020-11-13 贝壳找房(北京)科技有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
CN111137210A (zh) * 2019-11-28 2020-05-12 天津津航技术物理研究所 车载全景观察系统
CN111447431A (zh) * 2020-04-02 2020-07-24 深圳普捷利科技有限公司 一种应用于车载环视摄像的裸眼3d显示方法及系统
CN111546986A (zh) * 2020-04-30 2020-08-18 北京大椽科技有限公司 一种拖挂车全景环视方法
CN111757057A (zh) * 2020-06-17 2020-10-09 广州市泰睿科技有限公司 一种全景环视显示方法、装置、设备及存储介质
CN111815752A (zh) * 2020-07-16 2020-10-23 展讯通信（上海）有限公司 图像处理方法、装置和电子设备
CN111815752B (zh) * 2020-07-16 2022-11-29 展讯通信（上海）有限公司 图像处理方法、装置和电子设备
WO2022088766A1 (zh) * 2020-10-29 2022-05-05 上海博泰悦臻网络技术服务有限公司 图像处理方法、介质、设备及图像处理系统
CN112606829A (zh) * 2020-12-16 2021-04-06 广州市车智连电子有限公司 一种基于全景拼接数据映射的辅助泊车系统
CN112509179A (zh) * 2020-12-18 2021-03-16 大连理工大学 具有全向碰撞感知和车内外三维场景重现的汽车黑匣子
CN112509179B (zh) * 2020-12-18 2024-07-30 大连理工大学 具有全向碰撞感知和车内外三维场景重现的汽车黑匣子
CN112550469A (zh) * 2020-12-25 2021-03-26 浙江零跑科技有限公司 一种汽车透视a柱模块及显示方法
CN113715826A (zh) * 2021-08-31 2021-11-30 深圳市同进视讯技术有限公司 一种基于车载实时监控的车辆驾驶辅助方法及装置
CN116095298A (zh) * 2021-11-06 2023-05-09 浙江吉利控股集团有限公司 车外场景显示方法、头戴显示设备、终端设备及存储介质

Also Published As

Publication number Publication date
CN110341597B (zh) 2020-11-27
WO2019192359A1 (zh) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110341597A (zh) 一种车载全景视频显示系统、方法及车载控制器
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN105763854B (zh) 一种基于单目摄像头的全景成像系统及其成像方法
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
JP5444338B2 (ja) 車両周囲監視装置
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
WO2009119110A1 (ja) 死角表示装置
WO2013047012A1 (ja) 車両周辺監視装置
US20140114534A1 (en) Dynamic rearview mirror display features
CN108496178A (zh) 用于估计未来路径的系统和方法
CN104442567A (zh) 交通工具图像显示系统中的物体突显和传感
JP4640238B2 (ja) 車両周囲映像作成装置及び車両周囲映像作成方法
CN110719411B (zh) 车辆的全景环视图像生成方法及相关设备
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
CN102291541A (zh) 一种车辆虚拟合成显示系统
CN112069862A (zh) 目标检测方法和装置
EP3690799A1 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
CN114240769A (zh) 一种图像处理方法以及装置
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
KR20190026507A (ko) 차량용 영상 생성 장치 및 방법
Park et al. Panoramic vision system to eliminate driver’s blind spots using a laser sensor and cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant