CN109429039B - 一种多编组铰接车辆周界视频全景显示系统及方法 - Google Patents

Abstract

本发明公开了一种多编组铰接车辆周界视频全景显示系统及方法，所述系统包括：配置在多编组铰接车辆上的多个图像采集设备，其采集覆盖车辆周界全景区域的图像数据；周界视频全景显示中央处理单元，其接收来自多个图像采集设备的图像数据，并解码出叠加在视频流中的数据信息，并且结合车身转向和铰接盘角度，实时拼接出车辆的周界视频全景视图；配置在前后两个头车的显示控制单元，其接收并显示来自周界视频全景显示中央处理单元的周界视频全景视图。该系统能显示车辆周界一定范围内的图像信息，犹如从上方俯视车辆，所有视角一览无遗，真正做到零死角。经过图像矫正拼接后，可以在两端司机室的显示器显示一幅整车影像信息。

Description

一种多编组铰接车辆周界视频全景显示系统及方法

技术领域

本发明涉及虚拟轨道交通领域，尤其涉及一种多编组铰接车辆周界视频全景显示系统及方法。

背景技术

多编组胶轮无轨列车是一种新型城市公共客运车辆，其特点表现为胶轮无轨、与传统汽车共享路权、不再沿固定轨道行驶。它既拥有公交车行驶灵活、建设和维护成本低的优点，又具备运输力大的优势，并且克服了地铁、轻轨、有轨电车等基础设施建设和车辆购置成本高，需要专门的电力系统和轨道配合设计的缺点。

多编组胶轮无轨列车取消了钢轨，取而代之的是通过胶轮承载、方向盘转向的方式跟随地面标识线行驶，地面标识线布置线路灵活，使车辆无需再沿着固定轨道行驶，且大大降低了基建成本，与有轨电车相比有较大的运营优势。同时，其“共享路权，混行交通”的运行特点，使得其交通系统在线路布设方面拥有组织灵活的优势。然而，这也会带来一些不安全因素。多编组铰接车辆由多节车厢组成，中间由铰接盘连接，车辆长度大，盲区多，特别在转向时，转向外侧会形成较大的盲区，无法准确掌握车辆周界的状况，导致车辆行驶存在安全隐患。因此，如何解决上面的问题，提供一种能够实时对盲区内的行人或其他车辆进行监测，消除盲区点，提高车辆行驶安全性和保护行人的解决方案，是迫切需要。

发明内容

本发明所要解决的技术问题之一为了消除多编组铰接车辆驾驶员的视野盲区，并提高车辆行驶安全性，需要提出一种多编组铰接车辆周界视频全景显示系统及方法，使驾驶员可以拥有鸟瞰视角，对车辆周边一定范围内的区域一览无遗，从而能够对车辆控制做出恰当的决策。

为了解决上述技术问题，本申请的实施例首先提供了一种多编组铰接车辆周界视频全景显示系统，所述系统包括：配置在多编组铰接车辆上的多个图像采集设备，其采集覆盖车辆周界全景区域的图像数据；周界视频全景显示中央处理单元，其接收来自多个图像采集设备的图像数据，并解码出叠加在视频流中的数据信息，并且结合车身转向和铰接盘角度，实时拼接出车辆的周界视频全景视图；配置在前后两个头车的显示控制单元，其接收并显示来自周界视频全景显示中央处理单元的周界视频全景视图。

优选地，所述周界视频全景显示中央处理单元，其进一步包括：单车厢周界图像拼接模块，其针对各节车厢，将采集的画面进行拼接形成单车厢周界图像；多车厢周界图像拼接模块，其基于车身转向和铰接盘角度，将所有单节车厢的单车厢周界图像组合拼接成完整的周界视频全景视图。

优选地，所述单车厢周界图像拼接模块，其通过执行如下步骤完成针对各个车厢的单车厢周界图像的拼接，获取该车厢的图像信息，对配置在该车厢的各图像采集设备进行参数标定，计算畸变参数；识别出的图像中特定的车身标志物的角点，并计算理想角点位置，从而获取透视变换矩阵；结合畸变参数和透视变换矩阵，得到由畸变图像到俯视图像的查找表；利用所述查找表将各图像采集设备采集的畸变图像变换为俯视图像，将各俯视图像放在对应位置，实现图像拼接；消除图像拼接引起的缝隙，实现图像融合，完成该车厢的周界图像拼接。

优选地，所述多车厢周界图像拼接模块，其通过如下步骤拼接完整的周界视频全景视图，根据车身转向和相邻车厢铰接处的铰接盘角度，通过几何关系推导出相邻车厢对应的两幅图像交界线的位置；在交界区域内，执行同一像素点加权后的差值运算，得到交界区域的图像；最后将各个区域的图像融合成预设显示范围内一个区域的图像。

优选地，所述周界视频全景显示中央处理单元，其进一步包括：障碍物检测模块，其实时检测识别各个图像采集设备采集到的视频图像中的障碍物，并发出相应的障碍物报警信息。

优选地，该系统还包括：视频记录单元，其记录从周界视频全景显示中央处理单元转接过来的图像视频流，完成本地数据压缩并存储在可插拔的固态存储介质。

优选地，所述周界视频全景显示中央处理单元，其进一步包括：网络诊断模块，其实时监测各个图像采集设备、显示控制单元及视频记录单元的网络连接状态，当出现网络出现异常问题时，发出相应的网络异常报警信息。

优选地，所述显示控制单元，其进一步接收周界视频全景显示中央处理单元的报警信息，并针对不同的报警信息显示出不同的故障码供操作人员处理。

另一方面，本发明实施例还提供了一种多编组铰接车辆周界视频全景显示方法，所述方法包括：采集覆盖车辆周界全景区域的图像数据；从所述图像数据中解码出叠加在视频流中的数据信息，并且结合车身转向和铰接盘角度，实时拼接出车辆的周界视频全景视图；显示所述周界视频全景视图。

优选地，在结合车身转向和铰接盘角度，实时拼接出车辆的周界视频全景视图的步骤中，其进一步包括：针对各节车厢，将采集的画面进行拼接形成单车厢周界图像；基于车身转向和铰接盘角度，将所有单节车厢的单车厢周界图像组合拼接成完整的周界视频全景视图。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明实施例提供了一种多编组铰接车辆周界视频全景显示系统，该系统通过配置在多编组铰接车辆上的多个图像采集设备采集覆盖车辆周界全景区域的图像数据，将采集的图像数据发送给周界视频全景显示中央处理单元来处理实时拼接出车辆的周界视频全景视图，然后利用配置在前后两个头车的显示控制单元显示周界视频全景视图，该系统能显示车辆周界一定范围内的图像信息，犹如从上方俯视车辆，所有视角一览无遗，真正做到零死角。经过图像矫正拼接后，可以在两端司机室的显示器显示一幅整车影像信息。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为本申请实施例的多编组铰接车辆示意的示意图。

图2为本申请实施例的全景显示视野范围示意的示意图。

图3为本申请实施例的多编组铰接车辆周界视频全景显示系统的结构示意图。

图4为本申请实施例的周界视频全景显示中央处理单元20的结构示意图。

图5为本申请实施例的单车厢周界图像拼接方法的流程示意图。

图6(a)～(c)为本申请实施例的单车厢全景拼接标定可供选用的标志物方案的示意图。

图7为本申请实施例的单车厢全景拼接标定场景示意图。

图8为本申请实施例的整车全景图像拼接的示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本申请实施例的多编组铰接车辆示意的示意图。如图1所示，本发明实施例针对的是多编组铰接车辆，该种车辆包括2节、3节……N节编组，即包括多节车厢，相邻车厢中间由铰接盘连接。

在多编组铰接车辆上配置多个图像采集设备，这些设备只要可以采集覆盖车辆周界全景区域的图像，即最终能够拼接成一幅车辆四周无缝隙的360度全景俯视图即可，如何设置及图像采集设备的种类不做限定。以环视摄像头为例，可以在利用安装于头车前方1个、左右侧1个及以上、中间车左右侧的1个及以上的环视摄像头即可采集车辆全景区域的图像视频。各环形摄像头将采集到的各自区域的视频，经过周界视频全景显示中央处理器(后述)对图像进行矫正拼接后，可以在两端司机室的显示器显示车辆周围一定范围内的周界视频全景图像信息，如图2所示。

图3为本申请实施例的多编组铰接车辆周界视频全景显示系统的结构示意图。下面参照图3来说明该系统各个组成结构及功能。

如图3所示，多编组铰接车辆周界视频全景显示系统包含环视摄像头11、12、……1N、周界视频全景显示中央处理单元20、配置在前后两个车头的显示控制单元30a、30b及车载视频记录单元40等。本系统具备基本的全景影像、障碍物检测、网络诊断等功能，其中全景影像显示采用无缝拼接技术。该系统中的周界视频全景显示中央处理单元20，同时支持N路高清摄像头图像处理，系统处理性能要求较高，需要采用高性能芯片，或者采用多芯片系统，以保证流畅显示。下面分别说明这些单元的功能。

环视摄像头11、12、……1N采集自身镜头覆盖区域的图像视频，识别出车道、停车线信息，发送到车身CAN总线上。同时将视频流数据实时传输给周界视频全景显示中央处理单元20。

周界视频全景显示中央处理单元20汇总所有图像数据，并解码出叠加在视频流中的数据信息，并且结合车身CAN总线的转向和铰接角等信号，实时拼接出周界视频全景视图，全景视图通过调制后送到前后两个头车的显示控制单元30a、30b进行显示。需要说明的是，由头车的转向角会引起中间铰接盘的相对角度发生变化，而铰接盘的相对角度决定了车身的姿态，根据车身的姿态，利用之后的差值运算即可拼接出整列车的全景图像。图4为本申请实施例的周界视频全景显示中央处理单元20的结构示意图。如图4所示，该中央处理单元20包括单车厢周界图像拼接模块21、多车厢周界图像拼接模块22、障碍物检测模块23和网络诊断模块24。

由于该车辆是多编组铰接式的，行驶时铰接角会实时变化，造成多节车厢安装的摄像头之间位置不断变化，这就需要根据铰接角信息实时动态标定摄像头参数，最终实现一张高清图像的动态拼接。在中央处理单元20进行图像拼接时，通过两大部分来实现，第一部分是单车厢周界图像拼接模块21，其针对各节车厢，将各节车厢摄像头采集的画面进行拼接形成单车厢周界图像，第二部分是多车厢周界图像拼接模块22，其基于铰接角度传感器数据(车身转向和铰接盘角度)，将所有单节车厢的单车厢周界图像组合拼接成完整的周界视频全景视图(周界俯视图)。下面具体说明这两个模块的具体实现流程。

第一流程：单车厢周界图像拼接

如图5所示，首先，使用鱼眼环视摄像头抓取图像，对配置在该车厢的摄像头进行参数标定，计算畸变参数。

第二步，识别出的图像中特定的车身标志物的角点，并计算理想角点位置，从而获取透视变换矩阵。车身标志物可以选择如图6(a)所示的棋盘格、图6(b)所示的ArUco图标或图6(c)所示的逆SIFT图像。

具体来说，架设全景拼接标定场景，识别图中车身标志物的角点，然后，测量标定场景中尺寸，计算理想角点位置，如图7所示，标定时使用的参照物尺寸是已知的，以棋盘格为例，在一块黑白方格相间的棋盘格上，每一个黑白方格相交的理想角点相对于棋盘外沿某一个角点的相对坐标都是可以通过几何关系推导出来的。而在布置标定场景时，每一块棋盘格都会布置在车身周围特定的位置上，如图7右图所示。那么以车厢质心为坐标原点，只要测出车长、车宽和图示偏移，结合理想角点对于棋盘外沿贴近车身处角点的相对位置，即可求得每一个理想角点在当前坐标系下的绝对位置，最终形成一个理想角点的位置矩阵。通过抓取角点和理想角点位置，可以计算出透视变换矩阵。结合上一步摄像头畸变参数，可得到由畸变图像到俯视图像的查找表。所谓抓取角点，首先要将鱼眼摄像头捕捉到的图像进行边沿检测，得到的黑白方格相交的角点位置矩阵即为抓取角点矩阵。那么根据图像透视变换原理，利用原始抓取角点位置矩阵和理想角点位置矩阵，可以求得从摄像头抓取图像到理想坐标系俯视图的透视变换矩阵。然后考虑到摄像头镜头成像存在固有的透视失真，所以第一步就是标定摄像头的畸变参数，对抓取到的图像首先要进行畸变矫正才能使用，这里使用的就是业内成熟的标定方法。最后将畸变矫正和透视变换融合，就可以得到由畸变图像到俯视图像的查找表。

第三步，利用查找表将畸变图像变换为俯视图像，将各摄像头俯视图像放在对应位置，实现图像拼接。

第四步，消除图像拼接引起的缝隙，实现图像融合，完成该车厢的周界图像拼接。由于各摄像头拍摄的图像亮度有差异，需要采用全局白平衡等方法进行调整；图像拼接缝处需要进行加权插值，进行过渡。

至此完成了单车厢图像拼接。

第二流程：多车厢周界图像拼接

经过第一部分拼接后，得到了各个车厢的俯视拼接图像。下一步，将所有拼接图片合成一张完整的周界俯视图。需要注意的是，车辆转弯时车厢之间相对转动，摄像头相对位置也随之变化。需要采用铰接盘角度传感器信息，实现实时拼接。

根据第一流程拼接完的单车厢周界图，在图8中以采集范围标出，该范围比最终的全景周界显示范围要大。当车厢进行转动时(图8右图)，采集范围也会随之转动。而显示范围，也就是图像裁剪位置不变。因此，在两节车厢铰接处必然会存在有两幅图像重叠区域，为了消除图像重叠痕迹，需要采用铰接盘角度，通过几何关系推导出相邻车厢对应的两幅图像交界线的位置，然后在交界区域内执行同一像素点加权后的差值运算，见公式(1)，得到交界区域的图像，最后将各个区域的图像融合成显示范围内一个区域的图像。

S_c＝(K₁δ)S₁-(K₂δ)S₂ (1)

其中δ代表铰接盘角度。S_c代表交界区域的一个点的像素值。S₁代表前车图像在交界区域同一个点的像素值。S₂代表后车图像在交界区域同一个点的像素值。K₁代表前车加权系数。K₂代表后车加权系数。

最后将各个区域的图像融合成预设显示范围内一个区域的图像，这样就可以实现整列车图像的拼接。

接下来说明周界视频全景显示中央处理单元20的其他模块。

障碍物检测模块23，其可以实时检测识别各个环视摄像头采集到的视频图像中的障碍物，并且能够及时发出相应的障碍物报警信息，并发送给显示控制单元30a、30b。障碍物检测主要是捕捉摄像头抓取的图像中的角点，经过特征检测可以估算出障碍物的类别、大小和位置，在最终的合成图像中显示并报警。

网络诊断模块24，其可以实时监测各个环视摄像头11、12、……1N、显示控制单元30a、30b及视频记录单元40的网络连接状态。当出现网络中断、堵塞等异常问题时，可以检测并发出相应的网络故障报警信息，并发送给显示控制单元30a、30b。

显示控制单元40，其可以接收周界视频全景显示中央处理单元20的报警信息并针对不同的故障显示出不同的故障码，帮助维护人员排查问题。另外，优选地，显示控制单元40提供一个显示界面和简单的操作界面，通过操作界面可以选择不同的显示方式(单一环视视频、多个环视视频、复合的鸟瞰视频)，便于驾驶人员操作。

视频记录单元40，其直接记录从周界视频全景显示中央处理单元20转接过来的高速视频流，完成本地数据压缩并存储在可插拔的固态存储介质中。存储介质可根据需要对录像时长进行扩充。

本发明实施例能够使多编组铰接车辆驾驶员犹如从空中俯视车辆，所有视角一览无遗，通过实时图像动态拼接，在线显示车辆周界视频全景，消除了视野盲区，提高了行车安全性。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种多编组铰接车辆周界视频全景显示系统，其特征在于，所述系统包括：

配置在多编组铰接车辆上的多个图像采集设备，其采集覆盖车辆周界全景区域的图像数据；

周界视频全景显示中央处理单元，其接收来自多个图像采集设备的图像数据，并解码出叠加在视频流中的数据信息，并且结合车身转向和铰接盘角度，实时拼接出车辆的周界视频全景视图，其中，所述周界视频全景显示中央处理单元，其进一步包括：

单车厢周界图像拼接模块，其针对各节车厢，将采集的画面进行拼接形成单车厢周界图像；

多车厢周界图像拼接模块，其基于车身转向和铰接盘角度，将所有单节车厢的单车厢周界图像组合拼接成完整的周界视频全景视图，其中，所述多车厢周界图像拼接模块，其通过如下步骤拼接完整的周界视频全景视图：根据车身转向和相邻车厢铰接处的铰接盘角度，通过几何关系推导出相邻车厢对应的两幅图像交界线的位置；在交界区域内，执行同一像素点加权后的差值运算，得到交界区域的图像；最后将各个区域的图像融合成预设显示范围内一个区域的图像；

配置在前后两个头车的显示控制单元，其接收并显示来自周界视频全景显示中央处理单元的周界视频全景视图。

2.根据权利要求1所述的系统，其特征在于，所述单车厢周界图像拼接模块，其通过执行如下步骤完成针对各个车厢的单车厢周界图像的拼接，

获取该车厢的图像信息，对配置在该车厢的各图像采集设备进行参数标定，计算畸变参数；

识别出的图像中特定的车身标志物的角点，并计算理想角点位置，从而获取透视变换矩阵；

结合畸变参数和透视变换矩阵，得到由畸变图像到俯视图像的查找表；

利用所述查找表将各图像采集设备采集的畸变图像变换为俯视图像，将各俯视图像放在对应位置，实现图像拼接；

消除图像拼接引起的缝隙，实现图像融合，完成该车厢的周界图像拼接。

3.根据权利要求1～2中任一项所述的系统，其特征在于，所述周界视频全景显示中央处理单元，其进一步包括：

障碍物检测模块，其实时检测识别各个图像采集设备采集到的视频图像中的障碍物，并发出相应的障碍物报警信息。

4.根据权利要求3所述的系统，其特征在于，该系统还包括：

视频记录单元，其记录从周界视频全景显示中央处理单元转接过来的图像视频流，完成本地数据压缩并存储在可插拔的固态存储介质。

5.根据权利要求4所述的系统，其特征在于，所述周界视频全景显示中央处理单元，其进一步包括：

网络诊断模块，其实时监测各个图像采集设备、显示控制单元及视频记录单元的网络连接状态，当出现网络出现异常问题时，发出相应的网络异常报警信息。

6.根据权利要求4～5中任一项所述的系统，其特征在于，

所述显示控制单元，其进一步接收周界视频全景显示中央处理单元的报警信息，并针对不同的报警信息显示出不同的故障码供操作人员处理。

7.一种多编组铰接车辆周界视频全景显示方法，其特征在于，所述方法包括：

采集覆盖车辆周界全景区域的图像数据；

从所述图像数据中解码出叠加在视频流中的数据信息，并且结合车身转向和铰接盘角度，实时拼接出车辆的周界视频全景视图，该步骤进一步包括：

针对各节车厢，将采集的画面进行拼接形成单车厢周界图像；

基于车身转向和铰接盘角度，将所有单节车厢的单车厢周界图像组合拼接成完整的周界视频全景视图，其中，通过如下步骤拼接完整的周界视频全景视图：根据车身转向和相邻车厢铰接处的铰接盘角度，通过几何关系推导出相邻车厢对应的两幅图像交界线的位置；在交界区域内，执行同一像素点加权后的差值运算，得到交界区域的图像；最后将各个区域的图像融合成预设显示范围内一个区域的图像；

显示所述周界视频全景视图。

Images