CN106954045A - 车辆视场跟随显示系统 - Google Patents

Abstract

本发明涉及一种车辆视场跟随显示系统，包括视频采集设备、感知设备、处理中心设备、无线传输设备和显示设备，视频采集设备和感知设备安装于车辆，处理中心设备连接视频采集设备和感知设备，处理中心设备通过无线传输设备与显示设备连接。通过对车辆进行轨迹预测，获取车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标，并将获取的坐标转换为图像坐标系的坐标，根据预设参考点在图像坐标系的坐标确定所需要的监控区域，只需获取监控区域所对应的视频数据进行传输显示即可实现准确的车辆行驶监控，无需对视频数据进行压缩，在降低通信负荷的同时提高了监控可靠性。

Description

车辆视场跟随显示系统

技术领域

本发明涉及车辆监控技术领域，特别是涉及一种车辆视场跟随显示系统。

背景技术

目前，在有人车和无人车上均安装了摄像头，来监控车身四周的场景，以便进行车辆驾驶。有人驾驶的车辆上配备有后视倒车摄像头和前视监控摄像头，摄像头固定不动，显示的画面是车身四周固定范围的场景，视频显示时简单叠加部分信息，而没有对视频进行处理分析。无人驾驶车辆上配备的摄像头数量多，可以显示观察车身四周固定范围的场景，也可以利用带云台的高倍率摄像头重点查看感兴趣的区域。

无人车辆行驶过程中，远程操作人员既要监视车身四周，还要操作云台查看感兴趣的区域。由于有大量的视频数据需要从无人车无线传输到远程操作中心，对无人车通讯系统的带宽要求很高，同时大量的视频数据会占用大量的带宽从而影响无人车其他数据通讯。传统的车辆视场跟随显示方式为了降低通信负荷，将视频数据压缩后传输至远程操作中心，通过减少传输的视频数据降低通讯带宽的占用，以保证其他数据的正常传输。而视频压缩会降低图像质量，显示效果差，视频信息会有丢失，降低了监控可靠性。

发明内容

基于此，有必要针对上述问题，提供一种在降低通信负荷的同时提高监控可靠性的车辆视场跟随显示系统。

一种车辆视场跟随显示系统，包括视频采集设备、感知设备、处理中心设备和无线传输设备，所述视频采集设备和所述感知设备安装于车辆，所述处理中心设备连接所述视频采集设备和所述感知设备，所述处理中心设备连接所述无线传输设备，所述无线传输设备用于与显示设备连接，

所述视频采集设备用于拍摄车辆周围的场景，得到视频数据并发送至所述处理中心设备；所述感知设备用于获取车辆数据信息发送至所述处理中心设备；

所述处理中心设备用于获取所述视频采集设备的内参数矩阵，以及车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵；根据所述车辆数据信息和预设时长进行车辆轨迹预测，得到预测行驶距离；根据所述预测行驶距离确定车辆行驶所述预测行驶距离后，车辆的预设参考点在车辆地面投影坐标系的坐标；根据车辆行驶所述预测行驶距离后所述预设参考点在车辆地面投影坐标系的坐标、所述内参数矩阵、所述转换矩阵和所述平移矩阵，确定车辆行驶所述预测行驶距离后所述预设参考点在图像坐标系的坐标；根据车辆行驶所述预测行驶距离后所述预设参考点在图像坐标系的坐标获取车辆摄像监控区域；从所述视频数据中提取所述车辆摄像监控区域所对应的数据，得到目标视频数据并通过所述无线传输设备发送至所述显示设备进行显示。

上述车辆视场跟随显示系统，视频采集设备拍摄车辆周围的场景，得到视频数据并发送至处理中心设备，感知设备获取车辆数据信息发送至处理中心设备。处理中心设备获取视频采集设备的内参数矩阵，以及车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵；根据车辆数据信息和预设时长进行车辆轨迹预测，得到预测行驶距离；根据预测行驶距离确定车辆行驶预测行驶距离后，车辆的预设参考点在车辆地面投影坐标系的坐标；根据车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标、内参数矩阵、转换矩阵和平移矩阵，确定车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标；根据车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标获取车辆摄像监控区域；从视频数据中提取车辆摄像监控区域所对应的数据，得到目标视频数据并通过无线传输设备发送至显示设备进行显示。通过对车辆进行轨迹预测，获取车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标，并将获取的坐标转换为图像坐标系的坐标，根据预设参考点在图像坐标系的坐标确定所需要的监控区域，只需获取监控区域所对应的视频数据进行传输显示即可实现准确的车辆行驶监控，无需对视频数据进行压缩，在降低通信负荷的同时提高了监控可靠性。

附图说明

图1为一实施例中车辆视场跟随显示系统的结构示意图；

图2为一实施例中计算车辆转弯半径的示意图；

图3为一实施例中计算预测行驶距离的示意图；

图4为一实施例中计算车辆行驶预测行驶距离后，车辆的预设参考点在车辆地面投影坐标系的坐标的示意图。

具体实施方式

在一个实施例中，一种车辆视场跟随显示系统，车辆可以是无人车或有人车。如图1所示，该系统包括视频采集设备110、感知设备120、处理中心设备130和无线传输设备，视频采集设备110和感知设备120安装于车辆，处理中心设备130可以安装在车辆上，也可以独立于车辆进行设置。处理中心设备130连接视频采集设备110和感知设备120，处理中心设备130连接无线传输设备，无线传输设备用于与显示设备150连接。

视频采集设备110用于拍摄车辆周围的场景，得到视频数据并发送至处理中心设备130；感知设备120用于获取车辆数据信息发送至处理中心设备130。处理中心设备130用于获取视频采集设备110的内参数矩阵，以及车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵；根据车辆数据信息和预设时长进行车辆轨迹预测，得到预测行驶距离；根据预测行驶距离确定车辆行驶预测行驶距离后，车辆的预设参考点在车辆地面投影坐标系的坐标；根据车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标、内参数矩阵、转换矩阵和平移矩阵，确定车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标；根据车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标获取车辆摄像监控区域；从视频数据中提取车辆摄像监控区域所对应的数据，得到目标视频数据并通过无线传输设备发送至显示设备150进行显示。

在一个实施例中，处理中心设备130获取视频采集设备110的内参数矩阵，以及车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵，包括：提取视频采集设备110从不同角度对标定物进行拍摄得到的标定图片，并获取标定物相同位置的实际坐标以及在各标定图片中的图片坐标；根据标定物相同位置的实际坐标以及在各标定图片中的图片坐标，分别得到各标定图片对应的单应性矩阵；根据各标定图片对应的单应性矩阵得到视频采集设备110的内参数矩阵；根据视频采集设备110的内参数矩阵得到车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵。

具体地，处理中心设备130对安装于车辆的视频采集设备110进行标定，得到视频采集设备110的内参数矩阵A以及车辆地面投影坐标系O_cX_cY_c到图像坐标系O_pX_pY_p的转换矩阵R_cp和平移矩阵t_cp，用作后续进行坐标转换。内参数矩阵为视频采集设备110的特征参数，表征物体实际尺寸与在图片中的尺寸的比例关系。如果不对视频采集设备110进行变焦，则其内参数矩阵不会改变。如果不改变视频采集设备110与车辆的相对位置关系，则车辆地面投影坐标系到图像坐标系的转换矩阵R_cp和平移矩阵t_cp也不会改变。

标定物的具体类型并不唯一，本实施例中，标定物为棋盘格标定板，便于进行坐标提取。具体可从三个不同角度对标定物进行拍摄，提取标定物四个角点的实际坐标以及在各标定图片中的图片坐标。可以理解，实际坐标即是指在车辆地面投影坐标系O_cX_cY_c的坐标，图片坐标即是指在图像坐标系O_pX_pY_p的坐标。将棋盘格标定板放置在地面上，棋盘格标定板的尺寸已知，则其每个角点在车辆地面投影坐标系O_cX_cY_c的坐标为已知。两个坐标系转换的公式为：

R_cp表示旋转矩阵、t_cp表示平移矩阵、S是为了方便运算引入的尺度因子，对于齐次坐标，尺度因子不会改变坐标值。A表示摄像机的内参数，具体表达式如下：

其中，α＝f/dx，β＝f/dy，均表示焦距。γ代表像素点在x_p和y_p方向上尺度的偏差。

公式1.1可以简化为

单应性矩阵H是一个3×3的矩阵，并且有一个元素是作为齐次坐标。单应性矩阵H在计算机视觉中被定义为一个平面到另一个平面的投影映射。需要四个对应点即可算出单应性矩阵H。

由公式1.3可知

H＝[h₁ h₂ h₃]＝λA[r₁ r₂ t_cp] (1.4)

h₁、h₂和h₃分别表示单应性矩阵H中的三个列，λ表示尺度因子。因为r₁，r₂分别是绕x，y轴旋转的，因为r₁与r₂正交，所以r₁r₂＝0。旋转向量的模为1，即|r₁|＝|r₂|＝1。则可得：

上式中未知量只有内参数矩阵A，内参数矩阵A有5个参数。通过拍摄3张不同角度的标定图片，获得3个不同的单应性矩阵H，从而产生6个方程。由此可计算得到内参数矩阵A。

根据公式1.4，可知

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t_cp＝λA^-1h₃

其中，λ＝1/||A^-1h₁||＝1/||A^-1h₂||，由此可确定转换矩阵R_cp和平移矩阵t_cp。

本实施例中即是提供了具体的视频采集设备110标定方式，确定视频采集设备110的内参数矩阵和两个坐标系的对应关系。可以理解，在其他实施例中，也可以是直接从视频采集设备110的参数设置界面导出内参数矩阵，可以是直接进行坐标系转换得到两个坐标系的对应关系。此外，还可以是预先计算得到视频采集设备110的内参数矩阵和两个坐标系的对应关系存入存储空间，在需要使用时直接从存储空间获取。

车辆数据信息的具体类型并不是唯一的，本实施例中，车辆数据信息可包括车速、轮胎转向角度、挡位、车辆前后轴距和轮距。具体地，处理中心设备130根据车辆数据信息和预设时长进行车辆轨迹预测，得到预测行驶距离，包括：根据轮胎转向角度、挡位、车辆前后轴距和轮距计算得到车辆转弯半径；根据车辆转弯半径、车速和预设时长进行车辆轨迹预测，计算得到预测行驶距离。

根据车辆档位确定轨迹方向以便进行轨迹模拟，然后根据获取的轮胎转向角度，以及车辆前后轴距和轮距计算得到车辆转弯半径。具体地，本实施例中，处理中心设备130根据轮胎转向角度、挡位、车辆前后轴距和轮距计算得到车辆转弯半径，包括：

或

其中，δ₀、δ₁分别为车辆前外侧转向轮的转向角和前内侧转向轮的转向角，L为车辆前后轴距，t为轮距，R为车辆转弯半径。以档位为前进挡为例，如图2所示，只需获取车辆前外侧转向轮和前内侧转向轮中一者的转向角，通过对应公式即可计算得到车辆转弯半径。

根据实时的车速v以及处理周期Δt，可以预测一个处理周期后车辆行驶的距离ΔD。比如车速36km/h、处理周期为10ms，则一个处理周期内车辆行驶的距离为0.1m。预设时长的具体取值并不唯一，本实施例中，预设时长为处理周期ΔD的整数倍nΔD，选取ΔD的整数倍nΔD，得到最终的预测行驶距离D。根据实际上人的反应时间比较慢(通常是0.2～0.4s)，加上指令传输和设备反应时间，本实施例中，n的最小取值设定为50。可以理解，n的实际取值可以根据操作人员的舒适度和习惯进行调整。n取值越小，则预测的距离越近；n取值越大，则预测的距离越远。

在一个实施例中，处理中心设备130根据车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标、内参数矩阵、转换矩阵和平移矩阵，确定车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标，包括：

其中，S表示尺度因子，A表示内参数矩阵，R_cp表示旋转矩阵，t_cp表示平移矩阵，(x_c，y_c)为车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标，(x_p，y_p)为车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标。

预设参考点的具体选择并不唯一，可以是车辆前轮、后轮或车辆中心位置等，本实施例中，预设参考点为车辆中心位置。如图3所示，在得到预测行驶距离D后，预期车辆中心在车辆地面投影坐标系O_cX_cY_c中的坐标(x_c，y_c)。得到预设参考点在车辆地面投影坐标系的坐标之后，根据视频采集设备110的内参数矩阵和两个坐标轴之间的对应关系进行转换，得到车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标(x_p，y_p)。

进一步地，处理中心设备130根据车辆行驶预测行驶距离后预设参考点在图像坐标系的坐标(x_p，y_p)可以计算出感兴趣的区域作为监控区域。根据预设参考点的位置以及车辆摄像监控区域的不同，获取车辆摄像监控区域的具体方式也对应有所不同。车辆摄像监控区域的形状可以是矩形、圆形或者扇形等，具体可以根据需求选择，便于进行查看。例如当车辆向正前方直线行驶时，可以选择车辆摄像监控区域为矩形；当车辆进行转弯行驶时，可以是选择车辆摄像监控区域为扇形。车辆摄像监控区域的位置可以是位于以预设参考点为中心的位置，也可以是位于预设参考点沿行驶路径前方或后方的位置。

以车辆摄像监控区域的形状为矩形且以预设参考点为中心为例，若选择车辆摄像监控区域的形状为固定的H×W像素的区域，则选取如图4所示区域作为车辆摄像监控区域。车辆摄像监控区域位置的起点为(x_p-H/2，y_p-W/2)，终点为(x_p+H/2，y_p+W/2)，W和H可以固定，例如800×600，也可以是其他数值。

在确定车辆摄像监控区域之后，处理中心设备130找到视频采集设备110对应拍摄该区域得到的视频数据作为目标视频数据，通过无线传输设备发送至显示设备150进行显示，以便于操作人员查看。

上述车辆视场跟随显示系统，通过对车辆进行轨迹预测，获取车辆行驶预测行驶距离后预设参考点在车辆地面投影坐标系的坐标，并将获取的坐标转换为图像坐标系的坐标，根据预设参考点在图像坐标系的坐标确定所需要的监控区域，只需获取监控区域所对应的视频数据进行传输显示即可实现准确的车辆行驶监控，无需对视频数据进行压缩，在降低通信负荷的同时提高了监控可靠性。

视频采集设备110的具体类型并不唯一，在一个实施例中，视频采集设备110包括多个设置于车辆四周的摄像头，各摄像头均连接处理中心设备130。通过设置于车辆的多个摄像头对对应区域的场景进行拍摄，获取视频数据发送至处理中心设备130用作进行视频提取。摄像头具体可以是高倍率摄像头或者其他摄像头。摄像头在使用之前需要进行参数矫正，并且已知摄像头在车身坐标系的坐标，确定各摄像头所对应的拍摄区域。可以理解，在其他实施例中，视频采集设备110也可以只包括一个摄像头，通过控制摄像头转动实现对车辆四周的场景拍摄。

进一步地，在一个实施例中，视频采集设备110还包括云台，云台的数量与摄像头的数量相同且均连接处理中心设备130，各摄像头分别通过对应云台与车辆固定连接。对各摄像头分别设置一个云台，可通过处理中心设备130发送调节指令至云台，对摄像头进行调节，便于进行视频拍摄控制。可以理解，当视频采集设备110包括控制摄像头旋转的云台时，由于摄像头的拍摄角度会发生变化，将预设参考点在车辆地面投影坐标系的坐标转换为在图像坐标系的坐标时，则需要在转换公式(1.1)中旋转矩阵R_cp前面再增加一个旋转矩阵R_pp，旋转矩阵R_pp具体可通过摄像头的旋转角度确定。

感知设备120的具体类型也不是唯一的，感知设备120可以是直接采用车辆自身的ECU(Electronic Control Unit，电子控制设备，俗称“行车电脑”)，也可以是重新安装的传感器系统。本实施例中，感知设备120为车辆的自身的ECU，直接从车辆ECU获取所需的车辆数据信息，便于进行数据采集，且降低了控制成本。处理中心设备130的具体类型也不是唯一的，可以是各种形式的电脑或者嵌入式系统等。

无线传输设备的类型并不唯一，具体可以为4G通讯网络系统、数据电台系统或卫星通讯系统。具体地，在一个实施例中，如图1所示，无线传输设备包括无线终端142和与无线终端142无线通信的无线基站144，无线终端142连接处理中心设备130，无线基站144用于连接显示设备150。本实施例中，处理中心设备130和无线终端142均设置在车辆上，视频采集设备110、感知设备120、处理中心设备130和无线终端142组成车载部分，无线基站144和显示设备150组成远程操作中心。通过无线终端142将处理中心设备130发出的目标视频数据传输到远程操作中心的无线基站144。

此外，车辆视场跟随显示系统还包括连接无线传输设备的显示设备150。显示设备150从无线基站144接收无线终端142发送的视频数据，然后显示在屏幕上，供操作人员查看使用。显示设备150的具体类型也不唯一，具体可以是平板电脑、一体式电脑、台式电脑、笔记本电脑或嵌入式显示系统等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆视场跟随显示系统，其特征在于，包括视频采集设备、感知设备、处理中心设备和无线传输设备，所述视频采集设备和所述感知设备安装于车辆，所述处理中心设备连接所述视频采集设备和所述感知设备，所述处理中心设备连接所述无线传输设备，所述无线传输设备用于与显示设备连接，

所述视频采集设备用于拍摄车辆周围的场景，得到视频数据并发送至所述处理中心设备；所述感知设备用于获取车辆数据信息发送至所述处理中心设备；

所述处理中心设备用于获取所述视频采集设备的内参数矩阵，以及车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵；根据所述车辆数据信息和预设时长进行车辆轨迹预测，得到预测行驶距离；根据所述预测行驶距离确定车辆行驶所述预测行驶距离后，车辆的预设参考点在车辆地面投影坐标系的坐标；根据车辆行驶所述预测行驶距离后所述预设参考点在车辆地面投影坐标系的坐标、所述内参数矩阵、所述转换矩阵和所述平移矩阵，确定车辆行驶所述预测行驶距离后所述预设参考点在图像坐标系的坐标；根据车辆行驶所述预测行驶距离后所述预设参考点在图像坐标系的坐标获取车辆摄像监控区域；从所述视频数据中提取所述车辆摄像监控区域所对应的数据，得到目标视频数据并通过所述无线传输设备发送至所述显示设备进行显示。

2.根据权利要求1所述的车辆视场跟随显示系统，其特征在于，所述处理中心设备获取所述视频采集设备的内参数矩阵，以及车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵，包括：提取视频采集设备从不同角度对标定物进行拍摄得到的标定图片，并获取所述标定物相同位置的实际坐标以及在各所述标定图片中的图片坐标；根据所述标定物相同位置的实际坐标以及在各所述标定图片中的图片坐标，分别得到各所述标定图片对应的单应性矩阵；根据各标定图片对应的单应性矩阵得到所述视频采集设备的内参数矩阵；根据所述视频采集设备的内参数矩阵得到车辆地面投影坐标系到图像坐标系的转换矩阵和平移矩阵。

3.根据权利要求1或2所述的车辆视场跟随显示系统，其特征在于，所述车辆数据信息包括车速、轮胎转向角度、挡位、车辆前后轴距和轮距，所述处理中心设备根据所述车辆数据信息和预设时长进行车辆轨迹预测，得到预测行驶距离，包括：

根据所述轮胎转向角度、所述挡位、所述车辆前后轴距和所述轮距计算得到车辆转弯半径；根据所述车辆转弯半径、所述车速和预设时长进行车辆轨迹预测，计算得到预测行驶距离。

4.根据权利要求3所述的车辆视场跟随显示系统，其特征在于，所述处理中心设备根据所述轮胎转向角度、所述挡位、所述车辆前后轴距和所述轮距计算得到车辆转弯半径，包括：

或

其中，δ₀、δ₁分别为车辆前外侧转向轮的转向角和前内侧转向轮的转向角，L为车辆前后轴距，t为轮距，R为车辆转弯半径。

5.根据权利要求1或2所述的车辆视场跟随显示系统，其特征在于，所述处理中心设备根据车辆行驶所述预测行驶距离后所述预设参考点在车辆地面投影坐标系的坐标、所述内参数矩阵、所述转换矩阵和所述平移矩阵，确定车辆行驶所述预测行驶距离后所述预设参考点在图像坐标系的坐标，包括：

$S\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]=A\[R_{cp},t_{cp}\]\left[\begin{array}{c}{x}_c\\ y_c\\ 0\\ 1\end{array}\right]$

其中，S表示尺度因子，A表示内参数矩阵，R_cp表示旋转矩阵，t_cp表示平移矩阵，(x_c，y_c)为车辆行驶所述预测行驶距离后所述预设参考点在车辆地面投影坐标系的坐标，(x_p，y_p)为车辆行驶所述预测行驶距离后所述预设参考点在图像坐标系的坐标。

6.根据权利要求1所述的车辆视场跟随显示系统，其特征在于，所述视频采集设备包括多个设置于车辆四周的摄像头，各所述摄像头均连接所述处理中心设备。

7.根据权利要求6所述的车辆视场跟随显示系统，其特征在于，所述视频采集设备还包括云台，所述云台的数量与所述摄像头的数量相同且均连接所述处理中心设备，各所述摄像头分别通过对应云台与所述车辆固定连接。

8.根据权利要求1所述的车辆视场跟随显示系统，其特征在于，所述无线传输设备为4G通讯网络系统、数据电台系统或卫星通讯系统。

9.根据权利要求1所述的车辆视场跟随显示系统，其特征在于，所述无线传输设备包括无线终端和与所述无线终端无线通信的无线基站，所述无线终端连接所述处理中心设备，所述无线基站用于连接所述显示设备。

10.根据权利要求1所述的车辆视场跟随显示系统，其特征在于，还包括连接所述无线传输设备的所述显示设备，所述显示设备为平板电脑、一体式电脑、台式电脑、笔记本电脑或嵌入式显示系统。