CN113602196A - 一种可透视化a柱及周边区域的显示系统及方法 - Google Patents

Abstract

本发明公开了一种可透视化A柱及周边区域的显示系统及方法，该系统中：图像数据采集单元，通过广角测距摄像头采集汽车外部各个方向的视频图像数据以及各个数据点的空间坐标；数据处理单元，用于将广角测距摄像头采集到的数据、DMS模块反馈的眼睛位置、角度参数经过图像处理器进行图像的拼接、融合，再分发给不同的投影组件进行投影显示；投影组件，包括投影光源和塑形边框，投影光源分别设置在车辆后视镜的两侧，塑形边框罩在投影光源上；投影矫正单元，用于校准投影画面，实现投影画面的角度随驾驶员的眼睛位置、角度变化的动态变化。本发明解决了汽车不透明A柱及周边区域形成的驾驶员盲区的显示问题，且适用于任意车型。

Description

一种可透视化A柱及周边区域的显示系统及方法

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种可透视化A柱及周边区域的显示系统及方法。

背景技术

在汽车行驶的过程中，驾驶员需要实时判断汽车周边的情况，但是由于汽车车身本身不是透明的，因此很多时候会由于盲区的存在导致事故的发生。而我们通常说的汽车A柱就是一个代表性的示例，A柱本体是指汽车前排座椅的左前方和右前方立柱，A柱及周边区域是汽车行驶时最妨碍视野的位置，由于该盲区的存在，在驾驶过程中，特别是转弯时，稍不留神就会造成事故惨剧。

在此条件下，有了如透明化A柱的方法，利用在A柱上安装柔性显示屏显示车外场景的发明。可透视型A柱，利用A柱本体的背面安装有柔性显示屏，在外侧安装摄像头，将外侧摄像头拍摄的画面显示到车内背面的柔性显示屏上，通过这种方式可以实现A柱的可透视化。但采用柔性显示屏的A柱存在以下问题：

1.因为A柱本身结构的差异，对于每种不同结构或尺寸的A柱，车辆都需要定制不同的柔性显示屏，非常不利于产品的标准化以及通用化，定制化的价格较高；

2.随着时间的推移，A柱柔性显示屏的尺寸会有微移，会导致画面错位等现象的发生；

3.仅仅只能显示A柱的画面，受限于车身结构以及柔性显示屏的技术，难以拓展到A柱周边区域，驾驶员的视觉依旧较大的受限制于汽车车身。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种可透视化A柱及周边区域的显示系统及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种可透视化A柱及周边区域的显示系统，该系统包括设置在车辆上相互连接的：图像数据采集单元、数据处理单元、投影组件、投影矫正单元；车辆上还设置有DMS模块；其中：

图像数据采集单元，采用广角测距摄像头，通过广角测距摄像头采集汽车外部各个方向的视频图像数据以及各个数据点的空间坐标；

DMS模块，用于获取驾驶员的眼睛位置、头部角度参数；

数据处理单元，包括电源模块、图像处理器，用于将广角测距摄像头采集到的数据、DMS模块反馈的眼睛位置、角度参数经过图像处理器进行图像的拼接、融合，再分发给不同的投影组件进行投影显示，投影到车辆两侧A柱上的可透视区域上；

投影组件，包括投影光源和塑形边框，投影光源分别设置在车辆后视镜的两侧，塑形边框罩在投影光源上；且塑形边框的形状即塑形边框的出光轮廓面，根据可透视区域的形状而决定，使得投影光源发出的光线通过塑形边框的部分遮挡后照射在可透视区域上；

投影矫正单元，通过车辆的DMS模块获取的驾驶员眼睛位置、角度参数来矫正投影画面对应的角度参数，来校准投影画面，实现投影画面的角度随驾驶员的眼睛位置、角度变化的动态变化。

进一步地，本发明的所述塑形边框内壁为光滑平面，无任何阻挡光线抵达投影边框的出光轮廓面的凸台或结构。

进一步地，本发明的所述塑形边框的出光轮廓面距离投影光源的距离L1，由投影光源与显示平面距离L2与可透视化区域面积S2来决定；其尺寸的关系式为：

其中，S1为塑形边框的出光轮廓面的面积，S2为可透视化区域面积。

进一步地，本发明的驾驶过程中，所述投影光源、塑形边框、投影的可透视区域的位置均是固定的，只有驾驶员的视角位置发生变化。

进一步地，本发明的所述投影组件还能安装在车辆上的位置包括：B柱、C柱、后备箱，实现对车辆周围任一处遮挡位置的投影显示。

本发明提供一种可透视化A柱及周边区域的显示方法，该方法包括以下步骤：

S1、在车辆的后视镜的侧面设置投影光源和塑形边框，并根据可透视区域的形状设置塑形边框的形状，在车辆外侧设置多个图像数据采集单元；

S2、车辆行进中，通过图像数据采集单元实时采集车辆外的视频图像，并获取视频中外部物体的空间坐标；

S3、通过车辆内设置的DMS模块实时采集驾驶员的眼睛位置、角度参数；

S4、通过数据处理单元对车辆外部的图像进行拼接、融合，并通过投影矫正单元来校准投影画面，生成驾驶员视角在A柱及周边区域看到的图像；

S5、根据驾驶员的眼睛和投影光源的位置关系，将驾驶员看到的视角图像转换为投影光源进行显示的视角图像；

S6、根据投影光源进行显示的视角图像，投影光源在可透视区域上进行投影显示。

进一步地，本发明的所述步骤S4中生成驾驶员视角在A柱及周边区域看到的图像的方法为：

由于投影光源、塑形边框、投影区域位置是相对固定的，只有驾驶员的视角位置在变动；而由于汽车内A柱及周边区域的表面是一个曲面，但是对于极短暂的时间里，驾驶员看到的显示区域能认为是一个平面图像，此平面图像Fn与驾驶员视线垂直，投影光源将处理后的平面图像Ft按照一定的帧率投影到规定的A柱及周边区域，即可形成驾驶员视线内的动态显示效果；

投影平面CF是从投影视角上生成的虚拟的平面，而CB平面是车身实际显示的A柱及其周边区域，CF平面经过投影视角AP’方向的投影，会最终将曲面C信息成型在CB平面上；

其中，A:人眼，坐标(xa,ya,za)；B:需要投影显示的面；C:实际驾驶员看到的外界实物所在的曲面；D:投影光源，坐标(xd,yd,zd)；E:车内DMS模块测距摄像头；F:车外测距摄像头；P:为人眼视线直线与面C的焦点，坐标(xp,yp,zp)；P’为人眼需要去看到的显示的点，坐标(xp’,yp’,zp’)。

进一步地，本发明的所述步骤S4中生成驾驶员视角在A柱及周边区域看到的图像的方法具体包括以下步骤：

步骤1、获取实际曲面C的信息：通过测距摄像头F，基准坐标为(Xf,Yf,Zf)，获取车外的真实图像及像素点的点集Ff(X0,Y0,Z0)，将数据转换为基于整车坐标原点O构建的三维空间曲面Ff(x,y,z)＝Ff(X0+Xf,Y0+Yf,Z0+Zf)；

步骤2、获取投影的A柱及周边区域基于整车坐标O的曲面集Fs(x,y,z)，Fs为可透视区域；

步骤3、将曲面Ff(x,y,z)、Fs(x,y,z)重合在一起，以眼球A点为中心，眼睛视线相交A柱表面于P’点，以AP’方向为正方向，垂直于视线AP’方向构建平面CB，CB平面经过P’点并垂直于AP’直线，将Ff曲面缩放投影到CB平面上，通过分别获得AP’视角的二维投影轮廓面Ffap’、Fsap’，最终需要投影生成的图片Fn等于Fsap’与Ffap’的交集，Fn图片即为最终需要投影生成的以AP’视角去看的一帧图片。

进一步地，本发明的所述步骤S5中将驾驶员看到的视角图像转换为投影光源进行显示的视角图像的方法为：

在一个极短的时间里，认定人眼A的位置固定，同时，P’与D’本身相对于整车也是固定的，其三个点对应的坐标分别为A(xa,ya,za),P’(xp’,yp’,zp’),D(xd,yd,zd)；

将面BC离散成m个矩形区域，以点P’为中心，往m个单位正反方向分别向外延伸一个单元，分别取点B、C，则BC线段是面CB上任意一条经过P’点的线段，CF是投影平面CF上的一段线段，且F点从DP’视角看，投影到CB平面上的点为点B，B、C点距离点P’距离均为m，BC与AP’垂直，同时，以投影DP’视角投影的直线CF，在B面上的显示为CB直线，因此，通过CF与CB的关系，求得投影图片Fn与Ft之间的关系。

进一步地，本发明的所述步骤S5中将驾驶员看到的视角图像转换为投影光源进行显示的视角图像的具体计算方法为：

假设DP’距离为l，CB＝2CP’＝2P’B＝2m，CF与DP’垂直相交于点V，AP’垂直于CB，AP’与DP’间的夹角为α，角度α根据点A、P’、D三点的坐标，计算得到：

CF与CB间的关系为：

CB＝2m

其中m值的大小代表图像Fn转化为图像Ft的精度，m越小则精度越高。

本发明产生的有益效果是：本发明的可透视化A柱及周边区域的显示系统及方法，通过投影设备和定制尺寸的塑形边框，使投影画面显示在A柱上，并通过投影矫正单元矫正投影画面，完全解决了汽车不透明A柱及周边区域形成的驾驶员盲区的显示问题，对于所有的车型都可以适用，针对不同的车型尺寸、车身形状、投影区域，适配不同的投影边框即可，此方法可以扩展到整车任意一个被遮挡的位置。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统框架示意图；

图2是本发明实施例的投影示意图；

图3是本发明实施例的塑型边框结构示意图；

图4是本发明实施例的投影平面示意图；

图5是本发明实施例的实际显示的区域示意图；

图6是本发明实施例的可透视区域和实际场景曲面集示意图；

图7是本发明实施例的不同视角相互关系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的可透视化A柱及周边区域的显示系统，该系统包括设置在车辆上相互连接的：图像数据采集单元、数据处理单元、投影组件、投影矫正单元；车辆上还设置有DMS模块；其中：

图像数据采集单元，采用高清广角测距摄像头，通过广角测距摄像头采集汽车外部各个方向的视频图像数据以及各个数据点的空间坐标；

DMS模块，用于获取驾驶员的眼睛位置、头部角度参数；

数据处理单元，包括电源模块、图像处理器、对外连接数据线，用于将广角测距摄像头采集到的摄像数据、DMS模块反馈的眼睛位置、角度参数经过图像处理器进行图像的拼接、融合，再分发给不同的投影组件进行投影显示；

投影组件，包括投影光源和塑形边框，投影光源设置在车辆后视镜的侧面(投影光源位置根据实车自由布置，原理一样)，塑形边框罩在投影光源上，投影示意图如图2所示；且塑形边框的形状即塑形边框的出光轮廓面，根据可透视区域的形状而决定，使得投影光源发出的光线通过塑形边框的部分遮挡后照射在可透视区域上；

在车身各个方位布置激光投影组件，视频图像处理单元处理的视频数据，发放给不同的投影组件，投影在驾驶员视线被遮挡的车身区域上，如：可以在后视镜上布置左右两个投影组件，分别投影到左右A柱及周边区域上。

投影矫正单元，通过车辆的DMS模块获取的驾驶员眼睛位置、角度参数来矫正投影画面对应的角度参数，来校准投影画面，实现投影画面的角度随驾驶员的眼睛位置、角度变化的动态变化。

塑形边框内壁为光滑平面，无任何阻挡光线抵达投影边框的出光轮廓面的凸台或结构。

塑形边框的出光轮廓面距离投影光源的距离L1，由投影光源与显示平面距离L2与可透视化区域面积S2来决定，如图3所示；其尺寸的关系式为：

其中，S1为塑形边框的出光轮廓面的面积，S2为可透视化区域面积(位于面CF上)。

本发明的驾驶过程中，所述投影光源、塑形边框、投影的可透视区域的位置均是固定的，只有驾驶员的视角位置发生变化。

投影组件还能安装在车辆上的位置包括：B柱、C柱、后备箱，实现对车辆周围任一处遮挡位置的投影显示。

本发明实施例的可透视化A柱及周边区域的显示方法，该方法包括以下步骤：

S1、在车辆的后视镜的侧面设置投影光源和塑形边框，并根据可透视区域的形状设置塑形边框的形状，在车辆外侧设置多个图像数据采集单元；

S2、车辆行进中，通过图像数据采集单元实时采集车辆外的视频图像，并获取视频中外部物体的空间坐标；

S3、通过车辆内设置的DMS模块实时采集驾驶员的眼睛位置、角度参数；

S4、通过数据处理单元对车辆外部的图像进行拼接、融合，并通过投影矫正单元来校准投影画面，生成驾驶员视角在A柱及周边区域看到的图像；

S5、根据驾驶员的眼睛和投影光源的位置关系，将驾驶员看到的视角图像转换为投影光源进行显示的视角图像；

S6、根据投影光源进行显示的视角图像，投影光源在可透视区域上进行投影显示。

步骤S4中生成驾驶员视角在A柱及周边区域看到的图像Fn的方法为：

由于投影光源、塑形边框、投影区域位置是相对固定的，只有驾驶员的视角位置在变动；而由于汽车内A柱及周边区域的表面是一个曲面，但是对于极短暂的时间里，驾驶员看到的显示区域能认为是一个平面图像，此平面图像Fn与驾驶员视线垂直，投影光源将处理后的平面图像Ft按照一定的帧率投影到规定的A柱及周边区域，即可形成驾驶员视线内的动态显示效果；

投影平面CF是从投影视角上生成的虚拟的平面，而CB平面是车身实际显示的A柱及其周边区域，CF平面经过投影视角AP’方向的投影，会最终将曲面C信息成型在CB平面上；

其中，A:人眼，坐标(xa,ya,za)；

B:需要投影显示的面；

C:实际驾驶员看到的外界实物所在的曲面；

D:投影光源，坐标(xd,yd,zd)；

E:车内DMS模块测距摄像头；

F:车外测距摄像头；

P:为人眼视线直线与面C的焦点，坐标(xp,yp,zp)；

P’为人眼需要去看到的显示的点，坐标(xp’,yp’,zp’)。

步骤S4中生成驾驶员视角在A柱及周边区域看到的图像的方法具体包括以下步骤：

步骤1、获取实际曲面C的信息：通过测距摄像头F，基准坐标为(Xf,Yf,Zf)，获取车外的真实图像及像素点的点集Ff(X0,Y0,Z0)，将数据转换为基于整车坐标原点O构建的三维空间曲面Ff(x,y,z)＝Ff(X0+Xf,Y0+Yf,Z0+Zf)；

步骤2、获取投影的A柱及周边区域基于整车坐标O的曲面集Fs(x,y,z)，Fs为图3中可透视化的区域S2；

步骤3、将曲面Ff(x,y,z)、Fs(x,y,z)重合在一起(以整车坐标及原点O为中心)，以眼球A点为中心，眼睛视线相交A柱表面于P’点，以AP’方向为正方向，如图6所示，垂直于视线AP’方向构建平面CB，CB平面经过P’点并垂直于AP’直线，将Ff曲面缩放投影到CB平面上，通过分别获得AP’视角的二维投影轮廓面Ffap’、Fsap’，最终需要投影生成的图片Fn等于Fsap’与Ffap’的交集，Fn图片即为最终需要投影生成的以AP’视角去看的一帧图片。

步骤S5中将驾驶员看到的视角图像(AP’视角图像Fn)转换为投影光源进行显示的视角图像(DP’视角图像Ft)的方法为：

在一个极短的时间里，认定人眼A的位置固定，同时，P’与D’本身相对于整车也是固定的，其三个点对应的坐标分别为A(xa,ya,za),P’(xp’,yp’,zp’),D(xd,yd,zd)；

将面BC离散成m个矩形区域，以点P’为中心，往m个单位正反方向分别向外延伸一个单元，分别取点B、C，则BC线段是面CB上任意一条经过P’点的线段，CF是投影平面CF上的一段线段，且F点从DP’视角看，投影到CB平面上的点为点B，B、C点距离点P’距离均为m，BC与AP’垂直，同时，以投影DP’视角投影的直线CF，在B面上的显示为CB直线，因此，通过CF与CB的关系，求得投影图片Fn与Ft之间的关系。

进一步地，本发明的所述步骤S5中将驾驶员看到的视角图像转换为投影光源进行显示的视角图像的具体计算方法为：

假设DP’距离为l，CB＝2CP’＝2P’B＝2m，CF与DP’垂直相交于点V，AP’垂直于CB，AP’与DP’间的夹角为α，角度α根据点A、P’、D三点的坐标，计算得到：

CF与CB间的关系为：

CB＝2m

其中m值的大小代表图像Fn转化为图像Ft的精度，m越小则精度越高。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种可透视化A柱及周边区域的显示系统，其特征在于，该系统包括设置在车辆上相互连接的：图像数据采集单元、数据处理单元、投影组件、投影矫正单元；车辆上还设置有DMS模块；其中：

图像数据采集单元，采用广角测距摄像头，通过广角测距摄像头采集汽车外部各个方向的视频图像数据以及各个数据点的空间坐标；

DMS模块，用于获取驾驶员的眼睛位置、头部角度参数；

数据处理单元，包括电源模块、图像处理器，用于将广角测距摄像头采集到的数据、DMS模块反馈的眼睛位置、角度参数经过图像处理器进行图像的拼接、融合，再分发给不同的投影组件进行投影显示，投影到车辆两侧A柱上的可透视区域上；

投影组件，包括投影光源和塑形边框，投影光源分别设置在车辆后视镜的两侧，塑形边框罩在投影光源上；且塑形边框的形状即塑形边框的出光轮廓面，根据可透视区域的形状而决定，使得投影光源发出的光线通过塑形边框塑形后照射在可透视区域上；

投影矫正单元，通过车辆的DMS模块获取的驾驶员眼睛位置、角度参数来矫正投影画面对应的角度参数，来校准投影画面，实现投影画面的角度随驾驶员的眼睛位置、角度变化的动态变化。

2.根据权利要求1所述的可透视化A柱及周边区域的显示系统，其特征在于，所述塑形边框内壁为光滑平面，无任何阻挡光线抵达投影边框的出光轮廓面的凸台或结构。

3.根据权利要求1所述的可透视化A柱及周边区域的显示系统，其特征在于，所述塑形边框的出光轮廓面距离投影光源的距离L1，由投影光源与显示平面距离L2与可透视化区域面积S2来决定；其尺寸的关系式为：

其中，S1为塑形边框的出光轮廓面的面积，S2为可透视化区域面积。

4.根据权利要求1所述的可透视化A柱及周边区域的显示系统，其特征在于，驾驶过程中，所述投影光源、塑形边框、投影的可透视区域的位置均是固定的，只有驾驶员的视角位置发生变化。

5.根据权利要求1所述的可透视化A柱及周边区域的显示系统，其特征在于，所述投影组件还能安装在车辆上的位置包括：B柱、C柱、后备箱、车顶、车底等被车辆任意一处遮挡位置的投影显示。

6.一种可透视化A柱及周边区域的显示方法，其特征在于，该方法包括以下步骤：

S1、在车辆的后视镜的侧面设置投影光源和塑形边框，并根据可透视区域的形状设置塑形边框的形状，在车辆外侧设置多个图像数据采集单元；

S2、车辆行进中，通过图像数据采集单元实时采集车辆外的视频图像，并获取视频中外部物体的空间坐标；

S3、通过车辆内设置的DMS模块实时采集驾驶员的眼睛位置、角度参数；

S4、通过数据处理单元对车辆外部的图像进行拼接、融合，并通过投影矫正单元来校准投影画面，生成驾驶员视角在A柱及周边区域看到的图像；

S5、根据驾驶员的眼睛和投影光源的位置关系，将驾驶员看到的视角图像转换为投影光源进行显示的视角图像；

S6、根据投影光源进行显示的视角图像，投影光源在可透视区域上进行投影显示。

7.根据权利要求6所述的可透视化A柱及周边区域的显示方法，其特征在于，所述步骤S4中生成驾驶员视角在A柱及周边区域看到的图像的方法为：

由于投影光源、塑形边框、投影区域位置是相对固定的，只有驾驶员的视角位置在变动；而由于汽车内A柱及周边区域的表面是一个曲面，但是对于极短暂的时间里，驾驶员看到的显示区域能认为是一个平面图像，此平面图像Fn与驾驶员视线垂直，投影模块将Fn处理后的平面图像Ft按照一定的帧率投影到规定的A柱及周边区域，即可形成驾驶员视线内的动态显示效果；

投影平面CF是从投影视角上生成的虚拟的平面，而CB平面是车身实际显示的A柱及其周边区域，CF平面经过投影视角AP’方向的投影，会最终将曲面C信息成型在CB平面上；

其中，A:人眼，坐标(xa,ya,za)；B:需要投影显示的面；C:实际驾驶员看到的外界实物所在的曲面；D:投影光源，坐标(xd,yd,zd)；E:车内DMS模块测距摄像头；F:车外测距摄像头；P:为人眼视线直线与面C的焦点，坐标(xp,yp,zp)；P’为人眼需要去看到的显示的点，坐标(xp’,yp’,zp’)。

8.根据权利要求7所述的可透视化A柱及周边区域的显示方法，其特征在于，所述步骤S4中生成驾驶员视角在A柱及周边区域看到的图像的方法具体包括以下步骤：

步骤1、获取实际曲面C的信息：通过测距摄像头F，基准坐标为(Xf,Yf,Zf)，获取车外的真实图像及像素点的点集Ff(X0,Y0,Z0)，将数据转换为基于整车坐标原点O构建的三维空间曲面Ff(x,y,z)＝Ff(X0+Xf,Y0+Yf,Z0+Zf)；

步骤2、获取投影的A柱及周边区域基于整车坐标O的曲面集Fs(x,y,z)，Fs为可透视区域；

步骤3、将曲面Ff(x,y,z)、Fs(x,y,z)重合在一起，以眼球A点为中心，眼睛视线相交A柱表面于P’点，以AP’方向为正方向，垂直于视线AP’方向构建平面CB，CB平面经过P’点并垂直于AP’直线，将Ff曲面缩放投影到CB平面上，通过分别获得AP’视角的二维投影轮廓面Ffap’、Fsap’，最终需要投影生成的图片Fn等于Fsap’与Ffap’的交集，Fn图片即为最终需要投影生成的以AP’视角去看的一帧图片。

9.根据权利要求8所述的可透视化A柱及周边区域的显示方法，其特征在于，所述步骤S5中将驾驶员看到的视角图像转换为投影光源进行显示的视角图像的方法为：

在一个极短的时间里，认定人眼A的位置固定，同时，P’与D’本身相对于整车也是固定的，其三个点对应的坐标分别为A(xa,ya,za),P’(xp’,yp’,zp’),D(xd,yd,zd)；

将面BC离散成m个矩形区域，以点P’为中心，往m个单位正反方向分别向外延伸一个单元，分别取点B、C，则BC线段是面CB上任意一条经过P’点的线段，CF是投影平面CF上的一段线段，且F点从DP’视角看，投影到CB平面上的点为点B，B、C点距离点P’距离均为m，BC与AP’垂直，同时，以投影DP’视角投影的直线CF，在B面上的显示为CB直线，因此，通过CF与CB的关系，求得投影图片Fn与Ft之间的关系。

10.根据权利要求9所述的可透视化A柱及周边区域的显示方法，其特征在于，所述步骤S5中将驾驶员看到的视角图像转换为投影光源进行显示的视角图像的具体计算方法为：

假设DP’距离为l，CB＝2CP’＝2P’B＝2m，CF与DP’垂直相交于点V，AP’垂直于CB，AP’与DP’间的夹角为α，角度α根据点A、P’、D三点的坐标，计算得到：

DP’的距离

AP’的距离

Da的距离

CF与CB间的关系为：

CB＝2m

其中m值的大小代表图像Fn转化为图像Ft的精度，m越小则精度越高。

Images