CN113239735B - 一种基于双目摄像头的汽车透明a柱系统及实现方法 - Google Patents

Abstract

本发明公开一种基于双目摄像头的汽车透明A柱系统及实现方法，通过采用国际象棋盘图案标定板标定摄像头的内外参数以及显示屏的空间位置；利用已标定的双目摄像头采集外界环境图像，并传输到控制器进行图像立体匹配、视差图和深度图计算；通过点云处理方式，将外部环境进行三维场景重建；通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上。本发明通过分析驾驶员视点，显示屏，摄像头三者在空间上的坐标转换关系，建立了从摄像头视域到驾驶员视域的转换关系，使得驾驶员所看到显示的图像能够与外界场景融合，达到让“A柱”虚拟透明化的效果。

Description

一种基于双目摄像头的汽车透明A柱系统及实现方法

技术领域

本发明涉及汽车辅助技术领域，特别涉及一种基于双目摄像头的汽车透明A柱系统及实现方法。

背景技术

汽车的“A柱”盲区在每辆车上都存在，这个盲区的大小取决于车辆“A柱”的粗细。“A柱”的粗细是一个两难选择：“A柱”过细会导致车身强度不足，发生车祸时难以保护车厢内人员的安全；“A柱”太粗又会影响驾驶员视野。一般情况下，车辆“A柱”宽度约为8厘米，这个8厘米会形成一个约6度夹角的扇形盲区，且扇形盲区往外扩散，甚至能够挡住整个成年人的身体。驾驶员在并道、转弯时，视线容易受A柱的阻挡，从而造成事故。

目前已经成熟的技术方案主要在汽车左右“A柱”外侧分别安装单目摄像头，通过标定显示屏遮挡面与摄像头图像面的交集，通过仿射变换将交集图像映射到“A柱”内部显示屏，从而达到“透明”的效果。但由于单目摄像头和驾驶员眼睛观看存在视觉的差异，从而会使得显示屏的图像与实景存在错误，景物存在近大远小偏差，导致驾驶员通过显示屏看到的景物与实景存在距离误差，即盲区内存在的景物无法准确显示到显示屏上，不能真正解决“A柱”盲区影响。

发明内容

针对现有技术中透明“A柱”显示屏显示内容与实景存在差异的问题，本发明提出种基于双目摄像头的汽车透明A柱系统及实现方法，在A柱外侧或者后视镜下方安装两个摄像头，并通过三维点云方式将盲区图像投射到A柱显示屏上，从而达到“透明A柱”的效果，同时根据驾驶员眼球变化情况实时更新盲区图像区域，时刻保证显示屏上的图像内容与真实景物完美锲合，消除“A柱”盲区影响，提高驾驶安全。

为了实现上述目的，本发明提供以下技术方案：

一种汽车驾驶舱虚拟透明A柱系统，包括控制器、显示屏、自动标定平台、标定辅助相机以及摄像装置；

标定辅助相机，用于实时定位驾驶员眼睛的空间位置，并传输到控制器；

摄像装置，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；

自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于摄像装置进行第一图像数据的采集。

优选的，所述摄像装置包括2个双目摄像机，分别安装在汽车左右A柱外侧的后视镜下方。

优选的，所述显示屏包括OLED屏或LCD屏，分别安装在汽车左右A柱内侧，其弯曲弧度与A柱的弯曲弧度相同。

本发明还提供一种基于双目摄像头的汽车透明A柱实现方法，包括以下步骤：

S1：采用国际象棋盘图案标定板标定摄像装置与标定辅助相机的内外参数以及显示屏的空间位置；

S2：在驾驶员前方合适位置安装瞳孔采集相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(X_E,Y_E,Z_E)；

S3：将双目摄像头采集的外界环境图像传输到控制器进行图像立体匹配，并提取采集到的双目图像的匹配特征点对，经过三角测距计算形成一系列空间点，构成空间点云集C{C₁、C₂、…、C_n}和点云纹理映射集F{(C₁,T₁),(C₂,T₂),…,(C_n,T_n)}，其中T_n代表空间点C_n对应的图像纹理坐标；

S4:通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上。

优选的，所述“A柱”遮挡的部分的计算过程具体包括以下步骤：

S5-1：获取驾驶员视点的空间坐标E(X_E,Y_E,Z_E)；

S5-2：通过标定得到的显示屏四个内角顶点空间坐标计算显示屏的所在平面的空间平面方程：

经过标定得到的显示屏四个内角顶点空间坐标为(X₁,Y₁,Z₁)、(X₂,Y₂,Z₂)、(X₃,Y₃,Z₃)、(X₄,Y₄,Z₄)，则显示屏所在的空间平面方程为：

Ax+By+Cz+1＝0 (1)

公式(1)中，A、B、C表示空间平面方程系数；

在四个内角顶点中任取三个点代入公式(1)，并写成矩阵形式

则

S5-3：计算任一空间点与驾驶员视点连线所对应交点的空间坐标：

任一空间点P(X_p,Y_p,Z_p)驾驶员视点的空间坐标E(X_E,Y_E,Z_E)连线所在直线与显示屏所在的空间平面交于点Q(X_q,Y_q,Z_q)，根据直线的两点式方程，求得空间点P和视点E的直线方程

联立公式(3)和公式(4)，计算得到交点Q的空间坐标：

Δx＝X_E-X_p，Δy＝Y_E-Y_p，Δz＝Z_E-Z_p

S5-4：将交点的空间坐标转换成显示屏的像素坐标：

设显示屏的像素宽度为W，像素高度为H，显示屏显示平面的坐标原点在A点处，为显示平面的X方向，/>为显示平面的Y方向，Q点在显示平面上的点坐标为Q'(X'_q,Y'_q,0)，根据向量点积公式，可以求得

将Q'点在显示平面上的坐标转换为显示屏的像素坐标Q_s(U_s,V_s)，运用比例关系可以求得

联立公式(6)～(9)，可得

其中

|AB|²＝(X₂-X₁)+(Y₂-Y₁)+(Z₂-Z₁)

|AD|²＝(X₄-X₁)+(Y₄-Y₁)+(Z₄-Z₁)；

S5-5：将点云集C中的所有空间点，将其按拓扑学中的三角剖分算法将点云集C面元化为三角形面元集合T；

S5-6：根据三角形面元集合T和空间点云集C的映射关系，将点云纹理映射集和对应的显示屏像素坐标集合组成对应的三角形面元映射集F_c2s，将点云纹理映射集中的空间点云按F_c2s中的映射关系显示到显示屏对应的面元区域，生成驾驶员视点下A柱”遮挡部分的图像。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

1.通过分析驾驶员视点，显示屏，台架前方取景面三者在空间上的坐标转换关系，提出了视域的概念，建立了从摄像头视域到驾驶员视域的转换关系，使得驾驶员所看到显示的图像能够与外界场景融合，达到让“A柱”虚拟透明化的效果。

2.本发明通过双目摄像头进行局部点云三角化重建方式对盲区区域进行视域转换，有效解决单摄像头方式存在的显示屏的图像与实景错位，景物存在近大远小等问题，提高驾驶安全。

附图说明：

图1为根据本发明示例性实施例的一种基于双目摄像头的汽车透明A柱系统示意图。

图2为根据本发明示例性实施例的一种基于双目摄像头的汽车透明A柱实现方法流程示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种基于双目摄像头的汽车透明A柱系统，包括控制器，显示屏，自动标定平台，标定辅助相机以及摄像装置；其中，显示屏、自动标定平台、标定辅助相机和摄像装置分别与控制器电连接。

显示屏的大小可以是A柱全包裹，也可以是指定尺寸，但是显示屏的中心点与eyebox的下视角的角度为3°。

本实施例中，摄像装置为双目相机，分别安装在汽车左右的A柱外侧(摄像装置的视场需要覆盖A柱盲区区域)，且安装在后视镜下方，以便不遮挡视线，摄像装置的视场需要覆盖A柱盲区区域，用于对外界的环境进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理得到第二图像数据。

显示屏，可采用OLED/LCD屏，分别安装在汽车左右A柱内侧(例如汽车左右A柱内侧各安装一个显示屏)，其弯曲弧度与A柱的弯曲弧度等同，用于显示经过控制器处理的外界环境，以便驾驶员观看。

标定辅助相机，用于实时定位驾驶员眼睛的空间位置；并将驾驶员眼睛的空间位置传输到控制器，计算驾驶员被“A柱”遮挡的部分，从而将目标区域显示在显示屏上。可根据驾驶员眼睛位置实时调节驾驶员被“A柱”遮挡的部分。

自动标定平台，用于对摄像装置(2个双目相机)、辅助相机以及显示屏的空间位置进行标定，便于控制器计算摄像装置拍摄的目标区域，即“A柱”遮挡的部分。

参考图2，本发明还提供一种基于双目摄像头的汽车透明A柱实现方法，具体包括以下步骤：

S1：采用自动标定平台标定摄像装置和标定辅助相机的内外参数以及左右A柱内侧显示屏的空间位置。

本实施例中，首先对车体自身定位，再采用国际象棋盘图案的标定板，利用张正友标定法对用于摄像装置和标定辅助相机的相机参数(包括内参、畸变系数、外参)进行标定，并借助于自动标定平台上的双目相机对左右A柱内侧显示屏进行拍摄，通过双目视觉深度计算方法确定左右A柱内侧显示屏的空间位置。

S2:在驾驶员前方合适位置安装瞳孔采集相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(X_E,Y_E,Z_E)；

S3：将双目摄像头采集的外界环境图像传输到控制器进行图像立体匹配，并提取采集到的双目图像的匹配特征点对，经过三角测距计算形成一系列空间点，构成空间点云集C{C₁、C₂、…、C_n}和点云纹理映射集F{(C₁,T₁),(C₂,T₂),…,(C_n,T_n)}(其中T_n代表空间点C_n对应的图像纹理坐标)；

S4：通过空间点云集C和图像纹理的匹配，对外界环境进行三维场景重建；

S5:通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上。

所述“A柱”遮挡的部分的计算过程具体包括以下步骤：

S5-1：获取驾驶员视点的空间坐标E(X_E,Y_E,Z_E)；

S5-2：通过标定得到的显示屏四个内角顶点空间坐标计算显示屏的所在平面的空间平面方程。

本实施例中，以LCD硬屏为例：

假设经过标定得到的显示屏四个内角顶点空间坐标为(X₁,Y₁,Z₁)、(X₂,Y₂,Z₂)、(X₃,Y₃,Z₃)、(X₄,Y₄,Z₄)，则显示屏所在的空间平面方程为

Ax+By+Cz+1＝0 (1)

公式(1)中，A、B、C表示空间平面方程系数；

在四个内角顶点中任取三个点代入公式(1)，并写成矩阵形式

解得

解得A、B、C之后即可代入公式(1)得到空间平面方程。

S5-3：计算任一空间与驾驶员视点连线所对应交点的空间坐标。

以空间点云集中任一空间点P(X_p,Y_p,Z_p)为例，空间点P与驾驶员视点的空间坐标E(X_E,Y_E,Z_E)连线所在直线与显示屏所在的空间平面交于点Q(X_q,Y_q,Z_q)。

根据直线的两点式方程，首先求得空间点P和视点E的直线方程

联立公式(3)和公式(4)，计算得到显示屏上Q点的空间坐标：

Δx＝X_E-X_p，Δy＝Y_E-Y_p，Δz＝Z_E-Z_p

S5-4：将交点的空间坐标转换成显示屏的像素坐标。

以S5-3中的交点Q为例进行说明。

设显示屏的像素宽度为W，像素高度为H，显示屏显示平面的坐标原点在A点处，为显示平面的X方向，/>为显示平面的Y方向，Q点在显示平面上的点坐标为Q'(X'_q,Y'_q,0)。根据向量点积公式，可以求得

将Q'点在显示平面上的坐标转换为像素坐标Q_s(U_s,V_s)，运用比例关系可以求得

联立公式(6)～(9)，可得

其中

|AB|²＝(X₂-X₁)+(Y₂-Y₁)+(Z₂-Z₁)

|AD|²＝(X₄-X₁)+(Y₄-Y₁)+(Z₄-Z₁)

最终求得的Q_s就是Q点在显示屏的像素坐标。

S5-5：取出S3中获取的点云集C中的所有点，将其按拓扑学中的三角剖分算法将点云集C面元化为三角形面元集合T。

S5-6：根据S3得到的点云集C、点云纹理映射集F，对点云集中的每一个空间点都可以求出显示屏上对应的像素坐标，这样就可以得到图像纹理坐标和屏幕像素坐标的映射关系。根据三角形面元集合T和空间点云集C的映射关系，可以将图像纹理集合和屏幕像素坐标集合组成对应的三角形面元映射集F_c2s。将图像纹理面元按F_c2s中的映射关系显示到屏幕对应的面元区域，当F_c2s集合中的面元映射完毕时，驾驶员视点下“A柱”遮挡部分的图像也就实现了屏幕显示。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (4)

1.一种汽车驾驶舱虚拟透明A柱系统，其特征在于，包括控制器、显示屏、自动标定平台、标定辅助相机以及摄像装置；

标定辅助相机，用于实时定位驾驶员眼睛的空间位置，并传输到控制器；

摄像装置，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；

控制器对A柱遮挡的部分进行计算，具体包括以下步骤：

S5-1：获取驾驶员视点的空间坐标E(X_E,Y_E,Z_E)；

S5-2：通过标定得到的显示屏四个内角顶点空间坐标计算显示屏的所在平面的空间平面方程：

经过标定得到的显示屏四个内角顶点空间坐标为(X₁,Y₁,Z₁)、(X₂,Y₂,Z₂)、(X₃,Y₃,Z₃)、(X₄,Y₄,Z₄)，则显示屏所在的空间平面方程为：

Ax+By+Cz+1＝0 (1)

公式(1)中，A、B、C表示空间平面方程系数；

在四个内角顶点中任取三个点代入公式(1)，并写成矩阵形式

则

S5-3：计算任一空间点与驾驶员视点连线所对应交点的空间坐标：

任一空间点P(X_p,Y_p,Z_p)驾驶员视点的空间坐标E(X_E,Y_E,Z_E)连线所在直线与显示屏所在的空间平面交于点Q(X_q,Y_q,Z_q)，根据直线的两点式方程，求得空间点P和视点E的直线方程

联立公式(3)和公式(4)，计算得到交点Q的空间坐标：

Δx＝X_E-X_p，Δy＝Y_E-Y_p，Δz＝Z_E-Z_p

S5-4：将交点的空间坐标转换成显示屏的像素坐标：

设显示屏的像素宽度为W，像素高度为H，显示屏显示平面的坐标原点在A点处，为显示平面的X方向，/>为显示平面的Y方向，Q点在显示平面上的点坐标为Q^′(X^′ _q,Y_q ^′,0)，根据向量点积公式，可以求得

将Q^′点在显示平面上的坐标转换为显示屏的像素坐标Q_s(U_s,V_s)，运用比例关系可以求得

联立公式(6)～(9)，可得

其中

|AB|²＝(X₂-X₁)+(Y₂-Y₁)+(Z₂-Z₁)

|AD|²＝(X₄-X₁)+(Y₄-Y₁)+(Z₄-Z₁)；

S5-5：将点云集C中的所有空间点，将其按拓扑学中的三角剖分算法将点云集C面元化为三角形面元集合T；

S5-6：根据三角形面元集合T和空间点云集C的映射关系，将点云纹理映射集和对应的显示屏像素坐标集合组成对应的三角形面元映射集F_c2s，将点云纹理映射集中的空间点云按F_c2s中的映射关系显示到显示屏对应的面元区域，生成驾驶员视点下A柱”遮挡部分的图像；

自动标定平台，用于将摄像装置的空间坐标和驾驶员眼睛的空间坐标进行标定，便于摄像装置进行第一图像数据的采集。

2.如权利要求1所述的一种汽车驾驶舱虚拟透明A柱系统，其特征在于，所述摄像装置包括2个双目摄像机，分别安装在汽车左右A柱外侧的后视镜下方。

3.如权利要求1所述的一种汽车驾驶舱虚拟透明A柱系统，其特征在于，所述显示屏包括OLED屏或LCD屏，分别安装在汽车左右A柱内侧，其弯曲弧度与A柱的弯曲弧度相同。

4.一种基于双目摄像头的汽车透明A柱实现方法，其特征在于，包括以下步骤：

S1：采用国际象棋盘图案标定板标定摄像装置与标定辅助相机的内外参数以及显示屏的空间位置；

S2：在驾驶员前方合适位置安装瞳孔采集相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为(X_E,Y_E,Z_E)；

S3：将双目摄像头采集的外界环境图像传输到控制器进行图像立体匹配，并提取采集到的双目图像的匹配特征点对，经过三角测距计算形成一系列空间点，构成空间点云集C{C₁、C₂、…、C_n}和点云纹理映射集F{(C₁,T₁),(C₂,T₂),…,(C_n,T_n)}，其中T_n代表空间点C_n对应的图像纹理坐标；

S4:通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并显示到显示屏上；

所述“A柱”遮挡的部分的计算过程具体包括以下步骤：

S5-1：获取驾驶员视点的空间坐标E(X_E,Y_E,Z_E)；

S5-2：通过标定得到的显示屏四个内角顶点空间坐标计算显示屏的所在平面的空间平面方程：

经过标定得到的显示屏四个内角顶点空间坐标为(X₁,Y₁,Z₁)、(X₂,Y₂,Z₂)、(X₃,Y₃,Z₃)、(X₄,Y₄,Z₄)，则显示屏所在的空间平面方程为：

Ax+By+Cz+1＝0 (1)

公式(1)中，A、B、C表示空间平面方程系数；

在四个内角顶点中任取三个点代入公式(1)，并写成矩阵形式

则

S5-3：计算任一空间点与驾驶员视点连线所对应交点的空间坐标：

任一空间点P(X_p,Y_p,Z_p)驾驶员视点的空间坐标E(X_E,Y_E,Z_E)连线所在直线与显示屏所在的空间平面交于点Q(X_q,Y_q,Z_q)，根据直线的两点式方程，求得空间点P和视点E的直线方程

联立公式(3)和公式(4)，计算得到交点Q的空间坐标：

Δx＝X_E-X_p，Δy＝Y_E-Y_p，Δz＝Z_E-Z_p

S5-4：将交点的空间坐标转换成显示屏的像素坐标：

设显示屏的像素宽度为W，像素高度为H，显示屏显示平面的坐标原点在A点处，为显示平面的X方向，/>为显示平面的Y方向，Q点在显示平面上的点坐标为Q^′(X^′ _q,Y_q ^′,0)，根据向量点积公式，可以求得

将Q^′点在显示平面上的坐标转换为显示屏的像素坐标Q_s(U_s,V_s)，运用比例关系可以求得

联立公式(6)～(9)，可得

其中

|AB|²＝(X₂-X₁)+(Y₂-Y₁)+(Z₂-Z₁)

|AD|²＝(X₄-X₁)+(Y₄-Y₁)+(Z₄-Z₁)；

S5-5：将点云集C中的所有空间点，将其按拓扑学中的三角剖分算法将点云集C面元化为三角形面元集合T；

S5-6：根据三角形面元集合T和空间点云集C的映射关系，将点云纹理映射集和对应的显示屏像素坐标集合组成对应的三角形面元映射集F_c2s，将点云纹理映射集中的空间点云按F_c2s中的映射关系显示到显示屏对应的面元区域，生成驾驶员视点下A柱”遮挡部分的图像。