CN111016786A - 基于3d视线估计的汽车a柱遮挡区域显示方法 - Google Patents

Abstract

本发明公开了一种基于3D视线估计的汽车A柱遮挡区域显示方法，通过对相机的标定确定三个相机的相对位姿，利用双目计算驾驶员与A柱遮挡位置的关系，通过视线估计确定驾驶员正常驾驶情况下的A柱遮挡视野，通过单目获取遮挡区域视野，将双目相机系统计算的位置关系确定的遮挡区域与单目相机拍摄区域相对应，实时显示A柱遮挡区域，该方法在不影响现有车身结构安全的情况下显示A柱遮挡区域，拓展了驾驶视野。

Description

基于3D视线估计的汽车A柱遮挡区域显示方法

技术领域

本发明涉及机器视觉和图像处理技术领域，更具体的说是涉及一种基于3D视线估计的汽车A柱遮挡区域显示方法。

背景技术

目前，随着汽车的普及与广泛应用，汽车安全问题受到越来越多的关注，汽车的A、B、C柱对于车身整体而言起到了保护车体内部结构的作用，在车身受到挤压或车身侧翻时能保护车舱人员安全。这种设计是从车身安全性角度出发，但A柱对驾驶员观察前方视野造成一定程度的遮挡，从而容易造成驾驶员对行车环境的误判。汽车左A柱双目遮挡视角约为6度，右A柱遮挡视角约为2度，在转弯和泊车时存在一定的危险性。汽车设计工程师在设计A柱时需要同时考虑障碍角和强度等因素，并一直致力于寻找在不影响A柱强度的前提下减少障碍角的方案。

但是，由于减少障碍角会对车身整体的刚性空间结构造成影响，材料科学家也正在致力于寻找出新型高强度材料代替现有A柱材料从而提升汽车的整体稳定性和车身刚度。就现有材料而言A柱过宽能保证刚度却带来大视角障碍，设计过小又影响车身刚性结构，这两者的矛盾性是限制汽车发展的关键因素。

因此，如何提供一种不影响车身刚度且能够克服障碍角对行车安全造成影响的汽车A柱遮挡区域显示方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于3D视线估计的汽车A柱遮挡区域显示方法，该方法权衡驾驶视野和车身结构安全，可以在不影响现有车身结构安全的情况下，显示A柱遮挡区域，拓展驾驶视野，解决了A柱障碍角与车身刚度存在的难以平衡的矛盾问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于3D视线估计的汽车A柱遮挡区域显示方法，该方法包括：

步骤1：在汽车左右两个A柱位置各安装三个相机C1、C2和C3，所述相机C1和相机C2均安装于车身内侧，所述相机C3安装于车身外侧，分别确定三个相机C1、C2和C3的内外参量和相对位姿；

步骤2：通过相机C1和相机C2分别拍摄驾驶者的脸部区域，通过相机C3拍摄对应A柱遮挡区域附近的图像；

步骤3：分别对拍摄的脸部区域图像进行处理，得到驾驶者注视对应相机的视线向量；

步骤4：根据得到的视线向量确定遮挡区域，并在相机C3拍摄的图像中标记出遮挡区域；

步骤5：将标记有遮挡区域的图像输出并进行显示。

进一步地，所述步骤3具体包括：

图像预处理：将被遮挡的第一帧图像进行通道分离和灰度转换处理；

确定人脸区域：从预处理后的图像中标注人脸关键特征点，确定人脸区域；

确定人眼区域：从人脸区域中选取眼部区域，并确定瞳孔中心位置；

计算三维坐标：分别提取人脸关键特征点和瞳孔中心点，根据相机C1、C2和C3的内外参量和相对位姿，计算人脸关键特征点和瞳孔中心点的三维坐标；

确定视线向量：通过驾驶者注视相机C1的光心确定视线向量V₁，通过驾驶者注视相机C2的光心确定视线向量V₂。

进一步地，所述步骤4具体包括：

设视线向量V₁＝(x₁,y₁,z₁)，V₁'＝(x₂,y₂,z₂)，关系如下：

其中，R|t为相机C1和相机C3的旋转|平移矩阵，如下：

由视线向量V₁和相机C1与相机C3的旋转|平移矩阵R|t计算得到向量V₁'；

同理，由视线向量V₁和相机C2与相机C3的旋转|平移矩阵能够计算得到向量V₂'；

将向量V₁'和向量V₂'分别转换为相机C3像素坐标系下的向量，得到遮挡区域。

进一步地，将向量V₁'转换为相机C3像素坐标系下的向量，转换公式为：

将公式变换后为：

式中，dX、dY分别为像素在X、Y轴方向的物理尺寸，(u₀,v₀)为图像原点坐标，f为相机焦距，s为比例因子(s≠0)，(x₂,y₂,z₂,0)T是向量V₁'在相机坐标系Oxyz中的齐次坐标，(X,Y,0)T是向量V₁'在图像坐标系OXY中的齐次坐标。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于3D视线估计的汽车A柱遮挡区域显示方法，通过对相机的标定确定三个相机的相对位姿，利用双目计算驾驶员与A柱遮挡位置的关系，通过视线估计确定驾驶员正常驾驶情况下的A柱遮挡视野，通过单目获取遮挡区域视野，将双目相机系统计算的位置关系确定的遮挡区域与单目相机拍摄区域相对应，实时显示A柱遮挡区域，该方法在不影响现有车身结构安全的情况下显示A柱遮挡区域，拓展了驾驶视野。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种基于3D视线估计的汽车A柱遮挡区域显示方法的流程示意图；

图2附图为本发明实施例中相机C1和C2的安装位置与人眼位置示意图；

图3附图为本发明实施例中人脸检测示意图；

图4附图为本发明实施例中人脸关键点提取效果示意图；

图5附图为本发明实施例中人眼检测示意图；

图6附图为本发明实施例中瞳孔中心提取效果示意图；

图7附图为本发明实施例中遮挡视野区域示意图；

图8附图为本发明实施例中视野盲区显示效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1，本发明实施例公开了一种基于3D视线估计的汽车A柱遮挡区域显示方法，该方法包括：

S1：在汽车左右两个A柱位置各安装三个相机C1、C2和C3，相机C1和相机C2均安装于车身内侧，相机C3安装于车身外侧，分别确定三个相机C1、C2和C3的内外参量和相对位姿；

S2：通过相机C1和相机C2分别拍摄驾驶者的脸部区域，通过相机C3拍摄对应A柱遮挡区域附近的图像；

S3：分别对拍摄的脸部区域图像进行处理，得到驾驶者注视对应相机的视线向量；

S4：根据得到的视线向量确定遮挡区域，并在相机C3拍摄的图像中标记出遮挡区域；

S5：将标记有遮挡区域的图像输出并进行显示。

具体地，本实施例中在汽车左右两个A柱上各安装三个相机，以下对左A柱进行分析，右A柱同理。左A柱内侧(车内)安装两个相机，外侧(车外)安装一个相机(约定内侧左相机C1，内侧右相机C2，外侧相机C3)。调整内侧两个相机的拍摄角度，使之能完整拍摄驾驶者脸部区域。外侧相机方向为遮挡视野的方向，首先通过张正友标定法确定三个相机的位姿，利用双目相机系统估计两个视线方向，确定遮挡区域。车内侧的遮挡区域由外侧的相机拍摄视野复原到A柱放置的显示屏中进行显示。

在本实施例中，使用张正友标定法确定相机内外参和相机相对位姿。

具体地，相机C1、C2组成双目系统，拍摄场景为驾驶者的脸部区域。

在一个具体的实施例中，步骤S3具体包括：

图像预处理：将被遮挡的第一帧图像进行通道分离和灰度转换处理；

确定人脸区域：训练人脸检测模型，并利用训练好的人脸检测模型从预处理后的图像中标注人脸关键特征点，确定人脸区域；

确定人眼区域：从人脸区域中选取眼部区域，并确定瞳孔中心位置；

计算三维坐标：分别提取人脸关键特征点和瞳孔中心点，根据相机C1、C2和C3的内外参量和相对位姿，计算人脸关键特征点和瞳孔中心点的三维坐标；

确定视线向量：通过驾驶者注视相机C1的光心确定视线向量V₁，通过驾驶者注视相机C2的光心确定视线向量V₂。其中，两个视线向量的夹角即遮挡区域夹角。

参见附图2，四边形区域代表A柱，gaze1放置相机C1，gaze2放置相机C2，拍摄方向为人脸方向。gaze1注视点为相机C1光心，gaze2注视点为相机C2光心。两个注视点的三维点为相机坐标系下的原点。结合三个相机C1、C2和C3的内外参量和相对位姿，利用相机C1、C2组成的双目立体视觉系统采集眼球三维信息。

在一个具体的实施例中，步骤S4具体包括：

设视线向量V₁＝(x₁,y₁,z₁)，V₁'＝(x₂,y₂,z₂)，关系如下：

其中，R|t为相机C1和相机C3的旋转|平移矩阵，如下：

由视线向量V₁和相机C1与相机C3的旋转|平移矩阵R|t计算得到向量V₁'；

同理，由视线向量V₁和相机C2与相机C3的旋转|平移矩阵能够计算得到向量V₂'；

将向量V₁'和向量V₂'分别转换为相机C3像素坐标系下的向量，得到遮挡区域。

在一个具体的实施例中，将向量V₁'转换为相机C3像素坐标系下的向量，转换公式为：

将公式变换后为：

式中，dX、dY分别为像素在X、Y轴方向的物理尺寸，(u₀,v₀)为图像原点坐标，f为相机焦距，s为比例因子(s≠0)，(x₂,y₂,z₂,0)T是向量V₁'在相机坐标系Oxyz中的齐次坐标，(X,Y,0)T是向量V₁'在图像坐标系OXY中的齐次坐标。

最后，将在双目视觉系统坐标系下的双视线向量转换到单目相机坐标系的图像向量，确定遮挡区域，将对应区域图像输出在A柱放置的显示屏中，实现最终的遮挡显示，达到A柱透视的效果。

下面以个人采集的图像为例，通过训练人脸识别模型提取人脸区域，展示算法人脸关键特征点的显示结果。

参见附图3和图4，通过对人脸图像训练得到人脸识别模型，可以精准地定位人脸的位置并提取脸部关键点。

相机C1、C2提取眼部区域和瞳孔中心的效果可以参见附图5和图6。

图7为遮挡区域的实际图像，在重叠区域提取遮挡区域坐标对应的ROI，实时输出在显示屏中，对遮挡区域进行显示的图像如图8所示。且在车速较快时，也能实时将遮挡区域显示在车内显示屏中。

综上所述，本发明实施例公开的基于3D视线估计的汽车A柱遮挡区域显示方法，与现有技术相比，具有如下优点：

通过对相机的标定确定三个相机的相对位姿，利用双目计算驾驶员与A柱遮挡位置的关系，通过视线估计确定驾驶员正常驾驶情况下的A柱遮挡视野，通过单目获取遮挡区域视野，将双目相机系统计算的位置关系确定的遮挡区域与单目相机拍摄区域相对应，实时显示A柱遮挡区域，该方法在不影响现有车身结构安全的情况下显示A柱遮挡区域，拓展了驾驶视野。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，包括：

步骤1：在汽车左右两个A柱位置各安装三个相机C1、C2和C3，所述相机C1和相机C2均安装于车身内侧，所述相机C3安装于车身外侧，分别确定三个相机C1、C2和C3的内外参量和相对位姿；

步骤2：通过相机C1和相机C2分别拍摄驾驶者的脸部区域，通过相机C3拍摄对应A柱遮挡区域附近的图像；

步骤3：分别对拍摄的脸部区域图像进行处理，得到驾驶者注视对应相机的视线向量；

步骤4：根据得到的视线向量确定遮挡区域，并在相机C3拍摄的图像中标记出遮挡区域；

步骤5：将标记有遮挡区域的图像输出并进行显示。

2.根据权利要求1所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，所述步骤3具体包括：

图像预处理：将被遮挡的第一帧图像进行通道分离和灰度转换处理；

确定人脸区域：从预处理后的图像中标注人脸关键特征点，确定人脸区域；

确定人眼区域：从人脸区域中选取眼部区域，并确定瞳孔中心位置；

计算三维坐标：分别提取人脸关键特征点和瞳孔中心点，根据相机C1、C2和C3的内外参量和相对位姿，计算人脸关键特征点和瞳孔中心点的三维坐标；

确定视线向量：通过驾驶者注视相机C1的光心确定视线向量V₁，通过驾驶者注视相机C2的光心确定视线向量V₂。

3.根据权利要求2所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，所述步骤4具体包括：

设视线向量V₁＝(x₁,y₁,z₁)，V₁'＝(x₂,y₂,z₂)，关系如下：

其中，R|t为相机C1和相机C3的旋转|平移矩阵，如下：

由视线向量V₁和相机C1与相机C3的旋转|平移矩阵R|t计算得到向量V₁'；

同理，由视线向量V₁和相机C2与相机C3的旋转|平移矩阵能够计算得到向量V₂'；

将向量V₁'和向量V₂'分别转换为相机C3像素坐标系下的向量，得到遮挡区域。

4.根据权利要求3所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，将向量V₁'转换为相机C3像素坐标系下的向量，转换公式为：

将公式变换后为：

式中，dX、dY分别为像素在X、Y轴方向的物理尺寸，(u₀,v₀)为图像原点坐标，f为相机焦距，s为比例因子(s≠0)，(x₂,y₂,z₂,0)T是向量V₁'在相机坐标系Oxyz中的齐次坐标，(X,Y,0)T是向量V₁'在图像坐标系OXY中的齐次坐标。

Images