CN114007054B - 车载屏幕画面投影矫正的方法及装置 - Google Patents

Abstract

本申请公开了一种车载屏幕画面投影矫正的方法及装置，该方法包括：获取车载屏幕在正视角度下的正视图像，从正视图像中选取多个角点以及计算多个角点的像素坐标，得到第一像素坐标集合；获取车载屏幕在目标座位视角下的目标图像，计算目标图像中的多个角点的像素坐标，得到第二像素坐标集合；根据第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；根据单应性矩阵对车载屏幕上当前显示的图像进行转换，得到转换后的目标座位的视角下的投影图像。本申请通过对不同座位视角看到的存在失真效果的车载屏幕画面进行单应性变换，使得用户看到的画面矫正成从正面视角看到的正常的画面一样，提高了用户的体验性。

Description

车载屏幕画面投影矫正的方法及装置

技术领域

本发明属于智能驾驶技术领域，尤其涉及一种车载屏幕画面投影矫正的方法及装置。

背景技术

目前并没有太多的车辆拥有一整块屏幕从主驾一直贯穿到副驾，一般来说，整个座舱也只有中间一块矩形屏幕，而大多数车辆的中控屏幕设置在主、副驾之间。但是，从主驾或副驾的角度去看中间的中控屏幕时，画面肯定有一定的倾斜感，看到的画面为一个平行四边形或者不规则的四边形，显示的信息会出现一定程度的失真，影响主副驾驶的视觉体验和内容判断。

因此，如何将主副驾驶角度看到的中控屏幕时的失真画面进行矫正，使得变成从中控屏幕的正面看过去的效果一样，是目前需要解决的技术问题。

发明内容

本发明的目的是，提供一种车载屏幕画面投影矫正的方法及装置，以通过对主副驾驶视角看到的存在失真效果的中控屏幕画面进行单应性矩阵变换，使得用户看到的画面矫正成从正面视角看到的正常的画面一样。

本发明的第一方面，提供了一种车载屏幕画面投影矫正的方法，包括：

获取车载屏幕在正视角度下的正视图像，从所述正视图像中选取多个角点以及计算所述多个角点的像素坐标，得到第一像素坐标集合；

获取所述车载屏幕在目标座位的视角下的目标图像，以及计算所述目标图像中的所述多个角点的像素坐标，得到第二像素坐标集合；

根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；

根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位的视角下的投影图像。

进一步地，所述根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵，包括：

追踪所述目标座位上的乘客的头部姿态，通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵；

根据所述变换矩阵及所述第二像素坐标集合，计算所述乘客的头部姿态变化后的目标图像中的多个角点的像素坐标，得到第三像素坐标集合；

根据所述第一像素坐标集合和所述第三像素坐标集合中各角点的像素坐标的对应关系，计算出所述单应性矩阵。

进一步地，所述变换矩阵的计算通过如下方式实现：在获取车载屏幕在所述目标座位的角度下的所述目标图像后，保持头部姿势不变，同时触发获取在所述目标座位上的乘客的面部图像数据的指令，并记录初始时刻的面部姿态的特征点数据，每间隔时间周期分别采集乘客的面部图像数据，以及比较前后两次的面部姿态的特征点的数据变化，计算出所述变换矩阵。

进一步地，所述获取所述车载屏幕在目标座位的视角下的目标图像，包括：

通过所述目标座位上的乘客头部上佩戴的头戴式相机拍摄获取所述目标图像；

其中，所述通过所述目标座位上的乘客头部上佩戴的头戴式相机拍摄获取所述目标图像之前，所述方法还包括：

对所述头戴式相机进行坐标标定。

进一步地，所述乘客的面部图像数据通过安装在车辆驾驶舱内的2D相机拍摄获取，其中，所述2D相机在获取乘客的面部图像数据之前进行坐标标定。

进一步地，所述通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵，包括：

获取所述乘客的2D的面部图像，提取其中的特征点；

从模型数据库中选取3D的头部模型并匹配2D的面部图像上对应的所述特征点；

建立世界坐标系与像素坐标系的相机矩阵关系模型：

，其中，

和

分别为相机的内参矩阵和外参矩阵，u、v分别表示某点在像素坐标系中的坐标，fx、fy分别为x轴和y轴方向归一化焦距，u₀、v₀为图像中心的位置坐标；[x_w,y_w,z_w,1]为选取的某点在世界坐标系下的位置坐标；

根据前后两次获取的面部图像数据以及所述的关系模型，分别求解出两次的外参矩阵；

根据两次的外参矩阵，计算出前后两次姿态间的旋转矩阵和平移矩阵。

进一步地，拍摄的所述车载屏幕的照片或乘客的面部照片通过车载蓝牙或WiFi传输给车机系统，车机系统根据所述照片计算出所述角点的像素坐标。

进一步地，所述目标座位包括一个座位或多个不同座位，所述方法还包括：

当所述目标座位包括多个不同座位时，将所述车载屏幕分屏为多个功能区域，不同座位的乘客分别获取各自视角下的车载屏幕上的不同功能区域的目标图像，并计算各自对应的单应性矩阵，以得到各自座位视角下的经过转换的投影图像。

进一步地，所述车载屏幕为车机中控系统的屏幕，所述当所述目标座位包括多个不同座位时，将所述车载屏幕分屏为多个功能区域之前，所述方法还包括：

当所述目标座位包括多个不同座位时，检测所述车机中控系统当前运行的应用程序情况；

若所述车机中控系统当前运行的应用程序情况满足预设条件，将所述车载屏幕分屏为多个功能区域。

本发明的第二方面，提供了一种车载屏幕画面投影矫正的装置，该装置包括：

第一像素坐标计算单元，用于获取车辆车载屏幕在正视角度下的正视图像以及计算所述多个角点的像素坐标，得到第一像素坐标集合；

第二像素坐标计算单元，用于获取所述车载屏幕在目标座位视角下的目标图像，以及计算所述目标图像中的多个角点的像素坐标，得到第二像素坐标集合；

单应性矩阵计算单元，用于根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；

投影转换单元，根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位视角下的投影图像。

进一步地，所述单应性矩阵计算单元包括：头部姿态变化监测单元和第三像素坐标计算单元，其中，

所述头部姿态变化监测单元，用于监测所述目标座位上的乘客的头部姿态变化，计算头部姿态变化前后的变换矩阵；

第三像素坐标计算单元，用于根据所述变换矩阵及所述第二像素坐标集合计算出所述乘客的头部姿态变化后的目标图像中的多个角点的像素坐标,得到第三像素坐标集合；所述的单应性矩阵根据所述第一像素坐标集合和第三像素坐标集合中各角点的像素坐标的对应关系计算出。

与现有技术相比，本发明所提供的一种车载屏幕画面投影矫正的方法及装置，首先计算出车载屏幕原本展示的图形与在特定角度下希望显示的图形之间的单应性矩阵，然后对后续所有获取的车载屏幕上显示的画面进行转换，使得乘客在主副驾看上去的画面相当于是从正面看到的效果一样。同时，本发明还实时监测用户的头部姿态变化，并能根据用户的头部姿态变化，及时计算出新的角点坐标，即使用户的头部姿态发生变化，根据变换前后的变换矩阵，能够计算出更新的单应性矩阵，仍然能够保证乘客看过去的屏幕画面一直是和从正面看到的效果一样，极大提高了用户的体验性。

附图说明

图1是本发明实施例中的单应性矩阵关联的示意图；

图2是本发明实施例中的视角转换的示意图；

图3是本发明实施例中的车载屏幕画面投影矫正的方法的流程示意图；

图4是本发明实施例中的选取的3D头部模型的示意图；

图5是本发明实施例中的相机成像过程中的坐标示意图；

图6是本发明实施例中的车载屏幕画面投影矫正的装置的结构原理图。

具体实施方式

以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。如在说明书及权利要求当中使用了某些词汇来指称特定部件。本领域技术人员应可理解，硬件或软件制造商可能会用不同名词来称呼同一个部件。本说明书及权利要求并不以名称的差异来作为区分部件的方式，而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

下面结合附图和具体实施例对本发明做进一步详细说明。

如图1所示，从不同角度拍摄的同一个物体，该物体上的某一点在两张照片上的像素坐标存在一个单应性矩阵（H）的关联。

参照图2所示，以观察车载屏幕为例，车载屏幕通常为矩形，如果取第一个角度（正投影方向）注视车载屏幕，该视角看到的车载屏幕为方方正正的（如图2中右侧画面所示），第二个角度可以选取主驾或者副驾，很明显的，从第二个角度去看车载屏幕，显示的图形信息会有一定程度的失真（如图2中左侧画面所示）。本发明正是基于单应性矩阵变换的特点，将从不同目标座位角度看到的失真的画面校正成正常的画面。由于车载屏幕为矩形，通过矩形的四个边角点即可连接形成车载屏幕显示的图像，故在车载屏幕画面投影矫正过程中，所采用的单应性矩阵计算只需提供4对匹配的点，即可计算出图像视角转换所需的单应性矩阵。当然，本领域技术人员应当能够理解的是，4对匹配点仅仅是最小化选择，实质上，还可以选取更多对，比如增加每条矩形边的中点作为一对匹配点，理论上选取的匹配点越多，最后矫正形成的画面越接近真实的屏幕画面效果，但如此会加大车机的运算能力，故取4对较佳。

本发明实施例所提供的车载屏幕画面投影矫正的方法，首先，在车辆静置时，当用户坐定后，计算车载屏幕原本展示的图像与希望转换的图像之间的单应性矩阵；其次，对于一个用户而言，当单应性矩阵计算好后，后续车载屏幕上显示的所有画面，都可以通过该单应性举证进行计算转换，使得在不同座位下的用户看到的屏幕画面感觉是从正面看到的一样。

参照图3所示，本发明一实施例提供了一种车载屏幕画面投影矫正的方法，包括如下步骤：

步骤S11、获取车载屏幕在正视角度下的正视图像，从该正视图像中选取多个角点以及计算该多个角点的像素坐标，得到第一像素坐标集合；

本实施例中，车辆的车载屏幕（比如车机中控屏幕）通常被设计成一个矩形或正方形，在正视视角下，车载屏幕所显示的图像也应是矩形或正方形，故只需取屏幕的四条边的角点进行连接即可形成车载屏幕显示的图像区域，在选取好所需的角点后，再计算该角点的像素坐标，其中，计算角点的像素坐标可以采用如下的两种方法实现。

方法一，利工具绘制一个长宽像素值已知的四边形（矩形或正方形）作为对照显示， 那么四个角点的像素坐标就是已知的。此时，可以把四边形的左下角顶点作为像素坐标系的原点，其它角点的像素坐标则根据已知的像素的长宽值直接推导出，然后，将各角点坐标统计得到第一像素坐标集合。以200pixel乘100pixel的矩形来说，四个角点的像素坐标值就是（0，0），（200，0），（0，100），（200，100），该四个角点的像素坐标值就是正视角度下的像素坐标。

方法二，通过语音或者车机界面触发相应的程序，通过传统的角点检测算法或者深度神经网络检测算法来计算出四个角点的像素坐标。

角点检测(Corner Detection)是计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中，也称为特征点检测。角点通常被定义为两条边的交点，更严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。实际应用中，大多数所谓的角点检测方法检测的是拥有特定特征的图像点，而不仅仅是“角点”，这些特征点在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、某些梯度特征等。比如，使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点并进行标记。

利用神经网络模型检测，则是通过建立一系列的角点模板，构建模型，并不断的自适应学习和训练，使其能够识别出标准的四边形，然后就能得到四个角点的像素坐标。角点检测算法和神经网络检测算法为现有技术中常用的计算像素坐标的手段，在此不再详述。

步骤S12、获取车载屏幕在目标座位的视角下的目标图像，以及计算该目标图像中的多个角点的像素坐标，得到第二像素坐标集合；

具体的，目标座位可以是坐在主副驾的乘客，需要基于所在座位的视角来获取车载屏幕的图像。

示例性的，可以通过目标座位上的乘客头部上佩戴的头戴式相机拍摄获取该目标图像，在通过头戴式相机拍摄获取目标图像之前，事先对该头戴式相机进行坐标标定，用于后续的头部姿态变换矩阵的计算。用户可以通过语音指令启动车机内的相关程序，比如打开车机蓝牙或者WiFi，准备接收拍摄的照片，此时，乘客眼睛对准车载屏幕，利用头戴式相机进行拍照，拍摄的照片至少要覆盖车载屏幕的矩形区域的全部，由于头戴式相机事先已与车机进行了无线连接，拍摄的照片将通过蓝牙或WiFi传输给车机系统，车机系统获得目标图像后，可通过传统的角点检测算法或深度神经网络检测算法分别计算得到车载屏幕的四个角点的像素坐标，形成第二像素坐标集合。其中，步骤S12中选取的四个角点与步骤S11中的四个角点位置是一一对应的。

步骤S13、根据第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵。

由于得到了车载屏幕图像的四对匹配点在不同视角下的像素坐标值，根据四对匹配点的像素坐标对应关系，进行求解即可得到单应性矩阵H。

单应性矩阵变换的表达式如下：

（式1）

其中，(x，y，1)和（x’，y’，1）表示同一个点在两个投影空间中的齐次坐标，

为单应性矩阵，每一组匹配点都会有如下等式成立：

（式2）

根据平面坐标和齐次坐标的对应关系，上式可表达为：

（式3）

在矩阵表达式中，非零的制度因子不影响表达式(齐次坐标可以进行比例缩放)，所以可以令h₃₃为1，一对匹配点可以得到两个方程，所以四对就有八个方程组。单应性矩阵

虽然有9个元素，但是其中一个元素h₃₃可调整为1，所以它的自由度为8，八个方程组成的方程组，未知数

的个数为8，那么这个方程组肯定存在解，只需要四组不共线的匹配点即可求解H的唯一解。

在实际中，乘客的头部姿态会不断进行变化，当头部姿态变化后，再从某视角去看车载屏幕时，其显示的目标画面中的四个角点的坐标会产生一定的变化，而为了使得在任一时刻乘客一直正对屏幕的视觉效果，本发明还增加了头部姿态检测过程，以动态获取乘客头部姿态调整后获取的车载屏幕的角点坐标，进而生成更新的单应性矩阵，具体来说，生成该更新的单应性矩阵包括如下过程：

步骤S131、追踪目标座位上的乘客的头部姿态，通过头部姿态估计方法计算乘客的头部姿态变化前后的变换矩阵。

示例性的，乘客的头部姿态可以通过在车辆驾驶舱内的某固定位置安装一个或多个2D相机（可以称为Head Tracker）获取，该相机需要固定在可以拍到主驾或副驾乘客头部的位置，可以针对主驾和副驾分别设置一个2D相机。

示例性的，乘客的头部姿态是否变化可通过获取乘客的面部图像数据，并根据前后两次的面部图像上对应的特征点的数据变化是否超出了设定的阈值来确定，由于脸部朝向是对头部姿态最直接和自然的表达，通过乘客面部的特征点数据变化来判断头部姿态是否发生了变化具有较高的准确性。

示例性的，变换矩阵的计算可通过如下过程实现：乘客戴上头戴式相机后，眼睛对着车载屏幕，利用头戴式相机拍照，照片通过WiFi或蓝牙从头戴式相机传输给车机系统，车机系统记录当前视角下的目标图像并计算选取的角点的像素坐标；同时，保持头部姿势不变，通过语音指令触发2D相机记录该时刻的乘客的面部照片，以确定初始时刻面部的特征点数据，目的是之后能够根据最新时刻的头部照片判断头部姿态是否发生了变化；然后，每间隔一定的时间周期再次采集乘客的面部图像数据，以及比较前后两次的面部姿态的特征点的数据变化，并根据头部姿态估计算法，计算出变换矩阵。

示例性的，为了计算变换矩阵，在通过头戴式相机获取车载屏幕图像之前以及在通过2D相机监测乘客面部姿态的特征点变化之前，分别对头戴式相机和2D相机进行了坐标标定，得到各自的内部参数。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。通过像机标定，求出相机的内、外参数，以及畸变参数，相机的内参和外参可以通过张正友标定获取。由于每个镜头的畸变程度各不相同，通过相机标定可以校正这种镜头畸变矫正畸变，生成矫正后的图像，并根据获得的图像重构三维场景。

头部姿态估计（Head Pose Estimation ）就是通过一幅面部图像来获得头部的姿态角，一种比较经典的头部姿态估计算法过程为：（1）2D人脸关键点检测；（2）3D人脸模型匹配；（3）求解3D点和对应2D点的转换关系；（4）根据旋转矩阵求解欧拉角。一个物体相对于相机的姿态可以使用旋转矩阵（物体相对于相机的空间姿态关系矩阵）和平移矩阵（物体相对于相机的空间位置关系）来表示，求解变换矩阵就是求解该旋转矩阵和平移矩阵的过程。

步骤S132、根据变换矩阵及第二像素坐标集合，计算乘客的头部姿态变化后的目标图像中的多个角点的像素坐标，得到第三像素坐标集合。

当获取到车载屏幕在正视图角度下的图像的四个角点的像素坐标，也即第一像素坐标集合后，乘客通过语音识别技术启动车机内的相关程序，打开车机蓝牙或WiFi，准备接收传来头戴式相机获取的车载屏幕的照片。车机通过角点检测算法或深度神经网络算法，得到初始状态下的车载屏幕中的目标图像中四个角点的像素坐标，也即第二像素坐标集合。

然后，再根据步骤S131得到的变换矩阵和第二像素坐标集合，计算出变换后的目标图像中的四个角点的像素坐标，也即第三像素坐标集合。

步骤S133、根据第一像素坐标集合和第三像素坐标集合中各角点的像素坐标的对应关系，计算出更新的单应性矩阵。

根据该第一像素坐标集合和第三像素坐标集合中各角点的对应关系，计算出更新后的单应性矩阵，以使得在不同时刻，即使乘客头部姿态发生了变换，通过计算出新的角点的像素坐标，得到新的单应性矩阵，最后，将车载屏幕当前显示的图像中的每一个像素点坐标都乘以这个单应性矩阵，转换后的图片视角会让乘客感觉是正对着车载屏幕那样。

下面来对本申请中的单应性矩阵的具体计算过程进行详细说明。

第一步、通过Head Tracker获取乘客2D的面部图像，提取其中的特征点，选取的特征点比如眼角、鼻尖、嘴角唇两侧等部位。

第二步、从模型数据库中选取3D的头部模型并匹配对应的2D面部图像；其中，3D的头部模型选择通用的模型即可，只要参考该模型中的几个位置的3D点即可。如图4所示，可以使用如下6处关键位置的3D点（坐标为世界坐标系下的点）：

鼻尖：（0.0，0.0，0.0）；下巴：（0.0，-330.0，-65.0）；左眼左角：（-225.0f，170.0f，-135.0）； 4）右眼右角:(225.0，170.0，-135.0）；5）嘴角左侧：（-150.0，-150.0，-125.0）；6）嘴角右侧：（150.0，-150.0，-125.0）。

根据选取的几个关键特征点的位置变化，来判断用户的头部姿态是否发生变化。当选取的关键特征点的位置变化超过了设定的阈值时，则被认为头部姿态发生了变化，当未超过预设的阈值时，则被认为头部姿态未发生变化或变化较小可忽略不计。

第三步、建立像素坐标系与世界坐标系的相机矩阵关系模型：

相机坐标系（camera coordinate），是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。从世界坐标系变换到相机坐标系属于刚体变换，即物体不会发生形变，只需进行旋转和平移，得到图像中某点在相机坐标系中的坐标。像素坐标系是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况，原点位于图像的左上角，轴、轴分别于像面的两边平行，像素坐标系中坐标轴的单位是像素（整数）。像素坐标系不利于坐标变换，因此需要建立将像素坐标系转换为图像坐标系，其坐标轴的单位通常为毫米（mm），原点是相机光轴与相面的交点（称为主点），即图像的中心点。最后，再将世界坐标系转换为像素坐标系，只要知道世界坐标系内点的位置、像素坐标位置和相机参数就可以确定旋转和平移矩阵。

参照图5所示，图5是世界坐标系、相机坐标系、图像坐标系和像素坐标系的坐标示意图。

O_w—（X_W、Y_W、Z_W）为世界坐标系，描述相机位置，单位为m；

O_C—（X_c、Y_c、Z_c）为相机坐标系，光心为原点，单位为m；

o—（x、y）为图像坐标系，原点为成像平面中点，单位mm；

P为世界坐标系中的某一点，点P在图像坐标系中的坐标为（x、y），在像素坐标系中的坐标为（u、v），（u、v）的单位为pixel，每一像素的坐标（u、v）分别是该像素在数组中的列数和行数。

f为相机焦距，等于图像坐标系原点o到相机坐标系原点O_C的距离。

一个物体相对于相机的姿态可以使用旋转矩阵R和平移矩阵T来表示，像素坐标系与相机坐标系的关系表达式为：

（式4）

其中，（u、v）为像素坐标，（X_c、Y_c、Z_c）为相机坐标系下的坐标，K为头戴式相机的内参。

当头部姿态变化后，头戴式相机的坐标系也会随之发生变化。

（式5）

将式4转换成如下：

（式6）

将式5转换成如下：

（式7）

根据式6和式7，可以得出如下：

（式8）

则变换后形成的像素坐标为：

（式9）

根据公式9可知，只要能够计算出从上一次头部姿态到当前头部姿态的旋转矩阵R和平移矩阵T，就能计算出新的角点的像素坐标值。

其中，像素坐标系和世界坐标系的关系如下：

（式10）

其中，

和

分别为相机的内参矩阵和外参矩阵，可以令

，u、v分别表示某点在像素坐标系中的坐标，fx、fy分别为x轴和y轴方向归一化焦距，f_x= f/d_x，f_y=f/d_y，u₀、v₀为图像中心的位置坐标；[x_w,y_w,z_w,1]为选取的某特征点在世界坐标系下的位置坐标。

第一次头部姿态估计时，其像素坐标与世界坐标的关系是：

（式11）

第二次头部姿态估计时，其像素坐标与世界坐标的关系是：

（式12）

第四步、根据前后两次获取的面部图像数据及上述的关系模型，分别求解出两次的外参矩阵；

在间隔时间段通过Head Tracker获取到两张乘客的面部图像时，根据式11和式12，分别求解出两次的外参矩阵

和

。

第五步、根据两次的外参矩阵，计算出前后两次姿态间的变换矩阵，也即旋转矩阵和平移矩阵。

假设第一次头部坐标系为C，第二次头部坐标系为C^’，那么：

（式13）

其中，

代表世界坐标系W

C^’的转换矩阵，

代表C

C^’的转换矩阵，

代表W

C的转换矩阵。

根据上述的式13进行转换，得出前后两次转换的头部坐标系的旋转矩阵和平移矩阵：

（式14）

也即，C

C^’的转换矩阵可以通过W

C^’的转换矩阵与W

C的转换矩阵计算得出。W

C^’的转换矩阵也即根据前述公式12计算出的

得到，W

C的转换矩阵则根据前述公式11计算出的

得到。

当计算出头部姿态的变换矩阵

后，根据公式9，即可计算出新的角点的像素坐标值，也即第三像素坐标集合。最后，再结合第三像素坐标集合中的四个角点的像素坐标值与原正视图方向上获取的第一像素坐标集合包含的四个角点的像素坐标值的对应关系，根据公式2、3，计算出更新的单应性矩阵，后续车载屏幕上显示的所有画面，都可以通过该新的单应性矩阵进行投影转换。

步骤S14、根据单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的目标座位的视角下的投影图像。

通过物体平面的投影变换，彻底改变物体位置和形状，进而对主副驾乘客看过去的图像进行画面矫正。

当计算出从对应视角看过去的单应性矩阵后，后续对所有在该目标座位视角下采集显示的每一个目标图像的像素点乘以该单应性矩阵，即可得到转换后的视角下的投影图像，也即获得从正视图角度看上去一样的效果。

本实施例中，目标座位可以是一个座位或多个不同座位（比如主驾和副驾），当目标座位包括多个不同座位时，将车载屏幕分屏为多个功能区域，不同座位的乘客分别获取各自视角下的车载屏幕上的不同功能区域的目标图像，并计算各自对应的单应性矩阵，以得到各自座位视角下的经过转换的投影图像。从不同目标座位上获取的车载屏幕的角点的像素坐标存在不同，但单应性矩阵的计算方式同上述步骤S11~S14一致，在此不再赘述。

举例来说，当位于汽车驾驶舱中央的中控系统的屏幕足够大时，可以将中控屏幕分屏为左侧的导航区和右侧的娱乐信息区（比如听歌、看电影），这样，位于左侧座位的主驾乘客可以得到主驾视角的经过投影变换的导航图像信息，位于右侧座位的副驾乘客可以得到副驾视角的经过投影变换的娱乐影音信息，二者互不干涉，极大提高了乘客的体验性。

其中，当目标座位包括多个不同座位时，在将所述车载屏幕分屏为多个功能区域之前，如果目标座位包括多个不同座位时，先检测车机中控系统当前运行的应用程序情况；若车机中控系统当前运行的应用程序情况满足预设条件，也即中控系统支持两种及以上不同的应用程序同时显示在中控屏幕上时，将中控屏幕分屏为多个功能区域。

本发明实施例所提供的车载屏幕画面投影矫正的方法，能够将车载屏幕画面切换到目标座位所在的视角，并且通过单应性变换对画面进行投影转换，使得乘客从不同方向看向车载屏幕的画面像是从正视角度看上去的效果一样，提高了用户的视觉体验。

参照图6所示，本发明的另一实施例还提供了一种车载屏幕画面投影矫正的装置，该装置包括：第一像素坐标计算单元、第二像素坐标计算单元、单应性矩阵计算单元及投影转换单元，其中，

第一像素坐标计算单元，用于获取车辆车载屏幕在正视角度下的正视图像以及计算所述多个角点的像素坐标，得到第一像素坐标集合；

第二像素坐标计算单元，用于获取所述车载屏幕在目标座位视角下的目标图像，以及计算所述目标图像中的多个角点的像素坐标，得到第二像素坐标集合；

单应性矩阵计算单元，用于根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；

投影转换单元，根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位视角下的投影图像。

本申请公开的一种车载屏幕画面投影矫正的装置，能够对位于车辆内不同座位上的乘客获取的车载屏幕画面进行校正成正常的画面，提升智能驾舱的视觉体验。

具体的，单应性矩阵计算单元包括：头部姿态变化监测单元和第三像素坐标计算单元，其中，

所述头部姿态变化监测单元，用于监测所述目标座位上的乘客的头部姿态变化，计算头部姿态变化前后的变换矩阵；

第三像素坐标计算单元，用于根据所述变换矩阵及所述第二像素坐标集合计算出所述乘客的头部姿态变化后的目标图像中的多个角点的像素坐标，得到第三像素坐标集合；并根据所述第一像素坐标集合和第三像素坐标集合中各角点的像素坐标的对应关系，计算出所述单应性矩阵。

通过设置头部姿态变化监测单元，检测乘客的头部姿态，当头部姿态变化后，从目标座位看向车载屏幕时，其显示的画面中的角点的坐标值会产生一定的变化，需要重新计算头部姿态变化后形成的新的像素坐标集合，然后计算出新的单应性矩阵，即使乘客头部姿态出现了不同的变化，但观看车载屏幕的时候，仍然能够以更新后的投影效果展示给乘客，使得乘客无论何时均能看到从正面视角看到的画面一样。

本发明实施例中的装置用以执行上一实施例中的方法，并具有和方法实施例同样的技术效果，未详尽之处，请参照方法实施例所述，在此不再赘述。

值得注意的是，以上所述仅为本发明的较佳实施例，并非因此限定本发明的专利保护范围，本发明还可以对上述各种零部件的构造进行材料和结构的改进，或者是采用技术等同物进行替换。故凡运用本发明的说明书及图示内容所作的等效结构变化，或直接或间接运用于其他相关技术领域均同理皆包含于本发明所涵盖的范围内。

Claims (9)

1.一种车载屏幕画面投影矫正的方法，其特征在于，所述方法包括：

获取车载屏幕在正视角度下的正视图像，从所述正视图像中选取多个角点以及计算所述多个角点的像素坐标，得到第一像素坐标集合；

获取所述车载屏幕在目标座位的视角下的目标图像，以及计算所述目标图像中的所述多个角点的像素坐标，得到第二像素坐标集合；

根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵，包括：追踪所述目标座位上的乘客的头部姿态，通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵；根据所述变换矩阵及所述第二像素坐标集合，计算所述乘客的头部姿态变化后的目标图像中的多个角点的像素坐标，得到第三像素坐标集合；根据所述第一像素坐标集合和所述第三像素坐标集合中各角点的像素坐标的对应关系，计算出所述单应性矩阵；其中，所述通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵包括：获取所述乘客的2D的面部图像，提取其中的特征点；从模型数据库中选取3D的头部模型并匹配2D的面部图像上对应的所述特征点；建立世界坐标系与像素坐标系的相机矩阵关系模型：

，其中，

和

分别为相机的内参矩阵和外参矩阵，u、v分别表示某点在像素坐标系中的坐标，fx、fy分别为x轴和y轴方向归一化焦距，u₀、v₀为图像中心的位置坐标；[x_w,y_w,z_w,1]为选取的某点在世界坐标系下的位置坐标；根据前后两次获取的面部图像数据以及所述的关系模型，分别求解出两次的外参矩阵；根据两次的外参矩阵，计算出前后两次姿态间的旋转矩阵和平移矩阵；

根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位的视角下的投影图像。

2.如权利要求1所述的方法，其特征在于，所述变换矩阵的计算通过如下方式实现：在获取车载屏幕在所述目标座位的角度下的所述目标图像后，保持头部姿势不变，同时触发获取在所述目标座位上的乘客的面部图像数据的指令，并记录初始时刻的面部姿态的特征点数据，每间隔时间周期分别采集乘客的面部图像数据，以及比较前后两次的面部姿态的特征点的数据变化，计算出所述变换矩阵。

3.如权利要求1所述的方法，其特征在于，所述获取所述车载屏幕在目标座位的视角下的目标图像，包括：

通过所述目标座位上的乘客头部上佩戴的头戴式相机拍摄获取所述目标图像；

其中，所述通过所述目标座位上的乘客头部上佩戴的头戴式相机拍摄获取所述目标图像之前，所述方法还包括：

对所述头戴式相机进行坐标标定。

4.如权利要求2所述的方法，其特征在于，所述乘客的面部图像数据通过安装在车辆驾驶舱内的2D相机拍摄获取，其中，所述2D相机在获取乘客的面部图像数据之前进行坐标标定。

5.如权利要求2所述的方法，其特征在于，所述目标图像通过蓝牙或WiFi传输给车机系统，车机系统通过角点检测算法或深度神经网络检测算法计算得到车载屏幕的多个角点的像素坐标。

6.如权利要求4所述的方法，其特征在于，拍摄的所述车载屏幕的照片或乘客的面部照片通过车载蓝牙或WiFi传输给车机系统，车机系统根据所述照片计算出所述角点的像素坐标。

7.如权利要求1所述的方法，其特征在于，所述目标座位包括一个座位或多个不同座位，所述方法还包括：

当所述目标座位包括多个不同座位时，将所述车载屏幕分屏为多个功能区域，不同座位的乘客分别获取各自视角下的车载屏幕上的不同功能区域的目标图像，并计算各自对应的单应性矩阵，以得到各自座位视角下的经过转换的投影图像。

8.如权利要求7所述的方法，其特征在于，所述车载屏幕为车机中控系统的屏幕，所述当所述目标座位包括多个不同座位时，将所述车载屏幕分屏为多个功能区域之前，所述方法还包括：

当所述目标座位包括多个不同座位时，检测所述车机中控系统当前运行的应用程序情况；

若所述车机中控系统当前运行的应用程序情况满足预设条件，将所述车载屏幕分屏为多个功能区域。

9.一种车载屏幕画面投影矫正的装置，其特征在于，该装置包括：

第一像素坐标计算单元，用于获取车辆车载屏幕在正视角度下的正视图像，以及计算所述正视图像中的多个角点的像素坐标，得到第一像素坐标集合；

第二像素坐标计算单元，用于获取所述车载屏幕在目标座位视角下的目标图像，以及计算所述目标图像中的多个角点的像素坐标，得到第二像素坐标集合；

单应性矩阵计算单元，用于根据所述第一像素坐标集合和第二像素坐标集合中各角点的像素坐标的对应关系，计算出单应性矩阵；包括：追踪所述目标座位上的乘客的头部姿态，通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵；根据所述变换矩阵及所述第二像素坐标集合，计算所述乘客的头部姿态变化后的目标图像中的多个角点的像素坐标，得到第三像素坐标集合；根据所述第一像素坐标集合和所述第三像素坐标集合中各角点的像素坐标的对应关系，计算出所述单应性矩阵；其中，所述通过头部姿态估计方法计算所述乘客的头部姿态变化前后的变换矩阵包括：获取所述乘客的2D的面部图像，提取其中的特征点；从模型数据库中选取3D的头部模型并匹配2D的面部图像上对应的所述特征点；建立世界坐标系与像素坐标系的相机矩阵关系模型：

，其中，

和

分别为相机的内参矩阵和外参矩阵，u、v分别表示某点在像素坐标系中的坐标，fx、fy分别为x轴和y轴方向归一化焦距，u₀、v₀为图像中心的位置坐标；[x_w,y_w,z_w,1]为选取的某点在世界坐标系下的位置坐标；根据前后两次获取的面部图像数据以及所述的关系模型，分别求解出两次的外参矩阵；根据两次的外参矩阵，计算出前后两次姿态间的旋转矩阵和平移矩阵；

投影转换单元，根据所述单应性矩阵对所述车载屏幕上当前显示的图像进行转换，得到转换后的所述目标座位视角下的投影图像。

Images