CN116653775A - 车载辅助显示方法、显示系统、显示设备及可读存储介质 - Google Patents

Abstract

本发明涉及一种车载辅助显示方法、显示系统、显示设备及可读存储介质。该车载辅助显示方法包括：S1，获得第一图像信息，为A柱盲区中的原始图像；S2，实时捕捉驾驶员视线坐标系原点；S3，将第一图像信息转换到驾驶员视线坐标系下的第二图像信息；S4，将A柱曲面屏外轮廓投影到驾驶员视线坐标系下并裁剪获得第三图像信息；S5，对第三图像信息进行视差补偿，获得第四图像信息；S6，将第四图像信息实时显示在A柱曲面屏上。本发明提出了一种车载辅助显示方法、显示系统、显示设备及可读存储介质，方便驾驶员看到A柱后的道路和行人等视觉信息，规避非必要的视觉跳转，达到消除A柱盲区的效果，提高行车安全性。

Description

车载辅助显示方法、显示系统、显示设备及可读存储介质

技术领域

本发明涉及车辆自动驾驶技术领域，尤其涉及一种车载辅助显示方法、显示系统、显示设备及可读存储介质。

背景技术

A柱盲区是驾驶员在驾驶过程中经常遇到的一个问题。A柱是车身结构中非常重要的支撑结构，有着非常高的安全性要求，主体材料通常是高强度金属用于保证结构强度，同时出于美观车身外部会涂车漆，内部装配有内饰材料。在常规驾驶车辆过程中，由于驾驶员无法看到车辆A柱背后盲区中的物体，从而导致事故的发生。在现有技术中，针对A柱盲区提供了一些解决方案。现有技术方案如下：

1.车辆设计时尽可能采用高强度材料，在保证A强度的前提下尽可能减小盲区面积，然而该方案无法彻底消除A柱盲区。

2.盲区监测系统：许多现代汽车配备了盲区监测系统，它可以使用雷达或摄像头等传感器来检测A柱盲区内的物体，并通过视觉或声音警报向驾驶员发出警告。但现有技术多是在仪表上装配显示屏幕，驾驶员要确认信息需要将视线转移到中控仪表上，仍然存在一定的驾驶风险。

3.增强现实技术：一些汽车制造商正在开发增强现实技术，例如通过传感器检测A柱区域，利用AR-HUD在前风窗上投影信息，来提示驾驶员在A柱盲区内可能存在的物体。但这个方案基于现有的前风窗区域内叠加显示信息。可能会对正常的前风窗视野区域造成一些干扰，存在一定的驾驶风险。

4.全景摄像头：很多汽车配备了360全景摄像头系统，它可以提供全景视野，就是将车辆周围的环境信息以特定图像的形式，显示在中控仪表上，帮助驾驶员在变相或者倒车时避免与盲区中的物体发生碰撞。同样这种形式需要驾驶员将注意力转移到中控显示屏幕，会有一定的驾驶风险。

发明内容

针对现有技术的上述问题，本发明提出了一种车载辅助显示方法、显示系统、显示设备及可读存储介质，方便驾驶员看到A柱后的道路和行人等视觉信息，规避非必要的视觉跳转，达到消除A柱盲区的效果，提高行车安全性。

具体地，本发明提出了一种车载辅助显示方法，包括如下步骤：

S1，获得第一图像信息，所述第一图像信息为车外摄像头捕捉的A柱盲区中的原始图像；

S2，实时捕捉驾驶员的双目位置，将双目中心定义为驾驶员视线坐标系原点；

S3，基于车外摄像头坐标系将所述第一图像信息转换到驾驶员视线坐标系，获得模拟穿透A柱盲区可见的第二图像信息；

S4，将A柱曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对所述第二图像信息进行裁剪，获得第三图像信息；

S5，对所述第三图像信息进行视差补偿，获得第四图像信息；

S6，将所述第四图像信息实时显示在A柱曲面屏上。

根据本发明的一个实施例，在步骤S1中，对所述原始图像进行预处理，所述预处理至少包括图像去噪、图像增强、白平衡和对比度调整。

根据本发明的一个实施例，在步骤S2中，采用Eyenet算法实时跟踪驾驶员头部位姿变化，更新驾驶员视线坐标系原点。

根据本发明的一个实施例，在步骤S3中，根据在载体坐标系下视线坐标系原点位姿信息，与载体坐标系下车外摄像头的安装位置获得车外摄像头坐标系到驾驶员视线坐标系的旋转平移变换矩阵，利用该旋转平移变换矩阵将所述第一图像信息转换到驾驶员视线坐标系下的第二图像信息，计算公式为：

其中P_eye,image为驾驶员视线坐标系下的图像像素位置，T_{eye,cam_in}是车内摄像头捕捉的驾驶员双目位姿，是车内摄像头的安装位置，T_{car,cam_out}是车外摄像头的安装位置，/>是车外摄像头捕捉的图像像素位置。

根据本发明的一个实施例，在步骤S4中，根据在载体坐标系下视线坐标系原点位姿信息，与载体坐标系下曲面屏的安装位姿获得曲面屏坐标系到驾驶员视线坐标系的旋转平移变换矩阵，利用该旋转平移变换矩阵将曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对所述第二图像信息进行裁剪，获得第三图像信息，计算公式为：

S_display,eye＝T_{eye,cam_in}T_displayS_display,car；

其中S_display,eye为曲面屏外轮廓在驾驶员视线坐标系下的投影，T_display为曲面屏在载体坐标系下的安装位姿，S_display,car为曲面屏外轮廓的点串信息。

根据本发明的一个实施例，在步骤S5中，采用线性拟合方式对第三图像信息进行视差补偿，获得第四图像信息，相应补偿计算公式为：

x’＝a*(x-cx)*f；

y’＝c*(y-cy)*f；

其中a，c为线性拟合出的放大系数，cx，cy是校正后的偏移量，f是摄像头的焦距，x’、y’为优化后的图像像素。

本发明还提供了一种车载辅助显示系统，适用于前述的车载辅助显示方法，所述车载辅助显示系统包括车外摄像头、车内摄像头、包覆曲面屏的A柱及控制器，所述控制器包括：

获取模块，用于获得所述第一图像信息，所述第一图像信息为所述车外摄像头捕捉的A柱盲区中的原始图像；所述获取模块还获得所述车内摄像头捕捉的驾驶员的双目位置；

第一计算模块，基于双目位置计算驾驶员视线坐标系原点；

第二计算模块，基于车外摄像头坐标系将所述第一图像信息转换到驾驶员视线坐标系，获得模拟穿透A柱盲区可见的第二图像信息；；

裁剪模块，用于将A柱曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对第二图像信息进行裁剪，获得第三图像信息；；

补偿模块，对第三图像信息进行视差补偿，获得第四图像信息；

执行模块，用于将所述第四图像信息发送到A柱曲面屏，以使所述第四图像信息实时显示在A柱曲面屏上。

根据本发明的一个实施例，所述车内摄像头安装在车内天窗开关面板上，或内后视镜上。

根据本发明的一个实施例，所述曲面屏为柔性液晶屏幕，包覆在车内A柱内饰盲区位置。

本发明还提供了一种车载辅助显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一项所述车载辅助显示方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一项所述车载辅助显示方法的步骤。

本发明提供的一种车载辅助显示方法、显示系统、显示设备及可读存储介质，通过外部摄像头捕捉A柱盲区图像，通过曲面屏在驾驶员视野盲区处显示实时捕捉到的外部图像，车内摄像头捕捉驾驶员双目位置并进行跟踪，通过视差补偿算法进行处理，优化外部摄像头捕捉的图像，通过曲面屏显示视觉信息，与前风窗视野区域进行拼接，方便驾驶员看到A柱后的道路和行人等视觉信息，规避非必要的视觉跳转，达到消除A柱盲区的效果，提高行车安全性。

应当理解，本发明以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为如权利要求所述的本发明提供进一步的解释。

附图说明

包括附图是为提供对本发明进一步的解释，它们被收录并构成本申请的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。

附图中：

图1示出了本发明一个实施例的车载辅助显示方法的流程框图。

图2示出了本发明一个实施例的车载辅助显示系统的结构示意图。

图3示出了本发明一个实施例的控制器的结构示意图。

图4示出了本发明一个实施例的车载辅助显示方法的使用效果图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

图1示出了本发明一个实施例的车载辅助显示方法的流程框图。如图所示，本发明提供了一种车载辅助显示方法，包括如下步骤：

S1，获得第一图像信息，第一图像信息为车外摄像头捕捉的A柱盲区中的原始图像。车辆左右两侧车外摄像头安装在车辆外后视镜外壳上，方向朝着A柱盲区区域，用于捕捉A柱盲区中的图像信息。

S2，实时捕捉驾驶员的双目位置，将双目中心定义为驾驶员视线坐标系原点，确定驾驶员视线坐标系。

S3，基于车外摄像头坐标系将第一图像信息转换到驾驶员视线坐标系，获得模拟穿透A柱盲区可见的第二图像信息。通过坐标转换，将第一图像信息转换为第二图像信息。

S4，将A柱曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对第二图像信息进行裁剪，获得第三图像信息。

S5，由于曲面屏的屏幕表面形状会根据实际设计有所不同，也会造成驾驶员视线上有所偏差，因此需要对第三图像信息进行视差补偿，获得第四图像信息。

S6，将第四图像信息实时显示在A柱曲面屏上。使驾驶员能够简单、直观地观察到车辆A柱盲区中道路状况，规避非必要的视觉跳转，达到消除A柱盲区的效果，提高行车安全性。

较佳地，在步骤S1中，对原始图像进行预处理，预处理步骤至少包括图像去噪、图像增强、白平衡和对比度调整。

较佳地，在步骤S2中，采用Eyenet算法实时跟踪驾驶员头部位姿变化，更新驾驶员视线坐标系原点。车内摄像头用于实时捕捉驾驶员的眼睛位置。为了实现A柱曲面屏显示图像与人眼穿透A柱所能看见的真实图像一致的效果，最终需要将在外部摄像头捕获地图像信息完成图像变换后显示在曲面屏上，这需要实时的捕获驾驶员的视线信息，才能将外部摄像头坐标系下的图像信息通过图像变换转变到驾驶员视线坐标系下。由于驾驶员的头部位姿会根据驾驶员身高或者座椅调整发生变化，并且同一驾驶员的视线在驾驶过程中也会根据需要发生变化，这就要求能够实时获取驾驶员视线位姿信息，除了通过标定手段获得车内摄像头位姿信息外，还需要面部检测算法获取头部甚至是眼部运动。针对视线的位置和方向检测是一个活跃的研究领域，近年来涌现出了一些基于深度学习的优秀方案。本发明中运行现有算法完成视野检测于追踪。可以采用的算法包括微软亚洲研究院提出2021年提出的Gaze360模型，是一种多任务的深度神经网络模型，可以同时进行人脸识别和视线方向估计。该模型利用图像增强技术增加数据量，使得该模型可以更准确地估计头部姿态和眼部运动。Gaze360模型还可以通过增加数据的方式来提高其准确性和稳定性，因此在准确性和实时性方面都有很好的表现。除了Gaze360模型，还有一些其它技术方案，例如PupilLabs的Pupil Invisible、Google的AutoML Vision Edge和GazeSense等。这些方案都可以根据具体应用的需求进行选择。获得视线的位置和方向后，配合适当的跟踪算法可以提高准确性和稳定性。因为在驾驶过程中，驾驶员的头部和身体会不断地运动，所以需要一个跟踪算法来跟踪驾驶员的头部位置和姿态，并实时更新视线的位置和方向，以保持准确性和稳定性。跟踪算法可以基于传统的计算机视觉技术，如卡尔曼滤波器、粒子滤波器、分割和匹配等，也可以基于深度学习技术，如卷积神经网络(CNN)、循环神经网络(RNN)、注意力机制等。本发明优选的算法是EyeNet，是一种基于深度神经网络的实时眼球位置和视线跟踪算法，能够在各种不同的场景下实现高精度的视线跟踪。

较佳地，在步骤S3中，根据在载体坐标系下视线坐标系原点位姿信息(位姿包括位置和姿态，在三维坐标系下位姿信息是一组6维信息)，与载体坐标系下车外摄像头的安装位置获得车外摄像头坐标系到驾驶员视线坐标系的旋转平移变换矩阵，利用该旋转平移变换矩阵将第一图像信息转换到驾驶员视线坐标系下的第二图像信息，计算公式为：

其中P_eye,image为驾驶员视线坐标系下的图像像素位置，T_{eye,cam_in}是车内摄像头捕捉的驾驶员双目位姿，是车内摄像头的安装位置，T_{car,cam_out}是车外摄像头的安装位置，/>是车外摄像头捕捉的图像像素位置。

较佳地，在步骤S4中，根据在载体坐标系下视线坐标系原点位姿信息，与载体坐标系下曲面屏的安装位姿获得曲面屏坐标系到驾驶员视线坐标系的旋转平移变换矩阵，利用该旋转平移变换矩阵将曲面屏外轮廓投影到驾驶员视线坐标系下，以此实现曲面屏显示图像与正常通过前风窗和前门玻璃取景得到的图像信息进行匹配。基于曲面屏外轮廓对第二图像信息进行裁剪，获得第三图像信息，投影计算公式为：

s_display,eye＝T_{eye,cam_in}T_displayS_display,car；

其中s_display,eye为曲面屏外轮廓在驾驶员视线坐标系下的投影，T_display为曲面屏在载体坐标系下的安装位姿，s_display,car为曲面屏外轮廓的点串信息。

较佳地，在步骤S5中，采用线性拟合方式对第三图像信息进行视差补偿。本发明选用较为简单的补偿方式，通过标定测试多组记号点变化，通过数据拟合的方式计算出视觉差值与缩放系数，再据此优化的像素位置，获得第四图像信息。相应补偿计算公式为：

x’＝a*(x-cx)*f；

y’＝c*(y-cy)*f；

其中a，c为线性拟合出的放大系数，cx，cy是校正后的偏移量，f是摄像头的焦距，x’、y’为优化后的第四图像信息的图像像素坐标，x、y为第三图像信息的图像像素坐标。

图2示出了本发明一个实施例的车载辅助显示系统的结构示意图。图3示出了本发明一个实施例的控制器的结构示意图。如图所示，本发明还提供了一种车载辅助显示系统100，适用于前述的车载辅助显示方法。该车载辅助显示系统100包括车外摄像头101、车内摄像头102、包覆曲面屏的A柱103及控制器104。参考图2，车辆左右两侧的A柱盲区，虚线表示的是车外摄像头的拍摄视角，实线表示驾驶员的视角。参考图，控制器104包括：

获取模块1041，用于获得第一图像信息，第一图像信息为车外摄像头101捕捉的A柱103盲区中的原始图像；获取模块还获得车内摄像头102捕捉的驾驶员的双目位置；

第一计算模块1042，基于双目位置计算驾驶员视线坐标系原点；

第二计算模块1043，基于车外摄像头101坐标系将第一图像信息转换到驾驶员视线坐标系，获得模拟穿透A柱103盲区可见的第二图像信息；；

裁剪模块1044，用于将A柱103曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对第二图像信息进行裁剪，获得第三图像信息；；

补偿模块1045，对第三图像信息进行视差补偿，获得第四图像信息；

执行模块1046，用于将第四图像信息发送到A柱103曲面屏，以使第四图像信息实时显示在A柱103曲面屏上。

需要说明的是，控制器104可以布置在后备箱位置。

较佳地，车内摄像头102安装在车内天窗开关面板上，或内后视镜上。优选方式是安装在天窗开关面板上，因为该位置相对固定，参照车外后视镜的外壳，相对简单地可以获得车内摄像头102的安装位置。如果是安装在内后视镜的活动组件上，需要配合摄像头实时标定算法才能获取舱内摄像头的安装位姿信息。相对于安装在固定组件上的方式来说，活动组件采用的标定算法需要更多的计算资源，才能达到相同的位姿精度。

较佳地，曲面屏为柔性液晶屏幕，包覆在车内A柱103内饰盲区位置。相对于硬质的液晶屏幕，柔性液晶屏幕有更好的可塑性。柔性液晶屏幕可以根据A柱103的曲率和形状进行弯曲和定制，更好地贴合A柱103形状，减少了因为A柱103曲率和形状而造成的视觉死角。柔性液晶屏幕有更广的视野，柔性液晶屏幕可以在A柱103的表面上贴合显示，相比于传统屏幕可以显示更大的视野范围。柔性液晶屏幕安装在A柱103上，相比于安装在仪表板上，可以减少驾驶员视线被遮挡及转移的情况，减少干扰，提升驾驶员的行车安全。此外，柔性液晶屏幕可以根据A柱103的外形和颜色进行定制，更方便地融入车内设计，提升了整车的美观性和舒适性。图4示出了本发明一个实施例的车载辅助显示方法的使用效果图。驾驶员通过柔性液晶屏幕能够直观地观察到车辆A柱103盲区中道路状况。随着液晶显示技术日趋成熟，后续柔性液晶屏幕将可以包袱整个A柱103，实现完全消除盲区的效果。

本发明还提供了一种车载辅助显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述任一项车载辅助显示方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述任一项车载辅助显示方法的步骤。

其中，车载辅助显示系统、显示设备、计算机可读存储介质的具体实现方式和技术效果均可参见上述本发明所提供的车载辅助显示方法的实施例，在此不再赘述。

本发明提供的一种车载辅助显示方法、显示系统、显示设备及可读存储介质，结合了柔性屏幕和图像处理技术，实现了对驾驶员A柱盲区的实时监测和补偿，避免了A柱盲区对路况的视线遮挡，提高了行车安全性和驾驶体验。相较于现有技术，本专利申请具有以下优点：

1.相较于普通屏幕，引入柔性屏幕技术安装在A柱位置。更高的可塑性和可弯曲性，柔性屏幕可在一定程度上弯曲，因此可以更好地适应A柱的弯曲形状，减小了屏幕与A柱之间的空隙，提高了可视范围。同时避免了传统的外置显示器占据车内空间，影响车辆美观性和操作空间的问题。柔性屏幕更加轻薄，可以减小A柱盲区的尺寸。此外，柔性屏幕通常具有更低的功耗，材料更加耐用，可以在更长时间内保持较高的可靠性和性能。

2.结合车内摄像头技术实时捕捉驾驶员眼睛位置，能够实现动态调整显示图像的功能，有效减少因视角变化带来的视觉疲劳和不适，同时系统功能不会受到驾驶员坐姿或者头部移动的影响。

3.综合考虑柔性屏幕的安装位置和表面弯曲程度以及摄像头的安装位置，采用畸变校正算法对图像进行视差补偿，可以保证驾驶员看到的图像质量和精准度，实现类似透明A柱的效果。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

本领域技术人员可显见，可对本发明的上述示例性实施例进行各种修改和变型而不偏离本发明的精神和范围。因此，旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改和变型。

Claims (11)

1.一种车载辅助显示方法，包括如下步骤：

S1，获得第一图像信息，所述第一图像信息为车外摄像头捕捉的A柱盲区中的原始图像；

S2，实时捕捉驾驶员的双目位置，将双目中心定义为驾驶员视线坐标系原点；

S3，基于车外摄像头坐标系将所述第一图像信息转换到驾驶员视线坐标系，获得模拟穿透A柱盲区可见的第二图像信息；

S4，将A柱曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对所述第二图像信息进行裁剪，获得第三图像信息；

S5，对所述第三图像信息进行视差补偿，获得第四图像信息；

S6，将所述第四图像信息实时显示在A柱曲面屏上。

2.如权利要求1所述的车载辅助显示方法，其特征在于，在步骤S1中，对所述原始图像进行预处理，所述预处理至少包括图像去噪、图像增强、白平衡和对比度调整。

3.如权利要求1所述的车载辅助显示方法，其特征在于，在步骤S2中，采用Eyenet算法实时跟踪驾驶员头部位姿变化，更新驾驶员视线坐标系原点。

4.如权利要求1所述的车载辅助显示方法，其特征在于，在步骤S3中，根据在载体坐标系下视线坐标系原点位姿信息，与载体坐标系下车外摄像头的安装位置获得车外摄像头坐标系到驾驶员视线坐标系的旋转平移变换矩阵，利用该旋转平移变换矩阵将所述第一图像信息转换到驾驶员视线坐标系下的第二图像信息，计算公式为：

其中P_eye,image为驾驶员视线坐标系下的图像像素位置，T_{eye,cam_in}是车内摄像头捕捉的驾驶员双目位姿，是车内摄像头的安装位置，T_{car,cam_out}是车外摄像头的安装位置，是车外摄像头捕捉的图像像素位置。

5.如权利要求1所述的车载辅助显示方法，其特征在于，在步骤S4中，根据在载体坐标系下视线坐标系原点位姿信息，与载体坐标系下曲面屏的安装位姿获得曲面屏坐标系到驾驶员视线坐标系的旋转平移变换矩阵，利用该旋转平移变换矩阵将曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对所述第二图像信息进行裁剪，获得第三图像信息，计算公式为：

S_{display，eye}＝T_{eye，cam_in}T_displayS_{display，car}；

其中S_display,eye为曲面屏外轮廓在驾驶员视线坐标系下的投影，T_display为曲面屏在载体坐标系下的安装位姿，S_display,car为曲面屏外轮廓的点串信息。

6.如权利要求1所述的车载辅助显示方法，其特征在于，在步骤S5中，采用线性拟合方式对第三图像信息进行视差补偿，获得第四图像信息，相应补偿计算公式为：

x’＝a*(x-cx)*f；

y’＝c*(y-cy)*f；

其中a，c为线性拟合出的放大系数，cx，cy是校正后的偏移量，f是摄像头的焦距，x’、y’为优化后的图像像素。

7.一种车载辅助显示系统，其特征在于，适用于如权利要求1-6中任一项所述的车载辅助显示方法，所述车载辅助显示系统包括车外摄像头、车内摄像头、包覆曲面屏的A柱及控制器，所述控制器包括：

获取模块，用于获得所述第一图像信息，所述第一图像信息为所述车外摄像头捕捉的A柱盲区中的原始图像；所述获取模块还获得所述车内摄像头捕捉的驾驶员的双目位置；

第一计算模块，基于双目位置计算驾驶员视线坐标系原点；

第二计算模块，基于车外摄像头坐标系将所述第一图像信息转换到驾驶员视线坐标系，获得模拟穿透A柱盲区可见的第二图像信息；；

裁剪模块，用于将A柱曲面屏外轮廓投影到驾驶员视线坐标系下，基于曲面屏外轮廓对第二图像信息进行裁剪，获得第三图像信息；；

补偿模块，对第三图像信息进行视差补偿，获得第四图像信息；

执行模块，用于将所述第四图像信息发送到A柱曲面屏，以使所述第四图像信息实时显示在A柱曲面屏上。

8.如权利要求7所述的车载辅助显示系统，其特征在于，所述车内摄像头安装在车内天窗开关面板上，或内后视镜上。

9.如权利要求7所述的车载辅助显示系统，其特征在于，所述曲面屏为柔性液晶屏幕，包覆在车内A柱内饰盲区位置。

10.一种车载辅助显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述车载辅助显示方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述车载辅助显示方法的步骤。