CN109941277A - 显示汽车a柱盲区图像的方法、装置和车辆 - Google Patents

Abstract

本申请公开了一种显示汽车A柱盲区图像的方法、装置和车辆，所述方法包括：获取A柱外侧的视野图像信息；基于第一坐标换算模型将所述视野图像信息换算到世界坐标系得到像平面；获取驾驶员的面部图像信息，基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置；基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置；以驾驶员的眼睛在世界坐标系中的位置为投射中心将对应的A柱的轮廓面投影到所述像平面得到投影；在对应的A柱内侧显示所述投影的图像信息。本申请的方法，可以根据驾驶员眼睛的位置实时改变A柱显示的视频区域，且将所有的信息从自身的坐标系转换到驾驶员所处的世界坐标系，确保显示图像与驾驶员处于同一坐标系。

Description

显示汽车A柱盲区图像的方法、装置和车辆

技术领域

本申请属于车辆制造技术领域，具体而言，涉及一种显示汽车A柱盲区图像的方法、显示汽车A柱盲区图像的装置和具有该装置的汽车、计算机可读存储介质。

背景技术

驾驶员在开车时，存在A柱盲区，且A柱盲区是导致交通事故的一个重要因素。相关技术中，为了消除A柱盲区，主要是采取如下两种方案：

1)在A柱开窗，该方案会降低A柱强度，影响侧碰安全性；

2)在车身外部装置摄像头，在中控显示屏上显示360全景图像，该方案需要驾驶员主动触发360全景图像，并且需要低头看中控屏，给驾驶员造成不便，也提高了风险。

另外其他的成像方式一般难以准确呈现驾驶员的实际盲区，即呈现的图像与可以看到的视野存在一定的重叠或者，呈现的图像小于盲区，导致驾驶员误判，存在改进空间。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。

本申请公开了一种显示汽车A柱盲区图像的方法，包括：获取A柱外侧的视野图像信息；基于第一坐标换算模型将所述视野图像信息换算到世界坐标系得到像平面；获取驾驶员的面部图像信息，基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置；基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置；以驾驶员的眼睛在世界坐标系中的位置为投射中心将对应的A柱的轮廓面投影到所述像平面得到投影；在对应的A柱内侧显示所述投影的图像信息。

本申请上述实施例提供的方法，可以根据驾驶员眼睛的位置，实时改变A柱显示的视频区域，始终保持驾驶员能观察到完整的外部环境，从而最大化降低因A柱遮挡视线而带来的危险，且将所有的信息从自身的坐标系转换到驾驶员所处的世界坐标系，有利于简化计算，确保显示的图像与驾驶员处于同一坐标系。

本申请还提出了一种显示汽车A柱盲区图像的装置，包括：第一获取单元，配置用于获取A柱外侧的视野图像信息；第一确定单元，配置用于基于第一坐标换算模型将所述视野图像信息换算到世界坐标系得到像平面；第二获取单元，配置用于获取驾驶员的面部图像信息；第二确定单元，配置用于基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置；第三确定单元，配置用于基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置；计算单元，以驾驶员的眼睛在世界坐标系中的位置为投射中心将对应的A柱的轮廓面投影到所述像平面得到投影；显示单元，在对应的A柱内侧显示所述投影的图像信息。

本申请还提出了一种汽车，具有如上述所述的装置。

本申请还提出了一种计算机可读存储介质，其存储有计算机程序该程序被处理器执行时实现如上述所述的方法。

所述装置、所述汽车、所述计算机可读存储介质与上述的方法相对于现有技术所具有的优势相同，在此不再赘述。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请一个实施例的显示汽车A柱盲区图像的方法的流程图；

图2是根据本申请一个实施例的显示汽车A柱盲区图像的装置的结构示意图；

图3是根据本申请一个实施例的显示汽车A柱盲区图像的装置的结构示意图；

图4是根据本申请一个实施例的汽车的结构示意图；

图5是根据本申请一个实施例的确定眼睛在世界坐标系位置的原理图；

图6是根据本申请一个实施例的确定投影的原理图。

附图标记：

汽车1000，

装置100，

第一获取单元110，第一确定单元120，

第二获取单元130，第二确定单元140，第三确定单元150，

计算单元160，

显示单元170，

第一摄像头10，第二摄像头20，第三摄像头30，第四摄像头40，图像处理单元50，第一显示屏60，第二显示屏70。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

如图1所示，根据本申请一个实施例的显示汽车A柱盲区图像的方法包括如下步骤：

步骤S100，获取A柱外侧的视野图像信息。

需要说明的是，如图4所示，汽车1000具有左A柱和右A柱，在驾驶员开车过程，左A柱和右A柱均会造成对应的A柱盲区。该步骤中需要获取左A柱左前方的视野盲区和右A柱右前方的视野盲区。

在实际的执行中，可以通过车外的摄像头获取对应的视野图像信息，比如在将两个高清摄像头分别设置在车身外部左右后视镜前端，即图4中位置1和位置2处，且摄像头方向对准外部侧前方，其中，布置在位置1处的摄像头方向对准左前方，布置在位置2处的摄像头方向对准右前方。

在该步骤中，获取的视野图像信息具有图像坐标系。

步骤S200，基于第一坐标换算模型将视野图像信息换算到世界坐标系得到像平面P。

需要说明的是，世界坐标系的原点与汽车1000相对固定，比如可以选取汽车1000上的某个固定点作为世界坐标系的原点，世界坐标系相对于汽车1000静止，汽车1000移动时，该世界坐标系随动。

获取的视野图像信息为自身的图像坐标系，可以通过第一坐标换算模型将该视野图像信息转换到世界坐标系，可以得到图6所示的像平面P。

第一坐标换算模型可以建立世界坐标系到图像坐标系之间的关系，在实际的执行中，可以采用“张氏标定法”，打印黑白棋盘格图片，放置于驾驶座位头部的位置，2个车外的摄像头依据车身结构数据和“张氏标定法”算法即可确定世界坐标系与图像坐标系的转换参数。

步骤S300，获取驾驶员的面部图像信息，基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置。

可以通过车内的摄像头获取驾驶员的面部图像信息，图像识别模型可以根据获取的面部图像信息找到眼睛，并确定眼睛在摄像机坐标系的位置。

在实际的执行中，上述步骤S300可以包括如下子步骤：

子步骤S310，至少从两个不同的位置获取面部图像信息，基于图像识别模型确定驾驶员的眼睛在至少两个摄像机坐标系的位置。

在该实施例中，可以通过安装至少两个摄像头，两个摄像头安装于不同地方，分别获取面部图像信息后，分别得到驾驶员的眼睛在两个摄像机坐标系的位置。

在实际的执行中，可以通过车内的两个摄像头获取对应的面部图像信息，比如在将两个高清摄像头分别设置在左A柱的上端和右A柱的上端，即图4中位置5和位置6处，且均朝驾驶位设置。

根据安装于左A柱的摄像头获取的面部图像信息可以得到驾驶员的眼睛在第一摄像机坐标系的位置，根据安装于右A柱的摄像头获取的面部图像信息可以得到驾驶员的眼睛在第二摄像机坐标系的位置。

当然，也可以将车内摄像头安装于车内后视镜上，使用方法相同，只需要调整AI图像的算法参数。

步骤S400，基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置。

上个步骤中获取的驾驶员的眼睛位置为其摄像机坐标系中的位置，可以通过第二坐标换算模型将该位置信息转换到世界坐标系，可以得到图5和图6所示的点E。

第二坐标换算模型可以建立世界坐标系到摄像机坐标系之间的关系，在实际的执行中，可以采用“张氏标定法”，打印黑白棋盘格图片，放置于驾驶座位头部的位置，2个车内的摄像头依据车身结构数据和“张氏标定法”算法即可确定世界坐标系与摄像机坐标系的转换参数。

在实际的执行中，上述步骤S400可以包括如下子步骤：

子步骤S410，确定驾驶员的眼睛在第一摄像机坐标系的位置e1，确定驾驶员的眼睛在第二摄像机坐标系的位置e2；作射线o1e1和o2e2，其中o1为第一摄像机的光心，o2为第二摄像机的光心，射线o1e1和射线o2e2的交点为驾驶员的眼睛在世界坐标系中的位置。

如图5所示，在车辆行驶的行驶过程中，车内两个摄像头采集驾驶员面部图像，传输给图像处理器，处理器实时计算定位驾驶员的眼睛的位置。E为真实的眼睛位置(为计算简便，将双眼位置等效为单点)，e1和e2分别为2个面部图像中识别到的眼睛的位置，是E点投影到2个摄像头图像坐标系的对应点，c1和c2为2个摄像头，o1和o2分别为c1和c2的光心，那么E点在o1e1和o2e2的延长线上，据此可以得到一个三角形o1Eo2，其中边o1o2的长度是2个摄像头的安装结构位置决定的，角度∠Eo1o2和∠Eo2o1由视觉算法得到，由此即可定位到E点的位置。

步骤S500，以驾驶员的眼睛在世界坐标系中的位置E为投射中心将对应的A柱的轮廓面P1投影到所述像平面P得到投影P。

需要说明的是，A柱的轮廓面P1由汽车1000自身的结构决定，可以预先将A柱的轮廓面P1输入汽车1000的存储单元存储，待需要时调用。

在实际的执行中，车外的两个摄像头采集到车身外部的全部图像，图像处理器根据驾驶员眼睛的世界坐标系位置，以及预先设置的车身A柱遮挡平面大小和世界坐标系位置，计算出来A柱遮挡住的视野区域。

如图6所示，E点为计算得到的驾驶员眼睛的位置，平面P1表示A柱的轮廓面，平面P表示外部摄像头的像平面，A柱的轮廓面到像平面的距离为获取A柱外侧的视野图像信息的设备的焦距，阴影部分P2表示P1在P上的投影，那么，这一块阴影部分的图像即是需要在显示屏上呈现的被遮挡部分的图像。

步骤S600，在对应的A柱内侧显示投影的图像信息。

需要说明的是，A柱内侧预先安装有显示单元170，显示单元170可以为柔性屏，如图4所示，图中位置3和位置4在左右A柱覆盖面的内侧分别安装有柔性屏，这样当将外部的图像显示在柔性屏上时，即可弥补盲区视野。

本申请上述实施例提供的方法，可以根据驾驶员眼睛的位置，实时改变A柱显示的视频区域，始终保持驾驶员能观察到完整的外部环境，从而最大化降低因A柱遮挡视线而带来的危险，且将所有的信息从自身的坐标系转换到驾驶员所处的世界坐标系，有利于简化计算，确保显示的图像与驾驶员始终处于同一坐标系。

如图2和图3所示，作为对上述图1所示方法的实现，本申请提供了一种显示汽车A柱盲区图像的装置100的一个实施例，该装置100实施例与图1所示的方法实施例相对应，该装置100具体可以应用于各种电子设备中。

如图2所示，显示汽车A柱盲区图像的装置100包括：第一获取单元110、第一确定单元120、第二获取单元130、第二确定单元140、第三确定单元150、计算单元160和显示单元170。

其中，第一获取单元110，配置用于获取A柱外侧的视野图像信息；第一确定单元120，配置用于基于第一坐标换算模型将视野图像信息换算到世界坐标系得到像平面；第二获取单元130，配置用于获取驾驶员的面部图像信息；第二确定单元140，配置用于基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置；第三确定单元150，配置用于基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置；计算单元160，以驾驶员的眼睛在世界坐标系中的位置E为投射中心将对应的A柱的轮廓面P1投影到所述像平面P得到投影P；显示单元170，在对应的A柱内侧显示投影的图像信息。

在本实施例中，第一获取单元110、第一确定单元120、第二获取单元130、第二确定单元140、第三确定单元150、计算单元160和显示单元170的处理方式以及技术效果可以参考上述步骤S100-S400的描述，在此不再赘述。

如图4所示，在实际的执行中，第一确定单元120、第二确定单元140、第三确定单元150和计算单元160可以集成为图像处理单元50。

在一些实施例中，如图3所示，第一获取单元110包括安装在汽车1000左外侧的第一摄像头10和安装在汽车1000右外侧的第二摄像头20。

在实际的执行中，第一摄像头10可以安装在图4中的位置1，第二摄像头20可以安装在图4中的位置2处。

在一些实施例中，如图3所示，第二获取单元130包括第三摄像头30和第四摄像头40。

在实际的执行中，如图4所示，第三摄像头30安装于左A柱内侧上端，即图4中的位置5，第三摄像头30安装于右A柱内侧上端，即图4中的位置6。

当然，第三摄像头30和第三摄像头30也可以均安装于内后视镜处，使用方法相同，只需要调整AI图像的算法参数。

在一些实施例中，显示单元170可以包括安装于A柱内侧的柔性屏。当然，显示单元170还可以为其他类型，比如全息投影等。

显示单元170可以第一显示屏60和第二显示屏70，第一显示屏60安装于左A柱的内侧，第二显示屏70安装于右A柱的内侧。

如图2和图4所示，本申请还公开了一种汽车1000。

本申请实施例的汽车1000，具有上述任一种实施例的装置100。

本申请还公开了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现上述方法。

本申请的计算机可读存储介质包括但不限于电、磁、光、电磁、红外线、或半导体的系统、服务器或器件，或者任意以上的组合。

本申请的计算机可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、服务器或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、服务器或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种显示汽车A柱盲区图像的方法，其特征在于，包括：

获取A柱外侧的视野图像信息；

基于第一坐标换算模型将所述视野图像信息换算到世界坐标系得到像平面；

获取驾驶员的面部图像信息，基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置；

基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置；

以驾驶员的眼睛在世界坐标系中的位置为投射中心将对应的A柱的轮廓面投影到所述像平面得到投影；

在对应的A柱内侧显示所述投影的图像信息。

2.根据权利要求1所述的方法，其特征在于，所述获取驾驶员的面部图像信息，基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置包括，包括：

至少从两个不同的位置获取所述面部图像信息，基于图像识别模型确定驾驶员的眼睛在至少两个摄像机坐标系的位置。

3.根据权利要求2所述的方法，其特征在于，所述基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置，包括：

确定驾驶员的眼睛在第一摄像机坐标系的位置e1，确定驾驶员的眼睛在第二摄像机坐标系的位置e2；

作射线o1e1和o2e2，其中o1为第一摄像机的光心，o2为第二摄像机的光心，射线o1e1和射线o2e2的交点为驾驶员的眼睛在世界坐标系中的位置。

4.根据权利要求1所述的方法，其特征在于，所述A柱的轮廓面到所述像平面的距离为获取A柱外侧的视野图像信息的设备的焦距。

5.一种显示汽车A柱盲区图像的装置，其特征在于，包括：

第一获取单元，配置用于获取A柱外侧的视野图像信息；

第一确定单元，配置用于基于第一坐标换算模型将所述视野图像信息换算到世界坐标系得到像平面；

第二获取单元，配置用于获取驾驶员的面部图像信息；

第二确定单元，配置用于基于图像识别模型确定驾驶员的眼睛在对应的摄像机坐标系的位置；

第三确定单元，配置用于基于第二坐标换算模型确定驾驶员的眼睛在世界坐标系中的位置；

计算单元，以驾驶员的眼睛在世界坐标系中的位置为投射中心将对应的A柱的轮廓面投影到所述像平面得到投影；

显示单元，在对应的A柱内侧显示所述投影的图像信息。

6.根据权利要求5所述的装置，其特征在于，所述第一获取单元包括安装在汽车左外侧的第一摄像头和安装在汽车右外侧的第二摄像头。

7.根据权利要求5所述的装置，其特征在于，所述第二获取单元包括第三摄像头和第四摄像头；其中，

所述第三摄像头安装于左A柱内侧上端，所述第三摄像头安装于右A柱内侧上端；

或者，所述第三摄像头和所述第三摄像头均安装于内后视镜处。

8.根据权利要求5所述的装置，其特征在于，所述显示单元包括安装于A柱内侧的柔性屏。

9.一种汽车，其特征在于，具有如权利要求5-8中任一项所述的装置。

10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。