CN109649275A - 一种基于增强现实的驾驶辅助系统及方法 - Google Patents

Abstract

本发明涉及一种增强现实的驾驶辅助系统及方法，所述系统包括所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；所述车内相机，用于对驾驶员的眼睛进行实时定位；所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。本发明能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR‑HUD的显示结果与真实道路情况的高精度贴合。

Description

一种基于增强现实的驾驶辅助系统及方法

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种基于增强现实的驾驶辅助系统及方法。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，使得真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。平视显示器(Head Up Display，HUD)最早出现在军用飞机上，其作用是降低飞行员需要低头查看仪表的频率，从而避免注意力中断以及丧失对状态意识的掌握。后来为了相同的目的，HUD技术应用于汽车上，从而希望能够避免因为减少低头看中控台显示而引起交通事故的发生。

在汽车领域，AR-HUD实现方式采用虚拟提示信息和实际路况的贴合，从而保证驾驶者能够清晰直观的对道路、障碍物、方向和车道线进行观测预判，从而在很大程度上避免了危险的发生和导航错误。现有技术中对于AR-HUD的实现方式，有的是直接将实际路况信息按预设方式显示在HUD上，没有考虑到显示结果是否精细地符合驾驶员的视线角度；有的是在驾驶汽车之前，通过驾驶员手动调节HUD的显示高度和角度，直到调到合适的角度。由于每个驾驶员的头部视角高度、坐姿变化以及眼睛离显示器的距离不同，而导致每个驾驶员的视线不同，同一驾驶员在不同坐姿变化后实现也不同，上述技术方案均不能根据驾驶员在驾驶过程中的坐姿变化带来的视线变化，实时调整AR-HUD显示的结果，使得AR-HUD显示的结果无法与真实路况信息高精度贴合。

发明内容

本发明所要解决的技术问题在于，提供一种基于增强现实的驾驶辅助系统及方法，能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR-HUD的显示结果与真实道路情况的高精度贴合。

为了解决上述技术问题，第一方面，本发明提供了一种基于增强现实的驾驶辅助系统，包括ADAS模块、车内相机、处理模块和显示模块，所述ADAS模块、所述车内相机、所述显示模块均与所述处理模块通信连接，所述ADAS模块还与所述显示模块通信连接，

所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；

所述车内相机，用于对驾驶员的眼睛进行实时定位；

所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；

所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。

进一步地，所述车内相机包括：

距离检测模块，用于检测所述车内相机到驾驶员眼睛的第一距离；

角度计算模块，用于根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。

优选地，所述处理模块包括：

距离计算模块，用于根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。

进一步地，所述ADAS模块还包括图像发送模块，用于向所述显示模块发送所述图像信息。

优选地，所述显示模块包括匹配模块，用于根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。

第二方面，本发明提供了一种基于增强现实的驾驶辅助方法，包括：

获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；

对驾驶员的眼睛进行实时定位；

根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在显示模块的显示位置；

在所述显示位置处显示所述目标对象的虚拟图像。

进一步地，所述对驾驶员的眼睛进行实时定位包括：

检测车内相机到驾驶员眼睛的第一距离；

根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。

优选地，所述根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置包括：

根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。

进一步地，所述方法还包括：

向所述显示模块发送所述图像信息。

优选地，所述在所述显示位置处显示所述目标对象的虚拟图像包括：

根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。

实施本发明实施例，具有如下有益效果：

本发明通过ADAS模块获取环境信息，并进行识别得到目标对象的信息；车内相机通过在驾驶过程中对驾驶员的眼睛进行实时定位；处理模块根据ADAS模块获取的信息以及车内相机获取的信息，计算目标对象的虚拟图像的显示位置，并通过显示模块显示出来。本发明能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR-HUD的显示结果与真实道路情况的高精度贴合，使得显示的虚拟现实信息正好落在驾驶员所见的目标对象上。

附图说明

图1是本发明实施例提供的一种基于增强现实的驾驶辅助系统示意图；

图2是本发明实施例提供的车内相机框图；

图3是本发明实施例提供的驾驶员视线第一示意图；

图4是本发明实施例提供的驾驶员视线第二示意图；

图5是本发明实施例提供的一种基于增强现实的驾驶辅助方法示意图；

图6是本发明实施例提供的一种对驾驶员眼睛进行实时定位的方法。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，其示出了本发明实施例提供的一种基于增强现实的驾驶辅助系统示意图，所述系统包括ADAS模块110、车内相机120、处理模块130和显示模块140，所述ADAS模块110、所述车内相机120、所述显示模块140均与所述处理模块130通信连接，所述ADAS模块110还与所述显示模块140通信连接。

本发明中的车内相机120采用的是TOF(Time of Flight，飞行时间)深度相机，也称作为PMD(光子混合装置)相机，具有TOF传感器，该传感器装置具有多个传感器元件，所述传感器元件通常矩阵形地，即成行成列地设置并且传感器元件分别是光敏的。TOF相机是3D相机系统，所述3D相机系统借助于渡越时间法测量距离，即从TOF相机到对象的间距。为此，在相机的视野中借助于辐射脉冲照射区域，也称作画面，并且TOF相机针对每个像素，即针对每个传感器元件，测量相应的电磁辐射到达对象并且再回来所需的时间。所需的时间是直接与距离成比例的。因此，TOF相机针对每个像素提供在其上成像的对象的距离。本实施例仅以TOF深度相机为例，但不仅限于TOF深度相机，任何能够测量相机到人眼距离的相机均可应用在本发明中。

本发明中的显示模块140具体可为抬头显示器HUD，所述抬头显示器HUD具有资料处理与影像显示的功能。

所述ADAS模块110，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息。

本实施例中的目标对象包括行人、车辆、路标和车道线等。

这里的ADAS模块110可以包括ADAS相机、ADAS控制器以及若干传感器，通过ADAS相机及相关传感器来获取周边环境信息，所述传感器包括但不限于GPS、车身传感器、雷达等，为车辆建立周边的立体环境信息，经过数据处理后将有效信息发送给所述处理模块130。ADAS模块110根据采集到的信息来进行道路、车辆、行人和路标的识别。ADAS模块110还包括图像发送模块，用于向显示模块140发送所述图像信息，以使得显示模块140根据ADAS模块110采集的图像信息进行虚拟图像的显示。

距离信息包括目标对象的纵向距离和横向距离。

所述车内相机120，用于对驾驶员的眼睛进行实时定位。

请参见图2，所述车内相机120包括：

距离检测模块122，用于检测所述车内相机到驾驶员眼睛的第一距离。

通过在车内安装TOF深度相机，可用于对驾驶员的眼睛进行实时定位，实时测量TOF深度相机到驾驶员眼睛的距离。

角度计算模块124，用于根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。

所述车内相机的光学参数是相机所固有的，如TOF深度相机的焦距，根据TOF深度相机的焦距以及眼睛中心成像的位置，可以计算出TOF深度相机与驾驶员眼睛的夹角，请参见图3，其示出了一种驾驶员视线示意图，图中的夹角α即为所述TOF深度相机与驾驶员眼睛的夹角。

其中，本发明中的相机的光学参数包括相机焦距、光学中心点位置和镜头畸变系数等，相机的安装参数包括相机在车内的安装位置和角度等。

所述处理模块130，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置。

所述处理模块具体还包括距离计算模块132，用于根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。

请参见图3，图中的d3即为TOF深度相机到驾驶员眼睛的第一距离，根据第一距离d3和夹角α，根据三角函数定理，可计算出TOF深度相机于驾驶员眼睛的水平距离d2，即

d2＝d3cosα (1)

由于抬头显示HUD设备中心到TOF深度相机的距离d1固定已知，因此可以获得驾驶员眼睛中心距离抬头显成像面的距离l，即

l＝d1+d2 (2)

同时可计算出TOF深度相机与驾驶员眼睛的垂直距离d4，即

d4＝d3sinα (3)

图中，d5为抬头显示HUD大小的一半，同时也是已知的，根据d4和d5，可以计算出抬头显HUD的中心与驾驶员眼睛中心的高度h，即

h＝d5-d4 (4)

请参见图4，其示出了驾驶员视线的另一示意图，根据上述计算的抬头显HUD的中心与驾驶员眼睛的高度h，根据ADAS相机对车辆、行人及其他障碍物的检测，得到如图4中所示的目标对象的纵向距离x和横向距离y，由于抬头显HUD的中心离地高度是固定已知的，则图4中的a是已知的，根据抬头显HUD的中心与驾驶员眼睛的高度h，可以计算出抬头显上目标对象需要显示的高度v，根据图3中的几何关系，有如下等式：

(v+a)/x＝(h-v)/l (5)

其中，l为驾驶员眼睛中心距离抬头显成像面的距离，则可以得到目标对象需要显示的高度v，即虚拟图像的显示高度，

同时可以计算出抬头显的横向显示位置u，根据

u/l＝y/x (7)

得到虚拟图像的显示宽度u＝yl/x。

根据上述计算过程，便可确定目标对象的虚拟图像在抬头显HUD上的显示位置。

上述的信息采集与计算过程均是实时进行的，因为驾驶员在驾驶过程中，坐姿的变化会引起驾驶员视线的变化，即上述的相机与驾驶员眼睛的距离以及夹角α会发生变化，为了最终显示的虚拟图像一直在驾驶员视角的光学路径上，即，使抬头显叠加的虚拟显示信息正好落在驾驶员所见的目标对象上，需要根据驾驶员视线的调整实时计算虚拟图像的显示位置并实时显示出来。

所述显示模块140，用于在所述显示位置处显示所述目标对象的虚拟图像。

所述显示模块140还包括匹配模块，用于根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。具体地，显示模块140根据上述图像模块发送的图像信息，根据图像信息中涉及到的目标对象的类型，来确定与该类型相匹配的虚拟图像的输出形式，例如，当目标对象为小型轿车，则为其匹配小型轿车的图标来作为虚拟图像的输出，并显示在抬头显HUD上；当目标对象为路标时，则为其匹配路标的图标来作为虚拟图像的输出，并显示在抬头显HUD上。这些图标可以是预先存储在数据中，并建立不同类型的目标对象与路标的对应关系。

本发明提供的基于增强现实的驾驶辅助系统，根据驾驶员的坐姿和眼睛的高度进行实时计算，可使不同驾驶员、不同坐姿的驾驶员在车内抬头显上看到的增强现实的显示信息与实际目标位置一致，提升了用户体验，避免了驾驶员视线中显示图像与目标对象不一致带来的情况。

请参见图5，其示出了一种基于增强现实的驾驶辅助方法，本方法可以基于本实施例上述的基于增强现实的驾驶辅助系统实现，所述方法包括：

S510.获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息。

这里的所述目标对象包括：行人、车辆、路标和车道线。

在得到所述距离信息和所述图像信息之后，还可以包括，将所述距离信息发送给处理模块，以使得所述处理模块计算虚拟图像的显示位置，将所述图像信息发送给显示模块，以使得显示模块根据所述图像信息进行虚拟图像的显示。

S520.对驾驶员的眼睛进行实时定位。

请参见图6，其示出了一种对驾驶员眼睛进行实时定位的方法，包括：

S610.检测车内相机到驾驶员眼睛的第一距离。

S620.根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。

S530.根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在显示模块的显示位置。

具体可根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。

这里的具体计算细节可参见本实施例上述的计算过程。

S540.在所述显示位置处显示所述目标对象的虚拟图像。

在接收到ADAS模块的目标对象的图像信息，根据所述目标对象的类型，确定与所述目标对象匹配的图像形式，并结合处理模块计算的位置信息，在所述显示位置处显示目标对象的虚拟图像。

本方法实施例的具体实施细节与上述系统实施例的具体实施细节相同，在该方法实施例中未详细说明的部分，可参见上述系统实施例。

本发明通过采用车内相机，对驾驶员的眼睛进行实时定位，并结合ADAS模块获取的信息，对虚拟图像的显示位置进行实时计算，计算复杂度低，解决了由于驾驶员坐姿调整而带来的视线变化问题，实时地对显示的虚拟图像进行调整以适应驾驶员的视线，匹配真实的道路情况。本发明能够根据驾驶员在驾驶过程中视线的变化，实时计算HUD上图像的显示位置，实现AR-HUD的显示结果与真实道路情况的高精度贴合。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于增强现实的驾驶辅助系统，其特征在于，包括ADAS模块、车内相机、处理模块和显示模块，所述ADAS模块、所述车内相机、所述显示模块均与所述处理模块通信连接，所述ADAS模块还与所述显示模块通信连接，

所述ADAS模块，用于获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；

所述车内相机，用于对驾驶员的眼睛进行实时定位；

所述处理模块，用于根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置；

所述显示模块，用于在所述显示位置处显示所述目标对象的虚拟图像。

2.根据权利要求1所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述车内相机包括：

距离检测模块，用于检测所述车内相机到驾驶员眼睛的第一距离；

角度计算模块，用于根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。

3.根据权利要求2所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述处理模块包括：

距离计算模块，用于根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。

4.根据权利要求1所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述ADAS模块还包括图像发送模块，用于向所述显示模块发送所述图像信息。

5.根据权利要求1所述的一种基于增强现实的驾驶辅助系统，其特征在于，所述显示模块包括匹配模块，用于根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。

6.一种基于增强现实的驾驶辅助方法，其特征在于，包括：

获取环境信息，对所述环境信息进行识别，得到目标对象的信息，其中，所述目标对象的信息包括距离信息和图像信息；

对驾驶员的眼睛进行实时定位；

根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在显示模块的显示位置；

在所述显示位置处显示所述目标对象的虚拟图像。

7.根据权利要求6所述的一种基于增强现实的驾驶辅助方法，其特征在于，所述对驾驶员的眼睛进行实时定位包括：

检测车内相机到驾驶员眼睛的第一距离；

根据所述车内相机的光学参数和安装参数，以及驾驶员眼睛中心的成像位置，计算所述车内相机与驾驶员眼睛的夹角。

8.根据权利要求7所述的一种基于增强现实的驾驶辅助方法，其特征在于，所述根据所述目标对象的距离信息，以及对驾驶员眼睛的实时定位信息，实时计算所述目标对象的虚拟图像在所述显示模块的显示位置包括：

根据所述距离信息、所述第一距离以及所述夹角，计算所述虚拟图像的显示高度和显示宽度。

9.根据权利要求6所述的一种基于增强现实的驾驶辅助方法，其特征在于，所述方法还包括：

向所述显示模块发送所述图像信息。

10.根据权利要求6所述的一种基于增强现实的驾驶辅助方法，其特征在于，所述在所述显示位置处显示所述目标对象的虚拟图像包括：

根据所述目标对象的类型，确定与所述目标对象匹配的图像形式。