CN115097632B - 一种ar-hud转向辅助显示方法及系统 - Google Patents
一种ar-hud转向辅助显示方法及系统 Download PDFInfo
- Publication number
- CN115097632B CN115097632B CN202210873060.9A CN202210873060A CN115097632B CN 115097632 B CN115097632 B CN 115097632B CN 202210873060 A CN202210873060 A CN 202210873060A CN 115097632 B CN115097632 B CN 115097632B
- Authority
- CN
- China
- Prior art keywords
- steering
- lane line
- current
- coordinate system
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Abstract
本发明公开了一种AR‑HUD转向辅助显示方法及系统，所述方法包括获取并解析目标视觉检测系统检测到的车道线参数；将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中第一坐标系为目标视觉检测系统的坐标系，第二坐标系为渲染程序的坐标系；获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据当前车速、当前前轮转角、当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数；根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数；调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线。
Description
技术领域
本发明涉及汽车电子技术领域，特别涉及一种AR-HUD转向辅助显示方法及系统。
背景技术
现有大多数汽车抬头显示系统未能使用增强现实技术将虚拟现实元素和现实场景元素相结合，而使用增强现实技术的抬头显示未能充分利用导航信号和视觉目标检测信号并将其融合处理得到的信号应用到AR-HUD转向辅助显示中。
当前汽车所配置的抬头显示系统受视场角较小、显示区域有限等限制，无法利用增强现实技术将车道线显示、目标检测等功能呈现给驾驶员。其次，汽车在转向过程中驾驶员需要在考虑车速和方向盘转角等多因素的同时进行转向操作，易因判断失误导致转向不足或过度转向而引发事故。与转向辅助类似的倒车辅助技术已经得到了广泛应用，都通过将倒车辅助线和倒车影像叠加显示到车机显示屏中实现。而本发明所应用的场景不同于低速的倒车过程，前进转向多处于高速、复杂的工况，若驾驶员转移视线至车机显示屏将增大事故发生的概率。
因此，亟待研究一种转向辅助系统，以充分利用导航信号和视觉目标检测信号，并将其融合处理得到的信号应用到AR-HUD转向辅助显示中。
发明内容
本发明提出了一种AR-HUD转向辅助显示方法及系统，用以克服现有技术中存在的至少一个技术问题。
根据本说明书实施例的第一方面，提供一种AR-HUD转向辅助显示方法，包括：获取并解析目标视觉检测系统检测到的车道线参数；将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中所述第一坐标系为目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向，所述第二坐标系为渲染程序的坐标系；获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据所述当前车速、所述当前前轮转角、所述当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数；根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数；调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线。
可选的，所述将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下的步骤，包括将所述车道线参数对应的坐标点进行旋转和平移。
可选的，所述将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下的步骤，包括：
以矩阵表示所述第一坐标系中车道线曲线上一点，以/>表示所述车辆坐标系中与所述矩阵/>中对应点的坐标，所述第一坐标系和所述车辆坐标系间的点的对应关系如下：
其中s是车辆后轴中心与车辆横向中心在X方向上的距离差，h是车辆后轴中心与车辆横向中心在Z方向上的距离差；
以矩阵表示所述第二坐标系中与所述车辆坐标系中/>对应点的坐标，所述第二坐标系和所述车辆坐标系间的点的对应关系如下：
可选的，所述获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据所述当前车速、所述当前前轮转角、所述当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数的步骤，包括：获取车辆的当前车速；根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数；根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数。
可选的，所述根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数的步骤，包括：当所述当前车速高于或等于预设的车速阈值vth时，绘制所述虚拟中心车道线，根据所述车道线参数确定虚拟中心车道线参数；当所述当前车速低于所述车速阈值vth时，不绘制所述虚拟中心车道线。
可选的，所述根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数的步骤，包括：当所述当前车速低于车速阈值vth时，确定显示转向辅助轨迹线，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数；当所述当前车速高于或等于车速阈值vth时，获取下一导航指示信号，当所述导航指示信号为转向指令时，确定显示转向辅助轨迹线，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数；当所述当前车速高于或等于车速阈值vth，获取下一导航指示信号，当所述导航指示信号不为转向指令时，确定不显示转向辅助轨迹线。
可选的，所述根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数的步骤，包括：采用双参数校验方法根据所述当前前轮转角及所述当前方向盘转角对所述转向辅助预测轨迹线进行误差校验；通过Bezier曲线绘制方法，根据所述虚拟中心车道线参数和所述转向辅助预测轨迹参数，将所述虚拟中心车道线和所述转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数。
可选的，所述采用双参数校验方法根据所述当前前轮转角及所述当前方向盘转角对所述转向辅助预测轨迹线进行误差校验的步骤，包括：
采用如下公式进行双参数校验，
式中θ为当前方向盘转角，σ为当前前轮转向角，R为转向系统传动比；其中，当所述当前方向盘转角和所述当前前轮转向角的角度差小于0.3°时，以所述当前方向盘转角作为绘制转向辅助预测轨迹线的转角输入；当所述当前方向盘转角和所述当前前轮转向角的角度差大于0.3°时，以所述当前方向盘转角和所述当前前轮转向角的平均值作为绘制转向辅助预测轨迹线的转角输入；其中，0.3°为转向系统零位漂移角度。
可选的，所述通过Bezier曲线绘制方法，根据所述虚拟中心车道线参数和所述转向辅助预测轨迹参数，将所述虚拟中心车道线和所述转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数的步骤，包括；
采用如下Bezier曲线绘制方法，
x1＝D+θ*π/180*(-z1)+K*(-z1)2+kd*(-z1)3 (1)
x2＝D+θ*π/180*(-z2)+(sin(θ)/(v*M))*(-z2)2+kd*(-z2)3 (2)
其中，拟合方程(1)为所述虚拟中心车道线拟合方程，拟合方程(2)为所述转向辅助预测轨迹线拟合方程，所述拟合方程(2)中使用与转角θ输入和车速v相关的sin(θ)/(v*M)代替曲率K；其中在拟合转向辅助预测轨迹线时曲率导数值kd为0；M为方向盘转角曲率换算系数；D为车道线与车辆横向中心线间距离；z1为前向摄像头的采样值；z2为算法预设的变量；得到转向辅助轨迹线参数。
根据本说明书实施例的第二方面，提供一种AR-HUD转向辅助显示系统，所述系统包括参数解析模块、坐标转换模块、信号处理及曲线拟合模块以及线条绘制模块，其中所述参数解析模块，被配置为获取并解析目标视觉检测系统检测到的车道线参数；所述坐标转换模块，被配置为将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中所述第一坐标系为目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向，所述第二坐标系为渲染程序的坐标系；所述信号处理及曲线拟合模块，被配置为获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据所述当前车速、所述当前前轮转角、所述当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数；根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数；所述线条绘制模块，被配置为调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线。
根据本说明书实施例的第三方面，提供一种计算设备，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算设备执行所述的AR-HUD转向辅助显示方法的步骤。
根据本说明书实施例的第四方面，提供一种存储介质，其存储有所述的计算设备中所使用的计算机程序，该计算机程序被处理器执行时实现所述的AR-HUD转向辅助显示方法的步骤。
本发明将视觉目标检测和导航等通过增强现实技术与现实场景元素相结合，该方法和装置丰富了AR-HUD显示功能，提供了转向过程中的转向轨迹参考，提高了驾驶员行车专注度和行车安全。本发明的技术效果包括如下几点，但不仅局限于如下几点。
1.本发明提出的AR-HUD转向辅助显示方法，融合了导航信号和视觉目标检测信号，在AR-HUD系统基础上增加转向辅助显示的功能，丰富了AR-HUD显示功能，提供了转向过程中的转向轨迹参考，有利于提升驾驶员行车专注度和行车安全。
2.此外，本发明中转向辅助线的显示由车速V，前轮转向角σ，方向盘转角θ以及车道线信息等共同决策拟合，充分利用了导航信号，避免在高速状态但不转向的情况下显示转向辅助线而干扰驾驶员视线，提高了驾驶安全性。
3.在拟合转向辅助线时使用双参数校验，这一双参数校验方式避免了因输入角度误差导致转向辅助线绘制不准的问题，给驾驶员提供了准确的转向辅助参考，减少转向工况中因转向不足或过度转向所导致的交通事故的发生，提高了汽车行车安全。
附图说明
图1是本发明的AR-HUD转向辅助显示方法的流程示意图；
图2是本发明的视觉目标检测车道线参数示意图；
图3是本发明的人眼、汽车和目标物光路及位置关系示意图；
图4是本发明所涉及的坐标系关系图；
图5是本发明的AR-HUD转向辅助显示方法的渲染程序接口的信号示意图；
图6是本发明的AR-HUD转向辅助显示方法的流程示意图；
图7是本发明的AR-HUD转向辅助显示系统的结构示意图；
图8是本发明的计算设备的结构示意图；
图9是本发明的存储介质的结构示意图。
具体实施例
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本说明书实施例提供一种AR-HUD转向辅助显示方法及系统，以下分别进行详细说明。
图1是本发明的AR-HUD转向辅助显示方法的流程示意图。如图1所示，一种AR-HUD转向辅助显示方法包括：
S110、获取并解析目标视觉检测系统检测到的车道线参数。
图2是本发明的视觉目标检测车道线参数示意图，如图2所示，以图2中虚线作为所识别车道线为例，参数D为车道线与车辆横向中心线距离，参数P1为车道线起始预瞄距离，参数P2为车道线终止预瞄距离，参数K为本段车道线曲率。视觉目标检测设备EyeQ3安装于汽车前挡风玻璃上，位于车辆横向中心位置。视觉目标检测设备EyeQ3将所检测车道线参数通过CAN报文发送至渲染程序ARCreator控制器中，由控制器中报文解析程序参照EyeQ3设备dbc文件进行数据解析，得到图2中所示的k，D等车道线信息参数以作为后续绘制虚拟中心车道线元素和转向辅助预测轨迹线过程的输入，用于坐标转换和曲线拟合绘制。
S120、将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中所述第一坐标系为目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向，所述第二坐标系为渲染程序的坐标系。
在具体实施例中，所述S120、将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下的步骤，包括将所述车道线参数对应的坐标点进行旋转和平移。
图3是本发明的人眼、汽车和目标物光路及位置关系示意图。如图3所示，人眼301、汽车挡风玻璃302和目标三维物体303三者在空间中，汽车前挡风玻璃302上的虚拟成像是由数字光处理器306通过主反射镜304和次反射镜304获得的，为体现AR(增强现实)效果，人眼301、三维物体303像素点和汽车前挡风玻璃302上的虚拟成像像素点需要在一条直线上，以达到虚实结合的效果。人眼301的成像在目标视觉检测坐标系下，数字光处理器的成像在车辆坐标系下，而绘制图像需要在渲染程序的坐标系下，因此相关的三个坐标系的转换就起到了至关重要的作用。
图4是本发明所涉及的坐标系关系图。如图4所示，本发明所涉及的车辆坐标系320、目标视觉检测系统EyeQ3坐标系(第一坐标系310)转换到渲染程序OpenGL ES坐标系(第二坐标系330)之下，三者之间的坐标系关系示意图如图4所示。所述车辆坐标系为以车辆后轴中心为原点，以车辆行驶方向为X正方向，以副驾驶指向驾驶员方向为Y轴正方向，以垂直地面为Z轴正方向。目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向。OpenGL ES是Khronos Group制定的一种行业标准应用程序编程接口，可以大大提高嵌入式设备3D图像渲染能力。
在一种具体的实现方式中，所述S120、将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下的步骤，包括：
以矩阵表示所述第一坐标系中车道线曲线上一点，以/>表示所述车辆坐标系中与所述矩阵/>中对应点的坐标，所述第一坐标系和所述车辆坐标系间的点的对应关系如下：
其中s是车辆后轴中心与车辆横向中心在X方向上的距离差，h是车辆后轴中心与车辆横向中心在Z方向上的距离差；
以矩阵表示所述第二坐标系中与所述车辆坐标系中/>对应点的坐标，所述第二坐标系和所述车辆坐标系间的点的对应关系如下：
通过EyeQ3坐标系下像素点到OpenGL ES3维图形绘制坐标系下像素位置的转换方法，保证人眼所见绘制车道线与实际车道线紧密贴合。
S130、获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据所述当前车速、所述当前前轮转角、所述当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数。
在具体的实施例中，所述S130、获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据所述当前车速、所述当前前轮转角、所述当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数的步骤，包括：
S1302、获取车辆的当前车速。
考虑到在停车场内等封闭区域内也有对转向辅助预测需求的可能，转向辅助预测功能的开启由导航指示信号和当前车速共同决策，判断下一导航指示信号是否为转向的车速阈值可以设置为10km/h，以防止中高速行驶过程中变道、并线等需要驾驶员集中注意力的横向短距离移动过程中，对驾驶员造成视线干扰。当车速低于10km/h时，不需要判断下一导航指示信号即显示转向辅助线；当车速高于10km/h时，需要判断下一导航指示信号是否为转向指令。需要说明的是10km/h为比较合适的经验值，车速阈值数值范围可为不超过30km/h。
S1304、根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数。
在一种具体的实现方式中，所述S1304、根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数的步骤，包括：
S13042、当所述当前车速高于或等于预设的车速阈值vth时，绘制所述虚拟中心车道线，根据所述车道线参数确定虚拟中心车道线参数。
S13044、当所述当前车速低于所述车速阈值vth时，不绘制所述虚拟中心车道线。
S1306、根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数。
在一种具体的实现方式中，所述S1306、根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数的步骤，包括：
S13062、当所述当前车速低于车速阈值vth时，确定显示转向辅助轨迹线，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数。
S13064、当所述当前车速高于或等于车速阈值vth时，获取下一导航指示信号，当所述导航指示信号为转向指令时，确定显示转向辅助轨迹线，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数。
S13066、当所述当前车速高于或等于车速阈值vth，获取下一导航指示信号，当所述导航指示信号不为转向指令时，确定不显示转向辅助轨迹线。
S140、根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数。
在具体的实施例中，所述S140、根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数的步骤，包括：
S1402、采用双参数校验方法根据所述当前前轮转角及所述当前方向盘转角对所述转向辅助预测轨迹线进行误差校验。
在一种具体的实现方式中，所述S1402、采用双参数校验方法根据所述当前前轮转角及所述当前方向盘转角对所述转向辅助预测轨迹线进行误差校验的步骤，包括：
采用如下公式进行双参数校验，
式中θ为当前方向盘转角，σ为当前前轮转向角，R为转向系统传动比；其中，当所述当前方向盘转角和所述当前前轮转向角的角度差小于0.3°时，以所述当前方向盘转角作为绘制转向辅助预测轨迹线的转角输入；当所述当前方向盘转角和所述当前前轮转向角的角度差大于0.3°时，以所述当前方向盘转角和所述当前前轮转向角的平均值作为绘制转向辅助预测轨迹线的转角输入；其中，0.3°为转向系统零位漂移角度。
S1404、通过Bezier曲线绘制方法，根据所述虚拟中心车道线参数和所述转向辅助预测轨迹参数，将所述虚拟中心车道线和所述转向辅助预测轨迹线进行拟合，得到转向辅助迹线参数。
在一种具体的实现方式中，所述S1404、通过Bezier曲线绘制方法，根据所述虚拟中心车道线参数和所述转向辅助预测轨迹参数，将所述虚拟中心车道线和所述转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数的步骤，包括；
采用如下Bezier曲线绘制方法，
x1＝D+θ*π/180*(-z1)+K*(-z1)2+kd*(-z1)3 (1)
x2＝D+θ*π/180*(-z2)+(sin(θ)/(v*M))*(-z2)2+kd*(-z2)3 (2)
其中，拟合方程(1)为所述虚拟中心车道线拟合方程，拟合方程(2)为所述转向辅助预测轨迹线拟合方程，所述拟合方程(2)中使用与转角θ输入和车速v相关的sin(θ)/(v*M)代替曲率K；其中在拟合转向辅助预测轨迹线时曲率导数值kd为0；M为方向盘转角曲率换算系数；D为车道线与车辆横向中心线间距离；z1为前向摄像头的采样值；z2为算法预设的变量。
得到转向辅助轨迹线参数。
在一个具体实施例中，方向盘转角曲率换算系数M取为2.8。由于车道线为贴地显示，因此在OpenGL ES坐标系中y向值为0。z1为前向摄像头的采样值，是由显示虚拟的车道线多长来决定，那在绘制的过程中就需要离散化需要绘制的辅助转向车道线的长度，以该长度为10米作为示例，比如以0.1米为绘制最小单位，那就要从0，0.1、0.2至10.0来取值，进行参数代入。z2为算法预设的变量，由算法按照拟合的绘制单位的预设间隔进行取定。
S150、调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线。以转向辅助轨迹线参数(即曲线组成点的三维坐标数据x,y,z值，这里用的x、y、z都是在OpenGL ES坐标系下的数据，比如摄像头识别到的车道线解析后相应x、y、z通过坐标转换得到)作为输入完成对应线条的绘制。
图5是本发明的AR-HUD转向辅助显示方法的渲染程序接口的信号示意图。如图5所示，输入信号主要来自车机导航系统、车身CAN信号以及EyeQ3目标检测信号，具体包括导航转向时间信号T，前轮转向角σ，车道线信息(K,Kd,P1,P2,D)，车速信息V和方向盘转角信息θ。将上述各参数信息输入至渲染程序ARCreator控制器中计算，输出转向辅助线绘制信号E。
图6是本发明的AR-HUD转向辅助显示方法的流程示意图。如图6所示，步骤S102和步骤S104是系统工作的前提条件，除ARHUD增强现实抬头显示系统和转向辅助显示功能需要开启外，作为本发明的主要信号输入源，导航子系统和EyeQ3视觉目标检测子系统开启并正常工作也是本发明正常运行的前提条件。
首先S102、开启转向辅助功能，询问用户S104、是否开启AR-HUD和EyeQ3视觉目标检测，当用户选择开启时，则分别进入S110、解析获取车道线参数程序和S1306、选择是否开启导航程序；在解析获取车道线参数后经S120、坐标系转换；在该绘制转向辅助预测轨迹线的同时还包括对当前车速的检测，当车速v≥10km/h,还需要S1304、绘制虚拟中心车道线元素；对于所述选择是否开启导航程序，当用户选择不开启时，则返回至所述“是否开户AR-HUD和EyeQ3视觉目标检测”步骤进行询问；当用户选择开启时，则需要判断此时车速。当S1306、车速v≥10km/h时，则S13064、判断下一导航指示信号是否为转向，当判断为“是”时，S140、获取当前方向盘转角、前轮转向角并进行双参数校验；当车速v<10km/h时，则直接进入上述的“S140、获取当前方向盘转角、前轮转向角并进行双向能数校验”步骤；最后与坐标系转换得到的数据以及可能的虚拟中心车道线元素结合，最后得到S150、绘制转向辅助预测轨迹线，并结束。
上述流程包括了在两个同时进行的程序中都具有获取车速的步骤，分别用于判断是否绘制虚拟中心车道线元素和判断转向辅助线是否显示，这一判断设置方式，既兼顾了在低速状态下的转向需求，如倒车，又避免了在高速状态下的没有转向需求时显示转向辅助线形成干扰，提高了车辆高速行车过程中的安全性。
图7是本发明的AR-HUD转向辅助显示系统的结构示意图。如图7所示，一种AR-HUD转向辅助显示系统700，所述系统700包括参数解析模块710、坐标转换模块720、信号处理及曲线拟合模块730以及线条绘制模块740，其中
所述参数解析模块710，被配置为获取并解析目标视觉检测系统检测到的车道线参数。
所述坐标转换模块720，被配置为将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中所述第一坐标系为目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向，所述第二坐标系为渲染程序的坐标系。
所述信号处理及曲线拟合模块730，被配置为获取车辆的当前车速、当前前轮转角以及当前方向盘转角，根据所述当前车速、所述当前前轮转角、所述当前方向盘转角以及所述车道线参数，确定虚拟中心车道线参数以及转向辅助预测轨迹线参数；根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数。
所述线条绘制模块740，被配置为调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线。
图8是本发明的计算设备的结构示意图。如图8所示，本说明书实施例，提供一种计算设备800，包括存储设备810以及处理器820，所述存储设备810用于存储计算机程序，所述处理器820运行所述计算机程序以使所述计算设备800执行所述的AR-HUD转向辅助显示方法的步骤。
图9是本发明的存储介质的结构示意图。如图9所示，本说明书实施例，提供一种存储介质900，其存储有所述的计算设备中所使用的计算机程序910，该计算机程序910被处理器执行时实现所述的AR-HUD转向辅助显示方法的步骤。
综上所述，本说明书实施例，提供了一种AR-HUD转向辅助显示方法及系统，将视觉目标检测和导航等通过增强现实技术与现实场景元素相结合，丰富了AR-HUD显示功能，转向辅助线的显示由车速V，前轮转向角σ，方向盘转角θ以及车道线信息等共同决策拟合，充分利用了导航信号，提高了驾驶员行车专注度和行车安全，通过双参数校验方式避免了因输入角度误差导致转向辅助线绘制不准的问题，给驾驶员提供了准确的转向辅助参考，减少转向工况中因转向不足或过度转向所导致的交通事故的发生，提高了汽车行车安全。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (9)
1.一种AR-HUD转向辅助显示方法，其特征在于，包括：
获取并解析目标视觉检测系统检测到的车道线参数，所述车道线参数包括车道线与车辆横向中心线距离、车道线起始预瞄距离、车道线终止预瞄距离以及本段车道线曲率；
将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中所述第一坐标系为目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向，所述第二坐标系为渲染程序的坐标系；
获取车辆的当前车速；根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数；根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数；
根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数；
调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线，将该转向辅助轨迹线进行显示。
2.根据权利要求1所述的显示方法，其特征在于，所述将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下的步骤，包括
将所述车道线参数对应的坐标点进行旋转和平移。
3.根据权利要求1所述的显示方法，其特征在于，所述将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下的步骤，包括：
以矩阵表示所述第一坐标系中车道线曲线上一点，以/>表示所述车辆坐标系中与所述矩阵/>中对应点的坐标，所述第一坐标系和所述车辆坐标系间的点的对应关系如下：
其中s是车辆后轴中心与车辆横向中心在X轴方向上的距离差，h是车辆后轴中心与车辆横向中心在Z轴方向上的距离差；
以矩阵表示所述第二坐标系中与所述车辆坐标系中/>对应点的坐标，所述第二坐标系和所述车辆坐标系间的点的对应关系如下：
4.根据权利要求1所述的显示方法，其特征在于，所述根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数的步骤，包括：
当所述当前车速高于或等于预设的车速阈值vth时，绘制所述虚拟中心车道线，根据所述车道线参数确定虚拟中心车道线参数；
当所述当前车速低于所述车速阈值vth时，不绘制所述虚拟中心车道线。
5.根据权利要求1所述的显示方法，其特征在于，所述根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数的步骤，包括：
当所述当前车速低于车速阈值vth时，确定显示转向辅助轨迹线，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数；
当所述当前车速高于或等于车速阈值vth时，获取下一导航指示信号，当所述导航指示信号为转向指令时，确定显示转向辅助轨迹线，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数；
当所述当前车速高于或等于车速阈值vth，获取下一导航指示信号，当所述导航指示信号不为转向指令时，确定不显示转向辅助轨迹线。
6.根据权利要求1所述的显示方法，其特征在于，所述根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数的步骤，包括：
采用双参数校验方法根据所述当前前轮转角及所述当前方向盘转角对所述转向辅助预测轨迹线进行误差校验；
通过Bezier曲线绘制方法，根据所述虚拟中心车道线参数和所述转向辅助预测轨迹线参数，将所述虚拟中心车道线和所述转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数。
7.根据权利要求6所述的显示方法，其特征在于，所述采用双参数校验方法根据所述当前前轮转角及所述当前方向盘转角对所述转向辅助预测轨迹线进行误差校验的步骤，包括：
采用如下公式进行双参数校验，
式中θ为当前方向盘转角，σ为当前前轮转向角，R为转向系统传动比；
其中，当所述当前前轮转向角和转向系统传动比的乘积与所述当前方向盘转角的角度差的绝对值小于等于0.3°时，以所述当前方向盘转角作为绘制转向辅助预测轨迹线的转角输入；当所述当前前轮转向角和转向系统传动比的乘积与所述当前方向盘转角的角度差的绝对值大于0.3°时，以所述当前前轮转向角和转向系统传动比的乘积加上所述当前方向盘转角的角度和的二分之一作为绘制转向辅助预测轨迹线的转角输入；其中，0.3°为转向系统零位漂移角度。
8.根据权利要求6所述的显示方法，其特征在于，所述通过Bezier曲线绘制方法，根据所述虚拟中心车道线参数和所述转向辅助预测轨迹参数，将所述虚拟中心车道线和所述转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数的步骤，包括；
采用如下Bezier曲线绘制方法，
x1＝D+θ*π/180*(-z1)+K*(-z1)2+kd*(-z1)3 (1)
x2＝D+θ*π/180*(-z2)+(sin(θ)/(v*M))*(-z2)2+kd*(-z2)3 (2)
其中，拟合方程(1)为所述虚拟中心车道线拟合方程，拟合方程(2)为所述转向辅助预测轨迹线拟合方程，所述拟合方程(2)中使用与方向盘转角θ输入和车速v相关的sin(θ)/(v*M)代替曲率K；其中在拟合转向辅助预测轨迹线时曲率导数值kd为0；M为方向盘转角曲率换算系数；D为车道线与车辆横向中心线间距离；z1为前向摄像头的采样值；z2为算法预设的变量；
得到转向辅助轨迹线参数。
9.一种AR-HUD转向辅助显示系统，其特征在于，基于权利要求1-8中任一项所述的AR-HUD转向辅助显示方法，所述系统包括参数解析模块、坐标转换模块、信号处理及曲线拟合模块以及线条绘制模块，其中
所述参数解析模块，被配置为获取并解析目标视觉检测系统检测到的车道线参数，所述车道线参数包括车道线与车辆横向中心线距离、车道线起始预瞄距离、车道线终止预瞄距离以及本段车道线曲率；
所述坐标转换模块，被配置为将第一坐标系下的所述车道线参数通过车辆坐标系转换到第二坐标系下，其中所述第一坐标系为目标视觉检测系统的坐标系，以车辆横向中心为原点，以车辆行驶方向为X轴正方向，以驾驶员指向副驾驶方向为Y轴正方向，以垂直地面向上为Z轴正方向，所述第二坐标系为渲染程序的坐标系；
所述信号处理及曲线拟合模块，被配置为获取车辆的当前车速；根据所述当前车速大小确定是否绘制虚拟中心车道线，在确定绘制所述虚拟中心车道线的情况下，根据所述车道线参数确定虚拟中心车道线参数；根据所述当前车速确定是否获取下一导航指示信号，在确定获取所述下一导航指示信号的情况下，根据所述当前车速以及所述下一导航指示信号确定是否显示转向辅助轨迹线，在确定显示转向辅助轨迹线的情况下，获取当前前轮转角以及当前方向盘转角，根据所述当前前轮转角、所述当前方向盘转角以及所述车道线参数得到转向辅助预测轨迹线参数；根据所述虚拟中心车道线参数以及所述转向辅助预测轨迹线参数，将虚拟中心车道线和转向辅助预测轨迹线进行拟合，得到转向辅助轨迹线参数；
所述线条绘制模块，被配置为调用渲染程序接口，将所述转向辅助轨迹线参数作为输入，得到转向辅助轨迹线，将该转向辅助轨迹线进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210873060.9A CN115097632B (zh) | 2022-07-22 | 2022-07-22 | 一种ar-hud转向辅助显示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210873060.9A CN115097632B (zh) | 2022-07-22 | 2022-07-22 | 一种ar-hud转向辅助显示方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115097632A CN115097632A (zh) | 2022-09-23 |
| CN115097632B true CN115097632B (zh) | 2024-01-26 |
Family
ID=83298142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210873060.9A Active CN115097632B (zh) | 2022-07-22 | 2022-07-22 | 一种ar-hud转向辅助显示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115097632B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104228583A (zh) * | 2013-06-12 | 2014-12-24 | 丰田自动车株式会社 | 转向辅助显示装置 |
| CN109931944A (zh) * | 2019-04-02 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 一种ar导航方法、装置、车端设备、服务端及介质 |
| CN110641465A (zh) * | 2019-10-25 | 2020-01-03 | 长安大学 | 一种基于车速的车道保持系统和方法 |
| CN112959994A (zh) * | 2021-05-18 | 2021-06-15 | 天津所托瑞安汽车科技有限公司 | 一种路径跟随算法及装置、设备、介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017061230A1 (ja) * | 2015-10-08 | 2017-04-13 | 日産自動車株式会社 | 表示支援装置及び表示支援方法 |
| WO2019119359A1 (en) * | 2017-12-21 | 2019-06-27 | Bayerische Motoren Werke Aktiengesellschaft | Method, device and system for displaying augmented reality navigation information |
| GB2579192B (en) * | 2018-11-22 | 2021-06-23 | Jaguar Land Rover Ltd | Steering assist method and apparatus |
-
2022
- 2022-07-22 CN CN202210873060.9A patent/CN115097632B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104228583A (zh) * | 2013-06-12 | 2014-12-24 | 丰田自动车株式会社 | 转向辅助显示装置 |
| CN109931944A (zh) * | 2019-04-02 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 一种ar导航方法、装置、车端设备、服务端及介质 |
| CN110641465A (zh) * | 2019-10-25 | 2020-01-03 | 长安大学 | 一种基于车速的车道保持系统和方法 |
| CN112959994A (zh) * | 2021-05-18 | 2021-06-15 | 天津所托瑞安汽车科技有限公司 | 一种路径跟随算法及装置、设备、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115097632A (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107554425B (zh) | 一种增强现实车载平视显示器ar-hud | |
| US9690104B2 (en) | Augmented reality HUD display method and device for vehicle | |
| US10183621B2 (en) | Vehicular image processing apparatus and vehicular image processing system | |
| JP5114550B2 (ja) | 車道経過を表示する方法 | |
| CN109353279A (zh) | 一种增强现实车载抬头显示系统 | |
| EP3479356A1 (en) | System and method for identifying a camera pose of a forward facing camera in a vehicle | |
| WO2020125178A1 (zh) | 车辆驾驶提示方法及装置 | |
| US11263758B2 (en) | Image processing method and apparatus | |
| JPWO2011010346A1 (ja) | 運転支援装置 | |
| CN103079902A (zh) | 驾驶支援装置 | |
| US10488658B2 (en) | Dynamic information system capable of providing reference information according to driving scenarios in real time | |
| JP5488303B2 (ja) | 車両用表示装置 | |
| JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
| KR20170060652A (ko) | 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법 | |
| US20220326028A1 (en) | Method and system of vehicle driving assistance | |
| CN108422932B (zh) | 驾驶辅助系统、方法和车辆 | |
| CN112129313A (zh) | 基于惯性测量单元的ar导航补偿系统 | |
| CN115097632B (zh) | 一种ar-hud转向辅助显示方法及系统 | |
| JP2020086956A (ja) | 撮影異常診断装置 | |
| KR102020629B1 (ko) | 증강 현실을 이용하여 헤드업 디스플레이 향상 방법 및 시스템 | |
| CN210139817U (zh) | 汽车增强现实显示系统及汽车 | |
| CN113449582A (zh) | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 | |
| US20230406410A1 (en) | Method for displaying an environment of a vehicle having a coupled trailer, computer program, computing device and vehicle | |
| CN111896024A (zh) | 导航显示的控制方法、装置及ar-hud显示系统 | |
| KR20180026418A (ko) | 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |