CN111854788A - 基于惯性测量单元的ar导航补偿系统 - Google Patents
基于惯性测量单元的ar导航补偿系统 Download PDFInfo
- Publication number
- CN111854788A CN111854788A CN201910355680.1A CN201910355680A CN111854788A CN 111854788 A CN111854788 A CN 111854788A CN 201910355680 A CN201910355680 A CN 201910355680A CN 111854788 A CN111854788 A CN 111854788A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- adas
- time
- lane line
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3635—Guidance using 3D or perspective road maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
- G01C21/3694—Output thereof on a road map
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种基于惯性测量单元的AR导航补偿系统。根据实施例的一种车载导航系统,包括:ADAS数据输入接口;姿态输入接口,能够从惯性测量单元获得车辆俯仰角信息;以及导航计算单元,所述导航计算单元能够用于还原出由ADAS系统识别的ADAS车道线的坐标;所述导航计算单元还能够用于:响应于确定本车在沿路面爬升或下降,在ADAS系统输出数据的T0时刻,基于和T0时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z,并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz;基于Z和Δz,确定T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度。
Description
技术领域
本申请涉及汽车导航系统,尤其涉及一种基于IMU(惯性测量单元)的AR 导航补偿系统。
背景技术
近年来,随着AR(Augmented Reality)技术的发展,汽车行业也逐渐引入了 AR导航的概念。典型的AR导航技术,通过将数字导航信息叠加到实时场景中,与交通状况周边环境进行融合,实现给驾乘者展示增强实景的导航效果。AR导航的一种范例,包括在车载视觉系统(通常基于摄像头)获取的实时场景上添加导航图层(overlay),从而通过可视化信息进行导航指引(例如给出导航箭头),标记 POI位置等,这种导航有时被叫做AR-Camera。AR导航的另一种范例是直接在抬头显示装置(HUD)上叠加各种导航信息,即直接把导航信息叠加到驾驶员的真实视野中,这种导航有时被叫作AR-HUD。
在驾驶辅助领域和自动驾驶领域已有的另一个概念是ADAS。ADAS的全称是高级驾驶者辅助系统(Advanced Driver Assistance Systems)。通俗来说,ADAS 利用安装在车上的各式各样的传感器收集数据,并结合地图数据进行系统计算,从而预先为驾驶者判断可能发生的危险,保证行车的安全性。ADAS系统使用的传感器通常会包括摄像单元和雷达等。
图1显示了包含AR导航和ADAS二者的车载信息娱乐系统的典型应用。 ADAS单元包括摄像头和相应的信息处理部件,该单元可以被安装在车内后视镜位置,使摄像头朝向道路前方。ADAS单元处理由摄像头摄取的信息,然后可将生成的ADAS信息输出给行车电脑。
图1的应用中同时也可包括基于AR-Camera的方案。该方案中,为了满足AR 应用,车上可另配备高性能摄像头(可将之称为AR摄像头),AR摄像头捕获车前的实景信息,然后传递给行车电脑,由行车电脑中的AR导航算法加以处理。 ADAS单元的摄像头和AR摄像头通常是两个分开的部件,AR摄像头有更好的清晰度和帧率以满足实景导航的需要,而ADAS单元的摄像头仅需满足ADAS检测算法的需要,其图像甚至可以是黑白的。例如,行车电脑中的AR导航算法将AR 摄像头获取的图像信息转换为RGB的二维图像,并经适当的视角转换,最后显示在车辆的中控显示或仪表盘显示上,如图2A所示。
在基于AR-HUD的方案中,行车电脑(ECU)对根据需要确定叠加图层中各指示信息的坐标,最后在挡风玻璃的适当位置上投射显示叠加图层,如图2B所示。
在具备AR导航系统和ADAS系统的车辆中,已经尝试将AR导航和ADAS 系统两套系统整合。例如,一种增强AR导航系统整合利用AR摄像头的输出和 ADAS系统的输出,具体而言,基于ADAS系统的输出得到数据信息(例如,车道线,前方障碍物距离等),然后利用行车电脑将数据信息计算成安全提示信息,最后在对应的实景RGB图像上叠加包含ADAS安全提示信息的图层,并将叠加后的图像输出在中控显示或仪表盘显示上。图2A显示了将ADAS安全提示信息叠加到AR摄像头图像上并输出的示例性效果图。图2B显示了将ADAS安全提示信息直接投射到挡风玻璃上的示例性效果图。ADAS安全提示信息的一个实例是车道线,业内的技术已经可以做到把ADAS检测到的车道线重新绘制出来并叠加在AR 导航实景输出上。图3A显示了这种叠加后的效果。
某些AR实景导航还可以做到当车辆在上坡和下坡时,在AR实景的二维图像输出中也考虑前方路段相对本车的高度变化,从而在AR实景的二维图像输出中表现出前方路段正在抬升/下降的视觉效果。例如,在下坡时,前方路段相对本车的高度是不断降低的,基于该递减的高度值,可把前方路段绘制为逐渐移向二维图像的下方;同样,在上坡时,前方路段相对于本车的高度越来越高,基于该递增的高度值,可把前方路段绘制为逐渐移向二维图像的上方。AR导航的这种为摄像头捕获的前方景物制造“上坡/下坡”视觉效果的能力是业内技术已经能够实现的,在此不作赘述。
如果要把ADAS检测出的车道线也叠加到这种具备“上坡/下坡”视觉效果的二维图像上,可能遇到一些问题。ADAS系统通常会以一定数据格式输出检测到的车道线,使得外部设备可以基于该数据还原出车道线。然而,ADAS系统输出的数据格式中往往是不含车道线坐标点的相对高度信息的,如果缺乏高度信息,则车道线所在图层并不能基于高度信息产生“上坡/下坡”视觉效果。此外,ADAS的输出帧率往往低于AR实景导航的刷新帧率。例如,典型ADAS系统的输出帧率为 18帧/s,即每55ms会收到一帧ADAS输出数据,而在此期间AR摄像头捕获的图像已刷新多次。因此,在针对每个输出的ADAS车道线计算高度信息后,倘若该高度信息得不到及时更新(更新频率跟不上AR实景导航的属性帧率),那么也会导致显示的车道线和实际路面状况的不匹配。
图3B显示了一种车道线和路面不匹配的情况。如图3B所示,车辆正在上坡,但前方上坡已经快要结束。由于系统在绘制车道线时没有将其高度信息考虑进去,因此导致二维图像中显示出车道线过长,造成了车道线脱离路面伸向天空的效果。
因此,在将ADAS信息整合到AR导航方案中时,希望能有更加有效的算法,来解决ADAS车道线高度信息更新不及时/缺乏补偿的问题。
发明内容
本申请提出一种AR导航系统,该系统利用车上的惯性测量单元(IMU),地图数据,使得AR导航系统可以将ADAS系统的输出信息正确有效地叠加到AR实景上。
根据本方面的一个方面,提供一种车载导航系统,包括:ADAS数据输入接口,能够从ADAS系统获取ADAS数据;姿态输入接口,能够从惯性测量单元获得车辆的姿态信息,所述姿态信息包括车辆俯仰角信息;以及导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS系统识别的ADAS车道线的坐标;所述导航计算单元还能够用于:基于车辆俯仰角信息确定本车在沿路面爬升或下降;响应于确定本车在沿路面爬升或下降,在ADAS系统输出数据的 T0时刻,基于和T0时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z,并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz;基于Z和Δz,确定T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度。
上述车载导航系统的方案中,所述ADAS系统输出ADAS数据的时间间隔大于Δt。
上述车载导航系统的方案中,在T0时刻后,当所述ADAS系统在T1时刻再度输出ADAS数据时,重新基于和T1时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z,并将Δz重置为零。
上述车载导航系统的方案中,通过以下方式计算和T0时刻对应的车道线坐标相对于本车的高度Z:确定ADAS车道线坐标点相对于本车的纵向距离;以及将所述纵向距离乘以俯仰角的正弦值。
上述车载导航系统的方案中,通过以下方式计算车辆因爬升或下降导致的在 T0时刻后的Δt时间内的车辆高度增量Δz:确定车辆在单位时间内的前进距离;对前进距离进行时间积分,以得到在Δt时间内车辆的前进距离;将所述前进距离乘以车辆俯仰角的正弦值,计算出Δt时间内车辆高度变化量Δz。
上述车载导航系统的方案中,通过以下方式确定车辆在单位时间内的前进距离:根据里程计得到的单位时间内车辆的行驶距离s;将s投影于地图数据输出的道路上得到车辆的前进距离s’;对前进距离s’进行时间积分得到Δt时间内车辆的前进距离。
上述车载导航系统的方案中,车辆爬坡时,Z为正值,车辆下坡时,Z为负值,Δz始终为正值,爬坡时,T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z-Δz,下坡时,T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z+Δz。
上述车载导航系统的方案中,所述导航计算单元还能够用于:在车辆爬坡或下坡时刻,基于高度信息的变化显示前方为上坡路段或下坡路段的视觉效果。
上述车载导航系统的方案中,所述车载导航系统还包括实景数据输入接口,能够从摄像头获取实景数据。
上述车载导航系统的方案中,所述T0+Δt时刻对应于所述车载导航系统基于实景数据来刷新其导航图像输出的时刻。
根据本方面的一个方面,提供一种车载导航系统,包括:ADAS数据输入接口,能够从ADAS系统获取ADAS数据;姿态输入接口,能够从惯性测量单元获得车辆俯仰角信息;以及车载计算单元,所述车载计算单元能够用于基于所述 ADAS数据还原出由ADAS系统识别到的ADAS对象的坐标;所述车载计算单元还能够用于:基于车辆俯仰角信息确定本车在沿路面爬升或下降;响应于确定本车在沿路面爬升或下降,在ADAS系统输出数据的T0时刻,基于和T0时刻对应的 ADAS对象与车辆俯仰角计算出ADAS对象各坐标点相对于本车的高度Z,并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz;基于Z 和Δz,确定T0+Δt时刻ADAS对象各坐标点相对于本车的实际高度。
上述车载导航系统的方案中,所述由ADAS系统识别到的ADAS对象包括以下各项中的至少一项:车道线,路面障碍物,基于车道线的ADAS提示;基于路面障碍物的ADAS提示。
附图说明
包括附图是为提供对本发明进一步的理解,它们被收录并构成本申请的一部分,附图示出了本发明的实施例,并与本说明书一起起到解释本发明原理的作用。附图中:
图1是包含ADAS系统和AR导航系统的车上信息系统示意图。
图2A是将ADAS安全提示信息叠加到AR摄像头图像上并输出的示例性效果图。
图2B是将ADAS安全提示信息叠加到挡风玻璃上并输出的示例性效果图。
图3A显示将ADAS车道线叠加到AR摄像头图像后输出的示例性效果图。
图3B显示在车辆上坡时,因ADAS车道线的高度信息更新不及时导致的车道线显示问题。
图4示例性地显示ADAS单元所输出的识别结果信息。
图5示例性地显示两种车体坐标系。
图6A是根据本发明的实施例的用于获得车道线各坐标高度信息的示例性过程。
图6B是根据本发明的实施例的获得车辆一定时间内高度信息变化量的实例过程。
图7是可以采用本申请所提出的技术的车载信息娱乐系统的示例性架构。
具体实施方式
在以下的描述中,参考各实施例对本发明进行描述。然而,本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中,未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地,为了解释的目的,阐述了特定数量、材料和配置,以便提供对本发明的实施例的全面理解。然而,本发明可在没有特定细节的情况下实施。此外,应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
作为示例性说明,首先描述从ADAS数据获得车道线坐标的原理。典型的 ADAS单元可以对自身摄像头获得的前方图像进行分析,并识别出车道线,前方障碍物等。ADAS单元将识别结果以一定的数据格式输出。图4示例性地显示ADAS 单元所输出的识别结果信息。如图4所示,ADAS单元可将车道线识别结果输出的一种数据格式是车道线范围和车道线计算参数,其中,车道线范围表征的是ADAS 识别的车道线延伸到前方多远,而车道线计算参数则用于绘制出车道线,例如,在二维图像坐标系中,基于方程式y=f(x),并以ADAS单元提供的车道线计算参数为方程式的系数,计算机可以实时绘制出车道线的曲线。
仅作为示例,ADAS单元可基于下述车道线方程y=f(x)来描述某根车道线位置:
y=a0+a1*x+a2*x2+a3*x3
y轴和x轴可以对应于自车坐标系,其中x轴对应车辆前后方向,y轴对应车辆左右方向,其可以是车体坐标系,或是基于车体坐标系平移的坐标系。图5给出两种示例性的车体坐标系。
上述车道线方程中,例如,α0是视角到车道线距离,α1是偏航角的正切值,α2是车道线曲率/2,α4是车道线曲率变化率/6,这些系数都是由ADAS单元给出的,并且,这些系数的含义都是由ADAS系统定义的。
上述系数和上述方程仅仅作为示例。实际上,取决于车道线的不同(左车道线还是右车道线),以及ADAS本身采取的算法和定义,车道线方程会有多种表达方式。
从以上示例可以看出,尽管基于ADAS单元的输出,可以在二维图像空间内绘制出由ADAS识别出的车道线,但是ADAS单元的输出并没有给出车道线的高度信息。对于车辆上坡/下坡的情况,在绘制车道线时,需要以适当方式重构车道线相对本车的高度,且因为车辆始终在不断前进,车道线相对本车的高度也是不断变化的,在每次更新AR实景输出时,如果没有重新重构车道线相对本车的高度,那就需要对其上次重构的高度进行补偿。
根据本发明的一个实施例,AR导航系统和IMU以及ADAS系统之间存在数据耦合,基于来自IMU和ADAS的信息还原出ADAS车道线相对本车的实时高度信息。更具体的,AR导航系统可通过IMU、里程计和地图数据获得道路属性(路面曲率),计算出一定时间内车辆的上升高度,进一步计算出车道线高度与本车辆之间的高度差,从而解决ADAS单元帧率低而导致的车道线高度信息滞后于实际场景的问题。
图6A是根据本发明的实施例的用于获得车道线各坐标高度信息的示例性过程,图6B是根据本发明的实施例用于获得车辆一定时间内高度信息变化量的示例过程。如图6A和6B所示,AR导航系统可以根据IMU得到车体姿态信息,车体姿态信息中包括俯仰角θ,即,车辆在车体坐标系(例如,SAE坐标系)中绕Y 轴旋转的角度。更具体的,俯仰角θ由IMU中的三轴陀螺仪给出。
当车体姿态信息中的俯仰角θ超过一定正值,表明车辆正在爬坡。当车体姿态信息中的俯仰角θ超过一定负值,表明车辆正在下坡。判定车辆在爬坡/下坡时,AR导航系统可以为AR摄像头图像重构高度信息,使得AR实景输出具有爬坡/下坡的视觉效果。同时,可以为ADAS车道线启动高度补偿算法。
作为示例,本发明的实施例基于下述方法在车辆爬坡/下坡时进行ADAS车道线的高度补偿:
1)从ADAS系统中获取车道线信息,该时刻记为T0;记T1为ADAS输出下一帧车道线信息的时刻;记T0和T1间某时刻相对于T时刻的时间差为Δt。
2)从IMU中获取车辆俯仰角,从而计算出T0时刻车道线坐标离车辆的高度距离Z(图6A)。具体来说,可确定T0时刻车道线坐标点相对于本车的纵向距离,然后将该纵向距离乘以俯仰角θ的正弦。
3)根据里程计得到的单位时间内车辆的行驶距离s,将s投影于地图数据输出的道路上得到车辆的前进距离s’(车辆因变道、走曲线等原因,可导致行驶距离超过前进距离),对前进距离s’进行时间积分得到Δt时间内车辆的前进距离Sself。
4)利用车辆俯仰角及车辆前进距离Sself计算出Δt时间内车辆高度变化Δz。
5)利用T0时刻车道线坐标离车辆的高度距离减去Δt时间内车辆自身高度变化Δz,得到T+Δt时刻车道线坐标的实际高度,该实际高度的数值的大小为Z的绝对值减去Δz的绝对值,由此为ADAS车道线的各坐标重构了高度值。
上述实施例中,ADAS系统输出ADAS数据的时间间隔大于Δt,因此在T0+Δt 的时间内,导航系统根据上述实施例的方式为ADAS车道线的各坐标重构高度值。当ADAS系统在下一个时刻,例如T1,再度输出ADAS数据时,则可将Δz置为零,根据新的时刻和新的ADAS数据来重复步骤1)-5)。
上述实施例中,车载导航系统的输出刷新率高于ADAS的输出刷新率,因此, T0+Δt时刻可对应于所述车载导航系统基于实景数据来刷新其导航图像输出的时刻。
在根据本发明的实施例为ADAS车道线的各坐标实时重构了高度值后,基于根据ADAS输出算得的x值、y值,加上重构的高度值,就可以始终将ADAS车道线在二维图像中表现为具备和路面的实际情况较为吻合的上坡/下坡视觉效果。
对应于上述算法,本申请的实施例由此揭示了一种车载导航系统,其包括ADAS 数据输入接口,姿态输入接口,并包括导航计算单元,从而实现上述的高度补偿算法。这种车载导航系统还可以实景数据输入接口,能够从摄像头获取实景数据,并将ADAS车道线的图形化表示叠加到摄像头实景图像上,作为增强导航画面输出。
上述实施例中,展示ADAS车道线的二维图层可以叠加在AR Camera导航的实景输出中。作为另一种方案,展示ADAS车道线的二维图层可以借助抬头显示 (HUD)技术直接投影到挡风玻璃上,此时,没有基于AR Camera的实景输出步骤,但仍可在车辆爬坡/下坡时基于重构的高度信息对ADAS车道线的二维图形加以处理,使其具备爬坡/下坡效果。
上述实施例中,从里程计获得单位时间的位移量的方式是现有技术中已有的,从导航地图出取得车道曲率的方式是现有技术中已有的。
以上描述了根据本发明的车道线高度补偿和校正方案的示例性算法。可以理解,尽管以车道线为示例,但是本发明可以适用于任何其他由ADAS单元输出横向和纵向坐标,但高度信息缺失的ADAS对象,例如,路面障碍物,基于车道线的ADAS提示,基于路面障碍物的ADAS提示。
本发明的方案可以以软件、硬件或软硬件结合的方式集成到现有车载信息娱乐系统的示例性架构中。图7是可以采用本申请所提出的技术的车载信息娱乐 (infotainment)系统的示例性架构。本发明的高度补偿方案可主要基于该架构中的IMU 710、ADAS单元720、和处理模块730来实现,并和该架构中已有的其他功能相兼容/融合。尽管在该示例性架构中以功能为基准列出了诸多模块,但这些模块仅作为示例,在车载信息娱乐系统的具体实现时,可以包含所列模块中的一部分,也可以包含更多的模块。在合适的技术条件下,某些模块可以更改为在车辆外部实现(例如,在云端服务器实现),或是在车上人员携带的设备上实现(例如在驾乘人员的手机上实现),但这些外部设备和车载信息娱乐系统有通信上的耦合关系。
本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。本申请的上下文中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/ 或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请实施例的精神和范围。
Claims (12)
1.一种车载导航系统,包括:
ADAS数据输入接口,能够从ADAS系统获取ADAS数据;
姿态输入接口,能够从惯性测量单元获得车辆的姿态信息,所述姿态信息包括车辆俯仰角信息;以及
导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS系统识别的ADAS车道线的坐标;
所述导航计算单元还能够用于:
基于车辆俯仰角信息确定本车在沿路面爬升或下降;
响应于确定本车在沿路面爬升或下降,在ADAS系统输出数据的T0时刻,基于和T0时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z,并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz;
基于Z和Δz,确定T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度。
2.如权利要求1所述的车载导航系统,其特征在于,所述ADAS系统输出ADAS数据的时间间隔大于Δt。
3.如权利要求1所述的车载导航系统,其特征在于,在T0时刻后,当所述ADAS系统在T1时刻再度输出ADAS数据时,将Δz重置为零,并重新基于和T1时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z。
4.如权利要求1所述的车载导航系统,其特征在于,通过以下方式计算和T0时刻对应的车道线坐标相对于本车的高度Z:
确定ADAS车道线坐标点相对于本车的纵向距离;以及
将所述纵向距离乘以车辆俯仰角的正弦值。
5.如权利要求1所述的车载导航系统,其特征在于,通过以下方式计算车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度增量Δz:
确定车辆在单位时间内的前进距离;
对前进距离进行时间积分,以得到在Δt时间内车辆的前进距离;
将所述前进距离乘以车辆俯仰角的正弦值,计算出Δt时间内车辆高度变化量Δz。
6.如权利要求5所述的车载导航系统,其特征在于,通过以下方式确定车辆在单位时间内的前进距离:
根据里程计得到的单位时间内车辆的行驶距离s;
将s投影于地图数据输出的道路上得到车辆的前进距离s’;
对前进距离s’进行时间积分得到Δt时间内车辆的前进距离。
7.如权利要求1所述的车载导航系统,其特征在于,
车辆爬坡时,Z为正值,车辆下坡时,Z为负值,
Δz始终为正值,
爬坡时,T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z-Δz,下坡时,T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z+Δz。
8.如权利要求1所述的车载导航系统,其特征在于,所述导航计算单元还能够用于:在车辆爬坡或下坡时刻,基于高度信息的变化显示前方为上坡路段或下坡路段的视觉效果。
9.如权利要求1所述的车载导航系统,其特征在于,所述车载导航系统还包括实景数据输入接口,能够从摄像头获取实景数据。
10.如权利要求9所述的车载导航系统,其特征在于,所述T0+Δt时刻对应于所述车载导航系统基于实景数据来刷新其导航图像输出的时刻。
11.一种车载导航系统,包括:
ADAS数据输入接口,能够从ADAS系统获取ADAS数据;
姿态输入接口,能够从惯性测量单元获得车辆俯仰角信息;以及
车载计算单元,所述车载计算单元能够用于基于所述ADAS数据还原出由ADAS系统识别到的ADAS对象的坐标;
所述车载计算单元还能够用于:
基于车辆俯仰角信息确定本车在沿路面爬升或下降;
响应于确定本车在沿路面爬升或下降,在ADAS系统输出数据的T0时刻,基于和T0时刻对应的ADAS对象与车辆俯仰角计算出ADAS对象各坐标点相对于本车的高度Z,并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz;
基于Z和Δz,确定T0+Δt时刻ADAS对象各坐标点相对于本车的实际高度。
12.如权利要求11所述的车载导航系统,其特征在于,所述由ADAS系统识别到的ADAS对象包括以下各项中的至少一项:车道线,路面障碍物,基于车道线的ADAS提示;基于路面障碍物的ADAS提示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910355680.1A CN111854788B (zh) | 2019-04-29 | 2019-04-29 | 基于惯性测量单元的ar导航补偿系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910355680.1A CN111854788B (zh) | 2019-04-29 | 2019-04-29 | 基于惯性测量单元的ar导航补偿系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111854788A true CN111854788A (zh) | 2020-10-30 |
CN111854788B CN111854788B (zh) | 2023-09-01 |
Family
ID=72966411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910355680.1A Active CN111854788B (zh) | 2019-04-29 | 2019-04-29 | 基于惯性测量单元的ar导航补偿系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111854788B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112781620A (zh) * | 2020-12-30 | 2021-05-11 | 东风汽车集团有限公司 | 一种基于高精度地图系统的ar-hud影像标定调整系统及方法 |
CN114659527A (zh) * | 2022-03-30 | 2022-06-24 | 北京理工大学 | 一种基于惯性测量单元补偿的车道线光学测距方法 |
CN117877001A (zh) * | 2024-01-19 | 2024-04-12 | 元橡科技(北京)有限公司 | 障碍物识别方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007055365A (ja) * | 2005-08-23 | 2007-03-08 | Denso Corp | 車両用表示装置 |
CN101915672A (zh) * | 2010-08-24 | 2010-12-15 | 清华大学 | 车道偏离报警系统的测试装置及测试方法 |
JP2013183311A (ja) * | 2012-03-02 | 2013-09-12 | Isuzu Motors Ltd | 車載カメラの姿勢角推定装置及び検出システム |
CN104036279A (zh) * | 2014-06-12 | 2014-09-10 | 北京联合大学 | 一种智能车行进控制方法及系统 |
CN106441319A (zh) * | 2016-09-23 | 2017-02-22 | 中国科学院合肥物质科学研究院 | 一种无人驾驶车辆车道级导航地图的生成系统及方法 |
CN107521411A (zh) * | 2017-07-18 | 2017-12-29 | 吉林大学 | 一种辅助驾驶员的车道级导航增强现实装置 |
CN108177524A (zh) * | 2017-12-22 | 2018-06-19 | 联创汽车电子有限公司 | Arhud系统及其车道线绘制方法 |
CN108204822A (zh) * | 2017-12-19 | 2018-06-26 | 武汉极目智能技术有限公司 | 一种基于adas的车辆ar导航系统及方法 |
CN108413932A (zh) * | 2018-03-07 | 2018-08-17 | 张天骏 | 汽车导航系统高度信息识别探测方法 |
-
2019
- 2019-04-29 CN CN201910355680.1A patent/CN111854788B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007055365A (ja) * | 2005-08-23 | 2007-03-08 | Denso Corp | 車両用表示装置 |
CN101915672A (zh) * | 2010-08-24 | 2010-12-15 | 清华大学 | 车道偏离报警系统的测试装置及测试方法 |
JP2013183311A (ja) * | 2012-03-02 | 2013-09-12 | Isuzu Motors Ltd | 車載カメラの姿勢角推定装置及び検出システム |
CN104036279A (zh) * | 2014-06-12 | 2014-09-10 | 北京联合大学 | 一种智能车行进控制方法及系统 |
CN106441319A (zh) * | 2016-09-23 | 2017-02-22 | 中国科学院合肥物质科学研究院 | 一种无人驾驶车辆车道级导航地图的生成系统及方法 |
CN107521411A (zh) * | 2017-07-18 | 2017-12-29 | 吉林大学 | 一种辅助驾驶员的车道级导航增强现实装置 |
CN108204822A (zh) * | 2017-12-19 | 2018-06-26 | 武汉极目智能技术有限公司 | 一种基于adas的车辆ar导航系统及方法 |
CN108177524A (zh) * | 2017-12-22 | 2018-06-19 | 联创汽车电子有限公司 | Arhud系统及其车道线绘制方法 |
CN108413932A (zh) * | 2018-03-07 | 2018-08-17 | 张天骏 | 汽车导航系统高度信息识别探测方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112781620A (zh) * | 2020-12-30 | 2021-05-11 | 东风汽车集团有限公司 | 一种基于高精度地图系统的ar-hud影像标定调整系统及方法 |
CN112781620B (zh) * | 2020-12-30 | 2022-03-18 | 东风汽车集团有限公司 | 一种基于高精度地图系统的ar-hud影像标定调整系统及方法 |
CN114659527A (zh) * | 2022-03-30 | 2022-06-24 | 北京理工大学 | 一种基于惯性测量单元补偿的车道线光学测距方法 |
CN117877001A (zh) * | 2024-01-19 | 2024-04-12 | 元橡科技(北京)有限公司 | 障碍物识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111854788B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6956503B2 (en) | Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method | |
CN108367710B (zh) | 俯瞰影像生成装置、俯瞰影像生成系统、以及存储介质 | |
EP2485203B1 (en) | Vehicle-surroundings monitoring device | |
CN108162974B (zh) | 使用道路角度数据的车辆控制 | |
CN111854788B (zh) | 基于惯性测量单元的ar导航补偿系统 | |
US11945309B2 (en) | Display system | |
US10891791B2 (en) | Detection and visualization of system uncertainty in the representation of augmented image content in heads-up displays | |
CN112129313A (zh) | 基于惯性测量单元的ar导航补偿系统 | |
CN109345591B (zh) | 一种车辆自身姿态检测方法和装置 | |
DE102020101837A1 (de) | Verfahren und Vorrichtung zur Ermittlung des Zustands eines Fahrzeugs | |
EP4034841A1 (en) | Method and system of vehicle driving assistance | |
WO2004048895A1 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
JP7183729B2 (ja) | 撮影異常診断装置 | |
WO2021095590A1 (ja) | 表示制御装置 | |
EP3968630A1 (en) | Gradient change detection system, display system using this, and program for moving body | |
CN111325836A (zh) | 生成地形的三维表示的方法、计算机程序产品和装置 | |
JP2018041270A (ja) | 走行情報表示システム | |
JP6891863B2 (ja) | 表示制御装置および表示制御プログラム | |
CN111649745B (zh) | 电子设备的姿态估计方法、装置、电子设备和存储介质 | |
WO2020241094A1 (ja) | 表示システム | |
CN111896024A (zh) | 导航显示的控制方法、装置及ar-hud显示系统 | |
EP4435739A1 (en) | Method and system for associating environment perception data with data indicative of a friction condition, computer program, computer-readable storage medium, data processing apparatus, vehicle, environment perception data and use thereof | |
US20230162634A1 (en) | Image display system | |
CN117121476A (zh) | 驾驶辅助方法和系统 | |
CN118397101A (zh) | 一种相机外参的校正方法、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |