CN116524013A - 抬头显示方法、装置及计算机可读存储介质 - Google Patents
抬头显示方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116524013A CN116524013A CN202310496297.4A CN202310496297A CN116524013A CN 116524013 A CN116524013 A CN 116524013A CN 202310496297 A CN202310496297 A CN 202310496297A CN 116524013 A CN116524013 A CN 116524013A
- Authority
- CN
- China
- Prior art keywords
- target
- coordinate data
- head
- coordinate
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013507 mapping Methods 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Instrument Panels (AREA)
Abstract
本发明公开了一种抬头显示方法、装置及计算机可读存储介质。该方法包括:通过预设的实时图像获取装置获取车辆前端的目标图像;使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据;将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据;将所述目标坐标数据发送给抬头显示装置,以使所述抬头显示装置根据所述目标坐标数据对所述目标物体进行抬头显示。通过本发明的技术方案,能够降低算力实现抬头显示,降低了车辆基于目标物体的位置信息生成待显示图像,并通过抬头显示装置进行显示的算力要求,简化了抬头显示工作的计算流程,节省了抬头显示的使用成本。
Description
技术领域
本发明涉及抬头显示领域,尤其涉及一种抬头显示方法、装置及计算机可读存储介质。
背景技术
抬头显示,又称HUD(head up display,平视显示系统),是指以车辆驾驶员为中心、盲操作、多功能仪表盘。HUD可以把时速、导航等重要的行车信息,投影到驾驶员前面的风挡玻璃上,让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的驾驶信息。
现有的一些HUD显示技术是通过ADAS(Automatic Data Acquisition System,自动数据采集系统)、雷达等获取到车辆行驶前方的环境信息,再基于获取到的环境信息进行图像显示。
发明人在实现本发明的过程中,发现现有技术存在如下问题:ADAS对算力要求较高,导致HUD显示图像的帧率较低,且现有技术在进行抬头显示时还需要安装有关ADAS识别的硬件设施,使安装成本增加,安装难度加大,造成了更多的资源浪费。
发明内容
本发明提供了一种抬头显示方法、装置及计算机可存储介质,可以实现在车辆配置的显示设备上实现了对实时图像获取装置所拍摄的带有目标物体的目标图像的抬头显示,降低了实现对车辆前端的车辆、行人等实现碰撞预警信息的抬头显示的算力要求,简化了抬头显示工作的计算流程,节省了抬头显示的使用成本。
根据本发明的一方面,提供了一种抬头显示方法,包括:
通过预设的实时图像获取装置获取车辆前端的目标图像;
使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据;
将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据;
基于所述目标坐标数据和与所述目标物体对应的预设显示元素生成待显示图像,并且通过抬头显示装置进行显示。
可选的,使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据,包括:
通过所述预设算法模型对目标图像上的至少一个目标物体进行识别;
通过所述预设算法模型对全部被识别的目标物体进行坐标计算,得到目标物体在目标图像中的待转换坐标数据。
这样设置的好处在于:通过使用预设算法模型直接可以获得目标物体在目标图像中的坐标信息,方便直接对所述坐标信息进行数据处理,从而相对于现有技术的通过ADAS识别来说,简化了计算流程,节约了算力资源。
可选的,所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,包括:将所述预先确定的映射关系中,所述待转换坐标数据对应的坐标数据确定为目标坐标数据。
其中,将所述预设的映射关系中所述待转换坐标数据对应的坐标数据确定为目标坐标数据,包括:
对于所述待转换坐标数据中的任一坐标值,从所述预先确定的映射关系中查找所述坐标值对应的目标坐标值;
根据所有的所述目标坐标值确定目标坐标数据。
这样设置的好处在于:通过预设的映射关系可以直接将待转换坐标数据转换为目标坐标数据,不需要经过现有技术中的将水平距离、垂直距离转换到真实世界坐标系中的距离与长宽,再根据现实世界到抬头显示计算公式的过程,简化了计算流程,节约了算力资源。
可选的,将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,包括:
对于所述待转换坐标数据中的任一坐标值,将所述坐标值输入到所述坐标转换公式中进行计算,得到输出的目标坐标值;
根据所有的所述目标坐标值确定目标坐标数据。
这样设置的好处在于:通过预设的映射关系可以直接将待转换坐标数据转换为目标坐标数据,不需要经过现有技术中的将水平距离、垂直距离转换到真实世界坐标系中的距离与长宽,再根据现实世界到抬头显示计算公式的过程,简化了计算流程,节约了算力资源。
可选的,通过预设的实时图像获取装置获取目标图像之前,所述方法还包括:
获取预设的实时图像获取装置的坐标配置信息以及抬头显示装置的坐标系配置信息;
基于预设的算法,以及实时图像获取装置的坐标配置信息以及抬头显示装置的坐标系配置信息,得到所述实时图像获取装置的坐标系配置信息以及抬头显示装置的坐标系配置信息的映射关系。
这样设置的好处在于:在车辆装配完成后即可获得坐标之间的对应关系,在实现抬头显示的过程中无需在对所述映射关系进行重复的获取与计算,直接通过映射关系获取目标坐标数据即可,简化了计算流程,节约了算力资源。
可选的,所述预设显示元素包括:前车碰撞预警标识以及行人碰撞预警标识的至少一种。
这样设置的好处在于:通过预先设置前车碰撞预警标识以及行人碰撞预警标识,并将所述预设显示元素在待显示图像中进行显示,可以起到对车辆前方的目标物体进行增强显示的目的,能够更好的提示驾驶员车辆前方的目标物体的位置,从而便于驾驶员根据目标物体的位置信息为车辆的动作改变进行准备。
根据本发明的第二方面,提供了一种车辆前端碰撞预警的系统,包括:实时图像获取装置、控制器和抬头显示器;
所述实时图像获取装置与所述控制器相连接,用于获取目标图像,并将所述目标图像发送给所述控制器;
所述控制器用于使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据,以及,将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,并将所述目标坐标数据发送给所述抬头显示器;
所述抬头显示器与所述控制器相连接,用于接收所述目标坐标数据,并根据所述目标坐标数据对所述目标物体进行抬头显示。
第三发明面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的抬头显示方法。
本发明实施例的技术方案,通过采用实时图像获取装置获取车辆前端的目标图像,并且利用预设算法模型识别目标物体的待转换坐标,在基于预先确定的映射关系进行转换,得到目标坐标数据,使抬头显示装置根据该目标坐标数据进行抬头显示,该映射关系的确定能够在少量计算量的前提下得到抬头显示的目标坐标数据,解决了现有技术中算力需求较高的问题,起到了低算力实现抬头显示的有益效果。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的一种抬头显示方法的流程图;
图2是根据发明实施例提供的方法得到的一种抬头显示方法的流程图;
图3是根据本发明实施例一提供的一种抬头显示方法的流程图;
图4是根据本发明实施例一提供的方法得到的一种HUD的硬件连接的架构图;
图5是根据本发明实施例一提供的方法得到的一种HUD装置显示内容的示意图;
图6是根据本发明实施例一提供的方法得到的一种实车标定过程中HUD显示内容的示意图;
图7是根据本发明实施例一提供的方法得到的一种实车标定过程中的标定结果的示意图;
图8是根据本发明实施例一提供的方法得到的一种中心投影变换的方法示意图;
图9是根据本发明实施例一提供的方法得到的一种抬头显示方法的具体实施场景的场景图;
图10是根据本发明实施例二提供的一种抬头显示系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本发明的各实施例,首先将现有技术中的抬头显示的方法进行简单介绍。
请参阅图1,图1是现有技术中的一种抬头显示方法的流程图,如图1所示,在现有技术中,车辆在完成前端画面的抬头显示时,第一步,需要通过图像采集设备获取包含目标对象的图像。
第二步,根据目标对象的图像确定出待增强显示的目标对象,其中,目标对象具有预设的尺寸、离地高度、距离前车距离、相对于驾驶轴线的偏移量、偏置常量以及HUD将显示的目标对象通过成像结构反射至预定区域内;其中,所述偏置常量为可以使与所述目标对象对应的全部数据的数值统一为正数的常量;进一步的,驾驶员的眼镜在预定区域内所观看到的具有增强显示效果的目标对象在真实世界中的位置信息。
第三步,根据目标对象在真实世界中的位置信息、目标对象的预设尺寸、离地高度、距离前车距离、相对于驾驶轴线的偏移量以及HUD光学系统参数,得到HUD将增强显示的目标对象在成像结构呈现的虚像中的位置信息,以根据该位置信息生成待显示图像,并通过抬头显示装置进行显示。
上述的现有技术在使用ADAS识别前车目标信息并进行采集时,对车辆的算力要求较高,且现有技术在通过抬头显示装置进行显示时还需要安装有关ADAS识别的硬件设施,使安装成本增加,安装难度加大,造成了更多的资源浪费。
而在本发明提供的抬头显示方法中,如图2所示,图2是根据发明实施例提供的一种抬头显示方法的流程图,只需要获取包含目标物体的目标图像,之后根据预设的世界坐标与像素坐标的坐标转换模型以及通过坐标转换模型获取的世界坐标与像素坐标之间的映射关系对目标图像进行处理,即可根据目标图像所对应的预设显示元素在像素坐标系中的位置信息,从而基于该位置信息生成待显示图像,并通过抬头显示装置进行显示。其中,像素坐标系具体是指HUD的画面坐标系。
实施例一
图3为本发明实施例一提供的一种抬头显示方法的流程图,本实施例可适用于对车辆前端的图像进行抬头显示的情况;其中,所述车辆前端的图像可以为通过安装于车辆前端的图像获取装置实时获取到的、包含有车辆前方路况信息的图像,该方法可以由抬头显示装置来执行,该抬头显示装置可以采用硬件的形式实现,该抬头显示装置可配置于具有抬头显示功能的车辆中。如图3所示,该方法包括:
步骤301、获取车辆前端的目标图像。
其中,所述目标图像可以通过安装在车辆前端的实时图像获取装置获取;进一步的,所述实时图像获取装置可以为安装于车辆前端的,具有采集图像功能的电子设备,如实时摄像头等;进一步的,目标图像可以为通过实时图像获取装置采集的,包含有至少一个物体图像的实时图像;具体的,物体图像可以包括车辆前方或侧方其余车辆的图像、道路、建筑物、以及车辆前方的行人或物品的图像等,本实施例对物体图像的种类和格式不做限制。
具体的,所述目标对象可以为实时图像获取装置可拍摄到的车辆前方的行人或车辆。
另外,在本步骤301之前,本实施例的方法还可以包括:获取预设的实时图像获取装置的坐标配置信息以及抬头显示装置的坐标系配置信息;基于预设的算法,以及实时图像获取装置的坐标配置信息以及抬头显示装置的坐标系配置信息,得到实时图像获取装置的坐标系配置信息以及抬头显示装置的坐标系配置信息的映射关系。
本领域技术人员应可知,在车辆的实时图像获取装置被安装于车辆前端之后,由于实时图像获取装置被固定,则会根据装置本身的位置信息确定实时图像获取装置的坐标原点位置,基于该坐标远点位置,实时图像获取装置可以生成匹配于该设备摄像头视角的坐标配置信息。
其中,抬头显示装置可以为HUD显示装置;相应的,HUD的硬件连接架构如图4所示,图4是根据本发明实施例一提供的方法得到的一种HUD的硬件连接的架构图,其中,摄像头具体为前视摄像头,可以用于采集车辆前方环境图像,例如车道、车辆以及行人等;其中,HUD可以用于显示处理后的目标图像。
进一步的,HUD可以把当前时速、导航等信息投影到挡风玻璃上,在玻璃前方形成影像,使驾驶员不用转头、低头就能看到导航、车速信息;具体的,HUD装置的显示内容可以为图5所示,图5是根据本发明实施例一提供的方法得到的一种HUD装置显示内容的示意图。
在本实施例中,预设算法可以为张正有标定法;进一步的,张正友标定法是一种基于2D平面靶标的摄像机标定,可以用于确定世界坐标与像素坐标的关系,在本实施例中,可以使用张正友标定法确定实时图像获取装置坐标以及抬头显示装置的坐标的映射关系;具体的,首先向预设的标定板中输入实时图像获取装置的坐标系配置信息与抬头显示装置的坐标系配置信息,通过角点坐标提取以构造坐标系的构造方程,之后寻找该参数方程的参数解算,并根据最小二乘法进行参数估计,之后通过最大似然参数优化操作进行畸变参数与畸变矫正的计算,最后输出矫正后的实时图像获取装置坐标以及抬头显示装置的坐标的映射关系;通过映射关系,可以直接将实时图像获取装置中采集的目标图像中的某特定坐标点转换为HUD显示装置中相应位置的坐标点。
在本实施例中,在进行上述张正有标定法获取到所述实时图像获取装置坐标以及抬头显示装置的坐标的映射关系后,还需要进行实车标定的操作;进一步的,所述实车标定为对所述车辆对应的实时图像获取装置进行准确度的标定操作;具体的,在本实施例中,所述实车标定操作的具体步骤为:首先在HUD显示装置中显示4*4点的标定图片,如图6所示;之后标定人员坐在所述车辆的驾驶位,手持激光笔并将所述激光笔至于标定人员头部高度,照射所述包含4*4点的标定图片中的其中一个点位,当观察到激光笔发射的激光光斑与图像上的某点位重合时,启动实时图像获取装置拍摄当前的车辆前端的图像;最后依次对标定图片上的全部12个点位重复进行上述操作,以获取HUD显示装置对应的坐标系内的十二个点位在实时图像获取装置对应的坐标系下的十二个位置,如图7所示,以完成上述实车标定操作。
示例性的,在本实施例中,从实时图像获取装置的坐标系变换至抬头显示装置的操作过程中需要进行中心投影变换的操作,如图8所示,图8是根据本发明实施例一提供的方法得到的一种中心投影变换的方法示意图,中心投影变换中的q01-q11-q10-0可以近似为实时图像获取装置的平面取图示例,r10-r11-r01-0可以近似为抬头显示装置的显示图示例,平面取图示例可以为一个任意四边形,E点可以近似为目标物体的世界坐标;由图示可知,在中心投影变换的过程中,所有被变换的点一一对应,相应的点之间存在且唯一存在对应关系,示例性的,如图8所示,在进行中心投影变换操作后,原点q01与r01对应,点q11与点r11对应;进一步的,如图8所示,任意四边形的投影在特定的投影方式之下可以被投影为矩形,且r-R点与q-Q点的变换方式与E点的位置无关。
另外,关于相关装置的安装位置,可以如图9所示,图9为根据本发明实施例提供的方法得到的一种抬头显示方法的具体实施场景的场景图。
其中,图9所示的车辆中设置了前视摄像头和HUD装置。
具体的,前视摄像头装置对目标图像进行采集,之后将采集的图像传输至HUD装置,通过本实施例提供的坐标变换的操作使目标图像在HUD装置上进行抬头显示。
步骤302、使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据。
本步骤中,预设算法模型可以为YOLO(You Only Look Once)目标检测算法。
进一步的,YOLO算法可以采用一个单独的CNN(Convolutional Neural Networks,卷积神经网络)模型实现end-to-end的目标检测,核心思想就是利用整张图作为网络的输入,直接在输出层回归边界框的位置及其所属的类别,整个算法的步骤可以为:首先将输入图片的大小调整至448x448,然后送入CNN网络,最后处理网络预测结果得到目标物体在目标图像中的待转换坐标数;进一步的,本实施例采用YOLO算法获得所述待转换坐标数据,实时识别前视摄像头获取的目标图像中的目标物体,可以减少目标图像的数据抖动,使目标物体的识别更加稳定与准确。
具体的,可以通过预设算法模型对目标图像上的至少一个目标物体进行识别;通过预设算法模型对全部被识别的目标物体进行坐标计算,得到目标物体在目标图像中的待转换坐标数据。
在一个具体的例子中,使用YOLO算法模型来识别车辆实时图像获取装置获取的目标图像,并识别出其中的轿车、卡车、自行车、电动车、行人等目标物体,同时标出目标物体的坐标位置;进一步的,在标出目标物体的坐标位置的过程中,YOLO算法模型可以返回N个目标的五类信息;进一步的,五类信息包括目标物体的中心位置、高、宽以及置信度。
步骤303、将待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据。
本步骤中,预先确定的映射关系具体可以表征为坐标值映射表,对于待转换坐标数据中的任一坐标值,从预先确定的映射关系(即该坐标值映射表)中查找坐标值对应的目标坐标值;根据所有的目标坐标值确定目标坐标数据。
具体的,待转换坐标数据中包含了多个坐标值,本步骤可以先从预先确定的映射关系(即前述坐标值映射表)中,查找该多个坐标值各自对应的目标坐标值,然后将所有的目标坐标值再进行组合,即可得到转换后的目标坐标数据。
在一个具体的例子中,若A点在实时图像获取装置的坐标系下坐标值为(2,9,8),那么可以分别查找x=2时,映射关系中对应的抬头显示装置的坐标系下x坐标值、y=9时,映射关系中对应的抬头显示装置的坐标系下y坐标值、z=8时,映射关系中对应的抬头显示装置的坐标系下z坐标值,将查找到的x坐标值、y坐标值和z坐标值作为抬头显示装置的坐标系下的坐标数据(即目标坐标数据)即可。
另外,预先确定的映射关系还可以具体表征为坐标转换公式;因此,转换时,具体可以为对于待转换坐标数据中的任一坐标值,将坐标值输入到坐标转换公式中进行计算,得到输出的目标坐标值;根据所有的目标坐标值确定目标坐标数据。
在一个具体的例子中,坐标转换公式中规定了x坐标的转换子公式、y坐标的转换子公式以及z坐标的转换子公式,将前述(2,9,8)中的3个坐标值分别输入到相应的转换子公式中,便可以得到相应的目标坐标值,从而组合为目标坐标数据。
步骤304、基于所述目标坐标数据和与所述目标物体对应的预设显示元素生成待显示图像,并且通过抬头显示装置进行显示。
其中,所述抬头显示装置可以为HUD显示装置。
其中,基于所述目标坐标数据和与所述目标物体对应的预设显示元素生成待显示图像,包括:车机根据目标坐标数据和与所述目标物体对应的预设显示元素生成待显示图像。
本步骤中,待转换坐标数据的类型为世界坐标,本领域工作人员应可知,由于世界坐标无法直接显示在应用于像素坐标系的抬头显示系统中,故将待转换坐标数据通过预先确定的映射关系进行转换,得到可以直接显示在抬头显示系统中的像素坐标类型的目标坐标数据,以根据目标坐标数据进行抬头显示。
可选的,所述预设显示元素包括:前车碰撞预警标识以及行人碰撞预警标识的至少一种;进一步的,所述前车碰撞预警标识可以为具有预设大小、形状、颜色信息的车辆碰撞预警标识,以提示用户有可能和前方车辆发生碰撞;所述行人碰撞预警标识可以为具有预设大小、形状、颜色信息。
在本实施例中,采用实时图像获取装置获取带有行人或车辆等目标物体的目标图像,之后通过YOLO算法识别出所述目标物体在所述目标图像中的待转换坐标数据,之后将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,最后基于所述目标坐标数据和与所述目标物体对应的前车碰撞预警标识以及行人碰撞预警标识的至少一种生成待显示图像,并且通过抬头显示装置进行显示,以将目标物体对应的显示元素在确定的位置处进行显示,提示驾驶人有可能和车辆前方的目标物体发生碰撞。
本实施例中,通过采用实时图像获取装置获取车辆前端的目标图像,并且利用预设算法模型识别目标物体的待转换坐标,在基于预先确定的映射关系进行转换,得到目标坐标数据,使抬头显示装置根据该目标坐标数据进行抬头显示,该映射关系的确定能够在少量计算量的前提下得到抬头显示的目标坐标数据,解决了现有技术中算力需求较高的问题,起到了低算力实现抬头显示的有益效果。本实施例的方法,降低了车辆基于目标物体的位置信息生成待显示图像,并通过抬头显示装置进行显示的算力要求,简化了抬头显示工作的计算流程,节省了抬头显示的使用成本。
实施例二
图10为本发明实施例二提供的一种抬头显示系统的结构示意图。如图10所示,该系统包括:
实时图像获取装置1001、控制器1002和抬头显示器1003;
实时图像获取装置与控制器相连接,用于获取目标图像,并将目标图像发送给控制器;
控制器用于使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据,以及,将待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,并将目标坐标数据发送给抬头显示器;
抬头显示器与控制器相连接,用于接收目标坐标数据,并根据目标坐标数据对目标物体进行抬头显示。
本实施例中,通过采用实时图像获取装置获取车辆前端的目标图像,并且利用预设算法模型识别目标物体的待转换坐标,在基于预先确定的映射关系进行转换,得到目标坐标数据,使抬头显示装置根据该目标坐标数据进行抬头显示,该映射关系的确定能够在少量计算量的前提下得到抬头显示的目标坐标数据,解决了现有技术中算力需求较高的问题,起到了低算力实现抬头显示的有益效果。本实施例的方法,降低了车辆基于目标物体的位置信息生成待显示图像,并通过抬头显示装置进行显示的算力要求,节省了抬头显示的使用成本。
进一步地,实时图像获取装置为前视摄像头。
本发明实施例所提供的抬头显示系统可执行本发明任意实施例所提供的抬头显示系统方法,具备执行方法相应的功能模块和有益效果。
实施例三
本文中以上描述的系统和技术的各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的一种抬头显示方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
相应的,该方法包括:
通过预设的实时图像获取装置获取车辆前端的目标图像;
使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据;
将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据;
将所述目标坐标数据发送给抬头显示装置,以使所述抬头显示装置根据所述目标坐标数据对所述目标物体进行抬头显示。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
Claims (10)
1.一种抬头显示方法,其特征在于,包括:
通过预设的实时图像获取装置获取车辆前端的目标图像;
使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据;
将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据;
基于所述目标坐标数据和与所述目标物体对应的预设显示元素生成待显示图像,并且通过抬头显示装置进行显示。
2.根据权利要求1所述的方法,其特征在于,所述使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据,包括:
通过所述预设算法模型对目标图像上的至少一个目标物体进行识别;
通过所述预设算法模型对全部被识别的目标物体进行坐标计算,得到目标物体在目标图像中的待转换坐标数据。
3.根据权利要求1所述的方法,其特征在于,所述将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,包括:
将所述预先确定的映射关系中,所述待转换坐标数据对应的坐标数据确定为目标坐标数据。
4.根据权利要求3所述的方法,其特征在于,所述将所述预设的映射关系中所述待转换坐标数据对应的坐标数据确定为目标坐标数据,包括:
对于所述待转换坐标数据中的任一坐标值,从所述预先确定的映射关系中查找所述坐标值对应的目标坐标值;
根据所有的所述目标坐标值确定目标坐标数据。
5.根据权利要求1所述的方法,其特征在于,所述预先确定的映射关系为坐标转换公式;
所述将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,包括:
对于所述待转换坐标数据中的任一坐标值,将所述坐标值输入到所述坐标转换公式中进行计算,得到输出的目标坐标值;
根据所有的所述目标坐标值确定目标坐标数据。
6.根据权利要求1所述的方法,其特征在于,所述通过预设的实时图像获取装置获取目标图像之前,所述方法还包括:
获取预设的实时图像获取装置的坐标配置信息以及抬头显示装置的坐标系配置信息;
基于预设的算法,以及实时图像获取装置的坐标配置信息以及抬头显示装置的坐标系配置信息,得到所述实时图像获取装置的坐标系配置信息以及抬头显示装置的坐标系配置信息的映射关系。
7.根据权利要求要求1所述方法,其特征在于,所述预设显示元素包括:
前车碰撞预警标识以及行人碰撞预警标识的至少一种。
8.一种抬头显示系统,其特征在于,包括:实时图像获取装置、控制器和抬头显示器;
所述实时图像获取装置与所述控制器相连接,用于获取目标图像,并将所述目标图像发送给所述控制器;
所述控制器用于使用预设算法模型定位目标图像中的目标物体,并得到目标物体在目标图像中的待转换坐标数据,以及,将所述待转换坐标数据通过预先确定的映射关系进行转换,得到目标坐标数据,并将所述目标坐标数据发送给所述抬头显示器;
所述抬头显示器与所述控制器相连接,用于接收所述目标坐标数据,并根据所述目标坐标数据对所述目标物体进行抬头显示。
9.根据权利要求8所述的系统,其特征在于,所述实时图像获取装置为前视摄像头。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的一种抬头显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310496297.4A CN116524013A (zh) | 2023-05-05 | 2023-05-05 | 抬头显示方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310496297.4A CN116524013A (zh) | 2023-05-05 | 2023-05-05 | 抬头显示方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116524013A true CN116524013A (zh) | 2023-08-01 |
Family
ID=87399009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310496297.4A Pending CN116524013A (zh) | 2023-05-05 | 2023-05-05 | 抬头显示方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116524013A (zh) |
-
2023
- 2023-05-05 CN CN202310496297.4A patent/CN116524013A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112965503B (zh) | 多路摄像头融合拼接方法、装置、设备及存储介质 | |
CN109739236B (zh) | 车辆信息的处理方法、装置、计算机可读介质及电子设备 | |
CN110567469B (zh) | 视觉定位方法、装置、电子设备及系统 | |
CN109961522B (zh) | 图像投射方法、装置、设备和存储介质 | |
CN111141311B (zh) | 一种高精度地图定位模块的评估方法及系统 | |
CN108550258B (zh) | 车辆排队长度检测方法、装置、存储介质和电子设备 | |
CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN111008660A (zh) | 语义地图的生成方法、装置、系统、存储介质及电子设备 | |
CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
CN112562093B (zh) | 目标检测方法、电子介质和计算机存储介质 | |
CN112329846A (zh) | 激光点云数据高精度标注方法及系统、服务器及介质 | |
Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
CN114140592A (zh) | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 | |
JP6876445B2 (ja) | データ圧縮装置、制御方法、プログラム及び記憶媒体 | |
KR20190134303A (ko) | 영상 인식 장치 및 그 방법 | |
CN116524013A (zh) | 抬头显示方法、装置及计算机可读存储介质 | |
CN116758503A (zh) | 车道线自动标注方法、装置、设备及存储介质 | |
CN111259829A (zh) | 点云数据的处理方法和装置、存储介质及处理器 | |
CN115661014A (zh) | 一种点云数据处理方法、装置和电子设备、存储介质 | |
CN115272531A (zh) | 数据显示方法、系统及存储介质 | |
CN115063969A (zh) | 数据处理方法、设备、介质及路侧协同设备、系统 | |
CN112698372A (zh) | 时空数据处理方法、装置、电子设备及存储介质 | |
CN113643374A (zh) | 基于道路特征的多目相机标定方法、装置、设备和介质 | |
CN115294766B (zh) | 虚拟红绿灯构建方法、装置、设备及存储介质 | |
KR20200077004A (ko) | V2x 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |