CN117294823A - 显示方法、设备、存储介质及交通工具 - Google Patents
显示方法、设备、存储介质及交通工具 Download PDFInfo
- Publication number
- CN117294823A CN117294823A CN202311190976.5A CN202311190976A CN117294823A CN 117294823 A CN117294823 A CN 117294823A CN 202311190976 A CN202311190976 A CN 202311190976A CN 117294823 A CN117294823 A CN 117294823A
- Authority
- CN
- China
- Prior art keywords
- display
- image
- displayed
- virtual image
- windshield
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 65
- 210000001508 eye Anatomy 0.000 description 63
- 230000008859 change Effects 0.000 description 23
- 230000001276 controlling effect Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 15
- 239000013643 reference control Substances 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
Abstract
本申请涉及投影显示技术领域,尤其涉及一种显示方法、设备、存储介质及交通工具。本申请在透明表面上投影显示第一虚像时,需要对像源上显示的第一图像进行控制,第一图像在像源显示区域中的显示位置会根据第一虚像需要在透明表面上显示的位置确定,两者的对应关系是通过事先标定确定的。本申请可以有效降低投影显示的畸变影响,保证投影在挡风玻璃上的虚像保持可靠稳定地显示,提高了用户的观看体验。
Description
技术领域
本申请涉及投影显示技术领域,尤其涉及一种显示方法、设备、存储介质及交通工具。
背景技术
HUD(Head Up Display,抬头显示)是一种利用在车辆挡风玻璃上反射实现车载显示的全新方式,其具体由HUD显示设备的光机发出显示光,并通过相应的光学镜片投射在挡风玻璃上产生相应的虚像,与挡风玻璃外的真实世界形成增强显示的效果。然而,HUD显示设备在投影显示在挡风玻璃的过程中,常常会因为光学传输的影响而出现图像畸变,即在挡风玻璃上形成的虚像不符合显示的要求,比如虚像形状发生扭曲,显示位置出现错位等。特别是观看者在观察虚像时视点位置在不断变化的情况下,图像畸变还会随着视点位置的变化而呈现不同的畸变情况,严重影响用户的观看体验。如果虚像需要与挡风玻璃外的实景进行贴合显示时,这种不稳定的畸变还会使虚实之间基本无法贴合。
发明内容
本申请的目的在于提供一种显示方法、设备、存储介质及交通工具,解决了现有技术中HUD投影显示的图像畸变比较大,图像畸变造成的虚像变化严重影响用户观看体验的技术问题。
为了解决上述技术问题,本申请采用如下技术方案。
第一方面,本申请提供了一种显示方法,包括:
在像源的显示区域显示第一图像,所述像源投射出的显示光通过光学系统在透明表面上投影显示第一虚像,所述第一虚像与所述第一图像对应;
响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上,所述第一位置与所述第二位置具有确定的第一对应关系。
根据上述描述,可选实施方式根据实际的投影显示需求来确定像源上的显示控制,而不是将第一图像默认地显示在像源固定位置上,即显示位置不是根据像源本身的参数配置直接显示,最终也不是通过调整光学系统来改变在挡风玻璃上的投影情况。第一对应关系是在车辆出厂前标定时确定的,显示控制时可以根据事先存储的对应关系来确定第一图像显示的第二位置。
在第一方面的一种可选实施方式中,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
控制所述第一图像以第一显示比例显示在所述显示区域的第二位置上。
根据上述描述,可选实施方式通过控制第一图像的显示比例来抵消虚像在挡风玻璃上的尺寸畸变,使虚像在挡风玻璃上的显示尺寸始终保持一致。
在第一方面的一种可选实施方式中,所述第二位置包括相对于所述显示区域的横向坐标及纵向坐标。
根据上述描述,可选实施方式通过与显示区域配合的横向坐标、纵向坐标来配置第一图像的显示位置,调整方式更加精准且易于实现。
在第一方面的一种可选实施方式中,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上包括:
所述第一位置根据投影显示的配置参数确定。
根据上述描述,可选实施方式提高了投影显示的灵活度,比如可以根据观看者的高度来微调挡风玻璃上的虚像显示位置,也可以根据导航图标与前方道路的相对位置关系来调整挡风玻璃上的虚像显示位置,从而再确定第一图像需要在像源上的显示位置。
在第一方面的一种可选实施方式中,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
响应于观看者处于第一视点位置,所述第一图像显示在所述显示区域的第二位置;
响应于观看者处于第二视点位置,控制所述第一图像显示在所述显示区域的第三位置,所述第一位置与所述第三位置具有确定的第二对应关系,所述第二位置与所述第三位置不同。
根据上述描述,可选实施方式支持对人眼晃动下的动态畸变消除,使人眼无论处于任意视点位置,都可以保证投影在挡风玻璃上的虚像不发生剧烈抖动,进一步还可以保持虚像与挡风玻璃外的实际物体处于固定的贴合关系。
在第一方面的一种可选实施方式中,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
响应于观看者处于第一视点位置,控制所述第一图像在所述第二位置以第一显示比例显示;
响应于观看者处于第二视点位置,控制所述第一图像在所述第三位置以第二显示比例显示,所述第一显示比例与所述第二显示比例不同。
根据上述描述,可选实施方式支持消除动态畸变下的尺寸变化,保证人眼在晃动下挡风玻璃上的虚像也不会发生尺寸上的忽大忽小。
在第一方面的一种可选实施方式中,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
响应于观看者处于第一视点位置,控制所述第一虚像处于第一虚像距离;
响应于观看者处于第二视点位置,控制所述第一虚像处于第二虚像距离。
根据上述描述,可选实施方式支持消除由于视线方向的不同带来的虚实贴合的偏差,当虚实贴合的偏差较大时,可以微调虚像距离使显示的虚像离实际物体更加近一点。
在第一方面的一种可选实施方式中,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
响应于观看者处于第一视点位置,所述第一图像显示在所述显示区域的第二位置;
响应于观看者处于第二视点位置,控制所述第一图像显示在所述显示区域的第三位置,所述第一位置与所述第三位置具有确定的第二对应关系,所述第二位置与所述第三位置不同;
所述第一图像显示在所述显示区域的第三位置使所述第一虚像调整到所述透明表面的第四位置,所述第四位置与所述第一位置不同。
根据上述描述,可选实施方式微调虚像在挡风玻璃上的位置,使虚像在第一位置的相邻位置,以抵消视线方向带来的对虚实贴合的非畸变偏差,保证虚像在人眼与实际物体之间的直线上。
在第一方面的一种可选实施方式中,所述在像源的显示区域显示第一图像包括:
响应于观看者处于第一视点位置,利用第一矫正参数对待显示图像进行预矫正确定所述第一图像;
响应于观看者处于第二视点位置,利用第二矫正参数对待显示图像进行预矫正确定所述第一图像。
根据上述描述,可选实施方式支持消除动态畸变下的虚像变形,保证人眼在晃动下挡风玻璃上的虚像也不会发生扭曲、旋转等畸变情况,第一矫正参数、第二矫正参数包括若干个像素控制点的投影显示位移数据,根据位移数据控制像源上的显示图像像素分布,以抵消畸变的影响。
第二方面,本申请提供了一种显示设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述显示方法的步骤。
第三方面,本申请提供了一种显示标定方法,包括:
在像源的显示区域显示标准显示图,所述像源投射出的显示光通过光学系统在透明表面上形成投影显示图,所述投影显示图与所述标准显示图对应;
通过扫描相机获取所述投影显示图,响应于所述投影显示图在所述透明表面上的第一位置,确定所述标准显示图在所述显示区域的第二位置,记录所述第一位置与所述第二位置之间的第一对应关系。
根据上述描述,可选实施方式通过显示标定获取到了标准显示图与投影显示图之间的整体位置位移关系,即对应的畸变参数,畸变参数可以用于HUD显示设备在投影显示时预矫正像源上图像的显示位置等,使投影在挡风玻璃上的虚像处于预设的位置上,不受畸变的影响。需要说明的是,标准显示图的大小可以与日常规定在像源上显示图像的大小一致。
在第三方面的一种可选实施方式中,所述投影显示图在所述透明表面上第一位置包括:
所述透明表面配合设置有所述第一位置对应的第一标定板;
调整所述标准显示图在所述显示区域的位置以使所述投影显示图与所述第一标定板重合。
根据上述描述,可选实施方式在标定过程中,不断调整标准显示图在显示区域中的位置,直至投影显示图处于第一位置,即与第一标定板重合,此时标准显示图在显示区域的位置就是第二位置,标定方式简单直接,不占用太多时间。第一标定板可以是幕布、提示标识、定位符等。
在第三方面的一种可选实施方式中,所述第一位置对应的第一标定板包括:
根据投影显示的配置参数将所述第一标定板安装在相对于所述透明表面的特定位置上。
根据上述描述,可选实施方式利用第一标定板确定投影显示图是否处于第一位置,第一标定板还可以根据第一位置的调整而设置在相对于透明表面的不同位置,标定更加灵活。
在第三方面的一种可选实施方式中,所述调整所述标准显示图在所述显示区域的位置以使所述投影显示图与所述第一标定板重合包括:
调整所述标准显示图的第一显示比例以使所述投影显示图不超过所述第一标定板的范围内。
根据上述描述,可选实施方式使标定后的投影显示图更加与第一标定板贴合,不仅记录位置位移的畸变参数,还记录显示比例的畸变参数,提高后期畸变矫正的精准性。
在第三方面的一种可选实施方式中,所述第二位置包括相对于所述显示区域的横向坐标及纵向坐标。
根据上述描述,可选实施方式精准地记录像源上显示图像的位置,在畸变矫正时可以重现显示位置,第二位置可以代表标准显示图的中心、左上角、右下角等相对于显示区域中的坐标点。
在第三方面的一种可选实施方式中,所述响应于所述投影显示图在所述透明表面上的第一位置,确定所述标准显示图在所述显示区域的第二位置包括:
调整所述扫描相机从第一视点位置到第二视点位置,确定投影显示图在所述透明表面上的第一位置时,所述标准显示图在所述显示区域的第三位置,记录所述第一位置与所述第三位置之间的第二对应关系。
根据上述描述,可选实施方式标定在不同视点位置下的整体位置位移关系,以用于实际投影中人眼晃动下的动态畸变消除,第一视点位置可以是扫描相机的默认扫描位置,通过调整可以将扫描相机处于其他视点位置,以获取眼盒范围内所有视点位置对应的畸变参数。
在第三方面的一种可选实施方式中,所述调整所述扫描相机从第一视点位置到第二视点位置还包括:
确定所述投影显示图不超过所述第一标定板范围内时,所述标准显示图对应的第二显示比例。
根据上述描述,可选实施方式标定在不同视点位置下的显示比例关系,以降低不同视点位置下的投影放大倍数波动,消除相应的动态畸变。
在第三方面的一种可选实施方式中,所述调整所述扫描相机从第一视点位置到第二视点位置还包括:
响应于所述扫描相机在第一视点位置,确定投影显示图在所述透明表面上的第一位置时,所述投影显示图所在的第一虚像距离;
响应于所述扫描相机在第二视点位置,确定投影显示图在所述透明表面上的第一位置时,所述投影显示图所在的第二虚像距离。
根据上述描述,可选实施方式在标定时还会调整投影显示的虚像距离,记录在不同视点位置下的最佳虚像距离。
在第三方面的一种可选实施方式中,所述调整所述扫描相机从第一视点位置到第二视点位置还包括:
所述透明表面配合设置有第四位置对应的第二标定板,所述第四位置与所述第一位置不同;
调整所述标准显示图在所述显示区域的位置以使所述投影显示图与所述第二标定板重合。
根据上述描述,可选实施方式使投影显示图微调到第四位置,第四位置在第一位置的相邻位置,以适应视点位置到贴合的实际物体之间的视线方向。
在第三方面的一种可选实施方式中,在所述标准显示图中设置若干个参考控制点,通过扫描相机获取所述投影显示图中对应的探测控制点;
所述调整所述扫描相机从第一视点位置到第二视点位置还包括:
响应于所述扫描相机在第一视点位置,根据所述参考控制点与探测控制点之间的位移变化确定第一矫正参数。
响应于所述扫描相机在第二视点位置,根据所述参考控制点与探测控制点之间的位移变化确定第二矫正参数。
根据上述描述,可选实施方式对不同视点位置的投影显示扭曲、旋转等畸变进行分别标定获取用于投影显示预矫正的第一矫正参数、第二矫正参数,第一矫正参数、第二矫正参数是针对虚像变形矫正的畸变参数,可以在位置位移、显示比例矫正的基础上进一步对动态畸变进行精细矫正。
第四方面,本申请提供了一种显示标定设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第三方面所述显示标定方法的步骤。
第五方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述显示方法的步骤或第三方面所述显示标定方法的步骤。
第六方面,本申请提供了一种交通工具,包括第二方面所述的显示设备、第四方面所述的显示标定设备或第五方面所述的计算机可读存储介质。
与现有技术相比,本申请在透明表面上投影显示第一虚像时,需要对像源上显示的第一图像进行控制,第一图像在像源显示区域中的显示位置会根据第一虚像需要在透明表面上显示的位置确定,两者的对应关系是通过事先标定确定的。本申请可以有效降低投影显示的畸变影响,保证投影在挡风玻璃上的虚像保持可靠稳定地显示,提高了用户的观看体验。
附图说明
为了更清楚地说明本申请的技术方案,下面将对技术方案描述中所需使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请中记载的一些示例,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本申请一些示例中HUD投影显示示意图。
图2为本申请一些示例中HUD显示设备的眼盒区域示意图。
图3为本申请一些示例中虚像距离对投影显示的影响示意图。
图4为本申请一些示例中显示标定方法示意图。
图5为本申请一些示例中空间外参标定匹配示意图。
图6为本申请一些示例中几何内参标定匹配示意图。
图7为本申请一些示例中显示方法示意图。
图8为本申请一些示例中HUD显示设备投影效果示意图。
图9为本申请一些示例中HUD显示设备模块示意图。
图10为本申请一些示例中HUD显示设备结构示意图。
图11为本申请一些示例中HUD显示设备组成示意图。
图12为本申请一些示例中交通工具中投影显示示意图。
实施方式
以下将结合附图对本申请进行详细的描述,但描述的内容仅仅是本申请中记载的一些示例,并不限制本申请,本领域普通技术人员根据这些示例所做出的结构、方法或功能等方面的变换均包含在本申请的保护范围内。
需要说明的是,在不同的示例中,可能使用相同的标号或标记,但是这些并不代表结构或功能上的绝对联系关系。并且,各示例中可能提到的“第一”、“第二”等仅仅是为了描述的方便,并不代表结构或功能上的绝对区分关系,也不能理解为指示或暗示相对重要性或者相应对象的数量。除非特别说明,描述中可能涉及到的“至少一个”是指一个或者一个以上,“多个”是指两个或两个以上。
另外,在表示特征时,字符“/”可以表示前后关联对象存在或的关系,例如,抬头显示/平视显示,可以表示为抬头显示或平视显示。在表示运算时,字符“/”可以表示前后关联对象存在相除的关系,例如,放大倍数M=L/P,可以表示为L(虚像大小)除以P(像源大小)。并且,不同示例中的“和/或”仅仅是为了描述前后关联对象的关联关系,这种关联关系可以包括三种情况,例如,凹面镜和/或凸面镜,可以表示为单独存在凹面镜、单独存在凸面镜、同时存在凹面镜和凸面镜。
HUD投影显示主要利用光学的反射原理,将待显示的成像光线经过透明表面反射进入观看者的人眼,人眼可以沿着光线反方向观看到虚像信息,相应地,透明表面可以是车辆的挡风玻璃,将挡风玻璃充当显示屏显示车辆的导航信息、车速等。如图1所示,HUD显示设备可以至少包括光机1、第一反射镜2、第二反射镜3等,其中,光机1包括背光源及像源(图未示),背光源用于提供照明光及根据控制调整照明光的亮度,比如背光源可以是LED(Light Emitting Diode,发光二极管)、激光等。而像源在背光源提供的照明光下,根据控制调整相应的显示内容并从像源表面投射显示光出去,比如像源可以是LCD(LiquidCrystal Display,液晶显示器)、DMD(Digital Micromirror Devices,数字微镜器件)、MEMS(Micro-Electro-Mechanical System,微机电系统)微镜、LCOS(Liquid Crystal onsilicon,硅基液晶)等。第一反射镜2、第二反射镜3可以将光机1投射出的显示光投影在挡风玻璃4上,实现在较小的空间内进行光路定制,同时满足不同的投影显示要求,第一反射镜2、第二反射镜3可以根据光学规划的需求设置为凹面镜、凸面镜、凹透镜、凸透镜等,镜片的面型可以采用自由曲面。可选地,第一反射镜2、第二反射镜3中的至少一个还可以进行一定程度的角度调整,从而改变显示光在挡风玻璃4上的投影位置,以满足不同身高的观看者。光机1的显示光最终在车辆的挡风玻璃4上反射形成虚像5,人眼6在对着挡风玻璃4观察虚像5时可以感受到一定的深度感,就如同观看挡风玻璃外特定距离的实物一样,虚像5可以是如上所述的导航信息、车速等。需要补充的是,针对不同光机的特性,HUD显示设备还可以设置有散光镜,在一些示例中,HUD显示设备中还可以包括菲涅尔透镜、波导光学器件、衍射光学器件、全息光学器件、锥形光纤等。
如上所述,像源显示图像投射出的显示光是通过光学镜片等光学系统的传输才到达挡风玻璃,但是由于光学传输的复杂性,比如光学镜片的设计面型在加工时产生偏差,像源上的图像并不能完全一致地投影显示在挡风玻璃上。相应地,挡风玻璃上形成的虚像往往会存在位置及形状方面的畸变,这种畸变包括静态畸变和动态畸变,静态畸变为在特定眼点观察虚像时,看到的实际图像与投影标准图像之间的偏差,而动态畸变为在不同眼点观察虚像时,不同眼点下看到的实际图像与中心眼点下看到的实际图像之间的偏差。无论发生了哪种畸变,用户观察挡风玻璃上的显示信息都会比设计的待显示图像要差,即并没有按照像源显示面上的图像在挡风玻璃上产生相同的虚像,因此人眼看到的图像信息就会因移位、变形等而失真,影响用户的观看体验。特别随着HUD显示设备的FOV(Field ofView,视场角)参数不断增大,导致光学镜片的承载光线区域及挡风玻璃的投影反射面积也在不断增大,两者的增大都会对在挡风玻璃上形成的虚像稳定性造成很大的影响。同时,无论是光学镜片的承载光线区域增大还是挡风玻璃的投影反射区域增大,都会导致加工难度的上升,从而导致后续光学镜片及挡风玻璃的面型、PV值、RMS、RA值、斜率值等无法满足设计要求。
轻微的畸变对简单的投影显示来说,用户可能会接收它对观看体验的影响,这主要是因为HUD显示设备早期仅仅在挡风玻璃上投影显示车速等简单的数字类信息,这些信息即使发生了图像畸变,一方面观看者不太容易感知到畸变,另一方面观看者即便感知到了形状、位置方面的畸变,也基本能判断出数字所表示的内容,即相应的显示功能还可以保证实现。但是,随着HUD显示设备的投影内容不断丰富,特别是挡风玻璃上形成的虚像需要与挡风玻璃外的真实物体进行虚实结合时,比如将导航的轨迹信息与挡风玻璃外的真实道路进行匹配,这样即使轻微的畸变也会导致挡风玻璃上的虚像与实物之间无法正确匹配,相对于上述虚像为轨迹信息的情况就无法实现正常的导航功能。
以下分别分析静态畸变和动态畸变对投影显示的具体影响,在一些示例中,HUD显示设备需要在挡风玻璃上投影显示告警图标对应的虚像,相应地需要从观看视角上将告警图标刚好叠加在前方车辆的车尾处,这样可以标记挡风玻璃外的前方车辆,提醒驾驶人员保持车距。如果告警图标对应的虚像在光学传输中发生了位置上的静态畸变,告警图标有可能会偏离对应的车辆,比如告警图标从观看视角上处于车辆旁边的空气中,这种错位感肯定会严重影响用户的观看体验。除了图像的错位,告警图标有可能产生扭曲,降低图标的可读性,让用户难以理解影响驾驶。进一步,投影显示的虚像如果还存在严重的动态畸变,告警图标与前方车辆之间的不协调感就会更加明显,比如观看者轻微地晃动头部,挡风玻璃上的虚像也会随着头部晃动发生位移,即可以发现告警图标在前方车辆的四周晃动,无法形成虚实贴合,那么在使用时就会使驾驶人员产生困惑,不确定告警提醒的车辆具体是什么,严重影响用户体验。
因此,为了提高用户的观看体验,就需要降低上文描述的畸变影响,使挡风玻璃上形成的虚像无论在什么情况下,都是相对固定地显示在物理空间中特定的位置上,还可以与挡风玻璃外的实际物体呈现稳定的贴合关系,且形状不发生扭曲、旋转等畸变。虽然畸变大多是由实现光学传输的光学系统造成的,但是直接改造光学系统来解决畸变问题基本无法实现,这是因为设计的要求和加工、安装的难度都无法准确控制。在一些示例中,可以通过标定来确定像源上显示图像的情况与实际在挡风玻璃上显示的情况之间的关系,然后根据在挡风玻璃上需要显示的位置来控制在像源上显示的位置及图像形状,使观看者在指定眼盒范围内的视点位置可以看到理想的显示状态,以下将详述。需要说明的是,眼盒(Eyebox)指的是HUD显示设备的光学系统与眼球之间的一块锥形区域,也是显示内容满足最优光学设计指标的区域,在眼盒范围内,眼睛可以看到HUD投影出的完整FOV(即全部图像),当人眼超出这个范围后,可能会呈现严重的图像扭曲、显色错误,甚至不显示内容等问题。而视点位置是指观看者在眼盒范围内观察虚像时,人眼所处的具体位置,由于眼瞳(一般半径为2-4毫米)在眼盒范围(一般设计大小为130*50毫米)内移动,即处于不同的视点位置,会产生不同的光学传输路径,因此所看到的画面会存在一定的差异,这也是动态畸变的具体表现。
如图2所示,假设眼盒区域60是HUD显示设备对应的理想观看范围,那么观看者可以将人眼6置于眼盒区域60内去观察挡风玻璃4上形成的虚像5。相应地,HUD显示设备还可以接收人眼6在眼盒区域60内移动,从而具有若干个视点位置601,由于视点位置601都在眼盒区域60内,因此观看者的人眼6在任意的视点位置601上都可以观察到挡风玻璃4上形成的虚像5。如上所述,虽然HUD显示设备支持眼盒范围内的观看,但是视点位置与视点位置之间的观看效果仍然存在差异,而在实际观察的过程中,常常伴随着观看者的人眼晃动,所处的视点位置即在不断地发生变化,这样必然会导致虚像呈现不同的畸变情况,比如虚像相对于挡风玻璃的位置会有位移。进一步,如图3所示,由于人眼6所处的视点位置不同,人眼6与虚像5之间的视线方向也会存在差异,因此如果虚像5呈现的位置与实际物体7的位置距离较远,观察虚像5的视线就很容易偏离实际物体7,或者说虚像5并不在人眼与实际物体之间的视线方向上,导致虚实贴合不佳。需要说明的是,虚像的空间位置不仅取决于虚像相对于挡风玻璃的位置,还取决于虚像距离(VID,Virtual Image Distance)决定的虚像到人眼瞳孔之间的距离。参照图3,当VID为2米和10米的两种情况下,人眼6的晃动对虚实贴合的影响程度也是不一样的,VID为2米的情况下,由于虚像5离实际物体7较远,人眼6的细微晃动都会使人眼6、虚像5及实际物体7之间不处于同一直线上,最终观看的效果就是虚像5在实际物体7的旁边,没有贴合在一起。在一些示例中,为了提高人眼晃动下造成的虚像贴合性,还需要根据人眼所处视点位置的变化,来调整像源上显示图像的变化,以抵消掉畸变及视差带来的位置偏差,可选地,也可以同步调整虚像距离来减少视线方向带来的偏差,其目的就是使挡风玻璃上的虚像保持与实际物体之间相对稳定地显示,以下将详述。
在一些示例中,当HUD显示设备安装到交通工具上,比如车辆的中控台中,相应的光学系统就已经确定了,即光学系统的加工与安装偏差产生的图像畸变就基本定型了,因此可以对特定车辆进行显示标定,确定光学系统带来的畸变影响程度,然后通过控制像源上的显示图像来实现图像畸变矫正,以抵消光学系统产生的畸变。如图4所示,在一些示例中,显示标定方法具体包括如下步骤:
步骤S11、扫描相机位置调整。显示标定具体通过控制HUD显示设备的像源显示具有参考能力的图像(即标准显示图),然后利用连接的扫描相机去获取挡风玻璃(透明表面)上投影显示的虚像(即投影显示图),通过分析标准显示图与投影显示图之间的畸变变化来确定相应的畸变参数,畸变参数可以实现对待显示图像的预矫正,通过预矫正的量来抵消光学系统产生的畸变,比如光学系统会让图像向上位移产生偏差,那么像源上的图像就可以向下位移一点来抵消光学系统中的向上位移量。如图5所示,扫描相机81可以通过支架设置在眼盒区域60内,眼盒区域60由HUD显示设备对应的光学系统决定,扫描相机81模拟人眼观察挡风玻璃来获取挡风玻璃4上的虚像5。可选地,支架具有调节功能,可以控制扫描相机81在眼盒区域60中不同的视点位置601停留分别获取挡风玻璃4上虚像5的显示效果,这样可以标定不同视点位置下受光学系统的畸变影响。
步骤S12、空间外参标定。
步骤S13、几何内参标定。在本示例中,将光学系统引起的畸变大致分为两种,一种是位置位移及显示比例畸变,另一种是图像扭曲及旋转畸变,前者更加突出投影显示在整体方面的畸变,而后者更加突出投影显示在局部方面的畸变,由于两者的畸变相对独立,因此可以分开标定、分开矫正。相应地,用于预矫正的畸变参数可以包括空间外参和几何内参,其中,将位置位移及显示比例的畸变程度用空间外参来表示,将图像扭曲及旋转的畸变程度用几何内参来表示。其中,空间外参可以主要包括三个变量,具体为待显示图像需要在像源上显示的横向偏移量X、纵向偏移量Y以及缩放系数S。相应地,由于光学系统传输的复杂性,在每一个视点位置上都具有一组独特的空间外参,每组空间外参可以用于矫正每个视点位置下观察挡风玻璃上虚像在整体方面的畸变,即空间外参用于通过平移和缩放的方法,使人眼在每个视点位置所看到的虚像控制在基本相同的位置,这样驾驶人员头部在眼盒范围之内移动的时候,观测到的虚像不会随着驾驶人员头部的移动而发生整体结构变化。几何内参在示例中也可以称之为矫正参数,可以包括图像中每个像素点在投影过程中的畸变量,即像素点组成的网格畸变。可选地,在每一个视点位置上也具有一组独特的几何内参,每组几何内参用于矫正每个视点位置下观察挡风玻璃上虚像在局部方面的畸变,即几何内参用于对图像内部各个像素点进行位置偏差修正,使人眼在每个视点位置所看到的虚像形状都是一致的,符合观看的方正要求,这样驾驶人员头部在眼盒范围之内移动的时候,观测到的虚像不会随着驾驶员头部的移动而发生局部形状变化。
在一些示例中,空间外参对应的畸变参数在标定的过程中,会根据扫描相机获取到的投影显示图来确定像源上显示的标准显示图是否符合位置和/或显示比例的要求。如图5所示,假设扫描相机81在眼盒区域60左下角的视点位置601处,此时光机1的像源表面被控制显示相应的标准显示图,标准显示图可以是一个标准的显示图像或者是与定位符配合的参照符号等,比如标准显示图默认显示在像源表面的右下角,此时扫描相机81获取挡风玻璃4上的投影显示图(虚像)5。作为对比的参照,挡风玻璃4上还配合设置有第一标定板82,可选地,第一标定板82可以设置在挡风玻璃4的外侧,第一标定板82的位置与投影显示需要显示的第一位置对应,第一位置可以根据配置参数来确定,比如HUD显示设备默认设置或手动配置显示在挡风玻璃上的位置,亦或者根据投影显示的应用需求确定显示在挡风玻璃上的位置。通过调整标准显示图在像源表面的位置和/或显示比例,来使投影显示图5可以与第一标定板82重合,比如投影显示图5处于第一标定板82划定范围的中心位置。可选地,为了使投影显示图5的大小与第一标定板82一致,可以通过调整标准显示图在像源中的显示比例来使投影显示图5在第一标定板82的范围内。相应地,扫描相机81采集投影显示图5的状态,确定投影显示图5与第一标定板82位置一致,且未超过第一标定板82的范围内,此时锁定标准显示图,确定标准显示图在像源表面上调整后所处的第二位置,具体地,第二位置可以由标准显示图的中心、左上角、右下角等相对于显示区域左上角、右下角的偏移量来表示,记录第一位置与第二位置之间的第一对应关系,供后续投影显示调用。和/或确定标准显示图的显示比例,具体地,可以将像源上经过缩放处理后的标准显示图大小与原始的标准显示图大小进行比较,记录对应的缩放系数,供后续投影显示调用。
在一些示例中,几何内参对应的畸变参数在标定的过程中,可以在标准显示图中包含若干个参考控制点,即显示特定像素点,参考控制点以点阵的结构表示具体的无畸变状态,而标准显示图通过光学系统投影在挡风玻璃上会形成虚像对应的投影显示图,参考控制点对应在挡风玻璃上显示的探测控制点就会由于畸变造成位移,通过扫描分析这些探测控制点的位移变化就可以确定具体的矫正参数(几何内参),而矫正参数可以用于HUD显示设备在投影显示时的预矫正。如图6所示,左侧指的是像源上显示的标准显示图,以三行三列的参考控制点为例,右侧指的是挡风玻璃上显示的投影显示图,投影显示图中的探测控制点可以通过扫描相机获得。由于畸变的影响,每行及每列的探测控制点已经不再对齐了,表示相应的虚像已经发生了形状的扭曲或旋转。箭头的指向表示特定参考控制点与特定探测控制点之间的匹配,具体可以对这些控制点进行二维排序,根据每个控制点的横坐标进行排序,将属于同一行的控制点暂存在对应的列表中,然后,根据每一行控制点的纵坐标进行排序,在对应的列表中确定控制点所在的不同列,通过横坐标和纵坐标这两个维度的信息就可以唯一确定控制点的位置。可选地,还可以按照从左上到右下的顺序进行ID赋值,将赋值的点与参考控制点匹配,完成参考控制点和探测控制点之间的相关匹配,这样每一个参考控制点都可以唯一地指向一个探测控制点,然后根据成对的两个控制点之间的位置偏差来分析相应的畸变率。进一步,还可以通过插值或拟合的方式将控制点以外的像素点位置给确定出来,从而可以分析每一个像素点在投影显示前后的畸变率。
步骤S14、存储标定完成的畸变参数。如上所述,无论是空间外参还是几何内参,其最终都是服务于特定车辆上的投影显示,因此需要将标定的畸变参数存储在特定车辆上HUD显示设备内,HUD显示设备在投影显示时,可以调用相应的畸变参数来对待显示图像进行图像畸变矫正,比如根据第一对应关系,当需要在第一位置上显示虚像时,直接将待显示图显示在像源的第二位置上,这样投影显示就会显示在正确的位置上,不受光学系统畸变的影响。
如上所述,由于人眼在不同的视点位置观察投影显示的虚像,会存在一定的差异,因此步骤S11与步骤S14之间是一个循环的周期,在每个周期的步骤S11会重新控制扫描相机在眼盒区域内选择新的视点位置,不断地去标定不同视点位置下的畸变参数,从而配合人眼在不同视点位置下的正常投影显示。在一些示例中,参照图5所示,控制扫描相机81在每一个视点位置601,都会利用标准显示图在挡风玻璃上形成一次投影显示图,由于视点位置不一样,所观察到投影显示图的畸变情况也不一样,因此参照上述的匹配方式确定每个视点位置下的畸变参数,包括利用第一标定板与投影显示图之间的匹配关系确定空间外参,分析参考控制点与探测控制点之间的位移关系确定几何内参。相应地,不同视点位置下的畸变参数用于在HUD显示设备投影显示时,针对观看者处于不同的视点位置,采用不同的预矫正,从而保证虚像显示的稳定性。
在一些示例中,扫描相机从第一视点位置到第二视点位置,分别记录第一视点位置下第一位置与第二位置之间的第一对应关系、第二视点位置下的第一位置与第三位置之间的第二对应关系,第二位置是标准显示图在第一视点位置下在像源上显示的位置,第三位置是标准显示图在第二视点位置下在像源上显示的位置。可选地,还会根据与第一标定板的匹配,记录第一视点位置下的第一显示比例,第二视点位置下的第二显示比例,第一显示比例是标准显示图在第一视点位置下在像源上显示的大小比例,第二显示比例是标准显示图在第二视点位置下在像源上显示的大小比例。可选地,还会根据参考控制点与探测控制点之间的匹配关系,记录第一视点位置下的第一矫正参数,第二视点位置下的第二矫正参数,第一矫正参数是在第一视点位置下每个参考控制点与对应探测控制点之间的偏差值集合,第二矫正参数是在第二视点位置下每个参考控制点与对应探测控制点之间的偏差值集合。
在一些示例中,针对图3中由于虚像所在的虚像距离不同也会影响虚像与实际物体的贴合程度,还会在不同视点位置标定过程中,选择可调整的虚像距离,利用扫描相机分析投影显示图的最佳状态,确定第一视点位置下的最佳第一虚像距离和第二视点位置下的最佳第二虚像距离。可选地,还会考虑不同视线方向下的非畸变影响,保证在不同的视线方向下,挡风玻璃上的虚像都可以与实际物体很好的贴合。具体地,如果投影的虚像配置需要在挡风玻璃的第一位置上显示时,为了保证较佳的贴合效果,还会在第二视点位置下微调第一位置,在第一位置的附近确定第四位置,第四位置模拟视线方向变化而在挡风玻璃上的位置偏移。相应地,在确定空间外参时,还会设置第四位置对应的第二标定板,通过分析投影显示图与第二标定板的重合关系来确定标准显示图在像源上的显示位置和/或显示比例。
如图7所示,在一些示例中,显示方法具体包括如下步骤:
步骤S21、人眼位置获取。参照图1所示,投影显示会在光机1的像源上显示图像,图像对应的显示光会通过第一反射镜2、第二反射镜3及挡风玻璃(透明表面)4在内的整个光学系统实现光路传输,最终在挡风玻璃上形成图像对应的虚像。为了克服投影显示中存在的图像畸变,就需要在显示标定获取到畸变参数的基础上,对需要在像源上输出的待显示图像进行预矫正。进一步,车辆在行驶的过程中,车内相机会对驾驶人员的视线进行跟踪,从而捕捉到人眼所在的视点位置,HUD显示设备会根据不同的视点位置调取不同的畸变参数进行预矫正。在一些示例中,驾驶人员的人眼可能因为车辆颠簸或身体姿势调整等不会一致稳定地处于同一视点位置,因此车内相机还会实时地去采集眼盒范围内人眼所在视点位置的变化,以根据不同时间点人眼所处的视点位置来调整畸变矫正。基于眼部追踪的显示方法可以将每个视点位置所看到挡风玻璃上的虚像都矫正到正常的状态,特别还可以保证虚像始终与挡风玻璃外的特定物体稳定贴合,提高用户的观看体验。
步骤S22、空间外参矫正。
步骤S23、几何内参矫正。如上所述,事先的畸变标定会获取到特定车辆上安装HUD显示设备的畸变参数,畸变参数包括空间外参及几何内参。对于空间外参,比如第一位置、第二位置相关的第一对应关系,是标定人眼在第一视点位置观察挡风玻璃上第一位置虚像的畸变程度,因此在根据配置参数确定需要在挡风玻璃的第一位置上显示时,可以通过查询获取到第一位置对应的第二位置,从而将待显示图像显示在像源上的第二位置处,第二位置包括在像源上的横向坐标及纵向坐标,这样就可以保证对应的虚像一定可以显示在挡风玻璃的第一位置处。可选地,显示在第一位置的空间外参还可以包括第一显示比例,待显示图像相应地需要以第一显示比例显示在像源上,这样可以保证虚像在挡风玻璃第一位置上的显示大小符合要求。对于几何内参,比如待显示图像经过投影显示后在挡风玻璃上形成的虚像会发生扭曲,此时可以根据标定时确定的第一矫正参数,对待显示图像进行预矫正,经过处理后呈现与畸变相反的中间比两侧高,这样在投影显示就会恰好抵消形成方方正正的虚像。
在一些示例中,车内相机还会不断地去监测人眼的视点位置变化,当人眼从第一视点位置移动到第二视点位置,就会随之采用第二视点位置下的畸变参数进行矫正。相应地,第二视点位置下,查询第二对应关系,随着视点位置变化,将待显示图像显示在像源的第三位置上,这样可以保持虚像仍然显示在第一位置上,提供了稳定的观看体验。可选地,第二视点位置下,查询第二显示比例,随着视点位置变化,将待显示图像以第二显示比例显示在像源表面,这样可以保持虚像的大小不变。可选地,第二视点位置下,查询第二矫正参数,随着视点位置变化,对待显示图像实现相应的预矫正,这样可以保持虚像的形状始终保持方正。
在一些示例中,基于图3示例中增加虚像距离可以减少贴合随视点位置变化的影响,还可以在不同的视点位置下采用不同虚像距离,相应地,响应于观看者处于第一视点位置,控制所述第一虚像处于第一虚像距离,响应于观看者处于第二视点位置,控制所述第一虚像处于第二虚像距离,这样可以微调贴合的偏差。为了进一步适应由于视点位置变化而产生的视线方向变化,还可以直接微调虚像显示在挡风玻璃上的第四位置,第四位置是第一位置对应的附近位置,即待显示图像在像源上的第三位置实际是与第四位置具有对应关系,而响应于虚像需要显示在第一位置上时,实际上在视点位置发生变化时是将虚像微调到第四位置上显示,这样视线方向变化后仍然可以经过挡风玻璃上的虚像,从而虚像仍然保持与实际物体的良好贴合。
步骤S24、图像输出。在一些示例中,当确定了需要投影显示的待显示图像,待显示图像会按照步骤S22、步骤S23进行矫正,最终输出在像源上显示,随着视点位置的不断变化,还会不断地输出不同矫正后的图像显示在像源上。如图8所示,由于像源上的显示图像会根据视点位置601变化而采用不同的矫正内容,因此图像在像源上的位置、大小、形状等会不断地变化,但在挡风玻璃4上的虚像5会保持稳定的显示,位置、大小、形状等都会处于一致,且与挡风玻璃4外部的贴合关系也是一致的。如图8 所示,无论人眼在左下角的视点位置601观察虚像5还是在右上角的视点位置601观察虚像5,虚像5都是能够与导航指示的右侧路口准确的贴合,大大提高了用户的观看体验。
如图9所示,HUD显示设备应用到车载中,可以极大化地丰富车载显示的表现形式,其中,HUD显示设备可以由车机92提供电源及数据,也可以由HUD显示设备自身提供电源及生成数据。HUD显示设备具体可以包括处理器91、以太网接口901、CAN(Controller AreaNetwork,控制器域网)接口902、电源管理模块903、运行内存904、存储内存905、温度监测906、电机907、背光源908、像源909、定位模块910、雷达911、相机912等。
需要说明的是,图9中列举的各个模块仅仅是示例性的描述,并不构成任何的限定,在一些示例中,HUD显示设备还可以包括其他模块。另外,上述的模块在不同的示例中可以在一个或多个硬件中实现,或者单个模块由多个硬件组合实现。
其中,处理器91作为HUD显示设备的控制中心,包括任何类型的一个或多个处理单元,包括但不限于微控制单元、微控制器、DSP(Digital Signal Processor,数字信号控制单元)或其任意组合。处理器91用于根据计算机程序产生操作控制信号,实现对其他各个模块的控制,以及与相应的模块进行配合,对获取到的或者本身具有的数据、指令等进行处理。
以太网接口901是局域网通信的网络数据连接端口,定义了一系列的软件和硬件标准,通过以太网接口901可以将多个电子设备连接在一起,在本示例中,处理器91可以通过以太网接口901与车机92进行信息交互,比如向车机92发送数据或者接收车机92发送的数据。
CAN接口902是控制器局域网的网络数据连接端口,为汽车内部的控制系统和嵌入式工业控制提供标准的总线,实现控制各节点之间的通信交互,在本示例中,处理器91同样可以通过CAN接口902与车机92进行信息交互,可选地,处理器91还可以通过CAN接口902连接外部的其他设备。在一些示例中,处理器91还可以设置有GPIO(General-purpose input/output,通用输入/输出)接口,以提高外设连接的兼容性。
电源管理模块903连接车机92,可以接收车机92提供的电源,为HUD显示设备的各个模块提供稳压电源供电,保证处理器91及各个模块在正常的电压供应下工作,避免过压下的损坏。
运行内存904,用于存储处理器91执行的计算机程序,及暂时存放的运算数据、与存储内存交换的数据等,运行内存904可以为SDRAM(Synchronous Dynamic Random-accessMemory,同步动态随机存取内存)等存储器。
存储内存905,用于存放HUD显示设备的相关显示内容等资源,及长期存放的运行程序及数据等,存储内存905可以为Flash(闪存)等存储器。在一些示例中,处理器91也可以提供接口接入外部存储器。
温度检测906,用于对HUD显示设备内部的温度进行监测,具体可以包括若干个温度传感器,由于温度传感器随着温度的变化而发生电阻值的变化,因此,处理器91可以在固定电源电压下根据每个温度传感器与分压电阻之间的电压变化来确定温度传感器在对应温度下的电阻值,从而反向推出温度传感器所在位置的温度。在一些示例中,处理器91可以通过GPIO接口控制若干个温度传感器,若干个温度传感器可以设置在HUD显示设备内部的不同位置,处理器91可以利用分时检测的方式分别获取若干个温度传感器反馈的温度值。
电机907,用于在处理器91的控制下,驱动HUD显示设备中的光学镜片发生转动,从而实现相应光路的改变,比如阳光倒灌导致像源表面产生温升时,可以通过电机驱动光学镜片来使外部的阳光无法到达像源表面。在一些示例中,处理器91还可以通过电机907驱动HUD显示设备上设置的风扇,提高HUD显示设备内外部空气交换的速度以实现散热。
背光源908,用于提供照明光及根据处理器91的控制调整照明光的亮度,以调整整个HUD显示设备的投影显示亮度。背光源908与像源909配合实现光机投影显示的主要功能,背光源908可以为LED(Light Emitting Diode,发光二极管)、激光等。
像源909,用于根据处理器91的控制显示相应内容的图像并将图像对应的显示光投射出去,像源909可以为LCD(Liquid Crystal Display,液晶显示器)、DMD(DigitalMicromirror Devices,数字微镜器件)、MEMS(Micro-Electro-Mechanical System,微机电系统)微镜、LCOS(Liquid Crystal on silicon,硅基液晶)等。
定位模块910,用于对HUD显示设备及对应车辆的位置进行监测,定位模块910可以为GPS(Global Positioning System,全球定位系统)、北斗卫星导航系统等全球导航卫星系统,通过在不同的位置测量卫星和定位模块910上接收器之间的距离,从而确定相应的位置及朝向等数据。在一些示例中,定位模块910还可以包括惯性导航系统,以牛顿力学定律为基础,通过测量定位模块910在惯性参考系的加速度,将它对时间进行积分,并把它变换到导航坐标系中,从而得到在导航坐标系中的速度、偏航角和位置等数据。可选地,惯性导航系统可以辅助全球导航卫星系统实现更加精准的定位,为处理器91提供相应的位置信息。
雷达911,用于通过电磁波来确定目标物体的位置,通常可以确定目标物体离雷达911所在车辆的距离。
相机912,包括车身相机及车内相机,其中,车身相机用于通过视觉识别来确定目标物体的位置,车身相机可以为单目相机或双目相机,单目相机与双目相机之间的最大区别在于双目相机可以捕捉两个不同视角下的图像,从而可以获得三维空间中的距离信息。车内相机用于识别车辆内驾驶员及乘客的行为状态,包括疲劳检测、分心检测、表情识别、手势识别、视线追踪等。
在一些示例中,定位模块910、雷达911及相机912还可以直接连接车机92,并没有与HUD显示设备的处理器91进行直接连接,比如车机92本身集成有用于位置跟踪的定位模块及用于自动驾驶的雷达及相机,HUD显示设备则可以通过与车机92之间的通信来实时获取到定位模块、雷达及相机的采集数据。
需要说明的是,HUD显示设备可以包括后装型及前装型,后装型HUD显示设备在用户购买车辆之后,根据用户的投影显示需要而另行购买,相应的HUD显示设备直接放置在车辆中控台的表面上进行使用。前装型HUD显示设备是直接嵌入在中控台的内部,需要在车辆生产过程中在设计预留的空间内进行安装。如图10所示,对于集成在车辆中控台内部的HUD显示设备100,除了包括光机1、第一反射镜2、第二反射镜3之外,其本体通过壳体101实现包络,光机1及第一反射镜2、第二反射镜3收容在壳体101的内部空间,并通过支架等与壳体101的内部实现稳定地固定。参照图1,光机1、第一反射镜2、第二反射镜3相互配合,在壳体101的内部实现一定的光路规划,最终通过壳体101开设的投射窗口102将显示光投射出去。当HUD显示设备100嵌入到汽车的中控台内时,壳体101上的投射窗口102正对着中控台上方的车辆挡风玻璃,相应地,从投射窗口102投射出的显示光就会在挡风玻璃上发生反射形成人眼可以看到的虚像。
进一步,为了提高上述虚像在挡风玻璃上显示的稳定性,减少观看者人眼位置动态移动的影响,如图11所示,HUD显示设备具体可以包括处理器1101、存储器1102、输入设备1103及输出设备1104,其中,输入设备1103可以包括中控台上的按键、触摸屏等,HUD显示设备可以通过输入设备1103接收输入的控制指令及数据。输出设备1104可以包括HUD显示设备的背光源、像源等,HUD显示设备可以向输出设备·1104输出相应的指令或数据。存储器1102上存储有处理器1101上运行的计算机程序,处理器1101执行所述计算机程序时实现上述的显示方法。在一些示例中,为了获取不同视点位置下的畸变参数,需要在HUD显示设备出厂前或设备校准时进行显示标定,获取人眼在不同视点位置下,挡风玻璃上的虚像保持相对稳定的前提下,像源上需要输出图像的显示位置及显示比例等数据。具体地,显示标定设备也可以参照图11,包括处理器1101、存储器1102、输入设备1103及输出设备1104,其中输入设备1103可以包括用于标定的扫描相机,扫描相机可以在眼盒范围内的不同视点位置之间移动,抓取在对应视点位置时挡风玻璃上的成像状态。输出设备1104可以包括车载安装完成的HUD显示设备,通过连接控制HUD显示设备上的像源显示对应的标准显示图,并根据挡风玻璃上的成像状态调整标准显示图的显示位置及显示比例等。存储器1102上存储有处理器1101上运行的计算机程序,处理器1101执行所述计算机程序时实现上述的显示标定方法。可选地,显示标定设备可以是一个便携式的电脑,便携式电脑可以通过特定接口连接相应的标定相机、HUD显示设备等。
在一些示例中,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的显示方法或显示标定方法。
如图12所示,在一些示例中,交通工具可以设置有上述的HUD显示设备,具体地,HUD显示设备集成在中控台10的内部,比如在方向盘的前方位置。通过HUD显示设备的投射窗口102将相应的显示光投射在正对的车辆挡风玻璃4上,观看者从驾驶舱内观察挡风玻璃4上的效果就是可以直接看到相应的虚像5,例如:虚像5可以包括车速(60Km/h)、导航信息(向前箭头)等。作为观看者的驾驶人员在驾驶时无需低头就可以查看到相应的车辆状态,提高了驾驶的安全性。更重要的是,坐在驾驶舱内的观看者,随着坐姿或观察高度的调整造成视点位置的变化,虚像在挡风玻璃上观察的位置都是相对固定的,这样虚像与挡风玻璃外的实景之间的贴合关系也是相对固定的。在一些示例中,交通工具还可以通过上述的计算机可读存储介质,分发获得相应的显示方法或显示标定方法。需要说明的是,交通工具并不局限于作为代步工具的小汽车,也可以包括公交车、卡车、挖掘机、摩托车、火车、高铁、轮船、游艇、飞机、宇宙飞船等。投影的挡风玻璃也不局限于汽车的前挡风玻璃,也可以是其他位置的透明表面。
结合上述示例,本申请涉及的技术方案可以直接体现为硬件、由控制单元执行的软件模块或二者组合,即一个或多个步骤和/或一个或多个步骤组合,既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块,例如ASIC(Application SpecificIntegrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者其任意适当组合。为了描述的方便,在上述描述时以功能分为各种模块分别描述,当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
通过上述示例的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请涉及的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。该软件由微控制单元执行,依赖于所需要的配置,可以包括任何类型的一个或多个微控制单元,包括但不限于微控制单元8、微控制器、DSP(Digital Signal Processor,数字信号控制单元)或其任意组合。该软件存储在存储器,例如,易失性存储器(例如随机读取存储器等)、非易失性存储器(例如,只读存储器、闪存等)或其任意组合。
综上所述,本申请在透明表面上投影显示第一虚像时,需要对像源上显示的第一图像进行控制,第一图像在像源显示区域中的显示位置会根据第一虚像需要在透明表面上显示的位置确定,两者的对应关系是通过事先标定确定的。本申请可以有效降低投影显示的畸变影响,保证投影在挡风玻璃上的虚像保持可靠稳定地显示,提高了用户的观看体验。
应当理解,虽然本说明书包括一些示例,但这些示例中的任何一个并非仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为了清楚的目的。本领域普通技术人员应当将说明书作为一个整体,各示例中的技术方案也可以进行适当的组合,形成本领域普通技术人员可以理解的其他实施方式。
上文所列出一系列的详细说明仅仅是针对本申请的可行性实施方式的具体说明,它们并非用以限制本申请的保护范围,凡是未脱离本申请教导内容所作的等效实施方式或变型均应包含在本申请的保护范围之内。
Claims (10)
1.一种显示方法,其特征在于,包括:
在像源的显示区域显示第一图像,所述像源投射出的显示光通过光学系统在透明表面上投影显示第一虚像,所述第一虚像与所述第一图像对应;
响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上,所述第一位置与所述第二位置具有确定的第一对应关系。
2.根据权利要求1所述的显示方法,其特征在于,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
控制所述第一图像以第一显示比例显示在所述显示区域的第二位置上。
3.根据权利要求1所述的显示方法,其特征在于,所述第二位置包括相对于所述显示区域的横向坐标及纵向坐标。
4.根据权利要求1所述的显示方法,其特征在于,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上包括:
所述第一位置根据投影显示的配置参数确定。
5.根据权利要求1所述的显示方法,其特征在于,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
响应于观看者处于第一视点位置,所述第一图像显示在所述显示区域的第二位置;
响应于观看者处于第二视点位置,控制所述第一图像显示在所述显示区域的第三位置,所述第一位置与所述第三位置具有确定的第二对应关系,所述第二位置与所述第三位置不同。
6.根据权利要求5所述的显示方法,其特征在于,所述响应于所述第一虚像需要显示在所述透明表面的第一位置上,控制所述第一图像显示在所述显示区域的第二位置上包括:
响应于观看者处于第一视点位置,控制所述第一图像在所述第二位置以第一显示比例显示;
响应于观看者处于第二视点位置,控制所述第一图像在所述第三位置以第二显示比例显示,所述第一显示比例与所述第二显示比例不同。
7.根据权利要求5所述的显示方法,其特征在于,所述在像源的显示区域显示第一图像包括:
响应于观看者处于第一视点位置,利用第一矫正参数对待显示图像进行预矫正确定所述第一图像;
响应于观看者处于第二视点位置,利用第二矫正参数对待显示图像进行预矫正确定所述第一图像。
8.一种显示设备,其特征在于,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-7任一项所述显示方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述显示方法的步骤。
10.一种交通工具,其特征在于,包括权利要求8所述的显示设备或权利要求9所述的计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311190976.5A CN117294823A (zh) | 2023-09-15 | 2023-09-15 | 显示方法、设备、存储介质及交通工具 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311190976.5A CN117294823A (zh) | 2023-09-15 | 2023-09-15 | 显示方法、设备、存储介质及交通工具 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117294823A true CN117294823A (zh) | 2023-12-26 |
Family
ID=89238195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311190976.5A Pending CN117294823A (zh) | 2023-09-15 | 2023-09-15 | 显示方法、设备、存储介质及交通工具 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117294823A (zh) |
-
2023
- 2023-09-15 CN CN202311190976.5A patent/CN117294823A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111433067B (zh) | 平视显示装置及其显示控制方法 | |
CN110573369B (zh) | 平视显示器装置及其显示控制方法 | |
US10302940B2 (en) | Head-up display | |
KR101409846B1 (ko) | 3차원 증강현실 기반 헤드 업 디스플레이 장치 | |
CN102203659B (zh) | 用于机动车的车辆显示系统或投影显示器及其校准方法 | |
JP6244500B2 (ja) | 投写型表示装置、投写表示方法、及び投写表示プログラム | |
US11048095B2 (en) | Method of operating a vehicle head-up display | |
US20160320624A1 (en) | Head-up display device | |
EP2166401A1 (en) | Head up display | |
US10274726B2 (en) | Dynamic eyebox correction for automotive head-up display | |
US20150198808A1 (en) | Image display apparatus and method for displaying image | |
JP2015015708A (ja) | 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置 | |
US9835861B2 (en) | System having an adjustment device and method for automatically adjusting/switching the adjustment device for a head-up display device | |
US10775621B2 (en) | Method, device and computer-readable storage medium with instructions for setting a head-up display in a transportation vehicle | |
US20190258057A1 (en) | Head-up display | |
US20210109355A1 (en) | Head-up display calibration | |
JP2021015166A (ja) | ヘッドアップディスプレイ及びそのキャリブレーション方法 | |
JP7005115B2 (ja) | 車両用表示装置 | |
CN117294823A (zh) | 显示方法、设备、存储介质及交通工具 | |
JP6813437B2 (ja) | 表示システム | |
WO2020090187A1 (ja) | 虚像表示装置、およびヘッドアップディスプレイ装置 | |
CN114035324B (zh) | 一种hud光路投影系统及方法 | |
US11758119B2 (en) | Low cost HUD using stereo and head tracking | |
JP2024048865A (ja) | 表示制御装置、表示装置 | |
CN116301366A (zh) | 一种基于眼球追踪的空气投影控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |