CN115866218B - 一种场景图像融合的车载ar-hud亮度自适应调节方法 - Google Patents
一种场景图像融合的车载ar-hud亮度自适应调节方法 Download PDFInfo
- Publication number
- CN115866218B CN115866218B CN202211370004.XA CN202211370004A CN115866218B CN 115866218 B CN115866218 B CN 115866218B CN 202211370004 A CN202211370004 A CN 202211370004A CN 115866218 B CN115866218 B CN 115866218B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- scene
- virtual image
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 abstract description 2
- 238000009827 uniform distribution Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 1
- 206010010947 Coordination abnormal Diseases 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000028756 lack of coordination Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Instrument Panels (AREA)
Abstract
本发明涉及一种场景图像融合的车载AR‑HUD亮度自适应调节方法,属于自动驾驶领域。本发明依据视野前方的实时场景影像,对AR‑HUD的显示亮度进行实时调节,能够有效提高驾驶员的视觉舒适度,有利于安全驾驶。本发明采用多层图像融合的方式,实现实时投影影像的更新,保证了投影图像的实时性和有效性。本发明采用一种基于高斯和拉普拉斯金字塔融合机制,实现场景图像与原始虚拟图像实时融合,进行获得修正后的虚拟图像,保证了图像显示的舒适性和协调性。本发明采用基于局部场景信息与原始图像的融合,保证图像亮度的均匀分布,在保证分辨率的前提下,实现了亮度分布的协调性。
Description
技术领域
本发明属于自动驾驶领域,涉及一种场景图像融合的车载AR-HUD亮度自适应调节方法。
背景技术
近几年随着AR(Augmented Reality增强现实技术)技术的发展,由汽车HUD基础上升级而来的AR-HUD技术更使汽车HUD如虎添翼。AR(Augmented Reality增强现实技术,简称AR),它是基于现实场景实时叠加数字模型,等于在实景上加标注,增强了驾驶员对车辆前方视野环境及车辆状态的实时感知。
然而,由于车辆在道路行驶的过程中,前方路况信息会发生实时变化,颠簸的路况导致车辆不同程度的抖动,车辆前方的视野亮度也会因天气阴晴、昼夜变化、进出隧道等实时环境发生变化。因此,不协调的AR-HUD亮度显示功能将严重影响安全驾驶,AR-HUD显示亮度的自适应实时更新有利于驾驶员在驾驶过程中的舒适性体验,保障安全驾驶。
专利“车载AR-HUD亮度自适应调节的防抖方法”是依据车辆行驶过程中每个周期内所有时间点的平均亮度值更新AR-HUD的显示亮度;
专利“一种基于视觉的AR-HUD亮度自适应调节方法”是基于场景图像区域中各自对应的平均亮度值更新AR-HUD的显示亮度。
以上专利均是依据场景图像(或局部区域)的平均亮度值确定AR-HUD的显示亮度,导致AR-HUD的显示亮度与场景图像亮度之间缺乏协调性,容易造成驾驶员视觉不适,进而造成视觉疲劳,不利于安全驾驶。
为了解决上述问题,提出一种场景图象融合的车载AR-HUD亮度自适应调节方法。
发明内容
有鉴于此,本发明的目的在于提供一种场景图像融合的车载AR-HUD亮度自适应调节方法。
为达到上述目的,本发明提供如下技术方案:
一种场景图像融合的车载AR-HUD亮度自适应调节方法,该方法包括以下步骤:
S1:获取数据;
1)获取驾驶员前方第i个时间点的视野场景图像i∈{1,2,…};
2)获取投影机在驾驶员视野前方挡风玻璃上的投影区域P0(x,y,L,W);
3)获取投影机第i个时间点的原始虚拟图像
4)获取AR-HUD投影显示仪将虚拟图像投影到投影区域P的缩放比例r;
S2:获取投影区域的视野场景子图像;
依据视野场景图像和前挡风玻璃投影区域P0(x,y,L,W),获得投影区域对应的视野场景子图像P′i∈RL*W;
S3:获取预投影到投影区域的虚拟图像;
依据原始虚拟图像和缩放比例r,获得投影区域对应的预投影虚拟图像
S4:视野场景子图像与预投影虚拟图像的自适应融合
依据视野场景子图像P′i∈RL*W和预投影虚拟图像拟采用递归融合方法实现其自适应融合,具体公式如下:
其中,Fus(·,·)表示场景图像与虚拟图像的融合函数,Pi fus表示第i个时间点融合后的图像;
针对以上图像融合问题,采用高斯和拉普拉斯金字塔融合机制,具体过程如下:
对于图像首先进行下采样处理,以获取对应图像的高斯金字塔:
其中,Fsub()表示下采样函数,主要实现原始图像尺寸的缩小;*表示卷积操作;Gσ表示标准差为σ的二维高斯核,定义为:
针对以上获得的下采样图像集{P1,P2,…,Pm},m表示下采样层数;
依据对应图像的下采样图像集,进行上采用处理,以获取对应图像的拉普拉斯金字塔:
其中,Fup(.)表示上采样函数,将图像尺寸增加一倍;
依据公式(2-4),分别获得图像P′i和对应的采样图像集/>和进而通过一下公式获得对应层级的融合图像:
通过一下公式获得不同层级的融合图像
令即为视野场景子图像Pi′∈RL*W和预投影虚拟图像/>的融合图像信息;
综上所属,通过以上公式(1-6),实现视野场景子图像P′i和预投影虚拟图像的融合图像Pfi;
S5:预投影虚拟图像的修正;
依据以上获得的视野场景子图像P′i和对应融合图像Pfi,获得修正后的预投影虚拟图像:
S6:修正预投影虚拟图像的缩放处理;
通过图像缩放函数,将修正的预投影虚拟图像转化为与原始虚拟图像相同尺寸的图像:/>
S7:将获得的修正的预投影虚拟图像投影到人眼前方的投影区域。
可选的,将获得投影区域对应的预投影虚拟图像以及图像尺寸增加一倍采用线性插值方法。
本发明的有益效果在于:
1、本发明依据视野前方的实时场景影像,对AR-HUD的显示亮度进行实时调节,能够有效提高驾驶员的视觉舒适度,有利于安全驾驶。
2、本发明采用多层图像融合的方式,实现实时投影影像的更新,保证了投影图像的实时性和有效性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
请参阅图1,为一种场景图像融合的车载AR-HUD亮度自适应调节方法。
1.获取数据
1)获取驾驶员前方第i(i∈{1,2,…})个时间点的视野场景图像
2)获取投影机在驾驶员视野前方挡风玻璃上的投影区域P0(x,y,L,W)
3)获取投影机第i(i∈{1,2,…})个时间点的原始虚拟图像
4)获取AR-HUD投影显示仪将虚拟图像投影到投影区域P的缩放比例r。
2.获取投影区域的视野场景子图像
依据视野场景图像和前挡风玻璃投影区域P0(x,y,L,W),获得投影区域对应的视野场景子图像P′i∈RL*W。
3.获取预投影到投影区域的虚拟图像
依据原始虚拟图像和缩放比例r,获得投影区域对应的预投影虚拟图像其方法采用线性插值方法,但不仅限于此方法。
4.视野场景子图像与预投影虚拟图像的自适应融合
依据视野场景子图像P′i∈RL*W和预投影虚拟图像拟采用递归融合方法实现其自适应融合,具体公式如下:
其中,Fus(·,·)表示场景图像与虚拟图像的融合函数,Pi fus表示第i(i∈{1,2,…})个时间点融合后的图像。
针对以上图像融合问题,采用高斯和拉普拉斯金字塔融合机制,具体过程如下:
对于图像首先进行下采样处理,以获取对应图像的高斯金字塔:
其中,Fsub()表示下采样函数,主要实现原始图像尺寸的缩小;*表示卷积操作;Gσ表示标准差为σ的二维高斯核,定义为:
针对以上获得的下采样图像集{P1,P2,…,Pm},m表示下采样层数。
依据对应图像的下采样图像集,进行上采用处理,以获取对应图像的拉普拉斯金字塔:
其中,Fup(.)表示上采样函数,主要将图像尺寸增加一倍,其方法采用线性插值方法,但不仅限于此方法。
依据公式(2-4),可以分别获得图像Pi′和对应的采样图像集/>和进而通过一下公式获得对应层级的融合图像:
通过一下公式获得不同层级的融合图像
令即为视野场景子图像P′i∈RL*W和预投影虚拟图像/>的融合图像信息。
综上所属,通过以上公式(1-6),可以实现视野场景子图像P′i和预投影虚拟图像的融合图像Pfi。
5.预投影虚拟图像的修正;
依据以上获得的视野场景子图像P′i和对应融合图像Pfi,获得修正后的预投影虚拟图像:
6.修正预投影虚拟图像的缩放处理;
通过图像缩放函数,将修正的预投影虚拟图像转化为与原始虚拟图像相同尺寸的图像:/>
7.将获得的修正的预投影虚拟图像投影到人眼前方的投影区域。
本发明采用一种基于高斯和拉普拉斯金字塔融合机制,实现场景图像与原始虚拟图像实时融合,进行获得修正后的虚拟图像,保证了图像显示的舒适性和协调性。
本发明采用基于局部场景信息与原始图像的融合,保证图像亮度的均匀分布,在保证分辨率的前提下,实现了亮度分布的协调性。
本发明所涉及的修正虚拟图像是基于实时场景图像进行实时更新。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (2)
1.一种场景图像融合的车载AR-HUD亮度自适应调节方法,其特征在于:该方法包括以下步骤:
S1:获取数据;
1)获取驾驶员前方第i个时间点的视野场景图像
2)获取投影机在驾驶员视野前方挡风玻璃上的投影区域P0(x,y,L,W);
3)获取投影机第i个时间点的原始虚拟图像
4)获取AR-HUD投影显示仪将虚拟图像投影到投影区域P的缩放比例r;
S2:获取投影区域的视野场景子图像;
依据视野场景图像和前挡风玻璃投影区域P0(x,y,L,W),获得投影区域对应的视野场景子图像Pi′∈RL*W;
S3:获取预投影到投影区域的虚拟图像;
依据原始虚拟图像和缩放比例r,获得投影区域对应的预投影虚拟图像
S4:视野场景子图像与预投影虚拟图像的自适应融合
依据视野场景子图像Pi′∈RL*W和预投影虚拟图像拟采用递归融合方法实现其自适应融合,具体公式如下:
其中,Fus(·,·)表示场景图像与虚拟图像的融合函数,Pi fus表示第i个时间点融合后的图像;
针对以上图像融合问题,采用高斯和拉普拉斯金字塔融合机制,具体过程如下:
对于图像首先进行下采样处理,以获取对应图像的高斯金字塔:
其中,Fsub()表示下采样函数,实现原始图像尺寸的缩小;*表示卷积操作;Gσ表示标准差为σ的二维高斯核,定义为:
针对获得的下采样图像集{P1,P2,…,Pm},m表示下采样层数;
依据对应图像的下采样图像集,进行上采用处理,以获取对应图像的拉普拉斯金字塔:
其中,Fup(.)表示上采样函数,将图像尺寸增加一倍;
依据公式(2)~(4),分别获得图像Pi′和对应的采样图像集/>和进而通过一下公式获得对应层级的融合图像:
通过一下公式获得不同层级的融合图像
令即为视野场景子图像Pi′∈RL*W和预投影虚拟图像/>的融合图像信息;
综上所属,通过公式(1)~(6),实现视野场景子图像Pi′和预投影虚拟图像的融合图像Pfi;
S5:预投影虚拟图像的修正;
依据以上获得的视野场景子图像Pi′和对应融合图像Pfi,获得修正后的预投影虚拟图像:
S6:修正预投影虚拟图像的缩放处理;
通过图像缩放函数,将修正的预投影虚拟图像转化为与原始虚拟图像相同尺寸的图像:/>
S7:将获得的修正的预投影虚拟图像投影到人眼前方的投影区域。
2.根据权利要求1所述的一种场景图像融合的车载AR-HUD亮度自适应调节方法,其特征在于:所述将获得投影区域对应的预投影虚拟图像以及图像尺寸增加一倍采用线性插值方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211370004.XA CN115866218B (zh) | 2022-11-03 | 2022-11-03 | 一种场景图像融合的车载ar-hud亮度自适应调节方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211370004.XA CN115866218B (zh) | 2022-11-03 | 2022-11-03 | 一种场景图像融合的车载ar-hud亮度自适应调节方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115866218A CN115866218A (zh) | 2023-03-28 |
CN115866218B true CN115866218B (zh) | 2024-04-16 |
Family
ID=85662384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211370004.XA Active CN115866218B (zh) | 2022-11-03 | 2022-11-03 | 一种场景图像融合的车载ar-hud亮度自适应调节方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115866218B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226830A (zh) * | 2013-04-25 | 2013-07-31 | 北京大学 | 三维虚实融合环境中视频纹理投影的自动匹配校正方法 |
CN106950698A (zh) * | 2017-05-02 | 2017-07-14 | 深圳市可可卓科科技有限公司 | 支持亮度自适应自学习的汽车hud方法及终端 |
KR20170090122A (ko) * | 2016-01-28 | 2017-08-07 | 영남대학교 산학협력단 | Hud 시스템의 색상 및 휘도 조절장치와 그 방법 |
DE102019207952B3 (de) * | 2019-05-29 | 2020-08-06 | Volkswagen Aktiengesellschaft | Verfahren zur Steuerung der Helligkeit eines von einer bildgebenden Einrichtung eines in einem Kraftfahrzeug befindlichen Head-Up-Displays projizierten Bildes |
CN112289240A (zh) * | 2020-10-29 | 2021-01-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种集成亮度自适应调节功能的ar-hud装置 |
CN113573035A (zh) * | 2020-04-29 | 2021-10-29 | 深圳光峰科技股份有限公司 | 一种基于视觉的ar-hud亮度自适应调节方法 |
CN114155300A (zh) * | 2021-10-29 | 2022-03-08 | 重庆利龙科技产业(集团)有限公司 | 一种车载hud系统投影效果检测方法及装置 |
CN115100983A (zh) * | 2022-05-27 | 2022-09-23 | 中国第一汽车股份有限公司 | 一种ar画面的亮度调节方法、装置、设备及存储介质 |
-
2022
- 2022-11-03 CN CN202211370004.XA patent/CN115866218B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226830A (zh) * | 2013-04-25 | 2013-07-31 | 北京大学 | 三维虚实融合环境中视频纹理投影的自动匹配校正方法 |
KR20170090122A (ko) * | 2016-01-28 | 2017-08-07 | 영남대학교 산학협력단 | Hud 시스템의 색상 및 휘도 조절장치와 그 방법 |
CN106950698A (zh) * | 2017-05-02 | 2017-07-14 | 深圳市可可卓科科技有限公司 | 支持亮度自适应自学习的汽车hud方法及终端 |
DE102019207952B3 (de) * | 2019-05-29 | 2020-08-06 | Volkswagen Aktiengesellschaft | Verfahren zur Steuerung der Helligkeit eines von einer bildgebenden Einrichtung eines in einem Kraftfahrzeug befindlichen Head-Up-Displays projizierten Bildes |
CN113573035A (zh) * | 2020-04-29 | 2021-10-29 | 深圳光峰科技股份有限公司 | 一种基于视觉的ar-hud亮度自适应调节方法 |
WO2021218602A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳光峰科技股份有限公司 | 一种基于视觉的ar-hud亮度自适应调节方法 |
CN112289240A (zh) * | 2020-10-29 | 2021-01-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种集成亮度自适应调节功能的ar-hud装置 |
CN114155300A (zh) * | 2021-10-29 | 2022-03-08 | 重庆利龙科技产业(集团)有限公司 | 一种车载hud系统投影效果检测方法及装置 |
CN115100983A (zh) * | 2022-05-27 | 2022-09-23 | 中国第一汽车股份有限公司 | 一种ar画面的亮度调节方法、装置、设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
The impact of AR-HUD intelligent driving on the allocation of cognitive resources under the breakthrough of 5G technology;Ma Xiangdong;《Journal of Physics: Conference Series》;20210701;全文 * |
一种基于亮度和深度信息的实时景深渲染算法;赵东阳;陈一民;李启明;刘燕;黄晨;徐升;周明珠;;系统仿真学报;20120808(08);全文 * |
风挡上的进阶革命:AR-HUD车载信息系统的界面设计探索;徐禕青;《设计》;20190122;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115866218A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112703464B (zh) | 基于用户注视的分配式注视点渲染 | |
US6198484B1 (en) | Stereoscopic display system | |
US11528453B2 (en) | Sensor fusion based perceptually enhanced surround view | |
CN107240065A (zh) | 一种3d全景图像生成系统和方法 | |
WO2024002023A1 (zh) | 全景立体图像的生成方法、装置和电子设备 | |
JP6047008B2 (ja) | 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法 | |
CN115866218B (zh) | 一种场景图像融合的车载ar-hud亮度自适应调节方法 | |
CN111696034A (zh) | 图像处理方法、装置及电子设备 | |
JP7512963B2 (ja) | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム | |
US20100149319A1 (en) | System for projecting three-dimensional images onto a two-dimensional screen and corresponding method | |
Avraham et al. | Ultrawide foveated video extrapolation | |
CN113658058A (zh) | 一种车载环视系统中的亮度均衡方法及系统 | |
US20230128288A1 (en) | Compositor layer extrapolation | |
JP7191201B2 (ja) | 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム | |
CN113256516A (zh) | 一种图像增强方法 | |
CN115278068A (zh) | 车载360全景影像系统的弱光增强方法及装置 | |
KR20110088680A (ko) | 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치 | |
JP7099239B2 (ja) | 表示装置及び表示制御装置 | |
TW202225783A (zh) | 裸視立體顯示器及其控制方法 | |
CN112132742A (zh) | 基于粒子的自适应光晕图像生成方法及装置 | |
JP2022036432A (ja) | ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法 | |
Hsieh et al. | Learning to perceive: Perceptual resolution enhancement for VR display with efficient neural network processing | |
CN115578283B (zh) | Hud成像的畸变矫正方法、装置、终端设备及存储介质 | |
CN114493989A (zh) | 车底透视显示方法、装置及计算机存储介质 | |
US20240310903A1 (en) | Employing different iterations of image restoration techniques on different image regions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |