CN111242866B - 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 - Google Patents
观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 Download PDFInfo
- Publication number
- CN111242866B CN111242866B CN202010032672.6A CN202010032672A CN111242866B CN 111242866 B CN111242866 B CN 111242866B CN 202010032672 A CN202010032672 A CN 202010032672A CN 111242866 B CN111242866 B CN 111242866B
- Authority
- CN
- China
- Prior art keywords
- virtual image
- hud
- neural network
- network
- eye position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 title claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 210000001747 pupil Anatomy 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明涉及一种观测者动态眼位条件下AR‑HUD虚像畸变校正的神经网络插值方法,属于车辆显示技术领域。该方法包括:S1:建立基于多层前向神经网络的虚像畸变形成的多元输入‑输出映射关系;S2:利用棋盘格图像的映射关系建立神经网络学习训练样本集;S3:利用获得的训练样本集进行网格离线学习训练;S4:基于神经网络非线性拟合与连续插值的AR‑HUD虚像预畸变处理,即得到AR‑HUD网络模型,实现AR‑HUD虚像畸变实时校正过程。本发明解决了固定眼位带来的虚像畸变问题,能够获得动态条件下良好的观测效果,具有很强的可操作性。
Description
技术领域
本发明属于车辆显示技术领域,涉及一种在观测者眼位在一定范围内作连续动态调整条件下车载AR-HUD系统所需的虚像标定与畸变校正的神经网络连续插值方法。
背景技术
近年来,为了实现人车新的交互体验,提高辅助驾驶的安全性、实用性,增强现实抬头显示(Augmented Reality Head Up Display,AR-HUD)系统作为一款新技术产品应运而生。AR-HUD的作用就是把车辆信息(时速、车辆报警等)、导航信息、环境感知信息(车外的车辆、行人、车道线等)和驾驶人员状态信息(疲劳、不规范行为等)重要信息,投影到驾驶员前风挡玻璃上,驾驶员不必低头,便可看到信息,避免分散对前方道路的注意力,提高了驾驶员的安全性。驾驶员不必在观察远方的道路和近处的仪表之间调节眼睛,可减轻眼睛疲劳。然而,车载HUD经过光学系统投射到汽车的前挡风玻璃上,该过程经过复杂的光学转换以及汽车前挡风玻璃的非标准面型等原因,显示的图像会有空间的位置变化和严重畸变,使得投出去的虚像形态与原图像完全不同。因此,需要对投出去的图像进行标定和预畸变处理,尽量使得驾驶员看到的虚像图像与原图像相同。现有的技术大部分采用专用反射镜压制畸变,但这种可变形反射镜价格相对昂贵,且实现的灵活性和校正效果较差。利用有效的算法和软件实现畸变矫正,仍然是优先考虑的技术路线。
目前,AR-HUD技术常采用是固定眼位的虚像测量与畸变校正方法。固定眼位是指在人眼可观测的空间区域(eye-box)内选择在最佳位置观察位置作为固定的测量点,由此进行到虚像曲面观测,并进行畸变校正,虚实注册及求取输入图像等。但是,人眼观测位置是在不断移动的。由于驾驶员位置及人眼动态变化会导致观测者的眼位有空间坐标是不断变化的,如果算法上只考虑最佳的典型位置上取得的算法,当人眼上、下、左、右、前、后移动时,HUD光学系统和汽车前挡风玻璃不同位置的曲率会影响虚像的位置、形态的畸变等,这些因素均会较大地影响虚像位置的空间标定、预畸变处理和AR系统虚实注册的实际效果。
图1展示了HUD的成像过程。HUD投影出来的图像经过光学系统反射进入人眼,以此形成景深感。但HUD投影的图像经光学反射以及挡风玻璃的折射,使投影出来形成的虚拟图像发生了畸变,为此还需要对HUD投影的原图像先进行预畸变处理,改善AR-HUD显示的效果。
目前常用的固定眼位的虚像测量与畸变校正方法,如:1)公开号为CN 109688392A的专利,公开了一种AR-HUD光学投影系统及映射关系标定方法和畸变校正方法,提出利用标定辅助设备对承载设备和人眼模拟设备进行空间定位,人眼模拟设备捕捉投影虚拟屏的显示内容,将显示内容像素转化为人眼模拟设备坐标系下的三维坐标A,再将三维坐标A转化为承载设备坐标系下三维坐标B,将三维坐标B横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标,根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算,获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标,将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。该专利申请的人眼模拟设备模拟的是人眼固定的眼位,如果将人眼模拟设备移动后,再对HUD虚像进行观测,其畸变矫正效果会变得很差,如若改变观测效果,必须对新的眼位进行重新标定,这样的去畸变方法显得很麻烦。2)公开号为CN 110203140 A的专利,公开了一种汽车增强现实显示方法、电子设备、系统,该专利虽然提及到了固定眼位和动态眼位,根据人眼坐标的横纵坐标修正待显示目标挡风玻璃坐标系的原点位置,实现对待显示目标挡风玻璃坐标的修正,但是,该专利使用的是简单的坐标修正方法,修正效果不好,使得在挡风玻璃上显示的图像并不能达到恢复原图的效果。3)公开号为CN 110341834 A的专利,公开了一种优化用于抬头显示系统成像的汽车挡风玻璃的方法,该专利先采用计算机软件设计3D挡风玻璃模型,并通过样点采集以作曲拟合,先考虑并确定场曲、畸变及MTF表现的性能;然后将抬头显示系统的所有参数为常量,将挡风玻璃的所有参数设置为变量,在所有视场的入射角度不变的情况下,针对200mm尺寸的光阑,更改挡风玻璃至少部分参数。该专利的方法可以适当的解决畸变的影响,但是整个过程显得很繁琐,而且成本代价比较高。
基于现有技术的缺陷,亟需一种能够基于动态眼位条件下对HUD投影的原图像进行预畸变处理,从而良好改善AR-HUD显示效果的新方法。
发明内容
有鉴于此,本发明的目的在于提供一种观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法,使得驾驶员在动态眼位条件下,使得HUD实际投影出来的虚像与期望HUD显示的虚像相比保持更小的畸变误差,从而获得动态条件下良好的观测效果。
为达到上述目的,本发明提供如下技术方案:
一种观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法,该方法具体包括以下步骤:
S1:建立基于多层前向神经网络(Multilayer Feedforward Neural Networks,MFNN)的虚像畸变形成的多元输入-输出映射关系;
S2:利用棋盘格图像的映射关系建立神经网络学习训练样本集;
S3:利用获得的训练样本集进行网格离线学习训练;
S4:基于神经网络非线性拟合与连续插值的AR-HUD虚像预畸变处理,即得到AR-HUD网络模型,实现AR-HUD虚像畸变实时校正过程。
进一步,所述步骤S1具体包括:设某眼位点坐标为HUD虚像平面上的点的坐标为P(xi,y0,zi),i=1,2,…,n,HUD原相平面输入坐标为Ui,j(ui,j,vi,j),则由虚像平面到原输入相平面的映射关系,即虚像的预畸变变换用神经网络表示为:
网络理想输出为:{ui,j,vi,j},i=1,2,3,…,n,j=1,2,3,…,m;
进一步,所述步骤S2具体包括:将HUD的输入图像设定为标准的棋盘格图像,其中的若干个分布规则的格点在原图像和虚像中依次对应标出;设选出n个格点作为原图像和虚像中的对应畸变点集,采样是选取m个有代表性的眼位,每个眼位均能建立n个对应关系,从而形成m×n个神经网络输入-输出学习训练样本集:
进一步,所述步骤S3具体包括:通过神经网络误差反向传播算法(EBP)对MFNN网络进行离线迭代学习训练,使得误差E小于等于阈值β,得到网络权系数W*,由此任给虚像平面点P(xi,y0,zi),i=1,2,…,n和眼位坐标输入到网络,得到网络输出/>
进一步,所述步骤S4具体包括:应用步骤S3学习训练完成的神经网络进行动态眼位条件下由虚像平面是任一点向原输入相平面上一点的连续映射;对于样本点之外的眼位和虚像平面的点集映射,应用神经网络的非线性拟合特性,进行高维空间中的连续插值(也可称为预测),实现虚像平面上图像的预畸变处理;实时地将瞳孔眼位三维坐标数据输入到AR-HUD网络模型,网络即可外推(估计)出与之对应得HUD输入图像中应设计确定的图像数据,即为AR-HUD的虚像畸变实时校正过程。
本发明的有益效果在于:1)本发明针对现有固定的单个眼位(观测效果最好的典型位置)畸变校正方法的明显缺陷,将观测条件放宽到动态眼位(眼位连续动态变化),提出一种新的AR-HUD虚像在多维空间连续映射模型和实时畸变校正处理算法,使得驾驶人员在眼位变化条件约束相对宽松的情况下,HUD实际投影出来的虚像与期望HUD显示的虚像相比保持更小的畸变误差,从而获得动态条件下良好的观测效果。2)本发明构建了基于AR-HUD图像映射的含有5维输入、2维输出的连续非线性映射统一模型,使十分复杂的AR-HUD虚像标定与动态畸变校正问题,具有了较严谨的算法基础,解决了在实际工程应用过程中的问题。3)本发明很好地解决固定眼位带来的虚像畸变问题,具有很强的可操作性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为HUD成像过程图;
图2为HUD虚像畸变校正处理示意图;
图3为本发明所述方法中的预畸变处理神经网结构;
图4为本发明AR-HUD虚像畸变校正的神经网络插值方法流程示意图;
图5为虚像平面待显示的图像;
图6为未去畸变在虚像平面的输出图像效果图;
图7为固定眼位方法预畸变处理后得到的输入图像;
图8为固定眼位方法在虚像平面的输出图像效果图;
图9为本发明采用的动态眼位方法预畸变处理后得到的输入图像;
图10为本发明采用的动态眼位方法在虚像平面的输出图像效果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
请参阅图1~图10,为一种观测者眼位连续变化场景下AR-HUD虚像畸变校正的神经网络插值方法,具体包括以下步骤:
步骤1:将处理好的训练样本输入到设计好的神经网络结构中进行离线训练,直到训练误差满足我们的设定值时,将神经网络模型进行保存。
步骤2:将瞳孔检测获取的驾驶员实时眼位以及此时眼位对应的虚像平面特征点坐标输入到步骤1训练好的神经网络模型(观测者眼位连续变化场景下ARHUD虚像畸变校正的神经网络插值映射模型)中,得到与之对应的相平面预畸变映射表坐标,即畸变映射表。
步骤3:将视觉设计图像视为实际屏幕,根据实际屏幕与虚拟投影屏幕像素间的映射关系(畸变映射表),调整视觉设计图像,从而实现对HUD投影虚像的矫正。
其中,建立ARHUD虚像畸变校正的神经网络插值映射模型,如图4所示,具体包括:将虚像曲面近似为y=y0的平面。虚像平面中的点记为P(x,y0,z),观测范围内任意眼位坐标记为E(xE,yE,zE),对应的HUD输入图像平面的点坐标记为U(u,v),其多维空间中图像映射模型可表示为如下连续非线性函数关系:
1)建立基于MFNN的虚像畸变形成的多元输入-输出映射关系。设某眼位点坐标为HUD虚像平面上的点的坐标为P(xi,y0,zi),i=1,2,…,n,HUD原相平面输入坐标为Ui,j(ui,j,vi,j),则由虚像平面到原输入相平面的映射关系,即虚像的预畸变变换用神经网络表示为:
网络理想输出为:{ui,j,vi,j},i=1,2,3,…,n,j=1,2,3,…,m;
2)利用棋盘格图像的映射关系建立神经网络学习训练样本集。将HUD的输入图像设定为标准的棋盘格图像,其中的若干个分布规则的格点在原图像和虚像中依次对应标出;设选出n个格点作为原图像和虚像中的对应畸变点集,采样是选取m个有代表性的眼位,每个眼位均能建立n个对应关系,从而形成m×n个神经网络输入-输出学习训练样本集:
3)利用获得的训练样本集进行网格离线学习训练。通过神经网络误差反向传播算法(EBP)对MFNN网络进行离线迭代学习训练,使得误差E小于等于阈值β,得到网络权系数W*,由此任给虚像平面点P(xi,y0,zi),i=1,2,…,n和眼位坐标输入到网络,得到网络输出/>
4)基于神经网络非线性拟合与连续插值的AR-HUD虚像预畸变处理。应用学习训练完成的神经网络进行动态眼位条件下由虚像平面是任一点向原输入相平面上一点的连续映射;对于样本点之外的眼位和虚像平面的点集映射,应用神经网络的非线性拟合特性,进行高维空间中的连续插值(也称为预测),实现虚像平面上图像的预畸变处理;实时地将瞳孔眼位三维坐标数据输入到AR-HUD网络模型,网络即可外推(估计)出与之对应得HUD输入图像中应设计确定的图像数据,即为AR-HUD的虚像畸变实时校正过程。
本实施例中,网络结构采用若干个隐含层,学习训练中选取了21个典型眼位,虚像采样点选取21*11个,总共形成21*21*11个学习样本集。学习训练完成后,对于待输出到虚像平面的图像进行在线预畸变处理。如图5~10所示,采用本发明的方法与固定的单个眼位下的对比试验,图9和图10为本发明方法的去畸变实验效果,图7和图8为固定的单个眼位方法的去畸变实验效果,图5和图6为未采用去畸变方法的实验效果。通过实验结果可以得出,固定眼位方式只有在对应标定眼位下的去畸变效果较好,在其他眼位下的去畸变效果较差,从图8可以看出,虚像的部分线条还是存在弯曲的情况,而本发明的去畸变方法在对应标定眼位和其他任意眼位下的去畸变效果都比较好。
通过上述实验,验证了本发明的方法较通常的基于固定眼位假定的虚像畸变校正方法,效果明显改善,对驾驶人员眼位连续变化的适应能力明显增强,若配合相应的数据处理算法(如离线构建插值表),该方法能更好的满足车辆运动场景下的实时性要求。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法,其特征在于,该方法具体包括以下步骤:
S1:建立基于多层前向神经网络(Multilayer Feedforward Neural Networks,MFNN)的虚像畸变形成的多元输入-输出映射关系;具体包括:设某眼位点坐标为HUD虚像平面上的点的坐标为P(xi,y0,zi),i=1,2,,n,HUD原相平面输入坐标为Ui,j(ui,j,vi,j),则由虚像平面到原输入相平面的映射关系,即虚像的预畸变变换用神经网络表示为:
网络理想输出为:{ui,j,vi,j},i=1,2,3,…,n,j=1,2,3,…,m;
S2:利用棋盘格图像的映射关系建立神经网络学习训练样本集;
S3:利用获得的训练样本集进行网络离线学习训练;
S4:基于神经网络非线性拟合与连续插值的AR-HUD虚像预畸变处理,即得到AR-HUD网络模型,实现AR-HUD虚像畸变实时校正过程;具体包括:应用步骤S3学习训练完成的神经网络进行动态眼位条件下由虚像平面是任一点向原输入相平面上一点的连续映射;对于样本点之外的眼位和虚像平面的点集映射,应用神经网络的非线性拟合特性,进行高维空间中的连续插值,实现虚像平面上图像的预畸变处理;实时地将瞳孔眼位三维坐标数据输入到AR-HUD网络模型,网络估计出与之对应得HUD输入图像中应设计确定的图像数据,即为AR-HUD的虚像畸变实时校正过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010032672.6A CN111242866B (zh) | 2020-01-13 | 2020-01-13 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010032672.6A CN111242866B (zh) | 2020-01-13 | 2020-01-13 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111242866A CN111242866A (zh) | 2020-06-05 |
CN111242866B true CN111242866B (zh) | 2023-06-16 |
Family
ID=70864253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010032672.6A Active CN111242866B (zh) | 2020-01-13 | 2020-01-13 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242866B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258399A (zh) * | 2020-09-10 | 2021-01-22 | 江苏泽景汽车电子股份有限公司 | 一种逆向建模的hud图像光学矫正方法 |
CN113313656B (zh) * | 2020-11-18 | 2023-02-21 | 江苏泽景汽车电子股份有限公司 | 一种适应hud上中下眼盒畸变矫正方法 |
EP4339938A4 (en) * | 2021-05-18 | 2024-05-22 | Huawei Technologies Co., Ltd. | PROJECTION METHOD AND DEVICE AS WELL AS VEHICLE AND AR-HUD |
CN113421346B (zh) * | 2021-06-30 | 2023-02-17 | 暨南大学 | 一种增强驾驶感的ar-hud抬头显示界面的设计方法 |
CN114820396B (zh) * | 2022-07-01 | 2022-09-13 | 泽景(西安)汽车电子有限责任公司 | 图像处理方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488807A (zh) * | 2015-12-25 | 2016-04-13 | 傅之成 | 一种远心镜头的标定和矫正方法 |
CN107610062A (zh) * | 2017-09-01 | 2018-01-19 | 上海微元计算机系统集成有限公司 | 基于bp神经网络的图像几何畸变的快速识别与校正方法 |
CN108761777A (zh) * | 2018-03-30 | 2018-11-06 | 京东方科技集团股份有限公司 | 一种确定光学装置畸变量、畸变校正的方法及设备 |
CN109584290A (zh) * | 2018-12-03 | 2019-04-05 | 北京航空航天大学 | 一种基于卷积神经网络的立体图像匹配方法 |
WO2019134945A1 (en) * | 2018-01-03 | 2019-07-11 | Koninklijke Philips N.V. | System and method for detecting abnormal tissue using vascular features |
CN110415544A (zh) * | 2019-08-20 | 2019-11-05 | 深圳疆程技术有限公司 | 一种灾害天气预警方法及汽车ar-hud系统 |
CN110525342A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于深度学习的ar-hud车载辅助驾驶方法及其系统 |
-
2020
- 2020-01-13 CN CN202010032672.6A patent/CN111242866B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488807A (zh) * | 2015-12-25 | 2016-04-13 | 傅之成 | 一种远心镜头的标定和矫正方法 |
CN107610062A (zh) * | 2017-09-01 | 2018-01-19 | 上海微元计算机系统集成有限公司 | 基于bp神经网络的图像几何畸变的快速识别与校正方法 |
WO2019134945A1 (en) * | 2018-01-03 | 2019-07-11 | Koninklijke Philips N.V. | System and method for detecting abnormal tissue using vascular features |
CN108761777A (zh) * | 2018-03-30 | 2018-11-06 | 京东方科技集团股份有限公司 | 一种确定光学装置畸变量、畸变校正的方法及设备 |
CN109584290A (zh) * | 2018-12-03 | 2019-04-05 | 北京航空航天大学 | 一种基于卷积神经网络的立体图像匹配方法 |
CN110415544A (zh) * | 2019-08-20 | 2019-11-05 | 深圳疆程技术有限公司 | 一种灾害天气预警方法及汽车ar-hud系统 |
CN110525342A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于深度学习的ar-hud车载辅助驾驶方法及其系统 |
Non-Patent Citations (1)
Title |
---|
穆向昕 ; .标准化推动视频技术的发展.演艺科技.2018,(02),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111242866A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111242866B (zh) | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 | |
CN109688392B (zh) | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 | |
CN111476104B (zh) | 动态眼位下ar-hud图像畸变矫正方法、装置、系统 | |
CN111731187A (zh) | 一种汽车a柱盲区图像显示系统及方法 | |
CN102830793B (zh) | 视线跟踪方法和设备 | |
CN116205823B (zh) | 一种基于空域滤波的超声影像去噪方法 | |
EP3221844B1 (en) | Localising portable apparatus | |
CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
CN112132958A (zh) | 一种基于双目视觉的水下环境三维重建方法 | |
CN108171673A (zh) | 图像处理方法、装置、车载抬头显示系统及车辆 | |
WO2019140945A1 (zh) | 一种应用于飞行模拟器的混合现实方法 | |
CN113421346B (zh) | 一种增强驾驶感的ar-hud抬头显示界面的设计方法 | |
CN113240592A (zh) | 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法 | |
CN113129232B (zh) | 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 | |
US8629868B1 (en) | Systems and methods for simulating depth of field on a computer generated display | |
US12080012B2 (en) | Systems and methods for low compute high-resolution depth map generation using low-resolution cameras | |
WO2021227969A1 (zh) | 一种数据处理方法及其设备 | |
CN111489435A (zh) | 基于单图像的自适应三维人脸重建方法 | |
JP2010530087A (ja) | 画像処理プロセッサ | |
CN114007054A (zh) | 车载屏幕画面投影矫正的方法及装置 | |
CN112734832A (zh) | 一种即时获得线上物体实际尺寸测量方法 | |
CN112863453B (zh) | 全息显示方法及全息显示系统 | |
CN114881874B (zh) | 基于自适应光学望远镜成像过程的高分辨力图像生成方法 | |
Shen et al. | U 2 PNet: An Unsupervised Underwater Image-Restoration Network Using Polarization | |
CN110728630A (zh) | 基于增强现实的互联网图像处理方法及增强现实眼镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |