发明内容
鉴于上述问题,提出了一种克服上述问题或者至少部分地解决上述问题的增强现实投影的校准方法、电子设备、系统及存储介质。
本发明的一个目的是在第一介质老化或者破损时,第一设备仍然可以在投影面上呈现出与第一介质在完好状态下相同或者接近的图像。
根据本发明的一方面,本发明提供了一种增强现实投影的校准方法,包括:
第一设备输出预设图像,穿过第一介质投影到位于第一位置的投影面上形成第一图像,所述第一位置为所述第一设备输出的图像经所述第一介质折射后投影到的实际成像位置;
第二设备输出预设图像,投影到所述位于第一位置的投影面上形成第二图像,所述第二图像与所述第一图像在所述位于第一位置的投影面上重叠;
采集所述位于第一位置的投影面上所述第二图像与所述第一图像重叠的图像数据,根据所述图像数据进行所述第一图像与所述第二图像比对;
判断所述第一图像的第一高度和所述第二图像的第二高度是否相同,若不相同,则对第二设备进行调节使得所述第一图像的第一高度和所述第二图像的第二高度相同;
之后将所述投影面由第一位置移动至第三位置,第三位置为所述第一设备输出的图像经所述第一介质后投影到的理论成像位置,第一设备输出预设图像,穿过第一介质投影到第三位置处的投影面上形成第三图像,第二设备输出预设图像,投影到所述第三位置处的投影面上形成第四图像,若判断所述第三图像与所述第四图像不重合,根据所述第三图像与所述第四图像的比对结果得出调整参数,根据所述调整参数对所述第一设备进行调节,直到所述第三图像与所述第四图像重合。
可选地,所述第一图像与所述第二图像比对的维度包括:图像高度、图像宽度、图像夹角和图像变形系数。
可选地,所述第二设备设置于所述第一介质与所述投影面之间的第二位置,所述第二位置设置于驾驶员眼睛与主驾视野区中心点连线的延长线上。
可选地,判断所述第一图像的第一高度和所述第二图像的第二高度是否相同,若不相同,则对第二设备进行调节使得所述第一图像的第一高度和所述第二图像的第二高度相同,包括:
若所述第一图像的第一高度H1和所述第二图像的第二高度H2不同,则根据所述第一高度H1和所述第二高度H2计算出所述第二设备的调整倍数N,根据所述调整倍数N调整所述第二设备的放大倍数,以使所述投影面上的所述第二图像的所述第二高度H2与所述第一图像的所述第一高度H1相同。
可选地,根据所述第一高度H1和所述第二高度H2计算出所述第二设备的调整倍数N,包括:
基于下式(1),根据预设图像的预设放大倍数n1、所述第一高度H1和所述第二高度H2计算得到所述第二设备的调整倍数N:
N=n1*H2/H1 (1)。
可选地,比较所述第三位置处的投影面上的第三图像与第四图像是否重合;若不重合,则校准所述第一设备以使所述第三位置处的投影面上的第三图像和第四图像重合,包括:
比较所述第三图像与所述第四图像的中心位置;
若所述第三图像与所述第四图像的中心位置不重合,则通过比对所述第三图像与所述第四图像计算出所述第一设备所需的垂直移动距离;
根据所述垂直移动距离调整所述第一设备的位置,使所述第三图像的中心位置和所述第四图像的中心位置重合。
可选地,比较所述第三位置处的投影面上的第三图像与第四图像是否重合;若不重合,则校准所述第一设备以使所述第三位置处的投影面上的第三图像和第四图像重合,还包括:
在根据所述垂直移动距离调整所述第一设备的位置,使所述第三图像的中心位置和所述第四图像的中心位置重合之后,比较所述第三图像的第三高度和所述第四图像的第四高度;
若所述第三高度与所述第四高度不同,则通过比对所述第三图像与所述第四图像计算出所述第一设备的调整角度;
根据所述调整角度调整所述第一设备的投射角度,使所述第三图像的所述第三高度和所述第四图像的所述第四高度相同。
根据本发明的另一方面,本发明还提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码在计算设备上运行时,导致所述计算设备执行根据上述任一项所述的增强现实投影的校准方法。
根据本发明的又一方面,本发明还提供了一种电子设备,包括:
存储器和处理器,所述存储器内存储有控制程序,所述控制程序被所述处理器执行时用于实现根据上述任一项所述的增强现实投影的校准方法。
根据本发明的又一方面,本发明还提供了一种增强现实投影的校准系统,包括:
投影面,位于第一介质于车外侧的第一位置;待校准的第一设备位于第一介质于车内侧,其输出预设图像穿过所述第一介质投影到所述投影面上形成第一图像;
第二设备,设置在所述第一介质于车外侧的第二位置,其投影预设图像到所述投影面上形成第二图像,所述第二图像与所述第一图像在投影面上重叠;
图像采集设备,配置为采集所述投影面上所述第二图像与所述第一图像重叠的图像数据;以及
上述所述的电子设备与所述第一设备、所述第二设备以及所述图像采集设备分别连接。
在本发明的增强现实投影的校准方法中,第一设备输出预设图像,穿过第一介质投影到位于第一位置的投影面上形成第一图像;第二设备输出预设图像,投影到投影面上形成第二图像,第二图像与第一图像在投影面上重叠;采集投影面上第二图像与第一图像重叠的图像数据,根据图像数据进行第一图像与第二图像比对;若判断第一图像与第二图像不重合,根据第一图像与第二图像的比对结果得出调整参数,根据调整参数对第一设备进行调节,直到第一图像与第二图像重合,从而在第一介质老化或者破损时,第一设备仍然可以在投影面上呈现出与第一介质在完好状态下相同或者接近的图像,进而在第一介质上显示理想状态的图像,提高了第一介质显示图像的效果。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
具体实施方式
随着时间的推移,车辆的挡风玻璃可能会出现老化或者受到损坏,导致增强现实平视显示器在挡风玻璃上显示的图像发生改变,影响了增强现实平视显示器的成像效果。
针对上述问题,本发明实施例提供了一种增强现实投影的校准方法。
图1是根据本发明一个实施例的增强现实投影的校准方法的流程图。参见图1,增强现实投影的校准方法可包括以下步骤S102至步骤S108。
步骤S102:第一设备输出预设图像,穿过第一介质投影到位于第一位置的投影面上形成第一图像。
第一设备可以为增强现实平视显示器(Augmented Reality Head Up Display,简称ARHUD),也可以为其他辅助驾驶设备。
第一介质可以指车辆上的车载玻璃或挡风玻璃,当然,还可以为其他透明介质。
投影面一般可以为屏幕。
步骤S104:第二设备输出预设图像,投影到投影面上形成第二图像,第二图像与第一图像在投影面上重叠。第二设备输出预设图像和第一设备输出预设图像为相同的图像。第二设备设置于第一介质与投影面之间的第二位置。第二位置设置于驾驶员眼睛与主驾视野区中心点连线的延长线上。
一种实施例中,第二设备可以为一种录像机。
一种实施例中,第二设备连接到一种车机、IHU(Infotainment Head Unit,信息娱乐主机)、IVI(In-Vehicle Infotainment,车载信息娱乐系统)或任意一种车载信息交互终端,或者连接到一种DHU(娱乐主机和仪表的集成机器)。
步骤S106:采集投影面上第二图像与第一图像重叠的图像数据,根据图像数据进行第一图像与第二图像比对。第一图像与第二图像比对的维度可包括:图像高度、图像宽度、图像夹角和图像变形系数等。图像夹角可以指图像不同的部分之间的夹角。具体地,如图2中所示的图像高度H、图像宽度W、图像夹角X和图像夹角Y等。第一设备的透镜的镜面可能是球面形状,第一设备输出预设图像时可能会因球面形状的镜面使图像产生变形。
步骤S108:若判断第一图像与第二图像不重合,根据第一图像与第二图像的比对结果得出调整参数,根据调整参数对第一设备进行调节,直到第一图像与第二图像重合。
在本实施例中,第一设备输出预设图像,穿过第一介质投影到位于第一位置的投影面上形成第一图像;第二设备输出预设图像,投影到投影面上形成第二图像,第二图像与第一图像在投影面上重叠;采集投影面上第二图像与第一图像重叠的图像数据,根据图像数据进行第一图像与第二图像比对;若判断第一图像与第二图像不重合,根据第一图像与第二图像的比对结果得出调整参数,根据调整参数对第一设备进行调节,直到第一图像与第二图像重合,从而在第一介质老化或者破损时,第一设备仍然可以在投影面上呈现出与第一介质在完好状态下相同或者接近的图像,进而在第一介质上显示理想状态的图像,提高了第一介质显示图像的效果。
在本发明的一个实施例中,根据第一图像与第二图像的比对结果得出调整参数,根据调整参数对第一设备进行调节,直到第一图像与第二图像重合,可包括:
若第一图像的第一高度H1和第二图像的第二高度H2不同,则根据第一高度H1和第二高度H2计算出第二设备的调整倍数N,根据调整倍数N调整第二设备的放大倍数,以使投影面上的第二图像的第二高度H2与第一图像的第一高度H1相同;
将投影面由第一位置移动至第三位置,第一位置为第一设备输出的图像经第一介质折射后投影到的实际成像位置;第三位置为第一设备输出的图像经第一介质后投影到的理论成像位置;第一设备输出预设图像,穿过第一介质投影到第三位置处的投影面上形成第三图像,第二设备输出预设图像,投影到第三位置处的投影面上形成第四图像;
比较第三位置处的投影面上的第三图像与第四图像是否重合;
若不重合,则校准第一设备以使投影面上的第三图像和第四图像重合。
在本实施例中,实际成像位置为第一介质在老化或者破损等状态下,第一设备输出的图像经第一介质后投影到的位置。理论成像位置为第一介质在完好的状态下,第一设备输出的图像经第一介质后投影到的位置。若第一图像的第一高度H1和第二图像的第二高度H2不同,则根据第一高度H1和第二高度H2计算出第二设备的调整倍数N,根据调整倍数N调整第二设备的放大倍数,以使投影面上的第二图像的第二高度H2与第一图像的第一高度H1相同。若第一图像为不规则的图像,在确定第一图像的第一高度H1的时候,可以根据第一图像外部边缘的轮廓形成一个圆(圆的直径可以作为图像的高度H),将圆的直径作为第一图像的第一高度H1,如图2所示。同理,可以采用同样的方式确定第二图像的第二高度H2。之后,也可以比较两个圆的圆周是否重合来判断第一高度H1和第二高度H2是否相同。之所以调整第二设备的放大倍数,是因为第二设备位于第一介质和投影面之间,第二设备在投影面上投影的第二图像未经过第一介质的折射,不会发生位置、大小和形状等特征的改变,因此,根据调整倍数N调整第二设备的放大倍数,使第二图像的第二高度H2与第一图像的第一高度H1相同。
之后,将投影面移动至第三位置,比较第三位置处的投影面上的第三图像与第四图像是否重合,若不重合,则校准第一设备以使投影面上的第三图像和第四图像重合,从而使第一设备输出到投影面的第三图像与第一介质在完好状态下的图像相同或者接近相同。
当然,在比较第一图像的第一高度H1和第二图像的第二高度H2是否相同之后,若第一高度H1和第二高度H2相同,则表明第一介质处于完好状态,无需对第一设备进行校准。
具体地,在本发明一个实施例中,根据第一高度H1和第二高度H2计算出第二设备的调整倍数N,可包括:
基于下式(1),根据预设图像的预设放大倍数n1、第一高度H1和第二高度H2计算得到录像机的调整倍数N:
N=n1*H2/H1 (1)。
在本实施例中,第一设备和第二设备输出预设图像时,往往是按照预设放大倍数n1输出的,预设放大倍数n1可以根据实际需要进行设定,如40-50倍。因此,在得到第二高度H2与第一高度H1的比值后,还需要乘以预设放大倍数n1。当然,在第一设备和第二设备输出预设图像时,若没有设置预设放大倍数,即n1为1。
在本发明一个实施例中,比较第三位置处的投影面上的第三图像与第四图像是否重合;若不重合,则校准第一设备以使第三位置处的投影面上的第三图像和第四图像重合,可包括:
比较第三图像与第四图像的中心位置;
若第三图像与第四图像的中心位置不重合,则通过比对第三图像与第四图像计算出第一设备所需的垂直移动距离;
根据垂直移动距离调整第一设备的位置,使第三图像的中心位置和第四图像的中心位置重合。
在本实施例中,若第三图像为不规则的图像,在确定第三图像的中心位置的时候,可以根据第三图像外部边缘的轮廓形成一个圆,将圆心的位置Q作为第三图像的中心位置,如图2所示。同理,可以采用同样的方式确定第四图像的中心位置。第一设备的垂直移动距离一般可以为上下移动的距离,如向上移动第一设备,调整第一设备的高度。垂直移动距离的范围可以由第一设备的机械结构决定,一般为0-50cm。根据垂直移动距离调整第一设备的位置,使第三图像的中心位置和第四图像的中心位置重合,在投影面上呈现出与第一介质在完好状态下相同的图像。
在本发明一个实施例中,比较第三位置处的投影面上的第三图像与第四图像是否重合;若不重合,则校准第一设备以使第三位置处的投影面上的第三图像和第四图像重合,还可包括:
在根据垂直移动距离调整第一设备的位置,使第三图像的中心位置和第四图像的中心位置重合之后,比较第三图像的第三高度和第四图像的第四高度;
若第三高度与第四高度不同,则通过比对第三图像与第四图像计算出第一设备的调整角度;
根据调整角度调整第一设备的投射角度,使第三图像的第三高度和第四图像的第四高度相同。
在本实施例中,调整角度的范围可以为0-180°。根据调整角度调整第一设备的投射角度,使第三图像的第三高度和第四图像的第四高度相同,在投影面上呈现出与第一介质在完好状态下相同的图像。
图3是根据本发明另一个实施例的增强现实平视显示器的校准方法的流程图,包括步骤S202至步骤S226。
步骤S202:第一设备输出预设图像,穿过第一介质投影到位于第一位置的投影面上形成第一图像。
步骤S204:第二设备输出预设图像,投影到投影面上形成第二图像,第二图像与第一图像在投影面上重叠。
步骤S206:采集投影面上第二图像与第一图像重叠的图像数据。
步骤S208:根据图像数据对比第一图像的第一高度与第二图像的第二高度是否相同。
若第一高度和第二高度不同,执行步骤S210;若相同,执行步骤226。
步骤S210:根据第一高度和第二高度计算出第二设备的调整倍数,根据调整倍数调整第二设备的放大倍数,以使投影面上的第二图像的第二高度与第一图像的第一高度相同。
步骤S212:将投影面由第一位置移动至第三位置。第一位置为第一设备输出的图像经第一介质折射后投影到的实际成像位置;第三位置为第一设备输出的图像经第一介质后投影到的理论成像位置。实际成像位置和理论成像位置的含义可以参照上述实施例,这里不再赘述。
步骤S214:比较第三位置处的投影面上的第三图像与第四图像的中心位置是否重合。若中心位置不重合,执行步骤S216;若重合,执行步骤S220。
步骤S216:通过比对第三图像与第四图像计算出第一设备所需的垂直移动距离。
步骤S218:根据垂直移动距离调整第一设备的位置,使第三图像的中心位置和第四图像的中心位置重合。
步骤S220:比较第三图像的第三高度和第四图像的第四高度是否相同。
若第三高度与第四高度不同,执行步骤S222,若相同,执行步骤S226。
步骤S222:通过比对第三图像与第四图像计算出第一设备的调整角度。
步骤S224:根据调整角度调整第一设备的投射角度,使第三图像的第三高度和第四图像的第四高度相同。
步骤S226:结束对第一设备的调节。
基于同一构思,本发明还提供了一种计算机存储介质。计算机存储介质存储有计算机程序代码,当计算机程序代码在计算设备上运行时,导致计算设备执行根据上述任一项实施例的增强现实投影的校准方法。
参见图4,基于同一构思,本发明还提供了一种电子设备300。电子设备300可以为一种车机、DHU(娱乐主机和仪表的集成机器)、IHU(Infotainment Head Unit,信息娱乐主机)、IVI(In-Vehicle Infotainment,车载信息娱乐系统)或任意一种车载信息交互终端等。电子设备300可包括可存储器301和处理器302。存储器301内存储有控制程序。控制程序被处理器302执行时用于实现根据上述任一项实施例的增强现实投影的校准方法。
参见图5,基于同一构思,本发明还提供了一种增强现实投影的校准系统。增强现实投影的校准系统可包括投影面403、第二设备401、图像采集设备402以及电子设备300。投影面403位于第一介质405于车外侧的第一位置。可以将车辆朝向的方向定义为前方,第一位置一般可以为第一介质405前的10-25m的位置,如20m。待校准的第一设备404位于第一介质405于车内侧,其输出预设图像穿过第一介质405投影到投影面403上形成第一图像。第二设备401设置在第一介质405于车外侧的第二位置,其投影预设图像到投影面403上形成第二图像,第二图像与第一图像在投影面403上重叠。第二位置设置于驾驶员眼睛与主驾视野区中心点连线的延长线上,如第一介质405前方的0.5m处。图像采集设备402采集投影面403上第二图像与第一图像重叠的图像数据。电子设备300与第一设备404、第二设备401以及图像采集设备402分别连接。
在本实施例中,投影面403的颜色可以为银色、或白色,当然,也可以选择其他颜色。电子设备300可以通过串行链路(Gigabit Multimedia Serial Link,GMSL)与第一设备404、第二设备401以及图像采集设备402分别连接。其中,第一设备404可以为增强现实平视显示器。第一介质405可以指车辆上的挡风玻璃。投影面403一般可以为屏幕。第二设备401可以为录像机。图像采集设备402可以为摄像头。下面结合图5和图6详细介绍本方案的过程。
人可以坐在车辆的主驾位OP处,点P为人眼的位置。第一设备404输出预设图像,穿过第一介质405投影到位于第一位置的投影面403上形成第一图像。第一介质405由于老化、破损等原因,导致它的折射率发生了变化,进而导致第一设备404经第一介质405投影后的第一图像的位置偏离了理论成像位置S0。移动投影面403的位置,直到投影面403上显示第一图像为止,记录下实际成像位置S1。第二设备401输出预设图像,投影到投影面403上形成第二图像,第二图像与第一图像在投影面403上重叠。第一设备404和第二设备401均可以以预设放大倍数输出预设图像。图像采集设备402采集第二图像与第一图像叠加的图像数据,比较第一图像的第一高度和第二图像的第二高度是否相同。若第一高度和第二高度不同,电子设备300根据第一高度和第二高度计算出第二设备401的调整倍数,根据调整倍数调整第二设备401的放大倍数,以使投影面403上的第二图像的第二高度与第一图像的第一高度相同。
然后,将投影面403移动至理论成像位置S0,记录下理论成像位置S0。第一设备404输出预设图像穿过第一介质405投影到理论成像位置S0的投影面403上形成第三图像。第二设备401投影预设图像到理论成像位置S0的投影面403上形成第四图像。电子设备300比较第三图像与第四图像的中心位置是否重合。若第三图像与第四图像的中心位置不重合,电子设备300通过比对第三图像与第四图像计算出对第一设备404的垂直移动距离,根据垂直移动距离调整第一设备404的位置,使第三图像的中心位置和第四图像的中心位置重合。
在根据垂直移动距离调整第一设备404的位置之前,记录第一设备404的调整前高度h1,即距离AA1。根据垂直移动距离调整第一设备404的位置,使第三图像的中心位置和第四图像的中心位置重合后,记录第一设备404的调整后高度h2,即距离AA2。点O与点S0的连线可以作为地平线。点B为第一介质405的点。距离BS0、距离BS1、距离OP以及距离OB可以通过测量获得。点B2为理论成像位置S0到人眼点P的直线与第一介质405的交点,夹角c(∠L1B2S0)为理论成像位置S0到人眼点P的直线与第一介质405的法线L1L2的夹角,点B1为实际成像位置S1到人眼点P的直线与第一介质405交点,夹角b(∠L3B1S1)为实际成像位置S1到人眼点P的直线与第一介质405的法线L3L4的夹角,投射角度d0(已知)(∠B1A1L4)为调整前第一设备404在位置A1的投射角度,夹角a(∠A1B1L4)为调整前第一设备404在位置A1到第一介质405投影点B1之间的夹角,四边形A1AS1B1中夹角a=360°-90°-90°-e-d0=180°-e-d0,角度d(∠B2A2L4)为调整前第一设备404在位置A2的投射角度;夹角为j(未知)(∠A2B2L2)为调整后第一设备404在A2到第一介质405投影点B2之间的夹角,四边形BAA2B2中,角度d=360°-90°-90°-e=180°-e–j;第一介质405的角度e(已知)是固定的。点P到点S1的直线与地面的角度为f(∠B1S1B)=arcsin(OP/OS1),点P到点S0与地面的角度为g(∠B2S0B)=arcsin(OP/OS0),其中距离OP、距离OS1和距离OS0可以测量获得。
计算调整后高度h2(距离AA2)。假设调整后第一设备404到第一介质405距离为x(AD2的距离)。在直角梯形A2ABB2中,可以得到(AB-x)*tane=h2;在直角三角形B2D2S0中,可以得到(AS0-x)*tang=h2;因为AS0、AB、e、g都是已知的,所以可得到调整后高度h2=(AB-(OS0*tang–AB*tane)/(tang-tane))*tane。进而根据调整后高度h2和调整前高度h1得到垂直移动距离。
之后,电子设备300比较第三图像的第三高度和第四图像的第四高度是否相同。
若第三高度与第四高度不同,电子设备300通过比对第三图像与第四图像计算出第一设备404的调整角度,根据调整角度调整第一设备404的投射角度,使第三图像的第三高度和第四图像的第四高度相同。可以通过以下方式计算第一设备404的投射角度d。
第一设备404的投射角度d=180°-e-j。
根据入射线夹角/折射线夹角=入射介质的折射率/折射介质的折射率可得
a(∠A1B1L4)/b(∠L3B1S1)=j(∠A2B2L2)/c(∠L1B2L3);
进而得到j=(a/b)*c;
角度i(∠S1B1B)满足i+b=90°,(180°-e)+f+i=180°;
得到:i=e-f,b=90°-i=90°-e+f;
同理:角度z(∠L3B2B1)满足z+c=90°,(180°-e)+g+z=180°;
得到:z=e-g,c=90°-z=90°-e+g;从而得到j,进而得到投射角度d。
上述各个实施例可以任意组合,根据上述任意一个优选实施例或多个优选实施例的组合,本发明实施例能够达到如下有益效果:
第一设备输出预设图像,穿过第一介质投影到位于第一位置的投影面上形成第一图像;第二设备输出预设图像,投影到投影面上形成第二图像,第二图像与第一图像在投影面上重叠;采集投影面上第二图像与第一图像重叠的图像数据,根据图像数据进行第一图像与第二图像比对;若判断第一图像与第二图像不重合,根据第一图像与第二图像的比对结果得出调整参数,根据调整参数对第一设备进行调节,直到第一图像与第二图像重合,从而在第一介质老化或者破损时,第一设备仍然可以在投影面上呈现出与第一介质在完好状态下相同或者接近的图像,进而在第一介质上显示理想状态的图像,提高了第一介质显示图像的效果。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。