CN116953938A - 一种ar眼镜的显示控制方法、电子设备及存储介质 - Google Patents
一种ar眼镜的显示控制方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116953938A CN116953938A CN202310868035.6A CN202310868035A CN116953938A CN 116953938 A CN116953938 A CN 116953938A CN 202310868035 A CN202310868035 A CN 202310868035A CN 116953938 A CN116953938 A CN 116953938A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- glasses
- driver
- sight
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 40
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009012 visual motion Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Instrument Panels (AREA)
Abstract
本申请提供了一种AR眼镜的显示控制方法、电子设备及存储介质,应用于车辆的驾驶员佩戴的AR眼镜,所述方法包括:确定所述驾驶员的视线方向与所述车辆的行进方向是否一致;在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的用于抬头显示的增强现实图像;在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜基于自身采集到的图像生成并显示相应的增强现实图像。
Description
技术领域
本申请涉及车辆技术领域,尤其涉及一种AR眼镜的显示控制方法、电子设备及存储介质。
背景技术
抬头显示(Head-Up Display,简称HUD)是指在驾驶员视线范围内,通过投射显示技术将车辆相关信息,如行驶速度、油量提醒等数据直接投影到前挡风玻璃上的一种技术。并且在传统HUD的基础上,已经衍生出了AR-HUD,即将AR技术和HUD系统结合,不仅显示基本的驾驶信息,还能够提供导航指引、车道辅助信息以及车辆周围环境的增强现实显示。例如,AR-HUD可以将导航指示箭头直接投影到实际道路上,使驾驶员更加直观地了解导航路线。
同时,目前AR眼镜的应用也非常广泛,在此基础上,相关技术中已经提出了将AR眼镜与HUD、AR-HUD相结合的技术方案,以提供更多驾驶辅助的增强功能。例如在人们驾驶车辆时,将车辆变道、转弯提醒等导航诱导信息直接发送到AR眼镜上,还能结合道路的实际路况,为驾驶员提供夜视系统、碰撞预警以及交通信号灯监测等服务,提高了人们在驾驶过程中的体验。
在相关技术方案中,通常会采集车辆前方的路面信息,在经过图像处理后发送至驾驶员佩戴的AR眼镜以进行显示。然而,在驾驶员驾驶车辆的过程中,驾驶员的视线不会一直集中在车辆前方,此时AR眼镜中显示的图像则无法满足驾驶员的实际需求。
发明内容
有鉴于此,本申请提供一种AR眼镜的显示控制方法,以解决相关技术中存在的缺陷,本申请技术方案如下:
根据本申请第一方面的实施例,提供一种AR眼镜的显示控制方法,应用于车辆的驾驶员佩戴的AR眼镜,所述方法包括:
确定所述驾驶员的视线方向与所述车辆的行进方向是否一致;
在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的用于抬头显示的增强现实图像;
在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜基于自身采集到的图像生成并显示相应的增强现实图像。
根据本申请第二方面的实施例,提供一种AR眼镜的显示控制方法,应用于车辆,所述方法包括:
确定所述车辆的驾驶员的视线方向与所述车辆的行进方向是否一致;
在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,向所述驾驶员佩戴的AR眼镜发送用于抬头显示的增强现实图像;
在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,停止向所述AR眼镜发送用于抬头显示的增强现实图像。
根据本申请第三方面的实施例,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面或第二方面所述的AR眼镜的显示控制方法。
根据本申请第四方面的实施例,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第二方面所述的AR眼镜的显示控制方法的步骤。
在本申请提供的技术方案中,通过确定驾驶员视线方向与车辆行进方向的方向关系,能够准确了解到驾驶员视野内的景象,以便于控制AR眼镜显示对应的图像。如果驾驶员视线方向与车辆行进方向一致,此时车机向AR眼镜发送的用于抬头显示的车辆前方的图像即为驾驶员视野内的景象的增强现实图像;如果驾驶员的视线方向与车辆行进方向不一致,此时AR眼镜能够采集驾驶员实际视线方向中的图像,并生成相应的增强现实图像进行显示。应用本申请的技术方案,使得驾驶员在驾驶车辆时,即使视线方向发生变化,其佩戴的AR眼镜中显示的图像也能够与实际视线方向中的景象相符,提高了AR眼镜中图像显示的准确性,也提高了车辆驾驶过程中的安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请实施例。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例示出的一种AR眼镜与车辆车机建立连接的架构图;
图2是本申请一示例性实施例示出的一种AR眼镜的显示控制方法的流程图;
图3是本申请一示例性实施例示出的一种应用于车辆的AR眼镜的显示控制方法的流程图;
图4是本申请一示例性实施例示出的一种AR眼镜的显示控制装置的示意图;
图5是本申请一示例性实施例示出的一种应用于车辆的AR眼镜的显示控制装置的示意图;
图6是本申请一示例性实施例示出的一种电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
抬头显示(Head-Up Display,简称HUD)是指在驾驶员视线范围内,通过投射显示技术将车辆相关信息直接投影到前挡风玻璃上的一种技术。它通过光学透视原理,在驾驶员的视线上方呈现信息,驾驶员无需将目光从道路上移开,就能够获取车辆行驶速度、油量提醒、警告信息等关键数据。目前,相关技术已经在汽车传统HUD的基础上衍生出AR-HUD,即将AR技术和HUD系统结合,不仅显示基本的驾驶信息,还能够提供导航指引、车道辅助信息以及车辆周围环境的增强现实显示。例如,AR-HUD可以将导航指示箭头直接投影到实际道路上,使驾驶员更加直观地了解导航路线;还可以进行安全警告,例如在检测到前方有行人或障碍物时,通过AR技术进行标注,并将警告信息显示在驾驶员的视野中。
AR眼镜(Augmented Reality goggles,增强现实眼镜)是一种将虚拟信息与真实世界相结合的可穿戴设备,能够利用显示技术、传感器和计算能力,将数字内容叠加到用户的视野中,创造出增强现实体验。目前,AR眼镜的应用非常广泛,可以应用于工业领域、教育领域等,也可以应用于智能驾驶领域,通过与高级驾驶辅助系统相结合,为驾驶员提供更好的驾驶辅助功能。
相关技术中已经提出了将AR眼镜与HUD、AR-HUD相结合的技术方案,以提供更多驾驶辅助的增强功能,例如在人们驾驶车辆时,将车辆变道、转弯提醒等导航诱导信息直接发送到AR眼镜上,还能结合道路的实际路况,为驾驶员提供夜视系统、碰撞预警以及交通信号灯监测等服务,提高了人们在驾驶过程中的体验。
目前,将AR眼镜与HUD、AR-HUD相结合的技术方案中,可以由AR眼镜自身采集车辆周围的环境信息并进行处理、显示,也可以由外置的采集单元或者其他设备来采集路面信息,在经过图像处理后发送至驾驶员佩戴的AR眼镜以进行显示。图1是一示例性实施例示出的一种AR眼镜与车辆车机建立连接的架构图,提供了一种由车机采集、处理图像,并发送给AR眼镜以进行显示的方案。在该方案中,车机可以通过配备的图像采集单元采集路面信息,但是,图像采集单元进行图像采集的视角往往是固定的,例如安装在车辆前方的摄像头只能够采集前方的路面信息。如果驾驶员驾驶车辆的过程中,视线发生了改变,例如向左、右侧看,此时AR眼镜中显示的图像仍然为车辆前方的景象,则与驾驶员实际的观察方向出现了矛盾,无法满足驾驶员的实际需求。
为了解决上述问题,本申请提出一种AR眼镜的显示控制方法、装置、电子设备及存储介质,通过确定驾驶员视线方向与车辆行进方向的方向关系,能够准确了解到驾驶员视野内的景象,以便于控制AR眼镜显示对应的图像。如果驾驶员视线方向与车辆行进方向一致,此时车机向AR眼镜发送的用于抬头显示的车辆前方的图像即为驾驶员视野内的景象的增强现实图像;如果驾驶员的视线方向与车辆行进方向不一致,此时AR眼镜能够采集驾驶员实际视线方向中的图像,并生成相应的增强现实图像进行显示。应用本申请的技术方案,使得驾驶员在驾驶车辆时,即使视线方向发生变化,其佩戴的AR眼镜中显示的图像也能够与实际视线方向中的景象相符,提高了AR眼镜中图像显示的准确性,也提高了车辆驾驶过程中的安全性。接下来对本申请实施例进行详细说明。
图2是本申请根据一示例性实施例示出的一种AR眼镜的显示控制方法的流程图,该方法应用于车辆的驾驶员佩戴的AR眼镜,包括:
S201,确定所述驾驶员的视线方向与所述车辆的行进方向是否一致;
S2021,在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的用于抬头显示的增强现实图像;
S2022,在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜基于自身采集到的图像生成并显示相应的增强现实图像。
在一示例性实施例中,驾驶员的视线方向是指驾驶员实际观察的方向。驾驶员在驾驶车辆的过程中,通常看向前方,即车辆的行进方向,此时车辆的车机会将原本用于AR-HUD的图像发送到AR眼镜,以使AR眼镜显示车机发送的图像。该图像可以包含增强现实图像以及基础行车数据,其中,增强现实图像可以是驾驶信息与真实世界场景的融合图像,可以在真实场景的基础上进行标注,例如标注前方的行人以进行碰撞预警、标注某个车道以进行换道拐弯提醒等;基础行车数据可以是用于表征车辆行驶过程中基本信息的数据,例如行车速度、行车方向等。
在一示例性实施例中,驾驶员在驾驶车辆时,视线不会一直集中在车辆前方,也有可能看向左侧、右侧或者其他方向,即驾驶员的视线方向与车辆的行进方向不一致,此时车辆的车机会停止向AR眼镜发送原本用于AR-HUD的图像,而是由AR眼镜进行环境图像的采集,并基于采集的图像生成相应的增强现实图像。例如,在驾驶员看向左侧时,AR眼镜会通过自身集成的摄像头、传感器等装置采集驾驶员实际观察的方向的图像,并对采集的图像进行处理,得到包含了建筑标识、道路标识等信息的增强现实图像,将该增强现实图像用于此时AR眼镜的显示。
通过本申请实施例中的AR眼镜的显示控制方法,通过确定驾驶员视线方向与车辆行进方向的方向关系,能够准确了解到驾驶员视野内的景象,以便于控制AR眼镜显示对应的图像。如果驾驶员视线方向与车辆行进方向一致,此时车机向AR眼镜发送的用于抬头显示的车辆前方的图像即为驾驶员视野内的景象的增强现实图像;如果驾驶员的视线方向与车辆行进方向不一致,此时AR眼镜能够采集驾驶员实际视线方向中的图像,并生成相应的增强现实图像进行显示。应用本申请的技术方案,使得驾驶员在驾驶车辆时,即使视线方向发生变化,其佩戴的AR眼镜中显示的图像也能够与实际视线方向中的景象相符,提高了AR眼镜中图像显示的准确性,也提高了车辆驾驶过程中的安全性。
在一示例性实施例中,确定所述驾驶员的视线方向与所述车辆的行进方向是否一致具有多种方式,包括:确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;或者,对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内;再或者,同时采用上述两种方式来确定驾驶员的视线方向与车辆的行进方向是否一致。
需要说明的是,在同时采用上述两种方式来确定驾驶员的视线方向与车辆的行进方向是否一致时,两种方式也可以选用不同的优先级,例如,可以先确定AR眼镜与车辆的车体之间是否维持在预设相对位置关系,再对驾驶员进行视线追踪,确定驾驶员的视线是否保持在预设角度范围内;也可以先对驾驶员进行视线追踪,确定驾驶员的视线是否保持在预设角度范围内,再确定AR眼镜与车辆的车体之间是否维持在预设相对位置关系。
具体的,可以定义一个AR眼镜与车辆的车体之间的相对位置作为基准,即预设相对位置关系。例如,可以在驾驶员佩戴AR眼镜驾驶汽车时,检测驾驶员在目视前方的情况下的AR眼镜与车辆的车体之间的位置关系,将该位置关系作为预设相对位置关系。若AR眼镜与车辆的车体之间没有维持在预设相对位置关系,则认为驾驶员的视线方向可能发生改变,可以认定驾驶员的视线方向与车辆行进方向存在不一致的情况;若AR眼镜与车辆的车体之间维持在预设相对位置关系,即驾驶员一直看向前方,其视线方向没有发生改变,则可以认定驾驶员的视线方向与车辆行进方向一致。
此处需要说明的是,预设相对位置关系可以是点与点的空间位置关系,也可以是一个空间范围与另一个空间范围之间的关系,或者其他点与线、点与面、线与面等等其他的空间位置关系。同时还需要说明的是,AR眼镜的姿态变化也可以作为相对位置关系的考量维度,例如在预设相对位置关系是一个空间范围与另一个空间范围之间的关系的情况下,即便AR眼镜在车内的没有发生较大位移,即AR眼镜仍然处在预设的空间范围内,但是由于驾驶员抬头、转头等动作,AR眼镜的姿态已经发生了明显改变,则表示驾驶员的视线方向实际上也发生了偏转,这种情况下也可以认定AR眼镜与车辆的车体之间没有维持在预设相对位置关系。技术人员可以根据实际应用的技术类型和实际需要,设置预设相对位置关系和具体的确定方法,本申请对此不进行限制。
具体的,也可以定义一个角度范围作为判断驾驶员视线方向的预设角度范围。可以通过安装在车辆内的遥测式眼动仪或者安装在AR眼镜上的眼镜式眼动仪对驾驶员进行视线追踪,检测出驾驶员的视线方向,进而可以得出驾驶员的视线方向与驾驶员正前方的夹角角度。若驾驶员的视线超出了预设的角度范围,则可以认为驾驶员的注视点已经偏移了车辆的前方范围,此时驾驶员的视线方向与车辆行进方向存在不一致的情况;若驾驶员的视线保持在预设角度范围内,则可以认为驾驶员的注视点仍然属于车辆的前方范围,在该视线方向下的视野内的环境场景仍然与车辆前方的环境场景相同,此时可以认定驾驶员的视线方向与车辆行进方向一致。在一示例性实施例中,可以将25°至30°之间的任一角度作为临界角度,将左、右临界角度之间的角度范围作为预设角度范围。例如,将25°作为临界角度的情况下,驾驶员视线向左偏转25°及以上或者向右偏转25°及以上都会被视作超出了预设角度范围。需要说明的是,技术人员可以根据实际需求调整临界角度以及预设角度范围,本申请对此不进行限制。
本申请实施例中提供了多种确定驾驶员的视线方向与车辆的行进方向是否一致的方法,在采用单一方式进行确定时,即只确定AR眼镜与车辆的车体之间是否维持在预设相对位置关系,或者只对驾驶员进行视线追踪,确定驾驶员的视线是否保持在预设角度范围内,能够简单、快速地得出方向是否一致的判断结果,以使得在驾驶员视线发生改变时,AR眼镜能够快速切换显示的内容;在采用多种方式进行确定时,例如先确定AR眼镜与车辆的车体之间是否维持在预设相对位置关系,再对驾驶员进行视线追踪,确定驾驶员的视线是否保持在预设角度范围内,可以更加准确地判断驾驶员的视线方向,以使AR眼镜能够在驾驶员的视线切实地偏转到其他方向时再切换显示内容,保持了AR眼镜中图像显示的稳定性,提高了用户体验。
在另一示例性实施例中,也可以通过其他方式来确定驾驶员的视线方向与车辆的行进方向是否一致。例如,可以通过车内的摄像头捕捉驾驶员的动作,在驾驶员的上半身或者头部存在较大的动作变化时判定为驾驶员的视线方向发生变化,此时可以进一步识别驾驶员的面部信息,确定驾驶员的视线方向。可以理解的是,技术人员可以根据实际需要,灵活地选用不同的方式来确定驾驶员的视线方向与车辆的行进方向是否一致,本申请对此不进行限制。
在一示例性实施例中,所述确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系,包括:通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图;在所述车内空间地图中进行所述AR眼镜的自身定位,以确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系。AR眼镜上可以装配多种传感器,用于采集多种类型的空间数据。例如可以用陀螺仪、加速度计、磁力计等传感器采集角速度和加速度,检测用户的姿势变化、运动方向和移动速度等;还可以通过一些环境感知传感器,如摄像头、深度传感器和光学传感器等,采集周围的环境信息。此处,既可以采用单一的传感器采集的数据,如摄像头,进行空间数据的采集;也可以同时采用多种传感器采集的数据,将多种空间数据进行融合,具体可以利用运动重建、视觉测距以及捆绑调整等技术,构建出周围的环境空间地图。在本申请实施例中,驾驶员在佩戴AR眼镜驾驶车辆时,AR眼镜构建出的空间地图即包含了车辆内部的空间地图。
在一示例性实施例中,AR眼镜可以进一步通过装配的传感器所采集的数据,定位出自身在在构建出车内空间地图中的位置。例如,在只使用摄像头采集空间数据时,可以从采集环境的图像中提取关键点或特征点,如角点、边缘等,并通过特征匹配的方法跟踪这些关键点或特征点,得到摄像头的运动模型,也即AR眼镜的运动模型,进而得到AR眼镜的运动估计和特征点的空间几何关系,以此来确定AR眼镜和车辆的车体之间的相对位置关系。再例如,在具有摄像头、陀螺仪、加速度计等多种传感器采集的空间数据的情况下,可以通过融合不同传感器的信息来提高空间地图构建和自身定位的精度和鲁棒性。具体的,可以将陀螺仪和加速度计提供的姿态数据、速度数据等运动信息与通过环境图像采集得出的视觉的运动估计的结果进行融合,通过卡尔曼滤波或扩展卡尔曼滤波等方法,将其他传感器数据与视觉图像数据进行权衡和整合,得出精度较高的AR眼镜的运动估计结果,进而能够更加准确地确定AR眼镜和车辆的车体之间的相对位置关系。
在一示例性实施例中,在AR通过多种传感器采集空间数据,以构建车内空间地图并进行自身定位时,AR眼镜的姿态数据、速度数据等运动信息由陀螺仪、加速度计等传感器采集。可以理解的是,在驾驶员目视前方驾驶车辆的过程中,驾驶员佩戴的AR眼镜相对于车辆的车体应该是相对静止的,传感器采集到的速度数据应该表明AR眼镜没有发生位移或者姿态变化,但是实际上车辆是向前移动的,AR眼镜上的传感器也会采集到的向前的加速度以及速度,即传感器采集的空间数据中的实际速度数据。在这种情况下,车机可以将车辆的行车速度数据,如车辆的加速度以及速度,发送给AR眼镜,AR眼镜在接收到行车速度数据之后可以与实际速度数据进行运算,抵消掉传感器测得的车辆行进方向的加速度与速度。假设车辆的行进方向为正方向,AR眼镜上传感器采集的速度数据包含了正方向的加速度与速度,此时可以将车机发送的车辆行车速度数据进行处理,作为负方向的加速度与速度与传感器测得速度数据进行运算,即可得到AR眼镜与车辆的相对速度数据。在驾驶员的头部动作改变的情况下,相对速度数据则为该动作带来的加速度与速度。根据得到的相对速度数据构建车内的空间地图,能够避免行车方向的速度数据的干扰,更加精确地构建出车内空间地图、更加精确地进行AR眼镜的自身定位,进而能够更准确地确定AR眼镜和车辆的车体之间的相对位置关系。
在另一示例性实施例中,也可以通过其他方法来确定AR眼镜与车辆的车体的位置关系。例如,在车辆的车机采集车辆前方的图像信息的同时,AR眼镜也通过自身装配的摄像头采集环境图像,通过比较AR眼镜采集的环境图像与车机采集的图像,得出两个图像的重合度。若重合度达到预设值,可以认为AR眼镜与车体之间维持在预设相对位置关系;若重合度无法达到预设值,则认为AR眼镜与车体之间没有维持在预设相对位置关系。
本申请实施例中的确定AR眼镜与车辆的车体的位置关系的方法,能够准确判断AR眼镜相对于车辆的车体的位置情况,以使AR眼镜能够准确地判断驾驶员的实际的视线方向,进而确定出驾驶员的视线方向与车辆的行进方向是否一致。
在一示例性实施例中,所述AR眼镜的显示控制方法,还包括:在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的基础行车数据。如前所述,在驾驶员的视线方向与车辆的行进方向一致的情况下,AR眼镜显示的原本用于AR-HUD的图像可以包含增强现实图像以及基础行车数据。此处,在驾驶员的视线方向与车辆的行进方向不一致的情况下,AR眼镜显示的内容中也可以包含由车辆的车机发送的基础的行车数据。例如,AR眼镜在显示包含了建筑标识、道路标识等信息的增强现实图像,同时可以在某个固定区域,如显示界面的左上角、右上角等,显示行车的速度、方向或者导航的剩余里程等等。本申请实施例的显示控制方法,能够将车辆的相关数据结合到AR眼镜的多种显示模式中,即便驾驶员的视线与行车方向不一致,也可以通过AR眼镜获取到行车的相关信息,增强了AR眼镜的实用性,同时也提升了驾驶员的驾驶体验。
在本申请提供的技术方案中,通过确定驾驶员视线方向与车辆行进方向的方向关系,能够准确了解到驾驶员视野内的景象,以便于控制AR眼镜显示对应的图像。如果驾驶员视线方向与车辆行进方向一致,此时车机向AR眼镜发送的用于抬头显示的车辆前方的图像即为驾驶员视野内的景象的增强现实图像;如果驾驶员的视线方向与车辆行进方向不一致,此时AR眼镜能够采集驾驶员实际视线方向中的图像,并生成相应的增强现实图像进行显示。应用本申请的技术方案,使得驾驶员在驾驶车辆时,即使视线方向发生变化,其佩戴的AR眼镜中显示的图像也能够与实际视线方向中的景象相符,提高了AR眼镜中图像显示的准确性,也提高了车辆驾驶过程中的安全性。
基于本申请提供的应用于车辆的驾驶员佩戴的AR眼镜的AR眼镜的显示控制方法,本申请还提供了一种应用于车辆的AR眼镜的显示控制方法。图3是本申请一示例性实施例示出的一种应用于车辆的AR眼镜的显示控制方法的流程图,包括:
S301,确定所述车辆的驾驶员的视线方向与所述车辆的行进方向是否一致;
S3021,在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,向所述驾驶员佩戴的AR眼镜发送用于抬头显示的增强现实图像;
S3022在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,停止向所述AR眼镜发送用于抬头显示的增强现实图像。
如前所述,所述确定所述驾驶员的视线方向与所述车辆的行进方向是否一致,包括:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;和/或,
对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
如前所述,所述确定所述驾驶员的视线方向与所述车辆的行进方向是否一致,包括:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;
在所述AR眼镜与所述车辆的车体之间未维持在预设相对位置关系的情况下,对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
如前所述,所述确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系,包括:
通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图;
在所述车内空间地图中进行所述AR眼镜的自身定位,以确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系。
如前所述,所述通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图,包括:
接收所述车辆的车机发送的行车速度数据;
将所述行车速度数据与所述传感器采集的空间数据中的实际速度数据进行运算,以抵消所述实际速度数据中所述车辆在行进方向的加速度与速度,得到所述AR眼镜与所述车辆的相对速度数据;
根据所述相对速度数据构建所述车辆的车内空间地图。
如前所述,还包括:
在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的基础行车数据。
对于图3所示的应用于车辆的AR眼镜的显示控制方法而言,其实施例的内在逻辑已在图2实施例中进行了介绍,具体的实施方法可以参考前述实施例,此处不再赘述。
基于本申请提供的AR眼镜的显示控制方法,本申请还提供了一种AR眼镜的显示控制装置,参见图4,该装置应用于车辆的驾驶员佩戴的AR眼镜,包括:
检测单元41,被配置为确定所述驾驶员的视线方向与所述车辆的行进方向是否一致;
处理单元42,被配置为在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的用于抬头显示的增强现实图像;
所述处理单元42,还被配置为在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜基于自身采集到的图像生成并显示相应的增强现实图像。
可选的,所述检测单元41,具体被配置为:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;和/或,
对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
可选的,所述检测单元41,具体被配置为:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;
在所述AR眼镜与所述车辆的车体之间未维持在预设相对位置关系的情况下,对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
可选的,所述检测单元41,具体被配置为:
通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图;
在所述车内空间地图中进行所述AR眼镜的自身定位,以确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系。
可选的,所述检测单元41,具体被配置为:
接收所述车辆的车机发送的行车速度数据;
将所述行车速度数据与所述传感器采集的空间数据中的实际速度数据进行运算,以抵消所述实际速度数据中所述车辆在行进方向的加速度与速度,得到所述AR眼镜与所述车辆的相对速度数据;
根据所述相对速度数据构建所述车辆的车内空间地图。
可选的,所述装置还包括:
基础显示单元,在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的基础行车数据。
同时,基于本申请提供的应用于车辆的AR眼镜的显示控制方法,本申请还提供了一种应用于车辆的AR眼镜的显示控制装置,参见图5,包括:
检测单元51,被配置为确定所述驾驶员的视线方向与所述车辆的行进方向是否一致;
处理单元52,被配置为在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,向所述驾驶员佩戴的AR眼镜发送用于抬头显示的增强现实图像;
所述处理单元52,还被配置为在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,停止向所述AR眼镜发送用于抬头显示的增强现实图像。
可选的,所述检测单元51,具体被配置为:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;和/或,
对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
可选的,所述检测单元51,具体被配置为:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;
在所述AR眼镜与所述车辆的车体之间未维持在预设相对位置关系的情况下,对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
可选的,所述检测单元51,具体被配置为:
通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图;
在所述车内空间地图中进行所述AR眼镜的自身定位,以确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系。
可选的,所述检测单元51,具体被配置为:
接收所述车辆的车机发送的行车速度数据;
将所述行车速度数据与所述传感器采集的空间数据中的实际速度数据进行运算,以抵消所述实际速度数据中所述车辆在行进方向的加速度与速度,得到所述AR眼镜与所述车辆的相对速度数据;
根据所述相对速度数据构建所述车辆的车内空间地图。
可选的,所述装置还包括:
基础显示单元,在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的基础行车数据。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上任一实施例所述的控制方法。
参考图6,在硬件层面,该电子设备包括处理器602、内部总线604、网络接口606、内存608以及非易失性存储器610,当然还可能包括其他业务所需要的硬件。处理器602从非易失性存储器610中读取对应的计算机程序到内存608中然后运行,在逻辑层面上形成根据驾驶员视线调整AR眼镜显示内容的装置。当然,除了软件实现方式之外,本申请并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
相应的,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上任一实施例所述的控制方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
以上所述仅是本申请实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请实施例的保护范围。
Claims (10)
1.一种AR眼镜的显示控制方法,其特征在于,应用于车辆的驾驶员佩戴的AR眼镜,所述方法包括:
确定所述驾驶员的视线方向与所述车辆的行进方向是否一致;
在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的用于抬头显示的增强现实图像;
在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜基于自身采集到的图像生成并显示相应的增强现实图像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述驾驶员的视线方向与所述车辆的行进方向是否一致,包括:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;和/或,
对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
3.根据权利要求2所述的方法,其特征在于,所述确定所述驾驶员的视线方向与所述车辆的行进方向是否一致,包括:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;
在所述AR眼镜与所述车辆的车体之间未维持在预设相对位置关系的情况下,对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
4.根据权利要求2或3所述的方法,其特征在于,所述确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系,包括:
通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图;
在所述车内空间地图中进行所述AR眼镜的自身定位,以确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系。
5.根据权利要求4所述的方法,其特征在于,所述通过所述AR眼镜上装配的传感器进行空间数据采集,并根据所述空间数据构建所述车辆的车内空间地图,包括:
接收所述车辆的车机发送的行车速度数据;
将所述行车速度数据与所述传感器采集的空间数据中的实际速度数据进行运算,以抵消所述实际速度数据中所述车辆在行进方向的加速度与速度,得到所述AR眼镜与所述车辆的相对速度数据;
根据所述相对速度数据构建所述车辆的车内空间地图。
6.根据权利要求1所述的方法,其特征在于,还包括:
在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,控制所述AR眼镜显示所述车辆的车机发送的基础行车数据。
7.一种AR眼镜的显示控制方法,其特征在于,应用于车辆,所述方法包括:
确定所述车辆的驾驶员的视线方向与所述车辆的行进方向是否一致;
在所述驾驶员的视线方向与所述车辆的行进方向一致的情况下,向所述驾驶员佩戴的AR眼镜发送用于抬头显示的增强现实图像;
在所述驾驶员的视线方向与所述车辆的行进方向不一致的情况下,停止向所述AR眼镜发送用于抬头显示的增强现实图像。
8.根据权利要求7所述的方法,其特征在于,所述确定所述驾驶员的视线方向与所述车辆的行进方向是否一致,包括:
确定所述AR眼镜与所述车辆的车体之间是否维持在预设相对位置关系;和/或,
对所述驾驶员进行视线追踪,确定所述驾驶员的视线是否保持在预设角度范围内。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的AR眼镜的显示控制方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的AR眼镜的显示控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310868035.6A CN116953938A (zh) | 2023-07-14 | 2023-07-14 | 一种ar眼镜的显示控制方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310868035.6A CN116953938A (zh) | 2023-07-14 | 2023-07-14 | 一种ar眼镜的显示控制方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116953938A true CN116953938A (zh) | 2023-10-27 |
Family
ID=88445617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310868035.6A Pending CN116953938A (zh) | 2023-07-14 | 2023-07-14 | 一种ar眼镜的显示控制方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116953938A (zh) |
-
2023
- 2023-07-14 CN CN202310868035.6A patent/CN116953938A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109791738B (zh) | 行驶辅助装置以及计算机程序 | |
US8558758B2 (en) | Information display apparatus | |
US11181737B2 (en) | Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program | |
JP4696248B2 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
JP4749958B2 (ja) | 運転支援装置 | |
CN107554425A (zh) | 一种增强现实车载平视显示器ar‑hud | |
JP6415583B2 (ja) | 情報表示制御システムおよび情報表示制御方法 | |
JP5327025B2 (ja) | 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム | |
CN109968977B (zh) | 显示系统 | |
US10969579B2 (en) | Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method | |
CN111034186A (zh) | 周围车辆显示方法及周围车辆显示装置 | |
JP2019091255A (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
JP5422622B2 (ja) | ヘッドアップディスプレイ装置 | |
JP2023174676A (ja) | 車両用表示制御装置、方法およびプログラム | |
CN110304057A (zh) | 汽车碰撞预警、导航方法、电子设备、系统及汽车 | |
CN113165510B (zh) | 显示控制装置、方法和计算机程序 | |
JP2007008382A (ja) | 視覚情報呈示装置及び視覚情報呈示方法 | |
JPWO2004048895A1 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
JP7433146B2 (ja) | 物体検出方法及び物体検出装置 | |
JP4250391B2 (ja) | 指標検出装置、指標検出方法 | |
CN116953938A (zh) | 一种ar眼镜的显示控制方法、电子设备及存储介质 | |
JP2010262478A (ja) | 車両制御システム及び安全確認判定装置 | |
JP7383549B2 (ja) | 画像記録システム及び画像記録方法 | |
JP2014154125A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
WO2023145852A1 (ja) | 表示制御装置、表示システム、及び表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |