CN116320331A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN116320331A CN116320331A CN202211522055.XA CN202211522055A CN116320331A CN 116320331 A CN116320331 A CN 116320331A CN 202211522055 A CN202211522055 A CN 202211522055A CN 116320331 A CN116320331 A CN 116320331A
- Authority
- CN
- China
- Prior art keywords
- brightness
- hud
- information
- vehicle
- brightness information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
Abstract
一种数据处理方法,应用于抬头显示HUD的领域,所述方法包括:获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据光传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据摄像头对所述车辆的车头前方区域所采集的第二数据得到;在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;根据所述目标投影亮度,控制所述HUD的投影。本申请可以提高HUD亮度控制的精准性。
Description
技术领域
本申请涉及车辆驾驶领域,尤其涉及一种数据处理方法及装置。
背景技术
随着汽车座舱电子的快速发展,基于屏幕(仪表/中控)可显示的信息种类和内容越来越丰富,但这需要驾驶者频繁的低头去查看才能获取相应信息,这导致驾驶员视线离开路面的时间与频率增加,导致更大的潜在驾驶安全隐患。在此背景下,抬头显示HUD应运而生。
相对于传统的屏幕信息显示,HUD可以直接在驾驶员正前方的路面上叠加显示视觉内容,其可读性更强且更加的直观,驾驶员正常看路时就可以快速地获取信息并做出相应操作,使其拥有更多的反应和决策时间,从而提高驾驶安全。因此,HUD可以逐步集成越来越多的辅助驾驶以及安全预警等信息显示功能。
随着技术的发展和消费者需求的提高,HUD从最早只能显示速度、提醒图标等基础信息,演化到目前的AR-HUD能与ADAS(高级驾驶辅助系统)功能相结合,实时呈现自动巡航、车道偏离、车辆行人监测等多样且丰富的行车信息,其显示范围更大、内容更全,几乎到了可以替代仪表盘显示内容的阶段。因此,AR-HUD的使用频率越来越高,但是在外界环境发生明暗变化的情况下,用户可能会看不清楚AR-HUD上显示的内容,影响行驶,目前的HUD虽然可以做到按整体环境亮度来调整HUD的显示亮度,但是当车检索到外界环境亮度的变化时,车已经行驶到了暗/亮环境,因此HUD的显示亮度调整不及时,影响到用户的观察。比如车进隧道时,要进入隧道几秒钟之后,HUD的亮度才会适应隧道内的暗环境。
市面上现有的AR-HUD显示调节方案,基本是沿用显示屏的自动亮度调节逻辑方案,即通过车辆的环境光传感器,感知车辆所处环境的整体亮度。如当车辆在阳光充裕或光线充足的环境中行驶,此时环境光传感器感知车辆的整体环境亮度比较亮,此时系统将提高AR-HUD的显示亮度;当车辆在黑暗或光线不足的环境中行驶,环境光传感器感知车辆的整体环境亮度比较暗,此时将降低AR-HUD的显示亮度。通过环境光传感器调整AR-HUD的显示方案能满足基本场景下的亮暗变化需求,且采样频率高,对车辆性能和功耗的影响较低。
然而,车辆所处环境的整体亮度并不总是等于AR-HUD显示所叠加的背景环境的具体亮度。当环境照度与AR-HUD叠加在前方的背景亮度不一致时,AR-HUD会存在看不清、短时过亮/过暗的问题。此外,当AR-HUD叠加在一个与显示颜色接近或比较亮的背景上时,会存在因两者之间的对比度不足而看不清的问题。
发明内容
本申请公开了一种数据处理方法以及相关装置,可以提高HUD亮度控制的精准性。
第一方面,本申请提供了一种数据处理方法,所述方法包括:获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据第一传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据第二传感器对所述车辆的车头前方区域所采集的第二数据得到,所述第一传感器和所述第二传感器为不同的传感器;在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;根据所述目标投影亮度,控制所述HUD的投影。
其中,第二传感器的采样频率的高低会极大影响到计算与功耗负荷,例如,第二传感器的采样频率较高时会大大增加计算与功耗负荷,而第一传感器的采样频率对计算与功耗负荷的影响小于第二传感器。
以第一传感器为光传感器,第二传感器为摄像头为例进行说明:
方法包括:获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据光传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据摄像头对所述车辆的车头前方区域所采集的第二数据得到;在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;根据所述目标投影亮度,控制所述HUD的投影。
在一种可能的实现中,在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,可以通过所述第二亮度信息确定所述HUD的目标投影亮度。而在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,可以通过所述第一亮度信息确定所述HUD的目标投影亮度。
也就是说,针对于通过光传感器确定的亮度和摄像头采集的图像确定的亮度之间的关系的不同,可以选择不同的数据(第一亮度信息或者第二亮度信息)来进行投影亮度的确定,可以提高HUD亮度控制的精准性。
例如,在所述第一亮度信息和所述第二亮度信息的关系表征出车身周围的亮度和HUD投影内容叠加区域所处的环境亮度之间的差异过大时,如果使用通过光传感器采集的数据所确定的亮度来确定HUD的投影亮度,会导致控制的滞后性。因此可以选择使用摄像头采集的图像所确定的亮度来进行HUD的投影亮度的确定。
例如,在所述第一亮度信息和所述第二亮度信息的关系表征出车身周围的亮度和HUD投影内容叠加区域所处的环境亮度之间的差异不大时,由于光传感器的采样频率相比摄像头较高,通过光传感器采集的数据所确定的亮度比使用通过摄像头采集的数据所确定的亮度的准确性和实时性更高。因此,可以选择使用光传感器采集的图像所确定的亮度来进行HUD的投影亮度的确定。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息不在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异大于阈值;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异小于阈值。
在一种可能的实现中,所述方法还包括:获取第三亮度信息和第四亮度信息;所述第三亮度信息为根据所述光传感器对所述车辆的车身周围采集的第三数据得到;所述第四亮度信息为根据所述摄像头对所述车辆的车头前方区域采集的第四数据得到;所述第三数据的采集时间早于所述第一数据;所述第四数据的采集时间早于所述第二数据;在所述第三亮度信息和所述第四亮度信息的差异大于阈值的情况下,控制所述摄像头提高数据的采样频率;其中,所述第二数据为采样频率提高后的所述摄像头对车头前方区域采集的数据。
在一种可能的实现中,在根据摄像头采集的图像所确定的亮度值来进行HUD的投影亮度的控制时,由于摄像头的采样频率的高低会极大影响到计算与功耗负荷,若使用较低采样频率的摄像头采集的图像所确定的亮度值来进行HUD的投影亮度的控制,可能也会导致亮度控制的滞后性。因此,本申请实施例中,在根据摄像头采集的图像所确定的亮度值和根据光传感器所采集的数据确定的亮度值的差异较大时,控制摄像头提高采样频率,而在根据摄像头采集的图像所确定的亮度值和根据光传感器所采集的数据确定的亮度值的差异较小时,控制摄像头保持较小的采样频率,在保证亮度控制实时性的同时,降低了计算与功耗负荷。
在一种可能的实现中,所述第二亮度信息表示所述HUD当前的投影方向所在的区域的亮度。
在一种可能的实现中,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。
在一种可能的实现中,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。通常情况下,计算设备在得到HUD投影内容所叠加的物理区域的真实亮度时,需要一定的时延才能计算得到对应的HUD的投影亮度并进行HUD的投影亮度控制,在这种情况下,就会出现控制的滞后性。本申请实施例中,第二亮度信息可以表示车辆在一定时间后HUD投影内容所叠加的物理区域的真实亮度,进而可以在预设时间之后,直接对HUD的投影亮度进行控制,从而可以降低控制的时延。
在一种可能的实现中,所述获取第二亮度信息,包括:根据所述车辆的行驶状态,从所述第二数据中确定子数据,所述子数据为所述HUD在所述车辆行驶预设时间之后投影方向所在的区域有关的数据;所述子数据用于确定所述第二亮度信息。
在一种可能的实现中,所述根据所述目标投影亮度,控制所述HUD的投影,包括:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,在所述预设时间内,将所述HUD当前的投影亮度调整至所述目标投影亮度。
在一种可能的实现中,所述根据所述目标投影亮度,控制所述HUD的投影,包括:
基于所述目标投影亮度超出所述HUD投影的亮度范围;控制所述HUD调整投影内容的颜色。
在一种可能的实现中,所述根据所述目标投影亮度,控制所述HUD的投影,包括:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
在一种可能的实现中,所述方法还包括:
获取所述车辆的车身周围的历史亮度信息;所述历史亮度信息包括历史亮度值以及所述历史亮度值对应的持续时间;所述历史亮度信息用于确定用户当前的人眼的亮度敏感度;
所述将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度,包括:
根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
第二方面,本申请提供了一种数据处理装置,所述装置包括:
获取模块,用于获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据第一传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据第二传感器对所述车辆的车头前方区域所采集的第二数据得到,所述第一传感器和所述第二传感器为不同的传感器;
处理模块,用于在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;
在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;
根据所述目标投影亮度,控制所述HUD的投影。
以第一传感器为光传感器,第二传感器为摄像头为例,也就是说,针对于通过光传感器确定的亮度和摄像头采集的图像确定的亮度之间的关系的不同,可以选择不同的数据(第一亮度信息或者第二亮度信息)来进行投影亮度的确定,可以提高HUD亮度控制的精准性。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息不在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异大于阈值;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异小于阈值。
在一种可能的实现中,所述获取模块,还用于:
获取第三亮度信息和第四亮度信息;所述第三亮度信息为根据所述光传感器对所述车辆的车身周围采集的第三数据得到;所述第四亮度信息为根据所述摄像头对所述车辆的车头前方区域采集的第四数据得到;所述第三数据的采集时间早于所述第一数据;所述第四数据的采集时间早于所述第二数据;
所述处理模块,还用于在所述第三亮度信息和所述第四亮度信息的差异大于阈值的情况下,控制所述摄像头提高数据的采样频率;其中,所述第二数据为采样频率提高后的所述摄像头对车头前方区域采集的数据。
在一种可能的实现中,所述第二亮度信息表示所述HUD当前的投影方向所在的区域的亮度。
在一种可能的实现中,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。
在一种可能的实现中,所述获取模块,具体用于:
根据所述车辆的行驶状态,从所述第二数据中确定子数据,所述子数据为所述HUD在所述车辆行驶预设时间之后投影方向所在的区域有关的数据;所述子数据用于确定所述第二亮度信息。
在一种可能的实现中,所述处理模块,具体用于:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,在所述预设时间内,将所述HUD当前的投影亮度调整至所述目标投影亮度。
在一种可能的实现中,所述处理模块,具体用于:
基于所述目标投影亮度超出所述HUD投影的亮度范围;控制所述HUD调整投影内容的颜色。
在一种可能的实现中,所述处理模块,具体用于:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
在一种可能的实现中,所述获取模块,还用于:
获取所述车辆的车身周围的历史亮度信息;所述历史亮度信息包括历史亮度值以及所述历史亮度值对应的持续时间;所述历史亮度信息用于确定用户当前的人眼的亮度敏感度;
所述处理模块,具体用于:
根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
第三方面,本申请提供了一种车载系统,所述车载系统包括车载控制设备和抬头显示设备HUD,其中,
所述车载控制设备用于执行如第一方面介绍的任一所述的方法;
所述HUD用于根据所述车载控制设备的控制,执行投影的动作。
在一种可能的实现中,所述车载系统还包括:
第一传感器和第二传感器;
所述第一传感器用于采集所述车辆的车身周围的亮度信息;并将所述亮度信息传递至所述车载控制设备;
所述第二传感器用于采集所述车辆的车头前方的图像;并将所述图像传递至所述车载控制设备。
在一种可能的实现中,所述第一传感器为光传感器,所述第二传感器为摄像头。
第四方面,本申请提供了一种车载系统,所述车载系统包括抬头显示设备HUD、第一传感器和第二传感器;其中,
所述HUD用于执行如第一方面所述的方法;
所述第一传感器用于采集所述车辆的车身周围的亮度信息;并将所述亮度信息传递至所述车载控制设备;
所述第二传感器用于采集所述车辆的车头前方的图像;并将所述图像传递至所述车载控制设备。
在一种可能的实现中,所述第一传感器为光传感器,所述第二传感器为摄像头。
第五方面,本申请实施例提供了一种数据处理装置,可以包括存储器、处理器以及总线系统,其中,存储器用于存储程序,处理器用于执行存储器中的程序,以执行如上述第一方面任一可选的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面任一可选的方法。
第七方面,本申请实施例提供了一种计算机程序产品,包括代码,当代码被执行时,用于实现上述第一方面任一可选的方法。
第八方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持设备实现上述方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据;或,信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存执行设备或数据处理装置必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
本申请提供了一种数据处理方法,所述方法包括:获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据光传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据摄像头对所述车辆的车头前方区域所采集的第二数据得到;在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;根据所述目标投影亮度,控制所述HUD的投影。
在一种可能的实现中,在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,可以通过所述第二亮度信息确定所述HUD的目标投影亮度。而在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,可以通过所述第一亮度信息确定所述HUD的目标投影亮度。
也就是说,针对于通过光传感器确定的亮度和摄像头采集的图像确定的亮度之间的关系的不同,可以选择不同的数据(第一亮度信息或者第二亮度信息)来进行投影亮度的确定,可以提高HUD亮度控制的精准性。
附图说明
图1为本申请实施例提供的具有自动驾驶功能的自动驾驶装置的功能框图;
图2为本申请实施例提供的一种驾驶系统的结构示意图;
图3a和图3b为本申请实施例提供的车辆的一种内部结构;
图4为一种HUD场景示意;
图5为本申请实施例提供的一种数据处理方法的流程示意;
图6至图24为本申请实施例提供的一种数据处理方法的相关流程以及界面示意;
图25为本申请实施例提供的一种数据处理装置示意;
图26为本申请实施例提供的一种数据处理装置示意;
图27为本申请实施例提供的一种芯片结构示意。
具体实施方式
下面结合本申请实施例中的附图对本申请的具体实现方式进行举例描述。然而本申请的实现方式还可以包括在不脱离本申请的精神或范围的前提下将这些实施例组合,比如采用其它实施例和做出结构性改变。因此以下实施例的详细描述不应从限制性的意义上去理解。本申请的实施例部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
本申请的具体实施例中所提到的功能、模块、特征、单元等的一个或多个结构组成可以理解为由任何物理的或有形的组件(例如,由在计算机设备上运行的软件、硬件(例如,处理器或芯片实现的逻辑功能)等、和/或其它任何组合)以任何方式来实现。在某些实施例中,所示出的将附图中的各种设备分成不同的模块或单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可选的,本申请实施例附图中的单个模块也可以由多个实际物理组件来实现。同样,在附图中描绘的任何两个或更多个模块也可以反映由单个实际物理组件所执行的不同的功能。
关于本申请实施例的方法流程图,将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如,由在计算机设备上运行的软件、硬件(例如,处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。
以下的说明可以将一个或多个特征标识为“可选的”。该类型的声明不应当被解释为对可以被认为是可选的特征的详尽的指示;即,尽管没有在文本中明确地标识,但其他特征可以被认为是可选的。此外,对单个实体的任何描述不旨在排除对多个这样的实体的使用;类似地,对多个实体的描述不旨在排除对单个实体的使用。最后,术语“示例性的”是指在潜在的许多实现中的一个实现。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请可以应用在驾驶场景中。
以下示例性介绍本申请的应用场景。
本说明书中所述的车辆(例如本申请实施例描述的驾驶者所驾驶的车辆)可以是将引擎作为动力源的内燃机车辆、将引擎和电动马达作为动力源的混合动力车辆、将电动马达作为动力源的电动汽车等等。
本申请实施例中,车辆可以包括具有驾驶功能的驾驶装置100。
参照图1,图1是本申请实施例提供的具有自动驾驶功能的驾驶装置100的功能框图。在一个实施例中,将驾驶装置100配置为完全或部分地自动驾驶模式。例如,驾驶装置100可以在处于自动驾驶模式中的同时控制自身,并且可通过人为操作来确定自动驾驶装置及其周边环境的当前状态,确定周边环境中的至少一个其他自动驾驶装置的可能行为,并确定该其他自动驾驶装置执行可能行为的可能性相对应的置信水平,基于所确定的信息来控制驾驶装置100。在驾驶装置100处于自动驾驶模式中时,可以将驾驶装置100置为在没有和人交互的情况下操作。
驾驶装置100可包括各种子系统,例如行进系统102、传感系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地,驾驶装置100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,驾驶装置100的每个子系统和元件可以通过有线或者无线互连。
行进系统102可包括为驾驶装置100提供动力运动的组件。在一个实施例中,行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如气油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。
能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为驾驶装置100的其他系统提供能量。
传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置120还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。
传感系统104可包括感测关于驾驶装置100周边的环境的信息的若干个传感器。例如,传感系统104可包括定位系统122(定位系统可以是全球定位系统(global positioningsystem,GPS)系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertialmeasurement unit,IMU)124、雷达126、激光测距仪128以及相机130。传感系统104还可包括被监视驾驶装置100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主驾驶装置100的安全操作的关键功能。
定位系统122可用于估计驾驶装置100的地理位置。IMU 124用于基于惯性加速度来感测驾驶装置100的位置和朝向变化。在一个实施例中,IMU 124可以是加速度计和陀螺仪的组合。
雷达126可利用无线电信号来感测驾驶装置100的周边环境内的物体。在一些实施例中,除了感测物体以外,雷达126还可用于感测物体的速度和/或前进方向。
雷达126可包括电磁波发送部、接收部。雷达126在电波发射原理上可实现为脉冲雷达(pulse radar)方式或连续波雷达(continuous wave radar)方式。雷达126在连续波雷达方式中可根据信号波形而实现为调频连续波(frequency modulated continuouswave,FMCW)方式或频移监控(frequency shift keying,FSK)方式。
雷达126可以电磁波作为媒介,基于飞行时间(time of flight,TOF)方式或相移(phase-shift)方式来检测对象,并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。为了检测位于车辆的前方、后方或侧方的对象,雷达126可配置在车辆的外部的适当的位置。激光雷达126可以激光作为媒介,基于TOF方式或相移方式检测对象,并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。
可选地,为了检测位于车辆的前方、后方或侧方的对象,激光雷达126可配置在车辆的外部的适当的位置。
光传感器128可以布置在车身表面,用于测量车身周围所处环境的亮度或者照度。光传感器是一种传感装置,主要由光敏元件组成,主要分为环境光传感器、红外光传感器、太阳光传感器、紫外光传感器四类。光传感器128还可以包括照度计(或称勒克斯计),照度计是一种专门测量照度的仪器仪表。就是测量物体被照明的程度,也即物体表面所得到的光通量与被照面积之比。
相机130(或者可以称之为摄像头)可用于捕捉驾驶装置100的周边环境的多个图像。相机130可以是静态相机或视频相机。
可选地,为了获取车辆外部影像,相机130可位于车辆的外部的适当的位置。例如,为了获取车辆前方的影像,相机130可在车辆的室内与前风挡相靠近地配置。或者,相机130可配置在前保险杠或散热器格栅周边。例如,为了获取车辆后方的影像,相机130可在车辆的室内与后窗玻璃相靠近地配置。或者,相机130可配置在后保险杠、后备箱或尾门周边。例如,为了获取车辆侧方的影像,相机130可在车辆的室内与侧窗中的至少一方相靠近地配置。或者,相机130可配置在侧镜、挡泥板或车门周边。
本申请实施例中,摄像头可在车辆的室内与前风挡相靠近地配置,以便可以采集到车头前方区域的图像。
控制系统106为控制驾驶装置100及其组件的操作。控制系统106可包括各种元件,其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、路线控制系统142以及障碍物避免系统144。
转向系统132可操作来调整驾驶装置100的前进方向。例如在一个实施例中可以为方向盘系统。
油门134用于控制引擎118的操作速度并进而控制驾驶装置100的速度。
制动单元136用于控制驾驶装置100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中,制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制驾驶装置100的速度。
计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别驾驶装置100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(structure frommotion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
路线控制系统142用于确定驾驶装置100的行驶路线。在一些实施例中,路线控制系统142可结合来自传感器138、定位系统122和一个或多个预定地图的数据以为驾驶装置100确定行驶路线。
障碍规避系统144用于识别、评估和规避或者以其他方式越过驾驶装置100的环境中的潜在障碍物。
当然,在一个实例中,控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
驾驶装置100通过外围设备108与外部传感器、其他自动驾驶装置、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。
在一些实施例中,外围设备108提供驾驶装置100的用户与用户接口116交互的手段。例如,车载电脑148可向驾驶装置100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中,外围设备108可提供用于驾驶装置100与位于车内的其它设备通信的手段。例如,麦克风150可从驾驶装置100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向驾驶装置100的用户输出音频。
无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统146可使用3G蜂窝通信,例如码分多址(code division multipleaccess,CDMA)、EVD0、全球移动通信系统(global system for mobile communications,GSM)/是通用分组无线服务技术(general packet radio service,GPRS),或者4G蜂窝通信,例如长期演进(long term evolution,LTE),或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种自动驾驶装置通信系统,例如,无线通信系统146可包括一个或多个专用短程通信(dedicatedshort range communications,DSRC)设备,这些设备可包括自动驾驶装置和/或路边台站之间的公共和/或私有数据通信。
电源110可向驾驶装置100的各种组件提供电力。在一个实施例中,电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为驾驶装置100的各种组件提供电力。在一些实施例中,电源110和能量源119可一起实现,例如一些全电动车中那样。
驾驶装置100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113,处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制驾驶装置100的个体组件或子系统的多个计算设备。
处理器113可以是任何常规的处理器,诸如商业可获得的中央处理器(centralprocessing unit,CPU)。替选地,该处理器可以是诸如专用集成电路(applicationspecific integrated circuits,ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机110的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机110的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器可以位于远离该驾驶装置并且与该驾驶装置进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于驾驶装置内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器114可包含指令115(例如,程序逻辑),指令115可被处理器113执行来执行驾驶装置100的各种功能,包括以上描述的那些功能。存储器114也可包含额外的指令,包括向行进系统102、传感系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令115以外,存储器114还可存储数据,例如道路地图、路线信息,自动驾驶装置的位置、方向、速度以及其它这样的自动驾驶装置数据,以及其他信息。这种信息可在驾驶装置100在自主、半自主和/或手动模式中操作期间被驾驶装置100和计算机系统112使用。
用户接口116,用于向驾驶装置100的用户提供信息或从其接收信息。可选地,用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备,例如无线通信系统146、车载电脑148、麦克风150和扬声器152。
计算机系统112可基于从各种子系统(例如,行进系统102、传感系统104和控制系统106)以及从用户接口116接收的输入来控制驾驶装置100的功能。例如,计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感系统104和障碍物避免系统144检测到的障碍物。在一些实施例中,计算机系统112可操作来对驾驶装置100及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与驾驶装置100分开安装或关联。例如,存储器114可以部分或完全地与驾驶装置100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1不应理解为对本申请实施例的限制。
在道路行进的自动驾驶汽车,如上面的驾驶装置100,可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它自动驾驶装置、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与自动驾驶装置的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,自动驾驶汽车驾驶装置100或者与驾驶装置100相关联的计算设备(如图1的计算机系统112、计算机视觉系统140、存储器114)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。驾驶装置100能够基于预测的所述识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定自动驾驶装置将需要调整到(例如,加速、减速、或者停止)什么稳定状态。在这个过程中,也可以考虑其它因素来确定驾驶装置100的速度,诸如,驾驶装置100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改驾驶装置100的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述驾驶装置100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场自动驾驶装置、施工设备、电车、高尔夫球车、火车、和手推车等,本申请实施例不做特别的限定。
图1介绍了驾驶装置100的功能框图,下面介绍驾驶装置100中的驾驶系统101。图2为本申请实施例提供的一种驾驶系统的结构示意图。图1和图2是从不同的角度来描述驾驶装置100,例如图2中的计算机系统101为图1中的计算机系统112。
如图2所示,计算机系统101包括处理器103,处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器,其中,每个处理器都可以包括一个或多个处理器核。系统总线105通过总线桥111和输入输出(I/O)总线113耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信,比如输入设备117(如:键盘,鼠标,触摸屏等),多媒体盘(media tray)121,例如CD-ROM,多媒体接口等。收发器123(可以发送和/或接受无线电通信信号),摄像头155(可以捕捉景田和动态数字视频图像)和外部USB端口125。可选的,和I/O接口115相连接的接口可以是USB接口。
其中,处理器103可以是任何传统处理器,包括精简指令集计算(“RISC”)处理器、复杂指令集计算(“CISC”)处理器或上述的组合。可选的,处理器可以是诸如专用集成电路(“ASIC”)的专用装置。可选的,处理器103可以是神经网络处理器(neural-networkprocessing unit,NPU)或者是神经网络处理器和上述传统处理器的组合。可选的,处理器103挂载有一个神经网络处理器。
计算机系统101可以通过网络接口129和服务器149通信。网络接口129是硬件网络接口,比如,网卡。网络127可以是外部网络,比如因特网,也可以是内部网络,比如以太网或者虚拟私人网络(VPN)。可选的,网络127还可以是无线网络,比如WiFi网络,蜂窝网络等。
服务器149可以是高精度地图服务器连接,车辆可以通过与高精度地图的通信来获取高精度地图信息。
服务器149可以是车辆管理服务器,车辆管理服务器可以用于处理车辆上传的数据,也可以将数据通过网络下发到车辆。
此外,计算机系统101可以通过网络接口129和其他车辆160(vehicle tovehicle,V2V)或行人(vehicle to pedestrian,V2P)进行无线通信。
硬盘驱动接口和系统总线105耦合。硬件驱动接口和硬盘驱动器相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括计算机系统101的操作系统137和应用程序143。
操作系统包括壳(Shell)139和内核(kernel)141。壳139是介于使用者和操作系统之内核(kernel)间的一个接口。壳139是操作系统最外面的一层。壳139管理使用者与操作系统之间的交互:等待使用者的输入,向操作系统解释使用者的输入,并且处理各种各样的操作系统的输出结果。
内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互,操作系统内核通常运行进程,并提供进程间的通信,提供CPU时间片管理、中断、内存管理、IO管理等等。
应用程序141包括自动驾驶相关程序,比如,管理自动驾驶装置和路上障碍物交互的程序,控制自动驾驶装置的行车路线或者速度的程序,控制驾驶装置100和路上其他自动驾驶装置交互的程序。
传感器153和计算机系统101关联。传感器153用于探测计算机系统101周围的环境。举例来说,传感器153可以探测动物,汽车,障碍物和人行横道等,进一步传感器还可以探测上述动物,汽车,障碍物和人行横道等物体周围的环境,比如:动物周围的环境,例如,动物周围出现的其他动物,天气条件,周围环境的光亮度等。可选的,如果计算机系统101位于自动驾驶装置上,传感器可以是摄像头,红外线感应器,化学检测器,麦克风等。传感器153在激活时按照预设间隔感测信息并实时或接近实时地将所感测的信息提供给计算机系统101。
计算机系统101,用于根据传感器153采集的传感器数据,确定驾驶装置100的行驶状态,以及根据该行驶状态和当前的驾驶任务确定自动驾驶转置100所需执行的驾驶操作,并向控制系统106(图1)发送该驾驶操作对应的控制指令。驾驶装置100的行驶状态可以包括驾驶装置100自身的行驶状况,例如车头方向、速度、位置、加速度等,也包括驾驶装置100周边环境的状态,例如障碍物的位置、其他车辆的位置和速度、人行横道的位置、交通灯的信号等。计算机系统101可以包括由处理器103实现的任务抽象网络和共享策略网络。具体的,处理器103确定当前的自动驾驶任务;处理器103将该自动驾驶任务的至少一组历史路径输入到任务抽象网络做特征提取,得到表征该自动驾驶任务的特征的任务特征向量;处理器103根据传感器153采集的传感器数据,确定表征自动驾驶装置的当前行驶状态的状态向量;处理器103将该任务特征向量和该状态向量输入到共享策略网络做处理,得到该自动驾驶装置当前所需执行的驾驶操作;处理器103通过控制系统执行该驾驶操作;处理器103重复之前确定和执行驾驶操作的步骤,直到完成该自动驾驶任务。
可选的,在本文所述的各种实施例中,计算机系统101可位于远离自动驾驶装置的地方,并且可与自动驾驶装置进行无线通信。收发器123可将自动驾驶任务、传感器153采集的传感器数据和其他数据发送给计算机系统101;还可以接收计算机系统101发送的控制指令。自动驾驶装置可执行收发器接收的来自计算机系统101的控制指令,并执行相应的驾驶操作。在其它方面,本文所述的一些过程在设置在自动驾驶车辆内的处理器上执行,其它由远程处理器执行,包括采取执行单个操纵所需的动作。
如图2中示出的那样,显示适配器107可以驱动显示器109,显示器109和系统总线105耦合。显示器109可用于视觉显示、语音播放由用户输入的信息或提供给用户的信息以及车载设备的各种菜单。显示器109可包括液晶显示器(liquid crystal display,LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display,TFT LCD)、有机发光二极管(organic light-emitting diode、OLED)、柔性显示器(flexible display)、3D显示器(3Ddisplay)、电子墨水显示器(e-ink display)中的一种以上。触控面板可覆盖显示器109,当触控面板检测到在其上或附近的触摸操作后,传送给处理器以确定触摸事件的类型,随后处理器根据触摸事件的类型在显示器109上提供相应的视觉输出。此外,触控面板与显示器109也可以是集成的,来实现车载设备的输入和输出功能。
此外,显示器109可由抬头显示(head up display,HUD)来实现。此外,显示器109可设置有投射模块,从而通过投射在风挡或车窗的图像来输出信息。显示器109可包括透明显示器。透明显示器可贴附在风挡或车窗。透明显示器可以具有规定的透明度的方式显示规定的画面。为使透明显示器具有透明度,透明显示器可包括透明薄膜电致发光(thinfilm electroluminescent,TFEL)、透明有机发光二极管(organic light-emittingdiode,OLED),透明LCD(liquid crystal display)、透射型透明显示器、透明LED(LightEmitting Diode)显示器中的一种以上。透明显示器的透明度可进行调节。
另外,显示器109可配置在车辆内部的多个区域,参照图3a和图3b,图3a和图3b示出了本发明一种实施例的车辆的内部结构。如图3a和图3b示出的那样,显示器109可配置在仪表板的区域300、301、座椅308的区域302、各柱饰板的区域303、车门的区域304、中控台的区域305、顶板(head lining)的区域,遮阳板(sunvisor)的区域,或者可实现于风挡的区域306、车窗的区域307。需要说明的是,以上显示器109的配置位置仅为一种示意,并不构成对本申请的限定。
其中,处理器103可以通过配合显示器109来执行本申请实施例中的数据处理方法。
应理解,显示器109自身可以具备处理器103的数据处理能力,来执行本申请实施例中的数据处理方法。
接下来以显示器109由抬头显示(head up display,HUD)来实现为例,介绍HUD的产品形态:
HUD系统可以但不限于将车辆上的仪表信息(车速、温度、油量等)、驾驶提醒信息和导航信息等通过车辆的风挡投射在驾驶员的视野范围内,其中,导航信息对应的虚像可以叠加在车辆外的真实环境上,使得驾驶员可获得增强现实的视觉效果,例如可用于AR导航、自适应巡航、车道偏离预警等。由于导航信息对应的虚像需要与实景结合,因此,要求车辆具有精确的定位与探测功能,通常HUD系统需要与汽车的高级驾驶辅助系统(advanceddriving assistant system,ADAS)系统配合。例如图4所示的关于车速20公里每小时的虚拟图像成像在车辆的前挡风玻璃上。当然,也可以是在车辆主驾驶车窗的位置进行成像,还可以在副驾驶侧车窗或在其他区域(例如仪表台)进行虚拟成像等,具体此处不做限定。
随着汽车座舱电子的快速发展,基于屏幕(仪表/中控)可显示的信息种类和内容越来越丰富,但这需要驾驶者频繁的低头去查看才能获取相应信息,这导致驾驶员视线离开路面的时间与频率增加,导致更大的潜在驾驶安全隐患。在此背景下,抬头显示HUD应运而生。
相对于传统的屏幕信息显示,HUD可以直接在驾驶员正前方的路面上叠加显示视觉内容,其可读性更强且更加的直观,驾驶员正常看路时就可以快速地获取信息并做出相应操作,使其拥有更多的反应和决策时间,从而提高驾驶安全。因此,HUD可以逐步集成越来越多的辅助驾驶以及安全预警等信息显示功能。
通过在驾驶员前方的路面环境上直接叠加显示AR信息的方式,AR-HUD可以将路面上感知到的行人、车辆、环境(如车道线)标注出来,甚至车距、高度等属性信息,都可以以直观的元素叠加显示的方式呈现给用户。其中,车辆碰撞预警、车道偏离预警等显示功能在已经量产车的AR-HUD上搭载,行人提醒、人行横道提醒等更多显示功能也在很多AR-HUD概念方案中出现。
其中,上述在驾驶者前方叠加AR信息的方式也可以描述为通过HUD将AR信息进行投影(例如投影至驾驶者前方的环境中)。例如,HUD可以通过发光器件、光学模组将AR信息进行投影。
随着技术的发展和消费者需求的提高,HUD从最早只能显示速度、提醒图标等基础信息,演化到目前的AR-HUD能与ADAS(高级驾驶辅助系统)功能相结合,实时呈现自动巡航、车道偏离、车辆行人监测等多样且丰富的行车信息,其显示范围更大、内容更全,几乎到了可以替代仪表盘显示内容的阶段。因此,AR-HUD的使用频率越来越高,但是在外界环境发生明暗变化的情况下,用户可能会看不清楚AR-HUD上显示的内容,影响行驶,目前的HUD虽然可以做到按整体环境亮度来调整HUD的显示亮度,但是当车检索到外界环境亮度的变化时,车已经行驶到了暗/亮环境,因此HUD的显示亮度调整不及时,影响到用户的观察。比如车进隧道时,要进入隧道几秒钟之后,HUD的亮度才会适应隧道内的暗环境。
市面上现有的AR-HUD显示调节方案,基本是沿用显示屏的自动亮度调节逻辑方案,即通过车辆的环境光传感器,感知车辆所处环境的整体亮度。如当车辆在阳光充裕或光线充足的环境中行驶,此时环境光传感器感知车辆的整体环境亮度比较亮,此时系统将提高AR-HUD的显示亮度;当车辆在黑暗或光线不足的环境中行驶,环境光传感器感知车辆的整体环境亮度比较暗,此时将降低AR-HUD的显示亮度。通过环境光传感器调整AR-HUD的显示方案能满足基本场景下的亮暗变化需求,且采样频率高,对车辆性能和功耗的影响较低。
然而,车辆所处环境的整体亮度并不总是等于AR-HUD显示所叠加的背景环境的具体亮度。当环境照度与AR-HUD叠加在前方的背景亮度不一致时,AR-HUD会存在看不清、短时过亮/过暗的问题。此外,当AR-HUD叠加在一个与显示颜色接近或比较亮的背景上时,会存在因两者之间的对比度不足而看不清的问题。
参照图5,图5为本申请实施例提供的一种数据处理方法的流程示意,如图5所示,本申请实施例提供的数据处理方法,包括:
501、获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据第一传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据第二传感器对所述车辆的车头前方区域所采集的第二数据得到,所述第一传感器和所述第二传感器为不同的传感器。
其中,步骤501至步骤504的执行主体可以为具备数据处理能力的HUD。
其中,步骤501至步骤504的执行主体可以为车载控制设备。
其中,第二传感器的采样频率的高低会极大影响到计算与功耗负荷,例如,第二传感器的采样频率较高时会大大增加计算与功耗负荷,而第一传感器的采样频率对计算与功耗负荷的影响小于第二传感器。
本实施例以第一传感器为光传感器,第二传感器为摄像头为例进行说明:
其中,第一数据和第二数据可以为光传感器和摄像头在同一时间或者是接近于同一时间采集的数据。
在一些场景中,当车辆在阳光充裕或光线充足的环境中行驶,此时光传感器感知车辆的整体环境亮度比较亮,此时系统将提高AR-HUD的显示亮度;当车辆在黑暗或光线不足的环境中行驶,环境光传感器感知车辆的整体环境亮度比较暗,此时将降低AR-HUD的显示亮度。通过环境光传感器调整AR-HUD的显示方案能满足基本场景下的亮暗变化需求,且采样频率高,对车辆性能和功耗的影响较低。然而,车辆所处环境的整体亮度并不总是等于AR-HUD显示所叠加的背景环境的具体亮度。当环境照度与AR-HUD叠加在前方的背景亮度不一致时,AR-HUD会存在看不清、短时过亮或者过暗的问题。
例如,当车辆行驶在夜里有路灯的道路上,车辆处于光线充足的路灯下,AR-HUD显示内容叠加在前方没有灯光的黑暗路面上,此时AR-HUD显示的亮度过于刺眼。
又例如,当车辆驶出车库时,车辆整体处于光线较弱的位置,而AR-HUD显示背景已经叠加在光线充足的路面上,此时看不清HUD显示的内容。
因此,仅使用光传感器采集的数据(能够确定出车身周围的亮度)来进行HUD的显示亮度控制,会存在一定的控制滞后性。
在一种可能的实现中,可以使用摄像头针对于车身前方的区域(也就是HUD的投影内容所叠加的区域)所采集的图像,来确定HUD的投影内容所叠加的区域对应的物理环境的真实亮度值,进而来保证所采集的亮度值的实时性。然而,摄像头却存在这采样频率限制的问题。具体来说,当摄像头的采样频率较低时,使用摄像头针对于车身前方的区域所采集的图像所确定的亮度值仍然可能存在一定的滞后性,例如当车辆从光线充足的路面进入光线较暗的隧道时,由于摄像头感知速度跟不上车速,此时AR-HUD显示亮度应该下降但实际上没有下降。然而,调高采样频率可以使HUD的投影内容所叠加的区域的亮度感知接近实时,然而,摄像头的采样频率较高时,会带来过高的计算与功耗负荷,车辆难以支撑。
本申请实施例中,可以获取到第一亮度信息;其中,所述第一亮度信息为根据光传感器对车辆的车身周围采集的第一数据得到的。
在一种可能的实现中,光传感器对车辆的车身周围采集的第一数据可以为亮度值也可以为照度值,在获取到照度值之后,可以转换为亮度值。
应理解,第一亮度信息可以为亮度也可以为和亮度之间进行相互推算的其他量纲的数值(例如照度等),这里并不限定。
本申请实施例中,可以获取到第二亮度信息;其中,所述第二亮度信息为根据摄像头对所述车辆的车头前方区域所采集的第二数据得到的。例如可以通过对图像进行分析处理,得到能够表征出车头前方区域(HUD的投影内容所叠加的区域)的亮度值。
502、在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度。
503、在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度。
在一种可能的实现中,在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,可以通过所述第二亮度信息确定所述HUD的目标投影亮度。而在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,可以通过所述第一亮度信息确定所述HUD的目标投影亮度。
也就是说,针对于通过光传感器确定的亮度和摄像头采集的图像确定的亮度之间的关系的不同,可以选择不同的数据(第一亮度信息或者第二亮度信息)来进行投影亮度的确定。
例如,在所述第一亮度信息和所述第二亮度信息的关系表征出车身周围的亮度和HUD投影内容叠加区域所处的环境亮度之间的差异过大时,如果使用通过光传感器采集的数据所确定的亮度来确定HUD的投影亮度,会导致控制的滞后性。因此可以选择使用摄像头采集的图像所确定的亮度来进行HUD的投影亮度的确定。
例如,在所述第一亮度信息和所述第二亮度信息的关系表征出车身周围的亮度和HUD投影内容叠加区域所处的环境亮度之间的差异不大时,由于光传感器的采样频率相比摄像头较高,通过光传感器采集的数据所确定的亮度比使用通过摄像头采集的数据所确定的亮度的准确性和实时性更高。因此,可以选择使用光传感器采集的图像所确定的亮度来进行HUD的投影亮度的确定。
接下来介绍上述描述的预设条件:
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异大于阈值;或者,所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异小于阈值。第一亮度信息和所述第二亮度信息的差异小于阈值时,第一亮度信息和第二亮度信息之间的差异不大。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息不在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的;或者,所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的。
其中,亮度范围可以为包括第二亮度信息在内在一个数值区间,第一亮度信息在亮度范围内时,第一亮度信息和第二亮度信息之间的差异不大。
应理解,在通过所述第一亮度信息确定所述HUD的目标投影亮度时,目标投影亮度可以和第一亮度信息正相关。
应理解,在通过所述第二亮度信息确定所述HUD的目标投影亮度时,目标投影亮度可以和第二亮度信息正相关。
504、根据所述目标投影亮度,控制所述HUD的投影。
在一种可能的实现中,可以将目标投影亮度作为HUD的投影内容的亮度,进而可以根据所述目标投影亮度,控制所述HUD的投影。
在一种可能的实现中,若步骤501至步骤504的执行主体为车载控制设备,则可以向HUD发送指示目标投影亮度的信息,进而,HUD可以根据所述目标投影亮度,进行HUD的投影。
在一种可能的实现中,若步骤501至步骤504的执行主体为具备数据处理能力的HUD,则HUD可以直接根据所述目标投影亮度,进行HUD的投影。
在一种可能的实现中,在根据摄像头采集的图像所确定的亮度值来进行HUD的投影亮度的控制时,由于摄像头的采样频率的高低会极大影响到计算与功耗负荷,若使用较低采样频率的摄像头采集的图像所确定的亮度值来进行HUD的投影亮度的控制,可能也会导致亮度控制的滞后性。因此,本申请实施例中,在根据摄像头采集的图像所确定的亮度值和根据光传感器所采集的数据确定的亮度值的差异较大时,控制摄像头提高采样频率,而在根据摄像头采集的图像所确定的亮度值和根据光传感器所采集的数据确定的亮度值的差异较小时,控制摄像头保持较小的采样频率,在保证亮度控制实时性的同时,降低了计算与功耗负荷。
在一种可能的实现中,可以获取第三亮度信息和第四亮度信息;所述第三亮度信息为根据所述光传感器对所述车辆的车身周围采集的第三数据得到;所述第四亮度信息为根据所述摄像头对所述车辆的车头前方区域采集的第四数据得到;所述第三数据的采集时间早于所述第一数据;所述第四数据的采集时间早于所述第二数据。
在一种可能的实现中,第三亮度信息和第四亮度信息可以为光传感器和摄像头在同一时间(或者相似时间)采集的数据确定的。
在一种可能的实现中,在所述第三亮度信息和所述第四亮度信息的差异大于阈值的情况下,可以控制所述摄像头提高数据的采样频率;其中,所述第二数据为采样频率提高后的所述摄像头对车头前方区域采集的数据。
接下来结合一个具体的示例介绍本申请实施例中的HUD投影方法:
如图6,挡风玻璃01的区域为AR-HUD投射内容的区域。决定AR-HUD亮度显示效果02的主要因素为图像与其叠加背景间形成的对比度。可以对车辆所处环境的整体亮度(例如本申请实施例中的第一亮度信息)、AR-HUD显示所叠加的背景环境的具体亮度(例如本申请实施例中的第二亮度信息)、车速等进行综合计算,进行AR-HUD的亮度调节。
由于HUD投影的叠加背景与光传感器感受到的环境亮度并不是一致的,仅通过光传感器的数据进行HUD的亮度调节无法处理该种情况。为此,需要在获得光传感器数据的同时,使用摄像头的数据进一步对HUD的投影背景的亮度进行联合调控,进而有了如下的具体方案。
通过光传感器与摄像头融合感知环境来调整AR-HUD显示亮度的流程的一个示意可以如图7所示。系统可以预先建立不同环境照度及不同叠加背景亮度下,AR-HUD的最佳亮度映射关系,并将数据存放在数据存储模块中。然后,在初始状态下(包括但不限于刚刚启动车上的HUD系统,或用户在停车状态下对HUD当前的亮度进行了手动的调整),光传感器以较高的采样频率(例如,以每秒采集20~50次传感器数据)对车辆整体环境亮度进行感知,并对AR-HUD亮度(例如以nit为单位)进行调节;同时摄像头以较低采样频率(如每秒采集1~5帧数据)对HUD投影的叠加背景(人眼所感受到的HUD投影的图像在实际场景中的叠加区域)的亮度进行感知。
接着系统将判断由光传感器感知和摄像头感知分别得到对应的最佳AR-HUD亮度之间是否满足特定的差异条件。若是,则提高摄像头对叠加背景亮度的采样频率(如1秒2次),并改为由摄像头的感知结果对AR-HUD的亮度进行调节方案;否则,保持为初始状态下的由光传感器的感知结果对AR-HUD的亮度进行调节方案。
如用户在驾驶过程中,一开始车辆所处环境的整体亮度03与AR-HUD显示所叠加的背景环境亮度04相同或接近的情况下(例如可以如图8所示),如两者都处于光线充足的路面或者在黑暗的车库中。此时系统根据光传感器感知得到的结果,对AR-HUD亮度显示效果02进行亮度调节,如在光线充足的路面将AR-HUD显示亮度调高一些,在黑暗的车库将AR-HUD显示亮度调低一些,得到最佳的AR-HUD亮度显示效果02′(例如可以如图9所示);同时,摄像头将以较低的采样频率对AR-HUD叠加背景亮度进行感知。
当行驶至车辆所处环境的整体亮度03与AR-HUD显示所叠加的背景环境亮度04差异较大的环境时(例如可以如图10所示),如车辆从光线充足的路面进入昏暗的隧道。此时系统判断叠加背景亮度的识别结果所对应的最佳AR-HUD亮度对比度与此时光传感器的识别结果所对应的最佳AR-HUD亮度超过特定差异条件阈值,此时系统提高摄像头对叠加背景亮度的感知频率,并由摄像头的感知结果对AR-HUD亮度显示效果02进行亮度调节,如进入昏暗的隧道的时候将AR-HUD显示亮度调低一些,得到更优的AR-HUD亮度显示效果02′(例如可以如图11所示)。
在上述实施例中,第二亮度信息可以表示所述HUD当前的投影方向所在的区域(也就是HUD当前的投影内容所叠加的物理区域)的亮度。而由于图像中可以包括HUD当前的投影方向所在的区域的画面,还可以包括除了HUD当前的投影方向所在的区域的其他画面,其中,其他画面中可以包括车辆在未来行驶过程中HUD的投影方向所在的区域的画面(也就是HUD在所述车辆行驶预设时间之后的投影内容所叠加的物理区域的画面),进而,可以根据图像确定出HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。
在一种可能的实现中,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。通常情况下,计算设备在得到HUD投影内容所叠加的物理区域的真实亮度时,需要一定的时延才能计算得到对应的HUD的投影亮度并进行HUD的投影亮度控制,在这种情况下,就会出现控制的滞后性。本申请实施例中,第二亮度信息可以表示车辆在一定时间后HUD投影内容所叠加的物理区域的真实亮度,进而可以在预设时间之后,直接对HUD的投影亮度进行控制,从而可以降低控制的时延。
在一种可能的实现中,可以根据所述车辆的行驶状态,从所述第二数据中确定子数据,所述子数据为所述HUD在所述车辆行驶预设时间之后投影方向所在的区域有关的数据;所述子数据用于确定所述第二亮度信息。例如,第二数据可以为图像,子数据可以为图像中的部分图像区域。
接下来介绍一个根据所述车辆的行驶状态,从所述第二数据中确定子数据的示意:
在一种可能的实现中,结合车辆行驶参数,预测AR-HUD显示图像将叠加的背景环境流程可以如图12A和图13所示。
其中,由于摄像头与车体坐标系的位置相对固定,且HUD的投影位置相对车体而言也可以视为固定不变的,因此,可以认为HUD在车体坐标系中的投影位置相对于摄像头所拍摄到的图像而言,其相对位置关系也是相对固定的。同时,由于在形成过程中,HUD的投影一般可以等效到地面上,那么在获得车速v以及HUD投影的初始位置p0后,可以生成一个时间序列T={t1,t2,…,tn},并以此为基础,计算得到HUD在未来的一段时间内,其将要投影到的区域在车体坐标系中的位置集合P={p1,p2,…,pn},如下所示:
pi=v*ti+p0;
同时,通过上述计算出的位置,可以借助摄像头的内外参数信息,将叠加位置pi转换为摄像头拍摄的图像中的一部分。叠加区域在摄像头拍摄到的数据中的位置可以通过图12B示出的方法进行计算:
其中,I为叠加区域在图像中位置;
K、D、R、T为相机的内参参数,畸变参数,外参旋转矩阵,外参平移向量;
N为坐标归一化操作,将(x,y,z)变为(x',y',1);
phud为HUD投影叠加区域的三维空间坐标。
通过上述方法,系统便可以结合车体坐标系下AR-HUD投影叠加位置、前置摄像头内外参参数以及当前车速信息与预测时间序列,得到AR-HUD未来叠加背景在图像中的区域集合。如图14和图15所示,在图像集合中,结合前置摄像头图像信息,通过数据处理模块,得到超前预测AR-HUD即将投影叠加的位置并对叠加区域的亮度进行转换。
而在亮度的计算方案中,可以采用数据拟合,包括但不限于多项式拟合,神经网络拟好,深度网络拟合等多种拟合方法。一种使用图像曝光时间t,感光度iso以及图像灰度gray来拟合计算HUD亮度I的具体的计算方法如下所示:
I=f(W2·f(W1·[t,iso,gray]));
该方法可以得到如图16所示的拟合效果图像,从而实现从摄像头图像到HUD投影叠加亮度的计算过程,然后基于得到的超前时间窗的亮度调控优化,超前预测AR-HUD投影背景亮度值。最后生成基于摄像头图像的AR-HUD亮度值,即更优的AR-HUD亮度显示效果。
如图17左边的图所示,用户在驾驶过程中,在时间t0的时候系统为用户呈现最佳AR-HUD亮度显示效果02,再过一段时间t1,车辆将驶入与现在所处的环境亮度有差异的路段,如经过t1时间后将从黑暗的车库驶出光线充足的路面,或者经过t1时间后将从光线充足的路面驶入光线不足的隧道中。如图17右边的图所示,此时系统将启用基于摄像头图像与超前预测的AR-HUD亮度调节方案,结合车辆行驶参数,预测并感知AR-HUD显示图像在未来一段时间内将叠加的背景环境,为用户显现最佳AR-HUD亮度显示效果02。
在一些场景中,可以基于所述目标投影亮度超出所述HUD投影的亮度范围;控制所述HUD调整投影内容的一些特征,特征可以为投影内容的颜色、背景色、或者背景内容,例如可以增加一些背景框。
在一些场景中,对于亮度对比度无法满足既定的对比度要求的场景,包括但不限于背景过亮(nit值过大,例如高于20000nit)场景下,HUD的最大亮度无法满足对比度标准,或者背景亮度过低(nit值过低,例如小于1nit)的场景下,HUD的最低亮度无法满足对比度要求的场景。
在这种情况下,为了能够让HUD投影的内容仍然和环境存在明显的对比度,可以在除了亮度之外的其他维度上对HUD的投影内容进行控制。
例如,上述除了亮度之外的其他维度可以为颜色维度、显示内容的背景内容(例如背景框或背景色)等。
当亮度对比度方案无法满足显示需求时(如下图19所示),系统结合摄像头图像信息,启用颜色对比度方案。
方法流程的一个示意可以如图18所示,可以结合4个因素:系统预先建立不同环境照度及不同背景亮度下AR-HUD的最佳亮度映射关系、基于前置摄像头图像的亮度值和AR-HUD亮度调控能力范围(即是否光机已经调到最高亮度档位或最低亮度档位)和预测时间序列数据,判断亮度值调控是否满足亮度对比度要求(例如,可以是当光机已经调到最高亮度档位,亮度对比度要求是不得低于2:1;当光机已经调到最低亮度档位时,亮度对比度要求是不得高于63:1)。如果是,则启用亮度对比度方案;否则,启用颜色对比度方案。启用颜色对比度方案后,首先前置摄像头将捕获的图像中HUD的叠加区域单独截取出来,按照如下的方法将RGB图像转为对应的HSL数据:
再根据颜色对比度(包括但不限于使用WCAG2.0标准中的颜色对比度计算标准)阈值计算显示颜色,最后更新AR-HUD显示颜色模式。其中,AR-HUD显示颜色模式包括但不仅限于更改AR-HUD显示颜色、为AR-HUD显示增加背景框或背景底色等模式。
如当车辆行驶在雪地、阳光暴晒等光线亮度比较极端的环境下,无论怎么调整AR-HUD的亮度对比度,AR-HUD投影的效果都是用户看不清的(例如可以参照图19所示)。此时系统将启用颜色对比度方案,通过修改AR-HUD显示内容的颜色(例如可以参照图20所示)或者在AR-HUD显示内容的位置增加背景框或背景色(例如可以参照图21所示)等方式,提高显示内容与叠加背景之间的对比度,给用户提供最佳AR-HUD亮度显示效果界面。
在一种可能的实现中,可以在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。对于人眼来说,其对于HUD的亮度或颜色的变化并不是要求瞬间完成的,而是需要一个合适的变化过程。
在一种可能的实现中,可以获取所述车辆的车身周围的历史亮度信息;所述历史亮度信息包括历史亮度值以及所述历史亮度值对应的持续时间;所述历史亮度信息用于确定用户当前的亮度敏感度;进而,可以根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
对于人眼来说,其对于HUD的亮度或颜色的变化并不是要求瞬间完成的,而是需要一个合适的变化过程,因此在HUD的调节过程中,需要将人眼的这种需求考虑进去,通过对累加环境的变化持续计算适应性,从而动态生成人眼感觉舒适的显示亮度值。
接下来介绍一个根据历史亮度信息用于确定用户当前的亮度敏感度,以及根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度的具体实现示意:
参照图22,在下述的实施例方案中,光传感器以及摄像头以时间间隔为δt的频率采集前方视野的整体亮度。以初始状态下(t=0)的前方视野的整体亮度A计算得到初始视觉敏感性Bi,此时无历史视觉敏感性Bi。经过δt的时间间隔(t>0),照度计/摄像头再次采集前方视野的整体亮度A,此时初始视觉敏感性Bi将成为历史视觉敏感性Bi。通过参数为前方视野的整体亮度A和历史视觉敏感性Bi的视觉敏感性曲线f(A,Bi)计算,得到目前视觉敏感性B(人眼对于外界亮暗的察觉能力以及调控能力)。系统将目前视觉敏感性B和AR-HUD亮度进行转换(包括但不限于通过人因实验采集数据进行标定,从文献中获取转换参数等方法),AR-HUD光机调控能力模块结合AR-HUD亮度理论调整值,在调控时间间隔为△t的情况下进行显示亮度的调控,为用户输出人眼感觉舒适的AR-HUD光机显示亮度值。
如用户在驾驶过程中,需要经过环境亮度差异较大的两个路况。如从光线昏暗的隧道进入阳光明媚的高速路面,或者从光线充足的路面进入黑暗的车库。当不考虑人眼明暗适应的因素,直接根据亮度理论值对AR-HUD的显示进行调整,此时得到理论最佳AR-HUD亮度显示效果(如图23)。当AR-HUD的显示亮度调节结合人眼明暗适应的因素时,才能得到清晰、且适合人眼的最佳AR-HUD亮度显示效果(如图24)。
参照图25,图25为本申请实施例提供的一种数据处理装置的结构示意,如图25所示,所述装置2500可以包括:
获取模块2501,用于获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据第一传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据第二传感器对所述车辆的车头前方区域所采集的第二数据得到,所述第一传感器和所述第二传感器为不同的传感器;
其中,关于获取模块2501的具体描述可以参照上述实施例中步骤501的介绍,这里不再赘述。
处理模块2502,用于在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;
在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;
根据所述目标投影亮度,控制所述HUD的投影。
其中,关于处理模块2502的具体描述可以参照上述实施例中步骤502至步骤504的介绍,这里不再赘述。
也就是说,针对于通过光传感器确定的亮度和摄像头采集的图像确定的亮度之间的关系的不同,可以选择不同的数据(第一亮度信息或者第二亮度信息)来进行投影亮度的确定,可以提高HUD亮度控制的精准性。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息不在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的。
在一种可能的实现中,所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异大于阈值;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异小于阈值。
在一种可能的实现中,所述获取模块,还用于:
获取第三亮度信息和第四亮度信息;所述第三亮度信息为根据所述光传感器对所述车辆的车身周围采集的第三数据得到;所述第四亮度信息为根据所述摄像头对所述车辆的车头前方区域采集的第四数据得到;所述第三数据的采集时间早于所述第一数据;所述第四数据的采集时间早于所述第二数据;
所述处理模块,还用于在所述第三亮度信息和所述第四亮度信息的差异大于阈值的情况下,控制所述摄像头提高数据的采样频率;其中,所述第二数据为采样频率提高后的所述摄像头对车头前方区域采集的数据。
在一种可能的实现中,所述第二亮度信息表示所述HUD当前的投影方向所在的区域的亮度。
在一种可能的实现中,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。
在一种可能的实现中,所述获取模块,具体用于:
根据所述车辆的行驶状态,从所述第二数据中确定子数据,所述子数据为所述HUD在所述车辆行驶预设时间之后投影方向所在的区域有关的数据;所述子数据用于确定所述第二亮度信息。
在一种可能的实现中,所述处理模块,具体用于:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,在所述预设时间内,将所述HUD当前的投影亮度调整至所述目标投影亮度。
在一种可能的实现中,所述处理模块,具体用于:
基于所述目标投影亮度超出所述HUD投影的亮度范围;控制所述HUD调整投影内容的颜色。
在一种可能的实现中,所述处理模块,具体用于:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
在一种可能的实现中,所述获取模块,还用于:
获取所述车辆的车身周围的历史亮度信息;所述历史亮度信息包括历史亮度值以及所述历史亮度值对应的持续时间;所述历史亮度信息用于确定用户当前的人眼的亮度敏感度;
所述处理模块,具体用于:
根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
本申请还提供了一种车载系统,所述车载系统包括车载控制设备和抬头显示设备HUD,其中,
所述车载控制设备用于执行如图5所描述的方法;
所述HUD用于根据所述车载控制设备的控制,执行投影的动作。
在一种可能的实现中,所述车载系统还包括:
第一传感器和第二传感器;
所述第一传感器用于采集所述车辆的车身周围的亮度信息;并将所述亮度信息传递至所述车载控制设备;
所述第二传感器用于采集所述车辆的车头前方的图像;并将所述图像传递至所述车载控制设备。
在一种可能的实现中,所述第一传感器为光传感器,所述第二传感器为摄像头。
本申请实施例还提供了一种车载系统,所述车载系统包括抬头显示设备HUD、第一传感器和第二传感器;其中,
所述HUD用于执行如图5所描述的方法;
所述第一传感器用于采集所述车辆的车身周围的亮度信息;并将所述亮度信息传递至所述车载控制设备;
所述第二传感器用于采集所述车辆的车头前方的图像;并将所述图像传递至所述车载控制设备。
在一种可能的实现中,所述第一传感器为光传感器,所述第二传感器为摄像头。
本申请实施例还提供了一种数据处理装置,请参阅图26,图26是本申请实施例提供的数据处理装置一种结构示意图,具体的,数据处理装置2600可以由一个或多个终端设备(例如驾驶装置)实现,数据处理装置2600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)2626(例如,一个或一个以上处理器)和存储器2632,一个或一个以上存储应用程序2642或数据2644的存储介质2630(例如一个或一个以上海量存储设备)。其中,存储器2632和存储介质2630可以是短暂存储或持久存储。存储在存储介质2630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理装置中的一系列指令操作。更进一步地,中央处理器2626可以设置为与存储介质2630通信,在数据处理装置2600上执行存储介质2630中的一系列指令操作。
数据处理装置2600还可以包括一个或一个以上电源2616,一个或一个以上有线或无线网络接口2650,一个或一个以上输入输出接口2658;或,一个或一个以上操作系统2641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
具体的,数据处理装置可以执行图5对应实施例中的数据处理方法。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如前述数据处理方法所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述数据处理方法所执行的步骤。
本申请实施例提供的数据处理装置具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使执行设备内的芯片执行上述实施例描述的数据处理方法,或者,以使数据处理装置内的芯片执行上述实施例描述的数据处理方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
具体的,请参阅图27,图27为本申请实施例提供的芯片的一种结构示意图,所述芯片可以表现为神经网络处理器NPU2700,NPU 2700作为协处理器挂载到主CPU(Host CPU)上,由Host CPU分配任务。NPU的核心部分为运算电路2703,通过控制器2704控制运算电路2703提取存储器中的矩阵数据并进行乘法运算。
NPU 2700可以通过内部的各个器件之间的相互配合,来实现图5所描述的实施例中提供的方法。
更具体的,在一些实现中,NPU 2700中的运算电路2703内部包括多个处理单元(Process Engine,PE)。在一些实现中,运算电路2703是二维脉动阵列。运算电路2703还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路2703是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路从权重存储器2702中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器2701中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)2708中。
统一存储器2706用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller,DMAC)2705,DMAC被搬运到权重存储器2702中。输入数据也通过DMAC被搬运到统一存储器2706中。
BIU为Bus Interface Unit即,总线接口单元2710,用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer,IFB)2709的交互。
总线接口单元2710(Bus Interface Unit,简称BIU),用于取指存储器2709从外部存储器获取指令,还用于存储单元访问控制器2705从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2706或将权重数据搬运到权重存储器2702中或将输入数据数据搬运到输入存储器2701中。
向量计算单元2707包括多个运算处理单元,在需要的情况下,对运算电路2703的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层网络计算,如Batch Normalization(批归一化),像素级求和,对特征平面进行上采样等。
在一些实现中,向量计算单元2707能将经处理的输出的向量存储到统一存储器2706。例如,向量计算单元2707可以将线性函数;或,非线性函数应用到运算电路2703的输出,例如对卷积层提取的特征平面进行线性插值,再例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元2707生成归一化的值、像素级求和的值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路2703的激活输入,例如用于在神经网络中的后续层中的使用。
控制器2704连接的取指存储器(instruction fetch buffer)2709,用于存储控制器2704使用的指令;
统一存储器2706,输入存储器2701,权重存储器2702以及取指存储器2709均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,数据处理装置,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、数据处理装置或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、数据处理装置或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的数据处理装置、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
Claims (32)
1.一种数据处理方法,其特征在于,所述方法包括:
获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据第一传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据第二传感器对所述车辆的车头前方区域所采集的第二数据得到,所述第一传感器和所述第二传感器为不同的传感器;
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;
在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;
根据所述目标投影亮度,控制所述HUD的投影。
2.根据权利要求1所述的方法,其特征在于,所述第一传感器为光传感器,所述第二传感器为摄像头。
3.根据权利要求1或2所述的方法,其特征在于,
所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息不在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的。
4.根据权利要求1或2所述的方法,其特征在于,
所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异大于阈值;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异小于阈值。
5.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
获取第三亮度信息和第四亮度信息;所述第三亮度信息为根据所述第一传感器对所述车辆的车身周围采集的第三数据得到;所述第四亮度信息为根据所述第二传感器对所述车辆的车头前方区域采集的第四数据得到;所述第三数据的采集时间早于所述第一数据;所述第四数据的采集时间早于所述第二数据;
在所述第三亮度信息和所述第四亮度信息的差异大于阈值的情况下,控制所述第二传感器提高数据的采样频率;其中,所述第二数据为采样频率提高后的所述第二传感器对车头前方区域采集的数据。
6.根据权利要求1至5任一所述的方法,其特征在于,所述第二亮度信息表示所述HUD当前的投影方向所在的区域的亮度。
7.根据权利要求1至6任一所述的方法,其特征在于,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。
8.根据权利要求7所述的方法,其特征在于,所述获取第二亮度信息,包括:
根据所述车辆的行驶状态,从所述第二数据中确定子数据,所述子数据为所述HUD在所述车辆行驶预设时间之后投影方向所在的区域有关的数据;所述子数据用于确定所述第二亮度信息。
9.根据权利要求7或8所述的方法,其特征在于,所述根据所述目标投影亮度,控制所述HUD的投影,包括:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,在所述预设时间内,将所述HUD当前的投影亮度调整至所述目标投影亮度。
10.根据权利要求1至9任一所述的方法,其特征在于,所述根据所述目标投影亮度,控制所述HUD的投影,包括:
基于所述目标投影亮度超出所述HUD投影的亮度范围;控制所述HUD调整投影内容的颜色。
11.根据权利要求1至10任一所述的方法,其特征在于,所述根据所述目标投影亮度,控制所述HUD的投影,包括:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
获取所述车辆的车身周围的历史亮度信息;所述历史亮度信息包括历史亮度值以及所述历史亮度值对应的持续时间;所述历史亮度信息用于确定用户当前的人眼的亮度敏感度;
所述将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度,包括:
根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
13.一种车载系统,其特征在于,所述车载系统包括车载控制设备和抬头显示设备HUD,其中,
所述车载控制设备用于执行如权利要求1至11任一所述的方法;
所述HUD用于根据所述车载控制设备的控制,执行投影的动作。
14.根据权利要求13所述的车载系统,其特征在于,所述车载系统还包括:
第一传感器和第二传感器;
所述第一传感器用于采集所述车辆的车身周围的亮度信息;并将所述亮度信息传递至所述车载控制设备;
所述第二传感器用于采集所述车辆的车头前方的图像;并将所述图像传递至所述车载控制设备。
15.根据权利要求14所述的车载系统,其特征在于,所述第一传感器为光传感器,所述第二传感器为摄像头。
16.一种车载系统,其特征在于,所述车载系统包括抬头显示设备HUD、第一传感器和第二传感器;其中,
所述HUD用于执行如权利要求1至9任一所述的方法;
所述第一传感器用于采集所述车辆的车身周围的亮度信息;并将所述亮度信息传递至所述车载控制设备;
所述第二传感器用于采集所述车辆的车头前方的图像;并将所述图像传递至所述车载控制设备。
17.根据权利要求16所述的车载系统,其特征在于,所述第一传感器为光传感器,所述第二传感器为摄像头。
18.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取第一亮度信息和第二亮度信息;所述第一亮度信息为根据第一传感器对车辆的车身周围采集的第一数据得到;所述第二亮度信息为根据第二传感器对所述车辆的车头前方区域所采集的第二数据得到,所述第一传感器和所述第二传感器为不同的传感器;
处理模块,用于在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,通过所述第二亮度信息确定所述HUD的目标投影亮度;
在所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件的情况下,通过所述第一亮度信息确定所述HUD的目标投影亮度;
根据所述目标投影亮度,控制所述HUD的投影。
19.根据权利要求18所述的装置,其特征在于,所述第一传感器为光传感器,所述第二传感器为摄像头。
20.根据权利要求18或19所述的装置,其特征在于,
所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息不在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息在亮度范围内;所述亮度范围是基于所述第二亮度信息确定的。
21.根据权利要求19或20所述的装置,其特征在于,
所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异大于阈值;或者,
所述第一亮度信息和所述第二亮度信息的关系满足第二预设条件,包括:所述第一亮度信息和所述第二亮度信息的差异小于阈值。
22.根据权利要求18至21任一所述的装置,其特征在于,所述获取模块,还用于:
获取第三亮度信息和第四亮度信息;所述第三亮度信息为根据所述第一传感器对所述车辆的车身周围采集的第三数据得到;所述第四亮度信息为根据所述第二传感器对所述车辆的车头前方区域采集的第四数据得到;所述第三数据的采集时间早于所述第一数据;所述第四数据的采集时间早于所述第二数据;
所述处理模块,还用于在所述第三亮度信息和所述第四亮度信息的差异大于阈值的情况下,控制所述第二传感器提高数据的采样频率;其中,所述第二数据为采样频率提高后的所述第二传感器对车头前方区域采集的数据。
23.根据权利要求18至22任一所述的装置,其特征在于,所述第二亮度信息表示所述HUD当前的投影方向所在的区域的亮度。
24.根据权利要求18至23任一所述的装置,其特征在于,所述第二亮度信息表示所述HUD在所述车辆行驶预设时间之后投影方向所在的区域的预测亮度。
25.根据权利要求24所述的装置,其特征在于,所述获取模块,具体用于:
根据所述车辆的行驶状态,从所述第二数据中确定子数据,所述子数据为所述HUD在所述车辆行驶预设时间之后投影方向所在的区域有关的数据;所述子数据用于确定所述第二亮度信息。
26.根据权利要求24或25所述的装置,其特征在于,所述处理模块,具体用于:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,在所述预设时间内,将所述HUD当前的投影亮度调整至所述目标投影亮度。
27.根据权利要求18至26任一所述的装置,其特征在于,所述处理模块,具体用于:
基于所述目标投影亮度超出所述HUD投影的亮度范围;控制所述HUD调整投影内容的颜色。
28.根据权利要求18至27任一所述的装置,其特征在于,所述处理模块,具体用于:
在所述第一亮度信息和所述第二亮度信息的关系满足第一预设条件的情况下,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
29.根据权利要求28所述的装置,其特征在于,所述获取模块,还用于:
获取所述车辆的车身周围的历史亮度信息;所述历史亮度信息包括历史亮度值以及所述历史亮度值对应的持续时间;所述历史亮度信息用于确定用户当前的人眼的亮度敏感度;
所述处理模块,具体用于:
根据所述亮度敏感度,将所述HUD当前的投影亮度渐变的调整至所述目标投影亮度。
30.一种数据处理装置,其特征在于,所述装置包括存储器、处理器以及呈现设备;所述存储器存储有代码,所述处理器被配置为获取所述代码,执行如权利要求1至12任一所述的方法。
31.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一个或多个指令,所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至12任一所述的方法。
32.一种计算机程序产品,包括代码,其特征在于,在所述代码被执行时用于实现如权利要求1至12任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211522055.XA CN116320331A (zh) | 2022-11-30 | 2022-11-30 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211522055.XA CN116320331A (zh) | 2022-11-30 | 2022-11-30 | 一种数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116320331A true CN116320331A (zh) | 2023-06-23 |
Family
ID=86783952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211522055.XA Pending CN116320331A (zh) | 2022-11-30 | 2022-11-30 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116320331A (zh) |
-
2022
- 2022-11-30 CN CN202211522055.XA patent/CN116320331A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868133B1 (en) | Avoiding blind spots of other vehicles | |
US9690297B1 (en) | Classifier hierarchies for traffic light and traffic indicator detection | |
CN106915302B (zh) | 用于车辆的显示装置及其控制方法 | |
US20190250622A1 (en) | Controlling autonomous vehicles using safe arrival times | |
US11334754B2 (en) | Apparatus and method for monitoring object in vehicle | |
US10377236B2 (en) | Assistance apparatus for driving of a vehicle, method thereof, and vehicle having the same | |
CN111527016B (zh) | 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统 | |
US20190094855A1 (en) | Method for controlling operation system of a vehicle | |
US9434382B1 (en) | Vehicle operation in environments with second order objects | |
KR20170004715A (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
US10768618B2 (en) | Vehicle driving control apparatus and vehicle driving method | |
US20240062432A1 (en) | Augmented reality (ar) service platform for providing ar service | |
KR20180051977A (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
US10547988B2 (en) | Method for acquiring information about pedestrian and communication device for vehicle | |
CN113343738A (zh) | 检测方法、装置及存储介质 | |
CN115100377A (zh) | 地图构建方法、装置、车辆、可读存储介质及芯片 | |
US20220388543A1 (en) | Systems and methods for displaying trajectories for autonomous vehicles | |
US20230012932A1 (en) | Vehicle control device and control method therefor | |
CN112654546B (zh) | 用户感兴趣对象的识别方法以及识别装置 | |
US20230259143A1 (en) | Systems and methods for updating navigational maps | |
CN114842440B (zh) | 自动驾驶环境感知方法、装置、车辆及可读存储介质 | |
CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
CN115100630A (zh) | 障碍物检测方法、装置、车辆、介质及芯片 | |
CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
CN116320331A (zh) | 一种数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |