CN117218882A - 车辆用ar显示装置及其动作方法 - Google Patents

Abstract

一种车辆用AR显示装置及其动作方法。AR显示装置包括：一个以上的接口模块，接收包括车辆的前方图像的数据、包括车辆的当前位置的位置数据以及车辆的感测数据；处理器，以与前方图像重叠的方式渲染AR图形界面，在AR图形界面中结合了显示车辆的行驶状态的第一AR对象和显示对于车辆的行驶状况的指引的第二AR对象；以及显示器，根据渲染，显示重叠了AR图形界面的前方图像，处理器响应于车辆进入到包括充电区域的停车区域，根据所述感测数据和所述停车区域的管制数据中的至少一种来搜索可停车区域，并更新所述AR图形界面，以从所述第一AR对象分离所述第二AR对象，通过所述第二AR对象向搜索到的所述可停车区域指引车辆。

Description

车辆用AR显示装置及其动作方法

技术领域

本发明涉及与车辆联动的AR(Augmented Reality，增强现实)显示装置及其动作方法，更具体而言，涉及一种能够通过AR技术提供与车辆的停车或充电相关的指引的AR显示装置及其动作方法。

背景技术

为了使用车辆的用户的安全和便利，在车辆设置有各种传感器和装置，车辆的功能逐渐多样化。这种车辆的功能可以分为用于提高驾驶员的便利的便利功能以及用于提高驾驶员和/或行人的安全的安全功能。

车辆的便利功能具有与驾驶员便利相关的研发动机，例如向车辆赋予信息娱乐(information+ente rtainment)功能，支持部分的自动驾驶功能或者帮助确保夜间视野或盲区等驾驶员的视野。例如，具有主动巡航控制(active cruise control，ACC)、智能停车系统(smart parking assist system，SPAS)、夜视(nightvision，NV)、抬头显示器(headup display，HUD)、全景显示器(around view monit or，AVM)、自适应前灯控制(adaptiveheadlight system，AHS)功能等。

另外，车辆的安全功能是确保驾驶员的安全和/或行人的安全的技术，具有车道偏离警告系统(lane departure warning system，LDWS)、车道保持辅助系统(lane keepingassist system，LKAS)、自动紧急制动(autonomous emergency braking，AEB)功能等。

近年来，正在积极开发通过车辆的挡风玻璃、HUD(Head Up Display：抬头显示器)输出图形对象，或者通过在由摄像头拍摄的图像中输出图形对象来将图形对象追加输出到现实世界的增强现实(Augmented Reality，AR)的技术。尤其，利用这种增强现实(AR)技术，正在进一步扩大通过增强现实(AR)技术给驾驶员指引路径的技术的开发。

另一方面，在现有技术中，即使根据AR行驶模式将这种增强现实(AR)技术应用到路径指引，也只是简单地以AR形式显示现有的行驶指引。例如，只是在固定的特定位置以AR图像显示行驶方向变更指引。

因此，很难与AR行驶模式的其他AR特征(feature)区分显示，因此在接收直观的路径指引方面存在限制。另外，在驾驶经验不足的驾驶员的情况下，在按照指引准确地行驶方面存在限制。即使一起显示行驶方向变更显示和剩余的距离值，也是如此。因此，有必要研究用于执行更直观且更完整的AR行驶模式。

尤其，在车辆停车或充电时，不熟练驾驶的驾驶员很难在复杂的空间中找到期望的位置。但是，在现有的AR行驶模式中，即使预先搜索到能够停车或充电的空间，在提供与此相关的更直观的指引方面也存在限制。这在与管制系统通信而预先识别能够停车或充电的空间的情况下也是一样的。

发明内容

本发明的目的在于，解决前述的问题及其他问题。

根据本发明的一些实施例，目的在于，提供一种能够执行更直观且更完整的AR行驶模式的AR显示装置及其动作方法。

另外，根据本发明的一些实施例，目的在于，提供一种在车辆进入停车场/充电站时能够以更直观的AR图形界面提供搜索、路径以及所需的信息的AR显示装置及其动作方法。

另外，根据本发明的一些实施例，目的在于，提供一种在停车场/充电站预先搜索最佳可停车区域和/或可充电区域，并能够通过实时改变AR图形界面来在便于停车的方向上提供指引路径的AR显示装置及其动作方法。

另外，根据本发明的一些实施例，目的在于，提供一种能够利用直观的AR图形界面来提供UX以防止在停车场/充电站中进入不可进入方向的AR显示装置及其动作方法。

为此，本发明的车辆的AR显示装置基于车辆的ADAS感测数据和/或停车场/充电站的管制数据，若车辆进入停车场/充电站，则可以提供向可停车区域或可充电区域的直观的AR路径。

另外，本发明的车辆的AR显示装置识别被选择的停车空间或充电器前方，以能够在车辆期望的停车空间或充电器前方准确地停车，通过实时改变AR图形界面，与车辆的当前行驶状态对应地依次提供用于停车的指引路径的前进行驶、后进行驶变更时间、后进行驶等。

具体而言，本发明的AR显示装置可以包括：摄像头，获取车辆的前方图像；通信模块，接收车辆的感测数据；处理器，通过驱动预设定的应用程序，以与所述前方图像重叠的方式渲染AR图形界面，在所述AR图形界面中结合了显示车辆的行驶状态的第一AR对象和显示对于车辆的行驶状况的指引的第二AR对象；以及显示器，根据所述渲染，显示重叠了所述AR图形界面的前方图像。另外，所述处理器响应于车辆进入到包括充电区域的停车区域，根据所述感测数据和所述停车区域的管制数据中的至少一种来搜索可停车区域，并变更显示所述AR图形界面，以向搜索到的所述可停车区域指引车辆。

根据实施例，所述处理器可以显示搜索到的所述可停车区域的位置，并根据选择了所显示的可停车区域，更新所述AR图形界面，以分离所述第二AR对象并使所述第二AR对象显示朝向被选择的所述停车区域的指引。

根据实施例，所述处理器可以渲染更新为，在搜索所述可停车区域期间，所述第二AR对象分离并以所述第一AR对象为基准旋转，响应于所述搜索的结束，显示所述第一AR对象和所述第二AR对象结合的AR图形界面。

根据实施例，所述处理器可以根据车辆的当前位置和行驶状态来识别车辆进入到不可行驶方向，并根据所述识别，渲染更新为，分离所述第二AR对象并使所述第二AR对象显示表示警告通知和可行驶方向的指引。

根据实施例，所述处理器可以显示更新AR图形界面，以在所述可行驶方向的周边区域中显示基于所述感测数据和所述管制数据来重新搜索到的可停车区域的位置。

根据实施例，所述处理器可以根据车辆靠近被选择的所述停车区域来确定可停车形态，并根据所述确定，渲染更新所述AR图形界面，以分离所述第二AR对象并使所述第二AR对象显示要行驶的停车指引线。

根据实施例，所述处理器可以根据确定的所述可停车形态，基于车辆的当前位置和被选择的停车区域的位置来计算预测的后进行驶的变更点，通过被分离的所述第二AR对象显示朝所述变更点的第一指引线，然后，根据与所述第一AR对象对应的车辆的当前位置靠近所述变更点，显示更新所述A R图形界面，以在车辆的后进方向上显示朝被选择的所述停车区域的第二指引线。

根据实施例，所述处理器响应于车辆进入到所述停车区域，根据所述感测数据和所述管制数据中的至少一种来搜索所述充电区域中的可充电区域，并可以以显示搜索到的可充电区域的位置的方式变更显示所述AR图形界面。

根据实施例，所述处理器渲染更新所述AR图形界面，以显示对于搜索到的所述可充电区域的充电相关信息，所述充电相关信息可以包括充电方式和充电费用中的至少一种。

根据实施例，所述处理器可以根据所述可充电区域的搜索失败，将所述AR图形界面渲染更新为，显示对于以车辆的当前位置为基准的周边充电区域的各个剩余充电时间信息。

根据实施例，所述处理器可以将所述AR图形界面更新为，所述第一AR对象以与车辆的行驶方向对应地旋转的方式显示，分离所述第二AR对象并使所述第二AR对象显示从所述第一AR对象朝搜索到的所述可停车区域的位置的指引轨迹。

根据实施例，对于搜索到的所述可停车区域的指引轨迹可以是基于车辆的ADAS感测数据和所述管制数据中的至少一种来生成的指引路径。

本发明的车辆用AR显示装置及其动作方法的效果如下。

根据本发明一些实施例的AR显示装置及其动作方法，即使没有额外的设定，也能够在被校准的前方图像中以AR对象同时指引车辆的当前位置和对于预测行驶状况的指引，从而能够为车辆提供更直观且真实的AR指引。

另外，根据本发明一些实施例的AR显示装置及其动作方法，在车辆进入停车场/充电站时能够以更直观的AR图形界面提供搜索、路径以及所需的信息。

另外，本发明的车辆的AR显示装置识别被选择的停车空间或充电器前方，以能够使车辆停到期望的停车空间或充电器前方，并通过实时改变AR图形界面来与车辆的当前行驶状态对应地依次提供用于停车的指引路径的前进行驶、后进行驶变更时间、后进行驶等。

另外，在进入车辆的停车场或充电站时，通过与相应地点的管制服务器进行通信或ADAR感测来以更直观的AR图形界面显示对于可停车/充电区域的路径指引、停车/充电相关信息、出车时路径指引，从而能够提供更直接且智能的停车/充电相关UX。

附图说明

图1是示出与本发明的实施例相关的车辆的示例的图。

图2是从多种角度观察与本发明的实施例相关的车辆的图。

图3和图4是示出与本发明的实施例相关的车辆的内部的图。

图5和图6是用于说明与本发明实施例的车辆的行驶相关的各种对象的图。

图7是用于说明与本发明的实施例相关的车辆和AR显示装置的框图。

图8是与本发明的实施例相关的AR显示装置的处理器相关的详细框图。

图9是用于说明本发明实施例的导航画面的图，图10是用于说明生成图9的导航画面的动作的图。

图11是用于说明导航画面显示本发明实施例的AR图形界面的方法的流程图。

图12A和图12B是本发明实施例的AR图形界面的示例，是用于说明第一AR对象和第二AR对象的分离和结合的图。

图13作为本发明实施例的AR显示装置的动作方法，是用于说明利用AR图形界面提供与车辆的停车/充电相关的UX显示的方法的流程图。

图14A、图14B、图14C、图14D是用于说明根据本发明的实施例，基于ADAS感测数据改变A R图形界面来指引可停车区域的概念图。

图15A、图15B、图15C、图15D是用于说明根据本发明的实施例，基于管制信息改变AR图形界面来指引可停车区域的概念图。

图16A和图16B是根据本发明的实施例，与根据停车形态来显示更新AR图形界面相关的概念图。

图17是用于说明根据本发明的实施例，基于管制信息通过AR图形界面来指引可充电区域和充电的流程图，图18A、图18B、图18C是用于说明图17的概念图。

具体实施方式

参考附图，现在将根据在此公开的示例性实施例详细地给出描述。为了参考附图简要描述，相同的或者等效的组件可以被设有相同或者相似的附图标记，并且其描述将不会被重复。通常，诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在此旨在仅有助于说明书的描述，并且后缀本身旨在没有给予任何特定的意义或者功能。在本公开中，为了简要，通常已经省略了在相关领域中对于普通技术人员来说公知的那些。附图被用于帮助容易地理解各种技术特征并且应理解附图没有限制在此提出的实施例。正因如此，本公开应被解释为延伸到除了在附图中特别陈述的之外的任何改变、等同物以及替代。

将要理解的是，尽管在此可以使用术语第一、第二等等以描述各种元件，但是这些元件不应被这些术语限制。这些术语通常仅被用于区分一个元件与另一个元件。

将要理解的是，当元件被称为“连接”另一元件时，元件能够与另一元件连接或者也可以存在中间元件。相反地，当元件被称为“直接地连接”另一元件时，不存在中间元件。

单数表示可以包括复数表示，除非根据上下文其表示明确不同的意义。在此使用诸如“包括”或者“具有”的术语并且应理解它们旨在指向在本说明书中公开的数个组件、功能或者步骤的存在，并且也理解可以同样地利用更多或者更少的组件、功能或者步骤。

本说明书中描述的车辆可以是包括汽车、摩托车的概念。以下，以车辆中汽车为主进行描述。

本说明书中描述的车辆可以是包括作为动力源具有引擎的内燃机车辆、作为动力源具有引擎和电马达的混动车辆以及作为动力源具有电马达的电车辆等的概念。

以下说明中，车辆的左侧是指车辆的行驶方向的左侧，车辆的右侧是指车辆的行驶方向的右侧。

本说明书中公开的“系统”可以包括服务器装置和云装置中的至少一个装置，但不限于此。例如，系统可以由一个以上的服务器装置构成。作为另一例，系统可以由一个以上的云装置构成。作为又一例，系统可以由服务器装置和云装置一起构成并动作。

本说明书中公开的“地图信息”或“地图数据”可以指，包括通过摄像头等视觉传感器拍摄的图像、二维地图信息、三维地图信息、数字孪生(Digital Twin)三维地图、高清地图(HD map)以及现实/虚拟空间上的地图等地图信息、地图数据、地图相关应用程序的含义。

本说明书中公开的“POI(Point of Interest，POI)信息”是基于所述地图信息或地图数据选择的关心地点，可以包括预先注册的POI信息(存储在云服务器的地图的POI)、用户设定POI信息(例如，我家、学校、公司等)、行驶相关POI信息(例如，目的地、经由地、加油站、服务区、停车场等)以及上位检索POI信息(例如，最近点击/访问次数较多的POI、热门地区等)。这种POI信息可以以车辆的当前位置为基准实时更新。

本说明书中公开的“前方图像”可以通过车辆或车辆周边的视觉传感器或AR显示装置的AR摄像头获取，例如可以包括在车辆的行驶期间通过视觉传感器(摄像头、图像用激光传感器等)获取或透射的图像、透射到车辆的挡风玻璃的现实图像本身/虚拟空间的图像。即，所述前方图像可以指，包括通过显示器输出的图像、通过激光传感器等透射的图像或通过车辆的挡风玻璃显示的现实图像本身的含义。

图1和图2是与本发明的实施例相关的车辆的外观，图3和图4是示出与本发明的实施例相关的车辆的内部的图。

图5至图6是示出与本发明的实施例的车辆的行驶相关的各种对象的图。

图7是用于说明与本发明的实施例相关的车辆的框图。

参照图1至图7，车辆100可以包括：轮子，由动力源旋转；以及转向输入装置510，用于调节车辆100的行进方向。

车辆100可以是自动驾驶车辆。车辆100可以基于用户输入切换到自动驾驶模式或手动模式。例如，车辆100可以基于通过用户接口装置(以下，称为“用户终端”)200接收的用户输入，从手动模式切换到自动驾驶模式或者从自动驾驶模式切换到手动模式。

车辆100可以基于行驶状况信息切换到自动驾驶模式或手动模式。行驶状况信息可以基于从对象检测装置300提供的对象信息来生成。例如，车辆100可以基于对象检测装置300中生成的行驶状况信息，从手动模式切换到自动驾驶模式或者从自动驾驶模式切换到手动模式。例如，车辆100可以基于通过通信装置400接收的行驶状况信息，从手动模式切换到自动驾驶模式或者从自动驾驶模式切换到手动模式。

车辆100可以基于从外部设备提供的信息、数据、信号，从手动模式切换到自动驾驶模式或者从自动驾驶模式切换到手动模式。

在车辆100以自动驾驶模式(autonomous mode)运行的情况下，自动驾驶车辆100可以基于运行系统700运行。例如，自动驾驶车辆100可以基于驾驶系统710、出车系统740、停车系统750中生成的信息、数据或信号运行。

在车辆100以手动模式运行的情况下，自动驾驶车辆100可以通过驾驶操作装置500接收用于驾驶的用户输入。基于通过驾驶操作装置500接收的用户输入，车辆100可以运行。

总长(overall length)指从车辆100的前部分到后部分的长度，总宽(width)指车辆100的宽度，总高(height)指从轮子下部至车顶的长度。在以下的说明中，总长方向L可以指以车辆100的总长测量为基准的方向，总宽方向W可以指以车辆100的总宽测量为基准的方向，总高方向H可以指以车辆100的总高测量为基准的方向。

如图7所示，车辆100可以包括用户接口装置(以下，可以命名为“用户终端”)200、对象检测装置300、通信装置400、驾驶操作装置500、车辆驱动装置600、运行系统700、导航系统770、感测部120、车辆接口部130、存储器140、控制部170以及供电部190。

根据实施例，车辆100除了本说明书中说明的构成要素之外还可以包括其他构成要素，或者可以不包括说明的构成要素中的一部分。

用户接口装置200是用于在车辆100和用户之间通信的装置。用户接口装置200接收用户输入，可以将车辆100中生成的信息提供给用户。车辆100可以通过用户接口装置(以下，可以命名为“用户终端”)200实现UI(User Interfaces：用户接口)或UX(UserExperience：用户体验)。

用户接口装置200可以包括输入部210、内部摄像头220、生物体感测部230、输出部250以及处理器270。根据实施例，用户接口装置200除了说明的构成要素之外还可以包括其他构成要素，或者可以不包括说明的构成要素中的一部分。

输入部210用于从用户接收信息，输入部210中收集的数据由处理器270分析，可以被处理成用户的控制命令。

输入部210可以配置在车辆的内部。例如，输入部210可以配置在方向盘(steeringwheel)的一区域、仪表盘(instrument panel)的一区域、座椅(seat)的一区域、各个柱(pillar)的一区域、门(door)的一区域、中控台(center console)的一区域、顶板(headlining)的一区域、遮阳板(sun visor)的一区域、挡风玻璃(windshield)的一区域或窗户(window)的一区域等。

输入部210可以包括语音输入部211、手势输入部212、触摸输入部213以及机械式输入部214。

语音输入部211可以将用户的语音输入转换成电信号。被转换的电信号可以提供给处理器270或控制部170。语音输入部211可以包括一个以上的麦克风。

手势输入部212可以将用户的手势输入转换成电信号。被转换的电信号可以提供给处理器270或控制部170。

手势输入部212可以包括用于感测用户的手势输入的红外线传感器和图像传感器中的至少一种。根据实施例，手势输入部212可以感测用户的三维手势输入。为此，手势输入部212可以包括输出复数个红外线光的光输出部或复数个图像传感器。

手势输入部212可以通过TOF(Time of Flight：飞行时间)方式、结构光(Structured light)方式或视差(Disparity)方式感测用户的三维手势输入。

触摸输入部213可以将用户的触摸输入转换成电信号。被转换的电信号可以提供给处理器270或控制部170。

触摸输入部213可以包括用于感测用户的触摸输入的触摸传感器。根据实施例，触摸输入部213与显示部251一体形成，从而可以实现触摸屏。这种触摸屏可以一起提供车辆100和用户之间的输入接口和输出接口。

机械式输入部214可以包括按钮、圆顶开关(dome switch)、滚轮和滚轮开关中的至少一种。由机械式输入部214生成的电信号可以提供给处理器270或控制部170。机械式输入部214可以配置在方向盘、中央仪表盘、中控台、驾驶舱模块、门等。

内部摄像头220可以获取车辆内部图像。处理器270可以基于车辆内部图像感测用户的状态。处理器270可以从车辆内部图像中获取用户的视线信息。处理器270可以从车辆内部图像中感测用户的手势。

生物体感测部230可以获取用户的生物体信息。生物体感测部230包括能够获取用户的生物体信息的传感器，可以利用传感器来获取用户的指纹信息、心率信息等。生物体信息可以用于用户认证。

输出部250用于产生与视觉、听觉或触觉等相关的输出。输出部250可以包括显示部251、声音输出部252以及触觉输出部253中的至少一种。

显示部251可以显示与各种信息对应的图形对象。显示部251可以包括液晶显示器(liquid cryst al display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFTLCD)、有机发光二极管(organic light-emitting diode，OLED)、柔性显示器(flexible display)、三维显示器(3D display)、电子墨水显示器(e-ink display)中的至少一种。

显示部251与触摸输入部213形成层结构或一体形成，从而可以实现触摸屏。

显示部251可以由HUD(Head Up Display)实现。在显示部251由HUD实现的情况下，显示部251具有透射模块，可以通过透射到挡风玻璃或窗户的图像输出信息。

显示部251可以包括透明显示器。透明显示器可以附着于挡风玻璃或窗户。透明显示器具有规定的透明度，可以显示规定的画面。为了具有透明度，透明显示器可以包括透明TFEL(Thin Film Elec roluminescent：薄膜电致发光材料)、透明OLED(Organic Light-Emitting Diode)、透明LCD(Liq uid Crystal Display)、透射型透明显示器、透明LED(Light Emitting Diode)显示器中的至少一种。透明显示器的透明度可以调节。

另一方面，用户接口装置200可以包括复数个显示部251a至251g。

显示部251可以配置在方向盘的一区域、仪表盘的一区域521a、251b、251e、座椅的一区域251d、各个柱的一区域251f、门的一区域251g、中控台的一区域、顶板的一区域、遮阳板的一区域，或者可以在挡风玻璃的一区域251c、窗户的一区域251h实现。

声音输出部252将从处理器270或控制部170提供的电信号转换为音频信号并输出。为此，声音输出部252可以包括一个以上的扬声器。

触觉输出部253产生触觉输出。例如，触觉输出部253可以通过使方向盘、安全带、座椅110FL、110FR、110RL、110RR振动来能够使用户识别输出。

处理器(以下，可以命名为“控制部”)270可以控制用户接口装置200的各个单元的整体动作。根据实施例，用户接口装置200可以包括复数个处理器270，也可以不包括处理器270。

在用户接口装置200中不包括处理器270的情况下，用户接口装置200可以根据车辆100内其他装置的处理器或控制部170的控制来动作。

另一方面，用户接口装置200可以被命名为车辆用显示装置。用户接口装置200可以根据控制部170的控制进行动作。

对象检测装置300是用于检测位于车辆100外部的对象的装置。对象可以是与车辆100的运行相关的各种物体。参照图5至图6，对象O可以包括车道OB10、其他车辆OB11、行人OB12、两轮车OB13、交通信号OB14、OB15、光、道路、结构物、减速带、地形物、动物等。

车道(Lane)OB10可以是行驶车道、行驶车道的旁车道、相向的车辆行驶的车道。车道(Lane)OB10可以是包括形成车道(Lane)的左右侧线(Line)的概念。

其他车辆OB11可以是在车辆100的周边行驶中的车辆。其他车辆可以是位于距车辆100规定距离以内的车辆。例如，其他车辆OB11可以是比车辆100先行或后行的车辆。

行人OB12可以是位于车辆100的周边的人。行人OB12可以是位于距车辆100规定距离以内的人。例如，行人OB12可以是位于人行道或车道上的人。

两轮车OB12可以指，位于车辆100的周边，能够乘坐的利用两个轮子移动的车。两轮车OB12可以是位于距车辆100规定距离以内的具有两个轮子的车。例如，两轮车OB13可以是位于人行道或车道上的摩托车或自行车。

交通信号可以包括交通信号灯OB15、交通指示板OB14、在道路面绘制的图案或文字。

光可以是从设置于其他车辆的灯生成的光。光可以是从路灯生成的光。光可以是太阳光。

道路可以包括道路面、弯道、诸如上坡、下坡的倾斜等。

结构物可以是位于道路周边，固定于地面的物体。例如，结构物可以包括路灯、路边树、建筑物、电线杆、信号灯、桥。

地形物可以包括山、山坡等。

另一方面，对象可以分类为移动对象和固定对象。例如，移动对象可以是包括其他车辆、行人的概念。例如，固定对象可以是包括交通信号、道路、结构物的概念。

对象检测装置300可以包括摄像头310、雷达320、激光雷达330、超声波传感器340、红外线传感器350以及处理器370。

根据实施例，对象检测装置300除了说明的构成要素之外还可以包括其他构成要素，或者可以不包括说明的构成要素中的一部分。

为了获取车辆外部图像，摄像头310可以位于车辆的外部的适当的位置。摄像头310可以是单摄像头、立体摄像头310a、AVM(Around View Monitoring：环视监控)摄像头310b或360度摄像头。

例如，为了获取车辆前方的图像，摄像头310可以配置在车辆的室内靠近前挡风玻璃的位置。或者，摄像头310可以配置在前保险杠或散热器格栅周边。

例如，为了获取车辆后方的图像，摄像头310可以配置在车辆的室内靠近后玻璃的位置。或者，摄像头310可以配置在后保险杠、后备箱或尾门周边。

例如，为了获取车辆侧方的图像，摄像头310可以配置在车辆的室内靠近至少一个侧窗户的位置。或者，摄像头310可以配置在后视镜、挡泥板或门周边。

摄像头310可以将获取的图像提供给处理器370。

雷达320可以包括电磁波发送部、接收部。根据电波发射原理，雷达320可以以脉冲雷达(Pulse Radar)方式或连续波雷达(Continuous Wave Radar)方式实现。在连续波雷达方式中，雷达320可以根据信号波形以FMCW(Frequency Modulated Continuous Wave：调频连续波)方式或FSK(Freq uency Shift Keyong：频移键控)方式实现。

雷达320可以以电磁波为介质，基于TOF(Time of Flight)方式或相移(phase-shift)方式检测对象，可以检测被检测的对象的位置、与被检测的对象之间的距离以及相对速度。

为了感测位于车辆的前方、后方或侧方的对象，雷达320可以配置在车辆的外部的适当的位置。

激光雷达330可以包括激光发送部、接收部。激光雷达330可以以TOF(Time ofFlight)方式或相移(phase-shift)方式实现。

激光雷达330可以被实现为驱动式或非驱动式。

在被实现为驱动式的情况下，激光雷达330由马达旋转，可以检测车辆100周边的对象。

在被实现为非驱动式的情况下，激光雷达330可以利用光转向，检测以车辆100为基准位于规定范围内的对象。车辆100可以包括复数个非驱动式激光雷达330。

激光雷达330可以以激光为光介质，基于TOF(Time of Flight)方式或相移(phase-shift)方式检测对象，可以检测被检测的对象的位置、与被检测的对象之间的距离以及相对速度。

为了感测位于车辆的前方、后方或侧方的对象，激光雷达330可以配置在车辆的外部的适当的位置。

超声波传感器340可以包括超声波发送部、接收部。超声波传感器340基于超声波检测对象，可以检测被检测的对象的位置、与被检测的对象之间的距离以及相对速度。

为了感测位于车辆的前方、后方或侧方的对象，超声波传感器340可以配置在车辆的外部的适当的位置。

红外线传感器350可以包括红外线发送部、接收部。红外线传感器350基于红外线光检测对象，可以检测被检测的对象的位置、与被检测的对象之间的距离以及相对速度。

为了感测位于车辆的前方、后方或侧方的对象，红外线传感器350可以配置在车辆的外部的适当的位置。

处理器370可以控制对象检测装置300的各个单元的整体动作。

处理器370可以基于获取的图像来检测对象并追踪。处理器370可以通过图像处理算法执行与对象之间的距离计算、与对象之间的相对速度计算等动作。

处理器370可以基于发送的电磁波被对象反射而返回的反射电磁波来检测对象并追踪。处理器370可以基于电磁波来执行与对象之间的距离计算、与对象之间的相对速度计算等动作。

处理器370可以基于发送的激光被对象反射而返回的反射激光来检测对象并追踪。处理器370可以基于激光来执行与对象之间的距离计算、与对象之间的相对速度计算等动作。

处理器370可以基于发送的超声波被对象反射而返回的反射超声波来检测对象并追踪。处理器370可以基于超声波来执行与对象之间的距离计算、与对象之间的相对速度计算等动作。

处理器370可以基于发送的红外线光被对象反射而返回的反射红外线光来检测对象并追踪。处理器370可以基于红外线光来执行与对象之间的距离计算、与对象之间的相对速度计算等动作。

根据实施例，对象检测装置300可以包括复数个处理器370或者也可以不包括处理器370。例如，摄像头310、雷达320、激光雷达330、超声波传感器340以及红外线传感器350可以分别包括处理器。

在对象检测装置300不包括处理器370的情况下，对象检测装置300可以根据车辆100内装置的处理器或控制部170的控制动作。

对象检测装置300可以根据控制部170的控制动作。

通信装置400是用于与外部设备执行通信的装置。在此，外部设备可以是其他车辆、移动终端或服务器。

为了执行通信，通信装置400可以包括发送天线、接收天线、能够实现各种通信协议的RF(Rad io Frequency：射频)电路以及RF元件中的至少一种。

通信装置400可以包括短距离通信部410、位置信息部420、V2X通信部430、光通信部440、广播收发部450以及处理器470。

根据实施例，通信装置400除了说明的构成要素之外还可以包括其他构成要素，或者可以不包括说明的构成要素中的一部分。

短距离通信部410是用于短距离通信(Short range communication)的单元。短距离通信部410可以利用蓝牙(Bluetooth^TM)、RFID(Radio Frequency Identification：射频识别)、红外线通信(Infrared Data Association；IrDA)、UWB(Ultra Wideband：超宽带)、ZigBee、NFC(Near Field Communication：近场通信)、Wi-Fi(Wireless-Fidelity：无线保真)、Wi-Fi Direct、Wireless USB(Wireless Universal Serial Bus：无线通用串行总线)技术中的至少一种来支持短距离通信。

短距离通信部410通过形成短距离无线通信网(Wireless Area Networks)，可以执行车辆100和至少一个外部设备之间的短距离通信。

位置信息部420是用于获取车辆100的位置信息的单元。例如，位置信息部420可以包括GPS(Global Positioning System：全球定位系统)模块或DGPS(Differential GlobalPositioning System：差分全球定位系统)模块。

V2X通信部430是用于与服务器(V2I：Vehicle to Infra)、其他车辆(V2V：Vehicleto Vehicle)或行人(V2P：Vehicleto Pedestrian)之间执行无线通信的单元。V2X通信部430可以包括能够实现与基础设施之间的通信V2I、车辆之间的通信V2V以及与行人之间的通信V2P协议的RF电路。

光通信部440是用于将光作为介质与外部设备执行通信的单元。光通信部440可以包括：光发送部，将电信号转换成光信号并发送到外部；以及光接收部，将接收的光信号转换成电信号。

根据实施例，光发送部可以与包括在车辆100的灯一体形成。

广播收发部450是用于通过广播频道从外部的广播管理服务器接收广播信号或者向广播管理服务器发送广播信号的单元。广播频道可以包括卫星频道、地上波频道。广播信号可以包括TV广播信号、无线广播信号以及数据广播信号。

处理器470可以控制通信装置400的各个单元的整体动作。

根据实施例，通信装置400可以包括复数个处理器470，或者也可以不包括处理器470。

在通信装置400中不包括处理器470的情况下，通信装置400可以根据车辆100内其他装置的处理器或控制部170的控制进行动作。

另一方面，通信装置400可以与用户接口装置200一起实现车辆用显示装置。在这种情况下，车辆用显示装置可以被命名为远程信息处理(telematics)装置或AVN(AudioVideo Navigation：音频视频导航)装置。

通信装置400可以根据控制部170的控制进行动作。

驾驶操作装置500是接收用于驾驶的用户输入的装置。

在手动模式的情况下，车辆100可以基于由驾驶操作装置500提供的信号运行。

驾驶操作装置500可以包括转向输入装置510、加速输入装置530以及制动输入装置570。

转向输入装置510可以从用户接收车辆100的行进方向输入。转向输入装置510优选形成为轮形态以能够利用旋转进行转向输入。根据实施例，转向输入装置也可以形成为触摸屏、触摸板或按钮形态。

加速输入装置530可以从用户接收用于车辆100的加速的输入。制动输入装置570可以从用户接收用于车辆100的减速的输入。加速输入装置530和制动输入装置570优选形成为踏板形态。根据实施例，加速输入装置或制动输入装置也可以形成为触摸屏、触摸板或按钮形态。

驾驶操作装置500可以根据控制部170的控制进行动作。

车辆驱动装置600是电控制车辆100内各种装置的驱动的装置。

车辆驱动装置600可以包括动力传动驱动部610、底盘驱动部620、门/窗户驱动部630、安全装置驱动部640、灯驱动部650以及空调驱动部660。

根据实施例，车辆驱动装置600除了说明的构成要素之外还可以包括其他构成要素，或者可以不包括说明的构成要素中的一部分。

另一方面，车辆驱动装置600可以包括处理器。车辆驱动装置600的各个单元中的每一个可以分别包括处理器。

动力传动驱动部610可以控制动力传动装置的动作。

动力传动驱动部610可以包括动力源驱动部611和变速器驱动部612。

动力源驱动部611可以对车辆100的动力源执行控制。

例如，在基于化石燃料的引擎为动力源的情况下，动力源驱动部610可以对引擎执行电子式控制。由此，可以控制引擎的输出扭矩等。动力源驱动部611可以根据控制部170的控制来调节引擎输出扭矩。

例如，在基于电能的马达为动力源的情况下，动力源驱动部610可以对马达执行控制。动力源驱动部610可以根据控制部170的控制调节马达的转速、扭矩等。

变速器驱动部612可以对变速器执行控制。变速器驱动部612可以调节变速器的状态。变速器驱动部612可以将变速器的状态调节到前进D、后进R、空挡N或停车P。

另一方面，在引擎为动力源的情况下，变速器驱动部612可以在前进D状态下调节齿轮的啮合状态。

底盘驱动部620可以控制底盘装置的动作。底盘驱动部620可以包括转向驱动部621、制动驱动部622以及悬架驱动部623。

转向驱动部621可以对车辆100内的转向装置(steering apparatus)执行电子式控制。转向驱动部621可以改变车辆的行进方向。

制动驱动部622可以对车辆100内的制动装置(brake apparatus)执行电子式控制。例如，可以通过控制配置于轮子的制动器的动作来降低车辆100的速度。

另一方面，制动驱动部622可以分别控制复数个制动器中的每一个制动器。制动驱动部622可以彼此不同地控制施加在复数个轮子的制动力。

悬架驱动部623可以对车辆100内的悬架装置(suspension apparatus)执行电子式控制。例如，在道路面弯曲的情况下，悬架驱动部623可以通过控制悬架装置来降低车辆100的振动。另一方面，悬架驱动部623可以分别控制复数个悬架中的每一个悬架。

门/窗户驱动部630可以对车辆100内的门装置(door apparatus)或窗户装置(window apparatus)执行电子式控制。

门/窗户驱动部630可以包括门驱动部631和窗户驱动部632。

门驱动部631可以对门装置执行控制。门驱动部631可以控制包括在车辆100的复数个门的开放、关闭。门驱动部631可以控制后备箱(trunk)或尾门(tail gate)的开放或关闭。门驱动部631可以控制天窗(sunroof)的开放或关闭。

窗户驱动部632可以对窗户装置(window apparatus)执行电子式控制。可以控制包括在车辆100的复数个窗户的开放或关闭。

安全装置驱动部640可以对车辆100内的各种安全装置(safety apparatus)执行电子式控制。

安全装置驱动部640可以包括气囊驱动部641、安全带驱动部642以及行人保护装置驱动部643。

气囊驱动部641可以对车辆100内的气囊装置(airbag apparatus)执行电子式控制。例如，气囊驱动部641可以控制为，在感测到危险时展开气囊。

安全带驱动部642可以对车辆100内的安全带装置(seatbelt appartus)执行电子式控制。例如，安全带驱动部642可以控制为，在感测到危险时利用安全带将乘客固定到座椅110FL、110FR、110R L、110RR。

行人保护装置驱动部643可以对引擎盖升降器和行人气囊执行电子式控制。例如，行人保护装置驱动部643可以控制为，在感测到与行人之间的碰撞时引擎盖升降器上升以及展开行人气囊。

灯驱动部650可以对车辆100内的各种灯装置(lamp apparatus)执行电子式控制。

空调驱动部660可以对车辆100内的空调装置(air conditioner)执行电子式控制。例如，在车辆内部的温度较高的情况下，空调驱动部660可以控制为，通过使空调装置动作来使冷气供应到车辆内部。

车辆驱动装置600可以包括处理器。车辆驱动装置600的各个单元中的每一个可以分别包括处理器。

车辆驱动装置600可以根据控制部170的控制进行动作。

运行系统700是控制车辆100的各种运行的系统。运行系统700可以在自动驾驶模式下动作。

运行系统700可以包括驾驶系统710、出车系统740以及停车系统750。

根据实施例，运行系统700除了说明的构成要素之外还可以包括其他构成要素，或者可以不包括说明的构成要素中的一部分。

另一方面，运行系统700可以包括处理器。运行系统700的各个单元中的每一个可以分别包括处理器。

另一方面，根据实施例，在运行系统700由软件实现的情况下，也可以是控制部170的下位概念。

另一方面，根据实施例，运行系统700可以是包括用户接口装置200、对象检测装置300、通信装置400、车辆驱动装置600以及控制部170中的至少一个的概念。

驾驶系统710可以执行车辆100的行驶。

驾驶系统710可以从导航系统770接收导航信息并向车辆驱动装置600提供控制信号，从而可以执行车辆100的行驶。驾驶系统710可以从对象检测装置300接收对象信息并向车辆驱动装置600提供控制信号，从而可以执行车辆100的行驶。驾驶系统710可以通过通信装置400从外部设备接收信号并向车辆驱动装置600提供控制信号，从而可以执行车辆100的行驶。

出车系统740可以执行车辆100的出车。

出车系统740可以从导航系统770接收导航信息并向车辆驱动装置600提供控制信号，从而可以执行车辆100的出车。出车系统740可以从对象检测装置300接收对象信息并向车辆驱动装置600提供控制信号，从而可以执行车辆100的出车。出车系统740可以通过通信装置400从外部设备接收信号并向车辆驱动装置600提供控制信号，从而可以执行车辆100的出车。

停车系统750可以执行车辆100的停车。

停车系统750可以从导航系统770接收导航信息并向车辆驱动装置600提供控制信号，从而可以执行车辆100的停车。停车系统750可以从对象检测装置300接收对象信息并向车辆驱动装置600提供控制信号，从而可以执行车辆100的停车。停车系统750可以通过通信装置400从外部设备接收信号并向车辆驱动装置600提供控制信号，从而可以执行车辆100的停车。

导航系统770可以提供导航信息。导航信息可以包括地图(map)信息、设定的目的地信息、基于所述目的地设定的路径信息、路径上的各种对象的信息、车道信息以及车辆的当前位置信息中的至少一种。

导航系统770可以包括存储器、处理器。存储器可以存储导航信息。处理器可以控制导航系统770的动作。

根据实施例，导航系统770可以通过通信装置400从外部设备接收信息，并可以更新预存储的信息。

根据实施例，导航系统770也可以分类为用户接口装置200的下位构成要素。

感测部120可以感测车辆的状态。感测部120可以包括姿势传感器(例如，偏航传感器(yaw se nsor)、侧倾传感器(roll sensor)、俯仰传感器(pitch sensor))、碰撞传感器、轮子传感器(whe el sensor)、速度传感器、倾斜传感器、重量感测传感器、航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺传感器(gyro sensor)、位置模块(position module)、车辆前进/后进传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、照度传感器、加速踏板位置传感器、制动踏板位置传感器等。

感测部120可以获取车辆姿势信息、车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后进信息、电池信息、燃料信息、轮胎信息、车辆灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度、车辆外部照度、施加到加速踏板的压力、施加到制动踏板的压力等的感测信号。

除此之外，感测部120还可以包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、油门位置传感器(TPS)、TDC传感器、曲柄角传感器(CAS)等。

车辆接口部130可以执行与连接于车辆100的各种种类的外部设备之间的通道作用。例如，车辆接口部130可以具有能够与移动终端连接的端口，通过所述端口可以与移动终端连接。在这种情况下，车辆接口部130可以与移动终端交换数据。

另一方面，车辆接口部130可以执行向连接的移动终端供应电能的通道作用。在移动终端与车辆接口部130电连接的情况下，根据控制部170的控制，车辆接口部130可以将从供电部190供应的电能提供给移动终端。

存储器140与控制部170电连接。存储器140可以存储单元的基本数据、用于单元的动作控制的控制数据、输入输出的数据。在硬件上，存储器140可以是诸如ROM、RAM、EPROM、闪存驱动器、硬盘驱动器的各种存储设备。存储器140可以存储用于控制部170的处理或控制的程序等用于车辆100整体动作的各种数据。

根据实施例，存储器140可以与控制部170一体形成，或者可以由控制部170的下位构成要素实现。

控制部170可以控制车辆100内的各个单元的整体动作。控制部170可以命名为ECU(Electroni c Contol Unit：电控单元)。

供电部190可以根据控制部170的控制供应各个构成要素的动作所需的电源。尤其，供电部190可以从车辆内部的电池等接收电源。

车辆100中包含的一个以上的处理器和控制部170可以利用ASICs(applicationspecific integrated circuits：应用专用集成电路)、DSPs(digital signalprocessors：数字信号处理器)、DSPDs(digital signal processing devices：数字信号处理装置)、PLDs(programmable logic devices：可编程逻辑装置)、FPGAs(fieldprogrammable gate arrays：现场可编程门阵列)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(microprocessors)以及用于执行其他功能的电单元中的至少一种实现。

另一方面，本发明的AR显示装置800可以基于车辆100的导航信息和从AR摄像头接收的数据，在车辆的前方图像(或者车辆的挡风玻璃)上实时AR整合显示表示车辆的行驶状态的AR图形界面。

为此，AR显示装置800可以包括：通信模块810，用于与其他装置/系统、服务器以及车辆通信；处理器820，控制AR显示装置800的整体动作；以及显示器830，用于显示包括渲染了AR图形界面的前方图像的导航画面。

本说明书中公开的“前方图像”可以包括通过摄像头传感器(或者包括包含这种功能的智能玻璃)拍摄的图像以及通过摄像头传感器在LCD画面反射的图像以及挡风玻璃/仪表盘上所看到的实际空间的图像和/或数字孪生三维图像等。

本说明书中公开的“包括前方图像(或行驶图像)的导航画面”可以指，在基于当前位置和导航信息生成的导航画面层叠以通过车辆的摄像头拍摄的前方图像、在LCD画面反射的图像、通过挡风玻璃等看到的实际空间的图像和/或数字孪生三维图像中的一个形态实现的前方图像的导航画面。

本说明书中公开的“停车区域”用作包括充电器的充电站以及包括停车空间的停车场。

导航画面可以是应用AR技术的AR导航画面。

本说明书中公开的“AR图形界面”是应用增强现实(AR)技术的图形用户界面，实时AR整合到车辆的前方图像。

本说明书中AR图形界面可以是表示车辆的当前行驶状态的AR图形图像。另外，本说明书中公开的AR图形界面可以是在表示车辆的当前行驶状态的同时，还表示对于车辆的行驶状况的指引的A R图形图像。此时，对于车辆的行驶状况的指引比对应的行驶状况提前规定距离和/或规定时间显示在车辆前方图像。另外，本说明书中公开的AR图形界面可以由根据车辆的当前行驶状态和/或车辆的行驶状况变动或移动的AR图形图像实现。

参照图7，本发明实施例的AR显示装置800可以由车辆100的电气件或系统的一部分实现，或者可以由单独的独立装置或系统实现。或者，所述AR显示装置800也可以由车辆100的用户终端等处理器动作的指令构成的程序形式实现。

AR显示装置800可以与车辆100、其他装置和/或服务器通信，可以接收通过AR摄像头获取的车辆的前方图像以及通过设置于车辆的传感器(例如，陀螺仪传感器、加速度传感器、重力传感器、地磁传感器、温度传感器等)获取的感测数据。

AR显示装置800可以驱动预设定的应用程序，例如AR导航应用程序。

AR显示装置800基于地图数据(例如，路线、POI等信息)、感测数据、由摄像头获取的前方图像来渲染表示车辆的当前行驶状态的AR图形界面，并可以实时提供给导航应用程序的AR GUI面和AR摄像头面。

AR显示装置800基于地图数据(例如，路线、POI等信息)、感测数据、由摄像头获取的前方图像来将从所述AR图形界面分离的AR对象渲染为表示车辆的行驶状况的指引，并可以实时提供给导航应用程序的AR GUI面和AR摄像头面。

此时，被分离的AR对象可以被命名为“第二AR对象”，在第二AR对象被分离之后所述AR图形界面的剩余部分可以被命名为“第一AR对象”。即，所述AR图形界面可以包括显示车辆的当前行驶状态的第一AR对象和显示车辆的行驶状况的指引的第二AR对象。

处理器820在导航画面上以从所述第一AR对象选择性地分离所述第二AR对象或者将所述第二AR对象结合到所述第一AR对象的方式渲染所述AR图形界面。这种分离或结合可以替代地执行。

本说明书中“结合的状态”是指，第一AR对象和第二AR对象在画面上彼此连接或者第一AR对象和第二AR对象比“分离的状态”在画面上相对靠近的状态。

类似地，在本说明书中“第一AR对象和第二AR对象彼此结合”表达的含义包括第一AR对象和第二AR对象彼此连接以及第一AR对象和第二AR对象相对靠近。与“从第一AR对象分离第二A R对象”的情况相比，“第一AR对象和第二AR对象彼此结合”的间隔更窄。

在抬头显示装置中，本发明的显示器可以指，PGU(Picture Generation Unit)内的显示器或屏幕、反射从PGU提供的图像的镜子或反射板，或者图像不同的组合器(combiner)。

由AR显示装置800的处理器820执行的上述的功能可以由位于AR显示装置外部的一个以上的处理器执行。

另外，根据图8的实施例，AR显示装置800的处理器820包括导航引擎910、AR引擎920以及导航应用程序930。或者，处理器820可以仅包括AR引擎920。

即，可以仅AR引擎920由处理器820执行，导航引擎910和导航应用程序930可以由AR显示装置800外部的一个以上的处理器执行。

另外，可以由AR显示装置800外部的一个以上的处理器执行。在这种替代场景中，AR显示装置800可以仅执行接收被渲染的图像，并显示在显示器830。

在必要的情况下，AR显示装置800可以转换。渲染的图像可以被加密以适合AR显示装置800的形状因素，或者被加密的渲染的图像可以被解密。

以下，图8是与前述的本发明实施例的AR显示装置800的处理器820相关的详细框图。

图8所示的概念图可以包括与由AR显示装置800的处理器820执行的动作相关的构成以及为此使用的信息、数据以及程序。在这种方面，图8所示的框图也可以用作由通过处理器820提供的服务器和/或处理器820执行/实现的系统。以下，为了便于说明，称为处理器820。

图9是用于说明本发明实施例的导航画面的图，图10是用于说明生成图9的导航画面的动作的图。

参照图8，处理器820可以包括导航引擎(Navigation Engine)910、AR引擎(Augmented Reality Engine)920、导航应用程序(Navigation Application)930、传感器和地图940，或者与它们联动而使其驱动。

导航引擎910可以从车辆等接收地图数据和GPS数据。导航引擎910可以基于地图数据和GPS数据来执行地图匹配。导航引擎910可以根据地图匹配来执行路线规划(routeplanning)。导航引擎910可以显示地图，执行路线引导(route guidance)。导航引擎910可以将路线引导信息提供给导航应用程序930。

导航引擎910可以包括导航控制器911。导航控制器911可以接收地图匹配数据、地图显示数据、路线引导数据。

导航控制器911可以基于接收到的地图匹配数据、地图显示数据、路线引导数据来将路线数据、POI(point of interest)数据等提供给AR引擎920。

导航控制器911可以向导航应用程序930提供路线引导数据和地图显示帧等。

AR引擎920可以包括适配器(adaptor)921和渲染器(renderer)922。适配器921可以接收从摄像头(例如，AR摄像头)获取的前方图像数据、从车辆的传感器例如陀螺仪传感器(Gyroscope)、加速度传感器(ccelorometer)、重力传感器(Gravity)、地磁传感器(Magnetometer)和/或温度传感器(Thermometer)获取的感测数据。

AR引擎920可以接收从ADAS传感器(例如，摄像头(Camera)、雷达(Radar)、激光雷达(Lidar)、超声波(Ultrasonic)、声纳(Sonar))获取的感测数据。例如，作为感测数据，可以通过ADAS传感器获取与行驶相关的感测数据，如行驶方向和速度、与车道之间的距离等。

AR引擎920可以接收高清地图数据和与其相关的程序。在此，高清地图(HD Map)是用于事先向自动驾驶车辆提供详细的道路和周边地形的信息的地图，具有误差范围为约10cm以内的准确度，以三维数字存储道路中心线、警戒线等车道单位的信息以及信号灯、指示板、缘石、路面标志、各种结构物等信息。

AR引擎920可以接收从TCU(Transmission Control Unit：传输控制单元)(例如，第三方服务、V2X、ITS通信等)获取的感测数据、接收数据、控制数据以及与其相关的程序。

传感器和地图940的TCU(Transmission Control Unit)是安装于车辆的通信控制装置，例如，可以与作为为了自动驾驶车辆与位于道路的各种要素通信的通信技术的V2X(vehicle to everything：车辆到万物)(例如，能够通过V2V和V2I收集的状况数据)、作为协作智能交通系统技术的ITS(Intelligent Transport Systems：智能交通系统)或C-ITS(Cooperative Intelligent Transport Systems：协同智能交通系统)进行通信。

AR引擎920可以基于从校准因子数据库(calibration factor DB)提供的数据执行对前方图像的校准。AR引擎920可以基于前方图像数据和路线数据来执行对象检测。AR引擎920可以基于检测到的对象来执行预测和插补(Prediction&Interpolation)。

渲染器922可以基于路线数据、POI数据、预测和插补结果数据来执行渲染。渲染器922可以向导航应用程序930提供AR GUI(graphical user interface)帧和AR摄像头帧。

导航应用程序930可以生成AR导航画面。

参照图9，AR导航画面900可以包括导航地图面(navigation map surface)901、AR摄像头面902、AR GUI面903以及导航GUI面904。

导航应用程序930可以基于从导航控制器911接收的地图显示帧来生成导航地图面901。导航应用程序930可以基于从渲染器922接收的AR摄像头帧来生成AR摄像头面902。导航应用程序930可以基于从渲染器922接收的AR GUI帧来生成AR GUI面903。导航应用程序930可以基于从导航控制器911接收的路线引导数据来生成导航GUI面904。

一起参照图8和图10，若导航应用程序930被驱动，则导航应用程序930中可以生成导航地图面901、AR摄像头面902、AR GUI面903以及导航GUI面904。

导航应用程序930可以将AR摄像头面902的参数和AR GUI面903的参数提供给AR引擎920。

为了从摄像头服务器1001接收前方图像数据，AR引擎920可以注册回拨(callback)函数。摄像头服务器1001可以理解为例如包括在AR显示装置800的存储器的概念。

AR引擎920可以接收前方图像数据并裁剪(cropping)。裁剪(cropping)可以包括调整图像的尺寸或位置、编辑部分区域以及调整透明度等。导航应用程序930可以在AR摄像头面902显示被裁剪的前方图像。AR引擎920可以实时执行AR整合(AR Merging)。另外，导航应用程序930可以基于被裁剪的前方图像在AR GUI面903显示AR GUI。

图11是用于说明在导航画面显示本发明实施例的AR图形界面的方法1100的流程图。

除非另有说明，图11的各个过程可以由处理器(或者AR引擎)执行。另外，图11的过程可以包括上述的参照图8至图10说明的基于处理器820的导航引擎910、AR引擎920、导航应用程序930的动作来执行，或者其动作中的一部分可以在图11的过程之前或者之后执行。

参照图11，方法从驱动预设定的应用程序开始(S10)。

所述预设定的应用程序预先设置在AR显示装置800或者可以根据由与其联动的其他装置/服务器执行例如车辆的AR模式而被驱动。例如，所述预设定的应用程序可以是车辆行驶时AR模式中执行的导航应用程序。

例如，导航应用程序从导航引擎接收基于地图数据和GPS数据的路线引导和地图显示帧，并分别生成导航GUI渲染和地图显示面。

另外，例如，导航应用程序从AR引擎接收AR GUI帧并生成AR GUI面，接收AR摄像头帧并生成AR摄像头面。导航应用程序将生成的地图显示面、AR摄像头面以及AR GUI面渲染在导航G UI面。

处理器基于从服务器、存储器或车辆获取的地图(map)数据以及车辆的感测数据来生成AR图形界面，并以与车辆的前方图像重叠的方式渲染，所述AR图形界面包括显示车辆的行驶状态的第一AR对象和显示对于车辆的行驶状况的指引的第二AR对象(S20)。

处理器可以将实时生成的AR图形界面实时整合(AR Merging)到车辆的前方图像。

处理器以第一AR对象和第二AR对象结合的状态显示(渲染)AR图形界面。若满足预设定的条件，则处理器以第二AR对象与AR图形界面分离的状态显示(渲染)AR图形界面。

在此，所述预设定的条件可以包括基于车辆的感测数据来从当前行驶状态预测车辆的行驶状况的变更的情况。所述预设定的条件可以包括基于ADAS感测数据、高清地图数据、V2X、ITS、C-ITS等TCU通信数据中的至少一种检测到从当前行驶状态预测车辆的行驶状况的变更或者需要指引的状况的情况。

接着，处理器将AR图形界面重叠的前方图像显示在导航画面(S30)。

处理器可以以第一AR对象和第二AR对象结合的状态将AR图形界面渲染在前方图像。处理器将与AR图形界面对应的AR GUI帧和AR摄像头帧提供给导航应用程序，从而可以分别生成AR G UI面和AR摄像头面。

然后，生成的AR GUI面和AR摄像头面渲染在导航GUI面，从而渲染了AR图形界面的前方图像包括在导航画面(显示)。

另一方面，这种AR图形界面可以根据基于地图数据和车辆的感测数据预测变更的行驶状况来改变。

此时，改变的AR图形界面表示为复数个AR对象分离的形态，以能够使车辆的驾驶员直观地确认当前行驶状态的显示和对于预测变更的行驶状况的指引显示。

图12A和图12B是本发明实施例的AR图形界面的示例，是用于说明根据预测变更的行驶状况而第一AR对象和第二AR对象选择性地分离和结合的图。

参照附图，AR图形界面1200可以被实现为，3D形式的特定形状的AR图像，通过这种AR图像，除了车辆的当前行驶方向、行驶速度、转向信息之外，还可以表示道路信息等。

AR图形界面1200可以被实现为，第一对象和第二对象结合的形态。

在此，例如，所述第一对象可以被实现为，3D铲形(spade)(例如，锹形态的图像)形态，所述第二对象可以被实现为，从所述第一对象延伸的3D人字形(chevron)(例如，A或V形态的图像)形态。只是，并不意味着第一对象和第二对象限于这种形状。

AR图形界面1200可以以所述第二对象的内侧框和所述第一对象的外侧框接触的方式延伸的形态结合。此时，所述第一对象和所述第二对象可以以彼此不同的颜色呈现，以便视觉区分。

为了表示车辆的当前行驶状态，AR图形界面1200可以在所述第一对象和所述第二对象结合的状态下以相同或彼此不同的扭曲角度移动的方式呈现。

生成的AR图形界面1200显示为与包括在导航画面的车辆前方图像重叠。具体而言，处理器820基于地图数据和车辆的感测数据生成表示车辆的当前行驶状态的AR图形界面1200，基于路线和POI信息等渲染并提供给导航应用程序930，从而以AR图形界面1200与包括在导航画面的车辆前方图像重叠的形态显示。

参照图12B，处理器820根据基于地图数据和车辆的感测数据预测的变更行驶状况，分离AR图形界面的第一AR对象1220和第二AR对象1210，以通过被分离的第二AR对象1210显示与变更行驶状况相关的指引的方式渲染，可以更新导航应用程序930的AR GUI面和AR摄像头面。

第一AR对象1220和第二AR对象1210分离的条件可以包括基于车辆的感测数据来从车辆的当前行驶状态预测车辆的行驶状况的变更的情况。

或者，所述第一AR对象1220和所述第二AR对象1210分离的条件可以包括基于车辆的ADAS感测数据、高清地图数据、V2X、ITS、C-ITS等TCU通信数据中的至少一种检测到从车辆的当前行驶状态预测车辆的行驶状况的变更或者需要指引的状况的情况。

另一方面，被分离的第二AR对象1210从第一AR对象1220的显示位置延伸显示。第一AR对象1220表示车辆的当前行驶状态(例如，车辆的当前位置和行驶方向)，因此驾驶员可以直观车辆应根据在第二AR对象1210指示的指引行驶的时间点和行驶方向。

第一AR对象1220和第二AR对象1210之间的隔开距离可以与车辆的行驶状况的变更预测时间点或距离相对应。

另外，虽然未详细图示，被分离的第二AR对象1210可以呈现为复数个段(fragments)。可以在复数个所述段之间保持规定间隔。

另外，复数个所述段的各个段表示的方向可以呈现为，逐渐指向预测的状况发生地点(或者状况结束地点)。例如，在被分离的第二AR对象1210呈现为总共五个段的情况下，五个段中的每一个可以以彼此不同的扭曲角度指向同一位置(例如，预测的状况发生地点)。

复数个所述段可以以比第一AR对象1220提前规定距离移动的形态呈现。即，复数个段是被实现为基于车辆的当前位置和行驶状态移动的同时呈现基于预测的状况发生的行驶指引，而不是在特定地点或时间点固定显示的形式。

复数个所述段的移动速度可以与车辆接近的程度(例如，行驶速度)相对应。

另外，复数个所述段的数量和/或显示长度可以与预测的状况的保持时间或保持距离成正比。例如，状况保持时间较长的情况与状况保持时间不长的情况相比，可以呈现为包括更多的数量的段或者总显示长度更长。

复数个段中靠近第一AR对象1220的段以与在第一AR对象1220呈现的行驶状态相关联地指引显示。

复数个段中距第一AR对象1220较远的段以与预测的状况相关联地指引显示。

即，被分离的第二AR对象1210的复数个段以更渐进且无缝的方式指引提供从与第一AR对象1220对应的当前行驶状态预测的状况。

若与被分离的条件对应的状况结束，则被分离的第二AR对象1210再次以与第一AR对象1220结合的状态显示。即，可以再次以如图12A那样的AR图形界面1200显示。

以下，本发明的AR显示装置800识别车辆进入到包括充电区域的停车区域，可以根据感测数据(例如，ADAS感测数据)和停车区域的管制数据中的至少一种来搜索可停车区域，并可以实时变更显示所述AR图形界面，以向搜索到的可停车区域指引车辆。

图13作为本发明实施例的AR显示装置的动作方法，是用于说明利用AR图形界面提供与车辆的停车/充电相关的UX显示的方法(1300)的代表流程图。

如果没有其他提及，图13的各个步骤可以由AR显示装置的处理器820执行。另外，各个步骤可以包括参照图8至图10说明的导航引擎910、AR引擎920、导航应用程序930的复数个动作中的一部分而执行或者可以在以下的图13的过程之前或之后执行该复数个动作中的至少一部分。

参照图13，在车辆行驶期间，在AR显示装置800显示被渲染了AR图形界面的前方图像，所述AR图形界面显示表示车辆的行驶状态的显示和行驶状况相关的指引(S1310)。

具体而言，处理器820可以通过驱动预设定的应用程序(例如，导航应用程序)来以与通过AR摄像头获取的前方图像重叠的方式渲染AR图形界面，所述AR图形界面为显示车辆的行驶状态的第一AR对象和显示对于车辆的行驶状况的指引的第二AR对象结合的形态。

处理器820可以在显示器830(例如，在LCD画面反射的图像、在车辆的挡风玻璃/仪表盘显示的实际空间的图像或数字孪生三维图像等)显示被渲染了AR图形界面的前方图像。

AR显示装置800可以识别车辆进入到包括充电区域的停车区域(S1320)。

在本发明中，如前所述，“停车区域”用于包括：包括充电器的充电站和包括停车空间的停车场。另外，本发明的“停车区域”可以包括：包括管制服务器的情况和不包括管制服务器的情况。

在没有(或不运行)管制服务器的停车区域的情况下，AR显示装置800可以基于车辆的感测数据、地图数据和/或ADAS感测数据来识别车辆进入到所述停车区域。

在包括管制服务器的停车区域的情况下，可以基于管制数据即设置于停车区域的传感器(例如，摄像头、激光雷达、雷达等)的感测数据，管制服务器识别车辆进入或者和/或将其提供给AR显示装置800，从而可以识别车辆进入到所述停车区域。

处理器820可以与AR图形界面一起或者通过AR图形界面生成并输出车辆进入到所述停车区域的显示。

接着，处理器820可以根据车辆的感测数据和停车区域的管制数据中的至少一种来搜索可停车区域或可充电区域(S1330)。

在没有(或不运行)管制服务器的停车区域的情况下，处理器820可以根据车辆的感测数据和/或ADAS感测数据来搜索停车区域内的可停车区域或可充电区域。

在包括管制服务器的停车区域的情况下，基于管制数据即设置于停车区域的传感器(例如、摄像头、激光雷达、雷达等)的感测数据，管制服务器可以在搜索停车区域内的可停车区域或可充电区域之后，将其提供给AR显示装置800。

如上所述，若通过车辆的感测数据和/或ADAS感测数据或管制数据搜索到可停车区域或可充电区域，则处理器820可以更新所述AR图形界面，以向搜索到的可停车区域或可充电区域指引车辆。

为了向可停车区域或可充电区域指引车辆，所述AR图形界面可以以第一AR对象和第二AR对象被分离的形态提供UX。另外，为了显示停车区域内特定事件，所述AR图形界面可以在第一AR对象和第二AR对象的基础上进一步包括第三AR对象。

图14A、图14B、图14C、图14D是用于说明根据本发明的实施例，利用基于ADAS感测数据改变的AR图形界面来指引可停车区域的概念图。

本发明的AR显示装置800根据车辆的感测数据(例如，CAN数据(Steering Wheel角度、行驶速度(Speed)、偏航角速度(Yawrate))、GPS位置/方向信息)以及地图数据(例如，导航/地图数据(lane geometry))和ADAS感测数据来实时改变AR图形界面而提供(输出)，从而可以向可停车区域或可充电区域指引车辆。

ADAS是高级驾驶员辅助系统(ADAS：Advanced Driver Assistance Systems)，ADAS感测数据是指通过ADAS(系统)获取的感测数据。可以通过ADAS感测车辆周边对象和车辆环境。

处理器820接收ADAS感测数据、车辆的感测数据(例如，CAN数据)、导航/地图/GPS数据等地图数据，并可以基于接收到的数据，通过被分离的第二AR对象来显示可提供的辅助功能。此时，被分离的第二AR对象可以与附加信息(例如，剩余充电时间、充电金额等充电信息)一起显示。

处理器820可以根据车辆进入到停车场/充电站，基于ADAS感测数据来搜索可停车区域或可充电区域。

此时，在可停车区域或可充电区域为复数个的情况下，被实现为自动选择符合预设定的基准(例如，靠近车辆的当前位置的程度、靠近出口的程度、快速充电优先等)的最佳停车空间/充电器，或者可以提示可选择的复数个位置(或路径)以便通过用户输入选择。

之后，处理器820根据车辆进入到通过自动选择或用户输入选择的停车空间/充电器的位置的规定距离以内，显示更新AR图形界面，使得被分离的第二AR对象移动到被选择的停车空间/充电器的位置，并显示从车辆的当前位置连接至停车空间/充电器的位置的指引路径。

若车辆沿基于被分离的第二AR对象的指引路径到达被选择的停车空间/充电器的位置(或者，其前方)，则提供第二AR对象向第一AR对象移动而结合的形态的AR图形界面。

之后，车辆进入停车模式。驾驶员可以通过看到第一AR对象和第二AR对象再次结合(和/或通过与其一起提供的附加信息(“执行停车模式”))来直观地确认进入停车模式。

以下，参照图14A至图14D，具体说明利用基于ADAS感测数据改变的AR图形界面来搜索可停车区域并指引路径的实施例。

参照图14A，若车辆进入到停车场/充电站，则通过ADAS系统(例如，ADAS感测数据)搜索车辆的前、后、侧方。由此，处理器820可以根据车辆进入停车场/充电站，基于ADAS感测数据来搜索可停车区域或可充电区域。

虽然未图示，在所述搜索期间，可以输出第二AR对象从第一AR对象分离并以第一AR对象为基准旋转360度的动画效果。若搜索结束(例如，搜索成功/失败)，则第一AR对象和第二AR对象再次以结合的形态显示。

处理器820可以在车辆前方图像1401表示基于ADAS感测数据以车辆的当前位置为基准搜索到的周边可停车区域1411、1412的显示。此时，AR图形界面1400以第一AR对象和第二AR对象结合的形态显示车辆的当前行驶状态。

接下来，如图14B所示，处理器820可以在车辆前方图像显示对于搜索到的复数个可停车区域1411、1412的选择选项1421、1422。此时，选择选项1421、1422可以与附加信息(例如，行驶距离、靠近车辆的当前位置的程度、靠近出口的程度等)一起显示。

处理器820根据对于选择选项1421、1422的输入来选择一个可停车区域1412，由此，第二AR对象被分离，并移动到被选择的可停车区域1412的位置。

接下来，如图14C所示，第二AR对象1410生成从表示车辆的当前位置的第一AR对象连接至被选择的所述可停车区域1412的位置的指引轨迹，由此提供指引路径。

此时，考虑到接下来的车辆的停车，所述指引路径可以在便于停车的方向上生成路径。

另一方面，如图14D所示，在车辆朝与行驶相反的方向进入或者车辆的行驶方向与向被选择的可停车区域1412的进入方向相反的情况下，可以通过被分离的第二AR对象显示不可进入指引。

处理器820可以根据车辆的当前位置和行驶状态来识别车辆进入不可行驶方向，并根据所述识别来渲染更新为，分离第二AR对象而显示表示警告通知和可行驶方向的指引。

具体而言，第一AR对象1420通过旋转量表示车辆的当前行驶方向，因此显示为朝被选择的可停车区域1412。

被分离的第二AR对象1410S-1、1410S-2旋转为指向与进入方向1430相同的方向，而不朝向被选择的可停车区域1412。即，指向与第一AR对象1420指向的方向相反的方向，由此提供可行驶方向。

被分离的第二AR对象1410S-1、1410S-2可以隔着第一AR对象1420朝两个方向分支。

被分离的第二AR对象的第一部分1410S-1连接被选择的可停车区域1412的位置和第一AR对象1420之间。并且，被分离的第二AR对象的第二部分1410S-2指引从第一AR对象1420朝可行驶方向的路径。此时，所述第一部分1410S-1和所述第二部分1410S-2的轨迹均朝与第一AR对象1420指向的方向相反的方向即可行驶方向。

被分离的第二AR对象1410S-1、1410S-2可以通过颜色变更、形状变更、闪烁以及高亮显示等显示不可进入警告。

例如，对于进入方向的路径指引时被分离的第二AR对象的颜色(例如，绿色(green))和对于不可进入方向的警告指引时被分离的第二AR对象的颜色(例如，橙色系列或红色(red))可以不同。

处理器820可以根据车辆的行驶状况(例如，其他车辆朝进入方向进入、停车拥挤程度、与车辆的隔开距离等)来改变所述不可进入警告的显示方式和/或通知等级。

驾驶员可以通过确认显示对于不可进入方向的警告指引的第二AR对象来直观地执行车辆的行驶方向变更、车辆的行驶减速和停止等。

接下来，若车辆沿被分离的第二AR对象的第二部分1410S-2的指引轨迹朝进入方向(或可行驶方向)行驶，则不可进入警告消失，被分离的第二AR对象1410S-1、1410S-2的颜色、形状等恢复到之前状态，然后以第一AR对象和第二AR对象再次结合的状态显示。

或者，处理器820可以显示更新AR图形界面，以在所述可行驶方向的周边区域再次显示基于A DAS感测数据重新搜索到的可停车区域的位置。

图15A、图15B、图15C、图15D是用于说明根据本发明的实施例，利用基于管制信息改变的A R图形界面来指引可停车区域的概念图。

本发明的AR显示装置800根据车辆的感测数据(例如，CAN数据(SteeringWheel角度、行驶速度(Speed)、偏航角速度(Yawrate)、GPS位置/方向信息))和地图数据(例如，导航/地图数据(l anegeometry))以及停车场/充电站的管制数据来实时改变AR图形界面而提供(输出)，从而可以将可停车区域或可充电区域指引到车辆。

管制数据包括由管制服务器基于设置于停车场/充电站的传感器(例如，激光雷达、摄像头、雷达、利用UWB/BLE等的位置传感器平台等)的感测数据来生成的数据、信息。

若车辆进入到停车场/充电站，则管制服务器与AR显示装置800连接，例如，可以利用数字孪生来控制在停车场/充电站内发生的事件(状况、动作、功能等)以及设置于停车场/充电站的复数个装置(例如，传感器、充电器、其他连接装置/设备等)。

管制服务器可以将获取到的管制数据或基于该管制数据生成的信息或数据传送到车辆100或AR显示装置800。

数字孪生是指，将现实中存在的客体(事物、空间、环境、工程、步骤等)在计算机上用数字数据模型表现出来，进行相同的复制和实施，以便可以实时相互反应。这种数字孪生使用软件以虚拟模型制作物理的事物、空间、环境、人、过程等资产，从而可以使其像现实世界一样动作或尝试相同的行为。

管制服务器通过数字孪生包括停车场/充电站建筑物的内部3D形状，基于设置于停车场/充电站的传感器(例如，激光雷达、摄像头、雷达、利用UWB/BLE等的位置传感器平台等)的感测数据来向AR显示装置800提供入车、充电/出车、入库/出库路径等。

处理器820接收管制数据、车辆的感测数据(例如，CAN数据)、导航/地图/GPS数据等地图数据，并可以基于接收到的数据，通过被分离的第二AR对象显示可提供的辅助功能。此时，被分离的第二AR对象可以与附加信息(例如，剩余充电时间、充电金额等充电信息)一起显示。

处理器820可以根据车辆进入到停车场/充电站，基于管制数据来识别可停车区域或可充电区域。

此时，在可停车区域或可充电区域为复数个的情况下，可以自动选择或者通过用户输入选择符合预设定的基准(例如，靠近车辆的当前位置的程度、靠近出口的程度、快速充电优先等)的最佳停车空间/充电器。

处理器820根据车辆进入通过自动选择或用户输入被选择的停车空间/充电器的位置的规定距离以内，显示更新AR图形界面，使得被分离的第二AR对象移动到被选择的停车空间/充电器的位置，并显示从车辆的当前位置连接至停车空间/充电器的位置的指引路径。

接下来，若车辆沿基于被分离的第二AR对象的指引路径到达被选择的所述停车空间/充电器的位置(或者，其前方)，则处理器820渲染为，以第二AR对象移动到第一AR对象而再次结合的形态的AR图形界面来显示。

接下来，车辆进入停车模式。驾驶员可以通过看到第一AR对象和第二AR对象再次结合(和/或通过与其一起提供的附加信息(“执行停车模式”))来直观地确认进入停车模式。

以下，参照图15A至图15D，具体说明利用基于停车场/充电站的管制数据改变的AR图形界面来搜索可停车区域并指引路径的实施例。

参照图15A，若车辆进入到停车场/充电站，则在管制服务器感测车辆进入，并(例如，利用数字孪生)搜索可停车区域或可充电区域。由此，处理器820可以根据车辆进入停车场/充电站，基于管制数据来识别可停车区域或可充电区域的搜索结果。

虽然未图示，在基于管制服务器的搜索期间(或者，从管制服务器接收管制数据之前)，可以输出第二AR对象从第一AR对象分离并以第一AR对象为基准旋转360度的动画效果。若搜索结束(例如，搜索成功/失败)，则第一AR对象和第二AR对象以再次结合的形态显示。

处理器820可以在车辆前方图像1501表示管制服务器基于管制数据以车辆的当前位置为基准搜索到的周边可停车区域1511、1512的显示。此时，AR图形界面1500以第一AR对象和第二AR对象结合的形态显示车辆的当前行驶状态。

接着，如图15B所示，处理器820可以在车辆前方图像显示对于搜索到的复数个可停车区域1511、1512的选择选项1521、1522。此时，选择选项1521、1522可以与附加信息(例如，行驶距离、靠近车辆的当前位置的程度、靠近出口的程度等)一起显示。

处理器820根据对于选择选项1521、1522的输入来选择一个可停车区域1512，由此，第二AR对象被分离，并移动到被选择的可停车区域1512的位置。

接下来，如图15C所示，第二AR对象1510生成从表示车辆的当前位置的第一AR对象1510连接至被选择的所述可停车区域1512的位置的指引轨迹，由此提供指引路径。

此时，考虑到接下来的车辆的停车，所述指引路径可以在便于停车的方向上生成路径。

另一方面，如图15D所示，在车辆朝与行驶相反的方向进入或者车辆的行驶方向与向被选择的可停车区域1512的进入方向相反的情况下，可以通过被分离的第二AR对象显示不可进入指引。

处理器820可以根据车辆的当前位置和行驶状态来识别车辆进入不可行驶方向，并根据所述识别来渲染更新为，分离第二AR对象而显示表示警告通知和可行驶方向的指引。

具体而言，第一AR对象1520通过旋转量表示车辆的当前行驶方向，因此显示为朝被选择的可停车区域1512。

被分离的第二AR对象1510S-1、1510S-2旋转为指向与进入方向1530(或者，可行驶方向)相同的方向，而不朝向被选择的可停车区域1512。即，指向与第一AR对象1520指向的方向相反的方向，由此提供可行驶方向。

被分离的第二AR对象1510S-1、1510S-2可以隔着第一AR对象1520朝两个方向分支。

被分离的第二AR对象的第一部分1510S-1连接被选择的可停车区域1512的位置和第一AR对象1520之间。被分离的第二AR对象的第二部分1510S-2指引从第一AR对象1520朝可行驶方向的路径。此时，所述第一部分1510S-1和所述第二部分1510S-2的轨迹均朝与第一AR对象1520指向的方向相反的方向即可行驶方向。

被分离的第二AR对象1510S-1、1510S-2可以通过颜色变更、形状变更、闪烁以及高亮显示等显示不可进入警告。

例如，对于进入方向的路径指引时被分离的第二AR对象的颜色(例如，绿色(green))和对于不可进入方向的警告指引时被分离的第二AR对象的颜色(例如，橙色系列或红色(red))可以不同。

处理器820可以根据车辆的行驶状况(例如，其他车辆朝进入方向进入、停车拥挤程度、与车辆的隔开距离等)来改变所述不可进入警告的显示方式和/或通知等级。

驾驶员可以通过确认显示对于不可进入方向的警告指引的第二AR对象来直观地执行车辆的行驶方向变更、车辆的行驶减速和停止等。

接下来，若车辆沿被分离的第二AR对象的第二部分1510S-2的指引轨迹朝进入方向(或可行驶方向)行驶，则不可进入警告消失，被分离的第二AR对象1510S-1、1510S-2的颜色、形状等恢复到之前状态，然后以第一AR对象和第二AR对象再次结合的状态显示。

或者，处理器820可以显示更新AR图形界面，以在所述可行驶方向的周边区域再次显示基于管制数据重新搜索到的可停车区域的位置。

图16A和图16B是根据本发明的实施例，与根据停车形态显示更新AR图形界面相关的概念图。

若通过被分离的第二AR对象，车辆到达可停车区域或可充电区域，则被分离的第二AR对象与第一AR对象再次结合，然后执行停车模式。在停车模式下，通过AR图形界面提供用于停车的指引路径，其根据停车形态而变化。

停车形态包括例如，前向停车(正面停车)、后进停车(竖向停车)、斜向停车、平行停车(横向停车)等。

若被选择的停车空间/充电器前方为前向停车和斜向停车形态，则通过AR图形界面，就足以指向一个停车指引路径。因此，以下，具体描述需要改变行驶方向且以包括后进行驶的后进停车(竖向停车)和平行停车(横向停车)为示例指引停车的UX提供方法。

本发明的AR显示装置800的处理器820可以根据车辆靠近被选择的停车区域(或者，被选择的充电区域)来确定可停车形态，并根据该确定再次分离第二AR对象，渲染更新AR图形界面，以显示要行驶的停车指引线。

被分离的第二AR对象根据确定的停车形态来显示车辆要行驶的行驶方向和行驶距离。第一AR对象表示沿被指引的停车指引路径行驶的车辆的当前行驶方向和转向角(旋转量)。

具体而言，处理器820可以根据确定的对于被选择的停车区域(或者，充电区域)的停车形态，基于车辆的当前位置和被选择的停车区域的位置(和ADAS感测数据)来计算预测的后进行驶的变更点。

在此，所述变更点是指，为了使车辆停到被选择的停车区域(或者，充电区域)，需要变更行驶方向的地点。所述变更点是指，车辆需要从前进方向(后进方向)变更为后进方向(前进方向)的位置和转向角。

接着，处理器820通过被分离的第二AR对象显示朝向所述变更点的第一指引线，然后，根据与第一AR对象对应的车辆的当前位置靠近所述变更点，显示更新AR图形界面，以显示在车辆的后进行驶上朝被选择的所述停车区域的第二指引线。

若感测到车辆偏离第一指引线或第二指引线行驶，则处理器820通过改变第一指引线和/或第二指引线的颜色、形状等来引导车辆沿指引线行驶。

另外，若车辆的转向角变更，则所述第一指引线和所述第二指引线与变更的转向角对应地实时更新。另外，第一AR对象同时显示车辆的当前转向角。因此，处理器820也可以通过所述第一AR对象显示引导车辆的当前转向角的变更的指引，以使车辆沿所述第一指引线和所述第二指引线。

图16A的(a)和(b)是平行停车(横向停车)期间通过AR图形界面指引停车的UX示例。平行停车(横向停车)由前进行驶和后进行驶的组合构成。

首先，在车辆100沿指引朝前进方向行驶的第一指引线行驶期间，在前方图像1601显示表示车辆的前进行驶的第一AR对象1620和以第一指引线显示的被分离的第二AR对象1610。

第二AR对象1610包括后进行驶的变更点，由第二AR对象1610显示的第一指引线连接第一A R对象1620和后进行驶的变更点。所述变更点可以是例如，第一指引线的目的地。所述变更点可以以与构成所述第一指引线的其他指引轨迹区分的颜色、形状显示。

若车辆沿由第二AR对象1610显示的第一指引线靠近后进行驶的变更点，则处理器820变更显示所述变更点的颜色、形状等，提供向后进行驶的变更通知。与此同时，可以显示与变更点相关的附加信息(例如，“请变更为后进R行驶”)。

若车辆到达变更点，则处理器820渲染更新为，在车辆的后进方向上生成并显示朝目标停车区域PI的第二指引线，来代替由第二AR对象1610显示第一指引线。

在车辆前方图像1602中，在车辆的后进方向上指引至目标停车区域PI的第二指引线作为第二A R对象1610R，与表示车辆的当前行驶方向(前进方向)的第一AR对象1620'一同显示。

此时，所述第二指引线的颜色和/或其指引轨迹指向的方向和前述的第一指引线的颜色和/或其指引轨迹指向的方向可以显示为彼此不同。由此，驾驶员可以直观地识别车辆的前进、后进控制指引。

图16B的(a)和(b)是在后进停车(竖向停车)期间通过AR图形界面指引停车的UX示例。后进停车(竖向停车)同样也由前进行驶和后进行驶的组合构成，但是后进行驶时的旋转量(或者，旋转角)大于平行停车(横向停车)的情况。

在车辆100沿指引朝前进方向的行驶的第一指引线行驶期间，在前方图像1603显示表示车辆的前进行驶的第一AR对象1620和以第一指引线显示的被分离的第二AR对象1610'。在第二AR对象1610'可以显示关于停车形态的信息(例如，后进停车)作为附加信息。

第二AR对象1610'包括后进行驶的变更点，由第二AR对象1610'显示的第一指引线连接第一AR对象1620和后进行驶的变更点。所述变更点可以是例如，第一指引线的目的地。所述变更点可以以与构成所述第一指引线的其他指引轨迹区分的颜色、形状显示。

若车辆沿由第二AR对象1610'显示的第一指引线靠近后进行驶的变更点，则处理器820变更显示所述变更点的颜色、形状等，提供向后进行驶的变更通知。与此同时，可以显示与变更点相关的附加信息(例如，“请变更为后进R行驶”)。

若车辆到达变更点，则处理器820渲染更新为，在车辆的后进方向上生成并显示朝目标停车区域的第二指引线，来代替由第二AR对象1610'显示第一指引线。

此时，由所述第二指引线显示的指引轨迹的曲线大于前述的平行停车(横向停车)的情况。这意味着需要沿所述第二指引线后进行驶的车辆的旋转量也需要增加。因此，第二AR对象1610R'还可以显示车辆的旋转量指引信息(例如，“请将方向盘旋转到底”)作为与所述第二指引线相关的附加信息。

在车辆前方图像1604中，在车辆的后进方向上指引至目标停车区域的第二指引线作为第二AR对象1610R'，与表示车辆的当前行驶方向(前进方向)的第一AR对象1620'一同显示。

此时，所述第二指引线的颜色和/或其指引轨迹指向的方向和前述的第一指引线的颜色和/或其指引轨迹指向的方向可以显示为彼此不同。由此，驾驶员可以直观地识别车辆的前进、后进控制指引。

图17是用于说明根据本发明的实施例，基于管制信息通过AR图形界面指引可充电区域和充电的流程图，图18A、图18B、图18C是用于说明图17的概念图。

如果没有其他提及，图17所示的各个步骤可以由AR显示装置800的处理器820执行。另外，各个步骤包括参照图8至图10说明的导航引擎910、AR引擎920、导航应用程序930的复数个动作中的一部分而执行，或者可以在图17的过程之前或之后执行该复数个动作中的至少一部分。

参照图17，本发明的AR显示装置800可以根据车辆进入到停车场/充电站，从停车/充电管制服务器接收停车场/充电站地图数据(或数字孪生)和停车场/充电站相关信息(1710)。

处理器820可以根据接收到的信息，通过AR图形界面显示可停车区域/可充电区域(1720)。

具体而言，处理器820响应于车辆进入到停车场或充电站(所述停车区域)，根据感测数据和管制数据中的至少一种来搜索可停车区域或可充电区域，并可以改变显示AR图形界面，以显示搜索到的可停车区域或可充电区域的位置。处理器820将基于对于AR图形界面的改变信息生成的AR GUI帧提供给导航应用程序930，并使导航应用程序930更新AR GUI面。

根据实施例，处理器820可以渲染更新所述AR图形界面，以显示对于搜索到的可充电区域的充电相关信息。此时，所述充电相关信息可以包括充电方式和充电费用中的至少一种。

另一方面，处理器820可以根据可充电区域的搜索失败，渲染更新AR图形界面，以显示对于以车辆的当前位置为基准的周边充电区域的各个剩余充电时间信息。

此外，所述处理器820可以根据可停车区域的搜索失败，持续执行周边停车空间的搜索，直至输入搜索结束。此时，输出AR图形界面的第二AR对象被分离并以第一AR对象为基准旋转360度的动画效果，显示正在搜索中。

另外，搜索结果，在没有可充电区域或可停车区域的情况下，处理器820可以根据接收到的管制数据，通过AR图形界面在车辆前方图像显示车辆周边的充电区域或被选择的区域的充电等待时间。

在搜索到的可停车区域/可充电区域为复数个的情况下，处理器820判断自动选择选项是否被激活(1730)，并根据判断结果来确定下一个AR图形界面显示。

在自动选择选项被激活的情况下，由停车/充电管制服务器或处理器820自动选择最佳停车空间/充电区域(1740)。由此，通过AR图形界面显示/输出表示自动选择最佳停车空间/充电区域的通知信息。

在自动选择选项未被激活的情况下，处理器820包括搜索到的复数个可停车区域/可充电区域的选择选项而显示AR图形界面。然后，根据对于显示的选择选项的输入来选择停车空间/充电区域(1780)。

若选择停车空间/充电区域，则处理器820根据ADAS感测数据和/或停车场/充电站的管制数据来生成指引被选择的停车空间/充电区域的位置的指引路径(1750)。

所述指引路径可以通过基于被分离的第二AR对象的指引轨迹显示来实现。

具体而言，处理器820可以更新AR图形界面，使得AR图形界面的第一AR对象显示为与车辆的行驶方向对应地旋转，从第一AR对象分离第二AR对象，并通过被分离的第二AR对象显示从所述第一AR对象指向搜索到的或被选择的停车空间/充电区域位置的指引轨迹。

另一方面，处理器820可以判断生成的指引路径是否为可行驶方向(1760)，若不是可行驶方向即是不可进入方向，则通过被分离的第二AR对象来更新表示不可进入警告和进入方向的显示(1770)。为此，可以变更/适用被分离的第二AR对象的颜色、形状、闪烁、高亮效果。

若生成的指引路径为可行驶方向，则通过被分离的第二AR对象来显示指引路径。若车辆沿指引路径行驶而到达相应停车空间/充电区域(1790)，则可以执行智能停车模式(1795)。

在车辆100进入停车场/充电站时，停车/充电管制服务器可以基于从车辆或AR显示装置800接收的GPS信息、权限信息(车辆控制权)、车辆信息等，停车/充电管制服务器和AR显示装置800可以联动执行智能停车模式。

另外，在根据智能停车模式的执行来进行停车行驶的期间，处理器820可以通过AR图形界面实时显示车辆的行驶状态和要行驶的位置及方向。

现在，参照图18A至图18C，说明利用基于管制信息改变的AR图形界面来指引可充电区域和充电的UX示例。

根据停车场/充电站位置的搜索和检测，车辆100可以通过AR图形界面来接受指引显示直至搜索到的停车场/充电站入口。为此，AR显示装置800可以根据地图数据和ADAS感测数据来执行停车场/充电站位置的搜索、检测、指引路径生成。

若车辆100进入到停车场/充电站，则停车/充电管制服务器通过传感器(例如，摄像头、激光雷达、雷达、位置传感器平台等)感测到这个情况，可以向AR显示装置800传送连接请求(例如，GP S信息、权限信息(车辆控制权)、车辆信息等的传送请求)。

若根据AR显示装置800的响应(例如，GPS信息、权限信息(车辆控制权)、电池信息等车辆信息传送)，停车/充电管制服务器和AR显示装置800连接，则AR显示装置800可以接收通过停车/充电管制服务器获取的管制数据。

管制数据包括停车场/充电站的地图数据和充电信息。

例如，可以包括停车场/充电站的3D空间地图、关于基于入库车辆信息的可停车区域或可充电(快速或慢速)充电器的信息、实时停车场/充电站信息(例如，充电单价(按超快速/快速/慢速的金额))、关于充电车辆占用、充电等待时间、充电器故障信息等的数据、信息、程序。

为了停车/充电指引，AR显示装置800可以根据接收到的管制数据来改变显示AR图形界面。另外，停车/充电管制服务器可以根据管制数据和车辆100的车辆信息来生成前述的数字孪生，利用数字孪生来提供停车/充电指引。

在图18A中，可以在车辆前方图像1801(或者，通过数字孪生)显示表示包括车辆的当前位置(例如，停车场/充电站的入口)的行驶状态的AR图形界面1800。

处理器820可以根据基于停车/充电管制服务器的管制数据，以AR图形界面显示搜索到的可充电区域(或者，可停车区域)的位置和对于各个可充电区域的充电信息。

为此，处理器820可以从停车/充电管制服务器接收充电器使用现况和超快速/快速/慢速充电器的信息作为管制数据。

例如，处理器820根据从停车/充电管制服务器接收到的充电器使用现况和超快速/快速/慢速充电器的信息，可以将搜索到的第一可充电区域1811的充电信息1821显示为“慢速”，可以将搜索到的第二可充电区域1812的充电信息1822显示为“快速”。

接下来，如图18B所示，在车辆的前方图像(或者，通过数字孪生)中分离AR图形界面的第二AR对象，显示对于第一可充电区域1811的指引路径1810a和对于第二可充电区域1812的指引路径1810b。

第一AR对象1820持续显示车辆的当前位置和行驶方向。

若接收到对于可充电区域1811、1812的选择输入(或者，自动选择)，则被确定为对于显示的第一可充电区域1811的指引路径1810a和对于第二可充电区域1812的指引路径1810b中的任一指引路径。

处理器820可以提供对于复数个指引路径1810a、1810b中、基于预设定的基准而被选择/建议的指引路径的推荐显示(例如，颜色变更、高亮显示或附加信息显示等)。

在此，基于所述预设定的基准的选择可以包括靠近车辆的当前位置的程度、靠近停车场/充电站出口的程度、快速充电优先等。

例如，在图18B中，可以在对于显示为“快速”充电信息1822的第二可充电区域1812的指引路径1810b输出推荐显示(例如，高亮显示)。

若根据基于选择/建议的选择输入或自动选择选项，第二可充电区域1812被选择为充电区域，则在车辆前方图像中仅剩下指引路径1810b。由此，如图18C所示，通过被分离的第二AR对象，受到向充电区域1812的路径的指引。

此时，考虑到之后进行的停车模式，通过第二AR对象显示的指引路径1810b在便于停车的方向上生成并提供。另外，若通过第一AR对象1820显示的车辆的当前行驶方向为不可进入方向，则指引路径1810b可以在通过第二AR对象显示的指引路径1810b显示不可进入警告和进入方向(例如，旋转为与车辆的当前行驶方向相反的方向)。

若停车模式结束，则以第一AR对象和第二AR对象结合的形态显示AR图形界面。另外，即使在充电区域1812停车之后执行充电模式的期间，AR显示装置800也可以基于从停车/充电管制服务器接收的管制数据，在车辆前方图像实时显示充电信息和相关信息(例如，剩余充电时间、充电金额、与充电站相关的活动/促销等)。

接下来，若检测到车辆的充电结束(例如，充电中断或充电完成)，则处理器820基于从停车/充电管制服务器接收的管制数据，通过被分离的第二AR对象来生成并显示引导至停车场/充电站出口的路径。

另一方面，参照图17和图18A至图18C说明的内容在AR显示装置800基于ADAS感测数据执行的情况下也类似地适用。例如，AR显示装置800可以基于ADAS感测数据，通过AR图形界面的分离、结合、变形来显示可充电区域的搜索、对于搜索到的可充电区域的路径、充电信息显示、基于停车形态的停车指引路径、不可进入显示、充电结束之后直至出口的指引路径等。

另外，根据本发明一些实施例的AR显示装置及其动作方法，即使没有额外的设定，也能够在被校准的前方图像中以AR对象同时指引车辆的当前位置和对于预测行驶状况的指引，从而能够为车辆提供更直观且真实的AR指引。另外，在车辆进入停车场/充电站时能够以更直观的AR图形界面提供搜索、路径以及所需的信息。另外，识别被选择的停车空间或充电器前方，以能够使车辆停到期望的停车空间或充电器前方，并通过实时改变AR图形界面来与车辆的当前行驶状态对应地依次提供用于停车的指引路径的前进行驶、后进行驶变更时间、后进行驶等。另外，在进入车辆的停车场或充电站时，通过与相应地点的管制服务器进行通信或ADAR感测来以更直观的AR图形界面显示对于可停车/充电区域的路径指引、停车/充电相关信息、出车时路径指引，从而能够提供更直接且智能的停车/充电相关UX。

在前面的描述中提及的本发明可以使用其上存储有用于由执行在此陈述的各种方法的处理器执行的指令的机器可读介质实现。可能的机器可读介质的示例包括HDD(硬盘驱动)、SSD(固态盘)、SDD(硅盘驱动)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等等。根据需要，计算机可读介质也可以被实现为载波的形式(例如，经由互联网的传送)。处理器可以包括终端的控制器。

前述实施例仅是示例性的并且不被视为对本公开的限制。此描述旨在是说明性的，并且没有限制权利要求的范围。许多替代、修改以及变形对于本领域的技术人员来说将会是显然的。可以以各种方式组合在此描述的示例性实施例的特征、结构、方法以及其它特性以获得附加的和/或替代的示例性实施例。

由于在没有脱离其特性的情况下可以以多种形式实现本特征，所以也应理解的是，上述实施例不受前面描述的任何细节的限制，除非另有规定，否则应在所附的权利要求中限定的范围内被广泛地解释，并且因此旨在由所附的权利要求涵盖落入权利要求的范围和界限或者该范围和界限的等同物内的所有变化和修改。

Claims (10)

1.一种AR显示装置，其中，包括：

一个以上的接口模块，接收包括车辆的前方图像的数据、包括车辆的当前位置的位置数据以及车辆的感测数据；

处理器，以与所述前方图像重叠的方式渲染AR图形界面，在所述AR图形界面中结合了显示车辆的行驶状态的第一AR对象和显示对于车辆的行驶状况的指引的第二AR对象；以及

显示器，根据所述渲染，显示重叠了所述AR图形界面的前方图像，

所述处理器响应于车辆进入到包括充电区域的停车区域，根据所述感测数据和所述停车区域的管制数据中的至少一种来搜索可停车区域，并更新所述AR图形界面，以从所述第一AR对象分离所述第二AR对象，通过所述第二AR对象向搜索到的所述可停车区域指引车辆。

2.根据权利要求1所述的AR显示装置，其中，

所述处理器在所述前方图像中在搜索到的所述可停车区域的位置渲染第三AR对象，所述第三AR对象显示为可选择搜索到的所述可停车区域，

所述处理器根据选择了与所述第三AR对象对应的可停车区域，更新所述AR图形界面，使得被分离的所述第二AR对象显示朝向在搜索到的所述可停车区域渲染的所述第三AR对象的指引。

3.根据权利要求1所述的AR显示装置，其中，

所述处理器根据车辆的当前位置和行驶状态来识别车辆进入到不可行驶方向，并根据所述识别来更新所述AR图形界面，以通过被分离的所述第二AR对象来显示表示警告的第一指引和表示可行驶方向的第二指引。

4.根据权利要求3所述的AR显示装置，其中，

所述处理器在所述可行驶方向的周边区域中基于所述感测数据和所述管制数据来重新搜索到的可停车区域的位置，将可选择的显示渲染在所述前方图像。

5.根据权利要求2所述的AR显示装置，其中，

所述处理器根据车辆靠近被选择的所述可停车区域的基准距离以内来确定车辆的可停车形态，并根据所述确定来更新所述AR图形界面，使得被分离的所述第二AR对象显示车辆要行驶的停车指引线。

6.根据权利要求5所述的AR显示装置，其中，

所述处理器根据确定的车辆的可停车形态，基于车辆的当前位置和被选择的可停车区域的位置来计算预测的后进行驶的变更点，在通过所述第一AR对象显示车辆的当前行驶方向和转向角的期间，通过被分离的所述第二AR对象显示朝向所述变更点的第一指引线，然后，根据与所述第一AR对象对应的车辆的当前位置靠近所述变更点，更新所述AR图形界面，以在车辆的后进方向上显示朝向被选择的所述停车区域的第二指引线。

7.根据权利要求1所述的AR显示装置，其中，

所述处理器响应于车辆进入到所述停车区域，根据所述感测数据和所述管制数据中的至少一种来确定车辆是否需要充电，根据所述确定来搜索所述停车区域内充电区域中的可充电区域，并将所述AR图形界面更新为在搜索到的可充电区域的位置渲染可选择的显示。

8.根据权利要求7所述的AR显示装置，其中，

所述处理器将所述AR图形界面更新为在所述前方图像显示对于搜索到的所述可充电区域的充电相关信息，所述充电相关信息包括充电方式和充电费用中的至少一种。

9.根据权利要求8所述的AR显示装置，其中，

所述处理器根据所述可充电区域的搜索失败，将所述AR图形界面更新为在所述前方图像显示对于以车辆的当前位置为基准的周边充电区域的各个剩余充电时间信息。

10.根据权利要求1所述的AR显示装置，其中，

所述处理器将所述AR图形界面更新为，所述第一AR对象以与车辆的行驶方向对应地旋转的方式显示，被分离的所述第二AR对象显示从与所述第一AR对象对应的车辆的当前位置朝搜索到的所述可停车区域的位置的指引轨迹。