CN112026648A - 基于车窗的兴趣点显示方法、系统、存储介质及车机端 - Google Patents

Abstract

本发明提供一种基于车窗的兴趣点显示方法、系统、存储介质及车机端，所述基于车窗的兴趣点显示方法包括：编辑用户的兴趣点查询命令，并将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；将行进方向上的兴趣点信息投影在所述投影位置上。本发明所述基于车窗的兴趣点显示方法、系统、存储介质及车机端实现了实景和虚拟场景状态可以灵活切换，视觉体验沉浸效果强，并且适用性广。

Description

基于车窗的兴趣点显示方法、系统、存储介质及车机端

技术领域

本发明属于车辆应用软件技术领域，涉及一种显示方法和系统，特别是涉及一种基于车窗的兴趣点显示方法、系统、存储介质及车机端。

背景技术

增强现实(Augmented Reality，AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如：视觉信息、听觉信息、味觉信息和触觉信息等等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

但是，目前的汽车上并没有将AR技术应用于车辆，在低速巡航模式下提供与用户兴趣点匹配的AR信息的功能，更无法在实景和虚拟场景之间进行切换。

因此，如何提供一种基于车窗的兴趣点显示方法、系统、存储介质及车机端，以解决现有技术不具备在低速巡航模式下提供与用户兴趣点匹配的AR信息的功能，及无法在实景和虚拟场景之间进行切换等缺陷，实已成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于车窗的兴趣点显示方法、系统、存储介质及车机端，用于解决现有技术不具备在低速巡航模式下提供与用户兴趣点匹配的AR信息的功能，及无法在实景和虚拟场景之间进行切换的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种基于车窗的兴趣点显示方法，包括：编辑用户的兴趣点查询命令，并将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；将行进方向上的兴趣点信息投影在所述投影位置上。

于本发明的一实施例中，所述编辑用户的兴趣点查询命令的步骤包括：接收用户的兴趣点；获取车辆的当前地理位置及车辆的导航路径；将用户的兴趣点、车辆的当前地理位置及车辆的导航路径编辑为用户的兴趣点查询命令。

于本发明的一实施例中，所述基于车窗的兴趣点显示方法的步骤还包括：检测车辆的前行速度；当所述前行速度低于一速度阈值，表示该车辆处于低速状态时，转入所述获取用户的头部位置，根据所述用户的头部位置，在车窗上确定投影位置的步骤。

于本发明的一实施例中，通过触发安装于车辆的头枕上的感应器，以接收所述AR激活指令。

于本发明的一实施例中，所述获取用户的头部位置，根据所述用户的头部位置，在车窗上确定投影位置的步骤包括：获取用户的座椅调节位置及座椅倾斜角，并通过映射转换头枕位置相对于车厢内的空间坐标位置，以确定用户的头部位置；将用户的头部位置定义为源点，并将源点分别与用户的左侧车窗的中点、用户的右侧车窗的中点及用户的前侧车窗的中点连接，确定用户的观察方向向量；获取用户眼睛的视线方向，并将用户眼睛的视线方向与用户的观察方向向量之间的范围确定为AR的视野范围；根据所述用户眼睛的视线方向与用户的左侧车窗、用户的右侧车窗或用户的前侧车窗的相交点，确定投影位置；判断车辆在行进方向上的兴趣点信息是否出现在所述AR的视野范围；若是，转入所述将行进方向上的兴趣点信息投影在所述投影位置上的步骤；若否，根据兴趣点信息，提示车辆前进或后退。

于本发明的一实施例中，通过车厢内视频和图像采集设备对用户进行面部识别和头部姿态识别，以获取用户眼睛的视线方向。

于本发明的一实施例中，采用抬头数字显示技术将兴趣点信息投影在所述投影位置上。

本发明另一方面提供一种基于车窗的兴趣点显示系统，包括：编辑模块，用于编辑用户的兴趣点查询命令；通信模块，用于将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；处理模块，用于在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；投影模块，用于将行进方向上的兴趣点信息投影在所述投影位置上。

本发明又一方面提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于车窗的兴趣点显示方法。

本发明最后一方面提供一种车机端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述车机端执行所述基于车窗的兴趣点显示方法。

如上所述，本发明的基于车窗的兴趣点显示方法、系统、存储介质及车机端，具有以下有益效果：

本发明所述基于车窗的兴趣点显示方法、系统、存储介质及车机端实现了实景和虚拟场景状态可以灵活切换，视觉体验沉浸效果强，并且适用性广。

附图说明

图1显示为本发明所应用的场景示意图。

图2显示为本发明的基于车窗的兴趣点显示方法于一实施例中的流程示意图。

图3显示为本发明的基于车窗的兴趣点显示方法中S24的流程示意图。

图4显示为线段AA1为用户眼睛的视线方向示意图。

图5显示为本发明的基于车窗的兴趣点显示系统于一实施例中的原理结构示意图。

元件标号说明

1 车辆

11 车机端

2 服务端

5 基于车窗的兴趣点显示系统

51 编辑模块

52 通信模块

53 检测模块

54 处理模块

55 投影模块

S1～Sn 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

本实施例提供一种基于车窗的兴趣点显示方法，包括：

编辑用户的兴趣点查询命令，并将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；

在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；

将行进方向上的兴趣点信息投影在所述投影位置上。

以下将结合图示对本实施例提供的基于车窗的兴趣点显示方法进行详细描述。本实施例所述基于车窗的兴趣点显示方法应用于如图1所示车辆1上的车机端11，且该车机端11与后台的服务端2通信链接。

请参阅图2，显示为基于车窗的兴趣点显示方法于一实施例中的流程示意图。如图2所示，所述基于车窗的兴趣点显示方法具体包括以下步骤：

S21，编辑用户的兴趣点查询命令，并将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息。所述兴趣点信息为车辆在行进方向上的兴趣点信息。所述兴趣点信息包括该兴趣点的GPS坐标，该兴趣点的详细介绍等信息。

所述编辑用户的兴趣点查询命令的步骤具体包括：接收用户的兴趣点；获取车辆的当前地理位置及车辆的导航路径；将用户的兴趣点、车辆的当前地理位置及车辆的导航路径编辑为用户的兴趣点查询命令。在本实施例中，通过输入语音信箱来接收用户的兴趣点，或者通过在车机端的触摸显示屏上输入用户的兴趣点。

用户的兴趣点，例如，行进方向上的美食、行进方向上的加油站、行进方向上的购物广场或行进方向上的在售楼盘等。

S22，检测车辆的前行速度，当所述前行速度低于一速度阈值(例如，速度阈值为30km/h)，表示该车辆处于低速状态时，转入S23。

S23，接收AR激活指令。在本实施例中，通过触发安装于车辆的头枕上的感应器(例如，待用户的头部贴合于所述头枕上，以触发该感应器，输出AR激活指令)，以接收所述AR激活指令。

S24，在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置。所述投影位置为用户的左侧车窗、用户的右侧车窗或用户的前侧车窗上的任意位置。请参阅图3，显示为S24于一实施例中的流程示意图。如图3所示，所述S24具体包括以下步骤：

S241，获取用户的座椅调节位置及座椅倾斜角，并通过映射转换头枕位置相对于车厢内的空间坐标位置，以确定用户的头部位置。

例如，驾驶员座位调节为+3.0cm，座椅仰角75°，将座椅调节位置及座椅倾斜角映射至相对于车厢内的三维坐标内，并转换出相对于车厢内座椅的空间坐标位置(x,y,z)，再根据座椅与头枕的位置关系，推算出头枕空间位置，以确定用户的头部位置。

S242，将用户的头部位置定义为源点，并将源点分别与用户的左侧车窗的中点、用户的右侧车窗的中点及用户的前侧车窗的中点连接，确定用户的观察方向向量；

S243，获取用户眼睛的视线方向，并将用户眼睛的视线方向与用户的观察方向向量之间的范围确定为AR的视野范围。

具体地，通过车厢内视频和图像采集设备对用户进行面部识别和头部姿态识别，以获取用户眼睛的视线方向。

例如，根据面部识别出眼睛视线的投射方向，根据头部姿态识别头部扭转方向，推知用户眼睛的视线方向。

在本实施例中，基于用户眼睛的视线方向和用户的观察方向向量运用现有AR的3D运算技术，确定AR的视野范围。

S244，根据所述用户眼睛的视线方向与用户的左侧车窗、用户的右侧车窗或用户的前侧车窗的相交点，确定投影位置，例如，图4显示的线段AA1为用户眼睛的视线方向，线段AA1相交在用户的左侧车窗上，线段AA1与用户的左侧车窗的相交点附近则确定为用于投影兴趣点信息的投影位置。

S245，判断车辆在行进方向上的兴趣点信息是否出现在所述AR的视野范围；若是，转入S25；若否，则执行S246，即根据兴趣点信息，提示车辆前进或后退。

在本实施例中，根据车身姿态角度，车辆的当前GPS坐标及兴趣点的GPS坐标，判断车辆在行进方向上的兴趣点信息是否出现在所述AR的视野范围。

S25，将行进方向上的兴趣点信息投影在所述投影位置上。在本实施例中，若感测到用户在头枕上未转动，则表示用户在凝视某一兴趣点，将行进方向上的兴趣点信息从左侧/右侧前窗移至左侧/右侧后窗。

本实施例所述基于车窗的兴趣点显示方法的应用场景如下：

用户想搜索找到想要的兴趣点，比如通过语音命令发出一条查询附近兴趣点的命令，如“附近的美食”，并在低速巡航状态下，比如20KM/h，用户将头部贴靠感应头枕上，激活车窗AR兴趣点功能，随着用户目视方向，道路两侧匹配的店家信息纷纷显示在车窗上，比如车辆右侧有一个西餐店，驾车人就能通过右前车窗看到该店的信息，比如消费均价，招牌菜、评分等。随着车辆的缓缓前行，如果用户凝视该店的话，该AR信息会从右前窗移至右后窗，如果用户目视前方，侧会在前挡玻璃右侧显示右前方下一家匹配店家的AR信息。

本实施例还提供一种存储介质(计算机可读存储介质)，其上存储有计算机程序，该程序被处理器执行上述基于车窗的兴趣点显示方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例所述基于车窗的兴趣点显示方法实现了实景和虚拟场景状态可以灵活切换，视觉体验沉浸效果强，并且适用性广。

实施例二

本实施例提供一种基于车窗的兴趣点显示系统，包括：

编辑模块，用于编辑用户的兴趣点查询命令；

通信模块，用于将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；

处理模块，用于在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；

投影模块，用于将行进方向上的兴趣点信息投影在所述投影位置上。

以下将结合图示对本实施例所提供的基于车窗的兴趣点显示系统进行详细描述。需要说明的是，应理解以下兴趣点显示系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以下x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以下各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以下这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以下某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

请参阅图5，显示为基于车窗的兴趣点显示系统于一实施例中的原理结构示意图。如图5所示，所述基于车窗的兴趣点显示系统5包括：编辑模块51、通信模块52、检测模块53、处理模块54及投影模块55。

所述编辑模块51用于编辑用户的兴趣点查询命令。

所述编辑用户的兴趣点查询命令的步骤具体包括：接收用户的兴趣点；获取车辆的当前地理位置及车辆的导航路径；将用户的兴趣点、车辆的当前地理位置及车辆的导航路径编辑为用户的兴趣点查询命令。

所述用户的兴趣点，例如，行进方向上的美食、行进方向上的加油站、行进方向上的购物广场或行进方向上的在售楼盘等。

与所述编辑模块51耦合的通信模块52用于将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息。所述兴趣点信息为车辆在行进方向上的兴趣点信息。所述兴趣点信息包括该兴趣点的GPS坐标，该兴趣点的详细介绍等信息。

与所述编辑模块51和通信模块52耦合的检测模块53用于检测车辆的前行速度，当所述前行速度低于一速度阈值(例如，速度阈值为30km/h)，表示该车辆处于低速状态时，直接调用所述处理模块54。

所述处理模块54用于接收AR激活指令。在本实施例中，通过触发安装于车辆的头枕上的感应器(例如，待用户的头部贴合于所述头枕上，以触发该感应器，输出AR激活指令)，以接收所述AR激活指令。

所述处理模块54在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置。所述投影位置为用户的左侧车窗、用户的右侧车窗或用户的前侧车窗上的任意位置。

所述处理模块54具体用于获取用户的座椅调节位置及座椅倾斜角，并通过映射转换头枕位置相对于车厢内的空间坐标位置，以确定用户的头部位置；将用户的头部位置定义为源点，并将源点分别与用户的左侧车窗的中点、用户的右侧车窗的中点及用户的前侧车窗的中点连接，确定用户的观察方向向量；获取用户眼睛的视线方向，并将用户眼睛的视线方向与用户的观察方向向量之间的范围确定为AR的视野范围；根据所述用户眼睛的视线方向与用户的左侧车窗、用户的右侧车窗或用户的前侧车窗的相交点，确定投影位置，例如，图4显示的线段AA1为用户眼睛的视线方向，线段AA1相交在用户的左侧车窗上，线段AA1与用户的左侧车窗的相交点附近则确定为用于投影兴趣点信息的投影位置；判断车辆在行进方向上的兴趣点信息是否出现在所述AR的视野范围；若是，调用所述投影模块55；若否，根据兴趣点信息，提示车辆前进或后退。

所述投影模块55用于将行进方向上的兴趣点信息投影在所述投影位置上。在本实施例中，若感测到用户在头枕上未转动，则表示用户在凝视某一兴趣点，将行进方向上的兴趣点信息从左侧/右侧前窗移至左侧/右侧后窗。

实施例三

本实施例提供一种车机端，所述车机端包括：处理器、存储器、收发器、通信接口和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使所述车机端执行如实施例一所述方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明所述基于车窗的兴趣点显示方法、系统、存储介质及车机端实现了实景和虚拟场景状态可以灵活切换，视觉体验沉浸效果强，并且适用性广。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于车窗的兴趣点显示方法，其特征在于，包括：

编辑用户的兴趣点查询命令，并将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；

在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；

将行进方向上的兴趣点信息投影在所述投影位置上。

2.根据权利要求1所述的基于车窗的兴趣点显示方法，其特征在于，所述编辑用户的兴趣点查询命令的步骤包括：

接收用户的兴趣点；

获取车辆的当前地理位置及车辆的导航路径；

将用户的兴趣点、车辆的当前地理位置及车辆的导航路径编辑为用户的兴趣点查询命令。

3.根据权利要求1所述的基于车窗的兴趣点显示方法，其特征在于，所述基于车窗的兴趣点显示方法的步骤还包括：

检测车辆的前行速度；

当所述前行速度低于一速度阈值，表示该车辆处于低速状态时，转入所述获取用户的头部位置，根据所述用户的头部位置，在车窗上确定投影位置的步骤。

4.根据权利要求1所述的基于车窗的兴趣点显示方法，其特征在于，通过触发安装于车辆的头枕上的感应器，以接收所述AR激活指令。

5.根据权利要求4所述的基于车窗的兴趣点显示方法，其特征在于，所述获取用户的头部位置，根据所述用户的头部位置，在车窗上确定投影位置的步骤包括：

获取用户的座椅调节位置及座椅倾斜角，并通过映射转换头枕位置相对于车厢内的空间坐标位置，以确定用户的头部位置；

将用户的头部位置定义为源点，并将源点分别与用户的左侧车窗的中点、用户的右侧车窗的中点及用户的前侧车窗的中点连接，确定用户的观察方向向量；

获取用户眼睛的视线方向，并将用户眼睛的视线方向与用户的观察方向向量之间的范围确定为AR的视野范围；

根据所述用户眼睛的视线方向与用户的左侧车窗、用户的右侧车窗或用户的前侧车窗的相交点，确定投影位置；

判断车辆在行进方向上的兴趣点信息是否出现在所述AR的视野范围；若是，转入所述将行进方向上的兴趣点信息投影在所述投影位置上的步骤；若否，根据兴趣点信息，提示车辆前进或后退。

6.根据权利要求5所述的基于车窗的兴趣点显示方法，其特征在于，通过车厢内视频和图像采集设备对用户进行面部识别和头部姿态识别，以获取用户眼睛的视线方向。

7.根据权利要求1所述的基于车窗的兴趣点显示方法，其特征在于，采用抬头数字显示技术将兴趣点信息投影在所述投影位置上。

8.一种基于车窗的兴趣点显示系统，其特征在于，包括：

编辑模块，用于编辑用户的兴趣点查询命令；

通信模块，用于将所述兴趣点查询命令反馈至与车机端通信链接的服务端，以接收所述服务端反馈的与所述查询指令相关的兴趣点信息；所述兴趣点信息为车辆在行进方向上的兴趣点信息；

处理模块，用于在接收到AR激活指令后，获取用户的头部位置，并根据所述用户的头部位置，在车窗上确定投影位置；

投影模块，用于将行进方向上的兴趣点信息投影在所述投影位置上。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述基于车窗的兴趣点显示方法。

10.一种车机端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述车机端执行如权利要求1至7中任一项所述基于车窗的兴趣点显示方法。

Images