CN114839782B - 一种用于车辆控制与信息显示的车载增强显示系统 - Google Patents

一种用于车辆控制与信息显示的车载增强显示系统 Download PDF

Info

Publication number
CN114839782B
CN114839782B CN202210639096.0A CN202210639096A CN114839782B CN 114839782 B CN114839782 B CN 114839782B CN 202210639096 A CN202210639096 A CN 202210639096A CN 114839782 B CN114839782 B CN 114839782B
Authority
CN
China
Prior art keywords
vehicle
control
key
glasses
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210639096.0A
Other languages
English (en)
Other versions
CN114839782A (zh
Inventor
王书达
董赟瑜
董培元
曲志鹏
吴海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Volkswagen Automotive Co Ltd
Original Assignee
SAIC Volkswagen Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Volkswagen Automotive Co Ltd filed Critical SAIC Volkswagen Automotive Co Ltd
Priority to CN202210639096.0A priority Critical patent/CN114839782B/zh
Publication of CN114839782A publication Critical patent/CN114839782A/zh
Application granted granted Critical
Publication of CN114839782B publication Critical patent/CN114839782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用于车辆控制与信息显示的车载增强显示系统。该制动系统包括车辆功能控制器,包括车辆各功能模块的电子功能控制器,电子功能控制器用于监控和/或控制各功能模块的工作状态;车辆数据采集终端,包括CANFD模块,CANFD模块通过CAN总线与车辆功能控制器互联;车载AR眼镜;移动通讯单元,与车辆数据采集终端和车载AR眼镜形成数据传输网络,移动通讯单元用于实现车辆数据采集终端和车载AR眼镜之间的双向数据传输。本发明提出了一种用于车辆控制与信息显示的车载增强显示系统,能让车辆上的所有乘员了解车辆信息以及进行车辆功能控制,提升乘车体验。

Description

一种用于车辆控制与信息显示的车载增强显示系统
技术领域
本发明涉及车辆制造技术领域,尤其涉及一种用于车辆控制与信息显示的车载增强显示系统。
背景技术
目前,现有主流车型的车辆电器功能通过实体物理按键或虚拟触碰按键控制,而行驶信息、车况信息、路面信息等均通过液晶仪表或屏幕显示。这些功能控制与信息显示区域围绕着驾驶员的使用习惯来设计,主要集成在仪表板及中央通道的周围,方便驾驶员的观察与操控。这样的布局使车内其他乘客无法灵活、舒适、自由的控制车辆的众多电器功能,同时除了驾驶员外其他乘客也无法获取车辆行驶、车辆状态的相关信息,无法迅速帮助驾驶员提供行驶方案或快速解决和处置车辆的突发情况。随着增强现实技术逐渐发展成熟,有机会对现有问题进行系统性的革新,为车内乘客提供全新的体验与服务。
通常来讲,就车辆功能控制方面,很多车辆提供了语音控制功能从而使某些控制命令可以摆脱车内布局或距离的限制。用户在通过语音指令对车辆功能进行控制的时候,一方面自己发出的声音会受到车内音乐/其他乘客声音/路面噪音的多重影响,同时由于语音识别系统的自身技术限制,系统也会产生对杂音、方言、口音等问题带来的识别错误,另外由于是通过声音控制,无法满足操纵者的私密性,也无法保持安静的车内环境。但语音命令的识别和响应总是差强人意,多次识别未果可能会导致用户的弃用与质疑,同时会对用户的隐私与车内安静环境造成影响。而有些车型或提供后排屏幕以满足后排乘客对娱乐、舒适性的需求,但由于成本与布置的局限性,无法实现与前排中控屏同样的功能与效果。
就信息显示来说,有些车型配备了HUD(head-up display,抬头显示设备)来显示必要的驾驶信息,而利用HUD的方式来解决驾驶者对于行驶信息便捷获取的需求,信息显示的位置相对车辆是固定的,除了驾驶员外,其他乘客无法观察到。且HUD显示的信息较少,且不具备自主选择信号与每个信号图标单独编辑尺寸、大小的灵活性。无法满足例如后排乘客对车辆路线的了解与掌握。
发明内容
针对现有技术的上述问题,本发明提出了一种用于车辆控制与信息显示的车载增强显示系统,能让车辆上的所有乘员了解车辆信息以及进行车辆功能控制,提升乘车体验。
具体地,本发明提出了一种用于车辆控制与信息显示的车载增强显示系统,包括:
车辆功能控制器,包括车辆各功能模块的电子功能控制器,所述电子功能控制器用于监控和/或控制各功能模块的工作状态;
车辆数据采集终端,包括CANFD模块,所述CANFD模块通过CAN总线与所述车辆功能控制器互联;
车载AR眼镜;
移动通讯单元,与所述车辆数据采集终端和车载AR眼镜形成数据传输网络,所述移动通讯单元用于实现所述车辆数据采集终端和车载AR眼镜之间的双向数据传输;
其中,所述车载AR眼镜周期性地通过所述车辆数据采集终端采集所述车辆功能控制器生成的工作状态信息,并将所述工作状态信息投射到所述车载AR眼镜的镜片上;所述车载AR眼镜能通过其佩戴者的手势操作生成控制指令,所述控制指令通过移动通讯单元和车辆数据采集终端发送到对应的电子功能控制器,所述电子功能控制器根据所述控制指令来控制各功能模块的工作状态。
根据本发明的一个实施例,所述车载AR眼镜包括车辆信息显示模块、车辆功能控制模块和摄像单元,所述车辆信息显示模块能对所述车辆功能控制器中的电子功能控制器所对应的UI图形进行驱动,将收到的工作状态信息转换为所述车辆功能控制器中的电子功能控制器所对应的UI图形和文字投射到所述镜片;所述车辆功能控制模块包含预定义的所述电子功能控制器对应的虚拟操控键,所述车辆功能控制模块能对所述虚拟操控键对应的UI图形进行驱动,所述车辆功能控制模块将所述虚拟操控键投射到所述镜片,所述摄像单元用于捕获、分析和识别对虚拟操控键的手势操作,并生成对所述电子功能控制器的控制指令,所述控制指令被发送到所述电子功能控制器以进行实时控制。
根据本发明的一个实施例,每个所述虚拟操控键与一个电子功能控制器及其工作状态对应;所述虚拟操控键包括虚拟按键和虚拟滑块,所述虚拟按键用于表示具有两个工作状态的电子功能控制器,所述虚拟滑块用于表示具有多个工作状态的电子功能控制器;
所述虚拟按键在所述镜片上显示为一个按键,通过按键的颜色色彩变化、颜色亮度变化或闪烁方式来表示开启或关闭的两种工作状态;所述虚拟滑块在所述镜片上显示为一个在有限长度的可滑动区域内的一个滑块,所述滑块在所述可滑动区域内滑动,通过滑块和/或可滑动区域的颜色色彩变化、颜色亮度变化或闪烁频率变化方式表示多个不同的工作状态。
根据本发明的一个实施例,生成所述控制指令的步骤包括:
在所述镜片上显示所述虚拟操控键;
捕捉手势操作中的手部关键节点的运动信号;
根据手部关键节点的运动信号与所述虚拟操控键的位置关系以及对应时长以生成所述控制指令。
根据本发明的一个实施例,捕捉手势操作中的手部关键节点的运动信号的步骤包括:
驱动预先在车载AR眼镜中搭建的两只模型手,对两只模型手的各个关键节点进行定义;
捕捉手部的关键节点的三坐标位置、手掌朝向和转动角度。
根据本发明的一个实施例,若手部的关键节点与按键的距离关系小于第一设定阈值,则进入计时阶段,若计时时长大于第二设定阈值,则确定虚拟按键的工作状态发生改变,生成对应的控制指令。
根据本发明的一个实施例,若手部的关键节点与滑块的距离关系小于第三设定阈值,则进入计时阶段,若计时时长大于第四设定阈值,则确定滑块被激活,所述滑块的位置将跟随手部的关键节点的三坐标位置移动;
所述可滑动区域内划分为多个档位,多个档位与所述虚拟滑块的多个工作状态一一对应,在所述滑块被激活状态下,若所述滑块距离某一档位的距离小于第五设定阈值,则所述滑块将自动吸附至该档位,所述滑块暂不跟随手部的关键节点的三坐标位置移动;当该距离大于第五设定阈值,所述滑块跟随手部的关键节点的三坐标位置移动;
在所述滑块被激活状态下,周期性地计算手部的关键节点与滑块的距离关系,若手部的关键节点与滑块的距离关系小于第三设定阈值,则进入计时阶段,若计时时长大于第六设定阈值,则确定滑块进入未激活状态,所述滑块自动落入最近距离的档位,根据当前档位生成对应的控制指令。
根据本发明的一个实施例,所述车辆数据采集终端还包括Wi-Fi模块,所述车辆数据采集终端通过所述Wi-Fi模块与移动通讯单元进行数据交互。
根据本发明的一个实施例,所述车辆数据采集终端设置在车辆的副驾侧手套箱内,所述移动通讯单元设置在车辆的中央扶手内。
根据本发明的一个实施例,每个所述车载AR眼镜具有独立IP,每个所述车载AR眼镜的佩戴者能通过所述车载AR眼镜获取车辆功能控制器的工作状态信息并能对车辆功能控制器进行控制,每个所述车载AR眼镜的佩戴者还能观察到其它车载AR眼镜的使用画面。
本发明提供的本发明提出了一种用于车辆控制与信息显示的车载增强显示系统,基于增强现实技术,能让车辆上的所有乘员了解车辆信息以及进行车辆功能控制,提升乘车体验。
应当理解,本发明以上的一般性描述和以下的详细描述都是示例性和说明性的,并且旨在为如权利要求所述的本发明提供进一步的解释。
附图说明
包括附图是为提供对本发明进一步的理解,它们被收录并构成本申请的一部分,附图示出了本发明的实施例,并与本说明书一起起到解释本发明原理的作用。附图中:
图1示出了本发明的一个实施例的用于车辆控制与信息显示的车载增强显示系统的结构示意图。
图2示出了本发明的另一个实施例的生成控制指令的流程框图。
图3示出了本发明的另一个实施例的用于车辆控制与信息显示的车载增强显示系统的结构示意图。
其中,上述附图包括以下附图标记:
车载增强显示系统 100
车辆功能控制器 101
车辆数据采集终端 102
车载AR眼镜 103
移动通讯单元 104
CANFD模块 105
车辆信息显示模块 106
车辆功能控制模块 107
摄像单元 108
Wi-Fi模块 109
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
在本申请的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本申请保护范围的限制;方位词“内、外”是指相对于各部件本身的轮廓的内外。
此外,需要说明的是,使用“第一”、“第二”等词语来限定零部件,仅仅是为了便于对相应零部件进行区别,如没有另行声明,上述词语并没有特殊含义,因此不能理解为对本申请保护范围的限制。此外,尽管本申请中所使用的术语是从公知公用的术语中选择的,但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的,其详细含义在本文的描述的相关部分中说明。此外,要求不仅仅通过所使用的实际术语,而是还要通过每个术语所蕴含的意义来理解本申请。
图1示出了本发明的一个实施例的用于车辆控制与信息显示的车载增强显示系统的结构示意图。如图所示,一种用于车辆控制与信息显示的车载增强显示系统100主要包括车辆功能控制器101、车辆数据采集终端102、车载AR眼镜103和移动通讯单元104。
其中,车辆功能控制器101包括车辆各功能模块的电子功能控制器。电子功能控制器用于监控和/或控制各功能模块的工作状态。例如,车辆空调控制器、氛围灯控制器或座椅控制器等。作为举例而非限制,车辆功能控制器101还可以包括各类传感器,例如温度传感器、车速传感器,以获取车辆的温度和速度信息等。
车辆数据采集终端102包括CANFD模块105。CANFD模块105通过CAN总线与车辆功能控制器101互联。
移动通讯单元104与车辆数据采集终端102和车载AR眼镜103形成数据传输网络。移动通讯单元104用于实现车辆数据采集终端102和车载AR眼镜103之间的双向数据传输。
其中,车载AR眼镜103周期性地通过车辆数据采集终端102采集车辆功能控制器101生成的工作状态信息,并将工作状态信息投射到车载AR眼镜103的镜片上。易于理解的,车辆上的任一乘员,作为车载AR眼镜103的佩戴者可以方便地看到车辆的工作状态信息。进一步的,乘员还能通过手势操作生成控制指令,该控制指令通过移动通讯单元104和车辆数据采集终端102发送到对应的电子功能控制器。电子功能控制器根据控制指令来控制各功能模块的工作状态,例如实现对座椅和车窗的调控。
本发明提供的一种用于车辆控制与信息显示的车载增强显示系统100,车辆上的电子功能控制器通过CAN总线周期性的发送包含工作状态的报文,车辆数据采集终端102采集并解码报文,将工作状态信息通过数据传输网络传送到车载AR眼镜103,使佩戴车载AR眼镜103的乘员可以观察到车辆功能控制器101的工作状态信息。乘员还能依据特定交互方式,通过车载AR眼镜103结合手势操作生成对电子功能控制器的控制指令,该控制指令通过数据传输网络发送到车辆数据采集终端102,在车辆数据采集终端102进行序列化形成CAN总线报文并发送到对应的电子功能控制器,电子功能控制器根据指令要求实施控制。需要说明的是,车辆功能控制器101发送包含工作状态的报文的周期一般为0.5~1s。
较佳地,车载AR眼镜103包括车辆信息显示模块106、车辆功能控制模块107和摄像单元108。车辆信息显示模块106能对车辆功能控制器101中的电子功能控制器所对应的UI图形进行驱动,将收到的工作状态信息转换为车辆功能控制器101中的电子功能控制器所对应的UI图形和文字投射到镜片,以使车载AR眼镜103的佩戴者观察到车辆信息。车辆功能控制模块107包含预定义的电子功能控制器对应的虚拟操控键,车辆功能控制模块107能对虚拟操控键对应的UI图形进行驱动,车辆功能控制模块107将虚拟操控键投射到镜片。摄像单元108用于捕获、分析和识别对虚拟操控键的手势操作,并生成对电子功能控制器的控制指令。控制指令被发送到电子功能控制器以进行实时控制。
较佳地,车载AR眼镜103还包括通讯单元、处理计算单元和存储单元。通讯单元用于支持设备的网络通讯,满足数据传输需求。处理计算单元用于协助车辆信息显示模块106以及车辆功能控制模块107中的计算运行。存储单元用于存放车辆信息显示模块106以及车辆功能控制模块107的预支内容。
较佳地,每个虚拟操控键与一个电子功能控制器及其工作状态对应;虚拟操控键包括虚拟按键和虚拟滑块,虚拟按键用于表示具有两个工作状态的电子功能控制器,虚拟滑块用于表示具有多个工作状态的电子功能控制器。
虚拟按键在镜片上显示为一个按键,通过按键的颜色色彩变化、颜色亮度变化或闪烁方式来表示开启或关闭的两种工作状态。对虚拟按键的手势操作可以理解为鼠标点击,以使按键在两种工作状态下切换。虚拟滑块在镜片上显示为包含在一个在有限长度的可滑动区域内的一个滑块,滑块在可滑动区域内滑动,通过滑块和/或可滑动区域的颜色色彩变化、颜色亮度变化或闪烁频率变化方式表示多个不同的工作状态。对虚拟滑块的手势操作可以理解为鼠标拖拉滑动操作,滑块到达可滑动区域的不同位置代表不同工作状态,通过手势操作对滑块的拖动以使滑块在多种工作状态下切换。
图2示出了本发明的另一个实施例的生成控制指令的流程框图。较佳地,生成控制指令的步骤包括:
在镜片上显示虚拟操控键。车辆功能控制模块107能对虚拟操控键对应的UI图形进行驱动,在镜片上集成显示一个或多个虚拟操控键,通过虚拟操控键与乘员的手势操作进行交互。车辆功能控制模块107结合所收到的对应电子功能控制器的工作状态,使镜片上显示的虚拟操控键能反应当前的工作状态。
捕捉手势操作中的手部关键节点的运动信号;
根据手部关键节点的运动信号与虚拟操控键的位置关系以及对应时长以生成控制指令。
较佳地,捕捉手势操作中的手部关键节点的运动信号的步骤包括:
驱动预先在车载AR眼镜103中搭建的两只模型手,包括左手和右手,对两只模型手的各个关键节点进行定义。
通过搭建的模型来捕捉手部的关键节点的三坐标位置、手掌朝向和转动角度。
较佳地,若手部的关键节点与按键的距离关系小于第一设定阈值,则进入计时阶段,若计时时长大于第二设定阈值,则确定虚拟按键的工作状态发生改变,生成对应的控制指令。容易理解的,若手部的关键节点与按键的距离关系小于第一设定阈值,相当于鼠标移动到按键,使按键被激活,计时时长大于第二设定阈值,相当于点击鼠标,使虚拟按键的工作状态改变,通常是从开启状态转换为关闭状态或由关闭状态转换为开启状态,通常以亮色代表按键的开启状态,以暗色代表按键的关闭状态。由最终的工作状态生成对电子功能控制器的控制指令。若手部的关键节点与按键的距离关系不小于第一设定阈值,或计时时长不大于第二设定阈值,均视为无效状态,即不予按键发生交互关系。
较佳地,若手部的关键节点与滑块的距离关系小于第三设定阈值,则进入计时阶段,若计时时长大于第四设定阈值,则确定滑块被激活,滑块的位置将跟随手部的关键节点的三坐标位置移动。依照鼠标拉动滑块的方式来理解,若手部的关键节点与滑块的距离关系小于第三设定阈值,相当于鼠标移动到了滑块的位置,若计时时长大于第四设定阈值,相当于与点击鼠标,激活该滑块,使滑块处于鼠标可拉动的状态。若手部的关键节点与滑块的距离关系不小于第三设定阈值,或计时时长不大于第四设定阈值,均视为无效状态,即滑块不会进入激活状态。
可滑动区域内划分为多个档位,多个档位与虚拟滑块映射的电子功能控制器的多个工作状态一一对应。在滑块被激活状态下,若滑块被拉动到距离某一档位的距离小于第五设定阈值,则滑块将自动吸附至该档位位置,此时滑块暂不跟随手部的关键节点的三坐标位置移动;当该距离大于第五设定阈值,滑块跟随手部的关键节点的三坐标位置移动。
在滑块被激活状态下,周期性地计算手部的关键节点与滑块的距离关系,若手部的关键节点与滑块的距离关系小于第三设定阈值,则进入计时阶段,若计时时长大于第六设定阈值,则确定滑块进入未激活状态,滑块自动落入最近距离的档位,根据当前档位生成对应的电子功能控制器的控制指令。若手部的关键节点与滑块的距离关系不小于第三设定阈值,或计时时长不大于第六设定阈值,均视为无效状态,即不予虚拟滑块发生交互关系。
较佳地,当控制指令由电子功能控制器执行完成后,电子功能控制器将当前的工作状态生成报文发送到车辆数据采集终端102采集,经解码后工作状态信息通过数据传输网络传送到车载AR眼镜103,并由车辆功能控制模块107显示到当前的虚拟操控键上,使佩戴车载AR眼镜103的乘员可以观察该虚拟操控键的实时工作状态。
较佳地,车辆数据采集终端102还包括Wi-Fi模块109,车辆数据采集终端102通过Wi-Fi模块109与移动通讯单元104进行数据交互。更佳地,车辆数据采集终端102还包括供电模块,供电模块主要负责对CANFD模块105、Wi-Fi模块109等负载提供供电,供电模块通过链接车辆12V电源进行供电工作。
图3示出了本发明的另一个实施例的用于车辆控制与信息显示的车载增强显示系统的结构示意图。较佳地,车辆数据采集终端102设置在车辆的副驾侧手套箱内,移动通讯单元104设置在车辆的中央扶手内。由于采用了本发明的车载增强显示系统100,能够取消现有车辆的传统仪表和控制器,而且将车辆数据采集终端102和移动通讯单元104布置在手套箱和扶手内,能进一步节省大量的车内空间,提升车辆乘员的舒适性。
较佳地,车载增强显示系统100能使用多个车载AR眼镜103。每个车载AR眼镜103具有独立IP,通过独立IP以用来识别和标定数据的传输与分类;且每个车载AR眼镜103还具有局部位置确定及标记模块,用于标记其他每个车载AR眼镜103的佩戴者并加以标记与提醒。每个车载AR眼镜103的佩戴者能通过车载AR眼镜103获取车辆功能控制器101的工作状态信息并能对车辆功能控制器101进行控制,每个车载AR眼镜103的佩戴者还能观察到其它车载AR眼镜103的使用画面。
较佳地,车载AR眼镜103还包括重力传感器、陀螺仪和加速度传感器。车载AR眼镜103通过重力传感器、陀螺仪和加速度传感器来计算其佩戴者头部变化以调节车载AR眼镜103在镜片上的画面显示位置,使得画面能相对车辆保持静止状态,便于乘员观察车辆信息,同时便于乘员实施对车辆功能控制器101的手势操作。
本发明提供的一种用于车辆控制与信息显示的车载增强显示系统具有如下优点:
1)使用车辆AR眼镜实现控制车辆功能、观察车辆信息,彻底摆脱了车辆内物理屏幕、物理按键的硬件束缚,方便了乘员的识别与操控。
(2)全部乘员均可以了解车辆信息、控制车辆功能,打破了原有的车辆功能前后排乘员的空间限制,特别为后排乘客提供更加舒适、便捷的车内交互体验。
(3)取消传统的仪表与控制器,为车辆造型增加更多可能性;
(4)节省车内空间,为乘员提供更大的活动空间;
(5)集成了诸多功能,合多为一,降低车辆软硬件成本。
本领域技术人员可显见,可对本发明的上述示例性实施例进行各种修改和变型而不偏离本发明的精神和范围。因此,旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改和变型。

Claims (7)

1.一种用于车辆控制与信息显示的车载增强显示系统,包括:
车辆功能控制器,包括车辆各功能模块的电子功能控制器,所述电子功能控制器用于监控和/或控制各功能模块的工作状态;
车辆数据采集终端,包括CANFD模块,所述CANFD模块通过CAN总线与所述车辆功能控制器互联;
车载AR眼镜;
移动通讯单元,与所述车辆数据采集终端和车载AR眼镜形成数据传输网络,所述移动通讯单元用于实现所述车辆数据采集终端和车载AR眼镜之间的双向数据传输;
其中,所述车载AR眼镜周期性地通过所述车辆数据采集终端采集所述车辆功能控制器生成的工作状态信息,并将所述工作状态信息投射到所述车载AR眼镜的镜片上;所述车载AR眼镜能通过其佩戴者的手势操作生成控制指令,所述控制指令通过移动通讯单元和车辆数据采集终端发送到对应的电子功能控制器,所述电子功能控制器根据所述控制指令来控制各功能模块的工作状态;
所述车载AR眼镜包括车辆信息显示模块、车辆功能控制模块和摄像单元,所述车辆信息显示模块能对所述车辆功能控制器中的电子功能控制器所对应的UI图形进行驱动,将收到的工作状态信息转换为所述车辆功能控制器中的电子功能控制器所对应的UI图形和文字投射到所述镜片;所述车辆功能控制模块包含预定义的所述电子功能控制器对应的虚拟操控键,所述车辆功能控制模块能对所述虚拟操控键对应的UI图形进行驱动,所述车辆功能控制模块将所述虚拟操控键投射到所述镜片,所述摄像单元用于捕获、分析和识别对虚拟操控键的手势操作,并生成对所述电子功能控制器的控制指令,所述控制指令被发送到所述电子功能控制器以进行实时控制;
每个所述虚拟操控键与一个电子功能控制器及其工作状态对应;所述虚拟操控键包括虚拟按键和虚拟滑块,所述虚拟按键用于表示具有两个工作状态的电子功能控制器,所述虚拟滑块用于表示具有多个工作状态的电子功能控制器;
所述虚拟按键在所述镜片上显示为一个按键,通过按键的颜色色彩变化、颜色亮度变化或闪烁方式来表示开启或关闭的两种工作状态;所述虚拟滑块在所述镜片上显示为一个在有限长度的可滑动区域内的一个滑块,所述滑块在所述可滑动区域内滑动,通过滑块和/或可滑动区域的颜色色彩变化、颜色亮度变化或闪烁频率变化方式表示多个不同的工作状态;
若手部的关键节点与滑块的距离关系小于第三设定阈值,则进入计时阶段,若计时时长大于第四设定阈值,则确定滑块被激活,所述滑块的位置将跟随手部的关键节点的三坐标位置移动;
所述可滑动区域内划分为多个档位,多个档位与所述虚拟滑块的多个工作状态一一对应,在所述滑块被激活状态下,若所述滑块距离某一档位的距离小于第五设定阈值,则所述滑块将自动吸附至该档位,所述滑块暂不跟随手部的关键节点的三坐标位置移动;当该距离大于第五设定阈值,所述滑块跟随手部的关键节点的三坐标位置移动;
在所述滑块被激活状态下,周期性地计算手部的关键节点与滑块的距离关系,若手部的关键节点与滑块的距离关系小于第三设定阈值,则进入计时阶段,若计时时长大于第六设定阈值,则确定滑块进入未激活状态,所述滑块自动落入最近距离的档位,根据当前档位生成对应的控制指令。
2.如权利要求1所述的用于车辆控制与信息显示的车载增强显示系统,其特征在于,生成所述控制指令的步骤包括:
在所述镜片上显示所述虚拟操控键;
捕捉手势操作中的手部关键节点的运动信号;
根据手部关键节点的运动信号与所述虚拟操控键的位置关系以及对应时长以生成所述控制指令。
3.如权利要求2所述的用于车辆控制与信息显示的车载增强显示系统,其特征在于,捕捉手势操作中的手部关键节点的运动信号的步骤包括:
驱动预先在车载AR眼镜中搭建的两只模型手,对两只模型手的各个关键节点进行定义;
捕捉手部的关键节点的三坐标位置、手掌朝向和转动角度。
4.如权利要求3所述的用于车辆控制与信息显示的车载增强显示系统,其特征在于,若手部的关键节点与按键的距离关系小于第一设定阈值,则进入计时阶段,若计时时长大于第二设定阈值,则确定虚拟按键的工作状态发生改变,生成对应的控制指令。
5.如权利要求1所述的用于车辆控制与信息显示的车载增强显示系统,其特征在于,所述车辆数据采集终端还包括Wi-Fi模块,所述车辆数据采集终端通过所述Wi-Fi模块与移动通讯单元进行数据交互。
6.如权利要求1所述的用于车辆控制与信息显示的车载增强显示系统,其特征在于,所述车辆数据采集终端设置在车辆的副驾侧手套箱内,所述移动通讯单元设置在车辆的中央扶手内。
7.如权利要求1所述的用于车辆控制与信息显示的车载增强显示系统,其特征在于,每个所述车载AR眼镜具有独立IP,每个所述车载AR眼镜的佩戴者能通过所述车载AR眼镜获取车辆功能控制器的工作状态信息并能对车辆功能控制器进行控制,每个所述车载AR眼镜的佩戴者还能观察到其它车载AR眼镜的使用画面。
CN202210639096.0A 2022-06-07 2022-06-07 一种用于车辆控制与信息显示的车载增强显示系统 Active CN114839782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210639096.0A CN114839782B (zh) 2022-06-07 2022-06-07 一种用于车辆控制与信息显示的车载增强显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639096.0A CN114839782B (zh) 2022-06-07 2022-06-07 一种用于车辆控制与信息显示的车载增强显示系统

Publications (2)

Publication Number Publication Date
CN114839782A CN114839782A (zh) 2022-08-02
CN114839782B true CN114839782B (zh) 2023-08-18

Family

ID=82575169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639096.0A Active CN114839782B (zh) 2022-06-07 2022-06-07 一种用于车辆控制与信息显示的车载增强显示系统

Country Status (1)

Country Link
CN (1) CN114839782B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115268655A (zh) * 2022-08-22 2022-11-01 江苏泽景汽车电子股份有限公司 基于增强现实的交互方法、系统,车辆及存储介质
CN116774435A (zh) * 2023-05-16 2023-09-19 珠海小熙科技有限公司 一种车用抬头显示系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354253A (zh) * 2016-08-19 2017-01-25 上海理湃光晶技术有限公司 一种光标控制方法与基于该方法的ar眼镜与智能指环
CN207164368U (zh) * 2017-08-31 2018-03-30 北京新能源汽车股份有限公司 车载增强现实系统
AU2018101226A4 (en) * 2017-08-31 2018-09-27 Apple Inc. Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
CN108944685A (zh) * 2018-09-06 2018-12-07 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN109358748A (zh) * 2018-09-30 2019-02-19 深圳仓谷创新软件有限公司 一种用手与手机ar虚拟物体交互的设备和方法
CN110304052A (zh) * 2018-03-20 2019-10-08 大众汽车有限公司 计算附加信息的插入的方法、执行方法的设备及机动车
CN110347259A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种将iot设备数据在ar应用设备中呈现的方法和系统
CN110488979A (zh) * 2019-08-23 2019-11-22 北京枭龙科技有限公司 一种基于增强现实的汽车展示系统
CN111252074A (zh) * 2020-01-19 2020-06-09 恒大新能源汽车科技(广东)有限公司 多模态控制方法、装置、计算机可读存储介质和车辆
CN210776636U (zh) * 2019-11-13 2020-06-16 一汽奔腾轿车有限公司 一种车载ar全息投影交互装置
CN112241204A (zh) * 2020-12-17 2021-01-19 宁波均联智行科技有限公司 一种车载ar-hud的手势交互方法和系统
WO2021035646A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
CN113147596A (zh) * 2021-04-13 2021-07-23 一汽奔腾轿车有限公司 一种基于ar技术的头戴式车载信息显示系统及方法
CN113994312A (zh) * 2019-07-15 2022-01-28 奥迪股份公司 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
CN114353008A (zh) * 2021-12-06 2022-04-15 上汽大众汽车有限公司 一种用于车辆的具有复合涂层的模组透镜、车灯及车辆

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10318008B2 (en) * 2015-12-15 2019-06-11 Purdue Research Foundation Method and system for hand pose detection
CN106500716A (zh) * 2016-12-13 2017-03-15 英业达科技有限公司 车辆导航投影系统及其方法
US10496366B2 (en) * 2018-04-18 2019-12-03 Comcast Cable Communications, Llc Method to determine intended direction of a vocal command and target for vocal interaction
DE102019202512A1 (de) * 2019-01-30 2020-07-30 Siemens Aktiengesellschaft Verfahren und Anordnung zur Ausgabe eines HUD auf einem HMD
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354253A (zh) * 2016-08-19 2017-01-25 上海理湃光晶技术有限公司 一种光标控制方法与基于该方法的ar眼镜与智能指环
CN207164368U (zh) * 2017-08-31 2018-03-30 北京新能源汽车股份有限公司 车载增强现实系统
AU2018101226A4 (en) * 2017-08-31 2018-09-27 Apple Inc. Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
CN110304052A (zh) * 2018-03-20 2019-10-08 大众汽车有限公司 计算附加信息的插入的方法、执行方法的设备及机动车
CN108944685A (zh) * 2018-09-06 2018-12-07 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN109358748A (zh) * 2018-09-30 2019-02-19 深圳仓谷创新软件有限公司 一种用手与手机ar虚拟物体交互的设备和方法
CN110347259A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种将iot设备数据在ar应用设备中呈现的方法和系统
CN113994312A (zh) * 2019-07-15 2022-01-28 奥迪股份公司 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
CN110488979A (zh) * 2019-08-23 2019-11-22 北京枭龙科技有限公司 一种基于增强现实的汽车展示系统
WO2021035646A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
CN210776636U (zh) * 2019-11-13 2020-06-16 一汽奔腾轿车有限公司 一种车载ar全息投影交互装置
CN111252074A (zh) * 2020-01-19 2020-06-09 恒大新能源汽车科技(广东)有限公司 多模态控制方法、装置、计算机可读存储介质和车辆
CN112241204A (zh) * 2020-12-17 2021-01-19 宁波均联智行科技有限公司 一种车载ar-hud的手势交互方法和系统
CN113147596A (zh) * 2021-04-13 2021-07-23 一汽奔腾轿车有限公司 一种基于ar技术的头戴式车载信息显示系统及方法
CN114353008A (zh) * 2021-12-06 2022-04-15 上汽大众汽车有限公司 一种用于车辆的具有复合涂层的模组透镜、车灯及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭征宇.智能网联汽车人机交互研究现状及展望.《计算机集成制造系统》.2020,第26卷(第10期),2615-2632. *

Also Published As

Publication number Publication date
CN114839782A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN114839782B (zh) 一种用于车辆控制与信息显示的车载增强显示系统
CN109416733B (zh) 便携式个性化
CN111163968B (zh) 交通工具中的显示系统
JP6558733B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
CN103635346B (zh) 用于在交通工具内提供用户界面的方法和系统
US7969290B2 (en) Information device, preferably in a motor vehicle, and method for supplying information about vehicle data, in particular vehicle functions and their operation
DE112012004773T5 (de) Konfigurierbare Armaturenanzeige
CN111152790A (zh) 一种基于使用场景的多设备交互车载抬头显示方法及系统
EP3659848A1 (en) Operating module, operating method, operating system and storage medium for vehicles
KR20230050535A (ko) 전기버스의 자율주행 안전성 향상을 위한 디스플레이 시스템 및 그 방법
KR20220010655A (ko) 주행모드 및 사용자 제어모션에 따른 자율주행 차량의 동적 칵핏 제어 시스템
Porter et al. BIONIC–‘eyes-free’design of secondary driving controls
CN111557019A (zh) 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序
CN114008684A (zh) 车辆显示单元上的附加信息的位置正确的显现
TWI564181B (zh) 可替換儀表板模組、儀表板整合系統與顯示方法
CN108957933A (zh) 交互式投影显示设备及其方法
WO2024088345A1 (zh) 座舱功能操作方法及相关装置
Fu Analysis on Evaluation and Design of Intelligent Cockpit in Automobiles
CN114003165A (zh) 一种车载互动设备
KR20240011711A (ko) 디지털 보조 인간-기계 상호 작용 디바이스
Danielsson et al. Future Layout of Visual Information in Trucks
Jeon et al. On-road Reconfigurable Instrument Cluster: Concept and Contexts of Application
CN118163609A (zh) 一种导航菜单显示方法、系统及车辆
CN117864040A (zh) 一种通过可穿戴设备控制座舱功能的控制系统
Rößger et al. The Automotive Internet—An Advanced Automotive Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant