CN110481630B - 一种基于电子皮肤技术的方向盘及交互方法 - Google Patents

一种基于电子皮肤技术的方向盘及交互方法 Download PDF

Info

Publication number
CN110481630B
CN110481630B CN201910773718.7A CN201910773718A CN110481630B CN 110481630 B CN110481630 B CN 110481630B CN 201910773718 A CN201910773718 A CN 201910773718A CN 110481630 B CN110481630 B CN 110481630B
Authority
CN
China
Prior art keywords
steering wheel
electronic skin
vehicle
electronic
functional area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910773718.7A
Other languages
English (en)
Other versions
CN110481630A (zh
Inventor
朱忠攀
何斌
周艳敏
李刚
王志鹏
徐寿林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201910773718.7A priority Critical patent/CN110481630B/zh
Publication of CN110481630A publication Critical patent/CN110481630A/zh
Application granted granted Critical
Publication of CN110481630B publication Critical patent/CN110481630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • B62D1/06Rims, e.g. with heating means; Rim covers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • B62D1/08Spokes, e.g. resilient
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Steering Controls (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于电子皮肤技术的方向盘及交互方法,其中方向盘的外圈和功能区上均设有电子皮肤,电子皮肤是由温度、湿度、压力生物传感器组建的仿生传感阵列,电子皮肤持续监测人体与之的接触,并根据监测得到的接触生成相应的输入指令。与现有技术相比,本发明具有功能设置更人性化、无人驾驶切换更加简便,协同操作可以实现更多功能等优点。

Description

一种基于电子皮肤技术的方向盘及交互方法
技术领域
本发明涉及汽车驾驶的人机交互领域,尤其是涉及一种基于电子皮肤技术的方向盘及交互方法。
背景技术
方向盘是汽车驾驶员用来控制运动车辆方向的核心部件,也是驾驶员对道路环境感知(颠簸路面轮胎与路面垂直作用力、左右轮横向作用力等)的主要途径,其作为安全件对车辆和人员安全起关键作用。与此同时随着汽车电子技术的发展,方向盘集成了越来越多的功能,并朝着电子化、智能化、个性化的方向发展。尤其是在无人驾驶技术的不断发展与成熟背景下,方向盘的开发设计需要考虑到驾驶权限分配的关键问题,使人机系统工作效能发挥出最佳的优势。
传统的汽车方向盘主要由外圈、轮辐与轮毂组成,并根据轮辐数、轮毂外圈形状、装饰件位置、按键布置、缝线方式、本体材料等内容实现不同的造型设计。当前汽车方向盘除了转向操作外,还通过机械按键实现不同的人机交互功能。常见的功能包括音响控制、空调调节、车载电话、定速循环、语音交互功能、车辆导航等。
中国专利CN201810090215.5公开了基于摄像头与传感器组的可检测人体健康状态功能的方向盘,中国专利CN201910141407.9公开了包括云平台、车载T-BOX模块、中央网关以及中央控制器在内的智能方向盘感知升级系统。上述方向盘的功能与机械按键绑定,不能根据驾驶员生理特征、驾驶操作习惯、方向盘造型设计要求、无人驾驶性能需求进行个性化、智能化、宜人化定制。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于电子皮肤技术的方向盘及交互方法。
本发明的目的可以通过以下技术方案来实现:
一种方向盘,所述方向盘的外圈和功能区上均设有电子皮肤,所述电子皮肤持续监测人体与之的接触,并根据监测得到的接触生成相应的输入指令。
所述电子皮肤是由温度、湿度、压力生物传感器组建的仿生传感阵列。
所述功能区包括左功能区、右功能区和底功能区。
所述方向盘上设有用于显示人机界面的显示控制器,所述显示控制器集成有MCU、摄像头、显示屏和车辆总线接口,所述车辆总线接口负责与车辆其他控制单元进行通信,实现对车辆的操作,包括汽车车身控制模块BCM、整车控制单元VCU、无人驾驶中央决策控制单元iECU和车载数据记录与远程通信单元TBox/中央网关。
所述显示控制器设于方向盘的中央,所述底功能区中集成有安全气囊。
一种如上述的方向盘的交互方法,包括:
通过监测人体与外圈上的电子皮肤之间的接触以判断是否在有人驾驶模式和无人驾驶模式之间进行切换。
所述方法还包括:
步骤S1:将方向盘上的电子皮肤根据位置分布划分为多个感应分区;
步骤S2:根据各感应分区采集得到的接触,识别并生成各感应分区的输入指令;
步骤S3:基于各感应分区的输入指令,输出相应的控制信号。
所述输入指令至少包括单击、双击、拍打、左右滑动、上下滑动、旋转滑动和持续按压。
在一个感应分区采集到接触后,根据该接触的路径修正感应分区的划分,基于此可以实现两级时序的输入指令集。
所述方法还包括:识别驾驶员身份,并载入对应的配置数据,其中,所述配置数据用于表征驾驶员的个人习惯;基于配置数据修正方向盘上的电子皮肤感应分区划分。
与现有技术相比,本发明具有以下有益效果:
1.本发明可以根据驾驶员的操作习惯、手掌大小、手指长短等个性化差异,对功能模块进行设置,相比于传统汽车在功能设置方面更加人性化。
2.本发明让驾驶员对于驾驶模式之间的切换操作更加简便,通过仿生传感阵列检测双手是否离开或者紧握方向盘,可自动实现有人驾驶和无人驾驶的过渡。
3.相比于传统汽车左、右功能区的独立操作,本发明中左、右功能区可进行协同操作,对应可控制更多的功能。
附图说明
图1为本发明的结构示意图;
图2为本发明实施例的基本流程图;
图3为本发明新驾驶员识别以及方向盘示教的流程图。
附图标记:
1-外圈;2-左功能区;3-右功能区;4-底功能区;5为人机界面。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种方向盘,方向盘的外圈和功能区上均设有电子皮肤。
电子皮肤是由温度、湿度、压力生物传感器组建的仿生传感阵列,可以采集驾驶员的动静态作用力,并组成带时序标签的作用力矩阵,利用作用力矩阵时序变化辨识驾驶员行为,优化人车共驾模式切换策略。
功能区包括左功能区、右功能区和底功能区。
方向盘上设有用于显示人机界面的显示控制器,显示控制器集成有MCU、摄像头、显示屏和车辆总线接口,车辆总线接口负责与车辆其他控制单元进行通信,实现对车辆的操作,包括汽车车身控制模块BCM、整车控制单元VCU、无人驾驶中央决策控制单元iECU和车载数据记录与远程通信单元TBox/中央网关。
MCU为方向盘智能处理单元,采用8颗昇腾芯片搭配CPU与ISP模块所组成的系统的华为MDC600处理器,并结合电子皮肤仿生传感矩阵进行外围电路设计,用于处理电子皮肤覆盖的功能区采集的传感数据,并基于定制化功能及采集的传感数据识别驾驶员的执行动作,完成相应的人机交互功能。
摄像头用于识别驾驶员身份、基于眼球运动的疲劳监测以及基于人工智能技术驾驶员手势辨识及相应操作行为。
显示屏采用TFT(Thin Film Transistor)彩色屏,由荧光管、导光板、偏光板、滤光板、玻璃基板、配向膜、液晶材料、薄模式晶体管等组成,同时包含隐藏于显示屏上部的摄像头。显示屏用于向驾驶员展示电子皮肤覆盖的功能区采集的传感数据及所对应的功能操作,增强人机交互过程中的效能与体验,构建视听触感知融合的人机交互体验机制,增加有效信息量,进而通过信息互补降低交互错误、危险操作、误操作行为。功能包括但不限于模拟点击电子皮肤的声音、显示执行动作过程中的功能变化、实现视频电话、疲劳提醒、驾驶模式切换引导、自动驾驶模式下的影音播放、游戏交互等功能,连同电子皮肤区域可实现方向盘的触摸、语音和手势等操作。
车辆总线接口负责与车辆其他控制单元进行通信,实现对车辆的操作,包括汽车车身控制模块BCM,实现车灯、车窗、空调、中控仪表及车机的交互控制;整车控制单元VCU和无人驾驶中央决策控制单元iECU,实现车速、转向、制动等车辆运动状态参数交互以及驾驶模式切换;车载数据记录与远程通信单元TBox/中央网关,实现驾驶员行为姿态信息记录存储、远程通信、软件升级等OTA云端交互功能。
一种如上述方向盘的交互方法,包括:
外圈上的电子皮肤检测人体与自身的接触以判断是否在有人驾驶模式和无人驾驶模式之间进行切换,当外圈的仿生传感阵列未检测到双手操作方向盘时,可自主过渡到无人驾驶模式;当检测到双手紧握方向盘时,可自动实现无人驾驶模式切换到有人驾驶模式;
功能区上的电子皮肤检测人体与自身的接触以实现相应的功能。
左功能区、右功能区根据驾驶员的操作习惯、手掌大小、手指长短,形成不同的功能模块,对驾驶员的行为操作进行识别,实现对应的基础功能,通过左、右功能区的协同操作对汽车的驾驶模式、行进模式、档位进行选择。
基础功能包括鸣笛、多媒体声音控制、多媒体频道切换、接听电话、车辆巡航和空调控制。
底功能区根据驾驶员的操作习惯对功能模块进行定制,通过识别驾驶员的行为操作,实现无人驾驶、游戏、娱乐、导航的功能。
不同驾驶员首次操控方向盘时,可根据驾驶习惯,结合显示屏虚拟呈现的方向盘动画设置左右手单击、双击、滑动、握紧等执行动作对X1,X2,X3,X4仿生传感矩阵的变化,并匹配可供选择的车辆映射功能,如多媒体、空调、天窗、电话、显示屏激活、驾驶模式切换等相关功能设置。驾驶员设置可保存于人机界面的内存中,下一次可自动身份识别,避免下一次重新设置。
如图2所示,具体包括以下步骤:
步骤S1:驾驶员执行行为动作,操控方向盘;
步骤S2:方向盘仿生传感阵列采集信号变化,辨识驾驶员行为动作;
步骤S3:通过方向盘人机界面MCU进行智能计算,判断驾驶员意图,进行交互功能决策;
步骤S4:通过方向盘人机界面总线接口执行控制命令,实现相关交互功能;
步骤S5:通过方向盘人机界面,显示交互功能状态和执行结果;
步骤S6:驾驶员审核反馈结果,决定下一循环动作指令。
仿生传感阵列可识别驾驶员的行为动作具体包括:
1)功能区指定位置区间的上下滑动(快-中-慢);
2)功能区指定位置区间的左右滑动(快-中-慢);
3)功能区指定位置区间的旋转滑动(快-中-慢);
4)功能区指定位置的双击、单击、拍打等;
5)双手大拇指按压左右功能区指定位置;
6)双手握方向盘;
7)左手握方向盘;
8)右手握方向盘;
9)其他行为动作。
对应可实现的人机交互功能包括:
1)车载娱乐控制:包括音乐播放、音量控制、视频播放、游戏交互、定位导航、应急救援;
2)车身部件控制:包括车灯、座椅、车窗、天窗、反光镜调节;
3)驾驶模式切换:包括无人驾驶——有人驾驶——人机共驾模式切换;
4)驾驶员监测:包括身份识别、行为姿态、操作习惯、健康状态监测。
如图3所示,方向盘人机界面的摄像头会对驾驶员进行身份识别,若识别到已有身份驾驶员,自动根据存储的驾驶习惯与行为动作执行图2所示的人机交互流程,对车辆进行控制。若判断为第一次驾驶车辆的驾驶员,人机界面显示操作引导界面,动画演示车辆默认的操作指令。若新驾驶员确认采用默认方向盘交互指令,开始执行图2的人机交互过程;若新驾驶员选择个人性化定制操作,人机界面将会显示动画,引导驾驶员进行左、右、底功能区设置,并操控方向盘执行示教过程,设定完成之后方向盘将进行自主学习,记忆存储新驾驶员的操作习惯及动作指令,后续执行图2的操作流程。

Claims (2)

1.一种方向盘的交互方法,其特征在于,所述方向盘的外圈和功能区上均设有电子皮肤,所述电子皮肤持续监测人体与之的接触,并根据监测得到的接触信息生成相应的交互反馈指令;
所述方法包括:
通过监测人体与外圈上的电子皮肤之间的接触以制定有人驾驶模式和无人驾驶模式之间的切换策略;
所述方法还包括:
步骤S1:将方向盘上的电子皮肤根据位置分布划分为多个感应分区,
步骤S2:根据各感应分区采集得到的接触,识别并生成各感应分区的输入指令,
步骤S3:基于各感应分区的输入指令,输出相应的控制信号,
所述输入指令至少包括单击、双击、拍打、左右滑动、上下滑动、旋转滑动和持续按压;
所述电子皮肤是由温度、湿度、压力生物传感器组建的仿生传感阵列,同时具有人类皮肤的柔性和韧性;
所述功能区包括左功能区、右功能区和底功能区;
所述方向盘上设有用于显示人机界面的显示控制器,所述显示控制器集成有MCU、摄像头、显示屏和车辆总线接口,所述车辆总线接口负责与车辆其他控制单元进行通信,实现对车辆的操作,包括汽车车身控制模块BCM、整车控制单元VCU、无人驾驶中央决策控制单元iECU和车载数据记录与远程通信单元TBox/中央网关;
在一个感应分区采集到接触后,根据该接触的路径修正感应分区的划分;
方法还包括:识别驾驶员身份,并载入对应的配置数据,其中,所述配置数据用于表征驾驶员的个人习惯;基于配置数据修正方向盘上的电子皮肤感应分区划分;
显示屏用于向驾驶员展示电子皮肤覆盖的功能区采集的传感数据及所对应的功能操作,增强人机交互过程中的效能与体验,构建视听触感知融合的人机交互体验机制,增加有效信息量,进而通过信息互补降低交互错误、危险操作、误操作行为,功能包括模拟点击电子皮肤的声音、显示执行动作过程中的功能变化、实现视频电话、疲劳提醒、驾驶模式切换引导、自动驾驶模式下的影音播放、游戏交互,连同电子皮肤区域可实现方向盘的触摸、语音和手势,人机共驾模式切换操作。
2.根据权利要求1所述的方法,其特征在于,所述显示控制器设于方向盘的中央,所述底功能区中集成有安全气囊。
CN201910773718.7A 2019-08-21 2019-08-21 一种基于电子皮肤技术的方向盘及交互方法 Active CN110481630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910773718.7A CN110481630B (zh) 2019-08-21 2019-08-21 一种基于电子皮肤技术的方向盘及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910773718.7A CN110481630B (zh) 2019-08-21 2019-08-21 一种基于电子皮肤技术的方向盘及交互方法

Publications (2)

Publication Number Publication Date
CN110481630A CN110481630A (zh) 2019-11-22
CN110481630B true CN110481630B (zh) 2021-07-20

Family

ID=68552462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910773718.7A Active CN110481630B (zh) 2019-08-21 2019-08-21 一种基于电子皮肤技术的方向盘及交互方法

Country Status (1)

Country Link
CN (1) CN110481630B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111806452A (zh) * 2020-06-04 2020-10-23 宁波吉利汽车研究开发有限公司 一种基于方向盘的车辆控制系统、控制方法及车辆
CN113057603A (zh) * 2021-03-25 2021-07-02 斑马网络技术有限公司 方向盘握持状态的检测方法及装置、终端设备、存储介质
CN115257797A (zh) * 2022-07-21 2022-11-01 中国第一汽车股份有限公司 一种多功能交互方向盘及交互方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29901849U1 (de) * 1999-02-03 1999-04-08 Merlaku, Kastriot, 84347 Pfarrkirchen Anti-Einschlaf-System für Fahrzeug-Führer
CN201559698U (zh) * 2009-11-30 2010-08-25 比亚迪股份有限公司 一种汽车方向盘
CN103204161A (zh) * 2013-04-11 2013-07-17 浙江吉利汽车研究院有限公司杭州分公司 一种汽车无人驾驶状态自动制动系统及方法
CN105711591A (zh) * 2016-04-26 2016-06-29 百度在线网络技术(北京)有限公司 无人驾驶车辆、无人驾驶车辆的控制方法和装置
CN107491073A (zh) * 2017-09-05 2017-12-19 百度在线网络技术(北京)有限公司 无人驾驶车辆的数据训练方法和装置
CN107571864A (zh) * 2017-09-05 2018-01-12 百度在线网络技术(北京)有限公司 无人驾驶车辆的数据采集方法和装置
DE102017104092B3 (de) * 2017-02-28 2018-05-09 Günther Battenberg Verfahren zur Überprüfung einer Funktion eines Fahrzeuges und/oder zumindest einer Bedieneinrichtung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29901849U1 (de) * 1999-02-03 1999-04-08 Merlaku, Kastriot, 84347 Pfarrkirchen Anti-Einschlaf-System für Fahrzeug-Führer
CN201559698U (zh) * 2009-11-30 2010-08-25 比亚迪股份有限公司 一种汽车方向盘
CN103204161A (zh) * 2013-04-11 2013-07-17 浙江吉利汽车研究院有限公司杭州分公司 一种汽车无人驾驶状态自动制动系统及方法
CN105711591A (zh) * 2016-04-26 2016-06-29 百度在线网络技术(北京)有限公司 无人驾驶车辆、无人驾驶车辆的控制方法和装置
DE102017104092B3 (de) * 2017-02-28 2018-05-09 Günther Battenberg Verfahren zur Überprüfung einer Funktion eines Fahrzeuges und/oder zumindest einer Bedieneinrichtung
CN107491073A (zh) * 2017-09-05 2017-12-19 百度在线网络技术(北京)有限公司 无人驾驶车辆的数据训练方法和装置
CN107571864A (zh) * 2017-09-05 2018-01-12 百度在线网络技术(北京)有限公司 无人驾驶车辆的数据采集方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《人造电子皮肤:延伸人类的触感》;袁一雪;《科学导报》;20151204;第1-2页 *
袁一雪.《人造电子皮肤:延伸人类的触感》.《科学导报》.2015,第A04版第1-2页. *

Also Published As

Publication number Publication date
CN110481630A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110481630B (zh) 一种基于电子皮肤技术的方向盘及交互方法
Murali et al. Intelligent in‐vehicle interaction technologies
US8155837B2 (en) Operating device on vehicle's steering wheel
EP3482344B1 (en) Portable personalization
US20220171461A1 (en) Safety system for vehicles incorporating cradle for portable telematic devices in a vehicle with heads up audible and visual feedback
JP6761967B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
EP2857276B1 (en) Driver assistance system
RU2466038C2 (ru) Система транспортного средства с функциональной возможностью помощи
US9551590B2 (en) Gesture-based information and command entry for motor vehicle
CN205440233U (zh) 显示设备联动控制系统和车辆
CN110027473A (zh) 用于车厢中的增强的媒体体验的情境天窗
US20210122242A1 (en) Motor Vehicle Human-Machine Interaction System And Method
CN105182803A (zh) 车辆控制装置及其方法
JP2013514237A (ja) 触覚制御用可変形パッド
US11595878B2 (en) Systems, devices, and methods for controlling operation of wearable displays during vehicle operation
US8909414B2 (en) Three-dimensional corporeal figure for communication with a passenger in a motor vehicle
Lu et al. A review of sensory interactions between autonomous vehicles and drivers
CN212208628U (zh) 智能座舱体验设备
EP3126934B1 (en) Systems and methods for the detection of implicit gestures
CN202716824U (zh) 控制面板、人机交互系统以及汽车
CN112297842A (zh) 具有多种显示模式的自动驾驶车辆
CN115946628A (zh) 方向盘的按键复用方法、装置、车辆及存储介质
WO2024088337A1 (zh) 一种控制方法、装置和运载工具
CN219382385U (zh) 一种应用于汽车的智能感知多功能控制系统及汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant