CN108803426A - 一种基于tof手势识别的车机控制系统 - Google Patents

一种基于tof手势识别的车机控制系统 Download PDF

Info

Publication number
CN108803426A
CN108803426A CN201810676383.2A CN201810676383A CN108803426A CN 108803426 A CN108803426 A CN 108803426A CN 201810676383 A CN201810676383 A CN 201810676383A CN 108803426 A CN108803426 A CN 108803426A
Authority
CN
China
Prior art keywords
tof
vehicle device
module
image processing
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810676383.2A
Other languages
English (en)
Inventor
徐健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Original Assignee
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Xingyu Automotive Lighting Systems Co Ltd filed Critical Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority to CN201810676383.2A priority Critical patent/CN108803426A/zh
Publication of CN108803426A publication Critical patent/CN108803426A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24215—Scada supervisory control and data acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于TOF手势识别的车机控制系统，属于汽车零配件技术领域。它包括图像识别模块、图像处理模块、TOF控制模块和车机，图像识别模块与图像处理模块相连；TOF控制模块与图像处理模块相连；TOF控制模块与车机相连。通过本发明的技术方案，可通过不同的手势对车机进行控制，实现如调节音量、切换菜单、选择歌曲等功能，更加方便与快捷；通过以手势识别的方式替代传统车内的车机触摸按键，使得驾驶员在车辆行驶途中不必低头操作车机，提高了驾驶的安全性，也提高了整车的科技感。

Description

一种基于TOF手势识别的车机控制系统
技术领域
本发明属于汽车零配件技术领域，尤其是一种基于TOF手势识别的车机控制系统。
背景技术
随着触摸屏技术的不断推广，用户已经适应并逐渐熟悉了与机器的互动。现在，人机互动技术已迈上了更高的台阶，进入了手势识别时代。随着手势识别技术支持人机互动的不断深入发展，以及3D传感器技术的出现，其应用也变得日益广泛并多样化。
在汽车安全驾驶方面，传统的人机交互技术需要用户通过按键或触摸屏幕的方式与手机和车机进行交互，使得驾驶员不得不从前方道路转移视线且至少占用单手进行触摸输入，从而导致危险的“盲目”驾驶。目前，因驾驶时进行触摸式手机输入导致的交通事故率已经上升到第4位。相比之下，手势交互只需驾驶员自然地做出手势，无需转移注意力就能获得手机或车机的反馈，实现了基于自然人机交互技术的安全驾驶辅助系统，使驾驶时所有操控符合“手眼同向”的安全驾驶原则，极大地保障了行车安全。
发明内容
为解决传统车内的车机触摸按键存在的驾驶安全性差的问题，本发明提供一种基于TOF手势识别的车机控制系统。
为实现上述目的，本发明采用下述技术方案：
一种基于TOF手势识别的车机控制系统，它包括图像识别模块、图像处理模块、TOF控制模块和车机，图像识别模块与图像处理模块相连；TOF控制模块与图像处理模块相连；TOF控制模块与车机相连；
图像识别模块包括2×2近红外发射器阵列、3D摄像头和TOF传感器；图像处理模块包括TOF控制器和电源控制模块；TOF控制模块包括MCU、电源模块和外围接口电路。
进一步地，图像识别模块中的2×2近红外发射器阵列用于发射红外光；图像识别模块中的3D摄像头用于捕捉反射回来的红外光信号，并发送给TOF传感器；图像识别模块中的TOF传感器用于处理接收到的模拟量信号，并将其转换为数字信号，实时发送给图像处理模块；
图像处理模块中的TOF控制器用于接收该数字信号，并将其整合成图像信息传送给TOF控制模块；
TOF控制模块中的MCU用于处理和分析接收到的图像信息，提取并识别该图像中的手势信息，并将该手势信息对应的控制命令通过CAN总线发送给车机；车机根据接收到的控制命令来进行相对应的功能操作。
进一步地，2×2近红外发射器阵列与3D摄像头安装在车机面板最上端或者车机上方的中控台上；
2×2近红外发射器阵列与所3D摄像头的安装方向为侧向驾驶侧。
进一步地，图像识别模块与图像处理模块通过时钟信号线、IIC、电源线和信号线相连；TOF控制模块与图像处理模块通过Ethernet相连；TOF控制模块与车机通过CAN收发器相连。
有益效果：
通过本发明的技术方案，可通过不同的手势对车机进行控制，实现如调节音量、切换菜单、选择歌曲、空调、通话等功能，更加的方便与快捷；通过以手势识别的方式替代传统车内的车机触摸按键，使得驾驶员在车辆行驶途中不必低头操作车机，提高了驾驶的安全性，也提高了整车的科技感。
附图说明
图1是本发明一实施例的基于TOF手势识别的车机控制系统的架构图；
图2是本发明一实施例的基于TOF手势识别的车机控制系统的手势图；
图中：1-图像识别模块、11-2×2近红外发射器阵列、12-3D摄像头、13-TOF传感器、2-图像处理模块、21-TOF控制器、22-电源控制模块、3-TOF控制模块、31-MCU、32-电源模块、33-外围接口电路4-车机、5-CAN收发器。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例提出一种基于TOF手势识别的车机控制系统，如图1所示，它包括图像识别模块1、图像处理模块2、TOF控制模块3和车机(多媒体车载导航)4，图像识别模块1与图像处理模块2通过时钟信号线、IIC、电源线和信号线相连；TOF控制模块3与图像处理模块2通过Ethernet相连；TOF控制模块3与车机4通过CAN收发器5(NXP公司的TJA1042)相连；
图像识别模块1包括2×2近红外发射器阵列11(JDSU公司的DiodeLaser22045498)、3D摄像头12(SoftKinetic公司的DS325)和TOF传感器13(TI公司的OPT8241芯片)，2×2近红外发射器阵列11与3D摄像头12安装在车机4面板最上端或者车机4上方的中控台上；2×2近红外发射器阵列11与3D摄像头12的安装方向为侧向驾驶侧；图像处理模块2包括TOF控制器21(TI公司的OPT9221芯片)和电源控制模块22(TI公司的TPS659122芯片)；TOF控制模块3包括MCU 31(TI公司的AM437x系列芯片)、电源模块32和外围接口电路33。
本实施例的工作原理是：通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。即，首先，车辆启动上电，各模块初始化；2×2近红外发射器阵列11向驾驶员侧连续发射红外光，3D摄像头12捕捉从手势反射回来的红外光信号，并发送给TOF传感器13，TOF传感器13对红外光信号进行实时采样(模拟量信号)，并转换为数字信号，实时发送给图像处理模块2；TOF控制器21接收该数字信号后，经过误差补偿与滤波后，绘制成带有深度信息的图像并传送给TOF控制模块3；MCU 31接收到图像信息后，通过机器学习算法识别图像中的手势信息，并将手势信息对应的控制命令通过CAN报文发送给车机4，其中，识别静态手势时采用连续隐马尔科夫算法(CHMM)，选用手型轮廓像素点坐标值序列作为静态手势的数据特征；识别动态手势时采用隐马尔科夫算法(HMM)算法，利用3D摄像头12捕获连续运动的手势，随后将其进行部分图像的预处理操作，利用手势分割技术将手势部分分割出来，并提取手势的质心以及面积的大小作为特征向量，用于建立隐马尔可夫模型的参数，并对其进行应用；车机4根据接收到的控制命令来进行相对应的功能操作。具体地，如图2所示，若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-1”，且面向3D摄像头12的方向保持3秒，则发送“激活车机的手势识别功能”控制命令给车机4，车机4激活其手势识别功能；若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-2”，则发送“菜单栏翻页和歌曲切换”控制命令给车机4，车机4进行菜单栏翻页和歌曲切换；若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-3”，且顺时针转动，则发送“音量增加”控制命令给车机4，反之，则发送“音量减小”控制命令给车机4，车机4进行音量的增加或减小；若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-4”，则发送“接听电话”控制命令给车机4，车机4进行接听电话；若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-5”，则发送“拒接电话”控制命令给车机4，车机4进行拒接电话；若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-6”，且保持3秒，则发送“进入空调温度调节模式”控制命令给车机4，车机4进入空调温度调节模式，再通过“手势-3”的顺时针转动来增加温度，逆时针转动来降低温度；若TOF控制模块3中的MCU 31识别出图像中的手势信息为“手势-7”至“手势-12”，则发送“上、下、左、右移动及放大、缩小”控制命令给车机4，车机4对地图及网页进行上下左右移动及放大缩小的功能操作。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (4)

1.一种基于TOF手势识别的车机控制系统，它包括图像识别模块(1)、图像处理模块(2)、TOF控制模块(3)和车机(4)，其特征在于：所述图像识别模块(1)与所述图像处理模块(2)相连；所述TOF控制模块(3)与所述图像处理模块(2)相连；所述TOF控制模块(3)与所述车机(4)相连；
所述图像识别模块(1)包括2×2近红外发射器阵列(11)、3D摄像头(12)和TOF传感器(13)；所述图像处理模块(2)包括TOF控制器(21)和电源控制模块(22)；所述TOF控制模块(3)包括MCU(31)、电源模块(32)和外围接口电路(33)。
2.根据权利要求1所述的基于TOF手势识别的车机控制系统，其特征在于：所述图像识别模块(1)中的所述2×2近红外发射器阵列(11)用于发射红外光；所述图像识别模块(1)中的所述3D摄像头(12)用于捕捉反射回来的红外光信号，并发送给所述TOF传感器(13)；所述图像识别模块(1)中的所述TOF传感器(13)用于处理接收到的模拟量信号，并将其转换为数字信号，实时发送给所述图像处理模块(2)；
所述图像处理模块(2)中的所述TOF控制器(21)用于接收该数字信号，并将其整合成图像信息传送给所述TOF控制模块(3)；
所述TOF控制模块(3)中的所述MCU(31)用于处理和分析接收到的图像信息，提取并识别该图像中的手势信息，并将该手势信息对应的控制命令通过CAN总线发送给所述车机(4)；所述车机(4)根据接收到的控制命令来进行相对应的功能操作。
3.根据权利要求1或2所述的基于TOF手势识别的车机控制系统，其特征在于：所述2×2近红外发射器阵列(11)与所述3D摄像头(12)安装在所述车机(4)面板最上端或者所述车机(4)上方的中控台上；
所述2×2近红外发射器阵列(11)与所述3D摄像头(12)的安装方向为侧向驾驶侧。
4.根据权利要求1或2所述的基于TOF手势识别的车机控制系统，其特征在于：所述图像识别模块(1)与所述图像处理模块(2)通过时钟信号线、IIC、电源线和信号线相连；所述TOF控制模块(3)与所述图像处理模块(2)通过Ethernet相连；所述TOF控制模块(3)与所述车机(4)通过CAN收发器(5)相连。
CN201810676383.2A 2018-06-27 2018-06-27 一种基于tof手势识别的车机控制系统 Pending CN108803426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810676383.2A CN108803426A (zh) 2018-06-27 2018-06-27 一种基于tof手势识别的车机控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810676383.2A CN108803426A (zh) 2018-06-27 2018-06-27 一种基于tof手势识别的车机控制系统

Publications (1)

Publication Number Publication Date
CN108803426A true CN108803426A (zh) 2018-11-13

Family

ID=64071190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810676383.2A Pending CN108803426A (zh) 2018-06-27 2018-06-27 一种基于tof手势识别的车机控制系统

Country Status (1)

Country Link
CN (1) CN108803426A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109518436A (zh) * 2018-12-12 2019-03-26 江阴市友邦家居用品有限公司 一种基于多种传感器和物联网控制晾衣架的智能系统
CN110119200A (zh) * 2019-04-12 2019-08-13 武汉格罗夫氢能汽车有限公司 一种汽车手势识别系统
CN110119209A (zh) * 2019-06-13 2019-08-13 漫谷科技股份公司 音频设备控制方法和装置
CN111301311A (zh) * 2020-02-27 2020-06-19 科世达(上海)机电有限公司 一种基于摄像头的方向盘按键
CN116449947A (zh) * 2023-03-22 2023-07-18 江苏北斗星通汽车电子有限公司 一种基于tof相机的汽车座舱域手势识别系统及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103303224A (zh) * 2013-06-18 2013-09-18 桂林电子科技大学 车载设备手势控制系统及其使用方法
CN103902984A (zh) * 2014-04-15 2014-07-02 福州大学 一种改进的动态手势识别的hmm模型训练算法
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
US20150131857A1 (en) * 2013-11-08 2015-05-14 Hyundai Motor Company Vehicle recognizing user gesture and method for controlling the same
CN104755308A (zh) * 2013-06-29 2015-07-01 奥迪股份公司 具有手势识别的机动车操作接口
CN105095852A (zh) * 2014-05-23 2015-11-25 上海通用汽车有限公司 一种车载手势指令识别系统
CN105224088A (zh) * 2015-10-22 2016-01-06 东华大学 一种基于手势识别的体感操控车载平板系统及方法
CN106446861A (zh) * 2016-09-28 2017-02-22 辽宁石油化工大学 一种手语识别系统、装置及方法
CN106557173A (zh) * 2016-11-29 2017-04-05 重庆重智机器人研究院有限公司 动态手势识别方法及装置
DE102015015245A1 (de) * 2015-11-18 2017-05-18 Elmos Semiconductor Aktiengesellschaft Einfache Gestenerkennungsvorrichtung
CN206805467U (zh) * 2017-05-04 2017-12-26 安徽江淮汽车集团股份有限公司 一种基于手势识别的车辆个性化定制系统及汽车
CN107589832A (zh) * 2017-08-01 2018-01-16 深圳市汇春科技股份有限公司 一种基于光电感应的隔空手势识别方法及其控制装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103303224A (zh) * 2013-06-18 2013-09-18 桂林电子科技大学 车载设备手势控制系统及其使用方法
CN104755308A (zh) * 2013-06-29 2015-07-01 奥迪股份公司 具有手势识别的机动车操作接口
US20150131857A1 (en) * 2013-11-08 2015-05-14 Hyundai Motor Company Vehicle recognizing user gesture and method for controlling the same
CN103902984A (zh) * 2014-04-15 2014-07-02 福州大学 一种改进的动态手势识别的hmm模型训练算法
CN105095852A (zh) * 2014-05-23 2015-11-25 上海通用汽车有限公司 一种车载手势指令识别系统
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
CN105224088A (zh) * 2015-10-22 2016-01-06 东华大学 一种基于手势识别的体感操控车载平板系统及方法
DE102015015245A1 (de) * 2015-11-18 2017-05-18 Elmos Semiconductor Aktiengesellschaft Einfache Gestenerkennungsvorrichtung
CN106446861A (zh) * 2016-09-28 2017-02-22 辽宁石油化工大学 一种手语识别系统、装置及方法
CN106557173A (zh) * 2016-11-29 2017-04-05 重庆重智机器人研究院有限公司 动态手势识别方法及装置
CN206805467U (zh) * 2017-05-04 2017-12-26 安徽江淮汽车集团股份有限公司 一种基于手势识别的车辆个性化定制系统及汽车
CN107589832A (zh) * 2017-08-01 2018-01-16 深圳市汇春科技股份有限公司 一种基于光电感应的隔空手势识别方法及其控制装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109518436A (zh) * 2018-12-12 2019-03-26 江阴市友邦家居用品有限公司 一种基于多种传感器和物联网控制晾衣架的智能系统
CN110119200A (zh) * 2019-04-12 2019-08-13 武汉格罗夫氢能汽车有限公司 一种汽车手势识别系统
CN110119209A (zh) * 2019-06-13 2019-08-13 漫谷科技股份公司 音频设备控制方法和装置
CN111301311A (zh) * 2020-02-27 2020-06-19 科世达(上海)机电有限公司 一种基于摄像头的方向盘按键
CN116449947A (zh) * 2023-03-22 2023-07-18 江苏北斗星通汽车电子有限公司 一种基于tof相机的汽车座舱域手势识别系统及方法
CN116449947B (zh) * 2023-03-22 2024-02-02 江苏北斗星通汽车电子有限公司 一种基于tof相机的汽车座舱域手势识别系统及方法

Similar Documents

Publication Publication Date Title
CN108803426A (zh) 一种基于tof手势识别的车机控制系统
KR101730315B1 (ko) 영상을 공유하는 전자 기기 및 방법
CN108710436A (zh) 一种基于tof手势识别的控制系统
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
US9878667B2 (en) In-vehicle display apparatus and program product
WO2018076523A1 (zh) 手势识别的方法、装置及车载系统
JP2016503741A (ja) 自動車用の入力装置
CN110471532B (zh) 整合眼球追踪与手势操控之车载装置
WO2022226736A1 (zh) 一种多屏交互的方法、装置、终端设备和车辆
CN104881117B (zh) 一种通过手势识别激活语音控制模块的装置和方法
CN104182049A (zh) 非接触式红外线二维手势动作检测与识别装置及方法
KR101691800B1 (ko) 차량용 디스플레이 제어 장치 및 그 동작 방법
CN116198435B (zh) 车辆的控制方法、装置、车辆以及存储介质
CN105224088A (zh) 一种基于手势识别的体感操控车载平板系统及方法
CN106648262A (zh) 一种车载红外手势识别装置及方法
JP2017510875A (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
CN105629785A (zh) 智能汽车行驶控制方法及装置
US20210382560A1 (en) Methods and System for Determining a Command of an Occupant of a Vehicle
CN209343293U (zh) 一种基于tof手势识别的控制系统
CN113548061B (zh) 人机交互方法、装置、电子设备以及存储介质
KR20210005761A (ko) 자율성 극대화를 위한 자율주행차량 제어 시스템 및 이를 위한 자율성 제공 서버
CN109017552A (zh) 一种基于tof手势识别的氛围灯控制装置及其控制方法
CN108894656A (zh) 一种基于tof手势识别的车窗控制装置及其控制方法
US20220242432A9 (en) Encounter warning method and encounter warning system
KR101859043B1 (ko) 이동단말기, 차량과 이동 단말기의 연동 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113