CN105138125A - 一种基于Leapmotion手势识别的智能车载系统 - Google Patents
一种基于Leapmotion手势识别的智能车载系统 Download PDFInfo
- Publication number
- CN105138125A CN105138125A CN201510526148.3A CN201510526148A CN105138125A CN 105138125 A CN105138125 A CN 105138125A CN 201510526148 A CN201510526148 A CN 201510526148A CN 105138125 A CN105138125 A CN 105138125A
- Authority
- CN
- China
- Prior art keywords
- gesture
- data
- information
- control information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于Leapmotion手势识别的智能车载系统，包括依次连接的数据采集模块、系统控制模块及系统响应模块；所述数据采集模块，利用Leapmotion传感器实时采集手部的运动数据，获取被称为帧对象的运动追踪数据；所述系统控制模块包括相互连接的数据处理单元及手势训练库，用于将收到的运动追踪数据提取手势信息，然后进行特征提取，并与手势训练库进行匹配，将匹配后的结果封装成控制信息，并传输到系统响应模块；所述系统响应模块包括投影显示单元及交互应用单元，用于获取控制信息，形成交互界面，投影到汽车挡风玻璃，进行操作系统交互应用。本系统可以提高行车的安全性和便捷性。
Description
技术领域
本发明涉及车载交互系统和手势识别领域，特别涉及一种基于Leapmotion手势识别的智能车载系统。
背景技术
随着人们生活品质要求的提高，和汽车行业、互联网行业对车联网的日趋重视，车载交互系统进入了一个高速发展期。当前车载交互系统的设计主要是沿用过去的产品设计，或者参考手机、平板的方案，缺少针对车载环境的创新设计。未来，车载交互技术趋向于在车内环境中为用户提供智能的手势操作，针对性地设计人性化的用户界面，接入更多的车辆控制功能，给用户享受革命性的驾乘体验。用户对于车载交互系统显示屏的需求越来越高，但车内空间有限，限制了显示屏的尺寸和位置，所以前挡风玻璃的使用成为了下一步开发的空间。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于Leapmotion手势识别的智能车载系统。
本发明采用如下技术方案：
一种基于Leapmotion手势识别的智能车载系统，包括依次连接的数据采集模块、系统控制模块及系统响应模块；
所述数据采集模块，利用Leapmotion传感器实时采集手部的运动数据，获取被称为帧对象的运动追踪数据；
所述系统控制模块包括相互连接的数据处理单元及手势训练库，用于将收到的运动追踪数据提取手势信息，然后进行特征提取，并与手势训练库进行匹配，将匹配后的结果封装成控制信息，并传输到系统响应模块；
所述系统响应模块包括投影显示单元及交互应用单元，用于获取控制信息，形成交互界面，投影到汽车挡风玻璃，进行操作系统交互应用。
所述交互应用单元包括地图导航子单元、音乐播放子单元、设备调控子单元及系统设置子单元。
所述数据处理单元具体对输入带有手势的帧数据进行特征提取，得到特征参数，根据特征参数判断是否属于平移类型，如果是平移类型再判断手部平移的方向向量判断运动方向，再由运动方向判断具体的手势运动方向；
若不是平移类型运动，根据特征参数判断是否属于单手指的圆圈运动，若属于则判断是顺时针还是逆时针运动；
若不是平移类型及单手指的圆圈运动，则手部运动的特征参数输入到手势训练库中与其他手势类型相匹配，判断手部运动的手势类型，将匹配结果输出到系统响应模块。
所述投影显示单元包括全息投影仪及全息投影膜，用于获取输入到投影显示单元的控制信息，系统进行相应的响应，通过全息投影仪和全息投影膜的配合使用，将系统交互界面投影到汽车挡风玻璃；
所述交互应用单元，根据所获取的控制信息，判断是控制哪一个应用的信息，将判断得到的信息传输到相应的应用上，应用则根据不同的控制信息进行自己独立的响应。
所述手势训练库通过leapmotion传感器采集手势信息，形成训练数据集，并对数据集进行特征提取，通过分类的思想对特征数据进行训练，不同的特征将会形成不同的标志位，从而形成手势训练库。
本发明的有益效果：
(1)该系统可以为汽车驾驶员在行车过程中与车载系统交互提供便捷安全的操作；
(2)一方面，它避免了驾驶员在行车过程中需要寻找按键或者触屏位置而导致的注意力分散，提高行车过程的安全和便捷性；
(3)另一方面，该系统针对手势操作要求，设计相应的操作界面，并采用全息投影仪和全息投影膜，可以为驾驶员提供更加便捷的界面显示，避免在行车过程中需要看车内屏幕而导致的视线偏离行车路线，提高行车的安全性和便捷性，也提高了汽车驾驶员的驾乘体验。
附图说明
图1是本发明的结构框图；
图2是本发明交互应用单元的结构框图；
图3是本发明应用的模拟示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
本实施例中投影区域位于汽车挡风玻璃中下部分，大小为25*25cm，投影仪放置在中控台中间后面部分，leapmotion传感器放置在中控台中间前面部分，全息投影膜贴在前挡风玻璃相应位置，与投影仪配套使用。
如图1所示，一种基于Leapmotion手势识别的智能车载系统，包括依次连接的数据采集模块、系统控制模块及系统响应模块；
所述数据采集模块，利用Leapmotion传感器实时采集手部的运动数据，获取被称为帧对象的运动追踪数据，运动追踪数据的每一帧都包含度量位置和其它在快照中关于检测到的实体的信息；
所述系统控制模块包括相互连接的数据处理单元及手势训练库，用于将收到的运动追踪数据提取手势信息，然后进行特征提取，并与手势训练库进行匹配，将匹配后的结果封装成控制信息，并传输到系统响应模块；
所述数据处理单元具体为对输入带有手势的帧数据进行特征提取，得到特征参数，根据特征参数判断是否属于平移类型，如果是平移类型再判断手部平移的方向向量判断运动方向，再由运动方向判断具体的手势运动方向，所述手势运动方向包括向上挥手，向下挥手，向左挥手，向右挥手，向外挥手，向里挥手和无效挥手运动；
若不是平移类型运动，根据特征参数判断是否属于单手指的圆圈运动，若属于则判断是顺时针还是逆时针运动；
若不是平移类型及单手指的圆圈运动，则手部运动的特征参数输入到手势训练库中与其他手势类型相匹配，判断手部运动的手势类型，将匹配结果输出到系统响应模块。
所述系统响应模块包括投影显示单元及交互应用单元，用于获取控制信息，形成交互界面，投影到汽车挡风玻璃，进行操作系统交互应用。
所述投影显示单元获取输入到投影显示单元的控制信息，系统进行相应的响应，通过全息投影仪和全息投影膜的配合使用，将系统交互界面投影到汽车挡风玻璃；
所述交互应用单元，根据所获取的控制信息，判断是控制哪一个应用的信息，将判断得到的信息传输到相应的应用上，应用则根据不同的控制信息进行自己独立的响应。
同时，用户可以根据需要调整投影仪的位置以及投影角度来改变投影系统交互界面的位置。
如图2所示，所述交互应用单元包括地图导航子单元、音乐播放子单元、设备调控子单元及系统设置子单元。
地图导航子单元，获取控制信息，根据控制信息进行导航、地点搜索、地图放大缩小、地图平移等功能。
音乐播放子单元，获取控制信息，根据控制信息进行音乐的播放、暂停、上一曲、下一曲、音量的加减、音乐搜索等功能。
由播放主界面和播放列表两部分组成。其中，播放主界面有MyWidget类来实现，继承自QWidget类，主要用来实现音乐的播放控制(包括音乐的播放、暂停、上一曲、下一曲、音量的加减)、获取歌曲信息并构建播放列表；而播放列表由Myplaylist类来实现，继承自QTableWidge类，主要用来显示播放列表。音乐播放器我们是采用Phonon多媒体框架来实现媒体播放的，使用Phonon：：MediaObject对象进行音乐播放的控制。
播放子单元的设计流程如下：在播放器中打开MP3等音乐文件后，通过Phonon::MediaObject对这些文件进行解释，获取歌曲的标题、歌手以及长度等信息，然后在播放列表显示出来。可以单机播放列表中的一首歌曲进行播放，并使用Phonon::MediaObject对象来进行音乐播放的控制。
在音乐播放时，系统会根据用户的手势进行音乐的播放、暂停、上一曲、下一曲、音量的加减等功能。具体来说，在音乐播放界面时，用户向左挥手，则上一曲；向右挥手，则下一曲；向下挥手，则音量减；向上挥手，则音量加；单手指顺时针运动，则播放或者暂停歌曲。
设备调控子单元，获取控制信息，根据控制信息进行车内车窗的升降、座椅倾斜度、空调温度等调控。
系统设置子单元，获取控制信息，根据控制信息进行系统亮度、系统音量等调节。
如图3所示是本发明的模拟应用图，可以为汽车驾驶员在行车过程中与车载系统交互提供便捷安全的操作。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种基于Leapmotion手势识别的智能车载系统，其特征在于，包括依次连接的数据采集模块、系统控制模块及系统响应模块；
所述数据采集模块，利用Leapmotion传感器实时采集手部的运动数据，获取被称为帧对象的运动追踪数据；
所述系统控制模块包括相互连接的数据处理单元及手势训练库，用于将收到的运动追踪数据提取手势信息，然后进行特征提取，并与手势训练库进行匹配，将匹配后的结果封装成控制信息，并传输到系统响应模块；
所述系统响应模块包括投影显示单元及交互应用单元，用于获取控制信息，形成交互界面，投影到汽车挡风玻璃，进行操作系统交互应用。
2.根据权利要求1所述的车载系统，其特征在于，所述交互应用单元包括地图导航子单元、音乐播放子单元、设备调控子单元及系统设置子单元。
3.根据权利要求1所述的车载系统，其特征在于，所述数据处理单元具体对输入带有手势的帧数据进行特征提取，得到特征参数，根据特征参数判断是否属于平移类型，如果是平移类型再判断手部平移的方向向量判断运动方向，再由运动方向判断具体的手势运动方向；
若不是平移类型运动，根据特征参数判断是否属于单手指的圆圈运动，若属于则判断是顺时针还是逆时针运动；
若不是平移类型及单手指的圆圈运动，则手部运动的特征参数输入到手势训练库中与其他手势类型相匹配，判断手部运动的手势类型，将匹配结果输出到系统响应模块。
4.根据权利要求1所述的智能车载系统，其特征在于，所述投影显示单元包括全息投影仪挤全息投影膜，用于获取输入到投影显示单元的控制信息，系统进行相应的响应，通过全息投影仪和全息投影膜的配合使用，将系统交互界面投影到汽车挡风玻璃；
所述交互应用单元，根据所获取的控制信息，判断是控制哪一个应用的信息，将判断得到的信息传输到相应的应用上，应用则根据不同的控制信息进行自己独立的响应。
5.根据权利要求1所述的智能车载系统，其特征在于，所述手势训练库通过leapmotion传感器采集手势信息，形成训练数据集，并对数据集进行特征提取，通过分类的思想对特征数据进行训练，不同的特征将会形成不同的标志位，从而形成手势训练库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510526148.3A CN105138125A (zh) | 2015-08-25 | 2015-08-25 | 一种基于Leapmotion手势识别的智能车载系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510526148.3A CN105138125A (zh) | 2015-08-25 | 2015-08-25 | 一种基于Leapmotion手势识别的智能车载系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105138125A true CN105138125A (zh) | 2015-12-09 |
Family
ID=54723496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510526148.3A Pending CN105138125A (zh) | 2015-08-25 | 2015-08-25 | 一种基于Leapmotion手势识别的智能车载系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105138125A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105824427A (zh) * | 2016-03-31 | 2016-08-03 | 广州飞傲电子科技有限公司 | 基于手势操作进行音量调节的方法及系统 |
| CN106485779A (zh) * | 2016-03-22 | 2017-03-08 | 智合新天（北京）传媒广告股份有限公司 | 一种3d虚拟交互展示平台及展示3d动画的方法 |
| CN107121952A (zh) * | 2016-01-26 | 2017-09-01 | 通用汽车环球科技运作有限责任公司 | 基于生理性状的交通工具系统控制的系统和方法 |
| CN108430819A (zh) * | 2015-12-22 | 2018-08-21 | 歌乐株式会社 | 车载装置 |
| CN110427109A (zh) * | 2019-07-31 | 2019-11-08 | 江苏食品药品职业技术学院 | 一种基于机器视觉的汽车检测全息人机交互系统 |
| CN113696821A (zh) * | 2020-05-22 | 2021-11-26 | 上海海拉电子有限公司 | 一种车辆信息交互系统及信息交互方法 |
| CN115620397A (zh) * | 2022-11-07 | 2023-01-17 | 江苏北斗星通汽车电子有限公司 | 一种基于Leapmotion传感器的车载手势识别系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2441635A1 (en) * | 2010-10-06 | 2012-04-18 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
| US20120287050A1 (en) * | 2011-05-12 | 2012-11-15 | Fan Wu | System and method for human interface in a vehicle |
| CN102897091A (zh) * | 2012-09-22 | 2013-01-30 | 浙江中呼科技有限公司 | 车载图像显示器、手机车载显示装置及监测装置 |
| CN103914152A (zh) * | 2014-04-11 | 2014-07-09 | 周光磊 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
| US20140277933A1 (en) * | 2013-03-14 | 2014-09-18 | Audi Ag | Interactive engine |
| CN204028810U (zh) * | 2014-07-07 | 2014-12-17 | 长沙维汉信息科技有限公司 | 一种非接触手势操控的车载音乐播放器 |
| CN104691444A (zh) * | 2013-12-09 | 2015-06-10 | 奇点新源国际技术开发(北京)有限公司 | 一种基于电动汽车的车载终端和车载终端系统 |
-
2015
- 2015-08-25 CN CN201510526148.3A patent/CN105138125A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2441635A1 (en) * | 2010-10-06 | 2012-04-18 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
| US20120287050A1 (en) * | 2011-05-12 | 2012-11-15 | Fan Wu | System and method for human interface in a vehicle |
| CN102897091A (zh) * | 2012-09-22 | 2013-01-30 | 浙江中呼科技有限公司 | 车载图像显示器、手机车载显示装置及监测装置 |
| US20140277933A1 (en) * | 2013-03-14 | 2014-09-18 | Audi Ag | Interactive engine |
| CN104691444A (zh) * | 2013-12-09 | 2015-06-10 | 奇点新源国际技术开发(北京)有限公司 | 一种基于电动汽车的车载终端和车载终端系统 |
| CN103914152A (zh) * | 2014-04-11 | 2014-07-09 | 周光磊 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
| CN204028810U (zh) * | 2014-07-07 | 2014-12-17 | 长沙维汉信息科技有限公司 | 一种非接触手势操控的车载音乐播放器 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108430819A (zh) * | 2015-12-22 | 2018-08-21 | 歌乐株式会社 | 车载装置 |
| CN107121952A (zh) * | 2016-01-26 | 2017-09-01 | 通用汽车环球科技运作有限责任公司 | 基于生理性状的交通工具系统控制的系统和方法 |
| CN106485779A (zh) * | 2016-03-22 | 2017-03-08 | 智合新天（北京）传媒广告股份有限公司 | 一种3d虚拟交互展示平台及展示3d动画的方法 |
| CN106485779B (zh) * | 2016-03-22 | 2019-05-03 | 智合新天（北京）传媒广告股份有限公司 | 一种3d虚拟交互展示平台及展示3d动画的方法 |
| CN105824427A (zh) * | 2016-03-31 | 2016-08-03 | 广州飞傲电子科技有限公司 | 基于手势操作进行音量调节的方法及系统 |
| CN110427109A (zh) * | 2019-07-31 | 2019-11-08 | 江苏食品药品职业技术学院 | 一种基于机器视觉的汽车检测全息人机交互系统 |
| CN113696821A (zh) * | 2020-05-22 | 2021-11-26 | 上海海拉电子有限公司 | 一种车辆信息交互系统及信息交互方法 |
| CN115620397A (zh) * | 2022-11-07 | 2023-01-17 | 江苏北斗星通汽车电子有限公司 | 一种基于Leapmotion传感器的车载手势识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105138125A (zh) | 一种基于Leapmotion手势识别的智能车载系统 | |
| CN107315988B (zh) | 用于在无人驾驶车辆中呈现媒体内容的系统和方法 | |
| CN105894733B (zh) | 驾驶员监控系统 | |
| US20230333378A1 (en) | Wristwatch based interface for augmented reality eyewear | |
| CN110167823B (zh) | 用于驾驶员监测的系统和方法 | |
| US20240168562A1 (en) | Interactive system and device with optical sensing function | |
| US10913454B2 (en) | Systems and methods for predicting pedestrian intent | |
| CN105898089B (zh) | 移动终端、移动终端的控制方法、车辆的控制系统及车辆 | |
| US10120454B2 (en) | Gesture recognition control device | |
| US10489100B2 (en) | Electronic device and method for sharing images | |
| US8878875B2 (en) | Absolute image orientation displacement monitoring and manipulation apparatus | |
| CN104024987B (zh) | 用于可佩戴导航设备的装置、方法和技术 | |
| CN103985137B (zh) | 应用于人机交互的运动物体跟踪方法及系统 | |
| WO2018031516A1 (en) | Radar-based gestural interface | |
| US10464571B2 (en) | Apparatus, vehicle, method and computer program for computing at least one video signal or control signal | |
| US20110260965A1 (en) | Apparatus and method of user interface for manipulating multimedia contents in vehicle | |
| US20120229509A1 (en) | System and method for user interaction | |
| CN106338828A (zh) | 车载增强现实系统、方法和设备 | |
| US20140168068A1 (en) | System and method for manipulating user interface using wrist angle in vehicle | |
| US11399143B2 (en) | Artificial intelligence display device | |
| KR20220127568A (ko) | 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치 | |
| US11531910B2 (en) | Artificial intelligence server | |
| KR101698102B1 (ko) | 차량 제어 장치 및 이의 제어 방법 | |
| KR101659033B1 (ko) | 이동 단말기 및 이의 제어 방법 | |
| KR20210052958A (ko) | 인공 지능 서버 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151209 |