CN106354129A - 基于Kinect的智能小车手势识别控制系统及其控制方法 - Google Patents
基于Kinect的智能小车手势识别控制系统及其控制方法 Download PDFInfo
- Publication number
- CN106354129A CN106354129A CN201610761624.4A CN201610761624A CN106354129A CN 106354129 A CN106354129 A CN 106354129A CN 201610761624 A CN201610761624 A CN 201610761624A CN 106354129 A CN106354129 A CN 106354129A
- Authority
- CN
- China
- Prior art keywords
- module
- bluetooth
- kinect
- adapter
- main frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 7
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 3
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000006698 induction Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000036544 posture Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/117—Biometrics derived from hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Electromagnetism (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于Kinect的智能小车手势识别控制系统及其控制方法。本发明的控制系统由全能感应器设备、主机、智能小车、控制模块、蓝牙模块、红外避障模块、终端计算机模块组成。全能感应器设备主要包括体感摄像头和适配器，蓝牙模块包括蓝牙串口通信模块和蓝牙适配器，蓝牙串口通信模块与控制模块相连，蓝牙适配器与主机相连，控制模块与智能小车相连，主机与全能体感设备相连，终端计算机模块与所述主机相连。本发明装置能够在智能小车有效避开障碍的前提下，实现人机交互，用户通过不同手势对小车的动作进行控制，提高小车的运动效率，优化传统智能小车控制系统。
Description
技术领域
本发明涉及智能小车控制领域，具体涉及一种基于Kinect的智能小车控制系统及其控制方法。
背景技术
人机交互是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。姿势为人们在日常生活中一种直观、方便的传递信息的方式，其简单高效，逐步被应用到人机交互各个领域。因此，姿势识别成为了人机交互研究的热点。
目前计算机视觉采集姿势信息是对于姿势识别相对有效方式。而Kinect作为一种深度图像传感器，拥有彩色摄像头和红外摄像头，能够精准地捕捉到人体关节及人体姿势，是作为姿势识别的不二之选。
在智能小车控制领域，主要靠控制器、传感器让小车自主运行，有时会因为控制算法或传感器限制使系统失控；其缺少能够通过人远程的操控使小车快速恢复正常运动。
发明内容
针对现有智能小车控制技术的缺陷，根据其背景技术，本发明提出了一种利用人机交互，提高小车运动效率并实现相应功能的手势识别控制系统。
本发明的技术方案如下：
本发明提供一种基于Kinect的智能小车手势识别控制系统，由全能感应器设备、主机、智能小车、控制模块、蓝牙模块、红外避障模块、终端计算机模块组成。
全能感应器设备主要包括Kinect for Windows V2体感摄像头和Kinect适配器，可以利用Kinect深度图像传感器捕捉并采集人体姿势信息，再将这些数据传递给主机。蓝牙模块包括HC-06蓝牙串口通信模块和CSR4.0蓝牙适配器，HC-06蓝牙串口通信模块与控制模块相连，CSR4.0蓝牙适配器与主机相连，蓝牙模块可以实现控制模块和主机之间的无线串口通信。主机经过姿势识别处理，将有效姿势字符串信号，通过蓝牙串口传递给控制模块。控制模块主要为单片机，与智能小车相连，将字符串信号转换为小车车轮电机的控制信号，控制小车做出不同的动作。红外避障模块设置在智能小车车头左右两边，避免小车在用户姿势控制时撞上障碍物。终端计算机与主机相连，接收主机传递的用户人体信息，并在计算机上显示，以便用户对自己的姿势进行查看并进行调整。
本发明的有益技术效果是：
本发明采用Kinect感应器实现人机交互，能快速准确得采集人体关节及姿势信息，不需要穿戴设备，简单方便且高效。
本发明采用蓝牙串口通信，利用蓝牙连接而不是传统的数据线给控制模块传递有效信息，实现了小车的远距离操控。
本发明采用红外避障模块，有效地让小车避开障碍物，避免主机端连续的控制信号使小车不停地移动而造成的碰撞损伤。
附图说明
图1是本发明工作流程图
图2是本发明用户发出控制命令的有效姿势正视图
图3是本发明用户发出控制命令的有效姿势侧视图
具体实施方式
如图1所示，一种基于Kinect的智能小车手势识别控制系统，由全能感应器设备、主机、智能小车、控制模块、蓝牙模块、红外避障模块、终端计算机模块组成。所述全能感应器设备主要包括体感摄像头和适配器，所述蓝牙模块包括蓝牙串口通信模块和蓝牙适配器，所述蓝牙串口通信模块与控制模块相连，所述蓝牙适配器与主机相连，所述控制模块与智能小车相连，所述主机与全能体感设备相连，所述终端计算机模块与所述主机相连。
(一)采集信息。用户面对Kinect摄像头做出不同的姿势，Kinect将实时的人体关节和姿势信息传递给主机，主机将这些信息传递给终端计算机，实时显示用户的骨骼连接图。
(二)发出信号。主机对Kinect传送过来的姿势信息做分析和处理识别出有效姿势，如图2所示，再经过蓝牙串口通信模块给控制模块发送信号。
下表仅为本发明的一组有效的姿势识别，本发明的有效姿势并不限于以下举例。
| 姿势 | 对应命令 |
| 右手推前，左手无动作 | 小车向前进 |
| 左手推前，右手动作任意 | 小车向后退 |
| 右手推前，左手向左摆 | 小车向左转 |
| 右手推前，左手向右摆 | 小车向右转 |
| 左右手均无动作 | 小车停止 |
(三)接收信号。控制模块接收信号，给小车发出命令。控制模块首先要接收红外避障模块发出的信号，若前方无障碍，方可接收主机端的控制信号。若前方有障碍，即红外收发传感器检测到障碍，则对控制模块发出如下表的信号。
| 红外收发传感器信号 | 对应命令 |
| 左边有信号，右边无信号 | 小车右转 |
| 左边无信号，右边有信号 | 小车左转 |
| 左右两边均有信号 | 小车先后退再左转 |
以上是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均属本发明技术方案的范围内。
Claims (2)
1.一种基于Kinect的智能小车手势识别控制系统，其特征在于：包括全能感应器设备、主机、智能小车、控制模块、蓝牙模块、红外避障模块和终端计算机模块；所述全能感应器设备主要包括Kinect for Windows V2体感摄像头和Kinect适配器，所述蓝牙模块包括HC-06蓝牙串口通信模块和CSR4.0蓝牙适配器，所述HC-06蓝牙串口通信模块与控制模块相连，所述CSR4.0蓝牙适配器与主机相连，所述控制模块与智能小车相连，所述终端计算机模块与所述主机相连，所述全能体感设备与主机相连。
2.一种基于Kinect的智能小车手势识别控制方法，其特征在于：
1)根据权利要求1所述的全能感应器设备只要由Kinect for Windows V2体感摄像头和Kinect适配器组成：所述Kinect适配器连接主机和体感摄像头并给体感摄像头供电。当用户面对所述Kinect体感摄像头做出动作时，将信息通过所述Kinect适配器传送到所述主机。
2)根据权利要求1所述的主机接收所述全能感应器设备传递的信息，一方面由所述主机识别有效信息，将用户动作的有效信息通过所述蓝牙模块传递给所述控制模块，一方面将用户骨骼数据传递给所述终端计算机。
3)根据权利要求1所述蓝牙模块包括HC-06蓝牙串口通信模块和CSR4.0蓝牙适配器：所述CSR4.0蓝牙适配器接收所述主机传递的有效信息，再将信息通过蓝牙通信传递给所述HC-06蓝牙串口通信模块；所述HC-06蓝牙通信模块将接收到的信息传递给控制模块。
4)根据权利要求1所述的红外避障模块主要为红外传感器：所述红外避障模块将所述红外传感器的信息传递给控制器。
5)根据权利要求1所述的控制模块主要为单片机：所述主机和所述红外避障模块将信息传送给所述控制模块；所述控制模块发出控制信号，实现小车的前进、后退、左转、右转、避障等功能。
6)根据权利要求1所述的终端计算机显示用户做出的动作、骨骼等信息，供用户自己进行监控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610761624.4A CN106354129A (zh) | 2016-08-30 | 2016-08-30 | 基于Kinect的智能小车手势识别控制系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610761624.4A CN106354129A (zh) | 2016-08-30 | 2016-08-30 | 基于Kinect的智能小车手势识别控制系统及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106354129A true CN106354129A (zh) | 2017-01-25 |
Family
ID=57857584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610761624.4A Pending CN106354129A (zh) | 2016-08-30 | 2016-08-30 | 基于Kinect的智能小车手势识别控制系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106354129A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678425A (zh) * | 2017-08-29 | 2018-02-09 | 南京理工大学 | 一种基于Kinect手势识别的小车控制装置 |
| CN108466263A (zh) * | 2018-01-29 | 2018-08-31 | 青岛真时科技有限公司 | 一种机器人控制方法和装置 |
| CN109814409A (zh) * | 2019-04-02 | 2019-05-28 | 陈国昊 | 一种新型高仿真遥控车传感与控制系统 |
| CN109885055A (zh) * | 2019-03-06 | 2019-06-14 | 罗翊恺 | 一种智能小车控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955215A (zh) * | 2014-04-15 | 2014-07-30 | 桂林电子科技大学 | 基于手势识别的自动避障小车及其控制装置和控制方法 |
| CN104216516A (zh) * | 2014-08-21 | 2014-12-17 | 深圳市金立通信设备有限公司 | 一种终端 |
| US20150057841A1 (en) * | 2013-08-23 | 2015-02-26 | Hung-Wang Hsu | Motion sensing remote control device |
| CN105224088A (zh) * | 2015-10-22 | 2016-01-06 | 东华大学 | 一种基于手势识别的体感操控车载平板系统及方法 |
-
2016
- 2016-08-30 CN CN201610761624.4A patent/CN106354129A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150057841A1 (en) * | 2013-08-23 | 2015-02-26 | Hung-Wang Hsu | Motion sensing remote control device |
| CN103955215A (zh) * | 2014-04-15 | 2014-07-30 | 桂林电子科技大学 | 基于手势识别的自动避障小车及其控制装置和控制方法 |
| CN104216516A (zh) * | 2014-08-21 | 2014-12-17 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN105224088A (zh) * | 2015-10-22 | 2016-01-06 | 东华大学 | 一种基于手势识别的体感操控车载平板系统及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678425A (zh) * | 2017-08-29 | 2018-02-09 | 南京理工大学 | 一种基于Kinect手势识别的小车控制装置 |
| CN108466263A (zh) * | 2018-01-29 | 2018-08-31 | 青岛真时科技有限公司 | 一种机器人控制方法和装置 |
| CN109885055A (zh) * | 2019-03-06 | 2019-06-14 | 罗翊恺 | 一种智能小车控制方法 |
| CN109814409A (zh) * | 2019-04-02 | 2019-05-28 | 陈国昊 | 一种新型高仿真遥控车传感与控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106354129A (zh) | 基于Kinect的智能小车手势识别控制系统及其控制方法 | |
| CN103955215B (zh) | 基于手势识别的自动避障小车及其控制装置和控制方法 | |
| CN104410883B (zh) | 一种移动可穿戴非接触式交互系统与方法 | |
| CN202985566U (zh) | 基于人脸识别的安保机器人 | |
| CN104111655A (zh) | 一种基于远程控制的智能家居服务机器人系统 | |
| CN103135453A (zh) | 家用电器控制方法及系统 | |
| CN105681747A (zh) | 一种远程呈现交互操作轮椅 | |
| CN108131808B (zh) | 基于分级手势识别的空调控制装置及方法 | |
| CN103941864A (zh) | 一种基于人眼双目视角的体感控制器 | |
| CN103945251A (zh) | 一种远程遥控系统及移动终端 | |
| CN205053686U (zh) | 一种具有手势识别的窗帘控制系统 | |
| CN107253203A (zh) | 多模式智能玩具搜集机器人 | |
| CN205644515U (zh) | 一种智能电子画框 | |
| CN106625701A (zh) | 一种基于机器视觉的餐厅机器人 | |
| CN107622539A (zh) | 能提高巡更效率的智能ar巡更装置 | |
| CN106095087A (zh) | 体感交互系统以及方法 | |
| CN202058090U (zh) | 基于手势识别的非接触式控制系统 | |
| CN206200992U (zh) | 一种基于机器视觉的餐厅机器人 | |
| CN104978032B (zh) | 一种基于手势识别的多媒体控制装置 | |
| CN108381552A (zh) | 跟随机器人 | |
| CN203019375U (zh) | 一种无线体感遥操作机器人系统 | |
| CN204808201U (zh) | 基于视觉的手势识别控制系统 | |
| CN111399636A (zh) | 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置 | |
| CN208117873U (zh) | 一种门岗机器人 | |
| CN208569552U (zh) | 一种低功耗的手势识别装置及便携式设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170125 |
|
| WD01 | Invention patent application deemed withdrawn after publication |