CN111079716A - 基于fpga的视频式手势识别智能家居控制系统 - Google Patents

基于fpga的视频式手势识别智能家居控制系统 Download PDF

Info

Publication number
CN111079716A
CN111079716A CN202010013491.9A CN202010013491A CN111079716A CN 111079716 A CN111079716 A CN 111079716A CN 202010013491 A CN202010013491 A CN 202010013491A CN 111079716 A CN111079716 A CN 111079716A
Authority
CN
China
Prior art keywords
module
gesture
fpga
sdram
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010013491.9A
Other languages
English (en)
Inventor
王鹏
张海珍
焦祥熙
张强
王月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010013491.9A priority Critical patent/CN111079716A/zh
Publication of CN111079716A publication Critical patent/CN111079716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Abstract

一种基于FPGA的视频式手势识别智能家居控制系统属于智能家居领域，包括智能控制设备、家居设备，所述智能控制设备包括FPGA模块、CMOS摄像头、CLK时钟模块、电源模块、SDRAM存储模块和WiFi通信模块，FPGA模块分别连接CLK时钟模块、电源模块、SDRAM存储模块、WiFi通信模块，FPGA模块包括手势采集模块、图像预处理模块、手势特征提取模块、手势识别模块、BlockRAM、SDRAM驱动模块、WiFi驱动模块，CMOS摄像头连接手势采集模块，手势采集模块依次连接图像预处理模块、手势特征提取模块、手势识别模块、WiFi驱动模块、WiFi通信模块，手势采集模块又依次连接SDRAM驱动模块、SDRAM存储模块，智能控制设备通过WiFi通信模块与家居设备进行通信，该系统具有成本低、体积小、功耗低、实时性好的优点。

Description

基于FPGA的视频式手势识别智能家居控制系统
技术领域
本发明涉及智能家居领域，具体地，涉及一种基于FPGA的视频式手势识别智能家居控制系统。
技术背景
随着互联网的发展，智能家居已深入到现代家庭中。目前现有的智能家居控制主要通过无线遥控器、智能开关、主机控制等方法进行。
手势识别作为一种新兴的智能控制方法，利用简单的手势就可以实现对多个家居设备的控制，具有人机交互性强、方便快捷等优点。现有手势识别的方法主要有三种，一是基于加速度传感器的手势识别、二是视频图像式手势识别、三是基于微波雷达的手势识别。基于加速度传感器的手势识别方法，其优点是成本低、实现简单，其缺点是需要穿戴设备，给用户的手部造成一定的束缚，且容易受人体运动的影响而造成误操作；基于微波雷达的手势识别，其优点是精度高，缺点是成本很高；基于视频图像的手势识别具有以下优点：不需穿戴任何设备，减小了对用户手部的束缚，且成本较低。
现有基于视频图像的手势识别系统中，基于计算机的应用系统有体积大、功耗大、成本高、耗时长、实时性差等缺点；基于ARM的应用系统有效率低、功耗大、实时性差等缺点。因此，能够发明一种更加便捷、实时性好的手势识别系统进行智能家居控制对于改善用户体验有着重要的意义。而基于FPGA的手势识别系统能够进行实时流水线处理，具有体积小、功耗小、速度快、实时性好等优点，且其灵活性强，方便进行系统的更新。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种基于FPGA的视频式手势识别智能家居控制系统。
本发明通过以下技术方案实现：
一种基于FPGA的视频式手势识别智能家居控制系统，包括：智能控制设备(1)、家居设备(2)；所述智能控制设备(1)包括FPGA模块(1-1)、CMOS摄像头(1-2)、CLK时钟模块(1-3)、电源模块(1-4)、SDRAM存储模块(1-5)、WiFi通信模块(1-6)，FPGA模块(1-1)分别连接CMOS摄像头(1-2)、CLK时钟模块(1-3)、电源模块(1-4)、SDRAM存储模块(1-5)、WiFi通信模块(1-6)，FPGA模块(1-1)包括手势采集模块(1-1-1)、图像预处理模块(1-1-2)、手势特征提取模块(1-1-3)、手势识别模块(1-1-4)、BlockRAM(1-1-5)、SDRAM驱动模块(1-1-6)、WiFi驱动模块(1-1-7)，CMOS摄像头(1-2)连接手势采集模块(1-1-1)，手势采集模块(1-1-1)依次连接图像预处理模块(1-1-2)、手势特征提取模块(1-1-3)、手势识别模块(1-1-4)、WiFi驱动模块(1-1-7)、WiFi通信模块(1-6)，手势采集模块(1-1-1)又依次连接SDRAM驱动模块(1-1-6)、SDRAM存储模块(1-5)，手势特征提取模块(1-1-3)连接BlockRAM(1-1-5)；
所述家居设备(2)包括窗帘、照明灯、电视、空调、风扇、油烟机、洗衣机；
所述智能控制设备(1)通过WiFi通信模块(1-6)与所述家居设备(2)进行通信；其中：
FPGA模块(1-1)用于进行图像处理、信号发送控制；
CMOS摄像头(1-2)用于获取手势图像；
CLK时钟模块(1-3)用于为FPGA产生时钟信号；
电源模块(1-4)用于为FPGA提供电源；
SDRAM存储模块(1-5)用于存储采集到的手势图像；
WiFi通信模块(1-6)用于实现智能控制设备(1)与若干家居设备(2)的通信。
在FPGA模块(1-1)中：
手势采集模块(1-1-1)用于采集由CMOS摄像头获取的手势图像；
图像预处理模块(1-1-2)用于进行二值化、腐蚀、去噪等图像预处理；
手势特征提取模块(1-1-3)用于提取手势主方向、手势面积、手势周长等手势图像特征；
手势识别模块(1-1-4)对所获取的手势图像特征进行模板匹配，实现对特定手势的识别；
BlockRAM(1-1-5)用于存储提取的手势特征数据；
SDRAM驱动模块(1-1-6)用于驱动SDRAM存储器；
WiFi驱动模块(1-1-7)用于驱动WiFi通信模块。
有益效果：
本发明提出一种基于FPGA的视频式手势识别智能家居控制系统，与原有的智能家居控制方式相比，基于视频图像的手势识别系统采用摄像头进行手势的采集，减少了对用户手部的束缚，使用简单手势进行控制，并利用WiFi模块进行与家居设备的无线通信，具有操作简单、方便快捷、成本低廉、控制准确等优点。利用FPGA作为核心处理元件，进行实时流水线处理，加快了手势识别速度，系统实时性大大提高，系统体积和功耗都大大减小。
附图说明
图1为本发明涉及的基于FPGA的视频式手势识别智能家居控制系统组成框图。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施例一
本实施例的基于FPGA的视频式手势识别智能家居控制系统，其结构示意图如图1所示，该基于FPGA的视频式手势识别智能家居控制系统包括智能控制设备(1)、家居设备(2)。所述智能控制设备(1)包括FPGA模块(1-1)、CMOS摄像头(1-2)、CLK时钟模块(1-3)、电源模块(1-4)、SDRAM存储模块(1-5)、WiFi通信模块(1-6)，FPGA模块(1-1)分别连接CMOS摄像头(1-2)、CLK时钟模块(1-3)、电源模块(1-4)、SDRAM存储模块(1-5)、WiFi通信模块(1-6)，FPGA模块(1-1)包括手势采集模块(1-1-1)、图像预处理模块(1-1-2)、手势特征提取模块(1-1-3)、手势识别模块(1-1-4)、BlockRAM(1-1-5)、SDRAM驱动模块(1-1-6)、WiFi驱动模块(1-1-7)，CMOS摄像头(1-2)连接手势采集模块(1-1-1)，手势采集模块(1-1-1)依次连接图像预处理模块(1-1-2)、手势特征提取模块(1-1-3)、手势识别模块(1-1-4)、WiFi驱动模块(1-1-7)、WiFi通信模块(1-6)，手势采集模块(1-1-1)又依次连接SDRAM驱动模块(1-1-6)、SDRAM存储模块(1-5)，手势特征提取模块(1-1-3)连接BlockRAM(1-1-5)；
所述家居设备(2)包括窗帘、照明灯、电视、空调、风扇、油烟机、洗衣机；
所述智能控制设备(1)通过WiFi通信模块(1-6)与所述家居设备(2)进行通信；其中：
FPGA模块(1-1)用于进行图像处理、信号发送控制；
CMOS摄像头(1-2)用于获取手势图像；
CLK时钟模块(1-3)用于为FPGA产生时钟信号；
电源模块(1-4)用于为FPGA提供电源；
SDRAM存储模块(1-5)用于存储采集到的手势图像；
WiFi通信模块(1-6)用于实现智能控制设备(1)与若干家居设备(2)的通信。
在FPGA模块(1-1)中：
手势采集模块(1-1-1)采用BT656协议进行视频解码，将获取到的视频图像转换为适合FPGA处理的图像格式；
图像预处理模块(1-1-2)用肤色分割算法，利用肤色在Ycbcr空间中具有较好的类聚特性，进行图像二值化，再进行腐蚀、去噪等形态学处理；
手势特征提取模块(1-1-3)用于提取手势主方向、手势面积、手势周长等手势图像特征；
手势识别模块(1-1-4)对所获取的手势图像特征进行模板匹配，实现对特定手势的识别；
BlockRAM(1-1-5)用于存储提取的手势特征数据；
SDRAM驱动模块(1-1-6)用于驱动SDRAM存储器；
WiFi驱动模块(1-1-7)用于驱动WiFi通信模块。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应在本发明的保护范围之内。

Claims (2)

1.一种基于FPGA的视频式手势识别智能家居控制系统，其特征是：基于FPGA的视频式手势识别智能家居控制系统包括：智能控制设备（1）、家居设备（2）；
所述智能控制设备（1）包括FPGA模块（1-1）、CMOS摄像头（1-2）、CLK时钟模块（1-3）、电源模块（1-4）、SDRAM存储模块（1-5）、WiFi通信模块（1-6），FPGA模块（1-1）分别连接CMOS摄像头（1-2）、CLK时钟模块（1-3）、电源模块（1-4）、SDRAM存储模块（1-5）、WiFi通信模块（1-6），FPGA模块（1-1）包括手势采集模块（1-1-1）、图像预处理模块（1-1-2）、手势特征提取模块（1-1-3）、手势识别模块（1-1-4）、BlockRAM（1-1-5）、SDRAM驱动模块（1-1-6）、WiFi驱动模块（1-1-7），CMOS摄像头（1-2）连接手势采集模块（1-1-1），手势采集模块（1-1-1）依次连接图像预处理模块（1-1-2）、手势特征提取模块（1-1-3）、手势识别模块（1-1-4）、WiFi驱动模块（1-1-7）、WiFi通信模块（1-6），手势采集模块（1-1-1）又依次连接SDRAM驱动模块（1-1-6）、SDRAM存储模块（1-5），手势特征提取模块（1-1-3）连接BlockRAM（1-1-5）；
所述家居设备（2）包括窗帘、照明灯、电视、空调、风扇、油烟机、洗衣机；
所述智能控制设备（1）通过WiFi通信模块（1-6）与所述家居设备（2）进行通信；其中：
FPGA模块（1-1）用于进行图像处理、信号发送控制；
CMOS摄像头（1-2）用于获取手势图像；
CLK时钟模块（1-3）用于为FPGA模块提供时钟信号；
电源模块（1-4）用于为FPGA模块提供电源；
SDRAM存储模块（1-5）用于存储采集到的手势图像；
WiFi通信模块（1-6）用于实现智能控制设备（1）与家居设备（2）的通信。
2.根据权利要求1所述的基于FPGA的视频式手势识别智能家居控制系统，其特征在于，所述FPGA模块（1-1）中：
手势采集模块（1-1-1）用于采集由CMOS摄像头获取的手势图像；
图像预处理模块（1-1-2）采用肤色分割算法，利用肤色在Ycbcr空间中具有较好的类聚特性，进行图像二值化，再进行腐蚀、去噪等形态学处理；
手势特征提取模块（1-1-3）用于提取手势主方向、手势面积、手势周长等手势图像特征；
手势识别模块（1-1-4）对所获取的手势图像特征进行模板匹配，实现对特定手势的识别；
BlockRAM（1-1-5）用于存储提取的手势特征数据；
SDRAM驱动模块（1-1-6）用于驱动SDRAM存储器；
WiFi驱动模块（1-1-7）用于驱动WiFi通信模块。
CN202010013491.9A 2020-01-07 2020-01-07 基于fpga的视频式手势识别智能家居控制系统 Pending CN111079716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013491.9A CN111079716A (zh) 2020-01-07 2020-01-07 基于fpga的视频式手势识别智能家居控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013491.9A CN111079716A (zh) 2020-01-07 2020-01-07 基于fpga的视频式手势识别智能家居控制系统

Publications (1)

Publication Number Publication Date
CN111079716A true CN111079716A (zh) 2020-04-28

Family

ID=70322366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013491.9A Pending CN111079716A (zh) 2020-01-07 2020-01-07 基于fpga的视频式手势识别智能家居控制系统

Country Status (1)

Country Link
CN (1) CN111079716A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596564A (zh) * 2020-05-19 2020-08-28 哈尔滨工程大学 一种基于WiFi手势识别的智能家居管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN108021880A (zh) * 2017-11-30 2018-05-11 宁波高新区锦众信息科技有限公司 一种基于手势识别的智能家居控制系统
CN208689542U (zh) * 2018-03-09 2019-04-02 南京邮电大学 面向智能家居场景的手势识别控制系统
CN110049365A (zh) * 2019-03-18 2019-07-23 深圳康佳电子科技有限公司 可视信源切换处理方法、显示终端、电视机及存储介质
CN211236931U (zh) * 2020-01-07 2020-08-11 哈尔滨理工大学 基于fpga的视频式手势识别智能家居控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN108021880A (zh) * 2017-11-30 2018-05-11 宁波高新区锦众信息科技有限公司 一种基于手势识别的智能家居控制系统
CN208689542U (zh) * 2018-03-09 2019-04-02 南京邮电大学 面向智能家居场景的手势识别控制系统
CN110049365A (zh) * 2019-03-18 2019-07-23 深圳康佳电子科技有限公司 可视信源切换处理方法、显示终端、电视机及存储介质
CN211236931U (zh) * 2020-01-07 2020-08-11 哈尔滨理工大学 基于fpga的视频式手势识别智能家居控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596564A (zh) * 2020-05-19 2020-08-28 哈尔滨工程大学 一种基于WiFi手势识别的智能家居管理系统
CN111596564B (zh) * 2020-05-19 2022-08-02 哈尔滨工程大学 一种基于WiFi手势识别的智能家居管理系统

Similar Documents

Publication Publication Date Title
CN105353876A (zh) 一种基于多点光感的空间手势识别控制系统及方法
CN104598897A (zh) 视觉传感器、图像处理方法和装置、视觉交互设备
TWI599916B (zh) 控制系統及控制方法
CN102915434A (zh) 一种基于低功耗嵌入式平台的人脸识别系统
CN206559705U (zh) 一种舞台灯光控制装置
CN104503321A (zh) 一种适用于体感或声音控制的超低功耗无线智能控制系统
CN103769339A (zh) 一种基于自然人机交互技术的喷泉控制方法及系统
CN103886510A (zh) 基于图像识别的农产品全程溯源系统及方法
CN103198060A (zh) 智能翻译扫描笔
CN211236931U (zh) 基于fpga的视频式手势识别智能家居控制系统
CN103064486A (zh) 计算机装置及其即时时钟信号的重置方法
CN103167340B (zh) 智能电视手势识别系统及其识别方法
CN111079716A (zh) 基于fpga的视频式手势识别智能家居控制系统
CN104503575A (zh) 一种低功耗手势识别电路装置的设计方法
CN104333962A (zh) 一种智能led灯具及其人机交互系统、交互方法
CN204256444U (zh) 一种适用于体感或声音控制的超低功耗无线智能控制系统
CN110046585A (zh) 一种基于环境光的手势识别方法
CN103945183A (zh) 一种基于视觉感知和wifi的实时数据采集传输器
CN102478974B (zh) 一种用于电子白板的电磁笔及其控制方法
CN203133843U (zh) 智能翻译扫描笔
CN204795452U (zh) 可实现手势、语音交互的电视机系统
CN103914186A (zh) 图像定位识别系统
CN204537142U (zh) 身份信息采集与识别终端
Nikhil et al. Design and development of a DSP processor based reconfigurable hand Gesture Recognition System for real time applications
CN104661362A (zh) 一种照明控制的专用芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination