CN114482833A - 一种基于手势识别的智能遮阳百叶控制系统及方法 - Google Patents

一种基于手势识别的智能遮阳百叶控制系统及方法 Download PDF

Info

Publication number
CN114482833A
CN114482833A CN202210082499.XA CN202210082499A CN114482833A CN 114482833 A CN114482833 A CN 114482833A CN 202210082499 A CN202210082499 A CN 202210082499A CN 114482833 A CN114482833 A CN 114482833A
Authority
CN
China
Prior art keywords
gesture
gesture information
module
information
sun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210082499.XA
Other languages
English (en)
Inventor
杨斌
陈灵阁
李潇婧
李安桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202210082499.XA priority Critical patent/CN114482833A/zh
Publication of CN114482833A publication Critical patent/CN114482833A/zh
Priority to US17/857,123 priority patent/US11762477B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/24—Screens or other constructions affording protection against light, especially against sunshine; Similar screens for privacy or appearance; Slat blinds
    • E06B9/26—Lamellar or like blinds, e.g. venetian blinds
    • E06B9/28—Lamellar or like blinds, e.g. venetian blinds with horizontal lamellae, e.g. non-liftable
    • E06B9/30—Lamellar or like blinds, e.g. venetian blinds with horizontal lamellae, e.g. non-liftable liftable
    • E06B9/32—Operating, guiding, or securing devices therefor
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F10/00—Sunshades, e.g. Florentine blinds or jalousies; Outside screens; Awnings or baldachins
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/24—Screens or other constructions affording protection against light, especially against sunshine; Similar screens for privacy or appearance; Slat blinds
    • E06B9/26—Lamellar or like blinds, e.g. venetian blinds
    • E06B9/28—Lamellar or like blinds, e.g. venetian blinds with horizontal lamellae, e.g. non-liftable
    • E06B9/30—Lamellar or like blinds, e.g. venetian blinds with horizontal lamellae, e.g. non-liftable liftable
    • E06B9/32—Operating, guiding, or securing devices therefor
    • E06B9/322—Details of operating devices, e.g. pulleys, brakes, spring drums, drives
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/56—Operating, guiding or securing devices or arrangements for roll-type closures; Spring drums; Tape drums; Counterweighting arrangements therefor
    • E06B9/68—Operating devices or mechanisms, e.g. with electric drive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/56—Operating, guiding or securing devices or arrangements for roll-type closures; Spring drums; Tape drums; Counterweighting arrangements therefor
    • E06B9/68—Operating devices or mechanisms, e.g. with electric drive
    • E06B2009/6809—Control
    • E06B2009/6818—Control using sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于手势识别的智能遮阳百叶控制系统及方法，实时采集室内图像；根据室内图像，定位出手势活动的动作区域，对动作区域进行特征提取，获取手部运动参数；将手部运动参数解析为手势信息，将该手势信息与预设手势信息进行对比，若预设的手势信息中包含该手势信息，则根据与该手势信息对应的预设的操作逻辑对遮阳百叶做出对应的调整；若预设的手势信息中不包含该手势信息，则判定该手势信息无效。从而根据室内人员的各种手势自动控制百叶的升降和旋转角度，以此来及时快速的实现对室内照明和自然通风量的调控，满足人员对室内环境的需求变化，极大地减少了人员的操作负担，解放了双手，更加的智能化，给使用者提供方便。

Description

一种基于手势识别的智能遮阳百叶控制系统及方法
技术领域
本发明涉及智能遮阳领域，具体涉及一种基于手势识别的智能遮阳百叶控制系统及方法。
背景技术
人一生约有90％的时间呆在室内，而室内环境能够极大地影响一个人的生理、心理和工作效率，因此营造一个舒适的室内环境就显得尤为重要。而自然采光和自然通风是室内环境的重要组成部分，所以营造一个良好的室内光环境和通风环境是很有必要的。研究表明，室内不良的光环境会造成视觉疲劳，损伤人的眼睛，同时也会对人的心理造成极大的负面影响，例如焦躁紧张、烦闷无力等；而在室内通风不好的情况下，室内的空气质量会变差，二氧化碳、甲醛等有害气体浓度会增加，从而导致室内人员出现胸闷、乏力、嗜睡甚至哮喘等不良症状，对人体健康危害极大。
良好的自然采光不仅可以最大限度地利用自然光代替人工照明，减少相应的照明能耗，还可以提高室内环境的视觉舒适度，改善人的心理状态。然而，自然光仍存在着一定的不确定性，不仅会根据地理位置、朝向与格局的不同而不同，还会随着昼夜、季节与气候的变化而变化。自然通风方式是利用压差作用，使室外新鲜空气自动进入室内，从而更新室内因生活过程而污染了的空气，既改善了室内空气品质，提高了室内环境的舒适度，又能满足室内人员心理上的健康需求。但自然通风受建筑周围环境和室外气候状况的影响十分明显。因此如何合理有效地利用自然光和室外空气便成为了首要解决的问题之一。
遮阳百叶可通过调节百叶片的升降和旋转，既能够合理控制太阳直射光进入室内，有效防止眩光，又可以保证室内的自然通风，达到遮阳与通风兼顾的效果，而且遮阳百叶具有操作简单、调节灵便等特点，只需要调节百叶片的升降高度或旋转角度，就能够灵便地调整室内的光线照度和通风量，为室内营造不同感觉的光线效果和吹风效果，增加了室内环境的灵动感；另外，多数百叶的材质都十分轻便，易于调节，且不易伸缩变形，因此在建筑遮阳中常常被采用。
目前常用的建筑室内遮阳百叶系统大多采用单一的手动、遥控或网络控制等控制方式，但这些控制方式均缺乏一定的灵活性与智能性，不能根据室内人员的需求做出及时准确的反馈，存在一定程度的延迟性和机械性，不能很好地满足人们对室内舒适度的要求。
发明内容
针对现有技术存在的问题，本发明的目的在于提出一种基于手势识别的智能遮阳百叶控制系统及方法，从而根据室内人员的各种手势自动控制百叶的升降和旋转角度，以此来及时快速的实现对室内照明和自然通风量的调控，满足人员对室内环境的需求变化，极大地减少了人员的操作负担，解放了双手，更加的智能化，给使用者提供方便。
本发明通过一下技术方案实现：
一种基于手势识别的智能遮阳百叶控制系统，包括数据采集单元、信息处理单元、信息判断单元和末端控制单元；
所述的数据采集单元，用于实时获取室内图像并发送给信息处理单元；
所述的信息处理单元，包括手势信息处理模块，所述的手势信息处理模块用于接收室内图像，并根据室内图像采用深度学习算法定位出室内人员手势活动的动作区域，对动作区域进行特征提取，获取手部运动参数并发送给信息判断单元；
所述的信息判断单元，包括分析模块和手势判别模块；所述的分析模块用于接收手部运动参数，并根据手部运动参数解析出手势信息，将手势信息发送给手势判别模块；所述的手势判别模块用于接收手势信息，并判断预设的手势信息中是否包含该手势信息，若包含该手势信息，则输出该手势信息给末端控制单元，若不包含该手势信息，则判定该手势信息无效，不输出该手势信息；
所述的末端控制单元，包括手势控制模块；所述的手势控制模块用于接收手势信息，并根据预先设置的操作逻辑将手势信息转化为控制指令，根据控制指令控制遮阳百叶升降和旋转。
优选的，所述的手部运动参数包括手部的运动方向、手部的运动角度和手部的运动距离。
进一步的，所述预设的手势信息包括：向上抬手、向下抬手、向前挥手和向后挥手。
进一步的，所述预设的操作逻辑为：向上抬手对应遮阳百叶升的控制指令，向下抬手对应遮阳百叶降的控制指令，向前挥手对应遮阳百叶开度变小的控制指令，向后挥手对应遮阳百叶开度变大的控制指令。
进一步的，遮阳百叶升或降的高度根据手部的运动距离确定，遮阳百叶开度变化的幅度根据手部的运动角度确定。
优选的，所述的信息处理单元还包括人员检测模块；所述的人员检测模块用于接收室内图像，并根据室内图像采用目标检测算法检测室内是否有人员存在，若室内有人员存在，则信息判断单元、人工智能单元和末端控制单元启动；若室内没有人员存在，则信息判断单元、人工智能单元和末端控制单元关闭。
优选的，还包括人工智能单元，所述的人工智能单元包括语音播报模块和自然语义识别模块；
所述的手势判别模块接收到的手势信息是预设信息中存在的手势信息，但手部运动速率超过1m/s，或运动幅度小于10°，或运动距离小于20cm时，则判定手势信息为非常规手势信息，会触发人工智能单元启动；
所述的语音播报模块，用于对室内人员进行手势信息的提问，自然语义识别模块用于识别室内人员的答复内容，手势判别模块将答复内容与手势判别模块接收到的手势信息比较，判断手势判别模块接收到的手势信息是否准确，若准确，则输出该手势信息给末端控制单元；若不准确，则数据采集单元重新采集室内图像，从而获取新的手势信息。
优选的，所述的人工智能单元包括自然语义识别模块；末端控制单元还包括语音控制模块；
所述的自然语义识别模块，用于接收室内人员的语音指令，并采用语义识别算法识别出控制遮阳百叶的语音指令，将语音指令发送给末端控制单元的语音控制模块；
所述的语音控制模块，用于接收所述的自然语义识别模块输出的语音指令，并根据语音指令对遮阳百叶进行调控。
优选的，末端控制单元还包括遥控模块；
所述的遥控模块，用于接收按键控制器发送的调控遮阳百叶的信号，并根据信号控制遮阳百叶升降和旋转。
一种基于手势识别的智能遮阳百叶控制方法，基于所述的基于手势识别的智能遮阳百叶控制系统，包括：
实时采集室内图像；
根据室内图像，定位出手势活动的动作区域，对动作区域进行特征提取，获取手部运动参数；
将手部运动参数解析为手势信息，将该手势信息与预设手势信息进行对比，若预设的手势信息中包含该手势信息，则根据与该手势信息对应的预设的操作逻辑对遮阳百叶做出对应的调整；若预设的手势信息中不包含该手势信息，则判定该手势信息无效。
与现有技术相比，本发明具有如下的有益效果：
本发明提供一种基于手势识别的智能遮阳百叶控制系统，旨在根据室内人员的在室情况以及手部的运动方向、运动距离和运动角度等信息自动调控遮阳百叶，从而改善室内的光照环境和通风环境，有利于营造舒适的室内环境。本发明采用了手势识别的控制方式，极大地减少了人员的操作负担，解放了双手，更加的智能化，给使用者提供方便。
进一步的，通过人员检测模块对室内人员在室情况进行判断，当信息处理单元检测到室内有人员存在时，系统启动；当检测到室内没有人员时，系统将处于关闭状态，可避免能源浪费。
进一步的，本发明还采用了人工智能单元，利用语音播报模块通过提问的方式确定手部姿势的准确性，减少系统误判，从而增强系统运行的准确性。
进一步的，本发明还采用了自然语义识别模块，可以采用输入语音指令的方式来控制遮阳百叶的升降及旋转，避免单一控制方式突然失控的问题，增强了系统整体的工作性能，同时多种控制方式也能满足不同人的操作偏好。
进一步的，本发明还采用了遥控模块，可以采用按键指令的方式来控制遮阳百叶的升降及旋转，避免单一控制方式突然失控的问题，增强了系统整体的工作性能，同时多种控制方式也能满足不同人的操作偏好。
附图说明
图1为本发明基于手势识别的智能遮阳百叶控制系统组成图；
图2为本发明基于手势识别的智能遮阳百叶控制流程图；
图3为本发明设备安装示意图；
图4为本发明手势信息示意图。
图中：1-办公区域，2-普通摄像头，3-语音播报设备，4-遮阳百叶。
具体实施方式
为了进一步理解本发明，下面结合实施例对本发明进行描述，这些描述只是进一步解释本发明的特征和优点，并非用于限制本发明的权利要求。
如图1，本发明基于手势识别的智能遮阳百叶控制系统，具体包括数据采集单元、信息处理单元、信息判断单元、人工智能单元和末端控制单元。
所述的数据采集单元主要包括普通摄像头，其主要作用是实时获取室内图像，为信息处理单元提供足够的数据。
所述的信息处理单元主要包括人员检测模块和手势信息处理模块。所述的人员检测模块主要用于接收所述数据采集单元所采集的室内图像，并根据图像解析出室内人员的在室情况。为了获取人员的在室情况，可以采用目标检测算法，具体采用TinyYOLOv3算法对室内图像进行检测，当人员检测模块检测到室内有人员存在时，信息判断单元、人工智能单元和末端控制单元启动；当检测到室内没有人员时，信息判断单元、人工智能单元和末端控制单元将处于关闭状态。
进一步的，TinyYOLOv3算法用于检测每一帧图像中的室内人员，预测包括人员的边界框和每个边界框的置信度，以此来获取室内人员在图像中的位置。
IOU是用来评价预测框和真实框的评价指标，它可以反映出预测框和真实框的相似度，如公式(1)所示。
Figure BDA0003486462210000061
对于候选框聚类的距离度量，使用公式(2)计算：
distince(box，centroid)＝1-IOU(box，centroid) (2)
其中，box表示真实框的集合，centroid表示边界框的族中心集合，IOU(box，centroid)表示真实框与边界框中心的交集与并集的比值。IOU值越大，代表两者相关度越高，即两者越相近。
所述的手势信息处理模块主要用于接收所述数据采集单元采集的室内图像，并采用深度学习算法，具体采用Fast-RCNN算法，定位出动态手势活动的动作区域，对动作区域进行特征提取，从而获取手部运动参数。其中所述的手部运动参数包括手部的运动方向、手部的运动角度和手部的运动距离。
所述的信息判断单元主要包括分析模块和手势判别模块。其中分析模块用于接收所述信息处理单元所获取的手部运动参数，从而根据手部运动参数解析出对应的手势信息。分析模块通过手部的运动方向、运动角度和手部的运动距离可以确定出手部的运动轨迹。例如：若手部的运动方向为向上，而手部的运动角度为0°，运动距离为5cm，则分析模块解析出手势信息为向上抬手5cm；若手部的运动方向为向前，运动角度为60°，运动距离为0cm，则分析模块解析出手势信息为向前旋转60°。所述的手势判别模块主要用于接收所述的分析模块解析出的手势信息，并判断预设手势信息中是否存在该手势信息，若手势判别模块判定预设手势信息中存在接收到的该手势信息，则将继续输出该手势信息给末端控制单元；若手势判别模块判定预设手势信息中不存在该接收到的手势信息时，例如向前平移或向后平移，则判定该手势信息无效，不输出该手势信息。若手势判别模块判定接收到的手势信息是预设信息中存在的手势信息，但手部运动速率超过1m/s，或运动幅度小于10°，或运动距离小于20cm时，判定手势信息为非常规手势信息，则将会激发人工智能单元中的语音播报模块。
所述的人工智能单元包括语音播报模块和自然语义识别模块。所述的语音播报模块只有检测到在手势信息为非常规手势信息时才会启动，主要用于通过提问的方式确定所获取手势信息的准确性，如若准确，则继续输出该手势信息；如若不准确，则数据采集单元将重新采集手势信息，从而获取新的手势信息；或者室内人员也可以采用输入语音指令的方式，利用语音指令控制遮阳百叶的升降和旋转。
所述的自然语义识别模块用于接收室内人员的语音指令，并采用语义识别算法识别人员发出的升降或旋转遮阳百叶的语音指令，根据不同的语音指令对遮阳百叶窗做出不同的控制。
所述的末端控制单元包括手势控制模块、语音控制模块和遥控模块。所述的手势控制模块用于接收所述信息判断单元输出的手势信息，并根据预先设置的操作逻辑将手势信息转化为对应的控制指令，从而实现控制遮阳百叶升降和旋转的作用。所述的语音控制模块用于接收所述的自然语义识别模块输出的语音指令，并根据不同的语音指令对遮阳百叶实现不同的调控。所述的遥控模块主要用于接收按键控制器向末端控制单元传递的调控遮阳百叶的信号，并根据信号控制遮阳百叶升降和旋转。
如图4，所述的手势信息优选采用以下几种：向上抬手、向下抬手、向前挥手和向后挥手。优选的操作逻辑为：根据以上不同的手势信息，遮阳百叶做出的动作分别是升、降、开度变小和开度变大。所述遮阳百叶升降的高度根据手势的运动距离确定，所述遮阳百叶开度的幅度根据手势的运动角度确定。使用者也可以根据自身习惯选用其他的控制逻辑。
如图3，普通摄像头2安装在房间顶部，距离室内人员的办公区域1最佳拍摄距离为0.8-3.5米，以摄像头能清晰的拍摄到人员上部躯体的场景为宜；优选的，语音播报设备3选用音响，音响优选放置于桌面上，以室内人员能够清晰准确的听到播报的语音信息且不影响人员工作为准。
如图2，本发明控制方法为：
安装在室内房间顶部的普通摄像头实时采集室内图像。
人员检测模块根据室内图像利用YOLOv3算法获取室内人员信息，当人员检测模块检测到室内没有人员时，系统自动关闭；当检测到室内有人员存在时，系统启动。
系统启动后，手势信息处理模块根据普通摄像头拍摄的室内图像，采用Faster-RCNN算法，定位出动态手势活动的区域，对动作区域进行特征提取，从而获取手部运动参数。
当分析模块接收到手部运动参数后，根据手部运动参数将其解析为对应的手势信息，输出给手势判别模块。手势判别模块将接收到的手势信息与预先设置的手势信息进行对比，若预先设置的手势信息中包含该手势信息，则继续输出该手势信息到末端控制单元的手势控制模块，手势控制模块根据预先设置的操作逻辑对遮阳百叶做出对应的调整；若预先设置的手势信息中不包含该手势信息，则判定该手势信息无效，不输出该手势信息。若手势判别模块判定接收到的手势信息是预设信息中存在的手势信息，但手部运动速率超过1m/s，或运动幅度小于10°，或运动距离小于20cm时，判定手势信息为非常规手势信息，则将会激发人工智能单元中的语音播报模块。语音播报模块将进行提问，室内人员做出回答后，自然语义识别模块根据语义识别算法识别语音信息，若信息准确，则继续输出手势信息到末端控制单元；若不准确，则数据采集单元将重新采集室内图像，从而获取新的手势信息；或者室内人员也可以采用输入语音指令的方式，语音控制模块根据接收到的语音指令控制遮阳百叶的升降和旋转。
末端控制单元还包括遥控模块，因此也可以通过按键控制器调整遮阳百叶。
本发明采用了手势识别的控制方式，极大地减少了人员的操作负担，解放了双手，更加的智能化，给使用者提供方便。同时本发明还采用了人工智能单元，利用语音播报模块通过提问的方式确定手部姿势的准确性，减少系统误判，从而增强系统运行的准确性。另外，本发明还采用了自然语义识别模块和遥控模块，可以采用输入语音指令或按键指令的方式来控制遮阳百叶的升降及旋转，避免单一控制方式突然失控的问题，增强了系统整体的工作性能。同时多种控制方式也能满足不同人的操作偏好。
其他情形的工作流程与上述流程一致，不再一一赘述。

Claims (10)

1.一种基于手势识别的智能遮阳百叶控制系统，其特征在于，包括数据采集单元、信息处理单元、信息判断单元和末端控制单元；
所述的数据采集单元，用于实时获取室内图像并发送给信息处理单元；
所述的信息处理单元，包括手势信息处理模块，所述的手势信息处理模块用于接收室内图像，并根据室内图像采用深度学习算法定位出室内人员手势活动的动作区域，对动作区域进行特征提取，获取手部运动参数并发送给信息判断单元；
所述的信息判断单元，包括分析模块和手势判别模块；所述的分析模块用于接收手部运动参数，并根据手部运动参数解析出手势信息，将手势信息发送给手势判别模块；所述的手势判别模块用于接收手势信息，并判断预设的手势信息中是否包含该手势信息，若包含该手势信息，则输出该手势信息给末端控制单元，若不包含该手势信息，则判定该手势信息无效，不输出该手势信息；
所述的末端控制单元，包括手势控制模块；所述的手势控制模块用于接收手势信息，并根据预先设置的操作逻辑将手势信息转化为控制指令，根据控制指令控制遮阳百叶升降和旋转。
2.根据权利要求1所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，所述的手部运动参数包括手部的运动方向、手部的运动角度和手部的运动距离。
3.根据权利要求2所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，所述预设的手势信息包括：向上抬手、向下抬手、向前挥手和向后挥手。
4.根据权利要求3所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，所述预设的操作逻辑为：向上抬手对应遮阳百叶升的控制指令，向下抬手对应遮阳百叶降的控制指令，向前挥手对应遮阳百叶开度变小的控制指令，向后挥手对应遮阳百叶开度变大的控制指令。
5.根据权利要求4所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，遮阳百叶升或降的高度根据手部的运动距离确定，遮阳百叶开度变化的幅度根据手部的运动角度确定。
6.根据权利要求1所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，所述的信息处理单元还包括人员检测模块；所述的人员检测模块用于接收室内图像，并根据室内图像采用目标检测算法检测室内是否有人员存在，若室内有人员存在，则信息判断单元、人工智能单元和末端控制单元启动；若室内没有人员存在，则信息判断单元、人工智能单元和末端控制单元关闭。
7.根据权利要求1所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，还包括人工智能单元，所述的人工智能单元包括语音播报模块和自然语义识别模块；
所述的手势判别模块接收到的手势信息是预设信息中存在的手势信息，但手部运动速率超过1m/s，或运动幅度小于10°，或运动距离小于20cm时，则判定手势信息为非常规手势信息，会触发人工智能单元启动；
所述的语音播报模块，用于对室内人员进行手势信息的提问，自然语义识别模块用于识别室内人员的答复内容，手势判别模块将答复内容与手势判别模块接收到的手势信息比较，判断手势判别模块接收到的手势信息是否准确，若准确，则输出该手势信息给末端控制单元；若不准确，则数据采集单元重新采集室内图像，从而获取新的手势信息。
8.根据权利要求1所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，所述的人工智能单元包括自然语义识别模块；末端控制单元还包括语音控制模块；
所述的自然语义识别模块，用于接收室内人员的语音指令，并采用语义识别算法识别出控制遮阳百叶的语音指令，将语音指令发送给末端控制单元的语音控制模块；
所述的语音控制模块，用于接收所述的自然语义识别模块输出的语音指令，并根据语音指令对遮阳百叶进行调控。
9.根据权利要求1所述的基于手势识别的智能遮阳百叶控制系统，其特征在于，末端控制单元还包括遥控模块；
所述的遥控模块，用于接收按键控制器发送的调控遮阳百叶的信号，并根据信号控制遮阳百叶升降和旋转。
10.一种基于手势识别的智能遮阳百叶控制方法，其特征在于，基于权利要求1所述的基于手势识别的智能遮阳百叶控制系统，包括：
实时采集室内图像；
根据室内图像，定位出手势活动的动作区域，对动作区域进行特征提取，获取手部运动参数；
将手部运动参数解析为手势信息，将该手势信息与预设手势信息进行对比，若预设的手势信息中包含该手势信息，则根据与该手势信息对应的预设的操作逻辑对遮阳百叶做出对应的调整；若预设的手势信息中不包含该手势信息，则判定该手势信息无效。
CN202210082499.XA 2022-01-24 2022-01-24 一种基于手势识别的智能遮阳百叶控制系统及方法 Pending CN114482833A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210082499.XA CN114482833A (zh) 2022-01-24 2022-01-24 一种基于手势识别的智能遮阳百叶控制系统及方法
US17/857,123 US11762477B2 (en) 2022-01-24 2022-07-04 Intelligent sunshading louver control system and method based on gesture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210082499.XA CN114482833A (zh) 2022-01-24 2022-01-24 一种基于手势识别的智能遮阳百叶控制系统及方法

Publications (1)

Publication Number Publication Date
CN114482833A true CN114482833A (zh) 2022-05-13

Family

ID=81474333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210082499.XA Pending CN114482833A (zh) 2022-01-24 2022-01-24 一种基于手势识别的智能遮阳百叶控制系统及方法

Country Status (2)

Country Link
US (1) US11762477B2 (zh)
CN (1) CN114482833A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114364104A (zh) * 2022-01-04 2022-04-15 西安建筑科技大学 一种夜间照明控制及危险监测报警系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202801140U (zh) * 2012-08-31 2013-03-20 华南理工大学 一种窗帘的智能手势和语音控制系统
CN103793055A (zh) * 2014-01-20 2014-05-14 华为终端有限公司 一种手势响应方法及终端
DE102013207664A1 (de) * 2013-04-26 2014-10-30 Zumtobel Lighting Gmbh Anordnung und Verfahren zum Erkennen von Gesten
CN104881117A (zh) * 2015-05-22 2015-09-02 广东好帮手电子科技股份有限公司 一种通过手势识别激活语音控制模块的装置和方法
CN106233229A (zh) * 2014-02-22 2016-12-14 维塔驰有限公司 利用以摄像机为中心的虚拟触控的远程操作装置及方法
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN110895934A (zh) * 2018-09-12 2020-03-20 格力电器（武汉）有限公司 家电控制方法及装置
US20200104581A1 (en) * 2018-10-02 2020-04-02 Samsung Electronics Co., Ltd. Electronic device and gesture recognition method thereof
CN111206867A (zh) * 2018-11-21 2020-05-29 上海阅航智能遮阳技术有限公司 一种智能百叶窗及其控制系统
CN112224304A (zh) * 2020-10-28 2021-01-15 北京理工大学 一种轮步复合移动平台及其手势、语音控制方法
CN112585566A (zh) * 2019-01-31 2021-03-30 华为技术有限公司 用于与具有内置摄像头的设备进行交互的手遮脸输入感测

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11192430B2 (en) * 2019-02-25 2021-12-07 Toyota Research Institute, Inc. Controlling sunshades in an autonomous vehicle
US11921931B2 (en) * 2020-12-17 2024-03-05 Huawei Technologies Co., Ltd. Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202801140U (zh) * 2012-08-31 2013-03-20 华南理工大学 一种窗帘的智能手势和语音控制系统
DE102013207664A1 (de) * 2013-04-26 2014-10-30 Zumtobel Lighting Gmbh Anordnung und Verfahren zum Erkennen von Gesten
CN103793055A (zh) * 2014-01-20 2014-05-14 华为终端有限公司 一种手势响应方法及终端
CN106233229A (zh) * 2014-02-22 2016-12-14 维塔驰有限公司 利用以摄像机为中心的虚拟触控的远程操作装置及方法
CN104881117A (zh) * 2015-05-22 2015-09-02 广东好帮手电子科技股份有限公司 一种通过手势识别激活语音控制模块的装置和方法
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN110895934A (zh) * 2018-09-12 2020-03-20 格力电器（武汉）有限公司 家电控制方法及装置
US20200104581A1 (en) * 2018-10-02 2020-04-02 Samsung Electronics Co., Ltd. Electronic device and gesture recognition method thereof
CN111206867A (zh) * 2018-11-21 2020-05-29 上海阅航智能遮阳技术有限公司 一种智能百叶窗及其控制系统
CN112585566A (zh) * 2019-01-31 2021-03-30 华为技术有限公司 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
CN112224304A (zh) * 2020-10-28 2021-01-15 北京理工大学 一种轮步复合移动平台及其手势、语音控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张俊林等: "《人工智能产品经理技能图谱 AI技术与能力升级》", 31 May 2021, 北京：机械工业出版社, pages: 139 - 141 *
石青等: "微小型仿生机器鼠设计与控制》", 北京理工大学出版社, pages: 189 - 190 *

Also Published As

Publication number Publication date
US20230236669A1 (en) 2023-07-27
US11762477B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111720974A (zh) 运行控制方法、控制面板、空调设备和计算机存储介质
KR20210041806A (ko) IoT센서 및 인공지능을 이용한 스마트 빌딩 관리방법
TWI580906B (zh) 室內設備控制裝置、控制系統及控制方法
CN104033988B (zh) 空调控制系统及其控制方法
CN110891352B (zh) 一种用于智能灯的控制方法及控制系统
CN114482833A (zh) 一种基于手势识别的智能遮阳百叶控制系统及方法
CN106639838B (zh) 百叶窗自动调节系统以及方法
CN112584571A (zh) 开放式办公室照明控制方法
CN110319545A (zh) 环境管理方法、装置和空调
CN111006368A (zh) 一种智能个性化出风系统
CN109869866A (zh) 一种基于室内精确定位和自动模拟的智能环境控制系统
CN113543424A (zh) 一种教室照明方法
CN115167587A (zh) 一种基于自学习的鸡舍养殖环境健康监测控制系统及方法
CN117355013A (zh) 一种基于视觉感知的led智能照明控制系统
CN107949121A (zh) 一种用于建筑高效节能型智慧照明系统及其工作方法
CN117098285A (zh) 一种智能照明控制系统及控制方法
CN111832697A (zh) 一种智能人体识别节能调温系统
CN116156704A (zh) 一种室内亮度调节系统
CN114645669B (zh) 基于智能物联网的阳光房智能遮阳方法
CN212460344U (zh) 基于stm32的智能浴室内空气检测系统
CN219627729U (zh) 一种基于微波成像技术的智能客控装置
CN117111662A (zh) 一种基于人体运动及环境参数的节能系统及控制方法
CN108638094A (zh) 一种家用智能机器人的控制装置的控制方法
CN219642283U (zh) 一种多角度的唇语采集识别装置
CN116755349A (zh) 一种基于物联网的智慧低碳办公系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination