CN112699739A - 一种基于结构光3d摄像头识别手势控制油烟机的方法 - Google Patents

一种基于结构光3d摄像头识别手势控制油烟机的方法 Download PDF

Info

Publication number
CN112699739A
CN112699739A CN202011457413.4A CN202011457413A CN112699739A CN 112699739 A CN112699739 A CN 112699739A CN 202011457413 A CN202011457413 A CN 202011457413A CN 112699739 A CN112699739 A CN 112699739A
Authority
CN
China
Prior art keywords
camera
structured light
range hood
gesture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011457413.4A
Other languages
English (en)
Inventor
陈磊
潘叶江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vatti Co Ltd
Original Assignee
Vatti Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vatti Co Ltd filed Critical Vatti Co Ltd
Priority to CN202011457413.4A priority Critical patent/CN112699739A/zh
Publication of CN112699739A publication Critical patent/CN112699739A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/158Switching image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于结构光3D摄像头识别手势控制油烟机的方法,包括通过Wifi模块数据相连的油烟机和智能终端,所述油烟机内设有摄像头和人体传感器,所述人体传感器感应用户后调用结构光3D摄像头;所述结构光3D包括结构光3D摄像头,所述结构光3D摄像头对人脸和手势进行识别;所述智能终端内录入用户人脸和控制手势,所述智能终端通过HTTP传输数据到云服务平台,所述云服务平台通过UDP数据传输与油烟机本体数据相连。本发明通过在烟机上安装结构光3D摄像头和相关软硬件,不仅提供了更为丰富、自然的手势交互习惯,更能通过人脸识别,简化交互习惯,提高用户体验。

Description

一种基于结构光3D摄像头识别手势控制油烟机的方法
技术领域
本发明涉及油烟机领域,尤其涉及一种基于结构光3D摄像头识别手势控制油烟机的方法。
背景技术
当前市场中有大量油烟机引入手势控制功能,且被用户广泛接受和使用,当前在售产品采用了2个红外传感器,通过触发时间间隔和触发顺序,实现识别向左、向右挥手的两种手势识别。该方案存在以下缺点:1.左右挥手动动作和开关机等功能相关不符合用户直觉,增加了用户使用的学习成本;2.容易误触发,如有人在油烟机面前走过,行走速度和挥手速度接近且距离较近时,油烟机就被误触发;3.识别手势太少,无法做更多丰富的交互,大部分功能启动仍然需通过触摸按钮来实现。因此,需要进一步提高其智能化和个性化程度。
发明内容
为克服现有技术的缺点,本发明目的在于提供一种基于结构光3D摄像头识别手势控制油烟机的方法。
本发明通过以下技术措施实现的,包括通过Wifi模块数据相连的油烟机和智能终端,所述油烟机内设有摄像头和人体传感器,所述人体传感器感应用户后调用结构光3D摄像头;所述结构光3D包括结构光3D摄像头,所述结构光3D摄像头对人脸和手势进行识别;所述智能终端内录入用户人脸和控制手势,所述智能终端通过HTTP传输数据到云服务平台,所述云服务平台通过UDP数据传输与油烟机本体数据相连。
作为一种优选方式,所述控制方法包括以下步骤:S1,在启动状态下感应是否有人;S2,判断油烟机前的人体伫立状态是否持续系统设定的时间;S3,启动3D结构光摄像头;S4,识别用户身份;S5,识别用户手势;S6,匹配用户习惯并根据设定的使用方式控制油烟机;S7,根据S4和S5,云端记录用户手势;S8,根据用户习惯自动微调手势模型。
作为一种优选方式,所述摄像头还包括双目摄像头,所述双目摄像头深度成像计算公式为:Dgray=Ddepth×255/Dmax,其中,Ddepth为每个像素点深度值,Dmax是整幅图像最大的深度值,Dgray为转换之后的灰度数据值。
作为一种优选方式,人体传感器控制摄像头工作在需要时启动,如人体传感器在感知到有无人到有人,且有人过程持续2s后,启动3D结构光摄像头。
作为一种优选方式,所述结构光3D摄像头初步检测控制手势的关键点,所述关键点采用算法计算和拟合得到3D关键点位置,所述3D关键点位置投影转换为2D图像,所述2D图像通过迭代法训练检测模型网络从而得到精确的手部关键点检测模型。
作为一种优选方式,所述智能终端包括终端APP,所述终端APP能够调动智能终端的摄像头,通过所述摄像头采集用户人脸信息和用户个人偏好信息。
作为一种优选方式,所述人体传感器到人体且有人状态持续2s,所述人体传感器自动调用3D结构光摄像头对当前人脸进行识别。
作为一种优选方式,基于模型拟合的方法建立目标组织模型,从深度图得到手部模型,并重复优化识别图像实现对目标的识别。
作为一种优选方式,所述用户个人偏好信息包括静音、油烟大小、环保节能、照明清晰度、自定义手势等。
作为一种优选方式,将所述智能终端录入的用户个人的操控手势上传至云服务平台,所述云服务平台对接收操控手势进行精细化微调并备份后发送至油烟机端。
本发明提供的一种基于结构光3D摄像头识别手势控制油烟机的方法,在硬件上,烟机上安装有结构光3D摄像头、人体传感器;软件上,使油烟机与智能手机端网络相连。结构光3D摄像头和人体传感器识别用户身份、动向及用户控制手势,根据用户需求在智能手机设置个人操作习惯和偏好,设定烟机工作状态,提供了更智能化、人性化的人机交互体验,简化了用户操作过程,方便实用。
附图说明
图1为本发明实施例的运作流程示意图;
具体实施方式
下面结合实施例并对照附图对本发明作进一步详细说明。
一种基于结构光3D摄像头识别手势控制油烟机的方法,参考图1,包括通过Wifi模块数据相连的油烟机和智能终端,所述油烟机内设有摄像头和人体传感器,所述人体传感器感应用户后调用结构光3D摄像头;所述摄像头包括结构光3D摄像头,所述结构光3D摄像头对人脸和手势进行识别;所述智能终端内录入用户人脸和控制手势,所述智能终端通过HTTP传输数据到云服务平台,所述云服务平台通过UDP数据传输与油烟机本体数据相连。本发明主要包括油烟机、移动终端、3D结构光摄像头以及相应的计算单元,油烟机通过Wifi单元与移动终端连接,移动终端内设有终端APP,终端APP内提前录入用户信息和控制手势,同时将用户信息和控制手势等操作设置传送至云端;油烟机端通过感应单元和人脸识别单元确定用户信息,将云端记录的用户手势调取出来,等待用户作进一步的控制手势来启动油烟机工作。
所述控制方法包括以下步骤:S1,在启动状态下感应是否有人;S2,判断油烟机前的人体伫立状态是否持续系统设定的时间;S3,启动3D结构光摄像头;S4,识别用户身份;S5,识别用户手势;S6,匹配用户习惯并根据设定的使用方式控制油烟机;S7,根据S4和S5,云端记录用户手势;S8,根据用户习惯自动微调手势模型。参考附图1所示,油烟机通过人体传感器判断油烟机前是否有用户,且该用户是否停留一定的时间,若否,则继续返回待机状态;若是,则调用摄像头来识别用户。识别到用户身份后调取云端录入的个人信息,等待用户做出进一步动作指令;用户使用时根据提前在智能终端录入的使用习惯手势指令,通过该个性化指令来控制油烟机的各模块功能。
所述摄像头还包括双目摄像头,所述双目摄像头深度成像计算公式为:Dgray=Ddepth×255/Dmax,其中,Ddepth为每个像素点深度值,Dmax是整幅图像最大的深度值,Dgray为转换之后的灰度数据值。基于双目摄像头的人体识别中,一个摄像头采集可见光照片,另一个摄像头采集近外光照片,将捕获到的关键特征点进行精确识别定位并计算出相关空间信息。在距离越近的地方,捕捉关键部位的深度值越小,因而所计算出来的灰度值也就小,显示出来的对应图像颜色也就越深,在本实施例中,结合手掌的厚度,将深度图像按照厚度做提取,通过采用深度阈值的方法来提取手势图像。
人体传感器控制摄像头工作在需要时启动,如人体传感器在感知到有无人到有人,且有人过程持续2s后,启动3D结构光摄像头。人体传感器在感知到有人后,自动调用3D结构光摄像头,3D结构光定义人脸识别能够利用结构光设备同时获取场景的彩色、红外、深度图片,并对场景中的人脸进行检测分析,形成3D人脸图像,创建带有面部深度信息的人脸模型,识别到的用户为移动智能终端录入的对象时,油烟机根据云服务平台记录的相关数据启动用户的个性化模式。而识别到的用户为非移动智能终端录入的对象时,该用户可以利用一些基本的控制手势,如拜拜手(再见的动作),油烟机自动关机;伸出设定数量的手指;油烟机风量调整到对应的档位、食指放到嘴巴处(小点声的动作),油烟机调整为静音模式等。
所述结构光3D摄像头初步检测控制手势的关键点,所述关键点采用算法计算和拟合得到3D关键点位置,所述3D关键点位置投影转换为2D图像,所述2D图像通过迭代法训练检测模型网络从而得到精确的手部关键点检测模型;基于模型拟合的方法建立目标组织模型,从深度图得到手部模型,并重复优化识别图像实现对目标的识别。所述结构光3D摄像头初步检测控制手势的关键点,所述关键点根据结构光3D摄像头的位姿构建三角并计算出关键点的3D位置,再将3D点位置投影到每一幅不同视角的2D图像,再使用2D图像和关键点标注训练检测模型网络,通过变量的旧值不断递推新值、更新得到精确的手部关键点检测模型。
所述智能终端包括终端APP,所述终端APP能够调动智能终端的摄像头,通过所述摄像头采集用户人脸信息和用户个人偏好信息。
所述人体传感器到人体且有人状态持续2s,所述人体传感器自动调用3D结构光摄像头对当前人脸进行识别。感应时间自动设定为2秒,其也可通过智能终端设定时间。
所述用户个人偏好信息包括静音、油烟大小、环保节能、照明清晰度、自定义手势等,除上述个性化功能以外,用户可根据自己的额外需求进行设置。
将所述智能终端录入的用户个人的操控手势上传至云服务平台,所述云服务平台对接收操控手势进行精细化微调并备份后发送至油烟机端。在经过用户授权的情况下,云端自动记录用户操作习惯,微调用户偏好信息,经过不断微调实现个性化控制的功能
以上是对本发明一种基于结构光3D摄像头识别手势控制油烟机的方法进行的阐述,用于帮助理解本发明,但本发明的实施方式并不受上述实施例的限制,任何未背离本发明原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,包括通过Wifi模块数据相连的油烟机和智能终端,所述油烟机内设有摄像头和人体传感器,所述人体传感器感应用户后调用结构光3D摄像头;所述结构光3D包括结构光3D摄像头,所述结构光3D摄像头对人脸和手势进行识别;所述智能终端内录入用户人脸和控制手势,所述智能终端通过HTTP传输数据到云服务平台,所述云服务平台通过UDP数据传输与油烟机本体数据相连。
2.根据权利要求1所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,所述控制方法包括以下步骤:S1,在启动状态下感应是否有人;S2,判断油烟机前的人体伫立状态是否持续系统设定的时间;S3,启动3D结构光摄像头;S4,识别用户身份;S5,识别用户手势;S6,匹配用户习惯并根据设定的使用方式控制油烟机;S7,根据S4和S5,云端记录用户手势;S8,根据用户习惯自动微调手势模型。
3.根据权利要求1所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,所述摄像头还包括双目摄像头,所述双目摄像头深度成像计算公式为:Dgray=Ddepth×255/Dmax,其中,Ddepth为每个像素点深度值,Dmax是整幅图像最大的深度值,Dgray为转换之后的灰度数据值。
4.根据权利要求1所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,人体传感器控制摄像头工作在需要时启动,如人体传感器在感知到有无人到有人,且有人过程持续2s后,启动3D结构光摄像头。
5.根据权利要求1所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,所述结构光3D摄像头初步检测控制手势的关键点,所述关键点采用算法计算和拟合得到3D关键点位置,所述3D关键点位置投影转换为2D图像,所述2D图像通过迭代法训练检测模型网络从而得到精确的手部关键点检测模型。
6.根据权利要求1所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,所述智能终端包括终端APP,所述终端APP能够调动智能终端的摄像头,通过所述摄像头采集用户人脸信息和用户个人偏好信息。
7.根据权利要求2所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,所述人体传感器到人体且有人状态持续2s,所述人体传感器自动调用3D结构光摄像头对当前人脸进行识别。
8.根据权利要求3所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,基于模型拟合的方法建立目标组织模型,从深度图得到手部模型,并重复优化识别图像实现对目标的识别。
9.根据权利要求6所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,所述用户个人偏好信息包括静音、油烟大小、环保节能、照明清晰度、自定义手势等。
10.根据权利要求1或8所述的基于结构光3D摄像头识别手势控制油烟机的方法,其特征在于,将所述智能终端录入的用户个人的操控手势上传至云服务平台,所述云服务平台对接收操控手势进行精细化微调并备份后发送至油烟机端。
CN202011457413.4A 2020-12-10 2020-12-10 一种基于结构光3d摄像头识别手势控制油烟机的方法 Withdrawn CN112699739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011457413.4A CN112699739A (zh) 2020-12-10 2020-12-10 一种基于结构光3d摄像头识别手势控制油烟机的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011457413.4A CN112699739A (zh) 2020-12-10 2020-12-10 一种基于结构光3d摄像头识别手势控制油烟机的方法

Publications (1)

Publication Number Publication Date
CN112699739A true CN112699739A (zh) 2021-04-23

Family

ID=75508973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011457413.4A Withdrawn CN112699739A (zh) 2020-12-10 2020-12-10 一种基于结构光3d摄像头识别手势控制油烟机的方法

Country Status (1)

Country Link
CN (1) CN112699739A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136508A (zh) * 2011-12-05 2013-06-05 联想(北京)有限公司 手势识别方法及电子设备
CN105872685A (zh) * 2016-03-24 2016-08-17 深圳市国华识别科技开发有限公司 智能终端控制方法和系统、智能终端
CN106444415A (zh) * 2016-12-08 2017-02-22 湖北大学 智能家居控制方法及系统
CN106647305A (zh) * 2016-12-28 2017-05-10 重庆金鑫科技产业发展有限公司 一种控制方法及终端
CN107037884A (zh) * 2017-05-04 2017-08-11 广东万家乐燃气具有限公司 一种人体智能识别及手势操作控制系统
CN108052199A (zh) * 2017-10-30 2018-05-18 珠海格力电器股份有限公司 抽油烟机的控制方法、装置和抽油烟机
CN108363482A (zh) * 2018-01-11 2018-08-03 江苏四点灵机器人有限公司 一种基于双目结构光的三维手势控制智能电视的方法
CN109032345A (zh) * 2018-07-04 2018-12-18 百度在线网络技术(北京)有限公司 设备控制方法、装置、设备、服务端和存储介质
CN208269502U (zh) * 2018-05-28 2018-12-21 信利光电股份有限公司 一种带结构光的智能冰箱
CN109269041A (zh) * 2018-09-05 2019-01-25 广东美的制冷设备有限公司 空调、空调控制方法及计算机可读存储介质
CN110096139A (zh) * 2019-03-09 2019-08-06 江苏北斗星通汽车电子有限公司 一种车载人机交互系统
CN110398899A (zh) * 2019-06-24 2019-11-01 杭州电子科技大学 一种基于Kinect的智能家居控制系统
CN110426962A (zh) * 2019-07-30 2019-11-08 苏宁智能终端有限公司 一种智能家居设备的控制方法及系统
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136508A (zh) * 2011-12-05 2013-06-05 联想(北京)有限公司 手势识别方法及电子设备
CN105872685A (zh) * 2016-03-24 2016-08-17 深圳市国华识别科技开发有限公司 智能终端控制方法和系统、智能终端
CN106444415A (zh) * 2016-12-08 2017-02-22 湖北大学 智能家居控制方法及系统
CN106647305A (zh) * 2016-12-28 2017-05-10 重庆金鑫科技产业发展有限公司 一种控制方法及终端
CN107037884A (zh) * 2017-05-04 2017-08-11 广东万家乐燃气具有限公司 一种人体智能识别及手势操作控制系统
CN108052199A (zh) * 2017-10-30 2018-05-18 珠海格力电器股份有限公司 抽油烟机的控制方法、装置和抽油烟机
CN108363482A (zh) * 2018-01-11 2018-08-03 江苏四点灵机器人有限公司 一种基于双目结构光的三维手势控制智能电视的方法
CN208269502U (zh) * 2018-05-28 2018-12-21 信利光电股份有限公司 一种带结构光的智能冰箱
CN109032345A (zh) * 2018-07-04 2018-12-18 百度在线网络技术(北京)有限公司 设备控制方法、装置、设备、服务端和存储介质
CN109269041A (zh) * 2018-09-05 2019-01-25 广东美的制冷设备有限公司 空调、空调控制方法及计算机可读存储介质
CN110096139A (zh) * 2019-03-09 2019-08-06 江苏北斗星通汽车电子有限公司 一种车载人机交互系统
CN110398899A (zh) * 2019-06-24 2019-11-01 杭州电子科技大学 一种基于Kinect的智能家居控制系统
CN110426962A (zh) * 2019-07-30 2019-11-08 苏宁智能终端有限公司 一种智能家居设备的控制方法及系统
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法

Similar Documents

Publication Publication Date Title
CN109600550B (zh) 一种拍摄提示方法及终端设备
WO2019120029A1 (zh) 智能调节屏幕亮度的方法、装置、存储介质及移动终端
WO2020103526A1 (zh) 拍照方法、装置、存储介质及终端设备
US10521648B2 (en) Body information analysis apparatus and method of auxiliary comparison of eyebrow shapes thereof
CN105072327B (zh) 一种防闭眼的人像拍摄处理的方法和装置
WO2018161289A1 (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
EP3462375A1 (en) Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof
JP2010074735A (ja) 操作入力装置、操作入力方法、プログラム
CN204791017U (zh) 基于多生物特征模态的移动终端用户身份认证装置
WO2010085221A1 (en) Method to control media with face detection and hot spot motion
US9098243B2 (en) Display device and method for adjusting observation distances thereof
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN108377339A (zh) 一种拍照方法及拍照装置
CN107682236B (zh) 基于计算机图像识别的智能家居交互系统及方法
CN108668080A (zh) 提示镜头脏污程度的方法及装置、电子设备
US20120264095A1 (en) Emotion abreaction device and using method of emotion abreaction device
CN114578701A (zh) 智能家居控制系统的学习方法及控制方法
CN110881105B (zh) 一种拍摄方法及电子设备
CN113759748A (zh) 一种基于物联网的智能家居控制方法及系统
CN108650452A (zh) 用于智能可穿戴电子设备的人脸拍照方法及系统
CN108933891A (zh) 拍照方法、终端及系统
CN112699739A (zh) 一种基于结构光3d摄像头识别手势控制油烟机的方法
CN108307108B (zh) 一种拍照控制方法及移动终端
CN106791407A (zh) 一种自拍控制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210423

WW01 Invention patent application withdrawn after publication