CN108375920A - 基于深度传感器的设备控制系统 - Google Patents

基于深度传感器的设备控制系统 Download PDF

Info

Publication number
CN108375920A
CN108375920A CN201810168800.2A CN201810168800A CN108375920A CN 108375920 A CN108375920 A CN 108375920A CN 201810168800 A CN201810168800 A CN 201810168800A CN 108375920 A CN108375920 A CN 108375920A
Authority
CN
China
Prior art keywords
human body
depth
module
depth data
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810168800.2A
Other languages
English (en)
Inventor
张欢欢
吴郢
展华益
刘明华
赵建仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201810168800.2A priority Critical patent/CN108375920A/zh
Publication of CN108375920A publication Critical patent/CN108375920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明涉及视觉检测识别技术。本发明解决了现有的基于RGB/红外摄像头的设备控制系统存在的隐私泄露，基于RGB摄像头的人体定位方案易受颜色、光照和背景的影响，无补光RGB摄像头无法在暗光或黑暗环境下工作的问题，提出了一种基于深度传感器的设备控制系统，其技术方案要点为：包括深度数据采集存储模块、人体定位模块和控制模块，深度数据采集存储模块通过人体定位模块与控制模块连接；深度数据采集存储模块用于采集并存储深度数据，深度数据采集存储模块使用深度传感器采集数据；人体定位模块用于根据深度数据获取人体定位信息；控制模块用于根据获取的人体定位信息对相应的设备进行控制。本发明的有益效果是，保护了用户隐私，适用于智能家电。

Description

基于深度传感器的设备控制系统
技术领域
本发明涉及视觉检测识别技术，特别涉及基于深度传感器的设备控制系统的技术。
背景技术
传统设备通过控制面板或遥控器上的按钮来完成对设备的控制，控制方式繁琐具有局限性，且无法给出用户和设备的相对位置和信息，进而无法智能化控制设备(如空调的风速、风向等)。随着智能化的发展，针对用户信息(如人体方位、距离等)的智能控制功能、辅助功能如安防模式逐渐出现在设备控制系统中，让消费者享受到了更加人性化、现代化的服务。
实现上述功能的解决方案大多需要配备RGB或红外摄像头，基于RGB/红外摄像头拍摄的图像和其它辅助传感器，获取人体的方位信息。但存在以下问题：RGB/红外摄像头拍摄的图像非常清晰，用户隐私得不到保护；基于RGB摄像头实现的人体定位方案易受颜色、光照和背景等影响；无补光RGB摄像头无法工作在暗光或黑暗环境。
发明内容
本发明的目的是提供一种基于深度传感器的设备控制系统，该系统不使用RGB摄像头，深度传感器可在暗光或黑暗环境下工作，基于深度数据的人体定位方案不受颜色、光照和背景影响，更易于前景背景分割，且深度图像只含物体的轮廓信息，不含细节信息，能够解决现有的基于RGB/红外摄像头的设备控制系统存在的隐私泄露，基于RGB摄像头的人体定位方案易受颜色、光照和背景的影响，无补光RGB摄像头无法在暗光或黑暗环境下工作的问题。
本发明解决其技术问题，采用的技术方案是：基于深度传感器的设备控制系统，其特征在于，包括深度数据采集存储模块、人体定位模块和控制模块，所述深度数据采集存储模块通过人体定位模块与控制模块连接；
所述深度数据采集存储模块用于采集并存储深度数据，所述深度数据采集存储模块使用深度传感器采集数据；
所述人体定位模块用于根据深度数据获取人体定位信息；
所述控制模块用于根据获取的人体定位信息对相应的设备进行控制。
具体地，所述采集的深度数据为点云数据或深度图像；
所述点云数据为视野范围内每个像素点的(x,y,z)，点云数据从深度传感器直接获取的深度数据，其中，x表示视野内一像素点在成像平面内水平方向的坐标，y表示视野内该像素点在成像平面内垂直方向的坐标，z表示视野内该像素点距离摄像头的距离；
所述深度图像每一像素点的值为深度数据z的量化值，深度图像能够直观描绘目标距离信息。
进一步地，所述人体定位模块根据深度数据获取人体定位信息的方法包括以下步骤：
步骤a、填补深度数据中黑色不识别区域；
步骤b、从深度数据中分割出人体候选框；
步骤c、提取描述所述人体候选框的特征向量；
步骤d、对人体和非人体的候选框特征向量进行分类器建模；
步骤e、根据所述分类器判断输入的候选框特征向量是否为人体。
具体地，步骤a中，所述填补深度图像中黑色不识别区域采用滤波算法。
再进一步地，步骤b中，所述从深度数据中分割出人体候选框采用深度数据聚类算法或图像分割算法或运动检测算法或轮廓检测算法。
具体地，步骤c中，所述提取描述所述人体候选框的特征向量采用HOG算法或HOD算法或深度神经网络算法。
再进一步地，步骤d中，所述对人体和非人体的候选框特征向量进行分类器建模采用模板匹配算法或分类算法。
具体地，控制模块包括控制设备参数，根据人体定位信息控制设备参数，若待受控设备为空调，则控制模块根据人体方位实现风随人动，根据人体距离智能调节风力、风向、风速及温度，若待受控设备为电视，则控制模块根据人体距离调节电视亮度。
再进一步地，所述控制模块还包括触发设备节能模式模块，若待受控设备视野范围内在规定时间内无人，控制待受控设备开启节能模式，使待受控设备待机或关闭。
具体地，所述控制模块还包括安防监控模块，所述安防监控模块用于当用户休息或离家时检测视野范围内是否有人入侵，若是则通过待受控设备进行语音提示，并将相应的信息发送到设定的移动终端中，否则不进行提示。
本发明的有益效果是，通过上述基于深度传感器的设备控制系统，使用了深度传感器，获取的信息不含颜色、细节等，有效保护了用户隐私；深度传感器可在暗光或黑暗环境下工作；可解决基于RGB摄像头的检测识别方案易受颜色、光照和背景等影响；可为用户提供更加智能化的控制方式。
附图说明
图1为本发明基于深度传感器的设备控制系统的系统框图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
本发明所述基于深度传感器的设备控制系统由深度数据采集存储模块、人体定位模块和控制模块组成，其系统框图参见图1，其中，深度数据采集存储模块通过人体定位模块与控制模块连接；深度数据采集存储模块用于采集并存储深度数据，深度数据采集存储模块使用深度传感器采集数据；人体定位模块用于根据深度数据获取人体定位信息；控制模块用于根据获取的人体定位信息对相应的设备进行控制。这里，通过深度数据采集存储模块采集并存储深度数据，然后由人体定位模块根据深度数据获取人体定位信息，最后由控制模块根据获取的人体定位信息对相应的设备进行控制。
实施例
本发明实施例基于深度传感器的设备控制系统包括深度数据采集存储模块、人体定位模块和控制模块，其中，深度数据采集存储模块通过人体定位模块与控制模块连接；深度数据采集存储模块用于采集并存储深度数据，深度数据采集存储模块使用深度传感器采集数据；人体定位模块用于根据深度数据获取人体定位信息；控制模块用于根据获取的人体定位信息对相应的设备进行控制。
上述系统中，深度数据采集存储模块可以将获取的数据存储在磁盘和/或外接存储设备和/或RAM等中，用于后续人体定位。
本例中选取的深度传感器分辨率为640x480，点云数据为视野范围内每个像素点的(x,y,z)，点云数据从深度传感器直接获取的深度数据，其中，x表示视野内一像素点在成像平面内水平方向的坐标，y表示视野内该像素点在成像平面内垂直方向的坐标，z表示视野内该像素点距离摄像头的距离；深度图像每一像素点的值为深度数据z的量化值，深度图像能够直观描绘目标距离信息，后续人体定位模块基于深度图像，可防隐私泄露，因后续每帧数据较少，将深度数据存储在RAM中，z的量化值一般采用8位灰度图像像素值的表示方法，即0-255个灰度，表征图像由黑到白的变化。
人体定位模块根据深度数据获取人体定位信息的方法包括以下步骤：
步骤a、填补深度数据中黑色不识别区域，其中，填补深度图像中黑色不识别区域优选地采用滤波算法，如3x3中值滤波算法；
步骤b、从深度数据中分割出人体候选框，其中，从深度数据中分割出人体候选框可以采用深度数据聚类算法或图像分割算法或运动检测算法或轮廓检测算法；
步骤c、提取描述所述人体候选框的特征向量，其中，提取描述所述人体候选框的特征向量可以采用HOG算法或HOD算法或深度神经网络算法，本例中采用HOD算法对分割出的候选框区域进行描述，窗口大小(64,128)，cell尺寸(16,16)，bin个数18，归一化块大小为(2,2)；
步骤d、对人体和非人体的候选框特征向量进行分类器建模，其中，对人体和非人体的候选框特征向量进行分类器建模可以采用模板匹配算法或分类算法，本例中采用SVM分类器对人体候选框特征向量建模，训练一个人体和非人体的二分类器，其中的训练方式为，将人体的候选框特征向量作为正样本，非人体候选框特征向量作为负样本；
步骤e、根据所述分类器判断输入的候选框特征向量是否为人体，对待检测的深度图像，进行步骤a至步骤c，将每一个候选框的特征向量输入SVM分类器，分类器给出决策信息0或1，若为1，则该候选框为人体。
控制模块可应用于所有智能家电设备，如电视、空调/冰箱等，基于深度数据的人体定位信息实现对设备参数的控制、触发设备节能模式、安防监控。
本实施例给出电视亮度的控制，在具体实施中，将待检测的深度图输入人体定位模块，若未检测到人体，采集下一帧深度数据，若检测到人体，根据人体定位信息控制电视亮度，具体如下：
若本实施例中待检测帧检测到人体，计算出的人体质心坐标为(-230.73,-95.684,1435.00)，则人体距离电视距离为1435mm，距离较近，自动调低电视亮度，若计算出的人体方位和距离为(-230.73,-95.684,3210.00)，则人体距离电视距离为3210mm，距离较远，自动调高电视亮度，继续采集下一帧深度数据，从而实现智能调节电视亮度，保护用户眼睛的功能。
本实施例也可控制空调等其它设备，如根据人体方位实现风随人动；根据人体距离智能调节风力、风速和温度等，近距离减小风力和风速，远距离增大风力和风速，制冷模式远距离时减小温度；避开人体送风等。
本实施例也可包括触发设备节能模式模块，若待受控设备视野范围内规定时间，如20分钟内无人，控制待受控设备开启节能模式，使待受控设备待机或关闭。
本实施例也可包括安防监控模块，若设备视野范围内检测到人体，则设备语音播报“有人入侵”，或将信息推送到手机APP，便于用户及时知晓、查看确认和采取相应措施。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.基于深度传感器的设备控制系统，其特征在于，包括深度数据采集存储模块、人体定位模块和控制模块，所述深度数据采集存储模块通过人体定位模块与控制模块连接；
所述深度数据采集存储模块用于采集并存储深度数据，所述深度数据采集存储模块使用深度传感器采集数据；
所述人体定位模块用于根据深度数据获取人体定位信息；
所述控制模块用于根据获取的人体定位信息对相应的设备进行控制。
2.根据权利要求1所述的基于深度传感器的设备控制系统，其特征在于，所述采集的深度数据为点云数据或深度图像；
所述点云数据为视野范围内每个像素点的(x,y,z)，点云数据从深度传感器直接获取的深度数据，其中，x表示视野内一像素点在成像平面内水平方向的坐标，y表示视野内该像素点在成像平面内垂直方向的坐标，z表示视野内该像素点距离摄像头的距离；
所述深度图像每一像素点的值为深度数据z的量化值，深度图像能够直观描绘目标距离信息。
3.根据权利要求1所述的基于深度传感器的设备控制系统，其特征在于，所述人体定位模块根据深度数据获取人体定位信息的方法包括以下步骤：
步骤a、填补深度数据中黑色不识别区域；
步骤b、从深度数据中分割出人体候选框；
步骤c、提取描述所述人体候选框的特征向量；
步骤d、对人体和非人体的候选框特征向量进行分类器建模；
步骤e、根据所述分类器判断输入的候选框特征向量是否为人体。
4.根据权利要求3所述的基于深度传感器的设备控制系统，其特征在于，步骤a中，所述填补深度图像中黑色不识别区域采用滤波算法。
5.根据权利要求3所述的基于深度传感器的设备控制系统，其特征在于，步骤b中，所述从深度数据中分割出人体候选框采用深度数据聚类算法或图像分割算法或运动检测算法或轮廓检测算法。
6.根据权利要求3所述的基于深度传感器的设备控制系统，其特征在于，步骤c中，所述提取描述所述人体候选框的特征向量采用HOG算法或HOD算法或深度神经网络算法。
7.根据权利要求3所述的基于深度传感器的设备控制系统，其特征在于，步骤d中，所述对人体和非人体的候选框特征向量进行分类器建模采用模板匹配算法或分类算法。
8.根据权利要求1所述的基于深度传感器的设备控制系统，其特征在于，控制模块包括控制设备参数，根据人体定位信息控制设备参数，若待受控设备为空调，则控制模块根据人体方位实现风随人动，根据人体距离智能调节风力、风向、风速及温度，若待受控设备为电视，则控制模块根据人体距离调节电视亮度。
9.根据权利要求1或8所述的基于深度传感器的设备控制系统，其特征在于，所述控制模块还包括触发设备节能模式模块，若待受控设备视野范围内在规定时间内无人，控制待受控设备开启节能模式，使待受控设备待机或关闭。
10.根据权利要求9所述的基于深度传感器的设备控制系统，其特征在于，所述控制模块还包括安防监控模块，所述安防监控模块用于当用户休息或离家时检测视野范围内是否有人入侵，若是则通过待受控设备进行语音提示，并将相应的信息发送到设定的移动终端中，否则不进行提示。
CN201810168800.2A 2018-02-28 2018-02-28 基于深度传感器的设备控制系统 Pending CN108375920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810168800.2A CN108375920A (zh) 2018-02-28 2018-02-28 基于深度传感器的设备控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810168800.2A CN108375920A (zh) 2018-02-28 2018-02-28 基于深度传感器的设备控制系统

Publications (1)

Publication Number Publication Date
CN108375920A true CN108375920A (zh) 2018-08-07

Family

ID=63018200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810168800.2A Pending CN108375920A (zh) 2018-02-28 2018-02-28 基于深度传感器的设备控制系统

Country Status (1)

Country Link
CN (1) CN108375920A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109798449A (zh) * 2018-12-20 2019-05-24 国电大渡河沙坪水电建设有限公司 基于机器视觉单元神经网络的供水系统巡检方法及系统
CN112449011A (zh) * 2020-07-07 2021-03-05 德能森智能科技（成都）有限公司 一种不涉及隐私信息的智能网关系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028469A1 (en) * 2011-07-27 2013-01-31 Samsung Electronics Co., Ltd Method and apparatus for estimating three-dimensional position and orientation through sensor fusion
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105868707A (zh) * 2016-03-28 2016-08-17 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN205581901U (zh) * 2016-03-29 2016-09-14 华东师范大学 一种基于深度数据的癫痫发作监控系统
CN106989483A (zh) * 2017-03-29 2017-07-28 邯郸美的制冷设备有限公司 空调器的送风控制方法、系统及空调器
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028469A1 (en) * 2011-07-27 2013-01-31 Samsung Electronics Co., Ltd Method and apparatus for estimating three-dimensional position and orientation through sensor fusion
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105868707A (zh) * 2016-03-28 2016-08-17 华中科技大学 一种基于深度图像信息的坠床行为实时检测方法
CN205581901U (zh) * 2016-03-29 2016-09-14 华东师范大学 一种基于深度数据的癫痫发作监控系统
CN106989483A (zh) * 2017-03-29 2017-07-28 邯郸美的制冷设备有限公司 空调器的送风控制方法、系统及空调器
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109798449A (zh) * 2018-12-20 2019-05-24 国电大渡河沙坪水电建设有限公司 基于机器视觉单元神经网络的供水系统巡检方法及系统
CN109798449B (zh) * 2018-12-20 2021-08-10 国能大渡河沙坪发电有限公司 基于机器视觉单元神经网络的供水系统巡检方法及系统
CN112449011A (zh) * 2020-07-07 2021-03-05 德能森智能科技（成都）有限公司 一种不涉及隐私信息的智能网关系统
CN112449011B (zh) * 2020-07-07 2022-08-12 德能森智能科技（成都）有限公司 一种不涉及隐私信息的智能网关系统

Similar Documents

Publication Publication Date Title
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
JP6155032B2 (ja) 撮影システム
US20160260306A1 (en) Method and device for automated early detection of forest fires by means of optical detection of smoke clouds
CN109484935A (zh) 一种电梯轿厢监控方法、装置及系统
CN106131376B (zh) 一种室内外场景确定方法及装置
KR101709751B1 (ko) 해변의 입수자에 대한 자동 위험 감시 시스템
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN101635852A (zh) 一种基于自适应背景建模的实时运动目标检测方法
US11972352B2 (en) Motion-based human video detection
CN110472574A (zh) 一种检测着装不规范的方法、装置及系统
CN108375920A (zh) 基于深度传感器的设备控制系统
CN106650634A (zh) 用于终端生物识别的图像镜面反射干扰检测和反馈方法
CN106874869B (zh) 一种车载视觉感知的信息安全系统及方法
CN116503794A (zh) 一种驾驶舱机组的疲劳检测方法
CN108737785A (zh) 基于tof 3d摄像机的室内跌倒自动检测系统
KR101077312B1 (ko) 하라이크 특징점을 이용한 사람 검출 장치 및 그 방법
US11893714B2 (en) Precipitation removal from video
CN114333047A (zh) 一种基于双光感知信息融合的人体摔倒检测装置与方法
CN106128414B (zh) 控制方法、控制装置及电子装置
CN105955058B (zh) 无线智能家居系统
CN113780262A (zh) 人脸识别智能光照补偿方法、装置、设备及系统
KR102211734B1 (ko) 영상 보정 필터를 이용한 영상 감시 장치
CN107918215A (zh) 防止疲劳驾驶的眼镜
US11783490B2 (en) Ground plane filtering of video events
CN107172356A (zh) 一种针对移动物体的人工智能抓拍高清晰照片装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180807