CN104181838A - 基于物联网技术的手势控制玻璃窗清洁装置 - Google Patents

基于物联网技术的手势控制玻璃窗清洁装置 Download PDF

Info

Publication number
CN104181838A
CN104181838A CN201410387038.9A CN201410387038A CN104181838A CN 104181838 A CN104181838 A CN 104181838A CN 201410387038 A CN201410387038 A CN 201410387038A CN 104181838 A CN104181838 A CN 104181838A
Authority
CN
China
Prior art keywords
control signal
key point
vacuum pump
cleaning device
left hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410387038.9A
Other languages
English (en)
Other versions
CN104181838B (zh
Inventor
武新
许磊
陈良
代阳林
唐国辉
李建
杨晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing College of Electronic Engineering
Original Assignee
Chongqing College of Electronic Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing College of Electronic Engineering filed Critical Chongqing College of Electronic Engineering
Priority to CN201410387038.9A priority Critical patent/CN104181838B/zh
Publication of CN104181838A publication Critical patent/CN104181838A/zh
Application granted granted Critical
Publication of CN104181838B publication Critical patent/CN104181838B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及基于物联网技术的手势控制玻璃窗清洁装置,它包括手势控制设备和执行设备;手势控制设备包括CMOS红外摄像头,红外线摄影机,微控制器和无线发射模块;执行设备包括无线接收模块、信号处理控制模块、左轮电机驱动控制器、右轮电机驱动控制器和真空泵驱动器,还包括车架和设置在车架两侧的一对左,右车轮,驱动一对左,右车轮的左轮电机和右轮电机。该玻璃窗清洁装置一方面将减轻人们清洁玻璃窗的工作量,特别是对室外玻璃窗的清洁,避免了高空清洁玻璃窗的危险;另一方面通过手势智能控制玻璃窗清洁装置对玻璃窗的清洁,按照人的意愿控制清洁区域,解决了现有清洁工具清洁效率低的问题,着实的让清洁玻璃窗的负担变为一种智能的轻松的享受。

Description

基于物联网技术的手势控制玻璃窗清洁装置
技术领域
本发明涉及机械电子以及无线控制领域,具体指基于物联网技术的手势控制玻璃窗清洁装置。
背景技术
随着科学技术的不断进步,人们的生活水平不断提高,人们对科学带来的智能体验更加期待。通过遥控器可以智能遥控机器作业是科技赠予工业的礼物,科学技术在渐渐改变人们的工作和生活,我们希望不再仅仅依赖遥控器,而是通过机器感知人的动作,机器根据人的意愿就能完成相应的任务。让智能机器慢慢贴近人们的生活,改善和丰富人们的生活。玻璃窗清洁是每个家庭必不可少的事情,然而现在大多家庭清洁玻璃窗是通过人手持抹布直接在玻璃窗户上进行擦拭。开发体感手势控制智能玻璃窗清洁机器人,让智能玻窗清洁器按照人的意愿对玻璃窗进行清洁,实现人与机器的互动,让智能清洁玻璃窗工作发生一次革命化的改变。
发明内容
针对现有技术存在的上述问题,本发明的目的是提供一种结构简单、重量轻、体积小,且能够在垂直玻璃窗壁面上自由移动的玻璃窗清洁装置。
为实现上述目的,本发明采用如下技术方案:基于物联网技术的手势控制玻璃窗清洁装置,包括手势控制设备和执行设备;所述手势控制设备包括CMOS红外摄像头,红外线摄影机,微控制器和无线发射模块;所述CMOS红外摄像头发出人眼看不见的class1雷射光,将雷射光均匀分布投射在测量空间中形成多个散斑,再通过红外线摄影机记录下测量空间中的每个散斑,获得原始资料,并将该原始资料传送至微控制器;所述微控制器对接收到的原始资料采用骨骼追踪的算法先将其转换成人体姿势图像,然后再生成控制信号,通过无线发射模块将该控制信号发送到执行设备;所述执行设备包括无线接收模块、信号处理控制模块、左轮电机驱动控制器右轮电机驱动控制器和真空泵驱动器;所述无线接收模块用于接收手势控制设备中发出的控制信号;所述信号处理控制模块将无线接收模块接收到的控制信号进行运算处理,生成左轮电机控制信号、右轮电机控制信号以及真空泵控制信号;所述左轮电机驱动控制器的输出端连接左轮电机,所述左轮电机驱动控制器用于接收信号处理控制模块发出的左轮电机控制信号并控制左轮电机工作;所述右轮电机驱动控制器的输出端连接右轮电机,所述右轮电机驱动控制器用于接收信号处理控制模块发出的右轮电机控制信号并控制右轮电机工作;所述真空泵驱动器的输出端连接有真空泵,所述真空泵驱动器用于接收信号处理控制模块发出的真空泵控制信号并控制真空泵工作;所述执行设备还包括车架和设置在车架两侧的一对左,右车轮;工作时车架朝向玻璃的侧面为工作面,背对玻璃的侧面为驱动件安装面;所述驱动件安装面上设有左轮电机、右轮电机和真空泵;工作面上设有吸附结构和凸块,所述凸块上设有清洗构件,所述凸块距工作面的高度大于吸附盘盘口距工作面的高度;所述吸附结构包括真空泵,吸附盘和电磁阀,吸附盘的吸气口与真空泵的抽气口连通,电磁阀的控制线圈与信号处理控制模块的真空泵控制信号输出端连接,电磁阀的触点连接在真空泵驱动器的驱动信号输入端。
作为优化,所述骨骼追踪的算法包括如下步骤:
S1:建立骨骼追踪模型,选取一个头部骨骼关键点作为参照点,选取用于判断左手运动的M个左手骨骼关键点,选取用于判断右手运动的P个右手骨骼关键点,保存原始资料中每一帧图像中对应的作为参照点的一个头部骨骼关键点,M个左手骨骼关键点和P个右手骨骼关键点,得到骨骼追踪模型;
S2:对步骤S1建立的骨骼追踪模型进行降噪平滑处理,然后提取作为参照点的一个头部骨骼关键点,M个左手骨骼关键点和P个右手骨骼关键点的三维坐标;作为参照点的头部骨骼关键点的三维坐标为X、Y、Z,M个左手骨骼关键点的三维坐标为X左i、Y左i、Z左i,i=1,2...M,P个右手骨骼关键点的三维坐标为X右j、Y右j、Z右j,j=1,2...P;
S3:设置判断阈值Xn、Yn、Zn,然后将M个左手骨骼关键点的三维坐标分别带入左手判断函数进行处理,左手判断函数追踪每个左手骨骼关键点的三维坐标,通过M个左手骨骼关键点三维坐标的变化信息,识别和推测左手动作意图,该左手动作意图用I表示,然后将I发送至控制指令的函数;
左手判断函数的处理过程如下:
1)令i=1;
2)Ιi=((X左i-X)>Xn)&&((Y左i-Y)>Yn)&&((Z左i-Z)>Zn),存储Ιi
3)令i=i+1;
4)当i<M时,执行步骤2),当i=M时,执行步骤5);
5)Ι=Ι1&&Ι2&&...&&Ιi;设置判断阈值Xn、Yn、Zn,然后将P个右手骨骼关键点的三维坐标分别带入右手判断函数进行处理,右手判断函数追踪每个右手骨骼关键点的三维坐标,通过P个右手骨骼关键点三维坐标的变化信息,识别和推测右手动作意图,该右手动作意图用J表示,然后将J发送至控制指令的函数;
右手判断函数的处理过程如下:
1)令j=1;
2)Jj=((X右j-X)>Xn)&&((Y右j-Y)>Yn)&&((Z右j-Z)>Zn),存储Jj
3)令j=j+1;
4)当j<P时,执行步骤2),当j=P时,执行步骤5);
5)J=J1&&J2&&...&&Jj
S4:定义控制指令函数,控制指令函数根据接收到的表示左手动作意图的I和表示右手动作意图的J后,发送相应的控制信号:
控制指令函数定义如下:
当I为假,J为假时,则i=1,玻璃窗清洁机器装置前行的控制信号;
当I为真,J为假时,则i=2,玻璃窗清洁机器装置左转的控制信号;
当I为假,J为真时,则i=3,玻璃窗清洁机器装置右转的控制信号;
当I为真,J为真时,则i=4,玻璃窗清洁机器装置后转。
作为优化,所述信号处理控制模块(52)将无线接收模块接收到的控制信号通过如下算法进行运算处理生成左轮电机控制信号和右轮电机控制信号,具体步骤如下:
S1:根据公式2-4,2-5,2-6左轮电机和右轮电机的转速:
V n = V n - 1 &PlusMinus; a x 2 + a y 2 2 T - - - ( 2 - 4 ) ;
N R = V n T - L&theta; 2 &pi;r * T - - - ( 2 - 5 ) ;
N L = V n T + L&theta; 2 &pi;r * T - - - ( 2 - 6 ) ;
其中,NL,NR分别表示左右车轮的转速,r表示车轮的半径,T表示玻璃窗清洁装置的一个移动时间,Vn-1为上一个时间T内玻璃窗清洁装置行走的平均速度,ax表示左手或右手运动的水平加速度,ay表示左手或右手运动的垂直加速度,Vn表示下一个时间T内玻璃窗清洁装置行走的平均速度,L表示玻璃窗清洁装置车身宽度,θ表示玻璃窗清洁装置行走方向与水平方向之间的夹角。
S2:信号处理控制模块根据步骤S1得到左轮电机和右轮电机的转速,发出左轮电机控制信号和右轮电机控制信号。
相对于现有技术,本发明具有如下优点:本发明提供的玻璃窗清洁装置可应用于家居、办公场所的玻璃窗清洁工作,一方面将减轻人们清洁玻璃窗的工作量,特别是对室外玻璃窗的清洁,避免了高空清洁玻璃窗的危险;另一方面通过手势智能控制玻窗清洁装置对玻璃窗的清洁,按照人的意愿控制清洁区域,解决了现有清洁工具清洁效率低的问题,着实的让清洁玻璃窗的负担变为一种智能的轻松的享受。
附图说明
图1为本发明玻璃窗清洁装置的驱动件安装面的结构示意图。
图2为本发明玻璃窗清洁装置的工作面的结构示意图。
图3为本发明玻璃窗清洁装置的原理框图。
图4为本发明中玻璃窗清洁装置的控制数学模型图。
图中,车架10,左车轮11,右车轮12,工作面20,内吸附盘21,外吸附盘22,主凸块24,辅助凸块25,驱动件安装面30,电源31,左轮电机32,右轮电机33,真空泵34;CMOS红外摄像头41,红外线摄影机42,微控制器43,无线发射模块44;无线接收模块51、信号处理控制模块52、左轮电机驱动控制器53、右轮电机驱动控制器54、真空泵驱动器55。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参见图1至图3,基于物联网技术的手势控制玻璃窗清洁装置,包括手势控制设备和执行设备;
手势控制设备包括CMOS红外摄像头41,红外线摄影机42,微控制器43,无线发射模块44;CMOS红外摄像头41发出人眼看不见的class1雷射光,将雷射光均匀分布投射在测量空间中形成多个散斑,再通过红外线摄影机42记录下测量空间中的每个散斑,获得原始资料,并将该原始资料传送至微控制器;微控制器43对接收到的原始资料采用骨骼追踪的算法先将其转换成人体姿势图像,然后再生成控制信号,通过无线发射模块44将该控制信号发送到执行设备。
骨骼追踪的算法包括如下步骤:
S1:建立骨骼追踪模型,选取一个头部骨骼关键点作为参照点,选取用于判断左手运动的M个左手骨骼关键点,选取用于判断右手运动的P个右手骨骼关键点,保存原始资料中每一帧图像中对应的作为参照点的一个头部骨骼关键点,M个左手骨骼关键点和P个右手骨骼关键点,得到骨骼追踪模型;
S2:对步骤S1建立的骨骼追踪模型进行降噪平滑处理,然后提取作为参照点的一个头部骨骼关键点,M个左手骨骼关键点和P个右手骨骼关键点的三维坐标;作为参照点的头部骨骼关键点的三维坐标为X、Y、Z,M个左手骨骼关键点的三维坐标为X左i、Y左i、Z左i,i=1,2...M,P个右手骨骼关键点的三维坐标为X右j、Y右j、Z右j,j=1,2...P;
S3:设置判断阈值Xn、Yn、Zn,然后将M个左手骨骼关键点的三维坐标分别带入左手判断函数进行处理,左手判断函数追踪每个左手骨骼关键点的三维坐标,通过M个左手骨骼关键点三维坐标的变化信息,识别和推测左手动作意图,该左手动作意图用I表示,然后将I发送至控制指令的函数;
左手判断函数的处理过程如下:
1)令i=1;
2)Ιi=((X左i-X)>Xn)&&((Y左i-Y)>Yn)&&((Z左i-Z)>Zn),存储Ιi
3)令i=i+1;
4)当i<M时,执行步骤2),当i=M时,执行步骤5);
5)Ι=Ι1&&Ι2&&...&&Ιi;设置判断阈值Xn、Yn、Zn,然后将P个右手骨骼关键点的三维坐标分别带入右手判断函数进行处理,右手判断函数追踪每个右手骨骼关键点的三维坐标,通过P个右手骨骼关键点三维坐标的变化信息,识别和推测右手动作意图,该右手动作意图用J表示,然后将J发送至控制指令的函数;
右手判断函数的处理过程如下:
1)令j=1;
2)Jj=((X右j-X)>Xn)&&((Y右j-Y)>Yn)&&((Z右j-Z)>Zn),存储Jj
3)令j=j+1;
4)当j<P时,执行步骤2),当j=P时,执行步骤5);
5)J=J1&&J2&&...&&Jj
S4:定义控制指令函数,控制指令函数根据接收到的表示左手动作意图的I和表示右手动作意图的J后,发送相应的控制信号:
控制指令函数定义如下:
当I为假,J为假时,则i=1,玻璃窗清洁机器装置前行的控制信号;
当I为真,J为假时,则i=2,玻璃窗清洁机器装置左转的控制信号;
当I为假,J为真时,则i=3,玻璃窗清洁机器装置右转的控制信号;
当I为真,J为真时,则i=4,玻璃窗清洁机器装置后转
执行设备包括无线接收模块51、信号处理控制模块52、左轮电机驱动控制器53、右轮电机驱动控制器54、真空泵驱动器55;无线接收模块51用于接收手势控制设备中发出的控制信号;
信号处理控制模块52将无线接收模块51接收到的控制信号进行运算处理,生成左轮电机控制信号、右轮电机控制信号以及真空泵控制信号。
信号处理控制模块52将无线接收模块51接收到的控制信号通过如下算法进行运算处理生成左轮电机控制信号和右轮电机控制信号,具体步骤如下:
S1:根据公式2-4,2-5,2-6计算得到左轮电机和右轮电机的转速:
V n = V n - 1 &PlusMinus; a x 2 + a y 2 2 T - - - ( 2 - 4 ) ;
N R = V n T - L&theta; 2 &pi;r * T - - - ( 2 - 5 ) ;
N L = V n T + L&theta; 2 &pi;r * T - - - ( 2 - 6 ) ;
其中,NL,NR分别表示左右车轮的转速,r表示车轮的半径,T表示玻璃窗清洁装置的一个移动时间,Vn-1为上一个时间T内玻璃窗清洁装置行走的平均速度,ax表示左手或右手运动的水平加速度,ay表示左手或右手运动的垂直加速度,Vn表示下一个时间T内玻璃窗清洁装置行走的平均速度,L表示玻璃窗清洁装置车身宽度,θ表示玻璃窗清洁装置行走方向与水平方向之间的夹角。
S2:根据步骤S1得到左轮电机和右轮电机的转速,发出左轮电机控制信号和右轮电机控制信号。
具体地:建立运动模型位姿公式如下:
x &CenterDot; y &CenterDot; &theta; &CenterDot; R 2 cos &theta; R 2 cos &theta; R 2 sin &theta; R 2 sin &theta; - R 2 L R 2 L &omega; L &omega; R - - - ( 2 - 1 ) ;
由式(2-1)可知,若ωL和ωR已知,即可确定运动结构的位姿。而电机转速和电机角速度之间的关系为:ω=(2πn)/60,则只需测得左轮电机和右轮电机的转速即可求出ωL和ωR,进而完成对运动结构的直线前进、旋转和转向等各种运动状态进行控制。
根据公式2-1建立本发明玻璃窗清洁装置的控制数学模型,参见图4:
利用手势控制设备测得左右手的动作姿态,得到左手或右手运动的水平加速度ax,左手或右手运动的垂直加速度ay
首先将玻璃窗清洁装置的运动视为一个质点的运动,如上图4中间的小圆。在一个很短的周期T内,小圆圈的运动路径可以近似的看为图4中间那根虚直线△S。图4中线△SR和△SL分别为玻璃窗清洁装置中左车轮和右车轮的运动路径。V为一个周期T内的近似平均速度。R表示玻璃窗清洁装置行走路径的半径。
则△S=VT
△S=R*θ=VT
R=VT/θ
有△SR=(R-L)*θ=VT-Lθ        (2-2)
△SL=(R+L)*θ=VT+Lθ        (2-3)
由公式(2-2)和(2-3)的推导过程就可以得出以下结论:
为了玻璃窗清洁装置(质点)得到某个运动状态,只要使左车轮和右车轮根据(2-2)和(2-3)式运动相应的路径,就可以根据需要控制玻璃窗清洁装置的运动路径。
要使左车轮和右车轮在某个周期内运动相应路径,已知左车轮和右车轮的半径为r,只需要控制的左车轮和右车轮的转速N(转/S)就可以实现。
△SR=NLT*2πr=VT-Lθ
△SL=NRT*2πr=VT+Lθ
在很短的周期T内,V(Vn)近似的等于:Vn=Vn-1±aT/2
a2=ax 2+ay 2
故得到左车轮和右车轮的转速NL,NR为(Vn-1为上一个周期T内的平均速度):
V n = V n - 1 &PlusMinus; a x 2 + a y 2 2 T - - - ( 2 - 4 )
N R = V n T - L&theta; 2 &pi;r * T - - - ( 2 - 5 )
N L = V n T + L&theta; 2 &pi;r * T - - - ( 2 - 6 )
此转速公式(2-5)和(2-6)就是左轮电机和右轮电机的转速,信号处理控制模块根据得到左轮电机和右轮电机的转速,发出左轮电机控制信号和右轮电机控制信号。信号处理控制模块为CC2530处理器,具体地由CC2530处理器的比较计数器发出PWM波进行控制。
左轮电机驱动控制器53的输出端连接左轮电机32,左轮电机驱动控制器53用于接收信号处理控制模块发出的左轮电机控制信号并控制左轮电机32工作。
右轮电机驱动控制器54的输出端连接右轮电机33,右轮电机驱动控制器54用于接收信号处理控制模块发出的右轮电机控制信号并控制右轮电机33工作。
真空泵驱动器55的输出端连接有真空泵34,真空泵驱动器55用于接收信号处理控制模块发出的真空泵控制信号并控制真空泵34工作。
执行设备还包括车架10和设置在车架10两侧的一对左、右车轮11,12;车架10为长条形结构,左车轮11和右车轮12分别位于车架10长度方向的中部,工作时车架10朝向玻璃的侧面为工作面20,背对玻璃的侧面为驱动件安装面30;驱动件安装面30上设有左轮电机32,右轮电机33和真空泵34;工作面20上设有吸附结构和凸块,凸块上设有清洗构件,凸块距工作面的高度大于吸附盘盘口距工作面的高度;驱动部件的输出端与一对车轮连接带动车轮转动,吸附盘的吸气口与真空泵的抽气口连通,将左车轮11套装在左轮电机32上,右车轮12套装在右轮电机33上。吸附结构包括真空泵34,吸附盘和电磁阀,吸附盘的吸气口与真空泵的抽气口连通,电磁阀的控制线圈与信号处理控制模块的真空泵控制信号输出端连接,电磁阀的触点连接在真空泵驱动器的信号输入端。
作为优化,吸附盘设置在工作面20的中心部分,使清洁车吸附在玻璃上时更稳定,吸附盘包括内吸附盘21和外吸附盘22,内吸附盘21和外吸附盘22均具有一个吸气口,真空泵34具有两个抽气口,每个抽气口通过一根连通管对应地与一个吸气口连通,为了防止粉尘过多进入真空泵,对真空泵造成损害,在每根连通管上均设置一个过滤器。吸附盘的盘口最好采用聚氨酯材料并设置成圆盘状。
凸块包括主凸块24和辅助凸块25,主凸块24和辅助凸块25分别设置在靠近工作面20两端的部分,具体地设置在吸附盘的两侧,主凸块24上设有清洁布构成的主清洁件,辅助凸块25上设有清洁挂条构成的辅助清洁件,清洁挂条的一面为具有静电吸附作用的纤维面料,另一面为纤维细绵。
作为优化,还可以在工作面的四角设置防碰撞开关14,有效防止基于物联网技术的手势控制玻璃窗清洁装置行走过程中的碰撞及避障。
还可以在驱动件安装面30上设置电源31,电源31可采用蓄电池,电源31为分别手势控制设备和执行设备供电。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:包括手势控制设备和执行设备;
所述手势控制设备包括CMOS红外摄像头(41),红外线摄影机(42),微控制器(43)和无线发射模块(44);所述CMOS红外摄像头(41)发出人眼看不见的class1雷射光,将雷射光均匀分布投射在测量空间中形成多个散斑,再通过红外线摄影机(42)记录下测量空间中的每个散斑,获得原始资料,并将该原始资料传送至微控制器(43);
所述微控制器(43)对接收到的原始资料采用骨骼追踪的算法先将其转换成人体姿势图像,然后再生成控制信号,通过无线发射模块将该控制信号发送到执行设备;
所述执行设备包括无线接收模块(51)、信号处理控制模块(52)、左轮电机驱动控制器(53)、右轮电机驱动控制器(54)和真空泵驱动器(55);
所述无线接收模块(51)用于接收手势控制设备中发出的控制信号;
所述信号处理控制模块(52)将无线接收模块接收到的控制信号进行运算处理,生成左轮电机控制信号、右轮电机控制信号以及真空泵控制信号;
所述左轮电机驱动控制器(53)的输出端连接左轮电机(32),所述左轮电机驱动控制器(53)用于接收信号处理控制模块发出的左轮电机控制信号并控制左轮电机(32)工作;
所述右轮电机驱动控制器(54)的输出端连接右轮电机(33),所述右轮电机驱动控制器(54)用于接收信号处理控制模块发出的右轮电机控制信号并控制右轮电机(33)工作;
所述真空泵驱动器(55)的输出端连接有真空泵(34),所述真空泵驱动器(55)用于接收信号处理控制模块发出的真空泵控制信号并控制真空泵(34)工作;
所述执行设备还包括车架(10)和设置在车架(10)两侧的一对左,右车轮;工作时车架朝向玻璃的侧面为工作面(20),背对玻璃的侧面为驱动件安装面(30);所述驱动件安装面(30)上设有左轮电机、右轮电机和真空泵(34);工作面(20)上设有吸附结构和凸块,所述凸块上设有清洗构件,所述凸块距工作面的高度大于吸附盘盘口距工作面的高度;
所述吸附结构包括真空泵,吸附盘和电磁阀,吸附盘的吸气口与真空泵的抽气口连通,电磁阀的控制线圈与信号处理控制模块的真空泵控制信号输出端连接,电磁阀的触点连接在真空泵驱动器的驱动信号输入端。
2.如权利要求1所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:所述骨骼追踪的算法包括如下步骤:
S1:建立骨骼追踪模型,选取一个头部骨骼关键点作为参照点,选取用于判断左手运动的M个左手骨骼关键点,选取用于判断右手运动的P个右手骨骼关键点,保存原始资料中每一帧图像中对应的作为参照点的一个头部骨骼关键点,M个左手骨骼关键点和P个右手骨骼关键点,得到骨骼追踪模型;
S2:对步骤S1建立的骨骼追踪模型进行降噪平滑处理,然后提取作为参照点的一个头部骨骼关键点,M个左手骨骼关键点和P个右手骨骼关键点的三维坐标;作为参照点的头部骨骼关键点的三维坐标为X、Y、Z,M个左手骨骼关键点的三维坐标为X左i、Y左i、Z左i,i=1,2...M,P个右手骨骼关键点的三维坐标为X右j、Y右j、Z右j,j=1,2...P;
S3:设置判断阈值Xn、Yn、Zn,然后将M个左手骨骼关键点的三维坐标分别带入左手判断函数进行处理,左手判断函数追踪每个左手骨骼关键点的三维坐标,通过M个左手骨骼关键点三维坐标的变化信息,识别和推测左手动作意图,该左手动作意图用I表示,然后将I发送至控制指令的函数;
左手判断函数的处理过程如下:
1)令i=1;
2)Ιi=((X左i-X)>Xn)&&((Y左i-Y)>Yn)&&((Z左i-Z)>Zn),存储Ιi
3)令i=i+1;
4)当i<M时,执行步骤2),当i=M时,执行步骤5);
5)Ι=Ι1&&Ι2&&...&&Ιi
设置判断阈值Xn、Yn、Zn,然后将P个右手骨骼关键点的三维坐标分别带入右手判断函数进行处理,右手判断函数追踪每个右手骨骼关键点的三维坐标,通过P个右手骨骼关键点三维坐标的变化信息,识别和推测右手动作意图,该右手动作意图用J表示,然后将J发送至控制指令的函数;
右手判断函数的处理过程如下:
1)令j=1;
2)Jj=((X右j-X)>Xn)&&((Y右j-Y)>Yn)&&((Z右j-Z)>Zn),存储Jj
3)令j=j+1;
4)当j<P时,执行步骤2),当j=P时,执行步骤5);
5)J=J1&&J2&&...&&Jj
S4:定义控制指令函数,控制指令函数根据接收到的表示左手动作意图的I和表示右手动作意图的J后,发送相应的控制信号:
控制指令函数定义如下:
当I为假,J为假时,则i=1,玻璃窗清洁机器装置前行的控制信号;
当I为真,J为假时,则i=2,玻璃窗清洁机器装置左转的控制信号;
当I为假,J为真时,则i=3,玻璃窗清洁机器装置右转的控制信号;
当I为真,J为真时,则i=4,玻璃窗清洁机器装置后转。
3.如权利要求1所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:所述信号处理控制模块(52)将无线接收模块接收到的控制信号通过如下算法进行运算处理生成左轮电机控制信号和右轮电机控制信号,具体步骤如下:
S1:根据公式2-4,2-5,2-6左轮电机和右轮电机的转速:
V n = V n - 1 &PlusMinus; a x 2 + a y 2 2 T - - - ( 2 - 4 ) ;
N R = V n T - L&theta; 2 &pi;r * T - - - ( 2 - 5 ) ;
N L = V n T + L&theta; 2 &pi;r * T - - - ( 2 - 6 ) ;
其中,NL,NR分别表示左右车轮的转速,r表示车轮的半径,T表示玻璃窗清洁装置的一个移动时间,Vn-1为上一个时间T内玻璃窗清洁装置行走的平均速度,ax表示左手或右手运动的水平加速度,ay表示左手或右手运动的垂直加速度,Vn表示下一个时间T内玻璃窗清洁装置行走的平均速度,L表示玻璃窗清洁装置车身宽度,θ表示玻璃窗清洁装置行走方向与水平方向之间的夹角。
S2:信号处理控制模块根据步骤S1得到左轮电机和右轮电机的转速,发出左轮电机控制信号和右轮电机控制信号。
4.如权利要求1所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:所述凸块包括主凸块(24)和辅助凸块(25),主凸块(24)和辅助凸块(25)分别设置在靠近工作面(20)两端的部分;所述主凸块(24)上设有清洁布构成的主清洁件,辅助凸块(25)上设有清洁刮条构成的辅助清洁件。
5.如权利要求4所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:所述清洁刮条的一面为具有静电吸附作用的纤维面料,另一面为纤维细绵。
6.如权利要求1~5任一项所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:吸附盘包括内吸附盘(21)和外吸附盘(22),其中内吸附盘(21)和外吸附盘(22)均具有一个吸气口,内吸附盘(21)和外吸附盘(22)上的吸气口分别与真空泵(34)的抽气口连通。
7.如权利要求6所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:所述吸附盘的吸气口通过连通管与真空泵(34)的抽气口连通,在连通管上设有过滤器。
8.如权利要求6所述的基于物联网技术的手势控制玻璃窗清洁装置,其特征在于:所述吸附盘的盘口采用聚氨酯材料并设置成圆盘状。
CN201410387038.9A 2014-08-07 2014-08-07 基于物联网技术的手势控制玻璃窗清洁装置 Expired - Fee Related CN104181838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410387038.9A CN104181838B (zh) 2014-08-07 2014-08-07 基于物联网技术的手势控制玻璃窗清洁装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410387038.9A CN104181838B (zh) 2014-08-07 2014-08-07 基于物联网技术的手势控制玻璃窗清洁装置

Publications (2)

Publication Number Publication Date
CN104181838A true CN104181838A (zh) 2014-12-03
CN104181838B CN104181838B (zh) 2017-03-15

Family

ID=51962976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410387038.9A Expired - Fee Related CN104181838B (zh) 2014-08-07 2014-08-07 基于物联网技术的手势控制玻璃窗清洁装置

Country Status (1)

Country Link
CN (1) CN104181838B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160851A (zh) * 2015-09-01 2015-12-16 胡磊 个性化设计式智能无线控制器
CN105147184A (zh) * 2015-10-08 2015-12-16 深圳市宝乐机器人技术有限公司 一种擦窗机器人的行走装置
CN109199240A (zh) * 2018-07-24 2019-01-15 上海斐讯数据通信技术有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109965794A (zh) * 2019-04-22 2019-07-05 崔智翔 一种楼宇清洁维护用智能机器人及操控方法
CN112337861A (zh) * 2020-09-15 2021-02-09 华帝股份有限公司 一种用于烹饪设备的清洁控制方法及应用其的烹饪设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660976B1 (ko) * 2006-03-20 2006-12-22 김동화 유리창 청소장치
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN102138760A (zh) * 2011-03-29 2011-08-03 重庆大学 基于mems加速度计的玻窗清洁装置
CN203493558U (zh) * 2013-09-26 2014-03-26 陕西金合泰克信息科技发展有限公司 一种玻璃门窗自动清洁装置
CN103799916A (zh) * 2014-03-18 2014-05-21 四川邮科通信技术有限公司 一种基于stc89c52rc单片机的红外遥控节能型洗窗装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660976B1 (ko) * 2006-03-20 2006-12-22 김동화 유리창 청소장치
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN102138760A (zh) * 2011-03-29 2011-08-03 重庆大学 基于mems加速度计的玻窗清洁装置
CN203493558U (zh) * 2013-09-26 2014-03-26 陕西金合泰克信息科技发展有限公司 一种玻璃门窗自动清洁装置
CN103799916A (zh) * 2014-03-18 2014-05-21 四川邮科通信技术有限公司 一种基于stc89c52rc单片机的红外遥控节能型洗窗装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Kinect骨骼跟踪技术的手势识别研究;樊景超等;《安徽农业科学》;20140420;第42卷(第11期);说明书第3444-3446页 *
樊景超等: "基于Kinect骨骼跟踪技术的手势识别研究", 《安徽农业科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160851A (zh) * 2015-09-01 2015-12-16 胡磊 个性化设计式智能无线控制器
CN105147184A (zh) * 2015-10-08 2015-12-16 深圳市宝乐机器人技术有限公司 一种擦窗机器人的行走装置
CN109199240A (zh) * 2018-07-24 2019-01-15 上海斐讯数据通信技术有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109199240B (zh) * 2018-07-24 2023-10-20 深圳市云洁科技有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109965794A (zh) * 2019-04-22 2019-07-05 崔智翔 一种楼宇清洁维护用智能机器人及操控方法
CN112337861A (zh) * 2020-09-15 2021-02-09 华帝股份有限公司 一种用于烹饪设备的清洁控制方法及应用其的烹饪设备

Also Published As

Publication number Publication date
CN104181838B (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN104181838A (zh) 基于物联网技术的手势控制玻璃窗清洁装置
US11378953B2 (en) Autoscrubber convertible between manual and autonomous operation
US11844474B2 (en) Apparatus and methods for semi-autonomous cleaning of surfaces
US10293485B2 (en) Systems and methods for robotic path planning
EP2837986B1 (en) Cleaning robot and method for controlling the same
CN104905728B (zh) 摆动式自行走擦窗机器人及其控制方法
US20150197012A1 (en) Autonomous Mobile Robot
Sathiyanarayanan et al. Gesture controlled robot for military purpose
CN102578975A (zh) 行走装置及带有该行走装置的擦玻璃机器人
CN105919517B (zh) 自动清扫机器人装置
CN105818154B (zh) 一种护栏扶手自动清洁机器人
CN103637751A (zh) 遥控式玻璃幕墙清洁车
DE102017117013A1 (de) Semiautonome Folgeeinrichtung, insbesondere semiautonome Kehrmaschine
CN103197680A (zh) 水陆两栖全地形移动机器人控制系统
CN110200538A (zh) 一种真空吸附式越障玻璃清洗机器人及其控制方法
CN102591340B (zh) 擦玻璃机器人的移动控制方法
Kim et al. Mechanism, control, and visual management of a jumping robot
Yeoh et al. Web-based remote navigational robot for multiclass human-robot interaction
CN105068558A (zh) 一种单轮双核高速灭火机器人伺服控制系统
CN105320147A (zh) 一种单轮双核中低速灭火机器人伺服控制系统
JP2006085369A (ja) 移動体装置及びその制御方法
CN201965489U (zh) 擦玻璃机器人的移动控制系统
CN202083958U (zh) 擦玻璃机器人的贴边控制系统
Singh et al. Intelligent autonomous wheelchair for indoor navigation
Duan et al. MOBIT, a small wheel-track-leg mobile robot

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170315

Termination date: 20170807

CF01 Termination of patent right due to non-payment of annual fee