CN109199240B - 一种基于手势控制的扫地机器人控制方法及系统 - Google Patents

一种基于手势控制的扫地机器人控制方法及系统 Download PDF

Info

Publication number
CN109199240B
CN109199240B CN201810817638.2A CN201810817638A CN109199240B CN 109199240 B CN109199240 B CN 109199240B CN 201810817638 A CN201810817638 A CN 201810817638A CN 109199240 B CN109199240 B CN 109199240B
Authority
CN
China
Prior art keywords
gesture
coordinates
eyes
user
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810817638.2A
Other languages
English (en)
Other versions
CN109199240A (zh
Inventor
邹秀聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunjie Technology Co ltd
Original Assignee
Shenzhen Yunjie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yunjie Technology Co ltd filed Critical Shenzhen Yunjie Technology Co ltd
Priority to CN201810817638.2A priority Critical patent/CN109199240B/zh
Publication of CN109199240A publication Critical patent/CN109199240A/zh
Application granted granted Critical
Publication of CN109199240B publication Critical patent/CN109199240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及扫地机器人清扫控制技术领域，公开了一种基于手势控制的扫地机器人控制方法及系统，方法包括：S10：获取用户手势活动过程中手势坐标集合；S20：获取用户双眼中点的坐标；S30：根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；S40：根据所述目标清扫区域规划行进路线，执行所述行进路线运动至所述目标清扫区域进行清扫。本发明能够舒适轻松的控制扫地机器人到达某一特定区域执行清扫，有利于提高清扫效率、降低操作繁琐度。

Description

一种基于手势控制的扫地机器人控制方法及系统
技术领域
本发明涉及扫地机器人清扫控制技术领域，尤其涉及一种基于手势控制的扫地机器人控制方法及系统。
背景技术
随着人们生活水平的提高和技术的高速发展，在生活中，扫地机器人的存在为人们带来了便利，在一定程度上解放了人们的双手，减少了劳作量；但目前扫地机器人的控制大多为以下两种扫地方式：一种是开启后直接进行全自动全范围的一次性清扫；另一种是通过APP客户端进行扫地机器人前后左右的清扫控制；当仅有某块区域需要清扫时，前者会重新全范围的扫一遍，虽然最终会扫除垃圾，但扫除任务过于繁重，做了很多无用功，耗电量大，效率低下；后者则需要用户打开APP，手动的控制扫地机器人达到需要清洁的区域进行清扫工作，操作繁琐，并不能把人从清洁工作中解脱出来，违背了扫地机器人设置初衷。
如公开号为CN107997696A的专利文献公开了“一种能够移动控制的智能扫地机器人”，包括控制器、与所述的控制器相信号连接的移动端，所述的移动端用于发送控制信号至所述的控制器，所述的扫地机器人还包括驱动装置，所述的控制器用于根据所述的移动端的控制信号控制所述的驱动装置运行，所述的扫地机器人还包括被所述的驱动装置驱动的移动轮、扫地装置和吸尘装置。该设计使得扫地机器人能够在移动端远程操控下运行，当需要扫地或吸尘时，在移动端操作即可实现，使用时，用户需要前后左右的操控扫地机器人行走，可见并不能把人从清洁工作中解脱出来。
目前市场上也出现了一些基于手势控制的扫地机器人，但这些扫地机器人更多的是识别手势路径后将其与存储装置中存储的预设手势路径比对，当一致时，扫地机器人会进入手势控制模式以及进行相应动作，相应动作包括控制所述扫地机器人前进、后退、转向，即仅局限于移动，想要根据上述控制到达指定清扫区域，其操作过程完全由用户逐步控制，操作十分繁琐，费力费时，定向性低，如公开号为CN105334851A的专利文献公开的“一种可感应手势的移动设备”，包括：设置在移动设备上的多组信号发射装置及信号接收装置，每组信号发射装置以不同的编码发射探测信号，对应的信号接收装置以相同的编码方式接收探测信号的反射信号；存储装置存储有与控制指令对应的预设手势路径及信号发射装置和/或信号接收装置在所述移动设备上的相对位置；判断装置分别与存储装置、多组信号发射装置及信号接收装置连接，根据信号接收装置接收反射信号的状况及信号发射装置和/或信号接收装置在移动设备上的相对位置关系确定手势路径，并判断该手势路径与所述存储装置中存储的预设手势路径是否一致。最终根据手势路径的一致情况进入相应动作，如旋转，移动。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种能够舒适轻松的控制扫地机器人到达某一特定区域执行清扫，提高清扫效率、降低操作繁琐度的基于手势控制的扫地机器人控制方法及系统。
为了实现上述目的，本发明采用的技术方案为：
一种基于手势控制的扫地机器人控制方法，包括以下步骤：
S10：获取用户手势活动过程中手势坐标集合；
S20：获取用户双眼中点的坐标；
S30：根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；
S40：根据所述目标清扫区域规划行进路线，执行所述行进路线运动至所述目标清扫区域进行清扫。
上述设计中，通过手势坐标集合和双眼中点的坐标的获取，并借助三维重建以及投影原理，能够准确的获取到用户手势活动范围对应到室内地面上的区域，完成对用户想要清扫区域的完整识别；并最终自动规划路线到达，有利于实现根据手势的一次定位和清扫，实现特定区域的定向清扫，增强了人机结合，操作过程轻松且舒适。
进一步地，所述步骤S30包括以下步骤：
S31：将所述手势坐标集合和所述双眼中点的坐标转换为与预存室内地图相对应的世界坐标系下的坐标；
S32：在所述世界坐标系下，计算所述手势坐标集合中每个手势坐标点和所述双眼中点的坐标点两点连线交于预存室内地图平面上的交点；
S33：将所有所述交点拟合成完整的轮廓曲线以形成目标清扫区域。
进一步地，所述步骤S10包括以下步骤：
S11：利用相机获取用户手势活动过程中手势的深度信息和像素坐标；
S12：根据所述手势的深度信息和像素坐标计算手势在相机坐标系下的手势坐标；
S13：重复步骤S11、S12获取用户手势起点至手势终点的所有手势坐标形成手势坐标集合。
进一步地，所述步骤S20包括以下步骤：
S21：利用相机获取用户双眼深度信息和像素坐标；
S22：根据所述双眼深度信息和像素坐标计算双眼在相机坐标系下的双眼坐标，并根据双眼坐标计算双眼中点的坐标。
进一步地，所述步骤S10之前还包括以下步骤：
S01：构建并保存室内地图；
S02：识别手势指令并根据所述手势指令进入相应的工作模式。
进一步地，所述步骤S02包括以下步骤：
S021：利用相机获取图像，根据人脸轮廓特征识别所述图像中的人脸并计算人脸区域的肤色，获取肤色范围值；
S022：根据肤色范围值确定所述图像中人手部的位置，并提取手部轮廓信息；
S023：根据所述手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数，根据所述伸出手指个数进入相应的工作模式。
一种基于手势控制的扫地机器人控制系统，包括：
手势坐标获取模块，用于获取用户手势活动过程中手势坐标集合；
中点坐标获取模块，用于获取用户双眼中点的坐标；
目标清扫区域确定模块，用于根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；
路径规划模块，用于根据所述目标清扫区域规划行进路线。
进一步地，所述目标清扫区域确定模块包括：
转换单元，用于将所述手势坐标集合和所述双眼中点的坐标转换为与预存室内地图相对应的世界坐标系下的坐标；
第三计算单元，用于在所述世界坐标系下，计算所述手势坐标集合中每个手势坐标点和所述双眼中点的坐标点两点连线交于预存室内地图平面上的交点；
拟合单元，用于将所有所述交点拟合成完整的轮廓曲线以形成目标清扫区域。
进一步地，所述手势坐标获取模块包括：
手势图像信息采集单元，用于利用相机获取用户手势活动过程中手势的深度信息和像素坐标；
第一计算单元，用于根据所述手势的深度信息和像素坐标计算手势在相机坐标系下的手势坐标，直至计算完用户手势起点至手势终点的所有手势坐标形成手势坐标集合。
进一步地，所述中点坐标获取模块包括：
双眼图像信息采集单元，用于利用相机获取用户双眼深度信息和像素坐标；
第二计算单元，用于根据所述双眼深度信息和像素坐标计算双眼在相机坐标系下的双眼坐标，并根据双眼坐标计算双眼中点的坐标。
采用上述技术方案后，本发明的有益效果是：通过获取手势坐标和人的双眼中点的坐标，利用投影原理和三维重建技术可准确的获取用户手势对应的地面区域，有利于扫地机器人根据用户的手势划定目标清扫区域，实现定向清扫，增强人机结合的同时提高了清洁效率，且能够将用户从以往繁琐的机器操作中解脱出来，智能性大大加强；
通过识别手势指令并根据所述手势指令进入相应的工作模式时，设置利用相机获取图像，根据人脸轮廓特征识别所述图像中的人脸并计算人脸区域的肤色，获取肤色范围值；然后根据肤色范围值确定所述图像中人手部的位置，并提取手部轮廓信息；根据所述手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数，根据所述伸出手指个数进入相应的工作模式；首先识别人脸有利于确认使用权限，避免扫地机器人识别错误的手指指令，导致清扫出错；确认使用权限人后再通过肤色确定手部和提取手部轮廓信息，然后根据手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数，有利于提高手指伸出个数识别的准确度；根据伸出手指个数进入相应的工作模式，有利于避免扫地机器人在用户不需要根据手势进行清扫时，错误识别指令导致的电能浪费，提高了手势控制工作的安全性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案，附图如下：
图1为本发明实施例1提供的一种基于手势控制的扫地机器人控制方法流程图；
图2为本发明实施例2提供的一种基于手势控制的扫地机器人控制方法流程图；
图3为本发明实施例2提供的交点获取的世界坐标系模型；
图4为本发明实施例3提供的一种基于手势控制的扫地机器人控制方法流程图；
图5为本发明实施例3提供的手势坐标获取的相机坐标系模型；
图6为本发明实施例4提供的一种基于手势控制的扫地机器人控制方法流程图；
图7为本发明图6中提供的步骤S02的详细方法流程图；
图8为本发明实施例5提供的一种基于手势控制的扫地机器人控制系统框图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
需要指出的是，本文中出现的“第一”、“第二”、“第三”仅用于彼此的区分，而非表示它们的重要程度及顺序等。
目前基于手势控制的扫地机器人更多的是识别手势路径后将其与存储装置中存储的预设手势路径比对，当一致时，扫地机器人会进入手势控制模式以及进行相应动作，相应动作包括控制所述扫地机器人前进、后退、转向，即仅局限于移动，想要根据上述控制到达指定清扫区域，其操作过程完全由用户逐步控制，操作十分繁琐，费力费时，定向性低，如公开号为CN105334851A的专利文献公开的“一种可感应手势的移动设备”。因此，亟需一种能够根据手势控制确定目标清扫区域，实现清扫工作一次定位，降低操作繁琐度的控制方法。
实施例1
如图1所示，本实施例提供一种基于手势控制的扫地机器人控制方法，包括以下步骤：
S10：获取用户手势活动过程中手势坐标集合；
S20：获取用户双眼中点的坐标；
S30：根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；
S40：根据所述目标清扫区域规划行进路线，执行所述行进路线运动至所述目标清扫区域进行清扫。
上述步骤中，需要说明的是，步骤S10和S20不存在固定的获取的先后顺序的区分，两者的获取顺序可任意调换。
用户手势活动过程跟踪最简单直接的方式，就是图像采集的方式，利用相机拍摄手势活动过程的视频或者多幅手势图像，并根据手势在视频或图像中的不同位置确定手势的运动，以及获取手在各幅图像中的坐标，并最终结合深度相机采集的手势深度信息和三维重建技术即可确切的获取手势的空间位置。手势活动过程中手势坐标的确定可以统一指定手上的某一特定点，譬如手指指尖末梢或手掌心或手的中心点等来确定手势坐标集合。
三维重建技术，简单地说，就是从输入数据中建立3D模型。其中，在面向消费者层面的深度相机出现以前，三维重建技术的输入数据通常只有RGB图像，通过对物体的不同角度拍摄的RGB图像，使用相关的计算机图形学和视觉技术，我们便可以重建出该物体的三维模型。不过，早期的三维重建技术得到的模型精度往往较低，且技术的适用范围有限。消费者层面的深度相机的出现为三维重建技术提供了深度图像(depth image)数据，大大降低了重建的难度，并使得三维重建技术可以应用到几乎任何现实场景中。由于基于深度相机的三维重建技术所使用的数据是RGB图像和深度图像，因此，这类技术通常也被称为基于RGBD数据的三维重建技术(D指代depth)。
双眼中点的坐标同样可采用三维重建技术来获取。
根据上述方法获取手势坐标集合和双眼中点的坐标后，由于该坐标仅是相机视觉下的坐标，需进一步根据相机在室内的空间地理位置建立起世界坐标系，并确定手势和双眼中点在世界坐标系的坐标，最终根据投影原理，以双眼中点为投影中心，以手势坐标点与双眼中点连线的延长方向为投影方向，确定手势坐标对应到地面的投影点，集合所有投影点围成的空间，即可作为扫地机器人根据手势指令划定的目标清扫区域，实现了特定区域的指定清扫；且降低了人控制操作扫地机器人的繁琐度。
除了上述利用图像获取手势坐标集合的采集方法之外，其他还可利用如红外跟踪技术等获取，但过程则相对更加复杂，需要进一步借助手上的穿戴设备。
具体的，为了使得手势活动指定的清扫范围更加明确，可定义用户采用一根手指做画圈的动作来下达任务；定义扫地机器人具体识别用户手指末梢的手势范围，以识别的手势路径近似闭环时默认一次指令下达完成，指令下达完成后结束手势坐标集合获取，完成目标清扫区域的确定；也可以以手势停顿超过预定时长时默认一次指令下达完成。
实施例2
如图2所示，本实施例相比实施例1，进一步的细化了说明了手势坐标集合和双眼中点的坐标的获取过程；获取方式简单，快速且准确度高；
所述步骤S30包括以下步骤：
S31：将所述手势坐标集合和所述双眼中点的坐标转换为与预存室内地图相对应的世界坐标系下的坐标；本步骤的过程，即为立体视觉中，相机坐标系与世界坐标系的转换过程，此过程中，转换关系如下：
其中，所述手势坐标集合中的各坐标点和双眼中点的坐标可表示为(Xc,Yc,Zc)，所述手势坐标集合中的各坐标点和双眼中点的坐标转换成世界坐标系下的坐标后的坐标点表示为(X,Y,Z)，R为旋转矩阵，描述了世界坐标系的坐标轴相对于相机坐标轴的方向，t为平移向量，描述了在相机坐标系下，空间原点的位置；R、t随相机的位置和角度变化(相机位姿变化)而发生变化，R和t的初始值可通过OpenCV中的相关函数(如compute_extrinsic_init_fisheye.m/compute_extrinsic_refine_fisheye.m)计算获得，由于计算过程较为繁琐，具体可参见摄像机内外参数计算过程的现有技术，R、t均为摄像机外参数。
S32：在所述世界坐标系下，计算所述手势坐标集合中每个手势坐标点和所述双眼中点的坐标点两点连线交于预存室内地图平面上的交点；预存室内地图平面在世界坐标系(X,Y,Z)中为Z＝0的平面，世界坐标系模型如图3所示，其中，E为双眼中心的世界坐标系坐标，Px为世界坐标系下手势坐标集合,Pw为世界坐标系下交点的集合,C为相机世界坐标系坐标。
S33：将所有所述交点拟合成完整的轮廓曲线以形成目标清扫区域。具体的，利用常见的拟合算法如最小二乘法，当定义用户采用一根手指做画圈的动作来下达任务时，还可以更具体的采用椭圆拟合的方法拟合出完整的轮廓曲线以确定目标清扫区域。上述设计具有获取过程简单方便，获取结果准确度高的优点。
实施例3
如图4所示，本实施例与实施例2的区别在于，所述步骤S10包括以下步骤：
S11：利用相机获取用户手势活动过程中手势的深度信息和像素坐标；
S12：根据所述手势的深度信息和像素坐标计算手势在相机坐标系下的手势坐标；
S13：重复步骤S11、S12获取用户手势起点至手势终点的所有手势坐标形成手势坐标集合。
上述步骤中所述的相机为深度相机，可以是双目相机也可以是RGBD相机；以手指末梢为手势活动过程坐标认定的特征点为例，首先扫地机器人利用相机拍摄图像，然后识别出手指末梢，获取手指末梢的深度信息和手指末梢在图像中的像素坐标，其中手指末梢的深度信息为现实场景中手指末梢点到相机所在的垂直平面的距离值，这个距离值被称为深度值(depth)。具体的，相机坐标系模型如图5所示，其中，P代表手势坐标(手指末梢坐标)，p代表手势的像素坐标，C为相机的光学中心。
获取手指末梢的深度信息和手指末梢在图像中的像素坐标后，利用光学中心到像平面的距离(焦距)即可计算出手指末梢在相机坐标系下的手指末梢坐标(Xc,Yc,Zc)；
重复上述的参数获取步骤即可形成手指末梢坐标集合，其中手势起点至手势终点的认定在实施例1中也有说明，例如当图像中第一次出现手势时手上该特征点的位置为手势起点，手势停顿超过预定时长时该手上特征点的位置即为手势终点；又例如当手势的坐标集合组成的路径近似一个闭环时，该闭环路径上的最后一个点即为手势终点。
所述步骤S20包括以下步骤：
S21：利用相机获取用户双眼深度信息和像素坐标；即将左眼和右眼的深度信息和像素坐标均获取；
S22：根据所述双眼深度信息和像素坐标计算双眼在相机坐标系下的双眼坐标，并根据双眼坐标计算双眼中点的坐标。
实施例4
如图6、图7所示，本实施例与实施例1的区别在于，所述步骤S10之前还包括以下步骤：
S01：构建并保存室内地图；使用深度相机构建并保存室内地图；
S02：识别手势指令并根据所述手势指令进入相应的工作模式。例如：手势指令为伸出的手指个数，若识别伸出的手指个数为M(1<M<10)个则开启手势指令模式并提示用户已进入手势指令模式，用于告知用户可以开始下达任务，提示用户已进入手势指令模式可选用语音或指示灯闪烁等；进入手势指令模式后，若识别伸出的手指个数为1时，表示任务正在下达，扫地机器人进入任务下达模式可以开始执行步骤S10以及后续的步骤；上述设计使得扫地机器人首先进入手势指令模式后，再识别任务的下达过程，有利于提高手势识别的安全性和可靠性。
进一步地，所述步骤S02包括以下步骤：
S021：利用相机获取图像，根据人脸轮廓特征识别所述图像中的人脸并计算人脸区域的肤色，获取肤色范围值；
S022：根据肤色范围值确定所述图像中人手部的位置，并提取手部轮廓信息；
S023：根据所述手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数，根据所述伸出手指个数进入相应的工作模式。
上述设计中，先人脸轮廓特征识别所述图像中的人脸，从人脸中获取肤色范围值，然后根据肤色范围值确定所述图像中肤色值在所述肤色范围值内的图像特征部位，这些图像特征部位中有手部和人的其他裸露部位，人的手部相对人的其他裸露部位具有极高的辨识度，故可以充分且准确的获取到手部手部轮廓信息；然后所述手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数，最终根据所述伸出手指个数进入相应的工作模式；首先识别人脸有利于帮助确认使用权限，避免扫地机器人识别错误的手指指令(不是该权限用户的手势指令)，导致清扫出错；确认使用权限人后再通过肤色确定手部和提取手部轮廓信息，然后根据手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数的方式，有利于提高手指伸出个数识别的准确度；根据伸出手指个数进入相应的工作模式，综上，有利于避免扫地机器人在用户不需要根据手势进行清扫时，错误识别指令导致的电能浪费，提高了手势控制工作的安全性和可靠性。
实施例5
如图8所示，本实施例提供一种基于手势控制的扫地机器人控制系统，用于提供实施例1-4所述控制方法的物理支持，包括：
手势坐标获取模块100，用于获取用户手势活动过程中手势坐标集合；
中点坐标获取模块200，用于获取用户双眼中点的坐标；
目标清扫区域确定模块300，用于根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；
路径规划模块400，用于根据所述目标清扫区域规划行进路线。
所述目标清扫区域确定模块300包括：
转换单元310，用于将所述手势坐标集合和所述双眼中点的坐标转换为与预存室内地图相对应的世界坐标系下的坐标；
第三计算单元320，用于在所述世界坐标系下，计算所述手势坐标集合中每个手势坐标点和所述双眼中点的坐标点两点连线交于预存室内地图平面上的交点；
拟合单元330，用于将所有所述交点拟合成完整的轮廓曲线以形成目标清扫区域。
系统还包括相机，所述相机为深度相机；
所述手势坐标获取模块100包括：
手势图像信息采集单元110，用于利用相机获取用户手势活动过程中手势的深度信息和像素坐标；
第一计算单元120，用于根据所述手势的深度信息和像素坐标计算手势在相机坐标系下的手势坐标，直至计算完用户手势起点至手势终点的所有手势坐标形成手势坐标集合。
所述中点坐标获取模块200包括：
双眼图像信息采集单元210，用于利用相机获取用户双眼深度信息和像素坐标；
第二计算单元220，用于根据所述双眼深度信息和像素坐标计算双眼在相机坐标系下的双眼坐标，并根据双眼坐标计算双眼中点的坐标。
还包括：地图构建储存模块，用于构建并保存室内地图；
识别模块，用于识别手势指令并根据所述手势指令进入相应的工作模式。
所述识别模块包括：
人脸识别单元，用于根据人脸轮廓特征识别相机采集图像中的人脸；
肤色计算单元，用于计算图像中人脸区域的肤色，获取肤色范围值；
手部识别单元，用于根据肤色范围值确定所述图像中人手部的位置，并提取手部轮廓信息，根据所述手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数以及根据所述伸出手指个数进入相应的工作模式。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于手势控制的扫地机器人控制方法，其特征在于，包括以下步骤：
S10：获取用户手势活动过程中手势坐标集合；
S20：获取用户双眼中点的坐标；
S30：根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；
S40：根据所述目标清扫区域规划行进路线，执行所述行进路线运动至所述目标清扫区域进行清扫；
所述步骤S10包括以下步骤：
S11：利用相机获取用户手势活动过程中手势的深度信息和像素坐标；
S12：根据所述手势的深度信息和像素坐标计算手势在相机坐标系下的手势坐标；S13：重复步骤S11、S12获取用户手势起点至手势终点的所有手势坐标形成手势坐标集合；
所述步骤S30包括以下步骤：
S31：将所述手势坐标集合和所述双眼中点的坐标转换为与预存室内地图相对应的世界坐标系下的坐标；
S32：在所述世界坐标系下，计算所述手势坐标集合中每个手势坐标点和所述双眼中点的坐标点两点连线交于预存室内地图平面上的交点；
S33：将所有所述交点拟合成完整的轮廓曲线以形成目标清扫区域。
2.根据权利要求1所述的一种基于手势控制的扫地机器人控制方法，其特征在于，所述步骤S20包括以下步骤：
S21：利用相机获取用户双眼深度信息和像素坐标；
S22：根据所述双眼深度信息和像素坐标计算双眼在相机坐标系下的双眼坐标，并根据双眼坐标计算双眼中点的坐标。
3.根据权利要求1所述的一种基于手势控制的扫地机器人控制方法，其特征在于，所述步骤S10之前还包括以下步骤：
S01：构建并保存室内地图；
S02：识别手势指令并根据所述手势指令进入相应的工作模式。
4.根据权利要求3所述的一种基于手势控制的扫地机器人控制方法，其特征在于，所述步骤S02包括以下步骤：
S021：利用相机获取图像，根据人脸轮廓特征识别所述图像中的人脸并计算人脸区域的肤色，获取肤色范围值；
S022：根据肤色范围值确定所述图像中人手部的位置，并提取手部轮廓信息；S023：根据所述手部轮廓信息获取手部凸包并根据所述手部凸包识别伸出的手指个数，根据所述伸出手指个数进入相应的工作模式。
5.一种基于手势控制的扫地机器人控制系统，其特征在于，包括：
手势坐标获取模块，用于获取用户手势活动过程中手势坐标集合；
中点坐标获取模块，用于获取用户双眼中点的坐标；
目标清扫区域确定模块，用于根据所述手势坐标集合和所述双眼中点的坐标确定用户手势活动范围对应到预存室内地图中的区域形成目标清扫区域；
路径规划模块，用于根据所述目标清扫区域规划行进路线；
所述手势坐标获取模块包括：
手势图像信息采集单元，用于利用相机获取用户手势活动过程中手势的深度信息和像素坐标；
第一计算单元，用于根据所述手势的深度信息和像素坐标计算手势在相机坐标系下的手势坐标，直至计算完用户手势起点至手势终点的所有手势坐标形成手势坐标集合；
所述目标清扫区域确定模块包括：
转换单元，用于将所述手势坐标集合和所述双眼中点的坐标转换为与预存室内地图相对应的世界坐标系下的坐标；
第三计算单元，用于在所述世界坐标系下，计算所述手势坐标集合中每个手势坐标点和所述双眼中点的坐标点两点连线交于预存室内地图平面上的交点；
拟合单元，用于将所有所述交点拟合成完整的轮廓曲线以形成目标清扫区域。
6.根据权利要求5所述的一种基于手势控制的扫地机器人控制系统，其特征在于，所述中点坐标获取模块包括：
双眼图像信息采集单元，用于利用相机获取用户双眼深度信息和像素坐标；
第二计算单元，用于根据所述双眼深度信息和像素坐标计算双眼在相机坐标系下的双眼坐标，并根据双眼坐标计算双眼中点的坐标。
CN201810817638.2A 2018-07-24 2018-07-24 一种基于手势控制的扫地机器人控制方法及系统 Active CN109199240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810817638.2A CN109199240B (zh) 2018-07-24 2018-07-24 一种基于手势控制的扫地机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810817638.2A CN109199240B (zh) 2018-07-24 2018-07-24 一种基于手势控制的扫地机器人控制方法及系统

Publications (2)

Publication Number Publication Date
CN109199240A CN109199240A (zh) 2019-01-15
CN109199240B true CN109199240B (zh) 2023-10-20

Family

ID=64990221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810817638.2A Active CN109199240B (zh) 2018-07-24 2018-07-24 一种基于手势控制的扫地机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN109199240B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113116224B (zh) * 2020-01-15 2022-07-05 科沃斯机器人股份有限公司 机器人及其控制方法
CN113419527A (zh) * 2021-06-18 2021-09-21 深圳市银星智能科技股份有限公司 自移动设备的感应控制方法及自移动设备
CN113679298B (zh) * 2021-08-27 2022-05-10 美智纵横科技有限责任公司 机器人的控制方法、控制装置、机器人和可读存储介质
CN113850145A (zh) * 2021-08-30 2021-12-28 中国科学院上海微系统与信息技术研究所 一种手眼朝向协同目标定位方法
CN113934307B (zh) * 2021-12-16 2022-03-18 佛山市霖云艾思科技有限公司 一种根据手势和场景开启电子设备的方法
CN114488752A (zh) * 2022-01-24 2022-05-13 深圳市无限动力发展有限公司 基于扫地机平台的全息投影方法、装置、设备及介质
CN116982883A (zh) * 2022-04-25 2023-11-03 追觅创新科技(苏州)有限公司 清洁操作的执行方法及装置、存储介质及电子装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142084A (zh) * 2011-05-06 2011-08-03 北京网尚数字电影院线有限公司 一种手势识别的方法
CN102179814A (zh) * 2011-03-23 2011-09-14 浙江大学 以用户手部命令控制机器人的方法
WO2012008553A1 (ja) * 2010-07-15 2012-01-19 日本電気株式会社 ロボットシステム
CN103237172A (zh) * 2013-04-28 2013-08-07 广东欧珀移动通信有限公司 一种延时拍摄方法及装置
CN103479303A (zh) * 2012-06-08 2014-01-01 Lg电子株式会社 机器人清洁器、其控制方法以及机器人清洁系统
EP2680097A1 (de) * 2012-06-27 2014-01-01 Miele & Cie. KG Selbstfahrendes Reinigungsgerät und Verfahren zur Bedienung eines selbstfahrenden Reinigungsgeräts
KR20140022654A (ko) * 2012-08-14 2014-02-25 (주)동부로봇 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법
CN104181838A (zh) * 2014-08-07 2014-12-03 重庆电子工程职业学院 基于物联网技术的手势控制玻璃窗清洁装置
CN104331158A (zh) * 2014-10-29 2015-02-04 山东大学 一种手势控制的人机交互方法及装置
CN105407774A (zh) * 2013-07-29 2016-03-16 三星电子株式会社 自动清扫系统、清扫机器人和控制清扫机器人的方法
CN107223082A (zh) * 2017-04-21 2017-09-29 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
WO2018000200A1 (zh) * 2016-06-28 2018-01-04 华为技术有限公司 对电子设备进行控制的终端及其处理方法
CN206836843U (zh) * 2017-01-17 2018-01-05 湖南格兰博智能科技有限责任公司 一种手势感应扫地机
CN108113580A (zh) * 2017-12-20 2018-06-05 苏州燕云网络技术有限公司 扫地机自动清扫局部区域的方法及扫地机

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
KR102124509B1 (ko) * 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012008553A1 (ja) * 2010-07-15 2012-01-19 日本電気株式会社 ロボットシステム
CN102179814A (zh) * 2011-03-23 2011-09-14 浙江大学 以用户手部命令控制机器人的方法
CN102142084A (zh) * 2011-05-06 2011-08-03 北京网尚数字电影院线有限公司 一种手势识别的方法
CN103479303A (zh) * 2012-06-08 2014-01-01 Lg电子株式会社 机器人清洁器、其控制方法以及机器人清洁系统
EP2680097A1 (de) * 2012-06-27 2014-01-01 Miele & Cie. KG Selbstfahrendes Reinigungsgerät und Verfahren zur Bedienung eines selbstfahrenden Reinigungsgeräts
KR20140022654A (ko) * 2012-08-14 2014-02-25 (주)동부로봇 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법
CN103237172A (zh) * 2013-04-28 2013-08-07 广东欧珀移动通信有限公司 一种延时拍摄方法及装置
CN105407774A (zh) * 2013-07-29 2016-03-16 三星电子株式会社 自动清扫系统、清扫机器人和控制清扫机器人的方法
CN104181838A (zh) * 2014-08-07 2014-12-03 重庆电子工程职业学院 基于物联网技术的手势控制玻璃窗清洁装置
CN104331158A (zh) * 2014-10-29 2015-02-04 山东大学 一种手势控制的人机交互方法及装置
WO2018000200A1 (zh) * 2016-06-28 2018-01-04 华为技术有限公司 对电子设备进行控制的终端及其处理方法
CN206836843U (zh) * 2017-01-17 2018-01-05 湖南格兰博智能科技有限责任公司 一种手势感应扫地机
CN107223082A (zh) * 2017-04-21 2017-09-29 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
CN108113580A (zh) * 2017-12-20 2018-06-05 苏州燕云网络技术有限公司 扫地机自动清扫局部区域的方法及扫地机

Also Published As

Publication number Publication date
CN109199240A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109199240B (zh) 一种基于手势控制的扫地机器人控制方法及系统
WO2020140271A1 (zh) 移动机器人的控制方法、装置、移动机器人及存储介质
CN109669457B (zh) 一种基于视觉标识的机器人回充方法及芯片
WO2022078467A1 (zh) 机器人自动回充方法、装置、机器人和存储介质
CN109871013B (zh) 清洁机器人路径规划方法及系统、存储介质、电子设备
JP5526942B2 (ja) ロボット装置、ロボット装置の制御方法およびプログラム
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
WO2017071372A1 (zh) 具有自动返回充电功能的机器人、系统及对应方法
CN105867630A (zh) 机器人的手势识别方法及装置及机器人系统
CN114102585B (zh) 一种物品抓取规划方法及系统
CN107004275A (zh) 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
CN111459277B (zh) 基于混合现实的机械臂遥操作系统及交互界面构建方法
KR20090113084A (ko) 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
US20230057965A1 (en) Robot and control method therefor
CN113675923B (zh) 充电方法、充电装置及机器人
US10534426B2 (en) Interactive system, remote controller and operating method thereof
WO2022068193A1 (zh) 可穿戴设备、智能引导方法及装置、引导系统、存储介质
US11546982B2 (en) Systems and methods for determining lighting fixture arrangement information
CN105014675A (zh) 一种狭窄空间智能移动机器人视觉导航系统及方法
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN115480511A (zh) 一种机器人交互方法、装置、存储介质及设备
WO2019061466A1 (zh) 一种飞行控制方法、遥控装置、遥控系统
Shen et al. A multi-view camera-projector system for object detection and robot-human feedback
KR101100240B1 (ko) 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법
KR20200042781A (ko) 입체 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20201211

Address after: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Jiji Intellectual Property Operation Co.,Ltd.

Address before: 201616 No. 3666 Sixian Road, Songjiang District, Shanghai

Applicant before: Phicomm (Shanghai) Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230921

Address after: 518100 4th Floor, Building 1, Lingya Industrial Park, Tangtou No.1 Road, Tangtou Community, Shiyan Street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Yunjie Technology Co.,Ltd.

Address before: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Hangzhou Jiji Intellectual Property Operation Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant