CN117064255A - 扫地机器人和扫地机器人识别跌倒的方法 - Google Patents

Abstract

本申请涉及人工智能技术领域，公开了一种扫地机器人和扫地机器人识别跌倒的方法。该方法包括：扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。本申请的实施方式可以实现扫地机器人对跌倒的自动检测识别，在兼顾清扫的同时可以更好的对家庭成员的安全进行监测。

Description

扫地机器人和扫地机器人识别跌倒的方法

技术领域

本申请涉及人工智能技术领域，特别涉及扫地机器人和扫地机器人识别跌倒技术。

背景技术

随着人工智能的发展和生活水平的提高，人们对智能家电的要求越来越高，扫地机器人就是人工智能的产物，它是一种智能家电，能够对室内的地面环境进行清理，给人们的生活带来一定程度的便利，但是，现有的机器人只能实现清扫功能，并不具备其他的一些安全监控功能如跌倒检测报警，特别针对独居老人或只有老人小孩在家的场景，故没有实现完全的智能和便捷。此外，现有的安全检测功能或跌倒检测功能的大都采用一些重力传感器或视野位置较高的相机来实现,但是这些均不适用于扫地机器人。

发明内容

本申请的目的在于提供一种扫地机器人和扫地机器人识别跌倒的方法，可以实现扫地机器人对跌倒的自动检测识别，在兼顾清扫的同时可以更好的对家庭成员的安全进行监测。

本申请公开了一种扫地机器人识别跌倒的方法，包括以下步骤：

A扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；

B根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；

C根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。

在一个优选例中，所述检测到的目标部位的位置分别为其重心位置；

所述步骤C进一步包括以下步骤：

判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。

在一个优选例中，所述步骤B进一步包括以下步骤：

根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置；

根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

在一个优选例中，所述步骤B之后还包括以下步骤：

当检测到所述其他目标部位时，连续采集多帧所述其他目标部位的数据并记录每帧所述其他目标部位的位置；

所述步骤C进一步包括以下步骤：

根据检测到的所述其他目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。

在一个优选例中，所述步骤B进一步包括以下步骤：

根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；

所述步骤C进一步包括以下步骤：

如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。

在一个优选例中，所述执行脚底或鞋底的第一目标部位检测时，还包括以下步骤：

如果检测到脚底或鞋底，则利用所述扫地机器人的双目视觉单元采集所述脚底或鞋底的深度信息，基于采集的深度信息确定所述脚底或鞋底的尺寸；

判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续进行位置移动和执行脚底或鞋底的第一目标部位的检测。

在一个优选例中，所述其他目标部位包括脸部和/或腿部。

在一个优选例中，所述步骤B还包括以步骤：在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；

所述步骤C还包括以下步骤：根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。

在一个优选例中，所述扫地机器人利用目标识别模型进行所述目标部位的检测；

所述目标识别模型根据以下步骤训练得到：

利用所述扫地机器人采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签；

利用所述样本图像集合训练深度神经网络，得到所述目标识别模型。

本申请还公开了一种扫地机器人包括：

目标部位检测模块，用于在扫地机器人进行位置移动时执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态，以及根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；

跌倒判断模块，用于根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。

在一个优选例中，所述检测到的目标部位的位置分别为其重心位置；

所述跌倒判断模块还用于判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。

在一个优选例中，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置，以及根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

在一个优选例中，所述目标部位检测模块还用于当检测到所述其他目标部位时，连续采集多帧所述其他部位的数据并记录每帧所述其他目标部位的位置；和，

所述跌倒判断模块还用于根据检测到的所述目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。

在一个优选例中，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；和，

所述跌倒判断模块还用于如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。

在一个优选例中，所述扫地机器人还包括双目视觉单元，用于采集所述脚底或鞋底的深度信息；

所述目标部位检测模块还用于如果检测到脚底或鞋底，则基于所述双目视觉单元采集到的所述脚底或鞋底的深度信息确定所述脚底或鞋底的尺寸，以及判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续执行所述第一目标部位的检测。

在一个优选例中，所述其他目标部位包括脸部和/或腿部。

在一个优选例中，所述目标部位检测模块还用于在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；

所述跌倒判断模块还用于根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。

在一个优选例中，所述系统还包括图像采集单元，所述目标部位检测模块还包括目标识别模型；

所述图像采集单元用于采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签，所述目标识别模块利用所述样本图像集合训练深度神经网络得到；

所述图像采集单元还用于在扫地机器人进行位置移动时采集图像，将所采集的图像输入所述目标识别模型以进行所述目标部位的检测。

本申请实施方式中，与现有技术相比，至少包括以下优点和有益效果：本发明针对扫地机器人特有的低视角，提出专用于扫地机器人的低视角图像处理和识别方法，实现了扫地机器人对跌倒的自动检测识别，在兼顾清扫的同时可以更好的对家庭成员(特别是老人和孩子群体)的安全进行监测。将脚部和腿部关联组合数据以及脸部数据作为样本数据，并将类别和姿态作为标签来训练模型，训练得到的模型可以直接识别目标部位的类别和姿态，进而能够有效地判断家庭成员的跌倒情况。基于检测到脸部、腿部、脚部的目标部位的位置、位置变化或者位置和姿态的组合判断判断跌倒情况，准确度高。

本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。

附图说明

图1是根据本申请第一实施方式的扫地机器人识别跌倒的方法流程示意图。

图2是根据本申请一个实施例的扫地机器人识别跌倒的方法流程示意图。

图3是根据本申请另一个实施例的扫地机器人识别跌倒的方法流程示意图。

图4是根据本申请第二实施方式的扫地机器人结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

本申请的第一实施方式涉及一种扫地机器人识别跌倒的方法，其流程如图1所示，该方法包括以下步骤：

步骤101：扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；

步骤102：根据该第一目标部位的位置和姿态控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；

步骤103：根据检测到的该目标部位的位置判断当前对象是否为跌倒状态。

具体描述如下：

在步骤101中，扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态。

可选地，步骤101中执行脚底或鞋底的第一目标部位检测时，还包括以下步骤：

如果检测到脚底或鞋底，则利用该扫地机器人的双目视觉单元采集该脚底或鞋底的深度信息，基于采集的深度信息确定该脚底或鞋底的尺寸；

判断该脚底或鞋底的尺寸是否满足预设条件，若满足则判定该脚底或鞋底为第一目标部位并记录该第一目标部位的位置，否则继续进行位置移动和执行脚底或鞋底的第一目标部位的检测。

在步骤102中，根据该第一目标部位的位置和姿态控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

其中，步骤102中该其他目标部位可以是人身体上的任何部位，该其他目标部位例如包括脸部和/或腿部。

可选地，该步骤102可以进一步包括以下子步骤102a和102b：

步骤102a：根据该第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计该疑似跌倒对象的其他目标部位的位置；

步骤102b：根据估计的位置控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

可选地，扫地机器人检测目标部位的位置的实现方式,例如但不限于可以利用双目视觉单元对于目标部位的视差图，获取到目标部位的位置信息。

在步骤103中，根据检测到的该目标部位的位置判断当前对象是否为跌倒状态。

步骤103的具体实现方式多种多样。在一个实施例中，该检测到的目标部位的位置分别为其重心位置；在该可选实施例中，步骤103可以进一步包括以下步骤：判断所有该目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。

在另一个实施例中，步骤102之后还可以包括以下步骤：当检测到该其他目标部位时，连续采集多帧该其他目标部位的数据并记录每帧该其他目标部位的位置；以及，步骤103可以进一步实现为：根据检测到的该其他目标部位的位置的变化判断当前对象是否为跌倒状态，例如但不限于若检测到每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。

在又一个实施例中，步骤102可以进一步实现为：根据该第一目标部位的位置和姿态控制该扫地机器人环绕与该第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次该目标部位的检测和记录每次检测到的目标部位的位置；以及，步骤103可以进一步包括以下步骤：如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。

在再一个实施例中，步骤102还可以包括以步骤：在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；以及，步骤103可以进一步实现为：根据检测到的该目标部位的位置和姿态判断当前对象是否为跌倒状态。

可选地，该扫地机器人利用目标识别模型进行该目标部位的检测。

可选地，该目标识别模型根据以下方式训练得到：利用该扫地机器人采集样本图像集合，该样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，该面部图像包含不同拍摄距离和不同面部视角姿态的图像，该脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签；利用该样本图像集合训练深度神经网络，得到该目标识别模型。可选地，每张图像还可以标识有姿态标签，即同时标识类别标签和姿态标签。

进一步地，考虑到扫地机器人的视角一般均较低，基本都离地面6-7cm左右或更低，在这种低视角下，距离远时，看到的人体不够清晰，无法准确识别；距离近时，人体不能完全在视角内，常规以人脸作为检测或整个人体作为训练的模型均不能适用于扫地机器人。可选地，采用脚部和腿部样本数据组合的方式作为训练的主样本数据，面部数据作为辅助样本数据的方式进行模型的训练。

并且，上述利用该扫地机器人采集样本图像集合时，对于样本数据中面部图像数据采集，考虑到扫地机器人视角中看到的人脸一般为离摄像头距离很近，低视角，倾斜态或只有局部耳朵或半张脸轮廓特征；针对这一特点或局限性，图片采集例如进行远距离采、超近距离、平躺视角姿态或面部朝下视角姿态的采集。并且，例如在采集到照片后，对其进行图像的处理：抠图，获取面部特征；对面部特征进行放大；对放大的面部特征进行图像扩增。对于样本数据中脚部和腿部图像数据采集，扫地机器人视角中看到的脚部特征需要分为两种类型：有鞋子和无鞋子。两种类型的数据均需要进行常规角度，异常角度以及底部朝上的采集和数据增强，进而进行模型训练。在识别过程中会结合双目得到的深度信息进行进一步的判断，通常脚部的特征宽度在一定的范围内(31cm)，若双目得到的物体宽度信息超过这个数值则认为该物体不是“脚部”。扫地机器人视角中看到的腿部特征，在距离较远时与家具腿之类的物体的比较相似，腿部特征在距离扫地机器人较近时，会与底座类的物体特征接近。因此对于腿部的特征，检测到后需同步判断是否有关联的脚部特征，通常脚部特征与腿部特征为关联状态，一旦标记为腿部特征后，将会对该腿部所在的位置进行记录和保存。

可选地，上述模型训练前可以对数据进行处理。具体的，扫地机器人所用的主控芯片一般只支持较低的算力，有的主控芯片甚至不带NPU，只能借助CPU进行一些模型的加载计算。因此在模型训练时必须兼顾模型的算力消耗和精准度两个维度。模型训练首先需要对采集到的数据进行预处理，也就是所谓的数据清理，即对数据进行各种检查和审查以纠正失值，使数值正常化/标准化以使其具有可比性。在得到处理后的数据后，再进行数据标注，例如标注已设定的需要识别的物体类别。例如可以对数据集进行分割，分割为3部分，其中较大的数据子集作为训练集，占原始数据的95％，第二部分通常为较小的子集，用于做模型的验证，第三部分通常也为较小的子集，用于做模型的测试。

可选地，可以将目标识别模型作为一个单独的自学习模型进行训练和识别，其他障碍物的检测识别为另一个无自学习能力的模型。因为，扫地机器人的视角较低，通常会影响到机器人工作的障碍物或物体一般尺寸相对比较小，但是对于可识别跌倒的扫地机器人需识别部分人体特征，因此在模型选择时，需要兼顾两个不同的场景。因此，本发明采用两个模型叠加的方式。基于两个叠加模型系统，对于识别到的物体也会有相应的流程进行后续处理，整体的流程图如下：首先，扫地机器人会进行室内物体的目标检测，在检测常规障碍物时会调用obstacle detection model，在扫地机器人检测到该模型中训练的物体后，扫地机器人会记录并标记该类障碍物的信息，然后将该信息更新到扫地机器人的地图中，扫地机器人根据该障碍物的特征会做出相应的动作，本发明中基本为绕开该障碍物。若未识别到模型中定义的类别的障碍物，则扫地机器人继续清扫并进行目标检测。对于跌倒的检测，扫地机器人会采用face detection model进行识别，跌倒的判断条件为同时检测到“脸部”“腿部”“脚部”特征，且该三个区域的重心基于处于同一水平线。扫地机器人在检测到跌倒信号后，将触发扫地机器人上的报警模块，发出报警信号。

本发明中，在识别到家庭成员的跌倒状态后，例如可以发送报警信号或报警信息到其他家庭成员的手机，例如但不限于以手机短信的方式发送报警信息。

如图2和图3所示，图2示出了本申请一个实施例的扫地机器人识别跌倒的方法流程图，图3示出了本申请另一个实施例的扫地机器人识别跌倒的方法流程图。这两个实施例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。

本申请的第二实施方式涉及一种扫地机器人，其结构如图4所示，该扫地机器人包括目标部位检测模块和跌倒判断模块。

该目标部位检测模块用于在扫地机器人进行位置移动时执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态，以及根据该第一目标部位的位置和姿态控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；该跌倒判断模块用于根据检测到的该目标部位的位置判断当前对象是否为跌倒状态。

可选地，该目标部位检测模块还用于根据该第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计该疑似跌倒对象的其他目标部位的位置，以及根据估计的位置控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

可选地，该扫地机器人还包括双目视觉单元，该扫地机器人例如但不限于利用双目视觉单元对于目标部位的视差图，获取到目标部位的位置信息。

可选地，双目视觉单元还用于采集该脚底或鞋底的深度信息；该目标部位检测模块还用于如果检测到脚底或鞋底，则基于该双目视觉单元采集到的该脚底或鞋底的深度信息确定该脚底或鞋底的尺寸，以及判断该脚底或鞋底的尺寸是否满足预设条件，若满足则判定该脚底或鞋底为第一目标部位并记录该第一目标部位的位置，否则继续执行该第一目标部位的检测。

本申请中该的其他目标部位可以是人身体上的任何部位，该其他目标部位例如包括脸部和/或腿部。

可选地，该系统还包括图像采集单元，并且该目标部位检测模块还包括目标识别模型。一方面该图像采集单元用于采集样本图像集合，该样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，该面部图像包含不同拍摄距离和不同面部视角姿态的图像，该脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签，该目标识别模块利用该样本图像集合训练深度神经网络得到；另一方面该图像采集单元还用于在扫地机器人进行位置移动时采集图像，将所采集的图像输入该目标识别模型以进行该目标部位的检测。

在一个实施例中，该检测到的目标部位的位置分别为其重心位置；该跌倒判断模块还用于判断所有该目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。

在另一个实施例中，该目标部位检测模块还用于当检测到该其他目标部位时，连续采集多帧该其他部位的数据并记录每帧该其他目标部位的位置；以及，该跌倒判断模块还用于根据检测到的该目标部位的位置的变化判断当前对象是否为跌倒状态，若该每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。

在又一个实施例中，该目标部位检测模块还用于根据该第一目标部位的位置和姿态控制该扫地机器人环绕与该第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次该目标部位的检测和记录每次检测到的目标部位的位置；以及，该跌倒判断模块还用于如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。

在再一个实施例中，该目标部位检测模块还用于在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；以及，该跌倒判断模块还用于根据检测到的该目标部位的位置和姿态判断当前对象是否为跌倒状态。

第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。

需要说明的是，本发明该的扫地机器人可以包括现有扫地机器人的所有功能模块和单元，例如但不限于可以包括电池单元、电源管理和发电机驱动器、电机单元、传感器矩阵单元、存储单元、导航和定位单元、移动调制解调器单元、wifi单元以及控制单元等。

需要说明的是，本领域技术人员应当理解，上述扫地机器人的实施方式中所示的各模块的实现功能可参照前述扫地机器人识别跌倒的方法的相关描述而理解。上述扫地机器人的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述扫地机器人如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。

在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (18)

1.一种扫地机器人识别跌倒的方法，其特征在于，包括以下步骤：

A扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；

B根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；

C根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。

2.如权利要求1所述的方法，其特征在于，所述检测到的目标部位的位置分别为其重心位置；

所述步骤C进一步包括以下步骤：

判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。

3.如权利要求1所述的方法，其特征在于，所述步骤B进一步包括以下步骤：

根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置；

根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

4.如权利要求3所述的方法，其特征在于，所述步骤B之后还包括以下步骤：

当检测到所述其他目标部位时，连续采集多帧所述其他目标部位的数据并记录每帧所述其他目标部位的位置；

所述步骤C进一步包括以下步骤：

根据检测到的所述其他目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。

5.如权利要求1所述的方法，其特征在于，所述步骤B进一步包括以下步骤：

根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；

所述步骤C进一步包括以下步骤：

如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。

6.如权利要求1所述的方法，其特征在于，所述执行脚底或鞋底的第一目标部位检测时，还包括以下步骤：

如果检测到脚底或鞋底，则利用所述扫地机器人的双目视觉单元采集所述脚底或鞋底的深度信息，基于采集的深度信息确定所述脚底或鞋底的尺寸；

判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续进行位置移动和执行脚底或鞋底的第一目标部位的检测。

7.如权利要求1所述的方法，其特征在于，所述其他目标部位包括脸部和/或腿部。

8.如权利要求1所述的方法，其特征在于，所述步骤B还包括以步骤：在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；

所述步骤C还包括以下步骤：根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。

9.如权利要求1-8中任一项所述的方法，其特征在于，所述扫地机器人利用目标识别模型进行所述目标部位的检测；

所述目标识别模型根据以下步骤训练得到：

利用所述扫地机器人采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签；

利用所述样本图像集合训练深度神经网络，得到所述目标识别模型。

10.一种扫地机器人，其特征在于，包括：

目标部位检测模块，用于在扫地机器人进行位置移动时执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态，以及根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；

跌倒判断模块，用于根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。

11.如权利要求10所述的扫地机器人，其特征在于，所述检测到的目标部位的位置分别为其重心位置；

所述跌倒判断模块还用于判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。

12.如权利要求10所述的扫地机器人，其特征在于，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置，以及根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。

13.如权利要求12所述的扫地机器人，其特征在于，所述目标部位检测模块还用于当检测到所述其他目标部位时，连续采集多帧所述其他部位的数据并记录每帧所述其他目标部位的位置；和，

所述跌倒判断模块还用于根据检测到的所述目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。

14.如权利要求10所述的扫地机器人，其特征在于，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；和，

所述跌倒判断模块还用于如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。

15.如权利要求10所述的扫地机器人，其特征在于，所述扫地机器人还包括双目视觉单元，用于采集所述脚底或鞋底的深度信息；

所述目标部位检测模块还用于如果检测到脚底或鞋底，则基于所述双目视觉单元采集到的所述脚底或鞋底的深度信息确定所述脚底或鞋底的尺寸，以及判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续执行所述第一目标部位的检测。

16.如权利要求10所述的扫地机器人，其特征在于，所述其他目标部位包括脸部和/或腿部。

17.如权利要求10所述的扫地机器人，其特征在于，所述目标部位检测模块还用于在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；

所述跌倒判断模块还用于根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。

18.如权利要求10-17中任一项所述的扫地机器人，其特征在于，所述系统还包括图像采集单元，所述目标部位检测模块还包括目标识别模型；

所述图像采集单元用于采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签，所述目标识别模块利用所述样本图像集合训练深度神经网络得到；

所述图像采集单元还用于在扫地机器人进行位置移动时采集图像，将所采集的图像输入所述目标识别模型以进行所述目标部位的检测。