CN117064255A - 扫地机器人和扫地机器人识别跌倒的方法 - Google Patents

扫地机器人和扫地机器人识别跌倒的方法 Download PDF

Info

Publication number
CN117064255A
CN117064255A CN202210508632.3A CN202210508632A CN117064255A CN 117064255 A CN117064255 A CN 117064255A CN 202210508632 A CN202210508632 A CN 202210508632A CN 117064255 A CN117064255 A CN 117064255A
Authority
CN
China
Prior art keywords
target
sole
detected
positions
sweeping robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210508632.3A
Other languages
English (en)
Inventor
杨进风
骆张强
许鲤蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shending Technology Nanjing Co ltd
Original Assignee
Shending Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shending Technology Nanjing Co ltd filed Critical Shending Technology Nanjing Co ltd
Priority to CN202210508632.3A priority Critical patent/CN117064255A/zh
Priority to PCT/CN2023/093320 priority patent/WO2023217193A1/zh
Publication of CN117064255A publication Critical patent/CN117064255A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A47L11/4008—Arrangements of switches, indicators or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种扫地机器人和扫地机器人识别跌倒的方法。该方法包括：扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。本申请的实施方式可以实现扫地机器人对跌倒的自动检测识别，在兼顾清扫的同时可以更好的对家庭成员的安全进行监测。

Description

扫地机器人和扫地机器人识别跌倒的方法
技术领域
本申请涉及人工智能技术领域，特别涉及扫地机器人和扫地机器人识别跌倒技术。
背景技术
随着人工智能的发展和生活水平的提高，人们对智能家电的要求越来越高，扫地机器人就是人工智能的产物，它是一种智能家电，能够对室内的地面环境进行清理，给人们的生活带来一定程度的便利，但是，现有的机器人只能实现清扫功能，并不具备其他的一些安全监控功能如跌倒检测报警，特别针对独居老人或只有老人小孩在家的场景，故没有实现完全的智能和便捷。此外，现有的安全检测功能或跌倒检测功能的大都采用一些重力传感器或视野位置较高的相机来实现,但是这些均不适用于扫地机器人。
发明内容
本申请的目的在于提供一种扫地机器人和扫地机器人识别跌倒的方法，可以实现扫地机器人对跌倒的自动检测识别，在兼顾清扫的同时可以更好的对家庭成员的安全进行监测。
本申请公开了一种扫地机器人识别跌倒的方法，包括以下步骤：
A扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；
B根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；
C根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。
在一个优选例中，所述检测到的目标部位的位置分别为其重心位置；
所述步骤C进一步包括以下步骤：
判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。
在一个优选例中，所述步骤B进一步包括以下步骤：
根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置；
根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
在一个优选例中，所述步骤B之后还包括以下步骤：
当检测到所述其他目标部位时，连续采集多帧所述其他目标部位的数据并记录每帧所述其他目标部位的位置；
所述步骤C进一步包括以下步骤：
根据检测到的所述其他目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。
在一个优选例中，所述步骤B进一步包括以下步骤：
根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；
所述步骤C进一步包括以下步骤：
如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。
在一个优选例中，所述执行脚底或鞋底的第一目标部位检测时，还包括以下步骤：
如果检测到脚底或鞋底，则利用所述扫地机器人的双目视觉单元采集所述脚底或鞋底的深度信息，基于采集的深度信息确定所述脚底或鞋底的尺寸；
判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续进行位置移动和执行脚底或鞋底的第一目标部位的检测。
在一个优选例中，所述其他目标部位包括脸部和/或腿部。
在一个优选例中，所述步骤B还包括以步骤：在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；
所述步骤C还包括以下步骤：根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。
在一个优选例中，所述扫地机器人利用目标识别模型进行所述目标部位的检测；
所述目标识别模型根据以下步骤训练得到：
利用所述扫地机器人采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签；
利用所述样本图像集合训练深度神经网络，得到所述目标识别模型。
本申请还公开了一种扫地机器人包括：
目标部位检测模块，用于在扫地机器人进行位置移动时执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态，以及根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；
跌倒判断模块，用于根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。
在一个优选例中，所述检测到的目标部位的位置分别为其重心位置；
所述跌倒判断模块还用于判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。
在一个优选例中，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置，以及根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
在一个优选例中，所述目标部位检测模块还用于当检测到所述其他目标部位时，连续采集多帧所述其他部位的数据并记录每帧所述其他目标部位的位置；和，
所述跌倒判断模块还用于根据检测到的所述目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。
在一个优选例中，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；和，
所述跌倒判断模块还用于如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。
在一个优选例中，所述扫地机器人还包括双目视觉单元，用于采集所述脚底或鞋底的深度信息；
所述目标部位检测模块还用于如果检测到脚底或鞋底，则基于所述双目视觉单元采集到的所述脚底或鞋底的深度信息确定所述脚底或鞋底的尺寸，以及判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续执行所述第一目标部位的检测。
在一个优选例中，所述其他目标部位包括脸部和/或腿部。
在一个优选例中，所述目标部位检测模块还用于在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；
所述跌倒判断模块还用于根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。
在一个优选例中，所述系统还包括图像采集单元，所述目标部位检测模块还包括目标识别模型；
所述图像采集单元用于采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签，所述目标识别模块利用所述样本图像集合训练深度神经网络得到；
所述图像采集单元还用于在扫地机器人进行位置移动时采集图像，将所采集的图像输入所述目标识别模型以进行所述目标部位的检测。
本申请实施方式中，与现有技术相比，至少包括以下优点和有益效果：本发明针对扫地机器人特有的低视角，提出专用于扫地机器人的低视角图像处理和识别方法，实现了扫地机器人对跌倒的自动检测识别，在兼顾清扫的同时可以更好的对家庭成员(特别是老人和孩子群体)的安全进行监测。将脚部和腿部关联组合数据以及脸部数据作为样本数据，并将类别和姿态作为标签来训练模型，训练得到的模型可以直接识别目标部位的类别和姿态，进而能够有效地判断家庭成员的跌倒情况。基于检测到脸部、腿部、脚部的目标部位的位置、位置变化或者位置和姿态的组合判断判断跌倒情况，准确度高。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的扫地机器人识别跌倒的方法流程示意图。
图2是根据本申请一个实施例的扫地机器人识别跌倒的方法流程示意图。
图3是根据本申请另一个实施例的扫地机器人识别跌倒的方法流程示意图。
图4是根据本申请第二实施方式的扫地机器人结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种扫地机器人识别跌倒的方法，其流程如图1所示，该方法包括以下步骤：
步骤101：扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；
步骤102：根据该第一目标部位的位置和姿态控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；
步骤103：根据检测到的该目标部位的位置判断当前对象是否为跌倒状态。
具体描述如下：
在步骤101中，扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态。
可选地，步骤101中执行脚底或鞋底的第一目标部位检测时，还包括以下步骤：
如果检测到脚底或鞋底，则利用该扫地机器人的双目视觉单元采集该脚底或鞋底的深度信息，基于采集的深度信息确定该脚底或鞋底的尺寸；
判断该脚底或鞋底的尺寸是否满足预设条件，若满足则判定该脚底或鞋底为第一目标部位并记录该第一目标部位的位置，否则继续进行位置移动和执行脚底或鞋底的第一目标部位的检测。
在步骤102中，根据该第一目标部位的位置和姿态控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
其中，步骤102中该其他目标部位可以是人身体上的任何部位，该其他目标部位例如包括脸部和/或腿部。
可选地，该步骤102可以进一步包括以下子步骤102a和102b：
步骤102a：根据该第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计该疑似跌倒对象的其他目标部位的位置；
步骤102b：根据估计的位置控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
可选地，扫地机器人检测目标部位的位置的实现方式,例如但不限于可以利用双目视觉单元对于目标部位的视差图，获取到目标部位的位置信息。
在步骤103中，根据检测到的该目标部位的位置判断当前对象是否为跌倒状态。
步骤103的具体实现方式多种多样。在一个实施例中，该检测到的目标部位的位置分别为其重心位置；在该可选实施例中，步骤103可以进一步包括以下步骤：判断所有该目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。
在另一个实施例中，步骤102之后还可以包括以下步骤：当检测到该其他目标部位时，连续采集多帧该其他目标部位的数据并记录每帧该其他目标部位的位置；以及，步骤103可以进一步实现为：根据检测到的该其他目标部位的位置的变化判断当前对象是否为跌倒状态，例如但不限于若检测到每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。
在又一个实施例中，步骤102可以进一步实现为：根据该第一目标部位的位置和姿态控制该扫地机器人环绕与该第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次该目标部位的检测和记录每次检测到的目标部位的位置；以及，步骤103可以进一步包括以下步骤：如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。
在再一个实施例中，步骤102还可以包括以步骤：在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；以及，步骤103可以进一步实现为：根据检测到的该目标部位的位置和姿态判断当前对象是否为跌倒状态。
可选地，该扫地机器人利用目标识别模型进行该目标部位的检测。
可选地，该目标识别模型根据以下方式训练得到：利用该扫地机器人采集样本图像集合，该样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，该面部图像包含不同拍摄距离和不同面部视角姿态的图像，该脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签；利用该样本图像集合训练深度神经网络，得到该目标识别模型。可选地，每张图像还可以标识有姿态标签，即同时标识类别标签和姿态标签。
进一步地，考虑到扫地机器人的视角一般均较低，基本都离地面6-7cm左右或更低，在这种低视角下，距离远时，看到的人体不够清晰，无法准确识别；距离近时，人体不能完全在视角内，常规以人脸作为检测或整个人体作为训练的模型均不能适用于扫地机器人。可选地，采用脚部和腿部样本数据组合的方式作为训练的主样本数据，面部数据作为辅助样本数据的方式进行模型的训练。
并且，上述利用该扫地机器人采集样本图像集合时，对于样本数据中面部图像数据采集，考虑到扫地机器人视角中看到的人脸一般为离摄像头距离很近，低视角，倾斜态或只有局部耳朵或半张脸轮廓特征；针对这一特点或局限性，图片采集例如进行远距离采、超近距离、平躺视角姿态或面部朝下视角姿态的采集。并且，例如在采集到照片后，对其进行图像的处理：抠图，获取面部特征；对面部特征进行放大；对放大的面部特征进行图像扩增。对于样本数据中脚部和腿部图像数据采集，扫地机器人视角中看到的脚部特征需要分为两种类型：有鞋子和无鞋子。两种类型的数据均需要进行常规角度，异常角度以及底部朝上的采集和数据增强，进而进行模型训练。在识别过程中会结合双目得到的深度信息进行进一步的判断，通常脚部的特征宽度在一定的范围内(31cm)，若双目得到的物体宽度信息超过这个数值则认为该物体不是“脚部”。扫地机器人视角中看到的腿部特征，在距离较远时与家具腿之类的物体的比较相似，腿部特征在距离扫地机器人较近时，会与底座类的物体特征接近。因此对于腿部的特征，检测到后需同步判断是否有关联的脚部特征，通常脚部特征与腿部特征为关联状态，一旦标记为腿部特征后，将会对该腿部所在的位置进行记录和保存。
可选地，上述模型训练前可以对数据进行处理。具体的，扫地机器人所用的主控芯片一般只支持较低的算力，有的主控芯片甚至不带NPU，只能借助CPU进行一些模型的加载计算。因此在模型训练时必须兼顾模型的算力消耗和精准度两个维度。模型训练首先需要对采集到的数据进行预处理，也就是所谓的数据清理，即对数据进行各种检查和审查以纠正失值，使数值正常化/标准化以使其具有可比性。在得到处理后的数据后，再进行数据标注，例如标注已设定的需要识别的物体类别。例如可以对数据集进行分割，分割为3部分，其中较大的数据子集作为训练集，占原始数据的95％，第二部分通常为较小的子集，用于做模型的验证，第三部分通常也为较小的子集，用于做模型的测试。
可选地，可以将目标识别模型作为一个单独的自学习模型进行训练和识别，其他障碍物的检测识别为另一个无自学习能力的模型。因为，扫地机器人的视角较低，通常会影响到机器人工作的障碍物或物体一般尺寸相对比较小，但是对于可识别跌倒的扫地机器人需识别部分人体特征，因此在模型选择时，需要兼顾两个不同的场景。因此，本发明采用两个模型叠加的方式。基于两个叠加模型系统，对于识别到的物体也会有相应的流程进行后续处理，整体的流程图如下：首先，扫地机器人会进行室内物体的目标检测，在检测常规障碍物时会调用obstacle detection model，在扫地机器人检测到该模型中训练的物体后，扫地机器人会记录并标记该类障碍物的信息，然后将该信息更新到扫地机器人的地图中，扫地机器人根据该障碍物的特征会做出相应的动作，本发明中基本为绕开该障碍物。若未识别到模型中定义的类别的障碍物，则扫地机器人继续清扫并进行目标检测。对于跌倒的检测，扫地机器人会采用face detection model进行识别，跌倒的判断条件为同时检测到“脸部”“腿部”“脚部”特征，且该三个区域的重心基于处于同一水平线。扫地机器人在检测到跌倒信号后，将触发扫地机器人上的报警模块，发出报警信号。
本发明中，在识别到家庭成员的跌倒状态后，例如可以发送报警信号或报警信息到其他家庭成员的手机，例如但不限于以手机短信的方式发送报警信息。
如图2和图3所示，图2示出了本申请一个实施例的扫地机器人识别跌倒的方法流程图，图3示出了本申请另一个实施例的扫地机器人识别跌倒的方法流程图。这两个实施例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。
本申请的第二实施方式涉及一种扫地机器人，其结构如图4所示，该扫地机器人包括目标部位检测模块和跌倒判断模块。
该目标部位检测模块用于在扫地机器人进行位置移动时执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态，以及根据该第一目标部位的位置和姿态控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；该跌倒判断模块用于根据检测到的该目标部位的位置判断当前对象是否为跌倒状态。
可选地，该目标部位检测模块还用于根据该第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计该疑似跌倒对象的其他目标部位的位置，以及根据估计的位置控制该扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
可选地，该扫地机器人还包括双目视觉单元，该扫地机器人例如但不限于利用双目视觉单元对于目标部位的视差图，获取到目标部位的位置信息。
可选地，双目视觉单元还用于采集该脚底或鞋底的深度信息；该目标部位检测模块还用于如果检测到脚底或鞋底，则基于该双目视觉单元采集到的该脚底或鞋底的深度信息确定该脚底或鞋底的尺寸，以及判断该脚底或鞋底的尺寸是否满足预设条件，若满足则判定该脚底或鞋底为第一目标部位并记录该第一目标部位的位置，否则继续执行该第一目标部位的检测。
本申请中该的其他目标部位可以是人身体上的任何部位，该其他目标部位例如包括脸部和/或腿部。
可选地，该系统还包括图像采集单元，并且该目标部位检测模块还包括目标识别模型。一方面该图像采集单元用于采集样本图像集合，该样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，该面部图像包含不同拍摄距离和不同面部视角姿态的图像，该脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签，该目标识别模块利用该样本图像集合训练深度神经网络得到；另一方面该图像采集单元还用于在扫地机器人进行位置移动时采集图像，将所采集的图像输入该目标识别模型以进行该目标部位的检测。
在一个实施例中，该检测到的目标部位的位置分别为其重心位置；该跌倒判断模块还用于判断所有该目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。
在另一个实施例中，该目标部位检测模块还用于当检测到该其他目标部位时，连续采集多帧该其他部位的数据并记录每帧该其他目标部位的位置；以及，该跌倒判断模块还用于根据检测到的该目标部位的位置的变化判断当前对象是否为跌倒状态，若该每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。
在又一个实施例中，该目标部位检测模块还用于根据该第一目标部位的位置和姿态控制该扫地机器人环绕与该第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次该目标部位的检测和记录每次检测到的目标部位的位置；以及，该跌倒判断模块还用于如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。
在再一个实施例中，该目标部位检测模块还用于在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；以及，该跌倒判断模块还用于根据检测到的该目标部位的位置和姿态判断当前对象是否为跌倒状态。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本发明该的扫地机器人可以包括现有扫地机器人的所有功能模块和单元，例如但不限于可以包括电池单元、电源管理和发电机驱动器、电机单元、传感器矩阵单元、存储单元、导航和定位单元、移动调制解调器单元、wifi单元以及控制单元等。
需要说明的是，本领域技术人员应当理解，上述扫地机器人的实施方式中所示的各模块的实现功能可参照前述扫地机器人识别跌倒的方法的相关描述而理解。上述扫地机器人的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述扫地机器人如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (18)

1.一种扫地机器人识别跌倒的方法，其特征在于，包括以下步骤：
A扫地机器人进行位置移动，执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态；
B根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；
C根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。
2.如权利要求1所述的方法，其特征在于，所述检测到的目标部位的位置分别为其重心位置；
所述步骤C进一步包括以下步骤：
判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。
3.如权利要求1所述的方法，其特征在于，所述步骤B进一步包括以下步骤：
根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置；
根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
4.如权利要求3所述的方法，其特征在于，所述步骤B之后还包括以下步骤：
当检测到所述其他目标部位时，连续采集多帧所述其他目标部位的数据并记录每帧所述其他目标部位的位置；
所述步骤C进一步包括以下步骤：
根据检测到的所述其他目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。
5.如权利要求1所述的方法，其特征在于，所述步骤B进一步包括以下步骤：
根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；
所述步骤C进一步包括以下步骤：
如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。
6.如权利要求1所述的方法，其特征在于，所述执行脚底或鞋底的第一目标部位检测时，还包括以下步骤：
如果检测到脚底或鞋底，则利用所述扫地机器人的双目视觉单元采集所述脚底或鞋底的深度信息，基于采集的深度信息确定所述脚底或鞋底的尺寸；
判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续进行位置移动和执行脚底或鞋底的第一目标部位的检测。
7.如权利要求1所述的方法，其特征在于，所述其他目标部位包括脸部和/或腿部。
8.如权利要求1所述的方法，其特征在于，所述步骤B还包括以步骤：在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；
所述步骤C还包括以下步骤：根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。
9.如权利要求1-8中任一项所述的方法，其特征在于，所述扫地机器人利用目标识别模型进行所述目标部位的检测；
所述目标识别模型根据以下步骤训练得到：
利用所述扫地机器人采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签；
利用所述样本图像集合训练深度神经网络，得到所述目标识别模型。
10.一种扫地机器人，其特征在于，包括：
目标部位检测模块，用于在扫地机器人进行位置移动时执行脚底或鞋底的第一目标部位的检测，并记录检测到的第一目标部位的位置和姿态，以及根据所述第一目标部位的位置和姿态控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置；
跌倒判断模块，用于根据检测到的所述目标部位的位置判断当前对象是否为跌倒状态。
11.如权利要求10所述的扫地机器人，其特征在于，所述检测到的目标部位的位置分别为其重心位置；
所述跌倒判断模块还用于判断所有所述目标部位的重心位置的连线是否趋于同一直线或同一平面且该直线或平面与地面的夹角小于阈值角度，若是则判定当前对象为跌倒状态。
12.如权利要求10所述的扫地机器人，其特征在于，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态判断当前对象疑似跌倒，并估计所述疑似跌倒对象的其他目标部位的位置，以及根据估计的位置控制所述扫地机器人移动位置和/或改变姿态以执行其他目标部位的检测，并记录检测到的其他目标部位的位置。
13.如权利要求12所述的扫地机器人，其特征在于，所述目标部位检测模块还用于当检测到所述其他目标部位时，连续采集多帧所述其他部位的数据并记录每帧所述其他目标部位的位置；和，
所述跌倒判断模块还用于根据检测到的所述目标部位的位置的变化判断当前对象是否为跌倒状态，若所述每帧其他目标部位的位置在预设范围内变化则判定当前对象为跌倒状态。
14.如权利要求10所述的扫地机器人，其特征在于，所述目标部位检测模块还用于根据所述第一目标部位的位置和姿态控制所述扫地机器人环绕与所述第一目标部位相关联的对象的轮廓进行N圈位置移动，并对应执行N次所述目标部位的检测和记录每次检测到的目标部位的位置；和，
所述跌倒判断模块还用于如果检测到的N次目标部位的位置均相同或均在预设范围内变化，则判定当前对象为跌倒状态。
15.如权利要求10所述的扫地机器人，其特征在于，所述扫地机器人还包括双目视觉单元，用于采集所述脚底或鞋底的深度信息；
所述目标部位检测模块还用于如果检测到脚底或鞋底，则基于所述双目视觉单元采集到的所述脚底或鞋底的深度信息确定所述脚底或鞋底的尺寸，以及判断所述脚底或鞋底的尺寸是否满足预设条件，若满足则判定所述脚底或鞋底为第一目标部位并记录所述第一目标部位的位置，否则继续执行所述第一目标部位的检测。
16.如权利要求10所述的扫地机器人，其特征在于，所述其他目标部位包括脸部和/或腿部。
17.如权利要求10所述的扫地机器人，其特征在于，所述目标部位检测模块还用于在执行其他目标部位的检测时，记录检测到的其他目标部位的姿态；
所述跌倒判断模块还用于根据检测到的所述目标部位的位置和姿态判断当前对象是否为跌倒状态。
18.如权利要求10-17中任一项所述的扫地机器人，其特征在于，所述系统还包括图像采集单元，所述目标部位检测模块还包括目标识别模型；
所述图像采集单元用于采集样本图像集合，所述样本图像包括面部图像、脚部图像和与每张脚部图像关联的腿部图像，所述面部图像包含不同拍摄距离和不同面部视角姿态的图像，所述脚部图像包含不同底部朝向姿态的脚底和鞋底图像，每张图像标识有类别标签和姿态标签，所述目标识别模块利用所述样本图像集合训练深度神经网络得到；
所述图像采集单元还用于在扫地机器人进行位置移动时采集图像，将所采集的图像输入所述目标识别模型以进行所述目标部位的检测。
CN202210508632.3A 2022-05-10 2022-05-10 扫地机器人和扫地机器人识别跌倒的方法 Pending CN117064255A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210508632.3A CN117064255A (zh) 2022-05-10 2022-05-10 扫地机器人和扫地机器人识别跌倒的方法
PCT/CN2023/093320 WO2023217193A1 (zh) 2022-05-10 2023-05-10 机器人和机器人识别跌倒的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210508632.3A CN117064255A (zh) 2022-05-10 2022-05-10 扫地机器人和扫地机器人识别跌倒的方法

Publications (1)

Publication Number Publication Date
CN117064255A true CN117064255A (zh) 2023-11-17

Family

ID=88712183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210508632.3A Pending CN117064255A (zh) 2022-05-10 2022-05-10 扫地机器人和扫地机器人识别跌倒的方法

Country Status (2)

Country Link
CN (1) CN117064255A (zh)
WO (1) WO2023217193A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
CA3086063A1 (en) * 2016-12-21 2018-06-28 Service-Konzepte MM AG Autonomous domestic appliance and seating or lying furniture therefor as well as domestic appliance
KR102306437B1 (ko) * 2019-07-05 2021-09-28 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN110458061B (zh) * 2019-07-30 2022-04-05 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN111062283A (zh) * 2019-12-06 2020-04-24 湖南集思汇智电子有限公司 一种看护机器人的看护方法
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法
CN215682387U (zh) * 2021-06-17 2022-01-28 深圳市商汤科技有限公司 活动摄像装置和电子设备
CN113679302B (zh) * 2021-09-16 2023-03-10 安徽淘云科技股份有限公司 一种基于扫地机器人的监测方法、装置、设备及存储介质
CN114419842B (zh) * 2021-12-31 2024-05-10 浙江大学台州研究院 基于人工智能的辅助用户至马桶的跌倒报警方法及装置

Also Published As

Publication number Publication date
WO2023217193A1 (zh) 2023-11-16

Similar Documents

Publication Publication Date Title
US20210201509A1 (en) Monitoring method and device for mobile target, monitoring system and mobile robot
US10717193B2 (en) Artificial intelligence moving robot and control method thereof
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
CN109890576B (zh) 移动机器人及其控制方法
KR101629649B1 (ko) 로봇 청소기 및 로봇 청소기의 제어방법
US11547261B2 (en) Moving robot and control method thereof
CN108876822B (zh) 一种行为危险度评估方法及家庭安防看护系统
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
KR102203434B1 (ko) 로봇 청소기 및 로봇 청소기의 제어방법
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
CN102262727A (zh) 客户采集终端人脸图像质量实时监控方法
CN112075879A (zh) 一种信息处理方法、装置及存储介质
US11119501B2 (en) Moving robot and control method for the same
US20210158566A1 (en) Information processing apparatus, information processing method, and storage medium
CN110414360A (zh) 一种异常行为的检测方法及检测设备
Liciotti et al. Human activity analysis for in-home fall risk assessment
CN111914657B (zh) 一种宠物行为检测方法、装置、电子设备及存储介质
CN114469076A (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
CN111166238A (zh) 清洁禁区的处理方法、装置、设备及存储介质
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
CN117064255A (zh) 扫地机器人和扫地机器人识别跌倒的方法
CN116597510A (zh) 攀高行为识别方法、装置、系统及移动机器人
US20220335725A1 (en) Monitoring presence or absence of an object using local region matching
CN115909498A (zh) 一种三维激光点云智能跌倒监测方法及系统
McDaniel et al. Integration of RFID and computer vision for remote object perception for individuals who are blind

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication