CN116830165A - 人体姿态判断方法及使用该方法的移动机器 - Google Patents

人体姿态判断方法及使用该方法的移动机器 Download PDF

Info

Publication number
CN116830165A
CN116830165A CN202280003739.0A CN202280003739A CN116830165A CN 116830165 A CN116830165 A CN 116830165A CN 202280003739 A CN202280003739 A CN 202280003739A CN 116830165 A CN116830165 A CN 116830165A
Authority
CN
China
Prior art keywords
detected
keypoints
human body
predefined
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280003739.0A
Other languages
English (en)
Inventor
董初桥
邵丹
修震
郭德骏
谭欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubicon Qingdao Technology Co ltd
Original Assignee
Ubicon Qingdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubicon Qingdao Technology Co ltd filed Critical Ubicon Qingdao Technology Co ltd
Publication of CN116830165A publication Critical patent/CN116830165A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

一种人体姿态判断方法及使用该方法的移动机器，应用于人体姿态判断技术领域。通过以下步骤来检测人体的姿态：通过测距相机获取测距图像；检测该测距图像的颜色数据中的人体的估计骨骼中的多个关键点，并基于该测距图像的深度数据计算所检测到的该些关键点的位置；基于在一组预定义关键点中的所检测到的该些关键点，从一组预定义特征图中选择一特征图；基于所检测到的该些关键点的该位置，获取与所选择的该特征图对应的该人体的两个特征；以及根据所选择的该特征图中的该两个特征确定该人体的姿态。

Description

人体姿态判断方法及使用该方法的移动机器 技术领域
本申请涉及人体姿态检测技术，尤其涉及一种人体姿态判断方法及使用该方法的移动机器。
背景技术
借助了蓬勃发展的人工智能(artificial intelligence，AI)技术，移动机器人已经被应用于日常生活的各个场景，以提供医疗保健、家务、交通等各种服务。以医疗保健为例，助行机器人通常被设计成助行器或轮椅等设备而进行行走等类型的辅助，从而提高行动不便人士的行动能力。
助行机器人除了能够自动导航而以更自动化、更便捷的方式辅助用户之外，为了以更适当的方式为用户服务，助行机器人不可避免地要检测用户的姿态、从而进行相应的服务。基于骨骼的姿态判断是一种在机器人中实现人体姿态判断的普遍的技术，它根据在估计出的人体骨骼上所识别出的关键点来检测人体的姿态。
在所识别出的关键点足够多的情况下，能够有效且准确地进行检测；否则在无法识别关键点的情况下，例如人体被障碍物或衣服遮挡时，检测效率将受影响。特别是当人坐在家具后面或躺在床上、盖着被子时，家具或被子可能会遮挡住身体，而影响检测效果。因此，需要一种能够适应不同检测关键点集合的人体姿态判断方法。
发明内容
本申请提供一种体姿态判断方法及使用该方法的移动机器，用以检测被遮挡的人体的姿态，解决前述的现有技术中的人体姿态判断技术所存在的问题。
本申请的实施例提供了一种人体姿态判断方法，包括：
通过测距相机获取一或多幅测距图像，其中该一或多幅测距图像包括颜色数据和深度数据；
检测该颜色数据中的人体的估计骨骼的多个关键点，并基于该深度数据计算所检测到的该些关键点的位置，其中该估计骨骼具有一组预定义关键点；
基于在该组预定义关键点中的所检测到的该些关键点，从一组预定义特征图中选择一特征图；
基于所检测到的该些关键点的该位置，获取与所选择的该特征图对应的该人体的两个特征；以及
根据所选择的该特征图中的该两个特征确定该人体的姿态。
本申请的实施例还提供了一种移动机器，包括：
测距相机；
一或多个处理器；以及
一或多个存储器，存储有一或多个计算机程序，该一或多个计算机程序由该一或多个处理器执行，其中该一或多个计算机程序包括多个指令用于：
通过该测距相机获取一或多幅测距图像，其中该一或多幅测距图像包括颜色数据和深度数据；
检测该颜色数据中的人体的估计骨骼的多个关键点，并基于该深度数据计算所检测到的该些关键点的位置，其中该估计骨骼具有一组预定义关键点；
基于在该组预定义关键点中的所检测到的该些关键点，从一组预定义特征图中选择一特征图；
基于所检测到的该些关键点的该位置，获取与所选择的该特征图对应的该人体的两个特征；以及
根据所选择的该特征图中的该两个特征确定该人体的姿态。
从上述本申请的实施例可知，本申请提供的人体姿态判断方法在检测到的人体关键点的基础上使用描述了人体姿态的预定义特征图来判断人体的姿态，因此能够适应不同的检测关键点集合，从而解决现有技术中无法检测到被遮挡的人体等问题。
附图说明
为了更清楚地说明本申请的实施例中的技术方案，下面对实施例中或现有技术的描述中所使用的附图进行简要的介绍。在以下的附图中，相同的附图标记在整个图中表示相应的部分。应当理解的是，以下描述中的附图仅为本申请的例子。对于本领域的技术人员来说，在没有创造性劳动的情况下，可以基于这些附图来获得其他的附图。
图1是本申请的一些实施例中使用移动机器检测人体姿态的场景示意图。
图2是使用图1的移动机器的相机来检测人体的姿态的示意图。
图3是说明图1的移动机器的示意框图。
图4是使用图1的移动机器来检测人体的姿态的例子的示意框图。
图5A和5B是基于检测到的关键点的姿态判断过程的流程图。
图6是图5A和5B的姿态判断的场景1的示意图。
图7是图6的场景的特征图1的示意图。
图8是图5A和5B的姿态判断的场景2的示意图。
图9是图8的场景的特征图2的示意图。
图10是在图6的场景中获取检测得的内角和检测得的身体比例的例子的示意图。
图11是在图8的场景中获取检测得的身体比例和检测得的上身角度的例子的示意图。
图12是图5A和5B的姿态判断的场景3的示意图。
具体实施方式
为使本申请的目的、特征和优点更加明显易懂，下面将结合附图对本申请的实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都在本申请所保护的范围内。
应当理解的是，当在本申请和所附的权利要求中使用时，术语“包括”、“包含”、“具有”及其变体表示所述特征、整体、步骤、操作、元素和/或组件的存在，但不排除可以存在或添加一或多个其他特征、整体、步骤、操作、元素、组件和/或其集合。
还应当理解的是，在本申请的说明书中所使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请的范围。如同在本申请的说明书和所附的权利要求中所使用的那样，除非上下文清楚地指明了其他情况，否则单数形式的“一”、“一个”以及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附的权利要求中所使用的术语“和/或”是指相关列出的项中的一或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请中的术语“第一”、“第二”、“第三”仅仅是出于描述的目的，而不能理解为指示或暗示了相对重要性、或是暗示了所指的技术特征的数量。由此，由“第一”、“第二”、“第三”所限定的特征可以显式或隐式地包括其中的至少一个技术特征。在本申请的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确的定义。
在本申请的说明书中叙述的“一个实施例”或“一些实施例”等意味着在 本申请的一或多个实施例中可以包括与该实施例的描述内容相关的特定特征、结构或特点。由此，在说明书的不同地方出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是意味着所描述的实施例应该被所有其他实施例所引用，而是被“一或多个但不是所有其他实施例所引用”，除非另有特别强调。
本申请涉及人体姿态检测。如本文所用的，术语“人类”是指地球上数量最多、分布最广的灵长类动物。人的身体包括头部、颈部、躯干、手臂、手掌、腿和脚掌。术语“姿态”(或“姿势”)是指人的站姿、坐姿和卧姿等。术语“判断”是指通过基于相关数据(例如包括人的图像)的计算，对特定对象(例如人)的状态(例如姿态)的判断。术语“移动机器”是指具有在其环境中移动的能力的机器，例如移动机器人或车辆。术语“传感器”是指设备、模块、机器或子系统，例如环境光传感器和图像传感器(例如相机)，其目的是检测其环境中的事件或变化、并将信息发送到其他电子设备(例如处理器)
图1是本申请的一些实施例中使用移动机器100检测人体姿态的场景示意图。如图1所示，在其所处环境(例如房间)中进行导航的移动机器100检测人(即用户U)的姿态。移动机器100是移动机器人(例如移动辅助机器人)，其包括照相机C和轮子E。照相机C可以朝向移动机器100直线移动的向前方向D f设置，使得照相机C的镜头笔直地面向向前方向D f。相机C具有相机坐标系，移动机100的坐标与相机C的坐标一致。在相机坐标系中，x轴平行于地平线，y轴垂直于地平线，z轴与前向方向D f一致。需要说明的是，移动机器100只是移动机器的一个例子，移动机器100可以具有比以上或以下更多、更少或不同的部件(例如具有腿而不是轮子E)，或者可以具有不同的部件配置或排列(例如将相机C设置在移动机器100的顶部)。在其他实施例中，移动机器100可以是另一种移动机器，例如车辆。
图2是使用图1的移动机器100的相机C来检测人体的姿态的示意图。1 检测人的姿势。相机C的视野(field of view，FOV)V覆盖了用户U、覆盖用户U的被子Q、和用户U所坐的长凳B。移动机器100上的相机C的高度(例如1米)可以根据实际需要而改变(例如高度越大、视野V越大，高度越小、视野V越小)，相机C相对于地面F的俯仰角也可以根据实际需要而改变(例如俯仰角越大、视野V越近，俯仰角越小、视野V越远)。根据相机C的高度和俯仰角，可以得到用户U(和/或长凳B)在移动机械100附近的相对位置，进而可以确定用户U的姿态。
在一些实施例中，移动机器100在其所处环境中被导航的同时可以防止诸如碰撞和不安全状态(例如坠落、极端温度、辐射和暴露)之类的危险情况。在该室内导航中，移动设备100从起点(例如移动设备100最初所在的位置)被导航到目的地(例如用户U或移动机器100的导航/操作系统所指定的导航目标的位置)，且障碍物(例如墙壁、家具、人、宠物和垃圾)可以避开以防止上述危险情况。在导航中，可以考虑目标寻找(例如人发现或用户识别)来帮助找到用户U，并且还可以考虑(例如家具和布料的)遮挡的避免、以提高人体姿态判断的效率。移动机器100从起点移动到目的地的轨迹(例如轨迹T)必须被规划，以便移动机器100根据该轨迹来移动。轨迹包括一系列位姿(例如轨迹T的位姿S n-1-S n)。在一些实施例中，为了实现移动设备100的导航，需要构建环境地图，可能需要(例如使用IMU 1331)判断移动设备100在环境中的当前位置，并且可以基于所构建的地图和所确定的移动机器100的当前位置来规划轨迹。期望姿态S d是轨迹T(仅在图中显示了一部分)中的姿态S的序列的最后一个，即轨迹T的终点。轨迹T是根据例如所构建的地图中到用户U的最短路径来规划的。另外，在规划时也可以考虑针对所构建的地图中的障碍物(例如墙壁和家具)或实时检测到的障碍物(例如人类和宠物)的碰撞避免，以便准确安全地导航移动机器100。需要注意的是，起点和目的地所指的只是移动机器100的位置，而不是轨迹T的真正开始和结束(轨迹T的真正开 始和结束应该分别是一个位姿)。此外，图1中所示的轨迹T只是所规划的轨迹T的一部分。
在一些实施例中，移动机器100的导航可以通过移动机器100本身(例如移动机器100上的控制接口)或诸如遥控器、智能手机、平板电脑、笔记本电脑、台式电脑或其他电子设备提供移动机器100的导航请求来启动。移动机器100和控制设备可以通过网络进行通信，该网络可以包括例如互联网、内联网、外联网、局域网(LAN)、广域网(WAN)、有线网络、无线网络(例如Wi-Fi网络、蓝牙网络和移动网络)或其他合适的网络，或两个或多个此类网络的任意组合。该网络可以包括例如因特网、内联网、外联网、局域网(LAN)、广域网(WAN)、有线网络、无线网络(例如Wi-Fi网络、蓝牙网络和移动网络)或其他合适的网络，或两个或多个此类网络的任意组合。
图3是说明图1的移动机器100的示意框图。移动机100可以包括通过一条或多条通信总线或信号线L进行通信的处理单元110、存储单元120和控制单元130。需要说明的是，移动机100只是移动机器的一个例子。移动机器100可以具有比上面或下面所示更多或更少的组件(例如单元、子单元和模块)，可以组合两个或更多个组件，或者可以具有不同的组件配置或排列。处理单元110执行存储在存储单元120中的各种(各组)指令。这些指令可以是软件程序的形式，以执行移动机器100的各种功能和处理相关数据。处理单元110可以包括一个或多个处理器(例如中央处理器)。存储单元120可以包括一个或多个存储器(例如高速随机存取存储器(RAM)和非暂时性存储器)、一个或多个存储器控制器，以及一个或多个非暂时性计算机可读存储介质(例如固态状态驱动器(SSD)或硬盘)。控制单元130可以包括各种控制器(例如相机控制器、显示控制器和物理按钮控制器)和用于耦合移动机器100的输入/输出外围设备到处理单元110和存储单元120的外围设备接口，例如外部端口(如USB)、无线通信电路(例如RF通信电路)、音频电路(例如扬声器电路)、 传感器(例如惯性测量单元(IMU))。在一些实施例中，存储单元120可以包括导航模块121，用于实现与移动机器100的导航(和轨迹规划)相关的导航功能(例如地图构建和轨迹规划)，其可以存储在一个或多个存储器(以及一种或多种非暂时性计算机可读存储介质)中。
移动设备100的存储单元120中的导航模块121可以是(移动设备100的操作系统的)软件模块，其具有用于实现移动机器100的导航的指令I n(例如用来致动移动机器100的轮子E的电机1321以移动移动机器100的指令)、地图构建器1211和轨迹规划器1212。地图构建器1211可以是具有用于为移动机器100构建地图的指令I b的软件模块。轨迹规划器1212可以是具有用于为移动机器100规划轨迹的指令I p的软件模块。轨迹规划器1212可以包括用于为移动机器100规划全局轨迹(例如轨迹T)的全局轨迹规划器、以及用于为移动机器100规划局部轨迹(例如图1中的轨迹T的一部分)的局部轨迹规划器。全局轨迹规划器可以是例如基于Dijkstra算法的轨迹规划器，其基于由地图构建器1211通过同时定位与地图构建(simultaneous localization and mapping，SLAM)等方式所构建的地图来规划全局轨迹。局部轨迹规划器可以是基于TEB(timed elastic band)算法的轨迹规划器，其基于全局轨迹和移动机器100收集的其他数据来规划局部轨迹。例如可以通过移动机器100的相机C采集图像，并对采集到的图像进行分析、以识别障碍物，从而可以参考所识别出的障碍物来规划局部轨迹，并且可以根据所规划的局部轨迹来移动移动机器100、以避开障碍物。
地图构建器1211和轨迹规划器1212可以分别是与用于实现动移动机器100的导航的指令I n分离的子模块或导航模块121的其他子模块，或指令I n的一部分。轨迹规划器1212还可以具有与移动机器100的轨迹规划相关的数据(例如输入/输出数据和临时数据)，其可存储在一或多个存储器中并由处理单元110访问。在一些实施例中，每个轨迹规划器1212可以是存储单元120中与导航模 块121分离的模块。
在一些实施例中，指令I n可以包括用于实现移动机器100的碰撞避免(例如障碍物检测和轨迹重新规划)的指令。此外，全局轨迹规划器可以重新规划全局轨迹(即规划新的全局轨迹)，以响应例如原始全局轨迹被(例如意外的障碍物)阻挡或不足以避免碰撞(例如在采用时无法避开所检测到的障碍物)。在其他实施例中，导航模块121可以是通过一或多条通信总线或信号线L与处理单元110、存储单元120和控制单元130通信的导航单元，还可以包括一或多个存储器(例如高速随机存取存储器(RAM)和非暂时性存储器)，用于存储指令I n、地图构建器1211和轨迹规划器1212；以及一或多个处理器(例如微處理器(MPU)和微控制器(MCU))，用于执行存储的指令I n、I b和I p，以实现移动机器100的导航。
移动机器100还可以包括通信子单元131和致动子单元132。通信子单元131和致动子单元132通过一条或多条通信总线或信号线与控制单元130通信。该一或多条通信总线或信号线可以与上述一或多条通信总线或信号线L相同、或至少部分不同。通讯子单元131耦合到移动机器100的通讯接口，诸如供移动机器100通过网络与控制装置进行通信的网络接口1311、I/O接口1312(例如物理按钮)等。致动子单元132耦合到用于实现移动机器100的运动的组件/设备，以驱动移动机器100的车轮E和/或关节的电机1321。通信子单元131可以包括用于移动机器100的上述通信接口的控制器，致动子单元132可以包括用于实现移动机器100的运动的上述组件/设备的控制器。在其他实施例中，通信子单元131和/或致动子单元132可以只是抽象组件，用以表示移动机器100的组件之间的逻辑关系。
移动机器100还可以包括传感器子单元133。传感器子单元133可以包括一组传感器和相关控制器，例如相机C和IMU 1331(或加速度计和陀螺仪)，用于检测其所在的环境以实现其导航。相机C可以是产生测距图像的测距相机。 测距图像包括用于表示图像中的像素颜色的颜色数据和用于表示到图像中的场景对象的距离的深度数据。在一些实施例中，相机C是RGB-D相机，其产生RGB-D图像对。每个图像对包括RGB图像和深度图像，其中RGB图像包括分别表示为红色、绿色和蓝色的像素，而深度图像包括像素，每个像素具有表示与场景对象(例如人或家具)的距离的值。传感器子单元133通过一或多条通信总线或信号线与控制单元130通信，该一或多条通信总线或信号线可以与上述的一或多条通信总线或信号线L相同、或至少部分不同。在其他实施例中，在导航模块121为上述导航单元的情况下，传感器子单元133可以通过一或多条通信总线或信号线与导航单元进行通信，该通信总线或信号线可以与上述的一或多条通信总线或信号线L相同、或至少部分不同。此外，传感器子单元133可以只是抽象组件，用以表示移动机器100的组件之间的逻辑关系。
在一些实施例中，地图构建器1211、轨迹规划器1212、传感器子单元133和电机1321(以及连接到电机1321的移动机器100的轮子E和/或关节)共同组成一个(导航)系统，实现地图构建、(全局和局部)轨迹规划和电机驱动，以实现移动机器100的导航。此外，图3中所示的各种组件可以以硬件、软件或硬件和软件的组合来实现。处理单元110、存储单元120、控制单元130、导航模块121和其他单元/子单元/模块中的两个或更多个可以实现在单个芯片或电路上。在其他实施例中，它们中的至少一部分可以在单独的芯片或电路上实现。
图4是使用图1的移动机器100来检测人体的姿态的例子的示意框图。在一些实施例中，以例如将对应于人体姿态判断方法的指令(组)I n存储为存储单元120中的导航模块121、并通过处理单元110执行所存储的指令I n的方式在移动机器100中实现该人体姿态判断方法，而后移动机器100可以使用相机C进行检测、从而判断用户U的姿态。可以响应于来自例如移动机器100本身或控制装置(的导航/操作系统)的检测用户U的姿态的请求来执行该人体姿态 判断方法，然后也可以例如每隔预定的时间间隔(例如1秒)重新执行一次，以检测用户U的姿态的变化。根据该人体姿态判断方法，处理单元110可以通过相机C获取RGB-D图像对G(图4的框410)。相机C拍摄得图像对G，其中每个图像对G包括RGB图像G r和深度图像G d。RGB图像G r包括用于表示构成图像颜色的颜色信息，深度图像G d包括用于表示到图像中的场景对象(例如用户U或长凳B)的距离的深度信息。在一些实施例中，可以获取多个图像对G，以便选择一个(例如满足一定质量的)图像对G来使用。
处理单元110可以进一步检测RGB图像G r中的用户U的估计骨骼N(见图6)的关键点P(图4的框420)。可以识别RGB图像G r中的关键点P，以获取关键点P在用户U的估计骨骼N上的2D(二维)位置。估计骨骼N是用于判断人体姿态(例如站姿、坐姿和躺姿)的伪(pseudo)人体骨骼，它具有一组预定义的关键点P。每个预定义关键点代表一个关节(例如膝盖)或一个器官(例如耳朵)。在一些实施例中，预定义关键点P可以包括18个关键点，即两个眼睛关键点、一个鼻子关键点、两个耳朵关键点、一个脖子关键点、两个肩膀关键点P s(见图6)，两个肘关键点，两个手关键点，两个髋关键点P h(见图6)，两个膝盖关键点P k(见图6)，以及两个脚关键点。其中，该两个眼睛关键点、该鼻子关键点和该两个耳朵关键点也称为头部关键点P d(图未示)。处理单元110可以进一步根据深度图像G d计算所检测到的关键点P的位置(图4的框430)。可以将深度图像G d中与关键点P对应的深度信息与所得到的关键点P的2D位置相结合，从而得到关键点P的3D(三维)位置。
处理单元110可进一步基于在预定义关键点P中的所检测到的关键点P从一组预定义的特征图M中选择出一个特征图M(图4的框440)。一组预定义特征图M可以预先存储在存储单元120中。每个特征图M(例如图7中的特征图1)是一个自定义图，其中包括对应于用于区分姿态的特征(例如图7中的内角和身体比例)的值。特征图M可以用于分类所检测到的关键点P，从而实 现姿态的区分。可以通过与特征图M中的每个姿态区域的最大边(margin)来实现特征图M中的姿态的清晰的分割。图5A和5B是基于检测到的关键点P的姿态判断过程的流程图。在姿势判断处理中，基于所检测到的关键点P来判断用户U的姿态。除了通过如同在上述的人体姿态判断方法中检测到全部或特定部分的预定义关键点的情况下使用特征图M对所检测到的关键点P进行分类(使用特征图M在个别图像对G中的关键点P上对姿态进行分类的过程称为“分类器”)(步骤441-446、452-453和462-463)、从而区分姿态之外，该姿态判断过程在未检测到全部或特定部分预定义关键点、但已检测到头部关键点P d的情况下，还使用所检测到的头部关键点P d来区分姿态(步骤470-490)。该姿态判断过程可以结合到上述的人体姿态判断方法中。
在一些实施例中，为了选择特征图M(图4的框440)，在步骤441中，判断所检测到的关键点P是否包括预定义关键点P中的至少一个肩部关键点P s、至少一个髋关键点P h、以及至少一个膝关键点P k。如果所检测到的关键点P包括至少一个肩关键点P s、至少一个髋关键点P h、以及至少一个膝关键点P k，则执行步骤442；否则，该方法将结束。在步骤442中，从一组预定义特征图M中选择出特征图2。图9是图8的场景的特征图2的示意图。特征图2是针对身体比例和上身角度这两个特征，其包括阈值曲线β和阈值曲线γ。阈值曲线β是用于区分站姿和坐姿的多正态曲线，而阈值曲线γ是用于区分卧姿、站姿和坐姿的多正态曲线。由于内角在这种情况下不再有效，而且躺姿与站姿/坐姿在身体比例的值中重叠，因此在特征图2中引入了上身角度。需要注意的是，为了使姿势判断能有更好的效能，特征图2中显示的特征值也是具有均值(mean)和尺度(scale)的归一化值。在步骤442之后，将依次执行步骤451和步骤461，以判断用户U的姿态。在步骤443，判断所判断的姿态是否为卧姿。如果不是，则执行步骤444；否则，该方法将结束。
在步骤444中，判断所检测到的关键点P是否包括所有预定义关键点P。 图6是图5A和5B的姿态判断的场景1的示意图。在场景1中，检测到所有的预定义关键点P，且图5A和5B的中的步骤445、452和462将被执行，以判断用户U的姿态。例如由于图6中的用户U在移动机器100的相机C前站直、且两者之间没有障碍物，上述的18个预定义关键点P都可以被检测到。需要注意的是，5个头部关键点P d(即两个眼睛关键点、鼻子关键点和两个耳朵关键点)在图中没有显示。如果所检测到的关键点P包括了所有预定义关键点P(例如检测到的关键点P包括所有上述的18个预定义的关键点)，则执行步骤445；否则，将执行步骤446。在步骤445中，从该组预定义特征图M中选择出特征图1。图7是图6的场景的特征图1的示意图。特征图1针对内角和身体比例这两个特征，其包括阈值曲线α。阈值曲线α是用于区分站姿和坐姿的多正态曲线。因为卧姿比站姿和坐姿被遮挡的可能性要高得多，所以在检测到所有预定义关键点P的场景1中只考虑站姿和坐姿。需要注意的是，为了使姿势判断能有更好的效能，特征图1中显示的特征值是具有均值和尺度的归一化值。在步骤446中，判断所检测到的关键点P是否包括预定义关键点P中的至少一个肩关键点P s、至少一个髋关键点P h和至少一个膝关键点P k。
图8是图5A和5B的姿态判断的场景2的示意图。在场景2中，检测到一个或两个肩部关键点P s、一个或两个髋关键点P h、一个或两个膝部关键点P k，而不是所有预定义关键点P，且图5A和5B中的步骤453和463将被执行，以判断用户U的姿态。例如由于图8中的用户U坐在移动机器100的相机C前的椅子H上、而且有一张桌子T遮挡了用户U的身体的一部分，只有上述的18个预定义关键点P中的两个肩部关键点P s、两个髋关键点P h和两个膝关键点P k(与头部关键点P d)可以被检测到。在一个实施例中，如果仅检测到一个肩部、髋部或膝部关键点，则可以基于所检测到的关键点的位置，例如使用所检测到的关键点的位置(和其他检测到的关键点的位置)来计算未检测到的关键点的位置。需要注意的是，5个头部关键点P d(即两个眼睛关键点、鼻子关 键点和两个耳朵关键点)在图中没有显示。如果所检测到的关键点P包括至少一个肩关键点P s、至少一个髋关键点P h和至少一个膝关键点P k，则执行步骤453；否则，将执行步骤470。
处理单元110可以进一步根据所检测到的关键点P的位置来获得与所选择的特征图M相对应的人体的两个特征(即特征1和特征2)(图4的框450)。在一些实施例中，为了获取对应于特征图2的特征，在图5A和5B的步骤451中根据所检测到的关键点P的位置来获取用户U的身体的检测得的上身角度(即特征2)；为了获取对应于特征图1的两个特征，在步骤452中根据所检测到的关键点P的位置来获取用户U的身体的检测得的内角A i(即特征1，见图10)和检测得的身体比例R(即特征2，见图10)。为了获取对应于特征图2的特征，在步骤453中根据所检测到的关键点P的位置，获取所检测到的用户U的检测得的身体比例R(即特征1)。
图10是在图6的场景中获取检测得的内角和检测得的身体比例的例子的示意图。在一些实施例中，为了获取检测得的内角A i(即特征1)和检测得的身体比例R(即特征2)，处理单元110可以获取所检测到的关键点P中的两个髋关键点P h之间的中间位置p h(见图6)(图10的框4521)。处理单元110可以进一步基于中间位置p h和所检测到的关键点中的两个肩部关键点P s的位置来获取上身平面L u(见图6)(图10的框4522)。处理单元110可以进一步基于中间位置p h以及所检测到的关键点中的两个膝关键点的位置来获取下身平面L 1(图10的框4523)。处理单元110可以进一步获取上身平面与下身平面之间的角度、以作为内角A i(图10的框4524)。在一个实施例中，上体平面L u是法向量为 的平面，下体平面L 1是法向量为 的平面，法向量 与法向量 之间的夹角、以作为内角A i。处理单元110可以进一步获取下身高度h low(见图6)和上身高度h up(见图6)之间的比例、以作为身体比例R(图10的框4525)。在一个实施例中，上身高度h up＝p s.y-p h.y且下身高度h low＝p h.y-p k.y， 其中p s是两个肩部关键点P s的中间位置，p s.y是p s的y坐标，p h.y是p h的y坐标，p k是两个膝盖关键点P k的中间位置，p k.y是p k的y坐标。
图11是在图8的场景(即场景2)中获取检测得的身体比例R和检测得的上身角度A u的例子的示意图。在一些实施例中，为了获取检测得的身体比例R(即特征1)和检测得的上身角度A u(即特征2)，处理单元110可以获取所检测的关键点P中的两个髋关键点P h的位置之间的中间位置p h(图11的块4531)。处理单元110可以进一步获取下身高度h low与上身高度h up之间的比值、以作为身体比例R(图11的框4532)，其中h up＝p s.y-p h.y且h low＝p h.y-p k.y，p s是两个肩部关键点P s的中间位置，p s.y是p s的y坐标，p h.y是p h的y坐标，p k是两个膝盖关键点P k的位置之间的中间位置，p k.y是p k的y坐标。处理单元110可以进一步获取中间位置p h和中间位置p s之间的向量h s与y方向上的单位向量之间的夹角，以作为上身角度A u(图11的框4533)。
处理单元110可以进一步根据所选择的特征图M中的两个特征(即特征1和特征2)判断用户U的姿态(图4的框460)。在一些实施例中，为了根据特征图2中的上身角度判断用户U的姿态(这里仅区分躺姿)，在步骤461中，根据检测到的上身角度判断用户U的姿态A u(即特征2)。为了根据特征图1的两个特征(即检测得的内角A i和检测得的身体比例R)判断用户U的姿态，在步骤462中基于检测得的内角A i(即特征1)与检测得的身体比例R(即特征2)的交点的位置来判断用户U的姿态。例如对于图6的站立着的用户U，由于检测得的内角A i(例如0.613)和检测得的身体比例R(例如0.84)(均为归一化值)的交点的位置在图7的特征图1的阈值曲线α上方的点处，用户U将被判断为站姿。为了根据特征图2中的两个特征(即检测得的身体比例R和检测得的上身角度A u)判断用户U的姿态，在步骤463中根据特征图1中的检测得的身体比例R(即特征1)的交点的位置来判断用户U的姿态。例如对于图8的坐着的用户U，由于检测得的身体比例R(例如-0.14)和检测得的上身 角度A u(例如0.44)(均为标准化值)的交点的位置在阈值曲线β左侧、特征图2的阈值曲线γ下方的点处，用户U将被判断为坐姿。
在图5A和5B的姿势判断过程中，在步骤470中判断所检测到的关键点P是否包括预定义关键点P中的多个头部关键点P d。图12是图5A和5B的姿态判断的场景3的示意图。在场景3中，用户U的一半以上身体被遮挡或不在相机C的视野V内，但检测到了(部分或全部的)头部关键点P d，图5A和5B中的步骤480和490将被执行以判断用户U的姿态。例如由于用户U躺在移动机器100的相机C前的长凳B上、而且有被子Q遮挡了用户的身体的一部分，只有上述的18个预定义关键点P中的头部关键点P d(例如两个眼睛关键点、鼻子关键点和两个耳朵关键点中的两个或多个)(以及两个肩部关键点P s、两个肘部关键点和两个手关键点)可以被检测到。需要注意的是，5个头部关键点P d(即两个眼睛关键点、鼻子关键点和两个耳朵关键点)在图中没有显示。如果所检测到的关键点P包括多个头部关键点P d，则执行步骤480；否则，该方法将结束。在步骤480中，基于头部关键点P d计算头部高度H head。头部高度H head是头(上的眼睛)相对于地面的高度。因为相机C相对于地面的相对高度和角度已知，所以可以根据头部在相机坐标系中的位置来计算头部高度H head。例如当用户U坐在椅子C上时，头部高度H head是头相对于地板F的高度(见图8)，当用户U站在地板F上时，头部高度H head也是头部相对于地板F的高度(见图6)。
在步骤490中，通过将头部高度H head与用于区分站姿和坐姿的第一头部高度阈值(例如120厘米)和第二头部高度阈值(例如50厘米)用于区分坐姿和卧姿。在头部高度H head大于第一头部高度阈值的情况下，判断用户U为站姿；在头部高度H head在第一头部高度阈值和第二头部高度阈值之间的情况下，判断用户U为坐姿。在头部高度H head小于第二头部高度阈值的情况下，判断用户U为卧姿。例如对于图12的躺着的用户U，由于头部高度H head(例如30厘米) 小于第二头部高度阈值，所以用户U将被判断为处于躺姿。在一些实施例中，第一头部高度阈值和第二头部高度阈值可以根据例如用户U的身高而改变。在其他实施例中，上述的三种场景的所有步骤(即用于场景1的步骤445、452和462的步骤，用于场景2的步骤444、453和463，以及用于场景3的步骤480和490)可以在没有判断步骤(即步骤441、446和470)的情况下执行。然后，可以将每一帧(即图像对G)对应的三个场景的判断结果结合最大投票来确定用户U的姿态。
在其他实施例中，在(结合了姿态判断过程的)人体姿态判断方法中，由于人不会在毫秒时间尺度内频繁改变姿态，因此可以添加时间窗口(例如1秒)用于过滤掉无效的结果，以实现更准确和稳健的姿态判断。例如对于一个时间窗口内的多个相邻帧，将上述的三个场景所对应的投票数最多的三个场景的判断结果结合起来、作出人体姿态的决策，然后在时间窗口内的所有决策都相同的情况下判断用户U的姿态。需要说明的是，时间窗口的大小(表示将累积多少相邻帧)可以根据实际需要来定义。例如时间窗的大小可以根据当前特征值与相应阈值曲线的接近程度来动态调整，越接近阈值曲线其大小越小，反之亦然。
该人体姿态判断方法能够适应不同的检测关键点集合，因为它在检测到的人体关键点的基础上使用描述了人体姿态的预定义特征图来判断人体的姿态。通过使用独特的预定义特征和特征图，它能够以准确的方式判断人体姿态。该人体姿态判断方法可以实时地实现，只需要很少的计算资源，并且因为只需要一个RGB-D相机而不是多个传感器进行检测，所以经济高效。在实现该人体姿态判断方法的移动机器为助行机器人的情况下，它可以确定人的姿态，从而选择合适的方式与人进行交互。例如当人被判断为躺下的老人时，移动机器可以要求他先坐下，然后再提供进一步的帮助。
本领域技术人员可以理解，上述实施例中的方法的全部或部分可以通过一 或多个计算机程序来指示相关硬件而实现。此外，一个或多个程序可以存储在非暂时性计算机可读存储介质中。当执行一个或多个程序时，执行上述实施例中对应的方法的全部或部分。对存储、存储器、数据库或其他介质的任何引用可以包括非暂时性和/或暂时性存储器。非暂时性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、固态驱动器(SSD)等。易失性存储器可以包括随机存取存储器(RAM)、外部高速缓存存储器等。
处理单元110(和上述处理器)可以包括中央处理单元(CPU)，或者是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或者是其他可编程逻辑器件、分立门、晶体管逻辑器件和分立硬件组件。通用处理器可以是微处理器，可以是任何常规处理器。存储单元120(以及上述存储器)可以包括诸如硬盘和内部存储器的内部存储单元。存储单元120还可以包括外部存储设备，例如插入式硬盘、智能媒体卡(SMC)、安全数字(SD)卡和闪存卡。
实施例中描述的示例性单元/模块和方法/步骤可以通过软件、硬件或者软件和硬件的结合来实现。这些功能究竟是通过软件实现还是通过硬件实现，取决于技术方案的具体应用和设计约束。上述的人体躺姿检测方法及移动机器100可以通过其他方式实现。例如单元/模块的划分仅仅是逻辑上的功能划分，实际实现中还可以采用其他划分方式，即可以将多个单元/模块组合或集成到另一个系统中，或者某些特征可以被忽略或不执行。此外，上述相互耦合/连接可以是直接耦合/连接或通信连接，也可以是通过一些接口/设备的间接耦合/连接或通信连接，还可以是电气、机械或其他形式。
上述实施例仅用于说明本发明的技术方案，并不用于限制本发明的技术方案。虽然本发明已经结合上述实施例进行了详细说明，但是上述各个实施例中的技术方案仍然可以进行修改，或者部分技术特征可以等效替换，从而使这些 修改或替换没有使相应技术方案的实质脱离本发明各实施例的技术方案的精神和范围，均应包含在本发明保护的范围之内。

Claims (10)

  1. 一种人体姿态判断方法，包括：
    通过测距相机获取一或多幅测距图像，其中该一或多幅测距图像包括颜色数据和深度数据；
    检测该颜色数据中的人体的估计骨骼的多个关键点，并基于该深度数据计算所检测到的该些关键点的位置，其中该估计骨骼具有一组预定义关键点；
    基于在该组预定义关键点中的所检测到的该些关键点，从一组预定义特征图中选择一特征图；
    基于所检测到的该些关键点的该位置，获取与所选择的该特征图对应的该人体的两个特征；以及
    根据所选择的该特征图中的该两个特征确定该人体的姿态。
  2. 如权利要求1所述的方法，其中该组预定义特征图包括具有内角和身体比例这两个特征的第一特征图，该第一特征图包括用于区分站姿和坐姿的阈值曲线。
  3. 如权利要求2所述的方法，其中所述基于在该组预定义关键点中的所检测到的该些关键点，从该组预定义特征图中选择该特征图包括：
    响应于所检测到的该些关键点包括了所有该预定义关键点，从该组预定义特征图中选择该第一特征图；
    所述基于所检测到的该些关键点的该位置获取与所选择的该特征图对应的该人体的该两个特征包括：
    响应于所检测到的该些关键点包括了所有该预定义关键点，根据所检测到的该些关键点的该位置获取该人体的检测得的内角和该人体的检测得的身体比例；以及
    根据所选择的该特征图中的该两个特征确定该人体的该姿态包括：
    响应于检测到的该些关键点包括了所有该预定义的关键点，基于该检测得 的内角与该检测得的身体比例的交点在第一特征图中的位置确定该人体的该姿态。
  4. 如权利要求3所述的方法，其中根据该些关键点的该位置获取该内角和该身体比例包括：
    获取所检测到的该些关键点中的两个髋关键点的该位置的中间位置p h；
    根据该中间位置p h和所检测到的该些关键点中的两肩关键点的位置获取上身平面；
    根据该中间位置p h和所检测到的该些关键点中的两膝关键点的位置获取下身平面；
    获取该上身平面与该下身平面的之间的角度并作为该内角；以及
    获取下身高度h low和上身高度h up的之间比值并作为该身体比例，其中h up＝p s.y-p h.y且h low＝p h.y-p k.y，p s是该两肩关键点的该位置的中间位置，p s.y是p s的y坐标，p h.y是p h的y坐标，p k是该两膝关键点的该位置的该中间位置，p k.y为p k的y坐标；以及
    所述基于该检测得的内角与该检测得的身体比例的该交点在该第一特征图中的该位置确定该人体的该姿态包括：
    根据该内角与该身体比例在该第一特征图中的该交点相对于用于区分该站姿和该坐姿的该阈值曲线的该位置确定该人体的该姿态。
  5. 如权利要求1所述的方法，其中该组预定义特征图包括具有身体比例和上身角度这两个特征的第二特征图，该第二特征图包括用于区分站姿和坐姿的第一阈值曲线和用于区分卧姿、站姿和坐姿的第二阈值曲线。
  6. 如权利要求5所述的方法，其中所述基于在该组预定义关键点中的所检测到的该些关键点，从该组预定义特征图中选择该特征图包括：
    响应于所检测到的该些关键点包括了该些预定义关键点中的至少一肩关键点、至少一髋关键点和至少一膝关键点，从该组预定义特征图中选择该第二特 征图；
    所述基于所检测到的该些关键点的该位置获取与所选择的该特征图对应的该人体的该两个特征包括：
    响应于所检测到的该些关键点包括了该些预定义关键点中的至少一肩关键点、至少一髋关键点和至少一个膝关键点，根据所检测到的该些关键点的该位置获取检测得的身体比例和检测得的上身角度；以及
    根据所选择的该特征图中的该两个特征确定该人体的该姿态包括：
    响应于所检测到的该些关键点包括了该些预定义的关键点中的至少一肩关键点、至少一髋关键点和至少一膝关键点，基于该检测得的身体比例与该检测得的上身角度的交点在该第二特征图中的位置确定该人体的该姿态。
  7. 如权利要求6所述的方法，其中根据所检测到的该些关键点的该位置，获取该身体比例和该上身角度包括：
    获取所检测到的该些关键点中的两个髋关键点的该位置的中间位置p h；
    获取下身高度h low和上身高度h up之间的比值并作为该身体比例，其中h up＝p s.y-p h.y且h low＝p h.y-p k.y，p s是两肩关键点的该位置的中间位置，p s.y是p s的y坐标，p h.y是p h的y坐标，p k是两膝关键点的该位置的中间位置，且p k.y是p k的y坐标；以及
    获取该中间位置p h和该中间位置p s之间的向量 与y方向的单位向量 之间的角度、并作为该上身角度；以及
    所述基于该身体比例与该上身角度的该交点在该第二特征图中的位置确定该人体的该姿态包括：
    根据该身体比例与该上身角度的该交点相对于用于区分该站姿和该坐姿的该第一阈值曲线和用于区分该躺姿、该站姿和该坐姿的第二阈值曲线在该第二特征图中的该位置，确定该人体的该姿态。
  8. 如权利要求7所述的方法，还包括：
    响应于所检测到的关键点包括了一肩关键点，基于所检测到的肩关键点的该位置获取该两肩关键点中的另一个的位置。
    响应于所检测到的关键点包括了一髋关键点，基于所检测到的髋关键点的该位置获取该两髋关键点中的另一个的位置；以及
    响应于所检测到的关键点包括了一膝关键点，基于所检测到的膝关键点的该位置获取该两膝关键点中的另一个的位置。
  9. 如权利要求1所述的方法，还包括：
    响应于所检测到的关键点包括了该些预定义关键点中的多个头关键点，基于该些头部关键点计算头部高度H head；以及
    通过将该头部高度H head与用于区分站姿和坐姿的第一头部高度阈值以及用于区分坐姿和躺姿的第二头部高度阈值进行比较，确定该人体的该姿态。
  10. 一种移动机器，包括：
    测距相机；
    一或多个处理器；以及
    一或多个存储器，存储有一或多个计算机程序，该一或多个计算机程序由该一或多个处理器执行，其中该一或多个计算机程序包括多个指令用于：
    通过该测距相机获取一或多幅测距图像，其中该一或多幅测距图像包括颜色数据和深度数据；
    检测该颜色数据中的人体的估计骨骼的多个关键点，并基于该深度数据计算所检测到的该些关键点的位置，其中该估计骨骼具有一组预定义关键点；
    基于在该组预定义关键点中的所检测到的该些关键点，从一组预定义特征图中选择一特征图；
    基于所检测到的该些关键点的该位置，获取与所选择的该特征图对应的该人体的两个特征；以及
    根据所选择的该特征图中的该两个特征确定该人体的姿态。
CN202280003739.0A 2021-06-30 2022-04-06 人体姿态判断方法及使用该方法的移动机器 Pending CN116830165A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/364,743 2021-06-30
US17/364,743 US11837006B2 (en) 2021-06-30 2021-06-30 Human posture determination method and mobile machine using the same
PCT/CN2022/085318 WO2023273492A1 (zh) 2021-06-30 2022-04-06 人体姿态判断方法及使用该方法的移动机器

Publications (1)

Publication Number Publication Date
CN116830165A true CN116830165A (zh) 2023-09-29

Family

ID=84692445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280003739.0A Pending CN116830165A (zh) 2021-06-30 2022-04-06 人体姿态判断方法及使用该方法的移动机器

Country Status (3)

Country Link
US (1) US11837006B2 (zh)
CN (1) CN116830165A (zh)
WO (1) WO2023273492A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022102947A (ja) * 2020-12-25 2022-07-07 富士通株式会社 検知プログラム、検知方法、および検知装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107408308A (zh) * 2015-03-06 2017-11-28 柯尼卡美能达株式会社 姿势检测装置以及姿势检测方法
US10447972B2 (en) * 2016-07-28 2019-10-15 Chigru Innovations (OPC) Private Limited Infant monitoring system
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
CN109740513B (zh) * 2018-12-29 2020-11-27 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测系统及方法
CN111931733B (zh) * 2020-09-25 2021-02-26 西南交通大学 基于深度相机的人体姿态检测方法

Also Published As

Publication number Publication date
WO2023273492A1 (zh) 2023-01-05
US20230004739A1 (en) 2023-01-05
US11837006B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
Van den Bergh et al. Real-time 3D hand gesture interaction with a robot for understanding directions from humans
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
Ye et al. Co-robotic cane: A new robotic navigation aid for the visually impaired
JP5771413B2 (ja) 姿勢推定装置、姿勢推定システム、および姿勢推定方法
Ye et al. A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis
US10169880B2 (en) Information processing apparatus, information processing method, and program
WO2005088244A1 (ja) 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置
US20190184569A1 (en) Robot based on artificial intelligence, and control method thereof
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CA2945860C (en) A method for localizing a robot in a localization plane
JPWO2018189795A1 (ja) 認識装置、認識方法および認識プログラム
US20220382282A1 (en) Mobility aid robot navigating method and mobility aid robot using the same
CN116830165A (zh) 人体姿态判断方法及使用该方法的移动机器
Hu et al. Bayesian fusion of ceiling mounted camera and laser range finder on a mobile robot for people detection and localization
WO2023273389A1 (zh) 人体躺姿检测方法及使用该方法的移动机器
US20220084244A1 (en) Information processing apparatus, information processing method, and program
Ribacki et al. Vision-based global localization using ceiling space density
JP2005250692A (ja) 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
CN115836262A (zh) 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器
CN113971835A (zh) 一种家电设备的控制方法、装置、存储介质及终端设备
US11983921B2 (en) Human abnormal behavior response method and mobility aid robot using the same
US12001216B2 (en) Carpet detection method, movement control method, and mobile machine using the same
CN116385489B (zh) 基于rgbd相机的目标跟随方法及系统
US20220382293A1 (en) Carpet detection method, movement control method, and mobile machine using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination