CN113492405A - 机器人开门方法、装置、存储介质及电子设备 - Google Patents

机器人开门方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113492405A
CN113492405A CN202110672239.3A CN202110672239A CN113492405A CN 113492405 A CN113492405 A CN 113492405A CN 202110672239 A CN202110672239 A CN 202110672239A CN 113492405 A CN113492405 A CN 113492405A
Authority
CN
China
Prior art keywords
door
point cloud
data
cloud data
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110672239.3A
Other languages
English (en)
Other versions
CN113492405B (zh
Inventor
李煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Priority to CN202110672239.3A priority Critical patent/CN113492405B/zh
Publication of CN113492405A publication Critical patent/CN113492405A/zh
Priority to PCT/CN2021/141796 priority patent/WO2022262250A1/zh
Application granted granted Critical
Publication of CN113492405B publication Critical patent/CN113492405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及一种机器人开门方法、装置、存储介质及电子设备，包括：获取机器人周围环境的点云图像；在点云图像中提取机器人周围环境中的门板数据；通过门板数据在点云图像中提取门把手数据；根据门板数据和门把手数据计算开门运动轨迹和开门抓取方式，并根据目标运动轨迹和开门抓取方式控制机器人打开周围环境中的门。这样，能够通过先对点云数据中的门板数据进行提取，然后在门板数据的基础上进一步对门把手数据进行提取，从而实现对机器人周围环境中的门的精准识别，并且还能根据从点云数据中提取得到的门板数据和门把手数据，结合机器人本身的结构和能力规划对门把手的抓取、机器人的运动等操作任务，从而精准实现自动开门的动作。

Description

机器人开门方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人领域，具体地，涉及一种机器人开门方法、装置、存储介质及电子设备。
背景技术
机器人经常能在家庭环境或工作环境中为人们提供各种服务。此类服务型机器人提供的服务各种各样，有针对某一种专职服务的机器人，也有能够同时兼顾多种服务的总和服务型机器人。随着社会的进步以及科学的发展，服务型机器人能够完成的服务越来越多，能够更多地承担一系列家庭生活问题。开门操作是服务机器人在日常生活中要完成的一项基本任务，它更是完成许多复杂任务的前提，如何保证服务机器人的开门操作能够精准进行是服务型机器人发展中亟需解决的问题。
发明内容
本公开的目的是提供一种机器人开门方法、装置、存储介质及电子设备，能够实现对机器人周围环境中的门的精准识别，精准实现自动开门的动作。
为了实现上述目的，本公开提供一种机器人开门方法，所述方法包括：
获取机器人周围环境的点云图像；
在所述点云图像中提取所述机器人周围环境中的门板数据；
通过所述门板数据在所述点云图像中提取门把手数据；
根据门板数据和所述门把手数据计算开门运动轨迹和开门抓取方式，并根据所述目标运动轨迹和所述开门抓取方式控制所述机器人打开周围环境中的门。
可选地，所述点云图像中包括各个采样点的三维坐标信息和颜色信息，所述门板数据中包括门板部分所在的门平面对应的平面方程；所述在所述点云图像中提取所述机器人周围环境中的门板数据包括：
根据所述点云图像中各个采样点中的所述颜色信息对各采样点进行聚类，得到多个聚类簇；
根据确定得到的所述多个聚类簇确定属于所述门板部分的门板点云数据；
对所述门板点云数据进行平面分割，以得到所述门板部分所在的门平面对应的所述平面方程。
可选地，所述门板数据中还包括门旋转轴部分所在的轴直线对应的直线方程；所述在所述点云图像中提取所述机器人周围环境中的门板数据还包括：
将所述门板点云数据中的各采样点投影在所述门平面中，以得到门板投影数据；
根据所述门板投影数据确定属于门边缘部分的门边缘点云数据；
获取所述门旋转轴在所述门板中所在的目标方向；
根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据；
通过对所述门旋转轴点云数据进行直线拟合，得到所述门旋转轴所在的轴直线对应的所述直线方程。
可选地，所述根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据包括：
将所述门边缘点云数据中位于所述目标方向的门边缘点云数据作为所述门旋转轴点云数据；或
对所述门边缘点云数据中位于所述目标方向的门边缘点云数据向所述目标方向的反方向偏移预设距离，以得到偏移后的点云数据；
将所述偏移后的点云数据作为所述门旋转轴点云数据。
可选地，所述门把手数据中包括门把手对应的抓取参数；所述通过所述门板数据在所述点云图像中提取门把手数据包括：
根据所述门板部分所在的门平面对应的所述平面方程确定属于所述门把手部分的所述门把手点云数据；
通过所述门把手点云数据识别所述门把手类型；
在所述门把手点云数据中提取所述门把手类型对应的抓取参数。
可选地，所述根据所述门板部分所在的门平面对应的所述平面方程确定属于所述门把手部分的所述门把手点云数据包括：
根据所述平面方程确定所述机器人到所述门板部分所在的所述门平面之间的第一距离；
在所述机器人与周围环境中的门之间无遮挡物的情况下，根据所述点云图像中各采样点与所述门平面的第二距离与所述第一距离之间距离关系确定属于所述门把手部分的所述门把手点云数据。
可选地，所述在所述门把手点云数据中提取所述门把手类型对应的抓取参数包括：
确定所述门把手类型对应的抓取参数个数和各抓取参数的参数类型，所述抓取点参数类型中至少包括抓取中心点坐标；
根据所述抓取参数的参数类型和所述门把手类型确定各抓取参数的计算公式，并根据所述门把手点云数据确定各抓取参数的参数值。
本公开还提供一种机器人开门装置，所述装置包括：
获取模块，用于获取机器人周围环境的点云图像；
第一提取模块，用于在所述点云图像中提取所述机器人周围环境中的门板数据；
第二提取模块，用于通过所述门板数据在所述点云图像中提取门把手数据；
控制模块，用于根据门板数据和所述门把手数据计算开门运动轨迹和开门抓取方式，并根据所述目标运动轨迹和所述开门抓取方式控制所述机器人打开周围环境中的门。
本公开还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现以上所述方法的步骤。
通过上述技术方案，能够通过先对点云数据中的门板数据进行提取，然后在门板数据的基础上进一步对门把手数据进行提取，从而实现对机器人周围环境中的门的精准识别，并且还能根据从点云数据中提取得到的门板数据和门把手数据，结合机器人本身的结构和能力规划对门把手的抓取、机器人的运动等操作任务，从而精准实现自动开门的动作。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种机器人开门方法的流程图。
图2是根据本公开又一示例性实施例示出的一种机器人开门方法的流程图。
图3是根据本公开又一示例性实施例示出的一种机器人开门方法的流程图。
图4a和图4b是根据本公开一示例性实施例示出的一种机器人开门方法中两种门把手的示例。
图5是根据本公开一示例性实施例示出的一种机器人开门装置的结构框图。
图6是根据本公开又一示例性实施例示出的一种机器人开门装置的结构框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本公开中的机器人可以专门负责对某一扇门进行开门动作的专职机器人，也可以为兼顾其他服务的机器人。其中，为了实现对各类门的打开，机器人中需要设置能够执行开门动作的机械臂，例如具有抓握功能的机械爪，能够对具有门把手的门进行抓握操作，从而实现开门的功能。
图1是根据本公开一示例性实施例示出的一种机器人开门方法的流程图。如图1所示，所述方法包括步骤101至步骤104。
在步骤101中，获取机器人周围环境的点云图像。获取该点云图像的设备可以为例如深度传感器，或者也可以是其他能够获取到点云图像的设备。获取该点云图像的设备可以是装备于机器人上的设备，也可以独立于机器人设置。该点云图像中的各个采样点中至少包括三维坐标信息，该三维坐标信息可以是相对于获取设备中的坐标系的坐标。
在步骤102中，在所述点云图像中提取所述机器人周围环境中的门板数据。
在步骤103中，通过所述门板数据在所述点云图像中提取门把手数据。
在开门之前，首先在点云数据中确认待打开的门的门板相关的门板数据，然后再进一步根据提取得到的门板数据确认门把手相关的数据。该门板数据可以为例如门板距离机器人的距离，或者门板所在的方位，或者也可以直接包括属于门板部分的所有点云数据等等。门把手数据可以是门把手所处的位置、或者门把手的形状、或者直接为属于门把手部分的所有点云数据等等。
在确定了门板数据之后，再根据门板数据进一步提取门把手数据，能够降低不同的门把手对门板数据识别精度的影响，使得提取得到的门板数据和门把手数据精度都能够得到提高。
本公开中所针对的门为具有门把手的门。对于没有门把手的其他形式的门，可以仅根据提取得到的门板数据来进行开门动作的规划。
在步骤104中，根据所述门板数据和所述门把手数据计算开门运动轨迹和开门抓取方式，并根据所述目标运动轨迹和所述开门抓取方式控制所述机器人打开周围环境中的门。
在从该点云图像中提取得到门板数据和门把手数据之后，就能够根据其来制定机器人开门的运动轨迹以及对门的抓取方式，具体制定规划的内容可以根据机器人自身的结构和能力来确定，例如对于具有机械手爪的机器人，就能够规划利用手爪的张合来对门把手进行抓握以执行开门的动作。
其中，根据计算得到的该开门运动轨迹和开门抓取方式可以将机器人的开门任务分解为一连串的子操作序列。例如，机器人的机械手爪张开可以为一个子操作，配合机器人运动至能够对门进行操作的指定位置可以为另一个子操作，闭合手爪也可以为一个子操作，在稳定抓取到门把手之后，机器人运动或者机器人与机械手爪配合运动以实现开门也可以为一个子操作。
另外，在执行闭合手爪的子操作时，可以通过实时获取触觉信息的方式，以辅助闭合手爪，机器人也可以根据该触觉信息及时通过调整位姿等的方式来达到稳定抓取门把手的目的。在执行开门的子操作时，同样也可以获取相关的辅助信息例如手爪的电机电流数据，来判断手爪的抓取状态，从而对门把手是否滑落进行判断，一旦发现门把手滑落，则可以立即进行异常处理，该异常处理可以为例如令机器人回到初始姿态，或者令机器人的机械手爪回到初始姿态等。
通过上述技术方案，能够通过先对点云数据中的门板数据进行提取，然后在门板数据的基础上进一步对门把手数据进行提取，从而实现对机器人周围环境中的门的精准识别，并且还能根据从点云数据中提取得到的门板数据和门把手数据，结合机器人本身的结构和能力规划对门把手的抓取、机器人的运动等操作任务，从而精准实现自动开门的动作。
图2是根据本公开又一示例性实施例示出的一种机器人开门方法的流程图。如图2所示，所述方法还包括步骤201至步骤203。其中，所述点云图像中包括各个采样点的三维坐标信息和颜色信息，所述门板数据中包括门板部分所在的门平面对应的平面方程。
在步骤201中，根据所述点云图像中各个采样点中的所述颜色信息对各采样点进行聚类，得到多个聚类簇。其中，聚类的具体方法可以为例如基于颜色的区域增长聚类算法，具体包括区域增长和区域合并两个步骤，区域增长过程中基于颜色信息将颜色相近的临近采样点聚合成一类，区域合并过程中对任意两个相邻聚类簇计算平均颜色，若平均颜色相差较小，则将两个相邻聚类簇合并为一个区域。
计算上述采样点之间的颜色近似度的方法可以为通过计算采样点之间的颜色距离，其中计算采样点之间的颜色距离的公式可以为如下所示：
Figure BDA0003119817030000071
其中，C1,C2分别代表两个采样点，Ri,Gi,Bi分别代表采样点点i的RGB数值，CD(C1,C2)即为两个采样点之间的距离。
另外，在进行聚类之前，还可以先将该点云图像中的各采样点中属于离群点的采样点进行移除，以进一步保证聚类的精度。
通过如上基于颜色的区域增长聚类算法对采样点进行聚类，能够利用区域合并部分的算法来控制聚类过程中的过分割或欠分割。另外，在区域合并的步骤中，还可以通过检查当前各聚类簇中的采样点的数量，并在采样点数据小于设定阈值的情况下，将该聚类簇与邻近的其他聚类簇合并的方式，进一步地提升对点云图像中的多个采样点的聚类的精度。
在步骤202中，根据确定得到的所述多个聚类簇确定属于所述门板部分的门板点云数据。其中，可以通过对各个聚类簇中所包括的点云数据所构成的图像来确定该门板部分所对应的聚类簇。属于该门板部分的聚类簇可以为一个，也可以为多个聚类簇的组合。在确定了该门板部分对应的聚类簇之后，将对应的聚类簇中的点云数据作为该门板点云数据即可。
在步骤203中，对所述门板点云数据进行平面分割，以得到所述门板部分所在的门平面对应的所述平面方程。对该门板点云数据进行平面分割的方法可以为迭代型分割算法，在一组包含离群的被观测数据也即门板点云数据中估算出属于门平面的平面方程的参数，例如，可以为随机抽样一致性算法(RANSAC)。
通过上述技术方案，在点云图像中包括颜色信息的情况下，根据该颜色信息来对各采样点进行聚类能够进一步提高该门平面对应的平面方程也即该门板数据的精确度，从而在一定程度上也能提高提取得到的门把手数据的精度，从而使得机器人对开门动作的执行更加精准。
在一种可能的实施方式中，在该门板数据中包括所述门平面的平面方程的情况下，所述门板数据中还可以进一步包括门旋转轴部分所在的轴直线对应的直线方程，所述方法还可以包括如图2所示的步骤204至步骤208。
在步骤204中，将所述门板点云数据中的各采样点投影在所述门平面中，以得到门板投影数据。对所述门板点云数据中的各个采样点进行投影的方法可以为任意方法，只要能够保证将各采样点都投影在该门平面所在的平面中即可。在投影之后得到的门板投影数据中包括各个采样点与投影点之间的对应关系，以及各个投影点的位置数据。
在步骤205中，根据所述门板投影数据确定属于门边缘部分的门边缘点云数据。属于该门边缘部分的门边缘点云数据可以通过在门平面中的投影区域边界线上的投影点确认得到。而在门平面中的投影区域的边界线上的投影点可以通过多边形边缘提取算法获取得到，具体的可以根据例如PCL(Point Cloud Library，点云库)中提供的Concave Hull方法。在门平面中确定得到属于门边缘的投影点之后，即可根据该投影点与原采样点之间的对应关系确定得到该门边缘点云数据。
在步骤206中，获取所述门旋转轴在所述门板中所在的目标方向。获取该目标方向的方法可以为多种，可以是用户在设置机器人时预先输入的先验数据，也可以是在机器人执行开门动作之前通过图像识别等其他的识别方法所获取到的数据。该门旋转轴在门板中所在的目标方向可以为例如门的左侧或者右侧等。
在步骤207中，根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据。也即，根据该目标方向，直接在确定得到的门边缘点云数据中即可确定得到属于该门旋转轴的门旋转轴点云数据。该目标方向可以是基于该门平面所给出的方向，从而，也可以首先在门平面中的投影点中，根据该目标方向确定该目标方向的边缘所对应的投影点，进而再确定该目标方向的边缘所对应的投影点所对应的门边缘点云数据。
其中，在根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据时，可以直接将所述门边缘点云数据中位于所述目标方向的门边缘点云数据作为所述门旋转轴点云数据；或者，也可以先对所述门边缘点云数据中位于所述目标方向的门边缘点云数据向所述目标方向的反方向偏移预设距离，以得到偏移后的点云数据；然后再将所述偏移后的点云数据作为所述门旋转轴点云数据。由于在某些情况下门的边缘并不就是门旋转轴所在的位置，因此在对门边缘做一定的偏移之后所得到准确的门旋转轴点云数据可以更加准确。
在步骤208中，通过对所述门旋转轴点云数据进行直线拟合，得到所述门旋转轴所在的轴直线对应的所述直线方程。对该门旋转轴点云数据进行直线拟合的方法可以是与上述平面分割算法相同的随机抽样一致性算法(RANSAC)。
图3是根据本公开又一示例性实施例示出的一种机器人开门方法的流程图。如图3所示，在该门板数据中包括所述门平面的平面方程的情况下，获取所述门把手数据的方法可以如步骤301至步骤303所示。其中，所述门把手数据中包括门把手对应的抓取参数。
在步骤301中，根据所述门板部分所在的门平面对应的所述平面方程确定属于所述门把手部分的所述门把手点云数据。
具体的，可以先根据所述平面方程确定所述机器人到所述门板部分所在的所述门平面之间的第一距离。然后根据所述点云图像中各采样点与所述门平面的第二距离与所述第一距离之间距离关系确定属于所述门把手部分的所述门把手点云数据。
例如，在机器人或获取该点云图像的设备例如深度传感器与待打开的门正对着设置时，其坐标系中的xy平面是与门平面平行的，因此若所述机器人到所述门板部分所在的所述门平面之间的第一距离为L，点云图像中的各采样点与所述门平面的第二距离则可以为z轴上的Zi，又由于门把手通常位于门前的一定范围内，因此，若该点云图像中有任一点满足以下条件：
Figure BDA0003119817030000111
即可认为该采样点属于该门把手部分的门把手点云数据。其中，α可以设置为门把手与门之间的距离，例如可以为2CM。door_y_edge_min和door_y_edge_max分别为上述门板点云数据中Y轴上的最小值和最大值，door_x_edge_min和door_x_edge_max分别为上述门板点云数据中X轴上的最小值和最大值。也即，除了可以根据上述第一距离和第二距离之间的大小关系，还可以根据该门板点云数据的范围进一步限定为门把手点云数据的可取值范围。
另外，在确定所述门把手点云数据之前，还可以对机器人与周围环境中的门之间是否有遮挡物进行判断，在无遮挡物的的情况下确定该门把手点云数据，若判断有遮挡物，则可以发出警报或者提醒用户即使处理该遮挡物。
在步骤302中，通过所述门把手点云数据识别所述门把手类型。门把手类型的识别方法可以是通过该门把手的点云数据所构成的门把手形状来进行类型识别。例如，利用PCL提供的VFH Estimation方法计算得到待识别门把手的VFH特征，再从VFH特征库中寻找与其最接近的门把手，将此门把手的类型作为待识别门把手的类型。Viewpoint FeatureHistogram(VFH)是对点云图像的一种全局性描述结构。VFH包括了一个视点方向成分和一个表面形状成分，可以用于三维物体快速识别。
在步骤303中，在所述门把手点云数据中提取所述门把手类型对应的抓取参数。
具体的，可以先确定所述门把手类型对应的抓取参数个数和各抓取参数的参数类型，所述抓取点参数类型中至少包括抓取中心点坐标；然后根据所述抓取参数的参数类型和所述门把手类型确定各抓取参数的计算公式，并根据所述门把手点云数据确定各抓取参数的参数值。
例如，在所述门把手类型为如图4a所示的类型A的情况下，该抓取参数个数可以为1，抓取参数的参数类型为抓取中心点坐标，且该抓取参数的计算公式可以为：
[(x_min+x_max)/2,(y_min+y_max)/2,(z_min+z_max)/2]，
其中，x_min和x_max为该门把手点云数据中的X轴上的最小值和最大值，y_min和y_max为该门把手点云数据中的Y轴上的最小值和最大值，z_min和z_max为该门把手点云数据中Z轴上的最小值和最大值。
而在门把手类型为如图4b所示的类型B的情况下，该抓取参数的个数可以为2，抓取参数的参数类型包括抓取中心点坐标以及门把手旋转中心坐标两个。并且，针对该类型B的门把手类型，在计算该抓取中心点坐标之前，还需要先将该门把手拟合为一个圆柱体，并根据拟合结果计算出该圆柱体在坐标轴中的边缘值作为下述公式中的x_min和x_max，y_min和y_max，z_min和z_max。以下公式为计算该类型B的门把手的抓取中心点的公式：
[x_min/3+x_max*2/3,(y_min+y_max)/2,(z_min+z_max)/2]，该类型B的门把手的门把手旋转中心坐标的计算公式可以为：
[x_min+offset,(y_min+y_max)/2,(z_min+z_max)/2]，
其中，offset为该门把手旋转中心与门把手左边缘的距离，需要根据先验知识来预先设定。
图5是根据本公开一示例性实施例示出的一种机器人开门装置的结构框图。如图5所示，所述装置包括：获取模块10，用于获取机器人周围环境的点云图像；第一提取模块20，用于在所述点云图像中提取所述机器人周围环境中的门板数据；第二提取模块30，用于通过所述门板数据在所述点云图像中提取门把手数据；控制模块40，用于根据门板数据和所述门把手数据计算开门运动轨迹和开门抓取方式，并根据所述目标运动轨迹和所述开门抓取方式控制所述机器人打开周围环境中的门。
通过上述技术方案，能够通过先对点云数据中的门板数据进行提取，然后在门板数据的基础上进一步对门把手数据进行提取，从而实现对机器人周围环境中的门的精准识别，并且还能根据从点云数据中提取得到的门板数据和门把手数据，结合机器人本身的结构和能力规划对门把手的抓取、机器人的运动等操作任务，从而精准实现自动开门的动作。
图6是根据本公开又一示例性实施例示出的一种机器人开门装置的结构框图。其中，所述点云图像中包括各个采样点的三维坐标信息和颜色信息，所述门板数据中包括门板部分所在的门平面对应的平面方程；如图6所示，所述第一提取模块20包括：聚类子模块201，用于根据所述点云图像中各个采样点中的所述颜色信息对各采样点进行聚类，得到多个聚类簇；第一确定子模块202，用于根据确定得到的所述多个聚类簇确定属于所述门板部分的门板点云数据；平面分割子模块203，用于对所述门板点云数据进行平面分割，以得到所述门板部分所在的门平面对应的所述平面方程。
在一种可能的实施方式中，如图6所示，所述门板数据中还包括门旋转轴部分所在的轴直线对应的直线方程；所述第一提取模块20还包括：投影子模块204，用于将所述门板点云数据中的各采样点投影在所述门平面中，以得到门板投影数据；第二确定子模块205，用于根据所述门板投影数据确定属于门边缘部分的门边缘点云数据；获取子模块206，用于获取所述门旋转轴在所述门板中所在的目标方向；第三确定子模块207，用于根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据；直线拟合子模块208，用于通过对所述门旋转轴点云数据进行直线拟合，得到所述门旋转轴所在的轴直线对应的所述直线方程。
在一种可能的实施方式中，所述第三确定子模块还用于：将所述门边缘点云数据中位于所述目标方向的门边缘点云数据作为所述门旋转轴点云数据；或对所述门边缘点云数据中位于所述目标方向的门边缘点云数据向所述目标方向的反方向偏移预设距离，以得到偏移后的点云数据；将所述偏移后的点云数据作为所述门旋转轴点云数据。
在一种可能的实施方式中，所述门把手数据中包括门把手对应的抓取参数；所述第二提取模块30包括：第四确定子模块301，用于根据所述门板部分所在的门平面对应的所述平面方程确定属于所述门把手部分的所述门把手点云数据；识别子模块302，用于通过所述门把手点云数据识别所述门把手类型；参数提取子模块303，用于在所述门把手点云数据中提取所述门把手类型对应的抓取参数。
在一种可能的实施方式中，所述第四确定子模块还用于：根据所述平面方程确定所述机器人到所述门板部分所在的所述门平面之间的第一距离；在所述机器人与周围环境中的门之间无遮挡物的情况下，根据所述点云图像中各采样点与所述门平面的第二距离与所述第一距离之间距离关系确定属于所述门把手部分的所述门把手点云数据。
在一种可能的实施方式中，所述参数提取子模块还用于：确定所述门把手类型对应的抓取参数个数和各抓取参数的参数类型，所述抓取点参数类型中至少包括抓取中心点坐标；根据所述抓取参数的参数类型和所述门把手类型确定各抓取参数的计算公式，并根据所述门把手点云数据确定各抓取参数的参数值。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的机器人开门方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的机器人开门方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的机器人开门方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的机器人开门方法。
图8是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以被提供为一服务器。参照图8，电子设备800包括处理器822，其数量可以为一个或多个，以及存储器832，用于存储可由处理器822执行的计算机程序。存储器832中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器822可以被配置为执行该计算机程序，以执行上述的机器人开门方法。
另外，电子设备800还可以包括电源组件826和通信组件850，该电源组件826可以被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的通信，例如，有线或无线通信。此外，该电子设备800还可以包括输入/输出(I/O)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的机器人开门方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器832，上述程序指令可由电子设备800的处理器822执行以完成上述的机器人开门方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的机器人开门方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，例如。。。。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种机器人开门方法，其特征在于，所述方法包括：
获取机器人周围环境的点云图像；
在所述点云图像中提取所述机器人周围环境中的门板数据；
通过所述门板数据在所述点云图像中提取门把手数据；
根据门板数据和所述门把手数据计算开门运动轨迹和开门抓取方式，并根据所述目标运动轨迹和所述开门抓取方式控制所述机器人打开周围环境中的门。
2.根据权利要求1所述的方法，其特征在于，所述点云图像中包括各个采样点的三维坐标信息和颜色信息，所述门板数据中包括门板部分所在的门平面对应的平面方程；所述在所述点云图像中提取所述机器人周围环境中的门板数据包括：
根据所述点云图像中各个采样点中的所述颜色信息对各采样点进行聚类，得到多个聚类簇；
根据确定得到的所述多个聚类簇确定属于所述门板部分的门板点云数据；
对所述门板点云数据进行平面分割，以得到所述门板部分所在的门平面对应的所述平面方程。
3.根据权利要求2所述的方法，其特征在于，所述门板数据中还包括门旋转轴部分所在的轴直线对应的直线方程；所述在所述点云图像中提取所述机器人周围环境中的门板数据还包括：
将所述门板点云数据中的各采样点投影在所述门平面中，以得到门板投影数据；
根据所述门板投影数据确定属于门边缘部分的门边缘点云数据；
获取所述门旋转轴在所述门板中所在的目标方向；
根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据；
通过对所述门旋转轴点云数据进行直线拟合，得到所述门旋转轴所在的轴直线对应的所述直线方程。
4.根据权利要求3所述的方法，其特征在于，所述根据所述门边缘点云数据中位于所述目标方向的门边缘点云数据确定所述门旋转轴点云数据包括：
将所述门边缘点云数据中位于所述目标方向的门边缘点云数据作为所述门旋转轴点云数据；或
对所述门边缘点云数据中位于所述目标方向的门边缘点云数据向所述目标方向的反方向偏移预设距离，以得到偏移后的点云数据；
将所述偏移后的点云数据作为所述门旋转轴点云数据。
5.根据权利要求2-4中任一权利要求所述的方法，其特征在于，所述门把手数据中包括门把手对应的抓取参数；所述通过所述门板数据在所述点云图像中提取门把手数据包括：
根据所述门板部分所在的门平面对应的所述平面方程确定属于所述门把手部分的所述门把手点云数据；
通过所述门把手点云数据识别所述门把手类型；
在所述门把手点云数据中提取所述门把手类型对应的抓取参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述门板部分所在的门平面对应的所述平面方程确定属于所述门把手部分的所述门把手点云数据包括：
根据所述平面方程确定所述机器人到所述门板部分所在的所述门平面之间的第一距离；
在所述机器人与周围环境中的门之间无遮挡物的情况下，根据所述点云图像中各采样点与所述门平面的第二距离与所述第一距离之间距离关系确定属于所述门把手部分的所述门把手点云数据。
7.根据权利要求5所述的方法，其特征在于，所述在所述门把手点云数据中提取所述门把手类型对应的抓取参数包括：
确定所述门把手类型对应的抓取参数个数和各抓取参数的参数类型，所述抓取点参数类型中至少包括抓取中心点坐标；
根据所述抓取参数的参数类型和所述门把手类型确定各抓取参数的计算公式，并根据所述门把手点云数据确定各抓取参数的参数值。
8.一种机器人开门装置，其特征在于，所述装置包括：
获取模块，用于获取机器人周围环境的点云图像；
第一提取模块，用于在所述点云图像中提取所述机器人周围环境中的门板数据；
第二提取模块，用于通过所述门板数据在所述点云图像中提取门把手数据；
控制模块，用于根据门板数据和所述门把手数据计算开门运动轨迹和开门抓取方式，并根据所述目标运动轨迹和所述开门抓取方式控制所述机器人打开周围环境中的门。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202110672239.3A 2021-06-17 2021-06-17 机器人开门方法、装置、存储介质及电子设备 Active CN113492405B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110672239.3A CN113492405B (zh) 2021-06-17 2021-06-17 机器人开门方法、装置、存储介质及电子设备
PCT/CN2021/141796 WO2022262250A1 (zh) 2021-06-17 2021-12-27 机器人开门方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672239.3A CN113492405B (zh) 2021-06-17 2021-06-17 机器人开门方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113492405A true CN113492405A (zh) 2021-10-12
CN113492405B CN113492405B (zh) 2022-08-02

Family

ID=77997788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672239.3A Active CN113492405B (zh) 2021-06-17 2021-06-17 机器人开门方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN113492405B (zh)
WO (1) WO2022262250A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114473998A (zh) * 2022-01-14 2022-05-13 浙江工业大学 一种自动开门的智能服务机器人系统
WO2022262250A1 (zh) * 2021-06-17 2022-12-22 达闼机器人股份有限公司 机器人开门方法、装置、存储介质及电子设备
WO2023207651A1 (zh) * 2022-04-29 2023-11-02 华为技术有限公司 一种机器人拨盖方法及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN111443359A (zh) * 2020-03-26 2020-07-24 达闼科技成都有限公司 定位方法、装置及设备
CN111882610A (zh) * 2020-07-15 2020-11-03 中国科学院自动化研究所 基于椭圆锥人工势场的服务机器人抓取目标物体的方法
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN112699734A (zh) * 2020-12-11 2021-04-23 深圳市银星智能科技股份有限公司 门槛检测方法、移动机器人及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104398346B (zh) * 2014-11-07 2017-02-15 上海交通大学 可自主开门的智能轮椅及其自主开门方法
US10486313B2 (en) * 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation
CN107825450B (zh) * 2017-12-11 2024-04-05 苏州新优化投资咨询有限公司 开关门机械手、开关门机器人和开关门方法
CN108202316A (zh) * 2017-12-29 2018-06-26 宋金庆 一种自动开关机柜门的巡检机器人及控制方法
CN111958596B (zh) * 2020-08-13 2022-03-04 深圳国信泰富科技有限公司 一种高智能机器人的动作规划系统及方法
CN113492405B (zh) * 2021-06-17 2022-08-02 达闼机器人股份有限公司 机器人开门方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN111443359A (zh) * 2020-03-26 2020-07-24 达闼科技成都有限公司 定位方法、装置及设备
CN111882610A (zh) * 2020-07-15 2020-11-03 中国科学院自动化研究所 基于椭圆锥人工势场的服务机器人抓取目标物体的方法
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN112699734A (zh) * 2020-12-11 2021-04-23 深圳市银星智能科技股份有限公司 门槛检测方法、移动机器人及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262250A1 (zh) * 2021-06-17 2022-12-22 达闼机器人股份有限公司 机器人开门方法、装置、存储介质及电子设备
CN114473998A (zh) * 2022-01-14 2022-05-13 浙江工业大学 一种自动开门的智能服务机器人系统
CN114473998B (zh) * 2022-01-14 2023-09-29 浙江工业大学 一种自动开门的智能服务机器人系统
WO2023207651A1 (zh) * 2022-04-29 2023-11-02 华为技术有限公司 一种机器人拨盖方法及机器人

Also Published As

Publication number Publication date
WO2022262250A1 (zh) 2022-12-22
CN113492405B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN113492405B (zh) 机器人开门方法、装置、存储介质及电子设备
Zubizarreta et al. A framework for augmented reality guidance in industry
US9878447B2 (en) Automated collection and labeling of object data
Brook et al. Collaborative grasp planning with multiple object representations
CN107914272B (zh) 一种七自由度机械臂组件抓取目标物体的方法
US11969893B2 (en) Automated personalized feedback for interactive learning applications
US20230154015A1 (en) Virtual teach and repeat mobile manipulation system
KR20200111617A (ko) 제스처 인식 방법, 장치, 전자 기기 및 저장 매체
Sayour et al. Autonomous robotic manipulation: real‐time, deep‐learning approach for grasping of unknown objects
CN113614784B (zh) 利用稀疏rgb-d slam和交互感知对对象进行检测、跟踪和三维建模
WO2022014312A1 (ja) ロボット制御装置、およびロボット制御方法、並びにプログラム
US10525599B1 (en) Automatic detection of screen area and camera assisted movement of robotic arm
Polydoros et al. Accurate and versatile automation of industrial kitting operations with skiros
US20230173660A1 (en) Robot teaching by demonstration with visual servoing
WO2019015761A1 (en) ELECTRONIC DEVICE, SYSTEM AND METHOD FOR DETERMINING THE INSTALLATION OF AN OBJECT
Sahu et al. Shape features for image-based servo-control using image moments
US10970586B2 (en) Systems and methods of 3D scene segmentation and matching for robotic operations
Lin et al. Inference of 6-DOF robot grasps using point cloud data
CN117280358A (zh) 信息处理装置、信息处理方法和程序
Du et al. Human‐Manipulator Interface Using Particle Filter
US10902629B2 (en) Information processing device, information processing method, and program
CN112743537A (zh) 注释装置
Funakubo et al. Verification of illumination tolerance for clothes recognition
US20240037785A1 (en) Method for mapping location codes
KR20230175122A (ko) 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant