CN112571415A - 一种基于视觉导引的机器人自主开门方法与系统 - Google Patents

一种基于视觉导引的机器人自主开门方法与系统 Download PDF

Info

Publication number
CN112571415A
CN112571415A CN202011406140.0A CN202011406140A CN112571415A CN 112571415 A CN112571415 A CN 112571415A CN 202011406140 A CN202011406140 A CN 202011406140A CN 112571415 A CN112571415 A CN 112571415A
Authority
CN
China
Prior art keywords
door
robot
point cloud
semantic
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011406140.0A
Other languages
English (en)
Other versions
CN112571415B (zh
Inventor
李宇翔
陈浩耀
王志濠
王煜
刘云辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202011406140.0A priority Critical patent/CN112571415B/zh
Publication of CN112571415A publication Critical patent/CN112571415A/zh
Application granted granted Critical
Publication of CN112571415B publication Critical patent/CN112571415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明提供了一种基于视觉导引的机器人自主开门方法，包括以下步骤：S1、机器人进行语义分割及语义目标质心的计算；S2、机器人对房门进行粗定位；S3、机器人对门把手进行精定位；S4、机器人执行开门动作。本发明还提供了一种基于视觉导引的机器人自主开门系统。本发明的有益效果是：提供了一种基于视觉导引的机器人自主开门方法，针对采用机械式的门锁，实现了机器人自主开门，提高了机器人在室内运行过程中的自主通过能力，无需设置专用的门锁装置与机器人进行交互，提高了机器人对环境的适应能力，可适应普通的居民楼，并且，降低了成本。

Description

一种基于视觉导引的机器人自主开门方法与系统
技术领域
本发明涉及机器人，尤其涉及一种基于视觉导引的机器人自主开门方法与系统。
背景技术
随着计算机及传感技术的飞速发展，机器人得到了广泛的应用，机器人已经能够代替人工去完成运输、清洗、救援、监护等工作，并且具有较好的稳定性和较高的工作效率。机器人是一种集环境感知、规划决策、自动行驶等功能于一体的综合系统，其中机器视觉是机器人的主要感知机构，机器人需要依赖机器视觉来感知周围环境中的物体，进行识别与定位，从而指引机器人作出决策。
对于室内移动机器人，在执勤过程中需要穿越多个房间，通常需要设置专用的门锁装置或主动与机器人进行交互，方能在机器人通过时开启或关闭房门，成本较高。然而，对于普通的居民楼，一般采用机械式的门锁，无法与机器人进行信息交互，因此，如何提供一种机器人，能够主动识别并执行开门动作，从而穿过房门，是本领域技术人员所亟待解决的技术问题。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于视觉导引的机器人自主开门方法与系统。
本发明提供了一种基于视觉导引的机器人自主开门方法，包括以下步骤：
S1、机器人进行语义分割及语义目标质心的计算；
S2、机器人对房门进行粗定位；
S3、机器人对门把手进行精定位；
S4、机器人执行开门动作。
作为本发明的进一步改进，在步骤S1中，机器人通过视觉传感模块获取前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签，即识别出若干个语义目标，结合深度图为各语义目标生成对应的三维点云，从而计算各语义目标三维点云的三维质心坐标。
作为本发明的进一步改进，在步骤S2中，当语义分割网络识别出房门，机器人计算出房门对应的房门三维点云的质心坐标，然后读取机器人的当前位置，根据机器人的等效半径计算机器人到房门的距离，当机器人到房门的距离小于预设阈值时，获取初步的房门平面方程，计算房门平面的法线方向，控制机器人以房门的质心坐标为目标点，沿房门平面的法线方向向房门三维点云的质心坐标行驶，直至到达开门预设位置。
作为本发明的进一步改进，对房门三维点云进行RANSAC平面分割得到初步的房门平面方程。
作为本发明的进一步改进，在步骤S3中，再次通过视觉传感模块获取机器人前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签，即识别出若干个语义目标，然后结合深度图为各语义目标生成三维点云，并从中读取出语义标签为门把手的三维点云；用完整的深度图生成全局的三维点云，并重新获取房门平面方程，计算在门把手的三维点云中的各点到房门平面的距离，计算门把手的三维点云的质心坐标。
作为本发明的进一步改进，剔除与房门平面距离dk＞10cm和dk＜5cm的点，得到修正后的门把手的三维点云，然后重新计算并修正门把手的三维点云的质心坐标。
作为本发明的进一步改进，在步骤S3中，用完整的深度图生成全局的三维点云，并对全局的三维点云做RANSAC平面分割，重新得到房门平面方程。
作为本发明的进一步改进，在步骤S4中，首先控制机械夹爪张开，并移动多关节机械臂末端到门把手的三维点云的质心坐标，当多关节机械臂就位后，控制机械夹爪闭合使其抱紧门把手，其次控制多关节机械臂的末端关节进行旋转，从而将门锁打开。
本发明还提供了一种基于视觉导引的机器人自主开门方法，包括以下过程：
S1、机器人进行语义分割及语义目标质心的计算；
机器人通过视觉传感模块获取前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签M＝{m1，m2，...，mr}，即识别出r个语义目标；结合深度图为各语义目标mi生成对应的三维点云
Figure BDA0002814276000000041
其各点坐标为
Figure BDA0002814276000000042
计算各语义目标三维点云的三维质心坐标
Figure BDA0002814276000000043
三维质心的计算公式为：
Figure BDA0002814276000000044
S2、机器人对房门进行粗定位；
当语义分割网络识别出房门md，计算出其对应的房门三维点云Pd的质心坐标
Figure BDA0002814276000000045
然后读取机器人的当前位置Q＝(xq，yq，zq)，根据机器人的等效半径R计算机器人到房门的距离D，其计算公式为：
Figure BDA0002814276000000046
当D＜1m时，进一步对房门三维点云Pc进行RANSAC平面分割得到初步的房门平面方程F(x，y，z)＝Ax+By+Cz+D＝0，计算平面的法线方向nd＝(xn，yn，zn)，其计算公式为：
Figure BDA0002814276000000047
控制机器人以房门的质心坐标
Figure BDA0002814276000000048
为目标点，沿房门法线方向nd行驶到距离房门三维点云质心50cm的位置即D＝50cm，从而保证机器人位于房门正前方，并且车身方向垂直于房门；
S3、机器人对门把手进行精定位；
当机器人就位后，再次通过视觉传感模块获取机器人前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签M＝{m1，m2，...，mr}，即识别出r个语义目标，然后结合深度图为各语义目标生成三维点云
Figure BDA0002814276000000051
并从中读取出语义标签为门把手mh的三维点云Ph；
其次用完整的深度图生成全局的三维点云P，并对三维点云P做RANSAC平面分割，重新得到房门的平面方程F′(x，y，z)＝A′x+B′y+C′z+D′＝0，计算在门把手的三维点云Ph中的各点
Figure BDA0002814276000000052
到房门平面F′的距离dk，其计算公式为：
Figure BDA0002814276000000053
为避免语义识别的错误分类对门把手精定位的影响，剔除与房门平面F′距离dk＞10cm和dk＜5cm的点，得到修正后的门把手的三维点云P′h，然后重新计算门把手的三维点云的质心坐标
Figure BDA0002814276000000054
S4、机器人执行开门动作；
当获取到门把手部分的修正后的三维点云的质心坐标
Figure BDA0002814276000000055
后，首先控制机械夹爪张开，并移动多关节机械臂末端到门把手的三维点云的质心坐标
Figure BDA0002814276000000056
当多关节机械臂就位后，控制机械夹爪闭合使其抱紧门把手，其次控制多关节机械臂的末端关节进行旋转，从而将门锁打开。
本发明还提供了一种基于视觉导引的机器人自主开门系统，包括可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如上述中任一项所述的方法。
本发明的有益效果是：提供了一种基于视觉导引的机器人自主开门方法，针对采用机械式的门锁，实现了机器人自主开门，提高了机器人在室内运行过程中的自主通过能力，无需设置专用的门锁装置与机器人进行交互，提高了机器人对环境的适应能力，可适应普通的居民楼，并且，降低了成本。
附图说明
图1是本发明一种基于视觉导引的机器人自主开门方法的开门前的示意图。
图2是本发明一种基于视觉导引的机器人自主开门方法的开门示意图。
附图标记：1-底盘，2-支撑杆，3-视觉传感模块，4-多关节机械臂，5-机械夹爪，6-门把手，7-房门。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1至图2所示，一种基于视觉导引的机器人自主开门方法，采用的机器人包括多关节机械臂4、机械夹爪5、视觉传感模块3、底盘1。
多关节机械臂4：安装于底盘1顶部、视觉传感模块3的前方，接收主控制模块的控制信号，用于移动机械夹爪5到指定位置。
机械夹爪5：安装于多关节机械臂4的末端关节，接收主控制模块的控制信号，能够通过开合来夹取物体，用于配合多关节机械臂4拧动门把手6，并通过推、或拉的方式完成开门动作。可采用二指夹爪或多指夹爪，并且夹爪末端设置有适用于抓取门把手6的指尖。
视觉传感模块3：安装于支撑杆2顶部，方向超向机器人正前方。支撑杆2安装于底盘1顶部、视觉传感模块3的后方。视觉传感模块3用于感知外部环境，为主控制模块提供数据，可用于门把手6的识别和定位，也可用于定位和地图创建。视觉传感模块3可采用双目立体视觉或RGB-D传感器。
底盘1：作为多关节机械臂4和视觉传感模块3的载体，可采用轮式或履带式移动平台，能够进行前后移动和转向。底盘1为中空结构，内部设置有电机驱动模块、主控制模块、电池模块、定位模块和无线通信模块。
电机驱动模块：用于为底盘1移动提供动力，能够接收主控制器的信号，进行底盘1的移动速度控制。
主控制模块：作为机器人的核心部件，能够为电机驱动模块提供信号控制自身移动，能够读取视觉传感模块3和定位模块的数据，能够控制多关节机械臂4和机械夹爪5的运动，能够实现自主导航和开门。
电池模块：用于为机器人各部件提供电能，可通过外部连接电源进行充电，可采用锂电池、铅酸电池等。
定位模块：用于机器人的自身定位，为主控制模块提供位置数据，可采用编码器、惯性测量单元、GPS等定位技术。
无线通信模块：用于机器人与外界进行通信，可从外界获取任务指令，可采用WIFI、蓝牙等无线通信技术。
机器人处于正常行驶时，多关节机械臂4应处于图1中的低重心构型，避免对视觉传感模块3形成遮挡，以及避免机器人本体重心偏离造成的影响。机器人根据预设的路线或根据无线通信模块获取到的远程指令进行行驶，主控制模块通过视觉传感模块3获取图像信息，用于进行视觉定位、构建地图以及目标识别，并控制机器人本体沿规划路径行驶。当检测到机器人前方存在关闭状态的房门7时，若路线要求通过该房门7，则控制底盘1行驶到房门7前，执行开门动作。
机器人自主开门方法如下：
(1)语义分割及语义目标质心的计算：
机器人通过视觉传感模块3获取前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签M＝{m1，m2，...，mr}，即识别出r个语义目标；结合深度图为各语义目标mi生成对应的三维点云
Figure BDA0002814276000000081
其各点坐标为
Figure BDA0002814276000000082
计算各语义目标三维点云的三维质心坐标
Figure BDA0002814276000000083
三维质心的计算公式为：
Figure BDA0002814276000000084
(2)机器人对房门7的粗定位：
当语义分割网络识别出房门md，计算出其对应的房门三维点云Pd的质心坐标
Figure BDA0002814276000000085
然后读取机器人的当前位置Q＝(xq，yq，zq)，根据机器人的等效半径R计算机器人到房门7的距离D，其计算公式为：
Figure BDA0002814276000000091
当D＜1m时，进一步对房门三维点云Pc进行RANSAC平面分割得到初步的房门平面方程F(x，y，z)＝Ax+By+Cz+D＝0，计算平面的法线方向nd＝(xn，yn，zn)，其计算公式为：
Figure BDA0002814276000000092
控制机器人以房门的质心坐标
Figure BDA0002814276000000093
为目标点，沿房门法线方向nd行驶到距离房门三维点云质心50cm的位置即D＝50cm，从而保证机器人位于房门7正前方，并且车身方向垂直于房门7。
(3)机器人对门把手6的精定位
当机器人就位后，再次通过视觉传感模块3获取机器人前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签M＝{m1，m2，...，mr}，即识别出r个语义目标。然后结合深度图为各语义目标生成三维点云
Figure BDA0002814276000000094
并从中读取出语义标签为门把手mh的三维点云Ph。
其次用完整的深度图生成全局的三维点云P，并对三维点云P做RANSAC平面分割，重新得到房门的平面方程F′(x，y，z)＝A′x+B′y+C′z+D′＝0。计算在门把手6的三维点云Ph中的各点
Figure BDA0002814276000000095
到房门平面F′的距离dk，其计算公式为：
Figure BDA0002814276000000101
为避免语义识别的错误分类对门把手6精定位的影响，剔除与房门平面F′距离dk＞10cm和dk＜5cm的点，得到修正后的门把手6的三维点云P′h，然后重新计算门把手6的三维点云的质心坐标
Figure BDA0002814276000000102
(4)机器人执行开门动作
当获取到门把手部分的修正后的三维点云的质心坐标
Figure BDA0002814276000000103
后，首先控制机械夹爪5张开，并移动多关节机械臂4末端到门把手6的三维点云质心位置
Figure BDA0002814276000000104
当多关节机械臂4就位后，控制机械夹爪5闭合使其抱紧门把手6，其次控制多关节机械臂4的末端关节进行旋转，从而将门锁打开。
经过上述的自主开门流程，机器人能够顺利通过房门7。当机器人通过房门7后，机械夹爪5松开门把手6，多关节机械臂4重新回到图1中的低重心构型，机器人方能沿既定路线继续执行巡航任务。
本发明还提供了一种基于视觉导引的机器人自主开门系统，包括可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如上述中任一项所述的方法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于视觉导引的机器人自主开门方法，其特征在于，包括以下步骤：
S1、机器人进行语义分割及语义目标质心的计算；
S2、机器人对房门进行粗定位；
S3、机器人对门把手进行精定位；
S4、机器人执行开门动作。
2.根据权利要求1所述的基于视觉导引的机器人自主开门方法，其特征在于：在步骤S1中，机器人通过视觉传感模块获取前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签，即识别出若干个语义目标，结合深度图为各语义目标生成对应的三维点云，从而计算各语义目标三维点云的三维质心坐标。
3.根据权利要求2所述的基于视觉导引的机器人自主开门方法，其特征在于：在步骤S2中，当语义分割网络识别出房门，机器人计算出房门对应的房门三维点云的质心坐标，然后读取机器人的当前位置，根据机器人的等效半径计算机器人到房门的距离，当机器人到房门的距离小于预设阈值时，获取初步的房门平面方程，计算房门平面的法线方向，控制机器人以房门的质心坐标为目标点，沿房门平面的法线方向向房门三维点云的质心坐标行驶，直至到达开门预设位置。
4.根据权利要求3所述的基于视觉导引的机器人自主开门方法，其特征在于：对房门三维点云进行RANSAC平面分割得到初步的房门平面方程。
5.根据权利要求3所述的基于视觉导引的机器人自主开门方法，其特征在于：在步骤S3中，再次通过视觉传感模块获取机器人前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签，即识别出若干个语义目标，然后结合深度图为各语义目标生成三维点云，并从中读取出语义标签为门把手的三维点云；用完整的深度图生成全局的三维点云，并重新获取房门平面方程，计算在门把手的三维点云中的各点到房门平面的距离，计算门把手的三维点云的质心坐标。
6.根据权利要求5所述的基于视觉导引的机器人自主开门方法，其特征在于：剔除与房门平面距离dk＞10cm和dk＜5cm的点，得到修正后的门把手的三维点云，然后重新计算并修正门把手的三维点云的质心坐标。
7.根据权利要求5所述的基于视觉导引的机器人自主开门方法，其特征在于：在步骤S3中，用完整的深度图生成全局的三维点云，并对全局的三维点云做RANSAC平面分割，重新得到房门平面方程。
8.根据权利要求5所述的基于视觉导引的机器人自主开门方法，其特征在于：在步骤S4中，首先控制机械夹爪张开，并移动多关节机械臂末端到门把手的三维点云的质心坐标，当多关节机械臂就位后，控制机械夹爪闭合使其抱紧门把手，其次控制多关节机械臂的末端关节进行旋转，从而将门锁打开。
9.一种基于视觉导引的机器人自主开门方法，其特征在于，包括以下过程：
S1、机器人进行语义分割及语义目标质心的计算；
机器人通过视觉传感模块获取前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签M＝{m1，m2，...，mr}，即识别出r个语义目标；结合深度图为各语义目标mi生成对应的三维点云
Figure FDA0002814275990000031
其各点坐标为
Figure FDA0002814275990000032
计算各语义目标三维点云的三维质心坐标
Figure FDA0002814275990000033
三维质心的计算公式为：
Figure FDA0002814275990000034
S2、机器人对房门进行粗定位；
当语义分割网络识别出房门md，计算出其对应的房门三维点云Pd的质心坐标
Figure FDA0002814275990000035
然后读取机器人的当前位置Q＝(xq，yq，zq)，根据机器人的等效半径R计算机器人到房门的距离D，其计算公式为：
Figure FDA0002814275990000036
当D＜1m时，进一步对房门三维点云Pc进行RANSAC平面分割得到初步的房门平面方程F(x，y，z)＝Ax+By+Cz+D＝0，计算平面的法线方向nd＝(xn，yn，zn)，其计算公式为：
Figure FDA0002814275990000037
控制机器人以房门的质心坐标
Figure FDA0002814275990000038
为目标点，沿房门法线方向nd行驶到距离房门三维点云质心50cm的位置即D＝50cm，从而保证机器人位于房门正前方，并且车身方向垂直于房门；
S3、机器人对门把手进行精定位；
当机器人就位后，再次通过视觉传感模块获取机器人前方的彩色图和深度图，通过语义分割网络对彩色图进行语义识别得到各像素的语义标签M＝{m1，m2，...，mr}，即识别出r个语义目标，然后结合深度图为各语义目标生成三维点云
Figure FDA0002814275990000041
并从中读取出语义标签为门把手mh的三维点云Ph；
其次用完整的深度图生成全局的三维点云P，并对三维点云P做RANSAC平面分割，重新得到房门的平面方程F′(x，y，z)＝A′x+B′y+C′z+D′＝0，计算在门把手的三维点云Ph中的各点
Figure FDA0002814275990000042
到房门平面F′的距离dk，其计算公式为：
Figure FDA0002814275990000043
为避免语义分割的错误分类对门把手精定位的影响，剔除与房门平面F′距离dk＞10cm和dk＜5cm的点，得到修正后的门把手的三维点云P′h，然后重新计算门把手的三维点云的质心坐标
Figure FDA0002814275990000044
S4、机器人执行开门动作；
当获取到门把手部分的修正后的三维点云的质心坐标
Figure FDA0002814275990000045
后，首先控制机械夹爪张开，并移动多关节机械臂末端到门把手的三维点云的质心坐标
Figure FDA0002814275990000046
当多关节机械臂就位后，控制机械夹爪闭合使其抱紧门把手，其次控制多关节机械臂的末端关节进行旋转，从而将门锁打开。
10.一种基于视觉导引的机器人自主开门系统，其特征在于：包括可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如权利要求1至8中任一项所述的方法。
CN202011406140.0A 2020-12-03 2020-12-03 一种基于视觉导引的机器人自主开门方法与系统 Active CN112571415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011406140.0A CN112571415B (zh) 2020-12-03 2020-12-03 一种基于视觉导引的机器人自主开门方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011406140.0A CN112571415B (zh) 2020-12-03 2020-12-03 一种基于视觉导引的机器人自主开门方法与系统

Publications (2)

Publication Number Publication Date
CN112571415A true CN112571415A (zh) 2021-03-30
CN112571415B CN112571415B (zh) 2022-03-01

Family

ID=75127197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011406140.0A Active CN112571415B (zh) 2020-12-03 2020-12-03 一种基于视觉导引的机器人自主开门方法与系统

Country Status (1)

Country Link
CN (1) CN112571415B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113386138A (zh) * 2021-07-01 2021-09-14 上海宜硕网络科技有限公司 一种机器人开门控制方法、装置和电子设备
CN113459098A (zh) * 2021-07-01 2021-10-01 上海宜硕网络科技有限公司 一种机器人关门控制方法、装置和电子设备
CN113492405A (zh) * 2021-06-17 2021-10-12 达闼机器人有限公司 机器人开门方法、装置、存储介质及电子设备
CN113681560A (zh) * 2021-08-26 2021-11-23 浙江大学 基于视力融合的机械臂操作铰接物体的方法
CN114473998A (zh) * 2022-01-14 2022-05-13 浙江工业大学 一种自动开门的智能服务机器人系统
CN114800544A (zh) * 2022-03-09 2022-07-29 始途科技(杭州)有限公司 机器人控制方法、机器人控制装置及机器人

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015220031A1 (de) * 2015-10-15 2017-04-20 Siemens Aktiengesellschaft Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
CN108202316A (zh) * 2017-12-29 2018-06-26 宋金庆 一种自动开关机柜门的巡检机器人及控制方法
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN110009727A (zh) * 2019-03-08 2019-07-12 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统
CN110390302A (zh) * 2019-07-24 2019-10-29 厦门大学 一种三维目标检测方法
CN111123911A (zh) * 2019-11-22 2020-05-08 北京空间飞行器总体设计部 一种腿足式智能星表探测机器人感知系统及其工作方法
CN111311614A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 基于分割网络和对抗网络的三维点云语义分割方法
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN111860138A (zh) * 2020-06-09 2020-10-30 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN111958593A (zh) * 2020-07-30 2020-11-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人视觉伺服方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015220031A1 (de) * 2015-10-15 2017-04-20 Siemens Aktiengesellschaft Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
CN108202316A (zh) * 2017-12-29 2018-06-26 宋金庆 一种自动开关机柜门的巡检机器人及控制方法
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN110009727A (zh) * 2019-03-08 2019-07-12 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统
CN110390302A (zh) * 2019-07-24 2019-10-29 厦门大学 一种三维目标检测方法
CN111123911A (zh) * 2019-11-22 2020-05-08 北京空间飞行器总体设计部 一种腿足式智能星表探测机器人感知系统及其工作方法
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人
CN111311614A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 基于分割网络和对抗网络的三维点云语义分割方法
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN111860138A (zh) * 2020-06-09 2020-10-30 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN111958593A (zh) * 2020-07-30 2020-11-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人视觉伺服方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113492405A (zh) * 2021-06-17 2021-10-12 达闼机器人有限公司 机器人开门方法、装置、存储介质及电子设备
CN113492405B (zh) * 2021-06-17 2022-08-02 达闼机器人股份有限公司 机器人开门方法、装置、存储介质及电子设备
WO2022262250A1 (zh) * 2021-06-17 2022-12-22 达闼机器人股份有限公司 机器人开门方法、装置、存储介质及电子设备
CN113386138A (zh) * 2021-07-01 2021-09-14 上海宜硕网络科技有限公司 一种机器人开门控制方法、装置和电子设备
CN113459098A (zh) * 2021-07-01 2021-10-01 上海宜硕网络科技有限公司 一种机器人关门控制方法、装置和电子设备
CN113386138B (zh) * 2021-07-01 2022-06-03 上海宜硕网络科技有限公司 一种机器人开门控制方法、装置和电子设备
CN113459098B (zh) * 2021-07-01 2022-06-03 上海宜硕网络科技有限公司 一种机器人关门控制方法、装置和电子设备
CN113681560A (zh) * 2021-08-26 2021-11-23 浙江大学 基于视力融合的机械臂操作铰接物体的方法
CN113681560B (zh) * 2021-08-26 2023-07-04 浙江大学 基于视力融合的机械臂操作铰接物体的方法
CN114473998A (zh) * 2022-01-14 2022-05-13 浙江工业大学 一种自动开门的智能服务机器人系统
CN114473998B (zh) * 2022-01-14 2023-09-29 浙江工业大学 一种自动开门的智能服务机器人系统
CN114800544A (zh) * 2022-03-09 2022-07-29 始途科技(杭州)有限公司 机器人控制方法、机器人控制装置及机器人

Also Published As

Publication number Publication date
CN112571415B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN112571415B (zh) 一种基于视觉导引的机器人自主开门方法与系统
CN111801635B (zh) 机器人充电器对接控制
JP7134234B2 (ja) ロボット充電器ドッキング自己位置推定
CN111055281B (zh) 一种基于ros的自主移动抓取系统与方法
CN103699126B (zh) 智能导游机器人的导游方法
Miljković et al. New hybrid vision-based control approach for automated guided vehicles
KR102648771B1 (ko) 웨이포인트 매칭을 이용한 자율적 맵 주행
CN109202885B (zh) 一种物料搬运移动复合机器人
CN112183133B (zh) 一种基于ArUco码引导的移动机器人自主充电方法
Prats et al. Multipurpose autonomous underwater intervention: A systems integration perspective
CN108499054A (zh) 一种基于slam的车载机械臂捡球系统及其捡球方法
CN114102585B (zh) 一种物品抓取规划方法及系统
CN114505840B (zh) 一种自主操作箱式电梯的智能服务机器人
JP4578438B2 (ja) ロボット装置
CN212497739U (zh) 服务器硬盘自动更换机器人
CN111993383A (zh) 服务器硬盘自动更换机器人及服务器硬盘自动更换方法
Hebert et al. Supervised remote robot with guided autonomy and teleoperation (SURROGATE): a framework for whole-body manipulation
CN110604518A (zh) 扫地机器人及扫地机器人的控制方法
CN109202852A (zh) 一种智能巡检机器人
US20220355495A1 (en) Robot Docking Station Identification Surface
EP4095486A1 (en) Systems and methods for navigating a robot using semantic mapping
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
KR102275083B1 (ko) 이동 로봇 시스템 및 자동 충전을 위한 이동 로봇의 귀소 방법
WO2022227632A1 (zh) 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器
US20220196410A1 (en) Vehicle navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant