CN111645067B - 一种高智能机器人环境感知方法及系统 - Google Patents

一种高智能机器人环境感知方法及系统 Download PDF

Info

Publication number
CN111645067B
CN111645067B CN202010414466.1A CN202010414466A CN111645067B CN 111645067 B CN111645067 B CN 111645067B CN 202010414466 A CN202010414466 A CN 202010414466A CN 111645067 B CN111645067 B CN 111645067B
Authority
CN
China
Prior art keywords
point cloud
cloud data
dimensional map
data
intelligent robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010414466.1A
Other languages
English (en)
Other versions
CN111645067A (zh
Inventor
史超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guoxin Taifu Technology Co ltd
Original Assignee
Shenzhen Guoxin Taifu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guoxin Taifu Technology Co ltd filed Critical Shenzhen Guoxin Taifu Technology Co ltd
Priority to CN202010414466.1A priority Critical patent/CN111645067B/zh
Publication of CN111645067A publication Critical patent/CN111645067A/zh
Application granted granted Critical
Publication of CN111645067B publication Critical patent/CN111645067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种高智能机器人环境感知方法及系统，涉及高智能机器人。包括：步骤S1，激光雷达对周围环境进行实时环绕扫描获得点云数据；步骤S2，双鱼眼相机对点云数据进行处理获得密集点云数据；步骤S3，对点云数据进行计算处理获得二维地图；步骤S4，获取高智能机器人的姿态数据；高智能机器人的姿态数据包括：站立态和爬向态；步骤S5，将二维地图和高智能机器人的姿态数据进行匹配，并输出二维地图和姿态数据：步骤S6，将二维地图对密集点云数据进行赋色处理，获得实景点云数据。具有以下有益效果：本高智能机器人根据获取的姿态数据和二维地图进行环境感知，提高了高智能机器人在不同姿态数据下对环境感知的精准度。

Description

一种高智能机器人环境感知方法及系统
技术领域
本发明涉及高智能机器人领域，尤其涉及一种高智能机器人环境感知方法及系统。
背景技术
高智能机器人(Robot)是自动执行工作的机器装置，高智能机器人可接受人类指挥，也可以执行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，高智能机器人执行的是取代或是协助人类工作的工作，例如制造业、建筑业，或是其他危险的工作，高智能机器人是高级整合控制论、机械电子、计算机、材料和仿生学的产物，在工业、医学和军事等领域中均有重要用途。
高智能机器人在执行任务时的环境一般比较恶劣或者多变，如何提高高智能机器人对环境及时有效的感知成为高智能机器人执行任务是否成功的重要因素之一，目前，现有技术往往通过单一的摄像传感器探头进行相关图像采集和分析，然后提供给高智能机器人的环境感知数据，但是这种方式的准确性很差，远远落后高智能机器人在执行任务中需要的应变感知，如何进行对于自身周围的环境进行有效感知是业界难以进行有效处理的问题之一，本发明中高智能机器人根据自身姿态选择实景点云数据或者执行点云数据来达到高智能机器人的对环境的精准感知，提高高智能机器人的应变能力。
发明内容
本发明为了解决上述问题，现提出一种高智能机器人环境感知方法，所述高智能机器人的头部上设置有一双鱼眼相机和一激光雷达，所述高智能机器人的两机械手的手心中分别设置有一末端执行器相机，具体包括以下步骤：
步骤S1，所述激光雷达对所述周围环境进行实时环绕扫描获得点云数据；
步骤S2，所述双鱼眼相机对所述点云数据进行处理获得密集点云数据；
步骤S3，对所述点云数据进行计算处理获得二维地图；
步骤S4，获取所述高智能机器人的姿态数据；
所述高智能机器人的姿态数据包括：站立态和爬向态；
步骤S5，将所述二维地图和所述高智能机器人的所述姿态数据进行匹配，并输出所述二维地图和所述姿态数据：
步骤S6，将所述二维地图对所述密集点云数据进行赋色处理，获得实景点云数据。
优选的，其特征在于，所述步骤S6包括：
步骤S61，将所述二维地图中的第一对准标记和所述密集点云数据中的第二对准标记进行对准；
步骤S62，将所述二维地图中的像素点和所述密集点云数据中的激光点进行匹配：
若所述像素点和所述激光点匹配，则转向步骤S63；
若所述像素点和所述激光点不匹配，则转向步骤S61；
步骤S63，将所述像素点对所述激光点进行赋色处理，获得实景点云数据。
优选的，所述激光雷达为360度激光雷达。
优选的，于所述步骤S4中，所述高智能机器人通过惯性测量单元获取所述姿态数据。
一种高智能机器人环境感知系统，应用于高智能机器人环境感知方法，包括：
扫描模块，用于所述激光雷达对所述周围环境进行实时环绕扫描获得点云数据；
计算模块，连接所述扫描模块，用于对所述点云数据进行计算处理获得二维地图；
姿态提取模块，连接所述计算模块，用于获取所述高智能机器人的姿态数据；
所述高智能机器人的姿态数据包括：站立态和爬向态；
匹配模块，分别连接所述计算模块、所述姿态提取模块，用于将所述二维地图和所述高智能机器人的所述姿态数据进行匹配，并输出所述二维地图和所述姿态数据：
赋色模块，连接所述匹配模块，用于将所述二维地图对所述密集点云数据进行赋色处理，获得实景点云数据。
优选的，所述姿态提取模块包括一惯性测量单元。
具有以下有益效果：本发明高智能机器人根据获取的姿态数据和二维地图进行环境感知，提高了高智能机器人在不同姿态数据下对环境感知的精准度。
附图说明
图1为本发明较佳的实施例中，一种高智能机器人环境感知方法的流程示意图；
图2为本发明较佳的实施例中，实景点云数据获取方法的流程示意图；
图3为本发明较佳的实施例中，一种高智能机器人环境感知系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明为了解决上述问题，现提出一种高智能机器人环境感知方法，高智能机器人的头部上设置有一双鱼眼相机和一激光雷达，高智能机器人的两机械手的手心中分别设置有一末端执行器相机，如图1所示，具体包括以下步骤：
步骤S1，激光雷达对周围环境进行实时环绕扫描获得点云数据；
步骤S2，双鱼眼相机对点云数据进行处理获得密集点云数据；
步骤S3，对点云数据进行计算处理获得二维地图；
步骤S4，获取高智能机器人的姿态数据；
高智能机器人的姿态数据包括：站立态和爬向态；
步骤S5，将二维地图和高智能机器人的姿态数据进行匹配，并输出二维地图和姿态数据：
步骤S6，将二维地图对密集点云数据进行赋色处理，获得实景点云数据。
具体地，本实施例中，激光雷达设置在高智能机器人的头部，并对高智能机器人的周围环境进行实时扫描获得数据，并对数据进行处理得到周围环境的点云数据；高智能机器人头部上还设置有双鱼眼相机，双鱼眼相机对点云数据进行处理获得二维地图；将从上述方法中获得的二维地图和高智能机器人的姿态数据进行匹配，当高智能机器人在站立态时，输出二维地图对密集点云数据进行续赋色处理，并获得实景点云数据和站立态数据，供高智能机器人对整体环境的感知处理，用于高智能机器人的导航和路径规划，同时可以融合惯性测量，提高定位，优选的，通过激光雷达对障碍物进行检测，以提供高智能机器人对局部路径进行规划，进而修改全局规划；当高智能机器人处于不是站立态，优选为爬向态时，并用二维地图对密集点云数据进行赋色处理获得实景点云数据和爬向态数据，供高智能机器人对高智能机器人处在爬向态时环境的感知处理。
通过上述从二维地图中得到的实景点云数据，达到高智能机器人在站立态和爬向态两种方式下的对不同环境的感知需求。
本发明较佳的实施例中，如图2所示，步骤S6包括：
步骤S61，将二维地图中的第一对准标记和密集点云数据中的第二对准标记进行对准；
步骤S62，将二维地图中的像素点和密集点云数据中的激光点进行匹配：
若像素点和激光点匹配，则转向步骤S63；
若像素点和激光点不匹配，则转向步骤S61；
步骤S63，将像素点对激光点进行赋色处理，获得实景点云数据。
具体地，本实施例中，通过二维地图中的第一对准标记和点云数据中的第二对准标记进行对准达到后续的赋色，首先，通过第一对准标记和第二对准标记的对准，然后，还对二维地图中的像素点和点云数据中的激光点进行匹配，也就是说进行赋色先需要对第一对准标记第二对准标记进行对准，而且还需要对实景地图中的像素点和点云数据中的激光点进行匹配，只有两者同时达到才能将实景地图对点云数据进行赋色，实现了赋色的准确性。
本发明较佳的实施例中，激光雷达为360度激光雷达。
本发明较佳的实施例中，于所述步骤S4中，该种高智能机器人通过惯性测量单元获取姿态数据。
一种高智能机器人环境感知系统，应用于高智能机器人环境感知方法，如图3所示，包括：
扫描模块1，用于对激光雷达对周围环境进行实时环绕扫描获得点云数据；
处理模块2，连接所述扫描模块1，用于双鱼眼相机对点云数据进行处理获得密集点云数据；
计算模块3，连接扫描模块2，用于对点云数据进行计算处理获得二维地图；
姿态提取模块4，连接计算模块3，用于获取高智能机器人的姿态数据；
高智能机器人的姿态数据包括：站立态和爬向态；
匹配模块5，分别连接计算模块3和姿态提取模块4，用于将二维地图和高智能机器人的姿态数据进行匹配，并输出二维地图和姿态数据：
赋色模块6，连接匹配模块5，用于将二维地图对密集点云数据进行赋色处理，获得实景点云数据。
本发明较佳的实施例中，赋色模块6包括：
对准单元61，用于将二维地图中的第一对准标记和点云数据中的第二对准标记进行对准；
匹配单元62，连接对准单元61，用于将二维地图中的像素点和密集点云数据中的激光点进行匹配，在像素点和激光点匹配时，转向赋色单元63进行赋色处理，以及在像素点和激光点不匹配时，转向对准单元61重新对准；
赋色单元63，连接匹配单元62，用于将像素点对激光点进行赋色处理，获得实景点云数据。
综上所述，本发明提出的高智能机器人，能够根据获取的姿态数据和二维地图进行环境感知，提高了高智能机器人在不同姿态数据下对环境感知的精准度。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (6)

1.一种高智能机器人环境感知方法，其特征在于，所述高智能机器人的头部上设置有一双鱼眼相机和一激光雷达，所述高智能机器人的两机械手的手心中分别设置有一末端执行器相机，具体包括以下步骤：
步骤S1，所述激光雷达对周围环境进行实时环绕扫描获得点云数据；
步骤S2，所述双鱼眼相机对所述点云数据进行处理获得密集点云数据；
步骤S3，对所述点云数据进行计算处理获得二维地图；
步骤S4，获取所述高智能机器人的姿态数据；
所述高智能机器人的姿态数据包括：站立态和爬向态；
步骤S5，将所述二维地图和所述高智能机器人的所述姿态数据进行匹配，并输出所述二维地图和所述姿态数据；
步骤S6，将所述二维地图对所述密集点云数据进行赋色处理，获得实景点云数据；
其中，所述步骤S6包括：
步骤S61，将所述二维地图中的第一对准标记和所述密集点云数据中的第二对准标记进行对准；
步骤S62，将所述二维地图中的像素点和所述密集点云数据中的激光点进行匹配：
若所述像素点和所述激光点匹配，则转向步骤S63；
若所述像素点和所述激光点不匹配，则转向步骤S61；
步骤S63，将所述像素点对所述激光点进行赋色处理，获得实景点云数据。
2.根据权利要求1所述的高智能机器人环境感知方法，其特征在于，所述激光雷达为360度激光雷达。
3.根据权利要求1所述的高智能机器人环境感知方法，其特征在于，所述二维地图用于所述高智能机器人的导航和路径规划，通过所述激光雷达对障碍物进行检测，以提供所述高智能机器人对局部路径进行规划，进而修改全局规划。
4.根据权利要求1所述的高智能机器人环境感知方法，其特征在于，于所述步骤S4中，所述高智能机器人通过惯性测量单元获取所述姿态数据。
5.一种高智能机器人环境感知系统，其特征在于，应用于如权利要求1至4中任意一项所述的高智能机器人环境感知方法，包括：
扫描模块，用于所述激光雷达对周围环境进行实时环绕扫描获得点云数据；
计算模块，连接所述扫描模块，用于对所述点云数据进行计算处理获得二维地图；
姿态提取模块，连接所述计算模块，用于获取所述高智能机器人的姿态数据；
所述高智能机器人的姿态数据包括：站立态和爬向态；
匹配模块，分别连接所述计算模块、所述姿态提取模块，用于将所述二维地图和所述高智能机器人的所述姿态数据进行匹配，并输出所述二维地图和所述姿态数据；
赋色模块，连接所述匹配模块，用于将所述二维地图对所述密集点云数据进行赋色处理，获得实景点云数据；
所述赋色模块包括：
对准单元，用于将所述二维地图中的第一对准标记和所述点云数据中的第二对准标记进行对准；
匹配单元，连接所述对准单元，用于将所述二维地图中的像素点和所述点云数据中的激光点进行匹配，在所述像素点和所述激光点匹配时，转向赋色单元进行赋色处理，以及在所述像素点和所述激光点不匹配时，转向对准单元重新对准；
赋色单元，连接所述匹配单元，用于将所述像素点对所述激光点进行赋色处理，获得实景点云数据。
6.根据权利要求5所述的高智能机器人环境感知系统，其特征在于，所述姿态提取模块包括一惯性测量单元。
CN202010414466.1A 2020-05-15 2020-05-15 一种高智能机器人环境感知方法及系统 Active CN111645067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010414466.1A CN111645067B (zh) 2020-05-15 2020-05-15 一种高智能机器人环境感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010414466.1A CN111645067B (zh) 2020-05-15 2020-05-15 一种高智能机器人环境感知方法及系统

Publications (2)

Publication Number Publication Date
CN111645067A CN111645067A (zh) 2020-09-11
CN111645067B true CN111645067B (zh) 2022-05-31

Family

ID=72342662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010414466.1A Active CN111645067B (zh) 2020-05-15 2020-05-15 一种高智能机器人环境感知方法及系统

Country Status (1)

Country Link
CN (1) CN111645067B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112124825B (zh) * 2020-09-22 2022-10-25 同济大学 一种垃圾转运装备机械爪定位控制系统
CN113671527A (zh) * 2021-07-23 2021-11-19 国电南瑞科技股份有限公司 一种提高配网带电作业机器人的精准作业方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106705964A (zh) * 2017-01-06 2017-05-24 武汉大学 全景相机融合imu、激光扫描仪定位与导航系统及方法
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN108458745A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于智能检测设备的环境感知方法
CN109079799A (zh) * 2018-10-23 2018-12-25 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
CN110211228A (zh) * 2019-04-30 2019-09-06 北京云迹科技有限公司 用于建图的数据处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170374342A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106705964A (zh) * 2017-01-06 2017-05-24 武汉大学 全景相机融合imu、激光扫描仪定位与导航系统及方法
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN108458745A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于智能检测设备的环境感知方法
CN109079799A (zh) * 2018-10-23 2018-12-25 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
CN110211228A (zh) * 2019-04-30 2019-09-06 北京云迹科技有限公司 用于建图的数据处理方法及装置

Also Published As

Publication number Publication date
CN111645067A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
EP3615282B1 (en) Component feature detector for robotic systems
Du et al. Human–manipulator interface based on multisensory process via Kalman filters
Wan et al. Teaching robots to do object assembly using multi-modal 3d vision
Liu et al. Visual homing from scale with an uncalibrated omnidirectional camera
Hebert et al. Combined shape, appearance and silhouette for simultaneous manipulator and object tracking
CN111645067B (zh) 一种高智能机器人环境感知方法及系统
CN105319991B (zh) 一种基于Kinect视觉信息的机器人环境识别与作业控制方法
Yan et al. Opencalib: A multi-sensor calibration toolbox for autonomous driving
Zhao et al. Monocular vision-based parameter estimation for mobile robotic painting
Khan et al. Surface estimation of a pedestrian walk for outdoor use of power wheelchair based robot
Wang 3D object pose estimation using stereo vision for object manipulation system
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
CN109048911B (zh) 一种基于矩形特征的机器人视觉控制方法
Broun et al. Bootstrapping a robot’s kinematic model
CN110774283A (zh) 一种基于计算机视觉的机器人行走控制系统及方法
CN114800524B (zh) 一种人机交互协作机器人主动避碰的系统及方法
Wang et al. Visual pose measurement based on structured light for MAVs in non-cooperative environments
Tongloy et al. An image-based visual servo control system based on an eye-in-hand monocular camera for autonomous robotic grasping
Cheng Robot manipulation of 3D cylindrical objects with a robot-mounted 2D vision camera
Palla et al. Embedded implementation of an eye-in-hand visual servoing control for a wheelchair mounted robotic arm
Zhang et al. High-precision calibration of camera and IMU on manipulator for bio-inspired robotic system
Zhang et al. Teaching-playback of robot manipulator based on human gesture recognition and motion tracking
Crnokic et al. Artificial neural networks-based simulation of obstacle detection with a mobile robot in a virtual environment
Kim et al. Vision-force guided precise robotic assembly for 2.5 D components in a semistructured environment
Cheng et al. A study of using 2D vision system for enhanced industrial robot intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant