CN113601510B - 基于双目视觉的机器人移动控制方法、装置、系统及设备 - Google Patents
基于双目视觉的机器人移动控制方法、装置、系统及设备 Download PDFInfo
- Publication number
- CN113601510B CN113601510B CN202110944869.1A CN202110944869A CN113601510B CN 113601510 B CN113601510 B CN 113601510B CN 202110944869 A CN202110944869 A CN 202110944869A CN 113601510 B CN113601510 B CN 113601510B
- Authority
- CN
- China
- Prior art keywords
- robot
- space
- target object
- coordinate system
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000013519 translation Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于双目视觉的机器人移动控制方法、装置、系统及设备，其方法包括：通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；从视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；通过目标物体的空间位置控制机器人移动，实现机器人自动移动，提高机器人的工作效率，解决了现有机器人无法自动识别的操作位置，需要人工控制机器人移动，耗费时间长且工作效率低的技术问题。
Description
技术领域
本发明涉及机器人视觉技术领域，尤其涉及一种基于双目视觉的机器人移动控制方法、装置、系统及设备。
背景技术
随着机器人技术的不断发展，机器人视觉水平有了大大提高，但是由于多信息融合和误差等因素，从远距离识别目标到机器人移动到操作地点，这个过程还没有实现自动化，需要操作人员自己来识别空间位姿，控制机器人移动，耗费大量的时间，以及严重影响机器人的工作效率。
发明内容
本发明实施例提供了一种基于双目视觉的机器人移动控制方法、装置、系统及设备，用于解决现有机器人无法自动识别的操作位置，需要人工控制机器人移动，耗费时间长且工作效率低的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目视觉的机器人移动控制方法，应用于具有双目设备的机器人上，包括以下步骤：
S1.通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用所述作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；
S2.从所述视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；
S3.通过目标物体的空间位置控制机器人移动。
优选地，通过目标物体的空间位置控制机器人移动过程中，该基于双目视觉的机器人移动控制方法包括：
通过双目设备实时获取机器人移动当前的机械臂空间姿态和目标物体的操作点空间位姿；
通过步骤S1和步骤S2对所述机械臂空间姿态和所述操作点空间位姿处理，得到对应的机器臂空间坐标和操作点空间坐标；
若所述机器臂空间坐标与所述操作点空间坐标之间坐标差小于预设阈值，控制机器人停止移动并控制机器人的机械臂对目标物体进行操作。
优选地，若所述机器臂空间坐标与所述操作点空间坐标之间坐标差不小于预设阈值，根据步骤S1至步骤S3获得目标物体的实时空间位置，通过实时空间位置控制机器人向目标物体移动。
优选地，在步骤S2中，通过欧拉旋转将目标物体的空间坐标转换为四元数据，所述四元数据作为目标物体的空间位置。
本发明还提供一种基于双目视觉的机器人移动控制装置，包括机器人、双目设备、目标物体和控制模块；
所述双目设备，用于获取所述机器人和所述目标物体的空间位姿；
所述控制模块，用于根据上述所述的基于双目视觉的机器人移动控制方法控制所述机器人的移动。
优选地，该基于双目视觉的机器人移动控制装置包括与所述控制模块连接的通信模块，所述通信模块用于与移动终端连接。
本发明还提供一种基于双目视觉的机器人移动控制装置，包括移动平台、全局双目设备、目标物体和控制模块，所述移动平台上设置有机器人；
所述全局双目设备，用于获取所述机器人和所述目标物体的空间位姿；
所述控制模块，用于根据上述所述的基于双目视觉的机器人移动控制方法控制所述移动平台的移动。
本发明还提供一种基于双目视觉的机器人移动控制系统，应用于具有双目设备的机器人上，包括坐标系建立模块、位置模块和执行模块；
所述坐标系建立模块，用于通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用所述作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；
所述位置模块，用于从所述视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；
所述执行模块，用于通过目标物体的空间位置控制机器人移动。
优选地，所述执行模块包括姿态实时获取子模块、坐标子模块和操作子模块；
所述姿态实时获取子模块，用于通过双目设备实时获取机器人移动当前的机械臂空间姿态和目标物体的操作点空间位姿；
所述坐标子模块，用于通过所述坐标系建立模块和所述位置模块对所述机械臂空间姿态和所述操作点空间位姿处理，得到对应的机器臂空间坐标和操作点空间坐标；
所述操作子模块，用于根据所述机器臂空间坐标与所述操作点空间坐标之间坐标差小于预设阈值，控制机器人停止移动并控制机器人的机械臂对目标物体进行操作。
本发明还提供一种基于双目视觉的机器人移动控制设备，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行上述所述的基于双目视觉的机器人移动控制方法。
从以上技术方案可以看出，本发明实施例具有以下优点：该基于双目视觉的机器人移动控制方法、装置、系统及设备，其方法包括通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；从视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；通过目标物体的空间位置控制机器人移动。工作空间中放置一个目标物体，利用双目设备视差对作业空间进行三维的建模，得到视觉空间坐标系下的目标物体的空间坐标，然后把视觉空间坐标系转换到机器空间坐标系，把工作空间检测到目标物体的空间坐标通过旋转和向量平移映射到机器空间坐标系，从而感知目标物体在机器空间坐标系的空间位置控制机器人机械臂向目标物体移动，实现机器人自动移动，提高机器人的工作效率，解决了现有机器人无法自动识别的操作位置，需要人工控制机器人移动，耗费时间长且工作效率低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的基于双目视觉的机器人移动控制装置的结构示意图；
图2为本发明另一实施例所述的基于双目视觉的机器人移动控制装置的结构示意图；
图3为本发明实施例所述的基于双目视觉的机器人移动控制方法的步骤流程图；
图4为本发明实施例所述的基于双目视觉的机器人移动控制系统的框架图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本申请实施例提供了一种基于双目视觉的机器人移动控制方法、装置、系统及设备，应用于具有双目设备的机器人上，用于解决了现有机器人无法自动识别的操作位置，需要人工控制机器人移动，耗费时间长且工作效率低的技术问题。
实施例一：
图1为本发明实施例所述的基于双目视觉的机器人移动控制装置的结构示意图。
如图1所示，本发明实施例提供了一种基于双目视觉的机器人移动控制装置，包括移动平台10、全局双目设备20、目标物体30和控制模块。移动平台10上设置有机器人11。控制模块设置在移动平台10的控制终端上。
需要说明的是，移动平台10的底端设置有移动的万向轮。支撑杆12的高度高于机器人11的高度。控制终端可以为工控机，也可以为PC机等移动终端。移动平台10上还设置有路由器、激光雷达等，其中路由器主要便于用户远程操作控制终端，实现移动平台10的运行。激光雷达主要用于测量机器人11与目标物体30之间的距离。
在本发明实施例中，全局双目设备20主要用于获取机器人11和目标物体30的空间位姿。
需要说明的是，全局双目设备20可以选用双目相机，全局双目设备20位于移动平台10与目标物体30的中间设置。空间位姿指的是物体在某一时刻空间中展示的姿态。
在本发明实施例中，控制模块主要用于控制移动平台10的移动。
在本发明实施例中，目标物体30指的是机器人11需要进行加工或操作的对象。
实施例二：
图2为本发明另一实施例所述的基于双目视觉的机器人移动控制装置的结构示意图。
如图2所示，本发明实施例提供了一种基于双目视觉的机器人移动控制装置，包括机器人11、双目设备13、目标物体30和控制模块。
在本发明实施例中，双目设备13主要用于获取机器人11和目标物体30的空间位姿
需要说明的是，双目设备13可以选为双目相机。位于机器人11的一侧设置有支撑杆12，支撑杆12上安装有双目设备13。
在本发明实施例中，控制模块主要是用于控制机器人11运行。
在本发明实施例一和实施例二中，控制模块根据基于双目视觉的机器人移动控制方法控制机器人11或移动平台10的移动的。
在本发明实施例中，该基于双目视觉的机器人移动控制装置包括与控制模块连接的通信模块，通信模块用于与移动终端连接。
需要说明的是，移动终端可以为手机、iPad等，用户可以通过移动终端采用通信模块远程控制该基于双目视觉的机器人移动控制装置的运行。
实施例三：
图3为本发明实施例所述的基于双目视觉的机器人移动控制方法的步骤流程图。
如图3所示，本发明实施例提供了一种基于双目视觉的机器人移动控制方法，应用于具有双目设备的机器人上，包括以下步骤：
S1.通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系。
需要说明的是，双目设备选用双目摄像机，双目摄像机获取机器人机械臂的作业空间位姿和目标物体的空间位姿是现有技术，此处不做详述。
S2.从所视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置。
需要说明的是，将双目摄像机安装在高度大于机器人11的立杆上，可观测到机械臂作业空间的空间位姿以及目标物体的空间位姿，并对整个空间进行三维空间坐标的构建，得到视觉空间坐标系B。而机械臂自带有机器空间坐标系A，视觉空间坐标系B和机器空间坐标系A是两个独立的空间，机器空间坐标系A与视觉空间坐标系B的转换关系为：A＝BX。由于机器空间坐标系A与视觉空间坐标系B的原点不重合，有一个矢量的偏移。确定视觉空间坐标系B的原点在矢量APBORG用来表示，同时视觉空间坐标系B相对于机器空间坐标系A的旋转用描述。所以得到在机器空间坐标系A该目标物体的空间坐标为：即是：
完成目标物体从视觉空间坐标系B到机器空间坐标系A的映射，公式中，X为转换系数，为空间坐标系A与空间坐标系B之间转换，/>为空间坐标系A与空间坐标系B之间转换系数，BP为目标物体在视觉空间坐标系B下的空间坐标。
在本发明实施例中，固定在立杆上的双目摄像机可以获取目标物体的图像信息和深度信息，用户可以通过移动终端根据获取的图像信息和深度信息，来判断目标物体的空间位置，也可以通过遥控器人为的调整移动方向，可以发挥出用户的决策功能并且可以应对紧急情况。
步骤S3.通过目标物体的空间位置控制机器人移动。
需要说明的是，主要是根据步骤S2得到的目标物体的空间位置控制机器人向目标物体移动，实现机器人对目标物体的操作。
本发明提供的一种基于双目视觉的机器人移动控制方法包括通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；从视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；通过目标物体的空间位置控制机器人移动。工作空间中放置一个目标物体，利用双目设备视差对作业空间进行三维的建模，得到视觉空间坐标系下的目标物体的空间坐标，然后把视觉空间坐标系转换到机器空间坐标系，把工作空间检测到目标物体的空间坐标通过旋转和向量平移映射到机器空间坐标系，从而感知目标物体在机器空间坐标系的空间位置控制机器人机械臂向目标物体移动，实现机器人自动移动，提高机器人的工作效率，解决了现有机器人无法自动识别的操作位置，需要人工控制机器人移动，耗费时间长且工作效率低的技术问题。
需要说明的是，基于实施例一和实施例二基于双目视觉的机器人移动控制装置的基于双目视觉的机器人移动控制方法实现了机械臂的自动化，可以控制机器人或移动平台带动整个机械臂自动向目标物体移动，节省时间，提高控制精度，便于作业人员远程作业。
在本发明的一个实施例中，通过目标物体的空间位置控制机器人移动过程中，该基于双目视觉的机器人移动控制方法包括：
S31.通过双目设备实时获取机器人移动当前的机械臂空间姿态和目标物体的操作点空间位姿；
S32.通过步骤S1和步骤S2对机械臂空间姿态和操作点空间位姿处理，得到对应的机器臂空间坐标和操作点空间坐标；
S33.若机器臂空间坐标与操作点空间坐标之间坐标差小于预设阈值，控制机器人停止移动并控制机器人的机械臂对目标物体进行操作。
在本发明实施例中，若机器臂空间坐标与操作点空间坐标之间坐标差不小于预设阈值，根据步骤S1至步骤S3获得目标物体的实时空间位置，通过实时空间位置控制机器人向目标物体移动。
需要说明的是，步骤S31至步骤S33的设置主要是用于通过双目视觉确定目标物体的空间位置，机械臂根据目标物体的空间位置移动末端到达目标物体指定位置完成作业，提高机器人作业的精度。预设阈值可以根据需求设置，此处不做限定。
在本发明的一个实施例中，在步骤S2中，通过欧拉旋转将目标物体的空间坐标转换为四元数据，四元数据作为目标物体的空间位置。
需要说明的是，把目标物体空间坐标的位置信息与航向四元数据进行转换，控制机器人或移动平台的运行。位置信息指的是目标物体操作目标点的坐标，四元数据指的是机器人向目标点移动的数据。也就是欧拉旋转将视觉空间坐标系的X、Y、Z分别绕机器空间坐标系的x轴、y轴和z轴旋转X度、Y度、Z度，对应的四元数据q为：
q＝((x，y，z)，w)
式中，w为机器人或移动平台向目标物体操作目标点移动的方向角度。
实施例四：
图4为本发明实施例所述的基于双目视觉的机器人移动控制系统的框架图。
如图4所示，本发明实施例还提供一种基于双目视觉的机器人移动控制系统，应用于具有双目设备的机器人上，包括坐标系建立模块1、位置模块2和执行模块3；
坐标系建立模块1，用于通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；
位置模块2，用于从视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；
执行模块3，用于通过目标物体的空间位置控制机器人移动。
在本发明实施例中，执行模块3包括姿态实时获取子模块、坐标子模块和操作子模块；
姿态实时获取子模块，用于通过双目设备实时获取机器人移动当前的机械臂空间姿态和目标物体的操作点空间位姿；
坐标子模块，用于通过坐标系建立模块和位置模块对机械臂空间姿态和操作点空间位姿处理，得到对应的机器臂空间坐标和操作点空间坐标；
操作子模块，用于根据机器臂空间坐标与操作点空间坐标之间坐标差小于预设阈值，控制机器人停止移动并控制机器人的机械臂对目标物体进行操作。
需要说明的是，实施例四装置中的模块对应于实施例三方法中的步骤，实施例三方法中的步骤已在实施例一中详细阐述了，在此实施例四中不再对装置中的模块内容进行详细阐述。
实施例五：
本发明实施例提供了一种基于双目视觉的机器人移动控制设备，包括处理器以及存储器；
存储器，用于存储程序代码，并将程序代码传输给处理器；
处理器，用于根据程序代码中的指令执行上述的基于双目视觉的机器人移动控制方法。
需要说明的是，处理器用于根据所程序代码中的指令执行上述的一种基于双目视觉的机器人移动控制方法实施例中的步骤。或者，处理器执行计算机程序时实现上述各系统/装置实施例中各模块/单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于双目视觉的机器人移动控制方法，应用于具有双目设备的机器人上，其特征在于，包括以下步骤：
S1.通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用所述作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；
S2.从所述视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；
S3.通过目标物体的空间位置控制机器人移动；
在步骤S2中，通过欧拉旋转将目标物体的空间坐标转换为四元数据，所述四元数据作为目标物体的空间位置；
欧拉旋转将视觉空间坐标系的X、Y、Z分别绕机器空间坐标系的x轴、y轴和z轴旋转X度、Y度、Z度，对应的四元数据q为：
q＝((x，y，z)w)
式中，w为机器人或移动平台向目标物体操作目标点移动的方向角度。
2.根据权利要求1所述的基于双目视觉的机器人移动控制方法，其特征在于，通过目标物体的空间位置控制机器人移动过程中，该基于双目视觉的机器人移动控制方法包括：
通过双目设备实时获取机器人移动当前的机械臂空间姿态和目标物体的操作点空间位姿；
通过步骤S1和步骤S2对所述机械臂空间姿态和所述操作点空间位姿处理，得到对应的机器臂空间坐标和操作点空间坐标；
若所述机器臂空间坐标与所述操作点空间坐标之间坐标差小于预设阈值，控制机器人停止移动并控制机器人的机械臂对目标物体进行操作。
3.根据权利要求2所述的基于双目视觉的机器人移动控制方法，其特征在于，若所述机器臂空间坐标与所述操作点空间坐标之间坐标差不小于预设阈值，根据步骤S1至步骤S3获得目标物体的实时空间位置，通过实时空间位置控制机器人向目标物体移动。
4.一种基于双目视觉的机器人移动控制装置，其特征在于，包括机器人、双目设备、目标物体和控制模块；
所述双目设备，用于获取所述机器人和所述目标物体的空间位姿；
所述控制模块，用于根据如权利要求1-3任意一项所述的基于双目视觉的机器人移动控制方法控制所述机器人的移动。
5.根据权利要求4所述的基于双目视觉的机器人移动控制装置，其特征在于，包括与所述控制模块连接的通信模块，所述通信模块用于与移动终端连接。
6.一种基于双目视觉的机器人移动控制装置，其特征在于，包括移动平台、全局双目设备、目标物体和控制模块，所述移动平台上设置有机器人；
所述全局双目设备，用于获取所述机器人和所述目标物体的空间位姿；
所述控制模块，用于根据如权利要求1-3任意一项所述的基于双目视觉的机器人移动控制方法控制所述移动平台的移动。
7.一种基于双目视觉的机器人移动控制系统，应用于具有双目设备的机器人上，其特征在于，包括坐标系建立模块、位置模块和执行模块；
所述坐标系建立模块，用于通过双目设备获取机器人机械臂的作业空间位姿和目标物体的空间位姿，并采用所述作业空间位姿和目标物体的空间位姿建立视觉空间坐标系；以及获取机器人机械臂自身的机器空间坐标系；
所述位置模块，用于从所述视觉空间坐标系提取目标物体的空间坐标，通过旋转和平移将目标物体的空间坐标映射到机器空间坐标系上，得到目标物体的空间位置；
所述执行模块，用于通过目标物体的空间位置控制机器人移动；
通过欧拉旋转将目标物体的空间坐标转换为四元数据，所述四元数据作为目标物体的空间位置；
欧拉旋转将视觉空间坐标系的X、Y、Z分别绕机器空间坐标系的x轴、y轴和z轴旋转X度、Y度、Z度，对应的四元数据q为：
q＝((x，y，z)，w)
式中，w为机器人或移动平台向目标物体操作目标点移动的方向角度。
8.根据权利要求7所述的基于双目视觉的机器人移动控制系统，其特征在于，所述执行模块包括姿态实时获取子模块、坐标子模块和操作子模块；
所述姿态实时获取子模块，用于通过双目设备实时获取机器人移动当前的机械臂空间姿态和目标物体的操作点空间位姿；
所述坐标子模块，用于通过所述坐标系建立模块和所述位置模块对所述机械臂空间姿态和所述操作点空间位姿处理，得到对应的机器臂空间坐标和操作点空间坐标；
所述操作子模块，用于根据所述机器臂空间坐标与所述操作点空间坐标之间坐标差小于预设阈值，控制机器人停止移动并控制机器人的机械臂对目标物体进行操作。
9.一种基于双目视觉的机器人移动控制设备，其特征在于，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行如权利要求1-3任意一项所述的基于双目视觉的机器人移动控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110944869.1A CN113601510B (zh) | 2021-08-17 | 2021-08-17 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110944869.1A CN113601510B (zh) | 2021-08-17 | 2021-08-17 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113601510A CN113601510A (zh) | 2021-11-05 |
| CN113601510B true CN113601510B (zh) | 2024-05-07 |
Family
ID=78341018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110944869.1A Active CN113601510B (zh) | 2021-08-17 | 2021-08-17 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113601510B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113997292B (zh) * | 2021-11-30 | 2023-05-09 | 国网四川省电力公司南充供电公司 | 一种基于机器视觉的机械臂的作业方法、介质、电子设备 |
| CN117182930B (zh) * | 2023-11-07 | 2024-02-13 | 山东捷瑞数字科技股份有限公司 | 基于数字孪生的四轴机械臂绑定方法、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0151417A1 (en) * | 1984-01-19 | 1985-08-14 | Hitachi, Ltd. | Method for correcting systems of coordinates in a robot having visual sensor device and apparatus therefor |
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN108942923A (zh) * | 2018-06-21 | 2018-12-07 | 安徽工程大学 | 一种机械臂抓取控制方法 |
| JP2019038075A (ja) * | 2017-08-25 | 2019-03-14 | ファナック株式会社 | ロボットシステム |
| CN111015655A (zh) * | 2019-12-18 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
-
2021
- 2021-08-17 CN CN202110944869.1A patent/CN113601510B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0151417A1 (en) * | 1984-01-19 | 1985-08-14 | Hitachi, Ltd. | Method for correcting systems of coordinates in a robot having visual sensor device and apparatus therefor |
| JP2019038075A (ja) * | 2017-08-25 | 2019-03-14 | ファナック株式会社 | ロボットシステム |
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN108942923A (zh) * | 2018-06-21 | 2018-12-07 | 安徽工程大学 | 一种机械臂抓取控制方法 |
| CN111015655A (zh) * | 2019-12-18 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113601510A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102032070B1 (ko) | 깊이 맵 샘플링을 위한 시스템 및 방법 | |
| EP3627181A1 (en) | Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle | |
| CN113601510B (zh) | 基于双目视觉的机器人移动控制方法、装置、系统及设备 | |
| CN112652016B (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN109032348B (zh) | 基于增强现实的智能制造方法与设备 | |
| CN110471409B (zh) | 机器人巡检方法、装置、计算机可读存储介质及机器人 | |
| CN111178317A (zh) | 检测定位方法、系统、装置、电子设备及存储介质 | |
| US11111785B2 (en) | Method and device for acquiring three-dimensional coordinates of ore based on mining process | |
| CN112101209B (zh) | 用于路侧计算设备的确定世界坐标点云的方法和装置 | |
| CN111652113A (zh) | 障碍物检测方法、装置、设备以及存储介质 | |
| CN112184914A (zh) | 目标对象三维位置的确定方法、装置和路侧设备 | |
| CN110348351B (zh) | 一种图像语义分割的方法、终端和可读存储介质 | |
| EP3940636A2 (en) | Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device | |
| JP7351892B2 (ja) | 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム | |
| CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
| US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
| Scheuermann et al. | Mobile augmented reality based annotation system: A cyber-physical human system | |
| CN109993834B (zh) | 目标物体在虚拟空间中的定位方法及装置 | |
| CN110631586A (zh) | 基于视觉slam的地图构建的方法、导航系统及装置 | |
| JP2020052032A (ja) | 撮像装置及び撮像システム | |
| CN115661493A (zh) | 一种对象位姿的确定方法及装置、设备及存储介质 | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN114882115A (zh) | 车辆位姿的预测方法和装置、电子设备和存储介质 | |
| CN114266876A (zh) | 定位方法、视觉地图的生成方法及其装置 | |
| CN113758481A (zh) | 栅格地图生成方法、装置、系统、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |