CN114700945A - 一种基于模型及图像识别的机器人控制系统与方法 - Google Patents
一种基于模型及图像识别的机器人控制系统与方法 Download PDFInfo
- Publication number
- CN114700945A CN114700945A CN202210382808.5A CN202210382808A CN114700945A CN 114700945 A CN114700945 A CN 114700945A CN 202210382808 A CN202210382808 A CN 202210382808A CN 114700945 A CN114700945 A CN 114700945A
- Authority
- CN
- China
- Prior art keywords
- robot
- upper computer
- image
- bus
- motion control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 78
- 230000006855 networking Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 27
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 14
- 230000018109 developmental process Effects 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000033772 system development Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010042674 Swelling Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明实施例公开了一种基于模型及图像识别的机器人控制系统与方法，涉及机器人控制技术领域，能够优化机器人控制系统的基础架构，简化开发的难度。本发明包括：相机1通过串口或者网口与上位机2相连，上位机2通过数据线与总线控制模块3相连，总线控制模块3通过总线网络组网的方式与运动控制柜4相连，运动控制柜4通过编码器线和动力线与机器人本体5相连；在上位机2中加载并运行机器人控制模型；运动控制柜4，用于采集机器人本体5的运行状态信息并向总线控制模块3传输；运动控制柜4，还用于解析上位机2通过总线控制模块3发送的驱动数据。
Description
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种基于模型及图像识别的机器人控制系统与方法。
背景技术
智能制造技术是新一代信息通信与制造技术融合发展的产物，是目前先进制造技术发展的主要方向。而机器人是实现智能制造非常重要的载体，能够极大的提升制造过程中国的生产效率。随着我国制造业向智能制造转型升级的需求不断增长，传统的机器人控制系统不能根据实际的生产需求快速开发相应的功能。
传统的机器人开发流程存在着需求分析、仿真验证、实物设计、验证测试等环节诸多环节，开发周期过长，可视化程度低，查错和调试费时费力等问题。并且大部分机器人控制系统并不能直观地展现机器人的运动过程以及实时反馈机器人运动数据，只能通过一次次的上机实验进行验证和试错，效率低且存在一定的操作门槛。
因此，如何优化机器人控制系统的基础架构，简化开发的难度，成为了需要解决的问题。
发明内容
本发明的实施例提供一种基于模型及图像识别的机器人控制系统与方法，能够优化机器人控制系统的基础架构，简化开发的难度。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明的实施例提供的基于模型及图像识别的机器人控制系统，包括：所述系统的组成部分至少包括：相机(1)、上位机(2)、总线控制模块(3)、运动控制柜(4)和机器人本体(5)，其中，相机(1)通过串口或者网口与上位机(2)相连，上位机(2)通过数据线与总线控制模块(3)相连，总线控制模块(3)通过总线网络组网的方式与运动控制柜(4)相连，运动控制柜(4)通过编码器线和动力线与机器人本体(5)相连；
在上位机(2)中加载并运行机器人控制模型；
运动控制柜(4)，用于采集机器人本体(5)的运行状态信息并向总线控制模块(3)传输；运动控制柜(4)，还用于解析上位机(2)通过总线控制模块(3)发送的驱动数据。
所述机器人控制模型，包括：图像处理单元(2-1)、总线通信单元(2-2)、正解单元(2-3)、逆解单元(2-4)和轨迹规划单元(2-5)；
所述图像处理单元(2-1)，用于读取相机(1)拍摄的图像，在图像中识别具有特征颜色和形状的目标物体，并计算所述目标物体在图像中的坐标，其中，所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维坐标；
正解单元(2-3)，用于处理输入的机器人各关节角度的角度数据，并输出机器人的末端位置信息和姿态信息；
逆解单元(2-4)，用于处理输入的机器人末端位置信息和姿态信息，并输出机器人各关节的角度值；
轨迹规划单元(2-5)，用于根据两点坐标，进行直线插补运算，计算出直线轨迹中的插补点；总线通信单元(2-2)，用于将机器人各关节角度值转化成符合总线通信规范的数据帧，并通过数据线将数据帧传输给总线控制模块(3)。
运动控制柜(4)，的组成部分至少包括：控制器(4-1)、数据采集电路(4-2)、总线通信电路(4-3)和伺服驱动器(4-4)；
其中，通过数据采集电路(4-2)采集机器人本体(5)的运行状态信息并传给控制器(4-1)，所述运行状态信息至少包括：机器人本体(5)的位置信息、速度信息和电流信息；
总线通信电路(4-3)与总线控制模块(3)连接，接收并解析上位机(2)通过总线控制模块(3)，并将解析后的驱动数据发送给控制器(4-1)；
控制器(4-1)中加载并运行电机控制算法，控制器(4-1)输出PWM或者SVPWM波。
所述机器人控制模型，还包括图形显示单元(2-6)，用于通过上位机(2)的显示屏展示显示机器人的物理实体的状态。
第二方面，本发明的实施例提供的基于模型及图像识别的机器人控制方法，包括：图像处理环节、运动控制环节和反馈监测环节。
在图像处理环节中，拍摄机器人本体(5)的图像，并从图像中识别机器人本体(5)的坐标，以及机器人本体(5)中的各个关节电机的位置，并进一步得到机器人各关节的角度值；
在运动控制环节中，实时采集伺服驱动器的电压信息，以及关节电机的位置，速度和电流信息，并利用所采集的信息和上位机(2)通过总线控制模块(3)发出的数据帧生成控制信号；
在反馈监测环节中，利用生成的控制信号控制机器人本体(5)的运行，并通过机器人本体(5)的各关节电机的位置，检测机器人本体(5)是否运动到给定位姿。
在图像处理环节中，包括：
S1、运动控制柜(4)启动，并检测运动控制柜(4)的初始状态是否异常；
S2、上位机(2)读取相机(1)拍摄的图像，其中，相机(1)的拍摄视野覆盖机器人本体(5)；
S3、上位机(2)在读取到的图像中，识别具有特征颜色和形状的目标物体，并计算所述目标物体在图像中的坐标；
S4、上位机(2)所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维坐标；
S5、上位机(2)获取机器人本体(5)的关节电机位置，并计算机器人末端位置，其中，所述机器人末端位置包括：当前机器人本体(5)的最后一轴末端在所述机器人基坐标系中的位置；
S6、上位机(2)计算所述目标物体的位置与所述机器人末端位置的距离；
S7、S6中计算出的距离大于所设定的阈值，则将上位机(2)所述机器人末端位置和所述目标物体的位置输入轨迹规划单元得到机器人本体(5)的最后一轴末端在直线运行轨迹中的插补点；
S8、上位机(2)对所得达的插补点进行运动学逆解，得到机器人各关节的角度值；
S9、上位机(2)将机器人各关节角度值转化成符合总线通信规范的数据帧，并通过数据线将数据帧传输给总线控制模块(3)；
S10、由总线控制模块(3)将数据帧发送到总线网络。
在运动控制环节中，包括：
S11、运动控制柜(4)中的控制器通过总线通信电路，从所述总线网络接收总线控制模块(3)发送的数据帧；
S12、运动控制柜(4)采集伺服驱动器的电压信息信息，同时还采集机器人本体(5)中的关节电机的位置，速度和电流信息；
S13、运动控制柜(4)将采集到的信息通过总线控制模块(3)上传到上位机(2)，并同时利用采集到的信息和上位机(2)给定的角度值进行计算并生成控制信号；
S14、运动控制柜(4)的伺服驱动器接收所述控制信号，并根据所述控制信号驱动机器人关节电机运动。
在反馈监测环节中，包括：
S15、当机器人本体(5)的各关节开始运动后，上位机(2)对机器人本体(5)的各关节进行监控；
S16、当上位机(2)检测到各关节电机到达给定位置时，判定机器人本体(5)运动到给定位姿。
在S3中，包括：
S31：对读取到的图像进行滤波；
S32：将滤波后的图像的RGB颜色空间，转化为HSV颜色空间；
S33：遍历图像中的每一个像素点，并通过HSV色彩空间判断像素点颜色；
S34：如果像素点颜色不符合特征颜色，则将像素点颜色设置成白色；
S35：将经过S34处理后的图像进行二值化处理；
S36：对图像进行Blob分析，识别出所述目标物体的形状，并提取所述目标物体的中心点位置。
在S4中，包括：
利用图像坐标系坐标对应机器人基坐标系的转换模型，获取所述目标物体在机器人基坐标系下的三维坐标，其中，所述转换模型包括：
其中，
表示图像坐标系在相机(1)坐标系中的位置关系，
表示相机(1)坐标系在机器人基坐标系中的位置关系，u,v表示在图像坐标系下两个轴上的坐标，x，y，z表示在机器人基坐标系下的三个轴上的坐标。
在S16中，包括：
S161：将直线插补中计算出的最后一个插补点的位置，作为机器人运行轨迹的终点位置；
S162：对所述终点位置进行运动学逆解，计算出各关节电机的终点位置；
S163：获取各关节电机的终点位置，与各关节电机对应的运动控制柜(4)反馈的实时电机位置的差值，并计算所有的差值的绝对值之和；
如果所有的差值的绝对值之和小于阈值，则判定各关节电机到达给定位置。
本发明实施例提供的基于模型及图像识别的机器人控制系统与方法，实现图像处理，轨迹规划，电机控制等功能。其中通过上位机(2)采集相机(1)的图像数据，输出关节电机驱动数据，并通过总线控制模块(3)将驱动数据传输给运动控制柜(4)；运动控制柜(4)接收并解析上位机(2)发送的驱动数据，驱动机器人本体(5)的关节电机到达给定位置；本发明采用模块化的方式搭建机器人的运动控制模型，实现图像处理，轨迹规划，电机控制等功能，能够缩短系统开发时间，解决项目开发过程中存在的易出错导致开发反复调试的问题。在具体实现时，可以采用常见的PC机作为上位机(2)，无需使用昂贵的专用机器人控制工控机，维护简单，降低研发成本。并且实现了运行监控功能，对机器人异常状态进行告警，并且能够实时存储运行数据，方便后续快速查错，具有很强的实用性。上位机(2)设有的图形显示单元(2-6)，采集机器人在运动过程的位置，速度等数据，并且转化为图形显示出来，能够实时观察机器人各轴运动曲线，效果直观，加快开发速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图；
图2为本发明实施例提供的上位机控制方式的示意图图；
图3为本发明实施例提供的机器人位置控制流程图；
图4为本发明实施例提供的图像处理子程序示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明实施例提供一种基于模型及图像识别的机器人控制系统，如图1所示，包括：所述系统的组成部分至少包括：相机(1)、上位机(2)、总线控制模块(3)、运动控制柜(4)和机器人本体(5)，其中，相机(1)通过串口或者网口与上位机(2)相连，上位机(2)通过数据线与总线控制模块(3)相连，总线控制模块(3)通过总线网络组网的方式与运动控制柜(4)相连，运动控制柜(4)通过编码器线和动力线与机器人本体(5)相连。
其中，所述上位机(2)为PC机，采用Windows操作系统，安装图形化编程软件来构建机器人控制模型。在上位机(2)中加载并运行机器人控制模型。
总线控制模块(3)，可以将总线网络上的报文通过数据线传输到PC机上或者通过数据线接收PC机上需要发送的机器人各关节角度值，并根据总线协议来驱动数据段的发送。
机器人本体(5)可以为串联机器人或者并联机器人，包括关节电机，机器人运动组件。
运动控制柜(4)，用于采集机器人本体(5)的运行状态信息并向总线控制模块(3)传输。运动控制柜(4)，还用于解析上位机(2)通过总线控制模块(3)发送的驱动数据。
本实施例中，所述机器人控制模型，包括：图像处理单元(2-1)、总线通信单元(2-2)、正解单元(2-3)、逆解单元(2-4)和轨迹规划单元(2-5)。正解单元(2-3)处理的输入数据是机器人各关节角度，输出数据是机器人的末端位置与姿态。逆解单元(2-4)的输入数据是机器人末端位置与姿态，输出数据是机器人各关节角度值。
所述图像处理单元(2-1)，可以通过串口或网口读取相机(1)拍摄的图像，其中，可以对图像进行处理最终得到特定形状和颜色的物体的位置。在图像中识别具有特征颜色和形状的目标物体，并计算所述目标物体在图像中的坐标，其中，所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维坐标。
正解单元(2-3)，用于处理输入的机器人各关节角度的角度数据，并输出机器人的末端位置信息和姿态信息。
逆解单元(2-4)，用于处理输入的机器人末端位置信息和姿态信息，并输出机器人各关节的角度值。
轨迹规划单元(2-5)，用于根据两点坐标，进行直线插补运算，计算出直线轨迹中的插补点。其中，可以根据正解单元(2-3)输出的末端位置信息和图像处理单元(2-1)计算出的所述目标物体在图像中的坐标，进行轨迹规划。获取各个关节的位置、速度、加速度的驱动数据，并将驱动数据通过机器人各关节角度值发送给总线通信单元(2-2)。驱动数据中包括了机器人各关节角度值。
总线通信单元(2-2)，用于将机器人各关节角度值转化成符合总线通信规范的数据帧，并通过数据线将数据帧传输给总线控制模块(3)。
本实施例中，运动控制柜(4)，的组成部分至少包括：控制器(4-1)、数据采集电路(4-2)、总线通信电路(4-3)和伺服驱动器(4-4)。
其中，通过数据采集电路(4-2)采集机器人本体(5)的运行状态信息并传给控制器(4-1)，所述运行状态信息至少包括：机器人本体(5)的位置信息、速度信息和电流信息。总线通信电路(4-3)与总线控制模块(3)连接，接收并解析上位机(2)通过总线控制模块(3)，并将解析后的驱动数据发送给控制器(4-1)。控制器(4-1)中加载并运行电机控制算法，控制器(4-1)输出PWM或者SVPWM波，来对关节电机进行控制。
进一步的，所述机器人控制模型，还包括图形显示单元(2-6)，用于通过上位机(2)的显示屏展示显示机器人的物理实体的状态。具体的，实际应用中，在MATLAB的Simulink中搭建虚拟的机器人实体，借助于数字映射能够在Simulink上实时同步实体机器人上的末端位姿以及各关节运动位置。当实体机器人位置和姿态发生变化时，Simulink上的虚拟机器人也能做出相应的变化。同时借助Simulink中的虚拟示波器能够以图形的方式看到机器人各关节的位置，速度以及加速度运动曲线，并且各个关节的运动曲线可以图形或者表格的方式保存在工作区，方便系统调试以及后续优化。
本实施例中，还提供一种基于模型及图像识别的机器人控制方法，该方法可以应用于如图1所示的系统，包括：图像处理环节、运动控制环节和反馈监测环节。
在图像处理环节中，拍摄机器人本体(5)的图像，并从图像中识别机器人本体(5)的坐标，以及机器人本体(5)中的各个关节电机的位置，并进一步得到机器人各关节的角度值，从而计算出机器人当前末端位置，其中，机器人各关节的角度值用于轨迹规划；在运动控制环节中，实时采集伺服驱动器的电压信息，以及关节电机的位置，速度和电流信息，并利用所采集的信息和上位机(2)通过总线控制模块(3)发出的数据帧生成控制信号关节电机；在反馈监测环节中，利用生成的控制信号控制机器人本体(5)的运行，并通过机器人本体(5)的各关节电机的位置，检测机器人本体(5)是否运动到给定位姿。
本实施例中，在图像处理环节中，包括：
S1、运动控制柜(4)启动，并检测运动控制柜(4)的初始状态是否异常。
S2、上位机(2)读取相机(1)拍摄的图像，其中，相机(1)的拍摄视野覆盖机器人本体(5)。
S3、上位机(2)在读取到的图像中，识别具有特征颜色和形状的目标物体，并计算所述目标物体在图像中的坐标。
S4、上位机(2)所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维坐标。
S5、上位机(2)获取机器人本体(5)的关节电机位置，并计算机器人末端位置，其中，所述机器人末端位置包括：当前机器人本体(5)的最后一轴末端在所述机器人基坐标系中的位置。
S6、上位机(2)在所述机器人基坐标系下，计算所述目标物体的位置与所述机器人末端位置的距离。
S7、S6中计算出的距离大于所设定的阈值，则将上位机(2)所述机器人末端位置和所述目标物体的位置输入轨迹规划单元得到机器人本体(5)的最后一轴末端在直线运行轨迹中的插补点。
S8、上位机(2)可以利用使用解析法或数值法等算法，对所得达的插补点进行运动学逆解，得到机器人各关节的角度值，并发给总线通信单元(2-2)。
S9、总线通信单元(2-2)上位机(2)将机器人各关节角度值转化成符合总线通信规范的数据帧，并通过数据线将数据帧传输给总线控制模块(3)。
S10、由总线控制模块(3)通过数据线接收上位机(2)数据帧，并将数据帧发送到总线网络。
具体的，步骤S1具体可以包括以下步骤：
S11、上位机(2)通过总线控制单元分别向运动控制柜(4)各轴控制器发送请求信息。
S12、当运动控制柜(4)各轴控制器接收到上位机(2)发送的请求信息后，通过数据采集电路读取关节伺服电机当前位置以及伺服驱动器输入电压。
S13、运动控制柜(4)各轴控制器将采集到的位置信息和电压信息通过总线通信电路向上位机(2)发送。
S14、上位机(2)接收控制器发送的位置和电压信息，并通过Simulink中虚拟示波器以图形方式实时显示。
S15、上位机(2)依次对各轴控制器反馈的信息进行判断，如果其中不在系统所设置的范围之内，则显示告警信息，并中止后续程序运行。
具体的，步骤S2具体可以包括以下步骤：
S21、对获取的图像进行滤波，在保留图像细节特征的条件下对目标图像进行抑制。
S22、将图像转化为HSV颜色空间，识别颜色。
S23、将图像二值化。
S24、将二值化图像进行形态学处理，包括但不限于腐蚀和膨胀处理。
S25、将经过形态学处理的图像进行Blob分析，识别出物体的形状以及提取中心点位置。
本实施例中，在运动控制环节中，包括：
S11、运动控制柜(4)中的控制器通过总线通信电路，从所述总线网络接收总线控制模块(3)发送的数据帧。
S12、运动控制柜(4)采集伺服驱动器的电压信息信息，同时还采集机器人本体(5)中的关节电机的位置，速度和电流信息。
S13、运动控制柜(4)的控制器将采集到的信息通过总线控制模块(3)一方面通过总线通信电路上传到上位机(2)，并同时利用采集到的信息和上位机(2)给定的角度值进行计算并生成控制信号。其中，上位机(2)给定的角度值包括了上位机发送的机器人各关节角度值。数据采集电路(4-2)采集了伺服驱动器电压、机器人关节电机位置、速度和电流。
S14、运动控制柜(4)的伺服驱动器接收所述控制信号，并根据所述控制信号驱动机器人关节电机运动。
本实施例中还提供了运动状态监控功能，具体在反馈监测环节中，包括：
S15、当机器人本体(5)的各关节开始运动后，上位机(2)对机器人本体(5)的各关节进行监控。
S16、当上位机(2)检测到各关节电机到达给定位置时，判定机器人本体(5)运动到给定位姿。
具体的，步骤S15具体包括以下步骤：
S151：接收运动控制柜(4)控制器发送的电压、电流、速度、位置信息
S152：将电压、电流、速度、位置信息分别在Simulink中虚拟示波器以图形化的方式实时显示。
S153：当上述信息刷新时，在MATLAB中以mat文件的方式保存数据。
S154：如果电压、电流、速度、位置超过系统预设的阈值，系统运行状态异常，系统显示告警信息将超出阈值的数据以文本信息显示。
本实施例在实际应用中，可以利用在模拟仿真平台，对机器人控制系统依据所需的功能点进行设计和实现，例如：可以采用MATLAB/Simulink中采用模块化的方式来建立模型，实现机器人图像处理，机器人正逆解验证，轨迹规划等功能。依托Simulink中图形化编程的特点，能够极大地缩短项目的开发周期。同时图形显示单元(2-6)借助于数字映射能够在Simulink上实时同步实体机器人上的末端位姿以及各关节运动位置，方便机器人的操作与调试。
具体的，步骤S3具体可以包括以下步骤：
S31：对读取到的图像进行滤波，包括但不限于中值滤波和均值滤波。
S32：将滤波后的图像的RGB颜色空间，转化为HSV颜色空间。
S33：遍历图像中的每一个像素点，并通过HSV色彩空间判断像素点颜色。
S34：如果像素点颜色不符合特征颜色，则将像素点颜色设置成白色，如果像素点颜色符合特征颜色，则不对像素点进行处理，反之将像素点颜色设置成白色。
S35：将经过S34处理后的图像进行二值化处理，还可以进一步将二值化图像进行形态学处理，所述形态学处理的环节至少包括：腐蚀和膨胀处理。
S36：对经过形态学处理的图像进行Blob分析，识别出所述目标物体的形状，并提取所述目标物体的中心点位置。
具体的，步骤S4具体可以包括以下步骤：
利用图像坐标系坐标对应机器人基坐标系的转换模型，获取所述目标物体在机器人基坐标系下的三维坐标，其中，所述转换模型包括：
其中，
表示图像坐标系在相机(1)坐标系中的位置关系，
表示相机(1)坐标系在机器人基坐标系中的位置关系，u,v表示在图像坐标系下两个轴上的坐标(即x，y轴坐标)，x，y，z表示在机器人基坐标系下的三个轴上的坐标(即x，y，z坐标)。
具体的，步骤S16具体可以包括以下步骤：
S161、将直线插补中计算出的最后一个插补点的位置，作为机器人运行轨迹的终点位置；
S162、对所述终点位置进行运动学逆解，计算出各关节电机的终点位置；
S163、获取各关节电机的终点位置，与各关节电机对应的运动控制柜(4)反馈的实时电机位置的差值，并计算所有的差值的绝对值之和；
如果所有的差值的绝对值之和小于阈值，则判定各关节电机到达给定位置，机器人运动到给定位姿，同时以文本信息显示。
本实施例采用模块化装置构建机器人运动控制模型，实现图像处理，轨迹规划，电机控制等功能。其中通过上位机(2)采集相机(1)的图像数据，输出关节电机驱动数据，并通过总线控制模块(3)将驱动数据传输给运动控制柜(4)；运动控制柜(4)接收并解析上位机(2)发送的驱动数据，驱动机器人本体(5)的关节电机到达给定位置；本发明采用模块化的方式搭建机器人的运动控制模型，实现图像处理，轨迹规划，电机控制等功能，能够缩短系统开发时间，解决项目开发过程中存在的易出错导致开发反复调试的问题。在具体实现时，可以采用常见的PC机作为上位机(2)，无需使用昂贵的专用机器人控制工控机，维护简单，降低研发成本。并且实现了运行监控功能，对机器人异常状态进行告警，并且能够实时存储运行数据，方便后续快速查错，具有很强的实用性。上位机(2)设有的图形显示单元(2-6)，采集机器人在运动过程的位置，速度等数据，并且转化为图形显示出来，能够实时观察机器人各轴运动曲线，效果直观，加快开发速度。
进一步的，本实施例在实际应用中，也可以进一步与虚拟仿真平台相结合并实现更多的功能，例如：搭建与实体机器人对应的虚拟机器人，例如可以利用MATLAB中的Simulink搭建与实体机器人对应的虚拟机器人，以便于技术人员可以通过虚拟机器人能够随着实体机器人位置和姿态变化而自动做出相应的变化。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于模型及图像识别的机器人控制系统，其特征在于，所述系统的组成部分至少包括：相机(1)、上位机(2)、总线控制模块(3)、运动控制柜(4)和机器人本体(5)，其中，相机(1)通过串口或者网口与上位机(2)相连，上位机(2)通过数据线与总线控制模块(3)相连，总线控制模块(3)通过总线网络组网的方式与运动控制柜(4)相连，运动控制柜(4)通过编码器线和动力线与机器人本体(5)相连；
在上位机(2)中加载并运行机器人控制模型；
运动控制柜(4)，用于采集机器人本体(5)的运行状态信息并向总线控制模块(3)传输；运动控制柜(4)，还用于解析上位机(2)通过总线控制模块(3)发送的驱动数据。
2.根据权利要求1所述的系统，其特征在于，所述机器人控制模型，包括：图像处理单元(2-1)、总线通信单元(2-2)、正解单元(2-3)、逆解单元(2-4)和轨迹规划单元(2-5)；
所述图像处理单元(2-1)，用于读取相机(1)拍摄的图像，在图像中识别具有特征颜色和形状的目标物体，并计算所述目标物体在图像中的坐标，其中，所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维坐标；
正解单元(2-3)，用于处理输入的机器人各关节角度的角度数据，并输出机器人的末端位置信息和姿态信息；
逆解单元(2-4)，用于处理输入的机器人末端位置信息和姿态信息，并输出机器人各关节的角度值；
轨迹规划单元(2-5)，用于根据两点坐标，进行直线插补运算，计算出直线轨迹中的插补点；总线通信单元(2-2)，用于将机器人各关节角度值转化成符合总线通信规范的数据帧，并通过数据线将数据帧传输给总线控制模块(3)。
3.根据权利要求1所述的系统，其特征在于，运动控制柜(4)，的组成部分至少包括：控制器(4-1)、数据采集电路(4-2)、总线通信电路(4-3)和伺服驱动器(4-4)；
其中，通过数据采集电路(4-2)采集机器人本体(5)的运行状态信息并传给控制器(4-1)，所述运行状态信息至少包括：机器人本体(5)的位置信息、速度信息和电流信息；
总线通信电路(4-3)与总线控制模块(3)连接，接收并解析上位机(2)通过总线控制模块(3)，并将解析后的驱动数据发送给控制器(4-1)；
控制器(4-1)中加载并运行电机控制算法，控制器(4-1)输出PWM或者SVPWM波。
4.根据权利要求2所述的系统，其特征在于，所述机器人控制模型，还包括图形显示单元(2-6)，用于通过上位机(2)的显示屏展示显示机器人的物理实体的状态。
5.一种基于模型及图像识别的机器人控制方法，其特征在于，包括：图像处理环节、运动控制环节和反馈监测环节；
在图像处理环节中，拍摄机器人本体(5)的图像，并从图像中识别机器人本体(5)的坐标，以及机器人本体(5)中的各个关节电机的位置，并进一步得到机器人各关节的角度值；
在运动控制环节中，实时采集伺服驱动器的电压信息，以及关节电机的位置，速度和电流信息，并利用所采集的信息和上位机(2)通过总线控制模块(3)发出的数据帧生成控制信号；
在反馈监测环节中，利用生成的控制信号控制机器人本体(5)的运行，并通过机器人本体(5)的各关节电机的位置，检测机器人本体(5)是否运动到给定位姿。
6.根据权利要求5所述的方法，其特征在于，在图像处理环节中，包括：
S1、运动控制柜(4)启动，并检测运动控制柜(4)的初始状态是否异常；
S2、上位机(2)读取相机(1)拍摄的图像，其中，相机(1)的拍摄视野覆盖机器人本体(5)；
S3、上位机(2)在读取到的图像中，识别具有特征颜色和形状的目标物体，并计算所述目标物体在图像中的坐标；
S4、上位机(2)所述目标物体在图像中的二维坐标转化为在机器人基坐标系下的三维坐标；
S5、上位机(2)获取机器人本体(5)的关节电机位置，并计算机器人末端位置，其中，所述机器人末端位置包括：当前机器人本体(5)的最后一轴末端在所述机器人基坐标系中的位置；
S6、上位机(2)计算所述目标物体的位置与所述机器人末端位置的距离；
S7、S6中计算出的距离大于所设定的阈值，则将上位机(2)所述机器人末端位置和所述目标物体的位置输入轨迹规划单元得到机器人本体(5)的最后一轴末端在直线运行轨迹中的插补点；
S8、上位机(2)对所得达的插补点进行运动学逆解，得到机器人各关节的角度值；
S9、上位机(2)将机器人各关节角度值转化成符合总线通信规范的数据帧，并通过数据线将数据帧传输给总线控制模块(3)；
S10、由总线控制模块(3)将数据帧发送到总线网络。
7.根据权利要求5所述的方法，其特征在于，在运动控制环节中，包括：
S11、运动控制柜(4)中的控制器通过总线通信电路，从所述总线网络接收总线控制模块(3)发送的数据帧；
S12、运动控制柜(4)采集伺服驱动器的电压信息信息，同时还采集机器人本体(5)中的关节电机的位置，速度和电流信息；
S13、运动控制柜(4)将采集到的信息通过总线控制模块(3)上传到上位机(2)，并同时利用采集到的信息和上位机(2)给定的角度值进行计算并生成控制信号；
S14、运动控制柜(4)的伺服驱动器接收所述控制信号，并根据所述控制信号驱动机器人关节电机运动；
在反馈监测环节中，包括：
S15、当机器人本体(5)的各关节开始运动后，上位机(2)对机器人本体(5)的各关节进行监控；
S16、当上位机(2)检测到各关节电机到达给定位置时，判定机器人本体(5)运动到给定位姿。
8.根据权利要求6所述的方法，其特征在于，在S3中，包括：
S31：对读取到的图像进行滤波；
S32：将滤波后的图像的RGB颜色空间，转化为HSV颜色空间；
S33：遍历图像中的每一个像素点，并通过HSV色彩空间判断像素点颜色；
S34：如果像素点颜色不符合特征颜色，则将像素点颜色设置成白色；
S35：将经过S34处理后的图像进行二值化处理；
S36：对图像进行Blob分析，识别出所述目标物体的形状，并提取所述目标物体的中心点位置。
9.根据权利要求6或8所述的方法，其特征在于，在S4中，包括：
利用图像坐标系坐标对应机器人基坐标系的转换模型，获取所述目标物体在机器人基坐标系下的三维坐标，其中，所述转换模型包括：
其中，
表示图像坐标系在相机(1)坐标系中的位置关系，
表示相机(1)坐标系在机器人基坐标系中的位置关系，u,v表示在图像坐标系下两个轴上的坐标，x，y，z表示在机器人基坐标系下的三个轴上的坐标。
10.根据权利要求7所述的方法，其特征在于，在S16中，包括：
S161：将直线插补中计算出的最后一个插补点的位置，作为机器人运行轨迹的终点位置；
S162：对所述终点位置进行运动学逆解，计算出各关节电机的终点位置；
S163：获取各关节电机的终点位置，与各关节电机对应的运动控制柜(4)反馈的实时电机位置的差值，并计算所有的差值的绝对值之和；
如果所有的差值的绝对值之和小于阈值，则判定各关节电机到达给定位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382808.5A CN114700945A (zh) | 2022-04-12 | 2022-04-12 | 一种基于模型及图像识别的机器人控制系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382808.5A CN114700945A (zh) | 2022-04-12 | 2022-04-12 | 一种基于模型及图像识别的机器人控制系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114700945A true CN114700945A (zh) | 2022-07-05 |
Family
ID=82175518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210382808.5A Pending CN114700945A (zh) | 2022-04-12 | 2022-04-12 | 一种基于模型及图像识别的机器人控制系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114700945A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106426228A (zh) * | 2016-09-18 | 2017-02-22 | 柳州铁道职业技术学院 | 模块化机器人教学系统 |
| CN206906829U (zh) * | 2017-03-30 | 2018-01-19 | 深圳光启合众科技有限公司 | 一种机器人的监控系统及实时监测仪 |
| CN109605369A (zh) * | 2018-12-07 | 2019-04-12 | 英华达（上海）科技有限公司 | 机械臂奇异点控制方法及系统 |
| CN111241974A (zh) * | 2020-01-07 | 2020-06-05 | 深圳追一科技有限公司 | 票据信息获取方法、装置、计算机设备和存储介质 |
| CN111626304A (zh) * | 2020-05-20 | 2020-09-04 | 中国科学院新疆理化技术研究所 | 一种基于机器视觉的颜色特征提取方法及其应用 |
| CN111730593A (zh) * | 2020-05-27 | 2020-10-02 | 南京工程学院 | 一种基于模型的多轴机器人控制装置与方法 |
| CN112965397A (zh) * | 2021-02-18 | 2021-06-15 | 南京工程学院 | 一种基于模型的本地有线/远程无线硬件在环实时控制装置及方法 |
-
2022
- 2022-04-12 CN CN202210382808.5A patent/CN114700945A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106426228A (zh) * | 2016-09-18 | 2017-02-22 | 柳州铁道职业技术学院 | 模块化机器人教学系统 |
| CN206906829U (zh) * | 2017-03-30 | 2018-01-19 | 深圳光启合众科技有限公司 | 一种机器人的监控系统及实时监测仪 |
| CN109605369A (zh) * | 2018-12-07 | 2019-04-12 | 英华达（上海）科技有限公司 | 机械臂奇异点控制方法及系统 |
| CN111241974A (zh) * | 2020-01-07 | 2020-06-05 | 深圳追一科技有限公司 | 票据信息获取方法、装置、计算机设备和存储介质 |
| CN111626304A (zh) * | 2020-05-20 | 2020-09-04 | 中国科学院新疆理化技术研究所 | 一种基于机器视觉的颜色特征提取方法及其应用 |
| CN111730593A (zh) * | 2020-05-27 | 2020-10-02 | 南京工程学院 | 一种基于模型的多轴机器人控制装置与方法 |
| CN112965397A (zh) * | 2021-02-18 | 2021-06-15 | 南京工程学院 | 一种基于模型的本地有线/远程无线硬件在环实时控制装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨培等: "基于结构光三维视觉的再制造工件的测量及重建", 焊接学报, vol. 26, no. 8, 25 August 2005 (2005-08-25), pages 12 - 15 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10025291B2 (en) | Simulator, simulation method, and simulation program | |
| CN106853639A (zh) | 一种手机电池自动化装配系统及其控制方法 | |
| CN110047150B (zh) | 一种基于增强现实的复杂设备操作运行在位仿真系统 | |
| CN109426353B (zh) | 架构于非侵入式数据撷取系统客制化显示画面的系统模块 | |
| CN104842356B (zh) | 一种基于分布式计算与机器视觉的多码垛机器人示教方法 | |
| CN104331022B (zh) | 一种工业机器人折弯快速编程系统 | |
| CN203196911U (zh) | 一种基于工业ccd的视觉识别分拣系统 | |
| CN206510040U (zh) | 基于视觉与阻抗控制的手机电池自动化装配系统 | |
| CN105500370A (zh) | 一种基于体感技术的机器人离线示教编程系统及方法 | |
| JP7216190B2 (ja) | プログラマブルロジックコントローラベースの人工知能用モジュール式アクセラレーションモジュール | |
| CN116127821A (zh) | 一种运维数据的三维可视化呈现方法及平台 | |
| CN113601510B (zh) | 基于双目视觉的机器人移动控制方法、装置、系统及设备 | |
| CN114700945A (zh) | 一种基于模型及图像识别的机器人控制系统与方法 | |
| CN109579698B (zh) | 一种智能货物检测系统及其检测方法 | |
| CN111638672B (zh) | 一种工业机台的自动控制系统 | |
| CN111531580B (zh) | 一种基于视觉的多工业机器人故障检测方法及系统 | |
| KR102366396B1 (ko) | Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 | |
| CN104102179A (zh) | 基于云计算的机器视觉控制系统 | |
| CN110108510A (zh) | 基于嵌入式系统汽车电子产品智能检测系统及其方法 | |
| Zhou et al. | Visual servo control system of 2-DOF parallel robot | |
| Tang et al. | A convenient method for tracking color-based object in living video based on ROS and MATLAB/Simulink | |
| CN111447363A (zh) | 隧道无线全景视频监控系统 | |
| Kamaruzzaman et al. | Design and implementation of a wireless robot for image processing | |
| CN113448272B (zh) | 一种集群控制系统及方法 | |
| CN112847301B (zh) | 基于便携终端的机器人增强现实示教编程方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |