CN113997292A - 一种基于机器视觉的机械臂的作业方法、介质、电子设备 - Google Patents
一种基于机器视觉的机械臂的作业方法、介质、电子设备 Download PDFInfo
- Publication number
- CN113997292A CN113997292A CN202111439728.0A CN202111439728A CN113997292A CN 113997292 A CN113997292 A CN 113997292A CN 202111439728 A CN202111439728 A CN 202111439728A CN 113997292 A CN113997292 A CN 113997292A
- Authority
- CN
- China
- Prior art keywords
- target object
- mechanical arm
- main control
- coordinate
- control end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 53
- 230000009194 climbing Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器视觉的机械臂的作业方法、介质、电子设备，包括：获取机器视觉的视觉范围内的实时图像；获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；操作端建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；操作端向主控端发送到位信息；主控端接收操作指令，进行路径规划；主控端向操作端发送第一信息，操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。本发明通过建立目标物体的特征数据库，并通过机器视觉实时采集视觉范围内的实施图像，确定目标物体后，建立关节坐标系，并将相关信息发送至主控端，可以通过在主控端实现对机械臂的远程操作。
Description
技术领域
本发明涉及电力设备领域，具体涉及一种基于机器视觉的机械臂的作业方法、介质、电子设备。
背景技术
带电作业机械臂的功能是使用机械臂代替现场带电作业工作人员，直接对高压线路上的各部件进行带电更换作业。这样可以大大的降低现场工作人员在高压电场中作业的危险性，并能有效减少工作人员的工作强度，提高劳动效率。
由于架空配电线路工作环境极为复杂，属于非结构化的环境，可控制的执行机构较多，带电作业机械臂自由度多，带电作业动作过程复杂，因此现阶段的带电操作机械臂仍然需要操作人员在带电设备附近，通过目视的方式观察机械臂对带电设备的操作情况，在实际工作中也发挥不出预想的效果。
发明内容
本发明所要解决的技术问题是操作人员通过机械臂对带电设备进行操作时，仍然需要在带电设备和机械臂附近，目的在于提供一种基于机器视觉的机械臂的作业方法、介质、电子设备，解决了操作人员需要攀高和在带电设备附近操作机械臂的问题。
本发明通过下述技术方案实现：
一种基于机器视觉的机械臂的作业方法，包括：
主控端向操作端发送需操作的目标物体的特征数据库；
操作端接收主控端发送的特征数据库后，获取机器视觉的视觉范围内的实时图像；
操作端对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
操作端建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
操作端向主控端发送到位信息；
主控端接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
主控端向操作端发送第一信息，所述第一信息为操作指令对应的路径规划的操作路径；
操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
具体地，所述所述目标物体的特征数据库的建立方法为拍摄多张包含目标物体的图像，并通过HOG特征提取、特征匹配以及SVM分类训练获取目标物体的特征，并将特征存储至特征数据库；
获取实时图像中的目标物体的特征，并对其进行机器学习。
具体地，所述确定目标物体的操作位的方法包括：
确定机械臂的操作机构的操作范围的中心点；
以机械臂的操作机构的中心点为原点进行空间坐标系；
获取目标物体在空间坐标系内的第二坐标；
使机械臂爬升，获取当第二坐标位于操作范围内时，操作范围的中心点的第三坐标；
计算第三坐标与原点的高度差，获得爬升距离。
具体地，所述主控端接收操作指令的方法包括自动操作和主动操作；
所述自动操作的方法包括：
建立操作数据库，并在操作数据库内预设多个操作选项；
选择所需的操作选项，利用关节坐标系和第一坐标通过正逆运动学获得机械臂的路径规划；
所述主动操作的方法包括：
主控端接收操作指令，并确定起始位置和终止位置，获得在关节坐标系内的起始坐标和终止坐标；
利用正逆运动学获得起始坐标移动至终止坐标的路径规划。
进一步，所述作业方法还包括：
操作端获取视野范围内的光照强度；
判断能否对实时图像进行特征提取；
若不能对实施图像进行特征提取，且光照强度低于设定值，则补光。
优选地，操作端持续发送实时图像至主控端，并在主控端进行显示。
一种基于机器视觉的机械臂的作业方法，用于主控端中，所述方法包括：
发送需操作的目标物体的特征数据库，所述数据库用于操作端获取机器视觉的视觉范围内的实时图像，对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内；若不在视觉范围内，则改变视觉范围；
接收到位信息，所述到位信息包括机械臂爬升至目标物体的操作位、建立机械臂关节坐标系、确定目标物体在坐标系内的第一坐标；所述操作位为当目标物体在机器视觉的视野范围内，获取目标物体的位置后确定的；
接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
发送第一信息，所述第一信息为操作指令对应的路径规划的操作路径，且用于操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
一种基于机器视觉的机械臂的作业方法，用于操作端中，所述方法包括：
接收特征数据库，获取机器视觉的视觉范围内的实时图像，所述特征数据库为主控端发送的需操作的目标物体的特征数据库；
对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
发送到位信息；
接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作，所述第一信息为操作指令对应的路径规划的操作路径，所述操作指令为主控端接收的，且用于根据关节坐标系和第一坐标对机械臂进行路径规划。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
一种电子设备，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明通过建立目标物体的特征数据库，并通过机器视觉实时采集视觉范围内的实施图像，确定目标物体后，建立关节坐标系，并将相关信息发送至主控端，可以通过在主控端实现对机械臂的远程操作，降低基层员工劳动强度和危险性，提高农配网作业的自动化程度，缓解目前基层人员老龄化的现状。
附图说明
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分，并不构成对本发明实施例的限定。
图1是根据本发明所述的一种基于机器视觉的机械臂的作业方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
如果将主控端设置在操作端(机械臂)附近，例如机械臂爬升至高压电线杆或者高压输电塔上，将主控端设置在塔下进行操作，此时的主控端可以是可以是手机、平板电脑、便携计算机和台式计算机等等。
主控端可以安装有应用程序主控端，或者安装有浏览器，通过浏览器访问应用程序的网页主控端。本发明实施例将应用程序主控端和网页主控端统称为主控端，下文不再特别声明。
如果将主控端设置在远程，即通过远程的方式实现对机械臂的操作，此时的主控端在可以为上述装置之外还可以是一台服务器，或者由若干台服务器组成的服务器集群，主控端用于与操作端端交互提供数据输入与输出功能，其之间的数据传输可以通过无线数据传输的方式进行，此种状态下，一个主操作人员可以在不去现场的情况下，逐个操作多个机械臂，可以有效的减少在各个作业点之间的转场时间，提升作业效率。
实施例一
本实施例提供一种基于机器视觉的机械臂的作业方法，包括：
主控端向操作端发送需操作的目标物体的特征数据库；目标物体的特征数据库的建立方法为拍摄多张包含目标物体的图像，并通过HOG特征提取、特征匹配以及SVM分类训练获取目标物体的特征，并将特征存储至特征数据库；
此步骤中的特征数据库可以提前建立，且可以根据后续的作业情况，对特征数据库进行实时的更新和机器学习，从而提升其后续的识别效率和准确度。
目标物体的可以为特定型号的瓷瓶绝缘子、避雷器、隔离开关等配电线路器件，因此需要设置多个特征数据库。
操作端接收主控端发送的特征数据库后，获取机器视觉的视觉范围内的实时图像；
机器视觉的视觉范围通过摄像机获得，且摄像机需要具备一定的清晰度，并且将摄像机通过云台进行固定，并可以通过控制云台实现对摄像机的取景范围的调整。
操作端对实时图像进行特征识别，通过对实时图形进行HOG特征提取，并将提取的特征与接收的特征数据库匹配，判断目标物体是否在视野范围内。
本实施例中将特征识别放置在操作端进行，其目的是，如果将采集的图像传输至主控端，因为图像需要具备一定清晰度才能进行有效的识别，且如果出现取景范围调整的情况，需要多次传输实时图像，即需要较大的带宽，也因为将图像传输至主控端，主控端进行特征识别匹配后，在将其回传，其中有较大的延迟，不便于操作。
而将特征识别放置在操作端，可以直接在操作端进行匹配，匹配识别后直接进行后续操作。
若不在视觉范围内，则改变视觉范围，通过控制云台实现视觉范围的改变。
若目标物体在机器视觉的视野范围内，后续的操作，且将此个目标物体的特征，传输至主控端，主控端通过机器学习更新特征数据库。
确定目标物体在视觉范围内后，获取目标物体的位置，确定目标物体的操作位，然后控制机械臂爬升至目标物体的操作位；其爬升方式可以为多种，例如：可以通过爬杆机器人攀爬电线杆，也可以通过液压举升臂举升。
操作端建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；本实施例中采用D-H表示法建立机械臂关节坐标系描述。
操作端向主控端发送到位信息，即机械臂爬升至操作位后，且相关的坐标系和第一坐标已经确定后，将该信息发送至操作端，告知操作端已准备就绪，可以进行带电作业操作。
操作人员向主控端输入操作指令，主控端接收操作指令后，根据关节坐标系和第一坐标对机械臂进行路径规划；在正逆运动学求解的基础上在关节空间对机械臂进行路径规划，制定基于机器视觉的带电作业机械臂的抓取巧制策略。
主控端向操作端发送第一信息，第一信息为操作指令对应的路径规划的操作路径；
操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
操作端持续发送实时图像至主控端，并在主控端进行显示，可以在主控端实现对操作端的实时监控，便于在需要进行手动操作时，进行手动操作。
如果不需要进行手动操作，则可以不进行实施监控，且传递图形可以降低其分辨率和帧数，减少对网速的依耐。
实施例二
本实施例是对实施例一种确定目标物体的操作位的具体方法进行说明，方法包括：
确定机械臂的操作机构的操作范围的中心点，机械臂在前后上下左右多个自由度均可以进行操作，为了便于对其位置进行设定，确定一个中心点。
以机械臂的操作机构的中心点为原点进行空间坐标系，并根据中心点建立空间坐标系，且此时机械臂应该位于初始位置，即仅处于确定了目标物体的时候。
获取目标物体在空间坐标系内的第二坐标；
使机械臂爬升，获取当第二坐标位于操作范围内时，操作范围的中心点的第三坐标；第三坐标有多个，只要第二坐标位于操作范围内，第三坐标均可，即第二坐标可以在中心点上方，也可以在中心点下方。
计算第三坐标与原点的高度差，获得爬升距离。
本实施例较多的是针对爬杆机器人，其在进行爬升时，只改变在z轴上的位置，即在高度方向上进行改变，而不改变x轴和y轴的位置。
如果采用举升机，则需要根据第三坐标和原点之间的连线，进行x轴、y轴和z轴方向上的移动。
实施例三
本实施例提供主控端接收操作指令的方法包括自动操作和主动操作；
自动操作的方法包括：
建立操作数据库，并在操作数据库内预设多个操作选项；
选择所需的操作选项，利用关节坐标系和第一坐标通过正逆运动学获得机械臂的路径规划；
即在操作选项内设定多个操作选项，在需要进行操作时，只需要将第一坐标、第二坐标、第三坐标、原点等数据导入至操作选项内，即可以通过操作选项自动导出路径规划，从而实现自动操作。
主动操作的方法包括：
主控端接收操作指令，并确定起始位置和终止位置，获得在关节坐标系内的起始坐标和终止坐标；
利用正逆运动学获得起始坐标移动至终止坐标的路径规划。
采用主动操作，即操作人员手动控制机械臂，当确定起始坐标和终止坐标后，在正逆运动学求解的基础上在关节空间对机械臂进行路径规划，控制机械臂的各个关节的移动路径，从而实现机械臂的操作端(即机械臂的最末操作手处)的位置控制。
例如：操作员在主控制室，高空作业现场环境通过现场摄像机传输到主控制台，操作员通过主控制显示器上显示的现场视频操作主控制台，用手柄或鼠标控制作业机械臂完成带电作业。进行位置精确的作业时，短距离高精度的位移和定位，由机器视觉识别进行辅助机械臂进行定位和目标识别。
实施例四
本实施例提供一种补光方法，即如果目标物体在暗处，或者作业时天气状况不佳，作业中的补光方法包括：
操作端获取视野范围内的光照强度，通过光照传感器或者，也可以通过对摄像机的实施图像的亮度进行分析获得。
判断能否对实时图像进行特征提取。
若不能对实施图像进行特征提取，且光照强度低于设定值，则补光，即当光线暗且无法识别，才判定是因为光照强度过低导致的，则打开补光灯进行补光。
实施例五
本实施例提供一种基于机器视觉的机械臂的作业方法，用于主控端中，即仅对主控端内的方法进行说明，不对操作端进行限制，方法包括：
发送需操作的目标物体的特征数据库，数据库用于操作端获取机器视觉的视觉范围内的实时图像，对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内；若不在视觉范围内，则改变视觉范围；
接收到位信息，到位信息包括机械臂爬升至目标物体的操作位、建立机械臂关节坐标系、确定目标物体在坐标系内的第一坐标；操作位为当目标物体在机器视觉的视野范围内，获取目标物体的位置后确定的；
接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
发送第一信息，第一信息为操作指令对应的路径规划的操作路径，且用于操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
实施例六
本实施例提供一种基于机器视觉的机械臂的作业方法，用于操作端中，方法包括：
接收特征数据库后，获取机器视觉的视觉范围内的实时图像，特征数据库为主控端发送的需操作的目标物体的特征数据库；
对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
发送到位信息；
接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作，第一信息为操作指令对应的路径规划的操作路径，操作指令为主控端接收的，且用于根据关节坐标系和第一坐标对机械臂进行路径规划。
实施例七
一种电子设备，包括：至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的执行程序等。
存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件、或其他易失性固态存储器件。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种基于机器视觉的机械臂的作业方法的步骤。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令数据结构,程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储﹑磁带盒﹑磁带﹑磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器和大容量存储设备可以统称为存储器。
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述发明的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。
Claims (10)
1.一种基于机器视觉的机械臂的作业方法，其特征在于，包括：
主控端向操作端发送需操作的目标物体的特征数据库；
操作端接收主控端发送的特征数据库后，获取机器视觉的视觉范围内的实时图像；
操作端对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
操作端建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
操作端向主控端发送到位信息；
主控端接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
主控端向操作端发送第一信息，所述第一信息为操作指令对应的路径规划的操作路径；
操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
2.根据权利要求1所述的一种基于机器视觉的机械臂的作业方法，其特征在于，所述所述目标物体的特征数据库的建立方法为拍摄多张包含目标物体的图像，并通过HOG特征提取、特征匹配以及SVM分类训练获取目标物体的特征，并将特征存储至特征数据库；
获取实时图像中的目标物体的特征，并对其进行机器学习。
3.根据权利要求1所述的一种基于机器视觉的机械臂的作业方法，其特征在于，所述确定目标物体的操作位的方法包括：
确定机械臂的操作机构的操作范围的中心点；
以机械臂的操作机构的中心点为原点进行空间坐标系；
获取目标物体在空间坐标系内的第二坐标；
使机械臂爬升，获取当第二坐标位于操作范围内时，操作范围的中心点的第三坐标；
计算第三坐标与原点的高度差，获得爬升距离。
4.根据权利要求1所述的一种基于机器视觉的机械臂的作业方法，其特征在于，所述主控端接收操作指令的方法包括自动操作和主动操作；
所述自动操作的方法包括：
建立操作数据库，并在操作数据库内预设多个操作选项；
选择所需的操作选项，利用关节坐标系和第一坐标通过正逆运动学获得机械臂的路径规划；
所述主动操作的方法包括：
主控端接收操作指令，并确定起始位置和终止位置，获得在关节坐标系内的起始坐标和终止坐标；
利用正逆运动学获得起始坐标移动至终止坐标的路径规划。
5.根据权利要求4所述的一种基于机器视觉的机械臂的作业方法，其特征在于，还包括：
操作端获取视野范围内的光照强度；
判断能否对实时图像进行特征提取；
若不能对实施图像进行特征提取，且光照强度低于设定值，则补光。
6.根据权利要求1所述的一种基于机器视觉的机械臂的作业方法，其特征在于，操作端持续发送实时图像至主控端，并在主控端进行显示。
7.一种基于机器视觉的机械臂的作业方法，其特征在于，用于主控端中，所述方法包括：
发送需操作的目标物体的特征数据库，所述数据库用于操作端获取机器视觉的视觉范围内的实时图像，对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内；若不在视觉范围内，则改变视觉范围；
接收到位信息，所述到位信息包括机械臂爬升至目标物体的操作位、建立机械臂关节坐标系、确定目标物体在坐标系内的第一坐标；所述操作位为当目标物体在机器视觉的视野范围内，获取目标物体的位置后确定的；
接收操作指令，并在根据关节坐标系和第一坐标对机械臂进行路径规划；
发送第一信息，所述第一信息为操作指令对应的路径规划的操作路径，且用于操作端接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作。
8.一种基于机器视觉的机械臂的作业方法，其特征在于，用于操作端中，所述方法包括：
接收特征数据库后，获取机器视觉的视觉范围内的实时图像，所述特征数据库为主控端发送的需操作的目标物体的特征数据库；
对实时图像进行特征识别，并与接收的特征数据库匹配，判断目标物体是否在视野范围内，若不在视觉范围内，则改变视觉范围；
若目标物体在机器视觉的视野范围内，则获取目标物体的位置，确定目标物体的操作位，机械臂爬升至目标物体的操作位；
建立机械臂关节坐标系，并确定目标物体在坐标系内的第一坐标；
发送到位信息；
接收第一信息后，控制机械臂执行路径规划，对目标物体进行操作，所述第一信息为操作指令对应的路径规划的操作路径，所述操作指令为主控端接收的，且用于根据关节坐标系和第一坐标对机械臂进行路径规划。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的一种基于机器视觉的机械臂的作业方法的步骤。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够实现如权利要求1-8中任一项所述的一种基于机器视觉的机械臂的作业方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439728.0A CN113997292B (zh) | 2021-11-30 | 2021-11-30 | 一种基于机器视觉的机械臂的作业方法、介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439728.0A CN113997292B (zh) | 2021-11-30 | 2021-11-30 | 一种基于机器视觉的机械臂的作业方法、介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113997292A true CN113997292A (zh) | 2022-02-01 |
| CN113997292B CN113997292B (zh) | 2023-05-09 |
Family
ID=79930775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111439728.0A Active CN113997292B (zh) | 2021-11-30 | 2021-11-30 | 一种基于机器视觉的机械臂的作业方法、介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113997292B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116086965A (zh) * | 2023-03-06 | 2023-05-09 | 安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中心站） | 基于机器视觉的混凝土试块抗压强度试验系统及方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人系统及采摘方法 |
| CN103522305A (zh) * | 2013-10-29 | 2014-01-22 | 中国科学院自动化研究所 | 一种使移动机械臂趋近并抓取目标物体的方法 |
| CN106493708A (zh) * | 2016-12-09 | 2017-03-15 | 南京理工大学 | 一种基于双机械臂和辅助臂的带电作业机器人控制系统 |
| CN107414832A (zh) * | 2017-08-08 | 2017-12-01 | 华南理工大学 | 一种基于机器视觉的移动机械臂抓取控制系统及方法 |
| CN109202848A (zh) * | 2018-09-12 | 2019-01-15 | 西南大学 | 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法 |
| CN110355754A (zh) * | 2018-12-15 | 2019-10-22 | 深圳铭杰医疗科技有限公司 | 机器人手眼系统、控制方法、设备及存储介质 |
| CN110744546A (zh) * | 2019-11-01 | 2020-02-04 | 云南电网有限责任公司电力科学研究院 | 一种缺陷修复机器人抓取非静止导线的方法及系统 |
| US20200039076A1 (en) * | 2016-03-04 | 2020-02-06 | Ge Global Sourcing Llc | Robotic system and method for control and manipulation |
| CN111462154A (zh) * | 2020-02-27 | 2020-07-28 | 中电莱斯信息系统有限公司 | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 |
| CN111823223A (zh) * | 2019-08-19 | 2020-10-27 | 北京伟景智能科技有限公司 | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 |
| WO2020252631A1 (zh) * | 2019-06-17 | 2020-12-24 | 西门子（中国）有限公司 | 一种坐标系校准方法、装置和计算机可读介质 |
| CN112506185A (zh) * | 2020-11-05 | 2021-03-16 | 浙江华云信息科技有限公司 | 一种带电作业6自由度操作平台的控制方法及装置 |
| CN113601510A (zh) * | 2021-08-17 | 2021-11-05 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
-
2021
- 2021-11-30 CN CN202111439728.0A patent/CN113997292B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人系统及采摘方法 |
| CN103522305A (zh) * | 2013-10-29 | 2014-01-22 | 中国科学院自动化研究所 | 一种使移动机械臂趋近并抓取目标物体的方法 |
| US20200039076A1 (en) * | 2016-03-04 | 2020-02-06 | Ge Global Sourcing Llc | Robotic system and method for control and manipulation |
| CN106493708A (zh) * | 2016-12-09 | 2017-03-15 | 南京理工大学 | 一种基于双机械臂和辅助臂的带电作业机器人控制系统 |
| CN107414832A (zh) * | 2017-08-08 | 2017-12-01 | 华南理工大学 | 一种基于机器视觉的移动机械臂抓取控制系统及方法 |
| CN109202848A (zh) * | 2018-09-12 | 2019-01-15 | 西南大学 | 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法 |
| CN110355754A (zh) * | 2018-12-15 | 2019-10-22 | 深圳铭杰医疗科技有限公司 | 机器人手眼系统、控制方法、设备及存储介质 |
| WO2020252631A1 (zh) * | 2019-06-17 | 2020-12-24 | 西门子（中国）有限公司 | 一种坐标系校准方法、装置和计算机可读介质 |
| CN111823223A (zh) * | 2019-08-19 | 2020-10-27 | 北京伟景智能科技有限公司 | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 |
| CN110744546A (zh) * | 2019-11-01 | 2020-02-04 | 云南电网有限责任公司电力科学研究院 | 一种缺陷修复机器人抓取非静止导线的方法及系统 |
| CN111462154A (zh) * | 2020-02-27 | 2020-07-28 | 中电莱斯信息系统有限公司 | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 |
| CN112506185A (zh) * | 2020-11-05 | 2021-03-16 | 浙江华云信息科技有限公司 | 一种带电作业6自由度操作平台的控制方法及装置 |
| CN113601510A (zh) * | 2021-08-17 | 2021-11-05 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116086965A (zh) * | 2023-03-06 | 2023-05-09 | 安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中心站） | 基于机器视觉的混凝土试块抗压强度试验系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113997292B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110587600B (zh) | 基于点云的带电作业机器人自主路径规划方法 | |
| CN114035614B (zh) | 基于先验信息的无人机自主巡检方法、系统及存储介质 | |
| CN109240311B (zh) | 基于智能机器人的室外电力场地施工作业监督方法 | |
| CN110347152B (zh) | 虚拟墙设置方法、系统及装置 | |
| DE3686379T2 (de) | Regler fuer ein ferngesteuertes fahrzeug unter verwendung der verzoegerten absoluten positionsdaten fuer lenkung und navigation. | |
| CN111884333B (zh) | 无人值守巡检无人机协同工作系统及其方法 | |
| CN109434826A (zh) | 一种带电作业机器人控制系统 | |
| CN113997292B (zh) | 一种基于机器视觉的机械臂的作业方法、介质、电子设备 | |
| CN112677159B (zh) | 一种基于视觉定位的机械手作业路径规划方法及装置 | |
| CN114080905B (zh) | 基于数字双胞胎的采摘方法及云采摘机器人系统 | |
| CN110883775A (zh) | 单臂带电作业机器人的人机交互系统和人机协同系统 | |
| CN107580206A (zh) | 一种基于多视角图像的装修施工现场三维成像系统 | |
| CN114434456A (zh) | 一种机房巡检机器人及其巡检方法 | |
| CN113900436A (zh) | 巡检控制方法、装置、设备和存储介质 | |
| CN113031462A (zh) | 无人机用港机巡检航线规划系统及方法 | |
| CN106292672A (zh) | 一种多平台控制巡检机器人 | |
| CN112000124A (zh) | 一种应用于电网的无人机巡检方法 | |
| CN211890839U (zh) | 单臂带电作业机器人的人机交互系统和人机协同系统 | |
| CN108364340A (zh) | 同步空间扫描的方法及系统 | |
| CN113454558A (zh) | 障碍物检测方法、装置、无人机和存储介质 | |
| CN110103194A (zh) | 配电房作业系统及作业方法 | |
| CN113472998B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN111491140B (zh) | 输电线缆视频巡线方法及终端 | |
| CN113927265A (zh) | 一种用于人机协作装配的末端执行器及方法 | |
| CN113273173A (zh) | 可移动平台的巡检方法、装置、可移动平台及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |