CN114536343A - 一种基于机器视觉的捋线和检测机器人控制系统和方法 - Google Patents

一种基于机器视觉的捋线和检测机器人控制系统和方法 Download PDF

Info

Publication number
CN114536343A
CN114536343A CN202210298937.6A CN202210298937A CN114536343A CN 114536343 A CN114536343 A CN 114536343A CN 202210298937 A CN202210298937 A CN 202210298937A CN 114536343 A CN114536343 A CN 114536343A
Authority
CN
China
Prior art keywords
wire
setting
wire harness
camera
stroking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210298937.6A
Other languages
English (en)
Other versions
CN114536343B (zh
Inventor
刘斌
唐亮
任建
刘皓源
武梓涵
廉正
于慧
田仁凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN202210298937.6A priority Critical patent/CN114536343B/zh
Publication of CN114536343A publication Critical patent/CN114536343A/zh
Application granted granted Critical
Publication of CN114536343B publication Critical patent/CN114536343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明一种基于机器视觉的捋线和检测机器人控制系统和方法，属于汽车线束制造加工领域。其特征在于该控制系统包括stm32单片机最小系统控制单元、工业相机存储模块、复位电路、启动模式设置接口电路、LED指示灯、报警器、摄像头图像采集模块、单片机稳压模块、电机稳压模块、开关电路、电机驱动模块。工业相机的摄像头为OV2640摄像头。该方法包括有线束槽处摄像头图像采集步骤、线束表面缺陷检测步骤、机械臂控制步骤、捋线装置控制步骤、步进电机驱动步骤、舵机驱动步骤。本发明的目的在于解决没有控制系统会对该机器人造成各部件工作协调出错、故障率多、易造成自动化装置瘫痪、通信受阻方面存在的问题。

Description

一种基于机器视觉的捋线和检测机器人控制系统和方法
技术领域：
发明属于汽车线束制造加工领域，尤其涉及一种基于机器视觉的捋线和检测机器人的控制系统及其控制方法。
背景技术：
在计算机技术与半导体技术的飞速发展下，汽车电子技术不断发展，因此汽车需要更多种类更多数量的线束，在现今社会，汽车越来越普及，因此线束的需求是非常庞大的。线束的绝缘层是非常重要的部件，它防止线束之间发生电磁干扰甚至短路。而在线束制造过程中，线束的绝缘层检测大部分是通过人眼进行检测，由于线束数量多而且很长，人工检测需要一边捋线一边靠眼睛观察线束的绝缘层，其效率以及检测准确率都很低，这将耗费大量的人力物力，造成严重的资源浪费。当今的线束制造商迫切需要一种自动化装置对线束进行绝缘层质量检测，而面对杂乱无章的长度很长且呈圆柱状的线束，其检测难度很大，需要一种既能捋线又能对圆柱状软体进行检测的自动化装置。这种自动化装置需要一种强大的控制系统，既能进行捋线，又能进行机器视觉检测，而目前还没有一种很强大的控制系统。如果没有这种强大的控制系统，很有可能造成多自由度、多功能自动化装置瘫痪，因此必须有一个强大的控制系统进行支撑。控制系统协调各个部件的工作，包括机械臂动作，捋线动作，机器视觉检测，信息通信等，最大程度减少故障率，实现控制系统的最优控制。
发明内容：
发明目的：本发明提供一种基于机器视觉的捋线和检测机器人控制系统和方法，其目的在于解决没有控制系统会对该机器人造成各部件工作协调出错、故障率多、易造成自动化装置瘫痪、通信受阻方面存在的问题。
技术方案：
一种基于机器视觉的捋线和检测机器人控制系统，其特征在于：该控制系统包括stm32单片机最小系统控制单元、工业相机存储模块、复位电路、启动模式设置接口电路、LED指示灯、报警器、摄像头图像采集模块、单片机稳压模块、电机稳压模块、开关电路、电机驱动模块；stm32单片机最小系统控制单元的电机接口与电机驱动部分的电机控制器接口相连；复位电路的复位端口与stm32单片机最小系统控制单元的复位接收端口相连；stm32单片机最小系统控制单元的存储信号输出端口与工业相机存储模块的存储信号输入端口相连；启动模式设置接口电路的输出信号端口与stm32单片机最小系统控制单元的启动模式输入信号端口相连；报警器接口与stm32微控制芯片的PB12相连；LED指示灯的信号输入端口与stm32单片机最小系统控制单元的控制信号输出端口相连；摄像头图像采集部分的信号输出端口与stm32单片机最小系统控制单元的图像信息信号输入端口相连。
优选的，所述工业相机的摄像头为OV2640摄像头。
一种如上所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：控制方法步骤如下：
第一步，线束生产线将加上绝缘层的线束运输到线束槽中；
第二步，线束槽处工业相机识别并获取线束端部坐标与线束直径；
第三步，单片机控制机械臂动作，机械爪移动到线束端部坐标一段距离后开始夹取，夹取后进行运输；
第四步，判断机械爪是否到达捋线区域，如果判断为否，则继续移动机械臂，如果判断为真，则停止机械臂的运作，进行下一步；
第五步，控制捋线装置动作，捋线装置将线束拉动到线束表面检测区域；
第六步，线束到达检测区域，摄像头环形阵列开始检测线束的表面缺陷；
第七步，线束表面检测程序判断捋线是否完成，如果判断为否则继续捋线并检测，如果判断为真，则停止捋线与检测；
以上的步骤是由stm32单片机最小系统控制单元完成，该stm32单片机最小系统控制单元中包括有线束槽处摄像头图像采集步骤、线束表面缺陷检测步骤、机械臂控制步骤、捋线装置控制步骤、步进电机驱动步骤、舵机驱动步骤。
优选的，所述的线束槽处摄像头图像采集步骤为OV2640摄像头图像采集程序首先是摄像头初始化，OV2640摄像头通过OV_SCL和OV_SDA进行寄存器配置，然后配置对应的IO口状态，先设置OV_PWDN＝0，退出掉电模式，然后拉低OV_RESET复位OV2640，之后再设置OV_RESET为1，结束复位，然后对OV2640的寄存器进行配置，配置成UXGA输出；OV2640配置好之后，再设置DCM接口与摄像头模块连接的IO口，使能IO和DCMI时钟，然后设置相关IO口为复用功能模式；之后再配置DCMI相关设置，将第一个参数设置为捕获模式，通过第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性VSYNC，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置DMA；之后再设置OV2640的图像输出大小，使能DCMI捕获；捕获到线束模板图片，然后调整摄像头亮度寻找目标区域，拟合目标可能出现的区域，寻找到最佳目标区域并对目标进行边缘提取，之后计算目标的坐标和直径并反馈。
优选的，线束表面缺陷检测程序首先是OV2640摄像头初始化，使能IO和DCMI时钟，设置捕获模式，选择同步方式，设置像素时钟极性，设置垂直同步极性VSYNC，设置水平同步极性，设置帧捕获率，设置扩展数据模式，配置DMA，设置OV2640的图像输出大小，使能DCMI捕获，获取线束表面图片，对图片进行灰度化，然后对图片进行中值滤波，进行极坐标变换将获取的曲面变换成平面，再对图片进行均值滤波，然后二值化，开运算、膨胀运算，判断是否存在缺陷，如果存在缺陷，则抛出缺陷信号并反馈缺陷处于线束的位置信息。
优选的，所述的机械臂控制步骤是首先单片机获取线束槽中线束端部坐标与直径，然后选择坐标点距离机械臂距离最近的线束作为目标，控制电机驱动，并实时计算机械臂各部分坐标，精准控制各个部分的电机运转，当机械爪到达目标区域，控制舵机运转进而驱动机械爪夹取线束，然后运送至捋线区域。
优选的，所述的捋线装置控制步骤是：单片机获取线束直径，机械爪坐标到达捋线区域，控制步进电机使捋线轮靠近线束，当捋线轮之间距离等于线束直径后控制减速电机带动捋线轮捋线。
优选的，所述的步进电机驱动步骤是：首先给步进电机一个信号让其工作；之后开启TIM14时钟，开启PB6-PB9作为PWM输出引脚；设置ARR和PSC两个寄存器的值来控制输出PWM的周期；然后设置TIM14_CH1为PWM模式；使能TIM14；修改TIM14_CCR1来控制占空比控制步进电机转速；最后设置PA7引脚控制电机的转动方向。
优选的，所述的舵机电机驱动步骤是首先给步进电机一个信号让其工作；之后开启TIM13时钟，开启PB3作为PWM输出引脚；设置ARR和PSC两个寄存器的值来控制输出PWM的周期；然后设置TIM13_CH1为PWM模式；使能TIM13；修改TIM13_CCR1来控制占空比控制舵机转向与转速。
本发明具有以下有益效果：
通过本发明的实施，该控制系统能够很好地解决视觉的捋线和检测机器人在控制方面容易出现的问题。并且，本发明是在多路控制下，各部件自动协调，互不干扰，降低出错率，提高检测效率和精度，同时该控制系统可应用于其他的捋线装置和机器视觉检测装置，应用性很广，适用性很高。
附图说明：
图1表示一种基于机器视觉的捋线和检测机器人整体结构图；
图2表示机器人机械臂结构图；
图3表示机器人捋线装置结构；
图4表示机器人整体控制系统；
图5表示机器人整体程序框图；
图6表示线束槽处工业相机程序框图；
图7表示线束表面检测程序框图；
图8表示机械臂动作程序框图；
图9表示捋线装置动作程序框图；
图10表示步进电机驱动程序框图；
图11表示舵机驱动程序框图；
图12表示报警器程序框图；
图13表示LED程序框图。
附图标记说明：1.机身、2.线束支撑架、3.捋线装置、4.机械臂装置。
具体实施方式：
本发明提供一种针对于机器视觉的捋线和检测机器人完成的控制系统，该机器人如图1所示。该机器人由机身1、线束支撑架2、捋线装置3、机械臂装置4四部分构成，其有六个独立的工位，每个工位都是功能一样且独立运行的，因此只需要对其中一个工位进行说明。
如图2所示，机器人机械臂装置4，由舵机和步进电机控制，步进电机控制丝杠机构和凸轮机构，舵机控制机械爪夹取动作。
如图3所示，机器人捋线装置3，由减速电机和步进电机控制，减速电机控制捋线轮运转，步进电机控制丝杠副传动。
如图4所示，一种基于机器视觉的捋线和检测机器人整体控制系统，包括stm32单片机最小系统控制单元、工业相机存储模块、复位电路、启动模式设置接口电路、LED指示灯、报警器、摄像头图像采集模块、单片机稳压模块、电机稳压模块、开关电路、电机驱动模块；stm32单片机最小系统控制单元的电机接口与电机驱动部分的电机控制器接口相连；复位电路的复位端口与stm32单片机最小系统控制单元的复位接收端口相连；stm32单片机最小系统控制单元的存储信号输出端口与工业相机存储模块的存储信号输入端口相连，所述工业相机的摄像头为OV2640摄像头。启动模式设置接口电路的输出信号端口与stm32单片机最小系统控制单元的启动模式输入信号端口相连；报警器接口与STM32微控制芯片的PB12相连；LED指示灯的信号输入端口与stm32单片机最小系统控制单元的控制信号输出端口相连；摄像头图像采集部分的信号输出端口与stm32单片机最小系统控制单元的图像信息信号输入端口相连。本发明的复位电路主要作用是复位stm32单片机最小系统控制单元，电阻电容以及按键构成了上电复位电路，电容的主要作用是消除按键按下时产生的电压抖动。
如图5所示，机器人运作的整体过程分为7个步骤：装料；机器视觉识别线束直径与端部坐标；机械臂动作；判断机械臂是否到达捋线区域；捋线装置动作；摄像头阵列检测线束表面缺陷；判断捋线工作是否完成。
第一步，线束生产线将加上绝缘层的线束运输到线束槽中；
第二步，线束槽处工业相机识别并获取线束端部坐标与线束直径；此处程序根据线束端部坐标距离机械爪最近的作为夹取目标；
第三步，根据目标坐标以及直径，单片机控制机械臂动作，机械爪移动到线束端部坐标一段距离后开始夹取(这个偏移量在整个程序中是设置为定值，设置这个偏移量是方便捋线与线束绝缘层检测)，夹取后进行运输；
第四步，判断机械爪是否到达捋线区域，如果判断为否，则回到第三步继续移动机械臂，如果判断为真，则停止机械臂的运作，进行下一步；
第五步，控制捋线装置动作，捋线装置将线束拉动到线束表面检测区域；
第六步，线束到达检测区域，摄像头环形阵列开始检测线束的表面缺陷；
第七步，线束表面检测程序判断捋线是否完成，如果判断为否，则回到第五步继续捋线并检测，如果判断为真，则停止捋线与检测。
如图6所示，线束槽处工业相机程序由18个步骤组成：OV2640初始化；使能1O和DCMI时钟；设置捕获模式；选择同步方式；设置像素时钟极性；设置垂直同步极性VSYNC；设置水平同步极性；设置帧捕获率；配置DMA；设置OV2640的图像输出大小，使能DCMI捕获；读取模板图片；亮度调整；寻找目标区域；拟合可能区域；寻找最佳目标区域；目标边缘提取；计算目标坐标与直径。第一步，摄像头初始化，OV2640摄像头通过OV_SCL和OV_SDA进行寄存器配置，然后配置对应的IO口状态，先设置OV_PWDN＝0，退出掉电模式，然后拉低OV_RESET复位OV2640，之后再设置OV_RESET为1，结束复位，然后对OV2640的寄存器进行配置，配置成UXGA输出；
第二步，使能IO和DCMI时钟，设置DCM接口与摄像头模块连接的IO口，使能IO和DCMI时钟，然后设置相关IO口为复用功能模式；
第三步到第十一步，配置DCMI相关设置，将第一个参数设置为捕获模式，通过第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性VSYNC，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置DMA；之后再设置OV2640的图像输出大小，使能DCMI捕获；
第十二步到第十八步，捕获到线束模板图片，然后调整摄像头亮度寻找目标区域，拟合目标可能出现的区域，寻找到最佳目标区域并对目标进行边缘提取，之后计算目标的坐标和直径，择优算法通过计算各个线束端部坐标与机械爪坐标的距离选择距离最短的线束作为目标。
如图7所示，线束表面检测程序由23个步骤组成：OV2640初始化；使能IO和DCMI时钟；设置捕获模式；选择同步方式；设置像素时钟极性；设置垂直同步极性VSYNC；设置水平同步极性；设置帧捕获率；配置DMA；设置OV2640的图像输出大小，使能DCMI捕获；获取线束表面图片；对图片灰度化；中值滤波；极坐标变换将曲面变换成平面；均值滤波；二值化(阈值变换)；开运算；膨胀运算；寻找缺陷；判断是否存在缺陷；判断是否检测到线束尾部；反馈检测完成信号。
第一步，摄像头初始化，OV2640摄像头通过OV_SCL和OV_SDA进行寄存器配置，然后配置对应的IO口状态，先设置OV_PWDN＝0，退出掉电模式，然后拉低OV_RESET复位OV2640，之后再设置OV_RESET为1，结束复位，然后对OV2640的寄存器进行配置，配置成UXGA输出；
第二步，使能IO和DCMI时钟，设置DCM接口与摄像头模块连接的IO口，使能IO和DCMI时钟，然后设置相关IO口为复用功能模式；
第三步到第十一步，配置DCMI相关设置，将第一个参数设置为捕获模式，通过第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性VSYNC，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置DMA；之后再设置OV2640的图像输出大小，使能DCMI捕获；
第十二步，通过设置多少帧保存一次图片获取线束表面图片；
第十三步到二十步为图像处理部分，对图片灰度化是为了后面降低图片噪声做预处理，中值滤波和均值滤波目的是去除光照不均等噪声，极坐标变化将线束曲面变换成平面，提高检测精度，二值化通过设置的RGB阈值，将光滑表面用黑色显示，缺陷用白色显示，开运算，膨胀运算进一步对二值化的图片进行处理，降低外界的干扰，最后计算连通域进行边缘提取，寻找缺陷；
第二十一步，判断是否存在缺陷，如果结果为是，则抛出缺陷信号并反馈缺陷所在线束的位置信息并进行下一步，如果结果为否，进行下一步；
第二十二步，通过摄像头阵列判断是否检测到线束尾部，如果结果为否，则返回到第十二步继续进行线束表面检测，如果结果为是，则进行下一步；
第二十三步，反馈检测完成信号，单片机通过该信号停止捋线和线束表面检测。
如图8所示，机械臂动作程序由5个步骤组成：单片机获取线束端部坐标与直径；程序实时计算机械臂的坐标；控制各部分步进电机转动；控制舵机转动夹取线束；将线束送至捋线区域。
第一步，首先单片机获取线束槽中线束端部坐标与直径，然后选择坐标点距离机械臂距离最近的线束作为目标，控制电机驱动；
第二步到第五步，实时计算机械臂各部分坐标，精准控制各个部分的电机运转，当机械爪到达目标区域，控制舵机运转进而驱动机械爪夹取线束，然后运送至捋线区域。
如图9所示，捋线装置动作程序由5个步骤组成：单片机获取线束直径；机械爪坐标到达捋线区域；控制步进电机使捋线轮靠近线束；捋线轮之间距离等于线束直径后；减速电机带动捋线轮捋线。
第一步，单片机将目标线束的直径作为捋线轮之间的距离；
第二步，程序通过各部分电机运转情况实时计算机械爪坐标，并判断机械爪坐标是否到达捋线区域；
第三步，当机械爪坐标到达捋线区域后，控制捋线装置的步进电机使捋线轮靠近线束；
第四步，程序实时计算两个捋线轮的坐标，当两个轮子之间距离达到阈值，则停止步进电机转动，继而停止丝杠传动；
第五步，控制减速电机运转，拉动线束实现捋线动作。
如图10所示，步进电机驱动程序由10个步骤组成：步进电机使能信号；开启TIM14和GPIO时钟；配置PB6-PB9输出；初始化TIM14；设置自动重装载值；设置预分频值；设置TIM14_CH1的PWM模式；使能TIM14；修改TIM14_CCR1来控制占空比；步进电机DIR方向控制信号。
第一步，步进电机驱动程序首先给步进电机一个信号让其工作；
第二步，开启TIM14时钟与GPIO时钟；
第三步，开启PB6-PB9作为PWM输出引脚；
第四步到第六步，初始化TIM14；设置自动重装载值；设置预分频值；
第七步到第九步，设置ARR和PSC两个寄存器的值来控制输出PWM的周期；然后设置TIM14_CH1为PWM模式；使能TIM14；修改TIM14_CCR1来控制占空比控制步进电机转速；
第十步，设置PA7引脚控制电机的转动方向。
如图11所示，舵机驱动程序由9个步骤组成：步进电机使能信号；开启TIM13和GPIO时钟；配置PB3输出；初始化TIM13；设置自动重装载值；设置预分频值；设置TIM13_CH1的PWM模式；使能TIM13；修改TIM13_CCR1来控制占空比。
第一步，舵机驱动程序首先给舵机一个信号让其工作；
第二步，开启TIM13时钟与GPIO时钟；
第三步，开启PB3作为PWM输出引脚；
第四步到第六步，初始化TIM13；设置自动重装载值；设置预分频值；
第七步到第九步，设置ARR和PSC两个寄存器的值来控制输出PWM的周期；然后设置TIM13_CH1为PWM模式；使能TIM14；修改TIM13_CCR1来控制占空比控制舵机转速与转向；
如图12所示，报警器程序由4个步骤组成：使能IO时钟；初始化IO口参数；将PB12口推挽上拉普通输出模式；将PB12口设置为低电平有效。
如图13所示，LED程序由4个步骤组成：使能IO时钟；初始化IO口参数；将PB1口推挽上拉普通输出模式；将PB1口设置为低电平有效。
如图1中，单片机稳压模块由电源转换芯片与电容器件组成；STM32F103系列微控制器的工作电压在+2.0～+3.6V，由于常用电源为5V，因此使用电源转换芯片将输入的5V电压转为3.3V电压，并使用电容稳定电压。
如图1中，电机稳压模块由电源转换芯片与电容、电感、二极管器件组成，电源转换芯片、电容、电容将外部电压转为稳定的5V电压供电机使用，并使用二极管防止反接，避免外部直流电源极性搞错的时候，烧坏电路板。
如图1中，电机控制电路，当控制步进电机时，步进电机控制的ENA-引脚、DIR-引脚、PUL-引脚分别与stm32最小系统控制单元的步进电机部分引脚相连。ENA-引脚为步进电机使能引脚，DIR-引脚为步进电机转动方向控制引脚、PUL-引脚为PWM步进电机脉冲信号引脚，电机控制器的A+和A-接到步进电机的A相，电机控制器的B+和B-接到步进电机的B相。通过电机控制器A相和B相控制步进电机运行。当控制舵机时，舵机控制的ENA-引脚、DIR-引脚、PUL-引脚分别与stm32最小系统控制单元的舵机部分引脚相连。ENA-引脚为舵机使能引脚，DIR-引脚、PUL-引脚为PWM步进电机脉冲信号引脚，电机控制器的A+和A-接到舵机的A相，电机控制器的B+和B-接到舵机的B相。通过电机控制器A相和B相控制舵机运行。
如图1中的OV2640模块，OV2640摄像头通过OV2640模块与STM32微控制芯片通信；OV2640模块的高8位引脚D0-D7与stm32最小系统控制单元的高8位引脚相连。
图1中的OV2640存储模块，OV2640 SD卡与单片机通信通过OV2640存储模块与STM32微控制芯片的SPI接口相连，其中，数据通过STM32的SPI1_MOSI与SPI1_MISO进行传送，SPI1_SCK引脚用来提供工作时钟。
OV2640摄像头设有有源晶振，用于产生24M时钟作OV2640的XVCLK输入，OV2640具有体积小、工作电压低、兼容I2C总线接口等特点。通过SCCB总线控制，支持RawRGB、RGB(GRB4∶2∶2、RGB565/555/444)、YUV(4∶2∶2)和YCbCr(4∶2∶2)输出格式，可以输出整帧、二次转换分辨率、取特定区域等方式的各种分辨率的8位或10位的图像帧数据，UXGA(1632×1232)图像最高达到15fps，OV2640摄像头通过OV2640模块与STM32微控制芯片通信；OV2640模块的高8位引脚D0-D7与stm32最小系统控制单元的高8位引脚相连。OV2640SD卡与单片机通信通过OV2640存储模块与STM32微控制芯片的SPI接口相连，其中，数据通过STM32的SPI1_MOSI与SPI1_MISO进行传送，SPI1_SCK引脚用来提供工作时钟。
所述报警器程序用于表示机器人检测到目标线束绝缘层存在缺陷。
所述stm32单片机最小系统控制单元还设有LED指示灯程序，LED灯用来指示机器人的工作状况，黄灯表示机器人处于待命状态，绿灯表示机器人处于正常工作状态，红灯且闪烁表示机器人出现故障需要紧急处理。LED灯电路的串联一个1000欧姆的电阻起到限流的作用，并且LED灯电路接口与stm32最小系统控制单元的PB1引脚相连。

Claims (9)

1.一种基于机器视觉的捋线和检测机器人控制系统，其特征在于：该控制系统包括stm32单片机最小系统控制单元、工业相机存储模块、复位电路、启动模式设置接口电路、LED指示灯、报警器、摄像头图像采集模块、单片机稳压模块、电机稳压模块、开关电路、电机驱动模块；stm32单片机最小系统控制单元的电机接口与电机驱动部分的电机控制器接口相连；复位电路的复位端口与stm32单片机最小系统控制单元的复位接收端口相连；stm32单片机最小系统控制单元的存储信号输出端口与工业相机存储模块的存储信号输入端口相连；启动模式设置接口电路的输出信号端口与stm32单片机最小系统控制单元的启动模式输入信号端口相连；报警器接口与stm32微控制芯片的PB12相连；LED指示灯的信号输入端口与stm32单片机最小系统控制单元的控制信号输出端口相连；摄像头图像采集部分的信号输出端口与stm32单片机最小系统控制单元的图像信息信号输入端口相连。
2.根据权利要求1所述的一种基于机器视觉的捋线和检测机器人控制系统，其特征在于：所述工业相机的摄像头为OV2640摄像头。
3.一种如权利要求1所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：控制方法步骤如下：
第一步，线束生产线将加上绝缘层的线束运输到线束槽中；
第二步，线束槽处工业相机识别并获取线束端部坐标与线束直径；
第三步，单片机控制机械臂动作，机械爪移动到线束端部坐标一段距离后开始夹取，夹取后进行运输；
第四步，判断机械爪是否到达捋线区域，如果判断为否，则继续移动机械臂，如果判断为真，则停止机械臂的运作，进行下一步；
第五步，控制捋线装置动作，捋线装置将线束拉动到线束表面检测区域；
第六步，线束到达检测区域，摄像头环形阵列开始检测线束的表面缺陷；
第七步，线束表面检测程序判断捋线是否完成，如果判断为否则继续捋线并检测，如果判断为真，则停止捋线与检测；
以上的步骤是由stm32单片机最小系统控制单元完成，该stm32单片机最小系统控制单元中包括有线束槽处摄像头图像采集步骤、线束表面缺陷检测步骤、机械臂控制步骤、捋线装置控制步骤、步进电机驱动步骤、舵机驱动步骤。
4.根据权利要求3所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：所述的线束槽处摄像头图像采集步骤为OV2640摄像头图像采集程序首先是摄像头初始化，OV2640摄像头通过OV_SCL和OV_SDA进行寄存器配置，然后配置对应的IO口状态，先设置OV_PWDN＝0，退出掉电模式，然后拉低OV_RESET复位OV2640，之后再设置OV_RESET为1，结束复位，然后对OV2640的寄存器进行配置，配置成UXGA输出；OV2640配置好之后，再设置DCM接口与摄像头模块连接的IO口，使能IO和DCMI时钟，然后设置相关IO口为复用功能模式；之后再配置DCMI相关设置，将第一个参数设置为捕获模式，通过第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性VSYNC，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置DMA；之后再设置OV2640的图像输出大小，使能DCMI捕获；捕获到线束模板图片，然后调整摄像头亮度寻找目标区域，拟合目标可能出现的区域，寻找到最佳目标区域并对目标进行边缘提取，之后计算目标的坐标和直径并反馈。
5.根据权利要求3所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：线束表面缺陷检测程序首先是OV2640摄像头初始化，使能IO和DCMI时钟，设置捕获模式，选择同步方式，设置像素时钟极性，设置垂直同步极性VSYNC，设置水平同步极性，设置帧捕获率，设置扩展数据模式，配置DMA，设置OV2640的图像输出大小，使能DCMI捕获，获取线束表面图片，对图片进行灰度化，然后对图片进行中值滤波，进行极坐标变换将获取的曲面变换成平面，再对图片进行均值滤波，然后二值化，开运算、膨胀运算，判断是否存在缺陷，如果存在缺陷，则抛出缺陷信号并反馈缺陷处于线束的位置信息。
6.根据权利要求3所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：所述的机械臂控制步骤是首先单片机获取线束槽中线束端部坐标与直径，然后选择坐标点距离机械臂距离最近的线束作为目标，控制电机驱动，并实时计算机械臂各部分坐标，精准控制各个部分的电机运转，当机械爪到达目标区域，控制舵机运转进而驱动机械爪夹取线束，然后运送至捋线区域。
7.根据权利要求3所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：所述的捋线装置控制步骤是：单片机获取线束直径，机械爪坐标到达捋线区域，控制步进电机使捋线轮靠近线束，当捋线轮之间距离等于线束直径后控制减速电机带动捋线轮捋线。
8.根据权利要求3所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：所述的步进电机驱动步骤是：首先给步进电机一个信号让其工作；之后开启TIM14时钟，开启PB6-PB9作为PWM输出引脚；设置ARR和PSC两个寄存器的值来控制输出PWM的周期；然后设置TIM14_CH1为PWM模式；使能TIM14；修改TIM14_CCR1来控制占空比控制步进电机转速；最后设置PA7引脚控制电机的转动方向。
9.根据权利要求3所述的基于机器视觉的捋线和检测机器人的控制方法，其特征在于：所述的舵机电机驱动步骤是首先给步进电机一个信号让其工作；之后开启TIM13时钟，开启PB3作为PWM输出引脚；设置ARR和PSC两个寄存器的值来控制输出PWM的周期；然后设置TIM13_CH1为PWM模式；使能TIM13；修改TIM13_CCR1来控制占空比控制舵机转向与转速。
CN202210298937.6A 2022-03-24 2022-03-24 一种基于机器视觉的捋线和检测机器人控制系统和方法 Active CN114536343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210298937.6A CN114536343B (zh) 2022-03-24 2022-03-24 一种基于机器视觉的捋线和检测机器人控制系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210298937.6A CN114536343B (zh) 2022-03-24 2022-03-24 一种基于机器视觉的捋线和检测机器人控制系统和方法

Publications (2)

Publication Number Publication Date
CN114536343A true CN114536343A (zh) 2022-05-27
CN114536343B CN114536343B (zh) 2024-01-30

Family

ID=81665555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210298937.6A Active CN114536343B (zh) 2022-03-24 2022-03-24 一种基于机器视觉的捋线和检测机器人控制系统和方法

Country Status (1)

Country Link
CN (1) CN114536343B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346857A (zh) * 2016-05-05 2017-11-14 沈阳新松机器人自动化股份有限公司 一种机器人自动插线束端子的装置及其插线束端子方法
DE102019110439A1 (de) * 2018-04-27 2019-10-31 Fanuc Corporation Roboterhand, die mit mehreren Greifern versehen ist, und Verfahren zur Handhabung eines Kabelbaums unter Verwendung einer Roboterhand
CN110823704A (zh) * 2019-10-15 2020-02-21 山东大学 一种tbm搭载的岩渣在线抗压强度测试系统及方法
CN210692202U (zh) * 2019-08-14 2020-06-05 安波福连接器系统(南通)有限公司 一种视觉辅助分线机构
CN111702789A (zh) * 2020-06-29 2020-09-25 沈阳工业大学 一种用于汽车线束生产的三维力预测夹具
CN111702790A (zh) * 2020-06-29 2020-09-25 沈阳工业大学 一种工业机器人力控线束夹具
CN111722566A (zh) * 2020-06-29 2020-09-29 沈阳工业大学 一种基于stm32的力控线束夹具控制系统及控制方法
CN114115054A (zh) * 2021-11-30 2022-03-01 沈阳工业大学 一种基于神经网络的在线检测机器人控制系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346857A (zh) * 2016-05-05 2017-11-14 沈阳新松机器人自动化股份有限公司 一种机器人自动插线束端子的装置及其插线束端子方法
DE102019110439A1 (de) * 2018-04-27 2019-10-31 Fanuc Corporation Roboterhand, die mit mehreren Greifern versehen ist, und Verfahren zur Handhabung eines Kabelbaums unter Verwendung einer Roboterhand
CN210692202U (zh) * 2019-08-14 2020-06-05 安波福连接器系统(南通)有限公司 一种视觉辅助分线机构
CN110823704A (zh) * 2019-10-15 2020-02-21 山东大学 一种tbm搭载的岩渣在线抗压强度测试系统及方法
CN111702789A (zh) * 2020-06-29 2020-09-25 沈阳工业大学 一种用于汽车线束生产的三维力预测夹具
CN111702790A (zh) * 2020-06-29 2020-09-25 沈阳工业大学 一种工业机器人力控线束夹具
CN111722566A (zh) * 2020-06-29 2020-09-29 沈阳工业大学 一种基于stm32的力控线束夹具控制系统及控制方法
CN114115054A (zh) * 2021-11-30 2022-03-01 沈阳工业大学 一种基于神经网络的在线检测机器人控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOUDE LIU, KANGKANG DONG, XIAOJUN ZHU, XUEQIAN WANG, BIN LIANG: "Design and Implementation of Multi-functional Digital Servos Control System", 《IEEE》 *
刘斌，宋锐 ，柴汇: "基于虚拟模型和加速度规划的腿部缓冲策略", 《山东大学学报》, vol. 46, no. 6 *

Also Published As

Publication number Publication date
CN114536343B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US8093845B2 (en) Controller and MCU chip for controlling 3-phase brushless DC motor
CN111702790A (zh) 一种工业机器人力控线束夹具
EP4161059A1 (en) Spi-based data transmission system
CN114536343A (zh) 一种基于机器视觉的捋线和检测机器人控制系统和方法
CN201804090U (zh) 直流电机模拟检测工装
CN212305205U (zh) 电调装置及无人飞行器
CN111722566B (zh) 一种基于stm32的力控线束夹具控制系统及控制方法
CN103701436A (zh) 一种外同步触发信号的生成方法及生成设备
CN103188447B (zh) 一种工业用光圈控制系统、装置
CN105472824A (zh) 调节照明亮度的方法及装置、照明方法及照明装置
CN111295007B (zh) 一种补光灯控制驱动电路、方法及装置
CN116017130A (zh) 一种高精度的位置比较信号输出方法、装置及飞拍系统
CN112975990B (zh) 一种机械关节同步控制方法及系统
CN105677038B (zh) 一种手势识别控制电路及控制方法
CN201383754Y (zh) 一种便携式车载电源适配器
CN210490752U (zh) 一种基于btn芯片以及多传感器的直流电机驱动电路
CN110719667B (zh) Led灯同步控制装置及方法
CN210605410U (zh) 一种基于麦克纳姆轮的全向移动底盘的控制装置
CN113296017A (zh) 车灯故障检测系统、电动车及车灯故障检测方法
CN211531028U (zh) 基于stm32控制l640h驱动器的多轴步进电机控制系统
CN212063876U (zh) 一种用于c3200型相机的定位电路
CN112004278A (zh) 一种pwm控制的无频闪调光调色led驱动电路及led驱动电源
EP3806341A1 (en) Electronic device
CN212258710U (zh) 一种无线组网电机
CN214181763U (zh) 6dof蓝牙手柄

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant