CN215395190U - 一种协作机器人系统 - Google Patents
一种协作机器人系统 Download PDFInfo
- Publication number
- CN215395190U CN215395190U CN202121928908.0U CN202121928908U CN215395190U CN 215395190 U CN215395190 U CN 215395190U CN 202121928908 U CN202121928908 U CN 202121928908U CN 215395190 U CN215395190 U CN 215395190U
- Authority
- CN
- China
- Prior art keywords
- image
- gps navigation
- base
- communication connection
- collecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004891 communication Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000026676 system process Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000994 depressogenic effect Effects 0.000 abstract 1
- 241000207199 Citrus Species 0.000 description 7
- 235000020971 citrus fruits Nutrition 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种协作机器人系统，属于人工智能技术领域，包括机器人本体和视觉识别系统，机器人本体包括基座和设置在基座上的机械臂，机械臂为多自由度机械臂，其一端与基座固定连接，另一端为自由端，自由端设置有采集坞，视觉识别系统包括GPS导航系统、移动终端、图像处理显示系统和终端显示屏。本实用新型能够在无人操作环境下智能化的对目标对象进行捕捉和统计，工作效率高，智能化程度高，能够广泛应用到各个领域。
Description
技术领域
本实用新型涉及人工智能技术领域，尤其涉及视觉识别，具体是一种装载有视觉识别系统的协作机器人系统。
背景技术
在劳动力日渐短缺的趋势下，人机协作将会给未来工厂的工业生产和制造带来了根本性的变革，具有决定性的重要优势。并且与已经发展五六十年的工业机器人相比，协作机器人是比较新的领域，目前行业内没有绝对龚断的企业，协作机器人的研发和创新都将带来巨大的回报。在传统的工业机器人逐渐取代单调、重复性高、危险性强的工作之时，协作机器人慢慢渗入各个工业领域，与人共同工作。协作机器人作为工业机器人中的轻型机器人，以往工业机器人是以机械代替人工并且降低人力成本，而协作机器人主要是协助人类并且与人类一同作业，且不需要使用安全围栏进行隔离，解决了人类较难以达成的精确度或让人类远离危险的环境和工作。协作机器人关节结构作为协作机器人的核心组成部件，它的性能在整个协作机器人运动过程中显得至关重要。其主要特点有模块化、柔性化、集成化、灵巧、安全和可负担。想比传统工业机器人的结构比较单一、固定、笨重，此种协作机器人关节结构采用模块化理念设计，各关节之间具有可替换性，可通过自由组合组成4～7自由度机械臂，其结构更加多元化、更加灵巧，适应更多复杂环境的应用。据预测，2021年将达18500台，市场规模将突破24.5亿元。
但即便如此，我国协作机机器人的装机密度却只有187 台/万工人，远远落后于其他发达国家。其主要原因是智能化程度不足、部署不够灵活，现阶段的协作机器人承担的任务更加复杂多样。传统的检测手段往往面临着检测范围的局限性和检测手段的单一性，导致协作机器人项目落地十分艰难、繁琐。机器人视觉技术就是把光学电子系统拍摄的影像转换成电子图像并传送到计算机系统进行图像处理，实现对物体的颜色、尺寸、形状、位置等特征的识别，并把识别结果送到计算机以控制其他执行机构完成动作的工业系统，由于它具有非接触、识别精度高、速度快、自动化程度高、易和其他系统集成等特点，目前已广泛应用在轻工、化工、纺织、医疗、电子、汽车等行业，将机器人和机器视觉系统结合起来，是一种非常有前途的应用。
实用新型内容
为了解决现有技术的不足，本实用新型提出一种协作机器人系统，将机器人视觉技术与协作机器人的应用配合，实现更为广泛的应用。
本实用新型要解决的技术问题是通过以下技术手段来实现的：
一种协作机器人系统，包括机器人本体和视觉识别系统，机器人本体包括基座和设置在基座上的机械臂，机械臂为多自由度机械臂，其一端与基座固定连接，另一端为自由端，自由端设置有采集坞，视觉识别系统包括GPS导航系统、移动终端、图像处理显示系统和终端显示屏，其中移动终端为图像采集系统，用于采集图像信息，设置在机器人本体的机械臂自由端的采集坞，由机械臂进行移动辅助，GPS导航系统包括两组，分别设置在机械臂自由端的采集坞和基座，分别为标记图像采集的位置信息和基座的位置信息，图像处理显示系统将图像采集系统采集到的图像进行处理，捕捉目标对象，并进行深度学习，终端显示屏将图像采集系统采集到的图像信息和经过处理后得出的目标对象信息进行显示。
在本实用新型中，所述基座的下部设置有行走轮，行走轮由辅助电机带动，与基座的GPS导航系统连接，机械臂包括至少两段连接臂，相邻的连接臂之间通过驱动电机带动，与采集坞的GPS导航系统连接，驱动电机与辅助电机配合，辅助记录图像采集的位置，以及为行走轮的移动提供路径指导。
进一步的，所述机械臂还包括可伸缩连接臂。
在本实用新型中，所述图像处理显示系统基于FPGA，包括处理芯片FPGA、缓存芯片SDRAM、GPS导航系统连接接口、移动终端连接接口、终端显示屏连接接口、控制整个工作模式的中央处理器（CPU）、中央处理器连接接口、时钟模块，其中，缓存芯片SDRAM通过GPS导航系统连接接口与GPS导航系统通信连接，缓存芯片SDRAM通过移动终端连接接口与图像采集系统通信连接，缓存芯片SDRAM通过中央处理器接口与中央处理器通信连接，缓存芯片SDRAM通过数据缓存接口与处理芯片FPGA通信连接，处理芯片FPGA通过终端显示屏连接接口与终端显示屏通信连接，处理芯片FPGA通过中央处理器接口与中央处理器通信连接。
进一步的，所述图像处理显示系统接受数字的RGB565、RGB666、RGB888其中任一格式的显示数据，接收处理基于ITU656协议数据流的图像。
进一步的，所述缓存芯片SDRAM与GPS导航系统的通信连接通过有线连接或者无线连接。
在本实用新型中，所述协作机器人系统工作过程包括以下步骤：
选取目标，根据目标的位置和覆盖面积，确定视觉识别系统的移动终端进行图像采集的三维坐标点和图像采集方向，针对目标设定多个进行图像采集的采集位点；
进一步推广到目标所在范围内的若干个目标，标记所有图像采集的采集位点后，规划视觉识别系统的移动终端所需的移动路径；
协作机器人进入目标所在范围内后，根据规划的路径循迹移动，机械臂将采集坞提升到预定的采集位点后，移动终端进行图像采集，采集完后在协作机器人的带动下移动到下一个采集位点进行图像采集，直至图像采集完成。
进一步的，所述协作机器人的循迹移动在遇到障碍物时采用后退和转向来进行避障。
在本实用新型中，协作机器人视觉识别系统的图像处理系统的图像采集和处理包括以下步骤：
移动终端打开处理程序，摄像程序自动开启；
开始拍摄，将采集到的图像保存为数组，之后进行图像处理；
对保存的图像进行分析和保存；
其中：移动终端包括打开预览模式、关闭以及拍摄事件，拍摄过程中，移动终端打开预览界面后对带有目标对象的图像进行识别，识别到目标对象后启动拍摄，拍摄事件发生后，将图片保存，然后对图像进行处理。
进一步的，所述图像的处理包括以下步骤：调用图像重新启动预览，使用模拟触摸，启用触摸监听事件，跟踪触摸笔的轨迹，完成目标对象颜色选择，触摸事件将连续返回触摸笔轨迹和坐标值，得到的目标对象的坐标值被算法保存到一数组中，颜色选择完成后，按下按钮表示动作完成，数组中的数据得到更新；颜色选择确定后，建立一个数组用于存放图像处理后的像素数，取得目标对象的宽和高，赋予数组大小，从图片的指定区域读取像素值，并存储到数组中对像素进行逐个扫描取得误差值；对图像进行分割，符合目标对象的区域设置为黑色，不符合的设置为白色，将图像重构得到二值图像；对重构后的二值图像进行去噪处理后，统计目标对象数量，与之前的图像进行比较和学习，统计结果保存到数据库。
与现有技术相比，本实用新型将机器人视觉技术与协作机器人的应用相配合，由灵巧的协作机器人提供图像捕捉的移动支持，由深度学习的机器人视觉技术来进行图像的采集和处理，能够放大两者的优点，可在无人操作环境下智能化的对目标对象进行捕捉和统计，极大的扩展应用领域，具有广泛的应用前景。
附图说明
图1 为本实用新型的协作机器人本体结构示意图；
图2 为本实用新型的视觉识别系统整体结构分布示意图；
图3 为本实用新型的协作机器人系统工作逻辑示意图。
图中：基座1、一段机械臂2、二段机械臂3、三段机械臂4、采集坞5、驱动电机6、行走轮7；目标a、目标辐射范围b、采集位点c、行走路径d。
具体实施方式
以下结合说明书附图和具体优选的实施例对本实用新型作进一步描述，但并不因此而限制本实用新型的保护范围。
实施例1
一种协作机器人系统，包括机器人本体和视觉识别系统，如图1所示，机器人本体包括基座1和设置在基座1上的机械臂，机械臂为首尾相连的三段式连接臂，其中一段连接臂2为可伸缩结构，一段机械臂2的一端与基座1固定连接，另一端与二段机械臂3的一端转动连接，连接处设置有驱动电机6，二段机械臂3的另一端与三段机械臂4的一端转动连接，连接处设置有驱动电机6，三段机械臂4的另一端固定设置有采集坞5，基座1的下部设置有行走轮7，行走轮7由辅助电机带动；视觉识别系统包括GPS导航系统、移动终端、图像处理显示系统和终端显示屏，其中移动终端为图像采集系统，用于采集图像信息，设置在采集坞5，由机械臂进行移动辅助，GPS导航系统包括两组，分别设置在采集坞5和基座1，分别为标记图像采集的位置信息和基座1的位置信息，两组GPS导航系统分别指导驱动电机6和辅助电机，辅助记录图像采集的位置，以及为行走轮7的移动提供路径指导，图像处理显示系统将图像采集系统采集到的图像进行处理，捕捉目标对象，并进行深度学习，终端显示屏将图像采集系统采集到的图像信息和经过处理后得出的目标对象信息进行显示。
实施例2
一种协作机器人视觉识别系统，如图2所示，包括GPS导航系统、移动终端、图像处理显示系统和终端显示屏，其中移动终端为图像采集系统，用于采集图像信息，由协作机器人进行移动辅助，GPS导航系统为图像采集标记准确位置信息，图像处理显示系统将图像采集系统采集到的图像进行处理，捕捉目标对象，并进行深度学习，终端显示屏将图像采集系统采集到的图像信息和经过处理后得出的目标对象信息进行显示，其中：图像处理显示系统基于FPGA，包括处理芯片FPGA、缓存芯片SDRAM、GPS导航系统连接接口、移动终端连接接口、终端显示屏连接接口、控制整个工作模式的中央处理器（CPU）、中央处理器连接接口、时钟模块，其中，缓存芯片SDRAM通过GPS导航系统连接接口与GPS导航系统通信连接，缓存芯片SDRAM通过移动终端连接接口与图像采集系统通信连接，缓存芯片SDRAM通过中央处理器接口与中央处理器通信连接，缓存芯片SDRAM通过数据缓存接口与处理芯片FPGA通信连接，处理芯片FPGA通过终端显示屏连接接口与终端显示屏通信连接，处理芯片FPGA通过中央处理器接口与中央处理器通信连接。
在图2中，GPS导航系统包括GPS导航系统1和GPS导航系统2，分别通过GPS导航系统连接接口1及GPS导航系统连接接口2与缓存芯片SDRAM通信连接。
基于上述设备，以柑橘的估产为例，如图3所示，柑橘树为目标a，柑橘树枝叶笼罩的范围为目标辐射范围b，协作机器人的工作过程包括以下步骤：
选取目标植株a，根据目标植株a的位置和辐射范围b，确定视觉识别系统的移动终端进行图像采集的三维坐标点和图像采集方向，针对目标设定多个进行图像采集的采集位点c；
进一步推广到目标a所在范围内的所有目标植株a，标记所有图像采集的采集位点c后，规划视觉识别系统的移动终端所需的行走路径d；
协作机器人进入目标a所在范围内后，根据规划的行走路径d循迹移动，机械臂将采集坞5提升到预定的采集位点c后，移动终端进行图像采集，采集完后在协作机器人的带动下移动到下一个采集位点c进行图像采集，直至图像采集完成。
其中，协作机器人的循迹移动在遇到障碍物时采用后退和转向来进行避障。
协作机器人视觉识别系统的图像采集和处理包括以下步骤：
移动终端打开处理程序，摄像程序自动开启；开始拍摄，将采集到的图像保存为数组，之后进行图像处理；
对保存的图像进行分析和保存。
其中，移动终端拍摄过程中，打开预览界面后对带有柑橘的图像进行识别，识别到柑橘后启动拍摄，拍摄完成后图片保存，然后进行处理。
图像的处理包括以下步骤：
调用图像重新启动预览，使用模拟触摸，启用触摸监听事件，跟踪触摸笔的轨迹，完成柑橘颜色选择，触摸事件将连续返回触摸笔轨迹和坐标值，得到的柑橘的坐标值被算法保存到一数组中，颜色选择完成后，按下按钮表示动作完成，数组中的数据得到更新；
颜色选择确定后，建立一个数组用于存放图像处理后的像素数，取得目标对象的宽和高，赋予数组大小，从图片的指定区域读取像素值，并存储到数组中对像素进行逐个扫描取得误差值；
对图像进行分割，符合柑橘特征的区域设置为黑色，不符合的设置为白色，将图像重构得到二值图像；
对重构后的二值图像进行去噪处理后，统计柑橘数量，与之前的图像进行比较和学习，统计结果保存到数据库，以此实现对柑橘种植区域内对柑橘产量的预估。
因此，结合上述设备组成和工作步骤可以发现，本实用新型所述的协作机器人能够在无人操作环境下智能化的对目标对象进行捕捉和统计，工作效率高，智能化程度高，能够广泛应用到各个领域。
Claims (6)
1.一种协作机器人系统，其特征在于：包括机器人本体和视觉识别系统，机器人本体包括基座和设置在基座上的机械臂，机械臂为多自由度机械臂，其一端与基座固定连接，另一端为自由端，自由端设置有采集坞，视觉识别系统包括GPS导航系统、移动终端、图像处理显示系统和终端显示屏，其中移动终端为图像采集系统，用于采集图像信息，设置在机器人本体的机械臂自由端的采集坞，由机械臂进行移动辅助，GPS导航系统包括两组，分别设置在机械臂自由端的采集坞和基座，分别为标记图像采集的位置信息和基座的位置信息，图像处理显示系统将图像采集系统采集到的图像进行处理，捕捉目标对象，并进行深度学习，终端显示屏将图像采集系统采集到的图像信息和经过处理后得出的目标对象信息进行显示。
2.根据权利要求1所述的协作机器人系统，其特征在于：所述基座的下部设置有行走轮，行走轮由辅助电机带动，与基座的GPS导航系统连接，机械臂包括至少两段连接臂，相邻的连接臂之间通过驱动电机带动，与采集坞的GPS导航系统连接。
3.根据权利要求2所述的协作机器人系统，其特征在于：所述机械臂包括可伸缩连接臂。
4.根据权利要求1所述的协作机器人系统，其特征在于：所述图像处理显示系统基于FPGA，包括处理芯片FPGA、缓存芯片SDRAM、GPS导航系统连接接口、移动终端连接接口、终端显示屏连接接口、控制整个工作模式的中央处理器、中央处理器连接接口、时钟模块，其中，缓存芯片SDRAM通过GPS导航系统连接接口与GPS导航系统通信连接，缓存芯片SDRAM通过移动终端连接接口与图像采集系统通信连接，缓存芯片SDRAM通过中央处理器接口与中央处理器通信连接，缓存芯片SDRAM通过数据缓存接口与处理芯片FPGA通信连接，处理芯片FPGA通过终端显示屏连接接口与终端显示屏通信连接，处理芯片FPGA通过中央处理器接口与中央处理器通信连接。
5.根据权利要求4所述的协作机器人系统，其特征在于：所述图像处理显示系统接受数字的RGB565、RGB666、RGB888其中任一格式的显示数据，接收处理基于ITU656协议数据流的图像。
6.根据权利要求4所述的协作机器人系统，其特征在于：所述缓存芯片SDRAM与GPS导航系统的通信连接通过有线连接或者无线连接。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110807474 | 2021-07-16 | ||
| CN2021108074747 | 2021-07-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN215395190U true CN215395190U (zh) | 2022-01-04 |
Family
ID=79663530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202121928908.0U Expired - Fee Related CN215395190U (zh) | 2021-07-16 | 2021-08-17 | 一种协作机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN215395190U (zh) |
-
2021
- 2021-08-17 CN CN202121928908.0U patent/CN215395190U/zh not_active Expired - Fee Related
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111496770B (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| Chen et al. | Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology | |
| CN110948492B (zh) | 一种基于深度学习的三维抓取平台和抓取方法 | |
| CN102514002B (zh) | 一种数控车床单目视觉上下料机器人系统及方法 | |
| CN111421539A (zh) | 一种基于计算机视觉的工业零件智能识别与分拣系统 | |
| CN116630394B (zh) | 一种三维建模约束的多模态目标物体姿态估计方法及系统 | |
| CN111813126A (zh) | 一种基于神经网络的智能避障控制系统及其方法 | |
| CN105965519A (zh) | 一种视觉引导下的离合器下料定位方法 | |
| CN107234625A (zh) | 视觉伺服定位和抓取的方法 | |
| CN115299245B (zh) | 一种智能水果采摘机器人的控制方法及控制系统 | |
| CN114155610B (zh) | 基于上半身姿态估计的面板装配关键动作识别方法 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN114800524B (zh) | 一种人机交互协作机器人主动避碰的系统及方法 | |
| CN101893894B (zh) | 可重构微型移动机器人集群定位跟踪系统 | |
| CN112327868A (zh) | 一种智能机器人自动导航系统 | |
| CN113822946B (zh) | 一种基于计算机视觉的机械臂抓取方法 | |
| CN215395190U (zh) | 一种协作机器人系统 | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN112785564B (zh) | 一种基于机械臂的行人检测跟踪系统与方法 | |
| CN111915671A (zh) | 一种工作区域的人员轨迹跟踪方法和系统 | |
| CN115661726A (zh) | 一种轨道列车工件装配的自主视频采集与分析方法 | |
| CN115589845A (zh) | 一种智能采棉机器人及其采棉作业路径规划方法 | |
| CN115588036A (zh) | 图像采集方法及装置、机器人 | |
| Chang et al. | Real-time object coordinate detection and manipulator control using rigidly trained convolutional neural networks | |
| CN115657531A (zh) | 一种确定盆景抓取位姿并泊停机器人的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220104 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |