CN112605990A - 一种机器人视觉控制方法和系统 - Google Patents
一种机器人视觉控制方法和系统 Download PDFInfo
- Publication number
- CN112605990A CN112605990A CN202011407412.9A CN202011407412A CN112605990A CN 112605990 A CN112605990 A CN 112605990A CN 202011407412 A CN202011407412 A CN 202011407412A CN 112605990 A CN112605990 A CN 112605990A
- Authority
- CN
- China
- Prior art keywords
- camera
- robot
- processing unit
- image processing
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Abstract
本发明公开了一种机器人视觉控制方法和系统，涉及机器视觉技术。所述机器人视觉控制系统包括：机器人本体、相机和图像处理单元；所述机器人本体与所述相机单向电连接，用于在预设位置通过电信号触发所述相机拍照；所述相机与所述图像处理单元单向通信连接，用于将拍摄的照片发送到所述图像处理单元；所述图像处理单元与所述机器人本体单向通信连接，用于根据所述照片的分析结果，指示所述机器人本体完成相应的操作。本发明通过机器人运动到既定位置时直接触发相机拍照，节省机器人与上位机、相机与上位机之间的指令和信号交互时间，相机接收机器人发出的电信号出发拍照，使相机快速成像，提升工作效率。
Description
技术领域
本发明实施例涉及机器视觉技术，尤其涉及一种机器人视觉控制方法和系统。
背景技术
在“机器代人”的背景下，越来越多的工业机器人在产线上使用，例如做工厂的上下料，货物的分拣。目前通用的方法使用自动化的设备，利用编程手段实现上下料及货物分拣等工序。这种方法对环境的要求高，每道工序都需要控制环境及精心设计。
视觉是人类获得信息的重要途径，MIT的研究报告表明，80％的信息获取来源于人的眼睛。为机器装上摄像头，赋予机器视觉感知的能力也是一种智能化的解决方案，当前的视觉方法受限于终端的计算能力，大部分是采用传统的模板匹配的方法，效果和通用性都有待改进，以便满足工业领域智能化的需求。另外，传统的方法中相机的视野与机械臂的工作范围分离，容易积累定位误差，影响抓取效果，因此需要将相机与机械臂结合起来，实现智能分拣。
现有技术中，机械臂和相机均受控于上位机，上位机收到机械臂的就位反馈后，才会下发指令指示相机拍照，机械臂与相机之间无直接通信关系，这就造成整体响应时效偏慢，影响生产效率。
发明内容
本发明提供一种机器人视觉控制方法和系统，通过机器人直接触发相机拍照，节省指令和信号交互时间，使相机快速成像，提升工作效率。
第一方面，本发明实施例提供了一种机器人视觉控制方法，包括：
机器人本体在预设位置向相机发送电信号，触发所述相机拍照；
所述相机将拍摄的照片发送到图像处理单元；
所述图像处理单元识别所述照片中的目标物体的位置，指示所述机器人本体完成相应的抓取操作。
进一步的，触发所述相机拍照之前，还包括：
基于相机的安装位置，利用标定工具对相机进行标定，计算出相机坐标系与机器人坐标系的转换关系。
其中，所述图像处理单元识别所述照片中的目标物体的位置，指示所述机器人本体完成相应的抓取操作，包括：
所述图像处理单元识别所述照片中的目标物体在相机坐标系中的像素坐标，根据所述相机坐标系与机器人坐标系的转换关系，将所述像素坐标转换为机器人坐标系中的机器坐标；
根据所述机器坐标，指示所述机器人本体移动到目标物体的位置，完成相应的抓取操作。
其中，所述图像处理单元识别所述照片中的目标物体在相机坐标系中的像素坐标，包括：
所述图像处理单元根据目标物体的图像特征识别所述照片中的目标物体，获得目标物体在相机坐标系中的像素坐标。
另一方面，本发明实施例还提供一种机器人视觉控制系统，包括：机器人本体、相机和图像处理单元；
所述机器人本体与所述相机单向电连接，用于在预设位置通过电信号触发所述相机拍照；
所述相机与所述图像处理单元单向通信连接，用于将拍摄的照片发送到所述图像处理单元；
所述图像处理单元与所述机器人本体单向通信连接，用于根据所述照片的分析结果，指示所述机器人本体完成相应的操作。
进一步的，所述的机器人视觉控制系统还包括：位置确定模块，用于确定所述机器人本体运动到预设位置；
相应的，所述机器人本体还用于在运动到预设位置后，通过脉冲信号触发所述相机拍照。
其中，所述相机与被拍摄的目标物体在竖直方向上错位设置。
本发明通过机器人运动到既定位置时直接触发相机拍照，节省机器人与上位机、相机与上位机之间的指令和信号交互时间，相机接收机器人发出的电信号出发拍照，使相机快速成像，提升工作效率。
附图说明
图1为本发明实施例一中的机器人视觉控制方法的流程图。
图2是本发明实施例二中的机器人视觉控制系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的机器人视觉控制方法的流程图，本实施例可适用于相机和机器人结合实现机器视觉辅助作业情况，该方法可以由相应的机器人视觉控制系统来执行，具体包括如下步骤：
S11，机器人本体在预设位置向相机发送电信号，触发所述相机拍照。
触发所述相机拍照之前，基于相机的安装位置，对相机进行标定，计算出相机坐标系与机器人坐标系的转换关系。
相机预设为高电平或低电平触发拍照，机器人本体(例如机械臂)在运动到预设位置时发出相应的电平信号，其余时间的电平信号相反。
S12，所述相机将拍摄的照片发送到图像处理单元。
相机将拍摄的照片通过有线或无线网络发送到图像处理单元。
S13，所述图像处理单元识别所述照片中的目标物体的位置，指示所述机器人本体完成相应的抓取操作。
所述图像处理单元根据目标物体的图像特征识别所述照片中的目标物体，可采用深度卷积神经网络模型识别照片中的图像信息，获得目标物体在相机坐标系中的像素坐标。
所述图像处理单元识别所述照片中的目标物体在相机坐标系中的像素坐标，根据所述相机坐标系与机器人坐标系的转换关系，将所述像素坐标转换为机器人坐标系中的机器坐标；根据所述机器坐标，指示所述机器人本体移动到目标物体的位置，完成相应的抓取操作。
本实施例的技术方案，通过机器人运动到既定位置时直接触发相机拍照，机器人本体通过电信号出发相机拍照，相比通过网络传输的指令，电信号更稳定、时延低、传输速度更快。
实施例二
本实施例提供一种机器人视觉控制系统，用于执行上述实施例的机器人视觉控制方法，具备执行方法相应的功能模块和有益效果。
如图2所示，机器人视觉控制系统包括：机器人本体、相机和图像处理单元。
所述机器人本体与所述相机单向电连接，用于在预设位置通过电信号触发所述相机拍照。
所述相机与所述图像处理单元单向通信连接，用于将拍摄的照片发送到所述图像处理单元。为了进行更有效的空间利用，所述相机与被拍摄的目标物体在竖直方向上错位设置，避免过多占用被拍摄的目标物体的正上方的空间。相机的拍摄方向与被拍摄的目标物体所在平面成夹角，在计算相机坐标系与机器人坐标系的转换关系时，获得的转换矩阵应该是具有平移、旋转和缩放关系的矩阵，可以解决由于相机倾斜放置导致的成像畸变(平行透视)问题。
所述图像处理单元与所述机器人本体单向通信连接，用于根据所述照片的分析结果，指示所述机器人本体完成相应的操作。
进一步的，所述的机器人视觉控制系统还包括：位置确定模块，用于确定所述机器人本体运动到预设位置；相应的，所述机器人本体还用于在运动到预设位置后，通过脉冲信号触发所述相机拍照。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种机器人视觉控制方法，其特征在于，包括：
机器人本体在预设位置向相机发送电信号，触发所述相机拍照；
所述相机将拍摄的照片发送到图像处理单元；
所述图像处理单元识别所述照片中的目标物体的位置，指示所述机器人本体完成相应的抓取操作。
2.根据权利要求1所述的机器人视觉控制方法，其特征在于，触发所述相机拍照之前，还包括：
基于相机的安装位置，利用标定工具对相机进行标定，计算出相机坐标系与机器人坐标系的转换关系。
3.根据权利要求2所述的机器人视觉控制方法，其特征在于，所述图像处理单元识别所述照片中的目标物体的位置，指示所述机器人本体完成相应的抓取操作，包括：
所述图像处理单元识别所述照片中的目标物体在相机坐标系中的像素坐标，根据所述相机坐标系与机器人坐标系的转换关系，将所述像素坐标转换为机器人坐标系中的机器坐标；
根据所述机器坐标，指示所述机器人本体移动到目标物体的位置，完成相应的抓取操作。
4.根据权利要求3所述的机器人视觉控制方法，其特征在于，所述图像处理单元识别所述照片中的目标物体在相机坐标系中的像素坐标，包括：
所述图像处理单元根据目标物体的图像特征识别所述照片中的目标物体，获得目标物体在相机坐标系中的像素坐标。
5.一种机器人视觉控制系统，其特征在于，包括：机器人本体、相机和图像处理单元；
所述机器人本体与所述相机单向电连接，用于在预设位置通过电信号触发所述相机拍照；
所述相机与所述图像处理单元单向通信连接，用于将拍摄的照片发送到所述图像处理单元；
所述图像处理单元与所述机器人本体单向通信连接，用于根据所述照片的分析结果，指示所述机器人本体完成相应的操作。
6.根据权利要求5所述的机器人视觉控制系统，其特征在于，还包括：位置确定模块，用于确定所述机器人本体运动到预设位置；
相应的，所述机器人本体还用于在运动到预设位置后，通过脉冲信号触发所述相机拍照。
7.根据权利要求5所述的机器人视觉控制系统，其特征在于：所述相机与被拍摄的目标物体在竖直方向上错位设置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011407412.9A CN112605990A (zh) | 2020-12-04 | 2020-12-04 | 一种机器人视觉控制方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011407412.9A CN112605990A (zh) | 2020-12-04 | 2020-12-04 | 一种机器人视觉控制方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112605990A true CN112605990A (zh) | 2021-04-06 |
Family
ID=75228890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011407412.9A Pending CN112605990A (zh) | 2020-12-04 | 2020-12-04 | 一种机器人视觉控制方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112605990A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113103215A (zh) * | 2021-04-14 | 2021-07-13 | 深圳汇控智能技术有限公司 | 一种机器人视觉飞拍的运动控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10319253A1 (de) * | 2003-04-28 | 2004-12-02 | Tropf, Hermann | Dreidimensional lagegerechtes Zuführen mit Roboter |
| CN106927079A (zh) * | 2017-03-21 | 2017-07-07 | 长春理工大学 | 一种基于机器视觉的工业雷管抓取和装箱系统及方法 |
| CN108015759A (zh) * | 2016-11-03 | 2018-05-11 | 哈尔滨工大天才智能科技有限公司 | 一种基于视觉的机器人抓取电梯门板定位系统 |
| CN109309791A (zh) * | 2018-11-09 | 2019-02-05 | 珠海格力智能装备有限公司 | 控制相机拍照方法和系统 |
| CN109454638A (zh) * | 2018-10-31 | 2019-03-12 | 昆山睿力得软件技术有限公司 | 一种基于视觉引导的机器人抓取系统 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
-
2020
- 2020-12-04 CN CN202011407412.9A patent/CN112605990A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10319253A1 (de) * | 2003-04-28 | 2004-12-02 | Tropf, Hermann | Dreidimensional lagegerechtes Zuführen mit Roboter |
| CN108015759A (zh) * | 2016-11-03 | 2018-05-11 | 哈尔滨工大天才智能科技有限公司 | 一种基于视觉的机器人抓取电梯门板定位系统 |
| CN106927079A (zh) * | 2017-03-21 | 2017-07-07 | 长春理工大学 | 一种基于机器视觉的工业雷管抓取和装箱系统及方法 |
| CN109454638A (zh) * | 2018-10-31 | 2019-03-12 | 昆山睿力得软件技术有限公司 | 一种基于视觉引导的机器人抓取系统 |
| CN109309791A (zh) * | 2018-11-09 | 2019-02-05 | 珠海格力智能装备有限公司 | 控制相机拍照方法和系统 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113103215A (zh) * | 2021-04-14 | 2021-07-13 | 深圳汇控智能技术有限公司 | 一种机器人视觉飞拍的运动控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| CN107618030B (zh) | 基于视觉的机器人动态跟踪抓取方法及系统 | |
| CN107263468B (zh) | 一种利用数字图像处理技术的scara机器人装配方法 | |
| CN103963058B (zh) | 基于多方位视觉定位的机械手臂抓取控制系统及方法 | |
| CN108748149B (zh) | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 | |
| CN111673735A (zh) | 一种基于单目视觉定位的机械臂控制方法及装置 | |
| CN106853639A (zh) | 一种手机电池自动化装配系统及其控制方法 | |
| CN111347411B (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
| CN105217324A (zh) | 一种新型的拆垛方法和系统 | |
| CN111801198A (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| CN110980276B (zh) | 一种三维视觉配合机器人实施铸件自动下料的方法 | |
| CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| EP4220558A1 (en) | Coordinate system calibration method, and automatic assembly method and apparatus | |
| CN112605990A (zh) | 一种机器人视觉控制方法和系统 | |
| CN110977939B (zh) | 目标工件识别定位系统 | |
| CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
| CN113510697B (zh) | 机械手定位方法、装置、系统、电子装置和存储介质 | |
| CN207888648U (zh) | 一种机械臂控制系统 | |
| US20210197391A1 (en) | Robot control device, robot control method, and robot control non-transitory computer readable medium | |
| CN104874692A (zh) | 自动化冲压线一模双件视觉对中控制系统 | |
| CN110397257A (zh) | 搬运系统及其控制方法、地砖铺贴系统 | |
| CN116360447A (zh) | 一种巡检机器人系统及其控制方法 | |
| CN104296657A (zh) | 一种基于双目视觉的石壁爆破孔检测与定位装置及定位方法 | |
| CN114643577B (zh) | 一种通用型机器人视觉自动标定装置和方法 | |
| CN114193440A (zh) | 基于3d视觉的机器人自动抓取系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |
|
| RJ01 | Rejection of invention patent application after publication |