CN108536151A - 一种视觉导引的闭环执行系统及视觉导引方法 - Google Patents

一种视觉导引的闭环执行系统及视觉导引方法 Download PDF

Info

Publication number
CN108536151A
CN108536151A CN201810423408.8A CN201810423408A CN108536151A CN 108536151 A CN108536151 A CN 108536151A CN 201810423408 A CN201810423408 A CN 201810423408A CN 108536151 A CN108536151 A CN 108536151A
Authority
CN
China
Prior art keywords
executing agency
automated inspection
vision builder
operating parts
visual guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810423408.8A
Other languages
English (en)
Inventor
蒋世财
李光远
张宇航
汤明星
邓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Blue Boat Technology Co Ltd
Changchun Wisdom And Intelligent Packaging Equipment Co Ltd
Changchun North Chemical Filling Equipment Co Ltd
Original Assignee
Changchun Blue Boat Technology Co Ltd
Changchun Wisdom And Intelligent Packaging Equipment Co Ltd
Changchun North Chemical Filling Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Blue Boat Technology Co Ltd, Changchun Wisdom And Intelligent Packaging Equipment Co Ltd, Changchun North Chemical Filling Equipment Co Ltd filed Critical Changchun Blue Boat Technology Co Ltd
Priority to CN201810423408.8A priority Critical patent/CN108536151A/zh
Publication of CN108536151A publication Critical patent/CN108536151A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

一种视觉导引的闭环执行系统，包括机器视觉系统A、机器视觉系统B、执行机构和标识结构。机器视觉系统A用于定位被操作件，所述执行机构根据机器视觉系统A对被操作件的定位结果，将执行元件导引至被操作件；所述标识结构位于执行机构上，机器视觉系统B用于定位位于执行机构上的标识结构，对执行机构动作结果进行定位，以生成指令，对执行机构动作进行修正，实现对执行机构的闭环控制。本发明基于机器视觉技术，对被测目标进行识别或测量，并转换为执行机构可接受的信息，对执行机构进行导引。在执行机构上设置标识结构，并在独立于执行机构的架构上布置机器视觉系统。该机器视觉系统对执行机构上的标识结构进行测量，从而监测执行机构的动作，实现对执行机构的可靠导引。

Description

一种视觉导引的闭环执行系统及视觉导引方法
技术领域
本发明涉及工厂生产环境，被操作件与执行机构的机器视觉检测与导引系统及方法,具体地，涉及一种视觉导引的闭环执行系统及视觉导引方法。
背景技术
在工厂生产环境，可以基于机器视觉来导引特定工序的执行。首先，通过机器视觉系统将被检测目标转换成图像信号，传送给专用的图像处理系统；图像处理系统根据像素分布、亮度、颜色和纹理等信息，提取目标的特征，进行相应的识别和测量，进而根据结果来控制现场的执行机构动作。是用于生产、装配和包装的有价值的机制。它在检测目标位置，为下一步操作提供准确数据的功能方面具有不可估量的价值。
根据机器视觉系统的检测结果，可导引执行机构至目标位置。目标位置为工作区域内的不确定位置。采用常规的机械或电气手段对执行机构行走至一不确定位置进行检测比较困难。另外，通常执行机构行走至目标位置附近后，会对目标有所遮挡，检测目标的机器视觉系统的配置不太适合对执行机构进行检测，很难使用检测目标的机器视觉系统对执行机构行走结果进行直接测量。
目前，很多机器视觉导引系统工作在开环模式。在通过机器视觉系统对被检测目标进行识别和测量后，执行机构基于该结果进行相应的动作，而并不对动作结果进行观测或测量，没有形成一个闭环测控机制，不能保障执行机构的可靠执行。
发明内容
针对现有技术存在的上述缺点，本发明提供一种视觉导引的闭环执行系统及视觉导引方法，本视觉导引的闭环执行系统基于机器视觉技术，对被操作件进行定位，从而生成执行指令，控制执行机构动作。同时，基于机器视觉技术，对执行机构动作结果进行定位，以生成指令，对执行机构动作进行修正，最终实现对执行机构的闭环控制。
本发明具体内容如下。
一种视觉导引的闭环执行系统，包括机器视觉系统A、机器视觉系统B、执行机构和标识结构；其特征在于，所述机器视觉系统A用于定位被操作件，所述执行机构根据机器视觉系统A对被操作件的定位结果，将执行元件导引至被操作件；所述标识结构位于执行机构上，机器视觉系统B用于定位位于执行机构上的标识结构，对执行机构动作结果进行定位，以生成指令，对执行机构动作进行修正，实现对执行机构的闭环控制。
进一步地，所述机器视觉系统A布置在固定不动的架构上或移动的执行机构上。
进一步地，所述机器视觉系统B位于独立框架上。
进一步地，针对被操作件位于物理空间的范围，确定机器视觉系统A对应的图像坐标，建立物理坐标和图像坐标之间的映射关系，完成对所述机器视觉系统A的标定。
进一步地，针对执行机构位于物理空间的范围，确定机器视觉系统B对应的图像坐标，建立物理坐标和图像坐标之间的映射关系，完成对机器视觉系统B的标定。
一种视觉导引方法，其特征在于，包括如下步骤：
1）被操作件位于操作区域；
2）机器视觉系统A对被操作件进行定位；获取图像中被操作件的图像坐标；根据机器视觉系统A图像坐标与物理坐标之间的映射关系，计算被操作件的物理坐标。
3）由被操作件的物理坐标，执行元件相对于执行机构的空间关系，计算执行机构的目的物理坐标，导引执行机构将执行元件作用于被操作件；
4）机器视觉系统B对执行机构上的标识结构进行定位；获取图像中标识结构的图像坐标；根据机器视觉系统B图像坐标与物理坐标之间的映射关系，计算标识结构的物理坐标；
5）由标识结构的物理坐标，标识结构相对于执行元件的空间关系，计算执行元件的物理坐标；
6）比对检测到执行元件的物理坐标，和被操作件的物理坐标，判断执行机构导引结果，并进行相应的修正。
进一步地，第一步之前还包括如下步骤：
机器视觉系统A完成标定，建立起图像坐标与物理坐标之间的映射关系。
进一步地，第一步之前还包括如下步骤：
机器视觉系统B完成标定，建立起图像坐标与物理坐标之间的映射关系。
进一步地，第一步之前还包括如下步骤：确定执行元件相对于执行机构的偏移关系。
进一步地，第一步之前还包括如下步骤：确定标识结构相对于执行元件的偏移关系。
本发明具有以下优点：
本发明基于机器视觉技术，在工厂环境下导引执行机构对被测目标进行可靠操作。具体为基于机器视觉技术，对被测目标进行识别或测量，并转换为执行机构可接受的信息，对执行机构进行导引。在执行机构上设置标识结构，并在独立于执行机构的架构上布置机器视觉系统。该机器视觉系统对执行机构上的标识结构进行测量，从而监测执行机构的动作，实现对执行机构的可靠导引。
附图说明
图1为本发明视觉导引的闭环执行系统框图；
图2为本发明视觉导引过程流程图；
图3为本发明基于视觉引导的闭环执行系统示意图；
其中：1-被操作件，2-执行元件，3-机器视觉系统A，4-执行机构，5-标识结构，6-机器视觉系统B，7-独立架构。
具体实施方式
下面通过具体实施方式并结合附图对本发明作进一步详细的描述。
一种视觉导引的闭环执行系统，包括机器视觉系统A、机器视觉系统B、执行机构、执行元件和标识结构。所述机器视觉系统A用于定位被操作件，所述执行机构根据机器视觉系统A对被操作件的定位结果，将执行元件导引至被操作件；所述标识结构位于执行机构上，其和执行机构上执行元件之间的空间位置关系固定，用于对执行元件空间位置进行间接测量；执行元件位于执行机构上，根据机器视觉系统A对被操作件的定位结果，将执行元件导引至被操作件；机器视觉系统B用于定位标识结构，其布置在独立于执行机构的固定不动的架构上，对执行机构动作结果进行定位，以生成指令，对执行机构动作进行修正，实现对执行机构的闭环控制。
在本发明装置工作之前，被操作件位于物理空间一定范围内，其位置不定，通过机器视觉系统A对其进行定位。对机器视觉系统A进行标定，针对该范围内不同位置，确定机器视觉系统A对应的图像坐标，以建立物理坐标和图像坐标之间的映射关系。执行机构上执行元件的空间位置由机器视觉系统B间接测量。对机器视觉系统B进行标定，针对该范围内的不同位置，确定机器视觉系统B对应的图像坐标，以建立物理坐标和图像坐标之间的映射关系。
在执行机构上布置标识结构，该标识结构具有某种稳定的易于图像检测的特征。
若已经完成下述工作，则机器视觉导引过程流程图如图2所示。
1）机器视觉系统A完成标定，建立起图像坐标与物理坐标之间的映射关系；
2）机器视觉系统B完成标定，建立起图像坐标与物理坐标之间的映射关系；
3）确定执行元件相对于执行机构的偏移关系；
4）确定标识结构相对于执行元件的偏移关系。
一种视觉导引方法，具体包括如下步骤：
1）被操作件位于操作区域。
2）机器视觉系统A对被操作件进行定位。获取图像中被操作件的图像坐标。根据机器视觉系统A图像坐标与物理坐标之间的映射关系，计算被操作件的物理坐标。
3）由被操作件的物理坐标，执行元件相对于执行机构的空间关系，计算执行机构的目的物理坐标，导引执行机构将执行元件作用于被操作件。
4）机器视觉系统B对执行机构上的标识结构进行定位。获取图像中标识结构的图像坐标。根据机器视觉系统B图像坐标与物理坐标之间的映射关系，计算标识结构的物理坐标。
5）由标识结构的物理坐标，标识结构相对于执行元件的空间关系，计算执行元件的物理坐标。
6）比对检测到执行元件的物理坐标，和被操作件的物理坐标，判断执行机构导引结果，并进行相应的修正。

Claims (10)

1.一种视觉导引的闭环执行系统，包括机器视觉系统A、机器视觉系统B、执行机构和标识结构；其特征在于，所述机器视觉系统A用于定位被操作件，所述执行机构根据机器视觉系统A对被操作件的定位结果，将执行元件导引至被操作件；所述标识结构位于执行机构上，机器视觉系统B用于定位位于执行机构上的标识结构，对执行机构动作结果进行定位，以生成指令，对执行机构动作进行修正，实现对执行机构的闭环控制。
2.如权利要求1所述的一种视觉导引的闭环执行系统，其特征在于，所述机器视觉系统A布置在固定不动的架构上或移动的执行机构上。
3.如权利要求1所述的一种视觉导引的双重定位灌装机器人，其特征在于，所述机器视觉系统B位于独立框架上。
4.如权利要求1所述的一种视觉导引的闭环执行系统，其特征在于，针对被操作件位于物理空间的范围，确定机器视觉系统A对应的图像坐标，建立物理坐标和图像坐标之间的映射关系，完成对所述机器视觉系统A的标定。
5.如权利要求1或4所述的一种视觉导引的闭环执行系统，其特征在于，针对执行机构位于物理空间的范围，确定机器视觉系统B对应的图像坐标，建立物理坐标和图像坐标之间的映射关系，完成对机器视觉系统B的标定。
6.一种视觉导引方法，其特征在于，包括如下步骤：
1）被操作件位于操作区域；
2）机器视觉系统A对被操作件进行定位；获取图像中被操作件的图像坐标；根据机器视觉系统A图像坐标与物理坐标之间的映射关系，计算被操作件的物理坐标；
3）由被操作件的物理坐标，执行元件相对于执行机构的空间关系，计算执行机构的目的物理坐标，导引执行机构将执行元件作用于被操作件；
4）机器视觉系统B对执行机构上的标识结构进行定位；获取图像中标识结构的图像坐标；根据机器视觉系统B图像坐标与物理坐标之间的映射关系，计算标识结构的物理坐标；
5）由标识结构的物理坐标，标识结构相对于执行元件的空间关系，计算执行元件的物理坐标；
6）比对检测到执行元件的物理坐标，和被操作件的物理坐标，判断执行机构导引结果，并进行相应的修正。
7.如权利要求6所述的视觉导引方法，其特征在于，第一步之前还包括如下步骤：
机器视觉系统A完成标定，建立起图像坐标与物理坐标之间的映射关系。
8.如权利要求7所述的视觉导引方法，其特征在于，第一步之前还包括如下步骤：
机器视觉系统B完成标定，建立起图像坐标与物理坐标之间的映射关系。
9.如权利要求8所述的视觉导引方法，其特征在于，第一步之前还包括如下步骤：确定执行元件相对于执行机构的偏移关系。
10.如权利要求9所述的视觉导引方法，其特征在于，第一步之前还包括如下步骤：确定标识结构相对于执行元件的偏移关系。
CN201810423408.8A 2018-05-06 2018-05-06 一种视觉导引的闭环执行系统及视觉导引方法 Pending CN108536151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810423408.8A CN108536151A (zh) 2018-05-06 2018-05-06 一种视觉导引的闭环执行系统及视觉导引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810423408.8A CN108536151A (zh) 2018-05-06 2018-05-06 一种视觉导引的闭环执行系统及视觉导引方法

Publications (1)

Publication Number Publication Date
CN108536151A true CN108536151A (zh) 2018-09-14

Family

ID=63476392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810423408.8A Pending CN108536151A (zh) 2018-05-06 2018-05-06 一种视觉导引的闭环执行系统及视觉导引方法

Country Status (1)

Country Link
CN (1) CN108536151A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807817A (zh) * 2019-10-29 2020-02-18 长春融成智能设备制造股份有限公司 一种适应光照变化的目标颜色识别的机器视觉方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101487693A (zh) * 2009-02-13 2009-07-22 华中科技大学 一种视觉部件对位装置
CN102353340A (zh) * 2011-06-08 2012-02-15 天津大学 缸盖毛坯加工尺寸识别方法及装置
CN102506830A (zh) * 2011-11-21 2012-06-20 奇瑞汽车股份有限公司 视觉定位方法及装置
CN103197599A (zh) * 2013-03-25 2013-07-10 东华大学 基于机器视觉的数控工作台误差自校正系统及方法
CN103486969A (zh) * 2013-09-30 2014-01-01 上海大学 机器视觉对准方法及其装置
CN103681429A (zh) * 2013-12-25 2014-03-26 武汉工程大学 一种芯片固晶机的控制方法及控制系统
US8724874B2 (en) * 2009-05-12 2014-05-13 Siemens Aktiengesellschaft Fusion of 3D volumes with CT reconstruction
CN104690551A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 一种机器人自动化装配系统
CN105188334A (zh) * 2015-09-11 2015-12-23 东莞侨亨精密设备有限公司 一种视觉定位模块化双臂高速异型元件插件设备
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN106408612A (zh) * 2015-07-31 2017-02-15 康耐视公司 机器视觉系统校准
CN106607907A (zh) * 2016-12-23 2017-05-03 西安交通大学 一种移动视觉机器人及其测控方法
CN206181584U (zh) * 2016-08-29 2017-05-17 北京博瑞精电科技有限公司 一种led贴片机
CN107584263A (zh) * 2017-10-18 2018-01-16 上海文什数据科技有限公司 一种视觉定位引导装置及引导方法
CN108838106A (zh) * 2018-04-26 2018-11-20 浙江鹤群智能装备股份有限公司 一种包装箱制品检测系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101487693A (zh) * 2009-02-13 2009-07-22 华中科技大学 一种视觉部件对位装置
US8724874B2 (en) * 2009-05-12 2014-05-13 Siemens Aktiengesellschaft Fusion of 3D volumes with CT reconstruction
CN102353340A (zh) * 2011-06-08 2012-02-15 天津大学 缸盖毛坯加工尺寸识别方法及装置
CN102506830A (zh) * 2011-11-21 2012-06-20 奇瑞汽车股份有限公司 视觉定位方法及装置
CN103197599A (zh) * 2013-03-25 2013-07-10 东华大学 基于机器视觉的数控工作台误差自校正系统及方法
CN103486969A (zh) * 2013-09-30 2014-01-01 上海大学 机器视觉对准方法及其装置
CN103681429A (zh) * 2013-12-25 2014-03-26 武汉工程大学 一种芯片固晶机的控制方法及控制系统
CN104690551A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 一种机器人自动化装配系统
CN106408612A (zh) * 2015-07-31 2017-02-15 康耐视公司 机器视觉系统校准
CN105188334A (zh) * 2015-09-11 2015-12-23 东莞侨亨精密设备有限公司 一种视觉定位模块化双臂高速异型元件插件设备
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN206181584U (zh) * 2016-08-29 2017-05-17 北京博瑞精电科技有限公司 一种led贴片机
CN106607907A (zh) * 2016-12-23 2017-05-03 西安交通大学 一种移动视觉机器人及其测控方法
CN107584263A (zh) * 2017-10-18 2018-01-16 上海文什数据科技有限公司 一种视觉定位引导装置及引导方法
CN108838106A (zh) * 2018-04-26 2018-11-20 浙江鹤群智能装备股份有限公司 一种包装箱制品检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807817A (zh) * 2019-10-29 2020-02-18 长春融成智能设备制造股份有限公司 一种适应光照变化的目标颜色识别的机器视觉方法
CN110807817B (zh) * 2019-10-29 2023-01-03 长春融成智能设备制造股份有限公司 一种适应光照变化的目标颜色识别的机器视觉方法

Similar Documents

Publication Publication Date Title
EP1788345B1 (en) Image processing device and image processing method performing 3d measurement
JP5997989B2 (ja) 画像測定装置、その制御方法及び画像測定装置用のプログラム
US9390885B2 (en) Superposition measuring apparatus, superposition measuring method, and superposition measuring system
CN109297413B (zh) 一种大型筒体结构视觉测量方法
US10156548B2 (en) System and method of non-destructive inspection with a visual scanning guide
JP2009053147A (ja) ３次元計測方法および３次元計測装置
US11494888B2 (en) Work terminal, oil leakage detection apparatus, and oil leakage detection method
CN105405115A (zh) 一种影像模组对心系统及其方法
TW419933B (en) Method and apparatus for measuring position errors based on positioning marks, and a machining apparatus for correcting positions based on the results of measuring position errors based on positioning marks
JP5286337B2 (ja) 半導体製造装置の管理装置、及びコンピュータプログラム
CN108536151A (zh) 一种视觉导引的闭环执行系统及视觉导引方法
CN108871194B (zh) 视觉传感器工作功能快速恢复方法
US6961457B2 (en) Bonding apparatus and bonding method
CN106373158B (zh) 自动化图像检测方法
KR101246515B1 (ko) 위치 모니터링 시스템을 통한 융합 의료영상 시스템
CN110455180B (zh) 一种针对多自由度二维调节机构的全路径精度校准方法及系统
JP2021174216A (ja) 設備点検システム、設備点検方法
JP7329427B2 (ja) レンズメータ
CN104880567B (zh) 一种分析仪器的显示方法和分析仪器
CN109579703A (zh) 测量坐标校正方法和系统
WO2021205915A1 (ja) 計測装置、計測システム、計測方法及びプログラム
CN117119325B (zh) 一种面阵传感器相机及其安装位置调节方法
KR101265224B1 (ko) 카메라 영상을 이용한 회전체의 진단방법
CN113641318B (zh) 显示数据校准方法及系统
CN114608463B (zh) 一种激光光轴软校准方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 130012 No. 177, Software 3 Road, Changchun High-tech Development Zone, Jilin Province

Applicant after: Changchun Rongcheng Intelligent Equipment Manufacturing Co.,Ltd.

Applicant after: CHANGCHUN LANZHOU TECHNOLOGY Co.,Ltd.

Applicant after: CHANGCHUN ZHIHE INTELLIGENT PACKAGING EQUIPMENT Co.,Ltd.

Address before: 130012 No. 177, Software 3 Road, Changchun High-tech Development Zone, Jilin Province

Applicant before: CHANGCHUN NORTHERN CHEMICAL FILLING EQUIPMENT Co.,Ltd.

Applicant before: CHANGCHUN LANZHOU TECHNOLOGY Co.,Ltd.

Applicant before: CHANGCHUN ZHIHE INTELLIGENT PACKAGING EQUIPMENT Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914