CN111158669A - 一种图形化编程视觉系统及工业控制方法 - Google Patents
一种图形化编程视觉系统及工业控制方法 Download PDFInfo
- Publication number
- CN111158669A CN111158669A CN201911239588.5A CN201911239588A CN111158669A CN 111158669 A CN111158669 A CN 111158669A CN 201911239588 A CN201911239588 A CN 201911239588A CN 111158669 A CN111158669 A CN 111158669A
- Authority
- CN
- China
- Prior art keywords
- operator
- image
- module
- control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000011161 development Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 230000010365 information processing Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
- G05B19/054—Input/output
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种图形化编程视觉系统及工业控制方法，方法包括以下步骤：通过采集模块采集待处理的图像数据；通过通信模块将待处理的图像数据上传至系统；通过算子模块和逻辑模块对图像数据进行图像处理；其中，所述采集模块、算子模块、逻辑模块和通信模块之间的信息传递和信息处理由内核引擎控制。本发明能够降低技术人员的开发门槛，从而达到降低开发周期和节省人力成本的目的，本发明可以适用于大部分机器视觉应用场合，很好地兼容目前市面上流行的工业相机以及各种通信协议，可以跟各种拥有标准通信协议的外部机械设备进行无缝的结合形成一体式的工业集成系统，快速地部署到工业现场中，可广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种图形化编程视觉系统及工业控制方法。
背景技术
目前，机器视觉广泛应用于印刷、陶瓷、五金、3C、物流等工业领域，针对不同领域的不同视觉需求，视觉开发商研发出各类定制化程度非常高的视觉系统，由此而凸显出以下几点缺点：
(1)由于定制化的原因，各行业之间的视觉控制系统可复制性差，需要重新开发，最终导致整个视觉控制系统的开发周期和人力成本都会大大的增加。
(2)不同行业所用到的机械设备不同，因此一般视觉控制系统需要根据特定设备的通信接口进行重新开发，这也增加了开发成本和人力成本。
(3)一般的视觉控制系统可拓展性差，主要体现在两方面：一方面是当视觉算法需要变动的时候，需要重新编译整个软件。另一方面是当需要控制的设备发生了改变或者设备的通信协议发生了改变的时候，需要重新修改程序。
此外，从使用角度来看，一般的视觉控制系统都需要专业人士通过写代码的形式来完成开发，门槛比较高，对于一般的工厂技术人员来说是一个非常困难的工作。
发明内容
有鉴于此，本发明实施例提供一种图形化编程视觉系统及工业控制方法，可以适用于大部分机器视觉应用场合，不需要针对不同视觉需求进行重新设计，很好地兼容目前市面上流行的工业相机以及各种通信协议，可以跟各种拥有标准通信协议的外部机械设备进行无缝的结合形成一体式的工业集成系统，快速地部署到工业现场中；此外，还能够降低技术人员的开发门槛，从而达到降低开发周期和节省人力成本的目的。
第一方面，本发明实施例提供了一种图形化编程视觉系统，包括：
采集模块，用于采集待处理的图像数据；
算子模块，用于提供图像处理功能，并提供图像处理算法的功能描述以及使用方法介绍；
逻辑模块，用于提供系统中的判断功能、事件循环功能、定时器功能以及线程功能；
通信模块，用于实现系统与外部设备的数据通信，所述通信模块内集成有TCP协议、串口协议和ModBus协议；
内核引擎，用于管理采集模块、算子模块、逻辑模块和通信模块之间的信息传递和信息处理。
进一步，所述采集模块包括：
光源，用于为待采集图像提高亮度；
工业相机，用于采集待处理的图像数据；
所述工业相机包括感光元器件、模数转换模块和输出模块。
进一步，所述通信模块包括TCP通信控件、串口通信控件、ModBus通信控件和PLC通信控件。
进一步，所述算子模块包括二值化算子、保存图像算子、pdf2png算子、形态学算子、形状匹配算子、条纹增强算子、物体检测算子、缩放图像算子、设置掩膜算子、读码模块算子、边缘检测算子、通道获取算子、遍历裁剪算子、查找轮廓算子、单体测量算子、关系测量算子、反馈跟踪算子、显示跟踪框算子、裁剪跟踪框算子、跟踪算子、跟踪框间距算子、重置跟踪器算子。
第二方面，本发明实施例还提供了一种图形化编程视觉系统的工业控制方法，包括以下步骤：
通过采集模块采集待处理的图像数据；
通过通信模块将待处理的图像数据上传至系统；
通过算子模块和逻辑模块对图像数据进行图像处理；
其中，所述采集模块、算子模块、逻辑模块和通信模块之间的信息传递和信息处理由内核引擎控制。
进一步，还包括以下步骤：
将控件从系统工具箱中拖出至开发面板；
通过绘制连线来构建开发面板中的各个控件的数据流向；
其中，所述控件包括常用控件、通信控件、定时器/线程控件和图像处理算子控件。
进一步，当控件为定时器/线程控件时，执行以下步骤：
新建定时器对象/线程对象；
确定定时器的间隔时间，并关联动作组的标识；
根据确定的定时器对象，执行打开定时器和/或关闭定时器的操作；
确定线程的动作组的标识；
根据确定的线程对象，执行打开线程和/或关闭线程的操作。
进一步，还包括以下步骤：
通过二值化算子配置阈值，将彩色图像处理成黑白图像；
通过保存图像算子进行图像保存；
通过pdf2png算子将pdf文件转换成png图像文件；
通过形态学算子对图像进行形态学操作，所述形态学操作包括腐蚀、膨胀、开和闭操作；
通过形状匹配算子创建形状模板，并在待处理图像中找到所述形状模板的位置；
通过条纹增强算子对图像中有条纹的部分进行强化处理；
通过物体检测算子，对图像进行物体检测；
通过缩放图像算子，对图像进行缩放操作；
通过设置掩膜算子，通过ROI区域确定掩模处理后的图像；
通过读码模块算子读取图像中的一维码信息和二维码信息；
通过边缘检测算子提取图像的边缘信息；
通过通道获取算子获取图像的单个通道；
通过遍历裁剪算子对图像进行裁剪处理；
通过查找轮廓算子确定图像的轮廓信息，得到图像的形状；
通过单体测量算子测量图像的轮廓以及对应的形状信息；
通过关系测量算子测量图像的轮廓以及形状之间的位置信息；
通过反馈跟踪算子将判断结果反馈至当前跟踪对象；
通过显示跟踪框算子将当前跟踪框信息显示到图像；
通过裁剪跟踪框算子对当前跟踪框进行裁剪；
通过跟踪算子对待处理图像进行匹配；
通过跟踪框间距算子计算相邻两个跟踪框之间的距离；
通过重置跟踪器算子对跟踪信息进行调试。
进一步，所述通过采集模块采集待处理的图像数据，包括：
创建变量；所述对象的数据类型包括int类型、float类型、double类型和string类型；调用相机/图像源对象；
创建TCP对象、串口对象、ModBus对象或者PLC对象，获取相机/图像源的待处理图像。
进一步，还包括以下步骤：
对算子模块中的任一算子进行下断点调试操作；
对算子模块中的任一算子进行添加注释的操作。
上述本发明实施例中的一个或多个技术方案具有如下优点：本发明通过采集模块采集待处理的图像数据；通过通信模块将待处理的图像数据上传至系统；通过算子模块和逻辑模块对图像数据进行图像处理；其中，所述采集模块、算子模块、逻辑模块和通信模块之间的信息传递和信息处理由内核引擎控制；本发明可以适用于大部分机器视觉应用场合，不需要针对不同视觉需求进行重新设计，很好地兼容目前市面上流行的工业相机以及各种通信协议，可以跟各种拥有标准通信协议的外部机械设备进行无缝的结合形成一体式的工业集成系统，快速地部署到工业现场中；此外，还能够降低技术人员的开发门槛，从而达到降低开发周期和节省人力成本的目的。
附图说明
图1为本发明实施例的系统框架示意图；
图2为本发明实施例的系统组成示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，一般的视觉应用基本流程可以分为图像采集、图像处理和结果输出三个部分组成。通用平台根据这三个部分进行对应的模块设计。其中包括图像采集部分对应采集模块，图像处理部分对应算子、逻辑模块，结果输出部分对应通信模块。其中内核引擎负责管理协调模块之间的信息传递和处理。模块的具体功能如下：
a.采集模块：对视觉传感器进行图像数据的采集。
b.算子模块：提供一系列图像处理算法算子。
c.逻辑模块：提供判断、事件循环、定时器、线程功能。
d.通信模块：集成TCP、串口、ModBus协议等跟外部设备进行通信。
下面详细介绍本申请的系统(在一些实施例中也称为平台)的功能特点：
(一)拖拽式编程
拖拽式编程指的是通过鼠标从平台工具箱中拖出控件到开发面板中，通过连线来实现每一个控件之间数据的有向传递。平台提供四种类型的控件给用户选择，分别是常用控件、通信控件、定时器/线程控件和图像处理算子控件。
具体的，各种控件的介绍如下：
a、常用控件
常用控件包含AG、IF、Switch、变量修改、变量复制、变量运算、模式切换、条件输出、批量赋值等。
(1)AG：在平台拖拽式的编程中，程序是以AG(Action Group)为基本单位来执行的，并且必须设定一个活动AG作为程序运行的入口，具体方法可以右键一个AG，选择“设为活动AG”。把控件拖拽到AG里面，控件之间会自动进行连线，可以通过鼠标移动AG里面的算子进行位置的调整。如果要删除AG里面的算子可以直接按“Del”键。AG之间的连线可以用鼠标框选连线后按“Del”键删除。此外，AG可以接受多个输入，但只有一个输出。
(2)IF：判断控件，接受多个输入，两个输出，分别是True和False输出。双击控件可以添加多个条件，条件的基本运算符号为<、<＝、>、>＝、＝和！＝。而对于多条件来说，条件之间可以选择“与”或“或”关系。假设控件设置了三个条件，分别为C1、C2、C3，它们之间的关系选择“与”关系，那么程序运行到此控件时，会分别计算出上述三个条件的结果分别为V1、V2、V3，这三个结果的值只等于1(True)和0(False)其中的一个值。最后根据条件之间的关系计算出最终的V结果，具体公式如下：
V＝V1&&V2&&V3
V的值也只有1(True)和0(False)之分，但V为1时，系统将执行与接受控件True输出的AG，否则将执行与接受控件False输出的AG。
Switch：Switch控件可以接受多个输入，多个输出。双击控件可以添加多个条件，并且每一个条件绑定一个AG的ID号，当程序运行到此控件时候，会计算出每一个条件的值，计算原理跟IF一样。当此条件结果为1时，程序将会执行跟此条件绑定的AG。
(3)变量修改：提供“自增”、“自减”和“自定义”功能，当修改类型为自增和自减时，不支持自定义类型、Mat类型和Vector类型修改，修改值可以为变量或者常量。当修改类型为自定义时，不支持自定义类型和Vector类型。
(4)变量复制：对内置变量(int、float、double、string)和图像变量(Mat)进行复制，输出一个与源变量类型相同的变量。
(5)变量运算：对内置变量(int、float、double)进行加减乘除的基本运行，得出一个新的变量。
(6)模式切换：主要提供给用户使用，考虑到在程序里面出现多种模式的情况下，用户需要在程序运行之前选择对应的模式。此操作面板可以添加多种模式，模式之间可以选择是否互斥，插件最终输出的是由0和1组成的字符串，0为模式未选中，1为模式选中。
(7)条件输出：双击每一列的表头绑定变量，只能绑定常用变量，当每一行数值分别等于对应表头绑定变量的数值，会输出预设的字符串，预设值为对应行的最后一个字符串数值。此插件是IF插件的一个扩展版本，省去了添加多个IF条件的同时，可以输出预设的字符串。
(8)批量赋值：此插件一般与“数据库”插件搭配使用。使用步骤如下：1、绑定表头的输入值；2、添加行并绑定每一行的修改变量(int类型)；3、在输入值一列下编辑每一行的"对应值"。当输入值＝"对应值"时，对应行的修改变量将被修改，修改规则为：修改变量＝修改变量+递增值。4、编辑递增值一列下每一行数值。特殊情况：若输入值＝-1，所有的修改变量将被赋值为零；若输入值＝NULL，跳过本次插件操作。
(9)延时：双击控件，可以输入以毫秒为单位的数字N，当程序运行到此控件时，将会延时N毫秒，然后继续执行下一个AG。此外，延时可以分为阻塞式延时和非阻塞式延时，两者之间的区别在于阻塞式延时在延时的过程中会中断系统内部信号的传递，直到延时结束后恢复。
b、通信控件
包含TCP、串口、ModBus和PLC通信控件，在使用此类控件时候必须在初始化窗口中初始化相应的通信对象。
(1)TCP发送：双击控件，在弹出的对话框中选择TCP对象，选择发送的内容。当对象为服务器时，填写所接受信息的客户端IP。
(2)串口发送：双击控件，在弹出的对话框中选择串口对象，选择发送的内容。
(3)ModBus读写：双击控件，在弹出的对话框中选择ModBus对象，选择寄存器/线圈读或写操作，根据操作不同输入指定的参数。
(4)PLC通信：系统提供欧姆龙，三菱，西门子三种基本的PLC通信对象。双击控件，在弹出的对话框中选择PLC对象，选择发送的内容。
c、定时器/线程控件
使用定时器/线程工具必须在初始化窗口新建定时器/线程对象。
(1)定时器：在新建定时器对象时，需要输入以毫秒为单位的间隔时间T和关联AG的id值V，双击控件，选择定时器对象，可选的操作有打开定时器和关闭定时器。当定时器打开后，程序会每隔T毫秒执行id号为V的AG内容。
(2)线程：在新建线程对象时候，需要输入关联AG的id值V，双击控件，选择线程对象，可选的操作有打开线程和关闭线程。当线程打开后，程序会开辟新的子线程执行id号为V的AG内容。
d、图像处理算子控件
双击控件弹出设置窗口，每一个算子的设置窗口都有该算子的具体描述和使用方法，下面通过表格形式简单罗列其中一部分算子的主要功能。
(1)常用的算子如表1所示：
表1
(2)轮廓分析的算子如表2所示：
表2
(3)跟踪模块的算子如表3所示：
表3
(二)新建对象功能
在初始化窗口中可以新建变量、相机/图像源对象、TCP对象、串口对象、ModBus对象和PLC对象。
a.新建变量
(1)常规类型
常规变量包括：int、float、double和string类型。
(2)自定义类型
自定义类型是名字以DL_开头的对象，以插件的形式载入，在安装目录的CustomClassPlugins文件夹里面。
(3)图像类型
图像变量创建的方式有两种，第一种是通过载入图片创建，第二种是通过宽度、高度和通道数来创建。
b.相机/图像源对象
(1)相机对象
支持相机品牌有：迈德威视、海康威视、海康监控、Basler相机和免驱相机，触发方式选择硬触发时候，必须关联一个AG,当相机获取了到硬触发信号的时候就会执行关联AG。创建完相机对象后可以通过右键菜单的功能选项对相机进行操作。
(2)图像源对象
图像源类型有图片目录和视频两种，当选择图片目录时候，如果图片目录中的图片的命名方式具有规律性，软件会以这种规律性的顺序载入图片，否则以随机方式载入图片。创建完图像源对象后可以通过右键菜单的功能选项对图像源进行操作。
c.TCP对象
创建时可选择客户端或服务端，当类型选择为客户端时候，必须输入所要连接服务器的IP。无论是客户端还是服务端，当接收到消息时候会执行所关联AG的内容。
d.串口对象
创建时输入对象名字，COM口号，比特率，奇偶校验码等信息。当接收到串口消息时候会执行所关联AG的内容。
e.ModBus对象
创建时输入对象名字，从站IP地址，端口号和站点。
f.PLC对象
支持创建欧姆龙、三菱和西门子三种主流PLC对象。
(三)调试功能
平台支持对某一个图像处理算子进行下断点进行调试，具体步骤如下：
a.右键某一个算子，在弹出的菜单中选择[设置断点]，此时算子的背景颜色变成红色，设置断点成功。
b.点击工具栏的[调试]按钮，此时程序会停止在断点算子中，此时算子插件背景颜色变成蓝色。
c.点击工具栏的[单步]按钮，程序会执行单个算子，并且该算子的输出结果将在调试区域里面显示。
(四)注释功能
注释功能可以对一系列算子添加注释，具体步骤如下：
a.选中需要添加的算子或者AG(选择多个需要长按Ctrl键)，然后在编程区域空白地方右键弹出菜单，选中添加注释，弹出设置对话框，输入注释标题，注释内容和选择提醒颜色。
b.单击辅助区域的[注释]选项卡，会出现刚才所新建注释的内容。当勾选对应的注释后，对应的算子右下角会出现标识。
如图2所示，本申请的集成系统由软件与硬件两大部分组成，其中软件部分为图形化编程通用视觉平台，硬件部分为由两大部分组成，一个是光学成像系统，里面包含光源和工业相机。另外一个是外设系统，里面的包含机械设备的控制系统以及机械执行机构。
整个集成系统的运作流程如下：
a.用户通过鼠标键盘交互在通用平台下，通过拖拽算子控件和控件之间连线的方式进行图形化编程，其中包括图像处理算子的组合，逻辑的判断，工业相机品牌的选择与参数设置，外部设备通信协议的选择与参数设置，最终形成了一个基于过程的流程图。
b.从a步骤生成的流程图将会输送到通用平台内置的“算子/逻辑解析器”中，通过解析生成一系列的指令集，其中包含相机控制指令，图像处理指令和设备控制指令。然后这一系列的指令将放在指令队列里面输出到平台的内核引擎中等待执行。
c.从步骤b中获取到指令队列之后，内核引擎将从指令队列中逐一将指令取出，并根据指令的种类来进行相应的计算控制。
d.当指令为相机请求指令时，工业相机感光元器件采集光信号，光信号信息将输出到模数转换模块，经过模数转换模块处理后输出数字信号到输出模块当中，最终再经过输出模块的去燥处理输出真正的图像数据到通用平台的采集模块中。
e.当指令为图像处理指令时，平台系统将从采集模块中提取出目标图像，通过数据流的方式将图像数据依次经过图像处理算子进行计算处理，最终得出计算结果，并将计算结果存储到寄存器中。
f.当指令为设备控制指令时，平台系统将从寄存器中取出图像计算结果，并将计算结果与控制指令进行绑定，通过平台的通信模块将指令发送到外部设备中去。
g.外部设备接收到控制指令之后，通过控制模块的解析转化成控制机构的指令，从而控制机械机构进行任务的完成。在完成任务的过程中，设备将实时反馈设备运行状态给通用平台，通用平台会根据状态信息进行显示或者进一步的数据处理和控制。
h.重复c、d、e、f过程，直到指令队列为空时，系统运行结束。
综上所述，本发明一种图形化编程视觉系统及工业控制方法具有以下优点：
(1)平台集成了多种基本的图像处理算子，可以解决工业上常见的视觉检测问题，如缺陷检测、定位测量、字符识别、有无检测等。通过拖拽式的编程可以让使用者针对不同的视觉需求进行各种图像处理算子的组合来完成特定的功能，整个过程不需要编写一句代码，只需要构建流程图。这样一来大大地缩短了开发周期和降低了开发的门槛。下图为平台的开发界面：
(2)平台集成了各种工业相机的驱动，可以控制大多数品牌的工业相机。
(3)平台内置各种设备的通信协议，其中包括最基本的TCP、串口、ModBus协议，同时也集成了各种品牌PLC(欧姆龙、三菱、西门子等)，品牌机器人(ABB、安川、库卡等)的通信协议。
(4)可以以插件的形式通过对平台进行二次开发来拓展功能，从而突出了平台的可拓展性好的特点。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种图形化编程视觉系统，其特征在于：包括：
采集模块，用于采集待处理的图像数据；
算子模块，用于提供图像处理功能，并提供图像处理算法的功能描述以及使用方法介绍；
逻辑模块，用于提供系统中的判断功能、事件循环功能、定时器功能以及线程功能；
通信模块，用于实现系统与外部设备的数据通信，所述通信模块内集成有TCP协议、串口协议和ModBus协议；
内核引擎，用于管理采集模块、算子模块、逻辑模块和通信模块之间的信息传递和信息处理。
2.根据权利要求1所述的一种图形化编程视觉系统，其特征在于：所述采集模块包括：
光源，用于为待采集图像提高亮度；
工业相机，用于采集待处理的图像数据；
所述工业相机包括感光元器件、模数转换模块和输出模块。
3.根据权利要求1所述的一种图形化编程视觉系统，其特征在于：所述通信模块包括TCP通信控件、串口通信控件、ModBus通信控件和PLC通信控件。
4.根据权利要求1所述的一种图形化编程视觉系统，其特征在于：所述算子模块包括二值化算子、保存图像算子、pdf2png算子、形态学算子、形状匹配算子、条纹增强算子、物体检测算子、缩放图像算子、设置掩膜算子、读码模块算子、边缘检测算子、通道获取算子、遍历裁剪算子、查找轮廓算子、单体测量算子、关系测量算子、反馈跟踪算子、显示跟踪框算子、裁剪跟踪框算子、跟踪算子、跟踪框间距算子、重置跟踪器算子。
5.一种图形化编程视觉系统的工业控制方法，其特征在于：包括以下步骤：
通过采集模块采集待处理的图像数据；
通过通信模块将待处理的图像数据上传至系统；
通过算子模块和逻辑模块对图像数据进行图像处理；
其中，所述采集模块、算子模块、逻辑模块和通信模块之间的信息传递和信息处理由内核引擎控制。
6.根据权利要求5所述的一种图形化编程视觉系统的工业控制方法，其特征在于：还包括以下步骤：
将控件从系统工具箱中拖出至开发面板；
通过绘制连线来构建开发面板中的各个控件的数据流向；
其中，所述控件包括常用控件、通信控件、定时器/线程控件和图像处理算子控件。
7.根据权利要求6所述的一种图形化编程视觉系统的工业控制方法，其特征在于：当控件为定时器/线程控件时，执行以下步骤：
新建定时器对象/线程对象；
确定定时器的间隔时间，并关联动作组的标识；
根据确定的定时器对象，执行打开定时器和/或关闭定时器的操作；
确定线程的动作组的标识；
根据确定的线程对象，执行打开线程和/或关闭线程的操作。
8.根据权利要求5所述的一种图形化编程视觉系统的工业控制方法，其特征在于：还包括以下步骤：
通过二值化算子配置阈值，将彩色图像处理成黑白图像；
通过保存图像算子进行图像保存；
通过pdf2png算子将pdf文件转换成png图像文件；
通过形态学算子对图像进行形态学操作，所述形态学操作包括腐蚀、膨胀、开和闭操作；
通过形状匹配算子创建形状模板，并在待处理图像中找到所述形状模板的位置；
通过条纹增强算子对图像中有条纹的部分进行强化处理；
通过物体检测算子，对图像进行物体检测；
通过缩放图像算子，对图像进行缩放操作；
通过设置掩膜算子，通过ROI区域确定掩模处理后的图像；
通过读码模块算子读取图像中的一维码信息和二维码信息；
通过边缘检测算子提取图像的边缘信息；
通过通道获取算子获取图像的单个通道；
通过遍历裁剪算子对图像进行裁剪处理；
通过查找轮廓算子确定图像的轮廓信息，得到图像的形状；
通过单体测量算子测量图像的轮廓以及对应的形状信息；
通过关系测量算子测量图像的轮廓以及形状之间的位置信息；
通过反馈跟踪算子将判断结果反馈至当前跟踪对象；
通过显示跟踪框算子将当前跟踪框信息显示到图像；
通过裁剪跟踪框算子对当前跟踪框进行裁剪；
通过跟踪算子对待处理图像进行匹配；
通过跟踪框间距算子计算相邻两个跟踪框之间的距离；
通过重置跟踪器算子对跟踪信息进行调试。
9.根据权利要求5所述的一种图形化编程视觉系统的工业控制方法，其特征在于：所述通过采集模块采集待处理的图像数据，包括：
创建变量；所述对象的数据类型包括int类型、float类型、double类型和string类型；
调用相机/图像源对象；
创建TCP对象、串口对象、ModBus对象或者PLC对象，获取相机/图像源的待处理图像。
10.根据权利要求5-9任一项所述的一种图形化编程视觉系统的工业控制方法，其特征在于：还包括以下步骤：
对算子模块中的任一算子进行下断点调试操作；
对算子模块中的任一算子进行添加注释的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911239588.5A CN111158669A (zh) | 2019-12-06 | 2019-12-06 | 一种图形化编程视觉系统及工业控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911239588.5A CN111158669A (zh) | 2019-12-06 | 2019-12-06 | 一种图形化编程视觉系统及工业控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111158669A true CN111158669A (zh) | 2020-05-15 |
Family
ID=70556442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911239588.5A Pending CN111158669A (zh) | 2019-12-06 | 2019-12-06 | 一种图形化编程视觉系统及工业控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111158669A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764899A (zh) * | 2021-01-20 | 2021-05-07 | 深圳橙子自动化有限公司 | 基于应用程序处理视觉任务的方法及装置 |
| CN115543325A (zh) * | 2022-12-05 | 2022-12-30 | 四川振函创新智能科技有限公司 | 一种图形化编程的界面布局优化方法、系统、终端及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6763515B1 (en) * | 2000-06-05 | 2004-07-13 | National Instruments Corporation | System and method for automatically generating a graphical program to perform an image processing algorithm |
| CN102929620A (zh) * | 2012-10-19 | 2013-02-13 | 杭州信雅达科技有限公司 | 一种柔性测控平台系统及开发方法 |
| CN104378560A (zh) * | 2014-10-16 | 2015-02-25 | 苏州佑瑞检测技术有限公司 | 一种基于cmos相机的图形采集系统 |
| CN104993984A (zh) * | 2015-06-05 | 2015-10-21 | 西安交通大学 | 一种物联网视觉智能感知系统及方法 |
| CN105718271A (zh) * | 2016-02-15 | 2016-06-29 | 福州觉感视觉软件科技有限公司 | 一种机器视觉智能检测系统 |
| CN106598596A (zh) * | 2016-12-14 | 2017-04-26 | 天津光电通信技术有限公司 | 基于Andorid平台的OpenCL图像处理方法 |
| CN106708510A (zh) * | 2016-11-28 | 2017-05-24 | 华南理工大学 | 一种基于图形化组态的工业智能相机软件体系结构及方法 |
| CN106845163A (zh) * | 2017-03-14 | 2017-06-13 | 广东尚菱视界科技有限公司 | 一种通用视觉检测系统的设定方法 |
| CN108696727A (zh) * | 2018-08-10 | 2018-10-23 | 杭州言曼科技有限公司 | 工业相机 |
| CN109542422A (zh) * | 2018-11-21 | 2019-03-29 | 成都聚维合科技有限公司 | 一种实现可视图形化编程的方法 |
| CN109871204A (zh) * | 2019-02-13 | 2019-06-11 | 智能佳（北京）机器人有限公司 | 文字可视化视觉编程集成装置、处理设备及存储介质 |
| CN109995578A (zh) * | 2019-02-28 | 2019-07-09 | 珠海市横琴新区芯云平台科技有限公司 | 一种用于开放式物联平台的管控方法和装置 |
-
2019
- 2019-12-06 CN CN201911239588.5A patent/CN111158669A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6763515B1 (en) * | 2000-06-05 | 2004-07-13 | National Instruments Corporation | System and method for automatically generating a graphical program to perform an image processing algorithm |
| CN102929620A (zh) * | 2012-10-19 | 2013-02-13 | 杭州信雅达科技有限公司 | 一种柔性测控平台系统及开发方法 |
| CN104378560A (zh) * | 2014-10-16 | 2015-02-25 | 苏州佑瑞检测技术有限公司 | 一种基于cmos相机的图形采集系统 |
| CN104993984A (zh) * | 2015-06-05 | 2015-10-21 | 西安交通大学 | 一种物联网视觉智能感知系统及方法 |
| CN105718271A (zh) * | 2016-02-15 | 2016-06-29 | 福州觉感视觉软件科技有限公司 | 一种机器视觉智能检测系统 |
| CN106708510A (zh) * | 2016-11-28 | 2017-05-24 | 华南理工大学 | 一种基于图形化组态的工业智能相机软件体系结构及方法 |
| CN106598596A (zh) * | 2016-12-14 | 2017-04-26 | 天津光电通信技术有限公司 | 基于Andorid平台的OpenCL图像处理方法 |
| CN106845163A (zh) * | 2017-03-14 | 2017-06-13 | 广东尚菱视界科技有限公司 | 一种通用视觉检测系统的设定方法 |
| CN108696727A (zh) * | 2018-08-10 | 2018-10-23 | 杭州言曼科技有限公司 | 工业相机 |
| CN109542422A (zh) * | 2018-11-21 | 2019-03-29 | 成都聚维合科技有限公司 | 一种实现可视图形化编程的方法 |
| CN109871204A (zh) * | 2019-02-13 | 2019-06-11 | 智能佳（北京）机器人有限公司 | 文字可视化视觉编程集成装置、处理设备及存储介质 |
| CN109995578A (zh) * | 2019-02-28 | 2019-07-09 | 珠海市横琴新区芯云平台科技有限公司 | 一种用于开放式物联平台的管控方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764899A (zh) * | 2021-01-20 | 2021-05-07 | 深圳橙子自动化有限公司 | 基于应用程序处理视觉任务的方法及装置 |
| CN115543325A (zh) * | 2022-12-05 | 2022-12-30 | 四川振函创新智能科技有限公司 | 一种图形化编程的界面布局优化方法、系统、终端及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ferreira et al. | ImageJ user guide | |
| Dixon et al. | Prefab: implementing advanced behaviors using pixel-based reverse engineering of interface structure | |
| CN1805542B (zh) | 在视觉系统中用于编制中断操作程序的系统和方法 | |
| US5742504A (en) | Method and system for quickly developing application software for use in a machine vision system | |
| US7394926B2 (en) | Magnified machine vision user interface | |
| CN107203473A (zh) | 自动扩展接口测试用例的自动化测试系统与方法 | |
| CN114461122B (zh) | Rpa元素拾取同屏切换方法及系统 | |
| US20070061744A1 (en) | Extensible Visual Effects On Active Content In User Interfaces | |
| EP3291081A1 (en) | Apparatuses, systems, and methods for providing a visual program for machine vision systems | |
| KR102430090B1 (ko) | 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치 | |
| CN111158669A (zh) | 一种图形化编程视觉系统及工业控制方法 | |
| CN114416516A (zh) | 基于截图的测试用例及测试脚本生成方法、系统及介质 | |
| CN117573006B (zh) | 用于rpa屏幕界面元素批量拾取的方法及系统 | |
| CN116645550A (zh) | 一种基于测试用例的机载显示系统通用化图像识别方法 | |
| CN110969377B (zh) | 一种物流包裹信息管理系统创建方法、装置及电子设备 | |
| JP3967885B2 (ja) | 画像処理装置 | |
| JP2003526168A (ja) | 画像処理アプリケーションを開発するための方法およびシステム | |
| CN115631374A (zh) | 控件操作方法、控件检测模型的训练方法、装置和设备 | |
| CN104423964A (zh) | 用于确定可视化的可信性的方法和系统 | |
| JP5334124B2 (ja) | 情報処理装置、その制御方法、及び、プログラム | |
| US20040169684A1 (en) | Linking images for navigation | |
| US20220350620A1 (en) | Industrial ethernet configuration tool with preview capabilities | |
| Eckstein et al. | Interactive data inspection and program development for computer vision | |
| WO2024085123A1 (ja) | 開発システム、方法、およびプログラム | |
| US12118196B2 (en) | Inspection setting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |