CN106293748A - 一种图形化交互式机器视觉系统及其工作方法 - Google Patents

Abstract

本发明公开了一种图形化交互式机器视觉系统，克服了传统的机器视觉只能通过编程的方式开发系统的不足，本发明提供了一种流程图方式快速搭建系统，能够快速建立机器视觉系统，提高了开发效率，节省了人力成本，可以广泛应用在机器人、自动化设备、3C生产设备、食品包装等行业。

Description

一种图形化交互式机器视觉系统及其工作方法

技术领域：

本发明属于技术机器视觉领域，具体是涉及一种图形化交互式机器视觉系统及其工作方法。

背景技术：

机器视觉就是用机器代替人眼来做测量和判断，是人工智能正在快速发展的一个分支，机器视觉在机器人、自动化设备和自动化流水线中具有重要的重要。机器视觉上世纪90年代初才进入中国，与国外有近20年的差距，由于通用机器视觉底层发明算法投入大、周期长，国内很少有企业涉足，与机器视觉技术相关的公司以代理国外视觉产品和系统集成为主。国外的机器视觉技术已有40多年的历史，从相机、光源、镜头到视觉发明都有成熟的产品，如Basler、AVT的相机；富士、松下的镜头；CCS、NI的光源；Cognex、MvTec、Keyence的发明等，其中视觉发明是最为关键和核心的部分。

传统的机器视觉系统都需要通过编写程序调用底层的算法库实现机器视觉系统在自动化系统中的应用。例如德国MVT公司的Halcon发明需要调用底层的算法库构建机器视觉系统，美国的康耐视公司的Visionpro发明虽然提供的QuickBuilder发明通过连线的方式快速搭建机器视觉系统，但连线的方式是的工程的逻辑关系不清晰，模块间的连线使得系统的灵活性受到制约。

发明内容：

为此，本发明针对上述问题提出了一种利用嵌入式计算机系统、工业相机系统和图形化交互式发明形成的灵活方面的工业机器视觉系统及其工作方法。本发明可以应用在机器人、自动化装备、3C生产设备、食品包装等行业。

为达到上述目的，本发明的技术方案如下：

一种图形化交互式机器视觉系统，包括编辑模式、运行模式以及图形化用户界面。

所述编辑模式包括流程编辑设置、页面编辑设置和公共参数设置，在所述编辑模式下，流程编辑设置页和页面编辑设置页可以进行互相切换。

所述运行模式为软件运行，所述运行模式根据所述编辑模式的设置进行自动的运行，所述编辑模式和所述运行模式可以进行互相切换。

所述图形化用户界面包括组件列表视图、组件信息视图、流程图视图、图像显示视图、单元工具结果视图、错误列表视图、菜单栏、工具栏以及状态栏。

作为上述技术方案的优选，所述编辑模式主要包括：

流程编辑模块，所述流程编辑模块是主体模块，所述流程编辑模块用于对流程图进行设计，并对设计好的流程图进行运行测试。

组件管理模块，所述组件管理模块用于提供设计流程所需的所有流程工具集，并提供各种工具所需的参数工具集。

即时显示模块，所述即时显示模块用于在对流程工具进行修改时，即时的显示出当前工具的运行结果，并对辅助参数进行设置。

页面编辑模块，所述页面编辑模块用于在编辑模式下对在运行模式下的显示页面及显示页面上的显示内容进行编辑和设置。

工程管理模块，所述工程管理模块用于对工程进行管理，包括对工程的公共设置、页面参数设置和设定设置的保存和加载，工程下的若干设定的操作。

自定义变量模块，所述自定义变量模块用于对根据需要设置的各种自定义变量进行增删、修改和设置。

数据管理模块，所述数据管理模块用于对自定义变量、工具结果变量、工具参数变量进行统一管理，并为其他模块提供所需的数据。

权限管理模块，所述权限管理模块用于设置用户的权限，包括用户对不同区域的查看和管理权限。

通信模块，所述通信模块用于完成系统与上位机之间的通信设置。

发明错误处理模块，所述发明错误处理模块用于处理发明运行过程中出现的各种错误和异常情况，以及错误和异常的纠错恢复机制。

工作记录分析模块，所述工作记录分析模块用于设置对工作记录的保存、复运行和性能分析，NG情况集中处理和复测。

作为上述技术方案的优选，所述工程管理模块中：

所述操作包括增加、删除、剪切、复制、粘贴和设定切换。

作为上述技术方案的优选，所述数据管理模块中：

所述管理包括对数据的分发、访问、保存和恢复。

作为上述技术方案的优选，所述运行模式主要包括：

运行模式模块，所述运行模式模块用于在运行模式下自动生成显示页面，并根据当前的运行情况实时的修改显示页面的内容。

一种图像化交互式机器视觉系统的工作方法，包括如下步骤：

S1：通过菜单栏中的项目设置页设置相机、光源控制器、注册图像、自定义变量、网络设置以及用户管理信息。

S2：根据实际项目的需求，选择流程图中的分支数量，然后在分支中添加相机、视觉工具模块，并在弹出的参数设置对话框中设置合适的参数。

S3：通过调试模式、断点设置、连续调试方式使得流程图能够顺利进行。

S4：通过布局切换设置在屏幕上显示的窗口数量及每个窗口显示的图元显示工具，流程图调试通过后，在运行模式下接受上位机指令运行。

本发明的有益效果在于：本发明公开了一种图形化交互式机器视觉系统，克服了传统的机器视觉只能通过编程的方式开发系统的不足，本发明提供了一种流程图方式快速搭建系统，能够快速建立机器视觉系统，提高了开发效率，节省了人力成本，可以广泛应用在机器人、自动化设备、3C生产设备、食品包装等行业。

附图说明：

以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。其中：

图1为本发明一个实施例的图形化用户界面示意图；

图2为本发明一个实施例的主框架示意图；

图3为本发明一个实施例的机器视觉系统的两种模式及该模式下的组织架构图；

图4为本发明一个实施例的各个模块开发时的优先级和模块的排序示意图；

图5为本发明一个实施例的图形化交互式机器视觉系统内各个模块的逻辑关系图；

图6为本发明一个实施例的页面显示界面示意图；

图7为本发明一个实施例的工作记录分析模块保存数据对象的示意图；

图8为本发明一个实施例的工作记录分析模块保存工作过程的示意图。

图中符号说明：

1-组件列表视图，2-组件信息视图，3-流程图视图，4-图像显示视图，5-单元工具结果视图，6-错误列表视图，7-菜单栏，8-工具栏，9-状态栏，10-显示页面尺寸大小及列表，11-显示页面设置，12-显示窗口。

具体实施方式：

如图1、图2所示，本发明的一种图形化交互式机器视觉系统，包括：编辑模式、运行模式以及图形化用户界面。

本发明的所述图形化用户界面包括组件列表视图1、组件信息视图2、流程图视图3、图像显示视图4、单元工具结果视图5、错误列表视图6、菜单栏7、工具栏8以及状态栏9等。

如图3所示，从设置模式的角度来对本发明的架构进行划分，可以分为两块，分别是编辑模式和运行模式。在编辑模式下，从设置对象角度来划分，编辑模式还可以分为三块，分别为流程编辑设置、页面编辑设置和公共参数设置。在所述编辑模式下，流程编辑设置页和页面编辑设置页可以进行互相切换。

所述运行模式为软件运行，所述运行模式根据所述编辑模式的设置进行自动的运行，基本不需要人为的做任何干预和设置。所述编辑模式和所述运行模式可以进行互相切换。

如图4、图5所示，本发明的提供的主要模块包括：流程编辑模块、组件管理模块、即时显示模块、页面编辑模块、运行模式模块、工程管理模块、自定义变量模块、数据管理模块、权限管理模块、通信模块、发明错误处理模块、工作记录分析模块。图4所示为各个模块开发时的优先级和模块的排序相同，排名靠前的优先去完成，各个模块以单独组成一个可自运行的最小系统，后面的模块属于功能增强模块，全部完成后，可以组成一个功能基本完备的发明系统。

所述编辑模式主要包括：

流程编辑模块，所述流程编辑模块是发明的主体模块，所述流程编辑模块用于对流程图进行设计，并对设计好的流程图进行运行测试。

组件管理模块，所述组件管理模块用于提供设计流程所需的所有流程工具集，并提供各种工具所需的参数工具集。

即时显示模块，所述即时显示模块用于在对流程工具进行修改时，即时的显示出当前工具的运行结果，并对辅助参数进行设置。

页面编辑模块，所述页面编辑模块用于在编辑模式下对在运行模式下的显示页面及显示页面上的显示内容进行编辑和设置。

工程管理模块，所述工程管理模块用于对工程进行管理，包括对工程的公共设置、页面参数设置和设定设置的保存和加载，工程下的若干设定的操作。所述操作包括增加、删除、剪切、复制、粘贴和设定切换。

自定义变量模块，所述自定义变量模块用于对根据需要设置的各种自定义变量进行增删、修改和设置。

数据管理模块，所述数据管理模块用于对自定义变量、工具结果变量、工具参数变量进行统一管理，并为其他模块提供所需的数据。所述管理包括对数据的分发、访问、保存和恢复。

权限管理模块，所述权限管理模块用于设置用户的权限，包括用户对不同区域的查看和管理权限。

通信模块，所述通信模块用于完成系统与上位机之间的通信设置。

发明错误处理模块，所述发明错误处理模块用于处理发明运行过程中出现的各种错误和异常情况，以及错误和异常的纠错恢复机制。

工作记录分析模块，所述工作记录分析模块用于设置对工作记录的保存、复运行和性能分析，NG情况集中处理和复测。

所述运行模式主要包括：

运行模式模块，所述运行模式模块用于在运行模式下自动生成显示页面，并根据当前的运行情况实时的修改显示页面的内容。

本实施例给出各个功能模块的具体说明如下：

流程编辑设置模块是以流程图的方式将各种视觉工具进行组织并展示出来，实现以下基本功能：

(1)流程内的每一个工具都有唯一的一个ID，ID为一个四位数，ID号可以自动分配，也可以由用户指定，用户指定时系统检测该ID是否可用；

(2)在该模块内，可以对各个工具进行增删、剪切、复制、粘贴、修改和移动位置；

(3)流程图保存当前使用的最大ID，当新增一个工具时，该工具ID为最大ID加1，当删除一个工具后，其他工具的ID保持不变；

(4)可以单个选中某个工具，即时显示模块自动显示该工具的处理结果；

(5)通过配合Ctrl键可以复选多个工具，可以对多个工具进行剪切、复制、粘贴、移位和组化；

(6)右键点属性或双击流程图中的单个工具，弹出该工具的属性设置窗口，在该窗口中可以对该工具的参数进行修改和保存；

(7)支持对组加锁，根据权限管理模块的设置以及当前用户，决定是否对加锁的组进行组内部展开；

(8)对于设置正确、没有错误的流程图，可以对整个流程进行单次运行、多次连续运行，也可以进行单步运行，本次运行所涉及的所有工具图标被标示出来，并对计算OK和NG的工具加以区别，在运行中由数据管理模块更新和保存被修改的数据；

(9)分支通过设置评价值来判断走入哪个分支，评价值可以是全局变量、局部变量、工具结果数据；

(10)根据一级分支的个数，自动为主程序创建多少个线程，线程访问共有数据时要做好临界保护，防止访问冲突；

(11)可以在其流程中某个工具上设置断点，当运行到设置了断点的工具时自动停止；当想要查看某个工具的运行结果时，请在该工具的下一工具上设置断点；

(12)在流程图运行时，数据管理模块自动的更新和保存由其管理的本次运行涉及的所有数据，涉及对象包括所有工具的结果数据，自定义的全局变量、局部变量和图像变量等，可以在数据管理模块对应的界面窗口中查看所有数据的当前值。

本发明中的流程图采用MindFusion流程图控件进行开发，流程编辑设置模块的界面设计基本标准是流程中的各个工具图标排放整齐，各个工具之间保持适当的距离，不拥挤不遮挡。

组件管理模块是对流程编辑和工具设置中所用的各种工具进行组织管理的模块，其组织管理的组件包括流程工具列表、工具结果数据列表、变量列表、工具设置参数列表、计算公式列表和命令列表，其中工具设置参数列表和工具结果数据列表是工具列表的属性参数，只是为了方便使用将它们单列出来。这些列表中的每一个元素都是本模块的子模块，都需要对它们的属性、方法和界面进行详细设计。

组件管理模块为了用户使用上的方便，当不同的工具进行编辑的时候，显示不同的其可能用到的列表，用户可以直接将列表中的选项拖拽到工具属性编辑页面的对应输入框中，避免输入带来的不方便和输入错误。工具结果数据列表、变量列表和工具设置参数列表中的各种数据值从数据管理模块中获取。

即时显示模块是辅助流程编辑设置模块使用的，在模块界面的显示区域里显示当前正在处理的图像以及处理结果。即时显示模块的显示区域可以通过鼠标滚轮的滚动对图像进行局部的放大和缩小，观察图像的细节；在流程编辑模块中，当用户用鼠标选中流程内的一个工具时，即时显示模块将自动的显示该工具的处理图像以及处理结果；当流程图被运行过后，各种处理数据被数据管理模块暂存，点击该工具时，将自动加载上次对图像的处理结果，修改工具的属性，也可以即时看到修改参数后的处理结果。

页面编辑模块是为了应对图像处理的需要，将处理的结果以图像的方式直观的显示出来。页面编辑模块是编辑模式下页面编辑设置页面的主模块，也是唯一模块。

页面编辑模块的主要功能是设置在发明运行模式下如何显示图像的处理结果，其功能如下：允许根据需要设置单屏显示和多屏显示，在多屏显示的情况下，各个屏的大小需要是相同的；显示屏有唯一的编号，可以根据编号将不同的显示屏切换到前端，可以对显示在前端的显示屏进行编辑和设置；显示屏的大小可以是全屏，也可以是只占屏幕的一部分；显示屏的显示图层分两层，底层是图像显示层，上层是信息显示层。图像显示层显示图像和图元，信息显示屏显示字符串和数据信息；

在每个显示屏中可以设置单个显示窗口，也可以设置显示多个显示窗口；图像显示层是位于显示屏的底层的显示窗口上的，信息显示层是属于整个显示屏的上层的；每个显示窗口的位置和大小可以由用户进行设置，每个显示窗口用于显示一张图像及图像上的多个图元，显示的图像和图元也由用户进行设置；显示屏的前端显示切换由流程图中的指令发行工具发送对应指令来完成；显示屏的刷新和显示由流程图中的图解工具来完成。图6为页面显示界面的实例，该显示页面上包括显示页面尺寸大小及列表10、显示页面设置11、显示窗口12，通过该模块将显示界面划分为4个显示窗12。

通信模块主要完成本发明系统与上位机之间的通信设置，内容包括制定与上位机之间所有通信协议及其格式，通信的对象包括指令、变量数据、图像数据、字符串等。

本发明的通信模块使用TCP/IP通信模式，采用windows提供的WinSock来进行开发，使用TCP协议，工作在服务器模式下，需要设置的内容包括以下：Socket通信设置：本地IP和本地端口号；客户端IP和客户端端口号；通信协议：TCP协议；数据格式设置。

为了分辨不同的数据格式，在发送信息前统一加上不同的固定长度的格式符号和信息长度，信息格式为符号+信息长度+信息体，而在信息体中当有多个不同的信息区域时，中间可以用英文的逗号进行分隔。其中格式符号为固定的三个字符，信息长度是其后信息体的长度。

信息发送接收主要包括以下几种类型：

接收指令：

功能：接收上位机端发送的指令并执行，并将执行结果返回给上位机端；

示例：修改全局变量值、程序重新执行、显示页面切换等；

备注：

指令可以由上位机发给送本发明执行的命令，由上位机端发送到本发明端。

也可以在流程图中设置指令发行工具，由流程图运行到该工具时，发送到本发明端。

除系统指令外，还可以编制自定义指令，也就是参数固定的系统指令，如IW,$Branch,100。

发送指令(ACK/NACK)：

功能：收到上位机发送的指令，对指令进行解析，查看指令中是否需要回复，如果需要回复，则根据当前发明状态回复ACK或NACK信息；

示例：收到上位机发送的指令后，判断当前发明是否可以对指令进行执行，如果可以则回复ACK信息，如果当前发明出现故障或由于其他原因，不能对指令进行执行，则回复NACK信息；这样，上位机收到ACK后，就可以进入等待模式，等待本发明发送执行的结果，如果收到NACK，则可以给用户提示错误信息。

本发明的错误处理模块中：本发明的运行时错误从错误预防和处理角度来看，可以分为三层，分别为底层类库级错误、中层模块级错误和高层发明级错误。对于我们的发明来说，最主要的运算全部是围绕流程图的运行而展开的，因此错误处理是指在流程图运行的各个层次所产生的错误。

发明中的错误是分散在发明内部的各个层次各种地方的，最好的错误处理方法是发生时即处理，错误发生时的错误信息是最完备的，最适宜于进行纠错处理，因此错误也最好是在发生时即进行处理。而在程序运行时，保持程序的正常高速运行是必要的，发明要有一定的容错能力，当发生不能处理的错误时，只能暂时不管，先将错误丢给一个公共的错误记录模块，即使发明的某些内部逻辑已经出错，程序尽可能的保持运行状态还是第一重要的。待系统不运行时由工程师来根据错误记录来对错误进行处理。

工作记录分析模块的设计目标是为了方便对过往工作记录进行分析和复测，以便对工作流程和参数设置的优化提供依据。在该模块内，可以设置对哪些数据进行保存，设置对哪些工作过程进行保存。如图7所示，工作记录分析模块主要的保存数据对象包括流程图设置、处理图像、流程图内工具设置参数、流程图内工具计算结果、局部变量、全局变量。

工作过程是指从流程图从开始运行到结束。如图8所示，工作记录分析模块可以设置的工作过程包括全部工作过程保存、按时间段进行保存、按工作过程是否有NG进行保存。

本实施例的一种图像化交互式机器视觉系统的工作方法，包括如下步骤：

S1：通过菜单栏中的项目设置页设置相机、光源控制器、注册图像、自定义变量、网络设置以及用户管理信息。

S2：根据实际项目的需求，选择流程图中的分支数量，然后在分支中添加相机、视觉工具模块，并在弹出的参数设置对话框中设置合适的参数。

S3：通过调试模式、断点设置、连续调试方式使得流程图能够顺利进行。

S4：通过布局切换设置在屏幕上显示的窗口数量及每个窗口显示的图元显示工具，流程图调试通过后，在运行模式下接受上位机指令运行。

本实施例所述的一种图形化交互式机器视觉系统，克服了传统的机器视觉只能通过编程的方式开发系统的不足，本发明提供了一种流程图方式快速搭建系统，能够快速建立机器视觉系统，提高了开发效率，节省了人力成本，可以广泛应用在机器人、自动化设备、3C生产设备、食品包装等行业。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (6)

1.一种图形化交互式机器视觉系统，其特征在于，包括编辑模式、运行模式以及图形化用户界面；

所述编辑模式包括流程编辑设置、页面编辑设置和公共参数设置，在所述编辑模式下，流程编辑设置页和页面编辑设置页可以进行互相切换；

所述运行模式为软件运行，所述运行模式根据所述编辑模式的设置进行自动的运行，所述编辑模式和所述运行模式可以进行互相切换；

所述图形化用户界面包括组件列表视图、组件信息视图、流程图视图、图像显示视图、单元工具结果视图、错误列表视图、菜单栏、工具栏以及状态栏。

2.根据权利要求1所述的图形化交互式机器视觉系统，其特征在于，所述编辑模式主要包括：

流程编辑模块，所述流程编辑模块是主体模块，所述流程编辑模块用于对流程图进行设计，并对设计好的流程图进行运行测试；

组件管理模块，所述组件管理模块用于提供设计流程所需的所有流程工具集，并提供各种工具所需的参数工具集；

即时显示模块，所述即时显示模块用于在对流程工具进行修改时，即时的显示出当前工具的运行结果，并对辅助参数进行设置；

页面编辑模块，所述页面编辑模块用于在编辑模式下对在运行模式下的显示页面及显示页面上的显示内容进行编辑和设置；

工程管理模块，所述工程管理模块用于对工程进行管理，包括对工程的公共设置、页面参数设置和设定设置的保存和加载，工程下的若干设定的操作；

自定义变量模块，所述自定义变量模块用于对根据需要设置的各种自定义变量进行增删、修改和设置；

数据管理模块，所述数据管理模块用于对自定义变量、工具结果变量、工具参数变量进行统一管理，并为其他模块提供所需的数据；

权限管理模块，所述权限管理模块用于设置用户的权限，包括用户对不同区域的查看和管理权限；

通信模块，所述通信模块用于完成系统与上位机之间的通信设置；

发明错误处理模块，所述发明错误处理模块用于处理发明运行过程中出现的各种错误和异常情况，以及错误和异常的纠错恢复机制；

工作记录分析模块，所述工作记录分析模块用于设置对工作记录的保存、复运行和性能分析，NG情况集中处理和复测。

3.根据权利要求2所述的图形化交互式机器视觉系统，其特征在于，所述工程管理模块中：所述操作包括增加、删除、剪切、复制、粘贴和设定切换。

4.根据权利要求2所述的图形化交互式机器视觉系统，其特征在于，所述数据管理模块中：所述管理包括对数据的分发、访问、保存和恢复。

5.根据权利要求1或2所述的图形化交互式机器视觉系统，其特征在于，所述运行模式主要包括：运行模式模块，所述运行模式模块用于在运行模式下自动生成显示页面，并根据当前的运行情况实时的修改显示页面的内容。

6.一种图像化交互式机器视觉系统的工作方法，其特征在于，包括如下步骤：

S1：通过菜单栏中的项目设置页设置相机、光源控制器、注册图像、自定义变量、网络设置以及用户管理信息；

S2：根据实际项目的需求，选择流程图中的分支数量，然后在分支中添加相机、视觉工具模块，并在弹出的参数设置对话框中设置合适的参数；

S3：通过调试模式、断点设置、连续调试方式使得流程图能够顺利进行；

S4：通过布局切换设置在屏幕上显示的窗口数量及每个窗口显示的图元显示工具，流程图调试通过后，在运行模式下接受上位机指令运行。