一种工业机器视觉处理过程快速历史回看方法及装置
技术领域
本申请涉及机器视觉处理技术领域,特别涉及一种工业机器视觉处理过程快速历史回看方法及装置。
背景技术
机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
工业机器视觉处理过程中,因为产品差异或逻辑漏洞,经常会出现一些不良产品(NG产品)。一方面,当前自动化生产对质量控制管控越来越严格,很多加工厂都需要对NG产品追本溯源,找到NG原因所在,从而解决问题或者改进工艺;另一方面,产能要求越来越高,留给工程师在线排查和分析问题的时间越来越少,或者只能通过数据离线分析,导致工业视觉软件产品历史回看速度慢。
发明内容
本申请的目的在于提供一种工业机器视觉处理过程快速历史回看方法及装置,以解决现有工业视觉软件产品历史回看速度慢的问题。
第一方面,根据本申请的实施例,提供了一种工业机器视觉处理过程快速历史回看方法,包括:
收集生产数据;
记录流程执行路径,将所述流程执行路径与所述生产数据关联;
获取历史回看查询指令;
根据所述历史回看查询指令,重组所述生产数据,得到查询结果;
显示所述查询结果;
获取执行路径回显指令;
根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。
结合第一方面,在第一方面的第一种可实现方式中,所述收集生产数据的步骤之前,包括:
根据预设数据统计需求,配置收集的数据个数、类型和来源。
结合第一方面,在第一方面的第二种可实现方式中,根据所述历史回看查询指令,重组所述生产数据,得到查询结果的步骤,包括:
根据所述历史回看查询指令中的重组条件,重组指定产品的数据表,得到重组数据表,所述重组数据表包括测量数据,状态数据和图像数据。
结合第一方面的第二种可实现方式,在第一方面的第三种可实现方式中,根据所述历史回看查询指令,重组所述生产数据,得到查询结果的步骤,还包括:
根据所述历史回看查询指令中的统计条件,统计指定产品的生产数据,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,CPK中至少一种;
或者,
根据所述历史回看查询指令中的统计条件,统计所述重组数据表,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,CPK中至少一种。
结合第一方面,在第一方面的第四种可实现方式中,还包括:
管理所述生产数据。
第二方面,根据本申请的实施例,提供一种工业机器视觉处理过程快速历史回看装置,包括:
数据收集单元,用于收集生产数据;
记录单元,用于记录流程执行路径,将所述流程执行路径与所述生产数据关联;
第一获取单元,用于获取历史回看查询指令;
数据重组单元,用于根据所述历史回看查询指令,重组所述生产数据,得到查询结果;
显示单元,用于显示所述查询结果;
第二获取单元,用于获取执行路径回显指令;
查找单元,用于根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。
结合第二方面,在第二方面的第一种可实现方式中,还包括:
配置单元,用于根据预设数据统计需求,配置收集的数据个数、类型和来源。
结合第二方面,在第二方面的第二种可实现方式中,所述数据重组单元包括:
数据重组子单元,用于根据所述历史回看查询指令中的重组条件,重组指定产品的数据表,得到重组数据表,所述重组数据表包括测量数据,状态数据和图像数据。
结合第二方面的第二种可实现方式,在第二方面的第三种可实现方式中,所述数据重组单元还包括:
第一数据统计子单元,用于根据所述历史回看查询指令中的统计条件,统计指定产品的生产数据,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,CPK中至少一种;
或者,
第二数据统计子单元,用于根据所述历史回看查询指令中的统计条件,统计所述重组数据表,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,CPK中至少一种。
结合第二方面,在第二方面的第四种可实现方式中,还包括:
数据管理单元,用于管理所述生产数据。
由以上技术方案可知,本申请的实施例提供了一种工业机器视觉处理过程快速历史回看方法及装置,所述方法包括:收集生产数据;记录流程执行路径,将所述流程执行路径与所述生产数据关联;获取历史回看查询指令;根据所述历史回看查询指令,重组所述生产数据,得到查询结果;显示所述查询结果;获取执行路径回显指令;根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。本申请为工业视觉可视化建模应用提供了一种快速便捷的回看方法,使得原本收集一个特定产品(NG产品)生产数据的时间从几分钟或几十分钟缩短到一分钟以内,并提供了对执行流程的回显办法,有助于快速定位流程逻辑异常或漏洞问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请一优选实施例示出的一种工业机器视觉处理过程快速历史回看方法的流程图;
图2为根据本申请实施例示出的机器视觉处理流程建模示意图;
图3为根据本申请实施例示出的基于流程图的可视化建模的工业机器视觉软件示意图;
图4为根据本申请一优选实施例示出的图像回看模式UI设计图;
图5为根据本申请一优选实施例示出的统计回看模式UI设计图;
图6为根据本申请一优选实施例示出的一种工业机器视觉处理过程快速历史回看装置的结构框图。
具体实施方式
参阅图1,本申请的实施例提供了一种工业机器视觉处理过程快速历史回看方法,包括:
步骤S1、收集生产数据;
在本申请实施例中,机器视觉处理流程建模结果如图2所示,以流程图为逻辑结构载体,将各处理算法、工作过程标准化为工具,作为流程图中的一个处理过程。流程执行时,按流程图的执行规则逐个执行各工具,实现执行流程的控制。执行过程中,先执行的工具的输出可以传递给后执行的工具作为输入。收集生产数据主要是将流程图中的数据适配并写入数据库。图3是基于流程图的可视化建模的工业机器视觉软件。参阅图3,流程图是指工作流程建模的逻辑载体,每个方块代表一个工具,即一个处理过程,比如“图像文件”代表从磁盘加载一幅图像,“消息报告工具”代表向用户报告一个消息,比如错误信息。需要说明的是,数据收集需要通过数据收集工具完成,数据收集工具是把执行流程中感兴趣的数据存到数据库中,数据库中的数据以数据表的形式组织,每个数据库内可以有多个数据表。
步骤S2、记录流程执行路径,将所述流程执行路径与所述生产数据关联;
在本申请实施例中,可以记录流程执行路径,用于流程执行状态的回看。流程执行路径与生产数据关联后,用户在查看产品生产时的图像或者统计图时,如果发现异常,就可以直接跳转到流程图中查看流程的执行路径和状态,分析产生异常的原因。
步骤S3、获取历史回看查询指令;
在本申请实施例中,用户想要历史回看某产品的相关数据,图像等,需要发出历史回看查询指令。获取历史回看查询指令后进入下一个步骤。其中,历史回看查询指令除了包括历史回看开启指令,还包括重组条件,统计条件等,例如重组条件可以是指定产品,指定产品可通过提取产品上SN码确定。SN码是Serial Number的缩写,有时也叫SerialNo,也就是产品序列号,产品序列是为了验证“产品的合法身份”而引入的一个概念,它是用来保障用户的正版权益,享受合法服务的;一套正版的产品只对应一组产品序列号。重组条件也可以是加工工序等其他形式,本申请对此不做限定。
步骤S4、根据所述历史回看查询指令,重组所述生产数据,得到查询结果;
在生产过程中,会往数据库中各个数据表写入数据,但这些数据都是零散地存在,用户希望看到产品的全局信息不方便,因为每个表中可能只有产品的某一部分生产信息。为解决这个问题,增加了数据重组的功能。在大多数情况下,需要做产品质量追溯的产品,每个产品上都会有SN码,一般以条码或二维码形式打在产品上,加工时,可通过视觉算法提取SN,一并存入数据表中。这样,数据重组只需要以SN码作为Key值重新组成一个新表。
但是,在一些实施例中,在某些情况下(如读码失败),利用提取SN码实现数据重组的办法会失败,所以还需要可以配置备用重组条件来重组。本申请默认使用序列号进行关键字查询重组,在这种办法失效时,用户可根据具体工艺情况以数据表中的任何字段作为编辑查询条件,例如,加工工序等,重组数据表。
步骤S5、显示所述查询结果;
在本实施例中,利用重组后的数据将单个产品的数据进行高效的显示回看,回看方式分为图像回看和统计回看。图4是图像回看模式UI设计图。参阅图4,图像回看时,数据默认按工站组织,将普通数据显示于表格控件中,图像类数据显示在专门设计的图像回看窗口中,还支持产品列表显示,数据筛选,图像预览等功能。数据支持多种条件筛选,支持搜索,用户界面使用交互控件设置,程序内部根据控件状态自动生成SQL语句,实现数据库的检索。图5是统计回看模式UI设计图。参阅图5,统计回看可以查看指定字段的趋势图、直方图等。趋势图中可以通过某个具体的数据点跳转到图像回看模式,查看和这组数据相关的所有数据,
步骤S6、获取流程执行路径回显指令;
在本申请实施例中,用户想要获取流程执行路径,需要发出流程执行路径回显指令,获取流程执行路径回显指令后进入下一个步骤。其中,流程执行路径回显指令除了包括流程执行路径回显开启指令,还包括指定数据条目。
步骤S7、根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。
用户找到关心的数据条目(通过图像、数据表、统计图等方式浏览),触发流程执行路径回显,通过设置的关键字(如流程执行序号)查询到流程执行路径记录,将节点状态回显到流程图中。鉴于流程执行路径与生产数据关联关系,可以在查看数据时跳转到流程图,回显流程执行的路径。回看流程执行的路径有助于快速定位流程逻辑异常或漏洞问题。
流程执行路径除了包含流程图的执行路径(因为有分支,一次流程执行可能只走其中一部分分支),还包括每个子流程执行的结果状态(成功、失败)。流程图的执行状态会在流程图中直接用不同颜色标识,其状态数据是在生产过程中自动记录的。
需要说明的是,收集生产数据,以及,记录流程执行路径,将流程执行路径与生产数据关联发生在生产过程中,步骤S3至步骤S7发生在用户希望查看历史数据的时候。
由以上技术方案可知,本申请的实施例提供了一种工业机器视觉处理过程快速历史回看方法,包括:收集生产数据;记录流程执行路径,将所述流程执行路径与所述生产数据关联;获取历史回看查询指令;根据所述历史回看查询指令,重组所述生产数据,得到查询结果;显示所述查询结果;获取执行路径回显指令;根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。本申请为工业视觉可视化建模应用提供了一种快速便捷的回看方法,使得原本收集一个特定产品(NG产品)生产数据的时间从几分钟或几十分钟缩短到一分钟以内,并提供了对执行流程的回显办法,有助于快速定位流程逻辑异常或漏洞问题。
在一些实施例中,所述收集生产数据的步骤之前,包括:
根据预设数据统计需求,配置收集的数据个数、类型和来源。
在本申请实施例中,预设数据统计需求是指在统计数据时需要收集的数据。
在流程图建模时,用户在需要的位置添加数据收集工具后,可统一在数据库管理窗口配置各数据收集工具的参数,包括个数、类型、来源。配置完成后,每执行一次数据收集工具,相应的数据就可以被写入数据库中,以数据收集工具名称命名的数据表中。每个数据收集工具对应有一个且仅有一个数据表。表1为数据收集工具数据来源配置数据表。
表1
记录数据 |
数据来源 |
数据库写入1.产品长度 |
处理流程3.产品长度 |
数据库写入1.产品宽度 |
处理流程2.产品宽度 |
数据库写入1.评价结果 |
评价结果变量 |
数据收集工具收集的数据个数、类型、来源均可由用户快速自行配置,工具可以放在流程图中任何位置,也就是几乎可以在任何时候记录任何数据,具有很高的灵活性。
在一些实施例中,根据所述历史回看查询指令,重组所述生产数据,得到查询结果的步骤,包括:
根据所述历史回看查询指令中的重组条件,重组指定产品的数据表,得到重组数据表,所述重组数据表包括测量数据,状态数据和图像数据。查询结果包括重组数据表。
在本申请实施例中,重组指定产品的数据表是指将数据库中多个数据表中的数据以产品为单位重新组织,包括测量数据、状态数据、图像数据等,将数据组织成用户关心的形式,再做显示。用户关心的形式可以是以产品为单位组织,关于某个产品的所有生产数据组织在一起,按加工工序显示,并突出显示OK/NG状态等特别关注的数据。
具体地,数据表是生产过程中搜集的,相当于Excel中一个sheet,数据重组就是把多个sheet按某些匹配条件合成一个新的sheet,得到重组数据表。
在一些实施例中,根据所述历史回看查询指令,重组所述生产数据,得到查询结果的步骤,还包括:
根据所述历史回看查询指令中的统计条件,统计指定产品的生产数据,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,制程能力指数中至少一种;查询结果包括统计数据。
本申请实施例中,统计值除了常规的最大值、最小值、平均值、标准差等之外,还包含生产线关注的统计数据,如NG率、制程能力指数等。
制程能力指数(Complex Process Capability index,CPK),也叫工序能力指数/过程能力指数,是指工序在一定时间里,处于控制状态(稳定状态)下的实际加工能力。它是工序固有的能力,或者说它是工序保证质量的能力。制程能力是过程性能的允许最大变化范围与过程的正常偏差的比值。制程能力研究在于确认这些特性符合规格的程度,以保证制程成品不符规格的不良率在要求的水准之上,作为制程持续改善的依据。CPK值越大表示品质越佳。通过CPK值可以直观显示出工序保证质量的能力。
NG率是指在一批产品中出现不良品的概率。通过NG率可以直观显示出产品中不良品出现概率。如果NG率异常或高于预设阈值,需要及时查看流程逻辑是否出现异常或漏洞,及时止损。
本申请实施例中,直接从数据库中获取数据,并对生产数据进行统计。统计数据可以直观反应出数据分布和变化趋势。需要统计的数据可以由系统预先设置,例如,系统需要统计出直方图和/或趋势图,也可以用户选择,例如,用户希望看一下数据分布(直方图),或者看一下变化趋势(趋势图),可以发出指定数据统计类型的指令,系统在接收该指令后,选择显示指令中数据统计的类型。统计值可以由系统预先设置,例如,系统需要统计算出最大值,最小值,平均值,标准差,NG率及制程能力指数;也可以用户选择,例如,用户希望看一下平均值,或者看一下NG率,可以发出指定统计值类型的指令,系统在接收该指令后,选择显示指令中数据统计的一种或几种统计值。
在一些实施例中,根据所述历史回看查询指令,重组所述生产数据,得到查询结果的步骤,还包括:
根据所述历史回看查询指令中的统计条件,统计所述重组数据表,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,制程能力指数中至少一种。查询结果还包括统计数据。
本申请实施例中,统计图就是选中重组数据表中某一列数据,插入的一个图表。数据表中的某个字段,具体哪个字段由用户选择。字段可以简单理解成Excel的一列,统计值就是这一列的统计结果。例如,平均值就是某一列的平均值。
本申请实施例中,通过统计重组数据表,执行对重组数据表进行统计,减少了重新从数据库中获取生产数据的步骤,提高工作效率。统计数据可以直观反应出数据分布和变化趋势。
在一些实施例中,工业机器视觉处理过程快速历史回看方法还包括:
管理所述生产数据。
管理所述生产数据主要包括数据库打开、关闭、备份,增加、删除、修改、查询等常规操作,并且维护数据收集工具与数据表的关系等。同时,数据库管理还包括管理界面,该界面支持对所有数据收集工具的数据个数、类型、来源的集中管理,而不需要到建模流程图中分别查找特定的数据收集工具来设置。
由以上技术方案可知,本申请的实施例提供了一种工业机器视觉处理过程快速历史回看方法,包括:收集生产数据;记录流程执行路径,将所述流程执行路径与所述生产数据关联;获取历史回看查询指令;根据所述历史回看查询指令,重组所述生产数据,得到查询结果;显示所述查询结果;获取执行路径回显指令;根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。本申请为工业视觉可视化建模应用提供了一种快速便捷的回看方法,使得原本收集一个特定产品(NG产品)生产数据的时间从几分钟或几十分钟缩短到一分钟以内,并提供了对执行流程的回显办法,帮助快速定位流程逻辑异常或漏洞问题。
参阅图2,本申请的实施例提供一种工业机器视觉处理过程快速历史回看装置,包括:
数据收集单元101,用于收集生产数据;
记录单元102,用于记录流程执行路径,将所述流程执行路径与所述生产数据关联;
第一获取单元103,用于获取历史回看查询指令;
数据重组单元104,用于根据所述历史回看查询指令,重组所述生产数据,得到查询结果;
显示单元105,用于显示所述查询结果;
第二获取单元106,用于获取执行路径回显指令;
查找单元107,用于根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。
在一些实施例中,工业机器视觉处理过程快速历史回看装置还包括:
配置单元,用于根据预设数据统计需求,配置收集的数据个数、类型和来源。
在一些实施例中,所述数据重组单元包括:
数据重组子单元,用于根据所述历史回看查询指令中的重组条件,重组指定产品的数据表,得到重组数据表,所述重组数据表包括测量数据,状态数据和图像数据。
在一些实施例中,所述数据重组单元还包括:
第一数据统计子单元,用于根据所述历史回看查询指令中的统计条件,统计指定产品的生产数据,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,CPK中至少一种;
或者,
第二数据统计子单元,用于根据所述历史回看查询指令中的统计条件,统计所述重组数据表,得到统计数据,所述统计数据包括统计图和统计值,所述统计值包括最大值,最小值,平均值,标准差,NG率,CPK中至少一种。
在一些实施例中,工业机器视觉处理过程快速历史回看装置还包括:
数据管理单元,用于管理所述生产数据。
由以上技术方案可知,本申请的实施例提供了一种工业机器视觉处理过程快速历史回看方法及装置,所述方法包括:收集生产数据;记录流程执行路径,将所述流程执行路径与所述生产数据关联;获取历史回看查询指令;根据所述历史回看查询指令,重组所述生产数据,得到查询结果;显示所述查询结果;获取执行路径回显指令;根据所述执行路径回显指令,查找所述查询结果中指定数据条目关联的流程执行路径,回显所述流程执行路径。本申请为工业视觉可视化建模应用提供了一种快速便捷的回看方法,使得原本收集一个特定产品(NG产品)生产数据的时间从几分钟或几十分钟缩短到一分钟以内,并提供了对执行流程的回显办法,帮助快速定位流程逻辑异常或漏洞问题。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。