CN110530872B - 一种多通道平面信息检测方法、系统及装置 - Google Patents
一种多通道平面信息检测方法、系统及装置 Download PDFInfo
- Publication number
- CN110530872B CN110530872B CN201910684902.4A CN201910684902A CN110530872B CN 110530872 B CN110530872 B CN 110530872B CN 201910684902 A CN201910684902 A CN 201910684902A CN 110530872 B CN110530872 B CN 110530872B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- plane
- detection
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
- G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及工业在线检测领域,具体涉及一种多通道平面信息检测方法、系统及装置,对应每条流水线分别安装图像获取模块,各图像获取模块相互独立工作,并由设备管理单元集中管理;方法包括:通过设备管理单元,对各流水线上的图像获取模块进行参数设置;各图像获取模块分别采集对应流水线上产品的平面图像,并进行图像反馈;对采集到的平面图像进行识别,提取相应产品的平面信息;对于每个平面图像,将提取到的平面信息与相应的基准信息进行相似度比对,判断对应的产品是否合格。本发明可接入多个图像获取模块,各模块独立工作并以分布式联网方式集中管理,解决了单设备检测效率低、多设备协同检测管理不便的问题,提高检测效率。
Description
【技术领域】
本发明涉及工业在线检测领域,具体涉及一种多通道平面信息检测方法、系统及装置。
【背景技术】
随着经济和社会的不断发展,自动化生产在工业生产领域扮演着举足轻重的角色。在自动化生产中,产品的平面信息检测是一道非常重要的工序,例如,产品表面的瑕疵信息、真伪信息、图像多光谱信息、颜色信息、条码信息、字符信息以及产品几何信息等等,只有产品的平面信息检测合格,才能继续进行下一步生产。其中,最常见的一种平面信息检测为商品标签信息的检测,商品标签信息包括品名、生产日期、厂商、产品真伪等,是商品的身份标识,是商品溯源的基础,它的正确与否影响着消费者的信心和厂商的公关形象。商品缺陷包括商品标签信息的缺失和商品标签信息的错误,生产过程中如果出现人工操作不当或者设备老化的情况,都会造成商品信息的缺陷。由于商品信息在整个生产过程中起着关键作用,因此要在商品出厂之前需检测并记录商品信息,防止信息缺陷的商品进入市场,引发不必要的食品安全事故、法律纠纷。为了避免事故的发生,厂商会在商品出厂之前安排专门的人员对生产的商品抽样质检,但这样费时费力,而且检测的效果还不一定能达到要求。
目前的工业检测系统大多使用工业相机作为传感器获取图像,例如,专利申请号为CN201410193558.6,名称为“一种应用于商品标签检测的自动检测系统及自动检测方法”的专利文献中,采用CMOS相机作为传感器采集标签图像,但工业相机成本高、体积大,不便于流水生产线安装,而且采集的图像极容易受到环境的影响,图像几何畸变、图像质量受环境影响大等因素给实时视觉检测带来了一些挑战。接触式图像传感器(Contact ImageSensor,简写为CIS)是一种线阵扫描传感器,被广泛应用于打印、点钞等领域,其具有工作稳定、自带光源、受外界环境影响小、成本低和体积小等优点。对于包括商品标签在内的平面信息检测来说,CIS传感器相比于工业相机具有很大的优势。目前已存在一些基于CIS的工业检测系统,例如,专利申请号为CN201810489198.2,名称为“一种信息检测系统”的专利文献提出的方案用于检测工业生产的软包装卷膜信息。
然而,尽管是采用CIS传感器的平面信息检测系统中,往往还仍然存在以下问题:通常采用USB作为通信协议,数据无法进行中远距离(5米以上)传输,在CIS检测设备同PC距离较远的场合会出现无法工作的情况;系统是一种离线的系统,需要一定的人力看护设备,如果采用单设备(即图像采集设备)检测则检测效率低,只能对应检测一条流水线上的产品平面信息,如果采用多设备检测来对应检测多条流水线上的平面信息,则需要增加多台工控机、PC机或嵌入式系统分别对多个设备进行监管,成本高昂并且占用大量生产空间,影响生产、缺少线上监管、拓展极为不方便,在设备异常的时候也无法第一时间得知,容易造成生产事故。因此,利用传统的平面信息检测系统难以实现同时检测多条流水线上的平面信息。
鉴于此,克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明需要解决的技术问题是:
在传统的平面信息检测系统中,采用串口通信协议(比如USB)作为通信协议,数据传输距离短,而且单设备检测效率低,多设备检测需设置多个工控机、PC机或嵌入式系统,成本高昂且占用大量生产空间,缺少线上管理、拓展极为不方便,在设备异常的时候无法第一时间得知,因此难以同时检测多条流水线上的平面信息。
本发明通过如下技术方案达到上述目的:
第一方面,本发明提供了一种多通道平面信息检测方法,对应每条流水线分别安装图像获取模块,各图像获取模块相互独立工作,并分别通过网络与设备管理单元连接,进而以分布式联网方式由所述设备管理单元集中管理;则所述方法包括:
通过所述设备管理单元,对各流水线上的图像获取模块进行参数设置;
各图像获取模块分别采集对应流水线上产品的平面图像,并进行图像反馈;
对采集到的所述平面图像进行识别,提取相应产品的平面信息;其中,所述平面信息包括产品表面的瑕疵信息、真伪信息、颜色信息、条码信息、字符信息和产品几何信息中的一项或多项;
对于每个平面图像,将提取到的所述平面信息与相应的基准信息进行相似度比对,判断对应的产品是否合格;其中,所述基准信息来自本地数据库或信息管理模块。
优选的,对于任一流水线,在所述对采集到的所述平面图像进行识别,提取相应产品的平面信息之前,所述方法还包括:
根据对应流水线上待检测产品平面的种类是否相同,选择相应的图像识别方式;
其中,所述图像识别方式包括可控图像识别和不可控图像识别;当对应流水线上为同种类的待检测产品平面时,采用可控图像识别方式;当对应流水线上为不同种类的待检测产品平面时,采用不可控图像识别方式。
优选的,对于任一流水线,当选择可控图像识别方式进行图像识别时,所述对采集到的所述平面图像进行识别,提取相应产品的平面信息,具体包括:
设置产品的基准模板图像,在所述基准模板图像上使用一个或多个矩形框框选出关键信息的几何位置,并指定各矩形框的检测对象类型;其中,所述检测对象包括瑕疵、真伪、颜色、条码、字符和产品实体中的一种或多种;
每识别一张平面图像后,计算当前图像与所述基准模板图像的水平位移和垂直位移,进而重新定位关键信息的几何位置;
根据各矩形框对应的检测对象,分别采取相应的检测方式从各矩形框提取平面信息;
将提取到的平面信息结果合并后输出。
优选的,对于任一流水线,当选择不可控图像识别方式进行图像识别时,所述对采集到的所述平面图像进行识别,提取相应的平面信息,具体包括:
对原始SSD神经网络进行修改,并利用修改的SSD神经网络检测识别出所述平面图像中的各检测区域;其中,所述检测区域包括瑕疵区域、真伪区域、颜色区域、条码区域、字符区域和产品实体区域中的一项或多项;
根据识别出的各检测区域,分别采取相应的检测方式从不同检测区域提取平面信息;
将提取到的平面信息结果合并后输出。
优选的,所述对原始SSD神经网络进行修改具体为:
将原始SSD神经网络中conv6_2之后的卷积层去掉;
修改defaultbox的尺度变换为矩形或正方形;
根据所述平面图像中所包含平面信息的种类数,修改输出层的层数。
优选的,对于每个平面图像,均框选出一个或多个包含关键信息的检测区域,则所述将所述平面信息与相应的基准信息进行相似度比对,以判断对应的产品是否合格,具体为:
分别针对每个检测区域设置基准信息的数据源和相似度阈值;其中,所述数据源为固定内容、流水号增量或信息存储位置;
对于每个平面图像,分别针对每个检测区域计算所述平面信息与所述数据源对应基准信息的相似度;
其中,对于每个平面图像,如果存在任一检测区域的相似度低于对应的相似度阈值,则判断相应的产品为不合格;如果每个检测区域的相似度都满足相似度阈值,则判断相应的产品为合格。
第二方面,本发明提供了一种多通道平面信息检测系统,可用于实现上述第一方面所述的多通道平面信息检测方法,包括一个或多个图像获取模块1,以及核心处理模块2和信息管理模块3,所述图像获取模块1、所述核心处理模块2与所述信息管理模块3通过网络连接;所述图像获取模块1与流水线一一对应设置,并用于对应流水线上产品的平面图像的采集;所述核心处理模块2具体为一台工控机、PC机或嵌入式系统;
所述核心处理模块2包括设备管理单元201、图像处理单元202和产品缺陷检测单元203,所述设备管理单元201用于所述一个或多个图像获取模块1的注册、运行状态监控和参数设置;所述图像处理单元202用于接收所述图像获取模块1的图像数据,并提取相应产品的平面信息;所述产品缺陷检测单元203用于将所述平面信息与基准信息进行相似度比对,以判断产品是否合格;
所述信息管理模块3用于将产品平面图像、图像平面信息以及相似度比对结果存储至数据库。
优选的,所述图像获取模块1包括感应单元101、CIS传感器单元102、模数转换单元103、速度匹配单元104、FPGA单元105、嵌入式主控单元106和以太网网卡107;
所述感应单元101用于感应实物产品是否到达所述CIS传感器单元102下方;所述CIS传感器单元102用于采集图像模拟数据并输出给所述模数转换单元103;所述模数转换单元103用于将图像模拟数据转换为数字数据并传输给所述FPGA单元105;所述速度匹配单元104用于根据实物产品的运动速度调整所述CIS传感器单元102采集图像的速率;
所述FPGA单元105用于控制感应单元101、CIS传感器单元102、模数转换单元103和速度匹配单元104的时序;所述嵌入式主控单元106用于控制所述FPGA单元105,同时接收所述FPGA单元105获取的图像数据,并通过所述以太网网卡107与其他模块实现交互。
优选的,所述系统还包括与所述图像获取模块1连接的剔除装置4,所述图像获取模块1还包括剔除信号输出单元108;
其中,所述剔除信号输出单元108分别与所述嵌入式主控单元106和所述剔除装置4连接,以便将产品的剔除信号输出至所述剔除装置4,进而由所述剔除装置4对流水线上不合格的产品进行剔除。
第三方面,本发明还提供了一种多通道平面信息检测装置,包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,可用于上述第一方面所述的多通道平面信息检测方法。
本发明的有益效果是:
本发明实施例提供的检测系统和方法中,各模块之间均采用网络协议进行数据传输,与USB通信相比增加了系统各模块之间的通信距离;而且可在网络内接入多个图像获取模块,各图像获取模块之间独立工作,并通过同一设备管理单元进行集中的监控和管理,即仅需要一台工控机、PC机或嵌入式系统进行集中监管,解决了单设备检测效率低、多设备检测需设置多个工控机、PC机或嵌入式系统,成本高昂、占用大量生产空间、缺少线上监管以及拓展不方便的问题,设备发生故障时可及时得知,可同时检测多条流水线,提高了检测效率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多通道平面信息检测系统的结构图;
图2为本发明实施例提供的一种核心处理模块的人机交互界面示意图;
图3为本发明实施例提供的一种图像获取模块的组成结构图;
图4为本发明实施例提供的一种多通道平面信息检测方法的流程图;
图5为本发明实施例提供的一种可控图像识别方法的流程图(商品标签检测为例);
图6为本发明实施例提供的一种标签图像的检测区域示意图;
图7为本发明实施例提供的可控图像识别中更新关键信息几何位置的方法流程图;
图8为本发明实施例提供的一种标签图像中最小图像区域的示意图;
图9为本发明实施例提供的一种不可控图像识别方法的流程图(商品标签检测为例);
图10为本发明实施例提供的一种相似度比对方法流程图;
图11为本发明实施例提供的一种多通道平面信息检测装置的架构图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
实施例1:
本发明实施例提供了一种多通道平面信息检测系统,可用于同时检测多条流水线上产品的平面信息,即实现多通道检测。其中,所述平面信息包括产品表面的瑕疵信息、真伪信息、颜色信息、条码信息、字符信息和产品几何信息中的一项或多项;瑕疵信息指的是产品表面的裂痕或纹理等信息,比如玻璃、瓷砖等生产时,表面如有裂痕或异常纹理,可认为属于瑕疵品;真伪信息指产品表面图案等信息的真假与否,可结合多种光谱图像来进行联合鉴伪;颜色信息指产品表面的颜色及颜色分布情况等;产品几何信息即待检测产品的长度、宽度、形状等;字符信息指的是产品表面印制的字符,条码信息则指的是产品表面印制的条码。
如图1所示,所述检测系统包括一个或多个图像获取模块1,以及核心处理模块2和信息管理模块3,所述图像获取模块1、所述核心处理模块2与所述信息管理模块3通过分布式网络连接,在同一个局域网内。其中,所述图像获取模块1与流水线(即图1中的产品流水线)一一对应设置,并用于对应流水线上产品的平面图像的采集;图1中仅画出对应一条流水线设置的一个图像获取模块1,省略号表示还可在网络中接入更多的图像获取模块1,不再一一画出;所述图像获取模块1具体可通过CMOS工业相机或CIS传感器进行图像采集,此处不做限定。
继续参考图1,所述核心处理模块2具体为一台工控机、PC机或嵌入式系统,包括设备管理单元201、图像处理单元202和产品缺陷检测单元203,各单元是在处理器中运行的对应方法内容的程序代码来实现。所述设备管理单元201用于一个或多个图像获取模块1的注册、运行状态监控和参数设置;所述图像处理单元202用于接收图像获取模块1的图像数据,并提取图像中的平面信息;所述产品缺陷检测单元203用于将提取到的平面信息与基准信息进行相似度比对,以判断产品是否合格,并输出相似度比对结果。其中,所述基准信息来自于本地数据库或信息管理模块3;所述信息管理模块3用于将产品的平面图像、图像平面信息以及相似度比对结果存储至数据库,进而提供查询或调用功能。通常,检测系统还可包括与图像获取模块1连接的剔除装置4,用于将流水线上不合格的产品剔除。
本发明实施例提供的上述检测系统中,各模块之间均采用网络协议进行数据传输,增加了各模块之间的通信距离,还可接入多个图像获取模块,各图像获取模块之间独立工作,并通过同一设备管理单元进行集中的监管,即仅需要一台工控机、PC机或嵌入式系统进行集中监管,解决了单设备检测效率低,多设备检测成本高昂、占用大量生产空间、缺少线上监管以及拓展不方便的问题,可同时检测多条流水线,提高了生产效率。
其中,平面信息检测可以是对产品的表面直接进行检测,也可以是对产品表面的标签进行检测。标签具体又可以是包装标签(如邮政包裹、信件包装、运输货物标示、信封地址标签等)、电器标签(如手机内部标签、笔记本电脑标签、机电产品标签等)、商品标签(如价格标签、产品说明标签、药品标签、条码标签等)、管理标签(如图书标签、安检标签、财产标签等)、办公标签(档案保存标签、文件公文标签、各种物品及文具标签等)以及生产标签(原材料标示、加工产品标示、成品标示、库存管理标签等)等。在所有标签中,又以商品标签的检测最常见,在整个商品生产过程中起着关键作用,因此,本发明主要以商品标签为例展开说明。
本发明实施例提供的所述检测系统中引入设备管理单元201,所述设备管理单元201一方面负责各个图像获取模块1的注册和运行状态监控,具体如下:所述图像获取模块1获取的图像数据通过网络数据包的形式发送给所述核心处理模块2,而所述核心处理模块2需要将接收到的图像数据对应到具体的流水线通道上,因此所述图像获取模块1在发送数据前需要在所述设备管理单元201上注册。相反,当所述图像获取模块1在流水线上的位置改变或者撤掉时,所述设备管理单元201可以对所述图像获取模块1的流水线通道编号进行修改或注销。每个图像获取模块1都有自己的设备编号、IP地址等,并且有自己的心跳,各图像获取模块1会定时向所述设备管理单元201发送心跳,以同步设备运行状态;当所述设备管理单元201正常工作的时候,图像获取模块1便会自动登录;当图像获取模块1断开连接时,所述设备管理单元201由于检测不到设备的心跳,会注销掉相应的图像获取模块1设备;当图像获取模块1出现故障时,管理人员能够通过所述设备管理单元201第一时间得知,并对相应的图像获取模块1进行维修。其中,所述发送心跳具体是指:所述图像获取模块1定时给设备管理单元201发送设备编号、IP地址、设备运转时长以及连接状态等信息。
另一方面,所述设备管理单元201还负责管理所述图像获取模块1的参数设置,以CIS传感器为例,则所述参数设置包括所述图像获取模块1采集图像的类型、CIS的曝光时间、CIS采集图像的大小以及剔除商品的时机。其中,采集图像的类型可包括红外图像、红外透射图像、紫外图像、紫外透射图像和RGB白光图像五种,CIS传感器自带光源,采集这些多光谱图像无需额外的光源;CIS的曝光时间值越大,CIS光源亮度越大;CIS采集图像的大小表示图像的像素高度。现场检测过程中检测和剔除通常是异步的,则剔除商品的时机包括检测错误到剔除信号发出的检测数量间隔,以及图像获取模块1接收剔除信号到剔除信号输出的时间间隔。每个图像获取模块1接入系统时都带有默认的参数,在使用时可通过所述设备管理单元201对参数进行人为修改,也可以使用默认参数。
与COMS工业相机相比,采用CIS传感器受外界环境影响小,图像质量稳定;通过引入设备管理单元,提高了系统的自理能力和灵活性,系统中多个图像获取模块能够集中管理,减少了设备看护的人力成本,为检测效率的提高提供了有力保障。
其中,所述核心处理模块2具体可以是一台工控机、PC机或嵌入式系统,所述设备管理单元201本身是一个计算机程序,对用户来说直观的体验便是工控机或PC机上的界面,界面上可以看到目前流水线上的各图像获取模块1及对应的工作状态,还可以看到每个图像获取模块1正在采集的图像以及检测结果。在这种模式下,整个多通道检测系统呈现一个中心多个点的布局,工厂可以根据需要在不同流水线通道上分别布置图像获取模块1,而只需要一台工控机、PC机或嵌入式系统进行管理。
传统检测系统中,通常是一个采图设备对应一个终端(即工控机、PC机或嵌入式系统),采用1对1的模式;如果要实现多通道检测,需设置多个工控机、多个显示器和多个采图设备。而本发明实施例只需对应多个通道设置多个采图设备,工控机(或PC机、嵌入式系统)的数量无需增加,实现1对多的模式,成本明显降低,节省生产空间。
在本发明实施例中,核心处理模块2以及信息管理模块3均为PC电脑,如图1所示,共同连接到局域网内。所述核心处理模块2提供用户操作界面,界面如图2所示,用户通过操作该界面便能够实现所述图像获取模块1的注册、运行状态监控和参数设置,完成系统的自动检测功能,具体如下:
实时监测:接入系统的各图像获取模块1采集到的图像可基于多线程实时更新到界面,所述图像处理单元202的检测结果以及所述产品缺陷检测单元203的相似度比对结果同样实时显示到界面,保障检测过程可视化。
实时设备控制:可以选择性地添加或减少接入系统的图像获取模块1,并且实时显示各图像获取模块1的设备运行状态信息(如图2中左侧区域所示),包括是否在线、设备检测速度、检测总数和检测的错误数等,防止设备出现系统故障。
进一步参考图3,以所述图像获取模块1通过CIS传感器进行图像采集为例,则所述图像获取模块1包括感应单元101、CIS传感器单元102、模数转换单元103、速度匹配单元104、FPGA单元105、嵌入式主控单元106和以太网网卡107。具体连接关系如下:所述FPGA单元105分别与所述感应单元101、CIS传感器单元102、模数转换单元103、速度匹配单元104和嵌入式主控单元106连接,所述CIS传感器单元102与所述模数转换单元103连接,所述嵌入式主控单元106与所述以太网网卡107连接。
其中,所述感应单元101用于感应产品是否到达所述CIS传感器单元102下方,具体可采用红外传感器;所述CIS传感器单元102用于采集产品的图像模拟数据,并输出给所述模数转换单元103;所述模数转换单元103用于将图像模拟数据转换为数字数据,并传输给所述FPGA单元105;所述速度匹配单元104用于测量产品的运动速度,以便调整所述CIS传感器单元102采集图像的速率。所述嵌入式主控单元106通过串行外设接口(SerialPeripheral Interface Bus,简写为SPI)控制所述FPGA单元105,通过相机串行接口(CMOSSensor Interface,简写为CSI)接收所述FPGA单元105获取的图像数据,并通过所述以太网网卡107与其他模块(即核心处理模块2和信息管理模块3)实现交互。
其中,所述FPGA单元105用于控制感应单元101、CIS传感器单元102、模数转换单元103和速度匹配单元104的时序:当所述感应单元101检测到流水线上的产品到达所述CIS传感器单元102下方时,所述感应单元101输出触发信号到所述FPGA单元105;所述FPGA单元105进而控制所述CIS传感器单元102打开光源,并根据所述速度匹配单元104输出的脉冲信号扫描产品的平面图像;扫描完成后所述模数转换单元103将图像模拟数据转换为数字数据,并发送给所述FPGA单元105;所述FPGA单元105通过CSI接口将图像数字数据传送到所述嵌入式主控单元106。
在图像获取模块中,由FPGA控制CIS采集图像,且控制模块基于嵌入式实现,负责网络交互,处理能力强。与工控机相比,基于嵌入式技术的图像获取模块具有体积小、成本低、功能强悍、稳定性高的特点,为产品的平面信息检测提供了强力支持,提高了整个系统的稳定性。
继续参考图3,所述图像获取模块1还包括剔除信号输出单元108、供电单元109和存储单元110。所述供电单元109用于为所述图像获取模块1的各单元设备供电;所述存储单元110与所述嵌入式主控单元106连接,用于存储采集到的图像数据。所述剔除信号输出单元108分别与所述嵌入式主控单元106和所述剔除装置4连接,当所述核心处理模块2检测到不合格的产品时,可通过所述以太网网卡107通知所述嵌入式主控单元106,则所述嵌入式主控单元106将产品的剔除信号输出至所述剔除装置4,进而由所述剔除装置4对流水线上不合格的产品进行剔除。在可选方案中,所述图像获取模块1还可外接报警装置,当检测到不合格的产品时,所述嵌入式主控单元106通知所述报警装置进行报警,以提醒工作人员。
综上所述,本发明实施例提供的检测系统具有以下优势:
各模块间采用网络通信协议作为数据传输协议,增加了系统的各个模块之间的通信距离,使得整个系统能够适应各种安装场景,不受限于设备安装空间位置;能够接入多个图像获取模块同时检测多条流水线,各模块间相互独立工作,并通过设备管理单元集中监控和管理,节约成本和生产空间、拓展方便;设备发生故障时可及时得知,无需担心系统难以管理、系统崩溃的问题,适用于大规模流水线生产场景,提高生产效率,增加了系统的灵活性、可拓展性、可管理性和稳定性,并减少人力维护成本;采用CIS、FPGA、嵌入式主控单元并基于嵌入式技术构建图像获取模块,使得图像获取模块具有成本低、稳定性高、图像质量高、受工业生产环境影响小、模块体积小以及便于安装的特点;对于检测过程中的不合格产品能够及时筛选并剔除;总体来看,该检测系统实现了图像获取、设备监控、相似度比对、信息入库的一系列功能,提高检测效率,可用于大规模检测。
实施例2:
本发明实施例提供了一种多通道平面信息检测方法,可基于上述实施例1中的多通道平面信息检测系统来实现,结合图1,即在局域网内对应每条流水线分别安装图像获取模块1,由所述设备管理单元集中监控和管理,可同时检测多条流水线上产品的平面信息。
如图4所示,本发明实施例提供的多通道平面信息检测方法包括:
步骤10,通过所述设备管理单元,对各流水线上的图像获取模块进行参数设置。
参考图2,所述设备管理单元201本身是一个计算机程序,对用户来说直观的体验便是上位PC机上的界面,通过所述核心处理模块2提供的用户操作界面,选择其中的“设备管理单元”即可对各图像获取模块1进行参数设置。以CIS传感器为例,所述参数设置包括采集图像的类型、CIS的曝光时间、CIS采集图像的大小以及剔除商品的时机等。每个图像获取模块1接入系统时都带有默认的参数,在使用时可根据需要通过所述设备管理单元201对参数进行人为修改,也可以使用默认参数,在此不做限定。
步骤20,各图像获取模块分别采集对应流水线上产品的平面图像,并进行图像反馈。
每个流水线由对应的图像获取模块1进行图像采集,各流水线上可同步进行检测而互不干扰。结合图1和图3,对于每个图像获取模块1,图像采集过程具体如下:1)产品到达所述感应单元101;2)感应单元101输出信号触发FPGA单元105采集图像时序,使FPGA单元105开启CIS传感器单元102的光源;3)FPGA单元105根据速度匹配单元104输出的脉冲信号,控制CIS传感器单元102采集产品的平面图像模拟数据;4)模数转换单元103将图像模拟数据转换为数字数据,并发送给FPGA单元105;5)FPGA单元105通过CSI接口将图像数字数据传送到嵌入式主控单元106;6)嵌入式主控单元106通过以太网网卡107,将图像数据发送至核心处理模块2,由所述图像处理单元202进一步处理。
步骤30,对采集到的所述平面图像进行识别,提取相应产品的平面信息。
结合实施例1和图1可知,对平面图像的识别主要由所述图像处理单元202完成,而所述平面信息包括产品表面的瑕疵信息、真伪信息、颜色信息、条码信息、字符信息和产品几何信息中的一项或多项。多数平面信息的检测识别可依赖于多光谱图像的采集,例如,真伪信息可结合多种光谱图像来进行联合鉴伪;颜色信息可通过在RGB白光图像上读取颜色值,同基准图像的颜色值比较。当检测商品标签时,对应的平面信息通常包括条码信息和字符信息,条码信息可通过条码识别引擎来识别,例如Zbar识别引擎或者ZXing条码识别引擎;字符信息可使用基于神经网络的算法来识别,例如卷积循环神经网络(ConvolutionalRecurrentNeural Network,简写为CRNN)算法,该算法使用CTC作为损失函数,可进行端到端的识别,能够解决训练时字符无法对齐的问题。
步骤40,对于每个平面图像,将提取到的所述平面信息与相应的基准信息进行相似度比对,判断对应的产品是否合格;其中,所述基准信息来自本地数据库或信息管理模块。
结合实施例1和图1可知,相似度比对主要由所述产品缺陷检测单元203完成,以商品标签的检测为例,该步骤又分为以下两种情况:
在商品标签对应的基准信息已知的情况下,可通过所述产品缺陷检测单元203,将提取到的平面信息与基准信息进行相似度比对,以判断商品标签是否合格;如果商品标签不合格,则所述产品缺陷检测单元203通过网络发送消息通知所述图像获取模块1,进而借助外接的报警装置或者剔除装置,将不合格的商品剔除;然后所述核心处理模块2可将标签图像、标签平面信息与相似度比对结果一起发送给所述信息管理模块3。
在商品标签对应的基准信息未知的情况下,则无法进行相似度比对,此时仅仅只是检测商品标签数据,产品缺陷检测单元203无效,核心处理模块2可直接将标签图像以及标签平面信息发送给所述信息管理模块3。
其中,当检测商品标签信息时,基准信息为基准商品标签图像中对应的字符信息和条码信息;当平面信息为瑕疵信息时,基准信息为基准产品图像中的表面纹理信息等;当平面信息为颜色信息时,基准信息为基准产品图像中的表面颜色值等信息;当平面信息为产品几何信息时,基准信息为基准产品对应的长度、宽度、形状等信息。
本发明实施例提供的上述检测方法中,可在系统内接入多个图像获取模块,各图像获取模块相互独立工作,并通过网络集中管理,能同时检测多条流水线,实现了图像获取、设备监控、信息相似度比对的功能,极大提高了检测效率,可用于大规模产品的生产检测;使用相似度算法计算产品的平面信息与基准信息间的相似度,确定产品是否合格,提高了剔除过程的可靠性和可控性,进一步加强了系统剔除缺陷产品的能力。
其中,进一步参考图4,为便于后续对检测结果的查询和调用,在所述步骤40之后,还可包括:
步骤50,将产品的平面图像、检测出的平面信息与相似度比对结果存储至数据库,以提供生产查询或者外部调用功能。该步骤属于检测信息入库,具体过程可由信息管理模块3完成。
为保证产品平面信息检测的准确率和速度,对于任一流水线,在所述对采集到的所述平面图像进行识别,提取相应产品的平面信息之前,即步骤30之前,所述方法还可包括:
根据对应流水线上待检测产品平面的种类是否相同,选择相应的图像识别方式。其中,所述图像识别方式包括可控图像识别和不可控图像识别:当对应流水线上待检测产品平面为同种类的平面时,即相邻图像的关键信息位置较为固定,属于可控图像,则采用可控图像识别方式;当对应流水线上待检测产品平面为不同种类的平面时,即相邻图像的关键信息位置没有关系,属于不可控图像,则采用不可控图像识别方式。以商品标签为例,当流水线上的商品标签为同种类的商品标签时,相邻图像的关键信息位置较为固定,采用可控图像识别;当流水线上的商品标签为不同种类的商品标签时,相邻图像的关键信息位置没有关系,采用不可控图像识别。
其中,所述可控图像由于流水线传输的原因,会存在水平、垂直位移。因此,对于任一流水线,当流水线上为同种类的待检测产品平面,进而选择可控图像识别方式进行图像识别时,所述对采集到的所述平面图像进行识别,以提取相应产品的平面信息(即步骤30),可参考图5,具体包括:
步骤301,设置产品的基准模板图像,在所述基准模板图像上用一个或多个矩形框框选出关键信息的几何位置,并指定各矩形框的检测对象类型。
其中,所述检测对象类型包括瑕疵、真伪、颜色、条码、字符和产品实体中的一种或多种,检测对象不同,对应的信息检测方式也不同;所述基准模板图像即对应产品平面信息完全正确的图像,可作为比对基准。以商品标签为例,由于大部分情况下并不是整个标签图像上都布满商品信息(即关键信息),而是将商品信息集中分布印制在几块区域,因此可使用矩形框先分别框选出这些印有商品信息的位置,以便后续分别研究比对。
如图6所示,假设该商品标签上的商品信息集中分布印制在3块区域,则用3个小的矩形框分别圈出,进而划定出3个检测区域,未圈出的区域由于未印制商品信息,则后续无需研究;相比于检测整个图像区域,划定好检测区域有针对性地进行检测,可明显提高检测效率。同时,为了更有针对性地进行平面信息的识别,还需指定各检测区域的检测对象类型(也可以称为图像类型),以便后续采取相应方式进行信息提取。当进行商品标签的检测时,任一检测区域内的检测对象为字符或条码;例如,通常在商品标签的右下角或左下角位置区域为条码信息。
步骤302,每识别一张平面图像后,计算当前图像与所述基准模板图像的水平位移和垂直位移,进而重新定位关键信息的几何位置。
由于可控图像可能会存在水平、垂直位移,当每采集一张平面图像时,之前根据基准模板图像划好的检测区域在当前图像上可能会发生一定偏移;因此,为便于后续准确地根据划定的检测区域进行平面信息的提取,每采集一张平面图像,需根据位移情况更新关键信息的几何位置,进而对各检测区域的框定进行更新。
步骤303,根据各矩形框对应的检测对象,分别采取相应的检测方式从各矩形框提取平面信息。
以商品标签检测为例,结合图6,各检测区域对应的图像类型已经预先指定,则进行平面信息的提取时,可直接根据图像类型选取相应的方式,进而提取各检测区域的平面信息。如图5所示,对于任一检测区域,如果检测区域对应字符,则利用CRNN神经网络算法进行字符识别与信息提取;如果检测区域对应条码,则利用条码识别引擎进行条码识别与信息提取,例如Zbar识别引擎或者ZXing条码识别引擎。通过分区域、分类型的信息提取,可明显提高检测效率。在其余各种平面信息检测中,检测区域中框选真伪图像区域就检测真伪信息,框选颜色区域就检测图像的颜色值;框选产品实体就计算产品的几何信息,框选瑕疵区域就检测裂痕或纹理等信息,以判断是否存在瑕疵。
步骤304,将提取到的平面信息结果合并后输出。
其中,所述步骤302,具体又可参考图7,包括:
步骤3021,在所述当前图像上,使用一个或多个矩形框框选出关键信息的几何位置,并对各矩形框的几何位置进行排序,得到包含各矩形框的最小图像区域。
仍以所述基准模板图像上圈出3个检测区域为例(如图6),则对于当前采集的图像,也可参考图6,使用3个矩形框圈出3个相应的检测区域。进一步对各矩形框的几何位置进行排序,得到包含各矩形框的最小图像区域,即最小矩形区域,如图8中虚线框所示。其中,对于每个小矩形框,所述几何位置包括矩形框的左上角坐标(x,y)和右下角坐标(x0,y0),则最小图像区域的确定方法具体如下:
首先,获取每个小矩形框的几何位置,即图8中3个检测区域各自对应的左上角坐标和右下角坐标。其中,这里选取的坐标轴是以标签图像左上角为坐标原点,y轴正方向向下,x轴正方向向右。
然后,对所有的左上角坐标进行排序,找出最小的x(Xmin)与最小的y(Ymin);对所有的右下角坐标进行排序,找出最大的x0(X0max)与最大的y0(Y0max);由此得出包含各矩形框的最小图像区域的左上角坐标(Xmin,Ymin)和右下角坐标(X0max,Y0max),如图8所示。
步骤3022,在所述基准模板图像上,对框选出关键信息的各矩形框的几何位置进行排序,得到包含各矩形框的最小图像区域。
对于所述基准图像,已经圈出3个检测区域(如图6),同样需要找出包含各检测区域在内的最小图像区域,具体操作方法可参照步骤3021中的介绍及图8,在此不再赘述。
步骤3033,利用相位相关法对两个最小图像区域进行比对计算,得到当前图像相对于基准模板图像的水平位移和垂直位移,进而对关键信息重新定位和框选。其中,相位相关算法的理论基础是傅里叶变换,利用相位相关法计算图像间的平移参数具有很大的速度优势,具体计算方法已经有广泛应用,此处不再赘述。
进一步地,对于任一流水线,当流水线上为不同种类的待检测产品平面,进而选择不可控图像识别方式进行图像识别时,所述对采集到的所述平面图像进行识别,提取相应产品的平面信息(即步骤30),可参考图9,具体包括:
步骤301’,对原始SSD神经网络进行修改,并利用修改的SSD神经网络检测识别出所述平面图像中的各检测区域。
其中,所述检测区域包括瑕疵区域、真伪区域、颜色区域、条码区域、字符区域和产品实体区域中的一项或多项,以及背景区域。以商品标签为例,可识别出商品标签图像中的字符区域、条码区域和背景区域。在本发明实施例中,通过对原始SSD神经网络进行修改,可更好更快的用于平面信息的实时检测;其中,所述对原始SSD神经网络进行修改具体为:
1)将原始SSD神经网络中conv6_2之后的卷积层去掉:原始SSD神经网络基于VGG16搭建,并且在VGG16网络后面额外增加了卷积神经网络用于提取图像的多尺度特征;由于卷积操作非常耗时,加之平面信息检测的种类较少,例如商品标签检测仅仅需要检测字符、条码,所以作出去掉conv6_2之后的卷积层的修改,可极大提高速度而且不损失检测精度。
2)修改defaultbox的尺度变换为矩形或正方形:原始SSD网络主要用于物体检测,其defaultbox的尺度变换不适用于平面信息检测,因此修改defaultbox的尺度变换为长条矩形或者正方形,以适应平面信息的检测。
3)根据所述平面图像中所包含平面信息的种类数,修改输出层的层数。以商品标签的检测为例,根据当前检测需要,只需输出字符、条码以及背景3层即可,而无需设置其他输出层,因此修改输出层为3,分别对应字符、条码和背景,可简化计算,提高SSD网络的运行速度。
步骤302’,根据识别出的各检测区域,分别采取相应的检测方式从不同检测区域提取平面信息。
以商品标签的检测为例,在上述步骤中,标签图像的字符区域和条码区域已经被识别出,可直接根据各检测区域中的图像类型选取相应的方式,分别提取各区域的平面信息。如图9所示,如果SSD网络当前识别并输出字符区域,则利用CRNN神经网络算法进行字符识别与信息提取;如果当前识别并输出条码区域,则利用条码识别引擎进行条码识别与信息提取,例如Zbar识别引擎或者ZXing条码识别引擎。通过分区域、分类型的信息提取,可明显提高检测效率。
步骤303’,将提取到的平面信息结果合并后输出。
其中,在上述两种图像识别方式中,可控图像识别方法需要人工指定检测区域,但后续检测时只需要经过识别区域内容这个过程,适用于对速度要求较高,流水线上为同类型商品的情况;不可控图像识别方法需要经过区域目标检测和区域内容识别两个过程,比较耗时,适用于流水线上为不同种类商品,且对检测速度要求不高的情况。两种方法可根据实际检测情况选用,合理选择可进一步提高检测的效率。
在不可控图像识别中,流水线上的产品可能存在尺寸上的差异,如果此时图像获取模块1的采集范围(即CIS的扫描范围)一致,则对于尺寸较小的产品,其在整个图像中只占据一小部分,在后续进行图像分析时还需对周围空白部分(即除产品以外的图像区域)分析,这无疑会造成时间和资源的浪费。为解决上述问题,在对流水线上即将到来的产品进行图像采集时,具体过程为:基于流水线上已通过的一个或多个产品的尺寸计算平均尺寸,并根据所述平均尺寸调整所述图像获取模块1的采集范围,然后利用所述图像获取模块1采集产品的平面图像。
这是考虑到,虽然流水线上产品的尺寸可能存在差异,但仍具有一定的规律性,因此可基于对应流水线上之前已通过的产品来推测当前产品的尺寸。其中,在对每个产品进行图像采集前,所述核心处理模块均可基于之前通过的所有产品进行平均尺寸的计算(即平均尺寸的值是不断动态更新的),进而根据最新计算得到的平均尺寸来调整CIS的扫描范围,使得扫描完成后,产品在图像中的占比能满足预设要求(例如,产品区域占整个图像的80%-100%)。如此一来,所述图像获取模块1采集的图像能够更有效地覆盖产品表面,减少了后续图像分析时的时间和资源的浪费。
进一步地,在利用平均尺寸调整采集范围时还考虑到,如果即将到来的产品尺寸突然变大,则所述图像获取模块1按照调整后的采集范围进行采集后,可能无法采集到整个产品的表面图像,这样就无法获取完整的平面信息。为解决上述问题,除所述图像获取模块1以外,还可对应每条流水线分别设置备用图像获取模块,在所述图像获取模块1采集图像的同时,所述备用图像获取模块也采集对应流水线上产品的平面图像,为便于区分可称为“备用图像”。
在上述两个模块都完成图像采集后,核心处理模块可判断所述图像获取模块1采集的图像是否合格(即图像是否涵盖整个产品);如果图像合格(即图像涵盖整个产品),则后续可直接利用所述图像获取模块1采集的图像进行识别分析,而此时所述备用图像获取模块采集的备用图像可直接删除,进而避免空间的占用和浪费;如果图像不合格(即图像未涵盖整个产品),则为了后续能获取完整的图像平面信息,所述核心处理模块需向所述备用图像获取模块发送请求,以便从所述备用图像获取模块处获取相应的备用图像,则后续可利用所述备用图像进行识别分析。如此一来,即便调整采集范围后无法获取产品的完整图像,也可利用备用图像完成后续的图像分析处理,保证产品平面信息的顺利检测。
进一步地,对于采集到的每个平面图像,均框选出一个或多个包含关键信息的检测区域,如图6所示;则所述将所述平面信息与相应的基准信息进行相似度比对,以判断对应的产品是否合格,即步骤40,具体可参考图10,又包括:
步骤401,分别针对每个检测区域设置基准信息的数据源和相似度阈值。
以商品标签的检测为例,结合图6,标签图像上框出3个印制有商品信息的检测区域,各检测区域分别对应有用于比对的基准信息。其中,所述基准信息的数据源为固定内容、流水号增量或信息存储位置,信息存储位置可以是本地数据库或信息管理模块。所述相似度阈值可根据实际需要设定,通常,为更好地防止信息缺陷的商品进入市场,所述相似度阈值可设置较大,即趋近于1,例如可设置为90%以上。
步骤402,对于每个平面图像,分别针对每个检测区域计算所述平面信息与所述数据源对应基准信息的相似度。
对于每张平面图像,如果存在任一检测区域的相似度低于对应的相似度阈值,则判断相应的产品为不合格,本次检测标记为不合格;如果每个检测区域的相似度都满足相似度阈值,则判断相应的产品为合格,本次检测直接通过。以图6为例,只有3个检测区域对应的相似度都达标,才能确认商品合格;只要存在一个检测区域的相似度不达标,则相应商品标记为不合格。
其中,对于任一检测区域,对应相似度的计算方法具体如下:
首先,使用词袋模型(BOW)对两个字符串向量化;这里的两个字符串分别指检测到的平面信息字符串和基准信息字符串。然后,选用余弦相似性算法作为相似度算法,计算两个字符串向量向量间的相似度,进而得到对应检测区域内所述平面信息与所述基准信息的相似度。计算公式为:
其中,A和B分别代表平面信息字符串的向量和真实信息字符串的向量,n表示向量维度,Ai和Bi分别代表向量A和B的各分量;余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,字符相似度就越高。
综上所述,本发明实施例提供的检测方法具有以下优势:
在系统内接入多个图像获取模块,各图像获取模块相互独立工作,并由设备管理单元集中管理,能够同时检测多条流水线上的平面信息,极大提高了检测效率,可用于大规模产品的生产检测;基于神经网络算法设计了可控图像识别和不可控图像识别方法,使得识别过程更具有针对性,进一步提高检测的实时性和准确性;在缺陷检测环节,使用相似度算法计算平面信息与真实信息的相似度,根据设定阈值与相似度的大小关系来确定标签是否合格,提高了缺陷剔除过程的可靠性、可控性,进一步加强了系统剔除缺陷产品的能力。
实施例3:
在上述实施例2提供的多通道平面信息检测方法的基础上,本发明还提供了一种可用于实现上述方法的多通道平面信息检测装置,如图11所示,是本发明实施例的装置架构示意图。本实施例的多通道平面信息检测装置包括一个或多个处理器21以及存储器22。其中,图11中以一个处理器21为例。所述处理器21和所述存储器22可以通过总线或者其他方式连接,图11中以通过总线连接为例。
所述存储器22作为一种多通道平面信息检测方法非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如实施例1中的多通道平面信息检测系统和实施例2中的多通道平面信息检测方法。所述处理器21通过运行存储在所述存储器22中的非易失性软件程序、指令以及模块,从而执行多通道平面信息检测装置的各种功能应用以及数据处理,即实现实施例2的多通道平面信息检测方法。
所述存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,所述存储器22可选包括相对于所述处理器21远程设置的存储器,这些远程存储器可以通过网络连接至所述处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中,当被所述一个或者多个处理器21执行时,执行上述实施例2中的多通道平面信息检测方法,例如,执行以上描述的图4、图5、图7、图9和图10所示的各个步骤。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种多通道平面信息检测方法,其特征在于,对应每条流水线分别安装图像获取模块,各图像获取模块相互独立工作,并分别通过网络与设备管理单元连接,进而以分布式联网方式由所述设备管理单元集中管理;则所述方法包括:
通过所述设备管理单元,对各流水线上的图像获取模块进行参数设置;
各图像获取模块分别采集对应流水线上产品的平面图像,并进行图像反馈;
根据对应流水线上待检测产品平面种类是否相同,选择相应的图像识别方式;其中,当流水线上为同种类待检测产品平面时采用可控图像识别方式,当流水线上为不同种类待检测产品平面时采用不可控图像识别方式;
利用选择的图像识别方式对采集到的所述平面图像进行识别,提取相应产品的平面信息;其中,所述平面信息包括产品表面的瑕疵信息、真伪信息、颜色信息、条码信息、字符信息和产品几何信息中的一项或多项;所述可控图像识别方式预先指定检测区域,检测过程包括区域内容识别,所述不可控图像识别方式的检测过程包括区域目标检测和区域内容识别;
对于每个平面图像,将提取到的所述平面信息与相应的基准信息进行相似度比对,判断对应的产品是否合格;其中,所述基准信息来自本地数据库或信息管理模块;
其中,在不可控图像识别中,对每个产品进行图像采集之前先基于流水线上已通过产品的尺寸计算平均尺寸,并根据该平均尺寸动态调整图像获取模块的采集范围,调整完成后利用所述图像获取模块采集产品的平面图像。
2.根据权利要求1所述的多通道平面信息检测方法,其特征在于,对于任一流水线,当选择可控图像识别方式进行图像识别时,所述对采集到的所述平面图像进行识别,提取相应产品的平面信息,具体包括:
设置产品的基准模板图像,在所述基准模板图像上使用一个或多个矩形框框选出关键信息的几何位置,并指定各矩形框的检测对象类型;其中,所述检测对象包括瑕疵、真伪、颜色、条码、字符和产品实体中的一种或多种;
每识别一张平面图像后,计算当前图像与所述基准模板图像的水平位移和垂直位移,重新定位关键信息的几何位置;
根据各矩形框对应的检测对象,分别采取相应的检测方式从各矩形框提取平面信息;
将提取到的平面信息结果合并后输出。
3.根据权利要求1所述的多通道平面信息检测方法,其特征在于,对于任一流水线,当选择不可控图像识别方式进行图像识别时,所述对采集到的所述平面图像进行识别,提取相应的平面信息,具体包括:
对原始SSD神经网络进行修改,并利用修改的SSD神经网络检测识别出所述平面图像中的各检测区域;其中,所述检测区域包括瑕疵区域、真伪区域、颜色区域、条码区域、字符区域和产品实体区域中的一项或多项;
根据识别出的各检测区域,分别采取相应的检测方式从不同检测区域提取平面信息;
将提取到的平面信息结果合并后输出;
其中,所述原始SSD神经网络基于VGG16搭建,并且在VGG16网络后面额外增加卷积神经网络用于提取图像的多尺度特征。
4.根据权利要求3所述的多通道平面信息检测方法,其特征在于,所述对原始SSD神经网络进行修改具体为:
将原始SSD神经网络中conv6_2之后的卷积层去掉;
修改defaultbox的尺度变换为矩形或正方形;
根据所述平面图像中所包含平面信息的种类数,修改输出层的层数。
5.根据权利要求1所述的多通道平面信息检测方法,其特征在于,对于每个平面图像,均框选出一个或多个包含关键信息的检测区域,则所述将所述平面信息与相应的基准信息进行相似度比对,判断对应的产品是否合格,具体为:
分别针对每个检测区域设置基准信息的数据源和相似度阈值;其中,所述数据源为固定内容、流水号增量或信息存储位置;
对于每个平面图像,分别针对每个检测区域计算所述平面信息与所述数据源对应基准信息的相似度;
其中,对于每个平面图像,如果存在任一检测区域的相似度低于对应的相似度阈值,则判断相应的产品为不合格;如果每个检测区域的相似度都满足相似度阈值,则判断相应的产品为合格。
6.一种多通道平面信息检测系统,其特征在于,用于完成权利要求1-5任一所述的多通道平面信息检测方法,包括多个图像获取模块(1),以及核心处理模块(2)和信息管理模块(3),所述图像获取模块(1)、所述核心处理模块(2)与所述信息管理模块(3)通过分布式网络连接;所述图像获取模块(1)与流水线一一对应设置,并用于对应流水线上产品的平面图像的采集;所述核心处理模块(2)具体为一台工控机、PC机或嵌入式系统;
所述核心处理模块(2)包括设备管理单元(201)、图像处理单元(202)和产品缺陷检测单元(203),所述设备管理单元(201)用于所述多个图像获取模块(1)的注册、运行状态监控和参数设置;所述图像处理单元(202)用于接收所述图像获取模块(1)的图像数据,并提取相应产品的平面信息;所述产品缺陷检测单元(203)用于将所述平面信息与基准信息进行相似度比对,判断产品是否合格;
所述信息管理模块(3)用于将产品平面图像、图像平面信息以及相似度比对结果存储至数据库。
7.根据权利要求6所述的多通道平面信息检测系统,其特征在于,所述图像获取模块(1)包括感应单元(101)、CIS传感器单元(102)、模数转换单元(103)、速度匹配单元(104)、FPGA单元(105)、嵌入式主控单元(106)和以太网网卡(107);
所述感应单元(101)用于感应实物产品是否到达所述CIS传感器单元(102)下方;所述CIS传感器单元(102)用于采集图像模拟数据并输出给所述模数转换单元(103);所述模数转换单元(103)用于将图像模拟数据转换为数字数据并传输给所述FPGA单元(105);所述速度匹配单元(104)用于测量实物产品的运动速度,以便调整所述CIS传感器单元(102)采集图像的速率;
所述FPGA单元(105)用于控制感应单元(101)、CIS传感器单元(102)、模数转换单元(103)和速度匹配单元(104)的时序;所述嵌入式主控单元(106)用于控制所述FPGA单元(105),同时接收所述FPGA单元(105)获取的图像数据,并通过所述以太网网卡(107)与其他模块实现交互。
8.根据权利要求7所述的多通道平面信息检测系统,其特征在于,所述系统还包括与所述图像获取模块(1)连接的剔除装置(4),所述图像获取模块(1)还包括剔除信号输出单元(108);
其中,所述剔除信号输出单元(108)分别与所述嵌入式主控单元(106)和所述剔除装置(4)连接,以便将产品的剔除信号输出至所述剔除装置(4),进而由所述剔除装置(4)对流水线上不合格的产品进行剔除。
9.一种多通道平面信息检测装置,其特征在于,包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,用于完成权利要求1-5任一所述的多通道平面信息检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910684902.4A CN110530872B (zh) | 2019-07-26 | 2019-07-26 | 一种多通道平面信息检测方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910684902.4A CN110530872B (zh) | 2019-07-26 | 2019-07-26 | 一种多通道平面信息检测方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110530872A CN110530872A (zh) | 2019-12-03 |
CN110530872B true CN110530872B (zh) | 2021-02-26 |
Family
ID=68660395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910684902.4A Active CN110530872B (zh) | 2019-07-26 | 2019-07-26 | 一种多通道平面信息检测方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110530872B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110987942A (zh) * | 2019-12-04 | 2020-04-10 | 联想(北京)有限公司 | 电子设备以及机器视觉系统 |
CN111147813A (zh) * | 2019-12-06 | 2020-05-12 | 广州兰德视讯有限公司 | 分布式视觉检测的方法及装置 |
CN111461533B (zh) * | 2020-03-31 | 2023-04-25 | 佛山科学技术学院 | 一种基于大数据的工业生产流水线的故障监测方法及系统 |
CN111948228A (zh) * | 2020-07-06 | 2020-11-17 | 中国电子科技集团公司第四十一研究所 | 基于5g通信云测试的工业产线全过程视觉检测系统 |
CN111896070A (zh) * | 2020-07-28 | 2020-11-06 | 三一汽车制造有限公司 | 溢料检测装置、沥青搅拌设备及溢料检测方法 |
CN112067624A (zh) * | 2020-09-18 | 2020-12-11 | 杭州汇萃智能科技有限公司 | 基于5g网络的机器视觉分布式检测方法、装置和系统 |
CN112461850A (zh) * | 2020-09-29 | 2021-03-09 | 江苏南高智能装备创新中心有限公司 | 工件表面瑕疵检测系统 |
CN112637572B (zh) * | 2021-03-09 | 2021-06-18 | 北京容联易通信息技术有限公司 | 一种基于场景识别的工业流程监督系统 |
CN113507514B (zh) * | 2021-06-30 | 2024-04-30 | 歌尔股份有限公司 | 多工位的控制方法、生产线、生产系统及可读存储介质 |
CN115201208B (zh) * | 2022-08-04 | 2023-09-08 | 扬州安睿自动化科技有限公司 | 一种平面包在线瑕疵检测方法及装置 |
CN115775251B (zh) * | 2023-02-13 | 2023-04-07 | 成都睿瞳科技有限责任公司 | 一种视觉系统的图像处理方法、系统、存储介质及处理器 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103442174B (zh) * | 2013-08-19 | 2016-08-10 | 电子科技大学 | 一种实现大幅面在线检测的多cis拼接智能相机及方法 |
CN104192371B (zh) * | 2014-08-22 | 2016-05-04 | 东南大学 | 一种基于多相机网络的箱缺条检测装置及方法 |
CN105893349B (zh) * | 2016-03-31 | 2019-06-04 | 新浪网技术(中国)有限公司 | 类目标签匹配映射方法及装置 |
CN207008762U (zh) * | 2017-01-18 | 2018-02-13 | 江苏阿瑞斯智能设备有限公司 | 基于dsp的纸币冠字号智能识别装置 |
CN106998408A (zh) * | 2017-02-21 | 2017-08-01 | 昆明奥多智能科技有限公司 | 一种近距离或接触式高速图像采集系统 |
CN107610322B (zh) * | 2017-10-11 | 2020-02-07 | 深圳怡化电脑股份有限公司 | 纸币版本的识别方法、装置、电子设备以及存储介质 |
CN108920580B (zh) * | 2018-06-25 | 2020-05-26 | 腾讯科技(深圳)有限公司 | 图像匹配方法、装置、存储介质及终端 |
CN108918536B (zh) * | 2018-07-13 | 2021-01-26 | 广东工业大学 | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 |
CN109951363B (zh) * | 2019-01-23 | 2022-07-12 | 深圳绿米联创科技有限公司 | 数据处理方法、装置及系统 |
-
2019
- 2019-07-26 CN CN201910684902.4A patent/CN110530872B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110530872A (zh) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110530872B (zh) | 一种多通道平面信息检测方法、系统及装置 | |
CN108171184B (zh) | 基于Siamese网络的用于行人重识别的方法 | |
CN106770332B (zh) | 一种基于机器视觉的电子模切料缺陷检测实现方法 | |
AU2009305437B2 (en) | Method and system for item identification | |
CN108037138A (zh) | 一种用于检测纸张双面缺陷的纸病检测系统及检测方法 | |
US9378545B2 (en) | Culture medium information registration system, colony detection device, program and sanitary management system | |
CN210572004U (zh) | 一种用于多流水线的平面信息检测系统 | |
CN206132657U (zh) | 一种基于机器视觉的烫金质量智能检测系统 | |
CN109034694B (zh) | 基于智能制造的生产原料智能存储方法及系统 | |
CN104056790A (zh) | 一种马铃薯智能分选方法与装置 | |
CN103325116A (zh) | 一种印品图像检测系统及方法 | |
CN108566528A (zh) | 一种监控视频存储系统 | |
WO2022227103A1 (zh) | 一种零部件智能检测与标签系统及方法 | |
CN107423944A (zh) | 一种便携式一站式检测服务系统及方法 | |
KR20100041177A (ko) | 자동 물류 시스템 및 그 제어방법 | |
CN108960850B (zh) | 防伪方法及装置、防伪溯源系统 | |
CN106383121A (zh) | 一种可自适应多品牌的视觉检测方法及系统 | |
CN104952754A (zh) | 基于机器视觉的镀膜后硅片分选方法 | |
CN113589772B (zh) | 一种包装袋图文印刷生产线智能运行调控管理系统 | |
JP2017035042A (ja) | コロニー検出システム、コロニー検出方法、及び、プログラム | |
CN103984967B (zh) | 一种应用于商品标签检测的自动检测系统及自动检测方法 | |
CN108960849A (zh) | 用于纸质制品的防伪方法及装置、防伪溯源系统 | |
CN118115782A (zh) | 一种基于深度学习的喷印彩色二维码缺陷检测方法 | |
CN116012333B (zh) | 一种基于人工智能的电子防伪标签生产监测管理系统 | |
CN111626140A (zh) | 一种饮料包装的图像快速识别系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |