CN102039738A

CN102039738A - 高速装订机页面在线模糊识别系统

Info

Publication number: CN102039738A
Application number: CN2009102273854A
Authority: CN
Inventors: 郭本强; 李光军; 朱延军; 郭杰; 安振明
Original assignee: HUIXIAN CITY WENJIAO PRINTING CO Ltd
Current assignee: HUIXIAN CITY WENJIAO PRINTING CO Ltd
Priority date: 2009-12-09
Filing date: 2009-12-09
Publication date: 2011-05-04

Abstract

本发明公开了一种印刷行业的高速装订机页面在线模糊识别系统。其技术方案是：在印刷装订过程中，采用计算机图像处理与模糊识别技术，适时采集配页机机器手抓取的页面图像(每秒24张)，通过计算机将该图像与标准图像进行特征比较，进行图像二值化、图像识别等数字化高速处理，确定配页机抓取的页面是否正确，当出现错误时，控制系统自动报警，并将错页、漏页、歪页等有问题的书刊从紧急出口自动排出。本发明的优点是：1、图像识别处理速度快：处理一幅图像的平均时间小于等于0.1秒；2、误差率低：安装本识别系统的马天尼书刊自动装订机，错误率降低到十万分之一以下；3、设计装配成本低：装配改造一套马天尼骑订生产线，只需十几万元。

Description

高速装订机页面在线模糊识别系统

技术领域：

本发明涉及印刷行业中的一种自动装订机自动控制，特别是涉及一种自动装订机在线模糊识别系统。尤其是涉及一种高速装订机页面在线模糊识别系统。

背景技术：

印刷行业中的自动装订设备，分为骑订线和胶订线两类，机械自动化程度都比较高，进口设备的装订速度达到1万本/小时以上。但是制约自动线装订质量的技术瓶径问题之一，是配页过程中的错页、漏页、歪页、多贴等技术问题。随着时代的发展，出版集团对出版物的质量要求越来越高(错误率为十万分之五以下)，依靠传统人工控制装订质量越来越困难。而目前无论进口装订设备还是国产的装订设备，都没有自动识别功能，作为印刷后期重要工序，缺少适时控制、识别系统，直接影响了印刷品的质量。

为解决上述问题，国内相关专家进行了长期的探讨。经对17个国内数据库及互联网相关网站进行查询，检索到相关文献4篇。列举如下：1、哈尔滨工业大学的宁焕成撰写的《基于模糊认识的自动装订机页面检测仪》一文。提出的自动装订机页面检测仪采用光电反射式传感探头，设计一种驱动电路，可以在一摞相同的页面中识别出其中存在的空白页、错页、倒页和印刷质量存在严重问题的页。但是，识别速度和纠错问题解决不了。2、北京工业大学的潘玲珍撰写的《基于模糊识别的书贴检测仪的研制》，与文献1研究的内容基本相同，都解决不了识别速度和纠错问题。3、北京工业大学机械工程与应用电子技术学院的王跃宗、李德胜发表的《新型错帖检测仪的设计》，文中提到的仪器的测量精度只能达到0.5％。远远不能满足当前印刷行业“错误率为十万分之五以下”的要求。4、哈尔滨工业大学；航天工业总公司第三研究院的周锐、杨涤、王恒霖等人撰写的《复杂背景中目标图像的提取与跟踪》，介绍一种复杂背景中目标图像的提取与高精度目标形心跟踪算法。也没有提到具体的识别速度、精度、纠错等关键技术问题。

发明内容：

本发明所要解决的技术问题是：提供一种高速装订机页面在线模糊识别系统，对印刷品页面的进行图像二值化，图像识别等数字化高速处，并准确地将错页、漏页、歪页等页面自动排出，从而解决印刷品装订过程中错误率高的技术问题。

本发明为解决上述技术问题所采取的技术方案是：

1、一种高速装订机页面在线模糊识别系统。其特征在于：所述高速装订机页面在线模糊识别系统，采用计算机图像处理与模糊识别技术，ARM嵌入式结构，CCD数字高速摄像头，适时采集配页机机器手抓取的页面图像(每秒24张)，计算机将该图像与标准图像进行特征比较，确定配页机抓取的页面是否正确。当出现错误时，控制系统自动报警并将有问题的书刊从紧急出口排出或停机处理。

2、所述高速装订机页面在线模糊识别系统，其特征在于：对图像进行二值化处理。即摄像头读取页面图象后，通过图像二值化处理，将彩色图像转换为黑白图象。将图像按照灰度划分为若干个子块(16块)，每个子块计算一个平均灰度，即确定一个阀值，所有灰度超过平均灰度的值变换为255(黑色)，而另一些低于平均灰度值变换到0(白色)。每个阀值的选择与设置全部由计算机计算后自动完成。最终得到黑白图像。

3、所述高速装订机页面在线模糊识别系统，其特征在于：图像特征提取与匹配，即通过分别提取两个图像的特征(点、线、面等特征)，对图像特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。

本发明采取特征向量判别方法对两个图像之间进行匹配，匹配过程分为粗匹配和精匹配两步进行。粗匹配阶段采取了图像投影方法提取特征向量。精匹配阶段采用欧式距离测量方法。结合最小绝对差度量MAD和Hausdorff距离度量的基本原理，采用像素距离相似性度量方法的图像匹配算法和自适应模板图像匹配跟踪算法，并对对应像素距离相似性度量方法的图像匹配算法和匹配跟踪性能进行分析.对这2种算法的匹配跟踪性能参数的实验结果进行比较。

4、所述高速装订机页面在线模糊识别系统，其特征在于：采用图像数据的采集与外部图像数据的读取同时进行技术，实现图像数据的高速处理。采用双SRAM缓存结构。在同一时刻，一片可用于存储图像数据，另一片可用于外部ARM对图像数据的读取。两块SRAM存储区乒乓式切换。当图像数据写满SRAM1时，FPGA向ARM发送一个中断信号，然后，AlRM响应中断并读取SRAM1中的图像数据，同时将其写入内存中，图像数据将写入SRAM2，当图像数据写满SRAM2时，FPGA也向ARM发送一个中断信号。ARM响应中断并读取SRAM2中的图像数据，同时将其写入内存中。之后，图像传感器的数据将再次写入SRAM1，系统结构上，采用基于ARM&Linux的嵌入式软硬平台。

5、所述高速装订机页面在线模糊识别系统，其特征在于：对装订中出现的错页、漏页、歪页等进行自动处理。当图像识别处理判断发现的错页、漏页、歪页时，计算机输出报警信号，装订生产线自动停机或者从紧急出口排除错误书刊。

本发明的积极有益效果在于：解决了印刷行业自动装订设备的自动识别控制问题，代替了传统人工控制装订质量的方法。实现了装订过程的错页、漏页、歪页的自动纠错处理。其优点主要表现在以下四个方面：

一是图像识别处理速度快：本发明设计目标为处理一幅图像的平均时间小于等于0.1秒，满足装订速度在30000张/小时以下的生产线的需求。

二是识别误差率低：安装本识别系统的马天尼书刊自动装订机，发生错页、歪页现象的错误率，可以由过去的万分之五，降低到十万分之一以下，产品质量大幅度提高。

三是设计装配成本低：该识别系统完全自行开发、设计，所用硬件为市场上的通用件，装配改造一套瑞士进口的马天尼骑订生产线，只需十几万元。

四是降低了劳动强度，减少了工作量，降低了生产成本。

附图说明：

如图所示，

图1高速装订机页面在线模糊识别系统示意图；

图2是图像经二值化处理的前后效果示意图；

图3是图像特征提取与匹配的判别流程示意图；

图4是ARM&Linux的嵌入式系统硬件结构示意图；

图5是以C语言和Qt库为图像处理程序示意图；

图6是ARM&Linux的嵌入式系统设计示意图；

图7是控制系统电路原理图；

图8是系统采用的QQ2440v3开发板图；

图9是高速装订机页面在线模糊识别系统总体设计工艺流程图。

具体实施方式：

为更好地理解本发明，下面结合具体实施例作进一步说明：

1、本发明的设计思路

①高速数据采集系统设计：本发明设计目标为处理一幅图像的平均时间小于等于0.1秒，满足装订速度在30000张/小时以下的生产线的需求。采用ARM嵌入式系统硬件结构，图像采集芯片将原始图像数据传到FPGA，FPGA将图像原始数据暂存于SRAM1中，当一帧图像存储完后，下一帧图像数据存于SRAM2中。同时，将SRAM1中的数据送给ARM，ARM在对原始图像进行必要的处理后，将图像数据以图片文件的方式送入图像识别控制器进行判别输出，当出现装订故障时，驱动报警灯并控制装订线的停机或错误书刊分流。这样就实现了嵌入式高速图像采集和识别功能，用户可以很方便地将图片上传到PC机中进行进一步的分析和处理。

②ARM&Linux的嵌入式系统的设计：FPGA选择：FPGA主要作用是把图像采集芯片传过来的图像原始数据，采取乒乓操作的方式，暂存于两片SRAM中。当FPGA开始接收第一帧图像时，把该帧图像根据FPGA内部生成的地址存储在SRAM1中，一帧图像接收完毕后，向ARM传送。同时，把下一帧图像暂存于SRAM2中，然后传给ARM，依次循环。这样就可以实现图像的高速采集。本系统选用了Alter公司的EPlK30TC144-3，它采用EECMOS技术，144引脚TQFP封装，容量为10万门，具有高密度、低成本、低功耗的特点。FPGA的内部结构包括时钟驱动模块、SAA7113H控制模块、SRAM控制模块、ARM数据交换模块等。SAA7113H控制模块主要负责对视频采集芯片SAA7113H的初始化和启停等功能控制；SRAM控制模块则主要进行读写地址生成、“乒乓”读写控制等。

③图像识别算法设计：图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。

灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。利用灰度信息匹配方法的主要缺陷是计算量太大，速度低，不适宜在本项目中采用。

特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。实现确定图像之间的相似度指标，当两张图片之间的相似程度超过相似度指标的设定值时，可以认为两张图片相同。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。本发明是基于特征匹配的方法取得页面判定结果的。

2、控制系统硬件设计：根据实际要求，需要对各个模块(图像数据采集、FPGA、ARM、图象识别、报警、LCD显示模块)进行分析与设计。

①FPGA模块的设计：基于Nios II的高速图像数据采集和显示系统的实现通常有两种方案。一种是在Nios II处理器上使用软件控制PIO(Peripheral I/O)端口模拟采集模块的时序，从而可灵活地存储图像数据，并可按照图像宏块(如8×8像素的MCU块)存入SDRAM的连续地址中；第二种方案是加FIFO缓冲区，图像数据直接经DMA控制器存储SDRAM，这种方案能节省Nios II的软件开销，更高效地完成图像的采集工作。

本发明采用了第二种方案，FPGA为Altera的EP1C6Q240C8，它有5980个LC(逻辑门单元)和20个M4K的RAM块。本系统设计的一个11位深度的DMA控制器，需要280个Logic Cells和151个LC Registers，占FPGA整个系统资源的7.2％，其资源占用较少。本系统设计了两个DMA控制器，一个用于前端采集模块通道，一个用于后端显示模块通道。

由于CMOS和CCD的固体图像传感器的类型很多，有些传感器(如OV7620)输出的是YCrCb(4:2:2)的格式，但大多数CMOS和CCD的图像传感器出来的图像数据是Raw Data(Bayer)的数据格式。所以首先需要对这些图像数据进行CFA插补。为了节省软件开销，本系统采用了一种最简单的CFA插补算法(Bilinear)，与高阶B-spline和cubic-spline等插补函数相比，图像的像质相差不大。但Bilinear的算法要简单得多，消耗的软件资源相对要少。插补后的图像需要进一步裁剪成液晶屏能显示的分辨率(QVGA)，RGB分量只取高6位。

②FPGA中的电路设计：在FPGA中需要设计2种控制器，即CMOS采集控制器、SDRAM控制器。Altera公司提供了SDRAM的控制器，需要根据具体的SDRAM器件正确配置SDRAM控制器的时间参数，才能正常、稳定地工作。本系统采用的SDRAM型号为HY57V561620T-H，其配置参数如表1所示。

表1 SDRAM参数配置

注：初始化刷新周期2cycle、刷新时间为7.8125μs

OV2610的图像数据需要设计两个DMA控制器用做图像数据采集通道，由于OV2610图像数据的接口是数据流的形式，用FIFO存储单元来做缓存与双口RAM相比，不需要设计地址发生器，减少了FPGA内部的逻辑综合布线。具体设计包括两部分：第一部分采用硬件描述语言设计CMOS采集的时序发生器；第二部分是在Nios II IDE环境下，用C语言编写DMA初始化和控制程序。

CMOS采集时序模块需要严格按照CMOS图像传感器的时序设计。在CMOS采集控制器的设计中，关键是设计好时序产生模块的逻辑，同时采集的数据需要存储到资源有限的FIFO中。

在SOPC平台中，要设计CMOS传感器与Avalon的接口，将数据存储到SDRAM1，SDRAM2，挂接到Avalon总线上。本系统CMOS采集时序模块设计成为Avalon的从设备，需要用到address、clk、reset、chipselect、read、readdata、begintransfer、endofpacket引脚。

数据传输需要按照Avalon总线从模式传输的总线接口时序进行。流模式的数据传输与FIFO的传输时序相似，因此在FIFO与Avalon总线的接口上能够做到无缝连接。这里Avalon总线将FIFO读入DMA或Nios II的主端口的时钟是内部总线的时钟，本系统采用80MHz。也就是说，用流模式传输的最大带宽能达到160Mbps，可满足300万像素、图像采集30帧/s的要求，比用PIO方式采集的带宽要大。图像采集系统的关键为SDRAM的存储部分。在SOPC的设计中，如果更多的主端口挂接到SDRAM控制器上，则SDRAM的仲裁电路消耗的时间就会增加，从而造成SDRAM的数据存储速度下降。当连接到SDRAM控制器的主端口过多时，就会成为图像数据传输的瓶颈。

③ARM模块的设计：ARM9系列处理器是英国ARM公司设计的主流嵌入式处理器，主要包括ARM9TDMI和ARM9E-S等系列。因为ARM9的新特性能够满足各种新需求的同时减少产品研发时间并降低研发费用。ARM9采用5级流水线，。增加的流水线设计提高了时钟频率和并行处理能力。5级流水线能够将每一个指令处理分配到5个时钟周期内，在每一个时钟周期内同时有5个指令在执行。这种处理能力的提高是通过增加时钟频率和减少指令执行周期实现。5级流水线引入了独立的存储器和写回流水线，分别用来访问存储器和将结果写回寄存器。

本发明采用基于ARM&Linux的嵌入式软硬系统，具体的实验开发板采用了QQ2440v3开发板。QQ2440v3是一款低价实用的ARM9开发板，它采用SamsungS3C2440为微处理器，并采用专业稳定的CPU内核电源芯片和复位芯片来保证系统运行时的稳定性。

3、控制系统软件设计：

此嵌入式图像处理系统选用ARM芯片为硬件核心，嵌入式Linux操作系统为软件核心的方案，采用QQ2440v3实验板。采用RISC架构的ARM微处理器一般具有如下优点：体积小、低功耗、低成本、高性能；支持Thumb/ARM双指令集，能很好的兼容8位、16位器件；大量使用寄存器，指令执行速度更快；大多数数据操作都在寄存器中完成；寻址方式灵活简单，执行效率高；指令长度固定；同时其市场占有率高，开发工具齐全，网络资源多。

嵌入式Linux操作系统具有以下优点：开源，免费；体积小，内核可裁剪；稳定，性能好。通过对本课题系统核心方案的确立，我们就可以将内容专注在基于ARM&Linux的嵌入式图像处理技术研究上。本课题设计大体上分为：①ARM、Linux、图像处理等知识准备；②开发板软件环境搭建；③用C语言编写图像处理程序；④用Qt编写图像显示程序；⑤交叉编译、下载程序，在开发板上运行等五个步骤来实现。

①图象采集的预处理与二值化：真彩图像中每个像素点由R，G，B三个字节组成，一个像素显示出不同的颜色，是因为其R，G，B的有不同取值组合。图像格式为BMP格式，读取的图片如图5-10。R，G，B颜色空间如图，当图像中所有像素的R，G，B三个颜色分量值相等时，那么此图像就成了灰度图像，二值化是针对灰度图像，将灰度图像中像素值大于某个阈值(如128)的全赋225值，小于此阈值的赋0值，这样就将图像二值化了。

②图像识别：本项目采取特征向量判别方法对两个图像之间进行匹配。由于印刷品页面的主要内容是文字和图像，文字的行与行之间存在空白特征，为了提高判别速度，匹配过程分为粗匹配和精匹配两步进行。

③粗匹配阶段，采用灰度直方图识别方法。由于直方图是对图像上每个像素发生的次数绘图，直方图均衡顾名思义就是利用直方图原理进行灰度均衡。从0-255灰度级水平地从左到右显示。灰度级发生的次数越多，直方图中该位置的线越高，以此来直观地表示出图像的灰度分布情况。本项目也不例外。同样是进行了各像素值的个数的统计，那么，前面已经提到对于灰度图像，像素值是0-255之间的一个，所以可以定义一个长度为256数组histogram[256]来存放统计出的个数。

图像的相似度计算转化为直方图的距离计算，本发明依照如下公式进行直方图相似度的定量度量：

Sim (G, S) = \frac{1}{N} Σ_{i = 1}^{N} (1 - \frac{| g_{i} - s_{i} |}{Max (g_{i}, s_{i})})

其中G，S为直方图，N为颜色空间样点数。计算后得到两张图片的直方图的相似程度。

④精匹配阶段：针对实时匹配的要求，基于DOG特征点的快速图像匹配算法，用以匹配只存在平移和较小旋转的序列图像。该算法通过求高斯差分算子在尺度空间上的局部极大值和极小值提取特征点，然后根据圆旋转不变特性生成2维的旋转不变特征描述子，并充分利用特征点的区域特征和灰度特征进行匹配，最后根据序列图像对应特征点之间的距离基本保持不变的特性剔除错误的匹配点。实验结果表明该算法快速有效，而且对噪声影响不敏感，具有很强的实用性。

4、采用DELPHI编写的程序代码如下：

function getCode:string；varmaxCount，k，m，j，i:integer；beginResult:＝′？′；if length(PointList)＜3thenexit；maxCount:＝0；for i:＝0 to high(PointRecList)do //图片1beginif length(PointRecList.PointList)＜3thenContinue；m:＝0；for K:＝1 to high(PointList)do //图片2beginforj:＝1 to high(PointRecList.PointList)do////对比原图和当前图纸中原点距离相等的点if ((PointList[k].X-PointList[0].X)＝(PointRecList.PointList[j].X-PointRecList.PointList[0].X))and((PointList[k].y-PointList[0].y)＝(PointRecList.PointList[j].y-PointRecList.PointList[0].y))thenbegininc(m)；Break；end；end；m:＝m*100div(length(PointList)-1)；if m＞maxCount thenbeginResult:＝PointRecList.Code；maxCount:＝m；end；end；end；

Claims

1.一种高速装订机页面在线模糊识别系统，其特征在于：所述高速装订机页面在线模糊识别系统，采用计算机图像处理与模糊识别技术，ARM嵌入式结构，CCD数字高速摄像头，适时采集配页机机器手抓取的页面图像(每秒24张)，计算机将该图像与标准图像进行特征比较，确定配页机抓取的页面是否正确。当出现错误时，控制系统自动报警并将有问题的书刊从紧急出口排出或停机处理。

2.根据权利要求1所述的高速装订机页面在线模糊识别系统，其特征在于：对图像进行二值化处理。即摄像头读取页面图象后，通过图像二值化处理，将彩色图像转换为黑白图象。将图像按照灰度划分为若干个子块(16块)，每个子块计算一个平均灰度，即确定一个阀值，所有灰度超过平均灰度的值变换为255(黑色)，而另一些低于平均灰度值变换到0(白色)。每个阀值的选择与设置全部由计算机计算后自动完成。最终得到黑白图像。

3.根据权利要求1所述的高速装订机页面在线模糊识别系统，其特征在于：图像特征提取与匹配，即通过分别提取两个图像的特征(点、线、面等特征)，对图像特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法，

4.根据权利要求1所述的高速装订机页面在线模糊识别系统，其特征在于：采用图像数据的采集与外部图像数据的读取同时进行技术，实现图像数据的高速处理。采用双SRAM缓存结构。在同一时刻，一片可用于存储图像数据，另一片可用于外部ARM对图像数据的读取。两块SRAM存储区乒乓式切换。当图像数据写满SRAM1时，FPGA向ARM发送一个中断信号，然后，A1RM响应中断并读取SRAM1中的图像数据，同时将其写入内存中，图像数据将写入SRAM2，当图像数据写满SRAM2时，FPGA也向ARM发送一个中断信号。ARM响应中断并读取SRAM2中的图像数据，同时将其写入内存中。之后，图像传感器的数据将再次写入SRAM1，系统结构上，采用基于ARM&Linux的嵌入式软硬平台。

5.根据权利要求1所述高速装订机页面在线模糊识别系统，其特征在于：对装订中出现的错页、漏页、歪页等进行自动处理。当图像识别处理判断发现的错页、漏页、歪页时，计算机输出报警信号，装订生产线自动停机或者从紧急出口排除错误书刊。