CN102510448B - 多处理器嵌入式图像采集和处理方法和装置 - Google Patents

Abstract

本发明涉及一种算法简单、高效而且成本低的多处理器嵌入式图像采集和处理方法和装置，包括图像处理的硬件结构、图像分割方法、图像处理算法和图像合成方法。它包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；图像传感器控制电路还分别与图像采集和分割模块及各子处理器及相应的存储器连接。与多图像传感器的系统相比，本系统的安装和使用更加方便，而且成本也更低。

Description

多处理器嵌入式图像采集和处理方法和装置

技术领域

本发明涉及一种图像处理装置及方法，尤其涉及一种多处理器嵌入式图像采集和处理方法和装置。

背景技术

机器视觉在高速、实时特征文字和特征符号识别领域的应用越来越广泛。现有的嵌入式机器视觉系统一般由一个图像传感器和一个处理器组成。处理器用来采集和处理图像传感器生成的图像。有的系统可以由多个图像传感器和一个处理器组成。处理器可以有选择地选择其中来自某个图像传感器的图像进行处理。

在高速图像采集和处理系统中，图像传感器的速度非常快，通常一个处理器无法完成实时图像处理。现有的做法是，先把图像存储在内存中，然后以相对比较慢的速度把图像送给处理器进行处理。这种做法的最大缺点是，系统无法进行实时处理，导致在某些对时间要求苛刻的应用场合，系统不能达到需要的技术指标。

中国专利200810056124.6提出了多个传感器和多个处理器的系统架构，其优点是系统处理能力强，可以并行处理多个图像源的图像。但其缺点是由于使用了多个传感器，需要配备多个光学系统，使得系统复杂，成本高。

在视频和图像处理领域，一些专利申请提出了图像分割的概念。中国专利200610052661.4提出了将图像沿水平或垂直方向分割成多块，或分割成田字型的四块的方法。由于需要用到运动估计的算法，每个图像块的处理都需要用到相邻图像块的信息。中国专利200710097644.7也提出了图像分割的概念以及光栅扫描或行扫描的算法。它提出的图像处理算法也需要用到运动估计，因此需要用到相邻或之前的图像块的信息。这两个专利的算法使得处理器之间具有一定的耦合性，因此算法比较复杂，而且行扫描的方式并不能大幅提高并行处理的效率。

中国专利200710182320.3提出了全景图像合成的算法。其原理是先采集多幅有重叠区域的图像，然后根据图像的相似程度找到重叠区域，最后进行合并。由于事先并不知道重叠的区域有多大，所以这种算法需要大量的运算。

上述的这些方法各有其优点，虽可以解决图像和视频处理领域中某些特定的应用中的一些问题。但是对于高速、实时特征文字和符号识别领域的应用，这些方法有明显的缺点，如算法复杂、效率低、成本高等

发明内容

本发明的目的就是为解决上述问题，提供一种算法简单、高效而且成本低的多处理器嵌入式图像采集和处理方法和装置，包括图像处理的硬件结构、图像分割方法、图像处理算法和图像合成方法。

为实现上述目的，本发明采用如下技术方案：

一种多处理器嵌入式图像采集和处理装置，它包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；图像传感器控制电路还分别与图像采集和分割模块及各子处理器及相应的存储器连接。

一种多处理器嵌入式图像采集和处理装置，它包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；各子处理器及相应的存储器与主处理器连接，主处理器还分别与图像传感器控制电路何图像采集和分割模块连接。

所述图像传感器为CMOS图像传感器或CCD图像传感器。

所述图像传感器为的分辨率大于50万像素，速度达到至少100帧每秒的面阵图像传感器。

所述图像传感器为分辨率大于4000个像素，速度达到至少6000行每秒的线阵图像传感器。

所述图像传感器控制电路提供传感器工作所需要的时序信号，用于对图像传感器的增益、速度参数进行设置。

所述图像采集和分割模块把图像传感器生成的图像按列分割成多个图像区域，相邻区域之间设有共享的区域，再把分割后的多个区域的图像分别发送给各个子处理器进行并行处理。

所述主处理器把各个子处理器输出的图像合并成完整的图像。

一种采用多处理器嵌入式图像采集和处理装置的图像处理方法，

1)图像采集；

2)对图像进行分割

按照像素列进行图像分割；并在分割时在相邻两分割图像间建立一个共享区域，共享区域的图像既属于其左边相邻的区域，也属于右边相邻的区域；

3)各子处理器根据所需的工作，对接收到的各个分割后图像进行单独的分析处理，根据分析处理结果判断图像是否符合要求或者将结果输出。

一种采用多处理器嵌入式图像采集和处理装置的图像处理方法，

1)图像采集；

2)对图像进行分割

按照像素列进行图像分割；并在分割时在相邻两分割图像间建立一个共享区域，共享区域的图像既属于其左边相邻的区域，也属于右边相邻的区域；

3)各子处理器根据所需的工作，对接收到的各个分割后图像进行分析处理，根据分析处理结果判断图像是否符合要求或者将结果输出；

4)将处理后的结果送入主处理器，主处理器将接收到的各个分析结果合并，然后保存或者输出；

5)将处理后的各个分割图像送入主处理器，主处理器将接收的各分割图像进行合并处理，然后保存或者输出。

在对图像进行分割时，如将图像分割为两部分，则以原始图像的水平方向的分辨率为w，将原始图像分为两个部分；相邻两分割图像的水平方向分辨率为x和y；两部分的共享区域或者重叠区域的宽度为d；分割后的图像与分割前的图像在分辨率上的关系为：w＝x+y-d；如果x＝y，则w＝2x-d。

在对图像进行分割时，如将图像分割为三部分以上，则以原始图像的水平方向的分辨率为w，将原始图像分为n个部分；分割后图像的水平方向分辨率分别为x₁、x₂、...、x_n；共享区域或者重叠区域的宽度分别为d₁、d₂、...d_n-1；分割后的图像与分割前的图像在分辨率上的关系为：如果x₁＝x₂＝...＝x_n，d₁＝d₂＝...＝d_n-1，则w＝nx-(n-1)d。

各子处理器对处理后的分割图像进行压缩。

主处理器对合并后的图像进行压缩。

所述各子处理器都有相应的存储器用于缓存图像数据以及图像处理过程中所需要的数据；图像处理的算法包括图像预处理和图像后处理两个阶段；其中图像预处理包括滤波和二值化图像处理算法；子处理器对预处理之后的图像进行图像后处理；图像后处理包含光学字符识别OCR、条码识别或者特征匹配；其中光学字符识别用于车牌识别、标签识别领域；条码识别用于识别一维和二维条码；特征匹配包括形状匹配、颜色匹配和预定义模式匹配，用于印刷质量检测领域。

本发明的装置主要由一个图像传感器、一个图像传感器控制电路、一个图像采集和分割模块和多个子处理器组成，如图2所示。可选地，一个主处理器可以用来对每个子处理器的输出结果进行汇总，如图1所示。每个处理器可以有独立的内存模块相匹配工作。

图像传感器：用来把目标物体的光信号转换成模拟电信号，并且可以转换成数字信号。可以是两维(面阵)的图像传感器，也可以是一维(线阵)的图像传感器。可以是CMOS图像传感器，也可以是CCD图像传感器。如果图像传感器本身不包含模数转换电路，可以在图像传感器之后加一级模数转换电路。本申请所述图像传感器尤指分辨率大于50万像素，速度可以达到至少100帧每秒的面阵图像传感器和分辨率大于4000个像素，速度可以达到至少6000行每秒的线阵图像传感器。

图像传感器控制电路：提供传感器工作所需要的时序信号，用于对图像传感器的增益、速度等参数进行设置。

图像采集和分割：把图像传感器生成的图像按列分割成多个图像区域，相邻区域之间可以有共享的区域。再把分割后的多个区域的图像分别发送给各个处理器进行并行处理。这样系统可以在更短的时间内完成图像处理。

子处理器1-n及存储器：为了解决处理器处理能力有限的问题，本系统采用多个处理器。各个处理器可以独立地并行处理图像。用于处理来自图像采集模块输出的分割后的相应的图像数据。各处理器可以输出处理结果，也可以输出原始的或处理后的图像。各处理器之间也可以互相通讯。

主处理器：可选的，主处理器可以把各个处理器模块的图像处理的输出结构进行统一处理。可选的，主处理器可以把各个处理器模块输出的图像合并成完整的图像。

本发明的工作流程可以分为图像采集、图像分割、图像处理和结果输出四个阶段。

图像分割原理：

由于图像传感器像素的传输是按照行的方式进行的，而且列宽通常大于行宽，所以本专利提出了按照像素列进行图像分割的算法。

为了使得相邻图像区域交界处的物体的图像能够保持完整，可以定义一个共享区域。共享区域的图像既属于左边的区域，也属于右边的区域。这样可以保证图像中的目标物可以被正确和完整的识别。

图像分割的基本思想如下。如图3所示，原始图像的水平方向的分辨率为w。将原始图像分为左右两部分，左面的水平方向分辨率为x；右边水平方向分辨率为y。两部分的共享区域或者重叠区域的宽度为d。分割后的图像与分割前的图像在分辨率上的关系为：w＝x+y-d；如果x＝y，则w＝2x-d。

基于类似的思想，可以把一幅图像分割成三个或者更多的子图像。每个子图像分别发送给一个处理器进行图像处理。分割的子图像越多，则系统图像处理的速度越快，实时性越好。

对于线阵图像传感器，其图像的数据也是按照行的方式进行传输的，然后累积成两维图像，所以可以采用一样的图像分割方法。

图像合成原理：

系统可以把分割后的子图像或者分割后的经过图像处理的子图像合并成一个与原始图像分辨率一样或者接近的图像。由于在图像分割过程中，系统已经知道具体的分割数据，如原始图像的列宽、子图像数量以及子图像的位置和列宽等，所以可以按照这些已知数据进行合并而不需要先进行图像相似度和位移等复杂的计算。

图像处理算法：

系统把分割后的子图像数据分别发送给每个处理器用于图像处理。每个处理器都有相应的存储器用于缓存图像数据以及图像处理过程中所需要的数据。图像处理的算法包括图像预处理和图像后处理两个阶段。图像预处理可以包括滤波和二值化等常用图像处理算法。处理器可以对预处理之后的图像进行图像后处理。图像后处理可以包含光学字符识别(OCR)、条码识别或者特征匹配。其中光学字符识别可用于车牌识别、标签识别等领域；条码识别用于识别一维和二维条码；特征匹配包括形状匹配、颜色匹配和预定义模式匹配，可用于印刷质量检测等领域。

各子处理器对处理后的分割图像进行压缩。

或者由，主处理器对合并后的图像进行压缩。

上述图像压缩主要是为满足存储和传输的需要。

本发明的有益效果是：

采用高速图像传感器和多个处理器以及图像分割和合成算法，可以应用在高速实时检测应用领域。本系统采用图像分割算法，把原始图像分割成几个子图像，每个处理器处理其中一个子图像，这样多个处理器可以并行处理。由于子图像之间的处理没有耦合性，因此提高了系统的处理速度，并使得系统的处理效率得以大幅提升，达到实时处理的效果。分割后的相邻子图像具有一定的重叠区域，这样可以保证每个子图像包含完整的被检测信息，所以可以避免漏检情况的发生。这样就保证了目标物体识别的正确率和完整性。

为了得到原始图像分辨率的图像，可以把分割后的子图像或者处理后的子图像重新合并。由于系统知道子图像的尺寸及其在原始图像中的位置，所以可以很方便的进行合并，而不需要复杂的算法。

各子处理器或主处理器可对图像进行压缩，便于传输和存储。因为压缩后，数据量小了很多，对传输的带宽要求降低了；而且需要更少的存储空间用来存储图像数，节省了存储空间。

与多图像传感器的系统相比，本系统的安装和使用更加方便，而且成本也更低。

附图说明

图1为本发明的结构示意图；

图2为本发明的另一种结构示意图；

图3为图像分割示意图；

图4为车牌图像分割示意；

图5为车牌图像按像素分割示意图；

图6为面阵图像传感器像素分布示意图；

图7为条码图像分割图；

图8为印刷品图像分割图；

图9为线阵图像传感器像素分布示意图；

图10为本发明的流程图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

实施例1：

一种多处理器嵌入式图像采集和处理装置，它包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；图像传感器控制电路还分别与图像采集和分割模块及各子处理器及相应的存储器连接。

所述图像传感器为CMOS图像传感器或CCD图像传感器。

所述图像传感器为的分辨率大于50万像素，速度达到至少100帧每秒的面阵图像传感器。

或者，所述图像传感器为分辨率大于4000个像素，速度达到至少6000行每秒的线阵图像传感器。

所述图像传感器控制电路提供传感器工作所需要的时序信号，用于对图像传感器的增益、速度参数进行设置。

所述图像采集和分割模块把图像传感器生成的图像按列分割成多个图像区域，相邻区域之间设有共享的区域，再把分割后的多个区域的图像分别发送给各个子处理器进行并行处理。

实施例2：

一种多处理器嵌入式图像采集和处理装置，它包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；各子处理器及相应的存储器与主处理器连接，主处理器还分别与图像传感器控制电路何图像采集和分割模块连接。

所述图像传感器为CMOS图像传感器或CCD图像传感器。

所述图像传感器为的分辨率大于50万像素，速度达到至少100帧每秒的面阵图像传感器。

或者，所述图像传感器为分辨率大于4000个像素，速度达到至少6000行每秒的线阵图像传感器。

所述图像传感器控制电路提供传感器工作所需要的时序信号，用于对图像传感器的增益、速度参数进行设置。

所述图像采集和分割模块把图像传感器生成的图像按列分割成多个图像区域，相邻区域之间设有共享的区域，再把分割后的多个区域的图像分别发送给各个子处理器进行并行处理。

所述主处理器把各个子处理器输出的图像合并成完整的图像。

实施例3：

在用于双车道车牌识别中：

在高性能车辆实时监控系统中，基于高速成像的技术应用越来越普遍。对于双车道的监控，可以采用单图像传感器系统实现。为了实现大量的图像数据的实时处理，用两个处理器分别处理左右车道的图像信息。图像采集模块把图像分割成两部分，每部分分别覆盖一个车道。其中，两部分都包含两车道交界的部分。然后把左右车道的图像分别传送给两个处理器。这样，可以避免当车辆跨车道行驶时给车牌识别带来的困难。如图4所示，跨线行驶车辆的车牌的位置正好位于原始图像的中间，如果只是简单的把图像从正中间进行分割，则车牌会被截断，并被分到两幅图像中去。如果按照图5的方法进行分割，就可以解决这个问题。

如图5所示，原始图像的分辨率为2000x1024，即有1024行和2000列。可以把图像分割成两个子图像，每个图像的列宽都是1280个像素，行数不变，即分割后的两个图像的分辨率分别是1280x1024。这样，原始图像中间的560列既属于分割后的左边的子图像，也属于右边的子图像。分割后的两个子图像分别发送给两个处理器进行图像处理。

实施例4：

在三车道车牌识别中：

与实施例1类似，在车牌识别的应用中，也可以把这种图像分割成3部分。如图6所示。然后把分割后的子图像(图像区域1、2和3)分别发送给三个处理器进行图像处理。因此大大缩短了图像处理的时间，提高了系统的性能。

实施例5：

在条码识别中：

如图7所示，所拍摄的条码的图像位于原始图像偏左的地方。如果从图像正中间分割，则条码会被分割成两部分，不能完全解码。按照图中所示的区域进行分割，左边的子图像包含了完整的条码信息。可以进行完整的解码，同时由于子图像的尺寸远小于原始图像，所以条码解码速度可以提高很多。

实施例6：

在标签印刷质量检测中：

在标签印刷行业中，标签的质量要求非常严格，不能出现污点、笔画多墨或者少墨等情况。否则，质量问题会给厂家带来巨大的损失。目前高速印刷机的应用非常广泛，采用人工方式进行印刷质量检测的效率很低，而且检测员的人为因素可能造成误检。采用高速基于高速照相技术的在线检测系统可以极大地提高生产效率和检测正确率。采用图像分割和并行处理技术，可以进一步提高检测效率。如图8所示，采集到的标签图像可以分割成左右两幅子图像。两幅子图像分别送给两个处理器进行图像处理。只要任何一个子图像中发现有印刷质量问题，则标签为不合格产品。设置一部分重叠区域，可以防止由于图像分割造成的漏检情况的发生。

实施例7：

在基于线阵成像器件的系统中：

线阵成像技术通常可以实现更高的图像分辨率。本专利的技术同样可以应用在线阵成像系统中。线阵成像系统的两维图像是通过累积线阵图像来完成的。如图9所示，在采集线阵图像的同时，就可以把图像数据沿着列的方向进行分割。然后把图像分别发送给不同的处理器进行处理。后续的处理方式和面阵成像系统中的一样。

Claims (2)

1.一种多处理器嵌入式图像采集和处理装置的图像处理方法，其特征是， 

1)图像采集； 

2)对图像进行分割： 

按照像素列进行图像分割；并在分割时在相邻两分割图像间建立一个共享区域，共享区域的图像既属于其左边相邻的区域，也属于右边相邻的区域； 

3)各子处理器根据所需的工作，对接收到的各个分割后图像进行单独的分析处理，根据分析处理结果判断图像是否符合要求或者将结果输出； 

在对图像进行分割时，以原始图像的水平方向的分辨率为w，将原始图像分为n个部分；分割后图像的水平方向分辨率分别为x₁、x₂、…、x_n；共享区域或者重叠区域的宽度分别为d₁、d₂、…d_n-1；分割后的图像与分割前的图像在分辨率上的关系为：如果x₁＝x₂＝…＝x_n，d₁＝d₂＝…＝d_n-1，则w＝nx-(n-1)d； 

所述多处理器嵌入式图像采集和处理装置，包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；图像传感器控制电路还分别与图像采集和分割模块及各子处理器及相应的存储器连接； 

所述图像传感器为CMOS图像传感器或CCD图像传感器； 

所述图像传感器包括面阵图像传感器与线阵图像传感器，所述面阵图像传感器的分辨率大于50万像素，速度达到至少100帧每秒，所述线阵图像传感器的分辨率大于4000个像素，速度达到至少6000行每秒； 

所述图像传感器控制电路提供传感器工作所需要的时序信号，用于对图像传感器的增益、速度参数进行设置； 

所述图像采集和分割模块把图像传感器生成的图像按列分割成多个图像区域，相邻区域之间设有共享的区域，再把分割后的多个区域的图像分别发送给各个子处理器进行并行处理； 

各子处理器对处理前或者处理后的分割图像进行压缩；各子处理器独立地进行并行处理图像，各子处理器之间能互相通讯，用于处理来自图像采集模块输出的分割后的相应的图像数据，各子处理器既能够输出处理结果，又能输出原始的或者处理后的图像； 

所述各子处理器都有相应的存储器用于缓存图像数据以及图像处理过程中所需要的数据；图像处理的算法包括图像预处理和图像后处理两个阶段；其中图像预处理包括滤波和二值化图像处理算法；子处理器对预处理之后的图像进行图像后处理；图像后处理包含光学字符识别OCR、条码识别或者特征匹配；其中光学字符识别用于车牌识别、标签识别领域；条码识别用于识别一维和二维条码；特征匹配包括形状匹配、颜色匹配和预定义模式匹配，用于印刷质量检测领域。 

2.一种多处理器嵌入式图像采集和处理装置的图像处理方法，其特征是， 

1)图像采集； 

2)对图像进行分割； 

按照像素列进行图像分割；并在分割时在相邻两分割图像间建立一个共享区域，共享区域的图像既属于其左边相邻的区域，也属于右边相邻的区域； 

3)各子处理器根据所需的工作，对接收到的各个分割后图像进行分析处理，根据分析处理结果判断图像是否符合要求或者将结果输出；4)将处理后的结果送入主处理器，主处理器将接收到的各个分析结果合并，然后保存或者输出； 

5)将处理后的各个分割图像送入主处理器，主处理器将接收的各分割图像进行合并处理，然后保存或者输出；在对图像进行分割时，以原始图像的水平方向的分辨率为w，将原始图像分为n个部分；分割后图像的水平方向分辨率分别为x₁、x₂、…、x_n；共享区域或者重叠区域的宽度分别为d₁、d₂、…d_n-1；分割后的图像与分割前的图像在分辨率上的关系为：如果x₁＝x₂＝…＝x_n，d₁＝d₂＝…＝d_n-1，则w＝nx-(n-1)d； 

所述多处理器嵌入式图像采集和处理装置，包括图像传感器，图像传感器与图像传感器控制电路连接，图像传感器与图像采集和分割模块连接，图像采集和分割模块则与多个子处理器连接，各子处理器分别与相应的存储器连接；各子处理器及相应的存储器与主处理器连接，主处理器还分别与图像传感器控制电路和图像采集和分割模块连接； 

所述图像传感器为CMOS图像传感器或CCD图像传感器； 

所述图像传感器包括面阵图像传感器与线阵图像传感器，所述面阵图像传感器的分辨率大于50万像素，速度达到至少100帧每秒，所述线阵图像传感器的分辨率大于4000个像素，速度达到至少6000行每秒； 

所述图像传感器控制电路提供传感器工作所需要的时序信号，用于对图像传感器的增益、速度参数进行设置； 

所述图像采集和分割模块把图像传感器生成的图像按列分割成多个图像区域，相邻区域之间设有共享的区域，再把分割后的多个区域的图像分别发送给各个子处理器进行并行处理； 

所述主处理器把各个子处理器输出的图像合并成完整的图像； 

各子处理器对处理前或者处理后的分割图像进行压缩，并送给主处理器，然后主处理器将各子图像合并，并对合并后的图像进行压缩； 

各子处理器独立地进行并行处理图像，各子处理器之间能互相通讯，用于处理来自图像采集模块输出的分割后的相应的图像数据，各子处理器既能够输出处理结果，又能输出原始的或者处理后的图像； 

所述各子处理器都有相应的存储器用于缓存图像数据以及图像处理过程中所需要的数据；图像处理的算法包括图像预处理和图像后处理两个阶段；其中图像预处理包括滤波和二值化图像处理算法；子处理器对预处理之后的图像进行图像后处理；图像后处理包含光学字 符识别OCR、条码识别或者特征匹配；其中光学字符识别用于车牌识别、标签识别领域；条码识别用于识别一维和二维条码；特征匹配包括形状匹配、颜色匹配和预定义模式匹配，用于印刷质量检测领域。