CN206058228U - 机器视觉检测系统 - Google Patents

Abstract

本实用新型涉及机器视觉领域，公开一种机器视觉检测系统，用于快速、准确地检测出具有LBP(Local Binary Patterns,局部二值模式)特征集的目标物。所述机器视觉检测系统工作流程包括：FPGA(Field‑Programmable Gate Array,现场可编程门阵列)控制与处理模块下达光强检测命令后，根据光强检测模块检测到的环境光强信号调整摄像头模块的曝光时间。摄像头模块有序地采集每帧图像并输入到FPGA控制与处理模块，进行图像预处理、图像金字塔建立以及使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对图像金字塔各层图像进行目标物的检测，获取图像中不同尺度的目标物区域。最后合并相同位置的目标物区域，删除误检的区域，并且将检测结果上传至上位机模块。

Description

机器视觉检测系统

技术领域

本发明涉及机器视觉技术领域，特别涉及一种机器视觉检测系统。

背景技术

机器视觉检测是模式识别和人工智能中的一项基本研究内容，在人脸检测、视频检索、智能监控跟踪和人机交互等领域中有着广泛的应用。机器视觉检测的目的是在图像中检测具有特定特征的目标物是否存在，若存在则给出目标物所在的区域位置及区域大小。通常，机器视觉检测分为三个步骤：①基于特定特征与算法，对目标物构建分类器；②采用图像采集系统，获取待检测的可能包含目标物的图像；③在待检测的图像中提取目标物对应的特定特征，使用分类器对目标物进行检测。

对于步骤①，目前对目标物构建分类器的代表性算法是Yoav Freund和RobertSchapire提出的AdaBoost (Adaptive Boosting，自适应提升) 算法。AdaBoost算法的核心思想是针对同一个训练集，基于特定特征，训练分类能力一般的弱分类器，然后将这些弱分类器进行级联，构建一个强分类器，使其具有更强的分类能力。目前，将数量充足、特征明显的样本图片数据作为训练集输入到计算机，运行AdaBoost算法计算分类器的构建参数的方法较为成熟。基于haar特征或者LBP特征，使用AdaBoost算法构建的人脸分类器、人眼分类器等在实际应用中体现出优异的检测精度。

对于步骤②，获取高质量、信息量丰富的图像，是保证后续对目标物进行精确检测的前提。通常，单摄像头的采集区域有限，在大区域检测应用方面有一定的制约性。另一方面，光照对目标物的检测结果有很大的影响。现有图像采集系统的曝光时间固定不变或者拍摄前人为设定，不能很好地适应外部环境的光强变化。因此存在环境光强变化使图像质量下降，对检测干扰严重的缺陷。

对于步骤③，在图像中提取目标物对应的特定特征，利用目标物分类器对其进行检测。现有的机器视觉检测系统使用由AdaBoost算法构建的分类器对目标物进行检测能够保证足够的检测精度，但由于系统算法复杂，遍历整个图像的运算量大，在实际应用中对硬件要求高，检测速度得不到保障。

发明内容

本发明的主要目的是提供一种机器视觉检测系统，旨在实现对目标物进行高精度、快速的检测。

为实现上述目的，本发明提出了一种机器视觉检测系统，所述机器视觉检测系统包括FPGA (Field-Programmable Gate Array, 现场可编程门阵列)控制与处理模块、光强检测模块、摄像头模块、图像缓存模块、通信接口模块、上位机模块；所述光强检测模块、所述摄像头模块、所述图像缓存模块、所述通信接口模块都与所述FPGA控制与处理模块电连接；所述通信接口模块与所述上位机模块电连接。

所述光强检测模块，用于检测所述摄像头模块拍摄的环境的光强并转换成对应的光强信号输入至所述FPGA控制与处理模块。

所述摄像头模块，用于采集图像并转换成对应的图像数据输入至所述FPGA控制与处理模块；根据检测区域的大小，所述摄像头模块采用单摄像头或多摄像头两种方式；在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像。

所述图像缓存模块，用于缓存所述摄像头模块采集的图像的灰度化数据，解决图像采集与图像处理对图像数据存取时间不一致的冲突。

所述通信接口模块，用于对所述FPGA控制与处理模块和所述上位机模块之间传输的信号进行电平转换。

所述上位机模块，用于显示所述机器视觉检测系统的检测结果，包括目标物所在区域位置和目标物所在区域大小。

所述FPGA控制与处理模块，用于配置所述摄像头模块的参数，给所述光强检测模块下达检测使能信号并且通过检测反馈的光强信号配置所述摄像头模块的曝光时间；然后将所述摄像头模块采集的图像进行数据格式转换、缓存至所述图像缓存模块以及进行目标物检测；当所述摄像头模块采用多摄像头方式时，进行目标物检测前需要将相邻摄像头拍摄的图像的边缘进行拼接，使相邻摄像头拍摄的交界区域都能进行有效的目标物检测；最后将检测结果通过所述通信接口模块上传至所述上位机模块进行显示。

所述FPGA控制与处理模块包括光强检测使能模块、摄像头配置模块、图像格式转换模块、图像缓存控制模块、图像拼接使能模块、图像拼接模块、图像金字塔模块、LBP(Local Binary Patterns, 局部二值模式)特征级联分类器模块、目标区域处理模块、通信接口控制模块；所述光强检测使能模块与所述光强检测模块的输入端连接，所述光强检测模块的输出端经所述摄像头配置模块与所述摄像头模块的输入端连接，所述摄像头模块的输出端经所述图像格式转换模块与所述图像缓存控制模块的输入端连接，所述图像缓存控制模块与所述图像缓存模块进行双向传输，所述图像缓存控制模块的输出端经所述图像拼接模块与所述图像金字塔模块的输入端连接，所述图像拼接使能模块与所述图像拼接模块连接，所述图像金字塔模块的输出端经所述LBP特征级联分类器模块与所述目标区域处理模块的输入端连接，所述目标区域处理模块的输出端与所述通信接口控制模块的输入端连接，所述通信接口控制模块与所述通信接口模块进行双向传输。

所述光强检测使能模块，用于在所述机器视觉检测系统工作时，通过给所述光强检测模块下达使能信号使之工作。

所述摄像头配置模块，用于配置所述摄像头模块的参数，以及根据所述光强检测模块反馈的光强信号配置所述摄像头模块的曝光时间。

所述图像格式转换模块，用于将所述摄像头模块拍摄的图像数据进行灰度值格式转换。

所述图像缓存控制模块，用于控制所述图像格式转换模块输出的灰度图像数据输入至所述图像缓存模块，以及控制所述图像缓存模块输出的灰度图像数据输入至所述图像拼接模块。

所述图像拼接使能模块，用于控制所述图像拼接模块的工作模式。当所述摄像头模块采用多摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送使能信号；当所述摄像头模块采用单摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送非使能信号。

所述图像拼接模块，用于处理所述图像缓存控制模块输出的图像数据；当从所述图像拼接使能模块接收到使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的所述摄像头模块全部摄像头同一时刻拍摄的图像数据合并成一帧连贯且不重复、边界拼接缝隙不明显的图像数据，然后将整帧图像数据输出至所述图像金字塔模块；当从所述图像拼接使能模块接收到非使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的图像数据直接输出至所述图像金字塔模块。

所述图像金字塔模块，用于将所述图像拼接模块输出的每帧灰度图按比例缩小以构建金字塔状排列的分辨率逐步降低的图像集合，并且根据实际应用场合中目标物区域面积占据整帧图像面积的比例范围，设置所述图像金字塔模块的图像集合的上限分辨率和下限分辨率，所述图像金字塔模块的各层存放分辨率不同的图像。

所述LBP特征级联分类器模块，用于使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块的各层图像进行目标物检测，以获取原始图像中不同尺度的目标物所在区域。

所述目标区域处理模块，用于将所述LBP特征级联分类器模块检测到的全部目标物所在区域按对应比例映射到原始分辨率的图像上；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块检测到存在目标物的数量多于第一数量阈值时，该位置被认为是真实目标物所在区域，合并该位置的目标物所在区域；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块检测到存在目标物的数量少于或等于第一数量阈值时，该位置被认为是非目标物所在区域，删除该位置的目标物所在区域，从而得到最终的目标物检测结果。

所述通信接口控制模块，用于在串行通信时序方式下通过所述通信接口模块，使所述FPGA控制与处理模块与所述上位机模块进行双向通信。

优选地，所述光强检测模块包括光电传感器、信号调理电路、放大滤波电路及模数转换电路；所述光电传感器与所述信号调理电路的输入端连接，所述信号调理电路的输出端经所述放大滤波电路与所述模数转换电路的输入端连接，所述模数转换电路的输出端与所述FPGA控制与处理模块连接。

优选地，所述图像缓存模块采用SDRAM（Synchronous Dynamic Random-AccessMemory，同步动态随机存储器）实现，所述SDRAM与所述FPGA控制与处理模块电连接。

优选地，所述上位机模块采用计算机或嵌入式设备实现。

本发明技术方案通过FPGA控制与处理模块、光强检测模块、摄像头模块、图像缓存模块、通信接口模块、上位机模块，形成了一种机器视觉检测系统。本发明技术与现有技术相比，主要区别及其效果如下。

本发明技术方案通过引入摄像头组合和图像拼接技术，以适应不同检测区域范围的应用场合的需要。根据检测区域的大小，所述摄像头模块采用单摄像头或多摄像头两种方式。在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像。同时，在多摄像头方式下，通过所述图像拼接模块，将所述摄像头模块全部摄像头同一时刻拍摄的图像合并成一帧连贯且不重复、边界拼接缝隙不明显的图像，使之比单摄像头方式下输出更大区域范围的整帧图像。

本发明技术方案通过引入反馈方式使图像采集系统的曝光时间达到最优。所述光强检测模块对所述摄像头模块的拍摄环境的光强进行实时检测，根据检测到的光强值动态调整所述摄像头模块的曝光时间。具体地，在所述摄像头模块的曝光时间的可设置范围内，光强值增大时适当缩短曝光时间，光强值减小时适当增长曝光时间，使所述摄像头模块拍摄的图像质量更高，提高目标物检测的精度。从而解决了现有图像采集系统的曝光时间固定不变或者拍摄前人为设定，外部环境的光强变化使图像质量下降，对目标物检测产生严重干扰的缺陷。

本发明技术方案把对目标物进行检测的图像处理集成在FPGA芯片上，通过进行硬件并行处理以提高处理速度。具体地，采用特征数量适中、描述图像纹理结构信息出色的LBP特征，合理构造弱分类器的串并联结构，使之构成强分类器；并且将待检测的图像按比例缩小以构建金字塔状排列的分辨率逐步降低的图像集合，根据实际应用场合中目标物区域面积占据整帧图像面积的比例范围，设置所述图像金字塔模块的图像集合的上限分辨率和下限分辨率，所述图像金字塔模块的各层存放分辨率不同的图像，使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块的各层图像进行目标物检测，以获取原始图像中不同尺度的目标物区域。本发明技术方案综合考虑FPGA内部资源消耗及目标物检测效果两个因素，采用合理的串并联处理架构，在保证足够的检测精度下，获得较高的检测速度，同时，硬件配置成本合理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明机器视觉检测系统实施例的功能模块图。

图2为本发明机器视觉检测系统实施例的光强检测模块图。

图3为本发明机器视觉检测系统实施例的单摄像头采集方式示意图。

图4为本发明机器视觉检测系统实施例的多摄像头采集方式示意图。

图5为本发明机器视觉检测系统实施例的相邻摄像头采集的图像的拼接示意图。

图6为本发明机器视觉检测系统实施例的不同尺度目标物检测的第一实施例示意图。

图7为本发明机器视觉检测系统实施例的不同尺度目标物检测的第二实施例示意图。

图8为本发明机器视觉检测系统实施例的MB-LBP（Multi-Block Local BinaryPatterns, 分区局部二值模式）特征值计算示意图。

图9为本发明机器视觉检测系统实施例的图像积分图计算示意图。

图10为本发明机器视觉检测系统实施例的LBP（Local Binary Patterns, 局部二值模式）特征强分类器的第一实施例级联示意图。

图11为本发明机器视觉检测系统实施例的LBP特征强分类器的第二实施例级联示意图。

图12为本发明机器视觉检测系统实施例的LBP特征强分类器的第三实施例级联示意图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本专利各部分内容中出现的英文缩写都在首次使用时附带英文全称和中文全称作为解释，而各部分内容中再次出现的英文缩写都以此解释作为标准。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种机器视觉检测系统。

参照图1，在本发明实施例中，所述机器视觉检测系统包括FPGA (Field-Programmable Gate Array, 现场可编程门阵列)控制与处理模块100、光强检测模块200、摄像头模块300、图像缓存模块400、通信接口模块500、上位机模块600；所述光强检测模块200、所述摄像头模块300、所述图像缓存模块400、所述通信接口模块500都与所述FPGA控制与处理模块100电连接；所述通信接口模块500与所述上位机模块600电连接。

其中，所述光强检测模块200，用于检测所述摄像头模块300拍摄的环境的光强并转换成对应的光强信号输入至所述FPGA控制与处理模块100；所述摄像头模块300，用于采集图像并转换成对应的图像数据输入至所述FPGA控制与处理模块100。根据检测区域的大小，所述摄像头模块300采用单摄像头或多摄像头两种方式。在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像；所述图像缓存模块400，用于缓存所述摄像头模块300采集的图像的灰度化数据，解决图像采集与图像处理对图像数据存取时间不一致的冲突；所述通信接口模块500，用于对所述FPGA控制与处理模块100和所述上位机模块600之间传输的信号进行电平转换；所述上位机模块600，用于显示所述机器视觉检测系统的检测结果，包括目标物所在区域位置和目标物所在区域大小；所述FPGA控制与处理模块100，用于配置所述摄像头模块300的参数，给所述光强检测模块200下达检测使能信号并且通过检测反馈的光强信号配置所述摄像头模块300的曝光时间。然后将所述摄像头模块300采集的图像进行数据格式转换、缓存至所述图像缓存模块400以及进行目标物检测。当所述摄像头模块300采用多摄像头方式时，进行目标物检测前需要将相邻摄像头拍摄的图像的边缘进行拼接，使相邻摄像头拍摄的交界区域都能进行有效的目标物检测。最后将检测结果通过所述通信接口模块500上传至所述上位机模块600进行显示。

具体地，所述FPGA控制与处理模块100包括光强检测使能模块110、摄像头配置模块120、图像格式转换模块130、图像缓存控制模块140、图像拼接使能模块150、图像拼接模块151、图像金字塔模块160、LBP(Local Binary Patterns, 局部二值模式)特征级联分类器模块170、目标区域处理模块180、通信接口控制模块190；所述光强检测使能模块110与所述光强检测模块200的输入端连接，所述光强检测模块200的输出端经所述摄像头配置模块120与所述摄像头模块300的输入端连接，所述摄像头模块300的输出端经所述图像格式转换模块130与所述图像缓存控制模块140的输入端连接，所述图像缓存控制模块140与所述图像缓存模块400进行双向传输，所述图像缓存控制模块140的输出端经所述图像拼接模块151与所述图像金字塔模块160的输入端连接，所述图像拼接使能模块150与所述图像拼接模块151连接，所述图像金字塔模块160的输出端经所述LBP特征级联分类器模块170与所述目标区域处理模块180的输入端连接，所述目标区域处理模块180的输出端与所述通信接口控制模块190的输入端连接，所述通信接口控制模块190与所述通信接口模块500进行双向传输。

其中，所述光强检测使能模块110，用于在所述机器视觉检测系统工作时，通过给所述光强检测模块200下达使能信号使之工作；所述摄像头配置模块120，用于配置所述摄像头模块300的参数，以及根据所述光强检测模块200反馈的光强信号配置所述摄像头模块300的曝光时间；所述图像格式转换模块130，用于将所述摄像头模块300拍摄的图像数据进行灰度值格式转换；所述图像缓存控制模块140，用于控制所述图像格式转换模块130输出的灰度图像数据输入至所述图像缓存模块400，以及控制所述图像缓存模块400输出的灰度图像数据输入至所述图像拼接模块151；所述图像拼接使能模块150，用于控制所述图像拼接模块151的工作模式。当所述摄像头模块300采用多摄像头方式时，所述图像拼接使能模块150给所述图像拼接模块151发送使能信号。当所述摄像头模块300采用单摄像头方式时，所述图像拼接使能模块150给所述图像拼接模块151发送非使能信号；所述图像拼接模块151，用于处理所述图像缓存控制模块140输出的图像数据。当从所述图像拼接使能模块150接收到使能信号时，所述图像拼接模块151将所述图像缓存控制模块140输出的所述摄像头模块300全部摄像头同一时刻拍摄的图像数据合并成一帧连贯且不重复、边界拼接缝隙不明显的图像数据，然后将整帧图像数据输出至所述图像金字塔模块160。当从所述图像拼接使能模块150接收到非使能信号时，所述图像拼接模块151将所述图像缓存控制模块140输出的图像数据直接输出至所述图像金字塔模块160；所述图像金字塔模块160，用于将所述图像拼接模块151输出的每帧灰度图按比例缩小以构建金字塔状排列的分辨率逐步降低的图像集合，并且根据实际应用场合中目标物区域面积占据整帧图像面积的比例范围，设置所述图像金字塔模块160的图像集合的上限分辨率和下限分辨率，所述图像金字塔模块160的各层存放分辨率不同的图像；所述LBP特征级联分类器模块170，用于使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块160的各层图像进行目标物检测，以获取原始图像中不同尺度的目标物所在区域；所述目标区域处理模块180，用于将所述LBP特征级联分类器模块170检测到的全部目标物所在区域按对应比例映射到原始分辨率的图像上；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块170检测到存在目标物的数量多于第一数量阈值时，该位置被认为是真实目标物所在区域，合并该位置的目标物所在区域；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块170检测到存在目标物的数量少于或等于第一数量阈值时，该位置被认为是非目标物所在区域，删除该位置的目标物所在区域，从而得到最终的目标物检测结果；所述通信接口控制模块190，用于在串行通信时序方式下通过所述通信接口模块500，使所述FPGA控制与处理模块100与所述上位机模块600进行双向通信。

具体地，所述图像缓存模块400采用SDRAM（Synchronous Dynamic Random-AccessMemory，同步动态随机存储器）实现，所述SDRAM与所述FPGA控制与处理模块100电连接。

具体地，所述上位机模块600采用计算机或嵌入式设备实现，用于显示所述机器视觉检测系统的检测结果，实现人机交互。

具体地，请结合参照图2，所述光强检测模块200包括光电传感器210、信号调理电路220、放大滤波电路230及模数转换电路240；所述光电传感器210与所述信号调理电路220的输入端连接，所述信号调理电路220的输出端经所述放大滤波电路230与所述模数转换电路240的输入端连接，所述模数转换电路240的输出端与所述FPGA控制与处理模块100连接。

在本实施例中，所述光电传感器210将所述摄像头模块300拍摄的环境的光强转换成对应的物理信号，所述信号调理电路220将所述光电传感器210采集的物理信号转换成对应的模拟信号，经所述放大滤波电路230对模拟信号进行功率放大、滤除杂波等干扰信号，再通过所述模数转换电路240将模拟信号转换成数字信号输出至所述FPGA控制与处理模块100进行处理。

具体地，请结合参照图3和图4，所述摄像头模块300采用单摄像头或多摄像头两种方式。易于理解的是，单摄像头采集图像的区域有限，可能造成待检测目标物在单摄像头采集区域范围以外而不能被正确检测的问题。在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像。摄像头的数量将由实际应用需要检测的区域范围和每个摄像头的采集区域共同决定。

具体地，请结合参照图5，所述摄像头模块300采用多摄像头方式时，每次获得相邻区域的多帧图像。所述图像拼接使能模块150下达使能信号，所述图像拼接模块151将所述图像缓存控制模块140输出的所述摄像头模块300全部摄像头同一时刻拍摄的图像合并成一帧连贯且不重复、边界拼接缝隙不明显的图像。最后将完成拼接的整帧图像输出至所述图像金字塔模块160进行处理。经过图像拼接过程，在相邻区域的两帧图像的边界同样可以使用检测窗口对目标物进行检测，避免出现漏检的情况。

具体地，请结合参照图6，提供了本发明机器视觉检测系统实施例的不同尺度目标物检测的第一实施例。所述图像金字塔模块160将所述图像拼接模块151输出的一帧原始图像按相同的比例系数逐层缩小以构建金字塔状排列的分辨率逐步降低的图像集合，所述比例系数取值范围为[0.2，0.95]，图像缩放采用最近邻插值算法。进一步地，根据实际应用场合中目标物区域面积占据整帧图像面积的比例范围，设置所述图像金字塔模块160的图像集合的上限分辨率和下限分辨率。举例来说，当所述摄像头模块300采用单摄像头方式，拍摄图像分辨率为640×480；检测窗口分辨率为24×24；所述图像金字塔模块160将所述图像拼接模块151输出的一帧原始图像按比例系数为0.8逐层缩小以构建金字塔状排列的分辨率逐步降低的图像集合；并且待检测目标物为人脸，根据实际应用场合，图像中人脸区域面积占据整帧图像面积的比例不高于0.25，同时不低于0.01，在这前提下，为了节约FPGA资源，提高对目标物的检测速度，所述图像金字塔模块160中各层图像的分辨率为320×240、256×192、204×153、163×122、131×98、104×78、83×62、67×50、53×40、42×32，共有层级总数k等于10，缩放过程中对长宽像素数目作了取整处理。对目标物进行检测时，检测窗口从左到右、从上到下遍历所述图像金字塔模块160的各层图像，并且从所述图像金字塔模块160的层级1到层级k依次对目标物进行检测。

进一步地，请结合参照图7，为了提高所述机器视觉检测系统的检测速度，提供了本发明机器视觉检测系统实施例的不同尺度目标物检测的第二实施例。在所述图像金字塔模块160构建图像集合的方法上，所述不同尺度目标物检测的第二实施例与所述不同尺度目标物检测的第一实施例完全一样。而在对目标物进行检测时，所述不同尺度目标物检测的第二实施例中的检测窗口从左到右、从上到下遍历所述图像金字塔模块160的各层图像，并且在所述图像金字塔模块160的所有层级图像中同时对目标物进行检测。

需要说明的是，所述机器视觉检测系统采用特征数量适中、描述图像纹理结构信息出色的LBP特征，合理构造弱分类器的串并联结构，使之构成强分类器。LBP特征值定义为：将3×3窗口方格的中心格子的像素值分别与八个邻域格子的像素值进行比较，如果中心格子的像素值大于或者等于邻域格子的像素值，则该邻域格子标记为0，否则标记为1。最后将这八个邻域格子的标记值按照一定顺序编码得到一个八位的无符号二进制值，称为该3×3窗口的LBP特征值。

具体地，请结合参照图8，所述机器视觉检测系统采用的MB-LBP（Multi-BlockLocal Binary Patterns, 分区局部二值模式）特征是LBP特征的扩展形式。首先，分别计算3×3个相同大小的矩形区域中的所有像素和，得到9个数值Y₀、Y₁、Y₂、Y₃、Y₄、Y₅、Y₆、Y₇、Y_c ，然后对这9个数值使用LBP特征计算方式获取MB-LBP特征值。

进一步地，请结合参照图9，为了减少每次计算MB-LBP特征值过程中对矩形区域像素求和的计算量，使用积分图的思想。积分图中每一个点的值是指从图像的左上角到这个点所构成的矩形区域内所有像素之和。举例来说，在积分图中F点的值代表矩形区域ABEF中所有像素之和S₁，G点的值代表矩形区域ACEG中所有像素之和S₂，I点的值代表矩形区域ABHI中所有像素之和S₃，J点的值代表矩形区域ACHJ中所有像素之和S₄。计算矩形区域FGIJ中所有像素之和，可以使用S₄-S₂-S₃+S₁快速计算得到。对所述图像金字塔模块160的各层级图像构造积分图，以便在使用检测窗口遍历各层级图像时可以快速获得相应的MB-LBP特征值，提高对目标物的检测速度。

需要说明的是，对目标物进行检测的LBP特征级联分类器由强分类器级联构成，而各级强分类器又由作为基本单元的弱分类器级联构成。使用分类器对目标物进行检测的过程是：按顺序使用各级强分类器对当前检测窗口进行目标物检测。具体地，计算强分类器的各个弱分类器对当前检测窗口的特征值，将特征值与弱分类器阈值进行比较，然后查表获得影响因子，统计各个弱分类器输出的影响因子之和并且与强分类器阈值进行比较来判断当前检测窗口是否通过强分类器的检测。如果当前检测窗口通过强分类器的检测，则继续调用下一级强分类器对当前检测窗口进行检测，否则停止对当前检测窗口的检测，重新对下一个检测窗口进行检测。只有通过所有强分类器检测的检测窗口，才被认为存在目标物。所述弱分类器阈值、所述影响因子的查询表数据以及所述强分类器阈值都是利用现有技术，将数量充足、特征明显的样本图片数据作为训练集输入到计算机，运行AdaBoost算法程序而获得。

具体地，请结合参照图10，本发明机器视觉检测系统实施例的LBP特征强分类器的第一实施例采用串并混合方式进行级联。其中，第1级到第m级强分类器采用并联方式同时对当前检测窗口进行检测，每个强分类器的所有弱分类器同时对当前检测窗口计算特征值。第m+1级到第n（n>m）级强分类器采用串联方式逐次对当前检测窗口进行检测，每个强分类器同时使用r个弱分类器对当前检测窗口计算特征值，弱分类器总数少于r的强分类器的所有弱分类器同时对当前检测窗口计算特征值。r越大检测速度越快，而FPGA资源占用率越大，本实施例中r的取值范围为[1，10]。只有通过所有并联强分类器检测的检测窗口，才被输入到串联强分类器作进一步检测；只有通过所有强分类器检测的检测窗口才被认为存在目标物。

进一步地，请结合参照图11，本发明机器视觉检测系统实施例的LBP特征强分类器的第二实施例采用并联方式进行级联。所有强分类器同时对当前检测窗口进行检测，每个强分类器的所有弱分类器同时对当前检测窗口计算特征值。只有通过所有强分类器检测的检测窗口才被认为存在目标物。

进一步地，请结合参照图12，本发明机器视觉检测系统实施例的LBP特征强分类器的第三实施例采用串联方式进行级联。所有强分类器依次对当前检测窗口进行检测，每个强分类器的所有弱分类器依次对当前检测窗口计算特征值。只有通过所有强分类器检测的检测窗口才被认为存在目标物。

所述图像金字塔模块160的所有图像集合经过所述LBP特征级联分类器模块170检测后，将检测到的全部目标物所在区域按对应比例映射到原始分辨率的图像上。在原始分辨率图像的同一位置被检测到存在目标物的数量多于第一数量阈值时，该位置被认为是真实目标物所在区域，合并该位置的目标物所在区域。在原始分辨率图像的同一位置被检测到存在目标物的数量少于或等于第一数量阈值时，该位置被认为是由于噪声干扰导致误检或者根本检测不出目标物，从而该位置被认为是非目标物所在区域。本实施例中所述第一数量阈值的取值范围为[1，5]。

本发明技术方案通过FPGA控制与处理模块100、光强检测模块200、摄像头模块300、图像缓存模块400、通信接口模块500、上位机模块600，形成了一种机器视觉检测系统。

本发明技术方案通过引入摄像头组合和图像拼接技术，以适应不同检测区域的应用场合的需要。根据检测区域的大小，所述摄像头模块300采用单摄像头或多摄像头两种方式。在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像。同时，在多摄像头方式下，通过所述图像拼接模块151，将所述摄像头模块300的全部摄像头同一时刻拍摄的图像合并成一帧连贯且不重复的图像，使之比单摄像头方式下输出更大区域范围的整帧图像。

本发明技术方案通过引入反馈方式使图像采集系统的曝光时间达到最优。所述光强检测模块200对所述摄像头模块300的拍摄环境的光强进行实时检测，根据检测到的光强值动态调整所述摄像头模块300的曝光时间。具体地，在所述摄像头模块300的曝光时间的可设置范围内，光强值增大时适当缩短曝光时间，光强值减小时适当增长曝光时间，使所述摄像头模块300拍摄的图像质量更高，提高目标物检测的精度。从而解决了现有图像采集系统的曝光时间固定不变或者拍摄前人为设定，外部环境的光强变化使图像质量下降，对目标物检测产生严重干扰的缺陷。

本发明技术方案把对目标物检测的图像处理集成在FPGA芯片上，通过进行硬件并行处理以提高处理速度。具体地，采用特征数量适中、描述图像纹理结构信息出色的LBP特征，合理构造弱分类器的串并联结构，使之构成强分类器；并且将待检测的图像按比例缩小以构建金字塔状排列的分辨率逐步降低的图像集合，根据实际应用场合中目标物区域面积占据整帧图像面积的比例范围，设置所述图像金字塔模块160的图像集合的上限分辨率和下限分辨率，所述图像金字塔模块160的各层存放分辨率不同的图像，使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块160的各层图像进行目标物检测，以获取原始图像中不同尺度的目标物区域。本发明技术方案综合考虑FPGA内部资源消耗及目标物检测效果两个因素，采用合理的串并联处理架构，在保证足够的检测精度下，获得较高的检测速度，同时，硬件配置成本合理。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (4)

1.一种机器视觉检测系统，其特征在于，所述机器视觉检测系统包括FPGA控制与处理模块、光强检测模块、摄像头模块、图像缓存模块、通信接口模块、上位机模块；所述光强检测模块、所述摄像头模块、所述图像缓存模块、所述通信接口模块都与所述FPGA控制与处理模块电连接；所述通信接口模块与所述上位机模块电连接；其中，

所述光强检测模块，用于检测所述摄像头模块拍摄的环境的光强并转换成对应的光强信号输入至所述FPGA控制与处理模块；

所述摄像头模块，用于采集图像并转换成对应的图像数据输入至所述FPGA控制与处理模块；根据检测区域的大小，所述摄像头模块采用单摄像头或多摄像头两种方式；在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像；

所述图像缓存模块，用于缓存所述摄像头模块采集的图像的灰度化数据，解决图像采集与图像处理对图像数据存取时间不一致的冲突；

所述通信接口模块，用于对所述FPGA控制与处理模块和所述上位机模块之间传输的信号进行电平转换；

所述上位机模块，用于显示所述机器视觉检测系统的检测结果，包括目标物所在区域位置和目标物所在区域大小；

所述FPGA控制与处理模块，用于配置所述摄像头模块的参数，给所述光强检测模块下达检测使能信号并且通过检测反馈的光强信号配置所述摄像头模块的曝光时间；然后将所述摄像头模块采集的图像进行数据格式转换、缓存至所述图像缓存模块以及进行目标物检测；当所述摄像头模块采用多摄像头方式时，进行目标物检测前需要将相邻摄像头拍摄的图像的边缘进行拼接，使相邻摄像头拍摄的交界区域都能进行有效的目标物检测；最后将检测结果通过所述通信接口模块上传至所述上位机模块进行显示；

所述FPGA控制与处理模块包括光强检测使能模块、摄像头配置模块、图像格式转换模块、图像缓存控制模块、图像拼接使能模块、图像拼接模块、图像金字塔模块、LBP特征级联分类器模块、目标区域处理模块、通信接口控制模块；所述光强检测使能模块与所述光强检测模块的输入端连接，所述 光强检测模块的输出端经所述摄像头配置模块与所述摄像头模块的输入端连接，所述摄像头模块的输出端经所述图像格式转换模块与所述图像缓存控制模块的输入端连接，所述图像缓存控制模块与所述图像缓存模块进行双向传输，所述图像缓存控制模块的输出端经所述图像拼接模块与所述图像金字塔模块的输入端连接，所述图像拼接使能模块与所述图像拼接模块连接，所述图像金字塔模块的输出端经所述LBP特征级联分类器模块与所述目标区域处理模块的输入端连接，所述目标区域处理模块的输出端与所述通信接口控制模块的输入端连接，所述通信接口控制模块与所述通信接口模块进行双向传输；其中，

所述光强检测使能模块，用于在所述机器视觉检测系统工作时，通过给所述光强检测模块下达使能信号使之工作；

所述摄像头配置模块，用于配置所述摄像头模块的参数，以及根据所述光强检测模块反馈的光强信号配置所述摄像头模块的曝光时间；

所述图像格式转换模块，用于将所述摄像头模块拍摄的图像数据进行灰度值格式转换；

所述图像缓存控制模块，用于控制所述图像格式转换模块输出的灰度图像数据输入至所述图像缓存模块，以及控制所述图像缓存模块输出的灰度图像数据输入至所述图像拼接模块；

所述图像拼接使能模块，用于控制所述图像拼接模块的工作模式；当所述摄像头模块采用多摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送使能信号；当所述摄像头模块采用单摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送非使能信号；

所述图像拼接模块，用于处理所述图像缓存控制模块输出的图像数据；当从所述图像拼接使能模块接收到使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的所述摄像头模块全部摄像头同一时刻拍摄的图像数据合并成一帧连贯且不重复、边界拼接缝隙不明显的图像数据，然后将整帧图像数据输出至所述图像金字塔模块；当从所述图像拼接使能模块接收到非使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的图像数据直接输出至所述图像金字塔模块；

所述图像金字塔模块，用于将所述图像拼接模块输出的每帧灰度图按比 例缩小以构建金字塔状排列的分辨率逐步降低的图像集合，并且根据实际应用场合中目标物区域面积占据整帧图像面积的比例范围，设置所述图像金字塔模块的图像集合的上限分辨率和下限分辨率，所述图像金字塔模块的各层存放分辨率不同的图像；

所述LBP特征级联分类器模块，用于使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块的各层图像进行目标物检测，以获取原始图像中不同尺度的目标物所在区域；

所述目标区域处理模块，用于将所述LBP特征级联分类器模块检测到的全部目标物所在区域按对应比例映射到原始分辨率的图像上；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块检测到存在目标物的数量多于第一数量阈值时，该位置被认为是真实目标物所在区域，合并该位置的目标物所在区域；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块检测到存在目标物的数量少于或等于第一数量阈值时，该位置被认为是非目标物所在区域，删除该位置的目标物所在区域，从而得到最终的目标物检测结果；

所述通信接口控制模块，用于在串行通信时序方式下通过所述通信接口模块，使所述FPGA控制与处理模块与所述上位机模块进行双向通信。

2.如权利要求1所述的机器视觉检测系统，其特征在于，所述光强检测模块包括光电传感器、信号调理电路、放大滤波电路及模数转换电路；所述光电传感器与所述信号调理电路的输入端连接，所述信号调理电路的输出端经所述放大滤波电路与所述模数转换电路的输入端连接，所述模数转换电路的输出端与所述FPGA控制与处理模块连接。

3.如权利要求1所述的机器视觉检测系统，其特征在于，所述图像缓存模块采用SDRAM实现，所述SDRAM与所述FPGA控制与处理模块电连接。

4.如权利要求1所述的机器视觉检测系统，其特征在于，所述上位机模块采用计算机或嵌入式设备实现。