CN111783876A - 自适应智能检测电路及图像智能检测方法 - Google Patents

Abstract

本发明公开自适应智能检测电路及图像智能检测方法，该电路包括图像缩放模块、级联检测模块以及融合模块，级联检测模块包括图像数据存储器，接收并存储图像缩放模块输出的图像数据；积分图计算电路，接收图像数据接收缓存器输出图像数据，并且计算所接收图像数据的多个像素点的积分图数据；弱分类器检测电路，接收积分图计算电路输出的积分图数据以及弱分类器检测窗口设置数据，应用积分图数据和弱分类器检测窗口的设置数据计算并输出弱分类器的值；强分类器检测电路，接收多个弱分类器检测电路输出的计算结果，并且将强分类器对应的多个弱分类器检测电路输出的计算结果相加后与预定级数的强分类器的阈值对比。本发明能提高图像检测效率。

Description

自适应智能检测电路及图像智能检测方法

技术领域

本发明涉及图像的智能检测领域，尤其涉及一种用于对图像进行智能检测的自适应智能检测电路以及图像智能检测方法。

背景技术

图像识别技术是通过对图像的特征进行识别，从而获取图像中特定的元素，如人脸、车牌等。目前的图像识别技术通常是应用软件程序实现的，最为常见的图像识别算法是Adaptive Boosting算法，通常简称Ada Boost算法，该算法是一种自适应智能检测图像的算法。

Ada Boost算法是由Yoav Freund和Robert Schapire在1995年提出，这是一种非常有效的统计学习算法，应用十分广泛，常用来处理各种对象，如人脸、人头、车辆、行人等的检测。Ada Boost算法的基本思路是对于一个复杂的任务，采用带权重的多个分类器进行综合判断，各分类器的权重可通过多次样本训练得到。对于一张任意场景的原始图像，先把图像按一定比例地缩小成一系列长宽比相等尺寸不同的图像，即形成金字塔图像，金字塔图像中包含多张尺寸大小不相同的图像，尺寸最大的图像为原始图像，由原始图像进行一定比例的缩小可以获取多张尺寸不同的图像，一组按比例依次缩小的图像按从大到小、从低到高的顺序叠放起来，看上去就像一个金字塔结构，因此被称为金字塔图像。

在获取金字塔图像后，将这些图像逐一送入级联检测器进行检测，用一定大小的对象框去扫描图像，通过检测器的图像框图像就是被检测出来的对象，最后把所有检测出来的图像框进行融合，就可以算出检测对象在原始图像的位置和大小。

目前支持Ada Boost检测功能芯片，大多是通过软件程序实现Ada Boost算法，但是，由于目前图像识别技术应用的场景，如出入境人脸识别、交通违章电子抓拍等，检测对象通常都具有实时性、高效性的特点，软件程序实现图像识别的速度往往难以满足高效的要求，因此，需要对Ada Boost算法进行硬件化、芯片化。

通常，Ada Boost的电路包括图像缩放模块、级联检测模块以及融合模块，其中，图像缩放模块就是将多个图像按照预设的尺寸进行缩小形成一系列尺寸不同的图像，融合模块就是通过将级联检测模块所检测出来的图像进行融合。由于图像缩放模块、融合模块可以通过硬件电路实现，也可以通过软件实现，图像缩放模块、融合模块的电路实现已经普遍使用，Ada Boost的电路实现最主要的就是实现级联检测模块，即Boost的电路化。

Boost的电路化就是把级联检测过程用电路来实现，使检测过程达到实时性、高效性，满足人脸检测、车辆检测的应用场景。例如，公开号为CN103247019A的中国发明专利申请就公开了一种用于物体检测的基于Ada Boost算法的可重构装置，该装置是基于多处理模块可重构装置的方案，然而，该方案的电路复杂，导致电路的面积过大，生产成本过高。而公开号为CN104519240A的中国发明专利申请公开了一种前景目标检测的IP核及方法，该方法是一种基于LBP检测的电路方案，不适应于目前普遍使用的Haar特征的检测方案。

发明内容

本发明的主要目的是提供一种电路面积小且实现级联检测电路化的自适应智能检测电路。

本发明的另一目的是提供一种运算效率高且对图像进行智能识别的图像智能识别方法。

为了实现上述的主要目的，本发明提供的自适应智能检测电路包括图像缩放模块、级联检测模块以及融合模块，级联检测模块接收图像缩放模块输出的图像数据，级联检测模块向融合模块输出检测结果图像数据，融合模块将所接收的检测结果图像数据进行融合处理；其中，级联检测模块包括：图像数据存储器，接收并存储图像缩放模块输出的图像数据；积分图计算电路，接收图像数据接收缓存器输出图像数据，并且计算所接收图像数据的多个像素点的积分图数据；弱分类器检测电路，接收积分图计算电路输出的积分图数据以及弱分类器检测窗口设置数据，应用积分图数据和弱分类器检测窗口的设置数据计算弱分类器的值，并且将弱分类器的值作为计算结果输出；强分类器检测电路，接收多个弱分类器检测电路输出的计算结果，并且将强分类器对应的多个弱分类器检测电路输出的计算结果相加后与预定级数的强分类器的阈值对比，确定当前接收的图像通过强分类器的级数。

由上述方案可见，在级联检测电路中，通过积分图计算电路、弱分类器检测电路以及强分类器检测电路等对图像的特征进行检测，例如将多个弱分类器的值相加，结果与强分类器的阈值进行对比，判断是否通过当前级数的强分类器。由于积分图计算电路、弱分类器检测电路、强分类器检测电路等均由加法器、减法器、乘法器以及寄存器、缓存器等电路构成，因此可以实现级联检测模块的电路化，从而提高自适应检测电路的运算效率。

一个优选的方案是，图像缩放模块输出的图像数据为至少两个通道以上的图像数据；图像数据存储器包括二组以上的存储模块，每一组存储模块用于存储一个通道的图像数据。

由此可见，图像数据存储器的多组存储模块可以同时处理多个通道的图像数据，从而提高图像的处理效率。

进一步的方案是，积分图计算电路的数量为二个以上，一个积分图计算电路的计算结果存储至一个或者多个积分数据缓存器中，积分数据缓存器的数量与弱分类器检测电路数量相等。

可见，在级联检测模块中设置多个积分图计算电路，可以对多个像素点同时进行积分计算，并且由于弱分类器的数量也是多个，因此，积分图计算电路计算的一个检测窗口下的对应的积分后可以马上送到对应的弱分类器上进行检测，从而提高图像检测效率。

更进一步的方案是，每一积分图计算电路包括第一多路复用器，第一多路复用器同时将多个像素点的数据分别写入到一个寄存器中，且每一像素点的数据写入到一个寄存器中，并且将寄存器存储的数据与当前计算列左侧一列的积分数据相加，并输出当前列的积分数据。

由此可见，积分图计算电路使用多路复用器、寄存器以及加法器等进行像素计算，积分图计算电路实现简单，并且电路面积较小，降低自适应智能检测电路的生产成本。

更进一步的方案是，每一弱分类器检测电路包括第二多路复用器，第二多路复用器接收两个以上的弱分类器检测窗口内像素的积分数据，并筛选参与计算弱分类器值的像素，计算黑框和白框的像素和；该级联检测模块还用于使用弱分类器检测窗口的黑框中的所有像素之和乘上系数后减去白框中所有像素之和乘上系数的结果，再与预设的阈值作比较，计算获得弱分类器的值。

可见，弱分类器检测电路也是使用第二多路复用器以及加法器、寄存器等实现，有利于减小自适应智能检测电路的面积。

更进一步的方案是，每一存储模块包括多个单端口静态存储器，每一单端口静态存储器用于存储多行像素点的数据，且多个单端口静态存储器的多行像素点的数据交错排列。并且，该级联检测模块还包括双端口静态存储器，用于接收强分类器检测电路的输出结果。

为了实现上述的另一目的，本发明提供的图像智能检测方法包括应用图像缩放模块对原始图像进行缩放，形成多张分辨率大小不同的图像，并将所形成的图像的数据输出至级联检测模块，级联检测模块对所接收的图像进行检测，并向融合模块输出检测结果图像数据，融合模块将所接收的检测结果图像数据进行融合处理；其中，级联检测模块对所接收的图像进行检测包括：应用图像数据存储器接收并存储图像缩放模块输出的图像数据；应用积分图计算电路接收图像数据接收缓存器输出图像数据，并且计算所接收图像数据的多个像素点的积分图数据；应用弱分类器检测电路接收积分图计算电路输出的积分图数据以及弱分类器检测窗口设置数据计算弱分类器的值，并且将弱分类器的值作为计算结果输出；应用强分类器检测电路接收多个弱分类器检测电路输出的计算结果，并且将强分类器对应的多个弱分类器检测电路输出的计算结果相加后与预定级数的强分类器的阈值对比，确定当前接收的图像通过强分类器的级数。

由上述方案可见，对图像进行智能识别时，使用的级联检测模块由积分图计算电路、弱分类器检测电路、强分类器检测电路等电路构成，即通过积分图计算电路、弱分类器检测电路以及强分类器检测电路等对图像的特征进行检测，在每一级的强分类器的计算过程中，将多个弱分类器的值相加，与当前级强分类器的阈值进行对比，从而判断该检测窗是否通过当前级数的强分类器。通过所有级强分类器的检测窗，标记为级联检测胜出窗口，窗口信息将被输出给融合模块。这样可以实现高效的图像识别。

并且，由于积分图计算电路、弱分类器检测电路、强分类器检测电路等均由多路复用器、加法器、减法器、乘法器以及寄存器、缓存器等电路构成，因此可以实现级联检测模块的电路化，从而提高图像的识别效率。

附图说明

图1是本发明自适应智能检测电路实施例的原理框图。

图2是本发明自适应智能检测电路实施例中级联检测电路的原理框图。

图3是应用本发明自适应智能检测电路实施例对图像进行分割的示意图。

图4是本发明自适应智能检测电路实施例中单端口静态存储器存储像素数据的示意图。

图5是应用本发明自适应智能检测电路实施例计算的积分图的示意图。

图6是本发明自适应智能检测电路实施例中积分图计算电路的原理框图。

图7是本发明自适应智能检测电路实施例中积分图缓存器运行的示意图。

图8是本发明自适应智能检测电路实施例使用的弱分类器的示意图。

图9是本发明自适应智能检测电路实施例中弱分类器检测电路与强分类器检测电路的原理框图。

图10是本发明图像智能检测方法的流程图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的自适应智能检测电路用于实现Ada Boost算法，即通过电路方式实现自适应图像智能检测方法。自适应智能检测电路可以应用在诸如人脸识别、车牌识别等多个领域中，因此可以应用在各种电子设备上，如各类检测设备、拍摄设备中。本发明的图像智能检测方法是应用上述的自适应智能检测电路实现对图像进行智能识别的方法。

自适应智能检测电路实施例：

参见图1，本实施例的自适应智能检测电路包括图像缩放模块11、级联(boost)检测模块12以及融合(merge)模块13，且图像缩放模块11、级联检测模块12以及融合模块13均与控制电路10电连接，并且接收控制电路10输出的控制信号。

本实施例中，图像缩放模块11获取原始图像，例如，原始图像是一张尺寸较大的图像，如像素为640×480的图像。图像缩放模块在获取原始图像后，生成多个通道的图像，每一个通道的图像包含图像的每一种特征，通常，三个通道的特征包含两种组合，一种组合是，通道0和通道2的特征都是梯度特征，两者的区别在于计算梯度时的模板不同，而通道1是灰度特征。另一种组合是，通道0和通道2都是梯度直方图特征(HOG)，两者的区别在于阈值设置不同，而通道1是灰度特征。

在获取多个通道的图像数据后，图像缩放模块按照预设的比例对每一个通道的原始图像进行缩小，形成一系列不同尺寸的三通道的金字塔图像。例如，按照一定的比例缩小原始图像，直至缩小的图像宽度值、高度值中的某一维达到或小于预设值为止。这样一组按比例依次缩小的图像按从大到小、从低到高的顺序叠放起来，看上去就像一个金字塔结构，因此被称为金字塔图像。图像缩放模块11计算获得的金字塔图像被写入到存储器中，如动态随机存储器DRAM中，并且由级联检测模块12进行后续处理。

级联检测模块12获取多个通道的金字塔图像后，进行对象检测，检测出很多满足模板的窗口图像，并标记窗口图像在各金字塔图像中的位置和大小，把相应的窗口信息写回动态随机存储器DRAM中。最后，由融合模块13将检测胜出的窗口融合处理，还原窗口在原始图像中的位置。

图像缩放模块11以及融合模块13的电路实现方式可以采用现有的图像缩放电路、融合电路实现，本发明重点介绍级联检测模块12的具体电路结构。

本实施例中，级联检测模块12可以支持三通道的图像数据的检测，如图2所示，多个通道的金字塔图像数据经总线(bus)读入到静态存储器中，如快进快出静态存储器src_fifo，并且缓存在src_fifo中。然后，将每一个通道的图像数据分别读入到三个存储模块中，分别是src_ch0、src_ch1和scr_ch2，每一个存储模块分别存储一个通道的图像数据。本实施例中，快进快出静态存储器src_fifo以及三个存储模块src_ch0、src_ch1和scr_ch2构成了图像数据存储器，用于存储图像缩放模块11输出的金字塔图像数据。

级联检测模块12接着需要对每一个通道的图像进行积分计算，如使用积分图计算电路进行计算，得到图像每一个像素点的积分图数据。同时，级联检测模块12还获取模板数据(learning data)，本实施例中，模板数据存储在缓存器ld0至ld3中。

然后，级联检测模块12获取每一个像素点的积分图数据和模板数据送入弱分类器wc0至wc3中进行检测，检测结果再由强分类器sc统计，胜出的窗口信息通过缓存器输出至融合模块13。本实施例中，胜出的窗口信息通过两个缓存器输出，分别是rst_wind_fifo以及mid_wind_fifo，其中，缓存器rst_wind_fifo是一个双端口静态存储器SRAM组成的缓存器，用于存储通过所有级数的强分类器检测的窗口信息，而缓存器mid_wind_fifo也是一个双端口静态存储器SRAM组成的缓存器，用于保存通过中间某一级数的强分类器的窗口的信息。

下面结合图2详细介绍级联检测模块12的结构。级联检测模块12的数据输入端口有两个，分别是金字塔图像数据输入端口以及模板数据输入端口，由于金字塔图像数据由图像缩放模块11生成，且金字塔图像数据通常为一个三通道的不同缩放比例的图像系列数据，如果金字塔数据在图像缩放模块11中会缓存至动态随机存储器DRAM中，如果金字塔数据在级联检测模块12中使用，则首先需要将动态随机存储器DRAM中的数据搬移至快进快出静态存储器src_fifo中。

快进快出静态存储器src_fifo用于实现从动态随机存储器DRAM中读取数据的功能，每次从动态随机存储器DRAM中连续读取一串地址连续的数据，以实现较高的传输效率。优选的，快进快出静态存储器src_fifo交替读取三通道图像数据中的一行数据，然后再发送至该通道对应的存储模块中并存储下来。例如，三个存储模块src_ch0、src_ch1和scr_ch2分别存储一个通道的图像数据，当某一个存储模块所存储的图像数据高度大于检测窗口的高度时，将所存储的图像数据发送至积分图计算电路进行积分图数据的计算。

本实施例中，每一个存储模块src_ch0、src_ch1和scr_ch2均是一组单端口的静态存储器SARM，每组静态存储器SARM存放一个通道的图像数据。例如，每组静态存储器SARM的存储空间为36×344×8比特，也就是最多能存放36行344列的像素的数据，每个像素占用8比特的存储空间。因此，本实施例最大能够支持的输入图像的尺寸为640×640个像素。为了减小缓存图像的存储空间，本实施例对图像采用了列向分割处理。如图3所示，对于一张宽度大于344像素的图像20，假设检测窗口23的宽度为win_width，则需要将输入的图像分割成两张图像21、22，两张图像21、22的宽度分别为296+win_width和pic_width-296。当然，若输入的图像宽度小于344，则不需要对图像进行分割处理。

本实施例中，每一个存储模块中数据的写入方式是按行顺序写入，而积分图计算电路对像素点进行积分图计算时需按列读取图像数据，因此，本实施例使用静态存储器SARM阵列结构来存放数据。如图4所示，对于一个通道的图像数据，其存放空间为36×344×8比特(bit)，可以将每一个存储模块划分成9块存储块，每一个存储块为一个单端口的静态存储器RSAM，即rf1p_0、rf1p_1…rf1p_8，因此每一个存储块的存储空间是172×64比特，即每一个存储块可以存储4行344列的像素数据。

从图4可见，多个存储块的行数据交错排列，因此，每次可按行写入一行8个相邻列像素点的数据，可按列读出一列8个相邻行像素点的数据。例如，使用存储块的地址低两位[1:0]来表示该像素点数据所在行组，高位[7:2]表示像素点数据所在的列，这样就很容易选中需要读出的数据。对于一个坐标为(x，y)的像素点，数据所在的存储块的序号为mod(y,9)，低两位的addr[1:0]为mod(y,36)/9，高六位的地址addr[7:2]为x/8。其中，mod是一个求余的函数，即是两个数值表达式作除法运算后的余数，例如，mod(y,9)就是y除以9以后的余数，“/”是整数除法符号，结果是商(整数)。例如，mod(y,36)/9就是y除以36得到一个余数，再用余数整除以9得到商就是结果。

在获取每一个像素点的数据后，需要对每一个像素点的进行积分图计算。如图5所示，对于像素点A的积分图计算，就是计算像素点A的积分值，通常，计算像素点A的积分值是计算A点与图像最左上角的顶点之间形成的矩形的所有像素点的像素值。

例如，当前图像是灰度通道的图像，则图像中的每一个像素点的数据就是该像素点的灰度值。如果计算图像中A点的积分图，就是计算图像最左上角与A点作为顶点的矩形内所有像素点的灰度值之和，也就是计算图5中黑色矩形块内所有像素点的灰度值之和，也就是像素点点A(x，y)的积分值为图像中(0≤i<x，0≤j<y)的像素点的灰度值之和。

基于这一方式，如果计算矩形I的积分值，则为矩形I内所有像素点的像素值之和。假设矩形I的四个顶点分别是A、B、C、D，则可以分别计算A、B、C、D四个像素点的积分值，然后通过公式：A点积分值+D点积分值-B点积分值-C点积分值，即可以获得矩形I的积分值。由于矩形I的尺寸为通常为0<width≤48，0<height≤32，并且每一个像素点的值均小于255，因此矩形I的积分值的总和小于391680，因此积分值的数据都可以用一个位宽19比特的数表示，这样能有效减小存储空间。

为了计算像素点的积分值，采用积分图计算电路进行积分图的计算。本实施例中，一共设置了三个积分图计算电路，分别计算三个通道的积分图数据，计算的结果写入四个积分数据缓存器中，四个缓存器中会有某几个存放同一个通道的数据。由于每一个积分图计算电路的结构均相同，下面以int_img0为例介绍积分图计算电路的结构。

参见图6，积分图计算电路包括两个多路复用器，分别是左侧的多路复用器mux1以及右侧的多路复用器mux2，从图像数据存储器读取的图像数据经过左侧的多路复用器mux1读取到八个寄存器中，例如读取到int0、int1等八个寄存器中，每一个寄存器存储一个像素点的数据。优选的，多路复用器mux1每次读入同一列相邻的八个像素点的数据，如自上而下的八个像素点的数据。多个像素点的数据经过加法器进行相加运算，分别存储到八个寄存器reg0、reg1…reg7中。

图6右侧的left_int是一个寄存器组，存放当前计算列左相邻列的一列像素点的数据，该寄存器组的数据通过多路复用器mux2分别写入到多个寄存器left0、left1…left7中。abv是寄存器int0所在像素点上方当前列的所有像素点的像素值相加和。因此，积分值o0就等于当前像素点的像素值(reg0中的数值)+当前像素点左侧相邻积分值(left0中的数值)+当前像素点所在列中上方所有像素点的像素值相加和(abv中的数值)。

例如在一个32行的图像中，计算积分值的过程如下：图6所示的积分图计算电路每次计算一列中相邻8个点的积分值，即o0至o7，因此，计算一列32个点则需要计算四次。计算顺序为先在列中从上到下，然后列间从左到右。先计算第1列积分值上方的8个像素点的积分值，此时abv和left0至left7的数值都为0，因此此时o0至o7的数值就等于寄存器reg0至reg7的数值，把结果写入寄存器组的left_int八个寄存器left_int0至left_int7中。

然后，再计算第一组的8个像素点下方的8个像素点，此时寄存器left0至left7的数值仍为0，abv存储的数值就是上一组中8个像素点的像素值相加和，当前一组的8个像素点的像素值计算完成后，abv存储的数值更新为abv存储的数值+当前8个像素点的像素值相加和，也就是16个像素点的像素值相加之和。接着，将结果写入寄存器组left_int的下一组八个寄存器left_int8-left_int15中。然后，再计算第1列中第3组8个像素点的积分值，此时abv所存储的数值就是上一组的更新结果，代表此组点上方16个像素点的相加和，寄存器left0至left7的数值仍为0，abv存储的数值更新为原先abv存储的数值+当前8个像素点的像素值相加和，即为24个像素点的像素值相加和。计算完成的结果o0至o7写入寄存器组的left_int的八个寄存器left_int16至left_int23中。最后，计算第1列的第4组8个点的积分值，此时寄存器left0至left7所存储的数值仍为0，abv的数值为上方24个像素点的像素值相加和，结果o0至o7写入寄存器组的left_int的八个寄存器left_int24至left_int31中，并且，abv中写入数值0。

接着计算第二列的像素点的像素值，首先计算第2列第1组8个点，此时寄存器left0至left7存储的数值是寄存器left_int0至left_int7所存储的数值，abv的数值为0，o0至o7写入寄存器left_int0至left_int7的数值，abv的数值为当前abv的数值+当前8个像素点的像素值相加和。计算第2列第2组8个点的积分值时，寄存器left0至left7存储的数值为寄存器left_int8至left_int15所存储的数值，而abv所存储的数值就是此列上方8个像素点的像素值相加和，然后abv存储的数值更新为当前abv的数值+当前8个像素点的像素值相加和，表示16个像素点的像素值相加和。再计算2列第3组的8个点的积分值，寄存器left0至left7的数值为寄存器left_int16至left_int23所存储的数值，而o0至o7则写入寄存器left_int16至left_int23所存储的数值，而abv的数值更新为当前abv更新为abv的数值+当前8个像素点的像素相加和。最后，计算2列第4组的8个点的积分值，寄存器left0至left7所存储的数值为寄存器left_int24至left_int31所存储的数据，而o0至o7则写入寄存器left_int24至left_int31所存储的数据，而abv更新为0。

计算第三列以后的像素点的像素值时，与计算第二列的像素点的计算方法相同，不再赘述。

可见，积分图计算电路每个时钟周期可以同时计算8个像素点的积分值，从而大大提高积分图的计算效率，从而能满足窗口检测效率。当输入的图像数据按列依次从存储模块中读出时，读取的数据经过多路复用器mux1分配到各寄存器中进行加法计算。每列读取的像素点个数为8的倍数，且大于等于窗口高度，当读完一列需要的时钟周期数位为win_height/8。经2个时钟周期后，数据计算完成后，计算结果写入缓存器int_buffer中。这样，积分图的计算可以流水进行。此外，本实施例采用3个积分图计算电路同时进行3通道积分图的计算，大大提高了积分图的计算效率，从而提高图像检测效率。

积分图计算电路计算获得的积分值的数据存储在弱分类器检测电路的积分数据缓存器int_buffer中，并且，积分数据缓存器需要同时读入积分图计算电路输出的结果和读出积分数据，即窗口的积分数据以进行弱分类器的窗口检测，因此，本实施例中，缓存器采用双端口的静态存储器SRAM，即rf2p构成。本实施例中，一共设置了四个积分数据缓存器，每一个积分数据缓存器的尺寸大小为56×608比特，一个地址存放检测窗口中的一列数据，如32×19比特，检测窗口最大宽度为48像素，多余的8列地址可以在检测窗口进行检测时缓存下一检测窗口所需的数据。这样可以做到一边生成积分数据，一边实现弱分类器的窗口检测，各步骤流水运行。

例如，如图7所示，图7表示积分图计算电路的输出结果写入积分数据缓存器中的运行示意图。图像所在j列处的积分数据缓存器中的地址为mod(j,56)，这样，可以根据静态存储器SRAM的地址索引图像积分值。本实施例中，一个积分图计算电路的计算结果存储至一个或者多个积分数据缓存器中，且积分数据缓存器的数量与弱分类器检测电路数量相等。

本实施例中，积分数据缓存器中存放32行、56列的数据，数据写入的地址顺序与积分图计算电路的积分值的计算顺序一致，先在列中从上到下，然后列间从左到右的顺序。当写完第56列后再回头写第1列，就是把第57列的数据写入第1列，第58列数据写入第2列，如此类推，且第113列数据再覆盖第1列的数据，第114列覆盖第2列的数据。

假设弱分类器的检测窗口wind最大的尺寸为32×48个像素，当该检测窗口的积分数据全准备好时，就可以做此检测窗口的分类器检测运算。在此过程中，检测窗口的积分数据不能被覆盖。积分数据缓存器中剩余8列的存储空间就能放检测窗口右8列积分数据。检测窗口检测运算与积分图计算能够同步运行。当检测窗口的检测完成时，右测的积分数据可能已准备好，此时，即可进行下一个检测窗口的检测操作。

本实施例中，应用4组积分数据缓存器来缓存三个通道的图像数据，且积分数据缓存器存放的数据通道ID可根据模板数据中弱分类器的比例进行配置。若某通道上弱分类器比例较高，则可配置两组积分数据缓存器来缓存此通道数据，此分类器检测效率可提高一倍。若当前模板数据为单通道数据时，则可以把四个积分数据缓存器的通道ID全配置成该通道对应的ID，从而提高数据的检测效率。

对图像进行检测时，需要读取弱分类器的检测窗口的参数，从而实现对弱分类器检测窗口的检测，本发明可以支持多种不同尺寸的弱分类器检测窗口，图8描述的是9种不同的弱分类器。当然，检测器窗口一定是矩形的，在窗口内套用不同的弱分类器进行检测，弱分类器具体在窗内的位置是训练时候确定的。

本发明可以实现多种不同结构的弱分类器检测窗口，如图8所示的9种不同形状的弱分类器的检测。从图8可见，每一个弱分类器包含一个白框矩形和1到2个黑框矩形，其中图8的(g)包含2个黑框矩形，其余多只包含一个黑框矩形。每一个弱分类器检测电路wc0至wc3进行检测时，都是需要读出3个矩形的12个顶点的积分值，然后根据每一个矩形框的形状进行相应的加减乘的运算。

具体的，使用弱分类器检测窗口进行弱分类器检测时，从图2所示的模板数据缓存器ld_buf中依次读出弱分类器的检测窗口设置数据，然后把检测窗口设置数据发送至弱分类器检测电路wc0至wc3进行检测。

进行弱分类器的检测时，先根据模板数据在待检测的窗口中找到弱分类器在检测窗口中的位置，然后套上图8所示的弱分类器的图形，用黑框中的所有像素之和乘上一个系数后减去白框中所有像素之和乘上一个系数的结果，此结果与阈值作比较，得到最终此弱分类器的值。

本实施例设置四个弱分类器检测电路wc0至wc3，即弱分类器检测电路与积分数据缓存器的数量相等，且一个弱分类器检测电路对应一个积分数据缓存器，这样，每一个积分图计算电路计算的积分值将被写入一个积分数据缓存器中。

四个弱分类器检测电路wc0至wc3的结构相同，下面结合图9以弱分类器检测电路wc0为例进行详细说明。由于图8中所示的多种弱分类器均由2至3个矩形组成，其中1个或2个为黑色的矩形，弱分类器的检测值为白色矩形的积分值与黑色矩形的积分值之差。在积分数据缓存器中，一个地址保存一列的积分值数据，如图8所示的弱分类器(a)至(i)分别需要3、2、4、2、4、2、3、4、2个时钟周期从积分数据缓存器中读出弱分类器所有矩形顶点的数据。读出来的积分数据经多路复用器mux3后分别送到寄存器中进行计算，例如，本实施例设置了12个寄存器，分别是rec0_p0、rec0_p1…rec2_p3，例如，寄存器rec0_p0、rec0_p1…rec0_p3存储第一个矩形的四个顶点的数据，寄存器rec1_p0、rec1_p1…rec1_p3存储第二个矩形的四个顶点的数据，如此类推。

存储在多个寄存器rec0_p0、rec0_p1…rec2_p3的数据经过加法器、减法器以及乘法器后，获得三个矩形的积分值数据，分别存储在三个寄存器reg0、reg1以及reg2上，并且将寄存器reg0的数值减去寄存器reg1以及reg2的数值之和，计算结果与预先设定的弱分类器的阈值进行对比，从而选择左叶值或右叶值。

通常，某一级数的强分类器由若干个弱分类器组成，弱分类器的结果累加和就是此强分类器的值，最后，将强分类器的值与强分类器阈值进行比较可以判断当前的检测窗口是否通过当前强分类器，如强分类器的值大于强分类器阈值，则表示当前的检测窗口通过当前级数的强分类器，如果强分类器的值小于强分类器阈值，则表示当前的检测窗口没有通过当前级数的强分类器。

为了提高强分类器的检测效率，可以对弱分类器的顺序按一定的规则进行排列：例如四组积分数据缓存器(inf_buf)存放最多三个通道积分数据，也就是存在某几个积分数据缓存器存放同一个通道的数据。另外，三个图像通道chn_id0、chn_id1、chn_id2可以交替排列，即四个弱分类器检测电路可能检测三个通道，即chn_id0、chn_id1、chn_id2。并且，每个弱分类器检测电路当前对应的弱分类器和下一个弱分类器可能计算的是不同通道的图像特征的数据。

当然，弱分类器的顺序可以是图8中的(b)、(d)、(f)的组合，或者是(a)、(c)、(i)，又或者是(b)、(e)、(g)的组合等，按此顺序排列能有效减少4个分类器检测电路的等待时间。

图9中，弱分类器的计算结果输入到加法器sum中进行累加运算，从而获得多个弱分类器累加的结果。强分类器检测电路接收当前级数的强分类器的阈值sc_th，并且将接收的强分类器的值与阈值sc_th进行比较，即设置一个比较器，融合模块13可以将接收级联分类器检测胜出的窗口信息以及通过中间某一级强分类器的窗口信息，还包括该窗口可以通过的强分类器级数的信息。

本实施例中，设置了两个缓存器，即缓存器rst_wind_fifo以及缓存器mid_wind_fifo，其中，缓存器rst_wind_fifo是一个双端口静态存储器SRAM组成的缓存器，用于保存通过所有级强分类器检测的窗口信息，而mid_wind_fifo用于保存通过中间某一级强分类器的窗口的信息。

可见，经过强分类器检测电路检测通过的窗口信息写入两个缓存器rst_windfifo和mid_wind fifo中，两个缓存器分别由64×64比特的双端口静态存储器SRAM构成，并与总线接口相连，当缓存器中数据超过32×64比特的数据后，就把32×64比特的数据写到动态随机存储DRAM中，从而完成级联检测电路的输出。

本实施例的级联检测电路可以在300MHz的频率下能达到图像尺寸为640×640、帧率为30fps的检测效率，单张640×640的图像中约300万个弱分类器检测因子，能满足行人、人头、人脸、车辆的检测需求。

图像智能检测方法实施例：

参见图10，对图像进行检测时，首先执行步骤S1，由图像缩放模块对图像进行缩放操作，即按照预先设定的比例对原始图像进行缩小。当然，图像缩放模块可以获取多个通道的图像，例如获取灰度、梯度特征等不同通道的图像数据，然后对图像进行缩小，形成一系列的金字塔图像数据。

形成的金字塔图像数据被输出至级联检测模块，然后执行步骤S2，图像数据存储器接收并且存储所接收的图像数据。优选的，图像数据存储器包括多个存储模块，每一个存储模块存储一个通道的图像数据。由于图像缩放模块最多将图像形成三个通道的图像数据，因此最多可以设置三个存储模块即可以满足图像数据的存储要求。

级联检测模块对图像进行检测时，实际上要判断当前检测的图像是通过哪一级数的强分类器，由于强分类器有多个级数，例如从1级到50级，每一个级数对应的强分类器的参数不相同，对应的弱分类器参数也不相同，因此是使用的模板数据也不相同。而对图像进行检测时，需要一级一级的进行检测，例如首先获取第1级强分类器的数据，按照第1级强分类器的数据进行检测，如果检测通过，则进行下一级强分类器检测，如果不通过，则需要返回上一级。

因此，执行步骤S2后，执行步骤S3，应用积分图计算电路对每一个像素点的积分进行计算，积分图计算电路如前面介绍的，用于计算图像中每一个像素点的像素值相加之和，因此积分图计算电路采用大量的加法器、寄存器以及缓存器。另外，为了实现多个像素点的积分值同步计算，积分图计算电路设置了两个多路复用器，用于将多个像素点的数据同步输出到加法器并且进行加法运算，将积分图计算结果，即各个像素点的积分数据输出至弱分类器检测电路。

然后，执行步骤S4，弱分类器检测电路计算每一个弱分类器检测窗口下的积分值，弱分类器的值通过检测窗口内特定12个点的积分值计算得到，具体的，首先利用这12点分别计算黑框和白框的像素和，白框像素和与黑框像素和做一个带权值的减法，得到弱分类器的值。

接着，执行步骤S5，强分类器检测电路将图像在弱分类器检测窗口下所计算的多个弱分类器的值相加，并且获取当前级数的强分类器的阈值，将多个弱分类器值相加的结果与强分类器的阈值进行比较，并且执行步骤S6，判断多个弱分类器的值相加的结果是否大于当前级数的强分类器的阈值，如是，执行步骤S8，确定当前图像通过当前级数的强分类器，否则，执行步骤S7，返回上一级，也就是获取上一级强分类器的参数，重新执行步骤S3。

执行步骤S8后，执行步骤S9，判断当前强分类器是否为最高级数的强分类器，如果是，则执行步骤S10，输出结果，例如记录当前的图像通过了最高级数的强分类器，并且将通过最高级数强分类器的检测窗口的信息输出至融合模块，由融合模块对图像进行融合。

如果步骤S9中，判断当前的强分类器并不是最高级数的强分类器，则执行步骤S11，获取下一级数的强分类器的数据，并返回执行步骤S3，再次计算当前的图像是否通过了下一级数的强分类器。

可见，本发明实现级联检测电路的硬件化、电路化，并且积分图计算电路可以同时处理多个像素点的积分数据计算，而且积分图计算电路、弱分类器检测电路、强分类器检测电路可以流水作业，即积分图计算电路、弱分类器检测电路、强分类器检测电路可以同时分别对不同的像素点的数据进行处理，从而使得图像检测效率大大提高。

当然，上述的方案只是本发明优选的实施方案，实际应用是还可以有更多的变化，例如，积分图计算电路可以设置更多的寄存器、缓存器以便于同时对更多像素点的像素值进行计算，这些改变都不影响本发明的实施，也应该包括在本发明的保护范围内。

Claims (10)

1.自适应智能检测电路，包括：

图像缩放模块、级联检测模块以及融合模块，所述级联检测模块接收所述图像缩放模块输出的图像数据，所述级联检测模块向所述融合模块输出检测结果图像数据，所述融合模块将所接收的检测结果图像数据进行融合处理；

其特征在于，所述级联检测模块包括：

图像数据存储器，接收并存储所述图像缩放模块输出的图像数据；

积分图计算电路，接收所述图像数据接收缓存器输出图像数据，并且计算所接收图像数据的多个像素点的积分图数据；

弱分类器检测电路，接收所述积分图计算电路输出的所述积分图数据以及弱分类器检测窗口设置数据，应用所述积分图数据和所述弱分类器检测窗口的设置数据计算弱分类器的值，并且将所述弱分类器的值作为计算结果输出；

强分类器检测电路，接收多个所述弱分类器检测电路输出的计算结果，并且将强分类器对应的多个所述弱分类器检测电路输出的计算结果相加后与预定级数的强分类器的阈值对比，确定当前接收的图像通过强分类器的级数。

2.根据权利要求1所述的自适应智能检测电路，其特征在于：

所述图像缩放模块输出的图像数据为至少两个通道以上的图像数据；

所述图像数据存储器包括二组以上的存储模块，每一组所述存储模块用于存储一个所述通道的图像数据。

3.根据权利要求1或2所述的自适应智能检测电路，其特征在于：

所述积分图计算电路的数量为二个以上，一个所述积分图计算电路的计算结果存储至一个或者多个积分数据缓存器中，所述积分数据缓存器的数量与弱分类器检测电路数量相等。

4.根据权利要求3所述的自适应智能检测电路，其特征在于：

每一所述积分图计算电路包括第一多路复用器，所述第一多路复用器同时将多个像素点的数据分别写入到一个寄存器中，每一所述像素点的数据写入到一个所述寄存器中，并且将所述寄存器存储的数据与当前计算列左侧一列的积分数据相加，并输出当前列的积分数据。

5.根据权利要求4所述的自适应智能检测电路，其特征在于：

每一所述弱分类器检测电路包括第二多路复用器，所述第二多路复用器接收两个以上的弱分类器检测窗口内像素的积分数据，并筛选参与计算弱分类器值的像素，计算黑框和白框的像素和；

所述级联检测模块还用于使用弱分类器检测窗口的所述黑框中的所有像素之和乘上系数后减去所述白框中所有像素之和乘上系数的结果，再与预设的阈值作比较，计算获得弱分类器的值。

6.根据权利要求2所述的自适应智能检测电路，其特征在于：

每一所述存储模块包括多个单端口静态存储器，每一所述单端口静态存储器用于存储多行像素点的数据，且多个所述单端口静态存储器的多行像素点的数据交错排列。

7.根据权利要求5所述的自适应智能检测电路，其特征在于：

还包括双端口静态存储器，用于接收所述强分类器检测电路的输出结果。

8.图像智能检测方法，包括：

应用图像缩放模块对原始图像进行缩放，形成多张分辨率大小不同的图像，并将所形成的图像的数据输出至级联检测模块，所述级联检测模块对所接收的图像进行检测，并向融合模块输出检测结果图像数据，所述融合模块将所接收的检测结果图像数据进行融合处理；

其特征在于，所述级联检测模块对所接收的图像进行检测包括：

应用图像数据存储器接收并存储所述图像缩放模块输出的图像数据；

应用积分图计算电路接收所述图像数据接收缓存器输出图像数据，并且计算所接收图像数据的多个像素点的积分图数据；

应用弱分类器检测电路接收所述积分图计算电路输出的所述积分图数据以及弱分类器检测窗口设置数据计算弱分类器的值，并且将所述弱分类器的值作为计算结果输出；

应用强分类器检测电路接收多个所述弱分类器检测电路输出的计算结果，并且将强分类器对应的多个所述弱分类器检测电路输出的计算结果相加后与预定级数的强分类器的阈值对比，确定当前接收的图像通过强分类器的级数。

9.根据权利要求8所述的图像智能检测方法，其特征在于：

所述图像缩放模块输出的图像数据为至少两个通道以上的图像数据；

所述图像数据存储器包括二组以上的存储模块，每一组所述存储模块用于存储一个所述通道的图像数据。

10.根据权利要求8或9所述的图像智能检测方法，其特征在于：

所述积分图计算电路的数量为二个以上，一个所述积分图计算电路的计算结果存储至一个或者多个积分数据缓存器中，所述积分数据缓存器的数量与弱分类器检测电路数量相等。

Images