CN109241969A - 一种多目标检测方法及检测系统 - Google Patents

Abstract

本发明一种多目标检测方法，包括以下步骤：定义检测窗区域以及滑动积分图，使得滑动积分图的宽度为检测窗宽度的q倍、滑动积分图的高度为检测窗高度的q倍，且q为大于等于2的整数；检测窗在积分图区域内以设定步长滑动；对所有记录的区域，通过位置信息进行筛选，筛选出有效位置；滑动积分图分别在x轴以检测窗宽度+step，在y轴以检测窗高度+step为步长在完整图像中进行滑动，重复上述过程。通过对于积分图区域缩小至与检测框大小成一定的比例，采取滑动策略，在积分图滑动边界，计算初始检测窗左上端点的x坐标，使用Harr特征是否大于门限值进行判断，减少多目标检测在工程实现中的内存开销，有效果的降低芯片的面积及成本，不损失检测性能。

Description

一种多目标检测方法及检测系统

技术领域

本发明涉及图像处理技术领域，具体来说是一种多目标检测方法及检测系统。

背景技术

随着计算机技术、多媒体技术、人工智能技术的迅速发展，图像处理技术的应用也越来越广泛，并在科学研究、教育管理、医疗卫生、军事等领域已取得了一定的成绩。图像处理正显著地改变着人们的生活方式和生产手段，比如人们可以借助于图像处理技术欣赏月球的景色、交通管理中的车牌照识别系统、机器人领域中的计算机视觉等，在这些应用中，都离不开图像处理和识别技术。

当图片给人们带来快捷的信息记录和分享方式的同时，海量图片广泛地传播在大众视野下，相应的问题也随之而来。文字记载，用户可以轻松通过关键词搜索获取意向信息，而当图片记载，用户无法直接通过搜索图片检索到可利用信息。

科学技术的进步总是与解决问题的诉求如影随形，在用户痛点下，迫切需要科技的优化创新，此环境下应运而生的图像识别技术便显得尤为重要。

Harr特征检测是在多目标检测中一种行之有效的技术方法，具备运算低，有一定的识别准确率等特点。Harr特征检测的流程可以总结为：

S01:通过训练得到Harr特征。

S02:获得待检测的完整图像的图像数据。

S03:计算完整图像的积分图。

S04:定义检测窗区域，该区域大小固定，在完整图像中以一定的步长滑动，滑动步长机制见S05。

S05:遍历图像的每个区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征是否大于预定义的门限。如果大于门限记录该区域在图像中的位置。

S06:对所有记录的区域，通过位置信息进行筛选，筛选出有效位置。

上述方案中S06的作用是对S05的输出位置进行筛选，具体作用有两个：

1.若S05输出中是孤立的区域(与其他S05输出的区域重叠面积较少)，认为是无效区域。

2.对S05输出的重叠较大的多个位置，合并为一个位置且认为这个位置是有效的。S05优化:坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征是否大于预定义的门限。如果大于门限记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动(x轴与图片宽度平行)，如果小于门限记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动。无论大于门限或者小于门限，检测窗在y轴均以step为单位进行滑动(y轴与图片高度平行)

以x轴滑动原则，(这里没有图)，step＝1，当检查窗的Harr特征大于预定义的门限，则向右滑动步长step进入下一个检测窗，下一个检查窗的Harr特征小于预定义的门限，则向右滑动步长2×step再进入下一个检测窗。

当前的方案虽然取得了一定的识别准确率，但Harr特征值需要同时保存sum、sqsum(用于计算方差)、tilted三类特征值的完整积分图结果，极大的占用内存开销。

具体而言，根据积分图特性，图片越大，积分图取值越大，以高度为H，宽度为W的图像为例，一次积分图需要保存完整数据大小为H×W×(sum的位宽+sqsum的位宽+tilted的位宽)。

在实现领域，此处的内存开销受限于完整图像的大小，会增加芯片的面积及成本。

虽然本领域技术人员可以通过每个检测窗单独计算积分图的方法节省内存开销。

但本领域的技术人员也知道，由于检测窗的特性，积分图中的多个点将被多次重复计算，极大的消耗运算时间，在工程实现中，不利于低功耗场景。

所以单纯的通过每个检测窗单独计算积分图的方法，无法在内存开销和运算时间开销之间达到平衡

发明内容

本发明要解决的技术问题为提供一种多目标检测方法，以减小内存开销和运算时间。

本发明的技术方案如下：

一种多目标检测方法，包括以下步骤：

S1：通过训练得到Harr特征；

S2：获得待检测的完整图像的图像数据；

S3：定义检测窗区域以及滑动积分图，使得滑动积分图的宽度为检测窗宽度的q倍、滑动积分图的高度为检测窗高度的q倍，且q为大于等于2的整数；

S4：检测窗在积分图区域内以设定步长滑动；具体为：

以滑动积分图为基准，坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征值是否大于预定义的门限；如果大于门限，则记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动，其中x轴与图片宽度平行，如果小于门限，则记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动；无论Harr特征值大于门限还是者小于门限，检测窗在y轴均以step为单位进行滑动，其中y轴与图片高度平行；

S5：对所有记录的区域，通过位置信息进行筛选，筛选出有效位置；

S6：滑动积分图分别在x轴以检测窗宽度+step，在y轴以检测窗高度+step为步长在完整图像中进行滑动，重复S4～S5过程。

优选的，所述步骤S2具体为：通过摄像头采集图像，得到图像数据后将其转化为灰度图矩阵Dat(n,m)；

其中n＝0,1,2,…,H-1，m＝0,1,2,…,W-1，图像的高度为H，宽度为W。

优选的，所述步骤S3具体为：

定义检测窗矩阵smoothWin(n,m)，n＝0,1,2,…,h-1，m＝0,1,2,…,w-1，高度为h，宽度为w的积分图数据；则滑动积分图矩阵smoothIntegral(n,m)，n＝0,1,2,…,q×h-1,m＝0,1,2,…,q×w-1，高度为q×h，宽度为q×w的积分图数据，则滑动积分图占用内存开销为(sumBitwidth+sqsumBitwidth+tiltedBitwidth)×q×h×q×w，其中sumBitwidth、sqsumBitwidth、tiltedBitwidth分别为sum、sqsum、tilted三类特征值在滑动积分图中最大值的位宽，其中

优选的，所述步骤S4具体为：

S41：检测窗口为矩形，以检测窗的任一一个拐角在滑动积分图中的坐标点(x,y)，高h，宽w表示矩形的检测窗口，其中x＝0,1,2…,h-1,y＝0,1,2…,w-1；其中h为小于H的自然数，w为小于W的自然数；坐标点(x，y)遍历检测窗区域中的点，每滑动一次就形成一个新的检测窗口，依次计算该每个检测窗口的Harr特征值，判断各个检测窗口的Harr特征是否大于预定义的门限；若大于门限则滑动一个step形成下一个检测窗口，小于门限则滑动2个step形成下一个检测窗口；

检查窗遍历原则如下：

S411：定义滑动步长step，step根据图片大小进行修正；

S412：在x轴上遍历原则为：如果当前检测窗的Harr特征大于门限记录该区域在图像中的位置，则下一个检测窗在x轴以步长step为单位进行滑动，如果Harr特征小于门限，则记录该区域在图像中的位置，则下一个检测窗在x轴以2×step为单位进行滑动；

S413：在y轴上遍历原则为：下一个检测窗固定以step为单位进行滑动。

S42：积分图为矩形结构，以积分图的任一一个拐角在完整图片中的坐标点(X,Y)，高q×h，宽q×w表示矩形的滑动积分图，其中X＝0,1,2…,H-1,Y＝0,1,2…,W-1，(X,Y)分别以高h+step、宽w+step为步长滑动遍历，滑动后重复步骤S41；

在不同的场景下需要对S41的检测窗x轴的遍历原则进行修正：

S421：X＝0时，x初始坐标x_init为0；

S422：X≠0时，x初始坐标x_init需要根据上一次滑动积分图内x边界检测窗区域Harr特征是否大于预定义的门限进行判断，记录并保存上一次积分图检测窗边界的坐标x_last[i]，i取值区间[0，q×h/step]，以及需要滑动的步长，x_init[i]＝x_last[i]+n×step-w-1，其中n取值1或2。

本发明还提供一种多目标检测系统，应用于上述的检测方法；包括：

训练模块，用以训练得到Harr特征；

图像获取模块，用以获取完成图像的图像数据；

定义模块，用以定义检测窗区域以及滑动积分图，使得滑动积分图的宽度大于等于检测窗宽度的q倍、滑动积分图的高度大于等于检测窗高度的q倍，且为整数倍；

计算模块，检测窗在积分图区域内以设定步长滑动；以滑动积分图为基准，坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征值是否大于预定义的门限；如果大于门限，则记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动，其中x轴与图片宽度平行，如果小于门限，则记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动；无论Harr特征值大于门限还是者小于门限，检测窗在y轴均以step为单位进行滑动，其中y轴与图片高度平行；

筛选模块，对所有记录的区域，通过位置信息进行筛选，筛选出有效位置。

本发明与现有技术相比，具有以下有益效果：

通过对于积分图区域缩小至与检测框大小成一定的比例，采取滑动策略，同时，在积分图滑动边界，计算初始检测窗左上端点的x坐标，使用Harr特征是否大于预定义的门限值进行判断，减少了多目标检测在工程实现中的内存开销，有效果的降低芯片的面积及成本。同时不损失检测性能。

附图发明

图1为本发明一种多目标检测方法及检测系统的场景1的运行示意图；

图2为本发明一种多目标检测方法及检测系统的场景2的运行示意图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的发明，发明如下：

一种多目标检测的方法，其内容为：

1、一种多目标检测方法，包括以下步骤：

S1：通过训练得到Harr特征；使用常规技术训练得到Harr特征,一共T个，以及配套的权重和判断准则，本实施例中T＝100；

S2：获得待检测的完整图像的图像数据；通过摄像头采集图像，得到图像数据后将其转化为灰度图矩阵Dat(n,m)；

其中n＝0,1,2,…,H-1，m＝0,1,2,…,W-1，图像的高度为H，宽度为W。

S3：定义检测窗区域以及滑动积分图，使得滑动积分图的宽度为检测窗宽度的q倍、滑动积分图的高度为检测窗高度的q倍，且q为大于等于2的整数；具体为：

定义检测窗矩阵smoothWin(n,m)，n＝0,1,2,…,h-1，m＝0,1,2,…,w-1，高度为h，宽度为w的积分图数据；则滑动积分图矩阵smoothIntegral(n,m)，n＝0……q×h-1,m＝0……q×w-1，高度为q×h，宽度为q×w的积分图数据，则滑动积分图占用内存开销为(sumBitwidth+sqsumBitwidth+tiltedBitwidth)×q×h×q×w，其中sumBitwidth、sqsumBitwidth、tiltedBitwidth分别为sum、sqsum、tilted三类特征值在滑动积分图中最大值的位宽，其中

S4：检测窗在积分图区域内以设定步长滑动：以滑动积分图为基准，坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征值是否大于预定义的门限；如果大于门限，则记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动，其中x轴与图片宽度平行，如果小于门限，则记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动；无论Harr特征值大于门限还是者小于门限，检测窗在y轴均以step为单位进行滑动，其中y轴与图片高度平行；

具体为：

S41：检测窗口为矩形，以检测窗的任一一个拐角在滑动积分图中的坐标点(x,y)，高h，宽w表示矩形的检测窗口，其中x＝0,1,2…,h-1,y＝0,1,2…,w-1；其中h为小于H的自然数，w为小于W的自然数；坐标点(x，y)遍历检测窗区域中的点，每滑动一次就形成一个新的检测窗口，依次计算该每个检测窗口的Harr特征值，判断各个检测窗口的Harr特征是否大于预定义的门限；若大于门限则滑动一个step形成下一个检测窗口，小于门限则滑动2个step形成下一个检测窗口；

检查窗遍历原则如下：

S411：定义滑动步长step，step根据图片大小进行修正；

S412：在x轴上遍历原则为：如果当前检测窗的Harr特征大于门限记录该区域在图像中的位置，则下一个检测窗在x轴以步长step为单位进行滑动，如果Harr特征小于门限，则记录该区域在图像中的位置，则下一个检测窗在x轴以2×step为单位进行滑动；

S413：在y轴上遍历原则为：下一个检测窗固定以step为单位进行滑动。

S42：积分图为矩形结构，以积分图的任一一个拐角在完整图片中的坐标点(X,Y)，高q×h，宽q×w表示矩形的滑动积分图，其中X＝0,1,2…,H-1,Y＝0,1,2…,W-1，(X,Y)分别以高h+step、宽w+step为步长滑动遍历，滑动后重复步骤S41；

在不同的场景下需要对S41的检测窗x轴的遍历原则进行修正：

S421：X＝0时，x初始坐标x_init为0；

S422：X≠0时，x初始坐标x_init需要根据上一次滑动积分图内x边界检测窗区域Harr特征是否大于预定义的门限进行判断，记录并保存上一次积分图检测窗边界的坐标x_last[i]，i取值区间[0，q×h/step]，以及需要滑动的步长，x_init[i]＝x_last[i]+n×step-w-1，其中n取值1或2。

S5：对所有记录的区域，通过位置信息进行筛选，筛选出有效位置；

S6：滑动积分图分别在x轴以检测窗宽度+step，在y轴以检测窗高度+step为步长在完整图像中进行滑动，重复S4～S5过程。

本发明还提供一种多目标检测系统，应用于上述的检测方法；包括：

训练模块，用以训练得到Harr特征；

图像获取模块，用以获取完成图像的图像数据；

定义模块，用以定义检测窗区域以及滑动积分图，使得滑动积分图的宽度大于等于检测窗宽度的q倍、滑动积分图的高度大于等于检测窗高度的q倍，且为整数倍；

计算模块，检测窗在积分图区域内以设定步长滑动；以滑动积分图为基准，坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征值是否大于预定义的门限；如果大于门限，则记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动，其中x轴与图片宽度平行，如果小于门限，则记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动；无论Harr特征值大于门限还是者小于门限，检测窗在y轴均以step为单位进行滑动，其中y轴与图片高度平行；

筛选模块，对所有记录的区域，通过位置信息进行筛选，筛选出有效位置。

以下图为例说明以上步骤，框1和框2分别表示滑动积分图，框1区域为(X＝0，Y＝0)高2×h，宽2×w，框2区域为(X＝h+1，Y＝0)高2×h，宽2×w，框3表示框1积分图在y＝0时，x轴上的最后一个检测窗，对应的检测窗边界坐标即(x＝x_last[0],y＝0)。在进入框2积分图时，可能的x初始坐标场景如下：

场景1：

如图1所示，框3左上端点坐标为(x_last[0]＝w，y＝0)，当框3检测窗的Harr特征大于预定义的门限，则向右滑动步长step进入下一个检测窗框4，则框4左上端点坐标为(x_init[0]＝0，y＝0)。

场景2：

如图2所示，框3左上端点坐标为(x_last[0]＝w，y＝0)，当框3的Harr特征小于预定义的门限，则向右滑动步长2×step进入下一个检测窗框4，则框4左上端点坐标为(x_init[0]＝step，y＝0)。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和发明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种多目标检测方法，其特征在于：包括以下步骤：

S1：通过训练得到Harr特征；

S2：获得待检测的完整图像的图像数据；

S3：定义检测窗区域以及滑动积分图，使得滑动积分图的宽度为检测窗宽度的q倍、滑动积分图的高度为检测窗高度的q倍，且q为大于等于2的整数；

S4：检测窗在积分图区域内以设定步长滑动；具体为：

以滑动积分图为基准，坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征值是否大于预定义的门限；如果大于门限，则记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动，其中x轴与图片宽度平行，如果小于门限，则记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动；无论Harr特征值大于门限还是者小于门限，检测窗在y轴均以step为单位进行滑动，其中y轴与图片高度平行；

S5：对所有记录的区域，通过位置信息进行筛选，筛选出有效位置；

S6：滑动积分图分别在x轴以检测窗宽度+step，在y轴以检测窗高度+step为步长在完整图像中进行滑动，重复S4～S5过程。

2.根据权利要求1所述的一种多目标检测方法，其特征在于：所述步骤S2具体为：通过摄像头采集图像，得到图像数据后将其转化为灰度图矩阵Dat(n,m)；

其中n＝0,1,2,…,H-1，m＝0,1,2,…,W-1，，图像的高度为H，宽度为W。

3.根据权利要求1所述的一张多目标检测方法，其特征在于：所述步骤S3具体为：

定义检测窗矩阵smoothWin(n,m)，n＝0,1,2,…,h-1，m＝0,1,2,…,w-1，高度为h，宽度为w的积分图数据；则滑动积分图矩阵smoothIntegral(n,m)，n＝0,1,2,…,q×h-1,m＝0,1,2,…,q×w-1，高度为q×h，宽度为q×w的积分图数据，则滑动积分图占用内存开销为(sumBitwidth+sqsumBitwidth+tiltedBitwidth)×q×h×q×w，其中sumBitwidth、sqsumBitwidth、tiltedBitwidth分别为sum、sqsum、tilted三类特征值在滑动积分图中最大值的位宽，其中

4.根据权利要求3所述的一种多目标检测方法，其特征在于：所述步骤S4具体为：

S41：检测窗口为矩形，以检测窗的任一一个拐角在滑动积分图中的坐标点(x,y)，高h，宽w表示矩形的检测窗口，其中x＝0,1,2…,h-1,y＝0,1,2…,w-1；其中h为小于H的自然数，w为小于W的自然数；坐标点(x，y)遍历检测窗区域中的点，每滑动一次就形成一个新的检测窗口，依次计算该每个检测窗口的Harr特征值，判断各个检测窗口的Harr特征是否大于预定义的门限；若大于门限则滑动一个step形成下一个检测窗口，小于门限则滑动2个step形成下一个检测窗口；

检查窗遍历原则如下：

S411：定义滑动步长step，step根据图片大小进行修正；

S412：在x轴上遍历原则为：如果当前检测窗的Harr特征大于门限记录该区域在图像中的位置，则下一个检测窗在x轴以步长step为单位进行滑动，如果Harr特征小于门限，则记录该区域在图像中的位置，则下一个检测窗在x轴以2×step为单位进行滑动；

S413：在y轴上遍历原则为：下一个检测窗固定以step为单位进行滑动。

S42：积分图为矩形结构，以积分图的任一一个拐角在完整图片中的坐标点(X,Y)，高q×h，宽q×w表示矩形的滑动积分图，其中X＝0,1,2…,H-1,Y＝0,1,2…,W-1，(X,Y)分别以高h+step、宽w+step为步长滑动遍历，滑动后重复步骤S41；

在不同的场景下需要对S41的检测窗x轴的遍历原则进行修正：

S421：X＝0时，x初始坐标x_init为0；

S422：X≠0时，x初始坐标x_init需要根据上一次滑动积分图内x边界检测窗区域Harr特征是否大于预定义的门限进行判断，记录并保存上一次积分图检测窗边界的坐标x_last[i]，i取值区间[0，q×h/step]，以及需要滑动的步长，x_init[i]＝x_last[i]+n×step-w-1，其中n取值1或2。

5.一种多目标检测系统，其特征在于：应用于上述权利要求1至4任一所述的检测方法；包括：

训练模块，用以训练得到Harr特征；

图像获取模块，用以获取完成图像的图像数据；

定义模块，用以定义检测窗区域以及滑动积分图，使得滑动积分图的宽度大于等于检测窗宽度的q倍、滑动积分图的高度大于等于检测窗高度的q倍，且为整数倍；

计算模块，检测窗在积分图区域内以设定步长滑动；以滑动积分图为基准，坐标0点为初始检测窗区域，计算该区域是否满足Harr特征值，判断该区域的Harr特征值是否大于预定义的门限；如果大于门限，则记录该区域在图像中的位置，检测窗在x轴以预定义步长step为单位进行滑动，其中x轴与图片宽度平行，如果小于门限，则记录该区域在图像中的位置，检测窗在x轴以2×step为单位进行滑动；无论Harr特征值大于门限还是者小于门限，检测窗在y轴均以step为单位进行滑动，其中y轴与图片高度平行；

筛选模块，对所有记录的区域，通过位置信息进行筛选，筛选出有效位置。