CN106997459B - 一种基于神经网络和图像叠合分割的人数统计方法及系统 - Google Patents
一种基于神经网络和图像叠合分割的人数统计方法及系统 Download PDFInfo
- Publication number
- CN106997459B CN106997459B CN201710161894.6A CN201710161894A CN106997459B CN 106997459 B CN106997459 B CN 106997459B CN 201710161894 A CN201710161894 A CN 201710161894A CN 106997459 B CN106997459 B CN 106997459B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- detection
- block
- width
- detection window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 288
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 434
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 40
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000005192 partition Methods 0.000 description 90
- 230000006870 function Effects 0.000 description 33
- 238000003062 neural network model Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于神经网络和图像叠合分割的人数统计方法，通过对原始图像进行预处理，依据远近景关系，确定分割参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息，从而获得人数统计结果。本发明通过将图像进行有效分割，将图像中大小跨度较大的目标分开处理，从而解决图像中被检测目标大小跨度较大时识别能力不足的问题，大幅度提高图像中人头的识别率；且通过设置的分割块重叠区域，可以避免图像中因目标部分切割而存在的目标漏检的情况；并可以实现对重叠区域中重复检测窗口的识别，从而对环境变换具有一定的鲁棒性，进一步提高人数统计的准确率。
Description
技术领域
本发明属于深度学习、计算机视觉和图像处理领域，涉及一种基于神经网络和图像叠合分割的人数统计方法及系统。
背景技术
人数统计系统能够对视频中的人数进行统计，是现代安防、资源优化配置、商业信息采集以及智能管理等重要任务的基础，具有较高的研究意义和应用价值。针对不同的环境和应用需求，人数统计的作用各不相同；例如，对于大型商场、超市等场合，统计不同区域顾客通过量，从而了解顾客对不同商品的消费需求程度，合理调整商品的进货量以及商品摆放位置，减少货物滞销量、使得购物环境更加人性化；此外，在校园中，人数的统计也具有较高的实用价值，不仅可以在上课时高效迅速地考察各门课程的出勤率，也能在学生自习时更好地管理和安排自习教室。
传统的人数统计方法主要是通过传感器，或者是机械触碰的方式来实现的，其优势是计算成本较低，例如借助红外传感器，便可简单地计算出成队运行的人数，但是当同时有多个人通过感知区域时，将不能得到正确的结果，另外，该方法也无法解决双向移动的人数统计问题。此外，也有基于划线实现的人数统计方法，即通过设定基线的方式，统计过线的人数，但这种方法在人数较多，且移动方向较为复杂的情况下难以适用。
传统的人工计数方式不仅耗费人力物力，而且识别精度和效率都有所不足。随着人工智能技术的飞速发展，基于智能视频分析的人数统计算法不断涌现，其中基于监控视频的人数统计系统是智能人数统计算法的一个具体应用领域。它利用不断完善的计算机视觉技术并借助现代计算机处理数据的强大能力，对监控场景中出现的行人进行准确实时的检测与识别，最终达到人数智能统计的目标。但是目前已有的基于深度学习的人数统计方法中，对图像中所要检测的目标面积大小跨度较大的情况识别能力不足，从而导致对于同一场景中出现较多人，且距离摄像头比较远的情况下，人数统计的准确率会明显下降。
发明内容
针对复杂监控场景下，现有人数统计算法存在的识别能力不足的技术现状，本发明提供一种基于神经网络和图像叠合分割的人数统计方法，能够大幅度提高人数统计的准确率，并可应用于任何复杂场景，扩大适用范围。
本发明的另一目的是提供一种基于神经网络和图像叠合分割的人数统计系统。
为了达到以上目的，本发明采用以下技术方案来实现。
本发明提供了一种基于神经网络和图像叠合分割的人数统计方法，其特征在于包括以下步骤：
S1，对原始图像进行预处理，确定远近景关系，包括以下分步骤：
S1-1依据神经网络算法，对原始图像进行目标检测，得到若干第一检测窗口；
S1-2以第一检测窗口上任一设定位置的坐标以及第一检测窗口的大小为变量进行拟合得到拟合函数，以拟合函数表示远近景关系；
S2，依据远近景关系，确定分割参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息；
S3，基于步骤S2获取的人头信息进行汇总，获得人数统计结果。
上述基于神经网络和图像叠合分割的人数统计方法，所述步骤S2包括以下分步骤：
S2-1确定原始图像中任一设定位置的分割块参数，并以该设定位置为当前位置，确定当前位置分割块；
S2-2对当前位置分割块进行目标检测，获取当前位置分割块的第二检测窗口即人头信息；
S2-3判断是否存在下一位置分割块，若存在进入步骤S2-4；若不存在则进入步骤S3；
S2-4确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块
S2-5以步骤S2-4中得到的下一位置分割块作为当前位置分割块，重复步骤S2-2至步骤S2-4，至原始图像识别完全。
上述基于神经网络和图像叠合分割的人数统计方法，步骤S2中原始图像处理顺序为：依据拟合函数，设定位置坐标相同的分割块图像位于同一行，从原始图像中任一设定位置开始，依据位置坐标由小及大或者由大及小，按行循环处理分割块图像。
上述基于神经网络和图像叠合分割的人数统计方法，原始图像中任一位置分割块与邻近分割块的叠合区域参数包括与同行内邻近分割块的第一叠合区域参数以及与邻近行分割块的第二叠合区域参数；所述第一叠合区域参数包括第一叠合区域宽度和第一叠合区域长度，第一叠合区域宽度与该位置分割块宽度相同，第一叠合区域长度由原始图像中最小第一检测窗口宽度或该位置分割块内最大第二检测窗口宽度扩大设定倍数得到；所述第二叠合区域参数包括第二叠合区域宽度和第二叠合区域长度，第二叠合区域宽度由该位置分割块所在行所有分割块中的最大第二检测窗口宽度扩大设定倍数得到，所述第二叠合区域长度等于该位置分割块或者邻近行分割块长度。
上述基于神经网络和图像叠合分割的人数统计方法，原始图像中任一位置的分割块参数包括分割块宽度和长度；所述分割块宽度由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数或者由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数与第二重叠区域宽度相加得到；所述分割块长度为分割块宽度、上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数或者上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数与第一重叠区域长度之和。
上述基于神经网络和图像叠合分割的人数统计方法，当处理的下一位置分割块包含图像边界时，首先确定下一位置分割块，然后去除下一位置分割块超出图像边界的部分，再对剩余图像部分进行目标检测，获取包含图像边界的第二检测窗口即人头信息。
上述基于神经网络和图像叠合分割的人数统计方法，所述步骤S3包括以下分步骤：
S3-1将所有分割块中第二检测窗口的坐标值修正，映射到原始图像中；
S3-2去除在第二检测窗口映射到原始图像过程中对同一目标的重复检测窗口；
S3-3统计映射到原始图像中第二检测窗口的数量，即得到人数统计结果。
上述基于神经网络和图像叠合分割的人数统计方法，所述步骤S3-2具体为：
S3-2-1取与同一重叠区域相关的所有第二检测窗口，判断是否存在相交的两个第二检测窗口，若不存在，则进入步骤S3-2-4；若存在，进入步骤S3-2-2；
S3-2-2判断相交面积占两个第二检测窗口中较小第二检测窗口面积的比例是否大于设定第三阈值，若大于，则进入步骤S3-2-3；若小于等于设定第三阈值，则进入步骤S3-2-4；
S3-2-3将面积较小的第二检测窗口舍弃；
S3-2-4保留两个第二检测窗口；
S3-2-5判断是否还存在与该重叠区域相关的相交的两个第二检测窗口，若存在，重复步骤S3-2-2至S3-2-4至不存在与该重叠区域相关的相交的两个第二检测窗口；
S3-2-6判断是否存在下一个重叠区域，若存在，取与下一个重叠区域相关的所有第二检测窗口，重复步骤S3-2-1至S3-2-5；若不存在，则去重过程结束，得到对应于原始图像的无重复的检测结果。
本发明进一步提供了一种基于神经网络和图像叠合分割的人数统计系统，包括：
预处理模块，用于对原始图像进行预处理，确定远近景关系，包括以下子模块：
第一检测子模块，用于依据神经网络算法，对原始图像进行目标检测，得到若干第一检测窗口；
拟合子模块，用于以第一检测窗口上任一设定位置的坐标以及第一检测窗口的大小为变量进行拟合得到拟合函数，以拟合函数表示远近景关系；
分割检测模块，用于依据远近景关系，确定分割参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息；
汇总模块，用于根据分割检测模块获取的人头信息进行汇总，获得人数统计结果。
上述基于神经网络和图像叠合分割的人数统计系统，所述分割检测模块包括以下子模块：
初始位置分割块处理子模块，用于确定原始图像中任一设定位置的分割块参数，并以该设定位置为当前位置，确定当前位置分割块；
分割块检测子模块，用于对分割块进行目标检测，获取分割块的第二检测窗口即人头信息；
判定子模块，用于判定是否存在下一位置分割块；
下一位置分割块处理子模块，用于确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块。
与现有技术相比，本发明提供的基于神经网络和图像叠合分割的人数统计方法及系统具有以下优异效果：
1、本发明通过将图像进行有效分割，将图像中大小跨度较大的目标分开处理，从而解决图像中被检测目标大小跨度较大时识别能力不足的问题，大幅度提高图像中人头的识别率；
2、本发明通过设置的分割块重叠区域，可以避免图像中因目标部分切割而存在的目标漏检的情况；
3、本发明汇总处理过程中，可以进一步实现对重叠区域中重复检测窗口的识别，从而对环境变换具有一定的鲁棒性，可以进一步提高人数统计的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。
图1为本发明给出的实施例基于神经网络和图像叠合分割的人数统计方法的流程示意图。
图2为本发明实施例的对原始图像进行预处理的流程示意图。
图3为本发明实施例的分割检测流程示意图。
图4为本发明实施例的人头信息汇总流程示意图。
图5为本发明实施例的去除对同一目标的重复检测窗口流程示意图。
图6为本发明实施例的基于神经网络和图像叠合分割的人数统计方法的应用示意图(一)。
图7为本发明实施例的基于神经网络和图像叠合分割的人数统计方法的应用示意图(二)。
图8为本发明实施例的基于神经网络和图像叠合分割的人数统计方法的应用示意图(三)。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
为了解决目前对图像中所要检测的目标面积大小跨度角度时的人数统计问题，基于现有的神经网络模型和本发明提供的图像叠合分割方法，本实施例提供了一种人数统计方法，如图1所示，该人数统计方法包括以下步骤：
S1，对原始图像进行预处理，确定远近景关系。
本步骤的主要目的是确定原始图像中的远近景关系，并用一定的函数关系表示出来，以便于后期的图像分割。为了达到该目的，首先需要从网络摄像头、视频或本地图片中获取待处理的图片，本实施例中采用的是从本地图片中获取的待处理图片，如图6中(a)所示；然后对待处理图片进行预处理，确定远近景关系，如图2所示，分步骤如下：
S1-1依据神经网络算法，对原始图像进行目标检测，得到若干第一检测窗口。
该分步骤的目的是对原始图像进行初步目标检测，获取初步的目标检测窗口大小以及目标检测窗口所在的位置坐标；具体实现方式为：将原始图像输入一种神经网络模型，然后获得一系列第一检测窗口的坐标、宽度以及置信度；为了提高检测的准确度，可以舍弃置信度不高于设定第一阈值的第一检测窗口。
上述神经网络模型，可以采用本领域已经披露的常规神经网络模型，例如FasterRCNN(Faster Region with Convolution Neural Network)、YOLO(You Look Once)、SSD等。
例如，本实施例采用的是更快速区域卷积神经网络算法(Faster R-CNN,FasterRegion with Convolution Neural Network)，将待检测整张图片输入上述神经网络模型，进行目标检测，获得一系列的第一检测窗口，该系列第一检测窗口的检测结果如表1所示，其中x0为第一检测窗口左上角的x轴坐标，y0为第一检测窗口左上角的y轴坐标，x1为第一检测窗口右下角的x坐标，y1为第一检测窗口右下角的y轴坐标，score为第一检测窗口的置信度，宽度为第一检测窗口沿y轴的边长。
表1检测结果
根据表1的检测结果，剔除掉置信度小于0.8(这里第一阈值取0.8)的第一检测窗口，然后得到的第一检测窗口的个数为10个，需要利用这10个第一检测窗口的参数确定图像中的远近景关系，因此要进入下一步。
S1-2以第一检测窗口上任一设定位置的坐标以及第一检测窗口的大小为变量进行拟合得到拟合函数，以拟合函数表示远近景关系。
该步骤的目的是依据步骤S1-1得到的第一检测窗口的参数作为变量进行拟合，并将得到的拟合函数用来表示远近景关系，本领域技术人员可以根据需要，选择第一检测窗口的相关参数进行拟合【例如选择第一检测窗口任一设定位置的坐标(x或y)和第一检测窗口的大小为变量】。
例如，本实施例以每个第一检测窗口左上角的y轴坐标为变量1(即y0)，以每个第一检测窗口的宽度为变量2(宽度)，然后利用线性最小二乘估计方法，对表1中剔除不符合置信度要求后的y0与宽度进行线性函数拟合，得到拟合函数为y’＝48.2066+0.0841x’，这里x’为变量1，y’为变量2。
同时从表1中可以看出，整张图片中最小第一检测窗口的尺寸wGMin(宽度)为44.06像素。
虽然本实施例中采用的是线性最小二乘估计方法，本领域技术人员也可以选择其它最小二乘估计方法依据第一检测窗口坐标和/或第一检测窗口大小进行拟合得到相关的拟合函数，例如指数函数、对数函数等。
S2，依据远近景关系，确定分割参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息。
该步骤的目的是对预处理的图像进行分割，再将分割后的图像分别进行检测，从而提高图像识别的准确率。如图3所示，本步骤S2包括以下分步骤：
S2-1确定原始图像中任一设定位置的分割块参数，并以该设定位置为当前位置，确定当前位置分割块。
S2-2对当前位置分割块进行目标检测，获取当前位置分割块的第二检测窗口即人头信息；
S2-3判断是否存在下一位置分割块，若存在进入步骤S2-4；若不存在则进入步骤S3；
S2-4确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块；
S2-5以步骤S2-4中得到的下一位置分割块作为当前位置分割块，重复步骤S2-2至步骤S2-4，至原始图像识别完全。
通过上述分步骤，可以以图像中任一设定位置为起始位置，对图像进行分割处理，然而为了便于对图像进行分割处理，原始图像处理顺序为：依据拟合函数，设定位置坐标相同的分割块图像位于同一行，从原始图像中任一设定位置开始，依据位置坐标由小及大或者由大及小，按行循环处理分割块图像。这里为了最终检测结果的准确性，这里针对的研究对象为原始图像。以原始图像为矩形为例，可以从四个角的任一一个角或者原始图像的中间位置开始，先依次处理位于同一行内的分割块，再依据位置坐标由小及大或者由大及小，依次处理各行的分割块，直至处理完原始图像。
本发明中原始图像中任一位置分割块与邻近分割块的叠合区域参数包括与同行内邻近分割块的第一叠合区域参数以及与邻近行分割块的第二叠合区域参数；所述第一叠合区域参数包括第一叠合区域宽度和第一叠合区域长度，第一叠合区域宽度与该位置分割块宽度相同，第一叠合区域长度由原始图像中最小第一检测窗口宽度或该位置分割块内最大第二检测窗口宽度扩大设定倍数得到；所述第二叠合区域参数包括第二叠合区域宽度和第二叠合区域长度，第二叠合区域宽度由该位置分割块所在行所有分割块中的最大第二检测窗口宽度扩大设定倍数得到，所述第二叠合区域长度等于该位置分割块或者邻近行分割块长度。
本发明中原始图像中任一位置的分割块参数包括分割块宽度和长度；所述分割块宽度由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数或者由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数与第二重叠区域宽度相加得到；所述分割块长度为分割块宽度、上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数或者上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数与第一重叠区域长度之和。
这里需要说明的是，为了提高人头检测精度，在步骤S2-3判断是否存在下一位置分割块时，优选的实施方式中，同时根据当前分割块在原始图像中的位置，判断下一位置分割块是否包含图像边界，若包含图像边界，首先按照前面所述的方法确定下一位置分割块，然后去除下一位置分割块超出图像边界的部分，再对剩余图像部分进行目标检测，获取包含图像边界的第二检测窗口即人头信息。
例如，为了对步骤S2给出更加详细的解释，下面结合图6以及步骤S1-2实例确定的拟合函数对图6给出的图像进行分割，并对分割得到的图像进行目标检测，获取第二检测窗口即人头信息。该检测过程包括以下步骤：
A1，确定原始图像中任一设定位置的分割块参数，并以该设定位置为当前位置，确定当前位置分割块。
本步骤的目的是确定一个初始位置，并以该初始位置作为当前位置确定当前位置分割快，当前位置分割块参数包括分割块宽度和长度；分割块宽度由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数(本发明中设定倍数为3-8倍)得到；分割块长度等于分割块宽度或者为上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数(本发明中设定倍数为3-8倍)。
为了便于对图6进行分割，从图6中的图像左上角开始处理(即图像左上角坐标即为当前位置分割块位置)，前面确定的与原始图像相关的拟合函数为y’＝48.2066+0.0841x’，由于原始图像左上角x0’＝0，因此y0’＝48.2066，即最小可检测窗口宽度为48.2066。
本实施例中经实验可以得到表2中给出的输入图像与最小可检测窗口的对应关系，并以此作为确定分割块图像大小的依据。
表2输入图像与最小可检测窗口尺寸对应关系
注：表2中图像尺寸即是由最小可检测窗口尺寸扩大3-8倍得到；当最小可检测窗口宽度为(0，30]时，对应的图像宽度为100像素；当最小可检测窗口宽度为(30，45]时，对应的图像宽度为150像素；当最小可检测窗口宽度为(45，60]时，对应的图像宽度为200像素……当最小可检测窗口宽度大于180时，对应的图像宽度为1080像素，从而可以根据最小可检测窗口宽度找到相应的图像宽度。
从表2中可以看出，宽度为48.2066的最小可检测窗口，对应的图像宽度为200，因此当前位置分割块宽度和长度为200，由此得到图6(c)中图像左上角第一分割块即为当前位置分割块。
此外，对于当前位置分割块而言，由于是第一次处理，因此当前叠合区域参数(当前叠合区域长度和宽度)与当前位置分割块参数相等。
A2，对当前位置分割块进行目标检测，获取当前位置分割块的第二检测窗口即人头信息。
将当前位置分割块图像输入到Faster R-CNN神经网络模型，进行人头目标检测，得到当前位置分割块的所有第二检测窗口，可以将当前位置分割块的所有第二检测窗口作为检测结果进行记录，并将其加入到结果集中；然而为了提高图像识别的准确率，本实施例将置信度不高于设定第二阈值(这里设定的第二阈值为0.8)的第二检测窗口舍弃，将置信度高于0.8的第二检测窗口判定为人头存在区域，并将与该第二检测窗口相关的信息(包括第二检测窗口在第一分割块中位置坐标以及第二检测窗口宽度)作为检测结果进行记录并加入到结果集中。
需要说明的是，上述第一阈值与第二阈值可以相同，也可以不同，为了提高人头识别的精确度，本发明设定的第二阈值要大于等于第一阈值。
例如，从图6(d)可以看出，对当前位置分割块图像进行人头目标检测，得到置信度大于0.8的一个第二检测窗口①，将其加入到结果集中。
A3判断是否存在下一位置分割块，若存在进入步骤A4；若不存在，则检测过程结束。
接下来需要对与当前位置分割块邻近的下一位置分割块进行处理。首先需要判断是否存在下一位置分割块需要处理，可以根据当前位置分割块在原始图像中的坐标位置判断是否存在下一位置分割块，若存在，需要进一步确定下一位置分割块参数以及当前位置分割块与下一位置分割块的叠合区域参数；若不存在，则说明整个原始图像已检测完全，可以进入下一个统计人头总数环节。
A4，确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块。
前面已经指出，为了便于对图像进行分割处理，原始图像处理顺序为：依据拟合函数，设定位置坐标相同的分割块图像位于同一行，从原始图像中任一设定位置开始，依据位置坐标由小及大或者由大及小，按行循环处理分割块图像。
例如，前面已经给出图6中图像，对于左上角x’＝0一行内的分割块宽度由位置坐标x’＝0得出，因此与当前位置分割块相邻的下一个位置分割块宽度与当前位置分割块宽度相等，为200；下一个位置分割块长度确定方式为：当前位置分割块内的第二检测窗口①的最小宽度为44.06，通过表2可以看出，其对应的图像尺寸为150，并将其作为下一位置分割块长度。
对于第一叠合区域参数包括第一叠合区域长度和宽度，取当前位置分割块宽度作为第一叠合区域宽度，第一叠合区域长度由原始图像中最小第一检测窗口宽度或当前位置分割块内最大第二检测窗口宽度扩大设定倍数得到，本发明中设定倍数为1-3倍，本实施例中取的是1.2倍；一般情况下第一叠合区域长度由当前位置分割块内最大第二检测窗口宽度扩大设定倍数得到，当当前位置分割块没有检测到第二检测窗口时，第一叠合区域长度由预处理过程中得到的原始图像中最小第一检测窗口宽度扩大设定倍数得到。
例如，经检测当前位置分割块内的第二检测窗口①的宽度为44.06，因此当前位置分割块与同行下一分割块的第一叠合区域长度为52.8720，宽度为200，如图6所示，其中(e)显示出了第一个分割块与第二分割块及其重叠区域(I)，从而可以确定下一位置分割块。
A5，以步骤A4中得到的下一位置分割块作为当前位置分割块，重复步骤A2至步骤A4，至当前行内的所有分割块检测完全。
本步骤是通过循环叠合分割的处理方式将同一行内的图像进行分割和目前检测识别。以步骤A4确定的下一位置分割块为当前位置分割块，便可采用步骤A2给出的实现方式对其进行目标检测。
例如，图6中(f)为第二分割块，将其作为当前位置分割输入到Faster R-CNN神经网络模型，进行人头目标检测，得到两个置信度大于0.8的第二检测窗口①和②，将得到的两个第二检测窗口①和②加入到结果集中。
当处理至一行的最后一个分割块之前，需要先依据最后一个分割块的上一个分割块在原始图像中的坐标判断下一个分割块是否是最后一个分割块(即判断下一个分割块是否包含图像边界)，若是最后一个分割块，首先依据第一叠合区域长度由原始图像中最小第一检测窗口宽度或上一分割块内最大第二检测窗口宽度扩大设定倍数得到最后一个分割块与上一分割块的第一叠合区域长度；由于同一行内位置坐标相同，因此最后一个分割块宽度与上一个分割块宽度相等，然后依据上一个分割块中最小第二检测窗口宽度扩大设定倍数得到最后一个分割块长度；从而依据确定的最后一个分割块的宽度、长度以及最后一个分割块与上一分割块的第一叠合区域长度确定最后一个分割块的位置，并将最后一个分割块超出图像边界的部分去除，得到一行内实际的最后一个分割块。
例如，对图6中左上角第一行第三分割块的处理，依据左上角第一行第二分割块在原始图像中的位置分析，可以看出第三分割块是本行的最后的一个分割块，根据上述方法，依据图6中第二分割块中最大第二检测窗口扩大1.2倍得到第二分割块与第三分割块的第一叠合区域长度，第一叠合区域的宽度与第三分割块的宽度相同；第三分割块的宽度与第二分割块的宽度相同，第三分割块的长度由第二分割块内最小第二检测窗口①宽度查找表2确定，从而依据确定的第三分割块宽度、长度以及第二分割块与第三分割块的第一叠合区域长度确定第三分割块的位置，并将第三分割块中超出右侧图像边界部分去除；如图6中(g)显示出了第二分割块与第三分割块及其重叠区域(II)，将图6中(h)为第三分割块，将其作为当前位置分割输入到Faster R-CNN神经网络模型，进行人头目标检测，得到两个置信度大于0.8的第二检测窗口②和⑤，将得到的两个第二检测窗口②和⑤其加入到结果集中。
处理完最后一个分割块后，需要转入下一行图像部分的处理，因此在处理最后一个分割块时，需要确定的是下一行与当前行之间的第二重叠区域，从而确定下一行第一个分割块的分布。
因此，当处理同一行分割图像的最后一个分割块时，进一步包括步骤A6，确定相邻下一行分割块参数以及当前行与相邻下一行之间的第二叠合区域参数。
首先依据当前行分割块参数当前行分割块所在位置，确定相邻下一行分割块参数，本实施例采取的实现方式为，依据当前行第一分割块的左上角坐标以及第一分割块的宽度，可以确定当前行第一分割块左下角的坐标(将其作为下一行第一分割块的位置坐标)，将该坐标代入拟合函数可以获得下一行第一分割块的最小可检测窗口宽度，将获取的下一行第一分割块的最小可检测窗口大小扩大设定倍数(本发明中设定倍数为3-8倍)便得到下一行第一分割块宽度(为了便于分割，可以将每一行第一分割块的长度和宽度设为相等，因此此时分割块的长度等于分割块的宽度)；另外，查找当前行所有分割块对应的第二检测窗口，将其中最大第二检测窗口大小扩大设定倍数(本发明中设定倍数为1-3倍)得到当前行与相邻下一行之间的第二叠合区域宽度，并以下一行第一分割块的长度作为第二叠合区域的长度。
例如，前面已经给出图6中原始输入图象第一行第一分割块的左上角坐标x0’＝0，第一分割块宽度为200，因此第一分割块左下角坐标x1’＝200，将其代入y’＝48.2066+0.0841x’，得到y1’＝65.0266。从表2中可以看出，宽度为65.0266的最小可检测窗口对应的图像宽度为300，因此第二行第一分割块宽度和长度均为300。
由于第一行所有分割块的第二检测窗口中最大检测窗口⑤的宽度为51.34，其扩大1.2倍得到第一行分割块与第二行分割块之间的第二叠合区域的宽度61.608，并将第二行第一分割块长度作为第二叠合区域的长度。
根据上面确定的第二行第一分割块宽度和长度以及第一行第一分割块与第二行第一分割块之间的第二叠合区域的宽度和长度，可以确定第二行第一分割块的位置，如图6中(i)所示。
依据步骤A2-A5，重复在第二行分割块的操作，即可完成对第二行上所有分割块的目标检测，如此循环直至对整个图像完成分割检测，最终得到每个分割块对应的位置信息以及对应的检测结果即一系列的第二检测窗口，并将其加入到结果集中。
将图6中第二行第一分割块图像(j)输入到Faster R-CNN神经网络模型，进行人头目标检测，得到两个置信度大于0.8的第二检测窗口③和④，将其加入到结果集中；同样，将得到的第二行第二分割快图像(l)输入到Faster R-CNN神经网络模型，进行人头目标检测，得到两个置信度大于0.8的第二检测窗口③和④，将其加入到结果集中。
以上是从待处理图片的左上角开始对待处理图片进行图像分割和目标检测的，同样的处理方法也适用于从待处理图片的任一位置开始，对待处理图片进行图像分割和目标检测，其最终结果都是一样的。
图7给出了从待处理图片中间位置开始对图像进行分割和目标检测的过程，为了便于处理，这里仍然是中间位置的最左侧开始处理。需要说明的是，本实施例为了处理方便，拟合函数的坐标原点取待处理图片的左上角，为了确保算法完整性，并保证不会切碎人头，本实施例分割块宽度与长度的确定方式，在从图片中间位置向上处理过程中为：(1)同一行内分割块的宽度相同，分割块的长度为上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数与第一重叠区域长度之和，(2)上一行分割块的宽度为上一行分割块位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数与第二重叠区域宽度之和；而从图片中间位置向下(包括中间位置)处理过程中分割块宽度与长度的确定方式与前面对图6中解释中采用的方式相同。本领域技术人员在处理过程中，可以根据实际情况，选择分割块参数的确定方式。
对图7中待处理图片进行图像分割和目标检测的过程具体如下：
(1)取待处理图片中间位置的坐标(将其作为第一分割块位置坐标)，通过线性拟合函数得到可检测窗口宽度，并依据表2得到当前行第一分割块大小，从而确定当前行第一分割块，对该分割块进行目标检测，得到第二检测窗口③；
(2)将得到的第二检测窗口③的宽度以及图像中最小可检测窗口宽度比较，依据前述判断条件，获得当前行第一分割块与第二分割块的第一重叠区域的长度，并依据得到的第二检测窗口③的宽度和表2获得第二分割块的长度，从而确定第二分割块的大小与位置，对第二分割块进行目标检测，得到第二检测窗口③；
(3)根据第二分割块在待处理图片中的位置可以看出，第三分割块为最后一个分割块，根据上述方法，依据第二分割块中第二检测窗口③扩大1.2倍得到第二分割块与第三分割块的第一叠合区域长度，第一叠合区域的宽度与第三分割块的宽度相等；由于第二分割块位置坐标与第三分割块位置坐标相同，第三分割块宽度与第二分割块宽度相等，再依据得到的第二分割块的第二检测窗口③的宽度获得第三分割块长度，从而依据确定的第三分割块宽度、长度以及第二分割块与第三分割块的第一叠合区域长度确定第三分割块的位置，并将第三分割块中超出右侧图像边界部分去除，对第三分割块进行目标检测，得到第二检测窗口③和④；
(4)对中间位置(当前行)的上一行进行检测，当对上一行进行处理时，首先依据当前行第一分割块的位置坐标可以看出，上一行包含图像边界，依据当前行检测得到的所有第二检测窗口中的最大第二检测窗口④宽度扩大1.2倍得到当前行第一分割块与上一行第一分割块的第二重叠区域的宽度，第二重叠区域的长度与上一行第一分割块长度相等，并依据当前行第一分割块左上角的坐标(将其作为上一行第一分割块位置坐标)和拟合函数，计算出可检测窗口宽度，然后依据表2得到的图像宽度与当前行第一分割块和上一行第一分割块的第二重叠区域的宽度之和作为上一行第一分割块宽度和长度，从而依据确定上一行第一分割块宽度、长度以及当前行第一分割块与上一行第一分割块的第二重叠区域的宽度确定上一行第一分割块的位置，并将上一行第一分割块中超出上侧图像边界部分去除，然后对上一行第一分割块进行目标检测，得到第二检测窗口①；接着确定上一行第二分割块，首先依据第二检测窗口①的宽度扩大1.2倍得到上一行第一分割块与第二分割块的第一重叠区域的长度，第一重叠区域的宽度与上一行第二分割块宽度相等，并将通过第二检测窗口①宽度和表2得到的图像宽度与上一行第一分割块和第二分割块的第一重叠区域长度之和作为上一行第二分割块的长度，上一行第二分割宽度与第一分割块宽度相等，从而依据上一行第二分割块宽度、长度以及上一行第一分割块与第二分割块的第一重叠区域长度确定上一行第二分割块的大小与位置，对然后对获得的上一行第二分割块进行目标检测，得到第二分割块内的第二检测窗口①和③；然后按照类似方法继续检测得到上一行的剩余分割块检测结果(包括第三分割块内的第二检测窗口①、②和③，第四分割块内的第二检测窗口②和⑤)；
(5)对中间位置(当前行)的下一行进行检测，当对下一行进行处理时，首先依据当前行第一分割块的位置坐标可以看出，下一行包含图像边界，依据当前行检测得到的所有第二检测窗口中的最大第二检测窗口④宽度扩大1.2倍得到当前行第一分割块与下一行第一分割块的第二重叠区域的宽度，第二重叠区域的长度与下一行第一分割块长度相等，再依据当前行第一分割块左下角的坐标(将其作为下一行第一分割块位置坐标)和拟合函数，计算出可检测窗口宽度，然后依据表2得到下一行第一分割块宽度和长度，从而依据确定下一行第一分割块宽度、长度以及当前行第一分割块与下一行第一分割块的第二重叠区域的宽度确定下一行第一分割块的位置，并将下一行第一分割块中超出下侧图像边界部分去除，然后对下一行第一分割块进行目标检测，可以得到下一行第一分割块内的第二检测窗口③，然后按照上述(2)或(3)的方法继续检测得到下一行第二分割块内的第二检测窗口③和④。
图8给出了从待处理图片左下角开始对图像进行分割和目标检测的过程。需要说明的是，本实施例为了处理方便，拟合函数的坐标原点取待处理图片的左上角，为了确保算法完整性，并保证不会切碎人头，本实施例分割块宽度与长度的确定方式为：(1)同一行内分割块的宽度相同，分割块的长度为上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数与第一重叠区域长度之和，(2)上一行分割块的宽度为上一行分割块位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数与第二重叠区域宽度之和。本领域技术人员在处理过程中，可以根据实际情况，选择分割块参数的确定方式。
对图8中待处理图片进行图像分割和目标检测的过程具体如下：
(1)取待处理图片左下角的坐标(将其作为第一分割块位置坐标)，通过线性拟合函数得到可检测窗口宽度，并依据表2得到的图像宽度当前行第一分割块宽度和长度，从而确定当前行第一分割块，对该分割块进行目标检测，得到第二检测窗口③和④；
(2)根据第一分割块在待处理图片中的位置可以看出，第二分割块为最后一个分割块，根据上述方法，依据第一分割块中最大第二检测窗口③扩大1.2倍得到第一分割块与第二分割块的第一叠合区域长度，第一叠合区域的宽度与第二分割块的宽度相等；由于第一分割块位置坐标与第二分割块位置坐标相同，其宽度与第一分割块宽度相等，并将通过第一分割块中最小第二检测窗口④宽度和表2得到的图像宽度与第一分割块和第二分割块的第一重叠区域长度之和作为第二分割块的长度，从而依据第二分割块宽度、长度以及第一分割块与第二分割块的第一重叠区域长度确定第二分割块的大小与位置，并将第二分割块中超出右侧图像边界部分去除，然后对第二分割块进行目标检测，得到第二检测窗口③和④；
(3)然后对当前行的上一行进行检测，检测方式类似与对图7中给出的相关上一行的处理方法类似，这里不再详细解释，通过对上一行进行分割和检测，可以得到上一行的检测结果(包括第一分割块内的第二检测窗口①和③，第二分割块内的第二检测窗口①、②、③和④，第三分割块内的第二检测窗口②、③、④和⑤)。
S3，基于步骤S2获取的人头信息进行汇总，获得人数统计结果。
本步骤的目的是对步骤S2检测得到的人头信息(即第二检测窗口信息)进行汇总，从而获得人数统计结果；由于在步骤S2对图像进行分割过程中，相邻分割块之间存在叠合区域，这就造成在检测过程中，对某些目标存在重复检测的情况，为了避免因重复检测而导致的最终人数统计不准确问题，需要去除重复检测的第二检测窗口，为此，如图4所示，本步骤S3包括以下分步骤：
S3-1将所有分割块中第二检测窗口的坐标值修正，映射到原始图像中；
S3-2去除在第二检测窗口映射到原始图像过程中对同一目标的重复检测窗口；
S3-3统计映射到原始图像中第二检测窗口的数量，即得到人数统计结果。
上述分步骤S3-1是将所有检测得到的第二检测窗口映射到原始图像中，由于所有分割块相对于原始图像的位置信息是已知的，而第二检测窗口信息中包括其在相应分割块中的位置信息，因此通过这些位置关系，本领域技术人员可以修正第二检测窗口的位置(目标检测得到的人头区域)，将其映射到原始图像中。例如，在对图6给出的原始图像进行分割、检测过程中，分割块和原始图像坐标原点同样取的是左上角，因此可以通过将检测结果的第二检测窗口坐标直接与其对应分割块左上角在原图中的坐标相加即得到第二检测窗口相对于原始图像的检测结果坐标，从而将第二检测窗口映射到原始图像中。
上述分步骤S3-2是将在检测过程中对同一目标重复检测得到的重复第二检测窗口去除，如图5所示，进一步包括如下分步骤：
S3-2-1取与同一重叠区域相关的所有第二检测窗口，判断是否存在相交的两个第二检测窗口，若不存在，则进入步骤S3-2-4；若存在，进入步骤S3-2-2。
S3-2-2判断相交面积占两个第二检测窗口中较小第二检测窗口面积的比例是否大于设定第三阈值，若大于，则进入步骤S3-2-3；若小于等于设定第三阈值，则进入步骤S3-2-4。
S3-2-3将面积较小的第二检测窗口舍弃。
S3-2-4保留两个第二检测窗口。
S3-2-5判断是否还存在与该重叠区域相关的相交的两个第二检测窗口，若存在，重复步骤S3-2-2至S3-2-4至不存在与该重叠区域相关的相交的两个第二检测窗口。
S3-2-6判断是否存在下一个重叠区域，若存在，取与下一个重叠区域相关的所有第二检测窗口，重复步骤S3-2-1至S3-2-5；若不存在，则去重过程结束，得到对应于原始图像的无重复的检测结果。
对于上述分步骤S-3的具体实现方式可以有多种，本实施例具体列举以下两种实现方式：
第一种具体实现方式为：
A3-2-1取与同一重叠区域相关的所有第二检测窗口，判断是否存在相交的两个第二检测窗口，若不存在，则进入步骤A3-2-4；若存在，进入步骤A3-2-2。
本实现方式中，去重对象为两个相邻分割块的重叠区域，由于重叠区域内可能不存在第二检测窗口(如图6中，第一行第三分割块与第二行第二分割块的重叠区域不存在第二检测窗口)，也可能存在重叠区域内的完全的第二检测窗口，也可能包括与重叠区域相交的第二检测窗口(如图6中，位于第一行第一分割块与第二分割块重叠区域的第二检测窗口①以及位于第一行第二分割块与第三分割块重叠区域的第二检测窗口②)，为了考虑全面，需要将与重叠区域相关的所有第二检测窗口包括在内；由于两个分割块重叠区域内的目标有可能会被检测两次，将重叠区域在相邻两个分割块中的检测结果进行比对，从而将对同一个人的重复第二检测窗口合成一个第二检测窗口。
例如，针对第一分割块和第二分割块的重叠区域，首先取第一分割块重叠区域内的一个第二检测窗口，将其与第二分割块重叠区域内的所有第二检测窗口进行比对，若找不出与第一分割块重叠区域内的第二检测窗口相交的另一个第二检测窗口，就对所有的第二检测窗口均不做处理，进入步骤A3-2-4；若找到与第一分割块重叠区域内的第二检测窗口相交的另外一个第二检测窗口，则需要进一步判定是否需要舍弃，需要舍弃哪一个。
A3-2-2判断相交面积占两个第二检测窗口中较小第二检测窗口面积的比例是否大于设定第三阈值，若大于，则进入步骤A3-2-3；若小于等于设定第三阈值，则进入步骤A3-2-4。
A3-2-3将面积较小的第二检测窗口舍弃。
A3-2-4保留两个第二检测窗口。
为了提高人头识别准确率，需要根据相交的两个第二检测窗口的相交面积进行判定，当相交面积占两个第二检测窗口中较小第二检测窗口面积的比例大于设定第三阈值，则将面积较小的第二检测窗口舍弃，保存面积较大第二检测窗口。当相交面积占两个第二检测窗口中较小第二检测窗口面积的比例小于等于设定第三阈值，则认为两个第二检测窗口是两个人头，保留两个第二检测窗口。
例如，在步骤S3-2-1实例中，已经判断出第一分割块重叠区域内的第二检测窗口与第二分割块重叠区域内的另外一个第二检测窗口相交，并设定第三阈值为0.75，则此时需要判定第一分割块重叠区域内的第二检测窗口与第二分割块重叠区域内的另外一个第二检测窗口的相交面积占两者面积较小者(例如第一分割块重叠区域内的第二检测窗口)的比例与0.75的关系，若比例大于0.75，此时舍弃面积较小的第二检测窗口(这里是第一分割块重叠区域内的第二检测窗口)，而保留第二分割块重叠区域内的另外一个第二检测窗口。
A3-2-5判断是否还存在与该重叠区域相关的相交的两个第二检测窗口，若存在，重复步骤A 3-2-2至A 3-2-4至不存在与该重叠区域相关的相交的两个第二检测窗口。
例如，前面已经对第一分割块重叠区域内的一个第二检测窗口进行了判断，下面再取第一分割块重叠区域内的下一个第二检测窗口，将其与第二分割块重叠区域内的所有第二检测窗口进行比对找出第二分割块重叠区域内与之相交的第二检测窗口，再按照步骤A3-2-2至A 3-2-4进行处理，以此类推，至第一分割块重叠区域内的所有第二检测窗口均处理完。
A3-2-6判断是否存在下一个重叠区域，若存在，取与下一个重叠区域相关的所有第二检测窗口，重复步骤A 3-2-1至A 3-2-5；若不存在，则去重过程结束，得到对应于原始图像的无重复的检测结果。
第二种具体实现方式为：
B3-2-1取与同一重叠区域相关的所有第二检测窗口，判断是否存在相交的两个第二检测窗口，若不存在，则进入步骤B3-2-4；若存在，进入步骤B3-2-2。
本实现方式中，去重对象为相邻的两个分割块，上述与同一重叠区域相关的所有第二检测窗口不仅包括相邻两个分割块中属于重叠区域的第二检测窗口，还包括属于两个分割块但不属于重叠区域的第二检测窗口。
例如，对于具有重叠区域的第一分割块和第二分割块，首先取第一分割块内的一个第二检测窗口，将其与第二分割块内的所有第二检测窗口进行比对，若找不出与第一分割块内的第二检测窗口相交的另一个第二检测窗口，就对所有的第二检测窗口均不做处理，进入步骤A3-2-4；若找到与第一分割块内的第二检测窗口相交的另外一个第二检测窗口，则需要进一步判定是否需要舍弃，需要舍弃哪一个。
B3-2-2判断相交面积占两个第二检测窗口中较小第二检测窗口面积的比例是否大于设定第三阈值，若大于，则进入步骤B3-2-3；若小于等于设定第三阈值，则进入步骤B3-2-4。
B3-2-3将面积较小的第二检测窗口舍弃。
B3-2-4保留两个第二检测窗口。
为了提高人头识别准确率，需要根据相交的两个第二检测窗口的相交面积进行判定，当相交面积占两个第二检测窗口中较小第二检测窗口面积的比例大于设定第三阈值，则将面积较小的第二检测窗口舍弃，保存面积较大第二检测窗口。当相交面积占两个第二检测窗口中较小第二检测窗口面积的比例小于等于设定第三阈值，则认为两个第二检测窗口是两个人头，保留两个第二检测窗口。
例如，在步骤B3-2-1实例中，已经判断出第一分割块内的第二检测窗口与第二分割块内的另外一个第二检测窗口相交，并设定第三阈值为0.75，则此时需要判定第一分割块内的第二检测窗口与第二分割块内的另外一个第二检测窗口的相交面积占两者面积较小者(例如第一分割块内的第二检测窗口)的比例与0.75的关系，若比例大于0.75，此时舍弃面积较小的第二检测窗口(这里是第一分割块内的第二检测窗口)，而保留第二分割块内的另外一个第二检测窗口。
B3-2-5判断是否还存在与该重叠区域相关的相交的两个第二检测窗口，若存在，重复步骤B3-2-2至B3-2-4至不存在与该重叠区域相关的相交的两个第二检测窗口。
例如，前面已经对第一分割块内的一个第二检测窗口进行了判断，下面再取第一分割块内的下一个第二检测窗口，将其与第二分割块内的所有第二检测窗口进行比对找出第二分割块内与之相交的第二检测窗口，再按照步骤B3-2-2至B3-2-4进行处理，以此类推，至第一分割块内的所有第二检测窗口均处理完。
B3-2-6判断是否存在下一个重叠区域，若存在，取与下一个重叠区域相关的所有第二检测窗口，重复步骤B3-2-1至B3-2-5；若不存在，则去重过程结束，得到对应于原始图像的无重复的检测结果。
为了提高检测效率，在检测完相邻两个分割块后，可以将去除所有重复第二检测窗口以后的两个分割块的第二检测窗口合并成为一个检测结果，并将该检测结果与第三分割块做比对，重复上述过程，从而去除重叠区域中的所有重复检测结果。
第一种实现方式是以重叠区域为研究对象，这样可以缩小处理范围，提高检测效率，但这种处理方式需要在处理过程中先查找出各个重叠区域的第二检测窗口，会增加处理难度；第二种实现方式是以分割块为处理对象，由于在前述步骤中均是以分割块为研究对象，因此在去重过程中以分割块为处理对象，可以简化处理过程，降低处理难度，但当分割块内的第二检测窗口较多时，会产生较大的判断量，从而降低去重过程的处理效率。本领域技术人员可以根据实际需要选择任何一种处理方式。
本发明中上述第三阈值可以根据实际需要设定，本发明中第三阈值的范围为0.6～0.9。
得到对应于原始图像的无重复的检测结果，并进入步骤S3-3，统计该检测结果中的所有第二检测窗口，即统计得到人数。由于已经得到了所有去重后的第二检测窗口，因此只需要统计第二检测窗口的个数即为总人数，从而完成人数统计。
本实施例进一步提供了一种基于神经网络和图像叠合分割的人数统计系统，作为一种图像处理系统，其可以包括输入模块和显示模块。
输入模块，用于读入一系列系统初始化所需要的配置参数包括输入参数(例如图片存放地址、视频存放地址以及监控视频IP地址等)、被视为人头框的阈值参数(例如第一阈值、第二阈值、第三阈值)以及通过实验得到的表2中的数据参数，并读入相关训练好的神经网络模型(例如Faster R-CNN神经网络模型)，然后从网络摄像头、视频或本地图片中读入图像，在本发明的一个实例中，图像的获取来源为本地图片。
显示模块：用于显示检测结果中检测窗口信息以及得到的统计人数；检测窗口信息包括检测窗口大小以及检测窗口所在位置。
除了上述两个模块，本实施例提供的基于神经网络和图像叠合分割的人数统计系统，还包括预处理模块、分割检测模块和汇总模块。
上述预处理模块，用于对原始图像进行预处理，确定远近景关系，其包括以下子模块：
第一检测子模块，用于依据神经网络算法，对原始图像进行目标检测，得到若干第一检测窗口；
拟合子模块，用于以第一检测窗口上任一设定位置的坐标以及第一检测窗口的大小为变量进行拟合得到拟合函数，以拟合函数表示远近景关系。
上述分割检测模块，用于依据远近景关系，确定分割参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息。
上述汇总模块，用于根据分割检测模块获取的人头信息进行汇总，获得人数统计结果。
上述分割检测模块包括以下子模块：
初始位置分割块处理子模块，用于确定原始图像中任一设定位置的分割块参数，并以该设定位置为当前位置，确定当前位置分割块；
分割块检测子模块，对分割块进行目标检测，获取分割块的第二检测窗口即人头信息；
判定子模块，用于判定是否存在下一位置分割块；
下一位置分割块处理子模块，用于确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块。
依据本发明提供的分割检测方法，调用上述各子模块可以完成对原始图像的识别任务。
上述汇总模块包括以下子模块：
坐标修正子模块，用于将所有分割块中第二检测窗口的坐标值修正，映射到原始图像中。
去重子模块，用于去除在第二检测窗口映射到原始图像过程中对同一目标的重复检测窗口；
统计子模块，用于统计映射到原始图像中第二检测窗口的数量，即得到人数统计结果。
上述去重子模块进一步包括以下单元：
第一判定单元，用于取与同一个重叠区域相关的所有第二检测窗口，判断是否存在相交的两个第二检测窗口；
第二判定单元，用于判断相交面积占两个第二检测窗口中较小第二检测窗口面积的比例是否大于设定第三阈值；
第一处理单元，用于将面积较小的第二检测窗口舍弃；
第二处理单元，用于保留两个第二检测窗口；
第三判定单元，用于判断是否存在下一个重叠区域。
依据本发明在检测过程中提供的对同一目标重复检测得到的重复第二检测窗口去除方法分割检测方法，调用上述各单元可以完成对重叠区域的重复检测窗口去除任务。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (4)
1.一种基于神经网络和图像叠合分割的人数统计方法，其特征在于包括以下步骤：
S1，对原始图像进行预处理，确定远近景关系，包括以下分步骤：
S1-1依据神经网络算法，对原始图像进行目标检测，得到若干第一检测窗口；
S1-2以第一检测窗口上任一设定位置的坐标以及第一检测窗口的大小为变量进行拟合得到拟合函数，以拟合函数表示远近景关系；
S2，依据远近景关系，确定分割块参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息；该步骤包括以下分步骤：
S2-1确定原始图像中任一设定位置的分割块参数，并以该设定位置为当前位置，确定当前位置分割块；原始图像中任一位置的分割块参数包括分割块宽度和长度；所述分割块宽度由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数或者由位置坐标依据拟合函数计算得到 的检测窗口宽度扩大设定倍数与第二重叠区域宽度相加得到；所述分割块长度为分割块宽度、上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数或者上一分割块图像 检测得到的最小第二检测窗口宽度扩大设定倍数与第一重叠区域长度之和；
S2-2对当前位置分割块进行目标检测，获取当前位置分割块的第二检测窗口即人头信息；
S2-3判断是否存在下一位置分割块，若存在进入步骤S2-4；若不存在则进入步骤S3；
S2-4确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块；原始图像中任一位置分割块与邻近分割块的叠合区域参数包括与同行内邻近分割块的第一 叠合区域参数以及与邻近行分割块的第二叠合区域参数；所述第一叠合区域参数包括第一 叠合区域宽度和第一叠合区域长度，第一叠合区域宽度与该位置分割块宽度相同，第一叠 合区域长度由原始图像中最小第一检测窗口宽度或该位置分割块内最大第二检测窗口宽 度扩大设定倍数得到；所述第二叠合区域参数包括第二叠合区域宽度和第二叠合区域长 度，第二叠合区域宽度由该位置分割块所在行所有分割块中的最大第二检测窗口宽度扩大 设定倍数得到，所述第二叠合区域长度等于该位置分割块或者邻近行分割块长度；
S2-5以步骤S2-4中得到的下一位置分割块作为当前位置分割块，重复步骤S2-2至步骤S2-4，至原始图像识别完全；
S3，基于步骤S2获取的人头信息进行汇总，获得人数统计结果，该步骤包括以下分步骤：
S3-1将所有分割块中第二检测窗口的坐标值修正，映射到原始图像中；
S3-2去除在第二检测窗口映射到原始图像过程中对同一目标的重复检测窗口，具体为：
S3-2-1取与同一重叠区域相关的所有第二检测窗口，判断是否存在相交的两个第二检测窗口，若不存在，则进入步骤S3-2-4；若存在，进入步骤S3-2-2；
S3-2-2判断相交面积占两个第二检测窗口中较小第二检测窗口面积的比例是否大于设定第三阈值，若大于，则进入步骤S3-2-3；若小于等于设定第三阈值，则进入步骤S3-2-4；
S3-2-3将面积较小的第二检测窗口舍弃；
S3-2-4保留两个第二检测窗口；
S3-2-5判断是否还存在与该重叠区域相关的相交的两个第二检测窗口，若存在，重复步骤S3-2-2至S3-2-4至不存在与该重叠区域相关的相交的两个第二检测窗口；
S3-2-6判断是否存在下一个重叠区域，若存在，取与下一个重叠区域相关的所有第二检测窗口，重复步骤S3-2-1至S3-2-5；若不存在，则去重过程结束，得到对应于原始图像的无重复的检测结果；
S3-3统计映射到原始图像中第二检测窗口的数量，即得到人数统计结果。
2.根据权利要求1所述基于神经网络和图像叠合分割的人数统计方法，其特征在于 步骤S2中原始图像处理顺序为：依据拟合函数，设定位置坐标相同的分割块图像位于同一行，从原始图像中任一设定位置开始，依据位置坐标由小及大或者由大及小，按行循环处理分割块图像。
3.根据权利要求1所述基于神经网络和图像叠合分割的人数统计方法，其特征在于当处理的下一位置分割块包含图像边界时，首先确定下一位置分割块，然后去除下一位置分割块超出图像边界的部分，再对剩余图像部分进行目标检测，获取包含图像边界的第二检测窗口即人头信息。
4.一种基于神经网络和图像叠合分割的人数统计系统，其特征在于包括：
预处理模块，用于对原始图像进行预处理，确定远近景关系，包括以下子模块：
第一检测子模块，用于依据神经网络算法，对原始图像进行目标检测，得到若干第一检测窗口；
拟合子模块，用于以第一检测窗口上任一设定位置的坐标以及第一检测窗口的大小为变量进行拟合得到拟合函数，以拟合函数表示远近景关系；
分割检测模块，用于依据远近景关系，确定分割块参数和叠合区域参数；基于分割块参数和叠合区域参数，对原始图像进行分割，并对分割块进行目标检测，获取第二检测窗口即人头信息，该模块包括以下子模块：
初始位置分割块处理子模块，用于确定原始图像中任一设定位置的分割块参数， 并以该设定位置为当前位置，确定当前位置分割块；原始图像中任一位置的分割块参数包括分割块宽度和长度；所述分割块宽度由位置坐标依据拟合函数计算得到的检测窗口宽度扩大设定倍数或者由位置坐标依据拟合函数计算得到 的检测窗口宽度扩大设定倍数与第二重叠区域宽度相加得到；所述分割块长度为分割块宽度、上一分割块图像检测得到的最小第二检测窗口宽度扩大设定倍数或者上一分割块图像 检测得到的最小第二检测窗口宽度扩大设定倍数与第一重叠区域长度之和；
分割块检测子模块，对分割块进行目标检测，获取分割块的第二检测窗口即人头 信息；
判定子模块，用于判定是否存在下一位置分割块；
下一位置分割块处理子模块，用于确定相邻下一位置的分割块参数以及当前位置分割块与相邻下一位置分割块的叠合区域参数，从而确定下一位置分割块；原始图像中任一位置分割块与邻近分割块的叠合区域参数包括与同行内邻近分割块的第一 叠合区域参数以及与邻近行分割块的第二叠合区域参数；所述第一叠合区域参数包括第一 叠合区域宽度和第一叠合区域长度，第一叠合区域宽度与该位置分割块宽度相同，第一叠 合区域长度由原始图像中最小第一检测窗口宽度或该位置分割块内最大第二检测窗口宽 度扩大设定倍数得到；所述第二叠合区域参数包括第二叠合区域宽度和第二叠合区域长 度，第二叠合区域宽度由该位置分割块所在行所有分割块中的最大第二检测窗口宽度扩大 设定倍数得到，所述第二叠合区域长度等于该位置分割块或者邻近行分割块长度；
汇总模块，用于根据分割检测模块获取的人头信息进行汇总，获得人数统计结果，该模块包括以下子模块：
坐标修正子模块，用于将所有分割块中第二检测窗口的坐标值修正，映射到原始 图像中；
去重子模块，用于去除在第二检测窗口映射到原始图像过程中对同一目标的重复 检测窗口，该子模块包括以下单元：
第一判定单元，用于取与同一个重叠区域相关的所有第二检测窗口，判断是否存 在相交的两个第二检测窗口；
第二判定单元，用于判断相交面积占两个第二检测窗口中较小第二检测窗口面积 的比例是否大于设定第三阈值；
第一处理单元，用于将面积较小的第二检测窗口舍弃；
第二处理单元，用于保留两个第二检测窗口；
第三判定单元，用于判断是否存在下一个重叠区域；
统计子模块，用于统计映射到原始图像中第二检测窗口的数量，即得到人数统计 结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710161894.6A CN106997459B (zh) | 2017-04-28 | 2017-04-28 | 一种基于神经网络和图像叠合分割的人数统计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710161894.6A CN106997459B (zh) | 2017-04-28 | 2017-04-28 | 一种基于神经网络和图像叠合分割的人数统计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106997459A CN106997459A (zh) | 2017-08-01 |
| CN106997459B true CN106997459B (zh) | 2020-06-26 |
Family
ID=59430995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710161894.6A Expired - Fee Related CN106997459B (zh) | 2017-04-28 | 2017-04-28 | 一种基于神经网络和图像叠合分割的人数统计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106997459B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107742099A (zh) * | 2017-09-30 | 2018-02-27 | 四川云图睿视科技有限公司 | 一种基于全卷积网络的人群密度估计、人数统计的方法 |
| CN108509859B (zh) * | 2018-03-09 | 2022-08-26 | 南京邮电大学 | 一种基于深度神经网络的无重叠区域行人跟踪方法 |
| CN108960238B (zh) * | 2018-07-02 | 2020-10-27 | 百度在线网络技术（北京）有限公司 | 基于多摄像头的商品识别处理方法和装置 |
| US10832416B2 (en) | 2018-09-21 | 2020-11-10 | International Business Machines Corporation | Crowd flow rate estimation |
| CN109785337B (zh) * | 2018-12-25 | 2021-07-06 | 哈尔滨工程大学 | 一种基于实例分割算法的栏内哺乳动物清点方法 |
| CN111311772A (zh) * | 2019-08-19 | 2020-06-19 | 深圳市鸿合创新信息技术有限责任公司 | 一种考勤处理方法及装置、电子设备 |
| CN111652763A (zh) * | 2019-10-07 | 2020-09-11 | 蒋兴德 | 基于无线通信的参考平台及方法 |
| CN111680569B (zh) * | 2020-05-13 | 2024-04-19 | 北京中广上洋科技股份有限公司 | 基于图像分析的出勤率检测方法、装置、设备及存储介质 |
| CN118097121B (zh) * | 2024-04-18 | 2024-06-28 | 浙江双元科技股份有限公司 | 一种基于图像分割和深度学习的目标识别计数方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477641A (zh) * | 2009-01-07 | 2009-07-08 | 北京中星微电子有限公司 | 基于视频监控的人数统计方法和系统 |
| CN102831472A (zh) * | 2012-08-03 | 2012-12-19 | 无锡慧眼电子科技有限公司 | 一种基于视频流图像处理的人数统计方法 |
| CN103871082A (zh) * | 2014-03-31 | 2014-06-18 | 百年金海科技有限公司 | 一种基于安防视频图像的人流量统计方法 |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN105956632A (zh) * | 2016-05-20 | 2016-09-21 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN106203506A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于深度学习技术的行人检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8295545B2 (en) * | 2008-11-17 | 2012-10-23 | International Business Machines Corporation | System and method for model based people counting |
-
2017
- 2017-04-28 CN CN201710161894.6A patent/CN106997459B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477641A (zh) * | 2009-01-07 | 2009-07-08 | 北京中星微电子有限公司 | 基于视频监控的人数统计方法和系统 |
| CN102831472A (zh) * | 2012-08-03 | 2012-12-19 | 无锡慧眼电子科技有限公司 | 一种基于视频流图像处理的人数统计方法 |
| CN103871082A (zh) * | 2014-03-31 | 2014-06-18 | 百年金海科技有限公司 | 一种基于安防视频图像的人流量统计方法 |
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN105956632A (zh) * | 2016-05-20 | 2016-09-21 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| CN106203506A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于深度学习技术的行人检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Deep people counting with faster R-CNN and correlation tracking";Zhiqiang Li等;《proceedings of the International conference on Internet Multimedia Computing and Service》;20151231;第57-60页 * |
| "Single-image crowd counting via multi-column Convolutional neural network";Yingying Zhang等;《proceedings of the IEEE conference on computer vision and pattern recognition》;20161231;第589-597页 * |
| "基于卷积神经网路的监控视频人数统计算法";马海军等;《安徽大学学报（自然科学版）》;20160531;第40卷(第3期);第22-28页 * |
| "特征回归与检测结合的人数统计方法";周治平等;《计算机辅助设计与图形学学报》;20150331;第27卷(第3期);第426-430页第1-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106997459A (zh) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106997459B (zh) | 一种基于神经网络和图像叠合分割的人数统计方法及系统 | |
| Cui et al. | Automatic 3-D reconstruction of indoor environment with mobile laser scanning point clouds | |
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| CN102609934B (zh) | 一种基于深度图像的多目标分割和跟踪方法 | |
| CN101470809B (zh) | 一种基于扩展混合高斯模型的运动目标检测方法 | |
| CN111191570B (zh) | 图像识别方法和装置 | |
| CN110232379A (zh) | 一种车辆姿态检测方法及系统 | |
| CN104933710A (zh) | 基于监控视频下的商店人流轨迹智能分析方法 | |
| CN110796141A (zh) | 目标检测方法及相关设备 | |
| CN112464797B (zh) | 一种吸烟行为检测方法、装置、存储介质及电子设备 | |
| WO2020056914A1 (zh) | 人群热力图获得方法、装置、电子设备及可读存储介质 | |
| CN112990086A (zh) | 遥感影像建筑物检测方法、装置及计算机可读存储介质 | |
| CN102592128A (zh) | 一种动态图像检测处理方法、装置及显示终端 | |
| CN111401269A (zh) | 基于监控视频的商品热点检测方法、装置和设备 | |
| CN104463138A (zh) | 基于视觉结构属性的文本定位方法及系统 | |
| CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
| CN103646254A (zh) | 一种高密度行人检测方法 | |
| CN108961385A (zh) | 一种slam构图方法及装置 | |
| CN111444806B (zh) | 基于监控视频的商品触碰信息聚类方法、装置和设备 | |
| Wang et al. | A method for detecting windows from mobile LiDAR data | |
| CN105809699B (zh) | 一种基于图分割的车窗提取方法及系统 | |
| Mao et al. | A dataset and ensemble model for glass façade segmentation in oblique aerial images | |
| Hao et al. | Structure-based object detection from scene point clouds | |
| Liu et al. | PLDD: Point-lines distance distribution for detection of arbitrary triangles, regular polygons and circles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211123 Address after: 610000 room 830, floor 8, unit 3, building 2, No. 211 Wende Road, Chenghua District, Chengdu, Sichuan Patentee after: Guo Wensheng Address before: 610000 room 1, floor 23, unit 1, building 1, No. 508, East Section 2, Second Ring Road, Chenghua District, Chengdu, Sichuan Patentee before: CHENGDU AILIAN KECHUANG TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200626 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |