CN103366374B - 基于图像匹配的消防通道障碍物检测方法 - Google Patents
基于图像匹配的消防通道障碍物检测方法 Download PDFInfo
- Publication number
- CN103366374B CN103366374B CN201310293629.5A CN201310293629A CN103366374B CN 103366374 B CN103366374 B CN 103366374B CN 201310293629 A CN201310293629 A CN 201310293629A CN 103366374 B CN103366374 B CN 103366374B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- angle point
- matched
- template image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 230000004888 barrier function Effects 0.000 claims abstract description 41
- 230000008878 coupling Effects 0.000 claims abstract description 32
- 238000010168 coupling process Methods 0.000 claims abstract description 32
- 238000005859 coupling reaction Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 46
- 238000005286 illumination Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000000052 comparative effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000037361 pathway Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 230000013011 mating Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于图像匹配的消防通道障碍物检测方法，属于图像处理和智能安防领域。本发明采用固定摄像头，获取清空消防通道障碍物时的背景场景图像与实时监测场景图像，将背景场景图像作为匹配的模板图像，通过对模板图像与实时监测场景图像之间在指定区域内进行图像匹配，判断指定区域内是否存在障碍物，并予以报警。系统的适应性较广，可满足消防通道场景多变的需求；系统按一定时间间隔采集消防通道内指定监测区域的实时场景图像并进行匹配，既能保障系统能够实时检测到障碍物并予以报警，及时保障通道的畅通性，同时也降低了系统开销；另外基于特征的图像匹配用于消防通道障碍物检测，使得通道堵塞判定更加准确有效。
Description
技术领域
本发明涉及图像处理和智能安防领域，尤其涉及一种基于图像匹配的消防通道障碍物检测方法。
背景技术
消防通道是指在各种险情发生时，用于消防人员实施营救和被困人员疏散的通道。消防法规定任何单位和个人不得占用、堵塞、封闭消防通道。事实上，由于消防通道通常缺乏管理，导致各种垃圾，物品以及车辆等障碍物常常出现在消防通道中，堵塞消防通道，当险情发生时，将对人们的生命财产带来巨大危害。因此，对消防通道的障碍物进行检测就显得尤为重要。
传统的消防通道障碍物检测主要依靠人工安全检查，指定专门工作人员定期到特定消防通道查看消防通道是否堵塞，此种方法虽然简单易行，不需要依靠复杂设备，但是该方法的缺点一是不能及时发现消防通道是否堵塞，受人工检查的周期影响大；二是较大地依赖工作人员的专业素质和工作态度，主观性强。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于图像匹配的消防通道障碍物检测方法。
为了实现本发明的上述目的，本发明提供了一种基于图像匹配的消防通道障碍物检测方法，包括：
步骤1，在需要检测的通道架设摄像头，通过摄像头采集通道场景图像；
步骤2，摄像头检测通道系统部署过程中，保存背景模板图像形成背景模板图像集，并设置通道的重点检测区域；
步骤3，对背景模板图像集以及待匹配图像进行降噪预处理；
步骤4，计算每张背景模板图像集中的背景模板图像与待匹配图像的匹配度；
步骤5，计算待匹配图像与背景模板图像集的匹配度，根据背景模板图像集的匹配度与阈值的比较结果，判断当次检测待匹配图像中障碍物是否存在，障碍物存在则报警。
上述技术方案的有益效果为：本发明方法适应性较广，可满足消防通道场景多变的需求；系统按一定时间间隔采集消防通道内指定监测区域的实时场景图像并进行匹配，既能保障系统能够实时检测到障碍物并予以报警，及时保障通道的畅通性，同时也降低了系统开销；另外基于特征的图像匹配用于消防通道障碍物检测，使得通道堵塞判定更加准确有效。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，所述步骤1包括：
步骤1-1，各通道口架设固定的摄像头，所述架设的摄像头之间相互连接形成摄像头检测系统，所述摄像头拍摄对象为通道主体部分。
上述技术方案的有益效果为：架设的摄像头之间相互连接形成摄像头检测系统，能够有效的对检测通道进行实时检测，对于可能存在的障碍物能够及时的发现并采取报警措施，防止消防通道被障碍物占用，降低人员逃生所存在的潜在危险。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，所述步骤2包括：
步骤2-1，所述摄像头部署阶段，获取不含障碍物的通道背景模板图像，保存所述背景模板图像生成背景模板图像集；
步骤2-2，所述摄像头对其所检测的通道实时获取待匹配图像。
上述技术方案的有益效果为：所述摄像头不仅用于采集通道实时获取待匹配图像，而且在摄像头初始化状态时，获取初始的不含障碍物的通道背景模板图像。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，所述步骤2-1包括：
步骤2-3，通过摄像头获取多种光照背景下的背景模板图像进行后续联合匹配来减弱光照变化对图像匹配结果的干扰；
步骤2-4，所述摄像头重点检测区域的设置采用人工描点的方法，降低摄像头检测系统的复杂性，提高检测重点区域的准确性，人工描点即指定用户根据通道要求对背景模板图像指定的通道区域使用鼠标标定或坐标输入的方法进行边界点描点，边界点圈定的重点检测区域即为背景模板图像中的指定检测区域，该人工描点操作只在摄像头检测系统部署的最初过程中，在日常检测工作时并不会重复进行；
步骤2-5，人工描点后，获得重点检测区域的边界点序列PSeq的坐标集，所述边界点序列PSeq的坐标集中点的个数为10-20之间的整数。
上述技术方案的有益效果为：由于通常消防通道场景变化丰富，对实时场景的匹配存在一个重要的干扰因素即光照影响。图像识别的算法中对于光照变化的影响提出了多种措施，但是一直没办法消除光照对匹配效果的影响。本发明中为了提高系统的稳定性，采用多种光照背景下的模板图像进行联合匹配的方式来减弱光照变化对匹配结果的干扰。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，包括：
步骤3-1，在进行图像匹配之前需要对摄像头获取的待匹配图像，及背景模板图像集进行预处理，采用中值滤波器进行去噪处理，提高图像匹配的效果。
上述技术方案的有益效果为：进行降噪处理，主要为去除图像中的噪声，采用现有的中值滤波器进行去噪处理，提高图像匹配的效果。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，所述步骤4包括：
步骤4-1，分别对每个背景模板图像同待匹配图像进行匹配，在背景模板图像和待匹配图像的重点检测区域中进行特征点的提取；
步骤4-2，采用对光照变化具有抗干扰性的Harris角点作为特征点，该类特征点是有灰度图像的二阶导数计算而来，通常存在于图像中像素邻域内出现多个方向上的灰度变化的像素点上，因此能够很好的表示图像中的灰度值的变化范围，而光照变化对图像灰度值的影响在邻域范围内通常很小，因此Harris角点对光照具有稳定性；
步骤4-3，获得的重点检测区域的边界点序列PSeq的坐标集，在背景模板图像和待匹配图像中生成mask区域，在背景模板图像和待匹配图像中的mask区域中分别提取出背景角点集BackCornerSet和测试角点集TestCornerSet，其中背景角点集BackCornerSet中有Nb个角点，而测试角点集TestCornerSet中有Nt个角点，所述Nb、Nt为正整数；所述背景角点集BackCornerSet和测试角点集TestCornerSet中包含各个角点的坐标，用于对各角点在图像中进行定位；
步骤4-4，对背景模板图像和待匹配图像中的各个角点进行特征描述符的提取，采用以特征点所在像素点为中心的15×15大小的邻域，能够很好地涵盖特征点与影响较大的相邻像素点；对邻域内的像素点计算一阶梯度构成的向量作为特征点的特征描述符，一阶梯度能够减弱光照影响，使得该特征描述符对于光照有稳定性，部署过程结束后，图像匹配的场景便固定了，因此指定区域内的背景通常不会出现较为明显的旋转和尺度变化，因此一阶梯度作为特征描述符基本能够满足要求，针对根据背景角点集BackCornerSet和测试角点集TestCornerSet中各角点的坐标分别在背景模板图像和待匹配图像中定位出各个角点，并根据各角点的邻域可计算得到背景模板图像和待匹配图像的背景特征描述符集BackDescriptorSet和测试特征描述符集TestDescriptorSet；
步骤4-5，对背景模板图像和待匹配图像中提取出的特征描述符集进行匹配，匹配过程中，采用欧式距离来计算两个特征描述符之间的相似度，其中A为BackCornerSet中的任意一角点，B为TestCornerSet中的任意一角点，计算A到B1、B2、…、BNt各角点对应的特征描述符的相似度，选出相似度最大的角点Bj，其中j的可能取值为1到Nt之中任意整数，则A角点至Bj角点单向匹配；计算B到A1、A2、…、ANb各角点对应的特征描述符的相似度，选出相似度最大的角点Aj，其中j的可能取值为1到Nb之中任意整数，则B角点至Aj角点单向匹配，当且仅当A角点至B角点单向匹配的同时B角点至A角点也单向匹配的时候，A角点和B角点匹配，则A角点与B角点为一个匹配对，对BackCornerSet和TestCornerSet中角点进行匹配后，得到包含Q个匹配成功的匹配集MatchPairs；
步骤4-6，匹配成功的匹配集MatchPairs中存在有同一角点同时匹配多个角点的情况，同时也存在误匹配的角点，因此需要对匹配成功的匹配集MatchPairs进行修正，计算匹配成功的匹配集MatchPairs中各匹配对的两个角点的相对位移，如果位移偏差大于阈值Δs，则认为该匹配对为误匹配对；
步骤4-7，对匹配成功的匹配集MatchPairs中的误匹配对进行删除操作，完成MatchPairs的修正，修正后的MatchPairs中含有Q*个匹配对，则该背景模板图像与待匹配图像间的匹配度Sim为Q*/Nt，Nt不变的情况下匹配对越多，则匹配度Sim的值越大，说明该背景模板图像与待匹配图像越相似。
上述技术方案的有益效果为：考虑到消防通道场景中光线问题，本发明采用对光照变化具有一定抗干扰性的Harris角点作为特征点，Harris角点对光照具有一定的稳定性，对邻域内的像素点计算一阶梯度构成的向量作为特征点的特征描述符，一阶梯度能够减弱光照影响，使得该特征描述符对于光照也有一定的稳定性。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，所述步骤5包括：
步骤5-1，获得背景模板图像集与待匹配图像间的匹配结果Simresult，分别计算待匹配图像与背景模板图像集中的各背景模板图像之后，获得多个匹配度，对各个匹配度进行降序排序，具有最大值的匹配度Simmax说明待匹配图像与背景模板图像集的匹配度，将该最大值的匹配度Simmax作为最终背景模板图像集与待匹配图像间的匹配结果Simresult，当匹配结果Simresult大于障碍物检测的阈值λ时，则认为待匹配图像与背景模板图像集相似，则待匹配图像中无障碍物存在，当匹配结果Simresult小于障碍物检测的阈值λ时，则认为待匹配图像与背景模板图像集不相似，则待匹配图像中有障碍物存在，进行报警。
上述技术方案的有益效果为：根据步骤4分别计算待匹配图像与背景模板图像集中的各背景模板图像，获得多个匹配度，对各个匹配度进行降序排序，当匹配结果大于障碍物检测的阈值λ时，则认为待匹配图像与背景模板图像集相似，则待匹配图像中无障碍物存在，反之则存在。
所述的基于图像匹配的消防通道障碍物检测方法，优选的，所述步骤5-1包括：
步骤5-2，为了防止将消防通道中经过的物体误判为堵塞通道的障碍物，因此需要进行多次检测；
步骤5-3，当检测到障碍物存在时则保留检测结果，当一定时间间歇Δt后再自动进行一次检测，其中Δt的设置需要根据检测通道需求来设定，1/Δt即障碍物检测的频率，如果依然检测出障碍物存在则认为障碍物确实存在，并予以报警；
步骤5-4，报警完毕需要清除检测结果，防止干扰下次判断。
上述技术方案的有益效果为：首先通过部署在消防通道的语音播报系统现场警示障碍物限时离开或者被搬移，同时给消防通道的管理单位人员短信报警，然后将被占用的消防通道的实时场景图像上传至管理系统，作为责任追诉依据。
综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明方法适应性较广，可满足消防通道场景多变的需求；系统按一定时间间隔采集消防通道内指定监测区域的实时场景图像并进行匹配，既能保障系统能够实时检测到障碍物并予以报警，及时保障通道的畅通性，同时也降低了系统开销；另外基于特征的图像匹配用于消防通道障碍物检测，使得通道堵塞判定更加准确有效。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明基于匹配的消防通道障碍物检测方法的摄像头部署中的部署流程；
图2是本发明基于匹配的消防通道障碍物检测方法的实时检测中的图像匹配流程图；
图3是本发明基于图像匹配的消防通道障碍物检测方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
依靠对消防通道安装摄像头，通过摄像头采集通道场景图像，利用图像处理技术来进行对障碍物的自动检测。由于在固定场景下障碍物的存在将对采集的图像内容产生较大的影响，因此可以利用图像匹配技术来实现障碍物的检测。
图像匹配技术是图像处理中的一个重要分支，它利用一些特定的图像处理方法在两幅或多幅图像之间实现局部或全局的匹配，在图像分析、目标识别、运动目标检测和跟踪等领域均有广泛应用。图像匹配主要有基于全局图像信息、基于局部特征和基于变换域等几大类。其中基于局部特征的图像匹配方法是目前运用最为广泛的图像匹配方法。它的原理便是利用图像处理的方法提取出图像中的兴趣点集，通常这些点集为孤立的点或者连续的曲线或者连续的区域，可以表征图像的特定属性。这样对图像全局的匹配转换为对部分特征点的匹配，且提取出的特征点通常对光照、图像平移、图像旋转及尺度变化均具有一定的稳定性，这使得基于局部特征的图像匹配方法在实际应用中具有良好的适应性、稳定性及卓越的成效。使用基于特征点的图像匹配方法进行消防通道监测不仅能够提高监测的可靠性，更能保障系统监测满足实时性地需求，能够及时发现障碍物并进行报警。
由此可见，目前的消防通道堵塞检测需要一种可操作性强、稳定性高，实时性良好的障碍物检测技术，而将已经成熟的图像匹配技术应用到消防通道检测中就能获得良好的检测效果。
如图1所示，本发明公开一种基于图像匹配的消防通道障碍物检测方法，包括：
步骤1(S1)，在需要检测的通道架设摄像头，通过摄像头采集通道场景图像；
步骤2(S2)，摄像头检测通道系统部署过程中，保存背景模板图像形成背景模板图像集，并设置通道的重点检测区域；
步骤3(S3)，对背景模板图像集以及待匹配图像进行降噪预处理；
步骤4(S4)，计算每张背景模板图像集中的背景模板图像与待匹配图像的匹配度；
步骤5(S5)，计算待匹配图像与背景模板图像集的匹配度，根据背景模板图像集的匹配度与阈值的比较结果，判断当次检测待匹配图像中障碍物是否存在，障碍物存在则报警。
本发明针对消防通道这一特定场景能够实现障碍物检测，同时对场景进行扩展，也能够用于与消防通道类似的通道或场所进行障碍物检测。
工作流程图如图3所示。
该基于图像匹配的消防通道障碍物检测方法由以下具体步骤组成：
S1、系统部署时于各消防通道口架设固定的摄像头，拍摄对象为消防通道口主体部分，保障能够将尽可能多的通道障碍物纳入检测范围。摄像头主要作用包含两项，一是部署过程中获取背景模板图像（即不含障碍物的消防通道口背景图像），二是监测过程中实时获取监测图像。
S2、系统部署的过程中包含系统部署，其中主要为背景模板图像的获取、保存及监测区域的设置。
由于通常消防通道场景变化丰富，对实时场景的匹配存在一个重要的干扰因素即光照影响。图像识别的算法中对于光照变化的影响提出了多种措施，但是一直没办法消除光照对匹配效果的影响。本发明中为了提高系统的稳定性，采用多种光照背景下的模板图像进行联合匹配的方式来减弱光照变化对匹配结果的干扰。因此系统部署过程中需要获取多张具有明显光照区别的背景模板图像用于后续匹配。
通常通道监测的重点区域为摄像头拍摄场景中的一部分，只有该区域内的场景中出现障碍物才能说明通道中含有障碍物，而该区域外的场景中出现其他物体应该不予以关注。而实际监测的消防通道场景变化丰富，每个场景中指定的监测区域也各不相同，因此在部署好摄像头和终端后进行系统部署时，需要对监测区域进行设定。由于每部摄像头监测的场景是固定的，因此监测区域的设定在最初设定后一般不会再作调整。本发明对监测区域的设置则采用人工描点的方法，降低系统的复杂性，提高区域设定的准确性。人工描点即指定工作人员根据场景要求在平台上对背景图像指定的区域使用鼠标标定或坐标输入的方法进行边界点描点，边界点圈定的区域即为图像中的指定监测区域。由于该人工描点操作只存在于系统部署的过程中，在系统的日常检测工作时并不会重复进行，因此并不会降低系统的工作效率。使用摄像头获取清空通道的背景模板图像，在该背景模板图像中进行人工描点，获得指定监测区域的边界点序列PSeq的坐标集。边界点的个数太少，则区域划定较粗糙，将会影响对监测区域的覆盖，而边界点过多，将会导致部署过程过于繁琐，因此合理的边界点个数应该在10-20范围内。
因此系统的部署过程将会为后续的步骤提供消防通道的背景模板图像集及指定监测区域的边界点序列PSeq。
S3、在进行图像匹配之前需要对摄像头获取的实时图像（待匹配图像）及背景模板图像进行预处理，主要为去除图像中的噪声，采用现有的中值滤波器进行去噪处理，提高图像匹配的效果。
S4、多背景模板的图像匹配分为两步，首先分别对每个背景模板图像同待匹配图像进行匹配，其次根据同多张背景模板图像匹配的结果综合判断待匹配图像中是否存在障碍物，背景模板图像的数量取5张左右，可根据通道场景的变化进行调整，数量过高降低系统效率，数量过低则会造成系统误判率升高。
如图2所示单张背景模板图像同待匹配图像之间的匹配主要包括如下过程：
首先需要在背景模板图像和待匹配图像的指定区域中进行特征点的提取。考虑到消防通道场景中光线问题，本发明采用对光照变化具有一定抗干扰性的Harris角点作为特征点，该类特征点是有灰度图像的二阶导数计算而来，通常存在于图像中像素邻域内出现多个方向上的灰度变化的像素点上，因此能够很好的表示图像中的灰度值的变化范围，而光照变化对图像灰度值的影响在邻域范围内通常很小，因此Harris角点对光照具有一定的稳定性。图像中像素点x的邻域指的是以x为中心，上下左右相邻的若干的像素组成的像素集。根据S2中获得的指定区域的边界点序列PSeq，在背景模板图像和待匹配图像中生成mask区域（即边界点包围的区域）。在背景模板图像和待匹配图像中的mask区域中分别提取出角点集BackCornerSet（背景角点集）和TestCornerSet（测试角点集）。其中BackCornerSet中有Nb个角点，而TestCornerSet中有Nt个角点。角点的个数根据图像内容不同会有较大变化，因此暂用Nb和Nt表示。角点集中包含各个角点的坐标，用于对各角点在图像中进行定位。
其次需要对背景模板图像和待匹配图像中的各个角点进行特征描述符的提取。所谓特征描述符是指对各个特征点所在像素点的特性进行描述的属性。各像素点最基本的属性是灰度值，但使用灰度值作为特征描述符不仅表示过于简单，而且忽略了该像素点同相邻像素点的关系，使得它并不能有效的表示特征的属性。通常采用特征点所在像素点的邻域内的特性来作为特征描述符。本发明采用以特征点所在像素点为中心的15×15大小的邻域，能够很好地涵盖特征点与影响较大的相邻像素点。对邻域内的像素点计算一阶梯度构成的向量作为特征点的特征描述符，一阶梯度能够减弱光照影响，使得该特征描述符对于光照也有一定的稳定性。部署过程结束后，图像匹配的场景便固定了，因此指定区域内的背景通常不会出现较为明显的旋转和尺度变化，因此一阶梯度作为特征描述符基本能够满足要求。针对的是根据角点集BackCornerSet和TestCornerSet中各角点的坐标分别在背景模板图像和待匹配图像中定位出各个角点，并根据各角点的邻域可计算得到背景模板图像和待匹配图像的特征描述符集BackDescriptorSet（背景特征描述符集）和TestDescriptorSet（测试特征描述符集）。
然后对背景模板图像和待匹配图像中提取出的特征描述符集进行匹配。匹配过程中，本发明采用欧式距离来计算两个特征描述符之间的相似度。对BackCornerSet和假设A为BackCornerSet中的任意一角点，B为TestCornerSet中的任意一角点，计算A到B1、B2、…、BNt各角点对应的特征描述符的相似度，选出相似度最大的角点Bj（j的可能取值为1到Nt之中任意整数），则A角点至Bj角点单向匹配；计算B到A1、A2、…、ANb各角点对应的特征描述符的相似度，选出相似度最大的角点Aj（j的可能取值为1到Nb之中任意整数），则B角点至Aj角点单向匹配。当且仅当A角点至B角点单向匹配的同时B角点至A角点也单向匹配的时候，A角点和B角点匹配，则A角点与B角点为一个匹配对。对BackCornerSet和TestCornerSet中角点进行匹配后，得到包含Q个匹配成功的匹配集MatchPairs。
最后需要对匹配对进行修正。匹配成功的匹配集MatchPairs中可能存在有同一角点同时匹配上多个角点的情况，同时也可能存在误匹配的焦点对，因此我们需要对MatchPairs进行修正。由于摄像头固定的情况下，获取的图像中指定区域内的背景内容不会发生较大变化，因此可以认为背景模板图像中的检测到的角点与在待匹配图像中的相应位置的匹配的角点之间的相对位移应该很小。基于这个原理，计算MatchPairs中各匹配对的两个角点的相对位移，如果位移偏差大于阈值Δs，则认为该匹配对为误匹配对。Δs的阈值可以设为5个像素（以适应物理环境的变化如摄像头抖动造成的图像内容偏移）。
对MatchPairs中的误匹配对进行删除操作，完成MatchPairs的修正。修正后的MatchPairs中含有Q*个匹配对。
则该背景模板图像与待匹配图像间的匹配度Sim为Q*/Nt，Nt不变的情况下匹配对越多，则Sim（匹配度）的值越大，说明该背景模板图像与待匹配图像越相似。
S5、获得背景模板图像集与待匹配图像间的匹配结果Simresult并触发报警。根据S4中的步骤分别计算待匹配图像与背景模板图像集中的各背景模板图像，获得多个匹配度，对各个匹配度进行降序排序，具有最大值的匹配度Simmax说明待匹配图像与背景模板图像集的匹配度，将该最大值得匹配度Simmax作为最终背景模板图像集与待匹配图像间的匹配结果Simresult。当匹配结果Simresult大于障碍物检测的阈值λ时，则认为待匹配图像与背景模板图像集相似，则待匹配图像中无障碍物存在，反之则存在。
为了防止将消防通道中经过的物体误判为堵塞通道的障碍物，因此需要进行多次检测。当检测到障碍物存在时则保留检测结果，当一定时间间歇Δt后再自动进行一次检测，如果依然检测出障碍物存在则认为障碍物确实存在，并予以报警。报警过程中主要执行的是：首先通过部署在消防通道的语音播报系统现场警示障碍物限时离开或者被搬移，同时给消防通道的管理单位人员短信报警，然后将被占用的消防通道的实时场景图像上传至管理系统，作为责任追诉依据。Δt的设置需要根据场景需求来设定，1/Δt即障碍物检测的频率。报警完毕需要清除检测结果，防止干扰下次判断。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种基于图像匹配的消防通道障碍物检测方法，其特征在于，包括：
步骤1，在需要检测的通道架设摄像头，通过摄像头采集通道场景图像；
步骤2，摄像头检测通道系统部署过程中，保存背景模板图像形成背景模板图像集，并设置通道的重点检测区域；
步骤3，对背景模板图像集以及待匹配图像进行降噪预处理；
步骤4，计算背景模板图像集中的每张背景模板图像与待匹配图像的匹配度；
步骤5，计算待匹配图像与背景模板图像集的匹配结果，根据所述的匹配结果与阈值的比较结果，判断当次检测待匹配图像中障碍物是否存在，障碍物存在则报警；
步骤5-1，获得背景模板图像集与待匹配图像间的匹配结果Simresult，分别获取待匹配图像与背景模板图像集中的各背景模板图像之后，获得多个匹配度，对各个匹配度进行降序排序，将最大值的匹配度Simmax作为最终背景模板图像集与待匹配图像间的匹配结果Simresult，当匹配结果Simresult大于障碍物检测的阈值λ时，则认为待匹配图像与背景模板图像集相似，则待匹配图像中无障碍物存在，当匹配结果Simresult小于障碍物检测的阈值λ时，则认为待匹配图像与背景模板图像集不相似，则待匹配图像中有障碍物存在，进行报警。
2.根据权利要求1所述的基于图像匹配的消防通道障碍物检测方法，其特征在于，所述步骤1包括：
步骤1-1，各通道口架设固定的摄像头，所述架设的摄像头之间相互连接形成摄像头检测通道系统，所述摄像头的拍摄对象为通道主体部分。
3.根据权利要求1所述的基于图像匹配的消防通道障碍物检测方法，其特征在于，所述步骤2包括：
步骤2-1，所述摄像头检测通道系统部署过程中，获取不含障碍物的通道背景模板图像，保存所述背景模板图像生成背景模板图像集；
步骤2-2，所述摄像头对其所检测的通道实时获取待匹配图像。
4.根据权利要求3所述的基于图像匹配的消防通道障碍物检测方法，其特征在于，所述步骤2-1包括：
步骤2-1-1，通过摄像头获取多种光照背景下的背景模板图像进行后续联合匹配来减弱光照变化对图像匹配结果的干扰；
步骤2-1-2，所述摄像头的重点检测区域的设置采用人工描点的方法，降低摄像头检测通道系统的复杂性，提高重点检测区域的准确性，人工描点即指定用户根据通道要求对背景模板图像指定的通道区域使用鼠标标定或坐标输入的方法进行边界点描点，边界点圈定的重点检测区域即为背景模板图像中的指定检测区域，该人工描点操作只在摄像头检测通道系统部署的最初过程中，在日常检测工作时并不会重复进行；
步骤2-1-3，人工描点后，获得重点检测区域的边界点序列PSeq的坐标集，所述边界点序列PSeq的坐标集中点的个数为10-20之间的整数。
5.根据权利要求1或3所述的基于图像匹配的消防通道障碍物检测方法，其特征在于，包括：
步骤3-1，在进行图像匹配之前需要对摄像头获取的待匹配图像，及背景模板图像集进行预处理，采用中值滤波器进行去噪处理，提高图像匹配的效果。
6.根据权利要求4所述的基于图像匹配的消防通道障碍物检测方法，其特征在于，所述步骤4包括：
步骤4-1，分别对每个背景模板图像同待匹配图像进行匹配，在背景模板图像和待匹配图像的重点检测区域中进行特征点的提取；
步骤4-2，采用对光照变化具有抗干扰性的Harris角点作为特征点，该特征点是由灰度图像的二阶导数计算而来，该特征点存在于图像中像素邻域内出现多个方向上的灰度变化的像素点上；
步骤4-3，获得的重点检测区域的边界点序列PSeq的坐标集，在背景模板图像和待匹配图像中生成mask区域，在背景模板图像和待匹配图像中的mask区域中分别提取出背景角点集BackCornerSet和测试角点集TestCornerSet，其中背景角点集BackCornerSet中有Nb个角点，而测试角点集TestCornerSet中有Nt个角点，所述Nb、Nt为正整数；所述背景角点集BackCornerSet和测试角点集TestCornerSet中包含各个角点的坐标，用于对各角点在图像中进行定位；
步骤4-4，对背景模板图像和待匹配图像中的各个角点进行特征描述符的提取，采用以特征点所在像素点为中心的15×15大小的邻域，对邻域内的像素点计算一阶梯度构成的向量作为特征点的特征描述符，一阶梯度能够减弱光照影响，使得该特征描述符对于光照有稳定性，部署过程结束后，图像匹配的场景便固定了，针对根据背景角点集BackCornerSet和测试角点集TestCornerSet中各角点的坐标分别在背景模板图像和待匹配图像中定位出各个角点，并根据各角点的邻域计算得到背景模板图像和待匹配图像的背景特征描述符集BackDescriptorSet和测试特征描述符集TestDescriptorSet；
步骤4-5，对背景模板图像和待匹配图像中提取出的特征描述符集进行匹配，匹配过程中，采用欧式距离来计算两个特征描述符之间的相似度，其中A为BackCornerSet中的任意一角点，B为TestCornerSet中的任意一角点，计算A到B1、B2、…、BNt各角点对应的特征描述符的相似度，选出相似度最大的角点Bj，其中j的取值为1到Nt之中任意整数，则A角点至Bj角点单向匹配；计算B到A1、A2、…、ANb各角点对应的特征描述符的相似度，选出相似度最大的角点Aj，其中j的取值为1到Nb之中任意整数，则B角点至Aj角点单向匹配，当且仅当A角点至B角点单向匹配的同时B角点至A角点也单向匹配的时候，A角点和B角点匹配，则A角点与B角点为一个匹配对，对BackCornerSet和TestCornerSet中角点进行匹配后，得到包含Q个匹配成功的匹配集MatchPairs；
步骤4-6，匹配成功的匹配集MatchPairs中存在有同一角点同时匹配多个角点的情况，同时也存在误匹配的角点，因此需要对匹配成功的匹配集MatchPairs进行修正，计算匹配成功的匹配集MatchPairs中各匹配对的两个角点的相对位移，如果位移偏差大于阈值Δs，则认为该匹配对为误匹配对；
步骤4-7，对匹配成功的匹配集MatchPairs中的误匹配对进行删除操作，完成MatchPairs的修正，修正后的MatchPairs中含有Q*个匹配对，则该背景模板图像与待匹配图像间的匹配度Sim为Q*/Nt，Nt不变的情况下匹配对越多，则匹配度Sim的值越大，说明该背景模板图像与待匹配图像越相似。
7.根据权利要求1所述的基于图像匹配的消防通道障碍物检测方法，其特征在于，所述步骤5-1包括：
步骤5-1-1，为了防止将消防通道中经过的物体误判为堵塞通道的障碍物，因此需要进行多次检测；
步骤5-1-2，当检测到障碍物存在时则保留检测结果，当一定时间间歇Δt后再自动进行一次检测，其中Δt的设置需要根据检测通道需求来设定，1/Δt即障碍物检测的频率，如果依然检测出障碍物存在则认为障碍物确实存在，并予以报警；
步骤5-1-3，报警完毕需要清除检测结果，防止干扰下次判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310293629.5A CN103366374B (zh) | 2013-07-12 | 2013-07-12 | 基于图像匹配的消防通道障碍物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310293629.5A CN103366374B (zh) | 2013-07-12 | 2013-07-12 | 基于图像匹配的消防通道障碍物检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103366374A CN103366374A (zh) | 2013-10-23 |
| CN103366374B true CN103366374B (zh) | 2016-04-20 |
Family
ID=49367642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310293629.5A Expired - Fee Related CN103366374B (zh) | 2013-07-12 | 2013-07-12 | 基于图像匹配的消防通道障碍物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103366374B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103550892B (zh) * | 2013-10-26 | 2016-04-13 | 温州新高原物联网科技有限公司 | 基于物联网的消防监管系统 |
| CN103957387B (zh) * | 2014-05-09 | 2019-11-22 | 江苏万友消防安全远程监控系统有限公司 | 一种安防通道杂物检测方法及检测系统 |
| CN104036490B (zh) * | 2014-05-13 | 2017-03-29 | 重庆大学 | 适用于移动通信网络传输中的前景分割方法 |
| CN104135609B (zh) * | 2014-06-27 | 2018-02-23 | 小米科技有限责任公司 | 辅助拍照方法、装置及终端 |
| CN104179372B (zh) * | 2014-09-11 | 2016-08-24 | 中衡设计集团股份有限公司 | 判定下沉式广场是否满足消防设计大小要求的简易方法 |
| CN104713576B (zh) * | 2015-03-25 | 2017-11-07 | 中测高科（北京）测绘工程技术有限责任公司 | 基于多张相片的相机自标定方法及其装置 |
| CN104732719A (zh) * | 2015-03-31 | 2015-06-24 | 公安部上海消防研究所 | 一种消防通道视频智能监控网络 |
| CN107273887A (zh) * | 2017-07-21 | 2017-10-20 | 顺丰科技有限公司 | 用于识别图像中手写文字的方法、系统及其设备 |
| CN109996170B (zh) * | 2017-12-29 | 2021-08-17 | 杭州海康威视系统技术有限公司 | 一种室内路线生成方法、装置及系统 |
| CN108376406A (zh) * | 2018-01-09 | 2018-08-07 | 公安部上海消防研究所 | 一种用于通道堵塞判别的动态递归建模和融合跟踪方法 |
| CN109241896B (zh) * | 2018-08-28 | 2022-08-23 | 腾讯数码（天津）有限公司 | 一种通道安全检测方法、装置及电子设备 |
| CN109068278B (zh) * | 2018-08-31 | 2023-02-28 | 平安科技（深圳）有限公司 | 室内避障方法、装置、计算机设备及存储介质 |
| CN109409238B (zh) * | 2018-09-28 | 2020-05-19 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
| CN110136115B (zh) * | 2019-05-14 | 2022-11-08 | 重庆大学 | Ivoct图像易损斑块自动检测神经网络集成方法 |
| CN110255318B (zh) * | 2019-06-03 | 2021-03-09 | 浙江新再灵科技股份有限公司 | 基于图像语义分割的电梯轿厢闲置物品检测的方法 |
| CN110363950B (zh) * | 2019-08-06 | 2021-01-15 | 北京数雨如歌智能科技有限公司 | 一种智能消防分级管控系统 |
| CN110927731B (zh) * | 2019-11-15 | 2021-12-17 | 深圳市镭神智能系统有限公司 | 一种立体防护方法、三维检测装置和计算机可读存储介质 |
| CN111076726B (zh) * | 2019-12-31 | 2022-06-21 | 深圳供电局有限公司 | 巡检机器人视觉辅助避障方法及其装置、设备和存储介质 |
| CN111311923A (zh) * | 2020-03-05 | 2020-06-19 | 浙江长元科技有限公司 | 一种消防通道的监管方法及监管系统 |
| CN113469201A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 图像采集设备偏移检测方法、图像匹配方法、系统和设备 |
| CN111738127B (zh) * | 2020-06-17 | 2023-08-25 | 安徽淘云科技股份有限公司 | 实体书就位检测方法、装置、电子设备和存储介质 |
| CN111723767B (zh) * | 2020-06-29 | 2023-08-08 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及计算机存储介质 |
| CN111957040B (zh) * | 2020-09-07 | 2024-02-23 | 网易（杭州）网络有限公司 | 遮挡位置的检测方法、装置、处理器及电子装置 |
| CN112052821B (zh) * | 2020-09-15 | 2023-07-07 | 浙江智慧视频安防创新中心有限公司 | 消防通道安全检测方法、装置、设备及存储介质 |
| CN112132043B (zh) * | 2020-09-24 | 2021-06-29 | 南京安元科技有限公司 | 基于监控视频的消防通道占用自适应检测方法 |
| CN112668423B (zh) * | 2020-12-18 | 2024-05-28 | 平安科技（深圳）有限公司 | 楼道杂物检测方法、装置、终端设备及存储介质 |
| CN112784771B (zh) * | 2021-01-27 | 2022-09-30 | 浙江芯昇电子技术有限公司 | 人形检测方法、系统和监控设备 |
| CN112989930A (zh) * | 2021-02-04 | 2021-06-18 | 西安美格智联软件科技有限公司 | 一种自动监测消防通道堵塞的方法、系统、介质、终端 |
| CN113158928B (zh) * | 2021-04-27 | 2023-09-19 | 浙江云奕科技有限公司 | 一种基于图像识别的混凝土试块防造假方法 |
| CN113421431B (zh) * | 2021-06-17 | 2022-12-02 | 京东方科技集团股份有限公司 | 应急通道监测方法及装置 |
| CN113627412A (zh) * | 2021-08-02 | 2021-11-09 | 北京百度网讯科技有限公司 | 目标区域的检测方法、装置、电子设备和介质 |
| CN113642453A (zh) * | 2021-08-11 | 2021-11-12 | 北京京东乾石科技有限公司 | 障碍物的检测方法、装置和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101227539A (zh) * | 2007-01-18 | 2008-07-23 | 联想移动通信科技有限公司 | 导盲手机及导盲方法 |
| CN102313536A (zh) * | 2011-07-21 | 2012-01-11 | 清华大学 | 基于机载双目视觉的障碍物感知方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6801244B2 (en) * | 2000-02-29 | 2004-10-05 | Kabushiki Kaisha Toshiba | Obstacle detection apparatus and method |
-
2013
- 2013-07-12 CN CN201310293629.5A patent/CN103366374B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101227539A (zh) * | 2007-01-18 | 2008-07-23 | 联想移动通信科技有限公司 | 导盲手机及导盲方法 |
| CN102313536A (zh) * | 2011-07-21 | 2012-01-11 | 清华大学 | 基于机载双目视觉的障碍物感知方法 |
Non-Patent Citations (2)
| Title |
|---|
| Fast Computing Scheme for AGV Obstacle Distance Measure and Road Recognition;Tian-Ding Chen;《2010 International Conference on Advanced Measurement and Test》;20100515;第500-506页 * |
| 全局结构化ＳＩＦＴ描述子在图像匹配中的应用;唐朝伟等;《华中科技大学学报（自然科学版）》;20120207(第01期);第15-20页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103366374A (zh) | 2013-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103366374B (zh) | 基于图像匹配的消防通道障碍物检测方法 | |
| CN106447680B (zh) | 动态背景环境下雷达与视觉融合的目标检测与跟踪方法 | |
| CA2692424C (en) | System and process for detecting, tracking and counting human objects of interest | |
| CN101389004B (zh) | 一种基于在线学习的运动目标分类方法 | |
| Clode et al. | Detection and vectorization of roads from lidar data | |
| CN104408406A (zh) | 基于帧差法和减背景法的人员离岗检测方法 | |
| CN109635717A (zh) | 一种基于深度学习的矿用行人检测方法 | |
| CN104166836B (zh) | 一种基于多特征建模的分块多尺度工程车识别方法及系统 | |
| Wang et al. | Traffic camera anomaly detection | |
| CN109543498A (zh) | 一种基于多任务网络的车道线检测方法 | |
| Kröhnert et al. | Segmentation of environmental time lapse image sequences for the determination of shore lines captured by hand-held smartphone cameras | |
| Verma et al. | Analysis of moving object detection and tracking in video surveillance system | |
| Shafie et al. | Smart video surveillance system for vehicle detection and traffic flow control | |
| CN108961288A (zh) | 一种轨腰塞钉销及引线检测图像智能识别方法 | |
| CN103726739A (zh) | 一种电动折叠门的保护方法、保护系统及电动折叠门 | |
| Lin et al. | Segmentation-based ground points detection from mobile laser scanning point cloud | |
| CN113740847A (zh) | 基于人形目标识别的多雷达协同探测报警系统 | |
| Walter | Object-based classification of integrated multispectral and LIDAR data for change detection and quality control in urban areas | |
| CN103259964A (zh) | 视频动态目标捕捉的图像信号滤波方法 | |
| Hosseini et al. | Anomaly and tampering detection of cameras by providing details | |
| Varghese et al. | Building boundary tracing and regularization from LiDAR point cloud | |
| CN106595604B (zh) | 核电厂周界低空抛物检测方法、装置 | |
| Rottensteiner et al. | Detecting buildings and roof segments by combining LIDAR data and multispectral images | |
| CN109767455A (zh) | 一种基于sift特征点的无人机检测方法及系统 | |
| Birch et al. | Stationary traffic monitor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160420 |