CN113435418A

CN113435418A - 基于计算机视觉的电动自行车偷盗识别方法

Info

Publication number: CN113435418A
Application number: CN202110985004.XA
Authority: CN
Inventors: 戴鹏程; 戴鹏飞
Original assignee: Zhijian Technology Jiangsu Co ltd
Current assignee: Zhijian Technology Jiangsu Co ltd
Priority date: 2021-08-26
Filing date: 2021-08-26
Publication date: 2021-09-24

Abstract

本发明属于计算机视觉中的目标检测、跟踪与识别技术领域。涉及一种基于计算机视觉的电动自行车偷盗识别方法，包括如下步骤：获取小区摄像头抓拍的历史图片数据集，选取部分图片标注行人人脸、人体和电动车信息作为训练样本，通过训练调整深度学习目标检测模型，采用在线识别和离线聚类相结合的方法，得到人车底库关联关系。实时摄像头中行人和电动车的数据和人车底库关联关系比对。借助于小区内布设的摄像头，对其抓拍的图片中的行人和电动车进行识别、匹配，若匹配不成功则报警提示，及时避免车主财产损失。该方法实现简单，且显著降低人力安保成本。

Description

基于计算机视觉的电动自行车偷盗识别方法

技术领域

本发明涉及一种基于计算机视觉的电动自行车偷盗识别方法，属于计算机视觉中的目标检测、跟踪与识别技术领域。

背景技术

电动自行车因其便捷、环保等优点已成为常用交通工具之一，但近年来频发的偷盗事件给车主带来了较大的财产损失。一种方法是加装防盗锁具，但偷盗分子通过整车搬运，或者通过大力钳、液压钳等工具强行破坏。GPS定位防盗器破解不易，但信号强弱受金属遮盖物影响，且车主需付GPS流量费，成本较高。随着物联网的发展，RFID技术也应用到电动车防盗领域，但车主需要缴纳一些费用，包含一次性的硬件安装费，以及每年的保险费和系统运营费等，车主积极性并不高。

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于计算机视觉的电动自行车偷盗识别方法，近年来深度学习迅猛发展，在图像识别、目标检测等计算机视觉领域展示了巨大的优势。本发明着重研究了一种基于计算机视觉的小区电动自行车偷盗识别方法。借助于小区内布设的摄像头，对其抓拍的图片中的行人和电动车进行识别、匹配，若匹配不成功则报警提示，及时避免车主财产损失。该方法实现简单，且显著降低人力安保成本。

技术方案：为实现上述发明目的，本发明采用以下技术方案：一种基于计算机视觉的电动自行车偷盗识别方法，包括如下步骤：

步骤1：获取小区摄像头抓拍的历史图片数据集；

步骤2：在步骤1中的历史图片数据集中选取部分图片标注行人人脸、人体和电动车信息作为训练样本，通过训练样本调整深度学习目标检测模型；

步骤3：用步骤2中得到的目标检测模型对步骤1中的历史图片数据集进行添加信息并检测，得到处理后数据；

步骤4：采用在线识别和离线聚类相结合的方法，将步骤3得到的处理后数据中的人脸、人体照片和电动车进行关联，得到人车底库关联关系；

步骤5：获取实时摄像头中行人和电动车的数据，并和步骤4中得到的人车底库关联关系比对；

步骤6：如步骤5中比对成功，则进行步骤9，如比对失败则进行步骤7；

步骤7：根据实时摄像头ID和时间戳判断所随同电动车的轨迹方向，如不进入小区则进行步骤8，进入小区则进行步骤9；

步骤8：报警提示可能正在发生偷盗行为；

步骤9：结束比对过程，如需持续检测，则跳转至步骤5，否则结束。

进一步的，步骤1中的历史图片数据集中图片名称包括有摄像头ID和时间戳。

进一步的，步骤2中训练样本为白天和夜里比例1:2，将剩余图片选择部分进行测试，若测试达不到要求，则增加训练样本数量重新训练检测模型。

进一步的，步骤4中关联指人脸与人体对应，生成行人身份ID；识别车的型号以及车牌，生成各车辆身份ID。

进一步的，将行人身份ID和各车辆身份ID进行关联，得到初始联系关系，当不同时段或不同日期内存在同一初始联系关系时，则将对应行人身份ID与该电动车进行关联，当同一时段的不同摄像头拍摄到同一初始联系关系，根据摄像头ID和时间戳对应行人身份ID，建立人车底库关联关系。

进一步的，初始联系关系生成的具体步骤为：先对人脸或人体图片进行在线识别分类，计算人脸检测框和人体检测框是否重合，如重合则将人脸和人体对应，形成初步关联，对靠前的图片通过在线识别来运算；离线时通过离线聚类，将每类人脸或人体图片先选取若干张，再从剩余的图片中按比例抽样选取若干张，将在线识别和离线聚类的数据进行融合处理。

进一步的，人脸和人体聚类过程为：当人体聚类结果分为两类而人脸聚类结果为一类时，将人体聚类结果合并，当人体聚类结果无关联的人脸聚类结果的则采用人体聚类结果，最后得到行人身份ID以及聚类处理结果。

进一步的，步骤5中人车底库关联关系比对的具体步骤为：将摄像头抓拍的图片进行实时检测，将检测的结果与人车底库关联关系进行在线识别比对，选取其中相似度最高的车辆身份ID作为实时检测到的车辆身份ID，并通过车辆身份ID查询是否与行人有关联关系，若有则比对成功，若无则比对失败。

有益效果：与现有技术相比，本发明具有以下优点：这是一种新式的基于计算机视觉的电动自行车偷盗识别方法，（1）防偷盗成功率高。传统的加装防盗锁方法，偷盗分子通过整车搬运，或者通过大力钳、液压钳等工具强行破坏锁具，不能根本上保证电动车的安全。基于计算机视觉的方法通过人车识别、匹配，可显著提高防偷盗成功率。且偷盗事件发生后，可快速锁定嫌疑人特征，便于警方破案。（2）经济成本低。相对于现有的GPS、RFID防偷盗方案，车主端无需安装任何软硬件设备，无需支付流量费用，只需服务端监控系统增加相应检测识别算法，成本更低。（3）扩展性强。本方法不涉及车主额外的硬件设备采购安装，且不同的小区可以复制同一套偷盗识别算法，扩展简单方便。

附图说明

图1是本发明的基于计算机时觉的电动车偷盗识别主流程图；

图2是本发明的人脸/人体聚类流程图；

图3是本发明的人脸/人体聚类结果示意图；

图4是本发明的人车匹配流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提出了一种基于计算机视觉的电动车偷盗识别方法。输入为摄像头抓拍的图片，若发生偷盗行为则报警提示。主要实现流程如图1所示。

具体实施方式如下：

a）检测抓拍图片中的行人和电动车

获取小区摄像头抓拍的历史图片数据集，图片名称中需包含摄像头ID、时间戳等信息。通过摄像头ID信息可以查询到摄像头在小区的安装位置。

选取一定数量的图片标注行人人脸、人体和电动车信息作为训练样本，微调深度学习目标检测模型，如Faster-RCNN，YOLOV5等。鉴于电动车偷盗事件一般发生在夜里，建议白天与夜里的样本比例约为1:2。从剩余图片数据集中选择若干样本进行测试，若测试结果达不到预设要求，则增加训练样本数量重新训练检测模型。

用训练好的模型对摄像头抓拍的历史图片数据集进行检测，对检测到的人脸、人体和电动车生成唯一的ID，该ID仍需包含摄像头ID、时间戳等信息，其格式为：FaceID_CameraID_TimeStamp_RelatedID，BodyID_CameraID_TimeStamp_RelatedID，BicycleID_CameraID_TimeStamp_RelatedID。RelatedID为关联信息，初始化时内容置为空，后续步骤中补充。

b）建立一人一档和一车一档

1）一人一档建模

由于物体遮挡或摄像头安装位置原因，摄像头并不一定能同时抓拍到行人的人脸或人体图片。通过人脸和人体信息互相补充，可提供更全面的行人信息。计算步骤a）中获取的人脸检测框与人体检测框是否重合，若重合则进行人脸和人体的初步关联，并在人脸与人体ID中体现关联信息，即在步骤a）中RelatedID字段填入关联的BodyID或FaceID。当无法关联时，RelatedID字段的内容仍未空。

采用在线识别和离线聚类相结合的方法，满足人脸与人体聚类的时效性和准确性。在线识别方法参与运算的图片是人脸/人体置信度排序靠前的若干张，满足实时聚类的需要。离线聚类时，每类人脸/人体图片先选取前若干张，再从剩余图片中按一定比例抽样选取若干张。这种策略充分利用了人脸/人体图片数据，同时也有效降低了参与聚类的人脸图片数量，提升了算法运行效率。

先对人脸图片和人体图片分别聚类，方法相同，主要流程如图2所示，聚类结果如图3所示。

目前人脸识别技术相对成熟，人体识别由于遮挡、姿态、配饰等原因，实现难度较大。因此，借助人脸识别聚类结果对人体聚类进行优化。具体规则：若人体聚类结果为两类，且其关联的人脸聚类结果为一类，则将人体聚类结果合并；若人体无相关联的人脸信息，则直接采用人体聚类结果。由此构建一人一档，并对每个人重新生成唯一的行人身份ID，类似身份证号。

2）一车一档建模

与子步骤1）中人脸/人体聚类方法相同，对步骤a）中检测到的电动车进行聚类。考虑到目前很多城市电动车都上了车牌，可利用OCR识别模型对车牌号进行识别，以此对电动车聚类结果进行优化。具体规则：若电动车图片聚类结果为两类，但其车牌号为同一个，则将电动车图片聚类结果合并；若由于车辆放置的角度或遮挡等原因无法检测到车牌，则直接采用电动车图片聚类结果。由此构建一车一档，并对每辆车重新生成唯一的车辆身份ID。

c）人车底库关联

对上述步骤中建立的一人一档和一车一档进行人车关联，具体方法如下：

1）计算步骤a）中每张图片的人脸/人体检测框与电动车检测框是否重合，若重合则对行人和电动车建立初始联系，即将步骤b）中生成的行人身份ID作为候选对象预分配给车辆身份ID。

2）若一天中的不同时段或不同日期内都存在同一初始联系，则将该行人与该电动车底库关联，即将行人身份ID正式分配给车辆身份ID。这里生成一个关联字典，字典的键为车辆身份ID，值为行人身份ID。需要说明的是，一辆电动车可以拥有多名使用者，如家庭多个家庭成员共享一辆车；也可以一名使用者拥有多个不同车辆的使用权，如家庭拥有两辆电动车，家庭成员之间可以混用。所以行人身份ID与车辆身份ID并不是一一对应关系。

3）若在同一时段由不同摄像头抓拍的图片中能对行人和电动车建立同一初始联系，且根据摄像头ID和时间戳信息可判断行人随同车辆的轨迹方向为从小区入口进入小区内部，即将该行人对电动车底库关联。

定期实施步骤a）-c），保证底库关联及时更新。

d）实时检测、匹配人车信息

对摄像头抓拍的图片中的行人（含人脸、人体）、电动车实时检测。将检测到的行人与一人一档库在线识别比对，选取档案库中相似度最高的行人身份ID作为实时检测到的行人ID；将检测到的电动车与一车一档库在线识别比对，选取档案库中相似度最高的车辆身份ID作为实时检测到的车辆ID。

判断行人ID与车辆ID是否具有步骤c）中建立的关联关系，即查询行人ID是否是关联字典中车辆ID对应的值。若是判定车辆正常使用，否则根据抓拍摄像头的ID和时间戳信息判断行人随同车辆的轨迹方向。若是从小区入口进入小区内部，判定车辆正常使用，否则报警提示可能正在发生偷盗行为。

人车匹配处理流程如图4所示。

e）持续检测

若需要持续检测，则跳转到步骤d），否则结束。

Claims

1.一种基于计算机视觉的电动自行车偷盗识别方法，其特征在于：包括如下步骤：

步骤1：获取小区摄像头抓拍的历史图片数据集；

步骤8：报警提示可能正在发生偷盗行为；

2.根据权利要求1所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：步骤1中的历史图片数据集中图片名称包括有摄像头ID和时间戳。

3.根据权利要求1所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：步骤2中训练样本为白天和夜里比例1:2，将剩余图片选择部分进行测试，若测试达不到要求，则增加训练样本数量重新训练检测模型。

4.根据权利要求1所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：步骤4中关联指人脸与人体对应，生成行人身份ID；识别车的型号以及车牌，生成各车辆身份ID。

5.根据权利要求4所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：将行人身份ID和各车辆身份ID进行关联，得到初始联系关系，当不同时段或不同日期内存在同一初始联系关系时，则将对应行人身份ID与该电动车进行关联，当同一时段的不同摄像头拍摄到同一初始联系关系，根据摄像头ID和时间戳对应行人身份ID，建立人车底库关联关系。

6.根据权利要求5所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：初始联系关系生成的具体步骤为：先对人脸或人体图片进行在线识别分类，计算人脸检测框和人体检测框是否重合，如重合则将人脸和人体对应，形成初步关联，对靠前的图片通过在线识别来运算；离线时通过离线聚类，将每类人脸或人体图片先选取若干张，再从剩余的图片中按比例抽样选取若干张，将在线识别和离线聚类的数据进行融合处理。

7.根据权利要求6所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：人脸和人体聚类过程为：当人体聚类结果分为两类而人脸聚类结果为一类时，将人体聚类结果合并，当人体聚类结果无关联的人脸聚类结果的则采用人体聚类结果，最后得到行人身份ID以及聚类处理结果。

8.根据权利要求7所述的基于计算机视觉的电动自行车偷盗识别方法，其特征在于：步骤5中人车底库关联关系比对的具体步骤为：将摄像头抓拍的图片进行实时检测，将检测的结果与人车底库关联关系进行在线识别比对，选取其中相似度最高的车辆身份ID作为实时检测到的车辆身份ID，并通过车辆身份ID查询是否与行人有关联关系，若有则比对成功，若无则比对失败。