CN108460983A - 基于卷积神经网络的停车位状态检测方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的停车位状态检测方法。该方法包括：模型预训练，训练并获得具有普适性的可依次对单个停车位区域图像进行状态检测的卷积神经网络模型；软硬件设施的搭建与测试，针对实际的具体应用场景搭建模型运行所需的软硬件设施，并使用预训练获得的卷积神经网络模型对实际应用场景进行测试；模型的优化训练，根据实际应用场景测试结果对预训练的卷积神经网络模型进行优化训练；具体场景的实际应用，确定实际应用场景中各停车位区域，利用优化后的卷积神经网络模型对各停车位状态进行实时检测与监控，并获得检测结果。

Description

基于卷积神经网络的停车位状态检测方法

技术领域

本发明涉及停车位检测技术领域，特别涉及基于卷积神经网络实现停车位状态检测的方法。

背景技术

当前，机动车的快速增长导致停车问题非常突出，停车位资源日趋紧张，如何科学合理的管理停车位、降低管理成本、提高其运行效率，已成为亟待解决的问题。尤其是对于大量的城市路面、路侧及各种大型的开放式停车场，由于规划面积大、出入口多等特点，如果纯粹依靠人工现场引导、管理和收费，不但工作量巨大，而且管理效率低下、同时收费漏洞也较大。现有的停车场管理技术多采用磁场传感器、超声波传感器和红外传感器等无线传感器技术，要求安装大量的传感设备，如果应用于开放性停车场，无疑产生过大的维护工作量和过高的管理成本。

发明内容

近年来，随着视频识别、大数据、深度学习研究的发展，卷积神经网络及相关算法在图像分类和识别领域的应用已初见成效。开发和建立一套应用范围更广、实施与运营成本更低的智能停车场管理系统具有很大的经济价值和现实意义。随着智能停车场管理系统的开发与实现，相应的停车位状态检测技术值得关注。

本发明针对背景技术中所描述的应用需求，提出了一种基于卷积神经网络的停车位状态检测方法，其既可以准确的检测出视频图像中各个停车位是否被占用，便于实现停车场的智能化管理，又只需通过适当架设或改造停车场现有的摄像系统，从而实现对整个停车场的检测和监控，极大降低了实施和运营成本，提高了管理效率。

本发明提供了一种停车位状态检测方法，该方法包括：

模型预训练步骤，收集大量停车位被占用和未被占用的图像，预处理后组成预训练数据集，训练并获得具有普适性的可依次对单个停车位区域图像进行检测，并给出各停车位是否处于被占用状态结果的卷积神经网络模型；

软硬件设施的搭建与测试步骤，针对实际的具体应用场景搭建模型运行所需的软硬件设施，并使用预训练获得的卷积神经网络模型对实际应用场景进行初步测试；

模型的优化训练步骤，根据测试结果，利用从实际应用场景中或/和类似场景中获得的图像数据，调整预训练数据集，制作新的数据集，并基于该数据集利用预训练的卷积神经网络模型进行优化训练；

具体场景的实际应用步骤，基于搭建的软硬件设施，确定实际应用场景中各个停车位区域在视频图像中的大小及位置，利用获得的优化后卷积神经网络模型对各停车位状态进行实时检测与监控，并获得检测结果。

通过采用以上的技术方案，本发明具有以下的有益效果：本发明首先训练具有普适性的可依次对单个停车位区域图像进行检测的卷积神经网络模型，然后根据具体场景进行优化训练，可大大缩短模型训练用时，提高训练效率和模型的准确率，采用卷积神经网络模型对停车位状态进行检测的方法，不但能准确检测出各停车位的状态，而且对于多个停车位只需配置一套硬件资源，大大降低了实现及维护成本，便于停车场的智能化管理；另一方面，本发明采用预先确定停车位区域的方法，预先确定实际应用场景中各个停车位区域在视频图像中的大小及位置，然后将各个停车位区域对应的图像分别送入卷积神经网络进行检测，降低了对硬件资源的要求，进一步节省了实现成本。

附图说明

图1为根据本发明一实施例的基于卷积神经网络的停车位状态检测方法流程图。

图2为根据本发明一实施例的模型预训练步骤的工作流程图。

图3为根据本发明一实施例的软硬件设施的搭建与测试步骤的工作流程图。

图4为根据本发明一实施例的模型的优化训练步骤的工作流程图。

图5为根据本发明一实施例的具体场景的实际应用步骤的工作流程图。

具体实施方式

下面结合附图，针对具体实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

如图1所示，本发明一实施例提供了一种嵌入式智能人脸检测与跟踪系统1，包括视频图像输入模块11、人脸检测模块12、目标跟踪模块13、过滤模块14、人脸信息更新模块15以及视频图像输出模块16。

视频图像输入模块11获取输入的视频图像信息。视频图像信息例如可以是通过接收摄像头、摄像机等视频输入设备输入的。视频图像信息可以是流式的，也可以是任何其它含有一系列图像的视频格式。视频图像输入模块11的输出结果，可以是全部区域的或者部分区域的视频图像信息，并可被人脸检测模块12或目标跟踪模块13获取。人脸检测模块12或目标跟踪模块13从视频图像输入模块11获取的视频图像信息，可以是单帧或多帧的视频图像，也可以是任何其他形式的视频图像。

人脸检测模块12在系统中不存在人脸信息（通过是否存在人脸信息的判断来确定）时，对视频图像信息进行人脸的检测。根据系统状态的不同，人脸检测模块12可以根据视频图像输入模块11、目标跟踪模块13和/或过滤模块14的输出进行人脸检测。人脸检测模块12的检测结果输出至人脸信息更新模块15。在一个实施例中，人脸检测模块12可同时采用多种检测算法或模型，并筛选最优人脸信息作为输出。

目标跟踪模块13在系统中存在人脸信息（通过是否存在人脸信息的判断来确定）时，根据该人脸信息对从视频图像输入模块11获得的视频图像信息进行人脸的跟踪，并输出跟踪结果。人脸信息例如可以是人脸存在区域的信息（或者说是待跟踪目标区域信息），可以是人脸图像，也可以是人脸存在区域的信息和人脸图像这二者。

目标跟踪模块13可以对跟踪是否成功进行判断，在跟踪成功时将跟踪结果发送到过滤模块14，在跟踪失败时将跟踪结果发送到人脸检测模块12。跟踪结果可以是目标跟踪模块13获取的人脸信息。在跟踪失败时，跟踪结果可以包括跟踪失败这一信息，或者包括跟踪失败的信息和目标跟踪模块13曾经跟踪的人脸信息。

在一个实施例中，目标跟踪模块13在进行人脸跟踪之前，判断是否需要进行周期性校正，如需周期性校正则截取人脸信息对应的当前跟踪区域的信息（例如，当前跟踪区域的图像、其位置信息或者这二者）作为校正信息，并将其输出到人脸检测模块12。周期性校正例如可以是指目标跟踪模块13连续运行的次数达到所设定的阈值后对人脸信息进行校正，以确保人脸信息的准确性。目标跟踪模块13在判断无需进行周期性校正时，将跟踪结果输出到过滤模块14。跟踪结果可以是目标跟踪模块13获取的人脸信息。

对于人脸检测模块12和目标跟踪模块13使用的是否存在人脸信息的判断，可以由视频图像输入模块11来执行，可以由人脸检测模块12和目标跟踪模块13来执行，也可以由单独的判断模块来执行。在一个实施例中，该判断是通过系统中的标记来执行的。

过滤模块14对目标跟踪模块13输出的跟踪结果（例如，跟踪结果中的人脸信息）进行过滤检测或过滤验证，若跟踪结果通过过滤检测则将过滤结果（过滤后的人脸信息）输出至人脸信息更新模块15，若跟踪结果未通过过滤检测则将人脸信息对应的跟踪区域进行扩展，并将扩展后的跟踪区域的信息（例如，扩展后的跟踪区域的图像、其位置信息或者这二者）输出至人脸检测模块12。

在一个实施例中，人脸检测模块12从过滤模块14接收到扩展后的跟踪区域的信息之后，根据扩展后的跟踪区域的信息，重新检测人脸信息。

人脸信息更新模块15根据人脸检测模块12的检测结果或者过滤模块14的过滤结果，对系统中的人脸信息进行更新，并将更新后的人脸信息输出至视频图像输出模块16。在一个实施例中，人脸信息更新模块15从人脸检测模块12获得人脸信息或从过滤模块14获得过滤后的人脸信息，以此对系统中的待跟踪人脸信息进行实时更新，并将更新后的人脸信息输出至视频图像输出模块16。人脸信息更新模块15对人脸信息的更新可以是实时的，可以是定期的，也可以是任何其他方式。

视频图像输出模块16接收人脸信息更新模块15输出的更新后的人脸信息，并输出包括更新后的人脸信息在内的视频图像信息。视频图像输出模块16的输出例如被提供给视频输出/控制设备。

在一个实施例中，嵌入式智能人脸检测与跟踪系统1不包括过滤模块14。在该实施例中，目标跟踪模块13在系统中存在人脸信息时，对视频图像输入模块11所输出的视频图像信息进行人脸跟踪，并且输出跟踪结果。人脸信息更新模块15基于人脸检测模块12或者目标跟踪模块13的输出对系统中的人脸信息进行更新，并将更新后的人脸信息输出至视频图像输出模块16。类似地，人脸信息更新模块15对人脸信息的更新可以是实时的，可以是定期的，也可以是任何其他方式。

目标跟踪模块13可以对跟踪是否成功进行判断，在跟踪成功时将跟踪结果发送到人脸信息更新模块15，在跟踪失败时将跟踪结果发送到人脸检测模块12。跟踪结果可以是目标跟踪模块13获取的人脸信息。在跟踪失败时，跟踪结果可以是跟踪失败这一信息，或者是跟踪失败的信息和目标跟踪模块13曾经跟踪的人脸信息。

在另一个实施例中，嵌入式智能人脸检测与跟踪系统1不包括过滤模块14。在该实施例中，目标跟踪模块13在系统中存在人脸信息时，还判断是否需要进行周期性校正，若判断结果是需要进行周期性校正，则目标跟踪模块13截取人脸信息对应的当前跟踪区域的信息并将其包括在跟踪结果中输出到人脸检测模块12；若判断无需进行周期性校正，则将跟踪结果输出到人脸信息更新模块15。在该实施例中，人脸检测模块12根据视频图像输入模块11和/或目标跟踪模块13输出的信息进行人脸检测，人脸信息更新模块15基于人脸检测模块12或者目标跟踪模块13的输出对系统中的人脸信息进行更新，并将更新后的人脸信息输出至视频图像输出模块16。

在该实施例中，与上一实施例类似，目标跟踪模块13也可以对跟踪是否成功进行判断。

在一个实施例中，本发明提出了一种人工智能设备，其包括嵌入式智能人脸检测与跟踪系统1。该人工智能设备可以是无人机、虚拟现实（VR）拍摄设备（例如VR眼镜）等。

如图2所示，本发明一实施例提供了嵌入式智能人脸检测与跟踪方法。该方法可以用于嵌入式智能人脸检测与跟踪系统1，并且可以在接收到启动指令后启动。参考图2对方法的描述中使用的各种信息（例如视频图像信息、人脸信息、跟踪结果等）可以与前述各种信息相同或类似。

如图2所示，在输入步骤101中，获取所输入的视频图像信息。

在检测步骤102中，当系统（嵌入式智能人脸检测与跟踪系统1）中不存在人脸信息时，对视频图像信息进行人脸的检测，输出检测结果。在一些情况下，步骤102还根据步骤103或步骤104的输出执行操作。例如，当在步骤103中确定需要周期性校正时，根据步骤103输出的当前跟踪区域的信息图像信息进行人脸信息的检测，输出检测结果；当步骤104中过滤失败时，对步骤104输入的扩展区域图像信息进行人脸信息的检测，输出检测结果。

在跟踪步骤103中，当系统中存在人脸信息时，对步骤101输入的视频图像信息进行人脸跟踪，并输出跟踪结果。在一个实施例中，在步骤103中可以对跟踪是否成功进行判断，在跟踪成功时将跟踪结果发送到步骤104，在跟踪失败时将跟踪结果发送到步骤102。跟踪结果可以是步骤103中获取的人脸信息。在跟踪失败时，跟踪结果可以包括跟踪失败这一信息，或者包括跟踪失败的信息和曾经跟踪的人脸信息。

在一个实施例中，在步骤103中判断是否需要周期性校正，如需周期性校正则截取并输出人脸信息对应的当前跟踪区域的信息（例如，当前跟踪区域的图像、其位置信息或者这二者）作为校正信息，供步骤102使用。周期性校正例如可以是步骤103连续运行的次数达到所设定的阈值后对人脸信息进行校正，以确保人脸信息的准确性。在步骤103中判断无需进行周期性校正时，输出跟踪结果。跟踪结果可以是步骤103获取的人脸信息。

在过滤步骤104中，对步骤103中输出的跟踪结果进行过滤检测，如果跟踪结果通过过滤检测则输出过滤后的人脸信息，作为过滤结果；如果跟踪结果未通过过滤检测，则将人脸信息对应的跟踪区域进行扩展，并输出扩展后的跟踪区域信息。

在更新步骤105中，根据步骤102的检测结果或步骤104的过滤结果，对系统中的人脸信息进行更新。在一个实施例中，若步骤105收到的输入信息不含有人脸信息，则在步骤105中，清空系统中的人脸信息，

若含有人脸信息，则更新系统中的人脸信息。

在输出步骤106中，接收步骤105中输出的更新后人脸信息并输出包括更新后人脸信息在内的视频图像信息。在步骤106中可以对视频图像信息进行处理，例如在视频图像信息中完成人脸信息的标定。处理后的含有更新后人脸信息的视频图像信息可被输出至视频输出设备，亦可被输出至控制设备。

在步骤106完成之后，该嵌入式智能人脸检测与跟踪方法完成了对当前输入信息的一次处理，接下来可以自动再次转至步骤101开始下一次循环处理，或者接收到退出指令后退出该方法。

在一个实施例中，与嵌入式智能人脸检测与跟踪系统1类似，嵌入式智能人脸检测与跟踪方法可以不包括过滤步骤104。在该实施例中，更新步骤105可以根据检测步骤102的检测结果或者跟踪步骤103的跟踪结果对系统中的人脸信息进行更新，并输出更新后的人脸信息。

跟踪步骤103可以对跟踪是否成功进行判断，在跟踪成功时将跟踪结果发送到更新步骤105，在跟踪失败时将跟踪结果发送到检测步骤102。跟踪结果可以是跟踪步骤103获取的人脸信息。在跟踪失败时，跟踪结果可以是跟踪失败这一信息，或者是跟踪失败的信息和跟踪步骤103曾经跟踪的人脸信息。

在另一个实施例中，嵌入式智能人脸检测与跟踪方法可以不包括过滤步骤104。在该实施例中，跟踪步骤13在系统中存在人脸信息时，还判断是否需要进行周期性校正，若判断结果是需要进行周期性校正，则在步骤103中截取人脸信息对应的当前跟踪区域的信息并将其包括在跟踪结果中输出到检测步骤102；若判断无需进行周期性校正，则将跟踪结果输出到更新步骤105。在该实施例中，检测步骤102根据输入步骤101和/或跟踪步骤103输出的信息进行人脸检测，更新步骤105基于检测步骤102或者跟踪步骤103的输出对系统中的人脸信息进行更新，并将更新后的人脸信息输出至输出步骤106。

在该实施例中，与上一实施例类似，跟踪步骤103也可以对跟踪是否成功进行判断。

图3为根据本发明一实施例的人脸检测模块12的工作流程图。图2中的检测步骤102可以采用图3的流程进行操作。

如图3所示，人脸检测模块12被启动后，其开始工作。

在步骤201，将输入信息进行一定的预处理操作，可以根据所采用的检测算法，使经过预处理的信息在人脸检测中可以获得更快的检测速度和更好的检测效果，例如裁剪、扩展、旋转、灰度和/或锐化等操作。

在步骤202，对经过步骤201预处理后的信息使用人脸检测算法进行人脸的检测。人脸的检测可使用一个或多个检测算法以及一个或多个配置和模型文件，例如根据检测需求，可以先加载用于正脸检测的配置和模型文件，如未检测到人脸则继续加载用于侧脸检测的配置和模型文件，如果仍未检测到人脸，则输出未获得人脸信息的结果并结束本流程；也可以先加载用于侧脸检测的配置和模型文件，再加载用于正脸检测的配置和模型文件；也可以采用其他的配置和模型文件。

在步骤203，当检测到人脸后，从步骤202输出的一个或多个人脸中筛选最优人脸，例如可根据检测算法的得分，获得最高分对应的人脸。

在步骤204，确定步骤203中最优人脸对应的区域，并获取区域坐标。

在步骤205，输出步骤204中对应区域范围内的人脸信息并结束本流程。

在一个实施例中，图3的流程图可以不包括步骤203和步骤204，而是在步骤202中检测到符合一定标准的人脸之后就通过步骤205输出人脸信息。

图4为根据本发明一实施例的目标跟踪模块13的工作流程图。图2中的跟踪步骤103可以采用图4的流程进行操作。

如图4所示，当目标跟踪模块13被启动后，其开始工作。

在步骤301，将输入的视频图像信息使用人脸目标跟踪算法进行人脸跟踪，并判断是否需要周期性校正，通过周期性校正可以在一定程度上避免由于多次运行目标跟踪模块可能存在的目标丢失问题，同时可以将当前跟踪区域信息直接送入人脸检测模块，大大缩短了人脸检测的用时，提高了本系统的运行效率，确保了本系统的可靠性和实用性。

在步骤302，当无需周期性校正时，则获取跟踪后的人脸位置区域并获取区域坐标，跳过步骤303转至步骤304。

在步骤303，当需要周期性校正时，则确定当前跟踪区域信息输出至人脸检测模块12，并结束本流程。

在步骤304，根据步骤302输入的跟踪后人脸位置区域坐标，输出对应的人脸信息并结束本流程。

图5为根据本发明一实施例的过滤模块14的工作流程图。图2中的过滤步骤104可以采用图5的流程进行操作。

如图5所示，当过滤模块被启动后，其开始工作。

在步骤401，对目标跟踪模块13（跟踪步骤103）输出的跟踪后人脸信息进行快速的过滤检测并判断是否能够通过过滤检测。过滤检测例如是肤色过滤，即检测输入中是否包含肤色信息，过滤检测也可以采用其他的检测方式。例如对于肤色过滤，通过过滤检测来确保跟踪区域内是否存在肤色信息，可进一步避免目标跟踪过程中可能存在的目标丢失问题，而且对于可能的目标丢失问题，采用了对跟踪区域的范围进行扩展后再次送入人脸检测模块11（检测步骤101）进行人脸检测的方法，可以大大减少检测用时，从而快速重新定位人脸目标位置。

在步骤402，当通过过滤检测时，可根据步骤401的过滤检测结果对输入的跟踪后人脸信息进行一定的位置修正，例如区域边界的修正，并转至步骤404。

在步骤403，当未通过过滤检测时，则将跟踪区域进行一定范围的扩展，将获得的扩展跟踪区域信息送入人脸检测模块11（检测步骤101）并结束本流程。

在步骤404，输出在步骤402中修正后的区域范围内的人脸信息并结束本流程。

上面以软件模块和方法步骤的形式对本发明进行了说明，但是本发明不限于此，本发明可以采用软件、硬件、固件或者其任意组合来实现。在一个实施例中，本发明的至少一部分可以通过计算机可读介质的形式实现。

以上实施例是对本发明的示例性说明，本领域技术人员可以在上述说明的基础上进行修改，这些修改只要落在权利要求书的范围内，均属于本发明的保护范围。

Claims (9)

1.一种停车位状态检测方法，包括：

模型预训练步骤，制作预训练数据集，训练并获得可依次对单个停车位区域图像进行检测，并给出各停车位是否处于被占用状态结果的卷积神经网络模型；

软硬件设施的搭建与测试步骤，针对实际的具体应用场景搭建模型运行所需的软硬件设施，并使用预训练获得的卷积神经网络模型对实际应用场景进行测试；

模型的优化训练步骤，根据测试结果，利用从实际应用场景中或/和类似场景中获得的图像数据，调整预训练数据集，制作新的数据集，并基于该数据集利用预训练的卷积神经网络模型进行优化训练；

具体场景的实际应用步骤，基于搭建的软硬件设施，利用优化后的卷积神经网络模型对各停车位状态进行实时检测与监控，并获得检测结果。

2.根据权利要求1所述的停车位状态检测方法，其特征在于，所述单个停车位区域图像可以是单一停车位的图像，或者从包含一个或多个停车位的图像中截取的仅包含单一停车位的图像。

3.根据权利要求1所述的停车位状态检测方法，其特征在于，所述停车位被占用状态指该停车位上停有车辆或放有禁止停车装置的情况。

4.根据权利要求1所述的停车位状态检测方法，其特征在于，所述模型运行所需的软硬件设施至少包括视频输入设备和嵌入式电路板。

5.根据权利要求4所述的停车位状态检测方法，其特征在于，所述视频输入设备是摄像头，所述摄像头可安装于停车位的任意方位但高度不低于2.5米。

6.根据权利要求1所述的停车位状态检测方法，其特征在于，所述调整预训练数据集包括对预训练数据集中部分或全部的图像进行删除、替换和/或新增图像等操作。

7.根据权利要求1所述的停车位状态检测方法，其特征在于，所述模型的优化训练步骤可以反复多次执行直至测试准确率满足预定要求。

8.根据权利要求7所述的停车位状态检测方法，其特征在于，所述预定要求是准确率达到95%或以上。

9.根据权利要求1所述的停车位状态检测方法，其特征在于，所述具体场景的实际应用步骤还包括确定实际应用场景中各个停车位区域在视频图像中的大小及位置。