CN110096975A - 一种车位状态识别方法、设备及系统 - Google Patents

Abstract

本发明涉及一种车位状态识别方法、设备及系统。其中的方法包括：获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；当检测到在第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在第三图像中有车辆停在车位时，将第一图像、第二图像和第三图像进行叠加，得到第四图像；将第四图像输入经过训练的卷积神经网络模型，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位。本发明通过连续拍摄的第一图像和第二图像相对比能够确定图像中静止的物体(即相同车位中的相同车辆)，再结合第三图像进行车位状态的判断，能够避免活动物体对车位状态的识别产生干扰，提高识别的准确性。

Description

一种车位状态识别方法、设备及系统

技术领域

本发明涉及图像识别领域，特别涉及一种车位状态识别方法、设备及系统。

背景技术

智能交通监控系统是当今交通监控行业的一个重要发展方向，其依靠计算机视觉和深度学习等技术对监控摄像头拍摄的画面进行自动分析，可应用于违章行为判断、路边车位管理、车牌识别、车型识别等多个方面。例如，在路边车位管理方面，需要通过监控画面来判断监控区域中车位的状态。而在监控环境下，往往存在较多活动物体，如行人和路过的车辆等，会对车位以及车位中车辆的识别产生干扰，影响识别的准确性。

发明内容

针对上述技术问题，本发明提供一种车位状态识别方法、设备及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种车位状态识别方法，包括：

获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；

当检测到在第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在第三图像中有车辆停在车位时，将第一图像、第二图像和第三图像进行叠加，得到第四图像；

将第四图像输入经过训练的卷积神经网络模型，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

本发明提供的一种车位状态识别方法，通过图像采集装置连续拍摄三张图像，通过判断在拍摄前两张图像的时刻存在的同一辆在车位中静止停放的车辆在连续拍摄最后一张图像的时刻是否仍然存在来识别车位状态的，具体来说，通过连续拍摄的第一图像和第二图像相对比能够确定图像中静止的物体(即相同车位中的相同车辆)，再结合第三图像进行车位状态的判断，能够避免活动物体对车位状态的识别产生干扰，提高识别的准确性。

进一步地，图像获取装置设置在监控区域的对面。

进一步地，将第一图像、第二图像和第三图像进行叠加，得到第四图像，具体包括：

将第一图像、第二图像和第三图像的3通道RGB数据进行叠加，得到第四图像的9通道RGB-RGB-RGB数据，以便通过第四图像的9通道RGB-RGB-RGB数据判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位。

进一步地，卷积神经网络模型的训练方法为：

将两张相同车辆占用相同车位的图像和一张车位未被占用的图像进行叠加作为正样本，将两张相同车辆占用相同车位的图像和任意一张除车位未被占用的情况之外的图像进行叠加作为负样本，基于正样本和负样本训练卷积神经网络模型。

进一步地，将第四图像输入经过训练的卷积神经网络模型，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，具体包括：

基于经过训练的卷积神经网络提取第四图像中的两个相同车辆的特征和车辆所停的车位的特征；

根据第四图像中的两个相同车辆的特征和车辆所停车位的特征预测在第一图像和第二图像中车辆所停的车位在第三图像中的占用状态，得到预测值；

根据预测值判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

进一步地，根据预测值判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，具体包括：

当预测值超过预设范围的上限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻已经离开车位，确定车位状态为空闲；

当预测值低于预设范围的下限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻未离开车位，确定车位状态为占用。

第二方面，本发明还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上述任一项实施例中的方法。

第三方面，本发明还提供一种车位状态识别设备，包括：

获取模块，用于获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；

叠加模块，用于当检测到在第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在第三图像中有车辆停在车位时，将第一图像、第二图像和第三图像进行叠加，得到第四图像；

判断模块，用于将第四图像输入经过训练的卷积神经网络模型，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

本发明提供的一种车位状态识别设备，通过图像采集装置连续拍摄三张图像，通过判断在拍摄前两张图像的时刻存在的同一辆在车位中静止停放的车辆在连续拍摄最后一张图像的时刻是否仍然存在来识别车位状态的，具体来说，通过连续拍摄的第一图像和第二图像相对比能够确定图像中静止的物体(即相同车位中的相同车辆)，再结合第三图像进行车位状态的判断，能够避免活动物体对车位状态的识别产生干扰，提高识别的准确性。

进一步地，叠加模块，具体用于：

将第一图像、第二图像和第三图像的3通道RGB数据进行叠加，得到第四图像的9通道RGB-RGB-RGB数据，以便通过第四图像的9通道RGB-RGB-RGB数据判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位。

进一步地，还包括：

训练模块，用于将两张相同车辆占用相同车位的图像和一张车位未被占用的图像进行叠加作为正样本，将两张相同车辆占用相同车位的图像和任意一张除车位未被占用的情况之外的图像进行叠加作为负样本，基于正样本和负样本训练卷积神经网络模型。

进一步地，判断模块具体包括：

提取单元，用于基于经过训练的卷积神经网络提取第四图像中的两个相同车辆的特征和车辆所停的车位的特征；

预测单元，用于根据第四图像中的两个相同车辆的特征和车辆所停车位的特征预测在第一图像和第二图像中车辆所停的车位在第三图像中的占用状态，得到预测值；

判断单元，用于根据预测值判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

进一步地，判断单元，具体用于：

当预测值超过预设范围的上限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻已经离开车位，确定车位状态为空闲；

当预测值低于预设范围的下限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻未离开车位，确定车位状态为占用。

进一步地，设备采用服务器或芯片。

第四方面，本发明还提供一种车位状态识别系统，包括上述车位状态识别设备和图像获取装置。

本发明提供的一种车位状态识别系统，其中的车位状态识别设备通过图像采集装置连续拍摄三张图像，通过判断在拍摄前两张图像的时刻存在的同一辆在车位中静止停放的车辆在连续拍摄最后一张图像的时刻是否仍然存在来识别车位状态的，具体来说，通过连续拍摄的第一图像和第二图像相对比能够确定图像中静止的物体(即相同车位中的相同车辆)，再结合第三图像进行车位状态的判断，能够避免活动物体对车位状态的识别产生干扰，提高识别的准确性。

附图说明

图1为本发明实施例提供的一种车位状态识别方法的流程图；

图2为本发明实施例提供的一种车位状态识别设备的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种车位状态识别方法的流程图，如图1所示，该方法包括：

S1、获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；

例如，可通过马路边设置的摄像头持续监控对面的路边车位，间隔一定时间截取图像，获取其中的三幅图像作为待检测图像，各幅图像的截取时间间隔不宜过长。

S2、当检测到在第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在第三图像中有车辆停在车位时，将第一图像、第二图像和第三图像进行叠加，得到第四图像；

具体的，可通过目标检测算法识别截取的两幅图像中的车辆，并用矩形框框定车辆的位置，再通过比较图像中车辆的位置和预先设定的车位的位置来确认第一图像和第二图像中的车辆是否在车位上，再通过卷积神经网络对车位中的车辆是否为相同车辆进行判断，当确认第一图像和第二图像中的车辆相同并且停在相同车位，且第三图像中在该车位上检测不到车辆时，将第一图像、第二图像和第三图像的3通道RGB数据叠加，得到第四图像的9通道RGB-RGB-RGB数据，通过叠加图像能够方便同时比较三张图像。

S3、将第四图像输入经过训练的卷积神经网络模型，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

具体的，在训练卷积神经网络模型时，需要给卷积神经网络模型一个输入数据和一个对应的标签,由卷积神经网络输出一个结果,将输出的结果和标签进行比较,再使用反向传播沿着比较结果的方向修改数据,至此学习了一轮,经过多次学习,不断的修正网络的参数,提高卷积神经网络模型输出结果的准确性。完成卷积神经网络模型的训练后，即可将待检测数据输入模型中，模型即可输出相应的判断结果。如果预测时得到的输入与已经训练过的数据相似,得到的结果必然准确率高。

该步骤中，可将通过摄像头获取的图像作为样本，然后人工确定三幅图像的内容，给出样本相应的标签，具体的，将两张相同车辆占用相同车位的图像和一张车位未被占用的图像进行叠加作为正样本，将两张相同车辆占用相同车位的图像和任意一张除车位未被占用的情况之外的图像进行叠加作为负样本，设置正样本的标签为1，负样本的标签为0，基于正样本和负样本训练卷积神经网络模型。其中，为有效扩大识别范围，除车位未被占用的情况之外的图像，既可以是车位上有车场景下的图像，又可以是车位被遮挡、或者摄像头被遮挡等场景下的图像，后者实际上不能确定车位是否未被占用，为了便于准确引导车辆前往未被占用的车位进行停车，这里将后者这种不能确定车位未被占用的场景均视为车位被占用。

另外，该步骤中，可采用包含干扰项的多种场景下的样本图像作为输入数据对卷积神经网络进行大量反复训练,以提高判断的准确性，样本图像的数量可以根据实际需求的识别精度设定。

当图像中出现活动物体，如行人和路过的车辆时，会对车位以及车位中车辆的识别产生干扰，影响识别的准确性，例如，在对一辆路过的车辆连续拍摄的两张图像中，前一图像中存在该车辆，而在后一图像中该车辆消失或者位置发生移动，如果据此判断车位处于未占用状态，则会发生识别错误，而本发明是通过图像采集装置连续拍摄三张图像，通过判断在拍摄前两张图像的时刻存在的同一辆在车位中静止停放的车辆在连续拍摄最后一张图像的时刻是否仍然存在来识别车位状态的，具体来说，是通过连续截取的第一图像和第二图像相对比能够确定图像中静止的物体(即相同车位中的相同车辆)，再结合第三图像进行车位状态的判断，能够避免活动物体对车位状态的识别产生干扰，提高识别的准确性。

可选地，在该实施例中，步骤S3具体包括：

S3.1、基于经过训练的卷积神经网络提取第四图像中的两个相同车辆的特征和车辆所停的车位的特征；

S3.2、根据第四图像中的两个相同车辆的特征和车辆所停的车位的特征预测在第一图像和第二图像中车辆所停车位在第三图像中的占用状态，得到预测值；

S3.3、根据预测值判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

具体的，采用卷积神经网络中的VGG或MOBLIE Net等针对9通道RGB-RGB-RGB数据做特征提取，提取的特征包括但不限于车辆颜色、车轮毂、车外形、是否有天窗等等能够区分识别车辆的特征，以及包括但不限于路边门市、路边植被、路边石、车位指示停车线、马路颜色等等能够区分识别车位的特征。

提取完特征后，采用全连接层或贝叶斯分类或SVM中的一种计算得到第一图像和第二图像中的车辆所在车位在第三张图像中的占用状态的预测值，利用预测值来推断在获取第三图像的时刻，车位中的车辆是否已驶离车位，预测值为0到1的浮点数值，预测值越大，表示车辆已离开车位或者车位未被占用的可能性越高。

可选地，在该实施例中，步骤S3.3具体包括：

当预测值超过预设范围的上限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻已经离开车位，确定车位状态为空闲；

当预测值低于预设范围的下限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻未离开车位，确定车位状态为占用。

具体的，预设范围的上限和下限可选取为同一数值，也可选取不同的数值，例如，选取预设范围的下限和上限分别为0.4与0.6，此时，在0.4～0.6间的预测结果可以作为不确定结果。

本发明实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上述任一项实施例中的方法。

图2为本发明实施例提供的一种车位状态识别设备的结构框图，该系统中各个模块的功能原理已在前述内容中进行了阐述，以下不再赘述。

如图2所示，该设备包括：

获取模块，用于获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；

叠加模块，用于当检测到在第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在第三图像中有车辆停在车位时，将第一图像、第二图像和第三图像进行叠加，得到第四图像；

判断模块，用于将第四图像输入经过训练的卷积神经网络模型，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

可选地，在该实施例中，叠加模块具体用于：

将第一图像、第二图像和第三图像的3通道RGB数据进行叠加，得到第四图像的9通道RGB-RGB-RGB数据，以便通过第四图像的9通道RGB-RGB-RGB数据判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位。

可选地，在该实施例中，还包括：

训练模块，用于将两张相同车辆占用相同车位的图像和一张车位未被占用的图像进行叠加作为正样本，将两张相同车辆占用相同车位的图像和任意一张除车位未被占用的情况之外的图像进行叠加作为负样本，基于正样本和负样本训练卷积神经网络模型。

可选地，在该实施例中，判断模块具体包括：

提取单元，用于基于经过训练的卷积神经网络提取第四图像中的两个相同车辆的特征和车辆所停的车位的特征；

预测单元，用于根据第四图像中的两个相同车辆的特征和车辆所停车位的特征预测在第一图像和第二图像中车辆所停的车位在第三图像中的占用状态，得到预测值；

判断单元，用于根据预测值判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻是否已经离开车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

可选地，在该实施例中，判断单元具体用于：

当预测值超过预设范围的上限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻已经离开车位，确定车位状态为空闲；

当预测值低于预设范围的下限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻未离开车位，确定车位状态为占用。

可选地，在该实施例中，设备采用服务器或芯片。其中，服务器包括但不限于中央机房服务器。

本发明实施例还提供一种车位状态识别系统，包括上述车位状态识别设备和图像获取装置。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车位状态识别方法，其特征在于，包括：

获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；

当检测到在所述第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在所述第三图像中有车辆停在所述车位时，将所述第一图像、第二图像和第三图像进行叠加，得到第四图像；

将所述第四图像输入经过训练的卷积神经网络模型，判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

2.根据权利要求1所述的方法，其特征在于，所述将所述第四图像输入经过训练的卷积神经网络模型，判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位，具体包括：

基于经过训练的卷积神经网络提取所述第四图像中的两个相同车辆的特征和车辆所停的车位的特征；

根据所述第四图像中的两个相同车辆的特征和车辆所停的车位的特征预测在第一图像和第二图像中车辆所停车位在第三图像中的占用状态，得到预测值；

根据所述预测值判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预测值判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位，具体包括：

当所述预测值超过预设范围的上限时，判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻已经离开所述车位，确定车位状态为空闲；

当所述预测值低于所述预设范围的下限时，判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻未离开所述车位，确定车位状态为占用。

4.根据权利要求1所述的方法，其特征在于，所述图像获取装置设置在所述监控区域的对面。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一图像、第二图像和第三图像进行叠加，得到第四图像，具体包括：

将所述第一图像、第二图像和第三图像的3通道RGB数据进行叠加，得到第四图像的9通道RGB-RGB-RGB数据，以便通过所述第四图像的9通道RGB-RGB-RGB数据判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位。

6.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型的训练方法为：

将两张相同车辆占用相同车位的图像和一张所述车位未被占用的图像进行叠加作为正样本，将两张相同车辆占用相同车位的图像和任意一张除所述车位未被占用的情况之外的图像进行叠加作为负样本，基于所述正样本和负样本训练所述卷积神经网络模型。

7.一种车位状态识别设备，其特征在于，包括：

获取模块，用于获取图像获取装置按时间先后顺序连续对监控区域拍摄的第一图像、第二图像和第三图像；

叠加模块，用于当检测到在所述第一图像和第二图像中有相同车辆停在相同车位，并且未检测到在所述第三图像中有车辆停在所述车位时，将所述第一图像、第二图像和第三图像进行叠加，得到第四图像；

判断模块，用于将所述第四图像输入经过训练的卷积神经网络模型，判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

8.根据权利要求7所述的设备，其特征在于，所述判断模块具体包括：

提取单元，用于基于经过训练的卷积神经网络提取所述第四图像中的两个相同车辆的特征和车辆所停的车位的特征；

预测单元，用于根据所述第四图像中的两个相同车辆的特征和车辆所停车位的特征预测在第一图像和第二图像中车辆所停的车位在第三图像中的占用状态，得到预测值；

判断单元，用于根据所述预测值判断所述第一图像和第二图像中停在所述车位中的车辆在获取所述第三图像的时刻是否已经离开所述车位，若是则确定车位状态为空闲，否则确定车位状态为占用。

9.根据权利要求8所述的设备，其特征在于，所述判断单元，具体用于：

当预测值超过预设范围的上限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻已经离开车位，确定车位状态为空闲；

当预测值低于预设范围的下限时，判断第一图像和第二图像中停在车位中的车辆在获取第三图像的时刻未离开车位，确定车位状态为占用。

10.一种车位状态识别系统，其特征在于，包括如权利要求7-9任一项所述的车位状态识别设备和图像获取装置。