CN110659534B - 一种共享单车检测方法和装置 - Google Patents

Abstract

本申请提供一种共享单车检测方法和装置，该方法为：对目标视频流中的视频帧进行检测；当检测到有扫码动作时，识别所述扫码动作针对的目标共享单车；跟踪所述扫码动作，在检测到所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置；将所述目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断所述目标共享单车在所述N个视频帧中是否发生位移；如果未发生位移，则确定扫码失败。该方法可以利用现成的城市监控视频，通过分析视频中行人与共享单车之间是否存在扫码失败事件，来判断共享单车是否故障，从而及时对故障的共享单车进行处理，维护城市道路的通畅。

Description

一种共享单车检测方法和装置

技术领域

本申请涉及智能交通领域，尤其涉及一种共享单车检测方法和装置。

背景技术

为了人们短距离的出行方便，日常生活中出现了共享单车。共享单车是企业在校园、地铁站点、公交站点、居民区、商业区、公共服务区等提供的自行车单车共享服务。随着共享单车在城市中越来越常见，存在故障、未能及时修理的共享单车也越来越多。如果厂家未能及时修理这些故障的共享单车，它们会逐渐堆积、挤占道路、影响市容市貌，甚至带来一些交通安全隐患。

发明内容

有鉴于此，本申请提供一种共享单车检测方法和装置，通过对城市道路监控视频进行分析，实时、准确、高效地定位出故障的共享单车。

具体地，本申请是通过如下技术方案实现的：

本申请第一方面，提供了一种共享单车检测方法，包括：

对目标视频流中的视频帧进行检测；

当检测到有扫码动作时，识别所述扫码动作针对的目标共享单车；

跟踪所述扫码动作，在检测到所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置；

将所述目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断所述目标共享单车在所述N个视频帧中是否发生位移；

如果未发生位移，则确定扫码失败。

本申请第二方面，提供了一种共享单车检测装置，具有实现上述方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。

一种实现方式中，所述装置可以包括：

检测模块，用于对目标视频流中的视频帧进行检测；当检测到有扫码动作时，识别所述扫码动作针对的目标共享单车；跟踪所述扫码动作并检测所述扫码动作何时结束；

定位模块，用于在所述检测模块确定所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置；

处理模块，用于将所述目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断所述目标共享单车在所述N个视频帧中是否发生位移；如果未发生位移，则确定扫码失败。

另一种实现方式中，所述装置可以包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现第一方面所述的方法。

本申请提供的共享单车检测方法，可以利用现成的城市监控视频，通过分析视频中行人与共享单车之间是否存在扫码失败事件，来判断共享单车是否故障，从而及时对故障的共享单车进行处理，维护城市道路的通畅。

附图说明

图1是本申请实施例中扫码失败事件的示意图；

图2是本申请实施例提供的方法流程图；

图3是本申请实施例中共享单车位置和扫码动作位置的示意图；

图4是本申请实施例提供的装置结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例提出了一种共享单车检测方案。本方案可以应用于城市监控相机，也可以应用于连接城市监控相机的后端服务器，其中这里的城市监控相机可以是枪式摄像机或者智能球摄像机。这些城市监控相机可以安装在能够拍摄到共享单车停放位置的区域，如校园、地铁站点、公交站点、居民区、商业区、公共服务区等。

城市监控相机拍摄到的目标视频流中可能不存在共享单车，或者存在正常的共享单车，或者存在故障的共享单车。本申请实施例的目的是通过对目标视频流进行分析，判断出是否存在故障的共享单车。作为一种实施方式，本申请实施例可以通过分析目标视频流中行人与共享单车之间的互动事件，来判断共享单车是否发生故障。比如，可以通过分析目标视频流中是否出现“行人对共享单车进行扫码，但未骑车离开”的事件，即“扫码失败事件”，来判断目标视频流中的共享单车是否发生故障。

如图1所示，扫码失败事件可以由以下3个图像分析信息组合得到，分别是：

1)视频帧中的某位置处存在共享单车；

2)视频帧中的共享单车的位置邻域内，存在扫码动作(如“弯腰的人”)；

3)扫码动作结束后，该扫码动作所针对的共享单车的位置未发生显著变化。

对于判断视频帧中是否存在共享单车以及共享单车存在于哪个位置，以及判断视频帧中是否存在扫码动作以及扫码动作存在于哪个位置，这些都是典型的目标检测问题，可以通过机器学习的方法实现，包括但不限于LBP-AdaBoost方法、DPM(Deformable PartsModels)目标检测方法、faster-RCNN(Regions with CNN features)方法、YOLO(you onlylook once)方法等。无论使用何种方法，其模型训练过程是类似的，这里简述如下：

作为一种示例，模型训练的过程包括：获取标记出共享单车的第一样本集和标记出扫码动作的第二样本集；根据第一样本集训练得到定位模型，以及根据第二样本集训练得到识别模型；其中定位模型用于判断视频帧中是否存在共享单车并输出共享单车的位置，识别模型用于判断视频帧中是否存在扫码动作并输出扫码动作的位置。

作为一种示例，以定位模型为例，定位模型的训练过程具体可包括以下三步：

第一步，搜集样本。

搜集到的样本可以包括正样本(即有共享单车的视频帧)和负样本(即没有共享单车的视频帧)。其中正样本中的共享单车可以涵盖不同的车型、品牌、颜色。

第二步，样本标记。

对于正样本，可以标记出正样本中的共享单车；对于负样本，可以标记出负样本中可能停放共享单车的位置。每个样本的标记结果可以是矩形区域的坐标，一个矩形区域内至多有一辆共享单车；在训练模型时，程序可以自动根据标记出的矩形区域的坐标提取矩形区域内的图像。实际应用中，正样本可以采用人工标记的方式，负样本可以人工标记也可以在模型训练过程中由程序自动标记。

第三步，模型训练。

使用预先设计好的模型对标记好的上述正样本和负样本的集合进行分析，判断各样本中是否存在共享单车，如果有则输出共享单车在样本中的位置，如果没有则不输出；最终，根据输出结果与真实标记的差异，再进行反向传输更新模型的参数。经过不断的迭代训练，便可以得到训练好的用于判断视频帧中是否存在共享单车并输出共享单车位置的定位模型。

至于识别模型的训练过程可以参考上述定位模型的训练过程，二者的主要区别在于正样本不同，这里的正样本是标记出扫码动作的视频帧，扫码动作具体可以是行人的弯腰动作、下蹲动作等。

需要说明的是，上述分别用于训练定位模型和识别模型的第一样本集和第二样本集可以是标记不同但图像内容相同的样本集。进一步的上述定位模型和识别模型可以是一个模型中的不同分支。

基于训练好的定位模型和识别模型，便可以分析目标视频流中是否出现扫码失败事件，其处理流程如图2所示，可包括如下的步骤：

步骤201：对目标视频流中的视频帧进行检测。

本实施例中，可以将目标视频流中的视频帧输入上述定位模型和识别模型实现检测。其中，可以对目标视频流中的每个视频帧均进行检测；不过由于视频流的每秒帧数可能多达20多帧，而相邻帧的画面变化非常细微，所以为了减少处理量，也可以对目标视频流进行采样后，对采样后的视频帧进行检测。

步骤202：当检测到有扫码动作时，识别该扫码动作针对的目标共享单车。

作为一种实施方式，为了让识别模型对扫码动作的识别效果更为准确，在识别模型的训练和预测过程中，可以利用定位模型的预测结果加以佐证。比如，如果识别模型在第一视频帧中检测到了扫码动作，但定位模型在该第一视频帧中却未检测到共享单车，那么可以认为此次检测到的扫码动作是无效的，继而忽略此扫码动作。

反之，如果识别模型在第一视频帧中检测到了扫码动作，且定位模型在该第一视频帧中也检测到了共享单车，那么可以认为此次检测到的扫码动作是有效的，继而可以从定位模型输出的至少一个共享单车位置坐标中，选择一个与识别模型输出的扫码动作位置坐标最接近的位置坐标，然后将选择的位置坐标对应的共享单车判定是该扫码动作针对的目标共享单车。

扫码动作的位置坐标与共享单车的位置坐标越接近，意味着扫码动作的矩形区域与共享单车的矩形区域的重叠率越高，或者扫码动作的矩形区域与共享单车的矩形区域之间的距离越近。比如在图3中，相比共享单车1，扫码动作的矩形区域与共享单车2的矩形区域更为接近，因此可以认为该扫码动作所针对的目标共享单车为共享单车2。

步骤203：跟踪上述扫码动作，在检测到该扫码动作结束后，获取目标共享单车在扫码动作结束后的N个视频帧中的位置。

由于扫码动作一般是一个持续的过程，因此识别模型从上述第一视频帧中检测到扫码动作后，可以从之后的视频帧中继续检测到位置坐标相同的扫码动作。而当识别模型在第一视频帧之后的第二视频帧中发现检测不到扫码动作时，可以确定上述扫码动作结束。接下来，可以利用定位模型对第二视频帧之后的N个(连续或不连续)视频帧进行分析，输出目标共享单车在该第二视频帧之后的N个视频帧中的位置。

步骤204：将目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断目标共享单车在该N个视频帧中是否发生位移。

步骤205：如果未发生位移，则确定扫码失败。

在确定扫码失败之后，可以获取目标共享单车在视频帧中的位置坐标，由于目标共享单车未发生位移，这种情况下可以获取目标共享单车在该N个视频帧中的任一帧中的位置坐标；然后判断是否存在与该位置坐标对应的扫码失败记录。如果不存在，则可以新建一个与该位置坐标对应的扫码失败记录，并将扫码失败记录中的统计次数置为1；如果已存在与该位置对应的扫码失败记录，则可以将该扫码失败记录中的统计次数加1，然后判断加1后的统计次数是否超过设定的阈值，如果超过，则确定该目标共享单车发生故障。

进一步地，在确定目标共享单车故障后，可以通过视频分析识别目标共享单车所属的厂家，并向其所属厂家通告该发生故障的目标共享单车的位置。目标共享单车的位置可以由负责拍摄此目标视频流的城市监控相机所在地点及其视野范围确定。而故障共享单车位置的通告，可以由后端服务器实现，也可以在城市监控相机中增加通讯模块实现。

在另一个实施例中，如果目标共享单车在上述N个视频帧中发生位移，则表明扫码成功，该目标共享单车被正常解锁使用；在确定扫码成后，可以获取在发生位移前该目标共享单车在视频帧中的位置坐标，比如可以获取该目标共享单车在该N个视频帧中的第一帧中的位置坐标；然后判断是否存在与该位置坐标对应的扫码失败记录，如果存在，则清除该扫码失败记录。

综上所述，本申请提供的共享单车检测方法，可以利用现成的城市监控视频，通过分析视频中行人与共享单车之间是否存在扫码失败事件，来判断共享单车是否故障，从而及时对故障的共享单车进行处理，维护城市道路的通畅。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

参见图4，图4为本申请提供的共享单车检测装置的结构图。如图4所示，该装置包括：

检测模块401，用于对目标视频流中的视频帧进行检测；当检测到有扫码动作时，识别所述扫码动作针对的目标共享单车；跟踪所述扫码动作并检测所述扫码动作何时结束。

定位模块402，用于在所述检测模块401确定所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置。

处理模块403，用于将所述目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断所述目标共享单车在所述N个视频帧中是否发生位移；如果未发生位移，则确定扫码失败。

在其中一种实施方式中，所述处理模块403，还用于在确定扫码失败之后，获取所述目标共享单车在视频帧中的位置坐标；判断是否存在与所述位置坐标对应的扫码失败记录；如果存在，则将所述扫码失败记录中的统计次数加1；并判断加1后的统计次数是否超过设定的阈值，如果超过，则确定所述目标共享单车发生故障。

在其中一种实施方式中，所述装置还可以包括：

厂家确定模块，用于确定所述目标共享单车所属的厂家；

通告模块，用于向确定出的厂家通告所述目标共享单车的位置。

在其中一种实施方式中，所述处理模块403，还用于如果所述目标共享单车在所述N个视频帧中发生位移，则确定扫码成功；在确定扫码成后，获取在发生位移前所述目标共享单车在视频帧中的位置坐标；判断是否存在与所述位置坐标对应的扫码失败记录；如果存在，则清除所述扫码失败记录。

在其中一种实施方式中，所述装置还可以包括：

训练模块，用于获取标记出共享单车的第一样本集和标记出扫码动作的第二样本集；根据所述第一样本集训练得到定位模型，以及根据所述第二样本集训练得到识别模型；所述定位模型用于判断视频帧中是否存在共享单车并输出共享单车的位置，所述识别模型用于判断视频帧中是否存在扫码动作并输出扫码动作的位置。

在其中一种实施方式中，所述检测模块401，用于将目标视频流中的视频帧输入所述定位模型和所述识别模型；当所述识别模型在第一视频帧中检测到扫码动作，且所述定位模型在所述第一视频帧中检测到共享单车时，从所述定位模型输出的共享单车位置坐标中选择一个与所述识别模型输出的扫码动作位置坐标最接近的位置坐标；将选择的位置坐标对应的共享单车判定是所述扫码动作针对的目标共享单车。

在其中一种实施方式中，所述检测模块401，用于当所述识别模型在第一视频帧之后的第二视频帧中检测不到所述扫码动作时，确定所述扫码动作结束；

所述定位模块402，用于利用所述定位模型对所述第二视频帧之后的N个视频帧进行分析，输出所述目标共享单车在所述第二视频帧之后的N个视频帧中的位置。

需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请还提供一种共享单车检测装置，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现如图2所示的方法。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种共享单车检测方法，其特征在于，包括：

对目标视频流中的视频帧进行检测；

当检测到有扫码动作时，识别所述扫码动作针对的目标共享单车；

跟踪所述扫码动作，在检测到所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置；

将所述目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断所述目标共享单车在所述N个视频帧中是否发生位移；

如果未发生位移，则确定扫码失败。

2.如权利要求1所述的方法，其特征在于，在确定扫码失败之后，所述方法还包括：

获取所述目标共享单车在视频帧中的位置坐标；

判断是否存在与所述位置坐标对应的扫码失败记录；

如果存在，则将所述扫码失败记录中的统计次数加1；并判断加1后的统计次数是否超过设定的阈值，如果超过，则确定所述目标共享单车发生故障。

3.如权利要求2所述的方法，其特征在于，在确定所述目标共享单车发生故障后，所述方法还包括：

确定所述目标共享单车所属的厂家；

向确定出的厂家通告所述目标共享单车的位置。

4.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

如果所述目标共享单车在所述N个视频帧中发生位移，则确定扫码成功；

在确定扫码成功 后，获取在发生位移前所述目标共享单车在视频帧中的位置坐标；

判断是否存在与所述位置坐标对应的扫码失败记录；

如果存在，则清除所述扫码失败记录。

5.如权利要求1所述的方法，其特征在于，在对目标视频流中的视频帧进行检测前，所述方法还包括：

获取标记出共享单车的第一样本集和标记出扫码动作的第二样本集；

根据所述第一样本集训练得到定位模型，以及根据所述第二样本集训练得到识别模型；所述定位模型用于判断视频帧中是否存在共享单车并输出共享单车的位置，所述识别模型用于判断视频帧中是否存在扫码动作并输出扫码动作的位置。

6.如权利要求5所述的方法，其特征在于，所述对目标视频流中的视频帧进行检测，当检测有扫码动作时，识别所述扫码动作针对的目标共享单车，包括：

将目标视频流中的视频帧输入所述定位模型和所述识别模型；

当所述识别模型在第一视频帧中检测到扫码动作，且所述定位模型在所述第一视频帧中检测到共享单车时，从所述定位模型输出的共享单车位置坐标中选择一个与所述识别模型输出的扫码动作位置坐标最接近的位置坐标；

将选择的位置坐标对应的共享单车判定是所述扫码动作针对的目标共享单车。

7.如权利要求6所述的方法，其特征在于，所述在检测到所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置，包括：

当所述识别模型在第一视频帧之后的第二视频帧中检测不到所述扫码动作时，确定所述扫码动作结束；

利用所述定位模型对所述第二视频帧之后的N个视频帧进行分析，输出所述目标共享单车在所述第二视频帧之后的N个视频帧中的位置。

8.一种共享单车检测装置，其特征在于，包括：

检测模块，用于对目标视频流中的视频帧进行检测；当检测到有扫码动作时，识别所述扫码动作针对的目标共享单车；跟踪所述扫码动作并检测所述扫码动作何时结束；

定位模块，用于在所述检测模块确定所述扫码动作结束后，获取所述目标共享单车在扫码动作结束后的N个视频帧中的位置；

处理模块，用于将所述目标共享单车在扫码动作结束后的N个视频帧中的位置进行比对，判断所述目标共享单车在所述N个视频帧中是否发生位移；如果未发生位移，则确定扫码失败。

9.如权利要求8所述的装置，其特征在于，

所述处理模块，还用于在确定扫码失败之后，获取所述目标共享单车在视频帧中的位置坐标；判断是否存在与所述位置坐标对应的扫码失败记录；如果存在，则将所述扫码失败记录中的统计次数加1；并判断加1后的统计次数是否超过设定的阈值，如果超过，则确定所述目标共享单车发生故障。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

厂家确定模块，用于确定所述目标共享单车所属的厂家；

通告模块，用于向确定出的厂家通告所述目标共享单车的位置。

11.如权利要求8或9所述的装置，其特征在于，

所述处理模块，还用于如果所述目标共享单车在所述N个视频帧中发生位移，则确定扫码成功；在确定扫码成功 后，获取在发生位移前所述目标共享单车在视频帧中的位置坐标；判断是否存在与所述位置坐标对应的扫码失败记录；如果存在，则清除所述扫码失败记录。

12.如权利要求8所述的装置，其特征在于，所述装置还包括：

训练模块，用于获取标记出共享单车的第一样本集和标记出扫码动作的第二样本集；根据所述第一样本集训练得到定位模型，以及根据所述第二样本集训练得到识别模型；所述定位模型用于判断视频帧中是否存在共享单车并输出共享单车的位置，所述识别模型用于判断视频帧中是否存在扫码动作并输出扫码动作的位置。

13.如权利要求12所述的装置，其特征在于，

所述检测模块，用于将目标视频流中的视频帧输入所述定位模型和所述识别模型；当所述识别模型在第一视频帧中检测到扫码动作，且所述定位模型在所述第一视频帧中检测到共享单车时，从所述定位模型输出的共享单车位置坐标中选择一个与所述识别模型输出的扫码动作位置坐标最接近的位置坐标；将选择的位置坐标对应的共享单车判定是所述扫码动作针对的目标共享单车。

14.如权利要求13所述的装置，其特征在于，

所述检测模块，用于当所述识别模型在第一视频帧之后的第二视频帧中检测不到所述扫码动作时，确定所述扫码动作结束；

所述定位模块，用于利用所述定位模型对所述第二视频帧之后的N个视频帧进行分析，输出所述目标共享单车在所述第二视频帧之后的N个视频帧中的位置。

Images