CN114022837A - 车站遗留物品检测方法、装置、电子设备及存储介质 - Google Patents

车站遗留物品检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114022837A
CN114022837A CN202111188355.4A CN202111188355A CN114022837A CN 114022837 A CN114022837 A CN 114022837A CN 202111188355 A CN202111188355 A CN 202111188355A CN 114022837 A CN114022837 A CN 114022837A
Authority
CN
China
Prior art keywords
article
station
image
model
legacy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111188355.4A
Other languages
English (en)
Inventor
殷娇阳
包峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Control Technology TCT Co Ltd
Original Assignee
Traffic Control Technology TCT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Control Technology TCT Co Ltd filed Critical Traffic Control Technology TCT Co Ltd
Priority to CN202111188355.4A priority Critical patent/CN114022837A/zh
Publication of CN114022837A publication Critical patent/CN114022837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

本发明提供一种车站遗留物品检测方法、装置、电子设备及存储介质，其中所述方法包括：根据车站摄像设备捕捉到的目标视频，获取时序相关的目标图像集合，将所述目标图像集合输入遗留物品检测模型，获取目标图像集合中的每个图像的标记结果，所述标记结果中包括物品标记和人物标记，根据所述每个图像的标记结果和所述每个图像的时序关系确定遗留物品，其中，所述遗留物品检测模型是基于带标记的车站候车区域图像训练得到，增加了遗留物品识别的准确性，并且不需要人工参与，实现了自动化的车站遗留物品识别。

Description

车站遗留物品检测方法、装置、电子设备及存储介质
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种车站遗留物品检测 方法、装置、电子设备及存储介质。
背景技术
物品遗留经常发生于火车站、汽车站、机场、地铁站等公共场合。
目前解决物品遗留问题的方案包括如下两种：
1、乘客拾金不昧通知站内乘务人员；2、失主联系车站，工作人 员帮忙调取视频录像进行查询。
目前的解决方案的缺点很明显，包括，需要人工参与，发现时间 不及时，找回物品概率低等。
发明内容
本发明提供一种车站遗留物品检测方法、装置、电子设备及存储 介质，用以解决现有技术中遗留物品发现不及时并且需要人工参与的 缺陷，实现准确、及时和自动的车站遗留物品识别。
本发明提供一种车站遗留物品检测方法，包括：
根据车站摄像设备捕捉到的目标视频，获取时序相关的目标图像 集合；
将所述目标图像集合输入遗留物品检测模型，获取目标图像集合 中的每个图像的标记结果；所述标记结果中包括物品标记和人物标记；
根据所述每个图像的标记结果和所述每个图像的时序关系确定 遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
根据本发明提供的一种车站遗留物品检测方法，所述根据所述每 个图像的标记结果和所述每个图像的时序关系确定遗留物品，包括：
基于所述物品标记和人物标记确定物品与人物的距离；
基于所述每个图像的时序关系确定物品和人物的位置轨迹；
基于所述物品与人物的距离以及物品和人物的位置轨迹确定遗 留物品。
根据本发明提供的一种车站遗留物品检测方法，还包括：
改进yolov5网络模型，得到第一网络模型；
通过训练样本集对第一网络模型训练，得到遗留物品检测模型。
根据本发明提供的一种车站遗留物品检测方法，所述改进yolov5 网络模型，包括：
替换yolov5网络模型中的backbone层的CSPDarkNet53网络结 构为轻量级的网络结构，以及删除FPN网络结构中检测大目标的网 络层。
根据本发明提供的一种车站遗留物品检测方法，所述改进yolov5 网络模型，包括：
采用DIOU_nms算法代替NMS算法，对yolov5网络模型进行改 进。
根据本发明提供的一种车站遗留物品检测方法，所述通过训练样 本集对第一网络模型训练，得到遗留物品检测模型，包括：
根据车站候车区域的监控数据，得到第一数据集；
对所述第一数据集中的图像进行扩充，得到第二数据集；
通过对第二数据集中的图像中的物品和人物进行标记，得到所述 训练样本集；
将所述训练样本集中的图像输入所述第一网络模型进行训练，直 至损失函数收敛，得到所述遗留物品检测模型。
本发明提供一种车站遗留物品检测装置，包括：
目标图像集合获取模块，用于根据车站摄像设备捕捉到的目标视 频，获取时序相关的目标图像集合；
模型检测模块，用于将所述目标图像集合输入遗留物品检测模型， 获取目标图像集合中的每个图像的标记结果；所述标记结果中包括物 品标记和人物标记；
遗留物品确定模块，用于根据所述每个图像的标记结果和所述每 个图像的时序关系确定遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时 实现如上述任一种所述车站遗留物品检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，该计算机程序被处理器执行时实现如上述任一种所述车站遗 留物品检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算 机程序被处理器执行时实现如上述任一种所述车站遗留物品检测方 法的步骤。
本发明提供的车站遗留物品检测方法、装置、电子设备及存储介 质，通过将视频转化为静态图像，获取各个图像的标记，再根据图像 的时序关系，确定遗留物品，增加了遗留物品识别的准确性，并且不 需要人工参与，实现了自动化的车站遗留物品识别。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。
图1是本发明提供的车站遗留物品检测方法的流程示意图；
图2是本发明提供的根据所述每个图像的标记结果和所述每个 图像的时序关系确定遗留物品的流程示意图；
图3是本发明提供的训练得到所述遗留物品检测模型的流程示 意图；
图4是本发明提供的车站遗留物品检测装置的结构示意图；
图5是本发明提供的车站遗留物品检测装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的车站遗留物品检测方法的流程示意 图，如图1所示，所述车站遗留物品检测方法包括以下步骤：
步骤100、根据车站摄像设备捕捉到的目标视频，获取时序相关 的目标图像集合。
可选地，获取车站候车区域的摄像设备捕捉到的目标视频，截取 目标视频中的图像，并根据图像的时序关系，得到时序相关的目标图 像集合，其中目标图像集合中包括至少一张车站候车区域图像，以及 车站候车区域图像的拍摄时间，或者车站候车区域图像之间的时间间 隔。
步骤101、将所述目标图像集合输入遗留物品检测模型，获取目 标图像集合中的每个图像的标记结果；所述标记结果中包括物品标记 和人物标记。
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
可选地，将所述目标图像集合输入遗留物品检测模型，得到目标 图像集合中的每个图像的标记结果，标记结果包括物品标记和人物标 记，该标记结果可以为标记框的形式。
步骤102、根据所述每个图像的标记结果和所述每个图像的时序 关系确定遗留物品。
可选地，如果标记结果为标记框的形式，则根据标记框确定物品 和人物的中心点，根据物品和人物的中心点可以计算物品和人物之间 的欧式距离。根据图像的时序关系以及各个图像中人物的中心点可以 确定人物的中心点的运动轨迹可以确定人物离开物品的时间。在物品 和人物之间的欧式距离大于第一阈值，且人物离开物品的时间超过第 二阈值的情况下，则确定该物品为遗留物品。
本发明实施例提供的车站遗留物品检测方法，根据车站摄像设备 捕捉到的目标视频，获取时序相关的目标图像集合，基于遗留物品检 测模型，确定目标图像集合中图像的人物标记和物品标记，最后结合 图像的时序关系确定遗留物品，首先将视频转化为静态图像，获取各 个图像的标记，再根据图像的时序关系，确定遗留物品，增加了遗留 物品识别的准确性和及时性，并且不需要人工参与，实现了自动化的 车站遗留物品识别。
图2是本发明实施例提供的根据所述每个图像的标记结果和所 述每个图像的时序关系确定遗留物品的流程示意图，如图2所示，在 一个实施例中，所述根据所述每个图像的标记结果和所述每个图像的 时序关系确定遗留物品，包括以下步骤：
步骤200、基于所述物品标记和人物标记确定物品与人物的距离。
可选地，所述物品标记和人物标记为标记框或者中心点标记的形 式，在所述物品标记和人物标记为标记框的情况下，根据标记框确定 物品与人物的中心点位置，并根据物品与人物的中心点位置计算物品 和人物之间的距离。
步骤201、基于所述每个图像的时序关系确定物品和人物的位置 轨迹。
可选地，根据每个图像中所述物品标记和人物标记确定物品和人 物的位置，再基于图像的时序关系，确定物品和人物的位置变化情况， 得到物品和人物的位置轨迹。
步骤202、基于所述物品与人物的距离以及物品和人物的位置轨 迹确定遗留物品。
可选地，识别遗留物品不仅要基于单个图像中物品与人物的距离， 还要结合动态的位置轨迹进行判断。
例如，在所述物品与人物之间的距离小于预设距离，且物品与人 物的位置轨迹重合的时间大于第一预设时间的情况下，则认为该物品 与人物之间存在关联关系，此时，如果该物品与人物之间的距离大于 预设距离的时间大于第二预设时间，则认为该物品为遗留物品。
本发明实施例提供的车站遗留物品检测方法，基于所述物品与人 物的距离以及物品和人物的位置轨迹确定遗留物品，将静态的距离与 动态的轨迹进行结合，识别遗留物品，提高了遗留物品识别的准确度， 实现了自动化的车站遗留物品识别。
图3是本发明实施例提供的训练得到所述遗留物品检测模型的 流程示意图，如图3所示，在一个实施例中，所述车站遗留物品检测 方法还包括，训练得到所述遗留物品检测模型，所述训练得到所述遗 留物品检测模型具体包括以下步骤：
步骤300、改进yolov5网络模型，得到第一网络模型。
其中，Yolov5网络模型由输入端、Backbone、Neck、输出端四 个部分构成。
输入端主要功能包括Mosaic数据增强、自适应锚框计算、自适 应图像缩放。
Backbone使用CSPDarknet，CSPDarknet解决了其他大型卷积神 经网络框架的Backbone中网络优化的梯度信息重复问题，将梯度的 变化从头到尾地集成到特征图中，因此减少了模型的参数量和每秒浮 点运算次数FLOPS数值，保证了推理速度和准确率，同时也减小了 模型尺寸。
Neck包括特征金字塔网络(feature pyramid networks，FPN)结 构和金字塔注意网络(Pyramid Attention Network，PAN)结构，主要 用于生成特征金字塔，特征金字塔会增强模型对于不同缩放尺度对象 的检测，从而能够识别不同大小和尺寸的同一个物体。
输出端包括Bounding box损失函数和非极大值抑制 (Non-MaximumSuppression，NMS)的后处理方式。具体地，损失 函数使用GIOU_Loss损失函数，NMS采用加权nms。
此外，yolov5网络模型中采用Focus结构，输入端将大小为 608*608*3的图像输入Focus结构，Focus结构采用切片操作，先将 图像变成304*304*12的特征图像feature map，再经过一次32个卷积 核的卷积操作，最终变成304*304*32的feature map。Focus结构起到了下采样的作用，和普通卷积下采样相比，Foucs结构在图像下采样 的过程中，不会带来信息丢失的情况，使得后续特征提取更加充分。
但是yolov5网络模型在对车站的物品和人物识别过程中，任有 一些缺陷，例如，参数过多，识别速度快，存在识别大目标的网络层， 不适用于车站物品的识别，导致识别结果不准确。
因此，需要对yolov5网络模型进行改进，例如替换yolov5网络 模型中的部分网络结构为轻量级的网络结构，得到第一网络模型，使 得模型更适用于车站遗留物品的检测。
步骤301、通过训练样本集对第一网络模型训练，得到遗留物品 检测模型。
将训练样本输入第一网络模型中，所述训练样本包括车站候车区 域图像以及车站候车区域图像的人物标记和物品标记。
根据模型的输出结果与车站候车区域图像的人物标记和物品标 记的误差，计算损失函数值，更新第一网络模型的参数，直至损失函 数收敛，保存当前的第一网络模型参数，得到遗留物品检测模型。
本发明实施例提供的车站遗留物品检测方法，通过改进yolov5 网络模型，得到第一网络模型，再通过训练样本集对第一网络模型训 练，得到遗留物品检测模型，提高了遗留物品检测模型输出的图像标 记结果的准确性，进而提高了遗留物品识别的准确度，实现了自动化 的车站遗留物品识别。
在一个实施例中，所述改进yolov5网络模型，包括：
替换yolov5网络模型中的backbone层的CSPDarkNet53网络结 构为轻量级的网络结构，以及删除FPN网络结构中检测大目标的网 络层。
可选地，由于检测目标为人头部和背包，这两个物体属于中小目 标，而且类别特征不是很复杂，因此，我们从两个角度对yolov5网 络结构进行改进以提高模型检测的速度。
例如，替换yolov5中的backbone层的CSPdarknet53网络结构换 为轻量级别的mobilenet-V2网络，mobilenet-V2网络用于进行特征提 取，提高特征提取速度。
对yolov5中FPN结构和PAN网络结构进行改进，由于FPN网 络结构输出三层，分别检测大、中、小三类目标，而本方案中的检测 的目标类别中只有中、小目标，因此将FPN网络中检测大目标的P5 层删除掉，而PAN网络结构与FPN网络结构正好相反，自此底向上 传递强定位信息，所以PAN网络结构也是只保留两层，与PAN网络 结构对应一致修改FPN网络结构。
本发明实施例提供的车站遗留物品检测方法，通过替换yolov5 网络模型中的backbone层的CSPDarkNet53网络结构为轻量级的网络 结构，以及删除FPN网络结构中检测大目标的网络层改进yolov5网 络模型，这种改进方式加速了模型的识别速度，进而提高了遗留物品 识别的效率。
在一个实施例中，所述改进yolov5网络模型，包括：
采用DIOU_nms算法代替NMS算法，对yolov5网络模型进行改 进。
可选地，在原始的NMS算法中，交并比 (Intersection-over-Union,IoU)指标用于抑制多余的检测框，但由于仅考 虑了重叠区域，经常造成错误的抑制，特别是在边界框Bounding box 包含的情况下；而DIOU_nms不仅考虑重叠区域，还考虑了两个 Boundingbox中心点之间的距离，当两个Bounding box之间的IOU 比较大时，如果两个Bunding box的中心点距离也比较大，就会认为 是两个物体的框，而不会被过滤掉，适用于车站这一存在遮挡的复杂 场景。具体公式为：
Figure BDA0003300207140000091
其中，si是分类置信度，IoU为交并比，M为最高置信度的框， Bi为除了M外的其他框中的第i个框，RDIoU(M,Bi)为M和Bi两个 框中心点之间的距离，ε为NMS阈值。
可以理解的，得分最高的预测框M和其它框Bi的(IOU-DIOU) 小于NMS阈值时，Bi的分类置信度si仍然保持，否则，当预测框M 和其它框Bi的(IOU-DIOU)大于NMS阈值时，si值就设成0了， 即被过滤掉。
本发明实施例提供的车站遗留物品检测方法，采用DIOU_nms 算法代替NMS算法，对yolov5网络模型进行改进，解决的车站中的 物品间存在遮挡的带来的检测结果不准确的问题，提高了模型识别结 果的准确度。
图4是本发明实施例提供的通过训练样本集对第一网络模型训 练，得到遗留物品检测模型的流程示意图，如图4所示，在一个实施 例中，所述通过训练样本集对第一网络模型训练，得到遗留物品检测 模型，包括：
步骤400、根据车站候车区域的监控数据，得到第一数据集。
可选地，获取车站候车区域的摄像设备捕捉到视频，从中截取出 现遗留物的图像，得到第一数据集，或者直接获取摄像设备捕捉到的 出现遗留物的图像，得到第一数据集。
步骤401、对所述第一数据集中的图像进行扩充，得到第二数据 集。
可选地，由于车站出现遗留物场景较少，即第一数据集较少。因 此我们采用了数据增强生成对抗网络(Data Augmented Generative Adversarial Networks，DAGAN)来增加数据集数量，此外，yolov5模 型输入端采用Mosaic做数据增强，采用随机缩放、随机裁剪、随机 排布的方式进行图像拼接，对于小目标(背包)的检测效果更好。
步骤402、通过对第二数据集中的图像中的物品和人物进行标记， 得到所述训练样本集。
可选地，使用标注工具对训练集进行数据标注，将图像中的背包 和行李箱，部分乘客都进行标注，最终得到xml文件形式的训练样本 集。
步骤403、将所述训练样本集中的图像输入所述第一网络模型进 行训练，直至损失函数收敛，得到所述遗留物品检测模型。
可选地，将训练样本集中的图像输入所述第一网络模型进行训练， 将得到的输出结果与图像的标注进行对比，计算损失函数，在损失函 数不收敛的情况下，调整模型参数，继续训练，在损失函数收敛的情 况下，停止训练，保存当前的模型参数，得到遗留物品检测模型。
其中，损失函数如下：
Loss＝lbox+lobj+lcls
Figure BDA0003300207140000111
Figure BDA0003300207140000112
Figure BDA0003300207140000113
其中，λcoord、λnoobj、λobj和λclass均为可设置的超参数，S为网 格尺寸；B为网格中的锚框数量；
Figure BDA0003300207140000114
表示如果第i个网格的第j个锚 框anchor box负责这个对象object，则
Figure BDA0003300207140000115
值为1，如果第i个网格的 第j个anchor box不负责这个object，则
Figure BDA0003300207140000116
值为0，需要说明的是， 第i个网格中的B个anchor box中，与该object中的ground truth box 的IoU最大的anchor box就负责这个object；
Figure BDA0003300207140000117
表示如果第i个网 格的第j个anchor box不负责这个object，则
Figure BDA0003300207140000118
值为1，如果第i 个网格的第j个anchor box负责这个object，则
Figure BDA0003300207140000119
值为0；xi为标 记的第i个目标框位置的左上角的横坐标；yi为标记的第i个目标框 位置的左上角的纵坐标；wi为标记的第i个目标框的宽；hi为标记的 第i个目标框的高；
Figure BDA0003300207140000121
为模型预测的第i个目标框位置的左上角的横 坐标；
Figure BDA0003300207140000122
为模型预测的第i个目标框位置的左上角的纵坐标；
Figure BDA0003300207140000123
为模 型预测的第i个目标框的宽；
Figure BDA0003300207140000124
为模型预测的第i个目标框的高；ci为 第i个框的置信度；
Figure BDA0003300207140000125
为模型预测的i个框的置信度，pi(c)为第i个 框的标签的类型；
Figure BDA0003300207140000126
为模型预测的i个框的类型。
可以理解的，lobj计算置信度带来的误差，lcls计算类别带来的 误差，lbox计算边界框带来的误差，根据三种误差，得到最终的损失 函数。
此外，还可以通过使用Adam优化器自动调整学习率加快损失函 数的收敛。
本发明实施例提供的车站遗留物品检测方法，通过对根据车站候 车区域的监控数据得到的第一数据集进行扩充，再将扩充后的数据集 进行标注后输入第一网络模型进行训练，得到遗留物品检测模型，提 高了遗留物品识别的准确度，实现了自动化的车站遗留物品识别。
下面对本发明提供的车站遗留物品检测装置进行描述，下文描述 的车站遗留物品检测装置与上文描述的车站遗留物品检测方法可相 互对应参照。
图5是本发明实施例提供的车站遗留物品检测装置的结构示意 图，如图5所示，所述车站遗留物品检测装置的结构示意图包括目标 图像集合获取模块510、模型检测模块520和遗留物品确定模块530， 其中，
目标图像集合获取模块510，用于根据车站摄像设备捕捉到的目 标视频，获取时序相关的目标图像集合；
模型检测模块520，用于将所述目标图像集合输入遗留物品检测 模型，获取目标图像集合中的每个图像的标记结果；所述标记结果中 包括物品标记和人物标记；
遗留物品确定模块530，用于根据所述每个图像的标记结果和所 述每个图像的时序关系确定遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
可选地，所述遗留物品确定模块530，具体用于，基于所述物品 标记和人物标记确定物品与人物的距离；
基于所述每个图像的时序关系确定物品和人物的位置轨迹；
基于所述物品与人物的距离以及物品和人物的位置轨迹确定遗 留物品。
可选地，所述车站遗留物品检测装置还包括遗留物品检测模型获 取模块，用于改进yolov5网络模型，得到第一网络模型；
通过训练样本集对第一网络模型训练，得到遗留物品检测模型。
可选地，所述改进yolov5网络模型，包括：
替换yolov5网络模型中的backbone层的CSPDarkNet53网络结 构为轻量级的网络结构，以及删除FPN网络结构中检测大目标的网 络层。
可选地，所述改进yolov5网络模型，包括：
采用DIOU_nms算法代替NMS算法，对yolov5网络模型进行改 进。
可选地，所述通过训练样本集对第一网络模型训练，得到遗留物 品检测模型，包括：
根据车站候车区域的监控数据，得到第一数据集；
对所述第一数据集中的图像进行扩充，得到第二数据集；
通过对第二数据集中的图像中的物品和人物进行标记，得到所述 训练样本集；
将所述训练样本集中的图像输入所述第一网络模型进行训练，直 至损失函数收敛，得到所述遗留物品检测模型。
在此需要说明的是，本发明实施例提供的上述装置，能够实现上 述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果， 在此不再对本实施例中与方法实施例相同的部分及有益效果进行具 体赘述。
本发明提供的车站遗留物品检测装置能够实现图1至图4的方法 实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里 不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电 子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610， 通信接口620，存储器630通过通信总线640完成相互间的通信。处 理器610可以调用存储器630中的逻辑指令，以执行车站遗留物品检 测方法，该方法包括：根据车站摄像设备捕捉到的目标视频，获取时 序相关的目标图像集合；
将所述目标图像集合输入遗留物品检测模型，获取目标图像集合 中的每个图像的标记结果；所述标记结果中包括物品标记和人物标记；
根据所述每个图像的标记结果和所述每个图像的时序关系确定 遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟 或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序 产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介 质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法 所提供的车站遗留物品检测方法，该方法包括：根据车站摄像设备捕 捉到的目标视频，获取时序相关的目标图像集合；
将所述目标图像集合输入遗留物品检测模型，获取目标图像集合 中的每个图像的标记结果；所述标记结果中包括物品标记和人物标记；
根据所述每个图像的标记结果和所述每个图像的时序关系确定 遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各 方法提供的车站遗留物品检测方法，该方法包括：根据车站摄像设备 捕捉到的目标视频，获取时序相关的目标图像集合；
将所述目标图像集合输入遗留物品检测模型，获取目标图像集合 中的每个图像的标记结果；所述标记结果中包括物品标记和人物标记；
根据所述每个图像的标记结果和所述每个图像的时序关系确定 遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像 训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部 件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付 出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然 也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软 件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光 盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所 述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而 非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领 域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。

Claims (10)

1.一种车站遗留物品检测方法，其特征在于，包括：
根据车站摄像设备捕捉到的目标视频，获取时序相关的目标图像集合；
将所述目标图像集合输入遗留物品检测模型，获取目标图像集合中的每个图像的标记结果；所述标记结果中包括物品标记和人物标记；
根据所述每个图像的标记结果和所述每个图像的时序关系确定遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像训练得到。
2.根据权利要求1所述的车站遗留物品检测方法，其特征在于，所述根据所述每个图像的标记结果和所述每个图像的时序关系确定遗留物品，包括：
基于所述物品标记和人物标记确定物品与人物的距离；
基于所述每个图像的时序关系确定物品和人物的位置轨迹；
基于所述物品与人物的距离以及物品和人物的位置轨迹确定遗留物品。
3.根据权利要求1所述的车站遗留物品检测方法，其特征在于，还包括：
改进yolov5网络模型，得到第一网络模型；
通过训练样本集对第一网络模型训练，得到遗留物品检测模型。
4.根据权利要求3所述的车站遗留物品检测方法，其特征在于，所述改进yolov5网络模型，包括：
替换yolov5网络模型中的backbone层的CSPDarkNet53网络结构为轻量级的网络结构，以及删除FPN网络结构中检测大目标的网络层。
5.根据权利要求3所述的车站遗留物品检测方法，其特征在于，所述改进yolov5网络模型，包括：
采用DIOU_nms算法代替NMS算法，对yolov5网络模型进行改进。
6.根据权利要求3所述的车站遗留物品检测方法，其特征在于，所述通过训练样本集对第一网络模型训练，得到遗留物品检测模型，包括：
根据车站候车区域的监控数据，得到第一数据集；
对所述第一数据集中的图像进行扩充，得到第二数据集；
通过对第二数据集中的图像中的物品和人物进行标记，得到所述训练样本集；
将所述训练样本集中的图像输入所述第一网络模型进行训练，直至损失函数收敛，得到所述遗留物品检测模型。
7.一种车站遗留物品检测装置，其特征在于，包括：
目标图像集合获取模块，用于根据车站摄像设备捕捉到的目标视频，获取时序相关的目标图像集合；
模型检测模块，用于将所述目标图像集合输入遗留物品检测模型，获取目标图像集合中的每个图像的标记结果；所述标记结果中包括物品标记和人物标记；
遗留物品确定模块，用于根据所述每个图像的标记结果和所述每个图像的时序关系确定遗留物品；
其中，所述遗留物品检测模型是基于带标记的车站候车区域图像训练得到。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述车站遗留物品检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述车站遗留物品检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述车站遗留物品检测方法的步骤。
CN202111188355.4A 2021-10-12 2021-10-12 车站遗留物品检测方法、装置、电子设备及存储介质 Pending CN114022837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111188355.4A CN114022837A (zh) 2021-10-12 2021-10-12 车站遗留物品检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188355.4A CN114022837A (zh) 2021-10-12 2021-10-12 车站遗留物品检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114022837A true CN114022837A (zh) 2022-02-08

Family

ID=80055725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188355.4A Pending CN114022837A (zh) 2021-10-12 2021-10-12 车站遗留物品检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114022837A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311445A (zh) * 2022-10-12 2022-11-08 南通红运金属科技有限公司 一种用于冶金工艺的渣盒智能检测方法
CN116994231A (zh) * 2023-08-01 2023-11-03 无锡车联天下信息技术有限公司 一种车内遗留物体的确定方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311445A (zh) * 2022-10-12 2022-11-08 南通红运金属科技有限公司 一种用于冶金工艺的渣盒智能检测方法
CN116994231A (zh) * 2023-08-01 2023-11-03 无锡车联天下信息技术有限公司 一种车内遗留物体的确定方法、装置及电子设备

Similar Documents

Publication Publication Date Title
WO2020173226A1 (zh) 一种时空行为检测方法
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN113034545A (zh) 一种基于CenterNet多目标跟踪算法的车辆跟踪方法
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN113139896A (zh) 基于超分辨重建的目标检测系统及方法
CN114170570A (zh) 一种适用于拥挤场景下的行人检测方法及系统
CN112257527A (zh) 基于多目标融合与时空视频序列的手机检测方法
Wu et al. Single shot multibox detector for vehicles and pedestrians detection and classification
CN111815616A (zh) 一种基于深度学习的x光安检图像中危险品检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN110956115B (zh) 场景识别方法及装置
CN110598665B (zh) 一种基于车载移动深度学习平台的杆号识别方法
CN111126170A (zh) 一种基于目标检测与追踪的视频动态物检测方法
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置
CN110738123A (zh) 识别密集陈列商品的方法及装置
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN113673478B (zh) 基于深度学习全景拼接的港口大型设备检测与识别方法
CN112633116B (zh) 一种智能解析pdf图文的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination