CN114581663B - 闸机多目标逃票检测方法、装置、计算机设备及存储介质 - Google Patents

闸机多目标逃票检测方法、装置、计算机设备及存储介质

Info

Publication number
CN114581663B
CN114581663B CN202210151259.0A CN202210151259A CN114581663B CN 114581663 B CN114581663 B CN 114581663B CN 202210151259 A CN202210151259 A CN 202210151259A CN 114581663 B CN114581663 B CN 114581663B
Authority
CN
China
Prior art keywords
model
picture
human
mask
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210151259.0A
Other languages
English (en)
Other versions
CN114581663A (zh
Inventor
胡懋成
王秋阳
汪玉冰
郑博超
凤阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN202210151259.0A priority Critical patent/CN114581663B/zh
Publication of CN114581663A publication Critical patent/CN114581663A/zh
Application granted granted Critical
Publication of CN114581663B publication Critical patent/CN114581663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了闸机多目标逃票检测方法、装置、计算机设备及存储介质。方法包括：获取摄像头拍摄的视频，并对视频进行处理，以得到待检测图片；将待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；将人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；将人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据跟踪结果结合人体掩膜预测图以及关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；将序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当检测结果是逃票行为时，生成警告信息，并发送警告信息至终端。通过实施本发明实施例的方法可实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。

Description

闸机多目标逃票检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及逃票检测方法，更具体地说是指闸机多目标逃票检测方法、装置、计算机设备及存储介质。
背景技术
当前，地铁等轨道交通作为一种重要而便捷的交通方式，被越来越多的人所青睐。一般情况下，人们在乘坐地铁前需要购票，在进站时需要通过闸机进行检票，但每天都有很多乘客逃票，例如通过跨越闸机等方式进行逃票，给地铁公司带来了很大经济损失。
中国专利CN201910010440.8公开了一种基于红外热成像的地铁逃票行为检测方法及系统，包括如下步骤：检测行人是否进入闸机图像行人检测范围；利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像；对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；对二值化的行人俯视图图像进行并行感兴趣子区域提取，设置ROI区域与闸机口个数(N)相同,获得N个相互独立的二值化闸机通道行人俯视图；对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；对N个闸机口逃票行为判定。采用该发明能够有效的识别并避免逃票行为。但是这种方法基于和红外热成像进行逃票检测成本较大，且需要固定摄像头这对于项目部署来说非常不友好，有一定的局限性，且基于二值化闸机通道行人俯视图二值图像进行判断往往受到光照等其他环境影响较大，无法保证效果的准确率。中国专利CN201911224925.3提供一种地铁乘客逃票行为检测系统和方法，该系统具体包括乘客信息标记模块，识别并标记乘客是否为需购票乘车乘客、是否携带婴儿，并抓取人脸信息，储存乘客动态乘车信息；刷卡行为识别莫OK，基于深度摄像的人体骨骼运动轨迹与刷卡区是否存在交集判断乘客是否刷卡；刷卡信息读取模块，读取闸机刷卡信息和时间，刷卡行为实施的同时又刷卡成功记录判定为刷卡成功；逃票行为判定与预警模块，结合乘客购票标记信息，刷卡行为识别信息，刷卡成功记录和通过人数识别逃票行为并预警；该方法基于深度摄像机进行拍摄，成本较大，且该系统需要结合刷卡信息读取摸摸看来获取逃票行为，无法直接进行图像信息来判断有一定局限性。中国专利CN201510144081.7公开了一种闸机检测系统及方法，该系统包括：三维图像信息采集模块，包括于从不同位置采集包含同一种待检测区域的二维图像信息的至少两个图像数据采集装置，用于获取待检测区域内的人体的影像信息；闸门状态获取模块，用于获取闸机的闸门状态信息；三维图像信息识别处理模块，用于利用所述人体的影像信息和所述闸门的状态信息判定人体是否发生逃票行为：报警模块，用于当所述人体发生逃票行为时进行报警；该方法需要采用三维图像信息采集模块成本较低，且需要基于闸机状态的获取，无法仅仅依据图像信息进行分析，部署项目也相对复杂。中国专利CN202110192793.1涉及一种基于乘客姿态快速估计的地铁闸机通行逃票方法，通过如下步骤进行识别，首先通过地铁闸机视频监控信息采集，再进行地铁乘客骨骼关键点检测，最后同故宫闸机通行乘客逃票行为识别，但是该方法仅仅依据关键点信息来判断乘客逃票行为判断，该方法无法获取到乘客逃票行为的连续特征，识别信息缺失影响乘客逃票的行为判断，其次仅仅依靠关键点信息进行逻辑判断，往往受摄像头拍摄的空间影响，带来识别不准确。
因此，有必要设计一种新的方法，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
发明内容
本发明的目的在于克服现有技术的缺陷，提供闸机多目标逃票检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：闸机多目标逃票检测方法，包括：
获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；
将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；
将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；
将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
其进一步技术方案为：所述图片模型是在yolov5模型的基础上添加mask分支形成的。
其进一步技术方案为：所述将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图，包括：
将所述待检测图片输入图片模型内，以由yolov5模型预测人体目标特征层；
通过ROI Align以及对应的SPP机制将目标特征分别从所述人体目标特征层中截取特征，以得到第一特征以及第二特征；
对所述第一特征进行空洞卷积组和反卷积组的上采样操作，对所述第二特征进行可变性卷积组的下采样操作，以得到处理后的两个特征向量；
对处理后的两个特征向量进行尺寸调整、原始特征直接拼接合并、CBAM的注意力机制操作以及尺寸二次调整，以得到人体掩膜预测图。
其进一步技术方案为：所述姿态识别模型是在HRNet模型的基础上添加SwinTransformer自注意力特征提取机制形成的。
其进一步技术方案为：所述跟踪模型是通过若干个带有行动轨迹标签的人体坐标信息训练ByteTrack模型所得的。
其进一步技术方案为：所述根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频，包括：
根据所述跟踪结果确定具备行动轨迹的人体掩膜预测图，并对确定的人体掩膜预测图进行处理，以得到处理结果；
将所述处理结果与所述关键点预测图进行原始特征直接拼接合并，以形成融合图片；
对所述融合图片按时间进行合并，以生成拥有姿态关键点以及人体掩膜信息的序列视频。
其进一步技术方案为：所述行为识别模型是在MoviNet模型的基础上将3D卷积修改为可变性的3D卷积形成的。
本发明还提供了闸机多目标逃票检测装置，包括：
采样单元，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
分割单元，用于将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；
关键点识别单元，用于将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；
跟踪单元，用于将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
视频生成单元，用于根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；
行为检测单元，用于将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
告警单元，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取摄像头拍摄的图像并进行切图，以将生成的待检测图片输入图片模型内进行人体实例分割，再结合姿态识别模型进行关键点识别，结合跟踪模型进行目标跟踪，并生成拥有姿态关键点以及人体掩膜信息的序列视频，根据序列视频进行逃票行为检测，当存在逃票行为时，进行告警，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的闸机多目标逃票检测方法的应用场景示意图；
图2为本发明实施例提供的闸机多目标逃票检测方法的流程示意图；
图3为本发明实施例提供的闸机多目标逃票检测方法的子流程示意图；
图4为本发明实施例提供的闸机多目标逃票检测方法的子流程示意图；
图5为本发明实施例提供的闸机多目标逃票检测装置的示意性框图；
图6为本发明实施例提供的闸机多目标逃票检测装置的分割单元的示意性框图；
图7为本发明实施例提供的闸机多目标逃票检测装置的视频生成单元的示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的闸机多目标逃票检测方法的应用场景示意图。图2为本发明实施例提供的闸机多目标逃票检测方法的示意性流程图。该闸机多目标逃票检测方法应用于服务器中。该服务器与终端以及摄像头进行数据交互，通过获取摄像头拍摄的视频，并对所述视频进行处理，以形成待检测图片，并利用图片模型进行人体实例分割、姿态识别模型进行关键点识别、跟踪模型进行目标跟踪，再生成拥有姿态关键点以及人体掩膜信息的序列视频，并将序列视频输入至行为识别模型内进行逃票行为识别，当存在逃票行为时，生成警告信息，并发送至终端进行提示；仅仅依赖于光学摄像机即可进行对乘客的逃票行为进行识别，无需对摄像机有固定的拍摄限制，仅需拍摄到闸机位置即可进行多人逃票同时检测，采用的微型模型对于实时性效果非常友好，可以及时对乘客逃票的行为进行报警，识别准确率高。
图2是本发明实施例提供的闸机多目标逃票检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。
S110、获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片。
在本实施例中，待检测图片是指摄像头拍摄的设定的闸机范围内的图片。
具体地，将光学摄像头的镜头对准乘客刷卡闸机区域，基于视频的方式对该区域进行监控，这里对光学摄像头采用固定焦距，固定角度及位置，对拍摄的视频采用切帧的方式生成图片，这里采用每2帧进行切图生成拥有一定时间序列的帧图片，即待检测图片，并保留帧图片的序列顺序信息，最后会对帧图片进行缩放操作，保证序列图片尺寸大小一致，且符合图片模型的输入需求，这里设置宽高大小为640，通过padding方式将输入的待检测图片缩放至该尺寸。
仅仅依赖于光学摄像头，无需红外成像技术进行目标定位，节省大量成本。
S120、将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图。
在本实施例中，人体掩膜预测图是指每个乘客每一帧的人体掩膜图。
具体地，所述图片模型是在yolov5模型的基础上添加mask分支形成的。图片模型可以同时支持目标检测以及分割任务，从而到达实时的实例分割的任务。为了兼顾效率及准确率，该基础模型选用yolov5x模型。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S124。
S121、将所述待检测图片输入图片模型内，以由yolov5模型预测人体目标特征层。
在本实施例中，人体目标特征层是指人体目标所在的特征层。
由于检测乘客这类型的目标尺寸偏中大范围，所以选取yolov5x模型中的第二层CSPDartnet53及第四层ResBlock_body输出，分别作为预测人体掩膜的输入特征层PMF1、PMF2；这两层特征分别具有较强的空间信息以及语义信息。
S122、通过ROI Align以及对应的SPP机制将目标特征分别从所述人体目标特征层中截取特征，以得到第一特征以及第二特征。
在本实施例中，第一特征层是指yolov5x模型中的第二层CSPDartnet53的输出；第二特征是指yolov5x模型中的第四层ResBlock_body的输出。
具体地，将yolov5x预测的目标特征层通过ROI Align以及对应的SPP机制分别从各自特征层截取对应的目标特征，形成第一特征以及第二特征。
S123、对所述第一特征进行空洞卷积组和反卷积组的上采样操作，对所述第二特征进行可变性卷积组的下采样操作，以得到处理后的两个特征向量。
在本实施例中，处理后的两个特征向量是指所述第一特征进行空洞卷积组和反卷积组的上采样操作后形成特征向量以及所述第二特征进行可变性卷积组的下采样操作后形成的特征向量。
具体地，卷积组包含了各自的多次卷积操作、激活操作、批次归一化等操作，其中，激活操作使用Mish激活函数执行。
S124、对处理后的两个特征向量进行尺寸调整、原始特征直接拼接合并、CBAM的注意力机制操作以及尺寸二次调整，以得到人体掩膜预测图。
具体地，两个特征向量进行尺寸调整，保证其拥有相同的特征层大小。再将尺寸调整后的输出结果进行原始特征直接拼接操作的合并，得到同时用于丰富的语义信息及空间信息的特征PE，接着对特征PE进行CBAM的注意力机制操作，使其通道数的个数等于目标类别，这里设置为1，即人体类别，最后进行尺寸调整操作，将特征图还原到原图目标大小，并通过激活函数得到最终的人体掩膜，该激活函数使用sigmoid激活函数，以进行归一化。
图片模型预测和训练对于mask预测中目标位置选取是有差别的，在预测中选取目标的位置是基于预测框位置的进行选取，再训练中通过标注框的信息对目标位置进行选取。模型对于目标检测采用的了CIOU损失函数，考虑在闸机区域的人体密集程度较稀疏的情况，所以采用了Fast-NMS的过程，加快图片模型的推理，对于目标分类损失采用了focalloss，减少类别不平衡带来的影响，对于语义分割采用的是dice损失函数，在训练的时候采用focus策略对模型的输入进行调整加速图片模型的推理。
首先设定闸机刷卡区域，对该区域内进行检测，并通过上图片模型将采集的样本预测出人体框及对应的PMP(掩膜信息，Person Mask Picture)，即人体掩膜预测图。
S130、将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图。
在本实施例中，关键点预测图是指左右眼、左右耳、左右肩、左右手肘、左右手腕、左右腰、左右膝盖以及左右脚踝等关键点的空间位置以及类别。
所述姿态识别模型是在HRNet模型的基础上添加SwinTransformer自注意力特征提取机制形成的。
具体地，姿态识别模型用来对闸机刷卡区域内的人体目标进行人体姿态识别，姿态识别模型基于人体关键点识别，采用自上而下的方式进行，即通过图片模型预测出的人体框的位置预测内部人体关键点，可以更好对部分遮挡的乘客躯干，基于隐藏的关键点空间坐标信息也能更有利于的进行行为预测。对于关键点检测即姿态识别模型的基础模型选用HRNet模型，再次基础上加入SwinTransformer自注意力特征提取机制；HRNet模型总共有四个阶段，在这四个阶段，多分辨率各网络之间是反复进行信息交换，并基于多尺度的融合将高分辨率与低分辨率的特征进行增强。本实施例在基于第一阶段提取的特征串接SwinTransformer，使得网络再浅层的信息拥有更大的感受野，并且能更好的获得全局信息，加快模型收敛。姿态识别模型使用的损失函数为MSE loss，为了更好的训练姿态识别模型，该姿态识别模型采用OHEM策略，对于难训练的关键点加大其损失的权重，易训练的关键点减少其损失的权重，使得模型更好的做到收敛。模型的输出不同通道代表不同的类别的关键点，关键点在输出的相对位置代表该关键点的空间位置，在预测的过程中选取置信度大于0.5阈值的关键点作为识别出的关键点，同时保留被遮挡的关键点，相同类别的关键点选取最大概率作为该类别的关键点。
S140、将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果。
在本实施例中，跟踪结果是人体的行动轨迹，也就是乘客的行为轨迹。
所述跟踪模型是通过若干个带有行动轨迹标签的人体坐标信息训练ByteTrack模型所得的。
具体地，在对闸机口逃票检测的过程中，容易出现同一时间有多目标(多乘客)的情况，为了记录不同乘客的运动轨迹，以方便后续基于时序信息进行行为识别，采用ByteTrack模型作为跟踪模型，通过不同时刻图片模型预测出来的目标坐标信息，也就是人体框进行跟踪，得到每个乘客的行动轨迹以及每个乘客轨迹的索引信息，如果两乘客中心点距离低于阈值则将两乘客组合并额外单独保留其轨迹信息，这里是为了针对距离较近的双人是否有尾随逃票情况。
S150、根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频。
在本实施例中，拥有姿态关键点以及人体掩膜信息的序列视频是指有人体的行动轨迹的人体掩膜预测图处理后形成的时间序列视频，且该时间序列视频具备姿态关键点的相关信息，不仅仅依据图像信息，也基于视频中图像之间的序列信息进行行为识别，识别准确的效果大大增强。
在一实施例中，请参阅图4，上述的步骤S150可包括步骤S151～S153。
S151、根据所述跟踪结果确定具备行动轨迹的人体掩膜预测图，并对确定的人体掩膜预测图进行处理，以得到处理结果。
在本实施例中，处理结果是指具备行动轨迹的人体掩膜预测图的RGB三通道图的前景置为原像素信息，背景RGB置为(0，0，0)形成的图片。
S152、将所述处理结果与所述关键点预测图进行原始特征直接拼接合并，以形成融合图片。
在本实施例中，融合图片是指处理结果与所述关键点预测图进行特征合并形成的图片。
S153、对所述融合图片按时间进行合并，以生成拥有姿态关键点以及人体掩膜信息的序列视频。
具体地，根据每一个乘客或组合乘客的运动轨迹以及闸机的位置进行逻辑判断，判断出乘客从进入闸机直至离开闸机的过程。在此过程中，记录下每个乘客每一帧的姿态关键点，，并生成对应的多个KPP(关键点预测图，KeyPoint Picture)，这里将关键点的信息置为1，非关键点的信息置为0，不同类别关键点用不同通道表示。同时对PMP的RGB三通道图的前景置为原像素信息，背景RGB置为(0，0，0)，以保留不同人体的空间信息，最后将KPP以及PMP进行Concate合并，以得到多个通道的PFP(预测融合图片，Prediction FusionPicture)，即得到单乘客时间序列PFP以及组合乘客时间序列的PFP，最后将这些时间序列的PFP进行合并，生成拥有姿态关键点以及人体掩膜信息的序列视频PFP-Video。
S160、将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果。
在本实施例中，检测结果是指当前的待检测图片是否存在逃票行为的识别结果。
具体地，所述行为识别模型是在MoviNet模型的基础上将3D卷积修改为可变性的3D卷积形成的。
采用序列视频PFP-Video作为行为识别模型的输入，进行行为识别，为了使行为识别模型更鲁棒，在训练的过程中对输入的帧采用间隔1-3帧随机抽取的方式进行训练，且对行为识别模型的3D卷积进行修改为可变形的3D卷积，增强行为识别模型对非规则物体的适应，尤其是非网格方形目标有较好的效果，在训练的时候同时会对人体掩膜及关键点进行随机DropBlock操作，即被drop掉的mask会被设置为背景，如果该区域有关键点，则该关键点也会被设置为背景，这是为了模型适应部分遮挡情况的发生，发生该情况也能很好的预测逃票行为。损失函数使用的是交叉熵损失函数。
S170、当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
具体地，将乘客通过闸机的行为分别分为下蹲、跳跃、尾随以及通过4个类别，对于单人轨迹则进行下蹲、跳跃以及通过行为预测，对于多人组合轨迹则进行尾随以及通过预测。如果在闸机口发生下蹲，跳跃以及尾随的情况，则视为存在逃票行为，生成警告信息。
本实施例的方法仅仅依赖于光学摄像机即可进行对乘客的逃票行为进行识别；无需对摄像机有固定的拍摄限制，仅需拍摄到闸机位置即可进行多人逃票同时检测；采用的微型模型对于实时性效果非常友好，可以及时对乘客逃票的行为进行报警，且在现有模型的基础上分别生成yolov5-mask模型，HRNet-SwinTransformer模型以及DC-MoviNet模型，其中，yolov5-mask模型为图片模型，HRNet-SwinTransformer模型为姿态识别模型，DC-MoviNet模型为行为识别模型，极大提高逃票行为检测的准确度。
上述的闸机多目标逃票检测方法，通过获取摄像头拍摄的图像并进行切图，以将生成的待检测图片输入图片模型内进行人体实例分割，再结合姿态识别模型进行关键点识别，结合跟踪模型进行目标跟踪，并生成拥有姿态关键点以及人体掩膜信息的序列视频，根据序列视频进行逃票行为检测，当存在逃票行为时，进行告警，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
图5是本发明实施例提供的一种闸机多目标逃票检测装置300的示意性框图。如图5所示，对应于以上闸机多目标逃票检测方法，本发明还提供一种闸机多目标逃票检测装置300。该闸机多目标逃票检测装置300包括用于执行上述闸机多目标逃票检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该闸机多目标逃票检测装置300包括采样单元301、分割单元302、关键点识别单元303、跟踪单元304、视频生成单元305、行为检测单元306以及告警单元307。
采样单元301，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；分割单元302，用于将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；关键点识别单元303，用于将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；跟踪单元304，用于将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；视频生成单元305，用于根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；行为检测单元306，用于将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；告警单元307，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
在一实施例中，如图6所示，所述分割单元302包括输入子单元3021、截取子单元3022、采样子单元3023以及调整子单元3024。
输入子单元3021，用于将所述待检测图片输入图片模型内，以由yolov5模型预测人体目标特征层；截取子单元3022，用于通过ROI Align以及对应的SPP机制将目标特征分别从所述人体目标特征层中截取特征，以得到第一特征以及第二特征；采样子单元3023，用于对所述第一特征进行空洞卷积组和反卷积组的上采样操作，对所述第二特征进行可变性卷积组的下采样操作，以得到处理后的两个特征向量；调整子单元3024，用于对处理后的两个特征向量进行尺寸调整、原始特征直接拼接合并、CBAM的注意力机制操作以及尺寸二次调整，以得到人体掩膜预测图。
在一实施例中，如图7所示，所述视频生成单元305包括处理子单元3051、融合子单元3052以及合并子单元3053。
处理子单元3051，用于根据所述跟踪结果确定具备行动轨迹的人体掩膜预测图，并对确定的人体掩膜预测图进行处理，以得到处理结果；融合子单元3052，用于将所述处理结果与所述关键点预测图进行原始特征直接拼接合并，以形成融合图片；合并子单元3053，用于对所述融合图片按时间进行合并，以生成拥有姿态关键点以及人体掩膜信息的序列视频。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述闸机多目标逃票检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述闸机多目标逃票检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图8，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种闸机多目标逃票检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种闸机多目标逃票检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
其中，所述图片模型是在yolov5模型的基础上添加mask分支形成的。
所述姿态识别模型是在HRNet模型的基础上添加SwinTransformer自注意力特征提取机制形成的。
所述跟踪模型是通过若干个带有行动轨迹标签的人体坐标信息训练ByteTrack模型所得的。
所述行为识别模型是在MoviNet模型的基础上将3D卷积修改为可变性的3D卷积形成的。
在一实施例中，处理器502在实现所述将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图步骤时，具体实现如下步骤：
将所述待检测图片输入图片模型内，以由yolov5模型预测人体目标特征层；通过ROI Align以及对应的SPP机制将目标特征分别从所述人体目标特征层中截取特征，以得到第一特征以及第二特征；对所述第一特征进行空洞卷积组和反卷积组的上采样操作，对所述第二特征进行可变性卷积组的下采样操作，以得到处理后的两个特征向量；对处理后的两个特征向量进行尺寸调整、原始特征直接拼接合并、CBAM的注意力机制操作以及尺寸二次调整，以得到人体掩膜预测图。
在一实施例中，处理器502在实现所述根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频步骤时，具体实现如下步骤：
根据所述跟踪结果确定具备行动轨迹的人体掩膜预测图，并对确定的人体掩膜预测图进行处理，以得到处理结果；将所述处理结果与所述关键点预测图进行原始特征直接拼接合并，以形成融合图片；对所述融合图片按时间进行合并，以生成拥有姿态关键点以及人体掩膜信息的序列视频。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
其中，所述图片模型是在yolov5模型的基础上添加mask分支形成的。
所述姿态识别模型是在HRNet模型的基础上添加SwinTransformer自注意力特征提取机制形成的。
所述跟踪模型是通过若干个带有行动轨迹标签的人体坐标信息训练ByteTrack模型所得的。
所述行为识别模型是在MoviNet模型的基础上将3D卷积修改为可变性的3D卷积形成的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图步骤时，具体实现如下步骤：
将所述待检测图片输入图片模型内，以由yolov5模型预测人体目标特征层；通过ROI Align以及对应的SPP机制将目标特征分别从所述人体目标特征层中截取特征，以得到第一特征以及第二特征；对所述第一特征进行空洞卷积组和反卷积组的上采样操作，对所述第二特征进行可变性卷积组的下采样操作，以得到处理后的两个特征向量；对处理后的两个特征向量进行尺寸调整、原始特征直接拼接合并、CBAM的注意力机制操作以及尺寸二次调整，以得到人体掩膜预测图。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频步骤时，具体实现如下步骤：
根据所述跟踪结果确定具备行动轨迹的人体掩膜预测图，并对确定的人体掩膜预测图进行处理，以得到处理结果；将所述处理结果与所述关键点预测图进行原始特征直接拼接合并，以形成融合图片；对所述融合图片按时间进行合并，以生成拥有姿态关键点以及人体掩膜信息的序列视频。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.闸机多目标逃票检测方法，其特征在于，包括：
获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；
将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；
将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；
将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端；
所述图片模型是在yolov5模型的基础上添加mask分支形成的；
所述姿态识别模型是在HRNet模型的基础上添加SwinTransformer自注意力特征提取机制形成的。
2.根据权利要求1所述的闸机多目标逃票检测方法，其特征在于，所述将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图，包括：
将所述待检测图片输入图片模型内，以由yolov5模型预测人体目标特征层；
通过ROI Align以及对应的SPP机制将目标特征分别从所述人体目标特征层中截取特征，以得到第一特征以及第二特征；
对所述第一特征进行空洞卷积组和反卷积组的上采样操作，对所述第二特征进行可变性卷积组的下采样操作，以得到处理后的两个特征向量；
对处理后的两个特征向量进行尺寸调整、原始特征直接拼接合并、CBAM的注意力机制操作以及尺寸二次调整，以得到人体掩膜预测图。
3.根据权利要求1所述的闸机多目标逃票检测方法，其特征在于，所述跟踪模型是通过若干个带有行动轨迹标签的人体坐标信息训练ByteTrack模型所得的。
4.根据权利要求1所述的闸机多目标逃票检测方法，其特征在于，所述根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频，包括：
根据所述跟踪结果确定具备行动轨迹的人体掩膜预测图，并对确定的人体掩膜预测图进行处理，以得到处理结果；
将所述处理结果与所述关键点预测图进行原始特征直接拼接合并，以形成融合图片；
对所述融合图片按时间进行合并，以生成拥有姿态关键点以及人体掩膜信息的序列视频。
5.根据权利要求1所述的闸机多目标逃票检测方法，其特征在于，所述行为识别模型是在MoviNet模型的基础上将3D卷积修改为可变性的3D卷积形成的。
6.闸机多目标逃票检测装置，其特征在于，包括：
采样单元，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
分割单元，用于将所述待检测图片输入图片模型内进行人体实例分割，以得到人体掩膜预测图；
关键点识别单元，用于将所述人体掩膜预测图输入至姿态识别模型内进行关键点识别，以得到关键点预测图；
跟踪单元，用于将所述人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
视频生成单元，用于根据所述跟踪结果结合所述人体掩膜预测图以及所述关键点预测图生成拥有姿态关键点以及人体掩膜信息的序列视频；
行为检测单元，用于将所述序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
告警单元，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端；
所述图片模型是在yolov5模型的基础上添加mask分支形成的；
所述姿态识别模型是在HRNet模型的基础上添加SwinTransformer自注意力特征提取机制形成的。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
CN202210151259.0A 2022-02-16 2022-02-16 闸机多目标逃票检测方法、装置、计算机设备及存储介质 Active CN114581663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210151259.0A CN114581663B (zh) 2022-02-16 2022-02-16 闸机多目标逃票检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210151259.0A CN114581663B (zh) 2022-02-16 2022-02-16 闸机多目标逃票检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114581663A CN114581663A (zh) 2022-06-03
CN114581663B true CN114581663B (zh) 2025-09-30

Family

ID=81770100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210151259.0A Active CN114581663B (zh) 2022-02-16 2022-02-16 闸机多目标逃票检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114581663B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898301B (zh) * 2022-06-08 2025-07-29 合肥市轨道交通集团有限公司 基于检测和分割的人群密度统计方法、装置、设备及介质
CN115359563A (zh) * 2022-08-23 2022-11-18 深圳市赛为智能股份有限公司 多人行为识别方法、装置、计算机设备及存储介质
CN115346275A (zh) * 2022-08-23 2022-11-15 深圳市赛为智能股份有限公司 基于光流及图的双分支人体行为预测方法、装置及设备
CN115862138A (zh) * 2022-12-09 2023-03-28 中国兵器装备集团自动化研究所有限公司 一种人员摔倒行为检测方法、装置、设备及存储介质
CN116912775A (zh) * 2023-07-26 2023-10-20 北京升哲科技有限公司 一种非法捕鱼行为的识别告警方法、装置、设备及介质
CN116959116B (zh) * 2023-07-28 2026-01-06 重庆大学 基于巡逻机器人的草坪踩踏行为检测方法、装置、介质及设备
CN117392221B (zh) * 2023-10-19 2024-10-25 电子科技大学 一种基于光学图像的托盘检测及位姿计算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472554A (zh) * 2019-08-12 2019-11-19 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN112084987A (zh) * 2020-09-16 2020-12-15 杨晓敏 一种基于人工智能的地铁逃票行为的检测方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010129711A1 (en) * 2009-05-05 2010-11-11 The Trustees Of Columbia University In The City Of New York Devices, systems, and methods for evaluating vision and diagnosing and compensating impairment of vision
CN107146302B (zh) * 2017-04-21 2019-09-13 南京理工大学 一种基于红外检测关键点的闸机通行识别方法
CN110781765B (zh) * 2019-09-30 2024-02-09 腾讯科技（深圳）有限公司 一种人体姿态识别方法、装置、设备及存储介质
CN112884831B (zh) * 2021-02-02 2022-10-04 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN113837992B (zh) * 2021-07-14 2023-06-02 福建电子口岸股份有限公司 基于实例分割的碳刷盒运行检测方法、装置及可读介质
CN113989920B (zh) * 2021-10-13 2025-06-03 复旦大学 一种基于深度学习的运动员行为质量评估方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472554A (zh) * 2019-08-12 2019-11-19 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN112084987A (zh) * 2020-09-16 2020-12-15 杨晓敏 一种基于人工智能的地铁逃票行为的检测方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进YOLOv5 的小目标检测算法研究;李成;长江信息通信;20210915(第2021年第09期期);30-33 *

Also Published As

Publication number Publication date
CN114581663A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114581663B (zh) 闸机多目标逃票检测方法、装置、计算机设备及存储介质
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
Huang et al. Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications
CN114550290B (zh) 闸机逃票识别方法、装置、计算机设备及存储介质
CN114549867B (zh) 闸机逃票检测方法、装置、计算机设备及存储介质
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
CN102375970B (zh) 一种基于人脸的身份认证方法和认证装置
US20190122072A1 (en) Reverse neural network for object re-identification
CN114550303B (zh) 闸机逃票行为检测方法、装置、计算机设备及存储介质
CN114093022A (zh) 活动检测装置、活动检测系统及活动检测方法
Jiang et al. Application of a fast RCNN based on upper and lower layers in face recognition
Vignesh et al. Abnormal event detection on BMTT-PETS 2017 surveillance challenge
CN115953744B (zh) 一种基于深度学习的车辆识别追踪方法
Prabhu et al. Recognition of Indian license plate number from live stream videos
CN118918508A (zh) 一种基于目标检测与分割技术在交通违规中的识别方法
Abid et al. Computationally intelligent real-time security surveillance system in the education sector using deep learning
Wang et al. Super-resolution GAN and global aware object detection system for vehicle detection in complex traffic environments
García-Martín et al. Robust real time moving people detection in surveillance scenarios
Huszár et al. Securing phygital gameplay: Strategies for video-replay spoofing detection
Chiu et al. A Two-stage Learning Approach for Traffic Sign Detection and Recognition.
Bhamare et al. Translating the unspoken Deep learning approaches to Indian Sign Language recognition using CNN and LSTM networks
Jain et al. Comparative analysis YOLOv5 and YOLOv8 for vehicle classification
Zhang et al. Orientation and occlusion aware multi-person pose estimation using multi-task deep learning network
Melvin et al. Driver yawn prediction using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant