CN116416567A - 一种地铁厢内推销行为检测方法、装置、设备及存储介质 - Google Patents
一种地铁厢内推销行为检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116416567A CN116416567A CN202310055074.4A CN202310055074A CN116416567A CN 116416567 A CN116416567 A CN 116416567A CN 202310055074 A CN202310055074 A CN 202310055074A CN 116416567 A CN116416567 A CN 116416567A
- Authority
- CN
- China
- Prior art keywords
- passenger
- behavior
- subway
- tracking
- subway carriage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000006399 behavior Effects 0.000 claims abstract description 122
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 41
- 230000001737 promoting effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 abstract description 4
- 230000005764 inhibitory process Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 16
- 230000001960 triggered effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种地铁厢内推销行为检测方法、装置、设备及存储介质，涉及地铁运维管理技术领域。所述方法是先根据由地铁厢内监控摄像头实时采集的现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果，然后针对各个乘客通过手机识别处理确定是否为重点关注乘客，再然后根据现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果，最后针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到多次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，如此可提升行为禁止效果。
Description
技术领域
本发明属于地铁运维管理技术领域，具体涉及一种地铁厢内推销行为检测方法、装置、设备及存储介质。
背景技术
地铁作为现代城市中人们出行的重要交通工具，每天承载着巨大的客流量。视频监控是地铁中广泛分布的一类管理设备，主要用于地铁车厢内部和站厅活动的远程监控以及数据留存，基于监控图像识别各类异常事件是常见的和成本较低的管理手段。
由于地铁的客流量非常巨大，为了提高商业推广效果，某些推广人员会在地铁厢内针对乘客开展商业推广活动，例如存在让乘客关注/注册APP(应用程序，Application的缩写)或公众号的推销行为，等等，这会严重影响乘车秩序和出行体验。但是针对地铁厢内推销行为，目前主要是依靠人工监督及人工规劝方式来达成行为禁止目的，还缺乏相应的视频图像检测手段以及自动规劝手段，使得存在行为发现晚、规劝不及时和行为禁止效果差的问题，不利于地铁乘车秩序的自动维护。
发明内容
本发明的目的是提供一种地铁厢内推销行为检测方法、装置、计算机设备及计算机可读存储介质，用以解决当前针对地铁厢内推销行为缺乏相应的视频图像检测手段以及自动规劝手段，使得存在行为发现晚、规劝不及时和行为禁止效果差的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种地铁厢内推销行为检测方法，包括：
获取由地铁厢内监控摄像头实时采集的现场视频数据；
根据所述现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果；
针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，若识别得到手机，则将对应乘客作为重点关注乘客；
根据所述现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果；
针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，其中，K表示大于等于3的预设正整数。
基于上述发明内容，提供了一种基于地铁厢内监控图像自动识别地铁厢内推销行为的数据处理方案，即先根据由地铁厢内监控摄像头实时采集的现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果，然后针对各个乘客通过手机识别处理确定是否为重点关注乘客，再然后根据现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果，最后针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到多次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，如此可以针对地铁厢内推销行为自动进行视频图像检测并触发规劝动作，进而可确保能够及时发现推销行为和进行规劝，提升行为禁止效果，利于地铁乘车秩序的自动维护，便于实际应用和推广。
在一个可能的设计中，所述多目标跟踪算法采用deepsort目标跟踪算法。
在一个可能的设计中，所述deepsort目标跟踪算法包括有：针对未匹配的跟踪目标，根据对应的当前预测位置判断是否离开所述地铁厢内，若是，则在下一次位置预测时舍弃该跟踪目标，否则在下一次位置预测时依然使用卡尔曼滤波法预测对应的位置。
在一个可能的设计中，针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，包括：
针对所述各个乘客，将在所述乘客跟踪结果中的且对应的人体标记框的框内图像输入基于YOLOv4目标检测算法的且已预先完成训练的手机识别模型，输出得到手机识别结果。
在一个可能的设计中，所述姿态估计算法采用PMPE模型。
在一个可能的设计中，针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，包括：
针对所述各个重点关注乘客，将对应的交谈行为次数初始化为零；
针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在某个位置做出了交谈行为且在该某个位置的周围存在另一个重点关注乘客，则使对应的交谈行为次数自加1；
针对所述各个重点关注乘客，当对应的交谈行为次数达到K次时，则确定对应乘客存在地铁厢内推销行为，其中，K表示大于等于3的预设正整数。
在一个可能的设计中，针对已确定存在地铁厢内推销行为的某个重点关注乘客，触发进行对应的规劝动作，包括：
根据所述乘客跟踪结果，确定所述某个重点关注乘客的地铁厢内位置；
根据预存的地铁语音播报器布置数据，查找到距离所述某个重点关注乘客的地铁厢内位置最近的地铁语音播报器，并在该地铁语音播报器空闲时控制该地铁语音播报器播放用于规劝停止地铁厢内推销行为的音频文件。
第二方面，提供了一种地铁厢内推销行为检测装置，包括有依次通信连接的数据获取模块、乘客跟踪模块、手机识别模块、姿态识别模块和行为确认模块；
所述数据获取模块，用于获取由地铁厢内监控摄像头实时采集的现场视频数据；
所述乘客跟踪模块，用于根据所述现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果；
所述手机识别模块，用于针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，若识别得到手机，则将对应乘客作为重点关注乘客；
所述姿态识别模块，用于根据所述现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果；
所述行为确认模块，用于针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，其中，K表示大于等于3的预设正整数。
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的地铁厢内推销行为检测方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的地铁厢内推销行为检测方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的地铁厢内推销行为检测方法。
上述方案的有益效果：
(1)本发明创造性提供了一种基于地铁厢内监控图像自动识别地铁厢内推销行为的数据处理方案，即先根据由地铁厢内监控摄像头实时采集的现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果，然后针对各个乘客通过手机识别处理确定是否为重点关注乘客，再然后根据现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果，最后针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到多次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，如此可以针对地铁厢内推销行为自动进行视频图像检测并触发规劝动作，进而可确保能够及时发现推销行为和进行规劝，提升行为禁止效果，利于地铁乘车秩序的自动维护；
(2)还通过根据在做出交谈行为时与另一个重点关注乘客的位置关系来确定是否自加交谈行为次数，可以有效保障地铁厢内推销行为的检测准确性，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的地铁厢内推销行为检测方法的流程示意图。
图2为本申请实施例提供的进行地铁厢内推销活动的姿态行为示例图。
图3为本申请实施例提供的地铁厢内推销行为检测装置的结构示意图。
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的所述地铁厢内推销行为检测方法，可以但不限于由具有一定计算资源的且通信连接地铁厢内监控摄像头的计算机设备执行，例如由车载控制中心设备、平台服务器、个人计算机(PersonalComputer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(PersonalDigitalAssistant，PDA)或可穿戴设备等电子设备执行。如图1所示，所述地铁厢内推销行为检测方法，可以但不限于包括有如下步骤S1～S5。
S1.获取由地铁厢内监控摄像头实时采集的现场视频数据。
在所述步骤S1中，所述地铁厢内监控摄像头是一种现有常用的地铁视频监控摄像头，主要用于地铁车厢内部的远程监控以及数据留存。所述地铁厢内监控摄像头的镜头视野会涵盖地铁厢内区域，用于实时采集所述地铁厢内区域的视频帧图像，得到包含有若干连续视频帧图像的现场视频数据。此外，所述地铁厢内监控摄像头可以通过常规方式将采集得到的数据传输至本地设备。
S2.根据所述现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果。
在所述步骤S2中，所述多目标跟踪算法用于检测位于视频帧图像中的乘客图像，并对检测出的乘客进行视频跟踪(在跟踪过程中，可以为检测出的各个乘客赋予唯一乘客编号，例如赋予1、2、3或4等数字编号)。所述多目标跟踪算法优选采用deepsort目标跟踪算法，其中，所述deepsort目标跟踪算法的具体过程如下：先用目标检测器检测到目标边界框bbox，并根据所述目标边界框bbox生成检测目标信息detections(其用于保存当前帧图像中检测到的所有目标)，然后使用卡尔曼滤波法预测前一帧图像中的跟踪目标信息tracks(其用于保存前一帧图像做了跟踪的所有目标)在当前帧图像的位置，再然后对基于外观特征的马氏距离计算跟踪目标和检测目标的代价矩阵，再然后相继对跟踪目标和检测目标进行级联匹配和IOU(IntersectionoverUnion)匹配，最后得到当前帧图像的所有匹配对、未匹配的跟踪目标以及未匹配的检测目标，并针对每个匹配成功的跟踪目标，用其对应的检测目标进行位置更新，以及处理未匹配的跟踪目标和检测目标。此外，在所述deepsort目标跟踪算法中，所述目标检测器、所述卡尔曼滤波法、所述外观特征、所述马氏距离、余弦距离、所述代价矩阵、所述级联匹配、所述IOU匹配均为现有术语或技术特征，本领域技术人员可以常规得到所述deepsort目标跟踪算法的具体过程细节。
本实施例考虑在未匹配的跟踪目标中可能就包含了被遮挡的目标，只是在当前帧图像中没有被检测到，因此在所述deepsort目标跟踪算法中，优选包括有：针对未匹配的跟踪目标，根据对应的当前预测位置判断是否离开所述地铁厢内(即根据当前预测位置与帧图像边界的位置关系，判断是否仍出现在帧图像中，若在，则判定未离开所述地铁厢内，否则判定离开所述地铁厢内)，若是，则在下一次位置预测时舍弃该跟踪目标，否则在下一次位置预测时依然使用卡尔曼滤波法预测对应的位置。如此在发现跟踪目标被遮挡时(即在跟踪目标未匹配有检测目标且当前预测位置仍出现在当前帧图像中)，可将该跟踪目标标记为被遮挡masked，然后依旧使用卡尔曼滤波法预测在下一帧图像中的位置，直到匹配有检测目标或发现该跟踪目标超出图像的范围为止，进而相对于一般的丢弃处理方法，可以避免因遮挡而提前终止视频跟踪，确保跟踪的长期持续性。
S3.针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，若识别得到手机，则将对应乘客作为重点关注乘客。
在所述步骤S3中，由于地铁厢内推销行为主要是让乘客关注/注册APP或公众号的推销行为，在这一行为中手机是必不可少的参与工具，因此先在人体标记框内对乘客所持手机进行识别处理，可以有效缩小行为检测的乘客范围，提高检测效率。所述目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体可以但不限于采用FasterR-CNN(FasterRegionswithConvolutionalNeuralNetworksfeatures，由何凯明等在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一)目标检测算法、SSD(SingleShotMultiBoxDetector，单镜头多盒检测器，是WeiLiu在ECCV2016上提出的一种目标检测算法，是目前流行的主要检测框架之一)目标检测算法或YOLO(Youonlylookonce，目前最新已经发展到V4版本，在业界的应用也很广泛，其基本原理是：首先对输入图像划分成7x7的网格，对每个网格预测2个边框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边框合并的方式去除冗余窗口，得出检测结果)目标检测算法等，因此可以基于所述目标检测算法来进行手机识别处理，得到手机识别结果。
具体的，针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，包括但不限于有：针对所述各个乘客，将在所述乘客跟踪结果中的且对应的人体标记框的框内图像输入基于YOLOv4目标检测算法的且已预先完成训练的手机识别模型，输出得到手机识别结果。所述YOLOv4目标检测算法的具体模型结构由三部分组成，分别是骨干网络backbone、颈部网络neck和头部网络head。所述骨干网络Backbone可采用CSPDarknet53(CSP表示CrossStagePartial)网络，用于提取特征。所述颈部网络neck由SPP(SpatialPyramidPoolingblock)块和PANet(Path AggregationNetwork)网络组成，前者用于增加感受野以及分离出最重要的特征，后者用于保证同时从高级别层接受语义特征和从横向骨干网络的低级别层接收细粒度的特征。所述头部网络head是基于锚框进行检测，并对三种不同尺寸的特征图13x13、26x26和52x52进行检测，分别用于检测从大到小的目标(在这里，尺寸大的特征图包含到信息更加丰富，因此，52x52尺寸的特征图用于检测小目标，反之亦然)。前述的手机识别模型可通过常规的样本训练方式训练得到，以便在输入测试图像后，可以输出有无手机的识别结果以及它们的置信度预测值等信息。
S4.根据所述现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果。
在所述步骤S4中，所述姿态估计算法用于识别所述各个重点关注乘客在监控视频中所作出的动作姿态行为(其包括但不限于是否作出让其它乘客关注/注册APP或公众号的交谈行为等)，其可优选采用PMPE(RegionalMulti-PersonPoseEstimation)模型。所述PMPE模型的具体应用过程如下：将由人体检测器检测得到的人体边界框送入“SSTN(symmetricspatial transformernetwork)+SPPE(single-personposeestimator)”模块，以便自动生成姿态标记；然后通过参数化的姿态非极大值抑制(parametricposeNMS)模块对生成的姿态标记进行处理，以便获取估计的人体姿态。同时在所述PMPE模型的训练过程中，为了避免陷入局部最小值并更好的利用SSTN，引入了“并行SPPE”，并使用姿态引导标记生成器(PGPG：pose-guidedproposalsgenerator)来增强已有的训练实例。此外，所述人体检测器、所述SSTN、所述SPPE、所述姿态非极大值抑制模块、所述“并行SPPE”和所述姿态引导标记生成器均为现有术语或技术特征，本领域技术人员可以常规得到所述PMPE模型并进行姿态估计应用。
S5.针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，其中，K表示大于等于3的预设正整数。
在所述步骤S5中，考虑地铁厢内推销行为在实际情况中是在不同位置针对不同的多个其它乘客所做出的一种具体行为，因此基于这些特点，若发现某个重点关注乘客在不同位置总计做出了达到K次的交谈行为，则可确定该某个重点关注乘客存在地铁厢内推销行为，需要触发进行对应的规劝动作，例如通知地铁巡查员前往该某个重点关注乘客的所在位置进行人工规劝。此外，为了实现自动规劝目的，优选的，针对已确定存在地铁厢内推销行为的某个重点关注乘客，触发进行对应的规劝动作，包括但不限于有如下步骤S51～S52：S51.根据所述乘客跟踪结果，确定所述某个重点关注乘客的地铁厢内位置；S52.根据预存的地铁语音播报器布置数据，查找到距离所述某个重点关注乘客的地铁厢内位置最近的地铁语音播报器，并在该地铁语音播报器空闲时(例如在未报站时)控制该地铁语音播报器播放用于规劝停止地铁厢内推销行为的音频文件。
由此基于前述步骤S1～S5所描述的地铁厢内推销行为检测方法，提供了一种基于地铁厢内监控图像自动识别地铁厢内推销行为的数据处理方案，即先根据由地铁厢内监控摄像头实时采集的现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果，然后针对各个乘客通过手机识别处理确定是否为重点关注乘客，再然后根据现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果，最后针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到多次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，如此可以针对地铁厢内推销行为自动进行视频图像检测并触发规劝动作，进而可确保能够及时发现推销行为和进行规劝，提升行为禁止效果，利于地铁乘车秩序的自动维护，便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上，还提供了一种如何有效进行推销行为检测处理的可能设计一，即针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，包括但不限于有如下步骤S501～S503。
S501.针对所述各个重点关注乘客，将对应的交谈行为次数初始化为零。
在所述步骤S501中，如图2所示，针对识别出的乘客1和乘客2，由于均在对应的人体标记框内识别有手机(即手机A和手机B)，因此这两个乘客均是重点关注乘客，可将他们两个的交谈行为次数初始化为零。
S502.针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在某个位置做出了交谈行为且在该某个位置的周围存在另一个重点关注乘客，则使对应的交谈行为次数自加1。
在所述步骤S502中，所述周围可以具体是指半径为1米的范围内，以便将所述另一个重点关注乘客作为有效的推销对象。如图2所示，所述乘客1在某个位置做出了交谈行为且在该某个位置的周围存在乘客2(其为另一个重点关注乘客)，如此可使该乘客1的交谈行为次数自加1。同时对于所述乘客2，若根据其姿态识别结果发现也做出了交谈行为，则也可使该乘客2的交谈行为次数自加1，反之则不自加。
S503.针对所述各个重点关注乘客，当对应的交谈行为次数达到K次时，则确定对应乘客存在地铁厢内推销行为，其中，K表示大于等于3的预设正整数。
在所述步骤S503中，若所述乘客1还在其它位置与不同的多个重点关注乘客做出了交谈行为，则可准确认定所述乘客2存在地铁厢内推销行为。
由此基于前述可能设计一，通过根据在做出交谈行为时与另一个重点关注乘客的位置关系来确定是否自加交谈行为次数，可以有效保障地铁厢内推销行为的检测准确性。
如图3所示，本实施例第二方面提供了一种实现第一方面或可能设计一所述的地铁厢内推销行为检测方法的虚拟装置，包括有依次通信连接的数据获取模块、乘客跟踪模块、手机识别模块、姿态识别模块和行为确认模块；
所述数据获取模块，用于获取由地铁厢内监控摄像头实时采集的现场视频数据；
所述乘客跟踪模块，用于根据所述现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果；
所述手机识别模块，用于针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，若识别得到手机，则将对应乘客作为重点关注乘客；
所述姿态识别模块，用于根据所述现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果；
所述行为确认模块，用于针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，其中，K表示大于等于3的预设正整数。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的地铁厢内推销行为检测方法，于此不再赘述。
如图4所示，本实施例第三方面提供了一种执行如第一方面或可能设计一所述的地铁厢内推销行为检测方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或可能设计一所述的地铁厢内推销行为检测方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(FlashMemory)、先进先出存储器(FirstInputFirstOutput，FIFO)和/或先进后出存储器(FirstInputLastOutput，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的地铁厢内推销行为检测方法，于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面或可能设计一所述的地铁厢内推销行为检测方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或可能设计一所述的地铁厢内推销行为检测方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(MemoryStick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面或可能设计一所述的地铁厢内推销行为检测方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或可能设计一所述的地铁厢内推销行为检测方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种地铁厢内推销行为检测方法，其特征在于，包括：
获取由地铁厢内监控摄像头实时采集的现场视频数据；
根据所述现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果；
针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，若识别得到手机，则将对应乘客作为重点关注乘客；
根据所述现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果；
针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，其中，K表示大于等于3的预设正整数。
2.根据权利要求1所述的地铁厢内推销行为检测方法，其特征在于，所述多目标跟踪算法采用deepsort目标跟踪算法。
3.根据权利要求2所述的地铁厢内推销行为检测方法，其特征在于，所述deepsort目标跟踪算法包括有：针对未匹配的跟踪目标，根据对应的当前预测位置判断是否离开所述地铁厢内，若是，则在下一次位置预测时舍弃该跟踪目标，否则在下一次位置预测时依然使用卡尔曼滤波法预测对应的位置。
4.根据权利要求1所述的地铁厢内推销行为检测方法，其特征在于，针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，包括：
针对所述各个乘客，将在所述乘客跟踪结果中的且对应的人体标记框的框内图像输入基于YOLOv4目标检测算法的且已预先完成训练的手机识别模型，输出得到手机识别结果。
5.根据权利要求1所述的地铁厢内推销行为检测方法，其特征在于，所述姿态估计算法采用PMPE模型。
6.根据权利要求1所述的地铁厢内推销行为检测方法，其特征在于，针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，包括：
针对所述各个重点关注乘客，将对应的交谈行为次数初始化为零；
针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在某个位置做出了交谈行为且在该某个位置的周围存在另一个重点关注乘客，则使对应的交谈行为次数自加1；
针对所述各个重点关注乘客，当对应的交谈行为次数达到K次时，则确定对应乘客存在地铁厢内推销行为，其中，K表示大于等于3的预设正整数。
7.根据权利要求1所述的地铁厢内推销行为检测方法，其特征在于，针对已确定存在地铁厢内推销行为的某个重点关注乘客，触发进行对应的规劝动作，包括：
根据所述乘客跟踪结果，确定所述某个重点关注乘客的地铁厢内位置；
根据预存的地铁语音播报器布置数据，查找到距离所述某个重点关注乘客的地铁厢内位置最近的地铁语音播报器，并在该地铁语音播报器空闲时控制该地铁语音播报器播放用于规劝停止地铁厢内推销行为的音频文件。
8.一种地铁厢内推销行为检测装置，其特征在于，包括有依次通信连接的数据获取模块、乘客跟踪模块、手机识别模块、姿态识别模块和行为确认模块；
所述数据获取模块，用于获取由地铁厢内监控摄像头实时采集的现场视频数据；
所述乘客跟踪模块，用于根据所述现场视频数据，采用多目标跟踪算法跟踪出现在地铁厢内的各个乘客，得到乘客跟踪结果；
所述手机识别模块，用于针对所述各个乘客，根据在所述乘客跟踪结果中的且对应的人体标记框的框内图像，采用目标检测算法对该框内图像进行手机识别处理，若识别得到手机，则将对应乘客作为重点关注乘客；
所述姿态识别模块，用于根据所述现场视频数据，采用姿态估计算法识别各个重点关注乘客的姿态行为，得到所述各个重点关注乘客的姿态识别结果；
所述行为确认模块，用于针对所述各个重点关注乘客，根据所述乘客跟踪结果和对应的姿态识别结果，若发现对应乘客在不同位置总计做出了达到K次的交谈行为，则确定对应乘客存在地铁厢内推销行为，并触发进行对应的规劝动作，其中，K表示大于等于3的预设正整数。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的地铁厢内推销行为检测方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的地铁厢内推销行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310055074.4A CN116416567A (zh) | 2023-02-03 | 2023-02-03 | 一种地铁厢内推销行为检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310055074.4A CN116416567A (zh) | 2023-02-03 | 2023-02-03 | 一种地铁厢内推销行为检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116416567A true CN116416567A (zh) | 2023-07-11 |
Family
ID=87048780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310055074.4A Pending CN116416567A (zh) | 2023-02-03 | 2023-02-03 | 一种地铁厢内推销行为检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416567A (zh) |
-
2023
- 2023-02-03 CN CN202310055074.4A patent/CN116416567A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860318A (zh) | 一种建筑工地行人徘徊检测方法、装置、设备及存储介质 | |
| CN110751674A (zh) | 多目标跟踪方法及相应视频分析系统 | |
| US9098744B2 (en) | Position estimation device, position estimation method, and program | |
| CN111126235A (zh) | 一种船只违章停泊检测处理方法及装置 | |
| CN113177968A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN112150514A (zh) | 视频的行人轨迹追踪方法、装置、设备及存储介质 | |
| CN115297306A (zh) | 一种行人随身物品防丢监控方法、装置、设备及存储介质 | |
| CN113673311A (zh) | 一种交通异常事件检测方法、设备及计算机存储介质 | |
| CN115272656A (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
| CN111950507B (zh) | 数据处理和模型训练方法、装置、设备及介质 | |
| CN115049954A (zh) | 目标识别方法、装置、电子设备和介质 | |
| CN117611795A (zh) | 基于多任务ai大模型的目标检测方法、模型训练方法 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN116416567A (zh) | 一种地铁厢内推销行为检测方法、装置、设备及存储介质 | |
| CN113963310A (zh) | 一种公交站的人流量检测方法、装置及电子设备 | |
| CN115019242A (zh) | 一种交通场景的异常事件检测方法、装置和处理设备 | |
| CN113344121B (zh) | 训练招牌分类模型和招牌分类的方法 | |
| CN115116130A (zh) | 一种通话动作识别方法、装置、设备以及存储介质 | |
| CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
| CN113989720A (zh) | 目标检测方法、训练方法、装置、电子设备及存储介质 | |
| CN109785617B (zh) | 交通控制信息的处理方法 | |
| CN113128414A (zh) | 人员跟踪方法、装置、计算机可读存储介质及电子设备 | |
| CN114596708B (zh) | 智能调度系统、方法、装置及计算机程序产品 | |
| CN114445711B (zh) | 图像检测方法、装置、电子设备和存储介质 | |
| CN115294536B (zh) | 基于人工智能的违章检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |