CN115311633A - 车辆违法上下客的检测方法、装置、电子设备及存储介质 - Google Patents

车辆违法上下客的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115311633A
CN115311633A CN202211237548.9A CN202211237548A CN115311633A CN 115311633 A CN115311633 A CN 115311633A CN 202211237548 A CN202211237548 A CN 202211237548A CN 115311633 A CN115311633 A CN 115311633A
Authority
CN
China
Prior art keywords
target vehicle
dimensional
vehicle
driving image
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211237548.9A
Other languages
English (en)
Other versions
CN115311633B (zh
Inventor
黄金叶
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Original Assignee
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyang Special Equipment Technology Engineering Co ltd filed Critical Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority to CN202211237548.9A priority Critical patent/CN115311633B/zh
Publication of CN115311633A publication Critical patent/CN115311633A/zh
Application granted granted Critical
Publication of CN115311633B publication Critical patent/CN115311633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆违法上下客的检测方法、装置、电子设备及存储介质，本发明能够通过车辆的行车图像来实时检测其是否存在违法上下客行为，同时，在检测到车辆存在违法上下客行为时，可保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，由此，本发明所提供的违法上下客检测方法，检测时效性以及执法效力高，能够在违法行为发生时，及时扼制违法行为，降低了事故的发生风险。

Description

车辆违法上下客的检测方法、装置、电子设备及存储介质
技术领域
本发明属于目标追踪技术领域，具体涉及一种车辆违法上下客的检测方法、装置、电子设备及存储介质。
背景技术
随着经济的高速发展，我国道路网也愈发完善，其在提升了我国交通精细化程度，方便了人们出行的同时，也使得我国的机动车保有量逐年递增，从而带来了较多的交通违法行为，在众多交通违法行为中，客运车辆违法上下客的行为在交通运输过程中屡见不鲜，同样，由于违法上下客所导致的交通事故也数不胜数，给人们带来了惨烈的教训；客运车辆的违法上下客行为严重的影响了交通秩序、危害了交通安全、扰乱了客运市场，且车辆容易出现超载、倒客、甩客等违法违规行为，行李未经安检存在安全隐患，乘客司机的合法权益无法保障；此外，客运车辆的违法上下客带来行人自由出入、翻过围栏、横穿公路的风险，导致意外伤害及事故；因此，客运车辆违法上下客的行为越来越受到交通部门的重视。
目前，对客运车辆的违法上下客主要采用在车内安装监控的方式，但是，该方式只能在车辆到达车站后，由执法人员查看监控视频来判断车辆是否存在违法上下客行为；前述方法缺少有效的智能化检测识别手段，会导致违法上下客执法的时效性较差，且不能及时扼制违法行为，无法降低事故发生风险，同时，车内监控容易受到破坏，从而导致执法效力也较低；因此，采用技术与管理融合手段实现车辆违法上下客行为的主动检测识别，已成为当务之急。
发明内容
本发明的目的是提供一种车辆违法上下客的检测方法、装置、电子设备及存储介质，用以解决现有技中所存在违法上下客检测时效性较差、不能及时扼制违法行为以及执法效力较低的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种车辆违法上下客的检测方法，包括：
获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；
对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；
若所述目标车辆存在停车行为，则从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；
若是，则从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；
基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；
对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；
判断所述乘客行动轨迹与所述三维切面之间是否存在交点；
若是，则判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
基于上述公开的内容，本发明通过连续采集目标车辆的行车图像，然后对采集的每张行车图像先进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以依据每张行车图像中目标车辆的中心坐标来判断目标车辆是否存在停车行为；若存在，则进行下一步的检测，也就是基于目标车辆停车后的行车图像，来判断目标车辆是否存在开门行为；若存在开门行为，那么则可进行违法上下客检测，其具体检测过程为：
先从目标车辆停车后的行车图像中，来筛选出最先停车时对应的行车图像，以对该筛选出的行车图像进行关键点检测，得到该行车图像中目标车辆的车顶关键点以及车门侧的车轮关键点的二维坐标；接着，即可将上述检测得到的关键点进行三维映射，得出各个关键点的三维坐标，以基于各个关键点的三维坐标，来生成目标车辆位于车门侧端面的三维切面；然后，则可再对停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；最后，只需判断乘客行动轨迹与三维切面之间是否存在交点，即可得出车辆是否存在违法上下客行为；即若存在交点，则说明车辆存在违法上下客行为，否则，则不存在；另外，本发明在检测到车辆存在违法上下客行为时，则会保存停车后的行车图像，以作为证据进行留存，同时，还会向目标车辆以及目标车辆后方的车辆发出报警提示，以提示目标车辆的驾驶人员停止该行为，以及提醒后方车辆及时减速，从而及时扼制违法上下客行为以及降低事故发生风险。
通过上述设计，本发明能够通过车辆的行车图像来实时检测其是否存在违法上下客行为，同时，在检测到车辆存在违法上下客行为时，可保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，由此，本发明所提供的违法上下客检测方法，检测时效性以及执法效力高，能够在违法行为发生时，及时扼制违法行为，降低了事故的发生风险。
在一个可能的设计中，根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为，包括：
基于每张行车图像中目标车辆的中心点坐标，计算每张行车图像中目标车辆的中心点，与各自行车图像的边界之间的距离，以作为每张行车图像的停车检测距离；
在所述行车图像集中，判断是否存在有停车检测距离相同的n张相邻的行车图像；
若是，则判定所述目标车辆存在停车行为；
相应的，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，则包括：
将n张相邻的行车图像作为目标车辆停车后的行车图像，其中，n为正整数，且大于1。
基于上述公开的内容，本发明公开了车辆停车检测的具体过程，即先计算每张行车图像中目标车辆的中心点与各自图像边界之间的距离，然后判断是否存在有连续n张的行车图像对应的距离是否相同，若相同，则说明车辆位置未发生变化，也就是车辆处于停车状态。
在一个可能的设计中，基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，包括：
基于所述指定关键点的二维坐标，得到所述切面检测图像中目标车辆的长度、宽度和高度；
将所述目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，得出与所述目标车辆相对应的车辆模型上的多个标定关键点的三维坐标，其中，各个标定关键点所表征的位置，与所述指定关键点所表征的位置一一对应；
对所述指定关键点进行两两分组，以得到若干关键点匹配组，其中，每一关键点匹配组中的两指定关键点处于目标车辆的同一类型的部位上；
对于每一关键点匹配组，从各个标定关键点中，筛选出与每一关键点匹配组中两指定关键点表征位置相同的标定关键点，以作为每一关键点匹配组相对应的匹配关键点；
基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数；
根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标。
基于上述公开的内容，本发明公开了指定关键点进行三维映射的具体过程，即由于指定关键点包括车顶关键点和车轮关键点，因此，可基于前述关键点，来计算得到目标车辆的长度、宽度和高度；然后，即可将目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，从而得出目标车辆相对应的车辆模型，而该车辆模型则标注有若干关键点的三维坐标，因此，即可得出与指定关键点表征位置相同的标定关键点；接着，即可将指定关键点进行两两分组，并保证分组的两指定关键点在车辆的同一类型的部分上（如车轮关键点分为一组，车顶关键点分为一组），从而得到若干关键点匹配组；更进一步的，可基于每一关键点匹配组中两指定关键点所表征的位置，来进行标定关键点的匹配，得到每一关键点匹配组对应的标定关键点；最后，即可基于每一关键点匹配组中两指定关键点的二维坐标，以及每一关键点匹配组对应的标定关键点，来计算得到三维转化参数，以便后续基于三维转化参数，来进行各个指定关键点的三维映射。
在一个可能的设计中，基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数，包括：
对于任一关键点匹配组，计算任一关键点匹配组中两指定关键点的纵坐标之间的差值的绝对值，得到高度差；
计算任一关键点匹配组相对应的两匹配关键点的纵坐标之间的比值，得到高度比率；
获取采集每张行车图像的相机的焦距，并基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数。
在一个可能的设计中，根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标，包括：
获取采集每张行车图像的相机的主点的坐标；
对于任一关键点匹配组，将所述任一关键点匹配组的三维转换参数的值，作为任一关键点匹配组中两指定关键点的z轴坐标值；
基于所述焦距，并按照如下公式（1）和公式（2），计算得到所述任一关键点匹配组中两指定关键点的三维横坐标以及三维纵坐标；
Figure 380833DEST_PATH_IMAGE001
（1）
Figure 527649DEST_PATH_IMAGE002
（2）
上述式（1）中，
Figure 648052DEST_PATH_IMAGE003
表示任一关键点匹配组中第i个指定关键点的三维横坐标，
Figure 958947DEST_PATH_IMAGE005
表 示任一关键点匹配组的三维转换参数，
Figure 557419DEST_PATH_IMAGE006
为焦距，
Figure 575054DEST_PATH_IMAGE007
表示任一关键点匹配组中第i个指定 关键点的二维横坐标，
Figure 928675DEST_PATH_IMAGE008
表示相机的主点的横坐标，且
Figure 648238DEST_PATH_IMAGE009
；
上述式（2）中，
Figure 112717DEST_PATH_IMAGE010
表示任一关键点匹配组中第i个指定关键点的三维纵坐标，
Figure 984858DEST_PATH_IMAGE011
表 示任一关键点匹配组的三维转换参数，
Figure 447064DEST_PATH_IMAGE012
为焦距，
Figure 670235DEST_PATH_IMAGE013
表示任一关键点匹配组中第i个指定 关键点的二维纵坐标，
Figure 672826DEST_PATH_IMAGE014
表示相机的主点的纵坐标。
在一个可能的设计中，基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数，包括：
按照如下公式（3），计算得到任一关键点匹配组的三维转换参数；
Figure 648741DEST_PATH_IMAGE015
（3）
上述式（3）中，
Figure 547427DEST_PATH_IMAGE016
表示任一关键点匹配组的三维转换参数，
Figure 257894DEST_PATH_IMAGE017
表示焦距，
Figure 267438DEST_PATH_IMAGE018
表示 所述高度比率，
Figure 629018DEST_PATH_IMAGE019
表示高度差，
Figure 433026DEST_PATH_IMAGE020
表示目标车辆的高度。
在一个可能设计的，对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹，包括：
对每张目标车辆停车后的行车图像中的同一乘客进行乘客检测，得到每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标；
基于每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标，计算得到乘客行动轨迹。
第二方面，提供了一种车辆违法上下客的检测装置，包括：
图像获取单元，用于获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；
停车检测单元，用于对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；
车门检测单元，用于在所述停车检测单元检测到所述目标车辆存在停车行为时，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；
关键点检测单元，用于在所述车门检测单元检测出目标车辆的车门开启时，从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；
三维映射单元，用于基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；
轨迹检测单元，用于对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；
违法上下车检测单元，用于判断所述乘客行动轨迹与所述三维切面之间是否存在交点；
违法上下车检测单元，用于在判断所述乘客行动轨迹与所述三维切面之间存在交点时，判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
第三方面，提供了另一种车辆违法上下客的检测装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述车辆违法上下客的检测方法。
第四方面，提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述车辆违法上下客的检测方法。
第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述车辆违法上下客的检测方法。
有益效果：
（1）本发明能够通过车辆的行车图像来实时检测其是否存在违法上下客行为，同时，在检测到车辆存在违法上下客行为时，可保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，由此，本发明所提供的违法上下客检测方法，检测时效性以及执法效力高，能够在违法行为发生时，及时扼制违法行为，降低了事故的发生风险。
附图说明
图1为本发明实施例提供的车辆违法上下客的检测方法的步骤流程示意图；
图2为本发明实施例提供的训练后的车辆匹配模型对应的模型数据库内各车辆样板模型的效果示意图；
图3为本发明实施例提供的车辆模型的标定关键点的效果示意图；
图4为本发明实施例提供的乘客行动轨迹的效果示意图；
图5为本发明实施例提供的车辆违法上下客的检测装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1所示，本实施例所提供的车辆违法上下客的检测方法，可通过车辆的行车图像来实时检测其是否存在违法上下客行为，并在检测到车辆存在违法上下客行为时，保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，从而遏止违法行为以及提醒后车及时减速，以降低事故发生风险；由此，本实施例所提供的检测方法，对违法上下车的检测执行效力高以及时效性高，适用于广泛应用与推广；可选的，本实施例所提供的方法可以但不限于在RSU（Road Side Unit，路侧单元）侧运行，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S8所示。
S1. 获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；具体应用时，举例可以但不限于使用道路上的摄像头，来采集目标车辆的行车图像，并将采集的图像传输至RSU单元，其中，目标车辆可以是客运车辆，也可为非客运车辆，在此不作具体限定；同时，举例摄像头采集目标车辆的图像时，间隔时长可以但不限于为1秒；当然，间隔时长可根据实际使用而具体设定，在此不限定于前述举例。
在获取到目标车辆的行车图像集后，即可对行车图像集中的每张行车图像进行目标检测，从而来判定目标车辆是否存在停车行为，其中，目标检测过程如下述步骤S2所示。
S2. 对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；具体应用时，可以但不限于使用yolov4模型（YOLO 模型是由 JosephRedmon 等人于 2015 年提出的神经网络模型结构，yolov4则是第4版本）来进行目标检测，即将每张行车图像输入至yolov4模型中，来输出每张行车图像中目标车辆的中心点坐标；而在得到每张行车图像中目标车辆的中心点坐标后，即可基于不同行车图像中目标车辆的中心点坐标，来进行停车检测，其中，停车检测过程可以但不限于如下述步骤S21～S23所示。
S21. 基于每张行车图像中目标车辆的中心点坐标，计算每张行车图像中目标车辆的中心点，与各自行车图像的边界之间的距离，以作为每张行车图像的停车检测距离；具体应用时，每张行车图像的边界可通过图像坐标系得知，其中，图像坐标系为以行车图像的左下角为原点，长度方向为x轴，宽度方向为y轴，建立的图像坐标系；因此，在得到每张行车图像中目标车辆的中心点坐标后，基于中心点坐标和边界坐标，即可得出中心点距离边界的距离；可选的，中心点到行车图像的边界的距离可以但不限于为：中心点到行车图像左下角之间的距离、右上角之间的距离或左上角之间的距离。
在计算得到每张行车图像中目标车辆的中心点，与各自图像对应边界之间的距离后，即可基于计算出的距离，来进行停车检测，如下述步骤S22和步骤S23所示。
S22. 在所述行车图像集中，判断是否存在有停车检测距离相同的n张相邻的行车图像。
S23. 若是，则判定所述目标车辆存在停车行为；具体应用时，由于行车图像是按照预设间隔时长采集的，因此，当连续n张相邻的行车图像对应的停车检测距离未发生变化，则说明目标车辆的位置未发生变化，也就是处于停车状态；反之，则说明目标车辆的位置发生了变化，其不存在停车行为；更进一步的，在预设间隔时长为1秒的情况下，n可以但不限于取值为3；当然，在行车图像的采集间隔时长不同的情况下，n的值也随之变化，在此不作具体限定。
由此基于前述步骤S21～S23，即可基于行车图像集，来判定目标车辆是否存在停车行为，而在判定出目标车辆存在停车行为后，则需要进行下一步的检测，也就是车门开启检测，其中，车门开启检测过程如下述步骤S3所示。
S3. 若所述目标车辆存在停车行为，则从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；具体应用时，是利用目标车辆停车后的行车图像，来进行车门开启检测，其中，前述就已说明，若存在有停车检测距离相同的n张相邻的行车图像，则说明目标车辆存在停车行为，因此，前述步骤S22中的n张相邻的行车图像，则作为目标车辆停车后的行车图像；而在本实施例中，举例可以但不限于采用ResNet_34（残差网络）模型来对停车后的行车图像进行图像识别，以得出车门开启检测结果。
在具体应用时，可将目标车辆停车后的行车图像输入至ResNet_34模型，而ResNet_34模型则对目标车辆停车后的行车图像进行特征提取，得到7x7x512的特征图；然后对该特征图中的每个维度取均值，得到1x1x512的特征图，接着，将该1x1x512的特征图与1x1x2的卷积核进行卷积操作，输出1x2的向量，最后，基于softmax函数以及该向量，输出机动车是否开关车门的概率；因此，当ResNet_34模型输出的概率值大于一阈值时，可判定目标车辆的车门开启，反之，则判定目标车辆的车门未开启。
在判断出目标车辆停车后存在车门开启行为时，则可进行违法上下客检测，其中，本实施例中的违法上下客检测的基本原理是：通过检测行为图像中目标车辆的关键点，来构建出目标车辆位于车门侧的端面的三维切面，同时，再对行车图像中的乘客进行目标跟踪，得出同一乘客的运动轨迹，因此，若该乘客存在上下车行为，那么其轨迹必然会穿过前述构建的三维切面，由此，通过判断三维切面与乘客行动轨迹之间是否存在交点，即可得出车辆违法上下客的检测结果；可选的，违法上下客的检测过程如下述步骤S4～S8所示。
S4. 若是，则从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；具体应用时，目标车辆最先停车时对应的行车图像，为停车后的行车图像中，最先采集的图像，即相邻的n张行车图像为按照采集时间从先至后的顺序，依次排序的，那么n张行车图像中的第一张则为切面检测图像；在从停车后的行车图像中，筛选出最先停车对应的图像后，即可进行关键点检测，以便后续基于检测出的关键点，来进行车辆是否存在违法上下客的行为的判定。
可选的，举例可以但不限于采用MonoGRNet V2模型，进行切面检测图像中目标车辆的关键点检测，其中，MonoGRNet V2模型的整体算法框架类似于Mask RCNN框架（其由faster rcnn 和语义分割算法FCN组成，前者完成目标检测任务，后者可以准确完成语义分割的任务）,但是，MonoGRNet V2模型额外添加了两个head分支，其中一个分支用以回归2D点,可见性以及自身旋转角度;另外一个分支负责选择CAD模型并且回归3D尺寸偏差；因此，本实施例则采用MonoGRNet V2模型先进行2D图像（即切面检测图像）中的关键点检测，然后再利用MonoGRNet V2模型，进行二维关键点的3D回归。
在本实施例中，MonoGRNet V2模型中用于回归2D关键点的损失函数为：
Figure 834051DEST_PATH_IMAGE021
（4）
Figure 630975DEST_PATH_IMAGE022
（5）
Figure 597794DEST_PATH_IMAGE023
（6）
上述式中，
Figure 369441DEST_PATH_IMAGE024
为损失函数，
Figure 54500DEST_PATH_IMAGE025
为偏差损失函数，
Figure 405847DEST_PATH_IMAGE026
表示关键点可视概 率损失函数，
Figure 210861DEST_PATH_IMAGE027
表示关键点真实坐标和预测坐标的差异损失函数，K表示关键点的 个数，在本实施例举例为6个（即车顶端面的4个端点，以及车门侧的两个车轮中心点），
Figure 622251DEST_PATH_IMAGE028
表示第k个关键点的可视性指示器，
Figure 325764DEST_PATH_IMAGE029
和
Figure 215223DEST_PATH_IMAGE030
表示真实的和预测的关键点的二维 坐标，
Figure 891055DEST_PATH_IMAGE031
表示关键点的可见性状态，
Figure 457034DEST_PATH_IMAGE032
表示第k个关键点可视性的评估概率。
由此，基于前述MonoGRNet V2模型，即可得到切面检测图像中目标车辆的车顶端面4个端点的二维坐标，以及车门侧两车轮的中心点的二维坐标，从而得到6个指定关键点。
在得到切面检测图像中目标车辆的指定关键点的二维坐标后，需要将各个指定关键点坐标进行三维映射，也就是转换为三维坐标，以便后续进行违法上下客检测，其中，三维映射过程如下述步骤S5所示。
S5. 基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；具体应用时，是借助MonoGRNet V2模型中用于回归3D尺寸偏差的分支，来进行指定关键点的3D转换，其具体过程为：利用MonoGRNet V2模型来得出目标车辆相对应的车辆模型，而车辆模型中标注有若干与指定关键点表征位置相同的标定关键点，因此，结合标定关键点以及指定关键点的坐标，即可得出二维的指定关键点与三维坐标之间的三维转换参数；最后，利用该三维转换参数，即可将二维的指定关键点转换为3D点，从而得到三维坐标；可选的，转换过程如下述步骤S51～S56所示。
S51.基于所述指定关键点的二维坐标，得到所述切面检测图像中目标车辆的长度、宽度和高度；具体应用时，车顶端面上宽度方向上的两指定关键点之间的距离，则作为目标车辆的宽度，任一车轮的中心点到对应侧车顶端点之间的距离则作为目标车辆的高度，而目标车辆的同侧两车轮中心点之间的距离，则作为目标车辆的长度；更进一步的，前述距离可根据各个指定关键的二维坐标计算得到。
在得到目标车辆的长度、宽度和高度后，即可将其输入至MonoGRNet V2模型中，实现车辆模型的匹配，如下述步骤S52所示。
S52. 将所述目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，得出与所述目标车辆相对应的车辆模型上的多个标定关键点的三维坐标，其中，各个标定关键点所表征的位置，与所述指定关键点所表征的位置一一对应；在本实施例中，训练后的车辆匹配模型则为MonoGRNet V2模型，其中，MonoGRNet V2模型设置有模型数据库，库内预先定义多个3D CAD车辆样板模型（参见图2所示，可以包括三厢车模型、两厢车模型、箱式轿车模型等等，当然，还可包括客运车辆，图2中未示出），并为每个车辆样板模型标注好车顶的四个关键点、所有车轮中心关键点的三维坐标，作为标定关键点（参见图3所示，图3中则标出了各个标定关键点），以及为车辆样板模型标注长宽高；同时，还需获取多个样板车辆的长宽高，作为目标长宽高，以便将多个样板车辆的目标长宽高和前述各个车辆样板模型的长宽高作为输入，各个样板车辆相对应的车辆样板模型为输出，来训练MonoGRNet V2模型；更进一步的，在MonoGRNet V2模型进行车辆匹配时，其损失函数为输出值（即输出的与样板车辆相对应的车辆样板模型的长宽高）与真实值（即样板车辆的目标长宽高数据）之间的差异，且在差异小于预设值时，则可结束模型的训练。
由此，基于前述MonoGRNet V2模型中用于回归3D尺寸偏差的分支，即可基于目标车辆的长宽高数据，来匹配出与其对应的车辆模型，从而得出与其对应车辆模型上的标定关键点的三维坐标；参见图3所示，即车辆模型中车顶4个端点的三维坐标以及4个车轮中心的三维坐标。
在得到目标车辆相对应的车辆模型后，即可基于车辆模型中标定关键点的三维坐标以及指定关键点的二维坐标，来计算得到三维转换参数，如下述步骤S53～S55所示。
S53. 对所述指定关键点进行两两分组，以得到若干关键点匹配组，其中，每一关键点匹配组中的两指定关键点处于目标车辆的同一类型的部位上；具体应用时，则是将位于车顶长度方向上的两指定关键点分为一组（4个端点则分为2组），将位于同侧车轮上的指定关键点分为一组，在前述6个指定关键点的基础上，则可分为三组。
在分组完毕后，即可从车辆模型中，筛选出与每一关键点匹配组相对应的标定关键点，以便基于后续进行匹配出的标定关键点，进行三维转化参数的计算，其中，匹配过程如下述步骤S54所示。
S54. 对于每一关键点匹配组，从各个标定关键点中，筛选出与每一关键点匹配组中两指定关键点表征位置相同的标定关键点，以作为每一关键点匹配组相对应的匹配关键点；具体应用时，则是根据关键点所表征的位置，来进行关键点匹配组中两指定关键点，与标定关键点的一一对应；假设一关键点匹配组中两指定关键点为目标车辆左侧两车轮的中心点，那么对应在车辆模型中，也是在表征位置为车辆模型左侧两车轮的标定关键点，以此原理，即可为每一关键点匹配组分配两标定关键点。
在得到每一关键点匹配组相对应的匹配关键点后，即可基于每一关键点匹配组中两指定关键点的二维坐标，以及与其对应的两匹配关键点的三维坐标，来计算出每一关键点匹配组的三维转换参数，其中，计算过程如下述步骤S55所示。
S55. 基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数；具体应用时，由于每一关键点匹配组的三维转换参数计算过程相同，下述以任一关键点匹配组为例，进行三维转换参数的具体阐述，可以但不限于如下述步骤S55a～S55c所示。
S55a. 对于任一关键点匹配组，计算任一关键点匹配组中两指定关键点的纵坐标之间的差值的绝对值，得到高度差。
S55b. 计算任一关键点匹配组相对应的两匹配关键点的纵坐标之间的比值，得到高度比率。
S55c. 获取采集每张行车图像的相机的焦距，并基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数；具体应用时，采集行车图像的相机的焦距，可预先设置在RSU单元中，且可以但不限于采用如下公式（3），来计算得到该任一关键点匹配组的三维转换参数。
Figure 647844DEST_PATH_IMAGE033
（3）
上述式（3）中，
Figure 340994DEST_PATH_IMAGE016
表示任一关键点匹配组的三维转换参数，
Figure 871332DEST_PATH_IMAGE017
表示焦距，
Figure 624525DEST_PATH_IMAGE018
表示 所述高度比率，
Figure 302631DEST_PATH_IMAGE019
表示高度差，
Figure 517580DEST_PATH_IMAGE020
表示目标车辆的高度。
由此，基于不同关键点匹配组中两指定关键点的二维坐标，以及不同关键点匹配组对应的两匹配关键点的三维坐标，并借助前述公式（3），即可计算出每个关键点匹配组对应的三维转换参数；而在得到各个关键点匹配组对应的三维转换参数后，则可利用三维转换参数，来计算得到各个指定关键点的三维坐标，如下述步骤S56所示。
S56. 根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标；具体应用时，是以每一关键点匹配组为单位，并基于每一关键点匹配组的三维转换参数来计算出每一关键点匹配组中两指定关键点的三维坐标；下述与任一关键点匹配组为例，来具体阐述三维坐标的计算过程，如下述步骤S56a～S56c所示。
S56a. 获取采集每张行车图像的相机的主点的坐标；具体应用时，相机的主点坐标可通过对相机进行标定，得出相机的内参矩阵，从而基于内参矩阵得到，在本实施例中，内参矩阵可预先设置在RSU单元内。
S56b. 对于任一关键点匹配组，将所述任一关键点匹配组的三维转换参数的值，作为任一关键点匹配组中两指定关键点的z轴坐标值；即前述计算出的各关键点匹配组的三维转换参数，实际作为各关键点匹配组中两指定关键点的z轴坐标值。
S56c. 基于所述焦距，并按照如下公式（1）和公式（2），计算得到所述任一关键点匹配组中两指定关键点的三维横坐标以及三维纵坐标。
Figure 964742DEST_PATH_IMAGE034
（1）
Figure 888836DEST_PATH_IMAGE035
（2）
上述式（1）中，
Figure 991921DEST_PATH_IMAGE036
表示任一关键点匹配组中第i个指定关键点的三维横坐标，
Figure 823611DEST_PATH_IMAGE037
表 示任一关键点匹配组的三维转换参数，
Figure 62962DEST_PATH_IMAGE038
为焦距，
Figure 407225DEST_PATH_IMAGE007
表示任一关键点匹配组中第i个指定 关键点的二维横坐标，
Figure 59923DEST_PATH_IMAGE008
表示相机的主点的横坐标，且
Figure 367408DEST_PATH_IMAGE009
。
上述式（2）中，
Figure 461266DEST_PATH_IMAGE010
表示任一关键点匹配组中第i个指定关键点的三维纵坐标，
Figure 523899DEST_PATH_IMAGE039
表 示任一关键点匹配组的三维转换参数，
Figure 585265DEST_PATH_IMAGE012
为焦距，
Figure 227599DEST_PATH_IMAGE013
表示任一关键点匹配组中第i个指定 关键点的二维纵坐标，
Figure 503860DEST_PATH_IMAGE014
表示相机的主点的纵坐标。
由此，只需将各关键点匹配组中两指定关键点的二维横坐标代入前述公式（3），即可得出各关键点匹配组中两指定关键点的三维横坐标；同理，将各关键点匹配组中两指定关键点的二维纵坐标代入前述公式（4），即可得出各关键点匹配组中两指定关键点的三维纵坐标。
通过前述步骤S51～S56，即可完成各个指定关键点的三维映射，得到各个指定关键点的三维坐标，从而基于各个指定关键点的三维坐标，来构建出目标车辆位于车门侧端面的三维切面，即两车轮的中心点，以及两车轮同侧的车顶端点，构成三维切面，在本实施例中，为便于阐述，三维切面的示意图，可参见图3的黑色线条所构成的平面。
在得到目标车辆位于车门侧端面的三维切面后，即可进行乘客轨迹检测，得出乘客行动轨迹，以便后续基于乘客行动轨迹以及三维切面，来进行车辆违法上下客的检测，其中，乘客轨迹检测如下述步骤S6所示。
S6. 对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；具体应用时，可对停车后的行车图像中同一乘客进行目标跟踪，从而得出乘客轨迹，如下述步骤S61和步骤S62所示。
S61. 对每张目标车辆停车后的行车图像中的同一乘客进行乘客检测，得到每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标；具体应用时，可以但不限于使用deepsort目标跟踪算法，来对行车图像中的同一乘客进行乘客跟踪，得到每张停车后的行车图像中该同一乘客所属边界框的中心点坐标。
在得到每张停车后的行车图像中该同一乘客所属边界框的中心点坐标后，即可利用边界框的中心点坐标，来计算出乘客轨迹方程，如下述步骤S62所示。
S62. 基于每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标，计算得到乘客行动轨迹；具体应用时，相当于用边界框的中心点坐标，来求解直线轨迹方程；同时，还可直接将每张停车后的行车图像中该同一乘客所属边界框的中心点连接起来，得到乘客行动轨迹，其效果示意图可参见图4所示，即图4中A点和B点分别为两张停车后的行车图像中的边界框的中心点，而直线AB则作为乘客行动轨迹；当然，利用A点和B点的坐标，也可求取出直线AB的轨迹方程。
在得到乘客行动轨迹后，即可通过计算乘客行动轨迹和三维切面之间是否存在交点，来判断目标车辆是否存在违法上下客行为，如下述步骤S7和步骤S8所示。
S7. 判断所述乘客行动轨迹与所述三维切面之间是否存在交点；具有应用时，可利用构成三维切面的指定关键点的三维坐标，来求取三维切面的面轨迹方程，然后结合乘客行动轨迹的轨迹方程，来进行交点的求解，若两个轨迹方程之间可计算出交点，那么则说明目标车辆存在违法上下客行为，反之，则不存在。
在本实施例中，若判定出目标车辆存在违法上下客行为，那么则需要保存目标车辆停车后的行车图像，以作为违法上下客的证据进行留存；同时，还会对目标车辆以及目标车辆后方的车辆发送报警提示，以提醒目标车辆的驾驶人员停止违法上下客行为，以及提醒后车及时减速，其中，报警提示过程如下述步骤S8所示。
S8. 若是，则判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测；具体应用时，可通过RSU单元与目标车辆的车载设备，以及目标车辆后方车辆的车载设备进行通信，从而实现报警提示的发送；同时，对于目标车辆，报警提示可以但不限于为：您正在违法上下客，请及时停止该行为；而对于目标车辆后方的车辆，报警提示则可以但不限于为：车牌为XXX的车辆，正在违法上下客，请减速慢行；当然，目标车辆的车牌号可利用神经网络进行识别；另外，也可借助道路上的功放设备以及显示屏，来进行报警提示，其报警提示方式可根据实际使用而具体设定，于此不作具体限定。
由此通过前述步骤S1～S8所详细描述的车辆违法上下客的检测方法，本发明可通过车辆的行车图像来实时检测其是否存在违法上下客行为，并在检测到车辆存在违法上下客行为时，保留其违法上下客的图像，并向车辆以及车辆后方的车辆发送报警提示，以提示车辆的驾驶人员停止违法行为以及提醒后方车辆及时减速，从而遏止违法行为以及提醒后车及时减速，以降低事故发生风险；由此，本实施例所提供的检测方法，对违法上下车的检测执行效力高以及时效性高，适用于广泛应用与推广。
如图5所示，本实施例第二方面提供了一种实现实施例第一方面中所述的车辆违法上下客的检测方法的硬件装置，包括：
图像获取单元，用于获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像。
停车检测单元，用于对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为。
车门检测单元，用于在所述停车检测单元检测到所述目标车辆存在停车行为时，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启。
关键点检测单元，用于在所述车门检测单元检测出目标车辆的车门开启时，从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点。
三维映射单元，用于基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成汽车位于车门侧端面的三维切面。
轨迹检测单元，用于对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹。
违法上下车检测单元，用于判断所述乘客行动轨迹与所述三维切面之间是否存在交点。
违法上下车检测单元，用于在判断所述乘客行动轨迹与所述三维切面之间存在交点时，判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图6所示，本实施例第三方面提供了另一种车辆违法上下客的检测装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的车辆违法上下客的检测方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（random accessmemory，RAM）、只读存储器（Read Only Memory ，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机（reduced instruction setcomputer,RISC）微处理器、X86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，NPU）的处理器；所述收发器可以但不限于为无线保真（WIFI）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的车辆违法上下客的检测方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的车辆违法上下客的检测方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的车辆违法上下客的检测方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆违法上下客的检测方法，其特征在于，包括：
获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；
对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；
若所述目标车辆存在停车行为，则从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；
若是，则从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；
基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；
对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；
判断所述乘客行动轨迹与所述三维切面之间是否存在交点；
若是，则判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
2.根据权利要求1所述的方法，其特征在于，根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为，包括：
基于每张行车图像中目标车辆的中心点坐标，计算每张行车图像中目标车辆的中心点，与各自行车图像的边界之间的距离，以作为每张行车图像的停车检测距离；
在所述行车图像集中，判断是否存在有停车检测距离相同的n张相邻的行车图像；
若是，则判定所述目标车辆存在停车行为；
相应的，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，则包括：
将n张相邻的行车图像作为目标车辆停车后的行车图像，其中，n为正整数，且大于1。
3.根据权利要求1所述的方法，其特征在于，基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，包括：
基于所述指定关键点的二维坐标，得到所述切面检测图像中目标车辆的长度、宽度和高度；
将所述目标车辆的长度、宽度和高度输入至训练后的车辆匹配模型中，得出与所述目标车辆相对应的车辆模型上的多个标定关键点的三维坐标，其中，各个标定关键点所表征的位置，与所述指定关键点所表征的位置一一对应；
对所述指定关键点进行两两分组，以得到若干关键点匹配组，其中，每一关键点匹配组中的两指定关键点处于目标车辆的同一类型的部位上；
对于每一关键点匹配组，从各个标定关键点中，筛选出与每一关键点匹配组中两指定关键点表征位置相同的标定关键点，以作为每一关键点匹配组相对应的匹配关键点；
基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数；
根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标。
4.根据权利要求3所述的方法，其特征在于，基于每一关键点匹配组中两指定关键点的二维坐标，以及与每一关键点匹配组相对应的匹配关键点的三维坐标，计算得到每一关键点匹配组的三维转换参数，包括：
对于任一关键点匹配组，计算任一关键点匹配组中两指定关键点的纵坐标之间的差值的绝对值，得到高度差；
计算任一关键点匹配组相对应的两匹配关键点的纵坐标之间的比值，得到高度比率；
获取采集每张行车图像的相机的焦距，并基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数。
5.根据权利要求4所述的方法，其特征在于，根据每一关键点匹配组的三维转换参数，以及每一关键点匹配组中两指定关键点的二维坐标，计算得到各个指定关键点的三维坐标，包括：
获取采集每张行车图像的相机的主点的坐标；
对于任一关键点匹配组，将所述任一关键点匹配组的三维转换参数的值，作为任一关键点匹配组中两指定关键点的z轴坐标值；
基于所述焦距，并按照如下公式（1）和公式（2），计算得到所述任一关键点匹配组中两指定关键点的三维横坐标以及三维纵坐标；
Figure 720402DEST_PATH_IMAGE001
（1）
Figure 986298DEST_PATH_IMAGE002
（2）
上述式（1）中，
Figure 860713DEST_PATH_IMAGE003
表示任一关键点匹配组中第i个指定关键点的三维横坐标，
Figure 237468DEST_PATH_IMAGE005
表示任一 关键点匹配组的三维转换参数，
Figure 513728DEST_PATH_IMAGE006
为焦距，
Figure 950526DEST_PATH_IMAGE007
表示任一关键点匹配组中第i个指定关键点 的二维横坐标，
Figure 499188DEST_PATH_IMAGE008
表示相机的主点的横坐标，且
Figure 476371DEST_PATH_IMAGE009
；
上述式（2）中，
Figure 544821DEST_PATH_IMAGE010
表示任一关键点匹配组中第i个指定关键点的三维纵坐标，
Figure 65621DEST_PATH_IMAGE011
表示任一 关键点匹配组的三维转换参数，
Figure 242525DEST_PATH_IMAGE012
为焦距，
Figure 695503DEST_PATH_IMAGE013
表示任一关键点匹配组中第i个指定关键点 的二维纵坐标，
Figure 946356DEST_PATH_IMAGE014
表示相机的主点的纵坐标。
6.根据权利要求4所述的方法，其特征在于，基于所述焦距、所述高度差、所述目标车辆的高度以及所述高度比率，计算得到任一关键点匹配组的三维转换参数，包括：
按照如下公式（3），计算得到任一关键点匹配组的三维转换参数；
Figure 724956DEST_PATH_IMAGE015
（3）
上述式（3）中，
Figure 513789DEST_PATH_IMAGE016
表示任一关键点匹配组的三维转换参数，
Figure 36037DEST_PATH_IMAGE017
表示焦距，
Figure 344659DEST_PATH_IMAGE018
表示所述 高度比率，
Figure 28581DEST_PATH_IMAGE019
表示高度差，
Figure 39131DEST_PATH_IMAGE020
表示目标车辆的高度。
7.根据权利要求1所述的方法，其特征在于，对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹，包括：
对每张目标车辆停车后的行车图像中的同一乘客进行乘客检测，得到每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标；
基于每张目标车辆停车后的行车图像中该同一乘客所属边界框的中心点坐标，计算得到乘客行动轨迹。
8.一种车辆违法上下客的检测装置，其特征在于，包括：
图像获取单元，用于获取目标车辆的行车图像集，其中，所述行车图像集包括至少三张按照预设间隔时长采集的行车图像；
停车检测单元，用于对所述行车图像集中的每张行车图像进行目标检测，得出每张行车图像中目标车辆的中心点坐标，以便根据每张行车图像中目标车辆的中心点坐标，判断目标车辆是否存在停车行为；
车门检测单元，用于在所述停车检测单元检测到所述目标车辆存在停车行为时，从所述行车图像集中，确定出所述目标车辆停车后的行车图像，并基于所述目标车辆停车后的行车图像，判断所述目标车辆的车门是否开启；
关键点检测单元，用于在所述车门检测单元检测出目标车辆的车门开启时，从所述目标车辆停车后的行车图像中，筛选出所述目标车辆最先停车时对应的行车图像，作为切面检测图像，并对所述切面检测图像进行关键点检测，得出指定关键点的二维坐标，其中，所述指定关键点包括所述切面检测图像中目标车辆的车顶关键点，以及目标车辆车门侧的车轮关键点；
三维映射单元，用于基于所述指定关键点的二维坐标，对所述指定关键点进行三维映射，得到指定关键点的三维坐标，并根据所述指定关键点的三维坐标，生成目标车辆位于车门侧端面的三维切面；
轨迹检测单元，用于对所述目标车辆停车后的行车图像中的乘客进行轨迹检测，得出乘客行动轨迹；
违法上下车检测单元，用于判断所述乘客行动轨迹与所述三维切面之间是否存在交点；
违法上下车检测单元，用于在判断所述乘客行动轨迹与所述三维切面之间存在交点时，判定所述目标车辆存在违法上下客行为，并保存所述目标车辆停车后的行车图像，以及向所述目标车辆以及所述目标车辆后方的车辆发出报警提示，以在报警提示发送完毕后，完成对所述目标车辆的违法上下客检测。
9.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的车辆违法上下客的检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的车辆违法上下客的检测方法。
CN202211237548.9A 2022-10-11 2022-10-11 车辆违法上下客的检测方法、装置、电子设备及存储介质 Active CN115311633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237548.9A CN115311633B (zh) 2022-10-11 2022-10-11 车辆违法上下客的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237548.9A CN115311633B (zh) 2022-10-11 2022-10-11 车辆违法上下客的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115311633A true CN115311633A (zh) 2022-11-08
CN115311633B CN115311633B (zh) 2022-12-27

Family

ID=83868395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237548.9A Active CN115311633B (zh) 2022-10-11 2022-10-11 车辆违法上下客的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115311633B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310954A (zh) * 2023-02-16 2023-06-23 北京市交通运输综合执法总队执法保障中心 一种基于视频的出租车违法载客检测与识别方法及系统
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447032A (zh) * 2018-11-14 2019-03-08 中设设计集团股份有限公司 高速公路服务区客车违法上下客的检测方法及系统
CN110021185A (zh) * 2019-04-04 2019-07-16 邵沈齐 一种智慧交通管理系统
CN111914773A (zh) * 2020-08-07 2020-11-10 杭州微胜智能科技有限公司 一种抓拍违法上下客的设备、方法
CN114282623A (zh) * 2021-12-29 2022-04-05 北京商海文天科技发展有限公司 一种基于客运车辆违规上下客的分析方法
CN114639038A (zh) * 2022-03-07 2022-06-17 青岛海信网络科技股份有限公司 一种车辆违法载人检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447032A (zh) * 2018-11-14 2019-03-08 中设设计集团股份有限公司 高速公路服务区客车违法上下客的检测方法及系统
CN110021185A (zh) * 2019-04-04 2019-07-16 邵沈齐 一种智慧交通管理系统
CN111914773A (zh) * 2020-08-07 2020-11-10 杭州微胜智能科技有限公司 一种抓拍违法上下客的设备、方法
CN114282623A (zh) * 2021-12-29 2022-04-05 北京商海文天科技发展有限公司 一种基于客运车辆违规上下客的分析方法
CN114639038A (zh) * 2022-03-07 2022-06-17 青岛海信网络科技股份有限公司 一种车辆违法载人检测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN116310954A (zh) * 2023-02-16 2023-06-23 北京市交通运输综合执法总队执法保障中心 一种基于视频的出租车违法载客检测与识别方法及系统
CN116310954B (zh) * 2023-02-16 2023-11-07 北京市交通运输综合执法总队执法保障中心 一种基于视频的出租车违法载客检测与识别方法及系统

Also Published As

Publication number Publication date
CN115311633B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN115311633B (zh) 车辆违法上下客的检测方法、装置、电子设备及存储介质
CN108345822B (zh) 一种点云数据处理方法及装置
Han et al. Research on road environmental sense method of intelligent vehicle based on tracking check
CN108573357B (zh) 基于等效力的行车风险实时评估方法及其装置
CN104508719B (zh) 驾驶辅助系统以及驾驶辅助方法
CN110356325B (zh) 一种城市交通客运车辆盲区预警系统
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN106781697B (zh) 车载式不良天气实时感知及防碰撞预警方法
EP4141736A1 (en) Lane tracking method and apparatus
CN105938560A (zh) 一种基于卷积神经网络的车型精细分类系统
US11628850B2 (en) System for generating generalized simulation scenarios
CN107516064A (zh) 使用环绕摄像机系统的并行场景基元检测
CN101734214A (zh) 汽车防撞行人智能装置与方法
KR101613667B1 (ko) ３차원 카메라를 이용한 차종 분류장치
TWI613108B (zh) 針對事故的駕駛行為分析系統及方法
CN107784708A (zh) 一种基于不同路况来判断驾驶风险的方法
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
CN107529659A (zh) 安全带佩戴检测方法、装置及电子设备
Peng Connected and automated vehicles: The roles of dynamics and control
Stähler et al. High-Performance Perception: A camera-based approach for smart autonomous electric vehicles in smart cities
CN107356916A (zh) 车距检测方法及装置、电子设备、计算机可读存储介质
CN116135654A (zh) 一种车辆行驶速度生成方法以及相关设备
Xu et al. Roadside estimation of a vehicle’s center of gravity height based on an improved single-stage detection algorithm and regression prediction technology
CN107784406A (zh) 基于adas的驾驶风险综合判断系统
Ibryaeva et al. A study of the impact of the transport queue structure on the traffic capacity of a signalized intersection using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant