CN115512315B - 一种非机动车儿童搭乘检测方法、电子设备及存储介质 - Google Patents

一种非机动车儿童搭乘检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115512315B
CN115512315B CN202211352365.1A CN202211352365A CN115512315B CN 115512315 B CN115512315 B CN 115512315B CN 202211352365 A CN202211352365 A CN 202211352365A CN 115512315 B CN115512315 B CN 115512315B
Authority
CN
China
Prior art keywords
motor vehicle
target
target frame
safety seat
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211352365.1A
Other languages
English (en)
Other versions
CN115512315A (zh
Inventor
张晓春
翟俊奇
鄢全文
刘星
庄蔚群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202211352365.1A priority Critical patent/CN115512315B/zh
Publication of CN115512315A publication Critical patent/CN115512315A/zh
Application granted granted Critical
Publication of CN115512315B publication Critical patent/CN115512315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种非机动车儿童搭乘检测方法、电子设备及存储介质，属于非机动车儿童搭乘检测技术领域。包括以下步骤：S1.获取场景监控数据，基于监控数据获取检测区域；S2.创建非机动车、人和安全座椅目标检测模型，输出带有唯一标号的非机动车、人和安全座椅目标框；S3.创建骑行状态检测模型，输出非机动车骑行状态；S4.将非机动车、驾驶员和安全座椅进行匹配；S5.建立搭乘人员年龄估计模型，输出搭乘人员年龄；S6.对非机动车儿童乘用进行安全分析；若搭乘人员年龄小于6岁，分析结果为儿童搭乘非机动车。解决非机动车儿童搭乘检测成本高、效率低的技术问题。

Description

一种非机动车儿童搭乘检测方法、电子设备及存储介质
技术领域
本申请涉及儿童搭乘检测方法，尤其涉及一种非机动车儿童搭乘检测方法、电子设备及存储介质，属于非机动车儿童搭乘检测技术领域。
背景技术
近年来，非机动车无安全座椅行驶造成儿童伤亡的事件备受关注，在交通事故中，儿童受伤或死亡的比例很高，而儿童安全座椅可以最大限度地减少对儿童车内活动的影响减少伤害。因此，各大城市对安全座椅皆有规定：驾驶自行车、电动自行车搭载6周岁以下未成年人的，使用固定座椅、在城市市区道路上不得载人，但安装有固定安全座椅的，可以附载一名身高1.2米以下儿童。
因此，如何在监控场景中准确检测非机动车儿童乘用安全情况变得尤为重要，这有助于指导交警及时对不安全行为进行阻拦及教育，降低道路安全事故发生的可能性。
在传统的非机动车儿童乘用安全检测工作中，通常是安排交警等专业人员进行定期的巡视检查，但是这种方法效率低下，消耗极大的人力和物力。如果使用云计算，将大量的视频流信息上传到云平台进行集中处理，同样将大大增加网络和存储的压力，不仅成本高而且可靠性难以保证。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的非机动车儿童搭乘检测成本高、效率低的技术问题，本发明提供一种非机动车儿童搭乘检测方法，实现对道路智能化、实时化的有效监控，同时给管理层提供了有效的决策依据。
方案一：一种非机动车儿童搭乘检测方法，包括以下步骤：
S1.获取场景监控数据，基于监控数据获取检测区域；
S2.创建非机动车、人和安全座椅目标检测模型，输出带有唯一标号的非机动车、人和安全座椅目标框；
S3.创建骑行状态检测模型，输出非机动车骑行状态；
S4.将非机动车、驾驶员和安全座椅进行匹配，其包括以下步骤：
S41.根据S2所述模型检测出人目标框、非机动车目标框和安全座椅目标框；
S42.构建姿势判定模型，对每个人目标框，进行姿势判定，分类为行人和驾乘人员，将行人目标框删除；
S43.对驾乘人员、安全座椅和非机动车根据距离判定进行驾驶员匹配，未匹配的驾乘人员、安全座椅划分到待匹配人员和安全座椅；
S44.分析待匹配人员运动轨迹和非机动车运动轨迹，进行轨迹相似度分析，为非机动车匹配到对应的搭乘人员；
S5.建立搭乘人员年龄估计模型，输出搭乘人员年龄；
S6.对非机动车儿童乘用进行安全分析；若搭乘人员年龄小于6岁，分析结果为儿童搭乘非机动车。
优选的，S2具体是，包括以下步骤：
S21.预先获得真实数据集，数据集中需包括非机动车、人和安全座椅；
S22.对真实数据集中的非机动车、人和安全座椅进行标注；
S23.将标注后的真实数据集输入DCGAN网络，首先训练判别器，再通过判别器不断提高生成器的性能，训练完成后将随机向量转换为生成对抗数据集；
S24.将真实数据集输入YOLOv5网络进行训练，并使用生成对抗数据集进行测试；
S25.运用迁移学习获得权重文件，得到非机动车、人和安全座椅目标检测模型。
优选的，S3具体是：包括CNN特征提取网络，LSTM时序建模网络和FC行驶状态分析网络；
CNN特征提取网络对图像序列中的每一帧目标监控图像分别进行特征提取，特征提取后，将每一帧目标序列图像的空间特征经过变形成LSTM时序建模网络接受的数据形式；
LSTM时序建模网络的每个LSTM单元接受一帧CNN网络输出的空间特征作为输入，同时上一个LSTM单元的输出，经过内部处理后，输出一组细胞状态，一次构建非机动车特征在时序上的关联，将每一个LSTM输出的细胞状态进行拼接后，输入到全连接的FC行驶状态分析网络中；
FC行驶状态分析网络输出层有两个神经元，分别代表“推行”和“骑行”，如果代表“骑行”的神经元激活并且分数高于设定的阈值t，则输出结果为“骑行”，否则输出“推行”。
优选的，S42具体是，包括以下步骤：
S421.使用Kaggle平台驾驶员姿态数据集进行训练，包含103,282张带有行为注释的驾驶员图像；
S422、通过Lightweight-Openpose模型将图像数据集转化关节点坐标，并选取8号至13号关节点的坐标作为训练数据集A；
S423、将训练集A作为SVM分类器的输入，经过迭代训练后进行二分类，分类结果为行人或驾乘人员。
优选的，S5具体是，包括以下步骤：
S51.对图像序列中的每一帧驾乘人员目标框分别进行人脸定位，得到人脸样本图像；
S52.将人脸样本图像进行图像预处理；
S53.将人脸样本图像进行的像素区域划分，将中心像素与相邻8个像素的灰度值分别进行比较得到区域的纹理信息，划分检测窗口大小相同的细胞单元，并分别提取相应的梯度信息,将细胞单元信息聚合成块信息，将块信息串联起来得到特征向量；
S54.将两个特征进行连接，获得系列特征融合得到特征向量；
S55.选定损失函数，输入特征向量，模型训练时通过SAPSO优化算法优化SVR得到最优回归超平面及支持向量机，输出年龄检测值，从而判断搭乘人员是否超过6岁。
优选的，S43具体是，包括以下步骤：
S431.对每个非机动目标框，分别计算所有驾乘人员目标框、安全座椅目标框的中心点与非机动车目标框的中心点，并分别以驾乘人员目标框和非机动车目标框中心点的连线、安全座椅目标框和非机动车目标框中心点的连线为半径画一个圆，圆心取为非机动车目标框的中心点；
S432.取半径小于设定阈值的人目标框和安全座椅目标框，所述人目标框和安全座椅目标框不多于3个，目标框分别为该非机动车对应的疑似驾驶员和安全座椅；
S433.分别计算驾乘人员目标框、安全座椅与圆重合区域的面积占圆总面积的比例，取占比最大的安全座椅目标框和人目标框；若人目标框占比最大的有多个，则取圆半径最小人目标框为驾驶员目标框，剩下的为搭乘人员目标框；若安全座椅目标框占比最大的有多个，则取圈面经最大的安全座椅目标框为安全座椅目标框；
S434.用最小邻接矩形将驾驶员目标框、安全座椅目标框与非机动车目标框包裹起来，形成最小邻接矩阵目标框，计算最小邻接矩形的中心点坐标，为唯一的最小邻接矩形目标框、驾乘人员目标框、安全座椅目标框和非机动车目标框的标号生成的唯一标号；
S435.将最小邻接矩形的中心点坐标与检测区域的坐标进行比较，判断最小邻接矩阵目标框中心点是否在检测区域内；若否，则不做任何操作；若是，则对最小邻接矩形目标框进行跟踪和行为分析，同时使用目标跟踪算法对连续帧目标检测图像中的同一邻接矩形进行关联，并给每个邻接矩形分配唯一的目标序号，直至该邻接矩形目标框消失或该邻接矩形离开检测区域；
S436.假若非机动车重新进入该检测区域，应当分配一个新的目标序号，其中目标序号由8位或以上的数字或字母随机组合而成，同时至少保证当日内每个新的目标序号都是唯一的；
S437.若非机动车目标框无法匹配到驾乘人员目标框和安全座椅目标框，则不对其做任何操作；若距离小于某一设定阈值的只有1个人目标框和1个安全座椅目标框，则直接对驾乘人员目标框、安全座椅目标框和非机动车目标框生成最小邻接矩形。
优选的，S44具体是，包括以下步骤：
S441.预测阶段：根据此帧目标位置和速度建立协方差矩阵预测下一帧目标出现的位置；
S442.检测阶段：对下一帧进行目标检测；
S443.匹配阶段：将S441所述预测结果与S442所述检测结果进行匹配，进行级联匹配和IOU匹配，进行跟踪，设置跟踪时间为10s，同时设置30帧为轨迹删除的最大帧数，若1s未能进行匹配，则删去该目标不再进行跟踪；
S444.重复执行步骤S441-S443得到目标轨迹；
S445.将待匹配轨迹与非机动车轨迹进行轨迹相似度分析。
优选的，S445具体是，包括以下步骤：
S4451.设待匹配轨迹集合，其中，表示唯一标号为X的行人目标轨迹信息；
非机动车和驾驶人员组合目标的轨迹，其中，代表非机动车轨迹信息Q在图像中的起始坐标；
，其中代表非机动车轨迹信息在图像中的起始坐标；
S4452.以非机动车和驾驶人员组合目标的轨迹Q为基准进行搭乘人员轨迹匹配，依次对待匹配轨迹集合进行轨迹相似度分析；
其中，表示到的欧式距离，轨迹相似度分析过程中根据实际应用场景的视角选取合适的阈值T，小于阈值T时，则将加入疑似搭乘人员备选集合Set2；若大于阈值T，则非机动车和驾驶人员组合目标的轨迹Q继续与Set1中其他轨迹进行相似度分析直至Set1中所有轨迹完成相似度分析；
S4453.若疑似搭乘人员备选集合Set2不为空集，将Set2中值最小值所对应的行人目标X匹配为非机动车的搭乘人员，并将轨迹从待匹配轨迹集合中删除，并更新Set2为空集；若Set2为空集，则标注该非机动车无搭乘人员。
方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述一种非机动车儿童搭乘检测方法的步骤。
方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种非机动车儿童搭乘检测方法。
本发明的有益效果如下：本发明在路侧摄像头的边缘侧，采用边缘计算和深度学习技术对摄像头实时视频流进行图像识别分析，能够有效地判断非机动车儿童乘用安全情况，并且对于非机动车搭乘人员的识别和匹配进行了优化，采用目标的一小段轨迹信息作为匹配依据，能够有效克服人员目标存在遮挡的情况下的匹配精度，还解决了传统人工检查费时费力、成本高的问题，实现对道路智能化、实时化的有效监控，同时给管理层提供了有效的决策依据。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明一种非机动车儿童搭乘检测方法流程示意图；
图2为本发明构建非机动车、人和安全座椅目标检测模型方法流程示意图；
图3为本发明非机动车、驾驶员匹配流程示意图；
图4为本发明搭乘人员年龄估计流程示意图；
图5为本发明实施例2中S6-S7流程示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1-图4说明本实施方式，一种非机动车儿童搭乘检测方法，包括以下步骤：
S1.获取场景监控数据，基于监控数据获取检测区域，其步骤如下：
S11.接入摄像头视频流信息：使用RJ45以太网网线将摄像头和边缘计算网关的网络接口进行连接，边缘计算网关在自身系统软件内部，通过RTSP视频流地址的方式接入摄像头采集的实时视频流信息；
S12.视频解码：将原始视频解码成统一的RGB格式的单帧图片；
S13.视频预处理：对单帧图片进行颜色空间的转换和图像滤波去噪处理，改善图片的，方便获取检测区域以及后续模块的进一步处理；
S14.检测区域获取：可以手动进行选择，也可以通过语义分割算法对场景中的非机动车道进行识别以及像素级定位，然后根据分割结果生成一个能够将非机动车道区域完全框住的最小外接旋转矩阵，即非机动车道的识别框，以此作为检测区域。由于摄像头一般都是固定的，非机动车道的位置也难以改变，所以检测区域的确定可以仅在监控的一开始进行，后续可以一直沿用这一检测区域；
S15.获得到检测区域后，给予其一个唯一标号。
S2.创建非机动车、人和安全座椅目标检测模型，输出带有唯一标号的非机动车、人和安全座椅目标框，包括以下步骤：
S21.预先获得真实数据集，数据集中需包括非机动车、人和安全座椅；
S22.对真实数据集中的非机动车、人和安全座椅进行标注；
S23.将标注后的真实数据集输入DCGAN网络，首先训练判别器，再通过判别器不断提高生成器的性能，训练完成后将随机向量转换为生成对抗数据集；
S24.将真实数据集输入YOLOv5网络进行训练，并使用生成对抗数据集进行测试；
S25.运用迁移学习获得权重文件，得到非机动车、人和安全座椅目标检测模型。
参照图2，S2所述模型具体应用步骤如下：
步骤一、对监控图像的每一帧利用基于深度学习的目标检测算法yolov5获取到非机动车的目标框，并获取到非机动车目标框的四个顶点坐标，同时为该非机动车目标框赋予一个唯一标号；
步骤二、对监控图像的每一帧利用基于深度学习的目标检测算法yolov5获取到人目标框，并计算目标框的中心点坐标，同时为该人目标框赋予一个唯一标号；
步骤三、对监控图像的每一帧利用基于深度学习的目标检测算法 yolov5获取到安全座椅目标框，并计算目标框的中心点坐标，同时为该安全座椅目标框赋予一个唯一标号；
步骤四、保存相关目标框、中心坐标、类别信息，以进行后续检测和分析。
S3.创建骑行状态检测模型，输出非机动车骑行状态，骑行状态检测模型包括CNN特征提取网络，LSTM时序建模网络和FC行驶状态分析网络；
CNN特征提取网络对图像序列中的每一帧目标监控图像分别进行特征提取，特征提取后，将每一帧目标序列图像的空间特征经过变形成LSTM时序建模网络接受的数据形式；
LSTM时序建模网络的每个LSTM单元接受一帧CNN网络输出的空间特征作为输入，同时上一个LSTM单元的输出，经过内部处理后，输出一组细胞状态，一次构建非机动车特征在时序上的关联，将每一个LSTM输出的细胞状态进行拼接后，输入到全连接的FC行驶状态分析网络中；
FC行驶状态分析网络输出层有两个神经元，分别代表“推行”和“骑行”，如果代表“骑行”的神经元激活并且分数高于设定的阈值t，则输出结果为“骑行”，否则输出“推行”。
S4.将非机动车、驾驶员和安全座椅进行匹配，其包括以下步骤（非机动车和驾驶员匹配流程参照图3）：
S41.根据S2所述模型检测出人目标框、非机动车目标框和安全座椅目标框；
S42.构建姿势判定模型，对每个人目标框，进行姿势判定，分类为行人和驾乘人员，将行人目标框删除，构建姿势判定模型包括以下步骤：
S421.使用Kaggle平台驾驶员姿态数据集进行训练，包含103,282张带有行为注释的驾驶员图像；
S422、通过Lightweight-Openpose模型将图像数据集转化关节点坐标，并选取8号至13号关节点的坐标作为训练数据集A；
S423、将训练集A作为SVM分类器的输入，经过迭代训练后进行二分类，分类结果为行人或驾乘人员。
S43.对驾乘人员、安全座椅和非机动车根据距离判定进行驾驶员匹配，未匹配的驾乘人员、安全座椅划分到待匹配人员和安全座椅，包括以下步骤：
S431.对每个非机动目标框，分别计算所有驾乘人员目标框、安全座椅目标框的中心点与非机动车目标框的中心点，并分别以驾乘人员目标框和非机动车目标框中心点的连线、安全座椅目标框和非机动车目标框中心点的连线为半径画一个圆，圆心取为非机动车目标框的中心点；
S432.取半径小于设定阈值的人目标框和安全座椅目标框，所述人目标框和安全座椅目标框不多于3个，目标框分别为该非机动车对应的疑似驾驶员和安全座椅；
S433.分别计算驾乘人员目标框、安全座椅与圆重合区域的面积占圆总面积的比例，取占比最大的安全座椅目标框和人目标框；若人目标框占比最大的有多个，则取圆半径最小人目标框为驾驶员目标框，剩下的为搭乘人员目标框；若安全座椅目标框占比最大的有多个，则取圈面经最大的安全座椅目标框为安全座椅目标框；
S434.用最小邻接矩形将驾驶员目标框、安全座椅目标框与非机动车目标框包裹起来，形成最小邻接矩阵目标框，计算最小邻接矩形的中心点坐标，为唯一的最小邻接矩形目标框、驾乘人员目标框、安全座椅目标框和非机动车目标框的标号生成的唯一标号；
S435.将最小邻接矩形的中心点坐标与检测区域的坐标进行比较，判断最小邻接矩阵目标框中心点是否在检测区域内；若否，则不做任何操作；若是，则对最小邻接矩形目标框进行跟踪和行为分析，同时使用目标跟踪算法对连续帧目标检测图像中的同一邻接矩形进行关联，并给每个邻接矩形分配唯一的目标序号，直至该邻接矩形目标框消失或该邻接矩形离开检测区域；
S436.假若非机动车重新进入该检测区域，应当分配一个新的目标序号，其中目标序号由8位或以上的数字或字母随机组合而成，同时至少保证当日内每个新的目标序号都是唯一的；
S437.若非机动车目标框无法匹配到驾乘人员目标框和安全座椅目标框，则不对其做任何操作；若距离小于某一设定阈值的只有1个人目标框和1个安全座椅目标框，则直接对驾乘人员目标框、安全座椅目标框和非机动车目标框生成最小邻接矩形。
本步骤是以非机动车目标框的中点为圆心，非机动车目标框中心与人目标框中心的连线为半径绘制一个圆，再利用蒙特卡洛算法求阴影区域占圆面积的比例。采用统计模拟算法来近似计算不规则面积可以避免复杂的面积计算。
蒙特卡洛算法的具体实施步骤包括：1）、建立新的参考系，以非机动车目标框中心点为原点，将监控区域下的坐标投影到该新参考系下；2）、确定随机点的取值范围，即圆内；3）、随机生成若干个点（足够大），统计其在矩形区域的个数（利用坐标阈值进行判断即可），最后统计其占比即可。
最小邻接矩形能够反映两者所占空间区域的最大范围，因此采用最小邻接矩形对目标框的微小变化鲁棒性更强。
S44.分析待匹配人员运动轨迹和非机动车运动轨迹，进行轨迹相似度分析，为非机动车匹配到对应的搭乘人员，在搭乘人员判定部分通过DeepSort算法对各个目标进行跟踪匹配，记录目标坐标点，形成轨迹信息。采用动态时间规划算法（Dynamic Time Warping）将待匹配目标轨迹与非机动车和驾驶人员组合目标轨迹进行相似度对比，得到其对应的搭乘人员。
具体包括以下步骤：
S441.预测阶段：DeepSort采用Kalman滤波根据此帧目标位置和速度建立协方差矩阵预测下一帧目标出现的位置；
S442.检测阶段：对下一帧进行目标检测，可以采用YOLOv5作为检测器进行目标检测；
S443.匹配阶段：将S441所述预测结果与S442所述检测结果进行匹配，进行级联匹配和IOU匹配，进行跟踪，设置跟踪时间为10s，同时设置30帧为轨迹删除的最大帧数（常规监控视频FPS25帧/s），若1s未能进行匹配（被遮挡或展示在镜头外），则删去该目标不再进行跟踪（若重新出现则进行重新跟踪并匹配唯一标识）；
S444.重复执行步骤S441-S443得到目标轨迹；
使用动态时间规划算法将待匹配的行人轨迹与非机动车和驾驶人员组合目标的轨迹进行相似度分析。通过设立阈值T，将轨迹相似度距离小于T值的行人轨迹信息作为疑似搭乘人员放入备选集合，最终取备选集合中轨迹相似度距离最小的行人目标与该组合目标进行匹配，作为该非机动车搭乘人员；若备选集合为空集，则认为该非机动车无搭乘人员。
具体的S445.将待匹配轨迹与非机动车轨迹进行轨迹相似度分析，包括以下步骤：
S4451.设待匹配轨迹集合，其中，表示唯一标号为X的行人目标轨迹信息；
非机动车和驾驶人员组合目标的轨迹，其中，代表非机动车轨迹信息Q在图像中的起始坐标；
，其中代表非机动车轨迹信息在图像中的起始坐标；轨迹采样间隔为4帧，通常监控视频FPS为25帧/s，故轨迹信息采集速度为5点/s，取每5s为一个周期进行轨迹相似度分析，所以a=b=25。
S4452.以非机动车和驾驶人员组合目标的轨迹Q为基准进行搭乘人员轨迹匹配，依次对待匹配轨迹集合进行轨迹相似度分析；
其中，表示到的欧式距离，轨迹相似度分析过程中根据实际应用场景的视角选取合适的阈值T，小于阈值T时，则将加入疑似搭乘人员备选集合Set2；若大于阈值T，则非机动车和驾驶人员组合目标的轨迹Q继续与Set1中其他轨迹进行相似度分析直至Set1中所有轨迹完成相似度分析；
S4453.若疑似搭乘人员备选集合Set2不为空集，将Set2中值最小值所对应的行人目标X匹配为非机动车的搭乘人员，并将轨迹从待匹配轨迹集合中删除，并更新Set2为空集；若Set2为空集，则标注该非机动车无搭乘人员。
S5.参照图4，建立搭乘人员年龄估计模型，输出搭乘人员年龄，包括以下步骤：
S51.对图像序列中的每一帧驾乘人员目标框分别进行人脸定位，得到人脸样本图像；
S52.将人脸样本图像进行图像预处理；
S53.使用LBP和HOG作为特征描述算子进行特征提取，LBP进行的像素区域划分，将中心像素与相邻8个像素的灰度值分别进行比较得到该区域的纹理信息，HOG划分检测窗口成大小相同的细胞单元，并分别提取相应的梯度信息,再将细胞单元信息聚合成块信息，最后再将块信息串联起来即得到特征向量；
S54.进行特征融合，将两个特征进行连接，获得系列特征融合得到特征向量；
S55.选定损失函数，输入特征向量，模型训练时通过SAPSO优化算法优化SVR得到最优回归超平面及支持向量机，输出年龄检测值，从而判断搭乘人员是否超过6岁。
S6.对非机动车儿童乘用进行安全分析；若搭乘人员年龄小于6岁，分析结果为儿童搭乘非机动车。
本发明工作过程：首先，根据场景监控区域获取检测区域，将视频信息输入至非机动车、人和安全座椅目标检测模型，输出带有唯一标号的非机动车、人和安全座椅目标框；其次，将视频信息骑行状态检测模型，输出非机动车骑行状态；若当前非机动车状态为“骑行”执行下一步骤；若为“推行”不做操作；再次，将人目标框输入姿势判断模型，输出行人和驾乘人员，将行人目标框删除，保留驾乘人员目标框；再次，将非机动车、驾驶员和安全座椅进行匹配；最后，对搭乘人员的年龄进行预估，若搭乘人员年龄小于6岁，分析结果为儿童搭乘非机动车。
实施例2、参照图5说明本实施方式，一种非机动车儿童搭乘检测方法，包括以下步骤：
S1.获取场景监控数据，基于监控数据获取检测区域；
S2.创建非机动车、人和安全座椅目标检测模型，输出带有唯一标号的非机动车、人和安全座椅目标框；
S3.创建骑行状态检测模型，输出非机动车骑行状态；
S4.将非机动车、驾驶员进行匹配；
S5.建立搭乘人员年龄估计模型，输出搭乘人员年龄；
S6.根据S5所述输出的搭乘人员年龄对非机动车儿童乘用进行安全分析；若搭乘人员年龄大于6岁，输出结果为违规超载；若搭乘人员年龄小于6岁，则执行S7对安全座椅进行检测；
S7.根据S2所述非机动车、人和安全座椅目标检测模型的输出结果判断是否包括安全座椅目标框；若检测到已安装安全座椅，则执行S8对搭乘人员和安全座椅进行距离阈值判定；若未检测到安全座椅，输出结果为未安装安全座椅，存在违规行为；S6-S7参照图5；
S8.将搭乘人员目标框和安全座椅目标框进行匹配，确认儿童是否乘坐安全座椅，若小于阈值，则搭乘儿童已乘坐安全座椅，若大于阈值，则搭乘儿童虽有安全座椅但未乘坐，存在安全隐患，输出结果为“违规行为”，标注儿童乘用具有隐患，需传输该违规行为；
将搭乘人员目标框和安全座椅目标框进行匹配的方法是，包括以下步骤：
步骤1、对每个驾乘人员目标框，计算每个安全座椅目标框与搭乘人员目标框的中心点，并以中心点的连线为半径画一个圆，圆心取为驾乘人员目标框的中心点；
步骤2、取半径小于设定阈值的安全座椅目标框，所述搭乘人员目标框与安全座椅目标框不多于3个，目标框为搭乘人员目标框对应的安全座椅目标框；
步骤3、计算安全座椅目标框与圆重合区域的面积占圆总面积的比例，取占比最大的安全座椅目标框；若安全座椅目标框占比最大的有多个，则取圆半径最小目标框为安全座椅目标框，剩下的为搭乘人员目标框；若安全座椅目标框占比最大的有多个，则取圈面经最大的安全座椅目标框为安全座椅目标框；
步骤4、用最小邻接矩形将安全座椅目标框与搭乘人员目标框包裹起来，形成最小邻接矩阵目标框，计算最小邻接矩形的中心点坐标，为唯一的最小邻接矩形目标框、安全座椅目标框和搭乘人员目标框的标号生成的唯一标号；
步骤5、将最小邻接矩形的中心点坐标与检测区域的坐标进行比较，判断最小邻接矩阵目标框中心点是否在检测区域内；若否，则不做任何操作；若是，则对最小邻接矩形目标框进行跟踪和行为分析，同时使用目标跟踪算法对连续帧目标检测图像中的同一邻接矩形进行关联，并给每个邻接矩形分配唯一的目标序号，直至该邻接矩形目标框消失或该邻接矩形离开检测区域；
步骤6、假若搭乘人员重新进入该检测区域，应当分配一个新的目标序号，其中目标序号由8位或以上的数字或字母随机组合而成，同时至少保证当日内每个新的目标序号都是唯一的；
步骤7、若搭乘人员目标框无法匹配到安全座椅目标框，则不对其做任何操作；若距离小于某一设定阈值的只有1个安全座椅目标框，则直接对安全座椅目标框和非机动车目标框生成最小邻接矩形。
实施例3、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例4、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (9)

1.一种非机动车儿童搭乘检测方法，其特征在于，包括以下步骤：
S1.获取场景监控数据，基于监控数据获取检测区域；
S2.创建非机动车、人和安全座椅目标检测模型，输出带有唯一标号的非机动车、人和安全座椅目标框；
S3.创建骑行状态检测模型，输出非机动车骑行状态；
S4.将非机动车、驾驶员和安全座椅进行匹配，其包括以下步骤：
S41.根据S2所述模型检测出人目标框、非机动车目标框和安全座椅目标框；
S42.构建姿势判定模型，对每个人目标框，进行姿势判定，分类为行人和驾乘人员，将行人目标框删除；
S43.对驾乘人员、安全座椅和非机动车根据距离判定进行驾驶员匹配，未匹配的驾乘人员、安全座椅划分到待匹配人员和安全座椅，包括以下步骤：
S431.对每个非机动目标框，分别计算所有驾乘人员目标框、安全座椅目标框的中心点与非机动车目标框的中心点，并分别以驾乘人员目标框和非机动车目标框中心点的连线、安全座椅目标框和非机动车目标框中心点的连线为半径画一个圆，圆心取为非机动车目标框的中心点；
S432.取半径小于设定阈值的人目标框和安全座椅目标框，所述人目标框和安全座椅目标框不多于3个，目标框分别为该非机动车对应的疑似驾驶员和安全座椅；
S433.分别计算驾乘人员目标框、安全座椅与圆重合区域的面积占圆总面积的比例，取占比最大的安全座椅目标框和人目标框；若人目标框占比最大的有多个，则取圆半径最小人目标框为驾驶员目标框，剩下的为搭乘人员目标框；若安全座椅目标框占比最大的有多个，则取圆重合面经最大的安全座椅目标框为安全座椅目标框；
S434.用最小邻接矩形将驾驶员目标框、安全座椅目标框与非机动车目标框包裹起来，形成最小邻接矩阵目标框，计算最小邻接矩形的中心点坐标，为唯一的最小邻接矩形目标框、驾乘人员目标框、安全座椅目标框和非机动车目标框的标号生成的唯一标号；
S435.将最小邻接矩形的中心点坐标与检测区域的坐标进行比较，判断最小邻接矩阵目标框中心点是否在检测区域内；若否，则不做任何操作；若是，则对最小邻接矩形目标框进行跟踪和行为分析，同时使用目标跟踪算法对连续帧目标检测图像中的同一邻接矩形进行关联，并给每个邻接矩形分配唯一的目标序号，直至该邻接矩形目标框消失或该邻接矩形离开检测区域；
S436.假若非机动车重新进入该检测区域，应当分配一个新的目标序号，其中目标序号由8位或以上的数字或字母随机组合而成，同时至少保证当日内每个新的目标序号都是唯一的；
S437.若非机动车目标框无法匹配到驾乘人员目标框和安全座椅目标框，则不对其做任何操作；若距离小于某一设定阈值的只有1个人目标框和1个安全座椅目标框，则直接对驾乘人员目标框、安全座椅目标框和非机动车目标框生成最小邻接矩形；
S44.分析待匹配人员运动轨迹和非机动车运动轨迹，进行轨迹相似度分析，为非机动车匹配到对应的搭乘人员；
S5.建立搭乘人员年龄估计模型，输出搭乘人员年龄；
S6.对非机动车儿童乘用进行安全分析；若搭乘人员年龄小于6岁，分析结果为儿童搭乘非机动车。
2.根据权利要求1所述的一种非机动车儿童搭乘检测方法，其特征在于，S2具体是，包括以下步骤：
S21.预先获得真实数据集，数据集中需包括非机动车、人和安全座椅；
S22.对真实数据集中的非机动车、人和安全座椅进行标注；
S23.将标注后的真实数据集输入DCGAN网络，首先训练判别器，再通过判别器不断提高生成器的性能，训练完成后将随机向量转换为生成对抗数据集；
S24.将真实数据集输入YOLOv5网络进行训练，并使用生成对抗数据集进行测试；
S25.运用迁移学习获得权重文件，得到非机动车、人和安全座椅目标检测模型。
3.根据权利要求2所述的一种非机动车儿童搭乘检测方法，其特征在于，S3具体是：包括CNN特征提取网络，LSTM时序建模网络和FC行驶状态分析网络；
CNN特征提取网络对图像序列中的每一帧目标监控图像分别进行特征提取，特征提取后，将每一帧目标序列图像的空间特征经过变形成LSTM时序建模网络接受的数据形式；
LSTM时序建模网络的每个LSTM单元接受一帧CNN网络输出的空间特征作为输入，同时上一个LSTM单元的输出，经过内部处理后，输出一组细胞状态，一次构建非机动车特征在时序上的关联，将每一个LSTM输出的细胞状态进行拼接后，输入到全连接的FC行驶状态分析网络中；
FC行驶状态分析网络输出层有两个神经元，分别代表“推行”和“骑行”，如果代表“骑行”的神经元激活并且分数高于设定的阈值t，则输出结果为“骑行”，否则输出“推行”。
4.根据权利要求3所述的一种非机动车儿童搭乘检测方法，其特征在于，S42具体是，包括以下步骤：
S421.使用Kaggle平台驾驶员姿态数据集进行训练，包含103,282张带有行为注释的驾驶员图像；
S422、通过Lightweight-Openpose模型将图像数据集转化关节点坐标，并选取8号至13号关节点的坐标作为训练数据集A；
S423、将训练集A作为SVM分类器的输入，经过迭代训练后进行二分类，分类结果为行人或驾乘人员。
5.根据权利要求4所述的一种非机动车儿童搭乘检测方法，其特征在于，S5具体是，包括以下步骤：
S51.对图像序列中的每一帧驾乘人员目标框分别进行人脸定位，得到人脸样本图像；
S52.将人脸样本图像进行图像预处理；
S53.将人脸样本图像进行3×3的像素区域划分，将中心像素与相邻8个像素的灰度值分别进行比较得到区域的纹理信息，划分检测窗口大小相同的细胞单元，并分别提取相应的梯度信息,将细胞单元信息聚合成块信息，将块信息串联起来得到特征向量；
S54.将两个特征进行连接，获得系列特征融合得到特征向量；
S55.选定损失函数，输入特征向量，模型训练时通过SAPSO优化算法优化SVR得到最优回归超平面及支持向量机，输出年龄检测值，从而判断搭乘人员是否超过6岁。
6.根据权利要求5所述的一种非机动车儿童搭乘检测方法，其特征在于，S44具体是，包括以下步骤：
S441.预测阶段：根据此帧目标位置和速度建立协方差矩阵预测下一帧目标出现的位置；
S442.检测阶段：对下一帧进行目标检测；
S443.匹配阶段：将S441的预测结果与S442的检测结果进行匹配，进行级联匹配和IOU匹配，进行跟踪，设置跟踪时间为10s，同时设置30帧为轨迹删除的最大帧数，若1s未能进行匹配，则删去该目标不再进行跟踪；
S444.重复执行步骤S441-S443得到目标轨迹；
S445.将待匹配轨迹与非机动车轨迹进行轨迹相似度分析。
7.根据权利要求6所述的一种非机动车儿童搭乘检测方法，其特征在于，S445具体是，包括以下步骤：
S4451.设待匹配轨迹集合Set1＝{P1,P2,P3,…,Px},其中，Px表示唯一标号为X的行人目标轨迹信息；
非机动车和驾驶人员组合目标的轨迹Q＝(q1,q2,…,qa),其中，q1代表非机动车轨迹信息Q在图像中的起始坐标；
唯一标号为X的行人目标轨迹信息Px＝(px1,px2,…,pxb)，其中px1代表非机动车轨迹信息Px在图像中的起始坐标；
S4452.以非机动车和驾驶人员组合目标的轨迹Q为基准进行搭乘人员轨迹匹配，依次对待匹配轨迹集合Set1＝{P1,P2,P3,…,Px}进行轨迹相似度分析；
Figure FDA0004044699240000041
其中，||qa-pxb||表示qa到pxb的欧式距离，轨迹相似度分析过程中根据实际应用场景的视角选取合适的阈值T，f(Q,Px)小于阈值T时，则将Px加入疑似搭乘人员备选集合Set2；若大于阈值T，则非机动车和驾驶人员组合目标的轨迹Q继续与Set1中其他轨迹进行相似度分析直至Set1中所有轨迹完成相似度分析；
S4453.若疑似搭乘人员备选集合Set2不为空集，将Set2中f(Q,Px)值最小值所对应的行人目标X匹配为非机动车的搭乘人员，并将轨迹从待匹配轨迹集合Set1中删除，并更新Set2为空集；若Set2为空集，则标注该非机动车无搭乘人员。
8.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-7任一项所述的一种非机动车儿童搭乘检测方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的一种非机动车儿童搭乘检测方法。
CN202211352365.1A 2022-11-01 2022-11-01 一种非机动车儿童搭乘检测方法、电子设备及存储介质 Active CN115512315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211352365.1A CN115512315B (zh) 2022-11-01 2022-11-01 一种非机动车儿童搭乘检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352365.1A CN115512315B (zh) 2022-11-01 2022-11-01 一种非机动车儿童搭乘检测方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115512315A CN115512315A (zh) 2022-12-23
CN115512315B true CN115512315B (zh) 2023-04-18

Family

ID=84513195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352365.1A Active CN115512315B (zh) 2022-11-01 2022-11-01 一种非机动车儿童搭乘检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115512315B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993776B (zh) * 2023-06-30 2024-02-13 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227874A1 (zh) * 2020-05-11 2021-11-18 杭州萤石软件有限公司 一种跌倒行为的检测方法和设备
CN114332776A (zh) * 2022-03-07 2022-04-12 深圳市城市交通规划设计研究中心股份有限公司 非机动车占用人行道检测方法、系统、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079474A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 乘客状态分析方法和装置、车辆、电子设备、存储介质
CN113920492A (zh) * 2021-10-29 2022-01-11 上海商汤临港智能科技有限公司 车内人员检测方法及装置、电子设备和存储介质
CN114937261A (zh) * 2022-06-17 2022-08-23 南京地平线集成电路有限公司 图像识别的方法、装置、介质和设备
CN114898342B (zh) * 2022-07-15 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 行驶中非机动车驾驶员接打电话的检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227874A1 (zh) * 2020-05-11 2021-11-18 杭州萤石软件有限公司 一种跌倒行为的检测方法和设备
CN114332776A (zh) * 2022-03-07 2022-04-12 深圳市城市交通规划设计研究中心股份有限公司 非机动车占用人行道检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN115512315A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Chen et al. Pothole detection using location-aware convolutional neural networks
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN109740420B (zh) 车辆违法识别方法及相关产品
Slimani et al. An automated license plate detection and recognition system based on wavelet decomposition and CNN
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN112381775A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN114332776B (zh) 非机动车占用人行道检测方法、系统、设备及存储介质
CN114898342B (zh) 行驶中非机动车驾驶员接打电话的检测方法
CN113160575A (zh) 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN104978567A (zh) 基于场景分类的车辆检测方法
CN113780243B (zh) 行人图像识别模型的训练方法、装置、设备以及存储介质
CN112651293B (zh) 一种公路违法设摊事件视频检测方法
Tanprasert et al. Recognizing traffic black spots from street view images using environment-aware image processing and neural network
CN115512315B (zh) 一种非机动车儿童搭乘检测方法、电子设备及存储介质
CN112215236B (zh) 文本识别方法、装置、电子设备及存储介质
CN112036520A (zh) 基于深度学习的大熊猫年龄识别方法、装置及存储介质
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
Cheng et al. License plate recognition via deep convolutional neural network
Al Nasim et al. An automated approach for the recognition of bengali license plates
de Almeida et al. Vehicle Occurrence-based Parking Space Detection
CN114724128B (zh) 一种车牌识别方法、装置、设备和介质
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN116311205A (zh) 车牌识别方法、车牌识别装置、电子设备及存储介质
Al Awaimri et al. Automatic number plate recognition system for Oman
CN111310607B (zh) 基于计算机视觉和人工智能的公路安全风险识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant