CN116665140A - 一种共享单车载人行为检测方法、装置、设备及存储介质 - Google Patents
一种共享单车载人行为检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116665140A CN116665140A CN202310269176.6A CN202310269176A CN116665140A CN 116665140 A CN116665140 A CN 116665140A CN 202310269176 A CN202310269176 A CN 202310269176A CN 116665140 A CN116665140 A CN 116665140A
- Authority
- CN
- China
- Prior art keywords
- bicycle riding
- bicycle
- riding
- shared
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 230000009471 action Effects 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 230000006399 behavior Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 230000005764 inhibitory process Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009781 safety test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种共享单车载人行为检测方法、装置、设备及存储介质，涉及交通管制技术领域。所述方法是先根据由道路监控摄像头实时采集的现场视频数据，识别得到单车骑乘识别结果，然后针对识别出的各个单车骑乘对象，根据对应的单车骑乘标记框的框内图像识别得到对应的人员识别结果，最后针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作，如此可以针对共享单车载人行为自动进行视频图像检测并触发警报动作，进而可确保能够及时发现单车载人行为和进行警报，提升行为禁止效果，利于保护骑乘人员的人身安全。
Description
技术领域
本发明属于交通管制技术领域，具体涉及一种共享单车载人行为检测方法、装置、设备及存储介质。
背景技术
共享单车是指企业与政府合作，在校园、地铁站点、公交站点、居民区、商业区和/或公共服务区等场所提供自行车单车共享服务，是共享经济的一种新形态。科技改变生活，这种大潮谁也挡不住。共享单车之所以能在较短的时间内掀起一股能媲美当年网约车的浪潮，足以证明它的出现是一个趋势。共享单车作为一种新的公共交通方式，有效解决了人民群众出行“最后一公里”的问题，这种随时取用和停车的“无桩”理念单车给市民带来了极大的便利。
但是，由于消费者的不文明使用，导致共享单车问题频发，其中，共享单车花式载人引起了社会的广泛关注，即在使用共享单车时，很多家长将车筐当成“儿童座椅”，这种违反交通规则的骑行方式不仅会对共享单车造成破坏，更重要的是严重影响了儿童自身的人身安全，因此需要及时阻止。
目前，关于阻止共享单车载人行为的技术方案主要是对共享单车及前置储物篮进行相关功能设计，还缺乏相应的且基于道路监控技术的视频图像检测手段以及自动警报手段，使得存在行为发现晚、警报不及时和行为禁止效果差的问题，不利于保护骑乘人员的人身安全。
发明内容
本发明的目的是提供一种共享单车载人行为检测方法、装置、计算机设备及计算机可读存储介质，用以解决当前针对共享单车载人行为缺乏相应的且基于道路监控技术的视频图像检测手段以及自动警报手段，使得存在行为发现晚、警报不及时和行为禁止效果差的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种共享单车载人行为检测方法，包括：
获取由道路监控摄像头实时采集的现场视频数据；
采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员；
采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果；
针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作。
基于上述发明内容，提供了一种基于道路监控图像自动识别共享单车载人行为的数据处理方案，即先根据由道路监控摄像头实时采集的现场视频数据，识别得到单车骑乘识别结果，然后针对识别出的各个单车骑乘对象，根据对应的单车骑乘标记框的框内图像识别得到对应的人员识别结果，最后针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作，如此可以针对共享单车载人行为自动进行视频图像检测并触发警报动作，进而可确保能够及时发现单车载人行为和进行警报，提升行为禁止效果，利于保护骑乘人员的人身安全，便于实际应用和推广。
在一个可能的设计中，采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，包括：
将所述现场视频数据中的现场视频图像输入基于YOLO v4目标检测算法的且已预先完成训练的单车骑乘识别模型，输出得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员。
在一个可能的设计中，采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果，包括：
将所述各个单车骑乘对象的单车骑乘标记框的框内图像分别输入基于YOLO v4目标检测算法的且已预先完成训练的人员识别模型，输出得到所述各个单车骑乘对象的人员识别结果。
在一个可能的设计中，针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，包括：
采用第三目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行车轮识别处理，得到所述各个单车骑乘对象的车轮识别结果，其中，所述车轮识别结果包含有识别出的前后两车轮以及所述前后两车轮的车轮标记框；
针对所述各个单车骑乘对象，根据对应的车轮识别结果中前车轮标记框和后车轮标记框的底边中心坐标，确定对应的地面水平线；
针对所述各个单车骑乘对象，若在对应的人员识别结果中且底边中心向上越过对应的地面水平线的人体标记框的总数目大于等于二，则判定对应的人员识别结果包含有至少两个乘客，并确定对应单车骑乘对象存在共享单车载人行为。
在一个可能的设计中，采用第三目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行车轮识别处理，得到所述各个单车骑乘对象的车轮识别结果，包括：
将所述各个单车骑乘对象的单车骑乘标记框的框内图像分别输入基于YOLO v4目标检测算法的且已预先完成训练的车轮识别模型，输出得到所述各个单车骑乘对象的车轮识别结果，其中，所述车轮识别结果包含有识别出的前后两车轮以及所述前后两车轮的车轮标记框。
在一个可能的设计中，针对已确定存在共享单车载人行为的某个单车骑乘对象，触发进行对应的警报动作，包括：
根据所述某个单车骑乘对象的单车骑乘标记框在所述现场视频数据的现场视频图像中的位置，确定所述某个单车骑乘对象的骑行位置；
根据预存的报警器布置数据，查找到距离所述某个单车骑乘对象的骑行位置最近的报警器，并控制该报警器做出用于规劝停止共享单车载人行为的警报动作。
在一个可能的设计中，当所述报警器为设置在路口的语音喇叭时，所述警报动作包括有播放用于规劝停止共享单车载人行为的音频文件。
第二方面，提供了一种共享单车载人行为检测装置，包括有依次通信连接的数据获取模块、单车骑乘识别模块、人员识别模块和行为确认模块；
所述数据获取模块，用于获取由道路监控摄像头实时采集的现场视频数据；
所述单车骑乘识别模块，用于采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员；
所述人员识别模块，用于采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果；
所述行为确认模块，用于针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作。
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的共享单车载人行为检测方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的共享单车载人行为检测方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的共享单车载人行为检测方法。
上述方案的有益效果：
(1)本发明创造性提供了一种基于道路监控图像自动识别共享单车载人行为的数据处理方案，即先根据由道路监控摄像头实时采集的现场视频数据，识别得到单车骑乘识别结果，然后针对识别出的各个单车骑乘对象，根据对应的单车骑乘标记框的框内图像识别得到对应的人员识别结果，最后针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作，如此可以针对共享单车载人行为自动进行视频图像检测并触发警报动作，进而可确保能够及时发现单车载人行为和进行警报，提升行为禁止效果，利于保护骑乘人员的人身安全；
(2)还可准确识别单车乘客数目，避免将因错位现象而入单车骑乘标记框内的步行人员误认为单车乘客，确保共享单车载人行为的检测准确性，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的共享单车载人行为检测方法的流程示意图。
图2为本申请实施例提供的在用于试验示意单车载人违规行为的现场视频图像中各种标记框以及地面水平线的示例图，其中，出于安全试验目的，图中车前所载小孩为仿真儿童玩偶。
图3为本申请实施例提供的共享单车载人行为检测装置的结构示意图。
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的所述共享单车载人行为检测方法，可以但不限于由具有一定计算资源的且通信连接道路监控摄像头的计算机设备执行，例如由路侧边缘设备、平台服务器、个人计算机(Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal Digital Assistant，PDA)或可穿戴设备等电子设备执行。如图1所示，所述共享单车载人行为检测方法，可以但不限于包括有如下步骤S1～S4。
S1.获取由道路监控摄像头实时采集的现场视频数据。
在所述步骤S1中，所述道路监控摄像头是一种现有常用的交通监控摄像头，主要用于抓拍逆行、变道压实线和违规停车等行为；其一般布置在马路的一侧或者是主路、辅路相互进出道路的一侧；此摄像头通常为白色长方体状，一般安装在路边的倒“L”型白色交通杆上。所述道路监控摄像头的镜头视野会涵盖目标道路区域，用于实时采集所述目标道路区域的视频帧图像，得到包含有若干连续视频帧图像的现场视频数据。此外，所述道路监控摄像头可以通过常规方式将采集得到的数据传输至本地设备。
S2.采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员。
在所述步骤S2中，所述单车骑乘识别处理即是对共享单车及骑乘人员进行人车一体化识别处理。所述第一目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体可以但不限于采用Faster R-CNN(FasterRegions with Convolutional Neural Networks features，由何凯明等在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一)目标检测算法、SSD(Single Shot MultiBox Detector，单镜头多盒检测器，是Wei Liu在ECCV 2016上提出的一种目标检测算法，是目前流行的主要检测框架之一)目标检测算法或YOLO(You onlylook once，目前最新已经发展到V4版本，在业界的应用也很广泛，其基本原理是：首先对输入图像划分成7x7的网格，对每个网格预测2个边框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边框合并的方式去除冗余窗口，得出检测结果)目标检测算法等，因此可以基于所述第一目标检测算法来进行单车骑乘识别处理，得到所述单车骑乘识别结果。
具体的，采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，包括但不限于有：将所述现场视频数据中的现场视频图像输入基于YOLO v4目标检测算法的且已预先完成训练的单车骑乘识别模型，输出得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员。所述YOLO v4目标检测算法的具体模型结构由三部分组成，分别是骨干网络backbone、颈部网络neck和头部网络head。所述骨干网络Backbone可采用CSPDarknet53(CSP表示Cross Stage Partial)网络，用于提取特征。所述颈部网络neck由SPP(SpatialPyramid Pooling block)块和PANet(Path Aggregation Network)网络组成，前者用于增加感受野以及分离出最重要的特征，后者用于保证同时从高级别层接受语义特征和从横向骨干网络的低级别层接收细粒度的特征。所述头部网络head是基于锚框进行检测，并对三种不同尺寸的特征图13x13、26x26和52x52进行检测，分别用于检测从大到小的目标(在这里，尺寸大的特征图包含到信息更加丰富，因此，52x52尺寸的特征图用于检测小目标，反之亦然)。前述的单车骑乘识别模型可通过常规的样本训练方式训练得到，以便在输入测试图像后，可以输出有无单车骑乘对象(即人车一体对象)的识别结果以及它们的置信度预测值等信息。
S3.采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果。
在所述步骤S3中，所述第二目标检测算法也是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体的，采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果，包括但不限于有：将所述各个单车骑乘对象的单车骑乘标记框的框内图像分别输入基于YOLO v4目标检测算法的且已预先完成训练的人员识别模型，输出得到所述各个单车骑乘对象的人员识别结果。前述的人员识别模型同样可通过常规的样本训练方式训练得到，以便在输入测试图像后，可以输出有无人员的识别结果以及它们的置信度预测值等信息。
S4.针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作。
在所述步骤S4中，由于是对单车骑乘标记框的框内图像进行人员识别处理，因此在框内识别出的人员大概率是乘客，并在乘客数大于等于二时，可判定对应单车骑乘对象存在共享单车载人行为，反之则不然。具体的，针对已确定存在共享单车载人行为的某个单车骑乘对象，触发进行对应的警报动作，包括但不限于有：先根据所述某个单车骑乘对象的单车骑乘标记框在所述现场视频数据的现场视频图像中的位置，确定所述某个单车骑乘对象的骑行位置；然后根据预存的报警器布置数据，查找到距离所述某个单车骑乘对象的骑行位置最近的报警器，并控制该报警器做出用于规劝停止共享单车载人行为的警报动作。由于所述道路监控摄像头的镜头方向是固定/确定的，因此可以基于常规位置映射方式进行骑行位置的确定，同时前述报警器可以但不限于采用声音报警方式及声光报警方式。详细的，当所述报警器为设置在路口的语音喇叭时，所述警报动作包括有播放用于规劝停止共享单车载人行为的音频文件。
由此基于前述步骤S1～S4所描述的共享单车载人行为检测方法，提供了一种基于道路监控图像自动识别共享单车载人行为的数据处理方案，即先根据由道路监控摄像头实时采集的现场视频数据，识别得到单车骑乘识别结果，然后针对识别出的各个单车骑乘对象，根据对应的单车骑乘标记框的框内图像识别得到对应的人员识别结果，最后针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作，如此可以针对共享单车载人行为自动进行视频图像检测并触发警报动作，进而可确保能够及时发现单车载人行为和进行警报，提升行为禁止效果，利于保护骑乘人员的人身安全，便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上，还提供了一种如何准确进行单车载人行为的可能设计一，即针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，包括但不限于有如下步骤S41～S43。
S41.采用第三目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行车轮识别处理，得到所述各个单车骑乘对象的车轮识别结果，其中，所述车轮识别结果包含有识别出的前后两车轮以及所述前后两车轮的车轮标记框。
在所述步骤S41中，所述第三目标检测算法也是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体的，采用第三目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行车轮识别处理，得到所述各个单车骑乘对象的车轮识别结果，包括但不限于有：将所述各个单车骑乘对象的单车骑乘标记框的框内图像分别输入基于YOLO v4目标检测算法的且已预先完成训练的车轮识别模型，输出得到所述各个单车骑乘对象的车轮识别结果，其中，所述车轮识别结果包含有识别出的前后两车轮以及所述前后两车轮的车轮标记框。前述的车轮识别模型同样可通过常规的样本训练方式训练得到，以便在输入测试图像后，可以输出有无车轮的识别结果以及它们的置信度预测值等信息。
S42.针对所述各个单车骑乘对象，根据对应的车轮识别结果中前车轮标记框和后车轮标记框的底边中心坐标，确定对应的地面水平线。
在所述步骤S42中，如图2所示，举例的，若有前车轮标记框的底边中心坐标A和后车轮标记框的底边中心坐标B，则由AB确定的直线即为与单车骑乘对象1对应的地面水平线1。
S43.针对所述各个单车骑乘对象，若在对应的人员识别结果中且底边中心向上越过对应的地面水平线(即底边中心位于地面水平线上侧)的人体标记框的总数目大于等于二，则判定对应的人员识别结果包含有至少两个乘客，并确定对应单车骑乘对象存在共享单车载人行为。
在所述步骤S43中，如图2所示，举例的，对于单车骑乘对象1，对应的人员识别结果有人员1和人员2，其中，所述人员1的底边中心C和所述人员2的底边中心D分别位于地面水平线1的上侧，由此可确认在该单车骑乘对象1的人员识别结果中且底边中心向上越过对应的地面水平线的人体标记框的总数目等于二，进而可判定该单车骑乘对象1的人员识别结果包含有两个乘客，并确定该单车骑乘对象1存在共享单车载人行为，与事实相符。另外，若识别出的某个人员的底边中心位于地面水平线的下侧，则可证明该某个人员的脚至少是着地的，而并非单车乘客，如此通过前述步骤S41～S43，可准确识别单车乘客数目，避免将因错位现象而入单车骑乘标记框内的步行人员误认为单车乘客，确保共享单车载人行为的检测准确性。
由此基于前述可能设计一，还可准确识别单车乘客数目，避免将因错位现象而入单车骑乘标记框内的步行人员误认为单车乘客，确保共享单车载人行为的检测准确性。
如图3所示，本实施例第二方面提供了一种实现第一方面或可能设计一所述的共享单车载人行为检测方法的虚拟装置，包括有依次通信连接的数据获取模块、单车骑乘识别模块、人员识别模块和行为确认模块；
所述数据获取模块，用于获取由道路监控摄像头实时采集的现场视频数据；
所述单车骑乘识别模块，用于采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员；
所述人员识别模块，用于采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果；
所述行为确认模块，用于针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的共享单车载人行为检测方法，于此不再赘述。
如图4所示，本实施例第三方面提供了一种执行如第一方面或可能设计一所述的共享单车载人行为检测方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或可能设计一所述的共享单车载人行为检测方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(FirstInput First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的共享单车载人行为检测方法，于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面或可能设计一所述的共享单车载人行为检测方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或可能设计一所述的共享单车载人行为检测方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面或可能设计一所述的共享单车载人行为检测方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或可能设计一所述的共享单车载人行为检测方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种共享单车载人行为检测方法，其特征在于，包括：
获取由道路监控摄像头实时采集的现场视频数据；
采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员；
采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果；
针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作。
2.根据权利要求1所述的共享单车载人行为检测方法，其特征在于，采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，包括：
将所述现场视频数据中的现场视频图像输入基于YOLO v4目标检测算法的且已预先完成训练的单车骑乘识别模型，输出得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员。
3.根据权利要求1所述的共享单车载人行为检测方法，其特征在于，采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果，包括：
将所述各个单车骑乘对象的单车骑乘标记框的框内图像分别输入基于YOLO v4目标检测算法的且已预先完成训练的人员识别模型，输出得到所述各个单车骑乘对象的人员识别结果。
4.根据权利要求1所述的共享单车载人行为检测方法，其特征在于，针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，包括：
采用第三目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行车轮识别处理，得到所述各个单车骑乘对象的车轮识别结果，其中，所述车轮识别结果包含有识别出的前后两车轮以及所述前后两车轮的车轮标记框；
针对所述各个单车骑乘对象，根据对应的车轮识别结果中前车轮标记框和后车轮标记框的底边中心坐标，确定对应的地面水平线；
针对所述各个单车骑乘对象，若在对应的人员识别结果中且底边中心向上越过对应的地面水平线的人体标记框的总数目大于等于二，则判定对应的人员识别结果包含有至少两个乘客，并确定对应单车骑乘对象存在共享单车载人行为。
5.根据权利要求4所述的共享单车载人行为检测方法，其特征在于，采用第三目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行车轮识别处理，得到所述各个单车骑乘对象的车轮识别结果，包括：
将所述各个单车骑乘对象的单车骑乘标记框的框内图像分别输入基于YOLO v4目标检测算法的且已预先完成训练的车轮识别模型，输出得到所述各个单车骑乘对象的车轮识别结果，其中，所述车轮识别结果包含有识别出的前后两车轮以及所述前后两车轮的车轮标记框。
6.根据权利要求1所述的共享单车载人行为检测方法，其特征在于，针对已确定存在共享单车载人行为的某个单车骑乘对象，触发进行对应的警报动作，包括：
根据所述某个单车骑乘对象的单车骑乘标记框在所述现场视频数据的现场视频图像中的位置，确定所述某个单车骑乘对象的骑行位置；
根据预存的报警器布置数据，查找到距离所述某个单车骑乘对象的骑行位置最近的报警器，并控制该报警器做出用于规劝停止共享单车载人行为的警报动作。
7.根据权利要求6所述的共享单车载人行为检测方法，其特征在于，当所述报警器为设置在路口的语音喇叭时，所述警报动作包括有播放用于规劝停止共享单车载人行为的音频文件。
8.一种共享单车载人行为检测装置，其特征在于，包括有依次通信连接的数据获取模块、单车骑乘识别模块、人员识别模块和行为确认模块；
所述数据获取模块，用于获取由道路监控摄像头实时采集的现场视频数据；
所述单车骑乘识别模块，用于采用第一目标检测算法对所述现场视频数据进行单车骑乘识别处理，得到单车骑乘识别结果，其中，所述单车骑乘识别结果包含有识别出的至少一个单车骑乘对象以及所述至少一个单车骑乘对象中各个单车骑乘对象的单车骑乘标记框，所述单车骑乘对象包含有共享单车及骑乘人员；
所述人员识别模块，用于采用第二目标检测算法对所述各个单车骑乘对象的单车骑乘标记框的框内图像分别进行人员识别处理，得到所述各个单车骑乘对象的人员识别结果；
所述行为确认模块，用于针对所述各个单车骑乘对象，若对应的人员识别结果包含有至少两个乘客，则确定对应单车骑乘对象存在共享单车载人行为，并触发进行对应的警报动作。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的共享单车载人行为检测方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的共享单车载人行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310269176.6A CN116665140B (zh) | 2023-03-08 | 2023-03-08 | 一种共享单车载人行为检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310269176.6A CN116665140B (zh) | 2023-03-08 | 2023-03-08 | 一种共享单车载人行为检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116665140A true CN116665140A (zh) | 2023-08-29 |
| CN116665140B CN116665140B (zh) | 2024-06-14 |
Family
ID=87712461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310269176.6A Active CN116665140B (zh) | 2023-03-08 | 2023-03-08 | 一种共享单车载人行为检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116665140B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190250619A1 (en) * | 2017-03-06 | 2019-08-15 | Carla R. Gillett | Autonomous bicycle |
| CN111931644A (zh) * | 2020-08-10 | 2020-11-13 | 济南博观智能科技有限公司 | 一种车载人数检测的方法、系统、设备及可读存储介质 |
| CN113055823A (zh) * | 2021-04-01 | 2021-06-29 | 超级视线科技有限公司 | 一种基于路侧停车管理共享单车的方法及装置 |
| CN113486812A (zh) * | 2021-07-08 | 2021-10-08 | 浙江得图网络有限公司 | 一种骑行安全控制系统及控制方法 |
| CN113516099A (zh) * | 2021-07-30 | 2021-10-19 | 浙江商汤科技开发有限公司 | 一种交通行为识别方法及装置、电子设备和存储介质 |
| CN113947783A (zh) * | 2021-10-20 | 2022-01-18 | 新疆爱华盈通信息技术有限公司 | 人员骑乘监控管理方法及系统 |
| CN114005140A (zh) * | 2021-10-29 | 2022-02-01 | 成都新潮传媒集团有限公司 | 一种人员识别方法、装置、设备、行人监控系统及存储介质 |
| CN114023028A (zh) * | 2021-11-04 | 2022-02-08 | 成都新潮传媒集团有限公司 | 非机动车辆防盗预警方法、装置及存储介质 |
| CN114241379A (zh) * | 2021-12-16 | 2022-03-25 | 成都新潮传媒集团有限公司 | 一种乘客异常行为识别方法、装置、设备及乘客监控系统 |
| CN114323230A (zh) * | 2021-12-10 | 2022-04-12 | 武汉小安科技有限公司 | 一种共享电单车超载检测方法、装置及共享电单车 |
| CN114387554A (zh) * | 2022-01-18 | 2022-04-22 | 中国联合网络通信集团有限公司 | 车辆人员超载识别方法、装置、设备及可读介质 |
| CN115297306A (zh) * | 2022-10-10 | 2022-11-04 | 深圳市旗扬特种装备技术工程有限公司 | 一种行人随身物品防丢监控方法、装置、设备及存储介质 |
| CN115641746A (zh) * | 2022-09-29 | 2023-01-24 | 深圳市旗扬特种装备技术工程有限公司 | 一种共享单车空闲车位识别方法、停车引导方法及系统 |
-
2023
- 2023-03-08 CN CN202310269176.6A patent/CN116665140B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190250619A1 (en) * | 2017-03-06 | 2019-08-15 | Carla R. Gillett | Autonomous bicycle |
| CN111931644A (zh) * | 2020-08-10 | 2020-11-13 | 济南博观智能科技有限公司 | 一种车载人数检测的方法、系统、设备及可读存储介质 |
| CN113055823A (zh) * | 2021-04-01 | 2021-06-29 | 超级视线科技有限公司 | 一种基于路侧停车管理共享单车的方法及装置 |
| CN113486812A (zh) * | 2021-07-08 | 2021-10-08 | 浙江得图网络有限公司 | 一种骑行安全控制系统及控制方法 |
| CN113516099A (zh) * | 2021-07-30 | 2021-10-19 | 浙江商汤科技开发有限公司 | 一种交通行为识别方法及装置、电子设备和存储介质 |
| CN113947783A (zh) * | 2021-10-20 | 2022-01-18 | 新疆爱华盈通信息技术有限公司 | 人员骑乘监控管理方法及系统 |
| CN114005140A (zh) * | 2021-10-29 | 2022-02-01 | 成都新潮传媒集团有限公司 | 一种人员识别方法、装置、设备、行人监控系统及存储介质 |
| CN114023028A (zh) * | 2021-11-04 | 2022-02-08 | 成都新潮传媒集团有限公司 | 非机动车辆防盗预警方法、装置及存储介质 |
| CN114323230A (zh) * | 2021-12-10 | 2022-04-12 | 武汉小安科技有限公司 | 一种共享电单车超载检测方法、装置及共享电单车 |
| CN114241379A (zh) * | 2021-12-16 | 2022-03-25 | 成都新潮传媒集团有限公司 | 一种乘客异常行为识别方法、装置、设备及乘客监控系统 |
| CN114387554A (zh) * | 2022-01-18 | 2022-04-22 | 中国联合网络通信集团有限公司 | 车辆人员超载识别方法、装置、设备及可读介质 |
| CN115641746A (zh) * | 2022-09-29 | 2023-01-24 | 深圳市旗扬特种装备技术工程有限公司 | 一种共享单车空闲车位识别方法、停车引导方法及系统 |
| CN115297306A (zh) * | 2022-10-10 | 2022-11-04 | 深圳市旗扬特种装备技术工程有限公司 | 一种行人随身物品防丢监控方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MA, C等: "Risk riding behaviors of urban e-bikes: A literature review", 《INTERNATIONAL JOURNAL OF ENVIRONMENTAL RESEARCH AND PUBLIC HEALTH》, vol. 16, no. 13, 28 June 2019 (2019-06-28), pages 1 - 18 * |
| 秦世玉等: "一种智能共享单车控制系统设计", 《中国科技信息》, no. 14, 31 July 2022 (2022-07-31), pages 1 - 3 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116665140B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Coda: A real-world road corner case dataset for object detection in autonomous driving | |
| CN109598943A (zh) | 车辆违章的监控方法、装置及系统 | |
| CN107730903A (zh) | 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN111274886A (zh) | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 | |
| CN112836657A (zh) | 一种基于轻量化YOLOv3的行人检测方法及系统 | |
| Shi | Object detection models and research directions | |
| CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
| CN114639067A (zh) | 一种基于注意力机制的多尺度全场景监控目标检测方法 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| Ravish et al. | Intelligent traffic violation detection | |
| Guo et al. | Real-time dense traffic detection using lightweight backbone and improved path aggregation feature pyramid network | |
| Cypto et al. | Automatic detection system of speed violations in a traffic based on deep learning technique | |
| CN111914704B (zh) | 一种三轮车载人的识别方法、装置、电子设备及存储介质 | |
| CN116665140B (zh) | 一种共享单车载人行为检测方法、装置、设备及存储介质 | |
| CN114092902A (zh) | 电动自行车违规行为的检测方法及装置 | |
| CN115512315B (zh) | 一种非机动车儿童搭乘检测方法、电子设备及存储介质 | |
| Choudhari et al. | Traffic Rule Violation Detection using Detectron2 and Yolov7 | |
| CN116597516A (zh) | 训练方法、分类方法、检测方法、装置、系统及设备 | |
| Kumar et al. | S-tvds: Smart traffic violation detection system for Indian traffic scenario | |
| CN116434173A (zh) | 道路图像检测方法、装置、电子设备及存储介质 | |
| CN116311157A (zh) | 障碍物识别方法、障碍物识别模型训练方法 | |
| Sreeram et al. | Helmet Detection using Machine Learning Techniques | |
| Aiyelabegan et al. | Proposed automatic number plate recognition system using machine learning | |
| CN116486324B (zh) | 一种地铁座位踩踏行为检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |