CN111179581A - 一种基于视觉的共享单车id匹配的系统和方法 - Google Patents

一种基于视觉的共享单车id匹配的系统和方法 Download PDF

Info

Publication number
CN111179581A
CN111179581A CN201811356751.1A CN201811356751A CN111179581A CN 111179581 A CN111179581 A CN 111179581A CN 201811356751 A CN201811356751 A CN 201811356751A CN 111179581 A CN111179581 A CN 111179581A
Authority
CN
China
Prior art keywords
bicycle
time
picture
newly added
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811356751.1A
Other languages
English (en)
Other versions
CN111179581B (zh
Inventor
赵一欣
赵磊
葛嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxun Spatial Intelligence Inc
Qianxun Position Network Co Ltd
Original Assignee
Qianxun Spatial Intelligence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxun Spatial Intelligence Inc filed Critical Qianxun Spatial Intelligence Inc
Priority to CN201811356751.1A priority Critical patent/CN111179581B/zh
Publication of CN111179581A publication Critical patent/CN111179581A/zh
Application granted granted Critical
Publication of CN111179581B publication Critical patent/CN111179581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/207Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles with respect to certain areas, e.g. forbidden or allowed areas with possible alerting when inside or outside boundaries

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于视觉的共享单车ID匹配的方法,包括:获取第一时刻时监控范围内单车在第一画面中的位置;获取第二时刻时监控范围内单车在第二画面中的位置;确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置;获取所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间;确定所述新增单车的锁车时间;根据所述新增单车的锁车时间和所述第二时刻至所述第一时刻时间段内停入所述监控区域范围内的单车锁车时间,确认所述新增单车的ID信息。本发明还提供一种基于视觉的共享单车ID匹配的系统。

Description

一种基于视觉的共享单车ID匹配的系统和方法
技术领域
本发明涉及一种共享单车的ID匹配系统和方法,尤其涉及一种基于视觉识别的共享单车ID匹配系统和方法。
背景技术
目前,随着共享单车的数量增加和用户增长,骑行便捷的同时停放无序的问题日益显现。根据相关部门对共享单车车辆停放秩序的要求,共享单车应按要求停放在指定的停车区域内,同时共享单车企业应承担规范管理的主体责任。对共享单车企业而言,目前较优的解决方案是采用RTK高精度定位技术对单车定位,与停车区的高精度电子围栏进行位置比较,由此判断单车是否按要求停入停车区域内,并对发生违停行为的租车人进行处理。虽然RTK可以达到实时厘米级定位精度,但受到一些因素的影响(如天气、地形、多径、建筑物遮蔽等)部分区域的定位误差会对判别的可信度造成影响,无法作为监管依据。
针对上述情况,一个可选的方案是采用基于视觉的方案,辅助判断共享单车是否停入停车区内。但单纯基于视觉的方案无法直接在视频或图像中提取共享单车的ID信息,并由此关联至对应租车人信息。
在实际应用中亟需一种单车定位方法作为RTK定位精度不佳时的补充解决方案,将单车位置和共享单车ID信息进行匹配,进而可以关联到租车人信息,便于共享单车企业或其他监管方对共享单车是否违停进行监管和处理。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于视觉的共享单车ID匹配的系统和方法,用于解决现有技术中可信度不高、无法直接关联对应租车人信息等问题。
为实现上述目的及其他相关目的,本发明提供一种基于视觉的共享单车ID匹配的方法,包括:获取第一时刻时监控范围内单车在第一画面中的位置;获取第二时刻时监控范围内单车在第二画面中的位置;确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置;获取所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间;确定所述新增单车的锁车时间;根据所述新增单车的锁车时间和所述第二时刻至所述第一时刻时间段内停入所述监控区域范围内的单车锁车时间,确认所述新增单车的ID信息。
优选地,上述基于视觉的共享单车ID匹配的方法中,所述获取第一时刻T时监控范围内共享单车在画面中位置的方法包括:对所述单车整体进行检测,获取所述单车在所述第一画面中对应位置;或对单车特殊部件进行检测,根据单车摆放姿态获取单车在画面中对应位置;或对所述第一画面进行实例分割,获取所述单车的轮廓位置。
优选地,上述基于视觉的共享单车ID匹配的方法中,所述确定第二时刻至所述第一时刻时间段内新增单车在所述画面中的位置的步骤包括:提取所述第二画面中的第i辆单车的位置信息;计算所述第i辆单车在所述第二画面中的位置与所述第一画面中所有单车位置的交并比;提取所述交并比中的最大值;将所述交并比中的最大值与第一阈值进行比较,若所述交并比的最大值小于或等于所述第一阈值,则判定所述第i辆单车为新增单车。
优选地,上述基于视觉的共享单车ID匹配的方法中,所述确定所述新增单车的锁车时间的步骤包括:提取新增单车在所述第二画面中的位置;将所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间进行排序得到{t1,t2,...,tm};在所述锁车时间序列{t1,t2,...,tm}中,依次选取两个时间点tl和tl+1,在时间间隔(tl,tl+1)内随机抽C帧,按采集时间顺序排序得到帧序列{f1,f2,...,fC},其中fc表示在该时间间隔内提取的第c帧;在所述新增单车中选取第k辆,设其位置bk在第二画面中的对应区域图像α,所述位置bk在帧fc上的对应区域图像αc,计算α和αc的相似性,如果所述的相似性s大于等于设定第二阈值,则判定所述第k辆单车的锁车时间为所述时间点tl
优选地,上述基于视觉的共享单车ID匹配的方法中,所述确认所述新增单车的ID信息的步骤包括:选取所述新增单车的锁车时间tl时刻对应的图像
Figure BDA0001864442770000021
在所述图像
Figure BDA0001864442770000022
上划定检测区域;判断在所述检测区域内是否检测到人,若检测到人,则将所述锁车时间tl对应的单车ID信息作为所述新增单车的ID。
优选地,上述基于视觉的共享单车ID匹配的方法中,所述判断所述检测区域内是否检测到人的步骤包括:对所述图像
Figure BDA0001864442770000023
进行人体关键点检测和姿态估计,其中所述人体关键点包括眼、肩、肘、臂、膝。
本发明还提供一种基于视觉的共享单车ID匹配的系统,包括:图像获取模块,用于获取第一时刻时监控范围内共享单车在第一画面中的位置和第二时刻时监控范围内单车在第二画面中的位置;位置确认模块,用于确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置;匹配模块,用于确定所述新增单车的锁车时间;单车ID识别模块,用于根据所述新增单车的锁车时间和所述第二时刻至所述第一时刻时间段内停入所述监控区域范围内的单车锁车时间,确认所述新增单车的ID信息。
优选地,上述基于视觉的共享单车ID匹配的系统中,所述图像获取模块获取第一时刻T时监控范围内共享单车在画面中位置的方法包括:对所述单车整体进行检测,获取所述单车在所述第一画面中对应位置;或对单车特殊部件进行检测,根据单车摆放姿态获取单车在画面中对应位置;或对所述第一画面进行实例分割,获取所述单车的轮廓位置。
优选地,上述基于视觉的共享单车ID匹配的系统中,所述位置确认模块确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置的方法包括:提取所述第二画面中的第i辆单车的位置信息;计算所述第i辆单车在所述第二画面中的位置与所述第一画面中所有单车位置的交并比;提取所述交并比中的最大值;将所述交并比中的最大值与第一阈值进行比较,若所述交并比的最大值小于或等于所述第一阈值,则判定所述第i辆单车为新增单车。
优选地,上述基于视觉的共享单车ID匹配的系统中,所述匹配模块确定所述新增单车的锁车时间的方法包括:提取新增单车在所述第二画面中的位置;将所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间进行排序得到{t1,t2,...,tm};在所述锁车时间序列{t1,t2,...,tm}中,依次选取两个时间点tl和tl+1,在时间间隔(tl,tl+1)内随机抽C帧,按采集时间顺序排序得到帧序列{f1,f2,...,fC},其中fc表示在该时间间隔内提取的第c帧;在所述新增单车中选取第k辆,设其位置bk在第二画面中的对应区域图像α,所述位置bk在帧fc上的对应区域图像αc,计算α和αc的相似性,如果所述的相似性s大于等于设定第二阈值,则判定所述第k辆单车的锁车时间为所述时间点tl
优选地,上述基于视觉的共享单车ID匹配的系统中,所述单车ID识别模块确认所述新增单车的ID信息的步骤包括:选取所述新增单车的锁车时间tl时刻对应的图像
Figure BDA0001864442770000041
在所述图像
Figure BDA0001864442770000042
上划定检测区域;判断在所述检测区域内是否检测到人,若检测到人,则将所述锁车时间tl对应的单车ID信息作为所述新增单车的ID。
优选地,上述基于视觉的共享单车ID匹配的系统中,所述判断所述检测区域内是否检测到人的步骤包括:对所述图像
Figure BDA0001864442770000043
进行人体关键点检测和姿态估计,其中所述人体关键点包括眼、肩、肘、臂、膝。
如上所述,本发明结合共享单车管理系统中接收到的该区域相应时间段内的共享单车信息(包括共享单车ID信息、RTK定位信息、锁车时间信息和租车人信息等),可将视频或图像序列中的共享单车位置和对应共享单车ID信息进行匹配,便于共享单车企业或其他监管方对共享单车是否违停进行监管和处理。
附图说明
图1为本发明基于视觉的共享单车ID匹配的方法的流程图;
图2为本发明基于视觉的共享单车ID匹配的系统的结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅附图。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
首先参阅图1,图1所示为本发明基于视觉的共享单车ID匹配的方法流程图。其中步骤S1表示获取监控范围内共享单车在画面中的位置。其中画面来自视觉监控设备,可以是摄影机,也可以是摄像机。本发明中采用摄像头对停车区及周边范围进行监控,定时触发获取当前时刻T的对应帧F,并在当前帧F中获取所有单车位置{p1,p2,...,pz},其中pi表示当前图像中第i辆单车的位置,i表示单车序号,z表示单车总数。获取单车位置的方法可以但不限于以下方法:
1.1对单车整体进行检测,获取单车在当前帧F中对应位置的矩形框;
1.2对单车特殊部件进行检测,根据单车摆放姿态获取单车在当前帧F中对应位置的矩形框;
1.3对当前帧F进行实例分割(即对单车进行分割且区分单车个体),获取图像中各单车的轮廓位置。
步骤S2表示确定新增单车在画面中的位置。将当前帧F中的单车位置与前一次触发时刻T′捕获的对应帧F′中的单车位置{p1′,p2′,...,pz′′}进行比较,其中pj′表示从帧F′中获取的第j辆单车的位置,j表示单车序号,z′表示帧F′中的单车总数。从两帧单车位置的比较结果可获取T′时刻至T时刻之间停入监控区域内的单车在画面中的位置。
对于步骤S1中所述的三种获取单车在画面中位置的方案,此处均可采用交并比(Intersection-over-Union,IoU)获取新增单车位置,具体步骤如下:
S2.1提取帧F中的第i辆单车的位置信息pi
S2.2计算pi与帧F′中所有单车位置{p1′,p2′,...,pz′′}的交并比{iou1,iou2,...,iouz′},其中iouj表示pi与帧F′中第j辆单车的交并比;
S2.3提取{iou1,iou2,...,iouz′}中的最大值ioumax
S2.4将ioumax与阈值Tiou进行比较,若大于阈值Tiou则认为pi在帧F′已出现,否则认为pi是在T′时刻后才停入监控区域内的单车;为平衡效率与准确性,经过实验,优选地阈值Tiou取值为0.3~0.8;
S2.5重复步骤1至4直到帧F中的所有单车均经过判定;
S2.6记录T′时刻后新停入单车的位置为{b1,b2,...bn},其中bk表示第k辆新增单车在帧F上的位置,k表示新增单车序号,n表示帧F上显示的T′时刻后新增单车总数。
步骤S2’表示从单车管理系统中获取T′时刻至T时刻之间停入当前监控区域范围内的单车信息(包括共享单车ID信息、RTK定位信息、锁车时间信息和租车人信息等)。步骤S2’可以在步骤S2之前、之后执行,也可以与步骤S2同时执行。
步骤S3表示确定单车锁车时间。将步骤S2’取到的锁车时间记为{t1,t2,...,tm},为方便比对,在使用这些数据之前可以先对其进行排序。以下如无特别说明,则以{t1,t2,...,tm}为排序结果进行阐述。其中tl表示第1个锁车时间,1表示序号,m表示系统接收到的锁车时间总数。采用如下步骤进行T′时刻至T时刻之间新停入单车bk的锁车时间判定:
S3.1提取第k个新增单车位置bk
S3.2在时间间隔(tl,tl+1)内随机抽C帧,按采集时间顺序排序得到帧序列{f1,f2,...,fC},其中fc表示在该时间间隔内提取的第c帧;优选地,C取值为3;
S3.3获取第k辆新增单车位置bk在帧F上的对应区域图像α和在帧fc上的对应区域图像αc,计算α和αc的相似性。本方案采用像素值直接相减,并对结果进行二值化,计算二值化后像素值为0的像素点数量与α面积的比值s,将该比值s作为相似性计算结果;
S3.4若存在帧fc与帧F在bk区域上的相似性s大于等于设定阈值Ts则认为此刻单车bk已停入,其对应的锁车时间为tl;为平衡效率与准确性,经过实验,优选地阈值Ts取值为0.6~0.95;若α与αc的相似性均小于设定阈值Ts,在下一个时间间隔(tl+1,tl+2)重复步骤2继续寻找单车bk的锁车时间。
步骤S4表示确认新增单车的ID信息。若步骤S3初步判定在帧F上单车bk的锁车时间为tl,获取锁车时间tl的对应帧
Figure BDA0001864442770000071
判断单车bk周边是否有人并正在进行锁车行为,以此作为锁车时间和单车位置匹配的二次验证。
判断单车bk周围是否有人进行锁车行为的方法,可以通过对帧
Figure BDA0001864442770000072
进行人体关键点检测和姿态估计。本例中,检测的人体关键点共17个,分别是:左眼、右眼、左耳、右耳、鼻、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左脚踝、右脚踝,并将左、右肩连线作为人体肩部位置,左、右臀连线作为人体胯部位置,肩部中点与胯部中点的连线作为人体躯干位置,肩部中点与鼻的连线作为面部中心线位置。人体关键点的选择可以根据实践中对精度、周边环境、摄像头清楚度等因素进行调整、增改。
通过设定约束条件判定人体姿态是否与锁车姿态相符。约束条件包括但不限于:锁车时人体躯干为俯身姿态,而非直立姿态;锁车时人的左腕或右腕与单车bk的距离小于设定阈值Td,锁车时人的面部朝下等。单车位置bk和单车ID信息匹配的具体步骤如下:
S4.1在tl时刻的对应帧
Figure BDA0001864442770000073
上划定检测区域,本方案中采用单车位置bk的长和宽为基准,将单车bk周边一定比例范围作为检测区域;
S4.2若在检测区域内未检测到人,或人体姿态不符合锁车的相关约束条件,则在下一个时间间隔(tl+1,tl+2)内重复步骤S3中的S3.2继续搜索bk的锁车时间;
S4.3若判断人体姿态符合锁车姿态的相关约束条件,则将单车bk和锁车时间tl对应的单车信息(包括共享单车ID信息、RTK定位信息、租车人信息等)进行关联,由此完成单车位置bk与单车ID信息的匹配;
通过以上步骤,则可以完成一量单车的ID信息匹配,从而再根据该单车的租用记录,可以定位到相应的租用人。遍历{t1,t2,...,tm},重复步骤S3~S4,则可以匹配所有新增车辆的ID信息。
本发明还提供一种基于视觉的共享单车ID匹配的系统,包括图像获取模块、位置确认模块、匹配模块和单车ID识别模块,下面参阅图2进行具体介绍。
图像获取模块用于获取监控范围内共享单车在画面中的位置。其中画面来自视觉监控设备,可以是摄影机,也可以是摄像机。本发明中采用摄像头对停车区及周边范围进行监控,定时触发获取当前时刻T的对应帧F,并在当前帧F中获取所有单车位置{p1,p2,...,pz},其中pi表示当前图像中第i辆单车的位置,i表示单车序号,z表示单车总数。获取单车位置的方法可以但不限于以下方法:
1.1对单车整体进行检测,获取单车在当前帧F中对应位置的矩形框;
1.2对单车特殊部件进行检测,根据单车摆放姿态获取单车在当前帧F中对应位置的矩形框;
1.3对当前帧F进行实例分割(即对单车进行分割且区分单车个体),获取图像中各单车的轮廓位置。
位置确认模块用于确定新增单车在画面中的位置。将当前帧F中时单车位置与前一次触发时刻T′捕获的对应帧F′中的单车位置{p1′,p2′,...,pz′′}进行比较,其中pj′表示从帧F′中获取的第j辆单车的位置,j表示单车序号,z′表示帧F′中的单车总数。从两帧单车位置的比较结果可获取T′时刻至T时刻之间停入监控区域内的单车在画面中的位置。
图像获取模块可选的三种获取单车在画面中位置的方案,此处均可采用交并比(Intersection-over-Union,IoU)获取新增单车位置,具体步骤如下:
S1提取帧F中的第i辆单车的位置信息pi
S2计算pi与帧F′中所有单车位置{p1′,p2′,...,pz′′}的交并比{iou1,iou2,...,iouz′},其中iouj表示pi与帧F′中第j辆单车的交并比;
S3提取{iou1,iou2,...,iouz′}中的最大值ioumax
S4将ioumax与阈值Tiou进行比较,若大于阈值Tiou则认为pi在帧F′己出现,否则认为pi是在T′时刻后才停入监控区域内的单车;为平衡效率与准确性,经过实验,优选地阈值Tiou取值为0.3~0.8;
S5重复步骤1至4直到帧F中的所有单车均经过判定;
S6记录T′时刻后新停入单车的位置为{b1,b2,...bn},其中bk表示第k辆新增单车在帧F上的位置,k表示新增单车序号,n表示帧F上显示的T′时刻后新增单车总数。
匹配模块用于确定单车锁车时间。匹配模块从单车管理系统中获取T′时刻至T时刻之间停入当前监控区域范围内的单车信息(包括共享单车ID信息、RTK定位信息、锁车时间信息和租车人信息等),并将所取得的锁车时间进行排序{t1,t2,...,tm},其中tl表示第1个锁车时间,1表示序号,m表示系统接收到的锁车时间总数。采用如下步骤进行T′时刻至T时刻之间新停入单车bk的锁车时间判定:
S1提取第k个新增单车位置bk
S2在时间间隔(tl,tl+1)内随机抽C帧,按采集时间顺序排序得到帧序列{f1,f2,...,fC},其中fc表示在该时间间隔内提取的第c帧;优选地,C取值为3;
S3获取第k辆新增单车位置bk在帧F上的对应区域图像α和在帧fc上的对应区域图像αc,计算α和αc的相似性。本方案采用像素值直接相减,并对结果进行二值化,计算二值化后像素值为0的像素点数量与α面积的比值s,将该比值s作为相似性计算结果;
S4若存在帧fc与帧F在bk区域上的相似性s大于等于设定阈值Ts则认为此刻单车bk已停入,其对应的锁车时间为tl;为平衡效率与准确性,经过实验,优选地阈值Ts取值为0.6~0.95;若α与αc的相似性均小于设定阈值Ts,在下一个时间间隔(tl+1,tl+2)重复步骤2继续寻找单车bk的锁车时间。
单车ID识别模块用于匹配单车位置与单车信息。若匹配模块初步判定在帧F上单车bk的锁车时间为tl,获取锁车时间tl的对应帧
Figure BDA0001864442770000101
判断单车bk周边是否有人并正在进行锁车行为,以此作为锁车时间和单车位置匹配的二次验证。
判断单车bk周围是否有人进行锁车行为的方法,可以通过对帧
Figure BDA0001864442770000102
进行人体关键点检测和姿态估计。本例中,检测的人体关键点共17个,分别是:左眼、右眼、左耳、右耳、鼻、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左脚踝、右脚踝,并将左、右肩连线作为人体肩部位置,左、右臀连线作为人体胯部位置,肩部中点与胯部中点的连线作为人体躯干位置,肩部中点与鼻的连线作为面部中心线位置。人体关键点的选择可以根据实践中对精度、周边环境、摄像头清楚度等因素进行调整、增改。
通过设定约束条件判定人体姿态是否与锁车姿态相符。约束条件包括但不限于:锁车时人体躯干为俯身姿态,而非直立姿态;锁车时人的左腕或右腕与单车bk的距离小于设定阈值Td,锁车时人的面部朝下等。单车位置bk和单车ID信息匹配的具体步骤如下:
S1在tl时刻的对应帧
Figure BDA0001864442770000103
上划定检测区域,本方案中采用单车位置bk的长和宽为基准,将单车bk周边一定比例范围作为检测区域;
S2若在检测区域内未检测到人,或人体姿态不符合锁车的相关约束条件,则在下一个时间间隔(tl+1,tl+2)内重复匹配模块中的S2继续搜索bk的锁车时间;
S3若判断人体姿态符合锁车姿态的相关约束条件,则将单车bk和锁车时间tl对应的单车信息(包括共享单车ID信息、RTK定位信息、租车人信息等)进行关联,由此完成单车位置bk与单车ID信息的匹配。
通过以上步骤,则可以完成一量单车的ID信息匹配,从而再根据该单车的租用记录,可以定位到相应的租用人。遍历{t1,t2,...,tm},重复以上操作,则可以匹配所有新增车辆的ID信息。
本发明提出的基于视觉的共享单车ID匹配的系统和方法,作为RTK定位精度不佳时的补充解决方案。本发明对视频或图像序列中的共享单车进行检测,结合共享单车管理系统中接收到的该区域相应时间段内的共享单车信息(包括共享单车ID信息、RTK定位信息、锁车时间信息和租车人信息等),可将视频或图像序列中的共享单车位置和对应共享单车ID信息进行匹配,便于共享单车企业或其他监管方对共享单车是否违停进行监管和处理。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种基于视觉的共享单车ID匹配的方法,其特征在于,包括:
获取第一时刻时监控范围内单车在第一画面中的位置;
获取第二时刻时监控范围内单车在第二画面中的位置;
确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置;
获取所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间;
确定所述新增单车的锁车时间;
根据所述新增单车的锁车时间和所述第二时刻至所述第一时刻时间段内停入所述监控区域范围内的单车锁车时间,确认所述新增单车的ID信息。
2.根据权利要求1所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述获取第一时刻T时监控范围内共享单车在画面中位置的方法包括:对所述单车整体进行检测,获取所述单车在所述第一画面中对应位置;或对单车特殊部件进行检测,根据单车摆放姿态获取单车在画面中对应位置;或对所述第一画面进行实例分割,获取所述单车的轮廓位置。
3.根据权利要求1所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述确定第二时刻至所述第一时刻时间段内新增单车在所述画面中的位置的步骤包括:
提取所述第二画面中的第i辆单车的位置信息;
计算所述第i辆单车在所述第二画面中的位置与所述第一画面中所有单车位置的交并比;
提取所述交并比中的最大值;
将所述交并比中的最大值与第一阈值进行比较,若所述交并比的最大值小于或等于所述第一阈值,则判定所述第i辆单车为新增单车。
4.根据权利要求3所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述第一阈值预设为0.3~0.8。
5.根据权利要求1所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述确定所述新增单车的锁车时间的步骤包括:
提取新增单车在所述第二画面中的位置;
将所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间进行排序得到{t1,t2,...,tm};
在所述锁车时间序列{t1,t2,...,tm}中,依次选取两个时间点tl和tl+1,在时间间隔(tl,tl+1)内随机抽C帧,按采集时间顺序排序得到帧序列{f1,f2,...,fC},其中fc表示在该时间间隔内提取的第c帧;
在所述新增单车中选取第k辆,设其位置bk在第二画面中的对应区域图像α,所述位置bk在帧fc上的对应区域图像αc,计算α和αc的相似性,如果所述的相似性s大于等于设定第二阈值,则判定所述第k辆单车的锁车时间为所述时间点tl
6.根据权利要求1所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述第二阈值的取值范围为0.6~0.95。
7.根据权利要求1所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述确认所述新增单车的ID信息的步骤包括:
选取所述新增单车的锁车时间tl时刻对应的图像
Figure FDA0001864442760000021
在所述图像
Figure FDA0001864442760000022
上划定检测区域;
判断在所述检测区域内是否检测到人,若检测到人,则将所述锁车时间tl对应的单车ID信息作为所述新增单车的ID。
8.根据权利要求7所述的基于视觉的共享单车ID匹配的方法,其特征在于,所述判断所述检测区域内是否检测到人的步骤包括:对所述图像
Figure FDA0001864442760000023
进行人体关键点检测和姿态估计,其中所述人体关键点包括眼、肩、肘、臂、膝。
9.一种基于视觉的共享单车ID匹配的系统,其特征在于,包括:
图像获取模块,用于获取第一时刻时监控范围内共享单车在第一画面中的位置和第二时刻时监控范围内单车在第二画面中的位置;
位置确认模块,用于确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置;
匹配模块,用于确定所述新增单车的锁车时间;
单车ID识别模块,用于根据所述新增单车的锁车时间和所述第二时刻至所述第一时刻时间段内停入所述监控区域范围内的单车锁车时间,确认所述新增单车的ID信息。
10.根据权利要求9所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述图像获取模块获取第一时刻T时监控范围内共享单车在画面中位置的方法包括:对所述单车整体进行检测,获取所述单车在所述第一画面中对应位置;或对单车特殊部件进行检测,根据单车摆放姿态获取单车在画面中对应位置;或对所述第一画面进行实例分割,获取所述单车的轮廓位置。
11.根据权利要求9所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述位置确认模块确定第二时刻至所述第一时刻时间段内,新增单车在所述第二画面中的位置的方法包括:
提取所述第二画面中的第i辆单车的位置信息;
计算所述第i辆单车在所述第二画面中的位置与所述第一画面中所有单车位置的交并比;
提取所述交并比中的最大值;
将所述交并比中的最大值与第一阈值进行比较,若所述交并比的最大值小于或等于所述第一阈值,则判定所述第i辆单车为新增单车。
12.根据权利要求9所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述第一阈值聚值为0.3~0.8。
13.根据权利要求9所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述匹配模块确定所述新增单车的锁车时间的方法包括:
提取新增单车在所述第二画面中的位置;
将所述第二时刻至所述第一时刻时间段内,停入所述监控区域范围内的单车锁车时间进行排序得到{t1,t2,...,tm};
在所述锁车时间序列{t1,t2,...,tm}中,依次选取两个时间点tl和tl+1,在时间间隔(tl,tl+1)内随机抽C帧,按采集时间顺序排序得到帧序列{f1,f2,...,fC},其中fc表示在该时间间隔内提取的第c帧;
在所述新增单车中选取第k辆,设其位置bk在第二画面中的对应区域图像α,所述位置bk在帧fc上的对应区域图像αc,计算α和αc的相似性,如果所述的相似性s大于等于设定第二阈值,则判定所述第k辆单车的锁车时间为所述时间点tl
14.根据权利要求9所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述第二阈值的取值范围为0.6~0.95。
15.根据权利要求9所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述单车ID识别模块确认所述新增单车的ID信息的步骤包括:
选取所述新增单车的锁车时间tl时刻对应的图像
Figure FDA0001864442760000041
在所述图像
Figure FDA0001864442760000042
上划定检测区域;
判断在所述检测区域内是否检测到人,若检测到人,则将所述锁车时间tl对应的单车ID信息作为所述新增单车的ID。
16.根据权利要求15所述的基于视觉的共享单车ID匹配的系统,其特征在于,所述判断所述检测区域内是否检测到人的步骤包括:对所述图像
Figure FDA0001864442760000043
进行人体关键点检测和姿态估计,其中所述人体关键点包括眼、肩、肘、臂、膝。
CN201811356751.1A 2018-11-13 2018-11-13 一种基于视觉的共享单车id匹配的系统和方法 Active CN111179581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811356751.1A CN111179581B (zh) 2018-11-13 2018-11-13 一种基于视觉的共享单车id匹配的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811356751.1A CN111179581B (zh) 2018-11-13 2018-11-13 一种基于视觉的共享单车id匹配的系统和方法

Publications (2)

Publication Number Publication Date
CN111179581A true CN111179581A (zh) 2020-05-19
CN111179581B CN111179581B (zh) 2022-02-01

Family

ID=70653737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811356751.1A Active CN111179581B (zh) 2018-11-13 2018-11-13 一种基于视觉的共享单车id匹配的系统和方法

Country Status (1)

Country Link
CN (1) CN111179581B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696135A (zh) * 2020-06-05 2020-09-22 深兰人工智能芯片研究院(江苏)有限公司 基于交并比的违禁停车检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05317150A (ja) * 1992-05-21 1993-12-03 Fujitsu General Ltd ロッカー管理システム
CN105206090A (zh) * 2015-10-13 2015-12-30 厦门星辰天羽汽车设计有限公司 一种车辆定位方法
CN105825467A (zh) * 2016-03-16 2016-08-03 宁波市江东精诚自动化设备有限公司 一种城市公用自行车监测装置
CN107464168A (zh) * 2017-08-01 2017-12-12 何永安 共享单车未落锁责任判定方法、装置、服务器及存储介质
CN107464167A (zh) * 2017-08-01 2017-12-12 何永安 密码锁落锁状态的确认方法、装置、服务器及存储介质
CN108109275A (zh) * 2017-12-20 2018-06-01 深圳英飞拓科技股份有限公司 一种共享单车的控制方法、装置和系统
CN108492548A (zh) * 2018-04-11 2018-09-04 徐子腾 一种共享单车有序停放管理系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05317150A (ja) * 1992-05-21 1993-12-03 Fujitsu General Ltd ロッカー管理システム
CN105206090A (zh) * 2015-10-13 2015-12-30 厦门星辰天羽汽车设计有限公司 一种车辆定位方法
CN105825467A (zh) * 2016-03-16 2016-08-03 宁波市江东精诚自动化设备有限公司 一种城市公用自行车监测装置
CN107464168A (zh) * 2017-08-01 2017-12-12 何永安 共享单车未落锁责任判定方法、装置、服务器及存储介质
CN107464167A (zh) * 2017-08-01 2017-12-12 何永安 密码锁落锁状态的确认方法、装置、服务器及存储介质
CN108109275A (zh) * 2017-12-20 2018-06-01 深圳英飞拓科技股份有限公司 一种共享单车的控制方法、装置和系统
CN108492548A (zh) * 2018-04-11 2018-09-04 徐子腾 一种共享单车有序停放管理系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YEONGKYUN LEE,JONGPIL JEONG: "Design and Implementation of Monitoring System Architecture for Smart Bicycle Platform", 《PROCEDIA COMPUTER SCIENCE》 *
徐赟: "公共自行车视频监控中异常事件检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696135A (zh) * 2020-06-05 2020-09-22 深兰人工智能芯片研究院(江苏)有限公司 基于交并比的违禁停车检测方法

Also Published As

Publication number Publication date
CN111179581B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN106203294B (zh) 基于人脸属性分析的人证合一身份验证方法
CN110070010A (zh) 一种基于行人重识别的人脸属性关联方法
CN108182396B (zh) 一种自动识别拍照行为的方法及装置
CN102201061B (zh) 基于多阶层过滤人脸识别的智能安全监控系统及方法
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
CN102197412B (zh) 伪装检测系统和伪装检测方法
CN107977656A (zh) 一种行人重识别方法及系统
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN104408406B (zh) 基于帧差法和减背景法的人员离岗检测方法
JP2007317062A (ja) 人物認識装置及びその方法
CN108960145A (zh) 人脸图像检测方法、装置、存储介质和电子设备
CN112541434B (zh) 一种基于中心点跟踪模型的人脸识别方法
CN109785348A (zh) 基于图像边界近似曲率变化的新型角点检测方法及系统
CN107944395A (zh) 一种基于神经网络验证人证合一的方法及系统
Jiao et al. An adaptive visual dynamic-SLAM method based on fusing the semantic information
CN105913014A (zh) 基于身份证芯片照片和视频的身份鉴定方法及系统
CN112614102A (zh) 一种车辆检测方法、终端及其计算机可读存储介质
CN102222232A (zh) 人脸多阶层快速过滤匹配装置及方法
CN111179581B (zh) 一种基于视觉的共享单车id匹配的系统和方法
CN104504162B (zh) 一种基于机器人视觉平台的视频检索方法
CN114581990A (zh) 一种跑步智能测试方法以及装置
CN107025435A (zh) 一种人脸识别处理方法和系统
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant