CN111368692B - 信息融合方法及装置、停车位置定位方法及系统 - Google Patents
信息融合方法及装置、停车位置定位方法及系统 Download PDFInfo
- Publication number
- CN111368692B CN111368692B CN202010129201.7A CN202010129201A CN111368692B CN 111368692 B CN111368692 B CN 111368692B CN 202010129201 A CN202010129201 A CN 202010129201A CN 111368692 B CN111368692 B CN 111368692B
- Authority
- CN
- China
- Prior art keywords
- track information
- running track
- information
- similar
- license plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请的技术方案,获取依据第一摄像头获取的图像确定的第一行驶轨迹信息,从其它摄像头获取的图像确定的其它行驶轨迹信息中,查找相似行驶轨迹信息,将第一行驶轨迹信息与相似行驶轨迹信息融合为融合行驶轨迹信息。相似行驶轨迹信息包括,车牌和/或预设特征与第一行驶轨迹信息相似的行驶轨迹信息,所以相似行驶轨迹信息与第一行驶轨迹信息很可能是同一辆车的行驶轨迹信息,可见,可以使用多个摄像头采集的图像,确定车辆的完整行驶轨迹,进而依据待查询车辆的车牌和融合行驶轨迹信息,确定待查询车辆的停车位置信息。又因为通过采集车道上的车辆的图像,就可实现车辆行驶轨迹的获取,所以,无需在停车位上布置摄像头,能够明显减少摄像头的数量。
Description
技术领域
本申请涉及电子信息领域,尤其涉及一种信息融合方法及装置、停车位置定位方法及系统。
背景技术
现有的停车位置定位方法,通过在每个停车位上布置摄像头的方式,实现对于车辆所停车位信息的记录和查询。
但是,这样的系统最大的缺陷是,布置的摄像头的数目和车位的数目的比例在1比1至1比3之间。比如一个拥有1000个车位的停车场需要300到1000个摄像头,即在停车场中所需布置的摄像头很多。
发明内容
申请人在研究的过程中发现,可以使用摄像头采集车道上的车辆的影像,实现对车辆的跟踪,代替采集停车位上的车辆的影像的方式,减小摄像头的数量。在此思路下,因为摄像头的固定性和车道上车辆的流动性,所以需要多个摄像头从不同角度拍摄,才能最大限度保证获取到车辆在停车场的完整轨迹,从而定位车辆的停车位置。因此,如何使用多个摄像头采集的影像,获取车辆的行驶轨迹,成为关键性的问题。
本申请提供了一种信息融合方法及装置、停车位置定位方法及系统,目的在于解决如何使用多个摄像头采集的影像,获取车辆的行驶轨迹,从而使用数量较少的摄像头实现停车位定位的问题。
为了实现上述目的,本申请提供了以下技术方案:
一种信息融合方法,包括:
获取第一行驶轨迹信息,所述第一行驶轨迹信息依据第一摄像头获取的图像确定;
从其它行驶轨迹信息中,查找相似行驶轨迹信息,所述相似行驶轨迹信息包括,车牌和/或预设特征与所述第一行驶轨迹信息相似的行驶轨迹信息,所述其它行驶轨迹信息至少包括依据其它摄像头获取的图像确定的行驶轨迹信息,所述其它摄像头为除所述第一摄像头之外的摄像头;
将所述第一行驶轨迹与所述相似行驶轨迹融合为融合行驶轨迹信息。
可选的,所述第一行驶轨迹信息包括:车辆的车牌,所述第一行驶轨迹信息为所述车辆的行驶轨迹信息;
所述从其它行驶轨迹信息中,查找相似行驶轨迹信息,包括:
从所述其它行驶轨迹信息中,查找第一相似行驶轨迹信息,所述第一相似行驶轨迹信息为满足第一预设条件的行驶轨迹信息,所述第一预设条件包括:车牌与所述第一行驶轨迹信息中的车牌相似。
可选的,所述第一行驶轨迹信息还包括:所述车辆的外观信息;
所述第一预设条件还包括:
车辆的外观信息与所述第一行驶轨迹信息中的车辆的外观信息相似。
可选的,还包括:
如果所述其它行驶轨迹信息中不存在所述第一相似行驶轨迹信息,查找第二相似行驶轨迹信息,所述第二相似行驶轨迹信息为所述预设特征与所述第一行驶轨迹信息的预设特征相似的行驶轨迹信息,所述预设特征包括图像特征、时空特征和车辆的外观特征中的至少一项。
可选的,在所述从其它行驶轨迹信息中,查找相似行驶轨迹信息之前,还包括:
使用参考车牌中的目标车牌,替换所述第一行驶轨迹信息中的车牌,所述参考车牌为,在预设位置的摄像头采集到的车牌,所述目标车牌为满足第二预设条件的车牌,所述第二预设条件包括与所述第一行驶轨迹信息中的车牌相似且置信度大于预设的置信度阈值。
可选的,所述第二预设条件还包括:
对应的车辆的外观信息,与所述第一行驶轨迹信息中的车辆的外观信息相似。
可选的,所述从其它行驶轨迹信息中,查找相似行驶轨迹信息,包括:
查找所述预设特征与所述第一行驶轨迹信息的所述预设特征相似的行驶轨迹信息,作为所述相似行驶轨迹信息,所述预设特征是由多种信息融合得出,所述多种信息包括图像特征、时空特征和车辆的外观特征。
可选的,还包括:
如果所述其它行驶轨迹信息中不存在所述相似行驶轨迹信息,将所述第一行驶轨迹信息加入所述其它行驶轨迹信息中。
可选的,所述其它摄像头与所述第一摄像头的距离小于预设距离阈值。
一种停车位置的定位方法,包括:
获取第一摄像头采集的影像,并从依据所述影像获取第一行驶轨迹信息;
使用上述的信息融合方法,获取融合行驶轨迹信息;
依据待查询车辆的车牌和所述融合行驶轨迹信息,确定所述待查询车辆的停车位置信息。
一种信息融合装置,包括:
获取模块,用于获取第一行驶轨迹信息,所述第一行驶轨迹信息依据第一摄像头获取的图像确定;
查找模块,用于从其它行驶轨迹信息中,查找相似行驶轨迹信息,所述相似行驶轨迹信息包括,车牌和/或预设特征与所述第一行驶轨迹信息相似的行驶轨迹信息,所述其它行驶轨迹信息至少包括依据其它摄像头获取的图像确定的行驶轨迹信息,所述其它摄像头为除所述第一摄像头之外的摄像头;
融合模块,用于将所述第一行驶轨迹与所述相似行驶轨迹融合为融合行驶轨迹信息。
一种停车位置的定位系统,包括:
前端系统,用于获取第一摄像头采集的影像,并从依据所述影像获取第一行驶轨迹信息;
后端系统,用于使用上述的信息融合方法,获取融合行驶轨迹信息,以及依据待查询车辆的车牌和所述融合行驶轨迹信息,确定所述待查询车辆的停车位置信息。
本申请所述的技术方案,获取依据第一摄像头获取的图像确定的第一行驶轨迹信息,从其它摄像头获取的图像确定的其它行驶轨迹信息中,查找相似行驶轨迹信息,并将第一行驶轨迹信息与相似行驶轨迹信息融合为融合行驶轨迹信息。因为相似行驶轨迹信息包括,车牌和/或预设特征与第一行驶轨迹信息相似的行驶轨迹信息,所以相似行驶轨迹信息与第一行驶轨迹信息很可能是同一辆车的行驶轨迹信息,可见,可以使用多个摄像头采集的图像,确定车辆的完整行驶轨迹,进一步依据待查询车辆的车牌和融合行驶轨迹信息,确定待查询车辆的停车位置信息。又因为通过采集车道上的车辆的图像,就可实现车辆行驶轨迹的获取,所以,无需在停车位上布置摄像头,因此,能够明显减少摄像头的数量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种信息融合方法的流程图;
图2为本申请实施例公开的又一种信息融合方法的流程图;
图3为本申请实施例公开的又一种信息融合方法的流程图;
图4为本申请实施例公开的停车位置定位系统的结构示意图;
图5为本申请实施例公开的停车位置定位系统中的前端系统的结构示意图;
图6为本申请实施例公开的一种信息融合装置的结构示意图。
具体实施方式
本申请提供的技术方案,可以应用于如下场景:摄像头设置在能够拍摄到车道的位置,进一步的,可以将摄像头架在停车场车道中间的上方,摄像头角度调整到正对车道中心线。可选的,为了减少摄像头的成本,本实施例中的摄像头可以采用定焦镜头的枪机。
实际中,摄像头的数量与停车场中的停车位的数量满足预设比例(预设比例的范围如1:10~1:20),停车场的层高越高,一个摄像头所覆盖的区域越大,摄像头的数量与停车场中的停车位的数量的比例越小。一般摄像头的覆盖区域为30米到70米之间,相邻摄像头的覆盖区域之间应当有适当的重合,以保证对于道路的全面覆盖。
进一步的,摄像头与服务器相连,摄像头将采集到的影像发送至服务器,服务器运行本申请提供的技术方案,通过将多个摄像头的影像确定的信息进行融合,确定车辆的行驶轨迹,进一步确定车辆的停止位置,实现在定位停车位的情况下,与现有技术相比,有效减少摄像头的数量的目的。
需要说明的是,以上场景仅为举例,本申请所述的信息融合方法,可以应用于具有摄像头的任何场景。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例公开的一种信息融合方法的流程,包括以下步骤:
S101:获取一条行驶轨迹信息(简称为第一局部行驶轨迹信息)。
行驶轨迹信息用于表示车辆在某个时刻的位置。任意一条行驶轨迹信息包括:车辆的车牌、车辆的位置与时刻的对应关系、以及摄像头的标识信息。其中,摄像头为采集作为该条行驶轨迹信息的获取依据的影像的摄像头。可选的,任意一条行驶轨迹信息还可以包括车辆的外观,例如颜色和车型等。
也就是说,本步骤获取的一条行驶轨迹信息,以摄像头为维度。任意一条行驶轨迹信息,由某个摄像头采集的影像获取,为了便于后续区分,这里将本步骤获取的一条行驶轨迹信息,称为第一局部行驶轨迹信息。依据影像获取局部轨迹信息的具体方式,将在后续进行说明。
可见,任意一条行驶轨迹信息与其中包括的车牌所属的车辆对应。
S102:从参考车牌中,查询目标车牌,并使用目标车牌替换第一局部行驶轨迹信息中的车牌。
参考车牌为在预设位置的摄像头采集到的车牌,其中,预设位置为有利于采集到正确车牌的位置,例如,正对停车场的入口的位置。即,在停车场设置正对停车场的入口摄像头,将这些摄像头采集到的车牌,作为参考车牌。
需要说明的是,摄像头采集到影像,再识别出影像中的车牌的过程,可以参见现有技术,这里简称“摄像头采集到车牌”。
目标车牌为与第一局部行驶轨迹信息中的车牌相似的车牌,目标车牌的判断条件至少包括第一相似条件:与第一局部行驶轨迹信息中的车牌相似,车牌相似具体可以为不同的字符的数量小于第一数值,例如,不同的字符的数量小于两位。
可选的,任意一个参考车牌还可以对应有具有该参考车牌的车辆的外观信息。进一步的,在第一局部行驶轨迹信息中包括车辆的外观信息的情况下,与第一局部行驶轨迹信息中的车牌相似的车牌,除了第一相似条件之外,还要满足第二相似条件,第二相似条件为:对应的车辆的外观信息,与第一局部行驶轨迹信息中的车辆的外观信息相似,外观信息相似包括颜色以及车型相似等。
进一步的,目标车牌除了与第一局部行驶轨迹信息中的车牌相似的车牌之外,还要满足:置信度大于预设的置信度阈值。其中,置信度为使用模型从参考车牌图像中,识别出的参考车牌对应的概率。设置置信度阈值的目的在于,避免参考车牌的识别误差代入到第一局部行驶轨迹信息中。
可以使用神经网络等现有技术,从参考车牌中查询目标车牌,具体实现过程这里不再赘述。
因为采集参考车牌的摄像头的位置有利于采集到准确的车牌,所以,使用目标车牌替换第一局部行驶轨迹信息中的车牌,相当于对第一局部行驶轨迹信息中的车牌进行纠错和校正,提高局部行驶轨迹信息以及后续处理后的行驶轨迹信息的准确性。
需要说明的是,使用目标车牌替换第一局部行驶轨迹信息中的车牌后,第一局部行驶轨迹信息中的车牌的具体内容即变为目标车牌的具体内容。
S103:从其它行驶轨迹信息中,查找第一相似行驶轨迹信息。
其它行驶轨迹信息,可以包括其它摄像头采集的影像获取的局部行驶轨迹信息,还可以包括由局部行驶轨迹信息融合后的行驶轨迹信息。
假设第一局部行驶轨迹信息由第一摄像头采集的影像获取,则其它行驶轨迹信息,至少包括由除第一摄像头之外的摄像头采集的影像确定的驶轨迹信息。
可选的,为了减小计算量,基于相同车辆被距离较近的摄像头拍摄到的可能性最大,其它行驶轨迹信息可以为,第一摄像头附近的摄像头对应的行驶轨迹信息。在行驶轨迹信息中包括摄像头的标识的情况下,可以依据摄像头的标识确定摄像头,再依据预设的摄像头的标识与位置的对应关系,进一步确定摄像头之间的距离,距离小于预设距离阈值的摄像头,互为附近的摄像头。
第一相似行驶轨迹信息满足的条件包括:车牌与第一局部行驶轨迹信息中的车牌相似,可选的,还可以包括:车辆的外观信息与第一局部行驶轨迹信息中的车辆的外观信息相似。也就是说,第一相似行驶轨迹信息中包括的车牌,与第一局部行驶轨迹信息中包括的车牌相似,可选的,第一相似行驶轨迹信息中包括的车辆的外观信息,与第一局部行驶轨迹信息中的车辆的外观信息相似。实际中,停车场不同的摄像头拍摄到的同一辆车,外观肯定相同,因为车牌的相似度判定可能存在误差,所以引入外观信息,提高第一相似行驶轨迹信息的准确性。
S104:将第一局部行驶轨迹信息与第一相似行驶轨迹信息融合,得到融合行驶轨迹信息。
具体的,因为第一相似行驶轨迹信息与第一局部行驶轨迹信息包括的车牌相似,所以,可以看作同一辆车由不同摄像头采集的、时间段可以重合也可以不重合的行驶轨迹信息。因此,融合是指,将两段行驶轨迹信息中的位置信息按照对应时间的先后进行排序,得到位置信息与时刻的新的对应关系,并且,因为第一局部行驶轨迹信息中的车牌经过了校正,所以可以将第一局部行驶轨迹信息中的车牌,作为融合后行驶轨迹信息的车牌。当然,也可以将第一相似行驶轨迹信息中的车牌作为融合后行驶轨迹信息的车牌,这里不做限定。
可以看出,车辆的外观信息的判断条件,能够避免车牌识别误差而导致的融合后行驶轨迹信息不准确的问题。
S105:如果其它行驶轨迹信息中,不存在第一相似行驶轨迹信息,则从其它行驶轨迹信息中,查找预设特征与第一局部行驶轨迹信息的预设特征相似的行驶轨迹信息(简称为第二相似行驶轨迹信息)。
预设特征包括图像特征、时空特征和车辆的外观特征中的至少一项。
其中,图像特征为行驶轨迹信息对应的车辆,在摄像头采集到的图像中的特征。例如,图像特征可以为从图像中识别出的车辆的外接矩形框的特征,可以利用现有的DLMapping算法,判别相似的车辆的外接矩形框的特征。除了车辆的外接矩形框的特征之外,图像特征也可以为车辆在图像中的像素特征等,这里不再一一赘述。图像特征相似是指,在相同时间段内的图像特征的相似度大于第二数值。
时空特征为车辆的位置信息与时刻的对应关系,时空特征相似是指,在相同的时刻,对应的位置信息相似。具体的,位置信息相似可以为,位置信息指示的位置间的距离不大于预设的距离阈值。
车辆的外观特征可以为车辆的外观信息,也可以为依据车辆的外观信息进一步提取的特征,例如从颜色中提取的特征。外观特征相似是指,外观特征的相似度大于第三数值。
综上所述,第二相似行驶轨迹信息满足以下至少一项:
1、与第一局部行驶轨迹信息有重合的时间段,并在重合的时间段内,具有相似的图像特征。
2、与第一局部行驶轨迹信息有重合的时间段,并在重合的时间段内的相同的时刻,对应相似的位置信息。
3、与第一局部行驶轨迹信息中的车辆具有相似的车辆的外观特征。
需要说明的是,上述三个条件的判断顺序不做限定。
或者,预设特征也可以为图像特征、时空特征和车辆的外观特征中至少一项的融合特征。
融合特征是指,预设的特征融合模型输出的特征,即将图像特征、时空特征和车辆的外观特征中至少一项,输入预设的特征融合模型,得到特征融合模型输出的融合特征。特征融合模型的结构,可以参见现有技术。
S106:将第一局部行驶轨迹信息与第二相似行驶轨迹信息融合,得到融合行驶轨迹信息。
S107:如果其它行驶轨迹信息中,不存在第二相似行驶轨迹信息,则将第一局部行驶轨迹信息存储至比对库中。
比对库用于存储与局部行驶轨迹信息进行比对的行驶轨迹信息,即S103中所述的“其它行驶轨迹信息”。
从图1所述的流程可以看出,对于任意一条局部行驶轨迹信息,查找与其相似的行驶轨迹信息,并作为同一辆车的行驶轨迹信息进行融合,得到融合行驶轨迹信息。因为摄像头采集的是道路上车辆的图像,所以,可能因为角度等问题,识别出的车牌、行驶轨迹等不够完整,图1所示的流程,能够将从多个摄像头获取的行驶轨迹信息中,找出同一辆的行驶轨迹信息,并进行融合,所以,提高了获取车辆的完整行驶轨迹信息的可能性,从而提高车辆的行驶轨迹的完整性。
进一步的,对车牌进行校正,以及对于多种角度的相似性的判定,还能够提高车辆的行驶轨迹的准确性。
在实际,有可能因为摄像头与车辆的相对角度不佳等原因,局部行驶轨迹信息有可能从影像中识别不到车牌,所以局部行驶轨迹信息有可能包括车牌,在此情况下,可以按照图2所示的流程进行行驶轨迹信息的融合。
图2为本申请实施例公开的又一种信息融合方法的流程,包括以下步骤:
S201:获取一条行驶轨迹信息(简称为第一局部行驶轨迹信息)。
本实施例中,任意一条行驶轨迹信息包括:车辆的位置与时刻的对应关系、以及摄像头的标识信息。
S202:从其它行驶轨迹信息中,查找预设特征与第一局部行驶轨迹信息的预设特征相似的行驶轨迹信息(简称为第二相似行驶轨迹信息)。
S203:将第一局部行驶轨迹信息与第二相似行驶轨迹信息融合,得到融合后行驶轨迹信息。
需要说明的是,如果第二相似行驶轨迹信息包括车牌,则可以将第二相似行驶轨迹信息的车牌作为融合后行驶轨迹信息的车牌,如果第二相似行驶轨迹信息不包括车牌,则融合后行驶轨迹信息也不包括车牌。
S204:如果其它行驶轨迹信息中,不存在第二相似行驶轨迹信息,则将第一局部行驶轨迹信息存储至比对库中。
从图2所示的流程可以看出,在行驶轨迹信息中不包括车牌的情况下,还可以使用其它特征找到相似行驶轨迹信息并进行融合。
可以针对每一条局部行驶轨迹信息执行图1或图2的流程,需要说明的,从图1或图2的流程可以看出,比对库中的行驶轨迹信息,有可能包括车牌,有可能不包括车牌,结合局部行驶轨迹信息有可能包括车牌,有可能不包括车牌的情况,只要有足够的局部行驶轨迹信息,经过图1和图2的流程后,所有的行驶轨迹信息极大可能都获得车牌。所以,本申请提出的信息融合方法,能够获取完整的行驶轨迹信息,从而为停车位置的定位奠定基础。
图1和图2所示的流程可以概括为图3所示的一种信息融合方法的流程,包括以下步骤:
S301:获取第一行驶轨迹信息。
第一行驶轨迹信息依据第一摄像头获取的图像确定,例如上述实施例中的“第一局部行驶轨迹信息”。
S302:从其它行驶轨迹信息中,查找相似行驶轨迹信息。
相似行驶轨迹信息包括,车牌和/或预设特征与第一行驶轨迹信息相似的行驶轨迹信息,所述其它行驶轨迹信息至少包括依据其它摄像头获取的图像确定的行驶轨迹信息,其它摄像头为除所述第一摄像头之外的摄像头。
相似行驶轨迹信息可能为上述实施例所述的“第一相似行驶轨迹信息”(有车牌且车牌相似能够找到相似行驶轨迹信息)或者“第二相似行驶轨迹信息”(无车牌,或者有车牌但车牌相似找不到相似行驶轨迹信息)。
需要说明的是,上述实施例中,在查询到“第一相似行驶轨迹信息”后,不再查询“第二相似行驶轨迹信息”,即只有在不存在“第一相似行驶轨迹信息”的情况下,才查询“第二相似行驶轨迹信息”,除了这种情况之外,还可以,在查询到“第一相似行驶轨迹信息”后,继续判断第一相似行驶轨迹信息的预设特征是否与第一局部行驶轨迹信息相似,如果是,则查询到相似行驶轨迹信息,否则没有查找到相似行驶轨迹信息。
S303:将第一行驶轨迹与相似行驶轨迹融合为融合行驶轨迹信息。
图3所示的流程,获取依据第一摄像头获取的图像确定的第一行驶轨迹信息,从其它摄像头获取的图像确定的其它行驶轨迹信息中,查找相似行驶轨迹信息,并将第一行驶轨迹信息与相似行驶轨迹信息融合为融合行驶轨迹信息。因为相似行驶轨迹信息包括,车牌和/或预设特征与第一行驶轨迹信息相似的行驶轨迹信息,所以相似行驶轨迹信息与第一行驶轨迹信息很可能是同一辆车的行驶轨迹信息,可见,可以使用多个摄像头采集的图像,确定车辆的完整行驶轨迹,进一步依据待查询车辆的车牌和融合行驶轨迹信息,确定待查询车辆的停车位置信息。
下面将结合停车位置定位场景,对上述信息融合方法的应用进行进一步说明。
图4为停车位置定位系统的架构图,包括前端系统和后端系统、客户端。其中,前端系统用于处理摄像头采集的影像,获得局部行驶轨迹信息。客户端用于接收停车位查询信息。后端系统用于实现上述信息融合方法,得到融合后行驶轨迹信息,并依据融合后行驶轨迹信息和停车位查询信息,向客户端反馈停车位的位置信息。
具体的,图5为前端系统的处理流程示意,对于任意一个摄像头,采用以下步骤:
1、获取摄像头采集的视频中的图像帧。
2、对图像帧进行运动侦测。
通过基于背景建模的运动侦测,针对影像中的任意一帧图像,确定该帧图像中是否存在运动的车辆。
3、在该帧图像中存在运动的车辆的情况下,从该帧图像中获取运动车辆检测块(即车辆检测)。
为了描述方便,将该帧图像中,检测出的任意一辆运动车辆所占的区域,称为一个运动车辆检测块,具体的,车辆检测技术将检测到的运动车辆的外接矩形框,作为该运动车辆的运动车辆检测块。
在本实施例中,运动侦测技术与车辆检测技术都为现有技术,其中,车辆检测技术采用的是深度卷积网络,利用GPU的并行计算能力,检测出运动的车辆的外接矩形框作为运动车辆检测块。具体的,运动侦测技术是如何判断待分析视频中的任意一帧图像中是否存在运动车辆的过程,这里不在赘述。
在实际中,车辆检测技术在确定出运动车辆检测块时,还可以为所确定的各运动车辆检测块设置标识,对于任意一个运动车辆检测块所设置的标识可以唯一标识该运动车辆检测块,具体的,标识可以为一个编号,当然,在实际中,可以唯一标识该运动车辆检测块的标识还可以为其他内容,本实施例不对运动车辆检测块的标识的具体内容作限定。
需要说明的是,在本步骤中,在图像中不存在运动的车辆的情况下,就无需从该帧图像中确定运动车辆检测块的步骤,进而可以节省计算量。
4、静止车辆过滤。
具体的,从所获取的运动车辆检测块中过滤掉与预设的车位的重合度满足阈值的检测块。可以预先依据停车场的地图,为每个停车位设置掩膜(mask),计算各个掩膜与车辆检测块的重合度,以确定停车位与车辆检测块的重合度,更为具体的计算方式可以参见现有技术,这里不再赘述。
1-4可以看作按视频帧(即图像帧)的处理步骤,下面步骤可以看作按车辆检测框的处理步骤:
5、图像帧的车牌识别(即车牌检测)。
具体的,从车辆检测块中识别车牌所占的区域,作为第一区域。
6、从车辆检测块中检测车牌的角点,并依据角点,矫正第一区域,得到第二区域(车牌角点定位)。
7、对第二区域进行光学字符识别,得到车牌(车牌OCR识别)。
8、使用ReID特征检测相似的车辆检测块(检测车辆ReID特征抽取)。
9、车辆跟踪。
具体的,将相似的车辆检测块划分为一组车辆检测块。对于任一组车辆检测块,将该组中的各个车辆检测块在目标图像帧中的位置,按照目标图像帧的时序排序,构成一段行驶轨迹,即实现车辆跟踪。
10、依据车辆检测块的车牌,对于任一行驶轨迹,确定该行驶轨迹上的车辆检测块中的车牌,得到候选车牌,将候选车牌中,数量满足预设条件的车牌,作为该行驶轨迹上的车辆检测块的车牌,即实现车牌时序投票。
至此,得到由车牌、以及时刻与位置信息的对应关系构成的局部行驶轨迹信息。
前端系统可以在获取到任意一个摄像头采集的视频段后,即开始上述执行步骤,后端系统,可以在获取到任意一条行驶轨迹信息后,执行上述信息融合的流程。
后续系统,在得到融合后行驶轨迹信息后,可以存储融合后行驶轨迹信息,并从融合后行驶轨迹信息中查询车辆最后时刻的位置信息,作为车辆所停的车位的位置信息,并存储车牌与车辆所停的车位的位置信息的对应关系。可选的,后续系统还可以预先建立停车场的3D世界坐标系,并将各个位置信息转换至3D世界坐标系下。
客户端可以接收用户输入的车牌信息,后端系统依据车牌信息,将车辆所停的车位的位置信息反馈至客户端,客户端再将车辆所停的车位的位置信息进行展示。
图6为本申请实施例公开的一种信息融合装置,包括:获取模块、查找模块和融合模块。
其中,获取模块用于获取第一行驶轨迹信息,所述第一行驶轨迹信息依据第一摄像头获取的图像确定。
查找模块用于从其它行驶轨迹信息中,查找相似行驶轨迹信息,所述相似行驶轨迹信息包括,车牌和/或预设特征与所述第一行驶轨迹信息相似的行驶轨迹信息,所述其它行驶轨迹信息至少包括依据其它摄像头获取的图像确定的行驶轨迹信息,所述其它摄像头为除所述第一摄像头之外的摄像头。
融合模块用于将所述第一行驶轨迹与所述相似行驶轨迹融合为融合行驶轨迹信息。
以上各个模块的功能的具体实现方式,可以参见上述实施例,这里不再赘述。
图6所示的信息融合装置,能够实现多个行驶轨迹的融合,所以,应用在停车位置的定位系统中,可以得到车辆在停车场中的行驶轨迹,从而,实现对于停车位的定位,并且,基于行驶轨迹的定位方法,使用的摄像头的数量比现有技术大大减少。
本申请实施例方法所述的功能如果以软件功能单元的行驶实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的行驶体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种信息融合方法,其特征在于,包括:
获取第一行驶轨迹信息,所述第一行驶轨迹信息依据第一摄像头获取的图像确定;
从其它行驶轨迹信息中,查找相似行驶轨迹信息,所述相似行驶轨迹信息包括,车牌和/或预设特征与所述第一行驶轨迹信息相似的行驶轨迹信息,所述其它行驶轨迹信息至少包括依据其它摄像头获取的图像确定的行驶轨迹信息,所述其它摄像头为除所述第一摄像头之外的摄像头;
将所述第一行驶轨迹与所述相似行驶轨迹融合为融合行驶轨迹信息;
在所述从其它行驶轨迹信息中,查找相似行驶轨迹信息之前,还包括:
使用参考车牌中的目标车牌,替换所述第一行驶轨迹信息中的车牌;所述参考车牌为在预设位置的摄像头采集到的车牌,所述预设位置为有利于采集到正确车牌的位置,所述目标车牌为满足第二预设条件的车牌,所述第二预设条件包括与所述第一行驶轨迹信息中的车牌相似且置信度大于预设的置信度阈值。
2.根据权利要求1所述的方法,其特征在于,所述第一行驶轨迹信息包括:车辆的车牌,所述第一行驶轨迹信息为所述车辆的行驶轨迹信息;
所述从其它行驶轨迹信息中,查找相似行驶轨迹信息,包括:
从所述其它行驶轨迹信息中,查找第一相似行驶轨迹信息,所述第一相似行驶轨迹信息为满足第一预设条件的行驶轨迹信息,所述第一预设条件包括:车牌与所述第一行驶轨迹信息中的车牌相似。
3.根据权利要求2所述的方法,其特征在于,所述第一行驶轨迹信息还包括:所述车辆的外观信息;
所述第一预设条件还包括:
车辆的外观信息与所述第一行驶轨迹信息中的车辆的外观信息相似。
4.根据权利要求2所述的方法,其特征在于,还包括:
如果所述其它行驶轨迹信息中不存在所述第一相似行驶轨迹信息,查找第二相似行驶轨迹信息,所述第二相似行驶轨迹信息为所述预设特征与所述第一行驶轨迹信息的预设特征相似的行驶轨迹信息,所述预设特征包括图像特征、时空特征和车辆的外观特征中的至少一项。
5.根据权利要求1所述的方法,其特征在于,所述第二预设条件还包括:
对应的车辆的外观信息,与所述第一行驶轨迹信息中的车辆的外观信息相似。
6.根据权利要求1所述的方法,其特征在于,所述从其它行驶轨迹信息中,查找相似行驶轨迹信息,包括:
查找所述预设特征与所述第一行驶轨迹信息的所述预设特征相似的行驶轨迹信息,作为所述相似行驶轨迹信息,所述预设特征是由多种信息融合得出,所述多种信息包括图像特征、时空特征和车辆的外观特征。
7.根据权利要求1所述的方法,其特征在于,还包括:
如果所述其它行驶轨迹信息中不存在所述相似行驶轨迹信息,将所述第一行驶轨迹信息加入所述其它行驶轨迹信息中。
8.根据权利要求1所述的方法,其特征在于,所述其它摄像头与所述第一摄像头的距离小于预设距离阈值。
9.一种停车位置的定位方法,其特征在于,包括:
获取第一摄像头采集的影像,并从依据所述影像获取第一行驶轨迹信息;
使用权利要求1-8任一项所述的信息融合方法,获取融合行驶轨迹信息;
依据待查询车辆的车牌和所述融合行驶轨迹信息,确定所述待查询车辆的停车位置信息。
10.一种信息融合装置,其特征在于,包括:
获取模块,用于获取第一行驶轨迹信息,所述第一行驶轨迹信息依据第一摄像头获取的图像确定;
查找模块,用于使用参考车牌中的目标车牌,替换所述第一行驶轨迹信息中的车牌,使用参考车牌中的目标车牌;所述参考车牌为在预设位置的摄像头采集到的车牌,所述预设位置为有利于采集到正确车牌的位置,所述目标车牌为满足第二预设条件的车牌,所述第二预设条件包括与所述第一行驶轨迹信息中的车牌相似且置信度大于预设的置信度阈值;从其它行驶轨迹信息中,查找相似行驶轨迹信息,所述相似行驶轨迹信息包括,车牌和/或预设特征与所述第一行驶轨迹信息相似的行驶轨迹信息,所述其它行驶轨迹信息至少包括依据其它摄像头获取的图像确定的行驶轨迹信息,所述其它摄像头为除所述第一摄像头之外的摄像头;
融合模块,用于将所述第一行驶轨迹与所述相似行驶轨迹融合为融合行驶轨迹信息。
11.一种停车位置的定位系统,其特征在于,包括:
前端系统,用于获取第一摄像头采集的影像,并从依据所述影像获取第一行驶轨迹信息;
后端系统,用于使用权利要求1-8任一项所述的信息融合方法,获取融合行驶轨迹信息,以及依据待查询车辆的车牌和所述融合行驶轨迹信息,确定所述待查询车辆的停车位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129201.7A CN111368692B (zh) | 2020-02-28 | 2020-02-28 | 信息融合方法及装置、停车位置定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129201.7A CN111368692B (zh) | 2020-02-28 | 2020-02-28 | 信息融合方法及装置、停车位置定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368692A CN111368692A (zh) | 2020-07-03 |
CN111368692B true CN111368692B (zh) | 2023-10-17 |
Family
ID=71208303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010129201.7A Active CN111368692B (zh) | 2020-02-28 | 2020-02-28 | 信息融合方法及装置、停车位置定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368692B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115394089A (zh) * | 2022-07-29 | 2022-11-25 | 天翼云科技有限公司 | 一种车辆信息融合展示的方法、无感通行系统及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003085685A (ja) * | 2001-09-10 | 2003-03-20 | I Transport Lab Co Ltd | 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法 |
CN105096604A (zh) * | 2015-07-24 | 2015-11-25 | 浙江宇视科技有限公司 | 一种车牌识别的方法和装置 |
WO2018209470A1 (zh) * | 2017-05-15 | 2018-11-22 | 深圳市卓希科技有限公司 | 一种车牌辨识方法和系统 |
CN109145065A (zh) * | 2017-06-19 | 2019-01-04 | 北京嘀嘀无限科技发展有限公司 | 车辆行驶轨迹的展示方法及装置、计算机可读存储介质 |
CN109712428A (zh) * | 2019-02-27 | 2019-05-03 | 爱笔(北京)智能科技有限公司 | 一种停车位置定位方法及装置、系统 |
CN110321814A (zh) * | 2019-06-18 | 2019-10-11 | 浙江大华技术股份有限公司 | 一种车辆违章取证方法、装置、电子设备及存储介质 |
CN110530379A (zh) * | 2019-10-10 | 2019-12-03 | 蒽帛物联网科技(上海)有限公司 | 一种提供车辆行驶信息的方法、装置及系统 |
-
2020
- 2020-02-28 CN CN202010129201.7A patent/CN111368692B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003085685A (ja) * | 2001-09-10 | 2003-03-20 | I Transport Lab Co Ltd | 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法 |
CN105096604A (zh) * | 2015-07-24 | 2015-11-25 | 浙江宇视科技有限公司 | 一种车牌识别的方法和装置 |
WO2018209470A1 (zh) * | 2017-05-15 | 2018-11-22 | 深圳市卓希科技有限公司 | 一种车牌辨识方法和系统 |
CN109145065A (zh) * | 2017-06-19 | 2019-01-04 | 北京嘀嘀无限科技发展有限公司 | 车辆行驶轨迹的展示方法及装置、计算机可读存储介质 |
CN109712428A (zh) * | 2019-02-27 | 2019-05-03 | 爱笔(北京)智能科技有限公司 | 一种停车位置定位方法及装置、系统 |
CN110321814A (zh) * | 2019-06-18 | 2019-10-11 | 浙江大华技术股份有限公司 | 一种车辆违章取证方法、装置、电子设备及存储介质 |
CN110530379A (zh) * | 2019-10-10 | 2019-12-03 | 蒽帛物联网科技(上海)有限公司 | 一种提供车辆行驶信息的方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111368692A (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108389396B (zh) | 一种基于视频的车型匹配方法、装置和计费系统 | |
Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
CN107305627B (zh) | 一种车辆视频监控方法、服务器及系统 | |
US20120166080A1 (en) | Method, system and computer-readable medium for reconstructing moving path of vehicle | |
CN103699677B (zh) | 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法 | |
CN111815742A (zh) | 一种车道线生成方法及系统 | |
CN110929655B (zh) | 一种行驶过程中车道线识别方法、终端设备及存储介质 | |
CN110570456A (zh) | 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法 | |
CN109712428A (zh) | 一种停车位置定位方法及装置、系统 | |
CN111311766A (zh) | 基于车牌识别和跟踪技术的路边停车智能收费系统及方法 | |
CN113055823B (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
CN104574954A (zh) | 一种基于自由流系统的车辆稽查方法、控制设备及系统 | |
US11978340B2 (en) | Systems and methods for identifying vehicles using wireless device identifiers | |
CN111062971B (zh) | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 | |
CN112885108B (zh) | 一种基于深度学习算法的停车位上车辆换车检测方法及系统 | |
CN111881322B (zh) | 一种目标搜索方法、装置、电子设备及存储介质 | |
CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
CN114219829A (zh) | 车辆跟踪方法、计算机设备及存储装置 | |
CN111368692B (zh) | 信息融合方法及装置、停车位置定位方法及系统 | |
CN113793413A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
Gloudemans et al. | So you think you can track? | |
CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
CN117218895A (zh) | 基于潜在碰撞判定的自动驾驶车辆与行人冲突检测方法 | |
CN116912517A (zh) | 相机视野边界的检测方法及装置 | |
CN111369806A (zh) | 货运列车拍照测速及车牌识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |