CN118096525A - 轨迹拼接方法、装置及存储介质 - Google Patents

轨迹拼接方法、装置及存储介质 Download PDF

Info

Publication number
CN118096525A
CN118096525A CN202410512499.8A CN202410512499A CN118096525A CN 118096525 A CN118096525 A CN 118096525A CN 202410512499 A CN202410512499 A CN 202410512499A CN 118096525 A CN118096525 A CN 118096525A
Authority
CN
China
Prior art keywords
target
image
probability
coordinate system
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410512499.8A
Other languages
English (en)
Other versions
CN118096525B (zh
Inventor
张凡
张纪升
刘攀
张慧
徐铖铖
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhonglu Hi Tech Traffic Technology Group Co ltd
Southeast University
Nanjing Hawkeye Electronic Technology Co Ltd
Original Assignee
Zhonglu Hi Tech Traffic Technology Group Co ltd
Southeast University
Nanjing Hawkeye Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhonglu Hi Tech Traffic Technology Group Co ltd, Southeast University, Nanjing Hawkeye Electronic Technology Co Ltd filed Critical Zhonglu Hi Tech Traffic Technology Group Co ltd
Priority to CN202410512499.8A priority Critical patent/CN118096525B/zh
Publication of CN118096525A publication Critical patent/CN118096525A/zh
Application granted granted Critical
Publication of CN118096525B publication Critical patent/CN118096525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轨迹拼接方法、装置及存储介质,所述方法包括:获取多个相机拍摄的图像集合;计算将第一图像和第二图像投影至基准笛卡尔坐标系的投影矩阵;根据投影矩阵将多个目标转换为基准笛卡尔坐标系中的目标信息集合;根据目标信息集合计算两个图像集合对应的目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理概率矩阵并完成第一图像和第二图像之间的轨迹拼接。本发明所提供的技术方案能够解决现有技术中对多个相机拍摄的图像进行拼接时精度较低的技术问题。

Description

轨迹拼接方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种轨迹拼接方法、装置及存储介质。
背景技术
图像拼接技术能够将数张有重叠部分的图像拼成一幅无缝的全景图或高分辨率图像,轨迹拼接可以将不同相机中移动目标的轨迹进行连接。其中,多个图像可能来自于不同的相机、时间或地点。进行拼接需要完成图像配准和图像融合。现有技术中图像配准算法的计算量通常比较大。
在采用点匹配法进行图像拼接时,常需要人工选取初始匹配点,这类方法速度慢、精度低,并且无法适应大数据量图像的应用场景。此外还可以基于特征模板匹配特征点进行图像拼接,该方法允许待拼接的图像有一定的倾斜和变形,克服了获取图像时轴心必须一致的问题,且允许图像之间有一定色差。
使用匹配特征点进行轨迹拼接时,需要确定多个图像之间相同的目标点,现有技术通常只根据一个标准进行目标匹配,容易出现拼接失误,存在拼接精度较低的技术问题。
发明内容
本发明提供了一种轨迹拼接方法、装置及存储介质,旨在有效解决现有技术中对多个相机拍摄的图像进行拼接时精度较低的技术问题。
根据本发明的一方面,本发明提供一种轨迹拼接方法,所述方法包括:
获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;
确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵;
根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合;
根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
进一步地,所述计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,并计算将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵包括:
根据图像配准算法分别对所述第一图像和所述第二图像进行关键点提取操作,分别得到所述第一图像对应的第一关键点集合以及所述第二图像对应的第二关键点集合;
对所述第一关键点集合和所述第二关键点集合进行关键点匹配并得到多个关键点对;
根据多个所述关键点在所述基准笛卡尔坐标系中的坐标计算所述第一投影矩阵和所述第二投影矩阵。
进一步地,所述方法还包括:
通过目标检测算法对所述第一图像进目标识别以得到所述第一目标,并为所述第一目标设置第一目标ID;
通过所述目标检测算法对所述第二图像进目标识别以得到所述第二目标,并为所述第二目标设置第二目标ID。
进一步地,所述方法还包括:
针对每个所述第一目标,识别所述第一目标的对应的第一目标区域,对所述第一目标区域进行裁剪,并提取所述第一目标区域内的第一特征信息;
针对每个所述第二目标,识别所述第二目标的对应的第二目标区域,对所述第二目标区域进行裁剪,并提取所述第二目标区域内的第二特征信息。
进一步地,所述根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合包括:
确定所述第一目标在所述基准笛卡尔坐标系中的第一目标坐标;
根据所述第一目标ID、所述第一目标坐标和所述第一特征信息构建第一目标信息;
基于多个所述第一目标对应的多个第一目标信息生构建所述第一目标信息集合;
所述根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合包括:
确定所述第二目标在所述基准笛卡尔坐标系中的第二目标坐标;
根据所述第二目标ID、所述第二目标坐标和所述第二特征信息构建第二目标信息;
基于多个所述第二目标对应的多个第二目标信息生构建所述第二目标信息集合。
进一步地,所述根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵包括:
根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率;
根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率;
通过所述距离关联概率和所述特征关联概率计算所述匹配概率;
根据所述第一目标信息集合和所述第二目标信息集合中所有目标之间的匹配概率构建所述概率矩阵。
进一步地,所述根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率包括:
基于第一目标和第二目标的坐标值计算所述坐标距离;
通过如下公式将所述坐标距离转换为所述距离关联概率:
其中,表示所述距离关联概率,/>表示所述坐标距离,/>表示所述坐标距离的平均值,/>表示所述坐标距离的方差。
进一步地,所述根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率包括:
计算所述第一特征信息和所述第二特征信息之间的余弦相似度,根据所述余弦相似度计算所述特征关联概率。
进一步地,所述根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接包括:
根据匈牙利算法确定所述概率矩阵对应的二分图最大匹配数,以得到多个最大匹配的目标对,并确定所述目标对所对应的第一目标和第二目标确定为同一目标;
根据多个目标对完成所述第一图像和所述第二图像之间的轨迹拼接。
根据本发明的另一方面,本发明还提供了一种轨迹拼接装置,所述装置包括:
图像获取模块,用于获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;
矩阵计算模块,用于确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵;
信息处理模块,用于根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合;
轨迹拼接模块,用于根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
根据本发明的另一方面,本发明还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如上所述的任一轨迹拼接方法。
通过本发明中的上述实施例中的一个实施例或多个实施例,至少可以实现如下技术效果:
在本发明所公开的技术方案中,计算第一图像和第二图像的投影矩阵,构建多个目标的目标信息集合;计算两个图像中的目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理概率矩阵并完成第一图像和第二图像之间的轨迹拼接。
首先,该技术方案通过图像配准的方式估算相机之间的空间映射关系,无需人工标定每一个相机的参数,降低了人工成本。
然后,在进行目标匹配时使用两个标准,一方面,使用不同相机目标的ReID特征的余弦距离计算距离关联概率,作为衡量两个目标是否是同一目标的一个标准;另一方面,将不同相机目标的坐标映射到相同的坐标系下,计算不同相机目标之间的位置偏差值,并使用高斯函数将位置偏差转换为偏差的特征关联概率,作为衡量是否为同一个目标的另一个标准。本方案融合投影到同一坐标系下的目标位置的距离以及ReID特征的余弦夹角,作为跨相机目标匹配度的度量,有效的量化了跨相机目标之间的匹配概率。
最后,使用匈牙利算法匹配跨相机区域的目标,充分利用所有点的信息,合理配对目标,能有效地拼接两个相机的轨迹,匹配成功率高且降低了误判率,能提高匹配准确度。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的一种轨迹拼接方法的步骤流程图。
图2为本发明实施例提供的一种轨迹拼接方法的框架图。
图3为本发明实施例提供的一种轨迹拼接装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,在不做特别说明的情况下,一般表示前后关联对象是一种“或”的关系。
图1所示为本发明实施例所提供的轨迹拼接方法的步骤流程图,根据本发明的一方面,本发明提供一种轨迹拼接方法,如图1所示,所述方法包括:
步骤101:获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;
步骤102:确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵;
步骤103:根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合;
步骤104:根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
本方案中的轨迹拼接技术可应用于交通场景下,将多个相机中的目标轨迹进行拼接,根据同一个目标在不同相机下的图像,来得到目标的一条完整轨迹。应用场景一般为城市道路、高速公路等情况下,场景中的目标一般包括机动车、非机动车和行人等。以下对上述步骤101至步骤104进行具体描述。
在步骤101中,获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像。
示例性地,本方案中的轨迹拼接方法可以同时拼接两个或多个相机拍摄的图像,其中,相机一般为交通场景下的监控相机,该监控相机实时拍摄路面车辆行人,生成感知区域的视频流。其中,第一图像和第二图像分别来自不同的相机的视频流中的同一时间下的一帧图像,根据目标在多个视频中同一时间下的多帧图像进行轨迹拼接。
本发明的轨迹拼接方法对相机的安装架设有一定的要求,需要拼接轨迹的两个相机之间存在感知区域重叠,通过拼接所有具有重叠感知区域的相机,实现对所有相机的拼接。
需要说明的是,只要两个图像存在重叠区域,都可以使用本方案的方法进行轨迹拼接,例如不同时间或不同地点拍摄的图片。考虑到交通应用场景,需要拼接得到目标准确的完整轨迹,因此本方案中的图像集合为同一个时间不同相机采集的图像。
在步骤102中,确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵。
示例性地,基准笛卡尔坐标系可以和任意一个相机对应的相机坐标系保持一致,例如,以第一图像或第二图像对应的相机坐标系为基准笛卡尔坐标系,也可以为特定的不同于相机坐标系的其它坐标系。在实际图像处理中,基准笛卡尔坐标系可以根据应用需求进行确定。
当确定了基准笛卡尔坐标系后,可以将空间中的任意一个图像投影到该坐标系,每个图像对应一个投影矩阵。其中,若基准笛卡尔坐标系和某一个相机坐标系一致,则只需要将其它相机对应的图像投影到基准笛卡尔坐标系中。例如,若基准笛卡尔坐标系为第一相机对应的相机坐标系,则只需要计算第二图像对应的第二投影矩阵。若基准笛卡尔坐标系和所有的相机坐标系都不一致,则需要计算每个图像对应的投影矩阵。其中,若相机在不同时间中保持位置和姿势不变,则投影矩阵相同,若相机头发生旋转或者位移,则需要重新计算投影矩阵。
在步骤103中,根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合。
示例性地,每一个图像中都能根据目标识别方法进行多个目标的识别,例如,在一张交通路况图中可以识别出机动车、电动车、自行车、行人、树木、建筑物等。一个目标对应一个物体,例如,假设第一图像中识别到一辆卡车、两个行人和一棵树,则第一图像对应有四个第一目标。
在确定了不同图像对应的目标后,计算该目标在相机坐标系中的位置。然后针对每个图片,根据多个图像对应的投影矩阵确定多个目标在基准笛卡尔坐标系中的坐标,并构建第一目标信息集合。
其中,目标信息集合为表征目标特征的数据,不仅包括坐标信息,还包括目标相关联的其它信息。例如第一目标信息包括第一目标对应的ID号以及其它特征参数。增加多种特征信息能够增加目标匹配精度,目标信息集合中的数据可以根据实际应用需求确定。
在步骤104中,根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
示例性地,针对第一目标信息集合中的任意一个第一目标,需要和第二目标信息集合中的所有目标进行匹配。假设第一目标信息集合中有4个第一目标,第二目标信息集合中有6个第二目标,则进行6*4=24次目标匹配,需要计算任意两个目标为同一个目标的匹配概率。然后根据计算结果构建概率矩阵,例如构建6行4列矩阵,矩阵中的元素为匹配概率。
最后对两个相机中的同一个目标的轨迹进行拼接。根据匈牙利算法处理概率矩阵,能够得到最大匹配结果并输出匹配对。在经过匈牙利算法找出两个相机之间的交通目标的匹配对之后,再赋予所有交通目标一个全局唯一的编号,若目标同时出现第一相机和第二相机,则分别赋予该目标一个全局唯一的编号,并将该编号赋给第一相机与第二相机中该目标的轨迹,即实现了跨相机的轨迹拼接。
进一步地,所述计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,并计算将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵包括:
根据图像配准算法分别对所述第一图像和所述第二图像进行关键点提取操作,分别得到所述第一图像对应的第一关键点集合以及所述第二图像对应的第二关键点集合;
对所述第一关键点集合和所述第二关键点集合进行关键点匹配并得到多个关键点对;
根据多个所述关键点在所述基准笛卡尔坐标系中的坐标计算所述第一投影矩阵和所述第二投影矩阵。
示例性地,图2为本发明实施例提供的一种轨迹拼接方法的框架图,如图2所示,先对第一相机和第二相机进行图像配准,并得到投影矩阵。为了得到相机之间的投影矩阵,需要在两张图像中识别出关键点,然后根据关键点对应的坐标计算投影矩阵。
具体可以应用图像配准算法,例如,分别在两个相机的视频流中截取图片,在图片中提取ORB(Oriented FAST and Rotated BRIEF)关键点,即对第一图像和第二图像分别提取关键点以及关键点的特征,使用特征匹配的方法匹配两张图片的所有关键点的特征,并经行筛选,获取最终匹配的关键点对。然后根据图像中关键点对的坐标,将图像投影到基准笛卡尔坐标系,使用匹配的关键点计算两个相机的成像平面之间的投影矩阵,即两个相机之间的坐标映射参数,记作
其中,ORB主要是用来快速的获取图像中的关键点,并创建相应的特征向量,具体包括FAST和BRIEF两个过程,分别是关键点检测算法与特征向量生成算法。ORB算法的特点是非常快,并且对噪声和视角具备较好的鲁棒性,比如旋转、缩放、仿射等因拍摄视角位置变化导致图像中的目标成像的变化。
其中,FAST是Features From Accelerated Segments Test的检测,可以快速的选择关键点。Oriented FAST则是基于FAST算法的一种改进,在FAST特征的基础上加入了特征点的主方向,从而为后续处理提供了旋转不变的特性,同时在构建图像金字塔时具备尺度不变性。
BRIEF是Binary Robust Independent Elementary Features的简称,其作用是根据一组关键点创建二进制特征向量,优点是高效地存储在内存中,能够实现高效快速的计算。Rotated BRIEF又称Rotation-Aware BRIEF,对BRIEF算法进行了改进,分别是通过构建图像金字塔,获得了尺度缩放不变性;通过计算灰度质心来获取关键点的方向,将关键点区域旋转到以质心方向的主方向,再提取特征,获得了旋转不变性。
进一步地,所述方法还包括:
通过目标检测算法对所述第一图像进目标识别以得到所述第一目标,并为所述第一目标设置第一目标ID;
通过所述目标检测算法对所述第二图像进目标识别以得到所述第二目标,并为所述第二目标设置第二目标ID。
示例性地,交通场景下的监控相机,会生成感知区域的视频流,常规的视频分析算法会分析视频流,获取视频中的目标的行驶轨迹,即每一个目标在视频中的每一帧图像中所处在的位置。通常使用目标检测加目标跟踪算法,目标检测算法检测视野中出现的感兴趣的目标,目标跟踪算法关联前后帧的目标,使得同一个目标在不同的图像帧中保持相同且唯一的编号。目标检测算法常使用R-CNN、YOLO、EfficientDet等算法,而目标跟踪算法常使用SORT、KCF等算法。在具体应用中可以根据实际需求确定高效精准的算法。
例如,可以使用Yolov3加SORT的组合实现交通场景下的目标的检测与跟踪。应用目标检测跟踪算法,分别对两个相机的数据应用Yolov3目标检测算法以及SORT目标跟踪算法,获取相机感知视野中的每一个交通目标在图像中的位置以及该目标所在的相机中的跟踪ID。分别对第一图像和第二图像执行相同的操作,获得每个图像中多个目标对应的ID编号,如第一目标ID和第二目标ID。
进一步地,所述方法还包括:
针对每个所述第一目标,识别所述第一目标的对应的第一目标区域,对所述第一目标区域进行裁剪,并提取所述第一目标区域内的第一特征信息;
针对每个所述第二目标,识别所述第二目标的对应的第二目标区域,对所述第二目标区域进行裁剪,并提取所述第二目标区域内的第二特征信息。
示例性地,对第一图像和第二图像进行处理,针对识别出的每个目标提取特征信息,例如通过Light-ReID算法提取ReID特征,做交通目标的重识别。具体需要提取两个相机中感知到的每一个交通目标在图像中的对应区域,将该区域裁剪出来,输入至Light-ReID算法,提取出每一个交通目标的ReID特征。
ReID(Person Re-IDentification)算法常用于行人重识别,利用计算机视觉算法判断两张图像中的目标是否是同一个目标。通常通过深度学习的方法提取目标的特征,再通过计算特征的距离来判断目标是否是同一个目标。
进一步地,所述根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合包括:
确定所述第一目标在所述基准笛卡尔坐标系中的第一目标坐标;
根据所述第一目标ID、所述第一目标坐标和所述第一特征信息构建第一目标信息;
基于多个所述第一目标对应的多个第一目标信息生构建所述第一目标信息集合;
所述根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合包括:
确定所述第二目标在所述基准笛卡尔坐标系中的第二目标坐标;
根据所述第二目标ID、所述第二目标坐标和所述第二特征信息构建第二目标信息;
基于多个所述第二目标对应的多个第二目标信息生构建所述第二目标信息集合。
示例性地,基于投影矩阵进行坐标映射,生成第一图像和第二图像对应的目标信息集合。其中,目标信息集合为表征目标特征的数据,不仅包括坐标信息,还包括目标相关联的其它信息。
具体来说,使用配准计算出的坐标映射参数,将两个相机中的所有交通目标在图像中的坐标位置映射到相同的坐标下,确定目标在基准笛卡尔坐标系中的坐标。例如,第一图像中的第一目标坐标为(/>),/>为经过当前步骤坐标映射处理后,在基准笛卡尔坐标系下的当前第一目标对应的X轴位置;同理/>是经坐标映射后在基准笛卡尔坐标系下的第一目标对应的Y轴位置。
然后构建每个图像对应的目标信息集合,其中,第一相机与第二相机的交通目标的信息与特征包含的数据结构一致,既需要简化交通目标的信息与特征,又需要保障匹配精度。本方案中目标信息集合至少包括三种参数,即目标ID、目标坐标和特征信息。例如,将一个目标信息标记为,即/>,其中,ID为交通目标所在相机的唯一的目标跟踪编号;/>为经过当前步骤坐标映射处理后,同一坐标系下的当前目标的X轴位置;/>是经坐标映射后的同一坐标系下的当前目标的Y轴位置;/>为当前目标的ReID特征,其中,ReID特征为一组实数向量,特征长度经常为128。
根据多个目标对应的目标信息生成目标信息集合。举例来说,第一相机感知到的交通目标假设有个,记作/>,其中,/>是第一相机中的某一个目标的所有信息与特征;第二相机感知到的交通目标假设有/>个,同理记作/>,其中,/>是第二相机中的某一个目标的所有信息与特征。
两个相机中的目标经过一系列处理与特征提取后,构建各自图片对应的目标信息集合,即第一目标信息集合和第二目标信息集合/>
进一步地,所述根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵包括:
根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率;
根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率;
通过所述距离关联概率和所述特征关联概率计算所述匹配概率;
根据所述第一目标信息集合和所述第二目标信息集合中所有目标之间的匹配概率构建所述概率矩阵。
示例性地,根据第一目标信息集合和第二目标信息集合/>中的数据计算概率矩阵。为了提高拼接准确率,本方案需要用两个概率值作为匹配标准,分别计算/>中所有目标和/>中所有目标之间的距离关联概率/>与特征关联概率/>。其中,距离关联概率/>与目标点之间的坐标位置相关联,特征关联概率/>与特征相关。
然后,计算中所有目标和/>中所有目标之间的匹配概率矩阵/>,假设概率矩阵P有/>行/>列,其元素为/>,/>是第一相机的目标集/>中的第i个目标与第二相机的目标集/>中的第j个目标/>之间是否同一个目标的概率。其中,第一相机中的目标/>,第二相机中的目标/>
匹配概率由两个概率融合而成,为了提高匹配精度,为两个概率分别设置权重值,根据融合距离关联概率/>和特征关联概率/>来计算匹配概率/>,计算公式如下式:
其中,表示匹配概率,/>表示融合距离关联概率,/>表示特征关联概率,/>为融合距离关联概率/>对应的权重值。其中,/>值根据经验进行设置,例如设置为/>
进一步地,所述根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率包括:
基于第一目标和第二目标的坐标值计算所述坐标距离;
通过如下公式将所述坐标距离转换为所述距离关联概率:
其中,表示所述距离关联概率,/>表示所述坐标距离,/>表示所述坐标距离的平均值,/>表示所述坐标距离的方差。
示例性地,通过计算两个目标之间的坐标距离得到距离关联概率/>
首先,根据下式计算两个图像中的目标在基准笛卡尔坐标系中的坐标距离
其中,表示坐标距离,/>表示第一目标的x轴坐标,/>表示第二目标的x轴坐标,/>表示第一目标的y轴坐标,/>表示第二目标的y轴坐标。
然后,使用高斯函数将坐标距离转换为距离关联概率/>,具体计算公式如下:
距离关联概率判断两个目标为同一个目标的概率。两个目标在同一个坐标系下的欧氏距离越近,则其为同一个目标的概率越高;反之,则为同一个目标的概率越低。其中,坐标距离的平均值/>与方差/>,需要根据收集的数据进行人工标注后进行估算。
进一步地,所述根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率包括:
计算所述第一特征信息和所述第二特征信息之间的余弦相似度,根据所述余弦相似度计算所述特征关联概率。
示例性地,通过两个图片对应的目标的特征信息来计算特征关联概率,例如,特征信息为目标的ReID特征,计算ReID特征的余弦相似度/>,其中,计算公式如下所示:
其中,表示第一目标的第一特征信息,/>表示第二目标的第二特征信息,表示向量内积操作,/>表示取向量的模。
余弦相似度的取值范围为,存在负数值,因此将其取值量化到作为特征关联概率,根据余弦相似度/>计算所述特征关联概率/>,计算公式如下:
其中,表示特征关联概率,/>表示余弦相似度。
进一步地,所述根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接包括:
根据匈牙利算法确定所述概率矩阵对应的二分图最大匹配数,以得到多个最大匹配的目标对,并确定所述目标对所对应的第一目标和第二目标确定为同一目标;
根据多个目标对完成所述第一图像和所述第二图像之间的轨迹拼接。
示例性地,使用匈牙利算法对由匹配概率组成的匹配概率矩阵/>进行分析,得出最大匹配的目标对数,并拼接两个相机的轨迹。
经过匈牙利算法找出两个相机之间的交通目标的匹配对之后,再赋予两个相机感知到所有交通目标一个全局唯一的编号,若目标同时出现第一相机和第二相机,则分别赋予该目标一个全局唯一的编号,分别将该编号赋给第一相机与第二相机中该目标的轨迹,即实现了跨相机的轨迹拼接。
其中,匈牙利算法(Hungarian algorithm)主要用于解决二分图匹配有关的问题。二分图是一类特殊的图,可以被划分为两个部分,每个部分内的点互不相连,常用来解决最大匹配数的问题。本发明使用匈牙利算法来匹配分别从两个相机感知到的目标。两个相机在经过目标检测与跟踪算法的处理后,得到了两组目标的集合,使用匈牙利算法来计算两组目标之间的最大匹配数。
通过本发明中的上述实施例中的一个实施例或多个实施例,至少可以实现如下技术效果:
在本发明所公开的技术方案中,计算第一图像和第二图像的投影矩阵,构建多个目标的目标信息集合;计算两个图像中的目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理概率矩阵并完成第一图像和第二图像之间的轨迹拼接。
首先,该技术方案通过图像配准的方式估算相机之间的空间映射关系,无需人工标定每一个相机的参数,降低了人工成本。
然后,在进行目标匹配时使用两个标准,一方面,使用不同相机目标的ReID特征的余弦距离计算距离关联概率,作为衡量两个目标是否是同一目标的一个标准;另一方面,将不同相机目标的坐标映射到相同的坐标系下,计算不同相机目标之间的位置偏差值,并使用高斯函数将位置偏差转换为偏差的特征关联概率,作为衡量是否为同一个目标的另一个标准。本方案融合投影到同一坐标系下的目标位置的距离以及ReID特征的余弦夹角,作为跨相机目标匹配度的度量,有效的量化了跨相机目标之间的匹配概率。
最后,使用匈牙利算法匹配跨相机区域的目标,充分利用所有点的信息,合理配对目标,能有效地拼接两个相机的轨迹,匹配成功率高且降低了误判率,能提高匹配准确度。
基于与本发明实施例的一种轨迹拼接方法同样的发明构思,本发明实施例提供了一种轨迹拼接装置,请参考图3,所述装置包括:
图像获取模块201,用于获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;
矩阵计算模块202,用于确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵;
信息处理模块203,用于根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合;
轨迹拼接模块204,用于根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
进一步地,所述矩阵计算模块202还用于:
根据图像配准算法分别对所述第一图像和所述第二图像进行关键点提取操作,分别得到所述第一图像对应的第一关键点集合以及所述第二图像对应的第二关键点集合;
对所述第一关键点集合和所述第二关键点集合进行关键点匹配并得到多个关键点对;
根据多个所述关键点在所述基准笛卡尔坐标系中的坐标计算所述第一投影矩阵和所述第二投影矩阵。
进一步地,所述装置还用于:
通过目标检测算法对所述第一图像进目标识别以得到所述第一目标,并为所述第一目标设置第一目标ID;
通过所述目标检测算法对所述第二图像进目标识别以得到所述第二目标,并为所述第二目标设置第二目标ID。
进一步地,所述装置还用于:
针对每个所述第一目标,识别所述第一目标的对应的第一目标区域,对所述第一目标区域进行裁剪,并提取所述第一目标区域内的第一特征信息;
针对每个所述第二目标,识别所述第二目标的对应的第二目标区域,对所述第二目标区域进行裁剪,并提取所述第二目标区域内的第二特征信息。
进一步地,所述信息处理模块203还用于:
确定所述第一目标在所述基准笛卡尔坐标系中的第一目标坐标;
根据所述第一目标ID、所述第一目标坐标和所述第一特征信息构建第一目标信息;
基于多个所述第一目标对应的多个第一目标信息生构建所述第一目标信息集合;
所述信息处理模块203还用于:
确定所述第二目标在所述基准笛卡尔坐标系中的第二目标坐标;
根据所述第二目标ID、所述第二目标坐标和所述第二特征信息构建第二目标信息;
基于多个所述第二目标对应的多个第二目标信息生构建所述第二目标信息集合。
进一步地,所述轨迹拼接模块204还用于:
根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率;
根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率;
通过所述距离关联概率和所述特征关联概率计算所述匹配概率;
根据所述第一目标信息集合和所述第二目标信息集合中所有目标之间的匹配概率构建所述概率矩阵。
进一步地,所述轨迹拼接模块204还用于:
基于第一目标和第二目标的坐标值计算所述坐标距离;
通过如下公式将所述坐标距离转换为所述距离关联概率:
其中,表示所述距离关联概率,/>表示所述坐标距离,/>表示所述坐标距离的平均值,/>表示所述坐标距离的方差。
进一步地,所述轨迹拼接模块204还用于:
计算所述第一特征信息和所述第二特征信息之间的余弦相似度,根据所述余弦相似度计算所述特征关联概率。
进一步地,所述轨迹拼接模块204还用于:
根据匈牙利算法确定所述概率矩阵对应的二分图最大匹配数,以得到多个最大匹配的目标对,并确定所述目标对所对应的第一目标和第二目标确定为同一目标;
根据多个目标对完成所述第一图像和所述第二图像之间的轨迹拼接。
其中,所述轨迹拼接装置的其它方面以及实现细节与前面所描述的轨迹拼接方法相同或相似,在此不再赘述。
根据本发明的另一方面,本发明还提供一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如上所述的任一轨迹拼接方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (11)

1.一种轨迹拼接方法,其特征在于,所述方法包括:
获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;
确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵;
根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合;
根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
2.如权利要求1所述的方法,其特征在于,所述计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,并计算将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵包括:
根据图像配准算法分别对所述第一图像和所述第二图像进行关键点提取操作,分别得到所述第一图像对应的第一关键点集合以及所述第二图像对应的第二关键点集合;
对所述第一关键点集合和所述第二关键点集合进行关键点匹配并得到多个关键点对;
根据多个所述关键点在所述基准笛卡尔坐标系中的坐标计算所述第一投影矩阵和所述第二投影矩阵。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
通过目标检测算法对所述第一图像进目标识别以得到所述第一目标,并为所述第一目标设置第一目标ID;
通过所述目标检测算法对所述第二图像进目标识别以得到所述第二目标,并为所述第二目标设置第二目标ID。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
针对每个所述第一目标,识别所述第一目标的对应的第一目标区域,对所述第一目标区域进行裁剪,并提取所述第一目标区域内的第一特征信息;
针对每个所述第二目标,识别所述第二目标的对应的第二目标区域,对所述第二目标区域进行裁剪,并提取所述第二目标区域内的第二特征信息。
5.如权利要求4所述的方法,其特征在于,所述根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合包括:
确定所述第一目标在所述基准笛卡尔坐标系中的第一目标坐标;
根据所述第一目标ID、所述第一目标坐标和所述第一特征信息构建第一目标信息;
基于多个所述第一目标对应的多个第一目标信息生构建所述第一目标信息集合;
所述根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合包括:
确定所述第二目标在所述基准笛卡尔坐标系中的第二目标坐标;
根据所述第二目标ID、所述第二目标坐标和所述第二特征信息构建第二目标信息;
基于多个所述第二目标对应的多个第二目标信息生构建所述第二目标信息集合。
6.如权利要求5所述的方法,其特征在于,所述根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵包括:
根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率;
根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率;
通过所述距离关联概率和所述特征关联概率计算所述匹配概率;
根据所述第一目标信息集合和所述第二目标信息集合中所有目标之间的匹配概率构建所述概率矩阵。
7.如权利要求6所述的方法,其特征在于,所述根据第一目标和第二目标在所述基准笛卡尔坐标系中的坐标距离计算距离关联概率包括:
基于第一目标和第二目标的坐标值计算所述坐标距离;
通过如下公式将所述坐标距离转换为所述距离关联概率:
其中,表示所述距离关联概率,/>表示所述坐标距离,/>表示所述坐标距离的平均值,/>表示所述坐标距离的方差。
8.如权利要求6所述的方法,其特征在于,所述根据第一目标的第一特征信息和第二目标的第二特征信息计算特征关联概率包括:
计算所述第一特征信息和所述第二特征信息之间的余弦相似度,根据所述余弦相似度计算所述特征关联概率。
9.如权利要求1所述的方法,其特征在于,所述根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接包括:
根据匈牙利算法确定所述概率矩阵对应的二分图最大匹配数,以得到多个最大匹配的目标对,并确定所述目标对所对应的第一目标和第二目标确定为同一目标;
根据多个目标对完成所述第一图像和所述第二图像之间的轨迹拼接。
10.一种轨迹拼接装置,其特征在于,所述装置包括:
图像获取模块,用于获取多个相机拍摄的图像集合,其中,所述图像集合至少包括第一相机拍摄的第一图像和第二相机拍摄的第二图像;
矩阵计算模块,用于确定基准笛卡尔坐标系,并计算将所述第一图像投影至所述基准笛卡尔坐标系的第一投影矩阵,以及将所述第二图像投影至所述基准笛卡尔坐标系的第二投影矩阵;
信息处理模块,用于根据所述第一投影矩阵确定所述第一图像中的多个第一目标在所述基准笛卡尔坐标系中的坐标,并构建第一目标信息集合,以及根据所述第二投影矩阵确定所述第二图像中的多个第二目标在所述基准笛卡尔坐标系中的坐标,并构建第二目标信息集合;
轨迹拼接模块,用于根据所述第一目标信息集合和所述第二目标信息集合计算任意两个目标为同一个目标的匹配概率,并构建概率矩阵;根据匈牙利算法处理所述概率矩阵并完成所述第一图像和所述第二图像之间的轨迹拼接。
11.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如权利要求1至9任一项所述的方法。
CN202410512499.8A 2024-04-26 2024-04-26 轨迹拼接方法、装置及存储介质 Active CN118096525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410512499.8A CN118096525B (zh) 2024-04-26 2024-04-26 轨迹拼接方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410512499.8A CN118096525B (zh) 2024-04-26 2024-04-26 轨迹拼接方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN118096525A true CN118096525A (zh) 2024-05-28
CN118096525B CN118096525B (zh) 2024-06-28

Family

ID=91146139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410512499.8A Active CN118096525B (zh) 2024-04-26 2024-04-26 轨迹拼接方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN118096525B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729893A (zh) * 2017-10-12 2018-02-23 清华大学 一种合模机的视觉定位方法、系统和存储介质
US20190174079A1 (en) * 2016-09-20 2019-06-06 Massachusetts Institute Of Technology Circular Scanning Technique For Large Area Imaging
CN112884816A (zh) * 2021-03-23 2021-06-01 武汉理工大学 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190174079A1 (en) * 2016-09-20 2019-06-06 Massachusetts Institute Of Technology Circular Scanning Technique For Large Area Imaging
CN107729893A (zh) * 2017-10-12 2018-02-23 清华大学 一种合模机的视觉定位方法、系统和存储介质
CN112884816A (zh) * 2021-03-23 2021-06-01 武汉理工大学 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王子衢;: "基于形态上下文的手写字符识别", 电声技术, no. 04, 5 April 2018 (2018-04-05) *

Also Published As

Publication number Publication date
CN118096525B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
US8212812B2 (en) Active shape model for vehicle modeling and re-identification
US20020134151A1 (en) Apparatus and method for measuring distances
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN103810475B (zh) 一种目标物识别方法及装置
JP2016081525A (ja) 車両用画像認識システム、及び対応法
WO2012086821A1 (ja) 測位装置、測位方法
US20060245617A1 (en) Object identification between non-overlapping cameras without direct feature matching
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
US20180082131A1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
EP3690716A1 (en) Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using v2x-enabled applications, sensor fusion via multiple vehicles
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
Schlipsing et al. Video-based roll angle estimation for two-wheeled vehicles
CN111928842A (zh) 一种基于单目视觉实现slam定位的方法及相关装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN118135635A (zh) 人脸图像的识别方法、装置、电子设备及介质
Nguyen et al. MultiLevel feature pooling network for uncalibrated stereo rectification in autonomous vehicles
CN118096525B (zh) 轨迹拼接方法、装置及存储介质
Wang et al. A detection and tracking system for fisheye videos from traffic intersections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant