CN114092850A - 重识别方法、装置、计算机设备和存储介质 - Google Patents
重识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114092850A CN114092850A CN202010778387.9A CN202010778387A CN114092850A CN 114092850 A CN114092850 A CN 114092850A CN 202010778387 A CN202010778387 A CN 202010778387A CN 114092850 A CN114092850 A CN 114092850A
- Authority
- CN
- China
- Prior art keywords
- image
- mapping
- point cloud
- feature map
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本申请涉及一种重识别方法、装置、计算机设备和存储介质。所述方法包括:获取目标对象的点云映射图像,并获取所述目标对象的监控图像;所述点云映射图像是根据激光雷达采集的所述目标对象的三维点云数据映射得到;所述监控图像是监控相机拍摄得到的;分别对所述点云映射图像和所述监控图像进行特征提取,得到所述点云映射图像对应的映射特征图和所述监控图像对应的监控特征图;基于所述映射特征图和所述监控特征图,对所述目标对象进行重识别处理。采用本方法能够提高重识别的准确率。
Description
技术领域
本申请涉及重识别技术领域,特别是涉及一种重识别方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展,出现了目标再识别技术。目标再识别也叫目标重识别,目前集中在行人再识别和车辆再识别两个领域,主要用于解决目标的跨相机、跨视场跟踪等。例如,车辆再识别就是从不同摄像头采集到的车辆图像中,找出同一辆车。
但是,车辆图像可能会随着车辆与监控摄像头之间的距离变化而产生巨大反差,导致找出车辆不是同一辆车,即重识别准确率不高。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高重识别准确率的重识别方法、装置、计算机设备和存储介质。
一种重识别方法,该方法包括:
获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
基于映射特征图和监控特征图,对目标对象进行重识别处理。
在其中一个实施例中,上述获取目标对象的点云映射图像,包括:
获取激光雷达对目标场景进行扫描得到的三维点云数据;目标对象位于目标场景中;
对三维点云数据进行映射处理,得到二维图像;
利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域;
将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
在其中一个实施例中,上述对三维点云数据进行映射处理,得到二维图像,包括:
根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;
根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图;
根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图;
根据鸟瞰图中点云点的密度,得到密度图;
对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
在其中一个实施例中,上述根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图,包括:
根据各点云点的高度数据,确定各点云点对应的像素值;
根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
在其中一个实施例中,上述根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图,包括:
根据各点云点的强度数据,确定各点云点对应的像素值;
根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
在其中一个实施例中,上述根据鸟瞰图中点云点的密度,得到密度图,包括:
根据鸟瞰图中的像素点排列确定密度图中的像素点排列;
根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;
根据计算出的各像素点的密度,确定各像素点的像素值;
根据密度图中的像素点排列和各像素点的像素值,构建密度图。
在其中一个实施例中,上述对鸟瞰图、强度图和密度图进行合并处理,得到点云映射图像,包括:
将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
在其中一个实施例中,上述获取目标对象的监控图像,包括:
获取监控相机对目标场景进行拍摄得到的拍摄图像;
根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
在其中一个实施例中,上述分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和相机图像对应的相机特征图,包括:
分别将点云映射图像和监控图像输入到预先训练的特征提取网络中,得到特征提取网络输出的映射特征图和监控特征图。
在其中一个实施例中,上述基于映射特征图和监控特征图,对目标对象进行重识别处理,包括:
分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图;特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象;
根据多个第一特征图和多个第二特征图确定目标特征图;其中,目标特征图对应的对象与目标对象为同一对象。
在其中一个实施例中,上述分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图,包括:
分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图;第一预设条件包括第一相似度大于预设阈值;
分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图;第二预设条件包括第二相似度大于预设阈值。
在其中一个实施例中,上述根据多个第一特征图和多个第二特征图确定目标特征图,包括:
从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图;
根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度;
对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图。
在其中一个实施例中,上述根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图的目标相似度,包括:
针对各第三特征图,对第一相似度和第二相似度进行加权求和计算,得到目标相似度。
一种重识别方法,该方法包括:
获取目标对象的点云映射图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;
对点云映射图像进行特征提取,得到点云映射图像对应的映射特征图;
基于映射特征图对目标对象进行重识别处理。
一种特征图数据库,该特征图数据库中存储有多个候选特征图,各所述候选特征图均具有对应的对象;
特征图数据库,用于对基于映射特征图目标对象进行重识别处理。
一种重识别装置,所述装置包括:
图像获取模块,用于获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
特征提取模块,用于分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
重识别模块,用于基于映射特征图和监控特征图,对目标对象进行重识别处理。
在其中一个实施例中,上述图像获取模块,包括:
点云数据获取子模块,用于获取激光雷达对目标场景进行扫描得到的三维点云数据;目标对象位于目标场景中;
映射子模块,用于对三维点云数据进行映射处理,得到二维图像;
区域检测子模块,用于利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域;
点云映射图像获取子模块,用于将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
在其中一个实施例中,上述映射子模块,具体用于根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图;根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图;根据鸟瞰图中点云点的密度,得到密度图;对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
在其中一个实施例中,上述映射子模块,具体用于根据各点云点的高度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
在其中一个实施例中,上述映射子模块,具体用于根据各点云点的强度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
在其中一个实施例中,上述映射子模块,具体用于根据鸟瞰图中的像素点排列确定密度图中的像素点排列;根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;根据计算出的各像素点的密度,确定各像素点的像素值;根据密度图中的像素点排列和各像素点的像素值,构建密度图。
在其中一个实施例中,上述映射子模块,具体用于将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
在其中一个实施例中,上述图像获取模块,包括:
拍摄图像获取子模块,用于获取监控相机对目标场景进行拍摄得到的拍摄图像;
监控图像获取子模块,用于根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
在其中一个实施例中,上述特征提取模块,具体用于分别将点云映射图像和监控图像输入到预先训练的特征提取网络中,得到特征提取网络输出的映射特征图和监控特征图。
在其中一个实施例中,上述重识别模块包括:
查找子模块,用于分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图;特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象;
目标特征图确定子模块,用于根据多个第一特征图和多个第二特征图确定目标特征图;其中,目标特征图对应的对象与目标对象为同一对象。
在其中一个实施例中,上述查找子模块,具体用于分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图;第一预设条件包括第一相似度大于预设阈值;分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图;第二预设条件包括第二相似度大于预设阈值。
在其中一个实施例中,上述目标特征图确定子模块,具体用于从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图;根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度;对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图。
在其中一个实施例中,上述目标特征图确定子模块,具体用于针对各第三特征图,对第一相似度和第二相似度进行加权求和计算,得到目标相似度。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
基于映射特征图和监控特征图,对目标对象进行重识别处理。
一种重识别装置,该装置包括:
图像获取模块,用于获取目标对象的点云映射图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;
特征提取模块,用于对点云映射图像进行特征提取,得到点云映射图像对应的映射特征图;
重识别模块,用于基于映射特征图对目标对象进行重识别处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
基于映射特征图和监控特征图,对目标对象进行重识别处理。
上述重识别方法、装置、计算机设备和存储介质,服务器获取目标对象的点云映射图像,并获取目标对象的监控图像;分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;基于映射特征图和监控特征图,对目标对象进行重识别处理。通过本发明实施例,将激光雷达采集的三维点云数据与监控相机拍摄得到的监控图像相结合进行目标对象的重识别处理,由三维点云数据来弥补监控图像的不足,可以增加重识别处理中的数据特征,进而提高重识别的准确率。
附图说明
图1为一个实施例中重识别方法的应用环境图;
图2为一个实施例中重识别方法的流程示意图;
图3为一个实施例中获取目标对象的点云映射图像步骤的流程示意图;
图4为一个实施例中对三维点云数据进行映射处理得到二维图像步骤的流程示意图;
图5为一个实施例中获取目标对象的监控图像步骤的流程示意图;
图6为一个实施例中对目标对象进行重识别处理步骤的流程示意图;
图7为一个实施例中分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找步骤的流程示意图;
图8为一个实施例中根据多个第一特征图和多个第二特征图确定目标特征图步骤的流程示意图;
图9为另一个实施例中重识别方法的流程示意图;
图10为又一个实施例中重识别方法的流程示意图;
图11为一个实施例中重识别装置的结构框图;
图12为另一个实施例中重识别装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的重识别方法,可以应用于如图1所示的应用环境中。该应用环境包括路侧感知设备102和服务器104,路侧感知设备102通过网络与服务器104进行通信,路侧感知设备102将采集到的数据传输到服务器104。其中,路侧感知设备可以包括激光雷达和监控相机,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种重识别方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤201,服务器获取目标对象的点云映射图像,并获取目标对象的监控图像。
其中,点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的。
激光雷达针对目标对象采集三维点云数据,并将三维点云数据传输到服务器;监控相机针对目标对象进行拍摄,并将拍摄到的图像传输到服务器。服务器对三维点云数据进行映射处理,得到二维的点云映射图像;对拍摄到的图像进行裁剪处理,得到监控图像。其中,点云映射图像与监控图像中均包含目标对象。
步骤202,分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图。
服务器得到点云映射图像和监控图像之后,对点云映射图像进行特征提取,得到点云映射图像对应的映射特征图;对监控图像进行特征提取,得到监控图像对应的监控特征图。其中,映射特征图和监控特征图均包含目标对象的特征。特征提取过程可以利用预先训练的特征提取网络,本公开实施例对此不做限定。
步骤203,基于映射特征图和监控特征图,对目标对象进行重识别处理。
预先设置特征图数据库,在得到映射特征图和监控特征图之后,分别根据映射特征图和监控特征图在特征图数据库中进行检索,将检索到的与映射特征图和监控特征图均相似的特征图作为目标特征图,目标特征图所对应的对象与目标对象为同一对象,即完成了目标对象的重识别处理。
上述重识别方法中,服务器获取目标对象的点云映射图像,并获取目标对象的监控图像;分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;基于映射特征图和监控特征图,对目标对象进行重识别处理。通过本发明实施例,将激光雷达采集的三维点云数据与监控相机拍摄得到的监控图像相结合进行目标对象的重识别处理,由三维点云数据来弥补监控图像的不足,可以增加重识别处理中的数据特征,进而提高重识别的准确率。
在一个实施例中,如图3所示,获取目标对象的点云映射图像的步骤,包括:
步骤301,服务器获取激光雷达对目标场景进行扫描得到的三维点云数据。
其中,目标对象位于目标场景中。例如,目标对象为目标车辆,目标车辆位于某一道路上,路侧设置的激光雷达对该道路进行扫描,并扫描得到的三维点云数据传输到服务器,则服务器可以获得目标车辆的三维点云数据。
步骤302,对三维点云数据进行映射处理,得到二维图像。
预先建立三维坐标系和二维坐标系之间的对应关系,见公式(1):
其中,a、b表示一个点云点在三维坐标系中的坐标,at、bt表示一个点云点映射后在二维坐标系中的坐标,h表示点云边界到y轴的距离,w表示点云边界到x轴的距离,x轴和y轴是以激光雷达为原点的坐标轴。
根据上述对应关系将三维点云数据中的每个点云点映射到二维坐标系中,得到二维图像。
步骤303,利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域。
利用目标检测算法进行目标检测,得到目标对象的三维边界框,三维边界框所包含的区域即为目标对象所在的立体识别区域。
步骤304,将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
根据上述三维坐标系和二维坐标系之间的对应关系,将立体识别区域的八个顶点映射到二维图像中,得到二维图像中目标对象的二维边界框。二维边界框所包含的区域即为目标对象所在的第一识别区域,将第一识别区域内的图像作为点云映射图像。
上述获取目标对象的点云映射图像的过程中,服务器获取激光雷达对目标场景进行扫描得到的三维点云数据;对三维点云数据进行映射处理,得到二维图像;利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域;将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。通过本公开实施例,对三维点云数据进行映射得到二维图像,并将目标对象所在的立体识别区域映射到二维图像中得到点云映射图像,这样,就将目标对象的特征从三维坐标系转换到了二维坐标系,可以与监控图像相结合进行重识别处理,提高重识别的准确率。
在其中一个实施例中,如图4所示,对三维点云数据进行映射处理得到二维图像的步骤,包括:
步骤401,服务器根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系。
其中,点云点为获取物体表面特征的采样点,包括三维坐标(XYZ)和强度信息(Intensity),强度信息与物体表面的材质、粗糙度,以及激光入射角方向、仪器的发射能量、激光波长相关。
在对三维点云数据进行映射的过程中,截取预设范围内的点云点。该预设范围可以是以激光雷达为原点,x轴、y轴为±70m的范围。本公开实施例对此不做限定。
截取预设范围内的点云点之后,根据公式(1)对各点云点进行映射,得到各点云点在二维坐标系中的位置。
步骤402,根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图。
先根据各点云点的高度数据,确定各点云点对应的像素值;再根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
在其中一个实施例中,根据各点云点的高度数据,确定点云点对应的像素值,包括:对各点云点的高度数据做归一化处理,将高度数据归一化到0~255之间,得到各点云点对应的高度归一化值,将高度归一化值作为该点云点对应的像素值。
在其中一个实施例中,根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图,包括:根据各点云点在二维坐标系中的位置设置鸟瞰图的像素点排列方式;根据各点云点对应的像素值对各像素点进行填充,得到鸟瞰图。
在实际应用中,依次将各点云点从三维坐标系映射到二维坐标系,可能出现后映射的点云点与先映射的点云点坐标相同的情况。此时,将后映射的点云点的像素值作为该坐标的像素值。即,用后映射的点云点的像素值覆盖掉先映射的点云点的像素值。
步骤403,根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图。
根据各点云点的强度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
在其中一个实施例中,根据各点云点的强度数据,确定点云点对应的像素值,包括:对各点云点的强度数据做归一化处理,将强度数据归一化到0~255之间,得到各点云点对应的强度归一化值,将强度归一化值作为该点云点对应的像素值。
在其中一个实施例中,根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图,包括:根据各点云点在二维坐标系中的位置设置强度图的像素点排列方式;根据各点云点对应的像素值对各像素点进行填充,得到强度图。上述强度图与鸟瞰图的像素点排列方式相同。
在实际应用中,依次将各点云点从三维坐标系映射到二维坐标系,可能出现后映射的点云点与先映射的点云点坐标相同的情况。同样地,用后映射的点云点的像素值覆盖掉先映射的点云点的像素值。
步骤404,根据鸟瞰图中点云点的密度,得到密度图。
根据鸟瞰图中的像素点排列确定密度图中的像素点排列;根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;根据计算出的各像素点的密度,确定各像素点的像素值;根据密度图中的像素点排列和各像素点的像素值,构建密度图。
计算第i个像素点的密度可以采用公式(2):
其中,ρi为第i个像素点的密度,ci为第i个像素点的点云数量,cmin为各像素点中点云数量的最小值,cmax表示各像素点中点云数量的最大值。
根据各像素点的像素值对各像素点进行填充,则可以得到密度图。
步骤405,对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
上述对三维点云数据进行映射处理,得到二维图像的过程中,服务器根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图;根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图;根据鸟瞰图中点云点的密度,得到密度图;对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。通过本公开实施例,根据三维点云数据分别得到了鸟瞰图、强度图和密度图,再对鸟瞰图、强度图和密度图进行合并处理得到二维图像,二维图像中包含了点云点的多种信息,因此可以在后续提取特征的过程中保留更多目标对象的特征,更有利于重识别处理。
在一个实施例中,如图5所示,获取目标对象的监控图像的步骤,包括:
步骤501,服务器获取监控相机对目标场景进行拍摄得到的拍摄图像。
在实际应用中,目标对象为目标车辆,目标车辆位于某一道路上,路侧设置的监控相机对该道路进行拍摄,则可以获得目标车辆的拍摄图像。监控相机将拍摄图像传输到服务器,则服务器可以获得目标对象的拍摄图像。
步骤502,根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
在路侧设置激光雷达和监控相机时,可以获取到激光雷达和监控相机之间的位置关系、激光雷达的扫描参数和监控相机的拍摄参数。之后,服务器根据位置关系、扫描参数和拍摄参数可以确定雷达坐标与相机坐标的对应关系。
根据雷达坐标与相机坐标的对应关系,将立体识别区域的八个顶点映射到拍摄图像中,可以得到拍摄图像中目标对象的二维边界框。二维边界框所包含的区域即为目标对象所在的第二识别区域,将第二识别区域内的图像作为监控图像。
上述获取目标对象的监控图像的过程中,服务器获取监控相机对目标场景进行拍摄得到的拍摄图像;根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。通过本公开实施例,依据激光雷达与监控相机之间的关系,将目标对象所在的立体识别区域映射到拍摄图像中得到监控图像,由于三维点云数据不受距离和环境的影响,因此,即使拍摄图像受到距离或环境的影响而不够清晰,也可以通过映射得到拍摄图像中较为准确的第二识别区域,从而将目标对象从拍摄图像中截取出来进行重识别处理。
在一个实施例中,如图6所示,基于映射特征图和监控特征图,对目标对象进行重识别处理的步骤,包括:
步骤601,服务器分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图。
其中,预先设置的特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象。例如,多个候选特征图为候选特征图1、候选特征图2……候选特征图100,候选特征图1对应车辆1,候选特征图2对应车辆2……候选特征图100对应车辆100。
特征图数据库中的候选特征图,可以与得到监控图像对应的监控特征图采用相同方式。本公开实施例对此不作限定。
根据映射特征图在特征图数据库中进行查找,得到多个与映射特征图相似的第一特征图;根据监控特征图在特征图数据库中进行查找,得到多个与监控特征图相似的第二特征图。
步骤602,根据多个第一特征图和多个第二特征图确定目标特征图。
其中,目标特征图对应的对象与目标对象为同一对象。
得到多个第一特征图和多个第二特征图之后,从这些特征图中筛选出与映射特征图和监控特征图均相似度较高的目标特征图。
上述基于映射特征图和监控特征图,对目标对象进行重识别处理的过程中,服务器分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图;根据多个第一特征图和多个第二特征图确定目标特征图。通过本公开实施例,依据映射特征图和监控特征图在特征图数据库进行检索,得到目标特征图,从而根据目标特征图对应的对象确定目标对象,由于对三维点云数据进行处理得到的映射特征图可以弥补监控图像的不足,因此可以增加重识别处理中的数据特征,进而提高重识别的准确率。
在其中一个实施例中,如图7所示,分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图的步骤,包括:
步骤6011,服务器分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图。
其中,第一预设条件包括第一相似度大于预设阈值。
例如,计算出映射特征图与候选特征图1之间的第一相似度为70%,映射特征图与候选特征图2之间的第一相似度为95%,映射特征图与候选特征图3之间的第一相似度为91%。以此类推,得到映射特征图与各候选特征图之间的第一相似度。
计算出映射特征图与各候选特征图之间的第一相似度之后,将第一相似度大于预设阈值的候选特征图作为第一特征图。例如,预设阈值为90%,则将候选特征图2和候选特征图3作为第一特征图。
步骤6012,分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图。
其中,第二预设条件包括第二相似度大于预设阈值。
例如,计算出监控特征图与候选特征图1之间的第二相似度为72%,监控特征图与候选特征图2之间的第二相似度为94%,监控特征图与候选特征图3之间的第二相似度为89%。以此类推,得到监控特征图与各候选特征图之间的第二相似度。如果预设阈值为90%,则将候选特征图2作为第二特征图。
上述计算相似度可以是计算余弦相似度,也可以计算其他相似度,本公开实施例对此不做限定。
本公开实施例对步骤6011和6012的顺序不做限定。
可以理解地,服务器分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图;分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图,可以从特征图数据库中检索出与映射特征图相似的特征图和与监控特征图相似的特征图,从而进一步确定目标特征图,实现重识别处理。
在其中一个实施例中,如图8所示,根据多个第一特征图和多个第二特征图确定目标特征图的步骤,包括:
步骤6021,服务器从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图。
例如,候选特征图2既是第一特征图,也是第二特征图,则将候选特征图2作为第三特征图。
步骤6022,根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度。
针对各第三特征图,对第一相似度和第二相似度进行加权求和计算,得到目标相似度。例如,候选特征图2为第三特征图,候选特征图2对应的第一相似度为95%,候选特征图2对应的第二相似度为42%,如果第一相似度和第二相似度的权重分别为0.6、0.4,则可以计算出目标相似度为94.6%。本公开实施例对第一相似度和第二相似度的权重不做限定。
步骤6023,对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图。
如果只有一个第三特征图,则将该第三特征图作为目标特征图;如果有多个第三特征图,则将多个第三特征图按照目标相似度由高到低进行排序,并将目标相似度最高的第三特征图作为目标特征图。
可以理解地,服务器从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图;根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度;对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图,这样,就可以查找出既与映射特征图相似度高也与监控特征图相似度高的目标特征图,从而实现重识别处理。并且,可以设置映射特征图和监控特征图的权重,从而在重识别处理过程中,选取更依赖的数据,进而提高重识别的准确率。
在一个实施例中,如图9所示,提供了一种重识别方法,可以包括:
步骤701,服务器获取激光雷达对目标场景进行扫描得到的三维点云数据。
其中,目标对象位于目标场景中。
步骤702,根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系。
步骤703,根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图。
在其中一个实施例中,根据各点云点的高度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
步骤704,根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图。
在其中一个实施例中,根据各点云点的强度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
步骤705,根据鸟瞰图中点云点的密度,得到密度图。
在其中一个实施例中,根据鸟瞰图中的像素点排列确定密度图中的像素点排列;根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;根据计算出的各像素点的密度,确定各像素点的像素值;根据密度图中的像素点排列和各像素点的像素值,构建密度图。
步骤706,对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
在其中一个实施例中,将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
步骤707,利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域。
步骤708,将立体识别区域映射到二维图像中,得到二维图像中目标对象的所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
步骤709,获取监控相机对目标场景进行拍摄得到的拍摄图像。
步骤710,根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
步骤711,分别将点云映射图像和监控图像输入到预先训练的特征提取网络中,得到特征提取网络输出的映射特征图和监控特征图。
预先针对点云映射图像训练第一特征提取网络,针对监控图像训练第二特征提取网络。其中,第一特征提取网络和第二特征提取网络均可以采用全卷积神经网络。本公开实施例对特征提取网络的训练不做限定。
在特征提取过程中,将点云映射图像输入到第一特征提取网络中,得到第一特征提取网络输出的映射特征图;将监控图像输入到第二特征提取网络中,得到第二特征提取网络输出的监控特征图。
步骤712,分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图。
其中,特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象。
步骤713,根据多个第一特征图和多个第二特征图确定目标特征图。
其中,目标特征图对应的对象与目标对象为同一对象。
上述重识别方法中,将激光雷达采集的三维点云数据与监控相机拍摄得到的监控图像相结合实现目标对象的重识别处理,由三维点云数据来弥补监控图像的不足,可以增加重识别处理中的数据特征,进而提高重识别的准确率。
在一个实施例中,如图10所示,提供了一种重识别方法,以该方法应用于图1中的服务器为例进行说明,可以包括:
步骤801,服务器获取目标对象的点云映射图像。
其中,点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到。
步骤802,对点云映射图像进行特征提取,得到点云映射图像对应的映射特征图。
步骤803,基于映射特征图对目标对象进行重识别处理。
本公开实施例的具体实现方式可以参考上述实施例,在此不再赘述。通过本公开实施例,根据激光雷达采集的三维点云数据进行目标对象的重识别处理,由于三维点云数据不受环境因素的影响,因此可以保留目标对象的特征,从而提高重识别的准确率。
在其中一个实施例中,提供了一种特征图数据库,该特征图数据库中存储有多个候选特征图,各所述候选特征图均具有对应的对象;该特征图数据库,用于基于映射特征图对目标对象进行重识别处理。
应该理解的是,虽然图2-图10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种重识别装置,包括:
图像获取模块10,用于获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
特征提取模块11,用于分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
重识别模块12,用于基于映射特征图和监控特征图,对目标对象进行重识别处理。
在其中一个实施例中,上述图像获取模块10,包括:
点云数据获取子模块,用于获取激光雷达对目标场景进行扫描得到的三维点云数据;目标对象位于目标场景中;
映射子模块,用于对三维点云数据进行映射处理,得到二维图像;
区域检测子模块,用于利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域;
点云映射图像获取子模块,用于将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
在其中一个实施例中,上述映射子模块,具体用于根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图;根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图;根据鸟瞰图中点云点的密度,得到密度图;对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
在其中一个实施例中,上述映射子模块,具体用于根据各点云点的高度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
在其中一个实施例中,上述映射子模块,具体用于根据各点云点的强度数据,确定各点云点对应的像素值;根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
在其中一个实施例中,上述映射子模块,具体用于根据鸟瞰图中的像素点排列确定密度图中的像素点排列;根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;根据计算出的各像素点的密度,确定各像素点的像素值;根据密度图中的像素点排列和各像素点的像素值,构建密度图。
在其中一个实施例中,上述映射子模块,具体用于将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
在其中一个实施例中,上述图像获取模块10,包括:
拍摄图像获取子模块,用于获取监控相机对目标场景进行拍摄得到的拍摄图像;
监控图像获取子模块,用于根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
在其中一个实施例中,上述特征提取模块11,具体用于分别将点云映射图像和监控图像输入到预先训练的特征提取网络中,得到特征提取网络输出的映射特征图和监控特征图。
在其中一个实施例中,上述重识别模块12包括:
查找子模块,用于分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图;特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象;
目标特征图确定子模块,用于根据多个第一特征图和多个第二特征图确定目标特征图;其中,目标特征图对应的对象与目标对象为同一对象。
在其中一个实施例中,上述查找子模块,具体用于分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图;第一预设条件包括第一相似度大于预设阈值;分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图;第二预设条件包括第二相似度大于预设阈值。
在其中一个实施例中,上述目标特征图确定子模块,具体用于从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图;根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度;对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图。
在其中一个实施例中,上述目标特征图确定子模块,具体用于针对各第三特征图,对第一相似度和第二相似度进行加权求和计算,得到目标相似度。
在一个实施例中,如图12所示,提供了一种重识别装置,该装置包括:
图像获取模块20,用于获取目标对象的点云映射图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;
特征提取模块21,用于对点云映射图像进行特征提取,得到点云映射图像对应的映射特征图;
重识别模块22,用于基于映射特征图对目标对象进行重识别处理。
关于重识别装置的具体限定可以参见上文中对于重识别方法的限定,在此不再赘述。上述重识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储重识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种重识别方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
基于映射特征图和监控特征图,对目标对象进行重识别处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取激光雷达对目标场景进行扫描得到的三维点云数据;目标对象位于目标场景中;
对三维点云数据进行映射处理,得到二维图像;
利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域;
将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;
根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图;
根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图;
根据鸟瞰图中点云点的密度,得到密度图;
对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据各点云点的高度数据,确定各点云点对应的像素值;
根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据各点云点的强度数据,确定各点云点对应的像素值;
根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据鸟瞰图中的像素点排列确定密度图中的像素点排列;
根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;
根据计算出的各像素点的密度,确定各像素点的像素值;
根据密度图中的像素点排列和各像素点的像素值,构建密度图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取监控相机对目标场景进行拍摄得到的拍摄图像;
根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别将点云映射图像和监控图像输入到预先训练的特征提取网络中,得到特征提取网络输出的映射特征图和监控特征图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图;特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象;
根据多个第一特征图和多个第二特征图确定目标特征图;其中,目标特征图对应的对象与目标对象为同一对象。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图;第一预设条件包括第一相似度大于预设阈值;
分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图;第二预设条件包括第二相似度大于预设阈值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图;
根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度;
对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
针对各第三特征图,对第一相似度和第二相似度进行加权求和计算,得到目标相似度。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取目标对象的点云映射图像,并获取目标对象的监控图像;点云映射图像是根据激光雷达采集的目标对象的三维点云数据映射得到;监控图像是监控相机拍摄得到的;
分别对点云映射图像和监控图像进行特征提取,得到点云映射图像对应的映射特征图和监控图像对应的监控特征图;
基于映射特征图和监控特征图,对目标对象进行重识别处理。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
获取激光雷达对目标场景进行扫描得到的三维点云数据;目标对象位于目标场景中;
对三维点云数据进行映射处理,得到二维图像;
利用目标检测算法确定三维点云数据中目标对象所在的立体识别区域;
将立体识别区域映射到二维图像中,得到二维图像中目标对象所在的第一识别区域,并将第一识别区域内的图像作为点云映射图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
根据预先设置的映射关系,将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;
根据各点云点在二维坐标系中的位置和各点云点的高度数据,得到鸟瞰图;
根据各点云点在二维坐标系中的位置和各点云点的强度数据,得到强度图;
根据鸟瞰图中点云点的密度,得到密度图;
对鸟瞰图、强度图和密度图进行合并处理,得到二维图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
根据各点云点的高度数据,确定各点云点对应的像素值;
根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建鸟瞰图。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
根据各点云点的强度数据,确定各点云点对应的像素值;
根据各点云点在二维坐标系中的位置和各点云点对应的像素值,构建强度图。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
根据鸟瞰图中的像素点排列确定密度图中的像素点排列;
根据鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;
根据计算出的各像素点的密度,确定各像素点的像素值;
根据密度图中的像素点排列和各像素点的像素值,构建密度图。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理,得到二维图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
获取监控相机对目标场景进行拍摄得到的拍摄图像;
根据预先设置的雷达坐标与相机坐标的对应关系,将立体识别区域映射到拍摄图像中,得到拍摄图像中目标对象所在的第二识别区域,并将第二识别区域内的图像作为监控图像。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
分别将点云映射图像和监控图像输入到预先训练的特征提取网络中,得到特征提取网络输出的映射特征图和监控特征图。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
分别根据映射特征图和监控特征图在预先设置的特征图数据库中进行查找,得到映射特征图对应的多个第一特征图和监控特征图对应的多个第二特征图;特征图数据库中存储有多个候选特征图,各候选特征图均具有对应的对象;
根据多个第一特征图和多个第二特征图确定目标特征图;其中,目标特征图对应的对象与目标对象为同一对象。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
分别计算映射特征图与多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为第一特征图;第一预设条件包括第一相似度大于预设阈值;
分别计算监控特征图与多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为第二特征图;第二预设条件包括第二相似度大于预设阈值。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
从多个第一特征图和多个第二特征图中筛选出相同的特征图作为第三特征图;
根据各第三特征图对应的第一相似度和第二相似度,计算各第三特征图对应的目标相似度;
对多个第三特征图对应的目标相似度进行排序,并根据排序结果确定目标特征图。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
针对各第三特征图,对第一相似度和第二相似度进行加权求和计算,得到目标相似度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (19)
1.一种重识别方法,其特征在于,所述方法包括:
获取目标对象的点云映射图像,并获取所述目标对象的监控图像;所述点云映射图像是根据激光雷达采集的所述目标对象的三维点云数据映射得到;所述监控图像是监控相机拍摄得到的;
分别对所述点云映射图像和所述监控图像进行特征提取,得到所述点云映射图像对应的映射特征图和所述监控图像对应的监控特征图;
基于所述映射特征图和所述监控特征图,对所述目标对象进行重识别处理。
2.根据权利要求1所述的方法,其特征在于,所述获取目标对象的点云映射图像,包括:
获取所述激光雷达对目标场景进行扫描得到的所述三维点云数据;所述目标对象位于所述目标场景中;
对所述三维点云数据进行映射处理,得到二维图像;
利用目标检测算法确定所述三维点云数据中所述目标对象所在的立体识别区域;
将所述立体识别区域映射到所述二维图像中,得到所述二维图像中所述目标对象所在的第一识别区域,并将所述第一识别区域内的图像作为所述点云映射图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述三维点云数据进行映射处理,得到二维图像,包括:
根据预先设置的映射关系,将所述三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系;
根据各所述点云点在所述二维坐标系中的位置和各所述点云点的高度数据,得到鸟瞰图;
根据各所述点云点在所述二维坐标系中的位置和各所述点云点的强度数据,得到强度图;
根据所述鸟瞰图中点云点的密度,得到密度图;
对所述鸟瞰图、所述强度图和所述密度图进行合并处理,得到所述二维图像。
4.根据权利要求3所述的方法,其特征在于,所述根据各所述点云点在所述二维坐标系中的位置和各所述点云点的高度数据,得到鸟瞰图,包括:
根据各所述点云点的高度数据,确定各所述点云点对应的像素值;
根据各所述点云点在所述二维坐标系中的位置和各所述点云点对应的像素值,构建所述鸟瞰图。
5.根据权利要求3所述的方法,其特征在于,所述根据各所述点云点在所述二维坐标系中的位置和各所述点云点的强度数据,得到强度图,包括:
根据各所述点云点的强度数据,确定各所述点云点对应的像素值;
根据各所述点云点在所述二维坐标系中的位置和各所述点云点对应的像素值,构建所述强度图。
6.根据权利要求3所述的方法,其特征在于,所述根据所述鸟瞰图中点云点的密度,得到密度图,包括:
根据所述鸟瞰图中的像素点排列确定所述密度图中的像素点排列;
根据所述鸟瞰图中第i个像素点的点云数量、各像素点中点云数量的最小值以及各像素点中点云数量的最大值计算第i个像素点的密度;i为正整数;
根据计算出的各像素点的密度,确定各像素点的像素值;
根据所述密度图中的像素点排列和所述各像素点的像素值,构建所述密度图。
7.根据权利要求3所述的方法,其特征在于,所述对所述鸟瞰图、所述强度图和所述密度图进行合并处理,得到所述二维图像,包括:
将所述鸟瞰图、所述强度图和所述密度图分别作为R、G、B三个通道的图像进行合并处理,得到所述二维图像。
8.根据权利要求2所述的方法,其特征在于,所述获取所述目标对象的监控图像,包括:
获取所述监控相机对所述目标场景进行拍摄得到的拍摄图像;
根据预先设置的雷达坐标与相机坐标的对应关系,将所述立体识别区域映射到所述拍摄图像中,得到所述拍摄图像中所述目标对象所在的第二识别区域,并将所述第二识别区域内的图像作为所述监控图像。
9.根据权利要求1所述的方法,其特征在于,所述分别对所述点云映射图像和所述监控图像进行特征提取,得到所述点云映射图像对应的映射特征图和所述相机图像对应的相机特征图,包括:
分别将所述点云映射图像和所述监控图像输入到预先训练的特征提取网络中,得到所述特征提取网络输出的所述映射特征图和所述监控特征图。
10.根据权利要求1所述的方法,其特征在于,所述基于所述映射特征图和所述监控特征图,对所述目标对象进行重识别处理,包括:
分别根据所述映射特征图和所述监控特征图在预先设置的特征图数据库中进行查找,得到所述映射特征图对应的多个第一特征图和所述监控特征图对应的多个第二特征图;所述特征图数据库中存储有多个候选特征图,各所述候选特征图均具有对应的对象;
根据所述多个第一特征图和所述多个第二特征图确定目标特征图;其中,所述目标特征图对应的对象与所述目标对象为同一对象。
11.根据权利要求10所述的方法,其特征在于,所述分别根据所述映射特征图和所述监控特征图在预先设置的特征图数据库中进行查找,得到所述映射特征图对应的多个第一特征图和所述监控特征图对应的多个第二特征图,包括:
分别计算所述映射特征图与所述多个候选特征图之间的第一相似度,并将第一相似度符合第一预设条件的候选特征图作为所述第一特征图;所述第一预设条件包括所述第一相似度大于第一预设阈值;
分别计算所述监控特征图与所述多个候选特征图之间的第二相似度,并将第二相似度符合第二预设条件的候选特征图作为所述第二特征图;所述第二预设条件包括所述第二相似度大于第二预设阈值。
12.根据权利要求10所述的方法,其特征在于,所述根据所述多个第一特征图和所述多个第二特征图确定目标特征图,包括:
从多个所述第一特征图和多个所述第二特征图中筛选出相同的特征图作为第三特征图;
根据各所述第三特征图对应的第一相似度和第二相似度,计算各所述第三特征图对应的目标相似度;
对多个所述第三特征图对应的目标相似度进行排序,并根据排序结果确定所述目标特征图。
13.根据权利要求12所述的方法,其特征在于,所述根据各所述第三特征图对应的第一相似度和第二相似度,计算各所述第三特征图的目标相似度,包括:
针对各所述第三特征图,对所述第一相似度和所述第二相似度进行加权求和计算,得到所述目标相似度。
14.一种重识别方法,其特征在于,所述方法包括:
获取目标对象的点云映射图像;所述点云映射图像是根据激光雷达采集的所述目标对象的三维点云数据映射得到;
对所述点云映射图像进行特征提取,得到所述点云映射图像对应的映射特征图;
基于所述映射特征图对所述目标对象进行重识别处理。
15.一种特征图数据库,其特征在于,所述特征图数据库中存储有多个候选特征图,各所述候选特征图均具有对应的对象;
所述特征图数据库,用于基于映射特征图对目标对象进行重识别处理。
16.一种重识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取目标对象的点云映射图像,并获取所述目标对象的监控图像;所述点云映射图像是根据激光雷达采集的所述目标对象的三维点云数据映射得到;所述监控图像是监控相机拍摄得到的;
特征提取模块,用于分别对所述点云映射图像和所述监控图像进行特征提取,得到所述点云映射图像对应的映射特征图和所述监控图像对应的监控特征图;
重识别模块,用于基于所述映射特征图和所述监控特征图,对所述目标对象进行重识别处理。
17.一种重识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取目标对象的点云映射图像;所述点云映射图像是根据激光雷达采集的所述目标对象的三维点云数据映射得到;
特征提取模块,用于对所述点云映射图像进行特征提取,得到所述点云映射图像对应的映射特征图;
重识别模块,用于基于所述映射特征图对所述目标对象进行重识别处理。
18.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法的步骤。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010778387.9A CN114092850A (zh) | 2020-08-05 | 2020-08-05 | 重识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010778387.9A CN114092850A (zh) | 2020-08-05 | 2020-08-05 | 重识别方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114092850A true CN114092850A (zh) | 2022-02-25 |
Family
ID=80295210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010778387.9A Pending CN114092850A (zh) | 2020-08-05 | 2020-08-05 | 重识别方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092850A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114611635A (zh) * | 2022-05-11 | 2022-06-10 | 北京闪马智建科技有限公司 | 一种对象的识别方法、装置、存储介质及电子装置 |
-
2020
- 2020-08-05 CN CN202010778387.9A patent/CN114092850A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114611635A (zh) * | 2022-05-11 | 2022-06-10 | 北京闪马智建科技有限公司 | 一种对象的识别方法、装置、存储介质及电子装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160302B (zh) | 基于自动驾驶环境的障碍物信息识别方法和装置 | |
CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
WO2012177336A2 (en) | Systems and methods for estimating the geographic location at which image data was captured | |
CN112164117A (zh) | 一种基于Kinect相机的V-SLAM位姿估算方法 | |
CN110636248B (zh) | 目标跟踪方法与装置 | |
CN113012215A (zh) | 一种空间定位的方法、系统及设备 | |
CN114648709A (zh) | 一种确定图像差异信息的方法与设备 | |
CN114092850A (zh) | 重识别方法、装置、计算机设备和存储介质 | |
US10753708B2 (en) | Missile targeting | |
CN116681730A (zh) | 一种目标物追踪方法、装置、计算机设备和存储介质 | |
CN116703996A (zh) | 基于实例级自适应深度估计的单目三维目标检测算法 | |
CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
CN111582013A (zh) | 一种基于灰度共生矩阵特征船只检索方法及装置 | |
CN110706288A (zh) | 目标检测的方法、装置、设备及可读存储介质 | |
Bardas et al. | 3D tracking and classification system using a monocular camera | |
CN115222789A (zh) | 实例深度估计模型的训练方法、装置及设备 | |
CN111340090B (zh) | 图像特征比对方法及装置、设备、计算机可读存储介质 | |
Zubkov et al. | Detection of Small Drones in Thermal Infrared Range Using YOLOv5 Neural Networks | |
Ding et al. | A novel stumpage detection method for forest harvesting based on multi-sensor fusion | |
CN116229297B (zh) | 一种测绘数据处理方法、系统、介质及计算机 | |
CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
CN112180347B (zh) | 外方位元素的标定方法、设备、电子装置和存储介质 | |
Efimov et al. | Program-algorithm complex for image imposition in aircraft vision systems | |
CN110473244B (zh) | 立体匹配优化方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |