CN116978022A - 对象分组方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种对象分组方法、装置、计算机设备、存储介质和计算机程序产品，可应用于地图领域以及人工智能领域。方法包括：从视频中获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像；确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象；对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵；根据转移矩阵将第一对象投影至第二图像中，得到投影区域；基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。提升了分组准确度。

Description

对象分组方法、装置、计算机设备和存储介质

技术领域

本申请涉及电子地图技术领域，特别是涉及一种对象分组方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着电子地图相关技术的发展，电子地图上兴趣点越来越细化，使得使用者能够在电子地图上查找到任何感兴趣的位置，极大地提升了人们生活的便利性。沿街对象分组是对电子地图更新的重要环节。

传统技术中，在扫街拍摄得到多张待处理图像后，对各待处理图像进行对象检测，对于任意两张待处理图像，若这两张待处理图像上存在相似度满足一定条件的对象，则将两个对象分到同一组。然而，仅通过相似度来进行分组，常常会存在误分组的情况，存在分组准确度不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升分组准确度的对象分组方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

一方面，本申请提供了一种对象分组方法。方法包括：

获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像；

确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象；

对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵；

根据转移矩阵将第一对象投影至第二图像中，得到投影区域；

基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

另一方面，本申请还提供了一种对象分组装置。装置包括：

获取模块，用于获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像。

确定模块，用于确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象。

特征提取模块，用于对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵。

投影模块，用于根据转移矩阵将第一对象投影至第二图像中，得到投影区域。

分组模块，用于基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

在一些实施例中，确定模块具体用于：将第一图像中任一对象作为第一对象，基于第一对象在第一图像上所处的对象区域，从第一图像上截取第一对象的图像；基于第二图像上各对象所处的对象区域，截取第二图像上各对象的图像；获取第一对象的图像与第二图像上每个对象的图像之间的相似度；将第二图像上相似度满足预设条件的对象，作为与第一对象对应的第二对象。

在一些实施例中，确定模块具体用于：对第一对象的图像进行特征提取，得到第一对象对应的特征向量；分别对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量；计算第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离；基于向量距离，确定第一对象的图像和第二图像上每个对象的图像之间的相似度。

在一些实施例中，特征提取模块还用于：获取第一图像上每个特征点对应的描述符，以及第二图像上每个特征点对应的描述符；将第一图像上每个特征点的位置和相应的描述符进行融合，得到第一图像上各个特征点对应的描述向量；将第二图像上每个特征点的位置和相应的描述符进行融合，得到第二图像上各个特征点对应的描述向量；基于第一图像上各个特征点对应的描述向量，以及第二图像上各个特征点对应的描述向量，构建匹配得分矩阵；基于匹配得分矩阵，确定第一图像中的特征点与第二图像中的特征点之间的匹配关系。

在一些实施例中，特征提取模块具体用于：根据第一对象在第一图像上所处的对象区域，从第一图像所包含的特征点中，筛选得到第一对象对应的特征点；根据第二对象在第二图像上所处的对象区域，从第二图像所包含的特征点中，筛选得到第二对象对应的特征点；基于第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定与第一对象对应的转移矩阵。

在一些实施例中，特征提取模块具体用于：根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对；基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵作为转移矩阵。

在一些实施例中，投影模块具体用于：确定第一对象在第一图像上所处对象区域的角点；根据转移矩阵，确定角点在第二图像上的投影角点，基于投影角点确定投影区域。

在一些实施例中，分组模块具体用于：确定投影区域与第二图像中各第二对象的对象区域间的重叠区域占比；根据重叠区域占比，确定第一对象与第二对象的分组结果。

在一些实施例中，分组模块还用于：对第一对象在第一图像上所处的对象区域、以及第二图像中各第二对象的对象区域进行文字识别；基于投影区域与第二图像中各第二对象的对象区域间的位置关系、以及文字识别结果，确定第一对象与第二对象的分组结果。

在一些实施例中，第一对象对应的特征向量和第二图像上各个对象对应的特征向量，通过训练完成的特征提取模型得到，本申请实施例提供的对象分组装置，还包括模型训练模块，用于获取训练样本集，训练样本集包括多个训练样本对，每个训练样本对包括至少两个训练图像；将训练样本对中至少两个训练图像，分别输入至待训练的特征提取模型中的至少两个特征提取分支，得到至少两个训练图像各自对应的特征向量；计算至少两个训练图像各自对应的特征向量之间的相似度；基于计算得到的相似度和标注相似度，确定模型损失函数；基于模型损失函数对待训练的特征提取模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的特征提取模型。

在一些实施例中，本申请实施例提供的对象分组装置，还包括优化模块，用于在得到多个对象分组后，从每个对象分组中筛选画面质量满足预设清晰条件的目标对象；对筛选得到的目标对象进行文本识别，得到对应的文本信息；对文本信息满足相似条件的目标对象进行合并处理。

另一方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像；

确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象；

对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵；

根据转移矩阵将第一对象投影至第二图像中，得到投影区域；

基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

另一方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像；

确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象；

对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵；

根据转移矩阵将第一对象投影至第二图像中，得到投影区域；

基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

另一方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像；

确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象；

对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵；

根据转移矩阵将第一对象投影至第二图像中，得到投影区域；

基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

上述对象分组方法、装置、计算机设备、存储介质和计算机程序产品，获取到多张待处理图像后，可对各待处理图像分别进行对象检测，得到待处理图像上各对象所处的对象区域。对于多张待处理图像中的第一图像和第二图像，可在第一图像上确定第一对象，在第二图像上查找与第一对象对应的第二对象。另外，可对各待处理图像分别进行特征点提取，根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵。根据该转移矩阵将上述在第一图像上确定的第一对象投影至第二图像中，得到投影区域，在投影区域与第二对象在第二图像上所处的对象区域之间的位置关系满足一定条件的情况下，将第一对象和第二对象分到一个组，这种利用投影区域和对象区域之间的位置关系来确定分组结果的方式，可将相似度很高但并不属同一兴趣点的对象识别出来，和仅通过相似度来进行分组的方式相比，提升了分组结果的准确性。

附图说明

图1为一个实施例中对象分组方法的应用环境图；

图2为一个实施例中对象分组方法的流程示意图；

图3为一个实施例中确定第一对象和第二对象的流程示意图；

图4为一个实施例中确定匹配关系的流程示意图；

图5为一个实施例中特征点提取模型的结构示意图；

图6为一个实施例中特征点间匹配关系的示意图；

图7为一个实施例中求取单应矩阵的原理图；

图8为一个实施例中第一对象的示意图；

图9为一个实施例中第一对象的投影区域的示意图；

图10为另一个实施例中第一对象的示意图；

图11为另一个实施例中第一对象的投影区域的示意图；

图12为一个实施例中训练特征提取模型时使用的结构示意图；

图13为一个实施例中训练得到的特征提取模型的结构示意图；

图14为一个实施例中对象分组装置的结构框图；

图15为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的对象分组方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。本申请各实施例提供的对象分组方法，可以由终端102或者服务器104单独执行，也可由终端102和服务器104协作执行，以终端102单独执行为例进行说明：终端102获取到多张待处理图像后，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域。其中，待处理图像包括第一图像和第二图像，可确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象。终端102可对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵，根据转移矩阵将第一对象投影至第二图像中，得到投影区域；基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

其中，终端102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。

本申请实施例提供的分组方法可通过人工智能(Artificial Intelligence,AI)技术自动执行，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例中特征提取、特征点提取、特征点匹配等均可通过机器学习(Machine Learning,ML)得到模型来实现，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在一个实施例中，如图2所示，提供了一种对象分组方法，以该方法应用于计算机设备为例进行说明，该计算机设备可以为图1中的终端或者服务器，或者为终端和服务器构成的系统，该方法包括以下步骤：

步骤202，获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像。

其中，待处理图像可以为包含兴趣点(Point of Interest，简称POI)的图像，待处理图像可以通过拍照得到，也可以从拍摄得到的视频中拆帧得到，本申请实施例对此不作限定。

在一些实施例中，工作人员可使用整合有全球定位系统(Global PositioningSystem，GPS)的摄像机，进行扫街持续拍摄。工作人员可使用步行或者车行的方式扫街，本申请实施例对此不作限定。工作人员可将摄像机拍摄的视频导入计算机设备，计算机设备基于导入的视频，拆帧得到多张待处理图像。

在一些实施例中，工作人员可手持包含GPS的智能设备在车辆无法达到的地方，进行扫街持续拍摄。智能设备例如可以是手机，平板电脑等。工作人员可将智能设备拍摄的视频导入计算机设备，计算机设备基于导入的视频，拆帧得到多张待处理图像。

其中，多张待处理图像中包括第一图像和第二图像，第一图像可以为帧序号排在第二图像之前的任一帧图像，示例性的，第一图像可以为第二图像的前一帧图像。

其中，对象可以为能够作为POI的标志物，示例性的，对象可以为商店的招牌，简称店招。

在一些实施例中，计算机设备在获取到多张待处理图像后，可对每张待处理图像进行对象检测，得到每张待处理图像中各对象所处的对象区域。

在一些实施例中，计算机设备可将待处理图像输入预先训练好的对象检测模型中，将对象检测模型输出的各个区域作为各对象所处的对象区域。

步骤204，确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象。

在一些实施例中，计算机设备在确定第一图像上各对象所处的对象区域后，随机选择一个对象作为第一对象，并在第二图像上查找与该第一对象对应的至少一个第二对象，基于第一对象和至少一个第二对象做后续处理，以确定第一对象和第二对象的分组结果。

在一些实施例中，计算机设备可基于第一对象在第一图像上所处的对象区域，从第一图像上截取第一对象的图像。还可基于第二图像上各对象所处的对象区域，截取第二图像上各对象的图像。在得到第一对象的图像以及第二图像上各对象的图像后，可获取第一对象的图像与第二图像上每个对象的图像之间的相似度，将第二图像上相似度满足预设条件的对象，作为与第一对象对应的第二对象。

在一些实施例中，计算机设备在得到第一对象的图像以及第二图像上各对象的图像后，可对第一对象的图像进行特征提取，得到第一对象对应的特征向量，分别对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量，基于第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离，确定第一对象的图像和第二图像上每个对象的图像之间的相似度。

在一些实施例中，计算机设备可将第一对象的图像输入预先训练好的特征提取模型，将特征提取模型输出的向量作为第一对象对应的特征向量。对于第二图像上每个对象的图像，也可将该对象的图像输入预先训练好的特征提取模型，将特征提取模型输出的向量作为相应对象对应的特征向量。

在一些实施例中，计算机设备得到第一对象的图像与第二图像上每个对象的图像之间的相似度，可按照相似度从高到低对第二图像上各个对象进行排序，将排在前面的N个对象均作为与第一对象对应的第二对象，示例性的，可将排在最前面的1个对象作为与第一对象对应的第二对象。

需要说明的是，计算机设备在第一图像包含的对象中随机选择一个对象作为第一对象，并通过上述方式在第二图像上找到对应的第二对象后。可继续在第一图像上剩下的对象中再次随机选择一个对象作为第一对象，并通过上述方式在第二图像上确定与之对应的第二对象。直至第一图像上的所有对象均被遍历完为止。

下面举例说明：

假设计算机设备对第一图像进行店招检测的结果为：第一图像包括3个店招，对第二图像进行店招检测的结果为：第二图像包括4个店招，可在第一图像上包含的3个店招中随机选择一个店招，在第二图像包含的4个店招中确定与之对应的店招，通过本申请实施例后续的步骤，确定这两个店招属于同一POI。然后在第一图像上剩下的2个店招中再次随机选择一个店招，并在第二图像包含的4个店招中确定与之对应的店招，并进一步确定这两个店招属于同一POI。同样的，对于第一图像上剩下的最后1个店招，再在第二图像包含的4个店招中确定与之对应的店招，并进一步确定这两个店招属于同一POI。这样便可将第一图像上的店招全部遍历完，避免了遍历不全导致发生更新的POI没有被识别到的问题，提升了POI数据的准确度。

步骤206，对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵。

在一些实施例中，计算机设备可预先训练得到特征点提取模型，计算机设备可将待处理图像输入至该特征点提取模型中，特征点提取模型便可输出待处理图像上各特征点的位置，以及每个特征点对应的描述符。

其中，预先训练得到特征点提取模型可包括编码结构、特征点提取结构以及描述符确定结构，特征点提取结构和描述符确定结构作为并列分支连接在编码结构之后，可将待处理图像输入至编码结构，编码结构对待处理图像进行编码处理后，将编码处理结果分别输入至特征点提取结构和描述符确定结构，特征点提取结构便会输出待处理图像上各特征点的位置，描述符确定结构输出每个特征点对应的描述符。

在一些实施例中，计算机设备可预先训练得到特征点匹配模型，计算机设备在得到第一图像上各特征点的位置、第一图像上每个特征点对应的描述符、第二图像上各特征点的位置、第二图像上每个特征点对应的描述符后，可将第一图像上各特征点的位置、第一图像上每个特征点对应的描述符、第二图像上各特征点的位置、第二图像上每个特征点对应的描述符输入到特征点匹配模型，特征点匹配模型便会输出第一图像中的特征点与第二图像中的特征点之间的匹配关系。

在一些实施例中，计算机设备在得到第一图像中的特征点与第二图像中的特征点之间的匹配关系后，可根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定第一图像和第二图像之间相互匹配成功的特征点对，基于相互匹配成功的特征点对的位置信息，计算得到转移矩阵。

在一些实施例中，计算机设备在得到第一图像中的特征点与第二图像中的特征点之间的匹配关系后，可根据第一对象在第一图像上所处的对象区域，从第一图像所包含的特征点中，筛选得到第一对象对应的特征点；根据第二对象在第二图像上所处的对象区域，从第二图像所包含的特征点中，筛选得到第二对象对应的特征点，根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对，基于相互匹配成功的特征点对的位置信息，计算得到转移矩阵。

步骤208，根据转移矩阵将第一对象投影至第二图像中，得到投影区域。

在一些实施例中，计算机设备在确定转移矩阵后，可基于第一对象在第一图像上所处的对象区域，使用转移矩阵计算得到该对象区域在第二图像上的投影区域。

在一些实施例中，计算机设备可确定第一对象在第一图像上所处对象区域的角点；根据转移矩阵，确定角点在第二图像上的投影角点，将投影角点所构成的区域作为投影区域。

步骤210，基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

在一些实施例中，计算机设备在确定第一对象在第二图像上的投影区域后，可获取该投影区域与第二对象在第二图像上所处的对象区域之间的位置关系，在位置关系指示两个区域的重叠度达到预设阈值时，确定第一对象与第二对象属于同一分组，即，第一对象和第二对象属于同一POI，在位置关系指示两个区域的重叠度小于预设阈值时，确定第一对象与第二对象不属于同一分组，即，第一对象和第二对象不属于同一POI。

在一些实施例中，计算机设备还可对第一对象在第一图像上所处的对象区域、以及第二图像中各第二对象的对象区域进行文字识别，在投影区域与第二对象在第二图像上所处的对象区域之间的位置关系指示，两个区域的重叠度达到预设阈值时，进一步判断第一对象在第一图像上所处的对象区域内的文字，与第二对象在第二图像上所处的对象区域内的文字是否相同，若相同，则确定第一对象与第二对象属于同一分组。

上述实施例中，获取到多张待处理图像后，可对各待处理图像分别进行对象检测，得到待处理图像上各对象所处的对象区域。对于多张待处理图像中的第一图像和第二图像，可在第一图像上确定第一对象，在第二图像上查找与第一对象对应的第二对象。另外，可对各待处理图像分别进行特征点提取，根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵。根据该转移矩阵将上述在第一图像上确定的第一对象投影至第二图像中，得到投影区域，在投影区域与第二对象在第二图像上所处的对象区域之间的位置关系满足一定条件的情况下，将第一对象和第二对象分到一个组，这种利用投影区域和对象区域之间的位置关系来确定分组结果的方式，可将相似度很高但并不属同一兴趣点的对象识别出来，和仅通过相似度来进行分组的方式相比，提升了分组结果的准确性。

在一些实施例中，参见图3所示，确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象的步骤，包括：

步骤301，将第一图像中任一对象作为第一对象，基于第一对象在第一图像上所处的对象区域，从第一图像上截取第一对象的图像。

步骤302，基于第二图像上各对象所处的对象区域，截取第二图像上各对象的图像。

在一些实施例中，计算机设备可从第一图像包含的所有对象中随机选择一个对象，作为第一对象。计算机设备可基于第一对象在第一图像上所处的对象区域，从第一图像上截取得到第一对象的图像。基于第二图像上各对象所处的对象区域，截取得到第二图像上各对象的图像。

步骤303，获取第一对象的图像与第二图像上每个对象的图像之间的相似度。

步骤304，将第二图像上相似度满足预设条件的对象，作为与第一对象对应的第二对象。

在一些实施例中，计算机设备在得到第一对象的图像以及第二图像上各对象的图像后，可对第一对象的图像进行特征提取，得到第一对象对应的特征向量，对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量，基于第一对象对应的特征向量与第二图像上每个对象对应的特征向量，确定第一对象的图像与第二图像上每个对象的图像之间的相似度。

上述实施例中，在第一图像上确定第一对象后，在第二图像包含的对象中查找与第一对象相似度满足预设条件的对象，作为第二对象，这样可将相似度很低的、明显不属于同一POI的对象滤除，这些对象不再参与后续投影区域计算等操作，减小了计算资源的消耗。

在一些实施例中，获取第一对象的图像与第二图像上每个对象的图像之间的相似度的步骤，包括：对第一对象的图像进行特征提取，得到第一对象对应的特征向量；分别对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量；计算第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离；基于向量距离，确定第一对象的图像和第二图像上每个对象的图像之间的相似度。

在一些实施例中，计算机设备可将第一对象的图像输入预先训练的特征提取模型中，将特征提取模型输出的结果作为第一对象对应的特征向量。对于第二图像上每个对象，将该对象的图像输入预先训练的特征提取模型中，将特征提取模型输出的结果作为该对象对应的特征向量。对于第二图像上每个对象，计算机设备可计算第一对象对应的特征向量和该对象对应的特征向量之间的向量距离，计算机设备可将该向量距离作为第一对象的图像和该对象的图像之间的相似度。

在一些实施例中，可在计算机设备中设置相似度的筛选范围，示例性，该筛选范围可以为[a，b]，计算机设备在得到第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离，在第一对象对应的特征向量与第二图像上某个对象对应的特征向量之间的向量距离大于b的情况下，计算机设备可直接将第一对象和该对象分到一个组，即，计算机设备可直接确定第一对象和该对象属于同一POI，在第一对象对应的特征向量与第二图像上某个对象对应的特征向量之间的向量距离小于a的情况下，计算机设备可直接确定第一对象和该对象不属于同一个组，即，计算机设备可直接确定第一对象和该对象不属于同一POI。在第一对象对应的特征向量与第二图像上某个对象对应的特征向量之间的向量距离在[a，b]内时，可将该对象作为与第一对象相对应的第二对象。

在一些实施例中，对于第二图像上每个对象，计算机设备可通过计算第一对象对应的特征向量和该对象对应的特征向量之间余弦距离，将计算得到的余弦距离作为两个特征向量之间的向量距离。或者，计算机设备可通过矩阵乘法计算两个特征向量之间的向量距离。本申请实施例对此不作限定。

上述实施例中，对第一对象的图像进行特征提取，得到第一对象对应的特征向量，对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量，基于第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离，确定第一对象的图像和第二图像上每个对象的图像之间的相似度，用向量距离表征相似度的方式，准确度较高。

在一些实施例中，参见图4所示，根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵之前，本申请实施例提供的对象分组方法，还包括确定匹配关系的步骤，该步骤具体包括：

步骤401，获取第一图像上每个特征点对应的描述符，以及第二图像上每个特征点对应的描述符。

在一些实施例中，计算机设备可预先训练得到特征点提取模型，计算机设备可将待处理图像输入至该特征点提取模型中，特征点提取模型便可输出待处理图像上各特征点的位置，以及每个特征点对应的描述符。

示例性的，参见图5所示，预先训练得到特征点提取模型可包括编码结构(Encoder)、特征点提取结构(Interest Point Decoder)以及描述符确定结构(DescriptorDecoder)，特征点提取结构和描述符确定结构作为并列分支连接在编码结构之后，特征点提取结构(Interest Point Decoder)包括卷积层、特征处理层、数据映射层(Softmax)以及数组转换层(Reshape)，描述符确定结构包括卷积层、特征处理层、插值层(Bi-CubicInterpolate)以及归一化层(L2 Norm)。可将待处理图像输入至编码结构，待处理图像的宽和高分别是W和H，编码结构对待处理图像进行编码处理后，将编码处理结果分别输入至特征点提取结构和描述符确定结构，编码处理结果依次经过特征点提取结构中的卷积层、特征处理层、数据映射层(Softmax)以及数组转换层(Reshape)的处理，可得到待处理图像上各特征点的位置。特征点提取结构中的卷积层输出的特征图的宽为W/8、高为H/8。特征点提取结构中的特征处理层的通道数为65。特征点提取结构中数组转换层(Reshape)输出的结果图的宽和高分别是W和H，结果图的数量为1。编码处理结果依次经过描述符确定结构中的卷积层、特征处理层、插值层(Bi-Cubic Interpolate)以及归一化层(L2 Norm)的处理，可得到待处理图像上每个特征点对应的描述符。描述符确定结构中的卷积层输出的特征图的宽为W/8、高为H/8。描述符确定结构中的特征处理层的通道数为D。特征点提取结构中归一化层(L2 Norm)输出的结果图的宽和高分别是W和H，结果图的数量为D。

步骤402，将第一图像上每个特征点的位置和相应的描述符进行融合，得到第一图像上各个特征点对应的描述向量。

步骤403，将第二图像上每个特征点的位置和相应的描述符进行融合，得到第二图像上各个特征点对应的描述向量。

在一些实施例中，计算机设备可预先训练得到特征点匹配模型，计算机设备可将第一图像上各特征点的位置、第一图像上每个特征点对应的描述符、第二图像上各特征点的位置、第二图像上每个特征点对应的描述符输入到特征点匹配模型，特征点匹配模型将第一图像上每个特征点的位置和相应的描述符进行融合，得到第一图像上各个特征点对应的描述向量，将第二图像上每个特征点的位置和相应的描述符进行融合，得到第二图像上各个特征点对应的描述向量。

步骤404，基于第一图像上各个特征点对应的描述向量，以及第二图像上各个特征点对应的描述向量，构建匹配得分矩阵。

步骤405，基于匹配得分矩阵，确定第一图像中的特征点与第二图像中的特征点之间的匹配关系。

在一些实施例中，计算机设备可基于第一图像上各个特征点对应的描述向量，以及第二图像上各个特征点对应的描述向量，构建匹配得分矩阵；基于匹配得分矩阵，确定第一图像中的特征点与第二图像中的特征点之间的匹配关系。

其中，匹配得分矩阵包含第一图像上每个特征点和第二图像上各特征点之间的匹配得分，对于第一图像上每个特征点，可在匹配得分矩阵中查询当前特征点和第二图像上各特征点之间的匹配得分，将第二图像上匹配得分大于预设阈值的特征点作为与当前特征点匹配的特征点。

需要说明的是：并不一定第一图像上的所有特征点在第二图像上都存在相匹配的特征点，示例性的，第一图像包括N个特征点，基于匹配得分矩阵，其中M个特征点可能在第二图像上能够找到相匹配的特征点，剩余N-M个特征点找不到相匹配的特征点。这种情况下，可基于匹配成功的特征点，确定转移矩阵。

示例性的，参见图6所示，图6中每张图像上的点为提取得到的特征点，两张图像上使用线连接起来的点为匹配成功的点，可基于匹配成功的特征点，确定转移矩阵。

上述实施例中，可基于第一图像上各特征点的位置、第一图像上每个特征点对应的描述符、第二图像上各特征点的位置、第二图像上每个特征点对应的描述，确定第一图像中的特征点与第二图像中的特征点之间的匹配关系，后续可以基于该匹配关系，计算转移矩阵，利用该转移矩阵确定第一对象和第二对象的分组结果，可将相似度很高但并不属同一兴趣点的对象识别出来，提升了分组结果的准确性。

在一些实施例中，根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵的步骤，包括：根据第一对象在第一图像上所处的对象区域，从第一图像所包含的特征点中，筛选得到第一对象对应的特征点；根据第二对象在第二图像上所处的对象区域，从第二图像所包含的特征点中，筛选得到第二对象对应的特征点；基于第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定与第一对象对应的转移矩阵。

在一些实施例中，计算机设备可获取第一对象在第一图像上所处的对象区域的坐标范围，在第一图像包含的特征点中，查找坐标落在该坐标范围内的特征点，将查找到的特征点作为第一对象对应的特征点。

在一些实施例中，与第一对象对应的特征点类似，计算机设备可获取第二对象在第二图像上所处的对象区域的坐标范围，在第二图像包含的特征点中，查找坐标落在该坐标范围内的特征点，将查找到的特征点作为第二对象对应的特征点。

在一些实施例中，由于匹配得分矩阵包含第一图像上每个特征点和第二图像上各特征点之间的匹配得分，对于第一对象对应的每个特征点，可在匹配得分矩阵中查询当前特征点和第二图像上各特征点之间的匹配得分，将第二图像上匹配得分大于预设阈值的特征点作为与当前特征点匹配的特征点，从而确定第一对象对应的特征点和第二对象对应的特征点之间的匹配关系。计算机设备可进一步根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定与第一对象对应的转移矩阵。

上述实施例中，针对第一图像上的每个对象，确定专属的转移矩阵，后续可基于该专属的转移矩阵，将第一图像上相应的对象投影在第二图像上，提升了投影区域的准确性。

在一些实施例中，基于第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定转移矩阵的步骤，包括：根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对；基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵作为转移矩阵。

如上文所描述，并不一定第一图像上的所有特征点在第二图像上都存在相匹配的特征点，因此，对于从第一图像上筛选出来的第一对象对应的特征点，也不一定每个特征点都能在第二对象对应的特征点中找到匹配点。因此，计算机设备可根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对。基于相互匹配成功的特征点对的位置信息，计算转移矩阵。

在一些实施例中，计算机设备在确定相互匹配成功的特征点对后，可基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵中的至少一种作为转移矩阵。示例性的，可将计算得到的单应矩阵和基础矩阵均作为转移矩阵。

示例性的，参见图7所示，图7中的正方体为真实场景中的被拍摄物体，P(X,Y,Z)^T为正方体的一个顶点，p(x,y,1)为从左边角度对正方体进行拍摄得到的图像中正方体的顶点，点p’(x’,y’,1)为从右边角度对正方体进行拍摄得到的图像中正方体的顶点，点p(x,y,1)和点p’(x’,y’,1)为相互匹配的关键点对，在得到多个关键点对后，可基于多个关键点对计算得到单应矩阵。

上述实施例中，根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对；基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵作为转移矩阵，该转移矩阵可用于后续投影区域的确定，这种利用投影区域和对象区域之间的位置关系来确定分组结果的方式，可将相似度很高但并不属同一兴趣点的对象识别出来，提升了分组结果的准确性。

在一些实施例中，根据转移矩阵将第一对象投影至第二图像中，得到投影区域的步骤，包括：确定第一对象在第一图像上所处对象区域的角点；根据转移矩阵，确定角点在第二图像上的投影角点，基于投影角点确定投影区域。

其中，第一对象在第一图像上所处对象区域的形状可以为方形，可将对象区域的四个顶点作为对象区域的角点。

在一些实施例中，计算机设备可获取第一对象在第一图像上所处对象区域的角点的坐标，可利用转移矩阵和该坐标，计算角点在第二图像上的投影角点，计算机设备可基于投影角点，构建得到投影区域。

其中，在将对象区域的四个顶点作为对象区域的角点的情况下，通过转移矩阵可得到四个投影角点，可将该四个投影角点构成的区域作为投影区域。

示例性的，参见图8和图9所示，图8为第一图像，图9为第二图像，可将第一图像中“A商铺”作为第一对象，第一图像中方框示意的区域为“A商铺”所处的对象区域，第二图像中方框示意的区域为将“A商铺”投影至第二图像后得到投影区域。再如，参见图10和图11所示，图10为第一图像，图11为第二图像，可将第一图像中“汉堡”作为第一对象，第一图像中方框示意的区域为“汉堡”所处的对象区域，第二图像中方框示意的区域为将“汉堡”投影至第二图像后得到投影区域。

上述实施例中，在计算得到转移矩阵后，可利用该转移矩阵，求取第一对象在第一图像上所处对象区域的角点在第二图像上的投影角点，基于该投影角点，确定投影区域，利用投影区域和第二对象在第二图像所处的对象区域之间的位置关系来确定分组结果，可将相似度很高但并不属同一兴趣点的对象识别出来，提升了分组结果的准确性。

在一些实施例中，基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果的步骤，包括：确定投影区域与第二图像中各第二对象的对象区域间的重叠区域占比；根据重叠区域占比，确定第一对象与第二对象的分组结果。

在一些实施例中，计算机设备在确定第一对象在第二图像上的投影区域后，可计算该投影区域与第二对象在第二图像上所处对象区域之间的重叠区域的面积，并计算该面积和第二对象在第二图像上所处对象区域的面积之间的比例，将该比例作为重叠区域占比。

在一些实施例中，计算机设备在得到重叠区域占比后，可将重叠区域占比和预设阈值进行比较，在重叠区域占比大于预设阈值的情况下，确定第一对象与第二对象属于同一分组，即，第一对象与第二对象属于同一POI。在重叠区域占比小于或者等于预设阈值的情况下，确定第一对象与第二对象不属于同一分组，即，第一对象与第二对象不属于同一POI。

上述实施例中，在确定投影区域后，计算投影区域与第二图像中各第二对象的对象区域间的重叠区域占比，在重叠区域占比大于预设阈值的情况下，认为两个区域基本是重合的，则将第一对象与第二对象分到一个组，这种结合位置关系确定分组结果的方式，提升了分组结果的准确度。

在一些实施例中，本申请实施例提供的对象分组方法，还包括文字识别步骤，该文字识别步骤包括：对第一对象在第一图像上所处的对象区域、以及第二图像中各第二对象的对象区域进行文字识别；相应的，基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果，包括：基于投影区域与第二图像中各第二对象的对象区域间的位置关系、以及文字识别结果，确定第一对象与第二对象的分组结果。

在一些实施例中，计算机设备可对第一对象在第一图像上所处的对象区域进行文字识别，得到第一对象在第一图像上所处的对象区域包含的文字。计算机设备还可对第二图像中各第二对象的对象区域进行文字识别，得到第二对象在第二图像上所处的对象区域包含的文字。

在一些实施例中，在投影区域与第二对象在第二图像上所处的对象区域间的位置关系显示，两个区域基本重合的情况下，计算机设备进一步第一对象在第一图像上所处的对象区域包含的文字，与第二对象在第二图像上所处的对象区域包含的文字是否相同，在文字相同的情况下，确定第一对象与第二对象属于同一分组，即，第一对象与第二对象属于同一POI。在文字不同的情况下，确定第一对象与第二对象不属于同一分组，即，第一对象与第二对象不属于同一POI。

上述实施例中，在投影区域和第二对象在第二图像上所处的对象区域基本重合的情况下，进一步判断第一对象所处的对象区域包含的文字，与第二对象所处的对象区域包含的文字是否相同，在相同的情况下，将第一对象与第二对象分到一个组，这种结合文字识别结果做进一步判断的方式，提升了分组结果的准确度。

在一些实施例中，第一对象对应的特征向量和第二图像上各个对象对应的特征向量，通过训练完成的特征提取模型得到，特征提取模型的训练步骤包括：获取训练样本集，训练样本集包括多个训练样本对，每个训练样本对包括至少两个训练图像；将训练样本对中至少两个训练图像，分别输入至待训练的特征提取模型中的至少两个特征提取分支，得到至少两个训练图像各自对应的特征向量；计算至少两个训练图像各自对应的特征向量之间的相似度；基于计算得到的相似度和标注相似度，确定模型损失函数；基于模型损失函数对待训练的特征提取模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的特征提取模型。

其中，参见图12所示，待训练的特征提取模型可以采用深度学习孪生网络结构，待训练的特征提取模型包括两个结构完全相同的特征提取分支、以及连接在两个特征提取分支之后的全连接层。

其中，训练样本集中的多个训练样本对中有正样本对，也有负样本对。正样本对中的两个训练图像包含相同的对象，负样本对中的两个训练图像包含不同的对象。

在一些实施例中，在训练过程中，参见图12所示，计算机设备可将训练样本对中至少两个训练图像，分别输入至两个特征提取分支，每个特征提取分支对输入的训练图像进行特征提取，将得到的特征向量输入至全连接层，全连接层接收到两个特征提取分支各自输出的特征向量后，计算两个特征向量之间的相似度，并将计算得到的相似度输出到损失函数计算模块，损失函数计算模块基于全连接层输出的相似度和标注相似度，确定模型损失函数。在模型损失函数不满足模型训练的停止条件的情况下，计算机设备基于模型损失函数对待训练的特征提取模型进行参数调整，基于参数调整后的特征提取模型继续进行训练，直到确定的模型损失函数满足模型训练的停止条件时停止，从而得到训练完成的特征提取模型。

需要说明的是：参见图13所示，在训练完成后，可保留训练过程中使用到的一个特征提取分支，在推理阶段，可将图像输入到保留的特征提取分支，将该分支的输出作为图像对应的特征向量。

上述实施例中，介绍了特征提取模型的训练方法，训练得到特征提取模型后，可用于对第一图像的图像、以及第二图像上各对象的图像的特征提取，可基于提取到的特征向量，确定第一对象的图像和第二图像上每个对象的图像之间的相似度，基于该相似度，确定与第一对象对应的第二图像，这种方式可将相似度很低的图像滤除，减小了对计算资源的消耗。

在一些实施例中，本申请实施例提供的对象分组方法，还包括分组优化步骤，该分组优化步骤包括：在得到多个对象分组后，从每个对象分组中筛选画面质量满足预设清晰条件的目标对象；对筛选得到的目标对象进行文本识别，得到对应的文本信息；对文本信息满足相似条件的目标对象进行合并处理。

在一些实施例中，计算机设备通过上述实施例的方式得到多个对象分组后，对于每个对象分组，可从该对象分组中查找画面质量满足预设清晰条件的目标对象，并对目标对象进行分本识别，得到对应的文本信息，将该文本信息作为相应对象分组所对应的文本信息。

在一些实施例中，计算机设备在得到各个对象分组各自对应的文本信息后，可将文本信息相同的对象分组进行合并处理，从而得到优化后的对象分组。

上述实施例中，在得到多个对象分组后，对各对象分组做进一步判断，将属于同一POI的对象分组进行合并，使得每个对象分组所对应的POI是不同的，提升了分组准确度。

在一些实施例中，提供一种对象分组方法，以该方法应用于计算机设备为例进行说明，该方法包括：

获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像。

将第一图像中任一对象作为第一对象，基于第一对象在第一图像上所处的对象区域，从第一图像上截取第一对象的图像；基于第二图像上各对象所处的对象区域，截取第二图像上各对象的图像；对第一对象的图像进行特征提取，得到第一对象对应的特征向量；分别对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量；计算第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离；基于向量距离，确定第一对象的图像和第二图像上每个对象的图像之间的相似度。将第二图像上相似度满足预设条件的对象，作为与第一对象对应的第二对象。

对各待处理图像分别进行特征点提取，获取第一图像上每个特征点对应的描述符，以及第二图像上每个特征点对应的描述符；将第一图像上每个特征点的位置和相应的描述符进行融合，得到第一图像上各个特征点对应的描述向量；将第二图像上每个特征点的位置和相应的描述符进行融合，得到第二图像上各个特征点对应的描述向量；基于第一图像上各个特征点对应的描述向量，以及第二图像上各个特征点对应的描述向量，构建匹配得分矩阵；基于匹配得分矩阵，确定第一图像中的特征点与第二图像中的特征点之间的匹配关系。

根据第一对象在第一图像上所处的对象区域，从第一图像所包含的特征点中，筛选得到第一对象对应的特征点；根据第二对象在第二图像上所处的对象区域，从第二图像所包含的特征点中，筛选得到第二对象对应的特征点；根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对；基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵作为转移矩阵。

确定第一对象在第一图像上所处对象区域的角点；根据转移矩阵，确定角点在第二图像上的投影角点，基于投影角点确定投影区域。

对第一对象在第一图像上所处的对象区域、以及第二图像中各第二对象的对象区域进行文字识别；基于投影区域与第二图像中各第二对象的对象区域间的位置关系、以及文字识别结果，确定第一对象与第二对象的分组结果。

在得到多个对象分组后，从每个对象分组中筛选画面质量满足预设清晰条件的目标对象；对筛选得到的目标对象进行文本识别，得到对应的文本信息；对文本信息满足相似条件的目标对象进行合并处理。

上述实施例中，获取到多张待处理图像后，可对各待处理图像分别进行对象检测，得到待处理图像上各对象所处的对象区域。对于多张待处理图像中的第一图像和第二图像，可在第一图像上确定第一对象，在第二图像上查找与第一对象对应的第二对象。另外，可对各待处理图像分别进行特征点提取，根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵。根据该转移矩阵将上述在第一图像上确定的第一对象投影至第二图像中，得到投影区域，在投影区域与第二对象在第二图像上所处的对象区域之间的位置关系满足一定条件的情况下，将第一对象和第二对象分到一个组，这种利用投影区域和对象区域之间的位置关系来确定分组结果的方式，可将相似度很高但并不属同一兴趣点的对象识别出来，和仅通过相似度来进行分组的方式相比，提升了分组结果的准确性。

在一些实施例中，本申请实施例提供的对象分组方法，可以应用在地理产品中POI数据更新的场景下，POI数据可以为某个地理位置周边的信息，也可为具备特定功能的点的信息，比如：POI可以为商店、酒吧、加油站等。保持地理产品中POI数据的鲜度，可以让使用者在地理产品中准确找到想去的位置，可提升了使用者对地理产品的使用体验。工作人员可通过扫街拍摄的方式获取多张待处理图像，对各待处理图像分别进行店招检测，以确定每张待处理图像中各店招所处的店招区域，可将多张待处理图像中帧序号在前的图像作为第一图像，将帧序号在后的图像作为第二图像，可将第一图像上检测到的任一店招作为第一店招，可在第二图像上查找与第一店招之间相似度满足一定条件的店招，作为第二店招。可对各待处理图像分别进行特征点提取，从第一图像包含的特征点中筛选得到的第一店招对应的特征点，从第二图像包含的特征点中筛选得到的第二店招对应的特征点，基于第一店招对应的特征点和第二店招对应的特征点之间的匹配关系，确定第一店招的专属转移矩阵。基于第一店招在第一图像所处的店招区域和该转移矩阵，将第一店招投影至第二图像上，得到第一店招的投影区域。最终基于该投影区域和第二店招在第二图像上所处的店招区域之间的位置关系，确定第一店招和第二店招是否属于同一分组，即，确定第一店招和第二店招是否属于同一POI。在属于同一POI的店招聚合为一组后，可获取每个店招分组中店招的名称，在地理产品的数据库中查询是否有相同名称的POI，若无，则将店招分组对应的POI的数据添加至数据库中，保证了数据库中POI数据的鲜度。

需要说明的是，上述提供的应用场景只是用于对本申请的对象分组方法进行说明，本申请提供的对象分组方法的应用不局限于上述提供的应用场景。比如还可以是应用在对购物应用涉及到商品进行分组、风景视频中的景点进行分组等，本申请实施例对此不作限定。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的对象分组方法的对象分组装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个对象分组装置实施例中的具体限定可以参见上文中对于对象分组方法的限定，在此不再赘述。

在一个实施例中，如图14所示，提供了一种对象分组装置，包括：

获取模块1401，用于获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；待处理图像包括第一图像和第二图像。

确定模块1402，用于确定第一图像中的第一对象、以及第二图像中与第一对象对应的至少一个第二对象。

特征提取模块1403，用于对各待处理图像分别进行特征点提取，并根据第一图像中的特征点与第二图像中的特征点之间的匹配关系，确定转移矩阵。

投影模块1404，用于根据转移矩阵将第一对象投影至第二图像中，得到投影区域。

分组模块1405，用于基于投影区域与第二图像中各第二对象的对象区域间的位置关系，确定第一对象与第二对象的分组结果。

在一些实施例中，确定模块1402具体用于：将第一图像中任一对象作为第一对象，基于第一对象在第一图像上所处的对象区域，从第一图像上截取第一对象的图像；基于第二图像上各对象所处的对象区域，截取第二图像上各对象的图像；获取第一对象的图像与第二图像上每个对象的图像之间的相似度；将第二图像上相似度满足预设条件的对象，作为与第一对象对应的第二对象。

在一些实施例中，确定模块1402具体用于：对第一对象的图像进行特征提取，得到第一对象对应的特征向量；分别对第二图像上每个对象的图像进行特征提取，得到第二图像上每个对象对应的特征向量；计算第一对象对应的特征向量与第二图像上每个对象对应的特征向量之间的向量距离；基于向量距离，确定第一对象的图像和第二图像上每个对象的图像之间的相似度。

在一些实施例中，特征提取模块1403还用于：获取第一图像上每个特征点对应的描述符，以及第二图像上每个特征点对应的描述符；将第一图像上每个特征点的位置和相应的描述符进行融合，得到第一图像上各个特征点对应的描述向量；将第二图像上每个特征点的位置和相应的描述符进行融合，得到第二图像上各个特征点对应的描述向量；基于第一图像上各个特征点对应的描述向量，以及第二图像上各个特征点对应的描述向量，构建匹配得分矩阵；基于匹配得分矩阵，确定第一图像中的特征点与第二图像中的特征点之间的匹配关系。

在一些实施例中，特征提取模块1403具体用于：根据第一对象在第一图像上所处的对象区域，从第一图像所包含的特征点中，筛选得到第一对象对应的特征点；根据第二对象在第二图像上所处的对象区域，从第二图像所包含的特征点中，筛选得到第二对象对应的特征点；基于第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定与第一对象对应的转移矩阵。

在一些实施例中，特征提取模块1403具体用于：根据第一对象对应的特征点和第二对象对应的特征点之间的匹配关系，确定第一对象和第二对象之间相互匹配成功的特征点对；基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵作为转移矩阵。

在一些实施例中，投影模块1404具体用于：确定第一对象在第一图像上所处对象区域的角点；根据转移矩阵，确定角点在第二图像上的投影角点，基于投影角点确定投影区域。

在一些实施例中，分组模块1405具体用于：确定投影区域与第二图像中各第二对象的对象区域间的重叠区域占比；根据重叠区域占比，确定第一对象与第二对象的分组结果。

在一些实施例中，分组模块1405还用于：对第一对象在第一图像上所处的对象区域、以及第二图像中各第二对象的对象区域进行文字识别；基于投影区域与第二图像中各第二对象的对象区域间的位置关系、以及文字识别结果，确定第一对象与第二对象的分组结果。

在一些实施例中，第一对象对应的特征向量和第二图像上各个对象对应的特征向量，通过训练完成的特征提取模型得到，本申请实施例提供的对象分组装置，还包括模型训练模块，用于获取训练样本集，训练样本集包括多个训练样本对，每个训练样本对包括至少两个训练图像；将训练样本对中至少两个训练图像，分别输入至待训练的特征提取模型中的至少两个特征提取分支，得到至少两个训练图像各自对应的特征向量；计算至少两个训练图像各自对应的特征向量之间的相似度；基于计算得到的相似度和标注相似度，确定模型损失函数；基于模型损失函数对待训练的特征提取模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的特征提取模型。

在一些实施例中，本申请实施例提供的对象分组装置，还包括优化模块，用于在得到多个对象分组后，从每个对象分组中筛选画面质量满足预设清晰条件的目标对象；对筛选得到的目标对象进行文本识别，得到对应的文本信息；对文本信息满足相似条件的目标对象进行合并处理。

上述对象分组装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者终端，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储转移矩阵、分组结果等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象分组方法。

本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种对象分组方法，其特征在于，所述方法包括：

获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；所述待处理图像包括第一图像和第二图像；

确定所述第一图像中的第一对象、以及所述第二图像中与所述第一对象对应的至少一个第二对象；

对各所述待处理图像分别进行特征点提取，并根据所述第一图像中的特征点与所述第二图像中的特征点之间的匹配关系，确定转移矩阵；

根据所述转移矩阵将所述第一对象投影至所述第二图像中，得到投影区域；

基于所述投影区域与所述第二图像中各第二对象的对象区域间的位置关系，确定所述第一对象与所述第二对象的分组结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像中的第一对象、以及所述第二图像中与所述第一对象对应的至少一个第二对象，包括：

将第一图像中任一对象作为第一对象，基于第一对象在第一图像上所处的对象区域，从第一图像上截取第一对象的图像；

基于第二图像上各对象所处的对象区域，截取第二图像上各对象的图像；

获取所述第一对象的图像与第二图像上每个对象的图像之间的相似度；

将所述第二图像上相似度满足预设条件的对象，作为与第一对象对应的第二对象。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一对象的图像与第二图像上每个对象的图像之间的相似度，包括：

对所述第一对象的图像进行特征提取，得到第一对象对应的特征向量；

分别对所述第二图像上每个对象的图像进行特征提取，得到所述第二图像上每个对象对应的特征向量；

计算第一对象对应的特征向量与所述第二图像上每个对象对应的特征向量之间的向量距离；

基于所述向量距离，确定所述第一对象的图像和第二图像上每个对象的图像之间的相似度。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像中的特征点与所述第二图像中的特征点之间的匹配关系，确定转移矩阵之前，所述方法还包括：

获取所述第一图像上每个特征点对应的描述符，以及所述第二图像上每个特征点对应的描述符；

将所述第一图像上每个特征点的位置和相应的描述符进行融合，得到第一图像上各个特征点对应的描述向量；

将所述第二图像上每个特征点的位置和相应的描述符进行融合，得到第二图像上各个特征点对应的描述向量；

基于第一图像上各个特征点对应的描述向量，以及第二图像上各个特征点对应的描述向量，构建匹配得分矩阵；

基于所述匹配得分矩阵，确定所述第一图像中的特征点与所述第二图像中的特征点之间的匹配关系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像中的特征点与所述第二图像中的特征点之间的匹配关系，确定转移矩阵，包括：

根据第一对象在第一图像上所处的对象区域，从所述第一图像所包含的特征点中，筛选得到所述第一对象对应的特征点；

根据第二对象在第二图像上所处的对象区域，从所述第二图像所包含的特征点中，筛选得到所述第二对象对应的特征点；

基于所述第一对象对应的特征点和所述第二对象对应的特征点之间的匹配关系，确定与所述第一对象对应的转移矩阵。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一对象对应的特征点和所述第二对象对应的特征点之间的匹配关系，确定转移矩阵，包括：

根据所述第一对象对应的特征点和所述第二对象对应的特征点之间的匹配关系，确定所述第一对象和所述第二对象之间相互匹配成功的特征点对；

基于相互匹配成功的特征点对的位置信息，计算单应矩阵和基础矩阵，将计算得到的单应矩阵和基础矩阵作为转移矩阵。

7.根据权利要求1所述的方法，其特征在于，所述根据所述转移矩阵将所述第一对象投影至所述第二图像中，得到投影区域，包括：

确定所述第一对象在第一图像上所处对象区域的角点；

根据所述转移矩阵，确定所述角点在所述第二图像上的投影角点，基于所述投影角点确定投影区域。

8.根据权利要求1所述的方法，其特征在于，所述基于所述投影区域与所述第二图像中各第二对象的对象区域间的位置关系，确定所述第一对象与所述第二对象的分组结果，包括：

确定所述投影区域与所述第二图像中各第二对象的对象区域间的重叠区域占比；

根据所述重叠区域占比，确定所述第一对象与所述第二对象的分组结果。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第一对象在第一图像上所处的对象区域、以及所述第二图像中各第二对象的对象区域进行文字识别；

所述基于所述投影区域与所述第二图像中各第二对象的对象区域间的位置关系，确定所述第一对象与所述第二对象的分组结果，包括：

基于所述投影区域与所述第二图像中各第二对象的对象区域间的位置关系、以及所述文字识别结果，确定所述第一对象与所述第二对象的分组结果。

10.根据权利要求3所述的方法，其特征在于，所述第一对象对应的特征向量和所述第二图像上各个对象对应的特征向量，通过训练完成的特征提取模型得到，所述特征提取模型的训练步骤包括：

获取训练样本集，所述训练样本集包括多个训练样本对，每个训练样本对包括至少两个训练图像；

将训练样本对中至少两个训练图像，分别输入至待训练的特征提取模型中的至少两个特征提取分支，得到至少两个训练图像各自对应的特征向量；

计算至少两个训练图像各自对应的特征向量之间的相似度；

基于计算得到的相似度和标注相似度，确定模型损失函数；

基于所述模型损失函数对所述待训练的特征提取模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的特征提取模型。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

在得到多个对象分组后，从每个对象分组中筛选画面质量满足预设清晰条件的目标对象；

对筛选得到的目标对象进行文本识别，得到对应的文本信息；

对文本信息满足相似条件的对象分组进行合并处理。

12.一种对象分组装置，其特征在于，所述装置包括：

获取模块，用于获取多张待处理图像，对各待处理图像分别进行对象检测，以确定每张待处理图像中各对象所处的对象区域；所述待处理图像包括第一图像和第二图像；

确定模块，用于确定所述第一图像中的第一对象、以及所述第二图像中与所述第一对象对应的至少一个第二对象；

特征提取模块，用于对各所述待处理图像分别进行特征点提取，并根据所述第一图像中的特征点与所述第二图像中的特征点之间的匹配关系，确定转移矩阵；

投影模块，用于根据所述转移矩阵将所述第一对象投影至所述第二图像中，得到投影区域；

分组模块，用于基于所述投影区域与所述第二图像中各第二对象的对象区域间的位置关系，确定所述第一对象与所述第二对象的分组结果。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。