CN112734837B - 图像匹配的方法及装置、电子设备及车辆 - Google Patents
图像匹配的方法及装置、电子设备及车辆 Download PDFInfo
- Publication number
- CN112734837B CN112734837B CN202011597941.XA CN202011597941A CN112734837B CN 112734837 B CN112734837 B CN 112734837B CN 202011597941 A CN202011597941 A CN 202011597941A CN 112734837 B CN112734837 B CN 112734837B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- matching
- matched
- image
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 186
- 230000006870 function Effects 0.000 claims description 24
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像匹配的方法及装置、电子设备及存储介质，本申请利用可求导的转换关系信息进行像素点匹配，能够在当前得到匹配点对的基础上，实现了对转换关系信息的优化，从而有利于提高不同图像中的目标对象的像素点匹配的精准度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像匹配的方法及装置、电子设备及车辆。
背景技术
基于视觉的定位技术以其高精度的特性，应用越来越广泛，例如基于视觉的定位技术应用于智能交通等领域中。
在基于视觉的定位技术中，首先需要精确确定两张图像中物体上像素点之间的匹配关系，继而利用像素点之间的匹配关系实现定位。目前，上述匹配过程中存在匹配精度低、效率低的缺陷。
发明内容
本申请实施例至少提供一种图像匹配的方法及装置、电子设备及车辆，以提高图像中像素点匹配的准确度和效率。
第一方面，本申请实施例提供了一种图像匹配的方法，包括：
获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集；
确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息；
基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对；
基于所述多个匹配点对，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点的匹配关系信息。
该方面在对不同图像中的目标对象进行匹配的时候，利用的是目标对象的轮廓的像素点，能够有效降低匹配所需处理的像素点的数量，提高匹配的效率。
在一种可能的实施方式中，所述转换关系信息包括至少一个可求导的转换关系项。
该实施方式，可求导的转换关系信息，能够在当前得到匹配点对的基础上，实现了对转换关系信息的优化，从而有利于提高不同图像中的目标对象的像素点匹配的精准度。
在一种可能的实施方式中，所述待匹配图像包括场景图像，所述标准图像包括预制地图；
所述图像匹配的方法还包括：
基于所述匹配关系信息，确定所述目标对象的地理位置信息；
基于所述目标对象的地理位置信息，确定拍摄所述场景图像的设备的地理位置信息。
该实施方式，利用较为精准的匹配关系信息，能够提高目标对象的定位精度，从而能够提高拍摄场景图像的设备的定位精度。
在一种可能的实施方式中，获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集，包括：
获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集。
在一种可能的实施方式中，所述获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集，包括：
获取包括目标对象的待匹配图像和标准图像；
从所述待匹配图像对应的语义分割图像中提取所述目标对象的轮廓对应的待匹配像素点集；
从所述标准图像对应的二维投影图像中提取所述目标对象的轮廓对应的标准像素点集。
该实施方式，从待匹配图像的语义分割图中提取目标对象的轮廓的像素点，以及，从标准图像的二维投影图像中提取目标对象的轮廓的像素点，能够提高像素点提取的效率和准确度。
在一种可能的实施方式中，所述转换关系信息包括第一转换关系项、第二转换关系项和第三转换关系项中的至少一种；其中，所述第一转换关系项包括旋转信息，所述第二转换关系项包括位移信息，所述第三转换关系项包括缩放信息；
所述确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息，包括：
基于所述待匹配像素点集的朝向信息和所述标准像素点集的朝向信息，确定所述旋转信息，并基于所述旋转信息确定所述第一转换关系项；和/或，
基于所述待匹配像素点集的重心和所述标准像素点集的重心，确定所述位移信息，并基于所述位移信息确定所述第二转换关系项；和/或，
基于所述待匹配像素点集对应的图像面积和所述标准像素点集对应的图像面积，确定所述缩放信息，并基于所述缩放信息确定所述第三转换关系项。
该实施方式，转换关系信息包括能够求导的的三个转换关系项，相比于现有技术中不能求导的变换关系，能够提高像素点匹配的成功率；另外，该实施方式利用形态学的方法，较为准确地确定了三个转换关系项中的取值，从而能够提高像素点匹配的精准度。
在一种可能的实施方式中，所述从所述标准图像对应的二维投影图像中提取所述目标对象的轮廓对应的标准像素点集，包括：
从所述标准图像中提取所述目标对象的轮廓的角点信息；
对提取的所述角点信息对应的角点进行上采样处理，得到三维轮廓点集；
将所述三维轮廓点集中的各个像素点投影到所述二维投影图像对应的平面中，得到所述标准像素点集。
该实施方式，通过对标准图像中存储的角点进行上采样，能够得到目标对象的较为连贯和准确的轮廓信息，从而能够得到目标对象的较为准确的轮廓像素点。
在一种可能的实施方式中，所述从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对，包括：
利用所述待匹配像素点集，构造K维搜索树；其中，K等于2；
针对所述标准像素点集中的每个像素点，对所述K维搜索树进行遍历，从所述待匹配像素点集中选取与该像素点相匹配的像素点，得到多个匹配点对。
该实施方式，将待匹配像素点集构造成K维的数据结构树，利用该树状结构，能够提高遍历待匹配像素点集中像素点的速度，进一步提高像素点匹配的效率。
在一种可能的实施方式中，所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对，包括：
利用所述转换关系信息，将所述标准像素点集中的各个像素点映射到所述待匹配像素点集对应的坐标系中；
针对坐标系转换后的标准像素点集中的每个像素点，从所述待匹配像素点集中筛选与该像素点距离最近的像素点，并利用该像素点和所述最近的像素点组成一个匹配点对。
该实施方式，通过像素点映射和寻找最近点的匹配方式，能够提高像素点匹配的精准度。
在一种可能的实施方式中，还包括：
将匹配点对中两个像素点之间的距离大于匹配阈值的匹配点对剔除。
该实施方式，将距离较远的像素点组成的匹配点对删除，能够有效降低待匹配像素点集中的噪声的影响，提高像素点匹配的精准度，同时能够提高转换关系信息更新的准确度。
在一种可能的实施方式中，所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对，包括：
基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对；
在未达到迭代停止条件的情况下，基于所述多个匹配点对，更新所述转换关系信息，并返回所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点的步骤。
该实施方式，利用匹配得到的匹配点对来更新转换关系信息，能够得到更加准确的转换关系信息，及能够得到更加准确的仿射变换关系，继而利用该更加准确的转换关系信息，能够提高后续确定的匹配点对的精准度，即能够提高后续像素点匹配的精准度。
在一种可能的实施方式中，还包括确定未达到所述迭代停止条件的步骤：
基于每个所述匹配点对中两个像素点之间的距离，确定匹配点对中两个像素点之间的距离的均值；
在所述均值大于或等于第一预设阈值的情况下，确定未达到所述迭代停止条件。
该实施方式，在匹配点对中两个像素点之间的距离的均值较大时，更新转换关系信息，继续迭代，以确定匹配精度更高的匹配点对；在匹配点对中两个像素点之间的距离的均值比较小时，停止迭代，此时得到的匹配点对已经较为精确，继续迭代得到新的匹配点对，精度不会有效提高，并且会浪费不必要的计算资源，降低像素点匹配效率。
在一种可能的实施方式中，还包括确定未达到所述迭代停止条件的步骤：
确定当轮迭代对应的转换关系信息与上一轮迭代对应的转换关系信息之间的差值信息；
在所述差值信息对应的差值大于或等于第二预设阈值的情况下，确定未达到所述迭代停止条件。
该实施方式，在转换关系信息变化较大时，表示利用当前转换关系信息确定的匹配点对的精度较低，需要更新转换关系信息，继续迭代，以提高像素点匹配的精度；在转换关系信息变化较小时，停止迭代，此时得到的匹配点对已经较为精确，继续利用转换关系信息迭代，得到新的匹配点对，精度不会有效提高，并且会浪费不必要的计算资源，降低像素点匹配效率。
在一种可能的实施方式中，还包括确定未达到所述迭代停止条件的步骤：
确定所述从所述待匹配像素点集中分别选取与所述标准像素点集中的每个像素点相匹配的像素点的执行次数；
在所述执行次数小于或等于第三预设阈值的情况下，确定未达到所述迭代停止条件。
该实施方式，在迭代得到匹配点对的次数较少时，确定的匹配点对的精度较低，需要更新转换关系信息，继续迭代，以提高像素点匹配的精度；迭代得到匹配点对的次数较多时，停止迭代，此时得到的匹配点对已经较为精确，继续迭代得到新的匹配点对，精度不会有效提高，并且会浪费不必要的计算资源，降低像素点匹配效率。
在一种可能的实施方式中，所述基于所述多个匹配点对，更新所述转换关系信息，包括：
基于所述多个匹配点对，对以所述转换关系信息为变量构造残差函数；
对所述残差函数进行求导操作，以所述残差函数的值趋于零为目标，确定更新后的转换关系信息。
该实施方式，以所述残差函数的值趋于零为目标，更新转换关系信息，能够提高利用转换关系确定的匹配点对的精度。
在一种可能的实施方式中，在得到所述多个匹配点对之后，还包括：
按照所述匹配点对中两个像素点之间的距离从大到小的顺序，将各个所述匹配点对进行排序；
基于具有预设排序次序的匹配点对中两个像素点之间的距离，更新所述匹配阈值。
该实施方式，利用具有预设排序次序的匹配点对中两个像素点之间的距离更新匹配阈值，利用该更新后的匹配阈值，能够更加有效的降低待匹配像素点集中的噪声的影响，提高像素点匹配的精准度，同时能够提高利用匹配点对更新转换关系信息的准确度。
第二方面，本申请提供了一种图像匹配的装置，包括：
像素点提取模块，用于获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集；
变换处理模块，用于确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息；
匹配模块，用于基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对；
关系形成模块，用于基于所述多个匹配点对，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点之间的匹配关系信息。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述图像匹配的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述图像匹配的方法的步骤。
第五方面，本申请实施例提供了一种车辆，包括本申请实施例第三方面提供的电子设备。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的图像匹配的方法的流程图；
图2示出了本申请实施例中标准像素点集的示意图；
图3示出了本申请实施例中标准像素点集对应的轮廓和待匹配像素点集对应的轮廓的示意图；
图4示出了本申请实施例所提供的图像匹配的方法中确定转换关系信息的初值的流程图；
图5示出了本申请实施例所提供的K-D树的示意图；
图6示出了本申请实施例所提供的图像匹配的装置的示意图；
图7示出了本申请实施例所提供的一种电子设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在视觉定位技术中，需要匹配两张图像中的像素点。目前在像素点匹配的过程中使用的变换关系无法求导以及初始的变换关系不够准确，导致像素点对匹配成功率低，精准度差；同时，定位技术中计算量大，匹配效率无法保证。针对上述技术缺陷，本申请提供了一种图像匹配的方法及装置，本申请在对不同图像中的目标对象进行匹配的时候，利用的是目标对象的轮廓的像素点，能够有效降低匹配所需处理的像素点的数量，提高匹配的效率。另外，本申请在进行像素点匹配的时候，利用的转换关系信息是能够求导的仿射关系，有利于提高不同图像中的目标对象的像素点匹配的精准度。
下面对本申请中图像匹配的方法及装置、电子设备、存储介质进行说明。
本申请实施例提供的图像匹配的方法由具有运算能力的设备完成，例如移动终端设备等。具体地，如图1所示，本申请实施例提供的图像匹配的方法可以包括如下步骤：
S110、获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集。
这里，在执行此步骤之前，首先需要在待匹配图像和标准图像之间进行初步的对象匹配，得到同时存在于待匹配图像和标准图像中的物体，即上述目标对象。在得到目标对象之后，还是无法利用该目标对象实现定位，还需要进一步确定两张图像中，目标对象上的像素点的匹配关系信息，即下述多个匹配点对以及对应的仿射变换关系，即下述转换关系信息。利用两张图像中目标对象的像素点的匹配关系信息和仿射变换关系才能实现视觉定位。
上述待匹配像素点集中的像素点对应于待匹配图像中的目标对象，数量较多；标准像素点集的像素点对应于标准图像中的目标对象，数量较少。本申请可以为标准像素点集中的每个像素点，从待匹配像素点集中寻找相匹配的像素点。
在实际应用中，对密集点云，比如图像中的某一对象，其有效的信息通常位于轮廓处，例如道路上的路标，因此可以仅对对象的轮廓处的像素点进行匹配即可，不用将对象上的全部像素点进行匹配。
则本步骤可以执行为：获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集。在这种实施方式中，提取的可以是目标对象的轮廓对应的像素点，这样能够有效降低匹配所需处理的像素点的数量，提高匹配的效率，而不会丢失目标对象的有效信息，对定位精度造成影响。
在实际应用中，上述待匹配图像可以包括场景图像，所述标准图像可以包括预制地图，这样基于本申请确定的匹配关系信息和转换关系信息即可实现视觉定位。
在具体实施时，需要首先获取包括目标对象的待匹配图像和标准图像，再对待匹配图像进行语义分割，得到其对应的语义分割图像，并从得到的语义分割图像中提取所述目标对象的轮廓对应的待匹配像素点集。
将标准图像投影到二维平面上，得到其对应的二维投影图像，再从二维投影图像中提取所述目标对象的轮廓对应的标准像素点集。实际上，标准图像上可以只存储有用的角点，因此投影到二维投影平面上的图像中也只包括上述角点对应的投影点，为了提高标准像素点集中像素点的数量，可以将投影点进行上采样，并将投影点和上采样得到的点进行连接，连线上的像素点都认为是目标对象的轮廓上的像素点。
在实际应用中也可以先从所述标准图像中提取所述目标对象的轮廓的角点信息；对提取的所述角点信息对应的角点进行上采样处理，得到三维轮廓点集；再将所述三维轮廓点集中的各个像素点投影到所述二维投影图像对应的平面中，得到所述标准像素点集。如图2所示，即为利用上述方法得到的标准像素点集21、标准像素点集22、标准像素点集23。
通过对标准图像中存储的角点进行上采样，能够得到目标对象的较为连贯和准确的轮廓信息，从而能够得到目标对象的较为准确的轮廓像素点。
上述从待匹配图像的语义分割图中提取目标对象的轮廓的像素点，以及，从标准图像的二维投影图像中提取目标对象的轮廓的像素点，能够提高像素点提取的效率和准确度。
S120、确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息。
这里，转换关系信息用于将标准像素点集映射到待匹配像素点集所在的平面上，位于同一平面上的待匹配像素点集和所述标准像素点集之间才能计算像素点之间的距离，以及确定匹配点对。转换关系信息可以为可求导的仿射变换关系，示例性地，转换关系信息包括至少一个可求导的转换关系项。具体地，本申请中的转换关系信息可以包括第一转换关系项、第二转换关系项和第三转换关系项等。其中，所述第一转换关系项包括旋转信息，所述第二转换关系项包括位移信息，所述第三转换关系项包括缩放信息。
示例性地，上述旋转信息、位移信息以及缩放信息等形成的转换关系信息或仿射变换关系可以如下述公式所示，其中旋转信息包括旋转角，缩放信息包括缩放比：
式中，A表示上述转换关系信息或仿射变换关系；s表示缩放比，该缩放比具体可以是待匹配图像中目标对象的图像面积与标准图像中目标对象的图像面积的比值；θ表示旋转角，该旋转角具体可以是待匹配图像中目标对象的方向与标准图像中目标对象的方向之间的夹角；a表示横向比，该横向比具体可以是待匹配图像与标准图像的宽度的比值，ψ表示倾斜角，该倾斜角具体可以是待匹配图像中目标对象相对于标准图像中的目标对象，倾斜的角度；tx表示x轴位移量，该位移量具体可以是待匹配图像中目标对象的x轴坐标与标准图像中目标对象的x轴坐标之间的差值；ty表示y轴位移量，该位移量具体可以是待匹配图像中目标对象的y轴坐标与标准图像中目标对象的y轴坐标之间的差值。tx和ty组成上述位移信息。
通过上面的公式可知，上述转换关系信息还可以包括横向比a和倾斜角ψ。一般的，设置倾斜角为0，横向比为1。
上述图像面积、方向和坐标均是利用对应的点集在同一张二维图像上的位置坐标确定的。
根据上面的公式可知，转换关系信息将旋转角、缩放比、横向比、倾斜角、位移信息分别放在不同的矩阵中，这样每个矩阵中的变量只有一个，最多有两个，其余由0和1填充，这样容易进行求导，并且对各个矩阵进行求导得到的结果具有对应的物理意义。利用具有物理意义的求导结果才能更好的优化转换关系信息，才能提高后续基于转换关系信息进行像素点映射和像素点匹配的精度。如图3所示，标准像素点集对应的轮廓31与待匹配像素点集对应的轮廓32之间不是利用普通的旋转-平移的欧式变换关系进行转换的，而是利用上述仿射变换关系进行转换的。
上述普通的旋转-平移的欧式变换关系如下述公式所示：
上述欧式变换关系由于矩阵中变量很多，造成求导困难，并且非常可能无法得到求导结果。即使得到求导结果，该求导结果也不具有明确的物理意义，用这样的求导结果无法很好的优化转换关系信息，从而会降低后续像素点匹配的精确度。
S130、基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对。
这里，具体可以首先利用所述转换关系信息，将所述标准像素点集中的各个像素点映射到所述待匹配像素点集对应的坐标系中，具体如下公式所示可以是将标准像素点集中的像素点的坐标与上述转换关系信息对应的矩阵A相乘，得到该像素点在待匹配像素点集对应的坐标系中的坐标：
式中，[x y 1]T表示标准像素点集中的一像素点的坐标，表示[u v 1]T该像素点在待匹配像素点集对应的坐标系中的坐标。
之后，针对坐标系转换后的标准像素点集中的每个像素点，从所述待匹配像素点集中筛选与该像素点距离最近的像素点，并利用该像素点和所述最近的像素点组成一个匹配点对。
通过像素点映射和寻找最近点的匹配方式，能够提高像素点匹配的精准度。
上面在寻找匹配点对的过程中，对于每个标准像素点集中的像素点，都要遍历一遍待匹配像素点集中的像素点，才能找到与其匹配的像素点，效率比较低。为了提高遍历效率，可以利用待匹配像素点集，构造具有K维搜索树，即K-D树；其中，K等于2，表示划分的空间的维度。那么在寻找匹配点对的过程中，对于每个标准像素点集中的像素点，可以对上述二叉树进行遍历，从所述待匹配像素点集中选取与该像素点相匹配的像素点，得到多个匹配点对。
示例性的，如果待匹配像素点中各个像素点的坐标为(2，3)、(5，4)、(4，7)、(8，1)、(7，2)和(9，6)，那么建立的K-D数结构如图5所示。待匹配像素点集中的各个像素点得到坐标构成图5中的各个叶子节点。根结点和中间结点存放一些空间划分信息，例如划分维度、划分值。
在从待匹配像素点集中选取与标准像素点集中某一像素点相匹配的像素点时，首先将该像素点的坐标Q与K-D树中的各个节点存储的数值进行比较，即将Q对应于节点中的k维度上的值与节点中存储的K维度上的中值m进行比较，若Q对应于节点中的k维度上的值小于m，则访问对应节点的左子树，否则访问对应节点的右子树。达到叶子结点时，计算Q与叶子结点上保存的坐标之间的距离，并将距离最小的坐标对应的像素点作为与该像素点匹配的像素点。
可见，利用K-D树进行像素点匹配时，并不遍历所有的节点，不与待匹配像素点集中所有的像素点分别计算距离，因此可以减少遍历的计算量，提高匹配效率。根据K-D树空间二叉树的特性，可以将遍历查找的复杂度从N降低到log N。这里，N表示待匹配像素点集中的像素点数量，可见，利用上述树状结构，能够提高遍历待匹配像素点集中像素点的速度，进一步提高像素点匹配的效率。
从语义分割图像中提取的目标对象的轮廓的待匹配像素点集中，不可避免的会存在噪声，为了降低待匹配像素点集中的噪声对像素点匹配的影响，可以将匹配点对中两个像素点之间的距离大于匹配阈值的匹配点对剔除，以提高像素点匹配的精准度。
上述匹配阈值可以根据实际的应用场景和应用需求设置，在像素点匹配的过程中也可以进行更新，以进一步提高像素点匹配的准确度。
S140、基于所述多个匹配点对，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点之间的匹配关系信息。
这里，具体地可以将多个匹配点对和转换关系信息，作为所述标准像素点集中的像素点与所述待匹配像素点中的像素点之间的匹配关系信息。
上述实施例利用目标对象的轮廓的像素点进行匹配，能够有效降低匹配所需处理的像素点的数量，提高匹配的效率。另外，上述实施例在进行像素点匹配的时候，利用的转换关系信息是能够求导的放射关系，即能够在当前得到匹配点对的基础上，实现了对转换关系信息的优化，从而有利于提高不同图像中的目标对象的像素点匹配的精准度。
在进行视觉定位的场景中，上述待匹配图像可以包括场景图像，所述标准图像可以包括预制地图。那么可以利用如下步骤实现定位：基于所述匹配关系信息，确定所述目标对象的地理位置信息；基于所述目标对象的地理位置信息，确定拍摄所述场景图像的设备的地理位置信息。
在基于目标对象的地理位置信息，确定拍摄所述场景图像的设备的地理位置信息时，还要结合拍摄所述场景图像的设备的拍摄参数信息。
上述利用较为精准的匹配关系信息，能够提高目标对象的定位精度，从而能够提高拍摄场景图像的设备的定位精度。
上述确定的地理位置信息可以应用于自动驾驶领域、智能驾驶、机器人等领域中。
只执行一次步骤S130，确定的匹配点对粗糙，精准度差，为了提高像素点匹配的精准度，需要多次执行上述步骤S130。具体地，步骤S130可以利用如下步骤实现：
步骤一、基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对。
这里确定匹配点对的方法与上述实施例中的方法相同，不再赘述。
步骤二、在未达到迭代停止条件的情况下，基于所述多个匹配点对，更新所述转换关系信息，并返回所述基于所述转换关系信息，从所述待匹配像素点集中分别选取与所述标准像素点集中的每个像素点相匹配的像素点的步骤。
此步骤在迭代执行步骤一之前，需要更新转换关系信息，之后利用新的转换关系信息进行像素点匹配，生成新的匹配点对。
示例性地，可以利用如下步骤更新转换关系信息：
基于所述多个匹配点对，对以所述转换关系信息为变量构造残差函数；对所述残差函数进行求导操作，以所述残差函数的值趋于零为目标，确定更新后的转换关系信息。
上述残差函数具体可以如下所示：
式中，L表示残差函数的值，i表示第i个匹配点对，m表示匹配点对的数量，qi表示第i个匹配点对中准像素点集中的像素点的坐标，pi表示第i个匹配点对中待匹配素点集中的像素点的坐标。
在具体实施时，通过对所述残差函数进行求导操作，能够以所述残差函数的值趋于零为目标，确定更新后的转换关系信息，从而能够得到最优的转换关系信息，利用该最优的转换关系能够提高像素点匹配的精度。
如图4所示，对转换关系信息进行优化之前，转换关系信息的初值可以利用如下步骤计算：
S410、基于所述待匹配像素点集的朝向信息和所述标准像素点集的朝向信息，确定所述旋转信息。
这里可以首先利用主成分分析(Principal Component Analysis，PCA)方法，对待匹配像素点集和标准像素点集分别进行处理，得到待匹配像素点集的朝向信息和标准像素点集的朝向信息。上述待匹配像素点集的朝向信息即为待匹配图像中目标对象的方向，标准像素点集的朝向信息即为标准图像中目标对象的方向。之后，计算待匹配图像中目标对象的方向与标准图像中目标对象的方向之间的夹角，并将得到夹角θ作为上述旋转信息。
S420、基于所述待匹配像素点集的重心和所述标准像素点集的重心，确定所述位移信息。
这里可以首先确定所述待匹配像素点集的重心和所述标准像素点集的重心，再基于两个在重心之间的位移量，确定上述位移信息。具体地可以将两个在重心之间的位移量作为上述位移信息。
示例性地，待匹配像素点集的重心可以对待匹配像素点集中各个像素点的坐标进行加权求和得到，同样地，标准像素点集的重心可以对标准像素点集中各个像素点的坐标进行加权求和得到。
基于两个重心的坐标可以计算两个重心之间的位移量tx和ty。
S430、基于所述待匹配像素点集对应的图像面积和所述标准像素点集对应的图像面积，确定所述缩放信息。
这里可以首先确定待匹配像素点集对应的图像面积和所述标准像素点集对应的图像面积，再基于两个图像面积的比值s确定上述缩放信息。具体可以将上述比值s作为上述缩放信息。
上述待匹配像素点集对应的图像面积具体可以是待匹配图像中目标对象的图像面积，可以利用待匹配像素点集中各个像素点的坐标来确定。
同样地，标准像素点集对应的图像面积具体可以是标准图像中目标对象的图像面积，可以利用标准点集中各个像素点的坐标来确定。
转换关系信息中的倾斜角ψ的初值可以设置为0度，转换关系信息中的横向比a的初值可以设置为1。
准确的转换关系信息初值能够提高迭代速度，即提高像素点匹配的速度，以及提高像素点匹配的成功率，避免再每次迭代中陷入局部最优解倒是匹配失败。
上述实施例，转换关系信息包括旋转信息、位移信息和缩放信息等，构成了能够求导的仿射变换关系，相比于现有技术中不能求导的仿射变换关系，能够更好的对转换关系信息进行优化，利用优质的转换关系信息能够提高像素点匹配的成功率；另外，该实施方式利用形态学的方法，较为准确地确定了仿射变换关系中的取值，从而能够提高像素点匹配的精准度。
上述转换关系信息的初值是在第一次迭代，即第一次执行上述步骤一中使用的转换关系信息，再后续执行上述步骤一之前，都需要更新转换关系信息。
在每一次迭代之后，得到多个匹配点对，此时为了提高匹配的精准度，以及更好地基于匹配点对对转换关系信息进行优化，需要利用匹配阈值剔除两个像素点之间距离较远的匹配点对。为了能够更加有效的降低待匹配像素点集中的噪声的影响，提高像素点匹配的精准度，可以利用每次迭代后得到匹配点对更新匹配阈值，具体可以利用如下步骤实现：
按照当前匹配点对中两个像素点之间的距离从大到小的顺序，将各个所述匹配点对进行排序；基于具有预设排序次序的匹配点对中两个像素点之间的距离，更新所述匹配阈值。
这里，可以将具有预设排序次序的匹配点对中两个像素点之间的距离，作为更新后的匹配阈值。
在实际应用中，迭代需要一个终止条件，不能一直迭代下去，下面给出了几种终止方案：
方案一，基于每个所述匹配点对中两个像素点之间的距离，确定匹配点对中两个像素点之间的距离的均值；在所述均值大于或等于第一预设阈值的情况下，确定达到所述迭代停止条件，停止迭代；在均值小于第一预设阈值的情况下，确定达到所述迭代停止条件，停止迭代，将当前得到的多个匹配点对作为最终的匹配点对，当前的转换关系信息作为最终的转换关系信息。
该方式，在匹配点对中两个像素点之间的距离的均值较大时，更新转换关系信息，继续迭代，以确定匹配精度更高的匹配点对；在匹配点对中两个像素点之间的距离的均值比较小时，停止迭代，此时得到的匹配点对已经较为精确，继续迭代得到新的匹配点对，精度不会有效提高，并且会浪费不必要的计算资源，降低像素点匹配效率。
方案二，确定当轮迭代对应的转换关系信息与上一轮迭代对应的转换关系信息之间的差值信息；在所述差值信息对应的差值大于或等于第二预设阈值的情况下，确定未达到所述迭代停止条件；在差值信息对应的差值小于第二预设阈值的情况下，确定达到所述迭代停止条件，停止迭代，将当前得到的多个匹配点对作为最终的匹配点对，当前的转换关系信息作为最终的转换关系信息。
该方式，在转换关系信息变化较大时，表示利用当前转换关系信息确定的匹配点对的精度较低，需要更新转换关系信息，继续迭代，以提高像素点匹配的精度；在转换关系信息变化较小时，停止迭代，此时得到的匹配点对已经较为精确，继续利用转换关系信息迭代，得到新的匹配点对，精度不会有效提高，并且会浪费不必要的计算资源，降低像素点匹配效率。
方案三，确定所述从所述待匹配像素点集中分别选取与所述标准像素点集中的每个像素点相匹配的像素点的执行次数；在所述执行次数小于或等于第三预设阈值的情况下，确定未达到所述迭代停止条件；在执行次数大于第三预设阈值的情况下，确定达到所述迭代停止条件，停止迭代，将当前得到的多个匹配点对作为最终的匹配点对，当前的转换关系信息作为最终的转换关系信息。
该方式，在迭代得到匹配点对的次数较少时，确定的匹配点对的精度较低，需要更新转换关系信息，继续迭代，以提高像素点匹配的精度；迭代得到匹配点对的次数较多时，停止迭代，此时得到的匹配点对已经较为精确，继续迭代得到新的匹配点对，精度不会有效提高，并且会浪费不必要的计算资源，降低像素点匹配效率。
对应于上述图像匹配的方法，本申请还提供了一种图像匹配的装置，应用于上述执行图像匹配的方法的终端上，并且能够取得相同或相似的有意效果。该装置能够执行上述实施例中的图像匹配的方法的所有步骤，因此相同的步骤中这里不再赘述。具体地，如图6所示，本申请提供的图像匹配的装置包括：
像素点提取模块610，用于获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集。
变换处理模块620，用于确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息。
匹配模块630，用于基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对。
关系形成模块640，用于基于所述多个匹配点对，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点的匹配关系信息。
在一些实施例中，所述转换关系信息包括至少一个可求导的转换关系项。
在一些实施例中，所述待匹配图像包括场景图像，所述标准图像包括预制地图；
所述图像匹配装置还包括定位模块650，用于：
基于所述匹配关系信息，确定所述目标对象的地理位置信息；
基于所述目标对象的地理位置信息，确定拍摄所述场景图像的设备的地理位置信息。
在一些实施例中，像素点提取模块610，用于获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集。
在一些实施例中，所述像素点提取模块610在获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集时，用于：
获取包括目标对象的待匹配图像和标准图像；
从所述待匹配图像对应的语义分割图像中提取所述目标对象的轮廓对应的待匹配像素点集；
从所述标准图像对应的二维投影图像中提取所述目标对象的轮廓对应的标准像素点集。
在一些实施例中，所述转换关系信息包括第一转换关系项、第二转换关系项和第三转换关系项中的至少一种；其中，所述第一转换关系项包括旋转信息，所述第二转换关系项包括位移信息，所述第三转换关系项包括缩放信息；
所述变换处理模块620在确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息时，用于：
基于所述待匹配像素点集的朝向信息和所述标准像素点集的朝向信息，确定所述旋转信息，并基于所述旋转信息确定所述第一转换关系项；和/或，
基于所述待匹配像素点集的重心和所述标准像素点集的重心，确定所述位移信息，并基于所述位移信息确定所述第二转换关系项；和/或，
基于所述待匹配像素点集对应的图像面积和所述标准像素点集对应的图像面积，确定所述缩放信息，并基于所述缩放信息确定所述第三转换关系项。
在一些实施例中，所述像素点提取模块610在从所述标准图像对应的二维投影图像中提取所述目标对象的轮廓对应的标准像素点集时，用于：
从所述标准图像中提取所述目标对象的轮廓的角点信息；
对提取的所述角点信息对应的角点进行上采样处理，得到三维轮廓点集；
将所述三维轮廓点集中的各个像素点投影到所述二维投影图像对应的平面中，得到所述标准像素点集。
在一些实施例中，所述匹配模块630在从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对时，用于：
利用所述待匹配像素点集，构造K维搜索树；其中，K等于2；
针对所述标准像素点集中的每个像素点，对所述K维搜索树进行遍历，从所述待匹配像素点集中选取与该像素点相匹配的像素点，得到多个匹配点对。
在一些实施例中，所述匹配模块630在基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对时，用于：
利用所述转换关系信息，将所述标准像素点集中的各个像素点映射到所述待匹配像素点集对应的坐标系中；
针对坐标系转换后的标准像素点集中的每个像素点，从所述待匹配像素点集中筛选与该像素点距离最近的像素点，并利用该像素点和所述最近的像素点组成一个匹配点对。
在一些实施例中，所述匹配模块630还用于：
将匹配点对中两个像素点之间的距离大于匹配阈值的匹配点对剔除。
在一些实施例中，所述匹配模块630在基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对时，用于：
基于所述转换关系信息，从所述待匹配像素点集中分别选取与所述标准像素点集中的每个像素点相匹配的像素点，得到多个匹配点对；
在未达到迭代停止条件的情况下，基于所述多个匹配点对，更新所述转换关系信息，并返回所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点的步骤。
在一些实施例中，所述匹配模块630还用于确定未达到所述迭代停止条件：
基于每个所述匹配点对中两个像素点之间的距离，确定匹配点对中两个像素点之间的距离的均值；
在所述均值大于或等于第一预设阈值的情况下，确定未达到所述迭代停止条件。
在一些实施例中，所述匹配模块630还用于确定未达到所述迭代停止条件：
确定当轮迭代对应的转换关系信息与上一轮迭代对应的转换关系信息之间的差值信息；
在所述差值信息对应的差值大于或等于第二预设阈值的情况下，确定未达到所述迭代停止条件。
在一些实施例中，所述匹配模块630还用于确定未达到所述迭代停止条件：
确定所述从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点的执行次数；
在所述执行次数小于或等于第三预设阈值的情况下，确定未达到所述迭代停止条件。
在一些实施例中，所述匹配模块630在基于所述多个匹配点对，更新所述转换关系信息时，用于：
基于所述多个匹配点对，对以所述转换关系信息为变量构造残差函数；
对所述残差函数进行求导操作，以所述残差函数的值趋于零为目标，确定更新后的转换关系信息。
在一些实施例中，在得到所述多个匹配点对之后，所述匹配模块530还用于：
按照所述匹配点对中两个像素点之间的距离从大到小的顺序，将各个所述匹配点对进行排序；
基于具有预设排序次序的匹配点对中两个像素点之间的距离，更新所述匹配阈值。
对应于上述图像匹配的方法，本申请实施例还提供了一种电子设备700，如图7所示，为本申请实施例提供的电子设备700结构示意图，包括：
处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当电子设备700运行时，处理器71与存储器72之间通过总线73通信，使得处理器71执行以下指令：获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集；确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息；基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对；基于所述多个匹配点对和所述转换关系信息，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点的匹配关系信息。
本申请实施例还提供一种车辆，包括本申请实施例还提供的电子设备。
本申请实施例提供的车辆可以包括智能车辆，包括：全自动控制车辆，以及具有部分智能功能的手动控制车辆，该部分智能功能可以执行本申请实施例提供的任一图像匹配的方法。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像匹配的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本申请实施例所提供的图像匹配的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像匹配的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本申请实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (19)
1.一种图像匹配的方法，其特征在于，包括：
获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集；
确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息，其中，所述转换关系信息包括至少一个可求导的转换关系项，具体地，所述转换关系信息包括第一转换关系项、第二转换关系项和第三转换关系项中的至少一种；所述第一转换关系项包括旋转信息，所述第二转换关系项包括位移信息，所述第三转换关系项包括缩放信息；
基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对；
基于所述多个匹配点对，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点之间的匹配关系信息。
2.根据权利要求1所述的图像匹配的方法，其特征在于，所述待匹配图像包括场景图像，所述标准图像包括预制地图；
所述图像匹配的方法还包括：
基于所述匹配关系信息，确定所述目标对象的地理位置信息；
基于所述目标对象的地理位置信息，确定拍摄所述场景图像的设备的地理位置信息。
3.根据权利要求1所述的图像匹配的方法，其特征在于，获取待匹配图像中目标对象对应的待匹配像素点集，和标准图像中目标对象对应的标准像素点集，包括：
获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集。
4.根据权利要求3所述的图像匹配的方法，其特征在于，所述获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集，包括：
获取包括目标对象的待匹配图像和标准图像；
从所述待匹配图像对应的语义分割图像中提取所述目标对象的轮廓对应的待匹配像素点集；
从所述标准图像对应的二维投影图像中提取所述目标对象的轮廓对应的标准像素点集。
5.根据权利要求1至4任一项所述的图像匹配的方法，其特征在于，所述确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息，包括：
基于所述待匹配像素点集的朝向信息和所述标准像素点集的朝向信息，确定所述旋转信息，并基于所述旋转信息确定所述第一转换关系项；和/或，
基于所述待匹配像素点集的重心和所述标准像素点集的重心，确定所述位移信息，并基于所述位移信息确定所述第二转换关系项；和/或，
基于所述待匹配像素点集对应的图像面积和所述标准像素点集对应的图像面积，确定所述缩放信息，并基于所述缩放信息确定所述第三转换关系项。
6.根据权利要求4所述的图像匹配的方法，其特征在于，所述从所述标准图像对应的二维投影图像中提取所述目标对象的轮廓对应的标准像素点集，包括：
从所述标准图像中提取所述目标对象的轮廓的角点信息；
对提取的所述角点信息对应的角点进行上采样处理，得到三维轮廓点集；
将所述三维轮廓点集中的各个像素点投影到所述二维投影图像对应的平面中，得到所述标准像素点集。
7.根据权利要求1至6任一项所述的图像匹配的方法，其特征在于，所述从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对，包括：
利用所述待匹配像素点集，构造K维搜索树；其中，K等于2；
针对所述标准像素点集中的每个像素点，对所述K维搜索树进行遍历，从所述待匹配像素点集中选取与该像素点相匹配的像素点，得到多个匹配点对。
8.根据权利要求1至7任一项所述的图像匹配的方法，其特征在于，所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对，包括：
利用所述转换关系信息，将所述标准像素点集中的各个像素点映射到所述待匹配像素点集对应的坐标系中；
针对坐标系转换后的标准像素点集中的每个像素点，从所述待匹配像素点集中筛选与该像素点距离最近的像素点，并利用该像素点和所述最近的像素点组成一个匹配点对。
9.根据权利要求8所述的图像匹配的方法，其特征在于，还包括：
将匹配点对中两个像素点之间的距离大于匹配阈值的匹配点对剔除。
10.根据权利要求1至9任一项所述的图像匹配的方法，其特征在于，所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对，包括：
基于所述转换关系信息，从所述待匹配像素点集中分别选取与所述标准像素点集中的每个像素点相匹配的像素点，得到多个匹配点对；
在未达到迭代停止条件的情况下，基于所述多个匹配点对，更新所述转换关系信息，并返回所述基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点的步骤。
11.根据权利要求10所述的图像匹配的方法，其特征在于，还包括确定未达到所述迭代停止条件的步骤：
基于每个所述匹配点对中两个像素点之间的距离，确定匹配点对中两个像素点之间的距离的均值；
在所述均值大于或等于第一预设阈值的情况下，确定未达到所述迭代停止条件。
12.根据权利要求10所述的图像匹配的方法，其特征在于，还包括确定未达到所述迭代停止条件的步骤：
确定当轮迭代对应的转换关系信息与上一轮迭代对应的转换关系信息之间的差值信息；
在所述差值信息对应的差值大于或等于第二预设阈值的情况下，确定未达到所述迭代停止条件。
13.根据权利要求10所述的图像匹配的方法，其特征在于，还包括确定未达到所述迭代停止条件的步骤：
确定所述从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点的执行次数；
在所述执行次数小于或等于第三预设阈值的情况下，确定未达到所述迭代停止条件。
14.根据权利要求10所述的图像匹配的方法，其特征在于，所述基于所述多个匹配点对，更新所述转换关系信息，包括：
基于所述多个匹配点对，对以所述转换关系信息为变量构造残差函数；
对所述残差函数进行求导操作，以所述残差函数的值趋于零为目标，确定更新后的转换关系信息。
15.根据权利要求9所述的图像匹配的方法，其特征在于，在得到所述多个匹配点对之后，还包括：
按照所述匹配点对中两个像素点之间的距离从大到小的顺序，将各个所述匹配点对进行排序；
基于具有预设排序次序的匹配点对中两个像素点之间的距离，更新所述匹配阈值。
16.一种图像匹配的装置，其特征在于，包括：
像素点提取模块，用于获取待匹配图像中目标对象的轮廓对应的待匹配像素点集，和标准图像中目标对象的轮廓对应的标准像素点集；
变换处理模块，用于确定所述待匹配像素点集和所述标准像素点集之间的转换关系信息，其中，所述转换关系信息包括至少一个可求导的转换关系项，具体地，所述转换关系信息包括第一转换关系项、第二转换关系项和第三转换关系项中的至少一种；所述第一转换关系项包括旋转信息，所述第二转换关系项包括位移信息，所述第三转换关系项包括缩放信息；
匹配模块，用于基于所述转换关系信息，从所述待匹配像素点集中选取与所述标准像素点集中的像素点相匹配的像素点，得到多个匹配点对；
关系形成模块，用于基于所述多个匹配点对，确定所述标准像素点集中的像素点与所述待匹配像素点中的像素点之间的匹配关系信息。
17.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至15任一所述的图像匹配的方法的步骤。
18.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至15任一所述的图像匹配的方法步骤。
19.一种车辆，其特征在于，包括如权利要求17所述的电子设备。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011597941.XA CN112734837B (zh) | 2020-12-29 | 2020-12-29 | 图像匹配的方法及装置、电子设备及车辆 |
| PCT/CN2021/102929 WO2022142206A1 (zh) | 2020-12-29 | 2021-06-29 | 图像匹配的方法及装置、电子设备及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011597941.XA CN112734837B (zh) | 2020-12-29 | 2020-12-29 | 图像匹配的方法及装置、电子设备及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734837A CN112734837A (zh) | 2021-04-30 |
| CN112734837B true CN112734837B (zh) | 2024-03-22 |
Family
ID=75611393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011597941.XA Active CN112734837B (zh) | 2020-12-29 | 2020-12-29 | 图像匹配的方法及装置、电子设备及车辆 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112734837B (zh) |
| WO (1) | WO2022142206A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734837B (zh) * | 2020-12-29 | 2024-03-22 | 上海商汤临港智能科技有限公司 | 图像匹配的方法及装置、电子设备及车辆 |
| CN116625385B (zh) * | 2023-07-25 | 2024-01-26 | 高德软件有限公司 | 路网匹配方法、高精地图构建方法、装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287943A (zh) * | 2019-07-03 | 2019-09-27 | 厦门美图之家科技有限公司 | 图像的对象识别方法、装置、电子设备及存储介质 |
| CN110598795A (zh) * | 2019-09-17 | 2019-12-20 | 展讯通信（上海）有限公司 | 图像差异检测方法及装置、存储介质、终端 |
| CN111091590A (zh) * | 2019-12-18 | 2020-05-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10210427B2 (en) * | 2014-07-09 | 2019-02-19 | Slyce Acquisition Inc. | Systems, methods, and devices for image matching and object recognition in images |
| CN112734837B (zh) * | 2020-12-29 | 2024-03-22 | 上海商汤临港智能科技有限公司 | 图像匹配的方法及装置、电子设备及车辆 |
-
2020
- 2020-12-29 CN CN202011597941.XA patent/CN112734837B/zh active Active
-
2021
- 2021-06-29 WO PCT/CN2021/102929 patent/WO2022142206A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287943A (zh) * | 2019-07-03 | 2019-09-27 | 厦门美图之家科技有限公司 | 图像的对象识别方法、装置、电子设备及存储介质 |
| CN110598795A (zh) * | 2019-09-17 | 2019-12-20 | 展讯通信（上海）有限公司 | 图像差异检测方法及装置、存储介质、终端 |
| CN111091590A (zh) * | 2019-12-18 | 2020-05-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734837A (zh) | 2021-04-30 |
| WO2022142206A1 (zh) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110631554B (zh) | 机器人位姿的确定方法、装置、机器人和可读存储介质 | |
| US9754377B2 (en) | Multi-resolution depth estimation using modified census transform for advanced driver assistance systems | |
| CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
| CN113012210B (zh) | 深度图的生成方法、装置、电子设备和存储介质 | |
| CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
| CN110119679B (zh) | 物体三维信息估计方法及装置、计算机设备、存储介质 | |
| CN112785705B (zh) | 一种位姿获取方法、装置及移动设备 | |
| CN112734837B (zh) | 图像匹配的方法及装置、电子设备及车辆 | |
| EP3293700A1 (en) | 3d reconstruction for vehicle | |
| CN113160420A (zh) | 一种三维点云重建的方法、装置、电子设备及存储介质 | |
| CN112651997A (zh) | 地图构建方法、电子设备和存储介质 | |
| CN115329111B (zh) | 一种基于点云与影像匹配的影像特征库构建方法及系统 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN111553946A (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| CN114219717A (zh) | 点云配准方法、装置、电子设备及存储介质 | |
| CN112541423A (zh) | 一种同步定位与地图构建方法和系统 | |
| CN111402429A (zh) | 一种尺度还原、三维重建方法、系统、存储介质及设备 | |
| WO2023072269A1 (zh) | 对象跟踪 | |
| US20230030660A1 (en) | Vehicle positioning method and system for fixed parking scenario | |
| CN113298871B (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
| KR102449031B1 (ko) | 딥러닝을 이용한 실내 위치 측위 방법 | |
| CN111951337B (zh) | 图像检测目标空间定位方法及系统 | |
| CN110910438B (zh) | 一种超高分辨率双目图像的高速立体匹配算法 | |
| CN113887289A (zh) | 一种单目三维物体检测方法、装置、设备及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40042924 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |