CN113139490A - 一种图像特征匹配方法、装置、计算机设备及存储介质 - Google Patents
一种图像特征匹配方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113139490A CN113139490A CN202110482145.XA CN202110482145A CN113139490A CN 113139490 A CN113139490 A CN 113139490A CN 202110482145 A CN202110482145 A CN 202110482145A CN 113139490 A CN113139490 A CN 113139490A
- Authority
- CN
- China
- Prior art keywords
- matrix
- panoramic picture
- feature point
- feature
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 188
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 230000002776 aggregation Effects 0.000 claims description 95
- 238000004220 aggregation Methods 0.000 claims description 95
- 238000009826 distribution Methods 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 230000004931 aggregating effect Effects 0.000 claims description 13
- 229940050561 matrix product Drugs 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 12
- 230000005540 biological transmission Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 101100244014 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) ppi-5 gene Proteins 0.000 description 5
- 101150023294 PIN4 gene Proteins 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 101150037009 pin1 gene Proteins 0.000 description 4
- 101100520142 Caenorhabditis elegans pin-2 gene Proteins 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像特征匹配方法、装置、计算机设备和存储介质，本发明通过获取第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度，并对特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵，计算第一聚合矩阵和第二聚合矩阵的乘积，得到分数矩阵，求解分数矩阵，得到最优分配矩阵，基于最优分配矩阵对第一全景图片和第二全景图片中的特征点进行特征匹配映射。本发明通过将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵构建特征点的特征匹配映射，通过图神经网络进行数据运算计算效率较高，使特征匹配程度更好，通过学习特征点数据后使特征点更少，更稳定。
Description
技术领域
本发明属于人工智能技术领域，具体涉及一种图像特征匹配方法、装置、计算机设备和存储介质。
背景技术
随着相机产业及人工智能的发展，计算视觉领域无论是在视频采集还是在视频目标识别的性能上和数据规模上都取得了巨大的突破。然而，目前的图像识别算法仍受限于图像的清晰程度与视频数据的质量，对于高清视频监控、高清全景视频拍摄以及在线视频识别等需求，需要提高图像和实时视频的分辨率。
全景图像和视频涉及到宽视场范围，由于单相机的视场达不到全景效果，因此需要使用至少两个相机获取图像，进行图像拼接以得到全景图像和视频，即全景图像匹配。若要提高全景图像和视频的分辨率，则需要使用高分辨率相机获取图像，对高分辨率图像进行匹配和拼接以得到高分辨率的全景图像和视频，但是现有的高分辨率图像的匹配和拼接过程计算量较大、耗费计算资源、成本高、系统复杂、效率低、难以保证实时性、无法实现实时输出与处理等技术问题。
发明内容
本发明实施例的目的在于提出一种图像特征匹配方法、装置、计算机设备及存储介质，以解决现有高分辨率图像的匹配和拼接方案存在的计算量较大、成本高、系统复杂以及无法实现实时输出与处理的技术问题。
为了解决上述技术问题，本发明提供一种图像特征匹配方法，采用了如下所述的技术方案：
一种图像特征匹配方法，包括：
将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度；
利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵；
计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵；
基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵；
比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值；
基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。
进一步地，所述将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度的步骤，具体包括：
将所述第一全景图片和所述第二全景图片分别转化为pinhole图，得到第一pinhole图和第二pinhole图；
将所述第一pinhole图和所述第二pinhole图分别导入所述特征点提取模型，得到所述第一pinhole图和所述第二pinhole图的特征点坐标、特征点标识符和特征点置信度。
进一步地，所述特征点提取模型为superpoint模型。
进一步地，所述利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵的步骤之前，还包括：
组合所述第一全景图片的特征点坐标和特征点置信度，得到第一置信坐标，以及组合所述第二全景图片的特征点坐标和特征点置信度，得到第二置信坐标；
利用预设的多层感知器分别对所述第一置信坐标和所述第二置信坐标进行多维向量转化，得到第一图片向量和第二图片向量；
通过所述第一全景图片的特征点标识符对所述第一图片向量进行标记，得到第一编码信息，以及通过所述第二全景图片的特征点标识符对所述第二图片向量进行标记，得到第二编码信息。
进一步地，所述利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵的步骤，具体包括：
将所述第一编码信息导入所述图神经网络进行聚合，得到所述第一聚合矩阵；
将所述第二编码信息导入所述图神经网络进行聚合，得到所述第二聚合矩阵。
进一步地，所述基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵的步骤，具体包括：
在所述分数矩阵中添加用于辅助求解运算的运算行和运算列；
基于Sinkhorn迭代算法求解添加所述运算行和所述运算列后的所述分数矩阵，得到初始结果矩阵；
去除所述初始结果矩阵中的所述运算行和所述运算列，得到所述最优分配矩阵。
进一步地，在所述基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对的步骤之后，还包括：
比对每一个所述特征点中特征点匹配对的所述行列索引值；
将最大的行列索引值对应的特征点匹配对作为所述特征点的最终特征点匹配对。
为了解决上述技术问题，本发明还提供一种装置，采用了如下所述的技术方案：
一种图像特征匹配装置，包括：
特征提取模块，用于将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度；
特征聚合模块，用于利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵；
矩阵乘积模块，用于计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵；
矩阵聚合模块，用于基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵；
参数比对模块，用于比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值；
特征匹配模块，用于基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。
为了解决上述技术问题，本发明还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的图像特征匹配方法的步骤。
为了解决上述技术问题，本发明还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的图像特征匹配方法的步骤。
与现有技术相比，本发明主要有以下有益效果：
本发明公开了一种图像特征匹配方法、装置、计算机设备和存储介质，属于人工智能技术领域，本发明将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度，利用图神经网络分别对第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵，计算第一聚合矩阵和第二聚合矩阵的乘积，得到分数矩阵，基于Sinkhorn迭代算法求解分数矩阵，得到最优分配矩阵，比对最优分配矩阵中每一个数值与预设匹配阈值，获取最优分配矩阵中大于匹配阈值的数值对应的行列索引值，基于行列索引值对第一全景图片和第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。本发明通过提取特征点的数据信息，并将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵求解最优分配矩阵，最后通过最优分配矩阵确定第一全景图片和第二全景图片中特征点的特征匹配映射，本发明通过图神经网络进行数据运算计算效率较高，实时性较好，使特征匹配程度更好，通过图神经网络学习特征点数据、学习场景后使特征点更少，更稳定，且能有效简化系统的复杂程度。
附图说明
为了更清楚地说明本发明中的方案，下面将对本发明实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明可以应用于其中的示例性系统架构图；
图2示出了根据本发明的图像特征匹配方法的一个实施例的流程图；
图3示出了图2中步骤S202的一个实施例的流程图；
图4示出了图2中步骤S204的一个实施例的流程图；
图5示出了根据本发明的图像特征匹配装置的一个实施例的结构示意图；
图6示出了根据本发明的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本发明实施例所提供的图像特征匹配方法一般由服务器执行，相应地，图像特征匹配装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
目前，全景图像和视频涉及到宽视场范围，由于单相机的视场达不到全景效果，因此需要使用至少两个相机获取图像，进行图像拼接以得到全景图像和视频，即全景图像匹配。若要提高全景图像和视频的分辨率，则需要使用高分辨率相机获取图像，对高分辨率图像进行匹配和拼接以得到高分辨率的全景图像和视频，但是现有的高分辨率图像的匹配和拼接过程计算量较大、耗费计算资源、成本高、系统复杂、效率低、难以保证实时性、无法实现实时输出与处理等技术问题。
针对上述技术问题，本发明通过提取特征点的数据信息，并将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵求解最优分配矩阵，最后通过最优分配矩阵确定第一全景图片和第二全景图片中特征点的特征匹配映射，本发明通过图神经网络进行数据运算计算效率较高，实时性较好，使特征匹配程度更好，通过图神经网络学习特征点数据、学习场景后使特征点更少，更稳定，且能有效简化系统的复杂程度。
继续参考图2，示出了根据本发明的图像特征匹配的方法的一个实施例的流程图。所述的图像特征匹配方法，包括以下步骤：
S201，将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度。
在本发明一种具体的实施例中，本发明图像特征匹配应用于八目相机中全景图像匹配，上述第一全景图片和第二全景图片均为通过八目相机获取到的全景图片。特征点提取模型为superpoint模型，superpoint模型需要预先进行训练，superpoint模型是一个通过自监督的方式去训练图神经网络来提取特征点的模型。
具体的，服务器接收图像特征匹配指令，获取待匹配的第一全景图片Sphere1和第二全景图片Sphere2，分别将待匹配的第一全景图片Sphere1和第二全景图片Sphere2分割为多个针孔图pinhole，分别将多个pinhole图导入superpoint模型，获取每一个pinhole图的的特征点坐标(x，y)、特征点标识符d和特征点置信度s。
在本实施例中，图像特征匹配方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收图像特征匹配指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
S202，利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵。
其中，图神经网络为自注意力机制和交叉注意力机制的图神经网络，在本发明一种具体的实施例中，图神经网络可以是采用图注意力网络(Graph Attention Networks，GAT)，图注意力网络(GAT)是一种基于空间的图卷积网络，它的注意机制是在聚合特征信息时，将注意机制用于确定节点邻域的权重，可以通过图注意力网络(GAT)对图片参数进行聚合，得到聚合矩阵。
具体的，服务器利用图注意力网络(GAT)对所述第一全景图片Sphere1中每一个pinhole图的特征点坐标(x，y)、特征点标识符d和特征点置信度s进行聚合，得到第一聚合矩阵D1，利用图注意力网络(GAT)对所述第二全景图片Sphere2中每一个pinhole图的特征点坐标(x，y)、特征点标识符d和特征点置信度s进行聚合，得到第二聚合矩阵D2。
S203，计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵。
具体的，服务器将所述第一聚合矩阵D1和所述第二聚合矩阵D2进行矩阵乘积运算，得到分数矩阵s_mat，求解分数矩阵s_mat可以得到分配矩阵，分配矩阵用于构建第一全景图片Sphere1和第二全景图片Sphere2的特征点匹配映射。
S204，基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵。
其中，Sinkhorn迭代算法指的是最优传输映射的逼近迭代算法，最优传输(Optimal Transport)是多个学科交叉的研究领域，包括概率、分析以及优化等。最优传输研究的主要目标是建立有效比较概率分布的几何工具。以法国数学家蒙日(Monge)在二百多年前给出的问题为例：当给定两个沙盘时(每盘沙子可以代表一个概率分布)，可以通过很多方式将一个沙盘传输(Transport or Reshape)到另一个沙盘。基于传输单个沙粒的局部花费，每一种传输方法均对应一个全局花费。最优传输的目的就是寻找总体花费最少的传输方案，从而进一步建立面向概率分布的几何工具集。在应用方面，最优传输被广泛应用于计算机科学领域，尤其是在计算机图形学、计算机视觉、医学图像处理以及深度学习等方面取得了显著效果。
具体的，服务器基于预设的Sinkhorn迭代算法求解所述分数矩阵s_mat，最终会的一个最优分配矩阵assignment。
S205，比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值。
具体的，服务器比对所述最优分配矩阵assignment中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值。其中，行列索引是对矩阵中一行或多行、一列或多列的值进行排序的一种结构，使用行列索引可快速访问矩阵的特定信息，行列索引值为对矩阵中的数据值进行排序之后统计得到的每一个行列权重值。
S206，基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。
具体的，服务器基于所述行列索引值对第一全景图片Sphere1和第二全景图片Sphere2中的特征点进行特征匹配映射，得到特征点匹配对。
本发明公开了一种图像特征匹配方法、装置、计算机设备和存储介质，属于人工智能技术领域，所述方法通过将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度，利用图神经网络分别对第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵，计算第一聚合矩阵和第二聚合矩阵的乘积，得到分数矩阵，基于Sinkhorn迭代算法求解分数矩阵，得到最优分配矩阵，比对最优分配矩阵中每一个数值与预设匹配阈值，获取最优分配矩阵中大于匹配阈值的数值对应的行列索引值，基于行列索引值对第一全景图片和第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。本发明通过提取特征点的数据信息，并将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵求解最优分配矩阵，最后通过最优分配矩阵确定第一全景图片和第二全景图片中特征点的特征匹配映射，本发明通过图神经网络进行数据运算计算效率较高，实时性较好，使特征匹配程度更好，通过图神经网络学习特征点数据、学习场景后使特征点更少，更稳定，且能有效简化系统的复杂程度。
进一步地，所述将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度的步骤，具体包括：
将所述第一全景图片和所述第二全景图片分别转化为pinhole图，得到第一pinhole图和第二pinhole图；
将所述第一pinhole图和所述第二pinhole图分别导入所述特征点提取模型，得到所述第一pinhole图和所述第二pinhole图的特征点坐标、特征点标识符和特征点置信度。
进一步地，所述特征点提取模型为superpoint模型。
具体的，服务器对所述第一全景图片Sphere1进行分割，将所述第一全景图片Sphere1转化为pinhole图，得到多个第一pinhole图，例如，将所述第一全景图片Sphere1转化为三个pinhole图，分别为pin0、pin1和pin2。服务器对所述第二全景图片Sphere2进行分割，将所述二全景图片Sphere2转化为pinhole图，得到多个第二pinhole图，例如，将所述第二全景图片Sphere2转化为三个pinhole图。分别将pin3、pin4和pin5。将pin0、pin1、pin2、pin3、pin4和pin5分别导入superpoint模型，分别得到pin0、pin1、pin2、pin3、pin4和pin5的特征点坐标(x，y)、特征点标识符d和特征点置信度s。
在上述实施例中，通过对全景图片进行分割，得到pinhole图，再将pinhole图导入superpoint模型可以获得pinhole图的特征点坐标(x，y)、特征点标识符d和特征点置信度s。
进一步地，请参考图3，所述利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵的步骤之前，还包括：
S301，组合所述第一全景图片的特征点坐标和特征点置信度，得到第一置信坐标，以及组合所述第二全景图片的特征点坐标和特征点置信度，得到第二置信坐标；
S302，利用预设的多层感知器分别对所述第一置信坐标和所述第二置信坐标进行多维向量转化，得到第一图片向量和第二图片向量；
S303，通过所述第一全景图片的特征点标识符对所述第一图片向量进行标记，得到第一编码信息，以及通过所述第二全景图片的特征点标识符对所述第二图片向量进行标记，得到第二编码信息。
其中，多层感知器(MLP，Multilayer Perceptron)是一种前馈人工图神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。
具体的，服务器组合所述第一全景图片Sphere1中每一个pinhole图的特征点坐标(x，y)和特征点置信度s，得到pinhole图的第一置信坐标(x，y，s)，例如，pin0的置信坐标为(x0，y0，s0)。同理，服务器组合所述第二全景图片Sphere2中每一个pinhole图的特征点坐标(x，y)和特征点置信度s，得到pinhole图的第二置信坐标(x，y，s)，例如，pin3的置信坐标为(x3，y3，s3)。利用预设的多层感知器MLP分别对上述所述第一置信坐标和所述第二置信坐标进行多维向量转化，得到第一图片向量P1以及第二图片向量P2，通过特征点标识符对第一图片向量P1以及第二图片向量P2进行标记，得到第一编码信息encoder1和第二编码信息encoder2。
进一步地，所述利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵的步骤，具体包括：
将所述第一编码信息导入所述图神经网络进行聚合，得到所述第一聚合矩阵；
将所述第二编码信息导入所述图神经网络进行聚合，得到所述第二聚合矩阵。
具体的，服务器将所述第一编码信息encoder1导入图注意力网络(GAT)进行信息聚合，得到所述第一聚合矩阵f1，以及服务器将所述第二编码信息encoder2导入图注意力网络(GAT)进行信息聚合，得到所述第二聚合矩阵f2，通过所述第一聚合矩阵f1和所述第二聚合矩阵f2构建分数矩阵。
进一步地，请参考图4，所述基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵的步骤，具体包括：
S401，在所述分数矩阵中添加用于辅助求解运算的运算行和运算列；
S402，基于Sinkhorn迭代算法求解添加所述运算行和所述运算列后的所述分数矩阵，得到初始结果矩阵；
S405，去除所述初始结果矩阵中的所述运算行和所述运算列，得到所述最优分配矩阵。
其中，Sinkhorn迭代算法指的是最优传输映射的逼近迭代算法，最优传输(Optimal Transport)是多个学科交叉的研究领域，包括概率、分析以及优化等。最优传输研究的主要目标是建立有效比较概率分布的几何工具。在应用方面，最优传输被广泛应用于计算机科学领域，尤其是在计算机图形学、计算机视觉、医学图像处理以及深度学习等方面取得了显著效果。
具体的，服务器先在分数矩阵s_mat中添加用于辅助求解运算的运算行和运算列，其中，在分数矩阵s_mat最右侧增加运算列，在分数矩阵s_mat最后一行下面增加运算行，运算行和运算列用于辅助求解分数矩s_mat阵。基于Sinkhorn迭代算法求解添加所述运算行和所述运算列后的所述分数矩阵s_mat，得到初始结果矩阵assignment0，去除所述初始结果矩阵中的所述运算行和所述运算列，得到所述最优分配矩阵assignment。
在上述实施例中，服务器基于预设的Sinkhorn迭代算法求解所述分数矩阵s_mat，最终会的一个最优分配矩阵assignment。
进一步地，在所述基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对的步骤之后，还包括：
比对每一个所述特征点中特征点匹配对的所述行列索引值；
将最大的行列索引值对应的特征点匹配对作为所述特征点的最终特征点匹配对。
具体的，将所述第一全景图片Sphere1转化为多个pinhole图，例如pin0、pin1和pin2，将所述第二全景图片Sphere2转化为多个pinhole图，例如pin3、pin4和pin5，在根据行列索引值进行特征点映射匹配时，pin0需要分别和pin3、pin4以及pin5进行映射匹配，因此pin0上的特征点有可能存在多个特征点匹配对，在特征匹配完成后，服务器比对每一个所述特征点中特征点匹配对的所述行列索引值，将最大的行列索引值对应的特征点匹配对作为所述特征点的最终特征点匹配对，并将其余的特征点匹配对关系解除并删除。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图5，作为对上述图2所示方法的实现，本发明提供了一种图像特征匹配装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的图像特征匹配装置包括：
特征提取模块501，用于将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度；
特征聚合模块502，用于利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵；
矩阵乘积模块503，用于计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵；
矩阵聚合模块504，用于基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵；
参数比对模块505，用于比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值；
特征匹配模块506，用于基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。
进一步地，所述特征提取模块501具体包括：
图片转化单元，用于将所述第一全景图片和所述第二全景图片分别转化为pinhole图，得到第一pinhole图和第二pinhole图；
特征提取单元，用于将所述第一pinhole图和所述第二pinhole图分别导入所述特征点提取模型，得到所述第一pinhole图和所述第二pinhole图的特征点坐标、特征点标识符和特征点置信度。
进一步地，所述特征点提取模型为superpoint模型。
进一步地，所述图像特征匹配装置还包括：
特征组合模块，用于组合所述第一全景图片的特征点坐标和特征点置信度，得到第一置信坐标，以及组合所述第二全景图片的特征点坐标和特征点置信度，得到第二置信坐标；
向量转化模块，用于利用预设的多层感知器分别对所述第一置信坐标和所述第二置信坐标进行多维向量转化，得到第一图片向量和第二图片向量；
向量标记模块，用于通过所述第一全景图片的特征点标识符对所述第一图片向量进行标记，得到第一编码信息，以及通过所述第二全景图片的特征点标识符对所述第二图片向量进行标记，得到第二编码信息。
进一步地，所述特征聚合模块502具体包括：
第一聚合单元，用于将所述第一编码信息导入所述图神经网络进行聚合，得到所述第一聚合矩阵；
第二聚合单元，用于将所述第二编码信息导入所述图神经网络进行聚合，得到所述第二聚合矩阵。
进一步地，所述矩阵聚合模块504具体包括：
辅助求解单元，用于在所述分数矩阵中添加用于辅助求解运算的运算行和运算列；
矩阵运算单元，用于基于Sinkhorn迭代算法求解添加所述运算行和所述运算列后的所述分数矩阵，得到初始结果矩阵；
最优解获取单元，用于去除所述初始结果矩阵中的所述运算行和所述运算列，得到所述最优分配矩阵。
进一步地，所述图像特征匹配装置还包括：
索引值比对模块，用于比对每一个所述特征点中特征点匹配对的所述行列索引值；
匹配对筛选模块，用于将最大的行列索引值对应的特征点匹配对作为所述特征点的最终特征点匹配对。
本发明公开了一种图像特征匹配方法、装置、计算机设备和存储介质，属于人工智能技术领域，所述装置包括特征提取模块501，用于将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度；特征聚合模块502，用于利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵；矩阵乘积模块503，用于计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵；矩阵聚合模块504，用于基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵；参数比对模块505，用于比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述优分配矩阵中大于所述匹配阈值的数值对应的行列索引值；特征匹配模块506，用于基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。本发明通过提取特征点的数据信息，并将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵求解最优分配矩阵，最后通过最优分配矩阵确定第一全景图片和第二全景图片中特征点的特征匹配映射，本发明通过图神经网络进行数据运算计算效率较高，实时性较好，使特征匹配程度更好，通过图神经网络学习特征点数据、学习场景后使特征点更少，更稳定，且能有效简化系统的复杂程度。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如图像特征匹配方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述图像特征匹配方法的计算机可读指令。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本发明公开了一种计算机设备，属于人工智能技术领域，本发明将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度，利用图神经网络分别对第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵，计算第一聚合矩阵和第二聚合矩阵的乘积，得到分数矩阵，基于Sinkhorn迭代算法求解分数矩阵，得到最优分配矩阵，比对最优分配矩阵中每一个数值与预设匹配阈值，获取最优分配矩阵中大于匹配阈值的数值对应的行列索引值，基于行列索引值对第一全景图片和第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。本发明通过提取特征点的数据信息，并将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵求解最优分配矩阵，最后通过最优分配矩阵确定第一全景图片和第二全景图片中特征点的特征匹配映射，本发明通过图神经网络进行数据运算计算效率较高，实时性较好，且能有效简化系统的复杂程度。
本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图像特征匹配方法的步骤。
本发明公开了一种存储介质，属于人工智能技术领域，本发明将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度，利用图神经网络分别对第一全景图片和第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵，计算第一聚合矩阵和第二聚合矩阵的乘积，得到分数矩阵，基于Sinkhorn迭代算法求解分数矩阵，得到最优分配矩阵，比对最优分配矩阵中每一个数值与预设匹配阈值，获取最优分配矩阵中大于匹配阈值的数值对应的行列索引值，基于行列索引值对第一全景图片和第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。本发明通过提取特征点的数据信息，并将特征点的数据信息导入图神经网络中获得分数矩阵，基于分数矩阵求解最优分配矩阵，最后通过最优分配矩阵确定第一全景图片和第二全景图片中特征点的特征匹配映射，本发明通过图神经网络进行数据运算计算效率较高，实时性较好，通过图神经网络学习特征点数据、学习场景后使特征点更少，更稳定，且能有效简化系统的复杂程度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (10)
1.一种图像特征匹配方法，其特征在于，包括：
将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度；
利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵；
计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵；
基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵；
比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值；
基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。
2.如权利要求1所述的图像特征匹配方法，其特征在于，所述将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度的步骤，具体包括：
将所述第一全景图片和所述第二全景图片分别转化为pinhole图，得到第一pinhole图和第二pinhole图；
将所述第一pinhole图和所述第二pinhole图分别导入所述特征点提取模型，得到所述第一pinhole图和所述第二pinhole图的特征点坐标、特征点标识符和特征点置信度。
3.如权利要求2所述的图像特征匹配方法，其特征在于，所述特征点提取模型为superpoint模型。
4.如权利要求1所述的图像特征匹配方法，其特征在于，所述利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵的步骤之前，还包括：
组合所述第一全景图片的特征点坐标和特征点置信度，得到第一置信坐标，以及组合所述第二全景图片的特征点坐标和特征点置信度，得到第二置信坐标；
利用预设的多层感知器分别对所述第一置信坐标和所述第二置信坐标进行多维向量转化，得到第一图片向量和第二图片向量；
通过所述第一全景图片的特征点标识符对所述第一图片向量进行标记，得到第一编码信息，以及通过所述第二全景图片的特征点标识符对所述第二图片向量进行标记，得到第二编码信息。
5.如权利要求4所述的图像特征匹配方法，其特征在于，所述利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵的步骤，具体包括：
将所述第一编码信息导入所述图神经网络进行聚合，得到所述第一聚合矩阵；
将所述第二编码信息导入所述图神经网络进行聚合，得到所述第二聚合矩阵。
6.如权利要求1-5任一项所述的图像特征匹配方法，其特征在于，所述基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵的步骤，具体包括：
在所述分数矩阵中添加用于辅助求解运算的运算行和运算列；
基于Sinkhorn迭代算法求解添加所述运算行和所述运算列后的所述分数矩阵，得到初始结果矩阵；
去除所述初始结果矩阵中的所述运算行和所述运算列，得到所述最优分配矩阵。
7.如权利要求6所述的图像特征匹配方法，其特征在于，在所述基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对的步骤之后，还包括：
比对每一个所述特征点中特征点匹配对的所述行列索引值；
将最大的行列索引值对应的特征点匹配对作为所述特征点的最终特征点匹配对。
8.一种图像特征匹配装置，其特征在于，包括：
特征提取模块，用于将待匹配的第一全景图片和第二全景图片导入特征点提取模型，分别得到所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度；
特征聚合模块，用于利用图神经网络分别对所述第一全景图片和所述第二全景图片的特征点坐标、特征点标识符和特征点置信度进行聚合，得到第一聚合矩阵和第二聚合矩阵；
矩阵乘积模块，用于计算所述第一聚合矩阵和所述第二聚合矩阵的乘积，得到分数矩阵；
矩阵聚合模块，用于基于Sinkhorn迭代算法求解所述分数矩阵，得到最优分配矩阵；
参数比对模块，用于比对所述最优分配矩阵中每一个数值与预设匹配阈值，获取所述最优分配矩阵中大于所述匹配阈值的数值对应的行列索引值；
特征匹配模块，用于基于所述行列索引值对所述第一全景图片和所述第二全景图片中的特征点进行特征匹配映射，得到特征点匹配对。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1-7中任一项所述的图像特征匹配方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述的图像特征匹配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110482145.XA CN113139490B (zh) | 2021-04-30 | 2021-04-30 | 一种图像特征匹配方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110482145.XA CN113139490B (zh) | 2021-04-30 | 2021-04-30 | 一种图像特征匹配方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113139490A true CN113139490A (zh) | 2021-07-20 |
| CN113139490B CN113139490B (zh) | 2024-02-23 |
Family
ID=76816955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110482145.XA Active CN113139490B (zh) | 2021-04-30 | 2021-04-30 | 一种图像特征匹配方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139490B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118038607A (zh) * | 2024-03-12 | 2024-05-14 | 北京师范大学 | 一种基于物联网的高校实验器材共享系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140072231A1 (en) * | 2012-09-10 | 2014-03-13 | Nokia Corporation | Method, apparatus and computer program product for processing of images |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| US20180137633A1 (en) * | 2016-11-14 | 2018-05-17 | Htc Corporation | Method, device, and non-transitory computer readable storage medium for image processing |
| EP3333771A1 (en) * | 2016-12-09 | 2018-06-13 | Fujitsu Limited | Method, program, and apparatus for comparing data hypergraphs |
| CN109596121A (zh) * | 2019-01-09 | 2019-04-09 | 南京师范大学 | 一种机动站自动目标检测与空间定位方法 |
| CN110008817A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| CN110660105A (zh) * | 2018-06-29 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 一种全景环视系统的标定参数优化方法及装置 |
| WO2020015075A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | 人脸图像比对方法、装置、计算机设备及存储介质 |
| CN111242221A (zh) * | 2020-01-14 | 2020-06-05 | 西交利物浦大学 | 基于图匹配的图像匹配方法、系统及存储介质 |
| CN111383240A (zh) * | 2020-03-11 | 2020-07-07 | 龙安 | 防火绿色通道的路网全景图像拼接分析方法 |
| CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
-
2021
- 2021-04-30 CN CN202110482145.XA patent/CN113139490B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140072231A1 (en) * | 2012-09-10 | 2014-03-13 | Nokia Corporation | Method, apparatus and computer program product for processing of images |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| US20180137633A1 (en) * | 2016-11-14 | 2018-05-17 | Htc Corporation | Method, device, and non-transitory computer readable storage medium for image processing |
| EP3333771A1 (en) * | 2016-12-09 | 2018-06-13 | Fujitsu Limited | Method, program, and apparatus for comparing data hypergraphs |
| CN110660105A (zh) * | 2018-06-29 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 一种全景环视系统的标定参数优化方法及装置 |
| WO2020015075A1 (zh) * | 2018-07-18 | 2020-01-23 | 平安科技（深圳）有限公司 | 人脸图像比对方法、装置、计算机设备及存储介质 |
| CN109596121A (zh) * | 2019-01-09 | 2019-04-09 | 南京师范大学 | 一种机动站自动目标检测与空间定位方法 |
| CN110008817A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| CN111242221A (zh) * | 2020-01-14 | 2020-06-05 | 西交利物浦大学 | 基于图匹配的图像匹配方法、系统及存储介质 |
| CN111383240A (zh) * | 2020-03-11 | 2020-07-07 | 龙安 | 防火绿色通道的路网全景图像拼接分析方法 |
| CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
Non-Patent Citations (3)
| Title |
|---|
| NASSAR, A.S等: "Learning geometric soft constraints for multi-view instance matching across street-level panoramas", 《2019 JOINT URBAN REMOTE SENSING EVENT (JURSE)》 * |
| 吴铮铮;寇展;: "基于单目多视角影像的场景三维重建", 光学与光电技术, no. 05 * |
| 王?;付强;姚江云;: "基于FPGA的全景相机系统的软件设计", 科技创新导报, no. 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118038607A (zh) * | 2024-03-12 | 2024-05-14 | 北京师范大学 | 一种基于物联网的高校实验器材共享系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113139490B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020199693A1 (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
| CN112101437B (zh) | 基于图像检测的细粒度分类模型处理方法、及其相关设备 | |
| WO2021120677A1 (zh) | 一种仓储模型训练方法、装置、计算机设备及存储介质 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN113343982B (zh) | 多模态特征融合的实体关系提取方法、装置和设备 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| WO2022111387A1 (zh) | 一种数据处理方法及相关装置 | |
| CN112995414B (zh) | 基于语音通话的行为质检方法、装置、设备及存储介质 | |
| CN112016502B (zh) | 安全带检测方法、装置、计算机设备及存储介质 | |
| CN113902010A (zh) | 分类模型的训练方法和图像分类方法、装置、设备和介质 | |
| CN110717405B (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN114693934A (zh) | 语义分割模型的训练方法、视频语义分割方法及装置 | |
| CN115510186A (zh) | 基于意图识别的即时问答方法、装置、设备及存储介质 | |
| CN113139490B (zh) | 一种图像特征匹配方法、装置、计算机设备及存储介质 | |
| CN113627421A (zh) | 一种图像处理方法、模型的训练方法以及相关设备 | |
| CN113240071A (zh) | 图神经网络处理方法、装置、计算机设备及存储介质 | |
| CN112434746A (zh) | 基于层次化迁移学习的预标注方法及其相关设备 | |
| CN112381118A (zh) | 一种大学舞蹈考试测评方法及装置 | |
| CN114881227B (zh) | 模型压缩方法、图像处理方法、装置和电子设备 | |
| CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN115661472A (zh) | 图像查重方法、装置、计算机设备及存储介质 | |
| WO2022052647A1 (zh) | 一种数据处理方法、神经网络的训练方法以及相关设备 | |
| CN115392361A (zh) | 一种智能排序方法、装置、计算机设备及存储介质 | |
| CN112036501A (zh) | 基于卷积神经网络的图片的相似度检测方法及其相关设备 | |
| CN112966150A (zh) | 一种视频内容抽取的方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |