CN113807451A - 全景图像特征点匹配模型的训练方法、装置以及服务器 - Google Patents
全景图像特征点匹配模型的训练方法、装置以及服务器 Download PDFInfo
- Publication number
- CN113807451A CN113807451A CN202111116317.8A CN202111116317A CN113807451A CN 113807451 A CN113807451 A CN 113807451A CN 202111116317 A CN202111116317 A CN 202111116317A CN 113807451 A CN113807451 A CN 113807451A
- Authority
- CN
- China
- Prior art keywords
- training
- feature point
- feature points
- target
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 256
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 18
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于视觉图像处理技术领域,提供了一种全景图像特征点匹配模型的训练方法方法、装置、服务器以及计算机可读存储介质,该方法包括:获取训练场景数据集,从训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点;筛选出存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为训练场景数据集的目标真值;以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。可见,本申请实施例通过自动确定训练场景数据集的目标真值,从而达到根据训练场景数据集和目标真值训练得到的全景图像特征点匹配模型可以准确对全景图像进行特征匹配的效果。
Description
本申请是对申请号为202110571754.2,申请日为2021年08月16日,名称为“全景图像特征点处理模型的训练方法、装置以及服务器”的分案申请。
技术领域
本申请属于视觉图像处理技术领域,尤其涉及一种全景图像特征点处理模型的训练方法、装置以及服务器。
背景技术
相机定位是基于图像的三维重建中的基本步骤,根据同一物体对象对应的不同图像之间的特征匹配来实现相机定位。一般地,根据全景图像之间的特征匹配实现的相机定位效果较佳,但是,现有技术中无法对全景图像进行准确的特征匹配。
发明内容
本申请实施例提供了一种全景图像特征点处理模型的训练方法、装置以及服务器,可以解决现有技术中无法对全景图像进行准确的特征匹配的问题。
第一方面,本申请实施例提供了一种全景图像特征点匹配模型的训练方法,包括:
获取训练场景数据集,所述训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;
从所述训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点;
筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为所述训练场景数据集的目标真值;
其中,目标匹配关系为稳健的匹配关系,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点;
以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
在第一方面的一种可能的实现方式中,从所述训练场景数据的所述训练全景图像中,提取出存在第一匹配关系的第一特征点,包括:
对所述训练全景图像进行裁剪,得到训练透视图像;
基于预先训练的透视图像特征点匹配模型,从训练透视图像中,提取出存在第二匹配关系的第二特征点;
将存在第二匹配关系的第二特征点,从各自所在的训练透视图像中,投影至所述各自所在的训练透视图像对应的裁剪前的训练全景图像中,得到存在第一匹配关系的第一特征点。
在第一方面的一种可能的实现方式中,筛选出所述存在第二匹配关系的第一特征点中的存在目标匹配关系的目标特征点,得到所述训练场景数据集的目标真值,包括:
获取存在第一匹配关系的第一特征点对应的相机拍摄位置;
根据所述相机拍摄位置筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
在第一方面的一种可能的实现方式中,根据所述相机拍摄位置筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,包括:
根据所述相机拍摄位置确定存在第一匹配关系的第一特征点对应的同一个真实特征点;
将所述第一特征点从像素坐标系投影至所述真实特征点所在的世界坐标系;
根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
在第一方面的一种可能的实现方式中,根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点之后,包括:
将存在第一匹配关系的第一特征点中除了存在目标匹配关系的目标特征点以外的第一特征点作为待剔除特征点;
将所述真实特征点从世界坐标系投影至所述待剔除特征点所在像素坐标系;
判断投影至所述待剔除特征点所在像素坐标系中的真实特征点与所述待剔除特征点之间的像素差是否小于像素差阈值;
若是,则将像素差小于像素差阈值的待剔除特征点之间作为存在目标匹配关系的目标特征点;
若不是,则将像素差大于像素差阈值的待剔除特征点之间的第一匹配关系进行剔除。
第二方面,本申请实施例提供了一种全景图像特征点匹配模型的训练装置装置,包括:
获取模块,用于获取训练场景数据集,所述训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;
提取模板,用于从所述训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点;
筛选模块,用于筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为所述训练场景数据集的目标真值;
其中,目标匹配关系为稳健的匹配关系,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点;
训练模块,用于以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
在第二方面的一种可能的实施方式中,所述提取模块包括:
剪裁子模块,用于对所述训练全景图像进行裁剪,得到训练透视图像;
提取子模块,用于基于预先训练的透视图像特征点匹配模型,从训练透视图像中,提取出存在第二匹配关系的第二特征点;
匹配子模块,用于将存在第二匹配关系的第二特征点,从各自所在的训练透视图像中,投影至所述各自所在的训练透视图像对应的裁剪前的训练全景图像中,得到存在第一匹配关系的第一特征点。
在第二方面的一种可能的实施方式中,所述筛选模块包括:
获取子模块,用于获取存在第一匹配关系的第一特征点对应的相机拍摄位置;
筛选子模块,用于根据所述相机拍摄位置筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
在第二方面的一种可能的实施方式中,在一种可选的实施方式中,所述筛选子模块包括:
确定单元,用于根据所述相机拍摄位置确定存在第一匹配关系的第一特征点对应的同一个真实特征点;
投影单元,用于所述第一特征点从像素坐标系投影至所述真实特征点所在的世界坐标系;
重合单元,用于根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
在第二方面的一种可能的实施方式中,所述筛选模块,还包括:
剔除子模块,用于将存在第一匹配关系的第一特征点中除了存在目标匹配关系的目标特征点以外的第一特征点作为待剔除特征点;
投影子模块,用于将所述真实特征点从世界坐标系投影至所述待剔除特征点所在像素坐标系;
第一判断子模块,用于判断投影至所述待剔除特征点所在像素坐标系中的真实特征点与所述待剔除特征点之间的像素差是否小于像素差阈值;
第二判断子模块,用于若是,则将像素差小于像素差阈值的待剔除特征点之间作为存在目标匹配关系的目标特征点;
第三判断子模块,用于若不是,则将像素差大于像素差阈值的待剔除特征点之间的第一匹配关系进行剔除。
第三方面,本申请实施例提供了一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,处理器执行所述计算机程序时实现如权利要求任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例中,获取训练场景数据集,训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;从训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点; 筛选出存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为训练场景数据集的目标真值;其中,目标匹配关系为稳健的匹配关系,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点;以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。可见,本申请实施例通过自动确定训练场景数据集的目标真值(即训练场景数据集中存在稳健匹配关系的特征点),不需要人工给训练场景数据集中的数量庞大的特征点配置稳健匹配关系作为目标真值,从而达到根据训练场景数据集和目标真值训练得到的全景图像特征点匹配模型可以准确对全景图像进行特征匹配的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的全景图像特征点匹配模型的训练方法的流程示意图;
图2是本申请实施例提供的全景图像特征点匹配模型的训练方法的图1中步骤S102的具体流程示意图;
图3是本申请实施例提供的全景图像特征点匹配模型的训练方法的图1中步骤S103的具体流程示意图;
图4是本申请实施例提供的全景图像特征点匹配模型的训练方法的图3中步骤S302的具体流程示意图;
图5是本申请实施例提供的全景图像特征点匹配模型的图4中步骤S403之后的流程示意图;
图6是本申请实施例提供的全景图像特征点匹配模型的训练方法的图1中步骤S104之前的流程示意图
图7是本申请实施例提供的全景图像特征点匹配模型的训练装置的结构框图;
图8是本申请实施例提供的服务器的结构示意图;
图9是本申请实施例提供的全景图像特征点匹配模型的训练方法的图1的步骤S102中对存在第一匹配关系的第一特征点进行说明的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面将通过具体实施例对本申请实施例提供的技术方案进行介绍。
参见图1,为本申请实施例提供的全景图像特征点匹配模型的训练方法的流程示意图,作为示例而非限定,该方法可以应用于服务器,该服务器可以是云端服务器等计算设备,上述全景图像特征点匹配模型的训练方法可以包括以下步骤:
步骤S101、获取训练场景数据集。
其中,训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像,训练场景是指用于相机采集训练全景图像的现实场景,这里本申请将每个训练场景中通过相机在不同拍摄位置拍摄得到的多个训练图像定义为一个训练场景数据。实际应用中,本申请实施例的训练场景数据集是通过八目相机在多个训练场景中采集的多个训练图像的基础上构建的,示例性地,训练场景数据集可以包含来自房间、走廊、街道等10000个训练场景的1000000个高分辨率全景图像。
步骤S102、从训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点。
其中,第一特征点是指训练全景图像中具有特征性质的像素点,第一匹配关系是指在一个训练场景数据的不同训练全景图像中的第一特征点共同匹配该训练场景数据对应的训练场景中的同一个真实特征点,真实特征点是指在世界坐标系下的训练场景中真实物体的特征点。示例性地,如图9所示,相机在4个不同位置分别对第一真实特征点和第二真实特征点进行拍摄,得到4个训练图像上的4个第一示意特征点(即上述一个存在第一匹配关系的第一特征点)和4个第二示意特征点(即上述另一个存在第一匹配关系的第一特征点),可见,4个第一示意特征点共同匹配同一个第一真实特征点,4个第二示意特征点共同匹配一个第二真实特征点。
具体应用中,如图2所示,为本申请实施例提供的全景图像特征点匹配模型的训练方法的图1中步骤S102的具体流程示意图,从训练场景数据集的训练全景图像中,提取出存在第一匹配关系的第一特征点,包括:
步骤S201、对训练全景图像进行裁剪,得到训练透视图像。
可以理解的是,一张训练全景图像根据视场角的选择可以裁剪重投影为多张的训练透视图,例如,采用80度的视场角,可以将一张训练全景图片裁剪为前后、左右、上下共六张训练透视图。也可以是采用60度的视场角将一张训练全景图像裁剪为18张训练透视图(上中下三个角度,一周360°分为6个角度,总共)。
步骤S202、基于预先训练的透视图像特征点匹配模型,从训练透视图像中,提取出存在第二匹配关系的第二特征点。
其中,第二特征点是指透视图像中具有特征性质的像素点,第二匹配关系是指在一个训练场景数据的不同训练透视图像中的第二特征点共同匹配该训练场景数据对应的训练场景中的同一个真实特征点,真实特征点是指在世界坐标系下的训练场景中真实物体的特征点,第二匹配关系的具体说明可以参考步骤S201中第一匹配关系的具体说明。另外需说明的是,本申请实施例预先训练的透视图特征点匹配模型可以是任意一个可以对透视图进行特征提取以及匹配的神经网络模型,例如是SuperGlue模型、SuperGlue模型变体或者OANet模型,本申请实施例对预先训练的透视图特征点匹配模型的类型不作任何限制。
步骤S203、将存在第二匹配关系的第二特征点,从各自所在的训练透视图像中,投影至各自所在的训练透视图像对应的裁剪前的训练全景图像中,得到存在第一匹配关系的第一特征点。
可以理解的是,将存在第二匹配关系的第二特征点,从各自所在的训练透视图像中,投影至各自所在的训练透视图像对应的裁剪前的训练全景图像中,得到存在第一匹配关系的第一特征点实质上是:将第二特征点从训练透视图像对应的平面坐标系投影到裁剪前的训练全景图像对应的球面坐标系。
本申请实施例中,借助预先训练的透视图像特征点匹配模型提取到根据训练全景图像裁剪得到的透视图中的存在第二匹配关系的第二特征点,然后再根据投影关系得到训练全景图像的存在第一匹配关系的第一特征点。
步骤S103、筛选出存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为所述训练场景数据集的目标真值。
其中,目标真值为在训练场景数据集的训练全景图像中提取的存在目标匹配关系的目标特征点。
可以理解的是,第一特征点之间的第一匹配关系不够稳健,需要从存在第一匹配关系的第一特征点中筛选出目标匹配关系(即稳健匹配关系)的目标特征点,其中,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点,一般将4个以上完全共同匹配同一个训练场景中的真实特征点视为稳健的匹配关系,例如,如图8所示,4个第一示意特征点可以共同匹配同一个第一真实特征点,不存在有一个示意特征点匹配不到第一真实特征点的情况,则认为4个第一示意特征点之间的匹配关系是稳健的。
具体应用中,如图3所示,为本申请实施例提供的全景图像特征点匹配模型的训练方法的图1中步骤S103的具体流程示意图,筛选出所述存在第二匹配关系的第一特征点中的存在目标匹配关系的目标特征点,得到所述训练场景数据集的目标真值,包括:
步骤S301、获取存在第一匹配关系的第一特征点对应的相机拍摄位置。
其中,相机拍摄位置是指相机在训练场景中拍摄的位置信息,位置信息包括相机的三维坐标、相机到训练场景中真实特征点的深度值。
具体地,预先通过相机定位算法(例如sfm算法)根据训练场景数据集的训练场景图像计算出相机到训练场景中真实特征点的深度值以及得到共同匹配同一个真实特征点的多个特征点分别在所在的共视帧的像素坐标,其中,共视帧是指包含共同匹配同一个真实特征点的特征点的多个图像,并且还得到相机的三维坐标。其中,sfm算法主要基于多视觉几何原理,用于从运动中实现3D重建,也就是从无时间序列的2D图像中推算三维信息,是计算机视觉学科的重要分支。在一种可选的实施方式中,由于sfm算法可以得到共同匹配同一个真实特征点的多个特征点分别在所在的共视帧的像素坐标,相当于通过sfm算法可以直接从训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点。
步骤S302、根据相机拍摄位置筛选出存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
可以理解的是,本申请通过相机拍摄位置来确定出真实特征点的三维坐标,然后再根据真实特征点的三维坐标来确定第一特征点中的目标特征点。
具体应用中,如图4所示,为本申请实施例提供全景图像特征点匹配模型的训练方法的图3中步骤S302的具体流程示意图,根据相机拍摄位置筛选出存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,包括:
步骤S401、根据相机拍摄位置确定存在第一匹配关系的第一特征点对应的同一个真实特征点。
可以理解的是, 确定真实特征点就是获取真实特征点的三维坐标,本申请实施例直接可以根据相机拍摄位置对应的位置信息中包含的相机到训练场景中真实特征点的深度值以及得到共同匹配同一个真实特征点的多个特征点分别所在的共视帧的像素坐标,得到真实特征点的三维坐标。
示例性地,根据下式计算真实特征点的三维坐标:
优选的,可以直接根据上述计算真实特征点的三维坐标的公式进行数学变换,把特征点在共视帧中的像素坐标直接数变换为真实特征点的三维坐标,将特征点在共视帧中的像素坐标转换为真实特征点的三维坐标之后,把4个以上三维坐标相同的真实特征点分别对应的特征点作为目标特征点,并将该目标特征点作为训练场景数据集的目标真值。(需说明的是,这里由于是直接的数学变换,所以特征点在共视帧中的像素坐标与真实特征点的三维坐标是一一对应关系)
步骤S402、将第一特征点从像素坐标系投影至真实特征点所在的世界坐标系。
可以理解的是,本申请将第一特征点都投影至真实特征点所在的世界坐标系,从而验证投影到真实特征点所在的世界坐标系中的第一特征点是不是和真实特征点一致。
步骤S403、根据投影至真实特征点所在的世界坐标系中的第一特征点与真实特征点之间是否重合,确定出存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
可以理解的是,第一特征点都投影至真实特征点所在的世界坐标系,判断出存在第一匹配关系的第一特征点中哪些在真实特征点所在的世界坐标系与真实特征点之间重合,则确定与真实特征点之间重合的存在第一匹配关系的第一特征点为存在目标匹配关系的目标特征点。
在一种可选的实施方式中,如图5所示,为本申请实施例提供的全景图像特征点匹配模型的图4中步骤S403之后的流程示意图,根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点之后,包括:
步骤S501、将存在第一匹配关系的第一特征点中除了存在目标匹配关系的目标特征点以外的第一特征点作为待剔除特征点。
其中,待剔除特征点是指后续会剔除第一匹配关系的第一特征点。
步骤S502、将真实特征点从世界坐标系投影至待剔除特征点所在像素坐标系。
步骤S503、判断投影至所述待剔除特征点所在像素坐标系中的真实特征点与所述待剔除特征点之间的像素差是否小于像素差阈值。
步骤S504、若是,则将像素差小于像素差阈值的待剔除特征点之间作为存在目标匹配关系的目标特征点。
步骤S505、若不是,则将像素差大于像素差阈值的待剔除特征点之间的第一匹配关系进行剔除。
其中,像素差阈值为4个像素值。
可以理解的是,确定存在目标匹配关系的目标特征点的过程中涉及到坐标系变换的投影过程,会造成误差存在,从而遗漏一些目标特征点。本申请实施例中,在确定出存在目标匹配关系的目标特征点之后还增加了校验步骤,即将将真实特征点从世界坐标系投影至待剔除特征点所在像素坐标系,判断它们之间的像素差小于像素差阈值,则可以将该待剔除特征点认为是存在目标匹配关系的目标特征点,达到减少投影误差的目的。
步骤S104、以训练场景数据集为输入,目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
其中,全景图像特征点匹配模型为自注意力和交叉注意力机理的深度学习网络。
优选的,如图6所示,为本申请实施例提供的全景图像特征点匹配模型的训练方法的图1中步骤S104之前的流程示意图,以训练场景数据集为输入,目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型之前,还包括:
步骤S601、预处理训练全景图像。
其中,预处理包括对训练全景图像进行数据清洗、统一格式等。
步骤S602、配置预处理后的训练场景数据集的标签信息,其中,标签信息为训练场景数据集对应的存在第一匹配关系的第一特征点,以及第一特征点的像素位置信息。
其中,像素位置信息是指第一特征点在像素坐标系下的坐标。
可以理解的是,配置预处理后的训练场景数据集的标签信息,让训练场景数据集携带语义信息(即标签信息),使得后续训练的全景图像特征点匹配模型可以对图像的语义信息进行识别。
具体应用中,以训练场景数据集为输入,目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型,包括:
步骤S603、以携带标签信息的训练场景数据集为输入,目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
示例性地,全景图像特征点匹配模型包括编码网络层、自我注意力以及交叉注意力层以及最优匹配层,以携带标签信息的训练场景数据集为输入,目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型过程可以是:将训练全景图像中的存在第一匹配关系的第一特征点、第一特征点的描述子以及第一特征点的像素位置信息输入至全景图像特征点匹配模型中的编码网络层进行编码形成特征匹配向量,随后利用自我注意力以及交叉注意力层来回增强特征匹配向量的特征匹配性能;随后进入最优匹配层,通过计算特征匹配向量的内积得到匹配度得分矩阵,然后通过Sinkhorn算法解算出最优特征分配矩阵,输出特征点以及特征点之间的匹配关系作为预测值,再根据目标真值对更新全景图像特征点匹配模型的参数,达到训练全景图像特征点匹配模型的目的。
本申请实施例中,获取训练场景数据集,训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;确定训练场景数据集的目标真值,其中,目标真值为在训练场景数据集中提取的存在目标匹配关系的目标特征点;以训练场景数据集为输入,目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。可见,本申请实施例通过自动确定训练场景数据集的目标真值(即训练场景数据集中存在稳健匹配关系的特征点),不需要人工给训练场景数据集中的数量庞大的特征点配置稳健匹配关系作为目标真值,从而达到根据训练场景数据集和目标真值训练得到的全景图像特征点匹配模型可以准确对全景图像进行特征匹配的效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法,图7示出了本申请实施例提供的一种全景图像特征点匹配模型的训练装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图7,该全景图像特征点匹配模型的训练装置装置包括:
获取模块71,用于获取训练场景数据集,所述训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;
提取模板72,用于从所述训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点;
筛选模块73,用于筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为所述训练场景数据集的目标真值;
其中,目标匹配关系为稳健的匹配关系,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点;
训练模块74,用于以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
在一种可选的实施方式中,所述提取模块包括:
剪裁子模块,用于对所述训练全景图像进行裁剪,得到训练透视图像;
提取子模块,用于基于预先训练的透视图像特征点匹配模型,从训练透视图像中,提取出存在第二匹配关系的第二特征点;
匹配子模块,用于将存在第二匹配关系的第二特征点,从各自所在的训练透视图像中,投影至所述各自所在的训练透视图像对应的裁剪前的训练全景图像中,得到存在第一匹配关系的第一特征点。
在一种可选的实施方式中,所述筛选模块包括:
获取子模块,用于获取存在第一匹配关系的第一特征点对应的相机拍摄位置;
筛选子模块,用于根据所述相机拍摄位置筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
在一种可选的实施方式中,所述筛选子模块包括:
确定单元,用于根据所述相机拍摄位置确定存在第一匹配关系的第一特征点对应的同一个真实特征点;
投影单元,用于所述第一特征点从像素坐标系投影至所述真实特征点所在的世界坐标系;
重合单元,用于根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
在一种可选的实施方式中,所述筛选模块,还包括:
剔除子模块,用于将存在第一匹配关系的第一特征点中除了存在目标匹配关系的目标特征点以外的第一特征点作为待剔除特征点;
投影子模块,用于将所述真实特征点从世界坐标系投影至所述待剔除特征点所在像素坐标系;
第一判断子模块,用于判断投影至所述待剔除特征点所在像素坐标系中的真实特征点与所述待剔除特征点之间的像素差是否小于像素差阈值;
第二判断子模块,用于若是,则将像素差小于像素差阈值的待剔除特征点之间作为存在目标匹配关系的目标特征点;
第三判断子模块,用于若不是,则将像素差大于像素差阈值的待剔除特征点之间的第一匹配关系进行剔除。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图8为本申请实施例提供的服务器的结构示意图。如图8所示,该实施例的服务器8包括:至少一个处理器80、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82,所述处理器80执行所述计算机程序82时实现上述任意各个方法实施例中的步骤。
所述服务器8可以是云端服务器等计算设备。该服务器可包括,但不仅限于,处理器80、存储器81。本领域技术人员可以理解,图8仅仅是服务器8的举例,并不构成对服务器8的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit,CPU),该处理器80还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述服务器8的内部存储单元,例如服务器8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述服务器8的外部存储设备,例如所述服务器8上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器81还可以既包括所述服务器8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到服务器的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种全景图像特征点匹配模型的训练方法,其特征在于,包括:
获取训练场景数据集,所述训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;
从所述训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点;
筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为所述训练场景数据集的目标真值;
其中,目标匹配关系为稳健的匹配关系,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点;
以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
2.如权利要求1所述的全景图像特征点匹配模型的训练方法,其特征在于,从所述训练场景数据的所述训练全景图像中,提取出存在第一匹配关系的第一特征点,包括:
对所述训练全景图像进行裁剪,得到训练透视图像;
基于预先训练的透视图像特征点匹配模型,从训练透视图像中,提取出存在第二匹配关系的第二特征点;
将存在第二匹配关系的第二特征点,从各自所在的训练透视图像中,投影至所述各自所在的训练透视图像对应的裁剪前的训练全景图像中,得到存在第一匹配关系的第一特征点。
3.如权利要求1所述的全景图像特征点匹配模型的训练方法,其特征在于,筛选出所述存在第二匹配关系的第一特征点中的存在目标匹配关系的目标特征点,得到所述训练场景数据集的目标真值,包括:
获取存在第一匹配关系的第一特征点对应的相机拍摄位置;
根据所述相机拍摄位置筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
4.如权利要求3所述的全景图像特征点匹配模型的训练方法,其特征在于,根据所述相机拍摄位置筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,包括:
根据所述相机拍摄位置确定存在第一匹配关系的第一特征点对应的同一个真实特征点;
将所述第一特征点从像素坐标系投影至所述真实特征点所在的世界坐标系;
根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点。
5.如权利要求4所述的全景图像特征点匹配模型的训练方法,其特征在于,根据投影至所述真实特征点所在的世界坐标系中的第一特征点于所述真实特征点之间是否重合,确定出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点之后,包括:
将存在第一匹配关系的第一特征点中除了存在目标匹配关系的目标特征点以外的第一特征点作为待剔除特征点;
将所述真实特征点从世界坐标系投影至所述待剔除特征点所在像素坐标系;
判断投影至所述待剔除特征点所在像素坐标系中的真实特征点与所述待剔除特征点之间的像素差是否小于像素差阈值;
若是,则将像素差小于像素差阈值的待剔除特征点之间作为存在目标匹配关系的目标特征点;
若不是,则将像素差大于像素差阈值的待剔除特征点之间的第一匹配关系进行剔除。
6.一种全景图像特征点匹配模型的训练装置,其特征在于,包括:
获取模块,用于获取训练场景数据集,所述训练场景数据集中每个训练场景数据包括一个训练场景中同一个相机在不同拍摄位置拍摄得到的多个训练图像;
提取模板,用于从所述训练场景数据的训练全景图像中,提取出存在第一匹配关系的第一特征点;
筛选模块,用于筛选出所述存在第一匹配关系的第一特征点中的存在目标匹配关系的目标特征点,作为所述训练场景数据集的目标真值;
其中,目标匹配关系为稳健的匹配关系,稳健的匹配关系是指在一个训练场景下同一个相机在不同拍摄位置拍摄得到的训练图像中通过每个训练图像中的特征点可以完全共同匹配同一个训练场景中的真实特征点;
训练模块,用于以训练场景数据集为输入,所述目标真值为输出,对全景图像特征点匹配模型进行训练,得到训练后的全景图像特征点匹配模型。
7.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,处理器执行所述计算机程序时实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111116317.8A CN113807451B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110571754.2A CN113240031B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
CN202111116317.8A CN113807451B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110571754.2A Division CN113240031B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807451A true CN113807451A (zh) | 2021-12-17 |
CN113807451B CN113807451B (zh) | 2022-11-01 |
Family
ID=77138676
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111116317.8A Active CN113807451B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
CN202110571754.2A Active CN113240031B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110571754.2A Active CN113240031B (zh) | 2021-05-25 | 2021-05-25 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113807451B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114650285A (zh) * | 2022-03-21 | 2022-06-21 | 重庆市规划和自然资源信息中心 | 关于对不动产登记业务进行多维度全要素监控的方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092559A (zh) * | 2021-11-30 | 2022-02-25 | 中德(珠海)人工智能研究院有限公司 | 一种全景图像特征点描述符生成网络的训练方法以及装置 |
CN114371632A (zh) * | 2021-12-29 | 2022-04-19 | 达闼机器人有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107833179A (zh) * | 2017-09-05 | 2018-03-23 | 云南电网有限责任公司昆明供电局 | 一种红外图像的快速拼接方法及系统 |
CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
CN109801234A (zh) * | 2018-12-28 | 2019-05-24 | 南京美乐威电子科技有限公司 | 图像几何校正方法及装置 |
CN111080804A (zh) * | 2019-10-23 | 2020-04-28 | 贝壳技术有限公司 | 三维图像生成方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875821A (zh) * | 2018-06-08 | 2018-11-23 | Oppo广东移动通信有限公司 | 分类模型的训练方法和装置、移动终端、可读存储介质 |
CN109117773B (zh) * | 2018-08-01 | 2021-11-02 | Oppo广东移动通信有限公司 | 一种图像特征点检测方法、终端设备及存储介质 |
CN111292234B (zh) * | 2018-12-07 | 2022-12-13 | 大唐移动通信设备有限公司 | 一种全景图像生成方法及装置 |
US11221671B2 (en) * | 2019-01-31 | 2022-01-11 | Toyota Research Institute, Inc. | Opengaze: gaze-tracking in the wild |
CN111199564B (zh) * | 2019-12-23 | 2024-01-05 | 中国科学院光电研究院 | 智能移动终端的室内定位方法、装置与电子设备 |
-
2021
- 2021-05-25 CN CN202111116317.8A patent/CN113807451B/zh active Active
- 2021-05-25 CN CN202110571754.2A patent/CN113240031B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107833179A (zh) * | 2017-09-05 | 2018-03-23 | 云南电网有限责任公司昆明供电局 | 一种红外图像的快速拼接方法及系统 |
CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
CN109801234A (zh) * | 2018-12-28 | 2019-05-24 | 南京美乐威电子科技有限公司 | 图像几何校正方法及装置 |
CN111080804A (zh) * | 2019-10-23 | 2020-04-28 | 贝壳技术有限公司 | 三维图像生成方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114650285A (zh) * | 2022-03-21 | 2022-06-21 | 重庆市规划和自然资源信息中心 | 关于对不动产登记业务进行多维度全要素监控的方法 |
CN114650285B (zh) * | 2022-03-21 | 2024-04-26 | 重庆市规划和自然资源信息中心 | 关于对不动产登记业务进行多维度全要素监控的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113807451B (zh) | 2022-11-01 |
CN113240031A (zh) | 2021-08-10 |
CN113240031B (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN113807451B (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
CN110246163B (zh) | 图像处理方法及其装置、设备、计算机存储介质 | |
CN111833447A (zh) | 三维地图构建方法、三维地图构建装置及终端设备 | |
CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
CN109815823B (zh) | 数据处理方法及相关产品 | |
CN112712487A (zh) | 一种场景视频融合方法、系统、电子设备及存储介质 | |
CN113327319A (zh) | 一种复杂场景建模方法、装置、服务器及可读存储介质 | |
CN106997366B (zh) | 数据库构建方法、增强现实融合追踪方法及终端设备 | |
CN111161348B (zh) | 一种基于单目相机的物体位姿估计方法、装置及设备 | |
JP6558803B2 (ja) | 幾何検証装置及びプログラム | |
CN113570725A (zh) | 基于聚类的三维表面重建方法、装置、服务器及存储介质 | |
CN113191189A (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
CN113393506B (zh) | 图像配准方法及相关装置、设备 | |
CN112102205B (zh) | 图像去模糊方法、装置、电子设备及存储介质 | |
CN114913105A (zh) | 激光点云融合方法、装置、服务器及计算机可读存储介质 | |
WO2019080257A1 (zh) | 电子装置、车祸现场全景图像展示方法和存储介质 | |
CN114627528A (zh) | 身份比对方法、装置、电子设备及计算机可读存储介质 | |
CN110674817B (zh) | 一种基于双目摄像头的车牌防伪的方法及装置 | |
CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
CN112288817A (zh) | 基于图像的三维重建处理方法及装置 | |
CN114092559A (zh) | 一种全景图像特征点描述符生成网络的训练方法以及装置 | |
CN116604554A (zh) | 机械臂控制方法、装置、设备及存储介质 | |
CN114898354A (zh) | 基于三维模型的测量方法、装置、服务器及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |