CN113643328B - 标定物的重建方法、装置、电子设备及计算机可读介质 - Google Patents

标定物的重建方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN113643328B
CN113643328B CN202111016234.1A CN202111016234A CN113643328B CN 113643328 B CN113643328 B CN 113643328B CN 202111016234 A CN202111016234 A CN 202111016234A CN 113643328 B CN113643328 B CN 113643328B
Authority
CN
China
Prior art keywords
calibration object
dimensional image
dimensional
dimensional images
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111016234.1A
Other languages
English (en)
Other versions
CN113643328A (zh
Inventor
陈露
宫明波
要文杰
谢永召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baihui Weikang Technology Co Ltd
Original Assignee
Beijing Baihui Weikang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baihui Weikang Technology Co Ltd filed Critical Beijing Baihui Weikang Technology Co Ltd
Priority to CN202111016234.1A priority Critical patent/CN113643328B/zh
Publication of CN113643328A publication Critical patent/CN113643328A/zh
Application granted granted Critical
Publication of CN113643328B publication Critical patent/CN113643328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例提供了一种标定物的重建方法、装置、电子设备及计算机可读介质，涉及三维重建领域。其中，所述方法包括：获取成像设备在不同角度对标定物成像所获得的多张二维图像；对多张二维图像中的标定物的特征点进行匹配，获得多张二维图像中的标定物的特征点的匹配关系；基于匹配关系、多张二维图像中的标定物的特征点的位置，以及成像设备对多张二维图像成像时的原点，确定多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；基于多张二维图像中的射线，确定多张二维图像中匹配的特征点的空间位置，以重建标定物。本申请实施例的标定物的重建方式简单准确，可以应对缺少三维设备的场景的使用需求。

Description

标定物的重建方法、装置、电子设备及计算机可读介质
技术领域
本申请实施例涉及三维重建领域，尤其涉及一种标定物的重建方法、装置、电子设备及计算机可读介质。
背景技术
三维重建技术是基于二维图像在计算机中重建出真实物体的三维虚拟模型，并于计算机屏幕上展示的技术。三维重建一直是计算机视觉技术领域中的研究热点。
目前，通常采用常规的卷积神经网络提取图像的特征进行三维重建，但往往会忽略所提取的图像中特征点之间的关系，并且卷积神经网络也很难学习到特征点之间的联系，因而会使得重建后的物体几何形状较差，重建精度不够。此外，采用常规的卷积神经网络提取图像的特征进行三维重建的复杂度也比较高。在具体的应用场景中，如果采用上述技术来对标定物进行三维重建，不仅会提高标定物三维重建的难度，而且还会降低标定物三维重建的准确度。
由此可见，如何简单准确地对标定物进行三维重建成为当前亟待解决的技术问题。
发明内容
本申请的目的在于提出一种标定物的重建方法、装置、电子设备及计算机可读介质，用于解决现有技术中存在的如何简单准确地对标定物进行三维重建的技术问题。
根据本申请实施例的第一方面，提供了一种标定物的重建方法。所述方法包括：获取成像设备在不同角度对标定物成像所获得的多张二维图像；对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
根据本申请实施例的第二方面，提供了一种标定物的重建装置。所述装置包括：获取模块，用于获取成像设备在不同角度对标定物成像所获得的多张二维图像；匹配模块，用于对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；确定模块，用于基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；重建模块，用于基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
根据本申请实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请实施例的第一方面所述的标定物的重建方法。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例的第一方面所述的标定物的重建方法。
根据本申请实施例提供的标定物的重建方案，通过所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的中心位置，能够准确地确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线。此外，通过所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，能够准确地确定所述多张二维图像中匹配的特征点的空间位置，进而通过所述多张二维图像中匹配的特征点的空间位置，能够简单准确地重建所述标定物，可以应对缺少三维设备的场景的使用需求。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1A为本申请实施例一的标定物的重建方法的步骤流程图；
图1B为根据本申请实施例一提供的标定物的三维重建的示意图；
图1C为根据本申请实施例一提供的标定物的三维重建的示意图；
图1D为根据本申请实施例一提供的标定物的三维重建的示意图；
图1E为根据本申请实施例一提供的垂直距离的求解示意图；
图1F为根据本申请实施例一提供的直线方程的求解示意图；
图2为本申请实施例二的标定物的重建装置的结构示意图；
图3为本申请实施例三中电子设备的结构示意图；
图4为本申请实施例四中电子设备的硬件结构。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
参照图1A，示出了本申请实施例一的标定物的重建方法的步骤流程图。
具体地，本实施例提供的标定物的重建方法包括以下步骤：
在步骤S101中，获取成像设备在不同角度对标定物成像所获得的多张二维图像。
在本实施例中，所述成像设备可理解为利用光学成像原理形成影像并记录影像的设备，是用于摄影的光学器械。例如，所述成像设备可以是终端设备的摄像头，还可以是以针孔成像为原理的成像设备，例如普通相机，射线扫描设备(C型臂，O型臂等)。所述标定物可理解为用于空间位置标定的物体。例如，所述标定物可以是校准靶。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在获取成像设备在不同角度对标定物成像所获得的多张二维图像时，可基于所述多张二维图像的存储路径或者存储地址，调取所述多张二维图像。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在步骤S102中，对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系。
在本实施例中，所述特征点可理解为二维图像中标定物的具有代表性的像素点。所述特征点由关键点和描述子两部分组成。关键点是指该特征点在图像里的位置。描述子通常是一个向量，按照某种人为设计的方式，描述了该关键点周围像素的信息。所述多张二维图像中的标定物的特征点的匹配关系可理解为所述多张二维图像中的标定物的特征点的对应关系。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在对所述多张二维图像中的标定物的特征点进行匹配时，针对所述多张二维图像中的每两张二维图像，基于第一二维图像中的标定物的特征点在所述成像设备坐标系中的位置和所述成像设备对所述第一二维图像成像时的原点，确定所述第一二维图像中穿过其特征点的所述位置和相应的原点的射线，并确定所述第一二维图像中穿过其特征点的所述位置和相应的原点的射线在第二二维图像中的投影；对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，以获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系；基于所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系，确定所述多张二维图像中的标定物的特征点的匹配关系。籍此，通过确定所述第一二维图像中穿过其特征点的所述位置和相应的原点的射线在第二二维图像中的投影，并对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，不仅能够提高所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配效率，而且还能够提高所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配准确率。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，为了方便描述实施例，将所述每两张二维图像中的一张二维图像称为第一二维图像，将所述每两张二维图像中的另一张二维图像称为第二二维图像。需要说明的是，每两张二维图像中的图像名称可由本领域技术人员根据实际需要进行设定，本实施例对此不做任何限定。此外，对极几何指的是同一三维场景在两个不同视角得到的两帧图像之间的几何关系，它独立于场景结构，只与成像设备的内参和外参有关。两帧图像可以是由两个成像设备在不同位置同时成像，也可以是同一成像设备顺序拍摄的，如成像设备相对场景移动。通常，同一世界坐标系下的同一目标对象的图像之间存在一种几何上的对极几何约束，可以利用这种对极几何约束来约束匹配。如图1B所示，假设两个成像设备的光心(原点)分别为O1和O2，两个成像设备成像的图像分别为第一图像和第二图像，图像平面分别为I1和I2，第一图像位于图像平面I1上，第二图像位于图像平面I2上。P为标定物在三维空间中的任意一点，空间点P在图像平面I1上的投影点为P1(即空间点P在第一图像上的投影点为P1)，空间点P在图像平面I2上的投影点为P2(即空间点P在第二图像上的投影点为P2)，投影点P1和投影点P2是一个匹配对。直线O1O2为基线，空间点P与两个光心O1和O2形成的平面为对极平面。基线O1 O2与图像平面的交点为对极点，即基线O1 O2与图像平面I1的交点为对极点e1，基线O1 O2与图像平面I2的交点为对极点e2。对极平面与图像平面的交线为对极线，即对极平面与图像平面I1的交线为对极线l1，对极平面与图像平面I2的交线为对极线l2。
需要说明的是，对于第一图像上的投影点P1来说，其在第二图像上的匹配点(即投影点P2)将被限制于投影点P2对应的对极线l2上。上述成立的原因在于：第一图像上的投影点P1反向投影成三维空间的一条射线，该射线由成像设备光心O1和第一图像的投影点P1确定，该射线在第二图像上的投影为对极线l2。由于空间点P在第二图像上的投影点为投影点P2，空间点P在该射线上，因此，第二图像上的投影点P2位于对极线l2上。由于在第二图像上与第一图像上的投影点P1匹配的点为投影点P2，因此，对于第一图像上的投影点P1来说，其在第二图像上的匹配点(即投影点P2)将被限制于投影点P2对应的对极线l2上。同理，对于第二图像上的投影点P2来说，其在第一图像上的匹配点(即投影点P1)将被限制于投影点P1对应的对极线l1上。简而言之，对极线l1上每一点在第二图像上的匹配点位于对极线l2上，对极线l2上每一点在第一图像上的匹配点位于对极线l1上。在此基础上，对极几何约束条件可以体现如下性质：对于第一图像上的某点，该点在第二图像中的匹配点位于与该点对应的第二图像中的对极线上；对于第二图像上的某点，该点在第一图像中的匹配点位于与该点对应的第一图像中的对极线上。这样，不仅能够提高第一图像和第二图像中的特征点的匹配效率，而且还能够提高第一图像和第二图像中的特征点的匹配准确率。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配时，确定所述第一二维图像中的标定物的特征点的特征描述数据与所述第二二维图像中的投影上的标定物的特征点的特征描述数据的距离；确定所述第二二维图像中的投影上特征描述数据与所述第一二维图像中的标定物的特征点的特征描述数据的距离最小的特征点，为与所述第一二维图像中的标定物的特征点匹配的特征点，获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；基于所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。其中，所述特征描述数据可为特征描述向量。籍此，通过确定所述第一二维图像中的标定物的特征点的特征描述数据与所述第二二维图像中的投影上的标定物的特征点的特征描述数据的距离，能够准确地获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，进而准确地获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，所述特征描述数据的距离表示了两个特征点之间的相似程度，在实际运用中还可以取不同的距离度量范数。对于浮点型的特征描述数据，使用欧氏距离进行度量即可。而对于二进制的特征描述数据，往往使用汉明距离做为度量。两个二进制串之间的汉明距离，指的是它们不同位数的个数。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配时，采用快速近似最近邻算法，对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，以获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；基于所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。籍此，采用快速近似最近邻算法，对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，能够准确地获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，进而能够准确地获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，快速近似最近邻算法(Fast Approx Nearest NeighborClassification，Flann)更加适合于特征点数量极多的情况。利用快速最近邻逼近搜索函数库匹配算法计算所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系。在此，所述快速最近邻逼近搜索函数库是一种用于快速搜索近似近邻的开源算法库(BSD认可)，已被集成到OpenCV库(Open Source Computer VisionLibrary，是一个基于开源发行的跨平台计算机视觉库，可以运行在Linux、Windows和MacOS等操作系统上，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法的数据库)。在本实施例中，可以直接使用的Flann匹配算法，所述快速最近邻逼近搜索函数库匹配算法可以直接利用OpenCV中的Flann匹配算法，直接利用K-d树、随机树、层次K-means树等辅助数据结构实现高维数据的快速搜索。具体地，针对所述第一二维图像中的标定物的特征点的每一个，首先计算出与所述第二二维图像中的投影上的标定物的各个特征点的欧式距离。将欧式距离最近的特征点作为与其匹配的特征点，从而得到所述第一二维图像与所述第二二维图像之间匹配的特征点对。然后，进一步对这些特征点对进行筛选。取第一二维图像中的一个特征点，并找出其与第二二维图像中欧式距离最近的前两个特征点。在这两个特征点中，如果最近的距离除以次近的距离得到的比率少于某个阈值，则接受这一对匹配点。否则，剔除这一对匹配点。最终，可以得到筛选后的所述第一二维图像与所述第二二维图像之间的匹配点对。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在步骤S103中，基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线。
在本实施例中，所述位置可理解为所述标定物的特征点在成像设备坐标系中的位置坐标，所述原点可为所述成像设备对所述多张二维图像成像时的光心的位置坐标。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线时，针对所述多张二维图像中的每张二维图像，基于匹配的特征点的所述位置和相应的原点，计算射线方程；基于所述射线方程，确定穿过匹配的特征点的所述位置和相应的原点的射线，获得所述多张二维图像中的每张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在步骤S104中，基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
在一些可选实施例中，在基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置时，若所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线存在交点，则确定所述交点的空间位置为所述多张二维图像中匹配的特征点的空间位置；若所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线不存在所述交点，则确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置，并确定所述虚拟交点的空间位置为所述多张二维图像中匹配的特征点的空间位置。籍此，在所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线存在交点的情况下，通过所述交点的空间位置，能够准确地确定所述多张二维图像中匹配的特征点的空间位置。在所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线不存在交点的情况下，通过所述虚拟交点的空间位置，能够准确地确定所述多张二维图像中匹配的特征点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，在所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点置的射线存在交点的情况下，基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的方程，计算所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的交点的空间位置，并确定所述交点的空间位置为所述多张二维图像中匹配的特征点的空间位置。如图1B所示，所述多张二维图像的数量为两张，对标定物拍摄两个不同角度的视图，位于同一成像设备坐标系下，成像设备坐标原点(光心)在不同视图下分别表示为O1和O2，通过在其中一个视图的二维图像I1上确定一个标定物的特征点P1，由于对极几何原理，成像设备坐标原点O1和特征点P1连接的射线O1 P1投影到另外一个视图的二维图像I2上为一条线段l2，在线段l2上再确定与特征点P1匹配的特征点P2，成像设备坐标原点O2和特征点P2连接的射线O2 P2与O1 P1在空间交汇于一点P,求两条射线的交点即可确定两个视图的二维图像中的匹配的特征点的空间位置，也就实现了由两张二维图像实现了匹配的特征点的三维重建。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置时，针对所述多张二维图像中的每两张二维图像，基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度；基于所述第三二维图像和所述第四二维图像中的匹配的特征点的深度，以及所述第三二维图像和所述第四二维图像中的匹配的特征点的归一化坐标，确定所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置；基于所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置。其中，所述成像设备运动参数可包括所述第三二维图像到所述第四二维图像的旋转矩阵和所述第三二维图像到所述第四二维图像的平移向量，所述特征点的深度可理解为所述特征点相对拍摄源的距离。此外，为了方便描述实施例，将所述每两张二维图像中的一张二维图像称为第三二维图像，将所述每两张二维图像中的另一张二维图像称为第四二维图像。需要说明的是，每两张二维图像中的图像名称可由本领域技术人员根据实际需要进行设定，本实施例对此不做任何限定。籍此，通过第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，能够准确地确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度。此外，通过所述第三二维图像和所述第四二维图像中的匹配的特征点的深度，以及所述第三二维图像和所述第四二维图像中的匹配的特征点的归一化坐标，能够准确地确定所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置，进而能够准确地确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度之前，所述方法还包括：基于所述多张二维图像中匹配的特征点的平面位置，估计用于确定所述成像设备运动参数的本质矩阵；对估计得到的所述本质矩阵进行奇异值分解，以获得所述成像设备运动参数的多个可能的解；对所述成像设备运动参数的多个可能的解进行深度检测，以获得所述成像设备运动参数的正确的解。籍此，通过所述多张二维图像中匹配的特征点的平面位置，估计本质矩阵，并对估计得到的所述本质矩阵进行奇异值分解，再对所述成像设备运动参数的多个可能的解进行深度检测，能够准确地获得所述成像设备运动参数的正确的解。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，在估计用于确定所述成像设备运动参数的本质矩阵时，可采用经典的八点法，基于所述多张二维图像中匹配的特征点的平面位置，估计用于确定所述成像设备运动参数的本质矩阵。在对估计得到的所述本质矩阵进行奇异值分解时，可获得所述成像设备运动参数的四个可能的解。在对所述成像设备运动参数的多个可能的解进行深度检测时，只要把二维图像中任意一特征点代入四种可能的解中，检测该特征点在两个成像设备下的深度，就可以确定哪个解是正确的了。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度时，基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，构建用于深度估计的线性方程；采用最小二乘法，对所述用于深度估计的线性方程进行求解，以获得所述第三二维图像和所述第四二维图像中的匹配的特征点的深度。籍此，通过采用最小二乘法，对构建得到的用于深度估计的线性方程进行求解，能够准确地获得所述第三二维图像和所述第四二维图像中的匹配的特征点的深度。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，如图1C所示，理论上射线O2 P2与O1 P1在场景中会相交于一点P，该点即是两个特征点在三维场景中的位置。可能由于噪声的影响，这两条直线往往无法相交。因此，可以通过最小二乘法去求解。按照对极几何中的定义，设x1,x2为两个特征点的归一化坐标，那么它们满足用于深度估计的线性方程：
s1x1＝s2Rx2+t 公式一
R表示所述成像设备运动参数中的旋转矩阵，t表示所述成像设备运动参数中的平移向量，R和t均是已知的，想要求解的是两个特征点的深度s1和s2。当然这两个深度是可以分开求的，比方说先来看s2。如果我要算s2，那么先对上式两侧左乘一个x1^，得：
s1x1^x1＝0＝s2x1^Rx2+x1^t 公式二
该式左侧为零，右侧可看成s2的一个方程，可以根据它直接求得s2。有了s2，s1也非常容易求出。于是，就得到了两个特征点的深度，确定了两个特征点的空间坐标。当然，由于噪声的存在，估计得到的R和t，不一定精确使公式二为零，所以更常见的做法求公式二的最小二乘解而不是零解。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置时，基于所述第三二维图像中的匹配的特征点的深度，以及所述第三二维图像中的匹配的特征点的归一化坐标，确定所述第三二维图像中的匹配的特征点的空间位置；基于所述第四二维图像中的匹配的特征点的深度，以及所述第四二维图像中的匹配的特征点的归一化坐标，确定所述第四二维图像中的匹配的特征点的空间位置；基于所述第三二维图像中的匹配的特征点的空间位置和所述第四二维图像中的匹配的特征点的空间位置，确定所述第三二维图像和所述第四二维图像中的匹配的特征点的空间位置；确定所述第三二维图像和所述第四二维图像中的匹配的特征点的空间位置为所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置。籍此，能够准确地确定所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，在确定所述第三二维图像和所述第四二维图像中的匹配的特征点的空间位置时，求取所述第三二维图像中的匹配的特征点的空间位置和所述第四二维图像中的匹配的特征点的空间位置的均值，并确定所述均值为所述第三二维图像和所述第四二维图像中的匹配的特征点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置时，求取所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置的均值，并确定所述均值为所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，如图1D所示，成像设备在原点O1、O2和O3分别进行成像，获得第一二维图像、第二二维图像和第三二维图像。首先求取第一二维图像和第二二维图像中的匹配的特征点的第一空间位置、第二二维图像和第三二维图像中的匹配的特征点的第二空间位置，以及第三二维图像和第一二维图像中的匹配的特征点的第三空间位置，然后求取第一空间位置、第二空间位置和第三空间位置的均值，并确定所述均值为所述第一二维图像、所述第二二维图像和所述第三二维图像中的匹配的特征点的空间位置，也即是所述第一二维图像、所述第二二维图像和所述第三二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置时，确定三维空间中的任意一点到所述多张二维图像中的所述射线的距离；基于所述三维空间中的任意一点到所述多张二维图像中的所述射线的距离，构建距离函数；使用最小二乘法或者梯度下降法，对所述距离函数进行迭代求解，以获得所述多张二维图像中的所述射线的虚拟交点的空间位置。籍此，通过所述三维空间中的任意一点到所述多张二维图像中的所述射线的距离，能够准确地构建所述距离函数。此外，使用最小二乘法或者梯度下降法，对所述距离函数进行迭代求解，能够准确地获得所述多张二维图像中的所述射线的虚拟交点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，在求解多条射线的交点的过程中，由于计算误差，多条射线很难准确相交于一点，故求解一个虚拟交点，使此虚拟交点到每条射线的垂直距离的和最小。那么首先要求三维空间中任意一点C到射线L的距离。
假设射线经过两点A(x1,y1,z1)，B(x2,y2,z2)，
Figure BDA0003240297100000151
为空间射线的方向向量，则射线的方程可表示为：
Figure BDA0003240297100000152
如图1E所示，假设射线外存在一点C(xc,yc,zc)，C点在射线上的垂足坐标D(xd,yd,zd)，则
Figure BDA0003240297100000153
Figure BDA0003240297100000154
由垂线方向的方向向量(xc_xd,yc_yd,zc_zd)和射线方向的方向向量(m,n,p)的数量积为零，可得
m(xc-xd)+n(yc-yd)+p(zc-zd)＝0公式六
由公式五和公式六可得：
t＝(m*(xc-x1)+n*(yc-y1)+p*(zc-z1))/(m2+n2+p2)公式七
则点C到射线的距离，将公式三和公式五代入公式六中即可算出d
Figure BDA0003240297100000155
最终扩展到求空间点到多条射线的距离，即利用最小二乘法或梯度下降法求解多条射线的交点时的误差函数为
Figure BDA0003240297100000161
优化目标为使dsum最小，可使用梯度下降法不断迭代求解。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一些可选实施例中，在确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置时，求解所述多张二维图像中的所述射线的对称式方程；对所述多张二维图像中的所述射线的对称式方程进行转换，以获得所述多张二维图像中的所述射线方程的矩阵相乘形式；对所述多张二维图像中的所述射线方程的矩阵相乘形式进行求导，以获得所述多张二维图像中的所述射线的虚拟交点的空间位置。籍此，通过对所述多张二维图像中的所述射线方程的矩阵相乘形式进行求导，能够准确地获得所述多张二维图像中的所述射线的虚拟交点的空间位置。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
在一个具体的例子中，若一非零向量平行于一条已知射线，这个向量就称之该射线的方向向量。显然，射线上的任何向量均平行于射线的方向向量。过空间一点可作而且只能作一条射线平行于一已知射线。如图1F所示，当射线L上的一点M0(x0,y0,z0)和它的一个方向向量
Figure BDA0003240297100000162
给定之后，空间射线L的位置就完全确定下来了。
设M(x,y,z)是射线L上的任一点，则
Figure BDA0003240297100000163
而
Figure BDA0003240297100000164
故
Figure BDA0003240297100000165
公式十
反过来，如果点M不在射线L上，则
Figure BDA0003240297100000171
与
Figure BDA0003240297100000172
不平行，从而公式八不成立。
因此，公式八就是射线L的方程。称此方程为直线的对称式方程。
由对称式方程可得到三个等式，
Figure BDA0003240297100000173
转换成矩阵表示为以下表达式
Figure BDA0003240297100000174
若空间中k条直线相交于空间一点P(x,y,z)，则P满足以下矩阵方程
Figure BDA0003240297100000175
得到了上述正规方程组，用Xθ＝Y表示，X为3k*3的矩阵，θ为空间坐标(x,y,z)，Y为3k*1的常数向量。对矩阵求导，最终得到
θ＝(XTX)-1XTY
对于单个射线方程的的3*3矩阵，满足可逆条件，故(XTX)求逆有解。矩阵求导方法只需要解线性方程组，不需要像梯度下降那样迭代。可以理解的是，以上描述仅为示例性的，本实施例对此不做任何限定。
根据本申请实施例提供的标定物的重建方法，通过所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，能够准确地确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线。此外，通过所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，能够准确地确定所述多张二维图像中匹配的特征点的空间位置，进而通过所述多张二维图像中匹配的特征点的空间位置，能够简单准确地重建所述标定物，可以应对缺少三维设备的场景的使用需求。
本实施例提供的标定物的重建方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
参照图2，示出了本申请实施例二的标定物的重建装置的结构示意图。
本实施例提供的标定物的重建装置包括：获取模块201，用于获取成像设备在不同角度对标定物成像所获得的多张二维图像；匹配模块202，用于对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；确定模块203，用于基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的中心位置，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；重建模块204，用于基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
可选地，所述匹配模块202，包括：第一确定子模块，用于针对所述多张二维图像中的每两张二维图像，基于第一二维图像中的标定物的特征点在所述成像设备坐标系中的位置和所述成像设备对所述第一二维图像成像时的原点，确定所述第一二维图像中穿过其特征点的所述位置和相应的原点的射线，并确定所述第一二维图像中穿过其特征点的所述位置和相应的原点的射线在第二二维图像中的投影；匹配子模块，用于对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，以获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系；第二确定子模块，用于基于所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系，确定所述多张二维图像中的标定物的特征点的匹配关系。
可选地，所述匹配子模块，具体用于：确定所述第一二维图像中的标定物的特征点的特征描述数据与所述第二二维图像中的投影上的标定物的特征点的特征描述数据的距离；确定所述第二二维图像中的投影上特征描述数据与所述第一二维图像中的标定物的特征点的特征描述数据的距离最小的特征点，为与所述第一二维图像中的标定物的特征点匹配的特征点，获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；基于所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。
可选地，所述匹配子模块，具体用于：采用快速近似最近邻算法，对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，以获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；基于所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。
可选地，所述重建模块204，包括：第三确定子模块，用于若所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线存在交点，则确定所述交点的空间位置为所述多张二维图像中匹配的特征点的空间位置；第四确定子模块，用于若所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线不存在所述交点，则确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置，并确定所述虚拟交点的空间位置为所述多张二维图像中匹配的特征点的空间位置。
可选地，所述第四确定子模块，包括：第一确定单元，用于针对所述多张二维图像中的每两张二维图像，基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度；第二确定单元，用于基于所述第三二维图像和所述第四二维图像中的匹配的特征点的深度，以及所述第三二维图像和所述第四二维图像中的匹配的特征点的归一化坐标，确定所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置；第三确定单元，用于基于所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置。
可选地，所述第一确定单元之前，所述第四确定子模块还包括：估计单元，用于基于所述多张二维图像中匹配的特征点的平面位置，估计用于确定所述成像设备运动参数的本质矩阵；分解单元，用于对估计得到的所述本质矩阵进行奇异值分解，以获得所述成像设备运动参数的多个可能的解；检测单元，用于对所述成像设备运动参数的多个可能的解进行深度检测，以获得所述成像设备运动参数的正确的解。
可选地，所述第一确定单元，具体用于：基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，构建用于深度估计的线性方程；采用最小二乘法，对所述用于深度估计的线性方程进行求解，以获得所述第三二维图像和所述第四二维图像中的匹配的特征点的深度。
本实施例提供的标定物的重建装置用于实现前述多个方法实施例中相应的标定物的重建方法，并具有相应的方法实施例的有益效果，在此不再赘述。
图3为本申请实施例三中电子设备的结构示意图；该电子设备可以包括：
一个或多个处理器301；
计算机可读介质302，可以配置为存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例一所述的标定物的重建方法。
图4为本申请实施例四中电子设备的硬件结构；如图4所示，该电子设备的硬件结构可以包括：处理器401，通信接口402，计算机可读介质403和通信总线404；
其中处理器401、通信接口402、计算机可读介质403通过通信总线404完成相互间的通信；
可选地，通信接口402可以为通信模块的接口，如GSM模块的接口；
其中，处理器401具体可以配置为：获取成像设备在不同角度对标定物成像所获得的多张二维图像；对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
计算机可读介质403可以是，但不限于，随机存取存储介质(Random AccessMemory，RAM)，只读存储介质(Read Only Memory，ROM)，可编程只读存储介质(Programmable Read-Only Memory，PROM)，可擦除只读存储介质(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储介质(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系，但这些先后关系只是示例性的，在具体实现的时候，这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、匹配模块、确定模块和重建模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取成像设备在不同角度对标定物成像所获得的多张二维图像的模块”。
作为另一方面，本申请还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所描述的标定物的重建方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取成像设备在不同角度对标定物成像所获得的多张二维图像；对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种标定物的重建方法，其特征在于，所述方法包括：
获取成像设备在不同角度对标定物成像所获得的多张二维图像；对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；
其中，所述对所述多张二维图像中的标定物的特征点进行匹配，包括：
针对所述多张二维图像中的每两张二维图像，基于第一二维图像中的标定物的特征点的在所述成像设备坐标系中的第一位置和所述成像设备对所述第一二维图像成像时的第一原点，确定所述第一二维图像中穿过其特征点的所述第一位置和相应的所述第一原点的第一射线，并确定所述第一射线在第二二维图像中的投影，对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，以获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系；
所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配时，确定所述第一二维图像中的标定物的特征点的特征描述数据与所述第二二维图像中的投影上的标定物的特征点的特征描述数据的距离；确定所述第二二维图像中的投影上特征描述数据与所述第一二维图像中的标定物的特征点的特征描述数据的距离最小的特征点，为与所述第一二维图像中的标定物的特征点匹配的特征点，获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；
基于所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系，确定所述多张二维图像中的标定物的特征点的匹配关系；
基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
2.根据权利要求1所述的标定物的重建方法，其特征在于，所述对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，包括：
确定所述第一二维图像中的标定物的特征点的特征描述数据与所述第二二维图像中的投影上的标定物的特征点的特征描述数据的距离；
确定所述第二二维图像中的投影上特征描述数据与所述第一二维图像中的标定物的特征点的特征描述数据的距离最小的特征点，为与所述第一二维图像中的标定物的特征点匹配的特征点，获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；
基于所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系，获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系。
3.根据权利要求1所述的标定物的重建方法，其特征在于，所述基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，包括：
若所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线存在交点，则确定所述交点的空间位置为所述多张二维图像中匹配的特征点的空间位置；
若所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线不存在所述交点，则确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置，并确定所述虚拟交点的空间位置为所述多张二维图像中匹配的特征点的空间位置。
4.根据权利要求3所述的标定物的重建方法，其特征在于，所述确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置，包括：
针对所述多张二维图像中的每两张二维图像，基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度；
基于所述第三二维图像和所述第四二维图像中的匹配的特征点的深度，以及所述第三二维图像和所述第四二维图像中的匹配的特征点的归一化坐标，确定所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置；
基于所述多张二维图像中的每两张二维图像中的匹配的特征点的空间位置，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线的虚拟交点的空间位置。
5.根据权利要求4所述的标定物的重建方法，其特征在于，所述确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度之前，所述方法还包括：
基于所述多张二维图像中匹配的特征点的平面位置，估计用于确定所述成像设备运动参数的本质矩阵；
对估计得到的所述本质矩阵进行奇异值分解，以获得所述成像设备运动参数的多个可能的解；
对所述成像设备运动参数的多个可能的解进行深度检测，以获得所述成像设备运动参数的正确的解。
6.根据权利要求4所述的标定物的重建方法，其特征在于，所述基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，确定所述第三二维图像和所述第四二维图像中的匹配的特征点的深度，包括：
基于第三二维图像中匹配的特征点的归一化坐标、第四二维图像中匹配的特征点的归一化坐标，以及所述第三二维图像到所述第四二维图像的成像设备运动参数，构建用于深度估计的线性方程；采用最小二乘法，对所述用于深度估计的线性方程进行求解，以获得所述第三二维图像和所述第四二维图像中的匹配的特征点的深度。
7.一种标定物的重建装置，其特征在于，所述装置包括：
获取模块，用于获取成像设备在不同角度对标定物成像所获得的多张二维图像；
匹配模块，用于对所述多张二维图像中的标定物的特征点进行匹配，以获得所述多张二维图像中的标定物的特征点的匹配关系；其中，所述对所述多张二维图像中的标定物的特征点进行匹配，包括：
针对所述多张二维图像中的每两张二维图像，基于第一二维图像中的标定物的特征点的在所述成像设备坐标系中的第一位置和所述成像设备对所述第一二维图像成像时的第一原点，确定所述第一二维图像中穿过其特征点的所述第一位置和相应的所述第一原点的第一射线，并确所述第一射线在第二二维图像中的投影，对所述第一二维图像中的标定物的特征点与所述第二二维图像中的投影上的标定物的特征点进行匹配，以获得所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系；基于所述多张二维图像中的每两张二维图像中的标定物的特征点的匹配关系，确定所述多张二维图像中的标定物的特征点的匹配关系；
匹配子模块，用于确定所述第一二维图像中的标定物的特征点的特征描述数据与所述第二二维图像中的投影上的标定物的特征点的特征描述数据的距离；确定所述第二二维图像中的投影上特征描述数据与所述第一二维图像中的标定物的特征点的特征描述数据的距离最小的特征点，为与所述第一二维图像中的标定物的特征点匹配的特征点，获得所述第一二维图像中的标定物的特征点与所述第二二维图像中的标定物的特征点的匹配关系；
确定模块，用于基于所述多张二维图像中的标定物的特征点的匹配关系、所述多张二维图像中的标定物的特征点在成像设备坐标系中的位置，以及所述成像设备对所述多张二维图像成像时的原点，确定所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线；
重建模块，用于基于所述多张二维图像中穿过匹配的特征点的所述位置和相应的原点的射线，确定所述多张二维图像中匹配的特征点的空间位置，并基于所述多张二维图像中匹配的特征点的空间位置，重建所述标定物。
8.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
计算机可读介质，配置为存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项权利要求所述的标定物的重建方法。
9.一种计算机可读介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一项权利要求所述的标定物的重建方法。
CN202111016234.1A 2021-08-31 2021-08-31 标定物的重建方法、装置、电子设备及计算机可读介质 Active CN113643328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016234.1A CN113643328B (zh) 2021-08-31 2021-08-31 标定物的重建方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016234.1A CN113643328B (zh) 2021-08-31 2021-08-31 标定物的重建方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN113643328A CN113643328A (zh) 2021-11-12
CN113643328B true CN113643328B (zh) 2022-09-09

Family

ID=78424642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016234.1A Active CN113643328B (zh) 2021-08-31 2021-08-31 标定物的重建方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN113643328B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661371B (zh) * 2022-12-14 2023-03-31 深圳思谋信息科技有限公司 三维对象建模方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859314A (zh) * 2019-03-12 2019-06-07 上海曼恒数字技术股份有限公司 三维重建方法、装置、电子设备和存储介质
CN113284237A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种三维重建方法、系统、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
CN107680159B (zh) * 2017-10-16 2020-12-08 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN108038902B (zh) * 2017-12-07 2021-08-27 合肥工业大学 一种面向深度相机的高精度三维重建方法和系统
CN108062788A (zh) * 2017-12-18 2018-05-22 北京锐安科技有限公司 一种三维重建方法、装置、设备和介质
CN108389222A (zh) * 2018-02-28 2018-08-10 天津大学 一种基于图像序列的三维模型重建方法
CN111815757B (zh) * 2019-06-29 2023-04-07 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法
CN111768486B (zh) * 2020-07-02 2023-03-24 中国科学院自动化研究所 基于旋转折射片的单目摄像机三维重建方法、系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859314A (zh) * 2019-03-12 2019-06-07 上海曼恒数字技术股份有限公司 三维重建方法、装置、电子设备和存储介质
CN113284237A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种三维重建方法、系统、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reconstruction of Three Dimensional Object Based on the Light-Section Method;Shicheng Wang，and etc;《2010 6th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM)》;20101014;第1-3页 *
基于图像的三维重建流程及实现;陈晓霞等;《贵州大学学报》;20100831;第27卷(第4期);第53-56页 *

Also Published As

Publication number Publication date
CN113643328A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US10334168B2 (en) Threshold determination in a RANSAC algorithm
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
US11651581B2 (en) System and method for correspondence map determination
Zhang et al. Vehicle global 6-DoF pose estimation under traffic surveillance camera
CN115035235A (zh) 三维重建方法及装置
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
Gao et al. Local feature performance evaluation for structure-from-motion and multi-view stereo using simulated city-scale aerial imagery
Andaló et al. Efficient height measurements in single images based on the detection of vanishing points
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN113643328B (zh) 标定物的重建方法、装置、电子设备及计算机可读介质
Angladon et al. The toulouse vanishing points dataset
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
CN112258647B (zh) 地图重建方法及装置、计算机可读介质和电子设备
US20150254527A1 (en) Methods for 3d object recognition and registration
Ventura et al. Structure and motion in urban environments using upright panoramas
CN112270748A (zh) 基于图像的三维重建方法及装置
CN110135474A (zh) 一种基于深度学习的倾斜航空影像匹配方法和系统
CN114612545A (zh) 图像分析方法及相关模型的训练方法、装置、设备和介质
Paudel et al. Localization of 2D cameras in a known environment using direct 2D-3D registration
CN114694257A (zh) 多人实时三维动作识别评估方法、装置、设备及介质
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
CN116492082B (zh) 基于三维模型的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100191 Room 501, floor 5, building 9, No. 35 Huayuan North Road, Haidian District, Beijing

Applicant after: Beijing Baihui Weikang Technology Co.,Ltd.

Address before: 100191 Room 608, 6 / F, building 9, 35 Huayuan North Road, Haidian District, Beijing

Applicant before: Beijing Baihui Wei Kang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant