CN113674333A - 标定参数的精度验证方法、介质及电子设备 - Google Patents

标定参数的精度验证方法、介质及电子设备 Download PDF

Info

Publication number
CN113674333A
CN113674333A CN202111027674.7A CN202111027674A CN113674333A CN 113674333 A CN113674333 A CN 113674333A CN 202111027674 A CN202111027674 A CN 202111027674A CN 113674333 A CN113674333 A CN 113674333A
Authority
CN
China
Prior art keywords
point
matching
reference point
straight line
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111027674.7A
Other languages
English (en)
Other versions
CN113674333B (zh
Inventor
郑国焱
吴俊杨
赵语云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111027674.7A priority Critical patent/CN113674333B/zh
Publication of CN113674333A publication Critical patent/CN113674333A/zh
Priority to NL2031065A priority patent/NL2031065B1/en
Application granted granted Critical
Publication of CN113674333B publication Critical patent/CN113674333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种标定参数的精度验证方法、介质及电子设备。所述方法包括:获取模具的第一图像和第二图像;根据第一参考点在第一图像中的像素坐标,获取第一参考点在第一相机坐标系中的坐标作为第一坐标;根据第二参考点在第二图像中的像素坐标,获取第二参考点在第二相机坐标系中的坐标作为第二坐标;根据待验证的标定参数将第一参考点和第二参考点变换至同一坐标系;根据第一参考点和第二参考点之间的相对位置关系进行匹配,以获取匹配点对;获取各匹配点对对应的三维重建点;根据各三维重建点与参考点之间的相对位置关系获取标定参数的精度。所述精度验证方法能够对标定参数的精度进行验证。

Description

标定参数的精度验证方法、介质及电子设备
技术领域
本发明涉及一种数据处理方法,特别是涉及标定参数的精度验证方法、介质及电子设备。
背景技术
双平面射线照相是一种低剂量、无创的成像技术,其高时间和空间分辨率使其成为骨科运动跟踪和运动学分析的首选方式。结合2D-3D配准,该技术可直接测量体内关节运动学,为临床医生和工程师提供了一个生物力学观点,以了解潜在机制、获得手术建议和改进假体设计。
双平面射线照相技术中会涉及不同角度拍摄的两幅或多幅X光机照片,因此,需要对两个或多个相机进行标定以获取标定参数,该标定可以采用现有的标定方法实现。然而,发明人在实际应用中发现,现有标定方法仅能够给出标定参数,而无法验证标定参数的精度,因而不能保证标定结果的准确性,这可能会导致实验或实际应用中的错误。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种标定参数的精度验证方法、介质及电子设备,用于解决现有技术中存在的上述相关问题。
为实现上述目的及其他相关目的,本发明的第一方面提供一种标定参数的精度验证方法,所述精度验证方法包括:获取模具的第一图像和第二图像,其中,所述模具上具有多个参考点,且所述第一图像和所述第二图像的拍摄角度不同;根据第一参考点在所述第一图像中的像素坐标,获取所述第一参考点在第一相机坐标系中的坐标作为第一坐标,其中,所述第一参考点是指所述参考点在所述第一图像中的对应点;根据第二参考点在所述第二图像中的像素坐标,获取所述第二参考点在第二相机坐标系中的坐标作为第二坐标,其中,所述第二参考点是指所述参考点在所述第二图像中的对应点;根据待验证的标定参数将所述第一参考点和所述第二参考点变换至同一坐标系;根据所述第一参考点和所述第二参考点之间的相对位置关系进行匹配,以获取匹配点对;获取各所述匹配点对对应的三维重建点;根据各所述三维重建点与所述参考点之间的相对位置关系获取所述标定参数的精度。
于所述第一方面的一实施例中,根据所述第一参考点和所述第二参考点之间的相对位置关系进行匹配,以获取匹配点对的实现方法包括:根据各所述第一参考点和第一光心获取多条第一直线,其中,所述第一光心对应于第一相机的光心,各所述第一直线穿过所述第一光心和对应的一个第一参考点;根据各所述第二参考点和第二光心获取多条第二直线,其中,所述第二光心对应于第二相机的光心,各所述第二直线穿过所述第二光心和对应的一个第二参考点;根据所述第一直线和所述第二直线的相对位置关系获取匹配直线对;根据所述匹配直线对对应的第一参考点和第二参考点获取所述匹配点对。
于所述第一方面的一实施例中,获取所述匹配点对的实现方法还包括:执行一匹配点对更新子方法以对所述匹配点对进行更新,其中,所述匹配点对更新子方法包括:对所述匹配点对进行三维重建,以获取第一重建点;根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准,以获取变换矩阵;对待定点中的各第一参考点和各第二参考点进行三维重建,以获取待定重建点;根据所述变换矩阵将所述待定重建点与所述参考点变换至同一坐标系;根据所述待定重建点与所述参考点之间的相对位置关系获取第二重建点;根据所述第二重建点对应的待定点对所述匹配点对进行更新。
于所述第一方面的一实施例中,对于任一所述匹配点对,对该匹配点对进行三维重建以获取其对应的第一重建点的实现方法包括:获取该匹配点对对应的第一直线和第二直线,并获取距离这两条直线距离之和最小的点作为该匹配点对对应的第一重建点。
于所述第一方面的一实施例中,所述模具为金字塔形模具,所述参考点包括所述金字塔形模具的塔尖点和塔底点,根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准以获取所述变换矩阵的实现方法包括:根据所述第一重建点的坐标获取模具特征点的重建坐标,其中,所述模具特征点包括所述塔尖点、一所述塔底点以及塔底中心点;根据所述模具特征点的重建坐标以及真实坐标进行位姿估计,从而得到初始化的变换矩阵;根据所述初始化的变换矩阵对各所述第一重建点进行变换;根据变换之后的所述第一重建点与所述参考点进行点云配准,以获取所述变换矩阵。
于所述第一方面的一实施例中,在根据所述第二重建点对应的待定点对所述匹配点对进行更新以后,获取所述匹配点对的实现方法还包括:基于更新以后的所述匹配点对重复执行所述匹配点对更新子方法,直到所述匹配点对满足终止条件。
于所述第一方面的一实施例中,根据所述第一直线和所述第二直线的相对位置关系获取匹配直线对的实现方法包括:基于各所述第一直线进行第一匹配,以获得第一匹配结果,其中,所述第一匹配结果包括各所述第一直线及其距离最近的第二直线;基于各所述第二直线进行第二匹配,以获得第二匹配结果,其中,所述第二匹配结果包括各所述第二直线及其距离最近的第一直线;根据所述第一匹配结果和所述第二匹配结果获取待定匹配直线对;根据直线的最近距离和次近距离的比值从所述待定匹配直线对中获取所述匹配直线对,其中,所述直线包括所述第一直线和所述第二直线。
于所述第一方面的一实施例中,根据各所述三维重建点与所述参考点之间的相对位置关系获取所述标定参数的精度的实现方法包括:将所述三维重建点与所述参考点进行点云配准;获取所述三维重建点及其对应参考点之间的均方根误差作为所述标定参数的精度。
本发明的第二方面提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明第一方面任一项所述的精度验证方法。
本发明的第三方面提供一种电子设备,所述电子设备包括:存储器,存储有一计算机程序;处理器,与所述存储器通信相连,调用所述计算机程序时执行本发明第一方面任一项所述的精度验证方法。
如上所述,本发明一个或多个实施例中所述精度验证方法具有以下有益效果:
所述精度验证方法以模具上的参考点为基础,通过对第一参考点和第二参考点进行坐标系变换、点匹配以及三维重建来获取三维重建点,并根据所述三维重建点与所述参考点之间的相对位置关系来获取所述标定参数的精度。因此,所述精度验证方法能够对所述标定参数的精度进行验证,有利于相关人员获取所述标定参数的精度信息,从而避免实验或实际应用中出现错误。
附图说明
图1显示为本发明所述精度验证方法于一具体实施例中的流程图。
图2A显示为本发明所述精度验证方法于一具体实施例中步骤S15的详细流程图。
图2B显示为本发明所述精度验证方法于一具体实施例中匹配点对更新子方法的流程图。
图3A显示为本发明所述精度验证方法于一具体实施例中模具的示例图。
图3B显示为本发明所述精度验证方法于一具体实施例中步骤S22的详细流程图。
图4显示为本发明所述精度验证方法于一具体实施例中步骤S153的详细流程图。
图5显示为本发明所述精度验证方法于一具体实施例中的流程图。
图6显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
600 电子设备
610 存储器
620 处理器
630 显示器
S11~S17 步骤
S151~S154 步骤
S21~S26 步骤
S221~S224 步骤
S1531~S1534 步骤
S501~S514 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。此外,在本文中,诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
现有标定方法仅能够给出标定参数,而无法验证标定参数的精度,因而不能保证标定结果的准确性,这可能会导致实验或实际应用中的错误。针对这一问题,请参阅图1,于本发明的一实施例中提供一种精度验证方法,所述精度验证方法包括:
S11,获取模具的第一图像和第二图像,其中,所述模具上具有多个参考点,且所述第一图像和所述第二图像的拍摄角度不同。所述参考点是指能够标示所述模具几何特征的点,例如为顶点、中心点和/或重心点等。
特别地,在双平面射线照相场景中,所述第一图像和所述第二图像可以为不同角度拍摄的X光照片,例如,所述第一图像可以为正位X光照片,所述第二图像可以为侧位X光照片。
S12,根据第一参考点在所述第一图像中的像素坐标,获取所述第一参考点在第一相机坐标系中的坐标作为第一坐标,其中,所述第一参考点是指所述参考点在所述第一图像中的对应点,所述第一相机坐标系对应于所述第一图像,是指以第一相机的光心为原点而建立的坐标系,所述第一相机是指所述第一图像的拍摄相机。所述第一坐标可以通过对所述第一参考点在所述第一图像中的像素坐标进行坐标变换得到,具体地,对于任一所述第一参考点,其对应的第一坐标为Pc=K-1×Pu,其中,K为第一相机的内参,Pu为该第一参考点在所述第一图像中的像素坐标。
S13,根据第二参考点在所述第二图像中的像素坐标,获取所述第二参考点在第二相机坐标系中的坐标作为第二坐标,其中,所述第二参考点是指所述参考点在所述第二图像中的对应点,所述第二相机坐标系对应于所述第二图像,是指以第二相机的光心为原点而建立的坐标系,所述第二相机是指所述第二图像的拍摄相机。所述第二坐标可以基于第二相机的内参通过对所述第二参考点在所述第二图像中的像素坐标进行坐标变换得到,具体实现方式与所述第一坐标类似。
S14,根据待验证的标定参数将所述第一参考点和所述第二参考点变换至同一坐标系。其中,所述标定参数是指通过矫正或标定得到的相机外参,例如为旋转变换矩阵R和/或平移变换矩阵t。实际应用中,可以通过所述标定参数和所述第一坐标将所述第一参考点变换至所述第二坐标系,例如,通过公式P2=R×P1+t将第一参考点转换至所述第二坐标系,其中,P2为所述第一参考点在所述第二坐标系中的坐标,P1为所述第一参考点在所述第一坐标系中的坐标。此外,也可以通过所述标定参数和所述第二坐标将所述第二参考点变换至所述第一坐标系。
S15,根据所述第一参考点和所述第二参考点之间的相对位置关系进行匹配,以获取匹配点对。其中,各所述匹配点对均包含一个所述第一参考点和一个所述第二参考点,并且,理想情况下各所述匹配点对所包含的第一参考点和第二参考点均对应于同一参考点,也即,各所述匹配点对所包含的第一参考点和第二参考点由同一参考点分别沿不同的投影方向进行投影得到。
S16,获取各所述匹配点对对应的三维重建点。具体地,所述三维重建点可以通过对各所述匹配点对中的点进行三维重建得到。
S17,根据各所述三维重建点与所述参考点之间的相对位置关系获取所述标定参数的精度。具体地,由于所述三维重建点是根据各所述匹配点对通过三维重建得到,因此,所述三维重建点的位置取决于所述标定参数的精度,故,所述三维重建点与所述参考点之间的相对位置关系能够反映所述标定参数的精度,因而可以根据二者之间的相对位置关系来获取所述标定参数的精度。理想情况下,当所述标定参数完全准确时,所述三维重建点的位置应当与所述参考点的位置相同。
根据以上描述可知,本实施例所述精度验证方法以模具上的参考点为基础,通过对第一参考点和第二参考点进行坐标系变换、点匹配以及三维重建来获取三维重建点,并根据所述三维重建点与所述参考点之间的相对位置关系来获取所述标定参数的精度。因此,所述精度验证方法能够对所述标定参数的精度进行验证,有利于相关人员获取所述标定参数的精度信息,从而避免实验或实际应用中出现错误。
需要说明的是,本实施例中所述的第一图像和所述第二图像不限于X光照片,其还可以为双目相机拍摄得到的图像等。此外,尽管本实施例仅提供了对两幅图像的标定参数进行精度验证的方法,然而,实际应用中该方法也可以应用于三幅及以上的图像,本发明对此同样不做限制。
于本发明的一实施例中,所述参考点为圆点,所述精度验证方法还包括:采用圆检测算法对所述第一图像和所述第二图像进行检测,以获取所述第一参考点和所述第二参考点。其中,所述圆检测算法例如为基于霍夫变换的圆检测算法。
请参阅图2A,于本发明的一实施例中,根据所述第一参考点和所述第二参考点之间的相对位置关系进行匹配,以获取匹配点对的实现方法包括:
S151,根据各所述第一参考点和第一光心获取多条第一直线,其中,所述第一光心对应于所述第一相机的光心,各所述第一直线穿过所述第一光心和对应的一个第一参考点。
具体地,若S14中所述的同一坐标系为所述第一相机坐标系,则所述第一光心即为所述第一相机的光心;若S14中所述的同一坐标系为所述第二相机坐标系,则根据所述标定参数将所述第一相机的光心变换至所述第二相机坐标系即可得到所述第一光心。
S152,根据各所述第二参考点和第二光心获取多条第二直线,其中,所述第二光心对应于所述第二相机的光心,各所述第二直线穿过所述第二光心和对应的一个第二参考点。
具体地,若S14中所述的同一坐标系为所述第二相机坐标系,则所述第二光心即为所述第二相机的光心;若S14中所述的同一坐标系为所述第一相机坐标系,则根据所述标定参数将所述第二相机的光心变换至所述第一相机坐标系即可得到所述第二光心。
S153,根据所述第一直线和所述第二直线的相对位置关系获取匹配直线对。具体地,在同一坐标系下,若任一参考点P所对应的第一参考点和第二参考点分别为P1和P2,且P1与第一光心所形成的直线为L1,P2与第二光心所形成的直线为L2,则理想情况下L1和L2应当相交于该参考点P,也即,直线L1和L2均对应于同一参考点P。而在非理想情况下,直线L1和L2的交点可能与参考点P之间存在一个比较小的距离d。因此,基于所述第一直线和所述第二直线的相对位置关系能够获得匹配直线对。
S154,根据所述匹配直线对对应的第一参考点和第二参考点获取所述匹配点对。具体地,对于任一所述匹配直线对C,其包含一条第一直线L3和一条第二直线L4,该第一直线L3穿过一个第一参考点P3,该第二直线L4穿过一个第二参考点P4,则,该第一参考点P3为该匹配直线对C对应的第一参考点,该第二参考点P4为该匹配直线对C对应的第二参考点,该第一参考点P3和该第二参考点P4即为该匹配直线对C对应的匹配点对(P3,P4)。通过此种方式能够获取所述第一参考点和所述第二参考点中的所有匹配点对,并获取所述匹配点对之外的所有点作为待定点,其中,所述待定点包括第一参考点和第二参考点。
可选地,在步骤S154以后,本实施例所述精度验证方法还包括:执行一匹配点对更新子方法以对所述匹配点对进行更新,其中,所述匹配点对更新子方法用于从待定点中获取新的匹配点对。请参阅图2B,本实施例中所述匹配点对更新子方法包括:
S21,对所述匹配点对进行三维重建,以获取第一重建点,其中,各所述匹配点对均可以通过三维重建来得到一个所述第一重建点。
可选地,对于任一所述匹配点对,本实施例中对该匹配点对进行三维重建以获取其对应的第一重建点的实现方法包括:获取该匹配点对对应的第一直线和第二直线,并获取距离这两条直线距离之和最小的点作为该匹配点对对应的第一重建点。例如,对于步骤S154中所述的匹配点对(P3,P4),其对应的第一直线和第二直线分别为L3和L4,在三维空间中获取距离这两条直线L3和L4的欧氏距离之和最小的三维点即为该匹配点对(P3,P4)对应的第一重建点。通过此种方式能够获取所有匹配点对对应的第一重建点。
S22,根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准,以获取变换矩阵。其中,所述第一重建点可以作为一个点云,所述参考点可以作为另一个点云,通过在这两个点云之间进行点云配准即可得到所述变换矩阵,所述变换矩阵例如可以为旋转变换矩阵和/或平移变换矩阵。
S23,对待定点中的各第一参考点和各第二参考点进行三维重建,以获取待定重建点。具体地,所述待定重建点可以通过对所述第一参考点和所述第二参考点两两进行三维重建得到,即,分别将所述待定点中的每一所述第一参考点和每一所述第二参考点进行三维重建,以得到所有的所述待定重建点。其中,每一所述待定重建点均对应一个所述第一参考点和一个所述第二参考点。
本步骤中所述三维重建的方式例如为:对于任一所述第一参考点P5和任一所述第二参考点P6,分别获取P5与第一光心确定的直线L5、以及P6与第二光心确定的直线L6,并在三维空间中获取距离L5和L6的距离之和最小的点作为P5和P6对应的待定重建点。通过此种方式能够获取所有待定点对应的待定重建点。
S24,根据所述变换矩阵将所述待定重建点与所述参考点变换至同一坐标系。
S25,根据所述待定重建点与所述参考点之间的相对位置关系获取第二重建点,进而对所述匹配点对进行更新。其中,所述第二重建点是指由所述待定点中的匹配点进行三维重建而得到的三维重建点。具体地,若某一第一参考点和某一第二参考点为匹配点,则二者对应的待定重建点为正确的三维重建点,且该待定重建点与真实参考点之间的距离应当很近,因此,可以根据待定重建点与真实参考点之间的距离是否小于一距离阈值来确定待定重建点是否为正确的三维重建点,并选取所有正确的三维重建点作为所述第二重建点,所述距离阈值可以根据实际需求确定。
S26,根据所述第二重建点对应的待定点对所述匹配点对进行更新。如前所述,所述第二重建点为正确的三维重建点,其对应的第一参考点和第二参考点相互匹配,也即,构成一匹配点对。因此,根据所述第二重建点能够获取所述待定点中的部分或全部的匹配点对,将待定点中的部分或全部的匹配点对添加到已有的匹配点对中即可实现对已有匹配点对的更新。
于本发明的一实施例中,所述模具为金字塔形模具,所述参考点包括所述金字塔形模具的塔尖点和塔底点。优选地,请参阅图3A,显示为所述一种金字塔形模具的示例图,其中,该金字塔形模具包括17个参考点,分别为塔尖点以及每条塔边上的各4个点,并且,每条塔边上距离塔尖点最远的的一个点为塔底点。
请参阅图3B,本实施例中根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准以获取所述变换矩阵的实现方法包括:
S221,根据所述第一重建点的坐标获取模具特征点的重建坐标,其中,所述模具特征点包括所述塔尖点、一所述塔底点以及塔底中心点,所述模具特征点中的塔底点优选为距离所述塔尖点最远的一个底层点。
具体地,分别计算所述第一重建点在x、y和z三个维度的坐标方差,其中,沿金字塔高度方向的方差应当明显区别于另外两个方向,因此,可以根据方差获取所述金字塔形模具的高度方向,进而可以根据所述第一重建点的坐标特征确定与塔尖点相对应的一个第一重建点以及与各所述塔底点相对应的第一重建点,其中,与所述塔尖点相对应的一个第一重建点的坐标即为所述塔尖点的重建坐标,与各所述塔底点相对应的第一重建点的坐标即为各所述塔底点的重建坐标。此外,基于各所述塔底点的重建坐标能够获取所述塔底中心点的重建坐标,例如,可以通过对各所述塔底点的重建坐标取平均值的方式来获取所述塔底中心点的重建坐标。
S222,根据所述模具特征点的重建坐标以及真实坐标进行位姿估计,从而得到初始化的变换矩阵。具体地,由于模具是已知的,因而模具上塔尖点以及塔底点的真实坐标也是已知的,且塔底中心点的真实坐标可以通过塔底点的真实坐标得到。基于此,步骤S222可以根据所述模具特征点的重建坐标以及真实坐标进行位姿估计,从而得到初始化的变换矩阵。
S223,根据所述初始化的变换矩阵对各所述第一重建点进行变换。
S224,根据变换之后的所述第一重建点与所述参考点进行点云配准,以获取所述变换矩阵。
可选地,本实施例中,设Pcloud={pi|pi∈R3,i=1,2,3}为重建点云,其中点p1、p2和p3的坐标分别为所述模具特征点包含的塔尖点的重建坐标、塔底点的重建坐标和塔底中心点的重建坐标;Qcloud={qi|qi∈R3,i=1,2,3}为真实点云,其中点q1、q2和q3的坐标分别为所述模具特征点包含的塔尖点的真实坐标、塔底点的真实坐标和塔底中心点的真实坐标。需要说明的是,本实施例中,由于所述金字塔形模具具有旋转对称性,因此可以将Pcloud与Qcloud中的各点进行一一匹配。此外,设Rcloud和tcloud分别为点云配准中的旋转变换矩阵和平移变换矩阵,f(Rcloud,tcloud)表示重建点云Pcloud在旋转变换矩阵Rcloud和平移变换矩阵tcloud下与真实点云Qcloud之间的误差,则求解所述初始化的变换矩阵的问题可以转换为求解满足min(f(Rcloud,tcloud))的最优解(Rcloud,tcloud),其中,
Figure BDA0003244158380000091
可选地,本实施例中对上述优化问题进行求解的方法包括:
首先,获取所述重建点云的质心p和所述真实点云的质心q,其中,
Figure BDA0003244158380000092
Figure BDA0003244158380000093
基于此,获取所述重建点云中每个点的去质心坐标:pi'=pi-p,i=1,2,3,并获取所述真实点云中每个点的去质心坐标:qi'=qi-q,i=1,2,3。
其后,根据以下优化问题计算旋转变换矩阵:
Figure BDA0003244158380000101
其中,Rcloud的最优解可以通过奇异值分解的方法得出。具体地,定义矩阵
Figure BDA0003244158380000102
对该矩阵W进行奇异值分解可以得到W=U×Σ×VT,其中,Σ为奇异值组成的对角矩阵,其对角线元素从大到小排列,而U和V为对角矩阵。当W满秩时,最优旋转变换矩阵
Figure BDA0003244158380000103
Figure BDA0003244158380000104
其后,根据
Figure BDA0003244158380000105
即可得出最优平移变换矩阵t*。该最优旋转变换矩阵
Figure BDA0003244158380000106
和最优平移变换矩阵t*即为S222中所述初始化的变换矩阵。
可选地,设X={xi|xi∈R3,i=1,2,…,n}为所述变换之后的第一重建点组成的重建点云,其中,n为所述第一重建点的数量,Y={yi|yi∈R3,i=1,2,…,n}为所述变换之后的第一重建点对应的参考点组成的真实点云。则本实施例中根据变换之后的所述第一重建点与所述参考点进行点云配准,以获取所述变换矩阵的实现方法包括:首先,计算最近点集:在重建点云X中取点xi∈X,获取真实点云Y中与xi距离最短的对应点yi∈Y,将xi和yi作为一对匹配点。接着,可以采用与步骤S222类似的方法对点云进行配准,并求满足min(f(Rcloud,tcloud))的最优解(Rcloud,tcloud)作为所述变换矩阵,本实施例中,
Figure BDA0003244158380000107
于本发明的一实施例中,在根据所述第二重建点对应的待定点对所述匹配点对进行更新以后,获取所述匹配点对的实现方法还包括:基于更新以后的所述匹配点对重复执行所述匹配点对更新子方法,直到所述匹配点对满足终止条件。其中,所述终止条件例如为所述匹配点对的数量达到预设的数量阈值,所述数量阈值可以根据实际需求设置。
请参阅图4,于本发明的一实施例中,根据所述第一直线和所述第二直线的相对位置关系获取匹配直线对的实现方法包括:
S1531,基于各所述第一直线进行第一匹配,以获得第一匹配结果,其中,所述第一匹配结果包括各所述第一直线及其距离最近的第二直线。
具体地,对于任意一条第一直线L7和任意一条第二直线L8,可以根据L7对应的第一参考点以及第一光心获取其方向向量
Figure BDA0003244158380000108
根据L8对应的第二参考点以及第二光心获取其方向向量
Figure BDA0003244158380000109
接着,利用叉乘可以求出与直线L7和L8都垂直的法向量
Figure BDA0003244158380000111
然后在直线L7和L8上各任意取一点,该两点组成的线段在法向量上的投影即为直线L7和L8之间的距离。本实施例中,由于第一光心和第二光心的坐标已知,因此,可以选取这两个光心作为直线L7和L8上的定点M1和M2,此时,L7和L8之间的距离为:
Figure BDA0003244158380000112
基于上述方法能够获取各所述第一直线与各所述第二直线之间的距离,根据这些距离能够获取与各所述第一直线距离最近的第二直线,进而获取所述第一匹配结果,其中,所述第一匹配结果可以看作多个直线对的集合,所述第一匹配结果中的各所述直线对均包含一条第一直线及其距离最近的一条第二直线。
S1532,基于各所述第二直线进行第二匹配,以获得第二匹配结果,其中,所述第二匹配结果包括各所述第二直线及其距离最近的第一直线。
具体地,可以根据各所述第二直线与各所述第一直线之间的距离获取与各所述第二直线距离最近的第一直线,进而获取所述第二匹配结果,其中,所述第二匹配结果可以看作多个直线对的集合,所述第二匹配结果中的各所述直线对均包含一条第二直线及其距离最近的一条第一直线。
S1533,根据所述第一匹配结果和所述第二匹配结果获取待定匹配直线对。例如,可以选取所述第一匹配结果和所述第二匹配结果的交集作为所述待定匹配直线对,也即,若第一直线L9距离最近的第二直线为L10,且第二直线L10距离最近的第一直线为L9,则L9和L10构成一待定匹配直线对,否则,L9和L10不能构成待定匹配直线对。
S1534,根据直线的最近距离和次近距离的比值从所述待定匹配直线对中获取所述匹配直线对,其中,所述直线包括所述第一直线和所述第二直线。例如,若L9和L10构成一待定匹配直线对,则获取距离L9次近的一条第二直线L11、以及距离L10次近的一条直线L12,并获取L9和L10之间的距离d1、L9和L11之间的距离d2以及L10与L12之间的距离d3,若d1与d2的比值小于一预设的比值阈值(例如为1/4),且d1与d3的比值也小于所述比值阈值,则L9和L10构成的待定匹配直线对为匹配直线对,否则,L9和L10构成的待定匹配直线不对为匹配直线对。
于本发明的一实施例中,根据各所述三维重建点与所述参考点之间的相对位置关系获取所述标定参数的精度的实现方法包括:将所述三维重建点与所述参考点进行点云配准;获取所述三维重建点及其对应参考点之间的均方根误差作为所述标定参数的精度。其中,所述三维重建点与所述参考点进行点云配准的方式与上述第一重建点与参考点进行点云配准的方式相同,此处不做过多赘述。
请参阅图5,于本发明的一实施例中,所述精度验证方法包括:
S501,获取模具的第一图像和第二图像,本实施例中,所述模具为金字塔形模具,其上包括17个圆形参考点,且所述第一图像和所述第二图像例如分别为正位X光机和侧位X光机拍摄的照片。
S502,检测出所述第一图像中的第一参考点以及所述第二图像中的第二参考点。例如,可以采用基于霍夫变换的圆检测算法来检测出所述第一参考点和所述第二参考点。
S503,根据所述第一参考点在所述第一图像中的像素坐标,获取所述第一参考点在第一相机坐标系中的坐标作为第一坐标。
S504,根据第二参考点在所述第二图像中的像素坐标,获取所述第二参考点在第二相机坐标系中的坐标作为第二坐标。
S505,根据待验证的标定参数和所述第一坐标,将所述第一参考点变换至所述第二相机坐标系中。
S506,根据各所述第一参考点和第一光心获取多条第一直线,根据各所述第二参考点和第二光心获取多条第二直线。
S507,根据各所述第一直线与各所述第二直线之间的距离获取匹配直线对。其中,所述匹配直线对可以采用图4所示步骤S1531~S1534获取。
S508,根据所述匹配直线对获取匹配点对,并获取所述匹配点对之外的第一参考点和第二参考点作为待定点。
S509,根据所述匹配点对进行三维重建,以得到第一重建点。具体地,对于任一所述匹配点对,对该匹配点对进行三维重建以获取其对应的第一重建点的实现方法包括:获取该匹配点对对应的第一直线和第二直线,并获取距离这两条直线距离之和最小的点作为该匹配点对对应的第一重建点。
S510,根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准,以获取变换矩阵。其中,所述变换矩阵可以采用图3B所示步骤S221~S224实现。
S511,对所述待定点进行两两三维重建以得到待定重建点,并使用所述变换矩阵将所述待定重建点变换至世界坐标系中。
S512,获取各所述待定重建点与所述参考点的最近距离,并根据所述最近距离获取所述待定点中的匹配点对。具体地,若某一待定重建点与所述参考点的最近距离小于一距离阈值,则该待定重建点对应的第一参考点和第二参考点构成一匹配点对,通过此种方式能够获取所述待定点中的所有匹配点对。
S513,基于当前获取的所有匹配点对,重复执行步骤S509~S513,直到获取到所有的匹配点对。
S514,根据所有的匹配点对进行三维重建以得到最终的三维重建点,获取所述最终的三维重建点与所述参考点之间的均方根误差作为所述标定参数的精度。
基于以上对所述精度验证方法的描述,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现图1或图5所示精度验证方法。
基于以上对所述精度验证方法的描述,本发明还提供一种电子设备。具体地,请参阅图6,所述电子设备600包括存储器610和处理器620。其中,所述存储器610存储有计算机程序,所述处理器620与所述存储器610通信相连,调用所述计算机程序时执行图1或图5所示精度验证方法。
可选地,所述电子设备600还包括显示器630,所述显示器630与所述存储器610和所述处理器620通信相连,用于显示所述精度验证方法的相关GUI交互界面。
本发明所述精度验证方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
综上所述,本发明所述精度验证方法以模具上的参考点为基础,通过对第一参考点和第二参考点进行坐标系变换、点匹配以及三维重建来获取三维重建点,并根据所述三维重建点与所述参考点之间的相对位置关系来获取所述标定参数的精度。因此,所述精度验证方法能够对所述标定参数的精度进行验证,有利于相关人员获取所述标定参数的精度信息,从而避免实验或实际应用中出现错误。因此,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种标定参数的精度验证方法,其特征在于,所述精度验证方法包括:
获取模具的第一图像和第二图像,其中,所述模具上具有多个参考点,且所述第一图像和所述第二图像的拍摄角度不同;
根据第一参考点在所述第一图像中的像素坐标,获取所述第一参考点在第一相机坐标系中的坐标作为第一坐标,其中,所述第一参考点是指所述参考点在所述第一图像中的对应点;
根据第二参考点在所述第二图像中的像素坐标,获取所述第二参考点在第二相机坐标系中的坐标作为第二坐标,其中,所述第二参考点是指所述参考点在所述第二图像中的对应点;
根据待验证的标定参数将所述第一参考点和所述第二参考点变换至同一坐标系;
根据所述第一参考点和所述第二参考点之间的相对位置关系进行匹配,以获取匹配点对;
获取各所述匹配点对对应的三维重建点;
根据各所述三维重建点与所述参考点之间的相对位置关系获取所述标定参数的精度。
2.根据权利要求1所述的精度验证方法,其特征在于,根据所述第一参考点和所述第二参考点之间的相对位置关系进行匹配,以获取匹配点对的实现方法包括:
根据各所述第一参考点和第一光心获取多条第一直线,其中,所述第一光心对应于第一相机的光心,各所述第一直线穿过所述第一光心和对应的一个第一参考点;
根据各所述第二参考点和第二光心获取多条第二直线,其中,所述第二光心对应于第二相机的光心,各所述第二直线穿过所述第二光心和对应的一个第二参考点;
根据所述第一直线和所述第二直线的相对位置关系获取匹配直线对;
根据所述匹配直线对对应的第一参考点和第二参考点获取所述匹配点对。
3.根据权利要求2所述的精度验证方法,其特征在于,获取所述匹配点对的实现方法还包括:执行一匹配点对更新子方法以对所述匹配点对进行更新,其中,所述匹配点对更新子方法包括:
对所述匹配点对进行三维重建,以获取第一重建点;
根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准,以获取变换矩阵;
对待定点中的各第一参考点和各第二参考点进行三维重建,以获取待定重建点;
根据所述变换矩阵将所述待定重建点与所述参考点变换至同一坐标系;
根据所述待定重建点与所述参考点之间的相对位置关系获取第二重建点;
根据所述第二重建点对应的待定点对所述匹配点对进行更新。
4.根据权利要求3所述的精度验证方法,其特征在于,对于任一所述匹配点对,对该匹配点对进行三维重建以获取其对应的第一重建点的实现方法包括:
获取该匹配点对对应的第一直线和第二直线,并获取距离这两条直线距离之和最小的点作为该匹配点对对应的第一重建点。
5.根据权利要求3所述的精度验证方法,其特征在于,所述模具为金字塔形模具,所述参考点包括所述金字塔形模具的塔尖点和塔底点,根据所述模具的几何特征对所述第一重建点和所述参考点进行点云配准以获取所述变换矩阵的实现方法包括:
根据所述第一重建点的坐标获取模具特征点的重建坐标,其中,所述模具特征点包括所述塔尖点、一所述塔底点以及塔底中心点;
根据所述模具特征点的重建坐标以及真实坐标进行位姿估计,从而得到初始化的变换矩阵;
根据所述初始化的变换矩阵对各所述第一重建点进行变换;
根据变换之后的所述第一重建点与所述参考点进行点云配准,以获取所述变换矩阵。
6.根据权利要求3所述的精度验证方法,其特征在于,在根据所述第二重建点对应的待定点对所述匹配点对进行更新以后,获取所述匹配点对的实现方法还包括:
基于更新以后的所述匹配点对重复执行所述匹配点对更新子方法,直到所述匹配点对满足终止条件。
7.根据权利要求2所述的精度验证方法,其特征在于,根据所述第一直线和所述第二直线的相对位置关系获取匹配直线对的实现方法包括:
基于各所述第一直线进行第一匹配,以获得第一匹配结果,其中,所述第一匹配结果包括各所述第一直线及其距离最近的第二直线;
基于各所述第二直线进行第二匹配,以获得第二匹配结果,其中,所述第二匹配结果包括各所述第二直线及其距离最近的第一直线;
根据所述第一匹配结果和所述第二匹配结果获取待定匹配直线对;
根据直线的最近距离和次近距离的比值从所述待定匹配直线对中获取所述匹配直线对,其中,所述直线包括所述第一直线和所述第二直线。
8.根据权利要求1所述的精度验证方法,其特征在于,根据各所述三维重建点与所述参考点之间的相对位置关系获取所述标定参数的精度的实现方法包括:
将所述三维重建点与所述参考点进行点云配准;
获取所述三维重建点及其对应参考点之间的均方根误差作为所述标定参数的精度。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该计算机程序被处理器执行时实现权利要求1-8任一项所述的精度验证方法。
10.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储有一计算机程序;
处理器,与所述存储器通信相连,调用所述计算机程序时执行权利要求1-8任一项所述的精度验证方法。
CN202111027674.7A 2021-09-02 2021-09-02 标定参数的精度验证方法、介质及电子设备 Active CN113674333B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111027674.7A CN113674333B (zh) 2021-09-02 2021-09-02 标定参数的精度验证方法、介质及电子设备
NL2031065A NL2031065B1 (en) 2021-09-02 2022-02-24 Method for verifying precision of calibration parameter, medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111027674.7A CN113674333B (zh) 2021-09-02 2021-09-02 标定参数的精度验证方法、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113674333A true CN113674333A (zh) 2021-11-19
CN113674333B CN113674333B (zh) 2023-11-07

Family

ID=78548146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111027674.7A Active CN113674333B (zh) 2021-09-02 2021-09-02 标定参数的精度验证方法、介质及电子设备

Country Status (2)

Country Link
CN (1) CN113674333B (zh)
NL (1) NL2031065B1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919911A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多视角光度立体的移动三维重建方法
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法
CN110363838A (zh) * 2019-06-06 2019-10-22 浙江大学 基于多球面相机模型的大视野图像三维重构优化方法
CN110443840A (zh) * 2019-08-07 2019-11-12 山东理工大学 实物表面采样点集初始配准的优化求解方法
CN111724446A (zh) * 2020-05-20 2020-09-29 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2638524A2 (en) * 2010-11-09 2013-09-18 The Provost, Fellows, Foundation Scholars, & the other members of Board, of the College of the Holy & Undiv. Trinity of Queen Elizabeth near Dublin Method and system for recovery of 3d scene structure and camera motion from a video sequence
CN108230402B (zh) * 2018-01-23 2021-09-21 北京易智能科技有限公司 一种基于三棱锥模型的立体标定方法
CN112991464B (zh) * 2021-03-19 2023-04-07 山东大学 基于立体视觉的三维重建的点云误差补偿方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919911A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多视角光度立体的移动三维重建方法
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法
CN110363838A (zh) * 2019-06-06 2019-10-22 浙江大学 基于多球面相机模型的大视野图像三维重构优化方法
CN110443840A (zh) * 2019-08-07 2019-11-12 山东理工大学 实物表面采样点集初始配准的优化求解方法
CN111724446A (zh) * 2020-05-20 2020-09-29 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FARIDA CHERIET 等: "Self-calibrationof a stereo system using matched points:application to biplane x-ray imaging", SPIE *
刘庆华: "基于ATOS光学测量系统的模具型面数据备份", EPC, no. 6 *

Also Published As

Publication number Publication date
NL2031065A (en) 2022-05-09
CN113674333B (zh) 2023-11-07
NL2031065B1 (en) 2023-06-16

Similar Documents

Publication Publication Date Title
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
AU2011312140B2 (en) Rapid 3D modeling
Usenko et al. The double sphere camera model
CN108629831B (zh) 基于参数化人体模板和惯性测量的三维人体重建方法及系统
Yao Assessing accuracy factors in deformable 2D/3D medical image registration using a statistical pelvis model
US20180338742A1 (en) X-ray system and method for standing subject
JP2013539147A5 (zh)
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
CN112444242A (zh) 一种位姿优化方法及装置
CN113330486A (zh) 深度估计
CN112168357B (zh) C臂机空间定位模型构建系统及方法
KR20200025238A (ko) 영상 생성 장치, 영상 생성 장치를 포함하는 이미징 시스템 및 이미징 시스템의 동작 방법
WO2020208686A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2011086111A (ja) 撮像装置校正方法及び画像合成装置
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN107993227B (zh) 一种获取3d腹腔镜手眼矩阵的方法和装置
CN113674333B (zh) 标定参数的精度验证方法、介质及电子设备
CN116458904A (zh) 平板c臂校准方法、装置、存储介质及电子设备
CN113963057B (zh) 成像几何关系标定方法、装置、电子设备以及存储介质
CN116258752A (zh) 配准方法、配准装置、电子设备和计算机可读存储介质
US11922576B2 (en) System and method for mapping the skin
CN117392230A (zh) Cbct旋转半径的测量方法、装置、设备及存储介质
CN113298883A (zh) 用于对多个相机进行标定的方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant