CN116728784A - 一种应用于3d打印机的图像采集设备标定方法和装置 - Google Patents

一种应用于3d打印机的图像采集设备标定方法和装置 Download PDF

Info

Publication number
CN116728784A
CN116728784A CN202310688341.1A CN202310688341A CN116728784A CN 116728784 A CN116728784 A CN 116728784A CN 202310688341 A CN202310688341 A CN 202310688341A CN 116728784 A CN116728784 A CN 116728784A
Authority
CN
China
Prior art keywords
coordinate
target point
coordinate system
image acquisition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310688341.1A
Other languages
English (en)
Inventor
黄泽铗
黄勇
李冠群
刘永浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202310688341.1A priority Critical patent/CN116728784A/zh
Publication of CN116728784A publication Critical patent/CN116728784A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/20—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B29C64/245—Platforms or substrates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/20—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B29C64/295—Heating elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Materials Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种应用于3D打印机的图像采集设备标定方法和装置，图像采集设备固定于3D打印机的喷头上，该方法包括：获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系或三维点云对应的相机坐标系的第三坐标，至少一个目标点为打印喷头打印的标定图形中的点；根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，以对图像采集设备进行标定，其中，外参包括图像采集设备与打印喷头之间的平移向量。本申请实施例提供的图像采集设备标定方法和装置，可以准确地对图像采集设备进行标定。

Description

一种应用于3D打印机的图像采集设备标定方法和装置
技术领域
本申请涉及3D打印技术领域，并且更具体地，涉及一种应用于3D打印机的图像采集设备标定方法和装置。
背景技术
热床调平、流量校准和首层检测作为三维(three-dimensional，3D)打印前必备的流程，直接决定打印质量和成功率。目前，大部分3D打印机的热床调平、流量校准和首层检测的效果一般。例如，通过压力传感器和手动按钮来进行热床调平，这种方式只能测量热床的几个有限的位置的信息，热床调平效果较差，且调平过程需耗费较多时间。
通过将图像采集设备例如3D激光轮廓仪安装于打印喷头上，并对该图像采集设备进行准确标定，然后借助标定后的图像采集设备进行热床调平、流量校准、首层检测等，如利用图像采集设备获取热床的点云数据以对热床进行调平，可以提升热床调平的效果、降低热床调平的时间、提高打印喷嘴的流量校准精度以及首层检测的精度，从而能够提高3D打印的质量和成功率。
因此，如何准确地对3D打印机的图像采集设备进行标定是当前亟待解决的问题之一。
发明内容
本申请实施例提供了一种应用于3D打印机的图像采集设备标定方法和装置，可以准确地对图像采集设备进行标定，从而提高3D打印的质量。
第一方面，提供了一种应用于3D打印机的图像采集设备标定方法，图像采集设备固定于3D打印机的打印喷头上，该方法包括：获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系或三维点云对应的相机坐标系的第三坐标，至少一个目标点为打印喷头打印的标定图形中的点；根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，以对图像采集设备进行标定，其中，外参包括图像采集设备与打印喷头之间的平移向量。
在本申请实施例中，可以通过打印喷头打印的标定图形中的目标点在世界坐标系的第一坐标、图像采集设备采集该目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标以及目标点二维图像的图像坐标系或者目标点在三维点云对应的相机坐标系的第三坐标，准确地对图像采集设备的外参进行标定，从而可以借助标定后的图像采集设备提升热床调平、流量校准、首层检测的效果，进而提高3D打印的质量。
另一方面，通过实现对图像采集设备的外参的准确标定，可以降低图像采集设备的安装精度的要求，提高图像采集设备的安装效率。
结合第一方面，在第一方面的某些实现方式中，根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，包括：根据第一坐标和采集三维点云时的第二坐标，确定至少一个目标点在以打印喷头为原点的坐标系的第四坐标；根据第四坐标和至少一个目标点在相机坐标系的第三坐标，确定外参。
结合第一方面，在第一方面的某些实现方式中，根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，包括：T＝(XW,YW,ZW)-(XC,YC,ZC)-(P_XW,P_YW,P_ZW)，其中，T为平移向量，(XW,YW,ZW)为第一坐标，(XC,YC,ZC)为至少一个目标点在相机坐标系的第三坐标，(P_XW,P_YW,P_ZW)为采集三维点云时打印喷头的第二坐标，至少一个目标点包括一个目标点。
在本申请实施例中，可以根据目标点在世界坐标系的坐标、采集包括目标点的三维点云时打印喷头在世界坐标系的坐标以及目标点在相机坐标系的坐标，即，利用目标点在世界坐标系的坐标以及采集目标点三维点云的相关信息，准确地确定图像采集设备的外参。
结合第一方面，在第一方面的某些实现方式中，外参还包括相机坐标系与世界坐标系之间的旋转矩阵。
在本申请实施例中，可以基于平移向量和旋转矩阵的多个自由度对图像采集设备进行标定，从而提高图像采集装置标定的准确性。
结合第一方面，在第一方面的某些实现方式中，根据第一坐标、第二坐标和第四坐标，确定图像采集设备的外参，包括：利用以下公式，确定旋转矩阵以及所平移向量，(XWi,YWi,ZWi)＝Rc(XCi,YCi,ZCi)+Tc+(P_XWi,P_YWi,P_ZWi)，其中，(XWi,YWi,ZWi)为第i个目标点的第一坐标，(XCi,YCi,ZCi)为第i个目标点在相机坐标系的第三坐标，(P_XWi,P_YWi,P_ZWi)为采集包括第i个目标点的三维点云时打印喷头的第二坐标，Rc为旋转矩阵，Tc为平移向量。
结合第一方面，在第一方面的某些实现方式中，在根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参之前，该方法还包括：获取采集二维图像时至少一个目标点与相机光心在世界坐标系Z轴的第一偏移量ΔZ，相机光心为图像采集设备对应的相机光心，至少一个目标点位于标定图形在图像采集设备一侧的表面；获取采集二维图像时图像采集设备的焦距；根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，包括：根据至少一个目标点在图像坐标系的第三坐标、第一偏移量和焦距，确定在采集二维图像时至少一个目标点与相机光心在世界坐标系X轴和Y轴的第二偏移量(ΔX,ΔY)；根据第一偏移量、第二偏移量与第一坐标，确定在采集二维图像时相机光心在世界坐标系中的第四坐标；根据第二坐标和第四坐标，确定平移向量。
在本申请实施例中，可以根据目标点在世界坐标系的坐标、采集二维图像时图像采集设备与该目标点在世界坐标系Z轴的偏移量以及采集二维图像时图像采集装置的焦距，确定目标点与相机光心在世界坐标系中的偏移量；从而可以根据该偏移量和目标点在世界坐标系中的坐标，确定相机光心在世界坐标系中的坐标；进而可以根据相机光心以及打印喷头在世界坐标系中的坐标，准确地确定图像采集设备与打印喷头之间的平移向量。即，本申请提供的方案，可以利用目标点在世界坐标系的坐标、采集目标点二维图像的相关信息，准确地对图像采集设备进行标定。
结合第一方面，在第一方面的某些实现方式中，根据至少一个目标点在图像坐标系的第三坐标、第一偏移量和焦距，确定在采集二维图像时至少一个目标点与相机光心在世界坐标系X轴和Y轴的第二偏移量，包括：根据第三坐标，确定至少一个目标点与二维图像的像主点在图像坐标系各坐标轴的第三偏移量(Δx,Δy)；根据第一偏移量、第三偏移量以及焦距，确定第二偏移量。
结合第一方面，在第一方面的某些实现方式中，根据第三偏移量、第一偏移量以及焦距，确定第二偏移量，包括：包括：其中，ΔXm、ΔYm、ΔZm分别为采集包括第m个目标点的二维图像时相机光心与第m个目标点在世界坐标系的X轴、Y轴和Z轴的偏移量、fm为采集包括第m个目标点的二维图像时图像采集设备对应的焦距，Δxm、Δym分别为包括第m个目标点的二维图像的像主点与第m个目标点在图像坐标系x轴、y轴的偏移量，第m个目标点为至少一个目标点中的一个。
在本申请实施例中，可以根据目标点与二维图像的像主点在图像坐标系的偏移量，利用相似三角形，准确地确定目标点与相机光心在世界坐标系X轴和Y轴的偏移量。
结合第一方面，在第一方面的某些实现方式中，在在获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系或三维点云对应的相机坐标系的第三坐标之前，该方法还包括：控制打印喷头将标定图形打印在热床上，3D打印机包括热床；控制图像采集设备采集二维图像或三维点云。
第二方面，提供一种应用于3D打印机的图像采集设备标定装置，图像采集设备固定于3D打印机的打印喷头上，该装置包括：获取单元，用于获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系或三维点云对应的相机坐标系的第三坐标，至少一个目标点为打印喷头打印的标定图形中的点；处理单元，用于根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，以对图像采集设备进行标定，其中，外参包括图像采集设备与打印喷头之间的平移向量。
第三方面，提供一种3D打印机，包括：热床；打印喷头，用于在所述热床上打印标图形；图像采集设备，用于采集包括标定图形的目标点的二维图像或三维点云，图像采集设备安装于所述打印喷头上；主控芯片，用于控制打印喷头和图像采集设备，还用于获取图像采集设备采集的二维图像或三维点云并根据如上述第一方面或第一方面的任一种实现方式中的方法对二维图像或三维点云进行处理以获取图像采集设备与打印喷头之间的外参。
第四方面，提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如上述第一方面或第一方面的任一种实现方式中的方法。
上述第二方面至第四方面的有益效果可以参考第一方面中的相关描述，本申请在此不进行赘述。
附图说明
图1是本申请实施例提供3D打印机的结构示意图。
图2是本申请实施例提供的图像采集设备的工作原理的示意图。
图3是本申请实施例提供的图像采集设备固定与打印喷头上的示意图。
图4是本申请实施例提供的图像采集设备的标定方法的流程示意图。
图5是本申请实施例提供的标定图形的示意图。
图6是本申请实施例提供的图像采集设备采集的二维图像的示意图。
图7是本申请实施例提供的图像采集设备的标定方法的流程示意图。
图8是本申请实施例提供的确定第二偏移量的原理的示意图。
图9是本申请实施例提供的图像采集设备的标定装置的示意性框图。
图10是本申请实施例提供的3D打印机的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请实施例中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或者单元。
在本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
图1为本申请实施例适用的3D打印机的结构示意图。
如图1所示，熔融沉积成型(fused deposition modeling，FDM)3D打印机100包括线形卷材101、送料装置102、挤出机103、打印喷头104和热床105。其中，送料装置102可以与线形卷材101相连。在打印过程中，送料装置102可以从线形卷材101上取得丝状的物料，并将丝状的物料通过挤出机103热熔之后，由打印喷头104射出在热床105上硬化堆积成型。3D打印所使用的物料一般是具有热塑性的物料。例如，3D打印机的打印材料包括高分子聚合物、低熔点金属以及其他可配成流动性膏状的物料(如膏状的陶瓷、高熔点金属粉末混合物、水泥等)。
在使用3D打印机进行打印之前，一般需要进行热床调平、流量校准和首层检测。热床调平、流量校准和首层检测的效果，直接决定打印质量和成功率。
目前，大部分3D打印机的热床调平、流量校准和首层检测的效果一般。例如，采用压力传感器结合手动或者自动的补偿方式来对热床进行热床调平。然而，这种方式只能测量热床上有限的位置的信息，调平效果一般，且调平过程比较费时费力。此外，该方式可能无法检测到热床上局部的凹凸不平，从而不能在后续的打印中做出有效补偿，影响打印质量。又或通过综合考虑打印喷嘴的管道流量以及打印材料特性随时间变化的规律控制来打印喷嘴的流量以进行流量校准。这种流量校准的方式需要提前对管道流量以及打印材料特性进行大量数据统计，耗费较多时间且过程比较复杂。
针对上述问题，本申请通过将图像采集设备例如3D激光轮廓仪固定于3D打印机的打印喷头上，并对该图像采集设备进行准确地标定，然后借助标定后的图像采集设备进行热床调平、流量校准、首层检测等，可以提升热床调平、流量校准、首层检测的效果。
具体地，利用图像采集设备获取热床的点云数据进行三维重建以对热床进行调平，可以提升热床调平的效果，减少热床调平的时间；通过三维重建的点云还可以检测热床是否存在凹凸不平的情况，从而可以在后续的打印过程中做出有效补偿；利用图像采集设备获取打印喷头的喷出流量的点云数据并进行三维重建，从而可以基于三维重建的点云数据快速且准确地判断打印喷头的流量是否满足要求，以进行流量的校准。
本申请实施例提供的图像采集设备可以包括光源和相机。图像采集设备可以为深度相机、激光轮廓仪或单线激光雷达等。为了简洁，图2以激光轮廓仪为例对图像采集设备的工作原理进行示例性介绍。
激光轮廓仪200可以包括激光发射器210(光源)和相机220。其中，激光发射器210的光轴与相机220的光轴可以呈一定的夹角或平行。基于激光三角测量原理，利用激光发射器210将线激光投射到被测对象上，通过相机220拍摄到的图像提取出图像中线激光的中心线，然后通过光平面方程以及已标定的相机210的内外参计算，得到被测对象在世界坐标系下的点云。
具体地，激光发射器210向被测对象发射的一根线激光。其中，一根线激光形成一个光刀平面，一个光刀平面对应一个光刀平面方程，该光刀平面方程可通过标定得到。相机220根据采集的经被测对象反射的光束在成像平面生成线图像。提取线图像中线激光上的任一点并从相机220的光心出发与线激光的任一点形成一条射线，通过该射线与光刀平面的交点确定该任一点在相机坐标系下的三维坐标。由此可以获得被测对象在相机坐标系下的点云，再基于相机220的外参获得被测对象在世界坐标系下的点云信息。
在本申请的一些实施例中，为获取精确的点云信息，可以通过中心线提取算法提取线图像中线激光上的中心线，同时，从相机220的光心出发与线激光任一中心点形成一条射线。通过确定该射线与光刀平面的交点便可得到对应的中心点的三维坐标，从而获得被测对象在相机坐标系下的点云数据。与直接通过线激光上任一点计算被测对象的点云相比，通过计算线激光上的中心线得到相应的中心点具备亚像素的坐标，从而可以提高点云数据的精度。
在本申请的一些实施例中，也可通过对被测对象在相机坐标系下的点云数据进行滤波处理提高点云数据的精度。
在本申请的一些实施例中，激光轮廓仪200的相机220也可以单独使用，用于采集被测对象的二维图像，从而获取被测对象的线宽、图形、纹理等信息。
图3所示为图像采集设备固定于打印喷头上的俯视图。如图3所示，图像采集设备310与打印喷头104固定在一起，以使得图像采集设备310可以跟随打印喷头104移动。图像采集设备310可以安装在打印喷头104的旁边，如图像采集设备310可以通过机械连接的方式安装在打印喷头的旁边，也可以安装在打印喷头104的里面，本申请对图像采集设备310的安装位置不进行限定。当二者安装完成时，图像采集设备310与打印喷头104的相对位姿则是固定的，即，二者在3D打印机X、Y、Z三个传动轴的运动方向上的相对偏差量是固定的。
通过图像采集设备已标定的相机内参可以矫正相机镜头的畸变。具体地，热床侧边可以设置有与热床105相对平行的标定板320，通过图像采集设备310采集包括标定板320的标定图像，从而根据预设标定算法进行标定获取相机的内参，以对相机的镜头畸变进行矫正。其中，预设标定算法可以包括张正友标定算法等。
图像采集设备310获得的点云数据是在图像采集设备310的相机坐标系下表示的，该相机坐标系的原点为图像采集设备310的相机光心。假设某个点云在相机坐标系下表示为(XC，YC，ZC)，由于在移动图像采集设备310以获取多帧点云的过程中，以图像采集设备310的相机光心为原点的相机坐标系相对于世界坐标系发生了移动，单纯依靠图像采集设备310获得的多帧点云无法将相机坐标系下的点云转换到以热床一角点为原点构建的世界坐标系下实现点云拼接。但打印喷头需在相应的控制下在热床上进行打印工作，也即打印喷头在世界坐标系的坐标为已知的，所以可以先将每帧点云映射到打印喷头的坐标系下，然后将打印喷头的坐标系下的点云转换到世界坐标系下以实现点云拼接。需要说明的是，世界坐标系的原点可以定义为热床105上的任一个角点，世界坐标系的X轴和Y轴分别平行于3D打印机X、Y两个传动轴的运动方向。
然而，当图像采集设备310安装到打印喷头104上时，会引入一定的安装公差，且在每台3D打印机上的安装公差是不一样的。为了保证后续图像采集设备310的正常使用，需要在使用前，对图像采集设备310的外参进行标定。
在3D打印机的扫描过程中，打印喷头104可以按照预设打印轨迹运动。由于图像采集设备310固定于打印喷头104上，打印喷头104可以带动图像采集设备310一起运动。因此，可以通过实时获取的打印喷头104在世界坐标系中的坐标，以及图像采集设备310与打印喷头104之间的相对位姿关系，便可以将图像采集设备310的相机坐标系的点云映射到世界坐标系。
可以通过公式(1)，将图像采集设备310对应的相机坐标系下的被测对象的某个点云映射到世界坐标系中。
(XW,YW,ZW)＝R(XC,YC,ZC)+T+(P_XW,P_YW,P_ZW) 公式(1)
其中，(XW,YW,ZW)为被测对象的某个点在世界坐标系的坐标，R为相机坐标系与世界坐标系之间的旋转矩阵，(XC,YC,ZC)为被测对象的某个点在相机坐标系的坐标，T为图像采集设备310与打印喷头104之间的平移向量，(P_XW,P_YW,P_ZW)为图像采集设备采集被测对象某个点的图像时打印喷头104在世界坐标系中的坐标。在本申请的一些实施例中，世界坐标系的原点可以定义为热床的其中一个角点，其X轴和Y轴分别平行于3D打印机的X和Y两个传动轴的运动方向。
R也可以看作为以打印喷头104为原点的坐标系与相机坐标系之间的旋转矩阵，T可以看作为以打印喷头104为原点的坐标系与相机坐标系之间的平移向量。即，R可以图像采集设备310与打印喷头104之间的旋转矩阵(旋转量)，T可以为图像采集设备310与打印喷头104之间的平移向量(平移量)。
应理解，在本申请实施例中，图像采集设备310与打印喷头104之间的旋转量和平移量，是指图像采集设备310的相机与打印喷头104之间的旋转量和平移量。
通常旋转矩阵R相对较小，旋转矩阵R引入的偏移量远远小于平移向量T引入的偏移量。在此情况下，R可以忽略。即，R为3*3的单位矩阵，主对角线值为1，其他值为0。例如，结构安装的公差可以保证图像采集设备310与打印喷头104之间在世界坐标系各轴上的夹角小于5°，可以认为旋转矩阵R可以忽略。
在旋转矩阵R可以忽略的情况下，公式(1)可以简化为公式(2)。
(XW,YW,ZW)＝(XC,YC,ZC)+T+(P_XW,P_YW,P_ZW) 公式(2)
因此，在本申请实施例中，至少获取图像采集设备310与打印喷头104之间的平移向量T，以对图像采集设备310进行标定，便可以将图像采集设备310对应的相机坐标系下的点云转换至世界坐标系中，从而实现在图像采集设备310移动过程中采集的多帧点云的拼接。
图4为本申请实施例提供的图像采集装置的标定方法的流程示意图。图4的方法可以适用于图3所示的图像采集设备中。
410，获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系或三维点云对应的相机坐标系的第三坐标。其中，至少一个目标点为打印喷头打印的标定图形中的点。
在本申请的一些实施例中，在获取上述第一坐标、第二坐标和第三坐标之前，控制打印喷头按照预设的轨迹在热床上打印标定图形；以及控制图像采集设备采集包括至少一个目标点的图像。
在本申请的一些实施例中，由于图像采集设备的相机采集视角的限制，图像采集设备可能无法采集到清晰的二维图像/三维点云或者无法采集到包括目标点的二维图像/三维点云。因此，在控制图像采集设备采集包括目标点的二维图像或三维点云之前，可以移动打印喷头以带动图像采集设备移动，以使得图像采集设备能够清晰地采集到包括目标点的二维图像/三维点云。
应理解，在本申请实施例中，图像采集设备的相机可以清晰地采集包括目标点的二维图像时，可以认为图像采集设备能够采集清晰地采集包括目标点的三维点云。即，采集二维图像与采集三维点云时打印喷头在世界坐标系的坐标是一致的。
标定图形可以为多种样式，如图5所示，从俯视图的角度观察，标定图形可以包括单点图形、圆形、环形、方形、三角形等等。标定图形的样式设计主要考虑以下几个方面：便于快速打印，打印的精度高、便于提取目标点的坐标等等。其中，目标点可以是标定图形的几何中心，也可以是标定图形上表面的中心，或者也可以是三角形标定图形的角点等。
在本申请的一些实施例中，一个标定图形中可以包括一个目标点，或者也可以包括多个目标点。例如，上述三角形的标定图形，其上表面的三个角点位置可以分别作为三个目标点。
在本申请的一些实施例中，图像采集设备采集的一帧二维图像中可以包括一个目标点，或者也可以包括多个目标点。例如，以一个圆形标定图像的中心作为一个目标点，一帧二维图像中可以包括多个圆形标定图形的目标点。
在本申请实施例中，因需通过控制打印喷头在热床上进行打印，由此可以实时获取打印喷头在世界坐标系的坐标，从而便可以在图像采集设备采集二维图像或三维点云时获取打印喷头在世界坐标系的坐标。
由于打印喷头是按照预设的打印轨迹打印标定图形的，因此，可以根据实时获取到打印喷头在世界坐标系中的坐标及获取标定图形的目标点在世界坐标系的坐标。在一个实施例中，可以根据打印喷头打印标定图形时在世界坐标系中的运动轨迹，可以获取标定图形的边缘轮廓在世界坐标系中的位置，从而便可以基于该边缘轮廓计算出标定图形的几何中心在世界坐标系的坐标。在另一个实施例中，还可以根据打印喷头打印标定图形时在世界坐标系中的运动轨迹，获取标定图形的边缘轮廓在世界坐标系中的位置，从而便可以基于边缘轮廓计算出标定图形在世界坐标系X和Y轴构成的平面上的中心坐标。另外，打印喷头在打印标定图形时，打印喷头的底部与标定图形恰好贴合，因此，可以根据世界坐标系的Z轴上打印喷头的高度获取标定图形的高度。如此，便可以获取标定图形上表面的中心点在世界坐标系的坐标。
在本申请实施例中，可以在一个标定图形打印完成后，采集包括该标定图形目标点的图像，然后进行打印下一个标定图形的打印以及采集包括该下一个标定图形的目标点的图像，以此类推。或者，也可以在所有的标定图形均打印完成后，再采集包括这些标定图形的目标点的图像。其中，图像可以被测对象的二维图像，或者也可以是被测对象的三维点云。
图6所示为利用图像采集设备采集到的标定图形目标点的二维图像。在本申请的一些实施例中，该二维图像中包括完整的标定图形，可以通过图像识别算法可以识别该二维图像中的标定图形，并可以进一步计算出标定图形的目标点在图像坐标系中的位置。例如，可以通过边缘检测算法或深度学习算法识别二维图像中的标定图形，并进一步根据标定图形的轮廓计算出标定图形的中心坐标(Px，Py)。在本申请的另一些实施例中，上述采集的目标点的二维图像包括标定图形的某个局部的图像，可以通过识别二维图像中标定图形的局部特征，计算出目标点在图像坐标系中的坐标。
在本申请的一些实施例中，图像采集设备采集包括目标点的三维点云，从而获取目标点在三维点云对应的相机坐标系的坐标。示例性地，一方面图像采集设备采集的三维点云可以包括完整的标定图形的点云信息，根据获取的标定图形的三维点云，计算标定图形的几何中心的位置，从而确定该几何中心在相机坐标系中的坐标；另一方面，图像采集设备采集的三维点云包括标定图像的某个局部的点云，以通过局部点云计算出图形的几何中心的位置。
420，根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，以对图像采集设备进行标定；其中，图像采集设备的外参包括图像采集设备与打印喷头之间的平移向量。
在本申请的一些实施例中，可以根据第一坐标和采集三维点云时的第二坐标，确定至少一个目标点在以打印喷头为原点的坐标系的第四坐标；根据第四坐标和至少一个目标点在相机坐标系的第三坐标，确定图像采集设备的外参。
例如，通过目标点在世界坐标系的坐标与打印喷头在世界坐标系的坐标之间的差值，可以得到目标点在以打印喷头为原点的坐标系的坐标。其中，以打印喷头为原点的坐标系与世界坐标系的各坐标轴的方向是一致的。然后根据目标点在以打印喷头原点的坐标系(可以看作可移动的世界坐标系)的坐标以及目标点在相机坐标系中的坐标，确定图像采集设备的外参。
在本申请的一些实施例中，可以根据公式(3)确定图像采集设备的外参。
T＝(XW,YW,ZW)-(XC,YC,ZC)-(P_XW,P_YW,P_ZW) 公式(3)
其中，T为平移向量，(XW,YW,ZW)为第一坐标，(XC,YC,ZC)为至少一个目标点在相机坐标系的第三坐标，(P_XW,P_YW,P_ZW)为采集三维点云时打印喷头的第二坐标，至少一个目标点包括一个目标点。
也就是说，可以通过一个目标点在世界坐标系的坐标、采集包括该目标点的三维点云时打印喷头在世界坐标系的坐标、以及目标点在该三维点云对应的相机坐标系的坐标，确定图像采集设备与打印喷头之间的平移向量T。
可选地，利用上述公式(3)，根据多个目标点中每一个目标点在世界坐标系中的坐标、采集每一个目标点的三维点云时打印喷头在世界坐标系的坐标以及每个目标点在其三维点云对应的相机坐标系的坐标，可以计算得到多个平移向量。然后根据该多个平移向量确定图像采集设备与打印喷头之间的平移向量T，例如将该多个平移向量的平均值作为图像采集设备与打印喷头之间的平移向量T。
在本申请的一些实施例中，图像采集设备的外参还可以包括相机坐标系与世界坐标系之间的旋转矩阵R。
可以利用公式(4)，首先确定旋转矩阵的初值以及所平移向量的初值。
(XWi,YWi,ZWi)＝Rc(XCi,YCi,ZCi)+Tc+(P_XWi,P_YWi,P_ZWi) 公式(4)
其中，(XWi,YWi,ZWi)为第i个目标点的第一坐标，(XCi,YCi,ZCi)为第i个目标点在相机坐标系的第三坐标，(P_XWi,P_YWi,P_ZWi)为采集包括第i个目标点的三维点云时打印喷头的第二坐标，Rc为旋转矩阵，Tc为平移向量。由于旋转矩阵和平移向量为六自由度的参数，因此，通过六个目标点对应的第一坐标、第二坐标和第四坐标，可以得到旋转矩阵和平移向量。
进一步地，将基于六个目标点得到的旋转矩阵和平移向量视为初值，利用一个或多个目标点的第一坐标、采集一个或多个目标点的三维点云时打印喷头的第二坐标和一个或多个目标点在相机坐标系的第三坐标及损失函数，对平移向量的初值和旋转矩阵的初值进行更新，以获得最优的平移向量和旋转矩阵。需要说明的是，在得到平移向量和旋转矩阵的初值过程中使用的目标点与对平移矩阵和旋转矩阵的初值更新过程中使用的目标点可以是同一组目标点，也可以是不同组目标点，本申请对此不作限制。
示例性地，根据采集包括一个或多个目标点的三维点云时打印喷头的第二坐标、一个或多个目标点在其三维点云对应的相机坐标系中的第三坐标、平移向量的初值和旋转矩阵的初值，计算预测的一个或多个目标点在世界坐标系中的坐标；然后根据实测的一个或多个目标点在世界坐标系的坐标(即第一坐标)和上述预测的坐标，利用损失函数例如最小二乘法，更新平移向量的初值和旋转矩阵的初值。
例如，可以利用公式(5)对平移向量的初值和旋转矩阵的初值进行更新，以获得平移向量T和旋转矩阵R。
其中，为损失函数，表示在*的范数的平方(损失值)的最小时函数中的变量组合，(XCj,YCj,ZCj)为第j个目标点在相机坐标系的坐标，(P_Xwj,P_YWj,P_ZWj)为采集包括第j个目标点的三维点云时打印喷头在世界坐标系中的坐标，(XWj,Ywj,ZWj)为第j个目标点在世界坐标系的坐标，n为所使用的目标点数量。
通过上述公式(5)，对旋转矩阵的初值和平移向量的初值进行迭代更新，直至损失函数的损失值最小。然后将损失函数的损失值最小时的Tc和Rc作为图像采集设备的外参，即平移向量T和旋转矩阵R。
在本申请实施例中，还可以根据目标点在世界坐标系的第一坐标、采集目标点的二维图像时打印喷头在世界坐标系的第二坐标和目标点在二维图像对应的图像坐标系的第三坐标确定图像采集设备的外参，如下结合图7对该确定图像采集设备的外参的方式进行详细介绍。
图7是本申请实施例提供的确定图像采集装置的外参的方法流程示意图，其应用于3D打印机中，该设备包括热床、打印喷头及图像采集设备，图像采集设备安装于打印喷头上，可随打印喷头同步移动，该方法具体为：
710，控制打印喷头将标定图形打印在热床上。
720，控制打印喷头移动，以带动图像采集设备移动。
由于图像采集设备的相机采集视角的限制，图像采集设备可能无法清晰地采集到包括目标点的二维图像。因此，在控制图像采集设备采集包括目标点的二维图像之前，可以控制打印喷头移动以带动图像采集设备移动，直至图像采集设备能够采集到包括目标点的清晰图像。需要说明的是，若图像采集设备可以清晰地采集到包括目标点的二维图像，可以不用控制打印喷头移动。
730，控制图像采集设备采集包括至少一个目标点的二维图像。
740，获取采集二维图像时至少一个目标点与图像采集设备的相机光心在世界坐标系Z轴的第一偏移量ΔZ；至少一个目标点位于标定图形在图像采集设备一侧的表面。
具体地，图像采集设备可以测量图像采集设备的相机光心与标定图形的上表面在世界坐标系Z轴的偏移量ΔZ。例如，可以通过激光轮廓仪的线激光器和相机对热床上的标定图形扫描，得到标定图形在相机坐标系下的点云，进而根据相机坐标系下点云的坐标获得第一偏移量ΔZ。
750，获取采集二维图像时图像采集设备对应的焦距。
760，获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系的第三坐标；其中，至少一个目标点为打印喷头打印的标定图形中的点。
需要说明的是，步骤760的描述可以参考步骤410中的相关内容，本申请在此不进行赘述。
770，根据第三坐标、第一偏移量和焦距，确定在采集二维图像时至少一个目标点与相机光心在世界坐标系X轴和Y轴的第二偏移量(ΔX,ΔY)。
在本申请的一些实施例中，可以根据第三坐标，确定至少一个目标点与二维图像的像主点在图像坐标系各坐标轴的第三偏移量(Δx,Δy)；根据第三偏移量、至第一偏移量以及图像采集设备的焦距，确定第二偏移量(ΔX,ΔY)。
如图6所示，可以根据标定图形的轮廓的位置，计算在二维图像的图像坐标系中该标定图形的目标点的坐标(Px，Py)，并进一步计算该目标点的坐标(Px，Py)与二维图像的像主点(Cx，Cy)在图像坐标系中各坐标轴上的偏移量(Δx,Δy)。
上述偏移量(Δx,Δy)映射到热床平面则表示标定图形的目标点与相机光心在世界坐标系的X轴和Y轴的偏移量(ΔX,ΔY)。如图8所示，根据相似三角形可以得到f为采集包括目标点的二维图像时图像采集设备对应的焦距。其中，ΔZ、f、(Δx,Δy)已知，便可以得到根据ΔZ、f、(Δx,Δy)确定(ΔX,ΔY)。
即，可以利用公式(6)和公式(7)确定至少一个目标点与光心在世界坐标系的X轴及Y轴上的偏移量(ΔX,ΔY)。
其中，ΔXm、ΔYm、ΔZm分别为采集包括第m个目标点的二维图像时相机光心与第m个目标点在世界坐标系的X轴、Y轴和Z轴的偏移量、fm为采集包括第m个目标点的二维图像时图像采集设备对应的焦距，Δxm、Δym分别为包括第m个目标点的二维图像的像主点与第m个目标点在图像坐标系x轴、y轴的偏移量，第m个目标点为至少一个目标点中的一个。
780，根据第一偏移量、第二偏移量与第一坐标，确定在采集二维图像时相机光心在世界坐标系中的第四坐标。即，可以根据目标点在世界坐标系的坐标，以及目标点与相机光心在世界坐标系各坐标轴上的偏移量，确定相机光心在世界坐标系中的坐标。
790，根据第二坐标和第四坐标，确定图像采集设备与打印喷头之间的平移向量。
根据在采集包括目标点的二维图像时打印喷头在世界坐标系中的坐标以及图像采集设备在世界坐标系中的坐标，确定图像采集设备与打印喷头之间的平移向量。
在本申请的一些实施例中，上述至少一个目标点可以为一个目标点。即，可以根据一个目标点对应的各个坐标以及其他参数，确定一个平移向量并将其作为图像采集设备与打印喷头之间的平移向量。
在本申请的一些实施例中，上述至少一个目标点可以为多个目标点。即，可以根据多个目标点对应的各个坐标以及其他参数，确定多个平移向量，然后根据该多个平移向量确定图像采集设备与打印喷头之间的平移向量T例如，将该多个平移向量的平均值作为图像采集设备与打印喷头之间的平移向量T。
在本申请实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，以及上述各过程也并非必须都要执行，各过程的执行顺序以及执行与否应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上文结合图4至图7的描述了本申请实施例提供的图像采集装置的标定方法，下面结合图9至图10，描述本申请实施例的装置实施例。
图9示出了本申请实施例提供的图像采集设备的标定装置2000的示意性框图。其中，图像采集设备固定于3D打印机的打印喷头上。该标定装置2000包括获取单元2010、处理单元2020，其中，获取单元2010，用于获取至少一个目标点在世界坐标系中的第一坐标、图像采集设备采集包括至少一个目标点的二维图像或三维点云时打印喷头在世界坐标系的第二坐标、以及至少一个目标点在二维图像对应的图像坐标系或三维点云对应的相机坐标系的第三坐标，至少一个目标点为打印喷头打印的标定图形中的点；处理单元2020，用于根据第一坐标、第二坐标和第三坐标，确定图像采集设备的外参，以对图像采集设备进行标定，其中，外参包括图像采集设备与打印喷头之间的平移向量。
在本申请的一些实施例中，处理单元2020用于：根据第一坐标和采集三维点云时的第二坐标，确定至少一个目标点在以打印喷头为原点的坐标系的第四坐标；根据第四坐标和至少一个目标点在相机坐标系的第三坐标，确定外参。
在本申请的一些实施例中，处理单元2020用于根据以下公式计算平移向量，T＝(XW,YW,ZW)-(XC,YC,ZC)-(P_XW,P_YW,P_ZW)，其中，T为平移向量，(XW,YW,ZW)为第一坐标，(XC,YC,ZC)为至少一个目标点在相机坐标系的第三坐标，(P_XW,P_YW,P_ZW)为采集三维点云时打印喷头的第二坐标。
在本申请的一些实施例中，所述外参还包括相机坐标系与世界坐标系之间的旋转矩阵。
在本申请的一些实施例中，处理单元2020用于：利用以下公式，确定旋转矩阵的初值以及所述平移向量的初值，(XWi,YWi,ZWi)＝Rc(XCi,YCi,ZCi)+Tc+(P_XWi,P_YWi,P_ZWi)，其中，(XWi,YWi,ZWi)为目标点中第i个目标点的第一坐标，(XCi,YCi,ZCi)为第i个目标点在相机坐标系的第三坐标，(P_XWi,P_YWi,P_ZWi)为采集包括第i个目标点的三维点云时打印喷头的第二坐标，Rc为旋转矩阵的初值，Tc为平移向量的初值；利用目标点的第一坐标、采集包括目标点的三维点云时打印喷头的第二坐标、目标点在相机坐标系的第三坐标及损失函数，对平移向量的初值和旋转矩阵的初值进行更新，以获得平移向量和旋转矩阵。
在本申请的一些实施例中，获取单元2010，用于获取采集二维图像时至少一个目标点与相机光心在世界坐标系Z轴的第一偏移量ΔZ，相机光心为图像采集设备对应的相机光心，至少一个目标点位于标定图形在图像采集设备一侧的表面；获取采集二维图像时图像采集设备的焦距；处理单元2020用于：根据至少一个目标点在图像坐标系的第三坐标、第一偏移量和焦距，确定在采集二维图像时至少一个目标点与相机光心在世界坐标系X轴和Y轴的第二偏移量(ΔX,ΔY)；根据第一偏移量、第二偏移量与第一坐标，确定在采集二维图像时相机光心在世界坐标系中的第四坐标；根据第二坐标和第四坐标，确定平移向量。
在本申请的一些实施例中，处理单元2020用于：根据第三坐标，确定至少一个目标点与二维图像的像主点在图像坐标系各坐标轴的第三偏移量(Δx,Δy)；根据第一偏移量、第三偏移量以及焦距，确定第二偏移量。
在本申请的一些实施例中，处理单元2020用于：根据以下公式计算第二偏移量，其中，ΔXm、ΔYm、ΔZm分别为采集包括第m个目标点的二维图像时相机光心与第m个目标点在世界坐标系的X轴、Y轴和Z轴的偏移量、fm为采集包括第m个目标点的二维图像时图像采集设备对应的焦距，Δxm、Δym分别为包括第m个目标点的二维图像的像主点与第m个目标点在图像坐标系x轴、y轴的偏移量，第m个目标点为至少一个目标点中的一个。
在本申请的一些实施例中，处理单元2020还用于：控制打印喷头将标定图形打印在热床上；控制图像采集设备采集二维图像或三维点云。
在本申请的一些实施例中，所述处理单元2020还用于：控制所述打印喷头移动，以带动所述图像采集设备移动，从而采集二维图像或三维点云。
图10示出了本申请实施例提供的3D打印机5000的示意性框图。该3D打印机5000包括热床5100、打印喷头5200、图像采集设备5300及主控芯片5400，其中：打印喷头5200，用于在热床5100上打印标定图形；图像采集设备5300，用于采集包括标定图形的目标点的二维图像或三维点云，图像采集5300设备安装于所述打印喷头上；主控芯片5400用于控制打印喷头和图像采集设备，还用于获取图像采集设备采集的二维图像或三维点云并根据本申请一个或多个实施例提供的标定方法对二维图像或三维点云进行处理以获取图像采集设备5300与打印喷头5200的外参。
在一个实施例中，主控芯片5400包括存储器及处理器，其中，存储器用于存储计算机程序；处理器用于调用并运行存储器中存储的计算机程序以执行本申请实施例的标定方法的各个步骤。
本申请实施例还提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行本申请实施例中的图像采集设备标定方法。
本申请实施例还提供一种芯片，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，执行本申请实施例中的图像采集设备标定方法。
可选地，作为一种实现方式，该芯片还可以包括存储器，该存储器中存储有指令，该处理器用于执行该存储器上存储的指令，当该指令被执行时，该处理器用于执行本申请实施例中的图像采集设备标定方法。
应注意，尽管上述装置或系统仅仅示出了部分部件例如处理器、存储器，但是在具体实现过程中，本领域的技术人员应当理解，上述装置或系统还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，上述装置或系统还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，上述装置或系统也可仅仅包括实现本申请实施例所必须的器件，而不必包括图9至图10中所示的全部器件。
应理解，本申请上述任一实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
另外，本申请上述任一实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)或动态随机存取存储器(dynamic RAM，DRAM)等等。
应理解，本申请实施例中的公式只是一种示例，而非限制本申请实施例的范围，各公式可以进行变形，这些变形也应属于本申请保护的范围。
还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种应用于3D打印机的图像采集设备标定方法，其特征在于，所述图像采集设备固定于3D打印机的打印喷头上，所述方法包括：
获取至少一个目标点在世界坐标系中的第一坐标、所述图像采集设备采集包括所述至少一个目标点的二维图像或三维点云时所述打印喷头在所述世界坐标系的第二坐标、以及所述至少一个目标点在所述二维图像对应的图像坐标系或所述三维点云对应的相机坐标系的第三坐标，所述至少一个目标点为所述打印喷头打印的标定图形中的点；
根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参，以对所述图像采集设备进行标定，其中，所述外参包括所述图像采集设备与所述打印喷头之间的平移向量。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参，包括：
根据所述第一坐标和采集所述三维点云时的所述第二坐标，确定所述至少一个目标点在以所述打印喷头为原点的坐标系的第四坐标；
根据所述第四坐标和所述至少一个目标点在所述相机坐标系的所述第三坐标，确定所述外参。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参，包括：
T＝(XW,YW,ZW)-(XC,YC,ZC)-(P-XW,P-YW,P-ZW)，
其中，T为所述平移向量，(XW,YW,ZW)为所述第一坐标，(XC,YC,ZC)为所述至少一个目标点在所述相机坐标系的所述第三坐标，(P_XW,P_YW,P_ZW)为采集所述三维点云时所述打印喷头的所述第二坐标，所述至少一个目标点包括一个目标点。
4.根据权利要求1或2所述的方法，其特征在于，所述外参还包括所述相机坐标系与所述世界坐标系之间的旋转矩阵。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参，包括利用以下公式，确定所述旋转矩阵以及所述平移向量，
(XWi,YWi,ZWi)＝Rc(XCi,YCi,ZCi)+Tc+(P_XWi,P_YWi,P_ZWi)，
其中，(XWi,YWi,ZWi)为第i个目标点的第一坐标，(XCi,YCi,ZCi)为所述第i个目标点在所述相机坐标系的所述第三坐标，(P_XWi,P_YWi,P_ZWi)为采集包括所述第i个目标点的三维点云时所述打印喷头的所述第二坐标，Rc为所述旋转矩阵，Tc为所述平移向量。
6.根据权利要求1所述的方法，其特征在于，在根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参之前，所述方法还包括：
获取采集所述二维图像时所述至少一个目标点与相机光心在所述世界坐标系Z轴的第一偏移量ΔZ，所述相机光心为所述图像采集设备对应的相机光心，所述至少一个目标点位于所述标定图形在所述图像采集设备一侧的表面；
获取采集所述二维图像时所述图像采集设备的焦距；
所述根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参，包括：
根据所述至少一个目标点在所述图像坐标系的所述第三坐标、所述第一偏移量和所述焦距，确定在采集所述二维图像时所述至少一个目标点与所述相机光心在世界坐标系X轴和Y轴的第二偏移量(ΔX,ΔY)；
根据所述第一偏移量、所述第二偏移量与所述第一坐标，确定在采集所述二维图像时所述相机光心在所述世界坐标系中的第四坐标；
根据所述第二坐标和所述第四坐标，确定所述平移向量。
7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一个目标点在所述图像坐标系的所述第三坐标、所述第一偏移量和所述焦距，确定在采集所述二维图像时所述至少一个目标点与所述相机光心在世界坐标系X轴和Y轴的第二偏移量，包括：
根据所述第三坐标，确定所述至少一个目标点与所述二维图像的像主点在所述图像坐标系各坐标轴的第三偏移量(Δx,Δy)；
根据所述第一偏移量、所述第三偏移量以及所述焦距，确定所述第二偏移量。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一偏移量、所述第三偏移量以及所述焦距，确定所述第二偏移量，包括：
其中，ΔXm、ΔYm、ΔZm分别为采集包括第m个目标点的二维图像时所述相机光心与所述第m个目标点在所述世界坐标系的X轴、Y轴和Z轴的偏移量、fm为采集包括第m个目标点的二维图像时所述图像采集设备对应的焦距，Δxm、Δym分别为包括所述第m个目标点的二维图像的像主点与所述第m个目标点在所述图像坐标系x轴、y轴的偏移量，所述第m个目标点为所述至少一个目标点中的一个。
9.根据权利要求1至8任一项所述的方法，其特征在于，在获取至少一个目标点在世界坐标系中的第一坐标、所述图像采集设备采集包括所述至少一个目标点的二维图像或三维点云时所述打印喷头在所述世界坐标系的第二坐标、以及所述至少一个目标点在所述二维图像对应的图像坐标系或所述三维点云对应的相机坐标系的第三坐标之前，所述方法还包括：
控制所述打印喷头将所述标定图形打印在所述3D打印机的热床上；
控制所述图像采集设备采集所述二维图像或所述三维点云。
10.一种应用于3D打印机的图像采集设备标定装置，其特征在于，所述图像采集设备固定于3D打印机的打印喷头上，所述装置包括：
获取单元，用于获取至少一个目标点在世界坐标系中的第一坐标、所述图像采集设备采集包括所述至少一个目标点的二维图像或三维点云时所述打印喷头在所述世界坐标系的第二坐标、以及所述至少一个目标点在所述二维图像对应的图像坐标系或所述三维点云对应的相机坐标系的第三坐标，所述至少一个目标点为所述打印喷头打印的标定图形中的点；
处理单元，用于根据所述第一坐标、所述第二坐标和所述第三坐标，确定所述图像采集设备的外参，以对所述图像采集设备进行标定，其中，所述外参包括所述图像采集设备与所述打印喷头之间的平移向量。
11.一种3D打印机，其特征在于，包括：
热床；
打印喷头，用于在所述热床上打印标定图形；
图像采集设备，用于采集包括所述标定图形的目标点的二维图像或三维点云，所述图像采集设备安装于所述打印喷头上；以及，
主控芯片，用于控制所述打印喷头和所述图像采集设备，还用于获取所述图像采集设备采集的图像并根据如权利要求1至9中任一项所述的方法对所述二维图像或三维点云进行处理以获取所述图像采集设备与所述打印喷头之间的外参。
12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至9中任一项所述的方法。
CN202310688341.1A 2023-06-09 2023-06-09 一种应用于3d打印机的图像采集设备标定方法和装置 Pending CN116728784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310688341.1A CN116728784A (zh) 2023-06-09 2023-06-09 一种应用于3d打印机的图像采集设备标定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310688341.1A CN116728784A (zh) 2023-06-09 2023-06-09 一种应用于3d打印机的图像采集设备标定方法和装置

Publications (1)

Publication Number Publication Date
CN116728784A true CN116728784A (zh) 2023-09-12

Family

ID=87914475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310688341.1A Pending CN116728784A (zh) 2023-06-09 2023-06-09 一种应用于3d打印机的图像采集设备标定方法和装置

Country Status (1)

Country Link
CN (1) CN116728784A (zh)

Similar Documents

Publication Publication Date Title
US10647001B2 (en) Calibration device, calibration method, and computer readable medium for visual sensor
US20210063144A1 (en) Method for the three dimensional measurement of moving objects during a known movement
US11577465B2 (en) Additive manufacturing having optical process monitoring
CN106181075B (zh) 激光加工机、激光加工机的工件歪斜校正方法
TWI415703B (zh) 雷射加工裝置及基板位置檢測方法
CA2556042C (en) Method for locating defective points and marking system
US11544860B2 (en) Combined point cloud generation using a stationary laser scanner and a mobile scanner
CN107560549B (zh) 一种激光视觉二维位移测量系统标定方法
US10896521B2 (en) Coordinate calibration between two dimensional coordinate system and three dimensional coordinate system
JP2010537181A (ja) 非接触測定を行う装置および方法
JP2015203652A (ja) 情報処理装置および情報処理方法
JP2007256091A (ja) レンジファインダ校正方法及び装置
CN113496523A (zh) 三维标定视觉系统的系统及方法
JP2019063954A (ja) ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム
JP7353757B2 (ja) アーチファクトを測定するための方法
JP6199000B2 (ja) 情報処理装置
CN116728784A (zh) 一种应用于3d打印机的图像采集设备标定方法和装置
JP5136108B2 (ja) 三次元形状計測方法および三次元形状計測装置
CN112805607A (zh) 计测装置、计测方法和显微镜系统
CA3043767A1 (en) A bundle adjustment system
JP2022152480A (ja) ３次元計測装置、３次元計測方法、プログラム、システム、及び物品の製造方法
US11371828B2 (en) Coordinate measuring machine and method for measuring coordinates of a workpiece
JP6006133B2 (ja) 基板製造装置の調整方法、基板製造方法、及び基板製造装置
US20190113336A1 (en) Multi-Directional Triangulation Measuring System with Method
KR101071861B1 (ko) 타이어의 3차원 측정장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination