CN114792344A - 多相机位置标定方法、装置、系统及存储介质 - Google Patents

多相机位置标定方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN114792344A
CN114792344A CN202210723777.5A CN202210723777A CN114792344A CN 114792344 A CN114792344 A CN 114792344A CN 202210723777 A CN202210723777 A CN 202210723777A CN 114792344 A CN114792344 A CN 114792344A
Authority
CN
China
Prior art keywords
coordinate system
image
world coordinate
cameras
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210723777.5A
Other languages
English (en)
Other versions
CN114792344B (zh
Inventor
安宁
李义
徐成
陈培培
秦燕亮
梁振廷
田德天
王玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202210723777.5A priority Critical patent/CN114792344B/zh
Publication of CN114792344A publication Critical patent/CN114792344A/zh
Application granted granted Critical
Publication of CN114792344B publication Critical patent/CN114792344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请属于标定领域，提供一种多相机位置标定方法、装置、系统及存储介质。包括以下步骤：移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域；采集多个相机对应视野范围内的图像；获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系；以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系；根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系。本申请多相机位置标定方法、装置、系统及存储介质能够在多相机无共同视野的情况下进行标定，标定过程简单，计算容易。

Description

多相机位置标定方法、装置、系统及存储介质
技术领域
本申请涉及标定技术领域，具体而言，涉及一种多相机位置标定方法、装置、系统及存储介质。
背景技术
工业自动化领域中，一般通过机器视觉替代人工进行检测与定位，以实现高质量高效率地自动检测和识别定位。在对准标记尺寸较小，需要对位的基板尺寸较大的情况下，一般采用多台CCD相机配合远心显微镜头完成视觉对准，但是，由于单台CCD相机的视野范围较小，而需要对准的基板尺寸过大，使得多台CCD相机没有共同的视野，因此，不能采用传统的相机标定方法进行标定。
现有对多相机无共同视野进行标定的方法中有，1、在多台相机之间设置过渡相机进行标定，但是，由于安装空间的限制，增加过渡相机仍然无法保证处于共同视野中；2、采用双经纬仪三坐标测量系统或云台相机进行标定，但是，成本较高，标定过程复杂，计算繁琐。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种多相机位置标定方法、装置、系统及存储介质，能够在多相机无共同视野的情况下进行标定，标定过程简单，计算容易。
第一方面，本申请提供了一种多相机位置标定方法，用于对远心显微装置中多个无共同视野的相机进行标定，所述方法包括以下步骤：
移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域；
采集所述多个相机对应视野范围内的图像；
获取多个所述图像，得到每个所述图像中的特征点的像素坐标，建立多个图像坐标系；
以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系；
根据世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系。
本申请提供的多相机位置标定方法解决了大尺寸、小视野情况下多相机无重叠视野的标定问题，标定过程简单，计算容易，方便在不同需求下对多相机进行标定。
可选地，在本申请所述的多相机位置标定方法中，所述移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域还包括以下步骤：
移动具有多个特征点区域的标定板至每个所述相机的视野范围内的所述特征点区域占所述相机视野范围的四分之一至二分之一。
本申请通过将相机视野范围内的特征点区域设置为占整个相机视野的四分之一至二分之一，更好地保证特征点区域在相机视野范围内。
可选地，在本申请所述的多相机位置标定方法中，所述采集所述多个相机对应视野范围内的图像包括以下步骤：
多次移动所述标定板，改变所述特征点区域在对应的所述相机的视野范围内的位置；
采集每次所述标定板移动后对应所述相机视野范围内的图像。
本申请通过多次移动所述标定板，使得采集的图像能够覆盖整个相机的视野范围，从而优化标定结果。
可选地，在本申请所述的多相机位置标定方法中，所述移动所述标定板的次数为10-15次。
可选地，在本申请所述的多相机位置标定方法中，所述以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系包括以下步骤：
根据采集的多个所述图像计算得到所述多个相机的相机参数；
根据所述多个相机的相机参数计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系;或者，
根据所述多个图像坐标系与所述世界坐标系对应特征点的关系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系。
可选地，在本申请所述的多相机位置标定方法中，所述根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系之后还包括以下步骤：
根据所述多个图像坐标系与所述世界坐标系的关系以及所述多相机之间的位姿关系，计算得到最优位姿参数。
可选地，在本申请所述的多相机位置标定方法中，所述计算得到最优位姿参数通过以下公式一或公式二计算：
公式一：
Figure 144964DEST_PATH_IMAGE001
公式一中，
Figure 928112DEST_PATH_IMAGE003
表示所述图像中第
Figure 359093DEST_PATH_IMAGE005
行第
Figure 190783DEST_PATH_IMAGE007
列的特征点的实际世界坐标，
Figure 787724DEST_PATH_IMAGE009
表示根据所述相机参数和所述图像中第
Figure 741774DEST_PATH_IMAGE005
行第
Figure 660051DEST_PATH_IMAGE007
列的特征点的图像坐标计算得出的所述图像中第
Figure 29853DEST_PATH_IMAGE005
行第
Figure 513924DEST_PATH_IMAGE007
列的特征点在理论世界坐标系下的坐标；
Figure 343602DEST_PATH_IMAGE011
、
Figure 483596DEST_PATH_IMAGE013
表示相机外参，
Figure 188247DEST_PATH_IMAGE015
表示相机的焦距，
Figure 730087DEST_PATH_IMAGE017
表示所述特征点在图像坐标系下的主点坐标，
Figure 229201DEST_PATH_IMAGE019
、
Figure 590912DEST_PATH_IMAGE021
分别表示CCD相机上水平和垂直方向的像素尺寸，
Figure 833675DEST_PATH_IMAGE023
、
Figure 100002_DEST_PATH_IMAGE025
分别表示所述图像中特征点的总行数和总列数；
公式二：
Figure 100002_DEST_PATH_IMAGE027
公式二中，
Figure 100002_DEST_PATH_IMAGE029
为所述图像中第
Figure 118769DEST_PATH_IMAGE005
行第
Figure 523206DEST_PATH_IMAGE007
列的特征点在图像坐标系中的像素坐标，
Figure 100002_DEST_PATH_IMAGE031
为所述图像中第
Figure 168951DEST_PATH_IMAGE005
行第
Figure 949825DEST_PATH_IMAGE007
列的特征点在世界坐标系中的坐标，
Figure 100002_DEST_PATH_IMAGE033
为转换矩阵，
Figure 498880DEST_PATH_IMAGE023
、
Figure 136535DEST_PATH_IMAGE025
分别表示所述图像中特征点的总行数和总列数。
第二方面，本申请还提供了一种多相机位置标定装置，用于对远心显微装置中多个无共同视野的相机进行标定，所述装置包括：
执行模块，用于移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域；
采集模块，用于采集所述多个相机对应视野范围内的图像；
获取模块，用于获取多个所述图像，得到每个所述图像中特征点的像素坐标，建立多个图像坐标系；
第一计算模块，用于以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系；
第二计算模块，用于根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系。
本申请提供的多相机位置标定装置解决了大尺寸、小视野情况下多相机无重叠视野的标定问题，标定过程简单，计算容易，方便在不同需求下对多相机进行标定。
第三方面，本申请提供多相机位置标定系统，包括控制单元、多轴位移台、标定板及远心显微装置；所述远心显微装置包括多个远心显微机构；所述控制单元与所述多轴位移台及所述远心显微装置连接；所述标定板设置在所述多轴位移台上；
所述多轴位移台用于移动具有多个特征点区域的所述标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域；
所述多个远心显微机构用于分别采集所述多个相机对应视野范围内的图像，并将多个所述图像发送给所述控制单元；
所述控制单元用于控制所述多轴位移台和所述远心显微装置工作；获取多个所述图像，得到每个所述图像中特征点的像素坐标，建立多个图像坐标系；以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系；根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系。
第四方面，本申请提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供的多相机位置标定方法、装置、系统及存储介质，通过移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域；采集多个相机对应视野范围内的图像；获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系；以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系；根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系；从而实现对远心显微装置中多个无共同视野的相机进行标定，标定过程简单，计算容易。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的多相机位置标定方法的一种流程图。
图2为本申请实施例提供的标定板的一种结构示意图。
图3为本申请实施例提供的一种特征点区域的样式图。
图4为本申请实施例提供的另一种特征点区域的样式图。
图5为本申请实施例提供的多相机位置标定装置的一种结构示意图。
图6为本申请实施例提供的多相机位置标定系统的结构示意图。
标号说明：
302、标定板；3021、第一量程；3022、第二量程；201、执行模块；202、采集模块；203、获取模块；204、第一计算模块；205、第二计算模块；301、多轴位移台；401、安装平台；403、固定架；405、远心显微机构。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在面板显示领域，尤其是一些高精度设备，如喷墨打印机、曝光机、微米发光二极管巨量转移设备等，在工作流程中需要完成基板的精确对位，其要求的对位精度往往是微米级甚至是亚微米级，而对准标记尺寸较小，需要对位的基板尺寸较大，因此，一般会选择多台CCD相机配合远心显微镜头完成视觉对准，但是，由于单台相机视野范围较小，需要对位的基板尺寸过大，使得多台相机没有重合的视野，传统相机标定方法不再适用，基于此，本申请提供一种多相机位置标定方法、装置、系统及存储介质。
请参照图1，图1是本申请一些实施例中的多相机位置标定方法的一种流程图。该多相机位置标定方法用于对远心显微装置中多个无共同视野的相机进行标定，方法包括以下步骤：
S101、移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域。
S102、采集多个相机对应视野范围内的图像。
S103、获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系。
S104、以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系。
S105、根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系。
其中，在步骤S101中，移动具有多个特征点区域的标定板可以手动进行移动，为了保证移动精度，可以采用多轴位移台对标定板进行移动，多轴位移台能够带动标定板沿X轴、Y轴、Z轴方向进行平移以及以Z轴为旋转轴进行旋转，多轴位移台带动标定板移动的距离可以通过光栅尺或者激光干涉仪记录。某些实施方式中，每个相机的视野范围内的特征点区域占相机视野范围的四分之一至二分之一，具体可以是三分之一，以更好地保证特征点区域在相机视野范围内，避免标定板移动很小的距离会在镜头产生较大偏差的情况发生。
具体地，在一些实施例中，如图2所示，标定板302上的多个特征点区域之间的距离分别设为第一量程3021和第二量程3022，第一量程3021大于第二量程3022，第一量程3021是指两个黑色正方形之间的距离，第二量程3022是指两个白色正方形之间的距离。需要说明的是，黑色正方形和白色正方形均为特征点区域，此处只是为了便于说明，并不是限定特征点区域为黑色正方形或白色正方形。具体应用中，第一量程3021和第二量程3022的大小可以根据实际需求进行适应性设置，以适应多相机安装的不同距离。比如，第一量程3021为50mm，第二量程3022为5mm。
具体地，在一些实施例中，本申请提供了两种特征点区域的样式。如图3及图4所示，一种是将特征点区域设计为黑白棋盘形状，另一种是将特征点区域设计为实心圆点阵列形状，两种样式中的多个特征点区域均呈“一”字型排列，以便于安装调试。需要说明的是，特征点区域的样式也可以设计为其他，上述仅为本申请中的两种实施方式，不应以此为限。
具体地，在一些实施例中，步骤S102包括以下子步骤：S1021、多次移动标定板，改变特征点区域在对应的相机的视野范围内的位置；S1022、采集每次标定板移动后对应相机视野范围内的图像。
其中，在步骤S1021中，多次移动标定板，使得采集的图像能够覆盖整个相机的视野范围，从而优化标定结果。具体地，移动标定板的次数为10-15次。
其中，在步骤S103中，图像坐标系是建立在像平面的，也就是CCD或CMOS传感器的表面，以像素单元为单位，根据经验以及OpenCV图像处理库的规定，设定图像坐标系的X方向为图像的列向量，图像坐标系的Y方向为图像的行向量。
其中，在步骤S104中，根据图像坐标与世界坐标的对应关系及相机安装位置关系，指定世界坐标系的X方向为沿标定板长边方向，世界坐标系的Y方向为沿标定板短边方向。
具体地，在一些实施例中，步骤S104包括以下子步骤：S1041、根据采集的多个图像计算得到多个相机的相机参数；S1042、根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系；或者，S1041’：根据多个图像坐标系与世界坐标系对应特征点的关系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系。
其中，在步骤S1041中，相机参数包括相机的内参、外参及畸变参数。相机的内参包括CCD上相邻两个像元的水平距离、CCD上相邻两个像元的垂直距离、图像中主点的列坐标、图像中主点的行坐标以及镜头的焦距。镜头的畸变参数包括径向畸变参数和切向畸变参数。相机参数可以采用张正友标定方法或Halcon标定方法计算得到。
其中，在步骤S1042中，根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系通过以下公式计算：
Figure DEST_PATH_IMAGE035
式中，
Figure DEST_PATH_IMAGE037
为比例因子，根据显微镜头的工作距离确定；
Figure DEST_PATH_IMAGE039
为特征点在图像坐标系中的坐标，
Figure DEST_PATH_IMAGE041
为特征点在世界坐标系中的坐标，
Figure DEST_PATH_IMAGE043
为内参矩阵，
Figure DEST_PATH_IMAGE045
为外参矩阵。
其中，在步骤S1041’中，根据多个图像坐标系与世界坐标系对应特征点的关系，计算多个图像坐标系与世界坐标系的关系通过以下公式计算：
Figure DEST_PATH_IMAGE046
式中，
Figure DEST_PATH_IMAGE048
为特征点在图像坐标系中的坐标，
Figure DEST_PATH_IMAGE050
为图像坐标系中对应特征点的世界坐标，
Figure DEST_PATH_IMAGE052
为转换矩阵。
其中，在步骤S105中，标定板上特征点的位置关系为已知。
具体地，在一些实施例中，本申请的多相机位置标定方法还包括以下步骤：S106、根据多个图像坐标系与世界坐标系的关系以及多个相机之间的位姿关系，计算得到最优位姿参数。通过求解最优位姿参数，进一步提高标定精度。
其中，在步骤S106中，计算得到最优位姿参数通过以下公式一或公式二计算：
公式一：
Figure 814116DEST_PATH_IMAGE001
公式一中，
Figure DEST_PATH_IMAGE054
表示图像中第
Figure 228042DEST_PATH_IMAGE005
行第
Figure 598981DEST_PATH_IMAGE007
列的特征点的实际世界坐标，
Figure DEST_PATH_IMAGE056
表示根据相机参数和图像中第
Figure 876378DEST_PATH_IMAGE005
行第
Figure 496716DEST_PATH_IMAGE007
列的特征点的图像坐标计算得出的图像中第
Figure 383507DEST_PATH_IMAGE005
行第
Figure 608952DEST_PATH_IMAGE007
列的特征点在理论世界坐标系下的坐标；
Figure 791671DEST_PATH_IMAGE011
、
Figure 368146DEST_PATH_IMAGE013
表示相机外参，
Figure 294514DEST_PATH_IMAGE015
表示相机的焦距，
Figure 374465DEST_PATH_IMAGE017
表示特征点在图像坐标系下的主点坐标，
Figure 728086DEST_PATH_IMAGE019
、
Figure 526278DEST_PATH_IMAGE021
分别表示CCD相机上水平和垂直方向的像素尺寸，
Figure 492222DEST_PATH_IMAGE023
、
Figure 488997DEST_PATH_IMAGE025
分别表示图像中特征点的总行数和总列数；
公式二：
Figure 13519DEST_PATH_IMAGE027
公式二中，
Figure 33428DEST_PATH_IMAGE029
为图像中第
Figure 567178DEST_PATH_IMAGE005
行第
Figure 418459DEST_PATH_IMAGE007
列的特征点在图像坐标系中的像素坐标，
Figure DEST_PATH_IMAGE058
为图像中第
Figure 143576DEST_PATH_IMAGE005
行第
Figure 916360DEST_PATH_IMAGE007
列的特征点在世界坐标系中的坐标，
Figure DEST_PATH_IMAGE060
为转换矩阵，
Figure 253800DEST_PATH_IMAGE023
、
Figure 959588DEST_PATH_IMAGE025
分别表示图像中特征点的总行数和总列数。
由上可知，本申请实施例提供的多相机位置标定方法通过移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域；采集多个相机对应视野范围内的图像；获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系；以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系；根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系；从而对远心显微装置中多个无共同视野的相机进行标定，标定过程简单，计算容易。
请参照图5，图5是本申请一些实施例中的一种多相机位置标定装置的一种结构示意图。该多相机位置标定装置用于对远心显微装置中多个无共同视野的相机进行标定，该多相机位置标定装置以计算机程序的形式集成在该远心显微装置的后端控制设备中，该多相机位置标定装置包括：执行模块201、采集模块202、获取模块203、第一计算模块204以及第二计算模块205。
其中，执行模块201用于移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域。移动具有多个特征点区域的标定板可以手动进行移动，为了保证移动精度，可以采用多轴位移台对标定板进行移动，多轴位移台能够带动标定板沿X轴、Y轴、Z轴方向进行平移以及以Z轴为旋转轴进行旋转，多轴位移台带动标定板移动的距离可以通过光栅尺或者激光干涉仪记录。
具体地，在一些实施例中，如图2所示，标定板302上的多个特征点区域之间的距离分别设为第一量程3021和第二量程3022，第一量程3021大于第二量程3022，第一量程3021是指两个黑色正方形之间的距离，第二量程3022是指两个白色正方形之间的距离。需要说明的是，黑色正方形和白色正方形均为特征点区域，此处只是为了便于说明，并不是限定特征点区域为黑色正方形或白色正方形。具体应用中，第一量程3021和第二量程3022的大小可以根据实际需求进行适应性设置，以适应多相机安装的不同距离。比如，第一量程3021为50mm，第二量程3022为5mm。
具体地，在一些实施例中，本申请提供了两种特征点区域的样式。如图3及图4所示，一种是将特征点区域设计为黑白棋盘形状，另一种是将特征点区域设计为实心圆点阵列形状，两种样式中的多个特征点区域均呈“一”字型排列，以便于安装调试。需要说明的是，特征点区域的样式也可以设计为其他，上述仅为本申请中的两种实施方式，不应以此为限。
其中，该采集模块202用于采集多个相机对应视野范围内的图像。具体的，在一些实施例中，该采集模块202包括：执行单元，用于多次移动标定板，改变特征点区域在对应的相机的视野范围内的位置；采集单元，用于采集每次标定板移动后对应相机视野范围内的图像。其中，移动标定板的次数为10-15次，以使得采集的图像能够覆盖整个相机的视野范围。
其中，该获取模块203用于获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系。具体的，在一些实施例中，图像坐标系的单位为像素，图像坐标系的X方向为图像的列向量，图像坐标系的Y方向为图像的行向量。
其中，该第一计算模块204用于以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系。其中，根据图像坐标与世界坐标的对应关系及相机安装位置关系，指定世界坐标系的X方向为沿标定板长边方向，世界坐标系的Y方向为沿标定板短边方向。
具体地，在一些实施例中，该第一计算模块204包括：第一计算单元，用于根据采集的多个图像计算得到多个相机的相机参数；第二计算单元，用于根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系。或者，该第一计算模块204包括第三计算单元，用于根据多个图像坐标系与世界坐标系对应特征点的关系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系。
其中，相机参数包括相机的内参、外参及畸变参数。相机的内参包括CCD上相邻两个像元的水平距离、CCD上相邻两个像元的垂直距离、图像中主点的列坐标、图像中主点的行坐标以及镜头的焦距。镜头的畸变参数包括径向畸变参数和切向畸变参数。相机参数可以采用张正友标定方法或Halcon标定方法计算得到。标定板移动的距离通过光栅尺或者激光干涉仪记录。
其中，根据多个相机的相机参数计算多个图像坐标系与世界坐标系的关系通过以下公式计算：
Figure 825913DEST_PATH_IMAGE035
式中，
Figure DEST_PATH_IMAGE062
为比例因子，根据显微镜头的工作距离确定；
Figure DEST_PATH_IMAGE064
为特征点在图像坐标系中的坐标，
Figure DEST_PATH_IMAGE066
为特征点在世界坐标系中的坐标，
Figure DEST_PATH_IMAGE068
为内参矩阵，
Figure DEST_PATH_IMAGE070
为外参矩阵。
其中，根据多个图像坐标系与世界坐标系对应特征点的关系，计算多个图像坐标系与世界坐标系的关系通过以下公式计算：
Figure 39988DEST_PATH_IMAGE046
式中，
Figure DEST_PATH_IMAGE072
为特征点在图像坐标系中的坐标，
Figure DEST_PATH_IMAGE074
为图像坐标系中对应特征点的世界坐标，
Figure DEST_PATH_IMAGE076
为转换矩阵。
其中，该第二计算模块205用于根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系。标定板上特征点的位置关系为已知。
优选地，在一些实施例中，本申请的多相机位置标定装置还包括第四计算模块，用于根据多个图像坐标系与世界坐标系的关系以及多相机之间的位姿关系，计算得到最优位姿参数。具体地，第四计算模块计算得到最优位姿参数通过以下公式一或公式二计算：
公式一：
Figure 335447DEST_PATH_IMAGE001
公式一中，
Figure 99003DEST_PATH_IMAGE054
表示图像中第
Figure 136229DEST_PATH_IMAGE005
行第
Figure DEST_PATH_IMAGE078
列的特征点的实际世界坐标，
Figure 916229DEST_PATH_IMAGE056
表示根据相机参数和图像中第
Figure 126630DEST_PATH_IMAGE005
行第
Figure 10273DEST_PATH_IMAGE078
列的特征点的图像坐标计算得出的图像中第
Figure 218400DEST_PATH_IMAGE005
行第
Figure 187493DEST_PATH_IMAGE078
列的特征点在理论世界坐标系下的坐标；
Figure 139269DEST_PATH_IMAGE011
、
Figure 172690DEST_PATH_IMAGE013
表示相机外参，
Figure 817298DEST_PATH_IMAGE015
表示相机的焦距，
Figure 273687DEST_PATH_IMAGE017
表示特征点在图像坐标系下的主点坐标，
Figure 29154DEST_PATH_IMAGE019
、
Figure 418547DEST_PATH_IMAGE021
分别表示相机上水平和垂直方向的像素尺寸，
Figure 234056DEST_PATH_IMAGE023
、
Figure 413627DEST_PATH_IMAGE025
分别表示图像中特征点的总行数和总列数。
公式二：
Figure 707205DEST_PATH_IMAGE027
公式二中，
Figure DEST_PATH_IMAGE080
为图像中第
Figure 951105DEST_PATH_IMAGE005
行第
Figure 734253DEST_PATH_IMAGE078
列的特征点在图像坐标系中的像素坐标，
Figure DEST_PATH_IMAGE082
为图像中第
Figure 696393DEST_PATH_IMAGE005
行第
Figure 315634DEST_PATH_IMAGE078
列的特征点在世界坐标系中的坐标，
Figure DEST_PATH_IMAGE084
为转换矩阵，
Figure 945199DEST_PATH_IMAGE023
、
Figure 102511DEST_PATH_IMAGE025
分别表示图像中特征点的总行数和总列数。
由上可知，本申请实施例提供的多相机位置标定装置通过移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域；采集多个相机对应视野范围内的图像；获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系；以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系；根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系；从而实现对远心显微装置中多个无共同视野的相机进行标定，标定过程简单，计算容易。
如图6所示，本申请提供一种多相机位置标定系统，包括控制单元、多轴位移台301、标定板302及远心显微装置。远心显微装置包括多个远心显微机构。控制单元与多轴位移台301及多个远心显微机构通信连接。标定板302设置在多轴位移台301上。多轴位移台301用于移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域。多个远心显微机构用于分别采集多个相机对应视野范围内的图像，并将多个图像发送给控制单元。
控制单元用于控制多轴位移台和远心显微装置工作，获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系；以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系；根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系。
具体地，控制单元可以是智能手机、平板电脑或笔记本电脑等类型的实体设备。
具体地，在一些实施例中，远心显微装置包括安装平台401、多个固定架403及多个远心显微机构405。多轴位移台301设置在安装平台401上。多个固定架403设置在安装平台401上，多个固定架403位于多轴位移台301的一侧。标定板302设置在多轴位移台301上。多个远心显微机构405分别设置在多个固定架403上，每个远心显微机构405的光轴与标定板302的平面垂直。
具体地，远心显微机构405包括远心显微镜头、CCD相机及点光源，三者同轴心设置。
具体地，如图2所示，标定板302上的多个特征点区域之间的距离分别设为第一量程3021和第二量程3022，第一量程3021大于第二量程3022，第一量程3021是指两个黑色正方形之间的距离，第二量程3022是指两个白色正方形之间的距离。需要说明的是，黑色正方形和白色正方形均为特征点区域，此处只是为了便于说明，并不是限定特征点区域为黑色正方形或白色正方形。具体应用中，第一量程3021和第二量程3022的大小可以根据实际需求进行适应性设置，以适应多相机安装的不同距离。比如，第一量程3021为50mm，第二量程3022为5mm。
本申请提供了两种特征点区域的样式，如图3及图4所示，一种是将特征点区域设计为黑白棋盘形状，另一种是将特征点区域设计为实心圆点阵列形状，两种样式中的多个特征点区域均呈“一”字型排列，以便于安装调试。需要说明的是，特征点区域的样式也可以设计为其他，上述仅为本申请中的两种实施方式，不应以此为限。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有多个特征点区域中的一个特征点区域；采集多个相机对应视野范围内的图像；获取多个图像，得到每个图像中特征点的像素坐标，建立多个图像坐标系；以标定板的平面建立世界坐标系，计算多个图像坐标系与世界坐标系的关系，得到世界坐标系下多个特征点的对应关系；根据世界坐标系下多个特征点的对应关系与标定板上特征点的位置关系，计算得到多个相机之间的位姿关系。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory,简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种多相机位置标定方法，用于对远心显微装置中多个无共同视野的相机进行标定，其特征在于，所述方法包括以下步骤：
移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域；
采集所述多个相机对应视野范围内的图像；
获取多个所述图像，得到每个所述图像中特征点的像素坐标，建立多个图像坐标系；
以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系；
根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系。
2.根据权利要求1所述的多相机位置标定方法，其特征在于，所述移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域还包括以下步骤：
移动具有多个特征点区域的标定板至每个所述相机的视野范围内的所述特征点区域占所述相机视野范围的四分之一至二分之一。
3.根据权利要求1所述的多相机位置标定方法，其特征在于，所述采集所述多个相机对应视野范围内的图像包括以下步骤：
多次移动所述标定板，改变所述特征点区域在对应的所述相机的视野范围内的位置；
采集每次所述标定板移动后对应所述相机视野范围内的图像。
4.根据权利要求3所述的多相机位置标定方法，其特征在于，所述移动所述标定板的次数为10-15次。
5.根据权利要求1所述的多相机位置标定方法，其特征在于，所述以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系包括以下步骤：
根据采集的多个所述图像计算得到所述多个相机的相机参数；
根据所述多个相机的相机参数计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系;或者，
根据所述多个图像坐标系与所述世界坐标系对应特征点的关系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系。
6.根据权利要求5所述的多相机位置标定方法，其特征在于，所述根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系之后还包括以下步骤：
根据所述多个图像坐标系与所述世界坐标系的关系以及所述多个相机之间的位姿关系，计算得到最优位姿参数。
7.根据权利要求6所述的多相机位置标定方法，其特征在于，所述计算得到最优位姿参数通过以下公式一或公式二计算：
公式一：
Figure 462818DEST_PATH_IMAGE001
公式一中，
Figure 606354DEST_PATH_IMAGE003
表示所述图像中第
Figure 660898DEST_PATH_IMAGE005
行第
Figure 497267DEST_PATH_IMAGE007
列的特征点的实际世界坐标，
Figure 942155DEST_PATH_IMAGE009
表示根据所述相机参数和所述图像中第
Figure 482858DEST_PATH_IMAGE005
行第
Figure 31388DEST_PATH_IMAGE007
列的特征点的图像坐标计算得出的所述图像中第
Figure 569817DEST_PATH_IMAGE005
行第
Figure 829897DEST_PATH_IMAGE007
列的特征点在理论世界坐标系下的坐标；
Figure 49657DEST_PATH_IMAGE011
、
Figure 78793DEST_PATH_IMAGE013
表示相机外参，
Figure 53702DEST_PATH_IMAGE015
表示相机的焦距，
Figure DEST_PATH_IMAGE017
表示所述特征点在图像坐标系下的主点坐标，
Figure DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE021
分别表示CCD相机上水平和垂直方向的像素尺寸，
Figure DEST_PATH_IMAGE023
、
Figure DEST_PATH_IMAGE025
分别表示所述图像中特征点的总行数和总列数；
公式二：
Figure DEST_PATH_IMAGE027
公式二中，
Figure DEST_PATH_IMAGE029
为所述图像中第
Figure 96351DEST_PATH_IMAGE005
行第
Figure 510015DEST_PATH_IMAGE007
列的特征点在图像坐标系中的像素坐标，
Figure DEST_PATH_IMAGE031
为所述图像中第
Figure 800182DEST_PATH_IMAGE005
行第
Figure 149255DEST_PATH_IMAGE007
列的特征点在世界坐标系中的坐标，
Figure DEST_PATH_IMAGE033
为转换矩阵，
Figure 554566DEST_PATH_IMAGE023
、
Figure 381708DEST_PATH_IMAGE025
分别表示所述图像中特征点的总行数和总列数。
8.一种多相机位置标定装置，用于对远心显微装置中多个无共同视野的相机进行标定，其特征在于，所述装置包括：
执行模块，用于移动具有多个特征点区域的标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域；
采集模块，用于采集所述多个相机对应视野范围内的图像；
获取模块，用于获取多个所述图像，得到每个所述图像中特征点的像素坐标，建立多个图像坐标系；
第一计算模块，用于以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系；
第二计算模块，用于根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系。
9.一种多相机位置标定系统，其特征在于，包括控制单元、多轴位移台、标定板及远心显微装置；所述远心显微装置包括多个远心显微机构；所述控制单元与所述多轴位移台及所述多个远心显微机构连接；所述标定板设置在所述多轴位移台上；
所述多轴位移台用于移动具有多个特征点区域的所述标定板，使得多个相机的多个视野范围内分别具有所述多个特征点区域中的一个特征点区域；
所述多个远心显微机构用于分别采集所述多个相机对应视野范围内的图像，并将多个所述图像发送给所述控制单元；
所述控制单元用于控制所述多轴位移台和所述多个远心显微机构工作，获取多个所述图像，得到每个所述图像中特征点的像素坐标，建立多个图像坐标系；以所述标定板的平面建立世界坐标系，计算所述多个图像坐标系与所述世界坐标系的关系，得到所述世界坐标系下多个所述特征点的对应关系；根据所述世界坐标系下多个所述特征点的对应关系与所述标定板上所述特征点的位置关系，计算得到所述多个相机之间的位姿关系。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
CN202210723777.5A 2022-06-24 2022-06-24 多相机位置标定方法、装置、系统及存储介质 Active CN114792344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210723777.5A CN114792344B (zh) 2022-06-24 2022-06-24 多相机位置标定方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210723777.5A CN114792344B (zh) 2022-06-24 2022-06-24 多相机位置标定方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114792344A true CN114792344A (zh) 2022-07-26
CN114792344B CN114792344B (zh) 2022-09-27

Family

ID=82463000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210723777.5A Active CN114792344B (zh) 2022-06-24 2022-06-24 多相机位置标定方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114792344B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663767A (zh) * 2012-05-08 2012-09-12 北京信息科技大学 视觉测量系统的相机参数标定优化方法
CN105574886A (zh) * 2016-01-28 2016-05-11 多拉维（深圳）技术有限公司 手持多目相机高精度标定方法
EP3086285A1 (en) * 2015-04-22 2016-10-26 Thomson Licensing Method of camera calibration for a multi-camera system and apparatus performing the same
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
US20170221210A1 (en) * 2016-02-01 2017-08-03 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
CN107862717A (zh) * 2017-10-30 2018-03-30 大族激光科技产业集团股份有限公司 多相机标定方法
CN114299156A (zh) * 2021-12-11 2022-04-08 合肥辰视机器人科技有限公司 无重叠区域下多相机的标定与坐标统一方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663767A (zh) * 2012-05-08 2012-09-12 北京信息科技大学 视觉测量系统的相机参数标定优化方法
EP3086285A1 (en) * 2015-04-22 2016-10-26 Thomson Licensing Method of camera calibration for a multi-camera system and apparatus performing the same
CN105574886A (zh) * 2016-01-28 2016-05-11 多拉维（深圳）技术有限公司 手持多目相机高精度标定方法
US20170221210A1 (en) * 2016-02-01 2017-08-03 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN107862717A (zh) * 2017-10-30 2018-03-30 大族激光科技产业集团股份有限公司 多相机标定方法
CN114299156A (zh) * 2021-12-11 2022-04-08 合肥辰视机器人科技有限公司 无重叠区域下多相机的标定与坐标统一方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHOGO MIYATA 等: "Extrinsic Camera Calibration Without Visible Corresponding Points Using Omnidirectional Cameras", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
宋代平 等: "多相机非共视场的非合作圆特征位姿测量方法", 《红外技术》 *

Also Published As

Publication number Publication date
CN114792344B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
TWI408037B (zh) 機械手臂的定位方法及校正方法
CN111536902B (zh) 一种基于双棋盘格的振镜扫描系统标定方法
KR101636605B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
CN103108114B (zh) 用于将元件与印刷电路板上的脚位对准的相机系统和方法
CN108072319B (zh) 一种运动平台的快速标定系统及标定方法
US9749621B2 (en) Calibration plate for calibrating a plurality of image capturing devices and method for calibrating a plurality of image capturing devices
KR20200047743A (ko) 카메라 캘리브레이션을 위한 타겟, 방법, 및 시스템
CN109263253B (zh) 基于机器视觉的晶硅光伏太阳能电池印刷定位平台标定方法及装置
KR20140089392A (ko) 카메라 계측 시스템의 캘리브레이션 방법
WO2011065169A1 (ja) 画像撮影システム、画像撮影方法、および画像撮影プログラムを格納する記憶媒体
CN104735444A (zh) 根据直线特征执行视觉系统平面手眼校准的系统和方法
CN108632586B (zh) 投影仪系统
US10821911B2 (en) Method and system of camera focus for advanced driver assistance system (ADAS)
US10535157B2 (en) Positioning and measuring system based on image scale
CN113064248A (zh) 摄像头的光学对位方法、摄像头及电子设备
JP2014035261A (ja) 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
CN111986267A (zh) 一种多相机视觉系统的坐标系统标定方法
CN114792344B (zh) 多相机位置标定方法、装置、系统及存储介质
CN116811447B (zh) 一种基板纠偏和定位方法及相关设备
US20120056999A1 (en) Image measuring device and image measuring method
CN101213494A (zh) 描绘装置及描绘方法
TWI504859B (zh) 拍攝並拼接物件影像的方法
CN112884847B (zh) 一种双相机标定方法及系统
CN111275761B (zh) 一种自适应高度的视觉定位激光标刻方法
KR20080005413A (ko) 묘화 장치 및 묘화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant