CN113052918A - 对极式双目相机标定误差评价方法、装置、介质及设备 - Google Patents

对极式双目相机标定误差评价方法、装置、介质及设备 Download PDF

Info

Publication number
CN113052918A
CN113052918A CN202110439850.1A CN202110439850A CN113052918A CN 113052918 A CN113052918 A CN 113052918A CN 202110439850 A CN202110439850 A CN 202110439850A CN 113052918 A CN113052918 A CN 113052918A
Authority
CN
China
Prior art keywords
camera plane
point
actually measured
measured feature
error evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110439850.1A
Other languages
English (en)
Inventor
王勇
刘洋
李博伦
刘辰
张超
何其佳
杨翠东
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN202110439850.1A priority Critical patent/CN113052918A/zh
Publication of CN113052918A publication Critical patent/CN113052918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明公开了对极式双目相机标定误差评价方法、装置、介质及设备，利用左右相机平面上实测特征点与其对应极线的匹配程度来评价双目相机标定系统的标定误差。本发明为双目相机标定误差评价加入对极几何理论，提高了误差评价准确性，直接可以利用左右相机平面上的二维像素点进行双目相机标定误差评价，避免了利用特征点三维重建后计算值与真值做比较来评价标定误差的复杂性，不仅模型简单且精度能满足较多情况下工程测量要求，解决了现有评价方法实验复杂、精度低的问题，提高了生产效率，同时降低了人力成本。

Description

对极式双目相机标定误差评价方法、装置、介质及设备
技术领域
本发明涉及工业视觉检测、3D光学成像校准等领域，具体涉及一种对极式双目相机标定误差评价方法、装置、介质及设备。
背景技术
由于相机透镜自身特殊的球形形状以及相机装配、制造上的误差，从而导致相机会产生不可避免的误差。相机标定可以通过不同视场下的标靶上特征点坐标得到相机的内外参数和畸变参数，为后续利用相机进行检测、三维重建、测距等需求打下坚实基础。
通常来说，很难找到某个特定的标定参数来直接对双目相机系统标定误差进行评价。现有的双目相机标定误差评价方法主要包括：绝对三维坐标测量法、标准件尺寸测量法以及左右相机特征点总残差均值的方法。因此，对于双目相机标定系统误差评价仍然没有统一、高效的方法。
绝对三维坐标测量法是利用某个特征点的三维重建精度来评价标定误差，该方法依赖三维重建算法的精度，三维重建算法复杂度较高，对相机硬件提出了较高的要求。
标准件尺寸测量法是一种间接评价方式，虽然该方式较为可靠，但其实验复杂、无法实时对标定误差进行评价。
左右特征点总残差均值的方法，该方法虽然提供了双目相机标定误差的一种评价方式，但其由于忽略了左右图像特征的对极几何关系以及整体性特征，标定误差评价不够准确。
发明内容
针对现有技术存在的问题，本发明的目的之一在于提供一种高效、高精度的对极式双目相机标定误差评价方法，以提高工业视觉检测、3D光学成像校准等领域的精度和效率，提高生产效率，同时降低人力成本。
本发明的第二目的在于提供一种对极式双目相机标定误差评价装置。
本发明的第三目的在于提供一种执行实现上述评价方法的计算机可读介质。
本发明的第四目的在于提供一种执行实现上述评价方法的电子设备。
为实现上述目的，本发明的第一方面提供了一种对极式双目相机标定误差评价方法，包括：
采用特征变换算法进行左右相机平面上所有实测特征点检测；
对检测到的实测特征点坐标进行去畸变处理得到理想点坐标；
利用所述理想点坐标和基础矩阵F建立对应极线方程；
根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点；
根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值；
根据所述最小绝对误差的均值大小评价双目相机标定误差大小。
进一步，根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点包括：
根据所述极线方程对左相机平面上的实测特征点在右相机平面上对应的投影点进行修正，得到所述左相机平面上的实测特征点对应的误差评价真值点；
根据所述极线方程对右相机平面上的实测特征点在左相机平面上对应的投影点进行修正，得到所述右相机平面上的实测特征点对应的误差评价真值点。
进一步，根据所述极线方程对左相机平面上的实测特征点在右相机平面上对应的投影点进行修正包括：
将左相机平面上的实测特征点ql的坐标代入对应的极线方程lr＝Fql＝(A,B,C)T,得到所述左相机平面上的实测特征点ql在右相机平面上对应的投影点的坐标qr(xs,ys)；
根据左相机平面上的实测特征点在右相机平面上对应的投影点与误差评价真值点之间的关系式：
Figure BDA0003034620150000021
得到所述左相机平面上的实测特征点对应的误差评价真值点；
其中，A、B、C表示极线系数，xs、ys表示左相机平面上的实测特征点在右相机平面上对应的投影点qr(xs,ys)的坐标值，x、y表示左相机平面上的实测特征点对应的误差评价真值点qr′(x,y)的坐标值。
进一步，根据所述极线方程对右相机平面上的实测特征点在左相机平面上对应的投影点进行修正，得到所述右相机平面上的实测特征点对应的误差评价真值点包括：
将右相机平面上的实测特征点qr的坐标代入对应的极线方程ll＝FTqr,得到右相机平面上的实测特征点qr在左相机平面上对应的投影点的坐标q1(xs，ys)
根据右相机平面上的实测特征点在左相机平面上对应的投影点与误差评价真值点之间的关系式：
Figure BDA0003034620150000031
得到所述右相机平面上的实测特征点对应的误差评价真值点；
其中，A、B、C表示极线系数，xs、ys表示右相机平面上的实测特征点在左相机平面上对应的投影点ql(xs，ys)的坐标值，x、y表示右相机平面上的实测特征点对应的误差评价真值点ql’(xs，ys)的坐标值。
进一步，根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值包括：
根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标利用公式：
Figure BDA0003034620150000032
计算所有所述实测特征点构成的最小绝对误差的均值；
其中，ε表示所有实测特征点构成的最小绝对误差的均值，m表示左右相机平面上所有实测特征点的个数，(xsli,ysli)表示左相机平面上的实测特征点在右相机平面上对应投影点的坐标值，(xli,yli)表示左相机平面上的实测特征点对应的误差评价真值点的坐标值，(xsri,ysri)表示右相机平面上的实测特征点在左相机平面上对应投影点的坐标值，(xri,yri)表示右相机平面上的实测特征点对应的误差评价真值点的坐标值。
进一步，对检测到的实测特征点坐标进行去畸变处理得到理想点坐标包括：
对检测到的实测特征点坐标利用公式：
Figure BDA0003034620150000041
进行去畸变处理得到理想点坐标；
其中，r2＝xsj 2+ysj 2，k1,k2,k3表示径向畸变，p1,p2表示切向畸变，(xsj,ysj)表示实测特征点坐标，(xj,yj)表示理想点坐标。
本发明的第二方面提供一种对极式双目相机标定误差评价装置，包括：
检测模块，用于采用特征变换算法进行左右相机平面上所有实测特征点检测；
畸变处理模块，用于对检测到的实测特征点坐标进行去畸变处理得到理想点坐标；
构建模块，用于利用所述理想点坐标和基础矩阵F建立对应极线方程；
修正模块，用于根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点；
计算模块，用于根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值；
评价模块，用于根据所述最小绝对误差的均值大小评价双目相机标定误差大小。
本发明的第三方面提供一种电子设备，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的方法。
本发明的第四方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现第一方面所述的方法。
本发明为双目相机标定误差评价加入对极几何理论，提高了误差评价准确性，直接可以利用左右相机平面上的二维像素点进行双目相机标定误差评价，避免了利用特征点三维重建后计算值与真值做比较来评价标定误差的复杂性，不仅模型简单且精度能满足较多情况下工程测量要求，解决了现有评价方法实验复杂、精度低的问题，提高了生产效率，同时降低了人力成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的对极式双目相机标定误差评价方法的流程图；
图2为本发明的另一个实施例的对极式双目相机标定误差评价方法的流程图；
图3为本发明的另一个实施例的对极式双目相机标定误差评价方法的流程图；
图4为本发明的另一个实施例的对极式双目相机标定误差评价方法的流程图；
图5为本发明左相机平面实测特征点对应的最小误差求解示意图；
图6为本发明双目相机标定误差评价方法实时评价示意图；
图7为本发明奇偶不对称式棋盘格式标定参照物示意图。
图8为本发明的实施例的对极式双目相机标定误差评价装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示意性示出了本发明一实施例的对极式双目相机标定误差评价方法的流程图。
如图1所示，本发明的对极式双目相机标定误差评价方法，包括如下步骤：
步骤S110：采用特征变换算法进行左右相机平面上所有实测特征点检测。
步骤S120：对检测到的实测特征点坐标进行去畸变处理得到理想点坐标。
步骤S130：利用所述理想点坐标和基础矩阵F建立对应极线方程。
步骤S140：根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点。
步骤S150：根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值。
步骤S160：根据所述最小绝对误差的均值大小评价双目相机标定误差大小。
双目相机中的左右相机存在对极几何约束关系，对极几何使得某一个相机平面上的某一特征点的理想坐标必然与其对应的极线重合。然而，由于相机标定误差使得特征点的理想坐标很难与其对应极线重合，因此，本发明利用左右相机平面上的特征点与其对应极线的匹配程度来评价双目相机标定误差。
本发明利用左右相机平面上实测特征点与其对应极线的匹配程度来评价双目相机标定系统的标定误差，为双目相机标定误差评价加入对极几何理论，提高了误差评价准确性，直接可以利用左右相机平面上的二维像素点进行双目相机标定误差评价，避免了利用特征点三维重建后计算值与真值做比较来评价标定误差的复杂性。利用极平面把左右相机的所有特征信息关联起来，使得标定评价方式从3D坐标值之间匹配程度转化为2D坐标值之间的匹配程度计算，提高了误差评价效率。
步骤S110中可以通过Harris、FAST、SIFT、SURF、ORB等特征变换算法对左右相机平面上所有实测特征点检测。在本发明一实施例中，采用SIFT(尺度不变特征变换)算法进行实测特征点检测，具有旋转、尺度、灰度不变性，不仅对在标靶角度变换、光照变化、存在噪声时的角点检测具有较高的检测精度和稳定性，而且效率也高于Harris检测算法，使得实测特征点检测更为精准，有助于进一步提高标定误差评价准确性。
图2示意性示出了本发明的另一个实施例的对极式双目相机标定误差评价方法的流程图。
如图2所示，上述步骤S140可以包括步骤S210和步骤S230。
步骤S210：根据所述极线方程对左相机平面上的实测特征点在右相机平面上对应的投影点进行修正，得到所述左相机平面上的实测特征点对应的误差评价真值点。
步骤S230：根据所述极线方程对右相机平面上的实测特征点在左相机平面上对应的投影点进行修正，得到所述右相机平面上的实测特征点对应的误差评价真值点。
该方法根据极线方程对左右相机的实测特征点对应的投影点进行修正，更准确的反映了标定误差评价方法与标定的相关性。
图3示意性示出了本发明的另一个实施例的对极式双目相机标定误差评价方法的流程图。
上述步骤S210可以包括步骤S310和步骤S330。
步骤S310：将左相机平面上的实测特征点ql的坐标代入对应的极线方程lr＝Fql＝(A,B,C)T,得到所述左相机平面上的实测特征点ql在右相机平面上对应的投影点的坐标qr(xs,ys)。
步骤S330：根据左相机平面上的实测特征点在右相机平面上对应的投影点与误差评价真值点之间的关系式：
Figure BDA0003034620150000071
得到所述左相机平面上的实测特征点对应的误差评价真值点；
其中，A、B、C表示极线系数，xs、ys表示左相机平面上的实测特征点在右相机平面上对应的投影点qr(xs,ys)的坐标值，x、y表示左相机平面上的实测特征点对应的误差评价真值点qr′(x,y)的坐标值。
该方法让极线方程中的极线系数A、B、C参与误差评价指标求解，更准确的反映了本发明标定误差评价方法与标定的相关性。
图4示意性示出了本发明的另一个实施例的对极式双目相机标定误差评价方法的流程图。
上述步骤S230可以包括步骤S410和步骤S430。
步骤S410：将右相机平面上的实测特征点qr的坐标代入对应的极线方程ll＝FTqr,得到右相机平面上的实测特征点qr在左相机平面上对应的投影点的坐标ql(xs，ys)。
步骤S430：根据右相机平面上的实测特征点在左相机平面上对应的投影点与误差评价真值点之间的关系式：
Figure BDA0003034620150000081
得到所述右相机平面上的实测特征点对应的误差评价真值点；
其中，A、B、C表示极线系数，xs、ys表示右相机平面上的实测特征点在左相机平面上对应的投影点ql(xs，ys)的坐标值，x、y表示右相机平面上的实测特征点对应的误差评价真值点ql’(xs，ys)的坐标值。
该方法让极线方程中的极线系数A、B、C参与误差评价指标求解，更准确的反映了本发明标定误差评价方法与标定的相关性。
在本发明一实施例中，步骤S150中根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标利用公式：
Figure BDA0003034620150000082
计算所有所述实测特征点构成的最小绝对误差的均值；
其中，ε表示所有实测特征点构成的最小绝对误差的均值，m表示左右相机平面上所有实测特征点的个数，(xsli,ysli)表示左相机平面上的实测特征点在右相机平面上对应投影点的坐标值，(xli,yli)表示左相机平面上的实测特征点对应的误差评价真值点的坐标值，(xsri,ysri)表示右相机平面上的实测特征点在左相机平面上对应投影点的坐标值，(xri,yri)表示右相机平面上的实测特征点对应的误差评价真值点的坐标值。
该方法利用左右相机平面上所有实测特征点构成的最小绝对误差的均值来评价两相机平面特征与其对应极线的匹配程度，用匹配程度的高低来评价双目相机标定系统的标定误差大小。最小绝对误差的均值ε越小，表示左右相机平面上的特征点和对应极线匹配精度越高，则该双目标定系统误差越小。否则，该双目标定系统误差越大。
在本发明一实施例中，步骤S120中对检测到的实测特征点坐标利用公式：
Figure BDA0003034620150000091
进行去畸变处理得到理想点坐标；
其中，r2＝xsj 2+ysj 2，k1,k2,k3表示径向畸变，p1,p2表示切向畸变，(xsj,ysj)表示实测特征点坐标，(xj,yj)表示理想点坐标。
由于相机透镜自身特殊的球形形状以及相机装配误差、制造上的缺陷，从而导致相机会产生不可避免的误差。为了构造极线，需要得到该点像素坐标的理想值。因此需要对该特征点的实测值进行去畸变处理，进一步提高评价误差精度。
综合考虑径向畸变和切向畸变，设实测特征点坐标为(xsj,ysj)，校正后理想点坐标为(xj,yj)，由于
Figure BDA0003034620150000092
式中：cx、cy为左右相机主点坐标，fx、fy为左右相机像素焦距，主点坐标和像素焦距是由标定得到，
Figure BDA0003034620150000093
为实测特征点在世界坐标系中的齐次坐标。则可推导得到上述公式。
在本发明一实施例中，步骤S130中，为了分析左右相机平面上实测特征点与其对应极线的匹配程度，首先需要构造左右极线。
记P为三维空间中的一个特征点，其在左、右相机平面上的位置分别为pl、pr。pl、pr的几何关系可以表示为：
pr＝R·(pl-T)
利用极平面把左右相机的所有特征信息关联起来，使得标定评价方式从3D坐标值之间匹配程度转化为2D坐标值之间的匹配程度计算，提高了误差评价效率。本发明利用极平面可以建立起所有包含pl点和pr点的方程式：
(RT·Pr)T(Pl×T)＝0
式中：·表示两向量点乘，×表示两向量叉乘。R、T是联系左右相机几何关系的旋转矩阵和平移向量；
设T＝(tx,ty,tz)T，记
Figure BDA0003034620150000101
将(RT·Pr)T(Pl×T)＝0转化为矩阵形式
Pl×T＝SPl
把式子Pl×T＝SPl代入式(RT·Pr)T(Pl×T)＝0中可得：
Figure BDA0003034620150000102
至此，本发明建立起了相互对应的左右特征点pl、pr的几何对应关系。然而在实际应用中，通常需要的是该点的像素坐标值。为了得到相机图像平面上某点的像素坐标与其对应极线的关系，还需要知道相机内参数。
设本征矩阵E＝RS。设Ml、Mr为左右相机的内参矩阵，点pl、pr对应的像素坐标为ql、qr。把p＝MTq代入
Figure BDA0003034620150000103
可得：
qr T(Mr -1)RSMl -1ql＝0；
利用基础矩阵F＝(Mr -1)EMl -1可得：
qr TFql＝0
F为一个的不满秩矩阵(3×3)，rank(F)＝2，由双目相机标定求出。
由此，可得左右极线ll、lr方程为：
ll＝FTqr；
lr＝Fql。
为使本领域技术人员更加清楚地理解本发明的误差评价方法，本发明以左相机平面特征点最小绝对误差求解方法来进行说明：
如图5所示，左相机平面特征点最小绝对误差求解示意图，
设左实测特征点ql在右图像平面上的投影点为qr，记左右极线为ll、lr。ql本该落在其对应极线lr上，然而由于相机自身结构特点以及制造误差等原因，ql落在了qr的位置上。而ql到lr的最小距离为垂线距离
Figure BDA0003034620150000104
而该垂线距离即是用来评价标定左相机标定误差的标准，本文称其为最小距离误差ε。
设qr′为(x,y)，由式(6)得：
lr＝Fql＝(A,B,C)T，即Ax+By+C＝0；
极线系数A、B、C是由标定结果得到的，让系数A、B、C参与误差评价指标求解，更准确的反映了本发明标定误差评价方法与标定的相关性；
把ql坐标值带入lr中可得qr(xs,ys)的坐标值。现在来求qr′(x,y)的值：
取利用式
Figure BDA0003034620150000105
去畸变处理后的位于lr上取两个不同的点的坐标值(x1,y1)、(x2,y2)，带入lr中可得：
Figure BDA0003034620150000111
联立两个方程组可得：
A(x1-x2)+B(y1-y2)＝0；
因为线
Figure BDA0003034620150000112
与线A(x1-x2)+B(y1-y2)＝0具有垂直关系，则(x-xs,y-ys)所在的直线平行线A(x1-x2)+B(y1-y2)＝0，且qr′(x,y)与lr共线，可得：
Figure BDA0003034620150000113
为了更方便求解，把式
Figure BDA0003034620150000114
变为矩阵形式为：
Figure BDA0003034620150000115
从式
Figure BDA0003034620150000116
中便可以解出qr′(x,y)的值。致此，便可以求出左相机平面中实测特征点到ql的最小绝对误差。同理，可以求出右相机平面中实测特征点到qr的最小绝对误差。
实验验证：
为了验证本发明的优越性，采用的是轴线平行式双目立体相机，基线出厂值是60mm。需要说明的是，双目立体相机的类型仅是为了验证举例说明，本发明并不以此为限制。
本发明选用的棋盘格式标定参照物是奇偶不对称式，本次选用的棋盘格标定参照物为14×13式，这样有利于提高求解标定参数的鲁棒性，本发明采用的标定参照物见附图7所示。
为了尽量避免光照变化、噪声等因素对标定精度的影响，在标定时，对参照物图像进行了二值化、平滑滤波处理，而且增强了标定参照物的边缘纹理信息。
为了进一步提高双目相机产线生产效率，降低双目相机校准成本，本发明将所述标定误差评价方法加入到了标定算法中，实现了实时的双目相机标定误差评价，实时相机标定误差评价见附图6所示。
为了验证本文所述双目标定误差评价方法的有效性、鲁棒性以及优越性，在相同的实验环境下，本发明分别采用10mm和20mm棋盘格标定板进行了3组实验，共6组。
为了把角点提取精度对标定结果的影响剔除，只对相机的像素焦距做了微调。在相机视野完整的情况下，尽量使相机靠近标定板，这样有利于保证特征点的提取精度。标定板图像应充满相机整个视场的三分之二以上，这样能够保障边缘检测的精度。6组实验的结果见下表1.1所示：
表1.1误差评价方法的标定实验结果
Figure BDA0003034620150000121
因为本发明采用的是光轴平行式双目相机，因此可以通过标定求出双目相机的基线长度。又因为本文采用的相机基线出厂值为60mm，所以可以用基线的测量误差值作为参考，分别对比采用本文所述的评价方法、采用左右图像上特征点总残差均值的方法和标准测量误差的相关性程度，来对比哪种方法对标定误差评价更为准确。两种误差评价方法的实验结果见表1.2所示：
表1.2两种标定误差评价方法结果
Figure BDA0003034620150000122
为了证实本发明所述方法是有效的、可信的，利用本发明所述的标定方法对相机基线进行了6次测量，其值分别为60.43mm、59.64mm、59.75mm、60.91mm、60.70mm、60.44mm，其误差都在合理范围内，与标准值60mm基本一致。因此，证实了本发明所述的理论是正确的、可信的。
本发明分别利用两种不同的棋盘格标定板一共进行了6组实验，实验在不同棋盘格参照物位姿、不同像素焦距下对本文方法进行验证，10mm、20mm两种棋盘格参照物分别代表两种标定系统。结合表1.1、表1.2可以得到，在两种标定系统下，采用本文所述方法的评价指标都与基线实际的测量误差变化趋势保持一致，即标定误差越大基线的测量误差越大。因此，可以证明本发明所述方法是鲁棒的。
在相同的实验环境下，本发明以表1.2第5列标准基线的测量误差为参考值，对比6组实验中采用本文所述评价方法、采用左右图像上特征点总残差均值的方法和参考值的相关程度，以此来判别哪种方法对标定误差的评价更为准确。
在(20mm)标定系统下的3组标定实验中，采用左右图像上特征点总残差均值的方法得到的误差与标准参考值的相关系数为0.95，而采用本发明评价方法得到的误差与标准参考值的相关系数为0.977。在(10mm)标定系统下的3组标定实验中，与采用左右图像上特征点总残差均值的方法对应的相关系数为0.98，而采用本发明误差评价方法对应的相关系数为0.993。综合6组实验的相关系数结果，可以清楚的看到采用本发明所述误差评价方法比采用左右相机平面上特征点总残差均值的方法评价更为准确。
图8示意性示出本发明的实施例的对极式双目相机标定误差评价装置的结构框图。
如图8所示，本发明的对极式双目相机标定误差评价装置800包括检测模块810、畸变处理模块820、构建模块830、修正模块840、计算模块850、评价模块860。
具体地，检测模块810用于采用特征变换算法进行左右相机平面上所有实测特征点检测。
畸变处理模块820用于对检测到的实测特征点坐标进行去畸变处理得到理想点坐标。
构建模块830用于利用所述理想点坐标和基础矩阵F建立对应极线方程。
修正模块840用于根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点。
计算模块850用于根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值。
评价模块860用于根据所述最小绝对误差的均值大小评价双目相机标定误差大小。
该对极式双目相机标定误差评价装置利用左右相机平面上实测特征点与其对应极线的匹配程度来评价双目相机标定系统的标定误差，为双目相机标定误差评价加入对极几何理论，提高了误差评价准确性，直接可以利用左右相机平面上的二维像素点进行双目相机标定误差评价，避免了利用特征点三维重建后计算值与真值做比较来评价标定误差的复杂性。利用极平面把左右相机的所有特征信息关联起来，使得标定评价方式从3D坐标值之间匹配程度转化为2D坐标值之间的匹配程度计算，提高了误差评价效率。
根据本发明的实施例，该装置800可以实现图1～4实施例描述的误差评价方法。
由于本发明的示例实施例的半全局立体匹配装置800的各个模块可以用于实现上述1～图4描述的误差评价方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的误差评价方法的实施例。
可以理解的是，检测模块810、畸变处理模块820、构建模块830、修正模块840、计算模块850和评价模块860可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，检测模块810、畸变处理模块820、构建模块830、修正模块840、计算模块850、评价模块860中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，检测模块810、畸变处理模块820、构建模块830、修正模块840、计算模块850、评价模块860中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
本发明还提供一种电子设备，包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述图1～4实施例描述的方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述图1～4实施例描述的方法。
根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的半全局立体匹配方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种对极式双目相机标定误差评价方法，其特征在于，包括：
采用特征变换算法进行左右相机平面上所有实测特征点检测；
对检测到的实测特征点坐标进行去畸变处理得到理想点坐标；
利用所述理想点坐标和基础矩阵F建立对应极线方程；
根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点；
根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值；
根据所述最小绝对误差的均值大小评价双目相机标定误差大小。
2.如权利要求1所述的对极式双目相机标定误差评价方法，其特征在于，根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点包括：
根据所述极线方程对左相机平面上的实测特征点在右相机平面上对应的投影点进行修正，得到所述左相机平面上的实测特征点对应的误差评价真值点；
根据所述极线方程对右相机平面上的实测特征点在左相机平面上对应的投影点进行修正，得到所述右相机平面上的实测特征点对应的误差评价真值点。
3.如权利要求2所述的对极式双目相机标定误差评价方法，其特征在于，
根据所述极线方程对左相机平面上的实测特征点在右相机平面上对应的投影点进行修正包括：
将左相机平面上的实测特征点ql的坐标代入对应的极线方程lr＝Fql＝(A,B,C)T,得到所述左相机平面上的实测特征点ql在右相机平面上对应的投影点的坐标qr(xs,ys)；
根据左相机平面上的实测特征点在右相机平面上对应的投影点与误差评价真值点之间的关系式：
Figure FDA0003034620140000011
得到所述左相机平面上的实测特征点对应的误差评价真值点；
其中，A、B、C表示极线系数，xs、ys表示左相机平面上的实测特征点在右相机平面上对应的投影点qr(xs,ys)的坐标值，x、y表示左相机平面上的实测特征点对应的误差评价真值点qr′(x,y)的坐标值。
4.如权利要求2所述的对极式双目相机标定误差评价方法，其特征在于，根据所述极线方程对右相机平面上的实测特征点在左相机平面上对应的投影点进行修正，得到所述右相机平面上的实测特征点对应的误差评价真值点包括：
将右相机平面上的实测特征点qr的坐标代入对应的极线方程ll＝FTqr,得到右相机平面上的实测特征点qr在左相机平面上对应的投影点的坐标ql(xs，ys)；
根据右相机平面上的实测特征点在左相机平面上对应的投影点与误差评价真值点之间的关系式：
Figure FDA0003034620140000021
得到所述右相机平面上的实测特征点对应的误差评价真值点；
其中，A、B、C表示极线系数，xs、ys表示右相机平面上的实测特征点在左相机平面上对应的投影点ql(xs，ys)的坐标值，x、y表示右相机平面上的实测特征点对应的误差评价真值点ql’(xs，ys)的坐标值。
5.如权利要求1所述的对极式双目相机标定误差评价方法，其特征在于，根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值包括：
根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标利用公式：
Figure FDA0003034620140000022
计算所有所述实测特征点构成的最小绝对误差的均值；
其中，ε表示所有实测特征点构成的最小绝对误差的均值，m表示左右相机平面上所有实测特征点的个数，(xsli,ysli)表示左相机平面上的实测特征点在右相机平面上对应投影点的坐标值，(xli,yli)表示左相机平面上的实测特征点对应的误差评价真值点的坐标值，(xsri,ysri)表示右相机平面上的实测特征点在左相机平面上对应投影点的坐标值，(xri,yri)表示右相机平面上的实测特征点对应的误差评价真值点的坐标值。
6.如权利要求1所述的对极式双目相机标定误差评价方法，其特征在于，对检测到的实测特征点坐标进行去畸变处理得到理想点坐标包括：
对检测到的实测特征点坐标利用公式：
Figure FDA0003034620140000031
进行去畸变处理得到理想点坐标；
其中，r2＝xsj 2+ysj 2，k1,k2,k3表示径向畸变，p1,p2表示切向畸变，(xsj,ysj)表示实测特征点坐标，(xj,yj)表示理想点坐标。
7.一种对极式双目相机标定误差评价装置，其特征在于，包括：
检测模块，用于采用特征变换算法进行左右相机平面上所有实测特征点检测；
畸变处理模块，用于对检测到的实测特征点坐标进行去畸变处理得到理想点坐标；
构建模块，用于利用所述理想点坐标和基础矩阵F建立对应极线方程；
修正模块，用于根据所述极线方程对左右相机平面上所有实测特征点进行对极几何修正，得到对应的误差评价真值点；
计算模块，用于根据左右相机平面上所有实测特征点坐标和所述实测特征点经过对极几何修正后的误差评价真值点坐标计算所有所述实测特征点构成的最小绝对误差的均值；
评价模块，用于根据所述最小绝对误差的均值大小评价双目相机标定误差大小。
8.一种电子设备，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据权利要求1～6中任意一项所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据权利要求1～6中任意一项所述的方法。
CN202110439850.1A 2021-04-23 2021-04-23 对极式双目相机标定误差评价方法、装置、介质及设备 Pending CN113052918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110439850.1A CN113052918A (zh) 2021-04-23 2021-04-23 对极式双目相机标定误差评价方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110439850.1A CN113052918A (zh) 2021-04-23 2021-04-23 对极式双目相机标定误差评价方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN113052918A true CN113052918A (zh) 2021-06-29

Family

ID=76520052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110439850.1A Pending CN113052918A (zh) 2021-04-23 2021-04-23 对极式双目相机标定误差评价方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN113052918A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113790685A (zh) * 2021-11-17 2021-12-14 湖南苏科智能科技有限公司 面向双光源x射线安检机的待检物品尺寸自动检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008595A (ko) * 2008-07-16 2010-01-26 중앙대학교 산학협력단 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템
CN109522935A (zh) * 2018-10-22 2019-03-26 易思维（杭州）科技有限公司 一种对双目视觉测量系统的标定结果进行评价的方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110378969A (zh) * 2019-06-24 2019-10-25 浙江大学 一种基于3d几何约束的汇聚式双目相机标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008595A (ko) * 2008-07-16 2010-01-26 중앙대학교 산학협력단 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템
CN109522935A (zh) * 2018-10-22 2019-03-26 易思维（杭州）科技有限公司 一种对双目视觉测量系统的标定结果进行评价的方法
CN110378969A (zh) * 2019-06-24 2019-10-25 浙江大学 一种基于3d几何约束的汇聚式双目相机标定方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁婷婷;方舟;刘波;张君安;: "基于机器视觉检测的摄像机快速标定与误差分析", 制造业自动化, no. 01 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113790685A (zh) * 2021-11-17 2021-12-14 湖南苏科智能科技有限公司 面向双光源x射线安检机的待检物品尺寸自动检测方法
CN113790685B (zh) * 2021-11-17 2022-01-18 湖南苏科智能科技有限公司 面向双光源x射线安检机的待检物品尺寸自动检测方法

Similar Documents

Publication Publication Date Title
Cui et al. Precise calibration of binocular vision system used for vision measurement
US9747680B2 (en) Inspection apparatus, method, and computer program product for machine vision inspection
CN110226806B (zh) 一种鞋底涂胶轨迹生成方法及装置
Fathy et al. Fundamental matrix estimation: A study of error criteria
CN108122280A (zh) 一种三维点云的重建方法及装置
Zheng et al. Minimal solvers for 3d geometry from satellite imagery
Perdigoto et al. Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems
Lee et al. Closed-form optimal two-view triangulation based on angular errors
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
Shakeri et al. Polarimetric monocular dense mapping using relative deep depth prior
CN113052918A (zh) 对极式双目相机标定误差评价方法、装置、介质及设备
Freundlich et al. Exact bias correction and covariance estimation for stereo vision
Hu et al. Absolute and relative pose estimation in refractive multi view
Hu et al. Refractive Pose Refinement: Generalising the Geometric Relation between Camera and Refractive Interface
WO2023284349A1 (zh) 3d相机标定方法、装置及标定系统
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN109285210B (zh) 结合拓扑关系和极线约束的管路三维重建方法
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
Bergamini et al. Fundamental Matrix: Digital Camera calibration and Essential Matrix parameters
Huang et al. Camera calibration for plate refractive imaging system
Gay et al. Factorization based structure from motion with object priors
Heinrich et al. Maximum likelihood autocalibration
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
CN116818129B (zh) 应用于结构光重建的温度估计与热畸变校正方法
Liu et al. Camera Auto-calibration from the Steiner Conic of the Fundamental Matrix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination