CN112822481A - 立体摄像机的校正品质的检测方法及检测系统 - Google Patents

Abstract

本发明提供了一种立体摄像机的校正品质的检测方法及检测系统，主要让一立体摄像机拍摄一显示器显示的一校正板影像，并提取出多个方块角点影像、分析角点影像稳定度及标准差后，可依据视差及摄像机的内外部参数，分别计算出摄像机所获取影像的两相邻方块角点的世界坐标，接着，可将显示器所显示的校正板影像的两相邻方块角点的距离视为基准值(正解)，并与两相邻方块角点的世界坐标的差值计算出一比对误差，以检测摄像机的内部与外部参数的准确性，本发明更提出可进一步确认距离一中心基准点较远的各方块大小是否均一致的作法，以检测摄像机的畸变参数是否准确。

Description

立体摄像机的校正品质的检测方法及检测系统

技术领域

本发明涉及立体视觉(stereopsis)的技术领域，尤指一种可针对校正后的双目或多目摄像机评估其校正品质的检测方法及检测系统。

背景技术

为了要使立体摄像机产生高品质的立体影像，在摄像机出厂前，制造商会在立体摄像机的制造过程中进行摄像机校正，即从被获取影像中挑出一些样本点，从中找出摄像机的内外部参数(intrinsic and extrinsic parameters)及畸变参数，进而确保立体摄像机所需的高光学准度，且在立体摄像机出厂且被操作一段时间后，其光学准度也会因为摄像机的使用环境或使用方法而无法维持，此时立体摄像机也会需要再进行校正以补偿立体摄像机的机构与光学准度漂移，其中，内部参数是摄像机的固有性质参数，主要有关于摄像机坐标与影像坐标间的转换关系，例如成像中心点、焦距等，外部参数则表示摄像机在世界坐标与摄像机坐标间的转换关系，即摄像机的偏转角度与位置，而有关摄像机校正的相关技术及推导原理，可参见OpenCV开放原始码函式库的「Camera Calibration」教程文件，于此不再赘述。

目前评估校正是否准确的方法主要有：(A)让立体摄像机对具有复数个特征点的校正图案(例如棋盘格等测试图案)进行拍摄，以获取出棋盘格的影像弯曲状况，但此种方式仅能从弯曲程度粗略地看出校正后的畸变参数是否准确，而无法验证其它摄像机参数(如内外部参数)；或(B)利用特定的应用程式(例如3D Point Cloud、3D depth map 等)来检视摄像机校正的品质，但由于这些应用程式都建构在这些内外部参数之上，且应用程式都会有自身的优化与收敛方式，而难以判断是摄像机校正的问题，或是程式优化的演算法问题；或(C)将被获取影像的样本点信息，带入由内外部参数与畸变参数所组成的方程式(例如OpenCV开放原始码函式库的「projectPoints()」函式)，以计算一重投影误差(re-projection error)，该数值其若接近于0，则代表影像校正的品质越好，惟该数值取决于被选取样本点在被获取影像中的分布，并不能表示三维空间的任意点都在这个误差之内。

综上可知，目前评估立体摄像机的校正品质的方式，仍有诸多缺点，故如何提出一种可同时检验内外部参数与畸变参数的准确性、可让校正品质的检测结果更臻准确的「立体摄像机的校正品质的检测方法及检测系统」，乃有待解决的问题。

发明内容

为达上述目的，本发明提出一种立体摄像机的校正品质的检测方法，包含：

(1)使一显示器显示一校正板影像，校正板影像具有多个以矩阵方式排列的方块，方块具有彼此相邻的多个方块角点，相邻的两方块角点之间的距离，被定义为一基准值；

(2)使置于显示器前的一立体摄像机对校正板影像进行拍摄，以分别获取出一左眼影像与一右眼影像；

(3)分别从左眼及右眼影像检测出多个方块角点影像，并提取其中一方块角点成像于一影像坐标的一左眼成像坐标及一右眼成像坐标，并依据左眼及右眼成像坐标计算一视差；

(4)依据视差、立体摄像机的内部及外部参数，将其中一方块角点的影像坐标转换为一世界坐标；

(5)计算相邻于被提取方块角点的另一方块角点的世界坐标，并求得相邻的两方块角点的世界坐标的差值，再以差值与基准值比较出一比对误差，比对误差可供检测立体摄像机的内部及外部参数的准确性。

其中，本发明提出的检测方法更可包含以下步骤：

(1)将矩形的多个基准影像分别投影至左眼及右眼影像，并提取与立体摄像机的一主轴点(principle point)最邻近的方块角点影像，作为一中心基准点；

(2)依序计算各基准影像的一基准影像角点与中心基准点的世界坐标的差值，以分别记录为一畸变误差，并判断畸变误差是否符合一畸变阈值，若未符合，则可重新进行影像校正。

为达上述目的，本发明提出一种立体摄像机的校正品质的检测系统，包含一显示器、一立体摄像机及一校正品质检测装置；显示器可显示一校正板影像，校正板影像具有多个以矩阵方式排列的方块，方块具有彼此相邻的多个方块角点，且相邻的两方块角点的间的距离，被定义为一基准值；立体摄像机可置于荧幕平整的显示器前，其利用一左眼及一右眼影像获取单元对校正板影像进行拍摄，以分别获取出一左眼与一右眼影像；校正品质检测装置分别连耦接于显示器及立体摄像机，其具有相互呈信息连结的一特征检测单元、一坐标转换单元及一校正评价单元；特征检测单元可从立体摄像机所获取的影像检测出多个方块角点影像，并可提取方块角点成像于一影像坐标的一左眼及一右眼成像坐标；坐标转换单元可依据左眼及右眼成像坐标计算一视差，并可依据视差、立体摄像机的内部及外部参数，将方块角点的影像坐标转换为一世界坐标；校正评价单元可计算相邻的两方块角点的世界坐标的差值，也可就差值与基准值比较出一比对误差；再者，校正评价单元也可将矩形的多个基准影像分别投影至左眼及右眼影像，并提取与立体摄像机的一主轴点最邻近的方块角点影像，作为一中心基准点，再依序计算各基准影像的一基准影像角点与中心基准点的世界坐标的差值，以分别记录为一畸变误差。

为使贵审查委员得以清楚了解本发明的目的、技术特征及其实施后的功效，兹以下列说明搭配图示进行说明，敬请参阅。

附图说明

图1为本发明的系统架构图。

图2为本发明的系统实施流程图。

图3为本发明的视差计算示意图。

图4为本发明的畸变误差计算示意图。

图5为本发明的另一实施例(一)的系统实施流程图。

图6为本发明的另一实施例(二)的系统实施流程图。

具体实施方式

请参阅「图1」，其为本发明的系统架构图，本发明提出一种立体摄像机的校正品质的检测系统1，包含一显示器10、一立体摄像机 20及一校正品质检测装置30，其中：

(1)显示器10可显示一校正板影像101(pattern board)，校正板影像101可具有多个以矩阵方式排列的方块，方块可具有彼此相邻的多个方块角点，且相邻的两方块角点之间的距离，被定义为一基准值 (known ground truth)；

(2)立体摄像机20置于荧幕平整的显示器10前，并具有相互呈信息连结的一左眼影像获取单元201及一右眼影像获取单元202，可分别对校正板影像101进行拍摄，以分别获取出一左眼影像与一右眼影像，另，立体摄像机20也可为一多目摄像机而具备二个以上的影像获取单元；

(3)校正品质检测装置30分别耦接于显示器10及立体摄像机 20，以分别与显示器10及立体摄像机20进行通讯与数据传输，其可具有相互呈信息连结的一特征检测单元301、一坐标转换单元302、一校正评价单元303及一处理器(图中未绘示)，处理器供以运行校正品质检测装置30且可控制上述各单元作动，并具备逻辑运算、暂存运算结果、保存执行指令位置等功能。

(4)特征检测单元301可从立体摄像机20所获取的左眼及右眼影像检测出多个方块影像(FG1、FG2…)及多个方块角点影像(FC1、 FC2…)，并可提取其中一方块角点成像于一影像坐标(image coordinate)的一左眼成像坐标及一右眼成像坐标，而检测或渲染方块影像及方块角点影像的技术手段，并非本发明的主要特征，于此不加以详述，相关技术可参OpenCV开放原始码函式库的 findChessboardCorners()等函数，均不以此为限；

(5)坐标转换单元302可依据左眼成像坐标及右眼成像坐标计算一视差，并可进一步依据视差、立体摄像机20的一内部参数及一外部参数，将方块角点的影像坐标转换至一世界坐标(world coordinate)，其中，内部参数可包含一焦距(focal length)、一位置偏差量(cx,cy，单位为像素，其分别表示在正x轴方向与正y轴方向中，左眼及右眼影像获取单元(201,202)的中心相对于透镜的光轴的偏差值)、一畸变参数(distortion coefficients)，而坐标转换过程中会需要先转换至一摄像机坐标(camera coordinate)，一般而言，影像坐标是为了描述成像过程中物体从摄像机坐标系到影像坐标系的投影透射关系而引入，是我们真正从立体摄像机20内读取到的影像所在的坐标系，单位为像素(pixel)；摄像机坐标就是以立体摄像机20为原点建立的坐标系，为了从立体摄像机20的角度描述物体位置而定义，作为沟通世界坐标系和影像坐标系的中间环节，单位为m；世界坐标为使用者定义的三维空间的坐标系，是为了描述某目标物在真实世界里的位置而被导入，单位为m；

(6)校正评价单元303可于计算相邻的两方块角点的世界坐标的差值后，以差值与基准值比较出一比对误差，而比对误差可供检测立体摄像机20的内部及外部参数的准确性，因此，可解决常规熟知校正品质检测方法或系统并无正解(即基准值)可供比对的问题；

(7)另，本实施例的校正评价单元303也可将矩形的多个基准影像分别投影至左眼影像及右眼影像，并提取与立体摄像机20的左眼及右眼影像获取单元(201,202)的一主轴点(principle point，即摄像机光轴与成像平面的交点)最邻近的方块角点影像，作为一中心基准点，再依序计算各基准影像的一基准影像角点与中心基准点的世界坐标的差值，以分别记录为一畸变误差，依此，可针对经过校正的立体摄像机20，评估被立体摄像机20获取的各方块影像(FG1、FG2…)及各角点影像(FC1、FC2…)距离主轴点(中心)越远，畸变状况越严重的情形是否已被修正(即各角点影像(FC1、FC2…)彼此的间的距离是否均一致)，故因此可判断畸变参数校正得是否够准确；

(8)另，本实施例的特征检测单元301也可判断方块角点影像 (FC1、FC2…)于一时空域的一变异量是否符合一位移门槛值，以判断立体摄像机20是否符合一稳定状态，若符合稳定状态，则特征检测单元301也可计算于左眼影像及右眼影像中的方块角点影像(FC1、FC2…)的一标准差(STD)，以判断各方块角点影像(FC1、FC2…)的特征点分布状态；

(9)其中，显示器10所显示校正板影像101的基准值，得以显示器10的一荧幕尺寸、一荧幕解析度及校正板影像的一方块数量计算而得；

(10)其中，校正板影像101可为一棋盘(Chessboard)图案、一 ArUco图案或一ChArUco图案的其中一种，并不以此为限。

请继续参阅「图2」，其为本发明的系统实施流程图，并请搭配参阅「图1」、「图3」及「图4」，本发明提出一种立体摄像机的校正品质的检测方法S，可包括以下步骤：

(1)于显示器显示方块大小为已知的校正板影像(步骤S10)：一校正品质检测装置30使一显示器10显示一校正板影像101，校正板影像101具有多个以矩阵方式排列的方块，方块具有彼此相邻的多个方块角点，且相邻的两方块角点的间的距离，被校正品质检测装置30 定义为一基准值，更具体而言，基准值可由荧幕尺寸与荧幕当下的解析度及校正板影像101的一方块数量来求得，举例而言，若荧幕大小为128x72公分，校正板影像101的解析度为3840x2160像素，宽度为16个方块，高度为9个方块，则每个方格为240x24像素，每公分的像素数量(pixel/cm)为30，也就是荧幕上的1公分就显示了30个像素，进而可求得每个方格的基准值(正解)为8x8公分；

(2)立体摄像机进行影像获取(步骤S20)：置于荧幕平整的显示器10前的一立体摄像机20，分别以一左眼影像获取单元201及一右眼影像获取单元202对校正板影像101进行拍摄，以分别获取出一左眼影像与一右眼影像；

(3)检测方块角点的特征(步骤S30)：校正品质检测装置30的一特征检测单元301分别从左眼影像及右眼影像检测出多个方块影像 (FG1、FG2…)及多个方块角点影像(FC1、FC2…)；

(4)计算角块角点视差及从影像坐标转换为世界坐标(步骤S40)：校正品质检测装置30的一坐标转换单元302分别从左眼影像与右眼影像，提取其中一方块角点(如目标点P)分别被左眼及右眼影像获取单元(201,202)观视后，成像于一影像坐标的一左眼成像坐标XL及一右眼成像坐标XR，并依据左眼成像坐标XL及右眼成像坐标XR的差值计算出一视差d，即计算目标点P成像于左眼及右眼影像的横向坐标的差值，从而实现了双目测距的原理，即如「图3」所示；

(5)承上，坐标转换单元302计算出视差d后，再依据视差d、立体摄像机20的一内部参数及一外部参数，将方块角点的影像坐标转换为一世界坐标(XW,YW,ZW)，再对相邻于被提取的方块角点的另一方块角点，重复执行步骤S40以计算另一方块角点的世界坐标，其中，本步骤S40于求得世界坐标时，得以下述公式进行演算，并且，下述公式的b为「图3」的左眼与右眼镜心(OL、OR)的中心距离差，

表示方块角点(例如目标点P)于影像坐标系下的点坐标，d为视差， XW、YW、ZW则分别表示方块角点于世界坐标系下的点坐标，相关推导原理也可参见OpenCV API Reference于「Camera Calibration and 3D Reconstruction」所公开的教程文件，惟以下公式及OpenCV相关技术仅为举例，并不以此为限，特先陈明：

(6)另，执行步骤S40所需的内部参数可包含一焦距、一位置偏差量(cx,cy)、一畸变参数等参数；

(7)将摄像机所提取两方块角点的世界坐标距离与基准值作比较，以求得一比对误差(步骤S50)：校正品质检测装置30的一校正评价单元303计算相邻的两方块角点的世界坐标的差值，再以差值与基准值比较出一比对误差，比对误差可供检测立体摄像机20的内部参数及外部参数的准确性，因此，可解决常规熟知校正品质检测方法或系统并无正解(即基准值)可供比对的问题。

(8)承上，本实施例的检测方法S更可连续执行以下步骤：

(9)投影多个基准影像以观察畸变情形(步骤S60)：校正评价单元303将矩形的多个基准影像(R1、R2、…)分别投影至左眼影像及右眼影像，并提取与立体摄像机20的一主轴点Pp(principle point)最邻近的方块角点影像，作为一中心基准点Fc，即如「图4」所示，且由图4可知，本实施例的基准影像(R1、R2、…)以四个边均等长的矩形状呈现为佳，且各基准影像(R1、R2、…)均以相同的间距间隔排列为佳；

(10)计算畸变误差(步骤S70)：校正评价单元303依序计算各基准影像(R1、R2、…)的一基准影像角点(R1C1、R2C1…)与中心基准点Fc的世界坐标的差值，以分别记录为一畸变误差(distortion error)，并判断畸变误差是否符合一畸变阈值，若未符合，重新进行一影像校正动作，依此，可针对经过校正的立体摄像机20，评估被立体摄像机 20获取的各方块影像(FG1、FG2…)及各角点影像(FC1、FC2…)距离主轴点(中心)越远，畸变越严重的情形是否已被修正(即各角点影像 (FC1、FC2…)彼此的间的距离是否均一致)，故因此可判断畸变参数校正得是否够准确，而畸变主要可分为径向畸变(Radial Distortion)和切向畸变(tangential distortion)，其中，径向畸变又可分为Pincushion 及Barrel畸变，于此不再赘述。

请参阅「图5」，其为本发明的另一实施例(一)的系统实施流程图，并请搭配参阅「图1」，本实施例与「图2」的技术类同，主要差异在于，由于立体摄像机20可于步骤S20以一致角度获取多张影像，故当步骤S30执行完毕，并于执行步骤S40前，可先执行步骤 S301(于时空域分析方块角点影像稳定度):特征检测单元301判断方块角点影像(FC1、FC2…)于一时空域的一变异量是否符合一位移门槛值，若有符合，则判断立体摄像机20为一稳定状态(stability)，并可连续执行步骤S40；反的，若未符合位移门槛值，也就是判断方块角点影像(FC1、FC2…)的影像坐标会因跳动而不一致；因此，本实施例据以实施后，可预先测试立体摄像机20所获取的影像是否模糊，如果影像模糊则无需连续执行步骤S40，而应先修正影像稳定度不佳的问题。

请参阅「第6图」，其为本发明的另一实施例(二)的系统实施流程图，并请搭配参阅「图1」，本实施例与「图5」的技术类同，主要差异在于，当步骤S301的分析结果为符合，即判断立体摄像机20 为稳定状态时，可连续执行步骤S302(分析方块角点影像的标准差):特征检测单元301计算于左眼影像及右眼影像中的方块角点影像的一标准差(StandardDeviation)，以判断各方块角点影像的特征点分布状态，若标准差低于一标准差阈值，则判断左眼影像及右眼影像的特征点分布状态较为均匀，并可连续执行步骤S40。

综上可知，本发明据以实施后，至少可达成同时检验立体摄像机之内外部参数与畸变参数的准确性、可让立体摄像机校正品质的检测结果更臻准确的有益功效，并且，即便在检测空间有限的情况下(如产线)，仍然得以本发明的解决方案进行校正品质的检测，再者，由于本发明的校正板影像系由荧幕平整的显示器予以显示，故在光源均匀、校正板影像可控的情况下，作出的校正品质检测结果将更为准确。

以上所述者，仅为本发明较佳的实施例而已，并非用以限定本发明实施的范围；任何熟习此技艺者，在不脱离本发明的精神与范围下所作的均等变化与修饰，皆应涵盖于本发明的专利范围内。

【符号说明】

S 立体摄像机的校正品质的检测方法

S10 于显示器显示方块大小为已知的校正板影像

S20 立体摄像机进行影像获取

S30 检测方块角点的特征

S301 于时空域分析方块角点影像稳定度

S302 分析方块角点影像的标准差

S40 计算角块角点视差及从影像坐标转换为世界坐标

S50 将摄像机所提取两方块角点的世界坐标距离与基准值作比较，以求得一比对误差

S60 投影多个基准影像以观察畸变情形

S70 计算畸变误差

FG1 方块影像 FG2 方块影像

FC1 方块角点影像 FC2 方块角点影像

XL 左眼成像坐标 XR 右眼成像坐标

d 视差

Pp 主轴点 Fc 中心基准点

R1 基准影像 R2 基准影像

R1C1 基准影像角点 R2C1 基准影像角点

1 立体摄像机的校正品质的检测系统

10 显示器 101 校正板影像

20 立体摄像机 201 左眼影像获取单元

202 右眼影像获取单元

30 校正品质检测系统 301 特征检测单元

302 坐标转换单元

303 校正评价单元。

Claims (10)

1.一种立体摄像机的校正品质的检测方法，包含：

(A)一显示器显示一校正板影像，所述校正板影像具有多个以矩阵方式排列的方块，所述方块具有彼此相邻的多个方块角点，且相邻的两所述方块角点的间的距离，被定义为一基准值；

(B)置于所述显示器前的一立体摄像机对所述校正板影像进行拍摄，分别获取出一左眼影像与一右眼影像；

(C)分别从所述左眼影像及所述右眼影像检测出多个方块角点影像；

(D)分别从所述左眼影像与所述右眼影像，提取其中一所述方块角点成像于一影像坐标的一左眼成像坐标及一右眼成像坐标，并依据所述左眼成像坐标及所述右眼成像坐标计算一视差；

(E)依据所述视差、所述立体摄像机的一内部参数及一外部参数，将其中一所述方块角点的所述影像坐标转换为一世界坐标；

(F)将相邻于被提取所述方块角点的另一所述方块角点，重复执行所述步骤(D)～所述步骤(E)以计算另一所述方块角点的所述世界坐标；以及

(G)计算相邻的两所述方块角点的所述世界坐标的差值，再以所述差值与所述基准值比较出一比对误差，所述比对误差可供检测所述立体摄像机的所述内部参数及所述外部参数的准确性。

2.如权利要求1所述的立体摄像机的校正品质的检测方法，其特征在于，所述(G)步骤执行完毕后，连续执行以下步骤：

(H)将矩形的多个基准影像分别投影至所述左眼影像及所述右眼影像，并提取与所述立体摄像机的一主轴点最邻近的所述方块角点影像，作为一中心基准点；

(I)依序计算各所述基准影像的一基准影像角点与所述中心基准点的所述世界坐标的差值，以分别记录为一畸变误差，并判断所述畸变误差是否符合一畸变阈值，若未符合，重新进行一影像校正动作。

3.如权利要求1所述的立体摄像机的校正品质的检测方法，其特征在于，当所述(C)步骤执行完毕，执行所述(D)步骤前，先判断所述方块角点影像于一时空域的一变异量是否符合一位移门槛值，若有则判断所述立体摄像机为一稳定状态。

4.如权利要求1所述的立体摄像机的校正品质的检测方法，其特征在于，于所述(A)步骤定义所述基准值时，系以所述显示器的一荧幕尺寸、一荧幕解析度及所述校正板影像的一方块数量计算而得。

5.如权利要求3所述的立体摄像机的校正品质的检测方法，其特征在于，执行所述(C)步骤时，若判断所述立体摄像机为所述稳定状态，先计算于所述左眼影像及所述右眼影像中的所述方块角点影像的一标准差，以判断各所述方块角点影像的特征点分布状态，若所述标准差低于一标准差阈值，则判断所述左眼影像及所述右眼影像的特征点分布状态较为均匀，并连续执行所述(D)步骤。

6.一种立体摄像机的校正品质的检测系统，包含：

一显示器，供以显示一校正板影像，所述校正板影像具有多个以矩阵方式排列的方块，所述方块具有彼此相邻的多个方块角点，且相邻的两所述方块角点的间的距离，被定义为一基准值；

一立体摄像机，置于荧幕平整的所述显示器前，供以利用一左眼影像获取单元和一右眼影像获取单元对所述校正板影像进行拍摄，以分别获取出一左眼影像与一右眼影像；

一校正品质检测装置，分别耦接于所述显示器及所述立体摄像机，所述校正品质检测装置具有相互呈信息连结的一特征检测单元、一坐标转换单元及一校正评价单元；

该所述特征检测单元供以从所述立体摄像机所获取的影像检测出多个方块角点影像，并可提取所述方块角点成像于一影像坐标的一左眼成像坐标及一右眼成像坐标；

该所述坐标转换单元供以依据所述左眼成像坐标及所述右眼成像坐标计算一视差，并依据所述视差、所述立体摄像机的一内部参数及一外部参数，将所述方块角点的所述影像坐标转换为一世界坐标；以及

该所述校正评价单元供以计算相邻的两所述方块角点的所述世界坐标的差值，也供以该所述差值与所述基准值比较出一比对误差，所述比对误差供检测所述立体摄像机的所述内部参数及所述外部参数的准确性。

7.如权利要求6所述的立体摄像机的校正品质的检测系统，其特征在于，所述校正评价单元也也供将矩形的多个基准影像分别投影至所述左眼影像及所述右眼影像，并提取与所述立体摄像机的一主轴点最邻近的所述方块角点影像，作为一中心基准点，再依序计算各所述基准影像的一基准影像角点与所述中心基准点的所述世界坐标的差值，以分别记录为一畸变误差。

8.如权利要求6所述的立体摄像机的校正品质的检测系统，其特征在于，所述特征检测单元也供以判断所述方块角点影像于一时空域的一变异量是否符合一位移门槛值，以判断所述立体摄像机是否符合一稳定状态。

9.如权利要求6所述的立体摄像机的校正品质的检测系统，其特征在于，所述显示器的所述校正板影像的所述基准值，系以所述显示器的一荧幕尺寸、一荧幕解析度及所述校正板影像的一方块数量计算而得。

10.如权利要求8所述的立体摄像机的校正品质的检测系统，其特征在于，若所述立体摄像机符合所述稳定状态，则所述特征检测单元也供计算于所述左眼影像及所述右眼影像中的所述方块角点影像的一标准差，以判断各所述方块角点影像的特征点分布状态。

Images