CN107610185A - 一种鱼眼相机快速标定装置及标定方法 - Google Patents
一种鱼眼相机快速标定装置及标定方法 Download PDFInfo
- Publication number
- CN107610185A CN107610185A CN201710946776.6A CN201710946776A CN107610185A CN 107610185 A CN107610185 A CN 107610185A CN 201710946776 A CN201710946776 A CN 201710946776A CN 107610185 A CN107610185 A CN 107610185A
- Authority
- CN
- China
- Prior art keywords
- camera
- mtd
- scaling board
- fisheye camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
一种鱼眼相机快速标定装置及标定方法，其中装置包括图像采集模块、标定板模块和PC控制模块；图像采集模块由智能云台和安装在智能云台上的鱼眼相机构成；鱼眼相机包括机身、固定在机身上的多个鱼眼镜头，以及设置在机身上的多个图像传感器，每个镜头对应一个图像传感器；标定板模块包括标定板，标定板包括单目标定板和双目立体标定板，且单目标定板和双目立体标定板分别设置在所述标定板的正面和反面；图像采集模块与PC控制模块电性相连，用于控制智能云台带动鱼眼相机水平旋转和垂直旋转，并控制鱼眼相机采集不同视角的标定板模块的标定板图像，以完成相机的自动标定，本发明实现了相机的快速，精准的标定。
Description
技术领域
本发明属于全景摄像机标定技术领域，具体涉及一种鱼眼相机快速标定装置及标定方法。
背景技术
相机标定是摄影测量、3D成像和图像几何校正等工作中的关键技术之一，它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。
相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上坐标已知点与图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆孔标定板以及3D立体标定靶，传统相机标定的方法必须多次采集不同视角的标定板图像，因而需要人为的移动标定板或者是相机，在实际的生产中这种操作是费时费力的，同时增加了生产的成本。
目前的相机自标定算法，主要是利用场景中的一些平行或者正交的信息，其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强，可对相机进行在线标定，但是由于他是基于绝对二次曲线或曲面的方法，其算法的鲁棒性差，标定的精度不高，因而在实际的生产中应用不大。
发明内容
现有技术中，基于标定板标定鱼眼相机的方法中，采用的都是单一的平面标定板，对标定区域要求比较高，一般是以最小标定距离为半径的圆。而实际生产中可利用的标定区域是有限的，标定过程中需要人工多次手动的调整标定板及鱼眼相机的位置，比较浪费人力物力，此外，采集不同视角下的标定板图像对标定的精准度影响非常大，在实际生产中，如果采集的标定板图像畸变较大，使标定的结果不准确，从而需要重新标定，这样就浪费了大量的时间。为了解决这种问题，本发明提供了一种鱼眼相机快速标定装置，具体方案如下：
一种鱼眼相机快速标定装置，具体包括图像采集模块、标定板模块和PC控制模块；
所述图像采集模块由智能云台和安装在智能云台上的鱼眼相机构成；
所述鱼眼相机包括机身、固定在机身上的多个鱼眼镜头，以及设置在机身上的多个图像传感器，每个鱼眼镜头均位于同一高度，且每个镜头对应一个图像传感器；
所述标定板模块固定在鱼眼相机前，所述标定板模块包括标定板，所述标定板包括单目标定板和双目立体标定板，且单目标定板和双目立体标定板分别设置在所述标定板的正面和反面，所述双目立体标定板由分别设置在左右位置的子标定板1和子标定板2构成；
所述图像采集模块与PC控制模块电性相连，用于控制智能云台带动鱼眼相机水平旋转和垂直旋转，并控制鱼眼相机采集不同视角的标定板模块的标定板图像，以完成相机的自动标定。
其中，在上述装置中，所述鱼眼镜头的数量为四个。
其中，在上述装置中，所述智能云台的型号为SN-301智能云台，所述SN-301智能云台可进行垂直90度旋转，以及水平355度旋转，并且垂直旋转的速度为3度每秒，水平旋转的速度为15度每秒。
其中，在上述装置中，所述标定板模块中的单目标定板和双目标定板上均设置有黑白相间的棋盘格图案。
本发明的鱼眼相机快速标定装置，通过包括图像采集模块、标定板模块和PC控制模块；所述图像采集模块由智能云台和安装在智能云台上的鱼眼相机构成；所述鱼眼相机包括机身、固定在机身上的多个鱼眼镜头，以及设置在机身上的多个图像传感器，每个鱼眼镜头均位于同一高度，且每个镜头对应一个图像传感器；所述标定板模块固定在鱼眼相机前，所述标定板模块包括标定板，所述标定板包括单目标定板和双目立体标定板，且单目标定板和双目立体标定板分别设置在所述标定板的正面和反面，所述双目立体标定板由分别设置在左右位置的子标定板1和子标定板2构成；所述图像采集模块与PC控制模块电性相连，用于控制智能云台带动鱼眼相机水平旋转和垂直旋转，并控制鱼眼相机采集不同视角的标定板模块的标定板图像，以完成相机的自动标定，使得本发明的鱼眼相机可放置在可以任意旋转的云台上，利用PC控制模块控制智能云台并带动鱼眼相机转动到预设的位置，采集标定中所需的不同视角的标定板图像，从而实现了相机的快速，精准的标定，因此，本发明在实际生产中可以节省时间、人力、物力成本，且提高了生产效率。
根据本发明的另一个方面，本发明还提供了一种包括上述任一项所述的鱼眼相机快速标定装置的标定方法，具体包括如下步骤：
S1，选用单目标定板，采集鱼眼相机各个视角的单目标定板图像；
S2，根据所述单目标定板图像对鱼眼相机进行单目标定；
S3，选用双目立体标定板，采集鱼眼相机各个视角的双目标定板图像；
S4，根据所述双目标定板图像对鱼眼相机进行双目立体标定。
其中，在上述方法中，所述采集鱼眼相机各个视角的单目标定板图像的具体步骤如下：
PC控制模块控制智能云台带动鱼眼相机转动，以采集每个鱼眼镜头视野范围内上、下、左、右、中、左上、右上、左下、右下各区域内的单目标定板图像。
其中，在上述方法中，所述步骤S2中对鱼眼相机进行单目标定的过程，具体包括如下步骤：
S21，采用旋转矩阵R和平移向量T定义世界坐标系W-XYZ与相机坐标系C-XYZ之间的坐标映射关系，将相机坐标系C-XYZ经过平移向量T和旋转矩阵R变换后得到世界坐标系W-XYZ；
S22，建立相机标定模型：
设任意标定板图像中任意一点P在世界坐标系下的坐标为Pw＝(Xw,Yw,Zw)T，在相机坐标系下的坐标为Pc＝(Xc,Yc,Zc)T，它们之间满足如下关系：
Pc＝R×Pw+T (1)
由于相机坐标系C-XYZ是三维的，图像坐标系I-XY是二维的，将相机坐标系中的点投影到图像坐标系中，点P在相机坐标系中的坐标Pc＝(Xc,Yc,Zc)T与图像坐标系中的坐标P＝(x,y)T满足如下关系：
公式(2)中，s为任意尺度的比例因子，M是相机的内参数矩阵，fx表示相机在成像平面x方向的等效焦距，fy表示相机在成像平面y方向的等效焦距，(cx,cy)表示主点在成像平面x、y方向上的像素坐标；
其中，相机标定模型的齐次坐标形式表示为：
公式(3)中，表示图像平面坐标系中特征点坐标， 表示标定板坐标系下空间特征点；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，且W＝[R|T]。
S23，根据步骤S1中所采集的不同视场的单目标定板图像，提取所有标定板在成像平面内的特征点坐标，利用所述相机标定模型，分别计算鱼眼相机中各个鱼眼镜头的内参数和外参数。
其中，在上述方法中，所述采集鱼眼相机各个视角的双目标定板图像的具体步骤如下：
利用相邻的两个鱼眼镜头同时拍摄双目立体标定板，且采集图像时使左右两个子标定板分别只出现在一个鱼眼镜头的视野内，PC控制模块控制智能云台带动鱼眼相机转动，以采集每个鱼眼镜头视野范围内上、中上、中、中下、下各区域内的双目标定板图像。
其中，在上述方法中，所述步骤S4中对鱼眼相机进行双目立体标定的过程，具体包括如下步骤：
S41，对双目立体标定板中的左右两个子标定板1、2分别以左上角为原点建立世界坐标系01-XZY和02-XYZ，
S42，利用平移向量T0表示世界坐标系01-XYZ和02-XYZ的空间关系，建立双目立体标定模型；
所述两个相邻的鱼眼镜头分别为左鱼眼镜头和右鱼眼镜头，设任意双目标定板图像中任意空间中的一点为P，在两个子标定板1、2世界坐标系中的坐标为X1、X2，则X1和X2满足如下关系：
X2＝X1-T0 (4)
空间点P在左鱼眼镜头坐标系下的坐标为Xl，在右鱼眼镜头坐标系下的坐标为Xr，它们之间有如下转换关系：
Xl＝Rl×X1+Tl，Xr＝Rr×X2+Tr (5)
公式(5)中，Rl和Tl表示左鱼眼镜头的外参数，Rr和Tr表示右鱼眼镜头的外参数。
通过公式(4)和公式(5)中消除X1，X2，可得：
Xr＝Rr×Rl -1×Xl-Rr×T0+Tr-Rr×Rl -1×Tl (6)
进而可推得：
R＝Rr×Rl -1，T＝-Rr×T0+Tr-Rr×Rl -1×Tl (7)
公式(7)中，R和T表示左鱼眼镜头坐标系经过旋转矩阵R和平移向量T变换后得到的右鱼眼镜头坐标系，R和T即相邻鱼眼镜头之间进行双目立体标定的结果；
S43，根据步骤S3中采集的不同视场的双目立体标定板图像，提取所有双目立体标定板在平面内的特征点坐标，利用所述双目立体标定模型，分别计算全景相机中相邻摄像头之间的旋转矩阵R和平移向量T，从而实现鱼眼相机的标定。
本发明的标定方法中，通过包括如下步骤：选用单目标定板，采集鱼眼相机各个视角的单目标定板图像；根据所述单目标定板图像对鱼眼相机进行单目标定；选用双目立体标定板，采集鱼眼相机各个视角的双目标定板图像；根据所述双目标定板图像对鱼眼相机进行双目立体标定，使得本发明的鱼眼相机可放置在可以任意旋转的云台上，利用PC控制模块控制智能云台并带动鱼眼相机转动到预设的位置，采集标定中所需的不同视角的标定板图像，从而实现了相机的快速，精准的标定，因此，本发明在实际生产中可以节省时间、人力、物力成本，且提高了生产效率。
附图说明
图1是本发明实施例提供的一种鱼眼相机快速标定装置的结构示意图；
图2是本发明实施例提供的双目立体标定板示意图；
图3是本发明实施例提供的一种标定方法的方法流程图。
图中：1、图像采集模块，2、标定板模块，3、PC控制模块，4、智能云台，41、底座，42、托板，43、执行单元，5、鱼眼相机，51、机身，501、鱼眼镜头。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上坐标已知点与图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆孔标定板以及3D立体标定靶，传统相机标定的方法必须多次采集不同视角的标定板图像，因而需要人为的移动标定板或者是相机，在实际的生产中这种操作是费时费力的，同时增加了生产的成本。
这种情况下，快速自定义标定的方式随之产生，通过本方案提出的鱼眼相机5快速标定装置及标定方法，可通过智能云台4带动鱼眼相机5任意角度转动，以采集标定中所需的不同视角的标定板图像，从而实现了相机的快速，精准的标定，在实际生产中可以节省时间、人力、物力成本，提高生产的效率。
本发明提供的鱼眼相机5快速标定装置，用于通过相机标定并估计相机的内外参数，如图1所示，包括图像采集模块1、标定板模块2和PC控制模块3；
所述图像采集模块1由智能云台4和安装在智能云台4上的鱼眼相机5构成；
具体实施中，所述智能云台4包括底座41、托板42以及执行单元43，执行单元43包含控制云台水平转动和垂直转动的编解码电路板。
所述鱼眼相机5包括机身51、固定在机身51上的多个鱼眼镜头501，以及设置在机身51上的多个图像传感器，每个鱼眼镜头501均位于同一高度，且每个镜头对应一个图像传感器；
如图2所示，所述标定板模块2固定在鱼眼相机5前，所述标定板模块2包括标定板，所述标定板包括单目标定板和双目立体标定板，且单目标定板和双目立体标定板分别设置在所述标定板的正面和反面，所述双目立体标定板由分别设置在左右位置的子标定板1和子标定板2构成；
如图2所示，在标定过程中，可根据对鱼眼相机5进行单目标定或是双目标定选择对应的标定板，并且标定板的位置在标定过程中不需要人为的移动；
所述图像采集模块1与PC控制模块3电性相连，用于控制智能云台4带动鱼眼相机5水平旋转和垂直旋转，并控制鱼眼相机5采集不同视角的标定板模块2的标定板图像，以完成相机的自动标定。
具体实施中，所述图像采集模块1与PC控制模块3之间通过485转接USB转接线相连以进行数据通讯，当然，还可以是其他数据通讯方式，如无线网络或有线网络通讯。PC控制模块3控制智能云台4的水平旋转和垂直旋转，从而控制鱼眼相机5采集不同视角的标定板图像，以完成相机的自动标定。
优选地，所述鱼眼镜头501的数量为四个。
优选地，所述智能云台4的型号为SN-301智能云台4，所述SN-301智能云台4可进行垂直90度旋转，以及水平355度旋转，并且垂直旋转的速度为3度每秒，水平旋转的速度为15度每秒，这样可以确保在标定时采集到镜头视野范围内各个区域的标定板图像，提高标定的精度。
优选地，所述标定板模块2中的单目标定板和双目标定板上均设置有黑白相间的棋盘格图案，使用这种标定板，可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点，而不受标定所处实际场景的约束。当然，标定板模块2中标定板的图案还可以设置成圆孔图案，或其它形状，同样能够实现标定结果。
本发明的鱼眼相机5快速标定装置，通过包括图像采集模块1、标定板模块2和PC控制模块3；所述图像采集模块1由智能云台4和安装在智能云台4上的鱼眼相机5构成；所述鱼眼相机5包括机身51、固定在机身51上的多个鱼眼镜头501，以及设置在机身51上的多个图像传感器，每个鱼眼镜头501均位于同一高度，且每个镜头对应一个图像传感器；所述标定板模块2固定在鱼眼相机5前，所述标定板模块2包括标定板，所述标定板包括单目标定板和双目立体标定板，且单目标定板和双目立体标定板分别设置在所述标定板的正面和反面，所述双目立体标定板由分别设置在左右位置的子标定板1和子标定板2构成；所述图像采集模块1与PC控制模块3电性相连，用于控制智能云台4带动鱼眼相机5水平旋转和垂直旋转，并控制鱼眼相机5采集不同视角的标定板模块2的标定板图像，以完成相机的自动标定，使得本发明的鱼眼相机5可放置在可以任意旋转的云台上，利用PC控制模块3控制智能云台4并带动鱼眼相机5转动到预设的位置，采集标定中所需的不同视角的标定板图像，从而实现了相机的快速，精准的标定，因此，本发明在实际生产中可以节省时间、人力、物力成本，且提高了生产效率。
本发明还提供了一种用于鱼眼相机5快速标定装置的标定方法，如图3所示，包括如下步骤：
步骤S1，选用单目标定板，采集鱼眼相机5各个视角的单目标定板图像；
步骤S2，根据所述单目标定板图像对鱼眼相机5进行单目标定；
步骤S3，选用双目立体标定板，采集鱼眼相机5各个视角的双目标定板图像；
步骤S4，根据所述双目标定板图像对鱼眼相机5进行双目立体标定。
上述方法中，所述采集鱼眼相机5各个视角的单目标定板图像的具体步骤如下：
PC控制模块3控制智能云台4带动鱼眼相机5转动，以采集每个鱼眼镜头501视野范围内上、下、左、右、中、左上、右上、左下、右下各区域内的单目标定板图像。上、下、左、右、中、左上、右上、左下、右下各区域内共九个单目标定板图像，九个单目标定板图像位于鱼眼相机5视野内与对应智能云台4转动的各个角度都是事先试验并设定好的，选择图中的各个位置可以控制云台旋转相应的角度，从而使相机采集对应视角的标定板图像。
具体实施中，采集鱼眼相机5各个视角的单目标定板图像中，一般采集的图像数量在9至12张，这样可使得标定结果的准确度较高，且计算量适中。
上述方法中，所述步骤S2中对鱼眼相机5进行单目标定的过程，具体包括如下步骤：
步骤S21，采用旋转矩阵R和平移向量T定义世界坐标系W-XYZ与相机坐标系C-XYZ之间的坐标映射关系，将相机坐标系C-XYZ经过平移向量T和旋转矩阵R变换后得到世界坐标系W-XYZ；
步骤S22，建立相机标定模型：
设任意标定板图像中任意一点P在世界坐标系下的坐标为Pw＝(Xw,Yw,Zw)T，在相机坐标系下的坐标为Pc＝(Xc,Yc,Zc)T，它们之间满足如下关系：
Pc＝R×Pw+T (1)
由于相机坐标系C-XYZ是三维的，图像坐标系I-XY是二维的，将相机坐标系中的点投影到图像坐标系中，点P在相机坐标系中的坐标Pc＝(Xc,Yc,Zc)T与图像坐标系中的坐标P＝(x,y)T满足如下关系：
公式(2)中，s为任意尺度的比例因子，M是相机的内参数矩阵，fx表示相机在成像平面x方向的等效焦距，fy表示相机在成像平面y方向的等效焦距，(cx,cy)表示主点在成像平面x、y方向上的像素坐标；
其中，相机标定模型的齐次坐标形式表示为：
公式(3)中，表示图像平面坐标系中特征点坐标， 表示标定板坐标系下空间特征点；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，且W＝[R|T]。
步骤S23，根据步骤S1中所采集的不同视场的单目标定板图像，提取所有标定板在成像平面内的特征点坐标，利用所述相机标定模型，分别计算鱼眼相机5中各个鱼眼镜头501的内参数和外参数。
上述方法中，所述采集鱼眼相机5各个视角的双目标定板图像的具体步骤如下：
利用相邻的两个鱼眼镜头501同时拍摄双目立体标定板，且采集图像时使左右两个子标定板分别只出现在一个鱼眼镜头501的视野内，PC控制模块3控制智能云台4带动鱼眼相机5转动，以采集每个鱼眼镜头501视野范围内上、中上、中、中下、下各区域内的双目标定板图像。上、中上、中、中下、下各区域内的总共五个双面标定板图像，五个双面标定板图像在鱼眼镜头501内的位置与智能云台4转动的角度一一对应，并且是事先确定好的，选定图中的每个位置可以控制云台转动对应的角度，从而采集到双目立体标定所需的双目标定板图像。
上述方法中，所述步骤S4中对鱼眼相机5进行双目立体标定的过程，具体包括如下步骤：
步骤S41，对双目立体标定板中的左右两个子标定板1、2分别以左上角为原点建立世界坐标系01-XYZ和02-XYZ；
步骤S42，利用平移向量T0表示世界坐标系01-XYZ和O2-XYZ的空间关系，建立双目立体标定模型；
所述两个相邻的鱼眼镜头501分别为左鱼眼镜头和右鱼眼镜头，设任意双目标定板图像中任意空间中的一点为P，在两个子标定板1、2世界坐标系中的坐标为X1、X2，则X1和X2满足如下关系：
X2＝X1-T0 (4)
空间点P在左鱼眼镜头501坐标系下的坐标为Xl，在右鱼眼镜头501坐标系下的坐标为Xr，它们之间有如下转换关系：
Xl＝Rl×X1+Tl，Xr＝Rr×X2+Tr (5)
公式(5)中，Rl和Tl表示左鱼眼镜头501的外参数，Rr和Tr表示右鱼眼镜头501的外参数。
通过公式(4)和公式(5)中消除X1，X2，可得：
Xr＝Rr×Rl -1×Xl-Rr×T0+Tr-Rr×Rl -1×Tl (6)
进而可推得：
R＝Rr×Rl -1T＝-Rr×T0+Tr-Rr×Rl -1×Tl (7)
公式(7)中，R和T表示左鱼眼镜头501坐标系经过旋转矩阵R和平移向量T变换后得到的右鱼眼镜头501坐标系，R和T即相邻鱼眼镜头501之间进行双目立体标定的结果；
步骤S43，根据步骤S3中采集的不同视场的双目立体标定板图像，提取所有双目立体标定板在平面内的特征点坐标，利用所述双目立体标定模型，分别计算全景相机中相邻摄像头之间的旋转矩阵R和平移向量T，从而实现鱼眼相机5的标定。
本发明的标定方法中，通过包括如下步骤：选用单目标定板，采集鱼眼相机5各个视角的单目标定板图像；根据所述单目标定板图像对鱼眼相机5进行单目标定；选用双目立体标定板，采集鱼眼相机5各个视角的双目标定板图像；根据所述双目标定板图像对鱼眼相机5进行双目立体标定，使得本发明的鱼眼相机5可放置在可以任意旋转的云台上，利用PC控制模块3控制智能云台4并带动鱼眼相机5转动到预设的位置，采集标定中所需的不同视角的标定板图像，从而实现了相机的快速，精准的标定，因此，本发明在实际生产中可以节省时间、人力、物力成本，且提高了生产效率。
Claims (9)
1.一种鱼眼相机快速标定装置，其特征在于，包括图像采集模块、标定板模块和PC控制模块；
所述图像采集模块由智能云台和安装在智能云台上的鱼眼相机构成；
所述鱼眼相机包括机身、固定在机身上的多个鱼眼镜头，以及设置在机身上的多个图像传感器，每个鱼眼镜头均位于同一高度，且每个镜头对应一个图像传感器；
所述标定板模块固定在鱼眼相机前，所述标定板模块包括标定板，所述标定板包括单目标定板和双目立体标定板，且单目标定板和双目立体标定板分别设置在所述标定板的正面和反面，所述双目立体标定板由分别设置在左右位置的子标定板1和子标定板2构成；
所述图像采集模块与PC控制模块电性相连，用于控制智能云台带动鱼眼相机水平旋转和垂直旋转，并控制鱼眼相机采集不同视角的标定板模块的标定板图像，以完成相机的自动标定。
2.根据权利要求1所述的鱼眼相机快速标定装置，其特征在于，所述鱼眼镜头的数量为四个。
3.根据权利要求1所述的鱼眼相机快速标定装置，其特征在于，所述智能云台的型号为SN-301智能云台，所述SN-301智能云台可进行垂直90度旋转，以及水平355度旋转，并且垂直旋转的速度为3度每秒，水平旋转的速度为15度每秒。
4.根据权利要求1所述的鱼眼相机快速标定装置，其特征在于，所述标定板模块中的单目标定板和双目标定板上均设置有黑白相间的棋盘格图案。
5.一种权利要求1至4任一项所述的鱼眼相机快速标定装置的标定方法，其特征在于，包括如下步骤：
S1，选用单目标定板，采集鱼眼相机各个视角的单目标定板图像；
S2，根据所述单目标定板图像对鱼眼相机进行单目标定；
S3，选用双目立体标定板，采集鱼眼相机各个视角的双目标定板图像；
S4，根据所述双目标定板图像对鱼眼相机进行双目立体标定。
6.根据权利要求5所述的方法，其特征在于，所述采集鱼眼相机各个视角的单目标定板图像的具体步骤如下：
PC控制模块控制智能云台带动鱼眼相机转动，以采集每个鱼眼镜头视野范围内上、下、左、右、中、左上、右上、左下、右下各区域内的单目标定板图像。
7.根据权利要求6所述的方法，其特征在于，所述步骤S2中对鱼眼相机进行单目标定的过程，具体包括如下步骤：
S21，采用旋转矩阵R和平移向量T定义世界坐标系W-XYZ与相机坐标系C-XYZ之间的坐标映射关系，将相机坐标系C-XYZ经过平移向量T和旋转矩阵R变换后得到世界坐标系W-XYZ；
S22，建立相机标定模型：
设任意标定板图像中任意一点P在世界坐标系下的坐标为Pw＝(Xw,Yw,Zw)T，在相机坐标系下的坐标为Pc＝(Xc,Yc,Zc)T，它们之间满足如下关系：
Pc＝R×Pw+T (1)
由于相机坐标系C-XYZ是三维的，图像坐标系I-XY是二维的，将相机坐标系中的点投影到图像坐标系中，点P在相机坐标系中的坐标Pc＝(Xc,Yc,Zc)T与图像坐标系中的坐标P＝(x,y)T满足如下关系：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>s</mi>
<mi>M</mi>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>w</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>e</mi>
<mi> </mi>
<mi>M</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(2)中，s为任意尺度的比例因子，M是相机的内参数矩阵，fx表示相机在成像平面x方向的等效焦距，fy表示相机在成像平面y方向的等效焦距，(cx,cy)表示主点在成像平面x、y方向上的像素坐标；
其中，相机标定模型的齐次坐标形式表示为：
<mrow>
<mover>
<mi>q</mi>
<mo>~</mo>
</mover>
<mo>=</mo>
<mi>s</mi>
<mi>M</mi>
<mi>W</mi>
<mover>
<mi>Q</mi>
<mo>~</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(3)中，表示图像平面坐标系中特征点坐标， 表示标定板坐标系下空间特征点；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，且W＝[R|T]；
S23，根据步骤S1中所采集的不同视场的单目标定板图像，提取所有标定板在成像平面内的特征点坐标，利用所述相机标定模型，分别计算鱼眼相机中各个鱼眼镜头的内参数和外参数。
8.根据权利要求7所述的方法，其特征在于，所述采集鱼眼相机各个视角的双目标定板图像的具体步骤如下：
利用相邻的两个鱼眼镜头同时拍摄双目立体标定板，且采集图像时使左右两个子标定板分别只出现在一个鱼眼镜头的视野内，PC控制模块控制智能云台带动鱼眼相机转动，以采集每个鱼眼镜头视野范围内上、中上、中、中下、下各区域内的双目标定板图像。
9.根据权利要求8所述的方法，其特征在于，所述步骤S4中对鱼眼相机进行双目立体标定的过程，具体包括如下步骤：
S41，对双目立体标定板中的左右两个子标定板1、2分别以左上角为原点建立世界坐标系O1-XYZ和O2-XYZ，
S42，利用平移向量T0表示世界坐标系O1-XYZ和O2-XYZ的空间关系,建立双目立体标定模型；
所述两个相邻的鱼眼镜头分别为左鱼眼镜头和右鱼眼镜头，设任意双目标定板图像中任意空间中的一点为P，在两个子标定板1、2世界坐标系中的坐标为X1、X2，则X1和X2满足如下关系：
X2＝X1-T0 (4)
空间点P在左鱼眼镜头坐标系下的坐标为Xl，在右鱼眼镜头坐标系下的坐标为Xr，它们之间有如下转换关系：
Xl＝Rl×X1+Tl，Xr＝Rr×X2+Tr (5)
公式(5)中，Rl和Tl表示左鱼眼镜头的外参数，Rr和Tr表示右鱼眼镜头的外参数；
通过公式(4)和公式(5)中消除X1，X2，可得：
Xr＝Rr×Rl -1×Xl-Rr×T0+Tr-Rr×Rl -1×Tl (6)
进而可推得：
R＝Rr×Rl -1，T＝-Rr×T0+Tr-Rr×Rl -1×Tl (7)
公式(7)中，R和T表示左鱼眼镜头坐标系经过旋转矩阵R和平移向量T变换后得到的右鱼眼镜头坐标系，R和T即相邻鱼眼镜头之间进行双目立体标定的结果；
S43，根据步骤S3中采集的不同视场的双目立体标定板图像，提取所有双目立体标定板在平面内的特征点坐标，利用所述双目立体标定模型，分别计算全景相机中相邻摄像头之间的旋转矩阵R和平移向量T，从而实现鱼眼相机的标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710946776.6A CN107610185A (zh) | 2017-10-12 | 2017-10-12 | 一种鱼眼相机快速标定装置及标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710946776.6A CN107610185A (zh) | 2017-10-12 | 2017-10-12 | 一种鱼眼相机快速标定装置及标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107610185A true CN107610185A (zh) | 2018-01-19 |
Family
ID=61068217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710946776.6A Pending CN107610185A (zh) | 2017-10-12 | 2017-10-12 | 一种鱼眼相机快速标定装置及标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610185A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198222A (zh) * | 2018-01-29 | 2018-06-22 | 大连东软信息学院 | 一种广角镜头标定及图像矫正方法 |
| CN108761430A (zh) * | 2018-04-12 | 2018-11-06 | 江苏大学 | 一种超声波雷达标定装置及方法 |
| CN108830906A (zh) * | 2018-05-31 | 2018-11-16 | 福州大学 | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 |
| CN109029364A (zh) * | 2018-06-04 | 2018-12-18 | 江西冠翔科技有限公司 | 一种车载式现场勘查系统 |
| CN109141506A (zh) * | 2018-06-28 | 2019-01-04 | 深圳奥比中光科技有限公司 | 多功能标定系统 |
| CN109559522A (zh) * | 2019-01-21 | 2019-04-02 | 中控智慧科技股份有限公司 | 一种调试方法、伸缩立柱、摄像机及存储介质 |
| CN109658459A (zh) * | 2018-11-30 | 2019-04-19 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109754434A (zh) * | 2018-12-27 | 2019-05-14 | 歌尔科技有限公司 | 相机标定方法、装置、用户设备及存储介质 |
| CN109978956A (zh) * | 2019-03-22 | 2019-07-05 | 新华三技术有限公司 | 采集设备的标定方法、装置及标定系统 |
| CN110264528A (zh) * | 2019-06-25 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
| CN110298887A (zh) * | 2019-05-31 | 2019-10-01 | 中国人民解放军陆军工程大学 | 一种可见光红外双波段复合标定板 |
| WO2020063708A1 (zh) * | 2018-09-28 | 2020-04-02 | 杭州海康威视数字技术股份有限公司 | 鱼眼摄像机内参标定方法、装置和系统、标定装置控制器以及标定器具 |
| WO2020224199A1 (zh) * | 2019-05-08 | 2020-11-12 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
| CN112116662A (zh) * | 2019-06-20 | 2020-12-22 | 上海炬佑智能科技有限公司 | 摄像头校正用设备 |
| CN112326198A (zh) * | 2020-10-29 | 2021-02-05 | 中国航空工业集团公司洛阳电光设备研究所 | 一种快速验证靶板及快速验证方法 |
| CN112581542A (zh) * | 2020-12-24 | 2021-03-30 | 北京百度网讯科技有限公司 | 自动驾驶单目标定算法的评估方法、装置及设备 |
| CN113269839A (zh) * | 2021-05-21 | 2021-08-17 | 深圳一清创新科技有限公司 | 一种相机标定方法、平台、装置及电子设备 |
| CN113496517A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 超广角畸变标定方法及装置 |
| CN116563186A (zh) * | 2023-05-12 | 2023-08-08 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729839A (zh) * | 2013-11-21 | 2014-04-16 | 新奥特（北京）视频技术有限公司 | 一种基于传感器的室外摄像机跟踪的方法及系统 |
| CN105118055A (zh) * | 2015-08-11 | 2015-12-02 | 北京电影学院 | 摄影机定位修正标定方法及系统 |
| CN105469412A (zh) * | 2015-12-09 | 2016-04-06 | 西安交通大学 | 一种ptz摄像机装配误差的标定方法 |
| CN106846415A (zh) * | 2017-01-24 | 2017-06-13 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机双目标定装置及方法 |
| CN106875339A (zh) * | 2017-02-22 | 2017-06-20 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
-
2017
- 2017-10-12 CN CN201710946776.6A patent/CN107610185A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729839A (zh) * | 2013-11-21 | 2014-04-16 | 新奥特（北京）视频技术有限公司 | 一种基于传感器的室外摄像机跟踪的方法及系统 |
| CN105118055A (zh) * | 2015-08-11 | 2015-12-02 | 北京电影学院 | 摄影机定位修正标定方法及系统 |
| CN105469412A (zh) * | 2015-12-09 | 2016-04-06 | 西安交通大学 | 一种ptz摄像机装配误差的标定方法 |
| CN106846415A (zh) * | 2017-01-24 | 2017-06-13 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机双目标定装置及方法 |
| CN106875339A (zh) * | 2017-02-22 | 2017-06-20 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198222B (zh) * | 2018-01-29 | 2021-09-03 | 大连东软信息学院 | 一种广角镜头标定及图像矫正方法 |
| CN108198222A (zh) * | 2018-01-29 | 2018-06-22 | 大连东软信息学院 | 一种广角镜头标定及图像矫正方法 |
| CN108761430A (zh) * | 2018-04-12 | 2018-11-06 | 江苏大学 | 一种超声波雷达标定装置及方法 |
| CN108830906A (zh) * | 2018-05-31 | 2018-11-16 | 福州大学 | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 |
| CN108830906B (zh) * | 2018-05-31 | 2023-10-24 | 福州大学 | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 |
| CN109029364A (zh) * | 2018-06-04 | 2018-12-18 | 江西冠翔科技有限公司 | 一种车载式现场勘查系统 |
| CN109141506A (zh) * | 2018-06-28 | 2019-01-04 | 深圳奥比中光科技有限公司 | 多功能标定系统 |
| WO2020063708A1 (zh) * | 2018-09-28 | 2020-04-02 | 杭州海康威视数字技术股份有限公司 | 鱼眼摄像机内参标定方法、装置和系统、标定装置控制器以及标定器具 |
| CN109658459A (zh) * | 2018-11-30 | 2019-04-19 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109658459B (zh) * | 2018-11-30 | 2020-11-24 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109754434A (zh) * | 2018-12-27 | 2019-05-14 | 歌尔科技有限公司 | 相机标定方法、装置、用户设备及存储介质 |
| CN109754434B (zh) * | 2018-12-27 | 2023-08-29 | 歌尔科技有限公司 | 相机标定方法、装置、用户设备及存储介质 |
| CN109559522A (zh) * | 2019-01-21 | 2019-04-02 | 中控智慧科技股份有限公司 | 一种调试方法、伸缩立柱、摄像机及存储介质 |
| CN109559522B (zh) * | 2019-01-21 | 2021-09-28 | 熵基科技股份有限公司 | 一种调试方法、伸缩立柱、摄像机及存储介质 |
| CN109978956A (zh) * | 2019-03-22 | 2019-07-05 | 新华三技术有限公司 | 采集设备的标定方法、装置及标定系统 |
| WO2020224199A1 (zh) * | 2019-05-08 | 2020-11-12 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
| US11514608B2 (en) | 2019-05-08 | 2022-11-29 | Sichuan Visensing Technology Co., Ltd. | Fisheye camera calibration system, method and electronic device |
| CN110298887A (zh) * | 2019-05-31 | 2019-10-01 | 中国人民解放军陆军工程大学 | 一种可见光红外双波段复合标定板 |
| CN112116662A (zh) * | 2019-06-20 | 2020-12-22 | 上海炬佑智能科技有限公司 | 摄像头校正用设备 |
| CN110264528A (zh) * | 2019-06-25 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
| CN110264528B (zh) * | 2019-06-25 | 2023-11-14 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
| CN113496517A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 超广角畸变标定方法及装置 |
| CN112326198B (zh) * | 2020-10-29 | 2022-09-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种快速验证靶板及快速验证方法 |
| CN112326198A (zh) * | 2020-10-29 | 2021-02-05 | 中国航空工业集团公司洛阳电光设备研究所 | 一种快速验证靶板及快速验证方法 |
| CN112581542A (zh) * | 2020-12-24 | 2021-03-30 | 北京百度网讯科技有限公司 | 自动驾驶单目标定算法的评估方法、装置及设备 |
| CN113269839A (zh) * | 2021-05-21 | 2021-08-17 | 深圳一清创新科技有限公司 | 一种相机标定方法、平台、装置及电子设备 |
| CN113269839B (zh) * | 2021-05-21 | 2023-10-27 | 深圳一清创新科技有限公司 | 一种相机标定方法、平台、装置及电子设备 |
| CN116563186A (zh) * | 2023-05-12 | 2023-08-08 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610185A (zh) | 一种鱼眼相机快速标定装置及标定方法 | |
| CN106548477B (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置及方法 | |
| CN106651961B (zh) | 一种基于彩色立体标定物的无人机标定方法及系统 | |
| CN105157566B (zh) | 三维立体彩色点云扫描的方法 | |
| CN108961395A (zh) | 一种基于拍照重建三维空间场景的方法 | |
| CN105243637B (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
| CN108646259A (zh) | 一种三维激光扫描仪设站定向装置及方法 | |
| CN104657103B (zh) | 基于深度摄像机的手持cave投影系统 | |
| CN103533235B (zh) | 面向重大案事件现场的快速的基于线阵ccd 的数字全景装置 | |
| CN106296783A (zh) | 一种结合空间全局3d视图和全景图片的空间展示方法 | |
| CN206563985U (zh) | 三维成像系统 | |
| CN202075794U (zh) | 一种无人机航摄立体成像处理设备 | |
| CN108090959A (zh) | 室内外一体建模方法及装置 | |
| CN105157602A (zh) | 基于机器视觉的远程三维扫描系统及方法 | |
| CN106991716A (zh) | 一种全景三维建模装置、方法及系统 | |
| CN106775528A (zh) | 一种虚拟现实的旅游系统 | |
| JP2023509137A (ja) | パノラマ３次元画像をキャプチャ及び生成するシステム及び方法 | |
| CN106921824A (zh) | 环绕式混合光场成像装置及方法 | |
| CN105719277B (zh) | 一种基于测绘与二维图像的变电站三维建模方法及系统 | |
| CN108830906A (zh) | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 | |
| CN107843251A (zh) | 移动机器人的位姿估计方法 | |
| CN102663753A (zh) | 一种基于双目立体视觉多视角的物体表面重建方法及装置 | |
| CN110487253A (zh) | 一种基于多旋翼无人机高精度不动产测量方法 | |
| CN106899782A (zh) | 一种实现交互式全景视频流地图的方法 | |
| CN110049304A (zh) | 一种稀疏相机阵列瞬时三维成像的方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |