CN115797468A - 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 - Google Patents
一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 Download PDFInfo
- Publication number
- CN115797468A CN115797468A CN202310053136.8A CN202310053136A CN115797468A CN 115797468 A CN115797468 A CN 115797468A CN 202310053136 A CN202310053136 A CN 202310053136A CN 115797468 A CN115797468 A CN 115797468A
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- camera
- calibrated
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000009434 installation Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 238000009395 breeding Methods 0.000 description 5
- 230000001488 breeding effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种鱼眼摄像头安装高度的自动校正方法、装置、设备及存储介质，其包括：利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头；通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。能够极大提高了下游算法任务的精度。
Description
技术领域
本发明涉及智能养殖技术领域，尤其涉及一种鱼眼摄像头安装高度的自动校正方法、装置以及设备。
背景技术
鱼眼相机在畜牧场景的监控中使用非常广泛，由于其超大的视角，在数字化猪场的建设中备受青睐。用鱼眼相机采集生猪养殖数据，运用算法进行分析，为养殖户提供实时、持续的高质量养殖数据。算法分析时，对于镜头安装高度十分敏感，不同高度采集到数据分析时的计算参数是不同的。受限于猪场复杂的生产环境，就算要求具体的摄像头安装高度，实际的安装也会存在一定差异。如果用规定安装高度作为后续算法的计算参数，会因为这种差异带来难以查证的误差。
发明内容
有鉴于此，本发明的目的在于提出一种鱼眼摄像头安装高度的自动校正方法、装置以及设备，旨在解决上述问题。
为实现上述目的，本发明提供一种鱼眼摄像头安装高度的自动校正方法，所述方法包括：
利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头，所述待标定鱼眼摄像头为单目鱼眼相机；
通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；
通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；
对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；
基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；
根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。
优选的，所述预设算法包括：通过加入模型复杂度的正则约束至KB畸变校正模型的优化适应度函数中。
优选的，所述通过加入模型复杂度的正则约束至KB畸变校正模型的优化适应度函数中，包括：根据
进行优化，其中，MSE表示均方拟合误差，K表示KB畸变校正模型，
表示畸变后图像坐标，
表示畸变前图像坐标，argmin表示使目标函数
取最小值时的变量值，
表示加入KB 畸变校正模型中的参数向量。
优选的，所述利用预设算法对待标定鱼眼摄像头进行标定，包括：
通过待标定鱼眼摄像头获取标定板图像；
检测所述标定板图像的像素坐标，并基于所述像素坐标构建对应的世界坐标；
计算所述标定板图像对应的单应矩阵；
根据所述单应矩阵计算所述待标定鱼眼摄像头的内参矩阵，并计算所述标定板图像对应的外参；
利用KB畸变校正模型计算初始畸变系数，并利用LM算法对所述内参矩阵、所述外参以及所述初始畸变系数进行非线性优化，得到最优的内外参数以及畸变系数；
基于所述像素坐标以及所述世界坐标的坐标对，通过PnP算法计算所述待标定鱼眼摄像头的相机外参。
优选的，所述通过待标定鱼眼摄像头获取标定板图像，包括：
通过所述待标定鱼眼摄像头对标定板根据不同位置以及不同角度进行拍摄，得到多张所述标定板图像；所述标定板为平面棋盘格。
优选的，所述基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值，包括：
分别对所述第一校正图像以及所述第二校正图像中标准件两个端点对应所在图像中的坐标进行标注，以计算两个端点之间的欧氏距离，得到所述实验室标准件像素值以及所述场内标准件像素值。
优选的，所述根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度，包括：
基于相似三角形原理得出：场内摄像头物理高度/实验室摄像头的预设高度=所述场内标准件像素值/（所述实验室标准件像素值*（场内标准件物理长度/实验室标准件的预设长度））。
为实现上述目的，本发明还提供一种鱼眼摄像头安装高度的自动校正装置，所述装置包括：
标定单元，用于利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头，所述待标定鱼眼摄像头为单目鱼眼相机；
第一拍摄单元，用于通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；
第二拍摄单元，用于通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；
校正单元，用于对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；
获取单元，用于基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；
计算单元，用于根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。
为了实现上述目的，本发明还提出一种设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种鱼眼摄像头安装高度的自动校正方法的步骤。
为了实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种鱼眼摄像头安装高度的自动校正方法的步骤。
有益效果：
以上方案，通过利用预设算法对待标定鱼眼摄像头进行标定，根据标定后的鱼眼摄像头拍摄实验室标准件以及场内标准件，根据所得到的图像进行校正后得到的实验室标准件像素值以及场内标准件像素值进行计算场内鱼眼摄像头的物理高度，能够降低客观条件以及人力成本的限制要求，极大提高了下游算法任务的精度，为生猪养殖赋能。
以上方案，通过加入模型复杂度的正则约束至KB畸变校正模型的优化适应度函数，能够缩小拟合算法的搜索空间，从而减小畸变拟合对标定点数量的需求，保证拟合精度的同时保证拟合的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种鱼眼摄像头安装高度的自动校正方法的流程示意图。
图2为本发明一实施例提供的对鱼眼摄像头进行标定的流程示意图。
图3为本发明一实施例提供的一种鱼眼摄像头安装高度的自动校正装置的结构示意图。
发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
以下结合实施例详细阐述本发明的内容。
参照图1所示为本发明一实施例提供的一种鱼眼摄像头安装高度的自动校正方法的流程示意图。
本实施例中，该方法包括：
S11，利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头，所述待标定鱼眼摄像头为单目鱼眼相机；
S12，通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；
S13，通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；
S14，对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；
S15，基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；
S16，根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。
具体的，本实施例中的方法可应用于猪场养殖场景。其中，上述标准件可以是垫子、秤、猪舍栏位等中的任意一种。通过标定后的鱼眼摄像头拍摄场内标准件和实验室标准件时，均使用相同尺寸的标准件。
在实际养殖场景中，由于环境复杂多变，导致鱼眼相机品牌繁多，型号各异。同时，不同品牌、不同型号鱼眼相机的镜头制作工艺千差万别，导致了鱼眼镜头在出厂过程中以及实际应用中均存在着不同程度的畸变现象，从而影响了监控系统对牲畜和饲养员的精准定位。一般需要采用鲁棒性更好的畸变校正模型对鱼眼镜头畸变进行拟合。然而鲁棒性更好的畸变校正模型又会导致拟合能力变差。如果单独提升畸变校正模型的拟合能力，势必会导致模型结构变复杂，易于过拟合。同时畸变校正模型越复杂也就意味着需要学习的参数越多，学习时间复杂度越高，需要更多的标定点，标定板图像质量也要求越好。
如果能够保证标定板图像质量较高、标定点数量较多且分布均匀，那么即使需要学习的参数量很大，只要有强大算力能满足高的算法时间复杂度，也能得到比较好的畸变校正模型，从而获得不错的拟合效果。但在实际养殖场景中，由于客观条件不足以及人力成本的限制，有效的标定板图像往往不足，分布均匀的标定点难以获得，所以高参数的畸变校正模型很容易出现过拟合现象，从而极大地影响了相机标定与目标定位的精度。
因此，在本实施例中，通过引入畸变校正模型进行鱼眼镜头畸变拟合的同时加入模型复杂度的正则约束，以便在保证拟合精度的同时保证拟合的鲁棒性，即，提出基于正则约束的 KB 畸变拟合算法（Regular Constraint-based KB Distortion FittingAlgorithm， RCKBDFA）。假设 KB畸变校正模型的所有参数服从高斯分布，将参数向量的 L2正则项加入到 KB 畸变校正模型的优化适应度函数中，以缩小拟合算法的搜索空间，从而减小畸变拟合对标定点数量的需求。加入模型复杂度的正则约束至KB畸变校正模型的优化适应度函数为：
其中， MSE表示均方拟合误差，K表示 KB 畸变校正模型，
表示畸变后图像坐标，
表示畸变前图像坐标，argmin是方法名，表示使目标函数
取最小值时的变量值，
表示加入KB 畸变校正模型中的参数向量。
参数向量指的是KB畸变校正模型中所有参数组成的向量；L2正则化计算方法是w中各参数平方和再取平方根，作用是防止KB畸变校正模型过拟合。
如图2所示。根据RCKBDFA算法对鱼眼摄像头进行标定的流程步骤包括：
S11-1，通过待标定鱼眼摄像头获取标定板图像；
S11-2，检测所述标定板图像的像素坐标，并基于所述像素坐标构建对应的世界坐标；
S11-3，基于矩阵运算，计算所述标定板图像对应的单应矩阵；
S11-4，基于外参矩阵中的单位正交性质，根据所述单应矩阵计算所述待标定鱼眼摄像头的内参矩阵，并计算所述标定板图像对应的外参；
S11-5，结合鱼眼相机的等距投影模型和利用KB畸变校正模型计算初始畸变系数，并利用LM算法对所述内参矩阵、所述外参以及所述初始畸变系数进行非线性优化，得到最优的内外参数以及畸变系数；
S11-6，基于所述像素坐标以及所述世界坐标的坐标对，通过PnP算法计算所述待标定鱼眼摄像头的相机外参。
具体的，通过使用平面棋盘格作为标定参照物即标定板，利用待标定的单目鱼眼相机拍摄多张不同位置与不同角度的标定板图像。对于每一张标定板图像，分别计算外参；然后对所有标定板图像，共同计算内参与畸变系数。也就是，外参标定前，需要先对图像做鱼眼校正，鱼眼校正需要使用优化过的内参和畸变系数，用优化过的系数标定外参可以提高标定精度；外参标定后，用同样的算法优化外参，内外参优化是分开进行的，先得到相机内参，再得到相机外参。
其成像过程如下式表示：
其中，
代表相机坐标系中Z轴的坐标（深度），
为世界坐标系中三维坐标点，
为该点在像素坐标系下对应的像素坐标，
与
为像素坐标系的尺度因子，
为成像中心，A为内参矩阵，R1、R2为旋转矩阵的第一列与第二列，s为表示相机感光板形状的一个影响参数，通常情况下相机感光板近似为一个严格的方形，此时s = 0。将
记为单应矩阵H，即H为内参矩阵和外参矩阵的积，可得
此时，单应矩阵H为齐次矩阵，有8个自由度，每一标定点对提供2个约束方程，因此，当一张图像上标定点对数量大于等于 4 时，可求解出对应的单应矩阵H。又旋转矩阵R中两列，R1，R2为相互正交的单位向量，即：
可得两个约束方程：
构建矩阵
：
其中，由于
为对称矩阵，且单应矩阵H已知，求解
过程中包含6个未知元素，而每张标定板图像可以提供如上式中的两个约束方程，因此，使用大于等于3张标定板图像，可以对
矩阵进行求解，进而求解出内参矩阵A。
对于所有标定板图像，相机内参矩阵A是共用的，即无论标定板和相机的位置关系如何，相机的内参矩阵A保持不变，而单应矩阵H对不同图像不同。
通过
，求得每一张图像对应的外参R1，R2，T，其中R1，R2为旋转矩阵的前两列。基于旋转矩阵的性质，R3可以通过R1，R2的叉乘获得。至此已经求解出内参矩阵A、旋转矩阵R与平移向量T。
最后，建立 KB 畸变校正畸变模型，可得畸变前后图像坐标之间的变换关系：
其中，
为相机坐标系中坐标相对原点的入射角
，
为
畸变后的入射角。
上述计算出的内参矩阵A、旋转矩阵R、平移向量T以及畸变系数K1、K2、K3、K4都属于预估值，需要结合畸变模型进行进一步的优化求解。使用 LM 算法求解以下目标函数：
其中，M表示世界坐标系中三维点， m表示像素坐标系上对应实际坐标点，
为重投影函数，
表示畸变模型中参数向量，argmin是方法名，表示使目标函数
取最小值时的变量值，A、R、T、K1、K2分别为内参矩阵、旋转矩阵、平移向量以及畸变系数，i表示标定图片的数量，j表示每张标定图片中内角点数量。
重投影，指的是实际的世界坐标通过上述求得的各种参数转化为像素坐标的过程，这个过程是一个点从世界坐标系->相机坐标系->像素坐标系，m是真实对应的像素坐标，重投影是通过内外参标定人为计算转化出的像素坐标（模型输出）。
进一步的，所述基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值，包括：
分别对所述第一校正图像以及所述第二校正图像中标准件两个端点对应所在图像中的坐标进行标注，以计算两个端点之间的欧氏距离，得到所述实验室标准件像素值以及所述场内标准件像素值。
进一步的，所述根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度，包括：
基于相似三角形原理得出：场内摄像头物理高度/实验室摄像头的预设高度=所述场内标准件像素值/（所述实验室标准件像素值*（场内标准件物理长度/实验室标准件的预设长度））。
参照图3所示为本发明一实施例提供的一种鱼眼摄像头安装高度的自动校正装置的结构示意图。
在本实施例中，该装置30包括：
标定单元31，用于利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头，所述待标定鱼眼摄像头为单目鱼眼相机；
第一拍摄单元32，用于通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；
第二拍摄单元33，用于通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；
校正单元34，用于对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；
获取单元35，用于基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；
计算单元36，用于根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。
该装置30的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。
本发明实施例还提供一种设备，该设备包括如上所述的鱼眼摄像头安装高度的自动校正装置，其中，鱼眼摄像头安装高度的自动校正装置可以采用图3实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。
所述设备包括：手机、数码相机或平板电脑等具有拍照功能的设备，或者具有图像处理功能的设备，或者具有图像显示功能的设备。所述设备可包括存储器、处理器、输入单元、显示单元、电源等部件。
其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如图像播放功能等)等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器和输入单元对存储器的访问。
输入单元可用于接收输入的数字或字符或图像信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，本实施例的输入单元除了包括摄像头，还可包括触敏表面（例如触摸显示屏）以及其他输入设备。
显示单元可用于显示由用户输入的信息或提供给用户的信息以及设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元可包括显示面板，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现图1所示的鱼眼摄像头安装高度的自动校正方法。所述计算机可读存储介质可以是只读存储器，磁盘或光盘等。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例、设备实施例及存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述方法包括：
利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头，所述待标定鱼眼摄像头为单目鱼眼相机；
通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；
通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；
对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；
基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；
根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。
2. 根据权利要求1所述的一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述预设算法包括：通过加入模型复杂度的正则约束至KB畸变校正模型的优化适应度函数中。
3.根据权利要求2所述的一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述通过加入模型复杂度的正则约束至KB畸变校正模型的优化适应度函数中，包括：根据
4.根据权利要求1所述的一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述利用预设算法对待标定鱼眼摄像头进行标定，包括：
通过待标定鱼眼摄像头获取标定板图像；
检测所述标定板图像的像素坐标，并基于所述像素坐标构建对应的世界坐标；
计算所述标定板图像对应的单应矩阵；
根据所述单应矩阵计算所述待标定鱼眼摄像头的内参矩阵，并计算所述标定板图像对应的外参；
利用KB畸变校正模型计算初始畸变系数，并利用LM算法对所述内参矩阵、所述外参以及所述初始畸变系数进行非线性优化，得到最优的内外参数以及畸变系数；
基于所述像素坐标以及所述世界坐标的坐标对，通过PnP算法计算所述待标定鱼眼摄像头的相机外参。
5.根据权利要求4所述的一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述通过待标定鱼眼摄像头获取标定板图像，包括：
通过所述待标定鱼眼摄像头对标定板根据不同位置以及不同角度进行拍摄，得到多张所述标定板图像；所述标定板为平面棋盘格。
6.根据权利要求1所述的一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值，包括：
分别对所述第一校正图像以及所述第二校正图像中标准件两个端点对应所在图像中的坐标进行标注，以计算两个端点之间的欧氏距离，得到所述实验室标准件像素值以及所述场内标准件像素值。
7.根据权利要求1所述的一种鱼眼摄像头安装高度的自动校正方法，其特征在于，所述根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度，包括：
基于相似三角形原理得出：场内摄像头物理高度/实验室摄像头的预设高度=所述场内标准件像素值/（所述实验室标准件像素值*（场内标准件物理长度/实验室标准件的预设长度））。
8.一种鱼眼摄像头安装高度的自动校正装置，其特征在于，所述装置包括：
标定单元，用于利用预设算法对待标定鱼眼摄像头进行标定，得到标定后的鱼眼摄像头，所述待标定鱼眼摄像头为单目鱼眼相机；
第一拍摄单元，用于通过标定后的所述鱼眼摄像头在实验室的预设高度拍摄预设长度的标准件，得到第一鱼眼图像；
第二拍摄单元，用于通过标定后的所述鱼眼摄像头拍摄场内标准件，得到第二鱼眼图像；
校正单元，用于对所述第一鱼眼图像以及所述第二鱼眼图像进行鱼眼校正，得到校正后的第一校正图像以及第二校正图像；
获取单元，用于基于所述第一校正图像以及所述第二校正图像分别获取实验室标准件像素值以及场内标准件像素值；
计算单元，用于根据所述实验室标准件像素值以及所述场内标准件像素值计算场内摄像头物理高度。
9.一种设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至7任意一项所述的一种鱼眼摄像头安装高度的自动校正方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至7任意一项所述的一种鱼眼摄像头安装高度的自动校正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310053136.8A CN115797468B (zh) | 2023-02-03 | 2023-02-03 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310053136.8A CN115797468B (zh) | 2023-02-03 | 2023-02-03 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797468A true CN115797468A (zh) | 2023-03-14 |
| CN115797468B CN115797468B (zh) | 2023-05-16 |
Family
ID=85429583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310053136.8A Active CN115797468B (zh) | 2023-02-03 | 2023-02-03 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797468B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252930A (zh) * | 2023-09-21 | 2023-12-19 | 之江实验室 | 一种大型展厅多相机监控系统内外参标定方法和系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240236A (zh) * | 2014-08-26 | 2014-12-24 | 中山大学 | 一种鱼眼镜头标定后鱼眼图像校正的方法 |
| CN107274352A (zh) * | 2017-04-26 | 2017-10-20 | 睿舆自动化（上海）有限公司 | 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统 |
| CN107833255A (zh) * | 2017-11-17 | 2018-03-23 | 广州市安晓科技有限责任公司 | 一种鱼眼镜头的快速标定方法 |
| WO2019127406A1 (zh) * | 2017-12-29 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种adas摄像头的标定方法、装置、存储介质及终端设备 |
| WO2021004642A1 (en) * | 2019-07-11 | 2021-01-14 | Toyota Motor Europe | A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system |
| CN112967344A (zh) * | 2021-03-09 | 2021-06-15 | 北京百度网讯科技有限公司 | 相机外参标定的方法、设备、存储介质及程序产品 |
| CN113409450A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种包含rgbdt信息的鸡只三维重建方法 |
| CN113421300A (zh) * | 2021-06-28 | 2021-09-21 | 上海迈外迪网络科技有限公司 | 确定鱼眼相机图像中物体实际位置的方法及装置 |
| CN113850867A (zh) * | 2021-08-20 | 2021-12-28 | 上海商汤临港智能科技有限公司 | 相机参数标定及设备的控制方法、装置、设备及存储介质 |
| CN114792343A (zh) * | 2022-06-21 | 2022-07-26 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
| WO2022160266A1 (zh) * | 2021-01-29 | 2022-08-04 | 深圳市锐明技术股份有限公司 | 一种车载摄像头的标定方法、装置及终端设备 |
| CN115311336A (zh) * | 2022-08-08 | 2022-11-08 | 广州极飞科技股份有限公司 | 多相机的图像配准方法、装置、设备及存储介质 |
| CN115457147A (zh) * | 2022-09-16 | 2022-12-09 | 北京的卢深视科技有限公司 | 相机标定方法、电子设备及存储介质 |
| WO2022257569A1 (zh) * | 2021-06-09 | 2022-12-15 | 上海商汤智能科技有限公司 | 图像采集装置的标定 |
| CN115523847A (zh) * | 2022-09-19 | 2022-12-27 | 武汉高德智感科技有限公司 | 单目相机测距的方法和系统 |
| CN115564842A (zh) * | 2022-09-16 | 2023-01-03 | 深圳见得空间科技有限公司 | 双目鱼眼相机的参数标定方法、装置、设备及存储介质 |
-
2023
- 2023-02-03 CN CN202310053136.8A patent/CN115797468B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240236A (zh) * | 2014-08-26 | 2014-12-24 | 中山大学 | 一种鱼眼镜头标定后鱼眼图像校正的方法 |
| CN107274352A (zh) * | 2017-04-26 | 2017-10-20 | 睿舆自动化（上海）有限公司 | 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统 |
| CN107833255A (zh) * | 2017-11-17 | 2018-03-23 | 广州市安晓科技有限责任公司 | 一种鱼眼镜头的快速标定方法 |
| WO2019127406A1 (zh) * | 2017-12-29 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种adas摄像头的标定方法、装置、存储介质及终端设备 |
| WO2021004642A1 (en) * | 2019-07-11 | 2021-01-14 | Toyota Motor Europe | A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system |
| WO2022160266A1 (zh) * | 2021-01-29 | 2022-08-04 | 深圳市锐明技术股份有限公司 | 一种车载摄像头的标定方法、装置及终端设备 |
| CN112967344A (zh) * | 2021-03-09 | 2021-06-15 | 北京百度网讯科技有限公司 | 相机外参标定的方法、设备、存储介质及程序产品 |
| WO2022257569A1 (zh) * | 2021-06-09 | 2022-12-15 | 上海商汤智能科技有限公司 | 图像采集装置的标定 |
| CN113421300A (zh) * | 2021-06-28 | 2021-09-21 | 上海迈外迪网络科技有限公司 | 确定鱼眼相机图像中物体实际位置的方法及装置 |
| CN113409450A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种包含rgbdt信息的鸡只三维重建方法 |
| CN113850867A (zh) * | 2021-08-20 | 2021-12-28 | 上海商汤临港智能科技有限公司 | 相机参数标定及设备的控制方法、装置、设备及存储介质 |
| CN114792343A (zh) * | 2022-06-21 | 2022-07-26 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
| CN115311336A (zh) * | 2022-08-08 | 2022-11-08 | 广州极飞科技股份有限公司 | 多相机的图像配准方法、装置、设备及存储介质 |
| CN115457147A (zh) * | 2022-09-16 | 2022-12-09 | 北京的卢深视科技有限公司 | 相机标定方法、电子设备及存储介质 |
| CN115564842A (zh) * | 2022-09-16 | 2023-01-03 | 深圳见得空间科技有限公司 | 双目鱼眼相机的参数标定方法、装置、设备及存储介质 |
| CN115523847A (zh) * | 2022-09-19 | 2022-12-27 | 武汉高德智感科技有限公司 | 单目相机测距的方法和系统 |
Non-Patent Citations (11)
| Title |
|---|
| 何志东 等: "一种基于拼接算法的鱼眼图像畸变校正方法" * |
| 何志东;张建伟;梁斌斌;: "一种基于拼接算法的鱼眼图像畸变校正方法", 现代计算机 * |
| 张一鸣 等: "基于单目视觉的移动机器人测距方法" * |
| 张一鸣;秦世引;: "基于单目视觉的移动机器人测距方法", 微计算机信息 * |
| 李崇辉 等: "鱼眼相机检校的正则化方法比较分析", 测绘通报 * |
| 王卓君 等: "一种相机标定方法的探讨" * |
| 王卓君;杨群丰;范凯;沙鑫美;: "一种相机标定方法的探讨", 机电工程技术 * |
| 王博: "基于无人机红外影像几何校正及拼接技术研究" * |
| 蔡健荣 等: "双目立体视觉系统摄像机标定" * |
| 蔡健荣;赵杰文;: "双目立体视觉系统摄像机标定", 江苏大学学报(自然科学版) * |
| 邓林嘉: "基于结构光的微小物体三维测量系统的设计及应用" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252930A (zh) * | 2023-09-21 | 2023-12-19 | 之江实验室 | 一种大型展厅多相机监控系统内外参标定方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797468B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10726580B2 (en) | Method and device for calibration | |
| WO2018210318A1 (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
| CN106570907B (zh) | 一种相机标定方法及装置 | |
| CN110136207B (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
| CN112862895B (zh) | 一种鱼眼摄像头标定方法、装置及系统 | |
| CN115457147A (zh) | 相机标定方法、电子设备及存储介质 | |
| CN115797468A (zh) | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 | |
| JP2022085910A (ja) | カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置 | |
| CN108444452B (zh) | 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置 | |
| CN112365421A (zh) | 图像矫正处理方法及装置 | |
| CN112233189A (zh) | 多深度相机外部参数标定方法、装置及存储介质 | |
| Jiang et al. | An accurate and flexible technique for camera calibration | |
| CN113963065A (zh) | 一种基于外参已知的镜头内参标定方法及装置、电子设备 | |
| CN112753047B (zh) | 摄像头的硬件在环标定、靶点设置方法、系统及相关设备 | |
| CN116385564B (zh) | 一种基于鱼眼图像实现栏位尺寸的自动标定方法、装置 | |
| CN116524041A (zh) | 一种相机标定方法、装置、设备及介质 | |
| CN113205591A (zh) | 一种三维重建训练数据的获取方法、装置及电子设备 | |
| CN114882194A (zh) | 房间点云数据的处理方法和装置、电子设备和存储介质 | |
| CN113421300A (zh) | 确定鱼眼相机图像中物体实际位置的方法及装置 | |
| CN112184662A (zh) | 应用于无人机图像拼接中的相机外参数初始方法及系统 | |
| CN112446928B (zh) | 一种拍摄装置的外参确定系统和方法 | |
| CN111145268A (zh) | 一种视频注册方法及装置 | |
| TWI755250B (zh) | 植物生長曲線確定方法、裝置、電子設備及存儲媒體 | |
| JP7214006B2 (ja) | ゴルフボールオンフロア式検出方法、システム及び記憶媒体 | |
| CN108955518B (zh) | 一种基于图像识别的测光处理方法、系统与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231107 Address after: A1, Unit 1601, No. 50, Chengyi North Street, Phase III, Software Park, Jimei District, Xiamen, Fujian Province, 361000 Patentee after: Xiamen Nongxin Digital Technology Co.,Ltd. Patentee after: Beijing Nongxin Shuzhi Technology Co.,Ltd. Address before: A1, Unit 1601, No. 50, Chengyi North Street, Phase III, Software Park, Jimei District, Xiamen, Fujian Province, 361000 Patentee before: Xiamen Nongxin Digital Technology Co.,Ltd. |