CN111815714A - 一种鱼眼相机标定方法、装置、终端设备及存储介质 - Google Patents
一种鱼眼相机标定方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111815714A CN111815714A CN202010628756.6A CN202010628756A CN111815714A CN 111815714 A CN111815714 A CN 111815714A CN 202010628756 A CN202010628756 A CN 202010628756A CN 111815714 A CN111815714 A CN 111815714A
- Authority
- CN
- China
- Prior art keywords
- position information
- image
- calibration
- camera
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 238000003702 image correction Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 238000012937 correction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 229910052739 hydrogen Inorganic materials 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种鱼眼相机标定方法、装置、终端设备及存储介质。该方法涉及标定技术领域，所述方法包括：获取畸变图像；确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。利用该方法，有效解决了现有技术在进行鱼眼相机标定时操作复杂且耗时的技术问题，简化了鱼眼相机标定的操作，节省了标定时间。
Description
技术领域
本发明实施例涉及标定技术领域，尤其涉及一种鱼眼相机标定方法、装置、终端设备及存储介质。
背景技术
鱼眼相机的标定是机器视觉中相机标定的一个细分方向。为确定空间点的三维坐标与其在图像中对应像素坐标的关系，必须建立相机成像的几何模型。几何模型的参数即相机参数则需要相机标定操作来确定。
对鱼眼相机而言，因为其成像模型含高度非线性性质，所以其拍摄出来的图片具有严重畸变。每个鱼眼相机因为制作工艺流程的局限性，对应的相机参数不一样。为了标定出精度较高的相机参数，常需要拍摄10-20组含棋盘格的图片，因此往往会使得标定过程操作复杂且耗时。
发明内容
本发明实施例提供了一种鱼眼相机标定方法、装置、终端设备及存储介质，简化了鱼眼相机标定的操作，节省了标定时间。
第一方面，本发明实施例提供了一种鱼眼相机标定方法，包括：
获取畸变图像；
确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；
基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
进一步地，所述相机参数包括：内参数和外参数；所述外参数采用线性求解的方式更新确定，所述内参数采用迭代优化的方式更新确定。
进一步地，确定所述相机参数时采用的目标函数基于所述映射关系、所述图像位置信息和所述空间位置信息确定。
进一步地，所述目标函数为每个空间位置信息和对应的校正位置信息的二范数的累加结果，所述校正位置信息为将所述图像位置信息代入所述映射关系后确定的信息。
进一步地，该方法，还包括：
基于所述相机参数确定校正图像；
获取所述校正图像的原始顶点信息和目标顶点信息，所述目标顶点信息为通过显示设备的交互界面获取的信息；
基于所述原始顶点信息和所述目标顶点信息，确定补偿参数，所述补偿参数为补偿所述相机参数的外参数的参数，所述外参数通过单应性矩阵表示；
将所述补偿参数与所述外参数的乘积确定为补偿后的外参数。
进一步地，所述确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息，包括：
对所述畸变图像进行识别，确定所述畸变图像所包括标定点的图像位置信息；
获取预先存储的所述标定点的空间位置信息。
第二方面，本发明实施例还提供了一种鱼眼相机标定装置，包括：
获取模块，用于获取畸变图像；
第一确定模块，用于确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；
第二确定模块，用于基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
第三方面，本发明实施例还提供了一种智能黑板，包括：
黑板、鱼眼相机、至少四个标定治具、处理器和存储装置；
所述标定治具设置在所述黑板的外围；所述处理器分别与所述鱼眼相机和所述存储装置连接，所述鱼眼相机固定在所述黑板上，用于采集畸变图像；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的方法。
进一步地，该智能黑板，还包括：显示设备与所述处理器连接，用于显示校正图像，并获取用户输入的目标位置信息。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。
本发明实施例提供了一种鱼眼相机标定方法、装置、终端设备及存储介质，首先获取畸变图像；其次确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；然后基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，所述映射关系中包含有待确定的相机参数。利用上述技术方案，简化了鱼眼相机标定的操作，节省了标定时间。
附图说明
图1为本发明实施例一提供的一种鱼眼相机标定方法的流程示意图；
图2为本发明实施例二提供的一种鱼眼相机标定装置的结构示意图；
图3为本发明实施例三提供的一种智能黑板的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
实施例一
图1为本发明实施例一提供的一种鱼眼相机标定方法的流程示意图，该方法可适用于确定相机参数的情况，该方法可以由鱼眼相机标定装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在智能黑板上。
本发明可以是应用于包括鱼眼相机的智能黑板产品，如用于记忆黑板系列产品，可以解决黑板区域的校正工作中标定过程操作复杂耗时的技术问题。相关技术在进行鱼眼相机标定时，相机参数是旋转矩阵和平移矩阵，其中，旋转矩阵是高度非线性的变量，因此需要拍摄多张含有棋盘格的图片，以精确计算相机参数。然而，本申请场景为智能黑板领域，仅需要对黑板区域的图像进行校正即可。如图1所示，本发明实施例一提供的一种鱼眼相机标定方法，包括如下步骤：
S110、获取畸变图像。
在本实施例中，畸变图像可以认为是鱼眼相机采集获得的图像。鱼眼相机当前可以为待标定的相机。本发明提供的相机参数确定方法可以由处理器执行，该处理器可以集成在智能黑板中，以实现对鱼眼相机的标定。
本步骤可以获取鱼眼相机采集的畸变图像，如处理器与鱼眼相机相连，获取鱼眼相机采集的畸变图像，以用于进行鱼眼相机标定。本步骤获取的畸变图像的数量可以为一幅，基于获取的一幅畸变图像可以实现鱼眼相机标定，无需获取多张含有棋盘格的图像，从而有效简化了鱼眼相机标定的操作，节省了标定时间。
本实施例中的畸变图像可以为采集智能黑板所获取的图像，该畸变图像中可以含有标定治具和黑板区域。本实施例可以通过对畸变图像中的标定治具进行分析，以确定相机参数。其中，标定治具可以包括有至少四个标定点，对标定治具进行分析即可以认为是识别畸变图像中所包括的标定点。
S120、确定所述畸变图像中标定点的图像位置信息和对应的空间位置信息。
标定点可以认为是位于标定器具上的点。标定点的具体形式不作限定，只要能够被鱼眼相机采集，并分析确定图像位置信息即可。标定点可以位于标定治具上，以通过标定治具安装在智能黑板的外围，以用于进行鱼眼相机标定。
图像位置信息可以认为是标定点在畸变图像中的位置信息，如像素坐标。空间位置信息可以为标定点在世界坐标系下的位置信息。该空间位置信息的获取方式不作限定，只要能够使得处理器获取即可。
在确定畸变图像后，本步骤可以对畸变图像进行识别，以确定畸变图像中标定点的图像位置信息。确定完标定点的图像位置信息后可以获取对应该标定点的空间位置信息，空间位置信息可以预存储在智能黑板的存储装置中。
此处不对确定图像位置信息的手段进行限定，只要能够采集畸变图像中所包括标定点的图像位置信息即可。确定完图像位置信息后，本步骤可以基于该图像位置信息对应的标定点，获取对应的空间位置信息。
S130、基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
映射关系可以为表征校正图像和畸变图像对应像素点的对应关系。校正图像可以认为是对标定后的鱼眼相机采集的畸变图像进行校正处理得到的图像。
相机参数可以为鱼眼相机标定过程中所需确定的参数。相机参数可以包括内参数和外参数，其中外参数可以由单应性矩阵表示。
鱼眼相机标定可以认为是确定相机参数的过程，本步骤可以基于图像位置信息和空间位置信息实现鱼眼相机的标定。具体地，本步骤可以将图像位置信息和空间位置信息带入映射关系，以确定相机参数；也可以通过迭代的方式确定映射关系中待求解的相机参数。
确定相机参数后，本实施例可以基于确定的相机参数进行图像校正，以得到校正图像。在进行图像校正时，可以通过校正后的鱼眼相机采集新的畸变图像，然后基于确定的相机参数对畸变图像进行校正，以得到校正图像。
本发明实施例一提供的一种鱼眼相机标定方法，首先获取畸变图像；其次确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；然后基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，所述映射关系中包含有待确定的相机参数。利用上述方法，简化了鱼眼相机标定的操作，节省了标定时间。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，所述相机参数包括：内参数和外参数；所述外参数采用线性求解的方式更新确定，所述内参数采用迭代优化的方式更新确定。
内参数可以包括内参矩阵和畸变参数。本发明在确定相机参数时，可以分别确定内参数和外参数。如外参数采用线性求解的方式更新确定，内参数采用迭代优化的方式更新确定。线性求解的方式不作限定，如奇异值分解的方式。迭代优化的方式不作限定，如高斯牛顿迭代方法和列文伯格-马夸尔特法。
本发明通过不同的方式分别确定外参数和内参数，可以有效减少所需的图像位置信息和对应的空间位置信息的个数，可以有效的提升相机参数确定的准确性。每个标定点在一幅畸变图像中可以对应一个图像位置信息和一个空间位置信息。
在一个实施例中，确定所述相机参数时采用的目标函数基于所述映射关系、所述图像位置信息和所述空间位置信息确定。
在确定相机参数时，可以以目标函数作为优化的目标，在目标函数低于设定阈值的情况下，可以完成鱼眼相机标定。设定阈值的大小此处不作限定。
目标函数可以以相机参数为参数，以校正图像中像素点的坐标为因变量，畸变图像中对应像素点的坐标为自变量。在标定阶段，目标函数中的相机参数为未知参数。
本发明可以基于映射关系、空间位置信息和图像位置信息确定目标函数，确定手段不作限定，只要能够通过相机参数表示校正图像中像素点的坐标和畸变图像中对应像素点的坐标的关系即可。
在一个实施例中，所述目标函数为每个空间位置信息和对应的校正位置信息的二范数的累加结果，所述校正位置信息为将所述图像位置信息代入所述映射关系后确定的信息。
在一个实施例中，该方法，还包括：
基于所述相机参数确定校正图像；
获取所述校正图像的原始顶点信息和目标顶点信息，所述目标顶点信息为通过显示设备的交互界面获取的信息；
基于所述原始顶点信息和所述目标顶点信息，确定补偿参数，所述补偿参数为补偿所述相机参数的外参数的参数，所述外参数通过单应性矩阵表示；
将所述补偿参数与所述外参数的乘积确定为补偿后的外参数。
本实施例可以在确定相机参数后，通过鱼眼相机重新获取畸变图像，然后根据相机参数计算得到对应的校正图像。
为了避免应用智能黑板阶段由于不可预测因素引发的校正图像中包括非黑板区域的技术问题，本实施例可以提供对外参数进行补偿的方案。如，获取校正图像的原始顶点信息和目标顶点信息，其中，原始顶点信息可以认为是校正图像顶点的坐标。目标顶点信息可以为用户通过交互界面所需的顶点的坐标。显示设备可以为独立于智能黑板的，也可以为智能黑板的一部分。通过显示界面的交互界面可以获取用户所需的目标顶点信息。交互界面的触发及交互操作的具体内容不作限定，只要能够在补偿阶段能够获取目标顶点信息即可。补偿阶段的触发方式不作限定，如声控或键控。
获取到原始顶点信息和目标定点信息后，可以确定补偿参数，该补偿参数以单应性矩阵表示，确定补偿参数的手段可以参见通过四点法计算单应性矩阵的手段，此处不作限定。
在一个实施例中，所述确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息，包括：
对所述畸变图像进行识别，确定所述畸变图像所包括标定点的图像位置信息；
获取预先存储的所述标定点的空间位置信息。
以下对本发明进行示例性的描述，本发明提供的一种鱼眼相机标定方法可以认为是一种基于单张图标定语言相机内外参数的方法。本发明针对记忆黑板系列产品的鱼眼相机标定问题提出了一种单张图标定鱼眼相机内外参数的方法，通过仅采集一张图片，即畸变图像的方式便可估计出相机内参，即内参数，以及相机相对记忆黑板的相机外参，即外参数。利用估计出的相机参数，便可对含黑板在内的畸变图像中的黑板区域进行校正，从而得到校正图像。
本发明还提出了一种标定治具设计方案，可以仅通过待标定的鱼眼相机拍摄一张包含标定治具的图片，即畸变图像，便可以根据标定治具上的标定点估计出相机参数。同时自动定位出待校正的黑板区域，实现校正图像中仅含黑板区域内容。
本发明在进行相机参数确定时，可以首先使用待标定相机拍摄一张含有标定治具的图片，即畸变图像；然后自动识别标定点，进行相机参数估计，然后基于估计确定的相机参数对相机拍摄的图像进行校正得到校正图像。该相机可以为鱼眼相机。
本发明提供的方法可以应用于智能黑板，智能该智能黑板外围设置有标定治具，标定治具上设置有标定点(如设置有16个标定点)。在获取畸变图像时，可以确保标定治具位于智能黑板上，然后通过待标定的鱼眼相机拍摄一张含有标定器具的图片作为畸变图像。获取畸变图像后，本发明可以识别畸变图像中的标定点，以确定对应的图像位置信息。识别的手段可以为图像处理中的模板匹配方法。相机参数，即相机内外参数，可以包括：相机内参矩阵，相机畸变参数，相机外参，其中相机内参矩阵和畸变参数为鱼眼相机的内参数是相机的固有属性，与成像模型和制作工艺相关。相机外参数为鱼眼相机的外参数，与相机在参考坐标系下的摆放位置有关。
在记忆黑板产品中，可以将参考坐标系绑定在待校正的黑板平面上，以黑板平面为XY平面，黑板平面的法向量为Z轴，建立参考坐标系。
相机内参矩阵：设鱼眼相机内参矩阵为K，描述的是一个畸变图像上识别出的标定点的坐标p(ud,vd)和其在归一化的电荷耦合器件(Charge Coupled Device，CCD)坐标系上的坐标p1(xd,yd)的对应关系：
其中，f为鱼眼相机的焦距。CCD坐标系为基于鱼眼相机中CCD传感器建立的坐标系。
畸变参数：使用等距模型来描述鱼眼相机的投影关系，由等距模型可计算出归一化的CCD坐标系上的p1(xd,yd)对应的畸变入射角θd为：
畸变参数D描述的便是畸变入射角θd和无畸变入射角θ之间的对应关系，本发明使用多项式描述该对应关系：
根据鱼眼的投影模型，可根据无畸变入射角θ推导出归一化CCD平面上针孔像素点p3(xp,yp)，其满足下式关系：
相机外参数：通常来说，鱼眼相机相对空间任意一点的相机外参由旋转矩阵和平移矩阵来描述，但针对记忆黑板产品的特性：黑板，即记忆黑板与鱼眼相机之间的相对位置固定且黑板是一个平面。此时在黑板平面上的任意一点对应的相机外参都可退化为由单应性矩阵来刻画，将单应性矩阵用H来表示，它刻画了归一化CCD平面上针孔像素点p3(xp,yp)与校正图像上的像素点s(u,v)的对应关系：
该对应关系即映射关系，描述了畸变图像像素点p(ud,vd)到校正图像像素点s(u,v)的模型。该对应关系中的参数为相机参数，自变量为畸变图像像素点p(ud,vd)，即图像位置信息；因变量为校正图像像素点s(u,v)。在进行相机参数标定时，本发明可以直接将空间位置信息作为校正图像像素点s(u,v)带入该映射关系。该对应关系中的外参数可以弥补空间位置信息到校正图像像素点s(u,v)间的尺度偏差。
本发明在确定映射关系后，可以通过识别出的标定点对应的图像位置信息，即像素坐标和对应标定点在世界坐标系下的空间位置，即空间位置信息，通过最小化以下优化问题，得到K、D、H三个参数，由于算法目标是校正图像，对应的标定点在数值上对应了物理意义的量纲，所以本发明并不像传统标定的算法一样，优化重投影误差，本发明选择有物理意义的校正误差作为优化的目标，其定义如下所示：
目标函数Error可以基于校正点的空间位置信息，即(u,v)、图像位置信息，即(ud,vd)和映射关系，即fK,D,H(*)确定，fK,D,H(ud,vd)表示将图像位置信息带入映射关系后的结果，即校正位置信息。本发明由于标定点在数值上对应有物理意义的量纲，故直接将空间位置信息和校正位置信息进行比对，以确定校正误差。即每个校正点对应的空间位置信息与校正位置信息的横坐标与纵坐标的差值的二范数的累加结果确定为校正误差。
本发明可以利用Levenberg-Marquardt算法优化目标函数，考虑到目标函数较复杂，因此利用一阶中心差分来近似目标函数的jacobian矩阵。同时，考虑到K、D、H三个参数，H只有8个自由度，其中h33为1，所以为了避免陷入局部最优，采取每一次迭代，LM优化算法仅迭代更新参数K，D。而H的更新由SVD分解求得，三者求得的误差，作为当前的LM优化算法的残差，再进入下一次迭代。
根据反向卷绕技术，便可根据所估计的K、D、H三个参数，计算出畸变图像和仅含黑板区域的校正图像之间的映射表，因为标定治具的厚度影响会使得相机外参还会受到一个中心缩放的变换，但因为标定治具的厚度较低，如仅有3mm，所以校正后图片，即校正图像引入一些非黑板区域的内容是很微小的。不过一些外界不可预测的因素，譬如在产品运输过程或者维修过程中会有装卸相机的操作，这些操作会使得相机和黑板平面的相对位置发生变化，这会使得校正图像引入一些比较明显的非黑板区域内容。
为了解决上面两个因素引起的校正图像会引入一些非黑板区域内容的问题，需要对外参数进行补偿操作，即在显示设备上提供交互界面，让用户通过手动调整校正图像上四个顶点的位置。然后根据用户调整前后四个顶点的坐标值，便可使用常规计算四点法计算一个单应性矩阵，对相机外参矩阵进行补偿。这样便可解决不可预测的外界因素和标定治具引起微小的中心缩放效应引起的相机外参变化。
本发明提供的鱼眼相机标定方法可以自适应地应用于记忆黑板的多种尺寸规格产品所面临的鱼眼相机标定问题。本发明可以仅需要拍摄一张畸变图像便可确定出相机参数。记忆相机中的标定治具可拆卸，易安装，低成本，有效的简化了标定操作。
实施例二
图2为本发明实施例二提供的一种鱼眼相机标定装置的结构示意图，该装置可适用于确定相机参数的情况，其中该装置可由软件和/或硬件实现，并一般集成在智能黑板上。
如图2所示，该装置包括：
获取模块21，用于获取畸变图像；
第一确定模块22，用于确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；
第二确定模块23，用于基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
在本实施例中，该装置首先通过获取模块21获取畸变图像；其次通过第一确定模块22确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；最后通过第二确定模块23基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
本实施例提供了一种鱼眼相机标定装置，简化了鱼眼相机标定的操作，节省了标定时间。
进一步地，所述相机参数包括：内参数和外参数；所述外参数采用线性求解的方式更新确定，所述内参数采用迭代优化的方式更新确定。
进一步地，确定所述相机参数时采用的目标函数基于所述映射关系、所述图像位置信息和所述空间位置信息确定。
进一步地，所述目标函数为每个空间位置信息和对应的校正位置信息的二范数的累加结果，所述校正位置信息为将所述图像位置信息代入所述映射关系后确定的信息。
进一步地，该装置，还包括：补偿模块，用于：
基于所述相机参数确定校正图像；
获取所述校正图像的原始顶点信息和目标顶点信息，所述目标顶点信息为通过显示设备的交互界面获取的信息；
基于所述原始顶点信息和所述目标顶点信息，确定补偿参数，所述补偿参数为补偿所述相机参数的外参数的参数，所述外参数通过单应性矩阵表示；
将所述补偿参数与所述外参数的乘积确定为补偿后的外参数。
进一步地，第一确定模块22，具体用于：
对所述畸变图像进行识别，确定所述畸变图像所包括标定点的图像位置信息；
获取预先存储的所述标定点的空间位置信息。
上述鱼眼相机标定装置可执行本发明任意实施例所提供的鱼眼相机标定方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的一种智能黑板的结构示意图。如图3所示，本发明实施例三提供的智能黑板包括：一个或多个处理器31和存储装置32；该智能黑板中的处理器31可以是一个或多个，图3中以一个处理器31为例；存储装置32用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器31执行，使得所述一个或多个处理器31实现如本发明实施例中任一项所述的方法。智能黑板中的处理器31和存储装置32可以通过总线或其他方式连接。
该智能黑板中的存储装置32作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供鱼眼相机标定方法对应的程序指令/模块(例如，附图2所示的鱼眼相机标定装置中的模块，包括：获取模块21、第一确定模块22和第二确定模块23)。处理器31通过运行存储在存储装置32中的软件程序、指令以及模块，从而执行智能黑板的各种功能应用以及数据处理，即实现上述方法实施例中方法。
存储装置32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据智能黑板的使用所创建的数据等。此外，存储装置32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述智能黑板还可以包括：黑板33、鱼眼相机34和标定治具35。
标定治具35设置在黑板33的外围；处理器31分别与鱼眼相机34和存储装置32连接，鱼眼相机34固定在黑板33上，用于采集畸变图像。标定治具上包括至少四个标定点351。需要注意的是，图3中处理器31和存储装置32的位置不作限定，图3中仅示出了连接关系。
当上述智能黑板所包括一个或者多个程序被所述一个或者多个处理器31执行时，程序进行如下操作：
获取畸变图像；
确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；
基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行鱼眼相机标定方法，该方法包括：
获取畸变图像；
确定所述畸变图像中标定治具的图像位置信息和对应的空间位置信息；
基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的鱼眼相机标定方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种鱼眼相机标定方法，其特征在于，包括：
获取畸变图像；
确定所述畸变图像中标定点的图像位置信息和对应的空间位置信息；
基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
2.根据权利要求1所述的方法，其特征在于，所述相机参数包括：内参数和外参数；所述外参数采用线性求解的方式更新确定，所述内参数采用迭代优化的方式更新确定。
3.根据权利要求1所述的方法，其特征在于，确定所述相机参数时采用的目标函数基于所述映射关系、所述图像位置信息和所述空间位置信息确定。
4.根据权利要求3所述的方法，其特征在于，所述目标函数为每个空间位置信息和对应的校正位置信息的二范数的累加结果，所述校正位置信息为将所述图像位置信息代入所述映射关系后确定的信息。
5.根据权利要求1所述的方法，其特征在于，还包括：
基于所述相机参数确定校正图像；
获取所述校正图像的原始顶点信息和目标顶点信息，所述目标顶点信息为通过显示设备的交互界面获取的信息；
基于所述原始顶点信息和所述目标顶点信息，确定补偿参数，所述补偿参数为补偿所述相机参数的外参数的参数，所述外参数通过单应性矩阵表示；
将所述补偿参数与所述外参数的乘积确定为补偿后的外参数。
6.根据权利要求1所述的方法，其特征在于，所述确定所述畸变图像中标定点的图像位置信息和对应的空间位置信息，包括：
对所述畸变图像进行识别，确定所述畸变图像所包括标定点的图像位置信息；
获取预先存储的所述标定点的空间位置信息。
7.一种鱼眼相机标定装置，其特征在于，包括：
获取模块，用于获取畸变图像；
第一确定模块，用于确定所述畸变图像中标定点的图像位置信息和对应的空间位置信息；
第二确定模块，用于基于所述图像位置信息和所述空间位置信息，确定映射关系中的相机参数，以实现鱼眼相机标定，所述映射关系中包含有待确定的相机参数，所述相机参数用于图像校正。
8.一种智能黑板，其特征在于，包括：黑板、鱼眼相机、标定治具、处理器和存储装置；
所述标定治具设置在所述黑板的外围；所述处理器分别与所述鱼眼相机和所述存储装置连接，所述鱼眼相机固定在所述黑板上，用于采集畸变图像；所述标定治具包括至少四个标定点；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.根据权利要求8所述的智能黑板，其特征在于，还包括：显示设备与所述处理器连接，用于显示校正图像，并获取用户输入的目标位置信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010628756.6A CN111815714B (zh) | 2020-07-01 | 2020-07-01 | 一种鱼眼相机标定方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010628756.6A CN111815714B (zh) | 2020-07-01 | 2020-07-01 | 一种鱼眼相机标定方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815714A true CN111815714A (zh) | 2020-10-23 |
| CN111815714B CN111815714B (zh) | 2024-05-17 |
Family
ID=72856079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010628756.6A Active CN111815714B (zh) | 2020-07-01 | 2020-07-01 | 一种鱼眼相机标定方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815714B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967344A (zh) * | 2021-03-09 | 2021-06-15 | 北京百度网讯科技有限公司 | 相机外参标定的方法、设备、存储介质及程序产品 |
| CN113379853A (zh) * | 2021-08-13 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 相机内参的获取方法、装置、设备及可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424126A (zh) * | 2017-05-26 | 2017-12-01 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、系统及摄像设备和显示设备 |
| CN107886547A (zh) * | 2017-11-10 | 2018-04-06 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定方法及系统 |
| CN108257183A (zh) * | 2017-12-20 | 2018-07-06 | 歌尔科技有限公司 | 一种相机镜头光轴校准方法和装置 |
| CN108447095A (zh) * | 2018-01-31 | 2018-08-24 | 潍坊歌尔电子有限公司 | 一种鱼眼相机标定方法和装置 |
| CN108805801A (zh) * | 2018-05-24 | 2018-11-13 | 北京华捷艾米科技有限公司 | 一种全景图像校正方法及系统 |
| CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
| CN109461126A (zh) * | 2018-10-16 | 2019-03-12 | 重庆金山医疗器械有限公司 | 一种图像畸变校正方法及系统 |
| CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
-
2020
- 2020-07-01 CN CN202010628756.6A patent/CN111815714B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424126A (zh) * | 2017-05-26 | 2017-12-01 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、系统及摄像设备和显示设备 |
| CN107886547A (zh) * | 2017-11-10 | 2018-04-06 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定方法及系统 |
| CN108257183A (zh) * | 2017-12-20 | 2018-07-06 | 歌尔科技有限公司 | 一种相机镜头光轴校准方法和装置 |
| CN108447095A (zh) * | 2018-01-31 | 2018-08-24 | 潍坊歌尔电子有限公司 | 一种鱼眼相机标定方法和装置 |
| CN108805801A (zh) * | 2018-05-24 | 2018-11-13 | 北京华捷艾米科技有限公司 | 一种全景图像校正方法及系统 |
| CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
| CN109461126A (zh) * | 2018-10-16 | 2019-03-12 | 重庆金山医疗器械有限公司 | 一种图像畸变校正方法及系统 |
| CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李鑫等: "摄像机畸变矫正的一种简单有效的方法", 医疗设备信息, no. 02, 28 February 2007 (2007-02-28), pages 7 - 9 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967344A (zh) * | 2021-03-09 | 2021-06-15 | 北京百度网讯科技有限公司 | 相机外参标定的方法、设备、存储介质及程序产品 |
| CN112967344B (zh) * | 2021-03-09 | 2023-12-08 | 阿波罗智联(北京)科技有限公司 | 相机外参标定的方法、设备、存储介质及程序产品 |
| CN113379853A (zh) * | 2021-08-13 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 相机内参的获取方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815714B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767422B (zh) | 一种鱼眼镜头的校正方法、装置及便携式终端 | |
| US20160275682A1 (en) | Machine vision image sensor calibration | |
| CN108226906A (zh) | 一种标定方法、装置及计算机可读存储介质 | |
| CN107547879A (zh) | 一种投影成像的校正方法、装置及激光电视 | |
| CN109366472B (zh) | 机器人的物品放置方法、装置、计算机设备及存储介质 | |
| CN111815714A (zh) | 一种鱼眼相机标定方法、装置、终端设备及存储介质 | |
| CN111083458B (zh) | 一种亮度校正方法、系统、设备及计算机可读存储介质 | |
| CN106303477B (zh) | 一种自适应的投影仪图像校正方法及系统 | |
| CN114474056B (zh) | 一种面向抓取操作的单目视觉高精度目标定位方法 | |
| CN112946609B (zh) | 激光雷达与相机的标定方法、装置、设备及可读存储介质 | |
| CN112422960B (zh) | 摄像头模组的偏移估算方法及装置、存储介质、终端 | |
| CN115205218A (zh) | 一种软排线装配检测方法、装置、电子设备及存储介质 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN111652942A (zh) | 摄像模组的标定方法、第一电子设备和第二电子设备 | |
| CN103035015B (zh) | 投影机球形显示输出图像的处理方法 | |
| CN114063046A (zh) | 参数标定方法、装置、计算机设备和存储介质 | |
| CN114125411B (zh) | 投影设备校正方法、装置、存储介质以及投影设备 | |
| CN115834860A (zh) | 背景虚化方法、装置、设备、存储介质和程序产品 | |
| CN113393378B (zh) | 光伏组件的图像拼接方法、装置、电子装置和存储介质 | |
| CN113870163B (zh) | 基于三维场景的视频融合方法以及装置、存储介质、电子装置 | |
| CN111353945A (zh) | 鱼眼图像校正方法、装置及存储介质 | |
| CN113724141B (zh) | 一种图像校正方法、装置及电子设备 | |
| CN112991463A (zh) | 相机标定方法、装置、设备、存储介质和程序产品 | |
| CN112465917B (zh) | 镜头模组的畸变标定方法、系统、设备及存储介质 | |
| CN112181230A (zh) | 一种数据展示方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |