CN112598751A - 标定方法及装置、终端和存储介质 - Google Patents
标定方法及装置、终端和存储介质 Download PDFInfo
- Publication number
- CN112598751A CN112598751A CN202011536649.7A CN202011536649A CN112598751A CN 112598751 A CN112598751 A CN 112598751A CN 202011536649 A CN202011536649 A CN 202011536649A CN 112598751 A CN112598751 A CN 112598751A
- Authority
- CN
- China
- Prior art keywords
- image
- feature point
- calibration
- preset
- matching set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 2
- 230000032683 aging Effects 0.000 abstract description 5
- 230000002311 subsequent effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- -1 falling Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请的标定方法包括获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于预设标定参数，处理第二图像以获取第三图像；识别第一图像的第一特征点和第三图像的第二特征点，并获取相互匹配的第一特征点和第二特征点以作为第一匹配集；根据预设标定参数和第一匹配集计算校准标定参数。本申请的标定方法、标定装置、终端和非易失性计算机可读存储介质能够通过随意获取的第一图像和第二图像，无需依赖外部设备即可完成预设标定参数的校准，以解决因老化、磕碰等问题导致的预设标定参数不准的问题，进而保证后续的深度图的获取、图像虚化、图像配准等操作的效果。
Description
技术领域
本申请涉及机器视觉标定技术领域，特别涉及一种标定方法、标定装置、终端和非易失性计算机可读存储介质。
背景技术
目前，双摄模组在出厂后，两个摄像头的标定参数(如内参和外参)就已经确定，双摄模组在获取图像后就会根据预设的标定参数对图像进行处理，以得到对齐的两个图像，来进行深度的计算、图像虚化、图像配准等。然而，在使用过程中，由于模组老化、磕碰等问题，导致焦距发生变化，此时使用预设的标定参数不再准确，在根据预设的标定参数对图像进行处理后，图像可能无法对齐，从而影响后续的深度图的获取、图像虚化、图像配准等操作的效果。
发明内容
本申请的实施例提供了一种标定方法、标定装置、终端和非易失性计算机可读存储介质。
本申请实施方式的标定方法包括获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于预设标定参数，处理所述第二图像以获取第三图像；识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集；根据所述预设标定参数和所述第一匹配集计算校准标定参数。
本申请实施方式的标定装置包括第一获取模块、处理模块、第二获取模块和第一计算模块。所述第一获取模块用于获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；处理模块用于基于预设标定参数，处理所述第二图像以获取第三图像；所述第二获取模块用于识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集；所述第一计算模块用于根据所述预设标定参数和所述第一匹配集计算校准标定参数。
本申请实施方式的终端包括第一摄像头、第二摄像头和处理器。所述第一摄像头用于获取第一图像；所述第二摄像头用于获取第二图像；所述处理器用于获取所述第一图像和所述第二图像、基于预设标定参数，处理所述第二图像以获取第三图像、识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集、及根据所述预设标定参数和所述第一匹配集计算校准标定参数。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述标定方法。所述标定方法包括获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于预设标定参数，处理所述第二图像以获取第三图像；识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集；根据所述预设标定参数和所述第一匹配集计算校准标定参数。
本申请的标定方法、标定装置、终端和非易失性计算机可读存储介质，通过获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，然后基于出厂时的预设标定参数，对第二图像进行处理以得到和第一图像对齐的第三图像，然后识别对齐后的第一图像的第一特征点和第三图像的第二特征点，通过匹配的特征点的集合和预设标定参数即可计算校准标定参数，以对预设标定参数进行校准，无需通过拍摄特定的标定模板获取的第一图像和第二图像，从而无需依赖外部设备即可完成预设标定参数的校准，以解决因老化、磕碰等问题导致的预设标定参数不准的问题，进而保证后续的深度图的获取、图像虚化、图像配准等操作的效果。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的标定方法的流程示意图；
图2是本申请某些实施方式的标定装置的模块示意图；
图3是本申请某些实施方式的终端的平面示意图；
图4是本申请某些实施方式的标定方法的流程示意图；
图5是本申请某些实施方式的标定方法的流程示意图；
图6是本申请某些实施方式的标定方法的流程示意图；
图7是本申请某些实施方式的标定方法的流程示意图；及
图8是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请参阅图1至图3，本申请实施方式的标定方法包括以下步骤：
011：获取第一摄像头20拍摄的第一图像和第二摄像头30拍摄的第二图像；
012：基于预设标定参数，处理第二图像以获取第三图像；
013：识别第一图像的第一特征点和第三图像的第二特征点，并获取相互匹配的第一特征点和第二特征点以作为第一匹配集；及
014：根据预设标定参数和第一匹配集计算校准标定参数。
本申请实施方式的标定装置10包括第一获取模块11、处理模块12、第二获取模块13、和第一计算模块14。第一获取模块11用于获取第一摄像头20拍摄的第一图像和第二摄像头30拍摄的第二图像；处理模块12用于基于预设标定参数，处理第二图像以获取第三图像；第二获取模块13用于识别第一图像的第一特征点和第三图像的第二特征点，并获取相互匹配的第一特征点和第二特征点以作为第一匹配集；第一计算模块14用于根据预设标定参数和第一匹配集计算校准标定参数。也即是说，步骤011可以由第一获取模块11实现、步骤012可以由处理模块12实现、步骤013可以由第二获取模块13实现、步骤014可以由第一计算模块14实现。
本申请实施方式的终端包括第一摄像头20、第二摄像头30和处理器40。处理器40与第一摄像头20和第二摄像头30连接，第一摄像头20和第二摄像头30存在视场范围的重叠部分，可组成双摄模组，以实现重叠部分的深度图像的获取。第一摄像头20用于获取第一图像；第二摄像头30用于获取第二图像；处理器40用于获取第一图像和第二图像、基于预设标定参数，处理第二图像以获取第三图像、识别第一图像的第一特征点和第三图像的第二特征点，并获取相互匹配的第一特征点和第二特征点以作为第一匹配集、根据预设标定参数和第一匹配集计算校准标定参数。也即是说，步骤011至步骤014可以由处理器40实现。
终端100还包括壳体50，第一摄像头20和第二摄像头30安装在壳体50上。终端100可以是手机、平板电脑、显示器、笔记本电脑、柜员机、闸机、智能手表、头显设备、游戏机等。本申请实施方式以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。
壳体50可用于安装第一摄像头20和第二摄像头30，或者说，壳体50可作为第一摄像头20和第二摄像头30的安装载体。终端100包括正面和背面，第一摄像头20和第二摄像头30可设置在正面作为前置摄像头，第一摄像头20和第二摄像头30还可设置在背面作为后置摄像头，本申请实施方式中，第一摄像头20和第二摄像头30设置在正面作为前置摄像头。壳体50还可用于安装终端100的供电装置、通信装置等功能模块，以使壳体50为功能模块提供防尘、防摔、防水等保护。
摄像头应用领域广泛，在摄影摄像、机器视觉、增强现实(Augmented Reality，AR)等领域均发挥重要作用，而摄像头由于透镜制造精度、组装工艺的偏差等问题，导致拍摄的图像存在畸变，畸变直观上看就是拍摄出来的物体会产生变形，因此，摄像头在出厂时一般会进行标定，标定的过程就是矫正畸变的过程，当然摄像头的标定不仅能够矫正畸变，还能够实现现实世界的三维坐标和拍摄图像的图像坐标的一一对应。摄像头标定确定的内部参数、外部参数可用于建立成像模型，以便于确定世界坐标系中物点同它在图像坐标系上像点之间的对应关系。摄像头模型是对真实摄像头的几何抽象，其成像过程是对空间点的摄影变换。而摄像头的标定参数(内部参数和外部参数)则决定了变换的具体映射方式，只要知道了标定参数和空间点的坐标就能够计算出相应的像点坐标。而对与双摄模组而言，除了对每个摄像头进行标定外，还需要标定两个摄像头的相位位置关系，以使得两个摄像头拍摄的图像对齐(即，左右图像的成像原点坐标一致、第一相机31和第二相机32光轴平行、左右成像平面共面和对极线行对齐)，将两者视场范围重叠的部分的像点一一对应起来。然而，由于出厂后，双摄模组老化、用户使用时产生磕碰等问题，会使得双摄模组的摄像头的焦距发生变化，而一般地，变焦摄像头由于自身焦距可调节的结构，出现焦距变化的几率较高，在摄像头焦距变化后，此时与出厂时的焦距对应的预设标定参数的准确性较差，因此，需要重新对预设标定参数进行重新标定以校准。
具体地，在校准时，处理器40首先控制第一摄像头20和第二摄像头30分别拍摄第一图像和第二图像，第一图像和第二图像可以是第一摄像头20和第二摄像头30同时拍摄任意场景获取的图像，可以理解，只要不是纯色的模板图像，拍摄后获取的第一图像和第二图像均会具有特定的特征点，具有特征点的第一图像和第二图像即可完成后续的标定过程。
处理器40获取第一图像和第二图像，然后首先基于预设标定参数，处理第二图像以获取第三图像，可以理解，预定标定参数虽然存在一定的误差，但误差一般不会过大，首先依据预设标定参数来对第二图像进行处理，得到的第三图像的误差被控制在了一定范围内，能够降低后续进行标定的计算量。
预设标定参数包括内部参数和外部参数，内部参数包括每个摄像头的预设焦距、预设主点坐标和预设畸变参数，外部参数则包括预设旋转矩阵和预设平移矩阵，而通过预设旋转矩阵和预设平移矩阵，处理器40可第二图像进行映射处理，以使得映射得到的第三图像和第一图像对齐，可以理解，预设标定参数准确的情况下，能够使得第三图像和第一图像对齐，在预设标定参数存在误差时，第三图像和第一图像的对齐会存在一定的误差。
处理器40可识别第一图像的第一特征点和第三图像的第二特征点，特征点为图像中满足特定特征的像素点，如特征点与周围的像素点的像素值差异极大即可认为是特征点。然后处理器40获取相互匹配的第一特征点和第二特征点以生成第一匹配集，第一匹配集包括一对或多对相互匹配的第一特征点和第二特征点。第一特征点和第二特征点匹配可以是：在第一特征点和第二特征点的像素值差值小于预定像素值差值(如5、10等)时，确定第一特征点和第二特征点匹配，如每个像素点包括三个通道值，将三个通道的差值的和作为像素值差值即可判断第一特征点和第二特征点是否匹配。
然后处理器40可根据预设标定参数和第一匹配集计算校准标定参数，可以理解，预设标定参数可能存在误差，一般为预设焦距的误差，但误差一般较小，而第一匹配集中相互匹配的第一特征点和第二特征点是准确对应的，因此，为了实现预设标定参数的校准，可根据预定标定参数的确定校准范围，然后取校准范围内的不同的标定参数作为中间标定参数，然后根据中间标定参数计算每个第一特征点对应的第三特征点，并计算所有第三特征点和实际匹配的第二特征点的差值之和，差值之和最小时的中间标定参数与第一匹配集的匹配度最高，即，差值之和最小时的中间标定参数的准确性最高。处理器40即可确定差值之和最小时的中间标定参数为校准标定参数，从而完成双目模组的标定。
本申请的标定方法、标定装置10和终端100中，通过获取第一摄像头20拍摄的第一图像和第二摄像头30拍摄的第二图像，然后基于出厂时的预设标定参数，对第二图像进行处理以得到和第一图像对齐的第三图像，然后识别对齐后的第一图像的第一特征点和第三图像的第二特征点，通过匹配的特征点的集合和预设标定参数即可计算校准标定参数，以对预设标定参数进行校准，无需通过拍摄特定的标定模板获取的第一图像和第二图像，从而无需依赖外部设备即可完成预设标定参数的校准，以解决因老化、磕碰等问题导致的预设标定参数不准的问题，进而保证后续的深度图的获取、图像虚化、图像配准等操作的效果。
请参阅2至图4，在某些实施方式中，步骤013包括：
0131：基于特征识别算法，识别第一特征点和第二特征点；
0132：根据第一特征点在第一图像中位置确定第三图像中与第一特征点匹配的目标区域，计算第一特征点和目标区域中的每个第二特征点的差值，以获取第一特征点和目标区域中的每个第二特征点的匹配度；
0133：确定匹配度最大且大于预定匹配度阈值的第一特征点和对应的第二特征点匹配；
0134：获取所有相互匹配的第一特征点和第二特征点，以作为第一匹配集。
在某些实施方式中，第二获取模块13还用于基于特征识别算法，识别第一特征点和第二特征点；根据第一特征点在第一图像中位置确定第三图像中与第一特征点匹配的目标区域，计算第一特征点和目标区域中的每个第二特征点的差值，以获取第一特征点和目标区域中的每个第二特征点的匹配度；确定匹配度最大且大于预定匹配度阈值的第一特征点和对应的第二特征点匹配；获取所有相互匹配的第一特征点和第二特征点，以作为第一匹配集。也即是说，步骤0131至步骤0134可以由第二获取模块13执行。
在某些实施方式中，处理器40还用于基于特征识别算法，识别第一特征点和第二特征点；根据第一特征点在第一图像中位置确定第三图像中与第一特征点匹配的目标区域，计算第一特征点和目标区域中的每个第二特征点的差值，以获取第一特征点和目标区域中的每个第二特征点的匹配度；确定匹配度最大且大于预定匹配度阈值的第一特征点和对应的第二特征点匹配；获取所有相互匹配的第一特征点和第二特征点，以作为第一匹配集。也即是说，步骤0131至步骤0134可以由处理器40实现。
具体地，在识别特征点时，处理器40基于特征识别算法，如特征提取算法(Oriented Fast and Rotated Brief，ORB)，可识别第一图像的第一特征点和第三图像的第二特征点。
然后基于第一特征点匹配第二特征点时，处理器40可将每个第一特征点均与所有第二特征点进行匹配，具体通过计算第一特征点与每个第二特征点的差值，然后根据差值确定第一特征点与每个第二特征点的匹配度，可以理解，差值越小，则第一特征点与第二特征点的匹配度越高，如差值为0至10时，匹配度为95％，差值为10至20时，匹配度为90％，差值为20-30时，匹配度为90％等，该差值可通过计算第一特征点和第二特征点的三个通道的像素值差值之和，或者三个通道的像素值差值的平均值得到。然后处理器40确定匹配度最高的第二特征点与当前第一特征点匹配。
当然，由于第三图像是基于预设标定参数映射得到，误差较小，因此，第一图像的第一特征点和第三图像中匹配的第二特征点的位置差异不会很大，因此，在获取与第一特征点匹配的第二特征点时，可首先根据第一特征点在第一图像中的位置，在第三图像中确定一个对应的目标区域，例如第一特征点的坐标为(X0，Y0)，则目标区域可以是第三图像中坐标(X0，Y0)附近预定范围的区域，如(X0±5，Y0±5)，即表示以坐标(X0，Y0)为中心的11*11像素范围内的区域为目标区域。
然后处理器40只需将第一特征点和第三图像中对应的目标区域内的第二特征点进行匹配即可，从而确定目标区域中匹配度最大的第二特征点为匹配特征点。如此，第一特征点需要匹配计算的第二特征点的数量较少，能够降低识别和匹配的计算量，提升标定效率。
当然，目标区域内可能并不存在与第一特征点匹配的第二特征点，若仅取匹配度最大的第二特征点作为匹配特征点，可能出现目标区域内的第二特征点与第一特征点的匹配度均较低，从而影响匹配准确性，因此，除了需要确定匹配度最大的第二特征点外，还需要判断匹配度是否大于或等于预定匹配度阈值(如80％、90％等)，在第二特征点对应的匹配度大于预定匹配度阈值时，才确定该第二特征点为第一特征点的匹配特征点。如此，能够较为准确的确定第一特征点的匹配特征点。
在确定完所有具有对应的第二特征点的第一特征点后，处理器40可根据所有相互匹配的第一特征点和第二特征点生成第一匹配集。
请参阅图2、图3和图5，在某些实施方式中，标定方法还包括：
015：基于随机抽样一致算法(Random Sample Consensus,RANSAC)，根据第一匹配集计算基础矩阵模型；及
016：根据基础矩阵模型筛选第一匹配集中偏离度大于预定偏离度阈值的一对或多对特征点，以获取第二匹配集；
步骤014包括：
0146：根据预设标定参数和第二匹配集计算校准标定参数。
在某些实施方式中，标定装置10还包括第二计算模块15和第三获取模块16。第二计算模块15用于基于随机抽样一致算法，根据第一匹配集计算基础矩阵模型。第三获取模块16用于根据基础矩阵模型筛选第一匹配集中偏离度大于预定偏离度阈值的一对或多对特征点，以获取第二匹配集。第一计算模块14还用于根据预设标定参数和第二匹配集计算校准标定参数。也即是说，步骤015可以由第二计算模块15执行，步骤016可以由第三获取模块16执行。步骤0146可以由第一计算模块14执行。
在某些实施方式中，处理器40还用于基于随机抽样一致算法，根据第一匹配集计算基础矩阵模型、根据基础矩阵模型筛选第一匹配集中偏离度大于预定偏离度阈值的一对或多对特征点，以获取第二匹配集、及根据预设标定参数和第二匹配集计算校准标定参数。也即是说，步骤015、步骤016和步骤0146可以由处理器40执行。
具体地，第一匹配集中每一对第一特征点和第二特征点均是匹配的，但有些匹配的特征对(即，匹配的第一特征点和第二特征点组成一个特征对)仅仅是特征刚好匹配，但与其他匹配的特征对并不满足同一映射关系(即同一标定参数)，因此，处理器40基于随机抽样一致算法，根据第一匹配集的多个特征对来计算基础矩阵模型，该基础矩阵模型用于表示第一特征点和第二特征点之间的映射关系，然后根据每个第一特征点和基础矩阵模型计算第四特征点，第四特征点为根据基础矩阵模型映射第一特征点后得到的一个计算值，根据第四特征点和第一特征点匹配的第二特征点的差值，确定第一特征点和匹配的第二特征点的偏离度，如差值为0至10时，偏离度为5％，差值为10至20时，偏离度为10％，差值越大，则偏离度越大；在偏离度大于预定偏离度阈值(如30％)时，可确定当前特征对虽然匹配，但与第一特征集中的其他特征对并不满足同一映射关系，可能对后续的标定准确性产生影响，处理器40将偏离度大于预定偏离度阈值的特征对剔除，从而得到第二特征集，处理器40可根据预设标定参数和第二匹配集计算校准标定参数，从而提高标定的准确性。
请参阅图2、图3和图6，在某些实施方式中，步骤014包括：
0141：根据预设标定参数，对第一匹配集中的第二特征点进行逆变换，以获取第三匹配集；
0142：将第一图像划分为第一预定数量的特征区域；
0143：根据第一特征点对应的匹配度，确定每个特征区域中的作为目标特征点的第一特征点；
0144：根据作为目标特征点的第一特征点和第三匹配集中与第一特征点匹配的第二特征点，以生成第四匹配集；
0145：根据第四匹配集和预设标定参数计算校准标定参数。
在某些实施方式中，第一计算模块14还用于根据预设标定参数，对第一匹配集中的第二特征点进行逆变换，以获取第三匹配集；将第一图像划分为第一预定数量的特征区域；根据第一特征点对应的匹配度，确定每个特征区域中的作为目标特征点的第一特征点；根据作为目标特征点的第一特征点和第三匹配集中与第一特征点匹配的第二特征点，以生成第四匹配集；根据第四匹配集和预设标定参数计算校准标定参数。也即是说，步骤0141至步骤0145可以由第一计算模块14执行。
在某些实施方式中，处理器40还用于根据预设标定参数，对第一匹配集中的第二特征点进行逆变换，以获取第三匹配集；将第一图像划分为第一预定数量的特征区域；根据第一特征点对应的匹配度，确定每个特征区域中的作为目标特征点的第一特征点；根据作为目标特征点的第一特征点和第三匹配集中与第一特征点匹配的第二特征点，以生成第四匹配集；根据第四匹配集和预设标定参数计算校准标定参数。也即是说，步骤0141至步骤0145可以由处理器40执行。
具体地，在计算校正标定参数时，需要对第一匹配集中的第二特征点进行逆变换，逆变换是为了获取第二图像中与第二特征点对应的第五特征点；由于第三图像是根据预设标定参数对第二图像进行映射得到的，因此，在基于预设标定参数，对第二特征点进行逆变换后，即可得到第二特征点对应的第五特征点。第五特征点和第一特征点即满足最终所需的校正标定参数对应的映射关系，也即是说，第五特征点在根据校正标定参数映射后，即可得到对应的第二特征点对应的第一特征点，或者第一特征点在经过校正标定参数映射后，即可得到对应的第二特征点对应的第五特征点，处理器40根据第一特征点和对应的第五特征点生成第三匹配集，从而方便后续计算校准标定参数。在其他实施方式中，处理器40可对第二匹配集的第二特征点进行逆变换以得到第五特征点。
为了使得用于计算校准标定参数的特征点的分布较为均匀，处理器40可将第一图像划分为第一预定数量的特征区域，第一预定数量可以是3*3、5*5、9*9、12*9等，可根据图像的分辨率、分布均匀度等要求确定，如分布越均匀，则第一预定数量越大。
然后处理器40获取每个特征区域中目标特征点，目标特征点可以是一个或多个第一特征点，例如，处理器40从每个特征区域选取1个匹配度最大的第一特征点作为目标特征点；或者，处理器40从每个特征区域选取2个匹配度大小排名前2的第一特征点作为目标特征点等。
当然，有些特征区域内可能仅存在一个第一特征点，甚至没有，处理器40可将第一特征点的个数小于第二预定数量(如1个、2个等)的特征区域标记为无效特征区域，若无效特征区域的个数大于第三预定数量，则可确定当前的第一图像的第一特征点的分布极不均匀，可能会影响后续的标定准确性。其中，第三预定数量可根据第一预定数量确定，如第三预定数量为第一预定数量的1/3、1/2等。
此时，处理器40可控制第一摄像头20和第二摄像头30重新获取第一图像和第二图像，并提示用户改变拍摄角度，或拍摄场景，直至无效特征区域的个数小于第三预定数量，以保证特征点分布的均匀性，提升标定准确性。
在确定第一图像的特征点分布较为均匀后，处理器40根据所有目标特征点和对应的第五特征点来生成第四匹配集。如此，根据第四匹配集和预设标定参数计算得到的校准标定参数的准确性更高。
请参阅图2、图3和图7，在某些实施方式中，步骤0145包括：
01451：根据预设焦距确定焦距校准范围；
01452：获取焦距校准范围内的一个或多个校准焦距；
01453：根据校准焦距和预设标定参数获取中间校准标定参数；
01454：根据第四匹配集和中间校准标定参数计算校准焦距对应的偏差值；及
01455：确定偏差值最小的校准焦距为预设焦距，以获取校准标定参数。
在某些实施方式中，第一计算模块14还用于根据预设焦距确定焦距校准范围；获取焦距校准范围内的一个或多个校准焦距；根据校准焦距和预设标定参数获取中间校准标定参数；根据第四匹配集和中间校准标定参数计算校准焦距对应的偏差值；及确定偏差值最小的校准焦距为预设焦距，以获取校准标定参数。也即是说，步骤01451至步骤01455可以由第一计算模块14实现。
在某些实施方式中，处理器40还用于根据预设焦距确定焦距校准范围；获取焦距校准范围内的一个或多个校准焦距；根据校准焦距和预设标定参数获取中间校准标定参数；根据第四匹配集和中间校准标定参数计算校准焦距对应的偏差值；及确定偏差值最小的校准焦距为预设焦距，以获取校准标定参数。也即是说，步骤01451至步骤01455可以由处理器40实现。
具体地，双摄模组一般包括一个定焦摄像头和一个变焦摄像头，如第一摄像头20为定焦摄像头，第二摄像头30为变焦摄像头，一般由于老化、磕碰等原因，变焦摄像头出现焦距变化的概率较大，因此，预设标定参数的误差一般来源于变焦镜头的预设焦距不准确。即使双摄模组包括两个变焦摄像头，但两者的预设焦距在映射时可作为一个比例，依旧只需对其中一个变焦摄像头的焦距进行校准，使得第四匹配集中的目标特征点经过校准得到的校准标定参数映射后能够准确地得到对应的第五特征点，即表示两者的预设焦距的比例校准准确，从而完成标定。
在标定时，处理器40获取第二摄像头30的预设焦距，然后根据预设焦距确定可能出现误差的焦距校准范围，如预设焦距为f，焦距校准范围可以为[f-1毫米，f+1毫米]、[f-2毫米，f+2毫米]等。然后处理器40选取焦距校准范围内的一个或多个校准焦距，如每隔0.1毫米选取一个校准焦距，以[f-1毫米，f+1毫米]为校准焦距范围为例，则可选取21个校准焦距，然后根据校准焦距和预设标定参数获取中间校准标定参数，例如，使用校准焦距替换预设标定参数中的预设焦距以得到中间校准标定参数。如此，能够获取到21个中间校准标定参数。
然后处理器40根据每个中间校准标定参数对第四匹配集中的每个目标特征点进行映射，即可得到第六特征点，第六特征点、目标特征点和第五特征点一一对应，然后计算第六特征点和对应的第五特征点的偏差值，例如偏差值为所有第六特征点和对应的第五特征点的差值之和。处理器40在计算完所有中间校准标定参数对应的偏差值后，确定偏差值最小的中间校准标定参数为校准标定参数，偏差值最小表示该中间校准标定参数与第四匹配集最为符合，从而确定偏差值最小的中间校准标定参数对应的校准焦距为预设焦距，以获取最终的校准标定参数，完成预设标定参数的校准。
请参阅图8，本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器40执行时，使得处理器40可执行上述任一实施方式的启动方法。
例如，请结合图1至图3，当计算机程序302被一个或多个处理器40执行时，使得处理器40执行以下步骤：
011：获取第一摄像头20拍摄的第一图像和第二摄像头30拍摄的第二图像；
012：基于预设标定参数，处理第二图像以获取第三图像；
013：识别第一图像的第一特征点和第三图像的第二特征点，并获取相互匹配的第一特征点和第二特征点以作为第一匹配集；及
014：根据预设标定参数和第一匹配集计算校准标定参数。
再例如，请结合图2至图4，当计算机程序302被一个或多个处理器40执行时，处理器40还可以执行以下步骤：
0131：基于特征识别算法，识别第一特征点和第二特征点；
0132：根据第一特征点在第一图像中位置确定第三图像中与第一特征点匹配的目标区域，计算第一特征点和目标区域中的每个第二特征点的差值，以获取第一特征点和目标区域中的每个第二特征点的匹配度；
0133：确定匹配度最大且大于预定匹配度阈值的第一特征点和对应的第二特征点匹配；
0134：获取所有相互匹配的第一特征点和第二特征点，以作为第一匹配集。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (14)
1.一种标定方法，其特征在于，包括：
获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；
基于预设标定参数，处理所述第二图像以获取第三图像；
识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集；及
根据所述预设标定参数和所述第一匹配集计算校准标定参数。
2.根据权利要求1所述的标定方法，其特征在于，所述识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集，包括：
基于特征识别算法，识别所述第一特征点和所述第二特征点；
根据所述第一特征点在所述第一图像中位置确定所述第三图像中与所述第一特征点匹配的目标区域，计算所述第一特征点和所述目标区域中的每个所述第二特征点的差值，以获取所述第一特征点和所述目标区域中的每个所述第二特征点的匹配度；
确定所述匹配度最大且大于预定匹配度阈值的所述第一特征点和对应的所述第二特征点匹配；及
获取所有相互匹配的所述第一特征点和所述第二特征点，以作为所述第一匹配集。
3.根据权利要求2所述的标定方法，其特征在于，还包括：
基于随机抽样一致算法，根据所述第一匹配集计算基础矩阵模型；及
根据所述基础矩阵模型筛选所述第一匹配集中偏离度大于预定偏离度阈值的一对或多对特征点，以获取第二匹配集。
4.根据权利要求2所述的标定方法，其特征在于，所述根据所述预设标定参数和所述第一匹配集计算校准标定参数，包括：
根据预设标定参数，对所述第一匹配集中的第二特征点进行逆变换，以获取第三匹配集；
将所述第一图像划分为第一预定数量的特征区域；
根据所述第一特征点对应的所述匹配度，确定每个所述特征区域中的作为目标特征点的所述第一特征点；
根据作为目标特征点的所述第一特征点和所述第三匹配集中与所述第一特征点匹配的所述第二特征点，以生成第四匹配集；
根据所述第四匹配集和所述预设标定参数计算所述校准标定参数。
5.根据权利要求4所述的标定方法，其特征在于，所述预设标定参数包括预设焦距、预设旋转矩阵和预设平移矩阵，所述根据所述第四匹配集和所述预设标定参数计算所述校准标定参数，包括：
根据所述预设焦距确定焦距校准范围；
获取所述焦距校准范围内的一个或多个校准焦距；
根据所述校准焦距和预设标定参数获取中间校准标定参数；
根据所述第四匹配集和所述中间校准标定参数计算所述校准焦距对应的偏差值；及
确定所述偏差值最小的所述校准焦距为所述预设焦距，以获取所述校准标定参数。
6.根据权利要求1所述的标定方法，其特征在于，在识别所述第一特征点之后，还包括：
将所述第一图像划分为第一预定数量的特征区域；
将所述第一特征点的个数小于第二预定数量的所述特征区域标记为无效特征区域；及
在所述无效特征区域的个数大于第三预定数量时，确定所述第一图像无效，重新获取所述第一图像和所述第二图像。
7.一种标定装置，其特征在于，所述标定装置包括：
第一获取模块，用于获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；
处理模块，用于基于预设标定参数，处理所述第二图像以获取第三图像；
第二获取模块，用于识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集；及
第一计算模块，用于根据所述预设标定参数和所述第一匹配集计算校准标定参数。
8.一种终端，其特征在于，包括：
第一摄像头，用于获取第一图像；
第二摄像头，用于获取第二图像；和
处理器，用于获取所述第一图像和所述第二图像、基于预设标定参数，处理所述第二图像以获取第三图像、识别所述第一图像的第一特征点和所述第三图像的第二特征点，并获取相互匹配的所述第一特征点和所述第二特征点以作为第一匹配集、及根据所述预设标定参数和所述第一匹配集计算校准标定参数。
9.根据权利要求8所述的终端，其特征在于，所述处理器还用于：
基于特征识别算法，识别所述第一特征点和所述第二特征点；
根据所述第一特征点在所述第一图像中位置确定所述第三图像中与所述第一特征点匹配的目标区域，计算所述第一特征点和所述目标区域中的每个所述第二特征点的差值，以获取所述第一特征点和所述目标区域中的每个所述第二特征点的匹配度；
确定所述匹配度最大且大于预定匹配度阈值的所述第一特征点和对应的所述第二特征点匹配；及
获取所有相互匹配的所述第一特征点和所述第二特征点，以作为所述第一匹配集。
10.根据权利要求9所述的终端，其特征在于，所述处理器还用于：
基于随机抽样一致算法，根据所述第一匹配集计算基础矩阵模型；及
根据所述基础矩阵模型筛选所述第一匹配集中偏离度大于预定偏离度阈值的一对或多对特征点，以获取第二匹配集。
11.根据权利要求9所述的终端，其特征在于，所述处理器还用于：
根据预设标定参数，对所述第一匹配集中的第二特征点进行逆变换，以获取第三匹配集；
将所述第一图像划分为第一预定数量的特征区域；
根据所述第一特征点对应的所述匹配度，确定每个所述特征区域中的作为目标特征点的所述第一特征点；
根据作为目标特征点的所述第一特征点和所述第三匹配集中与所述第一特征点匹配的所述第二特征点，以生成第四匹配集；
根据所述第四匹配集和所述预设标定参数计算所述校准标定参数。
12.根据权利要求11所述的终端，其特征在于，所述预设标定参数包括预设焦距、预设旋转矩阵和预设平移矩阵，所述处理器还用于：
根据所述预设焦距确定焦距校准范围；
获取所述焦距校准范围内的一个或多个校准焦距；
根据所述校准焦距和预设标定参数获取中间校准标定参数；
根据所述第四匹配集和所述中间校准标定参数计算所述校准焦距对应的偏差值；及
确定所述偏差值最小的所述校准焦距为所述预设焦距，以获取所述校准标定参数。
13.根据权利要求8所述的终端，其特征在于，所述处理器还用于：
将所述第一图像划分为第一预定数量的特征区域；
将所述第一特征点的个数小于第二预定数量的所述特征区域标记为无效特征区域；及
在所述无效特征区域的个数大于第三预定数量时，确定所述第一图像无效，重新获取所述第一图像和所述第二图像。
14.一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536649.7A CN112598751A (zh) | 2020-12-23 | 2020-12-23 | 标定方法及装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536649.7A CN112598751A (zh) | 2020-12-23 | 2020-12-23 | 标定方法及装置、终端和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598751A true CN112598751A (zh) | 2021-04-02 |
Family
ID=75200275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011536649.7A Withdrawn CN112598751A (zh) | 2020-12-23 | 2020-12-23 | 标定方法及装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598751A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298885A (zh) * | 2021-06-23 | 2021-08-24 | Oppo广东移动通信有限公司 | 双目标定方法及装置、设备和存储介质 |
| CN113963072A (zh) * | 2021-12-22 | 2022-01-21 | 深圳思谋信息科技有限公司 | 双目摄像头标定方法、装置、计算机设备和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012163259A1 (zh) * | 2011-05-28 | 2012-12-06 | 华为终端有限公司 | 视频会议系统调整的方法及装置 |
| CN108230395A (zh) * | 2017-06-14 | 2018-06-29 | 深圳市商汤科技有限公司 | 双视角图像校准及图像处理方法、装置、存储介质和电子设备 |
| CN109584312A (zh) * | 2018-11-30 | 2019-04-05 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109658459A (zh) * | 2018-11-30 | 2019-04-19 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN110136048A (zh) * | 2018-02-09 | 2019-08-16 | 中国科学院上海高等研究院 | 一种图像配准方法及系统、存储介质及终端 |
| CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
| CN110689581A (zh) * | 2018-07-06 | 2020-01-14 | Oppo广东移动通信有限公司 | 结构光模组标定方法、电子设备、计算机可读存储介质 |
| WO2020097851A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、控制终端及存储介质 |
| CN111243035A (zh) * | 2020-04-29 | 2020-06-05 | 成都纵横自动化技术股份有限公司 | 相机标定方法、装置、电子设备和计算机可读存储介质 |
| CN111429531A (zh) * | 2020-04-24 | 2020-07-17 | Oppo广东移动通信有限公司 | 标定方法、标定装置和非易失性计算机可读存储介质 |
| CN111815715A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 变焦云台摄像机的标定方法、装置及存储介质 |
-
2020
- 2020-12-23 CN CN202011536649.7A patent/CN112598751A/zh not_active Withdrawn
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012163259A1 (zh) * | 2011-05-28 | 2012-12-06 | 华为终端有限公司 | 视频会议系统调整的方法及装置 |
| CN108230395A (zh) * | 2017-06-14 | 2018-06-29 | 深圳市商汤科技有限公司 | 双视角图像校准及图像处理方法、装置、存储介质和电子设备 |
| CN110136048A (zh) * | 2018-02-09 | 2019-08-16 | 中国科学院上海高等研究院 | 一种图像配准方法及系统、存储介质及终端 |
| CN110689581A (zh) * | 2018-07-06 | 2020-01-14 | Oppo广东移动通信有限公司 | 结构光模组标定方法、电子设备、计算机可读存储介质 |
| WO2020097851A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、控制终端及存储介质 |
| CN109584312A (zh) * | 2018-11-30 | 2019-04-05 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109658459A (zh) * | 2018-11-30 | 2019-04-19 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
| CN111429531A (zh) * | 2020-04-24 | 2020-07-17 | Oppo广东移动通信有限公司 | 标定方法、标定装置和非易失性计算机可读存储介质 |
| CN111243035A (zh) * | 2020-04-29 | 2020-06-05 | 成都纵横自动化技术股份有限公司 | 相机标定方法、装置、电子设备和计算机可读存储介质 |
| CN111815715A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 变焦云台摄像机的标定方法、装置及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298885A (zh) * | 2021-06-23 | 2021-08-24 | Oppo广东移动通信有限公司 | 双目标定方法及装置、设备和存储介质 |
| CN113963072A (zh) * | 2021-12-22 | 2022-01-21 | 深圳思谋信息科技有限公司 | 双目摄像头标定方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767422B (zh) | 一种鱼眼镜头的校正方法、装置及便携式终端 | |
| CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN111210468B (zh) | 一种图像深度信息获取方法及装置 | |
| CN106851122B (zh) | 基于双摄像头系统的自动曝光参数的标定方法和装置 | |
| CN111540004A (zh) | 单相机极线校正方法及装置 | |
| CN111145271B (zh) | 相机参数的精确度的确定方法、装置、存储介质及终端 | |
| US20130208081A1 (en) | Method for combining images | |
| CN106570907B (zh) | 一种相机标定方法及装置 | |
| CN109785390B (zh) | 一种用于图像矫正的方法和装置 | |
| CN111340737B (zh) | 图像矫正方法、装置和电子系统 | |
| WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN112598751A (zh) | 标定方法及装置、终端和存储介质 | |
| CN110136207B (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
| CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
| CN111429531A (zh) | 标定方法、标定装置和非易失性计算机可读存储介质 | |
| US11734789B2 (en) | Systems and methods for image distortion correction | |
| CN114494013A (zh) | 一种图像拼接方法、装置、设备及介质 | |
| CN111179180B (zh) | 影像的修正方法及其装置 | |
| US11166005B2 (en) | Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters | |
| CN113870364B (zh) | 一种自适应的双目相机标定方法 | |
| CN111292380A (zh) | 图像处理方法及装置 | |
| CN116051652A (zh) | 一种参数标定方法及电子设备、存储介质 | |
| JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| CN112233185B (zh) | 相机标定方法、图像配准方法及摄像器件、存储装置 | |
| CN115239816A (zh) | 一种相机标定方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210402 |