CN115861429A - 图像采集设备标定方法、装置、计算机设备和存储介质 - Google Patents

图像采集设备标定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115861429A
CN115861429A CN202310174068.0A CN202310174068A CN115861429A CN 115861429 A CN115861429 A CN 115861429A CN 202310174068 A CN202310174068 A CN 202310174068A CN 115861429 A CN115861429 A CN 115861429A
Authority
CN
China
Prior art keywords
image
calibration plate
matrix
calibration
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310174068.0A
Other languages
English (en)
Other versions
CN115861429B (zh
Inventor
陈克喆
肖寒
吕江波
沈小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202310174068.0A priority Critical patent/CN115861429B/zh
Publication of CN115861429A publication Critical patent/CN115861429A/zh
Application granted granted Critical
Publication of CN115861429B publication Critical patent/CN115861429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种图像采集设备标定方法、装置、计算机设备和存储介质。方法包括:确定各幅标定板图像分别对应的初始的第一转换矩阵;各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵;确定初始的第二转换矩阵;第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵;根据各标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵。采用本方法能够提高标定的准确性。

Description

图像采集设备标定方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种图像采集设备标定方法、装置、计算机设备和存储介质。
背景技术
在工业视觉领域中,有时需要使用运动平台来对图像采集设备或工件进行移动,以执行针对工件的多个部位的视觉任务,比如,对于视野范围较小的图像采集设备往往需要用到运动平台。比如:远心相机就属于视野范围较小的图像采集设备,它具有分辨率高、近乎无畸变和无透视误差等优点,在工业视觉领域广泛应用于检测和测量等视觉任务。在使用运动平台执行视觉任务之前,往往需要先对图像采集设备进行标定。
传统的标定方式中,一般是简单地根据两个坐标系下的坐标确定坐标系之间的转换矩阵,以标定图像采集设备,然而,这种标定方式容易引入各种误差,导致标定结果不够准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高准确性的图像采集设备标定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种图像采集设备标定方法。所述方法包括:
确定各幅标定板图像分别对应的初始的第一转换矩阵;所述各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;所述第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵;
根据各所述标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵;所述第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵;
根据各所述标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各所述标定板图像中所述选定点分别对应的图像坐标和运动平台坐标,对所述初始的第一转换矩阵和所述初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,以标定所述图像采集设备。
第二方面,本申请还提供了一种图像采集设备标定装置。所述装置包括:
第一转换矩阵确定模块,用于确定各幅标定板图像分别对应的初始的第一转换矩阵;所述各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;所述第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵;
第二转换矩阵确定模块,根据各所述标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵;所述第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵;
矩阵优化模块,用于根据各所述标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各所述标定板图像中所述选定点分别对应的图像坐标和运动平台坐标,对所述初始的第一转换矩阵和所述初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,以标定所述图像采集设备。
在其中一个实施例中,所述标定板图像中包含所述标定板上的至少一个基准标记;所述第一转换矩阵确定模块还用于分别对各幅标定板图像中的基准标记和各个标记图案进行识别,得到各所述标定板图像中的基准标记和各个标记图案的特征点的图像坐标;所述标记图案,是所述标定板上的图案阵列中的图案;所述基准标记,是所述标定板上用于对所述标记图案进行定位的基准图案;针对每幅标定板图像,根据所述标定板图像中的基准标记的特征点的图像坐标和标定板坐标,确定所述标定板图像对应的待初步调整的第一转换矩阵;针对每幅标定板图像,朝着使第一目标差异值减小的方向,迭代调整所述标定板图像对应的待初步调整的第一转换矩阵,在迭代调整结束后得到所述标定板图像对应的初始的第一转换矩阵;
其中,所述第一目标差异值,是由所述标定板图像中各个特征点的图像坐标与矩阵转换图像坐标之间的第一差异值确定的;所述矩阵转换图像坐标,是根据所述特征点的标定板坐标和所述待初步调整的第一转换矩阵确定的。
在其中一个实施例中,所述第一目标差异值是根据所述第一差异值和第二差异值确定的;所述第二差异值,用于表征所述标定板图像中各个特征点对应的目标向量与邻域像素点处的图像梯度之间的垂直偏差;所述目标向量,是所述特征点与相应邻域像素点之间所连成的向量;
所述第一转换矩阵确定模块还用于在朝着使所述第一目标差异值减小的方向迭代调整所述待初步调整的第一转换矩阵的过程中,同步迭代调整所述标定板图像中各个特征点的图像坐标,在迭代调整结束后还得到各所述特征点的优化后的图像坐标;所述优化后的图像坐标用于替代识别到的图像坐标进行矩阵优化处理。
在其中一个实施例中,所述第二差异值,是所述标定板图像中各个特征点的第一乘积与第二乘积之间的差值;所述第一乘积,是根据所述特征点的各个邻域像素点处的图像梯度信息与所述特征点的图像坐标的乘积确定的;所述第二乘积,是根据所述特征点的各个邻域像素点处的图像梯度信息与相应的所述邻域像素点的图像坐标的乘积确定的;所述图像梯度信息,是所述邻域像素点处的图像梯度与图像梯度的转置之间的乘积。
在其中一个实施例中,所述矩阵优化模块还用于朝着使第二目标差异值减小的方向,迭代调整所述初始的第一转换矩阵和所述初始的第二转换矩阵,在迭代调整后得到优化后的第一转换矩阵和第二转换矩阵;所述第二目标差异值包括第三差异值和第四差异值;
其中,所述第三差异值,是各所述标定板图像中选定点的运动平台坐标与矩阵转换运动平台坐标之间的差异值;所述矩阵转换运动平台坐标,是根据所述标定板图像中选定点的图像坐标、所述初始的第一转换矩阵和所述初始的第二转换矩阵确定的;所述第四差异值,是各所述标定板图像中各所述特征点的标定板坐标与矩阵转换标定板坐标之间的差异值;所述矩阵转换标定板坐标,是根据所述特征点的图像坐标和所述初始的第一转换矩阵确定的。
在其中一个实施例中,所述标定板是不包含基准标记的标定板;所述标定板图像中包含整个所述标定板;所述第一转换矩阵确定模块还用于分别对各幅标定板图像中的各个标记图案进行识别,得到各所述标定板图像中各个标记图案的特征点的图像坐标;针对每幅标定板图像,根据所述标定板图像中各个特征点的图像坐标和标定板坐标,确定所述标定板图像对应的初始的第一转换矩阵。
在其中一个实施例中,各所述标定板图像分别对应的初始的第一转换矩阵中的平面矩阵元素相同;所述平面矩阵元素相同时各所述标定板图像处于同一平面。
在其中一个实施例中,所述装置还包括:
运动平台定位模块,用于确定目标对象的图像中目标点的图像坐标;所述目标对象的图像是使用标定后的所述图像采集设备拍摄得到的;所述目标点是需要移动至所述图像采集设备的视野中心的点;根据所述目标点的图像坐标、所述优化后的第一转换矩阵和第二转换矩阵,确定所述目标点的运动平台坐标;根据所述目标点的运动平台坐标,控制承载所述目标对象的所述运动平台移动至所述目标点的运动平台坐标处,以将所述目标对象中的目标点移动至所述图像采集设备的视野中心。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行本申请各实施例所述的图像采集设备标定方法中的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行本申请各实施例所述的图像采集设备标定方法中的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,使得所述处理器执行本申请各实施例所述的图像采集设备标定方法中的步骤。
上述图像采集设备标定方法、装置、计算机设备、存储介质和计算机程序产品,确定各幅标定板图像分别对应的初始的第一转换矩阵,并根据各标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵,然后根据各标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,能够将多幅标定板图像的数据联立起来,使用各幅标定板图像中各个特征点的信息,共同进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,能够提高标定结果的准确性。
附图说明
图1为一个实施例中图像采集设备标定方法的应用环境图;
图2为一个实施例中图像采集设备标定方法的流程示意图;
图3为一个实施例中标定板的示意图;
图4为一个实施例中标定板图像的示意图;
图5为一个实施例中标定板图像中基准标记的特征点的示意图;
图6为一个实施例中标定板图像中标记图案的特征点的示意图;
图7为一个实施例中图像采集设备标定方法的整体流程示意图;
图8为一个实施例中图像采集设备标定装置的结构框图;
图9为另一个实施例中图像采集设备标定装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像采集设备标定方法,可以应用于如图1所示的应用环境中。其中,标定板102放置于运动平台104之上,运动平台104可以承载标定板102进行移动。移动可以是平移或旋转。图像采集设备106可以分别对处于不同位置处的运动平台104上的标定板102进行图像采集,得到多幅标定板图像。计算机设备108可以通过网络或蓝牙等方式与图像采集设备106进行通信,从图像采集设备106获取多幅标定板图像,或者,也可以手动将图像采集设备106中的多幅标定板图像拷贝至计算机设备108。计算机设备108可以根据多幅标定板图像,执行本申请各实施例中的图像采集设备标定方法,以标定图像采集设备。其中,标定板102可以但不限于是方形棋盘格标定板和圆形棋盘格标定板等。运动平台104是可以放置物体且可以承载物体进行移动的平台。图像采集设备106可以是相机或摄像头等用于进行图像采集的设备。计算机设备108可以是终端或服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像采集设备标定方法,以该方法应用于图1中的计算机设备108为例进行说明,包括以下步骤:
步骤202,确定各幅标定板图像分别对应的初始的第一转换矩阵;各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵。
其中,标定板坐标系,是以标定板为基准建立的坐标系。图像坐标系,是以图像为基准建立的坐标系。
在一个实施例中,标定板可以是包含基准标记的标定板或不包含基准标记的标定板。如图3所示,是ChArUco标定板的示意图,ChArUco标定板是一种包含基准标记的标定板。图3中的黑色方格和白色方格即为标记图案,图3中内部含有不规则图案的方格即为基准标记。在一个实施例中,在所使用的标定板是包含基准标记的标定板的情况下,标定板图像中可以包含标定板的一部分,而不必包含整个标定板,比如:图4即为针对图3中的标定板采集的一幅标定板图像的示意图。
在一个实施例中,待标定的图像采集设备可以对处于不同位置处的运动平台上的标定板进行图像采集,得到多幅标定板图像。计算机设备可以获取多幅标定板图像,确定各幅标定板图像分别对应的初始的第一转换矩阵。
在一个实施例中,在镜头畸变不可忽略时,计算机设备可以先对各幅标定板图像去除镜头畸变,然后使用去除镜头畸变后的各幅标定板图像执行本申请各实施例中的图像采集设备标定方法。
在一个实施例中,计算机设备可以识别标定板图像中的各个特征点的图像坐标,然后根据标定板图像中各个特征点的图像坐标和标定板坐标,确定该标定板图像对应的初始的第一转换矩阵。在一个实施例中,在标定板是不包含基准标记的标定板、且标定板图像中包含整个标定板的情况下,标定板图像中的各个特征点的图像坐标可以是标定板图像中各个标记图案的特征点的图像坐标。在另一个实施例中,在标定板是包含基准标记的标定板、且标定板图像中包含标定板上的至少一个基准标记的情况下,标定板图像中的各个特征点的图像坐标可以是标定板图像中的基准标记和标记图案的特征点的图像坐标。
在另一个实施例中,在标定板是包含基准标记的标定板、且标定板图像中包含标定板上的至少一个基准标记的情况下,计算机设备可以先根据标定板图像中基准图案的各个特征点的图像坐标和标定板坐标,确定待初步调整的第一转换矩阵,然后根据标定板图像中基准标记和标记图案的各个特征点的标定板坐标,优化原始的第一转换矩阵,得到标定板图像对应的初始的第一转换矩阵。在一个实施例中,计算机设备可以还可以在优化原始的第一转换矩阵的过程中,同步对标定板图像中各个特征点的图像坐标进行优化,得到各个特征点的优化后的图像坐标。
在其他实施例中,在标定板是包含基准标记的标定板、且标定板图像中包含标定板上的至少一个基准标记的情况下,计算机设备可以先根据标定板图像中基准图案的各个特征点的图像坐标和标定板坐标,确定待初步调整的第一转换矩阵,然后根据标定板图像中基准标记和标记图案的各个特征点的标定板坐标、各特征点对应的各个邻域像素点的图像坐标和图像梯度,优化各个特征点的图像坐标和原始的第一转换矩阵,得到各个特征点的优化后的图像坐标和初始的第一转换矩阵。
在一个实施例中,在标定板是方形棋盘格标定板的情况下,标定板图像中的基准标记和标记图案的特征点可以是基准标记和标记图案的角点。图5中圈出的角点即为标定板图像中的基准标记的特征点。图6中圈出的角点即为标定板图像中的标记图案的特征点。
在另一个实施例中,在标定板是圆形棋盘格标定板的情况下,标定板图像中的基准标记和标记图案的特征点可以是基准标记和标记图案的圆心。
在一个实施例中,计算机设备可以根据标定板图像中各个特征点的图像坐标和标定板坐标进行单应性变换估计,确定第一转换矩阵(初始的第一转换矩阵或待初步调整的第一转换矩阵)。在一个实施例中,单应性变换估计可以是仿射变换估计和透视变换估计等中的任意一种,相应地,第一转换矩阵可以是仿射变换矩阵和透视变换矩阵等中的任意一种。例如:在图像采集设备是远心相机的情况下,可以采用仿射变换估计,在图像采集设备是非远心相机的情况下,可以采用透视变换估计。
在一个实施例中,仿射变换矩阵可以表示为:
Figure SMS_1
其中,图像坐标,是在图像坐标系下的坐标。标定板坐标,是在标定板坐标系下的坐标。
步骤204,根据各标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵;第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵。
其中,运动平台坐标系,是以运动平台为基准建立的坐标系。运动平台坐标,是在运动平台坐标系下的坐标。各标定板图像使用同一初始的第二转换矩阵。
在一个实施例中,选定点可以是标定板图像中任意位置处的一个像素点。针对各幅标定板图像选取各幅标定板图像中同一对应位置处的选定点。计算机设备可以根据选定点在标定板图像中的位置,确定选定点的图像坐标。其中,选定点在各幅标定板图像中处于图像中的同一对应位置处。
在一个实施例中,选定点可以是标定板图像的中心点。计算机设备可以根据标定板图像的宽度和高度确定中心点的图像坐标。在一个实施例中,计算机设备可以将标定板图像的宽度值的一半确定为中心点的横坐标,并将标定板图像的高度值的一半确定为中心点的纵坐标。比如:对于宽度为w且高度为h的标定板图像,中心点的图像坐标为(w/2, h/2)。
在一个实施例中,计算机设备可以根据选定点的图像坐标和初始的第一转换矩阵,确定选定点的标定板坐标。在一个实施例中,计算机设备可以使用如下公式确定选定点的标定板坐标:
Pc=Hpc
其中,Pc是选定点的标定板坐标,H是初始的第一转换矩阵(从图像坐标系转换到标定板坐标系的初始的第一转换矩阵),pc是选定点的图像坐标。
在一个实施例中,计算机设备可以根据各标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标进行单应性变换估计,确定初始的第二转换矩阵。在一个实施例中,初始的第二转换矩阵可以是仿射变换矩阵和透视变换矩阵等中的任意一种。
在一个实施例中,计算机设备可以根据如下公式来计算出初始的第二转换矩阵:
Figure SMS_2
其中,Sk是第k幅标定板图像中选定点的运动平台坐标。HSB是初始的第二转换矩阵。
Figure SMS_3
是第k幅标定板图像中选定点的标定板坐标。k是标定板图像的序号。M是标定板图像的总数量。
步骤206,根据各标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,以标定图像采集设备。
在一个实施例中,在标定板是不包含基准标记的标定板、且标定板图像中包含整个标定板的情况下,用于进行矩阵优化的标定板图像中的各个特征点可以是标定板图像中各个标记图案的各个特征点。在另一个实施例中,在标定板是包含基准标记的标定板、且标定板图像中包含标定板上的至少一个基准标记的情况下,用于进行矩阵优化的标定板图像中的各个特征点可以是标定板图像中的基准标记和各个标记图案的特征点。
在一个实施例中,计算机设备可以朝着使第二目标差异值减小的方向,迭代调整初始的第一转换矩阵和初始的第二转换矩阵,在迭代调整后得到优化后的第一转换矩阵和第二转换矩阵。
其中,第二目标差异值包括第三差异值和第四差异值。第三差异值,是根据各标定板图像中选定点的图像坐标和运动平台坐标、以及初始的第一转换矩阵和初始的第二转换矩阵确定的。第四差异值,是根据各标定板图像中各特征点的图像坐标和标定板坐标、以及初始的第一转换矩阵确定的。上述图像采集设备标定方法,对不同位置的运动平台上的标定板进行图像采集得到多幅标定板图像,确定各幅标定板图像分别对应的初始的第一转换矩阵,并根据各标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵,然后根据不同位置处采集的各幅标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,能够将多幅标定板图像的数据联立起来,使用各幅标定板图像中各个特征点和选定点的坐标信息,共同进行矩阵优化,相较于采用单幅标定板图像进行标定的方式而言能够使用到更多的特征点的坐标信息进行联合优化,得到优化后的第一转换矩阵和第二转换矩阵,能够提高标定结果的准确性,而且能够避免各种因素对标定结果的影响,提高鲁棒性。
在一个实施例中,标定板图像中包含标定板上的至少一个基准标记。确定各幅标定板图像分别对应的初始的第一转换矩阵包括:分别对各幅标定板图像中的基准标记和各个标记图案进行识别,得到各标定板图像中的基准标记和各个标记图案的特征点的图像坐标;标记图案,是标定板上的图案阵列中的图案;基准标记,是标定板上用于对标记图案进行定位的基准图案;针对每幅标定板图像,根据标定板图像中的基准标记的特征点的图像坐标和标定板坐标,确定标定板图像对应的待初步调整的第一转换矩阵;针对每幅标定板图像,朝着使第一目标差异值减小的方向,迭代调整标定板图像对应的待初步调整的第一转换矩阵,在迭代调整结束后得到标定板图像对应的初始的第一转换矩阵。其中,第一目标差异值,是由标定板图像中各个特征点的图像坐标与矩阵转换图像坐标之间的第一差异值确定的;矩阵转换图像坐标,是根据特征点的标定板坐标和待初步调整的第一转换矩阵确定的。
在一个实施例中,标定板上可以有多个基准标记,每幅标定板图像中可以包含标定板上的至少一个(即,一个或多个)基准标记,即,图像采集设备可以仅对标定板上的一部分进行图像采集,但采集到的标定板图像中须包含至少一个基准标记。
在一个实施例中,计算机设备可以对标定板图像中的基准标记进行识别,得到基准标记的特征点的图像坐标和基准标记的标识(ID),计算机设备可以根据基准标记的标识对标定板图像中的各个标记图案进行识别,得到各个标记图案的特征点的图像坐标以及标记图案的各个特征点的标识(ID)。计算机设备可以根据基准标记的标识和标记图案的各个特征点的标识,确定基准标记和标记图案的各个特征点的标定板坐标。
在一个实施例中,针对每幅标定板图像,计算机设备可以使用如下公式确定待初步调整的第一转换矩阵:
pi=HPi,i=1,2,……,B
其中,Pi是基准标记的特征点的标定板坐标,pi是基准标记的特征点的图像坐标,H是待初步调整的第一转换矩阵,i是基准标记的特征点的序号,B是标定板图像中基准标记的特征点的总数量,例如:如图4标定板图像中存在一个基准标记,该基准标记有4个特征点(即,角点),则B为4。特征点的图像坐标可以表示为p=[u,v,1]T,特征点的标定板坐标可以表示为P=[x,y,1]T
在一个实施例中,计算机设备可以根据标定板图像中特征点的标定板坐标与待初步调整的第一转换矩阵的乘积,确定矩阵转换图像坐标,并根据各个特征点的图像坐标与矩阵转换图像坐标之间的差值确定第一差异值。
在一个实施例中,计算机设备可以使用如下公式计算第一差异值:
Figure SMS_4
其中,Eaffine是第一差异值,i是特征点的序号,N是标定板图像中各个标记图案的特征点的总数量,B是标定板图像中基准标记的特征点的总数量,pi是标定板图像中各个特征点的图像坐标,H是待初步调整的第一转换矩阵,Pi是标定板图像中各个特征点的标定板坐标。E1=Eaffine,E1是第一目标差异值。计算机设备可以朝着使第一目标差异值E1减小的方向,迭代调整标定板图像对应的待初步调整的第一转换矩阵H,将迭代调整结束后的H作为标定板图像对应的初始的第一转换矩阵。
在一个实施例中,在朝着使由第一差异值确定的第一目标差异值减小的方向迭代调整待初步调整的第一转换矩阵的过程中,计算机设备可以同步迭代调整标定板图像中各个特征点的图像坐标(即,迭代调整pi和H),在迭代调整结束后还得到各特征点的优化后的图像坐标。优化后的图像坐标用于替代识别到的图像坐标进行矩阵优化处理(即,根据各标定板图像中各个特征点分别对应的优化后的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵)。
上述实施例中,针对每幅标定板图像,先根据标定板图像中的基准标记的特征点的图像坐标和标定板坐标,确定标定板图像对应的待初步调整的第一转换矩阵,然后朝着使第一目标差异值减小的方向,迭代调整标定板图像对应的待初步调整的第一转换矩阵,在迭代调整结束后得到标定板图像对应的初始的第一转换矩阵,能够得到更加准确的初始的第一转换矩阵,从而提高了标定的准确性和鲁棒性。
在一个实施例中,第一目标差异值是根据第一差异值和第二差异值确定的;第二差异值,用于表征标定板图像中各个特征点对应的目标向量与邻域像素点处的图像梯度之间的垂直偏差;目标向量,是特征点与相应邻域像素点之间所连成的向量。方法还包括:在朝着使第一目标差异值减小的方向迭代调整待初步调整的第一转换矩阵的过程中,同步迭代调整标定板图像中各个特征点的图像坐标,在迭代调整结束后还得到各特征点的优化后的图像坐标;优化后的图像坐标用于替代识别到的图像坐标进行矩阵优化处理。
其中,垂直偏差,用于衡量特征点对应的目标向量与邻域像素点处的图像梯度之间的状态与垂直状态的偏差程度。当垂直偏差为零时,表明特征点对应的目标向量与邻域像素点处的图像梯度之间的状态为垂直状态(即,特征点对应的目标向量与邻域像素点处的图像梯度相垂直)。邻域像素点,是在特征点的邻域范围内的像素点。
在一个实施例中,计算机设备可以根据特征点的图像坐标与相应邻域像素点的图像坐标之间的差值,确定特征点对应的目标向量。
在一个实施例中,计算机设备可以根据特征点对应的目标向量与邻域像素点处的图像梯度的转置之间的乘积,确定第二差异值。
在一个实施例中,计算机设备可以使用如下公式确定第二差异值Ecorner
Figure SMS_5
;(1)
其中,Ecorner是第二差异值,i是特征点的序号,N是标定板图像中标记图案的特征点的总数量,B是标定板图像中基准标记的特征点的总数量。pi是标定板图像中的特征点的图像坐标,Nb(pi)是标定板图像中特征点pi的邻域范围,pj是pi的邻域范围内的像素点。Gpj是pj处的图像梯度。可以理解,上述公式(1)可以约束特征点对应的目标向量与邻域像素点处的图像梯度相垂直,以准确约束特征点的位置,从而确保特征点的图像坐标更加准确。
在一个实施例中,计算机设备可以第一差异值和第二差异值之和,确定第一目标差异值。即,E1=Eaffine+Ecorner,其中,E1是第一目标差异值,Eaffine是第一差异值,Ecorner是第二差异值。
在一个实施例中,在朝着使根据第一差异值和第二差异值确定的第一目标差异值减小的方向迭代调整待初步调整的第一转换矩阵的过程中,计算机设备可以同步迭代调整标定板图像中各个特征点的图像坐标(即,迭代调整pi和H),在迭代调整结束后还得到各特征点的优化后的图像坐标。优化后的图像坐标用于替代识别到的图像坐标进行矩阵优化处理(即,根据各标定板图像中各个特征点分别对应的优化后的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵)。
在一个实施例中,通过朝着使第一目标差异值减小的方向迭代调整待初步调整的第一转换矩阵和各个特征点的图像坐标,得到的各个特征点优化后的图像坐标和初始的第一转换矩阵可以用如下公式表示:
Figure SMS_6
其中,
Figure SMS_7
是特征点的优化后的图像坐标。/>
Figure SMS_8
是优化后得到的初始的第一转换矩阵。E1是第一目标差异值。
上述实施例中,第一目标差异值是根据第一差异值和第二差异值共同确定的,第二差异值用于表征标定板图像中各个特征点对应的目标向量与邻域像素点处的图像梯度之间的垂直偏差,从而能够通过第二差异值将特征点的图像坐标约束在准确的位置处,并通过第一差异值优化第一转换矩阵,从而能够得到更加准确的特征点的图像坐标和初始的第一转换矩阵,提高了标定的准确性和鲁棒性。避免了因光照、灰尘、脏污或磨损等因素的影响导致标定板图像存在噪声或边缘模糊等问题,从而导致识别到的特征点的图像坐标不准确,进而导致求得的第一转换矩阵不准确的问题。
在一个实施例中,第二差异值,是标定板图像中各个特征点的第一乘积与第二乘积之间的差值;第一乘积,是根据特征点的各个邻域像素点处的图像梯度信息与特征点的图像坐标的乘积确定的;第二乘积,是根据特征点的各个邻域像素点处的图像梯度信息与相应的邻域像素点的图像坐标的乘积确定的;图像梯度信息,是邻域像素点处的图像梯度与图像梯度的转置之间的乘积。
在一个实施例中,计算机设备可以将特征点的各个邻域像素点处的图像梯度信息与特征点的图像坐标的乘积进行求和得到第一乘积,将特征点的各个邻域像素点处的图像梯度信息与相应的邻域像素点的图像坐标的乘积进行求和得到第二乘积。
在一个实施例中,计算机设备可以使用如下公式确定第二差异值:
Figure SMS_9
;(2)
其中,Ecorner是第二差异值,i是特征点的序号,N是标定板图像中标记图案的特征点的总数量,B是标定板图像中基准标记的特征点的总数量。pi是标定板图像中的特征点的图像坐标,Nb(pi)是标定板图像中特征点pi的邻域范围,pj是pi的邻域范围内的像素点。Gpj是pj处的图像梯度。可以理解,公式(2)是对公式(1)进行了变形,与公式(1)是等价的,公式(2)中的
Figure SMS_10
是方阵,更加便于计算。
上述实施例中,第二差异值更加便于计算,能够通过第二差异值将特征点的图像坐标约束在准确的位置处,并通过第一差异值优化第一转换矩阵,从而能够得到更加准确的特征点的图像坐标和初始的第一转换矩阵,提高了标定的准确性和鲁棒性。避免了因光照、灰尘、脏污或磨损等因素的影响导致标定板图像存在噪声或边缘模糊等问题,从而导致识别到的特征点的图像坐标不准确,进而导致求得的第一转换矩阵不准确的问题。
在一个实施例中,根据各标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵包括:朝着使第二目标差异值减小的方向,迭代调整初始的第一转换矩阵和初始的第二转换矩阵,在迭代调整后得到优化后的第一转换矩阵和第二转换矩阵;第二目标差异值包括第三差异值和第四差异值。其中,第三差异值,是各标定板图像中选定点的运动平台坐标与矩阵转换运动平台坐标之间的差异值;矩阵转换运动平台坐标,是根据标定板图像中选定点的图像坐标、初始的第一转换矩阵和初始的第二转换矩阵确定的;第四差异值,是各标定板图像中各特征点的标定板坐标与矩阵转换标定板坐标之间的差异值;矩阵转换标定板坐标,是根据特征点的图像坐标和初始的第一转换矩阵确定的。
在一个实施例中,计算机设备可以根据标定板图像中选定点的图像坐标、初始的第一转换矩阵和初始的第二转换矩阵之间的乘积,确定矩阵转换运动平台坐标。
在一个实施例中,计算机设备可以使用如下公式确定第三差异值:
Figure SMS_11
其中,Ea是第三差异值,k是标定板图像的序号,M是标定板图像的总数量。Sk是第k幅标定板图像中选定点的运动平台坐标。
Figure SMS_12
是第k幅标定板图像中选定点的矩阵转换运动平台坐标,/>
Figure SMS_13
是第k幅标定板图像中选定点的图像坐标,/>
Figure SMS_14
是第k幅标定板图像对应的初始的第一转换矩阵,HSB是初始的第二转换矩阵。
在一个实施例中,计算机设备可以根据特征点的图像坐标和初始的第一转换矩阵之间的乘积,确定矩阵转换标定板坐标。
在一个实施例中,计算机设备可以使用如下公式确定第四差异值:
Figure SMS_15
其中,Eb是第四差异值,k是标定板图像的序号,M是标定板图像的总数量。λ是可设置的权重参数。i是特征点的序号。Nk是第k幅标定板图像中标记图案的特征点的总数量,Bk是第k幅标定板图像中基准标记的特征点的总数量。
Figure SMS_16
是第k幅标定板图像中第i个特征点的标定板坐标。/>
Figure SMS_17
是第k幅标定板图像中第i个特征点的矩阵转换标定板坐标。/>
Figure SMS_18
是第k幅标定板图像中第i个特征点的图像坐标,/>
Figure SMS_19
是第k幅标定板图像对应的初始的第一转换矩阵。
在一个实施例中,计算机设备可以根据第三差异值和第四差异值之和,确定第二目标差异值。即,E2=Ea+Eb,其中,E2是第二目标差异值,Ea是第三差异值,Eb是第四差异值。即,计算机设备可以使用如下公式确定第二目标差异值E2
Figure SMS_20
在一个实施例中,通过朝着使第二目标差异值减小的方向,迭代调整初始的第一转换矩阵和初始的第二转换矩阵,得到的优化后的第一转换矩阵和第二转换矩阵可以用如下公式表示:
Figure SMS_21
其中,
Figure SMS_22
是优化后的第二转换矩阵,/>
Figure SMS_23
是第k幅标定板图像对应的优化后的第一转换矩阵。E2是第二目标差异值。
在一个实施例中,通过第一目标差异值E1的优化公式得到的H是从标定板坐标系变换到图像坐标系的初始的第一转换矩阵,计算机设备可以求解H的逆矩阵,H的逆矩阵是从图像坐标系变换到标定板坐标系的初始的第一转换矩阵,将H的逆矩阵作为第二目标差异值E2的优化公式中的初始的第一转换矩阵
Figure SMS_24
上述实施例中,能够将多幅标定板图像的数据联立起来,使用各幅标定板图像中各个特征点的信息,共同进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,能够提高标定结果的准确性,而且能够避免各种因素对标定结果的影响,提高鲁棒性。
在一个实施例中,标定板是不包含基准标记的标定板;标定板图像中包含整个标定板。确定各幅标定板图像分别对应的初始的第一转换矩阵包括:分别对各幅标定板图像中的各个标记图案进行识别,得到各标定板图像中各个标记图案的特征点的图像坐标;针对每幅标定板图像,根据标定板图像中各个特征点的图像坐标和标定板坐标,确定标定板图像对应的初始的第一转换矩阵。
在一个实施例中,在标定板是不包含基准标记的标定板、且标定板图像中包含整个标定板的情况下,计算机设备可以分别对各幅标定板图像中的各个标记图案进行识别,得到各标定板图像中各个标记图案的特征点的图像坐标,然后针对每幅标定板图像,根据标定板图像中各个特征点的图像坐标和标定板坐标,确定标定板图像对应的初始的第一转换矩阵,得到各标定板图像分别对应的初始的第一转换矩阵,然后执行步骤204和206。
上述实施例中,在标定板是不包含基准标记的标定板、且标定板图像中包含整个标定板的情况下,能够将多幅标定板图像的数据联立起来,使用各幅标定板图像中各个特征点的信息,共同进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,能够提高标定结果的准确性,而且能够避免各种因素对标定结果的影响,提高鲁棒性。
在一个实施例中,各标定板图像分别对应的初始的第一转换矩阵中的平面矩阵元素相同;平面矩阵元素相同时各标定板图像处于同一平面。
可以理解,因为各幅标定板图像的图像平面都属于同一平面,所以各标定板图像分别对应的初始的第一转换矩阵中的平面矩阵元素可以相同。
在一个实施例中,初始的第一转换矩阵是3×3的矩阵,初始的第一转换矩阵中左上角的2×2的矩阵元素即为平面矩阵元素。例如:第k幅标定板图像的初始的第一转换矩阵
Figure SMS_25
为:
Figure SMS_26
Figure SMS_27
中左上角的2×2的矩阵元素[h11h12; h21h22]即为平面矩阵元素。
上述实施例中,各幅标定板图像分别对应的初始的第一转换矩阵的平面矩阵元素相同,使得各个初始的第一转换矩阵中待估计的参数的维度从6M个减少到2M+4个,能够提高算法的鲁棒性,并提高了计算效率。
如图7所示,是本申请各实施例中的图像采集设备标定方法的整体流程示意图。首先获取标定板图像,针对每幅标定板图像,识别标定板图像中基准标记的特征点的图像坐标,然后根据基准标记的特征点的图像坐标和标定板坐标,确定待初步调整的第一转换矩阵,并识别标定板图像中标记图案的特征点的图像坐标,再优化基准标记和标记图案的各个特征点的图像坐标和待初步调整的第一转换矩阵,得到各个特征点的优化后的图像坐标和初始的第一转换矩阵。确定选定点的运动平台坐标,并根据初始的第一转换矩阵和选定点的图像坐标,确定选定点的标定板坐标,然后根据选定点的标定板坐标和运动平台坐标进行单应性变换估计,得到初始的第二转换矩阵,最后根据各个特征点的优化后的图像坐标、初始的第一转换矩阵和初始的第二转换矩阵进行联合优化,得到优化后的第一转换矩阵和第二转换矩阵。
在一个实施例中,在标定图像采集设备之后,方法还包括:确定目标对象的图像中目标点的图像坐标;目标对象的图像是使用标定后的图像采集设备拍摄得到的;目标点是需要移动至图像采集设备的视野中心的点;根据目标点的图像坐标、优化后的第一转换矩阵和第二转换矩阵,确定目标点的运动平台坐标;根据目标点的运动平台坐标,控制承载目标对象的运动平台移动至目标点的运动平台坐标处,以将目标对象中的目标点移动至图像采集设备的视野中心。
其中,目标对象,是图像采集设备需要进行图像采集的对象。目标点,是从目标对象的图像中选择的一个像素点。
在一个实施例中,在标定图像采集设备之后,标定后的图像采集设备可以针对处于采集标定板图像的位置处的运动平台上的目标对象进行图像采集,得到目标对象的图像。计算机设备可以确定目标对象的图像中目标点的图像坐标,然后根据目标点的图像坐标、优化后的第一转换矩阵和第二转换矩阵的乘积,确定目标点的运动平台坐标。其中,所使用的优化后的第一转换矩阵对应于同一位置处采集的标定板图像。
在一个实施例中,计算机设备可以使用如下公式确定目标点的运动平台坐标:
Figure SMS_28
其中,Sk是第k幅目标对象的图像中目标点的运动平台坐标。HSB是优化后的第二转换矩阵,
Figure SMS_29
是第k幅目标对象的图像对应的优化后的第一转换矩阵。pk是第k幅目标对象的图像中目标点的图像坐标。第k幅目标对象的图像对应的优化后的第一转换矩阵即为同一位置处采集的标定板图像对应的优化后的第一转换矩阵。
上述实施例中,确定目标对象的图像中目标点的图像坐标,根据目标点的图像坐标、优化后的第一转换矩阵和第二转换矩阵,确定目标点的运动平台坐标,根据目标点的运动平台坐标,控制承载目标对象的运动平台移动至目标点的运动平台坐标处,以将目标对象中的目标点移动至图像采集设备的视野中心,能够通过移动运动平台将目标对象的图像中的目标点移动至图像采集设备的视野中心,实现了准确的运动平台定位。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像采集设备标定方法的图像采集设备标定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像采集设备标定装置实施例中的具体限定可以参见上文中对于图像采集设备标定方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种图像采集设备标定装置800,包括:
第一转换矩阵确定模块802,用于确定各幅标定板图像分别对应的初始的第一转换矩阵;各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵。
第二转换矩阵确定模块804,根据各标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵;第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵。
矩阵优化模块806,用于根据各标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,以标定图像采集设备。
在一个实施例中,标定板图像中包含标定板上的至少一个基准标记。第一转换矩阵确定模块802还用于分别对各幅标定板图像中的基准标记和各个标记图案进行识别,得到各标定板图像中的基准标记和各个标记图案的特征点的图像坐标;标记图案,是标定板上的图案阵列中的图案;基准标记,是标定板上用于对标记图案进行定位的基准图案;针对每幅标定板图像,根据标定板图像中的基准标记的特征点的图像坐标和标定板坐标,确定标定板图像对应的待初步调整的第一转换矩阵;针对每幅标定板图像,朝着使第一目标差异值减小的方向,迭代调整标定板图像对应的待初步调整的第一转换矩阵,在迭代调整结束后得到标定板图像对应的初始的第一转换矩阵。其中,第一目标差异值,是由标定板图像中各个特征点的图像坐标与矩阵转换图像坐标之间的第一差异值确定的;矩阵转换图像坐标,是根据特征点的标定板坐标和待初步调整的第一转换矩阵确定的。
在一个实施例中,第一目标差异值是根据第一差异值和第二差异值确定的;第二差异值,用于表征标定板图像中各个特征点对应的目标向量与邻域像素点处的图像梯度之间的垂直偏差;目标向量,是特征点与相应邻域像素点之间所连成的向量。第一转换矩阵确定模块802还用于在朝着使第一目标差异值减小的方向迭代调整待初步调整的第一转换矩阵的过程中,同步迭代调整标定板图像中各个特征点的图像坐标,在迭代调整结束后还得到各特征点的优化后的图像坐标;优化后的图像坐标用于替代识别到的图像坐标进行矩阵优化处理。
在一个实施例中,第二差异值,是标定板图像中各个特征点的第一乘积与第二乘积之间的差值;第一乘积,是根据特征点的各个邻域像素点处的图像梯度信息与特征点的图像坐标的乘积确定的;第二乘积,是根据特征点的各个邻域像素点处的图像梯度信息与相应的邻域像素点的图像坐标的乘积确定的;图像梯度信息,是邻域像素点处的图像梯度与图像梯度的转置之间的乘积。
在一个实施例中,矩阵优化模块806还用于朝着使第二目标差异值减小的方向,迭代调整初始的第一转换矩阵和初始的第二转换矩阵,在迭代调整后得到优化后的第一转换矩阵和第二转换矩阵;第二目标差异值包括第三差异值和第四差异值。其中,第三差异值,是各标定板图像中选定点的运动平台坐标与矩阵转换运动平台坐标之间的差异值;矩阵转换运动平台坐标,是根据标定板图像中选定点的图像坐标、初始的第一转换矩阵和初始的第二转换矩阵确定的;第四差异值,是各标定板图像中各特征点的标定板坐标与矩阵转换标定板坐标之间的差异值;矩阵转换标定板坐标,是根据特征点的图像坐标和初始的第一转换矩阵确定的。
在一个实施例中,标定板是不包含基准标记的标定板;标定板图像中包含整个标定板。第一转换矩阵确定模块802还用于分别对各幅标定板图像中的各个标记图案进行识别,得到各标定板图像中各个标记图案的特征点的图像坐标;针对每幅标定板图像,根据标定板图像中各个特征点的图像坐标和标定板坐标,确定标定板图像对应的初始的第一转换矩阵。
在一个实施例中,各标定板图像分别对应的初始的第一转换矩阵中的平面矩阵元素相同;平面矩阵元素相同时各标定板图像处于同一平面。
在一个实施例中,如图9所示,装置800还包括:
运动平台定位模块808,用于确定目标对象的图像中目标点的图像坐标;目标对象的图像是使用标定后的图像采集设备拍摄得到的;目标点是需要移动至图像采集设备的视野中心的点;根据目标点的图像坐标、优化后的第一转换矩阵和第二转换矩阵,确定目标点的运动平台坐标;根据目标点的运动平台坐标,控制承载目标对象的运动平台移动至目标点的运动平台坐标处,以将目标对象中的目标点移动至图像采集设备的视野中心。
上述图像采集设备标定装置,对不同位置的运动平台上的标定板进行图像采集得到多幅标定板图像,确定各幅标定板图像分别对应的初始的第一转换矩阵,并根据各标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵,然后根据不同位置处采集的各幅标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各标定板图像中选定点分别对应的图像坐标和运动平台坐标,对初始的第一转换矩阵和初始的第二转换矩阵进行矩阵优化,能够将多幅标定板图像的数据联立起来,使用各幅标定板图像中各个特征点和选定点的坐标信息,共同进行矩阵优化,相较于采用单幅标定板图像进行标定的方式而言能够使用到更多的特征点的坐标信息进行联合优化,得到优化后的第一转换矩阵和第二转换矩阵,能够提高标定结果的准确性,而且能够避免各种因素对标定结果的影响,提高鲁棒性。
上述图像采集设备标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像采集设备标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(MagnetoresistiveRandom Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像采集设备标定方法,其特征在于,所述方法包括:
确定各幅标定板图像分别对应的初始的第一转换矩阵;所述各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;所述第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵;
根据各所述标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵;所述第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵;
根据各所述标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各所述标定板图像中所述选定点分别对应的图像坐标和运动平台坐标,对所述初始的第一转换矩阵和所述初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,以标定所述图像采集设备。
2.根据权利要求1所述的方法,其特征在于,所述标定板图像中包含所述标定板上的至少一个基准标记;所述确定各幅标定板图像分别对应的初始的第一转换矩阵包括:
分别对各幅标定板图像中的基准标记和各个标记图案进行识别,得到各所述标定板图像中的基准标记和各个标记图案的特征点的图像坐标;所述标记图案,是所述标定板上的图案阵列中的图案;所述基准标记,是所述标定板上用于对所述标记图案进行定位的基准图案;
针对每幅标定板图像,根据所述标定板图像中的基准标记的特征点的图像坐标和标定板坐标,确定所述标定板图像对应的待初步调整的第一转换矩阵;
针对每幅标定板图像,朝着使第一目标差异值减小的方向,迭代调整所述标定板图像对应的待初步调整的第一转换矩阵,在迭代调整结束后得到所述标定板图像对应的初始的第一转换矩阵;
其中,所述第一目标差异值,是由所述标定板图像中各个特征点的图像坐标与矩阵转换图像坐标之间的第一差异值确定的;所述矩阵转换图像坐标,是根据所述特征点的标定板坐标和所述待初步调整的第一转换矩阵确定的。
3.根据权利要求2所述的方法,其特征在于,所述第一目标差异值是根据所述第一差异值和第二差异值确定的;所述第二差异值,用于表征所述标定板图像中各个特征点对应的目标向量与邻域像素点处的图像梯度之间的垂直偏差;所述目标向量,是所述特征点与相应邻域像素点之间所连成的向量;
所述方法还包括:
在朝着使所述第一目标差异值减小的方向迭代调整所述待初步调整的第一转换矩阵的过程中,同步迭代调整所述标定板图像中各个特征点的图像坐标,在迭代调整结束后还得到各所述特征点的优化后的图像坐标;所述优化后的图像坐标用于替代识别到的图像坐标进行矩阵优化处理。
4.根据权利要求3所述的方法,其特征在于,所述第二差异值,是所述标定板图像中各个特征点的第一乘积与第二乘积之间的差值;所述第一乘积,是根据所述特征点的各个邻域像素点处的图像梯度信息与所述特征点的图像坐标的乘积确定的;所述第二乘积,是根据所述特征点的各个邻域像素点处的图像梯度信息与相应的所述邻域像素点的图像坐标的乘积确定的;所述图像梯度信息,是所述邻域像素点处的图像梯度与图像梯度的转置之间的乘积。
5.根据权利要求1所述的方法,其特征在于,所述根据各所述标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各所述标定板图像中所述选定点分别对应的图像坐标和运动平台坐标,对所述初始的第一转换矩阵和所述初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵包括:
朝着使第二目标差异值减小的方向,迭代调整所述初始的第一转换矩阵和所述初始的第二转换矩阵,在迭代调整后得到优化后的第一转换矩阵和第二转换矩阵;所述第二目标差异值包括第三差异值和第四差异值;
其中,所述第三差异值,是各所述标定板图像中选定点的运动平台坐标与矩阵转换运动平台坐标之间的差异值;所述矩阵转换运动平台坐标,是根据所述标定板图像中选定点的图像坐标、所述初始的第一转换矩阵和所述初始的第二转换矩阵确定的;所述第四差异值,是各所述标定板图像中各所述特征点的标定板坐标与矩阵转换标定板坐标之间的差异值;所述矩阵转换标定板坐标,是根据所述特征点的图像坐标和所述初始的第一转换矩阵确定的。
6.根据权利要求1所述的方法,其特征在于,所述标定板是不包含基准标记的标定板;所述标定板图像中包含整个所述标定板;所述确定各幅标定板图像分别对应的初始的第一转换矩阵包括:
分别对各幅标定板图像中的各个标记图案进行识别,得到各所述标定板图像中各个标记图案的特征点的图像坐标;
针对每幅标定板图像,根据所述标定板图像中各个特征点的图像坐标和标定板坐标,确定所述标定板图像对应的初始的第一转换矩阵。
7.根据权利要求1至6中任一项所述的方法,其特征在于,各所述标定板图像分别对应的初始的第一转换矩阵中的平面矩阵元素相同;所述平面矩阵元素相同时各所述标定板图像处于同一平面。
8.根据权利要求1至6中任一项所述的方法,其特征在于,在标定所述图像采集设备之后,所述方法还包括:
确定目标对象的图像中目标点的图像坐标;所述目标对象的图像是使用标定后的所述图像采集设备拍摄得到的;所述目标点是需要移动至所述图像采集设备的视野中心的点;
根据所述目标点的图像坐标、所述优化后的第一转换矩阵和第二转换矩阵,确定所述目标点的运动平台坐标;
根据所述目标点的运动平台坐标,控制承载所述目标对象的所述运动平台移动至所述目标点的运动平台坐标处,以将所述目标对象中的目标点移动至所述图像采集设备的视野中心。
9.一种图像采集设备标定装置,其特征在于,所述装置包括:
第一转换矩阵确定模块,用于确定各幅标定板图像分别对应的初始的第一转换矩阵;所述各幅标定板图像,是使用待标定的图像采集设备对不同位置的运动平台上的标定板进行图像采集得到;所述第一转换矩阵,是标定板坐标系与图像坐标系之间的转换矩阵;
第二转换矩阵确定模块,根据各所述标定板图像中同一选定点分别对应的标定板坐标和运动平台坐标,确定初始的第二转换矩阵;所述第二转换矩阵,是标定板坐标系与运动平台坐标系之间的转换矩阵;
矩阵优化模块,用于根据各所述标定板图像中各个特征点分别对应的图像坐标和标定板坐标、以及各所述标定板图像中所述选定点分别对应的图像坐标和运动平台坐标,对所述初始的第一转换矩阵和所述初始的第二转换矩阵进行矩阵优化,得到优化后的第一转换矩阵和第二转换矩阵,以标定所述图像采集设备。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202310174068.0A 2023-02-28 2023-02-28 图像采集设备标定方法、装置、计算机设备和存储介质 Active CN115861429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310174068.0A CN115861429B (zh) 2023-02-28 2023-02-28 图像采集设备标定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310174068.0A CN115861429B (zh) 2023-02-28 2023-02-28 图像采集设备标定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN115861429A true CN115861429A (zh) 2023-03-28
CN115861429B CN115861429B (zh) 2023-06-16

Family

ID=85659262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310174068.0A Active CN115861429B (zh) 2023-02-28 2023-02-28 图像采集设备标定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115861429B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376768A1 (en) * 2013-06-19 2014-12-25 The Boeing Company Systems and Methods for Tracking Location of Movable Target Object
CN109767474A (zh) * 2018-12-31 2019-05-17 深圳积木易搭科技技术有限公司 一种多目相机标定方法、装置及存储介质
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN113787522A (zh) * 2021-10-12 2021-12-14 华侨大学 消除机械臂累积误差的手眼标定方法
CN114612447A (zh) * 2022-03-17 2022-06-10 广东美卡智能信息技术有限公司 一种基于数据标定的图像处理方法及装置、图像处理设备
CN115147499A (zh) * 2022-07-11 2022-10-04 深圳思谋信息科技有限公司 标定参数确定方法、混合标定板、装置、设备和介质
CN115588054A (zh) * 2022-10-27 2023-01-10 杭州海康机器人股份有限公司 无角度约束的相机标定方法、装置、电子设备及存储介质
CN115641385A (zh) * 2022-11-09 2023-01-24 杭州鸿泉物联网技术股份有限公司 车载环视相机标定方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376768A1 (en) * 2013-06-19 2014-12-25 The Boeing Company Systems and Methods for Tracking Location of Movable Target Object
CN109767474A (zh) * 2018-12-31 2019-05-17 深圳积木易搭科技技术有限公司 一种多目相机标定方法、装置及存储介质
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN113787522A (zh) * 2021-10-12 2021-12-14 华侨大学 消除机械臂累积误差的手眼标定方法
CN114612447A (zh) * 2022-03-17 2022-06-10 广东美卡智能信息技术有限公司 一种基于数据标定的图像处理方法及装置、图像处理设备
CN115147499A (zh) * 2022-07-11 2022-10-04 深圳思谋信息科技有限公司 标定参数确定方法、混合标定板、装置、设备和介质
CN115588054A (zh) * 2022-10-27 2023-01-10 杭州海康机器人股份有限公司 无角度约束的相机标定方法、装置、电子设备及存储介质
CN115641385A (zh) * 2022-11-09 2023-01-24 杭州鸿泉物联网技术股份有限公司 车载环视相机标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115861429B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN110969668A (zh) 一种长焦双目相机的立体标定算法
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN114463442A (zh) 一种非同轴相机的标定方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN102956532B (zh) 用于对齐晶片以用于制造的系统和方法
CN114664722A (zh) 一种方形晶圆预对准方法、系统、电子设备及存储介质
CN111709999A (zh) 标定板、相机标定方法、装置、电子设备及相机系统
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN113379845A (zh) 一种相机标定方法及装置、电子设备及存储介质
CN115861429B (zh) 图像采集设备标定方法、装置、计算机设备和存储介质
CN114466143B (zh) 一种拍摄角度校准方法、装置、终端设备以及存储介质
CN115965697A (zh) 基于沙姆定律的投影仪标定方法、标定系统及装置
CN114322751B (zh) 目标测量方法、装置、计算机设备和存储介质
CN112894154B (zh) 激光打标方法及装置
CN114663449A (zh) 道路病害面积计算方法、装置、计算机设备和存储介质
CN114897990A (zh) 一种基于神经网络的相机畸变标定方法、系统和存储介质
CN115042184A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质
CN111145268B (zh) 一种视频注册方法及装置
JP4775541B2 (ja) 撮影画像における歪曲収差補正方法
CN113487685A (zh) 线激光扫描相机的标定方法、装置、设备和存储介质
CN114693769A (zh) 一种c臂机的标定方法及装置
CN115601451B (zh) 外参数据标定方法、装置、计算机设备和存储介质
CN116563357B (zh) 图像匹配方法、装置、计算机设备及计算机可读存储介质
CN112446928B (zh) 一种拍摄装置的外参确定系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant