CN111080713B - 相机标定系统以及方法 - Google Patents

相机标定系统以及方法 Download PDF

Info

Publication number
CN111080713B
CN111080713B CN201911268057.9A CN201911268057A CN111080713B CN 111080713 B CN111080713 B CN 111080713B CN 201911268057 A CN201911268057 A CN 201911268057A CN 111080713 B CN111080713 B CN 111080713B
Authority
CN
China
Prior art keywords
target
camera
image
coordinates
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911268057.9A
Other languages
English (en)
Other versions
CN111080713A (zh
Inventor
苏显渝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Shenrui Vision Technology Co ltd
Original Assignee
Sichuan Shenrui Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Shenrui Vision Technology Co ltd filed Critical Sichuan Shenrui Vision Technology Co ltd
Priority to CN201911268057.9A priority Critical patent/CN111080713B/zh
Publication of CN111080713A publication Critical patent/CN111080713A/zh
Application granted granted Critical
Publication of CN111080713B publication Critical patent/CN111080713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种相机标定系统以及方法。所述系统包括立体标靶,增距镜,相机以及电子设置,所述增距镜设置于所述相机和所述立体标靶之间,所述相机与所述电子设备电性连接,所述立体标靶包括多个阶梯状标靶,以及设置于每个阶梯状标靶上的标记点;所述相机用于拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到标靶图像,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;所述电子设备用于根据所述标靶图像对所述相机进行标定。对标靶尺寸以及标靶与相机之间的距离进行了控制,且不需要移动立体标靶或相机采集多幅标靶图像,在降低相机标定难度的同时实现只采集一幅标靶图像完成对相机的快速及高精度的标定。

Description

相机标定系统以及方法
技术领域
本申请涉及相机标定技术领域,更具体地,涉及一种相机标定系统以及方法。
背景技术
相机标定是机器视觉、摄影测量、3D成像和图像几何校正等工作中的关键技术之一,它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。一般的标定方法中,不仅需要采集多张图像,因此需要人为的移动标定板或是相机,并且在标定时标靶和相机之间的距离也需要满足相机的工作距离,在实际的应用中,不仅费时费力,也增加了标靶的制作成本。
发明内容
本申请提出了一种相机标定系统以及方法,以改善上述问题。
第一方面,本申请实施例提供了一种相机的标定系统,该系统包括立体标靶,增距镜,相机以及电子设备,所述增距镜设置于所述相机和所述立体标靶的之间,所述相机与所述电子设备电性连接,所述立体标靶包括多个阶梯状标靶,以及设置于每个阶梯状标靶上的标记点;所述相机用于拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到标靶图像,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;所述电子设备用于获取所述相机拍摄的所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;所述电子设备还用于根据立体标靶的几何参数以及增距镜的参数确定在所述虚拟标靶中标记点的世界坐标;所述电子设备还用于将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;所述电子设备还用于通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。
第二方面,本申请实施例提供了一种相机标定方法,该方法包括:获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。
本申请实施例提供的相机标定系统以及方法,获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。相机通过拍摄所述立体标靶经增距镜放大后所形成的虚拟标靶得到标靶图像,对标靶尺寸以及标靶与相机之间的距离进行了控制,且不需要移动立体标靶或相机采集多幅标靶图像,在降低相机标定难度的同时实现只采集一幅标靶图像完成对相机的快速及高精度的标定。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例提供的相机标定系统的示意图。
图2示出了本申请一个实施例提供的立体标靶的示意图。
图3示出了本申请一个实施例提供的立体标靶的侧视图。
图4示出了本申请一个实施例提供的立体标靶中的阶梯状标靶的平面示意图。
图5示出了本申请另一个实施例提供的立体标靶的示意图。
图6示出了本申请一个实施例提供的相机标定方法的流程图。
图7示出了本申请一个实施例提供的标靶图像的示意图。
图8示出了本申请一个实施例提供的相机标定装置的结构框图。
图9示出了本申请实施例提出的用于执行根据本申请实施例的相机标定方法的电子设备的结构框图。
图10示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的相机标定方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
相机标定是机器视觉、摄影测量、3D成像和图像几何校正等工作中的关键技术之一,它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。一般视角相机可以用针孔模型表示,使用透视投影映射和仿射变换即可进行标定。
目前已经研究成熟的方法是采用平面标靶,已有基于平面标靶的工具软件,例如:Matlab工具箱及Opencv工具软件。在这些方法中,将平面标定板放置于相机前不同的位置采集多张标靶图像,以获得分布范围较大的标定原始数据。该方法需多次摆放标定板在不同位置并采集标靶图像,或者多次转动相机在不同方位并采集标靶图像,从而实现对相机的标定。
在对相机进行标定的过程中,需要考虑到被标定相机在正常使用时的工作距离,在对相机标定时,标靶和相机之间的距离应该和相机在正常使用时的工作距离一致,从而才能保证标定的结果准确可靠。发明人在研究中发现,一些相机在正常使用时的工作距离较长,例如,车载相机。在对工作距离较长的相机进行标定时,则需要将相机和标靶之间的距离控制在相机的正常使用时的工作距离,由于工作距离较长,从而导致标靶的尺寸较大,不仅增加了标靶的制作成本,也增大了标定的难度。若在标定中采用立体标靶,可以不需要移动标靶或相机采集多幅标靶图像,仅需要采集一幅标靶图像则可以实现对相机的快速标定。
因此,发明人提出了本申请的相机标定系统以及方法。获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。相机通过拍摄所述立体标靶经增距镜放大后所形成的虚拟标靶得到标靶图像,对标靶尺寸以及标靶与相机之间的距离进行了控制,且不需要移动立体标靶或相机采集多幅标靶图像,在降低相机标定难度的同时实现只采集一幅标靶图像完成对相机的快速及高精度的标定。
请参阅图1,本申请实施例提供了一种相机标定系统,具体的,该系统可以包括立体标靶100,增距镜200,相机300以及电子设备400。其中所述增距镜200设置于所述立体标靶100与相机300之间,所述相机300与所述电子设备400电性连接。相机300和电子设备400可以是一个装置,也可以为两个装置,具体可根据实际需求进行设置,在此不做限定。
其中,所述立体标靶100包括多个阶梯状标靶,以及设置于每个阶梯状标靶上的标记点;所述相机300用于拍摄所述立体标靶100通过增距镜200放大后所形成的虚拟标靶得到标靶图像,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;所述电子设备400对所述相机拍摄的标靶图像进行分析处理,确定所述相机300的成像模型参数,从而实现对所述相机300的标定。其中,拍摄标靶图像时,所述立体标靶100的中心与所述增距镜200的中心在同一基准线上,增距镜200的光轴与立体标靶100的基准平面垂直,并将所述立体标靶100设置在小于增距镜200的焦距的位置,以确保通过所述增距镜200可以将所述立体标靶100进行放大形成一个相对于所述立体标靶100放大后的虚拟标靶,从而可以拍摄到所述虚拟标靶的标靶图像。
具体的,所述立体标靶100包括底板,多个阶梯状标靶以及多个标记环,所述标记环的中心形成所述标记点。请参阅图2,示出了本申请实施例提供的立体标靶的示意图。同时可参参阅图3,示出了本申请实施例提供的立体标靶的侧视图。其中,所述立体标靶100包括底板110,多个阶梯状标靶200,以及多个标记环130,所述多个阶梯状状标靶120设置于所述底板110上,每个所述阶梯状标靶120包括具有多个台阶的凸台,每个阶梯状标靶120的每个台阶上设置有所述标记环130,其中,每个阶梯状标靶设置的标记环130的中心形成所述的阶梯状标靶设置的标记点。
进一步的,所述多个阶梯状标靶120可以均匀的分布在所述底板110上,其中一个阶梯状标靶120分布在所述底板110的中心位置,其余的阶梯状标靶120可根据实际的需要均匀的分布在所述底板110上。为了保证在使用所述立体标靶100对相机300标定时的准确度,所述阶梯状标靶120的数量不少于77个,从而可以使得在使用所述立体标靶100对相机300进行标定的准确度更高。
请参阅图4,示出了本申请实施例提供的阶梯状标靶的平面示意图。所述阶梯标靶120包括具有多个台阶121的凸台,每个阶梯状标靶120的台阶121的数量不少于三个,每个阶梯状标靶120中的多个台阶121具有相同的轴线,所述轴线垂直于底板110,并且所述台阶121由靠近所述底板110向远离所述底板的方向逐渐变小。所述台阶121的形状可以是三角形,矩形,圆形等,所述标记环130则为可以与所述台阶121相匹配的形状,具体的,所述台阶121以及所述标记环130的形状可以根据实际的需求进行设置,在此不做限定。
在所述底板110上的各个阶梯状标靶120之间台阶121的数量以及对应的大小尺寸完全相同。在本申请实施例中,每个阶梯状标靶120为具有多个台阶121的圆形凸台,每个台阶121的直径呈线性变化,距离所述底板110最近的台阶121的直径最大,距离所述底板110最远的台阶121的直径最小。其中,所述阶梯状标靶120中的每个台阶121边缘的连线122与所述阶梯状标靶120的轴线123之间的夹角大于相机的最大视场角,从而可以保证附着在每个台阶121上的标记环130的图像不会发生相互遮挡,从而可以提高相机标定的精度。
所述标记环130设置在所述阶梯状标靶120的每个台阶121上,其中所述标记环的反射率不同于所述阶梯状标靶120以及所述底板110的反射率。从而在拍摄所述立体标靶100经增距镜200放大后所形成的虚拟标靶得到的标靶图像中,可以使得标记环130的成像更加清晰,从而更加利于电子设备400的分析处理。具体的,所述标记环130设置在所述阶梯状标靶120的各个台阶121的边缘。在一些实施方式中,所述的标记环130可以是一个实体圆环,这个圆环可以是的自发光圆环,嵌套在各个台阶121的边缘。在一些实施方式中,所述标记环可以是一层反光膜,粘贴在各个台阶121的位置。在一些实施方式中,可以是对各个台阶121的边缘进行倒角或打磨处理,将倒角或打磨部分形成的圆环作为所述标记环130。每个标记环130的中心形成所阶梯状标靶120上设置的标记点,从而在相机拍摄所述立体标靶100通过增距镜放大形成的的虚拟立体标靶,得到的标靶图像中,可以根据所述标记环确定标记点。
在一些实施方式中,所述标靶100还可以包括箱体和光源,可参阅图5,示出了本申请另一个实施例提供的立体标靶100的示意图。所述立体标靶100包括前述的底板110,阶梯状标靶120,以及的标记环130,还包括箱体140以及光源150,所述的箱体140形成的容纳仓用于放置所述底板110,阶梯状标靶120,标记环130以及所述光源150。所述光源150发出的光照射在所述底板110,阶梯状标靶120以及标记环130上,由于所述标记环130和所述底板110以及所述阶梯状标靶120的反射率不同,从而在拍摄所述立体标靶通过增距镜放大后所形成的虚拟立体标靶得到的标靶图像中,所述标记环的图像就会更加清晰。
请参阅图6,本申请实施例提供了一种相机标定方法,应用于上述相机标定系统,具体的,该方法可以包括:
步骤S210,获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点。
电子设备可以获取到使用相机拍摄的标靶图像,具体的,可以是电子设备通过网络等方式接收到相机发送的标靶图像,也可以是,通过U盘或存储卡获取到标靶图像。
相机拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到标靶图像。所述虚拟标靶的尺寸大于所述立体标靶,结构与所述立体标靶完全一致,因为所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点,所述标记点为设置在所述阶梯状标靶上的标记环的中心。
步骤S220,根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标。
在获取到所述标靶图像后,所述标靶图像包括设置于每个阶梯状标靶上的标记点,所述标记点为设置于所述阶梯状标靶上的标记环的中心,其中,可参照图7,示出了获取的标靶图像的示意图。在图7中,130为设置在阶梯状标靶上的标记环,标记点则为标记环的中心点。确定所述标记点在所述标靶图像中的图像坐标,则需要提取每个标记环的中心点。提取所述标记环的中心点可以是对所述标靶图像中的标记环进行椭圆拟合;根据所述标记环的边界以及椭圆拟合方程,获得所述标记环椭圆方程,根据所述标记环椭圆方程,确定所述标记环的中心坐标,作为对应所述标记环的标记点的图像坐标。
在立体标靶中,标记环为圆形,而通过拍摄所述立体标靶经增距镜放大形成的虚拟标靶的得到的标靶图像中,由于投影关系,圆形标记环在标靶图像中呈现出椭圆形,由此可以采用椭圆拟合的方法计算每一个标靶图像中,每一个椭圆中心点,从而得到标记点在标靶图像中的图像坐标。
具体的,需要提取每个椭圆的边界就可以知道每个椭圆的长轴的长a,和短轴的长b。其中,对于标靶图像中的每一个椭圆,椭圆拟合方程为
Figure BDA0002313423540000091
Figure BDA0002313423540000101
其中,a为椭圆长轴的长,b为椭圆短轴的长,其中,a,b的值通过测量所述标靶图像中的每一个椭圆可以获知,从而可以求出对应每一个椭圆的中心点(u0,v0)的值。从而标记环椭圆方程可以表示为/>
Figure BDA0002313423540000102
Figure BDA0002313423540000103
其中,ai和bi分别为第i个椭圆的长轴的长,和第i个椭圆的短轴的长,(vi0,ui0)为第i个椭圆中心的图像坐标。从而根据所述标记环椭圆方程进行椭圆拟合,可以获取所有椭圆的参数的ai,bi,(vi0,ui0),(vi0,ui0)则为所述每个标记点的图像坐标。
步骤S230,根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标。
标靶图像为所述相机拍摄的所述立体标靶经所述增距镜放大后所形成的虚拟标靶得到的,从而根据所述立体标靶以及增距镜的参数确定在虚拟标靶中标记点的世界坐标。可以理解的是,由于所述虚拟标靶为所述立体标靶经过增距镜放大后所形成的虚像,从而所述虚拟标靶的结构和所述立体标靶完全一致,所述虚拟标靶的尺寸大于所述立体标靶。
在一些实施方式中,根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标,可以是根据所述增距镜的焦距以及增距镜与所述立体标靶之间的距离,获取所述立体标靶通过所述增距镜所形成的虚拟标靶在世界坐标系中的位置;再根据所述立体标靶的几何参数以及所述虚拟标靶在世界坐标系中的位置确定虚拟标靶中所述标记环的中心位置作为世界坐标。由于所述虚拟标靶为所述立体标靶放大后的虚像,由此所述虚拟标靶的结构和所述立体标靶的结构完全一致。在确定所述虚拟标靶在世界坐标系中的位置后,则可以根据所述立体标靶的设计参数确定虚拟标靶中的标记环的中心位置作为世界坐标。
在另一些实施方式中,根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标,可以是先根据所述立体标靶中,每个阶梯状标靶的位置分布以及每个阶梯状标靶上的台阶的设计参数,确定每个标记点在所述立体标靶上的世界坐标。再通过所述增距镜的焦距以及所述增距镜与所述立体标靶之间的距离确定所形成的虚拟标靶相对于所述的立体标靶的位置以及放大倍数。从而可以确定所述标记点在所述虚拟标靶中的世界坐标。
步骤S240,将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值。
在求出虚拟标靶中,每个标记点的世界坐标以及图像坐标后,可以根据透视成像模型计算相机的焦距、主点以及畸变参数的初始值。其中,在透视成像模型中,不存在畸变参数,从而可以将相机的畸变参数的初始值设置为0。
其中,透视成像模型又称针孔模型,在所述透视成像模型中,空间任一点P的世界坐标(X,Y,Z)与该点在相机中的像点的图像坐标(u,v)满足透视成像公式:
Figure BDA0002313423540000111
其中,[X,Y,Z,1]为世界坐标系中空间点的齐次坐标,对应于相机坐标系中的齐次像素坐标[u,v,1]。[R,T]是世界坐标系和摄像机坐标系之间的一对旋转矩阵和平移矩阵。(fu,fv)表示在相机坐标系中u方向即水平方向和v方向即竖直方向上的归一化焦距,即为相机的焦距。(u0,v0)为相机主点坐标。将虚拟标靶上的所有标记点的世界坐标,和这些标记点对应的图像坐标带入透视成像公式中,求解这些标记点带入透视成像公式中所组成的联立方程,可以得到相机焦距(fu,fv)和主点坐标(u0,v0)在透视成像模型下的初始值。
步骤S250,通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。
在获取到所述相机的焦距,主点,以及畸变参数的初始值之后,可以使用Levenberg-Marquardt算法对相机的焦距,主点以及畸变参数的初始值进行优化,以确定所述相机的成像模型参数。
具体的,通过所述Levenberg-Marquardt算法使所述虚拟标靶上的标记点的投影值与所述虚拟标靶上的标记点的测量值之间差的平方和最小。其中,标记点的投影值为根据在所述虚拟标靶中,各个标记点的世界坐标根据投影模型计算出标记点对应的图像坐标;测量值是指在使用相机拍摄所述立体标靶通过增距镜放大后形成的虚拟标靶得到标靶图像后,通过测量标靶图像中各个标记点对应在图像坐标系中的坐标。从而可以通过所述Levenberg—Marquardt算法使所述虚拟标靶上的标记点的投影值与所述虚拟标靶上的标记点的测量值之间差的平方和最小,对相机的焦距,主点以及畸变参数的初始值不断更新,求得最优解,从而可以确定所述相机的成像模型参数。
进一步的,通过Levenberg-Marquardt算法使所述虚拟标靶上的标记点的投影值与所述虚拟标靶上的标记点的测量值之间差的平方和最小,即使得目标函数
Figure BDA0002313423540000121
的值最小,其中,N表示虚拟标靶上的标记点的个数,/>
Figure BDA0002313423540000122
是标记点的投影值,即按照投影模型计算出的标记点的像素坐标,mj是标记点的测量值,即从标靶图像上测出的标记点的像素坐标。
本申请提出的相机标定方法,获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。从而相机通过拍摄所述立体标靶经增距镜放大后所形成的虚拟标靶得到标靶图像,对标靶尺寸以及标靶与相机之间的距离进行了控制,且不需要移动立体标靶或相机采集多幅标靶图像,在降低相机标定难度的同时实现只采集一幅标靶图像完成对相机的快速及高精度的标定。
请参阅图8,其示出了本申请实施例提供的一种相机标定装置500,所述装置500包括图像获取模块510,相机标定模块520,数值优化模块530。
图像获取模块510,获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;所述相机标定模块520,用于根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;所述相机标定模块320还用于根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;所述相机标定模块520还用于将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;所述数值优化模块530,通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。
进一步的,所述标记点为设置于每个阶梯状标靶的标记环的中心点,所述相机标定模块520还用于对所述标靶图像中的标记环进行椭圆拟合;根据所述标记环的边界以及椭圆拟合方程,获得所述标记环椭圆方程;根据所述标记环的椭圆方程,确定所述标记环的中心坐标,作为对应所述标记环的标记点的图像坐标。
进一步的,所述相机标定模块520还用于根据所述增距镜的焦距以及增距镜与所述立体标靶之间的距离,获取所述立体标靶通过所述增距镜所形成的虚拟标靶在世界坐标系中的位置;根据所述立体标靶的几何参数以及所述虚拟标靶在世界坐标系中的位置确定虚拟标靶中所述标记环的中心位置作为世界坐标。
进一步的,所述相机标定模块520还用于根据所述相机的透视成像模型,将所述图像坐标以及所述世界坐标拟合获得相机的焦距以及主点的初始值;将畸变参数的初始值设定为0。
进一步的,所述相机标定模块520还用于利用Levenberg-Marquardt算法使所述标记点的投影值与所述标记点的测量值之间差的平方和最小,所述标记点的投影值为在所述虚拟标靶中标记点的世界坐标投影模型计算的到的图像坐标;所述测量值为所述标记点在所述标靶图像中的图像坐标。
需要说明的是,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
综上所述,本申请提供的相机标定的方法及装置,获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。从而相机通过拍摄所述立体标靶经增距镜放大后所形成的虚拟标靶得到标靶图像,对标靶尺寸以及标靶与相机之间的距离进行了控制,且不需要移动立体标靶或相机采集多幅标靶图像,在降低相机标定难度的同时实现只采集一幅标靶图像完成对相机的快速及高精度的标定。
在本申请所提供的几个实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图9,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备600可以是手机、平板电脑等能进行数据处理的移动终端。
本申请中的电子设备600可以包括一个或多个如下部件:处理器610、存储器620、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分,通过运行或执行存储在存储器620内的指令、程序、代码集或指令集,以及调用存储在存储器620内的数据,执行电子设备600的各种功能和处理数据。可选地,处理器610可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器610中,单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图10,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种相机标定系统,其特征在于,包括立体标靶,增距镜,相机以及电子设备,所述增距镜设置于所述相机和所述立体标靶之间,所述相机与所述电子设备电性连接,
所述立体标靶包括多个阶梯状标靶,以及设置于每个阶梯状标靶上的标记点;
所述相机用于拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到标靶图像,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;
所述电子设备用于获取所述相机拍摄的所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;
所述电子设备还用于根据立体标靶的几何参数以及增距镜的参数确定在所述虚拟标靶中标记点的世界坐标;
所述电子设备还用于将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值;
所述电子设备还用于通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。
2.根据权利要求1所述的系统,其特征在于,所述增距镜与所述立体标靶的距离小于所述增距镜的焦距。
3.根据权利要求1所述的系统,其特征在于,所述立体标靶包括底板,多个阶梯状标靶,以及多个标记环,其中,所述多个阶梯状标靶设置于所述底板上,每个阶梯状标靶均包括具有多个台阶的凸台,每个阶梯状标靶的每个所述台阶上均设置有所述标记环,每个阶梯状标靶设置的标记环的中心形成所述阶梯状标靶设置的标记点。
4.根据权利要求3所述的系统,其特征在于,所述标记环的反射率不同于所述阶梯状标靶以及所述底板的反射率。
5.根据权利要求3所述的系统,其特征在于,所述阶梯状标靶的各个台阶边缘的连线与所述阶梯状标靶的轴线的夹角大于相机的最大视场角。
6.一种相机标定方法,其特征在于,基于如权利要求1-5任一项所述的相机标定系统对相机进行标定,所述方法应用于电子设备,包括:
获取标靶图像,所述标靶图像为拍摄所述立体标靶通过所述增距镜放大后所形成的虚拟标靶得到,所述标靶图像包括所述虚拟标靶中设置于每个阶梯状标靶上的标记点;
根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标;
根据立体标靶的几何参数以及增距镜的参数确定在虚拟标靶中标记点的世界坐标;
将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值所述图像坐标;
通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数。
7.根据权利要求6所述的方法,其特征在于,所述标记点为设置于每个阶梯状标靶的标记环的中心点,所述根据所述标靶图像,确定所述标记点在所述标靶图像中的图像坐标,包括:
对所述标靶图像中的标记环进行椭圆拟合;
根据所述标记环的边界以及椭圆拟合方程,获得所述标记环椭圆方程;
根据所述标记环的椭圆方程,确定所述标记环的中心坐标,作为对应所述标记环的标记点的图像坐标。
8.根据权利要求6所述的方法,其特征在于,所述根据立体标靶的几何参数以及增距镜的参数确定在所述虚拟标靶中标记点的世界坐标,包括:
根据所述增距镜的焦距以及增距镜与所述立体标靶之间的距离,获取所述立体标靶通过所述增距镜所形成的虚拟标靶在世界坐标系中的位置;
根据所述立体标靶的几何参数以及所述虚拟标靶在世界坐标系中的位置确定虚拟标靶中标记环的中心位置作为世界坐标。
9.根据权利要求6所述的方法,其特征在于,将所述图像坐标以及所述世界坐标按照所述相机的透视成像模型进行拟合,获得相机的焦距、主点以及畸变参数的初始值,包括:
根据所述相机的透视成像模型,将所述图像坐标以及所述世界坐标拟合获得相机的焦距以及主点的初始值;
将畸变参数的初始值设定为0。
10.根据权利要求6所述的方法,其特征在于,所述通过算法对相机的焦距、主点以及畸变参数初始值进行优化以确定所述相机的成像模型参数,包括:
利用Levenberg-Marquardt算法使所述标记点的投影值与所述标记点的测量值之间差的平方和最小,所述标记点的投影值为在所述虚拟标靶中标记点的世界坐标投影模型计算的到的图像坐标;所述测量值为所述标记点在所述标靶图像中的图像坐标。
CN201911268057.9A 2019-12-11 2019-12-11 相机标定系统以及方法 Active CN111080713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911268057.9A CN111080713B (zh) 2019-12-11 2019-12-11 相机标定系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911268057.9A CN111080713B (zh) 2019-12-11 2019-12-11 相机标定系统以及方法

Publications (2)

Publication Number Publication Date
CN111080713A CN111080713A (zh) 2020-04-28
CN111080713B true CN111080713B (zh) 2023-03-28

Family

ID=70313848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268057.9A Active CN111080713B (zh) 2019-12-11 2019-12-11 相机标定系统以及方法

Country Status (1)

Country Link
CN (1) CN111080713B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975638A (zh) * 2006-12-27 2007-06-06 北京航空航天大学 一种单摄像机虚拟鼠标系统的校准方法
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量系统中的摄像机现场标定方法
CN102663763A (zh) * 2012-04-25 2012-09-12 南京航空航天大学 一种面向大视场高精度视觉测量的摄像机标定方法
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN106127789A (zh) * 2016-07-04 2016-11-16 湖南科技大学 结合神经网络与虚拟靶标的立体视觉标定方法
CN107633533A (zh) * 2017-09-25 2018-01-26 深圳大学 大畸变镜头下的高精度圆形标志点中心定位方法及装置
CN109003309A (zh) * 2018-07-05 2018-12-14 烟台大学 一种高精度相机标定和目标姿态估计方法
CN110163922A (zh) * 2019-05-22 2019-08-23 四川深瑞视科技有限公司 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN110378967A (zh) * 2019-06-20 2019-10-25 江苏理工学院 一种光栅投射与立体视觉结合的虚拟靶标标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975638A (zh) * 2006-12-27 2007-06-06 北京航空航天大学 一种单摄像机虚拟鼠标系统的校准方法
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量系统中的摄像机现场标定方法
CN102663763A (zh) * 2012-04-25 2012-09-12 南京航空航天大学 一种面向大视场高精度视觉测量的摄像机标定方法
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN106127789A (zh) * 2016-07-04 2016-11-16 湖南科技大学 结合神经网络与虚拟靶标的立体视觉标定方法
CN107633533A (zh) * 2017-09-25 2018-01-26 深圳大学 大畸变镜头下的高精度圆形标志点中心定位方法及装置
CN109003309A (zh) * 2018-07-05 2018-12-14 烟台大学 一种高精度相机标定和目标姿态估计方法
CN110163922A (zh) * 2019-05-22 2019-08-23 四川深瑞视科技有限公司 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN110378967A (zh) * 2019-06-20 2019-10-25 江苏理工学院 一种光栅投射与立体视觉结合的虚拟靶标标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Janice Pan等."Virtual top-view camera calibration for accurate object representation".《2016 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI)》.第21-24页. *
王子辰 等."一种基于虚拟立体靶标的线阵相机标定方法".《光电子.激光》.2013,第第24卷卷(第第24卷期),第867-873页. *
高学海 等."一种基于投影标靶的手眼相机标定方法".《合肥工业大学学报(自然科学版)》.2008,(第undefined期),第1352-1357页. *

Also Published As

Publication number Publication date
CN111080713A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN110136207B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
US11380016B2 (en) Fisheye camera calibration system, method and electronic device
US20090268214A1 (en) Photogrammetric system and techniques for 3d acquisition
US20210407132A1 (en) Fisheye camera calibration system, method and electronic device
CN111739104A (zh) 一种激光标定系统的标定方法、装置以及激光标定系统
CN107941153B (zh) 一种激光测距优化标定的视觉系统
US20170292827A1 (en) Coordinate measuring system
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
US20230252666A1 (en) Systems and methods of measuring an object in a scene of a captured image
CN113119129A (zh) 一种基于标准球的单目测距定位方法
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
CN111080713B (zh) 相机标定系统以及方法
CN110163922B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN109741384B (zh) 深度相机的多距离检测装置及方法
CN111696141A (zh) 一种三维全景扫描采集方法、设备及存储设备
CN114596355B (zh) 一种基于合作目标的高精度位姿测量方法及系统
EP4386677A2 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
CN115239816A (zh) 一种相机标定方法、系统、电子设备及存储介质
CN211087307U (zh) 用于相机标定的标靶及系统
JPH11194027A (ja) 三次元座標計測装置
CN117523009B (zh) 一种双目相机标定方法、系统、装置及存储介质
JP2011227073A (ja) 3次元位置測定装置
JP6604934B2 (ja) 点群画素位置決定装置、方法、及びプログラム
CN118096858A (zh) 一种基于增强现实技术的变压器套管相间距离测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant