CN109087265A - 一种多相机图像坐标转换方法和装置 - Google Patents

一种多相机图像坐标转换方法和装置 Download PDF

Info

Publication number
CN109087265A
CN109087265A CN201810901732.6A CN201810901732A CN109087265A CN 109087265 A CN109087265 A CN 109087265A CN 201810901732 A CN201810901732 A CN 201810901732A CN 109087265 A CN109087265 A CN 109087265A
Authority
CN
China
Prior art keywords
point
coordinates
mark
image
mark point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810901732.6A
Other languages
English (en)
Other versions
CN109087265B (zh
Inventor
古佩强
宋伟铭
周中亚
李润锋
刘敏
刘强强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd
BEIJING DAHENG IMAGE VISION Co Ltd
Original Assignee
BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd
BEIJING DAHENG IMAGE VISION Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd, BEIJING DAHENG IMAGE VISION Co Ltd filed Critical BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd
Priority to CN201810901732.6A priority Critical patent/CN109087265B/zh
Publication of CN109087265A publication Critical patent/CN109087265A/zh
Application granted granted Critical
Publication of CN109087265B publication Critical patent/CN109087265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多相机图像坐标转换方法和装置,涉及信号产生的技术领域,其中,该方法包括:对第一图像和第二图像进行连通域分析,得到第一连通域图像和第二连通域图像;根据第一连通域图像、第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;根据第一标记点坐标组和第二标记点坐标组,确定图像匹配点组;根据图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。通过本发明中的技术方案,有利于降低图像处理过程中坐标变换的响应时间,提高了计算坐标变换矩阵的准确性和可靠性,降低了硬件运算性能的要求。

Description

一种多相机图像坐标转换方法和装置
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种多相机图像坐标转换方法以及一种多相机图像坐标转换装置。
背景技术
随着图像处理技术的发展,采用相机作为一种检测设备已日渐广泛,由于单个相机的视场无法覆盖整个检测区域,通常需要将多个相机拍摄到的图像进行拼接处理,以得到良好的检测效果。由于不同相机拍摄图像中目标点的像素坐标是基于自身图像坐标系的,为了后续计算的方便快捷,一般需要将所有相机拍摄图像的坐标系转换为同一个坐标系,因此,需要以其中一个相机的图像坐标系为参考标准坐标系,对相机拍摄的图像进行坐标系的变换。
而现有技术中,通常是是采用棋盘格标定板进行角点特征提取,然后进行角点匹配,该方法中角点提取和匹配的算法复杂度高,耗时较长,对硬件的运算性能要求较高,进而增加了图像检测设备的生产成本。且由于受光环境影响,角点提取和匹配的计算结果并不稳定,容易出现误检测和误匹配的情况,对应用场地适应性较差。因此,需要一种能够对相机拍摄图像进行快速、简便地坐标系变换方法,以提高使用相机检测设备的便捷性。
发明内容
本发明的目的在于:提供一种多相机图像坐标转换方法和装置,以便于提高计算图像坐标系变换矩阵的准确性,降低了坐标变换的响应时间。
本发明提供的第一方面技术方案是:一种多相机图像坐标转换方法,其特征在于,该方法包括:步骤10,对由不同相机拍摄的第一图像和第二图像进行连通域分析,分别得到第一连通域图像和第二连通域图像;步骤20,根据第一连通域图像、第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;步骤30,根据第一标记点坐标组和第二标记点坐标组,确定图像匹配点组;步骤40,根据图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。
上述任一项技术方案中,进一步地,在步骤2中,具体包括:步骤21,根据第一连通域图像和第二连通域图像,生成第一连通域组和第二连通域组;步骤22,提取第一连通域组和第二连通域组中像素点个数大于预设面积阈值的像素组元素,记作第一标记点坐标组和第二标记点坐标组;
上述任一项技术方案中,进一步地,在步骤2中,具体还包括:步骤23,判断第一标记点坐标组和第二标记点坐标组中的特征点个数是否等于预设点数,当判定第一标记点坐标组中的特征点个数等于预设点数且第二标记点坐标组中的特征点个数等于预设点数时,计算第一标记点坐标组和第二标记点坐标组的特征点坐标,执行步骤30;否则,重新执行步骤10,其中,一个特征点对应于第一标记点坐标组或第二标记点坐标组中的一个像素组元素。
上述任一项技术方案中,进一步地,在步骤3中,具体包括:步骤31,分别选取第一标记点坐标组和第二标记点坐标组中直线距离最大的两个特征点,记作最大距离点;步骤32,选取连接线与最大距离点构成的直线相互垂直的两个特征点,记作垂直点;步骤33,将第一标记点坐标组和第二标记点坐标组中剩余的特征点标记为方向点;步骤34,根据方向点,将距离方向点直线距离小的一个最大距离点记作第一匹配点,将另一个最大距离点记作第二匹配点;步骤35,根据方向点,将距离方向点直线距离小的一个垂直点记作第三匹配点,将另一个垂直点记作第四匹配点;步骤36,根据第一匹配点、第二匹配点、第三匹配点、第四匹配点和方向点,生成图像匹配点组。
本发明提供的第二方面技术方案是:一种多相机图像坐标转换装置,该装置包括:连通域分析模块,标记点确定模块,匹配模块以及计算模块;连通域分析模块用于对由不同相机拍摄的第一图像和第二图像进行连通域分析,分别得到第一连通域图像和第二连通域图像;标记点确定模块用于根据第一连通域图像、第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;匹配模块用于根据第一标记点坐标组和第二标记点坐标组,确定图像匹配点组;计算模块用于根据图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。
上述任一项技术方案中,进一步地,标记点确定模块具体包括:生成模块和提取模块;生成模块用于根据第一连通域图像和第二连通域图像,生成第一连通域组和第二连通域组;提取模块用于提取第一连通域组和第二连通域组中像素点个数大于预设面积阈值的像素组元素,记作第一标记点坐标组和第二标记点坐标组。
上述任一项技术方案中,进一步地,标记点确定模块具体还包括:判断模块;判断模块用于判断第一标记点坐标组和第二标记点坐标组中的特征点个数是否等于预设点数,其中,一个特征点对应于第一标记点坐标组或第二标记点坐标组中的一个像素组元素。
上述任一项技术方案中,进一步地,匹配模块具体还包括:选取模块、标记模块和生成模块;选取模块用于分别选取第一标记点坐标组和第二标记点坐标组中直线距离最大的两个特征点,记作最大距离点;选取模块还用于选取连接线与最大距离点构成的直线相互垂直的两个特征点,记作垂直点;标记模块用于将第一标记点坐标组和第二标记点坐标组中剩余的特征点标记为方向点;标记模块还用于根据方向点,将距离方向点直线距离小的一个最大距离点记作第一匹配点,将另一个最大距离点记作第二匹配点;标记模块还用于根据方向点,将距离方向点直线距离小的一个垂直点记作第三匹配点,将另一个垂直点记作第四匹配点;生成模块用于根据第一匹配点、第二匹配点、第三匹配点、第四匹配点和方向点,生成图像匹配点组。
本发明的有益效果是:通过对第一图像和第二图像进行连通域分析,确定图像匹配点组,再利用最小二乘法计算公式,计算坐标变换矩阵,进而实现对图像处理过程中的坐标变换,有利于降低图像处理过程中坐标变换的响应时间,提高了计算坐标变换矩阵的准确性和可靠性,通过第一连通域图像、第二连通域图像和预设面积阈值,确定标记点坐标组,再根据标记点坐标组确定图像匹配点组,利用图像中像素点的坐标信息,直接获得匹配点,减少了关于匹配点的计算量,提高了匹配点获取的准确性,再通过最小二乘法计算坐标变换矩阵,有利于提高计算坐标变换矩阵的运行速率和坐标变换矩阵的稳定性。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明的一个实施例的多相机图像获取的示意图;
图2是根据本发明的一个实施例的多相机图像坐标转换方法的示意流程图;
图3是根据本发明的一个实施例的多相机图像坐标转换装置的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中,阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一:
以下将参照图1-2对本发明的实施方式进行说明。
如图1所示,本发明中由不同相机拍摄的第一图像和第二图像对应的标定板03包括:第一标记点组和第二标记点组,其中,第一标记点组包括第一标记点和第二标记点,第二标记点组包括第三标记点和第四标记点;
第一标记点组水平设置于标定板的水平中线,第二标记点组竖直设置于标定板的竖直中线;
方向标记点设置于第二标记点组的左侧,方向标记点靠近第四标记点设置;
标定板03上还包括:等间距设置的多个间隔点,间隔点与第一标记点、第二标记点、第三标记点以及第四标记点的间距相等;
第一标记点组之间间隔点的第一个数大于第二标记点组之间间隔点的第二个数;
方向标记点和第四标记点之间间隔点的第三个数大于或等于1,且第三个数小于第二个数。
本实施例中获取标定板图像的过程中,设置有相机01和相机02,在相机01和相机02下方的公共拍摄视野范围内设置标定板03,将相机01拍摄标定板03的图像记作第一图像,将相机02拍摄标定板03的图像记作第二图像,标定板03包含第一标记点A、第二标记点B、第三标记点C、第四标记点D、方向标记点E和若干等间距设置的间隔点组成,标记点A、标记点B和之间的间隔点组成标定板03的长轴(第一标定点组),长轴位于标定板03的水平中线上,标记点C、标记点D和之间的间隔点组成标定板03的短轴(第二标定点组),短轴位于标定板03的竖直中线上,标记点E设置于标记点D的左侧,标记点E和标记点D之间至少设置有一个间隔点,标记点E用于标记标定板03的方向。
具体地,在本实施例中,设定标定板03的规格为330mm×260mm,在标定板03上规则排列13列10行共计130个圆点,在圆点中设置5个标记点和125个间隔点,其中,标记点为标记点A、标记点B、标记点C、标记点D以及标记点E,标记点的直径为20mm,间隔点的直径为10mm,任意两个圆点之间的圆心距为25mm。
进一步地,设定标记点A和标记点B为长轴标记点,之间设置7个间隔点,设定标记点C和标记点D为短轴标记点,之间设置5个间隔点,设定标记点E为方向标记点,与标记点D位于同一横行,两者之间有一个间隔点。
通过相机01和相机02获取标定板03的图像,并将获取到的图像传输至图像处理服务器,由于相机01和相机02在拍摄标定板03时所处的位置不同,在进行图像拼接处理时,需要将第一图像(第二图像)的坐标系转换至第二图像(第一图像)的坐标系,因此,需要图像处理服务器对接收到的第一图像和第二图像进行坐标变换分析,得出坐标变换矩阵。
如图2所示,本实施例提供了一种多相机图像坐标转换方法,包括:
步骤10,对由不同相机拍摄的第一图像和第二图像进行连通域分析,分别得到第一连通域图像和第二连通域图像;
具体地,首先采用最大类间方差法对第一图像和第二图像进行二值化处理,按照灰度特性将第一图像和第二图像中的标记点、间隔点与背景色进行区分,将标记点和间隔点的像素值设定为255,将背景色的像素值设定为0,以便提高图像处理过程中的准确性。
其次,对二值化处理后的第一图像和第二图像进行连通域分析,通过连通域分析识别出两个图像中的标记点,以便确定标记点分别在两个图像中的坐标。
步骤20,根据第一连通域图像、第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;
在该步骤20中,具体包括:
步骤21,根据第一连通域图像和第二连通域图像,生成第一连通域组和第二连通域组;
具体地,经过连通域分析之后,得到第一连通域图像和第二连通域图像,以第一连通域图像为例,在第一图像中,由于标记点和间隔点由多个像素点组成,通过对第一图像进行连通域分析,能够获取构成标记点和间隔点的像素点的数量和坐标信息,进而根据像素点的坐标信息构成第一连通域组,即坐标相邻的像素点组成一个像素组元素。
步骤22,提取第一连通域组和第二连通域组中像素点个数大于预设面积阈值的像素组元素,记作第一标记点坐标组和第二标记点坐标组;
具体地,通过比较各像素组元素中像素点个数与预设面积阈值的大小关系,选出像素点个数大于预设面积阈值的像素组元素,即第一图像中对应的标记点A、标记点B、标记点C、标记点D和标记点E,记作第一标记点坐标组。且由于相机01和相机02获取对应图像的位置不同,因此,获得的对应特征点坐标也不同,设定相机01获取的第一图像对应的第一标记点坐标组依次为:特征点m1、特征点m2、特征点m3、特征点m4和特征点m5,相机02获取的第二图像对应的第二标记点坐标组依次为:特征点n1、特征点n2、特征点n3、特征点n4和特征点n5
其中,预设面积阈值为一定数量的像素点个数,需要根据对应相机高度、相机分辨率进行设置。
步骤23,判断第一标记点坐标组和第二标记点坐标组中的特征点个数是否等于预设点数,当判定第一标记点坐标组中的特征点个数等于预设点数且第二标记点坐标组中的特征点个数等于预设点数时,计算第一标记点坐标组和第二标记点坐标组的特征点坐标,执行步骤30;否则,重新执行步骤10,其中,一个特征点对应于第一标记点坐标组或第二标记点坐标组中的一个像素组元素。
其中,预设点数为5。
具体地,计算特征点坐标的方法包括:
步骤a,提取标记点坐标组中特征点的像素点坐标信息;
步骤b,根据像素点坐标信息,确定边缘像素点;
步骤c,根据边缘像素点的坐标信息进行拟合运算,计算拟合圆心坐标,记作特征点坐标。
设定第一标记点坐标组对应的特征点坐标依次为:(m1x,m1y)、(m2x,m2y)、(m3x,m3y)、(m4x,m4y)和(m5x,m5y),第二标记点坐标组对应的特征点坐标依次为:(n1x,n1y)、(n2x,n2y)、(n3x,n3y)、(n4x,n4y)和(n5x,n5y)。
步骤30,根据第一标记点坐标组和第二标记点坐标组,确定图像匹配点组;
在该步骤30中,具体包括:
步骤31,分别选取第一标记点坐标组和第二标记点坐标组中直线距离最大的两个特征点,记作最大距离点;
具体地,以第一标记点坐标组为例,第一标记点坐标组中的特征点包括:特征点m1、特征点m2、特征点m3、特征点m4和特征点m5,通过计算任意两个特征点的特征点坐标之间的直线距离L,以特征点m1、特征点m2为例,对应的计算公式为:
通过比较直线距离L,确定最大距离点,记作l1和l2。为了方便在实施例中进行描述,设定最大距离点为特征点m1、特征点m2
步骤32,选取连接线与最大距离点构成直线相互垂直的两个特征点,记作垂直点;
具体地,以第一标记点坐标组为例,将特征点m3、特征点m4和特征点m5进行连线,选取连线与l1和l2连线相互垂直的两特征点作为垂直点,记作s1和s2。为了方便在实施例中进行描述,设定垂直点为特征点m3、特征点m4
步骤33,将第一标记点坐标组和第二标记点坐标组中剩余的特征点标记为方向点。
具体地,对于已确定的任一坐标组中,包含有5个特征值点,因此,通过确定最大距离点(特征点m1、特征点m2)、垂直点(特征点m3、特征点m4),将剩余的特征点(特征点m5)为方向点,其中,第一标记点坐标组的方向点记作p1,第二标记点坐标组的方向点记作p1’。
步骤34,根据方向点,将距离方向点直线距离小的一个最大距离点记作第一匹配点,将另一个最大距离点记作第二匹配点;
其中,第一标记点坐标组的第一匹配点记作p2,第二标记点坐标组的第一匹配点记作p2’,第一标记点坐标组的第二匹配点记作p3,第二标记点坐标组的第二匹配点记作p3’。
步骤35,根据方向点,将距离方向点直线距离小的一个垂直点记作第三匹配点,将另一个垂直点记作第四匹配点;
其中,第一标记点坐标组的第三匹配点记作p4,第二标记点坐标组的第三匹配点记作p4’,第一标记点坐标组的第四匹配点记作p5,第二标记点坐标组的第四匹配点记作p5’。
步骤36,根据第一匹配点、第二匹配点、第三匹配点、第四匹配点和方向点,生成图像匹配点组。
具体地,图像匹配点组由第一标记点坐标组和第二标记点坐标组中相对应的图像匹配点组成,包括:(p1,p1’)、(p2,p2’)、(p3,p3’)、(p4,p4’)和(p5,p5’),即,((p1x,p1y),(p1x’,p1y’))、((p2x,p2y),(p2x’,p2y’))、((p3x,p3y),(p3x’,p3y’))、((p4x,p4y),(p4x’,p4y’))、和((p5x,p5y),(p5x’,p5y’)),结合本发明中的标定板30中的特征点坐标,可以将图像匹配点组写成:((m5x,m5y),(n5x,n5y))、((m1x,m1y),(n1x,n1y))、((m2x,m2y),(n2x,n2y))、((m3x,m3y),(n3x,n3y))和((m4x,m4y),(n4x,n4y))。
步骤40,根据图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。
其中,最小二乘法计算公式为:
式中,坐标变换矩阵Z为:
实施例二:
如图3所示,本实施例提供了一种多相机图像坐标转换装置300,该装置包括:连通域分析模块31,标记点确定模块32,匹配模块33以及计算模块34;连通域分析模块31用于对由不同相机拍摄的第一图像和第二图像进行连通域分析,分别得到第一连通域图像和第二连通域图像;
具体地,通过相机01和相机02获取标定板03的图像,并将获取到的图像传输至图像处理服务器,由于相机01和相机02在拍摄标定板03时所处的位置不同,在进行图像拼接处理时,需要将第一图像(第二图像)的坐标系转换至第二图像(第一图像)的坐标系,因此,需要图像处理服务器对接收到的第一图像和第二图像进行坐标变换分析,得出坐标变换矩阵,其中,相机01获取的图像记作第一图像,相机02获取的图像记作第二图像。
首先采用最大类间方差法对第一图像和第二图像进行二值化处理,按照灰度特性将第一图像和第二图像中的标记点、间隔点与背景色进行区分,将标记点和间隔点的像素值设定为255,将背景色的像素值设定为0,以便提高图像处理过程中的准确性。
其次,对二值化处理后的第一图像和第二图像进行连通域分析,通过连通域分析识别出两个图像中的标记点,以便确定标记点分别在两个图像中的坐标。
标记点确定模块32用于根据第一连通域图像、第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;
该标记点确定模块32具体包括:生成模块321和提取模块322;
生成模块321用于根据第一连通域图像和第二连通域图像,生成第一连通域组和第二连通域组;
具体地,经过连通域分析之后,得到第一连通域图像和第二连通域图像,以第一连通域图像为例,在第一图像中,由于标记点和间隔点由多个像素点组成,通过对第一图像进行连通域分析,能够获取构成标记点和间隔点的像素点的数量和坐标信息,进而根据像素点的坐标信息构成第一连通域组,即坐标相邻的像素点组成一个像素组元素。
提取模块322用于提取第一连通域组和第二连通域组中像素点个数大于预设面积阈值的像素组元素,记作第一标记点坐标组和第二标记点坐标组。
具体地,通过比较各像素组元素中像素点个数与预设面积阈值的大小关系,选出像素点个数大于预设面积阈值的像素组元素,即第一图像中对应的标记点A、标记点B、标记点C、标记点D和标记点E,记作第一标记点坐标组。且由于相机01和相机02获取对应图像的位置不同,因此,获得的对应特征点坐标也不同,设定相机01获取的第一图像对应的第一标记点坐标组依次为:特征点m1、特征点m2、特征点m3、特征点m4和特征点m5,相机02获取的第二图像对应的第二标记点坐标组依次为:特征点n1、特征点n2、特征点n3、特征点n4和特征点n5
其中,预设面积阈值为一定数量的像素点个数,需要根据对应相机高度、相机分辨率进行设置。
该标记点确定模块32具体还包括:判断模块323;判断模块323用于判断第一标记点坐标组和第二标记点坐标组中的特征点个数是否等于预设点数,其中,一个特征点对应于第一标记点坐标组或第二标记点坐标组中的一个像素组元素,其中,预设点数为5。
具体地,计算特征点坐标的方法包括:
步骤a,提取标记点坐标组中特征点的像素点坐标信息;
步骤b,根据像素点坐标信息,确定边缘像素点;
步骤c,根据边缘像素点的坐标信息进行拟合运算,计算拟合圆心坐标,记作特征点坐标。
设定第一标记点坐标组对应的特征点坐标依次为:(m1x,m1y)、(m2x,m2y)、(m3x,m3y)、(m4x,m4y)和(m5x,m5y),第二标记点坐标组对应的特征点坐标依次为:(n1x,n1y)、(n2x,n2y)、(n3x,n3y)、(n4x,n4y)和(n5x,n5y)。
在本实施例中,匹配模块33用于根据第一标记点坐标组和第二标记点坐标组,确定图像匹配点组;
该匹配模块33具体还包括:选取模块331、标记模块332和生成模块333;选取模块331用于分别选取第一标记点坐标组和第二标记点坐标组中直线距离最大的两个特征点,记作最大距离点;
具体地,以第一标记点坐标组为例,第一标记点坐标组中的特征点包括:特征点m1、特征点m2、特征点m3、特征点m4和特征点m5,通过计算任意两个特征点的特征点坐标之间的直线距离L,以特征点m1、特征点m2为例,对应的计算公式为:
通过比较直线距离L,确定最大距离点,记作l1和l2。为了方便在实施例中进行描述,设定最大距离点为特征点m1、特征点m2
选取模块331还用于选取连接线与最大距离点构成的直线相互垂直的两个特征点,记作垂直点;
具体地,以第一标记点坐标组为例,将特征点m3、特征点m4和特征点m5进行连线,选取连线与l1和l2连线相互垂直的两特征点作为垂直点,记作s1和s2。为了方便在实施例中进行描述,设定垂直点为特征点m3、特征点m4
标记模块332用于将第一标记点坐标组和第二标记点坐标组中剩余的特征点标记为方向点;标记模块332还用于根据方向点,将距离方向点直线距离小的一个最大距离点记作第一匹配点,将另一个最大距离点记作第二匹配点;标记模块332还用于根据方向点,将距离方向点直线距离小的一个垂直点记作第三匹配点,将另一个垂直点记作第四匹配点;
具体地,对于已确定的任一坐标组中,包含有5个特征值点,因此,通过确定最大距离点(特征点m1、特征点m2)、垂直点(特征点m3、特征点m4),将剩余的特征点(特征点m5)为方向点,其中,第一标记点坐标组的方向点记作p1,第二标记点坐标组的方向点记作p1’。
其中,第一标记点坐标组的第一匹配点记作p2,第二标记点坐标组的第一匹配点记作p2’,第一标记点坐标组的第二匹配点记作p3,第二标记点坐标组的第二匹配点记作p3’。第一标记点坐标组的第三匹配点记作p4,第二标记点坐标组的第三匹配点记作p4’,第一标记点坐标组的第四匹配点记作p5,第二标记点坐标组的第四匹配点记作p5’。
生成模块333用于根据第一匹配点、第二匹配点、第三匹配点、第四匹配点和方向点,生成图像匹配点组。
具体地,图像匹配点组由第一标记点坐标组和第二标记点坐标组中相对应的图像匹配点组成,包括:(p1,p1’)、(p2,p2’)、(p3,p3’)、(p4,p4’)和(p5,p5’),即,((p1x,p1y),(p1x’,p1y’))、((p2x,p2y),(p2x’,p2y’))、((p3x,p3y),(p3x’,p3y’))、((p4x,p4y),(p4x’,p4y’))、和((p5x,p5y),(p5x’,p5y’)),结合本发明中的标定板30中的特征点坐标,可以将图像匹配点组写成:((m5x,m5y),(n5x,n5y))、((m1x,m1y),(n1x,n1y))、((m2x,m2y),(n2x,n2y))、((m3x,m3y),(n3x,n3y))和((m4x,m4y),(n4x,n4y))。
在本实施例中,计算模块34用于根据图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。
其中,最小二乘法计算公式为:
式中,坐标变换矩阵Z为:
在本实施例中,通过大量的对比试验,本发明中的坐标变换方法与现有的角点提取、匹配的方法相比,通过本发明中的多相机坐标变换方法和装置,获取坐标变换矩阵的时间仅需0.15s,是现有的棋盘格法所需时间的三分之一,降低了坐标变换的响应时间。并且,通过调整试验环境的光照强度,在强光照和弱光照的试验环境下,本发明中的技术方案均能稳定的提取标定板中的圆点,不存在圆点误匹配的情况,提高了计算坐标变换矩阵的准确性和可靠性。
以上结合附图详细说明了本发明的技术方案,本发明提出了一种多相机图像坐标变换方法和装置,通过对第一图像和第二图像进行连通域分析,得到第一连通域图像和第二连通域图像;根据第一连通域图像、第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;根据第一标记点坐标组和第二标记点坐标组,确定图像匹配点组;根据图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。通过本发明中的技术方案,有利于降低图像处理过程中坐标变换的响应时间,提高了计算坐标变换矩阵的准确性和可靠性,降低了硬件运算性能的要求。
本发明中的步骤可根据实际需求进行顺序调整、合并和删减。
本发明装置中的单元可根据实际需求进行合并、划分和删减。
尽管参考附图详地公开了本发明,但应理解的是,这些描述仅仅是示例性的,并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定,并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (8)

1.一种多相机图像坐标转换方法,其特征在于,该方法包括:
步骤10,对由不同相机拍摄的第一图像和第二图像进行连通域分析,分别得到第一连通域图像和第二连通域图像;
步骤20,根据所述第一连通域图像、所述第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;
步骤30,根据所述第一标记点坐标组和所述第二标记点坐标组,确定图像匹配点组;
步骤40,根据所述图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。
2.如权利要求1所述的多相机图像坐标转换方法,其特征在于,在步骤2中,具体包括:
步骤21,根据所述第一连通域图像和所述第二连通域图像,生成第一连通域组和第二连通域组;
步骤22,提取所述第一连通域组和所述第二连通域组中像素点个数大于预设面积阈值的像素组元素,记作所述第一标记点坐标组和所述第二标记点坐标组。
3.如权利要求2所述的多相机图像坐标转换方法,其特征在于,在步骤2中,具体还包括:
步骤23,判断所述第一标记点坐标组和所述第二标记点坐标组中的特征点个数是否等于预设点数,当判定所述第一标记点坐标组中的所述特征点个数等于预设点数且所述第二标记点坐标组中的所述特征点个数等于所述预设点数时,计算所述第一标记点坐标组和所述第二标记点坐标组的特征点坐标,执行所述步骤30;否则,重新执行所述步骤10,
其中,一个特征点对应于所述第一标记点坐标组或所述第二标记点坐标组中的一个所述像素组元素。
4.如权利要求1所述的多相机图像坐标转换方法,其特征在于,在步骤3中,具体还包括:
步骤31,分别选取所述第一标记点坐标组和所述第二标记点坐标组中直线距离最大的两个特征点,记作最大距离点;
步骤32,选取连接线与所述最大距离点构成的直线相互垂直的两个所述特征点,记作垂直点;
步骤33,将所述第一标记点坐标组和所述第二标记点坐标组中剩余的所述特征点标记为方向点;
步骤34,根据所述方向点,将距离所述方向点直线距离小的一个所述最大距离点记作第一匹配点,将另一个所述最大距离点记作第二匹配点;
步骤35,根据所述方向点,将距离所述方向点直线距离小的一个所述垂直点记作第三匹配点,将另一个所述垂直点记作第四匹配点;
步骤36,根据所述第一匹配点、所述第二匹配点、所述第三匹配点、所述第四匹配点和所述方向点,生成所述图像匹配点组。
5.一种多相机图像坐标转换装置,其特征在于,该装置包括:连通域分析模块,标记点确定模块,匹配模块以及计算模块;
所述连通域分析模块用于对由不同相机拍摄的第一图像和第二图像进行连通域分析,分别得到第一连通域图像和第二连通域图像;
所述标记点确定模块用于根据所述第一连通域图像、所述第二连通域图像和预设面积阈值,确定第一标记点坐标组和第二标记点坐标组;
所述匹配模块用于根据所述第一标记点坐标组和所述第二标记点坐标组,确定图像匹配点组;
所述计算模块用于根据所述图像匹配点组和最小二乘法计算公式,计算坐标变换矩阵。
6.如权利要求5所述的多相机图像坐标转换装置,其特征在于,所述标记点确定模块具体包括:生成模块和提取模块;
所述生成模块用于根据所述第一连通域图像和所述第二连通域图像,生成第一连通域组和第二连通域组;
所述提取模块用于提取所述第一连通域组和所述第二连通域组中像素点个数大于预设面积阈值的像素组元素,记作所述第一标记点坐标组和所述第二标记点坐标组。
7.如权利要求6所述的多相机图像坐标转换装置,其特征在于,所述标记点确定模块具体还包括:判断模块;
所述判断模块用于判断所述第一标记点坐标组和所述第二标记点坐标组中的特征点个数是否等于预设点数,
其中,一个特征点对应于所述第一标记点坐标组或所述第二标记点坐标组中的一个所述像素组元素。
8.如权利要求5所述的多相机图像坐标转换装置,其特征在于,所述匹配模块具体还包括:选取模块、标记模块和生成模块;
所述选取模块用于分别选取所述第一标记点坐标组和所述第二标记点坐标组中直线距离最大的两个特征点,记作最大距离点;
所述选取模块还用于选取连接线与所述最大距离点构成的直线相互垂直的两个所述特征点,记作垂直点;
所述标记模块用于将所述第一标记点坐标组和所述第二标记点坐标组中剩余的所述特征点标记为方向点;
所述标记模块还用于根据所述方向点,将距离所述方向点直线距离小的一个所述最大距离点记作第一匹配点,将另一个所述最大距离点记作第二匹配点;
所述标记模块还用于根据所述方向点,将距离所述方向点直线距离小的一个所述垂直点记作第三匹配点,将另一个所述垂直点记作第四匹配点;
所述生成模块用于根据所述第一匹配点、所述第二匹配点、所述第三匹配点、所述第四匹配点和所述方向点,生成所述图像匹配点组。
CN201810901732.6A 2018-08-09 2018-08-09 一种多相机图像坐标转换方法和装置 Active CN109087265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810901732.6A CN109087265B (zh) 2018-08-09 2018-08-09 一种多相机图像坐标转换方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810901732.6A CN109087265B (zh) 2018-08-09 2018-08-09 一种多相机图像坐标转换方法和装置

Publications (2)

Publication Number Publication Date
CN109087265A true CN109087265A (zh) 2018-12-25
CN109087265B CN109087265B (zh) 2020-09-04

Family

ID=64834021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810901732.6A Active CN109087265B (zh) 2018-08-09 2018-08-09 一种多相机图像坐标转换方法和装置

Country Status (1)

Country Link
CN (1) CN109087265B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN110335224A (zh) * 2019-07-05 2019-10-15 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658272A (zh) * 2015-03-18 2015-05-27 哈尔滨工程大学 一种基于双目立体视觉的道路车流量统计与测速方法
CN105513068A (zh) * 2015-12-04 2016-04-20 湖北工业大学 基于多相机阵列大尺寸视觉测量系统的标定系统及方法
CN106504321A (zh) * 2016-11-07 2017-03-15 达理 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
US20170289465A1 (en) * 2016-03-29 2017-10-05 Nikon Research Corporation Of America Multispectral eyewear device
CN107993263A (zh) * 2017-10-27 2018-05-04 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658272A (zh) * 2015-03-18 2015-05-27 哈尔滨工程大学 一种基于双目立体视觉的道路车流量统计与测速方法
CN105513068A (zh) * 2015-12-04 2016-04-20 湖北工业大学 基于多相机阵列大尺寸视觉测量系统的标定系统及方法
US20170289465A1 (en) * 2016-03-29 2017-10-05 Nikon Research Corporation Of America Multispectral eyewear device
CN106504321A (zh) * 2016-11-07 2017-03-15 达理 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
CN107993263A (zh) * 2017-10-27 2018-05-04 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘聪 等: "二维多相机全场数字图像相关变形测量方法", 《光学学报》 *
李涛涛 等: "基于多视觉线结构光传感器的大尺度测量方法", 《中国激光》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN109753930B (zh) * 2019-01-03 2021-12-24 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN110335224A (zh) * 2019-07-05 2019-10-15 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN110335224B (zh) * 2019-07-05 2022-12-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109087265B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
CN106503671B (zh) 确定人脸姿态的方法和装置
CN109584307B (zh) 改进摄像机固有参数校准的系统和方法
CN104272717B (zh) 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN108701234A (zh) 车牌识别方法及云系统
CN111345029B (zh) 一种目标追踪方法、装置、可移动平台及存储介质
CN109345597B (zh) 一种基于增强现实的相机标定图像采集方法及装置
US20080044079A1 (en) Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same
CN108364292B (zh) 一种基于多幅视角图像的光照估计方法
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN107993258A (zh) 一种图像配准方法及装置
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN105894511B (zh) 标定靶设置方法、装置及停车辅助系统
CN108564082A (zh) 图像处理方法、装置、服务器和介质
CN108447094B (zh) 一种单目彩色相机的姿态估算方法及系统
CN109816731A (zh) 一种rgb和深度信息精确配准的方法
CN109961501A (zh) 用于建立三维立体模型的方法和装置
CN107092905B (zh) 一种电力巡检机器人的待识别仪器定位方法
CN109087265A (zh) 一种多相机图像坐标转换方法和装置
CN105139401A (zh) 一种深度图中深度的可信度的评估方法
CN110879131B (zh) 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备
CN111079470A (zh) 人脸活体检测的方法和装置
CN110363250A (zh) 一种三维图像智能匹配的方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant