CN110544208B - 工业级图像拼接方法及系统 - Google Patents

工业级图像拼接方法及系统 Download PDF

Info

Publication number
CN110544208B
CN110544208B CN201910842519.7A CN201910842519A CN110544208B CN 110544208 B CN110544208 B CN 110544208B CN 201910842519 A CN201910842519 A CN 201910842519A CN 110544208 B CN110544208 B CN 110544208B
Authority
CN
China
Prior art keywords
image
dots
transformation matrix
camera
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910842519.7A
Other languages
English (en)
Other versions
CN110544208A (zh
Inventor
杨仕基
阳纯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Taiwode Technology Co ltd
Original Assignee
Shenzhen Taiwode Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Taiwode Technology Co ltd filed Critical Shenzhen Taiwode Technology Co ltd
Priority to CN201910842519.7A priority Critical patent/CN110544208B/zh
Publication of CN110544208A publication Critical patent/CN110544208A/zh
Application granted granted Critical
Publication of CN110544208B publication Critical patent/CN110544208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的工业级图像拼接方法,获取各个相机拍摄得到的实际图像;所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像;根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;所述校正图像为理想状态下的图像;根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像,该方法利用多个相机组合得到高分辨率图像,避免了现有技术中相机的视野必须有较大重叠且纹理多的前提条件。

Description

工业级图像拼接方法及系统
技术领域
本发明属于图像拼接技术领域,具体涉及工业级图像拼接方法及系统。
背景技术
图像拼接技术是一种将一组图像按一定规则拼接融合成一幅大视野高分辨率图像的技术,是机器视觉领域对大尺寸物体进行尺寸测量、形状匹配、缺陷检测等操作的前提技术之一,是图像处理领域的一个非常重要的研究方向,在当今工业、医学、摄影学、数字图像处理等领域都有着广泛的应用。
关于图像拼接的方法有不少,其算法大致可分为基于模型的方法,基于变换域的方法,基于灰度相关的方法和基于特征的方法。其中目前使用的较多的是基于特征点的特征匹配方法,如SIFT、SURF、ORB等,其中SIFT用的较多。
然而这些基于特征点的特征匹配方法方式的要求较高,前提较多。
首先,每张图像都必须与另一张图像有较大的重叠区域:要么是纹理较多找特征点容易,要么是重叠区域大,能放得下一张普通的标定板。这些都对相机的视野有很大要求。而真实场景的工业产品,如玻璃,尺寸可能大于0.5m以上,没有特别明显的纹理特征,几乎很难找到能作为特征点的点,而通常工业镜头的视野又很难做到覆盖这么广的面积(如果使用广角镜头又会造成更大的畸变),这对于通常的图像拼接来说很难实现。而如果采用让单个相机沿着固定轨道固定长度移动,不仅会增加复杂的活动结构,而且相机位置与姿态的重复精度也会影响视觉处理的精度,另外对于生产效率要求非常高的工业领域,相机的运动时间也需要商榷。
其次,还有速度和特征点数目的问题:对于提取图像特征点匹配方式,利用特征点确定图像间的重叠区域,还存在计算过程复杂且速度慢的特点,对于一些对实时性要求较高的领域存在困难;另外如果特征点数目较少,可能会导致匹配失败,这对于实际应用来说也有局限。
再次,这些方法都要求事先对相机进行标定,取得至少相机内参在内的参数。而相机标定通常需要从相机取得多张(通常是8-15张左右),在工业上使用时不太方便;而且在工业现场,镜头景深一般只有几毫米、通常的标定板有一定厚度,这些传统方法难以应对。
发明内容
针对现有技术中的缺陷,本发明提供一种工业级图像拼接方法及系统,利用多个相机组合得到高分辨率图像,避免了现有技术中相机的视野必须有较大重叠且纹理多的前提条件。
第一方面,一种工业级图像拼接方法,包括以下步骤:
获取各个相机拍摄得到的实际图像;所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像;
根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;所述校正图像为理想状态下的图像;
根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;
根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;
对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像。
优选地,所述标定板上设有多个圆点,所有圆点呈等间距阵列分布;
其中,第N×i行第N×j列的圆点为空心圆,剩余圆点为实心圆;N为预设值,i、j为大于或等于0的正整数。
优选地,所述根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像具体包括:
获取相机拍摄得到的实际图像,记录实际图像中空心圆的行号和列号;
利用霍夫变换算法或重心法,求出实际图像的各圆点圆心的坐标Pi;
以实际图像中最靠近中心的圆点为参考位置P0,找到最靠近参考位置P0的M个圆点,分别计算该M个圆点与参考位置P0的距离,并结合标定板上两个圆点之间的距离,求出缩放系数;
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换;
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正,以获得校正图像。
优选地,所述透视变换矩阵K3×3通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000031
其中,[u v l]T为输入图像中圆点坐标,[xi yi l]T为输出图像中圆点坐标,
Figure BDA0002194171580000032
将所述经过缩放系数转换后的图像作为输入图像,将所述实际图像作为输出图像,获取输入图像和输出图像中Q组对应圆点的坐标,求解透视变换矩阵K3×3,其中Q大于等于4。
优选地,所述畸变变换矩阵P通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000033
其中,r2=u2+v2,P=[p1 p2 p3],U,V分别为经过畸变校正后图像中圆点坐标;
结合所述透视变换矩阵K3×3,利用Levenberg-Marquardt非线性优化法,求解畸变变换矩阵P。
优选地,所述相对角度通过以下方法计算得到:
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标;
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线,定义该直线的斜率为相对角度θ。
优选地,所述对拼接图像中各个校正图像的拼接处进行亮度调整具体包括:
获取校正图像的拼接处两边的相邻像素点,计算两边的相邻像素点亮度的比值;依据该比值计算校正图像中所有像素点的亮度。
第二方面,一种工业级图像拼接系统,包括:
标定板:设有多个圆点,所有圆点呈等间距阵列分布;其中,第N×i行第N×j列的圆点为空心圆,剩余圆点为实心圆;N为预设值,i、j为大于或等于0的正整数;
相机:用于对放置有标定板的物品进行拍摄,并将获得的实际图像发送给控制器;
控制器:用于根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像。
优选地,所述控制器具体用于:
获取相机拍摄得到的实际图像,记录实际图像中空心圆的行号和列号;
利用霍夫变换算法或重心法,求出实际图像的各圆点圆心的坐标Pi;
以实际图像中最靠近中心的圆点为参考位置P0,找到最靠近参考位置P0的M个圆点,分别计算该M个圆点与参考位置P0的距离,并结合标定板上两个圆点之间的距离,求出缩放系数;
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换;
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正,以获得校正图像。
优选地,所述透视变换矩阵K3×3通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000051
其中,[u v l]T为输入图像中圆点坐标,[xi yi l]T为输出图像中圆点坐标,
Figure BDA0002194171580000052
将所述经过缩放系数转换后的图像作为输入图像,将所述实际图像作为输出图像,获取输入图像和输出图像中Q组对应圆点的坐标,求解透视变换矩阵K3×3;,其中Q大于等于4
所述畸变变换矩阵P通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000053
其中,r2=u2+v2,P=[p1 p2 p3],U,V分别为经过畸变校正后图像中圆点坐标;
结合所述透视变换矩阵K3×3,利用Levenberg-Marquardt非线性优化法,求解畸变变换矩阵P。
由上述技术方案可知,本发明提供的工业级图像拼接方法及系统具有以下优点:
1、本发明提供的工业级图像拼接方法及系统,利用多个相机组合,达到广角或超广角镜头才能达到的效果,并可以得到高分辨率图像。
2、各相机只需要进行一次拍照,避免了传统多次拍照模式下要求相机或标定板移动。
3、超薄的标定板对景深无特殊要求,对工作范围无特殊要求,操作简单,且由于放置于最佳工作平面,可得到最佳的图像质量,也避免使用厚的标定板在标定后需要修正厚度影响。
4、避免了传统图像拼接技术中,相机的视野必须有较大重叠且纹理多的前提条件,本发明提供的工业级图像拼接方法及系统减少了相机的使用个数,有助于减少工业应用的成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的工业级图像拼接方法的流程图。
图2为本发明实施例一提供的标定板的结构示意图。
图3为本发明实施例一提供的获得校正图像方法的流程图。
图4为本发明实施例二提供的工业级图像拼接系统的结构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例一:
一种工业级图像拼接方法,参见图1,包括以下步骤:
S1:获取各个相机拍摄得到的实际图像;所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像;
具体地,在拍摄过程中,需要根据实际应用场景,调整相机数量和相机位置分布,使各相机视野内都能得到清晰的图像,且每个相机视野里都有一个特殊的圆标识(即空心圆)。且由于每个相机只需要单独拍摄一张照片,所以拍摄时,对实际图像中圆点在相机视野中的大小、光照、清晰度等均要达到一定要求。
S2:根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;所述校正图像为理想状态下的图像;
具体地,该方法可以对实际图像进行透视和畸变校正,将实际图像映射为理想状态下的校正图像。理想状态下的校正图像是指无畸变的图像。
S3:根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;其中所述相对角度通过以下方法计算得到:
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标;
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线,定义该直线的斜率为相对角度θ。
具体地,相对角度θ表示相机与标定板竖线方向上的偏移角度。由于各个相机的拍摄过程中,焦距、位置等参数设置不一样,所以该方法在进行透视和畸变校正之后,需要根据将所有的图像调节至同一焦距下,修正其相机角度或位置带来的影响。
S4:根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;
具体地,当确定了各个校正图像的位置后,就能知道各个校正图像在拼接图像中的位置,例如确定了各个校正图像的位置分别为第1块、第2块、第3块和第4块,按照第1块、第2块、第3块和第4块的顺序将4块校正图像进行拼接。
S5:对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像。
具体地,在对拼接图像进行颜色填充和亮度调整时,无映射部分的图像结合相邻像素点的颜色进行填充,拼接处重叠部分的图像则依据亮度在拼接处连续的原则进行调整,例如获取校正图像的拼接处两边的相邻像素点,计算两边的相邻像素点亮度的比值;依据该比值计算校正图像中所有像素点的亮度,以达到无缝融合。
该方法利用多个相机组合,达到广角或超广角镜头才能达到的效果,并可以得到高分辨率图像。各相机只需要进行一次拍照,避免了传统多次拍照模式下要求相机或标定板移动。避免了传统图像拼接技术中,相机的视野必须有较大重叠且纹理多的前提条件,本发明提供的工业级图像拼接方法及系统减少了相机的使用个数,有助于减少工业应用的成本。
参见图2,所述标定板上设有多个圆点,所有圆点呈等间距阵列分布;
其中,第N×i行第N×j列的圆点为空心圆,剩余圆点为实心圆;N为预设值,i、j为大于或等于0的正整数。
具体地,标定板上的圆点等大小等间距分布,通过在标定板上等间距设置空心圆,标定板的周围可以设有刻度,用于辅助快速确定每个圆点的坐标,使得用户可以更快地确定相机拍摄到的图像中各个圆点的行号和列号,也能更快地确定当前相机在所有相机中的分布或序号。
N的数量可以根据实际需求进行设置,图2中,N=7,则在标定板中,第0行第0列,第0行第7列,第7行第0列,第7行第7列等等的圆点为空心圆。图2中省略号为省略掉的标定板上其他圆点。
该方法使用超薄的标定板,对景深无特殊要求,对工作范围无特殊要求,操作简单,且由于放置于最佳工作平面,可得到最佳的图像质量,也避免使用厚的标定板在标定后需要修正厚度影响。
参见图3,所述根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像具体包括:
S11:获取相机拍摄得到的实际图像,记录实际图像中空心圆的行号和列号;
具体地,当识别出实际图像中空心圆的行号和列号之后,就可以确定相机位置或序号。
S12:利用霍夫变换算法或重心法,求出实际图像的各圆点圆心的坐标Pi;
S13:以实际图像中最靠近中心的圆点为参考位置P0,找到最靠近参考位置P0的M个圆点,分别计算该M个圆点与参考位置P0的距离,并结合标定板上两个圆点之间的距离,求出缩放系数;
具体地,假设实际图像中两个圆点之间有100个像素,而标定板中两个圆点的距离为1mm,则像素距离比为0.01mm,即为缩放系数,即为实际图像和理想图像中像素距离的比例。假设M为2,找到最靠近参考位置P0的圆点为P1、P2,分别计算P1、P2和参考位置P0的距离P0P1、P0P2
S14:根据所述缩放系数,将实际图像的各圆点圆心的坐标Pi转换为坐标Pi’;
S15:根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正,以获得校正图像。
优选地,所述透视变换矩阵K3×3通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000101
其中,[u v l]T为输入图像中圆点坐标,[xi yi l]T为输出图像中圆点坐标,
Figure BDA0002194171580000102
将所述经过缩放系数转换后的图像作为输入图像,将所述实际图像作为输出图像,获取输入图像和输出图像中Q组对应圆点的坐标,求解透视变换矩阵K3×3,其中Q大于等于4。
具体地,透视变换矩阵K3×3反映了实际图像和经过缩放系数转换后的图像之间的透视变换关系。透视变换矩阵K3×3有8个自由度,即8个未知数。
将上述函数转换为:令K=[k1,k2,k3,k4,k5,k6,k7,k8];
u=[x,y,l,0,0,0,-xu,-yu]·KT;v=[0,0,0,x,y,l,0,-xv,-yv]·KT,由于未知数8个,所以至少需要4组特征点才能求解K3×3。所以可以将经过缩放系数转换后的图像和实际图像中对应的4组特征值输入到上述公式中,利用最小二乘法,求解K3×3
优选地,所述畸变变换矩阵P通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000103
其中,r2=u2+v2,P=[p1 p2 p3],U,V分别为经过畸变校正后图像中圆点坐标;
结合所述透视变换矩阵K3×3,利用Levenberg-Marquardt非线性优化法,求解畸变变换矩阵P。
具体地,透镜的畸变主要分为径向畸变和切向畸变,由于工业镜头切向畸变一般较少,故仅考虑径向畸变。实际情况中常用r=0处的泰勒级数展开的前几项来近似描述径向畸变。
综上所述,该方法依据得到的实际图像中各圆点圆心的坐标和它们在标定板上的位置,求出一个理想状态下(即无畸变)图像的各圆心像素点在拼接图像里的位置,求出实际图像中像素坐标和校正图像中像素坐标间的关系,然后精确拼接。用以实现相机视野重叠很小甚至没有,或者大尺寸产品表面无明显特征的情况下的图像的精确拼接,为后续的测距、匹配、缺陷检测等操作奠定基础。
实施例二:
一种工业级图像拼接系统,参见图4,包括:
标定板1:设有多个圆点,所有圆点呈等间距阵列分布;其中,第N×i行第N×j列的圆点为空心圆,剩余圆点为实心圆;N为预设值,i、j为大于或等于0的正整数;
相机2:用于对放置有标定板的物品进行拍摄,并将获得的实际图像发送给控制器;
控制器3:用于根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像。
具体地,控制器还可以连接显示器4和外部控制装置5。各个相机可以设置在距离标定板相同高度上,且与标定板垂直设置。
优选地,所述控制器具体用于:
获取相机拍摄得到的实际图像,记录实际图像中空心圆的行号和列号;
利用霍夫变换算法或重心法,求出实际图像的各圆点圆心的坐标Pi;
以实际图像中最靠近中心的圆点为参考位置P0,找到最靠近参考位置P0的M个圆点,分别计算该M个圆点与参考位置P0的距离,并结合标定板上两个圆点之间的距离,求出缩放系数;
根据所述缩放系数,将实际图像的各圆点圆心的坐标Pi转换为坐标Pi’;
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正,以获得校正图像。
优选地,所述透视变换矩阵K3×3通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000121
其中,[u v l]T为输入图像中圆点坐标,[xi yi l]T为输出图像中圆点坐标,
Figure BDA0002194171580000122
将所述经过缩放系数转换后的图像作为输入图像,将所述实际图像作为输出图像,获取输入图像和输出图像中Q组对应圆点的坐标,求解透视变换矩阵K3×3;,其中Q大于等于4;
所述畸变变换矩阵P通过以下方法计算得到:
构建以下函数:
Figure BDA0002194171580000123
其中,r2=u2+v2,P=[p1 p2 p3],U,V分别为经过畸变校正后图像中圆点坐标;
结合所述透视变换矩阵K3×3,利用Levenberg-Marquardt非线性优化法,求解畸变变换矩阵P。
优选地,所述控制器具体用于:
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标;
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线,定义该直线的斜率为相对角度θ。
优选地,所述控制器具体用于:
获取校正图像的拼接处两边的相邻像素点,计算两边的相邻像素点亮度的比值;依据该比值计算校正图像中所有像素点的亮度。
该系统,利用多个相机组合,达到广角或超广角镜头才能达到的效果,并可以得到高分辨率图像。各相机只需要进行一次拍照,避免了传统多次拍照模式下要求相机或标定板移动。采用超薄的标定板,对景深无特殊要求,对工作范围无特殊要求,操作简单,且由于放置于最佳工作平面,可得到最佳的图像质量,也避免使用厚的标定板在标定后需要修正厚度影响。避免了传统图像拼接技术中,相机的视野必须有较大重叠且纹理多的前提条件,本发明提供的工业级图像拼接方法及系统减少了相机的使用个数,有助于减少工业应用的成本。
本发明实施例所提供的系统,为简要描述,实施例部分未提及之处,可参考前述方法实施例中相应内容。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.一种工业级图像拼接方法,其特征在于,包括以下步骤:
获取各个相机拍摄得到的实际图像;所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像;
根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;所述校正图像为理想状态下的图像;
根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;
根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;
对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像;
所述标定板上设有多个圆点,所有圆点呈等间距阵列分布;
其中,第N×i行第N×j列的圆点为空心圆,剩余圆点为实心圆;N为预设值,i、j为大于或等于0的正整数;
所述根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像具体包括:
获取相机拍摄得到的实际图像,记录实际图像中空心圆的行号和列号;
利用霍夫变换算法或重心法,求出实际图像的各圆点圆心的坐标Pi;
以实际图像中最靠近中心的圆点为参考位置P0,找到最靠近参考位置P0的M个圆点,分别计算该M个圆点与参考位置P0的距离,并结合标定板上两个圆点之间的距离,求出缩放系数;
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换;
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正,以获得校正图像。
2.根据权利要求1所述工业级图像拼接方法,其特征在于,
所述透视变换矩阵K3×3通过以下方法计算得到:
构建以下函数:
Figure FDA0003926737220000021
其中,[u v l]T为输入图像中圆点坐标,[xi yi l]T为输出图像中圆点坐标,
Figure FDA0003926737220000022
将所述经过缩放系数转换后的图像作为输入图像,将所述实际图像作为输出图像,获取输入图像和输出图像中Q组对应圆点的坐标,求解透视变换矩阵K3×3,其中Q大于等于4。
3.根据权利要求2所述工业级图像拼接方法,其特征在于,
所述畸变变换矩阵P通过以下方法计算得到:
构建以下函数:
Figure FDA0003926737220000023
其中,r2=u2+v2,P=[p1 p2 p3],U,V分别为经过畸变校正后图像中圆点坐标;
结合所述透视变换矩阵K3×3,利用Levenberg-Marquardt非线性优化法,求解畸变变换矩阵P。
4.根据权利要求3所述工业级图像拼接方法,其特征在于,
所述相对角度通过以下方法计算得到:
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标;
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线,定义该直线的斜率为相对角度θ。
5.根据权利要求3所述工业级图像拼接方法,其特征在于,
所述对拼接图像中各个校正图像的拼接处进行亮度调整具体包括:
获取校正图像的拼接处两边的相邻像素点,计算两边的相邻像素点亮度的比值;依据该比值计算校正图像中所有像素点的亮度。
6.一种工业级图像拼接系统,其特征在于,包括:
标定板:设有多个圆点,所有圆点呈等间距阵列分布;其中,第N×i行第N×j列的圆点为空心圆,剩余圆点为实心圆;N为预设值,i、j为大于或等于0的正整数;
相机:用于对放置有标定板的物品进行拍摄,并将获得的实际图像发送给控制器;
控制器:用于根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正,以获得校正图像;根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置;根据各个校正图像的位置将所有校正图像进行拼接,以获得拼接图像;对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整,获得最终图像;
所述控制器具体用于:
获取相机拍摄得到的实际图像,记录实际图像中空心圆的行号和列号;
利用霍夫变换算法或重心法,求出实际图像的各圆点圆心的坐标Pi;
以实际图像中最靠近中心的圆点为参考位置P0,找到最靠近参考位置P0的M个圆点,分别计算该M个圆点与参考位置P0的距离,并结合标定板上两个圆点之间的距离,求出缩放系数;
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换;
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正,以获得校正图像。
7.根据权利要求6所述工业级图像拼接系统,其特征在于,
所述透视变换矩阵K3×3通过以下方法计算得到:
构建以下函数:
Figure FDA0003926737220000041
其中,[u v l]T为输入图像中圆点坐标,[xi yi l]T为输出图像中圆点坐标,
Figure FDA0003926737220000042
将所述经过缩放系数转换后的图像作为输入图像,将所述实际图像作为输出图像,获取输入图像和输出图像中Q组对应圆点的坐标,求解透视变换矩阵K3×3,其中Q大于等于4;
所述畸变变换矩阵P通过以下方法计算得到:
构建以下函数:
Figure FDA0003926737220000043
其中,r2=u2+v2,P=[p1 p2 p3],U,V分别为经过畸变校正后图像中圆点坐标;
结合所述透视变换矩阵K3×3,利用Levenberg-Marquardt非线性优化法,求解畸变变换矩阵P。
CN201910842519.7A 2019-09-06 2019-09-06 工业级图像拼接方法及系统 Active CN110544208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842519.7A CN110544208B (zh) 2019-09-06 2019-09-06 工业级图像拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842519.7A CN110544208B (zh) 2019-09-06 2019-09-06 工业级图像拼接方法及系统

Publications (2)

Publication Number Publication Date
CN110544208A CN110544208A (zh) 2019-12-06
CN110544208B true CN110544208B (zh) 2023-04-07

Family

ID=68712720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842519.7A Active CN110544208B (zh) 2019-09-06 2019-09-06 工业级图像拼接方法及系统

Country Status (1)

Country Link
CN (1) CN110544208B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142825B (zh) * 2019-12-27 2024-04-16 杭州拓叭吧科技有限公司 多屏视野的显示方法、系统及电子设备
CN112884767B (zh) * 2021-03-26 2022-04-26 长鑫存储技术有限公司 图像拟合方法
CN113298076B (zh) * 2021-06-18 2022-08-26 蓝思智能机器人(长沙)有限公司 平面加工设备的校正数据采集方法、装置、设备及介质
CN113393383B (zh) * 2021-08-17 2021-11-16 常州市新创智能科技有限公司 一种双深度相机拍照图像的拼接方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750697B (zh) * 2012-06-08 2014-08-20 华为技术有限公司 一种参数标定方法及装置
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN109461126B (zh) * 2018-10-16 2020-06-30 重庆金山科技(集团)有限公司 一种图像畸变校正方法及系统

Also Published As

Publication number Publication date
CN110544208A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110544208B (zh) 工业级图像拼接方法及系统
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN107025670A (zh) 一种远心相机标定方法
CN111243033B (zh) 一种优化双目相机外参数的方法
US9810602B2 (en) Method and system for measuring lens distortion
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109859277A (zh) 一种基于Halcon的机器人视觉系统标定方法
CN107478203B (zh) 一种基于激光扫描的3d成像装置及成像方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN105046647B (zh) 全液晶仪表360°全景车用监控系统及其工作方法
CN113920206B (zh) 透视移轴相机的标定方法
CN109859137A (zh) 一种广角相机非规则畸变全域校正方法
CN110942475B (zh) 紫外与可见光图像融合系统及快速图像配准方法
CN113554708A (zh) 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN111986267B (zh) 一种多相机视觉系统的坐标系统标定方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
CN113983934B (zh) 一种基于双线阵相机的覆铜板在线高速尺寸测量方法及装置
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN117475122A (zh) 一种自适应不同物料速度的线阵相机图像识别方法
CN110020997B (zh) 图像畸变纠正方法、图像的还原方法以及对位方法
WO2023221290A1 (zh) 曲面屏幕像素定位方法、装置和设备
CN115100078B (zh) 一种曲面屏图像中点阵坐标修正与填补的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Building 3A, Building 2, Tingwei Industrial Park, No. 6 Liufang Road, Zone 67, Xingdong Community, Xin'an Street, Bao'an District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen taiwode Technology Co.,Ltd.

Address before: 518000 305, University Town Entrepreneurship Park, No. 10, Lishan Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN TOWARDAUTO TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant