CN110544208A - 工业级图像拼接方法及系统 - Google Patents

工业级图像拼接方法及系统 Download PDF

Info

Publication number
CN110544208A
CN110544208A CN201910842519.7A CN201910842519A CN110544208A CN 110544208 A CN110544208 A CN 110544208A CN 201910842519 A CN201910842519 A CN 201910842519A CN 110544208 A CN110544208 A CN 110544208A
Authority
CN
China
Prior art keywords
image
dots
transformation matrix
camera
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910842519.7A
Other languages
English (en)
Other versions
CN110544208B (zh
Inventor
杨仕基
阳纯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tewo Automation Technology Co Ltd
Original Assignee
Shenzhen Tewo Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tewo Automation Technology Co Ltd filed Critical Shenzhen Tewo Automation Technology Co Ltd
Priority to CN201910842519.7A priority Critical patent/CN110544208B/zh
Publication of CN110544208A publication Critical patent/CN110544208A/zh
Application granted granted Critical
Publication of CN110544208B publication Critical patent/CN110544208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的工业级图像拼接方法，获取各个相机拍摄得到的实际图像；所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像；根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；所述校正图像为理想状态下的图像；根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像，该方法利用多个相机组合得到高分辨率图像，避免了现有技术中相机的视野必须有较大重叠且纹理多的前提条件。

Description

工业级图像拼接方法及系统
技术领域
本发明属于图像拼接技术领域，具体涉及工业级图像拼接方法及系统。
背景技术
图像拼接技术是一种将一组图像按一定规则拼接融合成一幅大视野高分辨率图像的技术，是机器视觉领域对大尺寸物体进行尺寸测量、形状匹配、缺陷检测等操作的前提技术之一，是图像处理领域的一个非常重要的研究方向，在当今工业、医学、摄影学、数字图像处理等领域都有着广泛的应用。
关于图像拼接的方法有不少，其算法大致可分为基于模型的方法，基于变换域的方法，基于灰度相关的方法和基于特征的方法。其中目前使用的较多的是基于特征点的特征匹配方法，如SIFT、SURF、ORB等，其中SIFT用的较多。
然而这些基于特征点的特征匹配方法方式的要求较高，前提较多。
首先，每张图像都必须与另一张图像有较大的重叠区域：要么是纹理较多找特征点容易，要么是重叠区域大，能放得下一张普通的标定板。这些都对相机的视野有很大要求。而真实场景的工业产品，如玻璃，尺寸可能大于0.5m以上，没有特别明显的纹理特征，几乎很难找到能作为特征点的点，而通常工业镜头的视野又很难做到覆盖这么广的面积(如果使用广角镜头又会造成更大的畸变)，这对于通常的图像拼接来说很难实现。而如果采用让单个相机沿着固定轨道固定长度移动，不仅会增加复杂的活动结构，而且相机位置与姿态的重复精度也会影响视觉处理的精度，另外对于生产效率要求非常高的工业领域，相机的运动时间也需要商榷。
其次，还有速度和特征点数目的问题：对于提取图像特征点匹配方式，利用特征点确定图像间的重叠区域，还存在计算过程复杂且速度慢的特点，对于一些对实时性要求较高的领域存在困难；另外如果特征点数目较少，可能会导致匹配失败，这对于实际应用来说也有局限。
再次，这些方法都要求事先对相机进行标定，取得至少相机内参在内的参数。而相机标定通常需要从相机取得多张(通常是8-15张左右)，在工业上使用时不太方便；而且在工业现场，镜头景深一般只有几毫米、通常的标定板有一定厚度，这些传统方法难以应对。
发明内容
针对现有技术中的缺陷，本发明提供一种工业级图像拼接方法及系统，利用多个相机组合得到高分辨率图像，避免了现有技术中相机的视野必须有较大重叠且纹理多的前提条件。
第一方面，一种工业级图像拼接方法，包括以下步骤：
获取各个相机拍摄得到的实际图像；所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像；
根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；所述校正图像为理想状态下的图像；
根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；
根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；
对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像。
优选地，所述标定板上设有多个圆点，所有圆点呈等间距阵列分布；
其中，第N×i行第N×j列的圆点为空心圆，剩余圆点为实心圆；N为预设值，i、j为大于或等于0的正整数。
优选地，所述根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像具体包括：
获取相机拍摄得到的实际图像，记录实际图像中空心圆的行号和列号；
利用霍夫变换算法或重心法，求出实际图像的各圆点圆心的坐标Pi；
以实际图像中最靠近中心的圆点为参考位置P0，找到最靠近参考位置P0的M个圆点，分别计算该M个圆点与参考位置P0的距离，并结合标定板上两个圆点之间的距离，求出缩放系数；
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换；
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正，以获得校正图像。
优选地，所述透视变换矩阵K3×3通过以下方法计算得到：
构建以下函数：
其中，[u v l]T为输入图像中圆点坐标，[xi yi l]T为输出图像中圆点坐标，
将所述经过缩放系数转换后的图像作为输入图像，将所述实际图像作为输出图像，获取输入图像和输出图像中Q组对应圆点的坐标，求解透视变换矩阵K3×3，其中Q大于等于4。
优选地，所述畸变变换矩阵P通过以下方法计算得到：
构建以下函数：
其中，r2＝u2+v2，P＝[p1 p2 p3]，U,V分别为经过畸变校正后图像中圆点坐标；
结合所述透视变换矩阵K3×3，利用Levenberg-Marquardt非线性优化法，求解畸变变换矩阵P。
优选地，所述相对角度通过以下方法计算得到：
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标；
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线，定义该直线的斜率为相对角度θ。
优选地，所述对拼接图像中各个校正图像的拼接处进行亮度调整具体包括：
获取校正图像的拼接处两边的相邻像素点，计算两边的相邻像素点亮度的比值；依据该比值计算校正图像中所有像素点的亮度。
第二方面，一种工业级图像拼接系统，包括：
标定板：设有多个圆点，所有圆点呈等间距阵列分布；其中，第N×i行第N×j列的圆点为空心圆，剩余圆点为实心圆；N为预设值，i、j为大于或等于0的正整数；
相机：用于对放置有标定板的物品进行拍摄，并将获得的实际图像发送给控制器；
控制器：用于根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像。
优选地，所述控制器具体用于：
获取相机拍摄得到的实际图像，记录实际图像中空心圆的行号和列号；
利用霍夫变换算法或重心法，求出实际图像的各圆点圆心的坐标Pi；
以实际图像中最靠近中心的圆点为参考位置P0，找到最靠近参考位置P0的M个圆点，分别计算该M个圆点与参考位置P0的距离，并结合标定板上两个圆点之间的距离，求出缩放系数；
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换；
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正，以获得校正图像。
优选地，所述透视变换矩阵K3×3通过以下方法计算得到：
构建以下函数：
其中，[u v l]T为输入图像中圆点坐标，[xi yi l]T为输出图像中圆点坐标，
将所述经过缩放系数转换后的图像作为输入图像，将所述实际图像作为输出图像，获取输入图像和输出图像中Q组对应圆点的坐标，求解透视变换矩阵K3×3；，其中Q大于等于4
所述畸变变换矩阵P通过以下方法计算得到：
构建以下函数：
其中，r2＝u2+v2，P＝[p1 p2 p3]，U,V分别为经过畸变校正后图像中圆点坐标；
结合所述透视变换矩阵K3×3，利用Levenberg-Marquardt非线性优化法，求解畸变变换矩阵P。
由上述技术方案可知，本发明提供的工业级图像拼接方法及系统具有以下优点：
1、本发明提供的工业级图像拼接方法及系统，利用多个相机组合，达到广角或超广角镜头才能达到的效果，并可以得到高分辨率图像。
2、各相机只需要进行一次拍照，避免了传统多次拍照模式下要求相机或标定板移动。
3、超薄的标定板对景深无特殊要求，对工作范围无特殊要求，操作简单，且由于放置于最佳工作平面，可得到最佳的图像质量，也避免使用厚的标定板在标定后需要修正厚度影响。
4、避免了传统图像拼接技术中，相机的视野必须有较大重叠且纹理多的前提条件，本发明提供的工业级图像拼接方法及系统减少了相机的使用个数，有助于减少工业应用的成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的工业级图像拼接方法的流程图。
图2为本发明实施例一提供的标定板的结构示意图。
图3为本发明实施例一提供的获得校正图像方法的流程图。
图4为本发明实施例二提供的工业级图像拼接系统的结构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例一：
一种工业级图像拼接方法，参见图1，包括以下步骤：
S1：获取各个相机拍摄得到的实际图像；所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像；
具体地，在拍摄过程中，需要根据实际应用场景，调整相机数量和相机位置分布，使各相机视野内都能得到清晰的图像，且每个相机视野里都有一个特殊的圆标识(即空心圆)。且由于每个相机只需要单独拍摄一张照片，所以拍摄时，对实际图像中圆点在相机视野中的大小、光照、清晰度等均要达到一定要求。
S2：根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；所述校正图像为理想状态下的图像；
具体地，该方法可以对实际图像进行透视和畸变校正，将实际图像映射为理想状态下的校正图像。理想状态下的校正图像是指无畸变的图像。
S3：根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；其中所述相对角度通过以下方法计算得到：
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标；
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线，定义该直线的斜率为相对角度θ。
具体地，相对角度θ表示相机与标定板竖线方向上的偏移角度。由于各个相机的拍摄过程中，焦距、位置等参数设置不一样，所以该方法在进行透视和畸变校正之后，需要根据将所有的图像调节至同一焦距下，修正其相机角度或位置带来的影响。
S4：根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；
具体地，当确定了各个校正图像的位置后，就能知道各个校正图像在拼接图像中的位置，例如确定了各个校正图像的位置分别为第1块、第2块、第3块和第4块，按照第1块、第2块、第3块和第4块的顺序将4块校正图像进行拼接。
S5：对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像。
具体地，在对拼接图像进行颜色填充和亮度调整时，无映射部分的图像结合相邻像素点的颜色进行填充，拼接处重叠部分的图像则依据亮度在拼接处连续的原则进行调整，例如获取校正图像的拼接处两边的相邻像素点，计算两边的相邻像素点亮度的比值；依据该比值计算校正图像中所有像素点的亮度，以达到无缝融合。
该方法利用多个相机组合，达到广角或超广角镜头才能达到的效果，并可以得到高分辨率图像。各相机只需要进行一次拍照，避免了传统多次拍照模式下要求相机或标定板移动。避免了传统图像拼接技术中，相机的视野必须有较大重叠且纹理多的前提条件，本发明提供的工业级图像拼接方法及系统减少了相机的使用个数，有助于减少工业应用的成本。
参见图2，所述标定板上设有多个圆点，所有圆点呈等间距阵列分布；
其中，第N×i行第N×j列的圆点为空心圆，剩余圆点为实心圆；N为预设值，i、j为大于或等于0的正整数。
具体地，标定板上的圆点等大小等间距分布，通过在标定板上等间距设置空心圆，标定板的周围可以设有刻度，用于辅助快速确定每个圆点的坐标，使得用户可以更快地确定相机拍摄到的图像中各个圆点的行号和列号，也能更快地确定当前相机在所有相机中的分布或序号。
N的数量可以根据实际需求进行设置，图2中，N＝7，则在标定板中，第0行第0列，第0行第7列，第7行第0列，第7行第7列等等的圆点为空心圆。图2中省略号为省略掉的标定板上其他圆点。
该方法使用超薄的标定板，对景深无特殊要求，对工作范围无特殊要求，操作简单，且由于放置于最佳工作平面，可得到最佳的图像质量，也避免使用厚的标定板在标定后需要修正厚度影响。
参见图3，所述根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像具体包括：
S11：获取相机拍摄得到的实际图像，记录实际图像中空心圆的行号和列号；
具体地，当识别出实际图像中空心圆的行号和列号之后，就可以确定相机位置或序号。
S12：利用霍夫变换算法或重心法，求出实际图像的各圆点圆心的坐标Pi；
S13：以实际图像中最靠近中心的圆点为参考位置P0，找到最靠近参考位置P0的M个圆点，分别计算该M个圆点与参考位置P0的距离，并结合标定板上两个圆点之间的距离，求出缩放系数；
具体地，假设实际图像中两个圆点之间有100个像素，而标定板中两个圆点的距离为1mm，则像素距离比为0.01mm，即为缩放系数，即为实际图像和理想图像中像素距离的比例。假设M为2，找到最靠近参考位置P0的圆点为P1、P2，分别计算P1、P2和参考位置P0的距离P0P1、P0P2。
S14：根据所述缩放系数，将实际图像的各圆点圆心的坐标Pi转换为坐标Pi’；
S15：根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正，以获得校正图像。
优选地，所述透视变换矩阵K3×3通过以下方法计算得到：
构建以下函数：
其中，[u v l]T为输入图像中圆点坐标，[xi yi l]T为输出图像中圆点坐标，
将所述经过缩放系数转换后的图像作为输入图像，将所述实际图像作为输出图像，获取输入图像和输出图像中Q组对应圆点的坐标，求解透视变换矩阵K3×3，其中Q大于等于4。
具体地，透视变换矩阵K3×3反映了实际图像和经过缩放系数转换后的图像之间的透视变换关系。透视变换矩阵K3×3有8个自由度，即8个未知数。
将上述函数转换为：令K＝[k1,k2,k3,k4,k5,k6,k7,k8]；
u＝[x,y,l,0,0,0,-xu,-yu]·KT；v＝[0,0,0,x,y,l,0,-xv,-yv]·KT，由于未知数8个，所以至少需要4组特征点才能求解K3×3。所以可以将经过缩放系数转换后的图像和实际图像中对应的4组特征值输入到上述公式中，利用最小二乘法，求解K3×3。
优选地，所述畸变变换矩阵P通过以下方法计算得到：
构建以下函数：
其中，r2＝u2+v2，P＝[p1 p2 p3]，U,V分别为经过畸变校正后图像中圆点坐标；
结合所述透视变换矩阵K3×3，利用Levenberg-Marquardt非线性优化法，求解畸变变换矩阵P。
具体地，透镜的畸变主要分为径向畸变和切向畸变，由于工业镜头切向畸变一般较少，故仅考虑径向畸变。实际情况中常用r＝0处的泰勒级数展开的前几项来近似描述径向畸变。
综上所述，该方法依据得到的实际图像中各圆点圆心的坐标和它们在标定板上的位置，求出一个理想状态下(即无畸变)图像的各圆心像素点在拼接图像里的位置，求出实际图像中像素坐标和校正图像中像素坐标间的关系，然后精确拼接。用以实现相机视野重叠很小甚至没有，或者大尺寸产品表面无明显特征的情况下的图像的精确拼接，为后续的测距、匹配、缺陷检测等操作奠定基础。
实施例二：
一种工业级图像拼接系统，参见图4，包括：
标定板1：设有多个圆点，所有圆点呈等间距阵列分布；其中，第N×i行第N×j列的圆点为空心圆，剩余圆点为实心圆；N为预设值，i、j为大于或等于0的正整数；
相机2：用于对放置有标定板的物品进行拍摄，并将获得的实际图像发送给控制器；
控制器3：用于根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像。
具体地，控制器还可以连接显示器4和外部控制装置5。各个相机可以设置在距离标定板相同高度上，且与标定板垂直设置。
优选地，所述控制器具体用于：
获取相机拍摄得到的实际图像，记录实际图像中空心圆的行号和列号；
利用霍夫变换算法或重心法，求出实际图像的各圆点圆心的坐标Pi；
以实际图像中最靠近中心的圆点为参考位置P0，找到最靠近参考位置P0的M个圆点，分别计算该M个圆点与参考位置P0的距离，并结合标定板上两个圆点之间的距离，求出缩放系数；
根据所述缩放系数，将实际图像的各圆点圆心的坐标Pi转换为坐标Pi’；
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正，以获得校正图像。
优选地，所述透视变换矩阵K3×3通过以下方法计算得到：
构建以下函数：
其中，[u v l]T为输入图像中圆点坐标，[xi yi l]T为输出图像中圆点坐标，
将所述经过缩放系数转换后的图像作为输入图像，将所述实际图像作为输出图像，获取输入图像和输出图像中Q组对应圆点的坐标，求解透视变换矩阵K3×3；，其中Q大于等于4；
所述畸变变换矩阵P通过以下方法计算得到：
构建以下函数：
其中，r2＝u2+v2，P＝[p1 p2 p3]，U,V分别为经过畸变校正后图像中圆点坐标；
结合所述透视变换矩阵K3×3，利用Levenberg-Marquardt非线性优化法，求解畸变变换矩阵P。
优选地，所述控制器具体用于：
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标；
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线，定义该直线的斜率为相对角度θ。
优选地，所述控制器具体用于：
获取校正图像的拼接处两边的相邻像素点，计算两边的相邻像素点亮度的比值；依据该比值计算校正图像中所有像素点的亮度。
该系统，利用多个相机组合，达到广角或超广角镜头才能达到的效果，并可以得到高分辨率图像。各相机只需要进行一次拍照，避免了传统多次拍照模式下要求相机或标定板移动。采用超薄的标定板，对景深无特殊要求，对工作范围无特殊要求，操作简单，且由于放置于最佳工作平面，可得到最佳的图像质量，也避免使用厚的标定板在标定后需要修正厚度影响。避免了传统图像拼接技术中，相机的视野必须有较大重叠且纹理多的前提条件，本发明提供的工业级图像拼接方法及系统减少了相机的使用个数，有助于减少工业应用的成本。
本发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种工业级图像拼接方法，其特征在于，包括以下步骤：
获取各个相机拍摄得到的实际图像；所述实际图像为相机对放置有标定板的物品进行拍摄后获得的图像；
根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；所述校正图像为理想状态下的图像；
根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；
根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；
对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像。
2.根据权利要求1所述工业级图像拼接方法，其特征在于，
所述标定板上设有多个圆点，所有圆点呈等间距阵列分布；
其中，第N×i行第N×j列的圆点为空心圆，剩余圆点为实心圆；N为预设值，i、j为大于或等于0的正整数。
3.根据权利要求2所述工业级图像拼接方法，其特征在于，
所述根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像具体包括：
获取相机拍摄得到的实际图像，记录实际图像中空心圆的行号和列号；
利用霍夫变换算法或重心法，求出实际图像的各圆点圆心的坐标Pi；
以实际图像中最靠近中心的圆点为参考位置P0，找到最靠近参考位置P0的M个圆点，分别计算该M个圆点与参考位置P0的距离，并结合标定板上两个圆点之间的距离，求出缩放系数；
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换；
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正，以获得校正图像。
4.根据权利要求3所述工业级图像拼接方法，其特征在于，
所述透视变换矩阵K3×3通过以下方法计算得到：
构建以下函数：
其中，[u v l]T为输入图像中圆点坐标，[xi yi l]T为输出图像中圆点坐标，
将所述经过缩放系数转换后的图像作为输入图像，将所述实际图像作为输出图像，获取输入图像和输出图像中Q组对应圆点的坐标，求解透视变换矩阵K3×3，其中Q大于等于4。
5.根据权利要求4所述工业级图像拼接方法，其特征在于，
所述畸变变换矩阵P通过以下方法计算得到：
构建以下函数：
其中，r2＝u2+v2，P＝[p1 p2 p3]，U,V分别为经过畸变校正后图像中圆点坐标；
结合所述透视变换矩阵K3×3，利用Levenberg-Marquardt非线性优化法，求解畸变变换矩阵P。
6.根据权利要求5所述工业级图像拼接方法，其特征在于，
所述相对角度通过以下方法计算得到：
利用霍夫变换算法或重心法求取校正图像中各圆点圆心的坐标；
依据所述变换后的图像中位于标定板上同一竖线方向上的圆点拟合一条直线，定义该直线的斜率为相对角度θ。
7.根据权利要求5所述工业级图像拼接方法，其特征在于，
所述对拼接图像中各个校正图像的拼接处进行亮度调整具体包括：
获取校正图像的拼接处两边的相邻像素点，计算两边的相邻像素点亮度的比值；依据该比值计算校正图像中所有像素点的亮度。
8.一种工业级图像拼接系统，其特征在于，包括：
标定板：设有多个圆点，所有圆点呈等间距阵列分布；其中，第N×i行第N×j列的圆点为空心圆，剩余圆点为实心圆；N为预设值，i、j为大于或等于0的正整数；
相机：用于对放置有标定板的物品进行拍摄，并将获得的实际图像发送给控制器；
控制器：用于根据预设的透视变换矩阵和畸变变换矩阵对所述实际图像进行校正，以获得校正图像；根据各个相机的缩放系数、相对角度以及相机位置确定对应的校正图像的位置；根据各个校正图像的位置将所有校正图像进行拼接，以获得拼接图像；对拼接图像中各个校正图像的拼接处进行颜色填充和亮度调整，获得最终图像。
9.根据权利要求8所述工业级图像拼接系统，其特征在于，
所述控制器具体用于：
获取相机拍摄得到的实际图像，记录实际图像中空心圆的行号和列号；
利用霍夫变换算法或重心法，求出实际图像的各圆点圆心的坐标Pi；
以实际图像中最靠近中心的圆点为参考位置P0，找到最靠近参考位置P0的M个圆点，分别计算该M个圆点与参考位置P0的距离，并结合标定板上两个圆点之间的距离，求出缩放系数；
根据所述缩放系数对实际图像的各圆点圆心的坐标Pi进行转换；
根据预设的透视变换矩阵和畸变变换矩阵对转换后的图像进行校正，以获得校正图像。
10.根据权利要求9所述工业级图像拼接系统，其特征在于，
所述透视变换矩阵K3×3通过以下方法计算得到：
构建以下函数：
其中，[u v l]T为输入图像中圆点坐标，[xi yi l]T为输出图像中圆点坐标，
将所述经过缩放系数转换后的图像作为输入图像，将所述实际图像作为输出图像，获取输入图像和输出图像中Q组对应圆点的坐标，求解透视变换矩阵K3×3；，其中Q大于等于4；
所述畸变变换矩阵P通过以下方法计算得到：
构建以下函数：
其中，r2＝u2+v2，P＝[p1 p2 p3]，U,V分别为经过畸变校正后图像中圆点坐标；
结合所述透视变换矩阵K3×3，利用Levenberg-Marquardt非线性优化法，求解畸变变换矩阵P。
CN201910842519.7A 2019-09-06 2019-09-06 工业级图像拼接方法及系统 Active CN110544208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842519.7A CN110544208B (zh) 2019-09-06 2019-09-06 工业级图像拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842519.7A CN110544208B (zh) 2019-09-06 2019-09-06 工业级图像拼接方法及系统

Publications (2)

Publication Number Publication Date
CN110544208A true CN110544208A (zh) 2019-12-06
CN110544208B CN110544208B (zh) 2023-04-07

Family

ID=68712720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842519.7A Active CN110544208B (zh) 2019-09-06 2019-09-06 工业级图像拼接方法及系统

Country Status (1)

Country Link
CN (1) CN110544208B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142825A (zh) * 2019-12-27 2020-05-12 杭州拓叭吧科技有限公司 多屏视野的显示方法、系统及电子设备
CN112884767A (zh) * 2021-03-26 2021-06-01 长鑫存储技术有限公司 图像拟合方法
CN113298076A (zh) * 2021-06-18 2021-08-24 蓝思智能机器人(长沙)有限公司 平面加工设备的校正数据采集方法、装置、设备及介质
CN113393383A (zh) * 2021-08-17 2021-09-14 常州市新创智能科技有限公司 一种双深度相机拍照图像的拼接方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王铁建等: "基于加速鲁棒特征的广角图像自动拼接校正算法", 《计算机应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142825A (zh) * 2019-12-27 2020-05-12 杭州拓叭吧科技有限公司 多屏视野的显示方法、系统及电子设备
CN111142825B (zh) * 2019-12-27 2024-04-16 杭州拓叭吧科技有限公司 多屏视野的显示方法、系统及电子设备
CN112884767A (zh) * 2021-03-26 2021-06-01 长鑫存储技术有限公司 图像拟合方法
CN112884767B (zh) * 2021-03-26 2022-04-26 长鑫存储技术有限公司 图像拟合方法
CN113298076A (zh) * 2021-06-18 2021-08-24 蓝思智能机器人(长沙)有限公司 平面加工设备的校正数据采集方法、装置、设备及介质
CN113393383A (zh) * 2021-08-17 2021-09-14 常州市新创智能科技有限公司 一种双深度相机拍照图像的拼接方法

Also Published As

Publication number Publication date
CN110544208B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110544208B (zh) 工业级图像拼接方法及系统
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN105957015B (zh) 一种螺纹桶内壁图像360度全景拼接方法及系统
CN110782394A (zh) 全景视频快速拼接方法及系统
CN105678729B (zh) 鱼眼镜头全景图像拼接方法
CN111243033B (zh) 一种优化双目相机外参数的方法
US10151664B2 (en) Method and system for measuring lens distortion
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
CN105046647B (zh) 全液晶仪表360°全景车用监控系统及其工作方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN111986267B (zh) 一种多相机视觉系统的坐标系统标定方法
CN110097516A (zh) 内孔壁面图像畸变纠正方法、系统及介质
CN113554708A (zh) 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN110942475B (zh) 紫外与可见光图像融合系统及快速图像配准方法
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
CN113983934B (zh) 一种基于双线阵相机的覆铜板在线高速尺寸测量方法及装置
CN117475122A (zh) 一种自适应不同物料速度的线阵相机图像识别方法
US20050105822A1 (en) Variable distortion aberration image pickup device
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置
CN115100078B (zh) 一种曲面屏图像中点阵坐标修正与填补的方法及相关装置
JPH0969973A (ja) 固体撮像素子の位置調整方法
WO2022252697A1 (zh) 相机图像融合方法及相机图像融合系统
CN113109259B (zh) 一种图像的智能导航方法及装置
CN114972025A (zh) 一种基于yuv色彩空间的图像快速拼接方法
CN114627168A (zh) 一种提高红外与可见光图像配准精度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Building 3A, Building 2, Tingwei Industrial Park, No. 6 Liufang Road, Zone 67, Xingdong Community, Xin'an Street, Bao'an District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen taiwode Technology Co.,Ltd.

Address before: 518000 305, University Town Entrepreneurship Park, No. 10, Lishan Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN TOWARDAUTO TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant