CN114463186B - 基于校正扫描图像的平铺式拼接方法 - Google Patents
基于校正扫描图像的平铺式拼接方法 Download PDFInfo
- Publication number
- CN114463186B CN114463186B CN202210377627.3A CN202210377627A CN114463186B CN 114463186 B CN114463186 B CN 114463186B CN 202210377627 A CN202210377627 A CN 202210377627A CN 114463186 B CN114463186 B CN 114463186B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- representing
- pixel
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000003702 image correction Methods 0.000 claims abstract description 6
- 239000000126 substance Substances 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 240000004760 Pimpinella anisum Species 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 8
- 238000004377 microelectronic Methods 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于校正扫描图像的平铺式拼接方法,拍摄的标定板原始图像存在畸变,首先将标定板原始图像进行精确的图像校正,得到理想无畸变校正图像;将标定板原始图像中每个坐标的像素值一个个重投影到理想无畸变校正图像对应坐标中,因理想无畸变校正图像的像素中心与理想无畸变校正图像中的标准参考坐标有偏差,故利用逼近算法将像素点相邻位置的像素值计算出一个逼近的像素值;两张互有重叠区域的标定板原始图像,经过图像校正过程后得到成对的待配准图像,成对的待配准图像获得相对图像偏移量;待配准图像的最佳位置遵循超定线性系统的全局优化。在微电子行业中,该方法具有精确、快速且稳定可靠的优点。
Description
技术领域
本发明涉及图像拼接的技术领域,尤其是一种基于校正扫描图像的平铺式拼接方法。
背景技术
点胶机的主要功能是对零件、集成电路等部件进行胶液涂覆。微电子行业的精密点胶机的作业对象都是高精尖的微型电子设备。点胶机视觉辅助生产作业中相机镜头的放大倍率高、单个成像区域分辨率高且成像清晰,同时,也造成单个视野范围小,无法同时观测到大范围的高清图像,因此,需要采集多张图像,根据图像间的联系,将多张图像拼接在一起,生成一张大视野、高分辨率的图像。
然而,目前的图像拼接方法在拼接精度上达不到微电子行业的生产要求,目前的图像拼接主要是特征点法,首先提取每个图像中稳定不变的特征点,在具有重叠区域的图像对中匹配相应的特征点,计算单应性矩阵,然后以一张图像为基准,其他图像根据单应性矩阵通过投影变换到参考图像的坐标系下,最后叠加在一起并对重叠区域融合生成拼接图像。
该特征点法的缺点很明显,图像越多,单应性矩阵的累计误差越大,且优化的时间就越长。同时,参考图像的微小畸变在多个图像投影到参考图像坐标系后会被放大。投影后的图像像素与真实世界对应的关系发生了变化,在微电子行业中这种变化对制造精度影响非常大。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此,本发明提出一种基于校正扫描图像的平铺式拼接方法,在微电子行业中具有精确、快速且稳定可靠的优点。
根据本发明实施例的基于校正扫描图像的平铺式拼接方法,具体包括以下步骤:第1步骤、非线性畸变校正:拍摄的标定板原始图像存在畸变,首先将标定板原始图像进行精确的图像校正,得到理想无畸变校正图像;第2步骤、非线性插值:将标定板原始图像中每个坐标的像素值一个个重投影到理想无畸变校正图像对应坐标中,因理想无畸变校正图像的像素中心与理想无畸变校正图像中的标准参考坐标有偏差,故利用逼近算法将像素点相邻位置的像素值计算出一个逼近的像素值;第3步骤、成对配准:两张互有重叠区域的标定板原始图像,经过第1步骤和第2步骤的图像校正过程后得到成对的待配准图像,成对的待配准图像获得相对图像偏移量;第4步骤、全局优化:待配准图像的最佳位置遵循超定线性系统的全局优化。
本发明的有益效果是,可以避免使用昂贵的硬件设备做拼接任务,使用当前机器搭载的相机即可完成图像拼接任务,既方便,又不需要修改当前硬件结构;传统的拼接算法会对源图像进行投影变换来提高配准精度,这样会损失源数据的精度,本方法无需投影变换,是数据无损的拼接方式,这样操作速度更快,且在微电子行业中更加精确、稳定可靠。
根据本发明一个实施例,所述标定板原始图像中的每一个圆点的中心坐标与所述理想无畸变校正图像中的标准参考坐标一一对应,每对坐标都满足以下公式:
根据本发明一个实施例,所述逼近算法的计算公式如下:
根据本发明一个实施例,所述成对的待配准图像获得相对图像偏移量的具体步骤如下:
第3.1步骤、当待配准图像的尺寸大小不同,将对待配准图像重新采样并填充到相同的尺寸大小;
第3.2步骤、计算相邻两个待配准图像的快速傅立叶变换,再根据两个快速傅立叶变换计算得到互功率图谱;
根据本发明一个实施例,所述待配准图像满足以下方程:
根据本发明一个实施例,将左上角的图块限制为位置 0,具体如下所示:
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是未校正有畸变的标定板原始图像;
图2是理想无畸变校正图像;
图3是两张待配准图像互有重叠区域的示意图;
图4是三张待配准图像拼接结果的示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
基于校正扫描图像的平铺式拼接方法,主要由图像校正和图像配准两个部分,具体包括以下步骤:
第1步骤、非线性畸变校正:拍摄的标定板原始图像存在畸变(见图1),首先将标定板原始图像进行精确的图像校正,得到理想无畸变校正图像(见图2)。
需要说明的是,在非线性畸变校正中的非线性,是指变量之间的数学关系不是直线,而是曲线、曲面等属性。
标定板原始图像中的每一个白色圆点的中心坐标与理想无畸变校正图像中的标准参考坐标一一对应,每对坐标都满足以下公式:
其中,表示标定板原始图像中白色圆点的中心坐标;表示理想
无畸变校正图像中的标准参考坐标;与相对应;表示坐标点引索,即为第个坐标点,且为大于等于1的正整数;表示相
机的畸变系数。当对应的坐标超过12组时,即可求得公式(1)中的畸变系数。
第2步骤、非线性插值:将标定板原始图像中每个坐标的像素值一个个重
投影到理想无畸变校正图像对应坐标中,因此,可能不为整数,由于图像
(该图像指的是广义范围的图像,可以理解为电子设备采集的数字图像)是由一个个像素组
成,不存在半个像素,理想无畸变校正图像的像素中心与理想无畸变校正图像中的标准参
考坐标有偏差,导致像素值无法被正确赋值,故利用逼近算法将像素点相邻位置
的像素值计算出一个近似合理的逼近的像素值。
同理,需要说明的是,在非线性插值中的非线性,是指变量之间的数学关系不是直线,而是曲线、曲面等属性。
其中,表示在图像像素点坐标处的像素值;表示图像像素点坐
标右上角第一个像素点的像素值;表示图像像素点坐标左上角第一个像
素点的像素值;表示图像像素点坐标左下角第一个像素点的像素值;表示
图像像素点坐标右下角第一个像素点的像素值。
第3步骤、成对配准:两张互有重叠区域的标定板原始图像,经过第1步骤和第2步骤的图像校正过程后得到成对的待配准图像,成对的待配准图像获得相对图像偏移量。
成对的待配准图像获得相对图像偏移量的具体步骤如下:
第3.1步骤、当待配准图像的尺寸大小不同,将对待配准图像重新采样并填充到相同的尺寸大小;
第3.2步骤、计算相邻两个待配准图像的快速傅立叶变换,再根据两个快速傅立叶变换计算得到互功率图谱;
其中, 表示待配准图像1的图像信号的傅里叶变换形式;表示待配准图像2的图像信号的傅里叶变换形式;表示图像像素点
坐标的复数形式;表示图像信号中横坐标;表示图像信号中纵坐标;表示
图像信号中横坐标的复数形式;表示图像信号中纵坐标的复数形式;表示复数
中的虚部单位;表示圆周率;表示数学符号;表示图像信号轴方向平移距离;表示图像信号轴方向平移距离。
第3.3步骤、对互功率图谱做反傅里叶变换,得到狄拉克函数,
其中,表示图像信号中横坐标;表示图像信号中纵坐标;表示图像信号轴方向
平移距离;表示图像信号轴方向平移距离;狄拉克函数的峰值坐标就是两个图像的
偏移量。其中,狄拉克函数通过乘以来减小相关因子,可以实现朝预期位置的
偏移,其中,是数学符号,是距离损失因子,是距预期峰值位置的像素距离,是待
配准图像的尺寸,这里的指的是待配准图像1的尺寸。
第4步骤、全局优化:待配准图像的最佳位置遵循超定线性系统的全局优化,待配准图像满足以下方程:
其中,表示待配准图像的编号,且为自然数;表示成对配准的置信度(狄拉
克函数峰值的强度);表示固定的参考图像的位置;表示移动的目标图像的位置;表示相对于初始图块位置的偏移量。需要说明的是,虽然可以在数学上抵消,但是线
性系统中系数的大小会影响欧几里得范数最小化中每个方程的残差,从而控制了该方程的
重要性。
将左上角的图块限制为位置 0,具体如下所示:
其中,表示待配准图像的数量,且为大于等于2的正整数;表示待配准图像
的编号,且为自然数;表示成对配准的置信度;表示待配准图像0的左上角顶点在
拼接图像坐标系中的具体坐标。需要说明的是,公式(6)的目的是将待配准图像0强制放置
于图像坐标系左上角原点(0,0)位置,若不加此限制,最后全景图像的最左边以及最上边会
出现空白无用的部分。根据公式(3)、公式(4)和公式(5)求出每个待配准图像在拼接图像坐
标系中最优化的位置;其中,待配准图像在拼接图像坐标系中的位置集合为,其中,表示待配准图像1的左上角顶点在拼接图像坐标系中的
具体坐标;表示待配准图像2的左上角顶点在拼接图像坐标系中的具体坐标;表示
待配准图像k的左上角顶点在拼接图像坐标系中的具体坐标。
以上所述的,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于校正扫描图像的平铺式拼接方法,其特征在于,具体包括以下步骤:
第1步骤、非线性畸变校正:拍摄的标定板原始图像存在畸变,首先将标定板原始图像进行精确的图像校正,得到理想无畸变校正图像;
第2步骤、非线性插值:将标定板原始图像中每个坐标的像素值一个个重投影到理想无畸变校正图像对应坐标中,因理想无畸变校正图像的像素中心与理想无畸变校正图像中的标准参考坐标有偏差,故利用逼近算法将像素点相邻位置的像素值计算出一个逼近的像素值;
第3步骤、成对配准:两张互有重叠区域的标定板原始图像,经过第1步骤和第2步骤的图像校正过程后得到成对的待配准图像,成对的待配准图像获得相对图像偏移量;
第4步骤、全局优化:待配准图像的最佳位置遵循超定线性系统的全局优化;
所述成对的待配准图像获得相对图像偏移量的具体步骤如下:
第3.1步骤、当待配准图像的尺寸大小不同,将对待配准图像重新采样并填充到相同的尺寸大小;
第3.2步骤、计算相邻两个待配准图像的快速傅里叶 变换,再根据两个快速傅里叶 变换计算得到互功率图谱;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210377627.3A CN114463186B (zh) | 2022-04-12 | 2022-04-12 | 基于校正扫描图像的平铺式拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210377627.3A CN114463186B (zh) | 2022-04-12 | 2022-04-12 | 基于校正扫描图像的平铺式拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114463186A CN114463186A (zh) | 2022-05-10 |
CN114463186B true CN114463186B (zh) | 2022-06-24 |
Family
ID=81417053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210377627.3A Active CN114463186B (zh) | 2022-04-12 | 2022-04-12 | 基于校正扫描图像的平铺式拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463186B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115930784B (zh) * | 2023-01-09 | 2023-08-25 | 广州市易鸿智能装备有限公司 | 一种视觉检测系统的点检方法 |
CN118014913B (zh) * | 2024-04-10 | 2024-06-14 | 中汽智联技术有限公司 | 一种智能驾驶摄像头影像快速校正的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957015A (zh) * | 2016-06-15 | 2016-09-21 | 武汉理工大学 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
CN110675376A (zh) * | 2019-09-20 | 2020-01-10 | 福建工程学院 | 一种基于模板匹配的pcb缺陷检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
CN112750075A (zh) * | 2019-10-31 | 2021-05-04 | 中国科学院长春光学精密机械与物理研究所 | 一种低空遥感影像拼接方法以及装置 |
-
2022
- 2022-04-12 CN CN202210377627.3A patent/CN114463186B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957015A (zh) * | 2016-06-15 | 2016-09-21 | 武汉理工大学 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
CN110675376A (zh) * | 2019-09-20 | 2020-01-10 | 福建工程学院 | 一种基于模板匹配的pcb缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114463186A (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114463186B (zh) | 基于校正扫描图像的平铺式拼接方法 | |
CN104299218B (zh) | 基于镜头畸变规律的投影仪标定方法 | |
US6791616B2 (en) | Image lens distortion correcting method | |
JP4425349B2 (ja) | 半導体製造に用いる複数視野較正プレート | |
KR101798678B1 (ko) | 패턴 정렬을 수행하기 위한 방법 및 장치 | |
JP4705526B2 (ja) | アライメント装置及び方法 | |
US20090299684A1 (en) | Method for calibrating cameras installed on vehicle | |
CN107945113A (zh) | 局部图像拼接错位的矫正方法 | |
CN106856003A (zh) | 轴类工件侧表面缺陷检测图像的展开校正方法 | |
US8886350B2 (en) | Displacement calculation method, drawing data correction method, substrate manufacturing method, and drawing apparatus | |
CN113920205B (zh) | 一种非同轴相机的标定方法 | |
JP2008007819A (ja) | アライメント装置及び方法 | |
CN107680139A (zh) | 一种远心双目立体视觉测量系统的通用性标定方法 | |
Von Gioi et al. | Towards high-precision lens distortion correction | |
CN107147888B (zh) | 一种利用图形处理芯片自动校正失真方法和装置 | |
CN111707187B (zh) | 一种大型零件的测量方法及系统 | |
CN112598747A (zh) | 一种单目相机与投影仪的联合标定方法 | |
CN107730554B (zh) | 面阵结构光成像系统的标定方法和装置 | |
CN109544643A (zh) | 一种摄像机图像校正方法及装置 | |
US20020009699A1 (en) | Data receiving device and image forming apparatus using same | |
CN110035273B (zh) | 一种畸变校正方法、装置及使用其的显示设备 | |
JPH11325890A (ja) | ステレオカメラの画像補正装置 | |
CN108961187B (zh) | 一种标签弧面图像校正方法 | |
CN108520541B (zh) | 一种广角摄像机的标定方法 | |
WO2023221290A1 (zh) | 曲面屏幕像素定位方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |