CN116156342A - 多线阵图像传感器拼接方法、线阵采像系统、装置及设备 - Google Patents

多线阵图像传感器拼接方法、线阵采像系统、装置及设备 Download PDF

Info

Publication number
CN116156342A
CN116156342A CN202310349498.1A CN202310349498A CN116156342A CN 116156342 A CN116156342 A CN 116156342A CN 202310349498 A CN202310349498 A CN 202310349498A CN 116156342 A CN116156342 A CN 116156342A
Authority
CN
China
Prior art keywords
linear array
pixel
image sensor
array image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310349498.1A
Other languages
English (en)
Other versions
CN116156342B (zh
Inventor
曹桂平
邵云峰
杨晨飞
董宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Eko Photoelectric Technology Co ltd
Original Assignee
Hefei Eko Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Eko Photoelectric Technology Co ltd filed Critical Hefei Eko Photoelectric Technology Co ltd
Priority to CN202310349498.1A priority Critical patent/CN116156342B/zh
Publication of CN116156342A publication Critical patent/CN116156342A/zh
Application granted granted Critical
Publication of CN116156342B publication Critical patent/CN116156342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种多线阵图像传感器拼接方法、线阵采像系统、装置及设备。多线阵图像传感器相邻的两个线阵图像传感器扫描图像存在重叠区域,且所述扫描图像不完全重叠。该方法包括:将任一线阵图像传感器a的扫描图像A,根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A',使其与另一线阵图像传感器b的扫描图像B平行;对所述偏转扫描图像A'进行像素偏差修正;其中,像素偏差修正包括横向像素偏差修正与纵向像素偏差修正。本发明从图像数据处理的角度对多线阵图像传感器获取的图像数据之间的偏移进行消除,实现图像拼接。且既考虑了整数倍的像素修正,又考虑了亚像素级的像素修正,精度更高。

Description

多线阵图像传感器拼接方法、线阵采像系统、装置及设备
技术领域
本发明涉及图像数据处理技术领域,特别涉及线阵传感器图像数据拼接技术。
背景技术
机器视觉领域对于检测效率和精度的不断提高要求前端图像传感器的分辨率也不断地增大。要实现更高分辨率,一方面可以直接采用分辨率更高的图像传感器,但限于工艺,技术更新以及其他竞争限制,大分辨率图像传感器可选余地小且价格特别昂贵;故另一方面在成本以及技术竞争限制下可以采用较低分辨率的图像传感器进行拼接以达到更大的横向分辨率。如说明书图1所示,两个传感器在横向方向上进行重叠排列以完成检测区域的全覆盖,同时在横向方向上尽可能保持平行以保证成像的一致性。
无论传感器是同方向拼接还是某个传感器旋转180度拼接,由于传感器安装精度的限制,最终两个传感器无论在横向方向上还是纵向方向上都存在差异。横向方向上一方面存在亚像素级的对齐问题(ΔX非整像素单元,如等于0.8个像素单元),另一方面两个传感器的感光线也存在不平行,即相邻图像传感器的感光线之间存在夹角,该夹角称为感光线偏角θ,θ>0且存在波动,在纵向方向上一方面纵向平均距离在大批量生产时无法保持一致(ΔY存在波动),另一方面也存在亚像素对齐问题,即ΔY=Δy+N,此处N为整数个像素高度,也即N=n·h,h为单个像素高度。纵向方向上的差异受两个传感器间感光线偏角θ角的影响,以第一个传感器作为参考基准,则第二个传感器每个像素的ΔY均不相同,按照θ角度在线性变化,即对于第二个传感器而言,每个像素的对齐矫正量都会有差异。换句话讲,ΔY不但在批量生产时产品之间存在差异,同一个产品内,每个像素也会存在线性变换量,而这个线性变化量在不同产品之间随着角度的不同而不同。
按照当前常规像素大小5微米来计算,在不考虑纵向亚像素误差的情况下,则原始8k分辨率下1个毫弧度的θ角差异就会导致从拼接点处0像素差异逐渐变化到边缘8个纵向像素的差异;而ΔY在50微米波动范围内就对应10行的抖动,要达到拼接效果则必须解决横向和纵向方向上安装精度问题导致的成像问题。
中国专利公开号CN102857668A中公开了线阵图像传感器和线阵图像读取装置,在图像数据处理时,通过设置的两排传感器芯片的间距及每一个传感器芯片的有效输出的数据,将两排传感器芯片所读取的数据换算成一行实际位置所对应的完整数据信号,解决了线阵图像传感器的传感器芯片之间组装时存在着间隙导致图像读取时图像信息丢失问题,提高了图像的读取质量。上述专利主要解决传感器芯片之间的间隙导致图像质量问题,与本发明解决的技术问题不同。
中国专利公开号CN113079330A中公开了多线阵图像传感器及图像处理方法,其控制单元可以产生多组电极信号,并以第一时序,将该多组电极信号分别输入至对应的输出电路,使得由该多组电极信号控制输出的第一图像,相对于基准图像,具有相同的亚像素位移。由于输入电极信号的输出电路及第一时序,是根据所述亚像素位移及像素阵列之间物理间距所确定的,由此可以在物理间距固定的情况下,通过调整输入电极信号的输出电路及第一时序,达到调整亚像素位移的目的。该专利同样是对亚像素位移进行调整,但解决方案与本发明不同。
综上所述,现有的线阵图像传感器数据拼接技术存在以下不足:
(1)多线阵图像传感器由于安装精度的问题,很难从硬件的角度将图像数据的偏移完全消除,故需要从图像处理的角度对这种数据偏移进行消除;
(2)现有的多线阵图像传感器数据拼接技术依赖于辅助硬件的增加,成本较高。
发明内容
本发明提出的多线阵图像传感器拼接方法、线阵采像系统、装置及设备,可至少解决上述技术问题之一。
为实现上述目的,本发明提出了以下技术方案:
一种多线阵图像传感器拼接方法,相邻的两个线阵图像传感器扫描图像存在重叠区域,且所述扫描图像不完全重叠;相邻两个线阵图像传感器的感光线偏角不大于可拼接角度阈值,包括:
将任一线阵图像传感器a的扫描图像A,根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A',使其与另一线阵图像传感器b的扫描图像B平行;
对所述偏转扫描图像A'进行像素偏差修正;
其中,像素偏差修正包括横向像素偏差修正与纵向像素偏差修正。
进一步地,所述根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A',使其与另一线阵图像传感器b的扫描图像B平行,包括:
以所述线阵图像传感器b的感光线为X轴,以线阵图像传感器a与线阵图像传感器b相邻一端的第一个像素点为原点建立坐标系,所述线阵图像传感器a沿X方向第n个像素点的横坐标、纵坐标分别为xn、yn,所述感光线偏角为θ;
根据延迟积分关系yn=xn·θ,修正当前线阵图像传感器像素点Y方向的坐标yn,使所述线阵图像传感器a的扫描图像与所述线阵图像传感器b的扫描图像平行。
进一步地,若所述感光线偏角θ为0 rad,则不进行将线阵图像传感器a的扫描图像A修正为偏转扫描图像A'的步骤,以降低计算量。
进一步地,所述像素偏差修正,还包括亚像素偏移对齐:
获取预设的X方向非整像素延迟系数α,Y方向非整像素延迟系数β;其中
Figure SMS_1
Figure SMS_2
对X方向上线阵图像传感器a的每一个待对齐像素点的像素值Rx根据其左侧和右侧的实际像素点的像素值RxL和RxR,利用下式进行重新赋值:
Figure SMS_3
对Y方向上线阵图像传感器a的每一个像素点的像素值Ry,根据其上方和下方的实际像素点的像素值RyT和RyB,利用下式进行重新赋值:
Figure SMS_4
;完成线阵图像传感器a的亚像素偏移对齐。
进一步地,所述感光线偏角和纵向像素偏差的获取方法为:
多线阵图像传感器拍摄第一测试模板图片;所述第一测试模板图片,在沿线阵图像传感器感光线方向上,存在多个分界线,相邻两个分界线之间的灰度值呈一致性纵向递进变化;
分析第一测试模板图片,利用图片上每一个分界线,拟合得到所述感光线偏角θ和所述纵向像素偏差ΔY的值。
进一步地,所述横向像素偏差的获取方法为:
多线阵图像传感器拍摄第二测试模板图片;所述第二测试模板图片,垂直于线阵图像传感器感光线方向上,存在多个分界线,相邻两个分界线之间的灰度值呈一致性横向递进变化;
分析第二测试模板图片,拟合所有线阵图像传感器每个像素点的位置和灰度值的关系曲线;
计算相邻两个线阵图像传感器之间,相同灰度值的像素点的位置之间的偏差,得到所述横向像素偏差ΔX。
另一方面,本发明又提出了一种线阵采像系统,相邻两个线阵图像传感器的感光线偏角不大于可拼接角度阈值,包括:
传感器模块,包括不少于两个线阵图像传感器,线阵图像传感器扫描图像存在重叠区域,且任意两个线阵图像传感器扫描图像不完全重叠;
修正模块,调取修正数据,取基准图像传感器扫描图像,其余线阵图像传感器扫描图像由远及近依次拼接,最后完全拼接至基准图像传感器扫描图像上,形成拼接修正图像;
其中,修正数据至少包括用于识别待拼接扫描图像的传感器编号、用于增大拼接修正图像分辨率的基准图像传感器编号、用于相邻传感器扫描图像平行度修正的感光线偏角、用于纵向像素点拼接的纵向像素偏差、用于横向像素点拼接的横向像素偏差。
进一步地,所述修正数据,通过所述传感器模块拍摄测试模板图预先获取并存储。
进一步地,所述修正模块对图像的拼接包括:
先对每个线阵图像传感器的同一帧像素数据进行拼接,再将各帧像素数据拼接为完整的拼接修正图像;或
先获取每个线阵图像传感器扫描的图像,得到待拼接图像;再对待拼接图像的每一行像素点进行拼接,最终得到完整的拼接修正图像。
进一步地,所述传感器模块包括:
至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;或
至少两个沿线阵图像传感器感光线方向排列的线阵相机,相邻两个线阵相机的视场存在部分重叠。
又一方面,本发明还提出了一种多线阵采像装置,包括:
至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;
非易失性flash,用于存储预先测试获取的,用于拼接多个线阵图像传感器像素点的拼接参数;
FPGA,用于调取非易失性flash中的拼接参数,执行上述的多线阵图像传感器拼接方法,对多个线阵图像传感器的像素点进行拼接,并输出拼接后的图像数据。
再一方面,本发明还提出了一种多线阵采像设备,使用上述的多线阵采像装置进行图像采集。
本发明的有益效果如下:
(1)从图像数据处理的角度对多线阵图像传感器获取的图像数据之间的偏移进行消除,实现图像拼接。且既考虑了整数倍的像素修正,又考虑了亚像素级的像素修正,精度更高;
(2)本发明提出的多线阵图像传感器拼接系统,在相机出厂时就将进行图像拼接的参数存储到相机中,在后续的相机使用中无需再次进行拼接参数的计算和调整,直接进行图像拼接操作。
附图说明
图1为本发明多线阵图像传感器排列方式示意图;
图2是本发明中相邻线阵图像传感器之间横向像素偏差示意图;
图3是本发明中相邻线阵图像传感器之间纵向像素偏差示意图;
图4是本发明中相邻线阵图像传感器之间纵向像素偏差修正原理图;
图5是本发明中感光线偏角对传感器内各像素延迟积分关系的影响示意图;
图6是本发明中感光线偏角的修正过程示意图;
图7是本发明中相邻线阵图像传感器之间横向的亚像素偏差修正原理图;
图8是本发明进行亚像素偏移对齐过程中非整像素延迟系数的取值原理;
图9是本发明中相邻线阵图像传感器之间横向像素偏差的计算原理图;
图10是本发明多线阵采像装置的工作流程中参数获取流程图;
图11是本发明多线阵采像装置的工作流程中传感器数据修正流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
本实施例首先提出一种多线阵图像传感器拼接方法,为实现更高的分辨率提供一种技术手段。
本实施例中的多线阵图像传感器,包括至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;或者包括,至少两个沿线阵图像传感器感光线方向排列的线阵相机,相邻两个线阵相机的视场存在部分重叠。即相邻线阵图像传感器扫描图像存在重叠区域,且所述扫描图像不完全重叠。且相邻两个线阵图像传感器的感光线偏角不大于可拼接角度阈值。
在已知两个相邻的线阵图像传感器之间的感光线偏角θ、纵向像素偏差ΔY以及横向像素偏差ΔX的前提下,本实施例的拼接步骤主要包括:
感光线偏角θ的修正:将线阵图像传感器a的扫描图像A,根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A',使其与相邻的线阵图像传感器b的扫描图像B平行;
对偏转扫描图像A'进行像素偏差修正,也即纵向像素偏差ΔY以及横向像素偏差ΔX的修正。
具体地,感光线偏角θ的修正,如图3所示,以线阵图像传感器b的感光线为X轴,以线阵图像传感器a与线阵图像传感器b相邻一端的第一个像素点为原点建立坐标系,则线阵图像传感器a沿X方向第n个像素点的横坐标为xn,该像素点在Y方向的纵坐标为yn。当θ的角度足够小时,可以将弧线看成线段而得到θ=yn/xn,即yn=xn·θ,此处θ需以弧度表示。在已知感光线偏角θ的情况下,利用延迟积分关系yn=xn·θ,可将线阵图像传感器a上的每一个像素点修正至与线阵图像传感器b感光线平行的直线上。一种特殊的情况是,感光线偏角θ为0rad,也即相邻的两个线阵图像传感器之间的感光线是平行的,不存在夹角。此时由于该坐标系的原点建立在线阵图像传感器a的端点处,故θ为0 rad时,yn=xn·θ=0仍然成立,即线阵图像传感器a上像素点的纵坐标均为0,与其端点在同一水平线上,此时延迟积分关系yn=xn·θ同样成立。但此时为了节省计算量,可直接跳过感光线偏角θ的修正步骤。
根据上述修正,两个线阵图像传感器的像素点所构成的两条线段平行,但两个线段相邻的端点仍存在横向以及纵向上的偏差,上述两个偏差均已提前测得并存储,直接调用纵向像素偏差ΔY以及横向像素偏差ΔX完成上述两个线阵图像传感器纵向及横向的修正即可。
根据上述修正,两个线阵图像传感器的像素点所构成的两条线段平行,两个线段相邻的端点基本对齐,但仍然存在亚像素级别的偏差,本实施例采用加权平均的方式对该亚像素级别的偏差进行修正。具体的,预设X方向非整像素延迟系数α,Y方向非整像素延迟系数β;其中
Figure SMS_5
,/>
Figure SMS_6
。对X方向上线阵图像传感器a的每一个待对齐像素点的像素值Rx根据其左侧和右侧的实际像素点的像素值RxL和RxR,利用下式进行重新赋值:
Figure SMS_7
;对Y方向上线阵图像传感器a的每一个像素点的像素值Ry,根据其上方和下方的实际像素点的像素值RyT和RyB,利用下式进行重新赋值:
Figure SMS_8
;最终完成线阵图像传感器a的亚像素偏移对齐。
本实施例上面用到的感光线偏角θ、纵向像素偏差ΔY以及横向像素偏差ΔX,通过下列方法获取得到:
感光线偏角θ、纵向像素偏差ΔY通过拍摄第一测试模板图获取。第一测试模板图片,沿线阵图像传感器感光线方向存在多个明暗交替的分界线,且每两个分界线之间的图片的灰度值沿垂直感光线方向递增或递减,即一致性纵向递进变化;类似于横向条纹图,每个横向的条纹为垂直于条纹方向的渐变色。分析第一测试模板图片,利用图片上每一个明暗交界拟合得到所述感光线偏角θ和所述纵向像素偏差ΔY的值。
随后多线阵图像传感器拍摄第二测试模板图片;所述第二测试模板图片,垂直于线阵图像传感器感光线方向存在多个明暗交替的分界线,且每两个分界线之间的图片的灰度值沿感光线方向递增或递减,即呈一致性横向递进变化;类似于纵向条纹图,每个纵向的条纹为垂直于条纹方向的渐变色;分析第二测试模板图片,拟合所有线阵图像传感器每个像素点的位置和灰度值的关系曲线;计算相邻两个线阵图像传感器之间,相同灰度值的像素点的位置之间的偏差,得到所述横向像素偏差ΔX。
本实施例多线阵图像传感器拼接方法的原理如下:
为进行多线阵图像传感器拼接,需要着重解决多线阵传感器拼接中横向方向上存在的:(1)感光线偏角θ问题;(2) 亚像素对齐问题。纵向方向上存在的:(1) 单传感器内由于感光线偏角θ导致的逐像素延迟差异问题;(2) 传感器之间延迟差异问题;(3) 亚像素对齐问题。
根据问题的递进性和前后包含关系,需要按照如下顺序来完成对以上问题的修正。图1所示,左侧传感器为线阵图像传感器b,则首先需要对右侧线阵图像传感器a进行θ角修正,将单个传感器内各像素对齐到同一水平线上,同时也是将线阵图像传感器a修正为在X(横向)方向上与线阵图像传感器b平行;而后解决Y(纵向)方向上两个传感器之间延迟差异问题;此后对Y方向亚像素对齐问题继续修正,最后将两个传感器拼接处X方向亚像素对齐问题继续修正,从而完成双传感器拼接。多传感器拼接从最后一个传感器依次按照以上流程处理,将其与之前一个传感器完成拼接,而后逐次进行直到完成与第一个传感器的拼接。
(1)感光线偏角θ角修正
该项修正将线阵图像传感器a的倾斜线修正为水平线,修正后θ=0,此时线阵图像传感器a感光线与线阵图像传感器b完全平行。如图4所示,感光线延迟关系可以通过加权平均的方式进行非整行的调整。
图4中像素R2相对R1延迟积分为0(TDI=0),R3相对于R1延迟积分为1,为了实现非整延迟积分,比如TDI=0.5,则可以对R2,R3取平均,即图中R2'=(R2+R3)/2,此时R2'相对于R1延迟积分为0.5,同理为了实现任意TDI延迟,则只需要调整R2,R3加权权重即可,即R2'=(1-β)·R2+β·R3,此时R2'相对于R1的延迟积分TDI=β,即可实现任意0-1范围内的延迟积分。由此,对于任意TDI,都可将其写成N/βN形式,其中N表示整数像素延迟,βN表示非整像素延迟。则上述亚像素对齐问题即可通过非整TDI来修正。
图5所示为感光线偏角θ导致的传感器内各像素延迟积分关系的变化,X方向上坐标xn处像素与第一个像素由于θ角的缘故,存在延迟积分关系差异。在θ角很小(正常安装工艺可以确保θ角很小)时,此时xn处像素对应的TDI=yn=xn·θ=N/βN。由此每个像素点都可以表示成N/βN,则根据yn=xn·θ可以完成所有像素由于θ角导致的延迟积分关系的修正。修正后yn的差异不再存在,图6中倾斜线被修复为水平线,也即将任图像传感器a的扫描图像A,根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A'。这里的yn=xn·θ,是在θ很小的情况下才成立的,当θ角较大时,则该公式不成立,继续使用该公式会对拼图效果产生较大影响,按照常规像素大小5微米来看,该感光线偏角θ的可拼接阈值为1毫弧度。
(2)传感器间像素偏差修正
线阵图像传感器之间横向像素偏差如图2所示,纵向像素偏差如图3所示。在完成感光线偏角θ角修正后,将ΔY-yn差异统一矫正为ΔY,传感器间纵向差异修正即完成对图中ΔY的修正。横向像素偏差修正则根据横向像素偏差ΔX进行修正。
(3)亚像素对齐问题修正
亚像素对齐问题存在于横向和纵向两个方向上,即两个传感器拼接中无论是横向还是纵向是无法正好在像素边界对齐的,总是存在像素错位。横向上的像素错位如图7所示。
图7中,左侧两个传感器拼接处存在像素错位,若直接拼接,则实际物体的横向长度会多出最大1个像素,为了解决亚像素对齐问题,采用横向加权平均算法:x方向上新的像素值
Figure SMS_9
,其中/>
Figure SMS_10
,即新的像素值根据左右两个像素的贡献来决定,图8中给出了几种典型叠加场景。
纵向方向亚像素对齐问题按照同样的原理进行,对Y方向上线阵图像传感器a的每一个像素点的像素值,根据其上方和下方的实际像素点的像素值RyT和RyB,利用
Figure SMS_11
进行修正,其中/>
Figure SMS_12
。此处需要注意的是传感器间纵向差异可能较大,需要较多缓存存储足够的像素行数才能达到目的。系数α与系数β提前进行标定获取。
(4)修正用θ角,ΔY,ΔX的计算
在以上各种修正中,需要已知θ角,ΔY,ΔX,yn,其中yn可根据θ角以及像素位置计算得到,而θ角,ΔY,ΔX需要通过拍摄测试模板拟合得到。
对于采用多传感器拼接的相机,需要首先获取拼接参数θ角,ΔY,ΔX。感光线偏角θ、纵向像素偏差ΔY通过拍摄第一测试模板图获取,横向像素偏差ΔX通过拍摄第二测试模板图获取。第一测试模板图片,沿线阵图像传感器感光线方向存在多个明暗交替的分界线,且每两个分界线之间的图片的灰度值沿垂直感光线方向递增或递减。在不进行修正的情况下,多线阵图像传感器拍摄的第一测试模板图会因为纵向像素偏差的原因导致不同线阵图像传感器扫描的图像“分界线”不对齐,以及相邻两个“分界线”之间存在夹角,通过像素点的分布拟合得到扫描图像上的“分界线”,分析图片后可以测量得到两个不对齐的“分界线”之间的纵向距离以及两个相邻分界线之间的夹角,即为θ角和ΔY。
对于ΔX,通过计算两个传感器重叠区域像素值的曲线变化即可完成对ΔX的计算,基本原理如图9所示,统计扫描图片上像素点位置和灰度值的关系,拟合得到不同线阵图像传感器扫描的曲线,计算相邻两个线阵图像传感器之间,相同灰度值的像素点的位置之间的偏差,得到所述横向像素偏差ΔX。
以上得到的感光线偏角θ角,ΔY,ΔX最终会固化在非易失性flash中,每次上电时FPGA会主动读取这些参数,按照前文中给出的修正方法对传感器各种差异进行修正,达到较好的成像一致性效果。
本实施例还提出了一种线阵采像系统,包括传感器模块和修正模块。传感器模块包括不少于两个线阵图像传感器,线阵图像传感器扫描图像存在重叠区域,且任意两个线阵图像传感器扫描图像不完全重叠。具体地,传感器模块包括至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;也可以直接使用阵列的线阵扫描相机,即包括至少两个沿线阵图像传感器感光线方向排列的线阵相机,相邻两个线阵相机的视场存在部分重叠。
修正模块,调取修正数据,取基准图像传感器扫描图像,其余线阵图像传感器扫描图像由远及近依次拼接,最后完全拼接至基准图像传感器扫描图像上,形成拼接修正图像。由于传感器模块的线阵图像传感器一般多于2个,在进行拼接时,可以从左往右方向从最后一个传感器依次按照上述的拼接方法进行图像拼接,将其与之前一个传感器完成拼接,而后逐次进行直到完成与第一个传感器的拼接。也可以选取一个基准图像传感器,将其余的各个传感器扫描图像先与相邻的传感器扫描图像拼接,最后由远及近全部拼接至基准传感器扫描的图像上;该基准传感器的感光线方向与扫描方向的夹角最接近90º,以增大拼接修正图像分辨率。因此需要对各个传感器进行编号并记录其编号信息。
修正数据至少包括用于识别待拼接扫描图像的传感器编号、用于增大拼接修正图像分辨率的基准图像传感器编号、用于相邻传感器扫描图像平行度修正的感光线偏角、用于纵向像素点拼接的纵向像素偏差、用于横向像素点拼接的横向像素偏差。修正数据通过所述传感器模块拍摄测试模板图预先获取并存储。
修正模块对扫描图像数据的修正包括:先对每个线阵图像传感器的同一帧像素数据进行拼接,再将各帧像素数据拼接为完整的拼接修正图像。或者,先获取每个线阵图像传感器扫描的图像,得到待拼接图像;再对待拼接图像的每一行像素点进行拼接,最终得到完整的拼接修正图像。
本实施例又提出了一种多线阵采像装置,包括至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;非易失性flash,用于存储预先测试获取的,用于拼接多个线阵图像传感器像素点的拼接参数;FPGA,用于调取非易失性flash中的拼接参数,执行上述的多线阵图像传感器拼接方法,对多个线阵图像传感器的像素点进行拼接,并输出拼接后的图像数据。
该多线阵采像装置的工作流程主要包括以下两个步骤:
(1)出厂矫正过程,即对θ角,ΔY,ΔX参数获取过程;具体如图10所示,包括:按照正常相机组装流程完成多传感器组装;拍摄测试模式图像数据并保存为文件;根据测试图像离线分析计算θ角,ΔY,ΔX参数;将获取到的参数数据写入相机非易失性flash中;
(2) 传感器数据修正过程,即根据θ角,ΔY,ΔX计算yn等衍生参数并对传感器数据进行修正。具体如图11所示,包括:相机上电;读取参数数据并计算yn等衍生参数;等待传感器数据;根据参数修正传感器数据;输出修正后数据。
本实施例最后提出了一种多线阵采像设备,该设备使用上述的多线阵采像装置进行图像采集。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种多线阵图像传感器拼接方法,相邻的两个线阵图像传感器扫描图像存在重叠区域,且所述扫描图像不完全重叠;相邻两个线阵图像传感器的感光线偏角不大于可拼接角度阈值,其特征在于,包括:
将任一线阵图像传感器a的扫描图像A,根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A',使其与另一线阵图像传感器b的扫描图像B平行;
对所述偏转扫描图像A'进行像素偏差修正;
其中,像素偏差修正包括横向像素偏差修正与纵向像素偏差修正。
2.根据权利要求1所述的多线阵图像传感器拼接方法,其特征在于,所述根据所述感光线偏角通过延迟积分关系,修正为偏转扫描图像A',使其与另一线阵图像传感器b的扫描图像B平行,包括:
以所述线阵图像传感器b的感光线为X轴,以线阵图像传感器a与线阵图像传感器b相邻一端的第一个像素点为原点建立坐标系,所述线阵图像传感器a沿X方向第n个像素点的横坐标、纵坐标分别为xn、yn,所述感光线偏角为θ;
根据延迟积分关系yn=xn·θ,修正当前线阵图像传感器像素点Y方向的坐标yn,使所述线阵图像传感器a的扫描图像与所述线阵图像传感器b的扫描图像平行。
3.根据权利要求2所述的多线阵图像传感器拼接方法,其特征在于,若所述感光线偏角θ为0 rad,则不进行将线阵图像传感器a的扫描图像A修正为偏转扫描图像A'的步骤,以降低计算量。
4.根据权利要求2所述的多线阵图像传感器拼接方法,其特征在于,所述像素偏差修正,还包括亚像素偏移对齐:
获取预设的X方向非整像素延迟系数α,Y方向非整像素延迟系数β;其中
Figure QLYQS_1
,/>
Figure QLYQS_2
对X方向上线阵图像传感器a的每一个待对齐像素点的像素值Rx根据其左侧和右侧的实际像素点的像素值RxL和RxR,利用下式进行重新赋值:
Figure QLYQS_3
对Y方向上线阵图像传感器a的每一个像素点的像素值Ry,根据其上方和下方的实际像素点的像素值RyT和RyB,利用下式进行重新赋值:
Figure QLYQS_4
完成线阵图像传感器a的亚像素偏移对齐。
5.根据权利要求1所述的多线阵图像传感器拼接方法,其特征在于,所述感光线偏角和纵向像素偏差的获取方法为:
多线阵图像传感器拍摄第一测试模板图片;所述第一测试模板图片,在沿线阵图像传感器感光线方向上,存在多个分界线,相邻两个分界线之间的灰度值呈一致性纵向递进变化;
分析第一测试模板图片,利用图片上每一个分界线,拟合得到所述感光线偏角θ和所述纵向像素偏差ΔY的值。
6.根据权利要求5所述的多线阵图像传感器拼接方法,其特征在于,所述横向像素偏差的获取方法为:
多线阵图像传感器拍摄第二测试模板图片;所述第二测试模板图片,垂直于线阵图像传感器感光线方向上,存在多个分界线,相邻两个分界线之间的灰度值呈一致性横向递进变化;
分析第二测试模板图片,拟合所有线阵图像传感器每个像素点的位置和灰度值的关系曲线;
计算相邻两个线阵图像传感器之间,相同灰度值的像素点的位置之间的偏差,得到所述横向像素偏差ΔX。
7.一种线阵采像系统,相邻两个线阵图像传感器的感光线偏角不大于可拼接角度阈值,其特征在于,包括:
传感器模块,包括不少于两个线阵图像传感器,线阵图像传感器扫描图像存在重叠区域,且任意两个线阵图像传感器扫描图像不完全重叠;
修正模块,调取修正数据,取基准图像传感器扫描图像,其余线阵图像传感器扫描图像由远及近依次拼接,最后完全拼接至基准图像传感器扫描图像上,形成拼接修正图像;
其中,修正数据至少包括用于识别待拼接扫描图像的传感器编号、用于增大拼接修正图像分辨率的基准图像传感器编号、用于相邻传感器扫描图像平行度修正的感光线偏角、用于纵向像素点拼接的纵向像素偏差、用于横向像素点拼接的横向像素偏差。
8.根据权利要求7所述的线阵采像系统,其特征在于,所述修正数据,通过所述传感器模块拍摄测试模板图预先获取并存储。
9.根据权利要求7所述的线阵采像系统,其特征在于,所述修正模块对图像的拼接包括:
先对每个线阵图像传感器的同一帧像素数据进行拼接,再将各帧像素数据拼接为完整的拼接修正图像;或
先获取每个线阵图像传感器扫描的图像,得到待拼接图像;再对待拼接图像的每一行像素点进行拼接,最终得到完整的拼接修正图像。
10.根据权利要求7所述的线阵采像系统,其特征在于,所述传感器模块包括:
至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;或
至少两个沿线阵图像传感器感光线方向排列的线阵相机,相邻两个线阵相机的视场存在部分重叠。
11.一种多线阵采像装置,其特征在于,包括:
至少两个沿线阵图像传感器感光线方向排列的线阵图像传感器,相邻两个线阵图像传感器之间存在部分重叠;
非易失性flash,用于存储预先测试获取的,用于拼接多个线阵图像传感器像素点的拼接参数;
FPGA,用于调取非易失性flash中的拼接参数,执行权利要求1所述的多线阵图像传感器拼接方法,对多个线阵图像传感器的像素点进行拼接,并输出拼接后的图像数据。
12.一种多线阵采像设备,其特征在于,使用如权利要求11中所述的多线阵采像装置进行图像采集。
CN202310349498.1A 2023-04-04 2023-04-04 多线阵图像传感器拼接方法、线阵采像系统及装置 Active CN116156342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310349498.1A CN116156342B (zh) 2023-04-04 2023-04-04 多线阵图像传感器拼接方法、线阵采像系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310349498.1A CN116156342B (zh) 2023-04-04 2023-04-04 多线阵图像传感器拼接方法、线阵采像系统及装置

Publications (2)

Publication Number Publication Date
CN116156342A true CN116156342A (zh) 2023-05-23
CN116156342B CN116156342B (zh) 2023-06-27

Family

ID=86340947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310349498.1A Active CN116156342B (zh) 2023-04-04 2023-04-04 多线阵图像传感器拼接方法、线阵采像系统及装置

Country Status (1)

Country Link
CN (1) CN116156342B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116774302A (zh) * 2023-08-23 2023-09-19 江苏尚飞光电科技股份有限公司 数据转换方法、装置、电子设备以及成像设备
CN117036175A (zh) * 2023-10-08 2023-11-10 之江实验室 一种线阵图片拼接方法、装置、介质以及设备
CN117119327A (zh) * 2023-08-24 2023-11-24 合肥埃科光电科技股份有限公司 一种多传感器相机及其偏差计算方法和安装方法
CN117119324A (zh) * 2023-08-24 2023-11-24 合肥埃科光电科技股份有限公司 一种多面阵传感器相机及其安装位置调节方法和调节装置

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175001A (ja) * 1998-12-04 2000-06-23 Matsushita Electric Ind Co Ltd 画像読取り装置における画像データ補正方法
US20030234343A1 (en) * 2002-06-19 2003-12-25 Eastman Kodak Company Tiled electro-optic imaging device
US7015966B1 (en) * 1999-03-15 2006-03-21 Canon Kabushiki Kaisha Reducing discontinuities in segmented imaging sensors
CN101146162A (zh) * 2007-11-02 2008-03-19 紫光股份有限公司 由多个线阵光电传感器组成的大幅面扫描仪的校正方法
US20100150305A1 (en) * 2008-09-29 2010-06-17 Tristan Nowak Device and method for time-delayed integration on an x-ray detector composed of a plurality of detector modules
US20100238522A1 (en) * 2006-06-16 2010-09-23 Klaus Anderle Method for controlling a TDI-CCD image sensor
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业(深圳)有限公司 全景图像拍摄装置及方法
US20110292469A1 (en) * 2010-05-25 2011-12-01 Hiroshi Takahashi Image reader and image forming apparatus using same using multiple image sensors and which corrects misalignment
JP2012061695A (ja) * 2010-09-15 2012-03-29 Ricoh Co Ltd 画像形成装置、及びプログラム
JP2012099947A (ja) * 2010-10-29 2012-05-24 Brother Ind Ltd 画像読取装置、画像形成装置及び斜行検出プログラム
CN102857668A (zh) * 2012-09-25 2013-01-02 威海华菱光电股份有限公司 线阵图像传感器和线阵图像读取装置
CN103400345A (zh) * 2013-07-18 2013-11-20 西南交通大学 一种降低tdi-ccd相机图像模糊度的方法
US20140036323A1 (en) * 2011-04-23 2014-02-06 Simon Kaempflein Scanning method for a large-size scanner system using a stitching process
JP2014176022A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 画像読取装置、画像形成装置及び画像読取方法
US20150213623A1 (en) * 2014-01-30 2015-07-30 Rigaku Corporation Image processing method and image processing apparatus
CN106170974A (zh) * 2014-01-21 2016-11-30 罗思 + 韦伯有限责任公司 在自动化的动态比例修正的情况下扫描大尺寸格式的扫描模板的方法
CN205901935U (zh) * 2016-06-07 2017-01-18 中电科技(合肥)博微信息发展有限责任公司 一种高清跟踪智能控制装置
US20170085746A1 (en) * 2015-09-17 2017-03-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2017108323A (ja) * 2015-12-11 2017-06-15 三菱電機株式会社 画像処理装置、画像処理方法、画像読取装置、及びプログラム
CN108242047A (zh) * 2017-12-23 2018-07-03 北京卫星信息工程研究所 基于ccd的光学卫星遥感影像数据校正方法
US20180213107A1 (en) * 2017-01-23 2018-07-26 Seiko Epson Corporation Scanner, scan program, and method of producing scan data
US20180213118A1 (en) * 2017-01-23 2018-07-26 Seiko Epson Corporation Scanner, scan program, and method of producing scan data
US20190043234A1 (en) * 2015-12-18 2019-02-07 Digital Domain, Inc. Systems and methods for multi-sensor image capture
US20200163233A1 (en) * 2017-07-11 2020-05-21 Corning Incorporated Tiled displays and methods of manufacturing the same
US20200247114A1 (en) * 2019-02-04 2020-08-06 Kyocera Document Solutions Inc. Image forming apparatus
CN114845068A (zh) * 2021-02-01 2022-08-02 安讯士有限公司 用于评估拼接图像的对准的方法和图像处理设备

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175001A (ja) * 1998-12-04 2000-06-23 Matsushita Electric Ind Co Ltd 画像読取り装置における画像データ補正方法
US7015966B1 (en) * 1999-03-15 2006-03-21 Canon Kabushiki Kaisha Reducing discontinuities in segmented imaging sensors
US20030234343A1 (en) * 2002-06-19 2003-12-25 Eastman Kodak Company Tiled electro-optic imaging device
US20100238522A1 (en) * 2006-06-16 2010-09-23 Klaus Anderle Method for controlling a TDI-CCD image sensor
CN101146162A (zh) * 2007-11-02 2008-03-19 紫光股份有限公司 由多个线阵光电传感器组成的大幅面扫描仪的校正方法
US20100150305A1 (en) * 2008-09-29 2010-06-17 Tristan Nowak Device and method for time-delayed integration on an x-ray detector composed of a plurality of detector modules
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业(深圳)有限公司 全景图像拍摄装置及方法
US20110292469A1 (en) * 2010-05-25 2011-12-01 Hiroshi Takahashi Image reader and image forming apparatus using same using multiple image sensors and which corrects misalignment
JP2012061695A (ja) * 2010-09-15 2012-03-29 Ricoh Co Ltd 画像形成装置、及びプログラム
JP2012099947A (ja) * 2010-10-29 2012-05-24 Brother Ind Ltd 画像読取装置、画像形成装置及び斜行検出プログラム
US20140036323A1 (en) * 2011-04-23 2014-02-06 Simon Kaempflein Scanning method for a large-size scanner system using a stitching process
CN102857668A (zh) * 2012-09-25 2013-01-02 威海华菱光电股份有限公司 线阵图像传感器和线阵图像读取装置
JP2014176022A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 画像読取装置、画像形成装置及び画像読取方法
CN103400345A (zh) * 2013-07-18 2013-11-20 西南交通大学 一种降低tdi-ccd相机图像模糊度的方法
CN106170974A (zh) * 2014-01-21 2016-11-30 罗思 + 韦伯有限责任公司 在自动化的动态比例修正的情况下扫描大尺寸格式的扫描模板的方法
US20150213623A1 (en) * 2014-01-30 2015-07-30 Rigaku Corporation Image processing method and image processing apparatus
US20170085746A1 (en) * 2015-09-17 2017-03-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2017108323A (ja) * 2015-12-11 2017-06-15 三菱電機株式会社 画像処理装置、画像処理方法、画像読取装置、及びプログラム
US20190043234A1 (en) * 2015-12-18 2019-02-07 Digital Domain, Inc. Systems and methods for multi-sensor image capture
CN205901935U (zh) * 2016-06-07 2017-01-18 中电科技(合肥)博微信息发展有限责任公司 一种高清跟踪智能控制装置
US20180213107A1 (en) * 2017-01-23 2018-07-26 Seiko Epson Corporation Scanner, scan program, and method of producing scan data
US20180213118A1 (en) * 2017-01-23 2018-07-26 Seiko Epson Corporation Scanner, scan program, and method of producing scan data
US20200163233A1 (en) * 2017-07-11 2020-05-21 Corning Incorporated Tiled displays and methods of manufacturing the same
CN108242047A (zh) * 2017-12-23 2018-07-03 北京卫星信息工程研究所 基于ccd的光学卫星遥感影像数据校正方法
US20200247114A1 (en) * 2019-02-04 2020-08-06 Kyocera Document Solutions Inc. Image forming apparatus
CN114845068A (zh) * 2021-02-01 2022-08-02 安讯士有限公司 用于评估拼接图像的对准的方法和图像处理设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116774302A (zh) * 2023-08-23 2023-09-19 江苏尚飞光电科技股份有限公司 数据转换方法、装置、电子设备以及成像设备
CN116774302B (zh) * 2023-08-23 2023-11-17 江苏尚飞光电科技股份有限公司 数据转换方法、装置、电子设备以及成像设备
CN117119327A (zh) * 2023-08-24 2023-11-24 合肥埃科光电科技股份有限公司 一种多传感器相机及其偏差计算方法和安装方法
CN117119324A (zh) * 2023-08-24 2023-11-24 合肥埃科光电科技股份有限公司 一种多面阵传感器相机及其安装位置调节方法和调节装置
CN117119324B (zh) * 2023-08-24 2024-03-08 合肥埃科光电科技股份有限公司 一种多面阵传感器相机及其安装位置调节方法和调节装置
CN117119327B (zh) * 2023-08-24 2024-03-12 合肥埃科光电科技股份有限公司 一种多传感器相机及其偏差计算方法和安装方法
CN117036175A (zh) * 2023-10-08 2023-11-10 之江实验室 一种线阵图片拼接方法、装置、介质以及设备
CN117036175B (zh) * 2023-10-08 2024-01-09 之江实验室 一种线阵图片拼接方法、装置、介质以及设备

Also Published As

Publication number Publication date
CN116156342B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN116156342B (zh) 多线阵图像传感器拼接方法、线阵采像系统及装置
US7139424B2 (en) Stereoscopic image characteristics examination system
US7366343B2 (en) Pattern inspection method and apparatus
US4870505A (en) Method of and apparatus for connecting output image signals from a plurality of line image sensors using a correction read pattern
CN112802123B (zh) 一种基于条纹虚拟靶标的双目线阵相机静态标定方法
JP2008072565A (ja) 撮像装置及び欠陥画素補正方法
US7123388B2 (en) Image processing apparatus
CN108230400B (zh) 一种适用于激光切割机的自适应坐标重建方法
US7688479B2 (en) Compensation apparatus for image scan
US6600568B1 (en) System and method of measuring image sensor chip shift
US20070053583A1 (en) Image correcting apparatus, pattern inspection apparatus, and image correcting method, and reticle
JP2002181732A (ja) 外観検査装置および外観検査方法
JPH08254499A (ja) 表示・外観検査装置
US20210311293A1 (en) Digital Pathology Scanner for Large-Area Microscopic Imaging
US20090168116A1 (en) Method and System For Calibrating A Scanner Having A Scan Bar Including Sensor Elements
JPH10311705A (ja) 画像入力装置
JP3922608B2 (ja) 高さ測定方法及び装置
CN110738613A (zh) 线阵探测器图像拼接实时校正方法、装置、设备和介质
CN116883295B (zh) 线扫描三维图像采集振动矫正方法、装置及电子设备
CN116744136A (zh) Tdi线阵扫描相机坏点校正方法、系统、存储介质及设备
US20040120017A1 (en) Method and apparatus for compensating for assembly and alignment errors in sensor assemblies
JP4900435B2 (ja) 欠陥画素出力信号補正方法
JP2000082141A (ja) 撮像画像幾何歪み検出装置
US6507360B1 (en) Method of manufacturing a cathode ray tube, in which a display screen is inspected
JP2008283507A (ja) 歪補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant