CN116866726B - Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质 - Google Patents
Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质 Download PDFInfo
- Publication number
- CN116866726B CN116866726B CN202311123452.4A CN202311123452A CN116866726B CN 116866726 B CN116866726 B CN 116866726B CN 202311123452 A CN202311123452 A CN 202311123452A CN 116866726 B CN116866726 B CN 116866726B
- Authority
- CN
- China
- Prior art keywords
- tdi
- pixels
- exposure
- gray value
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000010354 integration Effects 0.000 title claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 abstract description 16
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 238000013461 design Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种TDI相机积分方法、彩色TDI相机积分方法、TDI相机及介质。属于TDI相机技术领域。本发明设计一种根据实际速率匹配关系来自动计算TDI延迟量，进而解决TDI积分过程中，相机扫描行频和被扫描物体运动速度之间不匹配导致成像不满足要求的问题。对于彩色TDI相机，则确定RGB延迟关系和加权插值系数，进而完成任意速率匹配的色散矫正方法，通过用户场景中现场速率匹配关系，自动计算TDI延迟量以达到调整RGB分量相互位置关系的目的，最终以行延迟结合加权插值算法来完成色散问题的矫正，在合理成本和功耗下解决机器视觉领域某些特殊行业和场景下由于速率不匹配引起的图像色散问题。
Description
技术领域
本发明涉及TDI相机技术领域，特别涉及一种TDI相机积分方法、彩色TDI相机积分方法、TDI相机及介质。
背景技术
机器视觉领域检测效率的不断提高一方面要求前端图像传感器的数据输出率不断增大，另一方面同时也要求产品流水线的运动速率也不断增加，二者之间需要满足匹配关系以保证所采集图像保持正常的纵横比例。但在某些特殊应用领域如印刷/钞票检测，目标物运动速率极快，而相机输出行频远远达不到物体运动速率，二者之间存在明显的失配，此时采集的图像就会出现纵向方向上的异常压缩，图像存在极度模糊和色散问题。这些特殊的工作场景通常无法通过降低物体运动速率的方式来适配，另一方面支持如此高速率匹配的相机也很难设计，因为此时需要前端传感器输出极高的行频，成本和功耗都是极大的障碍，故在这些特殊场景下都要求目标物和相机之间进行任意速率匹配，如印刷行业某些场景下需要完成相机行频和物体运动速率为1:6的速率匹配(正常情况下为1:1)，同时还要求所采集图像在任意纵向压缩比(如1:6)下保持清晰和无色散。
时间延迟积分（TDI or time delay integration）技术是基于对同一目标多次曝光、多帧累加从而提高信号亮度，在光线较暗曝光时间不足的情况下能输出更高信噪比信号，改善拍摄环境条件限制导致图像的信噪比过低。其基本原理如图1所示，以四行像素的TDI线阵扫描相机为例，对于其中的任一列像素点pixel0、pixel1、pixel2和pixel3，被拍摄物体分为ABCD四个部分，被拍摄物体的运行速度与TDI线阵扫描相机的扫描行频相适应。在连续的四个扫描时刻，被拍摄物体的一部分A，分别依次被pixel0、pixel1、pixel2和pixel3拍到，然后将pixel0、pixel1、pixel2和pixel3拍到的物体的一部分A进行积分，最终获得被拍摄物体的一部分A的图像信息。
现有通用技术通常只支持特定整数压缩比，绝大部分是完成相机行频和物体运动速率为1:1的速率匹配，更进一步的是实现某几个特殊速率匹配关系下的矫正，可满足大部分常规场景下的机器视觉图像采集需求，而针对一些特殊场景或者特殊行业应用，则无法很好的适应。尤其即便当速率为1:1匹配关系时，运动运动机构精度和运动控制算法精度问题，实际上二者之间还是存在些微的适配，如实际速率为1:1.09时，此时大多数用户场景是可以接受图像存在些许的不匹配问题，但还是对最终的用户算法带来了一些障碍。
对于彩色TDI相机来说，其上设有三行分别用于响应红色、绿色、蓝色光的R、G、B像素分行，物体在运动时，R、G、B三行分别获取物体同一位置的三种颜色的像素数据，然后将三种颜色的数据拼接在一起则获得了物体此位置的彩色像素数据。若相机行频和物体运动速率不匹配，则会导致色散现象的出现。从色散现象的问题来源来看，直接原因系相机行频和目标物体运动速率导致的，根本原因还是相机输出的行数据没有根据物体实际运动位置进行调整导致RGB分量输出的实际位置不一致。由此本专利提出一种根据实际速率匹配关系自动计算TDI延迟量来调整RGB分量输出位置，进而完成任意速率匹配的色散矫正方法。
发明内容
本发明提出的一种TDI相机积分方法、彩色TDI相机积分方法、TDI相机及介质，对于普通TDI相机，用于解决TDI积分过程中，相机扫描行频和被扫描物体运动速度之间不匹配导致成像不满足要求的问题；对于彩色TDI相机，则用于解决R、G、B输出的分量不是被扫描物体的同一位置上问题。
为实现上述目的，本发明提出了以下技术方案：
一种TDI相机积分方法，包括：
TDI延迟量为D，D=α+β；TDI相机的扫描行频和被扫描物体运动速率之间的速率比为1：N；TDI相机相邻像素行之间间隔a个像素；有：
；
TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；其中M为任意行；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值进行累加；
TDI相机中所有行的像素根据上述方式进行累加，获得TDI积分后的行像素灰度值。
进一步地，所述TDI相机首先缓存行像素数据，根据α的值将不同行数据进行延迟对齐，包括：
第M行像素的第t次曝光后获得的像素数据，与第M+1行像素的第t+α+1次曝光后获得的像素数据一一对应；
然后根据β进行行内延迟矫正，包括：
第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值：
；
将所述灰度值P作为第M行像素的第t次曝光后获得的像素数据，和第M+1行像素的第t+α+1次曝光后获得的像素数据对应；
将每一行对应好的像素数据累加，实现TDI积分。
进一步地，所述TDI相机相邻像素行之间间隔0或1个像素。
一种彩色TDI相机积分方法，所述彩色TDI相机包括三行分别用于响应红色、绿色、蓝色光的R、G、B分行，其中R行、G行和B行之间间隔a个像素；
彩色TDI相机的扫描行频和被扫描物体运动速率之间的速率比为1：N；
TDI延迟量为D，D=α+β；有：
；
TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值对齐；
彩色TDI相机中R行、G行和B行的像素根据上述方式进行对齐，输出一行像素的R、G、B分量。
进一步地，所述彩色TDI相机，沿被拍摄物体的运动方向，依次设置R行、G行和B行；
则R行像素相对于G行像素的延迟量、G行像素相对于B行像素的延迟量为D。
进一步地，所述a=1，则D=2/N；其中：。
一种TDI相机，所述TDI相机的TDI延迟量为D，D=α+β；TDI相机的扫描行频和被扫描物体运动速率之间的速率比为1：N；TDI相机相邻像素行之间间隔a个像素；有：
；
所述TDI相机的TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；其中M为任意行；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值进行累加；
TDI相机中所有行的像素根据上述方式进行累加，获得TDI积分后的行像素灰度值。
进一步地，所述TDI相机首先缓存行像素数据，根据α的值将不同行数据进行延迟对齐，包括：
第M行像素的第t次曝光后获得的像素数据，与第M+1行像素的第t+α+1次曝光后获得的像素数据一一对应；
然后根据β进行行内延迟矫正，包括：
第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值
；
将所述灰度值P作为第M行像素的第t次曝光后获得的像素数据，和第M+1行像素的第t+α+1次曝光后获得的像素数据对应；
将每一行对应好的像素数据累加，实现TDI积分。
还包括：
实时获取TDI相机的扫描行频和被扫描物体运动速率，并计算二者之间的速率比1：N；
根据所述N和a的值实时计算所述TDI相机的TDI延迟量D；
根据延迟量D输出扫描到的图像数据。
一种计算机可读存储介质，所述计算机可读存储介质内保存有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述的TDI相机积分方法。
本专利设计一种根据实际速率匹配关系来自动计算TDI延迟量，进而解决TDI积分过程中，相机扫描行频和被扫描物体运动速度之间不匹配导致成像不满足要求的问题。对于彩色TDI相机，则确定RGB延迟关系和加权插值系数，进而完成任意速率匹配的色散矫正方法，通过用户场景中现场速率匹配关系，自动计算TDI延迟量以达到调整RGB分量相互位置关系的目的，最终以行延迟结合加权插值算法来完成色散问题的矫正，在合理成本和功耗下解决机器视觉领域某些特殊行业和场景下由于速率不匹配引起的图像色散问题。
附图说明
图1是TDI相机工作原理图；
图2是实施例的彩色TDI相机积分方法中N为1时的各行像素扫描示意图；
图3是实施例的彩色TDI相机积分方法中N为2时的各行像素扫描示意图；
图4是实施例的彩色TDI相机积分方法中N为3时的各行像素扫描示意图；
图5是实施例的彩色TDI相机积分方法中N为6时的各行像素扫描示意图；
图6是实施例中加权插值算法的原理图；
图7是实施例中推广至一般情况下的彩色TDI相机时的各行像素扫描示意图；
图8是实施例中推广至一般情况下的TDI相机时的各行像素扫描示意图；
图9是实施例中彩色TDI相机的工作流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
所谓TDI延迟量，是指一行像素数据相对于下一行像素数据输出的延迟时间，在图1的例子中，在连续的四个扫描时刻，被拍摄物体的一部分A，分别依次被pixel0、pixel1、pixel2和pixel3拍到，但在同一时刻，如pixel3拍到A的时刻，pixel0、pixel1、pixel2和pixel3分别输出的是D、C、B、A四个部分的像素数据，此时若直接积分，显然是不正确的。通常的处理方式是将pixel0获取的像素数据延迟一个曝光周期后与pixel1获取的像素数据进行累加，以为pixel0拍到A后，pixel1正好在下一次曝光时获取到A，因此将pixel0获取的像素数据延迟一个曝光周期后与pixel1获取的像素数据进行累加，正好是将A对应的像素信号进行累加，此时则称TDI延迟量D为1。
本实施例首先提出了一种彩色TDI相机积分方法。对于彩色TDI相机，相机输出行频和目标物体运动速率之间的相互关系直接影响彩色相机RGB分量的延迟叠加关系，常规用户场景下，行频和物体速率满足1:1的关系，此时根据相机中所使用传感器RGB分量的排列情况，通常的TDI延迟量D为1或者2，分别对应RGB像素纵向位置排列为0像素间隔和1像素间隔的情况。随着用户场景趋于多样性同时叠加用户运动平台设计的精度问题，行频和物体速率大多数是不满足严格的1:1关系的，此时按照TDI=1或者TDI=2进行RGB分量的叠加设计，就会导致所采集图像出现色散现象，色散的程度取决于速率失配的程度。尤其在某些特殊行业和场景下，通常要求速率比为1:N，N为任意大于等于1的整数，在叠加运动平台精度问题，则实际的N为任意数，不再是整数。
在速率比为1:N的情况下，TDI延迟量需要分为两个部分：即整数部分和小数部分，整数部分即常规方式下的TDI延迟量，这是以曝光次数为单位的延迟量，小数部分即非常规部分，此时需要计算行内延迟量，通过加权插值算法来完成矫正。图2、图3、图4、图5所示分别为传感器RGB分量为1像素间隔情况下，速率比为1:1，1:2；1:3，1:6下的行输出情况以及对应的TDI延迟量。当速率比为1:1时，TDI延迟量为2，即R延迟2次曝光周期即可完成和G分量的对齐，同时G延迟2次曝光周期再完成和B分量的对齐，对齐后RGB分量同时输出物体标志点1，即不会出现色散现象。图2中的虚线将RGB中的位置1相连。易见速率比为1:2时，TDI延迟量为2。当速率比为1:3时，若令TDI延迟量为1，则此时RGB分量同时输出物体标志点分别为4，5，6，因为输出的是不同标志点，输出图像上就表现为色散现象；若令TDI延迟量为0，则RGB分量输出物体标志点分别为7，5，3，此时色散现象更严重，因为此时RGB输出的物体位置差异更大了。由此可见，当速率比为1:3时，TDI延迟量为一定是大于0小于1的一个小数但是更接近于1。同理速率比为1:6下，TDI延迟量为也是大于0小于1的一个小数但是更接近于0。
由以上4种典型速率比情况不难推断如下结论：
当速率比小于1:1时，则D>2；
当速率比大于1:1同时小于1:2时，则1<D<2；
当速率比大于1:2时，则D<1；
当速率比为1:N(N>2)时，则N越大，D越小也越接近于0；
当D非整时，分为整数部分延迟和行内延迟（小数部分延迟）两个部分，其中整数部分延迟采用缓存方式来实现，而行内延迟也即小数部分延迟需要采用缓存叠加行内插值加权算法来实现。
此处以速率比为1:3为例来说明实现原理。从前文可见，首先需要设置整数部分延迟为1，此时RGB输出4，5，6标志点，若不进行行内延迟补偿，因为RGB输出的是物体的不同位置点，则最终图像会出现明显的RGB分离色散现象。由于速率失配，R分量只有位置点4和7的信息，则B分量只有位置点3和6的信息，都没有位置点5的直接信息，此处采用临近原理，即物体的灰度值在相邻位置应该是连续的，不会存在突变，则可以采用加权插值算法来得到中间点信息。
如图6所示就是一个典型的加权插值算法，此时只有位置1，3的灰度值，则位置2的灰度值等于位置1和3的加权平均，因为位置2和位置1/3的距离相同，则加权系数相同即为0.5。
当R分量只有位置点4和7的灰度值时，则位置5的灰度值为P4*2/3+P7*1/3（P4/P7为位置点4/7的灰度值），即根据位置差值来确定加权系数，最终完成目标点的灰度值计算，此即TDI小数部分也即行内延迟量的计算，则结合整数和小数部分后，最终在速率比为1:3下的TDI延迟量为2/3。
结合图6，当速率比为1:N时，此时相机输出前后行的特征点差异为N，在传感器RGB分量为1像素间隔的情况下，此时RGB分量在同一时刻输出的特征点差异为2，由此对于R分量而言，则其前后特征点与G同时刻输出特征点的间隔分别为N-2和2，由此可得插值加权系数为2/N和(N-2)/N且TDI延迟量为2/N。可以验证得到：当N<1时，以上结论依然成立，即速率比1:N下(N为任意大于0的数)，当传感器内RGB分量为1像素间隔的情况下，TDI延迟量为2/N：
当N>=2时，此时TDI延迟量只有小数部分，则行内插值加权系数分别为2/N和(N-2)/N；
当N<2时，此时TDI延迟量包含整数部分和小数部分，则整数部分为(/>表示对2/N向下取整)，小数部分为/>，此时行内插值加权系数分别为β和1-β。
如N=3/2，则TDI延迟量为4/3，此时D=1+1/3，即1次曝光周期延迟叠加行内插值完成RGB对齐。
将上述的彩色TDI相机推广至一般场景，不限制R、G、B的分布情况，保证RGB输出的分量是被扫描物体的同一位置上的图像数据，彩色TDI相机包括三行分别用于响应红色、绿色、蓝色光的R、G、B分行，其中R行、G行和B行之间间隔a个像素，如图7所示，延迟量为D，则R行的0位置，在延迟了D次曝光后，出现在G行的-(a+1)+N*D上，即：
-(a+1)+N*D=0，得到D=(a+1)/N；当a=1时，与上述的D=2/N相同。
此时的TDI延迟量D=α+β，有：
；
其中为向下取整。
TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；其中M为任意行。
然后将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值对齐；彩色TDI相机中R行、G行和B行的像素根据上述方式进行对齐，输出一行像素的R、G、B分量。
当R、G、B按顺序排列时，则沿被拍摄物体的运动方向，依次设置R行、G行和B行；R行像素相对于G行像素的延迟量、G行像素相对于B行像素的延迟量为D。
进一步地，本实施例将上述用于彩色TDI相机的积分方法推广至一般TDI相机的积分方法中，如图8所示，从TDI相机中截取三行，分别为M行、M+1行、M+2行；在t、2t、3t、4t、5t的曝光内，三行像素分别获取的被扫描物体上的位置为：
M行获取：0、N、2N、3N、4N；
M+1行获取：-(a+1)、-(a+1)+N、-(a+1)+2N、-(a+1)+3N、-(a+1)+4N；
M+1行获取：-2(a+1)、-2(a+1)+N、-2(a+1)+2N、-2(a+1)+3N、-2(a+1)+4N。
此时的问题转化为：确保积分过程中累加的对象是被拍摄物体上同一位置，设延迟量为D，则M行的0位置，在延迟了D次曝光后，出现在M+1行的-(a+1)+N*D上，即：-(a+1)+N*D=0，得到D=(a+1)/N；
此时的TDI延迟量D=α+β，有：
；
其中为向下取整。
TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值进行累加；
TDI相机中所有行的像素根据上述方式进行累加，获得TDI积分后的行像素灰度值。
本实施例又提出了一种TDI相机，该TDI相机使用上述的TDI积分方法进行积分，该TDI相机首先缓存行像素数据，根据α的值将不同行数据进行延迟对齐，包括：
第M行像素的第t次曝光后获得的像素数据，与第M+1行像素的第t+α+1次曝光后获得的像素数据一一对应；
然后根据β进行行内延迟矫正，包括：
第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值
；
将所述灰度值P作为第M行像素的第t次曝光后获得的像素数据，和第M+1行像素的第t+α+1次曝光后获得的像素数据对应；
将每一行对应好的像素数据累加，实现TDI积分。
本实施例的TDI相机在工作过程中实时获取TDI相机的扫描行频和被扫描物体运动速率，并计算二者之间的速率比1：N；根据所述N和a的值实时计算所述TDI相机的TDI延迟量D；根据延迟量D输出扫描到的图像数据。
进一步的，对于速率比的获取支持手动和自动两种方式，在手动方式下，用户根据相机实际工作配置的行频以及平台运动速率输入速率比参数；自动方式下，用户需要将平台运动机构表征运动速率的信号线（如编码器输出）接入相机，相机根据自身工作参数自动实时计算速率比来调整TDI延迟量，这在某些对于图像精度要求较高的场合比较有效。
本实施例中的TDI相机还包括彩色TDI相机，根据上述的彩色TDI相机积分方法进行积分操作，工作流程如图9所示，上电初始化完成相机各模块初始化工作，一方面配置前端传感器正常输出RGB原始数据，另一方面接收速率比配置参数，根据手工模式和自动模式来确定速率比来源，在手工模式下，直接使用客户配置的速率比参数，在自动模式下，需要接收和处理外触发信号并结合相机工作行频实时计算速率比。根据前文中计算公式由速率比计算得到TDI延迟量，分为整数部分和小数部分，整数TDI延迟量使用行延迟方法进行延迟对齐，采用行缓存延迟输出方法进行实现，小数TDI延迟量使用行内加权插值算法进行实现，完成TDI矫正后的图像即是根据速率比消除色散后的RGB图像数据，此时再传递给相机内其他算法模块进行处理。
本实施例还包括一种计算机可读存储介质，所述计算机可读存储介质内保存有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的TDI相机积分方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种TDI相机积分方法，其特征在于，包括：
TDI延迟量为D，D=α+β；TDI相机的扫描行频和被扫描物体运动速率之间的速率比为1：N；TDI相机相邻像素行之间间隔a个像素；有：
；
TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；其中M为任意行；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值进行累加；
TDI相机中所有行的像素根据上述方式进行累加，获得TDI积分后的行像素灰度值。
2.根据权利要求1所述的TDI相机积分方法，其特征在于，所述TDI相机首先缓存行像素数据，根据α的值将不同行数据进行延迟对齐，包括：
第M行像素的第t次曝光后获得的像素数据，与第M+1行像素的第t+α+1次曝光后获得的像素数据一一对应；
然后根据β进行行内延迟矫正，包括：
第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；
将所述灰度值P作为第M行像素的第t次曝光后获得的像素数据，和第M+1行像素的第t+α+1次曝光后获得的像素数据对应；
将每一行对应好的像素数据累加，实现TDI积分。
3.根据权利要求1所述的TDI相机积分方法，其特征在于，所述TDI相机相邻像素行之间间隔0或1个像素。
4.一种彩色TDI相机积分方法，其特征在于，所述彩色TDI相机包括三行分别用于响应红色、绿色、蓝色光的R、G、B分行，其中R行、G行和B行之间间隔a个像素；
彩色TDI相机的扫描行频和被扫描物体运动速率之间的速率比为1：N；
TDI延迟量为D，D=α+β；有：
；
TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值对齐；
彩色TDI相机中R行、G行和B行的像素根据上述方式进行对齐，输出一行像素的R、G、B分量。
5.根据权利要求4所述的彩色TDI相机积分方法，其特征在于，所述彩色TDI相机，沿被拍摄物体的运动方向，依次设置R行、G行和B行；
则R行像素相对于G行像素的延迟量、G行像素相对于B行像素的延迟量为D。
6.根据权利要求4所述的彩色TDI相机积分方法，其特征在于，所述a=1，则；其中：。
7.一种TDI相机，其特征在于，所述TDI相机的TDI延迟量为D，D=α+β；TDI相机的扫描行频和被扫描物体运动速率之间的速率比为1：N；TDI相机相邻像素行之间间隔a个像素；有：
；
所述TDI相机的TDI积分过程为：
TDI相机在连续曝光过程中，沿被拍摄物体的运动方向，第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；其中M为任意行；
将所述灰度值P与第M+1行像素的第t+α+1次曝光后获得的灰度值进行累加；
TDI相机中所有行的像素根据上述方式进行累加，获得TDI积分后的行像素灰度值。
8.根据权利要求7所述的TDI相机，其特征在于，所述TDI相机首先缓存行像素数据，根据α的值将不同行数据进行延迟对齐，包括：
第M行像素的第t次曝光后获得的像素数据，与第M+1行像素的第t+α+1次曝光后获得的像素数据一一对应；
然后根据β进行行内延迟矫正，包括：
第M行像素的第t次曝光后获得的灰度值Pt，和第M行像素的第t+1次曝光后获得的灰度值Pt+1进行加权插值后，得到灰度值；
将所述灰度值P作为第M行像素的第t次曝光后获得的像素数据，和第M+1行像素的第t+α+1次曝光后获得的像素数据对应；
将每一行对应好的像素数据累加，实现TDI积分。
9.根据权利要求7所述的TDI相机，其特征在于，还包括：
实时获取TDI相机的扫描行频和被扫描物体运动速率，并计算二者之间的速率比1：N；
根据所述N和a的值实时计算所述TDI相机的TDI延迟量D；
根据延迟量D输出扫描到的图像数据。
10.一种计算机可读存储介质，所述计算机可读存储介质内保存有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至3任一所述的TDI相机积分方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123452.4A CN116866726B (zh) | 2023-09-01 | 2023-09-01 | Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123452.4A CN116866726B (zh) | 2023-09-01 | 2023-09-01 | Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116866726A CN116866726A (zh) | 2023-10-10 |
| CN116866726B true CN116866726B (zh) | 2023-11-07 |
Family
ID=88230787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311123452.4A Active CN116866726B (zh) | 2023-09-01 | 2023-09-01 | Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116866726B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248838A (zh) * | 2013-05-17 | 2013-08-14 | 中国科学院长春光学精密机械与物理研究所 | 基于数字域tdi算法的cmos相机图像调偏流方法 |
| CN103985129A (zh) * | 2014-05-26 | 2014-08-13 | 中国科学院长春光学精密机械与物理研究所 | Tdi成像的像移自配准方法 |
| WO2015168058A1 (en) * | 2014-04-28 | 2015-11-05 | Lynx System Developers, Inc. | Systems and methods for processing event timing images |
| CN113810621A (zh) * | 2021-09-18 | 2021-12-17 | 凌云光技术股份有限公司 | 一种应用于多线线阵相机的分时曝光和tdi并行处理装置及方法 |
| CN113824935A (zh) * | 2021-09-23 | 2021-12-21 | 合肥埃科光电科技有限公司 | 伪彩色线扫描相机的时间延迟积分方法、装置及设备 |
| WO2022263311A1 (de) * | 2021-06-18 | 2022-12-22 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Tdi-zeilensensor und verfahren zum betreiben eines tdi-zeilensensors |
| CN115714905A (zh) * | 2022-09-24 | 2023-02-24 | 上海精积微半导体技术有限公司 | 用于成像系统中图像采集的控制方法及晶圆缺陷检测设备 |
| CN116017120A (zh) * | 2022-12-27 | 2023-04-25 | 上海精积微半导体技术有限公司 | Tdi相机、超分辨率图像的获取方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109547714B (zh) * | 2012-10-12 | 2021-03-02 | 统雷有限公司 | 采用ccd成像仪的时间延迟与积分扫描 |
| US9313415B2 (en) * | 2013-02-19 | 2016-04-12 | Sensormatic Electronics, LLC | Method and system for adjusting exposure settings of video cameras |
| DE102014218243A1 (de) * | 2014-09-11 | 2016-03-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Tdi-hochgeschwindigkeits-zeilensensor |
| US9374540B1 (en) * | 2015-01-13 | 2016-06-21 | Exelis, Inc. | Multi-register bank enhanced digital time delay integration using CMOS ROIC |
| FR3047112B1 (fr) * | 2016-01-22 | 2018-01-19 | Teledyne E2V Semiconductors Sas | Capteur d'image multilineaire a transfert de charges a reglage de temps d'integration |
| CN112714311B (zh) * | 2020-12-30 | 2021-10-26 | 中国科学院长春光学精密机械与物理研究所 | Tdi相机的行频校准方法及校正系统 |
-
2023
- 2023-09-01 CN CN202311123452.4A patent/CN116866726B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248838A (zh) * | 2013-05-17 | 2013-08-14 | 中国科学院长春光学精密机械与物理研究所 | 基于数字域tdi算法的cmos相机图像调偏流方法 |
| WO2015168058A1 (en) * | 2014-04-28 | 2015-11-05 | Lynx System Developers, Inc. | Systems and methods for processing event timing images |
| CN103985129A (zh) * | 2014-05-26 | 2014-08-13 | 中国科学院长春光学精密机械与物理研究所 | Tdi成像的像移自配准方法 |
| WO2022263311A1 (de) * | 2021-06-18 | 2022-12-22 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Tdi-zeilensensor und verfahren zum betreiben eines tdi-zeilensensors |
| CN113810621A (zh) * | 2021-09-18 | 2021-12-17 | 凌云光技术股份有限公司 | 一种应用于多线线阵相机的分时曝光和tdi并行处理装置及方法 |
| CN113824935A (zh) * | 2021-09-23 | 2021-12-21 | 合肥埃科光电科技有限公司 | 伪彩色线扫描相机的时间延迟积分方法、装置及设备 |
| CN115714905A (zh) * | 2022-09-24 | 2023-02-24 | 上海精积微半导体技术有限公司 | 用于成像系统中图像采集的控制方法及晶圆缺陷检测设备 |
| CN116017120A (zh) * | 2022-12-27 | 2023-04-25 | 上海精积微半导体技术有限公司 | Tdi相机、超分辨率图像的获取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116866726A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11805218B2 (en) | Devices and methods for high dynamic range video | |
| US9800806B2 (en) | Image processing device that generates an image from pixels with different exposure times | |
| US9204056B2 (en) | Image pickup apparatus, image pickup apparatus control method, and program | |
| US20060103745A1 (en) | Image sensor and image sensor system | |
| US8830360B1 (en) | Method and apparatus for optimizing image quality based on scene content | |
| US7589748B2 (en) | Image sensor with scaler and image scaling method thereof | |
| US7916191B2 (en) | Image processing apparatus, method, program, and recording medium | |
| CN108600725A (zh) | 一种基于rgb-ir图像数据的白平衡校正装置及方法 | |
| EP3414890B1 (en) | Devices and methods for high dynamic range video | |
| CN102025917A (zh) | 图像处理设备、图像捕捉设备、图像处理方法和程序 | |
| WO2017159027A1 (ja) | 撮像制御装置、および撮像制御方法、ならびに撮像装置 | |
| CN104023173A (zh) | 固体摄像装置以及摄像机模块 | |
| US20070120987A1 (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
| US20080316333A1 (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
| US7652698B2 (en) | Shading correction circuit of electronic camera | |
| JP5199736B2 (ja) | 画像撮像装置 | |
| US8471936B2 (en) | Imaging device and signal processing method | |
| CN101867726A (zh) | 图像数据处理设备和图像拾取设备 | |
| CN116866726B (zh) | Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质 | |
| CN208353496U (zh) | 一种基于rgb-ir图像数据的白平衡校正装置 | |
| CN110930440B (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| CN110602420B (zh) | 相机、黑电平调整方法及装置 | |
| US20050200704A1 (en) | Imager and stripe noise removing method | |
| JP2006148230A (ja) | 欠陥検出補正装置、撮像装置および欠陥検出補正方法 | |
| JP7039720B2 (ja) | 撮像装置、映像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |