CN111145115B - 一种基于场景适应的非均匀校正方法及其硬件实现装置 - Google Patents
一种基于场景适应的非均匀校正方法及其硬件实现装置 Download PDFInfo
- Publication number
- CN111145115B CN111145115B CN201911324961.7A CN201911324961A CN111145115B CN 111145115 B CN111145115 B CN 111145115B CN 201911324961 A CN201911324961 A CN 201911324961A CN 111145115 B CN111145115 B CN 111145115B
- Authority
- CN
- China
- Prior art keywords
- correction
- correction coefficient
- offset
- initial
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 288
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000006978 adaptation Effects 0.000 title claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 238000009825 accumulation Methods 0.000 claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000001914 filtration Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 26
- 230000003139 buffering effect Effects 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000002945 steepest descent method Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 230000036760 body temperature Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 101100083446 Danio rerio plekhh1 gene Proteins 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供一种基于场景适应的非均匀校正方法及其硬件实现装置，方法包括：采集原始红外图像，得像元数据，并统计帧数；初始化原始红外图像的校正参数，得到初始增益校正系数和初始偏置校正系数；进入初始校正模式，并确定当前校正模式，根据帧数逐帧进行非均匀校正，并判断是否更新初始增益校正系数和初始偏置校正系数，当判断为不进行更新时，得校正后的像元数据，当判断为进行更新时，得更新的校正参数及校正后的像元数据，校正后的像元数据即校正后的红外图像；缓存校正后的红外图像及更新的校正参数后存储至外部数据存储模块；装置包括：输入缓存模块、非均匀校正模块、偏移量累积计算模块、参数更新模块、输出缓存模块和外部数据存储模块。
Description
技术领域
本发明属于信息技术领域，具体涉及一种基于场景适应的非均匀校正方法及其硬件实现装置。
背景技术
近年来，红外成像技术不断进步，尤其是反应灵敏、集成度高、耗能小的红外焦平面阵列的出现，使得红外成像技术在国家安防、环境监测、国民经济发展等各大领域发挥着不可替代的作用。其中红外焦平面阵列探测器具有灵敏度高、结构紧凑、作用距离远、抗干扰性好、穿透烟尘雾霾能力强、可全天候工作等优势，已经在国家安防、环境监测、国民经济发展等各大领域发挥着不可替代的作用。但是红外探测器还存在一些限制其性能和应用场景的因素，其中非均匀性是关键因素。
红外非均匀性表现为一种叠加在图像上的固定图案噪声。造成这种非均匀性的原因很多，首先是每个探测器单元的响应率不一致，其次是探测器读出电路自身及读出电路和探测器的耦合因素等。此外，红外探测器非均匀性的时间稳定性不佳，会随着工作时间的增加与外界环境的改变而缓慢飘移，严重影响图像的空间分辨率和温度灵敏度。所以，红外探测器必须采用相应的非均匀校正措施，来校正这种非均匀性造成的影响。
现有的非均匀校正方法有两大类：
一类是基于定标的方法：
定标法的使用前提是假设所有探测单元的输入与输出在某一温度范围内有线性关系。通过对已知的不同温度的黑体校准源测量探测器响应，推算出该温度范围内的线性系数，存储下来作为校正使用。实际中根据线性模拟的精度又可分为单点、两点或多点校准技术。这些技术存在的问题是不能有效抑制红外焦平面阵列中普遍存在的响应漂移。
公开号为CN103335724与公开号为CN105737990的两项专利均属于定标法类，相较于传统的两点定标法，分别做出了不同的改进，在不同工作条件下有不同的校正方式，但是仍然无法做到实时修改校正参数的功能。因此这两个算法的适用性仍然不足。当然另一种做法是是配套定标设备，但是存在的问题，一是定标过程会中断实时图像校正过程，二是定标设备不适合做在红外设备广泛应用的终端条件。
因此，尽管基于定标的方法是目前应用较广的技术，但需要对系统进行周期性的重复定标以消除参数漂移的影响，这就相应增加了系统的复杂性，降低了系统的可靠性和响应速度。
二类是基于场景的校正方法：
基于场景的校正算法指能够随着环境或场景变化而动态调整校正效果的一类算法，这类算法在后续场景变化时，不需借助参考辐射源，就可以有效地消除参数漂移的影响实现高精度、大动态氛围的自适应非均匀校正。现有的基于场景的校正算法包括两种：
一种是基于统计类的方法，通常对于焦平面每个像元接收到的辐射量作一些时间上或者空间上的统计假设，在此假设的基础上不断修正校正参数，校正焦平面的非均匀性。其中最具代表性的技术有时域高通法、统计恒定法、神经网络法、恒定范围法、统计维纳滤波法、卡尔曼滤波等。但存在着算法复杂、运算量大、硬件实现困难、难以应用到工程系统中的问题。公开号为CN106342194的专利提出了一种快速收敛的双向更新算法，但是其代价却是需要存下两套的校正参数，因此也不利于大面阵情况下的算法硬件化，会带来很大容量的存储需求；公开号为CN108665423的专利提出了一种基于引导滤波和高通滤波的校正算法，改善了传统时域高通滤波法的缺点，但是仍然存在对复杂背景不适用、无法处理运动较慢场景的问题。相比于之前的基于场景的方法，它更像是一种滤波算法。
另一类是基于配准的技术，这类技术通常认为，在较短时间间隔内，若观察场景中相同位置时，每个像元的响应也应该是相同的，因此这类技术需要准确的估计帧与帧之间的移动。其中比较有代表性的技术有全景图累积法、代数校正法等。但是这类算法由于要求限制较多、计算量与存储量较大、且校正误差易逐级累计传播等问题，所以难以实用。公开号为CN105741238、公开号为CN102538973、公开号为CN108665425的三项专利均属于该类算法的范围，这类算法大多存在算法计算复杂，存储量大等特点，而且不利于进行硬件并行化设计。
基于以上描述，随着大面阵红外探测器的发展，有必要提出一种适合硬件并行加速的场景适应的红外非均匀校正算法及装置。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于场景适应的非均匀校正方法及其硬件实现装置。
本发明提供了一种基于场景适应的非均匀校正方法，具有这样的特征，包括如下步骤：步骤S1，采用红外探测器采集原始红外图像，得到原始红外图像的像元数据Xn(i，j)，并统计原始红外图像的帧数num；步骤S2，采用黑体温度定标法初始化原始红外图像的校正参数，得到初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)；步骤S3，进入初始校正模式，而后确定当前校正模式，并根据帧数num将像元数据Xn(i，j)、初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)输出给非均匀校正模块，对红外图像逐帧进行非均匀校正，进而判断是否对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，当判断为不进行更新时，则得到校正后的像元数据Yn(i，j)，当判断为进行更新时，则得到更新后的Gn+1(i，j)和On+1(i，j)以及像元数据Yn(i，j)，得到像元数据Yn(i，j)即得到校正后的红外图像；步骤S4，将校正后的红外图像以及更新后的Gn+1(i，j)和On+1(i，j)输入至输出缓存模块进行缓存，而后输入至外部数据存储模块进行存储。
在本发明提供的基于场景适应的非均匀校正方法中，还可以具有这样的特征：其中，步骤S2中黑体温度定标法包括单点温度定标法、两点温度定标法以及多点温度定标法。
在本发明提供的基于场景适应的非均匀校正方法中，还可以具有这样的特征：其中，步骤S4中像元数据Yn(i，j)的计算公式为：
Yn(i，j)＝Xn(i，j)*G(i，j)+O(i，j) (1)
式(1)中，Xn(i，j)为原始红外图像的像元数据，G(i，j)为初始增益校正系数，O(i，j)为初始偏置校正系数，n为每行像素的个数。
在本发明提供的基于场景适应的非均匀校正方法中，还可以具有这样的特征：其中，步骤S3包括如下子步骤：步骤S3-1，当处在模式2时，判断原始红外图像的帧数num是否大于k2，当不大于k2时，则直接采用公式(1)对原始红外图像进行非均匀校正，得到校正后的像元数据Yn(i，j)，从而得到校正后的红外图像，当大于k2时，将帧数num清0，进入模式1，当处于模式1时，判断原始红外图像的帧数num是否大于k1，当大于k1时，则进入步骤S3-2，当不大于k1时，则跳转进入步骤S3-3；步骤S3-2，判断变化矢量ΔG(i，j)和变化矢量ΔO(i，j)是否大于阈值Th1，当大于阈值Th1，则表示k1帧图像的校正参数产生了漂移，需进行修正，并且统计整张图像内大于阈值Th1的像素点的个数n1，当n1大于阈值Th2，表明整张图像的漂移点较多，则需对后续的k1帧图像继续更新校正参数并统计参数更新的变化矢量ΔG(i，j)和变化矢量ΔO(i，j)，即将帧数num清0，重新进入模式1，运行步骤S3-1，否则对k2帧图像只进行非均匀校正，不对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，即将帧数num清0，进入模式2；步骤S3-3，对输入的第一帧图像采用公式(1)进行非均匀校正，得到校正后的第一帧图像的像元数据，即得到校正后的第一帧图像；步骤S3-4，采用滤波算法对原始红外图像进行滤波，得到每个像素点的预期值fn(i，j)；步骤S3-5，采用偏移量累积计算模块计算当前帧图像与前一帧图像的偏移量ΔX，并将其输入至输出缓存模块进行缓存；步骤S3-6，采用参数更新模块对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行参数更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)，并将两者输入至输出缓存模块进行缓存，而后累计每个像素点的参数更新的变化矢量ΔG(i，j)和变化矢量ΔO(i，j)，其中，步骤S4-6中的k2的计算公式为：
式(10)中，λ为比例系数，k1越大，参数更新越频繁，适用于环境变化较大的场景，k1越小，计算量消耗越小，适用于环境变化较小的场景，k2由公式2计算得到。
在本发明提供的基于场景适应的非均匀校正方法中，还可以具有这样的特征：其中，步骤S3-5中偏移量ΔX的计算采用作差法或积分投影配准法，且计算公式为：
式(3)中，
Sx为相邻帧按行计算的偏移量，Sy为相邻帧按列计算的偏移量，fn(m0)为上一帧图像的行累积值，fm(n0)为上一帧图像的列累积值，M为图像的行数，N为图像的列数，m和n均为求和的变量。
在本发明提供的基于场景适应的非均匀校正方法中，还可以具有这样的特征：其中，步骤3-6中采用最陡梯度下降法对参数进行更新，具体包括如下子步骤：步骤S3-6-1，对校正输出结果Yn(i，j)与预期值fn(i，j)进行求差，得到误差函数F，其计算公式如下：
F＝[en(i，j)]2＝[Yn(i，j)-fn(i，j)]2＝[Xn(i，j)*G(i，j)+O(i，j)-fn(i，j)]2 (4)；
步骤S3-6-2，判断校正误差en(i，j)是否大于给定阈值eth，当不大于给定阈值eth时，则无需对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，当大于给定阈值eth时，则对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)；步骤S3-6-3，累计每个像素点的增益校正系数和偏置校正系数更新的变化矢量ΔG(i，j)和ΔO(i，j)，计算公式为：
式(4)-式(6)中，uij为步长因子，
en(i，j)为校正误差，μmax为用于控制步长因子的值。
在本发明提供的基于场景适应的非均匀校正方法中，还可以具有这样的特征：其中，步骤S3-6-2中，通过对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)求偏导，而后采用最陡下降法进行计算，从而得到校正更新公式，
求偏导的公式为：
校正更新公式为：
Gn+1(i，j)＝Gn(i，j)-2uijXn(i，j)en(i，j) (9)
On+1(i，j)＝On(i，j)-2uien(i，j) (10)
式(7)-式(10)中，en(i，j)为校正误差，uij为步长因子。
本发明还提供了一种基于场景适应的非均匀校正硬件实现装置，具有这样的特征，用于运行上述基于场景适应的非均匀校正方法，包括：输入缓存模块，用于输入由红外探测器采集的原始红外图像的像元数据Xn(i，j)并将其缓存为三行行像素点，还用于输入初始化后得到的初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)并进行缓存；非均匀校正模块，用于对原始红外图像的像元数据Xn(i，j)进行非均匀校正，得到校正后的像元数据Yn(i，j)，从而得到校正后的红外图像；偏移量累积计算模块，用于计算当前帧图像和上一帧图像的偏移量ΔX；参数更新模块，用于对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)；输出缓存模块，用于对像元数据Yn(i，j)、更新后的增益校正系数Gn+1(i，j)、更新后的偏置校正系数On+1(i，j)以及偏移量ΔX进行缓存，并将校正后的红外图像、更新后的增益校正系数Gn+1(i，j)以及更新后的偏置校正系数On+1(i，j)输出；以及外部数据存储模块，用于存储更新后的增益校正系数Gn+1(i，j)、更新后的偏置校正系数On+1(i，j)以及校正后的红外图像。
发明的作用与效果
根据本发明所涉及的基于场景适应的非均匀校正方法，通过温度定标法得到初始校正参数，然后在后续的校正中逐渐更新校正参数，在传统神经网络校正算法中，采用排序中间均值滤波代替传统均值滤波，在计算复杂度增加不多的情况下增加了校正效果，减弱了边缘模糊化。此外，还增加了图片偏移量计算用于调节步长因子的变化，从而抑制了鬼影现象。最重要的是，考虑到传统算法无时无刻不在工作，本发明还提出一种判断机制，当连续k1帧图像内参数更新量可以忽略不计时，接下来的k2帧可以不进行参数更新操作，从而优化功耗、节省算力。
因此，本发明的基于场景适应的非均匀校正方法的场景适应性强，相较于传统的定标法，本实施例的方法有实时修正在不同环境下随时间漂移的校正系数的功能，可长时间应用在不同的场景下。
另外，本发明的方法校正速度快，相较于传统的场景适应方法，本实施例的方法又结合了两点标定法的简易性，首次二点定标可简单地得到较为准确的校正系数初值，而在后续的实际实用当中，红外传感器阵列的参数漂移是缓慢的，而参数修正又是随着图片流操作的，所以校正速度主要取决于初次校正。
进一步地，本发明的方法计算量较小，相较于传统的神经网络法，考虑到并不是任何时刻参数都会漂移，添加判断图片校正参数漂移情况来决定是否进行参数修正可节省大量计算。
最后，根据本发明所涉及的基于场景适应的非均匀校正硬件实现装置，由于考虑到外部数据接口采用高速时钟输入，因此内部的计算模块均采用对整行像素点处理的方式进行，大大的提高了并行度和运算速率；由于并行度的提高，所以能够在图片数据输入够快的前提下，使得理论速度会比串行处理提高n倍，n为一行像素的个数。此外，由于校正参数的更新需要用到本帧偏移量ΔX，而偏移量的计算又需要整张图片数据，所以若按照算法要求计算图片偏移量，则需要存下当前帧图片，保证偏移量计算完成之后还能对图像每一个像素同步进行非均匀校正和校正参数更新操作，这增大了数据的存储压力，而另一种方法是连续两次输入同一帧图片，第一次用来计算图片偏移量，第二次用来进行参数更新，这样减慢了图片校正速度和增大了数据传输压力，所以本实施例改为本帧图像使用上一帧的偏移量，同时计算该帧的累积量用于计算本帧的偏移量给下一帧使用，从而避免了上述问题。
附图说明
图1是本发明的实施例中基于场景适应的非均匀校正硬件实现装置的框架示意图；
图2是本发明的实施例中基于场景适应的非均匀校正方法的流程图；
图3是本发明的实施例中基于场景适应的非均匀校正方法中采用各滤波算法后的期望值比较示意图；
图4是本发明的实施例中基于场景适应的非均匀校正方法校正后的红外图像一和原始红外图像的对比示意图；
图5是本发明的实施例中基于场景适应的非均匀校正方法与传统神经网络算法校正结果比较示意图。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
实施例：
图5是本发明的实施例中基于场景适应的非均匀校正硬件实现装置的框架示意图。
如图5所示，本实施例中的基于场景适应的非均匀校正硬件实现装置，用于运行上述基于场景适应的非均匀校正方法，包括：输入缓存模块1、非均匀校正模块2、偏移量累积计算模块3、参数更新模块4、输出缓存模块5以及外部数据存储模块6。
输入缓存模块1用于输入由红外探测器采集的原始红外图像的像元数据Xn(i，j)并将其缓存为三行行像素点，还用于输入初始化后得到的初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)并进行缓存。
输入缓存模块1将高速时钟输入的像元数据Xn(i，j)缓存为三行行像素点，再将整行的像素输出给后级进行并行运算，根据慢时钟在内部缓存寄存器堆中每次更新一行数据。除去输入像元数据外，也需对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)做同样的操作来保证后级数据通路足够宽，可以应用上后级的高并行度。
输入缓存模块1的输出为外界的红外图像信号、初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)，输出给非均匀校正模块2、偏移量累积计算模块3、参数更新模块4、输出缓存模块5。
非均匀校正模块2，用于对原始红外图像的像元数据Xn(i，j)进行非均匀校正，得到校正后的像元数据Yn(i，j)，从而得到校正后的红外图像。
非均匀校正模块2可并行多个，进而可以一个周期就得到输出值8bit，同时保留一个高精度的Y值给参数更新模块4使用，校正后的结果行数据输出给输出缓存模块5。
非均匀校正模块2的输入由输入缓存模块给出1，输出给输出缓存模块5。
偏移量累积计算模块3用于计算当前帧图像和上一帧图像的偏移量ΔX，但是最后并不用在本帧图像的更新上，本模块的输入为输入缓存模块1输出的图像的行像素值以及上一帧图像的行累积值fn(m0)和列累积值fm(n0)。
偏移量累积计算模块3的输出方面，行累积值fn(m0)可以随着每行像素的导入直接计算求和得到，但是列累计值fm(n0)需要用多个多位寄存器来暂存，每进入一行像素就在对应列寄存器上累积上该像素值，最终结果等到整张图片都流过之后才能计算得到。
偏移量累积计算模块3模块的输入为输入缓存模块1，输出为输出缓存模块5。
参数更新模块4可并行多个，用于对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)。
参数更新模块4能够判断校正误差是否大于给定阈值eth，从而判断是否进行参数更新，参数更新使用的偏移量ΔX为上一帧图像的偏移量，最后累计参数更新矢量和参数更新像素个数，并将数据输出给输出缓存模块5。
参数更新模块4输入由输入缓存模块1和非均匀校正模块2给出，输出给输出缓存模块5。
输出缓存模块5用于对像元数据Yn(i，j)、更新后的增益校正系数Gn+1(i，j)、更新后的偏置校正系数On+1(i，j)以及偏移量ΔX进行缓存，并将校正后的红外图像、更新后的增益校正系数Gn+1(i，j)以及更新后的偏置校正系数On+1(i，j)输出。
输出缓存模块5与输入缓存模块1的工作模式相反，整行输入输出Y值，初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)等，在高速时钟的控制下，以每周期一个8bits像素的速度输出，同时将其他参数传入外部数据存储模块6更新。
外部数据存储模块6用于存储更新后的增益校正系数Gn+1(i，j)、更新后的偏置校正系数On+1(i，j)以及校正后的红外图像。
外部数据存储模块6还用来存储行累积值fn(m0)和列累积值fm(n0)，并随着图片流更新数据。
外部数据存储模块6的输入为输出缓存模块5，输出为输入缓存模块。
图2是本发明的实施例中基于场景适应的非均匀校正方法的流程图。
如图2所示，本实施例的一种基于场景适应的非均匀校正方法，包括如下步骤：
步骤S1，采用红外探测器采集原始红外图像，得到原始红外图像的像元数据Xn(i，j)，并统计原始红外图像的帧数num。
步骤S2，采用黑体温度定标法初始化原始红外图像的校正参数，得到初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)。
步骤S2中黑体温度定标法包括单点温度定标法、两点温度定标法以及多点温度定标法，当采用多点温度标定法则会得到多组初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)。
红外焦平面工作温度范围一般在-20℃到80℃之间，在同一实验环境下利用黑体作为均匀辐射的参考源，采集两个不同温度点下的红外图像作为模板图像进行保存。根据两个不同温度点的黑体图像对应的响应
计算出初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)。
初始增益校正系数G(i，j)的计算公式为：
初始偏置校正系数O(i，j)的计算公式为：
上述两个公式中，
和/>
为焦平面上各探测单元在/>
和/>
处的响应值，/>
和/>
为焦平面上各探测单元在/>
和/>
处的响应均值。
步骤S3，进入初始校正模式，而后确定当前校正模式，并将像元数据Xn(i，j)、初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)输出给非均匀校正模块，对红外图像逐帧进行非均匀校正，进而判断是否对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，当判断为不进行更新时，则得到校正后的像元数据Yn(i，j)，当判断为进行更新时，则得到更新后的Gn+1(i，j)和On+1(i，j)以及像元数据Yn(i，j)，得到像元数据Yn(i，j)即得到校正后的红外图像，具体见子步骤S3-1至S3-6。
步骤S3中像元数据Yn(i，j)的计算公式为：
Yn(i，j)＝Xn(i，j)*G(i，j)+O(i，j) (1)
式(1)中，Xn(i，j)为原始红外图像的像元数据，G(i，j)为初始增益校正系数，O(i，j)为初始偏置校正系数，n为每行像素的个数。
步骤S3-1，当处在模式2时，判断原始红外图像的帧数num是否大于k2，当不大于k2时，则直接采用公式(1)对原始红外图像进行非均匀校正，得到校正后的像元数据Yn(i，j)，从而得到校正后的红外图像，当大于k2时，将帧数num清0，进入模式1，当处于模式1时，判断原始红外图像的帧数num是否大于k1，当大于k1时，则进入步骤S3-2，当不大于k1时，则跳转进入步骤S3-3。
本实施例的初始模式为模式1。
步骤S3-2，判断变化矢量ΔG(i，j)和变化矢量ΔO(i，j)是否大于阈值Th1，当大于阈值Th1，则表示k1帧图像的校正参数产生了漂移，需进行修正，并且统计整张图像内大于阈值Th1的像素点的个数n1，当n1大于阈值Th2，表明整张图像的漂移点较多，则需对后续的k1帧图像继续更新校正参数并统计参数更新的变化矢量ΔG(i，j)和变化矢量ΔO(i，j)，即将帧数num清0，重新进入模式1，运行步骤S3-1；否则对k2帧图像只进行非均匀校正，不对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，即将帧数num清0，进入模式2。
本实施例中，变化矢量ΔG(i，j)和变化矢量ΔO(i，j)的初始值为均为0。
k2的计算公式为：
式(2)中，λ为比例系数，k1越大，参数更新越频繁，适用于环境变化较大的场景，k1越小，计算量消耗越小，适用于环境变化较小的场景，且k2由k1和n1决定，理论上说，k1越大，Th1越小，n1越小，k2可以取得越大。
步骤S3-3，对输入的第一帧图像采用公式(1)进行非均匀校正，得到校正后的第一帧图像的像元数据，即得到校正后的第一帧图像
步骤S3-4，采用滤波算法对原始红外图像进行滤波，得到每个像素点的预期值fn(i，j)。
滤波算法可以采用均值滤波、中值滤波以及双边滤波等，其中均值滤波会使得图像计算简单边缘模糊化，中值滤波对椒盐噪声有很好的过滤效果，双边滤波在处理效果在远胜于前者，但是计算复杂度很高，所以在具体使用时可结合图片性质和校正效果需求来决定使用哪种滤波算法。
本实施例中，采用中值滤波算法对图像进行滤波得到每个像素点的预期值fn(i，j)，即在整张图像上，采用3*3的窗口滑动滤波，滤波方式为对窗口中的9个数据点进行排序，去除最大的两个值和最小的两个值，中间的五个数求平均数得到该窗口中心像素点的预期值，具体公式如下：
式中，max1和max2为两个最大值，min1和min2为两个最小值。
图3是本发明的实施例中基于场景适应的非均匀校正方法中采用各滤波算法后的期望值比较示意图，图3(a)为原始红外图像，图3(b)为采用均值滤波后得到的图像，图3(c)为采用带阈值的均值滤波后得到的图像，图3(d)为采用双边滤波后得到的图像，图3(e)为采用本实施例的方法校正后的红外图像。
由图3可知，尽管本文算法在视觉邻域效果比不上双边滤波算法，但和传统方法比保留下来的边缘信息已经足够多了。而且双边滤波的效果是建立在复杂的运算和高精度的e指数运算基础上的，若综合考虑，硬件实现的优势并不存在。
步骤S3-5，采用偏移量累积计算模块3计算当前帧图像与前一帧图像的偏移量ΔX，并将其输入至输出缓存模块5进行缓存。
步骤S3-5中偏移量ΔX的计算采用作差法或积分投影配准法。
本实施例中，采用积分投影配准法计算偏移量ΔX，且计算公式为：
式(3)中，
Sx为相邻帧按行计算的偏移量，Sy为相邻帧按列计算的偏移量，fn(m0)为上一帧图像的行累积值，fm(n0)为上一帧图像的列累积值，M为图像的行数，N为图像的列数，m和n均为求和的变量。
步骤S3-6，采用参数更新模块4对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行参数更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)，并将两者输入至输出缓存模块5进行缓存，而后累计每个像素点的参数更新的变化矢量ΔG(i，j)和变化矢量ΔO(i，j)。
步骤3-6包括如下子步骤：
步骤S3-6-1，对校正输出结果Yn(i，j)与预期值fn(i，j)进行求差，得到误差函数F，其计算公式如下：
F＝[en(i，j)]2＝[Yn(i，j)-fn(i，j)]2＝[Xn(i，j)*G(i，j)+O(i，j)-fn(i，j)]2 (4)。
步骤S3-6-2，判断校正误差en(i，j)是否大于给定阈值eth，当不大于给定阈值eth时，则无需对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，当大于给定阈值eth时，则对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)进行更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)。
步骤S3-6-2中，通过对初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)求偏导，而后采用最陡下降法进行计算，从而得到校正更新公式，
求偏导的公式为：
校正更新公式为：
Gn+1(i，j)＝Gn(i，j)-2uijXn(i，j)en(i，j) (9)
On+1(i，j)＝On(i，j)-2uien(i，j) (10)
式(7)-式(10)中，en(i，j)为校正误差，uij为步长因子。
步骤S3-6-3，累计每个像素点的增益校正系数和偏置校正系数更新的变化矢量ΔG(i，j)和ΔO(i，j)，计算公式为：
式(4)-式(6)中，uij为步长因子，
en(i，j)为校正误差，μmax为用于控制步长因子的值，防止实际计算得到的步长因子uij过大。
步骤S4，将校正后的红外图像以及更新后的Gn+1(i，j)和On+1(i，j)输入至输出缓存模块5进行缓存，而后输入至外部数据存储模块6进行存储。
图4是本发明的实施例中基于场景适应的非均匀校正方法校正后的红外图像和原始红外图像的对比示意图，图4(a)为原始红外图像，图4(b)为第200帧图像的校正结果示意图。
由图4可知，采用本实施例的算法，在处理至第200帧时，非均匀性已经得到了较好的消除，图中的许多白点也去除了。
图5是本发明的实施例中基于场景适应的非均匀校正方法与传统神经网络算法校正结果比较示意图，图5(a)为前300帧图像的非均匀性变化示意图，图中横坐标为图像的帧数，纵坐标为图像非均匀性，图5(b)为前300帧图像的RMSE变化示意图，图中横坐标为图像帧数，纵坐标为图像的RMSE数值，图5(c)为前300帧图像的PSNR变化示意图，图中横坐标为图像帧数，纵坐标为图像PSNR数值。
由图5可知，经本实施例的算法处理后，图片的非均匀性明显减小，且随着帧数的提升，减小幅度越来越大。从RMSE数值和PSNR数值来比较，本实施例的算法显然优于传统的神经网络算法。
实施例的作用与效果
根据本实施例所涉及的基于场景适应的非均匀校正方法，通过温度定标法得到初始校正参数，然后在后续的校正中逐渐更新校正参数，在传统神经网络校正算法中，采用排序中间均值滤波代替传统均值滤波，在计算复杂度增加不多的情况下增加了校正效果，减弱了边缘模糊化。此外，还增加了图片偏移量计算用于调节步长因子的变化，从而抑制了鬼影现象。最重要的是，考虑到传统算法无时无刻不在工作，本实施例还提出一种判断机制，当连续k1帧图像内参数更新量可以忽略不计时，接下来的k2帧可以不进行参数更新操作，从而优化功耗、节省算力。
因此，本实施例的基于场景适应的非均匀校正方法的场景适应性强，相较于传统的定标法，本实施例的方法有实时修正在不同环境下随时间漂移的校正系数的功能，可长时间应用在不同的场景下。
另外，本实施例的方法校正速度快，相较于传统的场景适应方法，本实施例的方法又结合了两点标定法的简易性，首次二点定标可简单地得到较为准确的校正系数初值，而在后续的实际实用当中，红外传感器阵列的参数漂移是缓慢的，而参数修正又是随着图片流操作的，所以校正速度主要取决于初次校正。
进一步地，本实施例的方法计算量较小，相较于传统的神经网络法，考虑到并不是任何时刻参数都会漂移，添加判断图片校正参数漂移情况来决定是否进行参数修正可节省大量计算。
最后，根据本实施例所涉及的基于场景适应的非均匀校正硬件实现装置，由于考虑到外部数据接口采用高速时钟输入，因此内部的计算模块均采用对整行像素点处理的方式进行，大大的提高了并行度和运算速率；由于并行度的提高，所以能够在图片数据输入够快的前提下，使得理论速度会比串行处理提高n倍，n为一行像素的个数。此外，由于校正参数的更新需要用到本帧偏移量ΔX，而偏移量的计算又需要整张图片数据，所以若按照算法要求计算图片偏移量，则需要存下当前帧图片，保证偏移量计算完成之后还能对图像每一个像素同步进行非均匀校正和校正参数更新操作，这增大了数据的存储压力，而另一种方法是连续两次输入同一帧图片，第一次用来计算图片偏移量，第二次用来进行参数更新，这样减慢了图片校正速度和增大了数据传输压力，所以本实施例改为本帧图像使用上一帧的偏移量，同时计算该帧的累积量用于计算本帧的偏移量给下一帧使用，从而避免了上述问题。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。
Claims (4)
1.一种基于场景适应的非均匀校正方法，其特征在于，包括如下步骤：
步骤S1，采用红外探测器采集原始红外图像，得到所述原始红外图像的像元数据Xn(i，j)，并统计所述原始红外图像的帧数num；
步骤S2，采用黑体温度定标法初始化所述原始红外图像的校正参数，得到初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)；
步骤S3，进入初始校正模式，而后确定当前校正模式，并将所述像元数据Xn(i，j)、所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)输出给非均匀校正模块，对所述红外图像逐帧进行非均匀校正，进而判断是否对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)进行更新，当判断为不进行更新时，则得到校正后的像元数据Yn(i，j)，当判断为进行更新时，则得到更新后的Gn+1(i，j)和On+1(i，j)以及像元数据Yn(i，j)，得到所述像元数据Yn(i，j)即得到校正后的红外图像；
步骤S4，将校正后的所述红外图像以及更新后的Gn+1(i，j)和On+1(i，j)输入至输出缓存模块进行缓存，而后输入至外部数据存储模块进行存储，
其中，n为每行像素的个数，所述步骤S3包括如下子步骤：
步骤S3-1，当处在模式2时，判断所述原始红外图像的帧数num是否大于k2，当不大于k2时，则直接采用公式(1)对所述原始红外图像进行非均匀校正，得到校正后的所述像元数据Yn(i，j)，从而得到校正后的红外图像，当大于k2时，将帧数num清0，进入模式1，当处于模式1时，判断所述原始红外图像的帧数num是否大于k1，当大于k1时，则进入步骤S3-2，当不大于k1时，则跳转进入步骤S3-3；
步骤S3-2，判断变化矢量ΔG(i，j)和变化矢量ΔO(i，j)是否大于阈值Th1，当大于阈值Th1，则表示k1帧图像的校正参数产生了漂移，需进行修正，并且统计整张图像内大于阈值Th1的像素点的个数n1，当n1大于阈值Th2，表明整张图像的漂移点较多，则需对后续的k1帧图像继续更新校正参数并统计参数更新的变化矢量ΔG(i，j)和变化矢量ΔO(i，j)，即将帧数num清0，重新进入模式1，运行步骤S3-1，否则对k2帧图像只进行非均匀校正，不对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)进行更新，即将帧数num清0，进入模式2；
步骤S3-3，对输入的第一帧图像采用公式(1)进行非均匀校正，得到校正后的第一帧图像的像元数据，即得到校正后的第一帧图像；
步骤S3-4，采用滤波算法对所述原始红外图像进行滤波，得到每个像素点的预期值fn(i，j)；
步骤S3-5，采用偏移量累积计算模块计算当前帧图像与前一帧图像的偏移量ΔX，并将其输入至所述输出缓存模块进行缓存；
步骤S3-6，采用参数更新模块对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)进行参数更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)，并将两者输入至所述输出缓存模块进行缓存，而后累计每个所述像素点的参数更新的变化矢量ΔG(i，j)和变化矢量ΔO(i，j)，
其中，所述步骤S3-2中的k2的计算公式为：
式(2)中，λ为比例系数，k1越大，参数更新越频繁，适用于环境变化较大的场景，k1越小，计算量消耗越小，适用于环境变化较小的场景，k2由公式(2)计算得到，
所述步骤S3-5中所述偏移量ΔX的计算采用作差法或积分投影配准法，且计算公式为：
式(3)中，
Sx为相邻帧按行计算的偏移量，Sy为相邻帧按列计算的偏移量，fn(m0)为上一帧图像的行累积值，fm(n0)为上一帧图像的列累积值，M为图像的行数，N为图像的列数，m和n均为求和的变量，
所述步骤S3-6中采用最陡梯度下降法对参数进行更新，具体包括如下子步骤：
步骤S3-6-1，对所述校正输出结果Yn(i，j)与所述预期值fn(i，j)进行求差，得到误差函数F，其计算公式如下：
F＝[en(i，j)]2＝[Yn(i，j)-fn(i，j)]2＝[Xn(i，j)*G(i，j)+O(i，j)]-fn(i，j)]2 (4)；
步骤S3-6-2，判断校正误差en(i，j)是否大于给定阈值eth，当不大于给定阈值eth时，则无需对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)进行更新，当大于给定阈值eth时，则对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)进行更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)；
步骤S3-6-3，累计每个所述像素点的增益校正系数和偏置校正系数更新的所述变化矢量ΔG(i，j)和ΔO(i，j)，计算公式为：
式(4)-式(6)中，uij为步长因子，
en(i，j)为校正误差，μmax为用于控制步长因子的值，
所述步骤S3-6-2中，通过对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)求偏导，而后采用最陡下降法进行计算，从而得到校正更新公式，
求偏导的公式为：
所述校正更新公式为：
Gn+1(i，j)＝Gn(i，j)-2uijXn(i，j)en(i，j) (9)
On+1(i，j)＝On(i，j)-2uijen(i，j) (10)
式(7)-式(10)中，en(i，j)为校正误差，uij为步长因子。
2.根据权利要求1所述的基于场景适应的非均匀校正方法，其特征在于：
其中，所述步骤S2中所述黑体温度定标法包括单点温度定标法、两点温度定标法以及多点温度定标法。
3.根据权利要求1所述的基于场景适应的非均匀校正方法，其特征在于：
其中，所述步骤S3中所述像元数据Yn(i，j)的计算公式为：
Yn(i，j)＝Xn(i，j)*G(i，j)+O(i，j) (1)
式(1)中，Xn(i，j)为原始红外图像的像元数据，G(i，j)为初始增益校正系数，O(i，j)为初始偏置校正系数。
4.一种基于场景适应的非均匀校正硬件实现装置，用于运行如权利要求1-3之一所述的基于场景适应的非均匀校正方法，其特征在于，包括：
输入缓存模块，用于输入由红外探测器采集的原始红外图像的像元数据Xn(i，j)并将其缓存为三行行像素点，还用于输入初始化后得到的初始增益校正系数G(i，j)和初始偏置校正系数O(i，j)并进行缓存；
非均匀校正模块，用于对所述原始红外图像的所述像元数据Xn(i，j)进行非均匀校正，得到校正后的像元数据Yn(i，j)，从而得到校正后的红外图像；
偏移量累积计算模块，用于计算当前帧图像和上一帧图像的偏移量ΔX；
参数更新模块，用于对所述初始增益校正系数G(i，j)和所述初始偏置校正系数O(i，j)进行更新，得到更新后的增益校正系数Gn+1(i，j)和更新后的偏置校正系数On+1(i，j)；
输出缓存模块，用于对所述像元数据Yn(i，j)、更新后的所述增益校正系数Gn+1(i，j)、更新后的所述偏置校正系数On+1(i，j)以及所述偏移量ΔX进行缓存，并将校正后的红外图像、更新后的增益校正系数Gn+1(i，j)以及更新后的所述偏置校正系数On+1(i，j)输出；以及
外部数据存储模块，用于存储更新后的所述增益校正系数Gn+1(i，j)、更新后的所述偏置校正系数On+1(i，j)以及校正后的所述红外图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324961.7A CN111145115B (zh) | 2019-12-20 | 2019-12-20 | 一种基于场景适应的非均匀校正方法及其硬件实现装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324961.7A CN111145115B (zh) | 2019-12-20 | 2019-12-20 | 一种基于场景适应的非均匀校正方法及其硬件实现装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111145115A CN111145115A (zh) | 2020-05-12 |
| CN111145115B true CN111145115B (zh) | 2023-06-20 |
Family
ID=70519079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324961.7A Active CN111145115B (zh) | 2019-12-20 | 2019-12-20 | 一种基于场景适应的非均匀校正方法及其硬件实现装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145115B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111562012B (zh) * | 2020-05-22 | 2021-09-03 | 烟台艾睿光电科技有限公司 | 一种红外图像非均匀性校正方法及系统 |
| CN111556252B (zh) * | 2020-05-22 | 2021-12-21 | 烟台艾睿光电科技有限公司 | 一种快门校正的方法、装置及电子设备 |
| CN112435158B (zh) * | 2020-11-22 | 2022-11-01 | 中国航空工业集团公司洛阳电光设备研究所 | 一种可滤除低频空间噪声的红外图像非均匀校正方法 |
| CN116433519B (zh) * | 2023-04-10 | 2024-05-21 | 郑州轻工业大学 | 基于拉格朗日插值和多尺度引导滤波的红外图像增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017185443A1 (zh) * | 2016-04-26 | 2017-11-02 | 成都市晶林科技有限公司 | 一种红外焦平面探测器盲元校正方法 |
| CN108665425A (zh) * | 2018-03-28 | 2018-10-16 | 西安电子科技大学 | 基于帧间配准和自适应步长的红外图像非均匀性校正方法 |
| CN110458839A (zh) * | 2019-10-09 | 2019-11-15 | 江西太平洋电缆集团有限公司 | 一种有效的电线电缆监测系统 |
-
2019
- 2019-12-20 CN CN201911324961.7A patent/CN111145115B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017185443A1 (zh) * | 2016-04-26 | 2017-11-02 | 成都市晶林科技有限公司 | 一种红外焦平面探测器盲元校正方法 |
| CN108665425A (zh) * | 2018-03-28 | 2018-10-16 | 西安电子科技大学 | 基于帧间配准和自适应步长的红外图像非均匀性校正方法 |
| CN110458839A (zh) * | 2019-10-09 | 2019-11-15 | 江西太平洋电缆集团有限公司 | 一种有效的电线电缆监测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于帧间运动的神经网络非均匀性校正及其硬件实现;刘秀;徐超;金伟其;刘崇亮;;北京理工大学学报;第30卷(第11期);1331-1335 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111145115A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145115B (zh) | 一种基于场景适应的非均匀校正方法及其硬件实现装置 | |
| JP7442560B2 (ja) | 事象ベースの視覚センサのためのデータ速度制御 | |
| US8830360B1 (en) | Method and apparatus for optimizing image quality based on scene content | |
| US7701499B2 (en) | Method and apparatus for imaging of scenes having large intensity variance | |
| US8094717B2 (en) | Image generation apparatus and image generation method | |
| CN110692083A (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
| CN105721772B (zh) | 一种异步时域视觉信息成像方法 | |
| KR20130119706A (ko) | 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 | |
| TWI749364B (zh) | 移動偵測方法及移動偵測系統 | |
| US20110069204A1 (en) | Method and apparatus for image correction | |
| WO2021102893A1 (zh) | 视频防抖优化处理方法和装置、电子设备 | |
| CN109509213B (zh) | 一种应用于异步时域视觉传感器的Harris角点检测方法 | |
| CN115601403A (zh) | 一种基于自注意力机制的事件相机光流估计方法及装置 | |
| CN114885074B (zh) | 一种基于时空密度的事件相机去噪方法 | |
| US8542281B2 (en) | System and method for acquiring a still image from a moving image | |
| CN109791689A (zh) | 图像信号处理器偏置补偿噪声降低系统和方法 | |
| US11373277B2 (en) | Motion detection method and image processing device for motion detection | |
| US8743220B2 (en) | System and method for acquiring a still image from a moving image | |
| KR20150146424A (ko) | 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템 | |
| CN112629500A (zh) | 一种视频流星检测和航迹分析方法 | |
| JP4329677B2 (ja) | 動き検出装置 | |
| CN112581491B (zh) | 基于地址事件连通域的运动目标定位方法 | |
| US20230351552A1 (en) | Image Noise And Blurriness Reduction | |
| CN118160001A (zh) | 用于生成插值帧的图像处理装置和方法 | |
| Wang et al. | An improved non-uniformity correction algorithm for IRFPA based on neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |