CN112544064A - 一种图像处理方法、装置、成像设备及可移动载体 - Google Patents

Abstract

一种图像处理方法，包括：对灰度图进行图像校正及信噪比提升；对图像校正及信噪比提升后的灰度图进行对比度拉伸；其中，所述图像校正包括：对灰度图进行平场校正；以及对平场校正后的灰度图进行坏点校正；所述信噪比提升包括：对灰度图进行时域噪声的去除。

Description

一种图像处理方法、装置、成像设备及可移动载体

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、成像设备及可移动载体。

背景技术

在图像处理领域，由于图像传感器采集的图像通常会存在一些瑕疵，例如现有的红外图像处理装置，由于红外传感器本身制造过程的原因，出图存在坏点明显、噪声不能去除干净等问题，且红外传感器直出的灰度图像的对比度及细节呈现也并不理想，因此，需要改进图像处理过程才能展现出场景物体的细节，得到高画质的图像输出。

公开内容

本公开提供了一种图像处理方法，包括对灰度图进行图像校正及信噪比提升；对图像校正及信噪比提升后的灰度图进行对比度拉伸；其中，所述图像校正包括：对灰度图进行平场校正；以及对平场校正后的灰度图进行坏点校正；所述信噪比提升包括：对灰度图进行时域噪声的去除。

本公开还提供了一种图像处理装置，包括：校正单元，用于灰度图进行图像校正；降噪单元，用于对灰度图进行信噪比提升；以及拉伸单元，用于对所述图像校正及信噪比提升后的灰度图进行对比度拉伸；其中，所述校正单元包括：平场校正单元，用于对灰度图进行平场校正；坏点校正单元，用于对平场校正后的灰度图进行坏点校正；所述降噪单元包括：时域降噪单元，用于对灰度图进行时域噪声的去除。

本公开还提供了一种成像设备，所述成像设备包括图像传感器以及图像处理装置，所述图像传感器连接至所述图像处理装置，所述图像处理装置包括：校正单元，用于灰度图进行图像校正；降噪单元，用于对灰度图进行信噪比提升；以及拉伸单元，用于对所述图像校正及信噪比提升后的灰度图进行对比度拉伸；其中，所述校正单元包括：平场校正单元，用于对灰度图进行平场校正；坏点校正单元，用于对平场校正后的灰度图进行坏点校正；所述降噪单元包括：时域降噪单元，用于对灰度图进行时域噪声的去除。

本公开还提供了一种可移动载体，包括：机身和成像设备，所述成像设备安装于所述机身，所述成像设备包括图像传感器以及图像处理装置，所述图像传感器连接至所述图像处理装置，所述图像处理装置包括：校正单元，用于灰度图进行图像校正；降噪单元，用于对灰度图进行信噪比提升；以及拉伸单元，用于对所述图像校正及信噪比提升后的灰度图进行对比度拉伸；其中，所述校正单元包括：平场校正单元，用于对灰度图进行平场校正；坏点校正单元，用于对平场校正后的灰度图进行坏点校正；所述降噪单元包括：时域降噪单元，用于对灰度图进行时域噪声的去除。

本公开图像处理方法及装置，解决了图像传感器输出的灰度图存在的坏点、明显固定模式噪声和随机噪声、对比度低、信噪比低、图像细节少等问题，从而得到了瑕疵更少、对比度更高、细节更多、画质更好的图像。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为本公开实施例图像处理方法的流程图；

图2a为本公开实施例图像校正方法的流程图；

图2b为本公开实施例信噪比提升方法的流程图；

图2c为本公开实施例对比度及细节增强的流程图；

图3为本公开图像处理方法一具体实施方式的流程图；

图4a本公开一实施例图像处理装置的示意图；

图4b为本公开另一实施例图像处理装置的示意图；

图5为本公开实施例成像设备的结构示意图；

图6为本公开实施例可移动载体的结构示意图。

具体实施方式

本公开提供了一种图像处理方法、装置、成像设备及可移动载体。本公开的图像处理方法、装置、成像设备及可移动载体能够克服现有的图像处理装置的出图存在坏点明显、固定模式噪声、随机横条纹、对比度低、细节不突出等问题，提供高画质的图像输出。

下面将结合实施例和实施例中的附图，对本公开技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

在本公开第一个示意性实施例中，提供了一种图像处理方法。本实施例所述图像处理方法的处理对象以红外传感器输出的灰度图为例，其中，红外传感器可以被配置为基于红外辐射(例如，具有700nm和1mm之间的波长)来检测和形成图像。

本实施例中，图像处理方法可以先进行红外传感器的动态范围校正。红外传感器的动态范围可以理解为红外图像中最明亮处与最黑暗处的亮度之比。在进行图像处理时可以先将接收到的红外传感器的直出数据进行存储，进行红外传感器的动态范围检查，并针对动态范围检查结果进行红外传感器的动态范围校正，再对动态范围校正后的灰度图进行图像处理。

以下对本实施例图像处理方法进行详细说明。

图1为本公开实施例图像处理方法的流程图。如图1所示，所述图像处理方法包括：

步骤S1，对灰度图进行图像校正及信噪比提升。

步骤S2，对图像校正及信噪比提升后的灰度图进行对比度拉伸。

其中，所述步骤S1的图像校正和信噪比提升都在步骤S2对灰度图进行对比度拉伸之前执行，由此，使得对比度拉伸过程能够更准确地处理有效的图像信息，降低图像中的噪声干扰，因而输出的图像画面更加干净。其中，所述步骤S1中对灰度图进行图像校正步骤以及信噪比提升步骤的顺序可以调换。

作为一个实施方式，对于红外传感器输出的灰度图，可以先进行图像校正，例如对图像传感器的感光单元的响应曲线的一致性进行校正或对图像传感器的坏点进行校正，在校正后的灰度图的基础上，再进行信噪比提升，例如去除灰度图中的时域噪声。通过上述先图像校正后降噪的图像处理方式，可以使得后续图像处理过程得到更加准确的图像信息。

作为另一种实施方式，对于红外传感器输出的灰度图，还可以先进行信噪比提升，例如去除灰度图中的时域噪声，并在信噪比提升后的灰度图的基础上，再进行图像校正，例如对图像传感器的感光单元的响应曲线的一致性进行校正或对图像传感器的坏点进行校正。通过上述先降噪后图像校正的图像处理方式，可以使图像保留更多的边缘特性，保持图像细节。

图2a为本公开实施例图像校正方法的流程图。如图2a所示，所述步骤S1中，对灰度图进行图像校正包括：

步骤S101，对所述灰度图进行平场校正。

由于图像传感器的感光单元的响应不是严格一致，通过平场校正对图像传感器的响应曲线的一致性进行校正，能够改变图像传感器每个感光单元的响应曲线的斜率及偏移，从而用以排除响应曲线不一致的干扰。

本实施例中，在对所述灰度图进行平场校正时，利用位于镜头和红外传感器之间的快门捕获用于平场校正的场景图像，对红外传感器进行校正。具体地，通过将快门闭合时采集的图像帧作为参考灰度图，将该参考灰度图存入存储器(例如DDR存储器)，进行多帧平均后向后输出，得到用于逐像素偏置校正的平场帧，利用该平场帧进行红外传感器的平场校正。

需要说明的是，在其他实施例中，还可以不使用快门完成平场校正。例如，可通过对红外传感器捕获的多个图像帧进行累加来获得模糊的图像帧，或可通过有意地使红外传感器的光学元件或者其他部件散焦来获得模糊的图像帧，通过处理模糊的图像帧，以确定要应用于捕获的图像帧的合适的校正项。或者，在适当的触发事件和/或条件被检测到可以表明充当快门(例如，虚拟快门)的物体或场景存在时，可以启动虚拟快门校正程序，以产生校正项来进行平场校正等等。可以理解的是，所述不使用快门完成平场校正并并不以上述方法为限。

步骤S102，对平场校正后的灰度图进行坏点校正。

由于制造工艺、运输环节、使用寿命等因素的影响，图像传感器均存在一定数量的坏的像素，该些像素的亮度值不能反映所拍摄的图像，通常称之为坏点。在图像处理的初期，尤其是平场校正后进行坏点矫正，能够有效防止坏点扩散。

坏点按出现概率分成两种，即静态坏点和动态坏点。针对上述两种类型的坏点，所述步骤S102中，对平场校正后的灰度图进行坏点校正包括：

S1021，对所述图像传感器的静态坏点对应的像素进行校正。

静态坏点校正又包括静态亮点校正和静态暗点校正。其中，静态亮点与静态暗点都是提前标定好的，在提前进行静态坏点标定时，可以将相机镜头遮黑，拍摄特定曝光参数的包括图像传感器全部有效像素的直出照片，然后通过软件分析所有像素，找出其中亮度比周围同类像素的平均值高出一定阈值的像素的坐标，将该些像素标记为静态亮点，以及亮度比周围同类像素的平均值低出一定阈值的像素的坐标，将这些像素标记为静态暗点，并将静态亮点与静态暗点的坐标存下来。

在红外传感器正常拍照和录像时，可以根据标定好的静态坏点坐标进行校正。具体地，在图像处理过程中，被标记为静态坏点的像素的值不会被采用，而是用其周围同类像素的值经过一定计算而得出的值来代替被标记为亮点的像素的值。

S1022，检测所述图像传感器的动态坏点，并对所述动态坏点对应的像素进行校正。

动态坏点校正是在正常拍照或录像时根据在线检测出来的坏点进行的。进行动态坏点校正时，针对灰度图的一帧，分析比较每个像素同周围同类像素的差值，如果周围像素值较一致，而该像素值差别较大，则把该像素标记为坏点，对于此照片或视频帧，该像素的值不会被采用，而是用其周围同类像素的值经过一定计算而得出的值代替被标记为坏点的像素的值。由于动态坏点校正是在对正常拍摄的灰度图进行计算，查找坏点位置的条件不是理想条件，所以动态坏点校正很可能漏抓坏点或误抓一些噪声点，该像素的位置也不会被存下来。动态坏点校正能同时探测亮点和暗点。

在一些实施例中，所述步骤S1中的图像校正过程中，所述步骤101之后，所述步骤102之前，还包括：

S101’，对平场校正后的灰度图进行非线性校正。

红外传感器的直出图像中通常会带有随机条纹，随机条纹的出现是由于红外传感器焦平面的非均匀性产生的，由于红外传感器生产工艺的限制，生成过程中无法避免其非均匀性的产生，因此，在工程应用过程中可以通过非线性校正提升红外图像输出质量。其中，所述非线性校正一般包括基于标定的非线性校正以及基于场景的非线性校正。

具体地，基于标定的非线性校正可以根据提前标定好的红外传感器逐像素的响应率差异，进一步进行像素级响应率校正，同时，校正灰度图像素级的偏置，最终向后一级输出整个图像的响应率和偏置保持一致的灰度图。其中，像素级的响应率是指单位辐射功率产生的输出信号电压。基于标定的非线性校正的典型算法一般采用两点校正和单点校正。基于场景的非线性校正不需要进行提前标定获取参考源，其典型算法一般包括高通滤波、恒定统计法、代数校正法、卡尔曼滤波法及神经网络算法等。

通过对红外图像进行非线性校正，可以有效去除图像中的不规则条纹，得到更加清晰的输出图像，提升红外传感器的成像质量。

所述步骤S1中，除了对灰度图进行图像校正的步骤，还包括对灰度图进行信噪比提升的步骤。图2b为本公开实施例信噪比提升方法的流程图。如图2b所示，对灰度图进行信噪比提升包括：

S103，根据红外传感器的时域噪声特性，进行时域噪声的去除，包括时域随机单点噪声、时域随机行噪声或时域随机列噪声中的至少一种。具体地，可以采用存储器缓存去噪前后的图像帧，利用两帧之间的相似性和差异性进行滤波，提升信噪比。

一般的，时域降噪采用多图像平均法，由于红外传感器引入的随机噪声在时间上表现为零均值的加性噪声，所以采用多图象平均法能有效去除噪声。时域降噪过程中，通过对多帧图像进行分析和运算，能够防止图像中的运动残留。

在一些实施例中，所述对灰度图进行降噪还包括：

S104，去除灰度图中的固定模式噪声。

红外传感器通常具有的灵敏度的偏差、电路的增益及偏移等装置固有的偏差，因此红外直出图像一般会存在固定模式噪声干扰。其中，所述固定模式噪声包括列固定模式噪声和行固定模式噪声。示例性的，行固定模式噪声可以表现为周期性横条纹，其是由于模拟累加器电路中存在寄生电阻和电容，电路失配会导致输出图像在扫描方向亮度不均匀，且呈周期性衰减导致；而列固定模式噪声表现为明暗变化的竖条纹，其产生原因是传感器列并行读出电路的系统结构由于工艺偏差容易出现列与列之间的失配，从而导致输出图像在与TDI扫描方向垂直的方向)亮度不均匀。

作为一种实施方式，所述步骤S104去除灰度图中的固定模式噪声可以在步骤S103进行时域降噪之后进行，从而图像经过时域降噪后去除了运动残留，有利于后续准确找出图像的固定模式噪声进行去除。作为另一种实施方式，所述步骤S104去除灰度图中的固定模式噪声还可以在步骤S103进行时域降噪之前进行。

S105，去除灰度图中的空域随机噪声。

在进行时域降噪之后，由于图像中局部区域运动情况不尽相同，经过时域降噪后各区域噪声消减的程度也不尽相同，而运动区域通常比静止区域有更大的噪声残余，因此可以进一步使用空域降噪来提升图像的质量。与时域降噪过程利用多帧图像在时间上的相关性进行降噪不同的是，空域降噪是针对单帧图像进行采样，利用图像内的空间相关性进行降噪，即利用当前像素和邻域之间的相似性和差异性，进行滤波提升信噪比。

空域降噪可采用低通滤波。低通滤波法是一种在频域上对图像信号进行处理的方法。在分析图像信号的频率特性时，一幅图像的高频率分量部分包括图像的随机噪声、图像的边缘和跃阶部分，而背景区域属于图像的低频率分量部分，通过低通滤波法滤除图像信号的高频部分可以达到去除随机噪声的目的，但是，由于图像的边缘部分和跃阶部分也处于高频区域，在低通滤波后该部分信号也被滤掉了，从而导致图像边缘和跳跃部分出现模糊。

可以理解的是，由于空域降噪的降噪过程会损失更多的细节，因此，如果需要获取红外传感器的测温数据，需要采用进行空域降噪之前的数据，例如去除灰度图中的固定模式噪声后的数据(特别是用于绝对温度测量的测温数据)。

为缓解空域降噪采用低通滤波产生的模糊，通常使用带边界保留的滤波器，该滤波器主要思想是根据噪声方差设定一个域值，仅使用落在阈值内的邻域点做低通滤波，当边界跳跃幅度大于该阈值时，不会出现模糊，而对跳跃幅度小于该域值的边界同样会造成模糊。使用边界保留滤波进行降噪需要准确的估计噪声的方差才能达到较好的降噪效果，但是，无论是采用低通滤波降噪法还是采用带边界保留的降噪法，空域降噪都不可避免的会对图像造成一定的模糊，噪声越大，被噪声淹没的纹理也越多，降噪后图像的模糊也越严重，仅依赖空域相关性难以得到满意效果，因此，空域降噪需要与时域降噪进行配合，利用时域的相关性使用多帧的信息相互补偿，从而达到更优的降噪效果。

图2c为本公开实施例对比度及细节增强的流程图。如图2c所示，所述步骤S1对图像校正及信噪比提升降噪后，还包括：

S1’，对图像校正及信噪比提升降噪后灰度图进行空域的频率分离；

S2’，对拉伸后的灰度图进行空域的频率合成，并利用所述频率分离后的灰度图对拉伸后的灰度图中的中高频分量进行增强。

所述步骤S1’在所述步骤S1对图像进行校正及信噪比提升之后执行，通过进行空域的频率分离，将表示图像的边缘和跃阶部分的中高频率分量与表示图像背景区域的低频率分量进行分离，为后级对比度拉伸和细节增强做准备，降低噪声，提升细节；在执行所述步骤S1’之后执行步骤S2，对图像进行对比度拉伸，对图像进行对比度拉伸后，执行所述步骤S2’，对拉伸后的灰度图进行空域的频率合成；同时，可以采用所述步骤S1’获取的空域频率分离后的灰度图对拉伸后的灰度图中的中高频分量进行增强，通过补偿频率分离后的灰度图来提升细节，从而输出对比度和细节都增强后的红外灰度图。

由于在对比度拉伸之前进行了空域的频率分离，将图像中的高频部分与低频部分进行了区分，仅对图像的低频部分进行对比度拉伸，从而避免了图像中高频部分包含的随机噪声同时被拉伸，造成图像的模糊；进一步的，通过频率合成将图像的高频部分与对比度拉伸后的图像进行叠加，从而能够采用图像中高频部分包含的边缘和跃阶部分细节，对对比度拉伸过程中产生的细节损失进行补偿。由此，保证在图像对比度增强的同时，实现了图像细节的增强。

所述步骤S2中，对图像校正及信噪比提升后的灰度图进行对比度拉伸包括：

S201，执行第一级对比度拉伸，包括对频率分离后的灰度图中的每个像素的灰度值进行第一灰度直方图统计，并根据统计结果对像素做第一灰度变换得到对比度拉伸后的像素灰度值；

S202，执行第二级对比度拉伸，包括对第一灰度变换后的灰度图中的每个像素的灰度值进行第二灰度直方图统计，并根据统计结果对像素做第二灰度变换得到对比度拉伸后的像素灰度值，其中，所述第二灰度变换不同于所述第一灰度变换。

具体地，所述第一灰度变换为线性灰度变换或非线性灰度变换；所述第二灰度变换也可以为线性灰度变换或非线性灰度变换。示例性地，所述第一灰度变换或第二灰度变换均为分段线性变换，在进行第一灰度变换时，对图像的第一有用数据的对比度进行增强；在进行第二灰度变换时，对图像的第二有用数据的对比度进行增强。通过上述方法，使得图像的灰度值可以更好地在直方图上分布，达到图像增强效果。

可以理解的是，上述对比度拉伸以两级对比度拉伸为例，在其他实施例中，还可以根据需要进行对比度增强的灰度图的具体情况，执行两级以上的对比度拉伸步骤，实现多级对比度拉伸。

优选地，所述步骤S2中，所述对图像校正及信噪比提升后的灰度图进行对比度拉伸还包括：

S200，在所述第一灰度直方图统计之前，对频率分离后的灰度图的灰度值进行线性变换，进行初步的线性拉伸，为后续第一级对比度拉伸及第二级对比度拉伸做准备。示例性的，可以通过线性拉伸将原本所有像素灰度值仅处于某一部分灰度区域的图像进行灰度变换，拉伸至0-255的整个灰度空间，从而图像的对比度能够得到大幅度增强。

可以理解的是，上述初步线性拉伸、第一级对比度拉伸及第二级对比度拉伸分别负责不同程度的拉伸，示例性的，线性拉伸最先执行，用于实现全局对比度拉伸，第一级对比度拉伸及第二级对比度拉伸用于实现灵活的两级拉伸，得到较好的对比度。根据不同的图像处理需要，三个拉伸过程可以合并，也可以使用其中一个、两个或多个。

在一些实施例中，所述图像处理方法还可以包括：

S3，针对频率合成后实现了图像增强的灰度图，进行场景分析。例如进行场景分析获得室内、室外、黑体、树林、海边等场景分析结果，并将场景分析结果反馈到前面的图像校正、降噪和/或拉伸过程，对图像校正、降噪和/或拉伸过程的参数进行调整，使得整个系统通过场景分析的反馈构成一个反馈系统，能自适应地针对不同场景进行合适的校正、去噪、对比度增强和细节增强。示例性的，所述场景分析过程得到的场景分析结果为树林，则获取树林对应的场景特性，根据该场景特性反馈至降噪及对比度和细节增强过程，调整上述过程的降噪或图像增强参数，从而进一步提高输出图像的质量。其中，树林对应的场景特性可以预存储在程序中，或保存在云端服务器。

其中，场景分析在图像频率合成之后进行，由于频率合成后的图像经过了对比度增强和细节增强，因此，其图像所对应的数据量小的同时，所包含的信息更加丰富，将其包含的信息进行反馈后，能够更好地实现对于降噪、对比度增强和细节增强过程中所用参数的调整。

此外，所述图像处理方法还可以包括：

S4，对频率合成后实现了图像增强的灰度图，进行伪彩映射。将灰度图映射为YUV色彩图，一方面凸显温度分布信息，一方面凸显物体的细节；其中，伪彩映射也在图像频率合成之后进行，也是由于频率合成后的图像经过了对比度增强和细节增强，从而所包含的信息更加丰富，因此经过伪彩映射的图也含有最丰富的细节和更好的对比度，有利于实现高画质的图像输出。

需要说明的是，当同时进行场景分析时，所述场景分析反馈单元的输入数据应当采用伪彩映射之前的数据，避免场景分析处理的信息量过大。

具体地，所述YUV色彩图为YUV444类型的色彩图时，还可以将YUV444的色彩图转码为YUV422或420的色彩图，向后输出，便于后续的编码，节约存储空间。

图3为本公开实施例图像处理方法的一实施方式的流程图。通过本实施例的图像处理方法，解决了红外传感器输出的灰度图存在的坏点、明显固定模式噪声和随机噪声、对比度低、信噪比低、图像细节少等问题，从而得到了瑕疵更少、对比度更高、细节更多、画质更好的红外图像。

在本公开第二个示意性实施例中，提供了一种图像处理装置。本实施例所述图像处理装置的处理对象以红外传感器输出的灰度图为例。

所述图像处理装置可以包括信号接收及控制单元。信号接收及控制单元用于接收红外传感器的直出数据，并对红外传感器进行控制，以及将红外直出图像帧存入存储器中，例如DDR存储器。在进行图像处理之前，信号接收及控制单元可以先进行红外传感器的动态范围校正，改善红外传感器动态范围不足的问题，再对动态范围校正后的灰度图进行图像处理。

以下对本实施例图像处理装置进行详细说明。

图4a-图4b为本公开实施例图像处理装置的示意图。如图4a-图4b所示，所述图像处理装置包括图像校正单元、降噪单元及拉伸单元。其中，图像校正单元用于对灰度图进行图像校正；降噪单元用于对灰度图进行信噪比提升；拉伸单元用于对图像校正及信噪比提升后的灰度图进行对比度拉伸。

图4a-图4b所示为图像处理装置两种不同的实现方式。其中，所述图像校正单元与降噪单元的顺序可以的调换，即对灰度图进行图像校正以及信噪比提升的顺序可以调换。所述图像校正单元的图像校正和降噪单元的信噪比提升都在拉伸单元对灰度图进行对比度拉伸之前执行，由此，使得对比度拉伸过程能够更准确地处理有效的图像信息，降低图像中的噪声干扰，因而输出的图像画面更加干净。

如图4a所示，作为一种实施方式，对于红外传感器输出的灰度图，可以先采用图像校正单元进行图像校正，例如对图像传感器的感光单元的响应曲线的一致性进行校正或对图像传感器的坏点进行校正，在校正后的灰度图的基础上，再采用降噪单元进行信噪比提升，例如去除灰度图中的时域噪声。通过上述先图像校正后降噪的图像处理方式，可以使得后续图像处理过程得到更加准确的图像信息。

如图4b所示，作为另一种实施方式，对于红外传感器输出的灰度图，还可以先采用降噪单元进行信噪比提升，例如去除灰度图中的时域噪声，并在降噪后的灰度图的基础上，再采用图像校正单元进行图像校正，例如对图像传感器的感光单元的响应曲线的一致性进行校正或对图像传感器的坏点进行校正。通过上述先降噪后图像校正的图像处理方式，可以使图像保留更多的边缘特性，保持图像细节。

具体而言，所述图像校正单元进一步包括平场校正单元及坏点校正单元。

其中，平场校正单元用于对灰度图进行平场校正。平场校正单元对图像传感器的响应曲线的一致性进行校正，其能够改变每个感光单元的响应曲线的斜率及偏移，从而用以排除响应曲线不一致的干扰。

本实施例中，平场校正单元在对所述灰度图进行平场校正时，利用快门位于红外传感器的前面时捕获基本上均匀的场景图像，对红外传感器进行校正。具体地，通过将快门闭合时采集的图像帧作为参考灰度图，以该参考灰度图作为基本上均匀的场景图像，将该图像帧存入DDR，进行多帧平均后向后输出，得到用于逐像素偏置校正的平场帧，利用该平场帧进行红外传感器的平场校正。需要说明的是，在其他实施例中，平场校正单元还可以不使用快门完成平场校正。

坏点校正单元用于对平场校正后的灰度图进行坏点校正。坏点校正单元用于检测出图像传感器中像素的亮度值不能反映所拍摄的图像的坏点，并做相应的处理。

坏点按出现概率分成两种，即静态坏点和动态坏点：静态坏点是在一定条件下(如曝光时间足够长、图像传感器达到一定温度)必定会出现的坏点；动态坏点是即使达到一定条件也是概率性出现的坏点(即该坏点在这次拍照出现，下次拍照可能正常)。

针对上述两种类型的坏点，所述坏点校正单元还包括静态坏点校正子单元与动态坏点校正子单元。

其中，静态坏点校正子单元用于对所述图像传感器的静态坏点对应的像素进行校正。静态坏点校正是在理想的测试条件下来分析坏点位置，坏点的坐标位置是固定的。其中，静态亮点与静态暗点都是提前标定好的，例如，在非线性校正单元进行响应率校正时，完成静态坏点的标记。在红外传感器正常拍照和录像时，可以根据标定好的静态坏点坐标进行校正。具体地，在图像处理过程中，被标记为静态坏点的像素的值不会被采用，而是用其周围同类像素的值经过一定计算而得出的值来代替被标记为亮点的像素的值。

动态坏点校正子单元用于检测所述图像传感器的动态坏点，并对所述动态坏点对应的像素进行校正。动态坏点校正是在正常拍照或录像时根据在线检测出来的坏点进行的。进行动态坏点校正时，针对灰度图的一帧，分析比较每个像素同周围同类像素的差值，如果周围像素值较一致，而该像素值差别较大，则把该像素标记为坏点，对于此照片或视频帧，该像素的值不会被采用，而是用其周围同类像素的值经过一定计算而得出的值代替被标记为坏点的像素的值。由于动态坏点校正是在对正常拍摄的灰度图进行计算，查找坏点位置的条件不是理想条件，所以动态坏点校正很可能漏抓坏点或误抓一些噪声点，该像素的位置也不会被存下来。动态坏点校正能同时探测亮点和暗点。

在一些实施例中，图像校正单元还包括非线性校正单元，用于对平场校正后的灰度图进行非线性校正。通过对红外图像进行非线性校正，可以有效去除图像中的不规则条纹，得到更加清晰的输出图像，提升红外传感器的成像质量。

降噪单元用于对灰度图进行信噪比提升，包括时域降噪单元。时域降噪单元用于根据红外传感器的时域噪声特性，进行时域噪声的去除，包括时域随机单点噪声、时域随机行噪声或时域随机列噪声。具体地，可以采用DDR存储器缓存去噪前后的图像帧，利用两帧之间的相似性和差异性进行滤波，提升信噪比。

一般的，时域降噪单元采用多图像平均法，由于红外传感器引入的随机噪声在时间上表现为零均值的加性噪声，所以采用多图象平均法能有效去除噪声。时域降噪过程中，通过对多帧图像进行分析和运算，能够防止图像中的运动残留。

在一些实施例中，所述降噪单元还包括固定模式噪声去除单元，用于去除灰度图中的固定模式噪声。其中，所述固定模式噪声包括列固定模式噪声和行固定模式噪声。

作为一种实施方式，所述固定模式噪声去除单元去除灰度图中的固定模式噪声可以在时域降噪单元进行时域降噪之后进行。作为另一种实施方式，所述固定模式噪声去除单元去除灰度图中的固定模式噪声可以在时域降噪单元进行时域降噪之前进行。作为优选地，可以先由降噪单元执行时域降噪再由固定模式噪声去除单元执行固定模式噪声去除，从而图像经过时域降噪后去除了运动残留，有利于后续准确找出图像的固定模式噪声进行去除。

在一些实施例中，所述降噪单元还包括空域降噪单元，用于去除空域随机噪声。

在时域降噪第一进行时域降噪之后，由于图像中局部区域运动情况不尽相同，经过时域降噪后各区域噪声消减的程度也不尽相同，而运动区域通常比静止区域有更大的噪声残余，因此可以进一步使用空域降噪单元来提升图像的质量。与时域降噪对应利用多帧图像在时间上的相关性进行降噪不同的是，空域降噪单元是针对单帧图像进行采样，利用图像内的空间相关性进行降噪，即利用当前像素和邻域之间的相似性和差异性，进行滤波提升信噪比。

空域降噪单元可以包括低通滤波器。通过低通滤波器滤除图像信号的高频部分可以达到去除随机噪声的目的，但是，由于图像的边缘部分和跃阶部分也处于高频区域，在低通滤波后该部分信号也被滤掉了，从而导致图像边缘和跳跃部分出现模糊。

可以理解的是，由于经过空域降噪单元会损失更多的细节，因此，如果需要获取红外传感器的测温数据，需要采用进行空域降噪之前的数据。

为缓解空域降噪采用低通滤波产生的模糊，通常使用带边界保留的滤波器，该滤波器主要思想是根据噪声方差设定一个域值，仅使用落在阈值内的邻域点做低通滤波，当边界跳跃幅度大于该阈值时，不会出现模糊，而对跳跃幅度小于该域值的边界同样会造成模糊。使用边界保留滤波进行降噪需要准确的估计噪声的方差才能达到较好的降噪效果，但是，无论是采用低通滤波降噪法还是采用带边界保留的降噪法，空域降噪都不可避免的会对图像造成一定的模糊，噪声越大，被噪声淹没的纹理也越多，降噪后图像的模糊也越严重，仅依赖空域相关性难以得到满意效果，因此，空域降噪单元需要与时域降噪单元进行配合，利用时域的相关性使用多帧的信息相互补偿，从而达到更优的降噪效果。

进一步的，所述图像处理装置还包括频率分离单元与频率合成单元，其中，频率分离单元用于对图像校正及信噪比提升降噪后灰度图进行空域的频率分离；频率合成单元用于对拉伸后的灰度图进行空域的频率合成，并利用所述频率分离后的灰度图对拉伸后的灰度图中的中高频分量进行增强。

具体地，所述频率分离单元在图像进行校正及信噪比提升之后执行空域的频率分离，将表示图像的边缘和跃阶部分的中高频率分量与表示图像背景区域的低频率分量进行分离，为后级对比度拉伸和细节增强做准备，降低噪声，提升细节；之后由拉伸单元对图像进行对比度拉伸，对图像进行对比度拉伸后，频率合成单元对拉伸后的灰度图进行空域的频率合成；同时，可以采用频率分离单元获取的空域频率分离后的灰度图对拉伸后的灰度图中的中高频分量进行增强，通过补偿频率分离后的灰度图来提升细节，从而输出对比度和细节都增强后的红外灰度图。

由于频率分离单元在对比度拉伸之前进行了空域的频率分离，将图像中的高频部分与低频部分进行了区分，拉伸单元仅对图像的低频部分进行对比度拉伸，从而避免了图像中高频部分包含的随机噪声同时被拉伸，造成图像的模糊；进一步的，通过频率合成单元将图像的高频部分与对比度拉伸后的图像进行叠加，从而能够采用图像中高频部分包含的边缘和跃阶部分细节，对对比度拉伸过程中产生的细节损失进行补偿。由此，保证在图像对比度增强的同时，实现了图像细节的增强。

在一些实施例中，所述拉伸单元包括第一对比度拉伸单元及第二对比度拉伸单元。其中，第一对比度拉伸单元用于执行第一级对比度拉伸，包括对频率分离后的灰度图中的每个像素的灰度值进行第一灰度直方图统计，并根据统计结果对像素做第一灰度变换得到对比度拉伸后的像素灰度值；

第二对比度拉伸单元用于执行第二级对比度拉伸，包括对第一灰度变换后的灰度图中的每个像素的灰度值进行第二灰度直方图统计，并根据统计结果对像素做第二灰度变换得到对比度拉伸后的像素灰度值，其中，所述第二灰度变换不同于所述第一灰度变换。

具体地，所述第一灰度变换为线性灰度变换或非线性灰度变换；所述第二灰度变换也可以为线性灰度变换或非线性灰度变换。示例性地，所述第一灰度变换或第二灰度变换均为分段线性变换，在进行第一灰度变换时，对图像的第一有用数据的对比度进行增强；在进行第二灰度变换时，对图像的第二有用数据的对比度进行增强。通过上述装置，使得图像的灰度值可以更好地在直方图上分布，达到图像增强效果。

可以理解的是，上述对比度拉伸以两级对比度拉伸单元为例，在其他实施例中，还可以根据需要进行对比度增强的灰度图的具体情况，还可以包括两级以上的对比度拉伸单元，实现多级对比度拉伸。

优选地，所述拉伸单元还包括线性拉伸单元，用于在所述第一灰度直方图统计之前，对频率分离后的灰度图的灰度值进行线性变换，进行初步的线性拉伸，为后续第一级对比度拉伸及第二级对比度拉伸做准备。示例性的，可以通过线性拉伸将原本所有像素灰度值仅处于某一部分灰度区域的图像进行灰度变换，拉伸至0-255的整个灰度空间，从而图像的对比度能够得到大幅度增强。

可以理解的是，上述初步线性拉伸单元、第一对比度拉伸单元及第二对比度拉伸单元分别负责不同程度的拉伸，示例性的，线性拉伸单元最先执行全局对比度拉伸，第一级对比度拉伸单元及第二级对比度拉伸单元用于实现灵活的两级拉伸，得到较好的对比度。根据不同的图像处理需要，三个拉伸过程可以合并，也可以使用其中一个、两个或多个。

在一些实施例中，所述图像处理装置还包括场景分析反馈单元。场景分析单元用于针对频率合成后实现了图像增强的灰度图进行场景分析，例如室内、室外、黑体、树林、海边等，并将场景分析结果反馈到前面的图像校正、降噪和/或拉伸过程，对图像校正、降噪和/或拉伸过程的参数进行调整，使得整个系统通过场景分析的反馈构成一个反馈系统，能自适应地针对不同场景进行合适的校正、去噪、对比度增强和细节增强。示例性的，所述场景分析过程得到的场景分析结果为树林，则获取树林对应的场景特性，根据该场景特性反馈至降噪及对比度和细节增强过程，调整上述过程的降噪或图像增强参数，从而进一步提高输出图像的质量。其中，树林对应的场景特性可以预存储在程序中，或保存在云端服务器，场景分析单元能够执行所述场景特性的调用。

其中，场景分析反馈单元的场景分析在图像频率合成之后进行，由于频率合成后的图像经过了对比度增强和细节增强，因此，其所包含的信息更加丰富，将其包含的信息进行反馈后，能够更好地实现对于降噪、对比度增强和细节增强过程中所用参数的调整。

此外，所述图像处理装置还包括伪彩映射单元，用于对于频率合成后实现了图像增强的灰度图映射为YUV色彩图。由此，一方面凸显温度分布信息，一方面凸显物体的细节；其中，伪彩映射也在图像频率合成之后进行，也是由于频率合成后的图像经过了对比度增强和细节增强，从而所包含的信息更加丰富，因此经过伪彩映射的图也含有最丰富的细节和更好的对比度，有利于实现高画质的图像输出。

需要说明的是，当同时设置有场景分析反馈单元时，所述场景分析反馈单元的输入数据应当采用伪彩映射之前的数据，避免场景分析处理的信息量过大。

具体地，所述YUV色彩图为YUV444类型的色彩图时，还可以采用转码单元将YUV444的色彩图转码为YUV422或420的色彩图，向后输出，便于后续的编码，节约存储空间。

所述图像处理装置可包括具有数据处理能力的任何类型的数据处理装置，例如但不限于CPU、DSP、FPGA、CPLD等。

通过本实施例的图像处理装置，解决了红外传感器输出的灰度图存在的坏点、明显固定模式噪声和随机噪声、对比度低、信噪比低、图像细节少等问题，从而得到了瑕疵更少、对比度更高、细节更多、画质更好的红外图像。

本公开第三个示意性实施例提供了一种图像处理装置，包括读存储介质及一个或多个处理器。其中，可读存储介质用于存储可执行指令；一个或多个处理器用于执行所述可执行指令，以执行如第一实施例所述的图像处理方法。

本公开第四个示意性实施例提供了一种成像设备。图5为本公开实施例成像设备的结构示意图。如图5所示，所述成像设备包括图像传感器及图像处理装置，所述图像传感器连接至所述图像处理装置，所述图像处理装置采用如第二实施例所述的图像处理装置。

本公开第五个实施例提供了一种可移动载体。图6为本公开实施例可移动载体的结构示意图。如图6所示，所述可移动载体包括：机身和成像设备，所述成像设备安装于所述机身，所述成像设备包括图像传感器以及图像处理装置，所述图像传感器连接至所述图像处理装置，所述图像处理装置采用如第二实施例所述的图像处理装置。其中，所述可移动载体可以为无人机、无人车、无人船等。

本公开第六个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如第一实施例所述的图像处理方法。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；在不冲突的情况下，本公开实施例中的特征可以任意组合；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (75)

1.一种图像处理方法，其特征在于，包括：

对灰度图进行图像校正及信噪比提升；

对图像校正及信噪比提升后的灰度图进行对比度拉伸；其中，

所述图像校正包括：

对灰度图进行平场校正；以及

对平场校正后的灰度图进行坏点校正；

所述信噪比提升包括：

对灰度图进行时域噪声的去除。

2.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对图像校正及信噪比提升后的灰度图进行空域的频率分离，并将频率分离后的灰度图的低频部分进行拉伸；

对拉伸后的灰度图进行空域的频率合成。

3.如权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：

利用所述频率分离后的灰度图对拉伸后的灰度图中的中高频分量进行增强。

4.如权利要求2所述的图像处理方法，其特征在于，所述对图像校正及信噪比提升后的灰度图进行对比度拉伸包括：

对频率分离后的灰度图中的每个像素的灰度值进行第一灰度直方图统计，并根据统计结果对像素做第一灰度变换得到对比度拉伸后的像素灰度值；

对第一灰度变换后的灰度图中的每个像素的灰度值进行第二灰度直方图统计，并根据统计结果对像素做第二灰度变换得到对比度拉伸后的像素灰度值，其中，所述第二灰度变换不同于所述第一灰度变换。

5.如权利要求4所述的图像处理方法，其特征在于，所述第一灰度变换为线性灰度变换或非线性灰度变换；和/或，所述第二灰度变换为线性灰度变换或非线性灰度变换。

6.如权利要求4所述的图像处理方法，其特征在于，所述对图像校正及信噪比提升后的灰度图进行对比度拉伸还包括：

在所述第一灰度直方图统计之前，对频率分离后的灰度图的灰度值进行线性变换。

7.如权利要求1所述的图像处理方法，其特征在于，所述对所述灰度图进行平场校正包括：利用参考灰度图对所述图像传感器采集的灰度图进行平场校正，所述参考灰度图为所述图像传感器在快门关闭时采集的灰度图。

8.如权利要求1所述的图像处理方法，其特征在于，所述对平场校正后的灰度图进行坏点校正包括：

对图像传感器的静态坏点对应的像素进行校正；和/或

检测所述图像传感器的动态坏点，并对所述动态坏点对应的像素进行校正。

9.如权利要求1所述的图像处理方法，其特征在于，所述信噪比提升还包括：

去除时域噪声后，再去除时域降噪后的灰度图中的固定模式噪声；

或者；

去除灰度图中的固定模式噪声，再对去除了固定模式噪声的灰度图进行时域噪声的去除。

10.如权利要求9所述的图像处理方法，其特征在于，所述信噪比提升还包括：

对去除了时域噪声以及固定模式噪声后的灰度图进行空域随机噪声的去除。

11.如权利要求1所述的图像处理方法，其特征在于，所述信噪比提升还包括：

去除时域噪声后，去除时域降噪后的灰度图中的空域随机噪声。

12.如权利要求1所述的图像处理方法，其特征在于，所述时域噪声包括：时域随机单点噪声、时域随机行噪声、时域随机列噪声中的至少一种。

13.如权利要求1所述的图像处理方法，其特征在于，所述图像校正还包括：

在所述坏点校正之前，对平场校正后的灰度图进行非线性校正。

14.如权利要求1所述的图像处理方法，其特征在于，还包括：

对对比度拉伸后的灰度图进行场景信息分析，并将分析结果反馈至所述图像校正、信噪比提升、对比度拉伸至少其中之一，针对不同场景自适应地调整所述图像校正、信噪比提升、对比度拉伸至少其中之一的参数。

15.如权利要求1所述的图像处理方法，其特征在于，还包括：

将对比度拉伸后的灰度图映射为YUV色彩图。

16.如权利要求15所述的图像处理方法，其特征在于，还包括：

当伪彩映射的输出为YUV444色彩图时，将YUV444色彩图转码为YUV422或YUV420的色彩图。

17.如权利要求1所述的图像处理方法，其特征在于，还包括：

在进行所述平场校正之前，接收图像传感器采集的灰度图，并对所述图像传感器进行控制，以及对所述图像传感器的动态范围进行检查及校正。

18.如权利要求1或10所述的图像处理方法，其特征在于，还包括：

根据去除时域噪声或固定模式噪声后的灰度图确定绝对温度。

19.一种图像处理装置，其特征在于，包括：

校正单元，用于灰度图进行图像校正；

降噪单元，用于对灰度图进行信噪比提升；以及

拉伸单元，用于对所述图像校正及信噪比提升后的灰度图进行对比度拉伸；

其中，所述校正单元包括：

平场校正单元，用于对灰度图进行平场校正；

坏点校正单元，用于对平场校正后的灰度图进行坏点校正；

所述降噪单元包括：

时域降噪单元，用于对灰度图进行时域噪声的去除。

20.如权利要求19所述的图像处理装置，其特征在于，所述图像处理装置还包括：

频率分离单元，用于对所述图像校正及信噪比提升后的灰度图进行空域的频率分离，并将频率分离后的灰度图的低频部分输出至拉伸单元；

频率合成单元，用于对拉伸单元输出的灰度图进行空域的频率合成。

21.如权利要求20所述的图像处理装置，其特征在于，所述频率合成单元还用于接收所述频率分离后的灰度图，利用所述频率分离后的灰度图对拉伸单元输出的灰度图中的中高频分量进行增强。

22.如权利要求20所述的图像处理装置，其特征在于，所述拉伸单元包括：

第一对比度拉伸单元，所述第一对比度拉伸单元用于对频率分离后的灰度图中的每个像素的灰度值进行第一灰度直方图统计，并根据统计结果对像素做第一灰度变换得到对比度拉伸后的像素灰度值；

第二对比度拉伸单元，用于对第一对比度拉伸单元输出的灰度图中的每个像素的灰度值进行第二灰度直方图统计，并根据统计结果对像素做第二灰度变换得到对比度拉伸后的像素灰度值，其中，所述第二灰度变换不同于所述第一灰度变换。

23.如权利要求22所述的图像处理装置，其特征在于，所述第一灰度变换为线性灰度变换或非线性灰度变换；和/或所述第二灰度变换均为线性灰度变换或非线性灰度变换。

24.如权利要求22所述的图像处理装置，其特征在于，所述拉伸单元还包括：

线性拉伸单元，用于对频率分离后的灰度图的灰度值进行线性变换；

所述第一对比度拉伸单元还用于对经线性变换的每个像素的灰度值进行第一灰度直方图统计。

25.如权利要求19所述的图像处理装置，其特征在于，所述平场校正单元用于利用参考灰度图对所述图像传感器采集的灰度图进行平场校正，所述参考灰度图为所述图像传感器在所述快门关闭时采集的灰度图。

26.如权利要求19所述的图像处理装置，其特征在于，所述坏点校正单元包括：

静态坏点校正子单元，用于对所述图像传感器的静态坏点对应的像素进行校正；和/或

动态坏点校正子单元，用于检测所述图像传感器的动态坏点，并对所述动态坏点对应的像素进行校正。

27.如权利要求19所述的图像处理装置，其特征在于，所述降噪单元还包括：

固定模式噪声去除单元，用于去除坏点校正单元或时域降噪单元输出的灰度图中固定模式噪声。

28.如权利要求27所述的图像处理装置，其特征在于，所述降噪单元还包括：

空域降噪单元，用于对去除了时域噪声以及固定模式噪声后的灰度图进行空域随机噪声的去除。

29.如权利要求19所述的图像处理装置，其特征在于，所述降噪单元还包括：

空域降噪单元，用于对时域降噪单元输出的灰度图进行空域随机噪声的去除。

30.如权利要求19所述的图像处理装置，其特征在于，所述时域降噪单元用于去除时域随机单点噪声、时域随机行噪声、时域随机列噪声中的至少一种。

31.如权利要求19所述的图像处理装置，其特征在于，所述校正单元还包括：

非线性校正单元，平场校正后的灰度图经所述非线性校正单元进行非线性校正后，由所述坏点校正单元进行坏点校正。

32.如权利要求19所述的图像处理装置，其特征在于，还包括：

场景分析反馈单元，用于对所述对比度拉伸后的灰度图进行场景信息分析，并将分析结果反馈至图像校正单元、降噪单元和/或拉伸单元至少其中之一，针对不同场景自适应地调整所述图像校正单元、降噪单元、拉伸单元至少其中之一的参数。

33.如权利要求19所述的图像处理装置，其特征在于，还包括：

伪彩映射单元，用于将对比度拉伸后的灰度图映射为YUV色彩图。

34.如权利要求33所述的图像处理装置，其特征在于，还包括：

转码单元，用于在伪彩映射单元输出为YUV444色彩图时，将YUV444色彩图转码为YUV422或YUV420的色彩图。

35.如权利要求19所述的图像处理装置，其特征在于，还包括：

信号接收及控制单元，用于接收并保存所述图像传感器采集的灰度图，并对所述图像传感器进行控制，以及对所述图像传感器的动态范围进行检查及校正。

36.如权利要求19或27所述的图像处理装置，其特征在于，还包括：

测温单元，用于根据所述时域降噪单元或固定模式噪声去除单元输出的灰度图确定绝对温度。

37.一种图像处理装置，其特征在于，包括：

可读存储介质，用于存储可执行指令；

一个或多个处理器，用于执行所述可执行指令，以执行根据权利要求1-18任一项所述的图像处理方法。

38.一种成像设备，其特征在于，包括：图像传感器以及图像处理装置，所述图像传感器连接至所述图像处理装置，所述图像处理装置包括：

校正单元，用于灰度图进行图像校正；

降噪单元，用于对灰度图进行信噪比提升；以及

拉伸单元，用于对所述图像校正及信噪比提升后的灰度图进行对比度拉伸；

其中，所述校正单元包括：

平场校正单元，用于对灰度图进行平场校正；

坏点校正单元，用于对平场校正后的灰度图进行坏点校正；

所述降噪单元包括：

时域降噪单元，用于对灰度图进行时域噪声的去除。

39.如权利要求38所述的成像设备，其特征在于，所述图像处理装置还包括：

频率分离单元，用于对所述图像校正及信噪比提升后的灰度图进行空域的频率分离，并将频率分离后的灰度图输出至拉伸单元；

频率合成单元，用于对拉伸单元输出的灰度图进行空域的频率合成。

40.如权利要求39所述的成像设备，其特征在于，所述频率合成单元还用于接收所述频率分离后的灰度图，利用所述频率分离后的灰度图对拉伸单元输出的灰度图中的中高频分量进行增强。

41.如权利要求39所述的成像设备，其特征在于，所述拉伸单元包括：

第一对比度拉伸单元，所述第一对比度拉伸单元用于对频率分离后的灰度图中的每个像素的灰度值进行第一灰度直方图统计，并根据统计结果对像素做第一灰度变换得到对比度拉伸后的像素灰度值；

第二对比度拉伸单元，用于对第一对比度拉伸单元输出的灰度图中的每个像素的灰度值进行第二灰度直方图统计，并根据统计结果对像素做第二灰度变换得到对比度拉伸后的像素灰度值，其中，所述第二灰度变换不同于所述第一灰度变换。

42.如权利要求41所述的成像设备，其特征在于，所述第一灰度变换为线性灰度变换或非线性灰度变换；和/或所述第二灰度变换均为线性灰度变换或非线性灰度变换。

43.如权利要求41所述的成像设备，其特征在于，所述拉伸单元还包括：

线性拉伸单元，用于对频率分离后的灰度图的灰度值进行线性变换；

所述第一对比度拉伸单元还用于对经线性变换的每个像素的灰度值进行第一灰度直方图统计。

44.如权利要求38所述的成像设备，其特征在于，所述平场校正单元用于利用参考灰度图对所述图像传感器采集的灰度图进行平场校正，所述参考灰度图为所述图像传感器在所述快门关闭时采集的灰度图。

45.如权利要求38所述的成像设备，其特征在于，所述坏点校正单元包括：

静态坏点校正子单元，用于对所述图像传感器的静态坏点对应的像素进行校正；和/或

动态坏点校正子单元，用于检测所述图像传感器的动态坏点，并对所述动态坏点对应的像素进行校正。

46.如权利要求38所述的成像设备，其特征在于，所述降噪单元还包括：

固定模式噪声去除单元，用于去除坏点校正单元或时域降噪单元输出的灰度图中固定模式噪声。

47.如权利要求46所述的成像设备，其特征在于，所述降噪单元还包括：

空域降噪单元，用于对去除了时域噪声以及固定模式噪声后的灰度图进行空域随机噪声的去除。

48.如权利要求38所述的成像设备，其特征在于，所述降噪单元还包括：

空域降噪单元，用于对时域降噪单元输出的灰度图进行空域随机噪声的去除。

49.如权利要求38所述的成像设备，其特征在于，所述时域降噪单元用于去除时域随机单点噪声、时域随机行噪声、时域随机列噪声中的至少一种。

50.如权利要求38所述的成像设备，其特征在于，所述校正单元还包括：

非线性校正单元，平场校正后的灰度图经所述非线性校正单元进行非线性校正后，由所述坏点校正单元进行坏点校正。

51.如权利要求38所述的成像设备，其特征在于，还包括：

场景分析反馈单元，用于对所述对比度拉伸后的灰度图进行场景信息分析，并将分析结果反馈至图像校正单元、降噪单元、拉伸单元至少其中之一，针对不同场景自适应地调整所述图像校正单元、降噪单元、拉伸单元至少其中之一的参数。

52.如权利要求38所述的成像设备，其特征在于，还包括：

伪彩映射单元，用于将对比度拉伸后的灰度图映射为YUV色彩图。

53.如权利要求52所述的成像设备，其特征在于，还包括：

转码单元，用于在伪彩映射单元输出为YUV444色彩图时，将YUV444色彩图转码为YUV422或YUV420的色彩图。

54.如权利要求38所述的成像设备，其特征在于，还包括：

信号接收及控制单元，用于接收并保存所述图像传感器采集的灰度图，并对所述图像传感器进行控制，以及对所述图像传感器的动态范围进行检查及校正。

55.如权利要求38或46所述的成像设备，其特征在于，还包括：

测温单元，用于根据所述时域降噪单元或固定模式噪声去除单元输出的灰度图确定绝对温度。

56.一种可移动载体，其特征在于，包括：机身和成像设备，所述成像设备安装于所述机身，所述成像设备包括图像传感器以及图像处理装置，所述图像传感器连接至所述图像处理装置，所述图像处理装置包括：

校正单元，用于灰度图进行图像校正；

降噪单元，用于对灰度图进行信噪比提升；以及

拉伸单元，用于对所述图像校正及信噪比提升后的灰度图进行对比度拉伸；

其中，所述校正单元包括：

平场校正单元，用于对灰度图进行平场校正；

坏点校正单元，用于对平场校正后的灰度图进行坏点校正；

所述降噪单元包括：

时域降噪单元，用于对灰度图进行时域噪声的去除。

57.如权利要求56所述的可移动载体，其特征在于，所述图像处理装置还包括：

频率分离单元，用于对所述图像校正及信噪比提升后的灰度图进行空域的频率分离，并将频率分离后的灰度图输出至拉伸单元；

频率合成单元，用于对拉伸单元输出的灰度图进行空域的频率合成。

58.如权利要求57所述的可移动载体，其特征在于，所述频率合成单元还用于接收所述频率分离后的灰度图，利用所述频率分离后的灰度图对拉伸单元输出的灰度图中的中高频分量进行增强。

59.如权利要求57所述的可移动载体，其特征在于，所述拉伸单元包括：

第一对比度拉伸单元，所述第一对比度拉伸单元用于对频率分离后的灰度图中的每个像素的灰度值进行第一灰度直方图统计，并根据统计结果对像素做第一灰度变换得到对比度拉伸后的像素灰度值；

第二对比度拉伸单元，用于对第一对比度拉伸单元输出的灰度图中的每个像素的灰度值进行第二灰度直方图统计，并根据统计结果对像素做第二灰度变换得到对比度拉伸后的像素灰度值，其中，所述第二灰度变换不同于所述第一灰度变换。

60.如权利要求59所述的可移动载体，其特征在于，所述第一灰度变换为线性灰度变换或非线性灰度变换；和/或所述第二灰度变换均为线性灰度变换或非线性灰度变换。

61.如权利要求59所述的可移动载体，其特征在于，所述拉伸单元还包括：

线性拉伸单元，用于对频率分离后的灰度图的灰度值进行线性变换；

所述第一对比度拉伸单元还用于对经线性变换的每个像素的灰度值进行第一灰度直方图统计。

62.如权利要求56所述的可移动载体，其特征在于，所述平场校正单元用于利用参考灰度图对所述图像传感器采集的灰度图进行平场校正，所述参考灰度图为所述图像传感器在所述快门关闭时采集的灰度图。

63.如权利要求56所述的可移动载体，其特征在于，所述坏点校正单元包括：

静态坏点校正子单元，用于对所述图像传感器的静态坏点对应的像素进行校正；和/或

动态坏点校正子单元，用于检测所述图像传感器的动态坏点，并对所述动态坏点对应的像素进行校正。

64.如权利要求56所述的可移动载体，其特征在于，所述降噪单元还包括：

固定模式噪声去除单元，用于去除坏点校正单元或时域降噪单元输出的灰度图中固定模式噪声。

65.如权利要求64所述的可移动载体，其特征在于，所述降噪单元还包括：

空域降噪单元，用于对去除了时域噪声以及固定模式噪声后的灰度图进行空域随机噪声的去除。

66.如权利要求56所述的可移动载体，其特征在于，所述降噪单元还包括：

空域降噪单元，用于对时域降噪单元输出的灰度图进行空域随机噪声的去除。

67.如权利要求56所述的可移动载体，其特征在于，所述时域降噪单元用于去除时域随机单点噪声、时域随机行噪声、时域随机列噪声中的至少一种。

68.如权利要求56所述的可移动载体，其特征在于，所述校正单元还包括：

非线性校正单元，平场校正后的灰度图经所述非线性校正单元进行非线性校正后，由所述坏点校正单元进行坏点校正。

69.如权利要求56所述的可移动载体，其特征在于，还包括：

场景分析反馈单元，用于对所述对比度拉伸后的灰度图进行场景信息分析，并将分析结果反馈至图像校正单元、降噪单元、拉伸单元至少其中之一，针对不同场景自适应地调整所述图像校正单元、降噪单元、拉伸单元至少其中之一的参数。

70.如权利要求56所述的可移动载体，其特征在于，还包括：

伪彩映射单元，用于将对比度拉伸后的灰度图映射为YUV色彩图。

71.如权利要求70所述的可移动载体，其特征在于，还包括：

转码单元，用于在伪彩映射单元输出为YUV444色彩图时，将YUV444色彩图转码为YUV422或YUV420的色彩图。

72.如权利要求56所述的可移动载体，其特征在于，还包括：

信号接收及控制单元，用于接收并保存所述图像传感器采集的灰度图，并对所述图像传感器进行控制，以及对所述图像传感器的动态范围进行检查及校正。

73.如权利要求56或64所述的可移动载体，其特征在于，还包括：

测温单元，用于根据所述时域降噪单元或固定模式噪声去除单元输出的灰度图确定绝对温度。

74.如权利要求56所述的可移动载体，其特征在于，所述可移动载体包括：无人机、无人车、无人船的至少一种。

75.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-18任一项所述的图像处理方法。

Images