CN112771568A - 红外图像处理方法、装置、可移动平台与计算机可读介质 - Google Patents
红外图像处理方法、装置、可移动平台与计算机可读介质 Download PDFInfo
- Publication number
- CN112771568A CN112771568A CN202080005062.5A CN202080005062A CN112771568A CN 112771568 A CN112771568 A CN 112771568A CN 202080005062 A CN202080005062 A CN 202080005062A CN 112771568 A CN112771568 A CN 112771568A
- Authority
- CN
- China
- Prior art keywords
- pixel
- infrared image
- processed
- processing model
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 172
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000012937 correction Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 6
- 239000010409 thin film Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000010408 film Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010000 carbonizing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20096—Interactive definition of curve of interest
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种红外图像处理方法、装置、可移动平台与计算机可读介质。该方法包括:获取待处理红外图像的原始像素值(S110);获取与待处理红外图像对应的像素处理模型(S120),其中,像素处理模型包括输入的像素值与输出的像素值的对应关系;将原始像素值输入像素处理模型得到输出的目标像素值,根据目标像素值生成处理后的红外图像(S130)。通过原始像素值与目标像素值之间的像素处理模型对待处理红外图像进行处理,计算量小,且运算效率高,可支持个性化设计,使用场景也更加广泛。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及红外图像处理方法、红外图像处理装置、可移动平台与计算机可读介质。
背景技术
在夜间观察及目标追踪遇到的最大难点是光强不足及对比度差,在夜视技术没出现之前或技术不发达时,单凭人眼是很难在夜间观察目标及环境的。因此,红外成像技术成为一项前途广阔的高新技术。
但是由于目前的成像工艺和成像机制的限制,导致红外图像的对比度低、细节不明显,并且视觉效果差。一般会通过统计图像全局或者局部直方图信息进行图像增强,但是这种方式不仅计算量大,处理速度慢,效果也差强人意。
鉴于此,本领域亟需开发一种新的红外图像处理方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了红外图像处理方法、红外图像处理装置、可移动平台与计算机可读介质,进而至少在一定程度上改善现有技术中对比度低和成像效果差等问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种红外图像处理方法,包括:获取待处理红外图像的原始像素值;获取与所述待处理红外图像对应的像素处理模型,其中,所述像素处理模型包括输入的像素值与输出的像素值的对应关系;将所述原始像素值输入所述像素处理模型得到输出的目标像素值,根据所述目标像素值生成处理后的红外图像。
在本公开的一种示例性实施例中,所述对应关系是基于用户操作确定的。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:在用户界面上展示关系曲线,其中,所述关系曲线的横坐标表示所述输入的像素值,所述关系曲线的纵坐标表示所述输出的像素值;响应于用户的选点操作,在所述关系曲线中选择至少一个点作为拖拽点;响应于用户的拖拽操作控制所述拖拽点移动,并据所述拖拽点移动过程中的实时坐标调整所述关系曲线;根据调整后的所述关系曲线确定所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:获取与所述原始像素值对应的标准像素值,其中,所述标准像素值由用户选择得到;对多个所述原始像素值和所述多个所述标准像素值进行拟合得到所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:获取所述待处理红外图像的拍摄信息和/或图像参数信息;根据所述拍摄信息和/或图像参数信息确定所述像素处理模型。
在本公开的一种示例性实施例中,所述拍摄信息包括所述待处理红外图像的拍摄时间信息、拍摄场景地理位置信息、拍摄场景中目标物的状态信息。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:在所述待处理红外图像中确定感兴趣区域,并确定所述感兴趣区域的区域参数信息;根据所述区域参数信息确定所述像素处理模型。
在本公开的一种示例性实施例中,所述区域参数信息包括区域图像参数信息和/或区域特征参数;其中,所述区域图像参数信息所述包括以下任意参数:对比度、亮度或饱和度;所述区域特征参数信息以下任意参数包括所述感兴趣区域的尺寸、所述感兴趣区域中的目标物的类型、所述感兴区域在所述图像中的位置。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:针对所述待处理红外图像预设有多个待选对应关系,根据多个所述待选对应关系确定所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述像素处理模型中的所述对应关系包括多段定义域范围,所述根据多个所述待选对应关系获取所述像素处理模型中的所述对应关系,包括:从多个所述待选对应关系中,确定每一段所述定义域范围对应的待选对应关系;将多段所述定义域范围对应的待选对应关系进行组合,得到所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述对应关系为函数关系或表格对应关系。
在本公开的一种示例性实施例中,所述待处理红外图像是通过可移动平台上的红外摄像头采集得到的。
在本公开的一种示例性实施例中,所述获取待处理红外图像的原始像素值,包括:在接收到自然光时,利用设置有电荷耦合器件芯片的摄像头接收滤光片滤除所述自然光后的漫反射红外光;根据所述漫反射红外光生成待处理红外图像,并获取所述待处理红外图像的原始像素值。
在本公开的一种示例性实施例中,所述方法还包括:确定所述待处理红外图像中的待矫正像素点,并执行以下任意操作:利用非均匀性矫正算法对所述待矫正像素点进行非均匀性矫正,得到与所述待矫正像素点对应的原始像素值;对所述待矫正像素点进行切向畸变矫正和/或径向畸变矫正,得到与所述待矫正像素点对应的原始像素值;对所述待矫正像素点进行坏点矫正,得到与所述待矫正像素点对应的原始像素值。
根据本公开的第二方面,提供一种红外图像处理装置,包括:处理器;存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行:获取待处理红外图像的原始像素值;获取与所述待处理红外图像对应的像素处理模型,其中,所述像素处理模型包括输入的像素值与输出的像素值的对应关系;将所述原始像素值输入所述像素处理模型得到输出的目标像素值,根据所述目标像素值生成处理后的红外图像。
在本公开的一种示例性实施例中,所述对应关系是基于用户操作确定的。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:在用户界面上展示关系曲线,其中,所述关系曲线的横坐标表示所述输入的像素值,所述关系曲线的纵坐标表示所述输出的像素值;响应于用户的选点操作,在所述关系曲线中选择至少一个点作为拖拽点;响应于用户的拖拽操作控制所述拖拽点移动,并据所述拖拽点移动过程中的实时坐标调整所述关系曲线;根据调整后的所述关系曲线确定所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:获取与所述原始像素值对应的标准像素值,其中,所述标准像素值由用户选择得到;对多个所述原始像素值和所述多个所述标准像素值进行拟合得到所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:获取所述待处理红外图像的拍摄信息和/或图像参数信息;根据所述拍摄信息和/或图像参数信息确定所述像素处理模型。
在本公开的一种示例性实施例中,所述拍摄信息包括所述待处理红外图像的拍摄时间信息、拍摄场景地理位置信息、拍摄场景中目标物的状态信息。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:在所述待处理红外图像中确定感兴趣区域,并确定所述感兴趣区域的区域参数信息;根据所述区域参数信息确定所述像素处理模型。
在本公开的一种示例性实施例中,述区域参数信息包括区域图像参数信息和/或区域特征参数;其中,所述区域图像参数信息所述包括以下任意参数:对比度、亮度或饱和度;所述区域特征参数信息以下任意参数包括所述感兴趣区域的尺寸、所述感兴趣区域中的目标物的类型、所述感兴区域在所述图像中的位置。
在本公开的一种示例性实施例中,所述获取与所述待处理红外图像对应的像素处理模型,包括:针对所述待处理红外图像预设有多个待选对应关系,根据多个所述待选对应关系确定所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述像素处理模型中的所述对应关系包括多段定义域范围,所述根据多个所述待选对应关系获取所述像素处理模型中的所述对应关系,包括:从多个所述待选对应关系中,确定每一段所述定义域范围对应的待选对应关系;将多段所述定义域范围对应的待选对应关系进行组合,得到所述像素处理模型中的所述对应关系。
在本公开的一种示例性实施例中,所述对应关系为函数关系或表格对应关系。
在本公开的一种示例性实施例中,所述待处理红外图像是通过可移动平台上的红外摄像头采集得到的。
在本公开的一种示例性实施例中,所述获取待处理红外图像的原始像素值,包括:在接收到自然光时,利用设置有电荷耦合器件芯片的摄像头接收滤光片滤除所述自然光后的漫反射红外光;根据所述漫反射红外光生成待处理红外图像,并获取所述待处理红外图像的原始像素值。
在本公开的一种示例性实施例中,所述装置还包括:确定所述待处理红外图像中的待矫正像素点,并执行以下任意操作:利用非均匀性矫正算法对所述待矫正像素点进行非均匀性矫正,得到与所述待矫正像素点对应的原始像素值;对所述待矫正像素点进行切向畸变矫正和/或径向畸变矫正,得到与所述待矫正像素点对应的原始像素值;对所述待矫正像素点进行坏点矫正,得到与所述待矫正像素点对应的原始像素值。
在本公开的一种示例性实施例中,所述装置应用于可移动平台或者用于控制可移动平台运动的控制终端上。
根据本公开的第三方面,提供一种可移动平台,包括:机体;动力系统,设于所述机体,所述动力系统用于为所述可移动平台提供动力;以及,如第二方面所述的红外图像处理装置。
根据本公开的第四方面,提供一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一种红外图像处理方法。
本公开的技术方案具有以下有益效果:
根据上述红外图像处理方法、红外图像处理装置、可移动平台与计算机可读介质,一方面,通过原始像素值与目标像素值之间的像素处理模型对待处理红外图像进行处理,相比于传统的增强方式计算量小,且运算效率高;另一方面,该像素处理模型中的对应关系的设计支持根据产品、目标及不同设备的个性化设计,对于不同需求的增强效果更好,更进一步的,对对应关系的确定还支持离线和在线两种方式,便于用于实时设计曲线,并实时查看增强效果,适用场景更加广泛。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施方式,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开的示例性实施方式中一种红外图像处理方法的流程示意图;
图2示出本公开的示例性实施方式中在自然光环境下得到待处理红外图像的方法的流程示意图;
图3示出本公开的示例性实施方式中对待矫正像素点进行矫正的方法的流程示意图;
图4示出本公开的示例性实施方式中根据关系曲线得到对应的方法的流程示意图;
图5示出本公开的示例性实施方式中根据拟合得到对应关系的方法的流程示意图;
图6示出本公开的示例性实施方式中根据图像信息确定像素处理模型的方法的流程示意图;
图7示出本公开的示例性实施方式中根据感兴趣区域确定像素处理模型的方法的流程示意图;
图8示出本公开的示例性实施方式中组合待选对应关系的方法的流程示意图;
图9示出本公开的示例性实施方式中一种红外图像处理装置的流程示意图;
图10示出本公开的本示例性实施方式中一种可移动平台的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题,本公开提供红外图像处理方法、红外图像处理装置、可移动平台与计算机可读介质。下面对本示例性实施方式的各个方面进行具体说明。
图1示出了本示例性实施方式中一种红外图像处理方法的流程示意图,如图1所示,该方法至少包括以下步骤S110、S120和S130。具体的:
步骤S110.获取待处理红外图像的原始像素值。
具体的,包括获取所述待处理红外图像中每一像素点的原始像素值。
步骤S120.获取与待处理红外图像对应的像素处理模型,其中,像素处理模型包括输入的像素值与输出的像素值的对应关系。
步骤S130.将原始像素值输入像素处理模型得到输出的目标像素值,根据所述目标像素值作生成处理后的红外图像。
具体的,将目标像素值作为所述像素点处理后的像素值生成处理后的红外图像。
在本公开的示例性实施例中,本公开一方面,通过原始像素值与目标像素值之间的像素处理模型对待处理红外图像进行处理,相比于传统的增强方式计算量小,且运算效率高;另一方面,该像素处理模型中的对应关系的设计支持根据产品、目标及不同设备的个性化设计,对于不同需求的增强效果更好,更进一步的,对对应关系的确定还支持离线和在线两种方式,便于用于实时设计曲线,并实时查看增强效果,适用场景更加广泛。
下面对红外图像处理方法的各个步骤进行详细说明。
在步骤S110中,获取待处理红外图像的原始像素值。
在本公开的示例性实施例中,自然界中波长在2.0-1000μm之间的电磁波称为红外线,也可以叫作热辐射。只要物体温度在热力学零度(-273℃)之上都可以发出红外光。红外图像反映了目标和背景不可见红外辐射的空间分布,其辐射亮度主要由被观测物体的温度和发射率决定,因此红外图像近似反映了物体温度差或辐射差。对红外图像的获取可以是在接收到红外光的情况下,也可以是在接收到自然光的环境中。
在可选的实施例中,待处理红外图像是通过可移动平台上的红外摄像头采集得到的。
举例而言,该可移动平台可以是无人机。因此,可以通过无人机上搭载的红外摄像头采集红外线,以生成对应的待处理红外图像。
在可选的实施例中,图2示出了在自然光环境下得到待处理红外图像的方法的流程示意图,如图2所示,该方法至少包括以下步骤:在步骤S210中,在接收到自然光时,利用设置有电荷耦合器件芯片的摄像头接收滤光片滤除自然光后的漫反射红外光。
除了直接接收红外光生成待处理红外图像之外,还可以在自然光环境下,通过间接的方式接收到红外光。具体的,接收到自然光时,可以通过滤光片滤除自然光中除红外光的其他光线。滤光片是塑料或者玻璃片再加入特种染料做成的,红色滤光片只能通过红光通过。当滤光片滤除自然光中的其他光线后,可以接收到漫反射红外光,进一步的利用设置有电荷耦合器件(Charge-coupled Device,简称CCD)芯片的摄像头进行采集。电荷耦合器件是一种用电荷量表示信号大小,用耦合方式传输信号的探测原件,可以集成在摄像头上,接收漫反射红外光。
在步骤S220中,根据漫反射红外光生成待处理红外图像,并获取待处理红外图像的原始像素值。
当接受到漫反射红外光时,可以生成对应的待处理红外图像,以进一步获取待处理红外图像中的原始像素值。
除此之外,还可以通过首先采集到可见光图像,再将可见光图像转换得到对应的红外图像的方式得到待处理红外图像。
具体的,可以利用转换芯片实现,该芯片可以包括衬底和薄膜元阵列,衬底是由导热性极好的材料制成,设计有多个开孔,各开孔等间距排列,在每个开孔上覆盖一快薄膜,各薄膜相互独立,所有相同的薄膜构成薄膜元阵列,每个开孔的另一侧允许可见光通过。薄膜为在衬底上进行碳化或沉积形成高可见光吸收率物质,或者薄膜为在衬底上镀制或悬浮高可见光透过率膜,在该高可见光透过率膜上涂覆红外辐射膜而形成的物质。薄膜的形状可以为方形、圆形或多边形等,本示例性实施例对此不做特殊限定。
不仅如此,还可以建立可见光图像以及与该可见光图像对应的红外图像数据库,在该数据库中存储预先选取的训练样本,并通过训练样本之间转换的对应关系训练待学习机器学习模型,以得到可见光图像与红外图像转换的机器学习模型。因此,将可见光图像输入至该机器学习模型中时,该机器学习模型可以输出对应的待处理红外图像,以进一步获取待处理红外图像中的原始像素值。
在本示例性实施例中,实现了在自然光环境下间接生成待处理红外图像,广泛了红外光的采集场景,并且降低了待处理红外图像的采集成本。
红外成像的过程可以描述为目标和背景的红外辐射通过大气和光学系统传输后到达红外焦平面阵列(Infrared Focal Plane Arrays,简称IRFPA),红外探测器把辐射信号转换为电信号,然后经过读出电路输出显示的过程。因此,IRFPA响应输出的是目标辐射特性、大气传输特性、光学系统特性、器件响应特性等诸多因素共同作用的结果。
鉴于此,生成的待处理红外图像可能存在响应的非均匀性、畸变和坏点等情况,可以对待处理红外图像进行进一步的处理。
在可选的实施例中,确定待处理红外图像中的待矫正像素点。具体的,图3示出了对待矫正像素点进行矫正的方法的流程示意图,如图3所示,该方法至少包括以下步骤:在步骤S310中,利用非均匀性矫正算法对待矫正像素点进行非均匀性矫正,得到与待矫正像素点对应的原始像素值。
其中,待矫正像素点可以是由于不同的IRFPA响应的均匀性不相同导致的。与此同时,非均匀性还会随着时间或者工作条件的变化而产生漂移,例如环境温度和偏置电压。
进一步的,利用非均匀性矫正算法对待矫正像素点进行非均匀性矫正,得到与待矫正像素点对应的原始像素值。
一般的,非均匀性矫正算法可以有神经网络、时域高通滤波算法、恒定统计法、代数修正算法和卡尔曼滤波算法等。具体可根据实际情况的需求选取对应算法进行非均匀性矫正,得到与待矫正像素点对应的原始像素值。
在本示例性实施例中,给出了对待处理红外图像进行非均匀性矫正的方法,矫正方式简单可行,并且保证了原始像素值的准确性。
成像过程的实质是对坐标系的转换。首先,空间中的点由“世界坐标系”转换到“相机坐标系”,然后再由其投影到成像平面(图像物理坐标系),最后再将成像平面上的数据转换到图像像素坐标系。但是由于透镜制造精度以及组装工艺的偏差会引入畸变,导致图像失真。因此,镜头的畸变分为切向畸变和径向畸变两类。
在步骤S320中,对待矫正像素点进行切向畸变矫正和/或径向畸变矫正,得到与待矫正像素点对应的原始像素值。
其中,该待矫正像素点可以是切向畸变产生的。切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行产生的,这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致的。
对待矫正像素点进行的切向畸变矫正可以是通过物象坐标映射转换实现的。在opencv中,函数findhomography可以找到这一单应性矩阵进行转换,得到矫正后的像素值,进一步确定对应的原始像素值。
在本示例性实施例中,对产生切向畸变的像素点进行矫正,矫正方法简单且准确,保证了原始像素值的准确性。
除此之外,该待矫正像素点还可以是由于径向畸变导致的。径向畸变是沿着透镜半径方向分布的畸变,产生原因是光线在原理透镜中心的地方要比靠近中心的地方更加弯曲,这种畸变在较为廉价的镜头中表现更加明显。径向畸变主要包括桶形畸变和枕形畸变两种。
通常对径向畸变的待矫正像素点通过调节公式进行矫正,得到矫正后的原始像素值。
在本示例性实施例中,对产生径向畸变的待矫正像素点进行矫正,矫正方式简单且准确,并且保证了原始像素值的准确性。
在步骤S330中,对待矫正像素点进行坏点矫正,得到与待矫正像素点对应的原始像素值。
其中,待矫正像素点为待处理红外图像中的坏点。图像传感器上的每一光线采焦的点形成的阵列工艺存在缺陷,或光信号进行转化的过程中出现错误会造成图像上的有些像素点的信号有误,导致图像中的像素值不准确,这些有缺陷的点即为图像坏点。
对待矫正像素点的坏点矫正通过在贝叶斯域进行。对于动态坏点和静态坏点可以分别进行,也可以同时进行。其中,静态坏点的矫正考虑到芯片面积以及其他原因,不可以无限制的矫正,因此实用性不大。对于动态坏点的矫正可以实时检测和矫正亮点和暗点,并且矫正的坏点个数不受限制,实用性更强。
在本示例性实施例中,对于待处理红外图像中的坏点进行矫正,可以得到更为准确的原始像素值。
在得到原始像素值之后,可以进一步确定要对待处理图像进行处理的像素处理模型。
在步骤S120中,获取与待处理红外图像对应的像素处理模型,其中,像素处理模型包括输入的像素值与输出的像素值的对应关系。
在本公开的示例性实施例中,通过像素处理模型中的对应关系确定与原始像素值与对应输出的目标像素值之间的关系。
在可选的实施例中,对应关系是基于用户操作确定的。
通过用户操作可以体现出用户的期望和意图,以得到最为贴切的与原始像素值对应输出的目标像素值。
当通过用户操作确定像素处理模型中的对应关系时,可以有以下如图4和图5所示的两种情况。其中,图4示出了在预设的关系曲线上按照用户的操作得到更为准确的对应关系的方法的流程示意图,图5示出了按照用户给定的多个目标点的标准像素值拟合得到对应关系的方法的流程示意图。
在可选的实施例中,图4示出了根据关系曲线得到对应关系的方法的流程示意图,如图4所示,该方法至少包括以下步骤:在步骤S410中,在用户界面上展示关系曲线,其中,关系曲线的横坐标表示输入的像素值,关系曲线的纵坐标表示输出的像素值。
该关系曲线可以是预设的多种函数曲线,在该用户界面上显示的关系曲线可以是用户在多种函数曲线中选择的。每种关系曲线的横坐标和纵坐标对应标注有输入的像素值和输出的像素值,以便于用户选择和调整。关系曲线在用户界面上显示的方式可以是将关系曲线绘制在适应显示当前目标函数曲线的坐标系中。
当用户选择完成之后,为更加贴合用户的需求,可以进一步对关系曲线进行调整。
在步骤S420中,响应于用户的选点操作,在关系曲线中选择至少一个点作为拖拽点。
具体的,关系曲线是由若干个点构成的,因此可以选择其中的至少一个点作为拖拽点。具体的,可以通过用户的选点操作进行,例如该选点操作可以是点击操作。拖拽点可以是关系曲线上的任意点,具体的选取标准可以根据用户的需求和意图确定。
举例而言,当关系曲线是二次函数曲线时,当用户期望改变抛物线的形状时,可以根据需求进行选择。拖拽点和拖拽操作呈对应关系,在确定拖拽点之后,可以根据拖拽点进行拖拽操作;或者是在检测到拖拽点之后,根据拖拽操作确定拖拽点。具体的,可以通过检测拖拽过程中拖拽标识的坐标作为拖拽点的坐标来确定拖拽点的实时位置。
其中,拖拽点的个数可以根据用户的需求设定。举例而言,当关系曲线为直线时,可以选择一个点作为拖拽点;当关系曲线为抛物线,且选取抛物线的顶点为拖拽点时,实现的是抛物线的平移,而抛物线的形状并没有发生改变;当目标函数曲线为反比例函数曲线,也可以选择一个点作为拖拽点。
在步骤S430中,响应于用户的拖拽操作控制所述拖拽点移动,并据拖拽点移动过程中的实时坐标调整关系曲线。
随着拖拽操作的持续,拖拽点在坐标系中系统,保持关系曲线上至少一个参考点的位置不变。其中,参考点的个数可以根据具体的函数曲线的类型确定。若关系曲线的类型为直线时,参考点的个数可以为一个;若关系曲线的类型为抛物线,参考点的个数可以为一个,也可以为两个,例如起始点和终点。
其中,保持关系曲线上的至少一个参考点的位置不变可以是该参考点的位置不变,亦即调整更新后的关系曲线始终经过该参考点。确定参考点的方式可以是在检测到拖拽操作时,提供一个参考点输入框,用户手动将参考点的坐标输入,也可以是自动提示可选的参考点坐标以供用户选择,还可以是其他方式,本示例性实施例对此不做特殊限定。
在步骤S440中,根据调整后的关系曲线确定像素处理模型中的对应关系。
实时获取拖拽点在移动过程中的横坐标和纵坐标,然后根据关系曲线、参考点的坐标和拖拽点在拖拽过程中的横纵坐标来确定更新后的关系曲线。
在本示例性实施例中,对确定的关系曲线按照用户需求和期望进行实时调整,实现了对关系曲线的实时更新并显示,使得用户需求可视化,并保证候选对原始函数值的处理更为准确。
在可选的实施例中,图5示出了根据拟合得到对应关系的方法的流程示意图,如图5所示,该方法至少包括以下步骤:在步骤S510中,获取与原始像素值对应的标准像素值,其中,标准像素值由用户选择得到。
其中,标准像素值可以是用户自定义的,具体的,可以分场景、分目标以及分设备进行定义。具体的,分场景定义可以是当前场景的特点和用户的需求进行设计,例如当前场景的对比度低,画面信息难以区分,可以设计定义几个高对比度的点作为标准像素值;分目标定义可以是在目标之间的对比度低,差异不明显时,标定几个目标上的高对比度的点作为标准像素值;分设备定义可以是考虑到设备之间的个体差异性,比如不同设备的拍摄清晰度不同,可以根据使用设备的拍摄效果定义几个点作为标准像素值。除此之外,也可以根据其他进行个性化设计,并且也可以是根据其他计算等方式得到标准像素值,本示例性实施例对此不做特殊限定。
在确定多个原始像素值时,至少可以确定两个,对应的,可以至少得到两个标准像素值。在得到多个原始像素值对应的多个标准像素值时,表明已知像素处理模型的对应关系中的几个点的输入和输出,因此,可以确定一与原始像素值对应的坐标系,该坐标系的横坐标表示原始像素值,纵坐标轴表示标准像素值。进一步的,按照多个原始像素值和对应的标准像素值可以在该坐标系中标定出对应的离散点。
在步骤S520中,对多个原始像素值和多个标准像素值进行拟合得到像素处理模型中的对应关系。
在坐标系上得到与多个原始像素值和多个标准像素值对应的离散点之后,可以对离散点进行曲线拟合得到关系曲线。具体的,可以利用MATLAB里的曲线拟合工具箱实现,也可以通过其他方式进行拟合,本示例性实施例对此不做特殊限定。在拟合得到关系曲线之后,可以将该关系曲线作为像素处理模型中的对应关系。
在本示例性实施例中,根据用户期望可以在线设计对应关系,广泛了像素处理模型生成的个性化设计方式,还提高了像素处理模型生成的实时性。
除了可以根据用户的意图确定像素处理模型中的对应关系之外,还可以根据待处理红外图像的图像参数信息确定与待处理红外图像对应的像素处理模型。具体的,图6和图7分别示出了根据待处理红外图像中的参数或者感兴趣区域确定像素处理模型的方法的流程示意图。
在可选的实施例中,图6示出了根据图像信息确定像素处理模型的方法的流程示意图,如图6所示,该方法至少包括以下步骤:在步骤S610中,获取待处理红外图像的拍摄信息和/或图像参数信息。
在可选的实施例中,拍摄信息包括待处理红外图像的拍摄时间信息、拍摄场景地理位置信息、拍摄场景中目标物的状态信息。
举例而言,拍摄时间信息可以是表征该待处理红外图像是在白天或者夜晚拍摄的信息;拍摄场景地理位置信息可以包括例如坐标和海拔等信息;拍摄场景中的目标物的状态信息可以是静止、移动或者旋转等信息。除此之外,还可以包括其他信息,本示例性实施例对此不做特殊限定。
除此之外,还可以获取待处理红外图像的图像参数信息。举例而言,该图像参数信息可以包括待处理红外图像的分辨率和像素等信息,还可以包括例如对比度、亮度和饱和度等图像参数。
低对比度场景可以是场景中有雾、霾等情况下的场景。通常情况下,天气条件既对可见度又对捕获图像的设备有很大影响。由于散射、霾和雾会造成不需要的杂散光,因此会由于例如雾、霾等造成的散射而丢失对比度。低亮度场景可以是例如夜晚等照度较低的情况下的场景。饱和度较低时会导致图像的色彩纯度较低,场景较为黯淡,显示效果不佳。
在步骤S620中,根据拍摄信息和/或图像参数信息确定像素处理模型。
举例而言,根据白天和夜晚的拍摄特点,例如亮度信号、曝光值等的差别,可以确定不同的像素处理模型;或者是根据分辨率的差别对应选择不同的像素处理模型等。除此之外,除了可以仅根据拍摄信息或者图像参数信息确定像素处理模型之外,还可以同时根据拍摄信息与图像参数信息确定对应的像素处理模型。
在本示例性实施例中,根据拍摄信息和图像参数信息确定像素处理模型的方法,可以与拍摄情况和图像参数紧密贴合,从图像信息这一维度确定更为准确地像素处理模型。
在可选的实施例中,图7示出了根据感兴趣区域确定像素处理模型的方法的流程示意图,如图7所示,该方法至少包括以下步骤:在步骤S710中,在所述待处理红外图像中确定感兴趣区域,并确定所述感兴趣区域的区域参数信息。
其中,感兴趣区域可以是通过用户输入、选取或标定的,也可以是根据已训练好的机器学习模型输出得到的。在确定感兴趣区域之后,可以进一步对应获取该感兴趣区域的区域参数信息。
在可选的实施例中,区域参数信息包括区域图像参数信息和/或区域特征参数信息。其中,区域图像参数信息包括以下任意参数:对比度、亮度或饱和度;区域特征参数信息包括以下任意参数:感兴趣区域的尺寸、感兴趣区域中的目标物的类型、感兴趣区域在图像中的位置。
举例而言,感兴趣区域的尺寸可以是例如区域大小,也可以是感兴趣区域在待处理红外图像中的占比大小等信息;感兴趣区域中的目标物的类型可以是景物或者动态物体类型,也可以是人或者动物类型,还可以是分类包含的类型;感兴趣区域在图像中的位置可以是上方、下方等任意表征所在位置的信息,本示例性实施例对此不做特殊限定。
在步骤S720中,根据所述区域参数信息确定所述像素处理模型。
举例而言,当感兴趣区域的对比度低时,为确定是否需要对区域的对比度进行调整,可以设定一预设对比度阈值,具体数值可以根据实际情况进行设置,本示例性实施例对此不做特殊限定。鉴于该感兴趣区域可以有一个或多个,因此可以针对多个感兴趣区域设定同一预设对比度阈值,也可以针对不同的感兴趣区域设定不同的预设对比度阈值,本示例性实施例对此不做特殊限定。
当将感兴趣区域的对比度与对应的预设对比度阈值进行比较,比较结果可以是感兴趣区域的对比度小于预设对比度阈值,此时可以对应的像素处理模型。该像素处理模型中的对应关系可以调整低对比度的感兴趣区域。
更进一步的,在多个感兴趣区域的情况下,还可以针对感兴趣区域的对比度的比值确定像素处理模型。
具体的,对多个感兴趣区域的对比度的计算可以通过除法计算进行两两区域对比度之间进行计算,将计算结果确定为对应的对比度比值。除此之外,也可以通过其他计算公式计算对比度比值,本示例性实施例对此不做特殊限定。
为确定两两感兴趣区域之间的对比度是否相差太大,可以设置一预设对比度比值阈值进行限定,具体的预设对比度比值阈值可以根据实际情况进行设置,本示例性实施例对此不做特殊限定。
当对比度比值小于预设对比度比值阈值时,表明两个感兴趣区域之间的对比度差异不明显,可以确定对应的像素处理模型,该像素处理模型的对应关系可以调整感兴趣区域之间的对比度差异。
为确定是否需要对感兴趣区域的亮度进行调整,可以设定一预设亮度阈值,具体数值可以根据实际情况进行设置,本示例性实施例对此不做特殊限定。鉴于该感兴趣区域可以有一个或多个,因此可以针对多个感兴趣区域设定同一预设亮度阈值,也可以针对不同的感兴趣区域设定不同的预设亮度阈值,本示例性实施例对此不做特殊限定。
当将感兴趣区域的亮度与对应的预设亮度阈值进行比较,比较结果可以是亮度小于预设亮度阈值,此时可以确定对应的像素处理模型。该像素处理模型的对应关系可以调整低亮度的感兴趣区域。
更进一步的,在多个感兴趣区域的情况下,还可以针对感兴趣区域的亮度的比值确定像素处理模型。
具体的,对多个感兴趣区域的亮度的计算可以通过除法计算进行两两区域亮度之间进行计算,将计算结果确定为对应的亮度比值。除此之外,也可以通过其他计算公式计算亮度比值,本示例性实施例对此不做特殊限定。
为确定两两感兴趣区域之间的亮度是否相差太大,可以设置一预设亮度比值阈值进行限定,具体的预设亮度比值阈值可以根据实际情况进行设置,本示例性实施例对此不做特殊限定。
当亮度比值小于预设亮度比值阈值时,表明两个感兴趣区域之间的亮度差异不明显,可以确定对应的像素处理模型,该像素处理模型的对应关系可以调整感兴趣区域之间的亮度差异。
为确定是否需要对区域饱和度进行调整,可以设定一预设饱和度阈值,具体数值可以根据实际情况进行设置,本示例性实施例对此不做特殊限定。鉴于该感兴趣区域可以有一个或多个,因此可以针对多个感兴趣区域设定同一预设饱和度阈值,也可以针对不同的感兴趣区域设定不同的预设饱和度阈值,本示例性实施例对此不做特殊限定。
当将感兴趣区域的对比度与对应的预设饱和度阈值进行比较,比较结果可以是饱和度小于预设饱和度阈值,此时可以确定对应的像素处理模型。该像素处理模型的对应关系可以调整低饱和度的感兴趣区域。
更进一步的,在多个感兴趣区域的情况下,还可以针对感兴趣区域的饱和度的比值确定像素处理模型。
具体的,对多个感兴趣区域的饱和度的计算可以通过除法计算进行两两区域饱和度之间进行计算,将计算结果确定为对应的饱和度比值。除此之外,也可以通过其他计算公式计算饱和度比值,本示例性实施例对此不做特殊限定。
为确定两两感兴趣区域之间的饱和度是否相差太大,可以设置一预设饱和度比值阈值进行限定,具体的预设饱和度比值阈值可以根据实际情况进行设置,本示例性实施例对此不做特殊限定。
当饱和度比值小于预设饱和度比值阈值时,表明两个感兴趣区域之间的饱和度差异不明显,可以确定对应的像素处理模型,该像素处理模型的对应关系可以调整感兴趣区域之间的饱和度差异。
在本示例性实施例中,通过确定感兴趣区域的的区域参数信息确定对应的像素处理模型,可以进一步实现感兴趣区域之间参数的差异化,增强对感兴趣区域的识别能力。
除了根据用户选择以及图像参数的方式确定像素处理模型之外,还可以通过函数关系的方式直接确定像素处理模型中的对应关系。
在可选的实施例中,针对待处理红外图像预设有多个待选对应关系,根据多个待选对应关系确定像素处理模型中的所述对应关系。
待选对应关系可以是预先定义的多种函数关系以作为用户离线设计时的选择参考。在用户要通过函数关系直接确定与待处理红外图像对应的对应关系时,可以在待选对应关系中选择一个或多作为像素处理模型中的对应关系。
当用户选择一个作为待选对应关系时,可以直接确定该待选对应关系为待处理红外图像对应的像素处理模型中的对应关系。为使得待选对应关系更贴近用户的需求,用户还可以手动对对应关系进行调整,具体调整方式不做限定。
当用户选择多个待选对应关系时,可以对多个待选对应关系进行组合以确定像素处理模型中的对应关系。
在可选的实施例中,像素处理模型中的对应关系包括多段定义域范围,图8示出了组合待选对应关系的方法的流程示意图,如图8所示,该方法至少包括以下步骤:在步骤S810中,从多个待选对应关系中,确定每一段定义域范围对应的待选对应关系。
待选对应关系除了具有函数关系式之外,还对应存储有与函数关系式对应的定义域范围。进一步的,可以根据用户的期望在定义域范围内选定期望与待选对应关系对应的定义域范围。多个待选对应关系的定义域范围可以是通过开区间和闭区间相连接,也可以通过开区间和开区间相隔开,还可以是通过闭区间和闭区间相重合,本示例性实施例对此不做特殊限定。
在步骤S820中,将多段定义域范围对应的待选对应关系进行组合,得到像素处理模型中的对应关系。
根据确定后的多段定义域范围可以将待选对应关系之间进行组合,呈现出在一段区间内对应其中一个待选对应关系,在另一段区间内对应另一个待选对应关系的结果,将最终的呈现结果作为目像素处理模型中的对应关系。此时,对应关系可以是通过多个定义域范围相连的多个待选对应关系组合而成的。进一步的可以通过用户期望进行调整,调整方式不做特殊限定。
在本示例性实施例中,通过在待选对应关系为一个和多个的情况下设定对应的对应关系,设定准确且方式多样化,丰富了映射关系的设定场景。
值得说明的是,像素处理模型中的对应关系可以根据实际情况设定不同的呈现方式,以便于用户查询。
在可选的实施例中,对应关系为函数关系或表格对应关系。
不论是根据用户的需求确定对应关系时,还是根据图像信息确定像素处理模型时,或者是根据待选对应关系确定像素处理模型中的对应关系,函数关系或者表格对应关系的方式均适用,用户可以根据自己的需要选定一种或多种呈现方式,以进一步对原像素值进行处理得到对应的目标像素值。
在步骤S130中,将原始像素值输入像素处理模型得到输出的目标像素值,根据所述目标像素值作生成处理后的红外图像。
在本公开的示例性实施例中,可以通过代入像素处理模型中的函数关系或者是查表等多种方式确定与原始像素值对应的目标像素值。
具体的,当根据用户选择的关系曲线确定目标像素值时,可以是对关系曲线进行调整后进行的。具体的,在关系曲线的横坐标上查找原始像素值,在该关系曲线上确定该横坐标对应的点,并将该点对应的纵坐标对应的数值确定为目标像素值即可。
当对应关系为函数关系时,由于函数关系已经得到或者已经经过调整,因此,直接代入原始像素值的数值即可将得出的计算结果作为目标像素值即可。
当对应关系为表格对应关系时,用户可以通过在表格中查找与原始像素值对应的数值,并将与该数值对应的另一数值作为目标像素值。
在得到已经处理后的目标像素值之后,可以直接根据目标像素值生成目标红外图像。该目标红外图像即为通过对待处理红外图像进行增强处理后得到的。
在本公开的示例性实施例中,本公开一方面,通过原始像素值与目标像素值之间的像素处理模型对待处理红外图像进行处理,相比于传统的增强方式计算量小,且运算效率高;另一方面,该像素处理模型中的UI应关系的设计支持根据产品、目标及不同设备的个性化设计,对于不同需求的增强效果更好,更进一步的,对对应关系的确定还支持离线和在线两种方式,便于用于实时设计曲线,并实时查看增强效果,适用场景更加广泛。
需要说明的是,虽然以上示例性实施例的实施方式以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或者必须执行全部的步骤才能实现期望的结果。附加地或者备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
此外,在本公开的示例性实施例中,还提供一种红外图像处理装置。图9示出了红外图像处理装置的结构示意图,如图9所示,红外图像处理装置可以包括:处理器910和存储器920。其中:
存储器910,用于存储所述处理器910的可执行指令;
其中,处理器910被配置为经由执行可执行指令来执行:
获取待处理红外图像的原始像素值;
获取与待处理红外图像对应的像素处理模型,其中,像素处理模型包括输入的像素值与输出的像素值的对应关系;
将原始像素值输入像素处理模型得到输出的目标像素值,将目标像素值作为像素点处理后的像素值生成处理后的红外图像。
在本公开的一种示例性实施例中,对应关系是基于用户操作确定的。
在本公开的一种示例性实施例中,获取与待处理红外图像对应的像素处理模型,包括:
在用户界面上展示关系曲线,其中,关系曲线的横坐标表示输入的像素值,关系曲线的纵坐标表示输出的像素值;
响应于用户的选点操作,在关系曲线中选择至少一个点作为拖拽点;
响应于用户的拖拽操作控制拖拽点移动,并据拖拽点移动过程中的实时坐标调整关系曲线;
根据调整后的关系曲线确定像素处理模型中的对应关系。
在本公开的一种示例性实施例中,获取与待处理红外图像对应的像素处理模型,包括:
获取与原始像素值对应的标准像素值,其中,标准像素值由用户选择得到;
对多个原始像素值和多个标准像素值进行拟合得到像素处理模型中的对应关系。
在本公开的一种示例性实施例中,获取与待处理红外图像对应的像素处理模型,包括:
获取待处理红外图像的拍摄信息和/或图像参数信息;
根据拍摄信息和/或图像参数信息确定像素处理模型。
在本公开的一种示例性实施例中,拍摄信息包括待处理红外图像的拍摄时间信息、拍摄场景地理位置信息、拍摄场景中目标物的状态信息。
在本公开的一种示例性实施例中,获取与待处理红外图像对应的像素处理模型,包括:
在待处理红外图像中确定感兴趣区域,并确定感兴趣区域的区域参数信息;
根据区域参数信息确定像素处理模型。
在本公开的一种示例性实施例中,区域参数信息包括区域图像参数信息和/或区域特征参数;
其中,区域图像参数信息包括以下任意参数:对比度、亮度或饱和度;
区域特征参数信息包括以下任意参数:感兴趣区域的尺寸、感兴趣区域中的目标物的类型、感兴区域在图像中的位置。
在本公开的一种示例性实施例中,获取与待处理红外图像对应的像素处理模型,包括:
针对待处理红外图像预设有多个待选对应关系,根据多个待选对应关系确定像素处理模型中的对应关系。
在本公开的一种示例性实施例中,像素处理模型中的对应关系包括多段定义域范围,根据多个待选对应关系获取像素处理模型中的对应关系,包括:
从多个待选对应关系中,确定每一段定义域范围对应的待选对应关系;
将多段定义域范围对应的待选对应关系进行组合,得到像素处理模型中的对应关系。
在本公开的一种示例性实施例中,对应关系为函数关系或表格对应关系。
在本公开的一种示例性实施例中,处理红外图像是通过可移动平台上的红外摄像头采集得到的。
在本公开的一种示例性实施例中,获取待处理红外图像的原始像素值,包括:
在接收到自然光时,利用设置有电荷耦合器件芯片的摄像头接收滤光片滤除自然光后的漫反射红外光;
根据漫反射红外光生成待处理红外图像,并获取待处理红外图像的原始像素值。
在本公开的一种示例性实施例中,装置还包括:
确定待处理红外图像中的待矫正像素点,并执行以下任意操作:
利用非均匀性矫正算法对待矫正像素点进行非均匀性矫正,得到与待矫正像素点对应的原始像素值;
对待矫正像素点进行切向畸变矫正和/或径向畸变矫正,得到与待矫正像素点对应的原始像素值;
对待矫正像素点进行坏点矫正,得到与待矫正像素点对应的原始像素值。
在本公开的一种示例性实施例中,装置应用于可移动平台或者用于控制可移动平台运动的控制终端上。
上述红外图像处理装置的具体细节已经在对应的红外图像处理方法中进行了详细的描述,因此此处不再赘述。
本示例性实施方式提供的红外图像处理装置在一方面,通过原始像素值与目标像素值之间的像素处理模型对待处理红外图像进行处理,相比于传统的增强方式计算量小,且运算效率高;另一方面,该像素处理模型的对应关系的设计支持根据产品、目标及不同设备的个性化设计,对于不同需求的增强效果更好,更进一步的,对对应关系的确定还支持离线和在线两种方式,便于用于实时设计曲线,并实时查看增强效果,适用场景更加广泛。
在本公开的一种示例性实施例中,提供一种可移动平台的控制终端,包括:通信模块,用于接收由可移动平台采集的待处理红外图像;以及,上述所述的红外图像处理装置。
该控制终端可以响应于用户在操作界面上的操作,控制可移动平台运动。随着可移动平台运动,可移动平台上搭载的红外传感器的可以采集场景内的景象的红外图像,并且,通过可移动平台上搭载的通信模块,将采集的所述红外图像,传输至所述控制终端。
本公开示例性实施方式还提供一种可移动平台。图10示出了可移动平台的结构示意图,如图10所示,该可移动平台可以包括:
机体1010;
动力系统1020,设于机体1010,动力系统1020用于为可移动平台提供动力;
红外图像处理装置1030,其结构如图9所示,在此不再赘述。
示例性的,上述红外图像处理系统1030可以应用于动力系统、作业系统等等可移动平台的功能系统中。
本公开示例性实施方式还提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现本公开示例性实施方式中任一种红外图像处理方法,例如可以执行图1中的方法步骤。
该计算机可读介质可以是上述实施方式中描述的可移动物体中所包含的;也可以是单独存在,而未装配入该可移动物体中。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施例,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (32)
1.一种红外图像处理方法,其特征在于,包括:
获取待处理红外图像的原始像素值;
获取与所述待处理红外图像对应的像素处理模型,其中,所述像素处理模型包括输入的像素值与输出的像素值的对应关系;
将所述原始像素值输入所述像素处理模型得到输出的目标像素值,根据所述目标像素值生成处理后的红外图像。
2.根据权利要求1所述的方法,其特征在于,所述对应关系是基于用户操作确定的。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
在用户界面上展示关系曲线,其中,所述关系曲线的横坐标表示所述输入的像素值,所述关系曲线的纵坐标表示所述输出的像素值;
响应于用户的选点操作,在所述关系曲线中选择至少一个点作为拖拽点;
响应于用户的拖拽操作控制所述拖拽点移动,并根据所述拖拽点移动过程中的实时坐标调整所述关系曲线;
根据调整后的所述关系曲线确定所述像素处理模型中的所述对应关系。
4.根据权利要求2所述的方法,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
获取与所述原始像素值对应的标准像素值,其中,所述标准像素值由用户选择得到;
对多个所述原始像素值和所述多个所述标准像素值进行拟合得到所述像素处理模型中的所述对应关系。
5.根据权利要求1所述的方法,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
获取所述待处理红外图像的拍摄信息和/或图像参数信息;
根据所述拍摄信息和/或图像参数信息确定所述像素处理模型。
6.根据权利要求5所述的方法,其特征在于,所述拍摄信息包括所述待处理红外图像的拍摄时间信息、拍摄场景地理位置信息、拍摄场景中目标物的状态信息。
7.根据权利要求1所述的方法,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
在所述待处理红外图像中确定感兴趣区域,并确定所述感兴趣区域的区域参数信息;
根据所述区域参数信息确定所述像素处理模型。
8.根据权利要求7所述的方法,其特征在于,所述区域参数信息包括区域图像参数信息和/或区域特征参数信息;
其中,所述区域图像参数信息所述包括以下任意参数:对比度、亮度或饱和度;
所述区域特征参数信息包括以下任意参数:所述感兴趣区域的尺寸、所述感兴趣区域中的目标物的类型、所述感兴区域在所述图像中的位置。
9.根据权利要求1所述的方法,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
针对所述待处理红外图像预设有多个待选对应关系,根据多个所述待选对应关系确定所述像素处理模型中的所述对应关系。
10.根据权利要求9所述的方法,其特征在于,所述像素处理模型中的所述对应关系包括多段定义域范围,所述根据多个所述待选对应关系获取所述像素处理模型中的所述对应关系,包括:
从多个所述待选对应关系中,确定每一段所述定义域范围对应的待选对应关系;
将多段所述定义域范围对应的待选对应关系进行组合,得到所述像素处理模型中的所述对应关系。
11.根据权利要求1所述的方法,其特征在于,所述对应关系为函数关系或表格对应关系。
12.根据权利要求1所述的方法,其特征在于,所述待处理红外图像是通过可移动平台上的红外摄像头采集得到的。
13.根据权利要求1所述的方法,其特征在于,所述获取待处理红外图像的原始像素值,包括:
在接收到自然光时,利用设置有电荷耦合器件芯片的摄像头接收滤光片滤除所述自然光后的漫反射红外光;
根据所述漫反射红外光生成待处理红外图像,并获取所述待处理红外图像的原始像素值。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述待处理红外图像中的待矫正像素点,并执行以下任意操作:
利用非均匀性矫正算法对所述待矫正像素点进行非均匀性矫正,得到与所述待矫正像素点对应的原始像素值;
对所述待矫正像素点进行切向畸变矫正和/或径向畸变矫正,得到与所述待矫正像素点对应的原始像素值;
对所述待矫正像素点进行坏点矫正,得到与所述待矫正像素点对应的原始像素值。
15.一种红外图像处理装置,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行:
获取待处理红外图像的原始像素值;
获取与所述待处理红外图像对应的像素处理模型,其中,所述像素处理模型包括输入的像素值与输出的像素值的对应关系;
将所述原始像素值输入所述像素处理模型得到输出的目标像素值,根据所述目标像素值生成处理后的红外图像。
16.根据权利要求15所述的装置,其特征在于,所述对应关系是基于用户操作确定的。
17.根据权利要求16所述的装置,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
在用户界面上展示关系曲线,其中,所述关系曲线的横坐标表示所述输入的像素值,所述关系曲线的纵坐标表示所述输出的像素值;
响应于用户的选点操作,在所述关系曲线中选择至少一个点作为拖拽点;
响应于用户的拖拽操作控制所述拖拽点移动,并据所述拖拽点移动过程中的实时坐标调整所述关系曲线;
根据调整后的所述关系曲线确定所述像素处理模型中的所述对应关系。
18.根据权利要求15所述的装置,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
获取与所述原始像素值对应的标准像素值,其中,所述标准像素值由用户选择得到;
对多个所述原始像素值和所述多个所述标准像素值进行拟合得到所述像素处理模型中的所述对应关系。
19.根据权利要求15所述的装置,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
获取所述待处理红外图像的拍摄信息和/或图像参数信息;
根据所述拍摄信息和/或图像参数信息确定所述像素处理模型。
20.根据权利要求19所述的装置,其特征在于,所述拍摄信息包括所述待处理红外图像的拍摄时间信息、拍摄场景地理位置信息、拍摄场景中目标物的状态信息。
21.根据权利要求15所述的装置,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
在所述待处理红外图像中确定感兴趣区域,并确定所述感兴趣区域的区域参数信息;
根据所述区域参数信息确定所述像素处理模型。
22.根据权利要求21所述的装置,其特征在于,所述区域参数信息包括区域图像参数信息和/或区域特征参数;
其中,所述区域图像参数信息所述包括以下任意参数:对比度、亮度或饱和度;
所述区域特征参数信息包括以下任意参数:所述感兴趣区域的尺寸、所述感兴趣区域中的目标物的类型、所述感兴区域在所述图像中的位置。
23.根据权利要求15所述的装置,其特征在于,所述获取与所述待处理红外图像对应的像素处理模型,包括:
针对所述待处理红外图像预设有多个待选对应关系,根据多个所述待选对应关系确定所述像素处理模型中的所述对应关系。
24.根据权利要求23所述的装置,其特征在于,所述像素处理模型中的所述对应关系包括多段定义域范围,所述根据多个所述待选对应关系获取所述像素处理模型中的所述对应关系,包括:
从多个所述待选对应关系中,确定每一段所述定义域范围对应的待选对应关系;
将多段所述定义域范围对应的待选对应关系进行组合,得到所述像素处理模型中的所述对应关系。
25.根据权利要求15所述的装置,其特征在于,所述对应关系为函数关系或表格对应关系。
26.根据权利要求15所述的装置,其特征在于,所述待处理红外图像是通过可移动平台上的红外摄像头采集得到的。
27.根据权利要求15所述的装置,其特征在于,所述获取待处理红外图像的原始像素值,包括:
在接收到自然光时,利用设置有电荷耦合器件芯片的摄像头接收滤光片滤除所述自然光后的漫反射红外光;
根据所述漫反射红外光生成待处理红外图像,并获取所述待处理红外图像的原始像素值。
28.根据权利要求15所述的装置,其特征在于,所述装置还包括:
确定所述待处理红外图像中的待矫正像素点,并执行以下任意操作:
利用非均匀性矫正算法对所述待矫正像素点进行非均匀性矫正,得到与所述待矫正像素点对应的原始像素值;
对所述待矫正像素点进行切向畸变矫正和/或径向畸变矫正,得到与所述待矫正像素点对应的原始像素值;
对所述待矫正像素点进行坏点矫正,得到与所述待矫正像素点对应的原始像素值。
29.根据权利要求15所述的装置,其特征在于,所述装置应用于可移动平台或者用于控制可移动平台运动的控制终端上。
30.一种可移动平台,其特征在于,包括:
机体;
动力系统,设于所述机体,所述动力系统用于为所述可移动平台提供动力;
以及,权利要求15-29任一项所述的红外图像处理装置。
31.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-14任一项所述的红外图像处理方法。
32.一种可移动平台的控制终端,其特征在于,包括:
通信模块,用于接收由可移动平台采集的待处理红外图像;
以及,权利要求15-29任一项所述的红外图像处理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/086497 WO2021212435A1 (zh) | 2020-04-23 | 2020-04-23 | 红外图像处理方法、装置、可移动平台与计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112771568A true CN112771568A (zh) | 2021-05-07 |
Family
ID=75699503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080005062.5A Pending CN112771568A (zh) | 2020-04-23 | 2020-04-23 | 红外图像处理方法、装置、可移动平台与计算机可读介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112771568A (zh) |
WO (1) | WO2021212435A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692615B (zh) * | 2024-02-01 | 2024-04-26 | 东北大学秦皇岛分校 | 一种基于红外波长的rgb图像通信方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208101A (zh) * | 2011-04-29 | 2011-10-05 | 中国航空工业集团公司洛阳电光设备研究所 | 一种红外图像的自适应线性变换增强方法 |
CN106342330B (zh) * | 2009-08-12 | 2013-04-17 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于红外图像的伽马校正的图像增强方法 |
US8515196B1 (en) * | 2009-07-31 | 2013-08-20 | Flir Systems, Inc. | Systems and methods for processing infrared images |
-
2020
- 2020-04-23 CN CN202080005062.5A patent/CN112771568A/zh active Pending
- 2020-04-23 WO PCT/CN2020/086497 patent/WO2021212435A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515196B1 (en) * | 2009-07-31 | 2013-08-20 | Flir Systems, Inc. | Systems and methods for processing infrared images |
CN106342330B (zh) * | 2009-08-12 | 2013-04-17 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于红外图像的伽马校正的图像增强方法 |
CN102208101A (zh) * | 2011-04-29 | 2011-10-05 | 中国航空工业集团公司洛阳电光设备研究所 | 一种红外图像的自适应线性变换增强方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021212435A1 (zh) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019105154A1 (en) | Image processing method, apparatus and device | |
CN108171673B (zh) | 图像处理方法、装置、车载抬头显示系统及车辆 | |
CN110148204B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
CN109477710B (zh) | 基于点的结构化光系统的反射率图估计 | |
CN107113408B (zh) | 图像处理装置、图像处理方法、程序和系统 | |
CN111345029B (zh) | 一种目标追踪方法、装置、可移动平台及存储介质 | |
US10482347B2 (en) | Inspection of the contoured surface of the undercarriage of a motor vehicle | |
CN110675448B (zh) | 基于民航客机的地面灯光遥感监测方法、系统及存储介质 | |
Kordecki et al. | Practical vignetting correction method for digital camera with measurement of surface luminance distribution | |
CN110458964B (zh) | 一种现实环境动态光照的实时计算方法 | |
US11206376B2 (en) | Systems and methods for image processing | |
WO2024051067A1 (zh) | 红外图像处理方法、装置及设备、存储介质 | |
Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
JP2022522375A (ja) | 画像収集制御方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム | |
CN112771568A (zh) | 红外图像处理方法、装置、可移动平台与计算机可读介质 | |
CN109658359B (zh) | 大气悬浮物检测系统及其检测方法 | |
US20220189132A1 (en) | Interest determination apparatus, interest determination system, interest determination method, and non-transitory computer readable medium storing program | |
CN113988957B (zh) | 基于元素识别的图像自动化评分方法与评分系统 | |
CN115115653A (zh) | 一种冷热冲击试验箱精细化温度校准方法 | |
US20220224822A1 (en) | Multi-camera system, control value calculation method, and control apparatus | |
CN114002704A (zh) | 一种用于桥梁隧道的激光雷达监测方法、装置以及介质 | |
Kordecki et al. | Local polynomial model: A new approach to vignetting correction | |
Wegner et al. | Image based performance analysis of thermal imagers | |
CN110910379A (zh) | 一种残缺检测方法及装置 | |
Qiu et al. | Perception-oriented UAV Image Dehazing Based on Super-Pixel Scene Prior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210507 |