CN112367472A

CN112367472A - 一种可见光图像和红外热成像图像融合矫正的方法

Info

Publication number: CN112367472A
Application number: CN202011241871.4A
Authority: CN
Inventors: 朱合; 戴嘉通
Original assignee: Hangzhou Shihui Technology Co ltd
Current assignee: Hangzhou Shihui Technology Co ltd
Priority date: 2020-11-09
Filing date: 2020-11-09
Publication date: 2021-02-12
Anticipated expiration: 2040-11-09
Also published as: CN112367472B

Abstract

本发明提供一种可见光图像和红外热成像图像融合矫正的方法，包括：对获取的可见光图像和红外热成像图像进行判定是否需要矫正；启动双光图像融合矫正；控制可见光相机进行光学变焦，光学变焦后将所述可见光图像与所述红外热成像图像进行匹配，匹配后获取最佳匹配点；保存光学变焦位置Zn，并保存所述可见光图像和所述红外热成像图像双光融合匹配参数，完成双光融合矫正，本发明通过深度学习边沿检测、光学变焦进行自动矫正补偿，实现可见光图像和红外热成像图像的双光融合。

Description

一种可见光图像和红外热成像图像融合矫正的方法

技术领域

本发明涉及图像处理领域，具体涉及一种可见光图像和红外热成像图像融合矫正的方法。

背景技术

目前市面上安防、无人机等非民用行业的可见光图像和红外热成像图像双光融合设备，双光融合的矫正算法都是在设备出厂前矫正完成，即在生产时完成可见光图像和红外热成像图像的双光融合矫正。

现有技术存在如下缺点

1.可见光图像和红外热成像图像双光融合设备是工业产品，经过长时间高低问使用后可见光镜头、热成像镜头和结构件等部件老化会出现导致焦点偏移，这个偏移会导致原来生产矫正的融合参数不匹配而图像存在虚影现象。

2.可见光图像和红外热成像图像双光融合设备是工业产品，经过运输和震动也会导致部件出现轻微小变化，导致原来融合后的图像存在虚影现象。

3.出货前的生产校准双光融合算法工时高，成本高。

发明内容

为了解决上述技术问题，本法提供一种可见光图像和红外热成像图像融合矫正的方法，进行自动矫正补偿，实现可见光图像和红外热成像图像的双光融合。

为了实现上述目的，本发明的技术方案如下：

一种可见光图像和红外热成像图像融合矫正的方法，包括以下步骤：

步骤1；对获取的可见光图像和红外热成像图像进行判定是否需要矫正，其中，所述可见光图像和所述红外热成像图像是否需要矫正是通过AI深度学习边沿检测算法进行判定；

步骤2；启动双光图像融合矫正；

步骤3；控制可见光相机进行光学变焦，光学变焦后将所述可见光图像与所述红外热成像图像进行匹配，匹配后获取最佳匹配点；

步骤4；保存光学变焦位置Zn，并保存所述可见光图像和所述红外热成像图像双光融合匹配参数，完成双光融合矫正。

优选地，在进行步骤1之前，通过拍摄装置对所述可见光图像和所述红外热成像图像进行采集，所述拍摄装置包括：可见光拍摄装置和红外光拍摄装置，其中，所述可见光拍摄装置用于拍摄所述可见光图像，所述红外光拍摄装置用于拍摄所述红外热成像图像。

优选地，所述AI深度学习边沿检测算法对所述可见光图像和所述红外热成像图像是否需要矫正判定包括以下步骤：

步骤S1：选择静止物体，其中，所述静止物体的温度具有区分度；

步骤S2：利用所述深度学习边沿检测算法检测所述静止物体，获取所述可见光图像的边沿轮廓C1、所述红外热成像图像的边沿轮廓C0；

步骤S3：计算所述边沿轮廓C1的重心点(X1,Y1)和所述边沿轮廓C0的重心点(X0,Y0)；

步骤S4：当出现A1＝|X1-X0|>4或者B1＝|Y1-Y0|>4的情况时，则说明需要启动所述双光图像融合矫正。

优选地，所述光学变焦是通过所述可见光相机中的光学变焦硬件进行变焦。

进一步说明，步骤2中寻找所述最佳匹配点包括以下步骤：

步骤F1：记录所述A1和所述B1的值和当前状态可见光相机光学镜头焦距Z1值，启动所述双光图像融合矫正功能；

步骤F2：然后移动控制所述可见光图像，记录移动的光学变焦位置Zn，检测更新后所述静止物体可见光图像边沿轮廓Cn、重心点(Xn,Yn)，根据所述红外热成像图像的所述边沿轮廓C0和所述重心点(X0,Y0)，计算出An＝|X2-X0|,Bn＝|Y2-Y0|值；

步骤F3：当An<3且Bn<3,则说明所述可见光图像找到与所述红外热成像图像融合匹配点，记录并保持Zn的位置；否则继续上一步动作。n>10,矫正失败，等待下次启动双光矫正。

步骤F4：当设备开启双光融合功能时，可见光相机自动变焦到Zn位置；

优选地，所述可见光相机中还设有记录模块，所述记录模块用于记录所述光学变焦位置Zn。

进一步说明，所述可见光相机中还设有传输模块，所述传输模块将所述光学变焦位置Zn、所述AI深度学习边沿检测算法中的参数、获取所述最佳匹配点中的参数传输至存储模块。

进一步说明，，所述存储模块包括：常用存储终端和备用存储终端。

进一步说明，所述常用存储终端和所述备用存储终端通过区块链方式存储所述光学变焦位置Zn、所述AI深度学习边沿检测算法中的参数、获取所述最佳匹配点中的参数。

与现有技术相比较，本发明具有的有益效果：

本发明通过深度学习边沿检测、光学变焦进行自动矫正补偿，实现可见光图像和红外热成像图像的双光融合。

本发送可进行双光融合自动矫正，使得红外热成像图像和可见光图像精确配准，提高了融合图像的画面质量。

本发明还设有记录模块，能够记录最佳匹配点的位置，当开启双光图像融合时，自动光学变焦，不需要每次都要进行繁琐的矫正，简单、方便。

本发明采用区块链方式存储光学变焦位置Zn、AI深度学习边沿检测算法中的参数、最佳匹配点中的参数，利用区块链不易篡改的特性，使数据更加安全。

附图说明

图1为本发明一种可见光图像和红外热成像图像融合矫正的方法的步骤图；

图2为本发明一种可见光图像和红外热成像图像融合矫正的方法的AI深度学习边沿检测算法步骤图；

图3为本发明一种可见光图像和红外热成像图像融合矫正的方法的获取最佳匹配点的步骤图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特征细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

结合附图1，本发明提供一种可见光图像和红外热成像图像融合矫正的方法，包括以下步骤：

在步骤1之前，首先进行数据采集过程，采集的数据为可见光图像和红外热成像图像，可见光图像和红外热成像图像由拍摄装置进行拍摄采集，拍摄装置包括：可见光拍摄装置和红外光拍摄装置，具体的来说，可见光拍摄装置用于采集可见光图像，红外光拍摄装置用于采集红外热成像图像。

进一步说明，可见光拍摄装置中设有可见光传感器，红外光拍摄装置设有热成像传感器，通过热成像传感器和可见光传感器同步采集目标场景。

步骤1；对获取的同步采集目标场景的可见光图像和红外热成像图像进行判定是否需要矫正，其中，可见光图像和红外热成像图像是否需要矫正是通过AI深度学习边沿检测算法进行判定。

进一步说明，结合附图2，AI深度学习边沿检测算法步骤图，其步骤如下：

首先，选择静止物体，其中，静止物体的温度具有区分度，温度区分度就是所选定的静止物体具有一定的温差，使得红外热成像图像比较明显，具有特色。

其次，利用AI深度学习边沿检测算法检测静止物体，获取可见光图像的边沿轮廓C1、红外热成像图像的边沿轮廓C0，边沿轮廓就是沿可见光图像、红外热成像图像边沿所形成的包围圈；

再次，计算边沿轮廓C1的重心点(X1,Y1)和边沿轮廓C0的重心点(X0,Y0)；边沿轮廓C1的重心点(X1,Y1)和边沿轮廓C0的重心点(X0,Y0)是通过重心点计算公式得到的；

最后，当出现A1＝|X1-X0|>4或者B1＝|Y1-Y0|>4的情况时，A1＝|X1-X0|>4是可见光图像重心点、红外热成像图像的重心点横坐标绝对值大于四，B1＝|Y1-Y0|>4是可见光图像重心点、红外热成像图像的重心点横坐标绝对值大于四，则说明需要启动双光图像融合矫正，通过重心点的距离来判断是否需要启动双光图像融合矫正，方面、简单、快捷。

步骤2，通过AI深度学习边沿检测算法判断出需要双光图像融合矫正，则启动双光图像融合矫正；

步骤3；控制可见光相机进行光学变焦，光学变焦后将可见光图像与红外热成像图像进行匹配，匹配后获取最佳匹配点；

进一步说明，光学变焦是通过可见光相机中的光学变焦硬件进行变焦，光学变焦硬件主要实现图像视场角变化而保持相同像素和解析度的图像画质。我利用光学变焦得到各种不同视场角度图像来匹配固定市场角度的红外热成像图像。

进一步说明，进一步说明，步骤3中，控制可见光相机进行光学变焦并寻找最佳匹配点包括以下步骤：

首先，记录A1和B1的值和当前状态可见光相机光学镜头焦距Z1值，启动双光图像融合矫正功能，其中，A1是可见光图像重心点、红外热成像图像的重心点横坐标绝对值，B1是可见光图像重心点、红外热成像图像的重心点横坐标绝对值；

其次，然后移动控制可见光图像，记录移动的光学变焦位置Zn，检测更新后静止物体可见光图像边沿轮廓Cn、重心点(Xn,Yn)，根据红外热成像图像的边沿轮廓C0和重心点(X0,Y0)，计算出An＝|X2-X0|,Bn＝|Y2-Y0|值；其中，边沿轮廓就是沿可见光图像、红外热成像图像边沿所形成的包围圈，边沿轮廓Cn的重心点(X1,Y1)是通过重心点计算公式得到的；

再次，当An<3且Bn<3,则说明可见光图像找到与红外热成像图像融合匹配点，记录并保持Zn的位置；否则继续上一步动作。n>10,矫正失败，等待下次启动双光矫正。

最后，当设备开启双光融合功能时，可见光相机自动变焦到Zn位置。

步骤4；保存光学变焦位置Zn，并保存可见光图像和红外热成像图像双光融合匹配参数，完成双光融合矫正。

在一个实施方式中，可见光相机中还设有记录模块，记录模块用于记录光学变焦位置Zn，记录模块，能够记录最佳匹配点的位置，当开启双光图像融合时，自动光学变焦，不需要每次都要进行繁琐的矫正，简单、方便。

进一步说明，可见光相机中还设有传输模块，传输模块将光学变焦位置Zn、AI深度学习边沿检测算法中的参数、获取最佳匹配点中的参数传输至存储模块，其中，存储模块包括：常用存储终端和备用存储终端。

进一步说明，常用存储终端和备用存储终端通过区块链方式存储光学变焦位置Zn、AI深度学习边沿检测算法中的参数、获取最佳匹配点中的参数，区块链存储方式是采用分布式存储、分布式监管，形成链式记录，且不可进行篡改，且利用区块链的链式关系进行回溯，一旦区块链中数据遭到拷贝等非法操作，可以通过区块链中的历史记录迅速追溯到该非法行为并进行曝光，使得违法行为无处藏匿。

最后应该说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前叙述实施对本发明进行了详细的说明，本领域的技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神与范围。

Claims

1.一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，包括以下步骤：

步骤2；启动双光图像融合矫正；

2.根据权利要求1所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，在进行步骤1之前，通过拍摄装置对所述可见光图像和所述红外热成像图像进行采集，所述拍摄装置包括：可见光拍摄装置和红外光拍摄装置，其中，所述可见光拍摄装置用于拍摄所述可见光图像，所述红外光拍摄装置用于拍摄所述红外热成像图像。

3.根据权利要求1所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，所述AI深度学习边沿检测算法对所述可见光图像和所述红外热成像图像是否需要矫正判定包括以下步骤：

4.根据权利要求1所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，所述光学变焦是通过所述可见光相机中的光学变焦硬件进行变焦。

5.根据权利要求3所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，步骤3中寻找所述最佳匹配点包括以下步骤：

步骤F3：当An<3且Bn<3,则说明所述可见光图像找到与所述红外热成像图像融合匹配点，记录并保持Zn的位置；否则继续上一步动作。n>10,矫正失败，等待下次启动双光矫正；

步骤F4：当设备开启双光融合功能时，可见光相机自动变焦到Zn位置。

6.根据权利要求1所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，所述可见光相机中还设有记录模块，所述记录模块用于记录所述光学变焦位置Zn。

7.根据权利要求5所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，所述可见光相机中还设有传输模块，所述传输模块将所述光学变焦位置Zn、所述AI深度学习边沿检测算法中的参数、获取所述最佳匹配点中的参数传输至存储模块。

8.根据权利要求7所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，所述存储模块包括：常用存储终端和备用存储终端。

9.根据权利要求8所述的一种可见光图像和红外热成像图像融合矫正的方法，其特征在于，所述常用存储终端和所述备用存储终端通过区块链方式存储所述光学变焦位置Zn、所述AI深度学习边沿检测算法中的参数、获取所述最佳匹配点中的参数。