CN114567722B - 一种运动图像快速合成方法、装置、设备、介质 - Google Patents
一种运动图像快速合成方法、装置、设备、介质 Download PDFInfo
- Publication number
- CN114567722B CN114567722B CN202111614953.3A CN202111614953A CN114567722B CN 114567722 B CN114567722 B CN 114567722B CN 202111614953 A CN202111614953 A CN 202111614953A CN 114567722 B CN114567722 B CN 114567722B
- Authority
- CN
- China
- Prior art keywords
- image
- inertial sensor
- linear array
- odd
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000001308 synthesis method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种运动图像快速合成方法、装置、设备、介质，根据惯性传感器速度和高度，利用已知的线阵像元分辨率，设置成像周期；获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像，根据惯性传感器提供的速度信息，通过红外线阵图像奇行与偶行固有的距离参数和线阵相机成像周期，在固定奇行/偶行的情况下调整偶行/奇行图像数据的位置，进行奇偶校正；获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图输出至存储电路。
Description
技术领域
本发明属于红外图像处理领域，特别涉及一种基于惯性传感器的运动图像快速合成方法及装置。
背景技术
随着机器视觉飞速发展，视觉传感器受到视觉工程师和用户的青睐。红外传感器受工艺影响，引起大像元尺寸和大规模面阵相矛盾。为了获取高精度能量分辨力，红外线阵传感器在航天/航空等领域应用广泛。线阵推扫成像中，根据线阵传感器的特点，推扫的图像呈现一个条带图像。
现有的红外线阵传感器成像存在如下问题：1)图像重叠和漏拍问题：不能优化合理的调整准确的成像周期，邻帧图像存在一定重叠区导致成像效率低，或邻帧图像出现漏拍摄现象导致目标丢失。2)校正和拼接算法：基于图像处理算法，要求较高的硬件平台。
发明内容
为了克服现有技术中的不足，本发明人进行了锐意研究，提供了一种基于惯性传感器的运动图像快速合成方法及装置，解决现有技术中红外线阵成像过程中存在较高重叠率和严重的漏拍图像、以及红外线阵校正和拼接实时性问题。
本发明提供的技术方案如下：
第一方面，一种基于惯性传感器的运动图像快速合成方法，飞行器上同时负载有红外线阵传感器和惯性传感器，方法包括如下步骤：
根据惯性传感器速度和高度，利用已知的线阵像元分辨率，确定速高比，并设置成像周期；
获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像，根据惯性传感器提供的速度信息，通过红外线阵图像奇行与偶行固有的距离参数和线阵相机成像周期，在固定奇行的情况下调整偶行图像数据的位置，或者在固定偶行的情况下调整奇行图像数据的位置，进行奇偶校正；
获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图输出至存储电路。
第二方面，一种基于惯性传感器的运动图像快速合成装置，包括：
成像周期设置模块，用于接收惯性传感器的速度和高度信息，利用已知的线阵像元分辨率，确定速高比及成像周期时间；
图像接收模块，用于获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像；
奇偶校正模块，用于根据惯性传感器提供的速度信息，通过红外线阵图像奇行与偶行固有的距离参数和线阵相机成像周期，在固定奇行的情况下，调整偶行图像数据的位置，或者在固定偶行的情况下调整奇行图像数据的位置，进行奇偶校正；
线阵合成模块，用于获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图；
图像输出模块，用于将合成后的图像输出至存储电路。
第三方面，一种基于惯性传感器的运动图像快速合成设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实施第一方面所述的运动图像快速合成方法。
第四方面，一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施第一方面所述的运动图像快速合成方法。
根据本发明提供的一种基于惯性传感器的运动图像快速合成方法及装置，具有以下有益效果：
(1)本发明提供的一种基于惯性传感器的运动图像快速合成方法及装置，基于惯性传感器实时提供的速度、高度和经纬度信息，可实现红外线阵图像的成像周期设置、奇偶校正、线阵图像拼接合成。通过惯性传感器4个实时参数与线阵图像融合的方式，实现快速的红外线阵图像合成的方法；
(2)本发明提供的一种基于惯性传感器的运动图像快速合成方法及装置，采用串口的物理接口与惯性传感器连接，采用cameralink接口与红外线阵探测器信号处理电路连接，惯性数据量小和帧频低，红外线阵帧频虽高但数据量小，对处理的硬件平台要求低，具有较强的普适性。
附图说明
图1为本发明提供的一种基于惯性传感器辅助运动图像快速合成方法的流程图；
图2为基于惯性传感器的红外线阵图像的成像周期设置示意图；
图3为基于惯性传感器的红外线阵图像奇偶校正示意图；
图4为基于惯性传感器的红外线阵图像多帧图像合成的示意图；
图5为一种基于惯性传感器辅助运动图像快速合成装置的物理接口示意图。
具体实施方式
下面通过对本发明进行详细说明，本发明的特点和优点将随着这些说明而变得更为清楚、明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
根据本发明的第一方面，提供了一种基于惯性传感器的运动图像快速合成方法，负载有红外线阵传感器的飞行器上同时装有惯性传感器，如图1所示，该方法包括如下步骤：
步骤1，如图2所示，根据惯性传感器速度v和高度h，利用已知的线阵像元分辨率k，确定高度h下对应地面距离s＝h/k(速高比)，并设置成像周期时间t＝s/v＝h/(k*v)，确保邻帧图像无重叠和漏图像区域，实现邻帧图像无缝连接；
步骤2，如图3所示，获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像，根据惯性传感器提供的速度信息v，通过红外线阵图像奇行与偶行固有的距离参数l和线阵相机成像周期t，在固定奇行(或偶行)的情况下，调整偶行(或奇行)图像数据的位置p＝l/(v*t)，进行奇偶校正；
步骤3，如图4所示，获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图输出至存储电路。
在一种优选的实施方式中，所述图像的非均匀性校正通过黑体实现。
根据本发明的第二方面，提供了一种基于惯性传感器的运动图像快速合成装置，如图5所示，包括：
成像周期设置模块，用于接收惯性传感器的速度v和高度h信息，利用已知的线阵像元分辨率k，确定速高比及成像周期时间；
图像接收模块，用于获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像；
奇偶校正模块，用于根据惯性传感器提供的速度信息v，通过红外线阵图像奇行与偶行固有的距离参数l和线阵相机成像周期t，在固定奇行(或偶行)的情况下，调整偶行(或奇行)图像数据的位置p＝l/(v*t)，进行奇偶校正；
线阵合成模块，用于获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图；
图像输出模块，用于将合成后的图像输出至存储电路。
在一种优选的实施方式中，所述成像周期设置模块采用串口的物理接口与惯性传感器连接。
在一种优选的实施方式中，所述图像接收模块采用cameralink接口与红外线阵探测器信号处理电路连接；
在一种优选的实施方式中，所述图像输出模块采用cameralink接口与存储电路连接。
根据本发明的第三方面，提供了一种基于惯性传感器的运动图像快速合成设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实施第一方面所述的运动图像快速合成方法。
根据本发明的第四方面，提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施第一方面所述的运动图像快速合成方法。
本申请中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员应该可以意识到，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
Claims (10)
1.一种基于惯性传感器的运动图像快速合成方法，其特征在于，飞行器上同时负载有红外线阵传感器和惯性传感器，包括如下步骤：
根据惯性传感器速度和高度，利用已知的线阵像元分辨率，确定速高比，并设置成像周期；
获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像，根据惯性传感器提供的速度信息，通过红外线阵图像奇行与偶行固有的距离参数和线阵相机成像周期，在固定奇行的情况下调整偶行图像数据的位置，或者在固定偶行的情况下调整奇行图像数据的位置，进行奇偶校正；
获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图输出至存储电路。
2.根据权利要求1所述的基于惯性传感器的运动图像快速合成方法，其特征在于，所述确定速高比步骤中，速高比s＝h/k，其中h为惯性传感器的高度，k为线阵像元分辨率。
3.根据权利要求1所述的基于惯性传感器的运动图像快速合成方法，其特征在于，所述设置成像周期步骤中，成像周期t＝s/v＝h/(k*v)，其中，s为速高比，v为惯性传感器的速度，h为惯性传感器的高度，k为线阵像元分辨率。
4.根据权利要求1所述的基于惯性传感器的运动图像快速合成方法，其特征在于，所述在固定奇行的情况下调整偶行图像数据的位置步骤中，偶行图像数据的位置p＝l/(v*t)；或者
所述在固定偶行的情况下调整奇行图像数据的位置步骤中，奇行图像数据的位置p＝l/(v*t)；其中，l为红外线阵图像奇行与偶行固有的距离参数，v为惯性传感器的速度，t为线阵相机成像周期t。
5.一种基于惯性传感器的运动图像快速合成装置，其特征在于，包括：
成像周期设置模块，用于接收惯性传感器的速度和高度信息，利用已知的线阵像元分辨率，确定速高比及成像周期时间；
图像接收模块，用于获取红外线阵探测器信号处理电路输出的经非均匀性校正后的图像；
奇偶校正模块，用于根据惯性传感器提供的速度信息，通过红外线阵图像奇行与偶行固有的距离参数和线阵相机成像周期，在固定奇行的情况下，调整偶行图像数据的位置，或者在固定偶行的情况下调整奇行图像数据的位置，进行奇偶校正；
线阵合成模块，用于获取奇偶校正后的图像，根据惯性传感器提供的该线阵图像中心像元对应的经纬度信息，在存储电路存储空间的中间位置处标记经纬度信息，并以该经纬度坐标点为中心、以飞机飞行的航迹放置经非均匀性校正和奇偶校正后的线阵图像，并以线阵数据呈现条带图；
图像输出模块，用于将合成后的图像输出至存储电路。
6.根据权利要求5所述的基于惯性传感器的运动图像快速合成装置，其特征在于，所述成像周期设置模块采用串口的物理接口与惯性传感器连接。
7.根据权利要求5所述的基于惯性传感器的运动图像快速合成装置，其特征在于，所述图像接收模块采用cameralink接口与红外线阵探测器信号处理电路连接。
8.根据权利要求5所述的基于惯性传感器的运动图像快速合成装置，其特征在于，所述图像输出模块采用cameralink接口与存储电路连接。
9.一种基于惯性传感器的运动图像快速合成设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实施权利要求1至4之一所述的运动图像快速合成方法。
10.一种可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实施权利要求1至4之一所述的运动图像快速合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111614953.3A CN114567722B (zh) | 2021-12-20 | 2021-12-20 | 一种运动图像快速合成方法、装置、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111614953.3A CN114567722B (zh) | 2021-12-20 | 2021-12-20 | 一种运动图像快速合成方法、装置、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114567722A CN114567722A (zh) | 2022-05-31 |
| CN114567722B true CN114567722B (zh) | 2024-02-20 |
Family
ID=81712113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111614953.3A Active CN114567722B (zh) | 2021-12-20 | 2021-12-20 | 一种运动图像快速合成方法、装置、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114567722B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992411A (zh) * | 2015-06-03 | 2015-10-21 | 陕西省地质矿产勘查开发总公司 | 一种红外多光谱原始图像处理方法 |
| CN105335944A (zh) * | 2015-11-20 | 2016-02-17 | 武汉大学 | 基于几何纠正的机载交错tdi红外影像复原方法及系统 |
| CN108154479A (zh) * | 2016-12-02 | 2018-06-12 | 航天星图科技（北京）有限公司 | 一种对遥感图像进行图像校正的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7805245B2 (en) * | 2007-04-18 | 2010-09-28 | Honeywell International Inc. | Inertial measurement unit fault detection isolation reconfiguration using parity logic |
-
2021
- 2021-12-20 CN CN202111614953.3A patent/CN114567722B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992411A (zh) * | 2015-06-03 | 2015-10-21 | 陕西省地质矿产勘查开发总公司 | 一种红外多光谱原始图像处理方法 |
| CN105335944A (zh) * | 2015-11-20 | 2016-02-17 | 武汉大学 | 基于几何纠正的机载交错tdi红外影像复原方法及系统 |
| CN108154479A (zh) * | 2016-12-02 | 2018-06-12 | 航天星图科技（北京）有限公司 | 一种对遥感图像进行图像校正的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 中巴资源一号卫星红外扫描图像处理;汪红强;《空间电子技术》(第01期);第15-18页 * |
| 航空交错TDI红外影像复原;陈王丽;孙涛;秦前清;石强;马国锐;;《自动化学报》;第41卷(第02期);第353-359页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114567722A (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10542208B2 (en) | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information | |
| US10771699B2 (en) | Systems and methods for rolling shutter correction | |
| US8000559B2 (en) | Method of correcting image distortion and apparatus for processing image using the method | |
| US9117271B2 (en) | Apparatus, method and recording medium for image processing | |
| US20220114757A1 (en) | Method for processing event data flow and computing device | |
| US20190158716A1 (en) | Method and system of geolocation and attitude correction for mobile rolling shutter cameras | |
| CN108171728B (zh) | 基于混合相机系统的无标记运动物体姿态恢复方法及装置 | |
| CN111091088B (zh) | 一种视频卫星信息支援海上目标实时检测定位系统及方法 | |
| CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| US10692196B2 (en) | Color correction integrations for global tone mapping | |
| CN104268876A (zh) | 基于分块的摄像机标定方法 | |
| Park et al. | 7.2 243.3 pJ/pixel bio-inspired time-stamp-based 2D optic flow sensor for artificial compound eyes | |
| US20130222549A1 (en) | Image processing method and image processing unit using the method | |
| CN114567722B (zh) | 一种运动图像快速合成方法、装置、设备、介质 | |
| CN107301628B (zh) | 基于震颤像移轨迹的卫星平台震颤影像去模糊方法 | |
| CN101634555B (zh) | 一种面阵ccd相机像移补偿方法 | |
| EP4071713A1 (en) | Parameter calibration method and apapratus | |
| CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
| CN105447007A (zh) | 一种电子设备及数据处理方法 | |
| US9083871B2 (en) | Plant image capture device and image capture method thereof | |
| CN114429515A (zh) | 一种点云地图构建方法、装置和设备 | |
| CN108088441B (zh) | 一种星敏感器星点图像在轨实时下传系统及方法 | |
| CN103957351B (zh) | 一种三维摄像系统及其图像去抖处理方法 | |
| CN109297604A (zh) | 一种获取红外热像仪两点校正定标参数的方法及系统 | |
| CN109379532A (zh) | 一种计算成像系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |