CN116248983A - 一种差分成像的系统、方法、装置及介质 - Google Patents

一种差分成像的系统、方法、装置及介质 Download PDF

Info

Publication number
CN116248983A
CN116248983A CN202310215081.6A CN202310215081A CN116248983A CN 116248983 A CN116248983 A CN 116248983A CN 202310215081 A CN202310215081 A CN 202310215081A CN 116248983 A CN116248983 A CN 116248983A
Authority
CN
China
Prior art keywords
area array
image sensor
image
differential
differential imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310215081.6A
Other languages
English (en)
Inventor
张军强
李先峰
杨斌
冯一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changguang Yusense Information Technology And Equipment Qingdao Co ltd
Original Assignee
Changguang Yusense Information Technology And Equipment Qingdao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changguang Yusense Information Technology And Equipment Qingdao Co ltd filed Critical Changguang Yusense Information Technology And Equipment Qingdao Co ltd
Priority to CN202310215081.6A priority Critical patent/CN116248983A/zh
Publication of CN116248983A publication Critical patent/CN116248983A/zh
Priority to PCT/CN2024/080222 priority patent/WO2024183742A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种差分成像的系统、方法、装置及介质，涉及光谱图像获取领域。该系统在面阵影像传感器上分区域阵列覆盖多个不重叠、不同波长透过率的滤光元件实现了多个波长图像的获取，无活动部件且可以多个波长同步探测。由于采用的是单个面阵影像传感器、不包含无活动部件的滤光元件实现了对多个波长同步探测，故而，对震动不敏感，平台适应性广，且成本低；其次，相比于在差分成像系统中采用线性图像传感器的方式，本申请提供的系统中采用面阵影像传感器，降低了对帧频、飞行姿态、搭载平台稳定性等的要求，使得平台适应性广。此外，本申请还提供一种差分成像的方法、装置以及计算机可读存储介质，效果同上。

Description

一种差分成像的系统、方法、装置及介质
技术领域
本申请涉及光谱图像获取领域，特别是涉及一种差分成像的系统、方法、装置及介质。
背景技术
光谱检测是指根据物质的光谱信息来确定物质的组成成分的方法，在工业分拣、表面检测、品质评估、果蔬分级、种子分选、设施农业长势及病虫害监测等领域应用广泛。由于目标某个波段位置的反射率测量值与检测环境、测量设备、使用习惯等紧密相关，要定量获取目标某个波段位置的绝对反射率需要付出较高的成本，而通过2～3个特征波长位置(一般不超过5个)的相对反射率构建差分光谱指数描述目标的光谱特性，可以大幅降低对检测环境、检测过程和检测设备的稳定性和标定精度要求，在航空航天遥感、工业检测、环境探测领域得到了广泛的应用。
目前，为了获取多个波长的光谱数据，可一般包括以下几种技术方案，①单个镜头后接单个面阵图像传感器，覆盖与像元配准的滤光元件阵列，但是该方法中马赛克滤光片方案由于存在空间错位，理论上存在图像的欠采样和空间失配问题；②多个镜头，每个镜头单独接一个滤光元件和一个面阵图像传感器，但是该方法中需要多个镜头和图像传感器，成本与波长数量成正比，不适合镜头和图像传感器相对昂贵的仪器；③单个镜头，通过分光元件后接多个滤光元件和面阵图像传感器，该方法虽然减少了镜头的使用数量，但是需要多个图像传感器，成本与波长数量成正比，不适合图像传感器相对昂贵的仪器；④单个镜头后接单个面阵图像传感器，通过旋转或平移机构切换不同的滤光元件实现不同波长光谱数据的获取，该方法中，虽然减小了面阵传感器的数量，但是旋转或平移机构体积较大、成本较高，而且对其在高频、长期工作条件下的可靠性要求更高；⑤单镜头后接单个多线阵图像传感器，每条线阵覆盖不同波长透过特性的滤光元件，该方法线阵图像传感器对搭载平台的稳定性较高，需要增加高精度的多轴稳定平台，不适合无人机搭载或有较大震动的工业场景。
由此可见，在采用单镜头的基础上，提供一种成本低、可靠性高的差分成像系统是本领域人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种差分成像的系统、方法、装置及介质，用于提供一种成本低、可靠性高的差分成像系统。
为解决上述技术问题，本申请提供一种差分成像的系统，包括：控制器、位于相机上的单个面阵影像传感器，还包括：不同波长透过率的滤光元件；
所述滤光元件分区覆盖所述面阵影像传感器的感光面，以便于所述滤光元件将所述感光面分成对应不同波长透过率的多个子面阵区域；
所述控制器用于获取所述相机曝光产生的影像；并根据所述子面阵区域将所述影像进行分割以便获得不同波长透过率的面阵影像；根据不同波长透过率的所述面阵影像确定差分光谱指数以实现对目标物体的光谱检测。
优选地，所述滤光元件的阵列沿所述面阵影像传感器一条边的方向排布；相邻所述滤光元件相切。
优选地，所述滤光元件通过在所述面阵影像传感器的所述感光面的晶圆上镀膜形成；或所述滤光元件为滤光片；
所述滤光元件分区覆盖所述面阵影像传感器的感光面包括：
所述滤光片贴合在所述面阵影像传感器的所述感光面上，或所述滤光片距离所述面阵影像传感器的所述感光面预设距离。
为了解决上述技术问题，本申请还提供一种差分成像的方法，应用于包括控制器、位于相机上的单个面阵影像传感器，还包括：不同波长透过率的滤光元件的差分成像系统，所述滤光元件分区覆盖所述面阵影像传感器的感光面，所述方法包括：
获取所述相机曝光产生的影像；
根据子面阵区域将所述影像进行分割并获取不同波长透过率的面阵影像；其中，所述子面阵区域为所述滤光元件将所述感光面分成对应不同波长透过率的区域；
根据不同波长透过率的所述面阵影像确定差分光谱指数以实现对目标物体的光谱检测。
优选地，所述获取所述相机曝光产生的影像包括：
在所述相机工作在面阵成像模式的情况下，控制所述相机与所述目标物体产生相对运动；
在各所述子面阵区域工作在面阵凝视模式的情况下，获取所述相机在预设曝光时间拍摄的所述目标物体的影像。
优选地，尺寸相同的不同波长透过率的各所述滤光元件沿所述面阵影像传感器一条边的方向排布，所述相机与所述目标物体产生相对运动的方向垂直于所述滤光元件的所有边长中的长边方向。
优选地，所述根据不同波长透过率的所述面阵影像确定差分光谱指数包括：
将同一波长透过率的所述面阵影像按照曝光先后顺序形成一个面阵影像组；
获取由所有不同波长透过率的所述面阵影像组构成预设时长内的面阵影像数据集；
对所述面阵影像数据集进行预处理以便获取所述预设时长内所述目标物体的正射影像；
获取预设波长透过率的所述正射影像；
根据所述预设波长透过率的所述正射影像确定所述差分光谱指数。
优选地，所述预设曝光时间、帧频根据各所述子面阵区域的所述感光面对应的视场大小、速高比、影像重叠率确定；其中，所述影像重叠率包含航向重叠率和旁向重叠率，同一航线中，同一波长透过率的所述子面阵区域获取的所述目标物体的影像存在所述航向重叠率；相邻航线中，同一波长透过率的所述子面阵区域获取的所述目标物体的影像存在所述旁向重叠率。
为了解决上述技术问题，本申请还提供一种差分成像的装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的差分成像的方法的步骤。
为了解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的差分成像的方法的步骤。
本申请所提供的一种差分成像的系统，包括：控制器、位于相机上的单个面阵影像传感器，还包括：不同波长透过率的滤光元件；滤光元件分区覆盖面阵影像传感器的感光面，以便于滤光元件将感光面分成对应不同波长透过率的多个子面阵区域；控制器用于获取相机曝光产生的影像；并根据子面阵区域将影像进行分割以便获得不同波长透过率的面阵影像；根据不同波长透过率的面阵影像确定差分光谱指数以实现对目标物体的光谱检测。由此可见，该系统在面阵影像传感器上分区域阵列覆盖多个不重叠、不同波长透过率的滤光元件实现了多个波长图像的获取，无活动部件且可以多个波长同步探测。由于采用的是单个面阵影像传感器、不包含无活动部件的滤光元件实现了对多个波长同步探测，故而，对震动不敏感，平台适应性广，且成本低；其次，相比于在差分成像系统中采用线性图像传感器的方式，本申请提供的系统中采用面阵影像传感器，降低了对帧频、飞行姿态、搭载平台稳定性等的要求，使得平台适应性广。
此外，本申请还提供一种差分成像的方法、差分成像的装置以及计算机可读存储介质，与上述提到的差分成像的系统具有相同或相对应的技术特征，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种差分成像的系统的示意图；
图2为本申请实施例提供的一种差分成像的方法的流程图；
图3为本申请实施例提供的一种差分成像方法的整体流程图；
图4为本申请实施例提供的一种具体的差分成像方法的流程图；
图5为本申请实施例提供的一种两个波长透过率的滤光元件在面阵影像传感器排列的示意图；
图6a为本申请实施例提供的一种光学相机与地物目标沿平行于面阵影像传感器短边b方向相对运动的示意图；
图6b为本申请实施例提供的一种以子面阵区域在面阵影像传感器短边b侧对应视场为参考设置航向重叠率的示意图；
图6c为本申请实施例提供的一种以子面阵区域在面阵影像传感器长边a侧对应视场为参考设置旁向重叠率的示意图；
图7a为本申请实施例提供的一种光学相机与地物目标沿平行于面阵影像传感器长边a方向相对运动的示意图；
图7b为本申请实施例提供的一种以子面阵区域在面阵影像传感器长边a侧对应视场为参考设置航向重叠率的示意图；
图7c为本申请实施例提供的一种以子面阵区域在面阵影像传感器短边b侧对应视场为参考设置旁向重叠率的示意图；
图8为本申请一实施例提供的差分成像的装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种差分成像的系统、方法、装置及介质，用于提供一种成本低、可靠性高的差分成像系统。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。图1为本申请实施例提供的一种差分成像的系统的示意图，如图1所示，该系统包括：控制器1、位于相机2上的单个面阵影像传感器3，还包括：不同波长透过率的滤光元件4；
滤光元件4分区覆盖面阵影像传感器3的感光面，以便于滤光元件4将感光面分成对应不同波长透过率的多个子面阵区域；
控制器1用于获取相机2曝光产生的影像；并根据子面阵区域将影像进行分割以便获得不同波长透过率的面阵影像；根据不同波长透过率的面阵影像确定差分光谱指数以实现对目标物体的光谱检测。
本申请实施例中的相机可以是航空、航天遥感用的光学相机，也可以是机器视觉领域的工业相机、转台搭载的扫描相机等，对此不作限定。
在传统的多个波长的光谱数据获取的过程中，采用单镜头后接多个线阵图像传感器，每个线阵覆盖不同波长透过特性的滤光元件，各线阵要求不存在重叠率，当合成影像时计算量大，且存在较大的偏差，故而，本申请实施例中在单镜头后接面阵影像传感器。
面阵影像传感器上分区覆盖不同波长透过率的滤光元件，使得滤光元件将面阵影像传感器的感光面分成对应不同波长透过率的多个子面阵区域。在实际使用过程中，根据滤光元件制作工艺、安装方式、成本控制等的不同，滤光元件通过在面阵影像传感器的感光面的晶圆上镀膜形成；或滤光元件为滤光片；对应地，滤光元件分区覆盖面阵影像传感器的感光面包括：滤光片贴合在面阵影像传感器的感光面上，或滤光片距离面阵影像传感器的感光面预设距离。对于滤光元件的数量、各滤光元件在面阵影像传感器上的排布位置、滤光元件对应的波长透过率等不作限定，根据实际情况确定。在实施中，为了提高有效面积，优选的实施方式是，滤光元件的阵列沿面阵影像传感器一条边的方向排布；相邻滤光元件相切。如，面阵影像传感器上分区域阵列覆盖n个不同波长透过率的滤光元件，不同波长透过率的滤光元件之间没有重叠，进而将面阵影像传感器分成n个不同波长透过率的子面阵区域。需要进一步说明的是，不同波长透过率的滤光元件之间没有重叠、没有缝隙只是为了便于描述而给出的一种理想的特殊情况，实际使用过程中可以根据滤光元件制作工艺、安装方式等有一定的重叠或缝隙，子面阵区域影像分割的时候需要考虑重叠或缝隙对子面阵区域有效数据的影响。
控制器控制相机曝光，并获取相机曝光产生的影像，根据子面阵区域将影像进行分割，形成n个单一波长透过率的面阵影像。需要说明的是，控制器可以是位于相机中，也可以是位于相机外，从而使得影像分割可以在相机的机上完成，也可以在后处理软件中完成。在得到n个单一波长透过率的面阵影像后，可以针对不同光谱指数计算要求，选用多个不同波长透过率的影像完成差分光谱指数计算，从而实现对目标物体的光谱检测。
本实施例提供的差分成像的系统中，包括：控制器、位于相机上的单个面阵影像传感器，还包括：不同波长透过率的滤光元件；滤光元件分区覆盖面阵影像传感器的感光面，以便于滤光元件将感光面分成对应不同波长透过率的多个子面阵区域；控制器用于获取相机曝光产生的影像；并根据子面阵区域将影像进行分割以便获得不同波长透过率的面阵影像；根据不同波长透过率的面阵影像确定差分光谱指数以实现对目标物体的光谱检测。由此可见，该系统在面阵影像传感器上分区域阵列覆盖多个不重叠、不同波长透过率的滤光元件实现了多个波长图像的获取，无活动部件且可以多个波长同步探测。由于采用的是单个面阵影像传感器、不包含无活动部件的滤光元件实现了对多个波长同步探测，故而，对震动不敏感，平台适应性广，且成本低；其次，相比于在差分成像系统中采用线性图像传感器的方式，本申请提供的系统中采用面阵影像传感器，降低了对帧频、飞行姿态、搭载平台稳定性等的要求，使得平台适应性广。
上文中描述了一种差分成像的系统，本实施例还提供一种差分成像的方法，应用于包括控制器、位于相机上的单个面阵影像传感器，还包括：不同波长透过率的滤光元件的差分成像系统，滤光元件分区覆盖面阵影像传感器的感光面。图2为本申请实施例提供的一种差分成像的方法的流程图，如图2所示，该方法包括：
S10：获取相机曝光产生的影像；
S11：根据子面阵区域将影像进行分割并获取不同波长透过率的面阵影像；其中，子面阵区域为滤光元件将感光面分成对应不同波长透过率的区域；
S12：根据不同波长透过率的面阵影像确定差分光谱指数以实现对目标物体的光谱检测。
本实施例提供的差分成像的方法与上文中描述的差分成像的系统具有相同或相对应的技术特征，上文中已对差分成像的系统的实施例进行了详细的描述，因此，此处对于差分成像的方法的实施例不再赘述。并且具有与上述提到的差分成像的系统相同的有益效果。
在上述实施例的基础上，获取相机曝光产生的影像包括：
在相机工作在面阵成像模式的情况下，控制相机与目标物体产生相对运动；
在各子面阵区域工作在面阵凝视模式的情况下，获取相机在预设曝光时间拍摄的目标物体的影像。
对于相机与目标物体产生相对运动的方向不作限定。实际中，当相机与目标物体产生相对运动的方向垂直于滤光元件的所有边长的短边方向，则可能会导致相机曝光形成的影像过程中图像的有效面积减小，且为形成影像需要的处理时间较长；当相机与目标物体产生相对运动的方向不垂直与滤光元件的长边方向或者短边方向，以无人机上的光学相机为例，无人机相对于地物目标斜着飞，此时在相机曝光形成的影响的过程中，图像的拼接较为复杂，图像的有效面积小。故而，在实施中，优选的实施方式是，尺寸相同的不同波长透过率的各滤光元件沿面阵影像传感器一条边的方向排布，相机与目标物体产生相对运动的方向垂直于滤光元件的所有边长中的长边方向。
各子面阵区域工作在面阵凝视模式。采用小面阵凝视的成像模式，对低频震动不敏感，而且可以使用成熟的空中三角测量加密的方法实现图像的高精度定位和校正。对于预设曝光时间不作限定，但是，为了使选取的曝光时间较为合理，优选的实施方式是，预设曝光时间、帧频根据各子面阵区域的感光面对应的视场大小、速高比、影像重叠率确定；其中，影像重叠率包含航向重叠率和旁向重叠率，同一航线中，同一波长透过率的子面阵区域获取的目标物体的影像存在航向重叠率；相邻航线中，同一波长透过率的子面阵区域获取的目标物体的影像存在旁向重叠率。
获取相机在预设曝光时间拍摄的目标物体的影像。目标物体可以是一个，也可以是多个。在根据子面阵区域将影像分割为独立图像，在每次曝光、每个波长的影像中可以记录位置、姿态、积分时间、增益等辅助信息，影像格式可以根据需要存储为对应的格式，如RAW、TIFF或JPEG等。
在获取到不同波长透过率的面阵影像后，为了方便确定差分光谱指数，优选的实施方式是，根据不同波长透过率的面阵影像确定差分光谱指数包括：
将同一波长透过率的面阵影像按照曝光先后顺序形成一个面阵影像组；
获取由所有不同波长透过率的面阵影像组构成预设时长内的面阵影像数据集；
对面阵影像数据集进行预处理以便获取预设时长内目标物体的正射影像；
获取预设波长透过率的正射影像；
根据预设波长透过率的正射影像确定差分光谱指数。
对面阵影像数据集进行辐射校正、同一波长影像组进行空三拼接、同一目标的不同波长影像间进行配准等数据预处理，形成一个预设时长内覆盖目标物体的一组正射影像。对于预设时长不作限定，根据实际情况确定。针对不同的光谱指数计算要求，选用多个不同波长透过率的正射影像完成差分光谱指数计算，从而实现对目标物体的光谱检测。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图3和具体实施方式对本申请作进一步的详细说明。图3为本申请实施例提供的一种差分成像方法的整体流程图，如图3所示，该方法包括：
S101：光学相机的面阵影像传感器，分区域阵列覆盖n个不同波长透过率的滤光元件；
S102：控制光学相机工作在面阵成像模式下与目标产生相对运动，每个子面阵区域工作在面阵凝视模式；
S103：根据每个子面阵区域的感光面对应视场大小、速高比、影像重叠率要求，设置光学相机面阵成像模式下的积分时间和帧频；
S104：将每次曝光获得的影像，根据滤光元件阵列进行分割，形成n个单一波长透过率的面阵影像；
S105：同一波长透过率的面阵影像按照曝光先后顺序形成1个面阵影像组，n个不同波长透过率的面阵影像组构成一个影像获取周期内的面阵影像数据集；
S106：对面阵影像数据集进行标定、空三、平差、纠正等数据预处理，形成一个影像获取周期内覆盖目标的一组正射影像；
S107：选用特定的不同波长透过率的正射影像，完成差分光谱指数计算。
具体地，在步骤S101中，光学相机的面阵影像传感器分区域阵列覆盖n个不同波长透过率的滤光元件，不同波长透过率的滤光元件之间没有重叠，进而将面阵影像传感器分成n个不同波长透过率的子面阵区域。
在步骤S102中，光学相机工作在面阵成像模式下与目标产生相对运动，每个子面阵区域工作在面阵凝视模式。当积分时间较短、速高比较小时，相机与目标的相对运动引起的像移对每帧影像的影响可以近似忽略，不影响每帧影像的清晰程度。
在步骤S103中，根据每个子面阵区域的感光面对应视场大小、速高比、影像重叠率，设置光学相机面阵成像模式下的积分时间和帧频，满足每个子面阵区域的影像重叠度和清晰程度要求。
在步骤S104中，将每次曝光获得的影像，根据滤光元件阵列进行分割，形成n个单一波长透过率的面阵影像，单一波长透过率的面阵影像同步记录位置和姿态信息。影像分割可以在相机的机上完成，也可以在后处理软件中完成。
在步骤S105中，同一波长透过率的面阵影像按照曝光先后顺序形成1个面阵影像组，n个不同波长透过率的面阵影像组构成一个影像获取周期内的面阵影像数据集。对工业生产线场景，每组同一波长透过率的面阵影像在传送带相对运动方向。
在步骤S106中，对面阵影像数据集进行辐射校正、同一波长影像组进行空三拼接、同一目标的不同波长影像间配准等数据预处理，形成一个影像获取周期内覆盖目标的一组正射影像。
在步骤S107中，针对不同的光谱指数计算要求，选用多个不同波长透过率的正射影像完成差分光谱指数计算。
为了使本技术领域的人员更好地理解本申请方案，下面以航空、航天遥感用光学相机为例，说明本申请的差分成像的系统和差分成像的方法。
为了保证最优的工作效率，优选相邻的滤光元件之间无重叠、无间隙、不同波长透过率的滤光元件在面阵影像传感器长边a方向宽度相同，子面阵区域沿面阵影像传感器长边a方向对应长度c＝a/n，其中，n为滤光元件的数量。
图4为本申请实施例提供的一种具体的差分成像方法的流程图，如图4所示，该方法包括如下步骤：
S13：根据使用需要确定需要的滤光元件的数量n，沿面阵影像传感器长边a方向排布不同波长透过率的滤光元件，将面阵影像传感器分成n个不同波长透过率的子面阵区域。
S14：判断传感器长宽比k是否大于或等于滤光元件数量n；若是，则进入步骤S140至步骤S143；若否，则进入步骤S144至步骤S147。
S140：光学相机与地物目标沿平行于面阵影像传感器短边b方向相对运动。
S141：以子面阵区域在面阵影像传感器短边b侧对应视场为参考，控制光学相机拍照间隔，满足航向重叠率要求。
S142：以子面阵区域在面阵影像传感器长边a侧对应视场为参考，进行航空平台航线规划，满足旁向重叠率要求。
S143：航线飞行状态、面阵成像模式下拍照，每个子面阵区域垂直于飞行方向排列。同一航线中，同一波长透过率的子面阵区域存在航向重叠率；相邻航线间，同一波长透过率的子面阵区域存在旁向重叠率。
S144：光学相机与地物目标沿平行于面阵影像传感器长边a方向相对运动。
S145：以子面阵区域在面阵影像传感器长边a侧对应视场为参考，控制光学相机拍照间隔，满足航向重叠率要求。
S146：以子面阵区域在面阵影像传感器短边b侧对应视场为参考，进行航空平台航线规划，满足旁向重叠率要求。
S147：航线飞行状态、面阵成像模式下拍照，每个子面阵区域平行于飞行方向排列。同一航线中，同一波长透过率的子面阵区域存在航向重叠率；相邻航线间，同一波长透过率的子面阵区域存在旁向重叠率。
S15：将子面阵区域影像分割为记录有位置和姿态信息的独立遥感图像。
S16：同一波长透过率的面阵影像按照曝光先后顺序形成1个面阵影像组，n个不同波长透过率的面阵影像组构成一个影像获取周期内的面阵影像数据集。
S17：对面阵影像数据集进行辐射校正，同一波长影像组进行空三解算，并对空三解算完的同一目标、不同波长的影像进行平差计算、高程模型构建与正射纠正，形成一个影像获取周期内覆盖目标的一组正射影像。
S18：针对不同的光谱指数计算要求，选用多个不同波长透过率的正射影像完成差分光谱指数计算。
具体地，在步骤S13中，为了便于描述本实例以n＝2为例介绍。图5为本申请实施例提供的一种两个波长透过率的滤光元件在面阵影像传感器排列的示意图。如图5所示，λ1波长区域301、λ2波长区域302为两个不同波长透过率的滤光元件覆盖区域，c＝a/2。
在步骤S14中：
(1)当面阵影像传感器长宽比k＝a/b大于等于波长数量n，即k≥n时：
在步骤S140中，图6a为本申请实施例提供的一种光学相机与地物目标沿平行于面阵影像传感器短边b方向相对运动的示意图。如图6所示，地物目标201一侧经过光学系统203后成像于λ1波长区域301，地物目标202一侧经过光学系统203后成像于λ2波长区域302。
在步骤S141中，以子面阵区域在面阵影像传感器短边b侧对应视场为参考，控制光学相机拍照间隔，λ1波长区域301、λ2波长区域302同时满足航向重叠率要求。图6b为本申请实施例提供的一种以子面阵区域在面阵影像传感器短边b侧对应视场为参考设置航向重叠率的示意图。
在步骤S142中，以子面阵区域在面阵影像传感器长边a侧对应视场为参考，进行航空平台航线规划，λ1波长区域301、λ2波长区域302同时满足旁向重叠率要求。图6c为本申请实施例提供的一种以子面阵区域在面阵影像传感器长边a侧对应视场为参考设置旁向重叠率的示意图。
在步骤S143中，航线飞行状态、面阵成像模式下拍照，λ1波长区域301、λ2波长区域302垂直于飞行方向排列。同一航线中，同一波长透过率的子面阵区域获取的地物影像存在航向重叠率；相邻航线间，同一波长透过率的子面阵区域获取的地物影像存在旁向重叠率。
(2)当面阵影像传感器长宽比k＝a/b小于波长数量n，即k＜n时：
在步骤S144中，光学相机与地物目标沿平行于面阵影像传感器长边a方向相对运动，即面阵影像传感器长边a方向为航线飞行方向。图7a为本申请实施例提供的一种光学相机与地物目标沿平行于面阵影像传感器长边a方向相对运动的示意图。如图7a所示，地物目标201一侧经过光学系统203后成像于λ1波长区域301，地物目标202一侧经过光学系统203后成像于λ2波长区域302。
在步骤S145中，以子面阵区域在面阵影像传感器长边a侧对应视场为参考，控制光学相机拍照间隔，λ1波长区域301、λ2波长区域302同时满足航向重叠率要求。图7b为本申请实施例提供的一种以子面阵区域在面阵影像传感器长边a侧对应视场为参考设置航向重叠率的示意图。
在步骤S146中，以子面阵区域在面阵影像传感器短边b侧对应视场为参考，进行航空平台航线规划，λ1波长区域301、λ2波长区域302同时满足旁向重叠率要求。图7c为本申请实施例提供的一种以子面阵区域在面阵影像传感器短边b侧对应视场为参考设置旁向重叠率的示意图。
在步骤S147中，航线飞行状态、面阵成像模式下拍照，λ1波长区域301、λ2波长区域302沿飞行方向排列。同一航线中，同一波长透过率的子面阵区域获取的地物影像存在航向重叠率；相邻航线间，同一波长透过率的子面阵区域获取的地物影像存在旁向重叠率。
在步骤S15中，将λ1波长区域301、λ2波长区域302影像分割为独立遥感图像，每次曝光、每个波长的影像均记录有位置、姿态、积分时间、增益等辅助信息，影像格式可以根据需要存储为RAW、TIFF或JPEG等。
在步骤S16中，将λ1波长区域301的面阵影像按照曝光先后顺序形成第一面阵影像组，将λ2波长区域302的面阵影像按照曝光先后顺序形成第二面阵影像组；第一面阵影像组、第二面阵影像组构成一个影像获取周期内的面阵影像数据集。
在步骤S17中，对对面阵影像数据集进行辐射校正，同一波长影像组进行空三解算，并对空三解算完的同一目标、不同波长的影像进行平差计算、高程模型构建与正射纠正，形成一个影像获取周期内覆盖目标的一组正射影像。需要说明的是，步骤S17仅为遥感影像的预处理方法之一，用以示例说明本申请产生遥感影像的处理流程，实际使用过程中可以根据需要不同的处理流程或通过不同的遥感影像处理软件完成遥感影像的标定、校正、拼接等预处理。
需要说明的是，本实施例是以航空、航天遥感用光学相机为例介绍，本专利基于共影像传感器、影像传感器分区域波长选择、小面阵凝视的方法同样适用于机器视觉领域的工业相机、转台搭载的扫描相机等领域。
本实施例中光学系统、光学相机为专业领域内的对光学遥感仪器的一种简称，可以为折射式、反射式、折返式等任何类型的光学遥感仪器或目标影像获取的光机电系统。
本实施例中不同波长透过率的滤光元件沿面阵影像传感器长边方向排布只是一种特殊情况，实际使用过程中可以根据需要沿任何方向阵列。
需要进一步说明的是，不同波长透过率的滤光元件之间没有重叠、没有缝隙只是为了便于描述而给出的一种理想的特殊情况，实际使用过程中可以根据滤光元件制作工艺、安装方式等有一定的重叠或缝隙，子面阵区域影像分割的时候需要考虑重叠或缝隙对子面阵区域有效数据的影响。
本实例中在光学相机面阵影像传感器的感光面阵列覆盖不同波长透过率的滤光元件，实际使用过程中根据滤光元件制作工艺、安装方式、成本控制等的不同，滤光元件可以直接在面阵影像传感器感光材料的晶圆上镀膜、也可以将制作好的滤光片紧密贴合在面阵影像传感器的感光面上、也可以将制作好的滤光片远离面阵影像传感器的感光面一定距离。在本申请创新性的基础上，有一定专业知识的人员可以根据实际需要灵活选择滤光元件的不同制作、安装方式，但此类方法仍属于本申请的保护范围内。
本实施例提供的方法中，基于共影像传感器、影像传感器分区域波长选择、小面阵凝视的思想，根据使用需要确定需要的波长数量，沿面阵影像传感器长边方向排布不同波长透过率的滤光元件，将面阵影像传感器分成多个不同波长透过率的子面阵区域。每个子面阵区域工作在面阵凝视模式，每次曝光同时获取每个子面阵区域对应的不同地物目标，在航线飞行过程中根据每个子面阵区域的感光面对应视场大小、速高比设置合理的积分时间和帧频，保证每个子面阵区域影像的航向重叠率和旁向重叠率满足遥感影像处理要求。
本实施例中使用单个光学系统、单个图像传感器，结构紧凑、成本较低；无活动部件且可以多个波长同步探测，对低频震动不敏感，平台适应性广；只需要一个影像传感器，通过滤光片、滤光膜将传感器感光面划分为多个波长区域，成本大大降低；采用小面阵凝视的成像模式，对低频震动不敏感，而且可以使用成熟的空中三角测量加密的方法实现图像的高精度定位和校正。
在上述实施例中，对于差分成像的系统、差分成像的方法进行了详细描述，本申请还提供差分成像的装置对应的实施例。需要说明的是，本实施例基于硬件的角度说明差分成像的装置。
图8为本申请一实施例提供的差分成像的装置的结构图。本实施例基于硬件角度，如图8所示，差分成像的装置包括：
存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例中所提到的差分成像的方法的步骤。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图形处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的差分成像的方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述所提到的差分成像的方法所涉及到的数据等。
在一些实施例中，差分成像的装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图8中示出的结构并不构成对差分成像的装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的差分成像的装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：差分成像的方法，效果同上。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供的计算机可读存储介质包括上述提到的差分成像的方法，效果同上。
以上对本申请所提供的一种差分成像的系统、方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种差分成像的系统，包括：控制器、位于相机上的单个面阵影像传感器，其特征在于，还包括：不同波长透过率的滤光元件；
所述滤光元件分区覆盖所述面阵影像传感器的感光面，以便于所述滤光元件将所述感光面分成对应不同波长透过率的多个子面阵区域；
所述控制器用于获取所述相机曝光产生的影像；并根据所述子面阵区域将所述影像进行分割以便获得不同波长透过率的面阵影像；根据不同波长透过率的所述面阵影像确定差分光谱指数以实现对目标物体的光谱检测。
2.根据权利要求1所述的差分成像的系统，其特征在于，所述滤光元件的阵列沿所述面阵影像传感器一条边的方向排布；相邻所述滤光元件相切。
3.根据权利要求1或2所述的差分成像的系统，其特征在于，所述滤光元件通过在所述面阵影像传感器的所述感光面的晶圆上镀膜形成；
或所述滤光元件为滤光片，所述滤光元件分区覆盖所述面阵影像传感器的感光面包括：
所述滤光片贴合在所述面阵影像传感器的所述感光面上，或所述滤光片距离所述面阵影像传感器的所述感光面预设距离。
4.一种差分成像的方法，其特征在于，应用于包括控制器、位于相机上的单个面阵影像传感器，还包括：不同波长透过率的滤光元件的差分成像系统，所述滤光元件分区覆盖所述面阵影像传感器的感光面，所述方法包括：
获取所述相机曝光产生的影像；
根据子面阵区域将所述影像进行分割并获取不同波长透过率的面阵影像；其中，所述子面阵区域为所述滤光元件将所述感光面分成对应不同波长透过率的区域；
根据不同波长透过率的所述面阵影像确定差分光谱指数以实现对目标物体的光谱检测。
5.根据权利要求4所述的差分成像的方法，其特征在于，所述获取所述相机曝光产生的影像包括：
在所述相机工作在面阵成像模式的情况下，控制所述相机与所述目标物体产生相对运动；
在各所述子面阵区域工作在面阵凝视模式的情况下，获取所述相机在预设曝光时间拍摄的所述目标物体的影像。
6.根据权利要求5所述的差分成像的方法，其特征在于，尺寸相同的不同波长透过率的各所述滤光元件沿所述面阵影像传感器一条边的方向排布，所述相机与所述目标物体产生相对运动的方向垂直于所述滤光元件的所有边长中的长边方向。
7.根据权利要求6所述的差分成像的方法，其特征在于，所述根据不同波长透过率的所述面阵影像确定差分光谱指数包括：
将同一波长透过率的所述面阵影像按照曝光先后顺序形成一个面阵影像组；
获取由所有不同波长透过率的所述面阵影像组构成预设时长内的面阵影像数据集；
对所述面阵影像数据集进行预处理以便获取所述预设时长内所述目标物体的正射影像；
获取预设波长透过率的所述正射影像；
根据所述预设波长透过率的所述正射影像确定所述差分光谱指数。
8.根据权利要求5所述的差分成像的方法，其特征在于，所述预设曝光时间、帧频根据各所述子面阵区域的所述感光面对应的视场大小、速高比、影像重叠率确定；其中，所述影像重叠率包含航向重叠率和旁向重叠率，同一航线中，同一波长透过率的所述子面阵区域获取的所述目标物体的影像存在所述航向重叠率；相邻航线中，同一波长透过率的所述子面阵区域获取的所述目标物体的影像存在所述旁向重叠率。
9.一种差分成像的装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求4至8任一项所述的差分成像的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求4至8任一项所述的差分成像的方法的步骤。
CN202310215081.6A 2023-03-07 2023-03-07 一种差分成像的系统、方法、装置及介质 Pending CN116248983A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310215081.6A CN116248983A (zh) 2023-03-07 2023-03-07 一种差分成像的系统、方法、装置及介质
PCT/CN2024/080222 WO2024183742A1 (zh) 2023-03-07 2024-03-06 一种差分成像的系统、方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215081.6A CN116248983A (zh) 2023-03-07 2023-03-07 一种差分成像的系统、方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116248983A true CN116248983A (zh) 2023-06-09

Family

ID=86634795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215081.6A Pending CN116248983A (zh) 2023-03-07 2023-03-07 一种差分成像的系统、方法、装置及介质

Country Status (2)

Country Link
CN (1) CN116248983A (zh)
WO (1) WO2024183742A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118433538A (zh) * 2024-06-06 2024-08-02 北京翼动科技有限公司 多旋翼无人机影像数据实时处理方法
WO2024183742A1 (zh) * 2023-03-07 2024-09-12 长光禹辰信息技术与装备(青岛)有限公司 一种差分成像的系统、方法、装置及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4140052B2 (ja) * 2002-05-28 2008-08-27 株式会社サタケ 作物の生育診断方法における画像の補正方法
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
CN107578412B (zh) * 2017-09-28 2021-03-02 微梦创科网络科技（中国）有限公司 图像质量综合评价方法及系统
JP7155681B2 (ja) * 2018-07-10 2022-10-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN110081978A (zh) * 2019-04-29 2019-08-02 南京理工大学 一种瞬态多光谱偏振成像装置及其成像方法
CN112924029A (zh) * 2021-01-26 2021-06-08 中国科学院空天信息创新研究院 一种多光谱相机制造方法及多光谱相机系统
CN116248983A (zh) * 2023-03-07 2023-06-09 长光禹辰信息技术与装备(青岛)有限公司 一种差分成像的系统、方法、装置及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024183742A1 (zh) * 2023-03-07 2024-09-12 长光禹辰信息技术与装备(青岛)有限公司 一种差分成像的系统、方法、装置及介质
CN118433538A (zh) * 2024-06-06 2024-08-02 北京翼动科技有限公司 多旋翼无人机影像数据实时处理方法
CN118433538B (zh) * 2024-06-06 2024-09-10 北京翼动科技有限公司 多旋翼无人机影像数据实时处理方法

Also Published As

Publication number Publication date
WO2024183742A1 (zh) 2024-09-12

Similar Documents

Publication Publication Date Title
CN116248983A (zh) 一种差分成像的系统、方法、装置及介质
O’Connor et al. Cameras and settings for aerial surveys in the geosciences: Optimising image data
WO2020207166A1 (zh) 一种物体检测方法、装置、电子设备和存储介质
JP7175652B2 (ja) 航空機用レーザスペックルのシステム及び方法
JP7045380B2 (ja) 観察対象物が静止している場合のハイパースペクトルイメージング
JP6321077B2 (ja) 縦続カメラおよび／またはキャリブレーション特徴を含む広いエリア画像を詳細に取り込むシステムおよび方法
US7489335B2 (en) Photographic apparatus with function of image correction and method thereof
Roth et al. PhenoFly Planning Tool: flight planning for high-resolution optical remote sensing with unmanned areal systems
JP5715643B2 (ja) マルチスペクトルデータの幾何学的リファレンシング
US5259037A (en) Automated video imagery database generation using photogrammetry
JP7299213B2 (ja) 情報処理装置
CN106537089B (zh) 用于多光谱数据的几何参照的方法和系统
JP7160037B2 (ja) 画像処理装置、画像処理方法、並びにプログラム
CN111386549A (zh) 一种混合型高光谱图像重构的方法及系统
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
JP2011523033A (ja) 縦に繋がれたカメラ及び／又は距離測定特徴を含んでいる大領域画像を詳細にとらえるシステム及び方法
CN108474661A (zh) 用于多光谱数据的几何参照的方法和系统
JPH03289293A (ja) 撮像装置
FR3026540A1 (fr) Systeme et procede de masquage d'image dynamique
JP2008289034A (ja) 画像処理装置及び画像処理プログラム
Wierzbicki et al. Method of radiometric quality assessment of NIR images acquired with a custom sensor mounted on an unmanned aerial vehicle
CN112106346A (zh) 图像处理方法、设备、无人机、系统和存储介质
EP3384255B1 (en) Method of hyperspectral measurement
Haavardsholm et al. Multimodal Multispectral Imaging System for Small UAVs
Sankararao et al. Optimal parameter selection for uav based pushbroom hyperspectral imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination