CN113226007B - 图像传感器和热像仪设备及其系统和方法 - Google Patents

图像传感器和热像仪设备及其系统和方法 Download PDF

Info

Publication number
CN113226007B
CN113226007B CN201980079714.7A CN201980079714A CN113226007B CN 113226007 B CN113226007 B CN 113226007B CN 201980079714 A CN201980079714 A CN 201980079714A CN 113226007 B CN113226007 B CN 113226007B
Authority
CN
China
Prior art keywords
thermal
spectral
sequence
images
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980079714.7A
Other languages
English (en)
Other versions
CN113226007A (zh
Inventor
贾斯汀·麦卡利斯特
杰斐逊·麦克布莱德
加布里埃尔·爱德华多·托雷斯
大卫·小斯旺德鲁伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micasense Inc
Original Assignee
Micasense Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micasense Inc filed Critical Micasense Inc
Publication of CN113226007A publication Critical patent/CN113226007A/zh
Application granted granted Critical
Publication of CN113226007B publication Critical patent/CN113226007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/002—Investigating fluid-tightness of structures by using thermal means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Botany (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Wood Science & Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本公开涉及用于使光谱图像的捕获与热图像的捕获同步的设备和方法。飞行器的热成像设备捕获热图像中的热图像序列。飞行器的光谱成像设备对光谱图像的捕获与热图像的捕获同步。感测指示背景温度的辐照度数据。基于光谱图像序列生成感兴趣区域的数字表面模型。估计目标的辐射率并且基于热图像序列、指示背景温度的辐照度数据和目标的估计的辐射率来估计目标的数字表面模型的像素的温度。

Description

图像传感器和热像仪设备及其系统和方法
技术领域
本公开总体涉及生成和处理由一个或更多热图像传感器捕获的图像流以及由一个或更多光谱图像传感器捕获的图像流。
背景技术
热成像设备，例如长波红外(LWIR)成像器和其他热像仪，可以用于捕获目标的热图像。所捕获的图像可以用于估计目标对象的温度。
光谱成像设备，例如多光谱成像设备，可以用于捕获目标的光谱图像。由这种光谱成像设备获取的图像可以用于测量或确定目标的不同特性。
辐照度感测设备，例如光传感器，可以被配置来感测来自光源的辐照度。感测的辐照度可以用于处理图像，例如从热成像设备和光谱成像设备接收的图像。
发明内容
在一个实施例中，一种设备包括：热成像电路，其在操作中执行热图像捕获周期序列以捕获热图像序列；光谱成像电路，其在操作中执行光谱图像捕获周期序列以捕获光谱图像序列；以及控制电路，其联接到热成像电路和光谱成像电路，其中控制电路在操作中使由光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步。
在一个实施例中，该设备包括一个或更多附加的光谱成像电路，其中，控制电路在操作中使由一个或更多附加的光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步。在实施例中，光谱图像电路和一个或更多附加光谱图像电路具有公共快门。在一个实施例中，控制电路在操作中基于光谱图像序列生成数字表面模型。在一个实施例中，控制电路在操作中基于热图像序列生成数字表面模型。
在一个实施例中，控制电路在操作中基于数字表面模型生成感兴趣区域的复合像素图。在一个实施例中，控制电路在操作中基于复合像素图来识别受损植物。在一个实施例中，控制电路在操作中估计复合像素图中的像素或像素组的温度。在一个实施例中，控制电路在操作中基于复合像素图和估计的温度来估计像素状况。在一个实施例中，控制电路在操作中基于复合像素图和估计的温度来识别受损植物。在一个实施例中，控制电路使光谱图像捕获周期与每第九个热图像捕获周期同步。可以设想其它同步速率，例如每隔一个热图像捕获周期。可替代，控制电路可以在每第一百个热图像捕获时使热图像捕获设备的快门和光谱图像捕获设备同步。热图像和光谱图像的同步捕获的范围可以是在每隔一个热捕获到每百个热捕获时的同时快门。可以基于热成像设备和光谱成像设备中的每一个的特定操作时间来选择周期时间。在一个实施例中，控制电路在操作中基于估计的像素状况来识别与灌溉泄漏一致的状况。在一个实施例中，该设备是飞行器。
在一个实施例中，一种方法包括：由热成像设备执行热图像捕获周期序列以捕获热图像序列；使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由热成像设备执行的热图像捕获周期同步；以及基于光谱图像序列生成感兴趣区域的数字表面模型。在一个实施例中，该方法包括使由多个光谱成像设备执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步。在一个实施例中，数字表面模型基于热图像序列。在一个实施例中，该方法包括基于数字表面模型生成感兴趣区域的复合像素图。在一个实施例中，该方法包括基于该复合像素图来识别受损植物。在一个实施例中，该方法包括估计复合像素图中的像素或像素组的温度。在一个实施例中，该方法包括基于复合像素图和估计的温度来估计像素状况。在一个实施例中，该方法包括基于像素占用图和估计的温度来识别灌溉泄漏。
在一个实施例中，一种设备包括：热成像电路，其在操作中执行热图像捕获周期序列以捕获热图像序列；光谱成像电路，其在操作中执行光谱图像捕获周期序列以捕获光谱图像序列；惯性运动感测电路，其在操作中生成指示设备的相对移动的数据；以及控制电路，其联接到热成像电路、光谱成像电路和惯性运动感测电路，其中控制电路在操作中：使由光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步；以及基于指示设备的相对移动的数据来估计热图像序列中的热图像的姿态。在一个实施例中，惯性运动感测电路包括加速度计。在一个实施例中，惯性运动感测电路包括陀螺仪。在一个实施例中，控制电路在操作中基于光谱图像序列生成数字表面模型。在一个实施例中，控制电路在操作中基于热图像序列生成数字表面模型。在一个实施例中，控制电路在操作中基于热图像的估计姿态生成数字表面模型。
在一个实施例中，一种方法包括：由热成像设备执行热图像捕获周期序列以捕获热图像序列；使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由热成像设备执行的热图像捕获周期同步；捕获惯性运动数据；基于捕获的惯性运动数据来估计热图像序列中的热图像的姿态；以及基于光谱图像序列生成感兴趣区域的数字表面模型。
在一个实施例中，一种设备包括：热成像电路，其在操作中执行热图像捕获周期序列以捕获热图像序列；光谱成像电路，其在操作中执行光谱图像捕获周期序列以捕获光谱图像序列；辐照度感测电路，其在操作中感测指示背景温度的辐照度数据；以及控制电路，其联接到热成像电路、光谱成像电路和辐照度感测电路，其中控制电路在操作中：使由光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步；基于光谱图像序列生成数字表面模型；估计目标的辐射率；以及基于热图像序列、指示背景温度的辐照度数据和目标的估计的辐射率来估计数字表面模型的像素的温度。在一个实施例中，辐照度感测电路包括多个光传感器。
在一个实施例中，一种方法包括：由热成像设备执行热图像捕获周期序列以捕获热图像序列；使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由热成像设备执行的热图像捕获周期同步；感测指示背景温度的辐照度数据；基于光谱图像序列生成数字表面模型；估计目标的辐射率；以及基于热图像序列、指示背景温度的辐照度数据和目标的估计的辐射率来估计数字表面模型的像素的温度。
附图说明
在附图中，除非上下文另有指示，相同的附图标记标识相似的元件。附图中元件的尺寸和相对位置不一定按比例绘制。
图1示出了根据本公开的一个或更多实施例的用于获得目标的热和多光谱图像的飞行器。
图2示出了根据本公开的一个或更多实施例的飞行器的细节。
图3是根据本公开的一个或更多实施例的具有热成像和光谱成像设备的传感器的立体图。
图4和图5示出了根据本公开的一个或更多实施例的利用传感器捕获的示例图像。
图6是根据本发明的一个或更多实施例的具有热成像及光谱成像设备的传感器或相机的功能框图。
图7是根据本公开的一个或更多实施例的辐照度感测设备的立体图。
图8示出了根据本公开的一个或更多实施例的由光谱成像设备捕获的光谱图像内的区域。
图9是示出根据本公开的一个或更多实施例的生成捕获同步的热图像和光谱图像并使用图像来生成目标区域的数字表面模型的一个示例过程的流程图。
图10示出了根据本公开的一个或更多实施例的示例图像捕获周期。
具体实施方式
本公开总体涉及生成和处理由一个或更多热图像传感器捕获的图像流以及由一个或更多光谱图像传感器捕获的图像流的设备、系统和方法。热图像传感器相对于光谱图像传感器固定。此外，热图像传感器和光谱图像传感器同步以并发或同时地捕获图像。
图1图示了根据一个或更多实施例的用于同时获得例如基于地面的目标的热图像和光谱图像的飞行器100，并且图2图示了飞行器100的实施例的进一步细节。参考图1和图2，飞行器100包括一个或更多热成像设备110和一个或更多光谱成像设备120，热成像设备在操作中捕获物理区域或场景(例如，目标)的热图像，光谱成像设备在操作中捕获物理区域或场景(例如，目标)的光谱图像。如图所示，飞行器100还包括一个或更多辐照度感测设备130，其在操作中感测辐照度水平。
飞行器100可以是任何类型的飞行器，包括任何旋转翼或固定翼飞行器，并且可以是无人飞行器(如图1中所示)或载人飞行器，诸如飞机或无人机。另外，飞行器100可以是能够自主飞行(以及自主获取图像和辐照度信息的)的自主飞行器，或者可以是驾驶飞行器(例如，由载人飞行器中的飞行员或者由无人飞行器的远程飞行员飞行)。
成像的目标(例如，树木102、作物104、106、草地、水体等)从例如太阳108的光源接收辐照。目标可以是一个或更多不同的对象(例如，单棵树、建筑物、池塘等)、区域或场景(例如，森林的一部分、作物田地的一部分、湖泊的一部分等)或者可能期望获取图像的任何其他目标。热成像设备或电路110的数量和光谱成像设备或电路120的数量可以例如基于目标或感兴趣区域的类型而变化。例如，在暴风雨损害评估应用(例如，屋顶泄漏)中，可以采用具有单个热成像设备110和单个光谱成像设备120的飞行器100，而在农业评估应用中，可以采用多个热成像设备110和光谱成像设备120。可以想象，本申请的系统和方法可以在室内，使得环境光是白炽光或LED。
热成像设备110可以是诸如长波红外(LWIR)成像器的自由运行的热成像仪，其能够获取目标的热图像，并且可以包括多个热成像仪。可以采用其它热成像设备，例如短波红外(SWIR)成像器、热电堆等，以及它们的各种组合。
由热成像设备110获取的图像可以用于测量或确定目标的不同特性，例如估计目标对象的温度。热成像设备110可以被安装到飞行器100并且以可能期望的任何方式定向。例如，热成像设备110可以被安装到飞行器100的下表面并且被定位成使得可以获得基于地面的目标的图像。热图像可以是RGB图像。
光谱成像设备120可以是能够获取目标的光谱图像的多光谱成像设备，并且可以包括多个成像器，其中每个这样的成像器被调谐用于捕获由目标反射的光的特定波长。光谱成像设备120可被配置成捕获电磁光谱的紫外、可见、近红外和/或红外区域中的一个或更多中的反射光。光谱图像可以是RGB图像。
由这种光谱成像设备获取的图像可以用于测量或确定目标的不同特性，例如植物的叶绿素含量、每单位地面面积的叶面积的量、水体中藻类的量或类型等。在一个或更多实施例中，光谱成像设备120可用于确定成像目标的反射率。
光谱成像设备120可以被安装到飞行器100并且以可能期望的任何方式定向。例如，成像设备120可以被安装到飞行器100的下表面并且被定位成使得可以获得基于地面的目标的图像。
如图所示，传感器112容纳热成像设备110和光谱成像设备120。传感器112安装到飞行器100的下表面。热成像设备110和光谱成像设备120可以同时获取热图像和光谱图像。传感器112包括联接到热成像设备110和光谱成像设备120的处理器或电路。处理器被配置为以稳健地捕获热和光谱数据的方式操作每个热成像设备和光谱成像设备的快门，使得数据可以被处理和整理以供用户理解更多关于他们正在利用飞行器100评估的环境。
辐照度感测设备130可以安装到飞行器100的上表面，并且包括多个光传感器，光传感器被配置成以相对于光源的各种不同方位同时感测来自光源(例如太阳108)的辐照度。下面参照图7更详细地描述辐照度感测设备130。
图3示出了根据本公开的一个或更多实施例的具有至少一个热成像设备110和至少一个光谱成像设备120的传感器112的可替代实施例的立体图。如图所示，传感器112具有两个热成像设备110和五个光谱成像设备120。五个光谱成像设备可捕获不同图像频带(例如，蓝色、绿色、红色、红色边缘和近红外频带)中的光谱图像。如图所示的热成像设备110和光谱成像设备120相对于彼此刚性地定位。在典型的传感器112中，热成像设备110可以具有比光谱成像设备120更大的视场和更低的分辨率。例如，热成像设备可以具有160乘120热像素的分辨率和57度乘44度的视场，而光谱成像设备可以具有2064乘1544像素的分辨率和48度乘37度的视场。由于光谱图像的较高分辨率，通常花费较长时间将所捕获的光谱图像写入存储器。因此，热成像设备110实际上可以具有比光谱成像设备120更快的操作周期。
传感器112包括壳体113，其包封各种电路，包括处理器、诸如电池的电源、收发器或诸如有线或无线传输电路的其它通信装置。壳体113包括底座部分115和远离底座部分的表面119延伸的镜头部分117。镜头部分117包括位于开口123中的5个镜头121，其穿过表面125，表面125作为距离表面119的最外表面。每个镜头都凹入开口中，使得每个镜头的曲率从表面125凹进。在其他实施例中，每个镜头或一些镜头的曲率可以与表面125齐平或延伸超过表面125。
在镜头部分中并且联接到底座部分的是与相应镜头121对准的光谱成像芯片或封装。它们刚性地定位在壳体113内。第一光谱成像设备居中地定位在镜头部分117内。两个光谱成像设备在中心定位的光谱成像设备的右侧，并且两个光谱成像设备在中心定位的光谱成像设备的左侧。中心定位的光谱成像设备也定位在第一和第二热成像设备之间。这些热成像设备还与表面129中的孔127对准。表面129相对于表面125凹入。表面129在表面125和表面119之间。
图4和图5概念性地示出了根据本公开的一个或更多实施例的可以利用诸如图3的传感器112的传感器捕获的示例图像。为了便于说明，图4和5示出了使用单个热成像设备110和从传感器112的单个光谱成像设备120捕获的图像。实际上，图像可以由传感器112的所有热成像设备110和光谱成像设备120捕获。热成像设备110捕获包括一个或更多目标402的热图像404，并且光谱成像设备捕获包括目标402的光谱图像406。目标可以是特征，例如对象或对象的点或特征、单独的像素(例如，热像素、光谱像素)、定义尺寸的一组像素(例如，四乘四像素组)或与特征(例如，对象或对象的点)相关联的一组像素。
图4示出了由热成像设备110捕获的单个热图像404，其与由光谱成像设备120捕获的单个光谱图像406重叠。图5示出了当传感器112移动经过目标402时，由热成像设备110和光谱成像设备120捕获的一系列热图像404和光谱图像406。如图所示，热成像设备110具有比光谱成像设备120的固定视场宽广的固定视场。
由于热成像设备110实际上具有更快的图像捕获周期时间(通常由于较低的分辨率)，所以与光谱成像设备120捕获光谱图像406相比，热成像设备110捕获更多的热图像404，如图5所示。换句话说，热图像404除了以不同的波长捕获之外，还具有比光谱图像406更高的空间采样频率。如图所示，在传感器112掠过目标402期间，热成像设备110捕获四个热图像404，并且光谱成像设备120捕获两个光谱图像。实际上，热成像设备110能够在光谱成像设备120捕获单个光谱图像406的相同时间段中捕获八个或更多个热图像404。
图6是传感器600的实施例的功能框图，其可用作例如图1-3的传感器以捕获一个或更多目标的图像。传感器600包括在操作中捕获热图像的一个或更多热成像设备110，以及在操作中捕获光谱图像的一个或更多光谱成像设备120。如图所示，系统600包括一个或更多处理核或处理器602，以及一个或更多存储器604，其可以在操作中用于实现传感器600的功能(例如，控制热成像设备110和光谱成像设备120，存储和处理热图像数据和光谱图像数据等)，例如通过执行存储在存储器中的指令。如图所示的系统600还包括一个或更多总线系统606，并且可以包括附加电路608，诸如电源等，为了便于说明而省略了这些附加电路。该系统还包括一个或更多惯性测量单元(IMU)610，诸如陀螺仪或加速度计，其可以在操作中在飞行器100捕获目标的图像时生成位置改变信息。
传感器600的实施例可包括比所示的更多或更少的电路，并且电路可以各种方式组合和分离成附加电路。例如，传感器600的一些实施例可以结合辐照度感测设备(参见图1的辐照度感测设备130)。在一些实施方式中，传感器可以被配置成联接到外部辐照度感测设备。一些实施例可以包括通信电路(例如，WiFi或蜂窝)，或者在接口606中包括这样的功能。
在操作中，由传感器112的热成像设备110生成的热图像404可以用于估计目标的各个像素的温度。通过组合多个热图像404并且进一步考虑由一个或更多光谱成像设备120生成的目标406的光谱图像，可以获得温度估计的空间分辨率的增加。光谱图像406可用于例如估计目标的辐射率，并且辐射率估计可与来自热图像404的测量温度信息一起使用，以估计目标的温度。辐射率是表面的材料的特性，并且是从材料表面辐射的能量与黑体辐射的能量的比率。理想辐射体(黑体)具有辐射率1，并且辐射与其温度相等的长波辐射。理想的热镜具有0的辐射率。其它材料具有0和1之间的辐射率。辐射率小于1的材料发射与其温度成比例的辐射。玻璃对长波辐射不透明，并且其反射的比其辐射的更多。为了估计温度，需要估计辐射率。
光谱图像406可用于识别目标物体并检测目标物体的状况，例如植物是否处于损伤、田地下的管道是否泄漏等。可以使用在飞行器100在目标上移动时捕获的多个光谱图像406来生成3D数字表面模型(DSM)。将来自光谱图像406的光谱图像数据与来自一个或更多热图像404的热图像数据进行组合便于生成对目标状况的更准确的估计。热图像404可以与光谱图像406组合使用以生成DSM。DSM是被成像的土地或环境的表面的表示。DSM表示环境中对象的高度差和反射率。基于热图像，在DSM中合并了对象和环境的温度信息。
而且，来自辐照度感测设备130的数据可以用于估计背景温度(例如，天空的温度)。估计的背景温度信息可用于调整或校正目标的像素的测量温度，从而提高温度估计和任何部分基于温度估计的状况数据的准确性。
图7示出了根据本公开的一个或更多实施例的辐照度感测设备130的立体图。辐照度感测设备包括多个光传感器132，其被配置成在相对于光源(例如太阳(见图1))的各种不同方位上同时感测来自光源的辐照度。如图所示，辐照度感测设备130包括接口134，其可以在操作中经由图6的接口606联接到处理设备，例如传感器600的处理核602。
光传感器132可以是多光谱下行光传感器。来自光传感器132的数据或图像可以用于在空中热成像期间估计天空的温度分布。光传感器132可以测量光路的角度和扩散率。半球入射辐照度的模型可以基于测量的信息产生，并且用于估计天空的温度。
光传感器在辐射遥感应用中测量太阳辐照度。来自光源(诸如太阳)的辐照度可以由在辐照度感测设备上以不同方位布置的多个光传感器同时感测。因此，可以确定辐照度的分量，例如直射和散射分量以及入射角，并且利用这些分量来补偿或归一化由成像设备同时获取的目标图像。
通过由具有不同取向的多个光传感器同时感测辐照度，可以确定光源的特定特性，诸如太阳辐照度的直射和散射分量，以及太阳辐照度的入射角α。此外，辐照度感测设备可以在图像被成像设备获取的同时感测辐照度，这使得能够对获取的图像进行归一化或补偿，以考虑由成像的目标接收的辐照度的变化。例如，通过考虑在获取每个图像(热和/或光谱)时由辐照度感测设备130感测的辐照度的差异，在多云天由成像设备100获取的目标的图像可以与在无云天相同目标的获取的图像相关联。
辐照度感测设备130包括以不同取向布置的多个辐照度感测表面和被配置成接收和感测来自诸如太阳的光源的辐照度的变化量或分量(例如，直射和散射分量)的光传感器。辐照度感测设备130可以附接到飞行器并且通信地联接到热成像设备和光谱成像设备。
参照图7，辐照度感测设备130包括壳体131，其形成设备130的外表面。在一些实施例中，壳体131可以包括两个或更多部件，所述两个或更多部件可以通过任何合适的元件固定到彼此，所述合适的元件包括例如紧固件、粘合材料、铰链等中的一个或更多。在一些实施例中，壳体131包括顶部外壳133和底部外壳135。
顶部外壳133包括多个倾斜表面137，其在顶部外壳133的相应边缘和上表面139之间以不同取向延伸。多个辐照度感测开口413延伸穿过倾斜表面137和/或上表面139。在一些实施例中，倾斜表面137和上表面139中的每一个包括至少一个与光传感器132中的一个对准的辐照度感测开口。
多个光传感器132布置在内部板上，该内部板可以是用于安装光传感器的安装结构，并且在一些实施例中承载包括在辐照度感测设备130中的各种电子电路、部件等。
光导管位于辐照度感测开口中并且与每个光传感器对准。光导管可以是任何物理结构，其能够将从壳体131外部接收的辐照度传输或分布到壳体131内部，更具体地说，朝向每个光传感器132。光导管可以具有中空结构或实心结构。在一些实施例中，不包括光导管。
光传感器132可被配置成感测具有各种不同波长的辐照度。例如，在一个或更多实施例中，光传感器包括感测环境光或辐照度的一个或更多宽带光传感器，以及感测具有在电磁频谱上的特定波长或波长范围的光的一个或更多光谱传感器。在一些实施例中，宽带光传感器被配置为感测穿过倾斜表面137的辐照度感测开口的光，而光谱传感器被配置为感测穿过顶部外壳133的上表面139上的辐照度感测开口的光。
用于处理和/或存储接收的信号(例如，指示感测的辐照度的信号)的各种电子电路(例如，一个或更多专用集成电路、计算机可读存储器等)可以附接到内部板。
每个光传感器132可以通信地联接到处理器(例如，无线联接，或通过一个或更多电线或电缆联接)，并且在操作期间可以向处理器或从处理器传送信号(例如，指示所感测的辐照度的一个或更多信号)。处理器可被配置成执行本文所述的功能中的任何功能，包括例如确定所感测的辐照度的直射和散射分量、接收所获取的图像、基于所感测的辐照度的所确定的直射和散射分量以及所获取的图像来确定目标对象的反射率、存储信息或使信息被存储、关联信息、确定辐照度感测设备130的取向、导航功能等。
在一些实施例中，本公开提供一种设备，其包含结构及联接到该结构的多个光传感器。光传感器具有相对于彼此不同的感测取向，并且光传感器中的每一个在使用中在所述多个感测取向中的相应一个处接收辐照度。不同的感测取向包括至少五个不同的感测取向。在一些实施例中，光传感器具有以不同感测取向布置的感测表面。在一些实施例中，壳体具有多个表面，该多个表面具有不同的感测取向，并且光传感器接收入射在该表面上的光。在一些实施例中，壳体可以具有半球形或球形形状，其中光以多个不同感测取向入射在壳体上，并且多个光传感器接收入射在半球形或球形壳体的不同部分上的光。
光传感器的感测取向可以在相对于任何参考点的角度或位置方面彼此不同。例如，感测取向可以具有相对于参考点的不同角度，该参考点可以例如从光传感器所附着的结构的中心测量。每个光传感器可以被配置为接收在特定表面区域或范围(例如，在设备130的顶部外壳133中的开口的表面区域)入射的光。由热图像传感器110、光谱图像传感器120和可选的辐照度感测设备130生成的数据量可以是相当大的，并且与将这样大量的数据变成有用输出(例如，示出目标或其部分的估计温度的目标图像，示出目标的估计状况的图像等)相关联的处理、存储和功率要求可以类似地是相当大的。热图像和光谱图像之间的分辨率差异以及热成像设备的自由运行可能使处理复杂化。
减少处理开销的一种方式是丢弃由热成像设备110生成的大部分热图像404。例如，对于光谱图像406的每次捕获，可以捕获一个热图像404，并且丢弃其余热图像404。参考图5和6，只有与光谱图像406同时捕获的热图像404可以保存到存储器604。这降低了传感器112的存储要求，并且可以降低与将数据变成有用输出相关联的处理要求。然而，热信息的分辨率降低。
减少处理开销的另一种方式是限制保存和用于处理图像的来自光谱图像406的信息量(例如，用于生成DSM的信息量)。在光谱图像406中，在假定图像的中心部分的数据最有用的情况下，仅可以保存来自图像406的该中心部分的数据。图8示出了这个概念。可以保存图像406的区域408内的数据，并且可以丢弃区域408外的数据。区域408的大小可以基于奈奎斯特定理来确定。仅保存数据的最佳部分降低了存储要求，并且还可以减少光谱图像捕获周期时间。因此，在图8的光谱图像406中，可以保存目标A410的数据。然而，目标B412的数据和目标C414的数据将丢失，这可能降低DSM的精度和任何可用输出信息的分辨率，例如目标状况的图。当存储了比区域408内的数据更多的或所有的光谱图像数据并将其用于生成DSM时，便于目标的过采样，这由于光谱图像中的空间重叠而导致更高分辨率的图像。例如，与目标B412和目标C414相关的数据可从更多的光谱图像获得。
由于热成像设备110的自由轮转，由一个或更多热成像设备110捕获的热图像404与由一个或更多光谱成像设备120捕获的光谱图像406不同步。这增加了当热图像数据与光谱图像数据结合时生成DSM的复杂性。
为了避免这种复杂性的增加，由光谱成像设备120捕获的光谱图像406可以与由热成像设备110捕获的热图像同步。这可以便于捕获所有热图像并且使用光谱图像的更多数据，这进而便于光谱图像和热图像两者建模的过采样。同步可以例如基于光谱成像设备120的捕获周期时间和热成像设备110的捕获周期时间。基于光谱和热图像捕获周期，可以确定热成像设备110的周期数目n，并且热成像设备的每n个周期可以触发光谱成像设备对图像的捕获。光谱图像捕获设备120可以每秒捕获一个图像帧，热图像捕获设备110可以每秒捕获9个图像。因此，在这种情况下，n可以被设置为9。
当多个光谱成像设备120与热成像设备110同步时，最慢的光谱成像设备120的图像捕获周期时间可以用于确定热成像设备110的用于触发多个光谱成像设备120捕获光谱图像406的周期数n。为了促进光谱图像热彼此同步以及与热成像设备110的周期n所捕获的热图像404同步，多个光谱成像设备120可以采用公共快门，或者光谱成像设备120可以采用快速快门。这促进了光谱图像传感器具有重叠恢复时间。处理核602可以有助于公共快门，从而控制阵列中的每个传感器或热成像设备和光谱成像设备的定时。
当一个或更多光谱成像设备120与多个热成像设备110同步时，最慢的热成像设备110的图像捕获周期时间可以用于确定热成像设备110的用于触发一个或更多光谱成像设备120捕获光谱图像406的周期数n。热成像设备110可以彼此同步，并且可以使用共同的热图像周期时间来确定周期数n等。
使由一个或更多光谱成像设备120捕获光谱图像406与由一个或更多热成像设备110捕获热图像404同步，有助于降低生成DSM和使用更多数据(例如所有热图像404和光谱图像406中的所有或更多数据)来生成DSM的复杂度。因此，通过促进使用更多光谱图像数据的能力和使用更多热图像的能力，使捕获光谱图像与捕获热图像的同步，从而促进目标的过采样，并且还可以促进使用飞行器的处理资源(例如，传感器112的处理核602和存储器604)生成DSM，而不是将数据发送到远程服务器以生成DSM，由于更快的处理。建模精度的提高有助于降低信号中的噪声，以及提供更高的分辨率和更清晰的测量结果。在DSM生成中，在降低噪声和提供更清楚的结果方面可能存在会有一些权衡。
图9是示出生成和捕获同步的热图像和光谱图像并使用图像来生成目标区域(例如田地)的数字表面模型的一个示例过程900的流程图。过程900可以例如由图1的飞行器100或图1-3和6的传感器执行。
在902，过程900初始化一个或更多控制变量或设备，例如计数器，过程900从902进行到904。在904，过程900执行热图像捕获周期，使用诸如图6的热成像设备110的热成像设备捕获热图像。在一些实施例中，可以在904的热图像捕获周期期间使用另外的热成像设备捕获另外的热图像。在904的热图像捕获周期中的热图像的捕获可以被同步。过程900从904进行到906，其中更新或递增控制变量或计数器以反映在904发生的热图像捕获周期。该过程从906进行到908。
在908，过程900确定一个或更多热图像的下一捕获周期是否应当与一个或更多光谱图像的捕获周期同步。如图所示，这是通过确定是否已经达到热图像捕获周期的阈值数目，例如通过将计数器的值与阈值(例如，n-1)进行比较来完成的。当在908确定一个或更多热图像的下一捕获周期应当与一个或更多光谱图像的捕获周期同步时，过程900进行到910。当在908确定一个或更多热图像的下一捕获周期不应当与一个或更多光谱图像的捕获周期同步时，过程900返回到904以执行另一热图像捕获周期。
在910，该过程使热图像捕获周期的执行与光谱图像捕获周期的执行同步。使用对应的热成像设备捕获一个或更多热图像与通过一个或更多光谱成像设备捕获一个或更多光谱图像同步。这可以例如通过与热图像捕获周期的触发同时地或者在热图像捕获周期的触发的阈值时间段内触发一个或更多光谱成像设备的一个或更多快门来完成。过程900从910进行到912，其中控制变量或计数器被重置。过程900从912进行到914。
在914，过程900确定是否继续收集图像数据。该过程900可以基于控制信号、阈值时间段、缓冲器状态、确定的采集时间表等来确定是否继续采集图像数据。当在914确定继续收集图像数据时，过程900返回到904。当在914处确定不继续收集图像数据时，过程900从914行进到916。
在916，过程900使用由热成像设备和光谱成像设备(例如图6的传感器112的成像设备)捕获的同步的热图像和光谱图像来生成DSM。可以例如使用图1-3和图6的传感器、飞行器100(例如，飞行器100的与传感器112分离的处理核)、由远程服务器(未示出)及其各种组合来生成DSM。参考图1-3和6，当飞行器100在感兴趣区域上方飞行时，捕获同步图像。从多个角度捕获多个图像。
DSM是从包含在同步多光谱影像中的高分辨率特征生成的。摄影测量技术可用于从光谱图像提取几何信息以识别特征。可以采用技术来解决镜头畸变差和图像对准，例如使用校准信息、特征检测等。使用来自多光谱图像的数字表面模型和姿态估计，以及之前或之后的相对角度信息，可以估计同时捕获热图像的同步的热成像器110的姿态。这有助于使用具有较低空间采样频率的热图像来细化DSM。DSM、姿态和相机热模型信息可以用于估计数字表面模型上的每个点的温度，其以分辨率高于热成像器的热像素的分辨率。图像中的每个像素的辐射测量响应可以用于对该像素下的物体的辐射率进行建模。辐射率信息可以用于校准每个对准的热像素，以检索该点处的表面温度的温度估计。例如，可以从查询表中检索温度估计。
图9的过程900的实施例可以包括比所示更多的动作，可以包括比所示更少的动作，可以将所示动作分成多个动作，可以将所示动作组合成更少的动作，并且可以以各种顺序执行所示动作，这可以包括并行地执行所示动作或使用迭代过程。例如，在过程900的实施例中，可以采用并行过程，在执行图像捕获周期的同时生成或更新DSM或复合输出像素图。在另一示例中，生成DSM可以是迭代过程，其中基于DSM重新处理图像，并且基于重新处理的图像更新DSM。在另一示例中，可以在飞行器已经着陆并且存储的数据已经被传送到远程服务器以用于处理之后，在远程服务器中生成DSM。在一些实施例中，DSM将在飞行器上生成，并且在其他实施例中，DSM将在飞行之后在与飞行器分离的处理设备上生成。
在一些实施例中，复合像素图可以基于来自热图像和光谱图像的数据。例如，光谱图像可以用于创建DSM并且估计像素的辐射率。则热信息可以提供用于复合像素图的像素的基础值。
在另一示例中，过程900可被修改成使用一个或更多辐照度感测设备，例如图1和7的辐照度感测设备130，来捕获背景辐照度数据。辐照度数据的捕获可以例如与每个热图像捕获周期、与每个同步的热图像和光谱图像捕获周期等同步。一种下行光传感器测量光路的角度和扩散率，并且使用导出的半球入射辐照度的模型来估计天空的温度。估计的天空的温度可以用于使用辐射率、天空温度和测量的像素温度来校正表面温度测量值。测量天空的辐照度便于更精确地估计温度，因为它提供了由表面发射的辐射有哪一部分被反射的指示，并且因此允许更好地估计表面的材料。可以从测量的温度中减去天空的温度。例如，锡屋顶的辐射率可以用反射曲线来估计，并且基于反射率与辐射率加上天空温度的关系的查询表可以用于估计温度。可以基于天空的温度来校正辐射率的估计，并且然后可以校正热信息。这可以在逐个像素的基础上完成。无人机比卫星更靠近地面，并且比光谱图像具有更大的像素，这可以进一步促进提供投射在DSM上的更准确的温度。
在另一示例中，过程900可以被修改为使用一个或更多IMU，诸如图6的IMU610，来捕获惯性运动数据，并且使用惯性运动数据来估计由传感器捕获的图像的姿态，诸如由图6的热成像设备110捕获的热图像。惯性运动数据的捕获可以例如与每个热图像捕获周期、与每个同步的热图像和光谱图像捕获周期等同步。由热像仪捕获的每个序列热图像的姿态可以通过使用来自可见光相机的同步捕获的导出姿态来估计。当IMU包括陀螺仪时，陀螺仪可以提供角度信息的变化，其可以被集成在一组相邻图像上。当IMU包括加速度计时，加速度计可以提供位置信息的变化，其通常可以不被集成在相邻图像上。IMU数据可用于确定帧间姿态改变，并且摄影测量或图像匹配可用于确定可视图像的姿态改变和绝对姿态。
参考图10，同步图像捕获周期420捕获目标的光谱图像406，与捕获目标的热图像404同步。随后的图像捕获周期422和424捕获目标的相应热图像404，然后同步的图像捕获周期426捕获目标的光谱图像406，与目标的热图像404同步。当执行图像捕获周期422和424时，目标402或目标402上的点相对于热成像设备110的姿态(位置和取向)可以基于IMU数据和图像捕获周期420的姿态估计来估计。在一个实施例中，在周期422和424处的估计姿态还可基于周期426的姿态估计。在一个实施例中，也可以考虑其他位置信息，例如GPS信息。在一个实施例中，由于热图像的较低分辨率，在考虑光谱图像数据之前，热图像序列中的图像的热图像数据可以被应用来估计在图像捕获周期422和424处捕获的图像的姿态。如果期望对估计姿态的进一步细化，则可以应用(过采样的)光谱图像数据。在降低测量中的噪声和改进估计姿态中的信号分辨率方面可能存在一些权衡。
DSM、由传感器收集的数据(例如，光谱图像、热图像、任何辐照度数据、任何加速度计数据等)、外部或已知数据(例如，GPS数据、飞行路径等)可用于表征基于DSM生成的复合输出图的像素。基于相机位置信息将所捕获的图像投影到DSM上。通过多个图像从多个角度投影单个点的信息。输出图的像素可以表征为例如土壤、阴影、植物等。输出像素图可以例如与温度信息一起用于确定可能需要解决的问题。
例如，使用输出图的分类像素，土壤温度或阴影温度统计上不同于并且低于周围土壤或阴影区域的区域可以指示发生灌溉泄漏的区域。在另一示例中，高分辨率光谱图像和温度信息可以用于识别受损植物，例如田地中的葡萄藤。例如，在植物经历损伤14天后，人眼可以检测到损伤。在一个实施例中，使用过采样的高分辨率光谱图像可以在损伤发生的5-6天内检测植物损伤。当与热图谱结合时，可以进一步减少检测时间段。在一个实施例中，过采样热图谱可以测量0.5摄氏度的温度变化。
一些实施例可以采取计算机程序产品的形式或包括计算机程序产品。例如，根据一个实施例，提供了一种计算机可读介质，其包括适于执行上述方法或功能中的一个或更多的计算机程序。该介质可以是物理存储介质，例如只读存储器(ROM)芯片，或者磁盘，例如数字通用盘(DVD-ROM)、光盘(CD-ROM)、硬盘、存储器、网络，或者便携式媒体物品，以便由适当的驱动器或者经由适当的连接读取，包括编码在一个或更多条形码或者存储在一个或更多这样的计算机可读介质上并且可由适当的读取器设备读取的其它相关代码中。
此外，在一些实施例中，方法和/或功能中的一些或全部可以用其它方式实现或提供，诸如至少部分地以固件和/或硬件实现或提供，包括但不限于一个或更多专用集成电路(ASIC)、数字信号处理器、分立电路、逻辑门、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等以及采用RFID技术的器件及其各种组合。
本公开的实施例包括一种设备，其包括热成像电路和光谱成像电路，热成像电路在操作中执行热图像捕获周期序列以捕获热图像序列，光谱成像电路在操作中执行光谱图像捕获周期序列以捕获光谱图像序列。该设备包括控制电路，其联接到热成像电路和光谱成像电路，其中控制电路在操作中使由光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步。这些可以全部被包括在飞行器上，相对于彼此处于固定位置。
该设备包括一个或更多附加的光谱成像电路，其中，控制电路在操作中使由一个或更多附加的光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步。该设备包括光谱图像电路和一个或更多附加光谱图像电路具有公共快门。控制电路在操作中基于光谱图像序列生成数字表面模型，或者基于热图像序列生成数字表面模型。
在其他变型中，控制电路在操作中基于数字表面模型生成感兴趣区域的复合像素图。控制电路在操作中基于复合像素图识别受损植物。可以从各种植物特性，例如叶片颜色和温度，来鉴定受损植物。
控制电路在操作中可以估计复合像素图中的像素或像素组的温度。控制电路在操作中基于复合像素图和估计的温度来估计像素状况。另外，控制电路在操作中基于复合像素图和估计温度来识别植物特性。该设备可以是具有第一表面和与第一表面相对的第二表面的飞行器，该飞行器包括在第一表面上的辐照度检测设备，热成像设备和光谱成像设备在第二表面上。在实施例中，控制电路使光谱图像捕获周期与每隔一个热图像捕获周期同步。控制电路在操作中基于估计的像素状况来识别与灌溉泄漏一致的状况。
在其他实施例中，本公开涉及一种方法，其包括由热成像设备执行热图像捕获周期序列以捕获热图像序列，使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由热成像设备执行的热图像捕获周期同步，以及基于光谱图像序列生成感兴趣区域的数字表面模型。该方法包括使由多个光谱成像设备执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步。数字表面模型基于热图像序列。该方法还包括基于数字表面模型生成感兴趣区域的复合像素图，并且可以基于复合像素图识别受损植物。
该方法包括估计复合像素图中的像素或像素组的温度。该方法包括基于复合像素图和估计的温度来估计像素状况。该方法还包括基于像素占用图和估计的温度来识别灌溉泄漏。在实施例中，该方法包括响应于热图像序列将热数据投影到数字表面模型上。该方法可以存储热图像序列和光谱图像序列，热图像序列的数量大于光谱图像序列的数量。
其它实施例包括识别第一光谱图像和第二光谱图像中的对象，识别与第一光谱图像相关联的第一位置信息和与第二光谱图像相关联的第二位置信息，以及从至少第一和第二光谱图像以及第一和第二位置信息生成数字表面模型。该方法可以包括通过将光谱图像中的第一光谱图像和第二光谱图像的捕获时间与热图像序列的热图像相关联，识别在热图像序列的至少两个热图像中的对象，识别每个热图像的对象的测量值，将每个热图像的对象的测量值投影到数字表面模型上。
另一实施例包括从飞行器上的热成像设备捕获多个热图像，该捕获具有第一捕获频率，从飞行器上的光谱成像设备捕获多个光谱图像，该捕获具有小于第一捕获频率的第二捕获频率，在第二捕获频率下使光谱成像设备的快门与热成像设备的快门同步，以及基于多个光谱图像生成表示正被成像的环境的深度信息的数字表面模型。该方法包括通过以下步骤生成数字表面模型的高分辨率热叠加图：识别在多个光谱图像中成像的物理对象，该物理对象的深度信息被呈现为数字表面模型中的点，通过将第一捕获频率与同步的第二捕获频率对齐来识别多个热图像的子集，识别多个热图像的子集中的对象，识别关于多个热图像的子集中的对象的多个热信息数据测量值，以及将多个热信息数据测量值投影到数字表面模型中与对象相关联的点上。
本公开还涉及一种设备，其包括热成像电路、光谱成像电路、惯性运动感测电路和控制电路，热成像电路在操作中执行热图像捕获周期序列以捕获热图像序列，光谱成像电路在操作中执行光谱图像捕获周期序列以捕获光谱图像序列，惯性运动感测电路在操作中生成指示设备的相对移动的数据，控制电路联接到热成像电路、光谱成像电路和惯性运动感测电路。控制电路在操作中：使由光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步，并且基于指示设备的相对移动的数据来估计热图像序列的热图像的姿态。
惯性运动感测电路可以是加速度计或陀螺仪。控制电路在操作中基于光谱图像序列生成数字表面模型。控制电路在操作中基于热图像序列生成数字表面模型。控制电路在操作中基于热图像的估计姿态生成数字表面模型。
一个可选的实施例涉及一种方法，其包括由热成像设备执行热图像捕获周期序列以捕获热图像序列，使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由热成像设备执行的热图像捕获周期同步，由惯性运动传感器捕获惯性运动数据，基于所捕获的惯性运动数据估计热图像序列中的热图像的姿态，以及基于光谱图像序列生成感兴趣区域的数字表面模型。热成像设备、光谱成像设备和惯性运动传感器相对于彼此固定在飞行器上。该方法包括利用热成像设备和光谱成像设备捕获关于该区域的深度和热信息。该方法还包括从光谱图像序列中的区域识别对象，基于光谱图像序列在数字表面模型上生成表示对象的点，从与对象相关联的热图像序列生成多个热测量值，将多个热测量值中的每一个投影在数字表面模型上的点上。
该方法还包括通过将惯性测量数据与每个热图像相关联，使来自热图像序列的多个热测量值相关联。其还可以包括利用惯性测量数据捕获帧间位置信息，并且将帧间位置信息与热图像序列的每个热图像相关联。
另一实施例是一种设备或无人飞行器，其包括热成像电路、光谱成像电路和控制电路，热成像电路在操作中执行热图像捕获周期序列以捕获热图像序列，光谱成像电路在操作中执行光谱图像捕获周期序列以捕获光谱图像序列，控制电路联接到热成像电路并联接到光谱成像电路。控制电路在操作中收集指示背景温度的辐照度数据，使由光谱成像电路执行的光谱图像捕获周期与由热成像电路执行的热图像捕获周期同步，基于光谱图像序列生成数字表面模型，估计目标的辐射率，以及基于热图像序列、指示背景温度的辐照度数据和估计的目标辐射率来估计数字表面模型的像素的温度。
辐照度感测电路包括多个光传感器。多个光传感器被配置成同时感测来自光源的辐照度，其中光源是太阳。辐照度感测电路在操作中感测指示背景温度的辐照度数据。控制电路基于环境状况从辐照度模型收集辐照度数据。控制电路基于光谱图像序列从辐照度模型收集辐照度数据。控制电路基于热图像序列从辐照度模型收集辐照度数据。控制电路基于光谱图像序列和热图像序列从辐照度模型收集辐照度数据。
另一方法包括通过执行热图像捕获周期序列利用热成像电路捕获热图像序列，通过执行光谱图像捕获周期序列利用光谱成像电路捕获光谱图像序列，以及利用联接到热成像电路和光谱成像电路的控制电路处理光谱图像序列和热图像序列。该处理包括：估计指示背景温度的辐照度数据；使由光谱成像电路进行的光谱图像捕获周期的捕获与由热成像电路进行的热图像捕获周期的捕获同步，热图像捕获周期的捕获比光谱图像捕获周期更频繁；基于光谱图像序列生成数字表面模型；估计目标的辐射率；以及基于热图像序列、辐照度数据指示目标的背景温度和估计的辐射率来估计数字表面模型的像素的温度。
该方法包括估计辐照度数据，包括利用定位在飞行器的第一表面上的辐照度数据捕获设备捕获辐照度数据，光谱成像电路和热成像电路在飞行器的与第一表面相对的第二表面上。该方法包括估计辐照度数据，包括利用面向第一方向定位的辐照度数据捕获设备捕获辐照度数据，光谱成像电路和热成像电路面向与第一方向不同的第二方向定位。辐射率的估计包括从光谱图像生成辐照度数据。辐射率的估计包括从热图像生成辐照度数据。辐射率的估计包括从光谱图像和热图像生成辐照度数据。
本公开还包括一种方法，由热成像设备执行热图像捕获周期序列以捕获热图像序列；使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由热成像设备执行的热图像捕获周期同步；感测指示背景温度的辐照度数据；基于光谱图像序列生成数字表面模型；估计目标的辐射率；以及基于热图像序列、指示背景温度的辐照度数据和目标的估计的辐射率来估计数字表面模型的像素的温度。
上述各种实施例可以组合以提供进一步的实施例。在本说明书中提及和/或在申请数据表中列出的所有美国专利、美国专利申请公开、美国专利申请、外国专利申请和非专利公开，包括于2018年12月3日提交的美国临时专利申请号62/774,814、于2018年12月3日提交的美国临时专利申请号62/774,815和于2018年12月3日提交的美国临时专利申请号62/774,812，通过引用将它们的全部内容并入本文。如果需要，可以修改实施例的各方面，以采用各种实施例和公开的概念来提供另外的实施例。
根据以上详细描述，可以对实施例进行这些和其它改变。通常，在所附权利要求中，所使用的术语不应被解释为将权利要求限制为说明书和权利要求中公开的具体实施例，而应被解释为包括所有可能的实施例以及这些权利要求所授权的等同物的全部范围。因此，权利要求不受本公开的限制。

Claims (53)

1.一种用于使光谱图像的捕获与热图像的捕获同步的设备，其包括：
热成像电路，其在操作中执行热图像捕获周期序列以捕获热图像序列；
光谱成像电路，其在操作中执行光谱图像捕获周期序列以捕获光谱图像序列；
存储器，其在操作中存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列的数量；以及
控制电路，其联接到所述热成像电路和所述光谱成像电路，其中所述控制电路在操作中使由所述光谱成像电路执行的光谱图像捕获周期与由所述热成像电路执行的热图像捕获周期同步。
2.根据权利要求1所述的设备，包括一个或更多附加光谱成像电路，其中，所述控制电路在操作中使由所述一个或更多附加光谱成像电路执行的光谱图像捕获周期与由所述热成像电路执行的所述热图像捕获周期同步。
3.根据权利要求2所述的设备，其中，所述光谱成像电路和所述一个或更多附加光谱成像电路具有公共快门。
4.根据权利要求1所述的设备，其中，所述控制电路在操作中基于所述光谱图像序列生成数字表面模型。
5.根据权利要求4所述的设备，其中，所述控制电路在操作中基于所述热图像序列生成所述数字表面模型。
6.根据权利要求5所述的设备，其中，所述控制电路在操作中基于所述数字表面模型生成感兴趣区域的复合像素图。
7.根据权利要求6所述的设备，其中，所述控制电路在操作中基于所述复合像素图来识别受损植物。
8.根据权利要求6所述的设备，其中，所述控制电路在操作中估计所述复合像素图中的像素或像素组的温度。
9.根据权利要求8所述的设备，其中，所述控制电路在操作中基于所述复合像素图和估计的温度来估计像素状况。
10.根据权利要求8所述的设备，其中，所述控制电路在操作中基于所述复合像素图和估计的温度来识别植物特性。
11.根据权利要求1所述的设备，还包括具有第一表面和与所述第一表面相对的第二表面的飞行器，所述飞行器包括在所述第一表面上的辐照度检测设备，所述热成像电路和所述光谱成像电路在所述第二表面上。
12.根据权利要求1所述的设备，其中，所述控制电路使所述光谱图像捕获周期与每隔一个的热图像捕获周期同步。
13.根据权利要求9所述的设备，其中，所述控制电路在操作中基于所估计的像素状况来识别与灌溉泄漏一致的状况。
14.一种用于使光谱图像的捕获与热图像的捕获同步的方法，包括：
由热成像设备执行热图像捕获周期序列以捕获热图像序列；
使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由所述热成像设备执行的热图像捕获周期同步；
由存储器存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列；以及
基于所述光谱图像序列生成感兴趣区域的数字表面模型。
15.根据权利要求14所述的方法，包括使由多个光谱成像设备执行的光谱图像捕获周期与由所述热成像设备执行的所述热图像捕获周期同步。
16.根据权利要求14所述的方法，其中，所述数字表面模型基于所述热图像序列。
17.根据权利要求14所述的方法，包括基于所述数字表面模型生成所述感兴趣区域的复合像素图。
18.根据权利要求17所述的方法，包括基于所述复合像素图来识别受损植物。
19.根据权利要求17所述的方法，包括估计所述复合像素图中的像素或像素组的温度。
20.根据权利要求19所述的方法，包括基于所述复合像素图和估计的温度来估计像素状况。
21.根据权利要求19所述的方法，包括基于像素占用图和所述估计的温度来识别灌溉泄漏。
22.根据权利要求14所述的方法，还包括响应于所述热图像序列将热数据投影到所述数字表面模型上。
23.根据权利要求14所述的方法，进一步包括：
识别第一光谱图像和第二光谱图像中的对象；
识别与所述第一光谱图像相关联的第一位置信息和与所述第二光谱图像相关联的第二位置信息；以及
从至少所述第一光谱图像和所述第二光谱图像以及所述第一位置信息和所述第二位置信息生成所述数字表面模型。
24.根据权利要求23所述的方法，进一步包括：
通过将所述第一光谱图像和所述第二光谱图像的捕获时间与所述热图像序列中的所述热图像相关联，识别所述热图像序列中的至少两个热图像中的所述对象；
识别每个热图像的所述对象的测量值；
将每个热图像的所述对象的测量值投影到所述数字表面模型上。
25.一种用于使光谱图像的捕获与热图像的捕获同步的方法，包括：
从飞行器上的热成像设备捕获多个热图像，该捕获具有第一捕获频率；
从所述飞行器上的光谱成像设备捕获多个光谱图像，该捕获具有小于所述第一捕获频率的第二捕获频率；
在所述第二捕获频率下使所述光谱成像设备的快门与所述热成像设备的快门同步；
基于所述多个光谱图像生成表示正被成像的环境的深度信息的数字表面模型；
存储热图像序列和光谱图像序列，所述热图像序列的数量大于所述光谱图像序列的数量；
通过以下步骤生成所述数字表面模型的高分辨率热叠加图：
识别在所述多个光谱图像中被成像的物理对象，所述物理对象的深度信息被呈现为所述数字表面模型中的点；
通过将所述第一捕获频率与同步的所述第二捕获频率对齐来识别所述多个热图像的子集；
识别所述多个热图像的所述子集中的所述对象；
识别关于所述多个热图像的所述子集中的所述对象的多个热信息数据测量值；
将所述多个热信息数据测量值投影到所述数字表面模型中与所述对象相关联的点上。
26.一种用于使光谱图像的捕获与热图像的捕获同步的设备，其包括：
热成像电路，其在操作中执行热图像捕获周期序列以捕获热图像序列；
光谱成像电路，其在操作中执行光谱图像捕获周期序列以捕获光谱图像序列；
惯性运动感测电路，其在操作中生成指示所述设备的相对移动的数据；
存储器，其在操作中存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列的数量；以及
控制电路，其联接到所述热成像电路、所述光谱成像电路和所述惯性运动感测电路，其中所述控制电路在操作中：
使由所述光谱成像电路执行的光谱图像捕获周期与由所述热成像电路执行的热图像捕获周期同步；以及
基于指示所述设备的相对移动的数据来估计所述热图像序列中的热图像的姿态。
27.根据权利要求26所述的设备，其中，所述惯性运动感测电路包括加速度计。
28.根据权利要求26所述的设备，其中，所述惯性运动感测电路包括陀螺仪。
29.根据权利要求26所述的设备，其中，所述控制电路在操作中基于所述光谱图像序列生成数字表面模型。
30.根据权利要求29所述的设备，其中，所述控制电路在操作中基于所述热图像序列生成所述数字表面模型。
31.根据权利要求30所述的设备，其中，所述控制电路在操作中基于所述热图像的估计的姿态来生成所述数字表面模型。
32.一种用于使光谱图像的捕获与热图像的捕获同步的方法，包括：
由热成像设备执行热图像捕获周期序列以捕获热图像序列；
使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由所述热成像设备执行的热图像捕获周期同步；
由存储器存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列；
利用惯性运动传感器捕获惯性运动数据；
基于捕获的惯性运动数据来估计所述热图像序列中的热图像的姿态；以及
基于所述光谱图像序列生成感兴趣区域的数字表面模型。
33.根据权利要求32所述的方法，其中，所述热成像设备、所述光谱成像设备和所述惯性运动传感器相对于彼此固定在飞行器上。
34.根据权利要求32所述的方法，还包括利用所述热成像设备和所述光谱成像设备捕获关于所述区域的深度和热信息。
35.根据权利要求34所述的方法，进一步包括：
从所述光谱图像序列中的所述区域识别对象；
基于所述光谱图像序列在所述数字表面模型上生成表示所述对象的点；
从与所述对象相关联的所述热图像序列生成多个热测量值；
将所述多个热测量值中的每一个投影到所述数字表面模型上的所述点上。
36.根据权利要求35所述的方法，进一步包括：
通过将所述惯性测量数据与每个热图像相关联，使来自所述热图像序列的所述多个热测量值相关联。
37.根据权利要求32所述的方法，其进一步包括利用所述惯性测量数据捕获帧间位置信息，并且将所述帧间位置信息与所述热图像序列的每个热图像相关联。
38.一种用于使光谱图像的捕获与热图像的捕获同步的设备，其包括：
热成像电路，其在操作中执行热图像捕获周期序列以捕获热图像序列；
光谱成像电路，其在操作中执行光谱图像捕获周期序列以捕获光谱图像序列；
存储器，其在操作中存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列的数量；以及
控制电路，其联接到所述热成像电路，联接到所述光谱成像电路，所述控制电路在操作中：
收集指示背景温度的辐照度数据；
使由所述光谱成像电路执行的光谱图像捕获周期与由所述热成像电路执行的热图像捕获周期同步；
基于所述光谱图像序列生成数字表面模型；
估计目标的辐射率；以及
基于所述热图像序列、指示所述背景温度的所述辐照度数据和所述目标的估计的辐射率来估计所述数字表面模型的像素的温度。
39.根据权利要求38所述的设备，还包括辐照度感测电路，所述辐照度感测电路包括多个光传感器。
40.根据权利要求39所述的设备，其中，所述多个光传感器被配置成同时感测来自光源的辐照度。
41.根据权利要求40所述的设备，其中，所述光源是太阳。
42.根据权利要求38所述的设备，还包括辐照度感测电路，其在操作中感测指示所述背景温度的辐照度数据。
43.根据权利要求38所述的设备，其中，所述控制电路基于环境状况从辐照度模型收集所述辐照度数据。
44.根据权利要求38所述的设备，其中，所述控制电路基于所述光谱图像序列从辐照度模型收集所述辐照度数据。
45.根据权利要求38所述的设备，其中，所述控制电路基于所述热图像序列从辐照度模型收集所述辐照度数据。
46.根据权利要求38所述的设备，其中，所述控制电路基于所述光谱图像序列和所述热图像序列从辐照度模型收集所述辐照度数据。
47.一种用于使光谱图像的捕获与热图像的捕获同步的方法，包括：
通过执行热图像捕获周期序列，利用热成像电路捕获热图像序列；
通过执行光谱图像捕获周期序列，利用光谱成像电路捕获光谱图像序列；
由存储器存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列；以及
利用联接到所述热成像电路和所述光谱成像电路的控制电路来处理所述光谱图像序列和所述热图像序列，该处理包括：
估计指示背景温度的辐照度数据；
使由所述光谱成像电路进行的光谱图像捕获周期的捕获与由所述热成像电路进行的热图像捕获周期的捕获同步，所述热图像捕获周期的捕获比所述光谱图像捕获周期更频繁；
基于所述光谱图像序列生成数字表面模型；
估计目标的辐射率；以及
基于所述热图像序列、指示所述背景温度的所述辐照度数据和所述目标的估计的辐射率来估计所述数字表面模型的像素的温度。
48.根据权利要求47所述的方法，其中，所述辐照度数据的估计包括利用定位在飞行器的第一表面上的辐照度数据捕获设备捕获辐照度数据，所述光谱成像电路和所述热成像电路在所述飞行器的与所述第一表面相对的第二表面上。
49.根据权利要求47所述的方法，其中，所述辐照度数据的估计包括利用面向第一方向定位的辐照度数据捕获设备捕获辐照度数据，所述光谱成像电路和所述热成像电路面向与所述第一方向不同的第二方向定位。
50.根据权利要求47所述的方法，其中，所述辐射率的估计包括从所述光谱图像生成所述辐照度数据。
51.根据权利要求47所述的方法，其中，所述辐射率的估计包括从所述热图像生成所述辐照度数据。
52.根据权利要求47所述的方法，其中，所述辐射率的估计包括从所述光谱图像和所述热图像生成所述辐照度数据。
53.一种用于使光谱图像的捕获与热图像的捕获同步的方法，包括：
由热成像设备执行热图像捕获周期序列以捕获热图像序列；
使由光谱成像设备执行的以捕获光谱图像序列的光谱图像捕获周期与由所述热成像设备执行的热图像捕获周期同步；
由存储器存储所述热图像序列和所述光谱图像序列，所述热图像序列的数量大于所述光谱图像序列；
感测指示背景温度的辐照度数据；
基于所述光谱图像序列生成数字表面模型；
估计目标的辐射率；以及
基于所述热图像序列、指示所述背景温度的所述辐照度数据和所述目标的估计的辐射率来估计所述数字表面模型的像素的温度。
CN201980079714.7A 2018-12-03 2019-12-03 图像传感器和热像仪设备及其系统和方法 Active CN113226007B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862774815P 2018-12-03 2018-12-03
US201862774812P 2018-12-03 2018-12-03
US201862774814P 2018-12-03 2018-12-03
US62/774,815 2018-12-03
US62/774,814 2018-12-03
US62/774,812 2018-12-03
PCT/US2019/064296 WO2020117847A1 (en) 2018-12-03 2019-12-03 Image sensor and thermal camera device, system and method

Publications (2)

Publication Number Publication Date
CN113226007A CN113226007A (zh) 2021-08-06
CN113226007B true CN113226007B (zh) 2023-04-14

Family

ID=70975527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079714.7A Active CN113226007B (zh) 2018-12-03 2019-12-03 图像传感器和热像仪设备及其系统和方法

Country Status (3)

Country Link
EP (1) EP3890466A4 (zh)
CN (1) CN113226007B (zh)
WO (1) WO2020117847A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210108966A1 (en) * 2019-10-09 2021-04-15 Volkswagen Aktiengesellschaft Multi-sensory measuring system and method for transportation vehicle operating systems
WO2023085997A1 (en) * 2021-11-09 2023-05-19 Saab Ab A method, software product and system for gnss denied navigation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69319050T2 (de) * 1992-09-25 1998-10-08 Texaco Development Corp Flugzeugvermessungsverfahren und -gerät
US5467271A (en) * 1993-12-17 1995-11-14 Trw, Inc. Mapping and analysis system for precision farming applications
US6211906B1 (en) * 1995-09-07 2001-04-03 Flight Landata, Inc. Computerized component variable interference filter imaging spectrometer system method and apparatus
US7194965B2 (en) * 2005-01-06 2007-03-27 Deere & Company Variety locator
JP2007221386A (ja) 2006-02-15 2007-08-30 Eastman Kodak Co 撮像装置
DE102010005265A1 (de) * 2010-01-20 2011-07-21 Testo AG, 79853 Verfahren zur überlagerten Darstellung korrespondierender Bilder und Bildaufnahmevorrichtung
CN102506938B (zh) * 2011-11-17 2014-05-28 江苏大学 基于多传感信息的温室作物生长和环境信息检测方法
CN103761732B (zh) * 2014-01-06 2016-09-07 哈尔滨工业大学深圳研究生院 一种可见光与热红外融合的立体成像装置及其标定方法
CN104237122B (zh) * 2014-09-19 2017-08-15 中国科学技术大学先进技术研究院 一种可调节双反射红外气体浓度探测窗口结构
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
US9945828B1 (en) * 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
EP3387398A2 (en) * 2015-12-09 2018-10-17 Flir Systems, Inc. Unmanned aerial system based thermal imaging systems and methods
GB2547416A (en) * 2016-02-10 2017-08-23 Tyco Fire & Security Gmbh A fire detection system
US11156573B2 (en) * 2016-06-30 2021-10-26 Skydio, Inc. Solar panel inspection using unmanned aerial vehicles

Also Published As

Publication number Publication date
WO2020117847A1 (en) 2020-06-11
CN113226007A (zh) 2021-08-06
EP3890466A1 (en) 2021-10-13
EP3890466A4 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
US20220038644A1 (en) Image sensor and thermal camera device, system and method
US11169028B2 (en) Unmanned aerial system based thermal imaging and aggregation systems and methods
Berni et al. Remote sensing of vegetation from UAV platforms using lightweight multispectral and thermal imaging sensors
US10339639B2 (en) Method and system of calibrating a multispectral camera on an aerial vehicle
US8587664B2 (en) Target identification and location system and a method thereof
Lagüela et al. Aerial thermography from low-cost UAV for the generation of thermographic digital terrain models
US11290623B2 (en) Multi-sensor irradiance estimation
CN113226007B (zh) 图像传感器和热像仪设备及其系统和方法
CN110537365A (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
Zaman et al. Retrieval of spectral reflectance of high resolution multispectral imagery acquired with an autonomous unmanned aerial vehicle
Carrio et al. UBRISTES: UAV-based building rehabilitation with visible and thermal infrared remote sensing
US10518900B2 (en) Thermal calibration of an infrared image sensor
Crusiol et al. Reflectance calibration of UAV-based visible and near-infrared digital images acquired under variant altitude and illumination conditions
Seiz et al. Cloud mapping with ground‐based photogrammetric cameras
CN110476118B (zh) 用于机器视觉的低轮廓多波段高光谱成像
US10733442B2 (en) Optical surveillance system
JP6878067B2 (ja) 地雷検知システム及び地雷検知方法
Honkavaara et al. Geometric and reflectance signature characterization of complex canopies using hyperspectral stereoscopic images from uav and terrestrial platforms
Gerace et al. In-flight performance of the Multi-band Uncooled Radiometer Instrument (MURI) thermal sensor
WO2023034986A1 (en) Aerial imaging system and method having multispectral and panchromatic sensors
Singh 3 Choosing a Sensor for UAS
Kleissl et al. University of california, san diego (ucsd) sky imager cloud position study field campaign report
KR102404602B1 (ko) 전천 카메라 및 이를 포함하는 항공 기상 관측 시스템
Kędziorski et al. Impact of radiometric correction on the processing of UAV images
RU191582U1 (ru) Устройство наблюдения оптического состояния неба в пределах видимой полусферы

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant