CN113310582A - 深度热成像模块的系统及方法 - Google Patents

深度热成像模块的系统及方法 Download PDF

Info

Publication number
CN113310582A
CN113310582A CN202110219508.0A CN202110219508A CN113310582A CN 113310582 A CN113310582 A CN 113310582A CN 202110219508 A CN202110219508 A CN 202110219508A CN 113310582 A CN113310582 A CN 113310582A
Authority
CN
China
Prior art keywords
thermal
imagers
depth
imaging module
imager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110219508.0A
Other languages
English (en)
Inventor
文彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laida Technology Co ltd
Original Assignee
Laida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/944,181 external-priority patent/US11454545B2/en
Application filed by Laida Technology Co ltd filed Critical Laida Technology Co ltd
Publication of CN113310582A publication Critical patent/CN113310582A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0806—Focusing or collimating elements, e.g. lenses or concave mirrors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开了一种深度热成像模块的系统及方法，所述深度热成像模块包括：一种热成像仪阵列，包含至少两个的多个热成像仪，用于从不同的视点获得一场景的热辐射的一波长。每个热成像仪包括一热成像仪芯片，一透镜栈，以及一焦距为f的一焦平面。所述热成像仪相隔一基线距离2h，并基于Z＝2hf/Δ对感兴趣的一物体执行一深度测量Z，其中Δ为所述热成像仪的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及第二热成像仪的焦平面上的一点相对于一光轴的一偏移。

Description

深度热成像模块的系统及方法
技术领域
本发明涉及深度成像，尤指涉及一种包括用于测量物体的深度或到物体的距离的热成像仪阵列的深度热成像模块。
背景技术
为了实现自动驾驶，车辆需要处理和解释传感器信息，例如来自电荷耦合元件(CCD)相机、飞行时间相机(flash-IR-CCD camera)、亮度检测和测距的传感器数据(激光雷达)、雷达和全球定位系统(GPS)，以便导航到目的地、识别车辆在多车道道路上的位置、与其他车辆并排导航、避开障碍物和行人、观察交通信号及号志、并对交通事故做出响应。此外，自动驾驶车辆还需要传感器来帮助车辆在各种类型的驾驶条件下运行，例如在夜间、雾天、雪天和阳光直射下。
然而，常规的单个传感器可能以各种方式失效。例如，CCD相机只能在正常照明条件下运行。CCD影像在阳光直射下会饱和，并且CCD相机无法在夜间或有雾的条件下有效运行。传感器为了在夜间运行，红外灯(IR)会闪烁，而CCD会获得红外辐射。但是，此类型的红外光少光操作只有在50m内的近距离是有效地。
发明内容
本发明揭露的目的是提供一种深度热成像模块，其包括用于测量物体的深度获到物体的距离的热成像仪阵列。
在一实施例中，本发明揭露一种深度热成像模块包括一热成像仪阵列，所述热成像仪阵列包含至少两个的多个热成像仪，用于从不同的视点获得一场景的热辐射的一波长。每个热成像仪包括一热成像仪芯片、一透镜栈、以及一焦距为f的一焦平面，其中所述热成像仪相隔一基线距离2h，并基于Z＝2hf/Δ对感兴趣的一物体执行一深度测量Z，其中Δ为所述热成像仪的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及第二热成像仪的焦平面上的一点相对于一光轴的一偏移。
在一实施例中，所述热辐射的波长范围为0.9–1.7μm。在另一实施例中，所述热辐射的波长范围为3–5μm。在另一实施例中，所述热辐射的波长范围为7.5-14μm。
在另一实施例中，所述热成像仪阵列还包括用于校准热成像仪的快门。
在一实施例中，所述热成像仪芯片包括一碲化汞镉(MCT)检测器，锑化铟(InSb)检测器，砷化铟镓(InGaAs)检测器或超晶格结构检测器。可以通过用户输入，运动激活，边缘检测，形状识别或用户输入，运动激活，边缘检测和形状识别的一组合来识别感兴趣的所述物体。
在另一实施例中，本发明包括一种利用一深度热成像模块的深度测量方法。在所述方法中，所述热成像仪包含一热成像仪芯片、一锗透镜栈、以及一焦距为f的一焦平面。
所述热成像仪相隔一基线距离2h，并基于Z＝2hf/Δ对感兴趣的一物体执行一深度测量Z，其中Δ为所述热成像仪的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及第二热成像仪的焦平面上的一点相对于一光轴的一偏移。
所述利用一深度热成像模块的深度测量方法通过使用利用热成像仪获得的一组热成像数据来操作。基于该热成像数据集，接下来通过用户输入，运动激活，边缘检测，形状识别或这些的组合来检测感兴趣的物体。接下来，通过选择第一热成像数据内的一组像素来注释感兴趣的物体。通过对热图像上的相应像素进行平均来减少噪声影响。然后通过测量所述物体的视差对所述物体执行深度测量。
本发明提供一种深度测量方法。在一实施例中，所述热辐射的波长范围为0.9–1.7μm。在另一实施例中，所述热辐射的波长范围为3–5μm。在另一实施例中，所述热辐射的波长范围为7.5-14μm。在另一实施例中，所述热成像仪阵列还包括用于校准热成像仪的快门。所述热成像仪芯片包括一碲化汞镉(MCT)检测器，锑化铟(InSb)检测器，砷化铟镓(InGaAs)检测器或超晶格结构检测器。可以通过用户输入，运动激活，边缘检测，形状识别或用户输入，运动激活，边缘检测和形状识别的一组合来识别感兴趣的所述物体。
在一实施例中，利用三个热成像仪以获得更准确的结果。每个热成像仪都包括一个透镜栈和一个焦距为f的焦平面，其中三个热成像仪之间相隔一定距离，并且位于不同的平面上。每个热成像仪的视场都包含一个包括前景物体和背景物体的场景。引入到三个热成像仪的不同视场中的视差等于前景物体在第一热成像仪获得的热图像中的位置与第二热成像仪获得的热图像中的位置之间的差，以及它在由第三热成像仪获得的热图像中的位置。在计算感兴趣的物体的深度时，三个热成像仪之间考虑的距离包括例如前、后、垂直、水平、超前、滞后、线性、横向和角距离。
使用包括三个热成像仪的深度热成像模块来测量深度的方法开始于通过深度热成像模块的热成像阵列获得热成像数据。所述热成像阵列包括三个热成像仪，第一热成像仪、第二热成像仪和第三热成像仪。热图像由第一热成像仪，第二热成像仪和第三热成像仪获得。再由第一热成像仪，第二热成像仪和第三热成像仪获得的热图像中检测感兴趣的物体。通过例如用户输入，运动激活，边缘检测，形状识别或这些的组合来检测物体。然后通过由第一热成像仪、第二热成像仪和第三热成像仪获得的热图像的热数据中选择一组像素来对检测到的物体进行注释。
通过对由第一热成像仪，第二热成像仪和第三热成像仪获得的热图像上的相应像素进行平均来减少噪声的影响。然后，所述方法通过测量由第一热成像仪、第二热成像仪和第三热成像仪获得的热图像中的感兴趣的物体的视差来执行深度测量。
在一实施例中，多个热成像仪位于车辆上的各个位置，以便在不同方向上获得其他热成像数据，以获得用于更精确的深度测量结果的其他热成像数据。每个热成像仪包括透镜栈和焦距为f的焦平面，其中所有多个热成像仪被分开不同的距离并且在不同的平面上。每个热成像仪的视场都包含一个包括前景物体和背景物体的场景。由于多个热成像仪中的一些热成像仪对准不同的方向，因此这些热成像仪之间的视场不同。对于以相同方向对准的热成像仪，引入不同视野的视差等于前景物体在第一目标为第一方向的第一热成像仪获得的热图像中的位置之间的差异。第二热成像仪在第一方向上对准的热图像中的位置，以及第三热成像仪在第一方向上对准的热图像中的物体位置。在计算感兴趣物体的深度时，在第一热成像仪，第二热成像仪和第三热成像仪之间考虑的距离包括例如前、后、垂直、水平、超前、滞后、线性、横向和角距离。
同时，对准第二方向的另一组多个热成像仪获得热成像数据。对于第二方向对准的热成像仪，引入不同视野的视差等于前景物体在第二方向对准的第四热成像仪获得的热图像中的位置与物体的位置之间的差。第五热成像仪对准第二方向的热图像中的位置。在计算感兴趣物体的深度时，第四热成像仪和第五热成像仪之间考虑的距离包括例如前、后、垂直、水平、超前、滞后、线性、横向和角距离。
使用具有在多个方向上对准的多个热成像仪的深度热成像模块来测量深度的方法开始于通过深度热成像模块的热成像阵列获得热成像数据。该热成像阵列例如包括：四个向前对准的热成像仪，四个向后对准的热成像仪，两个向右对准的热成像仪和两个向左对准的热成像仪。热图像由同时对准前方，后方，左方和右方的热成像仪获得。在由向前对准的热成像仪获得的热图像中检测到感兴趣的物体。通过例如用户输入，运动激活，边缘检测，形状识别或这些的组合来检测物体。然后，通过在由热成像仪对准的热图像所获得的热图像的热数据中选择一组像素，对向前检测到的物体进行注释。
同时，在由向后对准的热成像仪获得的热图像中检测到感兴趣的物体。然后，通过在由向后对准的热成像仪获得的热图像的热数据中选择一组像素，对向后检测到的物体进行注释。
同时，在由向左对准的热成像仪获得的热图像中检测到感兴趣的物体。然后，通过在由向左对准的热成像仪获得的热图像的热数据中选择一组像素，对向左检测到的物体进行注释。
同时，在由向右对准的热成像仪获得的热图像中检测到感兴趣的物体。然后，通过在由向右对准的热成像仪获得的热图像的热数据中选择一组像素，对向右检测到的物体进行注释。
通过对由多个以相同方向对准的热成像仪获得的热图像上的相应像素进行平均来降低噪声的影响。然后，该方法通过在由多个对准相同方向的热成像仪获得的热图像中测量感兴趣的物体的视差来执行深度测量。
最后，分析多个深度测量值以提取含义，进行关联，建立关系，预测效果，确定环境状态/状况等。然后将分析结果传输到车辆的CPU，车载控制计算机或远程计算机服务器或网络，以进行响应性动作和/或指令。因此，本发明获得关于车辆周围的环境状况的重要数据，并允许车辆采取适当的措施。
为了至少实现上述目的，本公开提供了一种深度热成像模块，其包括用于测量物体的深度或到物体的距离的热成像仪阵列，如以上实施例中的任何一个所示。
附图说明
图1是本发明实施例的深度热成像模块的示意图。
图2是本发明实施例的包含深度热成像模块的车辆的俯视图，该深度热成像模块包含位于车辆车顶上的两个热成像仪。
图3是本发明实施例的深度热成像模块的视差效果的示意图，该深度热成像模块包含热成像仪阵列，该热成像仪阵列包含两个热成像仪。
图4是本发明实施例的使用两个热成像仪的深度热成像模块测量深度的方法的流程图。
图5是本发明实施例的车辆的俯视图，该车辆包含深度热成像模块，该深度热成像模块包含三个热成像仪，两个位于车辆车顶的热成像仪和一个位于车辆前端的热成像仪。
图6是本发明实施例的深度热成像模块的视差效果的示意图，该深度热成像模块包含热成像仪阵列，该热成像仪阵列包含三个热成像仪。
图7是本发明实施例的使用三个热成像仪的深度热成像模块测量深度的方法的流程图。
图8是本发明实施例的车辆的俯视图，该车辆包含深度热成像模块，该深度热成像模块包含对准多个方向的多个热成像仪。
附图标记
100 电热装置
110 入口端
120 接收单元
130 中央处理单元
140 发送单元
150 出口端
160 存储单元
170 图像获取单元
180a、180b、180c、180d、180e、180f、180g、180h、180i、180j、180l、180k 热成像仪
410、420、430、440、710、720、730、740、750 步骤。
具体实施方式
为了促进对本公开的目的、特征和效果的理解，提供了用于本公开的详细描述的实施例以及附图。
请参考图1，图1是根据本发明实施例的用于深度热成像的一电热模块的示例性系统的示意图。一电热装置100包含入口端110、至少一个接收单元(Rx)120、一中央处理单元130、至少一个发送单元(Tx)140、一出口端150、一存储单元160、一图像获取单元170以及至少两个热成像仪180a、180b。在另一个实施例中，至少两个热成像仪180a、180b外接但仍连接到电热装置100。
入口端110用于与数据收集器/数据提供器的各种传感器、检测器连接，例如温度传感器、冲击传感器、振动传感器、速度计、气压计、高度计、风速计、照度计、里程表、天文钟、湿度计、电子罗盘、全球定位系统(GPS)、远程计算机服务器或远程计算机网络。
出口端150用于连接各种设备，例如车辆的CPU，车载计算机/控制系统或远程计算机服务器/网络。
中央处理单元130通过利用一个或多个计算机芯片(例如现场可编程门阵列(FPGA)，专用集成电路(ASIC)，数字信号处理器(DSP)，微处理器，图像预处理器和图形处理器)使得能够运行应用程序并执行图像处理和分析。
中央处理单元130经由接收单元120从入口端110接收输入数据或控制信号。中央处理单元130还向存储单元160存储数据或从存储单元160检索数据或程序。存储单元160包括例如磁带机，固态硬盘或闪存。存储单元160包括例如易失性、非易失性只读存储器(ROM)，随机存取存储器(RAM)，三态内容可寻址存储器(TCAM)，静态随机存取存储器(SRAM)或上述存储器的组合。
中央处理单元130还经由发送单元140将数据导出到出口端150。发送单元140包括例如一个或多个设备，该一个或多个设备被配置为使用诸如WiFi、蓝牙、蓝牙智能、802.15.4和ZigBee之类的标准来从主机车辆到一个或多个远程服务器或其他车辆无线地交换传输以协调导航。中央处理单元130与图像获取单元170通信，图像获取单元170从包括至少两个热成像仪(180a、180b)的多个热成像仪接收热图像，其中每个热成像仪具有不同的视野。
请参考图2，图2是包括深度热成像模块的车辆的示意性俯视图，该深度热成像模块包括两个热成像仪，第一热成像仪180b位于驾驶员座位附近的车顶上，第二热成像仪180a位于第一热成像仪180b上车辆前排乘客座椅附近的车顶。第一热成像仪180b和第二热成像仪180a形成热成像仪阵列。所公开的实施例不限于热成像仪在车辆上任何适当位置中的任何特定数量和位置。注意，因为来自物体的热辐射不能穿过车辆玻璃，所以热成像仪未定位在车辆内部。
应当理解地，所公开的实施例不限于车辆，并且可以在其他情况下应用。还应当理解，公开的实施例不限于特定类型的车辆，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其他类型的车辆。
在一个实施例中，热成像仪包括未冷却的焦平面阵列(FPA)、640x512像素的12微米FLIR Boson氧化钒微测辐射热仪，并包括一快门。波长介于7.5–14μm之间的长波长(LWIR)红外辐射会撞击微测辐射热仪检测器材料，例如氧化钒或非晶硅，对其进行加热，从而改变其电阻。测量该电阻变化并将其处理为可用于创建图像的温度。与其他类型的红外检测设备不同，微测辐射热仪不需要冷却。
在另一实施例中，热成像仪提供的分辨率为1024x768(XGA)或640x480(VGA)或336x256或384x288(QVGA)或320x240(QVGA)或160x120(QVGA)或80x80(低分辨率)80x60(低分辨率)像素。热成像仪包括一个或多个透镜，以提供所需的焦距和视场(FOV)，配置为具有一水平视场，例如在17度至90度范围内，包括17度FOV、24度FOV、32度FOV、49度FOV、70度FOV或90度FOV。在一个实施例中，热成像仪被配置为具有在100度至360度范围内的一宽FOV。
在另一个实施例中，热成像仪具有9Hz或30Hz或60Hz的刷新率。在又一个实施例中，热成像仪是冷却的(3-5um)红外波长(MWIR)碲化汞镉(MCT)、砷化铟镓(InGaAs)检测器、锑化铟(InSb)检测器或超晶格结构检测器。在一些实施例中，热成像仪包括1280x720像素(高清晰度)或1280x1024像素(高清晰度)或1024x768像素(XGA)或640x512像素(VGA)。
深度测量从未在热成像仪中使用过，热成像仪是一种特殊类型的成像仪，可获得物体中0.9至1.7μm短波长，3至5μm中波长或7.5至14μm长波长之间的热辐射。因此，本发明提供了基于来自热成像仪阵列的视差的深度测量。
使用至少两个的多个热成像仪执行深度测量，该至少两个热成像仪获得场景的热图像，其中由每个热成像仪获得的热图像来自稍微不同的视点。深度热成像模块包括两个或多个热成像仪，每个成像仪都通过单独的锗透镜系统接收热辐射。通过移动两个或多个热图像的像素来比较获得的热图像，以找到匹配的热图像部分。通过观察组成物体的相应像素(像素)的位置上的差异或差异，可以计算出感兴趣物体的深度，这些像素在来自两个不同成像仪的图像中获得场景中的相同内容。最终，视差变得小于给定像素尺寸的某个阈值子像素数量，并且深度测量的分辨率因此随着深度的增加而变得更加粗糙。
双成像器系统中的视差如图3所示。每个热成像仪都包括一个透镜栈(或称透镜堆)和一个焦距为f的焦平面，其中两个热成像仪之间的基线距离为2h。每个热成像仪的视场都包含一个包括前景物体和背景物体的场景。引入到两个热成像仪的不同视场中的视差等于前景物体在第一热成像仪获得的图像中的位置与第二热成像仪获得的图像中的位置之间的差。其中第一热成像仪和第二热成像仪的焦平面上的一点相对于其光轴的偏移量标示为Uleft和Uright。
目标物体的深度Zo＝2hf/Δparallax，其中Δparallax＝Uleft－Uright。物体离热成像仪阵列(Zo)越近，视差(Δparallax)越大。
请参考图4，图4示出了根据本发明实施例的使用深度热成像模块测量深度的示例性方法的流程图。为了进行操作，使用热成像仪阵列获得一组热成像数据(410)。基于该组热成像数据，接下来通过但不限于用户输入、运动激活、边缘检测和/或形状识别来检测感兴趣物体(420)。接下来，通过选择热成像数据内的一组像素来对物体进行注释(430)。可以通过对图像上的相应像素求平均来减少噪声的影响。然后，通过测量物体的视差来对物体进行深度测量(440)。
请参考图5，图5是包括深度热成像模块的车辆的俯视图的图。在图5所示的实施例中，深度热成像模块包括三个热成像仪。热成像仪中的两个180a、180b位于车辆的车顶上，第三热成像仪180c位于车辆的前部。第三热成像仪180c的位置例如在车辆的保险杠，挡泥板，格栅或引擎盖中/上。
第一热成像仪180b，第二热成像仪180a和第三热成像仪180c形成热成像仪阵列。
每个热成像仪均包含一个或多个透镜，以提供所需的焦距和视场，配置为具有视场(FOV)
本发明提供了基于来自热成像仪阵列的视差的深度测量。在图5所示的实施例中，使用三个热成像仪180a、180b、180c执行深度测量，所述三个热成像仪180a，180b，180c获得场景的热图像，其中由每个热成像仪180a、180b、180c获得的热图像是从略有不同的视点获得的。实施例中的深度热成像模块包括三个热成像仪，每个热成像仪通过单独的锗透镜系统接收热辐射。通过移动三个或更多热图像的像素来比较获得的热图像，以找到匹配的热图像部分。通过观察组成该物体的相应像素(像素)的位置的视差或差异，可以计算出感兴趣物体的深度，这些像素在来自三个不同热成像仪的热图像中获得场景中的相同内容。最终，视差变得小于给定像素尺寸的某个阈值子像素数量，并且深度测量的分辨率因此随着深度的增加而变得更加粗糙。
在该实施例中，热成像仪在不同的平面上，其中两个热成像仪在车辆的车顶上，一个热成像仪在车辆的前部较低的高度处。通过将热成像仪放置在较高/左侧/右侧和较低的中心位置，可以获得物体的更精确的深度测量。这些不同的位置使本发明可以有效地在多种照明(夜间、眩光、高对比度)和天气(雪、雾、雨、灰尘、烟)的条件下执行。
通过较低或较高高度的热成像仪定位，可以获得更好的热图像以及对目标物体及其位置的更好识别。
请参考图6，三热成像仪系统中的视差类似于图3所示。但是，在该实施例中，利用三个热成像仪以获得更准确的结果。每个热成像仪都包括一个透镜栈和一个焦距为f的焦平面，其中三个热成像仪之间隔开一段距离。每个成像器的视场涵盖包括前景物体和背景物体的场景。引入到三个热成像仪的不同视场中的视差等于前景物体在第一热成像仪获得的热图像中的位置与第二热成像仪获得的热图像中的位置之间的差以及其在第三成热成像仪获得的热图像中的位置。
目标物体Zo的深度利用具有Uright、Uleft和Ufront的Δparallax。物体离阵列热成像仪(Zo)越近，视差(Δparallax)越大。
在本发明的实施例中，在计算物体深度时在三个热成像仪之间考虑的距离包括例如向前、向后、垂直、水平、超前、滞后、线性、横向和角距离。
请参考图7，图7是本发明实施例的使用三个热成像仪的深度热成像模块测量深度的示例性方法的流程图。在其他实施例中，在遵循如图7所示的类似方法的同时，利用了多于三个的多个热成像仪。
方法700从步骤710开始，通过深度热成像模块的热成像仪阵列获得热成像数据。在该实施例中，热成像仪阵列包括三个热成像仪(图5的第一热成像仪180b、第二热成像仪180a、第三热成像仪180c)。第一热成像仪、第二热成像仪和第三热成像仪获得热图像。
在步骤720中，在由第一热成像仪、第二热成像仪和第三热成像仪获得的热图像中检测感兴趣的物体。通过例如用户输入、运动激活、边缘检测、形状识别或这些的组合来检测物体。
接下来，在步骤730中，通过在由第一热成像仪、第二热成像仪和第三热成像仪获得的热图像的热成像数据中选择一组像素来注释检测到的物体。
在步骤740中，通过对由第一热成像仪、第二热成像仪和第三热成像仪获得的热图像上的相应像素进行平均来减小噪声的影响。
最后，在步骤750中，该方法通过测量由第一热成像仪、第二热成像仪和第三热成像仪获得的图像中的物体的视差来执行深度测量。
请参考图8，图8是本发明实施例的车辆的俯视图，该车辆包含深度热成像模块，该深度热成像模块包含对准多个方向的多个热成像仪。
在实施例中，本发明包括位于车辆上各个位置的多个热成像仪，以便在不同方向上获得附加的热成像数据，以获得更准确的深度测量结果。
在图8所示的实施例中，使用深度热成像模块测量深度的方法包括两个前热成像仪180c、180d；两个前向热成像仪180a、180b；两个后热成像仪180k、180l；两个后向热成像仪180i、180j；两个左向热成像仪180g、180h；和两个右向热成像仪180e、180f。
两个前热成像仪180c、180d和两个前向热成像仪180a、180b指向前方，以获得车辆前侧或前方的热成像数据。
两个后热成像仪180k、180l和两个后向热成像仪180i、180j指向后方，以在车辆的后侧或后方获得热成像数据。
将两个左向热成像仪180g、180h对准向左的方向，以在车辆的左侧或向左的方向获得热成像数据。
将两个右向热成像仪180e、180f对准向右的方向，以在车辆的右侧或向右的方向获得热成像数据。
每个热成像仪包括透镜栈和焦距为f的焦平面，其中，多个热成像仪中的所有热成像仪之间的距离不同，并且一些热成像仪位于不同的平面上。每个热成像仪的视场都包含一个包括前景物体和背景物体的场景。由于多个热成像仪中的一些热成像仪对准不同的方向，因此某些热成像仪之间的视场不同。引入到朝着相同方向对准的热成像仪的不同视野中的视差等于前景物体在朝前方向对准的左前热成像仪180d获得的热图像中的位置、前景物体在朝前方向对准的右前热成像仪180c获得的热图像中的位置、前景物体在朝前方向对准的左前向热成像仪180b获得的热图像中的位置以及前景物体在朝前方向对准的右前向热成像仪180a获得的热图像中的位置之间的位置差。
在计算感兴趣的物体的深度时，左前热成像仪180d、右前成热成像仪180c、左前向热成像仪180b和右前向热成像仪180a之间考虑的距离包括例如向前、向后、垂直、水平、超前、滞后、线性、横向和角距离。
同时，通过指向后方的其他多个热成像仪获得热成像数据。引入到朝着相同方向对准的热成像仪的不同视野中的视差等于前景物体在朝后方向对准的左后热成像仪180l获得的热图像中的位置、前景物体在朝后方向对准的右后热成像仪180k获得的热图像中的位置、前景物体在朝后方向对准的左后向热成像仪180j获得的热图像中的位置以及前景物体在朝后方向对准的右后向热成像仪180i获得的热图像中的位置之间的位置差。
类似地，热成像数据由对准向左方向的两个向左的热成像仪180g、180h获得。引入到朝着相同方向对准的热成像仪的不同视野中的视差等于前景物体在朝左方向对准的前左向热成像仪180g获得的热图像中的位置以及前景物体在朝左方向对准的后左向热成像仪180h获得的热图像中的位置之间的位置差。
而且，热成像数据由对准向右方向的两个向右的热成像仪180e、180f获得。引入到朝着相同方向对准的热成像仪的不同视野中的视差等于前景物体在朝右方向对准的右前向热成像仪180e获得的热图像中的位置以及前景物体在朝右方向对准的右后向热成像仪180f获得的热图像中的位置之间的位置差。
使用具有在多个方向上对准的多个热成像仪的深度热成像模块来测量深度的方法开始于通过深度热成像模块的热成像阵列获得热成像数据。该热成像仪阵列例如包括：四个向前瞄准的热成像仪，四个向后瞄准的热成像仪，两个向右瞄准的热成像仪和两个向左瞄准的热成像仪。热图像由同时对准前方，后方，左方和右方的热成像仪获得。在由向前对准的热成像仪获得的热图像中检测到感兴趣的物体。通过例如用户输入、运动激活、边缘检测、形状识别或这些的组合来检测物体。然后，通过在由热成像仪向前瞄准的热图像的热图数据中选择一组像素来对检测到的物体进行注释。
同时，在由向后对准的热成像仪获得的热图像中检测到感兴趣的物体。然后，通过在由向后对准的热成像仪获得的热图像的热数据中选择一组像素来对检测到的物体进行注释。
同时，在由向左对准的热成像仪获得的热图像中检测到感兴趣的物体。然后，通过在由向左对准的热成像仪获得的热图像的热数据中选择一组像素来对检测到的物体进行注释。
同时，在由向右对准的热成像仪获得的热图像中检测到感兴趣的物体。然后，通过在由向右对准的热成像仪获得的热图像的热数据中选择一组像素来对检测到的物体进行注释。
通过对多个热成像仪在相同方向上对准的热图像上的相应像素进行平均，可以降低噪声的影响。然后，该方法通过在由多个指向相同方向的热成像仪获得的热图像中测量关注物体的视差来执行深度测量。
最后，对多个深度测量进行分析，以提取含义，进行关联，建立关系，预测效果，确定环境状态/状况等。然后将分析结果传输到车辆CPU，车载控制计算机或远程服务器，以进行响应性动作和/或指令。
因此，本发明获得关于车辆周围的环境状况的重要数据，并允许车辆采取适当的措施。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

1.一种深度热成像模块，其特征在于，包括：
一热成像仪阵列，包括：
至少两个的多个热成像仪，用于从不同的视点获得一场景的热辐射的一波长，每个热成像仪包括：
一热成像仪芯片，
一透镜栈，以及
一焦平面，具有一焦距为f，其中所述热成像仪相隔一基线距离2h，并基于Z＝2hf/Δ对感兴趣的一物体执行一深度测量Z，其中Δ为所述热成像仪中的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪中的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及所述第二热成像仪的焦平面上的一点相对于一光轴的一偏移。
2.如权利要求1所述的深度热成像模块，其特征在于：所述热辐射的波长范围为0.9–1.7μm。
3.如权利要求1所述的深度热成像模块，其特征在于：所述热辐射的波长范围为3–5μm。
4.如权利要求1所述的深度热成像模块，其特征在于：所述热辐射的波长范围为7.5-14μm。
5.如权利要求1所述的深度热成像模块，其特征在于：所述热成像仪芯片包括一未冷却的氧化钒或一非晶硅微辐射热计。
6.如权利要求1所述的深度热成像模块，其特征在于：所述热成像仪芯片包括一碲化汞镉检测器，锑化铟检测器，砷化铟镓检测器或超晶格结构检测器。
7.如权利要求1所述的深度热成像模块，其特征在于：通过用户输入，运动激活，边缘检测或形状识别来识别感兴趣的所述物体；或通过用户输入，运动激活，边缘检测和形状识别的一组合来识别感兴趣的所述物体。
8.如权利要求1所述的深度热成像模块，其特征在于：所述热成像仪阵列还包括用于校准所述至少两个的多个热成像仪的一快门。
9.一种利用一深度热成像模块的深度测量方法，其特征在于，包括：
使用多个热成像仪获得热成像数据；
在所述热成像数据中检测一物体；
注释所述物体；以及
测量所述物体的深度。
10.如权利要求9所述的利用一深度热成像模块的深度测量方法，其特征在于：所述热成像仪相隔一基线距离，并通过决定所述热成像仪中的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪中的一第二热成像仪获得的一图像中所述物体的位置的差来对所述物体进行深度测量。
11.如权利要求9所述的利用一深度热成像模块的深度测量方法，其特征在于：所述多个热成像仪相隔一基线距离2h，并且基于Z与2h/Δ成正比对所述物体执行一深度测量Z，其中Δ为所述热成像仪中的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪中的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及第二热成像仪的焦平面上的一点相对于一光轴的一偏移。
12.如权利要求9所述的利用一深度热成像模块的深度测量方法，其特征在于：通过在所述热成像数据中选择一组像素来注释所述物体。
13.如权利要求9所述的利用一深度热成像模块的深度测量方法，其特征在于：通过对热图像上的相应像素进行平均来减少噪声影响。
14.如权利要求9所述的利用一深度热成像模块的深度测量方法，其特征在于：通过测量所述物体的视差对所述物体执行深度测量。
15.一种深度热成像模块，其特征在于包括：
至少两个的多个热成像仪，用于从不同的视点获得一场景的热辐射的一波长；
其中所述热成像仪相隔一基线距离，并通过决定所述热成像仪中的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪中的一第二热成像仪获得的一图像中所述物体的位置的差来对所述物体进行深度测量。
16.如权利要求15所述的深度热成像模块，每个热成像仪包括：
一热成像仪芯片。
17.如权利要求15所述的深度热成像模块，每个热成像仪包括：
至少一个透镜。
18.如权利要求15所述的深度热成像模块，其特征在于：所述热成像仪相隔一基线距离2h，并基于Z＝2hf/Δ对感兴趣的一物体执行一深度测量Z，其中Δ为所述热成像仪中的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪中的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及所述第二热成像仪的焦平面上的一点相对于一光轴的一偏移。
19.如权利要求15所述的深度热成像模块，其特征在于：所述热成像仪相隔一基线距离2h，并且基于Z与2h/Δ成正比对所述物体执行一深度测量Z，其中Δ为所述热成像仪中的一第一热成像仪获得的一图像中所述物体的位置与所述热成像仪中的一第二热成像仪获得的一图像中所述物体的位置的差，并且表示所述第一热成像仪及第二热成像仪的焦平面上的一点相对于一光轴的一偏移。
20.如权利要求15所述的深度热成像模块，其特征在于：所述热辐射的波长范围为0.9–1.7μm。
21.如权利要求15所述的深度热成像模块，其特征在于：所述热辐射的波长范围为3–5μm。
22.如权利要求15所述的深度热成像模块，其特征在于：所述热辐射的波长范围为7.5-14μm。
23.如权利要求15所述的深度热成像模块，其特征在于：所述热成像仪芯片包括一未冷却的氧化钒或一非晶硅微辐射热计。
24.如权利要求15所述的深度热成像模块，其特征在于：所述热成像仪芯片包括一碲化汞镉检测器，锑化铟检测器，砷化铟镓检测器或超晶格结构检测器。
25.如权利要求15所述的深度热成像模块，其特征在于：通过用户输入，运动激活，边缘检测或形状识别来识别感兴趣的所述物体；或通过用户输入，运动激活，边缘检测和形状识别的一组合来识别感兴趣的所述物体。
CN202110219508.0A 2020-02-27 2021-02-26 深度热成像模块的系统及方法 Withdrawn CN113310582A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062982082P 2020-02-27 2020-02-27
US62/982,082 2020-02-27
US16/944,181 2020-07-31
US16/944,181 US11454545B2 (en) 2020-02-27 2020-07-31 System and method for depth thermal imaging module

Publications (1)

Publication Number Publication Date
CN113310582A true CN113310582A (zh) 2021-08-27

Family

ID=77370908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219508.0A Withdrawn CN113310582A (zh) 2020-02-27 2021-02-26 深度热成像模块的系统及方法

Country Status (1)

Country Link
CN (1) CN113310582A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445490A (zh) * 2018-03-13 2018-08-24 电子科技大学 基于时域反投影与粒子群优化的isar成像方法
CN108928297A (zh) * 2018-06-11 2018-12-04 信利光电股份有限公司 一种车辆辅助驾驶方法和装置
CN110414392A (zh) * 2019-07-15 2019-11-05 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445490A (zh) * 2018-03-13 2018-08-24 电子科技大学 基于时域反投影与粒子群优化的isar成像方法
CN108928297A (zh) * 2018-06-11 2018-12-04 信利光电股份有限公司 一种车辆辅助驾驶方法和装置
CN110414392A (zh) * 2019-07-15 2019-11-05 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴娱: "《数字图像处理》", 31 October 2017, 北京邮电大学出版社, pages: 209 *

Similar Documents

Publication Publication Date Title
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
US7961906B2 (en) Human detection with imaging sensors
US10390004B2 (en) Stereo gated imaging system and method
US20160381571A1 (en) Vehicle communication system with forward viewing camera and integrated antenna
US20200344426A1 (en) Thermal ranging devices and methods
KR20200018553A (ko) 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
CN113615152A (zh) 成像设备和成像系统
CN113647089A (zh) 成像系统
Owens et al. Passive night vision sensor comparison for unmanned ground vehicle stereo vision navigation
US11454545B2 (en) System and method for depth thermal imaging module
US12055442B2 (en) Systems and methods for infrared sensing
US11420570B2 (en) Wireless camera mounting system
CN113310582A (zh) 深度热成像模块的系统及方法
EP4096216B1 (en) Temperature compensation in infrared imaging systems and methods
WO2021115609A1 (en) A situational awareness system of a cyber-physical hybrid electric autonomous or semi-autonomous off-highway dump truck for surface mining industry
US20220176960A1 (en) Vehicular control system with vehicle control based on stored target object position and heading information
US20220141384A1 (en) Situational awareness-based image annotation systems and methods
US11891057B2 (en) Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11076102B2 (en) Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US20240353265A1 (en) Systems and Methods for Infrared Sensing
US20240240989A1 (en) Atmospheric absorption determination using embedded sensor data
KR101684782B1 (ko) 우적 감응형 와이퍼 장치
Gershman Improved safety with 3D thermal ranging for ADAS/AV applications
Srinivasan et al. Systems Using Infrared Images and Deep Learning
WO2024059660A1 (en) Thermal imaging and wireless communication systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210827