CN215767394U

CN215767394U - 基于事件检测的红外热成像设备

Info

Publication number: CN215767394U
Application number: CN202121912005.3U
Authority: CN
Inventors: 赵照
Original assignee: Hefei Xinfoo Sensor Technology Co ltd
Current assignee: Hefei Xinfoo Sensor Technology Co ltd
Priority date: 2021-08-16
Filing date: 2021-08-16
Publication date: 2022-02-08
Anticipated expiration: 2031-08-16

Abstract

本申请公开了一种基于事件检测的红外热成像设备，该设备被配置为通过事件判断、事件检测和事件控制，输出动态帧率和分辨率的事件信号，大幅降低传输流量、储存容量和后端处理器的计算量，有效提高整体的应用效率。电源管理模块根据事件信号数量预测处理器功耗变化趋势，控制电源模块调整功率输出，以起到节能效果，满足超低功耗应用的要求。

Description

基于事件检测的红外热成像设备

技术领域

本申请涉及红外热成像设备，尤其涉及一种基于事件检测的红外热成像设备。

背景技术

传统红外热成像设备是以恒定的频率拍摄获取图像，将获取到的图像数据传输到人工智能处理器（AIP）进行分析处理，存在一定的延迟问题，在例如自动驾驶场景下，对于AIP处理的实时性具有较高要求，传输的图像中含有大量无效信息，也要通过AIP实时处理，造成了传统红外热成像传感器与AIP结合功耗非常大的问题，大量无效信息需要实时处理，还加大对数据传输和存储的容量的要求，需要大的传输带宽和高计算处理量，消耗了大量资源，降低了实时处理的效果和准确性。

实用新型内容

有鉴于此，本申请提供了一种基于事件检测的红外热成像设备。

为了解决上述技术问题，本申请采用了如下技术方案：

提供一种基于事件检测的红外热成像设备，设备包括：

红外焦平面阵列，包括多个像元，被配置为接收热辐射，确定热辐射强度变化量，以确定是否发生事件，并生成电信号；

事件检测模块，被配置为检测所述多个像元是否发生事件，生成与所述多个像元中确定发生事件的一个或多个像元所对应的一个或多个事件信号；

事件控制模块，被配置为从一个或多个事件信号中选择感兴趣区域内的一个或多个事件信号输出至接口模块或电源管理模块；

接口模块，被配置为输出一个或多个事件信号至人工智能处理器；

人工智能处理器，被配置为接收并处理一个或多个事件信号；

电源管理模块，被配置为根据一个或多个事件信号判断人工智能处理器功耗变化趋势，控制电源模块调整功率输出；

电源模块，被配置为向人工智能处理器供电。

优选地，所述像元包括：

MEMS像元，被配置为接收热辐射；

事件判断单元，被配置为将MEMS像元当前热敏电平与参考电平作差，将差值分别与开启阈值和关闭阈值比较，输出开启信号或关闭信号；

保持单元，被配置为保持并输出开启信号或关闭信号；

复位单元，被配置为在保持单元输出信号前，将所述参考电平复位至所述MEMS像元当前热敏电平。

优选地，所述事件判断单元包括：

减法器电路，被配置为将MEMS像元当前热敏电平与参考电平作差；

比较器电路，被配置为将差值分别与开启阈值和关闭阈值比较，输出开启信号或关闭信号。

优选地，所述事件检测模块包括：

行地址生成单元，被配置为根据开启信号或关闭信号生成对应像元的行地址、极性信息和时间戳；

列地址生成单元，被配置为根据开启信号或关闭信号生成对应像元的列地址；

事件生成单元，被配置为根据行地址、列地址、极性信息和时间戳生成事件信号。

优选地，所述电源管理模块包括：

接收单元，被配置为接收一个或多个事件信号；

判断单元，被配置为根据一个或多个事件信号判断人工智能处理器功耗变化趋势；

执行单元，被配置为根据人工智能处理器功耗变化趋势，控制电源模块调整功率输出。

优选地，所述执行单元具体被配置为：当判定人工智能处理器功耗变高时，调高电源模块的输入母线电压，以增加电源模块的输出功率；当判定人工智能处理器功耗变低时，调低电源模块的输入母线电压，以减小电源模块的输出功率。

相较于现有技术，本申请具有以下有益效果：

基于以上技术方案可知，本申请提供的基于事件检测的红外热成像设备，该设备被配置为通过进行事件判断、事件检测和事件控制，输出动态帧率和分辨率的事件信号，大幅降低传输流量、储存容量和后端处理器的计算量，有效提高整体的应用效率。电源管理模块根据事件信号数量预测处理器功耗变化趋势，控制电源模块调整功率输出，以起到节能效果，满足超低功耗的应用。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的一种基于事件检测的红外热成像设备框图。

图2是本申请实施例提供的一种像元框图。

图3是本申请实施例提供的一种事件检测模块结构框图。

图4是本申请实施例提供的一种电源管理模块结构框图。

具体实施方式

为使本实用新型的上述目的、特征和优点能够更加明显易懂，下面结合附图对本实用新型的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本实用新型，但是本实用新型还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本实用新型内涵的情况下做类似推广，因此本实用新型不受下面公开的具体实施例的限制。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“ 包括”、“ 包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

图1是本申请实施例提供的一种基于事件检测的红外热成像设备的框图。

参考图1，红外热成像设备可以包括红外焦平面阵列、事件检测模块、事件控制模块、接口模块、人工智能处理器、电源管理模块和电源模块。

红外焦平面阵列，包括多个像元，被配置为接收热辐射，确定热辐射强度变化量，并生成电信号。

具体地，红外焦平面阵列可以经过光学系统接收来外部环境物体反射来的与热辐射对应的光谱范围内的电磁辐射，例如，波长为3.5微米至14微米的电磁波，通过包含热敏材料的像元将热辐射信号转化为电信号形式。通过将先前的热敏电平与当前的热敏电平对比，可以判断得出当前像元接收到的热辐射强度与先前比是否发生了改变，根据热敏电平变化值和预先设定的阈值电平对比，可以确定出对于该像元是否发生了事件，生成电信号。

根据制冷方式分类，红外焦平面阵列可为制冷型或非制冷型。

事件检测模块，被配置为检测所述多个像元是否发生事件，生成与所述多个像元中确定发生事件的一个或多个像元所对应的一个或多个事件信号。

具体地，事件检测模块可以按照逐行或逐列方式扫描像元阵列，在事件检测模块从含有确定发生事件的像元的行或列上接到请求后，事件检测模块可以将相应信号传送给该行或列，发生事件的像元可以向事件检测模块传输事件的极性信息，同时生成与事件发生时间的相关信息时间戳，以及记录发生事件的像元所处阵列中的位置信息。

事件信号包括极性信息、时间戳和位置信息。

极性信息对应根据对比热敏电平变化值和预先设定的阈值电平所生成的电信号（开启事件或关闭事件的信号）。

事件控制模块，被配置为从一个或多个事件信号中选择感兴趣区域内的一个或多个事件信号输出至接口模块或电源管理模块。

具体地，事件控制模块可以控制输出事件信号的数量，事件控制模块可以选择仅输出对应预先设置的感兴趣区域内发生事件的像元的事件信号，因此，输出的事件信号数量小于全部发生的事件信号数量。感兴趣区域内的事件信号被输出至接口模块或电源管理模块，输出至接口模块的事件信号被用作后续传输到人工智能处理器进行分析处理，输出至电源管理模块的事件信号被用作后续调整电源功率，进行节能管理操作。

接口模块，被配置为输出一个或多个事件信号至人工智能处理器。

具体地，接口模块可以根据特定的协议将输出事件信号的集合分配到在单独的信号单元、分组单元或帧单元中生成事件数据，再将事件数据输出至人工智能处理器。

接口模块可以包括但不限于AER接口、移动工业处理器接口(MIPI)或并行接口等。

人工智能处理器，被配置为接收并处理一个或多个事件信号。

人工智能处理器可以更具体地包括但不限于图形处理器（GPU）、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器（DSP）、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。

电源管理模块，被配置为根据一个或多个事件信号判断人工智能处理器功耗变化趋势，控制电源模块调整功率输出。

具体地，电源管理模块可以根据特定时间间隔划分出多个时间段，对连续时间段内接收到的事件信号进行计数，根据多个连续时间段事件信号数量的变化量得到事件信号数量变化趋势，还可以预测将来的输出至人工智能处理器的事件信号的数量变化趋势，根据事件信号数量变化趋势判断人工智能处理器功耗变化趋势，控制电源模块调整功率输出。

当判断人工智能处理器功耗提高时，控制电源模块提高功率，以满足人工智能处理器工作需求；当判断人工智能处理器功耗减小时，控制电源模块减小功率，以起到节能的作用。

电源模块，被配置为向人工智能处理器供电。

由于本申请提供的基于事件检测的红外热成像设备仅当事件发生是会生成事件信号进行输出，则在没有事件发生时，无输出数据，因此，输出的事件信号是动态帧率和动态的分辨率，大幅降低传输流量、储存容量和后端处理器的计算量，有效提高整体的应用效率。

在无事件信号输出或事件信号较少的时间段，可以通过电源管理模块降低电源输出功率，进行智能供电管理起到节能的作用，使成像设备满足在极微功耗运行，满足超低功耗的应用。

图2是本申请实施例提供的一种基于事件检测的红外热成像像元结构的框图。

参考图2，红外热成像像元可以包括MEMS像元、事件判断单元、保持单元和复位单元。

MEMS像元，被配置为接收热辐射。

MEMS像元可以按照矩阵形式排布，也可以按照菱形的错位阵列形式排布。

MEMS像元中包括可以将热辐射转化为电信号的热敏薄膜，热敏薄膜的材料可以包括但不限于铁电材料、氧化钒VOx、石墨烯、碲镉汞HgCdTe、量子阱QWIP、新型二类超晶格或量子点QDIP。接收到热辐射的热敏薄膜电阻会发生变化，因此可将来自外部入射的热辐射信号转化为电信号。

事件判断单元，被配置为将MEMS像元当前热敏电平与参考电平作差，将差值分别与开启阈值和关闭阈值比较，输出开启信号或关闭信号。

事件判断单元可以包括减法器电路和比较器电路，减法器电路被配置为将MEMS像元当前热敏电平与参考电平作差，比较器电路被配置为将差值分别与开启阈值和关闭阈值比较，当像元接收的热辐射强度大于特定的变化程度时，比较器电路可以生成开启信号或关闭信号。

保持单元，被配置为从事件判断单元接收表示事件发生判断结果的电信号，并保持该电信号，即开启信号或关闭信号。

复位单元，被配置为在保持单元输出信号前，将所述参考电平复位至所述MEMS像元当前热敏电平。将参考电平复位为当前热敏电平允许从该时刻开始基于热敏电平的变化来判断是否产生新事件，即参考电平的复位用作事件判断单元能够判断新事件的处理。

图3是本申请实施例提供的事件检测模块结构框图。

参考图3，事件检测模块包括行地址生成单元、列地址生成单元和事件生成单元。

行地址生成单元，被配置为根据开启信号或关闭信号生成对应像元的行地址、极性信息和时间戳。

行地址生成单元可以在像元阵列的一个或多个像素之中，从发生事件的像素之处接收对应发生事件的电信号，并且产生对应该发生事件的像素的行地址。

发生事件的像元可以向行地址生成单元传输极性信息，极性信息对应根据对比热敏电平变化值和预先设定的阈值电平所生成的电信号，即开启事件或关闭事件的信号。例如，极性信息可以包括：包含与是否事件发生开启有关的信息的一位；和包含与是否事件发生关闭有关的信息的一位。

行地址生成单元可以生成与事件发生的时间有关的信息，即时间戳。时间戳可以包括关于事件发生的时间的信息。例如，时间戳位宽可以为32位。

列地址生成单元，被配置为根据开启信号或关闭信号生成对应像元的列地址。

列地址生成单元可以在像元阵列的一个或多个像素之中，从发生事件的像素之处接收对应发生事件的电信号，并且产生对应该发生事件的像素的列地址。

具体地，事件生成单元可以基于从行地址生成单元和列地址生成单元接收的行地址、列地址、极性信号和时间戳来生成事件信号，并将事件信号输出至事件控制模块。

图4是本申请实施例提供的电源管理模块结构框图。

参考图4，电源管理模块包括接收单元、判断单元和执行单元。

接收单元，被配置为接收来自事件控制模块的一个或多个事件信号。

判断单元，被配置为根据一个或多个事件信号判断人工智能处理器功耗变化趋势。

电源管理模块可以根据特定时间间隔划分出多个时间段，对连续时间段内接收到的事件信号进行计数，根据多个连续时间段事件信号数量的变化量得到事件信号数量变化趋势，还可以预测将来的输出至人工智能处理器的事件信号的数量变化趋势。

根据事件信号数量变化趋势判断人工智能处理器功耗变化趋势，控制电源模块调整功率输出。例如，当判断人工智能处理器功耗提高时，控制电源模块提高功率，以满足人工智能处理器工作需求；当判断人工智能处理器功耗减小时，控制电源模块减小功率，以起到节能的作用。

其中，控制电源模块调整功率输出具体为：当判定人工智能处理器功耗变高时，调高电源模块的输入母线电压，以增加电源模块的输出功率；当判定人工智能处理器功耗变低时，调低电源模块的输入母线电压，以减小电源模块的输出功率。

本申请提供的基于事件检测的红外热成像设备可以安装在具有图像感测功能和/或光感测功能的电子设备中。例如，该红外热成像设备可以安装在例如智能手机、相机、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、无人机和高级驾驶员辅助系统(ADAS)等的电子设备中。另外，该红外热成像设备可以提供作为交通工具、家具、制造设备、各种测量设备等中的元件。

以上所述仅是本实用新型的优选实施方式，虽然本实用新型已以较佳实施例披露如上，然而并非用以限定本实用新型。任何熟悉本领域的技术人员，在不脱离本实用新型技术方案范围情况下，都可利用上述揭示的技术内容对本实用新型技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本实用新型技术方案的内容，依据本实用新型的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本实用新型技术方案保护的范围内。

Claims

1.一种基于事件检测的红外热成像设备，其特征在于，所述设备包括：

电源模块，被配置为向人工智能处理器供电。

2.根据权利要求1所述的设备，其特征在于，所述像元包括：

MEMS像元，被配置为接收热辐射；

保持单元，被配置为保持并输出开启信号或关闭信号；

3.根据权利要求2所述的设备，其特征在于，所述事件判断单元包括：

4.根据权利要求1所述的设备，其特征在于，所述事件检测模块包括：

5.根据权利要求1所述的设备，其特征在于，所述电源管理模块包括：

接收单元，被配置为接收一个或多个事件信号；

6.根据权利要求5所述的设备，其特征在于，所述执行单元具体被配置为：当判定人工智能处理器功耗变高时，调高电源模块的输入母线电压，以增加电源模块的输出功率；当判定人工智能处理器功耗变低时，调低电源模块的输入母线电压，以减小电源模块的输出功率。