CN116057362A - 升高温度筛查系统和方法 - Google Patents

Abstract

系统和方法包括被配置为捕获场景的红外图像的红外相机、被配置为显示捕获的红外图像的一部分和至少一个图形标记以引导被扫描的人员的显示器以及逻辑器件，该逻辑器件被配置为使用红外相机扫描感兴趣区域、在感兴趣区域中检测人员、指示人员移动到扫描位置、如果满足扫描标准则发起对人员的温度扫描、确定人员的温度并与至少一个温度阈值进行比较以及执行与所确定的温度关联的任务。该系统还可以包括双图像相机，该双图像相机包括红外相机和可见光图像相机，其中，双图像相机包括分束器，该分束器被布置成将可见光朝向可见光图像相机反射并且使红外图像传过到达红外相机。

Description

升高温度筛查系统和方法

相关申请的交叉引用

本申请要求2020年6月1日提交且题为“升高温度筛查系统和方法(ELEVATEDTEMPERATURE SCREENING SYSTEMS AND METHODS)”的美国临时专利申请No.63/033,126的优先权和权益，该美国临时专利申请的全部内容通过引用并入本文。

技术领域

本公开的一个或多个实施例总体上涉及热成像系统，并且更具体地，例如，涉及用于检测升高的体温和/或皮肤温度的系统和方法。

背景技术

在图像处理领域，一直需要高效且可靠的方法来分析和处理成像设备捕获的图像。常规系统可以包括在标记的图像数据集上训练的机器学习系统。然而，当图像难以准确标记时，训练和验证这些系统容易出错。例如，热图像存在困难，因为人类操作员，即使是在识别热图像中的对象方面训练有素的专家，也可能难以决定如何标记热场景中的对象。困难的出现是因为许多对象在热IR波段中看起来与在可见波段中看起来可能且确实完全不同。鉴于前述，本领域持续需要改进的图像处理系统和方法。

发明内容

本公开提供了用于检测图像中对象的温度(例如测量升高的体温(EBT)和/或升高的皮肤温度以进行发烧检测)的系统和方法的各种实施例。在一些实施例中，红外相机用于在不与受试者物理接触的情况下测量皮肤温度，这是用于检测潜在传染的疾病的系统的一个重要方面。发烧的人将具有升高的核心体温，并且在某些情况下，这种升高的温度会自身表现为皮肤(特别是泪管(眼角)附近的面部皮肤，这是面部具有高度血流的区域)具有升高的温度。可以在图像中识别该眼角，并且测量的表面温度可以对应于用户的体温(例如，眼角会比核心体温低几度)。

提供了用于注释红外图像以供在机器学习应用中使用的各种系统和方法。在一些实施例中，由可见光相机(例如，产生RGB图像)和红外相机(例如，热IR相机)组成的双波段相机装备用于获取在空间和时间上配准到高精度程度的图像。RGB图像被手动和/或自动注释(例如，通过人类技术人员、自动对象识别软件等)。然后将注释转移到红外图像，红外图像本身更难注释得多，因为一些边缘细节以及给出上下文的颜色在热IR图像中不存在。

在一些实施例中，系统和方法为皮肤温度测量提供提高的准确性和一致性。该系统允许未受过训练的人员被引导执行热成像皮肤温度扫描并解释结果，而无需教育或任何关于热力学或红外技术的先验知识。在指示(文本、声音和叠加图形)的帮助下，用户接收有关如何进行扫描以获得一致和准确的结果的相关信息。

各种实施例还有助于对升高的体温系统的设置，引导用户完成安装系统的过程以给出一致和准确的结果，并因此能够避免和/或减少假阴性。在一些实施例中，提供逐步的引导以降低使用门槛，使得各种人、公司、组织、商店或设施能够利用热成像来检测升高的皮肤温度。本文公开的系统和方法的各种优点包括简单性、精巧的图形用户界面和以使得系统可以在没有对某些知识或上下文的要求或对某些知识或上下文的要求有限的情况下被使用和部署的方式编排的方法。

本公开的范围由权利要求限定，权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，将向本领域技术人员提供对本发明的实施例的更完整的理解，并实现其附加优点。将参考将首先简要描述的附图。

附图说明

图1是根据本公开的一个或多个实施例的用于训练用于红外图像分类的机器学习系统的示例过程的流程图。

图2A、2B、2C和2D示出了根据本公开的一个或多个实施例的可见光图像和红外图像之间的差异。

图3示出了根据本公开的一个或多个实施例的用于生成配对的可见光和红外数据集图像的系统。

图4A、4B、4C、4D和4E是根据本公开的一个或多个实施例的使用图3的系统捕获的示例可见光和红外图像对。

图5示出了根据本公开的一个或多个实施例的示例红外成像和注释系统。

图6A示出了根据一个或多个实施例的红外分类训练系统。

图6B示出了根据一个或多个实施例的红外分类系统。

图6C和6D示出了根据一个或多个实施例的神经网络训练和验证过程。

图7示出了根据一个或多个实施例的黑体温度和带内辐射率(in-band radiance)之间的关系。

图8A和8B示出了根据一个或多个实施例的双波段图像捕获系统。

图9示出了根据一个或多个实施例的具有测试受试者和两个黑体的热图像。

图10是示出了根据一个或多个实施例的用于使用一个黑体来操作热成像系统的过程的流程图。

图11是示出了使用两个黑体在环境(23C)操作条件下测量相机响应度的图。

图12是根据一个或多个实施例的示例双相机系统。

图13是根据一个或多个实施例的用图12的双相机系统捕获的示例图像。

图14示出了根据一个或多个实施例的双波段成像系统中的黑体的示例布置。

图15A和15B是根据一个或多个实施例的示例可见光和红外图像对。

图16A、16B、16C和16D是根据一个或多个实施例的示例双波段相机系统的视图。

图17A和17B是根据一个或多个实施例的另一示例双波段相机系统的视图。

图18A、18B和18C示出了根据一个或多个实施例的升高温度系统的实施方式。

图19A、19B、19C、19D、19E、19F和19G示出了根据一个或多个实施例的升高温度系统的显示视图。

图20是示出了根据一个或多个实施例的用于检测升高的体温的过程的流程图。

图21A、21B、21C、21D、21E和21F示出了根据一个或多个实施例的系统设置过程的屏幕。

图22A、22B、22C、22D和22E示出了根据一个或多个实施例的系统操作期间的各种操作员视图。

通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应当理解，相似的附图标记用于标识一个或多个图中所示的相似元件。

具体实施方式

本公开提供了用于测量升高的体温的系统和方法。在一些实施例中，系统和方法包括双波段图像捕获系统。当使用热成像测量升高的体温时，具有受试者的可见光图像以供参考可能会很有用。该参考图像可用于识别对象(例如，待测量的人)，因为可能难以使用热图像识别人员。当研究人面部最热的部位时，其还有助于关联可见光图像和热图像中的诸如眼睛内角(眼角)的解剖结构。在各种实施例中，二向色分束器用于按波长分离光，使得可以叠加可见光和红外图像流，同时最小化视差。在本文提供的公开中，将首先描述双波段训练系统，然后是经训练的双图像捕获系统的示例实施方式。

本公开还解决了使用红外技术扫描升高的皮肤温度和/或体温的主题内的其他问题。例如，解决的一个问题是使得几乎任何用户能够和指示几乎任何用户使用红外技术来执行自评估的皮肤温度扫描，包括可能不具备热成像先验知识的用户。此外，本公开的实施例旨在在如何使用正确的设置和环境来设置自扫描系统方面引导用户，以更高效地执行尽可能准确和一致的测量。实施例还结合了跟踪被扫描个人的结果的后分析方面，能够实现记录的温度测量的历史趋势。本公开使得设施能够配备可以检测进入建筑物的人的皮肤温度的自扫描系统，这最终能够帮助决定是否允许或不允许被扫描的个人进入。

双波段温度检测培训系统和方法

本公开提供了用于注释红外图像以供在机器学习应用中使用的系统和方法。在一些实施例中，由可见光相机(例如，产生RGB图像)和红外相机(例如，热IR相机)组成的双波段相机装备用于获取在空间和时间上配准到高精度程度的图像。RGB图像被手动和/或自动注释(例如，通过人类技术人员、自动对象识别软件等)。然后将注释转移到红外图像，红外图像本身更难注释得多，因为一些边缘细节以及给出上下文的颜色在热IR图像中不存在。

为了正确训练用于图像分类的卷积神经网络(CNN)并评估CNN对图像及其中的对象进行分类的能力，图像使用训练集中使用的注释进行标记。在许多应用中，注释是操作员手动标记图像中的对象(例如交通场景中的行人或停车标志)的过程。例如，CNN使用具有数千个图像的大型数据集进行训练。基于CNN在来自不作为训练集的一部分的测试数据集的新图像上识别注释的对象的能力的正确性来评估CNN。

然而，要让人类操作员正确注释热IR图像存在一些困难。例如，两岁的人一眼就能很容易地识别许多对象，但即使是在识别热图像中的对象方面训练有素的专家也很难决定如何标记场景中的对象。困难的出现是因为许多对象在热IR波段中看起来与在可见光波段中看起来可能且确实完全不同。例如，蓝色眼睛在原始热图像中看起来并不是蓝色——虹膜将用灰色阴影表示。可见光图像中的暗区在热图像中可能看起来很亮，反之亦然，这会增加注释的困惑。在某些情况下，热图像可能具有在对象与场景之间的对比度非常高但在可见光波段中对比度非常低的对象。

现在将参考图1描述根据一个或多个实施例的用于训练用于红外图像分类的机器学习系统的示例过程。在各种实施例中，过程100包括在步骤110中在相同时刻并从相同视角捕获相同场景的红外图像(例如，热图像)和可见光图像。在步骤120中，配准两个图像，使得一个图像上的像素被配准到另一图像上的对应像素，并且两个像素在相同时刻在对象空间中观察相同位置。在各种实施例中，可以使用变形算法或其他图像对齐算法。

在步骤130中，对可见光图像和/或红外图像进行分类。在一些实施例中，可以在可见光图像和/或热图像上运行自动对象分类器应用以从图像中识别对象分类、对象位置和其他对象信息。在步骤140中，人类操作员审查初步分类并决定如何注释它们。在一些实施例中，注释可以限于一个图像，例如比红外图像更可能被用户视觉理解的可见光图像，然后将注释应用于另一图像，例如红外图像。注释可以包括对象位置、对象分类和/或其他对象信息。

在步骤150中，在数据集中使用注释的红外图像来训练和/或验证用于对红外图像进行分类的机器学习系统。在一些实施例中，通过使用注释的图像创建训练数据集，卷积神经网络(CNN)被训练用于图像分类，并被验证以评估CNN在对图像及其中的对象进行分类方面的准确性。如上所述，注释过程可以是CNN训练过程的一部分，并且可以包括手动分类，其中，人类操作员手动标记图像中的对象，例如行人或停车标志。在一些实施例中，可以通过在提供预测(自动或机器注释)的图像上运行CNN检测器而不是从头开始来辅助人工注释，并且注释者可以审查预测并在需要时对预测进行校正。使用由数千个图像组成的大型数据集训练CNN，并基于CNN在来自不作为训练集的一部分的测试数据集的新图像上识别注释的对象的能力的正确性来评估CNN。

如前所述，要让人类操作员正确注释热IR图像存在一些困难。两岁的人一眼就能很容易地识别许多对象，但即使是在识别热图像中的对象方面训练有素的专家也很难决定如何标记场景中的对象。困难的出现是因为许多对象在热IR波段中看起来与在可见光波段中看起来可能且确实完全不同。例如，如图2A所示，可见光图像200中的蓝色眼睛202在原始热图像210中看起来不是蓝色——例如，虹膜可以如图所示用灰色阴影212表示。参考图2B，可见光图像220中的暗区222在热图像230中看起来可能很亮，反之亦然，这增加了注释的困惑。在这里，TV 234在热图像230中几乎不可辨别，就像男孩232在热图像中很亮，并且在可见光图像中几乎看不出来一样。在某些情况下，热图像可能具有在对象与场景之间对比度非常高但在可见光波段中对比度非常低的对象。参考图2C，例如，热足迹252的可见光图像240和中波IR图像250示出了这种现象。在该示例中，足迹252在可见光图像240中不是可见地可识别的，但可以在中波IR图像250中看到。

在本文公开的各种实施例中，一种解决方案是训练和教导网络进行可见光图像中的热图像分类，并将注释结果应用于训练和验证数据集中的热图像。在一些实施例中，该解决方案包括可见光和热图像分类，并且结果被适当地合成到注释中。数据集包括用于训练和验证神经模型的图像组。数据集的质量影响所得的模型，更准确的数据集提供更好质量的模型。数据集可以包括具有两个或更多个光谱(例如，可见光、热、其他光谱)中的图像的多传感器数据集。

在为多传感器训练系统构建数据集时，选择在图像对的帧之间具有准确的对应关系的图像对。如本文所述，两个光谱帧可以从捕获的场景的基本相似的视角在相同时间获取。影响训练表现的另一因素是识别要分析的对象的框或多边形(例如，基准真相)的准确性。

在一些实施例中，基于分束器的相机被用于同步的两个相机，使得在相同时间捕获帧。使用该相机减少了选择和配准帧供在数据集中使用所需的时间。该系统可以从光谱之一中选择适当的数据图像(例如，适用于测试图像的高质量图像)，然后也将为数据集选择对应的配对图像，从而减少为数据集选择帧所需的时间。

在两个图像准确对齐(例如，对齐每个图像的像素)之后，可以对最佳地表示(或显示)期望对象的图像执行注释，并且可以将这些注释与其他光谱中的图像匹配。这种方法提高了分类的准确性，因为每个光谱被用于识别对象的边界。

在一些实施例中，多传感器相机可以与辐射测量相机组合在系统中，以提供原本将难以用常规系统实现的附加功能。像素到像素对齐允许CNN模型在两个光谱中工作，以提供每个光谱的优点。例如，在升高的体温系统中，照明良好的对象将通过CNN-可见光(CNN-visible)网络以识别形状和身体部位，然后CNN-热(CNN-thermal)网络可用于在这些部位中识别皮肤并测量皮肤的温度。在另一示例中，该系统可以使用可见光图像来查找对象(例如，汽车)的形状，然后使用热图像来定位和识别废气以确定汽车是电动汽车还是汽油动力汽车。

在一些实施例中，使像素到像素对齐允许对在可见光谱中捕获的每个像素位置进行直接温度测量。可见光CNN模型可用于检测对象和/或对象-部位，并且来自热图像的对应像素可提供温度信息。该系统具有许多优点，包括在可见光图像仅用于促进准确的温度测量并被显示或可用于进一步识别人员的系统中增加隐私。

参考图2D，右边的可见光图像270已经被机器注释，白色汽车周围有蓝色边界框272，但是汽车262没有在对应的热图像260中注释。本文公开的解决方案在相同时刻并从相同视角捕获相同场景的热图像和可见光图像。可以使用变形算法或其他对齐算法来配准这两个图像，以便将一个通道上的像素配准到另一通道上的对应像素，并且这些像素都在相同时刻观察对象空间中的相同位置。人类注释者可以比较两个图像(以及自动图像分类结果，如果可用)并决定如何对它们两个进行注释。然后可以将一个图像的注释应用于另一图像。该构思可用于使用已用可见光图像训练的卷积神经网络改进热图像的自动分类。这对中的可见光图像将用于此事，并且结果将适用于对应的热图像。

本实施例的另一优点是可以在增加隐私级别的情况下执行分类，因为第三方可以使用可见光图像数据对图像进行分类而无需共享隐私的红外图像数据。然后可以将结果应用于热IR图像。对于在热IR中仅揭示上下文的场景，可以应用第二阶段，其包括自动的热图像分类和/或人分类，但总体上该技术会大大减少工作量。

在图3中示出了根据本公开的用于生成数据集图像的系统的实施例。时间同步可以通过使相机中的一个触发另一个来实现。红外相机320(例如，高清中波红外相机)被配置有可以路由到可见光相机310的同步输入的同步输出。这两个相机被配置为在相同时间开始场景的积分(例如，在几微秒内)，匹配的积分时间匹配两个通道之间的运动模糊。

可以用系统300完成空间配准，系统300还包括二向色分束器302，分束器302分离来自场景的可见光和红外辐射。可见光相机310和红外相机320被定位成分别接收分离的可见光和红外辐射。在图示的实施例中，红外相机320是中波IR相机，其捕获场景的由分束器302折叠通过90度角的反射304，红外相机320以45度角观察该反射。可见光相机310通过分束器302观察场景，该场景可能包括要检测和分类的对象。在各种实施例中，希望可见光相机310和红外相机320的光轴精确对齐，使得两者之间的透视变化可以忽略不计，这允许在所有距离处创建准确配准的图像。

如果这两个相机彼此相邻安装，则在它们之间将存在视差。图示的系统300消除了所有视差。可以选择用于两个相机的透镜以匹配相机之间的视场，和/或可以在图像捕获之后执行对捕获的图像的调整(例如，裁剪较大的图像)。在一些实施例中，相机被安装在可以在仰角和方位角上调整的轴线校准安装件312上。可见光相机安装件下方的精确垫片将光学面包板上方的可见光光轴的高度设置为与中波IR光轴相同。在图示的实施例中，诸如深灰色泡沫片的眩光光阑306位于分束器302的左侧，以减少可见光从面向可见光相机310的分束器的一侧反射。

如图所示，分束器302可以被实现为由0.3”的BK7玻璃制成的二向色分束器。玻璃的一侧涂有氧化铟锡(ITO)层，该氧化铟锡层使其在中波IR波段(波长单位为3-5微米)反射率为～80％，并且另一侧具有内置的可见光抗反射涂层。分束器302对于可见光也是～90％透明的。在各种实施例中，分束器302可以是反射期望的红外波段并且对可见光透明以允许以满足特定系统实施方式的要求的质量进行图像捕获的任何分束器。

参考图4A-E，示出了用示例系统获取的一对图像。两个图像(例如可见光图像400和红外图像410)可以通过各种技术高精度地进行空间配准，这些技术包括可以由对于两个图像是共同的控制点(例如可见光图像420和红外图像430中所示的控制点422)限定的二维仿射变换。仿射变换使图像变形以校正透镜畸变的差异，并在整个视场中产生精确的图像配准。在一种方法中，可见光图像400被变形以匹配红外图像410。可以在两个图像中都具有高对比度的地方选择控制点422，如可见光图像420和红外图像430中所示。产生的两个图像的叠加图像440以彩色“图(map)”显示，其中，“固定”的中波IR图像以绿色显示，而移动图像以紫色显示。

在一些实施例中，配准过程可以包括使用具有分布在整个视场上的高对比度基准点的目标。这可以通过穿有小孔的环境温度白色面板和具有黑色涂漆的加热面板的背光来实现。可以确定仿射变换并将其用于用系统拍摄的后续图像，只要相机和分束器组件都保持锁定在相同的相对位置。

参考图5，根据一个或多个实施例，现在将描述可用于生成本文描述的注释的红外图像的示例图像捕获系统500。在图示的实施例中，图像捕获系统被配置为捕获和处理可见光和红外图像，对齐捕获的图像对，并注释红外图像和/或可见光图像以用于训练图像分类器以用于各种用途。在一些实施例中，图像捕获系统500被配置为如关于图3的实施例所描述的那样操作。

图像捕获系统500可以用于对视场中的场景570进行成像。图像采集系统500包括处理部件510、存储器部件520、红外相机501a、可见光相机501b、可选的显示部件540、控制部件550、通信部件552以及取决于系统实施方式的其他部件。红外相机501a包括IR图像光学部件532a(例如，被配置为通过红外相机501a中的光圈534a接收辐射并将辐射传递到IR图像捕获部件530a的一个或多个透镜)、IR图像捕获部件530a和IR图像捕获接口部件536a。

在一个实施例中，IR图像捕获部件530a包括一个或多个传感器，用于捕获表示场景570的图像的红外图像信号。图像捕获部件530a的传感器提供用于将场景570的捕获的红外图像信号表示(例如，转换)为数字数据(例如，经由作为传感器的一部分包括的或作为图像捕获系统500的一部分与传感器分离的模数转换器)。在一些实施例中，图像捕获部件530a包括在基板上以阵列或其他方式实现的红外传感器(例如，红外检测器)。例如，红外传感器可以实现为焦平面阵列(FPA)。红外传感器可以被配置为检测来自目标场景的红外辐射(例如，红外能量)，包括例如中波红外波段(MWIR)、长波红外波段(LWIR)和/或可能期望的其他的热成像波段。红外传感器可以被实现为例如微测辐射热计或其他类型的热成像红外传感器，其以任何期望的阵列图案布置以提供多个像素。在一些实施例中，红外相机501a可以包括3-5微米的高清MWIR相机(例如，以1344×784像素捕获红外图像)。

可见光相机501b包括可见光图像光学部件532b(例如，被配置为通过相机501b中的光圈534b接收可见光谱辐射并将接收的可见光谱传递给可见光图像捕获部件530b的一个或多个透镜)、可见光图像捕获部件530b和可见光图像捕获接口部件536b。在一个实施例中，可见光图像捕获部件530b包括一个或多个传感器，用于捕获表示场景570的图像的可见光图像信号。可见光图像捕获部件530b的传感器用于将场景570的捕获的可见光图像信号表示(例如，转换)为数字数据(例如，经由作为传感器的一部分包括的或作为图像捕获系统500的一部分与传感器分离的模数转换器)。在一些实施例中，可见光图像捕获部件530b包括在基板上以阵列或其他方式实现的光传感器。例如，传感器可以被实现为电荷耦合器件(CCD)传感器、科学互补金属氧化物半导体(sCMOS)传感器或其他可见光传感器。

在各种实施例中，图像捕获系统500可以被实现为配对的成像系统以使用IR相机501a和可见光相机501b同时捕获场景570的图像帧。在各种实施例中，相机501a和501b可以表示适于对场景570成像并提供本文描述的关联图像数据的任何类型的相机系统。图像捕获系统500可以在各种类型的固定位置和环境处，或者在便携式设备或载具中实现。该系统包括分束器502，其分离来自场景570的可见光和红外辐射。可见光相机501b和红外相机501a被定位成分别接收分离的可见光和红外辐射。红外相机501a(例如，中波IR相机)被安装成捕获场景的由分束器502折叠通过90度角的反射，红外相机501a以45度角观察该分束器502。可见光相机501b被安装成通过分光镜502捕获场景50的可见光图像。在各种实施例中，希望可见光相机501b和红外相机501a的光轴精确地对齐，使得两个捕获的图像之间的透视变化可以忽略不计，这允许在不同距离处创建准确配准的图像。

可以选择用于两个相机的光学部件532a和532b以匹配相机之间的视场，和/或可以在图像捕获之后执行对捕获的图像的调整(例如，裁剪较大的图像)。在一些实施例中，相机被安装在板上并且可以在仰角和方位角上进行调整。安装件或其他安装部件下方的精密垫片可用于将光轴的高度设置为相同的高度。诸如深灰色泡沫片的眩光光阑504被定位成与分束器502相邻，以减少可见光从分束器502的面向可见光相机501b的一侧的反射。

分束器502可以被实现为由0.3”的BK7玻璃制成的二向色分束器，玻璃的一侧涂有氧化铟锡(ITO)层，该氧化铟锡层使其在中波IR波段(波长单位为3-5微米)反射率为～80％。在该实施例中，分束器502对于可见光也是～90％透明的。在各种实施例中，分束器502可以是反射期望的红外波段并且对可见光透明以允许进行高质量的图像捕获的任何分束器。

处理部件510可以包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如，被配置为执行处理操作的可编程逻辑器件)、数字信号处理(DSP)器件、用于存储可执行指令(例如，软件、固件或其他指令)的一个或多个存储器、图形处理单元和/或执行指令以执行本文描述的各种操作的处理设备和/或存储器的任何其他适当的组合。处理部件510适于与部件536a、536b、520、530、540和550接口连接并与其通信，以执行本文描述的方法和处理步骤。处理部件510还可以适于执行本文描述的对相机501a和501b的同步580，以在大致相同的时间并且以大致相同的积分时段捕获场景570的图像，通过图像处理部件582进行图像处理，和/或图像对配准(图像对配准部件584)。

应当理解，处理操作和/或指令可以集成在软件和/或硬件中作为处理部件510的一部分，或作为可以存储在存储器部件520中的代码(例如，软件或配置数据)的一部分。本文公开的处理操作和/或指令的实施例可以以非暂时性方式存储在机器可读介质(例如，存储器、硬盘驱动器、紧凑式盘、数字视频盘或闪存)中，以供一个或多个计算机(例如，基于逻辑或处理器的系统)执行，从而执行本文公开的各种方法。

在一个实施例中，存储器部件520包括一个或多个存储器设备(例如，一个或多个存储器)以存储数据和信息。一个或多个存储器设备可以包括各种类型的存储器，包括易失性和非易失性存储器设备，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存或其他类型的存储器。在一个实施例中，处理部件510适于执行存储在存储器部件520和/或机器可读介质中的软件，以按照本文所述的方式执行各种方法、过程和操作。

处理部件510可以适于从图像捕获部件530a和530b接收图像信号，处理图像信号(例如，以提供经处理的图像数据)，将图像信号或图像数据存储在存储器部件520中，和/或从存储器部件520获取存储的图像信号。在各个方面，处理部件510可以被远程地定位，并且如本文所述，处理部件510可以适于经由与图像捕获接口部件536的有线或无线通信从图像捕获部件530远程接地收图像信号。

显示部件540可以包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的通常已知的视频显示器或监视器。在各种实施例中，控制部件550可以包括用户输入和/或接口设备(例如键盘)、控制面板单元、图形用户界面或其他用户输入/输出。控制部件550可以适于集成为显示部件540的一部分，以作为用户输入设备和显示设备进行操作，例如，适于从触摸显示屏的不同部分的用户接收输入信号的触摸屏设备。

处理部件510可适于与图像捕获接口部件536a和536b通信(例如，通过从图像捕获部件530a和530b接收数据和信息)。图像捕获接口部件536a和536b可以被配置为分别从图像捕获部件530a和530b接收图像信号(例如，图像帧)，并且将图像信号直接地或通过一个或多个有线或无线通信部件以通信部件552的方式(例如，由连接537表示)传送到处理部件510。

在一个或多个实施例中，通信部件552可以被实现为适于与网络通信的网络接口部件并且可以包括一个或多个有线或无线通信部件。在各种实施例中，网络可以被实现为单个网络或多个网络的组合，并且可以包括有线或无线网络，包括无线局域网、广域网、互联网、云网络服务和/或其他适当类型的通信网络。图像捕获系统500可以被配置为与一个或多个计算设备、服务器和/或一个或多个数据库一起操作，并且可以与其他部件组合。在一些实施例中，图像捕获系统500可以通过网络(例如，互联网或云)将图像对发送到服务器系统，进行远程图像对配准和处理、注释和本文公开的其他过程。

可以将配准的图像对提供给注释系统556以进行进一步处理。在各种实施例中，注释系统556可以与图像捕获系统500的一个或多个其他部件一起集成到本地计算系统中，通过无线或有线通信链路进行访问，通过网络(例如互联网或云服务)、独立系统(例如，经由外部存储器设备接收配准的图像对)、移动系统或被配置为执行本文描述的系统和方法的其他系统进行访问。在各种实施例中，注释系统556包括用于自动(例如，使用经训练的CNN)和/或手动(例如，用户接口)分析红外图像的红外分类部件557和用于自动和/或手动分析可见光图像的可见光分类部件558。图像分类可以包括，例如，检测图像中的一个或多个对象，限定检测到的对象周围的边界框，和/或分类检测到的对象。注释部件559被配置为提供合成图像对的红外和可见光分类信息的界面，允许用户查看图像和提议的注释并确认和/或编辑注释。然后可以将注释的图像对存储在数据库560中以用于训练和/或验证用于红外图像分类的神经网络。

本公开的各个方面可以被实现为用于训练神经网络和/或其他机器学习过程，以分析和/或分类捕获的红外图像以用于各种应用，包括监视、交通监测、人的检测和跟踪、发烧监测等。现在将参考图6A-D描述可以在本公开中使用的神经网络训练系统和方法的实施例。

参考图6A，将描述红外分类系统的实施例。红外分类系统600可以被实现为独立系统和/或在一个或多个服务器(例如执行数据处理和/或用于训练、存储和红外分类系统600使用的神经网络的其他软件执行操作的应用服务器)上实现。在一些实施例中，红外分类系统600的部件可以分布在诸如云/网络622的通信网络上。通信网络622可以包括一个或多个局域网(例如无线局域网(WLAN))、广域网(例如互联网或云网络)和适合于促进本文描述的部件之间的通信的其他有线或无线通信路径。红外分类系统600包括可操作以促进与一个或多个远程系统通信的通信部件614，例如被配置为捕获场景的一个或多个红外图像并检测和/或分类其中的对象的远程红外设备624，以及被配置为捕获配准的红外/可见光图像对以用于训练红外图像分类系统的红外/可见光图像捕获系统620。

在各种实施例中，红外分类系统600可以作为联网红外图像分类系统操作，例如基于云的系统，或者可以被配置为在专用系统中操作，例如处理从一个或多个监视设备(例如，本文描述的热成像相机)实时捕获的热图像和其他数据的监视系统。红外分类系统600可以被配置为分析捕获的数据并返回与红外图像分类相关的信息，例如检测对象的位置、检测到的对象的分类、分类的置信度度量等。红外分类系统600还可以包括用于存储捕获的红外/可见光图像对、训练数据集、经训练的神经网络和其他信息的数据库602。

如图所示，红外分类系统600包括执行数据处理和/或其他软件执行操作的一个或多个处理器604。处理器604可以包括逻辑器件、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或红外图像分类系统600可以用于执行适当的指令的其他设备，该适当的指令例如存储在存储器606中的软件指令，包括图像对分类和注释部件608、红外分类训练系统部件610、经训练的红外分类神经网络612(例如，通过存储在数据库602中的训练数据集训练的卷积神经网络)和/或其他应用。

存储器606可以在存储可执行指令、数据和信息(包括图像数据、视频数据、音频数据、网络信息)的一个或多个存储器设备(例如，存储器部件)中实现。存储器设备可以包括用于信息存储的各种类型的存储器，包括易失性和非易失性存储器设备，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存、盘驱动器和本文描述的其他类型的存储器。

远程红外设备624可以被实现为计算设备，例如热成像相机、手持式温度感测设备、台式计算机或网络服务器、移动计算设备(例如移动电话、平板计算机、膝上型计算机)或具有用于与其他设备连接的通信电路(例如，无线通信电路或有线通信电路)的其他计算设备。在一些实施例中，远程红外设备624可以包括一个或多个无人载具(例如，无人机)，例如无人飞行器、无人地面载具或其他无人载具。

通信部件614可以包括用于使用各种通信协议与其他设备通信的电路。在各种实施例中，为了有线通信的目的，通信部件614可以被配置为通过有线通信链路(例如，通过网络路由器、交换机、集线器或其他网络设备)进行通信。例如，有线链路可以用电力线电缆、同轴电缆、光纤缆或支持对应的有线网络技术的其他合适的缆线或电线来实现。通信部件614还可以被配置为经由诸如以太网接口、电力线调制解调器、数字订户线(DSL)调制解调器、公共交换电话网络(PS TN)调制解调器、电缆调制解调器的有线通信部件和/或用于有线通信的其他适当部件与有线网络和/或设备接口连接。通信部件614还可以支持专有的有线通信协议和接口。

如图6B所示，一个或多个经训练的红外分类系统可以在远程实时环境中实现。红外分类系统650可包括热成像相机或可操作成接收和/或生成热图像并处理接收的热图像以输入到经训练的红外分类神经网络670的其他设备或系统。红外分类系统650包括处理器和存储器660，其可操作成存储一个或多个经训练的神经网络，并在其上实现神经网络运行时接口(例如经训练的红外分类神经网络670)。

在各种实施例中，存储在数据库602中的训练数据集可以从注释的配准图像对创建并且用于训练一个或多个神经网络和其他机器学习算法以用于红外分类系统。参考图6C，现在将描述神经网络训练过程的实施例。在一个实施例中，神经网络680是卷积神经网络(CNN)，其接收训练数据集682并输出数据的分类。本公开描述了可以针对一个或多个红外图像确定进行训练的多个神经网络，包括但不限于从热图像中检测和跟踪对象和/或人、检测热图像中的温度测量位置、对检测到的对象进行分类和/或确定个人是否发烧。

训练数据集包括从本文描述的配准的可见光和红外对创建的注释的红外图像数据。该数据还可以包括通过其他方式创建的注释的红外数据，包括为模拟真实世界图像而生成的合成数据。在一个实施例中，训练开始于前向传递通过神经网络680，包括特征提取、多个卷积层和池化层、多个全连接层和包括期望分类的输出层。接下来，鉴于前向传递中产生的错误(例如，错误分类的数据)，可以使用通过神经网络680的反向传递来更新CNN参数。在各种实施例中，可以根据本公开使用其他过程。

图6D中示出了用于验证经训练的神经网络的实施例。完全注释的验证测试数据692的集合被馈入经训练的神经网络690。验证测试数据692可以包括从本文描述的配准的红外/可见光图像对生成的注释的红外数据，其未用作训练数据集682的一部分。可以分析检测到的错误(例如，图像错误分类)并将其反馈给训练系统以更新训练模型，训练模型又更新训练数据集682以创建更准确的分类模型。在各种实施例中，可以通过添加数据的更多示例(例如，更多类型的环境)、增加数据的分辨率和/或增加热建模的准确性来校正检测到的错误，以帮助区分数据类型。通过调整训练数据集以实时(on-the-fly)提高准确性，操作员可以避免在实现准确的分类系统时的代价高昂的延迟。

在各种实施例中，该系统被配置为保存在现场实时生成的数据以用于分析和训练一个或多个神经网络。例如，来自部署的系统的数据可以被反馈到CNN训练过程中，以改进CNN从而改善针对特定环境的分类(例如，检测机场中人的温度)、期望的分类目标(例如，训练CNN以检测和跟踪一个或多个对象)和/或更准确的性能。

双波段温度检测系统和方法

本文公开的各种训练过程可用于训练红外成像系统以进行各种检测和分类任务。在一些实施例中，用于测量升高的体温(EBT)的系统利用热红外相机在没有身体接触的情况下测量皮肤温度——这是在具有潜在传染的疾病的人存在的情况下使用的任何系统的一个重要方面。发烧的人将具有升高的核心体温会，并且在某些情况下，这种升高的温度自身会通过皮肤温度表现出来，特别是在靠近泪管的面部皮肤(眼角)上，这是面部具有高度血流的区域。该眼角表面温度会仅比核心体温低几摄氏度。

对热红外相机进行校准，以准确地测量健康的人和发热的人之间的差异，可能只是核心体温相差几摄氏度的问题。对红外相机的标准校准将图像中每个像素的数字计数与这些像素观察的表面的辐射率(在热相机的光谱带中)相关。表面的温度可以通过各种方法(包括查找表)从相机测量的辐射率得出。在皮肤温度测量的情况下，出于两个原因，可以直接从对温度的数字计数校准系统。第一个原因是面部皮肤温度的范围被限制为从30°C到～38℃之间的值。在该温度范围内，7-14微米长波相机的带内辐射率几乎与温度成线性关系，如图7所示。

参考图8A和8B，根据一个或多个实施例，将描述经训练的双波段成像系统的示例实施例。双波段相机800包括第一相机810、第二相机820和分束器830。第一相机810包括被配置为感测和捕获视场的可见光图像的图像捕获和处理部件。第二相机820包括被配置为感测和捕获视场的红外图像的图像捕获和处理部件。第一相机810和第二相机820被布置在相机主体802中并且被配置为通过分束器830在基本上相同的时间捕获图像。分束器830将场景的图像反射到第二相机820，而第一相机810通过分束器830捕获可见光图像。本文公开的布置允许以最小视差捕获图像对，这促进了本文描述的准确的图像处理和分类。

在一些系统中，黑体840可以存在于视场中。在一些实施例中，黑体可以被定位为双波段相机800的一部分和/或靠近相机主体820定位。由于折叠的几何形状，黑体840辐射从分束器830的反射允许黑体在物理上更靠近热相机定位(例如，黑体840远离热相机820为(a)+(b))。在一些实施例中，将黑体靠近热相机放置允许黑体对热相机显得更大，并且还允许将黑体精确放置在要由热相机820捕获的位置处，但在可用图像之外。在各种实施例中，黑体可以包括热敏电阻、微腔黑体(例如，长的、渐缩锥体)或其他黑体。例如，通过使电流通过热敏电阻来对热敏电阻加热，热敏电阻(一种电阻值随温度变化的校准器件)可以用作黑体，测量电阻以获得温度，然后可以将该温度与从热图像感测的黑体温度进行比较。

现在将参考图9描述本公开的其他方面。人面部上的皮肤具有非常接近区域黑体源的典型发射率(例如0.96)的带内发射率。如果两个表面温度相同，则通过观察黑体源和人皮肤的红外相机测量的数字计数将相同。EBT系统可以始终在视场中具有一个参考黑体(或多个黑体)，其具有将温度校准嵌入每个热红外图像的特性。这也使得使用没有内置校准的相机成为可能，这可以降低生产成本，因为相机不需要耗时的辐射测量校准过程。另一优点是，如果黑体与测试受试者位于距相机的相同距离处，则大气传输被纳入场景内校准中。

图9示出了在视场中具有双黑体系统的测试受试者902的热图像900。第一黑体910的温度为35摄氏度，并且第二黑体912的温度为41摄氏度。如果相机的响应度已知，则可以从对两个黑体或单个黑体的数字计数值内插和外推温度。在单个黑体配置的情况下，可能需要知道相机的响应度。

参考图10，现在将根据一个或多个实施例描述使用单个参考黑体测量温度的方法1000。在步骤1010中，使用两个黑体(例如，在35℃和40°C)测量相机的响应度，其中，相机完全预热并在表示预期操作温度的环境中操作。相机软件可以被配置为提供帧平均以减少时间噪声，并且响应度可以被计算为对位于两个黑体上的两个感兴趣区域(ROI)的数字计数差(例如571.8计数)除以温差，在本例中为5℃。产生的响应度为114计数/°C。

在步骤1020中，在观察包含测试受试者的感兴趣场景的同时在相机的视场中识别参考黑体上的感兴趣区域，并且确定参考黑体上的平均数字计数。该值是参考偏移。在步骤1030中，系统测量感兴趣目标上的数字计数，该感兴趣目标可以包括测试受试者面部上的区域(例如，面部最热的部分、面部上的特定目标位置，例如眼角)。该软件可以自动检测人的面部，然后定位面部上的最热点(例如眼角)，并在热点的质心上放置3×3像素大小的点测光表以生成EBT计数测量。在一些实施例中，捕获可见光图像并将其用于识别对象和/或对象上的位置，然后可以在热图像上的对应位置处测量识别的位置。

在步骤1040中，从EBT计数测量中减去参考偏移。然后系统除以响应度，以获得测试受试者眼角和参考黑体之间的相对温差。然后将该温差添加到黑体温度。软件可以连续读出黑体温度以具有更新的测量。该测量值可以插入热图像的元数据中。

在步骤1050中，在相同时间，记录测试受试者的可见光图像，其可用于进一步分析场景(例如，帮助识别受试者)。还可以记录其他元数据，包括测量部位附近的空气温度、相对湿度、人距相机的距离(可能通过立体相机装备、LIDAR、RADAR或其他方法测量)。该数据对于确定相机和受试者之间的大气传输损耗以及校正斑点大小效应可能有额外的好处，斑点大小效应是一种现象，其中，由于光学器件中的杂散光和相机系统的调制传递函数(MTF)，小目标看起来比它们的实际动力学表面温度更冷。

参考图11，根据一个或多个实施例，现在将描述对相机响应度的测量。热图像1100由视场的红外成像相机捕获。热图像1100包括黑体1120的图像，黑体1120在热图像1100中具有关联的感兴趣区域(例如，由标记为35C参考的绿色框限定)，从该感兴趣区域获取温度测量。在热图像1110中识别的目标1110具有关联的感兴趣区域(例如，由标记为40C目标的红色框限定)，从该感兴趣区域获取目标的温度测量。

现在将参考图12描述双波段相机的示例实施方式的实施例。双波段相机1200被配置为使用二向色分束器1220来减少系统视差。双波段相机1200可以与使用本文讨论的双波段相机系统和分束器进行训练的经训练神网络一起操作。在操作中，双波段相机系统1200同时捕获来自红外相机1230的视频数据和来自可见光相机1210的视频数据，其中，光轴以高精度水平重叠。双波段相机1200使用相对于每个相机(可见光相机1210和红外相机1230)的光轴成45度角的分束器1220。在各种实施例中，分束器1230在一侧涂有氧化铟锡，以将LWIR辐射以～90％的效率反射到红外相机1230，同时将90％的可见光传输到可见光相机1210。所示系统可以在各种热成像应用中实现，包括EBT应用，因为在所有距离处可见光和热IR图像之间的视差可以忽略不计。相比之下，具有两个并排的图像传感器的常规系统(例如，并排的轴线校准的可见光和热IR相机)将导致视差误差，该视差误差在更近的距离处变得更加明显，因为图像对不能对于所有对象距离在空间中完美地被配准。

在一些实施例中，黑体1240位于IR视场的一角(或不阻挡或最低限度地阻挡捕获的图像的其他位置)。对于EBT应用，数据集可以被呈现为目标人员的可见光视频，其中，系统用户可以将鼠标放置在可见光图像上的任何点上方，并查看每个点的温度。该实施例允许系统操作员直观地探索不同的方式来查看EBT或其他温度测量实施方式中的温度。在一些实施例中，可以在执行对象检测、分析和温度测量之后丢弃可见光图像，以保护受试者的隐私(例如，如法律可能要求的那样)。

双波段相机1200由处理部件1250(例如，图5-6B的处理部件中一个或多个)控制，该处理部件根据特定用途或实施方式进行配置，包括用于同步两个相机的图像捕获(例如，同步快门和图像获取用于捕获图像的时间配准)的同步逻辑1260、用于将捕获的图像处理成供系统使用的图像的图像处理逻辑1262、用于对齐图像对(例如，逐像素对应)的图像对配准逻辑1264、用于识别图像对中的一个或多个目标对象的对象检测和跟踪逻辑1266和用于确定对象或对象的一部分的温度的温度测量逻辑1268。在各种实施例中，逻辑部件中的一个或多个可以使用图像分析、经训练的神经网络、统计分析和/或其他逻辑来实现。在一些实施例中，双波段相机1200通过通信部件1270与远程处理系统1272通信。远程处理系统1272可以为双波段相机1200提供一个或多个服务，包括训练和下载神经网络、在线处理图像对、历史数据存储和其他服务。

图13中示出了显示使用分束器系统获取的EBT数据的方法的示例。如图所示，显示1300包括对象(例如，人)的可见光图像1310，该对象在可见光图像1310上覆盖有热图像插图1320，以显示在选择的位置(例如，用户通过将指针1330放置在期望区域上而选择的位置)处的温度数据。如图所示，测试受试者面部最热的部分是眼角的黄色部分。如右侧的颜色条所示，温度为33.1℃。

参考图14，根据一个或多个实施例，将更详细地说明黑体靠近IR相机的放置。在测试受试者附近或在与测试受试者相同距离处的场景中放置参考黑体的构思具有大气传输损失被“吸收”到校准中的优点，因为测试受试者和参考黑体都有它们的红外信号等量变化：因空气路径的传输而减少，而因空气路径信号本身而增加。然而，将参考黑体在场景中放置在远处有一些明显的缺点。首先，除非参考黑体保持在视场中并且其位置已知，否则无法在场景上平移或倾斜相机，以便软件可以保持ROI在其上的定位。另一原因是参考黑体可能会撞到、被人或其他对象遮挡或以其他方式受到损害，因为它位于测试受试者附近，当存在交叉感染的风险时，这是一种特别不希望出现的情况。

如图所示，系统1400通过将参考黑体1410在到相机透镜的近距离处放置在热成像设备1430的视场中来解决这些问题。在一些实施例中，黑体1410包括由涂有高发射率涂层的铝制成的小圆形发射器。加热线圈可用于加热发射器，并且热敏电阻或热电偶可用于监测发射器的绝对温度。

如果黑体距离相机透镜数厘米而透镜聚焦在某个便利的工作距离(例如3米或场景中从1米到无穷远的任何东西将对于测量来说充分焦点对准的某个类似距离)，则黑体1410将高度不对焦。如果黑体1410不对焦，则其将不会被感知为处于其实际物理温度，因为其为小目标并且来自其的辐射将被涂抹在比其在焦点对准时更多的像素上。这个问题的解决方案是将准直透镜1420放置在黑体发射器1410的前面以聚焦其光线，使得黑体看起来焦点对准。

在另一实施例中，将快门周期性地放置在IR相机透镜的前面以将传感器暴露于已知温度的场景。快门可以配备有温度传感器，该温度传感器随后被用于计算参考偏移。快门也可以用作平场校正快门，其将提高图像的空间均匀性。将平场校正快门放在透镜前面也校正了透镜组件引入的非均匀性。这种方法的缺点是测试受试者的温度测量不会在相同时间在视场中有参考黑体，降低了可追溯性。还存在参考快门激活之间相机偏移漂移的问题。如果相机被容纳在热质量足以减缓环境空气温度的任何变化的外壳中，则可以减轻这种漂移。

在各种实施例中，提供了用于校正距离引起的温度误差的系统和方法。该系统被配置为基于头部与热成像传感器的距离来校正头部的表观温度，使得生病的人不会仅仅因为他们离相机更远而被认为是健康的。有两种效应在起作用，使温度测量随着距离降低。一种是大气传输。另一种是所谓的“斑点大小效应”。斑点大小效应本身表现为目标的表观温度随角大小的减小而降低。据观察，关于光学系统的调制传递函数，随着热目标变小，边缘处的冷像素“混合”开始降低目标的表观温度。在一些实施例中，当目标低于阈值大小(例如，大小小于15×15像素)时，斑点大小效应显著。成人的眼角热斑点约为1cm乘1cm。据观察，在由具有640×512分辨率和32度水平视场的示例相机形成的图像中，对于成人的眼角至少为15×15像素，目标人员应当远离小于0.8米。

为了筛查人群中走过的人，可能需要测量从相机到目标头部的距离，可能基于头部的大小(假设是成人头部)。如果我们具有相同场景的可见光图像，则可以使用经训练的人工智能工具来确定人的年龄和性别，然后基于估计的年龄和性别校正他们的头部大小。距离测量被用于考虑目标距离、空气温度(例如，使用FPA温度或外部温度传感器)和相对湿度(例如，使用相对湿度传感器)的空气路径传输模型。在一些实施例中，空气路径传输模型基于中分辨率大气传输(MODTRAN)，这是一种由空军开发的辐射传输模型。

参考图15A和15B，根据一个或多个实施例，现在将描述可见光和红外图像对的示例。图像对1500示出了显示雾的可见光图像1510和显示雾中的男人的图像1522的热图像1520的示例。图像对1550示出了显示遮挡物1570后面的人的可见光图像1560和对应的热红外图像1570的示例。这些示例示出了本文描述的双图像相机系统对于训练和检测的好处。关于训练，图像对示出了不同的上下文，其中，对可见光和红外图像的标记提供了场景的不同上下文信息。使用可见光图像和红外图像可以改进目标检测、跟踪和分类，例如在可见光图像被遮挡时跟踪目标。

图16A、16B、16C和16D是根据一个或多个实施例的示例双波段相机系统的视图，包括透视剖视图(图16A)、侧剖视图(图16B)、仰视图(图16C)和透视图(图16D)。双波段相机系统1600的实施例包括外壳1602、红外相机1610、分束器1620、可见光相机1630和用于将可见光图像朝向可见光相机1630的图像捕获部件聚焦的光学部件1632(例如，透镜组件)。

图17A和17B提供了根据一个或多个实施例的另一示例双波段相机系统的视图，包括平面视图(图17A)和前侧视图(图17B)。双波段相机系统1700包括外壳1720，外壳1720具有封闭系统部件的盖1712，系统部件包括红外相机1710(例如，LWIR相机)、分束器1720、可见光相机1730和处理部件1740(例如，GPU板)。双波段相机系统1700被配置为接收场景的红外波1706和可见光波1708。分束器1720允许可见光波1708通过以到达可见光相机1730。在各种实施例中，可见光相机1730包括光学部件和/或提供单独的光学部件1732以为可见光相机1730的图像捕获部件聚焦可见光1708。分束器1720还被配置为通过窗口1712将红外波1706朝向红外相机1710反射。提供处理部件1740以使红外图像变形从而叠加在可见光图像上并生成双通道、双波段视频流。

筛查升高的体温

现在将参考图18A-22E描述本公开的用于升高的体温筛查(例如门筛查)的实施例。在各种场景和上下文中，本公开的实施例可以用在需要温度筛查的任何位置，例如办公室、商场、公司和制造设施等建筑物的入口。各种实施例涉及的场景如下：一次(每个相机)对一个人执行扫描，包括在机场或其他出行设施对个人进行筛查。

现在将参考图18A-C描述各种实施例。图18A-B示出了示例升高温度测试区域1800，例如建筑物或办公室大厅等设施的入口。升高温度测试区域1800包括设置在登记区域的测试系统1820。进入升高温度检测区域1800的人，例如人员1810和人员1812，通过测试系统1820逐一登记。

参考图18C，现在将描述测试系统1820的实施例。测试系统1820包括可配置为对被测试的人员可见的显示器1822、红外成像相机1824和计算系统1826。在各种实施例中，测试系统可使用提供待测试人员的可见光和红外图像的双波段相机系统(例如图1-17B中描述的双波段相机系统)来实现。

在一些实施例中，系统1820被实现为自评估皮肤温度扫描系统，现在将参考图19A-G和20描述其示例。为了帮助人员如何执行扫描，对几个方面进行了评估，以允许获得正确的测量结果。所示实施例包括几个步骤和指示，它们经由显示器上的文本、图形和动画而传达给用户。

扫描过程在步骤2010开始，其中，显示器1900向用户提供指示用户应走到红外相机前面并将自己朝向显示器的视觉指示。例如，这可以通过显示如图19A所示的剪影1910或指示应当有人站在监视器前面的类似图形来完成。在一些实施例中，红外相机安装在监视器上或监视器附近，并且监视器1900提供剪影1910和相机捕获的用户的图像的视图，允许用户定位在剪影1910内。参考图19B，提供了接近监视器1900(和相机)的人员1922的示例图像1920。人员1922由相机成像，并且分析捕获的图像以检测该人员的面部。分析图像中检测到的面部1924的大小和位置，以将人员引导到剪影1910内的正确位置。在所示图像中，人员站得太远离，并且提供屏幕上的图形1926以引导人员到适当的位置中。例如，图形1926可以包括引导人员1922走近以进行准确扫描的动画箭头。

在步骤2020中，系统指示用户移除遮挡服饰，例如帽子、面罩、眼镜或太阳镜。在各种实施例中，系统捕获用户的图像，检测用户的面部，并识别是否存在遮挡服饰。例如，遮挡头饰会干扰红外技术执行的温度测量，可能导致系统显示不准确的结果。因此，系统自动检测眼镜或其他头饰，例如帽子、面罩等。取决于检测到的对象，相关图形被显示用户，指示必须将其移除。在一些实施例中，系统包括经训练的神经网络，其被配置为检测一个或多个遮挡对象的存在。如图19C所示，当检测到遮挡对象时，系统可以提供图形1932或指示用户移除遮挡对象的其他指示。在所示实施例中，用户佩戴了太阳镜1930，其由图像处理系统和/或神经网络检测到，并且向用户提供“移除眼镜”图形。相机和图像处理系统使用实时红外视频流监测用户的面部，以检测用户的面部和任何遮挡的服饰(例如，如图19D所示移除太阳镜)并检测用户面部何时对于扫描就位。

在步骤2030中，系统发起对用户的温度扫描。在一些实施例中，系统在其识别满足特定标准时自动发起扫描。例如，系统可以通过图像处理和/或其他传感器跟踪用户以确定该人何时站在正确的距离(例如，检测到人面部的足够大的部分的距离)处。系统还可以验证遮挡服饰没有覆盖要测量的面部区域(例如，没有检测到头饰、眼镜、面罩或覆盖面部的其他服饰)。当人处于适当位置并满足其他标准时(例如，如图19E所示)，系统通过视觉和听觉反馈指示其已准备好发起皮肤温度扫描。

在步骤2040中，系统通过评估用户处于适当位置时的红外图像来确定用户温度。如果用户在测量期间移动，则可以要求用户如前所述重新定位，并且重复该过程。在一些实施例中，系统确定测量位置，例如前额或泪管，计算测量位置处的温度，并将测量的温度与一个或多个阈值进行比较以确定人员是否具有升高的体温。

在步骤2050中，系统根据测量的温度显示消息和/或执行任务。例如，如果用户没有偏离可接受的温度限制，他或她可以接收正面消息(例如，图19F中所示的绿色)，传达他们已被证明不具有升高的温度。然后可以允许用户根据设施规程(例如，佩戴员工或访客徽章)通过检查点并进入设施。如果测量的温度偏离已设置为可接受的温度，则用户可以接收消息(例如，如图19G所示的红色)，传达他们具有升高的体温。结果中的书面消息可以自定义以满足实施方式要求，并且可以特定于系统设置位置和环境。例如，如果该人员具有升高的体温，则可以拒绝用户进入设施，指示其与医生或其他医疗人员会面，指示其隔离/检疫(例如，在传染疾病爆发时)，或采取其他预防措施。

系统设置和安装

因为使用红外技术扫描皮肤温度的准确性取决于各种设置和条件，所以本公开还为系统的安装者提供了关于如何设置系统以获得优化的测量结果的引导。在图21A-21F中示出并且现在将描述用于系统安装的样例用户界面屏幕。在一些实施例中，计算机(例如，图18C的计算机1826)执行设置例程以初始化系统以进行正确的升高的体温测量。

在屏幕2100中，初始化系统开始，提供用于安装系统的逐步引导。在屏幕2110中，指示用户通过电缆或其他通信方式将他们的相机插入计算机。例如，在屏幕2120中，用户还可以将他们的相机连接到Wi-Fi接入点(计算机本身或计算机连接到的相同接入点)，以便允许远程流式传输和连接性。将相机插入计算机的情况下，系统可以被配置为检测使用了哪些光学器件。例如，可以如屏幕2130中所示推荐用于执行扫描的建议距离以将相机设置在相对于预期用户测量位置的最佳位置。

为了在流式传输红外图像时获得良好的质量，在屏幕2140中提示用户以设置相机聚焦。这可以在相机硬件的聚焦轮上手动完成，或可以通过单击数字用户界面中的“自动聚焦”来完成。由于IR图像是连续流式传输的，因此用户将接收有关光学聚焦状态的即时反馈。

如屏幕2150中所示，可以进一步使用数字掩蔽工具2152提示用户，该数字掩蔽工具将允许用户在流式传输IR图像时设置感兴趣区域2154。感兴趣区域决定了将在其中允许检测面部的区域。如果面部在相机视图内可见但在设置的感兴趣区域之外，则将不对其进行检测。该功能可以帮助避免在被扫描人员的背景中对经过的人进行不必要的测量。

如果被扫描人员的体表温度超过可接受的极限，系统将警报检测到升高的体温。在设置期间，可以提示用户基于温度设置余量，其将允许在可接受的温度极限内存在一些偏差。例如，可以呈现提示用户“设置温度阈值”(例如+2摄氏度、+1.5摄氏度或+1摄氏度)的屏幕。在各种实施例中，系统允许用户在系统被设置时设置温度余量，以避免如果用户在产品使用中的较晚阶段进行设置时延迟而可能发生的潜在错误。

本公开的各方面还包括在系统的显示器(例如，计算机上的显示器)上呈现的显示各种设置和信息的“操作员视图”。样例显示视图如图22A-22E所示。如图22A所示，可以向操作员呈现执行的扫描的时间线2202，具有查看测量的温度和保存的图像2204的能力。这提供了查看温度曲线的历史视图的可能性。用户可以点击任何执行的扫描，以查看更多详细信息，例如测量的温度、图像和结果。如图22B所示，操作员视图2220允许通过将多个相机连接到系统(例如，包括扫描多个人的多个相机的系统)来在相同时间显示多个IR视频流2224。显示器2240(图22C)还可以被配置为显示被扫描的个人2242的图像，该图像可以被显示并被存储在本地系统、远程系统、云数据库或其他存储装置中进行进一步分析。

参考图22D和22E，系统可以被配置为提供模糊的叠加以保护被扫描的人(例如，在显示器2260中示出)的完整性并且为用户提供更舒适的体验。可以将模糊的叠加应用于已经存在的图形，使得用户可以选择他们是想要透明还是模糊的方块来发出信号并跟随检测的面部。

为了保护被扫描个人的完整性，他/她以及物理环境可以用计算机化和虚拟的图形完全掩蔽，如显示器2270中所示。周围环境(例如壁、地板、天花板、装饰品等)可以用显示与物理世界没有视觉联系的普通背景代替。此外，检测到的人员可以用对应于他/她的移动的虚拟化身(例如，图像2272)代替，从而减少被监视的感觉，但仍然提供对人员应当将身体移动到哪里和如何移动身体以执行正确扫描的理解。

应当理解，本公开提供了升高温度测量的提高的准确性和一致性。本文公开的系统允许未受过训练的人被引导执行热成像皮肤温度扫描并解释结果，而无需教育或关于热力学或红外技术的任何先验知识。在指示(文本、声音和叠加图形)的帮助下，用户接收有关如何进行扫描以获得一致和准确的结果的相关信息。本公开还有助于对这样的系统的设置，引导用户完成安装系统的过程以给出一致和准确的结果，因此能够避免假阴性。本公开利用逐步引导来降低使用门槛，使任何人员、公司、组织、商店或设施能够利用热成像来检测皮肤温度。一个优势在于简单性，将已经存在的硬件和技术与精巧的图形用户界面结合，该图形用户界面以无需特定知识或上下文即可使用和部署的方式进行编排。

在适用的情况下，本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。此外，在适用的情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件部件和/或软件部件组合成包括软件、硬件和/或两者的复合部件。在适用的情况下，在不脱离本公开的精神的情况下，可以将本文中阐述的各种硬件部件和/或软件部件分成包括软件、硬件或两者的子部件。

根据本公开的软件，例如非暂时性指令、程序代码和/或数据，可以存储在一个或多个非暂时性机器可读介质上。还设想可以使用联网和/或不联网的一个或多个通用或专用计算机和/或计算机系统来实现本文识别的软件。在适用的情况下，可以改变本文描述的各种步骤的顺序、将各种步骤组合成复合步骤和/或分成子步骤以提供本文描述的特征。

上述实施例示出但不限制本发明。还应当理解，根据本发明的原理可以进行多种修改和变化。因此，本发明的范围仅由所附权利要求限定。

Claims (20)

1.一种方法，所述方法包括：

使用红外相机扫描感兴趣区域，以产生捕获的图像；

检测所述感兴趣区域中的人员；

指示所述人员移动到扫描位置；

如果满足扫描标准，则发起对人员的温度扫描；

确定所述人员的温度并与至少一个温度阈值进行比较；和

执行与所确定的温度关联的任务。

2.根据权利要求1所述的方法，其中，扫描感兴趣区域还包括使用可见光图像相机扫描所述感兴趣区域。

3.根据权利要求2所述的方法，还包括提供包括红外相机和可见光图像相机的双图像相机，其中，所述双图像相机包括分束器，所述分束器被布置成将可见光朝向所述可见光图像相机反射并使红外图像传过到达所述红外相机。

4.根据权利要求1所述的方法，其中，在感兴趣的扫描区域中检测人员包括在捕获的红外图像中检测面部。

5.根据权利要求1所述的方法，其中，指示所述人员移动到扫描位置包括在显示屏上显示剪影；以及指示所述人员定位在显示的剪影内。

6.根据权利要求1所述的方法，其中，指示所述人员移动到扫描位置包括确定所述人员在所述捕获的图像中的位置并指引所述人员移动到适当位置。

7.根据权利要求1所述的方法，其中，指示所述人员移动到扫描位置包括显示指引所述人员移动到适当位置的静态和/或动画图形。

8.根据权利要求1所述的方法，还包括检测所述捕获的图像中的遮挡服饰、对所述遮挡服饰进行分类并至少部分地基于所述分类来指示用户移除所述遮挡服饰。

9.根据权利要求8所述的方法，还包括通过所述捕获的红外图像跟踪所述人员，以确认所述遮挡服饰的移除。

10.根据权利要求8所述的方法，其中，所述遮挡服饰包括头罩、眼镜和/或面罩。

11.根据权利要求1所述的方法，其中，所述扫描标准包括所述人员定位于显示的剪影内并且没有检测到遮挡服饰。

12.根据权利要求1所述的方法，其中，当所述人员的所确定的温度大于所述至少一个温度阈值时，所述人员被确定为发烧。

13.根据权利要求1所述的方法，还包括初始化包括所述红外相机的温度测量系统，包括引导用户将所述红外相机布置成距离所述人员最佳距离和/或限定所述红外相机的视场中的感兴趣区域。

14.根据权利要求1所述的方法，还包括在向操作员显示时模糊所述人员的所述捕获的图像，包括模糊在所述捕获的图像中显示的面部和/或显示所述人员的化身表示。

15.一种系统，所述系统包括：

红外相机，所述红外相机被配置为捕获场景的红外图像；

显示器，所述显示器被配置为显示捕获的红外图像的一部分和至少一个图形标记，以引导被扫描的人员；和

逻辑器件，所述逻辑器件被配置为：

使用红外相机扫描感兴趣区域；

检测所述感兴趣区域中的人员；

指示所述人员移动到扫描位置；

如果满足扫描标准，则发起对人员的温度扫描；

确定所述人员的温度并与至少一个温度阈值进行比较；和

执行与所确定的温度关联的任务。

16.根据权利要求15所述的系统，还包括双图像相机，所述双图像相机包括所述红外相机和可见光图像相机，其中，所述双图像相机包括分束器，所述分束器被布置成将可见光朝向所述可见光图像相机反射并使红外图像传过到达所述红外相机。

17.根据权利要求15所述的系统，其中，在所述感兴趣区域中检测人员包括在捕获的红外图像中检测面部。

18.根据权利要求15所述的系统，其中，所述逻辑器件还被配置为通过在显示屏上显示剪影并指示所述人员定位在显示的剪影内来指示所述人员移动到扫描位置。

19.根据权利要求15所述的系统，其中，所述逻辑器件还被配置为通过显示指引所述人员移动到适当位置的静态和/或动画图形来指示所述人员移动到扫描位置。

20.根据权利要求15所述的系统，其中，所述逻辑器件还被配置为在捕获的红外图像中检测遮挡服饰、对所述遮挡服饰进行分类并至少部分地基于所述分类来指示所述人员移除所述遮挡服饰。

Images