CN113673548A - 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法 - Google Patents

一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法 Download PDF

Info

Publication number
CN113673548A
CN113673548A CN202010413169.5A CN202010413169A CN113673548A CN 113673548 A CN113673548 A CN 113673548A CN 202010413169 A CN202010413169 A CN 202010413169A CN 113673548 A CN113673548 A CN 113673548A
Authority
CN
China
Prior art keywords
image
visible light
terahertz
depth
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010413169.5A
Other languages
English (en)
Inventor
陈志强
赵自然
李元景
顾建平
张经纬
耿星杰
刘阔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN202010413169.5A priority Critical patent/CN113673548A/zh
Publication of CN113673548A publication Critical patent/CN113673548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请提供了一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法，用于提升安检过程的准确率，优化安检图像(太赫兹图像)的质量。该安检系统包括：多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。

Description

一种融合了可见光图像、深度图像和太赫兹图像的安检系统 和方法
技术领域
本发明涉及安检技术领域，并且更具体地涉及一种融合了多种传感器信息的系统和方法，该系统和方法能够提升安检方案的准确率并且改进显示效果。
背景技术
太赫兹成像技术能够用于实现对旅客的非配合、快速、无感安检，已经在海关、民航机场等场景下得到了广泛的应用。但是这项技术目前还存在以下一些缺陷：
1、目前对太赫兹图像中的嫌疑物进行检测和识别的主流方法是深度学习模型，但是深度学习模型的效果非常依赖于训练使用的图像数据。此外，在实际设备上使用的模型都是预先训练好的。但是实际上，设备的使用场景是非常复杂多样的，尤其是训练模型时使用的图像的背景可能会和实际使用设备时采集的图像的背景有非常大的差异。这会导致预先训练好的嫌疑物检测模型在实际使用时识别准确率可能下降很多，即模型的泛化能力不高。
2、通常用于获取太赫兹图像的太赫兹相机都有一定的焦距范围。当人员处于焦距范围内时，获取的太赫兹图像的图像质量好，并且基于该太赫兹图像进行的目标识别的准确率较高。但是，当人员位于焦距范围之外时，获取的太赫兹图像的图像质量会变差，基于该太赫兹图像进行的目标识别的准确率也可能下降。在利用太赫兹相机进行大场景安检时，该太赫兹相机的视场内通常会同时存在成像焦距范围以内和以外的人员。当直接基于这样的大场景的太赫兹图像进行目标识别时，由于存在焦距以外的人员，目标识别的准确率可能下降。
3、由于太赫兹图像是灰度图像，且缺乏细节，基于这种图像很难准确地进行人体部位划分。因此对于检测到的目标，不能准确地提供与该目标藏匿于人体的哪一具体部位有关的信息。
以上这些问题都对太赫兹安检技术的推广带来了挑战。而单独依赖于太赫兹图像的解决方案并未提供很好的效果。因此，本公开采用了将多种不同的传感器信息相融合的方式，利用不同信息间的互补特性来有效地解决单纯的太赫兹安检技术的上述缺陷。
发明内容
为了解决太赫兹安检技术的上述缺陷，本公开提供了一种将多种传感器的信息相融合的安检系统和方法。该系统和方法能够利用不同信息之间的互补特征来提高目标识别的准确率。
在第一方面，本公开提供一种安检系统，包括：
多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；
图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；
图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；
图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及
识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。
在一个实施例中，所述多个传感器模块可以被配置为在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。
在一个实施例中，所述多个传感器模块可以被配置为以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流。并且，所述同步模块可以被配置为：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流，确定相应视频流中的采集时间与所述一个图像的采集时间最接近的图像。
在一个实施例中，所述多个传感器模块可以被配置为以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流。并且，所述同步模块可以被配置为：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流：确定相应视频流中采集时间与所述一个图像的采集时间最接近的图像；获取以所确定的图像为中心的前N个图像和后N个图像；以及选择所述前N个图像、所确定的图像以及所述后N个图像中与所述一个图像的相似度最高的图像。
在一个实施例中，所述图像融合模块可以被配置为：对所述配准后的可见光图像进行分割，以得到所述配准后的可见光图像中的目标对象的Mask；以及利用所述目标对象的Mask来过滤所述配准后的太赫兹图像中的背景。
在一个实施例中，所述图像融合模块可以被配置为：提取所述配准后的深度图像中的位于所述太赫兹图像的焦距范围以外的目标对象的Mask，利用所述目标对象的Mask来去除所述配准后的可见光图像中的对应目标对象，以及对去除所述对应目标对象后的可见光图像进行分割，以得到所述可见光图像中的其余目标对象的Mask；以及利用所述其余目标对象的Mask来过滤所述配准后的太赫兹图像。
在一个实施例中，所述识别模块还被配置为基于所述配准后的太赫兹图像来识别所述目标对象携带的目标物品；并且所述图像融合模块还可以被配置为：对所述配准后的可见光图像中的目标对象进行部位解析；以及将包含所述目标物品的所述太赫兹图像映射到经过了所述目标对象的部位解析后的可见光图像中。
在第二方面，本公开提供了一种安检方法，包括：
采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；
采集的可见光图像、深度图像和太赫兹图像进行同步；
对同步后的可见光图像、深度图像和太赫兹图像进行配准；
对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及
基于融合后的图像来识别所述目标对象携带的目标物品。
在一个实施例中，所述采集的步骤可以包括：在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。
在一个实施例中，所述采集的步骤可以包括：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流。并且，所述同步的步骤可以包括：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流，确定相应视频流中的采集时间与所述一个图像的采集时间最接近的图像。
在一个实施例中，所述采集的步骤可以包括：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流。并且，所述同步的步骤可以包括：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流：确定相应视频流中采集时间与所述一个图像的采集时间最接近的图像；获取以所确定的图像为中心的前N个图像和后N个图像；以及选择所述前N个图像、所确定的图像以及所述后N个图像中与所述一个图像的相似度最高的图像。
在一个实施例中，所述融合的步骤可以包括：对所述配准后的可见光图像进行分割，以得到所述配准后的可见光图像中的目标对象的Mask；以及利用所述目标对象的Mask来过滤所述配准后的太赫兹图像中的背景。
在一个实施例中，所述融合的步骤可以包括：提取所述配准后的深度图像中的位于所述太赫兹图像的焦距范围以外的目标对象的Mask，利用所述目标对象的Mask来去除所述配准后的可见光图像中的对应目标对象，以及对去除所述对应目标对象后的可见光图像进行分割，以得到所述可见光图像中的其余目标对象的Mask；以及利用所述其余目标对象的Mask来过滤所述配准后的太赫兹图像。
在一个实施例中，所述识别的步骤可以包括：基于所述配准后的太赫兹图像来识别所述目标对象携带的目标物品。并且，所述融合的步骤可以包括：对所述配准后的可见光图像中的目标对象进行部位解析；以及将包含所述目标物品的所述太赫兹图像映射到经过了所述目标对象的部位解析后的可见光图像中。
在第三方面，本公开提供了一种存储指令的计算机可读存储介质，所述指令当由安检系统的处理器执行时，使所述处理器可以执行根据第二方面所述的方法。
附图说明
图1示出了根据本公开实施例的安检系统的框图；
图2示出了根据本公开实施例的安检方法的流程图；
图3示出了多个传感器模块的示例布局图；
图4示出了根据本公开实施例的图像同步过程的示例流程；
图5示出了根据本公开实施例的图像融合过程的一个示例；
图6示出了根据本公开实施例的图像融合过程的另一示例；以及
图7示出了根据本公开实施例的图像融合过程的又一示例。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本公开至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
图1示出了根据本公开实施例的安检系统的框图100。如图1所示，安检系统100可以包括多个传感器1011-101n、图像同步模块102、图像配准模块103、图像融合模块104以及识别模块105。多个传感器1011-101n可以被配置为采集包括一个或多个目标对象在内的场景的可见光、深度和太赫兹图像或视频流。因此，在一些实施例中，多个传感器1011-101n至少可以包括可见光相机、深度相机和太赫兹相机。在本文中，目标对象可以指代人体等，但是本公开不限于此。
多个传感器1011-101n采集到的可见光、深度和太赫兹图像或视频流被传输给图像同步模块102，以进行图像同步。在一些实施例中，如果可以控制多个传感器1011-101n在同一时刻采集图像，那么采集到的可见光、深度和太赫兹图像或视频流就是同步的。在这种情况下，同步模块102可以不对采集到的可见光、深度和太赫兹图像或视频流进行额外的处理，而是直接将其提供给图像配准模块103。然而，在一些实施例中，多个传感器1011-101n的帧率可能不同或者不能控制多个传感器1011-101n在同一时刻进行成像采集。在这种情况下，图像同步模块103需要对采集到的可见光、深度和太赫兹图像或视频流进行处理，以使其同步或近似同步。具体地，图像同步模块103需要以帧率最低的视频为基础从另外的视频流中匹配与之图像最为吻合的帧，即找到实际成像时刻最接近的多个传感器1011-101n的视频帧。该过程即为图像同步。只有同步后的图像配准变换才是有意义的。
在实际使用中，可见光和深度图像一般都是由相应的相机自身同步地获取，因此这两个视频一般不需要额外的同步操作。当可见光相机由一个控制单元(也可以是一台处理器)进行控制采集，而太赫兹相机由另外一个控制单元(也可以是一台处理器)进行控制采集时，这两个视频流之间是相互独立的，而且可见光相机的帧率一般设置得比太赫兹相机的帧率高。针对这种情形，需要对太赫兹图像和可见光图像进行同步处理。
本公开中，针对上述无法控制多个传感器1011-101n(例如，可见光相机、深度相机和太赫兹相机)在相同帧率下进行同步采集的情况，提出了一种在后处理中进行同步的方法。在一些实施例中，该后处理可以在图像同步模块102中执行。以两种不同类型的图像(例如，太赫兹图像和可见光图像)的同步为例，在图像同步模块102中设置分别控制采集这两种图像的两个相机的控制单元A和B，并且将控制单元A和B中的一个设置为主控制单元，另外一个设置为副控制单元。主控制单元通过网络或其他的方式访问副控制单元，并获取副控制单元上采集的视频流。主控制单元记录并维护从副控制单元上获取每一帧图像时的主控制单元的系统时间(时间序列为A1，A2，…An，其中n表示获取到的第n帧图像编号)，并将该系统时间与图像进行一一绑定，同时主控制单元还记录并维护自身控制的相机获取每一帧图像时的主控制单元的系统时间(时间序列为B1，B2，…Bm，其中m表示获取到的第m帧图像编号)，并将该时间与获取的图像一一绑定。由于存在传输延迟，因此主控制单元从副控制单元上获取每帧图像时的系统时间实际晚于副控制单元上相机的实际拍摄时间。可以将该传输延迟表示为ΔT，其值可以通过实验尝试来确定。因此，Arj＝Aj-ΔT可以表示实际拍摄第j张图片时的时间。为了描述方便，假设控制单元A控制的相机帧率较低，则对于第j个图像，可以在时间序列B1，…，Bm寻找一个与其采集时间Arj相距最近的时间采集的图像来作为与其同步的图像。备选地，在一些实施例中，对于第j个图像，可以在时间序列B1，…，Bm寻找一个与其采集时间Arj相距最近的时间所采集的图像来作为基准匹配图像。以该基准匹配图像所在位置为中心点前后各匹配N帧，选择这2N+1帧图像中与图像Arj相似度最高的一帧作为最优同步帧。对每一帧图像Arm重复该操作，最终可以实现两个视频流之间的同步。
同步后的图像可以被提供给图像配准模块103。由于多个传感器1011-101n具有不同的类型，因此，图像配准的意义在于使得配准后的多个不同图像中相同坐标的像素点指向的是目标对象(例如，人体)的同一成像区域。关于可见光和深度图像的配准有很多成熟的技术，而且市面上提供的很多带有深度信息的可见光相机自身已经做过像素级别的配准，因此这里不做赘述。尽管太赫兹图像和平时看到的一般图像不太相同，但是太赫兹相机在成像光路上与普通相机类似。因此关于太赫兹相机图像与可见光图像的配准也可以按照一般相机的配准方式进行，例如双目标定法等。因此，关于太赫兹图像与可见光图像的配准技术细节本文不做赘述。
经图像配准模块103配准之后，可见光图像、深度图像和太赫兹图像之间就是像素对齐的。可以将像素对齐后的可见光图像、深度图像和太赫兹图像提供给图像融合模块104，以进行图像融合。图像融合解决的第一个问题是，因为目标检测模型训练中使用的太赫兹图像的背景与设备实际使用时获取的太赫兹图像的背景可能会存在较大差异，导致预先训练的目标检测模型性能降低。利用深度学习的图像分割算法，可以很好的从可见光中分割出人像Mask，而且可见光图像已经和太赫兹图像实现了像素对齐，因此利用可见光中分割出的人体图像Mask作为模板对太赫兹图像进行映射可以实现对太赫兹图像中人体以外的背景区域进行滤除。通过这种手段就可以保证在预先训练太赫兹图像目标检测模型时使用的图像的背景和模型实际使用时检测的图像的背景保持一致，提升目标检测模型的场景适应能力。由于深度图像中表示的是空间中各个点到相机的距离，人体区域距离相机的距离值比较集中，通过聚类算法可以同样实现人体区域分割，因此将上述可见光替换为聚类后的深度图像也可以同样实现太赫兹图像的背景过滤。但是，深度图像对人体衣服的颜色比较敏感，例如黑色衣服区域可能由于吸光能力太强被当作背景导致聚类出的人体区域缺失较大，使得映射后的太赫兹图像也有明显缺失。因此是采用深度图像或者是可见光图像对太赫兹图像背景过滤可以根据实际情况具体确定。
图像融合解决的第二个问题是，一张太赫兹图像中的人有的可能处于成像焦距范围内，有的处于成像焦距范围外。尽管利用可见光分割的人像Mask可以很好的过滤太赫兹图像的背景，但是处于成像焦距外的人体成的像会很模糊，在这种情况下进行目标检测也会增加图像的误报率。由于深度图像获取的是目标到相机的距离，且深度相机的工作距离可以覆盖太赫兹设备的成像焦距范围，因此利用深度图像中目标的距离信息可以对太赫兹图像中位于成像焦距以外的人像进行过滤。当人体距离深度相机较远时，此时深度相机对人体边缘部位成像能力较弱，对深度图像中的数据进行聚类分割得到的人体Mask相比于从可见光中分割得到的人体Mask，边缘部分会缺失。因此如果直接用深度图像获得的人体Mask对可见光分割得到的Mask图像做后处理来过滤焦距范围以外的人体会导致需要被过滤的Mask的边缘部分过滤不完整，最后影响太赫兹图的显示效果。利用深度学习算法对可见光进行人像分割时，如果原始图像中人像部分缺失严重，那么残余的人像部分会被当作背景处理。利用这一特性，本公开提出了一种图像融合方法，其可以实现既完整过滤了焦距范围以外的人像，又完整保留了焦距范围内的人像区域。在图像融合方法可以经由图像融合模块104来实现。具体做法是，先利用深度图像分割并保留位于焦距范围以外的部分人像Mask；利用焦距范围以外的Mask抠除可见光图像中对应的人像区域；利用深度学习的图像分割算法将作了部分抠除的可见光图像用于人体Mask分割，这样与被抠除部分区域相连的人体像素会被当作背景处理，其他未作处理的人像会被正常提取为人体Mask。
图像融合要解决的第三个问题是，太赫兹图像中报警目标的位置信息不够准确。由于太赫兹图像为灰度图，且细节信息较少，直接利用人体部位解析算法对太赫兹图像中的人体部位进行解析效果较差。因为已经实现了可见光和太赫兹图像的配准，因此可以利用人体部位解析算法对可见光中的人像进行部位解析，然后将太赫兹图像中目标物品的像素位置映射到可见光图像中，最后得到目标物品位于人体具体部位的报警信息。通过确定被检测到的目标物品位于人体的位置信息可以进一步降低目标物品检测的误报率，也能提供更加丰富的安检信息。
在一些实施例中，可以基于图像融合模块104融合的图像，经由识别模块(例如，神经网络模型)来识别目标对象(例如，人体)所携带的目标物品(例如，违禁品)。
图2示出了根据本公开实施例的安检方法200的流程图。
为了便于说明和描述该安检方法200，这里采用Rgb-A表示可见光相机或其图像，用Depth-B表示深度相机或其图像，Tera-C表示太赫兹相机或其图像。针对该安检方法，图3示出了几个传感器(例如相机)的示例布局图，但是本发明的适用性并不限制于某一种特定的布局方案。
方法200包括，在步骤201处，例如通过可见光相机(例如，Rgb-A相机)、深度相机(例如，Depth-B相机)和太赫兹相机(例如，Tera-C相机)，分别采集可见光图像/视频流、深度图像/视频流和太赫兹图像/视频流。
接下来，在步骤202处，对采集到的Rgb-A图像、Depth-B图像和Tera-C图像进行同步。当三个相机可以由同一台处理器控制在同一时刻采集图像时，得到的图像/视频流直接是同步的，这种情况不在此做具体讨论。在某些情况下，太赫兹相机会由一个控制单元独立控制采集，同时可见光和深度图像会由另外一个控制单元控制采集，本申请主要对该情形下的视频同步方法进行叙述。假设控制Rgb-A和Depth-B的控制单元为Processor-A，控制Tera-C的控制单元为Processor-B，Processor-A和Processor-B之间进行互相通信，且Processor-A作为主控制单元，Processor-B作为副控制单元。主控制单元通过网络或其他方式访问副控制单元，获取副控制单元上采集的太赫兹图像。假定主控制单元每采集到一张可见光和深度图像的同时获取当前主控制单元的系统时间(t11，t12，…，t1j)，其中j表示获取的第j张图像，由于可见光图像和深度图像在硬件上是同步的，所以只需要一个时间序列即可。系统时间可以精确到毫秒。同样，主控制单元通过访问副控制单元来记录Tera-C每成功获取一张太赫兹图像时的当前主控制单元的系统时间(t21，t22，…，t2i)，其中i表示获取的图像序号。假定太赫兹相机比可见光相机帧率低，且太赫兹相机和可见光相机图像的采集控制程序是相互独立的。由于主控制单元和副控制单元之间的通信存在传输延迟，所以实际上系统时间t2i与第i张图片的真实拍摄时间存在ΔT的时间延迟。由于传输过程和拍摄过程不是完全稳定不变的，所以ΔT是不确定的值，可以通过观察实验来确定其值，且该值不需要太精确。可以将所记录的获取太赫兹时的系统时间减去ΔT后得到的时间近似作为太赫兹图像的拍摄时间。
在主控制单元上维护三个队列，分别用来对应保存可见光，深度图像和对应的时间序列(t11，t12，…，t1j，…)。针对获取的第i个太赫兹图像，首先利用t2i-ΔT来计算该太赫兹图像的实际采集时间，然后在可见光的时间序列中寻找与该实际采集时间最为接近的时间t1m。可以将在该t1m处获取的可见光/深度图像作为与太赫兹图像同步的图像。备选地，可以以t1m为中心点，在其前后各选择N帧，其中，N可以设置为可见光图像的帧率与太赫兹图像帧率的比值。对选取的2N+1张可见光/深度图像进行聚类，并二值化，即属于人体部分的像素取1，人体以外区域的像素取0。分别求当前太赫兹图像与二值化后的2N+1个可见光/深度图像之间的相似度。关于相似度的度量可以使用灰度图像间计算相关性的一些常规方法，例如图像互信息方法(MI)。选取与当前太赫兹图像互信息最高的一个可见光/深度图像作为同步图像输出。清除上述维护的三个队列中最优匹配项之前的内容，然后对获取的下一帧太赫兹图像t2i+1-ΔT进行同样的同步操作，图4示出了视频同步过程的流程图。
接下来，在步骤203处，对同步后的图像进行配准。本文假定Rgb-A和Depth-B这两个相机已经由硬件提供商进行了图像配准操作，并且采集图像时这两个相机在硬件上就是同步的，因此只需要执行Rgb-A和Tera-C之间的图像配准操作。Tera-C和Rgb-A的图像配准可以按照常规相机的配准方法来完成，例如Surf配准方法。具体操作是人站在Tera-C的焦距范围内M个不同的距离位置上进行静止图像采集，并保证Rgb-A采集到相同的图像。手动提取太赫兹图像中的人体和可见光图像中的人体轮廓，利用surf方法完成两个轮廓图像之间配准变换参数的求解。
然后，在步骤204处，对配准后的图像进行图像融合。图像融合可以解决三个小问题，第一个问题是利用可见光图像分割出人体Mask来过滤太赫兹图像中的背景区域，以保证训练太赫兹图像目标识别模型时使用的训练样本的背景分布与目标识别模型在实际使用时检测的图像背景分布一致，从而提升目标识别模型的环境适应性。图5为根据本公开实施例的图像融合过程的一个示例，其中(a)为配准后的太赫兹图像，(b)为配准后的可见光图像原图，(c)为对配准后的可见光图像进行分割而得到的人体Mask，(d)为利用(c)中的人体Mask过滤了太赫兹图像的背景后的图像。
图像融合解决的第二个问题是，完整过滤太赫兹图像中焦距范围以外的人体图像，同时保留焦距范围以内的人体图像的完整性。为了保证分割出来的人体Mask的完整性，可见光图像分割比深度图像聚类更有优势，但是可见光图像中没有深度信息无法进行距离过滤。为了进行距离过滤，必须使用深度图像，但单独利用深度图像又无法保证分割出来的人体Mask的完整性。本文提出了结合可见光图像和深度图像来实现既保证分割出来的人体Mask的完整性，又能完整过滤焦距范围以外的人体Mask。具体做法是：先提取距离范围以外的深度图像中的人体Mask，然后利用该Mask去除对应可见光图像中的对应人体部分，最后利用可见光图像分割算法对去除了对应人体部分的可见光图像进行人体图像分割。图6示出了根据本公开实施例的图像融合过程的另一示例，其中，(a)为配准后的太赫兹图像，(b)为配准后的深度图像中对应的人体Mask，其中红色表示在焦距范围以外的人体像素点，(c)为利用深度图像中的焦距范围以外的人体Mask去除了可见光图像中的对应人体部分的图像，(d)为对去除了对应人体部分的可见光图像进行了人体图像Mask分割，并将其映射到太赫兹图像上的结果。
图像融合解决的第三个问题是，为太赫兹图像中的目标提供藏匿部位的报警信息。具体做法是，对配准后的太赫兹图像和可见光图像分别进行目标识别和人体部位解析，然后将太赫兹图像中的目标位置映射到经过了人体解析后的图像中，这样就可以获得太赫兹图像中的目标物品位于人体的藏匿位置的信息。图7示出了根据本公开实施例的图像融合过程的又一示例，其中，(a)为配准后的太赫兹图像及目标物品的检测结果，(b)为对配准后的可见光图像中的人体图像进行人体图像解析并将(a)中的包含目标物品的太赫兹图像映射到经人体图像解析后的可见光图像中的结果。
最后，方法200还可以包括在步骤205处，基于融合后的图像来识别目标对象携带的目标物品。
有益效果
从具体实施例中可以看出，使用本公开提供的安检方案具有以下好处：1、利用该方案可以保持太赫兹图像背景干净，从而保证在训练和实际检测阶段，在太赫兹图像目标检测模型中使用的图像背景的分布是一致的，提升了目标检测模型的泛化能力；2、该方案能够有效缓解因为人体处于成像焦距以外带来的图像显示质量下降，有助于提升目标物品检测的准确率；3、该方案能够提供与目标物品在人体上的具体位置有关的信息。
以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已经参照几个典型实施例描述了本公开，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本公开能够以多种形式具体实施而不脱离公开的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (15)

1.一种融合了可见光图像、深度图像和太赫兹图像的安检系统，包括：
多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；
图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；
图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；
图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及
识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。
2.根据权利要求1所述的安检系统，其中，所述多个传感器模块被配置为：在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。
3.根据权利要求1所述的安检系统，其中，所述多个传感器模块被配置为：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且
其中，所述同步模块被配置为：
选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及
针对另外两种视频流中的每一种视频流，选择相应视频流中的采集时间与所述一个图像的采集时间最接近的图像。
4.根据权利要求1所述的安检系统，其中，所述多个传感器模块被配置为：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且
其中，所述同步模块被配置为：
选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及
针对另外两种视频流中的每一种视频流：
确定相应视频流中采集时间与所述一个图像的采集时间最接近的图像；
获取以所确定的图像为中心的前N个图像和后N个图像；以及
选择所述前N个图像、所确定的图像以及所述后N个图像中与所述一个图像的相似度最高的图像。
5.根据权利要求1-4中任一项所述的安检系统，其中，所述图像融合模块被配置为：
对所述配准后的可见光图像进行分割，以得到所述配准后的可见光图像中的目标对象的Mask；以及
利用所述目标对象的Mask来过滤所述配准后的太赫兹图像中的背景。
6.根据权利要求1-4中任一项所述的安检系统，其中，所述图像融合模块被配置为：
提取所述配准后的深度图像中的位于所述太赫兹图像的焦距范围以外的目标对象的Mask，
利用所述目标对象的Mask来去除所述配准后的可见光图像中的对应目标对象，以及
对去除所述对应目标对象后的可见光图像进行分割，以得到所述可见光图像中的其余目标对象的Mask；以及
利用所述其余目标对象的Mask来过滤所述配准后的太赫兹图像。
7.根据权利要求1-4中任一项所述的安检系统，其中，所述识别模块还被配置为：基于所述配准后的太赫兹图像来识别所述目标对象携带的目标物品；并且
其中，所述图像融合模块还被配置为：
对所述配准后的可见光图像中的目标对象进行部位解析；以及
将包含所述目标物品的所述太赫兹图像映射到经过了所述目标对象的部位解析后的可见光图像中。
8.一种融合了可见光图像、深度图像和太赫兹图像的安检方法，包括：
采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；
采集的可见光图像、深度图像和太赫兹图像进行同步；
对同步后的可见光图像、深度图像和太赫兹图像进行配准；
对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及
基于融合后的图像来识别所述目标对象携带的目标物品。
9.根据权利要求8所述的安检方法，其中，所述采集的步骤包括：
在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。
10.根据权利要求8所述的安检方法，其中，所述采集的步骤包括：
以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且
其中，所述同步的步骤包括：
选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及
针对另外两种视频流中的每一种视频流，选择相应视频流中的采集时间与所述一个图像的采集时间最接近的图像。
11.根据权利要求8所述的安检方法，其中，所述采集的步骤包括：
以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且
其中，所述同步的步骤包括：
选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及
针对另外两种视频流中的每一种视频流：
确定相应视频流中采集时间与所述一个图像的采集时间最接近的图像；
获取以所确定的图像为中心的前N个图像和后N个图像；以及
选择所述前N个图像、所确定的图像以及所述后N个图像中与所述一个图像的相似度最高的图像。
12.根据权利要求8-11中任一项所述的安检方法，其中，所述融合的步骤包括：
对所述配准后的可见光图像进行分割，以得到所述配准后的可见光图像中的目标对象的Mask；以及
利用所述目标对象的Mask来过滤所述配准后的太赫兹图像中的背景。
13.根据权利要求8-11中任一项所述的安检方法，其中，所述融合的步骤包括：
提取所述配准后的深度图像中的位于所述太赫兹图像的焦距范围以外的目标对象的Mask，
利用所述目标对象的Mask来去除所述配准后的可见光图像中的对应目标对象，以及
对去除所述对应目标对象后的可见光图像进行分割，以得到所述可见光图像中的其余目标对象的Mask；以及
利用所述其余目标对象的Mask来过滤所述配准后的太赫兹图像。
14.根据权利要求8-11中任一项所述的安检方法，其中，所述识别的步骤包括：
基于所述配准后的太赫兹图像来识别所述目标对象携带的目标物品；并且
其中，所述融合的步骤包括：
对所述配准后的可见光图像中的目标对象进行部位解析；以及
将包含所述目标物品的所述太赫兹图像映射到经过了所述目标对象的部位解析后的可见光图像中。
15.一种存储指令的计算机可读存储介质，所述指令当由安检系统的处理器执行时，使所述处理器执行根据权利要求8-14中的任一项所述的方法。
CN202010413169.5A 2020-05-15 2020-05-15 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法 Pending CN113673548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413169.5A CN113673548A (zh) 2020-05-15 2020-05-15 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413169.5A CN113673548A (zh) 2020-05-15 2020-05-15 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法

Publications (1)

Publication Number Publication Date
CN113673548A true CN113673548A (zh) 2021-11-19

Family

ID=78537741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413169.5A Pending CN113673548A (zh) 2020-05-15 2020-05-15 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法

Country Status (1)

Country Link
CN (1) CN113673548A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930375A (zh) * 2024-03-22 2024-04-26 国擎(山东)信息科技有限公司 多维度检测技术融合的通道式太赫兹人体安检系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930375A (zh) * 2024-03-22 2024-04-26 国擎(山东)信息科技有限公司 多维度检测技术融合的通道式太赫兹人体安检系统
CN117930375B (zh) * 2024-03-22 2024-06-25 国擎(山东)信息科技有限公司 多维度检测技术融合的通道式太赫兹人体安检系统

Similar Documents

Publication Publication Date Title
CN105930822A (zh) 一种人脸抓拍方法及系统
GB2569751A (en) Static infrared thermal image processing-based underground pipe leakage detection method
CN111797653A (zh) 基于高维图像的图像标注方法和装置
CN107305635A (zh) 对象识别方法、对象识别装置和分类器训练方法
CN107133969A (zh) 一种基于背景反投影的移动平台运动目标检测方法
WO2012157835A1 (ko) 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법
CN111462128A (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN106709903B (zh) 基于图像质量的pm2.5浓度预测方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN108629792A (zh) 基于背景建模与背景差分的激光目标检测方法和装置
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN109544535B (zh) 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统
CN114170565A (zh) 一种基于无人机航拍的图像对比方法、装置及终端设备
CN109274945A (zh) 一种自适应进行图像真彩色还原的方法及系统
CN115375991A (zh) 一种强/弱光照和雾环境自适应目标检测方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN113673548A (zh) 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法
KR101064946B1 (ko) 다중 영상 분석 기반의 객체추출 장치 및 그 방법
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN108563997A (zh) 一种建立人脸检测模型、人脸识别的方法和装置
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
CN106919889B (zh) 对视频图像中的人头进行检测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination