CN117099137A - 用于检验行李件以识别物体的方法 - Google Patents

Abstract

本发明涉及一种用于检验行李件(G)以识别物体(O)的方法，该方法具有以下步骤：‑产生三维检验体积(UV)，‑沿着第一投影方向(PR1)从三维检验体积(UV)中产生二维第一检验图像(UB1)，‑沿着第二投影方向(PR2)从所述三维检验体积(UV)中产生至少一个二维第二检验图像(UB2)，该第二投影方向与第一投影方向(PR1)不同，‑借助神经网络(NN)分析处理所述第一检验图像(UB1)以识别物体(O)，‑借助神经网络(NN)分析处理所述至少一个第二检验图像(UB)以识别物体(O)，‑输出分析处理步骤的结果。

Description

用于检验行李件以识别物体的方法

本发明涉及一种用于检验行李件以识别物体的方法、一种用于执行这种方法的检查装置以及一种用于实现根据本发明的方法的步骤的计算机程序产品。

已知的是，在安全敏感的区域中对行李件进行检验以发现被禁止的物体。在此，尤其涉及的是，将包含在行李件中的警报物体以尽可能高的安全性和尽可能低的错误率甄别为危险物体。已知的解决方案在这种情况下例如应用于利用检查装置、例如利用电磁辐射来透视行李件。在此已经公知的是，产生行李件的二维图像，它们是电磁辐射的结果。从行李件的吸收率可以推断出所包含的物体的类型、形状和/或材料。这种分析处理尤其也可以自动执行，从而可以投入使用作为人工智能的神经网络。

在已知的解决方案中不利的是，这些解决方案简化至呈监测图像的形式的二维再现。尤其是，迄今为止不可能将神经网络应用于三维检验体积。这一方面是由于，对于在三维检验体积的情况下使用神经网络，需要非常高的计算开销，并且与之相应地需要高费用支出和时间支出。此外，迄今为止还不可能提供足够大数量的三维训练数据，以便能够利用相应训练的神经网络对三维检验体积进行三维分析处理。

本发明的任务是，至少部分地消除上述缺点。本发明的任务尤其是，以成本有利和简单的方式改善和/或简化在检验行李件时物体的识别。

上述任务通过具有权利要求1的特征的方法、具有权利要求14的特征的检查装置和具有权利要求17的特征的计算机程序来解决。本发明的其它特征和细节由从属权利要求、说明书和附图得出。在此，结合根据本发明的方法描述的特征和细节当然也适用于结合根据本发明的检查装置以及根据本发明的计算机程序产品，并且分别反之亦然，从而关于针对各个发明方面的公开内容始终相互参考或者可以相互参考。

根据本发明，使用了一种用于检验行李件以识别物体的方法。这种方法具有以下步骤：

-产生三维检验体积，

-沿着第一投影方向从三维检验体积中产生二维第一检验图像，

-沿着第二投影方向从三维检验体积中产生至少一个二维第二检验图像，第二投影方向与第一投影方向不同，

-借助神经网络分析处理第一检验图像以识别物体，

-借助神经网络分析处理至少一个第二检验图像以识别物体，

-输出分析处理步骤的结果。

根据本发明的方法基于，产生三维检验体积。这样的三维检验体积在此可以是相应的检测模块的结果。在此，以何种方式产生三维检验体积对于本发明的基本核心思想是不重要的。例如可以提供检验体积的逐片组合。也可以考虑，由各个检验照片、尤其是二维检验照片组合出三维检验体积。此外还要指出，三维检验体积既可以通过使用算法由二维检验照片来生成，也可以直接通过三维检测来产生。不言而喻，在本发明的范围内也可以考虑算法构造与三维产生的组合。

本发明的核心思想在于，三维检验体积不直接作为进一步研究的基础。相反，对三维检验体积进行至少两个另外的处理步骤，以便从三维体积中分别产生二维检验图像。在此沿着投影方向执行相应的检验图像的产生。

如果例如将三维检验体积规定为立方体形体积，则例如可以与该立方体的侧面成90°角地定向第一投影方向。沿着该投影方向，现在将来自三维检验体积的参数和信息投影到二维第一检验图像上。换言之，从三维检验体积中通过减少各个体素的数据以有针对性的方式沿着投影方向产生具有相应的各个像素的二维检验图像。这至少执行两次，即，一次沿着第一投影方向用于产生第一检验图像，并且至少另一次沿着第二投影方向用于产生至少一个二维第二检验图像。在此，决定性的是，两个投影方向彼此不同。换言之，从三维检验图像中产生至少两个二维检验图像。通过为每个检验图像选择与另一检验图像的投影方向不同的特定的投影方向，二维检验图像也看起来不同。从三维检验体积到相应的检验图像的数据的减少由此区别在于，在组合中多个检验图像沿着不同的投影方向又具有放大的信息内容。

在此要指出的是，当然也可以产生两个、三个或更多个第二检验图像。例如，总共可以产生三个、四个或任意多个检验图像，其中，所有检验图像沿着自身的和特定的投影方向产生。换言之，尤其是所有投影方向彼此不同并且由此关于方法的执行是唯一的。

如从前面的阐述中可以看出的那样，现在可以进行从三维检验体积到二维检验图像的数据减少。由此可以使用已知的现有神经网络，以便以已知的方式以二维方式分析处理相应的二维检验图像。这种神经网络在此优选用于两幅、尤其是所有二维检验图像的分析处理。在最后的步骤中，现在可以输出该分析处理步骤的结果。在此，在第一步骤中，该输出的进行方式与何种方式是不重要的。例如，可以光学地输出各个检验图像，尤其是带有物体的标记、例如带有警报物体的标记。也可以考虑，直接以警报的形式或者以抑制警报的形式输出结果。当然，如后面还要解释的那样，可以对于每个检验图像产生一个单独的分析处理结果，而原则上也可以考虑输出一个共同的分析处理结果。

基于以上阐述可以看出，在根据本发明的第一步骤中可以产生具有高的信息内容的三维体积。在三维体积中，对于多个各个体素(三维像素)测定关于行李件和行李件内的物体的信息。为了更为成本有利、更简单且也关于计算时间更快速地提供分析处理，根据本发明将该高信息内容转换为呈二维检验图像形式的减少的信息内容。然而，由于提供至少两个或甚至更多个不同的二维监测图像，总体上保留了比在分析处理唯一的二维监测图像时的情况更高的用于分析处理结果或用于借助神经网络进行分析处理的信息内容。

因此，利用根据本发明的方法可以成本有利且简单地使用已知的神经网络，也可以基于现有的训练数据相应地简单且成本有利地训练这些神经网络。同时，基于三维检验图像的高信息内容，可以实现快速分析处理，尤其是以低错误率实现快速分析处理。特别优选地，该方法能够以计算机实现的方式来构造。

可以带来优点的是，在根据本发明的方法中基于多个二维检验照片产生三维检验体积。换言之，在此可以提供二维照片，其例如可以通过数学算法转换为三维检验体积。例如，电磁辐射源和相应的线探测器可以围绕行李件旋转，并且以这种方式从不同方向产生二维检验图像。然后通过数学算法将这些二维检验照片组合为三维检验体积。换言之，将二维检验照片通过外插算法变为三维检验体积。在此，涉及特别简单且成本有利的用于产生具有相应高的信息内容的三维检验体积的可行方案。

此外带来优点的是，在根据本发明的方法中，将第一检验图像的分析处理结果和第二检验图像的分析处理结果组合为一个共同的检验结果。这尤其是当不同的检验图像的分析处理具有不同的结果并且以这种方式可以说通过第二检验图像的分析处理来验证和/或确认第一检验图像的分析处理结果时是有意义的。在此，例如可以涉及输出共同的警报信号。然而也可以考虑，将分析处理结果以光学方式或以可视方式组合，以便向检查装置的操作人员显示。因此，例如在作为输出结果构成的图像内的光学标记可以表示、标记或者在其危险性方面突出显示物体。尤其是在自动分析处理程序中进行产生共同的检验结果的步骤。

可以带来优点的是，在根据本发明的方法中基于三维检验体积分析处理至少一个附加信息，尤其是关于物体的材料密度的信息。密度信息与来自两个投影的信息的组合允许更进一步提高分析处理结果的信息内容。因此，密度信息例如能够在输出结果上或者在检验结果上附加地以光学方式显示。然而，还可以考虑，例如呈材料密度形式的附加信息在输入到神经网络中之前已经被使用并且作为附加信息一起遍历。至少一个附加信息的使用允许根据本发明的方法还更加目标精确地、更快地并且以小的错误率执行。

此外有利的是，在根据本发明的方法中，为了分析处理二维检验图像，使用相同的神经网络、尤其是同一种神经网络。因此，仅唯一一种神经网络需要被训练和相应地使用。如果神经网络以神经计算机芯片的形式被使用，则甚至可以通过相同的神经网络在相同的神经芯片上顺序地提供用于二维检验图像的分析处理。由于根据本发明不进行三维分析处理，而是对二维检验图像进行快速分析处理，因此也可以顺序地足够快地提供用于所期望的分析处理。

此外带来优点的是，在根据本发明的方法中，作为二维检验图像产生材料发光图像。在此，这种材料发光图像的各个颜色描述了材料信息。因此，可以给出关于是否涉及金属材料、有机材料或类似物的提示。通过图像中的发光，即各材料的亮度，可以显示厚度信息。这些材料发光图像可相应地提供用于后续神经网络的光学起始位置。尤其是，输出结果也以材料发光图像的形式产生，其中，结果信息例如能够以标记的形式被投影到材料发光图像中和/或与材料发光图像组合。

此外带来优点的是，在根据本发明的方法中，第一投影方向和/或第二投影方向的定向是可调节的。如已经解释的那样，通过选择不同的投影方向可以以不同的方式减少来自三维检验体积的数据量和信息内容。根据实际的使用情况、实际的行李件和/或实际寻找的物体而定，不同的投影方向可能更好或更差。因此，例如在物体的可识别性差时，投影方向的手动重新调整或调节可以改进方法过程。当然，投影方向的这种调节，以及第二检验图像的数量的调节，可以以自动的方式进行。例如，可以使投影方向和检验图像的数量与不同的监测任务相匹配。投影方向在此例如可以具有相互限定的角度，例如90°和/或45°。在此，当然可以针对投影方向的改变在位置固定的坐标系中使用其彼此间的相对定向和/或其绝对定向。

此外带来优点的是，在根据本发明的方法中，产生第二二维检验图像的数量是可调节的。如在前述段落中已经阐述的那样，这可以手动地、但是也可以以自动的方式、通过系统预先给定地进行。优选的是三个、四个或甚至更多的检验图像。在此决定性的是，每个投影方向对于检验图像仅使用唯一一次，因为否则通过相同的投影方向将会产生已经存在的检验图像的副本，从而在分析处理中在没有附加信息的情况下将提供分析处理过程中的更高的计算开销。

此外带来优点的是，在根据本发明的方法中，产生二维检验图像和分析处理所产生的二维检验图像的步骤重复至少一次，其中，改变投影方向中的至少一个以进行重复。这是至少一个迭代循环以便改进结果。在此还要指出，尤其使用相同的初始检验体积，也就是不需要再次产生三维检验体积。相反，例如可以仅在分析处理已经产生的三维检验体积时提供该方法迭代。如果例如在分析处理结果中不给出期望的明确性，则具有不同的投影方向的另一迭代可以允许对不精确的结果的验证。此外，以这种方式可以改善识别精度并且以相同的程度明显减少假警报的出现。尤其是当物体以一定概率被识别为被禁止的物体(Prohibited Object)时，可以利用另一投影方向来确保该警报。这可以自动地或如已经阐述的那样以手动的方式进行。

在根据前述段落的实施方式中可以带来优点的是，在方法中存储分析处理的结果与所执行的至少一个投影方向的改变之间的关联以用于将来的分析处理和/或改变。换言之，以这种方式可以提供一种在优化迭代循环中的学习系统。例如在具有改变的投影方向的规则迭代的情况下已经可以针对相应的检验图像匹配输出投影方向，从而在将来已经可以在第一遍历中实现改进的分析处理结果或检验结果。在不明确的检验结果的情况下在将来也可能需要更少的迭代次数，因为已知哪个投影方向的哪个改变对检验结果带来所期望的正面效果。

此外有利的是，在根据本发明的方法中，逐片地构造三维检验体积。在此涉及特别简单和成本有利地产生三维检验体积。各个片体积的组合例如可以通过利用检测模块的逐片识别来实现。因此，例如具有相应的一起旋转的线探测器的旋转的辐射发生器可以提供这些单个的片作为用于三维检验体积的基础。在此，识别可以已经三维地或还可以二维地进行。

此外带来的优点是，在根据本发明的方法中，在产生三维检验体积时，尤其是基于多个二维检验照片，以至少两个不同能量水平来执行这种产生。这样的也称为双能量的方法导致进一步改进的识别并且尤其导致不同材料的区分可能性，该材料的关于不同能量水平的吸收特性彼此是非线性的。

此外带来的优点是，在根据本发明的方法中，当至少一个警报物体被识别为物体时，作为监测的结果输出警报。这种自动识别以及通过这种方式区分无害的物体和警报物体导致了自动的警报可能性，该警报可能性然后可以附加于或替代于人类操作员来使用。因此，在识别出警报物体的情况下可以输出警报并且以手动的方式由操作员进行检查。如果抑制警报，即不输出警报，则通过根据本发明的方法可以将相应的行李件在结果上作为无害的予以放行。

同样，本发明的主题是一种用于执行根据本发明的方法的检查装置。这种检查装置具有用于产生三维检验体积的体积产生模块。此外，检查装置配备有图像产生模块，用于从三维检验体积中沿着第一投影方向产生二维第一检验图像，并且用于从三维检验体积中沿着第二投影方向产生至少一个二维第二检验图像。在此，第一投影方向与第二投影方向不同。此外，设置分析处理模块，用于借助神经网络分析处理第一检验图像以识别物体并且用于借助神经网络分析处理至少一个第二检验图像以识别物体。借助输出模块实现分析处理步骤的结果的输出。因此，根据本发明的检查装置带来与详细地参照根据本发明的方法所阐述的优点相同的优点。

有利的是，在根据本发明的检查装置中，体积产生模块、图像产生模块、分析处理模块和/或输出模块被构造为用于执行根据本发明的方法。

带来的其它优点是，在根据本发明的检查装置中设置用于检测尤其是呈二维监测照片形式的输入数据的检测模块。因此，例如可以利用辐射源和所属的辐射探测器逐片地和/或以二维方式产生监测照片，然后将其数学地转换为三维检验体积。

同样，本发明的主题也是一种计算机程序产品，其包括指令，该指令在通过计算机实施程序时使得该计算机执行根据本发明的方法的步骤。因此，根据本发明的计算机程序产品带来与详细地参照根据本发明的方法所阐述的优点相同的优点。

本发明的其它优点、特征和细节由以下说明得出，在该说明中参考附图详细地描述了本发明的实施例。在此，在权利要求书和说明书中提到的特征可以分别单独地或以任意组合对于本发明是重要的。附图中示意性地示出：

图1示出了根据本发明的检查装置的一个实施方式，

图2示出了根据本发明的检查装置的另一细节，

图3示出了根据本发明的检查装置的另一细节，

图4示出了根据本发明的检查装置的另一细节，

图5示出了根据本发明的检查装置的另一细节，

图6示出了用于产生三维检验体积的实施方式，并且

图7示出了用于产生根据本发明的检验体积的另一个实施方式。

图1示意性地示出了如何在行李带上运送单个行李件G。这些行李件在检查装置10中此时经过如下体积，在该体积中布置有形式为辐射源和辐射探测器的检测模块60。如后面还要解释的那样，用于检测模块60的辐射源和辐射探测器的组合也能够可运动地、尤其是可旋转地布置。在检查装置10的该实施方式中，现在借助体积产生模块20产生三维检验体积UV。这种产生在后面还将尤其是参照图6和7详细解释。在此，检验体积UV包含关于作为行李件G的一部分或作为行李件G内的物体O的一部分的单个体素的高信息内容。

现在为了能够至少部分地自动地分析处理检验体积UV，图2和3示出了该检验体积UV的高信息内容的减少。根据图2，现在从上方沿着第一投影方向PR1经由图像产生模块30产生第一二维检验图像UB1。以基本上相同的方式，在图3中从检验体积UV中沿着与第一投影方向PR1不同的第二投影方向PR2经由相同的或单独的图像产生模块30产生第二检验图像UB2。如从图2和图3的示意图中可以看出的那样，两个检验图像UB1和UB2彼此不同，因为它们是沿着不同的投影方向PR1和PR2产生的。因此，在综合这两个检验图像UB1和UB2时，得到比在简单的二维图像中多的信息内容。

为了自动分析处理以这种方式产生的检验图像UB1和UB2，根据图4和5，神经网络NN现在在分析处理模块40中使用。在此，尤其可以涉及用于分析处理所有检验图像UB1和UB2的相同神经网络。在此要再次指出的是，当然也可以使用两个或多个第二检验图像，从而可以相应地更频繁地并行执行图3和5的方法步骤。

图4和图5示出了在根据分析处理模块40的神经网络NN的结果中对于每个检验图像UB1和UB2的检验结果，其中，在此利用标记框架示意性标记相应的物体O。这些检验结果现在可以通过相应的输出模块50尤其是自动地输出给操作员。替代地或附加地也可以考虑，基于检验图像UB1和UB2的各个二维结果产生共同的检验结果UE，该检验结果UE尤其是又可以具有三维延伸，如示意性地在图4和5中示出的那样。在此，标记从各个二维检验图像UB1和UB2被转交到三维检验体积UV中并且在那里被转交到共同的检验结果UE的行李件G中。

图6示出了一种可能性，以特别成本有利和简单的方式借助体积产生模块20产生检验体积UV。在此可以清楚地看到，检测模块60再次由辐射源和探测器组成，该辐射源和探测器可以围绕具有物体O的行李件G在检查装置10中旋转。通过旋转现在在不同的检测方向上产生不同的检验照片UA，这里在图6中产生三个不同的检验照片。根据检测的方向而定，行李件G和物体O看起来不同，这示意性地在图6中示出。接着现在以算法方式进行二维检验照片UA的组合，以便能够组合成三维检验体积UV。以这种方式产生的检验体积UV例如可以形成用于根据本发明的方法的基础。

附加地或替代地也可以考虑，根据图7进行检验体积UV的逐片组合。因此，接收各个体积片并且随后借助体积产生模块20进行组合。在此，结果也是三维检验体积UV，其可以形成用于根据本发明的方法的基础。

实施方式的前述阐述仅在示例的范围内描述了本发明。当然，只要技术上有意义，这些实施方式的各个特征可以自由地相互组合。

附图标记列表

10 检查装置

20 体积产生模块

30 图像产生模块

40 分析处理模块

50 输出模块

60 检测模块

UA 检验照片

PR2 第二投影方向

PR1 第一投影方向

UB1 第一检验图像

UB2第二检验图像

UV 检验体积

UE 共同的检验结果

NN 神经网络

G 行李件

O 物体

Claims (17)

1.一种用于检验行李件(G)以识别物体(O)的方法，所述方法具有以下步骤：

-产生三维检验体积(UV)，

-沿着第一投影方向(PR1)从所述三维检验体积(UV)中产生二维第一检验图像(UB1)，

-沿着第二投影方向(PR2)从所述三维检验体积(UV)中产生至少一个二维第二检验图像(UB2)，所述第二投影方向与所述第一投影方向(PR1)不同，

-借助神经网络(NN)分析处理所述第一检验图像(UB1)以识别物体(O)，

-借助神经网络(NN)分析处理所述至少一个第二检验图像(UB)以识别物体(O)，

-输出分析处理步骤的结果。

2.根据权利要求1所述的方法，其特征在于，基于多个二维检验照片(UA)来产生所述三维检验体积(UV)。

3.根据前述权利要求中任一项所述的方法，其特征在于，将所述第一检验图像(UB1)的分析处理结果和所述第二检验图像(UB2)的分析处理结果组合为共同的检验结果(UE)。

4.根据前述权利要求中任一项所述的方法，其特征在于，基于所述三维检验体积(UV)分析处理至少一个附加信息、尤其是关于物体(O)的材料密度的信息。

5.根据前述权利要求中任一项所述的方法，其特征在于，针对所述二维检验图像(UB1、UB2)的分析处理，使用相同的神经网络(NN)、尤其是同一种神经网络。

6.根据前述权利要求中任一项所述的方法，其特征在于，产生材料发光图像作为所述二维检验图像(UB1、UB2)。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述第一投影方向(PR1)和/或所述第二投影方向(PR2)的定向是可调节的。

8.根据前述权利要求中任一项所述的方法，其特征在于，所述第二二维检验图像(UB2)的产生数量是可调节的。

9.根据前述权利要求中任一项所述的方法，其特征在于，产生所述二维检验图像(UB1、UB2)的步骤和分析处理所产生的二维检验图像(UB1、UB2)的步骤被重复至少一次，其中，所述投影方向(PR1、PR2)中的至少一个被改变以进行重复。

10.根据权利要求9所述的方法，其特征在于，存储所述分析处理的结果与所述至少一个投影方向(PR1、PR2)的所执行的改变之间的关联以用于将来的分析处理和/或改变。

11.根据前述权利要求中任一项所述的方法，其特征在于，逐片地构造所述三维检验体积(UV)。

12.根据前述权利要求中任一项所述的方法，其特征在于，在产生所述三维检验体积(UV)时，尤其是基于多个二维检验照片(UA)，以至少两个不同的能量水平来执行所述产生。

13.根据前述权利要求中任一项所述的方法，其特征在于，如果至少一个警报物体被识别为物体(O)，则作为结果输出警报。

14.一种用于执行具有权利要求1至13中任一项所述的特征的方法的检查装置(10)，所述检查装置具有用于产生三维检验体积(UV)的体积产生模块(20)、用于沿着第一投影方向(PR1)从所述三维检验体积(UV)中产生二维第一检验图像(UB1)并且用于沿着与所述第一投影方向(PR1)不同的第二投影方向(PR2)从所述三维检验体积(UV)中产生至少一个二维第二检验图像(UB2)的图像产生模块(30)，所述检查装置还具有用于借助神经网络(NN)分析处理所述第一检验图像(UB1)以识别物体(O)并且用于借助神经网络(NN)分析处理所述至少一个第二检验图像(UB2)以识别物体(O)的分析处理模块(40)，以及用于输出分析处理步骤的结果的输出模块(50)。

15.根据权利要求14所述的检查装置(10)，其特征在于，所述体积产生模块(20)、所述图像产生模块(30)、所述分析处理模块(40)和/或所述输出模块(50)被构造用于执行具有权利要求1至13中任一项所述的特征的方法。

16.根据权利要求14或15所述的检查装置(10)，其特征在于，设置有用于检测尤其是呈二维检验照片(UA)的形式的输入数据的检测模块(60)。

17.一种计算机程序产品，包括指令，所述指令在通过计算机实施所述程序时使得所述计算机执行具有权利要求1至13中任一项所述的特征的方法的步骤。