CN117501318A - 用于为用于识别行李件中的警报物体的识别装置产生三维训练数据的方法 - Google Patents

Abstract

本发明涉及一种用于为用于识别行李件(G)中的警报物体(AO)的识别装置(100)产生三维训练数据的方法，该方法具有以下步骤：‑提供单独的警报物体(AO)的物体照片(OA)，‑提供行李件(G)的行李照片(GA)，‑将该行李照片(GA)和该物体照片(OA)组合为组合照片(KA)，‑从该组合照片(KA)中产生三维组合体积(KV)。

Description

用于为用于识别行李件中的警报物体的识别装置产生三维训 练数据的方法

本发明涉及一种用于为用于识别行李件中的警报物体的识别装置产生三维训练数据的方法、一种用于执行该方法的产生装置以及一种相应的计算机程序产品。

已知的是，所谓的神经网络必须作为人工智能(KI)来训练，以便提供所希望的识别功能。为了训练神经网络，需要大量的所谓的经标签化的、即经标记的训练数据。此外，还已知的是，在识别行李件中的警报物体时，应使用这种训练过的神经网络。此外已知的是，将呈训练图像形式的训练数据针对在安全闸处的操作人员集成到日常的控制流程中，以便检查操作人员并且保持高的注意力。

在已知的解决方案中有问题的是，提供大量且显著数量的训练数据。这通常仅是二维训练数据的情况。为了提供大量的训练数据，已知的是，通用地产生这些训练数据。这原则上在二维训练数据中工作得相对较好。然而，如果通用地产生三维训练数据，尤其是通过将单独的(freigestellt)物体与真实行李照片组合，则这导致不真实的三维组合体积的组合，其不适于训练神经网络和/或在安全闸处检查操作人员。这尤其是基于如下事实，即，在已知的通用产生中不提供相应的光学伪影，如其在三维物体照片中真实识别物体时会产生的那样。因此，迄今为止不可能以这样的接近现实的质量提供用于神经网络的三维训练数据，使得可以合理地并且有针对性地训练神经网络和/或检查操作人员。

如已经阐述的那样，除了训练神经网络之外迄今也已知的是，产生人工的训练数据，该人工的训练数据在持续运行中在机场的安全带处被使用，以便检查当前活动的操作人员并且检查是否会识别到警报物体。已知的解决方案允许将二维物体集成到二维组合照片中并且以这种方式为操作人员实现虚拟的警报情况。在三维监控解决方案中，这迄今为止是不可能的，因为这种虚拟警报情况的真实接近度不足以由操作人员在安全闸上被感知为是真实的。

本发明的任务是消除上述缺点。本发明的任务尤其是以成本有利且简单的方式以自动方式以高质量和/或现实的显示来产生训练数据。

上述任务通过具有权利要求1的特征的方法、具有权利要求11的特征的产生装置以及具有权利要求14的特征的计算机程序产品来解决。本发明的其它特征和细节由从属权利要求、说明书和附图得出。在此，结合根据本发明的方法所阐述的特征和细节当然也适用于结合根据本发明的产生装置以及根据本发明的计算机程序产品，并且相应地反之亦然，从而关于针对单个发明方面的公开内容始终相互参照或者可以相互参照。

根据本发明，提供了一种用于为用于识别行李件中的警报物体的识别装置产生三维训练数据的方法。为此，该方法具有以下步骤：

-提供单独的警报物体的物体照片，

-提供行李件的行李照片，

-将该行李照片和该物体照片组合成组合照片，

-从该组合照片中产生三维组合体积。

根据本发明的方法基于在使用在安全闸中的识别装置中的基本处理方式。因此，在那里通常提供检验照片，所述检验照片例如通过旋转的检测模块产生。如果例如使用电磁射线，则可以将其从发射器发送至一起旋转的探测器，从而形成旋转的检验图像。随后将在图像平面中的检验图像在算法上转换为三维检验体积，从而可以在安全闸处以三维方式为操作人员进行相应的分析和/或显示。

在本发明的范围内，检验照片、物体照片、行李照片和/或组合照片尤其是多个透射照片的组合。这些单独的透射照片可以是一维的或二维的。

根据本发明，现在在二维平面上执行行李件与警报物体的组合。为了实现这一点，需要两个输出信息。在此，一方面涉及单独的警报物体的物体照片。因此，原则上可以考虑的是，例如以数据库的形式提供多个这样的物体照片。例如可以通过以下方式拍摄单独的警报物体的这种物体照片，即，单独地、也就是与行李件无关地利用相应的检测模块拍摄警报物体。这可以针对警报物体的不同朝向，但也可以针对不同的警报物体属于这种情况。警报物体例如可以是不期望的材料、例如炸药，但是也可以是不期望的物体、例如呈武器形式的物体。

除了形式为物体照片的第一基础信息之外，需要行李照片作为第二基础信息。在此，该行李照片是否同样从数据库中提供或者在连续运行中在安全闸上表示当前真实在安全闸中被检查的行李件，对于根据本发明的方法的功能性是不重要的。在此，数据库也可以简单且成本有利地提供对不同行李件的多个照片。

根据本发明，现在在随后的步骤中在二维平面上提供了物体照片和行李照片的组合。这种组合原则上可以通过将物体照片和行李照片彼此上下叠置来实现。因此，例如在使用电磁辐射时，可以重叠放置单个相应的像素信息，该像素信息基于物理的框架条件通过相应的物体或行李件的内容的吸收而产生。因此，可以将例如呈材料发光图像形式的颜色信息以及亮度信息，针对物体照片和行李照片而集成在组合照片中。

作为该组合步骤的结果，存在将物体照片集成到行李照片中的组合照片。该组合照片在此对应于在安全闸中真实执行的照片，在该安全闸中在行李件中拍摄了这种物体。类似于安全闸处的真实情况，此组合照片现在受到产生步骤的影响，该产生步骤产生三维组合体积。该三维组合体积现在基于接近真实的组合照片来产生，从而在产生三维组合体积时产生的光学伪影和缺陷以与在真实行李件中的真实物体中产生的光学伪影和缺陷相同的方式产生。

基于前面的解释可以看出，通过根据本发明的核心思想明显提高在三维组合体积的产生步骤中的真实接近度。尤其是，以这种方式可以提供三维组合体积，其随后可以形成三维训练数据。在此，在第一步骤中，三维组合体积是否是用于使用安全闸来检查操作人员的单个三维训练数据或者应当大量地用于自动训练神经网络并不重要。

根据本发明，以这种方式于是可以以高真实接近度以三维方式提供训练数据，因为以与在真实识别情况中类似的方式执行产生三维组合体积的步骤。与已知的解决方案相反，以这种方式可以简单、成本有利和快速地提供单个、但也多个三维训练数据的产生。三维训练数据在此是在相应的组合体积中的体素的组合，其然后例如作为检验体积可以提供相应的分析步骤。

可以带来的优点是，在根据本发明的方法中，物体照片和/或行李照片具有单个照片区段，尤其是正弦图。优选地，物体照片和/或行李照片的这些单个照片区段也布置在照片的相应的所基于的数据库中。作为单个照片区段，可以是视频序列、部分提供的相应照片的图像或帧。这允许简单地并且首先也以已知的方式执行物体照片和行李照片的产生。也可以动用已经存在的行李照片和/或物体照片，它们可以利用根据本发明的用于产生三维训练数据的方法来作为基础。

同样有利的是，在根据本发明的方法中，以相同或基本上相同的形式，尤其是以正弦图的形式提供物体照片和行李照片。物体照片和行李照片的形状的一致性导致，用于组合照片的组合还能够更容易地进行。尤其是，以这种方式不必要地执行物体照片和行李照片的不同形状的匹配或相关。以最简单的方式可以提供物体照片和行李照片之间的数学加法。正弦图在此理解为电磁辐射的使用，其例如通过计算机断层造影提供期望的物体照片和期望的行李照片。在此也要再次指出，借助相应的检测装置的旋转能够提供单个帧、图像以及视频序列。在此，如已经阐述的那样，物体照片和行李照片是一系列一维和/或二维数据。

可以带来进一步的优点是，在根据本发明的方法中，在行李照片中，对行李件的界限进行识别，其中随后将具有在所识别的行李件界限内的警报物体的物体照片与行李照片组合。虽然本发明的基本核心思想是将警报物体放置在行李件中，但该实施方式确保警报物体实际上也在视觉上位于行李件的界限内。换言之，根据本发明的方法在此通过如下方式得到改进，即，警报物体相对于行李件的限定的相对定位被执行。例如，可以通过行李照片的单个相邻体素或单个相邻像素的密度跳变来识别单个行李件的界限位于何处。一旦确定了该界限，警报物体就可以以期望的方式相对于行李件定位在该行李件内部，从而避免不真实的组合照片或由此也避免不真实的组合体积，在不真实的组合照片或不真实的组合体积中，警报物体会被布置在行李件的界限外部或甚至超过这样的界限。通过这种方式还可以进一步利用该实施方式提高真实接近度和安全性。为了执行这种相对定位，例如可以提供时间上的偏移，该偏移在组合行李照片和物体照片时被考虑。也可以考虑明确地使用合适的物体照片，以便例如横向于识别轴线以接近真实的方式提供物体照片和行李照片之间的组合。

此外有利的是，在根据本发明的方法中，在行李照片中，执行在行李件内的间隙的识别，其中随后将具有在所识别的间隙内的警报物体的物体照片与行李照片组合。与上述段落类似，通过这种方式产生更接近真实的情况，因为避免了行李件的存在的内容与警报物体冲突。在这里，同样地，在行李件的每个像素中的材料的密度能够给出行李件的哪些区域在行李照片中能够被限定为间隙的信息。为了保证高的真实接近度，在该实施方式中也可以预先给定所定义的界限或者预先给定界限值，从该界限值起定义一个间隙本身。为了以接近现实的方式提供警报物体到行李件中的匹配和集成，在此又可以沿着识别轴线通过时间偏移在与物体照片组合时移动该警报物体。还可以考虑的是，从相应的数据库中选择物体照片，以匹配行李照片的行李件中的相应的间隙。

此外有利的是，在根据本发明的方法中，警报物体通过物体照片在时间上偏移而相对于行李件定位。如已经解释的那样，可以尤其是在单个帧中提供行李照片和物体照片。因此，可以沿着识别装置的识别轴线提供这种时间偏移，使得警报物体在其相对位置方面可以沿着识别轴线相对于行李件移动。时间上的偏移通过逐帧地或逐段地提供物体照片，也就是说导致警报物体相对于行李件的相对位置的移动。相应的正弦图或相应的物体照片在此保持不变。这可以用作沿着识别轴线的偏移，用于相对行李件的界限的定位，也可以用于在行李件内的间隙内的定位。只要利用该方法不能进行合适的定位，则例如通过在根据本发明的方法中的迭代也可以选择另一物体照片，以便确保期望的接近真实的相对定位。

同样有利的是，在根据本发明的方法中在组合照片中执行材料密度在预先给定的界限值以上的区域的识别，其中在产生三维组合体积时将具有在界限值以上的材料密度的区域与匹配因子组合。尤其是在具有金属构件的区域中会发生所谓的波束硬化。这导致了，在行李件或警报物体内发生吸收情况的改变。为了也在虚拟地产生三维训练数据时考虑到该波束硬化的这种情况，可以在预先给定的界限值的情况下或者在超过该界限值时，相应的匹配因子确保真实接近度。在此，在产生三维组合体积时该匹配因子尤其是小于1，也就是在产生组合体积时相应的参数减小。

可以带来另外的优点是，在根据本发明的方法中，从照片数据库中选择物体照片和/或行李照片。因此，例如，如已经解释的那样，可以使合适的警报物体与行李件的界限或间隙相匹配。此外，可以以基本上自动的方式提供大量不同的组合可能性，以便提供大量不同的组合体积，并且因此提供大量用于训练神经网络的三维训练数据。这尤其能够以自动化的方式迭代地执行。

可以带来另外的优点是，在根据本发明的方法中，至少多次执行提供物体照片、行李照片的步骤，组合物体照片与行李照片的步骤，以及产生三维组合体积的步骤。在此，优选地将不同的物体照片与不同的行李照片相组合，从而结果产生多个不同的组合体积。由于该方法现在尤其可以借助相应的照片数据库自动地执行，所以可以提供大量单个三维训练数据用于训练呈神经网络的形式的人工智能。在此，尤其是动用单个物体照片的相应明确的附加信息，这在此是指精确的附加信息。在此，原则上可以使用存在的警报物体的标签，但是也可以使用更详细的信息，即，在此当前在组合体积中集成了哪种形式的警报物体。在此再次清楚地看出，如何能够以特别简单、成本有利和有效的方式产生非常高数量的接近真实的三维训练数据。

此外有利的是，在根据本发明的方法中，在真实行李件上的识别装置中产生行李照片。例如，根据本发明的方法能够使用在真实的安全闸上，以便检查在那里活动的操作人员。例如，如果位于传送带上的行李件通过相应的识别装置，则现在可以借助根据本发明的方法将警报物体虚拟地透射到真实的行李件中。在操作人员的所属的监控监视器上显示出带有集成的虚拟警报物体的真实行李件。由此确保，可以监控检查人员或操作人员的注意力。通过根据本发明的方法的设计方案，这可以以高的现实接近度来实现，从而不能通过不现实的成像由操作人员来识别这些训练情况本身。

本发明的主题还在于一种产生装置，用于为用于识别行李件中的警报物体的识别装置产生三维训练数据。这种产生装置具有用于提供单独的警报物体的物体照片以及提供行李件的行李照片的拍摄模块。此外，设置有用于将行李照片和物体照片组合成组合照片的组合模块。产生装置还具有用于从组合照片中产生三维组合体积的产生模块。拍摄模块、组合模块和/或产生模块在此优选被构造用于实施根据本发明的方法。因此，根据本发明的产生装置带来与详细地参照根据本发明的方法所阐述的优点相同的优点。

此外，可能有利的是，在根据本发明的产生装置中，照片模块具有照片数据库，在该照片数据库中存储有多个物体照片和/或行李照片。在使用真实的安全闸时，原则上也可考虑与真实行李件的组合。使用相应的大数据库允许提供大量的组合可能性，以便提供相应大数量的单个三维训练数据用于训练神经网络。

本发明的主题还在于一种包括指令的计算机程序产品，所述指令在通过计算机实施程序时促使所述计算机执行根据本发明的方法的步骤。

本发明的其它优点、特征和细节由下面的说明得出，在该说明中参考附图详细地描述了实施例。在此，在权利要求书和说明书中提到的特征可以分别单独地或以任意组合对于本发明是重要的。附图中示意性地示出：

图1示出了根据本发明的方法步骤的一个实施方式，

图2示出了根据本发明的方法的一个步骤，

图3示出了根据本发明的方法的一个步骤，

图4示出了根据本发明的方法的一个步骤，

图5示出了根据本发明的方法的一个步骤，

图6示出了根据本发明的产生装置的一个示例，并且

图7示出了根据本发明的产生装置的一个示例。

图1示意性地示出了如何提供本发明的核心思想。在此要指出的是，物体照片OA和行李照片GA是多个单图像，该单图像例如作为多个透射照片的组合而组合。单个透射照片可以是一维的和/或二维的。在这里，物体照片OA和行李照片GA作为出发点。在物体照片OA中设置单独的警报物体AO。在此，物体照片OA可以例如以明确的方式产生，从而以一次性的方式通过使用电磁检测系统使用和扫描多个不同的警报物体AO，以便提供多个不同的物体照片OA。

以相同的方式也可以考虑针对照片数据库22扫描多个不同的行李件G并且以这种方式提供相应大数量的行李照片GA。

从所提供的物体照片OA和行李照片GA出发，现在在另一个步骤中执行组合为组合照片KA。如在图1中示意性地可清楚地看到的那样，通过该组合将警报物体AO集成在行李件G中。随后，即在组合之后，由行李件G和警报物体AO组成的组合才在产生步骤中被转换成三维组合体积KV。在该三维组合体积KV中，现在警报物体AO继续位于行李件G中。该三维组合体积KV现在可以用于在识别装置100上检验操作人员，但是也可以以相应的数量用于训练神经网络。

图2示出了用于在真实的安全闸上训练或检查操作人员的示意性布置方案。在此示意性地示出了识别装置100，其可以借助检测模块110利用电磁辐射提供真实行李件G的行李照片GA。在此，行李件G沿着识别轴线EA运动。例如，检测模块110可以绕该识别轴线EA旋转，并以这种方式产生旋转的行李照片GA。在图2的这种实施方式中，从照片数据库22中提供物体照片OA。与图1类似，现在由真实的行李照片GA和虚拟地由数据库22提供的物体照片OA产生组合照片KA。与图1类似地，现在随后产生组合体积KV，该组合体积KV例如在监视器上为检查目的或为了训练目的向真实的安全闸的操作人员显示。

在图3中示意性地示出了，单个照片可以如何逐片地或区段式地构成物体照片OA和行李照片GA或组合照片KA。因此，图3以示意性的方式示出了用于物体照片OA并且相应地用于行李照片GA的正弦图的片状图示。现在，以简单的相加或组合将物体照片OA和行李照片GA逐片地组合成共同的组合照片KA。在此，提供组合照片KA的特别简单和成本有利的变型方案。

借助图4和图5可清楚地看到，如何可实现在警报物体AO与行李件G之间的相对定位。因此，图4示出了在行李照片GA上的空的行李件G。图5示出相应的组合照片KA，其中，在这里现在在行李件G中集成警报物体AO。然而，在此在中间步骤中测定在行李件G内的哪个地方存在间隙，从而例如通过在组合时物体照片OA的时间上的偏移来执行警报物体AO到所识别的间隙中的移动。这导致明显更逼真的表示并且尤其是避免不期望的位置冲突。

根据图6示意性地示出，如何能够构成根据本发明的产生装置10。经由拍摄模块在此提供单个照片GA和OA。组合模块30产生组合照片KA，其中，紧接着产生模块40产生组合体积KV。根据图7可以看出，这也可以以自动化的方式以高数量提供，其方式是，可以动用照片数据库22。以这种方式，可以产生大量的组合体积KV，然后该组合体积大量提供用于训练神经网络的三维训练数据组。

前面的阐述仅在示例的范围内描述了本发明。当然，只要技术上有意义，这些实施方式的单个特征可以自由地相互组合，而不离开本发明的范围。

附图标记列表

10 产生装置

20 拍摄模块

22 照片数据库

30 组合模块

40 产生模块

100 识别装置

110 检测模块

AO 警报物体

G 行李件

OA 物体照片

GA 行李照片

KA 组合照片

KV 组合体积

EA 识别轴线

Claims (14)

1.一种用于为用于识别行李件(G)中的警报物体(AO)的识别装置(100)产生三维训练数据的方法，所述方法具有以下步骤：

-提供单独的警报物体(AO)的物体照片(OA)，

-提供行李件(G)的行李照片(GA)，

-将所述行李照片(GA)和所述物体照片(OA)组合为组合照片(KA)，

-从所述组合照片(KA)中产生三维组合体积(KV)。

2.根据权利要求1所述的方法，其特征在于，所述物体照片(OA)和/或所述行李照片(GA)具有单个照片区段，尤其是正弦图。

3.根据前述权利要求中任一项所述的方法，其特征在于，所述物体照片(OA)和所述行李照片(GA)以相同或基本相同的形式、尤其是以正弦图的形式提供。

4.根据前述权利要求中任一项所述的方法，其特征在于，在所述行李照片(GA)中执行对所述行李件(G)的界限的识别，其中随后将具有在所述行李件(G)的所识别的界限内的警报物体(AO)的所述物体照片(OA)与所述行李照片(GA)相组合。

5.根据前述权利要求中任一项所述的方法，其特征在于，在所述行李照片(GA)中执行对所述行李件(G)内的间隙的识别，其中随后将具有在所识别的间隙内的警报物体(AO)的所述物体照片(OA)与所述行李照片(GA)组合。

6.根据前述权利要求中任一项所述的方法，其特征在于，通过在时间上偏移所述物体照片(OA)的方式，相对于所述行李件(G)定位所述警报物体(AO)。

7.根据前述权利要求中任一项所述的方法，其特征在于，在所述组合照片(KA)中，识别材料密度在预先给定的界限值以上的区域，其中在产生所述三维组合体积(KV)时将具有高于所述界限值的材料密度的区域与匹配因子组合。

8.根据前述权利要求中任一项所述的方法，其特征在于，所述物体照片(OA)和/或所述行李照片(GA)从照片数据库(22)中选择。

9.根据前述权利要求中任一项所述的方法，其特征在于，至少多次执行提供所述物体照片(OA)和所述行李照片(GA)的步骤，组合所述物体照片(OA)与所述行李照片(GA)的步骤，以及产生所述三维组合体积(KV)的步骤。

10.根据前述权利要求中任一项所述的方法，其特征在于，在识别装置(100)中在真实的行李件(G)上产生所述行李照片(GA)。

11.一种用于产生用于识别行李件(G)中的警报物体(AO)的识别装置(100)的三维训练数据的产生装置(10)，所述产生装置具有用于提供单独的警报物体(AO)的物体照片(OA)并且提供行李件(G)的行李照片(GA)的拍摄模块(20)，所述产生装置还具有用于将所述行李照片(GA)和所述物体照片(OA)组合成组合照片(KA)的组合模块(30)和用于从所述组合照片(KA)中产生三维组合体积(KV)的产生模块(40)。

12.根据权利要求11所述的产生装置(10)，其特征在于，所述拍摄模块(20)、所述组合模块(30)和/或所述产生模块(40)被构造用于实施具有权利要求1至10中任一项所述的特征的方法。

13.根据权利要求11或12中任一项所述的产生装置(10)，其特征在于，所述拍摄模块(20)具有照片数据库(22)，在所述照片数据库中存储有多个物体照片(OA)和/或行李照片(GA)。

14.一种计算机程序产品，包括指令，所述指令在通过计算机实施所述程序时使得所述计算机执行具有权利要求1至10中任一项所述的特征的方法的步骤。