CN116386016A - 一种异物处理方法、装置、电子设备及存储介质 - Google Patents

一种异物处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116386016A
CN116386016A CN202310644947.5A CN202310644947A CN116386016A CN 116386016 A CN116386016 A CN 116386016A CN 202310644947 A CN202310644947 A CN 202310644947A CN 116386016 A CN116386016 A CN 116386016A
Authority
CN
China
Prior art keywords
dimensional
position information
dimensional position
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310644947.5A
Other languages
English (en)
Other versions
CN116386016B (zh
Inventor
陶毅
徐光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruiying Technology Co ltd
Original Assignee
Hangzhou Ruiying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruiying Technology Co ltd filed Critical Hangzhou Ruiying Technology Co ltd
Publication of CN116386016A publication Critical patent/CN116386016A/zh
Application granted granted Critical
Publication of CN116386016B publication Critical patent/CN116386016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种异物处理方法、装置、电子设备及存储介质，获取检测对象的二维图像、二维图像的深度信息及三维人偶图像；对二维图像进行异物识别，得到异物在二维图像中的二维位置信息；根据深度信息及二维位置信息，确定异物在三维人偶图像中的三维位置信息；按照三维位置信息，在三维人偶图像中表示出异物。在得到异物在二维图像中的二维位置信息后，利用二维图像的深度信息，将异物映射到三维人偶图像中，得到异物在三维人偶图像中的三维位置信息，并按照三维位置信息在三维人偶图像中表示出异物，实现了在异物与检测对象相对位置的三维展示，提高了异物位置的示意效果，便于工作人员直观的获取异物在检测对象上的位置。

Description

一种异物处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种异物处理方法、装置、电子设备及存储介质。
背景技术
目前，市场上的毫米波检测设备分为两大类：主动设备和被动设备。其中，主动设备主动向对象主动发射毫米波信号，当毫米波信号碰到人体或物品时，会发生反射现象，检测设备接受反射的毫米波信号，从而实现对对象的检测。主动设备具有回波信噪比高、输出的图像质量好、能够获得距离信息等优点，从而能够实现对对象的三维成像；被动设备不发射毫米波信号，仅通过接收自然界存在的毫米波信号实现成像，其设备信噪较差、图像质量低，且只能获得二维图像。故而主动设备的应用范围更加广泛。
相关技术中，毫米波检测设备输出毫米波图像之后，需要对毫米波图像进行识别，以确定是否存在异物（例如违禁品或者危险品），例如，利用深度学习算法检测出存在异物的区域。然而毫米波检测设备输出的为对象的三维点云图像，直接基于三维点云识别异物存在标注不方便、深度学习算法输入数据量太大以及运算量大等问题，因此相关技术中先将三维点云转化为二维图像，然后利用深度学习算法对二维图像进行检测，并直接在二维图像中利用矩形框标注出异物位置，例如图1所示。
然而采用上述方法，在二维图像中标注出异物位置，异物位置示意效果较差，不利于工作人员直观的获取异物在人体上的位置。
发明内容
本申请实施例的目的在于提供一种异物处理方法、装置、电子设备及存储介质，以实现提高异物位置的示意效果，便于工作人员直观的获取异物在对象上的位置。具体技术方案如下：
第一方面，本申请实施例提供了一种异物处理方法，包括：
获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像；
对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息；
根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
按照所述三维位置信息，在所述三维人偶图像中表示出所述异物。
第二方面，本申请实施例提供了一种异物处理装置，包括：
数据获取模块，用于获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像；
异物识别模块，用于对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息；
三维位置确定模块，用于根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
异物表示模块，用于按照所述三维位置信息，在所述三维人偶图像中表示出所述异物。
第三方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请中任一所述的异物处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的异物处理方法。
第五方面，本申请实施例提供了本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请中任一所述的异物处理方法。
本申请实施例有益效果：
本申请实施例提供的异物处理方法、装置、电子设备及存储介质，获取检测对象的二维图像、二维图像的深度信息及三维人偶图像；对二维图像进行异物识别，得到异物在二维图像中的二维位置信息；根据深度信息及二维位置信息，确定异物在三维人偶图像中的三维位置信息；按照三维位置信息，在三维人偶图像中表示出异物。在得到异物在二维图像中的二维位置信息后，利用二维图像的深度信息，将异物映射到三维人偶图像中，得到异物在三维人偶图像中的三维位置信息，并按照三维位置信息在三维人偶图像中表示出异物，实现了在异物与检测对象相对位置的三维展示，提高了异物位置的示意效果，便于工作人员直观的获取异物在检测对象上的位置。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为相关技术中在二维图像中表示异物的一种示意图；
图2为本申请实施例的异物处理方法的第一种流程示意图；
图3为本申请实施例中的对检测对象进行毫米波检测的一种示意图；
图4为本申请实施例中步骤S201的一种可能实现方式的示意图；
图5为本申请实施例的异物处理方法的第二种流程示意图；
图6为本申请实施例中步骤S502的一种可能实现方式的示意图；
图7为本申请实施例中扩展区域的一种示意图；
图8为本申请实施例中对象内侧区域中异物的一种示意图；
图9为本申请实施例中对象外侧区域中异物的一种示意图；
图10为本申请实施例的异物处理方法的第三种流程示意图；
图11为本申请实施例中在三维图像中表示异物的一种示意图；
图12为本申请实施例的异物处理装置的一种结构示意图；
图13为本申请实施例的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，先将毫米波检测设备输出的三维点云数据转化为正面二维图像和背面二维图像，然后利用深度学习算法对两个二维图像进行检测，并在两个二维图像中利用矩形框标注出异物位置，例如图1所示。上述方法虽然能够确定正面及背面方向异物的位置，但是无法展示人体的立体感，无法准确地表示人体侧面可能存在的异物位置，且当人体的肢体外侧面出现异物时，正面和背面两张图上都会显示出异物框，这样会被认为存在多个异物。
为了解决上述问题中的至少一项，在本申请实施例的第一方面提供了一种异物处理方法，该异物处理方法可以通过电子设备执行，具体的，该电子设备可以为毫米波检测设备所连接的工控机、个人电脑、硬盘录像机或云端服务器等。在本申请实施例中，异物的尺寸信息包括但不限于长、宽、和厚度等几何信息，结合异物的形状，可以使用相应的几何尺寸描述用词。在一些实施例中为便于描述，以长、宽、和厚度等信息进行示例性说明，但不应理解为对本申请实施例的具体限定。
以下，对本申请实施例的异物处理方法进行详细说明，参见图2，图2为本申请实施例的异物处理方法的一种流程示意图，包括：
S201，获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像。
检测对象为毫米波检测设备需要检测的对象，一个例子中，检测对象可以为人体。毫米波检测设备对人体进行检测的示意图可以如图3所示，毫米波检测设备的正面扫描阵列及背面扫描阵列，共同检测得到检测对象的三维点云数据。根据检测对象的三维点云数据，可以得到检测对象的二维图像，以及二维图像中各像素的深度信息。此处的二维图像可以为检测对象正面的二维图像，也可以为检测对象背面的二维图像，还可以同时包括检测对象正面、背面的二维图像。
三维人偶图像中的三维人偶仅用于表示人体的通用特征，可以为通用的人体模型，不用于表示特定检测对象的特定特征。三维人偶图像仅用于示意人体的基本轮廓，不包括特定检测对象的隐私细节，利用三维人偶图像可以有效保护检测对象的隐私。
S202，对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息。
利用计算机视觉技术，例如，厚度学习算法等，对二维图像进行异物识别，得到异物在二维图像中的二维位置信息。异物在二维图像中的二维位置信息可以为检测框，也可以为像素点的坐标集合，均在本申请的保护范围内。
厚度学习算法可以采用相关技术中的厚度学习语义分割网络或厚度学习实例分割网络等。厚度学习算法可以通过标注有异物位置的样本二维图像训练得到，例如，可以将样本二维图像作为厚度学习算法的输入得到异物的预测位置，根据异物的预测位置及异物的标注位置计算损失，并根据损失调整厚度学习算法的参数；重复上述训练过程，直至厚度学习算法的损失收敛，得到训练好的厚度学习算法。
S203，根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息。
在获取到异物在二维图像中的二维位置信息后，可以结合二维图像的深度信息，来得到异物在距离向上的厚度，从而得到异物在毫米波检测设备的三维坐标系中的三维坐标，然后利用预先确定的三维人偶图像坐标系与毫米波检测设备的三维坐标系的转换关系，将异物转换到三维人偶图像坐标系中，从而得到异物在三维人偶图像中的三维位置信息。一个例子中，为了方便计算，可以将毫米波检测设备的三维坐标系的原点设置为三维人偶图像坐标系的原点，两个坐标系的水平向坐标轴平行，两个坐标系的高度向坐标轴平行，且两个坐标系的距离向坐标轴平行；从而可以根据两个坐标系的比例尺，实现坐标的快速转换。
S204，按照所述三维位置信息，在所述三维人偶图像中表示出所述异物。
在得到异物在三维人偶图像中的三维位置信息后，便可以按照三维位置信息，在三维人偶图像中表示出异物。一个例子中，可以通过矩形框来表示异物。在其他实施例中，可以通过点云聚类的方式，根据异物在毫米波检测设备的三维坐标系中的三维坐标，对毫米波检测设备输出的三维点云数据中对应区域的点云进行聚类，从而得到异物的点云聚类结果，则三维位置信息表示点云聚类结果中的各点在三维人偶图像中的位置，从而可以在三维人偶图像中表示出异物的真实外形。
在本申请实施例中，在得到异物在二维图像中的二维位置信息后，利用二维图像的深度信息，将异物映射到三维人偶图像中，得到异物在三维人偶图像中的三维位置信息，并按照三维位置信息在三维人偶图像中表示出异物，实现了在异物与检测对象相对位置的三维展示，提高了异物位置的示意效果，便于工作人员直观的获取异物在检测对象上的位置。
在利用毫米波检测设备对人体进行异物检测时，为了保证检测效果，一般情况下需要人体摆出指导的姿势，因此在得到二维图像后，可以添加对象姿态检测的过程。在一种可能的实施方式中，所述方法还包括：
对所述二维图像中的检测对象进行姿态识别，得到姿态识别结果；在所述姿态识别结果表示姿态不合格的情况下，丢弃所述二维图像及所述深度信息；和/或，在所述姿态识别结果表示姿态合格的情况下，触发执行操作：对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息。
对检测对象进行姿态识别的具体方式，可以参见相关技术中对象姿态识别方法，本申请中不作具体限定。在检测对象的姿态识别结果表示姿态不合格的情况下，说明检测对象当前的姿态并不适合进行异物检测，因此可以丢弃当前的二维图像及深度信息，此外还可以发出提示消息，以提醒检测对象调整自身的姿态。在姿态识别结果表示姿态合格的情况下，说明检测对象当前的姿态并适合进行异物检测，因此可以触发执行步骤：对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息。一个例子中，为了使得三维人偶的姿态与检测对象的姿态更为接近，可以将三维人偶图像中三维人偶的姿态设置为标准的合格姿态。
在本申请实施例中，对姿态不合格的二维图像及深度信息进行丢弃，对姿态合格的二维图像进行异物识别；而在姿态识别结果表示姿态合格的情况下，说明检测对象当前的姿态并适合进行异物检测，因此可以提高异物检测的精度。
为了增加异物检出的精度，减少漏检情况，可以对检测对象的正面二维图像及背面二维图像进行检测及处理。在一种可能的实施方式中，参见图4，所述获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像，包括：
S401，获取检测对象的毫米波三维点云数据。
例如图3所示，毫米波检测设备的正面扫描阵列及背面扫描阵列，共同检测得到检测对象的毫米波三维点云数据。
S402，在所述检测对象的正面方向上对所述毫米波三维点云数据进行投影，得到正面二维图像及正面图像深度信息。
在得到毫米波三维点云数据后，在检测对象的正面方向上对毫米波三维点云数据进行投影得到正面二维图像；一个例子中，可以采用最大值投影的方式得到正面二维图像。此外，因为毫米波三维点云数据是三维的，因此还能够得到正面二维图像中各个像素的深度，即正面图像深度信息。最大值投影是指针对投影平面（水平轴与高度轴所组成的平面）上的任一像素点，在毫米波三维点云数据中该像素点对应位置的各距离点的强度值中，选取最大强度值表示投影的二维图像中该像素点的灰度值，以此可以提高检测对象及异物表面轮廓的精度。
S403，在所述检测对象的背面方向上对所述毫米波三维点云数据进行投影，得到背面二维图像及背面图像深度信息。
在得到毫米波三维点云数据后，在检测对象的背面方向上对毫米波三维点云数据进行投影，得到背面二维图像；一个例子中，可以采用最大值投影的方式得到背面二维图像。此外，因为毫米波三维点云数据是三维的，因此还能够得到背面二维图像中各个像素的深度，即背面图像深度信息。
S404，将所述毫米波三维点云数据中的检测对象进行人偶化处理得到三维人偶图像；或，获取预设的三维人偶图像。
一个例子中，对毫米波三维点云数据中的检测对象进行聚类，得到检测对象的点云集合；然后对检测对象的点云集合进行人偶化处理，仅保留用于示意检测对象的基本轮廓，去除掉检测对象的隐私细节，从而得到三维人偶图像。
另一个例子中，三维人偶图像可以为按照预设姿态（标准的合格姿态）对人偶进行建模而得到的三维图像。
在本申请实施例中，通过对毫米波三维点云数据进行最大值投影的方式，得到背面二维图像、背面图像深度信息、正面二维图像、正面图像深度信息。对检测对象的正面二维图像及背面二维图像进行检测及处理，相比于对单面的二维图像进行检测及处理，能够增加异物检出的精度，减少漏检情况。
在一种可能的实施方式中，所述二维图像包括所述检测对象的正面二维图像和/或背面二维图像；所述深度信息包括所述正面二维图像的正面图像深度信息、和/或所述背面二维图像的背面图像深度信息；其中，所述正面二维图像和所述背面二维图像表示所述检测对象的相背两个方向的检测图像；例如，以检测对象为人类为例，检测对象的正面二维图像可以如图1中的左图所示，背面二维图像可以如图1中的右图所示。
参见图5，所述对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息，包括：
S501，对所述正面二维图像进行异物识别，得到所述异物在所述正面二维图像中的正面二维位置信息；和/或，对所述背面二维图像进行异物识别，得到所述异物在所述背面二维图像中的背面二维位置信息；
所述根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息包括：
S502，根据所述正面图像深度信息、以及所述正面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；和/或，根据所述背面图像深度信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；和/或，根据所述正面图像深度信息、所述背面图像深度信息、所述正面二维位置信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息。
根据正面图像深度信息及异物的正面二维位置信息，至少可以得到异物在正面方向上的厚度；根据背面图像深度信息及异物的背面二维位置信息，至少可以得到异物在背面方向上的厚度；结合异物的正面/背面二维位置信息及厚度，便可以得到异物在毫米波检测设备的三维坐标系中的三维坐标，将其转换到三维人偶图像中，从而得到异物在三维人偶图像中的三维位置信息。
在本申请实施例中，结合正面二维图像及背面二维图像的异物检测结果，相比于对单面的二维图像进行检测及处理，能够增加异物检出的精度，减少漏检情况。
针对检测对象内侧的异物，仅能从正面或背面一个方向上观测到；而针对检测对象外侧的异物，则可以同时从正面及背面两个方向上观测到，因此可以对检测对象内侧的异物及检测对象外侧的异物分别采取不同的处理方式。在一种可能的实施方式中，所述方法还包括：
步骤一，对所述正面二维图像进行对象区域分割，得到对象正面内侧区域和对象正面外侧区域；对所述背面二维图像进行对象区域分割，得到对象背面内侧区域和对象背面外侧区域。
一个例子中，以检测对象为人体为例，可以通过基于深度学习的人体分割模型，对正面二维图像进行人体区域分割，得到人体正面内侧区域和人体正面外侧区域，人体正面内侧区域例如图1左侧正面图像中的人体区域所示，人体正面外侧区域例如图1左侧正面图像中的除人体之外的区域所示。同样的，可以通过基于深度学习的人体分割模型，对背面二维图像进行人体区域分割，得到人体背面内侧区域和人体背面外侧区域，人体背面内侧区域例如图1右侧背面图像中的人体区域所示，人体背面外侧区域例如图1右侧背面图像中的除人体之外的区域所示。一般情况下，对象正面/背面内侧区域中的异物与毫米波天线平行或存在小于90°的夹角；对象正面/背面外侧区域中的异物与毫米波天线的夹角接近90°
步骤二，分别确定各正面二维位置信息表示的异物区域与对象正面内侧区域、对象正面外侧区域的第一位置关系，其中，表示的异物区域至少一部分处于对象正面内侧区域的正面二维位置信息为第一正面二维位置信息，表示的异物区域全部处于对象正面外侧区域的正面二维位置信息为第二正面二维位置信息；分别确定各背面二维位置信息表示的异物区域与对象背面内侧区域、对象背面外侧区域的第二位置关系，其中，表示的异物区域至少一部分处于对象背面内侧区域的背面二维位置信息为第一背面二维位置信息，表示的异物区域全部处于对象背面外侧区域的背面二维位置信息为第二背面二维位置信息。
在完成检测对象内侧及外参区域的分割后，在一种可能的实施方式中，参见图6，所述根据所述正面图像深度信息、所述背面图像深度信息、所述正面二维位置信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息，包括：
S601，计算第二正面二维位置信息与第二背面二维位置信息之间的交并比，将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，得到合并二维位置信息，其中，第二正面二维位置信息为表示的异物区域全部处于检测对象正面外侧区域的正面二维位置信息，所述检测对象正面外侧区域为所述正面二维图像中处于所述检测对象区域外部的图像区域；第二背面二维位置信息为表示的异物区域全部处于检测对象背面外侧区域的背面二维位置信息，所述检测对象背面外侧区域为所述背面二维图像中处于所述检测对象区域外部的图像区域，进行合并的第二正面二维位置信息与第二背面二维位置信息用于描述所述检测对象上的同一个异物；
S602，根据所述合并二维位置信息、所述正面图像深度信息、所述背面图像深度信息，确定该合并二维位置信息表示的异物区域在所述三维人偶图像中三维位置信息。
第二正面二维位置信息表示的异物区域全部处于对象正面外侧区域，第二背面二维位置信息表示的异物区域全部处于对象背面外侧区域，满足此种情况的异物，理论上在正面及背面均可以观测到。因此，可以对同一异物的第二正面二维位置信息及第二背面二维位置信息进行融合，并结合正面图像深度信息、背面图像深度信息，确定相应异物在三维人偶图像中的长、宽及厚度。
一个例子中，可以计算各第二正面二维位置信息与各第二背面二维位置信息之间的交并比，将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，得到合并二维位置信息，其中，未合并的第二正面二维位置信息为第三正面二维位置信息，未合并的第二背面二维位置信息为第三背面二维位置信息。针对每一个合并二维位置信息，根据该合并二维位置信息、所述正面图像深度信息、所述背面图像深度信息，确定该合并二维位置信息表示的异物区域在所述三维人偶图像中的长、宽及厚度。
将第二正面二维位置信息表示的异物区域称为第二正面异物区域，将第二背面二维位置信息表示的异物区域称为第二背面异物区域；计算各第二正面异物区域与各第二背面异物区域之间的交并比。交并比可以采集现有技术中的交并比计算方式，一个例子中，计算第二正面二维位置信息与第二背面二维位置信息二者表示的异物区域在竖直平面上的交集区域及并集区域，并计算交集区域与并集区域的比值，从而得到交并比。若计算得到的交并比大于预设百分比阈值，则认为相应的第二正面异物区域与第二背面异物区域分别为同一个异物在前面及背面观测到的异物区域，需要对相应的第二正面二维位置信息与第二背面二维位置信息进行合并。一个例子中，为了减少异物漏检的情况，可以采用取并集的方式来进行合并。
在其他例子中，也可以采用取最大值的方式进行合并，在一种可能的实施方式中，所述将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，得到合并二维位置信息，包括：分别获取交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息表示的异物区域的长Mf、Mb，以及宽Nf、Nb；根据Mf、Mb、Nf、Nb，确定合并二维位置信息表示的异物区域长、宽分别为Mside=max(Mf，Mb)、 Nside=max(Nf，Nb)。
第二正面二维位置信息表示的异物区域的长、宽分别为Mf、Nf，第二背面二维位置信息表示的异物区域长、宽分别为Mb、Nb，对这两个二维位置信息进行合并，得到的合并二维位置信息表示的异物区域长、宽分别为Mside=max(Mf，Mb)、 Nside=max(Nf，Nb)。
因为合并二维位置信息表示的异物区域在正面及背面均可以观测到，因此合并二维位置信息表示的异物区域在毫米波检测设备的三维坐标系的厚度，可以通过正面图像深度信息、背面图像深度信息直接计算得到。然后通过坐标转换的方式，便可以将合并二维位置信息表示的异物区域的长、宽及厚度转换到三维人偶图像中。
在一种可能的实施方式是中，所述根据所述正面图像深度信息、以及所述正面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息，包括以下至少之一：
步骤一，根据第一正面二维位置信息及所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，根据所述第一正面二维位置信息、所述第一正面二维位置信息对应的倾斜角度及尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，第一正面二维位置信息为表示的异物区域至少一部分处于所述检测对象正面内侧区域的正面二维位置信息，所述检测对象正面内侧区域为所述正面二维图像中检测对象本身所占的图像区域，所述尺寸信息包括长、宽及厚度中的至少一种；
步骤二，根据第三正面二维位置信息以及所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，根据所述第三正面二维位置信息、以及所述第三正面二维位置信息对应的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，所述第三正面二维位置信息是指在表示的异物区域全部处于检测对象正面外侧区域的正面二维位置信息中，不存与之表示同一个异物的背面二维位置信息的正面二维位置信息；
第一正面二维位置信息表示的异物区域至少一部分处于对象正面内侧区域，可以根据第一正面二维位置信息、正面图像深度信息，确定该第一正面二维位置信息对应的异物在三维人偶图像中的倾斜角度、长、宽及厚度。在一种可能的实施方式中，针对每一个第一正面二维位置信息，根据该第一正面二维位置信息及所述正面图像深度信息，确定该第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、长、宽及厚度；
未合并的第二正面二维位置信息称为第三正面二维位置信息，针对每一个第三正面二维位置信息，可以根据该第三正面二维位置信息、所述正面图像深度信息，确定该第三正面二维位置信息表示的异物区域在所述三维人偶图像中的长、宽及厚度。第三正面二维位置信息仅可以从正面观测到，因此可以根据正面图像深度信息，来估算得到第三正面二维位置信息表示的异物区域在毫米波检测设备的三维坐标系的厚度。然后通过坐标转换的方式，便可以将第三正面二维位置信息表示的异物区域的长、宽及厚度转换到三维人偶图像中。
在一种可能的实施方式是中，所述根据所述背面图像深度信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息，包括以下至少之一：
根据第一背面二维位置信息及所述背面图像深度信息，确定所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，根据所述第一背面二维位置信息、所述第一背面二维位置信息对应的倾斜角度及尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，第一背面二维位置信息为表示的异物区域至少一部分处于所述检测对象背面内侧区域的背面二维位置信息，所述检测对象背面内侧区域为所述背面二维图像中检测对象本身所占的图像区域，所述尺寸信息包括长、宽及厚度中的至少一种；
根据第三背面二维位置信息以及所述背面图像深度信息，确定所述第三背面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，根据所述第三背面二维位置信息、以及所述第三背面二维位置信息对应的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，所述第三背面二维位置信息是指在表示的异物区域全部处于检测对象背面外侧区域的背面二维位置信息中，不存与之表示同一个异物的正面二维位置信息的背面二维位置信息。
第一背面二维位置信息表示的异物区域至少一部分处于对象背面内侧区域，可以根据第一背面二维位置信息、背面图像深度信息，确定该第一背面二维位置信息对应的异物在三维人偶图像中的倾斜角度、长、宽及厚度。在一种可能的实施方式中，针对每一个第一背面二维位置信息，根据该第一背面二维位置信息及所述背面图像深度信息，确定该第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、长、宽及厚度。
未合并的第二背面二维位置信息称为第三背面二维位置信息，针对每一个第三背面二维位置信息，可以根据该第三背面二维位置信息、所述背面图像深度信息，确定该第三背面二维位置信息表示的异物区域在所述三维人偶图像中的长、宽及厚度。第三背面二维位置信息仅可以从背面观测到，因此可以根据背面图像深度信息，来估算得到第三背面二维位置信息表示的异物区域在毫米波检测设备的三维坐标系的厚度。然后通过坐标转换的方式，便可以将第三背面二维位置信息表示的异物区域的长、宽及厚度转换到三维人偶图像中。
针对检测对象内侧的异物，仅能从正面或背面一个方向上观测到；而针对检测对象外侧的异物，则可以同时从正面及背面两个方向上观测到，在本申请实施例中，对检测对象内侧的异物及检测对象外侧的异物分别采取不同的处理方式，可以提高异物检出的精度。
下面对检测对象内侧的异物处理过程进行具体介绍。在一种可能的实施方式中，所述根据第一正面二维位置信息及所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，包括：
步骤A，根据所述第一正面二维位置信息确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域，其中，所述扩展区域为在预设方向上围绕该正面二维位置信息表示的异物区域的区域。
针对每一个第一正面二维位置信息，根据该第一正面二维位置信息确定该第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域。本申请实施例中的多个预设方向，可以根据实际情况自定义设置；一个例子中，可以有四个预设方向，例如设置为上、下、左、右，还可以设置为左上、左下、右上、右下等。
步骤B，根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值。
针对每一正面图像深度信息，根据该正面图像深度信息，确定该第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值。以四个预设方向分别为正面二维图像的水平轴正方向、水平轴负方向、竖直轴正方向、竖直轴负方向为例，在一种可能的实施方式中，针对每一个第一正面二维位置信息，根据该第一正面二维位置信息及所述正面图像深度信息，确定该第一正面二维位置信息表示的异物区域在水平轴正方向上的扩展区域的第一深度值、在水平轴负方向上的扩展区域的第二深度值、在竖直轴正方向上的扩展区域的第三深度值、在竖直轴负方向上的扩展区域的第四深度值。
一个例子中，参见图7，第一正面二维位置信息表示的异物区域如图7中左侧实线矩形框所示，在四个预设方向上的扩展区域的集合如图7中左侧虚线矩形框所示，放大之后如图7右侧所示，①表示在竖直轴正方向上的扩展区域，②表示在水平轴正方向上的扩展区域，③表示在竖直轴负方向上的扩展区域，④表示在水平轴负方向上的扩展区域。针对任一扩展区域，该扩展区域的深度值，可以为该扩展区域中各点的平均深度值、最小深度值或最大深度值等，具体可以根据实际情况设置。
第一正面二维位置信息表示的异物区域至少一部分处于对象正面内侧区域，存在两种情况，一种是第一正面二维位置信息表示的异物区域全部处于对象正面内侧区域；另一种是第一正面二维位置信息表示的异物区域部分处于对象正面内侧区域、部分处于对象正面外侧区域，即异物处于检测对象内侧与外侧交界处。此种情况下，会有一个扩展区域处于对象正面外侧区域中，而针对处于对象正面外侧区域的扩展区域，并不能够准确的得到该扩展区域的深度值。因此在一种可能的实施方式中，针对该第一正面二维位置信息的任一扩展区域，在该扩展区域处于所述对象正面外侧区域的情况下时，该扩展区域的深度值为第一预设深度值。第一预设深度值可以根据实际情况进行设置，例如，可以为经验值，或者可以为正面扫描阵列到检测对象中心的距离。
步骤C，根据所述第一正面二维位置信息对应的扩展区域的深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度；
针对每一正面图像深度信息，根据该第一正面二维位置信息对应的各扩展区域的深度值，计算得到该第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度。针对对端的两个扩展区域，可以基于这两个扩展区域的深度值，来得到某个方向上的倾斜角度。例如，基于上、下两个扩展区域的深度值，可以得到竖直方向上的倾斜角度；例如，基于左、右两个扩展区域的深度值，可以得到水平方向上的倾斜角度。
以四个预设方向分别为正面二维图像的水平轴正方向、水平轴负方向、竖直轴正方向、竖直轴负方向为例，在一种可能的实施方式中，根据该第一正面二维位置信息对应的第一深度值及第二深度值，计算得到该第一正面二维位置信息表示的异物区域在所述三维人偶图像中的水平轴倾斜角度。根据该第一正面二维位置信息对应的第三深度值及第四深度值，计算得到该第一正面二维位置信息表示的异物区域在所述三维人偶图像中的竖直轴倾斜角度。
步骤D，根据所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽以及所述第一正面二维位置信息对应的倾斜角度，计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度
针对每一正面图像深度信息，根据该第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽以及该第一正面二维位置信息对应的倾斜角度，计算得到该第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度。一个例子中，可以通过长方体框来表示三维坐标下的异物区域，因此需要根据异物区域在正面二维图像中的长、宽以及对应的倾斜角度，来计算得到异物区域的厚度。
在一种可能的实施方式中，如图8所示，所述根据所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽以及所述第一正面二维位置信息对应的倾斜角度，计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度，包括：
步骤一，根据该第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽计算得到斜边长度。
如图8所示，当通过长方体框来表示三维坐标下的异物区域时，检测对象内侧区域中的异物区域在垂直厚度方向（距离向）上的投影如图8中异物矩形框所示，因此可以根据勾股定理计算得到斜边长度：L
Figure SMS_1
，其中，L表示斜边长度，m表示异物区域在正面二维图像中的长、n表示异物区域在正面二维图像中的宽，Tz表示检测对象的中心，Nz表示人为设定的前/后坐标系的距离上限值，O表示正面扫描阵列。
步骤二，根据所述正面图像深度信息，确定该第一正面二维位置信息表示的异物区域的最近距离得到第一距离，以及确定该第一正面二维位置信息的目标扩展区域的最远距离得到第二距离；其中，在该第一正面二维位置信息的对应的各扩展区域中，位于所述对象正面内侧区域中的扩展区域为该第一正面二维位置信息的目标扩展区域。
在该第一正面二维位置信息表示的异物区域中选取最近距离，即第一距离R_In；在该第一正面二维位置信息的目标扩展区域中选取最远距离，即第二距离R_Out。
步骤三，计算所述第二距离与所述第一距离的距离差得到第三距离。
计算第二距离与第一距离的距离差得到第三距离：ΔR=R_Out-R_In。
步骤四，根据所述斜边长度、所述第三距离及该第一正面二维位置信息对应的倾斜角度，计算得到该第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度。
具体的，可以通过如下公式计算得到该第一正面二维位置信息表示的异物区域在正面二维图像中对应的厚度：
Figure SMS_2
;
其中，P表示所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度，
Figure SMS_3
，L/>
Figure SMS_4
，m表示述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、n表示述第一正面二维位置信息表示的异物区域在正面二维图像中的宽。
步骤E，按照所述正面二维图像与所述三维人偶图像的比例尺，对所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽及厚度进行比例变换，得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、长、宽及厚度。
按照所述正面二维图像与所述三维人偶图像的比例尺，对该第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽及厚度进行比例变换，得到该第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、长、宽及厚度。
可以将毫米波检测设备的三维坐标系的原点设置为三维人偶图像坐标系的原点，两个坐标系的水平向坐标轴平行，两个坐标系的高度向坐标轴平行，且两个坐标系的距离向坐标轴平行；从而可以根据两个坐标系的比例尺，实现坐标的快速转换。可以理解的是，异物区域在正面二维图像中的长、宽及厚度需要按照比例尺进行缩放，而倾斜角度与比例尺无关，无需缩放。
在本申请实施例中，针对至少一部分处于对象正面内侧区域的异物，可以通过扩展区域得到该异物的倾斜角度，从而可以在三维人偶图像中表示出异物的倾斜角度，提高了异物位置的示意效果，便于工作人员直观的获取异物在对象上的位置。
一个例子中，倾斜角度可以包括水平轴倾斜角度。在一种可能的实施方式中，所述根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值，包括：
根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在水平轴正方向上的扩展区域的第一深度值、在水平轴负方向上的扩展区域的第二深度值；
所述根据所述第一正面二维位置信息对应的各扩展区域的深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度，包括：
根据所述第一正面二维位置信息对应的第一深度值及第二深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的水平轴倾斜角度；
进一步示例性地，所述根据所述第一正面二维位置信息对应的第一深度值及第二深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的水平轴倾斜角度，包括：
根据以下公式计算得到水平轴倾斜角度：
Figure SMS_5
;
一个例子中，倾斜角度可以包括竖直轴倾斜角度。在一种可能的实施方式中，所述根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值，包括：
根据所述正面图像深度信息，在竖直轴正方向上的扩展区域的第三深度值、在竖直轴负方向上的扩展区域的第四深度值。
所述根据所述第一正面二维位置信息对应的各扩展区域的深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度，包括：
根据所述第一正面二维位置信息对应的第三深度值及第四深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的竖直轴倾斜角度。
在一种可能的实施方式中，所述根据所述第一正面二维位置信息对应的第三深度值及第四深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的竖直轴倾斜角度，包括：
根据以下公式计算得到竖直轴倾斜角度：
Figure SMS_6
;
其中，第三深度值表示为R1(x1,y1)，第一深度值表示为R2(x2,y2)，第四深度值表示为R3(x3,y3)，第二深度值表示为R4(x4,y4)，水平轴倾斜角度为
Figure SMS_7
，竖直轴倾斜角度为
Figure SMS_8
，Δr、Δy和Δx分别为毫米波检测设备在厚度方向、竖直方向，水平方向三个方向上的分辨率，x1、y1表示竖直轴正方向上的扩展区域的关键点的X坐标及Y坐标，x2、y2表示水平轴正方向上的扩展区域的关键点的X坐标及Y坐标，x3、y3表示竖直轴负方向上的扩展区域的关键点的X坐标及Y坐标，x4、y4表示水平轴负方向上的扩展区域的关键点的X坐标及Y坐标。
一个例子中，参见图7，扩展区域①的第三深度值表示为R1(x1,y1)，扩展区域②的第一深度值表示为R2(x2,y2)，扩展区域③的第四深度值表示为R3(x3,y3)，扩展区域④的第二深度值表示为R4(x4,y4)，则水平轴倾斜角度
Figure SMS_9
及竖直轴倾斜角度/>
Figure SMS_10
可以表示为：
Figure SMS_11
;
Figure SMS_12
;
其中，Δr、Δy和Δx分别为毫米波检测设备在距离方向（厚度方向）、高度方向（竖直方向），水平方向（水平方向）三个方向上的分辨率。在本申请实施例中，异物的倾斜角度可以包括水平轴倾斜角度为
Figure SMS_13
和/或竖直轴倾斜角度为/>
Figure SMS_14
，具体的角度需求计算可以根据实际情况而定。
针对背面二维图像中异物在三维人偶图像中三维信息的确定方法，与正面二维图像中异物在三维人偶图像中三维信息的确定方法类似，相关之处相互参见即可，此处不再赘述。
在一种可能的实施方式中，所述根据所述合并二维位置信息、所述正面图像深度信息、所述背面图像深度信息，确定所述合并二维位置信息表示的异物区域在所述三维人偶图像中三维位置信息，包括：
步骤A，根据所述正面图像深度信息确定所述合并二维位置信息的第二正面二维位置信息的最小厚度得到第四距离，以及根据所述背面图像深度信息确定所述合并二维位置信息的第二背面二维位置信息的最小厚度得到第五距离。
针对每一个合并二维位置信息，根据所述正面图像深度信息确定该合并二维位置信息的第二正面二维位置信息的最小厚度得到第四距离，以及根据所述背面图像深度信息确定该合并二维位置信息的第二背面二维位置信息的最小厚度得到第五距离。
如图9所示，当通过长方体框来表示三维坐标下的异物区域时，检测对象外侧区域中的异物区域在垂直厚度方向（距离向）上的投影如图9中异物矩形框所示。根据正面图像深度信息，确定该合并二维位置信息的第二正面二维位置信息的最小厚度称为第四距离RminF；根据背面图像深度信息，确定该合并二维位置信息的第二背面二维位置信息的最小厚度称为第五距离RminB。
步骤B，根据所述第四距离及所述第五距离，计算得到所述合并二维位置信息表示的异物区域在预设坐标系下的厚度，其中，所述预设坐标系为毫米波检测设备的三维坐标系
Pside = Nz_all – RminF –RminB其中，Nz是人为设定的前/后坐标系的距离上限值，Nz_all表示总坐标系的最大值，是毫米波检测设备的最大有效检测距离，pside表示异物区域在预设坐标系下的异物厚度。
步骤C，获取所述合并二维位置信息在所述预设坐标系下的长、宽，按照所述预设坐标系与所述三维人偶图像的比例尺，对所述合并二维位置信息在所述预设坐标系下的尺寸信息进行比例变换，得到所述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息
可以将毫米波检测设备的三维坐标系的原点设置为三维人偶图像坐标系的原点，两个坐标系的水平向坐标轴平行，两个坐标系的高度向坐标轴平行，且两个坐标系的距离向坐标轴平行；从而可以根据两个坐标系的比例尺，实现坐标的快速转换。
步骤D，根据所述合并二维位置信息、所述述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息。
一个例子中，利用比例尺对合并二维位置信息表示的异物区域中任一个角点的横、纵坐标进行变换，可以得到该角点在三维人偶图像中的横、纵坐标（即水平方向及竖直方向上的坐标），并结合尺寸信息，从而可以确定异物在所述三维人偶图像中的三维位置信息。
在一种可能的实施方式中，所述根据第三正面二维位置信息以及所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，包括：
步骤一，根据所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域的最小厚度得到第六距离。
针对每一个第三正面二维位置信息，根据所述正面图像深度信息，确定该第三正面二维位置信息表示的异物区域的最小厚度得到第六距离。如图9所示，当通过长方体框来表示三维坐标下的异物区域时，检测对象外侧区域中的异物区域在垂直厚度方向（距离向）上的投影如图9中异物矩形框所示。根据正面图像深度信息，确定该合并二维位置信息的第二正面二维位置信息的最小厚度称为第六距离RminF。
步骤二获取第二预设深度值得到第七距离、所述第三正面二维位置信息的异物区域在所述正面二维图像中的长、宽。
第二预设深度值可以根据实际情况进行设置，例如，可以为经验值，或者可以为前/后坐标系的距离上限值Nz。
步骤C，计算所述第七距离与所述第六距离的差值，得到所述第三正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度。
pside=Nz-RminF其中，pside表示异物区域在预设坐标系下的厚度。
步骤D，按照所述正面二维图像与所述三维人偶图像的比例尺，对所述第三正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽及厚度进行比例变换，得到所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的长、宽及厚度。
可以将毫米波检测设备的三维坐标系的原点设置为三维人偶图像坐标系的原点，两个坐标系的水平向坐标轴平行，两个坐标系的高度向坐标轴平行，且两个坐标系的距离向坐标轴平行；从而可以根据两个坐标系的比例尺，实现坐标的快速转换。
步骤四，根据所述合并二维位置信息、所述述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息。
在本申请实施例中，将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，相比于对正面/背面二维图像分别进行标注显示，可以减少同一异物被重复显示的情况。
本申请实施例还提供了一种异物处理方法，参见图10，包括：获取检测对象的二维图像、二维图像的深度信息及三维人偶图像；对二维图像中的检测对象进行姿态识别，判断姿势是否合格；在姿态合格的情况下，对二维图像进行异物识别，得到异物在二维图像中的二维位置信息；对二维图像进行对象区别分割，得到对象内侧区域和对象外侧区域；判断异物区域与对象内侧区域和对象外侧区域的位置关系，当异物区域处于对象内侧区域时，计算异物区域在三维人偶图像中的倾斜角度、长、宽及厚度；当异物区域处于对象外侧区域时，通过计算正面、背面二维位置信息的交并比，将正面、背面二维位置信息进行合并得到长及宽，以及计算正面二维位置信息与背面二维位置信息的距离差得到厚度；根据异物在三维人偶图像中的长、宽及厚度表示出异物。一个例子中，在三维人偶图像中表示出异物的示意图，可以如图11所示。如图11所示，分别示例出了人体手臂、腿部、和上身肢体存在的异物。
本申请实施例还提供了一种异物处理装置，参见图12，包括：
数据获取模块1201，用于获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像；
异物识别模块1202，用于对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息；
三维位置确定模块1203，用于根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
异物表示模块1204，用于按照所述三维位置信息，在所述三维人偶图像中表示出所述异物。
在一种可能的实施方式中，所述装置还包括：
姿态识别模块，用于对所述二维图像中的检测对象进行姿态识别，得到姿态识别结果；在所述姿态识别结果表示姿态不合格的情况下，丢弃所述二维图像及所述深度信息；和/或，在所述姿态识别结果表示姿态合格的情况下，触发执行操作：对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息。
在一种可能的实施方式中，所述二维图像包括所述检测对象的正面二维图像和/或背面二维图像；所述深度信息包括所述正面二维图像的正面图像深度信息、和/或所述背面二维图像的背面图像深度信息；其中，所述正面二维图像和所述背面二维图像表示所述检测对象的相背两个方向的检测图像；
所述异物识别模块，具体用于：对所述正面二维图像进行异物识别，得到所述异物在所述正面二维图像中的正面二维位置信息；和/或，对所述背面二维图像进行异物识别，得到所述异物在所述背面二维图像中的背面二维位置信息；
所述三维位置确定模块包括以下至少一项：
第一三维位置信息确定子模块，用于根据所述正面图像深度信息、以及所述正面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
第二三维位置信息确定子模块，用于根据所述背面图像深度信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
第三三维位置信息确定子模块，用于根据所述正面图像深度信息、所述背面图像深度信息、所述正面二维位置信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息。
在一种可能的实施方式中，所述数据获取模块，具体用于：获取检测对象的毫米波三维点云数据；在所述检测对象的正面方向上对所述毫米波三维点云数据进行投影，得到正面二维图像及正面图像深度信息；在所述检测对象的背面方向上对所述毫米波三维点云数据进行投影，得到背面二维图像及背面图像深度信息；将所述毫米波三维点云数据中的检测对象进行人偶化处理得到三维人偶图像；或，获取预设的三维人偶图像。
在一种可能的实施方式中，所述第三三维位置信息确定子模块，具体用于：计算第二正面二维位置信息与第二背面二维位置信息之间的交并比，将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，得到合并二维位置信息，其中，第二正面二维位置信息为表示的异物区域全部处于检测对象正面外侧区域的正面二维位置信息，所述检测对象正面外侧区域为所述正面二维图像中处于所述检测对象区域外部的图像区域；第二背面二维位置信息为表示的异物区域全部处于检测对象背面外侧区域的背面二维位置信息，所述检测对象背面外侧区域为所述背面二维图像中处于所述检测对象区域外部的图像区域，进行合并的第二正面二维位置信息与第二背面二维位置信息用于描述所述检测对象上的同一个异物；根据所述合并二维位置信息、所述正面图像深度信息、所述背面图像深度信息，确定所述合并二维位置信息表示的异物区域在所述三维人偶图像中三维位置信息。
在一种可能的实施方式中，所述第一三维位置信息确定子模块，包括以下至少之一：
第一计算单元，用于根据第一正面二维位置信息及所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，根据所述第一正面二维位置信息、所述第一正面二维位置信息对应的倾斜角度及尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，第一正面二维位置信息为表示的异物区域至少一部分处于所述检测对象正面内侧区域的正面二维位置信息，所述检测对象正面内侧区域为所述正面二维图像中检测对象本身所占的图像区域，所述尺寸信息包括长、宽及厚度中的至少一种；
第二计算单元，用于根据第三正面二维位置信息以及所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，根据所述第三正面二维位置信息、以及所述第三正面二维位置信息对应的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，所述第三正面二维位置信息是指在表示的异物区域全部处于检测对象正面外侧区域的正面二维位置信息中，不存与之表示同一个异物的背面二维位置信息的正面二维位置信息；
和/或，所述第二三维位置信息确定子模块，包括以下至少之一：
第三计算单元，用于根据第一背面二维位置信息及所述背面图像深度信息，确定所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，根据所述第一背面二维位置信息、所述第一背面二维位置信息对应的倾斜角度及尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，第一背面二维位置信息为表示的异物区域至少一部分处于所述检测对象背面内侧区域的背面二维位置信息，所述检测对象背面内侧区域为所述背面二维图像中检测对象本身所占的图像区域，所述尺寸信息包括长、宽及厚度中的至少一种；
第四计算单元，用于根据第三背面二维位置信息以及所述背面图像深度信息，确定所述第三背面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，根据所述第三背面二维位置信息、以及所述第三背面二维位置信息对应的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，所述第三背面二维位置信息是指在表示的异物区域全部处于检测对象背面外侧区域的背面二维位置信息中，不存与之表示同一个异物的正面二维位置信息的背面二维位置信息。
在一种可能的实施方式中，所述第一计算单元，具体用于：根据所述第一正面二维位置信息确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域，其中，所述扩展区域为在预设方向上围绕所述正面二维位置信息表示的异物区域的区域；根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值；根据所述第一正面二维位置信息对应的扩展区域的深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度；根据所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽以及所述第一正面二维位置信息对应的倾斜角度，计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度；按照所述正面二维图像与所述三维人偶图像的比例尺，对所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的尺寸信息进行比例变换，得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、以及尺寸信息；
和/或
所述根第三计算单元，具体用于：根据所述第一背面二维位置信息确定所述第一背面二维位置信息表示的异物区域在多个预设方向上的扩展区域，其中，所述扩展区域为在预设方向上围绕所述背面二维位置信息表示的异物区域的区域；根据所述背面图像深度信息，确定所述第一背面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值；根据所述第一背面二维位置信息对应的扩展区域的深度值，计算得到所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度；根据所述第一背面二维位置信息表示的异物区域在所述背面二维图像中的长、宽以及所述第一背面二维位置信息对应的倾斜角度，计算得到所述第一背面二维位置信息表示的异物区域在所述背面二维图像中对应的厚度；按照所述背面二维图像与所述三维人偶图像的比例尺，对所述第一背面二维位置信息表示的异物区域在所述背面二维图像中的尺寸信息进行比例变换，得到所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、以及尺寸信息。
在一种可能的实施方式中，所述第一计算单元，具体用于：根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在水平轴正方向上的扩展区域的第一深度值、在水平轴负方向上的扩展区域的第二深度值；和/或。根据所述正面图像深度信息，在竖直轴正方向上的扩展区域的第三深度值、在竖直轴负方向上的扩展区域的第四深度值；
所述根第三计算单元，具体用于：根据所述第一正面二维位置信息对应的第一深度值及第二深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的水平轴倾斜角度；和/或，根据所述第一正面二维位置信息对应的第三深度值及第四深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的竖直轴倾斜角度。
在一种可能的实施方式中，所述根第三计算单元，具体用于：
根据以下公式计算得到水平轴倾斜角度：
Figure SMS_15
;
和/或
所述根第三计算单元，具体用于：
根据以下公式计算得到竖直轴倾斜角度：
Figure SMS_16
;
其中，第三深度值表示为R1(x1,y1)，第一深度值表示为R2(x2,y2)，第四深度值表示为R3(x3,y3)，第二深度值表示为R4(x4,y4)，水平轴倾斜角度为
Figure SMS_17
，竖直轴倾斜角度为
Figure SMS_18
，Δr、Δy和Δx分别为毫米波检测设备在厚度方向、竖直方向，水平方向三个方向上的分辨率，x1、y1表示竖直轴正方向上的扩展区域的关键点的X坐标及Y坐标，x2、y2表示水平轴正方向上的扩展区域的关键点的X坐标及Y坐标，x3、y3表示竖直轴负方向上的扩展区域的关键点的X坐标及Y坐标，x4、y4表示水平轴负方向上的扩展区域的关键点的X坐标及Y坐标。
在一种可能的实施方式中，所述第一计算单元，具体用于：
根据以下公式计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度：
Figure SMS_19
;
其中，P表示所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度，
Figure SMS_20
，L/>
Figure SMS_21
，m表示述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、n表示述第一正面二维位置信息表示的异物区域在正面二维图像中的宽。
所述第三三维位置信息确定子模块，具体用于：根据所述正面图像深度信息确定所述合并二维位置信息的第二正面二维位置信息的最小厚度得到第四距离，以及根据所述背面图像深度信息确定所述合并二维位置信息的第二背面二维位置信息的最小厚度得到第五距离；根据所述第四距离及所述第五距离，计算得到所述合并二维位置信息表示的异物区域在预设坐标系下的厚度，其中，所述预设坐标系为毫米波检测设备的三维坐标系；获取所述合并二维位置信息在所述预设坐标系下的长、宽，按照所述预设坐标系与所述三维人偶图像的比例尺，对所述合并二维位置信息在所述预设坐标系下的尺寸信息进行比例变换，得到所述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息；根据所述合并二维位置信息、所述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息。
在一种可能的实施方式中，所述第二计算单元，具体用于：根据所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域的最小厚度得到第六距离；获取第二预设深度值得到第七距离、所述第三正面二维位置信息的异物区域在所述正面二维图像中的长、宽；计算所述第七距离与所述第六距离的差值，得到所述第三正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度；按照所述正面二维图像与所述三维人偶图像的比例尺，对所述第三正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽及厚度进行比例变换，得到所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的长、宽及厚度。
在一种可能的实施方式中，所述第三三维位置信息确定子模块，具体用于：分别获取交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息表示的异物区域的长Mf、Mb，以及宽Nf、Nb；根据Mf、Mb、Nf、Nb，确定合并二维位置信息表示的异物区域长、宽分别为Mside=max(Mf，Mb)、 Nside=max(Nf，Nb)。
本申请实施例还提供了一种电子设备，如图13所示，包括
存储器1301，用于存放计算机程序；
处理器1302，用于执行存储器1301上所存放的程序时，实现本申请中任一所述的异物处理方法。
一个例子中，本申请实施例的电子设备还包括通信接口和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-ProgrammableGate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的异物处理方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请中任一所述的异物处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者固态硬盘Solid StateDisk (SSD)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (16)

1.一种异物处理方法，其特征在于，包括：
获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像；
对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息；
根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
按照所述三维位置信息，在所述三维人偶图像中表示出所述异物。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述二维图像中的检测对象进行姿态识别，得到姿态识别结果；
在所述姿态识别结果表示姿态不合格的情况下，丢弃所述二维图像及所述深度信息；
和/或
在所述姿态识别结果表示姿态合格的情况下，触发执行操作：对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息。
3.根据权利要求1所述的方法，其特征在于，所述二维图像包括所述检测对象的正面二维图像和/或背面二维图像；所述深度信息包括所述正面二维图像的正面图像深度信息、和/或所述背面二维图像的背面图像深度信息；其中，所述正面二维图像和所述背面二维图像表示所述检测对象的相背两个方向的检测图像；
所述对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息，包括：
对所述正面二维图像进行异物识别，得到所述异物在所述正面二维图像中的正面二维位置信息；和/或，对所述背面二维图像进行异物识别，得到所述异物在所述背面二维图像中的背面二维位置信息；
所述根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息包括以下至少一项：
根据所述正面图像深度信息、以及所述正面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
根据所述背面图像深度信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
根据所述正面图像深度信息、所述背面图像深度信息、所述正面二维位置信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息。
4.根据权利要求3所述的方法，其特征在于，所述获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像，包括：
获取检测对象的毫米波三维点云数据；
在所述检测对象的正面方向上对所述毫米波三维点云数据进行投影，得到正面二维图像及正面图像深度信息；
在所述检测对象的背面方向上对所述毫米波三维点云数据进行投影，得到背面二维图像及背面图像深度信息；
将所述毫米波三维点云数据中的检测对象进行人偶化处理得到三维人偶图像；或，获取预设的三维人偶图像。
5.根据权利要求3所述的方法，其特征在于，所述根据所述正面图像深度信息、所述背面图像深度信息、所述正面二维位置信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息，包括：
计算第二正面二维位置信息与第二背面二维位置信息之间的交并比，将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，得到合并二维位置信息，其中，第二正面二维位置信息为表示的异物区域全部处于检测对象正面外侧区域的正面二维位置信息，所述检测对象正面外侧区域为所述正面二维图像中处于所述检测对象区域外部的图像区域；第二背面二维位置信息为表示的异物区域全部处于检测对象背面外侧区域的背面二维位置信息，所述检测对象背面外侧区域为所述背面二维图像中处于所述检测对象区域外部的图像区域，进行合并的第二正面二维位置信息与第二背面二维位置信息用于描述所述检测对象上的同一个异物；
根据所述合并二维位置信息、所述正面图像深度信息、以及所述背面图像深度信息，确定所述合并二维位置信息表示的异物区域在所述三维人偶图像中三维位置信息。
6.根据权利要求3至5任一所述的方法，其特征在于，
所述根据所述正面图像深度信息、以及所述正面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息，包括以下至少之一：
根据第一正面二维位置信息及所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，根据所述第一正面二维位置信息、所述第一正面二维位置信息对应的倾斜角度及尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，第一正面二维位置信息为表示的异物区域至少一部分处于所述检测对象正面内侧区域的正面二维位置信息，所述检测对象正面内侧区域为所述正面二维图像中检测对象本身所占的图像区域；
根据第三正面二维位置信息以及所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，根据所述第三正面二维位置信息、以及所述第三正面二维位置信息对应的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，所述第三正面二维位置信息是指在表示的异物区域全部处于检测对象正面外侧区域的正面二维位置信息中，不存与之表示同一个异物的背面二维位置信息的正面二维位置信息；
和/或，
所述根据所述背面图像深度信息、以及所述背面二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息，包括以下至少之一：
根据第一背面二维位置信息及所述背面图像深度信息，确定所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，根据所述第一背面二维位置信息、所述第一背面二维位置信息对应的倾斜角度及尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，第一背面二维位置信息为表示的异物区域至少一部分处于所述检测对象背面内侧区域的背面二维位置信息，所述检测对象背面内侧区域为所述背面二维图像中检测对象本身所占的图像区域；
根据第三背面二维位置信息以及所述背面图像深度信息，确定所述第三背面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，根据所述第三背面二维位置信息、以及所述第三背面二维位置信息对应的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息；其中，所述第三背面二维位置信息是指在表示的异物区域全部处于检测对象背面外侧区域的背面二维位置信息中，不存与之表示同一个异物的正面二维位置信息的背面二维位置信息。
7.根据权利要求6所述的方法，其特征在于，
所述根据第一正面二维位置信息及所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，包括：
根据所述第一正面二维位置信息确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域，其中，所述扩展区域为在预设方向上围绕所述正面二维位置信息表示的异物区域的区域；
根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值；
根据所述第一正面二维位置信息对应的扩展区域的深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度；
根据所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽以及所述第一正面二维位置信息对应的倾斜角度，计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度；
按照所述正面二维图像与所述三维人偶图像的比例尺，对所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的尺寸信息进行比例变换，得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、以及尺寸信息；
和/或
所述根据第一背面二维位置信息及所述背面图像深度信息，确定所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度及尺寸信息，包括：
根据所述第一背面二维位置信息确定所述第一背面二维位置信息表示的异物区域在多个预设方向上的扩展区域，其中，所述扩展区域为在预设方向上围绕所述背面二维位置信息表示的异物区域的区域；
根据所述背面图像深度信息，确定所述第一背面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值；
根据所述第一背面二维位置信息对应的扩展区域的深度值，计算得到所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度；
根据所述第一背面二维位置信息表示的异物区域在所述背面二维图像中的长、宽以及所述第一背面二维位置信息对应的倾斜角度，计算得到所述第一背面二维位置信息表示的异物区域在所述背面二维图像中对应的厚度；
按照所述背面二维图像与所述三维人偶图像的比例尺，对所述第一背面二维位置信息表示的异物区域在所述背面二维图像中的尺寸信息进行比例变换，得到所述第一背面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度、以及尺寸信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在多个预设方向上的扩展区域的深度值，包括：
根据所述正面图像深度信息，确定所述第一正面二维位置信息表示的异物区域在水平轴正方向上的扩展区域的第一深度值、在水平轴负方向上的扩展区域的第二深度值；
和/或
根据所述正面图像深度信息，在竖直轴正方向上的扩展区域的第三深度值、在竖直轴负方向上的扩展区域的第四深度值；
所述根据所述第一正面二维位置信息对应的各扩展区域的深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的倾斜角度，包括：
根据所述第一正面二维位置信息对应的第一深度值及第二深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的水平轴倾斜角度；
和/或
根据所述第一正面二维位置信息对应的第三深度值及第四深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的竖直轴倾斜角度。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一正面二维位置信息对应的第一深度值及第二深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的水平轴倾斜角度，包括：
根据以下公式计算得到水平轴倾斜角度：
Figure QLYQS_1
;
和/或
所述根据所述第一正面二维位置信息对应的第三深度值及第四深度值，计算得到所述第一正面二维位置信息表示的异物区域在所述三维人偶图像中的竖直轴倾斜角度，包括：
根据以下公式计算得到竖直轴倾斜角度：
Figure QLYQS_2
;
其中，第三深度值表示为R1(x1,y1)，第一深度值表示为R2(x2,y2)，第四深度值表示为R3(x3,y3)，第二深度值表示为R4(x4,y4)，水平轴倾斜角度为
Figure QLYQS_3
，竖直轴倾斜角度为/>
Figure QLYQS_4
，Δr、Δy和Δx分别为毫米波检测设备在厚度方向、竖直方向，水平方向三个方向上的分辨率，x1、y1表示竖直轴正方向上的扩展区域的关键点的X坐标及Y坐标，x2、y2表示水平轴正方向上的扩展区域的关键点的X坐标及Y坐标，x3、y3表示竖直轴负方向上的扩展区域的关键点的X坐标及Y坐标，x4、y4表示水平轴负方向上的扩展区域的关键点的X坐标及Y坐标。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽以及所述第一正面二维位置信息对应的倾斜角度，计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度，包括：
根据以下公式计算得到所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度：
Figure QLYQS_5
;
其中，P表示所述第一正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度，
Figure QLYQS_6
，L/>
Figure QLYQS_7
，m表示述第一正面二维位置信息表示的异物区域在所述正面二维图像中的长、n表示述第一正面二维位置信息表示的异物区域在正面二维图像中的宽。
11.根据权利要求5所述的方法，其特征在于，所述根据所述合并二维位置信息、所述正面图像深度信息、所述背面图像深度信息，确定所述合并二维位置信息表示的异物区域在所述三维人偶图像中三维位置信息，包括：
根据所述正面图像深度信息确定所述合并二维位置信息的第二正面二维位置信息的最小厚度得到第四距离，以及根据所述背面图像深度信息确定所述合并二维位置信息的第二背面二维位置信息的最小厚度得到第五距离；
根据所述第四距离及所述第五距离，计算得到所述合并二维位置信息表示的异物区域在预设坐标系下的厚度，其中，所述预设坐标系为毫米波检测设备的三维坐标系；
获取所述合并二维位置信息在所述预设坐标系下的长、宽，按照所述预设坐标系与所述三维人偶图像的比例尺，对所述合并二维位置信息在所述预设坐标系下的尺寸信息进行比例变换，得到所述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息；
根据所述合并二维位置信息、所述合并二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，确定所述异物在所述三维人偶图像中的三维位置信息。
12.根据权利要求6所述的方法，其特征在于，所述根据第三正面二维位置信息以及所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的尺寸信息，包括：
根据所述正面图像深度信息，确定所述第三正面二维位置信息表示的异物区域的最小厚度得到第六距离；
获取第二预设深度值得到第七距离、所述第三正面二维位置信息的异物区域在所述正面二维图像中的长、宽；
计算所述第七距离与所述第六距离的差值，得到所述第三正面二维位置信息表示的异物区域在所述正面二维图像中对应的厚度；
按照所述正面二维图像与所述三维人偶图像的比例尺，对所述第三正面二维位置信息表示的异物区域在所述正面二维图像中的长、宽及厚度进行比例变换，得到所述第三正面二维位置信息表示的异物区域在所述三维人偶图像中的长、宽及厚度。
13.根据权利要求5所述的方法，其特征在于，所述将交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息进行合并，得到合并二维位置信息，包括：
分别获取交并比大于预设百分比阈值的第二正面二维位置信息与第二背面二维位置信息表示的异物区域的长Mf、Mb，以及宽Nf、Nb；其中，Mf表示第二正面二维位置信息表示的异物区域的长，Mb表示第二背面二维位置信息表示的异物区域的长，Nf表示第二正面二维位置信息表示的异物区域的宽，Nb表示第二背面二维位置信息表示的异物区域的宽；
根据Mf、Mb、Nf、Nb，确定合并二维位置信息表示的异物区域长、宽分别为Mside=max(Mf，Mb)、 Nside=max(Nf，Nb)。
14.一种异物处理装置，其特征在于，包括：
数据获取模块，用于获取检测对象的二维图像、所述二维图像的深度信息及三维人偶图像；
异物识别模块，用于对所述二维图像进行异物识别，得到异物在所述二维图像中的二维位置信息；
三维位置确定模块，用于根据所述深度信息及所述二维位置信息，确定所述异物在所述三维人偶图像中的三维位置信息；
异物表示模块，用于按照所述三维位置信息，在所述三维人偶图像中表示出所述异物。
15.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-13任一所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-13任一所述的方法。
CN202310644947.5A 2023-05-22 2023-06-01 一种异物处理方法、装置、电子设备及存储介质 Active CN116386016B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310591504 2023-05-22
CN2023105915044 2023-05-22

Publications (2)

Publication Number Publication Date
CN116386016A true CN116386016A (zh) 2023-07-04
CN116386016B CN116386016B (zh) 2023-10-10

Family

ID=86971483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644947.5A Active CN116386016B (zh) 2023-05-22 2023-06-01 一种异物处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116386016B (zh)

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132716A1 (en) * 2014-11-12 2016-05-12 Ricoh Company, Ltd. Method and device for recognizing dangerousness of object
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
CN106338732A (zh) * 2016-08-23 2017-01-18 华讯方舟科技有限公司 一种毫米波三维全息成像方法及系统
CN106372583A (zh) * 2016-08-25 2017-02-01 华讯方舟科技有限公司 一种基于毫米波图像的人体异物检测方法及系统
WO2018025842A1 (ja) * 2016-08-04 2018-02-08 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム、その方法、及びプログラム
KR20180028198A (ko) * 2016-09-08 2018-03-16 연세대학교 산학협력단 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
CN109709621A (zh) * 2019-01-31 2019-05-03 山东雷诚电子科技有限公司 一种毫米波人体安检系统及目标深度标记的方法
CN110349213A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
JP2020024124A (ja) * 2018-08-07 2020-02-13 マトヤ技研工業株式会社 食品の異物検査装置及び異物検査方法
CN110826450A (zh) * 2019-10-30 2020-02-21 北京无线电计量测试研究所 一种基于毫米波图像的可疑物品自动检测方法
CN111179419A (zh) * 2019-12-31 2020-05-19 北京奇艺世纪科技有限公司 三维关键点预测及深度学习模型训练方法、装置及设备
CN111507938A (zh) * 2020-03-10 2020-08-07 博微太赫兹信息科技有限公司 一种人体危险物品检测方法及系统
CN111582207A (zh) * 2020-05-13 2020-08-25 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN112132002A (zh) * 2020-08-18 2020-12-25 欧必翼太赫兹科技(北京)有限公司 用于对三维图像数据进行异物检测的方法及装置
CN112700552A (zh) * 2020-12-31 2021-04-23 华为技术有限公司 三维物体检测方法、装置、电子设备及介质
CN112991347A (zh) * 2021-05-20 2021-06-18 西南交通大学 一种基于三维的列车螺栓松动检测方法
CN113095154A (zh) * 2021-03-19 2021-07-09 西安交通大学 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN113344998A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN113470112A (zh) * 2021-06-30 2021-10-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及终端
CN113536867A (zh) * 2020-04-22 2021-10-22 杭州海康威视数字技术股份有限公司 物体识别的方法、装置及系统
CN114419616A (zh) * 2022-01-19 2022-04-29 北京全路通信信号研究设计院集团有限公司 一种异物识别方法、装置、设备及存储介质
CN114549443A (zh) * 2022-02-15 2022-05-27 宁波微科光电股份有限公司 一种异物探测方法、系统及存储介质
CN114862929A (zh) * 2022-04-19 2022-08-05 深圳市优必选科技股份有限公司 三维目标检测方法、装置、计算机可读存储介质及机器人
CN115063579A (zh) * 2022-08-19 2022-09-16 西南交通大学 基于二维图像和三维点云投影的列车定位销松动检测方法
CN115222731A (zh) * 2022-09-07 2022-10-21 西南交通大学 一种基于二维图像到点云映射的列车紧固件异常检测方法
CN115409693A (zh) * 2022-08-29 2022-11-29 中航华东光电（上海）有限公司 一种基于三维图像中管道异物的二维定位方法
WO2023019847A1 (zh) * 2021-08-18 2023-02-23 苏州鼎纳自动化技术有限公司 一种平板玻璃缺陷的三维检测方法
CN115965847A (zh) * 2023-01-17 2023-04-14 清华大学 交叉视角下多模态特征融合的三维目标检测方法和系统
CN116051612A (zh) * 2023-01-17 2023-05-02 厦门瑞为信息技术有限公司 可疑物品的人偶映射方法、装置、介质及设备

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132716A1 (en) * 2014-11-12 2016-05-12 Ricoh Company, Ltd. Method and device for recognizing dangerousness of object
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
WO2018025842A1 (ja) * 2016-08-04 2018-02-08 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム、その方法、及びプログラム
CN106338732A (zh) * 2016-08-23 2017-01-18 华讯方舟科技有限公司 一种毫米波三维全息成像方法及系统
CN106372583A (zh) * 2016-08-25 2017-02-01 华讯方舟科技有限公司 一种基于毫米波图像的人体异物检测方法及系统
KR20180028198A (ko) * 2016-09-08 2018-03-16 연세대학교 산학협력단 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
JP2020024124A (ja) * 2018-08-07 2020-02-13 マトヤ技研工業株式会社 食品の異物検査装置及び異物検査方法
CN109709621A (zh) * 2019-01-31 2019-05-03 山东雷诚电子科技有限公司 一种毫米波人体安检系统及目标深度标记的方法
CN110349213A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110826450A (zh) * 2019-10-30 2020-02-21 北京无线电计量测试研究所 一种基于毫米波图像的可疑物品自动检测方法
CN111179419A (zh) * 2019-12-31 2020-05-19 北京奇艺世纪科技有限公司 三维关键点预测及深度学习模型训练方法、装置及设备
CN111507938A (zh) * 2020-03-10 2020-08-07 博微太赫兹信息科技有限公司 一种人体危险物品检测方法及系统
CN113536867A (zh) * 2020-04-22 2021-10-22 杭州海康威视数字技术股份有限公司 物体识别的方法、装置及系统
CN111582207A (zh) * 2020-05-13 2020-08-25 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN112132002A (zh) * 2020-08-18 2020-12-25 欧必翼太赫兹科技(北京)有限公司 用于对三维图像数据进行异物检测的方法及装置
CN112700552A (zh) * 2020-12-31 2021-04-23 华为技术有限公司 三维物体检测方法、装置、电子设备及介质
CN113095154A (zh) * 2021-03-19 2021-07-09 西安交通大学 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN112991347A (zh) * 2021-05-20 2021-06-18 西南交通大学 一种基于三维的列车螺栓松动检测方法
CN113344998A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 深度检测方法、装置、计算机设备及存储介质
CN113470112A (zh) * 2021-06-30 2021-10-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及终端
WO2023019847A1 (zh) * 2021-08-18 2023-02-23 苏州鼎纳自动化技术有限公司 一种平板玻璃缺陷的三维检测方法
CN114419616A (zh) * 2022-01-19 2022-04-29 北京全路通信信号研究设计院集团有限公司 一种异物识别方法、装置、设备及存储介质
CN114549443A (zh) * 2022-02-15 2022-05-27 宁波微科光电股份有限公司 一种异物探测方法、系统及存储介质
CN114862929A (zh) * 2022-04-19 2022-08-05 深圳市优必选科技股份有限公司 三维目标检测方法、装置、计算机可读存储介质及机器人
CN115063579A (zh) * 2022-08-19 2022-09-16 西南交通大学 基于二维图像和三维点云投影的列车定位销松动检测方法
CN115409693A (zh) * 2022-08-29 2022-11-29 中航华东光电（上海）有限公司 一种基于三维图像中管道异物的二维定位方法
CN115222731A (zh) * 2022-09-07 2022-10-21 西南交通大学 一种基于二维图像到点云映射的列车紧固件异常检测方法
CN115965847A (zh) * 2023-01-17 2023-04-14 清华大学 交叉视角下多模态特征融合的三维目标检测方法和系统
CN116051612A (zh) * 2023-01-17 2023-05-02 厦门瑞为信息技术有限公司 可疑物品的人偶映射方法、装置、介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
康秀娟;施展;: "基于图形处理的人体内异物定位测量系统设计", 电子科技, no. 01 *
罗立浩;许亮;: "基于机器视觉的非平整物体表面凸起异物检测方法", 计算机测量与控制, no. 05 *

Also Published As

Publication number Publication date
CN116386016B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
WO2018120027A1 (zh) 一种障碍物检测方法及装置
CN111754578B (zh) 用于激光雷达和相机的联合标定方法及其系统和电子设备
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
WO2019128495A1 (zh) 图像清晰度检测方法、装置、存储介质及电子设备
US20120038588A1 (en) Optical Position Input System And Method
US20170227353A1 (en) Floor estimation for human computer interfaces
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
CN101627356A (zh) 交互式输入系统和方法
CN112287869A (zh) 一种图像数据检测方法及装置
US20170277943A1 (en) Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
US20180082129A1 (en) Information processing apparatus, detection system, and information processing method
CN112287798A (zh) 测温方法及装置、电子设备及存储介质
CN114859938A (zh) 机器人、动态障碍物状态估计方法、装置和计算机设备
US11816857B2 (en) Methods and apparatus for generating point cloud histograms
CN116386016B (zh) 一种异物处理方法、装置、电子设备及存储介质
CN112200002B (zh) 一种体温测量方法、装置、终端设备及存储介质
WO2021092771A1 (zh) 一种目标检测方法及装置、设备、存储介质
CN115031635A (zh) 测量方法及装置、电子设备及存储介质
TWI796952B (zh) 物件偵測裝置以及物件偵測方法
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
CN115346020A (zh) 点云处理方法、避障方法、装置、机器人和存储介质
CN113608207A (zh) 一种高炉料面形状测量方法、终端设备及存储介质
CN113674356A (zh) 相机筛选方法及相关装置
CN112907462A (zh) 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置
CN112150527A (zh) 测量方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant