CN111768409A - 基于人工智能的箱式结构检测方法及装置 - Google Patents

Abstract

本发明提供了一种基于人工智能的箱式结构检测方法、装置、电子设备及计算机可读存储介质；方法包括：对包括箱式结构的待检测图像进行特征提取处理，得到箱式结构的特征；基于箱式结构的特征对待检测图像进行平面分割处理，得到待检测图像中对应箱式结构中框架的分割结果；基于箱式结构的特征对待检测图像进行直线检测处理，得到框架的边缘线；基于分割结果以及框架的边缘线，确定框架包括的平面区域；基于框架中包括的平面区域，确定箱式结构的检测结果。通过本发明，能够结合箱式结构中框架的分割结果以及框架的边缘线，提高箱式结构检测的准确性。

Description

基于人工智能的箱式结构检测方法及装置

技术领域

本发明涉及人工智能技术，尤其涉及一种基于人工智能的箱式结构检测方法、装置、电子设备及计算机可读存储介质。

背景技术

人工智能（Artificial Intelligence，AI）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

相关技术中缺乏基于人工智能对箱式结构进行检测的有效方案，主要依赖于传感器感知箱式结构，以实现箱式结构的检测。

发明内容

本发明实施例提供一种基于人工智能的箱式结构检测方法、装置、电子设备及计算机可读存储介质，能够结合箱式结构中框架的分割结果以及框架的边缘线，提高箱式结构检测的准确性。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于人工智能的箱式结构检测方法，包括：

对包括箱式结构的待检测图像进行特征提取处理，得到所述箱式结构的特征；

基于所述箱式结构的特征对所述待检测图像进行平面分割处理，得到所述待检测图像中对应所述箱式结构中框架的分割结果；

基于所述箱式结构的特征对所述待检测图像进行直线检测处理，得到所述框架的边缘线；

基于所述分割结果以及所述框架的边缘线，确定所述框架包括的平面区域；

基于所述框架中包括的所述平面区域，确定所述箱式结构的检测结果。

本发明实施例提供一种箱式结构检测装置，包括：

提取模块，用于对包括箱式结构的待检测图像进行特征提取处理，得到所述箱式结构的特征；

分割模块，用于基于所述箱式结构的特征对所述待检测图像进行平面分割处理，得到所述待检测图像中对应所述箱式结构中框架的分割结果；

检测模块，用于基于所述箱式结构的特征对所述待检测图像进行直线检测处理，得到所述框架的边缘线；

处理模块，用于基于所述分割结果以及所述框架的边缘线，确定所述框架包括的平面区域；

确定模块，用于基于所述框架中包括的所述平面区域，确定所述箱式结构的检测结果。

上述技术方案中，所述提取模块还用于对包括箱式结构的待检测图像进行下采样编码处理，得到所述待检测图像的第一下采样特征；

对所述第一下采样特征进行特征提取处理，得到多个相同尺度的特征；

对所述多个相同尺度的特征进行融合处理，将融合结果作为所述箱式结构的特征。

上述技术方案中，所述提取模块还用于对所述第一下采样特征进行下采样编码处理，得到分辨率低于所述第一下采样特征图的第二下采样特征；

对所述第二下采样特征图进行卷积处理，得到第一卷积编码特征；

对所述第一卷积编码特征进行上采样解码处理，得到第一上采样特征；

对所述第一下采样特征进行卷积处理，得到第二卷积编码特征；

其中，所述第一上采样特征的尺度与所述第二卷积编码特征的尺度相同；

将所述第一上采样特征以及所述第二卷积编码特征进行加和处理，将加和结果作为所述箱式结构的特征。

上述技术方案中，所述分割模块还用于对所述箱式结构的特征进行基于框架平面的映射处理，得到所述待检测图像中每个像素属于所述箱式结构中支撑件的概率，以作为所述待检测图像中对应所述箱式结构中框架的分割结果。

上述技术方案中，所述检测模块还用于对所述箱式结构的特征进行基于直线的映射处理，得到所述待检测图像中每个像素属于所述箱式结构中同一个支撑件的边缘线的概率；

将大于边缘线概率阈值的概率对应的像素，确定为属于所述箱式结构中同一个支撑件的边缘线的像素；

基于所述箱式结构中同一个支撑件的边缘线的像素进行拟合处理，得到所述框架包括的支撑件的边缘线。

上述技术方案中，所述框架包括多个不同类型的支撑件，所述分割结果包括所述待检测图像中每个像素属于所述箱式结构中不同类型的支撑件的概率；

所述处理模块还用于针对存在连接关系的所述边缘线形成的多边形执行以下处理：

基于所述分割结果确定位于所述多边形中的每个像素属于所述框架中的支撑件的概率；

基于所述多边形中的每个像素属于所述框架中的支撑件的概率，确定所述框架包括的所述支撑件的平面区域。

上述技术方案中，所述处理模块还用于当所述多边形中每个像素属于所述支撑件的概率的平均值大于概率阈值、且所述多边形的面积大于面积阈值时，将所述多边形确定为所述框架包括的所述支撑件的平面区域。

上述技术方案中，所述框架包括多个不同类型的支撑件；所述确定模块还用于确定所述框架中与每个所述类型的支撑件对应的平面区域的数量；

基于每个所述类型的支撑件对应的平面区域的数量，确定所述箱式结构的完整程度；

其中，每个所述类型的支撑件对应的平面区域的数量的加和结果与所述完整程度成正相关关系。

上述技术方案中，所述确定模块还用于将所述框架中对应不同类型的支撑件的平面区域进行组合，得到框架图像；

确定所述框架图像中的多个端点，基于所述多个端点分别对应的坐标，确定所述箱式结构在所述待检测图像中的定位区域。

本发明实施例提供一种用于箱式结构检测的电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的箱式结构检测方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本发明实施例提供的基于人工智能的箱式结构检测方法。

本发明实施例具有以下有益效果：

通过结合箱式结构中框架的分割结果以及框架的边缘线，确定完整的框架包括的平面区域，从而根据完整的平面区域，进行准确的箱式结构检测，提高箱式结构检测的准确性；另外，通过复用箱式结构的特征，同时进行平面分割以及直线检测，提高箱式结构检测的效率。

附图说明

图1是本发明实施例提供的结构检测系统的应用场景示意图；

图2是本发明实施例提供的用于箱式结构检测的电子设备的结构示意图；

图3A是本发明实施例提供的基于人工智能的箱式结构检测方法的流程示意图；

图3B是本发明实施例提供的基于人工智能的箱式结构检测方法的流程示意图；

图3C是本发明实施例提供的基于人工智能的箱式结构检测方法的流程示意图；

图3D是本发明实施例提供的基于人工智能的箱式结构检测方法的流程示意图；

图4是本发明实施例提供的真实业务场景下采集到的集装箱图像；

图5是本发明实施例提供的集装箱区域定位及完整性检测方法的流程示意图；

图6是本发明实施例提供的包括集装箱的图像；

图7A是本发明实施例提供的集装箱的右立柱的示意图；

图7B是本发明实施例提供的右立柱的像素级平面分割结果的示意图；

图7C是本发明实施例提供的右立柱的直线检测结果的示意图；

图8A是本发明实施例提供的横梁平面和立柱平面的示意图；

图8B是本发明实施例提供的集装箱的位置定位的示意图；

图9是本发明实施例提供的集装箱检测的业务流程示意图；

图10是本发明实施例提供的用于集装箱平面分割和直线检测的网络结构的示意图；

图11是本发明实施例提供的沙漏模块的结构示意图；

图12A是本发明实施例提供的原始集装箱图像；

图12B是本发明实施例提供的原始集装箱图像的直线检测结果示意图；

图12C是本发明实施例提供的原始集装箱图像的平面分割结果示意图；

图12D是本发明实施例提供的原始集装箱图像的整体区域的定位区域示意图；

图13A是本发明实施例提供的包括多个集装箱的原始图像；

图13B是本发明实施例提供的原始图像的直线检测结果示意图；

图13C是本发明实施例提供的原始图像的平面分割结果示意图；

图13D是本发明实施例提供的原始图像的整体区域的定位区域示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1）沙漏（Hourglass）网络：一种基于深度学习技术的图像分割网络结构。该网络结构通过重复使用自底向上和自顶向下的处理方式来获得每张输入数据的多尺度信息，有利于获得更加精确的预测结果。其中，自底向上处理表示高分辨率特征图逐渐转换为低分辨率特征图的过程，可以获得高层更强的语义特征；自顶向下处理表示低分辨率特征图逐渐转换为高分辨率特征图的过程，可以获得底层的高分辨率信息。

2）霍夫变换技术：一种图像处理技术，用来辨别找出物体中的特征，如线条特征，主要利用直线在直角坐标系和极坐标系下的对应关系。

3）2D图像：又叫平面图像，2D图像只有X轴向与Y轴向，其中，2D图像和RGB图像的含义相同。

4）箱式结构：包括横梁和立柱的立体结构，例如集装箱、包装箱、模块化房屋等。

本发明实施例提供了一种基于人工智能的箱式结构检测方法、装置、电子设备及计算机可读存储介质，能够结合箱式结构中框架的分割结果以及框架的边缘线，提高箱式结构检测的准确性。

本发明实施例所提供的基于人工智能的箱式结构检测方法，可以由终端/服务器独自实现；也可以由终端和服务器协同实现，例如终端独自承担下文所述的基于人工智能的箱式结构检测方法，或者，终端向服务器发送针对待检测图像的检测请求，服务器根据接收的针对待检测图像的检测请求执行基于人工智能的箱式结构检测方法，并向终端发送箱式结构的检测结果。

本发明实施例提供的用于箱式结构检测的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。

以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务（AI as a Service，AIaaS），AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个AI主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。

例如，其中的一种人工智能云服务可以为箱式结构检测服务，即云端的服务器封装有本发明实施例提供的箱式结构检测的程序。用户通过终端（运行有客户端，例如结构检测客户端）调用云服务中的箱式结构检测服务，以使部署在云端的服务器调用封装的箱式结构检测的程序，通过融合箱式结构中框架的分割结果以及框架的边缘线，确定箱式结构中框架包括的平面区域，并根据平面区域，进行箱式结构检测，以得到箱式结构的检测结果，以响应针对待检测图像的检测请求，例如，对于结构检测应用，通过融合集装箱中框架的分割结果以及框架的边缘线，确定集装箱中框架包括的平面区域，并根据平面区域，进行箱式结构检测，以得到集装箱的检测结果，例如，集装箱的完整性以及集装箱的定位区域，以响应针对集装箱的检测请求，以便后续根据检测结果进行集装箱的缺陷分析，从而快速解决集装箱的缺陷，避免造成重大事故。

参见图1，图1是本发明实施例提供的结构检测系统10的应用场景示意图，终端200通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。

终端200（运行有客户端，例如结构检测客户端）可以被用来获取针对待检测图像的检测请求，例如，用户在客户端中输入包括箱式结构的待检测图像后，终端自动获取针对待检测图像的检测请求。

在一些实施例中，终端中运行的客户端中可以植入有箱式结构检测插件，用以在客户端本地实现基于人工智能的箱式结构检测方法。例如，终端200获取针对待检测图像的检测请求后，调用箱式结构检测插件，以实现基于人工智能的箱式结构检测方法，通过融合箱式结构中框架的分割结果以及框架的边缘线，确定箱式结构中框架包括的平面区域，并根据平面区域，进行箱式结构检测，以得到箱式结构的检测结果，以响应针对待检测图像的检测请求，例如，对于结构检测应用，用户输入包括模块化房屋的待检测图像后，则自动获取针对待检测图像的检测请求，并融合模块化房屋中框架的分割结果以及框架的边缘线，确定模块化房屋中框架包括的平面区域，并根据平面区域，进行箱式结构检测，以得到模块化房屋的检测结果，以响应针对待检测图像的检测请求，以便后续根据检测结果进行模块化房屋的缺陷分析，从而快速解决模块化房屋的缺陷，避免造成重大事故。

在一些实施例中，终端200获取针对待检测图像的检测请求后，调用服务器100的箱式结构检测接口（可以提供为云服务的形式，即箱式结构检测服务），服务器100融合箱式结构中框架的分割结果以及框架的边缘线，确定箱式结构中框架包括的平面区域，并根据平面区域，进行箱式结构检测，以得到箱式结构的检测结果，以响应针对待检测图像的检测请求，例如，对于结构检测应用，通过融合包装箱中框架的分割结果以及框架的边缘线，确定包装箱中框架包括的平面区域，并根据平面区域，进行箱式结构检测，以得到包装箱的检测结果，例如，包装箱的完整性，以响应针对包装箱的检测请求，以便后续根据包装箱的完整性进行更换处理，即当包装箱的结构不完整时，需要及时更换该包装箱，避免影响用户的使用。

下面说明本发明实施例提供的用于箱式结构检测的电子设备的结构，参见图2，图2是本发明实施例提供的用于箱式结构检测的电子设备500的结构示意图，以电子设备500是服务器为例说明，图2所示的用于信息推荐的电子设备500包括：至少一个处理器510、存储器550以及至少一个网络接口520。电子设备500中的各个组件通过总线系统530耦合在一起。可理解，总线系统530用于实现这些组件之间的连接通信。总线系统530除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统530。

处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。

在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块553，用于经由一个或多个（有线或无线）网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；

在一些实施例中，本发明实施例提供的箱式结构检测装置可以采用软件方式实现，例如，可以是上文所述的终端中的箱式结构检测插件，可以是上文所述的服务器中箱式结构检测服务。当然，不局限于此，本发明实施例提供的箱式结构检测装置可以提供为各种软件实施例，包括应用程序、软件、软件模块、脚本或代码在内的各种形式。

图2示出了存储在存储器550中的箱式结构检测装置555，其可以是程序和插件等形式的软件，例如信息推荐插件，并包括一系列的模块，包括提取模块5551、分割模块5552、检测模块5553、处理模块5554以及确定模块5555；其中，提取模块5551、分割模块5552、检测模块5553、处理模块5554以及确定模块5555用于实现本发明实施例提供的箱式结构检测功能。

如前，本发明实施例提供的基于人工智能的箱式结构检测方法可以由各种类型的电子设备实施。参见图3A，图3A是本发明实施例提供的基于人工智能的箱式结构检测方法的流程示意图，结合图3A示出的步骤进行说明。

在下面的步骤中，待检测图像中不仅包括箱式结构的成像，还包括箱式结果所处环境的成像（非箱式结构的成像），即待检测图像中仅仅有部分成像的区域是箱式结构，在下面步骤中涉及的特征的具体表现形式为特征图。

在步骤101中，对包括箱式结构的待检测图像进行特征提取处理，得到箱式结构的特征。

作为获取待检测图像的示例，用户在客户端（运行于终端）中输入包括箱式结构的待检测图像，终端自动获取针对待检测图像的检测请求（包括待检测图像），并将针对待检测图像的检测请求发送至服务器，服务器接收针对待检测图像的检测请求，并提取待检测图像。然后，从待检测图像中提取箱式结构的特征图，以便后续复用箱式结构的特征图进行平面分割以及直线检测，从而避免冗余计算，提高箱式结构的检测速度。

参见图3B，图3B是本发明实施例提供的基于人工智能的箱式结构检测方法的一个可选的流程示意图，图3B示出图3A中的步骤101可以通过图3B示出的步骤1011至步骤1013实现：在步骤1011中，对包括箱式结构的待检测图像进行下采样编码处理，得到待检测图像的第一下采样特征；在步骤1012中，对第一下采样特征进行特征提取处理，得到多个相同尺度的特征；在步骤1013中，对多个相同尺度的特征进行融合处理，将融合结果作为箱式结构的特征。

例如，在服务器获得待检测图像后，可以先对待检测图像进行下采样编码处理，以得到待检测图像的第一下采样特征图，该第一下采样特征图的尺度小于待检测图像，通过小尺度的第一下采样特征图进行后续的特征提取操作，可以减小后续的计算量，从而提高箱式结构的检测效率。在得到第一下采样特征图后，通过沙漏网络对第一下采样特征进行特征提取处理，以得到多个相同尺度的特征，并融合多个相同尺度的特征，以得到箱式结构的特征，从而提取待检测图像中箱式结构的多种特征，以根据多种特征，获得准确的箱式结构的特征图。

如图10所示，待检测图像通过卷积层以及池化层的操作后，得到第一下采样特征图，并将第一下采样特征图输入至沙漏模块，通过沙漏模块进行多尺度特征提取，以得到箱式结构的特征图。其中，本发明实施例并不局限于沙漏网络，还可以通过其他的网络进行特征提取。

在一些实施例中，对第一下采样特征进行多尺度特征提取处理，得到多个相同尺度的特征，包括：对第一下采样特征进行下采样编码处理，得到分辨率低于第一下采样特征图的第二下采样特征；对第二下采样特征图进行卷积处理，得到第一卷积编码特征；对第一卷积编码特征进行上采样解码处理，得到第一上采样特征；对第一下采样特征进行卷积处理，得到第二卷积编码特征；其中，第一上采样特征的尺度与第二卷积编码特征的尺度相同；对应的，对多个相同尺度的特征进行融合处理，得到箱式结构的特征，包括：将第一上采样特征以及述第二卷积编码特征进行加和处理，将加和结果作为箱式结构的特征。

承接上述示例，通过沙漏网络使用自底向上和自顶向下的处理方式来获得待检测图像的多尺度信息，有利于后续获得更加精确的结果。通过沙漏网络对第一下采样特征进行下采样编码处理，以降低第一下采样特征的分辨率，从而得到分辨率低于第一下采样特征图的第二下采样特征，即通过自底向上处理将高分辨率特征图逐渐转换为低分辨率特征图，获得高层更强的语义特征。并对第二下采样特征图进行卷积处理，扩大感受野，以得到第一卷积编码特征，并对第一卷积编码特征进行上采样解码处理，以提高第一卷积编码特征的分辨率，得到第一上采样特征，即通过自顶向下处理将低分辨率特征图逐渐转换为高分辨率特征图，可以获得底层的高分辨率信息。

在获得第一下采样特征后，沙漏网络还可以直接对第一下采样特征进行卷积处理，以得到第二卷积编码特征。并通过简单的相加处理，融合第一上采样特征以及第二卷积编码特征，以得到箱式结构的特征，有利于为后续的平面分割以及直线检测提供更丰富的信息。

在步骤102中，基于箱式结构的特征对待检测图像进行平面分割处理，得到待检测图像中对应箱式结构中框架的分割结果。

在服务器得到箱式结构的特征后，可以基于箱式结构的特征对待检测图像进行平面分割，以得到待检测图像中对应箱式结构中框架的分割结果，即定位箱式结构中的框架。其中，分割结果包括待检测图像中每个像素属于箱式结构中支撑件的概率。

在一些实施例中，基于箱式结构的特征对待检测图像进行平面分割处理，得到待检测图像中对应箱式结构中框架的分割结果，包括：对箱式结构的特征进行基于框架平面的映射处理，得到待检测图像中每个像素属于箱式结构中支撑件的概率，以作为待检测图像中对应箱式结构中框架的分割结果。

例如，在服务器得到准确的箱式结构的特征后，通过多层卷积层的映射处理（例如conv[3*3，512]、conv[3*3，4]）后，得到待检测图像中每个像素属于箱式结构中支撑件的概率，例如待检测图像中每个像素属于箱式结构中横梁的概率，待检测图像中每个像素属于箱式结构中立柱的概率。

其中，支撑件包括上横梁、下横梁、左立柱以及右立柱。对箱式结构进行基于支撑件的映射处理后，得到待检测图像中每个像素属于支撑件的概率，例如像素x属于上横梁的概率（0.4）、像素x属于下横梁的概率（0.2）、像素x属于左立柱的概率（0.3）、像素x属于右立柱的概率（0.8）、像素x属于背景（非支撑件）的概率（0.1），则确定像素x属于右立柱。如图7B所示，集合所有属于右立柱的像素，则可以构成待检测图像中对应右立柱的分割结果，即右立柱平面。

在步骤103中，基于箱式结构的特征对待检测图像进行直线检测处理，得到框架的边缘线。

其中，步骤102与步骤103并无明显的先后顺序。在服务器得到箱式结构的特征后，可以基于箱式结构的特征对待检测图像进行直线检测，以得到箱式结构中框架包括的支撑件的边缘线（直线）。

在一些实施例中，基于箱式结构的特征对待检测图像进行直线检测处理，得到框架的边缘线，包括：对箱式结构的特征进行基于直线的映射处理，得到待检测图像中每个像素属于箱式结构中同一个支撑件的边缘线的概率；将大于边缘线概率阈值的概率对应的像素，确定为属于箱式结构中同一个支撑件的边缘线的像素；基于箱式结构中同一个支撑件的边缘线的像素进行拟合处理，得到框架包括的支撑件的边缘线。

例如，在服务器得到准确的箱式结构的特征后，通过多层卷积层的映射处理（例如conv[3*3，512]、conv[3*3，4]）后，得到待检测图像中每个像素属于箱式结构中同一个支撑件的边缘线的概率，例如待检测图像中每个像素属于箱式结构中横梁的边缘线的概率，待检测图像中每个像素属于箱式结构中立柱的边缘线的概率。

其中，支撑件包括上横梁、下横梁、左立柱以及右立柱。对箱式结构进行基于直线的映射处理后，得到待检测图像中每个像素属于支撑件的边缘线的概率（二值数），例如像素x属于右立柱的边缘线概率为1，则确定像素x属于右立柱的边缘线。如图7C所示，集合所有属于右立柱的像素，则可以构成框架包括的右立柱的边缘线。

在步骤104中，基于分割结果以及框架的边缘线，确定框架包括的平面区域。

在服务器获得分割结果以及框架的边缘线后，综合分割结果以及框架的边缘线两种信息，以确定框架包括的平面区域，例如框架包括的横梁的平面区域，框架包括的立柱的平面区域，以便后续根据准确的平面区域，进行箱式结构检测。

在一些实施例中，基于分割结果以及框架的边缘线，确定框架包括的平面区域，包括：针对存在连接关系的边缘线形成的多边形执行以下处理：基于分割结果确定位于多边形中的每个像素属于框架中的支撑件的概率；基于多边形中的每个像素属于框架中的支撑件的概率，确定框架包括的支撑件的平面区域。

其中，框架包括多个不同类型的支撑件，例如横梁和立柱，分割结果包括待检测图像中每个像素属于箱式结构中不同类型的支撑件的概率。框架包括的同一支撑件的边缘线存在连接关系，将存在连接关系的边缘性进行连接，以形成可能对应支撑件的多边形。在确定多边形后，基于分割结果，确定位于该多边形中的每个像素属于支撑件的概率，当多边形中每个像素属于支撑件的概率的平均值大于概率阈值时，将多边形确定为框架包括的支撑件的平面区域，或者当多边形中每个像素属于支撑件的概率的平均值大于概率阈值、且多边形的面积大于面积阈值时，将多边形确定为框架包括的支撑件的平面区域。

例如，框架包括的横梁的边缘线存在连接关系，将存在连接关系的边缘性进行连接，以形成可能对应横梁的多边形。在确定多边形后，基于分割结果，确定位于该多边形中的每个像素属于横梁的概率，当多边形中每个像素属于横梁的概率的平均值大于概率阈值、且多边形的面积大于面积阈值时，将多边形确定为横梁的平面区域。

在步骤105中，基于框架中包括的平面区域，确定箱式结构的检测结果。

在服务器获得准确的框架中包括的支撑件的平面区域后，可以基于框架中包括的支撑件的平面区域，进行箱式结构检测，例如箱式结构的区域定位、完整性检测。

参见图3C，图3C是本发明实施例提供的基于人工智能的箱式结构检测方法的一个可选的流程示意图，图3C示出图3A中的步骤105可以通过图3C示出的步骤1051至步骤1052实现：在步骤1051中，确定框架中与每个类型的支撑件对应的平面区域的数量；在步骤1052中，基于每个类型的支撑件对应的平面区域的数量，确定箱式结构的完整程度；其中，每个类型的支撑件对应的平面区域的数量的加和结果与完整程度成正相关关系。

例如，当服务器确定框架中与每个类型的支撑件对应的平面区域后，根据确定框架中与每个类型的支撑件对应的平面区域的数量，确定待检测图像中箱式结构的完整程度，即数量越多，说明箱式结构越完整。例如，支撑件的类型包括上横梁、下横梁、左立柱和右立柱，当支撑件对应的平面区域的数量为4，则说明该箱式结构包括上横梁、下横梁、左立柱和右立柱，即该箱式结构是完整的。

参见图3D，图3D是本发明实施例提供的基于人工智能的箱式结构检测方法的一个可选的流程示意图，图3D示出图3A中的步骤105可以通过图3D示出的步骤1053至步骤1054实现：在步骤1053中，将框架中对应不同类型的支撑件的平面区域进行组合，得到框架图像；在步骤1054中，确定框架图像中的多个端点，基于多个端点分别对应的坐标，确定箱式结构在待检测图像中的定位区域。

例如，当服务器确定框架中与每个类型的支撑件对应的平面区域后，组合框架中对应不同类型的支撑件的平面区域，得到框架图像，即该框架图像包括上横梁、下横梁、左立柱和右立柱，确定框架图像中对角线上的端点，从而根据对角线上的端点确定待检测图像的定位区域。

另外，在确定框架图像后，还可以确定框架图像中像素的最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标。然后根据最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标，构建箱式结构在待检测图像中的定位区域的坐标，例如，箱式结构在待检测图像中的定位区域的4个顶点坐标为（最小横坐标，最小纵坐标）、（最小横坐标，最大纵坐标）、（最大横坐标，最小纵坐标）、（最大横坐标，最大纵坐标）。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

本发明实施例可以应用于各种结构的应用场景中，如图1所示，终端200通过网络300连接部署在云端的服务器100，在终端200上安装结构检测应用，获取针对待检测图像的检测请求后，调用服务器100的箱式结构检测接口，服务器100根据针对待检测图像的检测请求，融合箱式结构中框架（包括横梁和立柱）的分割结果以及框架的边缘线（直线），确定箱式结构中框架包括的平面区域（包括横梁平面和立柱平面），并根据平面区域，进行箱式结构检测，以得到箱式结构的检测结果，以响应针对待检测图像的检测请求，以便后续根据检测结果进行集装箱的缺陷分析，从而快速解决集装箱的缺陷，避免造成重大事故。

随着人工智能技术的快速发展，工业、企业纷纷开始探索智能化转型的路径，逐步构建数字信息化系统，如集装箱货运站的智能验箱系统。该系统通过捕获载有集装箱的货车的到达信号，拍摄集装箱的图像，对图像进行分析，从而获取集装箱的区域定位结果，并判断集装箱的完整性，集装箱的区域定位对集装箱内部的缺陷检测有着重要作用。然而，由于实际应用场景的复杂性，通常会导致拍摄的包括集装箱的图像质量欠佳，所以需要一种健壮鲁棒的方式来定位集装箱，并判断集装箱的完整性。

对于集装箱的区域定位及完整性检测，在具体的实践过程中，发现了两个问题：

1）由于拍摄场景的局限性和复杂性，拍摄到的集装箱图像的质量欠佳，主要存在着形变、集装箱图像边缘较暗、雨水滴痕干扰和印刷字体干扰等问题，同时，一张图像中可能存在多辆货车，而每辆货车可能装载2个及以上数目的集装箱；

2）真实业务场景对集装箱的区域定位效果的精细程度要求很高，需要人工智能算法给出包围集装箱所有区域的最小外接矩形、横梁平面和立柱平面，以便后续对集装箱内部区域的缺陷分析，不能完全包含集装箱所有区域或者外接矩形过大都会对后续分析产生严重的影响。

如图4所示的真实业务场景下采集到的集装箱图像，该图像存在两个集装箱实体，且两个集装箱的对比度存在明显差异，集装箱401的边缘相对于集装箱402的边缘偏暗。同时，集装箱401和集装箱402的表面都存在印刷字体、通气孔以及由于货车行车不规范导致的集装箱图像形变问题。

相关技术中，1）通过区域生成网络（Region Proposal Network，RPN）对3D点云数据进行处理，以获得集装箱的空间位置信息。但是，该方法需要同时利用采集集装箱2D信息和3D信息，流程较繁琐，耗时较长。并且RPN是一种自底向上的网络结构，该网络会逐渐损失掉集装箱的细节信息，从而导致获得不精确的集装箱区域；2）通过监控传感器来实现对集装箱完整性的监控，但是该方法需要将监控传感器安装在集装箱内部，不仅耗费一定的硬件成本，传感器的维护也带来了一定的人力成本。而且该方法只能用于检测集装箱是否完整，不能将阶段性成果用于后续集装箱的缺陷分析。

为了快速有效地解决集装箱的区域定位及完整性检测问题，本发明实施例提出一种集装箱区域定位及完整性检测方法，该方法通过深度神经网络同时获得集装箱的横梁平面和立柱平面的分割结果、以及构成横梁平面和立柱平面的直线的分割结果，并结合基于知识的后处理方法，可大大提高集装箱区域定位及完整性检测的准确性。即采用传统图像处理技术和基于深度学习的图像分割技术，仅将集装箱的RGB图像（2D信息）作为输入，即可获得集装箱精确的区域定位，包括上下横梁的平面位置、左右立柱的平面位置和集装箱整体的边框坐标，并据此来判断集装箱的完整性。

如图5所示，图5是本发明实施例提供的集装箱区域定位及完整性检测方法的流程示意图，该方法对包括集装箱的输入图像进行平面分割，以得到每个像素点的概率，并对输入图像进行直线检测，以得到矢量化直线信息，结合每个像素点的概率以及矢量化直线信息，可以确定平面区域的定位以及完整性，从而确定集装箱的定位以及完整性。下面具体说明上述流程：

1）如图6所示，首先获取需要进行集装箱区域定位及完整性检测的图像，以作为网络模型的输入数据。

2）基于沙漏（Hourglass）网络，本发明实施例提供一种可以同时检测出图像中集装箱表面直线信息以及横梁和立柱平面的网络结构。与其它方法相比，该方法有以下优点：A）同时利用集装箱表面的直线信息和平面信息可提高系统的鲁棒性，避免利用单一信息而造成的性能不稳定；B）通过一个统一的网络结构输出两种信息，既可以减小网络模型的占用空间，也可以减少冗余计算，加快模型处理速度；C）该网络结构表现为高度对称的沙漏形状，通过重复使用自底向上和自顶向下的处理方式来获得每张输入图像的多尺度信息，有利于获得更加精确的预测结果。如图7A-7C所示，图7A中的701表示输入图像中集装箱的右立柱，图7B中的702表示右立柱的像素级平面分割结果，图7C中的703表示右立柱的直线检测结果，非零的像素点构成了平面或直线。

3）上述直线检测结果为像素级别上的信息，需要将像素级别上的信息转化为矢量化信息，将直线信息的矢量化：对像素级的直线检测结果实施霍夫变换技术，可以得到图像中每一条直线的坐标信息，即将像素级直线结果转化为矢量化直线。进一步地，为了得到更规整的直线，需要对霍夫变换技术输出的线段进行有效的拼接。像素级的平面分割结果为每个像素点上的响应值表示位于集装箱横梁平面和立柱平面的概率，通过此响应值，可以计算任意一个平面内的概率均值，从而判断该平面是符合要求的横梁还是立柱平面。

4）根据矢量化后的直线信息，可以根据先验性知识将直线组合为横梁和立柱平面，每个平面区域描述为由若干个点组成的多边形。获得每个区域的多边形表示后，根据平面分割结果，可以得到位于该多边形内的每个点的概率值，计算该平面内所有点对应的概率均值。结合集装箱的规范性，当该平面面积大于预设阈值，且概率均值也大于预设阈值时，则表示该平面是完整的。从而获得横梁平面和立柱平面的多边形表示，即横梁和立柱区域的定位结果。

5）一个完整的集装箱包含上下横梁、左右立柱和内部若干个波纹板，如果在采集图像中准确定位到了上下横梁和左右立柱4个平面（平面区域），则表示检测到一个完整的集装箱。其中，集装箱的区域边框坐标（定位区域）可由直线的坐标信息获得。如图8A-8B所示，图8A表示对图6所示的原始集装箱中的横梁和立柱进行定位后的横梁平面801和立柱平面802，图8B表示对图6所示的整个集装箱数据进行定位后的集装箱的位置定位803。

为了支持项目开发，保证产品的性能，本发明实施例提出一种集装箱的区域定位及完整性检测方法，该方法对后续集装箱缺陷检测有着至关重要的作用，从而降低人力检测成本。具体地，1）由于采集到的图像包含大量无关区域（与集装箱无关）的数据，预先定位出集装箱的区域后，可以仅在集装箱数据上进行缺陷分析，大大减少处理量，并避免了无关区域的噪声影响；2）预先定位出集装箱的横梁平面和立柱平面可以为后续缺陷分析提供基准平面；3）集装箱完整性的判断结果可以指示集装箱的装载门是否关闭，若装载门没有关闭，则检测到的集装箱是不完整的，在某些场景下，集装箱的装载门必须是关闭状态，否则会造成较大影响。

如图9所示的业务流程，对采集到的集装箱进行区域定位，区域定位完成后，判断集装箱的完整性，以便根据集装箱完整性的判断结果进行缺陷分析。在实际生产中的结果表明，该流程节省了一定的人力检测成本，而且可以获得精确的集装箱表面直线与平面信息，提升后续缺陷检测的效果。

下面具体说明本发明实施例中的网络结构以及后处理流程。

关于网络结构，Hourglass网络应用于图像分割任务，可实现从图像到图像的像素级预测。Hourglass网络通过重复使用自底向上和自顶向下的处理方式来获得输入数据的多尺度信息，有利于获得更精细的预测结果。基于Hourglass网络，本发明实施例提供一种用于集装箱平面分割和直线检测的网络结构，如图10所示，其中，卷积层中的两个参数分别表示卷积核大小和输出通道数目。

网络结构的输入层首先通过一个步长为2的卷积层和池化层将输入图像的尺寸减小至原输入图像的1/4，使得后续的操作均在一个较小的特征图尺寸上进行，有利于减少计算量，且不影响网络的分割性能。然后，特征图经过级联的若干个hourglass模块（示例性示出3个），用来提取输入图像的多尺度特征，同时，虽然这些hourglass模块的结构是相同的，但它们的参数并不共享，有利于提高网络模型的拟合能力。网络模型的输出层共包含2个分支，分别为平面分割分支和直线检测分支。其中，平面分割分支输出的平面分割结果中的每一个像素值表明该像素位于横梁平面和立柱平面内的可能性大小，直线检测分支输出的直线检测结果为图像中直线的像素级分割结果（集装箱的框架包括的边缘线），需要经过矢量化处理来得到直线相关的坐标信息。

如图11所示的hourglass模块的结构，其中，反卷积层（deconv）的参数表示反卷积层的步长，用于扩大特征图尺寸。输入信息共经过两个分支（左分支和右分支），左分支将输入信息下采样后，再通过若干个卷积层来提取低尺度的特征图，并经过反卷积层后可将特征图的尺寸扩大为和右分支的特征图的尺寸。而右分支保留输入信息的原尺度，在原尺度的特征图上通过若干个卷积层继续进行细化。左分支输出的特征图和右分支输出的特征图通过简单的相加操作即可融合两个分支的特征图，有利于为图像分割提供更丰富的信息。同时，与使用类似5x5、7x7的大卷积核不同的是，通过叠加多个3x3的小卷积核来获得相同的感受野，以增加激活层的个数，从而提高网络的非线性表征能力。

其中，和其它用于图像分割的网络（如全卷积神经网络（FCN））相比，hourglass模块是高度对称的，此对称性体现在自底向上和自顶向下的处理能力的对称性。自底向上处理表示高分辨率特征图转换为低分辨率特征图的过程，自顶向下表示低分辨率特征图转换为高分辨率特征图的过程。而FCN这类网络结构将过多的注意力放在自底向上的处理上，而忽略了自顶向下的细致化处理，而hourglass模块解决了该问题，均衡地对待这两个处理过程，有利于获得更精细的结果。

关于后处理流程，输入图像通过上述网络结构得到的是像素级平面分割结果和直线检测结果的图像，无法直接定位出集装箱的区域，需对上述图像进行一些后处理，其具体的后处理包括以下：

1、直线检测结果的矢量化：

通过霍夫变换技术将像素级的直线检测结果转换为直线（线段）的具体坐标信息，该技术运用直角坐标系和极坐标系两个坐标空间之间的变换关系，来检测图像中的直线。其基本原理为：在直角坐标系中，给定通过直线的某个像素点坐标和直线角度，即可确定该条直线的表达式，该条直线在极坐标系中表示为一个点（rho，theta），即直角坐标系中的一条直线对应着极坐标系中的一个点，极坐标系中若有多条曲线交于一个点（rho0，theta0），则表示该点对应着一条出现概率很大的直角坐标系直线。实施霍夫变换技术的具体步骤如下：

步骤1）：初始化相关矩阵

a）直线与x轴的角度列表theta=[0，1，2，…，178，179]，以遍历通过某像素点的直线可能的角度。

b）距离列表rho=[-dis+1，-dis+2，…，dis-2，dis-1，dis]，这里的距离是指原点到目标直线的垂直距离，该距离的最大值为坐标系原点到像素点的距离dis。

c）投票矩阵votes，值全为0，其行元素个数为距离列表的元素个数，列元素个数为角度列表的元素个数。

步骤2）：对于直线检测结果中的每个非零像素点，遍历角度列表中的每个角度值，并计算出该像素点在该角度值下所对应的垂线距离值，角度值和距离值组成数据对（rho，theta），此数据对对应投票矩阵中的（rho+dis，theta）位置，并将投票矩阵中该位置的值累计加1。

步骤3）：在投票矩阵中，筛选出值大于预设阈值的矩阵位置，即可获得这些位置对应的（rho，theta），从而转换为直角坐标系中直线的相关信息。

虽然霍夫变换技术可以将像素级的直线检测结果转化为矢量化直线，然而该技术获得的直线结果通常为分离的短线段，不利于后续进行处理，需要对这些短线段进行连接处理，得到更规整的直线。即利用各线段之间的坐标关系、距离远近关系、首尾相连关系等，将检测到的短线段拼接为较长的直线。如果集装箱是完整的，则应该得到8条直线的信息，其每个横梁平面、立柱平面各包含2条直线。

2、确定完整的平面：

根据矢量化后的直线信息，将直线组合为横梁平面和立柱平面，每个平面区域描述为由若干个点组成的多边形。主要流程如下：

步骤1）将输入的八条直线按空间位置关系划分为不同的类别，分别为top1，top2，bottom1，bottom2，left1，left2，right1，right2，其中top1和top2分别表示上横梁平面的第一条直线和第二条直线（按纵坐标值排序），bottom1和bottom2分别表示下横梁平面的第一条直线和第二条直线（按纵坐标值排序），left1和left2分别表示左立柱平面的第一条直线和第二条直线（按横坐标值排序），right1和right2分别表示右立柱平面的第一条直线和第二条直线（按横坐标值排序）。

步骤2）针对上横梁平面，通过首尾连接直线top1和top2的起止点，获得该平面的多边形表示，具体为{[top1.start_point.x，top1.start_point.y]，[top1.end_point.x，top1.end_point.y]，[top2.end_point.x，top2.end_point.y]，[top2.start_point.x，top2.start_point.y]}。其它平面（下横梁平面、左立柱平面和右立柱平面）类似分析。

获得每个平面的多边形表示后，可以由平面分割结果得到位于该多边形内的每个像素点的概率值，计算该平面内所有像素点对应的概率均值。若该平面面积大于预设阈值thresh1，且平面内的概率均值大于预设阈值thresh2，则说明该平面为完整的平面。

3、确定集装箱的完整性：

一个完整的集装箱通常包含上下横梁、左右立柱和内部若干个波纹板，如果在采集图像中准确定位到8条直线、上下横梁平面和左右立柱平面4个平面，则表示该输入图像包括一个完整的集装箱。

4、确定集装箱的边框坐标：

集装箱的边框坐标可由8条直线的坐标信息获得，将边框坐标表示为边框左上角点和右下角点的坐标，即[xmin，ymin，xmax，ymax]。通过下面的公式获得这4个值：

xmin=min(left1.start_point.x，left1.end_point.x) （1）

ymin=min(top1.start_point.y，top1.end_point.y) （2）

xmax=max(right2.start_point.x，right2.end_point.x) （3）

ymax=max(bottom2.start_point.y，bottom2.end_point.y) （4）

基于工业数据和自动化技术的工业智能蕴藏着巨大的商业价值，但也存在着诸多挑战。本发明实施例针对智能验箱系统，在集装箱的区域定位与完整性检测任务上取得了优异的效果，区域定位结果的召回率和准确率均超过95%，完整性检测的准确率达到99%，同时，正确定位出集装箱的整体区域、横梁平面区域和立柱平面区域可以为后续集装箱缺陷分析过程提供坚实的保障。

本发明实施例使用hourglass网络结构获得像素级的平面分割结果直线检测结果；对上述网络结构输出的像素级直线检测结果进行矢量化处理，获得集装箱表面的直线的坐标信息，从而可以获得集装箱横梁平面和立柱平面的多边形表示，即横梁区域和立柱区域的定位结果；同时利用集装箱图像中的平面信息和直线信息来获得集装箱横梁平面和立柱平面的多边形表示，使结果更具有鲁棒性。

综上，本发明实施例结合图像处理技术和图像分割技术来对采集到的集装箱图像进行区域定位与完整性判断，准确性较高；通过一种有效的统一的网络结构，同时输出集装箱图像中直线的像素级检测结果、横梁平面、立柱平面的概率密度，简洁高效，且利用了两者之间的协同效应；同时结合横梁平面、立柱平面的概率密度与直线检测结果，鲁棒性较好。

下面展示了不同集装箱图片的平面分割结果、直线检测结果以及集装箱整体区域定位效果，实质上，能获得整体区域的位置信息即表明检测到一个完整的集装箱。其中，rawimage、plane result、line result、rectangle result分别表示采集到的原始集装箱图像、平面分割结果、直线检测结果和整体区域的定位区域。

对于各种集装箱图片，例如被印刷字体和通气孔干扰的集装箱（图12A-12D），图12A为原始集装箱图像，图12B为原始集装箱图像的直线检测结果，其中，1201表示检测到的立柱平面中的一个直线，图12C为原始集装箱图像的平面分割结果，其中，1202表示检测到的横梁平面，图12D为原始集装箱图像的整体区域的定位区域，其中，1203表示包围集装箱的最小方框。由图12A-12D可以看出，本发明实施例能准确检测出图像中的平面信息和直线信息，并提供正确的完整性判断结果。

对于各种集装箱图片，例如一辆货车上载有多个集装箱的情况（图13A-13D），图13A为包括多个集装箱的原始图像，图13B为原始图像的直线检测结果，其中，1301表示检测到的横梁平面中的一个直线，图13C为原始图像的平面分割结果，其中，1302表示检测到的横梁平面，图13D为原始图像的整体区域的定位区域，其中，1303表示包围集装箱的最小方框。由图13A-13D可以看出，本发明实施例能准确检测出图像中的平面信息和直线信息，并提供正确的完整性判断结果。

至此已经结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的基于人工智能的箱式结构检测方法。本发明实施例还提供箱式结构检测装置，实际应用中，箱式结构检测装置中的各功能模块可以由电子设备（如终端设备、服务器或服务器集群）的硬件资源，如处理器等计算资源、通信资源（如用于支持实现光缆、蜂窝等各种方式通信）、存储器协同实现。图2示出了存储在存储器550中的箱式结构检测装置555，其可以是程序和插件等形式的软件，例如，软件C/C++、Java等编程语言设计的软件模块、C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块、应用程序接口、插件、云服务等实现方式，下面对不同的实现方式举例说明。

示例一、箱式结构检测装置是移动端应用程序及模块

本发明实施例中的箱式结构检测装置555可提供为使用软件C/C++、Java等编程语言设计的软件模块，嵌入到基于Android或iOS等系统的各种移动端应用中（以可执行指令存储在移动端的存储介质中，由移动端的处理器执行），从而直接使用移动端自身的计算资源完成相关的箱式结构检测任务，并且定期或不定期地通过各种网络通信方式将处理结果传送给远程的服务器，或者在移动端本地保存。

示例二、箱式结构检测装置是服务器应用程序及平台

本发明实施例中的箱式结构检测装置555可提供为使用C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块，运行于服务器端（以可执行指令的方式在服务器端的存储介质中存储，并由服务器端的处理器运行），服务器使用自身的计算资源完成相关的信息推荐任务。

本发明实施例还可以提供为在多台服务器构成的分布式、并行计算平台上，搭载定制的、易于交互的网络（Web）界面或其他各用户界面（UI，User Interface），形成供个人、群体或单位使用的信息推荐平台等。

示例三、箱式结构检测装置是服务器端应用程序接口（API，Application ProgramInterface）及插件

本发明实施例中的箱式结构检测装置555可提供为服务器端的API或插件，以供用户调用，以执行本发明实施例的基于人工智能的箱式结构检测方法，并嵌入到各类应用程序中。

示例四、箱式结构检测装置是移动设备客户端API及插件

本发明实施例中的箱式结构检测装置555可提供为移动设备端的API或插件，以供用户调用，以执行本发明实施例的基于人工智能的箱式结构检测方法。

示例五、箱式结构检测装置是云端开放服务

本发明实施例中的箱式结构检测装置555可提供为向用户开发的箱式结构检测云服务，供个人、群体或单位获取推荐列表。

其中，箱式结构检测装置555包括一系列的模块，包括提取模块5551、分割模块5552、检测模块5553、处理模块5554以及确定模块5555。下面继续说明本发明实施例提供的箱式结构检测装置555中各个模块配合实现箱式结构检测的方案。

在一些实施例中，所述提取模块5551还用于对包括箱式结构的待检测图像进行下采样编码处理，得到所述待检测图像的第一下采样特征；对所述第一下采样特征进行特征提取处理，得到多个相同尺度的特征；对所述多个相同尺度的特征进行融合处理，将融合结果作为所述箱式结构的特征。

在一些实施例中，所述提取模块5551还用于所述提取模块还用于对所述第一下采样特征进行下采样编码处理，得到分辨率低于所述第一下采样特征图的第二下采样特征；对所述第二下采样特征图进行卷积处理，得到第一卷积编码特征；对所述第一卷积编码特征进行上采样解码处理，得到第一上采样特征；对所述第一下采样特征进行卷积处理，得到第二卷积编码特征；其中，所述第一上采样特征的尺度与所述第二卷积编码特征的尺度相同；将所述第一上采样特征以及所述第二卷积编码特征进行加和处理，将加和结果作为所述箱式结构的特征。

在一些实施例中，所述分割模块5552还用于对所述箱式结构的特征进行基于框架平面的映射处理，得到所述待检测图像中每个像素属于所述箱式结构中支撑件的概率，以作为所述待检测图像中对应所述箱式结构中框架的分割结果。

在一些实施例中，所述检测模块5553还用于对所述箱式结构的特征进行基于直线的映射处理，得到所述待检测图像中每个像素属于所述箱式结构中同一个支撑件的边缘线的概率；将大于边缘线概率阈值的概率对应的像素，确定为属于所述箱式结构中同一个支撑件的边缘线的像素；基于所述箱式结构中同一个支撑件的边缘线的像素进行拟合处理，得到所述框架包括的支撑件的边缘线。

在一些实施例中，所述框架包括多个不同类型的支撑件，所述分割结果包括所述待检测图像中每个像素属于所述箱式结构中不同类型的支撑件的概率；所述处理模块5554还用于针对存在连接关系的所述边缘线形成的多边形执行以下处理：基于所述分割结果确定位于所述多边形中的每个像素属于所述框架中的支撑件的概率；基于所述多边形中的每个像素属于所述框架中的支撑件的概率，确定所述框架包括的所述支撑件的平面区域。

在一些实施例中，所述处理模块5554还用于当所述多边形中每个像素属于所述支撑件的概率的平均值大于概率阈值、且所述多边形的面积大于面积阈值时，将所述多边形确定为所述框架包括的所述支撑件的平面区域。

在一些实施例中，所述框架包括多个不同类型的支撑件；所述确定模块5555还用于确定所述框架中与每个所述类型的支撑件对应的平面区域的数量；基于每个所述类型的支撑件对应的平面区域的数量，确定所述箱式结构的完整程度；其中，每个所述类型的支撑件对应的平面区域的数量的加和结果与所述完整程度成正相关关系。

上述技术方案中，所述确定模块5555还用于将所述框架中对应不同类型的支撑件的平面区域进行组合，得到框架图像；确定所述框架图像中的多个端点，基于所述多个端点分别对应的坐标，确定所述箱式结构在所述待检测图像中的定位区域。

本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本发明实施例上述的基于人工智能的箱式结构检测方法。

本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的基于人工智能的箱式结构检测方法，例如，如图3A示出的基于人工智能的箱式结构检测方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的箱式结构检测方法，其特征在于，包括：

对包括箱式结构的待检测图像进行特征提取处理，得到所述箱式结构的特征；

基于所述箱式结构的特征对所述待检测图像进行平面分割处理，得到所述待检测图像中对应所述箱式结构中框架的分割结果；

基于所述箱式结构的特征对所述待检测图像进行直线检测处理，得到所述框架的边缘线；

基于所述分割结果以及所述框架的边缘线，确定所述框架包括的平面区域；

基于所述框架中包括的所述平面区域，确定所述箱式结构的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对包括箱式结构的待检测图像进行特征提取处理，得到所述箱式结构的特征，包括：

对包括箱式结构的待检测图像进行下采样编码处理，得到所述待检测图像的第一下采样特征；

对所述第一下采样特征进行特征提取处理，得到多个相同尺度的特征；

对所述多个相同尺度的特征进行融合处理，将融合结果作为所述箱式结构的特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一下采样特征进行特征提取处理，得到多个相同尺度的特征，包括：

对所述第一下采样特征进行下采样编码处理，得到分辨率低于所述第一下采样特征图的第二下采样特征；

对所述第二下采样特征图进行卷积处理，得到第一卷积编码特征；

对所述第一卷积编码特征进行上采样解码处理，得到第一上采样特征；

对所述第一下采样特征进行卷积处理，得到第二卷积编码特征；

其中，所述第一上采样特征的尺度与所述第二卷积编码特征的尺度相同；

所述对所述多个相同尺度的特征进行融合处理，得到所述箱式结构的特征，包括：

将所述第一上采样特征以及所述第二卷积编码特征进行加和处理，将加和结果作为所述箱式结构的特征。

4.根据权利要求1所述的方法，其特征在于，所述基于所述箱式结构的特征对所述待检测图像进行平面分割处理，得到所述待检测图像中对应所述箱式结构中框架的分割结果，包括：

对所述箱式结构的特征进行基于框架平面的映射处理，得到所述待检测图像中每个像素属于所述箱式结构中支撑件的概率，以作为所述待检测图像中对应所述箱式结构中框架的分割结果。

5.根据权利要求1所述的方法，其特征在于，所述基于所述箱式结构的特征对所述待检测图像进行直线检测处理，得到所述框架的边缘线，包括：

对所述箱式结构的特征进行基于直线的映射处理，得到所述待检测图像中每个像素属于所述箱式结构中同一个支撑件的边缘线的概率；

将大于边缘线概率阈值的概率对应的像素，确定为属于所述箱式结构中同一个支撑件的边缘线的像素；

基于所述箱式结构中同一个支撑件的边缘线的像素进行拟合处理，得到所述框架包括的支撑件的边缘线。

6.根据权利要求1所述的方法，其特征在于，

所述框架包括多个不同类型的支撑件，所述分割结果包括所述待检测图像中每个像素属于所述箱式结构中不同类型的支撑件的概率；

所述基于所述分割结果以及所述框架的边缘线，确定所述框架包括的平面区域，包括：

针对存在连接关系的所述边缘线形成的多边形执行以下处理：

基于所述分割结果确定位于所述多边形中的每个像素属于所述框架中的支撑件的概率；

基于所述多边形中的每个像素属于所述框架中的支撑件的概率，确定所述框架包括的所述支撑件的平面区域。

7.根据权利要求6所述的方法，其特征在于，所述基于所述多边形中的每个像素属于所述框架中的支撑件的概率，确定所述框架包括的所述支撑件的平面区域，包括：

当所述多边形中每个像素属于所述支撑件的概率的平均值大于概率阈值、且所述多边形的面积大于面积阈值时，将所述多边形确定为所述框架包括的所述支撑件的平面区域。

8.根据权利要求1所述的方法，其特征在于，

所述框架包括多个不同类型的支撑件；

所述基于所述框架中包括的所述平面区域，确定所述箱式结构的检测结果，包括：

确定所述框架中与每个所述类型的支撑件对应的平面区域的数量；

基于每个所述类型的支撑件对应的平面区域的数量，确定所述箱式结构的完整程度；

其中，每个所述类型的支撑件对应的平面区域的数量的加和结果与所述完整程度成正相关关系。

9.根据权利要求1至8任一项所述的方法，其特征在于，

所述基于所述框架中包括的所述平面区域，确定所述箱式结构的检测结果，包括：

将所述框架中对应不同类型的支撑件的平面区域进行组合，得到框架图像；

确定所述框架图像中的多个端点，基于所述多个端点分别对应的坐标，确定所述箱式结构在所述待检测图像中的定位区域。

10.一种箱式结构检测装置，其特征在于，所述装置包括：

提取模块，用于对包括箱式结构的待检测图像进行特征提取处理，得到所述箱式结构的特征；

分割模块，用于基于所述箱式结构的特征对所述待检测图像进行平面分割处理，得到所述待检测图像中对应所述箱式结构中框架的分割结果；

检测模块，用于基于所述箱式结构的特征对所述待检测图像进行直线检测处理，得到所述框架的边缘线；

处理模块，用于基于所述分割结果以及所述框架的边缘线，确定所述框架包括的平面区域；

确定模块，用于基于所述框架中包括的所述平面区域，确定所述箱式结构的检测结果。

Images