CN110009625B - 基于深度学习的图像处理系统、方法、终端、及介质 - Google Patents

Abstract

本申请提供基于深度学习的图像处理系统、方法、终端、及介质，本申请利用深度学习在计算机视觉领域的优秀的图像理解能力，尤其是对图像全局语义的推力能力，提出了一种全新的用于图像中的线段检测的卷积神经网络，从而有效解决了传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。

Description

基于深度学习的图像处理系统、方法、终端、及介质

技术领域

本申请涉及图像处理技术领域，特别是涉及基于深度学习的图像处理系统、方法、终端、及介质。

背景技术

从二维图像中提取三维信息一直是计算机视觉中的一个重要问题。一些已有的技术工作已经证明了基于局部特征检测、匹配和跟踪(例如：角点和边缘)检测线段的可行性。

然而，在现代应用中，尤其是涉及机器人与人造物理环境之间的交互对线段检测提出了更复杂的挑战。一方面，人造环境往往包含丰富的均匀表面和/或高度重复的模式，这给特征匹配和跟踪带来困难。另一方面，对于性能高度依赖于几何元素(如点、线)的即时定位与地图构建问题，丰富和准确的线段信息显得尤为重要。

对于线段检测，许多已有的工作基于曼哈顿世界空间结构的假设或特定的房间拓扑。这些先验知识对理解三维结构非常有益，但在现实生活中，这些假设经常并不成立。而一般的节点和线段既能够传递重要的几何信息，又不依赖于任何先前的假设，因此可用于更为广泛的场景中。

传统的线段检测算法一般从边缘检测开始，进而对其进行合并和细化，最终得到线段。然而，由于这些方法仅依赖于局部特征，因此通常对尺度和照明的变化敏感；此外，一些几何信息丰富的线，例如两个白色墙壁之间的交线，往往具有较低的局部边缘响应，因此往往被这些方法忽略。相比之下，如果能通过全局语义推理，计算机就可以容易地识别这种视觉上模糊的线段。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供，用于解决现有传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度学习的图像处理系统，用于将待处理图像转换为对应的简单图；所述系统包括：图像特征提取模块，用于从待处理图像中提取图像特征；节点检测模块，用于基于所提取的图像特征检测出多个线段节点；连接性特征池化模块，用于从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；邻接矩阵推断模块，用于根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，所述系统以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集合，据以输出所述待处理图像对应的简单图。

于本申请的第一方面的一些实施例中，所述图像特征提取模块包括使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络。

于本申请的第一方面的一些实施例中，所述节点检测模块所检测出的多个线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。

于本申请的第一方面的一些实施例中，令线段节点个数为n，其中n≥1，则所述候选线段的个数为(n*(n-1)/2)。

于本申请的第一方面的一些实施例中，所述邻接矩阵为n×n矩阵，矩阵中的各个元素表示对应的两个线段节点之间的连接概率。

为实现上述目的及其他相关目的，本申请的第二方面提供一种基于深度学习的图像处理方法，所述方法用于将待处理图像转换为对应的简单图；所述方法包括：从待处理图像中提取图像特征；基于所提取的图像特征检测出多个线段节点；从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集，据以输出所述待处理图像对应的简单图

于本申请的第二方面的一些实施例中，所述方法包括：使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络，从待处理图像中提取图像特征。

于本申请的第二方面的一些实施例中，所述方法包括：所述线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。

为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的图像处理方法。

为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度学习的图像处理方法。

如上所述，本申请提供基于深度学习的图像处理系统、方法、终端、及介质，具有以下有益效果：本申请利用深度学习在计算机视觉领域的优秀的图像理解能力，尤其是对图像全局语义的推力能力，提出了一种全新的用于图像中的线段检测的卷积神经网络，从而有效解决了传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。

附图说明

图1显示为本申请一实施例中基于深度学习的图像处理系统的结构示意图。

图2显示为本申请一实施例中基于深度学习的图像处理的结果示意图。

图3显示为本申请一实施例中基于深度学习的图像处理方法的流程示意图。

图4显示为本申请一实施例中电子终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

现有的线段检测算法一般从边缘检测开始，进而对其进行合并和细化，最终得到线段。然而，由于这些方法仅依赖于局部特征，因此通常对尺度和照明的变化敏感；此外，一些几何信息丰富的线，例如两个白色墙壁之间的交线，往往具有较低的局部边缘响应，因此往往被这些方法忽略。相比之下，如果能通过全局语义推理，计算机就可以容易地识别这种视觉上模糊的线段。

鉴于深度学习在计算机视觉的众多任务中展现了优秀的图像理解能力，尤其是对图像全局语义的推理能力，故本申请提出基于深度学习的图像处理系统、方法、终端、及介质，用于图像中的线段检测，解决现有技术中存在的问题。

如图1所示，展示本申请一实施例中基于深度学习的图像处理系统的结构示意图。本申请中的图像处理系统用于将待处理图像转换为对应的简单图，所述简单图可用G＝{V，E}来表示，其中V表示节点集，E表示连接集，通过这种方式将线段检测问题转化为图的推理问题。因此，本申请提供的基于深度学习的图像处理系统是实现从图像X到图G的映射{f_PPGNet：X→G}的神经网络系统。

于本实施例中，所述图像处理系统包括图像特征提取模块11、节点检测模块12、连接性特征池化模块13、以及邻接矩阵推断模块14。

图像特征提取模块11用于从待处理图像中提取图像特征，对于给定的一张待处理图像X，图像特征提取模块11提取图像的中间特征F，故图像特征提取模块11是由图像X到中间特征F的映射{f_backbone：X→F}。

在一实施例中，所述图像特征提取模块11包括使用特征金字塔结构的神经网络。所述特征金字塔结构的神经网络，即FPN(Feature Pyramid Networks)，是一种基于深度卷积神经网络固有的多尺度、多层级的金字塔结构而形成的一种特征金字塔网络。通常的目标检测算法都只采用顶层特征做预测，低层的特征语义信息比较少但目标位置准确，高层的特征语义信息比较丰富但目标位置比较粗略，而FPN算法则兼顾了特征语义信息的丰富性和目标位置的准确性。

在一实施例中，所述图像特征提取模块11包括使用空间金字塔池化结构的神经网络。所述空间金字塔池化结构的神经网络，即SPP(Spatial pyramid pooling)网络，可将任意大小的图像池化生成固定长度的图像表示，其允许使用各种尺寸的图像来训练网络，可增加样本个数，防止过拟合，具有更好的鲁棒性。

节点检测模块12用于基于所提取的图像特征检测出多个线段节点，所述节点检测模块12包括使用多层感知结构的神经网络，例如BP神经网络或者CNN神经网络等等。

在一实施例中，所述节点检测模块所检测出的多个线段节点包括所有线段端点；所述线段端点的坐标集合作为简单图的节点集合。优选的，从中间特征F中检测提取所有线段端点坐标，故节点检测模块12是由中间特征到线段端点坐标集合的映射{f_vertex：F→V}。

连接性特征池化模块13用于从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征，所述连接性特征池化模块13包括使用多层感知结构的神经网络，例如BP神经网络或者CNN神经网络等等。

具体的，连接性特征池化模块13根据线段端点坐标结果，枚举所有端点配对可能性作为候选线段。于本实施例中，假设检测出n个端点，其中n≥1，则可枚举(n*(n-1)/2)种可能性，得到(n*(n-1)/2)个候选线段。连接性特征池化模块13根据每个候选线段从中间特征F中提取所对应的连接性特征F_c，故连接性特征池化模块13是由中间特征和端点坐标到连接性特征的映射{f_pooling：F，V→F_c}。

邻接矩阵推断模块14用于根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵，所述邻接矩阵推断模块14包括使用多层感知结构的神经网络，例如BP神经网络或者CNN神经网络等等，其应用一维卷积得到用于表示线段节点之间的连接关系的邻接矩阵。

具体的，邻接矩阵推断模块14从连接性特征F_c推断每对端点间的连接概率，并将所有端点配对间的链接概率组合为邻接矩阵A(假设检测出n个端点，则A为n×n矩阵，除对角线处为端点与自身连接概率无意义外，其他位置元素A_i，j表示第i个端点和第j个端点连接的概率)，因此邻接矩阵推断模块是从连接性特征F_c到邻接矩阵A的映射{f_adi：F_c→A}。

其中，所述图像处理系统以线段端点坐标集合V为简单图的节点集合V，并以所述邻接矩阵A为简单图的连接集合E，从而输出所述待处理图像对应的简单图G＝{V，E}。

综上所述，本发明所设计的神经网络是以图像X为输入，输出端点坐标集合V和邻接矩阵A的模型{f_PPGNet：X→V，A}。因为邻接矩阵A是简单图G＝{V，E}中连接集E的一种常用参数化表示方法，因此本发明设计的神经网络即为从图像X到图G的映射{f_PPGNet：X→G}。需要注意的是，本发明主要涉及用于线段检测的新型卷积神经网络设计，包括但不限于各模块的具体实现方式和关键参数最优设计。

如图2所示，展示本申请一实施例中基于深度学习的图像处理的结果示意图。图中展示一室内场景，其可视化预测结果如图2所示，其中，图中仅展示部分图像的线段检测结果用作示意，而并未展示全部。

于本实施例中，本申请提供的基于深度学习的图像处理系统在预设的数据集上进行训练、测试、以及验证，以获取高准确性和鲁棒性的图像处理系统。例如：在Wireframe数据集训练集上进行训练，在Wireframe数据集上进行测试，并在York Urban数据集上进行验证。网络训练在4块NVIDIA P40GPU上进行，采用Pytorch框架实现，优化器采用随机梯度下降优化器，学习率为10^-4，从而获取如图2所示的可视化预测结果。

需要说明的是，所述Wireframe数据集是出自2018期“In Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition”中名为“Learning toparse wireframes in images of man-made environments”的论文。所述York Urban数据集是出自2008期“In European conference on computer vision”中名为“Efficientedge-based methods for estimating manhattan frames in urban imagery”的论文。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，邻接矩阵推断模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上邻接矩阵推断模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

如图3所示，展示本申请一实施例中基于深度学习的图像处理方法的流程示意图。

在一些实施方式中，所述方法可应用于控制器，例如：ARM控制器、FPGA控制器、SoC控制器、DSP控制器、或者MCU控制器等等。在一些实施方式中，所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。

于本实施例中，所述基于深度学习的图像处理方法包括步骤S31、步骤S32、步骤S33、以及步骤S34。

在步骤S31中，从待处理图像中提取图像特征。

在步骤S32中，基于所提取的图像特征检测出多个线段节点。

在步骤S33中，从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征。

在步骤S34中，根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，以所述多个选段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集，据以输出所述待处理图像对应的简单图。

在一实施例中，所述方法还包括：使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络，从待处理图像中提取图像特征。

在一实施例中，所述线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

另外需要说明的是，本实施例提供的基于深度学习的图像处理方法与上文中基于深度学习的图像处理系统的实施方式类似，故不再赘述。

如图4所示，展示本申请一实施例中电子终端的结构示意图。本实例提供的电子终端，包括：处理器41、存储器42、收发器43、通信接口44和系统总线45；存储器42和通信接口44通过系统总线45与处理器41和收发器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信接口44和收发器43用于和其他设备进行通信，处理器41用于运行计算机程序，使电子终端执行如上基于深度学习的图像处理方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本申请提供基于深度学习的图像处理系统、方法、终端、及介质，本申请利用深度学习在计算机视觉领域的优秀的图像理解能力，尤其是对图像全局语义的推力能力，提出了一种全新的用于图像中的线段检测的卷积神经网络，从而有效解决了传统的线段检测算法仅依赖于局部特征而对尺度和照明的变化敏感，且容易忽略具有较低局部边缘响应的问题。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于深度学习的图像处理系统，其特征在于，用于将待处理图像转换为对应的简单图；所述系统包括：

图像特征提取模块，用于从待处理图像中提取图像特征；

节点检测模块，用于基于所提取的图像特征检测出多个线段节点；

连接性特征池化模块，用于从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；

邻接矩阵推断模块，用于根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；

其中，所述系统以所述多个线段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集合，据以输出所述待处理图像对应的简单图。

2.根据权利要求1所述的系统，其特征在于，所述图像特征提取模块包括使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络。

3.根据权利要求1所述的系统，其特征在于，所述节点检测模块所检测出的多个线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。

4.根据权利要求1所述的系统，其特征在于，包括：令线段节点个数为n，其中n≥1，则所述候选线段的个数为(n*(n-1)/2)。

5.根据权利要求4所述的系统，其特征在于，所述邻接矩阵为n×n矩阵，矩阵中的各个元素表示对应的两个线段节点之间的连接概率。

6.一种基于深度学习的图像处理方法，其特征在于，用于将待处理图像转换为对应的简单图；所述方法包括：

从待处理图像中提取图像特征；

基于所提取的图像特征检测出多个线段节点；

从所述图像特征中提取对应于由所述多个线段节点所生成的多个候选线段的连接性特征；

根据所述连接性特征推断每对线段节点之间的连接概率，据以组合成相应的邻接矩阵；其中，以所述多个线段节点的坐标集合作为所述简单图的节点集合，并以所述邻接矩阵作为所述简单图的连接集，据以输出所述待处理图像对应的简单图。

7.根据权利要求6所述的方法，其特征在于，包括：

使用特征金字塔结构的神经网络和/或使用空间金字塔池化结构的神经网络，从待处理图像中提取图像特征。

8.根据权利要求6所述的方法，其特征在于，所述线段节点包括线段端点；所述线段端点的坐标集合作为简单图的节点集合。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6至8中任一项所述基于深度学习的图像处理方法。

10.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求6至8中任一项所述基于深度学习的图像处理方法。

Images