CN114782830A - 一种图像深度学习特征增强方法、系统及装置 - Google Patents

Abstract

本发明公开了一种图像深度学习特征增强方法、系统及装置，图像深度学习特征增强方法包括：构建多光源照射系统，包括多个不同属性以及从不同角度照射的光源；搭建光路成像系统，包括依据多光源照射系统的布置与待测样品的成像特点设置相机和光路的布置方式；获取不同光源照明下的若干图像信息；将若干图像信息进行复合生成多通道图像并送入卷积神经网络训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。本发明能够将大量的图像压缩为一张广义图像，可极大程度降低检测时间。

Description

一种图像深度学习特征增强方法、系统及装置

技术领域

本发明涉及图像检测领域，具体为一种图像深度学习特征增强方法、系统及装置。

背景技术

近年来，深度学习相关理论与技术迅速发展，现如今已经被广泛应用于军事、交通、人民日常生活以及工业生产中的各个领域。同时相关从业人员仍然也在不断拓展深度学习相关理论，完善深度学习基础框架，以求实现更高的检测精度。然而，虽然深度学习已经能够在很多图像识别领域实现与人脑相媲美的程度，但是仍然存在一些局限，一方面，深度学习对计算机算力要求很高，同时计算过程较为耗时，而在一些精密检测过程中往往需要多光源配合凸显不同特征，此时面对大量的输入图像数据，深度学习时效性往往难以保证。另一方面，由于深度学习从本质上是对人眼观测以及人脑思维的模拟，因此如果面对一些人眼也难以辨识到的任务，深度学习也往往受到很大的局限，如何能够在传统深度学习的基础上，赋予其超出人类思维极限的性能，是拓宽深度学习应用领域，提升其应用性能的一个重要研究方向。最后，深度学习对图像质量要求较高，而在图像采集过程中光照方式尤其重要，如何选择合理的照明方式对最终检测效果会造成极大的影响，因此对相关从业人员的光学理论知识与经验也有很高的要求，也一定程度限制了深度学习的发展。

中国专利申请CN202110578621.8在进行水果分类问题研究过程中，首先通过彩色相机进行图像采集，然后将RGB转换到色度空间，进行水果瑕疵检测，这种方式由于对图像进行了颜色空间的转换，因此能够提取得到人眼所难以分辨的信息，然而由于这种信息仍然是基于RGB三通道彩色图像所计算得到的，因此最终与人眼直接判断的效果相比难以实现明显提升。中国专利申请CN202111516233.3提出一种图像分割方法和图像分割装置，提出通过引入红外线图像，与原有红色通道图像进行计算得到植被图像，最后将红外图像，植被图像和原有RGB图像一同进行计算以实现图像分割，这种方法通过引入红外特征，能够获取到人眼难以获取的特征信息，因此能够进一步提升性能，然而这种方法仍然只是将计算得到的植被图像作为特征增强图像，主要的作用是提高分割精度，因此仍然没有突破人工检测的局限性。

综上所述，面向图像数据量大、信噪比低、检测速度快等要求，目前亟需一种行之有效的图像深度学习特征增强方法，进行高精度识别的深度学习检测任务。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提供了一种应用于图像深度学习特征增强方法，通过在待测件位置不变的前提下拍摄多张图像，提取图像不同维度的特征，并将这些图像复合为一张广义多通道复合图像。同时，通过在传统神经网络前端叠加一个复合图像压缩网络进行传统网路的改良，最终极大程度地提高检测精度与效率。

本发明的第二个目的在于提出一种图像深度学习特征增强系统。

本发明的第三个目的在于提出一种图像检测装置。

为实现上述目的，本发明提供如下技术方案：一种图像深度学习特征增强方法，包括：

构建多光源照射系统，包括多个不同属性以及从不同角度照射的光源；

搭建光路成像系统，包括依据多光源照射系统的布置与待测样品的成像特点设置相机和光路的布置方式；

获取不同光源照明下的若干图像信息；

将若干图像信息进行复合生成多通道图像并送入卷积神经网络训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。

优选的，将多通道图像送入卷积神经网络训练包括设置深度卷积层对多通道图像的深度特征进行抽象化处理。

优选的，所述对多通道图像的深度特征进行抽象化处理包括当通道数量小于第一阈值时，在卷积神经网络基础上添加单层降维网络，通过3个3×3×n的滤波器将多通道图像降维为三通道图像进行常规卷积运算。

优选的，所述对多通道图像的深度特征进行抽象化处理包括当通道数量大于第二阈值时，通过第一次卷积将多通道图像中相似的通道进行压缩处理，通过第二次卷积压缩处理后的图像降维到一维图像。

优选的，所述将若干图像信息进行复合生成多通道图像并送入卷积神经网络训练生成复合图像深度学习网络包括将不同相机采集到的图像分为三组，对每一组图像通过3个3×3×12的滤波器进行卷积处理，将三组卷积后的图像进行复合得到w/3×h/3×9的深度图像，再经过1×1×9的网络将特征图维度压缩到一维。

优选的，将多通道图像送入卷积神经网络训练生成复合图像深度学习网络包括将深度卷积层和其后端网络作为一个整体进行训练。

为达到上述目的，本发明第二方面实施例提出了一种图像深度学习特征增强系统，包括：

多光源照射系统，包括多个不同属性以及从不同角度照射的光源；

光路成像系统，包括依据多光源照射系统的布置与待测样品的成像特点设置的相机和光路结构；

处理模块，用于获取不同光源照明下的若干图像信息，并将若干图像信息进行复合生成多通道图像送入卷积神经网络训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。

为达到上述目的，本发明第三方面实施例提出了一种图像检测装置，包括上述图像深度学习特征增强系统。

与现有技术相比，本发明的有益效果是：

本发明提供的图像深度学习特征增强方法能够将大量的图像压缩为一张广义图像，可极大程度降低检测时间。其次，本方法通过引入额外的深度卷积层，能够起到不同深度特征比较与复合的作用，可以充分利用不同深度图像之间的差异信息，提取出隐藏在单张图像背后的信息，这种思想的基础是建立在计算机与人类不同，能够识别大于三通道的图像数据。因此通过这种技术手段能够真正发挥深度学习的优势，实现超越人脑的检测性能。最后，由于通过引入深度卷积网络，因此最终的网络具有多图像复合的功能，因此只需要采集不同照明方向下的特征，就能够在网络内部模拟出所有光源同时照明的图像，因此极大程度降低了光源布局的难度，而只需要大量布局局部光源，即可解决大多数检测问题。

附图说明

图1为本发明一种图像深度学习特征增强方法的第一种实施例的流程示意图；

图2为本发明一种图像深度学习特征增强方法的第二种实施例下的光路成像系统的结构示意图；

图3为本发明一种图像深度学习特征增强方法的第二种实施例下的卷积神经网络的结构图；

图4为本发明一种图像检测装置的结构示意图；

图5为本发明的图像检测装置拍摄的图像；

图6为本发明第三种实施例下的卷积神经网络的结构图。

图中：1、待测样品；2、红外相机；3、紫外相机；4、偏振相机；5、反射镜；6、半反半透镜；7、复合光源；8、红外相机图像；9、紫外相机图像；10、偏振相机图像；11、卷积神经网络；12、钢板检测光源一；13、钢板检测光源二；14、钢板检测光源三；15、钢板检测光源四；16、钢板；17、钢板划伤一；18、钢板划伤二；19、钢板划伤三；20、钢板脏污；21、钢板检测相机；22、第一图像；23、第二图像；24、钢板划伤检测神经网络。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供的第一种实施例，一种图像深度学习特征增强方法，包括以下步骤：

S1、构建多光源照射系统，所述多光源照射系统包括多个不同属性以及从不同角度照射的光源；具体的，根据待测样品1的光学属性，引入不同属性的光源，例如强白光、卤素灯、偏振光、红外光、紫外光等不同类别的光源；

S2、搭建光路成像系统，所述光路成像系统包括依据多光源照射系统的布置与待测样品1的成像特点设置相机和光路的布置方式；具体的，根据光源的种类与待测样品1的成像特点，设置相机的拍摄布局方式，如果需要同时采集不同类别的光信号，在单个相机难以满足的前提下，可以使用半反半透等手段在单个成像系统中集成多个相机，采集不同照明条件下的图像，保证不同图像位于相同位姿。

S3、获取不同光源照明下的若干图像信息；其中，要在保证成像系统位置不变的前提下拍摄不同光源照明下的图像。

S4、将若干图像信息进行复合生成多通道图像并送入卷积神经网络11训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。

具体的，根据需求选择成熟的深度学习框架，然后在所选择框架前方增加深度卷积层，用于进行多通道图像的深度特征进行抽象处理。可选择的，对于通道数量较少（小于第一阈值）的广义复合图像，可在传统网络基础上添加单层降维网络，通过3个3×3×n的滤波器将图像降维为三通道图像，然后进行常规卷积运行；对于通道数量较多（大于第二阈值）的复合图像，可以选择通过两次卷积，在第一次卷积过程中将广义复合图像中类似的通道首先进行一次压缩处理，然后第二次再降维到一维图像。

在实施例下，本发明的图像深度学习特征增强方法通过在待测件位置不变的前提下拍摄多张图像，提取图像不同维度的特征，并将这些图像复合为一张广义多通道复合图像。同时，通过在传统神经网络前端叠加一个复合图像压缩网络进行传统网路的改良，最终极大程度地提高检测精度与效率。

如图2和图3所示，本发明提供的第二种实施例，一种图像深度学习特征增强系统，包括：

多光源照射系统，包括多个不同属性以及从不同角度照射的光源；

光路成像系统，包括依据多光源照射系统的布置与待测样品1的成像特点设置的相机和光路结构；

处理模块，用于获取不同光源照明下的若干图像信息，并将若干图像信息进行复合生成多通道图像送入卷积神经网络11训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。

在实施例下，光路成像系统包括红外相机2，紫外相机3和偏振相机4，待测样品1通过复合光源7照射，其中复合光源7包含红外光，紫外光，白光等多类别、多角度的照明光源。待测样品所反射的光线经过半反半透镜6和反射镜5后分别进入三个相机，通过预先标定，保证三个相机中的图像能够实现良好的重叠。可选择的，每个相机拍摄4组不同角度光源下的图像。在该实施例下的具体卷积神经网络11如图3所示，网络结构为前端一个降维框架与传统网络复合而成。降维框架首先对三个相机图像分别进行降维，然后再将处理结果进行复合降维，最终传播到传统卷积神经网络框架中。

具体检测过程如以下步骤所示：

（1）控制不同光源分别亮起，同步控制对应的相机采集四组不同方向照明条件下的图像。

（2）将采集到的图像压缩为多通道图像，传入本发明提出的卷积神经网络11进行训练。

（3）在卷积神经网络11中，首先将不同相机采集到的图像分为三组，然后对每一组首先通过3个3×3×12的滤波器进行卷积，将三组图像卷积后的结果复合，得到w/3×h/3×9的深度图像，然后再次经过1×1×9的网络，将特征图维度压缩到一维，最后与传统其他神经网络连接。

（4）在网络训练过程中，将降维框架和后端网络当做一个整体进行训练，得到一个适用于广义多通道图像的检测网络。

如图4-图6所示，本发明提供的第三种实施例，一种图像检测装置，该实施下的图像检测装置涉及一种简化的钢板划伤缺陷检测装置，如图4所示，对于微弱划伤，只有光源与划伤走向垂直的情况下才能使得划伤得到最佳凸显，因此布局钢板检测光源一12、钢板检测光源二13、钢板检测光源三14和钢板检测光源四15四个方向的光源，钢板16上包含钢板划伤一17、钢板划伤二18、钢板划伤三19这三种缺陷，以及钢板脏污20属于检测过程中的干扰项目。钢板16上方设置有钢板检测相机21，从正上方观察待测钢板。拍摄到的图像如图5所示，其中第一图像22是由钢板检测光源一和钢板检测光源三照射下拍摄的图像，第二图像23是由钢板检测光源二和钢板检测光源四照射下拍摄的图像，对应钢板划伤检测神经网络24如图6所示。

该实施例的检测装置检测流程如下：

首先控制四个方向的光源依次亮起，拍摄不同光照条件下的图像，由于光源与缺陷垂直的情况下能够得到最大程度的凸显，所以最终拍摄效果如图5中的第一图像22和第二图像23所示，在单光源照射情况下只有部分缺陷，或者某个缺陷的一小部分能够得到凸显，而对于钢板脏污20来说，无论是什么方向的光线都能得到凸显。

卷积神经网络中，将图像首先通过3个3×3×12的滤波器进行卷积，在卷积过程中可以充分进行不同图像特征的对比，抽离出差异与公共信息，得到w/3×h/3×3的深度图像，然后与传统其他神经网络连接。

由于通过前端网络，能够抽离出不同图像的差异信息，因此最终检测结果中能够有效筛选掉脏污的干扰，同时前端网络还能实现多图像特征复合，因此最终可以得到完整的缺陷信息。

以上提供的图像深度学习特征增强方法能够将大量的图像压缩为一张广义图像，可极大程度降低检测时间。其次，本方法通过引入额外的深度卷积层，能够起到不同深度特征比较与复合的作用，可以充分利用不同深度图像之间的差异信息，提取出隐藏在单张图像背后的信息，这种思想的基础是建立在计算机与人类不同，能够识别大于三通道的图像数据。因此通过这种技术手段能够真正发挥深度学习的优势，实现超越人脑的检测性能。最后，由于通过引入深度卷积网络，因此最终的网络具有多图像复合的功能，因此只需要采集不同照明方向下的特征，就能够在网络内部模拟出所有光源同时照明的图像，因此极大程度降低了光源布局的难度，而只需要大量布局局部光源，即可解决大多数检测问题。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种图像深度学习特征增强方法，其特征在于，包括：

构建多光源照射系统，包括多个不同属性以及从不同角度照射的光源；

搭建光路成像系统，包括依据多光源照射系统的布置与待测样品的成像特点设置相机和光路的布置方式；

获取不同光源照明下的若干图像信息；

将若干图像信息进行复合生成多通道图像并送入卷积神经网络训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。

2.根据权利要求1所述的图像深度学习特征增强方法，其特征在于，将多通道图像送入卷积神经网络训练包括设置深度卷积层对多通道图像的深度特征进行抽象化处理。

3.根据权利要求2所述的图像深度学习特征增强方法，其特征在于，所述对多通道图像的深度特征进行抽象化处理包括当通道数量小于第一阈值时，在卷积神经网络基础上添加单层降维网络，通过3个3×3×n的滤波器将多通道图像降维为三通道图像进行常规卷积运算。

4.根据权利要求2所述的图像深度学习特征增强方法，其特征在于，所述对多通道图像的深度特征进行抽象化处理包括当通道数量大于第二阈值时，通过第一次卷积将多通道图像中相似的通道进行压缩处理，通过第二次卷积压缩处理后的图像降维到一维图像。

5.根据权利要求2所述的图像深度学习特征增强方法，其特征在于，所述将若干图像信息进行复合生成多通道图像并送入卷积神经网络训练生成复合图像深度学习网络包括将不同相机采集到的图像分为三组，对每一组图像通过3个3×3×12的滤波器进行卷积处理，将三组卷积后的图像进行复合得到w/3×h/3×9的深度图像，再经过1×1×9的网络将特征图维度压缩到一维。

6.根据权利要求2-5中任一权利要求所述的图像深度学习特征增强方法，其特征在于，将多通道图像送入卷积神经网络训练生成复合图像深度学习网络包括将深度卷积层和其后端网络作为一个整体进行训练。

7.一种图像深度学习特征增强系统，其特征在于，包括：

多光源照射系统，包括多个不同属性以及从不同角度照射的光源；

光路成像系统，包括依据多光源照射系统的布置与待测样品的成像特点设置的相机和光路结构；

处理模块，用于获取不同光源照明下的若干图像信息，并将若干图像信息进行复合生成多通道图像送入卷积神经网络训练生成复合图像深度学习网络，所述复合图像深度学习网络用于对复合图像进行检测。

8.一种图像检测装置，其特征在于，包括权利要求7所述的图像深度学习特征增强系统。

Images