CN109447243A - 基于深度学习的沥青质量检测方法、系统及电子设备 - Google Patents

Abstract

本发明揭示了一种基于深度学习的沥青质量检测方法、系统及电子设备，属于计算机应用技术领域。所述方法包括：获取对沥青采集的目标图像；采用预先构建的深度学习模型对目标图像进行图像识别；根据所述图像识别的结果判断所述目标图像中的沥青质量。上述基于深度学习的沥青质量检测方法、系统及电子设备能够实现沥青质量检测的自动化，无需专门的操作人员进行沥青质量的检测，避免进行沥青质量检测时给人体健康带来严重危害。

Description

基于深度学习的沥青质量检测方法、系统及电子设备

技术领域

本发明涉及计算机应用技术领域，特别涉及一种基于深度学习的沥青质量检测方法、系统及电子设备。

背景技术

沥青通常存储在大型储罐中，当在使用输出时，需要对储罐中的沥青进行加热，以提高沥青的流动性，使沥青能够顺利、快速输出。在沥青输出时，需同时检测沥青的质量，确保输出沥青的质量合格。

目前，通常是采用人工抽样方式检测沥青的质量，但实际生产环境通常是高温、有毒烟、有气味的环境，导致在对沥青进行质量检测时给人体健康带来严重危害。

发明内容

为了解决相关技术中进行沥青质量检测时给人体健康带来严重危害的技术问题，本发明提供了一种基于深度学习的沥青质量检测方法、系统及电子设备。

第一方面，提供了一种基于深度学习的沥青质量检测方法，包括：

获取对沥青采集的目标图像；

采用预先构建的深度学习模型对所述目标图像进行图像识别；

根据所述图像识别的结果判断所述目标图像中的沥青质量。

可选的，所述方法还包括：

通过不同角度对各种不同质量的沥青进行样本图像的采集；

采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型。

可选的，所述方法还包括：

通过不同角度对各种不同质量的沥青进行样本图像的采集；

采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型。

可选的，所述采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型的步骤包括：

对各样本图像进行沥青质量的标记；

采用YOLOv3算法对经过沥青质量标记后的所述样本图像进行训练，构建所述深度学习模型。

可选的，所述根据所述图像识别的结果判断所述目标图像中的沥青质量的步骤之后，所述方法还包括：

根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒。

可选的，所述根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒的步骤包括：

当检测到所述沥青质量为油料时，通过语音或图像进行报警提醒。

第二方面，提供了一种基于深度学习的沥青质量检测系统，包括：

目标图像获取模块，用于获取对沥青采集的目标图像；

图像识别模块，用于采用预先构建的深度学习模型对所述目标图像进行图像识别；

沥青质量判断模块，用于根据所述图像识别的结果判断所述目标图像中的沥青质量。

可选的，所述系统还包括：

样本图像采集模块，用于通过不同角度对各种不同质量的沥青进行样本图像的采集；

深度学习模块，用于采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型。

可选的，所述系统还包括：

提醒模块，用于根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒。

第三方面，提供了一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

第四方面，提供了一种计算机可读性存储介质，用于存储程序，其特征在于，所述程序在被执行时使得电子设备执行如第一方面的方法。

通过本发明的实施例提供的技术方案能够得到以下有益效果：

在进行沥青质量检测时，采用预先构建的深度学习模型对沥青采集的目标图像进行图像识别，即可自动检测出目标图像中的沥青质量，从而实现沥青质量检测的自动化，无需专门的操作人员进行沥青质量检测，避免进行沥青质量检测时给人体健康带来严重危害。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于深度学习的沥青质量检测方法流程图。

图2是根据图1对应实施例示出的另一种基于深度学习的沥青质量检测方法。

图3是根据图2对应实施例示出的基于深度学习的沥青质量检测方法中步骤S220的一种具体实现流程图。

图4是根据一示例性实施例示出的一种基于深度学习的沥青质量检测系统的框图。

图5是根据图4对应实施例示出的另一种基于深度学习的沥青质量检测系统的框图。

图6是根据图5对应实施例示出的基于深度学习的沥青质量检测系统中深度学习模块220的一种框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的系统和方法的例子。

图1是根据一示例性实施例示出的一种基于深度学习的沥青质量检测方法流程图，该基于深度学习的沥青质量检测方法可用于智能手机、电脑等电子设备中。如图1所示，该基于深度学习的沥青质量检测方法可以包括以下步骤。

步骤S110，获取对沥青采集的目标图像。

目标图像是针对将进行质量检测的沥青采集的图像。

目标图像可以是实时采集的一个图像；也可以是从预先采集的图像库中提取的一个图像；也可以是在视频采集存储后，从存储的视频中提取的一个图像帧；还可以是其它形式采集的图像。

沥青是由不同分子量的碳氢化合物及其非金属衍生物组成的黑褐色复杂混合物，是高黏度有机液体的一种，呈液态，表面呈黑色，可溶于二硫化碳。沥青是一种防水防潮和防腐的有机胶凝材料。沥青主要可以分为煤焦沥青、石油沥青和天然沥青三种：其中，煤焦沥青是炼焦的副产品。石油沥青是原油蒸馏后的残渣。天然沥青则是储藏在地下，有的形成矿层或在地壳表面堆积。沥青主要用于涂料、塑料、橡胶等工业以及铺筑路面等。

2017年10月27日，世界卫生组织国际癌症研究机构公布的致癌物清单初步整理参考，沥青、职业暴露于氧化沥青及其在盖屋顶过程中的排放在2A类致癌物清单中，铺路时职业暴露于直馏沥青及其排放物、做沥青砂胶工作时职业暴露于硬沥青及其排放物在2B类致癌物清单中。

因此，当采用人工抽样方式检测沥青质量时，将对检测人员的身体健康带来严重危害。

步骤S120，采用预先构建的深度学习模型对目标图像进行图像识别。

深度学习模型是预先构建的对各种不同质量的沥青的图像特征进行表征的特征集合。

因此，采用预先构建的深度学习模型对目标图像进行图像识别，即可识别出目标图像中沥青的图像特征。

采用预先构建的的对目标图像进行图像识别时，可以采用各种神经网络算法进行图像识别，例如R-CNN(Region-based Convolutional Neural Network)、Fast R-CNN(FastRegion-based Convolutional Neural Network)、SSD(Single Shot multiboxDetector)、YOLOv3等算法。

步骤S130，根据图像识别的结果判断目标图像中的沥青质量。

可以理解的是，不同沥青质量的图像特征并不相同，因此，通过预先构建的深度学习模型，识别出目标图像中表征沥青质量的图像特征，进而根据图像特征判断目标图像中的沥青质量。

在一示例性实施例中，预先构建的深度学习模型包含多种不同沥青质量的图像特征，进而通过计算目标图像与各不同沥青质量的图像特征之间的匹配度，从而识别出与目标图像最相似的图像特征，最终判断目标图像中的沥青质量。

利用如上所述的方法，在获取对沥青采集的目标图像后，采用预先构建的深度学习模型对目标图像进行图像识别，即可自动识别目标图像中的沥青质量，从而实现沥青质量检测的自动化，无需专门的操作人员进行沥青质量的检测，避免进行沥青质量检测时给人体健康带来严重危害。

可选的，如图2所示，在图1对应实施例示出的基于深度学习的沥青质量检测方法中，该基于深度学习的沥青质量检测方法还可以包括以下步骤。

步骤S210，通过不同角度对各种不同质量的沥青进行样本图像的采集。

需要说明的是，在对沥青采集的目标图像进行识别之前，需预先对各类不同质量的沥青进行大量样本图像的采集。

采集沥青的样本图像时，可通过大数据获取网络中各种不同质量的沥青的图像；也可以针对各不同质量的沥青，从不同角度采集沥青的图像。

步骤S220，采用深度学习算法对样本图像进行深度学习，构建深度学习模型。

为使采集的样本图像在对沥青进行质量检测时发挥作用，还需采用深度学习算法对样本图像进行深度学习，构建深度学习模型，使通过深度学习模型对目标图像进行迭代运算而识别出目标图像中的沥青类型。

具体地，如图3所示，步骤S220可以包括步骤S221、步骤S222。

步骤S221，对各样本图像进行沥青质量的标记。

沥青质量识别是基于深度学习完成的，深度学习的模型训练时，需要大量的带有质量标记的样本，人工标记是一件费时又费力的工作，本实施例将通过第三方开源工具LabelImg对样本图像进行质量标记，生成xml文件。

步骤S222，采用YOLOv3算法对经过沥青质量标记后的样本图像进行训练，构建深度学习模型。

可选的，通过对大量样本图像提取图像特征，进而采用YOLOv3算法对提取的图像特征进行训练，构建深度学习模型。

相对于R-CNN、Fast R-CNN、SSD等已有算法，YOLOv3算法是目前目标检测算法中检测速度和准确率都很优秀的算法，在相同的硬件条件下，YOLOv3比R-CNN快1000倍，比FastR-CNN快100倍，在准确率方面，YOLOv3要比SSD更高。

利用如上所述的方法，在进行沥青质量识别时，通过预先采集大量不同质量的沥青的样本图像，再通过对样本图像进行深度学习构建深度学习模型，进而通过深度学习模型对目标图像进行图像识别，即可自动识别目标图像中的沥青质量，从而有效避免在对沥青进行质量检测时给人体健康带来严重危害。

可选的，在图1对应实施例示出的基于深度学习的沥青质量检测方法中，在步骤S130之后，该基于深度学习的沥青质量检测方法还可以包括以下步骤：

根据沥青质量，通过语音或图像对操作人员进行沥青质量的提醒。

可以理解的是，在检测出沥青质量后，根据沥青质量，通过语音或图像告知在操作室的操作人员，对操作人员进行沥青质量的提醒，大大提高了沥青质量检测的便利性，使操作人员能够根据检测的沥青质量及时进行处理。

可选的，沥青质量包括油料和花料。油料通常为在生产过程完全合格的情况下生产出的优质品，而花料则是生产过程出现问题后的劣质品。花料是由于沥青没拌均匀、因沥青用量过少造成露出石子的白色、或沥青混合料出现了白的、黑色的现象。

当检测到沥青质量为油料时，通过语音或图像进行报警提醒，从而迅速告知操作人员快速处理。

下述为本发明系统实施例，可以用于执行上述基于深度学习的沥青质量检测方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明基于深度学习的沥青质量检测方法实施例。

图4是根据一示例性实施例示出的一种基于深度学习的沥青质量检测系统的框图，该系统包括但不限于：目标图像获取模块110、图像识别模块120及沥青质量判断模块130。

目标图像获取模块110，用于获取对沥青采集的目标图像；

图像识别模块120，用于采用预先构建的深度学习模型对所述目标图像进行图像识别；

沥青质量判断模块130，用于根据所述图像识别的结果判断所述目标图像中的沥青质量。

上述系统中各个模块的功能和作用的实现过程具体详见上述基于深度学习的沥青质量检测方法中对应步骤的实现过程，在此不再赘述。

可选的，图5是根据图4对应实施例示出的另一种基于深度学习的沥青质量检测系统的框图，如图5所示，该基于深度学习的沥青质量检测系统还包括但不限于：样本图像采集模块210、深度学习模块220。

样本图像采集模块210，用于通过不同角度对各种不同质量的沥青进行样本图像的采集；

深度学习模块220，用于采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型。

可选的，如图6所示，深度学习模块220包括但不限于：质量标记单元211和模型构建单元212。

质量标记单元211，用于对各样本图像进行沥青质量的标记；

模型构建单元212，用于采用YOLOv3算法对经过沥青质量标记后的所述样本图像进行训练，构建所述深度学习模型。

可选的，该基于深度学习的沥青质量检测系统还包括但不限于：提醒模块。

提醒模块，用于根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒。

可选的，提醒模块具体应用于当检测到所述沥青质量为油料时，通过语音或图像进行报警提醒。

图7是根据一示例性实施例示出的一种电子设备100的框图。参考图7，电子设备100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，电子设备100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件101通常控制电子设备100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static RandomAccess Memory，静态随机存取存储器)，EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable ReadOnly Memory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成上述任一所示方法中的全部或者部分步骤。

电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

图像采集组件105被配置为采集图像或视频。例如，图像采集组件105包括一个摄像头，当电子设备100处于操作模式，摄像头被配置为拍摄外部图像。所采集的图像可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，图像采集组件105还包括一个扫描仪等。

传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测电子设备100或电子设备100一个组件的坐标改变以及电子设备100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。

通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如WiFi(Wireless-Fidelity，无线网络)，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(InfraredDataAssociation，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。

在示例性实施例中，电子设备100可以被一个或多个ASIC(Application SpecificIntegrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

该实施例中的电子设备中处理器执行操作的具体方式已经在有关该基于深度学习的沥青质量检测方法的实施例中执行了详细描述，此处将不再做详细阐述说明。

可选的，本发明还提供一种电子设备，执行上述任一所示的基于深度学习的沥青质量检测方法的全部或者部分步骤。该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法。

例如，通过摄像头采集到正在传送带上传送的沥青图像后，将采集到的沥青图像通过无线传输或有线传输的方式，传输到电子设备，再由电子设备通过本发明的基于深度学习的沥青质量检测方法进行检测，实现对沥青质量的检测，是否符合标准等信息，再由语音和图像提示的方法告知在操作室的操作人员，实现了操作人员不在生产现场，但又能知晓生产中沥青质量的具体情况，实现沥青质量检测的智能化，方便操作人员在操作室集中控制现场生产流程，节省了人力成本，并且避免在对沥青进行质量检测时给人体健康带来严重危害。

该实施例中的电子设备中处理器执行操作的具体方式已经在有关该基于深度学习的沥青质量检测方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由电子设备100的处理器109执行以完成上述基于深度学习的沥青质量检测方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于深度学习的沥青质量检测方法，其特征在于，所述方法包括：

获取对沥青采集的目标图像；

采用预先构建的深度学习模型对所述目标图像进行图像识别；

根据所述图像识别的结果判断所述目标图像中的沥青质量。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过不同角度对各种不同质量的沥青进行样本图像的采集；

采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型。

3.根据权利要求2所述的方法，其特征在于，所述采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型的步骤包括：

对各样本图像进行沥青质量的标记；

采用YOLOv3算法对经过沥青质量标记后的所述样本图像进行训练，构建所述深度学习模型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像识别的结果判断所述目标图像中的沥青质量的步骤之后，所述方法还包括：

根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒。

5.根据权利要求1所述的方法，其特征在于，所述根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒的步骤包括：

当检测到所述沥青质量为油料时，通过语音或图像进行报警提醒。

6.一种基于深度学习的沥青质量检测系统，其特征在于，所述系统包括：

目标图像获取模块，用于获取对沥青采集的目标图像；

图像识别模块，用于采用预先构建的深度学习模型对所述目标图像进行图像识别；

沥青质量判断模块，用于根据所述图像识别的结果判断所述目标图像中的沥青质量。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

样本图像采集模块，用于通过不同角度对各种不同质量的沥青进行样本图像的采集；

深度学习模块，用于采用深度学习算法对所述样本图像进行深度学习，构建所述深度学习模型。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

提醒模块，用于根据所述沥青质量，通过语音或图像对操作人员进行沥青质量的提醒。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序在被执行时使得服务器执行如权利要求1-5任一项所述的方法。