CN115272980B - 一种基于机器视觉的运输皮带表面检测方法及系统 - Google Patents

一种基于机器视觉的运输皮带表面检测方法及系统 Download PDF

Info

Publication number
CN115272980B
CN115272980B CN202211157621.1A CN202211157621A CN115272980B CN 115272980 B CN115272980 B CN 115272980B CN 202211157621 A CN202211157621 A CN 202211157621A CN 115272980 B CN115272980 B CN 115272980B
Authority
CN
China
Prior art keywords
target area
rcnn model
area image
trained
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211157621.1A
Other languages
English (en)
Other versions
CN115272980A (zh
Inventor
徐卫星
姚俊俊
戚原野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Haitu Information Technology Co ltd
Original Assignee
Changzhou Haitu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Haitu Information Technology Co ltd filed Critical Changzhou Haitu Information Technology Co ltd
Priority to CN202211157621.1A priority Critical patent/CN115272980B/zh
Publication of CN115272980A publication Critical patent/CN115272980A/zh
Application granted granted Critical
Publication of CN115272980B publication Critical patent/CN115272980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0275—Damage on the load carrier
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种运输皮带表面检测方法应用于安装在运输系统上的检测设备中，一种基于机器视觉的运输皮带表面检测方法及系统,所述运输皮带表面检测方法包括：获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息；基于所述目标区域图像中的缺陷特征和运输系统工作信息确定皮带状态，可避免人工巡检时的不同人使用不同主观标准，同时可以替代人工巡检，减少人工及人工在危险区域作业，提高作业效率。

Description

一种基于机器视觉的运输皮带表面检测方法及系统
技术领域
本申请涉及皮带表面检测领域，尤其涉及一种基于机器视觉的运输皮带表面检测方法及系统。
背景技术
随着社会的高速发展，运输物料已经成为企业生产必不可少的一环，在一些场合下使用运输皮带具有低成本、高效等优点。但是对于运输皮带的缺陷识别却一直需要人工巡检，造成安全隐患和人员浪费。为解决这个问题，有使用光栅感应检测皮带撕裂的，也有使用接触式硬件（如轧辊等）检测的，但是这些方法都是对大规模的缺陷进行的，当发生大规模缺陷的时候，报警已经有点晚了。部分人使用3D相机，通过对皮带表面点云数据的高度信息进行判断来识别皮带撕裂。
发明内容
为解决上述现有问题，本申请提供一种基于机器视觉的运输皮带表面检测方法，包括：获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像。
在某些实施例中，所述RCNN模型的训练方式包括：利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型，用深度卷积层替换所述训练后的RCNN模型中的在先卷积层，针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN模型的LOSS值差值或LOSS值比值，并将所述LOSS值差值或所述LOSS值比值，作为所述一个卷积内核的丢失的影响信息量。
在某些实施例中，基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度，对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型。
在某些实施例中，所述深度卷积层包括深度卷积内核和分离卷积，且设定数量的深度卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的缺陷特征和运输系统工作信息。
在某些实施例中，所述缺陷特征包括皮带撕裂、堆叠、划痕、坑洼、起皮等任一种情况中的一个或多个，所述已训练的RCNN模型包括第一RCNN模型，或所述已训练的RCNN模型包括第一RCNN模型和第二RCNN模型，其中：所述第一RCNN模型用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的运输系统工作信息和除所述皮带内的缺陷特征；所述第二RCNN模型用于对所述目标区域图像进行皮带表面检测，确定所述目标区域图像中的缺陷点位。在某些实施例中，还包括：对运行所述已训练的RCNN模型的代码进行运算提速，以使利用所述已训练的RCNN模型对所述目标区域图像进行图像识别时，支持通过指令数据流对所述已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理。
在某些实施例中，所述预设警示条件还包括运输物体特征、皮带物体接触状态、皮带周边环境中的一个条件或多个条件。
本申请另一方面还公开一种运输皮带表面检测系统，包括：
图像采集单元，用于获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；
图像识别单元，用于利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；
缺陷特征确定单元，用于基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像。
在某些实施例中，所述RCNN模型的训练方式包括：利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；用深度卷积层替换所述训练后的RCNN模型中的在先卷积层；针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN模型的LOSS值差值或LOSS值比值，并将所述LOSS值差值或所述LOSS值比值，作为所述一个卷积内核的丢失的影响信息量。基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度；对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型
在某些实施例中，还包括除尘单元，所述除尘单元包括阀门装置，高压气/液喷射装置及清洁雨刮装置，所述除尘单元设置于所述图像采集单元上，并依据RCNN模型指令执行除尘操作。
从以上技术方案可以看出，本申请具有以下优点：
本方法及系统检测标准统一，避免人工巡检时的不同人使用不同主观标准。同时自带除尘装置，避免煤矿的高粉尘环境污染摄像机，对检测结果造成干扰。同时不直接接触输送皮带或者其它东西，不会对煤矿造成可能的灾害或损失。同时无需使用人员设置繁杂的参数，可以快速切换使用场景。本系统的识别准确率高，不会对使用人员造成额外负担。可以替代人工巡检，减少人工及人工在危险区域作业。可以在皮带高速运行的时候检测，避免人工巡检时使用低速模式浪费生产时间。同时检测标准统一，避免人工巡检时的不同人使用不同主观标准。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1为本申请提供的一种实施例的流程示意图；
图2为本申请提供的另一种实施例的流程示意图；
图3为本申请提供的一种实施例的系统示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
RCNN模型是一类包含卷积计算且具有深度结构的前馈神经网络，可通过标注的训练数据进行监督学习，从而完成视觉图像识别及目标检测等任务。
目前随着社会的高速发展，运输物料已经成为企业生产必不可少的一环，在一些场合下使用运输皮带具有低成本、高效等优点。但是对于运输皮带的缺陷识别却一直需要人工巡检，造成安全隐患和人员浪费。为解决这个问题，有使用光栅感应检测皮带撕裂的，也有使用接触式硬件（如轧辊等）检测的，但是这些方法都是对大规模的缺陷进行的，当发生大规模缺陷的时候，报警已经有点晚了。部分人使用3D相机，通过对皮带表面点云数据的高度信息进行判断来识别皮带撕裂。
鉴于此，发明人设计了一种运输皮带表面检测方法及系统，本申请实施例中检测设备利用计算机视觉技术对皮带图像采集设备获取的当前运输系统皮带的目标区域图形进行图像识别，基于图像识别的结果确定当前运输系统皮带的运行情况，进而基于识别出的当前运输系统皮带的运行情况判断是否存在满足预设警示条件。
目前常通过基于深度学习创建用于图像识别的RCNN模型，RCNN模型可以通过学习图像样本数据的特征，实现对目标区域图像的特征的识别，以使已训练的RCNN模型能够运行在检测设备中，从而可以在检测设备上利用已训练的RCNN模型对目标区域图像进行图像识别，进而判断目标区域图像中是否存在满足预设警示条件的运输系统。
进一步地，为了减少向预设终端发送目标区域图像的流量消耗，可以将检测出存在满足预设警示条件的运输系统所相关的目标区域图像发送给服务器，而不必向服务器发送获取的每一帧目标区域图像。
为此本申请公开了一种基于机器视觉的运输皮带检测方法，请参见图2，具体包括如下步骤：
步骤S101，获取运输系统皮带的目标区域图像，该目标区域图像是通过安装在上述运输系统上的皮带图像采集单元得到的。
上述目标区域图像是皮带图像采集设备对运输系统皮带的目标区域进行拍摄获得的，上述目标区域可以是皮带图像采集设备所在的水平线向下围城的垂直拍摄范围，以及皮带图像采集设备的正前方向右和向左围城的水平拍摄范围共同组成的区域，或者目标区域是根据皮带图像采集设备预配置好的拍摄范围，本领域的技术人员可根据实际需求设置。
步骤S102，利用已训练的RCNN模型对上述目标区域图像进行图像识别，确定上述目标区域图像中的缺陷特征和运输系统工作信息，上述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，上述数据标注包括标注缺陷特征和运输系统工作信息。
作为一种实施例，上述已训练的RCNN模型，可以通过在创建RCNN模型时对RCNN模型的卷积层进行结构优化处理，或对训练后的RCNN模型进行优化处理，或对训练后的RCNN模型进行参数值量化处理中的至少一种处理简化RCNN模型得到，其中上述RCNN模型是基于深度学习创建的且用于对目标区域图像进行图像识别，确定目标区域图像中的缺陷特征和运输系统工作信息。
运输系统工作信息包括与运输系统本身相关的信息，如皮带使用信息、维修信息、历史缺陷信息等中的一个或多个信息。
作为一种实施例，本申请实施例中的缺陷特征可以但不局限于包括运输系统运行中出现的皮带表面、物体状态或物体接触情况中的一个或多个，上述物体状态可以包括物体本身属性信息或物体与皮带接触信息等。
考虑到进一步提升运输系统缺陷检测的效率，可以考虑在检测设备上部署运行已训练的RCNN模型的代码时，通过一定的部署方法提升已训练的RCNN模型在进行图像识别时的卷积运算的处理效率，进而提升已训练的RCNN模型的处理能力。
具体地，可以在检测设备部署运行已训练的RCNN模型的代码时，对运行已训练的RCNN模型的代码进行运算提速，以使利用已训练的RCNN模型对目标区域图像进行图像识别时，支持通过指令数据流对已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理，即对上述代码进行运算提速后，不会改变已训练的RCNN模型中各卷积层的输入数据和输出数据的依赖关系，只是将已训练的RCNN模型中同一个卷积层中大量卷积运算进行并行处理，以减少各卷积层在进行图像识别时的卷积运算的耗时，缩短了利用已训练的RCNN模型对目标区域图像进行图像识别的整体时间，进一步提升图像识别的效率，进而提升了运输系统缺陷检测的效率。
步骤S103，基于上述目标区域图像中的缺陷特征和运输系统工作信息，确定上述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，上述缺陷预警信息至少包括上述目标区域图像。
作为一种实施例，本申请实施例中的预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个条件或多个条件，上述预设警示条件也可以包括其他的情况，本领域的技术人员可根据实际需求设置。
作为一种实施例，本申请实施例中的运输系统工作信息包括运输系统类型，上述预设警示条件与上述运输系统类型对应；如运输系统类型包括重型货物运输系统时，对应的预设警示条件可以是重型货物运输系统的疲劳强度；运输系统类型包括轻型货物时，则对应的预设警示条件可以但不局限于运行时长，接触频路等。
进一步地，在确定目标区域图像存在满足预设警示条件的运输系统之后，通过核心网向预设终端发送缺陷预警信息之前，还可以先将上述缺陷预警信息显示在系统显示设备上，若操作员确认存在满足预设警示条件的运输系统后，可通过系统显示设备触发向预设终端发送缺陷预警信息，如将缺陷预警信息发送给预设终端。
作为一种实施例，上述缺陷预警信息中还可以包括满足预设警示条件的运输系统的皮带状态信息、运输系统类型、运输接触位置以及运输接触频率等一个或多个运输系统工作信息，以便对满足预设警示条件的运输系统进行追踪等。
作为一种实施例，在步骤S103基于缺陷特征和运输系统工作信息，确定目标区域图像是否存在满足预设警示条件的运输系统时，还可以基于从服务器获取的激光的点云数据，确定缺陷特征中的具体参数，进而基于缺陷特征、运输系统工作信息，进一步判断目标区域图像中是否存在满足预设警示条件的运输系统，其中待检测运输系统为目标区域图像中的运输系统。
本申请实施例以下内容对步骤S102中已训练的RCNN模型的训练过程进行说明，下述已训练的RCNN模型可以包括上述第一RCNN模型和第二RCNN模型中的一个网络或多个网络。
第一种训练方式：对RCNN模型的卷积层进行结构优化。
目前RCNN模型中每个卷积层的计算量较高，可以考虑简化RCNN模型的每个卷积层的结构，通过减少每个卷积层的计算量以提高RCNN模型的效率，因此本申请实施例中使用深度卷积层替代RCNN模型中在先卷积层。
具体地，基于深度学习创建RCNN模型，其中上述RCNN模型用于对图像进行图像识别，确定图像中的缺陷特征和运输系统工作信息，上述RCNN模型包括第一设定数量的深度卷积层，深度卷积层包括深度卷积和分离卷积，其中对上述第一设定数量不做限定，本领域的技术人员可根据实际需求设置。
进而利用进行数据标注、数据增强后的图像样本数据对上述RCNN模型进行训练，得到已训练的RCNN模型。上述数据标注包括标注缺陷特征和运输系统工作信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。
对于在先卷积层而言，不同输入通道采用不同卷积内核，一个卷积内核与一个输入通道对应。将RCNN模型中的在先卷积层替换为深度卷积层后，能明显减少RCNN模型的计算量，进而提升RCNN模型的处理效率。
深度卷积层的计算量与在先卷积层的计算量的比值如下：
且通常情况下N的取值较大，因此如果采用5×5的卷积内核，则深度卷积层的计算量相较于在先卷积层的计算量而言，可以降低约25倍的计算量，故而采用深度卷积层替代在先卷积层，能明显提升RCNN模型的处理效率。
第二种训练方式：对RCNN模型进行优化处理。
具体地，利用进行数据标注、数据增强后的图像样本数据，对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型，其中上述RCNN模型用于对图像进行图像识别，确定图像中的缺陷特征和运输系统工作信息；
确定训练后的RCNN模型中各卷积内核参数丢失的影响信息量，去除上述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到上述已训练的RCNN模型，其中上述丢失的影响信息量表征卷积内核参数对上述训练后的RCNN模型的丢失函数的影响度。上述数据标注包括标注缺陷特征和运输系统工作信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。丢失函数是对丢失信息进行计算的函数，被配置用于计算丢失影响信息量，是计算影响信息真实值与预测值之间差异用的。
步骤S201，利用进行数据标注、数据增强后的图像样本数据对创建的RCNN模型进行训练，得到训练后的RCNN模型。
步骤S202，确定训练后的RCNN模型中各卷积内核参数丢失的影响信息量，去除训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到进行优化处理后的RCNN模型。
步骤S203，对进行优化处理后的RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到已训练的RCNN模型。
作为一种实施例，步骤S102中已训练的RCNN模型包括第一RCNN模型，或已训练的RCNN模型包括第一RCNN模型和第二RCNN模型；其中第一RCNN模型用于对目标区域图像进行目标检测，确定目标区域图像中的运输系统工作信息和皮带内的缺陷特征；第二RCNN模型用于对目标区域图像进行皮带表面检测，确定目标区域图像中的缺陷点位。具体地，上述第一RCNN模型可以是目标检测网络。
上述第二RCNN模型可以是皮带表面检测网络，若步骤S103中的预设警示条件涉及皮带表面，则在运输系统缺陷检测过程中，需利用皮带表面检测网络识别目标区域图像中的缺陷点位，且需利用目标检测网络识别目标区域图像中的运输系统工作信息或识别运输系统工作信息和皮带内的缺陷特征。
进一步的，本申请实施例中的皮带表面检测网络可以包括两个网络分支，嵌入网络分支和分割网络分支，其中分割网络分支用于确定目标区域图像中每一个像素是否是皮带表面像素，嵌入网络分支对属于皮带表面像素的像素进行特征映射，从而在检测出皮带表面的位置的同时将每一条皮带表面像素区分开。
上述分割网络分支确定各像素是非车道像素、皮带表面实线表面像素和虚线皮带表面像素后，嵌入网络分支可以对属于皮带表面像素的像素进行特征映射；在对像素进行特征映射时，嵌入网络分支能够通过训练做到对属于同一条皮带表面的像素提取的特征非常相近，而对不同的皮带表面的像素提取的特征差异较大，这样即可以利用提取的像素的特征的差异，通过聚类将属于同一条皮带表面的像素进行拟合，得到皮带表面分割结果中的一条皮带表面。
在本申请实施例中，非车道像素为运输机动车道路以外区域的图像像素，皮带表面实线像素表示为皮带两侧物理边界实际存在的实际边界线像素，虚线表面皮带像素表示为在图像系统中虚拟标记的分隔线的像素，用于确定传送物品大致的区位。
本申请实施例中，也可以根据连续获取的至少两帧目标区域图像，确定至少两帧目标区域图像中是否存在满足皮带运行特征的运输系统，具体地，可以将至少两帧目标区域图像中，边界框底边中心点从皮带表面实线表面的一边跨至另一边的待检测运输系统，确定为满足皮带运行特征的运输系统。其中，边界框为皮带传送物品中识别的物品图相框。
对上述至少两帧目标区域图像中目标区域图像的具体数量不做限定，本领域的技术人员可根据实际需求设置，如将第一设定时长内采集的目标区域图像确定为上述至少两帧目标区域图像，或将当前处理的目标区域图像之前采集的第二设定数量的目标区域图像和当前处理的目标区域图像确定为上述至少两帧目标区域图像等。
进一步的，该示例中主要包括RCNN模型的训练过程，以及利用已训练的RCNN模型进行运输系统缺陷检测两个过程，其中RCNN模型的训练过程主要包括如下步骤：
步骤S301，基于深度学习创建包含深度卷积层的RCNN模型。
步骤S302，对图像样本数据进行数据标注以及数据增强处理。
步骤S303，利用处理后的图像样本数据对创建的RCNN模型进行训练。
步骤S304，对训练后的RCNN模型进行优化处理。
步骤S305，对进行优化处理后的RCNN模型进行参数值量化处理，得到已训练的RCNN模型。
步骤S306，在检测设备上部署运行已训练的RCNN模型的代码，并对运行已训练的RCNN模型的代码进行运算提速。
上述利用已训练的RCNN模型进行运输系统缺陷检测的过程主要包括如下步骤：
步骤S307，将皮带图像采集设备当前获取的一帧目标区域图像，或者设定时长内连续获取的至少两帧目标区域图像输入已训练的RCNN模型，利用目标检测网络检测目标区域图像中的缺陷特征，利用皮带表面检测网络检测目标区域图像中的缺陷点位。
步骤S308，基于检测出的运输系统工作信息和缺陷特征，判断输入的目标区域图像中是否存在满足预设警示条件的运输系统，若存在，则进入步骤S309，否则进入步骤S307。
步骤S309，截取上述输入的目标区域图像，并将截取的目标区域图像显示在系统显示设备中，由运输系统的操作员判断截取的目标区域图像中是否存在满足预设警示条件的运输系统，若存在，则操作员可触发由检测设备向预设终端发送缺陷预警信息，该缺陷预警信息中至少包括截取的目标区域图像。
本申请实施例中通过对RCNN模型进行处理得到已训练的RCNN模型，进而能使得检测设备运行已训练的RCNN模型，各运输系统的检测设备可直接通过已训练的RCNN模型进行图像识别，直接在各运输系统的检测设备上识别满足预设警示条件的运输系统，而不必将目标区域图像集中到预设终端进行处理，一方面提升了运输系统缺陷检测的效率，另一方面也节省了发送目标区域图像消耗的流量。且本申请实施例中采用的是已训练的RCNN模型，由于已训练的RCNN模型的规模尺寸较一般的RCNN模型小，因此已训练的RCNN模型的处理效率优于一般的RCNN模型，进一步提升了运输系统缺陷检测的效率。
请参照图3，基于同一发明构思，本申请实施例提供一种运输皮带表面检测系统，包括：
图像采集单元401，用于获取上述运输系统皮带的目标区域图像，上述目标区域图像是通过安装在上述运输系统上的皮带图像采集得到的；
图像识别单元402，用于利用已训练的RCNN模型对上述目标区域图像进行图像识别，确定上述目标区域图像中的缺陷特征和运输系统工作信息，上述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，上述数据标注包括标注缺陷特征和运输系统工作信息；
缺陷特征确定单元403，基于上述目标区域图像中的缺陷特征和运输系统工作信息，确定上述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，上述缺陷预警信息至少包括上述目标区域图像；
除尘单元404，所述除尘单元包括阀门装置，高压气/液喷射装置及清洁雨刮装置，所述除尘单元设置于所述图像采集单元上，并依据RCNN模型指令执行除尘操作。
作为一种实施例，上述已训练的RCNN模型包括设定数量的深度卷积层；上述深度卷积层包括可分离卷积层，且上述设定数量的深度卷积层用于对上述目标区域图像进行多次卷积运算，得到上述目标区域图像中的缺陷特征和运输系统工作信息。
作为一种实施例，上述图像识别单元具体用于通过如下方式获得上述已训练的RCNN模型：利用上述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；确定上述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除上述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到上述已训练的RCNN模型，其中上述丢失的影响信息量表征卷积内核参数对上述训练后的RCNN模型的丢失函数的影响度。
作为一种实施例，上述图像识别单元具体用于通过如下方式获得上述已训练的RCNN模型：利用上述图像样本数据，对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；对上述训练后的RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到上述已训练的RCNN模型。
作为一种实施例，上述缺陷特征包括皮带表面、物体状态中的一个或多个，上述已训练的RCNN模型包括第一RCNN模型，或上述已训练的RCNN模型包括第一RCNN模型和第二RCNN模型，其中：上述第一RCNN模型用于对上述目标区域图像进行目标检测，确定上述目标区域图像中的运输系统工作信息和除上述皮带内的缺陷特征；上述第二RCNN模型用于对上述目标区域图像进行皮带表面检测，确定上述目标区域图像中的缺陷点位。
作为一种实施例，上述运输皮带表面检测系统还包括：
图像识别加速单元405，用于对运行上述已训练的RCNN模型的代码进行运算提速，以使利用上述已训练的RCNN模型对上述目标区域图像进行图像识别时，支持通过指令数据流对上述已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理。
作为一种实施例，上述预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个条件或多个条件。上述运输系统工作信息包括运输系统类型，上述预设警示条件与上述运输系统类型对应。
所述系统还包括至少一个运输系统和预设终端，每个运输系统上安装有检测设备和皮带图像采集设备，检测设备和皮带图像采集设备之间相互通信，其中：
皮带图像采集设备用于采集运输系统周边的目标区域图像，并将采集的目标区域图像传递到检测设备中进行处理。
检测设备用于利用已训练的RCNN模型对目标区域图像进行图像识别，以及根据图像识别的结果确定目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，该缺陷预警信息至少包括目标区域图像。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (3)

1.一种运输皮带表面检测方法，其特征在于，应用于安装在运输系统上的检测设备中，所述运输皮带表面检测方法包括：
获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；
利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；
其中，所述缺陷特征包括运输系统运行中出现的皮带表面、物体状态以及物体接触情况中的一个或多个，所述物体状态包括物体本身属性信息或物体与皮带接触信息；
其中，所述运输系统工作信息包括与运输系统本身相关的信息，且所述运输系统工作信息包括运输系统类型；
基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像；
其中，所述预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个或多个，且所述预设警示条件与所述运输系统类型对应；
其中，所述缺陷预警信息包括满足预设警示条件的运输系统的皮带状态信息、运输系统类型、运输接触位置以及运输接触频率中的一个或多个；
其中，所述基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，具体包括：
从服务器获取激光点云数据，确定缺陷特征的具体参数，进而基于缺陷特征和运输系统工作信息，判断目标区域图像中是否存在满足预设警示条件的运输系统，其中待检测运输系统为目标区域图像中的运输系统；
所述 RCNN模型的训练方式包括：利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型，用深度卷积层替换所述训练后的RCNN模型中的在先卷积层，针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN 模型的 LOSS值差值或 LOSS值比值，并将所述LOSS值差值或所述 LOSS值比值，作为所述一个卷积内核的丢失的影响信息量；
基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度，对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型；
所述深度卷积层包括深度卷积内核和分离卷积，且设定数量的深度卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的缺陷特征和运输系统工作信息；
所述已训练的RCNN模型包括第一RCNN模型和第二RCNN 模型，其中：所述第一RCNN模型用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的运输系统工作信息和所述皮带内的缺陷特征；所述第二RCNN模型用于对所述目标区域图像进行皮带表面检测，确定所述目标区域图像中的缺陷点位；
其中，所述第二RCNN模型包括分割网络分支和嵌入网络分支，所述分割网络分支用于确定目标区域图像中每个像素是否属于皮带表面像素，所述嵌入网络分支用语对属于皮带表面像素的像素进行特征映射，以在检测出皮带表面位置的同时区分出皮带表面像素；
还包括：对运行所述已训练的RCNN模型的代码进行运算提速，以使利用所述已训练的RCNN模型对所述目标区域图像进行图像识别时，支持通过指令数据流对所述已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理。
2.一种运输皮带表面检测系统，其特征在于，包括：
图像采集单元，用于获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；
图像识别单元，用于利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；其中，所述缺陷特征包括运输系统运行中出现的皮带表面、物体状态以及物体接触情况中的一个或多个，所述物体状态包括物体本身属性信息或物体与皮带接触信息；
其中，所述运输系统工作信息包括与运输系统本身相关的信息，且所述运输系统工作信息包括运输系统类型；
缺陷特征确定单元，用于基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像；
其中，所述预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个或多个，且所述预设警示条件与所述运输系统类型对应；
其中，所述缺陷预警信息包括满足预设警示条件的运输系统的皮带状态信息、运输系统类型、运输接触位置以及运输接触频率中的一个或多个；
其中，所述基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，具体包括：
从服务器获取激光点云数据，确定缺陷特征的具体参数，进而基于缺陷特征和运输系统工作信息，判断目标区域图像中是否存在满足预设警示条件的运输系统，其中待检测运输系统为目标区域图像中的运输系统；
所述 RCNN 模型的训练方式包括：
利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；用深度卷积层替换所述训练后的RCNN模型中的在先卷积层；针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN模型的LOSS值差值或LOSS值比值，并将所述LOSS值差值或所述LOSS值比值，作为所述一个卷积内核的丢失的影响信息量；
基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度，对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型；
所述深度卷积层包括深度卷积内核和分离卷积，且设定数量的深度卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的缺陷特征和运输系统工作信息；
所述已训练的RCNN模型包括第一RCNN模型和第二RCNN 模型，其中：所述第一RCNN模型用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的运输系统工作信息和除所述皮带内的缺陷特征；所述第二RCNN模型用于对所述目标区域图像进行皮带表面检测，确定所述目标区域图像中的缺陷点位；
其中，所述第二RCNN模型包括分割网络分支和嵌入网络分支，所述分割网络分支用于确定目标区域图像中每个像素是否属于皮带表面像素，所述嵌入网络分支用语对属于皮带表面像素的像素进行特征映射，以在检测出皮带表面位置的同时区分出皮带表面像素；
还包括：对运行所述已训练的RCNN模型的代码进行运算提速，以使利用所述已训练的RCNN模型对所述目标区域图像进行图像识别时，支持通过指令数据流对所述已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理。
3.如权利要求2所述的系统，其特征在于，所述系统还包括：
除尘单元，所述除尘单元包括阀门装置，高压气/液喷射装置及清洁雨刮装置，所述除尘单元设置于所述图像采集单元上，并依据 RCNN模型指令执行除尘操作。
CN202211157621.1A 2022-09-22 2022-09-22 一种基于机器视觉的运输皮带表面检测方法及系统 Active CN115272980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211157621.1A CN115272980B (zh) 2022-09-22 2022-09-22 一种基于机器视觉的运输皮带表面检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211157621.1A CN115272980B (zh) 2022-09-22 2022-09-22 一种基于机器视觉的运输皮带表面检测方法及系统

Publications (2)

Publication Number Publication Date
CN115272980A CN115272980A (zh) 2022-11-01
CN115272980B true CN115272980B (zh) 2023-05-23

Family

ID=83757165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211157621.1A Active CN115272980B (zh) 2022-09-22 2022-09-22 一种基于机器视觉的运输皮带表面检测方法及系统

Country Status (1)

Country Link
CN (1) CN115272980B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115848935A (zh) * 2022-12-19 2023-03-28 中交机电工程局有限公司 伸缩悬皮式自动卸料系统
CN115909177B (zh) * 2023-02-22 2023-08-22 江苏甬金金属科技有限公司 一种传送轧带的表面智能监测方法及系统
CN116654563B (zh) * 2023-07-21 2023-09-26 常州海图信息科技股份有限公司 一种用于皮带输送机的皮带撕裂检测装置
CN117142009B (zh) * 2023-10-30 2024-03-15 西安重装蒲白煤矿机械有限公司 一种基于图卷积网络的刮板输送机健康状态评估方法
CN118183225B (zh) * 2024-05-20 2024-07-12 贵州雷克康纳科技有限责任公司 一种基于机器视觉的皮带输送机智能煤流控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348357B (zh) * 2019-07-03 2022-10-11 昆明理工大学 一种基于深度卷积神经网络的快速目标检测方法
CN111739035B (zh) * 2020-06-30 2022-09-30 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及存储介质
CN113297885A (zh) * 2020-08-10 2021-08-24 湖南长天自控工程有限公司 基于卷积神经网络的皮带机表面状态检测方法及装置
CN113420643B (zh) * 2021-06-21 2023-02-10 西北工业大学 基于深度可分离空洞卷积的轻量级水下目标检测方法
CN114359246B (zh) * 2022-01-10 2023-03-10 南京中远通科技有限公司 输送机皮带检测方法、装置、系统、电子设备及介质

Also Published As

Publication number Publication date
CN115272980A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115272980B (zh) 一种基于机器视觉的运输皮带表面检测方法及系统
CN114359246B (zh) 输送机皮带检测方法、装置、系统、电子设备及介质
CN113658136B (zh) 一种基于深度学习的传送带缺陷检测方法
CN114348581B (zh) 一种皮带撕裂检测方法和系统
CN113548419A (zh) 基于机器视觉图像识别的皮带撕裂检测方法、装置及系统
CN110163852B (zh) 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN112364740B (zh) 一种基于计算机视觉的无人机房监控方法及系统
CN112001878A (zh) 基于二值化神经网络的深度学习矿石尺度测量方法及应用系统
CN111161292A (zh) 一种矿石尺度测量方法及应用系统
CN109523549B (zh) 一种用于压力容器气密性试验的漏气区域检测方法
CN114519696A (zh) 基于光学智能化的pvc热收缩膜检测方法及系统
CN117068692A (zh) 输送带健康诊断方法、装置、服务器及存储介质
CN110942444B (zh) 物体检测方法和装置
CN113702393B (zh) 一种本安型矿用输送带表面损伤检测系统及检测方法
CN117689651A (zh) 一种基于语义分割和目标检测的煤矿皮带跑偏检测方法
CN113762283A (zh) 传送带跑偏监测方法及装置
CN113674322A (zh) 一种运动状态检测方法及相关装置
Huang et al. A real-time algorithm for aluminum surface defect extraction on non-uniform image from CCD camera
CN117333727A (zh) 一种基于可视化图像处理技术的输送带磨损区域识别分析系统
CN117094609A (zh) 一种基于机器视觉的铝型材生产质量智能管理系统
CN117132872A (zh) 一种生产线上物料运输车辆智能碰撞识别系统
CN117035669A (zh) 基于人工智能的企业安全生产管理方法及系统
CN116189093A (zh) 一种渣土车扬尘在线监测方法与系统
Netto et al. Early Defect Detection in Conveyor Belts using Machine Vision.
CN114772208A (zh) 一种基于图像分割的非接触式皮带撕裂检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant