CN115187601B - 基于图像理解的深海渔网生产过程缺陷检测方法 - Google Patents

基于图像理解的深海渔网生产过程缺陷检测方法 Download PDF

Info

Publication number
CN115187601B
CN115187601B CN202211107376.3A CN202211107376A CN115187601B CN 115187601 B CN115187601 B CN 115187601B CN 202211107376 A CN202211107376 A CN 202211107376A CN 115187601 B CN115187601 B CN 115187601B
Authority
CN
China
Prior art keywords
mesh
area
net
areas
torsional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211107376.3A
Other languages
English (en)
Other versions
CN115187601A (zh
Inventor
李宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Binzhou Bapima Plastic Chemical Fiber Products Co ltd
Original Assignee
Shandong Binzhou Bapima Plastic Chemical Fiber Products Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Binzhou Bapima Plastic Chemical Fiber Products Co ltd filed Critical Shandong Binzhou Bapima Plastic Chemical Fiber Products Co ltd
Priority to CN202211107376.3A priority Critical patent/CN115187601B/zh
Publication of CN115187601A publication Critical patent/CN115187601A/zh
Application granted granted Critical
Publication of CN115187601B publication Critical patent/CN115187601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于图像理解的深海渔网生产过程缺陷检测方法，该方法获取深海渔网的每个渔网区域的渔网图像，得到对应的灰度图像；获取灰度图像中的扭转间隔区，基于倾斜角度和质心得到同向扭转间隔区，由同向扭转间隔区确认网结区；将网结区划分为多个同行网结区，获取每个同行网结区的网结离散度和同行距离均衡度，以得到每个同行网结区的网结分布均衡度；结合网结离散度和网结分布均衡度获取每张灰度图像的网结质量指数，根据网结质量指数对深海渔网进行质量评价。利用网结的分布均匀性和大小均匀性，间接体现渔网网目的排布情况，使得深海渔网的质量检测结果更加准确便捷。

Description

基于图像理解的深海渔网生产过程缺陷检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像理解的深海渔网生产过程缺陷检测方法。
背景技术
中国渔网的消费量每年超过700千吨，且消费量逐年增长，其中，渔网消费量占比最高的地区为近海地区，这些渔网消费主要用于商业和鱼类产品，也有部分出口到国外。在渔网需求火爆的同时，其下游应用也丰富而广泛，市场潜力巨大。目前，深海渔网依靠高强度的材料、新颖合理的结构以及可降低劳动成本的优势成为渔网中的黑马，深受市场的欢迎。但深海渔网的生产技术壁垒较高，需要品质更高的新型高强度材料作为原材料，辅以专业技术进行生产，以保证深海渔网在强度较好的基础上实现更合理的结构。虽然深海渔网的生产过程采用了更加完善的方法，但在深海渔网售出之前也需要进行专业的质量检测。
深海渔网为保证达到使用需求，一般尺寸较大，仅网口尺寸可达120米*80米，为保证使用强度，渔网整体质量也较大，所以进行质量检测也较为复杂。现有渔网质量检测方法是利用渔网图像训练神经网络，通过训练好的神经网络确认渔网质量，但训练神经网络需要大量的渔网图像，因此基于不同质量程度的渔网图像的限制，导致神经网络确认的渔网质量存在误差。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像理解的深海渔网生产过程缺陷检测方法，所采用的技术方案具体如下：
将深海渔网划分为多个渔网区域，得到每个渔网区域的渔网图像；获取每张渔网图像的灰度图像；
获取当前灰度图像中麻花状纹理的单个纹理所对应的扭转间隔区；获取每个扭转间隔区的倾斜角度和质心，计算任意两个扭转间隔区的质心距离，基于质心距离和所述倾斜角度得到多个同向扭转间隔区，其中所述同向扭转间隔区至少包括两个扭转间隔区；基于所述同向扭转间隔区获取目标扭转间隔区，对目标扭转间隔区进行聚类得到多个簇，获取每个簇的凸包，凸包的位置为网结区；
基于网结区的纵坐标范围将网结区划分为多个同行网结区，所述同行网结区至少包括两个网结区；根据每个网结区中的像素点数量获取每个同行网结区的网结离散度；根据同行网结区中相邻网结区的纵坐标范围计算每个网结区的相邻重叠度，由每个网结区的相邻重叠度计算所属同行网结区的同行重叠度；根据同行网结区中每个网结区与其左右相邻网结区的最小距离计算对应网结区的相邻距离均衡度，结合每个网结区的相邻距离均衡度得到所属同行网结区的同行距离均衡度；将同行重叠度与同行距离均衡度的比值作为对应同行网结区的网结分布均衡度；
获取当前灰度图像中每个同行网结区的网结分布均衡度，结合每个同行网结区的网结离散度和网结分布均衡度获取当前灰度图像的网结质量指数；根据每张灰度图像的网结质量指数对深海渔网进行质量评价。
进一步的，所述获取当前灰度图像中麻花状纹理的单个纹理所对应的扭转间隔区的方法，包括：
使用OTSU大津法获取当前灰度图像中渔网网绳对应的区域；将麻花状纹理中单个纹理间的缝隙所对应的像素点的灰度值标记为1，其余像素点的灰度值标记为0，得到渔网网绳对应的区域的二值图像，对二值图像中灰度值为0的像素点进行连通域分析，每个连通域即为一个扭转间隔区。
进一步的，所述倾斜角度的获取方法，包括：
对扭转间隔区的像素点进行直线拟合，得到拟合直线，拟合直线与水平方向的夹角为扭转间隔区的倾斜角度。
进一步的，所述基于质心距离和倾斜角度得到多个同向扭转间隔区的方法，包括：
基于质心距离，分别获取每个扭转间隔区的质心距离的最小值所对应的扭转间隔区作为相邻扭转间隔区；当每个扭转间隔区与其相邻扭转间隔区的倾斜角度的差值绝对值小于差值阈值时，确认对应的这两个扭转间隔区是同向的，并将这两个扭转间隔区作为一个同向扭转间隔区，当其他扭转间隔区与这两个同向的扭转间隔区是同向时，将其他扭转间隔区并入这两个扭转间隔区对应的同向扭转间隔区中，进而得到多个同向扭转间隔区。
进一步的，所述同行网结区的获取方法，包括：
基于每个像素点的纵坐标获取每个网结区的纵坐标范围，将存在至少二分之一的重叠的纵坐标范围的网结区组成同行网结区。
进一步的，所述网结离散度的获取方法，包括：
对以第一常数系数为分母、网结区中的像素点数量为分子的比值取整，作为每个网结区的网结规模度，获取平均网结规模度，将每个网结规模度与平均网结规模度的差值绝对值进行相加得到网结离散度。
进一步的，所述同行重叠度的方法，包括：
获取当前网结区与其所在同行网结区中左右相邻的网结区的纵坐标范围的重叠长度，并取这三个网结区的纵坐标范围对应的最大长度，以最大长度为分母、重叠长度为分子的比值即为当前网结区的相邻重叠度；
获取同行网结区中每个网结区的相邻重叠度，并计算相邻重叠度的标准差以及相邻重叠度总和；获取标准差与相邻重叠度总和的比值，将比值与同行网结区所包含的网结区数量的倒数的乘积作为对应同行网结区的同行重叠度。
进一步的，所述同行距离均衡度的获取方法，包括：
分别计算当前网结区中的每个像素点与其左相邻网结区中的每个像素点之间的距离，将距离的最小值作为当前网结区与其左相邻网结区的最小左距离；获取当前网结区与其右相邻网结区的最小右距离；
对以第二常数系数为分母、最小左距离为分子的比值取整，作为优化左距离；对以第二常数系数为分母、最小右距离为分子的比值取整，作为优化右距离；将优化左距离和优化右距离的比值作为当前网结区的相邻距离均衡度；
获取同行网结区中每个网结区的相邻距离均衡度，利用调节系数对每个相邻距离均衡度进行调节，将调节后的相邻距离均衡度的均值作为同行网结区的同行距离均衡度。
进一步的，所述结合每个同行网结区的网结离散度和网结分布均衡度获取当前灰度图像的网结质量指数的方法，包括：
根据每个同行网结区的网结离散度计算平均网结离散度；根据每个同行网结区的网结分布均衡度计算平均网结分布均衡度；
将以平均网结离散度为分母、平均网结分布均衡度为分子的比值作为网结质量指数。
进一步的，所述根据每张灰度图像的网结质量指数对深海渔网进行质量评价的方法，包括：
设定网结质量阈值，当任意一张灰度图像的网结质量指数小于网结质量阈值时，确认深海渔网存在质量缺陷。
本发明实施例至少具有如下有益效果：将深海渔网分为多个渔网区域，采集每个渔网区域的渔网图像，基于渔网图像中渔网网绳的麻花状纹理特征，获取渔网图像中单个纹理对应的扭转间隔区，以方便后续更加清楚的确定网结位置；基于扭转间隔区的纹理方向一致性和近距离特征，确定渔网图像中的所有网结区，根据网结区的纵坐标范围确认处于同行的网结区，称为同行网结区，借助网结区的分布均匀性和大小均匀性，分析每个同行网结区的同行重叠度与同行距离均衡度，用于间接体现渔网网目的排布情况，进而结合同行重叠度与同行距离均衡度计算每个同行网结区的网结分布均衡度，根据渔网图像中所有同行网结区的网结分布均衡度确认渔网图像对应渔网区域的网结质量指数，减少了渔网网目的各个边缘对深海渔网的质量检测干扰，使得根据所有渔网图像的网结质量指数确认的深海渔网的质量缺陷结果更加准确便捷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于图像理解的深海渔网生产过程缺陷检测方法的步骤流程图；
图2为本发明实施例中提供的一种麻花状纹理结构的绳子的示意图；
图3为本发明实施例中提供的麻花状纹理中的单个纹理所对应的扭转间隔区的示意图；
图4为本发明实施例中提供的一种网结区与其左右相邻网结区之间的最小距离的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像理解的深海渔网生产过程缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像理解的深海渔网生产过程缺陷检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像理解的深海渔网生产过程缺陷检测方法的步骤流程图，该方法包括以下步骤：
步骤S001，将深海渔网划分为多个渔网区域，得到每个渔网区域的渔网图像；获取每张渔网图像的灰度图像。
具体的，深海渔网的尺寸较大，长度超过百米，虽然可通过相机拍摄一张图片包含渔网的所有位置，但在图像中保持渔网的不同位置的网目均匀撑开、互不折叠较为困难，这会为后续对于深海渔网的缺陷判断造成困扰，因此以与深海渔网的颜色差异较大的白色为背景，固定网目附近的绳绠位置，在深海渔网的两侧固定对应的网结位置，保证各固定位置的内部区域中的各网目均匀撑开、互不折叠，且网结呈水平分布。然后使用CCD相机拍摄该区域，以得到该区域的渔网图像。将深海渔网划分为多个这样的区域，每个区域均可获得对应的渔网图像，以保证深海渔网的各位置均进行了下述的缺陷检测，保障深海渔网的检测质量。
渔网图像为RGB图像，将RGB图像转换为灰度图像，使用中值滤波对灰度图像进行去噪，防止因为环境等原因出现的噪声对后续分析造成影响。
步骤S002，获取当前灰度图像中麻花状纹理的单个纹理所对应的扭转间隔区；获取每个扭转间隔区的倾斜角度和质心，计算任意两个扭转间隔区的质心距离，基于质心距离和倾斜角度得到多个同向扭转间隔区，其中同向扭转间隔区至少包括两个扭转间隔区；基于同向扭转间隔区获取目标扭转间隔区，对目标扭转间隔区进行聚类得到多个簇，获取每个簇的凸包，凸包的位置为网结区。
具体的，以一个渔网区域的灰度图像为例，由于渔网图像中渔网网绳与背景颜色差异较大，所以在渔网图像中划分出渔网网绳对应的区域较为方便。使用OTSU大津法将灰度图像中的渔网网绳对应的区域划分出来，即灰度图像中各像素点的灰度值小于灰度阈值的区域即为渔网网绳对应的区域。其中，OTSU大津法是公知技术，本方案中不再赘述。
深海渔网需要较强的耐冲击性和耐磨性，所以编织渔网的绳结需要具有承受更大应力的能力。若使用单绳制作渔网，当绳子受力时，绳子受到的外摩擦力，会使得处于绳子截面外周的纤维所承受的应力变化大于内部，易于磨损。若想增大应力承受能力，可增加绳子的直径，使用同样材质和质量的大直径实心绳子，但此时，若绳子表面出现缺口，则缺口处易应力集中，磨损加剧，而麻花状结构的绳子受力后，应力通过绳子里纤维之间的摩擦协调，可以在增大绳子的承受能力的同时，使绳子的受力更加均匀，所以深海渔网通常采用如图2所示的麻花状结构的绳子制成。
在灰度图像中，麻花状结构的绳子表面的麻花状纹理处，其颜色较深且分布均匀，在每个渔网网目的各边呈现出均匀、整齐且清晰的同方向倾斜条纹，也称为麻花状纹理，只有在渔网的各网结处，由于绳子打结方向的改变，条纹方向也出现了不同，进而以这些特征为依据对渔网网绳各处的麻花状纹理进行分析。
使用OTSU大津法对渔网网绳对应的区域进行划分，得到一张二值图像，在二值图像中，将麻花状纹理中单个纹理间的缝隙所对应的像素点的灰度值标记为1，其余像素点的灰度值标记为0。由于麻花状纹理分散的分布在渔网网绳上，且这些纹理呈块状分散在二值图像中的不同位置，因此对二值图像中灰度值为0的像素点进行连通域分析，使得二值图像中每个单纹理都会被划分为一个独立的区域，即如图3所标记的区域，故将麻花状纹理中的单个纹理所对应的连通域作为一个扭转间隔区，进而得到渔网网绳对应的区域中的所有扭转间隔区。
基于灰度图像中每个像素点的坐标，分别对每个扭转间隔区的像素点进行直线拟合，得到拟合直线，将拟合直线与水平方向的夹角作为对应扭转间隔区的倾斜角度。同时基于像素点的坐标获取每个扭转间隔区的质心，且质心的获取方法为公知技术，本方案不再赘述。
计算任意两个扭转间隔区的质心距离，基于质心距离和倾斜角度得到多个同向扭转间隔区，其中同向扭转间隔区至少包括两个扭转间隔区，其中同向扭转间隔区的获取方法为：基于质心距离，分别获取每个扭转间隔区的质心距离的最小值所对应的扭转间隔区作为相邻扭转间隔区；当每个扭转间隔区与其相邻扭转间隔区的倾斜角度的差值绝对值小于差值阈值时，确认对应的这两个扭转间隔区是同向的，并将这两个扭转间隔区作为一个同向扭转间隔区，当其他扭转间隔区与这两个同向的扭转间隔区是同向时，将其他扭转间隔区并入这两个扭转间隔区对应的同向扭转间隔区中，依次类推，得到多个同向扭转间隔区。
优选的，本方案中差值阈值取经验值
Figure 917874DEST_PATH_IMAGE001
。
由于渔网网目的四个边上的麻花状纹理均同向，只有渔网的各个打结位置的麻花状纹理呈不同向，所以以此为依据筛选出各个打结位置。首先将同向扭转间隔区中包含的扭转间隔区的数量小于数量阈值的同向扭转间隔区筛选出来，本方案中数量阈值为6，并将筛选出的同向扭转间隔区中的扭转间隔区称为目标扭转间隔区。对于目标扭转间隔区内包含的所有像素点，以10为最少像素点数目、以10为邻域半径，使用DBSCAN聚类算法对目标扭转间隔区进行聚类，得到多个簇。由于渔网上同一打结位置上的扭转间隔区的距离较近，会被划分到同一簇内，而渔网上不同打结位置的距离较远，会被划分到不同簇内，因此对每个簇取凸包，凸包的位置即渔网上的打结位置，将其称为网结区。
其中，凸包的获取为公知技术，本方案中不再赘述。
步骤S003，基于网结区的纵坐标范围将网结区划分为多个同行网结区，同行网结区至少包括两个网结区；根据每个网结区中的像素点数量获取每个同行网结区的网结离散度；根据同行网结区中相邻网结区的纵坐标范围计算每个网结区的相邻重叠度，由每个网结区的相邻重叠度计算所属同行网结区的同行重叠度；根据同行网结区中每个网结区与其左右相邻网结区的最小距离计算对应网结区的相邻距离均衡度，结合每个网结区的相邻距离均衡度得到所属同行网结区的同行距离均衡度；将同行重叠度与同行距离均衡度的比值作为对应同行网结区的网结分布均衡度。
具体的，由于渔网的每行中包含多个网结，因此将同一行的网结区划分为同行网结区：基于每个像素点的纵坐标获取每个网结区的纵坐标范围，将存在至少二分之一的重叠的纵坐标范围的网结区组成同行网结区，其中同行网结区至少包括两个网结区。
分别对每个同行网结区进行单独分析，其中以一个同行网结区为例，分析过程如下：
统计该同行网结区中每个网结区的像素点数量，根据每个网结区中的像素点数量获取每个同行网结区的网结离散度
Figure 406318DEST_PATH_IMAGE002
：对以第一常数系数为分母、网结区中的像素点数量为分子的比值取整，作为每个网结区的网结规模度，获取平均网结规模度，将每个网结规模度与平均网结规模度的差值绝对值进行相加得到网结离散度。
作为一个示例，网结离散度
Figure 389318DEST_PATH_IMAGE002
的计算公式为：
Figure 987789DEST_PATH_IMAGE003
其中，
Figure 5424DEST_PATH_IMAGE004
为同行网结区所包含的网结区数量；
Figure 405050DEST_PATH_IMAGE005
为第i个网结区的像素点数量；
Figure 875346DEST_PATH_IMAGE006
为第一常数系数，用于调节函数阈值，取经验值100；
Figure 277508DEST_PATH_IMAGE007
为取整函数，用于对括号内的值进行四舍五入；
Figure 648184DEST_PATH_IMAGE008
为第i个网结区的网结规模度；
Figure 720177DEST_PATH_IMAGE009
为平均网结规模度。
当同行网结区中每个网结区内的像素点数量越相近时，网结区的网结规模度越相似，进而对应同行网结区的网结离散度
Figure 677769DEST_PATH_IMAGE002
越小，也即是各网结区对应渔网中的打结位置越均匀。
根据同行网结区中相邻网结区的纵坐标范围计算每个网结区的相邻重叠度
Figure 116578DEST_PATH_IMAGE010
：获取当前网结区与其所在同行网结区中左右相邻的网结区的纵坐标范围的重叠长度，并取这三个网结区的纵坐标范围对应的最大长度，以最大长度为分母、重叠长度为分子的比值即为当前网结区的相邻重叠度。
需要说明的是，纵坐标范围的长度是指网结区内像素点的最大纵坐标与最小纵坐标的差值。
作为一个示例，相邻重叠度
Figure 984171DEST_PATH_IMAGE010
的计算公式为：
Figure 617278DEST_PATH_IMAGE011
其中，
Figure 566560DEST_PATH_IMAGE012
为第i个网结区的相邻重叠度；
Figure 44946DEST_PATH_IMAGE013
为第i个网结区对应纵坐标范围的重叠长度；
Figure 767045DEST_PATH_IMAGE014
为第i-1个网结区的纵坐标范围的长度；
Figure 804009DEST_PATH_IMAGE015
为第i个网结区的纵坐标范围的长度；
Figure 736193DEST_PATH_IMAGE016
为第i+1个网结区的纵坐标范围的长度；
Figure 752691DEST_PATH_IMAGE017
取最大值函数。
当网结区与其左右相邻网结区的纵坐标范围的重叠长度越大时，该网结区对应的相邻重叠度
Figure 453930DEST_PATH_IMAGE010
越大；当网结区与其左右相邻网结区中纵坐标范围的最大长度越小时，该网结区对应的相邻重叠度
Figure 802741DEST_PATH_IMAGE010
越大。
由每个网结区的相邻重叠度计算所属同行网结区的同行重叠度
Figure 956642DEST_PATH_IMAGE018
：获取同行网结区中每个网结区的相邻重叠度
Figure 42409DEST_PATH_IMAGE010
，并计算相邻重叠度的标准差以及相邻重叠度总和；获取标准差与相邻重叠度总和的比值，将比值与同行网结区所包含的网结区数量的倒数的乘积作为对应同行网结区的同行重叠度。
作为一个示例，同行重叠度
Figure 96691DEST_PATH_IMAGE018
的计算公式为：
Figure 976922DEST_PATH_IMAGE019
其中，
Figure 493485DEST_PATH_IMAGE020
为相邻重叠度的标准差；
Figure 633478DEST_PATH_IMAGE021
为相邻重叠度总和。
当同行网结区内各网结区对应的相邻重叠度越大、越相近时，相邻重叠度总和越大，对应该同行网结区对应的同行重叠度
Figure 309310DEST_PATH_IMAGE018
越大；当相邻重叠度的标准差越大，对应该同行网结区对应的同行重叠度
Figure 626022DEST_PATH_IMAGE018
越大。
根据同行网结区中每个网结区与其左右相邻网结区的最小距离计算对应网结区的相邻距离均衡度
Figure 128416DEST_PATH_IMAGE022
：参照附图4，分别计算当前网结区中的每个像素点与其左相邻网结区中的每个像素点之间的距离，将距离的最小值作为当前网结区与其左相邻网结区的最小左距离
Figure 290407DEST_PATH_IMAGE023
；同理，分别计算当前网结区中的每个像素点与其右相邻网结区中的每个像素点之间的距离，将距离的最小值作为当前网结区与其右相邻网结区的最小右距离
Figure 820746DEST_PATH_IMAGE024
；对以第二常数系数为分母、最小左距离为分子的比值取整，作为优化左距离，对以第二常数系数为分母、最小右距离为分子的比值取整，作为优化右距离；将优化左距离和优化右距离的比值作为当前网结区的相邻距离均衡度。
作为一个示例，相邻距离均衡度
Figure 42780DEST_PATH_IMAGE022
的计算公式为：
Figure 157104DEST_PATH_IMAGE025
其中，
Figure 529310DEST_PATH_IMAGE007
为取整函数，用于对括号内的值进行四舍五入；
Figure 914155DEST_PATH_IMAGE026
为第二常数系数，用于减小差异，便于计算，经验值为20；
Figure 805626DEST_PATH_IMAGE027
为优化左距离；
Figure 784077DEST_PATH_IMAGE028
为优化右距离。
当网结区与其左右两侧的两个相邻网结区的距离越接近时，该网结区对应的相邻距离均衡度
Figure 819029DEST_PATH_IMAGE022
越接近于1。
获取同行网结区中每个网结区的相邻距离均衡度
Figure 562775DEST_PATH_IMAGE022
，以结合每个网结区的相邻距离均衡度得到所属同行网结区的同行距离均衡度
Figure 126612DEST_PATH_IMAGE029
：利用调节系数对每个相邻距离均衡度进行调节，将调节后的相邻距离均衡度的均值作为同行网结区的同行距离均衡度。
作为一个示例，同行距离均衡度
Figure 592359DEST_PATH_IMAGE029
的计算公式为：
Figure 663958DEST_PATH_IMAGE030
其中，
Figure 757816DEST_PATH_IMAGE031
为调节系数，用于调节值域，经验值为1；
Figure 758133DEST_PATH_IMAGE032
为第i个网结区的相邻距离均衡度；
Figure 944133DEST_PATH_IMAGE033
为调节后的相邻距离均衡度。
当网结区对应的相邻距离均衡度
Figure 320888DEST_PATH_IMAGE022
与1越相近时，调节后的相邻距离均衡度越小，则所属的同行网结区对应的同行网结距离均衡度
Figure 534831DEST_PATH_IMAGE029
越小。
由于同行网结区的同行重叠度
Figure 706050DEST_PATH_IMAGE018
和同行距离均衡度
Figure 379345DEST_PATH_IMAGE029
分别从列方向和行方向来衡量各网结区之间的分布均匀程度，因此将以同行重叠度为分子、同行距离均衡度为分母的比值作为该同行网结区的网结分布均衡度
Figure 294212DEST_PATH_IMAGE034
。
同行重叠度
Figure 628241DEST_PATH_IMAGE018
越大，对应同行网结的网结分布均衡度
Figure 338403DEST_PATH_IMAGE034
越大；同行距离均衡度
Figure 125093DEST_PATH_IMAGE029
越小时，对应同行网结对应的网结分布均衡度
Figure 843650DEST_PATH_IMAGE034
越大。
步骤S004，获取当前灰度图像中每个同行网结区的网结分布均衡度，结合每个同行网结区的网结离散度和网结分布均衡度获取当前灰度图像的网结质量指数；根据每张灰度图像的网结质量指数对深海渔网进行质量评价。
具体的，利用步骤S003的方法，获取一个灰度图像中每个同行网结区的网结分布均衡度，结合每个同行网结区的网结离散度和网结分布均衡度获取该灰度图像的网结质量指数，则网结质量指数的获取方法为：根据每个同行网结区的网结离散度
Figure 265142DEST_PATH_IMAGE002
计算平均网结离散度
Figure 919109DEST_PATH_IMAGE035
；根据每个同行网结区的网结分布均衡度
Figure 193095DEST_PATH_IMAGE034
计算平均网结分布均衡度
Figure 948299DEST_PATH_IMAGE036
；将以平均网结离散度为分母、平均网结分布均衡度为分子的比值作为网结质量指数，也即是对应渔网图像的网结质量指数。
当同行网结区的网结离散度越小、网结分布均衡度越大，对应灰度图像中的网结质量指数越大，也即渔网图像中的渔网质量越高。
基于网结质量指数的计算方法，获取每张渔网图像的网结质量指数。然后通过人为对这些渔网图像划分为四个品级，分别为优质、良好、及格和不及格，取优质、良好、及格这三个品级对应的网结质量指数的最小值作为划分这四个品级的网结质量阈值，当任意一张渔网图像的网结质量指数小于网结质量阈值时，确认深海渔网存在质量缺陷。
综上所述，本发明实施例提供了一种基于图像理解的深海渔网生产过程缺陷检测方法，该方法获取深海渔网的每个渔网区域的渔网图像，得到对应的灰度图像；获取灰度图像中的扭转间隔区，基于倾斜角度和质心得到同向扭转间隔区，由同向扭转间隔区确认网结区；将网结区划分为多个同行网结区，获取每个同行网结区的网结离散度和同行距离均衡度，以得到每个同行网结区的网结分布均衡度；结合网结离散度和网结分布均衡度获取每张灰度图像的网结质量指数，根据网结质量指数对深海渔网进行质量评价。利用网结的分布均匀性和大小均匀性，间接体现渔网网目的排布情况，使得深海渔网的质量检测结果更加准确便捷。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，该方法包括以下步骤：
将深海渔网划分为多个渔网区域，得到每个渔网区域的渔网图像；获取每张渔网图像的灰度图像；
获取当前灰度图像中麻花状纹理的单个纹理所对应的扭转间隔区；获取每个扭转间隔区的倾斜角度和质心，计算任意两个扭转间隔区的质心距离，基于质心距离和所述倾斜角度得到多个同向扭转间隔区，其中所述同向扭转间隔区至少包括两个扭转间隔区；基于所述同向扭转间隔区获取目标扭转间隔区，对目标扭转间隔区进行聚类得到多个簇，获取每个簇的凸包，凸包的位置为网结区；
基于网结区的纵坐标范围将网结区划分为多个同行网结区，所述同行网结区至少包括两个网结区；根据每个网结区中的像素点数量获取每个同行网结区的网结离散度；根据同行网结区中相邻网结区的纵坐标范围计算每个网结区的相邻重叠度，由每个网结区的相邻重叠度计算所属同行网结区的同行重叠度；根据同行网结区中每个网结区与其左右相邻网结区的最小距离计算对应网结区的相邻距离均衡度，结合每个网结区的相邻距离均衡度得到所属同行网结区的同行距离均衡度；将同行重叠度与同行距离均衡度的比值作为对应同行网结区的网结分布均衡度；
获取当前灰度图像中每个同行网结区的网结分布均衡度，结合每个同行网结区的网结离散度和网结分布均衡度获取当前灰度图像的网结质量指数；根据每张灰度图像的网结质量指数对深海渔网进行质量评价；
所述结合每个同行网结区的网结离散度和网结分布均衡度获取当前灰度图像的网结质量指数的方法，包括：
根据每个同行网结区的网结离散度计算平均网结离散度；根据每个同行网结区的网结分布均衡度计算平均网结分布均衡度；
将以平均网结离散度为分母、平均网结分布均衡度为分子的比值作为网结质量指数；
所述根据每张灰度图像的网结质量指数对深海渔网进行质量评价的方法，包括：
设定网结质量阈值，当任意一张灰度图像的网结质量指数小于网结质量阈值时，确认深海渔网存在质量缺陷。
2.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述获取当前灰度图像中麻花状纹理的单个纹理所对应的扭转间隔区的方法，包括：
使用OTSU大津法获取当前灰度图像中渔网网绳对应的区域；将麻花状纹理中单个纹理间的缝隙所对应的像素点的灰度值标记为1，其余像素点的灰度值标记为0，得到渔网网绳对应的区域的二值图像，对二值图像中灰度值为0的像素点进行连通域分析，每个连通域即为一个扭转间隔区。
3.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述倾斜角度的获取方法，包括：
对扭转间隔区的像素点进行直线拟合，得到拟合直线，拟合直线与水平方向的夹角为扭转间隔区的倾斜角度。
4.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述基于质心距离和倾斜角度得到多个同向扭转间隔区的方法，包括：
基于质心距离，分别获取每个扭转间隔区的质心距离的最小值所对应的扭转间隔区作为相邻扭转间隔区；当每个扭转间隔区与其相邻扭转间隔区的倾斜角度的差值绝对值小于差值阈值时，确认对应的这两个扭转间隔区是同向的，并将这两个扭转间隔区作为一个同向扭转间隔区，当其他扭转间隔区与这两个同向的扭转间隔区是同向时，将其他扭转间隔区并入这两个扭转间隔区对应的同向扭转间隔区中，进而得到多个同向扭转间隔区。
5.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述同行网结区的获取方法，包括：
基于每个像素点的纵坐标获取每个网结区的纵坐标范围，将存在至少二分之一的重叠的纵坐标范围的网结区组成同行网结区。
6.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述网结离散度的获取方法，包括：
对以第一常数系数为分母、网结区中的像素点数量为分子的比值取整，作为每个网结区的网结规模度，获取平均网结规模度，将每个网结规模度与平均网结规模度的差值绝对值进行相加得到网结离散度。
7.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述同行重叠度的获取方法，包括：
获取当前网结区与其所在同行网结区中左右相邻的网结区的纵坐标范围的重叠长度，并取这三个网结区的纵坐标范围对应的最大长度，以最大长度为分母、重叠长度为分子的比值即为当前网结区的相邻重叠度；
获取同行网结区中每个网结区的相邻重叠度，并计算相邻重叠度的标准差以及相邻重叠度总和；获取标准差与相邻重叠度总和的比值，将比值与同行网结区所包含的网结区数量的倒数的乘积作为对应同行网结区的同行重叠度。
8.如权利要求1所述的基于图像理解的深海渔网生产过程缺陷检测方法，其特征在于，所述同行距离均衡度的获取方法，包括：
分别计算当前网结区中的每个像素点与其左相邻网结区中的每个像素点之间的距离，将距离的最小值作为当前网结区与其左相邻网结区的最小左距离；获取当前网结区与其右相邻网结区的最小右距离；
对以第二常数系数为分母、最小左距离为分子的比值取整，作为优化左距离；对以第二常数系数为分母、最小右距离为分子的比值取整，作为优化右距离；将优化左距离和优化右距离的比值作为当前网结区的相邻距离均衡度；
获取同行网结区中每个网结区的相邻距离均衡度，利用调节系数对每个相邻距离均衡度进行调节，将调节后的相邻距离均衡度的均值作为同行网结区的同行距离均衡度。
CN202211107376.3A 2022-09-13 2022-09-13 基于图像理解的深海渔网生产过程缺陷检测方法 Active CN115187601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211107376.3A CN115187601B (zh) 2022-09-13 2022-09-13 基于图像理解的深海渔网生产过程缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211107376.3A CN115187601B (zh) 2022-09-13 2022-09-13 基于图像理解的深海渔网生产过程缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115187601A CN115187601A (zh) 2022-10-14
CN115187601B true CN115187601B (zh) 2022-12-06

Family

ID=83524604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211107376.3A Active CN115187601B (zh) 2022-09-13 2022-09-13 基于图像理解的深海渔网生产过程缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115187601B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018828A (zh) * 2022-08-03 2022-09-06 深圳市尹泰明电子有限公司 一种电子元器件的缺陷检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5948262B2 (ja) * 2013-01-30 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
CN110163798B (zh) * 2019-04-18 2020-12-04 中国农业大学 渔场围网破损检测方法及系统
CN113512781A (zh) * 2021-05-25 2021-10-19 庄宿龙 网孔疏密等级检测系统及方法
CN114913148A (zh) * 2022-05-11 2022-08-16 武汉象点科技有限公司 基于无监督学习的丝印疵点检测方法、装置及存储介质
CN114842017B (zh) * 2022-07-06 2022-09-27 济宁市海富电子科技有限公司 一种hdmi线缆表面质量检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018828A (zh) * 2022-08-03 2022-09-06 深圳市尹泰明电子有限公司 一种电子元器件的缺陷检测方法

Also Published As

Publication number Publication date
CN115187601A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN114897898B (zh) 一种基于图像处理的木板质量分类方法
CN114723701A (zh) 基于计算机视觉的齿轮缺陷检测方法和系统
CN110378885B (zh) 一种基于机器学习的wsi病灶区域自动标注方法及系统
CN116342583B (zh) 一种用于纺纱生产加工的抗起球性能检测方法
CN113496490B (zh) 一种基于计算机视觉的木板表面缺陷检测方法及系统
CN115187601B (zh) 基于图像理解的深海渔网生产过程缺陷检测方法
CN113066064B (zh) 基于人工智能的锥束ct图像生物结构识别及三维重建系统
CN109211918B (zh) 一种基于纬纱走向的织物弓纬检测方法
CN106682684A (zh) 一种基于k均值聚类的目标识别方法
CN104574391A (zh) 一种基于自适应特征窗口的立体视觉匹配方法
CN115330772A (zh) 一种在线焊点质量检测方法
CN115205289B (zh) 基于视觉的软木地板原材料分级方法
CN112288010A (zh) 基于网络学习的指静脉图像质量评价方法
CN116843692A (zh) 基于人工智能的再生活性炭状态检测方法
CN115223164A (zh) 一种基于人工智能的甜瓜成熟度检测方法及系统
CN109410158A (zh) 一种基于卷积神经网络的多焦点图像融合方法
CN115266732A (zh) 基于机器视觉的碳纤维丝束缺陷检测方法
CN111524092A (zh) 一种红茶萎凋程度指标的无损检测方法
CN109919843A (zh) 一种基于自适应四分法的皮肤图像纹理评估方法及系统
CN116934694A (zh) 一种布面疵点检测方法及系统
CN116958960A (zh) 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法
CN111083468B (zh) 一种基于图像梯度的短视频质量评价方法及系统
CN103955695B (zh) 计算机基于灰度共生矩阵能量变化智能识别视频中人眼状态的方法
CN117893531B (zh) 一种服装加工过程中服装质量智能检测方法
CN117808800B (zh) 一种纺织品染色质量智能评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A defect detection method for deep-sea fishing net production process based on image understanding

Granted publication date: 20221206

Pledgee: China Co. truction Bank Corp Huimin subbranch

Pledgor: SHANDONG BINZHOU BAPIMA PLASTIC CHEMICAL FIBER PRODUCTS Co.,Ltd.

Registration number: Y2024980018533