CN114004858A - 基于机器视觉识别航空线缆表面编码的方法及装置 - Google Patents

基于机器视觉识别航空线缆表面编码的方法及装置 Download PDF

Info

Publication number
CN114004858A
CN114004858A CN202111399832.1A CN202111399832A CN114004858A CN 114004858 A CN114004858 A CN 114004858A CN 202111399832 A CN202111399832 A CN 202111399832A CN 114004858 A CN114004858 A CN 114004858A
Authority
CN
China
Prior art keywords
cable
image
cable surface
boundary
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111399832.1A
Other languages
English (en)
Other versions
CN114004858B (zh
Inventor
吴丹
王斌
张继文
王国磊
徐静
蒋潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111399832.1A priority Critical patent/CN114004858B/zh
Priority claimed from CN202111399832.1A external-priority patent/CN114004858B/zh
Publication of CN114004858A publication Critical patent/CN114004858A/zh
Application granted granted Critical
Publication of CN114004858B publication Critical patent/CN114004858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Character Input (AREA)
  • Computing Systems (AREA)

Abstract

本申请公开了一种基于机器视觉识别航空线缆表面编码的方法及装置，其中，方法包括：采集线缆表面编码图像并进行图像预处理；通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除线缆表面编码图像中的线缆的上下边界以及对线缆表面编码图像中编码进行倾斜校正；对线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将多个初始编码图片分割优化后进行裁剪和排序得到待识别字符；通过预先训练的字符分类器对待识别字符进行识别，得到线缆表面编码图像中的编码识别结果。本申请可以解决细线缆表面字符和线缆边界重叠时候的识别问题。

Description

基于机器视觉识别航空线缆表面编码的方法及装置
技术领域
本申请涉及自动化装备及制造中的视觉检测技术领域，特别涉及一种基于机器视觉识别航空线缆表面编码的方法及装置。
背景技术
在航空飞机生产过程中，需要根据线缆的功能进行大量线缆对接，为了避免混淆线缆，会利用激光打标机预先在线缆上打印一段编码，建立编码之间的配对表，员工通过人工读取编码、查阅配对表的方式进行线缆对接。但是航空线缆的线径很细(2-5mm)，编码字符非常小，员工长时间识别线缆会对眼睛造成一定程度的损害，开发一套自动化的线缆编码识别系统，可以在减轻员工肉眼和大脑疲劳的同时，指引员工快速对接线缆并且提高工作效率。利用相机进行视觉检测具有非接触性好，速度快，便携式好的特点，开发一套航空线缆编码视觉识别系统，利用计算机自动化地进行线缆编码识别，对于搭建线缆自动化操作系统也具有很好的应用价值。
航空线缆的识别具有以下难点：(1)线缆表面具有局部反光，部分编码残缺，局部污渍等噪声干扰；(2)线缆的线径很细，甚至与编码字符尺寸相似，导致编码字符会与线缆边界重叠，干扰识别；(3)线缆识别准确率要求很高，且应具有很好的防误识别机制。
目前，有研究采用形态学的方法提取线缆的边界区域，进一步分割文字和识别，但是这种方法当编码尺寸和线缆尺寸相似，导致部分编码和线缆边界重叠时失效。部分学者采用CRNN卷积循环神经网络，直接将字符序列进行识别，该方法优点是可以在无需前处理的前提下直接对字符序列进行识别，缺点是需要人工获取大量的训练数据(上万)。此外，未见现有研究针对线缆编码的误识别进行保护机制设置。
发明内容
本申请提供一种基于机器视觉识别航空线缆表面编码的方法及装置，可以解决细线缆表面字符和线缆边界重叠时候的识别问题，对线缆表面反光，编码残缺，局部污渍等具有很好地鲁棒性，且具有防误识别机制。
本申请第一方面实施例提供一种基于机器视觉识别航空线缆表面编码的方法，包括以下步骤：采集线缆表面编码图像并进行图像预处理；通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除所述线缆表面编码图像中的线缆的上下边界以及对所述线缆表面编码图像中编码进行倾斜校正；对所述线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将所述多个初始编码图片分割优化后进行裁剪和排序得到待识别字符；通过预先训练的字符分类器对所述待识别字符进行识别，得到所述线缆表面编码图像中的编码识别结果。
根据本申请的实施例，所述采集线缆表面编码图像并进行图像预处理，包括：采用放大倍率可调节的便携式数码显微镜采集所述线缆表面编码图像；利用双线性插值算法对所述线缆表面编码图像进行降采样处理，将所述线缆表面编码图像进行等比例缩小，采用非线性滤波算法对降采样后的线缆表面编码图像进行图像滤波处理。
根据本申请的实施例，所述通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，包括：通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小获得凸显线缆边界的黑白二值图片，查找所述黑白二值图片中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，得到线缆的上下边界。
根据本申请的实施例，所述对所述线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将所述多个初始编码图片分割优化后进行裁剪和排序得到待识别字符，包括：通过投影法对所述线缆表面编码图像进行初步分割，得到多个预分割矩形区域；利用投票法确定所述预分割矩形区域的正确尺寸，根据所述正确尺寸，基于区域黑色像素点最密集和最居中的原则局部搜索，得到多个优化分割矩形区域；将所述多个优化分割矩形区域进行裁剪，并根据矩形形心坐标进行排序，得到待识别字符图片。
根据本申请的实施例，所述通过预先训练的字符分类器对所述待识别字符进行识别，包括：提取每个待识别矩形区域的特征，使用SVM识别器识别编码，根据正确性判据得到所述编码识别结果的正确率，其中，所述正确性判据包括任意两个字符间距是否均匀、任意字符分割矩形的长径是否满足预设范围以及每个字符的识别概率是否大于第一预设识别阈值，且该条线缆的所有字符识别概率之乘积应是否大于第二预设识别阈值。
本申请第二方面实施例提供一种基于机器视觉识别航空线缆表面编码的装置，包括：图像采集和预处理模块，用于采集线缆表面编码图像并进行图像预处理；图像线缆边界识别、滤除及校正模块，用于通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除所述线缆表面编码图像中的线缆的上下边界以及对所述线缆表面编码图像中编码进行倾斜校正；图像编码分割优化模块，用于对所述线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将所述多个初始编码图片分割优化后进行裁剪和排序得到待识别字符；编码识别模块，用于通过预先训练的字符分类器对所述待识别字符进行识别，得到所述线缆表面编码图像中的编码识别结果。
根据本申请的实施例，所述图像采集和预处理模块，包括：
采集单元，用于采用放大倍率可调节的便携式数码显微镜采集所述线缆表面编码图像；
处理单元，用于利用双线性插值算法对所述线缆表面编码图像进行降采样处理，对所述线缆表面编码图像进行等比例缩小，采用非线性滤波算法对降采样后的线缆表面编码图像进行图像滤波处理。
根据本申请的实施例，所述通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，包括：
通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小获得凸显线缆边界的黑白二值图片，查找所述黑白二值图片中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，得到线缆的上下边界。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于机器视觉识别航空线缆表面编码的方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于机器视觉识别航空线缆表面编码的方法。
本申请实施例的基于机器视觉识别航空线缆表面编码的方法及装置，利用USB数码显微镜搭建线缆编码识别平台，将线缆放置于平台上拍摄原始图像。利用航空线缆编码识别算法，算法输入为USB数码显微镜采集的图片，输出为线缆编码的识别结果。算法通过设计图像预处理、图像线缆边界识别及滤除、图像编码倾斜校正、图像编码分割优化和编码识别等，实现航空细线缆表面编码的高准确度识别。本申请可以解决细线缆表面字符和线缆边界重叠时候的识别问题，对线缆表面反光，编码残缺，局部污渍等具有很好地鲁棒性，且具有防误识别机制。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于机器视觉识别航空线缆表面编码的方法的流程图；
图2为根据本申请实施例提供的一种基于机器视觉识别航空线缆表面编码的方法的逻辑示意图；
图3为实际采集线缆的线缆图像示意图；
图4为根据本申请实施例提供的一种图像线缆边界识别、滤除及校正过程示意图；
图5为根据本申请实施例提供的一种图像线缆边界识别、滤除及校正过程流程图；
图6为根据本申请实施例提供的一种线缆编码分割、分割优化和标准化步骤的实施细节图；
图7为根据本申请实施例提供的某条线缆的分割效果图；
图8为根据本申请实施例提供的分割优化方式示意图；
图9为根据本申请实施例提供的预分割效果差的字符，经过分割优化后的位置示意图；
图10为根据本申请实施例提供的编码识别结果示意图；
图11为根据本申请实施例的基于机器视觉识别航空线缆表面编码的装置的示例图；
图12为申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图1展示了线缆编码视觉识别算法整体步骤，图2更详细地表述了各个算法步骤实施的具体细节。本申请实施例的算法主要包含图像采集和预处理；图像线缆边界识别及滤除、图像编码倾斜校正；图像编码分割优化；编码识别四个部分，下面对着四个部分进行详细说明。
图1为根据本申请实施例提供的一种基于机器视觉识别航空线缆表面编码的方法的流程图。
如图1所示，该基于机器视觉识别航空线缆表面编码的方法包括以下步骤：
在步骤S101中，采集线缆表面编码图像并进行图像预处理。
在本申请的一个实施例中，采集线缆表面编码图像并进行图像预处理，包括：采用放大倍率可调节的便携式数码显微镜采集线缆表面编码图像；利用双线性插值算法对线缆表面编码图像进行降采样处理，将线缆表面编码图像进行等比例缩小，采用非线性滤波算法对降采样后的线缆表面编码图像进行图像滤波处理。
具体地，考虑到线缆及线缆编码尺寸比较小和视觉识别系统的便携性，采用放大倍率可调节的便携式数码显微镜(内嵌小型LED光源)对原始图像进行采集，以实现对线缆编码的清晰拍摄。线缆图像采集时应满足下列原则：线缆从左向右放置，线缆不可具有大曲率弯折且线缆编码应暴露于视野中，图3列出了一些实际采集线缆的线缆图像，线缆编码可能具有部分反光、残缺、污渍等干扰，且部分线缆编码可能于线缆边界发生重叠。
为了加快识别速度，使用双线性插值算法对采集到的原始图片进行降采样处理，将图像等比例缩小为1200*1000像素大小。为了减少图像噪声的干扰，需要对降采样后的图像进行图像滤波处理。考虑到线缆编码识别需要在滤除图像中干扰噪声的同时尽可能保留编码边界的清晰度，采用中值滤波和双边滤波结合的非线性滤波算法对图像进行处理，由此得到预处理后的图像。
在步骤S102中，通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除线缆表面编码图像中的线缆的上下边界以及对线缆表面编码图像中编码进行倾斜校正。
在本申请的一个实施例中，通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，包括：通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小获得凸显线缆边界的黑白二值图片，查找黑白二值图片中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，得到线缆的上下边界。
具体地，图4展示了图像中线缆边界的提取和滤除，线缆编码的倾斜校正中各步骤的图像处理效果裁剪图，从中可以形象地观察各步骤的实际效果。
编码分割前需要从图像中提取线缆的上下边界，以定位文字所在的区域。为了凸显线缆的边界，使用局部自适应阈值分割算法对图像进行处理，该算法通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小与线缆直径相似，即可获得凸显线缆边界的黑白二值图片，记为Pic_bin1，如图4的(b)所示。查找Pic_bin1中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，即可提取出线缆边界点集，记上边界点集为Boundaryu，下边界点集为Boundaryd，如图4的(c)所示。
进一步为了进行编码识别，需要按编码顺序逐个获取图像编码字符的黑白二值图片，因此首先对图片进行整体阈值分割处理。考虑到由于线缆柱状形貌造成的亮度不均匀现象和线缆表面的局部反光情况，仍采用局部自适应阈值分割算法对图像进行处理，但此次设置邻域大小为文字尺度的1/3～1/2，以使得预处理后的图像中包含清晰的编码字符，记为Pic_bin2，如图4的(d)所示，但是该处理仍会遗留部分线缆边界，不利于线缆编码的逐个分割。为了将线缆边界滤除且尽可能保留编码完整度，根据获得的线缆边界点集设计线缆边界自适应滤除算法，算法以单位像素为间隔，通过观察线缆上下外面界内测黑色像素点的数量和变化梯度，判断是否达到线缆和编码的交界处，其详细处理步骤如图5所示。滤除线缆边界后的图片中仅包含编码(编码和线缆交接处部分残缺)及部分噪音，记为Pic_characters，如图4的(e)所示。
为后续编码逐个分割做准备，需要将文字整体方向置为水平，因此分别对Boundaryu和Boundaryd进行最小二乘法直线拟合，以这两条直线斜率均值k表示线缆倾斜度，分别将线缆边界滤除后的图像Pic_characters和线缆边界滤除前的图像Pic_bin2绕线缆中心center(Boundaryu∪Boundaryd的形心)进行图像旋转，以线缆厚度h为参考进行局部裁切，最终得到倾斜校正后的图片Pic_vertical_b和Pic_vertical_c，如图4的(f)和(g)所示。线缆相关参数的计算如下式所示：
Figure BDA0003364616980000061
Figure BDA0003364616980000062
h＝dist(LSM(Boundaryu),LSM(Boundaryd))
式中LSM()表示点集所拟合的直线；k[]表示直线的斜率；num()表示集合中点的数量；Pi∈BoundaryuUBoundaryd，Pi(x)，Pi(y)表示点Pi的横、纵坐标；dist()表示求直线的距离。
在步骤S103中，对线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将多个初始编码图片分割优化后进行裁剪和排序得到待识别字符。
在本申请的一个实施例中，对线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将多个初始编码图片分割优化后进行裁剪和排序得到待识别字符，包括：通过投影法对线缆表面编码图像进行初步分割，得到多个预分割矩形区域；利用投票法确定预分割矩形区域的正确尺寸，根据正确尺寸，基于区域黑色像素点最密集和最居中的原则局部搜索，得到多个优化分割矩形区域；将多个优化分割矩形区域进行裁剪，并根据矩形形心坐标进行排序，得到待识别字符图片。
图6表示了线缆编码分割、分割优化和标准化步骤的实施细节，图7以某条线缆为例形象地显示了分割效果图。
具体地，线缆滤除并倾斜校正后的图片理论上仅包含一行水平编码序列，如图7的(a)所示。该步骤将对各个编码进行分割和提取，提取出一系列大小均匀的编码图片，用作识别的输入。由于此步骤仍未知各个编码字符的类型，故每个编码字符本质上是局部黑色像素聚集区域，使用投影法对编码进行初步分割，分割流程如下：(1)首先统计Pic_vertical_c每一列黑色像素总数；(2)设置字符进入阈值te1和字符宽度阈值tw，从左向右遍历观察列黑色像素总数，当某列黑色像素总数大于te1时，认为进入了一个字符区域；而当连续tw个列黑色像素总数均小于te1时，认为离开了一个字符区域，由此可根据峰值区域得出每个字符所在的列范围；(3)在每个字符所处列范围中统计各行黑色像素总数；(4)同第2步，从上向下遍历观察列黑色像素总数，根据峰值区域得出每个字符所在的行范围；(5)将每个字符所处的行列所围成的矩形即为各个字符所处预分割矩形区域。图7的(b)和(c)表示了投影法获得的黑色像素数量图。
预分割的矩形区域粗略定位了字符所在的区域，如图7的(d)所示，但是由于噪音的存在和字符残缺的可能性，分割可能出现一定程度的偏差，如分割区域内囊括了一定的噪音导致区域变大、由于字符破损残缺导致的一个字符分割为两部分、由于局部大噪音导致的两个字符分割为一部分以及由于某些字符本身狭长导致的分割区域过小等，它们会降低字符分割的准确度，从而导致字符识别精度降低或识别失效。为了进一步提高分割准确度，进行分割的优化，作下列假设：(1)同一根线缆上字符的尺寸(宽度和高度)近似；(2)在预分割区域附近，字符所在区域为局部密度最大区域。当图像噪声不大时，很容易判断这两个假设的合理性。
分割优化首先需要估计该条线缆上字符的尺寸大小，预分割步骤获得了多个矩形窗口，其中少部分矩形由于预分割不准确导致其偏大或偏小，但是大部分分割矩形尺寸和位置正确，因此采用投票法估计正确的分割矩形长度和宽度，遍历每个矩形分割区域，分别观察其与其余各个矩形区域长度和宽度的插值，如果差值小于4pixels，则认为其尺寸类似，票数加一，最终得票数最多的矩形区域尺寸设置为字符分割尺寸，其宽度为width，高度为height。随后对每个预分割区域进行分割优化，分割优化准采用矩形滑窗卷积搜索其附近的黑色像素局部密度levels最高区域，如果黑色像素局部密度最高的几个区域黑色像素数量差距不显著(5％总黑色像素以内)，则再考虑这几个区域的黑色像素居中程度levelm选出其中levelm最大的一个区域，levels和levelm的计如下式所示，式子中xi，yi，gray(xi，yi)分别代表矩形块搜索中矩形框中每点相对于其中心的x,y坐标和其灰度值。这种搜索优化方法的本质是寻找最可能是字符的区域且尽量将其置于矩形分割框中间，具体实现方式根据每个预分割区域尺寸和字符分割尺寸的关系来设置，预分割区域尺寸不同，优化分割的搜索起点和终点不同，其搜索方式均为从左向右，自上向下的滑窗式搜索，具体分割优化方式如图8所示。
levels＝∑gray(xi，yi)
Figure BDA0003364616980000081
图9给出了一些预分割效果差的字符，其经过分割优化后将很好地贴合字符位置和大小。某条线缆的分割优化效果图如图7的(e)所示。分割优化后，将图片按照优化分割矩形进行逐个裁剪，根据矩形形心坐标进行排序，将得到一系列待识别字符图片，将其降采样至16*16，旋转90°，即完成了字符标准化，如图7的(f)所示。
在步骤S104中，通过预先训练的字符分类器对待识别字符进行识别，得到线缆表面编码图像中的编码识别结果。
在本申请的一个实施例中，通过预先训练的字符分类器对待识别字符进行识别，包括：提取每个待识别矩形区域的特征，使用SVM识别器识别编码，根据正确性判据得到编码识别结果的正确率，其中，正确性判据包括任意两个字符间距是否均匀、任意字符分割矩形的长径是否满足预设范围以及每个字符的识别概率是否大于第一预设识别阈值，且该条线缆的所有字符识别概率之乘积应是否大于第二预设识别阈值。
本步骤得到了一系列待识别字符，若分割成功，这些字符应该为正方向的或者反方向的(如图10所示，具体方向和线缆初始放置后文字方向是由自左向右或自右向左决定，线缆放置方向均有可能)，不会出现大幅度倾斜，这将有利于字符识别。但是此方法由于每个字符均可能出现正反两个方向，而6和9，M和W关于自身中心呈中心对称，于是无法对6和9，M和W做出准确区别，在此将6和9设置为1类处理，M和W设置为1类处理。考虑到手工训练数据库的复杂性，采用小数据集进行机器学习训练，提取4000张原始未分类字符图片，由于分割字符的正反向特性，将其绕中心旋转180°进行数据增强，获得共8000张原始未分类字符图片进行支持向量机(SVM)训练。SVM类型选为1对1多分类器，训练特征选为16*16＝256维度二值向量。如此可以在测试集上实现99％的分类准确度。
将训练后的字符分类器用于实际拍摄的图片中，识别后进行排序拼凑，得到字符串序列和每个字符的识别准确概率。为了降低错误识别造成的影响，设置一系列识别正确性判据，若判据不满足，则表征这次的结果很可能是失败的，发出错误提示。具体的正确性判据包括下列几点：(1)任意两个字符间距应是均匀的，投票法选择出正确间距，逐个判断，若出现某两个字符间距过大或者过小，则可能误将某个大噪音认作为字符；(2)任意字符的分割矩形，其长径比应该满足一定的范围，这意味着若字符出现仅有半边露出线缆时将不予以识别；(3)识别的概率应满足一定的条件，计算每个字符的识别概率应大于一定阈值，且该条线缆的所有字符识别概率之乘积应大于一定阈值。通过这些保护判据，大大降低识别失误率，对实际应用具有很大的帮助。
根据本申请实施例提出的基于机器视觉识别航空线缆表面编码的方法，利用USB数码显微镜搭建线缆编码识别平台，将线缆放置于平台上拍摄原始图像。利用航空线缆编码识别算法，算法输入为USB数码显微镜采集的图片，输出为线缆编码的识别结果。算法通过设计图像预处理、图像线缆边界识别及滤除、图像编码倾斜校正、图像编码分割优化和编码识别等，实现航空细线缆表面编码的高准确度识别。本申请可以解决细线缆表面字符和线缆边界重叠时候的识别问题，对线缆表面反光，编码残缺，局部污渍等具有很好地鲁棒性，且具有防误识别机制。
其次参照附图描述根据本申请实施例提出的基于机器视觉识别航空线缆表面编码的装置。
图11为根据本申请实施例的基于机器视觉识别航空线缆表面编码的装置的示例图。
如图11所示，该基于机器视觉识别航空线缆表面编码的装置10包括：图像采集和预处理模块100、图像线缆边界识别、滤除及校正模块200、图像编码分割优化模块300和编码识别模块400。
其中，图像采集和预处理模块100，用于采集线缆表面编码图像并进行图像预处理。图像线缆边界识别、滤除及校正模块200，用于通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除线缆表面编码图像中的线缆的上下边界以及对线缆表面编码图像中编码进行倾斜校正。图像编码分割优化模块300，用于对线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将多个初始编码图片分割优化后进行裁剪和排序得到待识别字符。编码识别模块400，用于通过预先训练的字符分类器对待识别字符进行识别，得到线缆表面编码图像中的编码识别结果。
在本申请的一个实施例中，图像采集和预处理模块100，包括：
采集单元，用于采用放大倍率可调节的便携式数码显微镜采集线缆表面编码图像；
处理单元，用于利用双线性插值算法对线缆表面编码图像进行降采样处理，对线缆表面编码图像进行等比例缩小，采用非线性滤波算法对降采样后的线缆表面编码图像进行图像滤波处理。
在本申请的一个实施例中，通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，包括：
通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小获得凸显线缆边界的黑白二值图片，查找黑白二值图片中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，得到线缆的上下边界。
在本申请的一个实施例中，图像编码分割优化模块300，具体用于，通过投影法对线缆表面编码图像进行初步分割，得到多个预分割矩形区域，利用投票法确定预分割矩形区域的正确尺寸，根据正确尺寸，基于区域黑色像素点最密集和最居中的原则局部搜索，得到多个优化分割矩形区域，将多个优化分割矩形区域进行裁剪，并根据矩形形心坐标进行排序，得到待识别字符图片。
在本申请的一个实施例中，编码识别模块400，具体用于，提取每个待识别矩形区域的特征，使用SVM识别器识别编码，根据正确性判据得到编码识别结果的正确率，其中，正确性判据包括任意两个字符间距是否均匀、任意字符分割矩形的长径是否满足预设范围以及每个字符的识别概率是否大于第一预设识别阈值，且该条线缆的所有字符识别概率之乘积应是否大于第二预设识别阈值。
需要说明的是，前述对基于机器视觉识别航空线缆表面编码的方法实施例的解释说明也适用于该实施例的基于机器视觉识别航空线缆表面编码的装置，此处不再赘述。
根据本申请实施例提出的基于机器视觉识别航空线缆表面编码的装置，利用USB数码显微镜搭建线缆编码识别平台，将线缆放置于平台上拍摄原始图像。利用航空线缆编码识别算法，算法输入为USB数码显微镜采集的图片，输出为线缆编码的识别结果。算法通过设计图像预处理、图像线缆边界识别及滤除、图像编码倾斜校正、图像编码分割优化和编码识别等，实现航空细线缆表面编码的高准确度识别。本申请可以解决细线缆表面字符和线缆边界重叠时候的识别问题，对线缆表面反光，编码残缺，局部污渍等具有很好地鲁棒性，且具有防误识别机制。
图12为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器1201、处理器1202及存储在存储器1201上并可在处理器1202上运行的计算机程序。
处理器1202执行程序时实现上述实施例中提供的基于机器视觉识别航空线缆表面编码的方法。
进一步地，电子设备还包括：
通信接口1203，用于存储器1201和处理器1202之间的通信。
存储器1201，用于存放可在处理器1202上运行的计算机程序。
存储器1201可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器1201、处理器1202和通信接口1203独立实现，则通信接口1203、存储器1201和处理器1202可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent Interconnection，简称为PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1201、处理器1202及通信接口1203，集成在一块芯片上实现，则存储器1201、处理器1202及通信接口1203可以通过内部接口完成相互间的通信。
处理器1202可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于机器视觉识别航空线缆表面编码的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (10)

1.一种基于机器视觉识别航空线缆表面编码的方法，其特征在于，包括以下步骤：
采集线缆表面编码图像并进行图像预处理；
通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除所述线缆表面编码图像中的线缆的上下边界以及对所述线缆表面编码图像中编码进行倾斜校正；
对所述线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将所述多个初始编码图片分割优化后进行裁剪和排序得到待识别字符；
通过预先训练的字符分类器对所述待识别字符进行识别，得到所述线缆表面编码图像中的编码识别结果。
2.根据权利要求1所述的方法，其特征在于，所述采集线缆表面编码图像并进行图像预处理，包括：
采用放大倍率可调节的便携式数码显微镜采集所述线缆表面编码图像；
利用双线性插值算法对所述线缆表面编码图像进行降采样处理，将所述线缆表面编码图像进行等比例缩小，采用非线性滤波算法对降采样后的线缆表面编码图像进行图像滤波处理。
3.根据权利要求1所述的方法，其特征在于，所述通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，包括：
通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小获得凸显线缆边界的黑白二值图片，查找所述黑白二值图片中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，得到线缆的上下边界。
4.根据权利要求1所述的方法，其特征在于，所述对所述线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将所述多个初始编码图片分割优化后进行裁剪和排序得到待识别字符，包括：
通过投影法对所述线缆表面编码图像进行初步分割，得到多个预分割矩形区域；
利用投票法确定所述预分割矩形区域的正确尺寸，根据所述正确尺寸，基于区域黑色像素点最密集和最居中的原则局部搜索，得到多个优化分割矩形区域；
将所述多个优化分割矩形区域进行裁剪，并根据矩形形心坐标进行排序，得到待识别字符图片。
5.根据权利要求1所述的方法，其特征在于，所述通过预先训练的字符分类器对所述待识别字符进行识别，包括：
提取每个待识别矩形区域的特征，使用SVM识别器识别编码，根据正确性判据得到所述编码识别结果的正确率，其中，所述正确性判据包括任意两个字符间距是否均匀、任意字符分割矩形的长径是否满足预设范围以及每个字符的识别概率是否大于第一预设识别阈值，且该条线缆的所有字符识别概率之乘积应是否大于第二预设识别阈值。
6.一种基于机器视觉识别航空线缆表面编码的装置，其特征在于，包括：
图像采集和预处理模块，用于采集线缆表面编码图像并进行图像预处理；
图像线缆边界识别、滤除及校正模块，用于通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，滤除所述线缆表面编码图像中的线缆的上下边界以及对所述线缆表面编码图像中编码进行倾斜校正；
图像编码分割优化模块，用于对所述线缆表面编码图像中的各个编码进行提取和分割得到多个初始编码图片，将所述多个初始编码图片分割优化后进行裁剪和排序得到待识别字符；
编码识别模块，用于通过预先训练的字符分类器对所述待识别字符进行识别，得到所述线缆表面编码图像中的编码识别结果。
7.根据权利要求6所述的装置，其特征在于，所述图像采集和预处理模块，包括：
采集单元，用于采用放大倍率可调节的便携式数码显微镜采集所述线缆表面编码图像；
处理单元，用于利用双线性插值算法对所述线缆表面编码图像进行降采样处理，对所述线缆表面编码图像进行等比例缩小，采用非线性滤波算法对降采样后的线缆表面编码图像进行图像滤波处理。
8.根据权利要求6所述的装置，其特征在于，所述通过局部自适应阈值分割算法对预处理后的线缆表面编码图像进行处理，得到线缆的上下边界，包括：
通过比较各个像素点和其邻域像素点的灰度均值来区分其是否为前景点，通过设置邻域大小获得凸显线缆边界的黑白二值图片，查找所述黑白二值图片中的所有封闭黑白交界轮廓，遍历查找面积和长度最大的两个轮廓，这两个轮廓应分别位于线缆中心的两侧，其中包含了所需要的线缆边界点，通过分别搜索上轮廓的下界点和下轮廓的上界点，得到线缆的上下边界。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于机器视觉识别航空线缆表面编码的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于机器视觉识别航空线缆表面编码的方法。
CN202111399832.1A 2021-11-19 基于机器视觉识别航空线缆表面编码的方法及装置 Active CN114004858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111399832.1A CN114004858B (zh) 2021-11-19 基于机器视觉识别航空线缆表面编码的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111399832.1A CN114004858B (zh) 2021-11-19 基于机器视觉识别航空线缆表面编码的方法及装置

Publications (2)

Publication Number Publication Date
CN114004858A true CN114004858A (zh) 2022-02-01
CN114004858B CN114004858B (zh) 2024-07-12

Family

ID=

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677683A (zh) * 2022-04-06 2022-06-28 电子科技大学 应用于光通信激光器芯片显微字符识别的背景预处理方法
CN114758339A (zh) * 2022-06-15 2022-07-15 深圳思谋信息科技有限公司 字符识别模型的获取方法、装置、计算机设备和存储介质
TWI842583B (zh) 2023-07-05 2024-05-11 淡江大學學校財團法人淡江大學 自動化線材分線檢測系統及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663360A (zh) * 2012-03-30 2012-09-12 中南大学 一种钢铁板坯编码自动识别方法以及钢铁板坯跟踪系统
CN104239909A (zh) * 2014-08-11 2014-12-24 北京捷通华声语音技术有限公司 一种图像的识别方法和装置
US20170109576A1 (en) * 2015-07-20 2017-04-20 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
CN108805838A (zh) * 2018-06-05 2018-11-13 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663360A (zh) * 2012-03-30 2012-09-12 中南大学 一种钢铁板坯编码自动识别方法以及钢铁板坯跟踪系统
CN104239909A (zh) * 2014-08-11 2014-12-24 北京捷通华声语音技术有限公司 一种图像的识别方法和装置
US20170109576A1 (en) * 2015-07-20 2017-04-20 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
CN108805838A (zh) * 2018-06-05 2018-11-13 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677683A (zh) * 2022-04-06 2022-06-28 电子科技大学 应用于光通信激光器芯片显微字符识别的背景预处理方法
CN114677683B (zh) * 2022-04-06 2023-04-25 电子科技大学 应用于光通信激光器芯片显微字符识别的背景预处理方法
CN114758339A (zh) * 2022-06-15 2022-07-15 深圳思谋信息科技有限公司 字符识别模型的获取方法、装置、计算机设备和存储介质
CN114758339B (zh) * 2022-06-15 2022-09-20 深圳思谋信息科技有限公司 字符识别模型的获取方法、装置、计算机设备和存储介质
TWI842583B (zh) 2023-07-05 2024-05-11 淡江大學學校財團法人淡江大學 自動化線材分線檢測系統及其方法

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN110866430B (zh) 一种车牌识别方法及装置
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN107256410B (zh) 眼底图像分类方法及装置
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN111626941A (zh) 一种基于深度学习语义分割的文档矫正方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN116862910B (zh) 基于自动化裁切生产的视觉检测方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN112597868A (zh) 基于无定位点的试卷识别和矫正方法
CN112634294A (zh) 用于测量语义分割网络的边界性能的方法
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN114092385A (zh) 基于机器视觉的工业机械故障检测方法及装置
CN115760808A (zh) 平板玻璃尺寸测量方法、系统、装置及可读存储介质
CN114004858B (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN114004858A (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN114494142A (zh) 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN117576416B (zh) 工件边缘区域的检测方法、设备及存储介质
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant