CN113256568A - 一种基于深度学习的机器视觉板材计数通用系统及方法 - Google Patents

一种基于深度学习的机器视觉板材计数通用系统及方法 Download PDF

Info

Publication number
CN113256568A
CN113256568A CN202110502759.XA CN202110502759A CN113256568A CN 113256568 A CN113256568 A CN 113256568A CN 202110502759 A CN202110502759 A CN 202110502759A CN 113256568 A CN113256568 A CN 113256568A
Authority
CN
China
Prior art keywords
image
counting
images
result
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110502759.XA
Other languages
English (en)
Inventor
张春磊
陈俊
徐昆昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaint Corp
Original Assignee
Changsha Chaint Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Chaint Machinery Co Ltd filed Critical Changsha Chaint Machinery Co Ltd
Priority to CN202110502759.XA priority Critical patent/CN113256568A/zh
Publication of CN113256568A publication Critical patent/CN113256568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Abstract

一种基于深度学习的机器视觉板材计数通用系统及方法，计数通用系统包括图像采集系统和工控机视觉处理系统；所述的图像采集系统包括相机、线光源、电动滑轨，电动滑轨带动相机和线光源进行运动，采集图像；所述的工控机视觉处理系统包括控制模块、图像预处理模块、目标检测计数模块、通讯模块。将该发明系统安装到生产线中，能够快速对板材进行准确计数，效率远高于传统人工点数；该方法可作为板材计数的通用方法，只需要更改训练图像及检测类别既可完成不同板材的计数任务；本发明可以解决超大尺寸的板材计数难点，解决一般目标检测器无法应对的大尺寸图像检测任务，大大提高了板材生产的自动化程度。

Description

一种基于深度学习的机器视觉板材计数通用系统及方法
技术领域
本发明属于人工智能技术领域，涉及一种板材自动计数通用系统及计数方法，特别是涉及基于深度学习的机器视觉板材计数通用系统及计数方法。
背景技术
市场经济和商品市场不断发展，对于各类板材的需求日益增大，尤其是包装行业、建筑行业等；各厂商对于各类板材如瓦楞纸板、木板、瓷砖、石膏板、钢板等计数的需求也越加迫切。目前，已有技术的板材计数器，通常采用基于传统图像处理的方法进行计数，这种方法泛化能力较差，只能针对某些固定场景或固定类型的板材进行计数；对于存在一定缺损的板材往往难以取得理想效果；针对不同类型的板材需要单独设计算法，设计流程过于复杂繁琐。
随着基于深度学习的目标检测技术的快速发展，可以更加高效鲁棒的解决一些复杂检测任务。但是通常采集到的堆叠的板材图像尺寸过大，同时相较于一般的物体，板材图像没有明显的闭合边缘，上下层板材之间存在较为严重的“黏连”情况或者距离较近，直接利用通用目标检测器进行检测，难以获得准确的检测结果。
发明内容
本发明旨在提供一种基于深度学习的机器视觉板材计数通用系统及方法，以满足鲁棒性更强的板材计数需求，解决现有技术适用性不强且计数准确率低的问题。
本发明解决技术问题采用的技术方案是：
一种基于深度学习的机器视觉板材计数通用系统，包括图像采集系统和工控机视觉处理系统；所述的图像采集系统包括相机、线光源、电动滑轨，相机在线光源的照射下在电动滑轨上运动以采集图像；所述的工控机视觉处理系统包括控制模块、图像预处理模块、目标检测计数模块、通讯模块；控制模块通过控制相机、线光源和电动滑轨进行图像采集，图像预处理模块对采集到的图像进行预处理，再送入目标检测计数模块完成计数任务，并最终利用通讯模块发送结果至显示器；控制模块通过I/O控制硬件设备，包括控制电机启停，设置滑轨运动参数，开闭光源；图像预处理模块负责对相机采集到的板材图像做预处理，包括图像切割、图像填充；模型训练模块负责对标注后的图像进行训练，生成训练权重文件；目标检测计数模块负责对预处理后的图像进行板材目标检测，对获取到的三列检测结果进行投票，获得最终计数结果；通讯模块负责上下位机的通讯，将检测结果和计数结果发送至屏幕，进行显示以便于后续矫正和查验。
当板材垛到达指定位置后，触发检测信号。图像采集模块开始采集图像，开启线光源以及相机，电机控制电动滑轨带动相机和线光源开始从下向上采集图像。获取到检测图像后，送入预处理模块，对图像进行切割和填充处理，获取到预处理后的图像。将预处理后的图像送入目标检测计数模块，采用已经训练好的检测模型对预处理后的图像进行检测，并将结果合并至大尺寸原始采集图像，进行NMS算法处理，获得在大尺寸原始采集图像上的检测结果；利用投票算法对计数结果进行投票，获得最终检测计数结果。通讯模块将检测计数结果发送至屏幕进行显示。
一种基于深度学习的机器视觉板材计数通用方法，步骤如下：
(1)图像采集模块：当板材垛到达固定位置时，工控机发送检测检测信号，相机通过电动滑轨进行连续拍照，直到滑轨尽头后停止采集，将所有的采集图像进行图像合并，获得一张完整的板材垛侧面图像，并送入图像预处理模块进行图像处理；
(2)图像预处理模块：对板材侧面图像进行切割填充处理，将获取的大尺寸板材图像，在不同的三个位置，按照固定尺寸，固定上下帧图像重叠比例进行切割，获取到三组图像；并对切割后的图像边缘进行填充，进行下一步处理；
(3)模型训练模块：基于深度学习的目标检测模型需要事先对模型进行训练；测试时，直接利用训练好的模型进行测试既可。模型训练模块，将获取到的经过预处理的图像，进行数据增强操作，送入Yolov5通用目标检测器进行模型训练；
(4)目标检测计数模块：对送入的三组图像，利用训练好的目标检测器Yolov5进行目标检测，获取到每一张切割图像的检测结果；对切割图检测结果进行整合，将检测结果合并至原始的大尺寸板材图像；对合并结果进行NMS处理，获取到最终的目标检测结果；通过目标检测结果，统计三组图像中的计数结果；对三列计数结果采用投票操作，获得最终的计数结果；
(5)通讯模块：获取目标检测结果和计数结果并发送至屏幕进行显示和校验。
所述步骤(1)具体步骤为：
(1.1)板材垛到达指定位置，工控机发出开始检测信号，通过I/O模块控制电动滑轨带动相机开始滑动，开启光源；
(1.2)电动滑轨运动控制编码器输出信号控制相机同步采集图像；
(1.3)当相机到达滑轨尽头时，停止运动时，图像采集完成，将所有的扫描行数据进行拼接，生成一张完整的图像输出到工控机上进行后续处理。
所述步骤(2)的具体方法为：
(2.1)将采集到的大尺寸图像进行切割，区别于整体切割图像，我们在图像X轴方向上，以固定步长；在Y轴方向上，以上下帧图像区域重叠一定比例；依次切取固定宽度的3列图像。获取到三组切割后的图像；
(2.2)对切割后的图像进行边界填充。切割后的板材图像，通常由于没有Well-defined的闭合边缘，需要人为增加区别度较高的边缘信息，用以提高目标检测的准确度；
(2.3)将获取的图像，采用固定像素值，对图像进行左右填充，生成明显的闭合边缘。
所述步骤(3)的具体方法为：
(3.1)数据集制作，将获取到切割填充的图像，利用标注工具对图像进行数据标注，按照每一层特征对板材进行标注，生成对应的标签文件；
(3.2)数据增强，深度学习目标检测器通常需要大量数据进行训练，由于采集到的图像数据有限，为了模拟不同场景，不同光照条件，不同拍照距离等复杂场景的情况；对标注好的数据进行数据增强处理。通过添加噪声、图像压缩和运动模糊等手段，模拟不同场景下的干扰情况；通过改变图像HSV参数，模拟不同光照强度下的情况；通过Mosaic算法，对多张图像进行缩放和拼接，模拟不同拍照距离的情况；
(3.3)模型训练，将经过数据增强后的图像送入模型进行训练。经过训练后，获得模型权重文件。
所述步骤(4)的具体方法为：
(4.1)检测阶段，将切割后的图像，按照所在列以及在原始大尺寸图像中的相对位置依次分配id编号，再批量送入训练好的检测模型，进行板材目标检测。由于板材图像中“黏连”情况较为严重或板材之间距离较近，我们采用GIoU代替原始IoU计算，其计算公式如下所示：
Figure BDA0003057079810000031
其中inter为两矩形框S1,S2的交集，S为S1,S2的并集。获取到每张图像的检测结果后，建立数组，将每张图像的id编号以及检测结果存入数组，数组如下：
Figure BDA0003057079810000041
在数组中，img代表对应图像的检测数据，i代表对应列的第i张图像编号；
(4.2)后处理阶段，获取到结果数组后，根据测试结果数组中的切割图像id编号，进行位置偏移，合并结果，恢复其在原始大尺寸图像中的相对位置，偏移公式如下：
左上点坐标：
Figure BDA0003057079810000042
右下点坐标：
Figure BDA0003057079810000043
其中，(xnew，ynew)代表切割图像的结果在大尺寸原图上的相对位置，xinit代表第一列切割图像距离图像原点的x轴偏移量，col代表图像归属的列编号，step代表每一列在x轴上的切割步长，i代表图像归属的行编号，width和hight代表切割图像的宽和高；
(4.3)投票计数阶段，获取到三列图像的三个计数结果，并采用投票操作，获得最终的计数结果。具体投票逻辑为：当三列图像的三个计数结果相同时，直接输出其中的一个计数结果作为最终计数结果；当三列图像的三个计数结果中，有两个计数结果相同，输出相同的计数结果作为最终的计数结果；当三列图像的三个计数结果都不相同，且三个计数结果差距不大时，计算三个计数结果的平均值作为最终检测结果；当三列图像的三个计数结果都不相同时，且三个计数结果中有一个计数结果与其他两个计数结果相差过大时，取数值相近的两个计数结果的平均值作为最终计数结果；当三列图像的三个计数结果差距过大时，取最大值为最终计数结果。
所述步骤(5)的具体方法为：将检测结果及投票计数结果，发送到屏幕进行显示，并将检测结果进行可视化，方便后续的查找纠正误检结果；并显示最终计数结果。
本发明的技术效果在于：该发明安装到生产线中，能够快速对板材进行准确计数，效率远高于传统人工点数；该方法可作为板材计数的通用方法，只需要更改训练图像及检测类别既可完成不同板材的计数任务；该发明相较于传统板材计数方法，具有更好的鲁棒性，更好的泛化能力，能够适应更加复杂的生产环境。具有更高的计数准确性；该方法可以解决超大尺寸的板材计数难点，解决一般目标检测器无法应对的大尺寸图像检测任务；可以通过生产线上现有的其他设备控制，减少人力成本，保证了计数的准确性，同时大大提高了板材生产的自动化程度。
附图说明
图1为视觉检测系统示意图；
图2为图像采集设备示意图；
图3为图像预处理效果图；
图4为数据标注示意图；
图5为检测算法流程图；
图6为NMS算法示意图；
图7为图像检测效果图。
图中：1-电动滑轨，2-滑轨的电机，3-电机控制器，4-编码器，5-滑台，6-型材支架，7-相机、8-镜头和线光源，9-光源控制器。
具体实施方式
以下将结合附图和具体实施例对本发明作进一步说明，以瓦楞纸板计数为例。
如图1所示，一种基于深度学习的机器视觉板材计数通用系统，硬件设备主要包括图像采集模块、工控机及显示器。
如图2所示，图像采集硬件模块主体为1-电动滑轨、2-滑轨的电机，4-编码器安装在滑轨的端部，7-线阵相机、8-镜头和线光源在6-型材支架上，6-型材支架安装在5-滑台上，整个相机部分可以跟随滑台移动。3-电机控制器与9-光源控制器安装在其他位置分别与电机和光源接线连接。
如图1所示，工控机中程序包括控制模块、图像预处理模块、模型训练模块(仅训练时)、目标检测模块、通讯模块。控制模块通过I/O模块控制硬件设备，主要控制滑轨电机启停，设置滑轨运动参数，开启摄像头拍照，打开关闭光源等；图像预处理模块主要负责对相机采集到的板材图像做预处理，包括图像切割，图像填充等；模型训练模块，负责对标注后的图像进行训练，生成训练权重文件；目标检测模块，负责对切割后的图像进行板材目标检测，对获取到的三列检测结果进行投票，获得最终计数结果；通讯模块主要负责上下位机的通讯，将检测结果和计数结果发送至屏幕，进行显示，便于后续矫正和查验。
一种基于深度学习的机器视觉板材计数系统的通用方法，包括图像采集、图像预处理、模型训练、目标检测、后处理这几个部分，具体步骤如下：
(1)图像采集模块：当板材垛到达固定位置时，工控机发送检测检测信号，相机通过电动滑轨进行连续拍照，直到滑轨尽头后停止采集，将所有的采集图像进行图像合并，获得一张完整的板材垛侧面图像，并送入图像预处理模块进行图像处理；
(2)图像预处理模块：对板材侧面图像进行切割填充处理，将获取的大尺寸板材图像，在不同的三个位置，按照固定尺寸，固定上下帧图像重叠比例进行切割，获取到三组图像；并对切割后的图像边缘进行填充，进行下一步处理；
(3)模型训练模块：基于深度学习的目标检测模型需要事先对模型进行训练；测试时，直接利用训练好的模型进行测试既可。模型训练模块，通过获取到的经过预处理的图像，进行数据增强操作，送入Yolov5通用目标检测器进行模型训练；
(4)目标检测计数模块：对送入的三组图像，利用训练好的目标检测器Yolov5进行目标检测，获取到每一张切割图像的检测结果；对切割图检测结果进行整合，将检测结果合并至原始的大尺寸板材图像；对合并结果进行NMS处理，获取到最终的目标检测结果；通过目标检测结果，统计三组图像中的计数结果；对三列计数结果采用投票操作，获得最终的计数结果；
(5)通讯模块：获取目标检测结果和计数结果并发送至屏幕进行显示和校验。
步骤(1)图像采集模块，负责采集图像，具体实施方法如下：
(1.1)工控机发出开始采集图像信号，通过I/O模块控制电机，带动滑轨和滑台开始运动，并同时打开光源；
(1.2)随着滑轨运动，编码器发出脉冲信号，控制相机进行拍照扫描，获取到每一帧图像，并存入一个队列容器中；
(1.3)滑台带动相机到达滑轨尽头后，抓取队列容器中的信息，进行图像拼接，发往工控机，进行处理。关闭光源，滑台带动相机返回滑轨底部，等待下一次采集。
图像采集完成后，进入工控机进行算法处理。算法主要包括图像预处理，模型训练(仅训练时)，目标检测，图像后处理四个模块。
步骤(2)图像预处理模块，该模块主要对相机采集到的图像数据进行切割和填充处理，具体实施方法如下：
(2.1)对原始大尺寸图像进行切割。由于板材图像尺寸过大，直接送入检测模型，无法获得良好的检测效果，故将其进行切割处理；为防止切割过程中，“切碎”板材的图像特征，对于上下帧图像进行部分重叠切割。具体方法为：在原始大尺寸图像的X轴上，选取三个位置；在三个位置上，按照固定步长，固定长宽，以上下每帧图像部分重叠为基准，获取切割后的图像，切割后的瓦楞纸板图像如图3a所示。在图3b中，如阴影部分所示，上下两张切割图具有一定的重叠区域；
(2.2)对于每一张获取到的图像进行填充。板材图像通常由于没有Well-defined的明显闭合边缘，对于目标检测器难以进行有效的位置回归操作。为了生成明显的闭合边缘，利用固定像素值对图像进行左右像素填充，在瓦楞纸板图像中的效果如图3c所示；
步骤(3)模型训练模块(仅训练时)，该模块主要将事先获取到的经过预处理后的图像，进行数据标注和数据增强，送入Yolov5目标检测器进行模型训练，具体方法如下：
(3.1)数据集制作，在获取到切割填充的图像后，利用软件Labelimg对图像进行数据标注，按照每一层特征对板材进行标注，生成对应的标签文件。以瓦楞纸板标注为例，标注界面和标注数据样式如图4所示；
(3.2)数据增强，深度学习目标检测器通常需要大量数据进行训练，由于采集到的图像数据有限，为了模拟不同场景，不同光照条件，不同拍照距离等复杂场景的情况；对标注好的数据进行数据增强处理。通过添加噪声、图像压缩和运动模糊等手段，模拟不同场景下的干扰情况；通过改变图像HSV参数，模拟不同光照强度下的情况；通过Mosaic算法，对多张图像进行缩放和拼接，模拟不同拍照距离的情况。数据增强效果如图5所示；
(3.3)模型训练，将经过数据增强后的图像送入模型进行训练。为了提高模型的训练速度和后续的检测速度，选用Yolov5s作为训练模型。经过训练后，获得模型权重文件。
步骤(4)目标检测计数模块，该模块主要负责对输入的待检测切割图像进行检测并计数。在检测计数时，工控机中的检测算法流程如图5所示。检测计数模块具体操作如下：
(4.1)检测阶段，选用与训练模型对应的Yolov5s模型进行检测，读入训练好的模型权重文件；将切割填充后的图像送入检测器，进行检测；获取检测结果，并对检测结果添加对应的行列信息，进行编号；建立一个数组，保存上述结果；数组如下所示：
Figure BDA0003057079810000071
其中，每一个img中都保存着检测器对于预处理后图像的检测结果，检测结果保存为如下格式：
[x1,y1,x2,y2,cls,column,row]
其中，(x1,y1)代表检测框的左上点坐标，(x2,y2)代表检测框的右下点坐标，cls代表检测类别，column代表结果归属的列信息(三列)，row代表归属列中的行信息；
(4.2)后处理阶段，获取检测结果后，需要对检测结果进行目标合并、目标去重和投票计数三个步骤，获取到最终的检测结果和计数结果；
目标合并，由于图像是经过切割后送入检测器，获取到的检测结果为原始大尺寸图像的局部检测结果，因此需要根据上一步中获取到的结果数组进行目标合并。通过坐标偏移，恢复其在大尺寸图像中的位置，偏移公式如下：
左上点坐标：
Figure BDA0003057079810000081
右下点坐标：
Figure BDA0003057079810000082
其中，(xnew，ynew)代表切割图像的结果在大尺寸原图上的相对位置，xinit代表第一列切割图像距离图像原点的x轴偏移量，col代表图像归属的列编号，step代表每一列在x轴上的切割步长，i代表图像归属的行编号，width和hight代表切割图像的宽和高；
目标去重(NMS)，由于上下帧图像之间存在重叠区域，所对应的检测结果也存在部分重复，因此需要对结果进行目标去重处理，该步骤主要利用目标检测组件NMS完成；NMS可以在检测器获得的多个检测框中获取最优检测框，其具体步骤如下：
1)对于同一类别所有检测框的分数进行排序，然后选择类别得分最高的检测框；
2)遍历其余检测框，如果当前框与步骤1)选择的检测框的重叠区域大于设定的IoU阈值，则删除得分低的框；
3)继续从其余检测框中选择得分最高的一个，重复上述过程。
以瓦楞纸板为例，实际操作如图6所示，其中A框得分0.82，B框得分0.88，C框得分0.88，A框与B框存在较大的重合，超过设定的IoU阈值，C框较为独立。因此在最终结果中，A框会被删除，B框和C框将会被保留。经过NMS合并重叠框后的效果如图7所示。
投票计数，为了获得更加准确稳定的计数结果，在图像的三处进行了检测计数，因此会存在三个计数结果。对于获得的三个计数结果，采用投票操作，获得最终的计数结果。具体投票逻辑为：当三列图像的三个计数结果相同时，直接输出其中的一个计数结果作为最终计数结果；当三列图像的三个计数结果中，有两个计数结果相同，输出相同的计数结果作为最终的计数结果；当三列图像的三个计数结果都不相同，且三个计数结果差距不大时，计算三个计数结果的平均值作为最终检测结果；当三列图像的三个计数结果都不相同时，且三个计数结果中有一个计数结果与其他两个计数结果相差过大时，取数值相近的两个计数结果的平均值作为最终计数结果；当三列图像的三个计数结果差距过大时，取最大值为最终计数结果。
步骤(5)通讯模块，该模块主要负责工控机与屏幕之间进行通讯，发送结果至屏幕进行显示和校验；具体操作方法为：将检测结果及投票计数结果，发送到屏幕进行显示，并将检测结果进行可视化，方便后续的查找纠正误检结果；并显示最终计数结果。

Claims (7)

1.一种基于深度学习的机器视觉板材计数通用系统，其特征在于：包括图像采集系统和工控机视觉处理系统；所述的图像采集系统包括相机、线光源、电动滑轨，相机在线光源的照射下在电动滑轨上运动以采集图像；所述的工控机视觉处理系统包括控制模块、图像预处理模块、模型训练模块、目标检测计数模块、通讯模块；控制模块通过控制相机、线光源和电动滑轨进行图像采集，图像预处理模块对采集到的图像进行预处理，再送入目标检测计数模块完成计数任务，并最终利用通讯模块发送结果至显示器；控制模块通过I/O控制硬件设备，包括控制电机启停，设置滑轨运动参数，开闭光源；图像预处理模块负责对相机采集到的板材图像做预处理，包括图像切割、图像填充；模型训练模块负责对标注后的图像进行训练，生成训练权重文件；目标检测计数模块负责对预处理后的图像进行板材目标检测，对获取到的三列检测结果进行投票，获得最终计数结果；通讯模块负责上下位机的通讯，将检测结果和计数结果发送至屏幕，进行显示以便于后续矫正和查验。
2.一种基于深度学习的机器视觉板材计数通用方法，其特征在于步骤如下：
(1)图像采集模块：当板材垛到达固定位置时，工控机发送检测检测信号，相机通过电动滑轨带动进行连续拍照，直到滑轨尽头后停止采集，将所有的采集图像进行图像合并，获得一张完整的板材垛侧面图像，并送入图像预处理模块进行图像处理。
(2)图像预处理模块：对板材侧面图像进行切割填充处理，将获取的大尺寸板材图像，在不同的三个位置，按照固定尺寸，固定上下帧图像重叠比例进行切割，获取到三组图像；并对切割后的图像进行边缘填充，进行下一步处理；
(3)模型训练模块：基于深度学习的目标检测模型需要事先对模型进行训练；测试时，直接利用训练好的模型进行测试既可。模型训练模块，将获取到的经过预处理的图像，进行数据增强操作，送入Yolov5通用目标检测器进行模型训练；
(4)目标检测计数模块：对送入的三组图像，利用训练好的目标检测器Yolov5进行目标检测，获取到每一张切割图像的检测结果；对切割图检测结果进行整合，将检测结果合并至原始的大尺寸板材图像；对合并结果进行NMS处理，获取到最终的目标检测结果；通过目标检测结果，统计三组图像中的计数结果；对三列计数结果采用投票操作，获得最终的计数结果；
(5)通讯模块：获取目标检测结果和计数结果并发送至屏幕进行显示和校验。
3.根据权利要求2所述的基于深度学习的机器视觉板材计数通用方法，其特征在于所述步骤(1)的具体方法为：
(1.1)板材垛到达指定位置，工控机发出开始检测信号，通过I/O模块控制电动滑轨带动相机开始滑动，开启光源；
(1.2)电动滑轨运动控制编码器输出信号控制相机同步采集图像；
(1.3)当相机到达滑轨尽头时，停止运动时，图像采集完成，将所有的扫描行数据进行拼接，生成一张完整的图像输出到工控机上进行后续处理。
4.根据权利要求2所述的基于深度学习的机器视觉板材计数通用方法，其特征在于所述步骤(2)的具体方法为：
(2.1)将采集到的大尺寸图像进行切割，区别于整体切割图像，我们在图像X轴方向上，以固定步长；在Y轴方向上，以上下帧图像区域重叠一定比例；依次切取固定宽度的3列图像；获取到三组切割后的图像；
(2.2)对切割后的图像进行边界填充；切割后的板材图像，通常由于没有Well-defined的闭合边缘，需要人为增加区别度较高的边缘信息，用以提高目标检测的准确度。将获取的图像，采用固定像素值，对图像进行左右填充，生成明显的闭合边缘。
5.根据权利要求2所述的基于深度学习的机器视觉板材计数通用方法，其特征在于所述步骤(3)的具体方法为：
(3.1)数据集制作，将获取到切割填充的图像，利用标注工具对图像进行数据标注，按照每一层特征对板材进行标注，生成对应的标签文件；
(3.2)数据增强，深度学习目标检测器通常需要大量数据进行训练，由于采集到的图像数据有限，为了模拟不同场景，不同光照条件，不同拍照距离等复杂场景的情况；对标注好的数据进行数据增强处理。通过添加噪声、图像压缩和运动模糊等手段，模拟不同场景下的干扰情况；通过改变图像HSV参数，模拟不同光照强度下的情况；通过Mosaic算法，对多张图像进行缩放和拼接，模拟不同拍照距离的情况；
(3.3)模型训练，将经过数据增强后的图像送入模型进行训练。经过训练后，获得模型权重文件。
6.根据权利要求2所述的基于深度学习的机器视觉板材计数通用方法，其特征在于所述步骤(4)的具体方法为：
(4.1)经过图像预处理模块处理后，将获取到的切割填充后的图像，按照所在列以及在原始大尺寸图像中的相对位置依次分配id编号，再批量送入训练好的检测模型，进行板材目标检测；由于板材图像中“黏连”情况较为严重或板材之间距离较近，我们采用GIoU代替原始IoU计算，其计算公式如下所示：
Figure RE-FDA0003059164380000031
其中inter为两矩形框S1,S2的交集，S为S1,S2的并集。获取到每张图像的检测结果后，建立数组，将每张图像的id编号以及检测结果存入数组，数组如下：
Figure RE-FDA0003059164380000032
在数组中，img代表对应图像的检测数据，i代表对应列的第i张图像编号。
(4.2)后处理阶段，获取到结果数组后，根据测试结果数组中的切割图像id编号，进行位置偏移，合并结果，恢复其在原始大尺寸图像中的相对位置，偏移公式如下：
左上点坐标：
Figure RE-FDA0003059164380000033
右下点坐标：
Figure RE-FDA0003059164380000034
其中，(xnew，ynew)代表切割图像的结果在大尺寸原图上的相对位置，xinit代表第一列切割图像距离图像原点的x轴偏移量，col代表图像归属的列编号，step代表每一列在x轴上的切割步长，i代表图像归属的行编号，width和hight代表切割图像的宽和高；
(4.3)投票计数阶段，获取到三列图像的三个计数结果，并采用投票操作，获得最终的计数结果；具体投票逻辑为：当三列图像的三个计数结果相同时，直接输出其中的一个计数结果作为最终计数结果；当三列图像的三个计数结果中，有两个计数结果相同，输出相同的计数结果作为最终的计数结果；当三列图像的三个计数结果都不相同，且三个计数结果差距不大时，计算三个计数结果的平均值作为最终检测结果；当三列图像的三个计数结果都不相同时，且三个计数结果中有一个计数结果与其他两个计数结果相差过大时，取数值相近的两个计数结果的平均值作为最终计数结果；当三列图像的三个计数结果差距过大时，取最大值为最终计数结果。
7.根据权利要求2所述的基于深度学习的机器视觉板材计数通用方法，其特征在于所述步骤(5)的具体方法为：将检测结果及投票计数结果发送到屏幕进行显示，并将检测结果进行可视化以显示最终计数结果。
CN202110502759.XA 2021-05-09 2021-05-09 一种基于深度学习的机器视觉板材计数通用系统及方法 Pending CN113256568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110502759.XA CN113256568A (zh) 2021-05-09 2021-05-09 一种基于深度学习的机器视觉板材计数通用系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110502759.XA CN113256568A (zh) 2021-05-09 2021-05-09 一种基于深度学习的机器视觉板材计数通用系统及方法

Publications (1)

Publication Number Publication Date
CN113256568A true CN113256568A (zh) 2021-08-13

Family

ID=77222257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110502759.XA Pending CN113256568A (zh) 2021-05-09 2021-05-09 一种基于深度学习的机器视觉板材计数通用系统及方法

Country Status (1)

Country Link
CN (1) CN113256568A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943715A (zh) * 2022-05-31 2022-08-26 闽南师范大学 一种基于偏振度分布的机器视觉计数测量方法
TWI786827B (zh) * 2021-09-15 2022-12-11 和碩聯合科技股份有限公司 測試資料產生方法以及測試資料產生裝置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145966A (zh) * 2018-08-03 2019-01-04 中国地质大学（武汉） 有孔虫化石自动鉴定方法
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法
CN111507196A (zh) * 2020-03-21 2020-08-07 杭州电子科技大学 一种基于机器视觉和深度学习的车辆类型识别方法
CN111609811A (zh) * 2020-04-29 2020-09-01 北京机科国创轻量化科学研究院有限公司 一种基于机器视觉的大尺寸板材成形在线测量系统与方法
CN112132796A (zh) * 2020-09-15 2020-12-25 佛山读图科技有限公司 以反馈数据自主学习提升检测精度的视觉检测方法和系统
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112580439A (zh) * 2020-12-01 2021-03-30 中国船舶重工集团公司第七0九研究所 小样本条件下的大幅面遥感图像舰船目标检测方法及系统
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145966A (zh) * 2018-08-03 2019-01-04 中国地质大学（武汉） 有孔虫化石自动鉴定方法
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法
CN111507196A (zh) * 2020-03-21 2020-08-07 杭州电子科技大学 一种基于机器视觉和深度学习的车辆类型识别方法
CN111609811A (zh) * 2020-04-29 2020-09-01 北京机科国创轻量化科学研究院有限公司 一种基于机器视觉的大尺寸板材成形在线测量系统与方法
CN112132796A (zh) * 2020-09-15 2020-12-25 佛山读图科技有限公司 以反馈数据自主学习提升检测精度的视觉检测方法和系统
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN112580439A (zh) * 2020-12-01 2021-03-30 中国船舶重工集团公司第七0九研究所 小样本条件下的大幅面遥感图像舰船目标检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786827B (zh) * 2021-09-15 2022-12-11 和碩聯合科技股份有限公司 測試資料產生方法以及測試資料產生裝置
CN114943715A (zh) * 2022-05-31 2022-08-26 闽南师范大学 一种基于偏振度分布的机器视觉计数测量方法

Similar Documents

Publication Publication Date Title
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN108765416A (zh) 基于快速几何对准的pcb表面缺陷检测方法及装置
CN113256568A (zh) 一种基于深度学习的机器视觉板材计数通用系统及方法
CN109357630A (zh) 一种多类型工件批量视觉测量系统及方法
CN108229665A (zh) 一种以深度卷积神经网络为基础的零件分拣系统
KR101298024B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
CN105740910A (zh) 一种车辆物件检测方法及装置
CN113255869B (zh) 一种基于机器视觉的板材计数方法
CN101794842B (zh) 太阳能电池片背银印刷设备视觉装置
CN114049557A (zh) 一种基于深度学习的垃圾分选机器人视觉识别方法
CN108960067A (zh) 基于深度学习的实时的列车驾驶员动作识别系统和方法
CN108898634A (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
KR101298023B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
CN107966102A (zh) 一种板材生产用六面检测装置
CN106446888A (zh) 摄像模组多标识符识别方法及设备
CN110940670A (zh) 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法
CN208092786U (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN105259684B (zh) 一种双工位液晶面板离线检测系统及方法
CN103021069A (zh) 高速票据图像采集处理系统及其采集处理方法
CN113689509A (zh) 基于双目视觉的无序抓取方法、系统及存储介质
CN113763433A (zh) 一种玻璃瓶跟踪计数系统
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
CN103837545A (zh) 一种镜片成像装置及方法
CN112203069B (zh) 基于摄像头的宽屏投影方法、系统及可读存储介质
CN115115768A (zh) 基于立体视觉的物体坐标识别系统及方法、装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 410117 268 Xinxing Road, Yuhua Economic Development Zone, Changsha, Hunan

Applicant after: China Light Changtai (Changsha) Intelligent Technology Co.,Ltd.

Address before: 410117 268 Xinxing Road, Yuhua Economic Development Zone, Changsha, Hunan

Applicant before: CHANGSHA CHAINT MACHINERY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication