CN113139946A - 一种基于视觉的衬衫污渍定位设备 - Google Patents

一种基于视觉的衬衫污渍定位设备 Download PDF

Info

Publication number
CN113139946A
CN113139946A CN202110454507.4A CN202110454507A CN113139946A CN 113139946 A CN113139946 A CN 113139946A CN 202110454507 A CN202110454507 A CN 202110454507A CN 113139946 A CN113139946 A CN 113139946A
Authority
CN
China
Prior art keywords
stain
module
image
signal processing
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110454507.4A
Other languages
English (en)
Inventor
杨飚
张永忠
周芷晴
吴家新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202110454507.4A priority Critical patent/CN113139946A/zh
Publication of CN113139946A publication Critical patent/CN113139946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉的衬衫污渍定位设备。该设备包括：视频采集及输入模块、信号处理模块以及传输和存储模块；所述图像采集及输入模块用于采用待识别衣物的图像，并将所述图像输入至所述信号处理模块；所述信号处理模块分别与所述图像采集及输入模块以及传输和存储模块连接；所述信号处理模块用于利用YOLOv4网络模型对所述图像进行污渍定位、污渍分割以及污渍识别，得到衣服污渍信息；并将所述衣服污渍信息转化为高清视频流传输至所述传输和存储模块。本发明提高了衣物污渍识别的精确度。

Description

一种基于视觉的衬衫污渍定位设备
技术领域
本发明涉及图像识别与定位技术领域，特别是涉及一种基于视觉的衬衫污渍定位设备。
背景技术
随着计算机图像处理的广泛发展和应用，视觉图像技术在污渍检测领域也得到了越来越广泛的运用，尤其是在衣服上各类污渍的类别和位置检测中。视觉污渍检测用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，进而根据判别的结果来控制现场的设备动作。
现代人快节奏的生活和对高品质生活的追求导致对洗衣行业的需求越来越大，但很多情况下衣服污渍的检测定位以及分类却仍然依靠人工作业，检测成本高、效率低，无法满足市场的供应需求。传统的洗衣行业对污渍检测需要大量的人工参与，人工检测不仅增加了劳动成本，而且工作效率也大打折扣。
为了有效解决上述问题，基于视觉的衣服污渍检测分类设备必将成为未来的发展趋势。视觉系统作为衣服污渍检测分类设备的核心部分，能够有效提高对目标污渍的识别与定位性能，提升作业效率，降低工作成本。而衣物污渍检测和分类技术满足了许多洗衣店、洗衣工厂等行业的需求，可以迅速快捷地定位到不同位置和不同类别的污渍，从而选择最佳去污方式，工作效率得到明显提高。衣服污渍检测分类技术已成为当前发展的一个热点。
而目前现有衣服污渍检测分类方法中，主要缺点是仅能大致地从污渍外观、颜色、位置等方面鉴别，缺乏对复杂环境下对不同种类污渍的识别，仅能将污渍轮廓分割出来，往往丢失了一些衣服污渍的细节，得不到较高的识别精度，从而导致检测分类效果不佳。在衣服污渍识别的过程中，污渍的颜色、形状外观、在服装上不同位置上出现的污渍、甚至是穿衣人性别、职业等不同而产生的衣服污渍，都有各自不同的特征，复杂环境中的因素都会影响衣服污渍的识别。因此，在识别衣服污渍时，基于视觉的衣服污渍检测分类方法是十分必要的。
发明内容
本发明的目的是提供一种基于视觉的衬衫污渍定位设备，提高衣物污渍识别的精确度。
为实现上述目的，本发明提供了如下方案：
一种基于视觉的衬衫污渍定位设备，包括：视频采集及输入模块、信号处理模块以及传输和存储模块；
所述图像采集及输入模块用于采用待识别衣物的图像，并将所述图像输入至所述信号处理模块；
所述信号处理模块分别与所述图像采集及输入模块以及传输和存储模块连接；所述信号处理模块用于利用YOLOv4网络模型对所述图像进行污渍定位、污渍分割以及污渍识别，得到衣服污渍信息；并将所述衣服污渍信息转化为高清视频流传输至所述传输和存储模块。
可选的，所述视频采集及输入模块包括：CMOS模组以及第一FPGA；
所述CMOS模组与所述第一FPGA连接，所述第一FPGA与所述信号处理模块连接；
所述CMOS模组用于采集所述待识别衣物的图像；
所述第一FPGA用于对所述图像进行预处理，并利用3A算法调整所述CMOS模组的采集参数。
可选的，所述信号处理模块包括ARM芯片。
可选的，所述传输和存储模块包括：传输单元与存储单元；
所述传输单元包括：以太网以及5G；
所述存储单元包括：SSD固态硬盘和SD卡。
可选的，还包括：视频扩展总线和第一总线开关；
所述视频采集及输入模块通过所述第一总线开关和所述视频扩展总线与所述信号处理模块连接；
所述传输和存储模块通过所述视频扩展总线与所述信号处理模块连接。
可选的，还包括：第二FPGA、第二总线开关、视频编码器以及第三总线开关；
所述视频编码器通过所述第二FPGA以及所述第二总线开关与所述视频扩展总线连接；
所述视频编码器还通过所述第三总线开关与所述视频扩展总线连接；
所述视频编码器将所述高清视频流进行H.264或者H.265编码通过网络输出。
可选的，所述第二FPGA为0SD FPGA。
可选的，还包括：加密模块；
所述加密模块与所述信号处理模块连接；所述加密模块用于对所述高清视频流进行加密。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于视觉的衬衫污渍定位设备，通过所述信号处理模块不仅可以实现衣服污渍检测，还可以对不同种类的污渍进行分类，以便实时掌握不同衣物和衣物不同位置上的不同种类污渍情况，从而方便后续进行不同的去污操作。并且，本发明将提取的衣物污渍信息转化为高清视频流，进而可以在特定环境下找出相应的特征进行污渍检测和分类，防止误检、漏检等情况，有效地提高了检测分类正确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于视觉的衬衫污渍定位设备结构示意图；
图2为本发明所提供的一种基于视觉的衬衫污渍定位设备原理示意图；
图3为所述信号处理模块处理流程示意图；
图4为YOLOv4特征结构图；
图5为YOLOv4训练loss图；
图6为YOLOv4网络模型对衣服上色素酸类污渍的识别效果图；
图7为YOLOv4网络模型对衣服上色素酸类污渍的识别效果图；
图8为YOLOv4网络模型对衣服上蛋白质类污渍的识别效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于视觉的衬衫污渍定位设备，提高衣物污渍识别的精确度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于视觉的衬衫污渍定位设备结构示意图，图2为本发明所提供的一种基于视觉的衬衫污渍定位设备原理示意图，如图1和图2所示，本发明所提供的一种基于视觉的衬衫污渍定位设备，包括：视频采集及输入模块101、信号处理模块102以及传输和存储模块103。
所述图像采集及输入模块用于采用待识别衣物的图像，并将所述图像输入至所述信号处理模块102；
所述信号处理模块102分别与所述图像采集及输入模块以及传输和存储模块103连接；所述信号处理模块102用于利用YOLOv4网络模型对所述图像进行污渍定位、污渍分割以及污渍识别，得到衣服污渍信息；并将所述衣服污渍信息转化为高清视频流传输至所述传输和存储模块103。
如图2所示，所述视频采集及输入模块101包括：CMOS模组以及第一FPGA。
所述CMOS模组与所述第一FPGA连接，所述第一FPGA与所述信号处理模块102连接。
所述CMOS模组用于采集所述待识别衣物的图像。
所述第一FPGA用于对所述图像进行预处理，并利用3A算法调整所述CMOS模组的采集参数。所述CMOS模组的采集参数包括：快门和增益。进而提高采集的图像质量，使之更加艳丽清晰。
所述信号处理模块102包括ARM芯片。所述ARM芯片通过各个接口实现相应的功能。
所述传输和存储模块103包括：传输单元与存储单元；
所述传输单元包括：以太网以及5G。
所述存储单元包括：SSD固态硬盘和SD卡。
如图2所示，本发明所提供的一种基于视觉的衬衫污渍定位设备，还包括：视频扩展总线和第一总线开关。
所述视频采集及输入模块101通过所述第一总线开关和所述视频扩展总线与所述信号处理模块102连接；
所述传输和存储模块103通过所述视频扩展总线与所述信号处理模块102连接。
如图2所示，本发明所提供的一种基于视觉的衬衫污渍定位设备，还包括：第二FPGA、第二总线开关、视频编码器以及第三总线开关；所述第二FPGA为0SD FPGA。
所述视频编码器通过所述第二FPGA以及所述第二总线开关与所述视频扩展总线连接；
所述视频编码器还通过所述第三总线开关与所述视频扩展总线连接；
所述视频编码器将所述高清视频流进行H.264或者H.265编码通过网络输出。
为了防止其他软件恶意篡改高清视频流，本发明所提供的一种基于视觉的衬衫污渍定位设备，还包括：加密模块。
所述加密模块与所述信号处理模块102连接；所述加密模块用于对所述高清视频流进行加密。
如图3所示，本发明所提供的信号处理模块102的具体的识别步骤为：
(1)图像的获取：采用爬虫技术下载相关污渍的jpg格式图片，并进行数据的筛选。同时创建名为Annotations、ImageSets、JPEGImages的三个文件夹。Annotations里面存放图像对应的xml文件，ImageSets里存放的是训练图片的名字，JPEGImages文件夹中时IMG原图片。
(2)图像标记：在步骤(1)中采集到的图像中，运用图像标注工具LabelImg对图像中的污渍进行标记，标注出污渍的位置和类别。污渍标签分类如下：蛋白质类污渍、油脂类污渍、色素酸类污渍、色素污渍、其它类污渍。标注之后，选定图片的保存路径和标记信息的XML文件路径，xml文件里面拥有这标注的类别、坐标等信息。
(3)划分数据集：将图像和标记文件划分成训练集、验证集，训练集、验证集分别占80％、20％。
(4)设置网络模型参数：在YOLOv4网络模型的配置文件中，根据计算机内存、显存的大小，用户最终呈现的识别效果要求，设置卷积神经网络输入图像的尺寸、识别种类的数量和filters值、迭代次数参数；且用户需使用支持cuda加速的显卡类型。
(5)训练网络模型：对改进后的YOLOv4网络结构进行参数设置，将设置好参数后的改进YOLOv4网络结构放入配置好环境的计算机中，运用训练集和验证集中标记好的图片名进行训练，训练过程中，将测试集中划分好的图片放入计算机中进行测试，得到每一个阶段训练的效果，并设置过程监控-map参数实时观察训练的mAP值，训练结束后保存训练好的网络模型。
(6)压缩网络模型，将步骤(5)得到的训练好的网络模型，如图4和图5所示；修改配置文件，采用训练验证集再进行一次基础训练，并设置训练参数epochs＝50、batch size＝32。
(7)运用步骤(6)得到的网络模型进行识别：在计算机上准备衣物污渍图像，并在配置好的相关环境下进行训练，命令内容包括步骤(6)后得到的衣服污渍识别模型和要识别的污渍图片名。其中，污渍定位是针对每个污渍图像训练得到一组主视觉单词，这些主视觉单词含有尺度、主方向、相对位置、局部描述的几何信息，然后第一FPGA通过其内部集成的3A算法调整CMOS模组的采集参数，CMOS模组采集的高分辨率图像并传送给第一FPGA进行图像预处理，通过与其中的局部特征匹配的几何信息，准确估计出衣服污渍的位置。输入模型后，设定类别数，设定图片划分为多少个网格，每个网格预测出来几个边框。将图片缩放到合适的比例后输入到CNN网络(卷积、池化、两个全连接)，然后输出就是张量，其中包括对象分类的概率、边界框的位置和置信度。通过处理输出box_confidence、box_xy、box_wh、box_class_probs。模型经过运算得到所有污渍的区域，检测目标位置，即在图片上可得到边界框。每个边界框的中心点坐标均为相对于其对应的cell左上点坐标的偏移，此时即保证每个边界框的中心点均落在其对应的cell中。
bx＝σ(tx)+cx。
by＝σ(ty)+cy。
Figure BDA0003040077180000071
Figure BDA0003040077180000072
其中，(bx,by,bw,bh)即为预测的边界框在特征图中的中心点坐标和长宽；(tx,ty,tw,th)即为网络学习的相对于先验框的偏置；(cx,cy)是各个cell的左上点坐标；(ph,pw)即为先验框相对于特征图的长和宽。若我们需要得到预测的边界框相对于原图的坐标实际值，则只需要将(bx,by,bw,bh)除以对应的特征图的尺寸，再乘以原始图片的尺寸即可。衣服污渍分割采用自适应形态学的方法对污渍模糊的图像进行分割，基于直方图的算法在分割污渍图像之前自动检测碎片和合并这些碎片。最后，图像识别采用基于形状上下文的模板匹配法，将待检测图像与标准模板图像放在一个分类器中进行匹配。最终得到污渍的识别结果，其中，输出是(x，y，w，h，l，p)，(x，y)表示了图片归一化后的中心点坐标，(w，h)表示了目标框的宽度、高度等信息，l表示了图片的类别信息，p是指物体属于该类别的概率。
本发明利用YOLOv4深度学习模型，能够提高污渍检测的准确度和速度，满足更高的检测需求。进行污渍定位和识别时，自动提取污渍信息，将污渍信息转化为高清视频流，视频编码器将所述高视频流进行H.264或者H.265编码通过网络输出，用于实时显示。在实际应用中，实现了对不同衣物不同污渍的自动检测，对相关洗衣行业有很大的帮助，提高工作效率。
所述信号处理模块102用于利用YOLOv4网络模型对所述图像进行污渍定位、污渍分割以及污渍识别，得到衣服污渍信息，具体包括：
污渍定位：YOLOv4将输入图像分成SxS个格子，若某个物体Groundtruth的中心位置的坐标落入到边界框中，那么边界框就负责检测出这个物体。YOLOv4(通用的算法)算法选定边界框的流程为，首先设定类别数，设定图片划分为多少个网格，每个网格预测出来几个边框。接下来将图片缩放到合适的比例后输入到CNN网络(卷积、池化、两个全连接)，然后输出就是张量，其中包括对象分类的概率、边界框的位置和置信度。最后通过处理输出box_confidence、box_xy、box_wh、box_class_probs。模型经过运算得到所有污渍的区域，检测目标位置，即在图片上可得到边界框。每个边界框的输出有三类参数：一个是对于每个边界框网络预测四个值(x，y，w，h)，其中(x，y，w，h)分别对应为物体均一化后的中心位置相对格子位置的偏移，且它对应边界框的宽和高为w，h。一个是C个类别概率，是区间在[0，1]之间的值。还有一个是置信度，置信度反映是否包含物体以及包含物体情况下位置的准确性，定义为：
Figure BDA0003040077180000081
其中，Pe(Object)∈{0,1}。YOLOv4用逻辑回归预测每个边界框的目标性评分。如果当前预测的边界框比之前的更好地与用于有监督训练的训练集的分类准确性对象重合，那它的分数就是1。如果当前的预测不是最好的，但它和用于有监督训练的训练集的分类准确性对象重合到了一定阈值以上，神经网络会忽视这个预测。
污渍分割：基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这个步骤采用自适应形态学的方法对污渍模糊的图像进行分割，基于直方图和小波变换的图像分割算法将直方图与小波变换方法结合起来。小波变换是一种时频两域分析的工具，用它来检测边缘，可以在大尺度下抑制噪声，小尺度下精确定位边缘。将小波变换应用于灰度直方图后进行图像的分割，利用小波变换的多尺度特性，在不同的尺度上分割阈值，从而可以选取合适的阈值。其目的是把图像分成各具特性的区域并提取出感兴趣的部分。首先，输入原始图像，为了便于编程的实现统一进行格式转换，转换为灰度图像。然后绘制直方图并将直方图均衡化，直方图的基本思想是把原始的直方图变换为均与分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。选取小波尺度参数，对直方图进行小波变换，求出零交叉点，小波交换的零交叉点即为小波输入信号的急剧变化点，根据小波变换的性质得到原图像直方图曲线斜率的极值点恰好是小波变换后的零交叉点。最后基于原图像选取合适的阈值并根据阈值对图像进行分割，最后显示分割结果图。在分割图像之前自动检测碎片和合并这些碎片。对于重叠污渍图像的分割，形态学分级算法自动确定参考，形态学细化算法和分割代价计算自动检测基准线。该方法可以检测重叠的污渍图像等突出了自适应的特点。污渍分割前需要准备的是只保留衣服污渍部分，将其他部分均变为黑色背景。这里采用cv2.grabCut方法，可将图像分割成前景与背景。
污渍识别：采用基于形状上下文的模板匹配法，对衣服表面的污渍进行检测和处理。模板匹配法是图像识别中最具代表性的方法之一，在模板匹配中，模板就是对目标图像的表述，它自己本身也是一幅图像。将待检测图像与标准模板图像放在一个分类器中进行匹配。其基本原理就是研究分析从一幅目标图像中寻找已知模板图像过程，将模板图像滑动到输入图像上(就像在2D卷积中一样)，然后在模板图像下比较模板和输入图像的补丁，包括目标图像尺寸方向是否和已知模板相一致，原则就是通过相关函数演算。模板匹配通常事先建立好标准模板库，然后从待识别图像中提取若干特征向量与模板对应的特征向量进行比较，模板图像与源图像匹配过程中，利用平方差匹配法，即模板图像像素减去覆盖的原图像像素的差的平方和为对应矩阵的点的值。设得到的矩阵为R(x,y)，模板图像矩阵为T(x',y')，源图像矩阵为I(x,y)。
Figure BDA0003040077180000101
将模板和当前截取的图像的比较计算结果存储在一个矩阵R(x,y)中，R中每一个位置(x，y)的值都表示以这个点为左上角顶点截取的图像与模板像素计算后的计算结果。如果R(x,y)值越接近0，说明匹配程度越高。
计算图像与模板特征向量之间的距离，在目标图像中寻找已知模板以及模板在目标图像中的坐标信息，用最小距离法判定所属类别。
本发明运用机器视觉和机器学习技术，提高了衣服污渍检测效率和精确度。该设备包括视频输入及采集模块、信号处理模块102、传输和存储模块103，信号处理模块102包括ARM芯片，CMOS模组采集的高分辨率图像由FPGA进行图像预处理，ARM芯片将FPGA输入的图像进行处理，进行污渍定位和识别，自动提取污渍信息，将污渍信息转化为高清视频流，视频编码器将所述高视频流进行H.264或者H.265编码通过网络输出，用于实时显示。通过准备图像并制作自己的数据集，利用深度学习框架YOLOv4目标检测模型进行离线训练，自动提取图片上的污渍所在位置和类别等信息。
如图6-图8所示，本发明方法不仅可以实现衣服污渍检测，还可以对不同种类的污渍进行分类，以便实时掌握不同衣物和衣物不同位置上的不同种类污渍情况，从而方便后续进行不同的去污操作。本发明可以在特定环境下找出相应的特征进行污渍检测和分类，防止误检、漏检等情况，有效地提高了检测分类正确率。本技术可以推广到衣服之外等的污渍检测和分类当中，进入工业检测领域也会有很大的优势。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于视觉的衬衫污渍定位设备，其特征在于，包括：视频采集及输入模块、信号处理模块以及传输和存储模块；
所述图像采集及输入模块用于采用待识别衣物的图像，并将所述图像输入至所述信号处理模块；
所述信号处理模块分别与所述图像采集及输入模块以及传输和存储模块连接；所述信号处理模块用于利用YOLOv4网络模型对所述图像进行污渍定位、污渍分割以及污渍识别，得到衣服污渍信息；并将所述衣服污渍信息转化为高清视频流传输至所述传输和存储模块。
2.根据权利要求1所述的一种基于视觉的衬衫污渍定位设备，其特征在于，所述视频采集及输入模块包括：CMOS模组以及第一FPGA；
所述CMOS模组与所述第一FPGA连接，所述第一FPGA与所述信号处理模块连接；
所述CMOS模组用于采集所述待识别衣物的图像；
所述第一FPGA用于对所述图像进行预处理，并利用3A算法调整所述CMOS模组的采集参数。
3.根据权利要求1所述的一种基于视觉的衬衫污渍定位设备，其特征在于，所述信号处理模块包括ARM芯片。
4.根据权利要求1所述的一种基于视觉的衬衫污渍定位设备，其特征在于，所述传输和存储模块包括：传输单元与存储单元；
所述传输单元包括：以太网以及5G；
所述存储单元包括：SSD固态硬盘和SD卡。
5.根据权利要求1所述的一种基于视觉的衬衫污渍定位设备，其特征在于，还包括：视频扩展总线和第一总线开关；
所述视频采集及输入模块通过所述第一总线开关和所述视频扩展总线与所述信号处理模块连接；
所述传输和存储模块通过所述视频扩展总线与所述信号处理模块连接。
6.根据权利要求5所述的一种基于视觉的衬衫污渍定位设备，其特征在于，还包括：第二FPGA、第二总线开关、视频编码器以及第三总线开关；
所述视频编码器通过所述第二FPGA以及所述第二总线开关与所述视频扩展总线连接；
所述视频编码器还通过所述第三总线开关与所述视频扩展总线连接；
所述视频编码器将所述高清视频流进行H.264或者H.265编码通过网络输出。
7.根据权利要求6所述的一种基于视觉的衬衫污渍定位设备，其特征在于，所述第二FPGA为0SD FPGA。
8.根据权利要求1所述的一种基于视觉的衬衫污渍定位设备，其特征在于，还包括：加密模块；
所述加密模块与所述信号处理模块连接；所述加密模块用于对所述高清视频流进行加密。
CN202110454507.4A 2021-04-26 2021-04-26 一种基于视觉的衬衫污渍定位设备 Pending CN113139946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454507.4A CN113139946A (zh) 2021-04-26 2021-04-26 一种基于视觉的衬衫污渍定位设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454507.4A CN113139946A (zh) 2021-04-26 2021-04-26 一种基于视觉的衬衫污渍定位设备

Publications (1)

Publication Number Publication Date
CN113139946A true CN113139946A (zh) 2021-07-20

Family

ID=76812244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454507.4A Pending CN113139946A (zh) 2021-04-26 2021-04-26 一种基于视觉的衬衫污渍定位设备

Country Status (1)

Country Link
CN (1) CN113139946A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035573A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种基于融合策略的唇部分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708375A (zh) * 2012-04-18 2012-10-03 北方工业大学 一种高清一体式车牌抓拍识别设备及方法
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN112102224A (zh) * 2019-06-18 2020-12-18 浙江工业大学 一种基于深度卷积神经网络的布匹疵点识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708375A (zh) * 2012-04-18 2012-10-03 北方工业大学 一种高清一体式车牌抓拍识别设备及方法
CN112102224A (zh) * 2019-06-18 2020-12-18 浙江工业大学 一种基于深度卷积神经网络的布匹疵点识别方法
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宇等: "基于深度学习的布匹疵点检测方法", 毛纺科技 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035573A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种基于融合策略的唇部分割方法

Similar Documents

Publication Publication Date Title
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
Khan et al. An efficient contour based fine-grained algorithm for multi category object detection
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
CN110826408B (zh) 一种分区域特征提取人脸识别方法
Jun et al. Robust real-time face detection using face certainty map
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN108171102A (zh) 一种基于视觉的零件快速识别方法
JP4946878B2 (ja) 画像識別装置及びプログラム
Kheirkhah et al. A hybrid face detection approach in color images with complex background
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN112464885A (zh) 基于机器学习的面部色斑未来变化的图像处理系统
CN116843581B (zh) 一种多场景图的图像增强方法、系统、设备和存储介质
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
CN113688829B (zh) 一种变电站监控画面自动识别方法及系统
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及系统
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN117037049B (zh) 基于YOLOv5深度学习的图像内容检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720