CN112529877A - 一种瓶装液体杂质检测方法及装置 - Google Patents

一种瓶装液体杂质检测方法及装置 Download PDF

Info

Publication number
CN112529877A
CN112529877A CN202011482574.9A CN202011482574A CN112529877A CN 112529877 A CN112529877 A CN 112529877A CN 202011482574 A CN202011482574 A CN 202011482574A CN 112529877 A CN112529877 A CN 112529877A
Authority
CN
China
Prior art keywords
liquid
image
model
segmentation
bottle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011482574.9A
Other languages
English (en)
Inventor
南一冰
赵开开
郭嘉琦
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, Unicom Big Data Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011482574.9A priority Critical patent/CN112529877A/zh
Publication of CN112529877A publication Critical patent/CN112529877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种瓶装液体杂质的检测方法。本申请提供的技术方案中,使用瓶体检测模型对瓶装液体图像进行目标检测,得到所述瓶装液体图像中的瓶体区域;使用液体区域分割模型对所述瓶体区域进行图像分割,得到所述瓶体区域中的液体区域;使用杂质分割模型对所述液体区域进行语义分割,得到所述液体区域的语义分割结果;所述语义分割结果中包含杂质时,输出所述杂质的图像。本申请提出的技术方案,可以克服基于传统图像处理的方法中无法解决的环境干扰问题,大大提升方法的稳定性和鲁棒性。

Description

一种瓶装液体杂质检测方法及装置
技术领域
本申请涉及一种检测方法,尤其涉及一种瓶装液体杂质检测方法及装置。
背景技术
瓶装液体中杂质的自动检测是产品质量检测中一项至关重要的检测项目之一,其在医药、食品饮料以及化工等生产领域具有广阔的应用场景。
以白酒为例,其生产过程环节繁多且工艺复杂,特别是在罐装环节中,罐装瓶清洗不干净、过滤系统故障、压盖包装时的机械冲撞等原因会导致瓶内液体中混入玻璃碎片、絮状物、毛发等杂质。混入杂质的产品流入市场对消费者和企业都会造成极大损失,因此瓶装液体杂质检测是产品质量把控中的重要一环。
对于工业场景中瓶装液体的杂质检测,传统方法是使用种子填充、模板匹配、背景抑制的方法获取瓶罐区域,然后通过图像滤波、二值化和腐蚀膨胀方法进行图像增强、并使用边缘检测、轮廓检测方法检测杂质。但是这种检测方法的检测结果不准确,其鲁棒性和稳定性也明显不足,对硬件系统要求较高。
发明内容
本申请提供一种瓶装液体杂质的检测方法和检测装置。
第一方面,本申请提供一种瓶装液体杂质的检测方法。该方法包括:使用瓶体检测模型对瓶装液体图像进行目标检测,得到所述瓶装液体图像中的瓶体区域;使用液体区域分割模型对所述瓶体区域进行图像分割,得到所述瓶体区域中的液体区域;使用杂质分割模型对所述液体区域进行语义分割,得到所述液体区域的语义分割结果;所述语义分割结果中包含杂质时,输出所述杂质的图像。
本申请的检测方法可以克服基于传统图像处理的方法中无法解决的环境干扰问题,大大提升方法的稳定性和鲁棒性。
结合第一方面,在第一种可能的实现方式中,所述瓶体检测模型为基于深度学习的目标检测模型,所述液体区域分割模型为基于深度学习的图像分割模型,所述杂质分割模型为基于深度学习的语义分割模型。
该实现方式中,整个杂质检测的方法都是基于深度学习方法,可以进一步克服基于传统图像处理的方法中无法解决的环境干扰问题,进一步提升方法的稳定性和鲁棒性。
结合第一种可能的实现方式,在第二种可能的实现方式中,所述瓶体检测模型包括:yolov3、yolov4,SSD、CenterNet或Faster-RCNN目标检测模型,所述液体区域分割模型包括:Mask-RCNN、SOLO或YOLACT图像分割模型,所述杂质分割模型包括LiteSeg、FCN或DeepLab语义分割模型。
结合第一方面或第一种或第二种可能的实现方式,在第三种可能的实现方式中,所述方法还包括:所述语义分割结果中包含杂质时,控制声音警示设备输出警示声。
在本实现方式中,声音警示设备输出警示声可以提示操作人员该待检测瓶体存在异物,将其剔除,完成瓶装液体检测。
结合第一方面或第一种或第二种可能的实现方式,在第四种可能的实现方式中,所述方法还包括:所述语义分割结果中包含杂质时,控制灯光警示设备输出警示灯光。
在本实现方式中,灯光警示设备输出警示灯光可以提示操作人员该待检测瓶体存在异物,将其剔除,完成瓶装液体检测。
结合第一方面或第一种或第二种可能的实现方式,在第五种可能的实现方式中,所述方法还包括:所述语义分割结果中包含杂质时,控制喷码设备向所述瓶装液体图像对应的瓶体喷码。
在本实现方式中,喷码设备向所述瓶装液体图像对应的瓶体喷码,可以将存在异物的瓶体进行标记,起到标识作用,利于操作人员将其剔除,完成瓶装液体检测。
第二方面,本申请提供一种瓶装液体杂质的检测装置,所述装置可以包括用于实现第一方面中的方法的各个模块,这些模块可以通过软件和/或硬件的方式实现。
第三方面,本申请提供一种瓶装液体杂质的检测装置,包括:存储器和处理器;所述存储器用于存储程序指令;所述处理器用于调用所述存储器中的程序指令执行如第一方面或其中任意一种可能的实现方式所述的方法。
第四方面,本申请提供一种芯片,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述至少一个处理器用于运行计算机程序或指令,以执行如第一方面或其中任意一种可能的实现方式所述的方法。
第五方面,本申请提供一种计算机可读介质,该计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行如第一方面或其中任意一种可能的实现方式所述的方法。
第六方面,本申请提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行如第一方面或其中任意一种可能的实现方式所述的方法。
第七方面,本申请提供一种计算设备,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述通信接口与目标系统通信,所述至少一个处理器用于运行计算机程序或指令,以执行如第一方面或其中任意一种可能的实现方式所述的方法。
附图说明
图1为根据本申请实施例用于瓶装液体杂质检测的硬件系统的架构图;
图2为本申请一个实施例的瓶装液体杂质检测方法的流程图;
图3为瓶体检测模型的训练方法的示意性流程图;
图4为本申请一个实施例的液体区域分割模型的训练方法的示意性流程图;
图5为本申请一个实施例的杂质分割模型的训练方法的示意性流程图;
图6为本申请一个实施例提供的瓶装液体杂质的检测装置的结构示意图;
图7为本申请另一个实施例提供的瓶装液体杂质的检测装置的结构示意图。
具体实施方式
为了实时、稳定、可靠地检测瓶装液体杂质,本申请实施例提供一种瓶装液体杂质检测方法及装置。该方法中,先进行瓶体检测,再进行液体区域分割,最后进行杂质分割检测,且整个检测流程都基于深度学习方法来实现。
下面结合附图介绍本申请提出的各个方法和相关装置。
图1为根据本申请实施例用于瓶装液体杂质检测的硬件系统的架构图。如图1所示,该硬件系统中可以包括红外线(infrared ray,IR)近红外工业相机、发光二极管(lightemitting diode,LED)灯箱、GPU(graphics processing unit,图形处理器)服务器、声光告警提示设备和喷码机。
IR近红外工业相机用于拍摄瓶装液体的图像。
LED灯箱用于发射红外光源。在流水线检测瓶装液体杂质时,LED灯箱发射的红外光源照射待测瓶体,以便于IR近红外工业相机拍摄待测瓶体的图像。
GPU服务器中部署有训练好的瓶体检测模型、液体区域分割模型和杂质分割模型,且这三个训练好的模型依次级联。GPU服务器用于使用上述三种模型对IR近红外工业相机拍摄到的图像进行杂质检测。
声光告警提示设备用于在GPU服务器检测到瓶装液体存在杂质时,输出警示声音和警示灯光。
喷码机用于在GPU服务器检测到瓶装液体存在杂质时,向该瓶体喷码,以表示该瓶装液体为瑕疵品。
图2为本申请一个实施例的瓶装液体杂质检测方法的流程图。如图2所示,该方法可以包括S201、S202、S203、S204和S205。
S201,获取图像,该图像为工业相机采集的瓶装液体图像。
在该步骤中,在流水线的一侧安装一个工业相机,对面的另一侧安装一个LED灯箱。其中,工业相机为IR近红外工业相机,LED灯箱用于发射红外光源。流水线在工作时,操作人员打开LED灯箱,用其发射的红外光源照射待测瓶体,同时用该工业相机拍摄完整可见的瓶装液体图像,从而实时获取待检测的瓶装液体图像,传至GPU服务器上。
S202,使用瓶体检测模型对所述瓶装液体图像进行检测,得到所述瓶装液体图中的瓶体区域,所述瓶体检测模型包括基于深度学习的目标检测模型。
本实施例中的瓶体检测模型是训练好的、基于深度学习的目标检测模型,该目标检测模型的目标为瓶体区域。
本实施例中的瓶体检测模型可以是yolov3、yolov4、SSD、CenterNet或Faster-RCNN等类型的目标检测模型。以瓶体检测模型为yolov3为例,本实施例中的瓶体检测模型的一种训练方法如图3所示。
作为一种示例,训练得到瓶体检测模型之后,可以将该瓶体检测模块部署到GPU服务器上。GPU服务器使用该瓶体检测模块对实时获取的瓶装液体图像进行瓶体区域检测,得到该瓶装液体图像中的瓶体区域。
S203,使用液体区域分割模型对所述瓶体区域进行分割,得到该瓶体区域中的液体区域,所述液体区域分割模型包括基于深度学习的图像分割模型。
本实施例中的液体区域分割模型可以是预训练好的、基于深度学习的图像分割模型,该图像分割模型分割的图像为液体区域。
本实施例中的液体区域分割模型可以是分割区域卷积神经网络(mask region-based convolution neural network,Mask-RCNN)、通过位置分割物体(segmentingobjects by locations,SOLO)或你只看系数(you only look at coefficients,YOLACT)神经网络等类型的图像分割模型。以液体区域分割模型是Mask-RCNN为例,本实施例中的液体区域分割模型的示例性训练方法如图4所示。
作为一种示例,使用图4所示的方法训练得到液体区域分割模型之后,将该液体区域分割模型部署存储在GPU服务器上,并与瓶体检测模型级联。
GPU服务器使用瓶体检测模型检测得到瓶体区域之后,可以使用该液体区域分割模型来对该瓶体区域进行分割,从而得到该瓶体区域中的液体区域。
S204,使用杂质分割模型对所述液体区域进行语义分割,得到所述液体区域的语义分割结果,所述杂质分割模型包括基于深度学习的语义分割模型。
本实施例中,杂质分割模型为预训练好的、基于深度学习的语义分割模型,该语义分割模型中需要分割的语义包括各种杂质。
本实施例中的杂质分割模型可以是简化分割(lite segmentation,LiteSeg)、全卷积网络(fully convolutional networks,FCN)或深度实验室(deep laboratory,DeepLab)等类型的语义分割模型。以杂质分割模型包括LiteSeg为例,本申请的杂质分割模型的一种训练方法如图5所示。
作为一种示例,使用图5所示的方法训练得到杂质分割模型之后,将杂质分割模型部署在GPU服务器上。GPU服务器该杂质分割模型对液体区域进行语义分割,得到该液体区域中异物的语义分割结果。
S205,所述语义分割结果包括杂质或异物时,输出所述异物的图像并进行报警。
作为一种示例,如果S204的语义分割结果中包括玻璃碎片、絮状物或毛发等异物或杂质时,GPU服务器可以输出这些异物的图像,并向声光告警设备输出指令,以使得声光告警设备输出警示声和警示灯管提示操作人员。此外,GPU服务器可以向喷码机发送指令,以使得喷码机向该瓶体喷码,标识该瓶液体为瑕疵品。
可以理解的是,图2所示的检测方法仅是一种示例。本申请提出的检测方法中,并不限定检测出异物之后,一定要喷码或一定要输出警示声或输出警示灯光。例如,检测出异物,可以仅执行喷码操作或仅输出警示声、或仅输出警示灯光,或者可以执行喷码操作、输出警示声和输出警示灯光中任意两种操作。
可以理解的是,本申请实施例中的目标检测模块、图像分割模型和语义分割模型为基于深度学习的模型,仅是一种示例。本申请的检测方式中并不限定目标检测模块、图像分割模型和语义分割模型一定为基于深度学习的模型。
图3为瓶体检测模型的训练方法的示意性流程图。如图3所示,该方法可以包括S301、S302和S303。
S301,获取大量真实场景下的瓶装液体图像。
在该步骤中,获取瓶装液体图像的方法和S201中相同,这里不再赘述。
S302,标注真实场景下的瓶装液体图像中的瓶体区域,得到目标检测模型的训练数据集。
S303,使用该训练数据集训练yolov3目标检测模型,得到瓶体检测模型。
在实施例中,S301至S303是线下执行。对于对应应用场景下的所有数据,S301至S303只需执行一次。在线上进行瓶装液体检测时,直接使用训练好的瓶体检测模型,不需再次执行S301至S303。
图4为本申请一个实施例的液体区域分割模型的训练方法的示意性流程图。如图4所示,该方法包括S401、S402和S403。
S401,获取大量真实场景下的瓶装液体图像。
在该步骤中,获取瓶装液体图像的方法和S201中相同,这里不再赘述。
S402,标注真实场景下的瓶装液体图像中的液体区域,得到图像分割模型的训练数据集。
S403,使用所述训练数据集训练Mask-RCNN,得到液体区域分割模型。
在本实施例中,S401至S403是线下执行。对于对应应用场景下的所有数据,S401至S403可以只执行一次。在线上进行瓶装液体检测时,可以直接使用训练好的液体区域分割模型,不再执行S401至S403。
图5为本申请一个实施例的杂质分割模型的训练方法的示意性流程图。如图5所示,该方法可以包括S501、S502和S503。
S501,获取大量真实场景下的瓶装液体图像。
在该步骤中,获取瓶装液体图像的方法和S101中相同,这里不再赘述。
S502,标注真实场景下的瓶装液体图像中的杂质,得到语义分割模型的训练数据集。
S503,使用所述训练数据集训练LiteSeg语义分割模型,得到杂质分割模型。
在实施例中,S501至S503是线下执行。对于对应应用场景下的所有数据,S501至S503可以只执行一次。在线上进行瓶装液体检测时,直接使用训练好的杂质分割模型,可以不再执行S501至S503。
本申请的实施例中,采用了先瓶体检测,再液体区域分割,最后进行杂质分割检测这样一套瓶装液体杂质检测方法,可以克服基于传统图像处理的方法中无法解决的环境干扰问题,大大提升算法的稳定性和鲁棒性。另外,该检测方法中的瓶体检测模型、液体区域分割模型以及杂质分割模型均是基于深度学习算法实现的,因此本申请设计的瓶装液体杂质检测方法和特征有着丰富性、鲁棒性、卓越性,能够在简易硬件系统的条件下达到高的检测性能。
图6为本申请一个实施例提供的瓶装液体杂质的检测装置的结构示意图。图6所示的装置可以用于执行前述任意一个实施例所述的方法。如图6所示,本实施例的装置600可以包括:目标检测模块601、图像分割模块602、语义分割模块603、输出模块604。
在一种示例中,装置600可以用于执行图2所述的方法。例如,目标检测模块601可以用于执行步骤202,图像分割模块602可以用于执行步骤203,语义分割模块603可以用于执行步骤204,输出模块604可以用于执行步骤205。
在一种示例中,装置600可以用于执行图3所述的方法。例如,目标检测模块601可以用于执行步骤302和步骤303。
在一种示例中,装置600可以用于执行图4所述的方法。例如,图像分割模块602可以用于执行402和步骤403。
在一种示例中,装置600可以用于执行图5所述的方法。例如,语义分割模块603可以用于执行502和步骤503。
图7为本申请另一个实施例提供的瓶装液体杂质的检测装置的结构示意图。图7所示的装置可以用于执行前述任意一个实施例所述的方法。
如图7所示,本实施例的装置700包括:存储器701、处理器702、通信接口703以及总线704。其中,存储器701、处理器702、通信接口703通过总线704实现彼此之间的通信连接。
存储器701可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器701可以存储程序,当存储器701中存储的程序被处理器702执行时,处理器702用于执行图2至图5中任意图所示的方法的各个步骤。
处理器702可以采用通用的中央处理器(central processing unit,CPU),微处理器,应用专用集成电路(application specific integrated circuit,ASIC),或者一个或多个集成电路,用于执行相关程序,以实现本申请各个实施例中的方法。
处理器702还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请各个实施例的方法的各个步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器702还可以是通用处理器、数字信号处理器(digital signalprocessing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701,处理器702读取存储器701中的信息,结合其硬件完成本申请的装置包括的单元所需执行的功能,例如,可以执行图2至图5任意图所示实施例的各个步骤/功能。
通信接口703可以使用但不限于收发器一类的收发装置,来实现装置700与其他设备或通信网络之间的通信。
总线704可以包括在装置700各个部件(例如,存储器701、处理器702、通信接口703)之间传送信息的通路。
应理解,本申请实施例所示的装置700可以是电子设备,或者,也可以是配置于电子设备中的芯片。
应理解,本申请实施例中的处理器可以为中央处理单元(central processingunit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种瓶装液体杂质的检测方法,其特征在于,包括:
使用瓶体检测模型对瓶装液体图像进行目标检测,得到所述瓶装液体图像中的瓶体区域;
使用液体区域分割模型对所述瓶体区域进行图像分割,得到所述瓶体区域中的液体区域;
使用杂质分割模型对所述液体区域进行语义分割,得到所述液体区域的语义分割结果;
所述语义分割结果中包含杂质时,输出所述杂质的图像。
2.根据权利要求1所述的方法,其特征在于,所述瓶体检测模型为基于深度学习的目标检测模型,所述液体区域分割模型为基于深度学习的图像分割模型,所述杂质分割模型为基于深度学习的语义分割模型。
3.根据权利要求2所述的方法,其特征在于,所述瓶体检测模型包括:yolov3、yolov4,SSD、CenterNet或Faster-RCNN目标检测模型,所述液体区域分割模型包括:Mask-RCNN、SOLO或YOLACT图像分割模型,所述杂质分割模型包括LiteSeg、FCN或DeepLab语义分割模型。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
所述语义分割结果中包含杂质时,控制声音警示设备输出警示声。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
所述语义分割结果中包含杂质时,控制灯光警示设备输出警示灯光。
6.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
所述语义分割结果中包含杂质时,控制喷码设备向所述瓶装液体图像对应的瓶体喷码。
7.一种瓶装液体杂质的检测装置,其特征在于,包括用于实现权利要求1至6中任一项所述的方法的各个功能模块。
8.一种瓶装液体杂质的检测装置,其特征在于,包括:存储器和处理器;
所述存储器用于存储程序指令;
所述处理器用于调用所述存储器中的程序指令执行如权利要求1至6中任一项所述的方法。
9.一种计算机可读介质,其特征在于,所述计算机可读介质存储用于计算机执行的程序代码,该程序代码包括用于执行如权利要求1至6中任一项所述的方法的指令。
10.一种芯片,其特征在于,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述至少一个处理器用于运行计算机程序或指令,以执行如权利要求1至6中任一项所述的方法。
CN202011482574.9A 2020-12-15 2020-12-15 一种瓶装液体杂质检测方法及装置 Pending CN112529877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011482574.9A CN112529877A (zh) 2020-12-15 2020-12-15 一种瓶装液体杂质检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011482574.9A CN112529877A (zh) 2020-12-15 2020-12-15 一种瓶装液体杂质检测方法及装置

Publications (1)

Publication Number Publication Date
CN112529877A true CN112529877A (zh) 2021-03-19

Family

ID=75000304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011482574.9A Pending CN112529877A (zh) 2020-12-15 2020-12-15 一种瓶装液体杂质检测方法及装置

Country Status (1)

Country Link
CN (1) CN112529877A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989268A (zh) * 2021-11-12 2022-01-28 国网重庆市电力公司电力科学研究院 一种识别红外图像中指定设备的gis套管的方法及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4605851A (en) * 1982-02-01 1986-08-12 Societe Nationale Industrielle Aerospatiale Process and device for detecting foreign bodies in a liquid
CN101165720A (zh) * 2007-09-18 2008-04-23 湖南大学 医药大输液机器视觉在线检测方法
JP2013096922A (ja) * 2011-11-02 2013-05-20 Hitachi Engineering & Services Co Ltd 飲料液異物検査装置および飲料液異物検査方法
CN105181714A (zh) * 2015-09-08 2015-12-23 哈尔滨工程大学 一种基于图像处理的瓶装液体杂质检测系统及其检测方法
CN105973904A (zh) * 2016-04-28 2016-09-28 南京汇川图像视觉技术有限公司 一种基于图像背景概率图的食用油杂质检测方法
CN108171705A (zh) * 2018-01-20 2018-06-15 南京理工大学 一种透明玻璃瓶内液体的异物检测算法
CN109166142A (zh) * 2018-07-30 2019-01-08 山东大学 一种大输液药品中可见异物的视觉检测方法
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技(深圳)有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111882579A (zh) * 2020-07-03 2020-11-03 湖南爱米家智能科技有限公司 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4605851A (en) * 1982-02-01 1986-08-12 Societe Nationale Industrielle Aerospatiale Process and device for detecting foreign bodies in a liquid
CN101165720A (zh) * 2007-09-18 2008-04-23 湖南大学 医药大输液机器视觉在线检测方法
JP2013096922A (ja) * 2011-11-02 2013-05-20 Hitachi Engineering & Services Co Ltd 飲料液異物検査装置および飲料液異物検査方法
CN105181714A (zh) * 2015-09-08 2015-12-23 哈尔滨工程大学 一种基于图像处理的瓶装液体杂质检测系统及其检测方法
CN105973904A (zh) * 2016-04-28 2016-09-28 南京汇川图像视觉技术有限公司 一种基于图像背景概率图的食用油杂质检测方法
CN108171705A (zh) * 2018-01-20 2018-06-15 南京理工大学 一种透明玻璃瓶内液体的异物检测算法
CN109166142A (zh) * 2018-07-30 2019-01-08 山东大学 一种大输液药品中可见异物的视觉检测方法
CN111882579A (zh) * 2020-07-03 2020-11-03 湖南爱米家智能科技有限公司 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技(深圳)有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENHAO HE 等: "A Trajectory-based Attention Model for Sequential Impurity Detection", 《NEUROCOMPUTING》, vol. 410, pages 271 - 283, XP086305606, DOI: 10.1016/j.neucom.2020.06.008 *
张纯纯 等: "基于机器视觉的目标识别与抓取研究", 《农业装备与车辆工程》, vol. 57, no. 12, pages 93 - 96 *
鲍冉冉 等: "基于图像处理的瓶内异物自动检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 138 - 5059 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989268A (zh) * 2021-11-12 2022-01-28 国网重庆市电力公司电力科学研究院 一种识别红外图像中指定设备的gis套管的方法及存储介质

Similar Documents

Publication Publication Date Title
JP7073247B2 (ja) 車線境界線検出モデルを生成するための方法、車線境界線を検出するための方法、車線境界線検出モデルを生成するための装置、車線境界線を検出するための装置、機器、コンピュータ読み取り可能な記憶媒体およびコンピュータプログラム
US20200082207A1 (en) Object detection method and apparatus for object detection
CN107492091B (zh) 基于机器视觉的标签外观检测方法及终端设备
CN112257692B (zh) 一种行人目标的检测方法、电子设备及存储介质
EP3620984B1 (en) Digital quality control using computer visioning with deep learning
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
US10373316B2 (en) Images background subtraction for dynamic lighting scenarios
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
Nur et al. Vehicle detection based on underneath vehicle shadow using edge features
WO2018097491A1 (ko) 샘플수 분석장치 및 방법
US20190392270A1 (en) Image analysis device, image analysis method, and computer program product
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN112529877A (zh) 一种瓶装液体杂质检测方法及装置
Felipe et al. Vision-based liquid level detection in amber glass bottles using OpenCV
CN115901794A (zh) 一种条形光源检测瓶口瑕疵的系统及方法
CA3035387C (en) Digitization of industrial inspection sheets by inferring visual relations
CN114022804A (zh) 一种泄漏的检测方法、装置、系统及存储介质
CN111680680A (zh) 一种目标码定位方法、装置、电子设备及存储介质
CN116402771A (zh) 缺陷检测方法、装置和模型训练方法、装置
Tsai et al. Automatic optical inspection system for wire color sequence detection
CN113642398A (zh) 空间区域识别的方法及装置
CN112288066B (zh) 图形码打码和识别方法、装置及系统
US20220237931A1 (en) Systems and methods for printed code inspection
CN117218636A (zh) 一种基于多层语义融合的船牌检测识别方法及装置
Sarkar et al. Image processing based product label quality control on FMCG products

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination